Нельзя взять адрес ячейки map (например, &m[key]), потому что при росте map элементы перемещаются и адреса становятся невалидными. Нужно хранить значение в переменной или использовать map указателей map[K]*V.
&m[key]
map[K]*V