append не изменяет переданный слайс - он возвращает новый слайс (возможно, с тем же базовым массивом, если ёмкости хватало, или с новым). Поэтому результат нужно присваивать: s = append(s, 1, 2, 3). Иначе оригинальный s не изменится.

s := []int{1}
append(s, 2, 3)  // результат отброшен
fmt.Println(s)   // [1]
s = append(s, 2, 3)
fmt.Println(s)   // [1 2 3]