Что такое consumer group в Kafka?

Ответ

Consumer group - набор потребителей с общим group.id. Каждая партиция топика назначается одному потребителю в группе; при добавлении/уходе потребителей происходит rebalance - перераспределение партиций. В Go подключаются к Kafka с group ID; библиотека участвует в rebalance. Обработка сообщений идемпотентна или с учетом дублей при повторной доставке.

r := kafka.NewReader(kafka.ReaderConfig{
    Brokers: []string{"localhost:9092"},
    Topic:   "events",
    GroupID: "processor",
})