Day 6

Work Queues, Fair Dispatch, and Prefetch

আজকে আমরা এমন pattern শিখব যেখানে অনেক worker একটি shared queue থেকে job consume করে।

Workers

Work Queue Pattern

image resize
invoice generation
email sending
video processing


err = ch.Qos(1, 0, false)
if err != nil {
	log.Fatal(err)
}


for msg := range msgs {
	if err := doHeavyJob(msg.Body); err != nil {
		_ = msg.Nack(false, true)
		continue
	}
 
	time.Sleep(2 * time.Second)
	_ = msg.Ack(false)
}

Which Worker Gets What?

Situation: তিন worker আছে। Worker A slow, B fast, C fast। Queue-তে ১০টি job এসেছে। Prefetch = 1.

Goal: Distribution-এর behavior predict করা।

What to think about:

Ack না দিলে worker নতুন job নেবে না
Fast worker দ্রুত free হবে
RabbitMQ only knows ack state, business cost না

সম্ভাব্য সমাধান দেখুন

A একটি job নিয়ে busy থাকবে। B এবং C দ্রুত ack করে আরও job নেবে। ফলে practical distribution fast worker-দের দিকে naturally shift করবে।

কখন work queue উপযুক্ত নয়?

Checkpoint

কেউ যদি বলে 'queue আছে মানেই worker pattern', তুমি কীভাবে correction করবে?

Queue থাকা মানেই one-of-many worker না
Broadcast-এর জন্য fanout/topic binding দরকার হতে পারে
Consumption semantics use case drive করে