Sabbir Amin
#এ আই কথন - 005 (Context Window)
আগের কথনে ছিল Orchestration, agent কীভাবে চলে। সেটা how এর answer। তারপর ছিল Grounding, agent কী জানে। সেটা what এর answer। তারপর ছিল Evals, কতটুকু বিশ্বাস করা যায়। সেটা trust এর answer। তারপর ছিল Memory, agent কতক্ষণ মনে রাখে। সেটা time এর answer। এই কথনে Context Window, agent একসাথে কতটুকু দেখতে পায়। সেটা space এর answer।
#Context Window and #LLM
ধরেন আপনার কাছে ১ million token এর context window আছে। সব দিয়ে দিলেন। docs, history, tool results, notes, logs, সব। Agent কী সব পড়লো? সব মনে রাখলো?
না।
আগের কথনে বলসিলাম, beginning আর end মনে থাকে, মাঝেরটা হারায়। এইটাকে বলে "lost in the middle" problem। এইটা bug না। এইটা attention এর physics।
তাহলে বড় context দিলে কী হয়?
প্রতিটা token দুইবার charge হয়, input এও, output এও। Cost বাড়ে। Model পুরো window process করে তারপর জবাব দেয়। Latency বাড়ে। Relevant জিনিস irrelevant এর নিচে ডুবে যায়। Reasoning খারাপ হয়। আর model যখন নিজেই হারিয়ে যায়, তখন "কিছু একটা" বের করে। Hallucination বাড়ে।
এইটা context window এর limitation না।
এইটা context management এর engineering সমস্যা।
করবেন কী তাহলে?
Full doc dump করবেন না, relevant chunk দেবেন। গুরুত্বপূর্ণ জিনিস beginning বা end এ রাখবেন, মাঝে না।
RAG দিয়ে retrieve করবেন, ঢেলে দেবেন না। 😁 Structured context আর ঢেলে দেওয়া text এক জিনিস না।
Context window হলো একটা budget। Budget বড় হলেই ভালো decision হয় না, কীভাবে খরচ করলেন সেইটা আসল কথা।
LLM কতটুকু দেখবে ( Context Size) সেইটা vendor ঠিক করে দেয় । কিন্তু কী দেখাবেন সেইটা আপনাকেই ঠিক করতে হবে। 😄
এই series এর পরের post, Tool Use নিয়ে, agent কীভাবে বাইরের দুনিয়া ছুঁতে পারে।
So don't miss that. 😄
#এ আই কথন-005 #AI #ContextWindow #LLM #AgentDesign #TokenOptimization