📚 ক্লাস ১.৩ (মডিউল ১): টোকেন এবং কনটেক্সট উইন্ডো—AI কীভাবে আমাদের কথা বোঝে?

আমরা যখন চ্যাটবক্সে বাংলা বা ইংরেজিতে বড় কোনো প্রশ্ন লিখি, AI কিন্তু আমাদের মতো করে আস্ত শব্দ বা বাক্য একসাথে পড়ে না। কম্পিউটারের নিজস্ব একটা ভাষা আছে। AI আমাদের মানুষের ভাষাকে টুকরো টুকরো করে কেটে নিজের মতো করে প্রসেস করে।

আজকে আমরা প্রম্পট ইঞ্জিনিয়ারিংয়ের অন্যতম দুটি খুঁটিনাটি বিষয় জানব: টোকেন (Tokens) এবং কনটেক্সট উইন্ডো (Context Window)। এই দুটি জিনিস না বুঝলে আপনি কখনোই বড় কোনো প্রজেক্টে বা নিখুঁতভাবে AI ব্যবহার করতে পারবেন না।

১. টোকেন (Tokens) কী?

সহজ কথায়, টোকেন হলো অক্ষরের টুকরো (Pieces of characters), যা AI পড়ার বা প্রসেস করার সময় ব্যবহার করে।

আমরা যেমন একটা বাক্যকে শব্দে শব্দে ভাগ করি, AI শব্দগুলোকে আরও ছোট ছোট টুকরো বা ‘টোকেনে’ ভাগ করে নেয়। একটা টোকেন হতে পারে একটা পুরো শব্দ, একটা শব্দের অংশ (Syllable), এমনকি একটি মাত্র অক্ষর বা স্পেস (Space)।

• ইংরেজি শব্দের ক্ষেত্রে একটি সাধারণ নিয়ম: ১টি টোকেন মানে আনুমানিক ৪টি অক্ষর (Characters) বা ০.৭৫টি শব্দ। অর্থাৎ, ১০০টি ইংরেজি শব্দে প্রায় ১৩০-১৪০টির মতো টোকেন থাকে।

• বাংলা শব্দের ক্ষেত্রে নিয়ম: বাংলা ভাষার গঠন জটিল হওয়ায় বাংলায় টোকেন বেশি খরচ হয়। সাধারণত একটি বাংলা শব্দের জন্যই ২ থেকে ৩টি (বা কখনো তার চেয়েও বেশি) টোকেন লেগে যেতে পারে।

💡 একটি ভিজ্যুয়াল উদাহরণ:

আমরা যদি AI-কে লিখি: "Prompt Engineering" AI একে ভাঙতে পারে এইভাবে: ["Pro", "mpt", " Engineering"] (এখানে ৩টি টোকেন তৈরি হলো)।

⚠️ কেন এটি জানা জরুরি?

আপনি যখন কোনো AI-এর পেইড এপিআই (API) ব্যবহার করবেন, তখন আপনার খরচ হিসাব করা হবে এই টোকেনের সংখ্যার ওপর ভিত্তি করে। প্রম্পট যত বড় হবে, টোকেন তত বেশি কাটবে।

২. কনটেক্সট উইন্ডো (Context Window) কী?

মনে করুন, আপনি একটি মোটা উপন্যাসের বই পড়ছেন। বইয়ের ৫০ পৃষ্ঠায় গিয়ে কি আপনার প্রথম পৃষ্ঠার প্রতিটি লাইন হুবহু মনে থাকে? থাকে না। মানুষের মেমোরির যেমন একটা সীমা আছে, AI-এরও ঠিক তেমন মেমোরি লিমিট বা সীমা আছে। এই সীমাকে বলা হয় কনটেক্সট উইন্ডো (Context Window)।

একটি AI মডেল একবারে ঠিক কতটুকু টোকেন (বা তথ্য) তার মাথায় বা মেমোরিতে ধরে রাখতে পারে, সেই সর্বোচ্চ ধারণক্ষমতাকে কনটেক্সট উইন্ডো বলে।

এর মধ্যে আপনার দেওয়া প্রম্পট (Input) এবং AI-এর দেওয়া উত্তর (Output)—দুটিই শামিল থাকে।

• উদাহরণ: ধরুন একটি AI মডেলের কনটেক্সট উইন্ডো ৮,০০০ টোকেন। আপনি যদি তাকে ৯,০০০ টোকেন সমপরিমাণ বড় একটি বইয়ের চ্যাপ্টার দিয়ে সামারি করতে বলেন, সে প্রথম ১,০০০ টোকেন পুরোপুরি “ভুলে” যাবে এবং বাকি ৮,০০০ টোকেনের ওপর ভিত্তি করে উত্তর দেবে।

🔄 চ্যাটিংয়ের সময় কনটেক্সট উইন্ডো কীভাবে কাজ করে?

আপনি যখন ChatGPT বা Gemini-র সাথে অনেক লম্বা সময় ধরে একই চ্যাটে কথা বলতে থাকেন, তখন এক পর্যায়ে গিয়ে দেখবেন AI আপনার প্রথম দিকের কথাগুলো ভুলে যাচ্ছে বা উল্টোপাল্টা উত্তর দিচ্ছে। একে বলা হয় “Context Drift” বা মেমোরি হারিয়ে ফেলা। কারণ নতুন নতুন কথা বলার কারণে তার মেমোরির উইন্ডোটি সামনের দিকে চলে গেছে এবং পেছনের কথাগুলো বাদ পড়ে গেছে।

🛠 প্রম্পট ইঞ্জিনিয়ার হিসেবে আমাদের করণীয় কী?

১. অহেতুক প্রম্পট বড় না করা: AI-কে অপ্রয়োজনীয় তথ্য দিয়ে টোকেন নষ্ট করবেন না। প্রম্পট যত টু-দ্য-পয়েন্ট হবে, AI তত মনোযোগ দিয়ে সঠিক উত্তর দেবে।

২. নতুন চ্যাট উইন্ডো ব্যবহার করা: যখন একটি বিষয়ের কাজ শেষ করে সম্পূর্ণ নতুন আরেকটি কাজ শুরু করবেন, তখন সবসময় ‘New Chat’ অপশন ব্যবহার করবেন। এতে কনটেক্সট উইন্ডো আবার একদম ফ্রেশ বা শূন্য থেকে শুরু হয়, ফলে আগের কাজের প্রভাব নতুন কাজে পড়ে না।

৩. মডেলের ক্ষমতা জেনে নেওয়া: আপনি যে মডেলটি ব্যবহার করছেন (যেমন: GPT-4o, Gemini 1.5 Pro) তার কনটেক্সট উইন্ডো কত বড় তা জেনে নিন। যেমন, জেমিনির (Gemini 1.5 Pro) কনটেক্সট উইন্ডো বিশাল (প্রায় ২ মিলিয়ন টোকেন), যার ফলে এটি আস্ত একটি কোডিং প্রজেক্ট বা পুরো একটি বই একসাথে মনে রাখতে পারে!

• পরবর্তী ক্লাসে আমরা কী শিখব?

আগামী ক্লাসে আমরা মডিউল ১-এর সবচেয়ে আকর্ষণীয় ক্লাসে প্রবেশ করব—The Golden Rule! যেখানে আমরা প্রাক্টিক্যালি শিখব কীভাবে Role, Context, Task এবং Constraint ফ্রেমওয়ার্ক ব্যবহার করে যেকোনো প্রম্পটকে নিখুঁত মাস্টারপিস বানানো যায়।