Open-Source Bangla AI Stack Zero Eval Leakage Verified GPL-3.0 / CC BY-SA 4.0

Bangla-LLM-Training-Core

শূন্য থেকে বা Qwen/Llama-এর ওপর ভিত্তি করে একটি সম্পূর্ণ বাংলা লার্জ ল্যাঙ্গুয়েজ মডেল (LLM) ট্রেইন করার পূর্ণাঙ্গ ওপেন-সোর্স পাইপলাইন — SentencePiece Tokenizer, Canonical NFC Pre-training Corpus, Multi-Task SFT, Orthography DPO Alignment এবং Held-out Evaluation সহ।

🚀 Launch in Google Colab ⭐ GitHub Repository 📚 587k+ Lexicon 🧠 Open-Bangla NLP 🌉 Bangla-Hindi Bridge 🔤 Typography Vault
...
Pre-training নথি (Wikiquote + Lexicon)
...
SFT ইনস্ট্রাকশন উদাহরণ (১০টি টাস্ক)
...
DPO Preference পেয়ার (বানান ও অর্থ)
...
টোকেনাইজার সীড শব্দ ও যুক্তাক্ষর
...
Held-Out মূল্যায়ন বেঞ্চমার্ক

৪-ধাপের End-to-End বাংলা LLM ট্রেইনিং পাইপলাইন

০. Custom Bangla Tokenizer
শব্দের খণ্ডিত হওয়া কমাতে 63k+ যুক্তাক্ষর ও শব্দমূল দিয়ে SentencePiece টোকেনাইজার ট্রেইন করুন।
python tokenizer/train_bangla_tokenizer.py
১. Continual Pre-training + Wiki Stream
Wikiquote, Lexicon গদ্য ও Wikimedia স্ট্রিমিং বাংলা উইকিপিডিয়ায় CPT চালান।
python training/01_continual_pretrain.py
২. QLoRA SFT (ChatML)
১০টি বাংলা ভাষাগত ও দ্বিভাষিক টাস্ক (শব্দার্থ, সন্ধি-বিভক্তি, বাগধারা, অনুবাদ) ফাইন-টিউন।
python training/02_sft_lora_train.py
৩. DPO Alignment & Eval + Ollama
য়/ড়/ঢ় ও শ/ষ/স বানান শুদ্ধতায় DPO চালিয়ে ৪৬০-টাস্ক Eval যাচাই করুন।
python training/03_dpo_align.py && python training/04_eval_bangla_llm.py

SFT মাল্টি-টাস্ক ব্রেকডাউন

লোড হচ্ছে...

লাইভ Bangla NFC & টোকেনাইজেশন পরীক্ষক

ভাঙা নুক্তা (যেমন য+় = য়, ড+় = ড়) এবং আনুমানিক শব্দ/যুক্তাক্ষর ঘনত্ব সাথে সাথে পরীক্ষা করুন:

ইন্টারেক্টিভ ডেটাসেট স্যাম্পল ইন্সপেক্টর

লোড হচ্ছে...

ডাউনলোডযোগ্য ডেটাসেট শার্ড (GitHub Raw / Hugging Face Ready)

প্রতিটি ফাইল ≤ 20 MB রাখা হয়েছে যাতে ধীর ইন্টারনেট বা Google Colab-এ দ্রুত ক্লোন/স্ট্রিমিং হয়:

লোড হচ্ছে...