Kutarya Us Model Beyni
Sıfırdan eğitilmeye hazır, tek dosyalık Python modeli.
Proje hakkında
Kutarya Us için PyTorch ile hazırlanmış, sıfırdan eğitilmeye hazır bir dil modeli mimarisi. Kaynak paketinde yalnız kutarya_us_beyin.py dosyası bulunur. Eğitim verisi, eğitim döngüsü veya eğitilmiş ağırlık pakete dahil değildir. Model oluşturulduğunda ağırlıklar rastgele başlatılır. Model UTF-8 baytlarıyla çalışır: 256 baytlık sözlük, 1.024 bayt bağlam, 256 embedding boyutu, 6 Transformer decoder katmanı ve 8 dikkat başlığı. Varsayılan yapı 5.052.928 parametre içerir. Bağlamın birimi bayttır; Türkçe karakter sayısı ile aynı değildir. Nedensel attention her konumun yalnız kendisini ve önceki konumları görmesini sağlar. LayerNorm, artık bağlantılar, GELU ileri besleme katmanları ve paylaşılan giriş/çıkış ağırlıkları kullanılır. KutaryaUsConfig ile model boyutları eğitim öncesinde değiştirilebilir. forward metodu her konumun sonraki bayt tahmin skorlarını verir; dışarıdan hedefler verilirse loss hesaplar. Bu kodun anlamlı metin üretmesi için ayrıca eğitilmesi gerekir. Paketin çalıştırılması yalnız model mimarisini ve parametre sayısını gösterir.
Kullanım / kurulum
ZIP paketini indirin ve çıkarın. Paketteki kutarya_us_beyin.py dosyasını kod editörünüzde açın. PyTorch kurulu Python ortamında python kutarya_us_beyin.py komutu model bilgisini gösterir. Başka bir Python dosyasında from kutarya_us_beyin import KutaryaUs, KutaryaUsConfig ile kullanabilirsiniz. Eğitim verisi ve eğitim kodu ayrıca hazırlanmalıdır.