SWE015 Introduction to Large Language Modelsİstinye ÜniversitesiAkademik Programlar Yazılım Mühendisliği (İngilizce)Öğrenciler için Genel BilgiDiploma EkiErasmus BeyanıUlusal Yeterlilikler
Yazılım Mühendisliği (İngilizce)

Önizleme

Lisans TYYÇ: 6. Düzey QF-EHEA: 1. Düzey EQF-LLL: 6. Düzey

Ders Genel Tanıtım Bilgileri

Ders Kodu: SWE015
Ders İsmi: Büyük Dil Modellerine Giriş
Ders Yarıyılı: Bahar
Ders Kredileri:
AKTS
5
Öğretim Dili: English
Ders Koşulu:
Ders İş Deneyimini Gerektiriyor mu?: Hayır
Dersin Türü: Bölüm/Program Seçmeli
Dersin Seviyesi:
Lisans TYYÇ:6. Düzey QF-EHEA:1. Düzey EQF-LLL:6. Düzey
Dersin Veriliş Şekli: E-Öğrenme
Dersin Koordinatörü: Dr. Öğr. Üy. ALPER ÖNER
Dersi Veren(ler): Dr. Öğr. Üyesi Alper Öner, Araş. Gör. Yazım Beril Uluer
Dersin Yardımcıları:

Dersin Amaç ve İçeriği

Dersin Amacı: Büyük dil modeli geliştirme dersinin amacı, doğal dil işleme (Natural Language Processing - NLP) alanında uzmanlaşmış bireylere, büyük dil modellerini oluşturma, eğitme ve geliştirme konusunda bilgi ve beceriler kazandırmaktır. Bu ders, karmaşık dil yapılarını anlama, dil tabanlı görevleri gerçekleştirme ve gerçek dünya uygulamalarında etkili bir şekilde dil modellerini kullanma konularında derinlemesine bilgi sağlar.
Dersin İçeriği: Docker, Tensorflow, Yapay Sinir Ağları, Konvolüsyonel Yapay Sinir Ağları, Doğal Dil İşlemeye Giriş, Tranformers-BERT & NER, LLM, LLM ince ayarı, MLLM, Görüntü İşleme ve Doğal Dil İşleme Uygulamaları

Öğrenme Kazanımları

Bu dersi başarıyla tamamlayabilen öğrenciler;
1) Temel bir LLM problemi için iyi tanımlanmış bir problem formülasyonu tasarlamak
2) Optimize edilmiş LLM geliştirmek.
3) LLM problemlerini çözmek için yazılım araçlarını uygulayacaktır.
4) Temel Görüntü İşleme ve Dil Problemlerini transformatör yöntemleriyle çözebilecektir.
5) Ekip olarak Transformers Projesini gerçekleştirebilecektir.

Ders Akış Planı

Hafta Konu Ön Hazırlık
1) Docker – GIT
2) Sinir Ağları - Tensorflow
3) Konvolusyonel Sinir Ağları
4) Bilgisayarlı Görme için Derin Öğrenme
5) Doğal Dil İşleme'ye Giriş
6) Doğal Dil İşleme için Derin Öğrenme
7) Tranformers-BERT & NER
8) Ara Sınav
9) Transformers ile Çok Dilde NER
10) Transformatörlerin Üretimde Verimli Hale Getirilmesi
11) Büyük Dil Modelleri (LLM)
12) Açık Kaynaklı Büyük Dil Modelleri (LLM)
13) Foundation Models
14) LLM Uygulamaları

Kaynaklar

Ders Notları / Kitaplar: Natural Language Processing with Transformers, Lewis Tunstall, Leandro von Werra, and Thomas Wolf, O’Reilly.
Diğer Kaynaklar: Deep Learning with Python, François Chollet, Manning, 2018.

Ders - Program Öğrenme Kazanım İlişkisi

Course Learning Outcomes

1

2

3

4

5

Program Kazanımları
1) Matematik, fen bilimleri ve yazılım mühendisliğine özgü konularda yeterli bilgi birikimi; bu alanlardaki kuramsal ve uygulamalı bilgileri, karmaşık mühendislik problemlerinin çözümünde kullanabilme becerisi. 2 2 2 2 2
2) Karmaşık yazılım mühendisliği problemlerini tanımlama, formüle etme ve çözme becerisi; bu amaçla uygun analiz ve modelleme yöntemlerini seçme ve uygulama becerisi. 2 2 2 2 2
3) Karmaşık bir yazılım sistemini, süreci, cihazı veya ürünü gerçekçi kısıtlar ve koşullar altında, belirli gereksinimleri karşılayacak şekilde tasarlama, gerçekleştirme, sınama, doğrulama, ölçme ve bakımını yapma becerisi; bu amaçla modern tasarım yöntemlerini uygulama becerisi. 2 2 2 2 2
4) Yazılım mühendisliği uygulamalarında karşılaşılan karmaşık problemlerin analizi ve çözümü için gerekli olan modern teknik ve araçları seçme ve kullanma becerisi; bilişim teknolojilerini etkin bir şekilde kullanma becerisi. 3 3 3 3 3
5) Karmaşık mühendislik problemlerinin veya yazılım mühendisliği araştırma konularının incelenmesi için deney tasarlama, deney yapma, veri toplama, sonuçları analiz etme ve yorumlama becerisi. 2 2 2 2 2
6) Disiplin içi ve çok disiplinli takımlarda etkin biçimde çalışabilme becerisi; bireysel çalışma becerisi. 2 2 2 2 2
7) Sözlü ve yazılı etkin iletişim kurma becerisi; en az bir yabancı dil bilgisi; etkin rapor yazma ve yazılı raporları anlama, tasarım ve üretim raporları hazırlayabilme, etkin sunum yapabilme, açık ve anlaşılır talimat verme ve alma becerisi.
8) Yaşam boyu öğrenmenin gerekliliği konusunda farkındalık; bilgiye erişebilme, bilim ve teknolojideki gelişmeleri izleme ve kendini sürekli yenileme becerisi.
9) Etik ilkelerine uygun davranma, mesleki ve etik sorumluluk ve yazılım mühendisliği uygulamalarında kullanılan standartlar hakkında bilgi.
10) Proje yönetimi, risk yönetimi ve değişiklik yönetimi gibi, iş hayatındaki uygulamalar hakkında bilgi; girişimcilik, yenilikçilik hakkında farkındalık; sürdürülebilir kalkınma hakkında bilgi. 3 3 3 3 3
11) Yazılım mühendisliği uygulamalarının evrensel ve toplumsal boyutlarda sağlık, çevre ve güvenlik üzerindeki etkileri ve çağın yazılım mühendisliği alanına yansıyan sorunları hakkında bilgi; yazılım mühendisliği çözümlerinin hukuksal sonuçları konusunda farkındalık.

Ders - Öğrenme Kazanımı İlişkisi

Etkisi Yok 1 En Düşük 2 Orta 3 En Yüksek
       
Dersin Program Kazanımlarına Etkisi Katkı Payı
1) Matematik, fen bilimleri ve yazılım mühendisliğine özgü konularda yeterli bilgi birikimi; bu alanlardaki kuramsal ve uygulamalı bilgileri, karmaşık mühendislik problemlerinin çözümünde kullanabilme becerisi. 2
2) Karmaşık yazılım mühendisliği problemlerini tanımlama, formüle etme ve çözme becerisi; bu amaçla uygun analiz ve modelleme yöntemlerini seçme ve uygulama becerisi. 2
3) Karmaşık bir yazılım sistemini, süreci, cihazı veya ürünü gerçekçi kısıtlar ve koşullar altında, belirli gereksinimleri karşılayacak şekilde tasarlama, gerçekleştirme, sınama, doğrulama, ölçme ve bakımını yapma becerisi; bu amaçla modern tasarım yöntemlerini uygulama becerisi.
4) Yazılım mühendisliği uygulamalarında karşılaşılan karmaşık problemlerin analizi ve çözümü için gerekli olan modern teknik ve araçları seçme ve kullanma becerisi; bilişim teknolojilerini etkin bir şekilde kullanma becerisi. 2
5) Karmaşık mühendislik problemlerinin veya yazılım mühendisliği araştırma konularının incelenmesi için deney tasarlama, deney yapma, veri toplama, sonuçları analiz etme ve yorumlama becerisi. 2
6) Disiplin içi ve çok disiplinli takımlarda etkin biçimde çalışabilme becerisi; bireysel çalışma becerisi. 2
7) Sözlü ve yazılı etkin iletişim kurma becerisi; en az bir yabancı dil bilgisi; etkin rapor yazma ve yazılı raporları anlama, tasarım ve üretim raporları hazırlayabilme, etkin sunum yapabilme, açık ve anlaşılır talimat verme ve alma becerisi.
8) Yaşam boyu öğrenmenin gerekliliği konusunda farkındalık; bilgiye erişebilme, bilim ve teknolojideki gelişmeleri izleme ve kendini sürekli yenileme becerisi.
9) Etik ilkelerine uygun davranma, mesleki ve etik sorumluluk ve yazılım mühendisliği uygulamalarında kullanılan standartlar hakkında bilgi.
10) Proje yönetimi, risk yönetimi ve değişiklik yönetimi gibi, iş hayatındaki uygulamalar hakkında bilgi; girişimcilik, yenilikçilik hakkında farkındalık; sürdürülebilir kalkınma hakkında bilgi.
11) Yazılım mühendisliği uygulamalarının evrensel ve toplumsal boyutlarda sağlık, çevre ve güvenlik üzerindeki etkileri ve çağın yazılım mühendisliği alanına yansıyan sorunları hakkında bilgi; yazılım mühendisliği çözümlerinin hukuksal sonuçları konusunda farkındalık.

Ölçme ve Değerlendirme

Yarıyıl İçi Çalışmaları Aktivite Sayısı Katkı Payı
Ödev 2 % 20
Projeler 2 % 40
Final 1 % 40
Toplam % 100
YARIYIL İÇİ ÇALIŞMALARININ BAŞARI NOTU KATKISI % 60
YARIYIL SONU ÇALIŞMALARININ BAŞARI NOTUNA KATKISI % 40
Toplam % 100

İş Yükü ve AKTS Kredisi Hesaplaması

Aktiviteler Aktivite Sayısı İş Yükü
Ders Saati 14 42
Sunum / Seminer 3 25
Proje 3 28
Ödevler 4 20
Final 2 20
Toplam İş Yükü 135