Author(s): Harshit Sharma
Awalnya diterbitkan di Menuju AI.
Pre-train, Prompt, dan Predict — Bagian 1
4 Paradigma dalam NLP
(Ini adalah seri multi-bagian yang menjelaskan paradigma dorongan dalam NLP. Isinya terinspirasi oleh makalah ini (makalah survei yang menjelaskan metode dorongan dalam NLP)
(Sumber: Gambar dari Kertas) Paradigma yang mendorong
Saya menemukan makalah yang luar biasa ini tentang Prompting saat mengikuti kursus luar biasa ini di Advanced NLP (UMass). Menjadi makalah survei, mereka telah memberikan penjelasan holistik tentang paradigma terbaru di NLP ini.
Selama beberapa artikel, kami akan membahas sorotan utama dari makalah dan mempelajari mengapa Prompting dianggap sebagai “Perubahan Laut Kedua di NLP”.
Untuk menghargai apa yang mendorong dan untuk memulai, Bagian 1 membahas 4 paradigma utama yang terjadi selama beberapa tahun terakhir.
Mari kita mulai!!
Pembelajaran Sepenuhnya Diawasi (Non-Neural Network)
– dipersembahkan oleh –
Rekayasa Fitur
Pembelajaran yang diawasi membutuhkan contoh input-output untuk melatih model. Di era Pre-Neural-Network, model NLP ini dibutuhkan
Rekayasa Fitur, di mana peneliti NLP menggunakan pengetahuan domain untuk mengekstraksi fitur dari data yang terbatas dan memasukkan bias induktif ke dalam model Tidak Ada Hubungan antara Model Bahasa dan tugas hilir yang diselesaikan. Setiap tugas harus memiliki model terlatihnya sendiri
Pembelajaran Sepenuhnya Diawasi (Jaringan Neural)
– dipersembahkan oleh –
Teknik Arsitektur
Neural Networks datang dan dengan itu pembelajaran fitur otomatis dari data pelatihan. Rekayasa fitur manual tidak lagi diperlukan Fokus bergeser ke Teknik Arsitektur, di mana arsitektur NN direkayasa untuk memberikan bias induktif yang sesuai untuk model Sekali lagi, Tidak ada hubungan antara pelatihan model bahasa dan penyelesaian tugas hilir. Setiap tugas diselesaikan menggunakan arsitektur modelnya sendiri.
— — — — —-Perubahan Laut Pertama — — —— —
Pre-train dan Fine-Tune
– dipersembahkan oleh –
Rekayasa Objektif
Ini adalah pertama kalinya Model Bahasa dilatih sebelumnya pada data masif dan kemudian disesuaikan dengan tugas hilir melalui penyesuaian menggunakan tujuan khusus tugas. Fokus bergeser ke Rekayasa Objektif, merancang tujuan pelatihan selama tahap pra-pelatihan dan penyempurnaan Diagram di bawah ini menunjukkan bagaimana Model Bahasa memainkan peran sentral dalam paradigma ini. Pelatihan LM tanpa pengawasan digabungkan dengan penyetelan halus yang diawasi khusus Tugas
(Sumber: Makalah, dimodifikasi oleh Penulis) Hubungan antara pra-pelatihan Model Bahasa dan berbagai tugas hilir.
————— -Perubahan Laut Kedua —————
Pra-kereta, Cepat, Prediksi
– dipersembahkan oleh –
Rekayasa Cepat
Alih-alih mengadaptasi LM ke tugas tertentu melalui rekayasa objektif, tugas-tugas hilir dirumuskan ulang menggunakan Prompt Tekstual.
Misalnya: Untuk menemukan emosi “Saya ketinggalan bus hari ini”, beri makan model “Saya ketinggalan bus hari ini. Saya merasa sangat _____”. LM yang terlatih akan mencoba mengisi kekosongan dengan emosi yang sesuai, yang pada akhirnya memberi kita masukan emosi. Ini tidak memerlukan pelatihan khusus tugas. Ini membutuhkan fokus pada Teknik Prompt karena prompt perlu direkayasa dengan benar untuk mendapatkan respons yang sesuai / diinginkan dari model.
Itu saja untuk Bagian 1!! Di Bagian 2, kita akan mendalami Prompting, dasar-dasarnya, aplikasinya, berbagai pertimbangan desain saat mendesain prompt, dll.
Ikuti saya dan Berlangganan agar Anda tidak ketinggalan seri Prompting dan artikel mendatang tentang ML/NLP
Pre-train, Prompt, dan Predict — Part1 awalnya diterbitkan di Towards AI on Medium, di mana orang melanjutkan percakapan dengan menyorot dan menanggapi cerita ini.
Diterbitkan melalui Menuju AI
