Perjalanan dan Sejarah ChatGPT, Yang Kini Sudah Mulai Tren

Dikutip dari laman resmi OpenAI, GPT-2 dirancang menggunakan 1,5 miliar parameter dan dilatih menggunakan dataset 8 juta halaman website.

Jumlah parameter dan dataset yang dipakai di GPT-2 dikatakan 10 kali lipat lebih besar ketimbang GPT-1.

GPT-2 memiliki tugas utama untuk memberikan prediksi kata sekaligus mengingat kata atau teks yang diinput sebelumnya.

Salah satu contoh tindakan yang bisa dihasilkan GPT-2 adalah memberikan rekomendasi kata berikutnya dan melakukan parafrasa atas sebuah teks yang diinput.

Program language model OpenAI yang mendekati ChatGPT baru hadir di GPT-3. OpenAI merilis GPT-3 dengan terdapat 175 miliar parameter pada 2020.

Tindakan yang bisa dilakukan GPT-3 tidak hanya menyajikan prediksi kata, tetapi juga menjawab pertanyaan dan menyusun artikel dengan kata baru.

GPT-3 kala itu diklaim sudah bisa menghasilkan teks dengan bahasa natural seperti tulisan manusia.

Pelatihan GPT-1 hingga GPT-3 belum melibatkan unsur manusia langsung untuk memberikan masukan atas tanggapan atau output tindakan yang dihasilkan.

Pelatih dari unsur manusia asli baru dilibatkan pada GPT-3.5 yang dirilis OpenAI pada awal tahun lalu.

• Prancis Tegas Tolak ChatGPT Untuk Dunia Pendidikan, Beda Dengan Sikap Singapura

Pelibatan tersebut membuat GPT-3.5 dapat meminimalisir memberikan informasi yang salah dan membahayakan.

GPT-3.5 sejatinya dilatih menggunakan dataset yang sama seperti GPT-3, namun supaya bisa memberikan informasi yang lebih akurat dan aman program ini turut debekali pula dengan metode Reinforcement Learning From Human Feedback (RLHF).

Melalui metode itu, pelatih manusia asli dapat memberikan umpan balik atas tanggapan yang disajikan program language model.

Dengan umpan balik itu, program dapat belajar untuk menghasilkan tindakan yang diinginkan manusia.

Program GPT-3.5 inilah yang melandasi pembuatan InstructGPT, platform pengolah teks sesuai dengan perintah pengguna.

Dari InstructGPT, OpenAI kemudian menyempurnakannya lagi menjadi ChatGPT yang dirilis pada November 2022.