Author(s): Arjun Ghosh
Awalnya diterbitkan di Menuju AI.
Ulasan: IDECNN-Evolusi Diferensial yang Ditingkatkan dari Jaringan Syaraf Konvolusional (Klasifikasi Gambar)
Dalam cerita ini, makalah penelitian kami, berjudul: “Merancang arsitektur jaringan saraf convolutional yang optimal menggunakan algoritma evolusi diferensial” [1], ditinjau. Artikel ini menyoroti penggunaan Differential Evolution (DE) sebagai strategi pencarian untuk mengatasi pendekatan Neural Architecture Search (NAS). Penelitian ini menggunakan delapan dataset pencitraan terkenal dan menyimpulkan bahwa IDECNN (metode yang diusulkan) memiliki kemampuan untuk merancang arsitektur yang lebih sesuai dibandingkan dengan 20 model CNN yang sudah ada. Penelitian ini dipublikasikan di Patterns, Elsevier pada tahun 2022.
Garis besar
Pendahuluan Kerangka Keseluruhan Hasil Pembahasan Singkat dan Kesimpulan Pendahuluan
Artikel ini membahas tantangan merancang Convolutional Neural Networks (CNNs) secara manual untuk berbagai tugas, khususnya klasifikasi gambar. Untuk mengatasi masalah ini, artikel merekomendasikan pendekatan Neural Architecture Search (NAS), yang mengotomatiskan desain arsitektur CNN. Artikel tersebut menekankan bahwa pendekatan meta-heuristik, seperti Differential Evolution (DE), telah menjadi strategi pencarian yang populer dan efektif untuk NAS. Pendekatan yang diusulkan dalam artikel ini adalah metode berbasis DE yang ditingkatkan yang mengotomatiskan desain arsitektur CNN berbasis lapisan untuk tugas klasifikasi gambar.
2. Kerangka Keseluruhan
Kerangka kerja yang diusulkan ada di [1].
Paragraf menguraikan algoritma yang diusulkan untuk membuat arsitektur ideal untuk model CNN yang akan digunakan untuk klasifikasi gambar. Awalnya, sekelompok arsitektur CNN secara acak diinisialisasi dan dilatih pada bagian dari data pelatihan, setelah itu mereka diberi peringkat berdasarkan fungsi kebugaran dataset validasi mereka. Fungsi kebugaran didasarkan pada kesalahan klasifikasi. Individu menjalani mutasi dan persilangan selama proses DE untuk menghasilkan arsitektur yang diperbarui yang dinilai kebugarannya. Individu yang paling fit dalam setiap generasi dipilih berdasarkan fungsi fitnessnya, dan proses ini dilanjutkan sampai kondisi berhenti terpenuhi. Arsitektur CNN yang optimal dipilih berdasarkan skor kebugaran terendah dari individu terpilih terbaik dan diuji pada dataset uji untuk menentukan kinerja akhirnya.
3. Diskusi Singkat
Paragraf tersebut membahas proses inisialisasi populasi dalam algoritma Neural Architecture Search (NAS) yang diusulkan dalam makalah. Populasi adalah sekelompok N individu yang ditempatkan secara acak di dalam ruang pencarian. Setiap individu terdiri dari lapisan Convolution, Pooling, dan Fully-Connected (FC) dengan hyper-parameter yang dipilih secara acak. Setiap individu memiliki panjang yang terbatas dan harus memiliki Convolution layer sebagai komponen pertama dan FC layer sebagai komponen terakhir. Hyper-parameter dari setiap lapisan dipilih dari rentang yang telah ditentukan, sedangkan parameter lainnya didasarkan pada studi sebelumnya.
Bagian ini membahas pemanfaatan mutasi dalam kerangka komputasi evolusioner, khususnya dalam mengoptimalkan Convolutional Neural Networks (CNNs) melalui algoritma Differential Evolution (DE). Dalam pendekatan ini, skema mutasi DE/best/1 digunakan untuk membuat vektor donor vi untuk setiap vektor target xi pada generasi saat ini. Metode yang diusulkan, IDECNN, menghitung selisih antara dua individu (xr1, xr2) dalam populasi (P) yang berbeda dari vektor target, dengan mempertimbangkan jenis lapisan komponennya. Jika dimensi ke-j dari individu yang dipilih secara acak memiliki jenis lapisan yang sama, nilai hyperparameter yang terkait akan dikurangi. Jika nilai dimensi ke-j di xr1 dan xr2 berbeda dalam jenis lapisan, algoritme akan menyalin lapisan ke-j dari xr1, termasuk parameter hiper yang sesuai, untuk menunjukkan perbedaan antara keduanya. Individu terbaik dari populasi dipilih setelah pemeriksaan batas, dan faktor penskalaan F dan nomor acak r digunakan untuk memilih lapisan dari xbest atau (xr1-xr2) untuk menghitung vektor donor vi. Persamaan (3) dalam referensi [1] menguraikan operasi mutasi yang diusulkan, yaitu sebagai berikut:
Algoritma yang diusulkan menggunakan operasi crossover untuk meningkatkan variasi dalam populasi. Mutasi menghasilkan vektor donor, yang kemudian digunakan untuk menghasilkan vektor percobaan dengan menyilangkannya dengan vektor target. Makalah ini menggunakan crossover binomial, yang didasarkan pada tingkat crossover dan nomor acak. Panjang vektor donor ditetapkan, dan nilai acak dipilih dalam jangkauannya. Untuk setiap dimensi vektor uji coba, dihasilkan bilangan acak. Jika angka acak kurang dari tingkat crossover atau sama dengan nilai yang dipilih, nilai yang sesuai diambil dari vektor donor. Jika tidak, itu diambil dari vektor target. Contoh dari proses ini disajikan pada Gambar 6 dari referensi [1].
Selama tahap seleksi, fitness setiap individu dalam populasi dinilai dengan menghitung kesalahan klasifikasi berdasarkan fungsi fitness. Kesesuaian vektor percobaan ui yang diperoleh melalui persilangan dan mutasi juga ditentukan. Vektor target xi dan vektor percobaan ui dibandingkan berdasarkan nilai kesalahan kerugian minimumnya, dan individu yang unggul dipilih untuk generasi berikutnya. Proses seleksi ini mempertahankan ukuran populasi yang konstan dan meningkatkan kemungkinan pemilihan individu dengan nilai fitness superior untuk generasi berikutnya. Persamaan (4) dalam referensi [1] menyediakan operasi pemilihan yang diusulkan, yaitu sebagai berikut:
4. Hasil dan Kesimpulan
Hasil kesalahan klasifikasi IDECNN dan metode/model canggih. Tabel diambil dari [1].
Ringkasnya, metode IDECNN diuji pada delapan kumpulan data gambar yang umum digunakan, dan temuan menunjukkan bahwa metode ini mengungguli metode canggih lainnya pada enam dari delapan kumpulan data berdasarkan rata-rata terbaik, dan tingkat kesalahan klasifikasi SD. Khususnya, IDECNN mencapai kinerja terbaik pada kumpulan data MNIST, dengan tingkat kesalahan terbaik 0,29%, tingkat kesalahan rata-rata 0,38%, dan tingkat kesalahan SD 0,09%. Selain itu, ini menunjukkan kinerja yang unggul pada kumpulan data MBI, MRB, MRD, CS, dan RECT-I. Hasil ini menunjukkan bahwa pendekatan IDECNN yang diusulkan efektif dalam menghasilkan arsitektur CNN yang dapat mencapai akurasi tinggi dalam tugas klasifikasi citra. Selanjutnya, arsitektur CNN yang dihasilkan diterapkan dalam klasifikasi gambar aplikasi dunia nyata yang melibatkan gambar biomedis sinar-X pneumonia dan penyakit coronavirus 2019 (COVID-19). Hasil menunjukkan keefektifan pendekatan yang diusulkan dalam menghasilkan model CNN yang sesuai.
Referensi:
[Patterns, Elsevier] [2022]
Merancang arsitektur jaringan saraf convolutional yang optimal menggunakan algoritma differential evolution
Ulasan: IDECNN-Improved Differential Evolution of Convolutional Neural Network (Gambar… awalnya diterbitkan di Towards AI on Medium, di mana orang melanjutkan percakapan dengan menyoroti dan menanggapi cerita ini.
Diterbitkan melalui Menuju AI
