Tavlama ilkesinden esinlenen sinir ağı tabanlı bir optimizasyon tekniği

Klasik tavlama yoluyla bir optimizasyon probleminde en düşük noktayı bulmak amacıyla tekrarlayan bir sinir ağının (RNN) kullanımını gösteren bir resim. (a) Başlangıçta yüksek sıcaklıklarda, sıcak RNN ​​(kırmızı), konfigürasyon uzayında daha akıllı hareketler yaparak ilgilenilen bir optimizasyon problemi ile tanımlanan manzarayı araştırır. Tavlama sırasında soğutma sıcaklığından sonra, şekil (b)’deki soğuk RNN, engebeli arazideki en düşük enerji konfigürasyonuna işaret eder. Kredi: Hibat-Allah et al.

Optimizasyon problemleri, çeşitli olasılıklar arasından mümkün olan en iyi çözümün belirlenmesini içerir. Bu sorunlarla gerçek dünya ortamlarında ve çoğu bilimsel araştırma alanında karşılaşılabilir.

Son yıllarda, bilgisayar bilimcileri, optimizasyon problemlerini çözmek için giderek daha gelişmiş hesaplama yöntemleri geliştirdiler. Şimdiye kadar geliştirilen en umut verici tekniklerden bazıları, yapay sinir ağlarına (YSA) dayanmaktadır.

Kanada’daki Vector Institute, Waterloo Üniversitesi ve Perimeter Teorik Fizik Enstitüsü’ndeki araştırmacılar, son zamanlarda tekrarlayan sinir ağlarını (RNN’ler) tavlama ilkesiyle birleştiren yeni bir optimizasyon yöntemi olan varyasyonel sinirsel tavlamayı geliştirdiler. Yayınlanan bir makalede tanıtılan bu yeni teknik, Doğa Makine Zekası, belirli bir probleme olası çözümlerin dağılımını parametreli bir model kullanarak genelleştirerek çalışır.

Araştırmayı yürüten araştırmacılardan biri olan Mohamed Hibat-Allah TechXplore’a verdiği demeçte, “Son araştırmamızın konusu makine öğrenimi, istatistiksel fizik ve kuantum fiziği arasındaki kesişme noktasında.” “Daha spesifik olarak, tavlama teorisine ve doğal dil işleme (NLP) alanından ödünç alınan RNN’lere dayanan yeni bir algoritma aracılığıyla gerçek dünya optimizasyonunu çözmeyi amaçlıyor.”

Bu son makalenin fikri, Hibat-Allah ve işbirlikçileri arasındaki bir dizi konuşma sırasında ortaya çıktı. Sonuç olarak, araştırmacılar hem klasik hem de kuantum tavlama ilkelerine dayanan mevcut optimizasyon yöntemlerinden daha iyi performans gösterecek yeni bir algoritma oluşturmaya başladılar.

Araştırmaya katılan başka bir araştırmacı olan Estelle M. Inack, TechXplore’a “O sırada Bogota’da bir okulda Juan Carrasquilla ve Roger Melko ile öğretmenlik yapıyordum” dedi. “Sohbetlerimizden biri sırasında Juan bana, değişken bir Monte Carlo kurulumunda tavlamayı kullanma fikrini önerdi. Waterloo’ya döndüğümüzde, o sırada doktora öğrencisi olan Mohamed ile temasa geçmemi sağladı. Bu, projemiz nasıl başladı.”

En zor optimizasyon problemlerinden bazılarının deterministik olmayan polinom zamanı (NP)-zor problemler olduğu bilinmektedir. Esasen bu, bunların oldukça karmaşık oldukları ve basit hesaplama yöntemleri kullanılarak çözülemeyecekleri veya bunları çözmenin çok uzun zaman gerektireceği anlamına gelir.

Basit algoritmalar bu sorunları etkili bir şekilde çözemediğinden, dünya çapındaki araştırmacılar bunları gerçekçi zaman ölçeklerinde çözebilecek daha verimli teknikler oluşturmaya çalışıyorlar. Hibat-Allah, Inack ve meslektaşları tarafından oluşturulan yaklaşım, optimizasyon problemlerini daha verimli bir şekilde ele almayı amaçlayan en yeni çabalardan biridir.

Hibat-Allah, “Sunuduğumuz çerçeve, tavlama ilkesine dayanmaktadır.” “Sonuncusu, bir malzemeyi ısıtıp yavaş yavaş soğumaya bırakarak daha sağlam ve daha kararlı olan daha düşük bir enerji durumuna getirebildiği metalurjideki tavlamadan esinlenmiştir. Bu süreç, benzetilmiş tavlamanın icadına ilham vermiştir. optimizasyon problemlerine sayısal çözümler bulmayı hedefliyor.”

Bu araştırma grubu tarafından tanıtılan optimizasyon yönteminin en karakteristik özelliği, YSA’ların verimliliğini ve hesaplama gücünü, benzetilmiş tavlama tekniklerinin avantajlarıyla birleştirmesidir. Daha spesifik olarak, Hibat-Allah, Inack ve meslektaşları, NLP uygulamaları için özellikle umut verici olduğu tespit edilen bir algoritma sınıfı olan RNN’leri kullandılar. NLP çalışmalarında bu algoritmalar insan dilini işlemek için eğitilirken, araştırmacılar onları yeniden amaçladılar ve optimizasyon problemlerini çözmek için eğittiler.

Hibat-Allah, “Basit bir ifadeyle, bir optimizasyon problemini vadilerle dolu engebeli bir manzara olarak düşünürseniz, tavlamanın klasik versiyonu, termal dalgalanmaları kullanarak engellerin üzerinden atlayarak manzaradaki en düşük noktayı bulmayı amaçlar.” Dedi. “Öte yandan, tavlamanın kuantum versiyonu, daha derin vadiler bulma umuduyla engellerin üzerinden tüneller kazarak bu sorunu çözmeye çalışır.”

RNN’leri kullanarak, Hibat-Allah, Inack ve meslektaşları optimizasyon problemlerini daha verimli çözebildiklerini keşfettiler. Aslında, daha geleneksel sayısal tavlama uygulamalarının aksine, RNN tabanlı yöntemleri daha akıllı seçimler yaparak hem klasik hem de kuantum tavlama yöntemlerinin verimliliğini artırdı.

Inack, “Tavlama paradigmasını otoregresif ağlarla kodlama yeteneğini gösterdik ve standart simüle edilmiş klasik ve kuantum tavlamaya göre elde edilen performans, çalışmamızın en önemli başarısıdır.” Dedi. “Çalışmamız, optimizasyon problem çözmeyi, örneğin GPU’larda / TPU’larda hızlandırılmış TensorFlow veya Pytorch kullanarak hızlı yineleme yoluyla, gelişmiş sinir ağlarını eğitmek için kullanılan altyapılardan doğrudan yararlanan yeni bir boyuta taşıyor.”

Hibat-Allah, Inack ve meslektaşları, yaklaşımlarını bir dizi testte değerlendirerek, performansını sayısal simülasyonlara dayalı standart tavlama optimizasyon yöntemleriyle karşılaştırdılar. Çerçeveleri, farklı prototip optimizasyon problemlerinde karşılaştırdıkları tüm tekniklerden daha iyi performans gösterdi. Gelecekte, bu araştırmacılar ekibi tarafından tanıtılan algoritma, çok sayıda gerçek dünya optimizasyon problemine uygulanabilir ve çeşitli alanlardaki uzmanların bu problemleri daha verimli bir şekilde çözmelerine yardımcı olabilir.

Inack, “Son makalemiz bir patent başvurusuyla sonuçlandı.” Dedi. “Planım, daha hızlı ve daha doğru türev fiyatlandırma hesaplamaları elde etmek için yeni oluşturduğum girişimim yiyaniQ’da geliştirdiğimiz çerçeveyi kullanmak.”

Araştırmacılar sonraki çalışmalarında algoritmalarının performansını daha gerçekçi problemler üzerinde test etmeyi ve aynı zamanda diğer en son optimizasyon teknikleriyle karşılaştırmayı planlıyorlar. Ek olarak, bazı bileşenlerini değiştirerek veya ek bileşenleri entegre ederek tekniklerini daha da geliştirmeyi umuyorlar.

Hibat-Allah, “Daha gelişmiş sinir ağı mimarileri kullanarak veya tavlama sırasında farklı soğutma şemaları seçerek yöntemimizi geliştirmek de ilginç olurdu.” “Ne kadar gelişme elde edebileceğimizi henüz bilmiyoruz, ancak bu araştırmalardan çok şey öğrenebilir ve potansiyel olarak optimizasyon sorunlarına mevcut çözümleri iyileştirebilecek daha iyi bir algoritma bulabiliriz.”


Yeni ‘kuantum’ yaklaşımı, malzeme bilimindeki eski bir sorunun çözülmesine yardımcı oluyor


Daha fazla bilgi:
Mohamed Hibat-Allah ve diğerleri, Değişken sinirsel tavlama, Doğa Makine Zekası (2021). DOI: 10.1038 / s42256-021-00401-3

© 2021 Bilim X Ağı

Alıntı: 20 Kasım 2021’de https://techxplore.com/news/2021-11-neural-network-based-optimization-technique-principle adresinden alınan tavlama ilkesinden (2021, 11 Kasım) esinlenen bir sinir ağı tabanlı optimizasyon tekniği .html

Bu belge telif haklarına tabidir. Özel çalışma veya araştırma amaçlı herhangi bir adil işlem dışında, yazılı izin alınmadan hiçbir bölüm çoğaltılamaz. İçerik yalnızca bilgi amaçlı sağlanmıştır.





#Tavlama #ilkesinden #esinlenen #sinir #ağı #tabanlı #bir #optimizasyon #tekniği