SEIHAI: NeurIPS-2020 MineRL yarışmasını kazanan hiyerarşik yapay zeka

Araştırmacıların hiyerarşik mimarisine genel bakış. Kredi bilgileri: Mao ve diğerleri

Son yıllarda, pekiştirmeli öğrenmeye dayalı hesaplama araçları, görüntü sınıflandırma ve robotik nesne manipülasyonu dahil olmak üzere çok sayıda görevde dikkate değer sonuçlar elde etti. Bu arada, bilgisayar bilimcileri de belirli insan oyunlarını ve video oyunlarını oynamak için pekiştirici öğrenme modelleri eğitiyorlar.

Takviyeli öğrenme teknikleri üzerinde çalışan araştırma ekiplerine meydan okumak için, Sinirsel Bilgi İşleme Sistemleri (NeurIPS) yıllık konferansı, Mojang Studios tarafından geliştirilen ünlü bilgisayar oyunu Minecraft’ta aynı görev üzerinde farklı algoritmaların test edildiği bir yarışma olan MineRL yarışmasını tanıttı. Daha spesifik olarak, yarışmacılardan Minecraft oyununda ham piksellerden bir elmas elde etmesi gerekecek algoritmalar oluşturmaları istenir.

Algoritmalar yalnızca dört gün boyunca ve MineRL simülatörü tarafından tek bir GPU makinesi kullanılarak oluşturulan 8.000.000 örnek üzerinde eğitilebilir. Eğitim veri setine ek olarak, katılımcılara ayrıca geniş bir insan gösterileri koleksiyonu da sağlanır (yani, görevin insan oyuncular tarafından çözüldüğü video kareleri).

Huawei Noah’s Ark Lab, Tianjin Üniversitesi ve Tsinghua Üniversitesi’nden bir araştırma ekibi, NeurIPS- MineRL 2020 yarışmasını kazandı. SEIHAI adlı örnek verimli bir hiyerarşik yapay zeka (AI) aracı kullanan araştırmacılar, yarışmaya katılan diğer tüm algoritmalardan daha iyi performans göstermeyi başardılar.

Hangyu Mao ve meslektaşları, arXiv’de önceden yayınlanan AI’larını özetleyen bir makalede, “İnsan gösterilerinden ve görev yapısından tam olarak yararlanan örnek verimli bir hiyerarşik AI olan SEIHAI’yi sunuyoruz.” “Özellikle, görevi birkaç sıralı olarak bağımlı alt göreve böldük ve pekiştirmeli öğrenme ve taklit öğrenme kullanarak her alt görev için uygun bir aracı eğittik.”

Minecraft’ta bir elmas elde etmek için oyuncuların bir dizi adımı izlemesi gerekir. Sırayla, bir kütük oluşturmak için bir ağaç kesmeleri, ardından kütüğü tahta bir kazma yapmak için kullanmaları ve daha sonra bir parke taşını kazmak için kullanmaları gerekir. Son olarak, parke taşı bir fırına yerleştirilmeli ve elmas veya başka bir şey olabilecek bir taşa işlenmelidir. Elmas oyunda nadiren bulunur ve bu da MineRL katılımcıları için görevi daha da karmaşık hale getirir.

Görevi en etkili şekilde ele almak için Mao ve meslektaşları, görevi her biri farklı beceri ve yetenekler gerektiren bir dizi alt göreve böldüler. Daha sonra, çözmeye çalıştıkları soruna hangisinin en uygun olduğuna bağlı olarak, pekiştirmeli öğrenme veya taklit öğrenme kullanarak alt görevlerin her birini ayrı ayrı ele almak için farklı aracıları eğittiler.

Farklı alt görevlerin her biri için hangi aracının daha uygun olduğuna karar vermek için araştırmacılar, tamamlanması gereken alt görevin benzersiz özelliklerine göre farklı durumlar için bir aracı seçen bir araç olan bir zamanlayıcı kullandılar. Araştırmacılar tarafından oluşturulan hiyerarşik model, MineRL 2020 yarışmasına katılan diğer tüm algoritma ve modellerden önemli ölçüde daha iyi performans göstererek dikkat çekici sonuçlar elde etti.

Araştırmacılar makalelerinde, “Hiyerarşik yöntemimiz SEIHAI’nin etkinliğini gösteren NeurIPS-2020 MineRL yarışmasının ön ve finalinde birincilik kazandık” diye yazdı. “İnsan önceliklerini ve örnek verimli öğrenmeye dayalı teknikleri uygun şekilde birleştiren yöntemler geliştirmenin, sınırlı gösterimler, seyrek ödüller, ancak açık bir görev yapısı ile karmaşık görevleri çözmenin rekabetçi bir yolu olduğuna inanıyoruz.”


Bir sonraki hamlesine karar veren robotların önceliklendirme konusunda yardıma ihtiyacı var


Daha fazla bilgi:
Hangyu Mao ve diğerleri, SEIHAI: MineRL yarışması için örnek verimli bir hiyerarşik AI. arXiv:2111.08857v1 [cs.LG], arxiv.org/abs/2111.08857

© 2021 Bilim X Ağı

Alıntı: SEIHAI: NeurIPS-2020 MineRL yarışmasını (2021, 6 Aralık) kazanan hiyerarşik yapay zeka, 6 Aralık 2021’de https://techxplore.com/news/2021-12-seihai-hierarchical-ai-won-neurips- adresinden alındı. html

Bu belge telif haklarına tabidir. Özel çalışma veya araştırma amaçlı herhangi bir adil işlem dışında, yazılı izin alınmadan hiçbir kısmı çoğaltılamaz. İçerik yalnızca bilgi amaçlı sağlanmıştır.





#NeurIPS2020 #MineRL #yarışmasını #kazanan #hiyerarşik #yapay #zeka