Bacaklı robotların çevrelerinden sürekli öğrenmelerini sağlayan bir teknik

Kredi: Smith ve ark.

Bacaklı robotlar, uzun mesafeler kat etme ve çok çeşitli kara tabanlı ortamlarda gezinme yeteneği de dahil olmak üzere çok sayıda avantajlı niteliğe sahiptir. Ancak şimdiye kadar, bacaklı robotlar, çevrelerine uyum sağlamak ve çok sayıda farklı ortamda verimli bir şekilde çalışmak yerine, öncelikle belirli ortamlarda hareket etmek üzere eğitildi. Bunun temel nedeni, bir robotun çalışırken karşılaşabileceği tüm olası çevresel koşulları tahmin etmek ve bu koşullara en iyi şekilde yanıt verecek şekilde eğitmek oldukça zor olmasıdır.

Berkeley AI Research ve UC Berkeley’deki araştırmacılar, kısa süre önce, bacaklı robotların çevrelerinden aktif olarak öğrenmelerine ve hareket becerilerini sürekli olarak geliştirmelerine izin vererek bu sorunu aşabilecek, pekiştirmeli öğrenmeye dayalı bir hesaplama tekniği geliştirdiler. arXiv’de önceden yayınlanan bir makalede sunulan bu teknik, bir robotun gerçek dünyadaki hareket politikalarına ince ayar yaparak çeşitli ortamlarda daha etkili hareket etmesine izin verebilir.

Araştırmayı yürüten araştırmacılardan biri olan Laura Smith, TechXplore’a “Robotları gerçek dünyaya yerleştirildiğinde asla başarısız olmayacak şekilde önceden eğitemeyiz” dedi. “Dolayısıyla, robotların özerk olmaları için, kendilerini toparlayabilmeleri ve hatalardan ders çıkarabilmeleri gerekir. Bu çalışmada, robotların tam da bunu yapabilmesini sağlamak için gerçek dünyada RL gerçekleştirmek için bir sistem geliştiriyoruz.”

Smith ve meslektaşları tarafından geliştirilen pekiştirmeli öğrenme yaklaşımı, UC Berkeley’deki araştırmacıların geçmişte geliştirdiği bir hareket taklidi çerçevesi üzerine kuruludur. Bu çerçeve, bacaklı robotların hayvanların hareketlerini gözlemleyerek ve taklit ederek hareket becerilerini kolayca kazanmalarını sağlar.







Bu video, esnek, özerk bir robot oluşturmak için kurtarmanın önemini vurgulamaktadır. Kredi: Smith ve ark.

Buna ek olarak, araştırmacılar tarafından tanıtılan yeni teknik, New York Üniversitesi’ndeki (NYU) bir ekip tarafından geliştirilen ve randomize toplu çift Q-öğrenme (REDQ) algoritması olarak adlandırılan modelsiz bir pekiştirmeli öğrenme algoritmasını kullanıyor. Esasen bu, bilgisayarların ve robotik sistemlerin sürekli olarak önceki deneyimlerden çok verimli bir şekilde öğrenmesini sağlayan hesaplama yöntemidir.

Smith, “İlk olarak, simülasyonda bir kurtarma kontrolörü de dahil olmak üzere robotlara hareket becerileri kazandıran bir modeli önceden eğittik” dedi. “Ardından, robotu gerçek dünyada yeni bir ortama yerleştirildiğinde eğitmeye devam ettik ve öğrenilmiş bir kontrolörle sıfırladık. Sistemimiz yalnızca robotun yerleşik sensörlerine dayanıyor, bu yüzden robotu yapılandırılmamış olarak eğitebildik, dış mekan ayarları.”







Öğrenilmiş kurtarma denetleyicisi iş başında. Kredi: Smith ve ark.

Araştırmacılar, takviyeli öğrenme sistemlerini dört ayaklı bir robota uygulayarak ve halı, çim, paspas ve paspas dahil olmak üzere farklı araziler ve malzemeler üzerinde nasıl hareket etmeyi öğrendiğini gözlemleyerek bir dizi deneyde değerlendirdiler. Teknikleri, robotun tüm farklı yüzeylerde hareket ederken hareket stratejilerini otonom olarak ince ayar yapmasına izin verdiği için bulguları oldukça umut vericiydi.

Smith, “Ayrıca, kurtarma kontrol cihazını başka bir öğrenilmiş hareket becerisi olarak ele alabileceğimizi ve bir kurtarma kontrol cihazı tasarlamak için bir uzmana veya öğrenme sürecinde manuel olarak müdahale edecek birine ihtiyaç duymadan, denemeler arasında robotu otomatik olarak sıfırlamak için kullanabileceğimizi keşfettik” dedi. .







Bu video, öğrenilen denetleyicinin performansını bir üretici tarafından tasarlananla karşılaştırır. Kredi: Smith ve ark.

Gelecekte, bu araştırmacılar ekibi tarafından geliştirilen yeni güçlendirme tekniği, hem mevcut hem de yeni geliştirilen bacaklı robotların hareket becerilerini önemli ölçüde geliştirmek için kullanılabilir ve çok çeşitli yüzeylerde ve arazilerde hareket etmelerine olanak tanır. Bu da, farklı özelliklere sahip çok sayıda ortamdan geçerken, karada uzun mesafeler kat etmeyi içeren karmaşık görevler için bu robotların kullanımını kolaylaştırabilir.







Kredi: Smith ve ark.

Smith, “Artık sistemimizi, bir robotun gerçek dünyada karşılaştığı çeşitli, sürekli değişen durumlara maruz kaldığında öğrenmeyi asla bırakmadığı yaşam boyu öğrenme sürecine uyarlamaktan heyecan duyuyoruz.” Dedi.


Robotlarda farklı hayvan hareket becerilerini yeniden üreten bir sistem


Daha fazla bilgi:
Laura Smith ve diğerleri, Öğrenmeye devam eden bacaklı robotlar: Gerçek dünyada hareket politikalarında ince ayar. arXiv:2110.05457v1 [cs.RO], arxiv.org/abs/2110.05457

Xue Bin Peng ve diğerleri, Hayvanları taklit ederek çevik robotik hareket becerilerini öğrenmek. arXiv:2004.00784v3 [cs.RO], arxiv.org/abs/2004.00784

Xinyue Chen ve diğerleri, Randomize birleştirilmiş çift Q-öğrenme: model olmadan hızlı öğrenme. arXiv:2101.05982v2 [cs.LG], arxiv.org/abs/2101.05982

© 2021 Bilim X Ağı

Alıntı: Bacaklı robotların sürekli olarak çevrelerinden öğrenmelerini sağlayan bir teknik (2021, 1 Kasım), 20 Kasım 2021’de https://techxplore.com/news/2021-11-technique-legged-robots-environment.html adresinden alınmıştır.

Bu belge telif haklarına tabidir. Özel çalışma veya araştırma amaçlı herhangi bir adil işlem dışında, yazılı izin alınmadan hiçbir bölüm çoğaltılamaz. İçerik yalnızca bilgi amaçlı sağlanmıştır.





#Bacaklı #robotların #çevrelerinden #sürekli #öğrenmelerini #sağlayan #bir #teknik