Bin picking és 3D gépi látás – mikor kell AI az alkatrész-kezeléshez?

Olvasási idő: kb. 8 perc

Egy ládányi ömlesztett alkatrész az embernek semmi különös. Belenyúl, kivesz egyet, megfordítja a kezében, és beteszi a gépbe. A robotnak ugyanez az egyik legnehezebb feladat az egész üzemben. Nem tudja, hol van a darab, hogyan fekszik, mi takarja, és hogy egyáltalán hozzáfér-e. Erre való a bin picking, vagyis a rendezetlen ládából történő robotos kiszedés, amihez 3D gépi látás és egyre gyakrabban mesterséges intelligencia is kell.

A cikket gyártásvezetőknek, fejlesztőmérnököknek és azoknak írtam, akik egy automatizálási beruházás előtt állnak, és tisztán szeretnék látni, mitől működik egy bin picking cella a gyakorlatban. Mikor elég a klasszikus, CAD-modellre épülő felismerés, és mikor érdemes AI-t tenni a rendszerbe? A végén egy döntési ábrát és egy rövid kérdéslistát is adok, amit érdemes átnézni, mielőtt ajánlatot kérsz.

A láda nem lesz rendezettebb

A legtöbb üzemben az alkatrész úgy érkezik, ahogy a beszállítónak vagy az előző műveletnek kényelmes: rekeszben, rácsos ládában, KLT-dobozban, egymásra dobálva. Ebből valakinek ki kell vennie a darabot, és megfelelő helyzetben be kell tennie egy gépbe, tálcára vagy a szerelősorra. Ezt ma sok helyen operátor végzi. Monoton munka, nehezebb daraboknál ergonómiailag is megterhelő, és jellemzően ez az a pont, ahol műszakváltáskor vagy szabadságolás idején először van gond a létszámmal.

Az automatizálás klasszikus válasza az volt, hogy rendezzük a darabot, mielőtt a robot hozzányúl. Rezgőadagoló, tálcázás, szalagos szeparálás, speciális beszállítói csomagolás. Ezek jól működnek, amíg a darab kicsi, a típusszám alacsony, és valaki vállalja a tálcázás költségét. Nagyobb, nehezebb, bonyolult geometriájú alkatrészeknél a rendezés drága és helyigényes, ráadásul minden új termék új szerszámot jelent.

Itt jön képbe a bin picking. A robot nem vár rendezett darabra. Egy 3D kamerával belenéz a ládába, megkeresi a kivehető darabot, kiszámolja a helyzetét, megfogja, majd ismert pozícióban lerakja. Leírva egyszerű. Aki próbált már ilyet üzembe helyezni, tudja, hogy a valóságban ennél jóval több munka van vele.

Hogyan dolgozik egy bin picking cella?

Érdemes lépésekre bontani a folyamatot, mert a hibák is lépésenként jelentkeznek, és a technológiai döntések is lépésenként születnek meg.

• 3D képalkotás: a kamera a láda tartalmáról pontfelhőt készít, vagyis minden képponthoz térbeli koordináta is tartozik. A leggyakoribb megoldások a strukturált fényes (mintavetítéses) kamerák, a sztereó kamerák, a ToF (time-of-flight) szenzorok és a lézeres szkennerek. Bin pickinghez a strukturált fény az egyik legelterjedtebb, mert közepes távolságon jó pontosságot ad. A ToF gyorsabb, de jellemzően durvább felbontású, a vonallézeres szkennelésnél pedig a szenzornak vagy a darabnak mozognia kell.
• Tárgyfelismerés és szegmentálás: a pontfelhőből ki kell választani, mely pontok tartoznak egy darabhoz. Ha a darabok összeérnek, egymáson fekszenek vagy egymásba akadnak, ez a legnehezebb lépés.
• Pozícióbecslés: meg kell határozni a darab helyzetét mind a hat szabadsági fokban (három eltolás, három elfordulás). Klasszikusan ezt úgy oldjuk meg, hogy a darab CAD-modelljét vagy egy referencia-pontfelhőt ráillesztünk a mért pontokra, például ICP (Iterative Closest Point) algoritmussal.
• Megfogáspont-választás: a felismert darabok közül azt kell kiválasztani, amelyik ténylegesen megfogható, semmi nem takarja, és a megfogó nem ütközik a láda falával vagy a szomszédos darabbal.
• Pályatervezés: a robotnak ütközésmentesen kell odamennie a darabhoz és kihoznia azt. Az utolsó darabok a láda sarkában és a fal mellett vannak. Itt dől el, hogy a cella tényleg kiüríti-e a ládát, vagy mindig marad benne pár darab, amit kézzel kell kiszedni.

Ha bármelyik lépés gyengén teljesít, a ciklusidő elszáll. Egy sikertelen megfogás újrapróbát jelent, egy pontatlan pozícióbecslés rossz lerakást, egy ütközés pedig leállást. A kiállítási demókon ezek ritkán látszanak, mert ott a láda szépen meg van világítva, félig van töltve, és a darabok matt felületűek.

Mikor elég a klasszikus 3D illesztés?

Nem minden bin picking feladathoz kell mesterséges intelligencia. Ha az alkatrész merev, van róla pontos CAD-modell, a felülete matt vagy legalább jól mérhető, és a ládában nincs túl sokféle darab, a klasszikus, modellalapú illesztés stabil és jól követhető megoldást ad. Tipikus példa egy nyers öntvény vagy kovácsolt darab, egy műanyag ház, vagy egy jellegzetes formájú lemezalkatrész.

Ennek a megközelítésnek komoly előnyei vannak. Nem kell hozzá tanítóadat, a paraméterek érthetők, és ha valami nem működik, a mérnök látja, miért. Új termékváltozatnál sokszor elég betölteni az új CAD-modellt és beállítani a megfogási pontokat.

Mi is azt javasoljuk, hogy ha egy feladat így megoldható, ne bonyolítsuk túl. Az AI önmagában nem érték. Egy felesleges tanítási és validálási kör csak időt és pénzt visz el.

Mikor kell AI a bin pickinghez?

A klasszikus illesztés ott kezd gyengülni, ahol a pontfelhő hiányos vagy félrevezető, illetve ahol maga a „darab” fogalma is bizonytalan. A gyakorlatban ezek a leggyakoribb jelek:

• Fényes, tükröző felület: megmunkált acél, alumínium, krómozott alkatrész. A kamera által vetített minta visszaverődik, a pontfelhőben lyukak és hamis pontok jelennek meg, az illesztés pedig könnyen rossz helyre ugrik.
• Összeakadó darabok: rugók, kampók, hajlított csövek, kábelkötegek. Itt azt nehéz megmondani, hol ér véget az egyik darab és hol kezdődik a másik.
• Egynek látszó darabok: ha két vagy több darab szorosan összeér, egymásba csúszik vagy síkban illeszkedik egymáshoz, a pontfelhőben egyetlen, nagyobb objektumnak tűnhet. Ezt különösen alattomos esetnek tartom, mert a klasszikus illesztés ilyenkor nem hibát jelez, hanem magabiztosan rossz eredményt ad: a két darab határára illeszt, és a robot rossz helyen fog meg. Egyforma, sík felületű lemezeknél, egymásba rakható házaknál, gyűrűknél gyakori.
• Deformálódó vagy szórásos alak: zsákos áru, gumi- és textilalkatrészek, élelmiszer. Nincs egyetlen CAD-modell, amihez illeszteni lehetne.
• Sok variáns, gyakori átállás: ha hetente jelenik meg új cikkszám, a modellenkénti paraméterezés lassabb lesz, mint egy jól tanított felismerő.
• Hiányzó vagy pontatlan CAD: régi termékeknél és beszállítói alkatrészeknél gyakori.

Ilyenkor az AI jellemzően a szegmentálásban segít. Egy betanított neurális háló a 2D és 3D adatokból felismeri, melyik képrész melyik darabhoz tartozik, akkor is, ha a pontfelhő hiányos. Ezután a klasszikus geometria is jobban működik, mert már csak az adott darabhoz tartozó pontokra kell illeszteni, nem a teljes ládára.

Ezért a legtöbb jól működő ipari rendszer hibrid. Az AI megmondja, mit lát a kamera, a klasszikus illesztés és a robotvezérlés pedig pontosan kiszámolja, hová nyúljon a robot. A vizuális minőségellenőrzésnél is ugyanezt tapasztaltuk: a két módszer nem versenytársa egymásnak, együtt adnak stabil eredményt.

Van egy köztes eset is, amit sokan nem vesznek észre. A feladat elvileg megoldható klasszikus módszerrel, de csak rengeteg finomhangolással, kivételkezeléssel, ládánként változó paraméterekkel. Az ilyen rendszer átadáskor még működik, fél év múlva viszont már senki nem mer hozzányúlni. Ebben a helyzetben az AI azért jobb választás, mert egyszerűbbé teszi az üzemeltetést.

Robot-Service tapasztalat: amikor nem a láda, hanem a gép a káosz

Az egyik projektünk jól mutatja, hogy ugyanaz a technológiai lánc, ami a bin picking lényege, egy látszólag rendezett gyártási folyamatban is szükséges lehet.

Ipari ventilátorházak ponthegesztéséről volt szó. A robot megfogja a házat, és egy fixen telepített ponthegesztő fejhez viszi. Ahhoz, hogy a hegesztés jó legyen, a darabot nagyon pontosan kell a fejhez tartani. A gond az volt, hogy a ponthegesztéshez szükséges nagy áramok miatt a hegesztőkészülék üzem közben folyamatosan torzul. A robotba betanított fix pontok így idővel már nem ott voltak, ahol a valóságban lenniük kellett volna. A káosz itt nem a ládában volt, hanem magában a gépben.

A megoldáshoz 3D felvételt készítettünk, és AI-val felismertük rajta a releváns szegmenseket. A szegmens területére ráillesztettük a termékről előre elkészített referencia-pontfelhőt, így megkaptuk a darab valós helyzetét. Ezt mátrixtranszformációval átszámoltuk a ponthegesztő fej koordináta-rendszerébe, és a robot ennek alapján korrigálta a pozíciót. A robot tehát nem vakon ment a betanított pontra, hanem minden alkalommal megnézte, hová kell mennie.

Ha végignézzük a lépéseket, pontosan a bin picking láncát látjuk: szegmentálás, pontfelhő-illesztés, transzformáció a robot koordináta-rendszerébe. Az AI feladata itt is az volt, hogy zajos, változó környezetben is megbízhatóan megmondja, mely pontok számítanak. Az illesztés és a transzformáció már klasszikus geometria.

Ebből a projektből azt vittük tovább, hogy a 3D látást és az AI-t érdemes képességként kezelni, nem egyetlen alkalmazásként. Ahol a robotnak egy bizonytalan helyzetű darabhoz kell pontosan odamennie, legyen az láda, szerelőkészülék vagy torzuló hegesztőgép, ugyanazok a kérdések merülnek fel.

Döntési segédlet: klasszikus 3D vagy AI + 3D?

Az alábbi ábra egy gyors első szűrő. A mintadarabos tesztet nem váltja ki, de segít, hogy a projekt jó irányból induljon.

1. ábra: Kell-e AI a bin pickinghez? Gyors döntési út

A táblázat ugyanezt darabjellemzők szerint foglalja össze:

1. táblázat: Darabjellemzők és javasolt felismerési megközelítés

Mielőtt ajánlatot kérsz: ezeket érdemes tisztázni

A bin picking projektek jelentős része nem a technológián csúszik el, hanem azon, hogy az elvárások az elején nem voltak kimondva. Ezekre a kérdésekre érdemes választ adni már az első egyeztetés előtt:

• Mekkora a szükséges ciklusidő, és mennyi tartalékkal számolunk az újrapróbákra?
• Hány cikkszám fut a cellán, és milyen gyakran jön új?
• Mekkora a láda, és teljesen ki kell-e üríteni, vagy maradhat benne néhány darab?
• Milyen a darabok felülete: olajos, fényes, festett vagy nyers?
• Összeérhet-e két vagy több darab úgy, hogy egynek látszik (egymásba csúszva, síkban egymáshoz illeszkedve)?
• Van-e CAD-modell, és mennyire egyezik a legyártott darabbal?
• Mi történjen, ha a robot nem tud kivenni egy darabot: újrapróba, a láda megrázása vagy jelzés az operátornak?
• Hová és milyen pontossággal kell lerakni a darabot, és kell-e közbenső újrafogás?

Egy gyakorlati tanács: már az első körben küldj mintadarabokat, lehetőleg eredeti ládával, úgy, ahogy a gyártásban érkeznek. Egy félnapos teszt valódi darabokkal többet mond bármilyen adatlapnál. Nálunk is ezzel kezdődik a megvalósíthatósági vizsgálat.

Tanulságok

• A bin picking nem kamerakérdés. A 3D kép csak az első lépés; a felismerés, a megfogás és a pályatervezés együtt dönt.
• Ahol lehet, maradj a klasszikus illesztésnél. Merev, matt, CAD-modellel rendelkező darabnál gyakran ez a gyorsabb és olcsóbb út.
• Nehéz daraboknál az AI teszi stabillá a rendszert. Fényes, összeakadó, egynek látszó, deformálódó vagy sokváltozatú alkatrésznél az AI-alapú szegmentálás a kulcs, jellemzően klasszikus illesztéssel kombinálva.
• Ugyanez a lánc a ládán kívül is működik. Pozíciókorrekció, torzuló készülékek kompenzálása, bizonytalan helyzetű darabok kezelése.
• A döntést a mintadarabos teszt alapozza meg, nem a demóvideó.

Kapcsolódó megoldásaink

A Robot-Service Kft. robotcellák és automatizált gyártórendszerek tervezésétől a beüzemelésig támogatja ügyfeleit. A 3D gépi látáshoz és a mesterséges intelligenciához kapcsolódó fejlesztéseket a ROBOMIND Systems, a Robot-Service AI-alkalmazásokra és szoftverfejlesztésre létrehozott leányvállalata végzi. Így egy projekten belül, összehangoltan kezeljük a robotikai, a gépi látási és a szoftveres oldalt.

Kulcsszolgáltatásaink:

• Megvalósíthatósági vizsgálat mintadarabokkal: teszteljük, hogy az adott alkatrész milyen megbízhatósággal és ciklusidővel szedhető ki, és ehhez klasszikus vagy AI-alapú felismerés kell-e.
• 3D látás és AI-szoftver fejlesztése és integrálása robotcellába: kameraválasztás, szegmentáló modell, pontfelhő-illesztés, robotkommunikáció és pályatervezés egy kézből.
• Meglévő cellák kiegészítése 3D pozíciókorrekcióval: ahol a darab vagy a készülék helyzete változik, a robot a betanított pontok helyett a mért valós pozícióhoz igazodik.

Ha van egy ládád, amiből ma még kézzel szedik ki a darabokat, küldd el nekünk a mintadarabokat, és megmondjuk, mit érdemes vele kezdeni.