MF Servis s.r.o.

S firmou Defekta NDT spolupracujeme na řešení, které dokáže automaticky vyhodnocovat RTG snímky výrobků na přítomnost materiálových a výrobních vad. V našem řešení využíváme různých neuronových sítí, které vyhodnocují vstupní obrazový materiál různými způsoby.

Jsme sponzorem konference Defektoskopie 2019.

Vstupem do neuronových sítí mohou být snímky v různých grafických formátech jako PNG, JPEG nebo i formát DICOM, který v sobě nese mimo obrazových dat i další informace o výrobku, provedené zkoušce apod. Mimo obrázků jsou neuronové sítě schopny vyhodnocovat videa v různých formátech. Neuronové sítě k video datům přistupují buď jako k sérii izolovaných snímků nebo jako časově závislé sekvenci. V prvním případě se způsob vyhodnocování neliší od vyhodnocování obrázků, jen je kladen vyšší důraz na rychlost zpracování. V druhém případě jsou některé typy neuronových sítí schopny detekovat natrénovanou akci, pohyb.

Klasifikace

První typ neuronové sítě, který využíváme pro automatické rozpoznávání vad výrobků (svarů) zobrazených na rentgenových snímcích je GoogLeNet konvoluční neuronová síť CNN. Tato síť byla vytvořena tak, aby vyhodnocovala snímky rychle s minimálními výpočetními nároky. Dokáže přiřadit vstupní RTG snímek do jedné ze dvou kategorií – Bez vady, S vadou.

RTG snímek detekovaný jako vadný

Pro každý vyhodnocovaný snímek mimo přiřazení do jedné z kategorií bylo i procentní vyčíslení pravděpodobnosti náležitosti do kategorie. V produkčním prostředí lze nastavit prahovou pravděpodobnost, při které je třeba přiřazení do kategorie nechat ověřit kvalifikovaným zaměstnancem.

Další informací, kterou neuronová síť nabízí, je i teplotní mapa (heatmap). Jedná se grafickou reprezentaci důležitosti jednotlivých oblastí vyhodnocovaného obrázku na finální přiřazení do kategorie. Důležitost je vyjádřena barvami od tmavě modré k tmavě červené. Překrytím teplotní mapy a vstupního obrázku lze zpětně ověřit, že pro neuronovou síť jsou opravdu důležité oblasti, kde se nachází vada výrobků. Z důvodu výkonu je heatmapa zatím dostupná pouze v průběhu trénování neuronové sítě a umožňuje nám ověřovat, že se neuronová síť opravdu zaměřuje na kritické části obrázků. Tyto dodatečné výstupy napomáhají důvěryhodnosti neuronové sítě.

RTG snímek překrytý teplotní mapou

Detekce

Standardní konvoluční neuronové sítě dokáží přiřazovat snímky pouze do předdefinovaných kategorií. Z jejich výstupu nelze určit, kde se určený objekt nachází. Pokud má neuronová síť najít a označit místo výskytu vady, je třeba použít jiný typ neuronové sítě.

Pro úlohu určení konkrétní pozice vady byla vybrána neuronová síť Faster R-CNN. Síť vrací seznam obdélníkových oblastí obrázku, u kterých byla identifikována naučená kategorie hledaných objektů.

V tomto případě učební soubor musí obsahovat rentgenové snímky, na kterých byly vyznačeny obdélníkové oblasti, u kterých se vyskytovaly různé vady.

Výpočetní náročnost této neuronové sítě je již vyšší. Pro zrychlení doby odezvy bylo potřeba neuronovou síť provozovat na výkonnější grafické kartě.

Výstupem této neuronové sítě je seznam všech nalezených oblastí na snímku, kde se vyskytuje obraz vady. Informace o pozicích lze například použít na zpětné zakreslení vady do kopie snímku, tedy vytvoření obohaceného snímku.

Mimo oblastí určených čtyřmi body síť vracela pro každou oblast i procentuální jistotu detekce dané vady. Tuto dodatečnou informaci lze opět využít na filtraci málo pravděpodobných vad nebo jako indikaci, že je potřeba názoru lidského experta.

Segmentace

Posledním typem námi používané neuronové sítě je Detectron. Tato neuronová síť vylepšuje předchozí typ neuronové sítě, protože místo obdélníkové oblasti výskytu vady vrací polygon, který kopíruje přesný tvar nalezené vady. Díky tomu lze zpětně vypočítat skutečný rozměr vady.

Kombinace postupů

Pro efektivní nasazení do produkčního prostředí je výhodnější namísto vytváření jedné univerzální neuronové sítě využít kombinaci různých specializovaných neuronových sítí, které jsou vyladěny na dílčí úkoly.

Jednoduchá nenáročná konvoluční neuronová síť může v prvním kroku zařazovat příchozí snímky do různých kategorií. Například identifikovat různé vyráběné produkty, určit typ svarů na snímku - koutový, tupý, plátovaný, rohový, apod. Následně jsou snímky poslány pro detailnější vyhodnocení, identifikaci místa vady, do jedné ze specializovaných sítí, která je vytvořena pouze pro danou kategorii snímků.

Takto jde průběžně vytvářet automatizovaný systém, který se průběžně přizpůsobuje požadavkům výroby.

Závěr

Umělá inteligence napomáhá automatizovat, zrychlovat, zpřesňovat nebo škálovat lidské kognitivní schopnosti jako jsou vnímání, uvažování nebo rozhodování. Jejím zapojením do výrobního procesu lze dosáhnout vyšší efektivity a kvality. Opakující se činnosti podpořené systémem s umělou inteligencí budou rychleji a přesněji vykonávány, protože se sníží podíl lidské chybovosti.

Při využití neuronových sítí na rentgenových snímcích nebo kontinuálním záznamu v reálném čase je nejefektivnější nalezení zájmové oblasti a označení vady. Takto lze mnohonásobně zefektivnit kontrolu hlavně při aplikacích na velké, opakovatelné výrobkové série, jako jsou například výroba automobilových kol z lehkých slitin nebo opakovatelná kontrola jednoduchých svařenců.

Úspory prostředků lze dosáhnout zkrácením potřebného času pro kontrolu, a tím mnohonásobně většího počtu zkontrolovaných kusů za stejný čas. V praxi je pak možné redukovat počet paralelních kontrolních linek, nebo zvýšení produktivity bez potřeby nákupu dalších zařízení. Další oblastí je rozpoznávání a určování přípustnosti vad, učení pro tento účel je mnohem složitější a náročnější. Nepůjde pravděpodobně nikdy obsáhnout všechny sektory NDT jedním souborem neuronových sítí, proto je nutné učit sítě pro dané aplikace. Je zřejmé, že není možné s ohledem na povahu a důležitost vynechat lidský faktor pro supervizi systému a korigování výsledků, přesto již nyní úspěšně pracují obdobné systémy na letištích pro rozpoznávání hrozeb v zavazadlech při odbavení cestujících. Je tedy jen otázkou ekonomičnosti, pro jakou kontrolu je systém umělé inteligence využitelný.