goFOOD TM: Mesterséges intelligencia rendszer az étrend értékeléséhez

Ya Lu

1 ARTORG Orvosi Orvostechnikai Kutatóközpont, Berni Egyetem, 3008 Bern, Svájc; [email protected] (Y.L.); [email protected] (T.S.); [email protected] (M.F.V.)

Thomai Stathopoulou

1 ARTORG Orvosi Orvostechnikai Kutatóközpont, Berni Egyetem, 3008 Bern, Svájc; [email protected] (Y.L.); [email protected] (T.S.); [email protected] (M.F.V.)

Maria F. Vasiloglou

1 ARTORG Orvosi Orvostechnikai Kutatóközpont, Berni Egyetem, 3008 Bern, Svájc; [email protected] (Y.L.); [email protected] (T.S.); [email protected] (M.F.V.)

Lillian F. Pinault

2 Endokrinológiai Osztály, Baltimore Veterans Administration Medical Center, Baltimore, MD 21201, USA; [email protected] (L.F.P.); ude.dnalyramu.mos@sikanapsi (E.K.S.)

Colleen Kiley

3 Luminis Health, Anne Arundel Medical Center, Anne Arundel Medical Group Diabetes és Endokrin Szakemberek, Annapolis, MD 21401, USA; gro.shaa@yelikc

Elias K. Spanakis

2 Endokrinológiai Osztály, Baltimore Veterans Administration Medical Center, Baltimore, MD 21201, USA; [email protected] (L.F.P.); ude.dnalyramu.mos@sikanapsi (E.K.S.)

4 Endokrinológiai osztály, cukorbetegség és táplálkozás, Marylandi Egyetem Orvostudományi Kar, Baltimore, MD 21201, USA

Stavroula Mougiakakou

1 ARTORG Orvosi Orvostechnikai Kutatóközpont, Berni Egyetem, 3008 Bern, Svájc; [email protected] (Y.L.); [email protected] (T.S.); [email protected] (M.F.V.)

5 Berni Egyetemi Kórház “Inselpital”, 3010 Bern, Svájc

Absztrakt

1. Bemutatkozás

A számítógépes látási algoritmusok és az okostelefon technológiák fejlesztésével megvalósíthatóvá vált az ételek tápanyagtartalmának megbecsülése az okostelefon kamerájáról készített étkezési képek elemzésével [8,9,10]. Ideális esetben a felhasználóknak egy vagy több étkezési képet kell rögzíteniük az okostelefon kamerájával; az élelmiszer-típust és a hozzá tartozó tápanyag-tartalmat a külön megtervezett étrend-értékelési rendszer automatikusan kiszámítja. Az ilyen rendszerekben általában három szakasz vesz részt: (1) élelmiszerek szegmentálása; (2) élelmiszerek felismerése és (3) mennyiségi becslés. Így a tápanyagtartalom az élelmiszer-tápanyag-adatbázis segítségével egyszerű módon lekérhető.

Ezt a koncepciót követve számos algoritmust javasoltak az étrend értékelésére [11,12,13,14,15], de ezek többsége csak az első két lépésre összpontosít [11,12,13], a hozzá tartozó képszegmentálással és felismeréssel. algoritmusok. Annak ellenére, hogy ezek az algoritmusok jó pontosságot érnek el a nyilvánosan hozzáférhető adatbázisokban [16,17], megfigyeltük, hogy még mindig nehéz kielégítő teljesítményt nyújtaniuk a valós életű képeken, különösen homályos képek vagy rossz fényviszonyok esetén. Így egy gyakorlati rendszerhez egy ember-interakció modult kell bevezetni, amely lehetővé teszi a végfelhasználók számára, hogy manuálisan korrigálják az automatikusan generált élelmiszer-szegmentálási és felismerési eredményeket.

A mesterséges intelligencia-alapú étrend-értékeléssel kapcsolatos tudományos munka előrehaladását többször kísérelték meg a technológia okostelefonos alkalmazásokban történő forgalmazásával (pl. FatSceret [27], CALORIE MAMA [28] és bitesnap [29]). Ezek az alkalmazások kihasználják az okostelefonok és az AI algoritmusok elérhetőségét, és célja, hogy kényelmes eszközöket biztosítsanak az általános felhasználók számára az étkezésük rendszeres rögzítésére. Az alkalmazások többsége azonban megköveteli, hogy a felhasználó manuálisan becsülje meg az étel adagméretét [27,28,29], vagy szabványosított adagegységeket használjon [27,28,29]. Legfrissebb kutatásaink azt mutatják, hogy még képzett egyének sem tudják pontosan megbecsülni az étel adagját [23]. Továbbá a legjobb tudásunk szerint a kereskedelemben kapható alkalmazásokat nem támogatják olyan publikációk, amelyek információkat nyújtanak (i) az alkalmazott algoritmikus módszerekről, (ii) validálásról - akár ellenőrzött körülmények között, vagy összehasonlított adatkészlet használatával és (iii) a rendszerről. architektúra (pl. okostelefon alapú, szerver alapú). Ezért az összehasonlító értékelés nem egyszerű.

Ebben a cikkben okostelefon-alapú étrend-értékelési rendszert javasolunk, a goFOOD TM elnevezéssel. A goFOOD TM hasonló folyamatot követ, mint korábbi GoCARB rendszerünk, amely két bemeneti kép felhasználásával becsüli meg az étel tápanyagtartalmát. Azonban a következő módosításokat hajtották végre: (1) A goFOOD TM kihasználja a speciálisan kifejlesztett, fejlett mély tanulási módszer előnyeit, biztosítva, hogy a rendszer több élelmiszer-típust támogasson és jobb pontossággal. (2) A CHO mellett a goFOOD TM becsüli az étel fehérje (PRO), zsír- és kalóriatartalmát is. (3) Az okostelefon inerciális mérőegységének (IMU) gravitációs adatait a kamera póz- és asztalsík-becslésének további optimalizálására használják az ételmennyiség-becslő modulban. (4) A goFOOD TM támogatja a két nézeti képeket és a sztereó képpárt egy okostelefonhoz, amely két hátsó kamerával van ellátva. (5) Könnyebb verziót is kifejlesztettek, nevezetesen a goFOOD TM Lite-et, amely nem valósítja meg a makrotáp- és kalóriabecslést, hanem a felhasználó étkezésének egyszerű rögzítésére és tárolására szolgál.

A goFOOD TM teljesítményét két adatbázisban értékelik: (1) MADiMa adatbázis [30] és (2) egy új, „Fast food” adatbázis nevű adatbázis, amely a „McDonald’s” gyorsétterem láncának élelmiszer-képeit tartalmazza. Meg kell jegyezni, hogy a MADiMa adatbázis csak különféle látószögből készített fényképeket tartalmaz egyetlen fényképezőgépes okostelefonokkal, míg a „gyorsétterem” adatbázis mind a két nézetből álló képeket (egykamerás okostelefonok), mind az okostelefonok által két sztereo képpárt tartalmazza hátsó kamerák. A javasolt rendszer teljesítményének meggyőzőbb bemutatása érdekében összehasonlítjuk a goFOOD TM kimenetelét két bejegyzett amerikai dietetikus becsléseivel mindkét adatbázisban. A tanulmány eredményei azt mutatják, hogy a javasolt rendszer jobban teljesít, mint a dietetikusok becslése a MADiMA adatbázisban, míg hasonló teljesítményt mutat a „Fast food” adatbázis. Ezen túlmenően, hogy bemutassuk a javasolt rendszer előnyeit a tipikus kereskedelmi étrend-kiértékelő rendszerekkel szemben, összefoglaljuk az A. függelékben szereplő javasolt goFOOD TM és néhány népszerű kereskedelmi alkalmazás összehasonlítását.

Hozzászólásaink a következőképpen foglalhatók össze:

Javaslunk egy praktikus, pontos, okostelefonon alapuló étrend-felmérő rendszert, amely két kép felhasználásával előre jelzi az étkezés makrotápanyagának (CHO, PRO, zsír) és kalóriatartalmát. A kísérleti eredmények két élelmiszer-adatbázisban mutatják be a javasolt rendszer kiemelkedő teljesítményét a korszerűség szempontjából.

Új adatbázis („gyorsétterem” adatbázis) kerül bevezetésre. Az adatbázis különböző nézetekből készített ételképeket és sztereó képpárokat egyaránt tartalmaz. Ezenkívül a pontos tápanyag-alapú igazság és a dietetikusok becslése is rendelkezésre áll. Tervezzük, hogy ezt az adatbázist nyilvánosan hozzáférhetővé tesszük, hogy hozzájáruljunk az étrend-felmérés kutató társadalmához.

Olyan tanulmányt készítettünk, amely összehasonlítja rendszerünk becslését tapasztalt dietetikusok becsléseivel, bemutatva az AI-alapú rendszer ígéretes előnyét az étrend értékelésében.

2. A rendszer vázlata

A rendszerhez két étkezési kép szükséges. A bemeneti képek megszerezhetők hagyományos képek készítésével, vagy videó rögzítésével. A hagyományos egykamerás okostelefonok esetében a képeket két különböző látószögből kell rögzíteni; a két hátsó kamerával felszerelt okostelefonokhoz azonban csak az exponáló gomb egyetlen megnyomására van szükség. A mély képi ideghálózatokat alkalmazzák a két kép feldolgozására, és ez végrehajtja az élelmiszerek szegmentálását és felismerését, míg egy 3D rekonstrukción alapuló algoritmus megbecsüli az étel mennyiségét. Minden étkezés kalória- és makrotápanyag-tartalmát az egyes élelmiszer-kategóriák, -mennyiségek és az élelmiszer-összetételi adatbázis alapján számítják ki (1. ábra).