摘要：AI系统只能从照片中说出一顿饭的卡路里计数，脂肪含量和营养价值。...

拍摄一张饭菜的照片，人工智能立即告诉您其卡路里数量，脂肪含量和营养价值 - 不再有食物日记或猜测。

由于NYU Tandon工程研究人员开发的AI系统，这种未来派的情况现在更加接近现实，该系统有望为数百万想要管理体重，糖尿病和其他与饮食相关的健康状况的人提供新工具。

该技术在第六届IEEE移动计算和可持续信息学国际会议上发表的论文中详细介绍，使用先进的深度学习算法来识别图像中的食品并计算其营养含量，包括卡路里，蛋白质，碳水化合物和脂肪。

十多年来，纽约大学的消防研究小组（包括该论文的首席作者Prabodh Panindre和合着者Sunil Kumar）研究了关键的消防员健康和运营挑战。几项研究表明，73-88％的职业生涯和76-87％的志愿消防员超重或肥胖，面临着威胁性工作准备就绪的心血管和其他健康风险。这些发现直接促进了其AI驱动食品系统的发展。

纽约大学·坦顿工程学院的机械工程系副研究教授潘妮德尔说：“食物摄入量的传统方法在很大程度上取决于自我报告。” “我们的系统从方程式中消除了人为错误。”

尽管这个概念显然很简单，但发展可靠的食物识别AI多年来一直困扰着研究人员。以前的尝试在纽约大学丹顿队似乎已经克服的三个基本挑战方面挣扎。

纽约大学阿布扎比机械工程教授，纽约大学·塔顿（Nyu Tandon）机械工程教授库玛（Kumar）说：“食物的视觉多样性令人震惊。” “与具有标准化外观的制造物体不同，同一道菜看起来可以显着不同。根据谁的准备。一家餐厅的汉堡与另一个地方的汉堡几乎没有相似之处，并且自制版本增加了另一层复杂性。”

早期的系统在估计部分大小时也会步履蹒跚 - 营养计算的关键因素。纽约大学团队的前进是他们的体积计算功能，该计算功能使用高级图像处理来测量每种食物在板上占据的确切区域。

该系统将每个食品所占据的面积与密度和大量营养素数据相关联，以将2D图像转换为营养评估。体积计算与AI模型的整合可以实现精确的分析，而无需手动输入，从而解决了自动饮食的长期挑战。

第三个主要障碍是计算效率。以前的模型需要太多的处理能力来实时使用，通常需要引入延迟和隐私问题的云处理。

研究人员使用了具有ONNX运行时的强大图像识别技术，称为Yolov8（一种帮助AI程序更有效地运行的工具）来构建一个食品识别程序，该程序在网站上而不是作为可下载的应用程序运行，从而使人们可以简单地使用手机的网络浏览器访问它，以分析餐食并饮食。

当在披萨切片上测试时，该系统计算出317卡路里，10克蛋白质，40克碳水化合物和13克脂肪 - 与参考标准密切匹配的营养价值。当分析更复杂的菜肴时，它的表现也很好，例如Idli Sambhar，这是一种带有扁豆炖汤的米蛋糕的南印度特色菜，它计算了221卡路里的卡路里，7克蛋白质，46克碳水化合物和仅1克脂肪。

Panindre说：“我们的目标之一是确保该系统跨越各种美食和食品介绍。” “我们希望与热狗（根据我们的系统280卡路里的热量卡路里）一样准确，就像巴克拉瓦（Baklava）一样，巴克拉瓦（Baklava）是一种中东糕点，我们的系统认为它具有310卡路里和18克脂肪。”

研究人员通过将类似的食物类别组合，将食物类型与太少的例子相结合，并在培训期间对某些食物进行额外的重视来解决数据挑战。这些技术有助于将他们的培训数据集从无数初始图像中完善到214个食品类别的95,000个实例的平衡集。

技术性能指标令人印象深刻：该系统在联合（IOU）阈值相交时达到平均平均精度（MAP）得分为0.7941。对于非专业人士而言，这意味着AI可以准确地定位和识别食物的时间约80％，即使它们重叠或部分被遮盖。

该系统已被部署为可在移动设备上使用的Web应用程序，使使用智能手机的任何人都可以访问它。研究人员将其当前系统描述为“概念验证”，可以很快为更广泛的医疗保健应用而进行完善和扩展。

除Panindre和Kumar外，该论文的作者还包括Praneeth Kumar Thummalapalli和Tanmay Mandal，这都是NYU Tandon的计算机科学与工程系的硕士学位学生。