AISee：一款帮助视障和低视力用户理解社交网络服务上图片的工具

图像理解辅助 社交网络服务 视障和低视力 多模态大模型

项目简介

视障或低视力（BLV）个体经常在访问社交网络服务（SNS）上的图片时面临挑战，这阻碍了他们积极参与社交活动。现有工具提供的图片描述质量较低且未能满足 BLV 个体在不同情境下的多样化信息需求，从而妨碍了他们对图片内容的理解。为了解决这些问题，我们与 10 位 BLV 个体进行了形成性研究，深入探讨了他们在不同图片类别和情境下的具体信息需求，以及他们对图片描述和交互的偏好。基于这些发现，我们开发了 AISee，这是一款由人工智能驱动的工具，集成了三个功能：基于上下文和偏好的图片描述、优先关键点的图片探索和开放式视觉问题回答，以帮助 BLV 用户有效且轻松地理解 SNS 图片。管道评估展示了 AISee 在生成类人的图片描述、提供适当的情感分析以及根据 BLV 用户的兴趣优先考虑对象方面的有效性。用户研究进一步揭示 AISee 能够显著增强 BLV 用户对 SNS 图片的理解并收到了用户的积极评价。