研究人员开发了一种创新系统，用于生成个性化故事书。该系统利用生成式人工智能和家庭物联网（IoT）技术来辅助儿童语言学习。
这项研究在 ACM CHI上展示，并获得了“荣誉提名奖”，被认可为提交作品中的前 5%。
儿童的语言发展至关重要，因为它影响他们的认知和学术成长、与同龄人的互动以及整体社会发展。定期评估语言进展并提供及时的语言干预对支持语言习得非常重要。
问题在于，儿童成长在多样化的环境中，导致他们接触到的词汇有所不同。然而，传统方法通常依赖于标准化的词汇表和预制的故事书或玩具进行语言技能评估和干预，缺乏对多样背景的支持。
认识到传统一刀切方法未能考虑儿童多样化背景的不足，该团队创建了一个创新的教育系统，针对每个孩子独特的环境量身定制。他们首先利用家庭物联网设备捕捉和监控儿童在日常生活中听到和说出的语言。
通过扬声器分离和形态分析技术，研究人员检查了儿童接触到的词汇、他们说出的词汇以及那些听到但未说出的词汇。然后，他们根据与言语病理学相关的关键因素，为每个词汇计算评分。
为了创建个性化的教育材料，团队利用了先进的生成式 AI 技术，包括 GPT-4 和 Stable Diffusion。这使他们能够生成与每个孩子的目标词汇无缝集成的定制儿童书籍。通过将言语病理学理论与实践经验相结合，研究人员开发了一个有效且个性化的语言学习系统。
该系统设计时考虑了儿童语言发展的变异性，允许对因素进行个性化加权和灵活的词汇选择标准。系统能够自动提取每个孩子的目标词汇并创建个性化故事书，确保词汇和故事书能够根据儿童语言发展和环境的变化不断更新。
在对 9 个家庭进行了为期四周的系统测试后，结果显示儿童有效地学习了目标词汇，证明了该系统在日常环境中的适用性，而不仅仅局限于治疗室。
来自POSTECH计算机科学与工程系的黄仁锡教授以及来自计算机科学与工程系的学生李重恩、尹秀媛和李奎锡，与梨花女子大学传播障碍学系的任东善教授合作开展了这一项目。
POSTECH的李重恩是论文的主要作者，他表示：“我们通过使用生成式AI有效解决了传统一刀切的儿童语言评估和干预方法的局限性。我们的目标是利用AI创建针对不同个体水平和需求的定制化指南。”
POSTECH的黄教授，论文的通讯作者，评论道：“通过跨学科研究，我们成功地开发了一个个性化的语言刺激和发展系统，将生成式AI技术与言语病理学理论结合在一起。我们希望我们的研究成果能鼓励教育工作者尊重并融入儿童的多样环境和学习目标。”
共同作者、梨花女子大学的任教授表示：“我们的工作展示了非传统个性化语言支持服务的潜力。该系统展示了为接触不同环境和语言的儿童量身定制目标词汇提取和语言刺激传递的能力。”