可解释性AI成为技术与人类责任的桥梁
可解释性AI成为技术与人类责任的桥梁

可解释性AI成为技术与人类责任的桥梁

可解释性不是技术问题,而是人的问题。

因此,人类有责任能够解释和理解AI模型推断的过程,富国银行的战略、数字和创新执行副总裁Madhu Narasimhan在VentureBeat Transform 2023活动的座谈会上向观众强调了这一点。

Narasimhan解释说,富国银行在其Fargo虚拟助手上进行了大量的事后测试,以了解该模型为何会以其特定的方式解释语言。在构建模型的同时,该公司还开展了解释性的工作,并有一个独立的数据科学家团队对其进行单独验证。Narasimhan说:“我们将这作为我们测试的一部分,以确保当客户开始使用虚拟助手时,它的行为完全符合他们的期望。因为虚拟助手如此常见,没有其他体验是可接受的。”

以人类的方式行事

Narasimhan表示,基本上,目标是让模型的行为与人类相似,因为这就是AI发展的整个前提。

其中一个主要挑战是人类存在偏见,因此确保模型没有偏见非常重要。她说:“我们必须保护和管理数据中的偏见。”作为其模型开发过程的一部分,富国银行会检查所有数据元素是否存在偏见,无论是在属性级别还是数据集级别。

对此,Eggers指出,虽然消除偏见很重要,但不能完全清洗数据。她说:“我经常告诉人们,‘不要清洗你的数据’,因为很多数据是混乱的和杂乱的。”她说:“这就是生活,我们必须让模型适应这种情况。”

她指出,如果机器可以告诉人们它在数据中看到了什么,人们可以进一步告诉它停止看到某种偏见。Eggers说:“我不是要删除数据,而是要进行调整和调节,就像与人类一样,我们要带来意识:‘嘿,你有一些偏见。’”

共同努力实现可解释性

Narasimhan表示,理解生成式AI的能力以及其限制是非常重要的。未来的经济动力将会建立越来越复杂的模型,因此将需要可解释性来支持出乎意料的推断。

为了在各个领域支持这一目标,富国银行的数据科学家们开发了一个可解释的Python开放式工具包,并与其他金融机构共享。

Narasimhan说:“这正是我感到兴奋的地方:能够开发一种以开放方式提供的工具,让每个人都可以看到如何从本质上解释模型。”她说:“我们越能解释一个模型的工作原理,我认为对我们所有人来说都更有好处。”