A team led by Zhu Songchun, professor at the Institute of  AI  of  Peking University, has built a computing framework for robots to understand human values in real time, enabling robots and human users to complete a series of complex human-robot collaboration tasks through real-time communication.

    The research inserts the "heart" for machines, enabling AI to empower robots to "read" human values. A prerequisite for social coordination is bidirectional communication between teammates, each playing two roles simultaneously, as receptive listeners and expressive speakers.

    For robots working with humans in complex situations, with multiple goals that differ in importance, failure to fulfill the expectation of either role could undermine group performance due to misalignment of values between humans and robots.

    Specifically, a robot needs to serve as an effective listener to infer human users' intents from instructions and feedback, and as an expressive speaker to explain its decision processes to users.

    Here, researchers investigate how to foster effective bidirectional human-robot communications in the context of value alignment-collaborative robots and users form an aligned understanding of the importance of possible task goals.

    They propose an explainable artificial intelligence (XAI) system in which a group of robots predicts users' values by taking in situ feedback into consideration, while communicating their decision processes to users through explanations.

    To learn from human feedback, the XAI system integrates a cooperative communication model for inferring human values associated with multiple desirable goals. The system simulates human mental dynamics and predicts optimal explanations using graphic models, in order to be interpretable to humans.

    The team then conducted psychological experiments to examine the core components of the proposed computational framework. Results show that real-time human-robot mutual understanding in complex cooperative tasks is achievable with a learning model based on bidirectional communication.