China has officially released its first industry standard for embodied AI, establishing a unified benchmark testing framework and marking a new phase where embodied AI can now be evaluated.

    Drafted jointly by the China Academy of Information and Communications Technology (CAICT) and over 40 other organizations, the standard focuses on key foundational AI technologies and benchmark testing methods for embodied AI, while also clarifying system frameworks and capability requirements. It is scheduled to take effect on June 1.

    "Embodied AI is at a critical stage of transitioning from laboratory research to commercial application," said Wei Kai, director of the Artificial Intelligence Institute of CAICT.

    According to CAICT data, the number of domestic humanoid robot manufacturers exceeded 140, with over 330 humanoid robot models launched.

    However, Wei said that the industry is currently confronted with two major challenges: a "workshop-style" research and development model, and a "fragmented" ecosystem landscape.

    The "workshop-style" model relies heavily on the experience of algorithm engineers for model tuning and deployment. This means data is scattered among various collection factories, making integration and reuse difficult. Meanwhile, hardware is often assembled without uniform standards, requiring "nanny-style" maintenance from manufacturers after delivery, hindering large-scale deployment.

    The fragmented ecosystem is evident in the strong coupling between model performance and hardware, where a change in components can easily lead to system failure. System capabilities are heavily reliant on the results of scenario-specific training, and a change in environment can easily lead to a malfunction. A lack of uniform standards across the supply chain makes it difficult to replicate technological achievements and leads to low coordination efficiency.

    "A trusted evaluation system for embodied AI serves as a bridge connecting technological research with large-scale industrial application," Wei said. "It provides the industry with a unified technical specification framework, establishes a foundation of mutual trust, and promotes the shift of embodied AI from workshop-style development to industrial development."

    On the one hand, the standard helps users distinguish genuine intelligence from technological stunts by verifying a model's generalization ability and deployment effectiveness in real-world scenarios. Companies are therefore encouraged to develop truly scalable and replicable foundation models for embodied AI. 

    Conversely, the standard clarifies what qualifies as a product, reducing the costs associated with technology selection and adaptation, and optimizing resource allocation across the entire industry chain.

    "A comprehensive assessment of the stability and reliability of embodied AI in complex environments can also provide a safety guarantee for large-scale product deployment," Wei said. "More importantly, with this trusted yardstick, all links in the industry chain, from upstream to downstream, have a common basis for collaboration. This enables the effective integration of technology R&D, hardware manufacturing, and scenario application," he added.

    The newly released document standardizes the framework, methods, and metrics for benchmarking embodied AI systems in both simulation and real-world environments. The evaluation system it introduces supports testing of basic capabilities, cognitive reasoning abilities, and full-chain closed-loop capabilities, covering four methods: static simulation testing, dynamic simulation testing, real-environment testing, and combined testing.

    "As the first officially released industry standard in the field of embodied AI, the introduction of this benchmark testing method is of great significance for promoting technological progress, application implementation, and industrial development. It charts a clear direction for the industry's growth," Wei said.

    Wei also noted that the establishment of an independent evaluation standard will help channel national innovation resources toward directions aligned with China's industrial advantages and technological trajectories.

    Furthermore, once the evaluation standard matures and is adopted internationally, it will support the global expansion of Chinese embodied AI products, solutions, and platforms, further cementing the "Chinese model" in this field.