Last month, xAI's chatbot Grok responded to user questions with extreme answers, forcing the parent company to delete the inappropriate posts from social media platform X.

    "Grok was too compliant to user prompts," Elon Musk, founder of the company, wrote.

    It's not surprising. Patrick Hall, assistant professor in AI ethics at George Washington University, said large language models (LLMs) that power chatbots are initially trained on unfiltered online data.

    Yet companies producing LLMs in the U.S. currently face no legal liability for such questionable outputs, because in the U.S., social media platforms are shielded from liability for what they post, thanks to the Communications Decency Act (1996), Section 230.

    "Laws were designed before machines like this were widespread, there are a lot of holes that basically let the companies get away with anything they want," stressed Gary Marcus, professor emeritus at New York University, who has co-founded multiple AI companies.

    LLM companies should be held responsible for the output of their systems.

    China released the Interim Measures for the Management of Generative AI Services in July 2023 to regulate the application of generative AI. It emphasizes that companies shall improve the quality of training data and enhance their authenticity, accuracy, objectivity and diversity through standardized annotation and sampling checks.

    Companies must embed algorithmic safeguards at the code-execution layer to block bias propagation. In addition, they should actively choose training data. Accurate, objective and complete data prevents misleading models.

    The regulation of AI companies is necessary. If AI is not regulated, it would be comparable to failure to regulate social media, which could lead to explosion of misinformation online, opinion polarization, and harming children's mental health.

    "We're rushing to implement these AI models in all walks of life, but we need to better understand the implications," said Mor Naaman, associate dean for Faculty Affairs at Cornell Tech. "Apart from increasing efficiency and creativity, there could be other consequences for individuals and also for our society-shifts in language and opinions."