大模型在新能源汽车行业的应用及最佳实践

哈喽大家好我是站长,美区火箭apple ID 土耳其apple ID 其他apple ID 账号资源,可加微信:yuke36 咨询 公众号:云创磊哥Ai

简介:本次分享会的主题是大模型在汽车工业化的实践与应用,主要集中展示工业制造相关的案例与实施经验。

它分为五个部分:

1.ChatGPT发展历史

2. 大模型的底层原理

3.大模式赋能新型工业化

4.产业化的实践探索

5. 问答环节

分享嘉宾|蔚来汽车大车型应用技术负责人 黄帅

张山 编辑

内容校对|李瑶

社区出品|DataFun

01

ChatGPT发展历史

首先我们来简单回顾一下ChatGPT的发展历史。

OpenAI 早在 2018 年就发布了 GPT,但从 GPT-1 到 GPT-3 的生成式模型效果都不是很理想。直到 GPT-3.5,生成式模型才完成了对各类 NLP 问题的统一解决,在生成文本、回答问题、翻译文本等方面表现非常出色,甚至在部分任务上达到了人类水平。同时,ChatGPT 可以直接用自然语言进行交互,更加符合人类的习惯。随着发展,GPT4 支持多模态输入,可以完成答题看图、角色扮演、图表分析、编程、专业考试等各类复杂任务。

图片[1]-大模型在新能源汽车行业的应用及最佳实践-网络副业创业项目大全资源整合

我们知道人工智能的发展经历了两个时代,从AI1.0小模型时代到AI2.0大模型时代。ChatGPT作为大模型的代表,在跨领域、多模型方面取得了突破,数据集从单一领域扩展到通用领域,从需要大量标注到不需要标注或者只需要少量标注。这是人工智能普遍实现的基础。比如在工业视觉质检领域,图像数据的积累非常缓慢,大模型只需要少量的标注就能达到与大量样本小模型相同的效果,可以加速整个工业智能的落地。

02

大模型的根本原理

1. BERT和GPT的区别

2. 基于InstructGPT对ChatGPT的改进

图片[2]-大模型在新能源汽车行业的应用及最佳实践-网络副业创业项目大全资源整合

ChatGPT 是基于 InstructGPT 开发的,其主要的改进有:使用大量人类偏好的对话语料;引入强化学习。这两点保证了 ChatGPT 的答案更加贴近人类偏好,同时让模型不断逼近最佳结果。

3.ChatGPT 训练过程

图片[3]-大模型在新能源汽车行业的应用及最佳实践-网络副业创业项目大全资源整合

ChatGPT的训练过程主要分为三个步骤:

第一步是收集数据来训练监督策略模型

第 2 步:收集数据来训练奖励模型

图片[4]-大模型在新能源汽车行业的应用及最佳实践-网络副业创业项目大全资源整合

第三步,通过 PPO 强化奖励模型

这里说的ChatGPT的训练过程,是为了突出一个思想,在后续的Agent闭环中也会应用到这个思想,所以这不仅仅是ChatGPT的训练过程,更是实现模型和Agent持续增强的一个完美解决方案。

03

大模式赋能新型工业化

1. 实施路径

图片[5]-大模型在新能源汽车行业的应用及最佳实践-网络副业创业项目大全资源整合

新型工业化是指把工业制造技术能力融入数字化能力、智能化能力,解决供应链、产业链中的问题,提升其柔性,带动整个工业化产业的技术创新。新型工业化成功的关键在于系统工程能力。在大模型发展的今天,新型工业化的执行路径可以通过构建订单系统、生产调度系统、分析系统、计划系统等数字化系统,以及构建包含整个物联网设备数据的数据系统,形成基于数字化系统、数据系统、大模型的GPT解决方案平台。然后基于GPT平台生成的各种Agent服务于下游的各种业务。

2. 应用范式

图片[6]-大模型在新能源汽车行业的应用及最佳实践-网络副业创业项目大全资源整合

大模型使能新型工业化的基本应用范式有三种:

范式一:命令提示:用自然语言交互告诉设备或系统去完成某项指定的任务。比如可以通过语义设备发出命令让机械臂完成某项指定的任务,也可以通过命令让大模型生成逻辑控制代码。

范式二:决策支持:通过数据驱动的方式,而不是人工交互。比如在智能质检场景中,智能相机可以通过大模型判断铸件是否有缺陷,如果有缺陷,会给出缺陷的概率,然后交给人工判断和确认。

范式三:自主决策:不需要人工协助,常见场景有自动驾驶、自动分拣。

04

产业化的实践与探索

接下来,我们将详细讲解蔚来大模型的最佳实践。

图片[7]-大模型在新能源汽车行业的应用及最佳实践-网络副业创业项目大全资源整合

首先是平台化。在蔚来,几乎所有业务大模型AI应用都是基于这个GPT平台编织起来的。这里说的AI应用就是AI Agent,应用的编织过程其实就是Agent的搭建过程。平台整体架构分为芯片层、框架层、模型层、服务层,业务场景在最上层。服务层所有的能力都是围绕着Agent的打造而形成的。在模型层,模型和数据是融为一体的。之所以会这样,是因为数据和模型密不可分,这也是新架构的思路。过去应用数据的方式是先建一个数据库,然后通过SQL访问数据仓库。有了大模型,完全可以通过自然语言交互直接访问数据,数据隐藏在模型最底层,是模型的一部分,模型层的能力是直接面对用户的,我们不再需要直接去分析和使用数据。

1. Agent逻辑架构

在人工智能领域,当下最火热的话题无疑是 Agent。那么 Agent 是什么,它由哪些组件组成呢?我们先来看看 NIO 是如何设计 Agent 的。

图片[8]-大模型在新能源汽车行业的应用及最佳实践-网络副业创业项目大全资源整合

大模型的应用分为三个阶段,第一阶段是人完成大部分工作,模型辅助人决策;第二阶段是人与AI协同工作,GPT能力融入到软件中,成为软件的一部分,但此阶段不会改变整个系统的产品形态,仍然需要人来提供基础产品,AI只能作为原有产品的辅助;第三阶段是AI完成大部分工作,即AI Agent阶段,人只需要下达指令、设定目标、提供资源(如系统界面资源)即可,AI Agent会自动完成目标。

那么什么是代理呢?其实代理是通过模拟人的思维和动作模型来工作的,分为大脑、记忆、感知引擎、规划、任务执行四个部分。GPT充当大脑,插件成为手脚连接数据和系统,记忆以知识的形式存储,感知模型通过插件实现视听感知并与智能体连接,最终通过任务执行完成工作。

2. 三个闭环

为了实现AI Agent的持续增强,我们提出了三个闭环:数据闭环、模型闭环、Agents闭环。数据闭环和模型闭环是中间状态,服务于最终的Agents闭环。

(1)数据闭环

图片[9]-大模型在新能源汽车行业的应用及最佳实践-网络副业创业项目大全资源整合

数据闭环分为数据接入、统一ETL、数据标注、存储分发、模型训练、效果恢复六大环节。效果恢复之后,数据会进一步修正。其中,数据标注由大模型完成,依赖给定范围内的标签体系。通过整个数据闭环,知识和数据可以不断完善。如果底层数据是语料,模型回答的问题总是有偏差,反映训练语料有问题,需要修正;基于提示工程进行知识问答时,如果答案总是错的,也可以通过回溯的方式修改知识。数据闭环可以高效链接散布各处的数据、信息、知识,反馈训练模型和智能体,整个闭环实现了从数据接入、信息分析、知识提取与分片、知识纠错、智能应用、效果反馈的全流程闭环,从而打造智能体的可持续进化能力。

(2)模型闭环

图片[10]-大模型在新能源汽车行业的应用及最佳实践-网络副业创业项目大全资源整合

图片[11]-大模型在新能源汽车行业的应用及最佳实践-网络副业创业项目大全资源整合

模型闭环也分为语料、模型、训练、评估、A/B 测试、上线六大环节。通过人工反馈的机制,当语料积累到一定程度时,会触发模型再次训练,评估达标后,就会上线。模型闭环的目标是不断增强模型,并带动 Agent 自动增强。这里复用了训练平台和大数据平台的能力,在这两个基础平台能力的基础上,实现从语料构建、语料存储、模型托管、模型微调、模型测试、模型上线的全流程闭环。

(3)代理闭环

图片[12]-大模型在新能源汽车行业的应用及最佳实践-网络副业创业项目大全资源整合

上一篇文章提到了,我们的最终目标是实现Agent的持续增强,现在我们来介绍一下Agent的闭环。

涉及到多个模型闭环、知识闭环、数据闭环。数据闭环和知识闭环是分开的,数据闭环关注模型训练过程,也就是语料闭环,知识闭环关注知识更新。要实现Agent的闭环,需要构建一个完整的流程,并且能够感知到外部的反馈,然后通过归因分析触发相应的优化,优化之后评估效果,评估达标之后再进行组件更新。

基于数据闭环、模型闭环,通过反复迭代不断强化学习过程。这也是我之前提到的ChatGPT训练方案的又一次复刻。基于这个思路,我们实现了Agent闭环。

3. 应用案例

(一)三位一体智能质检

图片[13]-大模型在新能源汽车行业的应用及最佳实践-网络副业创业项目大全资源整合

质检是工业制造中品质的保障,对于工业制造来说非常重要。我们提出了三位一体的智能检测解决方案,针对质检在三个方向实现突破,分别是可视、可听、可数字化。对于“可视”,可以用CV大模型替代人工检测,由于大模型具备跨领域知识能力,在图像数据匮乏的场景下可以降低冷启动成本;对于“可听”,可以用声音模型来分析识别异常噪音;对于数字化,可以用大模型进行分析预测,比如和标准结果进行对比分析,看是否匹配。

图片[14]-大模型在新能源汽车行业的应用及最佳实践-网络副业创业项目大全资源整合

我们知道在实际生产中,产线端的系统不可能完全依赖云端,网络中断可能会影响生产,所以产线不可能完全依赖外部网络。我们提出了云边一体化架构。边缘系统一般需要部署在产线旁边,边缘系统的主要任务是检测并将数据上传到云端,云端系统主要是实现整体模型训练的闭环。云边一体化架构可以实现边缘系统的持续增强和云端的可视化、综合分析。

云端的闭环训练过程对于每个场景都是独立的,需要不断的数据积累,云端模型会根据不断增加的数据量决定是否重新训练模型,模型的指标评估和抽检实验通过后才能上线,从而实现模型的持续迭代。

(2)G8D 代理

图片[15]-大模型在新能源汽车行业的应用及最佳实践-网络副业创业项目大全资源整合

最后我们来看看工业生产过程中复杂的质量问题该如何解决。工业中,质量处理过程一般采用G8D解决方案来解决此类问题。G8D主要分为问题发现、应急措施、团队建设、问题定义、短期措施、根本原因分析、长期解决方案、长期实施、预防复发、经验积累和祝贺八个模块。

图片[16]-大模型在新能源汽车行业的应用及最佳实践-网络副业创业项目大全资源整合

想象一下,当 G8D 与大模型结合时,会碰撞出什么样的火花?基于此,我们提出了 G8D Agents 的复杂问题解决方案。这里需要搭建 8 个 Agent,每个 Agent 针对 G8D 的各个 D 承担相应的任务。当 8 个 Agent 搭建成一个团队后,就可以完成整体复杂问题的分析处理。当然这需要和数据系统、质量分析系统对接,将经验积累到上游系统(如质量分析、质量案例池等),以便反馈到整个系统。

在G8D Agents之前,质量分析过度依赖工程师的经验,经验没有得到很好的积累。G8D Agents系统不仅能快速分析处理质量问题,还能快速积累经验。最后,G8DAgent系统可以与各个系统对接,或成为系统的重要组成部分,相当于各个系统都具备了8D Agents的能力,避免了繁重的数字化系统建设,以轻量级的Agent方案节省开发成本,全面加速问题解决效率。

05

提问时间

Q1:G8D 中 Agent 是如何构建的?Agent 是手动设置的还是大模型自动调度的?

A1:利用已有的经验判断当前问题是否曾经发生过以及问题的影响,是否适合G8D解决方案。收集问题相关数据和历史记录,打通上下游系统,通过多轮交互,结合知识、插件等构建Agent。

Agent的调度有两种模式:类似流程图的固定调用;通过意图识别选择相应的Agent。

Q2:大模型中用到的知识存储在哪里?如何检索?

A2:目前存储的方式有两种:向量库和Elasticsearch。ES是全文检索,向量库会根据距离召回候选结果,然后乘以不同的权重进行排序,选出最优结果。

Q3:意图识别的时候,如何回忆起真正的意图?有哪些优化方案?

A3:整个意图体系是一个反复迭代的多级闭环,从最细粒度的意图识别开始,如果下级意图没有匹配上,则继续向上匹配,如果还是没有匹配上,则人工整理,看是否需要新的意图。另外,如果第一次没有匹配上,则会整合用户信息进行另一次匹配。

哈喽大家好我是站长,美区火箭apple ID 土耳其apple ID 其他apple ID 账号资源,可加微信:yuke36 咨询 可扫码下方关注公众号获取账号教程资源

© 版权声明
THE END
喜欢就支持一下吧
点赞6 分享
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

取消
昵称表情代码图片

    暂无评论内容