了解 AI 模型
1、YOUTUBE 李宏毅
2025年课程：【生成式AI時代下的機器學習(2025)】第二講：一堂課搞懂 AI Agent 的原理 (AI如何透過經驗調整行為、使用工具和做計劃)
学习笔记
- 1、AI agent 其实就是 LLM(large language modal) 的接龙式的使用，大语言模型、语音模组都是很早例如 17年就有相关论文的
- 2、AI agent memory 有好几种方式：
- 搜索式：回答问题前，在历史记录里面搜索相关问题作为前提
- reflection 反思模组：在回答问题的过程中，根据自己的反思升华记忆一些内容，这些内容作为回答问题的前提。这种无法人为控制，如果你觉得重要，可以明确告诉他记下来，就会被保存下来
-
3、由于 AI 更新迭代很快，不管是 论文还是 会议耗时都太长了，很多研究文章会发表到 arXiv
- 4、AI 会更相信 AI同类产生的结果；更相信正面描述；更容易相信时间比较新的文章，文章来源不太影响 AI 对信息的信任
课程提供笔记
-
什么是AI Agent？
AI Agent是能够通过观察环境并采取行动以达成目标的智能体
AI Agent的目标是根据其观察结果，在给定范围内选择一个动作。
-
AI Agent如何与环境互动？
• 观察 (Observation)：AI Agent观察当前环境的状态，例如棋盘上的棋子位置。
• 行动 (Action)：AI Agent根据观察结果选择一个动作，例如在棋盘上选择一个落子位置。
• 实时互动：AI Agent需要能够进行实时互动，尤其是在语音对话等场景中。
-
AI Agent如何使用工具？
• 使用电脑：AI Agent可以通过模拟人类的键盘和鼠标操作来使用电脑。
• Web-based Agent：早在2017年，就有研究尝试使用AI Agent在网络世界中执行任务。
-
AI Agent如何进行思考和计划？
• 脑内小剧场 (Inner Monologue)：AI Agent可以通过模拟不同的场景和行动，来预测结果并找到最佳解决方案。
• 实例：例如，在解决积木问题时，AI Agent会在脑内模拟不同的堆叠方式，找到最佳步骤。
-
AI Agent的潜在问题 • 过度思考 (Overthinking)：
有些AI Agent可能会花费过多时间思考，而没有采取实际行动。
• 解决方案：需要找到方法来避免AI Agent想太多，鼓励它们在必要时进行尝试和探索。