AI能力自我评估：从基础认知到前沿应用的十问框架

01

X上看到一篇很不错的贴子，着重于反思个人对于目前AI领域的一些认知。

这表面上是关于面试的问题，我进一步深化为个人涉及AI领域的认知。

当然，这也只是狭义上的AI，而并不是专业研究领域。因此，这些问题与答案实际上更侧重于与AI（LLM、AI应用）协作而获得的体会或经验。

我推荐刚刚进入或已经进入这一领域的个人可以根据问题进行自问，以此修正方向或进一步改进。

我需要强调，反思出的结果是个人的认知，然而，相应的行动与实践也必不可少。

同时，每个人的认知都是基于一定成果或经验而得来的，没有绝对的对错。

我下面进一步总结并且扩充，共10个问题。

---

02 十问

1-基础认知：能否清晰描述当前主流AI技术(如LLM、计算机视觉、语音识别)的基本原理和能够独立完成的任务类型？

2-边界：如何判断一个业务问题是适合AI解决、需要人机协作，还是目前AI无法胜任的？

3-Prompt: 使用AI工具时，如何设计Prompt来获得最佳结果？是否有必要？遇到不理想的输出时，如何调整提示策略？

4-幻觉：如何区分需要高准确性与可以容忍创造性的AI应用场景？在实际工作中，采用什么方法来验证AI输出的准确性？

5-RAG：检索增强生成(RAG)是什么？为什么目前相对重要？一个适合使用RAG的业务场景是什么样的？如何构建相应的知识库？

6-引入业务：所熟悉的业务流程中，哪些环节最适合引入AI以创造最大价值？

7-项目实施：个人参与或了解的AI项目案例，包括项目目标、实施过程、遇到的挑战以及最终成果？从中学到了什么？

8-生成质量：如何评估AI输出的质量而不是被结构化内容所影响判断？

9-风险：应用AI过程中，是否存在伦理问题和潜在风险？是否考虑其影响？如何降低风险与损失？

10-学习与前沿：通过哪些渠道跟踪AI的最新发展？如何将新技术与方法应用到实际工作中？未来3-5年AI将如何改变所在的行业？

---

R1对于以上10个问题的深度思考的前几句：

嗯，用户提出了十个关于AI的问题，看起来挺全面的，可能是在准备面试（hh,X上的帖子原意就是面试）或者做项目规划。

首先，我需要逐一分析每个问题，确保回答准确且深入。

用户可能希望了解AI的基础知识、应用边界、实际操作技巧以及未来趋势，这些都是实际工作中常遇到的。

---

03 回答

关于对于问题的回答，我这里结合个人思考与实践以及与AI的交流，给出一部分回答。

LLM：基于海量文本数据训练，通过自注意力机制（如Transformer）预测下一个词的概率分布，完成文本生成、翻译、问答等任务。

独立的任务重点在于完成标准化文本处理（如摘要、代码补全）。

关于边界，适合AI解决的问题就在于其规则明确、数据量大、重复性高（自动化工作流）。

人机协作，尤其适合于创造性写作或深度创作；目前AI无法胜任的在于缺乏数据支持或依赖于人的主观能动性与情感的任务。

关于prompt设计，目前来讲，prompt没有失效，或者说基于底层原理是基于概率进行输出的LLM，prompt会一直起作用。

prompt决定输出质量，模糊提问导致无法回答。简单讲就是要清晰、具体、引导。

至于幻觉，RAG是降低这一影响的技术。幻觉在医疗、金融、法律行业需要尽量完全消除，而对于创造性的任务，恰恰相反。

在判断幻觉或评判输出质量时，不要被结构化输出所诱导，而需要回归最开始提到的问题本身，这个回答能否解决问题。

对于RAG的理解，首先需要知道如何构建一个高效的知识库。不仅需要高质量内容，还需要信息分类与结构化。就目前而言，LLM与RAG结合在客户支持与智能问答中应用最广泛。同时，在构建个人所在行业的专业小模型，RAG是一个壁垒，微调相较其来说缺乏时效性，也无法支持较大的数据，但微调也必不可少。

当然，这个前提是所在项目的主要观念是认为模型即产品，否则无从谈起。

关于AI在各个行业的应用，AI原生应用对于小团队商业化不足。更细致的应用（细分到某一具体生产流程），缺乏进一步研究（如果有，期待交流），有待补充学习。

注意短期应用价值与长期战略意义。

个人项目开发，这里不便公开展开。

个人对于主动学习AI或获取资讯的渠道，包括但不限于视频课程（如外网系统化课程）、相关深度文章、语鲸app（把散落各处的优质内容集中到一处，还能用AI帮你读——语鲸）、论文、项目实践等。

更多具体细节欢迎交流学习。

以上十问，看看半年后会如何变化。