1.1 AI相关的基本概念

以下是在谈论AI时，经常提到的概念。通过这些概念，你可以更好地理解AI。

人工智能（Artificial Intelligence，AI）：AI是一种让电脑或机器像人一样思考和做决定的技术。AI分为弱AI和强AI两种类型：弱AI专注于完成特定任务，例如语音助手或推荐系统，例如打败世界围棋冠军的AlphaGo；强AI则旨在像人类一样具备广泛的智能和认知能力。电商产品推荐、谷歌搜索背后，都有AI技术的身影。

大型语言模型（Large Language Models，LLMs）：大型语言模型（LLM）是一种通过深度学习技术训练出来的AI模型，专门用于理解和生成自然语言。它的核心原理是通过在海量文本上训练，得以预测接下来可能出现的词或者词组。就像一个阅读了无数书籍的高手，它不仅能掌握每个单词的含义，还能理解整个段落的意图，从而撰写文章、回答问题或进行对话。这个过程依赖于“自注意力机制”，让模型在生成内容时同时考虑到句子的整体上下文。

常见的大型语言模型包括OpenAI的GPT-3和GPT-4、Anthropic的Claude、Meta的LLaMA 2，以及Mistral的Mistral 7B等。

生成式AI（Generative Artificial Intelligence，GenAI）：生成式AI是指用AI生成内容，包括用AI生成文本、图像、音频、视频、代码，相关的是图像生成模型（如DALL·E）、文本生成模型（如GPT）、音频生成模型（如Jukebox）等。

三者关系如下：

机器学习（Machine Learning, ML）：AI的一个分支，通过数据训练算法，使其自动改进和学习模式。例如，你在学习如何识别猫和狗的图片。你会用大量的猫和狗的照片来练习。深度学习使计算机通过大量训练数据‘学习’图片的特征，使用多层神经网络不断优化识别能力。深度学习是大模型的核心技术，它帮助计算机理解和处理复杂的数据。

AGI（Artificial General Intelligence）：指的是能够像人类一样进行各种不同任务的智能系统。它不仅能完成特定的任务，例如翻译或识别图片，还能理解和处理各种新问题，就像人类一样具备高级智能和适应能力。

本书重点关注LLM，理解以下LLM相关的术语，你可以更好的掌握LLM。

神经网络（Neural Networks）：模仿人脑的计算模型，由许多“神经元”连接组成，帮助计算机处理和学习信息。

Transformer架构：处理语言的关键技术，帮助计算机理解和生成长文本中的词语关系。目前许多大语言模型（如GPT）都是基于这种架构。

预训练（Pre-training）：在大量数据上进行初步学习，使模型获得广泛知识，为后续特定任务的处理做好准备。

微调（Fine-tuning）：对预训练模型进行进一步训练的过程，旨在提升其在特定任务上的表现。通过在特定数据集上微调，模型能够学习与该任务相关的细节，从而提高在特定应用场景中的准确性和效果。

参数量（Parameters）：衡量一个AI模型复杂度和能力的关键指标之一。它通常以十亿或万亿为单位。例如，GPT-3有1750亿参数，而GPT-4估计超过1万亿参数。参数量增加通常能提升AI能力，但也需要更多计算资源。然而，模型性能还受其他因素影响，如训练数据质量和模型架构等。

向量化（Vectorization）：向量化是把数据（如文字或图片）转换成数字形式的过程，这些数字组成一个向量。这个向量有不同的“维度”，可以理解为特征的数量。例如，一个维度可能表示颜色，另一个可能表示大小。维度越多，向量就能包含的信息越丰富，但这也会增加计算的难度。

推理（Inference）：使用模型学到的知识来处理新数据和做出预测或回答。

Token：语言模型处理的基本单元，可以是一个完整的单词、一个词的一部分或其他符号（如标点符号）。模型通过将输入文本分解为tokens来理解上下文和语义，并生成相应的输出。每个token都有对应的向量表示，模型利用这些向量进行计算，从而实现对文本的深度理解和生成。

API（Application Programming Interface）：API（Application Programming Interface）：API就像一个餐厅的菜单，提供你可以点的菜（功能），而不需要知道厨房如何烹饪（实现细节）。通过API，你可以请求AI模式的服务，就像点菜后得到食物一样。

幻觉（Hallucination）：指模型生成不真实或不准确的信息，即使模型在语法和逻辑上看起来合理，也可能产生虚假的内容。了解幻觉有助于识别和纠正模型生成的错误信息。

你不必深入了解这些术语，只需记住一点：大模型本质上是一个推理机器，核心功能是基于输入的信息进行推理，从而预测并生成最相关的输出。