人工智能由计算机科学家约翰·麦卡锡在1956年首次提出“人工智能”（AI）概念，AI涉及通过软件和硬件模拟人类智能，以完成通常需要人类智能才能完成的任务。
在人工智能研究的早期，主要分为两大阵营：规则式方法，也称为专家系统，依赖人类编写的逻辑规则来指导计算机思考，另一个是机器学习，它不依赖预设规则，而是通过提供数据让计算机自我学习并发现规律。
神经网络作为机器学习的主要形式，模仿人脑结构，构建类似生物神经元的计算网络来处理信息。一个计算节点相当于一个神经元，多个节点协同工作形成网络。由于神经网络需要巨大的算力和大量的训练数据，20世纪70年代起，其发展曾一度停滞。
深度学习是神经网络的一种实现方式，由杰弗里·辛顿在20世纪80年代提出，使得神经网络研究得以复兴，深度学习通过多层神经元进行有效计算，显著提升了性能。深度学习中的多层神经元包括输入层、输出层和多个中间层（隐藏层）。随着技术进步，我们现在能够构建具有成千上万个中间层的网络。
Transformer是深度学习领域的一项创新，由谷歌研究人员于2017年发明，与传统方法不同，Transformer一次性处理整个输入，为每个词分配不同权重。这一方法为2022年ChatGPT及后续众多生成式AI模型的诞生奠定了基础，成为当前神经网络和深度学习的主流技术。
基于Transformer的模型能够一次性处理整个输入，因此存在“上下文大小”的概念，即模型一次能处理的最大输入量。例如，GPT-4 Turbo的上下文为128k个Token，能够一次性读取超过300页文本。上下文越大，模型能考虑的信息越多，生成的回答也越相关和连贯，但同时对算力的需求也越高。
