微调部分

前言：此部分文章并非系统性的教学文章，网络上已经很多非常优秀的教学课程，顶尖且免费。比如，哔哩哔哩上李沐大神的《动手学深度学习v2》，Andrej Karpathy 在 YouTube 上教程，以及 Standford CS224N 课程。 这里主要记录作者的一些理解，有意思的知识点，或者豁然开朗的乐趣，希望你也能喜欢！

ORPO: Monolithic Preference Optimization without Reference Model, Jiwoo Hong …, KAIST AI Abstract # 1 Introduction # 首先来回顾一下模型训练三阶段：