蚂蚁无双

正则化 & 损失函数 # 正则化是一种在模型训练过程中加入损失函数的技术，旨在减少模型的过拟合现象。它同样适用于深度学习模型，帮助提高模型的泛化能力。

声音的本质（音调、音量、音色） # 音调：频率，声波的频率，即声音的音调，人类听觉的频率（音调） 范围为 20Hz—20KHz 音量：振幅，声波的响度，通俗的讲就是声音的高低，一般男生的声音振幅（响度） 大于女生 音色：波形，与材质有关，谐波（不规则的正弦波） 数字音频处理过程 # 模拟信号 -> 采样 -> 量化 -> 编码 -> 数字信号

Moshi: a speech-text foundation model for real-time dialogue, Moshi AI 各路大佬都纷纷预测，近小几十年内人工智能有望达到 AGI 能力，无论各自对 AI 之于人类是充分乐观，亦或是满怀隐忧。

本文主要参考了论文《Searching for Best Practices in Retrieval-Augmented Generation》，以及其他几篇论文和网络上相关资料。以下以此论文为主线介绍 RAG 最佳实践。

Agentic Design Patterns Part 5, Multi-Agent Collaboration，Andrew NG，deeplearning.ai

Agentic Design Patterns Part 4, Planning，Andrew NG，deeplearning.ai

Agentic Design Patterns Part 3, Tool Use, Andrew NG, deeplearning.ai LLM 脱胎于人类自然语言，却天然受困于虚拟的二进制环境。想要充分发挥它的能力，必须得让他使用工具。但其中蕴含的潜在危险性，不在本文的讨论范围之内。

Agentic Design Patterns Part 2, Reflection，Andrew NG，deeplearning.ai

Welcoming Diverse Approaches Keeps Machine Learning Strong Andrew NG, deeplearning.ai 每个大牛的个性都不同，往往差别巨大。马斯克和杨立昆会在 x.com 上互怼，相互嘲讽，双方性格都比较张扬。而 Andrew 正如绝大多数学术界的大牛，比如 Geoffrey Hinton，都有着学院派的友善。但无论性格如何不同，大多数情况下，他们都具备“对事不对人”的智慧。

前言：此部分文章并非系统性的教学文章，网络上已经很多非常优秀的教学课程，顶尖且免费。比如，哔哩哔哩上李沐大神的《动手学深度学习v2》，Andrej Karpathy 在 YouTube 上教程，以及 Standford CS224N 课程。 这里主要记录作者的一些理解，有意思的知识点，或者豁然开朗的乐趣，希望你也能喜欢！

强化学习 # 首先我们来认识一下强化学习。

“烧光”70000亿美元，与英伟达、台积电为敌, 梓豪谈芯, 腾讯科技 做财务预算确是一件得劲的事情。特别是可以毫不负责地规划一气，并且是百亿量级，后面跟的单位不是津巴布韦，而是美元。有种年轻时，假想中了彩票后如何规划使用，而兴奋一个晚上睡不着的赶脚。

ORPO: Monolithic Preference Optimization without Reference Model, Jiwoo Hong …, KAIST AI Abstract # 1 Introduction # 首先来回顾一下模型训练三阶段：

Building Models That Learn From Themselves, Andrew Ng, Andrew’ Letters @ deeplearning.ai Data matters # Llama 3 的 pretraining 的数据量已经达到惊人的 15T tokens (1 token = 0.75 word)。从各种报道来看，现有的数据量和参数量都未能达到 Transformer 架构下的 LLM 所能达到的性能阈值。也就是说，更多的高质量数据还能不断提高现有 LLM 的能力。

LoRA Land: 310 Fine-tuned LLMs that Rival GPT-4, A Technical Report, Justin Zhao …, Predibase Abstract # First, we measure the quality of LLMs fine-tuned with quantized low rank adapters across 10 base models and 31 tasks for a total of 310 models. We find that 4-bit LoRA fine-tuned models outperform base models by 34 points and GPT-4 by 10 points on average. Second, we investigate the most effective base models for fine-tuning and assess the correlative and predictive capacities of task complexity heuristics in forecasting the outcomes of fine-tuning. Finally, we evaluate the latency and concurrency capabilities of LoRAX.

# LoRA Exchange (LoRAX): Serve 100s of Fine-Tuned LLMs for the Cost of 1 LoRAX 是一个用于降低基于同一基础模型（base model) 的多个 LoRA 微调模型的推理成本，并同时加速推理的 LLM 引擎。

Why We Need More Compute for Inference, Andrew Ng, Andrew’ Letters Much has been said about many companies’ desire for more compute (as well as data) to train larger foundation models. I think it’s under-appreciated that we have nowhere near enough compute available for inference on foundation models as well.

About, Adrian Colyer, The Morning Paper 最近又“一不小心”翻到 The Moring Paper，忽然想写点什么作为开始。

前言：此部分文章并非系统性的教学文章，网络上已经很多非常优秀的教学课程，顶尖且免费。比如，哔哩哔哩上李沐大神的《动手学深度学习v2》，Andrej Karpathy 在 YouTube 上教程，以及 Standford CS224N 课程。 这里主要记录作者的一些理解，有意思的知识点，或者豁然开朗的乐趣，希望你也能喜欢！