【2024-10-30】详细总结了 LLM 量化的难点：激活值中出现在特定通道的离群值使得激活值分布不均值导致激活难以量化，并给出了SmoothQuant 算法原理的详细描述。

【2024-10-26】vllm优化技术速览，介绍 PagedAttention、连续批处理技术方案。

【2024-10-24】旋转位置编码（Rotary Position Embedding，RoPE）是论文 Roformer Enhanced Transformer With Rotray Position Embedding 提出的一种能够将相对位置信息依赖集成到 self-attention 中并提升 transformer 架构性能的位置编码方式。

【2024-10-23】Sinusoida 位置编码也叫三角函数位置编码，由 transformer 论文提出。位置编码的意义是用于表示序列中某个元素的位置，它为每个位置分配一个独特的表示。

【2024-10-22】理解 RoPE 位置编码算法的原理和推导公式之前得先具备一些背景知识，主要是关于三角函数、旋转矩阵、直角坐标系、欧几里得内积的相关概念和公式，可以先快速阅览本章内容，后续关于 RoPE 算法的推导不理解的时候，再来细看相关公式和概念即可。

【2024-10-21】llama1-3 模型结构代码如何实现，模型结构分析。

【2024-10-20】transformer 模型结构代码如何实现，模型结构分析。

【2024-10-17】cuda 内核执行配置如何设定，以及如何划分2d/3d数据，并根据线程索引取内存数据。

【2024-10-15】深入探讨 CUDA 编程模型是如何映射到 GPU 底层硬件架构的，并探讨影响性能的各种底层因素。

【2024-10-10】cuda 流用于实现 kernel 函数外的并行。