Pytorch 架构概览

【2025-03-28】pytorch 架构介绍和主目录作用、和模块之间关系分析。

CUDA stream 和 event 模块详解

【2025-03-21】CUDA stream 和 event 模块的理解、管理 API 介绍，以及如何使用 stream 和 event 去完成相应功能。

DeepseekMoE 结构详解和代码实现

【2025-02-12】DeepseekMOE 计算流程，结构拆解及代码实现。

MLA 结构代码实现及优化

【2025-02-10】MLA 结构代码实现及优化, 不吸收和吸收矩阵版本代码实现。

DeepSeekV2 论文解读

【2025-02-07】DeepSeekv2 模型结构的详细解读，以及代码实现分析并拆解。

DeepSeekV3 简单概述

【2025-02-06】DeepSeekv3 技术报告的简单概述和总结。

triton 内核编译流程解析

【2025-01-25】Triton 内核编译函数入口代码分析，并全面总结内核的编译流程。

vllm 推理流程剖析

【2024-12-02】总结了 vllm 的推理架构和流程。

LLaVA 系列模型结构详解

【2024-11-28】多模态大模型 MLLM 架构通常都是 LLM + 视觉编码器 + 映射层的组合。本文详细总结了 LLaVA 系列多模态模型的模型结构，以及视觉编码器如何支持高分辨率输入图像。

温度系数与 top-p 采样策略详解

【2024-11-24】本文先详细介绍了 LLM 采样时 Temperature 温度系数的作用，然后简单介绍了常见采样策略的基本原理，最后详细描述了 top-p 采样算法的原理和实现步骤，并给出代码实现，以及针对每行代码做出了极为详细的解释。