tgi 性能瓶颈分析实验

【2023-10-26】TGI 动态性能测试实验分析

tgi 框架源码快速总结

【2023-09-20】TGI 框架的主要功能，以及主要模块的简单介绍。

英伟达GPU架构总结

【2023-09-01】介绍 Volta、Turing、Ampera、Hopper 架构特性和硬件基本结构。

英伟达 GPU 性能分析指导

【2023-08-20】本文主要介绍了 GPU 结构、操作的执行方式以及深度学习操作的常见限制，目的是为了更好的理解 GPU 的基本运行原理以及神经网络或特定网络层如何高效利用给定 GPU。

英伟达GPU通信方式概述

【2023-08-10】单机多卡内存和 GPU、GPU 和 GPU 之间互联可通过 PCIE、NVLink、NVSwitch； 多机多卡 GPU 之间（不同主机）、CPU 与 GPU 之间互联可通过 GPUDirect RDMA、IB/万兆以太网 + TCP/IP。

llm 并行策略概述

【2023-06-16】简单介绍 llm 张量并行、数据并行的原理。

llm 统一性能测试方案

【2023-06-01】LLM benchmark 评测实验方案以及测试案例

模型压缩-轻量化网络总结

【2023-03-20】轻量级网络的核心是在尽量保持精度的前提下，从模型体积和速度两方面对网络进行轻量化改造。

模型压缩-知识蒸馏详解

【2023-03-15】模型知识蒸馏原理概述。

基于 pytorch 实现模型剪枝

【2023-03-12】所谓模型剪枝，其实是一种从神经网络中移除"不必要"权重或偏差（weigths/bias）的模型压缩技术。关于什么参数才是“不必要的”，这是一个目前依然在研究的领域。