【2023-03-09】模型剪枝是一种应用非常广的模型压缩方法，其可以直接减少模型中的参数量。本文会对模型剪枝的定义、发展历程、分类以及算法原理进行详细的介绍。

【2023-03-05】总结线性量化优点、原理、方法和实战基础。

【2023-03-01】工业界主流的模型压缩方法有：知识蒸馏（Knowledge Distillation，KD）轻量化模型架构（也叫紧凑的模型设计）、剪枝（Pruning）、量化（Quantization）。

【2023-02-02】vgg、resnet、resnetv2、densenet、cspnet、vovnet 网络结构总结。

【2023-01-29】所谓模型训练，其实就是通过如 SGD 优化算法指导模型参数更新的过程。

【2023-01-21】本文从导数开始讲起，讲述了导数、偏导数、方向导数和梯度的定义、意义和数学公式，有助于初学者后续更深入理解随机梯度下降算法的公式。大部分内容来自维基百科和博客文章内容的总结，并加以个人理解。

【2023-01-19】所谓深度神经网络的优化算法，即用来更新神经网络参数，并使损失函数最小化的算法。优化算法对于深度学习非常重要，如果说网络参数初始化（模型迭代的初始点）能够决定模型是否收敛，那优化算法的性能则直接影响模型的训练效率。

【2023-01-14】大多数深度学习算法都会涉及某种形式的优化，所谓优化指的是改变 x 以最小化或最大化损失函数 f(x) 的任务，我们通常以最小化 f(x) 指代大多数最优化问题。损失函数大致可分为两种：回归损失（针对连续型变量）和分类损失（针对离散型变量）。常用的减少损失函数的优化算法是“梯度下降法”（Gradient Descent）。

【2023-01-08】深度学习模型（神经网络模型）的训练算法通常是迭代的，因此模型训练者需要指定开始迭代的初始点，即择网络参数初始化策略。

【2022-12-25】BN 使得网络中每层输入数据的分布相对稳定，加速模型训练和收敛速度，同时能够减少过拟合和提高模型的泛化能力