小型機器學習神經(jīng)網(wǎng)絡(luò)的內(nèi)存約束
　　在理解量化之前，有必要討論一下為什么神經(jīng)網(wǎng)絡(luò)通常會占用如此多的內(nèi)存。

　　神經(jīng)網(wǎng)絡(luò)由一系列層中的一系列互連神經(jīng)元組成。如圖 1 所示，標準神經(jīng)網(wǎng)絡(luò)由互連的神經(jīng)元層組成，每個神經(jīng)元都有自己的權(quán)重、偏差和與其關(guān)聯(lián)的激活函數(shù)。

　　圖 1. 神經(jīng)元之間的每個連接都有自己的權(quán)重，而每個神經(jīng)元都有自己的偏置和激活函數(shù)。
　　圖 1. 神經(jīng)網(wǎng)絡(luò)中神經(jīng)元的示例。神經(jīng)元之間的每個連接都有自己的權(quán)重，而每個神經(jīng)元都有自己的偏置和激活函數(shù)。圖片由V7 Labs提供
　　這些權(quán)重和偏差通常稱為神經(jīng)網(wǎng)絡(luò)的“參數(shù)”。
　　每個神經(jīng)元也有自己的“激活”，這個數(shù)字決定了該神經(jīng)元的活躍程度。神經(jīng)元的激活基于其權(quán)重和偏差值以及所使用的激活函數(shù)。
　　權(quán)重和偏差是在訓練期間進行調(diào)整的參數(shù)，并且通過擴展，神經(jīng)元的激活也是如此。
　　這些值、權(quán)重、偏差和激活是神經(jīng)網(wǎng)絡(luò)物理存儲在內(nèi)存中的大部分內(nèi)容。標準是將這些數(shù)字表示為 32 位浮點值，這樣可以實現(xiàn)高精度，并終提高神經(jīng)網(wǎng)絡(luò)的準確性。
　　這種準確性就是神經(jīng)網(wǎng)絡(luò)往往占用大量內(nèi)存的原因。對于具有數(shù)百萬個參數(shù)和激活的網(wǎng)絡(luò)（每個參數(shù)和激活都存儲為 32 位值），內(nèi)存使用量會迅速增加。
　　例如，50 層 ResNet 架構(gòu)包含大約 2600 萬個權(quán)重和 1600 萬個激活。通過使用 32 位浮點值來表示權(quán)重和激活，整個架構(gòu)將需要 168 MB 的存儲空間。
　　什么是神經(jīng)網(wǎng)絡(luò)的量化？
　　量化是降低權(quán)重、偏差和激活精度的過程，從而消耗更少的內(nèi)存。
　　換句話說，量化的過程就是采用神經(jīng)網(wǎng)絡(luò)的過程，神經(jīng)網(wǎng)絡(luò)通常使用32位浮點數(shù)來表示參數(shù)，并將其轉(zhuǎn)換為使用更小的表示形式，例如8位整數(shù)。

　　例如，從 32 位變?yōu)?8 位將使模型大小減少 4 倍，因此量化的一個明顯好處是顯著減少內(nèi)存。

　　圖 2 顯示了一個示例。
　　量化通過降低權(quán)重、偏差和激活的精度來縮小神經(jīng)網(wǎng)絡(luò)。
　　圖 2.量化通過降低權(quán)重、偏差和激活的精度來縮小神經(jīng)網(wǎng)絡(luò)。圖片由 高通公司提供
　　量化的另一個好處是它可以降低網(wǎng)絡(luò)延遲并提高能效。
　　由于可以使用整數(shù)而不是浮點數(shù)據(jù)類型執(zhí)行操作，因此網(wǎng)絡(luò)速度得到了提高。這些整數(shù)運算在大多數(shù)處理器內(nèi)核（包括微控制器）上需要較少的計算。
　　總體而言，由于計算量減少和內(nèi)存訪問減少，功率效率得到了提高。
　　盡管有這些好處，但量化的代價是神經(jīng)網(wǎng)絡(luò)可能會失去準確性，因為它們不能地表示信息。然而，根據(jù)損失的精度、網(wǎng)絡(luò)架構(gòu)和網(wǎng)絡(luò)訓練/量化方案，量化通常會導致非常小的精度損失，特別是在權(quán)衡延遲、內(nèi)存使用方面的改進時和功率。
　　如何量化機器學習模型
　　在實踐中，有兩種主要的量化方法：
　　訓練后量化
　　量化感知訓練
　　顧名思義，訓練后量化是一種神經(jīng)網(wǎng)絡(luò)完全使用浮點計算進行訓練，然后進行量化的技術(shù)。
　　為此，一旦訓練結(jié)束，神經(jīng)網(wǎng)絡(luò)就會被凍結(jié)，這意味著它的參數(shù)不能再更新，然后參數(shù)就會被量化。量化模型終被部署并用于執(zhí)行推理，而無需對訓練后參數(shù)進行任何更改。
　　雖然這種方法很簡單，但它可能會導致更高的精度損失，因為所有與量化相關(guān)的誤差都是在訓練完成后發(fā)生的，因此無法補償。
　　量化感知訓練（如圖 3 所示）通過在訓練期間使用前向傳遞中的量化版本來訓練神經(jīng)網(wǎng)絡(luò)來補償與量化相關(guān)的誤差。
　　量化感知訓練的流程圖。
　　圖 3.量化感知訓練的流程圖。圖片由Novac 等人提供
　　這個想法是，與量化相關(guān)的誤差將在訓練期間累積在模型的總損失中，訓練優(yōu)化器將相應(yīng)地調(diào)整參數(shù)并減少總體誤差。
　　量化感知訓練的優(yōu)點是比訓練后量化損失低得多。