教學(xué)設(shè)備

為破解大模型部署與推理成本高昂的困境，近日，北京大學(xué)楊仝教授團(tuán)隊(duì)首次提出名為iFairy的超低比特量化方案。該方案創(chuàng)新性地利用復(fù)數(shù){±1, ±i}對(duì)模型權(quán)重進(jìn)行2-bit量化，在實(shí)現(xiàn)1/8極致壓縮與“無乘法”推理加速的同時(shí)，語言建模能力和下游任務(wù)表現(xiàn)反超了同尺寸的全精度LLaMA基座模型。相關(guān)論文題為“iFairy: the First 2-bit Complex LLM with All Parameters in {±1, ±i}”。

研究聚焦于大語言模型在真實(shí)應(yīng)用中的空間和時(shí)間瓶頸。傳統(tǒng)全精度模型參數(shù)量大、推理能耗高；盡管已有低比特量化降低了模型體積，但核心矩陣乘法仍廣泛依賴乘法運(yùn)算，難以從根本上壓縮推理時(shí)延和能耗。為此，團(tuán)隊(duì)提出在復(fù)數(shù)平面進(jìn)行2-bit量化：通過相位映射將權(quán)重限定為四個(gè)單位根{+1, −1, +i, −i}，在不增加位寬的情況下充分利用2 bit信息容量，同時(shí)保持量化集合的對(duì)稱性和訓(xùn)練穩(wěn)定性。

PhaseQuant量化算法示意圖

在實(shí)現(xiàn)層面，iFairy配套提出PhaseQuant量化策略與復(fù)數(shù)化Transformer設(shè)計(jì)。當(dāng)量化權(quán)重取{±1, ±i}時(shí)，張量乘法可退化為符號(hào)翻轉(zhuǎn)、實(shí)虛部交換與加減等低成本操作，從而在核心GEMM中大幅減少乘法指令；同時(shí)在注意力計(jì)算中使用Hermitian內(nèi)積的實(shí)部得到實(shí)值相似度分?jǐn)?shù)，并在位置編碼中采用復(fù)數(shù)旋轉(zhuǎn)形式，實(shí)現(xiàn)與主流Transformer架構(gòu)的兼容。得益于2-bit權(quán)重表示，模型存儲(chǔ)相較FP16可壓縮至約1/8，具備向邊緣端落地的潛在優(yōu)勢(shì)。

超低比特復(fù)數(shù)運(yùn)算規(guī)則

iFairy模型主干

在與同規(guī)模全精度（FP16/BF16）基座模型對(duì)齊的數(shù)據(jù)與訓(xùn)練條件下，團(tuán)隊(duì)報(bào)告的結(jié)果顯示：在語言建模任務(wù)上，2-bit iFairy的困惑度（PPL）較全精度模型有明顯下降，部分?jǐn)?shù)據(jù)集上的降幅約可達(dá)10%；在若干zero-shot下游任務(wù)評(píng)測(cè)中，1.3B規(guī)模的2-bit模型平均分略高于全精度基座，700M規(guī)模隨任務(wù)有所差異但整體保持競(jìng)爭(zhēng)力。進(jìn)一步的參數(shù)分布分析顯示，訓(xùn)練后量化權(quán)重在{±1, ±i}之間分布較為均衡，表明模型能夠有效利用復(fù)數(shù)碼本進(jìn)行表示學(xué)習(xí)。

iFairy PPL評(píng)測(cè)結(jié)果

iFairy下游任務(wù)評(píng)測(cè)結(jié)果（zero-shot）

iFairy模型k_proj的參數(shù)分布

iFairy模型o_proj的參數(shù)分布

該研究在“高效表示—無乘法推理—復(fù)數(shù)化結(jié)構(gòu)”三方面提出系統(tǒng)性方案，為在有限資源條件下實(shí)現(xiàn)高性能推理提供了新的技術(shù)路徑，也為今后在移動(dòng)終端與其他資源受限場(chǎng)景中的大模型部署帶來新的可能。

楊仝團(tuán)隊(duì)希望在未來圍繞復(fù)數(shù)域算法與硬件協(xié)同設(shè)計(jì)、端側(cè)部署優(yōu)化以及更大規(guī)模預(yù)訓(xùn)練驗(yàn)證等方向持續(xù)推進(jìn)研究，推動(dòng)高效大模型技術(shù)走向產(chǎn)業(yè)化與開放共享。相關(guān)論文、訓(xùn)練代碼、模型權(quán)重與實(shí)驗(yàn)?zāi)_本已全部開源，配套提供從訓(xùn)練、評(píng)測(cè)到可復(fù)現(xiàn)實(shí)驗(yàn)的完整流程，人人皆可復(fù)現(xiàn)訓(xùn)練。

楊仝及其團(tuán)隊(duì)（從左至右：黃博楷，張藝豪，楊仝，王國(guó)安，陳齊治）

信息來源：北京大學(xué)計(jì)算機(jī)學(xué)院