隨著人工智能深度學(xué)習(xí)(DL, Deep Learning)的發(fā)展，行人再辨識(shí)的準(zhǔn)確度取得了很大的進(jìn)步。但是，訓(xùn)練好的模型在全新的場(chǎng)景下部署時(shí)泛化能力往往較低。也正因?yàn)榇�，大�?guī)模商業(yè)化行人再辨識(shí)面臨困難。其中的一大部分原因是缺少大規(guī)模的有標(biāo)注的真實(shí)數(shù)據(jù)訓(xùn)練集。然而，標(biāo)注大規(guī)模的真實(shí)數(shù)據(jù)通常是費(fèi)時(shí)費(fèi)力的。所以，近年來，一些工作開始關(guān)注用大規(guī)模合成數(shù)據(jù)集訓(xùn)練實(shí)現(xiàn)可泛化的行人再辨識(shí)�；�于人工智能技術(shù)的圖像版權(quán)保護(hù)專家王文昊在可泛化行人再辨識(shí)的科研成果與商業(yè)應(yīng)用取得了原創(chuàng)性重大突破，引起了人工智能領(lǐng)域的廣泛關(guān)注。

 

　　王文昊（杰出的基于人工智能技術(shù)的圖像版權(quán)保護(hù)專家）

 

　　王文昊，中國(guó)杰出的基于人工智能技術(shù)的圖像版權(quán)保護(hù)專家，長(zhǎng)期從事人工智能、計(jì)算機(jī)視覺、行人重識(shí)別相關(guān)研究，尤其是在基于人工智能技術(shù)的跨鏡追蹤安全算法、基于人工智能技術(shù)的數(shù)字藝術(shù)品版權(quán)保護(hù)算法的研究方面達(dá)到中國(guó)領(lǐng)先水準(zhǔn)。讀書生涯榮獲北京航空航天大學(xué) 榮譽(yù)“沈元獎(jiǎng)?wù)?rdquo;，獲得澳大利亞人工智能研究院博士全額獎(jiǎng)學(xué)金，曾前往包括英國(guó)劍橋大學(xué)(University of Cambridge)、帝國(guó)理工大學(xué)(Imperial College London)、愛丁堡大學(xué)(The University of Edinburgh)在內(nèi)的多所國(guó)際名校訪學(xué)多學(xué)科方向?qū)W習(xí)人工智能前沿知識(shí)，參加先進(jìn)高溫結(jié)構(gòu)材料國(guó)防重點(diǎn)實(shí)驗(yàn)室項(xiàng)目，曾工作于阿聯(lián)酋起源人工智能研究院，同阿聯(lián)酋起源人工智能研究院等頂尖科學(xué)家合作，現(xiàn)任北京高碼科技有限公司人工智能技術(shù)總監(jiān)，在權(quán)威學(xué)術(shù)期刊發(fā)表眾多SCI論文、EI論文、人工智能 會(huì)議(CVPR)論文、圖像處理 期刊 (TIP)論文，是中國(guó)最頂尖的基于人工智能技術(shù)的圖像版權(quán)保護(hù)專家。

 

　　行人再辨識(shí)（re-ID）的目標(biāo)是在不同時(shí)間、地點(diǎn)等拍攝的許多行人圖像中匹配給定的行人圖像。隨著深度學(xué)習(xí)的發(fā)展，全監(jiān)督的行人再辨識(shí)已經(jīng)得到了廣泛的研究并且取得了長(zhǎng)足進(jìn)步。然而，當(dāng)一個(gè)訓(xùn)練好的模型在全新的未知數(shù)據(jù)集測(cè)試時(shí)，顯著的性能下降依然會(huì)發(fā)生。目前已知算法的泛化能力主要受兩方面限制。第一，人們?cè)O(shè)計(jì)算法時(shí)很少考慮算法的泛化能力。很少有算法專門為域泛化設(shè)計(jì)。第二，公開的數(shù)據(jù)集中行人數(shù)量有限，并且多樣性也較差。

 

　　標(biāo)注大規(guī)模且多樣性高的真實(shí)數(shù)據(jù)集是十分昂貴的，也十分耗時(shí)。比如，標(biāo)注MSMT17數(shù)據(jù)庫（4,101人，126,441圖像）耗費(fèi)三個(gè)人聯(lián)合標(biāo)注了兩個(gè)月。為了解決這個(gè)問題，王文昊使用大規(guī)模合成數(shù)據(jù)做行人再辨識(shí)的訓(xùn)練，這樣就省去了人工標(biāo)注。然而，如果只使用合成數(shù)據(jù)集，模型的泛化能力依舊是有限的。這是因?yàn)樵谔摂M數(shù)據(jù)和真實(shí)數(shù)據(jù)之間依然存在較大的域差異。一個(gè)解決辦法是直接將虛擬數(shù)據(jù)和有標(biāo)簽的真實(shí)數(shù)據(jù)混合，并從中學(xué)習(xí)。雖然性能得到了提升，該方法依舊嚴(yán)重依賴手工標(biāo)注的真實(shí)數(shù)據(jù)。同時(shí)，采用常見的方法訓(xùn)練的話，域差異的問題依舊存在。

 

　　為了解決這個(gè)問題，王文昊提出了DomainMix框架。王文昊所提出的方法首先將無標(biāo)簽的真實(shí)圖片聚類，并從中選出可靠的類別。訓(xùn)練過程中，為解決兩個(gè)域之間的差異，我們通過提出域平衡損失函數(shù)來引導(dǎo)在域不變特征學(xué)習(xí)和域區(qū)分之間的對(duì)抗訓(xùn)練。這樣既減少了虛擬數(shù)據(jù)和真實(shí)數(shù)據(jù)之間的域差異；大規(guī)模和多樣性的訓(xùn)練數(shù)據(jù)又使得學(xué)到的特征更有泛化能力。

 

　　王文昊提出的DomainMix框架設(shè)計(jì)

 

　　在DomainMix框架設(shè)計(jì)階段，在每個(gè)訓(xùn)練段，無標(biāo)簽的真實(shí)圖片首先被 DBSCAN 聚類然后被三個(gè)準(zhǔn)則挑選。然后，根據(jù)上一階段訓(xùn)練結(jié)果和打上偽標(biāo)簽的真實(shí)數(shù)據(jù)的特征對(duì)分類層自適應(yīng)初始化。在訓(xùn)練過程中，使用兩個(gè)域的數(shù)據(jù)訓(xùn)練骨干網(wǎng)絡(luò)以提取有區(qū)分的、域不變的、可以泛化的特征。另外，借助域分類損失函數(shù)，域分類器可以將每個(gè)特征正確地分到它所屬的類別。

 

　　王文昊提出一個(gè)虛實(shí)結(jié)合的行人再辨識(shí)新思路：通過半監(jiān)督方式聯(lián)合訓(xùn)練有標(biāo)簽虛擬數(shù)據(jù)和無標(biāo)簽真實(shí)數(shù)據(jù)，取得更好的可泛化行人再辨識(shí)性能，并且其無需人工標(biāo)注的優(yōu)點(diǎn)更具有規(guī)�；�的可擴(kuò)展性和實(shí)際應(yīng)用價(jià)值。王文昊提出了一個(gè)更具有實(shí)際應(yīng)用價(jià)值的行人再辨識(shí)任務(wù)A+B->C：即如何利用大規(guī)模有標(biāo)簽的合成數(shù)據(jù)集A和無標(biāo)簽的真實(shí)數(shù)據(jù)集B訓(xùn)練出能泛化到未知場(chǎng)景C的模型。該任務(wù)不再依賴于對(duì)真實(shí)數(shù)據(jù)的手工標(biāo)注，因此可以擴(kuò)展到更大規(guī)模、更多樣化的真實(shí)數(shù)據(jù)上，從而提高模型的泛化能力。在實(shí)現(xiàn)“開箱即用”的行人再辨識(shí)方法中，該任務(wù)是更具潛力且成本低廉的方案。

 

　　值得注意的是，無論如何，一個(gè)完全公平的比較是不可行的，因?yàn)橥跷年恢皇褂昧藷o標(biāo)簽的真實(shí)數(shù)據(jù)(盡管有額外的合成數(shù)據(jù))，而其他方法均使用了有標(biāo)簽的真實(shí)數(shù)據(jù)。所以，和 的算法在Market1501，CUHK03-NP 和 MSMT17三個(gè)數(shù)據(jù)集上進(jìn)行比較，比較的結(jié)果只是用來輔助對(duì)比完全不使用手工標(biāo)簽的方案可以達(dá)到多高的準(zhǔn)確度。
 

 

　　因此，王文昊進(jìn)一步采用其他創(chuàng)新的方法來提高性能。第一，直接將虛擬數(shù)據(jù)和真實(shí)數(shù)據(jù)相結(jié)合增加了源域的多樣性和規(guī)模。第二，域平衡損失函數(shù)進(jìn)一步強(qiáng)制網(wǎng)絡(luò)學(xué)習(xí)到了域不變的特征并最小化了合成數(shù)據(jù)和真實(shí)數(shù)據(jù)之間的域差異。

 

　　王文昊提出的 DomainMix 框架和 的算法在Market1501，CUHK03-NP 和 MSMT17三個(gè)數(shù)據(jù)集上進(jìn)行比較，結(jié)果證明王文昊提出的無需人工標(biāo)注的方法對(duì)于域泛化行人再辨識(shí)具有優(yōu)越性。

 

　　王文昊提出了一個(gè)更實(shí)用、更具普適性的行人再辨識(shí)任務(wù)，即如何將有標(biāo)簽的合成數(shù)據(jù)集與無標(biāo)簽的真實(shí)世界數(shù)據(jù)相結(jié)合，以訓(xùn)練出更具有泛化能力的開箱即用的模型。為了解決這個(gè)問題，王文昊提出了DomainMix框架，完全消除了人工標(biāo)注的需求，縮小了合成數(shù)據(jù)和真實(shí)數(shù)據(jù)之間的差距，在完全無手工標(biāo)注的情況下學(xué)習(xí)可以泛化的行人再辨識(shí)，這樣可以利用真實(shí)世界中大規(guī)模且多樣化的無標(biāo)簽數(shù)據(jù)。大量實(shí)驗(yàn)表明，王文昊提出的無需人工標(biāo)注的方法對(duì)于域泛化行人再辨識(shí)具有優(yōu)越性。