面部表情分析是計算機通過分析人臉信息嘗試理解人類情感的一種技術(shù),目前已成為計算機視覺領(lǐng)域的熱點話題。其挑戰(zhàn)在于數(shù)據(jù)標注困難、多人標簽一致性差、自然環(huán)境下人臉姿態(tài)大以及遮擋等。為了推動面部表情分析發(fā)展,本文概述了面部表情分析的相關(guān)任務(wù)、進展、挑戰(zhàn)和未來趨勢。首先,簡述了面部表情分析的幾個常見任務(wù)、基本算法框架和數(shù)據(jù)庫;其次,對人臉表情識別方法進行了綜述,包括傳統(tǒng)的特征設(shè)計方法以及深度學(xué)習(xí)方法;接著,對人臉表情識別存在的問題與挑戰(zhàn)進行總結(jié)思考;最后,討論了未來發(fā)展趨勢。通過全面綜述和討論,總結(jié)以下觀點:
1)針對可靠人臉表情數(shù)據(jù)庫規(guī)模小的問題,從人臉識別模型進行遷移學(xué)習(xí)以及利用無標簽數(shù)據(jù)進行半監(jiān)督學(xué)習(xí)是兩個重要策略;
2)受模糊表情、低質(zhì)量圖像以及標注者的主觀性影響,非受控自然場景的人臉表情數(shù)據(jù)的標簽庫存在一定的不確定性,抑制這些因素可以使得深度網(wǎng)絡(luò)學(xué)習(xí)真正的表情特征;
3)針對人臉遮擋和大姿態(tài)問題,利用局部塊進行融合的策略是一個有效的策略,另一個值得考慮的策略是先在大規(guī)模人臉識別數(shù)據(jù)庫中學(xué)習(xí)一個對遮擋和姿態(tài)魯棒的模型,再進行人臉表情識別遷移學(xué)習(xí);
4)由于基于深度學(xué)習(xí)的表情識別方法受很多超參數(shù)影響,導(dǎo)致當(dāng)前人臉表情識別方法的可比性不強,不同的表情識別方法有必要在不同的簡單基線方法上進行評測。目前,雖然非受控自然環(huán)境下的表情分析得到較快發(fā)展,但是上述問題和挑戰(zhàn)仍然有待解決。
人臉表情分析是一個比較實用的任務(wù),未來發(fā)展除了要討論方法的精度也要關(guān)注方法的耗時以及存儲消耗,也可以考慮用非受控環(huán)境下高精度的人臉運動單元檢測結(jié)果進行表情類別推斷。