繼圍棋、德州撲克、星際爭(zhēng)霸之后，AI技術(shù)又“卷”到了斗地主 游戲 。近日，網(wǎng)易互娛?AI Lab 聯(lián)合上海交通大學(xué)和 CMU開(kāi)源斗地主AI模型“PerfectDou”。該AI模型不僅擊敗了一眾已知開(kāi)源的AI“同行”，成為目前實(shí)力最強(qiáng)的斗地主AI，相關(guān)研究成果還登上了AI頂級(jí)學(xué)術(shù)會(huì)議NeurIPS 2022，受到國(guó)際學(xué)術(shù)界的高度認(rèn)可。

對(duì)人類(lèi)而言，斗地主可能只是一個(gè)簡(jiǎn)單的紙牌游戲；但在AI眼中，斗地主的玩法極具挑戰(zhàn)性。作為一款非完美信息游戲，斗地主不僅涉及策略合作，隊(duì)友/對(duì)手水平等復(fù)雜因素，其牌型組合更是高達(dá)27472種，極大地限制了如?CFR 等搜索類(lèi)算法的使用，這也對(duì)算法模型的創(chuàng)新探索提出了更高的要求。

針對(duì)上述難點(diǎn)，網(wǎng)易互娛?AI Lab 聯(lián)合上海交通大學(xué)和 CMU提出基于完美信息蒸餾（PTIE）的斗地主?AI“PerfectDou”。在斗地主游戲中，非完美信息的引入主要是由于三位玩家均不能看到別人的手牌，對(duì)于任意一位玩家而言，僅可知道其余兩位玩家當(dāng)前手牌的并集，但很難精準(zhǔn)判斷每位玩家當(dāng)前手牌。針對(duì)此類(lèi)非完美信息問(wèn)題，完美信息蒸餾的思路是構(gòu)建一個(gè)第三方角色，該角色可以看到三位玩家的手牌，該角色在不告知每位玩家完美信息的情況下，通過(guò)信息蒸餾的方式，引導(dǎo)玩家打出基于當(dāng)前情況相對(duì)合理的出牌，并贏得比賽。

針對(duì)斗地主游戲出牌組合數(shù)較多的問(wèn)題，PerfectDou 基于RLCard 的工作上對(duì)動(dòng)作空間進(jìn)行了簡(jiǎn)化，對(duì)占比最大的兩個(gè)出牌牌型進(jìn)行動(dòng)作壓縮，將整體動(dòng)作空間由 27472 種縮減到 621 種，幫助AI加速訓(xùn)練過(guò)程。

（PerfectDou 策略網(wǎng)絡(luò)結(jié)構(gòu)）

為驗(yàn)證AI模型的強(qiáng)度，?PerfectDou?與各個(gè)斗地主AI分別進(jìn)行了1萬(wàn)局的對(duì)戰(zhàn)，并與之前達(dá)到?SOTA?水平的?DouZero模型單獨(dú)進(jìn)行了10萬(wàn)局對(duì)戰(zhàn)。對(duì)戰(zhàn)主要指標(biāo)包括兩種：勝率（WP）和場(chǎng)均得分（ADP）。考慮到場(chǎng)均得分更符合斗地主游戲規(guī)則，所以將其作為主要指標(biāo)，勝率則作為輔助指標(biāo)。實(shí)驗(yàn)結(jié)果顯示，PerfectDou?擊敗了所有已知AI斗地主模型，創(chuàng)下最新的SOTA水平。

(上表中加粗?jǐn)?shù)字代表 A 對(duì)戰(zhàn) B 勝率超過(guò) 50% 或者 ADP 大于 0)

目前，網(wǎng)易互娛AI LAB已公布論文全文、對(duì)外開(kāi)源PerfectDou代碼，并提供在線試玩平臺(tái)，以幫助人工智能領(lǐng)域?qū)W者進(jìn)一步研究AI技術(shù)在斗地主游戲上的應(yīng)用。

據(jù)悉，包括PerfectDou在內(nèi)的最新AI游戲智能體研究成果，均已集成于網(wǎng)易互娛AI LAB自研游戲AI系統(tǒng)Athena AI中。該系統(tǒng)還擁有模仿學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、進(jìn)化學(xué)習(xí)算法等眾多前沿AI技術(shù)，為網(wǎng)易不同類(lèi)型的熱門(mén)游戲，提供競(jìng)技對(duì)戰(zhàn)、友好陪玩、平衡性測(cè)試等豐富多樣的AI解決方案。

網(wǎng)易互娛AI Lab成立于2017年，隸屬于網(wǎng)易互動(dòng)娛樂(lè)事業(yè)群。作為游戲行業(yè)領(lǐng)先的人工智能實(shí)驗(yàn)室，網(wǎng)易互娛AI Lab所提供的AI服務(wù)包括計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、語(yǔ)音信號(hào)處理、游戲AI等；應(yīng)用于《夢(mèng)幻西游》《哈利波特：魔法覺(jué)醒》《陰陽(yáng)師》《大話西游》《荒野行動(dòng)》等網(wǎng)易旗下多款熱門(mén)游戲。