在今年的3月中旬，OpenAi在GPT-4的發(fā)布會(huì)上表示，在未來GPT-4的應(yīng)用層中將加入“圖片識(shí)別理解能力”，旨在讓GPT-4更好地認(rèn)知現(xiàn)實(shí)事物，同時(shí)結(jié)合LLMs的優(yōu)勢(shì)理解產(chǎn)出相關(guān)文字內(nèi)容，這一功能看上去非?？?，但OpenAi遲遲沒有讓這一功能上線公測(cè)，就在大家都懷疑是OpenAi在畫餅，在做“PPT產(chǎn)品”的時(shí)候，一款名為“BeMyEyes”的應(yīng)用打了質(zhì)疑者的臉。

GPT-4發(fā)布會(huì)上所提及的“GPT笑話理解圖”

(資料圖片僅供參考)

“BeMyEyes”是一款老應(yīng)用了，于2015年發(fā)布，由丹麥開發(fā)人員HansJ?rgenWiberg創(chuàng)建。其是一款免費(fèi)的移動(dòng)端App，旨在幫助視力受損和盲人用戶進(jìn)行日?；顒?dòng)。這款應(yīng)用充當(dāng)視力受損人士與志愿者之間的橋梁，允許他們通過實(shí)時(shí)視頻通話請(qǐng)求幫助。志愿者可以幫助解答各種問題，如閱讀標(biāo)簽、識(shí)別顏色、找到物品等。

“BeMyEyes”官網(wǎng)介紹 https://www.bemyeyes.com/

其充分利用了手機(jī)攝像頭作為視覺障礙者的眼睛，如果某個(gè)志愿者收到請(qǐng)求卻正忙于其他事情無法回應(yīng)，該應(yīng)用會(huì)自動(dòng)將請(qǐng)求轉(zhuǎn)發(fā)給其他可用志愿者，確保視力障礙用戶能夠第一時(shí)間得到幫助。截止2023年3月，該應(yīng)用已經(jīng)有了50萬的視覺障礙者用戶以及640萬視力正常的志愿者，服務(wù)比高達(dá)12.8:1。

支持多達(dá)150個(gè)國(guó)家與180種語(yǔ)言，也支持中文

可是由于人與人溝通的心理壓力障礙、交流障礙等種種原因，部分視覺障礙者還是沒有接受該軟件的解決方式，認(rèn)為使用“BeMyEyes”意味著與陌生人共享個(gè)人信息和生活場(chǎng)景。這可能讓一些視力障礙者感到危險(xiǎn)，擔(dān)心自己的隱私和安全。同時(shí)，部分視力障礙者可能會(huì)認(rèn)為向他人尋求幫助會(huì)降低他們的自尊。他們可能覺得，通過應(yīng)用程序請(qǐng)求幫助意味著承認(rèn)自己的弱點(diǎn)和不足。

Ai繪畫丨孤獨(dú)沮喪的盲人

這些因素讓“BeMyEyes”的推進(jìn)遇到了瓶頸，直到Ai的火爆。在2022年GPT-3.5模型發(fā)布之時(shí)，其強(qiáng)大且難以置信的理解力就震驚了全世界，這個(gè)將人類2021年9月前的所有文明當(dāng)作自己數(shù)據(jù)庫(kù)的LLMs（大型語(yǔ)言模型），擁有著史無前例的Ai創(chuàng)造力。

“BeMyEyes”的創(chuàng)造者Wiberg在2023年2月就與OpenAi接洽，獲得了GPT-4模型中的“圖像理解生成技術(shù)”，通過該技術(shù)其推出了一項(xiàng)名為“虛擬志愿者”的新功能，該功能由OpenAI的GPT-4語(yǔ)言模型驅(qū)動(dòng)。通過整合GPT-4的圖像識(shí)別和文字生成技術(shù)，虛擬志愿者可以為視力障礙者提供更為深入的實(shí)時(shí)視覺輔助。用戶可以通過應(yīng)用發(fā)送圖片，虛擬志愿者會(huì)對(duì)圖片進(jìn)行解析，并提供相關(guān)信息幫助。

“BeMyEyes”官網(wǎng)介紹 https://www.bemyeyes.com/

從原理上講，GPT-4模型實(shí)現(xiàn)圖片理解功能的關(guān)鍵在于其圖像識(shí)別和文字生成技術(shù)。首先，模型接收到用戶上傳的圖片，對(duì)圖片進(jìn)行分析和識(shí)別，提取關(guān)鍵信息。在這一過程中，模型需要具備對(duì)不同物體、顏色、形狀和場(chǎng)景的識(shí)別能力。然后，模型將識(shí)別到的信息轉(zhuǎn)換為自然語(yǔ)言描述，與用戶的問題相結(jié)合生成有針對(duì)性地回答。在此階段，模型需要理解上下文信息并具備良好的對(duì)話能力，以便生成有用的建議和指導(dǎo)。

Ai繪畫丨Ai圖像識(shí)別示意圖

在實(shí)際應(yīng)用中，當(dāng)用戶拍下電視機(jī)的照片，并語(yǔ)音詢問Ai，電視里在播放什么時(shí)，Ai即根據(jù)電視內(nèi)容進(jìn)行了回復(fù)“Basedonthepictureprovided,itappearsthattheTVisdisplayingavideogamecalledFortnite.根據(jù)提供的圖片，電視似乎正在顯示一款名為《堡壘之夜》的電子游戲?！蓖瑫r(shí)還可以轉(zhuǎn)換成西班牙文。

“BeMyEyes”官網(wǎng)介紹 https://www.bemyeyes.com/

在另一個(gè)案例中，帶有Ai圖像識(shí)別的虛擬志愿者，可以輕松幫助用戶找到不同顏色的條紋襯衫，并告知用戶其他襯衫的顏色。

“BeMyEyes”官網(wǎng)介紹 https://www.bemyeyes.com/

來自美國(guó)的LucyEdwards是一名失明了將近10年的盲人女孩兒，雖然眼睛看不見了，但她仍然保持著對(duì)生活的熱愛，她是一位內(nèi)容創(chuàng)作者和殘疾活動(dòng)家，以她的《盲女如何生活》系列和旅行視頻博客生活等而廣受歡迎，她擁有來自世界各地近百萬的粉絲。在今年，她也成了“BeMyEyes虛擬志愿者”的內(nèi)測(cè)人員。

圖片源自于網(wǎng)絡(luò)

到目前為止，她用這款工具幫助她閱讀時(shí)尚目錄，將中文成分翻譯成英文，搜索網(wǎng)上食譜，為她自己的照片庫(kù)中的圖片編寫代替文字，還幫助她閱讀餐廳菜單。Edwards還展示了將虛擬志愿者用作私人教練和倫敦地鐵導(dǎo)游的潛力。

圖片源自于網(wǎng)絡(luò)

Edwards表示Ai可以賦予視覺障礙者更高程度的自主性和私密性。AI技術(shù)使他們能夠依賴個(gè)人設(shè)備獨(dú)立完成各種任務(wù)，實(shí)現(xiàn)真正的自主，并且避免了與陌生人溝通所帶來的尷尬和隱私問題。

圖片源自于網(wǎng)絡(luò)

當(dāng)我們還在對(duì)Ai的技術(shù)歸屬與版權(quán)問題爭(zhēng)論時(shí)，世界上已經(jīng)有許多平時(shí)不會(huì)被關(guān)注、了解的人們開始讓Ai技術(shù)更好地服務(wù)于他們的生活，比如視覺障礙者、聽力障礙者或者語(yǔ)言障礙者，對(duì)于他們來說Ai技術(shù)似乎沒有“強(qiáng)烈的威脅性”，而是真真實(shí)實(shí)地讓他們感受到了科技進(jìn)步的力量與便捷。

目前希爾頓、微軟、寶潔、索尼加入到了BeMyEyes的虛擬志愿者測(cè)試中

對(duì)于AI技術(shù)，我們應(yīng)該保持開放和包容的態(tài)度，鼓勵(lì)創(chuàng)新與發(fā)展。但同時(shí)，要確保AI技術(shù)的安全，我們還需要關(guān)注潛在的倫理問題、隱私問題以及技術(shù)濫用的可能性。AI技術(shù)如同達(dá)摩克利斯之劍，它既可以為我們帶來極大的利益，也可能導(dǎo)致無法預(yù)料的危險(xiǎn)。因此，在積極推進(jìn)AI技術(shù)的廣泛應(yīng)用時(shí)，我們需要不斷審視其影響，以確保技術(shù)發(fā)展的可持續(xù)性和公平性。

Ai繪畫丨一個(gè)機(jī)器人正在幫盲人過馬路

關(guān)鍵詞：