新聞頁

AI是否可以協助減緩網路暴力以及仇恨傳播?

Humane Intelligence是一個專注於評估AI系統的非營利組織,與北歐反恐組織Revontulet合作,推出一項競賽,挑戰開發者設計電腦視覺模型來追蹤網絡上的仇恨圖像宣傳。該比賽於2024年9月26日開放,任何年滿18歲的個人均可參加,獎金總額為10,000美元。

這是Humane Intelligence計劃推出的十項「算法偏差賞金」系列中的第二場比賽。該組織由知名AI研究員Rumman Chowdhury於2022年創立,並獲得Google.org的支持。Chowdhury表示,比賽的目標之一是教導人們進行算法評估,並且希望通過比賽解決AI領域中的實際問題。

第一場競賽聚焦於評估用於訓練模型的數據集中的差距,這些差距可能會導致偏見或不準確的輸出。而這次的第二場競賽則針對追蹤網絡上的仇恨圖像,這是一個極具挑戰的問題。隨著生成式AI技術的發展,仇恨內容大量出現,並且AI還能改變內容以避免被社交平台檢測。極端分子可能利用AI稍微修改已被禁止的圖像,迅速創造出數百個不同版本,難以被自動檢測系統攔截。比賽要求參賽者設計兩種模型:第一種是識別仇恨圖像的模型,針對中級參賽者;第二種是試圖欺騙第一個模型的高級挑戰,模擬現實中反派試圖繞過檢測的場景。

項目的一大難題是仇恨宣傳圖像的識別依賴於其上下文,不同文化背景下的符號或標誌可能不易識別。因此,Humane Intelligence特意與非美國的組織合作,確保模型涵蓋全球不同地區的仇恨內容。這也是為什麼他們選擇與北歐反恐組織合作的原因。

比賽將持續至2024年11月7日,並會選出兩名獲勝者,分別頒發4,000美元和6,000美元獎金。此外,參賽者的模型還可能被Revontulet納入其反恐工具中,用於實際應對極端主義。

News Source:MIT Technology Review
原文出處:https://www.technologyreview.com/2024/09/25/1104519/ai-models-hate-imagery-humane-intelligence-bounty-competition/