你又給我用 ChatGPT 生內容!有辦法偵測 ChatGPT 生的內容嗎?

你又給我用 ChatGPT 生內容!有辦法偵測 ChatGPT 生的內容嗎?

ChatGPT 在生成內容方向可以說是非常厲害。對於自媒體經營者來說,它是一個非常棒、可以用來增加靈感的工具;對於創意產業更是如此,像是電影劇本構思,或是遊戲環節的設計等等,ChatGPT 也能很快速地給出各種腦力激盪。

但是有利就有弊,由於 ChatGPT 的資料主要也是根據各種大數據訓練出來的,它抓取的資料幾乎也都是從網路上別人的內容東拼西湊。如果是將 ChatGPT 應用在學術界中,並且直接使用它來生產結果和提交,就很有可能導致論文抄襲和資料不完全正確的問題。

因此這一篇文章中我就想來分享,究竟有沒有工具能夠因應這種情況,可以用來協助偵測內容是否為 AI 撰寫出來的。

在我的頻道中我會帶給大家更多網路斜槓的知識,並且分享實用的網路工具和資源,讓大家也能活出自己的斜槓人生!

Hola Slashie 斜槓說

ChatGPT 帶來的是利還是弊?怎麼使用才是正確的

ChatGPT

ChatGPT 是由 OpenAI 團隊開發的聊天機器人,透過大量數據餵養訓練,內容來源包含維基百科條目、社群貼文和新聞、論壇等等。透過這種訓練方式,讓 ChatGPT 能夠去分析你輸入的內容,並根據上下文來生成專業且人性化的回覆應答。

ChatGPT學語言 2

如果你懂得如何跟 ChatGPT 溝通,並且願意去學習 Prompt Engineer(提示工程)相關的知識,它絕對會是一個非常實用而且有幫助的工具。然而科技的進步始終是一把雙刃劍,有人懂得善用,有人卻會選擇投機。

要說 AI 的出現會降低生產的門檻是沒錯,但懂不懂得善用,還是會造就出人和人之間的差別。

AI 時代發展出來的新職業:Prompt Engineering

上方影片中我講解了關於 AI 時代人們是否需要擔心被 AI 取代的風險,以及順應這個趨勢下,到底該如何掌握 Prompt Engineering 這個技能。

AI 的確正在悄悄地創造一個全新的革命,國外也因應 AI 的到來,發展出了一種全新的職業叫做 Prompt Engineer(如下圖)。根據維基百科的解釋, Prompt Engineer 的中文叫做「提示工程」, 提示工程的典型工作方式是將一個或多個任務轉換為基於提示的數據集,並通過所謂的「基於提示的學習(prompt-based learning)」來訓練語言模型。

怎麼問 ChatGPT 問題 prompt engineering 1

有點難理解對吧,其實白話就是你要知道怎麼跟 AI 溝通,來拿到你想要的結果啦。目前不論是 ChatGPT,或是靠 AI 來生出藝術品的 MidjourneyDalle.2 這些平台,都是透過輸入文字的方式來產出結果。不同的問問題方式,會導致 AI 給出不一樣的回覆。

去搜尋一下,國外也真的有越來越多這種職缺囉!並不是我隨便講一個專有名詞嚇人。

怎麼問 ChatGPT 問題 prompt engineering 2

ChatGPT Prompt 學習課程

The AI Advantage 這個課程當中,作者花了很多時間在研究 ChatGPT 的 Prompt 上,他之前也出過一本各個領域可以使用的 Prompt 提示詞電子書,讓大家可以抽換詞面拿去問 ChatGPT,來獲得最快速最完善的回覆。

作者也引入非常多 AI 相關的應用到課程當中,在他的頻道也會介紹最新的 AI 應用層面和工具,對 AI 新科技有興趣的人都推薦去追蹤一下!

偵測 ChatGPT 生產內容的工具

在說完 ChatGPT 的出現可能帶來的衝擊還有因應 AI 時代新出現的職業之後,接著我們就來說說有關 ChatGPT 生產的內容是否可以被偵測這件事情,我想這也是蠻多學者或是教職人員會想要知道的事情吧。

不過我 Run 過一輪,也寄信問過很多平台,市面上的工具主要還是以偵測英文內容為主,能夠針對中文內容做偵測的工具並不多。這也代表對中文市場來說,這種利用 AI Detector 來偵測 AI 內容的部分,還是一個很大的潛在商機喔!

主流的 3 個 ChatGPT 偵測工具

因此接下來要測試的內容,主要還是會先以英文的內容為主。那我會專注在 3 個比較主流的 AI 內容偵測工具,分別為由普林斯頓大學 Computer science 的學生研發的 GPTzero、加拿大 DNG.AI 公司研發的 GPT3 Content Detector 以及 ChatGPT 的研發團隊 OpenAI
他們自己推出的 GPT-2 Output Detector Demo

更多 ChatGPT 偵測工具

如果你想要測試更多工具,可以到 Futuretools 這個網站,點選 AI Detection,就會有更多可以去測試的工具啦!

偵測 ChatGPT Futuretools

另外一個網站就是 Chat GPT Detectors,這裡也有很多 AI 內容偵測的工具,上面也有附上評分星等,你也都可以去嘗試看看。

ChatGPT 偵測工具是否真的精準?

首先我先使用前面 Prompt Engineering 線上課程的講師製作的 ChatGPT Cheat Sheet 電子書(有放在課程中),找到 essay 寫論文相關的 Prompt 模板。

偵測 ChatGPT Prompt Engineer電子書

接著複製這一串丟到 ChatGPT,然後將論文的研究目的修改成『ChatGPT 誕生後,該如何增加我們自身競爭力的論文』,這個結果順便也給你當作參考。

偵測 ChatGPT 1

然後 ChatGPT 就生出了這一大段文章。裡面說我們可以學習跟 ChatGPT 的溝通技巧 ,也就是前面提到的 Prompt Engineering 提示工程。然後可以去學習相關技術,比方說學程式、數據分析等等。

偵測 ChatGPT 2

第三點說我們可以持續發展創意來跟 ChatGPT 擦出更棒的火花;最後是 Emotional Intelligence(情商),主要是在說 AI 無法分析人的情緒,所以我們需要將別人的情緒納入考量,將 ChatGPT 的產出添加更多會讓他人有共鳴的內容。

偵測 ChatGPT 3

第一個 ChatGPT 偵測工具:GPTZero

將前面的一大串文章複製起來丟到 GPTZero 裡面,按 Get Result 就能夠立刻判斷。

偵測 ChatGPT 4

結果顯示,這邊它說看起來整篇完全都是 AI 寫出來的,所以是有成功判斷出來的。

偵測 ChatGPT 7

第二個 ChatGPT 偵測工具:GPT-3 Content Detector

第二個我們丟到 GPT3 Content Detector,按下 Analyze,這個工具會分析得比較久一點。

偵測 ChatGPT 5

結果出來了,這裡寫說 99% 都是 AI 生產的,所以也是能夠正常判讀出來。

偵測 ChatGPT 8

第三個 ChatGPT 偵測工具:GPT-2 Output Detector Demo

最後是 ChatGPT 團隊自己研發的 GPT-2 Output Detector Demo,把內容丟進去它就會開始分析了。(BTW 這個工具也可以丟中文的內容)

偵測 ChatGPT 6

結果顯示,有 99.98% 的機率是 AI 生成的。雖然這個 AI 內容偵測工具是建立在 GPT-2 舊版的運算模型,現在的 ChatGPT 版本是 GPT-3.5,但是還是可以偵測地出來是否為 AI 生的內容。

偵測 ChatGPT 6

目前直接複製 ChatGPT 的內容貼上的方式,經過 3 種工具測試下來,都是可以很清楚的判斷文章是 AI 生成的。

詞語替換後,再來測試一次這些 AI 偵測工具

接下來我就要來試試看將內文做詞語替換之後,會不會讓 AI 工具沒有辦法去做判斷。

這裡我用 GPT-MINUS1 這個詞語替換的平台,來幫我重寫文章。所以我就貼上前面的內容,按下 Submit

偵測 ChatGPT 10

往下滑就可以看到詞語改寫之後的文章啦,然後複製新的文章,重新來做一次前面 3 種偵測工具的測試。

偵測 ChatGPT 11

第一個 ChatGPT 偵測工具結果:GPTZero

結果 GPT-Zero 這個工具,說這個內容應該是人手寫出來的。

偵測 ChatGPT 12

第二個 ChatGPT 偵測工具結果:GPT-3 Content Detector

第二個 GPT3 Content Detector 它也改口,說這個內容應該是人為手寫出來的。

偵測 ChatGPT 13

第三個 ChatGPT 偵測工具結果:GPT-2 Output Detector Demo

最後一個 OpenAI 的工具結果也變成了 94.58% 是真的人為寫出來的。

偵測 ChatGPT 14

由此可見,以上三種工具在文章經過 AI 文章改寫工具改寫之後,都偵測不出來內容是 AI 撰寫的了。

結論

測試完之後我的結論是,如果有人真的有心想要使用 ChatGPT 來生論文,真的還是防不勝防啦~而且這些工具的正確性,還是很難達到百分之百精準。但是就跟我最一開始說的一樣,我仍舊不鼓勵把 ChatGPT 生產的內容直接拿來當作結果提交。

雖然使用前面像是詞語替換的方式,是有機會可以規避掉一些 AI 偵測工具的偵測,但是就跟剛剛我問 ChatGPT 的問題一樣,我們要怎樣變得更有競爭力,人機的合作,將 AI 生成的內容與自己的創意做結合是很重要的一環。

其次是 OpenAI 團隊開發的 AI Detector 目前還是停留在 2.0 版本,說不定未來有更多資料和判斷依據之後,詞語替換的方式也很有可能可以被偵測出是 AI 寫的也說不定,所以真的還是不要抱僥倖的心態。

好啦,如果這篇文章有讓你學到東西的話,也歡迎訂閱我的 Youtube 頻道,才不會錯過新的網路斜槓資訊。並且幫我按下方的 Like 當作回饋,支持我繼續寫出更多好文章!

在我的頻道中我會帶給大家更多網路斜槓的知識,並且分享實用的網路工具和資源,讓大家也能活出自己的斜槓人生!

更多網路斜槓相關文章
電郵行銷工具教學

網路行銷私藏工具

選擇好的網路行銷工具,能夠讓你事半功倍。這裡有 Kevin 私藏的網路行銷工具,想要學習網路行銷一定不能錯過。 

更多網路行銷工具請看:Kevin 私藏網路行銷工具

歡迎按讚我的粉絲專頁會有最新文章、Email 行銷知識、網路行銷工具優惠、網路學習資源的訊息。

如果我的文章對你有幫助,歡迎贊助我一杯咖啡!




若你為海外讀者,也歡迎使用 Paypal 贊助喔!

​你可能會想看

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *