在「Tao on “blue team” vs. “red team” LLMs (mathstodon.xyz)」這邊看到數學界的大老陶哲軒 (Terence Tao) 對 AI 目前用法的看法，他引申了資安領域中「紅隊」與「藍隊」的概念來解釋他的想法。 原文是發表在他的 Mastodon 上面，因為單則長度限制的關係，原文拆成三則，在 https://mathstodon.xyz/@tao/114915604830689046 這邊可以看到。 目前的 AI，或是更接說 LLM，用起來有類似的感覺：直接要他做複雜的工作不怎麼可靠，但當作是輔助工具來用還蠻好用的。 我把透過 gpt-4.1-mini 的翻譯放上來： 在資安（cybersecurity）領域中，通常會區分「藍隊（blue team）」與「紅隊（red team）」兩種任務：藍隊負責打造安全的系統，而紅隊則負責找出這些系統中的漏洞。藍隊當然是必要的，因為他們創造了我們需要的產品；但紅隊同樣不可或缺，因為如果系統不安全，所造成的損害可能非常嚴重。 這兩種團隊的性質相互對應，數學家會稱之為「對偶（dual）」。藍隊的成果其實是由最弱環節所決定：如果安全系統中包含強而有力的部分，卻也有薄弱環節（例如：一座門牢牢上鎖的房子，但窗戶是開著的），這個系統就仍然不安全（甚至更糟，因為強大的部分可能會帶來錯誤的安全感）。反過來，紅隊的貢獻往往是可以累積的：一份報告如果同時指出一個嚴重漏洞和一個較輕微的漏洞，比起只指出嚴重漏洞的報告更有價值，因為藍隊可以針對兩個問題同時進行修正。（不過過多品質低落的報告，可能反而會分散對關鍵問題的注意力。） 因此，不可靠的貢獻者可能在「紅隊」的工作中比在「藍隊」中更有用，但藍隊仍舊可以接受這些不太可靠的貢獻，只要紅隊的能力強到足以抓到幾乎所有藍隊成員可能犯的錯誤。此外，不可靠的紅隊貢獻只有在能夠 *補充（augment）* 可靠隊員的成果，而非 *取代（replace）* 那些成果，且經驗豐富的紅隊成員能有效過濾或篩選這些輸出時，才會產生價值。 藍隊／紅隊的區分不只限於資安，許多其他領域也會用到相同概念。舉例來說，在軟體工程中，「藍隊」可能是指撰寫新的程式碼，而「紅隊」就是品質保證（Quality Assurance）與測試該程式碼的工作。在數學中，「藍隊」可能是提出猜想或解題的想法，而「紅隊」則負責檢查論證是否存在形式錯誤，同時對藍隊的方向提出直覺上的反對意見。（可參考我關於數學論文中「局部」（local）和「全域」（global）錯誤的討論：https://terrytao.wordpress.com/advice-on-writing-papers/on-local-and-global-errors-in-mathematical-papers-and-how-to-detect-them/） 我喜歡把數學中的這兩個團隊比喻為「樂觀派（optimists）」與「悲觀派（pessimists）」；我發現最強的合作往往是當樂觀派和悲觀派人數大致相當時出現的。（根據不同合作關係，我自己有時候會扮演樂觀派，有時是悲觀派，也有時是兩者兼具。） 許多針對人工智慧（AI）工具的建議使用場景都將這類工具歸類為「藍隊」：例如在半自動或自動化方式下創造程式碼、文本、影像或數學論證，並將其用於各種應用。然而，鑒於這些工具當前的不可靠性及其黑盒性，或許更適合將它們放在「紅隊」，也就是批評藍隊人類專家所產生的成果，而非直接取代這些成果；若人工智慧要在「藍隊」扮演角色，也必須侷限於「紅隊」能捕捉並修正其錯誤的能力範圍內。這種策略不僅充分發揮了人工智慧的優勢，如廣泛的知識面與快速回饋，也減少在高度敏感場合部署未經驗證的 AI 輸出所帶來的風險。 以我個人的實驗來說，我發現 AI 工具提供的建議對我提出的文本、論證、程式碼或簡報都能帶來額外的回饋（包含這段文字）。雖然我可能只採納 AI 工具產生建議中的一部分，但其中確實有幾條是我認同且納入自己成果的。這樣的用法比起直接用 AI 自動化產出（常被宣傳的「藍隊」用途）來說，顯得較不華麗或直覺，但我覺得卻能帶來更可靠的價值。