摘要：4月2日，蘭德公司發布報告《新興技術和風險分析：人工智能和關鍵基礎設施》，重點關注了未來十年關鍵基礎設施中人工智能應用的技術可用性、科學技術成熟程度、市場需求、政策法律、道德和監管障礙、風險等。報告將人工智能劃分為三個類別：狹義人工智能（ANI）、通用人工智能和超人工智能。報告預測，未來十年人工智能很可能仍然只實現了狹義人工智能；人工智能科學技術的成熟度將取決于幾個關鍵技術領域，包括高性能計算、先進半導體開發制造、機器人、機器學習、自然語言處理等。

該報告重點關注人工智能，尤其是與關鍵基礎設施相關的人工智能。作者借鑒了有關智慧城市的文獻，在評估技術時考慮了四個屬性：技術可用性、風險和情景。本分析中考慮的風險和情景與影響關鍵基礎設施的人工智能使用有關。作者比較了短期（最多三年）、中期（三至五年）和長期（五至十年）三個時期的這四個屬性，以評估人工智能關鍵基礎設施的可用性和相關風險。

技術可用性

人工智能領域包含眾多技術，這些技術一旦問世，就會被納入人工智能系統。因此，人工智能的進步基于幾個基本技術領域的關鍵依賴關系，包括高性能計算、先進半導體開發和制造、機器人技術機器學習、NLP和數據科學（包括關鍵數據的積累和保護）。具體的應用也會根據各自的時間表走向成熟。ContextualAI的一項分析表明，手寫分析、語音識別、圖像識別、閱讀理解和語言理解都已經超越了人類的表現，而其他任務，如常識完成、小學數學和代碼生成則達到了大約85%到90%。

人工智能系統的開發、部署、發現不足和其他潛在用途，以及快速更新，這樣的循環可能是人工智能的一個特點。不足為奇的是，這種方法在互聯網、社交媒體和現在的人工智能等許多技術中都很常見。

對于關鍵基礎設施而言，這意味著依賴于大數據、網絡、高性能計算和物聯網的子系統將在人們完全了解其局限性之前就被納入其中：這也意味著如果人工智能系統出現災難性故障，尤其是在關鍵基礎設施領域，其風險可能會非常高。

要應對這些挑戰，就必須對技術和適當的緩解措施進行編碼開發。必須清楚地了解人工智能平臺的價值和目標，并制定限制條件，防止偏離人類的期望和規范。報告還認為，必須更好地理解無監督學習的使用；隨著人工智能系統中允許出現無監督學習，系統的追蹤能力將變得更具挑戰性。

開發人工智能，尤其是在早期階段，需要獲得關鍵技術，而這些技術目前受到資源可用性的限制。正如《華盛頓郵報》2023年10月的一篇報道所指出的：“要以任何有意義的規模構建人工智能，任何開發人員都必須具備以下核心技術，對資源的依賴主要集中在少數幾家公司”。

開發人工智能技術所需的成本和資源主要體現在四個方面：專用設備（如半導體和高性能計算機）、數據、基礎設施和人力資本。半導體是一個關鍵組成部分。高性能計算也供不應求，但對于處理超大數據量仍是必不可少的，而這些數據量是獲得對正在開發的人工智能系統的信心所必需的。

數據是人工智能的重要組成部分，隨著用于開發和訓練模型的數據量的增加，人們對人工智能模型的信心也會增加。

開發人工智能系統的成本和復雜性相對較高，而與人工智能系統互動的成本和易用性相對較低，兩者之間存在資源對立。OpenAI的首席執行官表示，“GPT-4的訓練成本超過1億美元”，但該產品可在線使用，根據所要執行的任務，只需支付很少費用或無需支付任何費用。

報告評估認為，這些趨勢可能會繼續下去。開發復雜的人工智能系統將超出可能尋求開發新人工智能系統的大多數用戶的能力，但將人工智能系統用于各種合法和非法目的可能會變得更加普遍。政策、法律、道德和監管方面的障礙可能會對人工智能技術的應用構成重大障礙。

風險評估

人工智能對關鍵基礎設施的威脅可能來自幾個方面。人工智能可用于開發和監控關鍵基礎設施，這可在優化設計、提高效率和確保安全方面帶來好處。然而，如果在設計基礎設施時使用的輸入信息被不當使用或篡改，以這種方式使用人工智能也有可能造成威脅。

人工智能為攻擊者和防御者都帶來了進步。微軟公司的一份報告指出：“人工智能技術可以自動解讀攻擊過程中產生的信號，有效確定威脅事件的優先級，并做出適應性反應，以應對敵對行動的速度和規模。”

物聯網功能的不斷融入增加了網絡攻擊的脆弱性。正如一個消息來源所指出的，“人工智能通過其吸收使用模式數據和提供預期需求精確計算的能力對電網系統產生影響，使其成為電網管理的一項主要技術”。攻擊面的擴大也會產生其他潛在的漏洞。人工智能系統可用于進行網絡偵察、制定網絡滲透計劃，甚至進行攻擊，所有這些都無需人工干預。

內部威脅是另一類活動，可用于在人工智能從開發到使用技術的多個階段攻擊關鍵基礎設施。在開發人工智能系統的過程中，內部人員可能會制造不安全因素和后門，從而成為被利用的目標。有監督的數據或無監督學習可能在開發階段被摻雜，導致基礎或變壓器模型的訓練不正確。這可能會導致產生錯誤的傳感器信息信號，甚至導致操作員采取不必要或危險的行動。

人工智能系統的自主程度也可能構成威脅。例如，在智能電網中，工業控制系統可能會提醒操作員系統出現故障，并要求采取行動。人類操作員甚至人工智能—人類操作員團隊可能會進一步詢問系統，以驗證故障信號，而人工智能操作員則可以根據不正確的訓練決定立即采取行動。這兩種情況都可能產生問題。

隨著人工智能的范圍和規模越來越大，用途越來越普遍，可能會出現更多的問題。例如，能夠規劃和控制智能城市甚至關鍵基礎設施的人工智能平臺可能被用來制定針對這些關鍵基礎設施的攻擊計劃。人工智能還被考慮用于在開發可用于攻擊重要基礎設施或人口的先進生物和化學武器方面。

復雜性也令人擔憂。報告評估認為，隨著人工智能系統變得越來越復雜并接近AGI，人類將越來越難以理解和評估人工智能進程的結果。

因此，在減少人工智能脆弱性的過程中，必須遵守關于人工智能技術的五項原則，即負責任、公平、可追溯、可靠和可治理。此外，使用廣義人工智能網絡（GAN）、人工智能模型的驗證和核實協議，以及減少與促進人工智能開發和使用的技術相關的漏洞也至關重要。

主要發現

（1）人工智能是一種變革性技術，很可能會廣泛應用于整個社會，包括關鍵基礎設施。

（2）人工智能可能會受到許多與其他信息時代技術相同的因素的影響，例如網絡安全、保護知識產權、確保關鍵數據保護以及保護專有方法和流程。

（3）人工智能領域包含許多技術，一旦可用，這些技術將被納入人工智能系統中。因此，人工智能科學技術的成熟度將取決于幾個關鍵技術領域，包括高性能計算、先進半導體開發和制造、機器人、機器學習、自然語言處理以及積累和保護關鍵技術的能力。

（4）為了將人工智能置于當前的成熟狀態，劃分三個人工智能類別是有用的：狹義人工智能（ANI）、通用人工智能和超人工智能。到本次分析的十年結束時，該技術很可能仍然只實現了ANI。

（5）人工智能將為關鍵基礎設施和專用智能城市的最終發展帶來機遇和挑戰。