Updated thoughts on AI risk

Noah Smith · Noahpinion · 2026년 2월 16일, 02:14 · ⏱ 18 분 소요  | Substack에서 읽기 ↗
요약
=== 요약 ===
  • 주요 AI 위험은 장기적인 물리적 위협("로봇의 부상")에서 AI의 자율적 코딩 능력("바이브 코딩")으로 인한 보다 즉각적인 소프트웨어 기반 취약점으로 이동했습니다.
  • 복잡한 작업(코딩, 바이러스학 연구)의 이러한 빠른 자동화는 극단적인 시스템 취약성을 생성합니다. 인간의 기술이 쇠퇴하고 과도한 최적화가 버퍼를 제거하여 AI 기반 생물테러 또는 중요 인프라 마비와 같은 재앙적 사건에 대한 새로운 경로를 열기 때문입니다.
요약
기사는 '바이브 코딩'(AI가 자율적으로 코드 작성)으로의 전환이 AI 주도의 재앙적 사건, 특히 AI 설계 생물 무기의 위험을 크게 증가시키며, 이 위협에 대한 정부의 더 진지한 관심을 촉구합니다. 시장에는 생물학 및 소프트웨어 자동화에서 AI 능력 발전의 이중 용도 특성을 강조하지만 직접적인 거래 아이디어를 제시하지 않습니다.
  • 저자는 AI 위험에 대한 낙관론에서 비관론으로 태도를 바꾸었는데, 이는 부분적으로 나쁜 기분이지만 AI의 실존적 위협에 대한 우려 증가도 원인.
  • 그는 LLM이 코드를 작성할 수 있다는 점(바이브 코딩)을 2023년에 놓쳐 챗봇을 넘어 자동화를 가능하게 하고 새로운 위험 시나리오를 열었음.
  • 로봇 기반 AI 인수(터미네이터 시나리오)는 물리적 제약으로 인해 여전히 먼 미래이므로 즉각적인 우려는 아님.
  • 바이브 코딩은 AI가 농업 소프트웨어를 교란하여 기근을 초래할 수 있으며, 이는 E.M. 포스터의 'The Machine Stops'의 시나리오.
  • Anthropic 연구에 따르면 AI 지원 코더는 기술 숙련도에서 17% 낮은 점수를 기록, 인간 코딩 기술이 퇴화하고 있음을 나타냄.
  • 최대 우려는 AI 생물 테러: AI가 90% 치사율의 100개 슈퍼 바이러스를 설계하고 실험실 생산을 자동화하여 멸종 가능성.
  • OpenAI의 o3는 바이러스학 문제 해결 테스트에서 43.8%를 기록한 반면 박사 수준 바이러스학자는 22.1%로, 생물학에서 AI 능력의 빠른 성장을 보여줌.
  • 저자는 생물학 연구에서 인간의 개입을 유지할 것을 권장하지만 경제적 인센티브가 경쟁력 때문에 이를 허용하지 않을 것이라고 의심.
읽는 시간 18 분
길이 18,456 자
카테고리 macro
아이디어
Noah Smith 경제학자; 전 블룸버그 오피니언 칼럼니스트
기사는 구글의 Gemini 2.5 Pro가 동일한 바이러스학 테스트에서 37.6%를 기록, 인간 전문가(22.1%)를 상회하며 생물학 분야에서 강력한 AI 성능을 입증했다고 밝힘. 이는 Alphabet의 경쟁력 있는 AI p
기사는 구글의 Gemini 2.5 Pro가 동일한 바이러스학 테스트에서 37.6%를 기록, 인간 전문가(22.1%)를 상회하며 생물학 분야에서 강력한 AI 성능을 입증했다고 밝힘. 이는 안전 우려에도 불구하고 Alphabet의 경쟁력 있는 AI 위치를 강조. 리스크: AI 능력이 오용될 경우 규제 역풍 가능성; 이중 용도 리스크 존재.
더 보기 Noahpinion

This newsletter, published February 16, 2026, features Noah Smith discussing GOOGL. 1 trade idea extracted by AI with direction and confidence scoring.

Speakers: Noah Smith  · Tickers: GOOGL