The Dark Side of AI Coding. Is it Too Dangerous?
발언자
Ejaaz Ahamadeen
— 공동 호스트, Limitless Podcast (Bankless)
Josh
— Co-host
• 아마존은 주니어 개발자가 검토되지 않은 AI 생성 코드를 제출한 후 6시간 동안 플랫폼 전체가 마비되는 대규모 장애를 겪어 수십억 달러의 손실을 입었습니다.
• 아마존은 2026년까지 AI 생성 코드 비중을 80%로 높이려던 공격적인 정책을 철회하고, 이제 AI 코드 커밋 시 인간 관리자의 승인을 의무화하여 대규모 개발 병목 현상이 발생하고 있습니다.
• 앤스로픽(Anthropic)의 클로드(Claude)는 컴퓨팅 자원 부족으로 심각한 성장통과 일일 장애를 겪고 있으며, 현재 최고의 코딩 모델로 평가받는 오픈AI의 Codex 5.4에 시장 점유율을 뺏기고 있습니다.
• 위험성에도 불구하고 AI 코딩에 대한 수요는 폭발적입니다. 노코드 플랫폼 "Lovable"은 한 달 만에 ARR(연간 반복 매출)을 3억 달러에서 4억 달러로 성장시켰습니다.
• 안드레이 카파시(Andrej Karpathy)의 오픈소스 "자동 연구(auto-research)" 프로젝트는 AI가 밤새 스스로 실험을 수행하고 코드를 개선할 수 있음을 입증했으며, 이는 막대한 컴퓨팅 자원을 필요로 하는 재귀적 자기 개선(recursive self-improvement)으로의 전환을 예고합니다.
아이디어
지난 주, 아마존의 전체 플랫폼이 6시간 동안 다운되었습니다. 아무도 쇼핑하거나 물건을 살 수 없었습니다... 이유는 주니어 개발자가 AI 생성 코드를 제출하여 전체 플랫폼을 다운시켰고, 수백만 달러의 손실을 입혔기 때문입니다. 아마존의 코드베이스 자동화에 대한 공격적인 추진은 역효과를 내어 스토어프론트와 AWS 다운타임으로 인한 직접적인 매출 손실을 초래했습니다. 인간 관리자가 AI 생성 코드를 승인하도록 요구하는 정책으로 되돌림으로써, 아마존은 이전의 자동화된 궤도에 비해 배송 속도와 제품 개발을 극적으로 늦출 심각한 인간 병목 현상을 도입했습니다. 숏. 정전으로 인한 매출 손실, 기술 부채, 엔지니어링 속도의 갑작스러운 둔화의 조합은 주식에 강력한 단기 역풍을 제시합니다. 아마존의 핵심 전자상거래 및 클라우드 사업은 매우 탄력적이며, 인간 병목 현상을 해결하기 위해 내부 자동화 테스트 도구를 신속하게 개발할 수 있습니다.
주니어 개발자들이 Amazon의 코드 베이스를 이해하지 못하면서 AI를 사용하여 코드를 자동으로 실행하고, 실제로 검토하고 이해하지 않고 제출합니다. 만약 이것이 방치되면 이와 같은 문제가 발생합니다. AI 에이전트는 인간의 검토 능력을 크게 앞지르는 속도로 코드를 생성하여 치명적인 버그와 보안 취약점을 초래합니다. 기업은 경쟁 압력으로 인해 AI 코딩 사용을 중단할 수 없으므로, 이 대규모 기계 생성 코드 유입을 모니터링하고 보호하기 위해 자동화된 사이버 보안, AppSec 및 관찰 가능성 플랫폼에 대규모 투자를 강제로 할 수밖에 없습니다. 롱. AI 생성 코드의 폭발적 증가는 기하급수적으로 더 큰 공격 표면을 만들어 기업 지출을 최고 수준의 보안 및 모니터링 공급업체로 직접 유도합니다. AI 연구소는 IDE에 깊이 통합된 완벽한 네이티브 코드 리뷰 에이전트(예: OpenAI의 Codex Review)를 성공적으로 구축하여 타사 보안 공급업체를 약화시킬 수 있습니다.
3월 31일까지 지난 6~8주 동안 매우 명확한 분화가 일어났으며, OpenAI가 최고 모델이 될 확률이 85%입니다. 현재 5.4로 환상적입니다. 모두가 코딩에 최고라는 데 만장일치로 동의한 것 같습니다. Anthropic은 일일 중단, 컴퓨팅 제한, 코드 리뷰에 높은 수수료를 부과하고 있습니다. 한편 OpenAI의 Codex 5.4는 성능에서 결정적인 리드를 잡고 저렴하거나 무료 코드 리뷰를 제공하고 있습니다. OpenAI의 주요 후원자이자 GitHub(Copilot) 소유주인 Microsoft는 사용자들이 Anthropic의 불안정한 생태계를 떠나면서 엔터프라이즈 개발자 이동의 가장 큰 몫을 차지할 것입니다. 롱. Microsoft의 개발자 생태계는 경쟁사들이 인프라와 모델 품질에서 어려움을 겪으면서 AI 코딩 시장을 독점하기에 완벽하게 위치해 있습니다. Anthropic이 긴급 컴퓨팅 자금을 확보하고 우수한 Opus 모델을 출시하거나, 오픈소스 모델이 코딩 레이어를 상품화할 수 있습니다.
그들은 약간만 잘못 주문해도 해당 GPU의 추가 비용이 성장을 훨씬 초과할 것이기 때문에 과잉 주문할 수 없습니다... 그 에피소드가 녹음된 이후로 그들은 완전히 수직 통합되었고, 그 곡선이 훨씬 더 가팔라졌으며 그들은 이를 해결할 방법을 찾아야 할 것입니다. Anthropic과 같은 프런티어 AI 연구소는 사용자 수요와 새로운 자율적 자기 개선 AI 루프에 필요한 컴퓨팅을 심각하게 과소평가했습니다. 부채를 피하기 위해 GPU를 덜 주문했기 때문에 이제 실존적인 컴퓨팅 부족에 직면했습니다. 생존하고 확장하기 위해 이들 연구소는 GPU에 대한 대규모의 예상치 못한 긴급 주문을 해야 할 것입니다. LONG. 전체 AI 산업의 병목 현상은 순수하게 컴퓨팅이며, 채택 곡선의 가파른 상승은 NVIDIA 하드웨어에 대한 지속적이고 절박한 수요를 보장합니다. TSMC의 공급망 제약으로 NVIDIA가 이러한 대규모 주문을 이행할 능력이 제한되거나, 연구소가 맞춤형 자체 실리콘으로 성공적으로 전환할 수 있습니다.
