[글로벌 AI·AX 핫뉴스 11/100] AI의 오래된 코드 읽기, 코볼 이행 평가가 묻는 업무 규칙의 보존

오래된 프로그램을 새 언어로 옮길 때 화면에 오류가 없다는 사실만으로 일이 끝나지는 않는다. 같은 입력에 같은 계산 결과가 나오는지가 거래의 신뢰와 연결되기 때문이다. 오픈AI는 10월 19일 코볼(COBOL) 등 학습용 코드와 문서가 상대적으로 적은 언어의 코딩 평가를 발표했다. 이번 소식의 핵심은 새 모델 출시가 아니라, 새로운 프로그램을 만드는 능력과 기존 동작을 보존하는 능력을 나눠 측정했다는 데 있다.

새로 만들기와 옮겨 쓰기를 다른 점수로 읽는다

공개된 MultiLangBench는 20개 언어로 SQLite 호환 데이터베이스 엔진을 구현하는 평가다. 오픈AI는 GPT-6 Astra의 평균 테스트 통과율을 87.4%로 보고했다. 비교 대상 GPT-5.6 Sol은 26.8%다. 이 수치는 정해진 테스트에서 구현이 맞게 작동한 비율이며, 실제 개발 업무의 87.4%를 자동으로 끝냈다는 뜻은 아니다.

별도 코볼 이행 평가는 기존 프로그램을 다른 언어로 옮긴 뒤 숨겨진 테스트의 관측 출력이 바이트 단위로 같은지 본다. 모든 테스트를 통과해야 성공으로 판정한다. 오픈AI가 보고한 낮은 추론 노력 조건의 GPT-6.1 Sol 성공률은 86.6%다. 두 평가의 분모와 성공 기준이 다르므로 숫자를 한 줄의 생산성 순위로 묶기는 어렵다.

공개 저장소에서 확인되는 대상은 MultiLangBench의 평가 구성과 테스트다. 코볼 이행용 숨은 테스트까지 함께 공개됐다고 볼 근거는 없다. 공개 범위를 구분하는 일은 결과를 외부에서 얼마나 재현하고 자체 업무와 대조할 수 있는지 판단하는 출발점이다.

코드에 남은 거래 규칙과 시스템의 시간

코볼은 업무 데이터 처리를 위해 만들어진 언어다. IBM의 해설은 높은 정밀도의 고정소수점 십진 연산을 중요한 특성으로 설명한다. 1959년 구성된 협의체와 1960년 첫 버전으로 거슬러 올라가는 언어의 역사는, 오래된 코드가 단순한 문법 자료가 아니라 오랜 업무 처리 방식을 담고 있음을 보여 준다.

숫자를 저장하고 계산하는 방식이 달라지면 문법적으로 올바른 코드도 업무에서는 다른 결과를 낼 수 있다. 이런 프로그램의 현대화에서는 새 언어를 썼는지와 기존 규칙을 유지했는지가 다른 질문이 된다. 문서로 충분히 설명되지 않은 규칙이 코드에 남아 있다면 읽기 쉬운 새 표현을 얻는 일과 같은 동작을 얻는 일 사이의 간격은 더 커진다.

IBM은 현대화를 언어 번역에 한정하지 않고 데이터 구조, 실행 환경, 트랜잭션 무결성과 플랫폼 통합을 포함하는 문제로 설명한다. 이는 코드 출력의 일치를 전체 시스템 전환의 완료로 볼 수 없는 이유다. 외부 시스템과 주고받는 데이터, 실제 실행 환경은 평가용 프로그램 밖에도 존재한다.

정답을 비교하는 방법과 비용의 분모

MultiLangBench 저장소의 판정 구조는 구체적이다. 초기 데이터베이스와 사용자 쿼리를 주고, 후보 구현이 바꾼 데이터베이스에 참조 SQLite의 검증 쿼리를 실행한다. 그 출력이 기대한 문자열과 정확히 맞아야 통과한다. 원래 TCL 테스트 약 5만1000개 가운데 이 형식으로 변환한 테스트는 약 2만4000개다.

저장소는 실행 비용을 고려해 기본 평가에 특정 접두사의 272개 테스트를 쓰도록 안내하고 전체 실행은 명시하도록 한다. 따라서 점수만 옮기기보다 어떤 실행 범위에서 얻었는지 살펴야 한다. 평가가 다루는 기능의 정확성과 실제 서비스의 처리 속도·보안·장기 운영 적합성도 서로 다른 판단이다. 공개된 테스트가 세밀하다는 사실이 이 모든 항목의 인증을 대신하지는 않는다.

점수는 API 비용과 테스트 통과율을 함께 기록하는 구조다. 산업적으로 의미 있는 변화는 더 많은 기능을 맞게 구현하는 능력과 그 과정에 드는 모델 사용료를 함께 비교할 수 있다는 점이다. 그러나 코드 검토, 데이터 이행, 운영 전환에 드는 비용까지 그 값에 포함됐다고 읽어서는 안 된다. 어떤 비용을 측정했는지가 절감률의 의미를 결정한다.

현재 GPT-6.1 Sol 모델 문서의 표준 텍스트 요금은 100만 토큰당 입력 2달러, 출력 10달러다. 입력이 27만2000토큰을 넘는 요청은 전체 요청의 입력·캐시 요금이 2배, 출력은 1.5배로 안내된다. 긴 코드 문맥을 다루는 일에서는 요청 길이와 출력량도 사용료에 영향을 준다. 이 요금표만으로 개별 이행 사업의 견적을 산출할 수는 없다.

한국의 API 접근과 비공개 업무 코드의 조건

오픈AI의 API 지원 국가 목록에는 한국이 포함돼 있다. 이는 국가 차원의 접근 범위를 뜻한다. 국내 기업의 특정 시스템에 이번 평가와 같은 성공률이 적용됐다는 증거나, 모든 계정에 같은 사용 한도와 기능이 주어진다는 뜻은 아니다. 프로그래밍 언어의 저자원 문제를 한국어 처리 성능과 혼동할 이유도 없다.

국내 적용을 읽는 핵심은 대상 시스템의 실제 동작이다. 공개 벤치마크는 모델을 비교하는 공통 기준을 주지만 각 조직의 업무 규칙과 연결 환경까지 대신 담아 주지는 않는다. 같은 언어로 작성됐더라도 처리하는 데이터와 오류 조건이 다르면 이행 결과를 인정할 기준도 달라진다. 공개 점수에서 출발해 개별 시스템으로 논의를 옮길 때 필요한 구분이다.

비공개 코드에는 데이터 처리 조건도 따른다. API 안내는 명시적 공유 동의가 없으면 데이터를 모델 훈련에 쓰지 않는다고 설명하지만, 기본 악용 감시 로그에 고객 콘텐츠가 포함돼 최대 30일 보관될 수 있으며 예외도 둔다. 무보관과 수정된 감시 설정은 사전 승인과 추가 요건의 대상이다. 훈련에 쓰지 않는다는 설명을 아무것도 저장하지 않는다는 약속으로 바꾸면 안 된다.

공개 평가 다음에 남는 확인의 단위

오픈AI의 평가 지침은 모델을 비교하는 벤치마크와 특정 애플리케이션을 위한 평가를 구분한다. 실제 업무의 분포를 반영하지 않는 데이터셋이나 사람의 판단과 맞추지 않은 자동 지표를 문제로 짚는다. 이번 발표를 도입 판단에 연결할 때도 이 구분이 유효하다. 공통 시험에서의 진전과 실제 업무에서 받아들일 수 있는 결과는 연결해 검토할 대상이다.

남는 쟁점은 기존 동작 가운데 무엇을 보존했다고 말할 수 있는가다. 일부 테스트의 통과, 평가용 프로그램의 완전 통과, 외부 의존성을 포함한 시스템의 운영 전환은 각각 확인 범위가 다르다. 이를 분리하면 높은 수치의 의미를 인정하면서도 그 수치가 설명하지 않는 책임을 찾을 수 있다. 이는 특정 조직의 실패를 가정하거나 새 이행 일정을 제안하는 일이 아니다.

이번 공개는 저자원 언어의 AI 코딩을 막연한 가능성에서 비교 가능한 작업으로 옮겼다는 점에서 의미가 있다. 다음 판단의 근거는 더 큰 성공률 하나보다 시험한 기능과 실패한 조건, 실제 업무와 맞닿는 검증 범위에 놓인다. 코드의 새로움보다 기존 거래가 기대한 동작을 유지했는지가 현대화의 신뢰를 가르는 기준으로 남는다.

AI가 오래된 언어를 더 잘 다루기 시작했다는 결과는 분명한 진전이다. 그 진전이 업무 시스템의 변화로 이어졌다고 말할 시점은, 새 코드의 동작과 기존 규칙의 관계를 설명할 수 있을 때다.

글로벌 AI·AX 핫뉴스 연재 모아보기 →