반도체 제조는 공정이 복잡하고 정밀도가 요구되는 산업으로, 숙련된 엔지니어의 판단과 정교한 제어작업이 필수적이다. 자사는 최근 자사가 개발한 인공지능 플랫폼 DOMM에 AI 기반 생산자동화 에이전트(MBE Run Automation) 서비스를 배포했다. 이 서비스는 기존 장비 제어 시스템에서, 분석·판단이 가능한 AI 모델과 결합되어 Fab 엔지니어의 작업을 자동화한다. 이 서비스는 생산성 향상과 비용 절감을 실현 중이며, 특히 팹 및 장비 수 증가에도 유연하게 확장 가능한 SW 아키텍처 설계로, 대규모 제조 환경에 효과적으로 적용될 수 있다. 본 문서는 이러한 기술이 실제 공정에서 어떻게 구현되고 있는지, 그리고 반도체 제조 산업의 아이브이웍스에서 AI 에이전트가 어떻게 진화하고 있는지 소개하는 실제 사례 중심의 글이다.

1. Fab 엔지니어에서 AI 시스템으로

글로벌 제조 산업은 지금 전례 없는 전환을 겪고 있다. 자동차 산업에서 휴머노이드 로봇과 스마트 팩토리가 조립 라인에 도입된 것처럼, 반도체 제조 역시 이러한 흐름 속에서 점점 더 복잡하고 정밀한 공정 영역까지 AI 기술의 적용이 확대되고 있다. 우리 회사가 전문으로 하는 에피웨이퍼 생산 공정은 반도체 기판 위에 단결정 박막을 원자 단위로 정밀 증착·성장해 LED·레이저 다이오드·RF·전력 반도체 등 차세대 소자의 성능과 신뢰성을 결정짓는 반도체의 핵심 공정이다. 우리는 공정에 대한 깊은 이해와 축적된 실무 경험을 바탕으로 자체적으로 인공지능 DOMM 플랫폼을 개발해왔다. 초기에는 데이터 분석과 공정 해석 중심의 모델링에 집중 했으나, 최근에는 엔지니어를 대신해 실제 판단과 실행을 수행할 수 있는 생산 자동화 AI 에이전트 (이하 DOMM Agent)를 개발하여 적용하였다.

2. 에피 생산의 실제 흐름을 따라가다

에피웨이퍼를 생산 즉 성장시키는 반도체 제조 공정은 초기 기판 준비부터 박막 형성, 이후의 후속 공정까지 순차적으로 누적되는 흐름을 가진다. 기판을 장비의 메인 챔버로 옮기는 로딩/언로딩 과정외에, 박막성장을 최적의 상태로 준비하는 과정 그리고 원자단위의 수준에서 결정을 쌓아올리거나, 레이어간 발생하는 스트레인을 제어하는 공정 중 어느 하나라도 문제가 발생하면 전체 제품 품질에 치명적인 영향을 줄 수 있으며, 생산성과 품질 확보에 있어 각 공정 단계의 정밀한 분석과 실시간 모니터링이 특히 중요하다. DOMM Agent 는 이러한 생산 흐름을 따라 실제 공정을 통합 제어하며, 장비의 기계적인 조작 과정인 웨이퍼 로딩과 언로딩, 챔버 상태 초기화 등을 자동으로 수행한다.

예를 들어, 웨이퍼 로딩 중 정렬 오류 발생 시 자동 중단 및 재정렬, 웨이퍼 ID 불일치 탐지, 진공 안정화 실패 시 경고 알림, 소스 셔터 이상 시 셧다운 등 다양한 상황에 실시간으로 대응한다. 공정 단계별로 수집되는 로그는 분석되어 이후 작업 태스크에 반영되고, 반복 학습을 통해 공정 최적화로 이어진다. 또한 DOMM Agent는 성장 전후의 챔버 상태, 온도 히스토리, RHEED 패턴 이력 등 주요 데이터를 실시간으로 분석하여 품질 예측에 활용한다.

3. AI 작업자, 에피웨이퍼 박막 성장과정을 더 이해하다

MBE는 전력 반도체, 고주파 소자, 양자 소자 등 차세대 소자 생산에 필수적인 고정밀 공정이지만, 고도의 전문지식과 경험을 요구한다. 이 공정에서는 원자 단위로 박막이 형성되는 표면 상태를 RHEED(Reflection High-Energy Electron Diffraction) 로 실시간 관측할 수 있는데, 우리는 이러한 RHEED 데이터가 AI 접근에 매우 결정적이며, 잠재력이 있다는 점에 주목 했고, 이를 활용한 다양한 분석 모델을 개발해 왔다. RHEED의 패턴은 박막 표면 상태를 전자빔 회절로 얻은 것으로, 역격자 공간이 투영된 스크린 상의 이미지이다. 이를 통해 결정의 성장 상태가 2D, 3D 또는 비정질(Amorphous) 구조인지뿐만 아니라, 표면의 평탄도, 결정성, 격자 간격 변화와 같은 정보까지 실시간으로 파악할 수 있어 공정 중 상태 분석에 매우 중요한 데이터로 활용된다.

예를들면, Epi Growth Analysis Model 중의 하나인 RHEED 기반의 패턴 인식 모델(Pattern Detection Model)은 실시간 개별, 상호 비교 서비스를 제공하며, 제품 개발과 생산에서 중요한 역할을 하고 있고 시점별 데이터를 분석해 박막의 상태를 평가하는 데 효과적으로 활용되고 있다. 다만, 시리즈 데이터의 복잡한 성장 과정을 고차원적으로 해석하는 데에는 한계가 있었다. 반도체 박막 성장은 기판 단계부터 끝까지 연속적이고 복잡한 과정이기 때문에, 이를 이해하고 제어하기 위해서는 보다 정교한 시계열 해석과 모델링이 필요하다. 이에 우리는 RHEED 데이터를 고차원적 임베딩 포맷인 ARHEED로 변환하고, 박막 성장의 물리적 조건과 실측 데이터를 통합적으로 이해할 수 있도록 트랜스포머 기반의 Large EPI Growth Model을 추가적으로 연구·개발하였다. 이 모델은 EPI 성장 조건(EPI Growth Condition)을 전체 시퀀스로 임베딩함으로써, AI Agent의 해석력과 판단 능력을 획기적으로 끌어올릴 수 있게 된다.

4. 엔지니어를 보완하는 AI

DOMM Agent는 단순한 반복 작업을 자동화하는 수준을 넘어, 숙련된 엔지니어의 직관과 판단을 데이터 기반하에 MBE장비의 컨트롤 PC로 직접 제어 할 수 있게 설계되었다. DOMM Space (DOMM 생산 포탈)에 스케줄을 등록하는것 만으로, 야간이나 휴일에도 작업을 수행 하며, 에피웨이퍼 성장 상황을 실시간으로 분석하고, 장비의 제어 상태 또한 인지, 판단 하여 작업을 수행한다. 결과적으로 팹 엔지니어는 반복적인 모니터링과 조정 작업에서 벗어나 고부가가치 연구 개발에 집중할 수 있게 되었고, 한 명의 엔지니어가 더 많은 장비를 동시에 관리할 수 있게 되면서, 인력 효율성과 생산 비용 측면에서도 긍정적인 효과를 기대할 수 있게 되었다.

5. 에피웨이퍼를 깊이 이해하여 여러가지 역할을 수행하는 다양한 AI 에이전트로

DOMM 플랫폼과 기반 AI 에이전트의 도입은 반도체 제조 분야에서 AI 적용의 새로운 패러다임을 제시한다. 이번에 우리는 제어 PC를 직접 운용하는 생산 자동화 AI 에이전트를 성공적으로 개발·적용하여, 공정을 깊이 이해하고 자율적으로 판단·실행하는 데 의미 있는 성과를 거두었다. 아울러, 현재 LLM 디코더 및 멀티모달 모델에 대한 연구도 활발히 진행 중이며, 향후 이들 모델을 AI 에이전트 구현에 접목함으로써, 인간 엔지니어를 능가하는 정밀도와 안정적인 품질·생산성을 더욱 강화해 나갈 예정이다. 이제는 단순히 데이터를 분석·시각화하는 AI를 넘어, 공정을 스스로 이해하고 판단하여 적절한 실행을 수행하는 역할별 AI 에이전트를 개발·운영하는 단계로 나아가고 있다. 이들 에이전트가 유기적으로 협업할 때, 반도체 제조의 정밀성과 효율성은 더욱 개선될 것이다. 이러한 실질적인 시스템과 사례는 반도체 제조 분야에서 지능형 제조 플랫폼의 발전 방향을 제시하는 중요한 이정표가 될 것이다.

Hong Kyun Noh ㅣ Artificial Intelligence Team leader & CIO at IVWorks

“데이터에서 가치를 전달합니다”