먼저 하나 고백하겠습니다. 'Lights Out Testing'이라는 용어를 제가 만든 것은 아닙니다. 이 표현은 EPI-USE Labs가 Worksoft와 처음 파트너십을 맺었을 당시 만났던 여러 사람들이 사용하던 용어였습니다. 이 표현은 제게 큰 인상을 남겼고, 오늘날 우리가 구현할 수 있게 된 모습을 가장 잘 설명해 주는 말이라고 생각했습니다. 그래서 지금도 계속 이 표현을 사용하고 있습니다.
요약:
'Lights Out Testing'은 SAP를 운영하는 기업이 지향해야 할 테스트 자동화의 목표입니다. S/4HANA 마이그레이션은 깊이 있는 SAP 전문성을 요구하는 동시에 테스트 데이터 자동화의 한계를 드러냅니다. Worksoft Capture와 Worksoft Certify는 테스트 자동화 스크립트를 확장할 수 있도록 지원하며, Object Sync, Object Extractor, Data Locate를 비롯한 EPI-USE Labs의 Data Sync Manager™(DSM) Suite는 현실적인 회귀 테스트에 필요한 기준 데이터(Standing Data)와 Recordset을 제공합니다. 적절한 솔루션을 함께 활용하면 일상적인 테스트를 더욱 안정적이고 효율적으로 수행할 수 있으며, AI 기반 변화에도 대응할 수 있는 핵심 기반을 마련할 수 있습니다.
먼저 하나 고백하겠습니다. 'Lights Out Testing'이라는 용어를 제가 만든 것은 아닙니다. 이 표현은 EPI-USE Labs가 Worksoft와 처음 파트너십을 맺었을 당시 만났던 여러 사람들이 사용하던 용어였습니다. 이 표현은 제게 큰 인상을 남겼고, 오늘날 우리가 구현할 수 있게 된 모습을 가장 잘 설명해 주는 말이라고 생각했습니다. 그래서 지금도 계속 이 표현을 사용하고 있습니다.
'Lights Out Testing'은 Data Sync Manager (DSM) Suite의 일부인 테스트 데이터 관리 솔루션과 Worksoft의 선도적인 테스트 자동화 솔루션을 통합하면서 우리가 지향해 온 핵심 목표였습니다. 그리고 지금은 이것이 SAP를 운영하는 많은 기업들이 궁극적으로 도달하고자 하는 목표이기도 하다는 것을 깨달았습니다. 하지만 모든 목적지가 그렇듯, 그곳에 도달하기 위해서는 하나의 여정이 필요합니다.
지난 18개월 동안 많은 고객과 이야기를 나누면서, SAP 환경을 운영하는 기업들이 공통적으로 겪고 있는 몇 가지 당면 과제를 확인할 수 있었습니다. 그중에서도 S/4HANA 마이그레이션(또는 이를 최대한 늦추려는 움직임)은 많은 대규모 프로젝트의 핵심 동인이 되고 있으며, 깊이 있는 SAP 전문성을 갖춘 인력의 업무 부담을 크게 늘리고 있습니다. 이와 함께 "누가 이러한 변경 사항을 테스트할 것인가?", "이를 수행할 역량과 시간을 갖춘 사람은 누구인가?"와 같은 질문이 끊임없이 제기되고 있습니다.
이 과정에서 또 하나의 현실이 드러났습니다. 경영진이 기대했던 테스트 자동화 수준과 실제 현장에서 운영되고 있는 수준 사이에는 상당한 격차가 존재했던 것입니다. 많은 기업이 테스트 자동화 기술에 투자했지만, 이를 전 세계 모든 지역과 사업 부문에 걸쳐 완전히 도입하지는 못했습니다. 이유는 다양하지만, 결국에는 자동화 테스트에 대한 신뢰 부족으로 이어지는 경우가 많습니다. 운영 시스템에 잘못된 변경 사항이 반영되어 문제가 발생했을 때 이를 수습해야 하는 담당자들은, 필요한 수준의 테스트 범위를 구축하기 위해 이미 빠듯한 일정에서 상당한 시간을 추가로 할애해야 하는 자동화 솔루션이라면, 그보다는 직접 수동으로 확인하는 방식을 더 신뢰하는 경향이 있습니다.
이에 대한 경영진의 답은 명확합니다. "S/4HANA 마이그레이션을 계기로 테스트 자동화의 공백을 해소하고, 자동화 테스트의 적용 범위를 확대합시다. 그리고 S/4HANA 환경에서는 자동화 테스트 스크립트가 완전히 구축된 상태에서 새로운 운영을 시작합시다."
이미 테스트 자동화 솔루션을 도입한 기업이라 하더라도, 경영진의 요구에 부응하려면 짧은 기간 안에 테스트 스크립트의 적용 범위를 확대하고 품질을 높여야 합니다.
저는 Worksoft Certify를 처음 접했을 때부터, 이 솔루션이 SAP 자동화 과정에서 제가 겪었던 어려움을 직접 경험한 사람들이 만들었다는 느낌을 받았습니다. 꽤 오래전 이야기지만, 저는 레거시 시스템에서 SAP로 데이터를 마이그레이션하는 과정에서 LSMW와 eCATT를 사용해 레코딩 작업을 수행하며 많은 어려움을 겪었습니다. 당시 제가 경험했던 문제들은 Worksoft에서 매우 잘 해결되어 있었고, 작업 단계를 마치 레고 블록처럼 재사용해 다른 스크립트에 복사하고 적용할 수 있다는 점은 매우 강력한 기능이었습니다. 저는 기존에 만들어진 Sales Order 스크립트를 하나 받아 테스트해 보았습니다. 데모 데이터를 사용하던 중 문제가 발생했지만, Live Touch 기능을 이용해 중간에 버튼 클릭 단계를 하나 추가하는 것만으로 빠르게 해결할 수 있었습니다. 별도의 교육을 받은 적도 없었고, 설명서를 읽어보지도 않았는데도 말입니다. (네, 저도 압니다. 저에게 이런 일이 일어날 줄 누가 알았겠어요!)
하지만 이것은 어디까지나 솔루션의 기술적인 백엔드에 해당하는 이야기입니다. 진정한 게임 체인저는 Worksoft Capture입니다. Worksoft Capture는 사용자가 평소와 동일한 방식으로 업무를 수행하기만 하면 그 과정을 추적하고 문서화하며, 테스트 스크립트까지 자동으로 생성합니다. S/4HANA로 전환하는 과정에서는 이러한 기능이 UAT(User Acceptance Testing)의 일부로 활용될 수도 있습니다. 즉, 기존에 SAP GUI에서 수행하던 업무 프로세스를 Fiori 환경에서 그대로 수행하는 것만으로도 프로세스가 기록됩니다. 이를 통해 프로세스 표준화와 문서화는 물론 테스트 자동화 스크립트까지 한 번에 확보할 수 있습니다. 무엇보다 중요한 점은 시스템 변경을 설계한 전문가들이 아직 프로젝트에 참여하고 있는 시점에서 이러한 작업을 수행할 수 있다는 것입니다. 덕분에 올바른 방식으로 프로세스를 설계하고 검증할 수 있습니다. 이러한 기회는 SAP 시스템의 생애주기에서 한 번뿐일 수도 있는 매우 특별한 기회입니다. 생각해 보십시오. 운영 시스템에서 발생하는 수많은 장애는 사용자가 시스템이 의도한 방식과 조금 다르게 업무를 수행하면서 발생하는 경우가 많습니다. 그리고 테스트 과정에서는 '원래 수행했어야 하는 방식'만 검증했기 때문에, 이러한 문제를 놓치는 경우도 적지 않습니다.
아주 오래전부터 SAP 테스트 데이터는 항상 운영 시스템에서 시작되었습니다. 시스템 백업 및 복원, Shadow Copy, 그리고 빠지지 않고 수행해야 했던 BDLS까지. SAP는 기본적으로도 매우 복잡한 시스템이며, 여기에SAP 권장 표준 프로세스(베스트 프랙티스)만으로는 해결되지 않는 고객별 업무 프로세스와 여러 모듈 간의 긴밀한 연계가 더해집니다. 이러한 이유로 운영 시스템과 무관한 테스트 데이터를 새롭게 만들어 사용하는 것은 사실상 불가능에 가까운 일이었습니다.
DSM은 지난 20년 동안 운영 시스템의 데이터를 테스트, 교육 등 다양한 목적으로 비운영 시스템에 복제해 왔습니다. 테스트 자동화 관점에서 보면 여기에는 두 가지 요소가 있습니다. 첫 번째는 기준 데이터(Standing Data)입니다. 이는 주로 마스터 데이터의 예시로 구성되며, 항상 최신 상태를 유지하고 운영 시스템의 데이터와 정확하게 일치해야 합니다. 예를 들어 최근 새로운 플랜트에 확장된 자재 마스터(Material Master), 새로운 공급 업체나 고객 정보, 가격 조건(Pricing Conditions) 등 운영 시스템에만 존재하는 최신 데이터가 이에 해당합니다.
이 영역은 Object Sync가 담당하며, 이후 설명하겠지만 테스트 자동화 프로세스와도 통합할 수 있습니다. 하지만 이제 더욱 중요한 것은 두 번째 요소입니다. Object Extractor는 Object Sync와 동일한 방식으로 데이터를 선택하고 관련 데이터를 함께 찾아내지만, 데이터를 비운영 시스템으로 복제하는 대신 일반적으로 데이터의 일부 또는 전체를 파일로 추출합니다. 출력 형식으로는 기본적으로 CSV, XML, JSON을 지원하며, 사용자 정의 포맷터(Custom Formatter)를 통해 사실상 무한한 형식으로 확장할 수 있습니다. Worksoft를 위해서는 Worksoft API와 직접 연동하여 테스트 스크립트에서 사용하는 Layout에 맞춰 Recordset을 자동으로 생성하는 포맷터도 개발했습니다.
생성된 레코드는 DSM 실행 번호(Run Number)를 기준으로 저장됩니다. 예를 들어 Sales Order 테스트 스크립트를 매일 실행하면서 당일 생성된 특정 유형의 주문을 수집한다면, 이러한 Recordset은 실행할 때마다 계속 누적됩니다. 시간이 지나면 실제 운영 데이터를 기반으로 한 방대한 테스트 데이터 라이브러리가 구축되는 것입니다. 프로젝트 진행 중 특정 프로세스가 크게 변경되는 경우도 있을 것입니다. 이때 운영 시스템에서 해당 프로세스와 관련된 데이터가 많이 발생했던 시점을 찾아, 당시의 Recordset을 Certify로 다시 불러오면 회귀 테스트(Regression Testing)에 활용할 수 있는 현실적인 테스트 데이터를 대량으로 확보할 수 있습니다. 또한 전체 DSM 라이선스를 사용하는 고객이라면 Object Extractor에서 테스트에 필요한 특정 트랜잭션을 직접 선택하여 데이터를 추출한 후 Certify로 전송할 수 있습니다. 이후 API를 통해 방금 생성된 Recordset을 대상으로 테스트 스크립트를 직접 실행할 수 있으며, 이러한 과정을 반복하면서 실제 운영 데이터를 기반으로 한 테스트 데이터 라이브러리를 더욱 풍부하게 구축할 수 있습니다.
이처럼 날짜별로 색인할 수 있는 맞춤형의 방대하고 현실적인 테스트 데이터 라이브러리를 구축할 수 있다는 것은 매우 큰 가치가 있습니다. 이는 테스트 자동화의 정확성과 재현성을 높이는 핵심 기반이 되기 때문입니다.
수동 테스트를 위해 정확한 테스트 데이터를 확보하는 것도 중요하지만, 매일 운영 시스템의 핵심 트랜잭션을 테스트 시스템에서 실행해 최신 구성(Configuration) 변경 사항을 검증하고 있다는 사실을 비즈니스 부서에 확신시켜 줄 수 있다면 더욱 큰 가치를 제공합니다. Workforce Software의 Continuous Test Manager를 활용하면 Data Connect를 비교적 빠르게 구축할 수 있으며, 매일 자동으로 테스트를 수행하고 문제가 발생한 경우에만 사용자에게 알림을 보내도록 구성할 수 있습니다. 시간이 지남에 따라 다음 두 가지 측면을 지속적으로 확장해 나갈 수 있습니다.
이와 같은 오류가 발생하면 원인이 되는 마스터 데이터 유형을 해당 프로세스의 Object Sync 단계에 추가할 수 있습니다. 예를 들어 이 사례에서는 주문 품목에 포함된 자재(Material)를 먼저 Object Sync를 통해 운영 시스템에서 테스트 시스템으로 복사한 후 자동화 테스트를 시작합니다. 이러한 항목을 하나씩 추가할수록 테스트는 더욱 견고해지고, 이미 많은 업무를 수행하고 있는 SAP 운영 지원팀의 부담도 줄어들게 됩니다.
또한 새로운 Semantik 플랫폼을 통해서는 Salesforce와 같은 비SAP 엔터프라이즈 시스템을 포함한 더욱 폭넓은 SAP 클라우드 서비스까지 테스트 자동화를 위한 데이터 자동화(Automation of Data for Test Automation, ADTA) 기능을 제공할 수 있게 될 것입니다. 이를 통해 중요한 데이터 객체가 생성되거나 갱신되는 비SAP 시스템까지 포함한 Best-of-Breed 환경에서도 프로세스와 트랜잭션 전반에 걸친 End-to-End Lights Out Testing을 구현할 수 있습니다.
거의 성공할 뻔했습니다. 2026년이 되었는데도 AI를 한 번도 언급하지 않고 블로그를 끝낼 수 있을 것 같았거든요.
짧게 말씀드리겠습니다. AI의 영향으로 기업이 시스템 변경을 요구하고 실제로 변경을 수행하는 속도는 거의 기하급수적으로 빨라지고 있습니다. 이전보다 훨씬 더 많은 변경 사항이 쏟아지고 있으며, 여기에 S/4HANA 프로젝트 대기 물량까지 더해지고 있습니다. 이러한 변화에 대응하기 위해서는 테스트 스크립트와 테스트 데이터라는 핵심 기반이 반드시 갖춰져 있어야 합니다. 그래야 AI 기반의 변화를 효과적으로 지원할 수 있을 뿐만 아니라, AI가 테스트를 주도하는 환경도 구현할 수 있습니다.