엔지니어와 데이터의 숙명

 데이터 분석은 이제 선택이 아닌 필수입니다. 제가 이 확신을 갖게 된 결정적인 사건이 하나 있었습니다. 바로 1991년, 에어컨도 없던 실험실에서 겪었던 기립박수의 기억입니다.

오늘날 많은 이들이 인공지능과 데이터 분석을 이야기합니다. 하지만 제가 생각하는 데이터 분석의 본질은 화려한 알고리즘이 아니라, 현장의 문제를 끝까지 해결하겠다는 엔지니어의 집념에 있습니다.

그 본질을 깨달았던 것은 1991년, 제가 젊은 연구원으로서 열전지(Thermal Battery) 국산화에 매달리던 시절이었습니다. 당시 국방과학연구소(ADD) 과제를 수행하던 여러 팀 중 우리 팀은 가장 열악했습니다. 에어컨조차 없는 찜통 실험실에서 아르곤 가스를 가득 채운 챔버를 마주하며 밤을 지새웠습니다.

[그림 1] 열전지 제조를 위한 아르곤 챔버 제조 설비

다른 연구소들이 해외 논문을 인용하며 "제조 공정이 까다로워 구현이 불가능하다"는 이론적인 한계 뒤에 숨을 때, 저와 김봉규 팀장님은 오직 실험 데이터만을 믿고 수만 번의 테스트를 반복했습니다. 목표 값에 도달하지 않아 애를 태우던 밤마다 저를 버티게 한 것은, 결국 데이터 속에 답이 있다는 믿음이었습니다.

운명의 발표 날, 우리는 번지르르한 이론 대신 실제 작동하는 열전지와 그 결과가 고스란히 담긴 성능 그래프를 내놓았습니다.

[그림 2] 열전지 성능 시험 결과 그래프

정적을 깨고 터져 나온 ADD 소장님의 기립박수, 그리고 저를 묵묵히 지켜봐 주셨던 사업부장님의 환한 미소. 그 순간 저는 깨달았습니다. 엔지니어는 논문이 아니라 실체로, 추측이 아니라 데이터로 말해야 한다는 것을요.

다구찌 기법과 엔지니어의 자존심

당시 연구소장님은 '다구찌 기법(Taguchi Method)'을 입에 달고 사셨습니다. 통계적 설계 없이 무작정 반복하는 실험은 자원 낭비일 뿐이며, 다구찌 기법을 활용하지 않는 연구원은 '돌팔이'나 다름없다고 엄히 꾸짖으시곤 했지요.

그 가르침 덕분에 우리는 무모한 반복 대신, 직교배열표를 활용해 최적의 조건을 정교하게 찾아내는 훈련을 했습니다. 데이터를 어떻게 설계하고 해석하느냐에 따라 연구의 성패가 갈린다는 것을 그때 몸소 배운 것입니다.

과거의 다구찌, 현재의 파이썬

35년 전, 우리는 종이와 계산기로 다구찌 기법을 구현하며 데이터의 힘을 확인했습니다. 그리고 지금, 우리에게는 그때와는 비교할 수 없을 만큼 강력한 무기인 '파이썬'이 있습니다. 과거에 며칠이 걸리던 복잡한 통계 분석과 데이터 시각화를 이제는 단 몇 줄의 코드로 해결할 수 있는 시대가 된 것입니다.

제가 이 책에서 파이썬을 강조하는 이유도 바로 여기에 있습니다. 도구는 진화했지만, 데이터를 통해 최적의 답을 찾아내려는 엔지니어의 본질은 다구찌 기법을 강조하던 그 시절이나 지금이나 변함이 없기 때문입니다.

그로부터 35년이 지났습니다. 이제 저는 파이썬이라는 도구를 통해 그 시절 제가 밤새워 그려냈던 그래프들을 더 쉽고 정교하게 다루는 법을 이야기하려 합니다. 기술은 변했지만 본질은 같습니다. 이 책을 읽는 여러분도 도구의 화려함에 매몰되기보다, 현장의 문제를 데이터로 해결해 내는 '진짜 엔지니어'의 즐거움을 맛보시길 바랍니다.