Teams

.

.

배달 사고 없는 데이터 파이프라인을 만듭니다

모디팩토리 백엔드 엔지니어 Rob 인터뷰

모디팩토리가 복잡한 PCB 부품을 순식간에 배치, 배선하는 시스템 뒤편에는, 방대한 데이터를 사용자 화면까지 안전하게 실어 나르는 든든한 백엔드 시스템이 자리하고 있습니다.

고용량 PCB 데이터를 쾌적하게 다루기 위한 아키텍처 최적화부터, 유저 대기 시간을 줄이기 위한 AWS 클라우드 인프라 확장, 그리고 AI 시대 속 엔지니어링의 본질까지. 모디팩토리의 보이지 않는 엔진을 단단하게 지탱하고 있는 Rob의 개발 이야기와 철학을 전해드립니다.


이런 분이라면 Rob의 인터뷰를 꼭 읽어보세요!

✅ 데이터 집약적인 프로덕트의 백엔드 및 인프라 설계가 고민인 개발자
✅ AI 모델과 프론트엔드 사이의 데이터 파이프라인을 매끄럽게 잇고 싶은 엔지니어
✅ AI 시대 속 백엔드 엔지니어링의 본질과 방향성을 고민하는 주니어, 학생



Part 1. 시스템을 아우르는 넓은 시선

간단한 자기소개와 함께, 현재 모디팩토리에서 담당하고 계신 업무를 소개해 주세요.

안녕하세요, Rob입니다. 백엔드 개발자로 일한지는 이제 만 5년 정도 되었습니다. 현재 모디팩토리에서는 백엔드 및 인프라 전반의 개발과 운영을 담당하고 있습니다.

학사는 정보시스템공학, 석사는 블록체인을 전공하셨는데요. 시스템 전체를 아우르는 전공 특성이 백엔드와 데브옵스를 넘나들며 인프라를 구축하는 지금의 업무에 어떤 영향을 주었나요?

대학교에서 배우는 전공 지식은 본질적인 기초에 가깝습니다. 하지만 자료구조, 데이터베이스, 디자인 패턴과 같은 탄탄한 기초 과목들을 학습했던 경험 덕분에, 다소 복잡한 시스템 아키텍처 속에서도 원칙과 일관성을 명확히 확립할 수 있었습니다.



Part 2. 데이터가 화면에 닿기까지

모디팩토리는 AI 기반 EDA 툴입니다. 백엔드/인프라를 설계할 때 속도와 안정성 측면에서 가장 특별하게 신경 쓴 기술적 도전 과제는 무엇이었나요?

백엔드와 인프라 두 가지 측면으로 나누어 말씀드릴 수 있을 것 같습니다.

먼저 백엔드 측면에서 이해를 돕기 위해 비유하자면, 모디팩토리는 고용량 리소스를 다루는 디자인 툴과 유사할 것 같습니다. 이미지 편집 툴이 수 MB에서 수십 MB에 달하는 무거운 파일을 다루듯, PCB 데이터 역시 그와 비슷한 수준의 높은 부하를 발생시키기 때문입니다. PCB 데이터 자체가 상당히 무겁기 때문에, 캐싱을 최대한 적극적으로 두어 응답 속도를 높였습니다. 또한 부하가 큰 작업은 별도의 MSA(Microservice Architecture)로 분리해 시스템 안정성을 확보했습니다.

인프라 측면에서는 리소스 소모가 큰 AI 서버 작업을 쿠버네티스 오퍼레이터 패턴(Kubernetes Operator Pattern)을 통해 안정적으로 스케줄링하고 분배하는 과정이 가장 큰 기술적 도전 과제였습니다.

AI팀이 산출한 복잡한 부품 배치 결과가 가공되어 실제 유저 화면에 실시간으로 매끄럽게 뜨기까지 백엔드에서 어떤 과정을 거치나요?

크게 세 단계로 이루어집니다.

첫째, 유저의 요청을 받아 태스크를 스케줄링한 뒤 AI 서버로 전달하는 과정.
둘째, AI 서버에서 진행률이 업데이트될 때마다 이를 실시간으로 유저에게 전달하는 과정.
셋째, 연산이 완료된 태스크를 후처리하여 최종 결과물로 가공한 뒤 유저에게 전달하는 과정입니다.

결국 AI가 연산해 낸 데이터를, 유저가 보는 화면에 시각화되도록 실어 나르는 일련의 파이프라인이라고 보시면 됩니다.

AI 모델의 결과물이 프론트엔드 화면에 도달하기까지, 백엔드 개발자로서 맡고 계신 역할을 비유하자면 어떻게 설명할 수 있을까요?

모디팩토리의 배달 사고를 막기 위해 노력하는 Rob

모디팩토리의 배달 사고를 막기 위해 노력하는 Rob


개발팀 내부에서 우스갯소리로 제 역할을 배달 포지션으로 비유하곤 합니다. AI가 ‘식당 사장님’, 프론트엔드가 ‘손님’이라면, 저는 주문 플랫폼 운영과 배달 서비스를 제공하는 셈이죠.

실제로 발생하는 상황도 비슷합니다. 손님(프론트엔드)은 주문을 정상적으로 넣었고 사장님(AI)은 음식을 제대로 만들어 보냈는데, 도중에 “왜 결과가 안 오냐”거나 “이상한 데이터가 왔다”는 식이에요.

'프로젝트가 원활하게 돌아가게 만드는 것'이 Rob의 미션이라고 들었습니다. 모디팩토리의 모니터링 체계와 서버 상태를 판단할 때 가장 예민하게 지켜보는 핵심 지표는 무엇인가요?

아무래도 리소스 사용량이 많은 AI 서버 쪽을 중점적으로 모니터링하고 있습니다. 사전 측정을 거쳐 적정 수준으로 리소스를 분배해 두었지만, 예기치 못한 아웃라이어(이상치)는 언제든 발생할 수 있으니까요. 그래서 각 서버당 지정된 가용 RAM을 초과하는지 여부를 가장 핵심적인 지표로 지켜보고 있습니다.

현재 전반적인 알림 시스템 개발도 담당하고 계신데요. 알림 시스템이 모디팩토리 내에서 하는 역할과 함께, 이상 징후를 선제적으로 감지해 문제 발생을 막았던 사례가 있다면 들려주세요.

대부분의 장애는 자동으로 복구되도록 인프라를 구성해 두었습니다만, 간혹 자동화가 동작하지 않는 예외 상황이 발생하곤 합니다.

예를 들어, 릴리즈 환경에서 사용 중인 메시지 큐(Message Queue)의 헬스 체크에 이상이 감지되면 즉시 메신저로 알림이 오도록 연동해 두었는데요. 실제로 이 알림 덕분에 메시지 큐 처리가 비정상 작동하는 상황을 조기에 감지하고 신속하게 대응해 문제를 해결했던 사례가 있습니다.



Part 3. 로드맵과 전하는 이야기

앞서 Joe의 인터뷰에서 밝힌 것과 같이, 모디팩토리는 기존 EDA 확장 기능을 넘어 독자적인 자체 에디터 등으로 확장해 나가는 로드맵을 갖고 있습니다. 서비스 성장에 발맞추어 인프라/백엔드 차원에서 준비 중인 다음 단계의 과제는 무엇인가요?

현재 온프레미스에서 가동 중이던 AI 서버 환경을 AWS 클라우드로 전환하는 작업을 진행하고 있습니다.

기존 온프레미스 환경은 노드가 1대뿐이라 처리 용량이 초과되면 사용자가 계속 대기해야 하는 한계가 있었는데요. AWS로 이전하면서 가용 노드를 최대 8대까지 확장할 수 있도록 구성했습니다. 물론 8대가 모두 소진되면 대기가 발생할 수 있겠지만, 처리 가능한 용량 자체가 크게 늘어난 만큼 유저의 대기 시간을 대폭 단축할 수 있게 됩니다. 향후 트래픽 증가에 유연하게 대응할 수 있도록 동적 스케일링이 가능한 구조를 구축 중이며, 안정적인 이전을 위해 지속적인 검증과 테스트를 거치고 있습니다.

아울러 백엔드 측면에서도 에디팅 등 신규 기능 확장에 발맞추어, 향후 지속적인 기능 추가와 업데이트에 유연하게 대응할 수 있는 구조를 설계 및 적용하고 있습니다.

Rob이 생각하는 ‘좋은 백엔드/인프라’란 무엇인가요?

모디팩토리 백엔드 엔지니어 Rob

모디팩토리 백엔드 엔지니어 Rob


‘좋은 백엔드/인프라’라는 게 정해져 있다고 생각하진 않습니다. 개발 트렌드는 매우 빠르게 변하고 있어서, 제가 처음 커리어를 시작했던 2021년과 비교해도 기조가 크게 달라졌습니다.

또한 도메인이나 비즈니스 상황에 따라 다른 환경에서는 오답인 방식이 이곳에서는 정답이 되기도 합니다. 끊임없이 변화하는 소용돌이 속에서 서비스의 미래와 확장성을 최대한 고려하며 설계해 나가는 것이 중요하다고 생각합니다.

모디팩토리와 같은 프로덕트의 백엔드 개발자를 지망하는 주니어 개발자, 학생들에게 조언 한 말씀 부탁드립니다.

AI가 코딩을 돕는 시대가 되었지만, 여전히 사람만이 해낼 수 있는 영역이 분명히 존재한다고 생각합니다. 엔지니어링의 기본 본질에 충실하면서, 도메인과 사람들 간의 유기적인 컨텍스트를 시스템에 잘 녹여내는 역량이야말로 앞으로 개발자가 지향해야 할 중요한 방향이라고 말씀드리고 싶습니다.


🖊 에디터 코멘트

AI 기술이 사용자에게 닿기 위해서는, 보이지 않는 곳에서 데이터를 안전하게 실어 나르는 탄탄한 백엔드와 인프라가 필요합니다. 이번 인터뷰에서는 사용자가 오롯이 설계에만 몰입할 수 있도록 묵묵히 시스템을 지탱하는 Rob의 엔지니어링 철학을 엿볼 수 있었습니다.

기술의 본질에 집중하며 든든한 파이프라인을 구축해 나가는 모든 엔지니어 분들께 좋은 영감이 되기를 바랍니다.


👉 지금 바로 모디팩토리를 무료로 시작해 보세요

Socials
Legal

COPYRIGHT 2024 LUXROBO ALL RIGHT RESERVED

Socials
Legal

COPYRIGHT 2024 LUXROBO ALL RIGHT RESERVED

Socials
Legal

COPYRIGHT 2024 LUXROBO ALL RIGHT RESERVED