QDM Binning App

프로젝트 도전 과제

• 복잡한 시스템 통합: DMS, MES, Salesforce CRM은 서로 다른 아키텍처, 데이터 모델, 프로토콜, 기술을 사용하여 구축되었을 가능성이 높습니다. 이러한 이질적인 시스템들을 통합된 비닝 앱으로 통합하기 위해서는 데이터 형식, 구조, 통신 프로토콜의 신중한 매핑이 필요합니다.
  

• 데이터 정확성과 보고: 데이터 무결성을 보장하여 보고되는 데이터가 추출, 변환, 로딩 과정에서 손상되거나 변경되지 않도록 하는 것이 중요합니다. 부정확한 데이터는 잘못된 근본 원인 분석과 결함 있는 프로세스 개선으로 이어질 수 있습니다.
  

• CI/CD 파이프라인: CI/CD GitLab을 활용하여 지속적 통합 및 배포(CI/CD) 파이프라인을 자동화합니다. 이러한 파이프라인은 배포 프로세스를 자동화하고 변경 사항이 실제 운영 환경에 적용되기 전에 테스트되도록 보장함으로써 여러 시스템의 통합을 관리하는 데 도움이 됩니다.

프로젝트 결과

• API 게이트웨이: AWS API Gateway와 같은 API 게이트웨이를 사용하여 기반 시스템을 추상화하고 통신을 위한 통일된 인터페이스를 제공합니다. 이는 다양한 데이터 모델, 프로토콜, 접근 제어를 관리하는 데 도움이 됩니다.
  

• 통합 인증(SSO)을 다양한 플랫폼 간의 통합 접근 관리에 활용할 수 있습니다.
  

• 데이터 암호화: 시스템 간 전송되는 데이터를 보호하기 위해 전송 중 및 저장 시 암호화를 사용합니다. 해싱 알고리즘을 사용하여 전송 과정에서 발생하는 변경을 감지하여 데이터 무결성을 유지합니다.
  

• 오류 처리 메커니즘: 데이터 추출, 변환, 로딩 중 발생하는 데이터 불일치나 실패를 감지, 기록, 경고하는 강력한 오류 처리 메커니즘을 설계합니다. 일반적인 오류에 대한 자동 수정 스크립트를 구현합니다.
  

• 실시간 모니터링: AWS CloudWatch와 같은 도구를 사용하여 데이터 파이프라인을 실시간으로 모니터링합니다. 이는 문제가 보고에 영향을 미치기 전에 감지하고 해결하는 데 도움이 됩니다.
  

• 데이터 조정: 원본 시스템과 앱 간의 데이터를 주기적으로 조정하여 보고된 데이터가 정확하고 최신 상태인지 확인합니다.
  

• 파이프라인 구성: CI/CD GitLab을 사용하여 CI/CD 파이프라인을 설정하여 빌드, 테스트, 배포 프로세스를 자동화합니다. 이는 최소한의 수동 개입으로 변경 사항이 지속적으로 통합되고 배포되도록 보장합니다.
  

• 롤백 메커니즘: 배포가 실패하거나 문제가 발생할 경우 이전의 안정적인 상태로 빠르게 복원할 수 있는 파이프라인의 롤백 메커니즘을 구현합니다.