무인매장 공간 인식

Situation

상황

별도 depth sensor를 추가하지 않고 한 장의 RGB 이미지에서 객체 영역과 상대적인 깊이 정보를 함께 확인할 수 있는 재현 가능한 실험 흐름이 필요했습니다.

Task

서로 다른 입력과 출력을 가진 DepthPro와 LangSAM을 2단계 파이프라인으로 연결하고, 같은 입력으로 결과를 반복 확인할 수 있는 실행 환경을 만드는 것이 과제였습니다.

Action

1단계에서 DepthPro로 RGB 이미지의 depth map을 생성하도록 구성했습니다.
2단계에서 LangSAM의 텍스트 프롬프트 기반 segmentation mask를 만들고 depth 결과와 결합했습니다.
입력 이미지, segmentation 결과, depth 데이터를 이어 주는 pipeline script와 Docker Compose 실행 환경을 정리했습니다.
처리 전후 이미지를 저장해 파이프라인 결과를 시각적으로 비교할 수 있게 했습니다.

Result

단일 RGB 입력에서 depth 추정과 텍스트 기반 segmentation을 순서대로 실행하는 구조를 구성했습니다.

이미지 보기DepthPro depth map과 LangSAM segmentation을 결합하는 2단계 구조

같은 입력 이미지의 처리 전후 결과를 저장해 공간 분석 흐름을 확인할 수 있게 했습니다.

이미지 보기파이프라인 처리 전 단일 RGB 입력 이미지

이미지 보기DepthPro와 LangSAM 처리 후 저장한 결과 이미지

Evidence story

각 자료를 설계 판단, 실행, 확인 결과의 흐름으로 연결했습니다.

DepthPro의 depth map과 LangSAM의 텍스트 기반 segmentation을 순서대로 연결했습니다.

단일 RGB 입력 이미지와 파이프라인 처리 결과를 같은 흐름에서 비교했습니다.

입력과 분석 결과를 웹 화면에서 확인할 수 있도록 구성했습니다.