이벤트 카메라 융합 데이터셋 설계

1. 데이터셋 제작 계획

장시간 녹화 환경을 개선하고 누리호 발사를 DVS·CIS로 촬영한 경험을 바탕으로, 이번에는 차량 주행 데이터를 수집하려 한다. 주행 중에는 차량과 주변 물체의 움직임, 조명 변화가 함께 나타난다. 이벤트와 RGB 영상에 LiDAR 거리 정보, GNSS 위치와 IMU 운동 정보를 더해 같은 장면을 여러 관점에서 분석할 수 있는 구성을 잡았다. 장비 제작부터 촬영·후처리, 데이터 공개와 논문 작성까지 다음 일곱 단계로 나누었다.

1. 01

   프레임 설계·구매

   기존 카메라·LiDAR를 중심으로 센서 배치를 정하고, GNSS·IMU와 프레임 부품을 비교·선정한다. 3D 모델과 가공 도면을 준비해 표준 부품 주문과 장착판 제작으로 연결한다.

2. 02

   시스템 점검·조립

   입고 부품의 상태와 센서별 통신을 확인하고 프레임에 가조립한다. 전체 센서를 함께 켠 상태에서 전원, 데이터 전송, 지속 저장 속도와 용량을 점검한다.

3. 03

   캘리브레이션·동기화

   카메라 내부 보정과 센서 간 외부 보정을 수행하고, PPS와 외부 트리거를 기준으로 기록 시각을 맞춘다. 시험 촬영으로 연결 상태를 확인한 뒤 차량 고정부와 루프랙 구성을 확정·발주한다.

4. 04

   주행 데이터 촬영

   도심·교외·야간·역광과 터널 구간을 포함한 촬영 경로를 정한다. 구간별 기록 시간과 반복 수에 맞춰 촬영하고, 촬영 조건을 기록하면서 원본을 백업한다.

5. 05

   후처리·데이터 정리

   타임스탬프와 누락 여부를 점검하고 센서 정합·보정을 적용한다. 얼굴과 번호판을 비식별 처리하고, 장면별 시퀀스에 보정값과 촬영 조건을 함께 정리한다.

6. 06

   홈페이지·공개 환경 구축

   NRV 데이터셋 전용 홈페이지에 망원경·주행 데이터의 구성과 촬영 조건을 설명하고 공개 저장소의 다운로드를 연결한다. 디코딩·동기 재생·변환 프로그램, 설치 안내와 샘플 데이터도 함께 준비한다.

7. 07

   데이터 공개·평가·논문 작성

   정리한 차량 데이터셋을 공개하고 베이스라인을 실행해 성능을 평가한다. 수집 장치와 촬영 조건, 데이터 특성 및 평가 결과를 정리해 논문 작성과 제출로 이어간다.

공개할 주행 데이터의 목표 구성은 74개 시퀀스, 총 90분이다. 홈페이지는 파일을 내려받는 창구뿐 아니라 센서 구성과 보정값, 사용 방법을 함께 확인하는 공간으로 만들 계획이다. 수집과 공개 도구 준비, 평가·논문 작성을 포함한 전체 일정은 2027년 1월까지로 잡았다.

먼저 진행한 것은 센서 배치를 고정할 프레임과 추가 장비의 선정이다. 좌우 카메라와 각 세트의 DVS·CIS를 함께 촬영하고, LiDAR와 위치·자세 기록을 같은 시간 기준으로 대조할 수 있도록 설계했다. 아래에서는 그 조건을 프레임과 제작 도면으로 구체화한 과정부터 설명한다.

2. 센서 배치와 프레임 설계

사용할 센서 구성을 정한 뒤에는 실제로 어디에 고정하고 어떻게 연결할지 3D 모델로 구체화했다. 프로파일 규격과 보강판, 브래킷, 체결 부품도 이 배치에 맞춰 직접 선정했다. 프레임은 약 1,100 × 800 mm의 사각 구조로 잡고, 기본 골격은 3030 알루미늄 프로파일로 구성했다. 전면 카메라 장착부에는 3060 프로파일을 눕혀 사용했다. 좌우 카메라를 같은 전면 부재에 고정하면서 장착 위치를 조정할 수 있도록 한 구성이다.

프레임 평면

1,100 × 800 mm

전면에서 지지부까지

500 mm

LiDAR 지지 기둥

높이 300 mm

LiDAR는 전면 카메라보다 뒤쪽의 높은 위치에 배치했다. 하부 가로보 두 개 위에 길이 300 mm의 3030 기둥 네 개를 세우고, 위쪽 원형판으로 LiDAR를 받치는 형태다. 기둥 하나에만 하중을 집중시키지 않도록 지지점을 나누고, 기둥 하부에는 직각 브래킷을 추가했다. 프레임 모서리도 위아래 보강판으로 연결해 조립 구조를 잡았다.

GNSS 안테나와 G-mouse 수신기는 하부 좌우에, Fusion 모듈 케이스는 전면 중앙에 배치했다. 모델에서는 센서 외형만 배치하는 대신 브래킷과 체결 부품까지 넣어 조립 순서와 장착 공간을 함께 검토했다. 센서를 하나 옮기면 케이블 경로와 주변 부품의 공간도 달라지기 때문에, 개별 거치대가 아니라 전체 조립 상태에서 구성을 확인했다.

이 구조에서 중요한 것은 센서 사이의 상대 위치가 유지되는 것이다. 카메라와 LiDAR의 데이터를 겹쳐 보려면 두 센서 사이의 위치와 회전, 즉 외부 파라미터가 필요하다. 보정 후 장착부가 움직이면 그 관계도 달라지므로, 기구 고정과 캘리브레이션을 별개의 작업으로 보지 않았다. 3D 모델은 배치를 정하는 기준으로 사용하고, 실제 조립 후에는 그 상태에서 센서 간 보정을 수행하도록 계획했다.

3. 부품 주문과 CNC 제작

전체 조립 모델에서 프로파일, 보강판, 브래킷과 체결 부품을 구분해 주문 구성을 정리했다. DVS·CIS와 LiDAR는 기존 장비를 사용하고, 새로 선정한 GNSS·IMU와 추가 구성품, 프레임 부품을 주문했다. LiDAR 원형 장착판은 별도 CNC 가공으로 제작했다. 표준 부품으로 구성할 수 있는 골격과 센서 장착에 맞춰 제작해야 하는 부품을 나눠 진행한 것이다.

원형판은 알루미늄 6061-T6, 지름 140 mm, 기본 두께 12 mm로 설계했다. 가공에 필요한 치수도면과 가공조건서, STEP 파일을 준비한 뒤 제작을 진행했다. 도면에는 외형뿐 아니라 체결부 형상, 표면 처리와 버 제거, 치수 공차, 장착 기준면 조건도 함께 적었다. 3D 형상을 전달하는 것과 실제 가공 조건을 전달하는 것이 서로 다른 작업임을 생각하며 자료를 구성했다.

특히 센서가 닿는 면과 하부 지지면의 관계를 명확하게 적는 데 신경 썼다. 평면도는 한 면이 얼마나 평평해야 하는지, 평행도는 기준면과 다른 면의 방향 관계를 지정하는 조건이다. 장착면을 단순히 외형의 일부로 두지 않고 조립 기준으로 정리하면서, 센서 배치 구상을 제작자가 사용할 수 있는 도면으로 바꾸는 과정을 진행했다.

4. 카메라와 거리·위치 센서 구성

NRV DELTA-SIGMA 두 세트로 구성한 스테레오

전면 좌우에는 기존 보유 장비인 NRV DELTA-SIGMA를 한 세트씩 배치했다. NRV DELTA-SIGMA는 빔스플리터로 들어온 빛을 나누어 DVS와 CIS가 같은 장면을 바라보도록 설계된 결합 카메라다. DVS는 밝기 변화에 따른 이벤트를 기록하고, CIS는 일반 영상을 기록한다. 한쪽 카메라 안에서 이벤트와 영상을 함께 얻고, 좌우 두 세트 사이에서는 스테레오 관측을 할 수 있는 구성이다.

여기서는 두 관계를 구분해 설계했다. 한 세트 안의 DVS·CIS는 같은 관측 장면의 표현을 비교하는 관계이고, 좌우 카메라는 서로 다른 위치에서 본 장면으로 깊이를 구하는 관계다. 따라서 카메라를 단순히 두 대 놓는 것에 그치지 않고, 각 세트의 DVS·CIS 대응과 좌우 카메라 사이의 보정을 함께 준비하도록 했다. 이전 캘리브레이션·Rectify 구현에서 다뤘던 렌즈 왜곡 보정과 영상 정렬을 실제 데이터셋 구성으로 이어가는 부분이다.

거리와 이동을 함께 남기는 구성

거리 센서는 기존에 보유한 Velodyne VLP-32C를 활용했다. 32채널 LiDAR의 포인트 클라우드를 카메라 영상과 함께 기록해, 영상에서 보이는 도로와 주변 구조물의 거리를 대조할 수 있도록 했다. 차량의 위치와 자세는 simpleRTK3B Fusion에 내장된 GNSS·IMU 융합 기능을 사용하기로 결정했다. 영상의 변화뿐 아니라 그 순간 촬영 장치가 어디에 있었고 어떻게 움직였는지도 기록하기 위한 선택이다.

센서마다 기록 주기가 다른 것도 구성에 반영했다. LiDAR의 한 스캔과 카메라의 한 프레임, IMU의 한 샘플을 같은 번호로 묶는 대신, 각 데이터의 시각을 남기고 필요한 시점의 데이터를 찾아 대응시키는 방식으로 정리할 계획이다. 빠른 이벤트와 비교적 느린 거리·위치 정보를 함께 쓰려면, 해상도나 FPS만큼 시간 정보의 관리도 중요하다.

5. GNSS·IMU 선택과 역할 분리

먼저 보유한 GNSS로 LiDAR 데이터와 위치 정보를 직접 받아보았다. 기존 수신기는 약 1.5 m 수준의 위치 정확도를 갖고 있었고, 현재 연결 구성에서는 RTK를 사용할 수 없었다. 주행 경로를 더 세밀하게 기록하려면 다른 구성이 필요했지만, LiDAR에 시각 정보를 전달하는 기능은 활용할 수 있었다. 그래서 기존 G-mouse GNSS는 LiDAR의 시각 기준으로 유지하고, 위치·자세 기록은 별도의 융합 수신기가 맡도록 나누었다.

새 수신기는 RTK 측위, GNSS·IMU 융합, PPS 출력이 가능한 제품을 비교했다. 후보는 simpleRTK3B Fusion과 IG-2·IMX-6 구성이었다. 위치 정확도만 보는 대신 IMU와 융합 결과의 출력 주기, 자세 정확도, 안테나 수와 초기 방위각을 얻는 방법, 실제 도입 비용까지 함께 검토했다.

이번 수집은 차량이 이동하는 조건이고, IMU 100 Hz와 융합 출력 50 Hz를 사용하는 구성을 잡았다. 더 높은 출력률과 정지 상태의 방위각을 제공하는 후보도 있었지만, 첫 수집 장치를 구성하는 데 필요한 기능과 비용을 함께 고려해 Fusion을 선택했다. 단일 안테나 구성을 사용하므로 출발 후 주행 정렬과 위치·자세 출력 상태를 확인하는 절차도 촬영 준비에 포함했다.

GNSS와 IMU는 서로 다른 정보를 제공한다. GNSS는 위성을 기준으로 위치를 얻고, IMU는 가속도와 회전 변화를 연속적으로 측정한다. 융합 결과는 이 정보를 함께 사용해 위치·자세를 추정한 값이고, 원시 IMU는 후처리에서 다시 활용할 수 있는 측정값이다. 따라서 완성된 위치·자세 출력만 저장하지 않고 원시 IMU도 함께 남기는 방향으로 정했다.

6. PPS 기반 동기화 구성

센서를 한 프레임에 올려도 서로 다른 순간을 기록하면 움직이는 장면을 정확히 대응시키기 어렵다. 그래서 기구 설계와 함께 각 센서에 시간을 전달하는 연결도도 정리했다. G-mouse GNSS는 UTC 시각 정보와 PPS를 LiDAR에 제공하고, Fusion의 PPS는 함수발생기로 보내 좌우 카메라의 외부 트리거 기준으로 사용하는 구성이다.

초의 경계와 촬영 주기를 구분

PPS는 매초의 경계를 알려 주는 펄스이고, UTC 정보는 그 경계가 어느 시각인지 알려 준다. 함수발생기는 이 초 경계를 기준으로 CIS용 100회, DVS용 2,200회의 트리거를 만드는 역할로 잡았다. 같은 종류의 좌우 센서에는 같은 트리거 기준을 전달해 스테레오 쌍의 촬영 시점을 맞추고, 서로 다른 속도로 기록되는 DVS와 CIS는 시간 정보로 대응시키도록 했다.

PC에 데이터가 도착한 시각만으로 맞추면 USB 전송과 처리 대기에 따른 차이가 섞일 수 있다. 따라서 촬영을 시작시키는 신호와 데이터에 남길 시각 정보를 함께 설계해야 한다. 조립 후에는 PPS 기준, 트리거 설정과 센서 타임스탬프를 대조하고, 공통으로 관찰되는 움직임을 시험 촬영해 실제 기록이 맞물리는지 확인할 계획이다.

위치 기준과 시간 기준을 함께 준비

공간 보정은 어느 센서의 점을 다른 센서 좌표에서 어디에 놓을지 정하는 작업이고, 시간 정렬은 그 점과 어느 순간의 영상을 비교할지 정하는 작업이다. 주행 장면에서는 차량이 계속 움직이므로 두 기준을 함께 준비해야 한다. 카메라 내부 보정과 좌우 정렬, 카메라·LiDAR 사이의 외부 보정, GNSS 안테나와 IMU·카메라 사이의 장착 위치를 정리해 수집 데이터와 함께 관리하려 한다.

위치 기록을 사용할 때도 GNSS 안테나가 있는 지점과 카메라가 있는 지점을 구분해야 한다. 프레임에서 떨어진 두 지점은 차량이 회전할 때 서로 다른 궤적을 그린다. 이 장착 위치 차이인 레버암을 기록해 두어야 위치·자세 정보를 카메라의 이동과 연결할 수 있다. 센서의 좌표축 방향과 설치 위치를 모델과 실제 조립 상태에서 함께 정리하는 이유다.

7. 조립 이후의 촬영·공개 준비

조립 점검에서 본 촬영까지

현재까지 센서 구성과 프레임 설계를 정하고, 부품 주문과 CNC 제작을 진행했다. 다음 단계는 부품과 통신을 점검한 뒤 프레임·센서를 가조립하고, 전원과 저장 성능을 확인하는 것이다. 이후 보정과 동기화를 마치고 짧은 시험 촬영을 거쳐 차량 고정부와 루프랙 구성을 확정할 계획이다. 고속 카메라 두 세트에 LiDAR까지 연결되는 만큼, 이전 장시간 녹화 실험에서 확인했던 지속 쓰기 속도와 저장 용량도 전체 센서를 켠 상태에서 다시 점검한다.

촬영 장면은 단순히 주행 시간을 늘리는 방식보다 센서의 특성이 드러나는 조건으로 나누었다. 도심의 정차·출발과 회전, 교외의 넓은 시야, 야간 조명, 역광과 터널 진출입을 포함하고, 여러 환경이 이어지는 연속 주행 구간도 별도로 구성했다. 짧은 시퀀스는 장면별 비교에, 긴 시퀀스는 연속적인 위치 추정과 장시간 기록 평가에 활용하는 구상이다.

다시 사용할 수 있는 형태로 정리

촬영 후에는 원본을 백업하고 타임스탬프와 누락 여부를 점검한 뒤, 센서 정합·보정과 시퀀스 분할을 진행할 계획이다. 공개 영상에는 얼굴과 번호판 블러 처리도 포함한다. 보정값과 좌표축 정의, 촬영 조건을 데이터와 함께 정리해 다른 사람이 같은 구간을 불러왔을 때 해석 기준을 알 수 있도록 하려 한다.

공개 자료에는 데이터 파일뿐 아니라 원본 디코딩, 센서별 동기 재생과 데이터 변환 프로그램도 포함할 예정이다. 설치 안내와 예제 코드, 작은 샘플 데이터를 먼저 제공하고, 전용 홈페이지에서 망원경·주행 데이터 설명과 다운로드 경로를 연결하는 구성을 계획했다. 데이터 공개와 베이스라인 평가를 거쳐 논문 작성까지 이어가며, 전체 과정은 2027년 1월까지 마무리하는 일정으로 잡았다.

8. 장비 구성에서 데이터 설계로

이번 준비에서는 기존 카메라와 LiDAR로 촬영할 장면을 정하는 일과, 추가 장비를 고르는 일이 계속 연결됐다. 주행 경로를 기록하려고 GNSS·IMU 후보를 비교했고, 시간 기준을 정하면서 기존 GNSS를 LiDAR 동기화에 활용할 수 있었다. 센서 배치는 프레임 모델로 옮겼고, LiDAR 장착 조건은 별도 가공 도면과 제작으로 이어졌다. 구상도를 그리는 단계에서 멈추지 않고, 필요한 사양과 주문 항목, 실제 제작 조건까지 구체화한 과정이다.

여러 센서를 한 장치로 묶는 과정에서 데이터셋의 품질은 센서 사양 하나로 정해지지 않는다는 점을 더 구체적으로 이해했다. 장착 위치가 보정 기준이 되고, 외부 트리거와 타임스탬프가 센서 사이의 시간 관계가 되며, 저장 프로그램과 공개 형식이 그 기록을 다시 사용할 수 있는 조건이 된다. 다음 단계에서는 이 설계를 조립·동기화 시험과 실제 주행 촬영으로 이어가며 결과를 추가할 예정이다.