Jay Tech Notes
제가 직접 정리한 기술 글, 실험 기록, 논문 메모를 모아두는 개인 페이지입니다. 카드를 클릭하면 각 글과 자료를 확인할 수 있습니다.
글묶음 한눈에 보기
LED 모션캡처 드론 제어
연구 계획, Jetson 기반 1차 구현, IR 마커 드론의 경로 추종 비행을 연결한 2차 구현을 차례로 정리했습니다.
SNN 연구 기록
Fashion-MNIST 환경에서 Sensory Adaptation 기반 SNN을 분석한 논문, 포스터, 공개 코드 저장소를 한 묶음으로 정리했습니다.
NRV DVS 캘리브레이션
이벤트 카메라 캘리브레이션을 처음 보는 사람도 따라갈 수 있도록 개념, 패턴, 촬영 준비 순서로 정리했습니다.
NRV DVS Rectify
정렬이 필요한 이유부터 좌표 보정 원리, Viewer에서 사용하는 절차까지 세 편의 한글 문서로 정리했습니다.
NRV Viewer 개발 노트
팀원들과 진행한 카메라·Viewer 연동과 직접 구현한 센서 제어 기능, 공식 문서·제품 홈페이지 개선 과정을 정리했습니다.
이벤트 카메라 데이터셋
데이터셋 촬영에 필요한 카메라 조건을 검토하고, Viewer 저장 기능과 촬영 환경을 개선하며 직접 확인한 과정을 정리합니다.
이벤트 비전 스테레오 Depth
FPGA 실시간 정렬과 멀티센서 데이터셋을 바탕으로 이벤트 스테레오 Depth 카메라와 zero-shot 위치 추정을 구현하는 작업입니다.
NRV FPGA 트러블슈팅
NRV FPGA와 카메라 모듈 개발 중 만난 오류를 로그와 검증 결과를 따라가며 해결한 과정을 정리했습니다.
사이드 프로젝트
캘리브레이션 도구, 실험 타깃, 3D 프린팅 브라켓과 진행 중인 카메라 제품 케이스 제작 기록을 모았습니다.
SoC/FPGA Bus
숭실대 학부생연구인턴에서 정리한 APB, AHB, AXI와 AXI-to-APB Bridge 구현·검증 흐름을 나누어 정리했습니다.
경진대회 기술 노트
제가 참여한 두 경진대회에서 진행한 SNN 제어 회로와 YOLOv2 FPGA 가속기의 설계·구현·검증 내용을 대회별 기술 문서로 정리했습니다.
최신 글
LED 모션캡처 기반 드론 비행경로 제어 시스템 (진행중)
Jetson과 OV9281 카메라 4대로 드론의 위치를 추정하고, 원하는 경로를 비행하는 제어 시스템을 구현했습니다. OptiTrack을 직접 운용해 자체 시스템의 위치·자세 정확도를 비교했습니다. 중앙대학교 전자전기공학부 제어 및 로봇SLAM연구실 심덕선 교수님의 지도 아래 진행하고 있습니다.
01
LED 모션캡처 기반 드론 비행경로 제어 연구 계획
다중 카메라 측위를 드론 제어에 연결하기 위한 연구 목표, 시스템 구성과 단계별 검증 계획을 설명합니다.
Jetson 기반 모션캡처 시스템 1차 구현
카메라 연결부터 웹 Viewer, 캘리브레이션, 원점 설정과 체커보드 궤적 추적까지 실제 장비 사진과 동작 영상으로 설명합니다.
4카메라 모션캡처 시스템 2차 구현
직접 조립한 Crazyflie와 IR 마커를 4카메라 추적에 연결하고, 위치 피드백을 이용한 호버와 경로 추종 비행까지 확장한 개발 과정을 설명합니다.
04
드론 경로 제어와 모션캡처 정확도 검증
여러 경로 기능을 구현한 뒤 원형 비행·호버를 시연하고, OptiTrack을 직접 운용해 자체 4카메라 시스템의 위치·자세 정확도를 평가했습니다.
SNN 연구 노트
Fashion-MNIST 환경에서 Sensory Adaptation 기반 Spiking Neural Network의 안정성을 분석한 논문과 포스터, 그리고 해당 연구에 사용한 공개 코드 저장소를 함께 묶었습니다. 논문 본편은 625-neuron 기준 안정성 분석이고, 후속 확장 연구는 1250-neuron 구조에서 SA 성능을 개선한 결과입니다.
NRV DVS 캘리브레이션 설명
캘리브레이션을 처음 접하는 사람도 전체 흐름을 따라갈 수 있도록 개념, NRV DVS용 패턴, 촬영 준비, 실제 앱 실행 절차로 나누어 정리했습니다. NRV 이벤트 카메라의 캘리브레이션 기능은 제가 직접 구현했으며, 아래의 한글 사용·설명 문서도 직접 작성했습니다. 또한 NRV Docs의 전체 디자인도 제가 직접 개편했습니다.
아래 링크는 이 개인 기술 노트에 정리한 내용과 같은 내용을 다루는 NRV 회사의 공식 Docs 페이지로 연결됩니다.
NRV Docs 캘리브레이션 페이지로 이동 → https://nrvcorp.github.io/docs/data/calibration/
01
카메라 캘리브레이션이란?
카메라 캘리브레이션의 기본 개념, 필요한 이유, 추정되는 파라미터와 모노·스테레오 NRV DVS 적용 방식을 설명합니다.
02
NRV DVS 캘리브레이션 방법
NRV DVS 캘리브레이션에서 밝기 변화와 blinking asymmetric circle grid가 필요한 이유를 설명합니다.
03
촬영 환경과 준비
필요한 장비와 모니터 설정, 원 간격 측정, 카메라 고정과 권장 촬영 조건을 설명합니다.
04
캘리브레이션 촬영 및 처리 절차
직접 구현한 DVS Calibration 앱에서 촬영, 후보 선별, Coverage 확인, 계산과 결과 보관까지 진행하는 방법을 설명합니다.
NRV DVS Rectify 설명
NRV DVS 캘리브레이션 구현에 이어, 보정 파라미터를 영상에 적용하는 원리를 공부하고 모노 카메라의 렌즈 왜곡 보정(undistortion)과 스테레오 영상 정렬 기능을 직접 구현했습니다. 좌우 대응점을 같은 높이로 맞추는 이유와 처리 과정, 실제 Viewer에서 Rectify 기능을 사용하는 방법까지 세 편의 한글 문서로 정리했습니다.
아래 링크는 이 개인 기술 노트에 정리한 내용과 같은 내용을 다루는 NRV 회사의 공식 Docs 페이지로 연결됩니다.
NRV Docs Rectify 페이지로 이동 → https://nrvcorp.github.io/docs/data/rectify/
NRV Viewer 개발 노트
팀원들과 DELTA 카메라와 Viewer 연동을 진행하고, 센서 데이터시트를 검토해 Viewer에 없던 제어 기능을 직접 추가했습니다. 데이터 수신과 표시·저장의 연결부터 센서 기능 확장, 직접 작성한 Viewer 가이드와 공식 사용 문서, 제품 홈페이지 개선까지 세 편으로 정리했습니다.
이벤트 카메라 데이터셋 (진행중)
이벤트 카메라로 데이터셋을 촬영하기 위해 필요한 장비와 촬영 조건을 검토하고 있습니다. 장시간 녹화 환경 개선을 시작으로 망원경 촬영 준비, 누리호 DVS·CIS 촬영, 이벤트·LiDAR·RGB 융합 데이터셋으로 이어지는 과정과 배운 내용을 정리합니다.
01
DVS 장시간 녹화 개선
직접 실험하며 저장 속도·용량·프로그램 문제를 구분하고, 촬영 프로그램 개선과 장비 요청, 선임들과의 소통을 거쳐 20여 분 고속 녹화 환경을 마련한 과정을 정리했습니다.
02
망원경 연동과 원격 촬영
촬영 조건 검토와 구매·조립부터 어댑터 설계·출력, PC 키보드 원격 조작까지 직접 준비한 과정을 정리했습니다.
누리호 DVS·CIS 촬영
누리호 5차 발사를 DVS 2000 FPS·CIS 100 FPS로 촬영했습니다. 현장 촬영 과정과 직접 제작한 4K·60 FPS 비교 영상을 담았습니다.
04
이벤트 카메라 융합 데이터셋 설계
기존 NRV DELTA-SIGMA와 LiDAR에 GNSS·IMU를 결합하는 주행 데이터셋을 설계했습니다. 추가 장비 선정, 프레임 모델링과 부품 주문·CNC 제작, 동기화와 촬영 계획을 정리합니다.
이벤트 비전 스테레오 Depth 카메라 (진행중)
이벤트 카메라 스테레오로 장면의 깊이를 추정하는 Depth 카메라를 개발하고 있습니다. 캘리브레이션 파라미터를 FPGA에 적용해 좌우 이벤트 영상을 실시간으로 정렬·보정하고, 주행·동적 장면의 이벤트 카메라·LiDAR·일반 RGB 데이터를 함께 기록해 융합 데이터셋을 구축합니다. 이 처리 흐름을 바탕으로 실시간 Depth와 제로샷 위치 추정 기능까지 연결하는 것이 목표입니다.
FPGA 실시간 스테레오 정렬·보정
직접 구현한 캘리브레이션 앱의 파라미터를 FPGA에 적용해 왜곡 보정과 스테레오 정렬을 실시간 처리하고, 실제 카메라 제품과 Depth 처리로 연결합니다.
02
NRV 이벤트 스테레오 Depth 데모
NRV 스테레오 이벤트 카메라만으로 Depth를 처리한 영상입니다. FPGA 실시간 정렬과 센서 융합 파이프라인을 연결해 이와 같은 결과를 실시간으로 구동하는 것이 목표입니다.
NRV FPGA 트러블슈팅 노트
NRV FPGA와 카메라 모듈 개발 중 직접 확인한 오류를 증상, 로그, 가설, 확인, 원인, 해결, 검증 순서로 정리합니다. 단순한 해결 명령보다 같은 증상이 생겼을 때 원인을 다시 좁힐 수 있는 판단 근거를 남깁니다.
사이드 프로젝트 링크
본문 기술 노트와 함께 볼 수 있는 개인 사이드 프로젝트를 모았습니다. 공개 코드와 사용법은 각 저장소에서, 제작 과정은 연결된 상세 페이지에서 확인할 수 있습니다.
01
blinking-circle-grid-for-dvs-calibration
NRV DVS 캘리브레이션에 사용할 blinking asymmetric circle grid 패턴을 모니터에 표시하기 위한 프로젝트입니다.
02
event-arduino-stopwatch-target
이벤트 카메라 실험에서 시간 변화가 있는 타깃을 구성하고 확인하기 위한 Arduino 기반 스톱워치 타깃 프로젝트입니다.
03
stereo-fpga-camera-bracket
스테레오 이벤트 카메라 모듈과 FPGA 보드를 고정하고 기준 거리 조절을 위해 직접 설계·출력한 3D 프린팅 브라켓의 설계와 조립 기록입니다.
04
신규 카메라 모듈 케이스 완성품
초기 3D 모델과 실제 FX10 PCB로 조립 조건을 검토하고, 제작 담당자들과 의견을 주고받으며 Delta10 카메라의 금속 케이스와 최종 조립까지 참여한 기록입니다.
05
OV9281 카메라 모듈 3D 모델
케이스와 케이지 장착부를 설계하기 위해 실제 OV9281 모듈을 측정해 만든 3D 기준 모델과 렌더·실물 비교 자료를 정리했습니다.
06
OV9281 카메라 모듈 케이스
OV9281 카메라 모듈 PCB를 담기 위해 만든 3D 프린팅 케이스입니다. 모듈 3D 모델과 함께 볼 수 있도록 본체와 후면 커버 STL을 정리했습니다.
07
망원경 카메라 마운트 어댑터
원거리 데이터셋을 촬영하기 위해 Celestron 망원경과 M12·C-mount 카메라를 연결할 수 있도록 직접 제작한 3D 프린팅 어댑터 4종입니다.
SoC/FPGA 학습 노트
숭실대학교 차세대반도체학과 동계 학부생연구인턴에서 학습한 APB, AHB, AXI bus protocol과 AXI-to-APB Bridge 최종 프로젝트를 수업자료, Lab 파형, 최종 RTL 검증 결과 기준으로 나누어 정리했습니다.
APB Control Bus
Lab2~4에서 진행한 APB register, SRAM, interrupt 실습과 setup-enable timing을 설명합니다.
02AHB Pipelined Bus
Lab5~6의 AHB register/SRAM 실습을 바탕으로 address/data phase와 HREADY timing을 정리합니다.
03AXI Channel Bus
Lab7 AXI slave 실습을 기준으로 AW/W/B, AR/R channel과 VALID/READY handshake를 설명합니다.
04AXI-to-APB Bridge
최종 프로젝트의 AXI-to-APB protocol conversion, Verilog FSM, testbench, PASS 로그를 정리합니다.
경진대회 기술 노트
제가 참여한 두 경진대회의 문제 정의, 입력 표현, 하드웨어 구조와 검증 결과를 프로젝트별 네 편으로 나누어 설명합니다.
SNN 기반 BallControl 제어 회로
30×30cm 보드 위 공의 위치를 중앙으로 이동시키는 BallControl 과제를 SNN 제어 문제로 모델링한 프로젝트입니다. 위치는 99개 one-hot 입력, 무게는 rate encoding으로 표현하며, 99→32→4 뉴런 구조가 네 방향 제어 이벤트를 생성합니다.
YOLOv2 Full-Graph FPGA 가속기
256×256 RGB 입력에서 60개 클래스를 검출하는 YOLOv2를 정수화하고, Conv·Pool·Route·Upsample과 두 detection head를 하나의 FPGA 실행 경로로 구성한 프로젝트입니다. 최종 RTL의 22개 descriptor와 144개 packed MAC lane을 기준으로 하며, 229장 전체 평가의 속도와 detector mAP를 결과 지표로 사용했습니다.