KR20200132065A - 3d 포인트 클라우드를 이용한 2d 영상에서의 피사체 위치 계측 시스템 - Google Patents

3d 포인트 클라우드를 이용한 2d 영상에서의 피사체 위치 계측 시스템 Download PDF

Info

Publication number
KR20200132065A
KR20200132065A KR1020190056909A KR20190056909A KR20200132065A KR 20200132065 A KR20200132065 A KR 20200132065A KR 1020190056909 A KR1020190056909 A KR 1020190056909A KR 20190056909 A KR20190056909 A KR 20190056909A KR 20200132065 A KR20200132065 A KR 20200132065A
Authority
KR
South Korea
Prior art keywords
image
camera
unit
point cloud
data
Prior art date
Application number
KR1020190056909A
Other languages
English (en)
Other versions
KR102256583B1 (ko
Inventor
이정수
이도영
Original Assignee
주식회사 씨에스아이비젼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 씨에스아이비젼 filed Critical 주식회사 씨에스아이비젼
Priority to KR1020190056909A priority Critical patent/KR102256583B1/ko
Publication of KR20200132065A publication Critical patent/KR20200132065A/ko
Application granted granted Critical
Publication of KR102256583B1 publication Critical patent/KR102256583B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G06T5/006—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

3D 포인트 클라우드를 이용한 2D 영상에서의 피사체 위치 계측 시스템을 개시한다.
본 실시예는 블랙박스, CCTV와 같은 영상 촬영 장비로부터 획득한　2D　영상을　3D 영상으로 재구성하여, 2D　영상에서의 특정 위치나 대상이 실제 현장에서 어느 위치에 매칭되는지를 정확하게 파악할 수 있도록 하는 3D 포인트 클라우드를 이용한 2D 영상에서의 피사체 위치 계측 시스템을 제공을 제공한다.

Description

3D 포인트 클라우드를 이용한 2D 영상에서의 피사체 위치 계측 시스템{System for Measuring Position of Subject}
본 실시예는 3D 포인트 클라우드를 이용한 2D 영상에서의 피사체 위치 계측 시스템에 관한 것이다.
이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.
일반적으로 단일 카메라영상만으로는 피사체의 위치를 계측하는 것은 불가능하다. 즉, 고정된 피사체를 카메라가 움직이거나 고정된 카메라에 피사체가 움직이는 경우만 피사체의 위치 계측이 가능하다.
물체의 신규 위치와 기존 위치 간 관련성을 판단하기 위한 관련성 판단영역을 이용한다. 일반적으로 다물체 인식 방법에서는 관련성 판단영역을 고정하여 이용한다. 고정된 관련성 판단영역에서 물체가 서로 근접한 경우 관련성 판단영역이 겹치는 현상이 발생할 수 있다.
본 실시예는 2D 영상에서의 특정 위치나 대상이 실제 현장에서 어느 위치에 매칭되는지를 정확하게 파악할 수 있도록 하는 3D 포인트 클라우드 정보와 블랙박스, CCTV와 같은 영상 촬영 장비로부터 획득한 2D 영상을 이용하여 3D 영상으로 재구성하고, 2D 영상에서의 움직이는 피사체 위치 계측 시스템을 제공하는 데 목적이 있다.
본 실시예의 일 측면에 의하면, 입력된 이차원 영상에 대한 왜곡보정 및 캘리브레이션을 수행한 보정 이차원 영상을 출력하며, 입력된 포인트 클라우드 데이터에 대한 크롭 및 포맷 변환을 수행한 편집 포인트 클라우드 데이터를 출력하는 데이터 전처리부(Data Pre-Processing); 상기 보정 이차원 영상으로부터 특정객체 2D 좌표를 산출하고, 상기 편집 포인트 클라우드 데이터로부터 카메라 위치 좌표를 산출하는 데이터 처리부(Data Processing); 상기 특정객체 2D 좌표를 이미지 실좌표계로 변환하고, 상기 카메라 위치 좌표를 카메라 시점 실좌표계로 변환하는 실좌표계 처리부(World Coordinates Processing); 상기 편집 포인트 클라우드 데이터, 상기 카메라 시점 실좌표계, 카메라 원점을 기반으로 다물체 위치를 계측하는 계측부(Measurement); 및 상기 다물체 위치에 다항식 모델을 적용하여 근사된 다물체 위치값을 산출하는 데이터 후처리부(Data Post-Processing)를 포함하는 것을 특징으로 하는 피사체 위치 계측 시스템를 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 2D 영상에서의 특정 위치나 대상이 실제 현장에서 어느 위치에 매칭되는지를 정확하게 파악할 수 있도록 하는 3D 포인트 클라우드 정보와 블랙박스, CCTV와 같은 영상 촬영 장비로부터 획득한 2D 영상을 이용하여 3D 영상으로 재구성하고, 2D 영상에서의 움직이는 피사체 위치 계측할 수 있는 효과가 있다.
본 실시예에 의하면, 카메라 시스템에서 카메라 정보를 알고 있는 상태에서, 고정된 피사체를 카메라가 이동하면서 촬영하는 경우 카메라의 위치 계측이 가능하며, 고정된 카메라에 피사체가 이동하는 경우 피사체의 위치 계측이 가능하다. 본 실시예에 의하면, 카메라와 피사체가 모두 이동하는 경우에도 3D 포인트 클라우드와 2D 영상으로 피사체와 카메라의 위치 계측이 가능하다.
본 실시예에 의하면, 블랙박스, CCTV와 같은 영상 촬영 장비로부터 획득한　2D　영상을　3D 영상으로 재구성하여, 2D　영상에서의 특정 위치나 대상이 실제 현장에서 어느 위치에 매칭되는지를 정확하게 파악할 수 있도록 하는 효과가 있다.
본 실시예에 의하면, 2D　영상에 나타나는 현장을 직접　3D　카메라로 촬영한 후 가공하여 현장에 대한　3D　데이터로 생성한 후 범죄수사나 현장감식 등의 업무에서　CCTV　증거자료를 가지고 현장을 재구성하여 수사나 감식에 활용할 수 있는 효과가 있다.
본 실시예에 의하면, 카메라가 장착 차량이 주행 중에 관찰되는 피사체의 위치정보를 계측하여 차량자율주행과 같은 분야에 활용될 수 있는 효과가 있다.
도 1은 본 실시예에 따른 3D 포인트 클라우드를 이용한 2D 영상에서의 피사체 위치 계측 시스템을 개략적으로 나타낸 도면이다.
도 2는 본 실시예에 따른 피사체 위치 계측 시스템를 구체적으로 나타낸 블럭 구성도이다.
도 3은 본 실시예에 따른 데이터 전처리부를 구체적으로 나타낸 블럭 구성도이다.
도 4는 본 실시예에 따른 이미지 전처리부를 구체적으로 나타낸 블럭 구성도이다.
도 5는 본 실시예에 따른 카메라 촬영으로 나타날 수 있는 왜곡을 나타낸 도면이다.
도 6은 본 실시예에 따른 카메라 캘리브레이션부를 구체적으로 나타낸 블럭 구성도이다.
도 7은 본 실시예에 따른 영상 왜곡 보정부를 구체적으로 나타낸 블럭 구성도이다.
도 8은 본 실시예에 따른 포인트 클라우드 전처리부를 구체적으로 나타낸 블럭 구성도이다.
도 9는 본 실시예에 따른 구역별 편집부를 구체적으로 나타낸 블럭 구성도이다.
도 10은 본 실시예에 따른 데이터 처리부를 구체적으로 나타낸 블럭 구성도이다.
도 11은 본 실시예에 따른 이미지 처리부를 구체적으로 나타낸 블럭 구성도이다.
도 12는 본 실시예에 따른 차량 바퀴가 관찰되는 프레임에서의 바닥면 좌표 추출 예시를 나타낸 도면이다.
도 13은 본 실시예에 따른 추정 가능 영상을 나타낸 도면이다.
도 14는 본 실시예에 따른 추정 가능 영상 내 차량과 유사한 각도의 동일 차량을 나타낸 도면이다.
도 15는 본 실시예에 따른 동일 차량에 정합을 위한 특징점을 각각 부여를 나타낸 도면이다.
도 16은 본 실시예에 따른 차량 바퀴의 바닥면 좌표를 추출을 나타낸 도면이다.
도 17은 본 실시예에 따른 포인트 클라우드 처리부를 구체적으로 나타낸 블럭 구성도이다.
도 18은 본 실시예에 따른 예시 영상과 가상 카메라의 영상 정합을 나타낸 도면이다.
도 19는 본 실시예에 따른 가상 카메라의 위치 및 회전 값 추출을 나타낸 도면이다.
도 20은 본 실시예에 따른 카메라의 Yaw, Pitch, Roll을 설명하기 위한 도면이다.
도 21,22는 본 실시예에 따른 실좌표계 처리부를 구체적으로 나타낸 블럭 구성도이다.
도 23은 본 실시예에 따른 이미지 실좌표계 변환부를 구체적으로 나타낸 블럭 구성도이다.
도 24는 본 실시예에 따른 3D 상의 이미지 실높이 및 실너비를 나타낸 도면이다.
도 25는 본 실시예에 따른 실좌표 Z와 초점 거리 관계를 나타낸 도면이다.
도 26은 본 실시예에 따른 실좌표 Z와 카메라 화각과의 관계를 나타낸 도면이다.
도 27은 본 실시예에 따른 카메라 화각(FOV)을 구하는 방법을 나타낸 도면이다.
도 28은 본 실시예에 따른 카메라를 이용한 피사체 촬영 및 왜곡 보정을 나타낸 도면이다.
도 29는 본 실시예에 따른 영상 중앙으로부터의 높이 및 사물까지의 거리를 나타낸 도면이다.
도 30은 본 실시예에 따른 이미지 실좌표계 영상을 나타낸 도면이다.
도 31은 본 실시예에 따른 카메라 실좌표계 변환부를 구체적으로 나타낸 블럭 구성도이다.
도 32는 본 실시예에 따른 카메라 시점 실좌표계 영상을 나타낸 도면이다.
도 33은 본 실시예에 따른 이미지 실좌표계 변환 후 영상 및 개념도를 나타낸 도면이다.
도 34는 본 실시예에 따른 계측부를 구체적으로 나타낸 블럭 구성도이다.
도 35는 본 실시예에 따른 균일하게 형성되어 있지 않은 포인트 클라우드 데이터를 나타낸 도면이다.
도 36은 본 실시예에 따른 표면이 고르지 못한 노이즈(Noise) 바닥 데이터를 나타낸 도면이다.
도 37은 본 실시예에 따른 바닥면 생성부를 구체적으로 나타낸 블럭 구성도이다.
도 38은 본 실시예에 따른 바닥면 보간 그리드를 나타낸 도면이다.
도 39는 본 실시예에 따른 바닥면 보정을 나타낸 도면이다.
도 40은 본 실시예에 따른 광선 추적부를 구체적으로 나타낸 도면이다.
도 41은 본 실시예에 따른 광선 추적 기법 활용을 나타낸 도면이다.
도 42는 본 실시예에 따른 데이터 후처리부의 데이터 근사 과정 다이어그램을 나타낸 도면이다.
도 43은 본 실시예에 따른 다항식 차수별 모델 및 지수 함수 모델 적용한 데이터 근사를 나타낸 그래프이다.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 실시예에 따른 3D 포인트 클라우드를 이용한 2D 영상에서의 피사체 위치 계측 시스템을 개략적으로 나타낸 도면이다.
본 실시예에 따른 3D 포인트 클라우드를 이용한 2D 영상에서의 피사체 위치 계측 시스템은 다물체 동역학 데이터베이스(110), 피사체 위치 계측 장치(120), 다물체 위치 데이터베이스(130)를 포함한다. 3D 포인트 클라우드를 이용한 2D 영상에서의 피사체 위치 계측 시스템에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.
다물체 동역학 데이터베이스(110)는 2D　영상에 나타나는 현장을 직접　3D　카메라로 촬영한 정보를 저장한다.
피사체 위치 계측장치(120)는 CCTV　등의　2D　영상을　3D로 재구성하여, 2D　영상에서의 특정 위치나 대상이 실제 현장에서 어느 위치에 매칭되는지를 파악한다. 피사체 위치 계측장치(120)는 다물체 동역학 데이터베이스(110)로부터 수신된 3D　카메라로 촬영한 정보와　2D　영상을 가공하여 매칭시켜서 현장에 대한　3D　데이터를 생성한다.
본 실시예에 따른 피사체 위치 계측장치(120)는 입력된 이차원 영상에 대한 왜곡보정 및 캘리브레이션을 수행한 보정 이차원 영상을 출력한다. 피사체 위치 계측장치(120)는 입력된 포인트 클라우드 데이터에 대한 크롭 및 포맷 변환을 수행한 편집 포인트 클라우드 데이터를 출력한다.
피사체 위치 계측장치(120)는 보정 이차원 영상으로부터 특정객체 2D 좌표(차량 바퀴 2D 좌표)를 산출한다. 피사체 위치 계측장치(120)는 편집 포인트 클라우드 데이터로부터 카메라 위치 좌표를 산출한다.
피사체 위치 계측장치(120)는 특정객체 2D 좌표(차량 바퀴 2D 좌표)를 이미지 실좌표계로 변환하고, 카메라 위치 좌표를 카메라 시점 실좌표계로 변환한다. 피사체 위치 계측장치(120)는 편집 포인트 클라우드 데이터, 카메라 시점 실좌표계, 카메라 원점을 기반으로 다물체 위치를 계측한다. 피사체 위치 계측장치(120)는 다물체 위치에 다항식 모델을 적용하여 근사된 다물체 위치값을 산출한다.
다물체 위치 데이터베이스(130)는 피사체 위치 계측장치(120)로부터 수신된 3D 데이터를 저장한다. 다물체 위치 데이터베이스(130)는 피사체 위치 계측장치(120)에서 분석한 정보를 저장하며, 다물체 위치 데이터베이스(130)에 저장된 정보를 이용하여 범죄수사나 현장감식 등의 업무에서　CCTV　증거자료를 가지고 현장을 재구성하여 수사나 감식에 활용할 수 있다.
도 2는 본 실시예에 따른 피사체 위치 계측장치를 구체적으로 나타낸 블럭 구성도이다.
본 실시예에 따른 피사체 위치 계측장치(120)는 데이터 전처리부(210), 데이터 처리부(220), 실좌표계 처리부(230), 계측부(240), 데이터 후처리부(250)를 포함한다. 피사체 위치 계측장치(120)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.
피사체 위치 계측장치(120)에 포함된 각 구성요소는 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작할 수 있다. 이러한 구성요소는 하나 이상의 통신 버스 또는 신호선을 이용하여 통신한다.
도 2에 도시된 피사체 위치 계측장치(120)의 각 구성요소는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 소프트웨어적인 모듈, 하드웨어적인 모듈 또는 소프트웨어와 하드웨어의 결합으로 구현될 수 있다.
데이터 전처리부(210)는 입력된 이차원 영상에 대한 왜곡보정 및 캘리브레이션을 수행한 보정 이차원 영상을 출력한다. 데이터 전처리부(210)는 입력된 포인트 클라우드 데이터에 대한 크롭 및 포맷 변환을 수행한 편집 포인트 클라우드 데이터를 출력한다.
데이터 처리부(220)는 보정 이차원 영상으로부터 특정객체 2D 좌표(차량 바퀴 2D 좌표)를 산출한다. 데이터 처리부(220)는 편집 포인트 클라우드 데이터로부터 카메라 위치 좌표를 산출한다.
실좌표계 처리부(230)는 특정객체 2D 좌표(차량 바퀴 2D 좌표)를 이미지 실좌표계로 변환한다. 실좌표계 처리부(230)는 카메라 위치 좌표를 카메라 시점 실좌표계로 변환한다.
계측부(240)는 편집 포인트 클라우드 데이터, 카메라 시점 실좌표계, 카메라 원점을 기반으로 다물체 위치를 계측한다.
데이터 후처리부(250)는 다물체 위치에 다항식 모델을 적용하여 근사된 다물체 위치값을 산출한다.
도 3은 본 실시예에 따른 데이터 전처리부를 구체적으로 나타낸 블럭 구성도이다.
본 실시예에 따른 데이터 전처리부(210)는 이미지 전처리부(310), 포인트 클라우드 전처리부(320)를 포함한다. 데이터 전처리부(210)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.
데이터 전처리부(210)는 피사체 위치 계측장치(120)에서 처리하는 첫 번째 처리 단계로서, 카메라 복원 영상과 포인트 클라우드 데이터에 대한 전처리 과정을 수행한다.
이미지 전처리부(310)는 카메라 복원 영상에 대한 전처리로서, 카메라 렌즈로부터 발생한 왜곡(distortion)을 보정(Calibration)한다. 이미지 전처리부(310)는 이차원 영상에 대한 카메라 렌즈로부터 발생한 왜곡(distortion)을 보정(Calibration)한 보정 이차원 영상을 출력한다.
포인트 클라우드 전처리부(320)는 카메라 복원 영상으로부터 관찰되는 구역에 대응한 포인트 클라우드상에서의 대응 구역을 자르기(Crop)한 후 데이터 처리를 원활히 위하여 포맷 변환을 수행한다. 포인트 클라우드 전처리부(320)는 포인트 클라우드 데이터 중 관찰 구역에 대응하는 구역만을 크롭(Crop)한 후 데이터 처리를 위한 포맷으로 변환한 편집 포인트 클라우드 데이터를 출력한다.
도 4는 본 실시예에 따른 이미지 전처리부를 구체적으로 나타낸 블럭 구성도이다.
본 실시예에 따른 이미지 전처리부(310)는 카메라 캘리브레이션부(410), 영상 왜곡 보정부(420)를 포함한다. 이미지 전처리부(310)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.
카메라 캘리브레이션부(410)는 위치값 분석에 대한 오류를 최소화하기 위한 일련의 과정으로, 카메라 영상의 각 프레임마다 카메라 캘리브레이션(Camera calibration)을 한다. 카메라 캘리브레이션부(410)는 이차원 영상의 각 프레임마다 카메라 캘리브레이션을 수행하여 보정 파라미터를 산출한다.
영상 왜곡 보정부(420)는 추출된 보정 파라미터를 이용하여 해당 영상을 현실과 가깝게 왜곡을 보정한다. 영상 왜곡 보정부(420)는 보정 파라미터를 이차원 영상에 적용하여 영상 왜곡을 보정한 보정 이차원 영상을 생성한다.
도 5는 본 실시예에 따른 카메라 촬영으로 나타날 수 있는 왜곡을 나타낸 도면이다.
사람이 바라보는 3D 차원을 카메라로 촬영하여 나타낸 2D 영상은 카메라 내부의 기구적인 부분에 의해 도 5에 도시된 바와 같은 왜곡(distortion)이 발생한다.
도 5에 도시된 왜곡에 대해 카메라 캘리브레이션부(410)는 렌즈와 CMOS 이미지 센서 간의 거리, 렌즈와 CMOS 이미지 센서가 이루는 각도 등 카메라 파라미터 값, 카메라 렌즈의 왜곡 정도를 산출한다.
카메라 파라미터 값은 카메라 내부 파라미터(camera intrinsics), 왜곡 계수(distortion coefficients), 카메라 외부 파라미터(camera extrinsics)를 포함한다.
영상 왜곡 보정부(420)는 카메라 캘리브레이션부(410)에서 산출한 카메라 파라미터 값 또는 카메라 렌즈의 왜곡 값을 이용하여 영상 왜곡보정, 물체 크기 계측, 스테레오 카메라를 이용한 3D 재구성을 수행한다.
도 6은 본 실시예에 따른 카메라 캘리브레이션부를 구체적으로 나타낸 블럭 구성도이다.
본 실시예에 따른 카메라 캘리브레이션부(410)는 체크 보드 촬영부(610), 캘리브레이션부(620), 보정결과 평가부(630)를 포함한다. 카메라 캘리브레이션부(410)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.
체크 보드 촬영부(610)는 이차원 영상을 촬영한 동일 촬영장비 체크보드를 촬영한 체크보드 영상을 생성하고, 체크보드 영상에서 복수의 체크보드 이미지를 추출한다.
체크 보드 촬영부(610)는 정확한 보정 파라미터 추출을 위한 것으로, 이차원 복원 영상을 촬영한 동일 기기로 체크 보드에 대해 촬영한다. 체크 보드 촬영부(610)는 카메라 캘리브레이션을 위한 체크 보드로서, 최소한의 오류를 위해 체크 보드를 구성하는 정사각형의 길이를 계측한다.
체크 보드 촬영부(610)는 블랙박스, CCTV 등을 이용하여 체크 보드에 대해 그 위치 및 각도를 달리하여 촬영한다. 체크 보드 촬영부(610)는 촬영 시 렌즈 오토 포커싱(Auto Focusing) 또는 초점 거리(Focal Length)에 영향을 미칠 수 있는 줌 설정은 하지 않는다. 체크 보드 촬영부(610)는 보정의 정확성을 위해 체크 보드의 기울기는 45도 이하로 촬영한다.
체크 보드 촬영부(610)는 영상의 중앙으로부터 멀어질수록 렌즈 왜곡이 증가하는 특징이 있으므로, 이미지의 가장자리를 촬영하여 왜곡 특징이 잘 드러나도록 한다. 체크 보드 촬영부(610)는 체크 보드를 촬영한 후, 복수의 이미지(예컨대, 총 55장)를 추출한다.
캘리브레이션부(620)는 체크보드 영상에 대한 사각형 길이를 입력받고, 사각형 길이를 기반으로 체크보드 영상 내의 체크보드를 탐지하고, 탐지된 체크보드 내의 각 교점이 실제 데이터와 맞는지 확인한 후 체크보드 영상을 보정한 캘리브레이션 이미지를 생성한다.
다시 말해, 캘리브레이션부(620)는 체크 보드 촬영부(610)에서 촬영한 체크 보드의 사각형 길이를 입력받는다. 캘리브레이션부(620)는 각 영상 내의 체크 보드를 탐지 및 분석한다. 캘리브레이션부(620)는 탐지된 체크 보드 내의 각 교점이 실제로 맞는지 확인 후 보정한다.
보정결과 평가부(630)는 캘리브레이션 이미지에 대한 카메라 외부 파라미터 검사 및 왜곡 보정을 확인한 보정 결과 데이터를 생성하고, 보정 결과 데이터에 대한 보정 파라미터(보정 모델)를 추출한다.
다시 말해, 보정결과 평가부(630)는 보정 후 카메라 외부 파라미터 검사 및 왜곡 보정 영상 확인을 통해 보정 결과를 평가한다. 보정결과 평가부(630)는 보정 결과에 대한 보정 파라미터(보정 모델)를 추출한다.
영상 왜곡 보정부(420)는 카메라 캘리브레이션 과정을 수행하여 출력된 보정 파라미터(보정 모델)을 이용하여 이차원 복원 영상에 대한 왜곡을 보정한다.
도 8은 본 실시예에 따른 포인트 클라우드 전처리부를 구체적으로 나타낸 블럭 구성도이다.
포인트 클라우드 전처리부(320)는 대용량의 포인트 클라우드 데이터에 대하여 이차원 영상으로부터 위치값 분석에 필요한 만큼의 구역으로 포인트 클라우드 데이터로 줄인다.
포인트 클라우드 전처리부(320)는 포인트 클라우드 데이터로부터 추출된 포인트 클라우드 데이터 처리의 원활함을 위하여 포맷을 변경한다.
본 실시예에 따른 포인트 클라우드 전처리부(320)는 구역별 편집부(810), 포맷 변환부(820)를 포함한다. 포인트 클라우드 전처리부(320)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.
구역별 편집부(810)는 포인트 클라우드, 이차원 영상을 입력받는다. 구역별 편집부(810)는 포인트 클라우드, 이차원 영상을 기반으로 편집 포인트 클라우드를 생성하여 출력한다.
구역별 편집부(810)는 대용량의 포인트 클라우드 데이터를 이차원 영상에 대응하는 영역의 위치값 분석에 필요한 만큼의 관찰 구역이 되도록 포인트 클라우드 데이터로 줄인 편집 포인트 클라우드를 생성하여 출력한다.
포맷 변환부(820)는 편집 포인트 클라우드를 구역별 편집부(810)로부터 입력받는다. 포맷 변환부(820)는 편집 포인트 클라우드 데이터의 데이터 포맷을 변환하여 출력한다.
도 9는 본 실시예에 따른 구역별 편집부를 구체적으로 나타낸 블럭 구성도이다.
본 실시예에 따른 구역별 편집부(810)는 이차원 영상 관찰부(910), 구역 크롭부(920)를 포함한다. 구역별 편집부(810)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.
이차원 영상 관찰부(910)는 포인트 클라우드, 이차원 영상을 입력받는다. 이차원 영상 관찰부(910)는 포인트 클라우드, 이차원 영상을 기반으로 분석 구역 정보, 포인트 클라우드 정보를 출력한다.
다시 말해, 이차원 영상 관찰부(910)는 포인트 클라우드 데이터 중 이차원 영상에 대응하는 위치값을 갖는 데이터만을 선별한다.
구역 크롭부(920)는 이차원 영상 관찰부(910)로부터 분석 구역 정보, 포인트 클라우드 정보를 입력받는다. 구역 크롭부(920)는 분석 구역 정보, 포인트 클라우드 정보를 기반으로 편집 포인트 클라우드를 출력한다.
다시 말해, 구역 크롭부(920)는 포인트 클라우드 데이터 중 이차원 영상에 대응하는 위치값을 갖는 데이터만을 크롭하여 편집 포인트 클라우드 데이터로 생성한다.
도 10은 본 실시예에 따른 데이터 처리부를 구체적으로 나타낸 블럭 구성도이다.
데이터 처리부(220)는 데이터 전처리부(210)에서 출력한 이차원 영상과 편집/변환된 포인트 클라우드 데이터를 이용하는 처리를 수행한다.
본 실시예에 따른 데이터 처리부(220)는 이미지 처리부(1010), 포인트 클라우드 처리부(1020)를 포함한다. 데이터 처리부(220)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.
이미지 처리부(1010)는 보정 이차원 영상으로부터 특정객체(차량 바퀴) 위치에 대한 특정객체 2D 좌표(차량 바퀴 2D 좌표)(X,Y)를 산출한다.
다시 말해, 이미지 처리부(1010)는 데이터 처리 과정 중 이미지 처리는 차량의 바퀴가 관찰되거나 차량 바퀴의 위치를 추정할 수 있는 보정 영상으로부터 이미지 내의 2D 좌표(X,Y)를 획득한다.
포인트 클라우드 처리부(1020)는 보정 이차원 영상과 편집 포인트 클라우드를 정합한 영상으로부터 카메라 위치 좌표를 산출한다.
다시 말해, 포인트 클라우드 처리부(1020)는 데이터 처리 과정 중 포인트 클라우드 처리는 보정 이차원 영상(2D)과 포인트 클라우드(3D) 간의 정합하여 영상을 촬영하고 있는 카메라의 위치(X,Y,Z,Yaw,Pitch,Roll)를 획득한다.
도 11은 본 실시예에 따른 이미지 처리부를 구체적으로 나타낸 블럭 구성도이다.
이미지 처리부(1010)는 차량의 실 위치 값을 추정하기 위해 이차원 영상 내에서 좌표점을 얻는 일련의 과정을 수행한다.
본 실시예에 따른 이미지 처리부(1010)는 객체 관찰부(1110), 객체 위치 추정부(1120), 2D 정합부(1130)를 포함한다. 이미지 처리부(1010)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.
객체 관찰부(1110)는 보정 이차원 영상으로부터 특정객체(차량 바퀴)가 관찰되는 영상을 관찰 가능 영상으로 분류하고, 보정 이차원 영상으로부터 보정 이차원 영상 중 관찰 가능 영상을 제외한 프레임을 특정객체(차량 바퀴) 위치를 추정할 수 있는 영상을 추정 가능 영상으로 분류한다.
다시 말해, 객체 관찰부(1110)는 보정된 이차원 영상에서 차량 바퀴가 관찰되는 영상(이하 ‘관찰 가능 영상’이라 함) 또는 차량 바퀴 위치를 추정할 수 있는 영상(이하 ‘추정 가능 영상’이라 함)을 추출한다.
객체 위치 추정부(1120)는 관찰 가능 영상으로부터 특정객체(차량 바퀴)의 바닥면 좌표에 대응하는 특정객체 2D 좌표(차량 바퀴 2D 좌표)를 직접적으로 추출한다. 객체 위치 추정부(1120)는 2D 정합 영상으로부터 특정객체(차량 바퀴)의 바닥면 좌표에 대응하는 특정객체 2D 좌표(차량 바퀴 2D 좌표)를 간접적으로 산출한다.
다시 말해, 객체 위치 추정부(1120)는 객체 관찰부(1110)로부터 관찰 가능 영상을 수신한 경우, 관찰 가능 영상으로부터 차량바퀴의 2D 좌표를 직접적으로 얻는다. 객체 위치 추정부(1120)는 2D 정합부(1130)로부터 정합된 추정 가능 영상을 수신한 경우, 정합된 추정 가능 영상으로부터 차량바퀴의 2D 좌표를 간접적으로 얻는다.
2D 정합부(1130)는 추정 가능 영상 내에 인식되는 객체(차량)와 유사한 각도의 동일 객체 모델(차량 모델) 이미지를 획득하고, 동일 객체 모델 이미지 내에 2D 정합을 위한 특징점을 부여하고, 특징점을 기초로 추정 가능 영상과 동일 객체 모델 이미지를 2D 정합한 2D 정합 영상을 생성한다.
다시 말해, 2D 정합부(1130)는 객체 관찰부(1110)로부터 추정 가능 영상을 수신한 경우, 추정 가능 영상에 대하여는 2D 정합을 수행한다. 2D 정합부(1130)는 2D 정합을 수행한 추정 가능 영상을 객체 위치 추정부(1120)로 전송한다.
도 12는 본 실시예에 따른 차량 바퀴가 관찰되는 프레임에서의 바닥면 좌표 추출 예시를 나타낸 도면이다.
객체 위치 추정부(1120)는 관찰 가능 영상으로부터 차량 바퀴의 바닥면 좌표 추출한다. 객체 위치 추정부(1120)는 보정된 이차원 영상으로부터 차량이 움직이는 순간부터 차량이 멈추는 순간까지의 모든 프레임을 추출한다. 객체 위치 추정부(1120)는 모든 프레임을 관찰한 후 도 12에 도시된 바와 같이, 차량의 바퀴가 관찰되는 프레임에서 해당 차량의 바퀴의 바닥면 좌표를 추출한다.
도 13은 본 실시예에 따른 추정 가능 영상을 나타낸 도면이다.
2D 정합부(1130)는 객체 위치 추정부(1120)에서 추정 가능 영상으로부터 차량 바퀴의 바닥면 좌표 추출할 수 있도록 2D 정합을 수행한다. 2D 정합부(1130)는 관찰 가능 영상을 제외한 프레임 중 도 13에 도시된 바와 같은 차량의 바퀴 위치를 추정할 수 있는 프레임을 선별한다. 2D 정합부(1130)는 도 13에 도시된 바와 같이 바퀴 위치를 추정하고자 하는 해당 차량의 모델을 추정한다.
2D 정합부(1130)는 도 14에 도시된 바와 같이, 추정 가능 영상 내에서 관찰되는 차량과 유사한 각도의 동일 차량 모델의 이미지를 획득한다.
2D 정합부(1130)는 도 15에 도시된 바와 같이, 추정 가능 영상 내 차량과 이와 유사한 각도의 동일 차량에 정합을 위한 특징점을 각각 부여한다.
2D 정합부(1130)는 도 16에 도시된 바와 같이, 동일 차량에 대해 특징점이 부여된 영상을 서로 정합한다. 객체 위치 추정부(1120)는 2D 정합부(1130)로부터 두 차량에 대한 정합 결과로, 정합 영상을 수신한다. 객체 위치 추정부(1120)는 정합 영상으로부터 차량 바퀴의 바닥면 좌표를 추출한다.
도 17은 본 실시예에 따른 포인트 클라우드 처리부를 구체적으로 나타낸 블럭 구성도이다.
포인트 클라우드 처리부(1020)는 보정된 이차원 영상과 포인트 클라우드(.ply 형식)을 이용하여 정합한다. 포인트 클라우드 처리부(1020)는 정합 영상(보정된 이차원 영상과 포인트 클라우드)으로부터 해당 영상을 촬영한 카메라의 촬영 위치를 추정한다.
본 실시예에 따른 포인트 클라우드 처리부(1020)는 3D 정합부(1710), 카메라 촬영위치 추정부(1720)를 포함한다. 포인트 클라우드 처리부(1020)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.
3D 정합부(1710)는 편집 포인트 클라우드 데이터 상에 가상 카메라를 위치시키고, 가상 카메라의 시점을 추정 가능 영상 내의 특정 피사체에 대해 실제 카메라가 바라보고 있는 시점과 동일하게 변경한 후 추정 가능 영상과 편집 포인트 클라우드 데이터를 정합한 3D 정합 영상을 생성한다.
다시 말해, 3D 정합부(1710)는 차량바퀴 위치 추정 가능 영상과 편집 포인트 클라우드를 입력받는다. 3D 정합부(1710)는 차량바퀴 위치 추정 가능 영상과 편집 포인트 클라우드를 정합한 3D 정합 영상을 출력한다.
카메라 촬영위치 추정부(1720)는 3D 정합 영상으로부터 가상 카메라의 위치값(X,Y,Z) 및 회전값 (Yaw,Pitch,Roll)을 추출하여 카메라 위치 좌표로 추정한다.
다시 말해, 카메라 촬영위치 추정부(1720)는 3D 정합 영상으로부터 해당 영상을 촬영한 카메라 위치(X,Y,Z,Yaw,Pitch,Roll)를 추정한다.
도 18은 본 실시예에 따른 예시 영상과 가상 카메라의 영상 정합을 나타낸 도면이다.
3D 정합부(1710)는 이차원 복원 영상(2D 영상)과 포인트 클라우드(3D 공간) 간의 정합 및 카메라 촬영 위치를 추출을 위하여 도 18의 (a)에 도시된 바와 같이 포인트 클라우드 공간 상에서 가상의 카메라를 위치시킨다.
3D 정합부(1710)는 3D 정합을 하기 위해서는 이차원 영상을 촬영한 촬영 기기의 내부 제원과 동일한 가상의 카메라가 구성되어야 하며, 가상 카메라 위치 시에 실제 카메라와 동일한 제원을 가진 가상 카메라를 이용한다.
3D 정합부(1710)는 정합의 대상이 되는 예시 영상의 해상도(Resolution)는 (예컨대, 가로 1280px) x (세로 720px)로, 도 18의 (b)에 도시된 바와 같이 가상 카메라로부터 관찰될 영상의 해상도를 예시 영상의 해상도와 동일하게 설정한다.
3D 정합부(1710)는 포인트 클라우드 상에서의 가상 카메라 제원설정 및 위치 한 후, 도 18의 (b)와 같이 가상 카메라의 시점을 특정 피사체에 대해 실제 카메라가 바라보고 있는 시점과 같이 변경한다.
3D 정합부(1710)는 이차원 영상에 대응하는 가상 카메라의 영상을 서로 정합하기 위하여 가상 카메라의 위치 값을 정밀 조정하는 과정을 수행한다. 도 18의 (c)는 예시 영상과 포인트 클라우드 상의 가상 카메라 영상을 서로 정합한 후 나타나는 중첩 영상이다.
도 19는 본 실시예에 따른 가상 카메라의 위치 및 회전 값 추출을 나타낸 도면이다.
카메라 촬영위치 추정부(1720)는 도 19에 도시된 바와 같이 이차원 영상과 동일하게 바라보고 있는 카메라의 위치 값(X,Y,Z)과 회전 값(Yaw,Pitch,Roll)을 추출한다.
카메라 촬영위치 추정부(1720)는 도 19에 도시된 바와 같이, 가상 카메라의 위치값 (X,Y,Z) 및 회전값 (Yaw,Pitch,Roll)을 조정할 시, 일정한 간격으로 이동(단위 : mm) 및 위치(단위 : °)하도록 하고 정합 후 카메라 위치 값에 대한 추출과 정합 검증을 위한 영상의 불투명도(Opacity)를 조정 하도록 하는 코드를 추출한다.
도 20은 본 실시예에 따른 카메라의 Yaw, Pitch, Roll을 설명하기 위한 도면이다.
카메라 촬영위치 추정부(1720) 도 20에 도시된 바와 같이, X축을 기준으로 카메라가 회전하는 것을 Roll(단위 : °), Y축을 기준으로 카메라가 회전하는 것을 Pitch (단위 : °), Z축을 기준으로 카메라가 회전하는 것을 Yaw(단위 : °)를 추출한다.
도 21,22는 본 실시예에 따른 실좌표계 처리부를 구체적으로 나타낸 블럭 구성도이다.
본 실시예에 따른 실좌표계 처리부(230)는 이미지 실좌표계 변환부(2110), 카메라 실좌표계 변환부(2210)를 포함한다. 실좌표계 처리부(230)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.
이미지 실좌표계 변환부(2110)는 추정 가능 영상을 기반으로 특정객체 2D 좌표(차량 바퀴 2D 좌표)를 이미지 실좌표계로 변환한다.
다시 말해, 이미지 실좌표계 변환부(2110)는 이미지 처리부(1010)로부터 얻은 영상 및 2D 좌표를 이용하여 포인트 클라우드 상의 실좌표로 변환(이미지 실좌표계 변환)한다.
카메라 실좌표계 변환부(2210)는 카메라 위치 좌표, 이미지 실좌표계를 이용하여 카메라 위치 좌표를 3D 공간 상에서 카메라가 바라보는 시점을 기준으로 이미지를 시각화하고자 하는 위치에 대한 카메라 시점 실좌표계로 변환한다.
다시 말해, 카메라 실좌표계 변환부(2210)는 포인트 클라우드 처리부(1020)로부터 얻은 (가상)카메라의 블랙박스 위치와 이미지 실좌표계 변환으로부터 얻은 이미지 실좌표계를 이용하여 3D 공간 상에서 카메라가 바라보는 시점을 기준으로 하여 이미지를 시각화하고 분석하고자 하는 위치에 대한 실좌표계(카메라 시점 실좌표계)를 얻는다.
도 23은 본 실시예에 따른 이미지 실좌표계 변환부를 구체적으로 나타낸 블럭 구성도이다.
이미지 실좌표계 변환부(2110)에서 이미지 처리부(1010)로부터 얻은 차량 바퀴 관찰 또는 추정 가능 영상(2D 영상)은 유닛(Unit) 단위가 픽셀(Pixel)인데 반해, 3D 공간(실세계)의 Unit 단위는 미터(m)로 그 단위가 각기 다르다.
2D 영상에서 분석하고자 하는 좌표점은 2차원으로 X,Y점만으로 구성되지만, 3D 공간(실세계)에서의 좌표점은 3차원으로 X,Y,Z로 구성되어 그 차원이 각기 다르다.
이미지 실좌표계 변환부(2110)는 변환 과정에서는 단위 및 차원이 서로 다른 문제를 해결하기 위하여 2D 영상을 3D 공간 상에서의 단위 및 차원으로 변경하는 과정을 수행한다.
본 실시예에 따른 이미지 실좌표계 변환부(2110)는 비율 계산부(2310), 카메라 FOV 측정부(2320), 초점거리 계산부(2330)를 포함한다. 이미지 실좌표계 변환부(2110)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.
비율 계산부(2310)는 추정 가능 영상의 영상 높이와 너비의 비율을 기반으로 실제 높이와 실제 너비의 비율을 산출하여 이미지 실좌표를 추출한다.
다시 말해, 비율 계산부(2310)는 차량 바퀴 위치 추정 가능 영상(X,Y)을 입력받는다. 비율 계산부(2310)는 차량 바퀴 위치 추정 가능 영상(X,Y)로부터 이미지 실좌표(X,Y)를 추출한다.
카메라 FOV 측정부(2320)는 카메라의 수직 FOV(Vertical Field Of View), 카메라와 사물간의 거리, 중앙으로부터의 높이를 기반으로 카메라의 FOV를 추정한다.
다시 말해, 카메라 FOV 측정부(2320)는 블랙박스, CCTV 카메라의 FOV(Field Of View)를 측정한다. 카메라 FOV 측정부(2320)는 블랙박스, CCTV 카메라의 FOV를 초점거리 계산부(2330)로 전송한다.
초점거리 계산부(2330)는 카메라의 FOV를 이용하여 3D 공간 상에서의 카메라와 영상 간의 거리 실좌표 Z를 포함하는 초점거리를 계산하고, 초점거리를 이용하여 특정객체 2D 좌표(차량 바퀴 2D 좌표)를 이미지 실좌표계로 변환한다.
다시 말해, 초점거리 계산부(2330)는 카메라 FOV 측정부(2320)로부터 수신된 카메라의 FOV를 이용하여 초점 거리를 계산하고, 초점 거리를 이용하여 이미지 실좌표(X,Y)를 추출한다.
도 24는 본 실시예에 따른 3D 상의 이미지 실높이 및 실너비를 나타낸 도면이다.
비율 계산부(2310)는 3D 공간 상에 위치할 2D 영상의 높이(h)가 1m라고 할 때, 높이의 비율만큼 2D 영상의 너비(w)를 구하는 과정으로, [수학식1]와 같은 관계식을 통해 2D 영상의 너비를 구한다.
Figure pat00001
비율 계산부(2310)는 [수학식1]의 계산으로 얻어진 3D 영상(도 24에 도시된 바와 같음)의 높이와 너비로부터 이미지의 실좌표(X,Y)를 얻을 수 있다.
초점거리 계산부(2330)는 초점 거리(Focal length) 계산을 위해 도 25에 도시된 바와 같이, 카메라와 상이 맺히는 거리를 확인한다. 실좌표 Z는 3D 공간 상에서의 카메라와 영상 간의 거리를 의미한다.
초점거리 계산부(2330)는 도 26에 도시된 바와 같은 관계에 의해서 실좌표 Z(카메라의 초점거리)를 얻을 수 있다. 초점거리 계산부(2330)는 실좌표 Z를 취득하기 위해서는 먼저 카메라의 수직 화각(Vertical Field Of View) 값을 알아야한다.
초점거리 계산부(2330)는 도 27에 도시된 바와 같이, 화각을 사물까지의 거리, 중앙으로부터의 높이에 의해 취득할 수 있으며, 예시 영상을 촬영한 기기와 동일한 촬영 모델을 이용하여 화각을 구한다.
초점거리 계산부(2330)는 도 28에 도시된 바와 같이, 카메라로 길이를 계측할 수 있는 피사체를 촬영한 후 왜곡을 보정한다. 초점거리 계산부(2330)는 도 29에 도시된 바와 같이, 보정 후 영상의 중앙으로부터의 높이와 카메라와 사물간의 거리를 이용하여 카메라 화각(32°)을 추정한다. 초점거리 계산부(2330)는 카메라 화각에 의한 초점거리(실좌표Z)를 구한 후 이를 반영하여 도 30에 도시된 바와 같은 이미지 실좌표계 영상을 구한다.
도 31은 본 실시예에 따른 카메라 실좌표계 변환부를 구체적으로 나타낸 블럭 구성도이다.
본 실시예에 따른 카메라 실좌표계 변환부(2210)는 카메라 시점 위치 계산부(3110), 카메라 시점 이미지 실좌표 계산부(3120)를 포함한다. 카메라 실좌표계 변환부(2210)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.
카메라 시점 위치 계산부(3110)는 카메라 위치 좌표에 포함된 가상 카메라의 위치값(X,Y,Z) 및 회전값(Yaw,Pitch,Roll)을 행렬로 변환한다.
다시 말해, 카메라 시점 위치 계산부(3110)는 포인트 클라우드 처리부(1020)로부터 얻은 카메라 위치(X,Y,X,Yaw,Pitch,Roll)를 수신한다. 카메라 시점 위치 계산부(3110)는 카메라 위치(X,Y,X,Yaw,Pitch,Roll)를 4x4행렬로 변환한다. 카메라 시점 위치 계산부(3110)는 4x4행렬로 변환한 카메라 위치를 카메라 시점 이미지 실좌표 계산부(3120)로 전송한다.
카메라 시점 이미지 실좌표 계산부(3120)는 이미지 실좌표계와 행렬의 관계에 의해 카메라 시점 실좌표계를 생성한다.
다시 말해, 카메라 시점 이미지 실좌표 계산부(3120)는 이미지 실좌표계 변환부(2110)로부터 얻은 이미지 실좌표계를 이용하여 3D 포인트 클라우드 공간 상에서의 카메라가 바라보는 시점에 의한 영상으로 위치시키는 변환 과정을 수행한다.
도 32는 본 실시예에 따른 카메라 시점 실좌표계 영상을 나타낸 도면이다.
포인트 클라우드 공간 상에서 카메라 시점으로 바라본 영상이 놓여지기 위해 영향을 미치는 요소는 카메라의 위치(X,Y,Z)와 카메라의 Yaw(Z축 회전값), Pitch(Y축 회전값), Roll(X축 회전값) 총 6가지이다.
카메라 시점 이미지 실좌표 계산부(3120)는 카메라 시점 요소 중 Yaw,Pitch,Roll 값을 반영하여 [수학식2]와 같이 카메라의 시점에 대한 관계를 만든다.
Figure pat00002
카메라 시점 이미지 실좌표 계산부(3120)는 [수학식2]로부터 카메라 시점의 실좌표계로 변환할 수 있는 변환 행렬(4x4)을 생성한다.
카메라 시점 이미지 실좌표 계산부(3120)는 [수학식3]의 빈행렬(3x3)에는 각각 rotateYaw, rotatePitch, rotateRoll 행렬을 대입한다.
카메라 시점 이미지 실좌표 계산부(3120)는 각 X,Y,Z 에는 카메라의 위치(X,Y,Z)가 각각 대입된다.
Figure pat00003
카메라 시점 이미지 실좌표 계산부(3120)는 카메라 시점 위치 계산으로부터 각 영상마다 카메라 실좌표계의 변환 행렬이 생성되며, 앞서 살펴보았던 이미지 실좌표계(X,Y,Z)와 [수학식2],[수학식3]과 같은 관계에 의해 카메라 시점으로 바라본 실좌표계 영상은 도 32에 도시된 바와 같다.
도 33은 본 실시예에 따른 이미지 실좌표계 변환 후 영상 및 개념도를 나타낸 도면이다.
이미지 실좌표계 변환 과정을 거쳐 포인트 클라우드 상의 카메라 기준으로 영상을 바라본 영상은 도 33에 도시된 바와 같다.
특정 바닥면의 위치값(다물체 위치값)은 카메라가 위치한 점과 이미지 실좌표계의 특정 바닥면의 위치점을 일직선으로 이었을 때, 바닥면의 값(Z)이 0이 되는 때의 X,Y좌표를 의미한다.
도 34는 본 실시예에 따른 계측부를 구체적으로 나타낸 블럭 구성도이다.
계측부(240)는 이차원 영상 내 차량 바퀴 바닥면의 위치 값을 계측한다. 계측부(240)는 계측에 대한 오차값을 얻기 위해 검증 촬영을 하고 검증 영상에 대한 오차값을 도출한다. 계측부(240)는 다물체 위치값을 얻기 위한 계측과정을 수행한다.
본 실시예에 따른 계측부(240)는 바닥면 생성부(3410), 광선 추적부(3420)를 포함한다. 계측부(240)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.
바닥면 생성부(3410)는 추정 가능 영상 내 특정 객체(차량 바퀴) 바닥면을 생성한다. 다시 말해, 바닥면 생성부(3410)는 계측 과정 중 바닥면 생성 과정은 노이즈성 데이터가 많은 포인트 클라우드의 바닥면을 보정한다.
광선 추적부(3420)는 카메라 시점 실좌표계, 카메라 원점(X,Y,Z)을 기반으로 광선 추적 기법(Ray tracing)을 적용하여 바닥면 상에서 카메라의 위치와 물체 위치를 일직선으로 이었을 때의 교점 중 하나를 다물체 위치로 계측한다.
다시 말해, 광선 추적부(3420)는 광선 추적 기법을 활용하여 카메라 위치(X,Y,Z)와 이미지의 바닥 실좌표점(X,Y,Z)을 일직선으로 이어 Z값이 0이 되는 X와 Y점5)을 도출하여 최종적으로 다물체의 위치를 얻는다.
포인트 클라우드 내 바닥면을 구성하는 점의 집합은 도 35에 도시된 바와 같이, 균일하게 형성되어 있지 않다.
포인트 클라우드의 바닥면은 도 36에 도시된 바와 같이, 표면이 고르지 못한 울퉁불퉁한 지면이 많아 계측 관점에서 노이즈(Noise) 데이터들이 다수 존재한다. 따라서, 바닥면의 문제로 인해 바닥면에 대한 일부 보정 및 보간 과정이 필요한다.
도 37는 본 실시예에 따른 바닥면 생성부를 구체적으로 나타낸 블럭 구성도이다.
본 실시예에 따른 바닥면 생성부(3410)는 바닥 그리드 생성부(3810), 노이즈 데이터 처리부(3820)를 포함한다. 바닥면 생성부(3410)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.
바닥 그리드 생성부(3810)는 편집 포인트 클라우드 데이터를 보정하기 위해 바닥면에 그리드를 추가한다.
다시 말해, 바닥 그리드 생성부(3810)는 편집 포인트 클라우드를 수신한다. 바닥 그리드 생성부(3810)는 편집 포인트 클라우드를 보정하기 위해 바닥면에 그리드를 추가한다. 바닥 그리드 생성부(3810)는 그리드를 추가한 편집 포인트 클라우드를 노이즈 데이터 처리부(3820)로 전송한다.
노이즈 데이터 처리부(3820)는 그리드가 추가된 편집 포인트 클라우드 데이터에서 균일하게 형성되지 않은 점을 보간한 보정 바닥 그리드를 생성한다.
다시 말해, 노이즈 데이터 처리부(3820)는 그리드를 추가한 편집 포인트 클라우드를 바닥 그리드 생성부(3810)로부터 수신한다. 노이즈 데이터 처리부(3820)는 그리드를 추가한 편집 포인트 클라우드에서 데이터를 처리한 보정 바닥 그리드를 적용한다.
노이즈 데이터 처리부(3820)는 그리드를 추가한 편집 포인트 클라우드에서 데이터를 처리한 보정 바닥 그리드를 적용하기 위해, 먼저 균일하게 형성되지 않은 점 데이터에 관하여 도 38에 도시된 바와 같이, 3차원 산점 데이터에 대하여 보간을 한 후 그리드 형태로 구성하여 균일한 형성된 좌표로 구성한다.
이후, 노이즈 데이터 처리부(3820)는 바닥면의 노이즈 데이터를 처리하기 위하여 다항식 보간(Polynomial interpolation)방법을 이용하여 도 39에 도시된 바와 같이, 바닥면을 보정한다.
도 40는 본 실시예에 따른 광선 추적부를 구체적으로 나타낸 도면이다.
광선 추적부(3420)는 카메라 시점 실좌표계 차량 바퀴점(X,Y,Z)과 카메라 원점(X,Y,Z)를 수신한다. 광선 추적부(3420)는 카메라 시점 실좌표계 차량 바퀴점(X,Y,Z)과 카메라 원점(X,Y,Z)을 이용하여 다물체 위치(X,Y,Z)를 산출한다.
광선 추적부(3420)는 광선 추적 기법(Ray tracing) 이용하여 생성된 바닥면 위에 실좌표계 처리 과정을 통해 얻어진 카메라 위치 및 카메라 실좌표를 이용하여 광선 추적 기법을 통해 물체 위치를 얻는다.
광선 추적부(3420)는 카메라 실좌표로서 도 41에 도시된 바와 같이, 카메라의 위치와 물체 위치를 일직선으로 이었을 때의 교점 중 하나라는 광선 추적 기법을 활용한다.
도 42는 본 실시예에 따른 데이터 후처리부의 데이터 근사 과정 다이어그램을 나타낸 도면이다.
데이터 후처리부(250)는 다항식 모델(Polynomial Model)로서, 잔차를 이용한 선별법, 예상 범주(Prediction Intervals)를 이용한 선별법, 피팅의 적합도(Godness-of-Fit)를 이용한 선별법 중 어느 하나를 이용하여 근사된 다물체 위치값을 산출한다.
다시 말해, 데이터 후처리부(250)는 계측 과정을 통해 얻어진 다물체 위치를 다항식 모델(Polynomial Model)을 이용하여 근사(Fitting)하는 과정을 수행한다. 데이터 후처리부(250)는 다물체 위치(X,Y)를 입력받는다. 데이터 후처리부(250)는 다항식 모델을 이용하여 근사된 다물체 위치(X,Y)를 출력한다.
도 43는 본 실시예에 따른 다항식 차수별 모델 및 지수 함수 모델 적용한 데이터 근사를 나타낸 그래프이다.
데이터 후처리부(250)는 데이터 근사(Fitting) 과정으로 분석한 데이터(다물체 위치값)를 가장 잘 설명할 수 있는 함수를 찾는 과정을 수행하여 존재하지않는 데이터를 데이터의 경향성을 따져 보간하거나 경향에 비추어 발생한 데이터의 오류를 보정한다.
데이터 후처리부(250)는 계측에 대한 오차(계측값과 참값의 차이)가 존재하며, 계측값에 대한 불확도가 존재하므로 이러한 계측값에 대한 불확도를 줄이는 방법으로 데이터 근사를 이용한다.
데이터 후처리부(250)는 데이터 근사 방법 중 하나인 다항식 근사 모델(Polynomial curve fitting model)을 이용한 근사 방법을 이용한다. 데이터 후처리부(250)는 해당 데이터를 가장 잘 설명하는 근사모델을 선별하는 방법으로 세부적으로 잔차를 이용한 선별법, 예상 범주(Prediction Intervals)를 이용한 선별법, 피팅의 적합도(Godness-of-Fit)를 이용한 선별법 등을 이용한다.
데이터 후처리부(250)는 근사된 데이터의 경향이 유사한 것들 중에 선별하는 방법으로, 일반적으로 데이터를 그래프화(Plotting)하여 나타나는 경향성을 따져 데이터를 가장 잘 설명하는 근사 모델에 대한 판단이 가능하다. 데이터 후처리부(250)는 도 43에 도시된 바와 같이 해당 데이터를 2차 다항식 모델이 데이터를 가장 잘 설명할 수 있는 데이터로 나타낸다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
110: 다물체 동역학 DB
120: 피사체 위치 계측장치
130: 다물체 위치 DB
210: 데이터 전처리부 220: 데이터 처리부
230: 실좌표계 처리부 240: 계측부
250: 데이터 후처리부
310: 이미지 전처리부 320: 포인트 클라우드 전처리부
410: 카메라 캘리브레이션부
420: 영상 왜곡 보정부
610: 체크 보드 촬영부 620: 캘리브레이션부
630: 보정결과 평가부
810: 구역별 편집부 820: 포맷 변환부
910: 이차원 영상 관찰부 920: 구역 크롭부
1010: 이미지 처리부 1020: 포인트 클라우드 처리부
1110: 객체 관찰부 1120: 객체 위치 추정부
1130: 2D 정합부
1710: 3D 정합부 1720: 카메라 촬영위치 추정부
2110: 이미지 실좌표계 변환부
2210: 카메라 실좌표계 변환부
2310: 비율 계산부
2320: 카메라 FOV 측정부
2330: 초점거리 계산부
3110: 카메라 시점 위치 계산부
3120: 카메라 시점 이미지 실좌표 계산부
3410: 바닥면 생성부
3420: 광선 추적부
3810: 바닥 그리드 생성부
3820: 노이즈 데이터 처리부

Claims (15)

  1. 입력된 이차원 영상에 대한 왜곡보정 및 캘리브레이션을 수행한 보정 이차원 영상을 출력하며, 입력된 포인트 클라우드 데이터에 대한 크롭 및 포맷 변환을 수행한 편집 포인트 클라우드 데이터를 출력하는 데이터 전처리부(Data Pre-Processing);
    상기 보정 이차원 영상으로부터 특정객체 2D 좌표를 산출하고, 상기 편집 포인트 클라우드 데이터로부터 카메라 위치 좌표를 산출하는 데이터 처리부(Data Processing);
    상기 특정객체 2D 좌표를 이미지 실좌표계로 변환하고, 상기 카메라 위치 좌표를 카메라 시점 실좌표계로 변환하는 실좌표계 처리부(World Coordinates Processing);
    상기 편집 포인트 클라우드 데이터, 상기 카메라 시점 실좌표계, 카메라 원점을 기반으로 다물체 위치를 계측하는 계측부(Measurement); 및
    상기 다물체 위치에 다항식 모델을 적용하여 근사된 다물체 위치값을 산출하는 데이터 후처리부(Data Post-Processing)
    를 포함하는 것을 특징으로 하는 피사체 위치 계측장치.
  2. 제1항에 있어서,
    상기 데이터 전처리부는,
    상기 이차원 영상에 대한 카메라 렌즈로부터 발생한 왜곡(distortion)을 보정(Calibration)한 상기 보정 이차원 영상을 출력하는 이미지 전처리부(Image pre-processing);
    상기 포인트 클라우드 데이터 중 관찰 구역에 대응하는 구역만을 크롭(Crop)한 후 데이터 처리를 위한 포맷으로 변환한 상기 편집 포인트 클라우드 데이터를 출력하는 포인트 클라우드 전처리부(Point cloud pre-processing);
    를 포함하는 것을 특징으로 하는 피사체 위치 계측장치.
  3. 제2항에 있어서,
    상기 이미지 전처리부는
    상기 이차원 영상의 각 프레임마다 카메라 캘리브레이션을 수행하여 보정 파라미터를 산출하는 카메라 캘리브레이션부;
    상기 보정 파라미터를 상기 이차원 영상에 적용하여 영상 왜곡을 보정한 상기 보정 이차원 영상을 생성하는 영상 왜곡 보정부
    를 포함하는 것을 특징으로 하는 피사체 위치 계측장치.
  4. 제3항에 있어서,
    상기 카메라 캘리브레이션부는,
    상기 이차원 영상을 촬영한 동일 촬영장비 체크보드를 촬영한 체크보드 영상을 생성하고, 상기 체크보드 영상에서 복수의 체크보드 이미지를 추출하는 체크 보드 촬영부;
    상기 체크보드 영상에 대한 사각형 길이를 입력받고, 상기 사각형 길이를 기반으로 상기 체크보드 영상 내의 체크보드를 탐지하고, 탐지된 상기 체크보드 내의 각 교점이 실제 데이터와 맞는지 확인한 후 상기 체크보드 영상을 보정한 캘리브레이션 이미지를 생성하는 캘리브레이션부;
    상기 캘리브레이션 이미지에 대한 카메라 외부 파라미터 검사 및 왜곡 보정을 확인한 보정 결과 데이터를 생성하고, 상기 보정 결과 데이터에 대한 보정 파라미터를 추출하는 보정결과 평가부
    를 포함하는 것을 특징으로 하는 피사체 위치 계측장치.
  5. 제2항에 있어서,
    상기 포인트 클라우드 전처리부는,
    대용량의 상기 포인트 클라우드 데이터를 상기 이차원 영상에 대응하는 영역의 위치값 분석에 필요한 만큼의 관찰 구역이 되도록 상기 포인트 클라우드 데이터로 줄인 상기 편집 포인트 클라우드를 생성하여 출력하는 구역별 편집부;
    상기 포인트 클라우드 데이터의 데이터 포맷을 변환하는 포맷 변환부
    를 포함하는 것을 특징으로 하는 피사체 위치 계측장치.
  6. 제5항에 있어서,
    상기 구역별 편집부는
    상기 포인트 클라우드 데이터 중 상기 이차원 영상에 대응하는 위치값을 갖는 데이터만을 선별하는 이차원 영상 관찰부;
    상기 포인트 클라우드 데이터 중 상기 이차원 영상에 대응하는 위치값을 갖는 데이터만을 크롭하여 상기 편집 포인트 클라우드 데이터로 생성하는 구역 크롭부;
    를 포함하는 것을 특징으로 하는 피사체 위치 계측장치.
  7. 제1항에 있어서,
    상기 데이터 처리부는,
    상기 보정 이차원 영상으로부터 특정객체 위치에 대한 특정객체 2D 좌표(X,Y)를 산출하는 이미지 처리부(Image processing);
    상기 보정 이차원 영상과 상기 편집 포인트 클라우드를 정합한 영상으로부터 상기 카메라 위치 좌표를 산출하는 포인트 클라우드 처리부(Point cloud processing)
    를 포함하는 것을 특징으로 하는 피사체 위치 계측장치.
  8. 제7항에 있어서,
    상기 이미지 처리부는,
    상기 보정 이차원 영상으로부터 특정객체가 관찰되는 영상을 관찰 가능 영상으로 분류하고, 상기 보정 이차원 영상으로부터 상기 보정 이차원 영상 중 상기 관찰 가능 영상을 제외한 프레임을 특정객체 위치를 추정할 수 있는 영상을 추정 가능 영상으로 분류하는 객체 관찰부;
    상기 추정 가능 영상 내에 인식되는 객체와 유사한 각도의 동일 객체 모델 이미지를 획득하고, 상기 동일 객체 모델 이미지 내에 2D 정합을 위한 특징점을 부여하고, 상기 특징점을 기초로 상기 추정 가능 영상과 상기 동일 객체 모델 이미지를 2D 정합한 2D 정합 영상을 생성하는 2D 정합부;
    상기 관찰 가능 영상으로부터 특정객체의 바닥면 좌표에 대응하는 상기 특정객체 2D 좌표를 직접적으로 추출하며, 상기 2D 정합 영상으로부터 특정객체의 바닥면 좌표에 대응하는 상기 특정객체 2D 좌표를 간접적으로 산출하는 객체 위치 추정부;
    를 포함하는 것을 특징으로 하는 피사체 위치 계측장치.
  9. 제7항에 있어서,
    상기 포인트 클라우드 처리부는,
    상기 편집 포인트 클라우드 데이터 상에 가상 카메라를 위치시키고, 상기 가상 카메라의 시점을 상기 추정 가능 영상 내의 특정 피사체에 대해 실제 카메라가 바라보고 있는 시점과 동일하게 변경한 후 상기 추정 가능 영상과 상기 편집 포인트 클라우드 데이터를 정합한 3D 정합 영상을 생성하는 3D 정합부;
    상기 3D 정합 영상으로부터 상기 가상 카메라의 위치값(X,Y,Z) 및 회전값 (Yaw,Pitch,Roll)을 추출하여 상기 카메라 위치 좌표로 추정하는 카메라 촬영위치 추정부;
    를 포함하는 것을 특징으로 하는 피사체 위치 계측장치.
  10. 제1항에 있어서,
    상기 실좌표계 처리부는,
    상기 추정 가능 영상을 기반으로 상기 특정객체 2D 좌표를 이미지 실좌표계로 변환하는 이미지 실좌표계 변환부(Image transformation to world coordinates);
    상기 카메라 위치 좌표, 상기 이미지 실좌표계를 이용하여 상기 카메라 위치 좌표를 3D 공간 상에서 카메라가 바라보는 시점을 기준으로 이미지를 시각화하고자 하는 위치에 대한 상기 카메라 시점 실좌표계로 변환하는 카메라 실좌표계 변환부(Camera transformation to world coordinates);
    를 포함하는 것을 특징으로 하는 피사체 위치 계측장치.
  11. 제10항에 있어서,
    상기 이미지 실좌표계 변환부는,
    상기 추정 가능 영상의 영상 높이와 영상 너비의 비율을 기반으로 실제 높이와 실제 너비의 비율을 산출하여 이미지 실좌표를 추출하는 비율계산부;
    카메라의 수직 FOV(Vertical Field Of View), 카메라와 사물간의 거리, 중앙으로부터의 높이를 기반으로 카메라의 FOV를 추정하는 카메라 FOV 측정부;
    상기 카메라의 FOV를 이용하여 3D 공간 상에서의 카메라와 영상 간의 거리 실좌표 Z를 포함하는 초점거리를 계산하고, 상기 초점거리를 이용하여 상기 특정객체 2D 좌표를 상기 이미지 실좌표계로 변환하는 초점거리 계산부;
    를 포함하는 것을 특징으로 하는 피사체 위치 계측장치.
  12. 제10항에 있어서,
    상기 카메라 실좌표계 변환부는,
    상기 카메라 위치 좌표에 포함된 상기 가상 카메라의 위치값(X,Y,Z) 및 회전값(Yaw,Pitch,Roll)을 행렬로 변환하는 카메라 시점 위치 계산부;
    상기 이미지 실좌표계와 상기 행렬의 관계에 의해 카메라 시점 실좌표계를 생성하는 카메라 시점 이미지 실좌표 계산부;
    를 포함하는 것을 특징으로 하는 피사체 위치 계측장치.
  13. 제1항에 있어서,
    상기 계측부는,
    상기 추정 가능 영상 내 특정 객체 바닥면을 생성하는 바닥면 생성(Floor generation)
    상기 카메라 시점 실좌표계, 카메라 원점(X,Y,Z)을 기반으로 광선 추적 기법(Ray tracing)을 적용하여 상기 바닥면 상에서 카메라의 위치와 물체 위치를 일직선으로 이었을 때의 교점 중 하나를 다물체 위치로 계측하는 광선 추적부
    를 포함하는 것을 특징으로 하는 피사체 위치 계측장치.
  14. 제13항에 있어서,
    상기 바닥면 생성부는,
    상기 편집 포인트 클라우드 데이터를 보정하기 위해 상기 바닥면에 그리드를 추가하는 바닥 그리드 생성부
    상기 그리드가 추가된 상기 편집 포인트 클라우드 데이터에서 균일하게 형성되지 않은 점을 보간한 보정 바닥 그리드를 생성하는 노이즈 데이터 처리부
    를 포함하는 것을 특징으로 하는 피사체 위치 계측장치.
  15. 제1항에 있어서,
    상기 데이터 후처리부는,
    상기 다항식 모델(Polynomial Model)로서, 잔차를 이용한 선별법, 예상 범주(Prediction Intervals)를 이용한 선별법, 피팅의 적합도(Godness-of-Fit)를 이용한 선별법 중 어느 하나를 이용하여 상기 근사된 다물체 위치값을 산출하는 것을 특징으로 하는 피사체 위치 계측장치.
KR1020190056909A 2019-05-15 2019-05-15 3d 포인트 클라우드를 이용한 2d 영상에서의 피사체 위치 계측 시스템 KR102256583B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190056909A KR102256583B1 (ko) 2019-05-15 2019-05-15 3d 포인트 클라우드를 이용한 2d 영상에서의 피사체 위치 계측 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190056909A KR102256583B1 (ko) 2019-05-15 2019-05-15 3d 포인트 클라우드를 이용한 2d 영상에서의 피사체 위치 계측 시스템

Publications (2)

Publication Number Publication Date
KR20200132065A true KR20200132065A (ko) 2020-11-25
KR102256583B1 KR102256583B1 (ko) 2021-05-26

Family

ID=73645985

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190056909A KR102256583B1 (ko) 2019-05-15 2019-05-15 3d 포인트 클라우드를 이용한 2d 영상에서의 피사체 위치 계측 시스템

Country Status (1)

Country Link
KR (1) KR102256583B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112802071A (zh) * 2021-01-22 2021-05-14 北京农业智能装备技术研究中心 一种三维重建效果评价方法及系统
CN113379829A (zh) * 2021-06-16 2021-09-10 劢微机器人科技(深圳)有限公司 基于相机的尺寸测量方法、装置、设备及存储介质
CN113570517A (zh) * 2021-07-20 2021-10-29 杨建弘 用于零件二维图形校正的方法、零件测量方法及系统
CN113776505A (zh) * 2021-07-02 2021-12-10 河南理工大学 一种实现近景摄影测量和三维可视化的方法
WO2024084925A1 (en) * 2022-10-19 2024-04-25 Sony Semiconductor Solutions Corporation Information processing apparatus, program, and information processing method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023239717A1 (en) * 2022-06-07 2023-12-14 Canon U.S.A., Inc. Apparatus and method for whiteboard rectification

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003302470A (ja) * 2002-04-05 2003-10-24 Sogo Jidosha Anzen Kogai Gijutsu Kenkyu Kumiai 歩行者検出装置および歩行者検出方法
JP2009098025A (ja) * 2007-10-17 2009-05-07 Toyota Motor Corp 物体検出装置
JP2013036831A (ja) * 2011-08-08 2013-02-21 Panasonic Corp キャリブレーション装置及び歪み誤差算出方法
KR20180055292A (ko) * 2016-11-16 2018-05-25 국민대학교산학협력단 다중 라이다 좌표계 통합 방법
JP2018124973A (ja) * 2017-01-27 2018-08-09 株式会社デンソーアイティーラボラトリ 物体検出システム、物体検出装置、物体検出プログラム、及び物体検出方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003302470A (ja) * 2002-04-05 2003-10-24 Sogo Jidosha Anzen Kogai Gijutsu Kenkyu Kumiai 歩行者検出装置および歩行者検出方法
JP2009098025A (ja) * 2007-10-17 2009-05-07 Toyota Motor Corp 物体検出装置
JP2013036831A (ja) * 2011-08-08 2013-02-21 Panasonic Corp キャリブレーション装置及び歪み誤差算出方法
KR20180055292A (ko) * 2016-11-16 2018-05-25 국민대학교산학협력단 다중 라이다 좌표계 통합 방법
JP2018124973A (ja) * 2017-01-27 2018-08-09 株式会社デンソーアイティーラボラトリ 物体検出システム、物体検出装置、物体検出プログラム、及び物体検出方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112802071A (zh) * 2021-01-22 2021-05-14 北京农业智能装备技术研究中心 一种三维重建效果评价方法及系统
CN112802071B (zh) * 2021-01-22 2024-06-11 北京农业智能装备技术研究中心 一种三维重建效果评价方法及系统
CN113379829A (zh) * 2021-06-16 2021-09-10 劢微机器人科技(深圳)有限公司 基于相机的尺寸测量方法、装置、设备及存储介质
CN113776505A (zh) * 2021-07-02 2021-12-10 河南理工大学 一种实现近景摄影测量和三维可视化的方法
CN113776505B (zh) * 2021-07-02 2023-07-04 河南理工大学 一种实现近景摄影测量和三维可视化的方法
CN113570517A (zh) * 2021-07-20 2021-10-29 杨建弘 用于零件二维图形校正的方法、零件测量方法及系统
WO2024084925A1 (en) * 2022-10-19 2024-04-25 Sony Semiconductor Solutions Corporation Information processing apparatus, program, and information processing method

Also Published As

Publication number Publication date
KR102256583B1 (ko) 2021-05-26

Similar Documents

Publication Publication Date Title
KR102256583B1 (ko) 3d 포인트 클라우드를 이용한 2d 영상에서의 피사체 위치 계측 시스템
CN109737874B (zh) 基于三维视觉技术的物体尺寸测量方法及装置
US9965870B2 (en) Camera calibration method using a calibration target
KR101948852B1 (ko) 비접촉식 균열 평가를 위한 이종영상 스캐닝 방법 및 장치
EP2751521B1 (en) Method and system for alignment of a pattern on a spatial coded slide image
JP7037876B2 (ja) 自動工業検査における３ｄビジョンの使用
Dal Mutto et al. A probabilistic approach to tof and stereo data fusion
KR102122893B1 (ko) Uav 탑재용 하이브리드 이미지 스캐닝에 기반한 자동화 구조물 균열 평가 시스템 및 그 방법
US20090129666A1 (en) Method and device for three-dimensional reconstruction of a scene
KR20130099735A (ko) 원거리 획득이 가능한 ｔｏｆ카메라와 스테레오 카메라의 합성 시스템 및 방법
CN104713885A (zh) 一种用于pcb板在线检测的结构光辅助双目测量方法
KR102015706B1 (ko) 콘크리트 표면 균열 측정 장치 및 방법
CN104537707A (zh) 像方型立体视觉在线移动实时测量系统
JP5156601B2 (ja) 形状測定装置およびプログラム
WO2010071139A1 (ja) 形状測定装置およびプログラム
JP5297779B2 (ja) 形状測定装置およびプログラム
JP4843544B2 (ja) ３次元画像補正方法及びその装置
CN105953741B (zh) 一种钢结构局部几何变形的测量系统和方法
US9157874B2 (en) System and method for automated x-ray inspection
CN116433737A (zh) 一种激光雷达点云与图像配准的方法、装置及智能终端
JP2020126590A (ja) 情報処理装置、情報処理方法、及びプログラム
US20210256729A1 (en) Methods and systems for determining calibration quality metrics for a multicamera imaging system
JP2022024688A (ja) デプスマップ生成装置及びそのプログラム、並びに、デプスマップ生成システム
CN116612374A (zh) 一种基于结构光的人脸活体检测模型安全测试方法及系统
Chidburee et al. Toward 3D reconstruction of damaged vehicles for investigating traffic accidents in Thailand using a photogrammetric approach.

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant