KR20230126476A - 영상거리의 측정 방법 - Google Patents

영상거리의 측정 방법 Download PDF

Info

Publication number
KR20230126476A
KR20230126476A KR1020220023695A KR20220023695A KR20230126476A KR 20230126476 A KR20230126476 A KR 20230126476A KR 1020220023695 A KR1020220023695 A KR 1020220023695A KR 20220023695 A KR20220023695 A KR 20220023695A KR 20230126476 A KR20230126476 A KR 20230126476A
Authority
KR
South Korea
Prior art keywords
distance
camera
coordinate
coordinates
equation
Prior art date
Application number
KR1020220023695A
Other languages
English (en)
Inventor
홍교영
Original Assignee
주식회사 디지트로그
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 디지트로그 filed Critical 주식회사 디지트로그
Priority to KR1020220023695A priority Critical patent/KR20230126476A/ko
Publication of KR20230126476A publication Critical patent/KR20230126476A/ko

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/0093—Geometric image transformation in the plane of the image for image warping, i.e. transforming by individually repositioning each pixel
    • G06T3/18—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 영상거리를 측정하기 위한 방법에 관한 것으로서, 보다 상세하게는, 카메라에 의하여 촬영된 대상물 사이의 거리인 영상거리를 산출하는 거리측정부가 카메라의 내부 파라미터 픽셀 정보를 이용하여 정규좌표를 산출하는 정규좌표 산출 단계; 상기 거리측정부가 상기 정규좌표 산출 단계에서 산출된 정규좌표값을 3 차원 좌표로 변환하는 3차원 좌표 변환 단계; 상기 거리측정부가 상기 3차원 좌표 변환 단계에서 산출된 3차원 좌표를 이용하여 대상물의 월드 좌표를 산출하는 월드좌표 산출단계; 상기 거리측정부가 상기 월드좌표 산출 단계에서 산출된 월드 좌표값을 이용하여 카메라로부터 대상물이 위치하는 해당 지점까지의 거리를 산출하는 좌표간 거리계산 단계; 상기 거리측정부가 상기 좌표간 거리계산 단계에서 산출된 거리값을 이용하여 카메라로부터 대상물이 위치하는 해당 지점까지의 실제 거리를 산출하는 실제거리 계산단계; 를 포함하여 구성되는 것을 특징으로 하는 영상거리 측정방법에 관한 것이다.

Description

영상거리의 측정 방법{Method for the measurement of distance of image}
본 발명은 영상거리를 측정하기 위한 방법에 관한 것으로서, 보다 상세하게는, 카메라에 의하여 촬영된 대상물 사이의 거리인 영상거리를 산출하는 거리측정부가 카메라의 내부 파라미터 픽셀 정보를 이용하여 정규좌표를 산출하는 정규좌표 산출 단계; 상기 거리측정부가 상기 정규좌표 산출 단계에서 산출된 정규좌표값을 3 차원 좌표로 변환하는 3차원 좌표 변환 단계; 상기 거리측정부가 상기 3차원 좌표 변환 단계에서 산출된 3차원 좌표를 이용하여 대상물의 월드 좌표를 산출하는 월드좌표 산출단계; 상기 거리측정부가 상기 월드좌표 산출 단계에서 산출된 월드 좌표값을 이용하여 카메라로부터 대상물이 위치하는 해당 지점까지의 거리를 산출하는 좌표간 거리계산 단계; 상기 거리측정부가 상기 좌표간 거리계산 단계에서 산출된 거리값을 이용하여 카메라로부터 대상물이 위치하는 해당 지점까지의 실제 거리를 산출하는 실제거리 계산단계; 를 포함하여 구성되는 것을 특징으로 하는 영상거리 측정방법에 관한 것이다.
일반적으로, 카메라는 대상물을 촬영하여 대상물의 이미지를 획득하는 장치로서, 이미지의 획득과 처리 방식에 따라서 렌즈를 통하여 반사된 이미지를 필름에 인화하는 광학식 카메라와 해당 이미지를 이미지센서에 인화하는 디지털 카메라로 대분된다.
특히, 디지털 카메라의 경우 디지털 일안 반사식 카메라(digital single-lens reflex camera, DSLR)가 주로 이용되고 있으며, 나아가, 스마트폰(smart phone)에 고해상도의 이미지센서를 부착시켜 DSLR 수준의 이미지를 획득할 수 있게 됨으로써 스마트폰을 카메라 대용으로 널리 활용하고 있다.
그런데, 종래 DSLR 카메라 또는 스마트폰을 이용하여 대상물을 촬영할 경우, 카메라의 각도에 따라서 카메라와 대상물과의 거리가 상당하게 차이가 나게 되며, 특히, 카메라의 상방 또는 하방으로의 앵글 각도에 따라서 거리측정 값의 오차가 더욱 증가된다.
종래 기술에 스테레오 카메라(Stereo Camera) 또는 LIDAR, ToF(Time of Flight) 센서를 이용하여 거리 정보를 추정하는 기술이 제안되어 있으나, 스테레오 카메라는 거리의 측정 범위가 작아 실용성이 낮고, LIDAR, ToF(Time of Flight) 센서를 이용하는 방식은 고가의 비용이 소요되는 단점이 있었다.
따라서, 자율주행기술 등의 관련 연구가 상당하게 진척되고 있는 현상황에서 카메라로 촬영하는 대상물과의 거리를 정확하게 측정하는 것이 중요하게 부각되고 있는 실정이다.
한편, 종래 카메라의 앵글 각도를 조절하는 장치에 관한 선행기술로서, 대한민국특허공개공보 제 10-2010-28762 호의 카메라 삼각대용의 볼헤드에 관한 기술이 공지되어 있다.
본 발명은 상술한 바와 같은 종래의 제반 문제점을 해소하기 위하여 창안된 것으로서, 카메라와 대상물과의 거리측정을 보다 정확하게 측정할 수 있는 방법을 제공한다.
상기와 같은 기술적 과제를 달성하기 위한 본 발명의 일 실시 예에 따른 영상거리 측정 방법의 구성은, 카메라에 의하여 촬영된 대상물 사이의 거리인 영상거리를 산출하는 거리측정부와 상기 거리측정부에 의하여 측정된 영상 거리를 표시하는 표시부를 가지는 시스템에 의하여 수행되는 영상거리 측정방법에 있어서, 상기 거리측정부가 카메라의 내부 파라미터 픽셀 정보를 이용하여 정규좌표를 산출하는 정규좌표 산출 단계(S1); 상기 거리측정부가 상기 정규좌표 산출 단계(S1)에서 산출된 정규좌표값을 3 차원 좌표로 변환하는 3차원 좌표 변환 단계(S2); 상기 거리측정부가 상기 3차원 좌표 변환 단계(S2)에서 산출된 3차원 좌표를 이용하여 대상물의 월드 좌표를 산출하는 월드좌표 산출단계(S3); 상기 거리측정부가 상기 월드좌표 산출 단계(S3)에서 산출된 월드 좌표값을 이용하여 카메라(10)로부터 대상물이 위치하는 해당 지점(P)까지의 거리를 산출하는 좌표간 거리계산 단계(S4); 및 상기 거리측정부가 상기 좌표간 거리계산 단계(S4)에서 산출된 거리값을 이용하여 카메라(10)로부터 대상물이 위치하는 해당 지점(P)까지의 실제 거리를 산출하는 실제거리 계산단계(S5);를 포함하여 구성되는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 정규좌표 산출 단계(S1)는, 하기의 수학식 1 를 이용하여 정규자표를 산출하는 것을 특징으로 한다.
(수학식 1)
u = (x - cx) / fx
v = (y - cy) / fy
* 범례
cx: 픽셀 좌표계(D3)의 x축 카메라 주점
cy: 픽셀 좌표계(D3)의 y축 카메라 주점
fx: 픽셀 좌표계(D3)의 x축 카메라 초점거리
fy: 픽셀 좌표계(D3)의 y축 카메라 초점거리
또한, 상기 실시 예에 따른 정규좌표 산출 단계(S1)는, 상기 거리측정부가 재 투영오차율(reprojection error rate)이 0.3 미만의 카메라의 내부 파라미터 값을 사용하는 것을 특징으로 한다.
또한, 상기 실시 예에 따른 3차원 좌표 변환 단계(S2)는, 산출된 정규좌표값(u,v)을 월드좌표계(D4) 상의 좌표계값으로 변환하기 위하여, 하기의 수학식 2 의 3차원 좌표 변환식을 이용하여 변환하는 것을 특징으로 한다.
(수학식 2)
Pw = RPc + t
Pc = RT (Pw - t)
* 범례
Pw: 월드좌표계(D4)에서 본 P점의 좌표
Pc: 카메라좌표계(D1)에서 본 P점의 좌표
t: 두 좌표계 간 평행이동벡터
R: 두 좌표계 간 회전변환벡터
RT: R의 전치행렬
또한, 상기 실시 예에 따른 3차원 좌표 변환 단계(S2)는, 상기 수학식 2 에서 사용된 3차원 좌표로의 변환을 위하여 회전변환벡터(R)의 값과 평행이동벡터(t)의 값은 하기의 수학식 3 및 수학식 4 를 이용하여 산출하는 것을 특징으로 한다.
(수학식 3)
Rx(θ) =
Figure pat00001
Ry(θ) =
Figure pat00002
Rz(θ) =
Figure pat00003
* 범례
Rx(θ): x축을 중심으로 각도 θ 만큼 회전시키는 회전행렬
Ry(θ): y축을 중심으로 각도 θ 만큼 회전시키는 회전행렬
Rz(θ): z축을 중심으로 각도 θ 만큼 회전시키는 회전행렬
(수학식 4)
R = Rz(yaw)Rx(pitch)Ry(-roll)Rx(-
Figure pat00004
)
또한, 상기 실시 예에 따른 월드좌표 산출단계(S3)는, 하기 수학식 5 를 이용하여 월드좌표계(D4) 상에서의 카메라 좌표 Cw 와 정규좌표평면상의 좌표 pw 를 계산하고,
(수학식 5)
Pw = RPc + t
Cw = RCc + t = t
* 범례
Pw: 정규좌표평계 상에서의 대상물의 좌표
Cw: 월드좌표계(D4) 상에서의 카메라 좌표
Cc: 카메라좌표계(D1) 상에서의 카메라 좌표
상기 대상물이 위치하는 해당 지점(P)의 월드 좌표를 수학식 6 을 이용하여 계산하는 구성을 특징으로 한다.
(수학식 6)
Pw = Cw + k(pw-Cw)
* 범례
k: 임의의 상수
또한, 상기 실시 예에 따른 좌표간 거리계산 단계(S4)는, 하기의 수학식 7 을 이용하여 산출되는 것을 특징으로 한다.
(수학식 7)
Distance =
Figure pat00005
* 범례
Distance: 카메라(10)로부터 대상물이 위치하는 해당 지점(P)까지의 월드좌표계(D4) 상 거리.
또한, 상기 실시 예에 따른 실제 거리 계산 단계(S5)는,
상기 수학식 7 을 이용하여 계산되는 것을 특징으로 하는 영상거리 측정방법.
(수학식 8)
M = Distance x h
* 범례
M: 실제 거리(단위 m)
h: 카메라의 고도값.
또한, 본 발명은 영상거리 측정방법을 수행하는 컴퓨터프로그램이 수록된 기록매체를 포함하는 것을 특징으로 한다.
상기와 같은 구성을 가지는 본 발명의 영상거리 측정 방법은, 카메라가 촬영한 이미지에서 카메라와 대상물과의 거리를 정확하게 측정할 수 있는 효과가 있다.
또한, 종래 거리 측정 범위가 작은 스테레오 카메라 또는 고가의 비용이 소요되는 LIDAR 센서 방식이나 ToF(Time of Flight) 센서과 달리, 본 발명의 거리측정방법은 통상의 디지털 일안 반사식 카메라(digital single-lens reflex camera, DSLR) 또는 고해상도의 이미지센서를 가지는 스마트폰(smart phone)을 이용할 수 있으므로 촬영 범위가 넓으며, 나아가, 비교적 저가의 비용으로 카메라와 대상물와의 영상 거리의 측정을 수행할 수 있는 효과를 발현하게 되었다.
도 1 은 본 발명의 영상거리 측정 시스템의 블럭다이어그램,
도 2 는 본 발명의 영상거리 측정 시스템에 의하여 이용되는 좌표계를 나타내는 도면,
도 3 은 본 발명의 영상거리 측정 시스템에 의한 좌표 배치 및 영상 지면 투영의 그래프,
도 4 는 본 발명의 영상거리 측정 방법의 순서도,
도 5 는 본 발명의 영상거리 측정 시스템의 월드좌표계의 그래프,
도 6 은 본 발명의 영상거리 측정의 시험례에 사용된 카메라의 촬영각도 조절장치의 구성도,
도 7 은 본 발명의 영상거리 측정의 시험례에 사용된 카메라에 의하여 촬영된 대상물의 촬영이미지,
도 8 는 본 발명의 영상거리 측정의 시험례에 따라서 도출된 카메라와 대상물과의 거리를 측정한 표를 나타내는 도면,
도 9 는 본 발명의 영상거리 측정의 시험례에 따라서 도출된 카메라와 대상물과의 거리 및 실제 거리와의 오차를 나타내는 그래프이다.
이하, 도면을 참조하여 본 발명의 영상거리 측정 방법의 구성을 설명한다.
단, 개시된 도면들은 당업자에게 본 발명의 사상이 충분하게 전달될 수 있도록 하기 위한 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 태양으로 구체화될 수도 있다.
또한, 본 발명 명세서에서 사용되는 용어에 있어서 다른 정의가 없다면, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.
도 1 은 본 발명의 영상거리 측정 방법을 수행하기 위한 시스템의 블럭다이어그램이다.
도면을 참조하면, 본 발명의 영상거리 측정 방법을 수행하기 위한 시스템은 카메라와 카메라에 의하여 촬영된 대상물 사이의 거리(이하, 이를 '영상거리'라 지칭한다)를 측정하는 방법을 수행하는 시스템이다.
바람직하게는, 본 발명의 영상거리 측정시스템의 카메라(10)는 디지털 일안 반사식 카메라(digital single-lens reflex camera, DSLR) 또는 고해상도의 이미지센서를 가지는 스마트폰(smart phone)이다.
또한, 본 발명의 영상거리 측정시스템은 상기 카메라(10)에 의하여 촬영된 이미지를 이용하여 카메라와 촬영된 대상물 사이의 거리(영상 거리)를 산출하는 거리측정부(20)를 포함한다.
그리고, 본 발명의 영상거리 측정시스템은 상기 카메라(10)에 의하여 촬영된 이미지를 표시하고, 나아가, 상기 거리측정부(20)에 의하여 측정된 영상 거리를 표시하는 표시부(30)를 포함한다.
상기 거리측정부(20)는 상기 영상거리의 측정의 알고리즘(algorithm)을 수행하는 컴퓨터프로그램이 인스톨되어 실행되는 통상의 컴퓨터이고, 상기 표시부(30)는 컴퓨터로부터 출력되는 화면을 디스플레이하는 통상의 모니터이다.
또는, 상기 거리측정부(20)는 상기 영상거리의 측정을 수행하는 컴퓨터프로그램이 인스톨되어 실행되는 통상의 디지털일안반사식카메라(DSLR)이고, 상기 표시부(30)는 디지털일안반사식카메라의 액정표시장치(LCD) 등의 디스플레이 모듈이다.
또는, 상기 거리측정부(20)는 상기 영상거리의 측정을 수행하는 컴퓨터프로그램이 인스톨되어 실행되는 통상의 스마트폰이고, 상기 표시부(30)는 스마트폰의 표시장치(LCD, AMOLED 등)를 이루는 디스플레이 모듈이다.
따라서, 종래 거리 측정 범위가 작은 스테레오 카메라 또는 고가의 비용이 소요되는 LIDAR 센서 방식이나 ToF(Time of Flight) 센서과 달리, 본 발명의 거리측정방법은 통상의 디지털 일안 반사식 카메라(digital single-lens reflex camera, DSLR) 또는 고해상도의 이미지센서를 가지는 스마트폰(smart phone)을 이용할 수 있으므로 촬영 범위가 넓으며, 나아가, 비교적 저가의 비용으로 카메라와 대상물와의 영상 거리의 측정을 수행할 수 있게 된다.
이때, 도시된 바와 같이, 상기 거리측정부(20)는 영상거리의 측정을 위하여, 카메라 내부 파라미터 값 및 대상물이 위치하는 해당 지점의 픽셀 정보 및 거리측정부(20)의 센서를 통하여 추정되는 롤(roll), 피치(pitch) 및 요(yaw) 값과 같은 카메라(10)의 자세정보를 사용한다.
다음으로, 상기와 같이 구성되는 본 발명의 거리측정부(20)가 영상거리를 측정하기 위하여 이용하는 좌표계를 설명한다.
도 2 는 본 발명의 영상거리 측정 시스템에 의하여 이용되는 좌표계를 나타내는 도면으로서, 본 발명의 실시예는 영상 거리의 측정을 위하여 도시된 바와 같은 4 가지의 좌표계를 사용한다.
먼저, 카메라 좌표계(D1)는 카메라(10)를 원점으로 하고 촬영 방향을 Z 축으로 하는 좌표계이다.
또한, 정규 좌표계(D2)는 상기 카메라 좌표계(D1)에서 Z축으로 1만큼 이격된 지점의 좌표계이다.
또한, 픽셀 좌표계(D3)는 카메라(10)에 의하여 촬영되어 표시부(30)로 표시되는 이미지의 픽셀에 해당되는 좌표계이다.
또한, 월드(world) 좌표계(D4)는 카메라(10)에 의하여 촬영된 이미지에 나타나는 실제의 공간의 좌표계이다.
도 3 은 본 발명의 영상거리 측정 시스템에 의한 좌표 배치 및 영상 지면 투영의 그래프로서, 세로축은 카메라(10)의 고도이고, 가로축은 카메라(10)로부터 촬영된 이미지에 나타는 대상물이 거치된 월드좌표계(D4)상의 지점(P)까지의 지면(surface) 거리(m)를 나타낸다.
예를 들어, 도 3 에 도시된 바와 같이, 카메라 좌표계(D1)상에서의 카메라좌표의 원점(c)에서의 정규좌표계(D2) 값은 (0,0,0)이 되며, 대상물이 거치된 지점(P)에서의 정규좌표계(D2)의 값은 (u,v,1)이 된다.
이하, 상기와 같은 본 발명의 영상거리 측정 시스템에 의하여 수행되는 영상거리 측정 방법을 상세하게 설명하기로 한다.
도 4 는 본 발명의 영상거리 측정 방법의 순서도이며, 도면을 참조하여 본 발명의 영상거리 측정 방법을 개조식으로 설명한다.
1) 정규좌표 산출 단계(S1)
카메라(10)로부터 대상물까지의 거리(영상 거리)를 측정하기 위하여, 본 발명의 영상거리 측정시스템(1)의 거리측정부(20)가 카메라(10)의 내부 파라미터 픽셀 정보를 이용하여 정규좌표를 산출하는 단계이다.
이때, 도 1 및 도 2 에 도시된 바와 같은 정규좌표계(D1)의 평면상 좌표값(u,v)은 해당 지점의 픽셀 좌표계(D3)의 좌표값(x,y)과 카메라(10)의 내부파라미터(fx,fy,cx,cy)의 값을 이용한 하기의 수학식 1 을 이용하여 산출할 수 있다.
(수학식 1) (정규좌표 계산식)
u = (x - cx) / fx
v = (y - cy) / fy
* 범례
cx: 픽셀 좌표계(D3)의 x축 카메라 주점
cy: 픽셀 좌표계(D3)의 y축 카메라 주점
fx: 픽셀 좌표계(D3)의 x축 카메라 초점거리
fy: 픽셀 좌표계(D3)의 y축 카메라 초점거리
이때, 정확한 영상 거리 측정을 위하여 카메라 내부 파라미터 값을 정밀하게 도출하여야 하는데, 바람직하게는, 본 발명의 거리측정부(20)는 재 투영오차율(reprojection error rate)이 0.3 미만의 카메라 내부 파라미터 값을 사용한다.
상기 재 투영오차율은 해당 값이 낮을수록 더 정밀한 카메라의 내부파라미터값이 계산되며, 재 투영오차율이 높을수록 영상거리의 측정값이 부정확하게 산출된다.
2) 3 차원 좌표 변환 단계(S2)
본 발명의 거리측정부(20)가 상기 정규좌표 산출 단계(S1)에서 산출된 정규좌표값을 3 차원 좌표로 변환하는 단계이다.
산출된 정규좌표값(u,v)을 월드좌표계(D4) 상의 좌표계값으로 변환하기 위하여, 하기의 수학식 2 의 3차원 좌표 변환식을 이용하여 변환한다.
(수학식 2) (3 차원 좌표 변환식)
Pw = RPc + t
Pc = RT (Pw - t)
* 범례
Pw: 월드좌표계(D4)에서 본 P점의 좌표
Pc: 카메라좌표계(D1)에서 본 P점의 좌표
t: 두 좌표계 간 평행이동벡터
R: 두 좌표계 간 회전변환벡터
RT: R의 전치행렬
이때, 상기 수학식 2 에서 사용된 3차원 좌표로의 변환을 위하여 회전변환벡터(R)의 값과 평행이동벡터(t)의 값은 하기의 수학식 3 및 수학식 4 를 이용하여 산출한다.
(수학식 3) (회전 행렬)
Rx(θ) =
Figure pat00006
Ry(θ) =
Figure pat00007
Rz(θ) =
Figure pat00008
* 범례
Rx(θ): x축을 중심으로 각도 θ 만큼 회전시키는 회전행렬
Ry(θ): y축을 중심으로 각도 θ 만큼 회전시키는 회전행렬
Rz(θ): z축을 중심으로 각도 θ 만큼 회전시키는 회전행렬
또한, 하기의 수학식 4 를 이용하여 회전변환벡터(R) 값을 산출한다.
(수학식 4) (회전변환벡터 R 의 계산식)
R = Rz(yaw)Rx(pitch)Ry(-roll)Rx(-
Figure pat00009
)
상기 수학식 4 는 거리측정부(20)의 센서를 통하여 추정되는 롤(roll), 피치(pitch) 및 요(yaw) 값과 같은 카메라(10)의 자세값에 따른 회전변환벡터(R)의 계산식이다
3) 월드좌표 산출 단계(S3)
본 발명의 거리측정부(20)가 상기 3 차원 좌표 변환 단계(S2)에서 산출된 3차원 좌표를 이용하여 대상물의 월드 좌표를 산출하는 단계이다.
본 발명 실시예의 월드 좌표는, 도 5 의 본 발명의 영상거리 측정 시스템의 월드좌표계의 그래프를 참조하면, 촬영에 사용하는 카메라(10)의 고도가 0인 지면의 지점을 원점으로 사용하고, 해당 원점으로부터 카메라(10)가 위치하는 지점의 고도까지의 거리를 월드좌표계상에서 1 이라 설정하고 이때의 평행이동벡터(t)를 (0,0,1)이라 설정한다.
먼저, 하기 수학식 5 를 이용하여 월드좌표계(D4) 상에서의 카메라 좌표 Cw 와 정규좌표평면상의 좌표 pw 를 계산한다.
(수학식 5) (월드좌표값 계산식)
Pw = RPc + t
Cw = RCc + t = t
* 범례
Pw: 정규좌표평계 상에서의 대상물의 좌표
Cw: 월드좌표계(D4) 상에서의 카메라 좌표
Cc: 카메라좌표계(D1) 상에서의 카메라 좌표
다음으로, 대상물이 위치하는 해당 지점(P)의 월드 좌표를 구한다. 해당 지점(P)에서의 월드 좌표는 카메라(10)의 월드좌표 Cw 와 정규좌표평면상 p 점의 월드좌표 pw 를 잇는 직선과, 지면이 만나는 지점의 좌표 Pw 를 계산하면 되며, 하기의 수학식 6 을 이용하여 계산한다.
(수학식 6) (대상물이 위치하는 지점(p)에서의 월드좌표 계산식)
Pw = Cw + k(pw-Cw)
* 범례
k: 임의의 상수
이때, 상기 수학식 6 에서 k 는 상수이며 Pw 는 지면 위의 지점이므로 Z축 값을 0 으로 두고 계산한다.
4) 좌표간 거리계산 단계(S4)
본 발명의 거리측정부(20)가 상기 월드좌표 산출 단계(S3)에서 산출된 월드 좌표값을 이용하여 카메라(10)로부터 대상물이 위치하는 해당 지점(P)까지의 거리를 산출한다.
이때, 카메라(10)에서 해당 지점(P)까지의 거리는 각각의 월드좌표의 Z축이 0 인 좌표들 간의 거리라고 할 수 있으므로 Cw(x1, y1, 0) 지점과 Pw(x2, y2, 0) 지점 사이의 거리를 산출하여 구할 수 있으며, 하기의 수학식 7 을 이용하여 산출한다.
(수학식 7) (좌표간 거리 계산식)
Distance =
Figure pat00010
* 범례
Distance: 카메라(10)로부터 대상물이 위치하는 해당 지점(P)까지의 월드좌표계(D4) 상 거리
5) 실제 거리 계산 단계(S5)
본 발명의 거리측정부(20)가 상기 좌표간 거리계산 단계(S4)에서 산출된 거리값을 이용하여 카메라(10)로부터 대상물이 위치하는 해당 지점(P)까지의 실제 거리를 산출한다.
즉, 거리측정부(20)가 카메라(10)의 고도값(h)을 수학식 7 에서 산출된 Distance 값에 반영하여 실제 거리(M)을 산출한다.
(수학식 8) (실제거리 계산식)
M = Distance x h
* 범례
M: 실제 거리(단위 m)
h: 카메라의 고도값
따라서, 상술한 바와 같은 각 단계별 산출과정을 통하여 카메라와 대상물와의 영상거리를 정확하게 산출할 수 있게 된다.
한편, 본 발명은 상술한 영상거리 측정방법을 수행하는 컴퓨터프로그램이 수록된 기록매체로 실시될 수 있다.
다음으로, 본 발명의 영상거리 측정 방법에 의한 거리 측정의 정확성을 입증하기 위하여, 본 발명의 영상거리 측정 방법을 이용하여 실제 대상물과 카메라와의 거리를 측정한 시험례를 설명한다.
(시험례)
본 발명의 영상거리 측정 방법의 정확성을 시험하기 위하여, 카메라(10)로서 디지털 고해상도의 이미지센서를 가지는 스마트폰(smart phone) 1 대 및 해당 스마트폰에 의하여 촬영될 대상물 1 개를 준비하였다.
또한, 카메라의 흔들림 방지를 위하여 통상의 카메라용 삼각대를 준비하였으며, 삼각대에는 수평을 유지할 수 있는 수평기를 장착하였다.
나아가, 전술한 바와 같이, 카메라를 이용하여 대상물을 촬영할 경우, 카메라의 각도에 따라서 카메라와 대상물과의 거리가 상당하게 차이가 나게 되는데, 특히, 카메라의 상방 또는 하방으로의 앵글 각도에 따라서 거리측정 값의 오차가 더욱 증가되므로, 도 6 에 도시된 바와 같은 카메라의 촬영각도를 조절할 수 있는 조절장치를 추가로 준비하였다.
도 6 을 참조하면, 도 6a 는 본 발명의 시험례에 사용된 조절장치의 사용상태의 사진도면이고, 도 6b 는 해당 조절장치의 사시도로서, 상기 조절장치(100)에 카메라(10)를 거치시킨 후 카메라(10)의 촬영각도를 상하 방향으로 조절하거나 좌우 방향으로 조절하거나, 또는, 카메라(10)의 바디 자체를 시계방향 또는 반시계방향으로 회전시켜 조절할 수 있다.
즉, 상기 본 발명의 시험례에 이용된 카메라의 촬영각도 조절장치(100)는 평판 형상의 베이스(150)와, 상기 베이스(150)의 상측으로 결합되며 카메라의 촬영각도를 조절하기 위하여 카메라의 촬영각도를 좌방향 또는 우방향으로 조절하는 좌우방향 조절프레임(120)과, 상기 좌우방향 조절프레임(120)과 결합되며 카메라의 촬영각도를 상방향 또는 하방향으로 조절하는 상하방향 조절프레임(130)과, 상기 상하방향 조절프레임(130)과 결합되며 카메라의 촬영각도를 시계방향 또는 반시계방향으로 회전시켜 조절하는 회전방향 조절프레임(140)을 포함한다.
이때, 상기 좌우방향 조절프레임(120)은 상기 베이스(150)의 상측으로 배치되고 평판 형상으로 이루어진 하판(121)과, 상기 하판(121)의 길이 방향의 양측 말단(도면상 좌측 말단 및 우측 말단)에서 하판(121)과 수직하게 결합된 한쌍의 측판(122)과, 상기 하판(121)의 저면에 부착되어 상기 좌우방향 조절프레임(120)을 좌방향 또는 우방향으로 회전시켜 카메라의 촬영각도를 좌우방향으로 조절하는 좌우방향 조절기(123)를 포함한다.
상기 좌우방향 조절기(123)는 조절노브(124)를 조절함에 따라서 상기 조절기(123)를 부착한 하판(121)이 조절기(123)의 회전을 따라서 좌방향 또는 우방향으로 회동되면서 카메라(10)의 촬영각도를 좌방향 또는 우방향으로 조절할 수 있게 된다.
상기 상하방향 조절프레임(130)은 평판 형상으로 이루어진 하판(131)과, 상기 하판(131)의 길이 방향의 양측 말단(도면상 좌측 말단 및 우측 말단)에서 상기 하판(131)과 수직하게 결합된 한쌍의 측판(132)과, 일방은 상기 한쌍의 측판(132)중 일측의 측판(132)의 외측면에 부착되고 타방은 해당 일측 측판(132)과 대향하는 좌우방향 조절프레임(120)의 일측 측판(122)에 부착되어 상기 상하방향 조절프레임(130)을 상방향 또는 하방향으로 회전시켜 카메라의 촬영각도를 상하방향으로 조절하는 상하방향 조절기(133)를 포함하여 구성되고, 상기 상하방향 조절기(133)는 조절노브(134)를 조절하여 상하방향 조절프레임(130)의 양측 측판(132)은 좌우방향 조절프레임(120)의 양측 측판(122)을 기준점으로 상하 방향으로 조절시킨다.
상기 회전방향 조절프레임(140)은 평판 형상의 바닥판(141)과, 상기 바닥판(41)에 대하여 수직하게 결합되는 평판 형상의 거치판(142)과, 일방은 상기 상하방향 조절프레임(130)의 하판(131)의 상면에 부착되고 타방은 상기 거치판(142)에 부착되어 상기 거치판(142)을 시계방향 또는 반시계방향으로 회전시켜 카메라의 촬영각도를 시계방향 또는 반시계방향으로 조절하는 회전방향 조절기(143)와, 상기 회전방향 조절기(143)를 조작하는 조절노브(144)와, 상기 바닥판(141) 상에 카메라(10)를 파지하는 클램프(145)를 설치하여, 조절기(143)의 조절노브(144)를 조절하여 상기 조절기(143)를 부착한 거치판(142)을 시계방향 또는 반시계방향으로 회동시켜 카메라(10)를 시계방향 또는 반시계방향으로 회전시키게 된다.
한편, 상기 각 조절프레임(120,130,140)의 하판(121,131) 및 측판(122,132)과 상기 바닥판(141)과 거치판(142)을 투명한 재질의 합성수지재로 형성함으로써 카메라 촬영시 시야가 방해받지 않도록 한 구성이다.
또한, 본 발명의 시험례의 조절장치(100)의 조절기(123,133,143)로서 노브(124,134,144)를 조작하여 각 프레임(120,130,140)을 1 도 단위로 조절하는 조절기를 채용하였다. 이러한 1 도 단위로 각도를 조절하는 조절기는 통상의 카메라용 앵글각도 조절기로서 공지된 조절기를 이용하였다.
따라서, 본 발명의 시험례에 사용된 카메라의 촬영각도 조절장치(100)는 베이스(150)의 하측에 삼각대를 연결하여 사용하며, 카메라의 촬영각도를 좌우방향, 상하방향 및 자체 회전방향을 1도 단위로 회전시켜가면서 카메라의 촬영각도를 조절할 수 있게 된다.
그리고, 상기 조절장치(100)에 거치된 카메라(10)에 의하여 촬영된 이미지를 입력받는 영상거리 측정을 위한 시스템을 구비한다.
도 1 을 참조하여 설명한 바와 같이, 본 발명의 영상거리 측정을 위하여 카메라(10)가 촬영한 사진의 이미지를 입력받아 카메라(10)와 대상물 사이의 거리(영상 거리)를 측정하는 거리측정부(20)와, 측정된 영상 거리를 표시하는 표시부(30)를 가지는데, 본 발명의 시험례에서는 상기 거리측정부(20)로서 상술한 본 발명의 영상 거리를 측정하기 위한 방법을 수행하는 컴퓨터프로그램이 인스톨되어 실행되는 통상의 컴퓨터를 이용하였고, 상기 표시부(30)는 컴퓨터로부터 출력되는 화면을 디스플레이하는 통상의 모니터를 이용하였다.
도 7 은 본 발명의 영상거리 측정의 시험례에 의하여 촬영된 대상물의 촬영이미지로서, 촬영된 이미지 상에서 중앙 하단 부분의 화살표가 가리키는 물체가 대상물(Q)이다.
본 발명의 시험례에서는 도 8 에 나타낸 표에 기재된 바와 같이, 카메라(10)를 거치한 촬영각도 조절장치(100)에 의하여 카메라의 촬영각도를 상방으로 0 도에서 5 도까지 1 도 단위로 변경시켜가면서 대상물(Q)를 5 m, 10 m, 20 m, 30 m 및 40 m 지점에서 촬영을 수행하고, 하방으로 0 도에서 -5 도까지 1 도 단위로 변경시켜가면서 대상물(Q)를 5 m, 10 m, 20 m, 30 m 및 40 m 지점에서 촬영을 수행하고, 촬영된 이미지를 본 발명의 영상 거리를 측정하기 위한 방법을 수행하는 컴퓨터프로그램이 인스톨되어 실행되는 컴퓨터에 입력시켜 영상측정부(20)에 의하여 촬영된 이미지에 나타난 대상물(Q)과 카메라(10)와의 거리인 영상 거리를 산출하였으며, 산출된 영상 거리를 도 8 에 나타낸 표에 카메라의 촬영각도별 및 실제거리별로 구분하여 기재하였다.
이때, 카메라(10)의 자동 초점기능을 해제시켜 보다 정확하게 거리측정 결과를 도출할 수 있도록 하였다. 이는 카메라(10)의 자동 초점기능으로 인하여 초점거리가 가변적으로 변할 경우 본 발명의 거리측정 방법에 사용되는 카메라의 내부 파라미터 값이 변경되면서 정확한 거리측정 결과를 도출할 수 없기 때문이다.
도 8 의 표에 기재된 바와 같이, 카메라의 촬영각도별 및 실제거리별로 구분하여 대상물까지의 영상거리를 본 발명의 거리측정 방법에 의하여 측정한 결과, 표의 하단에 평균값 항목란에서 카메라와 대상물 사이의 실제거리가 5 m 지점에서의 모든 촬영각도별 영상거리 측정값의 평균이 5.52692 m 이고, 카메라와 대상물 사이의 실제거리가 10 m 지점에서의 모든 촬영각도별 영상거리 측정값의 평균이 10.9176 m 이고, 카메라와 대상물 사이의 실제거리가 20 m 지점에서의 모든 촬영각도별 영상거리 측정값의 평균이 21.9941 m 이고, 카메라와 대상물 사이의 실제거리가 30 m 지점에서의 모든 촬영각도별 영상거리 측정값의 평균이 31.2597 m 이고, 카메라와 대상물 사이의 실제거리가 40 m 지점에서의 모든 촬영각도별 영상거리 측정값의 평균값이 40.5453 m 로서, 본 발명의 영상거리 측정방법에 의하여 산출된 영상거리와 실제거리와의 오차가 각 거리별로 0.52692 m, 0.91765 m, 1.99412 m, 1.25971 m 및 0.54529 m 가 차이를 보였는데, 이는 도 9 의 본 발명의 영상거리 측정방법에 의하여 산출된 영상거리와 실제거리와의 오차를 나타내는 그래프와 같이, 본 발명에 의하여 산출된 영상거리가 실제거리에 근접함을 보여주고 있어 본 발명의 영상거리 측정방법이 매우 정확함을 확인할 수 있다.
10; 카메라
20; 거리측정부
30; 표시부
100; 촬영각도 조절장치

Claims (9)

  1. 카메라(10)에 의하여 촬영된 대상물 사이의 거리인 영상거리를 산출하는 거리측정부(20)와 상기 거리측정부(20)에 의하여 측정된 영상 거리를 표시하는 표시부(30)를 가지는 시스템에 의하여 수행되는 영상거리 측정방법에 있어서,
    상기 거리측정부(20)가 카메라(10)의 내부 파라미터 픽셀 정보를 이용하여 정규좌표를 산출하는 정규좌표 산출 단계(S1);
    상기 거리측정부(20)가 상기 정규좌표 산출 단계(S1)에서 산출된 정규좌표값을 3 차원 좌표로 변환하는 3차원 좌표 변환 단계(S2);
    상기 거리측정부(20)가 상기 3차원 좌표 변환 단계(S2)에서 산출된 3차원 좌표를 이용하여 대상물의 월드 좌표를 산출하는 월드좌표 산출단계(S3);
    상기 거리측정부(20)가 상기 월드좌표 산출 단계(S3)에서 산출된 월드 좌표값을 이용하여 카메라(10)로부터 대상물이 위치하는 해당 지점(P)까지의 거리를 산출하는 좌표간 거리계산 단계(S4); 및
    상기 거리측정부(20)가 상기 좌표간 거리계산 단계(S4)에서 산출된 거리값을 이용하여 카메라(10)로부터 대상물이 위치하는 해당 지점(P)까지의 실제 거리를 산출하는 실제거리 계산단계(S5);를 포함하여 구성되는 것을 특징으로 하는 영상거리 측정방법.
  2. 제 1 항에 있어서, 상기 정규좌표 산출 단계(S1)는, 하기의 수학식 1 를 이용하여 정규자표를 산출하는 것을 특징으로 하는 영상거리 측정방법.
    (수학식 1)
    u = (x - cx) / fx
    v = (y - cy) / fy
    * 범례
    cx: 픽셀 좌표계(D3)의 x축 카메라 주점
    cy: 픽셀 좌표계(D3)의 y축 카메라 주점
    fx: 픽셀 좌표계(D3)의 x축 카메라 초점거리
    fy: 픽셀 좌표계(D3)의 y축 카메라 초점거리
  3. 제 2 항에 있어서, 상기 정규좌표 산출 단계(S1)는,
    상기 거리측정부(20)가 재 투영오차율(reprojection error rate)이 0.3 미만의 카메라(10)의 내부 파라미터 값을 사용하는 것을 특징으로 하는 영상거리 측정방법.
  4. 제 2 항에 있어서, 상기 3차원 좌표 변환 단계(S2)는,
    산출된 정규좌표값(u,v)을 월드좌표계(D4) 상의 좌표계값으로 변환하기 위하여, 하기의 수학식 2 의 3차원 좌표 변환식을 이용하여 변환하는 것을 특징으로 하는 영상거리 측정방법.
    (수학식 2)
    Pw = RPc + t
    Pc = RT (Pw - t)
    * 범례
    Pw: 월드좌표계(D4)에서 본 P점의 좌표
    Pc: 카메라좌표계(D1)에서 본 P점의 좌표
    t: 두 좌표계 간 평행이동벡터
    R: 두 좌표계 간 회전변환벡터
    RT: R의 전치행렬
  5. 제 4 항에 있어서, 상기 3차원 좌표 변환 단계(S2)는,
    상기 수학식 2 에서 사용된 3차원 좌표로의 변환을 위하여 회전변환벡터(R)의 값과 평행이동벡터(t)의 값은 하기의 수학식 3 및 수학식 4 를 이용하여 산출하는 것을 특징으로 하는 영상거리 측정방법.
    (수학식 3)
    Rx(θ) =
    Figure pat00011

    Ry(θ) =
    Figure pat00012

    Rz(θ) =
    Figure pat00013

    * 범례
    Rx(θ): x축을 중심으로 각도 θ 만큼 회전시키는 회전행렬
    Ry(θ): y축을 중심으로 각도 θ 만큼 회전시키는 회전행렬
    Rz(θ): z축을 중심으로 각도 θ 만큼 회전시키는 회전행렬

    (수학식 4)
    R = Rz(yaw)Rx(pitch)Ry(-roll)Rx(-
    Figure pat00014
    )
  6. 제 5 항에 있어서, 상기 월드좌표 산출단계(S3)는,
    하기 수학식 5 를 이용하여 월드좌표계(D4) 상에서의 카메라 좌표 Cw 와 정규좌표평면상의 좌표 pw 를 계산하고,
    (수학식 5)
    Pw = RPc + t
    Cw = RCc + t = t
    * 범례
    Pw: 정규좌표평계 상에서의 대상물의 좌표
    Cw: 월드좌표계(D4) 상에서의 카메라 좌표
    Cc: 카메라좌표계(D1) 상에서의 카메라 좌표

    상기 대상물이 위치하는 해당 지점(P)의 월드 좌표를 수학식 6 을 이용하여 계산하는 구성을 특징으로 하는 영상거리 측정방법.
    (수학식 6)
    Pw = Cw + k(pw-Cw)
    * 범례
    k: 임의의 상수
  7. 제 6 항에 있어서, 상기 좌표간 거리계산 단계(S4)는, 하기의 수학식 7 을 이용하여 산출되는 것을 특징으로 하는 영상거리 측정방법.
    (수학식 7)
    Distance =
    Figure pat00015

    * 범례
    Distance: 카메라(10)로부터 대상물이 위치하는 해당 지점(P)까지의 월드좌표계(D4) 상 거리
  8. 제 7 항에 있어서, 상기 실제 거리 계산 단계(S5)는,
    상기 수학식 7 을 이용하여 계산되는 것을 특징으로 하는 영상거리 측정방법.
    (수학식 8)
    M = Distance x h
    * 범례
    M: 실제 거리(단위 m)
    h: 카메라의 고도값
  9. 제 1 항 내지 제 8 항중 어느 한 항의 영상거리 측정방법을 수행하는 컴퓨터프로그램이 수록된 기록매체.
KR1020220023695A 2022-02-23 2022-02-23 영상거리의 측정 방법 KR20230126476A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220023695A KR20230126476A (ko) 2022-02-23 2022-02-23 영상거리의 측정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220023695A KR20230126476A (ko) 2022-02-23 2022-02-23 영상거리의 측정 방법

Publications (1)

Publication Number Publication Date
KR20230126476A true KR20230126476A (ko) 2023-08-30

Family

ID=87846469

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220023695A KR20230126476A (ko) 2022-02-23 2022-02-23 영상거리의 측정 방법

Country Status (1)

Country Link
KR (1) KR20230126476A (ko)

Similar Documents

Publication Publication Date Title
CN106846415B (zh) 一种多路鱼眼相机双目标定装置及方法
CN110057295B (zh) 一种免像控的单目视觉平面距离测量方法
CN102509261B (zh) 一种鱼眼镜头的畸变校正方法
CN103782593B (zh) 用于立体图像对的改进裁剪的方法和设备
JP2017112602A (ja) パノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成方法、ならびにそのシステム
KR101639962B1 (ko) 교정 장치, 투영기 및 교정 방법
CN106097367B (zh) 一种双目立体相机的标定方法及装置
US20210364900A1 (en) Projection Method of Projection System for Use to Correct Image Distortion on Uneven Surface
CN111192235A (zh) 一种基于单目视觉模型和透视变换的图像测量方法
KR20160013337A (ko) 차량용 광각카메라의 영상 왜곡 보정 장치 및 방법
KR101342393B1 (ko) 회전식 라인 카메라로 획득한 실내 전방위 영상의 지오레퍼런싱 방법
CN111220127A (zh) 一种激光聚焦测量方法及终端
WO2020181409A1 (zh) 拍摄装置参数标定方法、设备及存储介质
JP4865065B1 (ja) ステレオ撮像装置の制御システム
CN104657970A (zh) 一种全自动双目内窥镜的标定方法及标定系统
CN111131801B (zh) 投影仪校正系统、方法及投影仪
CN113436267B (zh) 视觉惯导标定方法、装置、计算机设备和存储介质
CN112911270B (zh) 一种用于100％offset三维切片式投影成像系统的图像修正方法
CN109146981A (zh) 结构光模组平行aa方法、装置、设备及存储介质
CN107872664A (zh) 一种三维成像系统及三维图像构建方法
CN109682312B (zh) 一种基于摄像头测量长度的方法及装置
CN109584308B (zh) 一种基于空间实景地图的位置标定方法
KR20230126476A (ko) 영상거리의 측정 방법
CN116743973A (zh) 无感投影图像自动校正方法
US20220174217A1 (en) Image processing method and device, electronic device, and computer-readable storage medium

Legal Events

Date Code Title Description
E902 Notification of reason for refusal