KR101964829B1 - 자동 캘리브레이션 기능을 구비한 어라운드뷰 제공 방법 및 장치 - Google Patents

자동 캘리브레이션 기능을 구비한 어라운드뷰 제공 방법 및 장치 Download PDF

Info

Publication number
KR101964829B1
KR101964829B1 KR1020180106399A KR20180106399A KR101964829B1 KR 101964829 B1 KR101964829 B1 KR 101964829B1 KR 1020180106399 A KR1020180106399 A KR 1020180106399A KR 20180106399 A KR20180106399 A KR 20180106399A KR 101964829 B1 KR101964829 B1 KR 101964829B1
Authority
KR
South Korea
Prior art keywords
function
image
calculating
vehicle
value
Prior art date
Application number
KR1020180106399A
Other languages
English (en)
Inventor
강태원
김성수
Original Assignee
(주)넥셀
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)넥셀 filed Critical (주)넥셀
Priority to KR1020180106399A priority Critical patent/KR101964829B1/ko
Application granted granted Critical
Publication of KR101964829B1 publication Critical patent/KR101964829B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G06T3/0062—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/2257—
    • H04N5/247—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 자동 캘리브레이션 기능을 구비한 어라운드뷰 제공 방법 및 장치에 관한 것이다. 본 발명에 따른 어라운드뷰 제공 방법은, 차량 주변에 원형 패턴을 배치하고, 차량에 설치된 하나 이상의 카메라로부터 원형 패턴을 촬영한 영상 데이터를 입력받는 과정, 영상 데이터에서 타원 형상을 인식하는 과정, 타원 형상을 원 형상으로 변환할 수 있는 함수 G를 산출하는 과정, 및 함수 G의 역함수를 구하여, 기설정된 메시를 구성하는 폴리곤의 각 정점에 매핑될 텍스처 좌표값을 산출하는 파라미터화된 함수 F를 산출하는 과정을 포함한다. 본 발명에 따르면, 자동화된 카메라 캘리브레이션 기능을 제공하며, 이를 이용하여 영상의 왜곡이없는 어라운드뷰 이미지를 생성할 수 있다.

Description

자동 캘리브레이션 기능을 구비한 어라운드뷰 제공 방법 및 장치{Method and apparatus for providing around view with auto calibration fuction}
본 발명은 어라운드뷰 제공 방법 및 장치에 관한 것으로, 더욱 상세하게는 자동화된 커메라 칼리브레이션 기능을 이용하여 차량용 어라운드뷰 이미지를 생성하여 제공할 수 있는 어라운드뷰 제공 방법 및 장치에 관한 것이다.
어라운드뷰(around view) 제공 장치는, 차량에 한 개 이상의 카메라를 설치한 뒤, 이 영상을 합성하여 마치 하늘에서 내려다보는 것과 같은 영상을 제공하는 장치이다. 어라운드뷰 제공 장치는, 어라운드뷰 모니터, 어라운드뷰 시스템, 어라운드뷰 모니터링 시스템 등으로 불리기도 하며, 통상적으로 차량의 전방과 후방, 그리고 좌우에 각각 설치하는 카메라를 이용하여 어라운드 뷰 이미지를 생성한다.
이와 같은 어라운드뷰 제공 장치를 차량에 장착함으로써, 주차가 아주 쉬워지며, 이동 물체 감지 같은 경보 시스템과 연동되어, 이상 상황을 즉시 확인시켜 줄 수 있다. 즉, 이상 상황을 단지 센서로 알려 주는 것이 아니라, 실제 영상을 보여 주기 때문에, 운전자는 사각에서 일어나는 일을 더욱 정확히 알 수 있게 되고, 이로 인해 사고의 위험성을 크게 감소시켜 줄 수 있다. 최근에는 평면적인 탑뷰 이미지 외에 3D 어라운드 뷰 이미지를 제공할 수 있는 3D 어라운드뷰 제공 장치도 개발되고 있다.
한편, 어라운드뷰 이미지는, 차량에 설치된 한 개 이상의 카메라로부터 입력된 영상을 미리 설정된 메시에 텍스처 매핑하는 과정 등에 의해 랜더링하여 생성할 수 있다. 이를 위해 메시를 구성하는 폴리곤의 각 정점에 매핑될 텍스처 좌표를 구하는 파라미터화된 함수 F를 정의하여 사용한다.
그런데, 함수 F는 카메라의 내부 왜곡 특성, 설치 위치, 방향 등에 따라 결정되는 함수이다. 따라서, 함수 F는 카메라가 설치될 때마다 달라지며, 물리적인 오차가 없도록 카메라를 차량에 설치하는 것이 불가능하기 때문에, 동일 제품, 동일 차종이라 하더라도 모든 차량이 다른 함수 F를 갖는다.
따라서, 함수 F를 알아내기 위한 자동화된 캘리브레이션(auto calibration) 기능이 필요하며, 이러한 자동화된 캘리브레이션 기능을 이용하여 어라운드뷰 이미지를 생성하는 방안을 고려해 볼 필요가 있다.
따라서, 본 발명의 목적은, 자동화된 칼리브레이션 기능을 구비하며, 이를 이용하여 어라운드뷰 이미지를 생성할 수 있는 어라운드뷰 제공 방법 및 장치를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명에 따른 어라운드뷰 제공 방법은, 차량 주변에 원형 패턴을 배치하고, 상기 차량에 설치된 하나 이상의 카메라로부터 상기 원형 패턴을 촬영한 영상 데이터를 입력받는 단계, 상기 영상 데이터에서 타원 형상을 인식하는 단계, 상기 타원 형상을 원 형상으로 변환할 수 있는 함수 G를 산출하는 단계, 및 상기 함수 G의 역함수를 구하여, 기설정된 메시를 구성하는 폴리곤의 각 정점에 매핑될 텍스처 좌표값을 산출하는 파라미터화된 함수 F를 산출하는 단계를 포함한다.
상기 타원 형상을 인식하는 단계는, 상기 영상 데이터에서 에지 영상을 획득하는 단계, 상기 에지 영상에서 검출된 에지 포인트들을 연속된 점들의 집합인 에지 그룹으로 분류하는 단계, 상기 에지 그룹 중 단일 폐곡선이 아닌 것과, 곡률이 기설정된 기준값을 초과하는 것을 제거하는 단계, 및 상기 제거 후 남은 에지 그룹 중에서 상기 원형 패턴의 개수만큼 면적 크기순으로 선택하여, 선택한 에지 그룹을 상기 타원 형상으로 인식하는 단계를 포함할 수 있다.
또한, 상기 목적을 달성하기 위한 본 발명에 따른 어라운드뷰 제공 장치는, 차량에 설치된 하나 이상의 카메라로부터 획득한 영상 데이터를 입력받는 영상 입력부, 상기 영상 입력부를 통해 상기 차량 주변에 배치된 원형 패턴을 촬영한 영상 데이터를 입력받아, 상기 영상 데이터에서 타원 형상을 인식하여, 상기 타원 형상을 원 형상으로 변환할 수 있는 함수 G를 산출하고, 상기 함수 G의 역함수를 구하여, 기설정된 메시를 구성하는 폴리곤의 각 정점에 매핑될 텍스처 좌표값을 산출하는 파라미터화된 함수 F를 산출하는 이미지 처리부, 상기 함수 F에 대한 정보를 저장하는 메모리, 및 상기 영상 입력부와 상기 이미지 처리부의 동작을 제어하는 제어부를 포함한다.
또한, 상기 목적을 달성하기 위하여 본 발명에서는, 상기 어라운드뷰 제공 방법을 프로세서에서 실행시키기 위한 프로그램을 기록한 프로세서가 읽을 수 있는 기록매체를 제공할 수 있다.
또한, 상기 어라운드뷰 제공 방법을 이용하여 어라운드뷰 이미지를 생성하여 표시하는 어라운드 뷰 모니터를 제공할 수도 있다.
그리고, 본 발명에 따르면, 상기 어라운드뷰 제공 장치를 포함하는 3D 그래픽 프로세서가 제공된다.
본 발명에 따르면, 차량 주변에 배치된 원형 패턴을 이용하여 자동화된 캘리브레이션 기능을 수행할 수 있으며, 이를 이용하여 왜곡없는 어라운드뷰 이미지를 생성할 수 있다. 따라서, 카메라나 차량별로 일일이 캘리브레이션 과정을 수행할 필요없이 자동으로 편리하게 캘리브레이션 기능을 수행하여, 어라운드뷰 이미지를 생성할 수 있다.
도 1은 본 발명의 일실시예에 따른 어라운드뷰 제공 장치의 구성을 설명하기 위한 블럭도,
도 2 및 도 3은 어라운드뷰 이미지 생성 과정에 대한 설명에 참조되는 도면,
도 4는 함수 F에 대한 설명에 참조되는 도면,
도 5 내지 도 7은 본 발명의 일실시예에 따른 어라운드뷰 제공 방법에 대한 설명에 제공되는 흐름도, 그리고
도 8 내지 도 12는 본 발명의 일실시예에 따른 어라운드뷰 제공 방법에 대한 설명에 참조되는 도면이다. .
본 명세서에서, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 경우, 어떤 구성요소에 다른 구성요소에 직접적으로 연결되어 있거나 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에" 또는 "~에 이웃하는" 등과, 어떤 구성요소가 다른 구성요소로 신호를 "전송한다" 와 같은 표현도 마찬가지로 해석되어야 한다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 어라운드뷰 제공 장치의 구성을 설명하기 위한 블럭도이다.
도 1을 참조하면, 본 어라운드뷰 제공 장치(100)는 영상 입력부(110), 이미지 처리부(120), 통신부(130), 메모리(140), 인터페이스부(150), 및 제어부(160)를 포함할 수 있다. 이와 같은 구성요소들은 실제 응용에서 구현될 때 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다.
영상 입력부(110)는 차량에 설치된 카메라에서 획득한 영상 데이터를 입력받는다. 영상 입력부(110)는 카메라나 기타 영상을 획득할 수 있는 장치를 포함할 수도 있다.
이미지 처리부(120)는 미리 설정되어 있는 다수의 메시 중에서 선택된 메시와 영상 입력부(110)를 통해 입력된 영상 데이터를 이용한 랜더링 작업에 의해 어라운드뷰 이미지를 생성할 수 있다. 또한, 이미지 처리부(120)는 자동화된 카메라 캘리브레이션 기능을 수행할 수 있다.
통신부(130)는 차량의 조종을 위한 조종 장치와 통신을 수행하여 데이터를 송수신할 수 있다. 차량의 조종을 위한 장치에는 운전석에 설치된 각종 조작부와 디스플레이 등이 포함될 수 있다.
메모리(140)는 제어부(160)의 처리 및 제어를 위한 프로그램이나 데이터가 저장될 수 있다. 메모리(140)에는 미리 설정된 다수의 메시 구성을 위한 데이터도 저장될 수 있다. 또한, 메모리(140)에는 후술하는 자동화된 캘리브레이션 기능을 통해 산출된, 기설정된 메시를 구성하는 폴리곤의 각 정점에 매핑될 텍스처 좌표값을 산출하는 파라미터화된 함수 F에 대한 정보 등도 저장될 수 있다.
인터페이스부(150)는 차량에 설치된 각종 센서로부터 센서 정보를 입력받을 수 있다. 이외에도 인터페이스부(150)는 어라운드뷰 제공 장치(100)에 연결되는 모든 외부기기와의 인터페이스 역활을 수행할 수 있다.
제어부(160)는 통상적으로 상기 각부의 동작을 제어하여 어라운드뷰 제공 장치(100)의 전반적인 동작을 제어한다. 또한, 제어부(160)는 이미지 처리부(120)가 자동화된 캘리브레이션 기능을 수행할 수 있도록 제어할 수 있으며, 이미지 처리부(120)가 미리 설정된 조건에 따라 다수의 메시 중 어느 하나를 랜더링에 사용할 메시로 선택하여, 어라운드뷰 이미지를 생성하도록 제어할 수 있다.
이와 같은 구성에 의해, 어라운드뷰 제공 장치(100)는 자동화된 캘리브레이션 기능을 수행하고, 영상 입력부(110)를 통해 입력된 영상 데이터와 미리 설정된 조건에 따라 선택한 메시를 이용한 랜더링 작업에 의해 어라운드뷰 이미지를 생성할 수 있다.
도 2 및 도 3은 어라운드뷰 이미지 생성 과정에 대한 설명에 참조되는 도면이다.
도 2를 참조하면, 어라운드뷰 제공 장치(100)는 차량(200)에 설치된 카메라(105a, 105b, 105c, 105d)를 통해 획득한 영상 데이터를 사용하여, 차량(200)을 외부에서 관찰하는 듯한 어라운드뷰 이미지를 생성할 수 있다.
카메라(105a, 105b, 105c, 105d)는 차량(200)의 좌우 및 전후 영역(210a, 210b, 210c, 210d)을 촬영한 영상 데이터를 제공할 수 있다. 카메라(105a, 105b, 105c, 105d)의 개수는 이보다 적거나 혹은 많을 수도 있으며, 카메라(105a, 105b, 105c, 105d)의 개수와 위치에 따라 보이지 않는 음영 지역이 생길 수 있다.
도 3에 도시한 바와 같이, 카메라(105a, 105b, 105c, 105d)로부터 입력된 영상을 메시(300)에 텍스처 매핑(texture mapping)하는 과정 등을 포함하는 렌더링 작업에 의해 어라운드뷰 이미지를 생성할 수 있다.
메시(300)는 3차원 컴퓨터 그래픽스에서 다면체의 형태를 구성하는 폴리곤과 정점들의 집합을 의미하며, 간단한 랜더링이 가능하도록 주로 삼각형과 사변형 또는 볼록한 다각형으로 구성되지만, 구멍이 뚫려 있는 등 더 복잡한 도형을 이용하여 구성할 수도 있다.
텍스처 매핑은 컴퓨터 그래픽스 분야에서 가상의 삼차원 물체의 표면에 세부적인 질감의 묘사를 하거나 색을 칠하는 기법을 의미한다. 일반적으로 수식이나 2차원의 그림을 삼차원 물체의 표면에 여러 가지 방법을 통하여 적용하고, 이에 따라 컴퓨터 그래픽 화면을 만들어 나갈 때 마치 실제의 물체처럼 느껴지게 그 세부 묘사를 하는 것이다. 이는 사실적인 3D 장면을 구성하는 데 필요한 다각형 및 조명 계산의 수를 대폭 줄이게 해준다. 쉽게 말하자면 지도를 제작할 때 입체인 지구표면은 평면으로 바꾸는 방법을 쓰지만 텍스처 매핑의 경우에는 그 반대로 2차원을 3차원에 적용하는 것이다.
한편, 어라운드뷰 이미지 생성을 위해, 메시(300)를 구성하는 폴리곤의 각 정점(vertex)에 매핑될 텍스처 좌표값을 구하는 파라미터화된 함수 F를 정의할 수 있다. 즉,
Figure 112018088649873-pat00001
여기서, (u,v)는 텍스처 좌표값이고, (x,y,z)는 정점의 좌표값을 의미하며, w는 함수 특성 파라미터이다.
예를 들어, 도 4에 도시한 바와 같이, 폴리곤 정점 중 하나인 Cv0 의 좌표값(x,y,z)으로부터 함수 F를 이용하여 대응하는 텍스처 좌표값(u,v)를 산출할 수 있다.
그런데, 함수 F는 카메라의 내부 왜곡 특성, 설치 위치와 방향에 의해 결정되는 함수이다.
즉, 실제 우리 눈으로 보는 세상은 3차원이지만, 이것을 카메라로 찍으면 2차원의 이미지로 변하게 된다. 이때, 3차원의 점들이 이미지 상에서 어디에 맺히는지는 기하학적으로 생각하면 영상을 찍을 당시의 카메라의 위치 및 방향에 의해 결정된다. 그러나, 실제 이미지는 사용된 렌즈, 렌즈와 이미지 센서와의 거리, 렌즈와 이미지 센서가 이루는 각 등 카메라 내부의 기구적인 부분에 의해서 크게 영향을 받는다. 따라서, 3차원 점들이 영상에 투영된 위치를 구하거나 역으로 영상좌표로부터 3차원 공간좌표를 복원할 때에는 이러한 내부 요인을 제거해야만 정확한 계산이 가능해지는데, 이러한 내부 요인의 파라미터 값을 구하는 과정을 카메라 캘리브레이션이라 부른다.
또한, 함수 F는 카메라를 설치할 때마다 달라지며, 물리적으로 오차가 없도록 카메라를 설치하는 것이 불가능하기 때문에 동일 제품, 동일 차종이라고 하더라도 모든 차량이 다른 함수 F를 갖는다.
그러므로, 왜곡없는 어라운드뷰 이미지의 생성을 위해서는 함수 F를 알아내기 것이 필요하며, 이를 편리하게 수행하기 위해서는 자동화된 캘리브레이션 기능이 필요하다.
도 5 내지 도 7은 본 발명의 일실시예에 따른 어라운드뷰 제공 방법에 대한 설명에 제공되는 흐름도이다.
도 5를 참조하면, 먼저 차량(200) 주변에 하나 이상의 원형 패턴을 배치하고(S400), 영상 입력부(110)는 차량(200)에 설치된 하나 이상의 카메라로부터 원형 패턴을 촬영한 영상 데이터를 입력받는다(S410).
다음으로 이미지 처리부(120)는 입력된 영상 데이터에서 타원 형상을 인식한다(S420). 즉, 실제 차량(200) 주변에는 원형 패턴이 배치되었으나, 보정전 카메라로 원형 패턴을 촬영하면 원형 패턴이 타원 형상으로 보이게 된다.
타원 형상의 인식 과정은, 도 6에 도시한 바와 같이, 먼저 입력된 영상 데이터에서 에지 검출 방법을 사용하여 에지 영상을 획득한다(S421).
에지 검출은 영상 분할, 영상 인식 등의 전처리 과정으로, 대표적인 에지 검출 방법으로는 소벨(Sobel), 프리윗(Prewitt), 라플라시안(Laplacian), 로버츠(Roberts), 케니(Canny) 에지 검출 방법 등이 있다.
본 실시예에서는 기본적으로 케니 에지 검출 방법을 사용하지만, 사용 환경에 따라 다른 에지 검출 방법을 사용할 수도 있다,
케니 에지 검출 방법에 의해 에지 영상이 획득되면, 획득한 에지 영상에서 검출된 에지 포인트(edge point)들을 연속된 점들의 집합인 에지 그룹(edge group)으로 분류한다(S422).
그리고, 분류된 에지 그룹 중에서 단일 폐곡선이 아닌 에지 그룹과, 곡률이 미리 설정된 기준값을 초과하여 모서리를 갖는 것으로 추정되는 에지 그룹을 제거한다(S423, S424)
이러한 에지 그룹의 제거 후, 남아 있는 에지 그룹 중에서 차량(200) 주변에 배치된 원형 패턴의 개수 만큼 면적 크기순으로 에지 그룹을 선택한다(S425).
이와 같은 과정에 의해 선택된 에지 그룹을 타원 형상으로 인식할 수 있다.
도 5를 참조하면, 타원 형상이 인식되면, 인식된 타원 형상을 원 형상으로 변환할 수 있는 함수 G(ｕ,v;θ)를 구한다(S430).
함수 G(ｕ,v;θ)는, 도 7에 도시한 바와 같이, 경사 하강법(Gradient descent)을 이용하여 산출할 수 있다. 경사 하강법은 1차 근삿값 발견용 최적화 알고리즘으로, 최적화란 여러 가지 허용되는 값들 중에서 주어진 기준을 가장 잘 만족하는 것을 선택하는 것을 의미한다. 경사 하강법의 기본 아이디어는 함수의 그레디언트(gradient)를 구하고, 그레디언트 반대 방향으로 정의한 스텝 크기를 가지고 조금씩 움직여가면서 최적의 파라미터를 찾는 것이다. 여기서, 그레디언트는 파라미터에 대해 편미분한 벡터를 의미하며, 이 파라미터를 조금씩 움직여서 최적의 값을 찾게된다.
함수 G(ｕ,v;θ)를 구하기 위해, 모든 타원 형상을 미리 주어진 파라미터 θ로 변환((x,y) = G(ｕ,v;θ))하였을 때 에러 함수를 정의한다(S431). 이때, 에러함수에 반영할 특성은 다음과 같다.
첫째, 한개의 타원 형상을 변환한 공간좌표((x,y) = g(u,v;θ))들이 얼마나 실제 원형 패턴의 모양과 크기에 가까운가 여부이다. 이를 위해 모든 타원 형상에 대해서 에러를 구한뒤 합을 최종 에러에 반영할 수 있다.
둘째, 서로 다른 카메라에 의해 변환된 원 형상이 얼마나 정확하게 겹쳐지는가 여부이다. 이를 위해 각 카메라에서 변환된 두 원의 중심 거리와 반지름의 차이를 계산하여 최종 에러에 반영할 수 있다.
에러 함수가 설정되면 파라미터 θ의 초기값을 설정하여(S432), 에러 함수를 통해 에러값을 산출한다(S433).
에러값이 미리 설정된 목표값 이하로 낮아지거나 진동하면, 계산을 중단하고, 현재의 파라미터 θ로 함수 G가 산출된다(S434, S435).
그러나, 에러값이 목표값 이하가 아니거나 진동하지 않으면, 에러 함수의 최소값을 찾기 위하여, 파라미터 θ를 다음의 식과 같이 업데이트 하면서(S436), S433 내지 S434 과정을 에러값이 목표값 이하로 낮아지거나 진동할때까지 반복적으로 수행한다.
Figure 112018088649873-pat00002
이와 같은 과정에 의해 함수 G(ｕ,v;θ)를 구할 수 있다.
도 5를 참조하면, 함수 G(ｕ,v;θ)가 구해지면, 함수 G(ｕ,v;θ)를 사용하여 함수 F(x,y,z;w)를 구한다(S340).
함수 G(ｕ,v;θ)의 역함수 G-1(x,y;w)와 구하고자 하는 함수 F(x,y,z;w)는 다음과 같은 관계를 갖는다.
Figure 112018088649873-pat00003
함수 G의 역함수 G- 1(==F(x,y,0;w))를 구하는 방법은 함수 G의 모델에 따라 상이할 수 있다. 예컨대, 수학적으로 구할 수도 있고, 수렴식으로 근사해서 구할 수도 있으며, 이둘을 혼합하여 구할 수도 있다. 함수 G의 역함수를 G-1 를 구하는 방법은 미리 프로그램화되어 메모리(140)에 저장될 수 있다.
구해진 함수 F에 대한 정보는 메모리(140)에 저장되어, 이후 어라운드뷰 이미지 생성에 사용된다(S450).
즉, 이미지 처리부(120)는 함수 F가 설정되면, 설정된 함수 F를 이용하여 메시를 구성하는 폴리곤의 각 정점에 대한 텍스처 좌표값을 산출한다. 그리고, 영상 입력부(110)를 통해 획득한 영상 데이터로부터 텍스처 좌표값에 대응하는 픽셀값을 읽어와 메시에 매핑하는 과정을 포함하는 랜더링 과정에 의해 어라운드뷰 이미지를 생성한다.
제어부(160)는 이미지 처리부(120)에서 생성한 어라운드뷰 이미지를 통신부(130)를 통해 출력하며, 출력된 어라운드뷰 이미지는 차량에 설치된 디스플레이에 표시할 수 있다.
그리고, 어라운드뷰 이미지를 생성하는 과정에서 하나 이상의 메시를 사용할 수도 있다. 예컨대, 차량 근처에 특정 객체가 존재하면 제1 메시를 사용하고, 차량 근처에 특정 객체가 존재하지 않으면 제1 메시보다 원거리인 제2 메시를 사용할 수 있다. 또한, 소정 높이에서 사선으로 차량을 내려보는 어라운드뷰 이미지 생성시, 제1 메시를 사용하고, 소정 높이 보다 높은 차량의 상부에서 차량을 아래로 내려보는 어라운드뷰 이미지의 생성시, 제1 메시보다 원거리인 제2 메시를 사용할 수 있다. 이와 같이 랜더링에 사용할 메시를 사용 환경 등에 따라 변형하여 영상의 왜곡이 없는 어라운드뷰 이미지를 생성할 수 있다.
도 8 내지 도 12는 본 발명의 일실시예에 따른 어라운드뷰 제공 방법에 대한 설명에 참조되는 도면이다. .
도 8은 차량 주변에 원형 패턴이 배치된 것을 나타낸 것이다.
도 8에 나타낸 바와 같이, 차량(200) 주변에 하나 이상의 원형 패턴(501, 503, 505, 507, 509, 511, 513, 515)를 배치하고, 차량(200)에 설치된 카메라를 통해 이를 촬영한다.
도 9는 차량에 설치된 카메라를 통해 원형 패턴을 촬영한 영상의 일 예를 나타낸 것이다.
도 9에 나타낸 바와 같이, 실제 차량(200) 주변에 배치된 것은 원형 패턴이지만 보정전 카메라를 통해 촬영하면 원형 패턴은 타원 형상으로 보인다.
도 10은 도 9에 나타낸 영상에서 케니 에지 검출 방법을 이용하여 검출한 에지 영상을 나타낸 것이고, 도 11는 도 10의 에지 영상에서 타원 형상을 인식한 것을 나타낸다.
케니 에지 검출방법은, 명확하게 하나의 선으로 에지를 찾을 수 있으며, 상하한 임계값 설정을 통해 다양한 환경에 적용할 수 있다. 케니 에지 검출 방법은, 기본적으로 블러링을 통한 노이즈 제거, 마스크를 이용한 에지 검출, Non-Maximum Value 제거, 두개의 임계값으로 크기 구분, 및 에지 연결과 같은 과정으로 이루어진다.
전술한 바와 같이, 케니 에지 검출방법을 이용하여 에지 영상이 획득되면, 획득한 에지 영상에서 검출된 에지 포인트(edge point)들을 연속된 점들의 집합인 에지 그룹(edge group)으로 분류하고, 분류된 에지 그룹 중에서 단일 폐곡선이 아닌 에지 그룹과, 곡률이 미리 설정된 기준값을 초과하여 모서리를 갖는 것으로 추정되는 에지 그룹을 제거한다. 그리고, 남아 있는 에지 그룹 중에서 면적 크기순으로 에지 그룹을 선택하면, 타원 형상(531, 533, 535, 537)을 인식할 수 있다.
도 12는 함수 G를 사용하여 변환한 에지 그룹 영상을 나타낸 것이다.
도 12에 도시한 바와 같이, 함수 G를 사용하여 에지 그룹을 변환하면, 원래 원형 패턴에 해당하는 원 형상(601, 603, 605, 607, 609, 611, 613, 615)을 얻을 수 있다.
이와 같이 함수 G가 산출되면, 이를 이용하여 함수 F를 산출하고, 이를 이용하여 어라운드뷰 이미지를 생성할 수 있다.
한편, 본 발명에 따른 어라운드뷰 제공 방법 및 장치는 상기한 바와 같이 설명된 실시예들의 구성에 한정되게 적용될 수 있는 것이 아니라, 상기한 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
그리고, 본 발명의 내용은 하드웨어나 소프트웨어 사용에만 국한되지는 않으며, 다른 어떤 컴퓨팅 또는 처리 환경에 대해서도 적용 가능하다. 본 발명에서 설명하는 하드웨어, 소프트웨어 또는 하드웨어소프트웨어의 조합으로 구현될 수 있다. 본 발명은 회로를 사용하여 구현될 수 있다. 즉, 한 개 이상의 프로그램 가능한 논리회로, 즉 ASIC(application specific integrated circuit) 또는 논리회로(AND, OR NAND gates) 또는 프로세싱 장치(예를 들면 마이크로 프로세서, 컨트롤러)로 구현가능하다.
또한, 본 발명은 프로그램 가능한 컴퓨터상에서 컴퓨터 프로그램으로 구현 가능하다. 이러한 컴퓨터는 프로세서, 저장장치, 입력장치, 출력 장치를 포함할 수 있다. 본 발명에서 설명한 내용을 구현하기 위해 프로그램 코드는 마우스 또는 키보드 입력장치로 입력될 수 있다. 이러한 프로그램들은 고차원적인 언어나, 객체지향적인 언어로 구현될 수 있다. 또한 어셈블리나 기계어 코드로 구현된 컴퓨터 시스템으로도 구현될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
110 : 영상 입력부 120 : 이미지 처리부
130 : 통신부 140 : 메모리
150 : 인터페이스부 160 : 제어부

Claims (10)

  1. 차량 주변에 원형 패턴을 배치하고, 상기 차량에 설치된 하나 이상의 카메라로부터 상기 원형 패턴을 촬영한 영상 데이터를 입력받는 단계;
    상기 영상 데이터에서 타원 형상을 인식하는 단계;
    상기 타원 형상을 원 형상으로 변환할 수 있는 함수 G를 산출하는 단계; 및
    상기 함수 G의 역함수를 구하여, 기설정된 메시를 구성하는 폴리곤의 각 정점에 매핑될 텍스처 좌표값을 산출하는 파라미터화된 함수 F를 산출하는 단계를 포함하며,
    상기 함수 G를 산출하는 단계는,
    a) 상기 인식된 타원 형상을 미리 주어진 파라미터 θ를 이용하여 원 형상으로 변환하였을 때, 상기 원형 패턴의 모양 및 크기와의 차이를 포함하는 에러 값을 산출할 수 있는 에러 함수를 설정하는 단계;
    b) 기설정된 초기값으로 상기 파라미터 θ를 설정하는 단계;
    c) 설정된 파라미터 θ를 상기 에러 함수에 적용하여 에러 값을 산출하며, 상기 산출된 에러 값이 기설정된 목표값 이하이거나 소정 범위 내에서 진동하는 값인 경우, 계산을 중단하고 현재의 파라미터 θ를 이용하여 상기 함수 G를 산출하는 단계; 및
    d) 상기 c) 단계에서 산출된 에러 값이 상기 목표값 이하가 아니거나 상기 소정 범위 내에서 진동하는 값이 아닌 경우, 경사 하강법(gradient descent)을 이용하여 상기 파라미터 θ를 새로 설정하고, 상기 새로 설정된 파라미터 θ를 이용하여 상기 c) 단계를 반복적으로 수행하는 단계를 포함하는 것을 특징으로 하는 어라운드뷰 제공 방법.
  2. 제1항에 있어서,
    상기 타원 형상을 인식하는 단계는,
    상기 영상 데이터에서 에지 영상을 획득하는 단계;
    상기 에지 영상에서 검출된 에지 포인트들을 연속된 점들의 집합인 에지 그룹으로 분류하는 단계;
    상기 에지 그룹 중 단일 폐곡선이 아닌 것과, 곡률이 기설정된 기준값을 초과하는 것을 제거하는 단계; 및
    상기 제거 후 남은 에지 그룹 중에서 상기 원형 패턴의 개수만큼 면적 크기순으로 선택하여, 선택한 에지 그룹을 상기 타원 형상으로 인식하는 단계를 포함하는 어라운드뷰 제공 방법,
  3. 삭제
  4. 제1항에 있어서,
    상기 차량에 설치된 하나 이상의 카메라를 통해 획득한 영상 데이터와 상기 함수 F를 이용하여 어라운드뷰 이미지를 생성하는 단계를 더 포함하는 어라운드뷰 제공 방법.
  5. 제4항에 있어서,
    상기 생성한 어라운드뷰 이미지를 상기 차량에 설치된 디스플레이에 표시하는 단계를 더 포함하는 어라운드뷰 제공 방법.
  6. 제1항, 제2항, 제4항 또는 제5항 중 어느 한 항의 어라운드뷰 제공 방법을 프로세서에서 실행시키기 위한 프로그램을 기록한 프로세서가 읽을 수 있는 기록매체.
  7. 제1항, 제2항, 제4항 또는 제5항 중 어느 한 항의 어라운드뷰 제공 방법을 이용하여 어라운드뷰 이미지를 생성하여 표시하는 어라운드 뷰 모니터.
  8. 차량에 설치된 하나 이상의 카메라로부터 획득한 영상 데이터를 입력받는 영상 입력부;
    상기 영상 입력부를 통해 상기 차량 주변에 배치된 원형 패턴을 촬영한 영상 데이터를 입력받아, 상기 영상 데이터에서 타원 형상을 인식하여, 상기 타원 형상을 원 형상으로 변환할 수 있는 함수 G를 산출하고, 상기 함수 G의 역함수를 구하여, 기설정된 메시를 구성하는 폴리곤의 각 정점에 매핑될 텍스처 좌표값을 산출하는 파라미터화된 함수 F를 산출하는 이미지 처리부;
    상기 함수 F에 대한 정보를 저장하는 메모리; 및
    상기 영상 입력부와 상기 이미지 처리부의 동작을 제어하는 제어부를 포함하며,
    상기 이미지 처리부는,
    a) 상기 인식된 타원 형상을 미리 주어진 파라미터 θ를 이용하여 원 형상으로 변환하였을 때, 상기 원형 패턴의 모양 및 크기와의 차이를 포함하는 에러 값을 산출할 수 있는 에러 함수를 설정하는 단계;
    b) 기설정된 초기값으로 상기 파라미터 θ를 설정하는 단계;
    c) 설정된 파라미터 θ를 상기 에러 함수에 적용하여 에러 값을 산출하며, 상기 산출된 에러 값이 기설정된 목표값 이하이거나 소정 범위 내에서 진동하는 값인 경우, 계산을 중단하고 현재의 파라미터 θ를 이용하여 상기 함수 G를 산출하는 단계; 및
    d) 상기 c) 단계에서 산출된 에러 값이 상기 목표값 이하가 아니거나 상기 소정 범위 내에서 진동하는 값이 아닌 경우, 경사 하강법(gradient descent)을 이용하여 상기 파라미터 θ를 새로 설정하고, 상기 새로 설정된 파라미터 θ를 이용하여 상기 c) 단계를 반복적으로 수행하는 단계를 포함하는 과정에 의해 상기 함수 G를 산출하는 것을 특징으로 하는 어라운드뷰 제공 장치.
  9. 제8항에 있어서,
    상기 이미지 처리부는 상기 영상 입력부를 통해 획득한 영상 데이터와 상기 함수 F를 이용하여 어라운드뷰 이미지를 생성하며,
    상기 제어부는, 상기 차량의 조종 장치와 통신하여 데이터를 송수신하는 통신부를 통해 상기 생성한 어라운드뷰 이미지를 상기 차량에 설치된 디스플레이에 전달하여 표시되도록 제어하는 것을 특징으로 하는 어라운드뷰 제공 장치.
  10. 제8항 또는 제9항의 어라운드뷰 제공 장치를 포함하는 3D 그래픽 프로세서.
KR1020180106399A 2018-09-06 2018-09-06 자동 캘리브레이션 기능을 구비한 어라운드뷰 제공 방법 및 장치 KR101964829B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180106399A KR101964829B1 (ko) 2018-09-06 2018-09-06 자동 캘리브레이션 기능을 구비한 어라운드뷰 제공 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180106399A KR101964829B1 (ko) 2018-09-06 2018-09-06 자동 캘리브레이션 기능을 구비한 어라운드뷰 제공 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101964829B1 true KR101964829B1 (ko) 2019-04-02

Family

ID=66166967

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180106399A KR101964829B1 (ko) 2018-09-06 2018-09-06 자동 캘리브레이션 기능을 구비한 어라운드뷰 제공 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101964829B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120140515A (ko) * 2011-06-21 2012-12-31 ㈜베이다스 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법
KR20170026743A (ko) * 2015-08-27 2017-03-09 ㈜베이다스 차량용 영상 정합을 위한 간소화 패턴 기반의 자동보정장치 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120140515A (ko) * 2011-06-21 2012-12-31 ㈜베이다스 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법
KR20170026743A (ko) * 2015-08-27 2017-03-09 ㈜베이다스 차량용 영상 정합을 위한 간소화 패턴 기반의 자동보정장치 및 그 방법

Similar Documents

Publication Publication Date Title
US10288418B2 (en) Information processing apparatus, information processing method, and storage medium
US9426444B2 (en) Depth measurement quality enhancement
US9311565B2 (en) 3D scanning with depth cameras using mesh sculpting
JP2022519194A (ja) 奥行き推定
JP2004334819A (ja) ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置
CN111024040A (zh) 距离估计方法和设备
US9437034B1 (en) Multiview texturing for three-dimensional models
JP6352208B2 (ja) 三次元モデル処理装置およびカメラ校正システム
KR20120014925A (ko) 가변 자세를 포함하는 이미지를 컴퓨터를 사용하여 실시간으로 분석하는 방법
US20150278589A1 (en) Image Processor with Static Hand Pose Recognition Utilizing Contour Triangulation and Flattening
JP2019536162A (ja) シーンのポイントクラウドを表現するシステム及び方法
US11488354B2 (en) Information processing apparatus and information processing method
US9147279B1 (en) Systems and methods for merging textures
US20190180134A1 (en) Method for estimating 6-dof relative displacement using vision-based localization and apparatus therefor
JP7298687B2 (ja) 物体認識装置及び物体認識方法
KR102538685B1 (ko) 다시점 정보를 이용하여 3d 정보를 복원하는 방법 및 이를 위한 장치
KR101964829B1 (ko) 자동 캘리브레이션 기능을 구비한 어라운드뷰 제공 방법 및 장치
JP2017199285A (ja) 情報処理装置、情報処理方法、プログラム
AU2020317303B2 (en) Information processing device, data generation method, and program
KR102049666B1 (ko) 비전 기반 위치 추정 기법을 이용한 6-자유도 상대 변위 추정 방법 및 그 장치
JP2018041169A (ja) 情報処理装置およびその制御方法、プログラム
Son et al. Detection of nearby obstacles with monocular vision for earthmoving operations
EP2953096B1 (en) Information processing device, information processing method, system and carrier means
JPH06243251A (ja) 画像特徴抽出装置
US20240257376A1 (en) Method and system for detection a line above ground from a helicopter

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant