KR20210143002A - 차량에 설치된 카메라의 캘리브레이션 시스템 및 방법 - Google Patents

차량에 설치된 카메라의 캘리브레이션 시스템 및 방법 Download PDF

Info

Publication number
KR20210143002A
KR20210143002A KR1020200059867A KR20200059867A KR20210143002A KR 20210143002 A KR20210143002 A KR 20210143002A KR 1020200059867 A KR1020200059867 A KR 1020200059867A KR 20200059867 A KR20200059867 A KR 20200059867A KR 20210143002 A KR20210143002 A KR 20210143002A
Authority
KR
South Korea
Prior art keywords
camera
vehicle
cameras
tolerance
images
Prior art date
Application number
KR1020200059867A
Other languages
English (en)
Inventor
선인선
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020200059867A priority Critical patent/KR20210143002A/ko
Publication of KR20210143002A publication Critical patent/KR20210143002A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H04N5/2257—
    • H04N5/23299—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

차량에 탑재되고, 차량의 주변 영상을 촬영하는 복수 개의 카메라가 포함된 카메라부; 복수 개의 카메라에서 각각 촬영한 복수 개의 영상을 기반으로 합성 영상을 생성하는 영상 정합부; 영상 정합부에서 생성한 합성 영상을 디스플레이하는 디스플레이 장치; 사용자로부터 복수 개의 카메라 중 일부 또는 전체의 이동에 대한 조작을 입력 받는 조작장치; 및 조작장치에서 입력 받은 조작을 기반으로 복수 개의 카메라 중 일부 또는 전체의 이동을 제어하는 제어부;를 포함하는 차량에 설치된 카메라의 캘리브레이션 시스템이 소개된다.

Description

차량에 설치된 카메라의 캘리브레이션 시스템 및 방법 {CALIBRATION SYSTEM AND METHOD FOR VEHICLE MOUNTED CAMERA}
본 발명은 차량에 설치된 카메라의 캘리브레이션 시스템 및 방법에 관한 것으로, 서라운드 뷰(SVM: Surround View Monitor)를 형성하는 카메라의 공차를 보정하는 시스템 및 방법에 관한 것이다.
최근 차량은 전방 카메라, 후방 카메라, 사이드 뷰 카메라의 사용이 확산되어 왔다. 이들 카메라는 종종 운전자를 돕기 위해 사용되며 차량의 안정성을 개선할 수 있다.
특히, 차량에 복수의 카메라를 설치하여 차량 주변의 360도 전방향의 영상을 보여주는 어라운드 뷰 모니터링(SVM: Surround View Monitoring) 시스템이 개발되어 상용화되고 있다.
SVM 시스템은 차량 각 위치에 구비된 카메라들에 의해 촬영된 차량 주변의 영상을 조합하여, 운전자가 하늘에서 차량을 바라보는 듯한 탑뷰(Top View) 이미지 형식의 SVM 영상을 제공함으로써, 차량 주변 장애물을 표시하고 사각지대를 해소할 수 있는 장점이 있다.
SVM 시스템은 카메라 장착시 각 카메라의 공차를 보정하는 작업이 필수적이며, SVM 시스템이 설치된 차량은 SVM 영상의 생성을 위한 화면 정합성 기준에 맞도록 공차가 보정된 후 출고되고 있다.
그러나 차량이 출고된 후 차량의 운행 도중 공차가 누적되면 화면 정합성이 낮아지게 된다. 이 경우, 누적 공차의 보정을 위해 운전자는 차량을 가지고 서비스 센터나 사업소를 방문하여야 하는 불편함이 있었다.
상기의 배경기술로서 설명된 사항들은 본 발명의 배경에 대한 이해 증진을 위한 것일 뿐, 이 기술분야에서 통상의 지식을 가진자에게 이미 알려진 종래기술에 해당함을 인정하는 것으로 받아들여져서는 안 될 것이다.
KR 10-0948886 B1
본 발명은 이러한 문제점을 해결하기 위하여 제안된 것으로, 차량의 주행 중에 발생하여 누적되는 공차를 사용자가 간편하게 보정할 수 있는 시스템 및 방법을 제공하고자 함이다.
상기의 목적을 달성하기 위한 본 발명에 따른 차량에 설치된 카메라의 캘리브레이션 시스템은 차량에 탑재되고, 차량의 주변 영상을 촬영하는 복수 개의 카메라가 포함된 카메라부; 복수 개의 카메라에서 각각 촬영한 복수 개의 영상을 기반으로 합성 영상을 생성하는 영상 정합부; 영상 정합부에서 생성한 합성 영상을 디스플레이하는 디스플레이 장치; 사용자로부터 복수 개의 카메라 중 일부 또는 전체의 이동에 대한 조작을 입력 받는 조작장치; 및 조작장치에서 입력 받은 조작을 기반으로 복수 개의 카메라 중 일부 또는 전체의 이동을 제어하는 제어부;를 포함한다.
카메라부에는, 차량의 전방을 촬영하는 전방 카메라, 차량의 후방을 촬영하는 후방 카메라, 차량의 좌측방을 촬영하는 좌측방 카메라 및 차량의 우측방을 촬영하는 우측방 카메라가 포함될 수 있다.
복수의 카메라에서 촬영한 영상들 중 서로 인접한 영역의 영상은 일부가 서로 중첩되고, 영상 정합부는 중첩된 영역 이내에서 인접한 영상 사이의 경계를 설정하고, 설정한 경계를 기반으로 복수의 영상을 합성하여 합성 영상을 생성할 수 있다.
복수 개의 카메라는 차량에 롤(Roll), 피치(Pitch) 또는 요(Yaw) 방향으로 회전 가능하게 장착되고, 조작장치은 복수 개의 카메라 중 일부 또는 전체의 롤(Roll), 피치(Pitch) 또는 요(Yaw) 방향 회전을 입력 받을 수 있다.
카메라부에는 복수 개의 카메라를 각각 롤(Roll), 피치(Pitch) 또는 요(Yaw) 방향으로 회전시키는 구동장치가 포함되고, 제어부는 복수 개의 카메라 중 일부 또는 전체의 롤(Roll), 피치(Pitch) 또는 요(Yaw) 방향 회전을 제어하도록 구동장치를 제어할 수 있다.
정합성 검증모드 실행시, 영상 정합부에서 생성한 합성 영상을 기반으로 합성 영상의 공차를 감지하고, 감지한 공차를 보정하기 위한 카메라의 이동 정보를 판단하는 공차 감지부;를 더 포함할 수 있다.
정합성 검증모드는 조작장치의 조작에 의해 수동적으로 실행되거나, 또는 복수 개의 카메라에 연속된 라인이 동시에 촬영되면 자동적으로 실행될 수 있다.
디스플레이 장치는 공차 감지부에서 판단한 카메라의 이동 정보를 디스플레이할 수 있다.
제어부는 공차 감지부에서 판단한 카메라의 이동 정보를 기반으로 복수 개의 카메라 중 일부 또는 전체의 이동을 제어할 수 있다.
상기의 목적을 달성하기 위한 본 발명에 따른 차량에 설치된 카메라의 캘리브레이션 방법은 차량에 탑재되어 차량의 주변 영상을 촬영하는 복수 개의 카메라에서 각각 영상을 촬영하는 단계; 촬영한 복수 개의 영상을 기반으로 합성 영상을 생성하는 단계; 생성한 합성 영상을 디스플레이 장치에 디스플레이하는 단계; 및 사용자로부터 입력 받은 조작을 기반으로 복수 개의 카메라 중 일부 또는 전체의 이동을 제어하는 단계;를 포함한다.
영상을 촬영하는 단계에서는, 전방 카메라에서 차량의 전방을 촬영하고, 후방 카메라에서 차량의 후방을 촬영하며, 좌측방 카메라에서 차량의 좌측방을 촬영하고, 우측방 카메라에서 차량의 우측방을 촬영할 수 있다.
영상을 촬영하는 단계에서는, 서로 인접한 영역의 영상은 일부가 서로 중첩되도록 복수의 카메라에서 영상을 촬영하고, 합성 영상을 생성하는 단계에서는, 중첩된 영역 이내에서 인접한 영상 사이의 경계를 설정하고, 설정한 경계를 기반으로 복수의 영상을 합성하여 합성 영상을 생성할 수 있다.
복수 개의 카메라는 차량에 롤(Roll), 피치(Pitch) 또는 요(Yaw) 방향으로 회전 가능하게 장착되고, 복수 개의 카메라 중 일부 또는 전체의 이동을 제어하는 단계에서는, 복수 개의 카메라 중 일부 또는 전체의 롤(Roll), 피치(Pitch) 또는 요(Yaw) 방향 회전을 제어할 수 있다.
카메라부에는 복수 개의 카메라를 각각 롤(Roll), 피치(Pitch) 또는 요(Yaw) 방향으로 회전시키는 구동장치가 포함되고, 복수 개의 카메라 중 일부 또는 전체의 이동을 제어하는 단계에서는, 복수 개의 카메라 중 일부 또는 전체의 롤(Roll), 피치(Pitch) 또는 요(Yaw) 방향 회전을 제어하도록 구동장치를 제어할 수 있다.
복수 개의 카메라 중 일부 또는 전체의 이동을 제어하는 단계 이전에, 생성한 합성 영상을 기반으로 합성 영상의 공차를 감지하고, 감지한 공차를 보정하기 위한 카메라의 이동 정보를 판단하는 단계;를 더 포함할 수 있다.
카메라의 이동 정보를 판단하는 단계 이전에, 조작장치의 조작을 입력 받은 경우 또는 복수 개의 카메라에 연속된 라인이 동시에 촬영되는 경우에 정합성 검증 모드를 실행하는 단계;를 더 포함할 수 있다.
카메라의 이동 정보를 판단하는 단계 이후에, 판단한 카메라의 이동 정보를 디스플레이 장치에 디스플레이하는 단계;를 더 포함할 수 있다.
복수 개의 카메라 중 일부 또는 전체의 이동을 제어하는 단계에서는, 판단한 카메라의 이동 정보를 기반으로 복수 개의 카메라 중 일부 또는 전체의 이동을 제어할 수 있다.
본 발명의 차량의 주행에 따라 누적되는 합성 영상의 공차를 간단하게 캘리브레이션할 수 있는 효과를 갖는다.
또한, 사용자가 직접 합성 영상의 정합성을 캘리브레이션함으로써 사용자에게 맞는 합성 영상을 생성할 수 있는 효과를 갖는다.
도 1은 본 발명의 일 실시예에 따른 차량에 설치된 카메라의 캘리브레이션 시스템의 구성도이다
도 2는 본 발명의 일 실시예에 따른 차량의 디스플레이 장치를 도시한 것이다.
도 3은 본 발명의 일 실시예에 따른 차량의 조작장치을 도시한 것이다.
도 4 내지 6은 본 발명의 다양한 실시예에 따른 정합성 검증모드에서 디스플레이 장치를 도시한 것이다.
도 7은 본 발명의 일 실시예에 따른 차량에 설치된 카메라의 캘리브레이션 방법의 순서도를 도시한 것이다.
본 명세서 또는 출원에 개시되어 있는 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다.
본 발명에 따른 실시 예는 다양한 변경을 가할 수 있고 여러가지 형태를 가질 수 있으므로 특정실시 예들을 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일 실시예에 따른 차량에 설치된 카메라의 캘리브레이션 시스템의 구성도이고, 도 2는 본 발명의 일 실시예에 따른 차량의 디스플레이 장치(30)를 도시한 것이며, 도 3은 본 발명의 일 실시예에 따른 차량의 조작장치(40)을 도시한 것이다.
도 1 내지 3을 참조하면, 본 발명의 일 실시예에 따른 차량에 설치된 카메라의 캘리브레이션 시스템은 차량에 탑재되고, 차량의 주변 영상을 촬영하는 복수 개의 카메라(11,12,13,14)가 포함된 카메라부(10); 복수 개의 카메라(11,12,13,14)에서 각각 촬영한 복수 개의 영상을 기반으로 합성 영상을 생성하는 영상 정합부(20); 영상 정합부(20)에서 생성한 합성 영상을 디스플레이하는 디스플레이 장치(30); 사용자로부터 복수 개의 카메라(11,12,13,14) 중 일부 또는 전체의 이동에 대한 조작을 입력 받는 조작장치(40); 및 조작장치(40)에서 입력 받은 조작을 기반으로 복수 개의 카메라(11,12,13,14) 중 일부 또는 전체의 이동을 제어하는 제어부(50);를 포함한다.
카메라부(10)에는 차량에 탑재된 복수 개의 카메라(11,12,13,14)가 포함되고, 복수 개의 카메라(11,12,13,14)는 각각 차량의 주변 영상을 촬영할 수 있다. 특히, 복수 개의 카메라(11,12,13,14)는 차량의 주변 영상 중 서로 다른 영역을 촬영할 수 있다.
영상 정합부(20)는 복수 개의 카메라(11,12,13,14)에서 각각 촬영한 차량의 주변 영상을 합성하여 합성 영상을 생성할 수 있다. 일 실시예로, 합성 영상은 차량을 위에서 내려다보는 방식 또는 버드뷰(Bird's View) 방식인 SVM(Surround View Monitor) 영상일 수 있다.
디스플레이 장치(30)는 차량에 탑재되어 운전자 또는 탑승자에게 영상을 디스플레이하는 장치일 수 있다. 일 실시예로, 디스플레이 장치(30)는 CRT디스플레이 장치(30), 기억형 표시, 플라스마 표시 및 액정(液晶), EL(electroluminescence), 발광(發光) 다이오드, ECD(electro chromic display) 등일 수 있다.
조작장치(40)은 사용자로부터 조작을 입력 받는 장치일 수 있다. 일 실시예로, 조작장치(40)는 사용자에 의해 인가되는 압력 또는 터치 등으로 조작을 입력 받는 조작 패널이거나, 회전 조작을 입력 받는 다이얼 등일 수 있다.
일 실시예로, 조작장치(40)는 디스플레이 장치(30)와 일체로 형성되어 디스플레이 장치(30)에 디스플레이한 화면에서 터치로 입력 받는 터치 패널일 수 있다.
제어부(50)는 카메라부(10)에 포함된 카메라의 이동을 제어할 수 있다. 구체적으로, 조작장치(40)에서 입력 받은 조작에 따라 카메라의 이동을 제어할 수 있다.
이에 따라, 본 발명에 따른 카메라의 캘리브레이션 시스템 또는 방법에 의하면 차량의 주행에 따라 누적되는 합성 영상의 공차를 간단하게 캘리브레이션할 수 있는 효과를 갖는다. 또한, 사용자가 직접 합성 영상의 정합성을 캘리브레이션함으로써 사용자에게 맞는 합성 영상을 생성할 수 있는 효과를 갖는다.
카메라부(10)에는, 차량의 전방을 촬영하는 전방 카메라(11), 차량의 후방을 촬영하는 후방 카메라(12), 차량의 좌측방을 촬영하는 좌측방 카메라(13) 및 차량의 우측방을 촬영하는 우측방 카메라(14)가 포함될 수 있다.
전방 카메라(11)는 차량의 전방을 향하도록 배치되어 차량의 전방 영상을 촬영하고, 후방 카메라(12)는 차량의 후방을 향하도록 배치되어 차량의 후방 영상을 촬영하며, 좌측방 카메라(13)는 차량의 좌측방을 향하도록 배치되어 차량의 좌측방 영상을 촬영하고, 우측방 카메라(14)는 차량의 우측방을 향하도록 배치되어 차량의 우측방 영상을 촬영할 수 있다.
즉, 카메라부(10)는 차량의 전후좌우에 해당하는 주변 영상을 촬영하고, 영상 정합부(20)는 복수 개의 영상을 합성하여 차량의 주변 360도를 동시에 보여주는 합성 영상을 생성할 수 있다.
더 구체적으로, 복수 개의 카메라(11,12,13,14)에서 촬영한 영상들 중 서로 인접한 영역의 영상은 일부가 서로 중첩되고, 영상 정합부(20)는 중첩된 영역 이내에서 인접한 영상 사이의 경계를 설정하고, 설정한 경계를 기반으로 복수의 영상을 합성하여 합성 영상을 생성할 수 있다.
일 실시예로, 전방 카메라(11)에서 촬영한 차량의 전방 영상은 좌측방 카메라(13) 및 우측방 카메라(14)에서 각각 촬영한 차량의 좌측방 영상 및 우측방 영상과 일부 영역이 중첩될 수 있다.
후방 카메라(12)에서 촬영한 차량의 후방 영상 또한 좌측방 카메라(13) 및 우측방 카메라(14)에서 각각 촬영한 차량의 좌측방 영상 및 우측방 영상과 일부 영역이 중첩될 수 있다.
즉, 서로 인접한 영역을 촬영하는 카메라에서 촬영한 영상은 일부가 서로 중첩될 수 있다.
영상 정합부(20)는 서로 중첩된 영역 이내에서 경계를 설정할 수 있고, 설정한 경계에 따라 인접한 영상을 합성할 수 있다.
추가로, 영상 정합부(20)는 복수 개의 카메라(11,12,13,14)에서 촬영한 복수 개의 영상을 기반으로 경계를 가변할 수 있다.
일 실시예에 따르면, 영상 정합부(20)는 인접하게 배치되어 중첩된 영역을 동시에 촬영하는 복수 개의 카메라(11,12,13,14)의 영상 중 일부에만 장애물이 존재하는 경우, 장애물이 존재하는 카메라의 영상의 경계를 장애물 외측에 위치하도록 이동시킬 수 있다. 이에 따라, 영상 정합부(20)는 합성 영상에 장애물이 항상 보이도록 생성할 수 있다.
복수 개의 카메라(11,12,13,14)는 차량에 롤(Roll), 피치(Pitch) 또는 요(Yaw) 방향으로 회전 가능하게 장착되고, 조작장치(40)는 복수 개의 카메라(11,12,13,14) 중 일부 또는 전체의 롤(Roll), 피치(Pitch) 또는 요(Yaw) 방향 회전을 입력 받을 수 있다.
구체적으로, 전방 카메라(11), 후방 카메라(12), 좌측방 카메라(13) 및 우측방 카메라(14)는 모두 차량을 기준으로 롤(Roll), 피치(Pitch) 또는 요(Yaw) 방향으로 회전될 수 있다.
구체적으로, 전방 카메라(11) 및 후방 카메라(12)의 경우 롤 방향은 차량의 전후 방향으로 연장된 회전축을 기준으로 회전되는 방향이며, 피치 방향은 차량의 좌우 방향으로 연장된 회전축을 기준으로 회전되는 방향이고, 요 방향은 차량의 상하 방향으로 연장된 회전축을 기준으로 회전되는 방향일 수 있다.
또한, 좌측방 카메라(13) 및 우측방 카메라(14)의 경우 요 방향은 차량의 상하 방향으로 연장된 회전축을 기준으로 회전되는 방향으로, 전방 카메라(11) 및 후방 카메라(12)와 동일하나, 롤 방향은 차량의 좌우 방향으로 연장된 회전축을 기준으로 회전되는 방향이고, 피치 방향은 차량의 전후 방향으로 연장된 회전축을 기준으로 회전되는 방향일 수 있다.
조작장치(40)는 복수 개의 카메라(11,12,13,14) 중 일부 또는 전체의 롤(Roll), 피치(Pitch) 또는 요(Yaw) 방향 회전을 각각 입력 받을 수 있고, 제어부(50)는 조작장치(40)에서 입력 받은 복수 개의 카메라(11,12,13,14) 중 일부 또는 전체의 롤(Roll), 피치(Pitch) 또는 요(Yaw) 방향을 제어할 수 있다.
더 구체적으로, 카메라부(10)에는 복수 개의 카메라(11,12,13,14)를 각각 롤(Roll), 피치(Pitch) 또는 요(Yaw) 방향으로 회전시키는 구동장치가 포함되고, 제어부(50)는 복수 개의 카메라(11,12,13,14) 중 일부 또는 전체의 롤(Roll), 피치(Pitch) 또는 요(Yaw) 방향 회전을 제어하도록 구동장치를 제어할 수 있다.
즉, 각 카메라는 롤 방향, 피치 방향 및 요 방향으로 각각 회전하는 구동장치를 통해 차량에 탑재되고, 제어부(50)는 구동장치를 제어함으로써 복수 개의 카메라(11,12,13,14) 중 일부 또는 전체의 롤(Roll), 피치(Pitch) 또는 요(Yaw) 방향 회전을 제어할 수 있다.
일 실시예로, 이러한 카메라의 이동 정보는 운전자 또는 탑승자가 직접 유추할 수 있고, 이에 따라 조작장치(40)를 조작하여 카메라를 이동시킬 수 있다.
다른 실시예로, 정합성 검증모드 실행시, 영상 정합부(20)에서 생성한 합성 영상을 기반으로 합성 영상의 공차를 감지하고, 감지한 공차를 보정하기 위한 카메라의 이동 정보를 판단하는 공차 감지부(60);를 더 포함할 수 있다.
공차 감지부(60)는 영상 정합부(20)에서 생성한 합성 영상을 기반으로 합성 영상의 어긋남 등을 감지할 수 있다. 특히, 공차 감지부(60)는 합성 영상에 공차 보정(캘리브레이션)이 필요한지 여부를 판단할 수 있고, 추가로 공차 보정이 필요한 경우에는 지한 공차를 보정하기 위한 카메라의 이동 정보를 판단할 수 있다.
여기서, 카메라의 이동 정보는 복수 개의 카메라(11,12,13,14) 중 어떤 카메라의 이동이 필요한지, 어느 방향으로의 회전이 필요한지 및 회전량이 얼마나 요구되는지 등에 관한 정보일 수 있다.
구체적으로, 정합성 검증모드는 조작장치(40)의 조작에 의해 수동적으로 실행되거나, 또는 복수 개의 카메라(11,12,13,14)에 연속된 라인이 동시에 촬영되면 자동적으로 실행될 수 있다.
정합성 검증모드는 공차 감지부(60)가 공차의 발생 여부 등을 검증하는 제어모드로, 수동적 또는 자동적으로 실행될 수 있다. 또한, 공차 감지부(60)는 정합성 검증모드가 On 되는 경우에 합성 영상의 공차를 감지하고, 카메라의 이동 정보를 판단할 수 있다.
특히, 정합성 검증모드는 연속된 라인이 복수 개의 카메라(11,12,13,14)에 동시에 촬영되는 경우에 실행할 수 있다. 특히, 주차장의 주차칸 등과 같이 전방 카메라(11), 후방 카메라(12), 좌측방 카메라(13) 및 우측방 카메라(14) 모두에 연속된 라인이 촬영되는 경우일 수 있다.
또는, 정합성 검증모드는 복수 개의 카메라(11,12,13,14) 중 인접한 카메라에서 동시에 촬영되어 중첩되는 영역에 연속된 라인이 형성된 경우일 수 있다.
일 실시예로, 정합성 검증모드는 조작장치(40) 등에 의해 운전자 또는 탑승자의 조작에 의해 수동적으로 실행될 수 있다.
다른 실시예로, 공차 감지부(60) 또는 카메라부(10)는 복수 개의 카메라(11,12,13,14)에 연속된 라인이 동시에 촬영되면 정합성 검증모드 자동적으로 실행할 수 있다.
도 4 내지 6은 본 발명의 다양한 실시예에 따른 정합성 검증모드에서 디스플레이 장치(30)를 도시한 것이다.
도 4 내지 6을 더 참조하면, 복수 개의 카메라(11,12,13,14)에서 촬영한 영상을 합성한 합성 영상에 표시된 연속된 라인을 기반으로 카메라의 이동 정보를 추출할 수 있다.
공차 감지부(60)는 전방 카메라(11)에서 촬영한 영상과 좌측방 카메라(13) 및 우측방 카메라(14)에서 각각 촬영한 영상에서 연속된 직선에 어긋난 부분을 공차로 감지할 수 있다.
구체적으로, 도 4에 도시한 것과 같이, 공차 감지부(60)는 합성 영상 중 전방에서 좌우측 라인이 서로 다른 방향으로 어긋난 경우에는 전방 카메라(11)의 캘리브레이션이 필요한 것으로 판단할 수 있고, 특히 전방 카메라(11)를 피치 방향으로 튜닝해야 하는 것으로 판단할 수 있다.
또한 도 5에 도시한 것과 같이, 공차 감지부(60)는 합성 영상 중 좌측방에서 좌측 라인이 서로 다른 방향으로 어긋난 경우에는 좌측방 카메라(13)의 캘리브레이션이 필요한 것으로 판단할 수 있고, 특히 좌측방 카메라(13)를 요 방향으로 튜닝해야 하는 것으로 판단할 수 있다.
또한 도 6에 도시한 것과 같이, 공차 감지부(60)는 합성 영상 중 후방에서 좌우측 라인이 서로 동일한 방향으로 어긋난 경우에는 후방 카메라(12)의 캘리브레이션이 필요한 것으로 판단할 수 있고, 특히 후방 카메라(12)를 요 방향으로 튜닝해야 하는 것으로 판단할 수 있다.
추가로, 디스플레이 장치(30)는 공차 감지부(60)에서 판단한 카메라의 이동 정보를 디스플레이할 수 있다.
즉, 디스플레이 장치(30)는 공차 감지부(60)에서 판단한 카메라의 이동 정보를 운전자 또는 탑승자에게 표시하도록 디스플레이할 수 있다
예를 들어, 디스플레이 장치(30)는 도 4 내 6과 같은 상황에서 공차 감지부(60)가 판단한 카메라의 이동 정보를 아래와 같이 도시할 수 있다.
"전방 카메라(11)의 pitch 값을 1 [deg] 튜닝해 보십시오." --- 도 4
"좌측방 카메라(13)의 roll 값을 1 [deg] 튜닝해 보십시오." --- 도 5
"후방 카메라(12)의 yaw 값을 1 [deg] 튜닝해 보십시오." --- 도 6
다른 실시예로, 제어부(50)는 공차 감지부(60)에서 판단한 카메라의 이동 정보를 기반으로 복수 개의 카메라(11,12,13,14) 중 일부 또는 전체의 이동을 제어할 수 있다.
운전자의 업데이트 또는 재시도 조작을 입력 받은 경우, 제어부(50)는 자동으로 카메라의 이동 정보에 따라 복수 개의 카메라(11,12,13,14) 중 일부 또는 전체의 이동을 제어할 수 있다.
도 7은 본 발명의 일 실시예에 따른 차량에 설치된 카메라의 캘리브레이션 방법의 순서도를 도시한 것이다.
도 7을 더 참조하면, 본 발명의 일 실시예에 따른 차량에 설치된 카메라의 캘리브레이션 방법은 차량에 탑재되어 차량의 주변 영상을 촬영하는 복수 개의 카메라(11,12,13,14)에서 각각 영상을 촬영하는 단계(S100); 촬영한 복수 개의 영상을 기반으로 합성 영상을 생성하는 단계(S200); 생성한 합성 영상을 디스플레이 장치(30)에 디스플레이하는 단계(S300); 및 사용자로부터 입력 받은 조작을 기반으로(S700) 복수 개의 카메라(11,12,13,14) 중 일부 또는 전체의 이동을 제어하는 단계(S800);를 포함한다.
영상을 촬영하는 단계(S100)에서는, 전방 카메라(11)에서 차량의 전방을 촬영하고, 후방 카메라(12)에서 차량의 후방을 촬영하며, 좌측방 카메라(13)에서 차량의 좌측방을 촬영하고, 우측방 카메라(14)에서 차량의 우측방을 촬영할 수 있다.
영상을 촬영하는 단계(S100)에서는, 서로 인접한 영역의 영상은 일부가 서로 중첩되도록 복수 개의 카메라(11,12,13,14)에서 영상을 촬영하고, 합성 영상을 생성하는 단계(S200)에서는, 중첩된 영역 이내에서 인접한 영상 사이의 경계를 설정하고, 설정한 경계를 기반으로 복수의 영상을 합성하여 합성 영상을 생성할 수 있다.
복수 개의 카메라(11,12,13,14)는 차량에 롤(Roll), 피치(Pitch) 또는 요(Yaw) 방향으로 회전 가능하게 장착되고, 복수 개의 카메라(11,12,13,14) 중 일부 또는 전체의 이동을 제어하는 단계(S800)에서는, 복수 개의 카메라(11,12,13,14) 중 일부 또는 전체의 롤(Roll), 피치(Pitch) 또는 요(Yaw) 방향 회전을 제어할 수 있다.
카메라부(10)에는 복수 개의 카메라(11,12,13,14)를 각각 롤(Roll), 피치(Pitch) 또는 요(Yaw) 방향으로 회전시키는 구동장치가 포함되고, 복수 개의 카메라(11,12,13,14) 중 일부 또는 전체의 이동을 제어하는 단계(S800)에서는, 복수 개의 카메라(11,12,13,14) 중 일부 또는 전체의 롤(Roll), 피치(Pitch) 또는 요(Yaw) 방향 회전을 제어하도록 구동장치를 제어할 수 있다.
복수 개의 카메라(11,12,13,14) 중 일부 또는 전체의 이동을 제어하는 단계(S800) 이전에, 생성한 합성 영상을 기반으로 합성 영상의 공차를 감지하고, 감지한 공차를 보정하기 위한 카메라의 이동 정보를 판단하는 단계(S500);를 더 포함할 수 있다.
카메라의 이동 정보를 판단하는 단계(S500) 이전에, 조작장치(40)의 조작을 입력 받은 경우 또는 복수 개의 카메라(11,12,13,14)에 연속된 라인이 동시에 촬영되는 경우에 정합성 검증 모드를 실행하는 단계(S400);를 더 포함할 수 있다.
카메라의 이동 정보를 판단하는 단계(S500) 이후에, 판단한 카메라의 이동 정보를 디스플레이 장치(30)에 디스플레이하는 단계(S600);를 더 포함할 수 있다.
복수 개의 카메라(11,12,13,14) 중 일부 또는 전체의 이동을 제어하는 단계(S800)에서는, 판단한 카메라의 이동 정보를 기반으로 복수 개의 카메라(11,12,13,14) 중 일부 또는 전체의 이동을 제어할 수 있다.
본 발명의 특정한 실시예에 관련하여 도시하고 설명하였지만, 이하의 특허청구범위에 의해 제공되는 본 발명의 기술적 사상을 벗어나지 않는 한도 내에서, 본 발명이 다양하게 개량 및 변화될 수 있다는 것은 당 업계에서 통상의 지식을 가진 자에게 있어서 자명할 것이다.
10 : 카메라부 20 : 영상 정합부
30 : 디스플레이 장치 40 : 조작장치
50 : 제어부 60 : 공차 감지부

Claims (9)

  1. 차량에 탑재되고, 차량의 주변 영상을 촬영하는 복수 개의 카메라가 포함된 카메라부;
    복수 개의 카메라에서 각각 촬영한 복수 개의 영상을 기반으로 합성 영상을 생성하는 영상 정합부;
    영상 정합부에서 생성한 합성 영상을 디스플레이하는 디스플레이 장치;
    사용자로부터 복수 개의 카메라 중 일부 또는 전체의 이동에 대한 조작을 입력 받는 조작장치; 및
    조작장치에서 입력 받은 조작을 기반으로 복수 개의 카메라 중 일부 또는 전체의 이동을 제어하는 제어부;를 포함하는 차량에 설치된 카메라의 캘리브레이션 시스템.
  2. 청구항 1에 있어서,
    카메라부에는, 차량의 전방을 촬영하는 전방 카메라, 차량의 후방을 촬영하는 후방 카메라, 차량의 좌측방을 촬영하는 좌측방 카메라 및 차량의 우측방을 촬영하는 우측방 카메라가 포함된 것을 특징으로 하는 차량에 설치된 카메라의 캘리브레이션 시스템.
  3. 청구항 1에 있어서,
    복수의 카메라에서 촬영한 영상들 중 서로 인접한 영역의 영상은 일부가 서로 중첩되고,
    영상 정합부는 중첩된 영역 이내에서 인접한 영상 사이의 경계를 설정하고, 설정한 경계를 기반으로 복수의 영상을 합성하여 합성 영상을 생성하는 것을 특징으로 하는 차량에 설치된 카메라의 캘리브레이션 시스템.
  4. 청구항 1에 있어서,
    복수 개의 카메라는 차량에 롤(Roll), 피치(Pitch) 또는 요(Yaw) 방향으로 회전 가능하게 장착되고,
    조작장치은 복수 개의 카메라 중 일부 또는 전체의 롤(Roll), 피치(Pitch) 또는 요(Yaw) 방향 회전을 입력 받는 것을 특징으로 하는 차량에 설치된 카메라의 캘리브레이션 시스템.
  5. 청구항 4에 있어서,
    카메라부에는 복수 개의 카메라를 각각 롤(Roll), 피치(Pitch) 또는 요(Yaw) 방향으로 회전시키는 구동장치가 포함되고,
    제어부는 복수 개의 카메라 중 일부 또는 전체의 롤(Roll), 피치(Pitch) 또는 요(Yaw) 방향 회전을 제어하도록 구동장치를 제어하는 것을 특징으로 하는 차량에 설치된 카메라의 캘리브레이션 시스템.
  6. 청구항 1에 있어서,
    정합성 검증모드 실행시, 영상 정합부에서 생성한 합성 영상을 기반으로 합성 영상의 공차를 감지하고, 감지한 공차를 보정하기 위한 카메라의 이동 정보를 판단하는 공차 감지부;를 더 포함하는 것을 특징으로 하는 차량에 설치된 카메라의 캘리브레이션 시스템.
  7. 청구항 6에 있어서,
    정합성 검증모드는 조작장치의 조작에 의해 수동적으로 실행되거나, 또는 복수 개의 카메라에 연속된 라인이 동시에 촬영되면 자동적으로 실행되는 것을 특징으로 하는 차량에 설치된 카메라의 캘리브레이션 시스템.
  8. 청구항 6에 있어서,
    디스플레이 장치는 공차 감지부에서 판단한 카메라의 이동 정보를 디스플레이하는 것을 특징으로 하는 차량에 설치된 카메라의 캘리브레이션 시스템.
  9. 청구항 6에 있어서,
    제어부는 공차 감지부에서 판단한 카메라의 이동 정보를 기반으로 복수 개의 카메라 중 일부 또는 전체의 이동을 제어하는 것을 특징으로 하는 차량에 설치된 카메라의 캘리브레이션 시스템.
KR1020200059867A 2020-05-19 2020-05-19 차량에 설치된 카메라의 캘리브레이션 시스템 및 방법 KR20210143002A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200059867A KR20210143002A (ko) 2020-05-19 2020-05-19 차량에 설치된 카메라의 캘리브레이션 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200059867A KR20210143002A (ko) 2020-05-19 2020-05-19 차량에 설치된 카메라의 캘리브레이션 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20210143002A true KR20210143002A (ko) 2021-11-26

Family

ID=78700324

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200059867A KR20210143002A (ko) 2020-05-19 2020-05-19 차량에 설치된 카메라의 캘리브레이션 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20210143002A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100948886B1 (ko) 2009-06-25 2010-03-24 주식회사 이미지넥스트 차량에 설치된 카메라의 공차 보정 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100948886B1 (ko) 2009-06-25 2010-03-24 주식회사 이미지넥스트 차량에 설치된 카메라의 공차 보정 장치 및 방법

Similar Documents

Publication Publication Date Title
JP4794510B2 (ja) カメラシステムおよびカメラの取り付け誤差の補正方法
US7974444B2 (en) Image processor and vehicle surrounding visual field support device
US20220210344A1 (en) Image display apparatus
US8031225B2 (en) Surroundings monitoring system for a vehicle
JP4196841B2 (ja) 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法
JP5561566B2 (ja) 運転支援装置
EP3368373B1 (en) Filling in surround view areas blocked by mirrors or other vehicle parts
JP4238663B2 (ja) 車載カメラのキャリブレーション方法及びキャリブレーション装置
JP5143009B2 (ja) 映像表示装置及び映像表示方法
JP2001218197A (ja) 車両用周辺表示装置
EP3618420B1 (en) Image display apparatus and image display
JP2018118622A (ja) ヘッドアップディスプレイ装置および表示制御方法
JP2007256030A (ja) 車載カメラのキャリブレーション装置およびキャリブレーション方法
US10721397B2 (en) Image processing system using predefined stitching configurations
JP2009248918A (ja) 画像表示装置、画像表示方法及びコンピュータプログラム
JP2014026177A (ja) 車両用表示制御装置、車両用表示装置及び車両用表示制御方法
US20200175722A1 (en) Vehicle device, calibration result determination method, and non-transitory storage medium
JP2003063339A (ja) 駐車支援装置
KR20210143002A (ko) 차량에 설치된 카메라의 캘리브레이션 시스템 및 방법
JP4317046B2 (ja) 駐車支援システム
JP2009083744A (ja) 合成画像調整装置
JP6624383B2 (ja) キャリブレーション装置及び車載カメラシステム
JP5143596B2 (ja) 車両用画像表示装置
JP2021118435A (ja) 画像処理装置及び画像処理方法
KR101659606B1 (ko) 뒷바퀴 위치 표시 차량 후진 영상 시스템의 영상 표시 방법