KR20210091146A - 화상 처리 장치 및 화상 처리 방법, 그리고 프로그램 - Google Patents
화상 처리 장치 및 화상 처리 방법, 그리고 프로그램 Download PDFInfo
- Publication number
- KR20210091146A KR20210091146A KR1020217013652A KR20217013652A KR20210091146A KR 20210091146 A KR20210091146 A KR 20210091146A KR 1020217013652 A KR1020217013652 A KR 1020217013652A KR 20217013652 A KR20217013652 A KR 20217013652A KR 20210091146 A KR20210091146 A KR 20210091146A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- camera
- angle
- calculating
- object distance
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims description 133
- 238000003672 processing method Methods 0.000 title claims description 11
- 238000004364 calculation method Methods 0.000 claims abstract description 133
- 238000013507 mapping Methods 0.000 claims abstract description 75
- 238000009434 installation Methods 0.000 claims abstract description 70
- 238000000034 method Methods 0.000 claims description 57
- 238000012937 correction Methods 0.000 claims description 51
- 230000003287 optical effect Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 description 43
- 238000006243 chemical reaction Methods 0.000 description 31
- 238000003384 imaging method Methods 0.000 description 30
- 230000009466 transformation Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H04N5/2257—
-
- H04N5/23229—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30264—Parking
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Signal Processing (AREA)
- Geometry (AREA)
- Electromagnetism (AREA)
- Manufacturing & Machinery (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Measurement Of Optical Distance (AREA)
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
Abstract
카메라의 설치 각도에 어긋남이 있는 경우에 있어서도, 카메라 촬영 화상에 기초하여 정확한 피사체 거리를 산출 가능하게 한다. 광각 렌즈를 갖는 카메라의 촬영 화상을 입력하여 왜곡 보정을 행하여, 보정 화상을 생성한다. 또한, 실세계 상의 수직 오브젝트의 보정 화상에 있어서의 기울기를 산출하고, 수직 오브젝트의 기울기에 기초하여, 카메라의 카메라 부각의 어긋남각을 산출하여, 카메라 부각 어긋남각을 고려한 오브젝트 거리 산출용 화상을 생성하여, 오브젝트 거리 산출용 화상으로부터 카메라의 촬영 화상에 포함되는 오브젝트의 거리를 산출한다. 카메라 부각 어긋남각이 규정 역치 이하가 아닌 경우에는, 카메라 부각 어긋남을 고려한 부감 화상 생성용 맵핑 데이터를 이용하여 오브젝트 거리 산출용 화상을 생성한다.
Description
본 개시는, 화상 처리 장치 및 화상 처리 방법, 그리고 프로그램에 관한 것이다. 구체적으로는 예를 들어 차량에 설치한 카메라의 촬영 화상으로부터 피사체 거리를 산출하는 처리를 실행하는 화상 처리 장치 및 화상 처리 방법, 그리고 프로그램에 관한 것이다.
차의 직전이나 측면, 혹은 후방 등, 차의 진행 방향의 모습을 운전석으로부터 직접 시인할 수 없는 경우, 진행 방향에 있는 가려진 장애물에 차를 부딪쳐버릴 위험이 있다. 이러한 위험을 회피하는 시스템으로서, 차의 전후나 측면에 카메라를 장착하여, 카메라의 촬영 화상을 운전석의 모니터에 표시하는 카메라 시스템이 있다.
이러한 카메라 시스템에 있어서의 문제점으로서, 차량에의 카메라 설치 시에 설치 오차가 발생한다는 문제가 있다. 설치 오차가 발생하면, 그 설치 오차에 따라, 카메라의 실제의 촬영 영역과, 본래의 올바른 촬영 영역 사이에 어긋남이 발생하게 된다.
운전석에 있어서 운전자가 보는 모니터에는, 카메라 촬영 화상과 함께, 목표선이나 진로 예상선 등, 보조적인 라인이 중첩되어 표시되는 경우가 있다. 카메라의 설치 오차에 기인하는 촬영 영역의 어긋남이 있으면, 카메라 촬영 화상에 대한 목표선이나 진로 예상선이 실제의 위치와는 어긋난 위치에 표시되어 버리게 된다.
또한, 근년에는 차량 탑재 카메라는, 운전자가 모니터를 보아 감시할 목적뿐만 아니라, 차량 시스템이 장애물이나 보행자를 검출하기 위해서도 사용된다. 차량 시스템이 카메라 촬영 화상에 기초하여 장애물이나 보행자를 검출하고, 또한 거리를 추정하고, 그 결과를 차량측의 유닛에 보내어, 차량측에서는 그 결과를 바탕으로 운전자에 대한 경고 통지나, 자동 브레이크를 동작시키는 제어를 행하는 것이다.
이러한 차량 시스템의 처리, 즉 운전자에 대한 경고 통지나, 자동 브레이크의 동작을 실행하는 경우, 물체까지의 거리 측정의 정밀도가 중요해진다.
이 거리 측정값은, 카메라의 설치 각도의 어긋남이나 차량의 자세의 설계값으로부터의 어긋남의 영향을 받아, 카메라가 소정의 설계대로, 오차없이 설치되지 않은 경우, 정확한 거리를 측정할 수 없다는 문제가 발생한다.
카메라의 설치 오차를 검출하는 방법으로서, 예를 들어 교정용 차트의 촬영 화상을 사용하는 방법이 알려져 있다.
차량에 설치한 카메라에 의해 교정용 차트를 촬영하여, 그 촬영 화상과, 오차없이 설치된 카메라에 의해 촬영된 이상 화상의 어긋남을 산출하여 어긋남을 작게 하도록 카메라의 설치 위치나 각도를 조정하는 방법이다.
혹은 차량에 설치한 비스듬하게 하측 방향을 향한 카메라에 의해, 노면 상에 그린 평행선이나 직행하는 차트를 촬영하고, 이 촬영 화상을 바로 위로부터의 촬영 화상으로 변환하는 부감 변환을 행하여, 이 부감 변환 화상 내의 평행선이나 직행하는 차트의 상태를 해석하여, 카메라 설치 오차를 검출하는 방법도 알려져 있다.
또한, 이들 카메라 설치 오차의 보정 방법을 개시한 종래 기술로서, 예를 들어 특허문헌 1(일본 특허 제5173551호 공보)이나 특허문헌 2(일본 특허 제5923422호 공보)가 있다.
상술한 종래 기술에서는, 카메라 설치 오차를 검출하기 위해서, 미리 교정용의 차트를 준비하는 것이 필요해진다. 또한, 부감 변환 화상을 사용하여, 촬영 화상 내의 평행선이나 격자의 평행도나 직행성으로부터 설치 오차를 구하는 경우에는, 그 차량의 카메라 설치 상태에 맞춘 부감 변환의 화상 변환맵을 미리 준비하는 것이 필요해진다.
이와 같이, 종래의 카메라 설치 오차 보정 방법에서는, 교정용 차트나 화상 변환맵 등, 보정을 위한 사전 준비 데이터가 필요하다는 문제가 있다.
본 개시는, 이러한 사전 준비 데이터를 사용하지 않고, 카메라의 설치 오차가 존재해도, 피사체 거리를 정확하게 산출하는 것을 가능하게 한 화상 처리 장치 및 화상 처리 방법, 그리고 프로그램을 제공하는 것을 목적으로 한다.
본 개시의 제1 측면은,
광각 렌즈를 갖는 카메라의 촬영 화상을 입력하여 왜곡 보정을 행하여, 보정 화상을 생성하는 보정 화상 생성부와,
실세계 상의 수직 오브젝트의 상기 보정 화상에 있어서의 기울기를 산출하는 수직 오브젝트 기울기 산출부와,
상기 수직 오브젝트의 기울기에 기초하여, 상기 카메라의 카메라 부각의 어긋남각을 산출하는 카메라 부각 어긋남 산출부와,
상기 카메라의 카메라 부각 어긋남각을 고려한 오브젝트 거리 산출용 화상을 생성하는 오브젝트 거리 산출용 화상 생성부와,
상기 오브젝트 거리 산출용 화상을 참조하여, 상기 카메라의 촬영 화상에 포함되는 오브젝트의 거리를 산출하는 오브젝트 거리 산출부를 갖는 화상 처리 장치에 있다.
또한, 본 개시의 제2 측면은,
화상 처리 장치에 있어서 실행하는 화상 처리 방법이며,
보정 화상 생성부가, 광각 렌즈를 갖는 카메라의 촬영 화상을 입력하여 왜곡 보정을 행하여, 보정 화상을 생성하는 스텝과,
수직 오브젝트 기울기 산출부가, 실세계 상의 수직 오브젝트의 상기 보정 화상에 있어서의 기울기를 산출하는 스텝과,
카메라 부각 어긋남 산출부가, 상기 수직 오브젝트의 기울기에 기초하여, 상기 카메라의 카메라 부각의 어긋남각을 산출하는 스텝과,
오브젝트 거리 산출용 화상 생성부가, 상기 카메라의 카메라 부각 어긋남각을 고려한 오브젝트 거리 산출용 화상을 생성하는 스텝과,
오브젝트 거리 산출부가, 상기 오브젝트 거리 산출용 화상을 참조하여, 상기 카메라의 촬영 화상에 포함되는 오브젝트의 거리를 산출하는 스텝을 실행하는 화상 처리 방법에 있다.
또한, 본 개시의 제3 측면은,
화상 처리 장치에 있어서 화상 처리를 실행시키는 프로그램이며,
보정 화상 생성부에, 광각 렌즈를 갖는 카메라의 촬영 화상을 입력하여 왜곡 보정을 행하여, 보정 화상을 생성시키는 스텝과,
수직 오브젝트 기울기 산출부에, 실세계 상의 수직 오브젝트의 상기 보정 화상에 있어서의 기울기를 산출시키는 스텝과,
카메라 부각 어긋남 산출부에, 상기 수직 오브젝트의 기울기에 기초하여, 상기 카메라의 카메라 부각의 어긋남각을 산출시키는 스텝과,
오브젝트 거리 산출용 화상 생성부에, 상기 카메라의 카메라 부각 어긋남각을 고려한 오브젝트 거리 산출용 화상을 생성시키는 스텝과,
오브젝트 거리 산출부에, 상기 오브젝트 거리 산출용 화상을 참조하여, 상기 카메라의 촬영 화상에 포함되는 오브젝트의 거리를 산출시키는 스텝을 실행시키는 프로그램에 있다.
또한, 본 개시의 프로그램은, 예를 들어 다양한 프로그램 코드를 실행 가능한 정보 처리 장치나 컴퓨터 시스템에 대하여, 컴퓨터 가독 형식으로 제공하는 기억 매체, 통신 매체에 의해 제공 가능한 프로그램이다. 이러한 프로그램을 컴퓨터 가독 형식으로 제공함으로써, 정보 처리 장치나 컴퓨터 시스템 상에서 프로그램에 따른 처리가 실현된다.
본 개시의 또 다른 목적, 특징이나 이점은, 후술하는 본 개시의 실시예나 첨부하는 도면에 기초하는 보다 상세한 설명에 의해 밝혀질 것이다. 또한, 본 명세서에 있어서 시스템이란, 복수의 장치의 논리적 집합 구성이며, 각 구성의 장치가 동일 하우징 내에 있는 것에 한하지는 않는다.
본 개시의 일 실시예의 구성에 의하면, 카메라의 설치 각도에 어긋남이 있는 경우에 있어서도, 카메라 촬영 화상에 기초하여 정확한 피사체 거리를 산출 가능하게 하는 구성이 실현된다.
구체적으로는, 예를 들어 광각 렌즈를 갖는 카메라의 촬영 화상을 입력하여 왜곡 보정을 행하여, 보정 화상을 생성한다. 또한, 실세계 상의 수직 오브젝트의 보정 화상에 있어서의 기울기를 산출하고, 수직 오브젝트의 기울기에 기초하여, 카메라의 카메라 부각의 어긋남각을 산출하여, 카메라 부각 어긋남각을 고려한 오브젝트 거리 산출용 화상을 생성하여, 오브젝트 거리 산출용 화상으로부터 카메라의 촬영 화상에 포함되는 오브젝트의 거리를 산출한다. 카메라 부각 어긋남각이 규정 역치 이하가 아닌 경우에는, 카메라 부각 어긋남을 고려한 부감 화상 생성용 맵핑 데이터를 이용하여 오브젝트 거리 산출용 화상을 생성한다.
이들 구성에 의해, 카메라의 설치 각도에 어긋남이 있는 경우에 있어서도, 카메라 촬영 화상에 기초하여 정확한 피사체 거리를 산출 가능하게 하는 구성이 실현된다.
또한, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것은 아니고, 또한 부가적인 효과가 있어도 된다.
도 1은 본 개시의 화상 처리 장치를 탑재한 차량의 구성예에 대하여 설명하는 도면이다.
도 2는 광각 렌즈를 사용하여 촬영되는 화상의 왜곡에 대하여 설명하기 위한 촬영 환경예에 대하여 설명하는 도면이다.
도 3은 광각 렌즈를 사용하여 촬영되는 화상의 보정에 의해 생성되는 보정 화상과, 각 화상의 화소 위치의 대응 관계에 대하여 설명하는 도면이다.
도 4는 정상적인 설치가 이루어진 카메라의 촬영 화상의 보정 화상과, 설치 각도에 어긋남이 있는 카메라의 촬영 화상의 보정 화상에 대하여 설명하는 도면이다.
도 5는 본 개시의 화상 처리 장치가 실행하는 처리에 대하여 설명하는 도면이다.
도 6은 본 개시의 화상 처리 장치가 실행하는 처리에 대하여 설명하는 도면이다.
도 7은 정상적인 카메라 부각(θ)을 갖는 카메라의 촬영 화상을 사용한 오브젝트 거리의 산출 처리예에 대하여 설명하는 도면이다.
도 8은 카메라 부각 어긋남(Δθ)을 가지고 설치된 카메라의 촬영 화상을 사용하여 잘못된 오브젝트 거리를 산출하는 예에 대하여 설명하는 도면이다.
도 9는 카메라 부각 어긋남(Δθ)을 가지고 설치된 카메라의 촬영 화상을 사용하여 정확한 오브젝트 거리를 산출하는 예에 대하여 설명하는 도면이다.
도 10은 본 개시의 화상 처리 장치의 구성예에 대하여 설명하는 도면이다.
도 11은 본 개시의 화상 처리 장치가 실행하는 처리 시퀀스에 대하여 설명하는 흐름도를 도시하는 도면이다.
도 12는 화상 처리 장치의 하드웨어 구성예에 대하여 설명하는 도면이다.
도 2는 광각 렌즈를 사용하여 촬영되는 화상의 왜곡에 대하여 설명하기 위한 촬영 환경예에 대하여 설명하는 도면이다.
도 3은 광각 렌즈를 사용하여 촬영되는 화상의 보정에 의해 생성되는 보정 화상과, 각 화상의 화소 위치의 대응 관계에 대하여 설명하는 도면이다.
도 4는 정상적인 설치가 이루어진 카메라의 촬영 화상의 보정 화상과, 설치 각도에 어긋남이 있는 카메라의 촬영 화상의 보정 화상에 대하여 설명하는 도면이다.
도 5는 본 개시의 화상 처리 장치가 실행하는 처리에 대하여 설명하는 도면이다.
도 6은 본 개시의 화상 처리 장치가 실행하는 처리에 대하여 설명하는 도면이다.
도 7은 정상적인 카메라 부각(θ)을 갖는 카메라의 촬영 화상을 사용한 오브젝트 거리의 산출 처리예에 대하여 설명하는 도면이다.
도 8은 카메라 부각 어긋남(Δθ)을 가지고 설치된 카메라의 촬영 화상을 사용하여 잘못된 오브젝트 거리를 산출하는 예에 대하여 설명하는 도면이다.
도 9는 카메라 부각 어긋남(Δθ)을 가지고 설치된 카메라의 촬영 화상을 사용하여 정확한 오브젝트 거리를 산출하는 예에 대하여 설명하는 도면이다.
도 10은 본 개시의 화상 처리 장치의 구성예에 대하여 설명하는 도면이다.
도 11은 본 개시의 화상 처리 장치가 실행하는 처리 시퀀스에 대하여 설명하는 흐름도를 도시하는 도면이다.
도 12는 화상 처리 장치의 하드웨어 구성예에 대하여 설명하는 도면이다.
이하, 도면을 참조하면서 본 개시의 화상 처리 장치 및 화상 처리 방법, 그리고 프로그램의 상세에 대하여 설명한다. 또한, 설명은 이하의 항목에 따라서 행한다.
1. 카메라 촬영 화상의 변환 처리의 개요에 대하여
2. 본 개시의 화상 처리 장치가 실행하는 처리에 대하여
2-(1) 카메라 부각의 어긋남각(Δθ)의 산출 처리에 대하여
2-(2) 카메라 부각의 어긋남각(Δθ)을 고려한 피사체 거리(오브젝트 거리)의 산출 처리에 대하여
2-(2)-(A) 정상적인 카메라 부각(θ)을 갖는 카메라의 촬영 화상을 사용한 오브젝트 거리의 산출 처리예에 대하여
2-(2)-(B1) 설치 오차가 있는 카메라 부각(θ+Δθ)을 갖는 카메라의 촬영 화상을 사용한 오브젝트 거리 산출 처리예(부정확한 거리 산출예)에 대하여
2-(2)-(B2) 설치 오차가 있는 카메라 부각(θ+Δθ)을 갖는 카메라의 촬영 화상을 사용한 오브젝트 거리 산출 처리예(정확한 거리 산출예)에 대하여
3. 본 개시의 화상 처리 장치의 구성과 화상 처리 시퀀스에 대하여
4. 본 개시의 화상 처리 장치의 하드웨어 구성예에 대하여
5. 본 개시의 구성의 마무리
[1. 카메라 촬영 화상의 변환 처리의 개요에 대하여]
먼저, 도 1 이하를 참조하여 카메라 촬영 화상의 변환 처리의 개요에 대하여 설명한다.
도 1에는 본 개시의 화상 처리 장치를 탑재한 차량(10)을 나타내고 있다. 차량(10)에는 카메라(11)가 탑재되어 있다.
카메라(11)는 차량(10)의 후방을 촬영하는 카메라이다.
카메라(11)는, 예를 들어 어안 렌즈 등의 광각 렌즈를 구비한 광각 렌즈 카메라이며, 차량 후방의 넓은 영역의 화상을 촬영할 수 있다.
도면에 나타내는 예에서는, 카메라(11)는, 차량(10)의 후방의 노면(20) 상의 수직 폴(30)이나 사람(40)을 촬영한다. 이 촬영 화상이 차량(10) 내의 화상 처리 장치에 입력되고, 화상 처리 장치에 있어서 화상 보정 처리가 실행되고, 육안으로 본 것과 마찬가지의 보정 화상이 운전석의 모니터에 표시된다.
또한, 화상 처리 장치는, 촬영 화상에 기초하여 차량(10)으로부터 수직 폴(30)이나 사람(40)까지의 거리(오브젝트 거리)의 산출을 행한다. 예를 들어 오브젝트 거리가 미리 규정된 역치 이하의 거리가 되면, 운전자에 대한 경고의 통지 등이 행해진다.
도면에 나타내는 바와 같이, 카메라(11)는, 차량(10) 후방부의 근방도 촬영 범위로 하기 위해서, 약간 하측 방향으로 카메라 광축이 향해진다.
운전석의 모니터에 표시하는 화상은, 카메라(11)의 카메라 광축 방향, 즉 촬영 방향의 화상 그대로는 아니고, 카메라(11)의 촬영 화상을 노면(20)에 평행한 차량 후방의 방향의 화상으로 변환한 화상으로 한다. 이 모니터 표시 화상의 시점 방향을 가상 시점 방향으로 한다.
가상 시점 방향을 노면(20)에 평행한 차량 후방의 방향으로 하면, 가상 시점 방향과 카메라 광축이 이루는 각이 카메라의 기울기를 나타내는 카메라 부각이 된다.
또한, 전술한 바와 같이, 카메라(11)는, 예를 들어 어안 렌즈 등의 광각 렌즈를 구비한 광각 렌즈 카메라이며, 차량 후방의 넓은 영역의 화상을 촬영할 수 있다.
단, 광각 렌즈를 사용하여 촬영되는 화상에는 왜곡이 발생한다.
구체적인 왜곡의 예에 대하여 도 2 이하를 참조하여 설명한다.
도 2에 도시한 바와 같이, 격자형 선이 그려진 노면 상의 차량(10) 후방에 다수의 수직 폴(30)이 늘어서 있는 상태를 카메라(11)가 촬영하는 것으로 한다. 수직 폴(30)은 도 1에 도시하는 수직 폴(30)과 마찬가지의 폴이며, 노면(20)에 대하여 수직으로 세워진 폴이다.
이들 다수의 수직 폴(30)이 늘어서 있는 차량(10) 후방의 화상을, 광각 렌즈를 구비한 카메라(11)가 촬영한다.
도 3의 (1)이 촬영 화상이다. 도 3의 (1)에 나타내는 바와 같이, 촬영 화상 상의 노면의 격자 패턴은 만곡된 왜곡을 갖는다. 또한, 수직 폴(30)은 화상의 주변에 가까워질수록 기울어져 보인다.
이것은, 광각 렌즈를 사용한 촬영에 의해 발생하는 화상의 왜곡이다.
도 3의 (2)는 도 3의 (1)의 화상에 대한 왜곡 보정과, 시점 변환을 행하여 생성한 보정 화상이다.
수직 폴(30)이 수직이 되도록 왜곡 보정을 행하고, 시점 방향이 노면에 평행해지는 방향, 즉 도 1에 도시하는 가상 시점 방향이 되도록 시점 변환을 행한 보정 화상의 예이다. 이 보정 화상이 운전석의 모니터에 표시된다.
도 3의 (1) 촬영 화상으로부터, 도 3의 (2) 보정 화상으로 변환하는 화상 변환 처리는, 카메라 부각과 카메라의 렌즈 왜곡 정보에 기초하여, 예를 들어 원통형으로 투영하는 왜곡 보정과 화상 변환 처리에 의해 행해진다.
도 3의 (a1), 도 3의 (a2)를 참조하여 화상 변환에 있어서의 매핑 처리, 즉 도 3의 (1) 촬영 화상을 도 3의 (2) 보정 화상으로 변환할 때 실행하는 화소 위치의 매핑 처리예에 대하여 설명한다.
도 3의 (a1)은 화상 변환 전의 화상이며, 이것은 카메라 위치(X, Y, Z), 광축 배향(요, 피치, 롤), 및 렌즈 왜곡 데이터, 센서 사이즈 정보에 의해, 삼차원 공간의 임의의 점, 예를 들어 세계 좌표의 임의점(x, y, z)이, 화상 상의 어느 위치(화소 위치)(H, V)가 될지를 일의적으로 결정할 수 있다.
도 3의 (a2)가 도 3의 (a1)의 화상 변환 후의 화상예이다. 이 도 3의 (a2)에 나타내는 화상은 노면에 평행해지는 방향, 즉 도 1에 도시하는 가상 시점 방향이 되도록 시점 변환을 행하고, 촬영 화상을 원통형으로 투영하는 화상 변환을 행함으로써 생성된다.
이 화상 변환은, 변환 전의 화상(촬영 화상)의 화소 위치 P0(H0, V0)에 대응하는 변환 후의 화상(보정 화상)의 화소 위치 P1(H1, V1)을 등록한 대응 화소 위치 등록 데이터인 매핑 데이터(보정 화상 생성용 매핑 데이터)를 이용함으로써, 실행할 수 있다.
또한, 각 화상에 있어서, 화상의 좌측 상단부를 (H, V)=(0, 0)이라 하고, 수평 우측 방향을 H축, 수직 하측 방향을 V축이라 하여, 각 화소 위치는 좌표(H.V)에 의해 표현된다.
매핑 데이터를 사용하면, 변환 전의 화상 상의 화소 위치 P0(H0, V0)으로부터, 변환 후의 화상 상의 화소 위치 P1(H1, V1)을 산출할 수 있다.
또한, 반대로 변환 후의 화상 상의 화소 위치 P1(H1, V1)로부터, 변환 전의 화상 상의 화소 위치 P0(H0, V0)을 산출 가능하다.
또한, 후술하는 오브젝트 거리 산출용 화상(부감 화상)을 사용함으로써 실세계에 있어서의 삼차원 공간의 위치, 즉 세계 좌표에 있어서의 위치(x, y, z)나, 오브젝트 거리(카메라(차량)로부터 오브젝트(피사체)까지의 거리)도 산출할 수 있다.
이와 같이, 화상의 변환 전과 변환 후의 화소 위치의 대응 데이터인 보정 화상 생성용 매핑 데이터를 사용함으로써, 광각 렌즈를 사용한 촬영 화상을 소정의 시점 방향(도 1에 도시하는 가상 시점 방향)으로 본 통상적인 카메라 촬영 화상(보정 화상(변환 화상))으로 변환하는 것이 가능해진다.
그러나, 이 보정 화상 생성용 매핑 데이터를 사용하여, 정상적인 보정 화상이 얻어지는 것은, 카메라(11)가 정상적인 설치 위치에 정상적인 설치 각도로 장착되어 있는 경우에 한정된다. 예를 들어, 카메라(11)가 정상적인 설치 각도로 장착되어 있지 않은 경우에는, 미리 생성된 매핑 데이터를 이용한 화소 위치 변환을 행해도 소정의 시점 방향(도 1에 도시하는 가상 시점 방향)으로 본 통상적인 카메라 촬영 화상으로 변환할 수 없다.
도 4는, 정상적인 설치가 이루어진 카메라의 촬영 화상의 보정 화상과, 설치 각도에 어긋남이 있는 카메라의 촬영 화상의 보정 화상을 배열하여 도시한 도면이다.
(a)는 정상적인 설치가 이루어진 카메라의 촬영 화상의 보정 화상이며,
(b)는 설치 각도에 어긋남이 있는 카메라의 촬영 화상의 보정 화상이다.
(a)는 카메라(11)가, 미리 설정된 정상적인 카메라 부각(가상 시점 방향과 광축이 이루는 각)으로 설치되어 있다. 즉, 카메라 부각=θ가 되도록 설치되어 있다.
한편, (b)의 카메라(11)는 카메라 부각=θ+Δθ이며, 카메라 부각이 규정 각도(θ)로부터 Δθ 어긋나 있다. 즉, 카메라 광축이 정상적인 설치 각도로부터 Δθ만큼 아래로 설정되어 있다.
이와 같이, 카메라(11)의 설치 각도에 어긋남이 발생하면, 동일 물체의 화상 상에서의 표시 위치가 다르고, 결과로서, 동일한 보정 화상 생성용 매핑 데이터를 사용하여 생성한 보정 화상에 있어서의 오브젝트 표시 위치나 표시 양태가 변화되어버린다.
도 4에 도시하는 2개의 보정 화상(a), (b)를 비교하여 이해되는 바와 같이, (a)에서는 수직 폴이 보정 화상 상에서 수직으로 표시되어 있는 것에 비해, (b)에서는, 수직 폴이 화상 중심으로부터 좌우로 이격됨에 따라서 기울기를 가지고 표시된다.
이것은, 동일한 보정 화상 생성용 맵핑 데이터를 이용한 화상 변환에 의해 발생하는 것이다. 즉, 정상적인 설치 각도의 카메라 촬영 화상의 변환용의 하나의 보정 화상 생성용 맵핑 데이터를 이용한 것에 기인한다.
[2. 본 개시의 화상 처리 장치가 실행하는 처리에 대하여]
이어서, 도 5 이하를 참조하여 본 개시의 화상 처리 장치가 실행하는 처리에 대하여 설명한다.
본 개시의 화상 처리 장치는, 정상적인 설치 각도가 아닌 카메라의 촬영 화상이어도, 정확한 피사체까지의 거리(오브젝트 거리)를 산출하는 것을 가능하게 한 것이다.
앞서 도 4를 참조하여 설명한 바와 같이, 설치 각도에 어긋남이 있는 카메라의 촬영 화상의 보정 화상, 즉 도 4의 (b)에 나타내는 보정 화상에서는, 수직 폴이, 화상 중심으로부터 좌우로 이격됨에 따라서 기울기를 가지고 표시된다.
본 개시의 화상 처리 장치는, 노면에 수직인 오브젝트의 보정 화상에 있어서의 기울기(α)를 검출하여, 이 기울기(α)에 기초하여 카메라 부각의 어긋남각(Δθ)을 산출한다.
또한, 산출한 카메라 부각의 어긋남각(Δθ)을 고려하여 피사체 위치나 피사체 거리를 산출하기 위한 오브젝트 거리 산출용 화상(부감 화상)을 생성하고, 생성한 오브젝트 거리 산출용 화상(부감 화상)을 사용하여 피사체 거리(오브젝트 거리)의 산출을 실행한다.
이 처리를 행함으로써, 규정된 카메라 부각(θ)으로부터 어긋나게 설치된 카메라의 촬영 화상으로부터도 올바른 피사체 거리를 산출하는 것이 가능해진다.
이하, 본 개시의 화상 처리 장치가 실행하는 처리의 구체예에 대하여, 이하의 각 항목순으로 설명한다.
(1) 카메라 부각의 어긋남각(Δθ)의 산출 처리에 대하여
(2) 카메라 부각의 어긋남각(Δθ)을 고려한 피사체 거리(오브젝트 거리)의 산출 처리에 대하여
[2-(1) 카메라 부각의 어긋남각(Δθ)의 산출 처리에 대하여]
먼저, 카메라 부각의 어긋남각(Δθ)의 산출 처리에 대하여 설명한다.
도 5를 참조하여, 설치 각도(카메라 부각(θ))에 어긋남이 있는 카메라의 촬영 화상의 보정 화상에 발생하는 기울기, 즉 실세계에서 노면에 수직으로 서있는 수직 폴(30) 등의 수직 오브젝트의 기울기에 대하여 설명한다.
앞서 도 4를 참조하여 설명한 바와 같이, 카메라 부각이 규정 각도(θ)가 아닌 카메라 부각=θ+Δθ인 카메라의 촬영 화상을, 카메라 부각=θ의 카메라 촬영 화상용의 매핑 데이터를 이용하여 변환하면, 그 변환 화상(보정 화상)은 예정된 시점 방향(도 1의 가상 시점 방향)으로 본 올바른 보정 화상이 되지는 않는다.
예를 들어, 실세계의 수직 오브젝트는, 화상의 좌우 중심 위치로부터 좌우로 이격됨에 따라서 기울어져 표시된다.
예를 들어 도 5에 도시하는 예에 있어서, 4개의 수직 폴(31 내지 34)의 화상의 좌우 중심 위치로부터의 거리(h1 내지 h4)와 기울기(α1 내지 α4)는 이하의 관계가 된다.
4개의 수직 폴(31 내지 34)의 화상의 좌우 중심 위치로부터의 거리(h1 내지 h4)는 이하의 관계이다.
h1<h2<h3<h4
이 때, 4개의 수직 폴(31 내지 34)의 기울기(α1 내지 α4)는 이하의 관계가 된다.
α1<α2<α3<α4
이와 같이, 실세계에서 노면에 수직으로 서있는 수직 오브젝트는, 보정 화상의 좌우 중심 위치로부터 좌우로 이격됨에 따라서 기울기가 커진다.
도 6에 나타내는 바와 같이, 보정 화상의 좌우 중심 위치로부터의 거리=ha의 수직 오브젝트의 기울기 α와의 비율(α/ha)은, 이하의 (식 1)에 의해 나타난다.
α/ha=αmax/hmax···(식 1)
상기 (식 1)에 있어서,
hmax는 보정 화상의 좌우 중심 위치로부터 좌우의 화상 단부까지의 거리,
αmax는 좌우의 화상 단부에 있어서의 실세계의 수직 오브젝트의 기울기
이다.
이와 같이, 카메라 부각=θ의 정상적인 설치 각도의 카메라 대응의 보정 화상 생성용 매핑 데이터를 이용하여, 카메라 부각=θ+Δθ의 카메라 부각 어긋남(Δθ)을 갖는 카메라의 촬영 화상의 변환을 행하면, 카메라 부각 어긋남(Δθ)에 따라서, 수직 오브젝트에 기울기(α)가 발생한다.
변환 처리에 의해 생성되는 보정 화상의 애스펙트비(수직/수평)를 A라 하였을 때,
카메라 부각 어긋남(Δθ)과, 보정 화상의 애스펙트비(수직/수평) A와, 보정 화상의 좌우측 화상 단부에 있어서의 실세계의 수직 오브젝트의 기울기 αmax의 관계는, 이하의 (식 2)에 의해 나타난다.
Δθ=A×αmax···(식 2)
상기 (식 2)와 앞서 설명한 (식 1)에 기초하여, 이하의 (식 3)의 관계식이 얻어진다.
Δθ=A×α×hmax/ha···(식 3)
상기 (식 3)에 나타내는 바와 같이, 카메라 부각 어긋남(Δθ)은
보정 화상의 애스펙트비(수직/수평) A와,
보정 화상의 좌우 중심 위치로부터 좌우의 화상 단부까지의 거리 hmax와,
보정 화상의 좌우 중심 위치로부터 임의 거리 ha의 수직 오브젝트의 기울기 α,
이 값들을 사용하여 산출할 수 있다.
이와 같이, 카메라의 촬영 영역에 노면에 수직으로 서있는 오브젝트, 예를 들어 폴이나, 표지 혹은 사람 등을 검출할 수 있으면, 그 오브젝트의 보정 화상에 있어서의 좌우 중심 위치로부터의 거리 ha와 기울기 α를 화상으로부터 구하고, 상기 (식 3)을 사용하여 카메라 부각 어긋남(Δθ)을 산출할 수 있다.
또한, 카메라 촬영 화상 중에 복수(n개)의 수직 오브젝트가 검출되고, 각각의 수직 오브젝트(1 내지 n)에 대하여 개별의 기울기(α1 내지 αn)가 검출된 경우에는, 개개의 오브젝트 대응의 기울기(α1 내지 αn)에 기초하여 상기 (식 3)에 따라서 n개의 카메라 부각 어긋남(Δθ1 내지 Δθn)을 산출하고, 이 n개의 산출값의 평균, 혹은 중간값을 산출하여 산출값을 카메라 부각 어긋남(Δθ)으로 하는 처리를 행해도 된다.
[2-(2) 카메라 부각의 어긋남각(Δθ)을 고려한 피사체 거리(오브젝트 거리)의 산출 처리에 대하여]
이어서, 카메라 부각의 어긋남각(Δθ)을 고려한 피사체 거리(오브젝트 거리)의 산출 처리에 대하여 설명한다.
구체적인 피사체 거리(오브젝트 거리)의 산출 처리예로서, 이하의 3종류의 처리예에 대하여 설명한다.
(A) 정상적인 카메라 부각(θ)을 갖는 카메라의 촬영 화상을 사용한 오브젝트 거리의 산출 처리예
(B1) 설치 오차가 있는 카메라 부각(θ+Δθ)을 갖는 카메라의 촬영 화상을 사용한 오브젝트 거리 산출 처리예(부정확한 거리 산출예)
(B2) 설치 오차가 있는 카메라 부각(θ+Δθ)을 갖는 카메라의 촬영 화상을 사용한 오브젝트 거리 산출 처리예(정확한 거리 산출예)
또한, 본 개시의 화상 처리 장치는, 상기 (A)나 (B2)의 처리를 실행한다. 즉, 카메라가 정상적인 카메라 부각(θ)으로 설치되어 있는 경우에도, 설치 오차가 있는 카메라 부각(θ+Δθ)으로 설치되어 있는 경우에도, 피사체 거리를 올바르게 산출할 수 있다.
(2-(2)-(A) 정상적인 카메라 부각(θ)을 갖는 카메라의 촬영 화상을 사용한 오브젝트 거리의 산출 처리예에 대하여)
먼저, 도 7을 참조하여, 정상적인 카메라 부각(θ)을 갖는 카메라의 촬영 화상을 사용한 오브젝트 거리의 산출 처리예에 대하여 설명한다.
즉, 정상적인 설치가 이루어진 카메라의 촬영 화상의 변환 처리에 의해 생성한 보정 화상을 사용한 오브젝트 거리의 산출 처리예에 대하여 설명한다.
도 7의 (1) 촬영 화상은, 미리 설정된 정상적인 카메라 부각(가상 시점 방향과 광축이 이루는 각), 즉 카메라 부각=θ가 되게 설치된 카메라에 의한 촬영 화상이다.
(2) 보정 화상은, (1)의 촬영 화상에 대하여, 전술한 보정 화상 생성용 매핑 데이터, 즉 정상적인 설치 각도로 설치된 카메라의 촬영 화상의 변환을 위하여 생성된 보정 화상 생성용 맵핑 데이터를 이용하여 생성한 보정 화상이다.
이 보정 화상은, 소정의 시점 방향(도 1에 도시하는 가상 시점 방향)으로 본 통상적인 카메라 촬영 화상(보정 화상(변환 화상))으로 변환한 보정 화상이다.
도 7의 (3)은 오브젝트 거리 산출용 화상이며, 도 1에 도시하는 차량(10)의 카메라(11)의 설치 위치로부터 더욱 상측의 위치로부터 차량의 후방 비스듬하게 하측 방향을 관찰한 부감 화상이다. 이 부감 화상은, 도 7의 (1)의 촬영 화상에 대하여 부감 화상 생성용의 매핑 데이터, 즉 정상적인 설치 각도로 설치된 카메라의 촬영 화상의 변환을 위하여 생성된 부감 화상 생성용 맵핑 데이터를 이용하여 생성할 수 있다.
이 3개의 화상을 사용하여, 오브젝트 거리를 산출한다. 여기에서는, 도 7의 (2) 보정 화상 중의 하나의 수직 폴(81)까지의 거리를 산출하는 예에 대하여 설명한다.
도 7의 (2) 보정 화상 중의 하나의 수직 폴(81)과 노면의 교점의 화소 위치, 즉 보정 화상 중의 화소 위치를 (Ha, Va)라 하자.
도 7의 (1)에 나타내는 촬영 화상과, 도 7의 (2)에 나타내는 보정 화상의 대응 화소 위치를 등록한 맵인 보정 화상 생성용 매핑 데이터를 참조하여, 촬영 화상 중의 대응 화소 위치를 나타내는 좌표 (H0, V0)을 구할 수 있다.
또한, 도 7의 (1)에 나타내는 촬영 화상과, 도 7의 (3)에 나타내는 오브젝트 거리 산출용 화상(부감 화상)의 대응 화소 위치를 등록한 맵인 부감 화상 생성용 맵핑 데이터를 참조하여, 촬영 화상 중의 화소 위치를 나타내는 좌표 (H0, V0)의 도 7의 (3)에 나타내는 오브젝트 거리 산출용 화상(부감 화상)의 대응 화소 위치 (Hb, Vb)가 얻어진다.
이 오브젝트 거리 산출용 화상(부감 화상)의 대응 화소 위치 (Hb, Vb)는, 도 7의 (2) 보정 화상 중의 하나의 수직 폴(81)과 노면의 교점의 화소 위치, 즉 보정 화상 중의 화소 위치를 (Ha, Va)의 대응 화소 위치이다.
도 7의 (3)에 나타내는 오브젝트 거리 산출용 화상(부감 화상)은 노면 상을 등축척한 변환 화상, 즉 실세계의 위치를 반영한 부감 화상이므로, 오브젝트 거리 산출용 화상(부감 화상)의 화소 위치 (Hb, Vb)로부터, 실세계의 위치를 나타내는 좌표가 구해진다. 이 예에서는, 카메라로부터 좌측으로 3m, 깊이측으로 3m의 위치가 수직 폴(81)과 노면의 교점 위치이다.
카메라(11)가 차량(10)의 후방면의 중앙 위치에 있는 것으로 하면, 수직 폴(81)은 차량의 후방 3m, 차량 폭 중앙으로부터 좌측으로 3m의 위치에 수직으로 서있는 오브젝트임을 해석할 수 있다.
(2-(2)-(B1) 설치 오차가 있는 카메라 부각(θ+Δθ)을 갖는 카메라의 촬영 화상을 사용한 오브젝트 거리 산출 처리예(부정확한 거리 산출예)에 대하여]
이어서, 설치 오차가 있는 카메라 부각(θ+Δθ)을 갖는 카메라의 촬영 화상을 사용한 오브젝트 거리 산출 처리예(부정확한 거리 산출예)에 대하여 설명한다.
또한, 본 개시의 화상 처리 장치는, 이 처리는 실행하지 않는다. 본 개시의 화상 처리 장치가 실행하는 처리의 설명 전에, 설치 오차가 있는 카메라 부각(θ+Δθ)을 갖는 카메라의 촬영 화상을 사용한 오브젝트 거리 산출 처리에 있어서 정확한 거리를 산출할 수 없는 예를 설명한다.
도 7을 참조하여 설명한 오브젝트 거리 해석 처리예는, 카메라가 미리 규정된 카메라 부각=θ로 올바르게 설치된 카메라의 촬영 화상을 사용한 처리예이다.
도 8을 참조하여, 카메라가 미리 규정된 카메라 부각=θ로 올바르게 설치되지 않은 경우, 즉 카메라 부각 어긋남(Δθ)을 가지고 설치된 카메라의 촬영 화상을 사용하여 오브젝트 거리를 산출하는 경우에 올바른 거리 산출을 할 수 없는 예에 대하여 설명한다.
도 8의 (1) 촬영 화상은, 미리 설정된 정상적인 카메라 부각(가상 시점 방향과 광축이 이루는 각), 즉 카메라 부각=θ와 다른 카메라 부각 어긋남(Δθ)을 가지고 설치된 카메라, 즉 카메라 부각=θ+Δθ를 갖는 카메라에 의한 촬영 화상이다.
도 8의 (2) 보정 화상은, (1)의 촬영 화상에 대하여, 전술한 보정 화상 생성용 매핑 데이터, 즉 정상적인 설치 각도로 설치된 카메라의 촬영 화상의 변환을 위하여 생성된 보정 화상 생성용 맵핑 데이터를 이용하여 생성한 보정 화상이다.
이 보정 화상은, 소정의 시점 방향(도 1에 도시하는 가상 시점 방향)으로 본 통상적인 카메라 촬영 화상(보정 화상(변환 화상))으로 변환한 보정 화상이다.
도 8의 (1)의 촬영 화상은, 정상적인 카메라 부각=θ와 다른 카메라 부각 어긋남(Δθ)을 갖고, 카메라 부각=θ+Δθ를 갖는 카메라에 의한 촬영 화상이기 때문에, 정상적인 설치 각도의 카메라 촬영 화상용의 보정 화상 생성용 맵핑 데이터를 사용하면, 올바른 변환이 이루어지지 않는다. 결과로서, 도 8의 (2) 보정 화상 중의 수직 폴은, 화상의 좌우 중심으로부터 화상 좌우 방향으로 이격됨에 따라서 기울기가 커지도록 표시된다.
도 8의 (3)은 오브젝트 거리 산출용 화상이며, 도 1에 도시하는 차량(10)의 카메라(11)의 설치 위치로부터 더욱 상측의 위치로부터 차량의 후방 비스듬하게 하측 방향을 관찰한 부감 화상이다. 이 부감 화상도, 정상적인 설치 각도(카메라 부각=θ)로 설치된 카메라의 촬영 화상으로부터 부감 화상을 생성하는 부감 화상 생성용 맵핑 데이터를 이용하여 생성한 화상이다.
즉, 도 8의 (3)에 나타내는 부감 화상은, 카메라 부각의 어긋남(Δθ)이 고려되지 않은 부감 화상이다.
이 3개의 화상을 사용하여, 오브젝트 거리를 산출하면 올바른 오브젝트 거리의 산출을 할 수 없다.
도 7과 마찬가지로, 도 8의 (2) 보정 화상 중의 하나의 수직 폴(81)까지의 거리를 산출하는 예에 대하여 설명한다.
도 8의 (2) 보정 화상 중의 하나의 수직 폴(81)과 노면의 교점의 화소 위치, 즉 보정 화상 중의 화소 위치를 (Ha2, Va2)라 하자.
보정 화상 생성용 매핑 데이터를 참조하여, 촬영 화상 중의 대응 화소 위치를 나타내는 좌표 (H02, V02)를 구할 수 있다.
또한, 도 8의 (1)에 나타내는 촬영 화상과, 도 8의 (3)에 나타내는 오브젝트 거리 산출용 화상(부감 화상)의 대응 화소 위치를 등록한 맵인 부감 화상 생성용 맵핑 데이터를 참조하여, 촬영 화상 중의 화소 위치를 나타내는 좌표 (H02, V02)의 도 8의 (3)에 나타내는 오브젝트 거리 산출용 화상(부감 화상)의 대응 화소 위치 (Hb2, Vb2)가 얻어진다.
단, 여기서 사용하는 부감 화상 생성용 맵핑 데이터는, 정상적인 설치 각도(카메라 부각=θ)로 설치된 카메라의 촬영 화상으로부터 부감 화상을 생성하는 부감 화상 생성용 맵핑 데이터이다.
따라서, 오브젝트 거리 산출용 화상(부감 화상)의 대응 화소 위치 (Hb2, Vb2)는, 실제의 올바른 오브젝트 거리를 나타낸다고는 할 수 없다.
도 8의 (3)에 나타내는 오브젝트 거리 산출용 화상(부감 화상)의 대응 화소 위치 (Hb2, Vb2)는, 카메라로부터 좌측으로 4m, 깊이측으로 4m의 위치를 나타내고 있다. 이것은, 실제의 수직 폴(81)의 위치와는 다르다. 즉, 앞서 도 7을 참조하여 설명한 카메라로부터 좌측으로 3m, 깊이측으로 3m의 위치와는 다르고, 가로 1m 깊이 1m의 측거 어긋남이 발생해버린다.
이것은, 카메라가 미리 규정된 카메라 부각=θ로 올바르게 설치되어 있지 않기 때문이다.
(2-(2)-(B2) 설치 오차가 있는 카메라 부각(θ+Δθ)을 갖는 카메라의 촬영 화상을 사용한 오브젝트 거리 산출 처리예(정확한 거리 산출예)에 대하여]
이어서, 설치 오차가 있는 카메라 부각(θ+Δθ)을 갖는 카메라의 촬영 화상을 사용한 오브젝트 거리 산출 처리예(정확한 거리 산출예)에 대하여 설명한다.
도 9를 참조하여, 카메라가 미리 규정된 카메라 부각=θ로 올바르게 설치되지 않은 경우에도 거리 어긋남이 발생하지 않는 올바른 오브젝트 거리 산출 처리를 가능하게 한 처리예에 대하여 설명한다.
도 9는 도 8과 마찬가지로, 카메라가 미리 규정된 카메라 부각=θ로 올바르게 설치되지 않은 경우, 즉 카메라 부각 어긋남(Δθ)을 가지고 설치된 카메라의 촬영 화상을 사용한 처리예이다.
도 9의 (1) 촬영 화상은, 도 8의 (1)의 촬영 화상과 마찬가지로, 미리 설정된 정상적인 카메라 부각(가상 시점 방향과 광축이 이루는 각), 즉 카메라 부각=θ와 다른 카메라 부각 어긋남(Δθ)을 가지고 설치된 카메라, 즉 카메라 부각=θ+Δθ를 갖는 카메라에 의한 촬영 화상이다.
도 9의 (2) 보정 화상은, 도 8의 (2)의 보정 화상과 마찬가지의 보정 화상이다. 즉, 도 9의 (1)의 촬영 화상에 대하여, 전술한 보정 화상 생성용 매핑 데이터, 즉 정상적인 설치 각도로 설치된 카메라의 촬영 화상의 변환을 위하여 생성된 보정 화상 생성용 맵핑 데이터를 이용하여 생성한 보정 화상이다.
이 보정 화상은, 소정의 시점 방향(도 1에 도시하는 가상 시점 방향)으로 본 통상적인 카메라 촬영 화상(보정 화상(변환 화상))으로 변환한 보정 화상이다.
도 9의 (1)의 촬영 화상은, 정상적인 카메라 부각=θ와 다른 카메라 부각 어긋남(Δθ)을 갖고, 카메라 부각=θ+Δθ를 갖는 카메라에 의한 촬영 화상이기 때문에, 정상적인 설치 각도의 카메라 촬영 화상용의 보정 화상 생성용 맵핑 데이터를 사용하면, 올바른 변환이 이루어지지 않는다. 결과로서, 도 9의 (2) 보정 화상 중의 수직 폴은, 화상의 좌우 중심으로부터 화상 좌우 방향으로 이격됨에 따라서 기울기가 커지도록 표시된다.
도 9의 (3)은 오브젝트 거리 산출용 화상이며, 도 1에 도시하는 차량(10)의 카메라(11)의 설치 위치로부터 더욱 상측의 위치로부터 차량의 후방 비스듬하게 하측 방향을 관찰한 부감 화상이다. 이 부감 화상도, 정상적인 설치 각도(카메라 부각=θ)로 설치된 카메라의 촬영 화상으로부터 부감 화상을 생성하는 부감 화상 생성용 맵핑 데이터를 이용하여 생성한 화상이다.
즉, 도 9의 (3)에 나타내는 부감 화상은, 카메라 부각의 어긋남(Δθ)을 고려하여 생성한 부감 화상이다.
이 3개의 화상을 사용하여, 오브젝트 거리를 산출하면 올바른 오브젝트 거리의 산출이 가능해진다.
즉, 카메라 부각의 어긋남(Δθ)을 고려하여 도 9의 (3)에 나타내는 오브젝트 거리 산출용 화상을 생성하고, 이 화상을 사용하여 오브젝트 거리 산출을 행함으로써, 올바른 오브젝트 거리 산출이 가능해진다.
도 7, 도 8과 마찬가지로, 도 9의 (2) 보정 화상 중의 하나의 수직 폴(81)까지의 거리를 산출하는 예에 대하여 설명한다.
도 9의 (2) 보정 화상 중의 하나의 수직 폴(81)과 노면의 교점의 화소 위치, 즉 보정 화상 중의 화소 위치를 (Ha3, Va3)이라 하자.
보정 화상 생성용 매핑 데이터를 참조하여, 촬영 화상 중의 대응 화소 위치를 나타내는 좌표 (H03, V03)을 구할 수 있다.
또한, 도 9의 (1)에 나타내는 촬영 화상과, 도 9의 (3)에 나타내는 오브젝트 거리 산출용 화상(부감 화상)의 대응 화소 위치를 등록한 맵인 부감 화상 생성용 맵핑 데이터를 참조하여, 촬영 화상 중의 화소 위치를 나타내는 좌표 (H03, V03)의 도 9의 (3)에 나타내는 오브젝트 거리 산출용 화상(부감 화상)의 대응 화소 위치 (Hb3, Vb3)이 얻어진다.
여기에서 사용하는 부감 화상 생성용 맵핑 데이터는, 정상적인 설치 각도(카메라 부각=θ)로 설치된 카메라의 촬영 화상으로부터 부감 화상을 생성하는 부감 화상 생성용 맵핑 데이터는 아니다. 도 9의 (1) 촬영 화상을 촬영한 실제의 카메라의 카메라 부각 어긋남(Δθ)을 고려한 부감 화상 생성용 맵핑 데이터이다. 즉, 카메라 부각=θ+Δθ로 설치된 카메라의 촬영 화상으로부터 부감 화상을 생성하는 부감 화상 생성용 맵핑 데이터이다.
이 도 9의 (1) 촬영 화상을 촬영한 실제의 카메라의 카메라 부각 어긋남(Δθ)을 고려한 부감 화상 생성용 맵핑 데이터 사용하여, 도 9의 (1)에 나타내는 촬영 화상과, 도 9의 (3)에 나타내는 오브젝트 거리 산출용 화상(부감 화상)의 대응 화소 위치를 산출하여, 도 9의 (3)에 나타내는 오브젝트 거리 산출용 화상(부감 화상)을 생성한다.
이 결과, 도 9의 (3)에 나타내는 오브젝트 거리 산출용 화상(부감 화상)에 있어서의 도 9의 (1) 촬영 화상 중의 좌표 (H03, V03)의 대응 화소 위치 (Hb3, Vb3)은, 실제의 올바른 오브젝트 거리를 나타내는 것이 된다.
도 9의 (3)에 나타내는 오브젝트 거리 산출용 화상(부감 화상)의 대응 화소 위치 (Hb3, Vb3)은, 카메라로부터 좌측으로 3m, 깊이측으로 3m의 위치를 나타내고 있다. 이것은, 실제의 수직 폴(81)의 위치가 된다. 즉, 앞서 도 7을 참조하여 설명한 카메라로부터 좌측으로 3m, 깊이측으로 3m의 위치에 일치하는 올바른 오브젝트 거리가 된다.
이와 같이, 카메라 부각의 어긋남(Δθ)을 고려하여 도 9의 (3)에 나타내는 오브젝트 거리 산출용 화상을 생성하고, 이 화상을 사용하여 오브젝트 거리 산출을 행함으로써, 올바른 오브젝트 거리 산출이 가능해진다.
[3. 본 개시의 화상 처리 장치의 구성과 화상 처리 시퀀스에 대하여]
이어서, 본 개시의 화상 처리 장치의 구성과 화상 처리 시퀀스에 대하여 설명한다.
먼저, 도 10을 참조하여 본 개시의 화상 처리 장치의 구성에 대하여 설명한다.
도 10은, 본 개시의 화상 처리 장치(100)의 일 구성예를 도시하는 블록도이다.
도 10에 도시한 바와 같이, 본 개시의 화상 처리 장치(100)는, 촬상부(카메라)(101), 보정 화상 생성부(102), 수직 오브젝트 기울기 산출부(103), 카메라 부각 어긋남 산출부(104), 오브젝트 거리 산출용 화상 생성부(105), 오브젝트 거리 산출부(106)를 갖는다.
또한, 촬상부(카메라)(101)는 화상 처리 장치(100)의 구성 요소인 것은 필수는 아니고, 화상 처리 장치(100)가 촬상부(카메라)(101)를 갖지 않고, 외부로부터 입력한 화상의 화상 처리를 행하는 구성으로 해도 된다.
이하, 도 1에 도시하는 화상 처리 장치(100)의 각 구성 요소가 실행하는 처리에 대하여 설명한다.
촬상부(카메라)(101)는 화상을 촬영한다. 도 1에 도시하는 차량(10)에 탑재된 카메라(11)에 상당한다.
촬상부(카메라)(101)는 어안 렌즈 등의 광각 렌즈를 구비한 카메라이다.
촬상부(카메라)(101)의 촬영 화상은 보정 화상 생성부(102)에 입력된다.
보정 화상 생성부(102)는, 촬상부(카메라)(101)의 촬영 화상에 대한 보정 처리를 실행하여 보정 화상을 생성한다.
구체적으로는, 촬상부(카메라)(101)의 촬영 화상에 대한 왜곡 보정과, 시점 변환을 실행한 보정 화상을 생성한다.
앞서 도 7 내지 도 9를 참조하여 설명한 (1) 촬영 화상으로부터 (2) 보정 화상을 생성하는 처리이다.
전술한 바와 같이, (1) 촬영 화상으로부터, (2) 보정 화상으로 변환하는 화상 변환 처리는, 카메라 부각과 카메라의 렌즈 왜곡 정보에 기초하여, 예를 들어 원통형으로 투영하는 왜곡 보정과 화상 변환 처리에 의해 행해진다. 구체적인 처리로서는, 대응 화소 위치의 매핑 처리에 의해 보정 화상이 생성된다.
즉, 변환 전의 화상(촬영 화상)의 화소 위치 P0(H0, V0)에 대응하는 변환 후의 화상(보정 화상)의 화소 위치 P1(H1, V1)을 등록한 대응 화소 위치 등록 데이터인 매핑 데이터(보정 화상 생성용 매핑 데이터)를 이용하여 보정 화상을 생성한다.
또한, 여기에서 이용하는 보정 화상 생성용 매핑 데이터는, 올바른 카메라 부각=θ로 설정된 규정의 올바른 설치가 이루어진 카메라의 카메라 촬영 화상용의 매핑 데이터이며, 화상 처리 장치(100)의 기억부에 미리 저장되어 있는 데이터이다.
보정 화상 생성부(102)가 생성하는 보정 화상은, 시점 방향이 노면에 평행해지는 방향, 즉 도 1에 도시하는 가상 시점 방향이 되도록 시점 변환이 이루어진 화상이며, 이 보정 화상이 운전석의 모니터에 표시된다.
보정 화상 생성부(102)가 생성한 보정 화상은, 수직 오브젝트 기울기 산출부(103)에 입력된다.
수직 오브젝트 기울기 산출부(103)는, 보정 화상 생성부(102)가 생성한 보정 화상으로부터, 실세계에서 노면에 수직으로 서있는 수직 오브젝트를 추출하고, 이 수직 오브젝트의 기울기(α)를 산출한다.
또한, 실세계에서 노면에 수직으로 서있는 수직 오브젝트는, 예를 들어 도로 상의 표지나, 신호, 전주 그 밖의 폴, 혹은 사람 등, 다양한 피사체로부터 선택 가능하다.
수직 오브젝트 기울기 산출부(103)는 보정 화상 생성부(102) 내의 수직 오브젝트의 기울기(α)를 산출한다.
앞서 설명한 바와 같이, 카메라 부각이 규정 각도(θ)인 카메라의 촬영 화상을, 카메라 부각=θ의 카메라 촬영 화상용의 보정 화상 생성용 매핑 데이터를 이용하여 변환하면, 실세계의 수직 오브젝트는 보정 화상 상에서도 수직으로 표시된다.
그러나, 카메라 부각이 규정 각도(θ)가 아닌 카메라 부각=θ+Δθ인 카메라의 촬영 화상을, 카메라 부각=θ의 카메라 촬영 화상용의 매핑 데이터를 이용하여 변환하면, 실세계의 수직 오브젝트는, 화상의 좌우 중심 위치로부터 좌우로 이격됨에 따라서 기울어져 표시된다.
수직 오브젝트 기울기 산출부(103)는, 보정 화상 생성부(102)가 생성한 보정 화상으로부터, 실세계에서 노면에 수직으로 서있는 수직 오브젝트를 추출하고, 이 수직 오브젝트의 기울기(α)를 산출한다.
수직 오브젝트 기울기 산출부(103)가 산출한 수직 오브젝트의 기울기(α)는, 카메라 부각 어긋남 산출부(104)에 입력된다.
카메라 부각 어긋남 산출부(104)는, 수직 오브젝트 기울기 산출부(103)가 산출한 수직 오브젝트의 기울기(α)를 이용하여, 촬상부(카메라)(101)의 부각의 기준 각도(θ)로부터의 어긋남각(Δθ)을 산출한다.
카메라 부각 어긋남 산출부(104)는, 앞서 설명한 이하의 (식 3)에 따라서 촬상부(카메라)(101)의 카메라 부각의 어긋남각(Δθ)을 산출한다.
Δθ=A×α×hmax/ha···(식 3)
상기 (식 3)에 있어서,
A는 보정 화상의 애스펙트비(수직/수평),
hmax는 보정 화상의 좌우 중심 위치로부터 좌우의 화상 단부까지의 거리(화상의 길이 또는 화소수),
α는 수직 오브젝트의 기울기,
ha는 수직 오브젝트의 보정 화상의 좌우 중심 위치로부터의 거리 ha(화상의 길이 또는 화소수)
이다.
또한, 전술한 바와 같이, 카메라 촬영 화상 중에 복수(n개)의 수직 오브젝트가 검출되고, 각각의 수직 오브젝트(1 내지 n)에 대하여 개별의 기울기(α1 내지 αn)가 검출된 경우에는, 개개의 오브젝트 대응의 기울기(α1 내지 αn)에 기초하여 상기 (식 3)에 따라서 n개의 카메라 부각 어긋남(Δθ1 내지 Δθn)을 산출하고, 이 n개의 산출값의 평균, 혹은 중간값을 산출하여 산출값을 카메라 부각 어긋남(Δθ)으로 하는 처리를 행해도 된다.
또한, 촬상부(카메라)(101)가 규정된 카메라 부각(θ)으로 정상적으로 설치되어 있는 경우에는, 카메라 부각 어긋남 산출부(104)가 산출하는 카메라 부각 어긋남(Δθ)은 0, Δθ=0이 된다.
카메라 부각 어긋남 산출부(104)가 산출한 카메라 부각 어긋남(Δθ)은, 오브젝트 거리 산출용 화상(부감 화상) 생성부(105)에 입력된다.
오브젝트 거리 산출용 화상(부감 화상) 생성부(105)는, 카메라 부각 어긋남 산출부(104)가 산출한 카메라 부각의 어긋남각(Δθ)을 고려하여, 오브젝트 거리 산출용 화상(부감 화상)을 생성한다.
이 처리는, 예를 들어 앞서 도 9를 참조하여 설명한 도 9의 (3)에 나타내는 오브젝트 거리 산출용 화상(부감 화상)의 생성 처리이다.
오브젝트 거리 산출용 화상(부감 화상) 생성부(105)는, 부감 화상 생성용 맵핑 데이터를 이용하여 오브젝트 거리 산출용 화상(부감 화상)을 생성한다.
여기에서 사용하는 부감 화상 생성용 맵핑 데이터는, 촬상부(카메라)(101)의 카메라 부각 어긋남(Δθ)을 고려한 부감 화상 생성용 맵핑 데이터이다. 즉, 카메라 부각=θ+Δθ로 설치된 카메라의 촬영 화상으로부터 부감 화상을 생성하는 부감 화상 생성용 맵핑 데이터이다.
또한, 카메라 부각 어긋남 산출부(104)가 산출한 카메라 부각 어긋남 Δθ=0의 경우, 즉 촬상부(카메라)(101)가 규정된 카메라 부각(θ)으로 정상적으로 설치되어 있는 경우에는, 카메라 부각 어긋남 산출부(104)로부터 입력하는 카메라 부각의 어긋남각: Δθ=0이다.
이 경우에는, 오브젝트 거리 산출용 화상(부감 화상) 생성부(105)는, 정상적인 설치 각도(카메라 부각=θ)로 설치된 카메라의 촬영 화상으로부터 부감 화상을 생성하는 부감 화상 생성용 맵핑 데이터를 이용하여 오브젝트 거리 산출용 화상(부감 화상)을 생성한다.
이 오브젝트 거리 산출용 화상(부감 화상)은, 앞서 도 7의 (3)을 참조하여 설명한 오브젝트 거리 산출용 화상(부감 화상)이다.
또한, 부감 화상 생성용 맵핑 데이터는, 화상 처리 장치(100)의 기억부에 미리 저장되어 있다. 예를 들어, 소정 범위의 카메라 부각 어긋남 Δθ에 대응한 복수의 데이터가 저장되어 있다. 구체적으로는, 예를 들어 Δθ=-5°+5°의 범위의 복수의 매핑 데이터가 기억부에 저장되어 있다.
혹은, 기억부에는 하나의 Δθ=0 매핑 데이터만을 저장하고, 또한 이 매핑 데이터를 Δθ=-5°+5°의 범위의 매핑 데이터로 변환하는 파라미터와 함께 기억한 구성으로 해도 된다.
이와 같이, 오브젝트 거리 산출용 화상(부감 화상) 생성부(105)는, 이하의 2종류의 처리 중 어느 것을 선택적으로 실행한다.
(처리 1) 카메라 부각 어긋남 산출부(104)가 산출한 카메라 부각 어긋남 Δθ=0의 경우에는, 정상적인 설치 각도(카메라 부각=θ)로 설치된 카메라의 촬영 화상으로부터 부감 화상을 생성하는 부감 화상 생성용 맵핑 데이터를 이용하여 오브젝트 거리 산출용 화상(부감 화상)을 생성한다.
(처리 2) 카메라 부각 어긋남 산출부(104)가 산출한 카메라 부각 어긋남 Δθ≠0의 경우에는, 촬상부(카메라)(101)의 카메라 부각 어긋남(Δθ)을 고려한 부감 화상 생성용 맵핑 데이터를 이용하여 오브젝트 거리 산출용 화상(부감 화상)을 생성한다.
상기 (처리 1)은 앞서 도 7을 참조하여 설명한 처리에 대응하고, (처리 2)는 도 9를 참조하여 설명한 처리에 대응한다.
오브젝트 거리 산출용 화상(부감 화상) 생성부(105)가 생성한 오브젝트 거리 산출용 화상(부감 화상)은, 오브젝트 거리 산출부(106)에 입력된다.
오브젝트 거리 산출부(106)는, 오브젝트 거리 산출용 화상(부감 화상) 생성부(105)가 생성한 오브젝트 거리 산출용 화상(부감 화상)을 사용하여, 촬상부(카메라)(101)의 촬영 화상에 포함되는 다양한 피사체(오브젝트)의 거리를 산출한다.
앞서 도 7 등을 참조하여 설명한 바와 같이, 오브젝트 거리 산출용 화상(부감 화상)은 노면 상을 등축척한 변환 화상이므로, 오브젝트 거리 산출용 화상(부감 화상)의 화소 위치로부터, 실세계의 위치를 나타내는 좌표를 구할 수 있다. 실세계의 위치를 나타내는 좌표로부터 카메라(=차량)로부터의 거리, 즉 피사체 거리(오브젝트 거리)를 산출할 수 있다.
이어서, 도 11에 도시하는 흐름도를 참조하여 본 개시의 화상 처리 장치(100)가 실행하는 화상 처리, 구체적으로는 카메라 촬영 화상에 기초하는 피사체 거리의 산출 시퀀스에 대하여 설명한다.
또한, 도 11에 도시하는 흐름도에 따른 처리는, 화상 처리 장치의 기억부에 저장된 프로그램에 따라서, 프로그램 실행 기능을 갖는 CPU 등을 구비한 데이터 처리부의 제어 하에서 실행 가능하다.
이하, 도 11에 도시하는 흐름의 각 스텝의 처리에 대하여, 순차로 설명한다.
(스텝 S101)
먼저, 스텝 S101에 있어서, 촬상부(카메라)(101)가 화상을 촬영한다. 도 1에 도시하는 차량(10)에 탑재된 카메라(11)에 상당하는 촬상부(카메라)(101)가 화상을 촬영한다.
또한, 촬상부(카메라)(101)는 어안 렌즈 등의 광각 렌즈를 구비한 카메라이며, 예를 들어 도 7의 (1)와 도 9의 (1)에 나타내는 촬영 화상을 촬영한다.
(스텝 S102)
이어서, 스텝 S102에 있어서, 스텝 S101에서 촬상부(카메라)(101)가 촬영한 화상에 대한 화상 변환 처리(보정 처리)를 실행하여 보정 화상을 생성한다.
이 처리는, 도 10에 도시하는 보정 화상 생성부(102)가 실행하는 처리이다.
보정 화상 생성부(102)는, 촬상부(카메라)(101)의 촬영 화상에 대한 왜곡 보정과, 시점 변환을 실행한 보정 화상을 생성한다. 구체적으로는, 변환 전의 화상(촬영 화상)의 화소 위치 P0(H0, V0)에 대응하는 변환 후의 화상(보정 화상)의 화소 위치 P1(H1, V1)을 등록한 대응 화소 위치 등록 데이터인 매핑 데이터(보정 화상 생성용 매핑 데이터)를 이용하여 보정 화상을 생성한다.
또한, 여기에서 이용하는 보정 화상 생성용 매핑 데이터는, 올바른 카메라 부각=θ로 설정된 규정의 올바른 설치가 이루어진 카메라의 카메라 촬영 화상용의 매핑 데이터이다.
스텝 S102에서 생성되는 보정 화상은, 시점 방향이 노면에 평행해지는 방향, 즉 도 1에 도시하는 가상 시점 방향이 되도록 시점 변환이 이루어진 화상이며, 이 보정 화상이 운전석의 모니터에 표시된다.
(스텝 S103)
이어서, 스텝 S103에 있어서, 스텝 S102에서 생성된 보정 화상으로부터, 실세계에서 노면에 수직으로 서있는 수직 오브젝트를 추출하고, 이 수직 오브젝트의 기울기(α)를 산출한다. 수직 오브젝트는, 예를 들어 도로 상의 표지나, 신호, 전주 그 밖의 폴, 혹은 사람 등, 다양한 피사체로부터 선택 가능하다.
앞서 설명한 바와 같이, 카메라 부각이 규정 각도(θ)인 카메라의 촬영 화상을, 카메라 부각=θ의 카메라 촬영 화상용의 보정 화상 생성용 매핑 데이터를 이용하여 변환하면, 실세계의 수직 오브젝트는 보정 화상 상에서도 수직으로 표시된다.
그러나, 카메라 부각이 규정 각도(θ)가 아닌 카메라 부각=θ+Δθ인 카메라의 촬영 화상을, 카메라 부각=θ의 카메라 촬영 화상용의 매핑 데이터를 이용하여 변환하면, 실세계의 수직 오브젝트는, 화상의 좌우 중심 위치로부터 좌우로 이격됨에 따라 기울어져 표시된다.
수직 오브젝트 기울기 산출부(103)는, 스텝 S103에 있어서, 보정 화상 생성부(102)가 생성한 보정 화상으로부터, 실세계에서 노면에 수직으로 서있는 수직 오브젝트를 추출하여, 이 수직 오브젝트의 기울기(α)를 산출한다.
(스텝 S104)
이어서, 스텝 S104에 있어서, 스텝 S103에서 검출한 수직 오브젝트의 기울기(α)를 이용하여, 촬상부(카메라)(101)의 부각의 기준 각도(θ)로부터의 어긋남각(Δθ)을 산출한다.
이 처리는, 도 10에 도시하는 카메라 부각 어긋남 산출부(104)가 실행하는 처리이다.
카메라 부각 어긋남 산출부(104)는, 앞서 설명한 이하의 (식 3)에 따라서 촬상부(카메라)(101)의 카메라 부각의 어긋남각(Δθ)을 산출한다.
Δθ=A×α×hmax/ha···(식 3)
상기 (식 3)에 있어서,
A는 보정 화상의 애스펙트비(수직/수평),
hmax는 보정 화상의 좌우 중심 위치로부터 좌우의 화상 단부까지의 거리(화상의 길이 또는 화소수),
α은 수직 오브젝트의 기울기,
ha는 수직 오브젝트의 보정 화상의 좌우 중심 위치로부터의 거리 ha(화상의 길이 또는 화소수)
이다.
또한, 전술한 바와 같이, 카메라 촬영 화상 중에 복수(n개)의 수직 오브젝트가 검출되고, 각각의 수직 오브젝트(1 내지 n)에 대하여 개별의 기울기(α1 내지 αn)가 검출된 경우에는, 개개의 오브젝트 대응의 기울기(α1 내지 αn)에 기초하여 상기 (식 3)에 따라서 n개의 카메라 부각 어긋남(Δθ1 내지 Δθn)을 산출하고, 이 n개의 산출값의 평균, 혹은 중간값을 산출하여 산출값을 카메라 부각 어긋남(Δθ)으로 하는 처리를 행해도 된다.
또한, 촬상부(카메라)(101)가 규정된 카메라 부각(θ)으로 정상적으로 설치되어 있는 경우에는, 카메라 부각 어긋남 산출부(104)가 산출하는 카메라 부각 어긋남(Δθ)은 0, Δθ=0이 된다.
(스텝 S105)
스텝 S105 내지 S107의 처리는, 도 10에 도시하는 오브젝트 거리 산출용 화상(부감 화상) 생성부(105)가 실행하는 처리이다.
오브젝트 거리 산출용 화상(부감 화상) 생성부(105)는, 카메라 부각 어긋남 산출부(104)가 산출한 카메라 부각의 어긋남각(Δθ)을 고려하여, 오브젝트 거리 산출용 화상(부감 화상)을 생성한다.
오브젝트 거리 산출용 화상(부감 화상) 생성부(105)는, 먼저 스텝 S105에 있어서, 스텝 S104에서 카메라 부각 어긋남 산출부(104)가 산출한 카메라 부각 어긋남 Δθ가 미리 규정한 역치 Th 이하인지의 여부를 판정한다.
카메라 부각 어긋남 Δθ가 미리 규정한 역치 Th 이하라고 판정한 경우에는, 스텝 S106으로 진행한다.
한편, 카메라 부각 어긋남 Δθ가 미리 규정한 역치 Th 이하가 아니라고 판정한 경우에는, 스텝 S107로 진행한다.
(스텝 S106)
스텝 S105에 있어서, 카메라 부각 어긋남 Δθ가 미리 규정한 역치 Th 이하라고 판정한 경우에는, 스텝 S106의 처리를 실행한다.
카메라 부각 어긋남 Δθ가 미리 규정한 역치 Th 이하인 경우에는, 촬상부(카메라)(101)가 거의 정상적인 설치 각도(카메라 부각=θ)로 설치되어 있음을 의미한다.
이 경우에는, 스텝 S106에 있어서, 정상적인 설치 각도(카메라 부각=θ)로 설치된 카메라의 촬영 화상으로부터 부감 화상을 생성하는 부감 화상 생성용 맵핑 데이터를 이용하여 오브젝트 거리 산출용 화상(부감 화상)을 생성한다.
이 처리는, 앞서 도 7을 참조하여 설명한 도 7의 (3)에 나타내는 오브젝트 거리 산출용 화상(부감 화상)의 생성 처리이다.
(스텝 S107)
한편, 스텝 S105에 있어서, 카메라 부각 어긋남 Δθ가 미리 규정한 역치 Th 이하가 아니라고 판정한 경우에는, 스텝 S107의 처리를 실행한다.
카메라 부각 어긋남 Δθ가 미리 규정한 역치 Th 이하가 아닌 경우에는, 촬상부(카메라)(101)가 거의 정상적인 설치 각도(카메라 부각=θ)로 설치되어 있지 않음을 의미한다.
촬상부(카메라)(101)의 카메라 부각은 어긋남(Δθ)을 갖고, 카메라 부각=θ+Δθ이다.
이 경우에는, 스텝 S107에 있어서, 촬상부(카메라)(101)의 카메라 부각 어긋남(Δθ)을 고려한 부감 화상 생성용 맵핑 데이터를 이용하여 오브젝트 거리 산출용 화상(부감 화상)을 생성한다.
이 처리는, 앞서 도 9를 참조하여 설명한 도 9의 (3)에 나타내는 오브젝트 거리 산출용 화상(부감 화상)의 생성 처리이다.
(스텝 S108)
마지막으로 스텝 S108에 있어서, 스텝 S106, S107에서 오브젝트 거리 산출용 화상(부감 화상) 생성부(105)가 생성한 오브젝트 거리 산출용 화상(부감 화상)을 사용하여, 피사체 거리(오브젝트 거리)를 산출한다.
이 처리는, 도 10에 도시하는 오브젝트 거리 산출부(106)가 실행된다.
오브젝트 거리 산출부(106)는 스텝 S108에 있어서, 스텝 S106, S107에서 오브젝트 거리 산출용 화상(부감 화상) 생성부(105)가 생성한 오브젝트 거리 산출용 화상(부감 화상)을 사용하여, 촬상부(카메라)(101)의 촬영 화상에 포함되는 다양한 피사체(오브젝트)의 거리를 산출한다.
앞서 설명한 바와 같이, 오브젝트 거리 산출용 화상(부감 화상)은 노면 상을 등축척한 변환 화상이므로, 오브젝트 거리 산출용 화상(부감 화상)의 화소 위치로부터, 실세계의 위치를 나타내는 좌표를 구할 수 있다. 실세계의 위치를 나타내는 좌표로부터 카메라(=차체)로부터의 거리, 즉 피사체 거리(오브젝트 거리)를 산출할 수 있다.
이와 같이, 본 개시의 화상 처리 장치는, 정상적인 설치 각도인 카메라의 촬영 화상이어도, 정상적인 설치 각도가 아닌 카메라의 촬영 화상이어도, 어느 경우에도 피사체까지의 거리(오브젝트 거리)를 정확하게 산출할 수 있다.
[4. 본 개시의 화상 처리 장치의 하드웨어 구성예에 대하여]
이어서, 상술한 실시예에 있어서 설명한 화상 처리 장치(100)의 하드웨어 구성예에 대하여, 도 12를 참조하여 설명한다.
도 12는, 본 개시의 처리를 실행하는 화상 처리 장치의 하드웨어 구성예를 도시하는 도면이다.
CPU(Central ProcessingUnit)(301)는, ROM(Read Only Memory)(302) 또는 기억부(308)에 기억되어 있는 프로그램에 따라서 각종 처리를 실행하는 제어부나 데이터 처리부로서 기능한다. 예를 들어, 상술한 실시예에 있어서 설명한 시퀀스를 따른 처리를 실행한다. RAM(Random Access Memory)(303)에는, CPU(301)가 실행하는 프로그램이나 데이터 등이 기억된다. 이들 CPU(301), ROM(302) 및 RAM(303)은 버스(304)에 의해 서로 접속되어 있다.
CPU(301)는 버스(304)를 통해 입출력 인터페이스(305)에 접속되고, 입출력 인터페이스(305)에는, 촬상부(321)의 촬영 화상의 입력을 행함과 함께, 유저 입력 가능한 각종 스위치, 키보드, 마우스, 마이크로폰 등을 포함하는 입력부(306), 표시부(322)나 스피커 등에 대한 데이터 출력을 실행하는 출력부(307)가 접속되어 있다. CPU(301)는 입력부(306)로부터 입력되는 명령에 대응하여 각종 처리를 실행하고, 처리 결과를 예를 들어 출력부(307)로 출력한다.
입출력 인터페이스(305)에 접속되어 있는 기억부(308)는, 예를 들어 하드 디스크 등을 포함하고, CPU(301)가 실행하는 프로그램이나 각종 데이터를 기억한다. 통신부(309)는 Wi-Fi 통신, 블루투스(등록 상표)(BT) 통신, 기타 인터넷이나 로컬 에어리어 네트워크 등의 네트워크를 통한 데이터 통신의 송수신부로서 기능하고, 외부의 장치와 통신한다.
입출력 인터페이스(305)에 접속되어 있는 드라이브(310)는, 자기 디스크, 광 디스크, 광자기 디스크, 혹은 메모리 카드 등의 반도체 메모리 등의 리무버블 미디어(311)를 구동하여, 데이터의 기록 혹은 판독을 실행한다.
[5. 본 개시의 구성의 마무리]
이상, 특정 실시예를 참조하면서, 본 개시의 실시예에 대하여 자세히 해석해왔다. 그러나, 본 개시의 요지를 일탈하지 않는 범위에서 당업자가 실시예의 수정이나 대용을 할 수 있는 것은 자명하다. 즉, 예시라는 형태로 본 발명을 개시해 온 것이며, 한정적으로 해석되어서는 안된다. 본 개시의 요지를 판단하기 위해서는, 특허 청구 범위의 란을 참작해야 한다.
또한, 본 명세서에 있어서 개시한 기술은, 이하와 같은 구성을 취할 수 있다.
(1) 광각 렌즈를 갖는 카메라의 촬영 화상을 입력하여 왜곡 보정을 행하여, 보정 화상을 생성하는 보정 화상 생성부와,
실세계 상의 수직 오브젝트의 상기 보정 화상에 있어서의 기울기를 산출하는 수직 오브젝트 기울기 산출부와,
상기 수직 오브젝트의 기울기에 기초하여, 상기 카메라의 카메라 부각의 어긋남각을 산출하는 카메라 부각 어긋남 산출부와,
상기 카메라의 카메라 부각 어긋남각을 고려한 오브젝트 거리 산출용 화상을 생성하는 오브젝트 거리 산출용 화상 생성부와,
상기 오브젝트 거리 산출용 화상을 참조하여, 상기 카메라의 촬영 화상에 포함되는 오브젝트의 거리를 산출하는 오브젝트 거리 산출부를 갖는 화상 처리 장치.
(2) 상기 보정 화상 생성부는,
규정된 카메라 부각을 갖는 카메라의 촬영 화상을, 미리 규정한 시점 방향으로부터의 화상으로 변환하기 위한 화소 위치를 대응지은 보정 화상 생성용 매핑 데이터를 이용하여 상기 보정 화상을 생성하는, (1)에 기재된 화상 처리 장치.
(3) 상기 카메라 부각 어긋남 산출부는,
상기 카메라의 광축 방향과, 상기 보정 화상의 시점 방향이 이루는 각인 카메라 부각의 규정 각도로부터의 어긋남각을 산출하는, (1) 또는 (2)에 기재된 화상 처리 장치.
(4) 상기 카메라 부각 어긋남 산출부는,
상기 보정 화상의 애스펙트비(수직/수평) A와,
상기 보정 화상의 좌우 중심 위치로부터 좌우의 화상 단부까지의 거리 hmax와,
상기 보정 화상의 좌우 중심 위치로부터 임의 거리 ha의 수직 오브젝트의 기울기 α,
이들 값을 사용하여, 상기 카메라의 카메라 부각의 어긋남각 Δθ를,
Δθ=A×α×hmax/ha
상기 식에 따라서 산출하는, (1) 내지 (3) 중 어느 것에 기재된 화상 처리 장치.
(5) 상기 카메라 부각 어긋남 산출부는,
상기 카메라의 촬영 화상 내의 복수(n개)의 수직 오브젝트 각각에 대응하는 복수의 기울기(α1 내지 αn)에 기초하여, n개의 카메라 부각 어긋남(Δθ1 내지 Δθn)을 산출하고, 산출한 n개의 카메라 부각 어긋남(Δθ1 내지 Δθn)의 평균, 혹은 중간값을 최종적인 카메라 부각 어긋남(Δθ)으로서 산출하는, (1) 내지 (4) 중 어느 것에 기재된 화상 처리 장치.
(6) 상기 오브젝트 거리 산출용 화상 생성부는,
오브젝트 거리 산출용 화상으로서, 실세계의 위치를 반영한 부감 화상을 생성하는, (1) 내지 (5) 중 어느 것에 기재된 화상 처리 장치.
(7) 상기 오브젝트 거리 산출용 화상 생성부는,
상기 카메라의 카메라 부각 어긋남각이 규정 역치 이하인 경우에는, 정상적인 설치 각도로 설치된 카메라의 촬영 화상으로부터 부감 화상을 생성하는 부감 화상 생성용 맵핑 데이터를 이용하여 상기 오브젝트 거리 산출용 화상을 생성하는, (1) 내지 (6) 중 어느 것에 기재된 화상 처리 장치.
(8) 상기 오브젝트 거리 산출용 화상 생성부는,
상기 카메라의 카메라 부각 어긋남각이 규정 역치 이하가 아닌 경우에는, 상기 카메라의 카메라 부각 어긋남을 고려한 부감 화상 생성용 맵핑 데이터를 이용하여 상기 오브젝트 거리 산출용 화상을 생성하는, (1) 내지 (7) 중 어느 것에 기재된 화상 처리 장치.
(9) 화상 처리 장치에 있어서 실행하는 화상 처리 방법이며,
보정 화상 생성부가, 광각 렌즈를 갖는 카메라의 촬영 화상을 입력하여 왜곡 보정을 행하여, 보정 화상을 생성하는 스텝과,
수직 오브젝트 기울기 산출부가, 실세계 상의 수직 오브젝트의 상기 보정 화상에 있어서의 기울기를 산출하는 스텝과,
카메라 부각 어긋남 산출부가, 상기 수직 오브젝트의 기울기에 기초하여, 상기 카메라의 카메라 부각의 어긋남각을 산출하는 스텝과,
오브젝트 거리 산출용 화상 생성부가, 상기 카메라의 카메라 부각 어긋남각을 고려한 오브젝트 거리 산출용 화상을 생성하는 스텝과,
오브젝트 거리 산출부가, 상기 오브젝트 거리 산출용 화상을 참조하여, 상기 카메라의 촬영 화상에 포함되는 오브젝트의 거리를 산출하는 스텝을 실행하는 화상 처리 방법.
(10) 화상 처리 장치에 있어서 화상 처리를 실행시키는 프로그램이며,
보정 화상 생성부에, 광각 렌즈를 갖는 카메라의 촬영 화상을 입력하여 왜곡 보정을 행하여, 보정 화상을 생성시키는 스텝과,
수직 오브젝트 기울기 산출부에, 실세계 상의 수직 오브젝트의 상기 보정 화상에 있어서의 기울기를 산출시키는 스텝과,
카메라 부각 어긋남 산출부에, 상기 수직 오브젝트의 기울기에 기초하여, 상기 카메라의 카메라 부각의 어긋남각을 산출시키는 스텝과,
오브젝트 거리 산출용 화상 생성부에, 상기 카메라의 카메라 부각 어긋남각을 고려한 오브젝트 거리 산출용 화상을 생성시키는 스텝과,
오브젝트 거리 산출부에, 상기 오브젝트 거리 산출용 화상을 참조하여, 상기 카메라의 촬영 화상에 포함되는 오브젝트의 거리를 산출시키는 스텝을 실행시키는 프로그램.
또한, 명세서 중에 있어서 설명한 일련의 처리는 하드웨어 또는 소프트웨어, 혹은 양자의 복합 구성에 의해 실행하는 것이 가능하다. 소프트웨어에 의한 처리를 실행하는 경우에는, 처리 시퀀스를 기록한 프로그램을, 전용의 하드웨어에 내장된 컴퓨터 내의 메모리에 인스톨하여 실행시키거나, 혹은 각종 처리가 실행 가능한 범용 컴퓨터에 프로그램을 인스톨하여 실행시키는 것이 가능하다. 예를 들어, 프로그램은 기록 매체에 미리 기록해 둘 수 있다. 기록 매체로부터 컴퓨터에 인스톨하는 것 외에도, LAN(Local Area Network), 인터넷과 같은 네트워크를 통하여 프로그램을 수신하고, 내장된 하드 디스크 등의 기록 매체에 인스톨할 수 있다.
또한, 명세서에 기재된 각종 처리는, 기재에 따라서 시계열로 실행될 뿐만 아니라, 처리를 실행하는 장치의 처리 능력 혹은 필요에 따라서 병렬적으로 혹은 개별로 실행되어도 된다. 또한, 본 명세서에 있어서 시스템이란, 복수의 장치의 논리적 집합 구성이며, 각 구성의 장치가 동일 하우징 내에 있는 것에 제한되지는 않는다.
이상, 설명한 바와 같이, 본 개시의 일 실시예의 구성에 의하면, 카메라의 설치 각도에 어긋남이 있는 경우에 있어서도, 카메라 촬영 화상에 기초하여 정확한 피사체 거리를 산출 가능하게 하는 구성이 실현된다.
구체적으로는, 예를 들어 광각 렌즈를 갖는 카메라의 촬영 화상을 입력하여 왜곡 보정을 행하여, 보정 화상을 생성한다. 또한, 실세계 상의 수직 오브젝트의 보정 화상에 있어서의 기울기를 산출하고, 수직 오브젝트의 기울기에 기초하여, 카메라의 카메라 부각의 어긋남각을 산출하여, 카메라 부각 어긋남각을 고려한 오브젝트 거리 산출용 화상을 생성하여, 오브젝트 거리 산출용 화상으로부터 카메라의 촬영 화상에 포함되는 오브젝트의 거리를 산출한다. 카메라 부각 어긋남각이 규정 역치 이하가 아닌 경우에는, 카메라 부각 어긋남을 고려한 부감 화상 생성용 맵핑 데이터를 이용하여 오브젝트 거리 산출용 화상을 생성한다.
이들 구성에 의해, 카메라의 설치 각도에 어긋남이 있는 경우에 있어서도, 카메라 촬영 화상에 기초하여 정확한 피사체 거리를 산출 가능하게 하는 구성이 실현된다.
10: 차량
11: 카메라
20: 노면
30: 수직 폴
40: 사람
81: 수직 폴
100: 화상 처리 장치
101: 촬상부(카메라)
102: 보정 화상 생성부
103: 수직 오브젝트 기울기 산출부
104: 카메라 부각 어긋남 산출부
105: 오브젝트 거리 산출용 화상 생성부
106: 오브젝트 거리 산출부
301: CPU
302: ROM
303: RAM
304: 버스
305: 입출력 인터페이스
306: 입력부
307: 출력부
308: 기억부
309: 통신부
310: 드라이브
311: 리무버블 미디어
321: 촬상부
322: 표시부
11: 카메라
20: 노면
30: 수직 폴
40: 사람
81: 수직 폴
100: 화상 처리 장치
101: 촬상부(카메라)
102: 보정 화상 생성부
103: 수직 오브젝트 기울기 산출부
104: 카메라 부각 어긋남 산출부
105: 오브젝트 거리 산출용 화상 생성부
106: 오브젝트 거리 산출부
301: CPU
302: ROM
303: RAM
304: 버스
305: 입출력 인터페이스
306: 입력부
307: 출력부
308: 기억부
309: 통신부
310: 드라이브
311: 리무버블 미디어
321: 촬상부
322: 표시부
Claims (10)
- 광각 렌즈를 갖는 카메라의 촬영 화상을 입력하여 왜곡 보정을 행하여, 보정 화상을 생성하는 보정 화상 생성부와,
실세계 상의 수직 오브젝트의 상기 보정 화상에 있어서의 기울기를 산출하는 수직 오브젝트 기울기 산출부와,
상기 수직 오브젝트의 기울기에 기초하여, 상기 카메라의 카메라 부각의 어긋남각을 산출하는 카메라 부각 어긋남 산출부와,
상기 카메라의 카메라 부각 어긋남각을 고려한 오브젝트 거리 산출용 화상을 생성하는 오브젝트 거리 산출용 화상 생성부와,
상기 오브젝트 거리 산출용 화상을 참조하여, 상기 카메라의 촬영 화상에 포함되는 오브젝트의 거리를 산출하는 오브젝트 거리 산출부를 갖는 화상 처리 장치. - 제1항에 있어서, 상기 보정 화상 생성부는,
규정된 카메라 부각을 갖는 카메라의 촬영 화상을, 미리 규정한 시점 방향으로부터의 화상으로 변환하기 위한 화소 위치를 대응지은 보정 화상 생성용 매핑 데이터를 이용하여 상기 보정 화상을 생성하는 화상 처리 장치. - 제1항에 있어서, 상기 카메라 부각 어긋남 산출부는,
상기 카메라의 광축 방향과, 상기 보정 화상의 시점 방향이 이루는 각인 카메라 부각의 규정 각도로부터의 어긋남각을 산출하는 화상 처리 장치. - 제1항에 있어서, 상기 카메라 부각 어긋남 산출부는,
상기 보정 화상의 애스펙트비(수직/수평) A와,
상기 보정 화상의 좌우 중심 위치로부터 좌우의 화상 단부까지의 거리 hmax와,
상기 보정 화상의 좌우 중심 위치로부터 임의 거리 ha의 수직 오브젝트의 기울기 α,
이들 값을 사용하여, 상기 카메라의 카메라 부각의 어긋남각 Δθ를,
Δθ=A×α×hmax/ha
상기 식에 따라서 산출하는 화상 처리 장치. - 제1항에 있어서, 상기 카메라 부각 어긋남 산출부는,
상기 카메라의 촬영 화상 내의 복수(n개)의 수직 오브젝트 각각에 대응하는 복수의 기울기(α1 내지 αn)에 기초하여, n개의 카메라 부각 어긋남(Δθ1 내지 Δθn)을 산출하고, 산출한 n개의 카메라 부각 어긋남(Δθ1 내지 Δθn)의 평균, 혹은 중간값을 최종적인 카메라 부각 어긋남(Δθ)으로서 산출하는 화상 처리 장치. - 제1항에 있어서, 상기 오브젝트 거리 산출용 화상 생성부는,
오브젝트 거리 산출용 화상으로서, 실세계의 위치를 반영한 부감 화상을 생성하는 화상 처리 장치. - 제1항에 있어서, 상기 오브젝트 거리 산출용 화상 생성부는,
상기 카메라의 카메라 부각 어긋남각이 규정 역치 이하인 경우에는, 정상적인 설치 각도로 설치된 카메라의 촬영 화상으로부터 부감 화상을 생성하는 부감 화상 생성용 맵핑 데이터를 이용하여 상기 오브젝트 거리 산출용 화상을 생성하는 화상 처리 장치. - 제1항에 있어서, 상기 오브젝트 거리 산출용 화상 생성부는,
상기 카메라의 카메라 부각 어긋남각이 규정 역치 이하가 아닌 경우에는, 상기 카메라의 카메라 부각 어긋남을 고려한 부감 화상 생성용 맵핑 데이터를 이용하여 상기 오브젝트 거리 산출용 화상을 생성하는 화상 처리 장치. - 화상 처리 장치에 있어서 실행하는 화상 처리 방법이며,
보정 화상 생성부가, 광각 렌즈를 갖는 카메라의 촬영 화상을 입력하여 왜곡 보정을 행하여, 보정 화상을 생성하는 스텝과,
수직 오브젝트 기울기 산출부가, 실세계 상의 수직 오브젝트의 상기 보정 화상에 있어서의 기울기를 산출하는 스텝과,
카메라 부각 어긋남 산출부가, 상기 수직 오브젝트의 기울기에 기초하여, 상기 카메라의 카메라 부각의 어긋남각을 산출하는 스텝과,
오브젝트 거리 산출용 화상 생성부가, 상기 카메라의 카메라 부각 어긋남각을 고려한 오브젝트 거리 산출용 화상을 생성하는 스텝과,
오브젝트 거리 산출부가, 상기 오브젝트 거리 산출용 화상을 참조하여, 상기 카메라의 촬영 화상에 포함되는 오브젝트의 거리를 산출하는 스텝을 실행하는 화상 처리 방법. - 화상 처리 장치에 있어서 화상 처리를 실행시키는 프로그램이며,
보정 화상 생성부에, 광각 렌즈를 갖는 카메라의 촬영 화상을 입력하여 왜곡 보정을 행하여, 보정 화상을 생성시키는 스텝과,
수직 오브젝트 기울기 산출부에, 실세계 상의 수직 오브젝트의 상기 보정 화상에 있어서의 기울기를 산출시키는 스텝과,
카메라 부각 어긋남 산출부에, 상기 수직 오브젝트의 기울기에 기초하여, 상기 카메라의 카메라 부각의 어긋남각을 산출시키는 스텝과,
오브젝트 거리 산출용 화상 생성부에, 상기 카메라의 카메라 부각 어긋남각을 고려한 오브젝트 거리 산출용 화상을 생성시키는 스텝과,
오브젝트 거리 산출부에, 상기 오브젝트 거리 산출용 화상을 참조하여, 상기 카메라의 촬영 화상에 포함되는 오브젝트의 거리를 산출시키는 스텝을 실행시키는 프로그램.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018217023 | 2018-11-20 | ||
| JPJP-P-2018-217023 | 2018-11-20 | ||
| PCT/JP2019/044181 WO2020105499A1 (ja) | 2018-11-20 | 2019-11-11 | 画像処理装置、および画像処理方法、並びにプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210091146A true KR20210091146A (ko) | 2021-07-21 |
Family
ID=70773431
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217013652A KR20210091146A (ko) | 2018-11-20 | 2019-11-11 | 화상 처리 장치 및 화상 처리 방법, 그리고 프로그램 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11836945B2 (ko) |
| EP (1) | EP3885701A4 (ko) |
| JP (1) | JP7308227B2 (ko) |
| KR (1) | KR20210091146A (ko) |
| CN (1) | CN113015884B (ko) |
| WO (1) | WO2020105499A1 (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020068960A1 (en) * | 2018-09-26 | 2020-04-02 | Coherent Logix, Inc. | Any world view generation |
| CN112565730B (zh) * | 2020-12-03 | 2023-07-25 | 阿波罗智联(北京)科技有限公司 | 路侧感知方法、装置、电子设备、存储介质及路侧设备 |
| KR102615479B1 (ko) * | 2021-11-24 | 2023-12-19 | 현대모비스 주식회사 | 램프 및 그것의 동작 방법, 차량 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5923422B2 (ja) | 1979-11-26 | 1984-06-01 | 松下電子工業株式会社 | メタルハライドランプ |
| JP5173551B2 (ja) | 2008-04-23 | 2013-04-03 | アルパイン株式会社 | 車両周辺監視装置およびこれに適用されるカメラ取り付け位置・姿勢情報の設定修正方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002116008A (ja) | 2000-10-11 | 2002-04-19 | Fujitsu Ltd | 距離測定装置及び映像監視装置 |
| JP4104631B2 (ja) | 2006-03-27 | 2008-06-18 | 三洋電機株式会社 | 運転支援装置 |
| JP5481337B2 (ja) | 2010-09-24 | 2014-04-23 | 株式会社東芝 | 画像処理装置 |
| JP5923422B2 (ja) | 2012-09-24 | 2016-05-24 | クラリオン株式会社 | カメラのキャリブレーション方法及び装置 |
| US10373338B2 (en) | 2015-05-27 | 2019-08-06 | Kyocera Corporation | Calculation device, camera device, vehicle, and calibration method |
| JP6846651B2 (ja) | 2016-04-15 | 2021-03-24 | パナソニックＩｐマネジメント株式会社 | 画像処理装置及び撮像装置 |
| US11108992B2 (en) | 2016-06-08 | 2021-08-31 | Sony Corporation | Imaging control device and method, and vehicle |
| US10420397B2 (en) * | 2016-12-14 | 2019-09-24 | Black Brass, Inc. | Foot measuring and sizing application |
-
2019
- 2019-11-11 CN CN201980074781.XA patent/CN113015884B/zh active Active
- 2019-11-11 KR KR1020217013652A patent/KR20210091146A/ko unknown
- 2019-11-11 US US17/293,400 patent/US11836945B2/en active Active
- 2019-11-11 WO PCT/JP2019/044181 patent/WO2020105499A1/ja unknown
- 2019-11-11 JP JP2020558293A patent/JP7308227B2/ja active Active
- 2019-11-11 EP EP19886241.9A patent/EP3885701A4/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5923422B2 (ja) | 1979-11-26 | 1984-06-01 | 松下電子工業株式会社 | メタルハライドランプ |
| JP5173551B2 (ja) | 2008-04-23 | 2013-04-03 | アルパイン株式会社 | 車両周辺監視装置およびこれに適用されるカメラ取り付け位置・姿勢情報の設定修正方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7308227B2 (ja) | 2023-07-13 |
| CN113015884A (zh) | 2021-06-22 |
| US20220051435A1 (en) | 2022-02-17 |
| EP3885701A4 (en) | 2022-01-26 |
| WO2020105499A1 (ja) | 2020-05-28 |
| US11836945B2 (en) | 2023-12-05 |
| CN113015884B (zh) | 2023-10-10 |
| EP3885701A1 (en) | 2021-09-29 |
| JPWO2020105499A1 (ja) | 2021-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6612297B2 (ja) | 道路の垂直輪郭検出 | |
| US10169667B2 (en) | External environment recognizing device for vehicle and vehicle behavior control device | |
| JP5322789B2 (ja) | モデル生成装置、モデル生成方法、モデル生成プログラム、点群画像生成方法および点群画像生成プログラム | |
| US8184160B2 (en) | Image processor, driving assistance system, and out-of-position detecting method | |
| WO2018225446A1 (ja) | 地図変化点検出装置 | |
| JP4193886B2 (ja) | 画像表示装置 | |
| JP5804185B2 (ja) | 移動物体位置姿勢推定装置及び移動物体位置姿勢推定方法 | |
| JP6707022B2 (ja) | ステレオカメラ | |
| KR20210091146A (ko) | 화상 처리 장치 및 화상 처리 방법, 그리고 프로그램 | |
| JP6392693B2 (ja) | 車両周辺監視装置、車両周辺監視方法、及びプログラム | |
| JP2006252473A (ja) | 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム | |
| US11928805B2 (en) | Information processing apparatus, information processing method, and storage medium for defect inspection and detection | |
| JP5228614B2 (ja) | パラメータ計算装置、パラメータ計算システムおよびプログラム | |
| JP5539250B2 (ja) | 接近物体検知装置及び接近物体検知方法 | |
| JP2019003606A (ja) | 地図変化点検出装置 | |
| JP2020013573A (ja) | 車両の三次元画像再構成方法 | |
| US20200271447A1 (en) | Stereo Camera | |
| TWI424259B (zh) | 相機擺置角度校正法 | |
| JP7405710B2 (ja) | 処理装置及び車載カメラ装置 | |
| JP7146608B2 (ja) | 画像処理装置 | |
| JP5580062B2 (ja) | 障害物検知警報装置 | |
| JP5964093B2 (ja) | 車両サイズ測定装置、車両サイズ測定方法、およびプログラム | |
| WO2023127362A1 (ja) | カメラの校正方法およびステレオカメラ装置 | |
| JPH11175721A (ja) | 画像処理方法およびその装置 |