KR20190110419A - 화상 처리 장치, 운전 지원 시스템 및 화상 처리 방법 - Google Patents

화상 처리 장치, 운전 지원 시스템 및 화상 처리 방법 Download PDF

Info

Publication number
KR20190110419A
KR20190110419A KR1020180128109A KR20180128109A KR20190110419A KR 20190110419 A KR20190110419 A KR 20190110419A KR 1020180128109 A KR1020180128109 A KR 1020180128109A KR 20180128109 A KR20180128109 A KR 20180128109A KR 20190110419 A KR20190110419 A KR 20190110419A
Authority
KR
South Korea
Prior art keywords
image
reference line
line
processing apparatus
circuit
Prior art date
Application number
KR1020180128109A
Other languages
English (en)
Inventor
유타카 오키
Original Assignee
가부시끼가이샤 도시바
도시바 디바이스 앤 스토리지 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시끼가이샤 도시바, 도시바 디바이스 앤 스토리지 가부시키가이샤 filed Critical 가부시끼가이샤 도시바
Publication of KR20190110419A publication Critical patent/KR20190110419A/ko

Links

Images

Classifications

    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/006—Geometric correction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

스테레오 카메라의 촬상계의 왜곡 등에 수반하는 화상 변형의 보정이 가능한 화상 처리 장치, 운전 지원 시스템 및 화상 처리 방법을 제공한다.
본 실시 형태에 따르면, 카메라에 의해 촬상된 제1 화상 및 제2 화상을 화상 처리하는 화상 처리 장치는, 기준선 배치 회로와, 파라미터 취득 회로와, 화상 보정 처리 회로를 구비한다. 기준선 배치 회로는, 상기 제1 화상 및 상기 제2 화상 중 적어도 한쪽에, 제1 기준선의 제1 위치와 제2 기준선의 제2 위치를 결정한다. 파라미터 취득 회로는, 상기 제1 위치에서의 제1 기준선 상의 제1 기준점으로부터 상기 제2 위치에서의 상기 제2 기준선 상의 제2 기준점까지의 선 폭에 기초하여, 화상 왜곡 저감 파라미터를 결정한다. 화상 보정 처리 회로는, 상기 화상 왜곡 저감 파라미터에 기초하여, 상기 제1 화상 또는 상기 제2 화상의 화상 왜곡을 저감한다.

Description

화상 처리 장치, 운전 지원 시스템 및 화상 처리 방법{IMAGE PROCESSING DEVICE, DRIVE ASSISTANCE SYSTEM AND IMAGE PROCESSING METHOD}
본 출원은, 일본 특허 출원 2018-052868(출원일: 2018년 3월 20일)을 기초로 하고, 이 출원으로부터 우선의 이익을 향수한다. 본 출원은, 이 출원을 참조함으로써, 동 출원의 내용 모두를 포함한다.
실시 형태는, 화상 처리 장치, 운전 지원 시스템 및 화상 처리 방법에 관한 것이다.
스테레오 카메라에 의해 취득된 2 화상 사이의 대응하는 점을 구하고, 카메라끼리의 위치 관계와 각 화상 상의 대응점의 위치로부터, 대상물의 3차원 위치를 계측하는 기술이 알려져 있다. 이 기술은, 차량 탑재용의 드라이버 어시스턴스 시스템, 휴대 기기, 게임기 등의 여러 분야에서 이용된다.
그런데, 스테레오 카메라를 적치하는 조정 장치의 온도 특성, 진동 특성, 스테레오 카메라 자체의 경년 변화 등에 의해, 스테레오 카메라의 광축 둘레의 요 회전 등에 수반하는 화상 변형 등이 발생해버린다.
스테레오 카메라의 촬상계의 왜곡 등에 수반하는 화상 변형의 보정이 가능한 화상 처리 장치, 운전 지원 시스템, 및 화상 처리 방법을 제공한다.
본 실시 형태에 따르면, 카메라에 의해 촬상된 제1 화상 및 제2 화상을 화상 처리하는 화상 처리 장치는, 기준선 배치 회로와, 파라미터 취득 회로와, 화상 보정 처리 회로를 구비한다. 기준선 배치 회로는, 상기 제1 화상 및 상기 제2 화상 중 적어도 한쪽에, 제1 기준선의 제1 위치와 제2 기준선의 제2 위치를 결정한다. 파라미터 취득 회로는, 상기 제1 위치에서의 제1 기준선 상의 제1 기준점으로부터 상기 제2 위치에서의 상기 제2 기준선 상의 제2 기준점까지의 선 폭에 기초하여, 화상 왜곡 저감 파라미터를 결정한다. 화상 보정 처리 회로는, 상기 화상 왜곡 저감 파라미터에 기초하여, 상기 제1 화상 또는 상기 제2 화상의 화상 왜곡을 저감한다.
상기 구성의 화상 처리 장치에 의하면, 카메라의 촬상계에 있어서의 요 회전에 수반하는 화상 변형의 보정이 가능하다.
도 1은, 일 실시 형태에 따른 운전 지원 시스템의 전체 구성을 도시하는 블록도이다.
도 2는, 화상 처리 회로의 상세한 구성을 도시하는 블록도이다.
도 3은, 스테레오 카메라로 촬상된 화상을 도시하는 도면이다.
도 4는, 기준선 상의 2개의 기준점을 도시하는 도면이다.
도 5는, 기준선 상의 3점 이상의 기준점을 도시하는 도면이다.
도 6은, 2개의 기준점에 의한 화상 보정 처리의 파라미터의 개념도이다.
도 7은, 3개 이상의 기준점에 의한 화상 보정 처리의 파라미터의 개념도이다.
도 8은, 화상 처리 회로의 화상 변환 처리의 일례를 나타내는 흐름도이다.
이하, 본 발명의 실시 형태에 따른 운전 지원 시스템에 대해서, 도면을 참조하면서 상세하게 설명한다. 또한, 이하에 기재하는 실시 형태는, 본 발명의 실시 형태의 일례이며, 본 발명은 이들의 실시 형태에 한정하여 해석되는 것은 아니다. 또한, 본 실시 형태에서 참조하는 도면에 있어서, 동일 부분 또는 동일한 기능을 갖는 부분에는 동일 부호 또는 유사 부호를 붙이고, 그 반복 설명은 생략하는 경우가 있다. 또한, 도면의 치수 비율은 설명의 사정상 실제의 비율과는 상이한 경우나, 구성의 일부가 도면으로부터 생략되는 경우가 있다.
(일 실시 형태)
도 1은, 일 실시 형태에 따른 운전 지원 시스템(1)의 전체 구성을 도시하는 블록도이다. 이 도 1에 도시한 바와 같이 운전 지원 시스템(1)은, 스테레오 화상에 의해 3차원 정보를 생성하고, 차량의 운전을 지원하는 시스템이다. 보다 구체적으로는, 이 운전 지원 시스템(1)은 스테레오 카메라(10)와, 화상 처리 장치(20)와, 운전 지원 장치(30)와, 음성 장치(40)와, 제동 장치(50)를 구비하여 구성되어 있다.
스테레오 카메라(10)는 제1 카메라(100)와, 제2 카메라(102)를 구비하여 구성되어 있다. 각 카메라(100, 102)는, 촬상 소자로서 예를 들어 CMOS 이미지 센서를 갖는다. 이에 의해, 제1 카메라(100)는 제1 화상을 촬상하고, 제2 카메라(102)는 제2 화상을 촬상한다. 각 카메라(100, 102)의 촬상 광학계의 광축을 Z축으로 하고, 촬상 소자가 2차원 형상으로 배치되는 CMOS 이미지 센서의 촬상면을 X-Y 평면에 평행하게 배치한다.
화상 처리 장치(20)는, 스테레오 카메라(10)로 촬상된 제1 화상과 제2 화상에 대하여 화상 처리를 행하여, 3차원 정보를 얻는 장치이고, CPU(Central Processing Unit)를 포함하여 구성되어 있다. 이 화상 처리 장치(20)의 상세한 구성은 후술한다.
운전 지원 장치(30)는, 화상 처리 장치(20)의 출력 신호에 따라서 차량의 운전을 지원한다. 운전 지원 장치(30)에는, 음성 장치(40), 제동 장치(50) 등이 접속되어 있다.
음성 장치(40)는, 예를 들어 스피커이고, 차량 내의 운전석으로부터 청강 가능한 위치에 배치되어 있다. 운전 지원 장치(30)는, 화상 처리 장치(20)의 출력 신호에 기초하여, 예를 들어 음성 장치(40)에 「대상물까지 5미터입니다」 등의 음성을 발생시킨다. 이에 의해, 예를 들어 운전사의 주의력이 저하된 경우에도, 음성을 청강함으로써, 운전사의 주의를 환기시키는 것이 가능하게 된다.
제동 장치(50)는, 예를 들어 보조 브레이크이고, 화상 처리 장치(20)의 출력 신호에 기초하여 차량을 제동한다. 운전 지원 장치(30)는, 예를 들어 대상물이 소정의 거리, 예를 들어 3미터까지 근접했을 경우에, 제동 장치(50)에 차량을 제동시킨다.
여기서, 화상 처리 장치(20)의 상세한 구성을 설명한다. 이 화상 처리 장치(20)는, 스테레오 카메라(10)를 적재하는 조정 장치의 온도 특성, 진동 특성, 스테레오 카메라(10) 자체의 요각 둘레의 회전 등에 의해 발생하는 화상 변형 등을 보정 처리하는 기능을 갖는다. 이 화상 처리 장치(20)는 기억부(200)와, 화상 처리 회로(202)와, 삼차원 처리 회로(204)와, 표시 제어 회로(206)와, 표시 모니터(208)와, 통신부(210)를 갖고 있다.
기억부(200)는, 예를 들어 ROM(Read Only Memory) 및 RAM(Random Access Memory) 등을 포함하여 구성되고, 화상 처리에 관한 프로그램, 화상 처리 회로(202)에서 사용하는 화상 보정 처리의 파라미터, 제어 파라미터 등을 기억한다. 본 실시 형태에 따른 화상 처리 장치(20)에서는, 기억부(200)에 기억되는 프로그램을 실행함으로써, 본 실시 형태에 따른 화상 처리 장치(20)의 기능을 실현한다.
화상 처리 회로(202)는, 스테레오 카메라(10)에 의해 촬상된 제1 화상 및 제2 화상의 보정 처리를 행하는 처리 회로이다. 예를 들어 이 화상 처리 회로(202)는, 스테레오 카메라의 촬상계의 왜곡, 촬상계의 롤과 피치 회전, 특히 스테레오 카메라(10)의 광축 둘레의 요 회전 등에 수반하는 화상 변형의 보정이 가능하다. 또한, 화상 처리 회로(202)의 상세한 구성은 후술한다.
3차원 처리 회로(204)는, 화상 처리 회로(202)에 의해 보정 처리된 제1 및 제2 화상의 스테레오를 매칭 처리에 의해 3차원 정보를 얻는 처리 회로이다. 3차원 처리 회로(204)는, 제1 화상 상의 화소의 좌표(XL,YL)로 하고, 대응하는 제2 화상 상의 화소의 좌표(XR,YR)로 하면, 예를 들어 (1) 식에 의해 Z의 값을 취득한다.
Figure pat00001
여기서, 각 카메라(100, 102)의 촬상 광학계의 초점 거리를 f로 하고, 카메라(100, 102)의 간격을 h로 한다. 제1 화상 및 제2 화상의 대응점 X 좌표의 어긋남(XL-XR)이 시차에 대응한다.
또한, 3차원 처리 회로(204)는, 예를 들어 3차원 점군(X, Y, Z) 중에서 대상물, 예를 들어 사람이나 차를 추출하는 처리를 행하는 처리 회로이다. 또한, 3차원 처리 회로(204)는, 예를 들어 제1 화상의 화소(XL,YL)로 변환 후의 3차원 점군(X, Y, Z)의 Z의 값에 따른 색을 할당하는 색 처리 등을 행한다.
표시 제어 회로(206)는, 화상 처리 회로(202)에 의해 얻어진 정보를 표시 모니터(208)에 표시시키는 제어를 행하는 처리 회로이다. 예를 들어, 표시 제어 회로(206)는, 후술하는 파라미터 취득 회로(218)에서 얻어진 파라미터에 관한 정보를 표시 모니터(208)에 표시시킨다. 또한, 표시 제어 회로(206)는, 3차원 처리 회로(204)에서 얻어진 색 처리 후의 화상이나, 대상물의 위치 정보 등을 표시 모니터(208)에 표시시켜도 된다.
표시 모니터(208)는, 예를 들어 액정 모니터이고, 상술한 바와 같이 화상 처리 회로(202)에서 얻어진 정보를 표시한다. 통신부(210)는, 예를 들어 안테나를 포함하여 구성되고, 화상 처리 회로(202)에 의해 얻어진 정보를 도시하지 않은 관리 장치에 송신한다. 관리 장치는, 예를 들어 서버이고, 운전 지원 시스템(1)의 품질 관리에 사용된다.
도 2는, 화상 처리 회로(202)의 상세한 구성을 도시하는 블록도이다. 도 2에 도시한 바와 같이, 화상 처리 회로(202)는, 기준선 배치 회로(212)와, 화상 보정 처리 회로(214)와, 화상 정보 취득 회로(216)와, 파라미터 취득 회로(218)와, 판정 회로(220)를 구비하여 구성되어 있다.
도 3은, 스테레오 카메라(10)로 촬상된 화상을 도시하는 도면이고, 도 3의 (a)가 제1 카메라(100)에 의해 촬상된 제1 화상을 나타내고, 도 3의 (b)가 제2 카메라(102)에 의해 촬상된 제2 화상을 나타내고 있다. 도 3의 (a)에 도시하는 바와 같이, 2개의 기준선 L1, L2는, 예를 들어 도로 상의 백선의 내측 라인에 따라 배치되어 있다.
도 3에 도시한 바와 같이, 기준선 배치 회로(212)는, 실공간에 있어서 평행선에 상당하는 2개의 기준선 L1, L2를 제1 화상 및 제2 화상 중 적어도 한쪽에 배치한다. 예를 들어, 기준선 배치 회로(212)는, 제1 화상 중에서 스테레오 카메라(10)로부터의 거리에 따라, 폭이 거의 선형으로 변화하는 2개의 기준선 L1, L2를 배치한다. 이로 인해, 2개의 기준선 L1, L2는 백선의 내측 라인에 한하지 않고, 외측 라인이어도 된다. 또는, 한쪽을 내측 라인으로 하고, 다른 쪽을 외측 라인으로 해도 된다. 또한, 가드레일이나 연석 등이어도 상술한 조건을 만족시키면, 기준선으로 해도 된다.
또한, 기준선 배치 회로(212)는 시차의 계산용으로, 기준선 L1에 대응하는 제2 기준선 R1을 제2 화상에 배치해도 된다. 이에 의해, 기준선 L1 상의 기준점에 대응하는 점을 제2 기준선 R1로부터 취득하고, 시차의 정보를 취득할 수 있다. 또한, 기준선 L1 상의 기준점에 대응하는 점을 취득할 수 있는 경우에는, 제2 기준선 R1은 배치하지 않아도 된다.
예를 들어, 기준선 배치 회로(212)는, 일반적인 선분 추출의 알고리즘에 의해 선분을 검출하고, 스테레오 카메라(10)로부터의 거리에 따라, 폭이 선형으로 변화하는 2개의 선분의 조합을 검출하고, 2개의 기준선 L1, L2를 배치한다. 기준선 배치 회로(212)가, 이들 2개의 기준선 L1, L2를 배치하기 위해서, 선분을 검출하는 타이밍을, 소정의 조건에 적합한 시점으로 해도 된다. 이 기준선 배치 회로(212)는, 예를 들어 GPS 기능을 갖고 있고, 지도 정보 상의 직선 형상의 도로가 소정 거리 이상 계속되는 위치에 달하면, 선분의 검출을 개시한다. 예를 들어 기준선 배치 회로(212)는, 백선이 직선으로서 소정 거리, 예를 들어 100미터 이상 연속되는 위치에 달하면, 선분의 검출을 개시한다. 이에 의해, 보다 효율적으로 기준선 L1, L2를 배치하는 것이 가능하게 된다.
이들로부터 알 수 있는 바와 같이, 2개의 기준선 L1, L2는 실공간에 있어서, 평행한 것이 보정 정밀도를 높이기 위해서는 바람직하지만, 보정 효과를 얻기 위해서는 완전히 평행하지 않아도 된다. 예를 들어, 후술하는 도 6의 (a), 도 7의 (a)와 같이, 기준선 L1 상의 2점 이상의 기준점의 각각의 시차와, 각각의 기준점을 통과하는 평행선의 기준선 L1, L2 사이의 폭이, 시차의 증가에 따라 단조롭게 증가하고 있으면 보정의 효과를 얻는 것이 가능하게 된다. 또한, 본 실시 형태에서는 2개의 기준선 L1, L2의 배치를 제1 화상에 대하여 행하지만, 이것에 한정되지 않고, 2개의 기준선의 배치를 제2 화상에 대하여 행해도 된다. 또는, 2개의 기준선의 배치를 제1 화상 및 제2 화상에 대하여 행해도 된다.
화상 보정 처리 회로(214)는, 파라미터 취득 회로(218)가 취득한 파라미터를 사용하여 제1 및 제2 화상 중 적어도 한쪽에 화상 보정 처리를 행한다. 또한, 파라미터 취득 회로(218)에 대해서는 후술한다.
보다 구체적으로는, 화상 보정 처리 회로(214)는, 파라미터 취득 회로(218)가 취득한 파라미터를 사용하여, 제1 화상 및 제2 화상이 대응하는 무한 원점의 시차가 작아져 0에 근접하도록, 예를 들어 (2), (3) 식에 나타내는 좌표 변환에 의해 제1 화상 및 제2 화상의 적어도 한쪽에 화상 보정 처리를 행한다. 이와 같이, 화상 보정 처리 회로(214)는, 예를 들어 호모그래피 변환을 사용하여 화상 보정 처리를 행한다.
여기서, 회전 행렬을 ML로 하고, () x, () y, () z 각각을 벡터의 X, Y, Z 성분으로 하고, K1을 상술한 스테레오 카메라(10)의 내부 파라미터로 하고, K2를 호모그래피 변환 후의 스테레오 카메라(10)의 내부 파라미터로 하고, PL을 호모그래피 변환 전에 있어서의 제1 화상 내의 일좌표점의 위치 벡터로 하고, XL'을 호모그래피 변환 후의 위치 벡터 PL의 X 좌표로 하고, YL'을 Y 좌표로 한다. 파라미터 취득 회로(218)가 취득하는 파라미터는, 회전 행렬 ML을 의미한다.
Figure pat00002
Figure pat00003
이에 의해, 화상 보정 처리 회로(214)가, 실공간에 있어서 평행선에 상당하는 2개의 기준선 L1, L2가 배치된 제1 화상에 대하여, 화상 보정 처리를 행하면, 실공간에 있어서 평행한 2개의 기준선 L1, L2를 연장한 교점(무한 원점)에 대응하는 제1 화상 및 제2 화상의 시차는 작아져 0에 근접한다. 이와 같이, 제1 화상 및 제2 화상에 발생한 촬상계의 롤과 피치 회전을 포함하는 촬상계의 왜곡, 촬상 광학계의 광축 둘레의 요 회전 등에 수반하는 화상 변형이 보정되면, 대응하는 무한 원 점의 제1 화상 및 제2 화상에 있어서의 시차는 작아져 0에 가까워진다.
이와 같이, 화상 보정 처리 회로(214)는, 스테레오 카메라(10)의 조정 장치의 지그 등의 온도 특성, 진동 특성, 경년 변화 등에 의한 화상 변형, 촬상계의 롤과 피치 회전을 포함하는 촬상계의 왜곡, 스테레오 카메라(10)의 촬상 광학계의 광축 둘레의 요 회전 등에 수반하는 화상 변형 등의 화상 보정을 실시할 수 있다.
화상 정보 취득 회로(216)는, 기준선 배치 회로(212)가 배치한 2개의 기준선 L1, L2 중 한쪽의 기준선 상에 있어서의 복수의 기준점 각각의 시차와, 각각의 기준점을 통과하는 평행선의 기준선 사이의 폭을 취득한다. 이들은, 후술하는 파라미터 취득 회로(218)에서의 파라미터의 취득에 사용된다.
도 4는, 2개의 기준점에 의해 파라미터를 취득하는 경우에, 화상 정보 취득 회로(216)가 취득하는 2개의 기준점 XL0, XL2 각각의 시차와, 각각의 기준점을 통과하는 평행선의 기준선 사이의 폭의 예를 설명하는 도면이다. 도 4의 (a)가 제1 카메라(100)에 의해 촬상된 제1 화상을 나타내고, 도 4의 (b)가 제2 카메라(102)에 의해 촬상된 제2 화상을 나타내고 있다. 도 4의 (a)에 도시하는 바와 같이, 2개의 기준선 L1, L2는, 도로 상의 백선의 내측 라인에 따라 배치되어 있고, 기준선 L1에 대응하는 제2 라인 R1이 제2 화상 내에 배치되어 있다.
제1 직선 LH1 및 제2 직선 LH2는 평행선이다. 제1 직선 LH1과 기준선 L1, L2, 및 제2 라인 R1과의 교점이 XL0, XL1, XR0이다. 마찬가지로, 제2 직선 LH2와 기준선 L1, L2 및 제2 라인 R1의 교점이 XL2, XL3, XR2이다.
이들로부터 알 수 있는 바와 같이, 기준선 L1 상의 제1 기준점 XL0의 시차 1은 (XL0-XR0)이고, 기준선 L1 상의 제2 기준점 XL2의 시차 2는 (XL2-XR2)이다. 또한, 백선 폭 1은 (XL1-XL0)이고, 백선 폭 2는 (XL3-XL2)이다.
이와 같이, 화상 정보 취득 회로(216)는, 2개의 기준점에 의해 파라미터를 취득하는 경우에, 기준선 L1 상의 제1 기준점 XL0의 시차 1(XL0-XR0) 및 그 백선 폭 1(XL1-XL0)과, 제2 기준점 XL2의 시차 2(XL2-XR2) 및 그 백선 폭 2(XL3-XL2)를 취득한다.
보다 상세하게는, 화상 정보 취득 회로(216)는, 2개의 기준점에 의해 파라미터를 취득하는 경우에, 2개의 기준선 L1, L2에 있어서의 한쪽의 기준선 L1 상의 제1 기준점 XL0의 시차 1(XL0-XR0) 및 제1 기준점 XL0를 통하고, 다른 쪽의 기준선 L2와 교차하는 제1 직선 LH1의 기준선 L1, L2 사이의 제1 폭(백선 폭 1(XL1-XL0))과, 한쪽의 기준선 L1 상의 제2 기준점 XL2의 시차 2(XL2-XR2) 및 제1 직선 LH1과 평행하고 제2 점 XL2를 통하고, 다른 쪽의 기준선 L2와 교차하는 제2 직선 LH2의 기준선 L1, L2 사이의 제2 폭(백선 폭 2(XL3-XL2))을 취득한다. 여기에서는, 제1 직선 LH1과 제2 직선 LH2를 수평 라인으로 하고 있으므로, Y 좌표의 기술에 대해서는 생략하였다. 또한, 본 실시 형태에 따른 제1 직선 LH1, 제2 직선 LH2를 수평선으로 하고 있지만 이것에 한정되지 않고, 제1 직선 LH1과, 제2 직선 LH2는 평행하면 된다.
도 5는, 2개 이상의 기준점에 의해 파라미터를 취득하는 경우에, 화상 정보 취득 회로(216)가 취득하는 2개 이상의 기준점 1 내지 8 각각의 시차와, 각각의 기준점 1 내지 8을 통과하는 평행선의 기준선 L1, L2 사이의 폭의 예를 설명하는 도면이다. 도 5의 (a)가 제1 카메라(100)에 의해 촬상된 제1 화상을 나타내고, 도 5의 (b)가 제2 카메라(102)에 의해 촬상된 제2 화상을 나타내고 있다. 도 5의 (a)에 도시하는 바와 같이, 2개의 기준선 L1, L2는, 도로 상의 백선의 내측 라인에 따라 배치되어 있고, 기준선 L1에 대응하는 제2 라인 R1이 제2 화상 내에 배치되어 있다.
도 5에 도시한 바와 같이, 화상 정보 취득 회로(216)는, 3점 이상의 기준점을 취득해도 된다. 예를 들어, 도 5에 도시한 바와 같이, 화상 정보 취득 회로(216)는, 한쪽의 기준선 L1 상의 3점 이상의 기준점 1 내지 8의 각각의 시차와, 각각의 기준점 1 내지 8을 통과하는 평행선의 기준선 L1, L2 사이의 폭 w1 내지 w8을 취득한다. 또한, 도 5 내에서는, 부호 w1, w4만을 첨부하였다. 이들 3점 이상의 기준점에 의한 파라미터 취득 회로(218)의 처리는 후술한다.
파라미터 취득 회로(218)는, 화상 정보 취득 회로(216)가 취득한 복수의 기준점 각각의 시차와, 각각의 기준점을 통과하는 평행선의 기준선 사이의 폭에 기초하여 화상 보정 처리 회로의 보정 파라미터를 취득한다.
도 6은, 2개의 기준점에 의해 파라미터를 취득하는 경우에 있어서의 화상 보정 처리의 파라미터의 개념도이다. 여기에서는, 2개의 기준점 XL0, XL2에 의한 화상 보정 처리의 파라미터의 예를 나타내고 있다. 도 6의 (a) 및 (b)의 횡축은 시차를 나타내고, 종축은 2개의 기준선 L1, L2 사이의 폭, 즉, 백선 폭을 나타내고 있다. 도 6의 (a)는, 화상 정보 취득 회로(216)가 취득한 화상 보정 전의 기준점 XL0의 시차 1 및 백선 폭 1과, 기준점 XL2의 시차 2 및 백선 폭 2를 연결하는 직선을 나타내고, 도 6의 (b)는 화상 보정 후의 기준점 XL0의 시차 1 및 백선 폭 1과, 기준점 XL2의 시차 2 및 백선 폭 2를 연결하는 직선을 나타내고 있다.
화상 보정 전의, 기준점 XL0의 시차 1 및 백선 폭 1과, 기준점 XL2의 시차 2 및 백선 폭 2를 연결하는 직선의 절편은 유한값 b를 나타내고 있다. 한편으로, 화상 보정 후의 기준점 XL0의 시차 1 및 백선 폭 1과, 기준점 XL2의 시차 2 및 백선 폭 2를 연결하는 직선의 절편은 0을 나타내고 있다. 이들로부터 알 수 있는 바와 같이, 파라미터 취득 회로(218)는 좌표 변환 후, 즉 화상 보정 후의 기준점 XL0의 시차 1 및 백선 폭 1과, 기준점 XL2의 시차 2 및 백선 폭 2를 연결하는 직선의 절편을 0으로 하는 화상 보정 처리 회로(214)의 파라미터를 취득한다.
환언하면, 파라미터 취득 회로(218)는, 시차 1과 백선 폭 1의 제1 비율과, 시차 2와 백선 폭 2의 제2 비율을 동등하게 하는 화상 보정 처리 회로(214)의 파라미터를 취득한다. 또한, 본 실시 형태에서는 화상 보정 처리 회로(214)의 화상 보정 처리를 제1 화상에 대하여 행하지만, 이것에 한정되지 않고, 화상 보정 처리를 제2 화상에 대하여 행해도 된다. 또는, 화상 보정 처리를 제1 화상 및 제2 화상에 대하여 행해도 된다.
이와 같이, 파라미터 취득 회로(218)는, 상술한 바와 같이 화상 정보 취득 회로(216)가 취득한, 2개의 기준선 L1, L2에 있어서의 한쪽의 기준선 L1 상의 제1 점 XL0의 시차 1(XL0-XR0) 및 제1 점 XL0를 통하고, 다른 쪽의 기준선 L2와 교차하는 제1 직선 LH1의 기준선 L1, L2 사이의 제1 폭(백선 폭 1(XL1-XL0))과, 한쪽의 기준선 L1 상의 제2 점 XL2의 시차 2(XL2-XR2), 및 제1 직선 LH1과 평행하고 제2 점 XL2를 통하고, 다른 쪽의 기준선 L2와 교차하는 제2 직선 LH2의 기준선 L1, L2 사이의 제2 폭(백선 폭 2(XL3-XL2))에 기초하여 화상 보정 처리의 파라미터를 취득한다. 즉, 파라미터 취득 회로(218)는, 기준점 XL0의 시차 1(XL0-XR0) 및 백선 폭 1과, 기준점 XL2의 시차 2(XL2-XR2) 및 백선 폭 2를 연결하는 직선의 절편을 0으로 하는 파라미터, 즉 식 (2), (3)으로 나타내는 회전 행렬 ML의 각 요소의 값을 취득한다. 환언하면, 파라미터 취득 회로(218)는 시차 1(XL0-XR0)과 백선 폭 1의 제1 비율과, 시차 2(XL2-XR2)와 백선 폭 2의 제2 비율을 동등하게 하는 파라미터, 즉 식 (2), (3)으로 나타내는 회전 행렬 ML의 각 요소의 값을 취득한다.
도 7은, 3개 이상의 기준점 1 내지 8(도 5)에 의한 화상 보정 처리의 파라미터 개념도이다. 도 7의 (a)는, 화상 보정 전의 기준점 1 내지 8의 시차 및 백선 폭을 연결하는 직선을 나타내고, 도 7의 (b)는, 화상 보정 후의 기준점 1 내지 8의 시차 및 백선 폭을 연결하는 직선을 나타내고 있다. 도 7의 (a) 및 (b)의 횡축은 시차를 나타내고, 종축은 2개의 기준선 L1, L2 사이의 폭, 즉, 백선 폭을 나타내고 있다. 도 7의 (a) 및 (b)에서는, 기준점 8점 중, 예로서 5점을 플롯하고 있다. 도면에 도시된 직선은, 2개의 기준점의 조에서 그어진 직선의 예이며, 실제는 각 조마다 직선이 그어진다.
도 6과 동일하게, 도 7의 (a)의 기준점 1 내지 8의 시차 및 백선 폭을 연결하는 직선의 절편은 유한값을 나타내고 있다. 한편으로, 화상 보정 후의 도 7의 (b)에 대해서, 기준점 1 내지 8의 시차 및 백선 폭을 연결하는 직선의 절편은 0을 나타내고 있다.
파라미터 취득 회로(218)는, 예를 들어 (4) 식으로 나타내는 비용 함수 E가 작아져 0에 근접하도록, 식 (2), (3)으로 나타내는 회전 행렬 ML의 각 요소의 값을 취득한다.
Figure pat00004
여기서, 2개의 기준점의 조합 중, 스테레오 카메라(10)로부터 먼 쪽의 기준점 1의 시차를 시차 1로 하고, 그 백선 폭을 백선 폭 1로 한다. 마찬가지로, 스테레오 카메라(10)로부터 가까운 쪽의 기준점 2의 시차를 시차 2로 하고, 그 백선 폭을 백선 폭 2로서 표기한다. 도 5에 도시한 바와 같이, 기준점의 페어 (1, 5), (2, 6), (3, 7), (4, 8)이 존재하는 경우에는, 예를 들어 스테레오 카메라(10)로부터 먼 쪽의 기준점 5의 시차를 시차 1로 하고, 그 백선 폭을 백선 폭 1로 한다. 마찬가지로, 스테레오 카메라(10)로부터 가까운 쪽의 기준점 1의 시차를 시차 2로 하고, 그 백선 폭을 백선 폭 2로서 표기한다. 마찬가지로, 스테레오 카메라(10)로부터 먼 쪽의 기준점 6의 시차를 시차 1로 하고, 그 백선 폭을 백선 폭 1로 한다. 마찬가지로, 스테레오 카메라(10)로부터 가까운 쪽의 기준점 2의 시차를 시차 2로 하고, 그 백선 폭을 백선 폭 2로서 표기한다.
즉, (4) 식으로 나타내는 비용 함수는, 기준점의 페어 (1, 5), (2, 6), (3, 7), (4, 8) 각각의 절편 값의 제곱을 가산하는 함수이다. 즉, 파라미터 취득 회로(218)는, 한쪽의 기준선 L1 상의 2점 이상의 기준점의 각각의 시차와, 각각의 기준점을 통과하는 평행선의 기준선 L1, L2 사이의 폭에 기초하여, 2점 이상의 기준점 1 내지 8 중의 2점의 조합, 점 페어 (1, 5), (2, 6), (3, 7), (4, 8) 각각으로부터 시차와 폭의 관계를 나타내는 선형식의 절편을 각각 구하여, 각각의 절편의 값에 기초하는, 비용 함수를 규정하고 있다.
또한, 파라미터 취득 회로(218)는, (5) 내지 (7) 식으로 나타내는 것처럼, 절편 d의 값이 작아짐에 따라 값이 커지는 가중치 w(d)를 각 절편에 기초하는 값에 승산해도 된다. 이에 의해, 절편 d의 값이 극단적으로 큰 값일 때, 중량이 작아지고, 비용 함수에 끼치는 영향이 작아진다. 이로 인해, 기준선 상의 좌표의 시차가 선형 변화하고 있지 않은 경우, 즉 기준선 L1, L2가 실공간 내에서 평행하지 않은 경우 등에, 비용 함수의 정밀도 저하를 피할 수 있다. 또한, 카메라(10) 등의 촬상계의 오차에 의한 영향도 저감할 수 있다.
Figure pat00005
Figure pat00006
Figure pat00007
여기서, H는 임의의 상수이다. 이러한 비용 함수를 최소화하도록 (2), (3) 식으로 나타낸 회전 행렬 ML이 산출된다.
판정 회로(220)는 화상 보정 처리의 파라미터에 기초하여, 화상 보정 처리를 행할지 여부를 판정한다. 예를 들어, 판정 회로(220)는, 파라미터 취득 회로(218)가 취득한 회전 행렬 ML의 값이 소정값을 초과하는 경우에, 화상 보정 처리를 행한다고 판정한다.
도 8은, 화상 처리 회로(202)의 화상 변환 처리의 일례를 나타내는 흐름도이다. 이 도 8에 도시하는 바와 같이, 기준선 배치 회로(212)는 제1 화상 중에서 스테레오 카메라(10)로부터의 거리에 따라, 폭이 거의 선형으로 변화하는 2개의 기준선 L1, L2를 배치한다(스텝 S100). 이어서, 화상 정보 취득 회로(216)는, 한쪽의 기준선 L1 상의 2점 이상의 기준점의 각각의 시차와, 각각의 기준점을 통과하는 평행선의 기준선 L1, L2 사이의 폭을 취득한다(스텝 S102).
이어서, 파라미터 취득 회로(218)는, 한쪽의 기준선 L1 상의 2점 이상의 기준점의 각각의 시차와, 각각의 기준점을 통과하는 평행선의 기준선 L1, L2 사이의 폭에 기초하여, 비용 함수를 설정하고(스텝 S104), 화상 보정 처리 회로(214)의 화상 보정 파라미터를 취득한다(스텝 S106). 그리고, 화상 보정 처리 회로(214)는, 화상 보정 파라미터를 사용하여, 제1 및 제2 화상 중 적어도 한쪽에 화상 보정 처리를 행한다(스텝 S108). 또한, 화상 보정 파라미터는, 제1 화상 및 제2 화상의 취득시 마다 취득해도 되고, 특정한 타이밍, 예를 들어 운전 지원 시스템(1)의 캘리브레이션 시 등에 취득해도 된다.
이상과 같이, 본 실시 형태에 따르면, 실공간에 있어서 평행선에 상당하는 2개의 기준선 L1, L2를 제1 화상 및 제2 화상 중 적어도 한쪽에 배치하고, 2개의 기준선 L1, L2를 연장한 교점에 있어서의 제1 화상과 제2 화상의 시차를 작게 해서 0에 접근하는 화상 보정 처리의 파라미터를 취득하는 것으로 하였다. 이에 의해, 화상 보정 처리의 파라미터를 사용하여, 제1 화상 및 제2 화상 중 적어도 한쪽에 화상 보정 처리를 행하면, 제1 화상과 제2 화상 내의 대응하는 무한 원점의 시차가 작아져 0에 가깝고, 스테레오 카메라의 촬상계에 있어서의 요 회전에 수반하는 화상 변형의 보정이 가능하게 된다.
본 발명의 몇 가지의 실시 형태를 설명했지만, 이들 실시 형태는, 예로서 예시한 것이며, 발명의 범위를 한정하는 것은 의도하고 있지 않다. 이들 신규의 실시 형태는, 기타의 다양한 형태로 실시되는 것이 가능하고, 발명의 요지를 일탈하지 않는 범위에서, 다양한 생략, 치환, 변경을 행할 수 있다. 이들 실시 형태나 그 변형은, 발명의 범위나 요지에 포함됨과 함께, 특허 청구 범위에 기재된 발명과 그 균등의 범위에 포함된다.
1: 운전 지원 시스템
10: 스테레오 카메라
20: 화상 처리 장치
202: 화상 처리 회로
204: 3차원 처리 회로
210: 통신부
212: 기준선 배치 회로
214: 화상 보정 처리 회로
216: 화상 정보 취득 회로
218: 파라미터 취득 회로
220: 판정 회로

Claims (19)

  1. 카메라에 의해 촬상된 제1 화상 및 제2 화상을 화상 처리하는 화상 처리 장치이며,
    상기 제1 화상 및 상기 제2 화상 중 적어도 한쪽에, 제1 기준선의 제1 위치와 제2 기준선의 제2 위치를 결정하는 기준선 배치 회로와,
    상기 제1 위치에서의 제1 기준선 상의 제1 기준점으로부터 상기 제2 위치에서의 상기 제2 기준선 상의 제2 기준점까지의 선 폭에 기초하여, 화상 왜곡 저감 파라미터를 결정하는 파라미터 취득 회로와,
    상기 화상 왜곡 저감 파라미터에 기초하여, 상기 제1 화상 또는 상기 제2 화상의 화상 왜곡을 저감하는 화상 보정 처리 회로
    를 구비하는, 화상 처리 장치.
  2. 제1항에 있어서, 상기 파라미터 취득 회로는, 상기 제1 위치에서의 상기 제1 기준선 상의 복수의 제1 기준점으로부터, 상기 제2 위치에서의 상기 제2 기준선 상의 복수의 제2 기준점까지의 복수의 선 폭에 기초하여, 각각, 복수의 화상 왜곡 저감 파라미터를 생성하는, 화상 처리 장치.
  3. 제2항에 있어서, 상기 화상 보정 처리 회로는, 복수의 화상왜 저감 파라미터의 비용 함수를 최소로 하는, 화상 처리 장치.
  4. 제3항에 있어서, 상기 화상 보정 처리 회로는, 상기 비용 함수의 값을 최소로 하여 0 값으로 하는, 화상 처리 장치.
  5. 제1항에 있어서, 상기 제1 기준선과 상기 제2 기준선은, 실공간에 있어서 평행선에 상당하는, 화상 처리 장치.
  6. 제1항에 있어서, 상기 화상 보정 처리 회로는, 호모그래피 행렬에 의해 화상 보정 처리를 행하는, 화상 처리 장치.
  7. 제1항에 있어서, 상기 파라미터 취득 회로는, 상기 제1 기준선 및 상기 제2 기준선에 있어서의 한쪽의 기준선 상의 제1 점의 제1 시차 및 상기 제1 점을 지나고, 다른 쪽의 기준선과 교차하는 제1 직선의 기준선 사이의 제1 폭과, 상기 한쪽의 기준선 상의 제2 점의 제2 시차 및 상기 제1 직선과 평행하여 상기 제2 점을 지나고, 다른 쪽의 기준선과 교차하는 제2 직선의 기준선 사이의 제2 폭에 기초하여, 상기 비용 함수를 규정하는, 화상 처리 장치.
  8. 제7항에 있어서, 상기 파라미터 취득 회로는, 상기 제1 시차와 상기 제1 폭의 제1 비율과, 상기 제2 시차와 상기 제2 폭의 제2 비율이 동등해지면 비용이 최소가 되는 상기 비용 함수를 규정하는, 화상 처리 장치.
  9. 제1항에 있어서, 상기 파라미터 취득 회로는, 상기 한쪽의 기준선 상의 2점 이상의 기준점의 각각의 시차와, 각각의 기준점을 통과하는 평행선의 기준선 사이의 폭에 기초하여, 상기 2점 이상의 기준점 중 2점의 조합 각각으로부터 시차와 폭의 관계를 나타내는 선형식의 절편을 각각 구하여, 각각의 절편의 값에 기초하는, 상기 비용 함수를 규정하는, 화상 처리 장치.
  10. 제8항에 있어서, 상기 파라미터 취득 회로는, 상기 한쪽의 기준선 상의 2점 이상의 기준점의 각각의 시차와, 각각의 기준점을 통과하는 평행선의 기준선 사이의 폭에 기초하여, 상기 2점 이상의 기준점 중 2점의 조합 각각으로부터 시차와 폭의 관계를 나타내는 선형식의 절편을 각각 구하고, 각각의 절편의 값에 기초하여, 상기 비용 함수를 규정하는, 화상 처리 장치.
  11. 제9항에 있어서, 상기 비용 함수는, 상기 절편의 값이 작아짐에 따라 커지는 가중치를 각 절편에 기초하는 값에 승산한 함수인, 화상 처리 장치.
  12. 제1항에 있어서, 상기 화상 보정 처리의 파라미터에 기초하여, 상기 화상 보정 처리를 행할지 여부를 판정하는 판정 회로를 더 구비하는, 화상 처리 장치.
  13. 제1항에 있어서, 상기 제1 화상 및 상기 제2 화상의 중 적어도 한쪽에 상기 화상 보정 처리를 행한 후의 상기 제1 화상 및 상기 제2 화상에 기초하는 3차원 처리를 행하는 3차원 처리 회로를 더 구비하는, 화상 처리 장치.
  14. 제12항에 있어서, 상기 제1 화상 및 상기 제2 화상 중 적어도 한쪽에 상기 화상 보정 처리를 행한 후의 상기 제1 화상 및 상기 제2 화상에 기초하는 3차원 처리를 행하는 3차원 처리 회로를 더 구비하는, 화상 처리 장치.
  15. 제1항에 있어서, 상기 화상 보정 처리에 의해 보정 처리된 상기 제1 화상 및 상기 제2 화상 중 적어도 한쪽에 기초하는 화상 정보를 표시하는 표시 모니터를, 더 구비하는, 화상 처리 장치.
  16. 제13항에 있어서, 상기 화상 보정 처리에 의해 보정 처리된 상기 제1 화상 및 상기 제2 화상 중 적어도 한쪽에 기초하는 화상 정보를 표시하는 표시 모니터를, 더 구비하는, 화상 처리 장치.
  17. 제14항에 있어서, 상기 화상 보정 처리에 의해 보정 처리된 상기 제1 화상 및 상기 제2 화상 중 적어도 한쪽에 기초하는 화상 정보를 표시하는 표시 모니터를, 더 구비하는, 화상 처리 장치.
  18. 제1항에 기재된 화상 처리 장치와,
    상기 화상 처리 장치에 의해 얻어진 정보에 기초하여, 차량의 운전을 지원하는 운전 지원 장치
    를 구비하는 운전 지원 시스템.
  19. 카메라에 의해 촬상된 제1 화상 및 제2 화상을 처리하는 화상 처리 방법이며,
    상기 제1 화상 및 상기 제2 화상 중 적어도 한쪽에, 제1 기준선의 제1 위치와 제2 기준선의 제2 위치를 결정하는 공정과,
    상기 제1 위치에서의 제1 기준선 상의 제1 기준점으로부터 상기 제2 위치에서의 상기 제2 기준선 상의 제2 기준점까지의 선 폭에 기초하여, 화상 왜곡 저감 파라미터를 결정하는 공정과,
    상기 화상왜 저감 파라미터에 기초하여, 상기 제1 화상 또는 상기 제2 화상의 화상 왜곡을 저감하는 공정
    을 구비하는, 화상 처리 방법.
KR1020180128109A 2018-03-20 2018-10-25 화상 처리 장치, 운전 지원 시스템 및 화상 처리 방법 KR20190110419A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2018-052868 2018-03-20
JP2018052868A JP6895403B2 (ja) 2018-03-20 2018-03-20 画像処理装置、運転支援システム、及び画像処理方法

Publications (1)

Publication Number Publication Date
KR20190110419A true KR20190110419A (ko) 2019-09-30

Family

ID=64083012

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180128109A KR20190110419A (ko) 2018-03-20 2018-10-25 화상 처리 장치, 운전 지원 시스템 및 화상 처리 방법

Country Status (5)

Country Link
US (1) US10771688B2 (ko)
EP (1) EP3543951A1 (ko)
JP (1) JP6895403B2 (ko)
KR (1) KR20190110419A (ko)
CN (1) CN110312120A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210120816A (ko) * 2020-03-27 2021-10-07 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 3차원 재구성 방법, 3차원 재구성 장치 및 전자 기기

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6956051B2 (ja) 2018-09-03 2021-10-27 株式会社東芝 画像処理装置、運転支援システム、画像処理方法及びプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4863922B2 (ja) * 2007-04-18 2012-01-25 三洋電機株式会社 運転支援システム並びに車両
JP2009100342A (ja) 2007-10-18 2009-05-07 Sanyo Electric Co Ltd カメラ校正装置及び方法、並びに、車両
JP5316805B2 (ja) * 2009-03-16 2013-10-16 株式会社リコー 車載カメラ装置の画像調整装置及び車載カメラ装置
JP5588812B2 (ja) 2010-09-30 2014-09-10 日立オートモティブシステムズ株式会社 画像処理装置及びそれを用いた撮像装置
JP2013123123A (ja) * 2011-12-09 2013-06-20 Fujitsu Ltd ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
DE112013002200T5 (de) * 2012-04-27 2015-01-08 Adobe Systems Incorporated Automatische Anpassung von Bildern
JP6010870B2 (ja) * 2013-12-24 2016-10-19 カシオ計算機株式会社 画像補正装置、及び画像補正方法、プログラム
JP6251099B2 (ja) * 2014-03-24 2017-12-20 国立大学法人東京工業大学 距離算出装置
JP6322024B2 (ja) 2014-03-28 2018-05-09 株式会社Ｓｕｂａｒｕ 車外監視装置
JP5906272B2 (ja) 2014-03-28 2016-04-20 富士重工業株式会社 車両用ステレオ画像処理装置
KR101493946B1 (ko) * 2014-04-16 2015-02-17 하이네트(주) 광각 렌즈 이미지 보정 방법 및 그 장치
JP2016225719A (ja) 2015-05-27 2016-12-28 京セラ株式会社 ステレオカメラ装置、車両、および較正方法
JP6489645B2 (ja) * 2015-06-19 2019-03-27 株式会社Ｓｕｂａｒｕ 画像処理装置
EP3139346B1 (en) 2015-09-01 2019-01-16 Veoneer Sweden AB Vision system for a motor vehicle and method of controlling a vision system
EP3358295B1 (en) * 2015-09-28 2020-10-07 Kyocera Corporation Image processing device, stereo camera device, vehicle, and image processing method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210120816A (ko) * 2020-03-27 2021-10-07 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 3차원 재구성 방법, 3차원 재구성 장치 및 전자 기기

Also Published As

Publication number Publication date
JP2019164667A (ja) 2019-09-26
US20190297254A1 (en) 2019-09-26
EP3543951A1 (en) 2019-09-25
JP6895403B2 (ja) 2021-06-30
CN110312120A (zh) 2019-10-08
US10771688B2 (en) 2020-09-08

Similar Documents

Publication Publication Date Title
CN110146869B (zh) 确定坐标系转换参数的方法、装置、电子设备和存储介质
CN109920011B (zh) 激光雷达与双目摄像头的外参标定方法、装置及设备
US10594941B2 (en) Method and device of image processing and camera
KR101787304B1 (ko) 교정 방법, 교정 장치 및 컴퓨터 프로그램 제품
US11017558B2 (en) Camera registration in a multi-camera system
KR101666959B1 (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
JP4814669B2 (ja) ３次元座標取得装置
CN110363819B (zh) 智能汽车中图像采集设备标定的方法和相关设备
CN109520480B (zh) 基于双目立体视觉的测距方法及测距系统
JPWO2008053649A1 (ja) 広角画像取得方法及び広角ステレオカメラ装置
WO2016063545A1 (ja) ステレオカメラ装置及びステレオカメラ装置を備える車両
US11527006B2 (en) System and method for dynamic stereoscopic calibration
JP2008085710A (ja) 運転支援システム
KR20190110419A (ko) 화상 처리 장치, 운전 지원 시스템 및 화상 처리 방법
JP2013024712A (ja) 複数カメラの校正方法及び校正システム
CN111383264B (zh) 一种定位方法、装置、终端及计算机存储介质
CN109712200B (zh) 一种基于最小二乘原理及边长推算的双目定位方法及系统
CN111563936A (zh) 一种相机外部参数自动标定方法及行车记录仪
US11477371B2 (en) Partial image generating device, storage medium storing computer program for partial image generation and partial image generating method
WO2015182771A1 (ja) 撮像装置、画像処理装置、画像処理方法およびコンピュータプログラム
JP2020201587A (ja) 撮像装置、車両及びプログラム
WO2023067867A1 (ja) 車載制御装置、および、３次元情報取得方法
JP2018170666A (ja) カメラシステムおよびカメラのキャリブレーション方法
CN114511643A (zh) 相机标定方法及装置
CN114283053A (zh) 双目点云的确定方法、装置和设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application