KR102671221B1 - 화상 처리 장치, 카메라 시스템 및 화상 처리 방법 - Google Patents

화상 처리 장치, 카메라 시스템 및 화상 처리 방법 Download PDF

Info

Publication number
KR102671221B1
KR102671221B1 KR1020217013824A KR20217013824A KR102671221B1 KR 102671221 B1 KR102671221 B1 KR 102671221B1 KR 1020217013824 A KR1020217013824 A KR 1020217013824A KR 20217013824 A KR20217013824 A KR 20217013824A KR 102671221 B1 KR102671221 B1 KR 102671221B1
Authority
KR
South Korea
Prior art keywords
image
vehicle body
camera
processing device
view
Prior art date
Application number
KR1020217013824A
Other languages
English (en)
Other versions
KR20210091148A (ko
Inventor
유타로 야마시타
히로후미 오와키
다쿠야 야마구치
Original Assignee
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority claimed from PCT/JP2019/045553 external-priority patent/WO2020105698A1/ja
Publication of KR20210091148A publication Critical patent/KR20210091148A/ko
Application granted granted Critical
Publication of KR102671221B1 publication Critical patent/KR102671221B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras

Abstract

이 화상 처리 장치는, 차체에 설치된 카메라로 촬상된 영상으로부터 제1 화각의 제1 영상을 생성하는 제1 신호 처리부와, 상기 제1 영상에, 상기 차체의 일부를 표현하는 화상을 중첩하는 화상 중첩부를 구비한다.

Description

화상 처리 장치, 카메라 시스템 및 화상 처리 방법
본 발명은, 차체에 설치된 카메라의 영상을 처리하는 화상 처리 장치, 카메라 시스템, 모니터 장치 및 화상 처리 방법에 관한 것이다.
요즘, 주차 등으로 차체를 후퇴시킬 때, 카메라로 포착한 후방 영상을 카 내비게이션 시스템의 화면을 통하여 드라이버에게 제시함으로써 주차 조작을 지원하는 리어 뷰 카메라를 탑재하는 차체가 증가하고 있다. 많은 리어 뷰 카메라는, 차체의 후측 범퍼의 일부를 촬상 시야에 포함시킴으로써, 후측 범퍼의 일부를 포함시킨 차체 후방의 영상을 리어 뷰 화면에 표시한다. 이것에 의하여, 드라이버는 후측 범퍼를 기준으로 하여 리어 뷰 영상 공간에서의 거리감을 잡을 수 있도록 되어 있다(특허문헌 1 참조).
한편, 백 미러 등을 갖지 않는 자동차의 실현을 위하여, 백 미러 등을 대신할 카메라 모니터링 시스템(CMS: Camera Monitor System)을 탑재한 차체도 증가하고 있다. CMS에 의하여, 사각이 적어 시계가 보다 넓은 후방 영상의 제공이 가능해지는 등, 보다 안전성이 우수한 자동차의 실현이 기대된다.
일본 특허 공개 제2005-150938호 공보(도 3, 단락 [0016], [0029])
상기 리어 뷰 카메라와 CMS는 모두 차체 후방의 영상을 드라이버에게 제공하는 것이지만, 리어 뷰 카메라는 차체 바로 뒤의 상황의 모니터링을 목적으로 하는 것임에 비하여, CMS는 차체의 후속 차량의 모니터링을 목적으로 하는 것이기 때문에, 리어 뷰 카메라와 CMS 카메라는 촬상 시야의 높이가 다르다. 이 때문에 각각에는, 촬상 시야가 다른 별개의 카메라가 이용되는 것이 보통이다. 그러나 총체적인 비용을 억제하기 위하여 하나의 카메라로 리어 뷰와 CMS를 실현하는 것, 혹은 CMS용 카메라를 이용하여 리어 뷰를 실현할 것이 요망되고 있다.
그러나 CMS 카메라의 영상을 이용하여 리어 뷰를 실현하고자 한 경우, CMS 카메라의 촬상 시야에 차체의 범퍼가 포함되지 않는 것에 기인하여 다양한 문제가 생기고 있었다.
이상과 같은 사정을 감안하여 본 기술의 목적은, 양질의 리어 뷰 영상을 제공할 수 있는 화상 처리 장치, 카메라 시스템 및 화상 처리 방법을 제공하는 것에 있다.
상기 과제를 해결하기 위하여 본 기술에 따른 화상 처리 장치는, 차체에 설치된 카메라로 촬상된 영상으로부터 제1 화각의 제1 영상을 생성하는 제1 신호 처리부와, 상기 제1 영상에, 상기 차체의 일부를 표현한 화상을 중첩하는 화상 중첩부를 구비한다.
본 기술에 따른 화상 처리 장치에 따르면, 카메라로 촬상된 영상으로부터 생성된 제1 영상에, 차체의 일부를 표현한 화상을 중첩함으로써, 그 차체의 일부를 기준으로 하여 거리감을 유저가 파악하는 것이 용이한 촬영 영상을 얻을 수 있다.
상기 차체의 일부의 화상은, 미리 기억된 화상이어도 된다.
보다 구체적으로는 상기 미리 기억된 화상은, 상기 제1 신호 처리부에 상기 카메라의 영상이 취득되기 전에 기억된 화상이어도 된다.
상기 차체의 일부의 화상은, 상기 카메라의 시야 밖의 영역의 화상이어도 된다.
상기 차체의 일부의 화상은, 상기 차체의 범퍼의 적어도 일부를 가상화한 가상 화상이어도 된다.
상기 카메라는, 상기 차체의 전방, 후방, 또는 측방을 촬상하도록 설치된 카메라이다.
상기 화상 중첩부는 상기 차체의 속도 정보에 기초하여, 상기 제1 영상에 중첩하는 상기 가상 화상을 조정하도록 구성되어도 된다.
상기 화상 중첩부는, 상기 제1 영상과 상기 가상 화상 사이의 상이 존재하지 않는 간극 영역에 매립 화상을 중첩하도록 구성되어도 된다.
상기 매립 화상은, 상기 간극 영역에 근접하는 상기 제1 영상의 색조에 가까운 화상이어도 된다.
상기 화상 중첩부는, 과거의 상기 제1 영상으로부터 상기 간극 영역에 대응하는 영역의 영상을 잘라내어 상기 매립 화상을 생성하도록 구성되어도 된다.
상기 화상 중첩부는, 상기 제1 영상에 적어도 상기 화상이 중첩된 영상을 제1 표시부에 출력하도록 구성되어도 된다.
본 기술에 따른 화상 처리 장치는, 상기 제1 영상으로부터 제1 화각과 다른 제2 화각의 제2 영상을 생성하여 제2 표시부에 출력하는 제2 신호 처리부를 더 구비하는 것이어도 된다.
상기 제2 화각의 중심은 상기 제1 화각의 중심보다도 상기 제1 영상 공간 내에서 높은 위치에 있는 것으로 해도 된다.
본 기술에 따른 다른 측면의 카메라 시스템은, 차체에 설치된 카메라와, 상기 카메라로 촬상된 영상으로부터 제1 화각의 제1 영상을 생성하는 제1 신호 처리부와, 상기 제1 영상에, 상기 차체의 일부를 표현한 화상을 중첩하는 화상 중첩부를 구비한다.
본 기술에 따른 또 다른 측면의 화상 처리 장치는, 차체에 설치된 카메라로 촬상된 영상으로부터 제1 화각의 제1 영상을 생성하는 제1 신호 처리부와, 상기 제1 영상에, 상기 차체의 일부를 표현한 화상을 중첩하는 화상 중첩부와, 상기 차체의 속도를 검출하는 속도 검출부를 구비하고, 상기 화상 중첩부가, 상기 검출된 속도에 기초하여, 상기 영상에 중첩하는 상기 화상을 조정하도록 구성된다.
본 기술에 따른 또 다른 측면의 신호 처리 방법은, 제1 신호 처리부가, 차체에 설치된 카메라로 촬상된 영상으로부터 제1 화각의 제1 영상을 생성하고, 화상 중첩부가 상기 제1 영상에, 상기 차체의 일부를 표현한 화상을 중첩한다.
도 1은 본 기술에 따른 카메라 시스템(100)의 전체 구성을 도시하는 블록도이다.
도 2는 도 1의 카메라 시스템(100)에 있어서의 카메라(10)의 설치 위치와 배향을 도시하는 측면도이다.
도 3은 도 2의 카메라(10)의 시야 영상의 예를 도시하는 도면이다.
도 4는 카메라(10)의 영상 공간과 CMS 영상 공간의 위치 관계의 예를 도시하는 도면이다.
도 5는 리어 뷰 영상(6)의 구성예를 도시하는 도면이다.
도 6은 리어 뷰 영상(6)의 다른 구성예를 도시하는 도면이다.
도 7은 차속에 따른 가상 화상(4)의 조정 방법을 설명하는 도면이다.
도 8은 본 기술에 따른 제2 실시 형태에 있어서 리어 뷰 원영상(3)에 대하여 가상 화상(4)을 정적 위치 관계로 중첩하는 방법의 설명도이다.
도 9는 제2 실시 형태에 있어서의 리어 뷰 영상의 예를 도시하는 도면이다.
도 10은 제2 실시 형태에 있어서의 리어 뷰 영상의 다른 예를 도시하는 도면이다.
도 11은 과거 영상에 의한 매립 처리의 설명도이다.
도 12는 카메라(10)의 위치로부터, 카메라(10)의 영상의 화각 하단에 상당하는 위치까지의 거리를, 차트를 사용하여 실측하는 방법을 설명하는 도면이다.
도 13은 차트의 설치 방법을 설명하는 도면이다.
도 14a는 노멀 뷰 모드의 리어 뷰 영상의 예를 도시하는 도면이다.
도 14b는 와이드 뷰 모드의 리어 뷰 영상의 예를 도시하는 도면이다.
도 14c는 톱다운 뷰 모드의 리어 뷰 영상의 예를 도시하는 도면이다.
도 15는 톱다운 뷰 모드의 변환 후의 카메라 시점을 도시하는 도면이다.
도 16은 제2 실시 형태의 카메라 시스템(100)에 있어서의 리어 뷰 신호 처리부(23) 및 화상 중첩부(24)의 전체적인 동작의 흐름을 도시하는 흐름도다.
도 17은 본 기술에 따른 화상 처리 장치의 구성의 제1 변형예를 도시하는 블록도이다.
도 18은 본 기술에 따른 화상 처리 장치의 구성의 제2 변형예를 도시하는 블록도이다.
도 19는 본 기술에 따른 화상 처리 장치의 제3 변형예인 모니터 장치의 구성을 도시하는 블록도이다.
도 20은 본 기술에 따른 화상 처리 장치의 제4 변형예인 카메라 시스템의 구성을 도시하는 블록도이다.
이하, 본 기술의 실시 형태를 도면에 기초하여 이하의 순으로 설명한다.
1. 전체의 시스템 구성
2. 화상 처리 장치(20)의 구성
3. 화상 중첩 처리
4. 차속에 따른 가상 화상의 조정
5. 과거 영상의 매립
6. 리어 뷰 모드의 전환
7. 전체적인 제어의 흐름
8. 변형예
<제1 실시 형태>
(1. 전체의 시스템 구성)
도 1은, 본 기술에 따른 카메라 시스템(100)의 전체 구성을 도시하는 블록도이다.
이 카메라 시스템(100)은 카메라(10)와 화상 처리 장치(20)와 CMS 표시부(30)와 리어 뷰 표시부(40)를 갖는다.
CMS 표시부(30) 및 리어 뷰 표시부(40)는, 차체(60)의 드라이버가 화면을 볼 수 있는 별개의 모니터이다. CMS 표시부(30)는, 백 미러, 도어 미러 등의 룸 미러를 대체하는 모니터 등이어도 된다. 리어 뷰 표시부(40)는, 예를 들어 카 내비게이션 시스템의 화면 등이어도 된다.
도 2는, 도 1의 카메라 시스템(100)에 있어서의 카메라(10)의 설치 위치와 배향을 도시하는 측면도, 도 3은, 도 2의 카메라(10)의 시야 영상의 예를 도시하는 도면이다. 또한 본 실시 형태에서는, 카메라(10)가 차체(60)의 후방을 촬상 가능하도록 차체 후방부에 배치되는 경우를 상정한다. 이에 한하지 않고 카메라(10)는, 차체(60)의 전방을 촬상 가능하도록 배치되어도 된다.
카메라(10)는, CCD 센서 또는 CMOS 센서를 탑재한 디지털 비디오 카메라이며, 바람직하게는 고해상도(HD: High Definition)의 디지털 비디오 카메라이다. 도 2 및 도 3에 도시한 바와 같이 카메라 시스템(100)의 카메라(10)는, 먼 곳을 촬상할 수 있도록 차체(60)의 후방부의 톱 부분 등 비교적 높은 위치 등에, 광축을 거의 수평 혹은 약간 하향으로 경사지게 하여 설치된다. 이와 같은 카메라 배치의 경우, 차체(60)의 후측 범퍼(61) 등의 범퍼가 카메라(10)의 시야 밖으로 된다. 이 때문에 카메라 시스템(100)을, 예를 들어 백 미러를 대신할 차체 후방의 모니터링에 이용하고자 하면, 후측 범퍼(61)의 상이 존재하지 않음으로써 차체 후방부의 거리감을 잡기 어려운 카메라 영상(1)(도 3 참조)으로 된다는 과제가 있었다. 이것이, 본 기술이 해결하고자 하는 과제의 하나이다.
(2. 화상 처리 장치(20)의 구성)
화상 처리 장치(20)는 적어도, 차체(60)에 설치된 카메라(10)로 촬상된 영상으로부터 제1 화각의 제1 영상을 생성하는 제1 신호 처리부(리어 뷰 신호 처리부(23))와, 상기 제1 영상에, 차체(60)의 일부를 표현한 화상을 중첩하는 화상 중첩부(25)를 포함한다.
보다 구체적으로는 화상 처리 장치(20)는, 카메라(10)에 의하여 촬상된 영상(1)으로부터 CMS용 영상을 생성하여 CMS 표시부(30)에 공급하는 한편, 카메라(10)에 의하여 촬상된 영상으로부터 리어 뷰용의 원영상을 생성하고, 이 리어 뷰용의 원영상에 적어도, 예를 들어 가상의 후측 범퍼 등의 화상(이하, 「가상 화상」이라 칭함) 등을 중첩한 리어 뷰 영상을 생성하여 리어 뷰 표시부(40)에 공급한다.
또한 리어 뷰 원영상에 가상 화상을 중첩하는 방법으로는, 차속에 기초하여 가상 화상의 위치 등을 조정하는 방법과, 차속에 관계없이 고정된 위치에 가상 화상을 중첩하는 방법이 있으며, 전자의 방법을 제1 실시 형태, 후자의 방법을 제2 실시 형태에 있어서 설명한다.
도 1에 도시한 바와 같이 화상 처리 장치(20)는, 예를 들어 스플리터(21)와 CMS 신호 처리부(22)(제2 신호 처리부)와 리어 뷰 신호 처리부(23)와 화상 중첩부(24) 등으로 구성된다. 화상 처리 장치(20)는, 예를 들어 IC(Integrated Circuit), LSI(large-scale integrated circuit) 등의 집적 회로, 버퍼링용 메모리 등으로 구성된다.
스플리터(21)는, 카메라(10)에 의하여 촬상된 영상(1)(도 3 참조)을 CMS 신호 처리부(22)와 리어 뷰 신호 처리부(23)에 공급한다.
CMS 신호 처리부(22)는, 스플리터(21)를 통하여 공급된 영상(1)으로부터, CMS 신호 처리의 대상 영역의 영상의 잘라내기, 뷰 모드에 따른 왜곡 보정, 화이트 밸런스 조정 등의 화질 조정을 행함으로써, CMS 표시부(30)에 공급할 CMS 영상을 생성한다.
도 4는, 카메라(10)의 영상 공간과 CMS 영상 공간의 위치 관계의 예를 도시하는 도면이다. 동 도면에 도시한 바와 같이 CMS 신호 처리부(22)는, 카메라의 영상(1)으로부터 먼 곳의 피사체를 주된 피사체로 하고, 또한 수평선 S가 거의 중간의 높이보다 약간 아래에 오는 화각 부분에 해당하는 영상 영역(2)을 CMS 신호 처리의 대상 영역으로서 잘라냄으로써 CMS 영상을 생성한다.
리어 뷰 신호 처리부(23)는 카메라의 영상(1)으로부터, 리어 뷰 신호 처리의 대상 영역의 영상의 잘라내기, 뷰 모드에 따른 왜곡 보정, 화이트 밸런스 조정 등의 화질 조정을 행함으로써 리어 뷰용의 원영상을 생성한다. 또한 리어 뷰 신호 처리부(23)는, 카메라(10)의 영상(1)의 모든 화소를 처리 대상으로 해도 된다. 도 4는, 이와 같이 카메라(10)의 영상(1)의 모든 화소를 리어 뷰용의 원영상(3)으로 하는 경우를 도시하고 있다. 리어 뷰용의 원영상(3)이란, 후술하는 범퍼의 가상 화상이나 매립 화상이 중첩되기 전의, 카메라(10)의 영상만으로 이루어지는 카메라 영상이며, 이후 「리어 뷰 원영상(3)」이라 칭한다. 이 리어 뷰 원영상(3)에, 후술하는 범퍼의 가상 화상이나 매립 화상이 중첩된 화상이, 「리어 뷰 영상(6)」이다.
화상 처리 장치(20)는, 차체(60)에 탑재된 ECU(Engine Control Unit)(200)와의 사이에서 통신을 행하는 통신 인터페이스(도시하지 않음)를 갖는다. ECU(200)와의 통신 프로토콜로는 CAN(Controller Area Network) 등이 있다. 화상 중첩부(24)는 상기 통신 인터페이스를 이용하여 ECU(200)로부터 차속 정보 등의 상태 정보를 수신하고, 수신한 차속 정보에 기초하여 가상 화상의 위치 등의 조정을 행한다. 이 화상 중첩부(24)에 의한 가상 화상의 중첩 처리의 상세에 대해서는 후술한다.
(3. 화상 중첩 처리)
도 5는, 리어 뷰 영상(6)의 구성예를 도시하는 도면이다. 화상 중첩부(24)는, 리어 뷰 신호 처리부(23)에 의하여 생성된 리어 뷰 원영상(3)에, 카메라(10)의 시야 내에 존재하지 않는, 예를 들어 후측 범퍼 등의 차체의 일부를 표현한 화상을 가상 화상(4)으로서 중첩하여 리어 뷰 영상(6)을 생성한다. 이 가상 화상(4)은, 예를 들어 미리 컴퓨터 그래픽스 등에 의하여 작성된 화상이며, 화상 처리 장치(20)에 카메라(10)로부터의 영상이 공급되기 이전, 혹은 시스템이 기동되기도 전에 화상 처리 장치(20) 내의 불휘발성 메모리(도시하지 않음)에 저장된 정보이다. 또한 리어 뷰 원영상(3)에 중첩되는 화상은, 반드시 컴퓨터 그래픽스 등에 의하여 작성되는 화상인 것만은 아니며, 예를 들어 사진으로부터 가공된 화상이어도 된다. 본 명세서에서는, 컴퓨터 그래픽스 등에 의하여 작성되는 화상 및 사진 가공 화상 등을 「가상 화상(4)」이라 총칭한다.
또한 도 5에서는, 카메라(10)의 영상(1)의 모든 화소를 리어 뷰 원영상(3)으로 하여 리어 뷰 영상(6)을 생성하는 경우를 도시하였지만, 본 기술에서는 이에 한정되지 않는다. 예를 들어 도 6에 도시한 바와 같이, 카메라(10)의 영상(1)의 최하 영역을 포함하는 일부 직사각형 영역을 리어 뷰 원영상(3a)로 하고, 이것에 가상 화상(4) 등을 중첩함으로써 리어 뷰 영상(6a)을 생성해도 된다.
(4. 차속에 따른 가상 화상의 조정)
화상 중첩부(24)는, ECU(200)로부터 얻어지는 차속 정보에 기초하여, 리어 뷰 영상(6)에 중첩시킬 가상 화상(4)의 위치 등을 조정할 수 있다.
도 7은, 차속에 따른 가상 화상(4)의 조정 방법을 설명하는 도면이다.
동 도면에 있어서, h는 카메라(10)의 설치 높이, θ는, 카메라(10)의 화각 하단에 대응하는 광선의, 카메라 광축에 대한 각도, φ는, 카메라(10)의 화각 하단에 대응하는 광선의, 수직에 대한 각도, t는, 화상 중첩부(24)에 미리 설정된 타이밍 파라미터이다.
여기서 φ는, 카메라(10)의 광축의 수평에 대한 경사(하방 경사)를 β라 하면,
φ=90-θ-β … (1)
의 계산식에 의하여 산출된다.
타이밍 파라미터 t는, 차체 후퇴 중에 현 속도로 t초 후에 차체(60)의 후측 범퍼(61)가 도달할 지점을 단부로 한 가상 화상(4)을 표시시키기 위한 파라미터이다. 이 타이밍 파라미터 t는, 유저가 임의로 설정을 변경할 수 있는 것이어도 된다. 여기서의 가상 화상은, 현 속도로 후퇴한 경우, t초 후/t초 이내에 차가 도달하는 영역을 나타낸 것이다.
또한 가상 화상이 중첩되는 리어 뷰 원영상(3)의 영역의 상황을 드라이버가 확인할 수 있도록, 가상 화상은 반투명 화상으로서 중첩하여 표시해도 된다.
먼저, 화상 중첩부(24)는 h, t, 그리고 차속 v로부터 하기 계산식에 의하여 가상 화상(4)의 표시 위치를 구한다. 리어 뷰 원영상(3)의 화각을 전체의 리어 뷰 표시 화각으로 한 경우, 전체의 리어 뷰 표시 화각의 하단으로부터 어느 정도 떨어진 위치를 가상 화상(4)의 상단으로 할지가 가상 화상(4)의 표시 위치의 계산 대상으로 된다. 가상 화상(4)의 상단 위치는, 카메라(10)의 위치로부터 vt+e만큼 이동한 지점에 해당한다. 그래서 화상 중첩부(24)는 먼저 vt+e를 산출한다. 또한 e는, 카메라(10)의 위치로부터 후측 범퍼(61)의 단부까지의 거리이다.
다음에, 이 vt+e의 계산 결과로부터 α를 산출한다. α는, 카메라(10)로부터 노면 상의 vt+e 지점을 본 방향의, 수직에 대한 각도이다. α는 다음의 식에 의하여 산출된다.
α=tan-1((vt+e)/h) … (2)
따라서 차속이 고속일수록 가상 화상(4)의 상단 위치는, 도 7 상에서는 보다 좌측에 온다.
다음에, 화상 중첩부(24)는, 리어 뷰 원영상(3)의 하단으로부터, 리어 뷰 원영상(3) 상의, 상기 (2)식에 의하여 산출된 α의 각도에 상당하는 위치(가상 화상(4)의 상단 위치)까지의 영역에 가상 화상(4)을 중첩한다. 이것에 의하여 가상 화상(4)이 리어 뷰 원영상(3)의 적절한 위치에 중첩된 것으로 되어, 차체(60)와의 거리감을 잡기 쉬운 리어 뷰 영상(6)이 얻어진다.
그런데 차속 v가 과도하게 큰 경우, 리어 뷰 영상(6)의 대부분의 영역이 가상 화상(4)에 의하여 차지되어, 리어 뷰 표시부(40)를 통하여 유저로부터 보이는 차체 후방의 공간이 지나치게 좁아져 버린다. 그래서 화상 중첩부(24)는, 예를 들어 다음의 조건을 만족시키는 경우에만 가상 화상(4)을 중첩하는 것으로 한다.
θ/2<θ+φ-α<θ … (3)
상기 (3)식을 만족시키지 않는 경우에는, 리어 뷰 원영상(3)만이 리어 뷰 영상(6)으로서 리어 뷰 표시부(40)에 표시된다. 이것에 의하여, 리어 뷰 표시부(40)를 통하여 유저로부터 보이는 차체 후방의 영상 공간이 지나치게 좁아져 버리는 것을 방지할 수 있다.
<제2 실시 형태>
다음에, 본 기술에 따른 제2 실시 형태를 설명한다.
본 실시 형태에 있어서, 화상 중첩부(24)는, 리어 뷰 원영상(3)에 대하여 가상 화상(4)을, 차속에 따르지 않고 정적인 위치 관계로 중첩한다.
도 8은, 제2 실시 형태에 있어서 리어 뷰 원영상(3)에 대하여 가상 화상(4)을 정적 위치 관계로 중첩하는 방법의 설명도, 도 9는, 본 실시 형태에 있어서의 리어 뷰 영상의 예를 도시하는 도면이다.
이들 도면에 도시한 바와 같이 가상 화상(4)은, 리어 뷰 표시부(40)의 표시 공간에 있어서, 카메라(10)의 위치로부터 차체(60)의 후측 범퍼(61)의 단부까지의 영역에 상당하는 위치에 배치된다. 이때, 리어 뷰 표시부(40)의 표시 공간에 있어서, 리어 뷰 원영상(3)과 가상 화상(4) 사이에 상이 존재하지 않는 간극 영역이 생기는 경우가 있다. 화상 중첩부(24)는 이 간극 영역에, 가상 화상(4)과의 판별을 용이하게 하기 위한 매립 화상(5)을 매립한다. 이 매립 화상(5)은, 예를 들어 사선, 음영, 색 등에 의하여 가상 화상(4)과 다른 특징을 갖는 화상인 것이 바람직하다. 매립 화상(5)은, 간극 영역 부근의 리어 뷰 원영상(3)의 색조에 가까운 색을 이용하는 것이, 가상 화상(4)과의 판별을 용이하게 하기 때문에 보다 바람직하다. 또한 도 10에 도시한 바와 같이 매립 화상(5)에는, 리어 뷰 원영상(3)과 가상 화상(4)의 간극의, 실 공간에 있어서의 거리를 나타내는 값의 캐릭터 정보(7)가 중첩되어도 된다.
여기서는, 도 8에서 도시하는 가상 화상 영역은, 차체 후방부(후방부 범퍼를 포함함)를 노면에 투영한 투영 영역의 일부에 상당한다. 가상 화상 영역의 단부는, 이 투영 영역(차체 후방부의 투영 영역)의 단부에 상당한다.
(5. 과거 영상의 매립)
매립 화상(5)으로는 과거의 영상, 예를 들어 1프레임 전의 영상으로부터 잘라내진 영상을 이용해도 된다. 이 처리는, 차체(60)가 후퇴하는 동안에 버퍼에 보유된 과거의 리어 뷰 원영상(3)을 이용하여 행해진다.
도 11은, 과거 영상에 의한 매립 처리의 설명도이다.
60a는 현재 위치의 차체, 60b는 1프레임 전의 위치의 차체이다. vf는, 1프레임 동안에 차체가 속도 v로 이동한 거리이고, f는 프레임 주기이다.
현재의 차체(60a)의 위치에서 촬상된 리어 뷰 원영상(3)과 가상 화상(4) 사이의 간극 영역은, 1프레임 전에 촬영된 리어 뷰 원영상(3) 중의 카메라 광축에 대하여 θ1로부터 θ2까지의 각도 범위의 영상으로 매립된다. θ1, θ2는, 이하에 의하여 산출되는 각도이다.
θ1=θ+φ-tan-1((htanφ+vf/h) … (4)
θ2=θ+φ-tan-1((vf+e)/h) … (5)
이와 같이, 현재의 카메라(10)에 의한 화각 하단과 가상 화상(4) 사이의 간극 영역에 1프레임 전의 동일한 영역 영상으로 매립함으로써 보다 자연스런 리어 뷰 영상을 얻을 수 있다.
또한 여기서는, 1프레임 전의 영상으로부터 매립용 영상을 잘라내어 매립하는 것으로 하였지만, 더 과거의 프레임으로부터, 현재의 간극 영역에 대응하는 영역의 영상을 잘라내어 매립하도록 해도 된다.
또한 도 11 및 상기 (4)식에 있어서, 카메라(10)의 위치로부터 카메라(10)의 영상의 화각 하단에 상당하는 위치까지의 거리인 htanφ는 계산에 의하여 구할 수 있는데, 이 htanφ는 차체마다 고정값이므로 실측에 의하여 구하는 것도 가능하다.
도 12 및 도 13은, htanφ의 실측에 차트를 이용한 경우의 설명도이다.
도 12에 도시한 바와 같이 차트(70)는, 예를 들어 2㎝와 10㎝ 간격의 눈금이 기재된 시트 등이다. 도 13에 도시한 바와 같이 실측 시, 차트(70)는, 차트(70)의 기점(0점)의 위치를 차체(60)의 후측 범퍼(61)의 단부에 맞추도록 하여 노면에 배치된다. 카메라(10)에 의하여 촬상한 리어 뷰 영상으로부터, 화면에 표시된 카메라(10)의 영상(71)의 화각 하단에 보이는 눈금의 값을, 후측 범퍼(61)의 단부로부터 카메라(10)의 영상(71)의 화각 하단과의 거리로서 눈으로 보아 취득할 수 있다. 도 12의 예에서는, 후측 범퍼(61)의 단부로부터 카메라(10)의 화각 하단과의 거리가 44㎝임을 알 수 있다. 취득한 거리는, 시스템에 손 입력 등에 의하여 화상 처리 장치(20)에 설정되어 가상 화상 중첩 리어 뷰 영상(6)의 생성에 이용된다.
(6. 리어 뷰 모드의 전환)
리어 뷰 신호 처리부(23)는 3종류의 리어 뷰 모드를 가지며, 적절히 유저에 의하여 설정된 리어 뷰 모드 선택 정보에 기초하여 리어 뷰 영상의 표시 화각을 전환할 수 있다.
리어 뷰 모드로는 노멀 뷰 모드, 와이드 뷰 모드, 톱다운 뷰 모드 등이 있다. 유저는 리어 뷰 모드를 조작 버튼 등에 의하여 수시로 임의로 선택할 수 있다.
도 14a, 도 14b, 도 14c는, 노멀 뷰 모드, 와이드 뷰 모드, 톱다운 뷰 모드 각각의 모드에 의한 리어 뷰 영상의 예를 도시하는 도면이다.
와이드 뷰는, 광각 렌즈를 이용하여 촬상을 함으로써 노멀 뷰보다도 광각 범위의 리어 뷰 영상을 표시하는 모드이다.
톱다운 뷰는, 도 15에 도시한 바와 같이 노멀 뷰 모드의 리어 뷰 영상 등으로부터 시점 변환 등의 신호 처리에 의하여, 차체 바로 뒤의 노면을 거의 바로 위에서 본 리어 뷰 영상을 표시하는 모드이다.
화상 중첩부(24)는 리어 뷰 모드의 종류에 따라 가상 화상(4) 및 매립 화상(5)의 왜곡 보정을 행한다.
(7. 전체적인 제어의 흐름)
다음에, 제2 실시 형태의 카메라 시스템(100)에 있어서의 리어 뷰 신호 처리부(23) 및 화상 중첩부(24)의 동작의 흐름을 설명한다.
도 16은, 제2 실시 형태의 카메라 시스템(100)에 있어서의 리어 뷰 신호 처리부(23) 및 화상 중첩부(24)의 전체적인 동작의 흐름을 도시하는 흐름도이다.
리어 뷰 신호 처리부(23) 및 화상 중첩부(24)는, 예를 들어 차체에 후진 기어가 들어갔음을 나타내는 스테이터스를 ECU(200)로부터 취득하는 것 등에 의하여 기동하여 이하 제어를 실행한다.
리어 뷰 신호 처리부(23)는 기동 후, 리어 뷰 표시 모드를 확인하고 그 결과를 보유한다(스텝 S101). 계속해서, 리어 뷰 신호 처리부(23)는 스플리터(21)를 통하여, 카메라(10)로 촬영된 리어 뷰 원영상을 입력한다(스텝 S102). 입력된 리어 뷰 원영상은 화상 처리 장치(20) 내의 버퍼에 보유된다(스텝 S103).
화상 중첩부(24)는 리어 뷰 표시 모드의 확인 결과에 기초하여, 현재 선택되어 있는 리어 뷰 표시 모드에 따른 형태의 가상 화상을 생성함과 함께, 리어 뷰 원영상의 화각 하단과 가상 화상의 간극의 매립 화상을 작성하고 이들을 리어 뷰 원영상에 중첩함으로써, 가상 화상 중첩 리어 뷰 영상을 생성한다(스텝 S104, S105, S106, S107).
다음에, 화상 중첩부(24)는, 차체의 후퇴가 개시되었는지 여부를 ECU(200)로부터의 스테이터스에 기초하여 판단한다(스텝 S108). 아직 차체가 후퇴를 개시하고 있지 않은 경우, 리어 뷰 신호 처리부(23)는, 스텝 S105, S106, S107 중 어느 것에 의하여 생성된 가상 화상 중첩 리어 뷰 영상을 리어 뷰 표시부(40)에 출력한다(스텝 S109). 이때, 가상 화상 중첩 리어 뷰 영상에 있어서의 매립 화상은, 예를 들어 사선 화상, 음영 화상, 색 화상 등, 가상 화상과 간단히 판별할 수 있으면 되는 균일한 화상으로 된다.
차체의 후퇴가 개시되고 나서 1프레임분 시간이 경과하기까지의 동안에는(스텝 S110의 아니오), 화상 중첩부(24)는, 스텝 스텝 S105, S106, S107 중 어느 것에 의하여 생성된 가상 화상 중첩 리어 뷰 영상을 리어 뷰 표시부(40)에 계속해서 출력한다(스텝 S109).
차체의 후퇴가 개시되고 나서 1프레임분 시간이 경과한 즈음에(스텝 S110의 예), 화상 중첩부(24)는 ECU(200)로부터 차속 정보를 취득하여 그 값을 확인한다(스텝 S111). 화상 중첩부(24)는 버퍼로부터 과거 프레임의 리어 뷰 원영상을 읽어들여, 확인한 차속에 기초하여 당해 과거 프레임의 리어 뷰 원영상 중의, 가상 화상 중첩 리어 뷰 영상에 있어서의 매립 화상의 영역에 대응하는 대응 영역을 산출한다(스텝 S112). 계속해서, 화상 중첩부(24)는 과거 프레임 영상으로부터 상기 대응 영역의 과거 영상을 잘라내고, 잘라낸 과거 영상에 대하여 리어 뷰 표시 모드에 따른 왜곡 보정을 실시함으로써, 과거 영상에 의한 매립 화상을 생성한다(스텝 S113).
다음에, 화상 중첩부(24)는, 생성한 과거 영상에 의한 매립 화상을 현재의 가상 화상 중첩 리어 뷰 영상의 매립 화상의 영역에 중첩(덮어쓰기)함으로써(스텝 S114), 가상 화상과 과거 영상에 의한 매립 화상이 중첩된 가상 화상 중첩 리어 뷰 영상을 완성시키고, 이 가상 화상 중첩 리어 뷰 영상을 리어 뷰 표시부(40)에 출력한다(스텝 S115).
(8. 변형예)
상기 실시 형태의 카메라 시스템(100)에 있어서, 화상 처리 장치(20)는 스플리터(21)와 CMS 신호 처리부(22)와 리어 뷰 신호 처리부(23)와 화상 중첩부(24)를 구비하는 것으로 하였지만, 본 기술은 이에 한정되지 않는다.
(제1 변형예)
예를 들어 도 17에 도시한 바와 같이, 화상 처리 장치(20A)가 ECU(200)로부터 차속 정보를 취득하도록 구성하는 것이 아니라 차체의 속도를 검출하는 속도 검출부(80)를 별도로 구비하고, 화상 중첩부(24)가 속도 검출부(80)로부터 차속 정보를 취득하여 가상 정보의 조정을 행하도록 해도 된다.
(제2 변형예)
도 18에 도시한 바와 같이, 도 1의 화상 처리 장치(20)의 구성으로부터 적어도 CMS 신호 처리부(22)를 제외하고, 리어 뷰 신호 처리부(23)와 화상 중첩부(24)에 의하여 본 기술에 따른 화상 처리 장치(20B)가 구성되어도 된다.
(제3 변형예)
도 19에 도시한 바와 같이 본 기술은, 리어 뷰 신호 처리부(23), 화상 중첩부(24), 표시기(25)를 하나의 시스템으로서 내장한 모니터 장치(20C)로서 제공할 수 있다.
혹은 리어 뷰 신호 처리부(23), 화상 중첩부(24)를 하나의 시스템으로서 카메라(10)를 내장한 카메라 장치로서 제공해도 된다.
(제4 변형예)
도 20에 도시한 바와 같이 본 기술은, 카메라(10), 리어 뷰 신호 처리부(23), 화상 중첩부(24), 표시기(25)를 개별의 장치로 한 카메라 시스템(100B)으로서 제공할 수도 있다.
또한 도 1, 도 17, 도 20 각각에 대하여, 하나 장치에 내장한 기능 블록의 조합을 바꾸어도 된다.
예를 들어 도 1에 있어서, 카메라(10)와 스플리터(21)와 리어 뷰 신호 처리부(23)와 화상 중첩부(24)를 내장한 카메라 장치와, CMS 신호 처리부(22)와 CMS 표시부(30)를 내장한 표시 장치와, 리어 뷰 표시부(40)와, ECU(200)를 갖는 시스템으로 해도 된다. 또한 카메라(10)와 스플리터(21)와 CMS 신호 처리부(22)를 내장한 카메라 장치와, 리어 뷰 신호 처리부(23)와 화상 중첩부(24)와 리어 뷰 표시부(40)를 내장한 리어 뷰 표시 장치와, CMS 표시부(30)와, ECU(200)를 갖는 시스템으로 해도 된다.
상기 각 실시 형태에서는, 특히 차체의 후방을 촬상 가능하도록 설치된 카메라의 영상을 이용하는 것으로 하였지만, 본 기술은, 차체의 전방이나 측방을 촬상 가능한 카메라의 영상을 이용하는 경우에도 마찬가지로 응용할 수 있는 것이다.
상기 각 실시 형태에서는, 차체(60)의 일부의 가상 화상(4)으로서 범퍼의 가상 화상(4)을 카메라 영상에 중첩하는 것으로 하였지만, 카메라 영상에 중첩하는 차체(60)의 일부가 어디인지는 본 기술에 있어서 한정되지 않는다. 차체(60)에 설치된 카메라(10)의 시야에 들어가지 않는 부위이고, 카메라 영상의 공간의 거리감을 유저가 잡기 쉽게 할 수 있는 부위라면 무엇이든 된다. 예를 들어 차체의 측방을 카메라로 촬상하는 것이라면, 차체의 측면의 가상 화상이 중첩되도록 하면 된다. 또한, 차체의 후방, 전방을 모니터링하는 경우에도, 반드시 범퍼의 가상 화상이 중첩되어야 하는 것만은 아니다. 예를 들어 번호판의 가상 화상이나, 차체의 실루엣의 일부가 중첩되어도 된다.
그 외에 본 기술은, 상술한 실시 형태에만 한정되는 것은 아니며, 본 발명의 요지를 일탈하지 않는 범위 내에 있어서 다양한 변경을 가할 수 있음은 물론이다.
또한, 본 기술은 이하와 같은 구성도 취할 수 있다.
(1) 차체에 설치된 카메라로 촬상된 영상으로부터 제1 화각의 제1 영상을 생성하는 제1 신호 처리부와,
상기 제1 영상에, 상기 차체의 일부를 표현한 화상을 중첩하는 화상 중첩부
를 구비하는, 화상 처리 장치.
(2) 상기 (1)의 화상 처리 장치이며,
상기 차체의 일부의 화상이, 기억부에 미리 기억된 화상인,
화상 처리 장치.
(3) 상기 (2)의 화상 처리 장치이며,
상기 미리 기억된 화상이, 상기 제1 신호 처리부에 상기 카메라의 영상이 취득되기 전에 기억된 화상인,
화상 처리 장치.
(4) 상기 (1) 내지 (3) 중 어느 것의 화상 처리 장치이며,
상기 차체의 일부의 화상이, 상기 카메라의 시야 밖의 영역의 화상인,
화상 처리 장치.
(5) 상기 (2) 내지 (4) 중 어느 것의 화상 처리 장치이며,
상기 차체의 일부의 화상이, 상기 차체의 범퍼의 적어도 일부를 가상화한 가상 화상인,
화상 처리 장치.
(6) 상기 (1) 내지 (5) 중 어느 것의 화상 처리 장치이며,
상기 카메라가, 상기 차체의 전방, 후방, 또는 측방을 촬상하도록 설치된 카메라인,
화상 처리 장치.
(7) 상기 (1) 내지 (6) 중 어느 것의 화상 처리 장치이며,
상기 화상 중첩부가 상기 차체의 속도 정보에 기초하여, 상기 제1 영상에 중첩하는 상기 화상을 조정하는,
화상 처리 장치.
(8) 상기 (1) 내지 (6) 중 어느 것의 화상 처리 장치이며,
상기 화상 중첩부는, 상기 제1 영상과 상기 가상 화상 사이의 상이 존재하지 않는 간극 영역에 매립 화상을 중첩하는,
화상 처리 장치.
(9) 상기 (8)의 화상 처리 장치이며,
상기 매립 화상은, 상기 간극 영역에 근접하는 상기 제1 영상의 색조에 가까운 화상인,
화상 처리 장치.
(10) 상기 (8)의 화상 처리 장치이며,
상기 화상 중첩부는, 과거의 상기 제1 영상으로부터 상기 간극 영역에 대응하는 영역의 영상을 잘라내어 상기 매립 화상을 생성하는,
화상 처리 장치.
(11) 상기 (1) 내지 (10) 중 어느 것의 화상 처리 장치이며,
상기 화상 중첩부는, 상기 제1 영상에 적어도 상기 화상이 중첩된 영상을 제1 표시부에 출력하는,
화상 처리 장치.
(12) 상기 (1) 내지 (11) 중 어느 것의 화상 처리 장치이며,
상기 제1 영상으로부터 제1 화각과 다른 제2 화각의 제2 영상을 생성하여 제2 표시부에 출력하는 제2 신호 처리부
를 더 구비하는, 화상 처리 장치.
(13) 상기 (12)의 화상 처리 장치이며,
상기 제2 화각의 중심은 상기 제1 화각의 중심보다도 상기 제1 영상 공간 내에서 높은 위치에 있는,
화상 처리 장치.
(14) 상기 (1)의 화상 처리 장치이며,
상기 제1 영상은, 리어 뷰를 위한 영상인,
화상 처리 장치.
(15) 상기 (12)의 화상 처리 장치이며,
상기 제2 영상이, 룸 미러 화상 상당의 영상인,
화상 처리 장치.
(16) 차체에 설치된 카메라와,
상기 카메라로 촬상된 영상으로부터 제1 화각의 제1 영상을 생성하는 제1 신호 처리부와,
상기 제1 영상에, 상기 차체의 일부를 표현한 화상을 중첩하는 화상 중첩부
를 구비하는, 카메라 시스템.
(17) 상기 (16)의 카메라 시스템이며,
상기 차체의 일부의 화상이, 기억부에 미리 기억된 화상인,
카메라 시스템.
(18) 상기 (17)의 카메라 시스템이며,
상기 미리 기억된 화상이, 상기 제1 신호 처리부에 상기 카메라의 영상이 취득되기 전에 기억된 화상인,
카메라 시스템.
(19) 상기 (16) 내지 (18) 중 어느 것의 카메라 시스템이며,
상기 차체의 일부의 화상이, 상기 카메라의 시야 밖의 영역의 화상인,
카메라 시스템.
(20) 상기 (17) 내지 (19) 중 어느 것의 카메라 시스템이며,
상기 차체의 일부의 화상이, 상기 차체의 범퍼의 적어도 일부를 가상화한 가상 화상인,
카메라 시스템.
(21) 상기 (16) 내지 (20) 중 어느 것의 카메라 시스템이며,
상기 카메라가, 상기 차체의 전방, 후방, 또는 측방을 촬상하도록 설치된 카메라인,
카메라 시스템.
(22) 기 (16) 내지 (21) 중 어느 것의 카메라 시스템이며,
상기 화상 중첩부가 상기 차체의 속도 정보에 기초하여, 상기 제1 영상에 중첩하는 상기 화상을 조정하는,
카메라 시스템.
(23) 상기 (16) 내지 (21) 중 어느 것의 카메라 시스템이며,
상기 화상 중첩부는, 상기 제1 영상과 상기 가상 화상 사이의 상이 존재하지 않는 간극 영역에 매립 화상을 중첩하는,
카메라 시스템.
(24) 상기 (23)의 카메라 시스템이며,
상기 매립 화상은, 상기 간극 영역에 근접하는 상기 제1 영상의 색조에 가까운 화상인,
카메라 시스템.
(25) 상기 (23)의 카메라 시스템이며,
상기 화상 중첩부는, 과거의 상기 제1 영상으로부터 상기 간극 영역에 대응하는 영역의 영상을 잘라내어 상기 매립 화상을 생성하는,
카메라 시스템.
(26) 상기 (23) 내지 (25) 중 어느 것의 카메라 시스템이며,
상기 화상 중첩부는, 상기 제1 영상에 적어도 상기 화상이 중첩된 영상을 제1 표시부에 출력하는,
카메라 시스템.
(27) 상기 (16) 내지 (26) 중 어느 것의 카메라 시스템이며,
상기 제1 영상으로부터 제1 화각과 다른 제2 화각의 제2 영상을 생성하여 제2 표시부에 출력하는 제2 신호 처리부
를 더 구비하는, 카메라 시스템.
(28) 상기 (27)의 카메라 시스템이며,
상기 제2 화각의 중심은 상기 제1 화각의 중심보다도 상기 제1 영상 공간 내에서 높은 위치에 있는,
카메라 시스템.
(29) 상기 (16)의 카메라 시스템이며,
상기 제1 영상은, 리어 뷰를 위한 영상인,
카메라 시스템.
(30) 상기 (27)의 카메라 시스템이며,
상기 제2 영상이, 룸 미러 화상 상당의 영상인,
카메라 시스템.
(31) 차체에 설치된 카메라로 촬상된 영상으로부터 제1 화각의 제1 영상을 생성하는 제1 신호 처리부와,
상기 제1 영상에, 상기 차체의 일부를 표현한 화상을 중첩하는 화상 중첩부와,
상기 화상이 중첩된 영상을 표시하는 표시부
를 구비하는, 모니터 장치.
(32) 상기 (31)의 모니터 장치이며,
상기 차체의 일부의 화상이, 기억부에 미리 기억된 화상인,
모니터 장치.
(33) 상기 (32)의 모니터 장치이며,
상기 미리 기억된 화상이, 상기 제1 신호 처리부에 상기 카메라의 영상이 취득되기 전에 기억된 화상인,
모니터 장치.
(34) 상기 (31) 내지 (33) 중 어느 것의 모니터 장치이며,
상기 차체의 일부의 화상이, 상기 카메라의 시야 밖의 영역의 화상인,
모니터 장치.
(35) 상기 (31) 내지 (34) 중 어느 것의 모니터 장치이며,
상기 차체의 일부의 화상이, 상기 차체의 범퍼의 적어도 일부를 가상화한 가상 화상인,
모니터 장치.
(36) 상기 (31) 내지 (35) 중 어느 것의 모니터 장치이며,
상기 카메라가, 상기 차체의 전방, 후방, 또는 측방을 촬상하도록 설치된 카메라인,
모니터 장치.
(37) 상기 (31) 내지 (36) 중 어느 것의 모니터 장치이며,
상기 화상 중첩부가 상기 차체의 속도 정보에 기초하여, 상기 제1 영상에 중첩하는 상기 화상을 조정하는,
모니터 장치.
(38) 상기 (31) 내지 (36) 중 어느 것의 모니터 장치이며,
상기 화상 중첩부는, 상기 제1 영상과 상기 가상 화상 사이의 상이 존재하지 않는 간극 영역에 매립 화상을 중첩하는,
모니터 장치.
(39) 상기 (38)의 모니터 장치이며,
상기 매립 화상은, 상기 간극 영역에 근접하는 상기 제1 영상의 색조에 가까운 화상인,
모니터 장치.
(40) 상기 (37)의 모니터 장치이며,
상기 화상 중첩부는, 과거의 상기 제1 영상으로부터 상기 간극 영역에 대응하는 영역의 영상을 잘라내어 상기 매립 화상을 생성하는,
모니터 장치.
(41) 상기 (31)의 모니터 장치이며,
상기 제1 영상은, 리어 뷰를 위한 영상인,
모니터 장치.
(42) 제1 신호 처리부가, 차체에 설치된 카메라로 촬상된 영상으로부터 제1 화각의 제1 영상을 생성하고,
화상 중첩부가 상기 제1 영상에, 상기 차체의 일부를 표현한 화상을 중첩하는,
화상 처리 방법.
(43) 상기 (42)의 화상 처리 방법이며,
상기 차체의 일부의 화상이, 기억부에 미리 기억된 화상인,
화상 처리 방법.
(44) 상기 (43)의 화상 처리 방법이며,
상기 미리 기억된 화상이, 상기 제1 신호 처리부에 상기 카메라의 영상이 취득되기 전에 기억된 화상인,
화상 처리 방법.
(45) 상기 (42) 내지 (44) 중 어느 것의 화상 처리 방법이며,
상기 차체의 일부의 화상이, 상기 카메라의 시야 밖의 영역의 화상인,
화상 처리 방법.
(46) 상기 (42) 내지 (44) 중 어느 것의 화상 처리 방법이며,
상기 차체의 일부의 화상이, 상기 차체의 범퍼의 적어도 일부를 가상화한 가상 화상인,
화상 처리 방법.
(47) 상기 (42) 내지 (46) 중 어느 것의 화상 처리 방법이며,
상기 카메라가, 상기 차체의 전방, 후방, 또는 측방을 촬상하도록 설치된 카메라인,
화상 처리 방법.
(48) 상기 (42) 내지 (47) 중 어느 것의 화상 처리 방법이며,
상기 화상 중첩부가 상기 차체의 속도 정보에 기초하여, 상기 제1 영상에 중첩하는 상기 화상을 조정하는,
화상 처리 방법.
(49) 상기 (42) 내지 (47) 중 어느 것의 화상 처리 방법이며,
상기 화상 중첩부는, 상기 제1 영상과 상기 가상 화상 사이의 상이 존재하지 않는 간극 영역에 매립 화상을 중첩하는,
화상 처리 방법.
(50) 상기 (49)의 화상 처리 방법이며,
상기 매립 화상은, 상기 간극 영역에 근접하는 상기 제1 영상의 색조에 가까운 화상인,
화상 처리 방법.
(51) 상기 (49)의 화상 처리 방법이며,
상기 화상 중첩부는, 과거의 상기 제1 영상으로부터 상기 간극 영역에 대응하는 영역의 영상을 잘라내어 상기 매립 화상을 생성하는,
화상 처리 방법.
(52) 상기 (42) 내지 (51) 중 어느 것의 화상 처리 방법이며,
상기 화상 중첩부는, 상기 제1 영상에 적어도 상기 화상이 중첩된 영상을 제1 표시부에 출력하는
화상 처리 방법.
(53) 상기 (42) 내지 (52) 중 어느 것의 화상 처리 방법이며,
제2 신호 처리부가 상기 제1 영상으로부터 제1 화각과 다른 제2 화각의 제2 영상을 생성하여 제2 표시부에 출력하는,
화상 처리 방법.
(54) 상기 (53)의 화상 처리 방법이며,
상기 제2 화각의 중심은 상기 제1 화각의 중심보다도 상기 제1 영상 공간 내에서 높은 위치에 있는,
화상 처리 방법.
(56) 상기 (42)의 화상 처리 방법이며,
상기 제1 영상은, 리어 뷰를 위한 영상인,
화상 처리 방법.
(57) 상기 (53)의 화상 처리 방법이며,
상기 제2 영상이, 룸 미러 화상 상당의 영상인,
화상 처리 방법.
1: 카메라 영상
3: 리어 뷰 원영상
4: 가상 화상
5: 매립 화상
6: 리어 뷰 영상
10: 카메라
20, 20A, 20B: 화상 처리 장치
20C: 모니터 장치
22: CMS 신호 처리부
23: 리어 뷰 신호 처리부
24: 화상 중첩부
30: CMS 표시부
40: 리어 뷰 표시부
60: 차체
61: 후측 범퍼
80: 속도 검출부
100: 카메라 시스템
100B: 카메라 모니터링 시스템
200: ECU

Claims (17)

  1. 차체에 설치된 카메라로 촬상된 영상으로부터 제1 화각의 제1 영상을 생성하는 제1 신호 처리부와,
    상기 제1 영상에, 상기 차체의 일부를 표현한 가상 화상을 중첩하는 화상 중첩부
    를 구비하고,
    상기 화상 중첩부는, 상기 제1 영상과 상기 가상 화상 사이의 상이 존재하지 않는 간극 영역에 매립 화상을 중첩하는,
    화상 처리 장치.
  2. 제1항에 있어서,
    상기 차체의 일부의 화상이, 기억부에 미리 기억된 화상인,
    화상 처리 장치.
  3. 제2항에 있어서,
    상기 미리 기억된 화상이, 상기 제1 신호 처리부에 상기 카메라의 영상이 취득되기 전에 기억된 화상인,
    화상 처리 장치.
  4. 제3항에 있어서,
    상기 차체의 일부의 화상이, 상기 카메라의 시야 밖의 영역의 화상인,
    화상 처리 장치.
  5. 제4항에 있어서,
    상기 차체의 일부의 화상이, 상기 차체의 범퍼의 적어도 일부를 가상화한 가상 화상인,
    화상 처리 장치.
  6. 제5항에 있어서,
    상기 카메라가, 상기 차체의 전방, 후방, 또는 측방을 촬상하도록 설치된 카메라인,
    화상 처리 장치.
  7. 제6항에 있어서,
    상기 화상 중첩부가 상기 차체의 속도 정보에 기초하여, 상기 제1 영상에 중첩하는 상기 화상을 조정하는,
    화상 처리 장치.
  8. 삭제
  9. 제1항에 있어서,
    상기 매립 화상은, 상기 간극 영역에 근접하는 상기 제1 영상의 색조에 가까운 화상인,
    화상 처리 장치.
  10. 제9항에 있어서,
    상기 화상 중첩부는, 과거의 상기 제1 영상으로부터 상기 간극 영역에 대응하는 영역의 영상을 잘라내어 상기 매립 화상을 생성하는,
    화상 처리 장치.
  11. 제1항에 있어서,
    상기 화상 중첩부는, 상기 제1 영상에 적어도 상기 화상이 중첩된 영상을 제1 표시부에 출력하는,
    화상 처리 장치.
  12. 제1항에 있어서,
    상기 제1 영상으로부터 제1 화각과 다른 제2 화각의 제2 영상을 생성하여 제2 표시부에 출력하는 제2 신호 처리부
    를 더 구비하는, 화상 처리 장치.
  13. 제12항에 있어서,
    상기 제2 화각의 중심은 상기 제1 화각의 중심보다도 상기 제1 영상 공간 내에서 높은 위치에 있는,
    화상 처리 장치.
  14. 제1항에 있어서,
    상기 제1 영상은, 리어 뷰를 위한 영상인,
    화상 처리 장치.
  15. 제12항에 있어서,
    상기 제2 영상이, 룸 미러 화상 상당의 영상인,
    화상 처리 장치.
  16. 차체에 설치된 카메라와,
    상기 카메라로 촬상된 영상으로부터 제1 화각의 제1 영상을 생성하는 제1 신호 처리부와,
    상기 제1 영상에, 상기 차체의 일부를 표현한 가상 화상을 중첩하는 화상 중첩부
    를 구비하고,
    상기 화상 중첩부는, 상기 제1 영상과 상기 가상 화상 사이의 상이 존재하지 않는 간극 영역에 매립 화상을 중첩하는, 카메라 시스템.
  17. 제1 신호 처리부가, 차체에 설치된 카메라로 촬상된 영상으로부터 제1 화각의 제1 영상을 생성하고,
    화상 중첩부가 상기 제1 영상에, 상기 차체의 일부를 표현한 가상 화상을 중첩하고,
    상기 화상 중첩부는, 상기 제1 영상과 상기 가상 화상 사이의 상이 존재하지 않는 간극 영역에 매립 화상을 중첩하는, 화상 처리 방법.
KR1020217013824A 2018-11-22 2019-11-21 화상 처리 장치, 카메라 시스템 및 화상 처리 방법 KR102671221B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2018-219514 2018-11-22
JP2018219514 2018-11-22
PCT/JP2019/045553 WO2020105698A1 (ja) 2018-11-22 2019-11-21 画像処理装置、カメラシステム及び画像処理方法

Publications (2)

Publication Number Publication Date
KR20210091148A KR20210091148A (ko) 2021-07-21
KR102671221B1 true KR102671221B1 (ko) 2024-06-03

Family

ID=

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005086754A (ja) * 2003-09-11 2005-03-31 Auto Network Gijutsu Kenkyusho:Kk 車輌周辺視認装置
JP2008022125A (ja) 2006-07-11 2008-01-31 Honda Motor Co Ltd 運転支援装置
US20120069182A1 (en) * 2010-09-17 2012-03-22 Nissan Motor Co., Ltd. Vehicle image display apparatus and method
JP2015136056A (ja) 2014-01-17 2015-07-27 株式会社デンソー 運転支援装置
JP2016048839A (ja) 2014-08-27 2016-04-07 株式会社小糸製作所 電子制御ユニットおよび車両用映像システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005086754A (ja) * 2003-09-11 2005-03-31 Auto Network Gijutsu Kenkyusho:Kk 車輌周辺視認装置
JP2008022125A (ja) 2006-07-11 2008-01-31 Honda Motor Co Ltd 運転支援装置
US20120069182A1 (en) * 2010-09-17 2012-03-22 Nissan Motor Co., Ltd. Vehicle image display apparatus and method
JP2015136056A (ja) 2014-01-17 2015-07-27 株式会社デンソー 運転支援装置
JP2016048839A (ja) 2014-08-27 2016-04-07 株式会社小糸製作所 電子制御ユニットおよび車両用映像システム

Similar Documents

Publication Publication Date Title
JP5341789B2 (ja) パラメータ取得装置、パラメータ取得システム、パラメータ取得方法、及び、プログラム
JP5099451B2 (ja) 車両周辺確認装置
US9077861B2 (en) Image processing apparatus, electronic apparatus, and image processing method
JP5347257B2 (ja) 車両用周辺監視装置および映像表示方法
JP4934308B2 (ja) 運転支援システム
US20220210344A1 (en) Image display apparatus
JP5093611B2 (ja) 車両周辺確認装置
US20120257058A1 (en) Image processing device, image processing system, and image processing method
CN107848417B (zh) 车辆用显示装置
US20120287282A1 (en) Image processing apparatus, image processing system, and image processing method
JP5051263B2 (ja) 車両用後方視認システム
JP2005311868A (ja) 車両周辺視認装置
JP2006311272A (ja) 車両用映像表示装置
JP6857695B2 (ja) 後方表示装置、後方表示方法、およびプログラム
US10460703B2 (en) Display control apparatus, display control method, and camera monitoring system
JP2012214083A (ja) 画像生成装置、画像表示システム及び画像生成方法
JP2011049735A (ja) 車両周辺画像提供装置
JP2010109451A (ja) 車両周囲監視装置及び車両周囲監視方法
JP7000383B2 (ja) 画像処理装置および画像処理方法
JP2008037118A (ja) 車両用表示装置
JP2007008325A (ja) 設置状態判断装置及び方法
KR102671221B1 (ko) 화상 처리 장치, 카메라 시스템 및 화상 처리 방법
EP3184364B1 (en) Rear view device for a vehicle
KR20210091148A (ko) 화상 처리 장치, 카메라 시스템 및 화상 처리 방법
JP2009262881A (ja) 車両用表示装置