KR20210083256A - 촬영 장치, 제어 방법 및 프로그램 - Google Patents

촬영 장치, 제어 방법 및 프로그램 Download PDF

Info

Publication number
KR20210083256A
KR20210083256A KR1020217010721A KR20217010721A KR20210083256A KR 20210083256 A KR20210083256 A KR 20210083256A KR 1020217010721 A KR1020217010721 A KR 1020217010721A KR 20217010721 A KR20217010721 A KR 20217010721A KR 20210083256 A KR20210083256 A KR 20210083256A
Authority
KR
South Korea
Prior art keywords
image
vehicle
information
read
unit
Prior art date
Application number
KR1020217010721A
Other languages
English (en)
Inventor
고 야마나카
야스히로 유카와
다쿠야 야마구치
Original Assignee
소니그룹주식회사
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사, 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니그룹주식회사
Publication of KR20210083256A publication Critical patent/KR20210083256A/ko

Links

Images

Classifications

    • H04N5/2253—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/441—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H04N5/378—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

본 기술은, 차량의 운전에 적절한 화상을 용이하게 제공할 수 있도록 하는 촬영 장치, 제어 방법 및 프로그램에 관한 것이다. 제어부는 차량에서 취득되는 차량 정보에 기초하여, 차량의 표시부에 표시될 화상을 촬영하는 이미지 센서로부터의 화상의 판독을 제어한다. 본 기술은, 예를 들어 차량의 후방이 찍히는 화상을 표시하는 뷰잉 시스템에 적용할 수 있다.

Description

촬영 장치, 제어 방법 및 프로그램
본 기술은, 촬영 장치, 제어 방법 및 프로그램에 관한 것이며, 특히 예를 들어 차량의 운전에 적절한 화상을 용이하게 제공할 수 있도록 하는 촬영 장치, 제어 방법 및 프로그램에 관한 것이다.
예를 들어, 자동차 등의 차량에 대하여는, 차량의 후부에, 촬영 장치로서의 카메라를 설치하여, 그 카메라로 촬영된 차량의 후방이 찍히는 화상을 표시하는 뷰잉 시스템이 제안되어 있다.
뷰잉 시스템이 제공하는, 차량의 후방이 찍히는 화상으로서는, 차량의 후부의 직후방보다 후방이 찍히는 화상과, 차량의 후부의 직후방이 찍히는 화상이 있다.
여기서, 차량의 후부의 직후방보다 후방이 찍히는 화상은, 예를 들어 소위 실내 백미러(룸 미러)라고 불리는 클래스 I 미러에 찍히는 화상에 상당하는 화상이며, 이하, BM(Back Mirror) 화상이라고도 한다. 또한, 차량의 후부의 직후방이 찍히는 화상은 차량의 후부와 그 직후방이 찍히는 화상이며, 이하, RV(Rear View) 화상이라고도 한다.
차량이 언덕길에 당도한 경우, 그 밖에, 요철이 있는 노면을 주행하고 있는 경우, 차량은 기운다. 또한, 차량에 적재하는 짐이나, 차량의 탑승자의 상태에 따라서도, 차량은 기우는 경우가 있다.
차량이 기울면, 차량에 설치되어 있는 카메라도 기울고, 이에 의해, BM 화상에 찍히는 하늘이나 도로 등의 비율(비)이, 차량이 기울지 않은 경우의 상태로부터 변화된다.
차량이 기울지 않은 경우에, 차량의 운전에 적절한 BM 화상이 표시되도록, 뷰잉 시스템이 조정되어 있을 때에는, 차량의 기울기에 기인하여 BM 화상에 찍히는 하늘이나 도로 등의 비율이 변화되면, 차량의 운전에 적절한 BM 화상이 표시되지 않게 되는 경우가 있다.
예를 들어, 차량이 평탄한 노면을 주행하고 있는 경우에는, 차량의 후방으로부터 접근해오는 다른 차량이나, 차량의 후방에 있는 장애물 등을 운전자가 충분히 인식할 수 있는 BM 화상이 표시되고 있었지만, 차량이 기울면, BM 화상에 있어서, 그러한 다른 차량이나 장애물을 운전자가 인식하는 데 필요한 정보가 적어지는 경우가 있다.
그래서, 예를 들어 언덕길 주행 시에, 카메라로 촬영한 촬영 화상을 후단의 기억 장치에 기억시켜, 기억 장치에 기억된 촬영 화상으로부터, 필요한 화상을 절출하는 기술이 제안되어 있다(예를 들어, 특허문헌 1을 참조).
일본 특허 제6245274호
기억 장치에 기억된 촬영 화상으로부터, 필요한 화상을 절출하는 경우에는, 필요한 화상의 사이즈(화소수)를 크게 초과하는 사이즈의 촬영 화상을, 카메라로부터 판독할 필요가 있다. 카메라로부터 판독하는 촬영 화상의 사이즈가 큰 것은, 프레임 레이트의 저하의 원인이 된다.
또한, 카메라의 후단의 기억 장치에 기억된 촬영 화상으로부터 필요한 화상을 절출하는 기술 이외에도, 차량의 운전에 적절한 화상을 용이하게 제공할 수 있는 기술의 제안이 요청되고 있다.
본 기술은 이러한 상황을 감안하여 이루어진 것이며, 차량의 운전에 적절한 화상을 용이하게 제공할 수 있도록 하는 것이다.
본 기술의 촬영 장치는, 차량의 표시부에 표시될 화상을 촬영하는 이미지 센서와, 상기 차량에서 취득되는 차량 정보에 기초하여, 상기 이미지 센서로부터의 화상의 판독을 제어하는 제어부를 구비하는 촬영 장치이다.
본 기술의 제어 방법 또는 프로그램은, 차량에서 취득되는 차량 정보에 기초하여, 상기 차량의 표시부에 표시될 화상을 촬영하는 이미지 센서로부터의 화상의 판독을 제어하는 제어 스텝을 구비하는 제어 방법, 또는 그러한 제어를 행하는 제어부로서, 컴퓨터를 기능시키기 위한 프로그램이다.
본 기술의 촬영 장치, 제어 방법 및 프로그램에 있어서는, 차량에서 취득되는 차량 정보에 기초하여, 상기 차량의 표시부에 표시될 화상을 촬영하는 이미지 센서로부터의 화상의 판독이 제어된다.
또한, 촬영 장치는 독립된 장치여도 되고, 하나의 장치를 구성하고 있는 내부 블록이어도 된다.
또한, 프로그램은 전송 매체를 통해 전송함으로써, 또는 기록 매체에 기록하여 제공할 수 있다.
도 1은 본 기술을 적용한 뷰잉 시스템이 탑재된 차량(10)의 외관 구성예를 나타내는 사시도이다.
도 2는 차량(10)의 차 내의 구성예를 나타내는 사시도이다.
도 3은 차량(10)에 탑재된 뷰잉 시스템의 제1 구성예를 나타내는 블록도이다.
도 4는 제어부(43)에 의한, 촬영 화상으로부터의 판독 화상으로서의 BM 화상 및 RV 화상의 판독 제어의 예를 설명하는 도면이다.
도 5는 차량(10)의 상태와 BM 화상의 관계의 제1 예를 설명하는 도면이다.
도 6은 제어부(43)에 의한 기울기 정보에 따른 판독 화상의 판독 제어의 예를 설명하는 도면이다.
도 7은 이미지 센서(32)의 구성예를 나타내는 도면이다.
도 8은 뷰잉 시스템의 제1 구성예가 행하는 BM 화상을 표시하는 표시 처리의 예를 설명하는 흐름도이다.
도 9는 차량(10)에 탑재된 뷰잉 시스템의 제2 구성예를 나타내는 블록도이다.
도 10은 차량(10)의 상태와 BM 화상의 관계의 제2 예를 설명하는 도면이다.
도 11은 제어부(71)에 의한 기울기 정보에 따른 판독 화상의 판독 제어의 예를 설명하는 도면이다.
도 12는 제어부(71)에 의한 기울기 정보에 따른 판독 화상의 판독 제어의 예를 더욱 설명하는 도면이다.
도 13은 뷰잉 시스템의 제2 구성예가 행하는 BM 화상을 표시하는 표시 처리의 예를 설명하는 흐름도이다.
도 14는 차량(10)에 탑재된 뷰잉 시스템의 제3 구성예를 나타내는 블록도이다.
도 15는 제어부(71)에 의한 기울기 정보에 따른 판독 화상의 판독 제어의 예를 설명하는 도면이다.
도 16은 뷰잉 시스템의 제3 구성예가 행하는 BM 화상을 표시하는 표시 처리의 예를 설명하는 흐름도이다.
도 17은 차량(10)에 탑재된 뷰잉 시스템의 제4 구성예를 나타내는 블록도이다.
도 18은 이미지 센서(32)로부터 출력할 수 있는 화상의 예를 설명하는 도면이다.
도 19는 차량(10)에서 데이터 전송에 사용할 수 있는 차량 전송 대역의 예를 설명하는 도면이다.
도 20은 제어부(136)에 의한 BM 화상 및 RV 화상의 데이터양의 조정 제어의 제1 예를 설명하는 도면이다.
도 21은 제어부(136)에 의한 BM 화상 및 RV 화상의 데이터양의 조정 제어의 제2 예를 설명하는 도면이다.
도 22는 뷰잉 시스템이 행하는 BM 화상 및 RV 화상을 표시하는 표시 처리의 예를 설명하는 흐름도이다.
도 23은 차량(10)에 탑재된 뷰잉 시스템의 제5 구성예를 나타내는 블록도이다.
도 24는 제어부(181)에 의한, 촬영 화상으로부터의 BM 화상 및 RV 화상의 추출 제어의 예를 설명하는 도면이다.
도 25는 뷰잉 시스템이 행하는 BM 화상 및 RV 화상을 표시하는 표시 처리의 예를 설명하는 흐름도이다.
도 26은 본 기술을 적용한 컴퓨터의 일 실시 형태의 구성예를 나타내는 블록도이다.
<뷰잉 시스템을 탑재한 차량의 구성예>
도 1은, 본 기술을 적용한 뷰잉 시스템이 탑재된 차량(10)의 외관 구성예를 나타내는 사시도이다.
예를 들어, (사륜)자동차인 차량(10)에는, 후부에, 차량(10)의 후방을 촬영하는 촬영 장치로서의 1대의 카메라 유닛(11)이 설치되어 있다. 도 1에서는, 카메라 유닛(11)은 차량(10)의 리어 글래스의 상부에 설치되어 있다.
카메라 유닛(11)은, BM 화상이 되는 범위와, RV 화상이 되는 범위의 양쪽이 찍히는 화상을 하나의 화상으로서 촬영할 수 있도록, 광각(廣角)(예를 들어, 화각이 120도 이상)의 카메라 유닛으로 되어 있다. 또한, 카메라 유닛(11)은 BM 화상에 있어서, 먼 곳의 피사체가 명확하게 찍히도록, 고해상도(예를 들어, 해상도가 4K 이상)의 카메라 유닛으로 되어 있다. 따라서, 카메라 유닛(11)은 광각이면서 고해상도의 화상을 촬영할 수 있다.
또한, 카메라 유닛(11)에서는, 후술하는 바와 같이, 카메라 유닛(11)에 있어서 촬영되는 화상(이하, 촬영 화상이라고도 함)으로부터, BM 화상 및 RV 화상이 추출된다.
BM 화상에는, 차량(10)에 실내 백미러(룸 미러. 국제 연합 유럽 경제 위원회 <UN/ECE>가 정하는 Regulation No.46에 있어서의 클래스 I 미러)가 설치되어 있으면, 그 실내 백미러로 관찰할 수 있는, 차량(10)의 후부의 직후방보다 후방의 모습의 화상이 포함되도록, 또한 RV 화상에는, 차량(10)의 후부와 그 (후부의) 직후방의 모습의 화상이 포함되어 찍히도록, 카메라 유닛(11)은 광축(光軸)의 방향이 조정되어 설치된다.
따라서, BM 화상은, 차량(10)에 실내 백미러가 설치되어 있으면, 그 실내 백미러에서 관찰할 수 있는, 차량(10)의 후부의 직후방보다 후방의 모습이 찍히는 화상이다. 또한, RV 화상은, 차량(10)의 후부와 그 직후방의 모습이 찍히는 화상이다. RV 화상에는, 실내 백미러에서는 사각(死角)이 되는 차량(10)의 후부의 직후방이 찍히므로, RV 화상은, 차량(10)의 후진 시에, 특히 유용하다. 또한, RV 화상은 차량(10)을 상부로부터 내려다 본 것 같은 부감 화상의 생성에 사용할 수 있다.
또한, 상술한 바와 같은 BM 화상 및 RV 화상을 추출할 수 있는 촬영 화상을 촬영할 수 있다면, 카메라 유닛(11)을 설치하는 위치는, 차량(10)의 리어 글래스 상부에 한정되는 것은 아니다. 예를 들어, 카메라 유닛(11)은 차량(10)의 리어 글래스 상부 외에도, 차량(10)의 후부의 번호판의 상부의 위치 P11 등에 설치할 수 있다.
도 2는, 도 1의 차량(10)의 차 내의 구성예를 나타내는 사시도이다.
차량(10)의 차 내의 실내 백미러가 설치되는 위치에는, BM 화상을 표시하는 BM 표시부(21)가 마련되어 있다. BM 표시부(21)는 실내 백미러의 대체가 되는 표시부이다.
차량(10)의 차 내의 대시보드의 중앙의 위치에는, RV 화상을 표시하는 RV 표시부(22)가 마련되어 있다.
또한, 차량(10)의 차 내의 대시보드의 운전석측에는, 운전자를 촬영하는 차 내 카메라(23)가 마련되어 있다. 차 내 카메라(23)로는, 운전자를 촬영하여, 그 운전자가 찍히는 화상이 출력된다. 차량(10)에서는, 운전자가 찍히는 화상으로부터, 운전자의 시선이나 헤드부의 위치가 검출된다.
여기서, 운전자를 촬영하는 차 내 카메라(23)는, 대시보드 이외의 임의의 위치, 예를 들어 BM 표시부(21)의 상부의 위치 P21 등에 마련할 수 있다.
<뷰잉 시스템의 제1 구성예>
도 3은, 차량(10)에 탑재된 뷰잉 시스템의 제1 구성예를 나타내는 블록도이다.
뷰잉 시스템은, 도 1 및 도 2에서 설명한 카메라 유닛(11), BM 표시부(21) 및 RV 표시부(22)를 갖는다.
카메라 유닛(11)은 광학계(31), 이미지 센서(32), 출력부(33), 취득부(41), 검출부(42) 및 제어부(43)를 갖는다.
광학계(31)는 집광 렌즈나 조리개 등의 광학 부품으로 구성되고, 광학계(31)에 입사하는 광을, 이미지 센서(32)에 집광시킨다.
이미지 센서(32)는, 광학계(31)로부터의 광을 수광하여, 광전 변환을 행함으로써, BM 화상이나 RV 화상이 되는 화상을 포함하는 촬영 화상을 촬영한다. 그리고, 이미지 센서(32)는 제어부(43)의 제어에 따라서 촬영 화상으로부터, BM 화상 및 RV 화상(이 되는 화상)을 판독하여 출력한다. 여기서, 이미지 센서(32)가 촬영 화상으로부터 판독하여 출력하는 화상을 판독 화상이라고도 한다. 이미지 센서(32)가 출력하는 판독 화상은, 출력부(33)에 공급된다.
출력부(33)는, 이미지 센서(32)로부터의 판독 화상으로서의 BM 화상 및 RV 화상을, 카메라 유닛(11)의 외부에 전송하는 출력 IF(Interface)이며, BM 화상을 BM 표시부(21)에 전송함과 함께, RV 화상을 RV 표시부(22)에 전송한다. BM 표시부(21)에서는, 출력부(33)로부터의 BM 화상이, BM 표시부(21)의 사양에 따라서 표시되고, RV 표시부(22)에서는, 출력부(33)로부터의 RV 화상이, RV 표시부(22)의 사양에 따라서 표시된다. 출력부(33)는, BM 화상 및 RV 화상의 포맷 변환 그 밖의 화상 처리를, 필요에 따라서 행할 수 있다.
취득부(41)는 차량(10)에서 취득되는 차량 정보를 차량(10)으로부터, 차량(10)에 구축된 네트워크(차량 정보 네트워크)를 통해 취득(수신)하고, 검출부(42)에 공급한다.
여기서, 차량 정보란, 예를 들어 차량(10)이 갖는 자이로로부터 얻어지는 자이로 정보, 차량(10)의 서스펜션에 관한 서스펜션 정보, 차량(10)의 전방을 촬영하는 프론트 카메라로부터 얻어지는 프론트 카메라 화상, 및 GPS(Global Positioning System)로부터 얻어지는 GPS 정보, 차량(10)의 차속이나 주행 방향(전진 또는 후진) 등의 주행 상태를 나타내는 주행 정보, 차 내 카메라(23)로 촬영된 화상으로부터 구해지는 차량(10)의 운전자의 시선 및 헤드부의 위치, 차량(10)이 갖는 내비게이션 시스템에서 사용되는 3D(Dimension)맵, ADAS(Advanced Driving Assist System)/자동 운전 시스템에서 사용되는 고정밀도 맵 등의, 차량(10)에서 취득할 수 있는 모든 정보를 포함한다. 차속으로서는, 예를 들어 차량(10)이 속도 센서를 탑재하고 있는 경우에는, 그 속도 센서가 출력하는 속도 정보를 채용할 수 있다. 주행 방향으로서는, 예를 들어 트랜스미션의 상태를 나타내는 기어 정보를 채용할 수 있다.
취득부(41)는, 필요에 따라서 1 이상의 차량 정보를 취득하여, 검출부(42)에 공급한다.
뷰잉 시스템의 제1 구성예에서는, 취득부(41)는 차량 정보로서의, 예를 들어 자이로 정보, 또는 GPS 정보 및 3D 맵(고정밀도 맵)을 취득하여, 검출부(42)에 공급한다.
검출부(42)는 취득부(41)로부터의 차량 정보를 사용하여, 차량(10)의 기울기를 나타내는 기울기 정보를 검출(산출)하여, 제어부(43)에 공급한다.
제어부(43)는 차량 정보에 기초하여, 이미지 센서(32)로부터의 판독 화상의 판독을 제어한다.
예를 들어, 제어부(43)는 검출부(42)가 차량 정보로부터 검출하는 기울기 정보에 따라서, 이미지 센서(32)로부터의 판독 화상의 판독을 제어한다.
즉, 제어부(43)는 검출부(42)로부터 공급되는 기울기 정보에 따라서, 이미지 센서(32)로 촬영된 촬영 화상으로부터, 판독 화상으로서 판독이 개시되는 화상의 판독 개시 위치를 산출함과 함께, 판독 화상의 사이즈(화소수)를 설정하고, 그 판독 개시 위치와 사이즈로 지정되는 판독 위치를, 이미지 센서(32)에 공급함으로써, 이미지 센서(32)로부터의 판독 화상의 판독을 제어하는 판독 제어를 행한다.
이미지 센서(32)는 제어부(43)로부터의 판독 위치의 화소의 화소 신호를 판독하여, 그 화소 신호를 화소값으로 하는 판독 화상을 출력한다.
또한, 판독 위치는, 판독 개시 위치와 사이즈로 지정하는 것 이외에도, 예를 들어 판독 개시 위치와, 판독 화상의 판독을 종료하는 판독 종료 위치로 지정할 수 있다.
여기서, 뷰잉 시스템의 제1 구성예에서는, 이미지 센서(32)가 출력하는 판독 화상은, BM 표시부(21)에서 표시되는 BM 화상이나, RV 표시부(22)에서 표시되는 RV 화상과 일치한다. 따라서, 뷰잉 시스템의 제1 구성예에서는, 판독 화상의 사이즈로서는, BM 표시부(21)에서 표시되는 BM 화상이나, RV 표시부(22)에서 표시되는 RV 화상이 설정된다.
<촬영 화상으로부터의 판독 화상의 판독 제어>
도 4는, 제어부(43)에 의한, 촬영 화상으로부터의 판독 화상으로서의 BM 화상 및 RV 화상의 판독 제어의 예를 설명하는 도면이다.
광학계(31)와, 이미지 센서(32)가 촬영하는 촬영 화상은, 예를 들어 도 4에 도시한 바와 같이, 촬영 화상(이미지 센서(32)의 수광면)이 광학계(31)(를 구성하는 렌즈)의 이미지 써클을 포함하는 위치 관계로 되어 있다.
제어부(43)는, 판독 제어에 있어서, 촬영 화상으로부터, 차량(10)의 후부의 직후방보다 후방이 찍히는 소정의 영역(차량(10)에 실내 백미러가 설치되어 있으면, 그 실내 백미러로 관찰되는 영역) R11을, BM 화상으로서 추출하도록, 이미지 센서(32)로부터의 화소 신호의 판독을 제어한다. 즉, 표시 디바이스나 화상 표시 기능의 종류(/애플리케이션)에 따라서, 이미지 센서(32)로부터의 화소 신호의 판독을 제어한다.
또한, 제어부(43)는, 판독 제어에 있어서, 판독 화상의 판독 위치를 이미지 센서(32)에 공급함으로써, 촬영 화상(중 이미지 서클 내의 화상)으로부터, 차량(10)의 후부와, 그 직후방이 찍히는 소정의 영역 R12를, RV 화상으로서 추출하도록, 이미지 센서(32)로부터의 화소 신호의 판독을 제어한다.
이미지 센서(32)는, 제어부(43)의 제어에 따라서, 촬영에 의해 얻어진 촬영 화상으로부터, BM 화상(의 화소값)이 되는 영역 R11의 화소 신호를 판독하여, 그 화소 신호를 화소값으로 하는 판독 화상을 출력함과 함께, RV 화상이 되는 영역 R12의 화소 신호를 판독하여, 그 화소 신호를 화소값으로 하는 판독 화상을 출력한다.
영역 R11 및 R12는, 제어부(43)로부터 이미지 센서(32)에 공급되는 판독 화상의 판독 위치에 따라서 지정된다.
또한, 제어부(43)는, 판독 화상으로서의 BM 화상의 판독 제어에 있어서, 차량 정보에 포함되는 운전자의 시선 및 헤드부의 위치 등에 따라서도, BM 화상으로서 추출할 영역 R11을 지정하는 판독 위치를 산출할 수 있다.
즉, 가령, 차량(10)에 백미러가 설치되어 있으면, 운전자의 시선이나 헤드부를 이동하면, 백미러에 의해 운전자가 볼 수 있는 화상에 찍히는 범위가 변화된다. 차량(10)에 백미러가 설치되어 있는 경우에 관찰할 수 있는 화상과 마찬가지의 범위가 찍히는 BM 화상을, 운전자가 볼 수 있도록, 제어부(43)는 판독 화상으로서의 BM 화상의 판독 제어에 있어서, 운전자의 시선이나 헤드부의 위치에 따라서도, BM 화상으로서 추출할 영역 R11을 지정하는 판독 위치를 산출할 수 있다.
이하에서는, 설명을 간단하게 하기 위해서, RV 화상에 대하여는, 설명을 생략한다.
<차량(10)의 상태와 BM 화상의 관계>
도 5는, 차량(10)의 상태와 BM 화상의 관계의 제1 예를 설명하는 도면이다.
도 5(A1)은 차량(10)이 평탄한 노면을 주행하고 있는 경우의 차량(10)의 상태를 나타내는 도면이다. 또한, 도 5(A2)는 차량(10)이 평탄한 노면을 주행하고 있는 경우의 BM 화상예이다.
도 5(B1)은 차량(10)이 내리막길에 당도한 경우의 차량(10)의 상태를 나타내는 도면이다. 또한, 도 5(B2)는 차량(10)이 내리막길에 당도한 경우의 BM 화상예이다.
도 5(C1)은 차량(10)이 오르막길에 당도한 경우의 차량(10)의 상태를 나타내는 도면이다. 또한, 도 5(C2)은 차량(10)이 오르막길에 당도한 경우의 BM 화상예이다.
이제, BM 화상에 찍히는 3차원 공간의 범위를, BM 범위라 하기로 한다. 또한, 이하에서는, 설명을 간단하게 하기 위해서, 운전자의 시선 및 헤드부의 위치는 고정되어 있는 것으로 한다. 따라서, 촬영 화상으로부터 BM 화상으로서 추출되는 영역 R11(의 위치), 나아가 BM 범위에 대하여, 운전자의 시선이나 헤드부의 위치를 움직이게 하는 것에 기인하는 변화는 없는 것으로 한다.
또한, 제어부(43)에 있어서, 차량(10)이 평탄한 노면에 위치하고 있는 경우(차량(10)이 기울지 않은 경우)에, 도 5에 도시한 바와 같이, 차량(10)으로부터 소정의 거리만큼 후방에 위치하는 후방 차량이, 거의 화면 중앙에 찍히는 BM 화상이 추출되도록, 판독 제어, 즉 판독 위치(판독 개시 위치 및 사이즈)의 산출이 행해지는 것으로 한다.
이 경우, 차량(10)이 내리막길에 당도하면, 차량(10)이 피치 방향으로서의 전방측으로 기울고, 차량(10)의 후부에 설치된 카메라 유닛(11)의 광축, 나아가 BM 범위가, 차량(10)이 평탄한 노면에 위치하고 있는 경우보다도 상측(하늘측)으로 기운다(도 5(B1), 도 5(B2)).
그 결과, 차량(10)이 평탄한 노면에 위치하고 있는 상태(평탄한 노면을 주행하고 있는 경우)에는 BM 화상의 거의 화면 중앙에 차량(10)으로부터 소정의 거리만큼 후방에 있는 후방 차량이 찍히는 카메라 설정의 경우, 차량(10)이 내리막길에 당도한 상태에서는, 차량(10)으로부터 소정의 거리만큼 후방에 있는 후방 차량이, 화면 하방에 찍히는 BM 화상이 얻어진다. 이 BM 화상은, 도 5에 도시한 바와 같이, 차량(10)이 평탄한 노면에 위치하고 있는 상태의 BM 화상에 비교하여, 하늘(이 찍히는 영역)의 비율이 크고, 또한 도로의 비율이 작은 화상이 된다.
따라서, 차량(10)이 내리막길에 당도한 경우의 BM 화상에서는, 차량(10)이 평탄한 노면에 위치하고 있는 경우의 BM 화상과 비교하여, 정보량이 변화된다. 즉, 예를 들어 차량(10)이 내리막길에 당도한 경우의 BM 화상에서는, 차량(10)이 평탄한 노면에 위치하고 있는 경우의 BM 화상과 비교하여, 도로에 관한 정보량이 감소된다. 또한, 차량(10)과 후방 차량의 상대 위치나, 내리막길의 기울기의 상태에 따라서는, 후방 차량의 일부가 찍히지 않거나, 후방 차량 자체가 찍히지 않는 경우가 생길 수 있다.
한편, 차량(10)이 오르막길에 당도하면, 차량(10)이 피치 방향으로서의 후방측으로 기울고, 차량(10)의 후부에 설치된 카메라 유닛(11)의 광축, 나아가 BM 범위가, 차량(10)이 평탄한 노면에 위치하고 있는 경우보다도 하측(도로측)으로 기운다(도 5(C1), 도 5(C2)).
그 결과, 차량(10)이 평탄한 노면에 위치하고 있는 상태에서는 BM 화상의 거의 화면 중앙에 차량(10)으로부터 소정의 거리만큼 후방에 있는 후방 차량이 찍히는 카메라 설정의 경우, 차량(10)이 오르막길에 당도한 상태에서는, 차량(10)으로부터 소정의 거리만큼 후방에 있는 후방 차량이, 화면 상방에 찍히는 BM 화상이 얻어진다. 이 BM 화상은, 도 5에 도시한 바와 같이, 차량(10)이 평탄한 노면에 위치하고 있는 경우의 BM 화상에 비교하여, 하늘(이 찍히는 영역)의 비율이 작으며, 또한 도로의 비율이 큰 화상이 된다.
따라서, 차량(10)이 오르막길에 당도한 경우의 BM 화상에서는, 차량(10)이 평탄한 노면에 위치하고 있는 경우의 BM 화상과 비교하여, 정보량이 변화된다. 즉, 예를 들어 차량(10)이 오르막길에 당도한 경우의 BM 화상에서는, 차량(10)이 평탄한 노면에 위치하고 있는 경우의 BM 화상과 비교하여, 하늘의 비율이 작아지므로, 하늘에 관한 정보량이 감소된다. 또한, 차량(10)과 후방 차량의 상대 위치나, 오르막길의 기울기의 상태에 따라서는, 후방 차량의 일부가 찍히지 않거나, 후방 차량 자체가 찍히지 않는 경우가 생길 수가 있다.
이상과 같이, 차량(10)이 내리막길이나 오르막길에 당도한 경우의 BM 화상에 있어서, 차량(10)이 평탄한 노면에 위치하고 있는 경우의 BM 화상으로부터 정보량이 변화되는 것은, 차량(10)의 운전자에게, 차량(10)의 운전에 적절한 BM 화상을 제공하는 관점에서는, 바람직하지 않다.
그래서, 제어부(43)는, BM 화상의 판독 제어에 있어서 검출부(42)로부터의 기울기 정보에 따라서, 이미지 센서(32)로부터의 판독 화상으로서의 BM 화상의 판독을 제어함으로써, 차량(10)의 상태에 관계없이, 차량(10)이 평탄한 노면에 위치하고 있는 경우의 BM 화상과 마찬가지의 정보량의 BM 화상이 얻어지도록 한다.
<제어부(43)에 의한 기울기 정보에 따른 판독 화상의 판독 제어>
도 6은, 제어부(43)에 의한 기울기 정보에 따른 판독 화상의 판독 제어의 예를 설명하는 도면이다.
이제, 차량(10)이 평탄한 노면에 위치하고 있는 경우에, 제어부(43)에 있어서, 이미지 센서(32)가 촬영하는 촬영 화상(이미지 센서(32)의 수광면)으로부터, 직사각형 영역 R101(의 화소의 화소 신호)이 판독되도록, 판독 제어가 행해진다고 하자. 영역 R101의 사이즈는 판독 화상으로서의 BM 화상의 사이즈와 일치한다.
예를 들어, 차량(10)이 오르막길에 당도하여, 차량(10)이 후방측으로 기울었을 경우, 제어부(43)는 기울기 정보에 따라서, 영역 R101로부터, 차량(10)의 후방측으로의 기울기의 각도에 따른 화소수분만큼 상방으로 어긋난, 영역 R101과 동일 사이즈의 영역 R102를 지정하는 판독 위치를 산출하여, 그 판독 위치의 화소 신호를 판독하도록, 판독 제어를 행한다.
또한, 예를 들어 차량(10)이 내리막길에 당도하여, 차량(10)이 전방측으로 기울었을 경우, 제어부(43)는 기울기 정보에 따라서 영역 R101로부터, 차량(10)의 전방측으로의 기울기의 각도에 따른 화소수분만큼 하방으로 어긋난, 영역 R101과 동일 사이즈의 영역 R103을 지정하는 판독 위치를 산출하여, 그 판독 위치의 화소 신호를 판독하도록, 판독 제어를 행한다.
기울기 정보에 따른 판독 위치의 산출에서는, 차량(10)이 평탄한 노면에 위치하고 있는 경우의 BM 화상과 마찬가지의 비율로, 도로나 하늘이 찍히는 판독 화상이 판독되도록, 즉 판독 화상에 찍히는 도로나 하늘의 비율이, 차량(10)이 평탄한 노면에 위치하고 있는 경우의 BM 화상과 마찬가지의 비율로 유지되도록(/접근하도록), 판독 위치가 산출된다.
제어부(43)에 있어서, 이상과 같은 판독 제어를 행함으로써, 차량(10)의 운전에 적절한 화상을 용이하게 얻을 수 있다. 즉, 차량(10)의 피치 방향의 기울기에 관계없이, 차량(10)이 평탄한 노면에 위치하고 있는 경우의 BM 화상과 마찬가지의 정보량의 BM 화상을 용이하게 얻을 수 있다.
뷰잉 시스템의 제1 구성예에서는 검출부(42)는, 취득부(41)로부터 공급되는 차량 정보로서의 자이로 정보, 또는 GPS 정보 및 3D 맵 등으로부터, (급한)언덕길을 검출하고, 차량(10)이 언덕길에 당도하였을 때의 차량(10)의 기울기 정보, 즉 여기에서는, 주로 피치 방향으로서의 전방측 및 후방측으로의 차량(10)의 기울기(의 정도)를 나타내는 기울기 정보를 검출(산출)한다. 그리고, 검출부(42)는 기울기 정보를 제어부(43)에 공급한다.
검출부(42)에서는, 예를 들어 자이로 정보를 사용하여, 차량(10)이 언덕길에 당도한 것을 검출하고, 또한 그 때의 차량(10)의 피치 방향으로서의 전방측 및 후방측으로의 기울기를 나타내는 기울기 정보를 검출할 수 있다.
또한, 검출부(42)에서는, 예를 들어 GPS 정보를 사용하여 얻어지는 현재지와 3D 맵으로부터, 차량(10)이 언덕길에 당도하는 것을 검출(추정)하고, 또한 3D 맵을 사용하여 얻어지는 언덕길의 경사를 사용하여, 차량(10)이 언덕길에 당도하였을 때의 차량(10)의 피치 방향으로서의 전방측 및 후방측으로의 기울기를 나타내는 기울기 정보를 검출(추정)할 수 있다.
제어부(43)는, 검출부(42)로부터의 기울기 정보에 따라서, 이미지 센서(32)로부터 판독 화상으로서 판독할 화상의 판독 위치를 산출하여, 이미지 센서(32)에 공급함으로써, 이미지 센서(32)로부터의 판독 화상의 판독을 제어한다.
이미지 센서(32)는 제어부(43)로부터의 판독 위치의 화소의 화소 신호를 판독하여, 그 화소 신호를 화소값으로 하는 판독 화상을 출력한다.
<이미지 센서(32)의 구성예>
도 7은, 도 3의 이미지 센서(32)의 구성예를 나타내는 도면이다.
이미지 센서(32)는 화소 어레이(51), 입력 회로(52), 행 선택 회로(53), 열 선택 회로(54), AD(Analog to Digital) 변환기(55), 라인 버퍼(56) 및 출력 회로(57)를 갖는다.
화소 어레이(51)는 복수의 화소(61)가 2차원 평면 상에 배치되어 구성된다. 화소 어레이(51)에 있어서 화소(61)가 배치되어 있는 영역이, 이미지 센서(32)의 수광면이다.
화소(61)는 거기에 입사하는 광을, 그 광의 광량에 따른 전기 신호로서의 화소 신호로 변환한다. 화소 어레이(51)로부터는, 행 선택 회로(53)에서 선택된 행에서, 열 선택 회로(54)에서 선택된 열의 화소(61)의 화소 신호가, 열 선택 회로(54)를 통해 판독되어, AD 변환기(55)에 공급된다.
입력 회로(52)에는, 제어부(43)로부터, 촬영 화상으로부터 판독하는 판독 화상의 판독 개시 위치와, 그 판독 화상의 사이즈(이하, 판독 사이즈라고도 함)로 지정되는 판독 위치가 공급된다.
입력 회로(52)는, 제어부(43)로부터의 판독 위치로서의 판독 개시 위치 및 판독 사이즈를 사용하여, 예를 들어 래스터 스캔순으로, 화소 어레이(51)의 화소(61) 중, 화소 신호의 판독을 개시할 화소(61)의 좌표를, 판독 개시 좌표(X_STA, Y_STA)로서 산출함과 함께, 화소 신호의 판독을 종료할 화소(61)의 좌표를, 판독 종료 좌표(X_END, Y_END)로서 산출한다.
입력 회로(52)는, 판독 개시 좌표(X_STA, Y_STA)의 y 좌표 Y_STA 및 판독 종료 좌표(X_END, Y_END)의 y 좌표 Y_END를, 행 선택 회로(53)에 공급함과 함께, 판독 개시 좌표(X_STA, Y_STA)의 x 좌표 X_STA 및 판독 종료 좌표(X_END, Y_END)의 x 좌표 X_END를, 열 선택 회로(54)에 공급한다(처리 PR1).
행 선택 회로(53)는, 입력 회로(52)로부터의 y 좌표 Y_STA가 나타내는 화소(61)의 행으로부터 y 좌표 Y_END가 나타내는 화소(61)의 행까지의 각 행을, 순차 선택한다(처리 PR2).
화소 어레이(51)에서는, 행 선택 회로(53)가 선택하는 행의 화소(61)로부터 화소 신호가 판독되어, 열 선택 회로(54)에 공급된다.
열 선택 회로(54)는, 화소(61)로부터 판독된 화소 신호 중, 입력 회로(52)로부터의 x 좌표 X_STA가 나타내는 화소(61)의 열로부터 x 좌표 X_END가 나타내는 화소(61)의 열까지의 각 열의 화소(61)의 화소 신호를 선택하여, AD 변환기(55)에 공급한다(처리 PR3).
AD 변환기(55)는 열 선택 회로(54)로부터의 화소 신호를, 예를 들어 1행 단위로 AD 변환하고, AD 변환 후의 화소 신호를 라인 버퍼(56)에 공급한다(처리 PR4).
라인 버퍼(56)는 AD 변환기(55)로부터의 화소 신호를 일시 기억한다.
출력 회로(57)는, 라인 버퍼(56)에 기억된 화소 신호를, 1 화소분씩 판독하고(처리 PR5), 판독 화상의 화소값으로서, 이미지 센서(32)의 외부로 출력한다.
이상과 같이 하여, 이미지 센서(32)에서는, 판독 개시 좌표(X_STA, Y_STA)의 화소(61)를, 좌측 상단의 정점으로 함과 함께, 판독 종료 좌표(X_END, Y_END)의 화소(61)를, 우측 하단의 정점으로 하는 직사각형 영역을, 판독 영역으로 하여, 그 판독 영역 내의 화소(61)의 화소 신호가 판독되고, 그 화소 신호를 화소값으로 하는 화상이, 판독 화상으로서 출력된다.
<표시 처리>
도 8은, 도 3의 뷰잉 시스템의 제1 구성예가 행하는 BM 화상을 표시하는 표시 처리의 예를 설명하는 흐름도이다.
스텝 S11에 있어서, 취득부(41)는 차량 정보로서의, 예를 들어 자이로 정보, 또는 GPS 정보 및 3D 맵을 취득하고, 검출부(42)에 공급하여, 처리는 스텝 S12로 진행한다.
스텝 S12에서는, 검출부(42)는 취득부(41)로부터의 차량 정보를 사용하여, 언덕길을 검출한다. 또한, 검출부(42)는 취득부(41)로부터의 차량 정보를 사용하여, 차량(10)이 언덕길에 당도하였을 때의 차량(10)의 기울기 정보(주로, 피치 방향으로서의 전방측 및 후방측으로의 기울기를 나타내는 기울기 정보)를 검출(산출)하여, 제어부(43)에 공급하여, 처리는 스텝 S12로부터 스텝 S13으로 진행한다.
스텝 S13에서는, 제어부(43)는 검출부(42)로부터의 기울기 정보에 따라서, 이미지 센서(32)로부터의 판독 화상의 판독 개시 위치를 산출하여, 그 판독 개시 위치와 BM 화상의 사이즈를, 판독 위치로서 이미지 센서(32)에 공급하여, 처리는 스텝 S14로 진행한다.
스텝 S14에서는, 이미지 센서(32)는 제어부(43)로부터의 판독 위치의 화소의 화소 신호를 판독하여, 그 화소 신호를 화소값으로 하는 판독 화상을 취득하여 출력한다. 이미지 센서(32)가 출력하는 판독 화상은, 출력부(33)에 공급되고, 처리는 스텝 S14로부터 스텝 S15로 진행한다.
스텝 S15에서는, 출력부(33)는 이미지 센서(32)로부터의 판독 화상을 BM 화상으로서, BM 표시부(21)에 전송하여 표시시킨다. 이에 의해, BM 표시부(21)에서는, BM 화상이 표시되고, 표시 처리는 종료된다.
이상과 같이, 뷰잉 시스템의 제1 구성예는, 주로 피치 방향으로서의 전방측 및 후방측으로의 기울기를 나타내는 기울기 정보를 검출하고, 그 기울기 정보에 따라서 이미지 센서(32)로부터의 판독 화상의 판독을 제어하므로, 차량(10)의 운전에 적절한 화상을 용이하게 제공할 수 있다. 즉, 차량(10)이 언덕길에 당도한 경우에, 차량(10)이 평탄한 노면에 위치하고 있는 경우의 BM 화상과 마찬가지의 정보량의 BM 화상을 용이하게 제공할 수 있다.
또한, 뷰잉 시스템의 제1 구성예에서는, 판독 제어에 있어서, 이미지 센서(32)로부터 BM 화상과 동일한 사이즈의 판독 화상이 판독되므로, 이미지 센서(32)로부터 BM 화상보다도 큰 사이즈의 화상이 판독되는 경우에 비교하여, BM 화상의 프레임 레이트가 저하될 우려를 억제할 수 있다.
제1 구성예의 차량 정보로서는, 자이로 정보, GPS 정보와 3D 맵의 예로 설명하였다. 단, 제1 구성예에 있어서의 차량 정보로서는, 후술하는 제2 구성예, 제3 구성예와 같이, 서스펜션 정보나 프론트 카메라 화상 등을 사용해도 된다. 이들 서스펜션 정보나 프론트 카메라 화상 등을 사용하여, 차량의 기울기를 검출하도록 해도 된다.
<뷰잉 시스템의 제2 구성예>
도 9는, 차량(10)에 탑재된 뷰잉 시스템의 제2 구성예를 나타내는 블록도이다.
또한, 도면 중, 도 3의 경우와 대응하는 부분에 대하여는, 동일한 부호를 부여하였고, 이하에서는, 그 설명은 적절히 생략한다.
도 9에 있어서, 뷰잉 시스템은 카메라 유닛(11), BM 표시부(21) 및 RV 표시부(22)를 갖는다. 또한, 도 9에 있어서, 카메라 유닛(11)은 광학계(31), 이미지 센서(32), 출력부(33), 취득부(41), 검출부(42), 제어부(71) 및 가공부(72)를 갖는다.
따라서, 도 9의 뷰잉 시스템의 제2 구성예는, 카메라 유닛(11), BM 표시부(21) 및 RV 표시부(22)를 갖는 점에서, 도 3의 경우와 공통된다.
단, 도 9의 뷰잉 시스템의 제2 구성예는, 카메라 유닛(11)에 있어서, 제어부(43) 대신에 제어부(71)가 설치됨과 함께, 가공부(72)가 새롭게 마련되어 있는 점에서, 도 3의 경우와 상이하다.
제어부(71)는 제어부(43)와 마찬가지로, 검출부(42)로부터 공급되는 기울기 정보에 따라서, 이미지 센서(32)로부터의 판독 화상의 판독을 제어한다.
단, 제어부(71)는 검출부(42)로부터 공급되는 기울기 정보에 따라서, 이미지 센서(32)로 촬영된 촬영 화상으로부터, 판독 화상의 판독 개시 위치 및 판독 사이즈를 산출하여, 그 판독 개시 위치와 판독 사이즈로 지정되는 판독 위치를, 이미지 센서(32)에 공급한다.
즉, 뷰잉 시스템의 제1 구성예에서는, 판독 화상의 사이즈가, BM 화상의 사이즈와 일치하기 ‹š문에, 판독 사이즈는 BM 화상의 사이즈로 설정되지만, 뷰잉 시스템의 제2 구성예에서는, 판독 사이즈는 기울기 정보에 따라서 산출된다.
여기서, 뷰잉 시스템의 제2 구성예에서는, 취득부(41)는 차량 정보로서의, 예를 들어 서스펜션 정보 등을 취득하여, 검출부(42)에 공급한다.
이 경우, 검출부(42)는, 취득부(41)로부터의 서스펜션 정보를 사용하여, 롤 방향으로서의 좌측 및 우측으로의 기울기를 검출하고, 그 기울기(의 정도)를 나타내는 기울기 정보를 검출(산출)한다. 그리고, 검출부(42)는 기울기 정보를 제어부(71)에 공급한다.
제어부(71)는 검출부(42)로부터의 기울기 정보에 따라서, 이미지 센서(32)가 출력하는 판독 화상을 회전시킬 회전 각도를 산출하여, 가공부(72)에 공급한다. 제어부(71)는 이상과 같이, 회전 각도를 가공부(72)에 공급함으로써, 그 회전 각도만큼 판독 화상을 회전시키도록, 가공부(72)에 의한 판독 화상의 회전을 제어한다.
가공부(72)에는, 이미지 센서(32)가 출력하는 판독 화상이 공급된다.
가공부(72)는, 제어부(71)로부터의 회전 각도에 따라서, 판독 화상을 회전시킨다. 또한, 가공부(72)는 회전 후의 판독 화상으로부터, BM 화상의 사이즈(이하, BM 사이즈라고도 함)의 화상을 절출하여, BM 화상으로서, 출력부(33)에 공급한다.
이상과 같이, 가공부(72)에서는, 판독 화상이 회전되고, 그 회전 후의 판독 화상으로부터, BM 사이즈의 화상이 절출된다. 따라서, 판독 화상은, 회전 후의 판독 화상으로부터 BM 사이즈의 화상을 절출할 수 있는 사이즈를 갖는 화상일 필요가 있다.
그 때문에, 제어부(71)는 기울기 정보에 따라서, 예를 들어 회전 후의 판독 화상으로부터 BM 사이즈의 화상을 절출할 수 있는 판독 화상의 최소의 사이즈를, 판독 사이즈로서 산출한다.
<차량(10)의 상태와 BM 화상의 관계>
도 10은, 차량(10)의 상태와 BM 화상의 관계의 제2 예를 설명하는 도면이다.
도 10(A1)은, 차량(10)이 평탄한 노면을 주행하고 있는 경우의 차량(10)의 상태를 나타내는 도면이다. 또한, 도 10(A2)는, 차량(10)이 평탄한 노면을 주행하고 있는 경우의 BM 화상예이다.
도 10(B1)은, 차량(10)이 전방의 방향에 대하여 우측에 좌측보다 높은 단차가 있는 노면에 위치하는 경우의 차량(10)의 상태를 나타내는 도면이다. 또한, 도 10(B2)는, 차량(10)이 전방의 방향에 대하여 우측에 좌측보다 높은 단차가 있는 노면에 위치하는 경우의 BM 화상예이다.
도 10(C1)은, 차량(10)이 전방의 방향에 대하여 좌측에 우측보다 높은 단차가 있는 노면에 위치하는 경우의 차량(10)의 상태를 나타내는 도면이다. 또한, 도 10(C2)는, 차량(10)이 전방의 방향에 대하여 좌측에 우측보다 높은 단차가 있는 노면에 위치하는 경우의 BM 화상예이다.
도 10에서도, 도 5의 경우와 마찬가지로, 운전자의 시선이나 헤드부의 위치를 움직이게 하는 것에 기인하여 촬영 화상으로부터 BM 화상으로서 추출되는 영역 R11은 변화되지 않는 것으로 한다.
이 경우, 차량(10)이 전방의 방향에 대하여 우측에 좌측보다 높은 단차가 있는 노면에 위치하면, 차량(10)이 롤 방향으로서의 좌측으로 기울고, 차량(10)의 후부에 설치된 카메라 유닛(11)도 마찬가지로 롤 방향으로 기운다.
그 결과, 차량(10)이 평탄한 노면에 위치하고 있는 경우(도 10(A)), BM 화상에 수평 방향으로 연장되도록 수평선이 찍힌다. 차량(10)이 우측에 높은 단차가 있는 노면에 위치하는 경우에는, 우측 하향(좌측 상향)으로 찍히는 BM 화상이 얻어진다(도 10(B)). 이 BM 화상은, 도 10에 도시한 바와 같이, 차량(10)이 평탄한 노면에 위치하고 있는 경우의 BM 화상에 비교하여, BM 화상에 찍히는 하늘이나 도로의 범위가 변화된 화상이 된다. 즉, 차량(10)이 우측에 높은 단차가 있는 노면에 위치하는 경우의 BM 화상(도 10(B))에서는, 차량(10)이 평탄한 노면에 위치하고 있는 경우에 BM 화상과 비교하여, 우측의 도로의 비율이 작아짐과 함께, 우측의 하늘의 비율이 커지고, 또한 좌측의 도로의 비율이 커짐과 함께, 좌측의 하늘의 비율이 작아진다.
따라서, 차량(10)이 우측에 높은 단차가 있는 노면에 위치하는 경우의 BM 화상에서는, 차량(10)이 평탄한 노면에 위치하고 있는 경우의 BM 화상과 비교하여, 내용이 변화된다.
한편, 차량(10)이, 전방의 방향에 대하여 좌측에 우측보다 높은 단차가 있는 노면에 위치하면, 차량(10)이 롤 방향으로서의 우측으로 기울고, 차량(10)의 후부에 설치된 카메라 유닛(11)도 마찬가지로 롤 방향으로 기운다.
그 결과, 차량(10)이 좌측에 높은 단차가 있는 노면에 위치하는 경우에는, 수평선은 우측 상향(좌측 하향)으로 찍히는 BM 화상이 얻어진다(도 10(C)). 이 BM 화상은, 도 10에 도시한 바와 같이, 차량(10)이 평탄한 노면에 위치하고 있는 경우의 BM 화상에 비교하여, BM 화상에 찍히는 하늘이나 도로의 범위가 변화된 화상이 된다. 즉, 차량(10)이 좌측에 높은 단차가 있는 노면에 위치하는 경우의 BM 화상(도 10(C))에서는, 차량(10)이 평탄한 노면에 위치하고 있는 경우에 BM 화상과 비교하여, 우측의 도로의 비율이 커짐과 함께, 우측의 하늘의 비율이 작아지고, 또한 좌측의 도로의 비율이 작아짐과 함께, 좌측의 하늘의 비율이 커진다.
따라서, 차량(10)이 좌측에 높은 단차가 있는 노면에 위치하는 경우의 BM 화상에서는, 차량(10)이 평탄한 노면에 위치하고 있는 경우의 BM 화상과 비교하여, 내용이 변화된다.
이상과 같이, 차량(10)이 좌측 또는 우측에 높은 단차가 있는 노면에 위치하는 경우의 BM 화상이, 차량(10)이 평탄한 노면에 위치하고 있는 경우의 BM 화상으로부터 변화된 것임은, 차량(10)의 운전자에게, 차량(10)의 운전에 적절한 BM 화상을 제공하는 관점에서는, 바람직하지 않다.
그래서, 제어부(71)는, BM 화상의 판독 제어에 있어서, 검출부(42)로부터의 기울기 정보에 따라서, 이미지 센서(32)로부터의 판독 화상으로서의 BM 화상의 판독을 제어함으로써, 차량(10)의 상태에 관계없이, 차량(10)이 평탄한 노면에 위치하고 있는 경우의 BM 화상과 마찬가지의 정보량의 BM 화상이 얻어지도록 한다.
<제어부(71)에 의한 기울기 정보에 따른 판독 화상의 판독 제어>
도 11은, 제어부(71)에 의한 기울기 정보에 따른 판독 화상의 판독 제어의 예를 설명하는 도면이다.
좌측의 도 11(A)는, 각각의 경우에 있어서의 이미지 센서(32) 상의 판독 영역을 도시한 도면이다. 우측의 도 11(B)는, 가공부(72)에 있어서의 절출 영역을 도시한 도면이다.
도 6에서 설명한 바와 같이, 제어부(71)에서는, 차량(10)이 평탄한 노면에 위치하고 있는 경우에, 이미지 센서(32)가 촬영하는 촬영 화상(이미지 센서(32)의 수광면)으로부터, BM 화상과 일치하는 사이즈의 직사각형 영역 R101(의 화소의 화소 신호)이 판독되도록, 판독 제어가 행해지는 것으로 한다.
예를 들어, 차량(10)이 단차가 있는 노면에 위치하고, 차량(10)이 롤 방향으로 기울었을 경우, 제어부(71)는 기울기 정보에 따라서, 차량(10)의 롤 방향으로의 기울기의 각도에 따른 화소수분만큼 영역 R101보다도 큰 사이즈의 영역 R111을 지정하는 판독 위치를 산출하여, 그 판독 위치의 화소 신호를 판독하도록, 판독 제어를 행한다.
여기서, 차량(10)이 롤 방향으로 기울었을 경우의 BM 화상에서는, 도 10에 도시한 바와 같이, 차량(10)이 평탄한 노면에 위치하고 있는 경우의 BM 화상에 수평 방향으로 연장되도록 찍히는 수평선이 기운다.
그래서, 가공부(72)에서는, 이미지 센서(32)가 판독 제어에 따라서 출력하는 판독 화상이, 그 판독 화상에 찍히는 수평선이 수평 방향으로 연장되도록 회전되고, 회전 후의 판독 화상으로부터, BM 화상(이 되는 화상)이 절출된다.
제어부(71)에 있어서, 기울기 정보에 따른 판독 위치의 산출에서는, 예를 들어 회전 후의 판독 화상으로부터 BM 화상을 절출할 수 있는 최소의 사이즈로, 영역 R101의 중심(무게 중심)을 중심으로 하는 영역 R111을 지정하는 판독 위치로서의 판독 개시 위치 및 판독 사이즈가 산출되어, 이미지 센서(32)에 공급된다.
또한, 제어부(71)에서는, 기울기 정보에 따라서, 예를 들어 이미지 센서(32)가 출력하는 판독 화상으로서의 영역 R111에 찍히는 수평선이 수평 방향으로 연장되도록 찍히게, 판독 화상으로서의 영역 R111을 회전시킬 회전 각도가 산출되어, 가공부(72)에 공급된다.
이미지 센서(32)에서는, 제어부(71)로부터의 판독 위치로서의 판독 개시 위치 및 판독 사이즈에 의해 지정되는 직사각형 영역 R111이, 판독 화상으로서 판독되어, 가공부(72)에 공급된다.
가공부(72)에서는, 이미지 센서(32)로부터의 판독 화상으로서의 영역 R111이, 제어부(71)로부터의 회전 각도만큼 회전된다. 그리고, 가공부(72)에서는, 영역 R111을 회전시킨 회전 후의 영역 R112로부터, 회전 각도가 0도인, BM 화상과 동일 사이즈의 영역 R113이, BM 화상으로서 절출된다(도 11(B)).
도 11(A)의 판독 화상은, 차량(10)이 롤 방향으로서의 우측으로 기울고, 판독 화상에 찍히는 수평선이 우측 상향으로 기운다. 그 때문에, 가공부(72)에서는, 우측 상향으로 기운 수평선이 수평 방향으로 연장되도록, 판독 화상으로서의 영역 R111이 오른쪽(시계 방향)으로 회전되고, 회전 후의 영역 R112로부터, BM 화상으로서의 영역 R113이 절출되어 있다.
이상에 의해, BM 화상으로서, 차량(10)의 운전에 적절한 화상을 용이하게 얻을 수 있다. 즉, 차량(10)의 롤 방향의 기울기에 관계없이, 차량(10)이 평탄한 노면에 위치하고 있는 경우의 BM 화상과 마찬가지의 정보량의 BM 화상을 용이하게 얻을 수 있다.
도 12는, 제어부(71)에 의한 기울기 정보에 따른 판독 화상의 판독 제어의 예를 더욱 설명하는 도면이다.
도 12(A)는, 차량(10)이 롤 방향으로 기우는 경우의 판독 화상의 판독 사이즈가, BM 화상의 사이즈보다도 커지는 것을 설명하는 도면이다. 도 12(B)는, 가공부(72)에 있어서의 회전을 설명하는 도면이다. 도 12(C)는, 가공부(72)에 있어서의 BM 화상의 절출을 설명하는 도면이다.
도 12(A)에서는, 차량(10)이 롤 방향으로서의 우측으로 기울고, 그 때문에, 판독 화상에 찍히는 수평선이 우측 상향으로 기운다.
뷰잉 시스템의 제2 구성예에서는, 검출부(42)는, 취득부(41)로부터 공급되는 차량 정보로서의 서스펜션 정보로부터, 차량(10)이 롤 방향으로 기우는 것을 검출하여, 차량(10)의 기울기를 나타내는 기울기 정보, 즉 여기에서는, 주로 롤 방향으로서의 좌측 및 우측으로의 차량(10)의 기울기(의 정도)를 나타내는 기울기 정보를 검출(산출)한다. 그리고, 검출부(42)는 기울기 정보를 제어부(71)에 공급한다.
제어부(71)는, 검출부(42)로부터의 기울기 정보에 따라서, 이미지 센서(32)로부터 판독하는 판독 화상의 판독 위치가 나타내는 영역 R111의 판독 개시 위치 및 판독 사이즈를 산출하고, 이미지 센서(32)에 공급한다. 차량(10)이 롤 방향으로 기우는 경우(롤 방향의 기울기가 0도 이외인 경우), 판독 사이즈는 BM 화상과 동일 사이즈의 영역 R101의 사이즈보다도 커진다.
또한, 제어부(71)는, 검출부(42)로부터의 기울기 정보에 따라서, 판독 화상으로서의 영역 R111을 회전시킬 회전 각도를 산출하여, 가공부(72)에 공급한다.
이미지 센서(32)는, 제어부(71)로부터의 판독 위치(판독 개시 위치 및 판독 사이즈)가 나타내는 영역 R111을 판독 화상으로서 판독하여 출력한다.
이미지 센서(32)가 출력하는 판독 화상으로서의 영역 R111은, 가공부(72)에 공급된다.
가공부(72)에서는, 영역 R111이 제어부(71)로부터의 회전 각도만큼 회전되고, 이에 의해, 수평선이 수평 방향으로 연장되게 찍히는 영역 R112가 생성된다(도 12(B)). 또한, 가공부(72)에서는, 영역 R112로부터, 영역 R101과 동일 사이즈의 영역 R113이, BM 화상으로서 절출된다(도 12(B)(C)).
<표시 처리>
도 13은, 도 9의 뷰잉 시스템의 제2 구성예가 행하는 BM 화상을 표시하는 표시 처리의 예를 설명하는 흐름도이다.
스텝 S21에 있어서, 취득부(41)는 차량 정보로서의, 예를 들어 서스펜션 정보를 취득하고, 검출부(42)에 공급하여, 처리는 스텝 S22로 진행한다.
스텝 S22에서는, 검출부(42)는 취득부(41)로부터의 차량 정보를 사용하여, 차량(10)의 롤 방향의 기울기를 검출한다. 또한, 검출부(42)는 취득부(41)로부터의 차량 정보를 사용하여, 차량(10)이 롤 방향으로 기우는 경우의, 차량(10)의 기울기 정보(주로, 롤 방향으로서의 좌측 및 우측으로의 기울기를 나타내는 기울기 정보)를 검출(산출)하여, 제어부(71)에 공급하여, 처리는 스텝 S22로부터 스텝 S23으로 진행한다.
스텝 S23에서는, 제어부(71)는 검출부(42)로부터의 기울기 정보에 따라서, 이미지 센서(32)로부터의 판독 화상의 판독 개시 위치 및 판독 사이즈를 산출하여, 그 판독 개시 위치 및 판독 사이즈를 판독 위치로서 이미지 센서(32)에 공급한다. 또한, 제어부(71)는 검출부(42)로부터의 기울기 정보에 따라서, 판독 화상을 회전시킬 회전 각도를 산출하고, 가공부(72)에 공급하여, 처리는 스텝 S23으로부터 스텝 S24로 진행한다.
스텝 S24에서는, 이미지 센서(32)는 제어부(71)로부터의 판독 위치의 화소의 화소 신호를 판독하고, 그 화소 신호를 화소값으로 하는 판독 화상을 취득하여 출력한다. 이미지 센서(32)가 출력하는 판독 화상은, 가공부(72)에 공급되고, 처리는 스텝 S24로부터 스텝 S25로 진행한다.
스텝 S25에서는, 가공부(72)는 이미지 센서(32)로부터의 판독 화상을 제어부(71)로부터의 회전 각도만큼 회전시킨다. 또한, 가공부(72)는 회전 후의 판독 화상으로부터 BM 화상을 절출하고, 출력부(33)에 공급하여, 처리는 스텝 S25로부터 스텝 S26으로 진행한다.
스텝 S26에서는, 출력부(33)는 가공부(72)로부터의 BM 화상을 BM 표시부(21)에 전송하여 표시시킨다. 이에 의해, BM 표시부(21)에서는, BM 화상이 표시되고, 표시 처리는 종료된다.
이상과 같이, 뷰잉 시스템의 제2 구성예는, 주로 롤 방향으로서의 좌측 및 우측으로의 기울기를 나타내는 기울기 정보를 검출하고, 그 기울기 정보에 따라서 이미지 센서(32)로부터의 판독 화상의 판독을 제어한다. 또한, 뷰잉 시스템의 제2 구성예에서는, 기울기 정보에 따라서 판독 화상의 회전을 제어하고, 회전 후의 판독 화상으로부터 BM 화상을 절출한다. 따라서, 뷰잉 시스템의 제2 구성예에 의하면, 차량(10)의 운전에 적절한 화상을 용이하게 제공할 수 있다. 즉, 차량(10)이 좌우에 단차가 있는 노면에 위치하고 있는 경우에, 차량(10)이 평탄한 노면에 위치하고 있는 경우의 BM 화상과 마찬가지의 정보량의 BM 화상을 용이하게 제공할 수 있다.
또한, 뷰잉 시스템의 제2 구성예에서는, 판독 제어에 있어서, 회전 후의 판독 화상으로부터 BM 화상을 절출할 수 있는 최소의 사이즈의 판독 화상이, 이미지 센서(32)로부터 판독되므로, BM 화상의 프레임 레이트가 저하될 우려를 억제할 수 있다.
제2 구성예의 차량 정보로서는, 서스펜션 정보의 예로 설명하였다. 단, 차량 정보로서는, 전술한 제1 구성예나 후술하는 제3 구성예와 같이, 자이로 정보, GPS 정보와 3D 맵, 프론트 카메라 화상 등을 사용해도 된다. 그리고, 이들 자이로 정보, GPS 정보와 3D 맵, 프론트 카메라 화상 등을 사용하여, 차량의 기울기를 검출하도록 해도 된다.
<뷰잉 시스템의 제3 구성예>
도 14는, 차량(10)에 탑재된 뷰잉 시스템의 제3 구성예를 나타내는 블록도이다.
또한, 도면 중, 도 3 또는 도 9의 경우와 대응하는 부분에 대하여는, 동일한 부호를 부여하였고, 이하에서는, 그 설명은 적절히 생략한다.
도 14에 있어서, 카메라 유닛(11), BM 표시부(21) 및 RV 표시부(22)를 갖는다. 또한, 도 14에 있어서, 카메라 유닛(11)은 광학계(31), 이미지 센서(32), 출력부(33), 취득부(41), 검출부(42), 제어부(71) 및 가공부(72)를 갖는다.
따라서, 도 14의 뷰잉 시스템의 제3 구성예는, 도 9의 뷰잉 시스템의 제2 구성예와 마찬가지로 구성된다.
단, 도 14의 뷰잉 시스템의 제3 구성예에서는, 취득부(41)는 차량 정보로서의, 예를 들어 서스펜션 정보, 또는 프론트 카메라 화상 등을 취득하여, 검출부(42)에 공급한다.
이 경우, 검출부(42)는 취득부(41)로부터의 서스펜션 정보 또는 프론트 카메라 화상을 사용하여, 노면의 요철 상황을 검출한다. 또한, 검출부(42)는, 그 노면의 요철에 의한 차량(10)의 피치 방향으로서의 전방측 및 후방측으로의 기울기, 그리고 롤 방향으로서의 좌측 및 우측으로의 기울기를 검출하고, 그 기울기(의 정도)를 나타내는 기울기 정보를 검출(산출)한다. 그리고, 검출부(42)는 기울기 정보를 제어부(71)에 공급한다.
여기서, 뷰잉 시스템의 제1 구성예에서는, 차량(10)의 피치 방향으로서의 전방측 및 후방측의 기울기에 따라서, 이미지 센서(32)로부터의 판독 화상의 판독이 제어된다. 뷰잉 시스템의 제2 구성예에서는, 차량(19)의 롤 방향으로서의 좌측 및 우측으로의 기울기에 따라서, 이미지 센서(32)로부터의 판독 화상의 판독 및 가공부(72)에서의 판독 화상의 회전이 제어된다.
이에 비해, 뷰잉 시스템의 제3 구성예에서는, 차량(10)의 피치 방향으로서의 전방측 및 후방측의 기울기, 그리고 롤 방향으로서의 좌측 및 우측으로의 기울기에 따라서, 이미지 센서(32)로부터의 판독 화상의 판독 및 가공부(72)에서의 판독 화상의 회전이 제어된다.
따라서, 뷰잉 시스템의 제3 구성예에서는, 이미지 센서(32)로부터의 판독 화상의 판독 제어로서, 뷰잉 시스템의 제1 구성예 및 제2 구성예에서 행해지는 이미지 센서(32)로부터의 판독 화상의 판독 제어의 각각을 합한 제어가 행해진다. 또한, 뷰잉 시스템의 제3 구성예에서는, 가공부(72)에서의 판독 화상의 회전 제어로서, 뷰잉 시스템의 제2 구성예에서 행해지는 판독 화상의 회전 제어와 마찬가지의 제어가 행해진다.
<제어부(71)에 의한 기울기 정보에 따른 판독 화상의 판독 제어>
도 15는, 제어부(71)에 의한 기울기 정보에 따른 판독 화상의 판독 제어의 예를 설명하는 도면이다.
도 15(A)는, 이미지 센서(32)로부터의, BM 화상보다 큰 사이즈의 판독 화상의 판독을 나타내는 도면이다. 도 15(B)는, 가공부(72)에 있어서의 판독 화상의 회전 및 절출을 나타내는 도면이다.
도 6 및 도 11에서 설명한 바와 같이, 제어부(71)에서는, 차량(10)이 평탄한 노면에 위치하고 있는 경우에, 이미지 센서(32)가 촬영하는 촬영 화상(이미지 센서(32)의 수광면)으로부터, 판독 화상으로서의 BM 화상과 일치하는 사이즈의 직사각형 영역 R101(의 화소의 화소 신호)이 판독되도록, 판독 제어가 행해지는 것으로 한다.
예를 들어, 차량(10)이 요철이 있는 노면에 위치하고, 차량(10)이 피치 방향이나 롤 방향으로 기울었을 경우, 제어부(71)는 기울기 정보에 따라서, 차량(10)의 롤 방향으로의 기울기의 각도에 따른 화소수분만큼 영역 R111보다 큰 사이즈에서, 차량(10)의 피치 방향으로의 기울기의 각도에 따른 화소수분만큼 영역 R111부터 상하 방향으로 어긋난 영역 R121을 지정하는 판독 위치를 산출하고, 그 판독 위치의 화소 신호를 판독하도록, 이미지 센서(32)의 판독 제어를 행한다.
또한, 제어부(71)에서는, 기울기 정보에 따라서, 예를 들어 이미지 센서(32)가 출력하는 판독 화상으로서의 영역 R121에 찍히는 수평선이 수평 방향으로 연장되게 찍히도록, 판독 화상으로서의 영역 R121을 회전시킬 회전 각도가 산출되어, 가공부(72)에 공급된다.
이미지 센서(32)에서는, 제어부(71)로부터의 판독 제어에 따라서, 직사각형 영역 R121이 판독 화상으로서 판독되어, 가공부(72)에 공급된다.
가공부(72)에서는, 이미지 센서(32)로부터의 판독 화상으로서의 영역 R121이, 제어부(71)로부터의 회전 각도만큼 회전된다. 그리고, 가공부(72)에서는, 영역 R121을 회전시킨 회전 후의 영역 R122로부터, 회전 각도가 0도인, BM 화상과 동일 사이즈의 영역 R123이, BM 화상으로서 절출된다.
도 15에서는, 차량(10)이 피치 방향으로서의 후방측으로 기울고, 또한 롤 방향으로서의 우측으로 기울고, 그 때문에, 이미지 센서(32)로부터는, 영역 R101보다 사이즈가 큰, 영역 R101부터 상방으로 어긋난 영역 R121이, 판독 화상으로서 판독되고 있다. 또한, 차량(10)이 롤 방향으로서의 우측으로 기울어 있기 때문에, 판독 화상으로서의 영역 R121에 찍히는 수평선은 우측 상향으로 기울어 있으므로, 가공부(72)에서는, 그 우측 상향으로 기운 수평선이 수평 방향으로 연장되도록, 판독 화상으로서의 영역 R121이 오른쪽으로 회전되고 있다. 그리고, 가공부(72)에서는, 영역 R121을 회전시킨 회전 후의 영역 R122로부터, BM 화상으로서의 영역 R123이 절출되어 있다.
이상에 의해, BM 화상으로서, 차량(10)의 운전에 적절한 화상을 용이하게 얻을 수 있다. 즉, 차량(10)의 피치 방향이나 롤 방향의 기울기에 관계없이, 차량(10)이 평탄한 노면에 위치하고 있는 경우의 BM 화상과 마찬가지의 화상 표현인 BM 화상을 용이하게 얻을 수 있다. 이에 의해, 차량(10)의 기울기에 구애받지 않고 수평선이 수평이 되는 화상을 표시할 수 있기 때문에, 후방 차량과의 일시적인 기울기의 차이에 기인하는 표시 화상의 차이(수평선 위치의 차이)를 일으키지 않는다. 운전자는 운전 중의 표시 화상의 차이(수평선 위치의 차이)를 신경쓰지 않고, 차량 후방의 상황을 파악할 수 있다.
또한, 뷰잉 시스템의 제3 구성예에 있어서, 검출부(42)에서는, 예를 들어 서스펜션 정보로부터, 차량(10)의 피치 방향 및 롤 방향의 기울기를 검출할 수 있다.
또한, 검출부(42)에서는, 예를 들어 프론트 카메라 화상으로부터 차량(10)의 전방의 노면의 요철을 인식하고, 그 요철의 인식 결과에 따라서, 인식한 요철이 있는 노면을 차량(10)이 통과할 때의 차량(10)의 피치 방향 및 롤 방향의 기울기를 추정함으로써 검출할 수 있다.
<표시 처리>
도 16은, 도 14의 뷰잉 시스템의 제3 구성예가 행하는 BM 화상을 표시하는 표시 처리의 예를 설명하는 흐름도이다.
스텝 S31에 있어서, 취득부(41)는 차량 정보로서의, 예를 들어 서스펜션 정보 또는 프론트 카메라 화상을 취득하고, 검출부(42)에 공급하여, 처리는 스텝 S32로 진행한다.
스텝 S32에서는 검출부(42)는, 취득부(41)로부터의 차량 정보를 사용하여, 차량(10)이 위치하는 노면의 요철 상황을 검출한다. 또한, 검출부(42)는 취득부(41)로부터의 차량 정보를 사용하여, 노면의 요철에 의한 차량(10)의 기울기를 나타내는 기울기 정보(피치 방향으로서의 전방측 및 후방측으로의 기울기, 그리고 롤 방향으로서의 좌측 및 우측으로의 기울기를 나타내는 기울기 정보)를 검출(산출)하고, 제어부(71)에 공급하여, 처리는 스텝 S32로부터 스텝 S33으로 진행한다.
스텝 S33에서는, 제어부(71)는 검출부(42)로부터의 기울기 정보에 따라서, 이미지 센서(32)로부터의 판독 화상의 판독 개시 위치 및 판독 사이즈를 산출하여, 그 판독 개시 위치 및 판독 사이즈를 판독 위치로서 이미지 센서(32)에 공급한다. 또한, 제어부(71)는 검출부(42)로부터의 기울기 정보에 따라서, 판독 화상을 회전시킬 회전 각도를 산출하여, 가공부(72)에 공급하여, 처리는 스텝 S33으로부터 스텝 S34로 진행한다.
스텝 S34에서는, 이미지 센서(32)는 제어부(71)로부터의 판독 위치의 화소의 화소 신호를 판독하고, 그 화소 신호를 화소값으로 하는 판독 화상을 취득하여 출력한다. 이미지 센서(32)가 출력하는 판독 화상은, 가공부(72)에 공급되고, 처리는 스텝 S34로부터 스텝 S35로 진행한다.
스텝 S35에서는, 가공부(72)는 이미지 센서(32)로부터의 판독 화상을 제어부(71)로부터의 회전 각도만큼 회전시킨다. 또한, 가공부(72)는 회전 후의 판독 화상으로부터 BM 화상을 절출하고, 출력부(33)에 공급하여, 처리는 스텝 S35로부터 스텝 S36으로 진행한다.
스텝 S36에서는, 출력부(33)는 가공부(72)로부터의 BM 화상을 BM 표시부(21)에 전송하여 표시시킨다. 이에 의해, BM 표시부(21)에서는, BM 화상이 표시되고, 표시 처리는 종료된다.
이상과 같이, 뷰잉 시스템의 제3 구성예는, 피치 방향으로서의 전방측 및 후방측으로의 기울기, 그리고 롤 방향으로서의 좌측 및 우측으로의 기울기를 나타내는 기울기 정보를 검출하고, 그 기울기 정보에 따라서 이미지 센서(32)로부터의 판독 화상의 판독을 제어한다. 또한, 뷰잉 시스템의 제3 구성예에서는, 기울기 정보에 따라서, 판독 화상의 회전을 제어하고, 회전 후의 판독 화상으로부터 BM 화상을 절출한다. 따라서, 뷰잉 시스템의 제3 구성예에 의하면, 차량(10)의 운전에 적절한 화상을 용이하게 제공할 수 있다. 즉, 차량(10)이 요철이 있는 노면에 위치하고 있는 경우에, 차량(10)이 평탄한 노면에 위치하고 있는 경우의 BM 화상과 마찬가지의 정보량의 BM 화상을 용이하게 제공할 수 있다.
또한, 뷰잉 시스템의 제3 구성예에서는, 뷰잉 시스템의 제2 구성예와 마찬가지로, 판독 제어에 있어서, 회전 후의 판독 화상으로부터 BM 화상을 절출할 수 있는 최소 사이즈의 판독 화상을, 이미지 센서(32)로부터 판독함으로써, BM 화상의 프레임 레이트가 저하될 우려를 억제할 수 있다.
제3 구성예의 차량 정보로서는, 서스펜션 정보, 프론트 카메라 화상의 예로 설명하였다. 단, 차량 정보로서는, 전술한 제1 구성예나, 제2 구성예와 같이, 자이로 정보, GPS 정보와 3D 맵 등을 사용해도 된다. 그리고, 이들 자이로 정보, GPS 정보와 3D 맵 등을 사용하여, 차량의 기울기를 검출하도록 해도 된다.
또한, 본 기술은, 차량(10)이 위치하는 노면의 상황에 의해, 차량(10)이 기운 경우 외에도, 차량(10)에 적재하는 짐이나, 차량(10)의 탑승자의 상태 등에 따라, 차량(10)이 기운 경우에도 적용할 수 있다. 즉, 본 기술은, 차량(10)이 기우는 원인에 관계없이 적용할 수 있다.
<뷰잉 시스템의 제4 구성예>
도 17은, 차량(10)에 탑재된 뷰잉 시스템의 제4 구성예를 나타내는 블록도이다.
뷰잉 시스템은, 도 1 및 도 2에서 설명한 카메라 유닛(11), BM 표시부(21) 및 RV 표시부(22)를 갖는다.
카메라 유닛(11)은 광학계(31), 이미지 센서(32), 데이터양 조정부(133), 출력부(134), 취득부(135) 및 제어부(136)를 갖는다.
광학계(31)는 집광 렌즈나 조리개 등의 광학 부품으로 구성되고, 광학계(31)에 입사하는 광을, 이미지 센서(32)에 집광시킨다.
이미지 센서(32)는 광학계(31)로부터의 광을 수광하고, 광전 변환을 행함으로써, 촬영 화상을 촬영한다. 그리고, 이미지 센서(32)는 제어부(136)의 제어에 따라서 촬영 화상으로부터, BM 화상 및 RV 화상을 추출하여 출력한다. 이미지 센서(32)가 출력하는 BM 화상 및 RV 화상은, 데이터양 조정부(133)에 공급된다.
데이터양 조정부(133)는, 제어부(136)의 제어에 따라서 이미지 센서(32)가 출력하는 BM 화상 및 RV 화상의 데이터양을 조정하고, 데이터양이 조정된 후의 BM 화상 및 RV 화상을 출력부(134)에 공급한다.
출력부(134)는, 데이터양 조정부(133)로부터의 BM 화상 및 RV 화상을, 카메라 유닛(11)의 외부에 전송하는 출력 IF(Interface)이며, BM 화상을 BM 표시부(21)에 전송함과 함께, RV 화상을 RV 표시부(22)에 전송한다. BM 표시부(21)에서는, 출력부(134)로부터의 BM 화상이, BM 표시부(21)의 사양에 따라서 표시되고, RV 표시부(22)에서는, 출력부(134)로부터의 RV 화상이, RV 표시부(22)의 사양에 따라서 표시된다. 출력부(134)는, BM 화상 및 RV 화상의 포맷 변환 그 밖의 화상 처리를, 필요에 따라서 행할 수 있다.
취득부(135)는 차량 정보를 차량(10)으로부터 취득하고, 제어부(136)에 공급한다.
취득부(135)가 취득하는 차량 정보로서는, 예를 들어 주행 정보나, BM 표시부(21) 및 RV 표시부(22)의 사양, 차량(10)의 운전자의 시선 및 헤드부의 위치, 자이로 정보 등이 있다.
주행 정보는 차량(10)의 주행 상태를 나타내는 정보이며, 구체적으로는 차속이나 주행 방향(전진 또는 후진)을 나타낸다. 차속은, 예를 들어 차량(10)이 속도 센서를 탑재하고 있는 경우에는, 그 속도 센서의 출력으로부터 취득할 수 있다. 주행 방향은, 예를 들어 트랜스미션의 상태로부터 취득할 수 있다.
BM 표시부(21) 및 RV 표시부(22)의 사양이란, 예를 들어 BM 표시부(21) 및 RV 표시부(22)의 해상도 등이며, BM 표시부(21) 및 RV 표시부(22)로부터 취득할 수 있다.
차량(10)의 운전자의 시선 및 헤드부의 위치는, 차 내 카메라(23)로 촬영된 화상으로부터 구할 수 있다.
자이로 정보란, 차량(10)의 자세(/차량의 기울기 각도)를 나타내는 정보이다. 자이로 정보는, 차량(10)이 자이로 센서를 탑재하고 있는 경우에는, 그 자이로 센서의 출력으로부터 구할 수 있다. 자이로 정보에 의하면, 차량(10)이 언덕길에 위치하고 있는지 여부를 인식할 수 있다.
제어부(136)는 취득부(135)로부터 공급되는 차량 정보에 따라서 이미지 센서(32)나 데이터양 조정부(133)를 제어한다.
즉, 제어부(136)는 차량 정보에 따라서, 예를 들어 제어부(43)와 마찬가지의 판독 제어를 행함으로써, 이미지 센서(32)에서의 촬영 화상으로부터의 BM 화상 및 RV 화상의 추출을 제어하는 추출 제어를 행한다. BM 화상 및 RV 화상의 판독 범위의 일례로서는, 도 4에서 도시되는 범위이다. 또한, 제어부(136)는 차량 정보에 따라서, 데이터양 조정부(133)에서의 BM 화상 및 RV 화상의 데이터양 조정을 제어하는 조정 제어를 행한다.
따라서, 이미지 센서(32)는 차량 정보에 따라서 촬영 화상으로부터 BM 화상 및 RV 화상을 추출하고, 데이터양 조정부(133)는 차량 정보에 따라서, BM 화상 및 RV 화상의 데이터양을 조정한다고 할 수 있다.
<이미지 센서(32)로부터 출력할 수 있는 화상>
도 18은, 이미지 센서(32)로부터 출력할 수 있는 화상의 예를 설명하는 도면이다.
이제, 이미지 센서(32)가 출력 가능한 최고 해상도의 촬영 화상을, 최고 해상도 화상이라 하기로 한다. 이미지 센서(32)는, 예를 들어 해상도(화소수) Rmax의 최고 해상도 화상을, 60fps(frame per second)(의 프레임 레이트) 이상으로 출력할 수 있는 성능을 갖는 것으로 한다.
여기에서는, 최고 해상도 화상으로부터 추출되는 최고 해상도(화소수)의 BM 화상의 해상도 RBM이, 최고 해상도 화상의 해상도 Rmax의 1/2 이하라 하자. 또한, 최고 해상도 화상으로부터 추출되는 최고 해상도의 RV 화상의 해상도 RRV가, BM 화상의 해상도 RBM 이하인 것으로 한다.
본 실시 형태에서는, 예를 들어 BM 화상의 해상도 RBM과 RV 화상의 해상도 RRV의 가산값 RBM+RRV가, 최고 해상도 화상의 해상도 Rmax의 1/2 이하인 것으로 한다. 이 경우, 해상도 Rmax에서 60fps(이상)의 최고 해상도 화상을 출력 가능한 이미지 센서(32)를 사용하면, 최고 해상도 화상의 일부의 부분 판독에 의해 얻어지는 해상도 RBM의 BM 화상과, 해상도 RRV의 RV 화상의 양쪽의 화상을, 120fps로 출력할 수 있다.
<차량(10)에서 데이터 전송에 사용할 수 있는 차량 전송 대역의 예>
도 19는, 차량(10)에서 데이터 전송에 사용할 수 있는 차량 전송 대역의 예를 설명하는 도면이다.
즉, 도 19는, 카메라 유닛(11)이 데이터양 조정부(133)에서의 데이터양의 조정없이 출력할 수 있는 BM 화상 및 RV 화상의 예를 나타내고 있다.
카메라 유닛(11)은 BM 화상으로서, 예를 들어 해상도 RBM이고, YUV가 4:2:2 포맷인, 1 화소의 비트수가 (휘도 및 색차 각각에 대하여) 8비트인 컬러 화상을 출력할 수 있다. 또한, 카메라 유닛(11)은 RV 화상으로서, 예를 들어 해상도 RRV이고, YUV가 4:2:2 포맷인, 1 화소의 비트수가 8비트인 컬러 화상을 출력할 수 있다.
해상도 RBM이고, YUV가 4:2:2 포맷인, 1 화소의 비트수가 8비트인 BM 화상을, 최고 화질의 BM 화상이라 칭하고, 해상도 RRV이고, YUV가 4:2:2 포맷인, 1 화소의 비트수가 8비트인 RV 화상을, 최고 화질의 RV 화상이라 칭하기로 한다.
본 실시 형태에서는, 카메라 유닛(11)으로부터 데이터가 전송되는 대역인 차량 전송 대역은, 예를 들어 60fps의 최고 화질의 BM 화상을 2 화면분만큼(실시간으로) 전송할 수 있는 전송 대역으로 되어 있는 것으로 한다. 본 실시 형태에서는, RBM>=RRV이므로, 60fps의 최고 화질의 BM 화상을 2 화면분만큼 전송할 수 있는 차량 전송 대역에 의하면, 예를 들어 60fps의 최고 화질의 RV 화상을 2 화면분을 전송할 수 있다. 또한, 차량 전송 대역에 의하면, 예를 들어 60fps의 최고 화질의 BM 화상 1 화면분과, 60fps의 최고 화질의 RV 화상 1 화면분의 합계 2 화면분을 전송할 수 있다.
도 18 및 도 19에서 설명한 것으로부터, 카메라 유닛(11)은 최고 화질의 BM 화상 및 RV 화상의 양쪽을 최대 120fps로 출력할 수 있다.
그러나, 본 실시 형태에서는, 차량 전송 대역은, 60fps로, 최고 화질의 BM 화상(또는 RV 화상)의 2 화면분밖에 전송할 수 없다.
차량 전송 대역을 크게 함으로써, 카메라 유닛(11)이 출력 가능한 120fps로, 최고 화질의 BM 화상 및 RV 화상의 양쪽을 전송할 수 있지만, 차량 전송 대역을 크게 하면, 뷰잉 시스템이 고비용화된다.
본 기술에서는, 뷰잉 시스템이 고비용화되는 것을 억제하기 위해서, 카메라 유닛(11)은 BM 화상이나 RV 화상의 데이터양을 적절하게 조정하고, 차량 전송 대역 내에서 BM 화상이나 RV 화상을 전송한다.
<차량 전송 대역이, 60fps로, 최고 화질의 BM 화상의 2 화면분이 전송 가능한 경우의 BM 화상 및 RV 화상의 데이터양의 조정 제어>
도 20은, 제어부(136)에 의한 BM 화상 및 RV 화상의 데이터양의 조정 제어의 제1 예를 설명하는 도면이다.
도 20의 A는, 차량(10)이 전진하고 있는 경우, 혹은 속도의 제1 역치 이상의 속도인 고속으로 후진하고 있는 경우의 조정 제어를 나타내고 있다.
이 경우, 제어부(136)는, 해상도 RBM이고 120fps인 BM 화상이 출력되며, 또한 RV 화상의 출력이 제한되도록, 데이터양 조정부(133)의 제어로서의 조정 제어를 행한다. 데이터양 조정부(133)는 제어부(136)의 조정 제어에 따라서 이미지 센서(32)로부터의 BM 화상 및 RV 화상의 데이터양을 조정하여, 해상도 RBM이고 120fps인 BM 화상을 출력함과 함께, RV 화상의 출력을 제한한다.
따라서, 이 경우, 카메라 유닛(11)으로부터는, 해상도 RBM이고 120fps인 BM 화상이 출력되고, RV 화상은 출력되지 않는다. 그 결과, BM 표시부(21)에서는, 해상도 RBM이고 120fps인 BM 화상이 표시되고, RV 표시부(22)에서는, RV 화상은 표시되지 않는다.
이상으로부터, 차량(10)이 전진하고 있는 경우, 혹은 고속으로 후진하고 있는 경우에는, 운전자는 해상도 RBM이고 120fps인 BM 화상, 즉 고해상도이고 고프레임 레이트의 BM 화상에 의해, 차량(10)의 후부의 직후방보다 후방을 확인할 수 있다.
또한, 차량(10)이 전진하고 있는 경우, 혹은 고속으로 후퇴하고 있는 경우에는, 차량(10)의 후부의 직후방의 화상을 포함하는 RV 화상은, 표시하지 않는다.
또한, 카메라 유닛(11)이 출력하는 해상도 RBM이고 120fps인 BM 화상은, 60fps의 최고 화질(해상도 RBM)의 BM 화상을 2 화면분만큼 전송할 수 있는 차량 전송 대역에 의해 전송할 수 있다.
여기서, 데이터양 조정부(133)에 있어서, 화상의 데이터양을 조정하는 데이터양 조정 방법으로서는, 상술한 바와 같이, 화상의 출력을 제한하는(화상을 출력하지 않는) 방법 외에도, 예를 들어 해상도(화소수)를 작게 하는 방법이나, 계조(1 화소의 비트수)를 작게 하는 방법, 프레임 레이트를 작게 하는 방법, 소정의 압축 부호화 방식으로 압축하는 방법 등이 있다.
데이터양 조정 방법 중에서, 화상의 출력의 제한, 해상도를 작게 하는 것, 계조를 작게 하는 것, 프레임 레이트를 작게 하는 것은, 데이터양 조정부(133)에 행하게 하는 것 외에도, 제어부(136)에 있어서, 이미지 센서(32)의 추출 제어 등의 제어를 행함으로써, 이미지 센서(32)에 행하게 할 수 있다.
즉, 화상의 출력의 제한, 예를 들어 RV 화상의 출력의 제한은, 제어부(136)에 있어서 촬영 화상으로부터의 RV 화상의 추출을 제한하도록, 이미지 센서(32)로부터의 데이터의 판독을 제어하여, 화소(51)(도 7)로부터의, RV 화상이 되는 화소 신호의 판독을 행하지 않음으로써 행할 수 있다. 제어부(136)는 차량(10)이 전진하고 있는 경우, 혹은 고속으로 후진하고 있는 경우, 차량 정보에 따라서 촬영 화상으로부터의 RV 화상의 추출을 제한하도록, 이미지 센서(32)의 추출 제어를 행할 수 있다. 물론, 이미지 센서(32)로 제한하지 않고, 데이터양 조정부(133)에 있어서 RV 화상의 출력의 제한을 행해도 된다.
화상의 해상도를 작게 하는 것은, 제어부(136)에 있어서, 예를 들어 화소 신호를 판독하는 화소(51)를 씨닝하도록, 또는 소위 SF(Source Follower) 가산이나 FD(Floating Diffusion) 가산 등에 의해, 복수의 화소(51)의 화소 신호를 가산하는 비닝(Binning)을 행하도록, 이미지 센서(32)를 제어함으로써 행할 수 있다.
계조를 작게 하는 것은, 제어부(136)에 있어서, 예를 들어 AD 변환기(55)(도 7)의 AD 변환의 비트수를 작게 하도록, 이미지 센서(32)를 제어함으로써 행할 수 있다.
프레임 레이트를 작게 하는 것은, 제어부(136)에 있어서, 예를 들어 화소(51)로부터 화소 신호를 판독하는 레이트나, AD 변환기(55)에서 AD 변환을 행하는 레이트를 작게 하도록, 이미지 센서(32)를 제어함으로써 행할 수 있다.
도 20의 B는, 차량(10)이, 제1 역치보다 작은 제2 역치 이상 또한 제1 역치 미만의 속도인 중속으로 후진하고 있는 경우의 조정 제어를 나타내고 있다.
이 경우, 제어부(136)는 해상도 RBM 미만의 해상도 RBMM이고 120fps인 BM 화상이 출력되며, 또한 해상도 RRV 미만의 해상도 RRVM이고 30fps인 RV 화상이 출력되도록, 데이터양 조정부(133)의 제어로서의 조정 제어를 행한다. 데이터양 조정부(133)는 제어부(136)의 조정 제어에 따라서 이미지 센서(32)로부터의 BM 화상 및 RV 화상의 데이터양을 조정하여, 해상도 RBMM이고 120fps인 BM 화상을 출력함과 함께, 해상도 RRVM이고 30fps인 RV 화상을 출력한다.
따라서, 이 경우, 카메라 유닛(11)으로부터는, 해상도 RBMM이고 120fps인 BM 화상과, 해상도 RRVM이고 30fps인 RV 화상이 출력된다. 그 결과, BM 표시부(21)에서는, 해상도 RBMM이고 120fps인 BM 화상이 표시되고, RV 표시부(22)에서는, 해상도 RRVM이고 30fps인 RV 화상이 표시된다.
이상으로부터, 차량(10)이 중속으로 후진하고 있는 경우에는, 운전자는 해상도 RBMM이고 120fps인 BM 화상, 즉 중해상도이고 고프레임 레이트의 BM 화상에 의해, 차량(10)의 후부의 직후방보다 후방을 확인할 수 있다. 또한, 운전자는 해상도 RRVM이고 30fps인 RV 화상, 즉 중해상도이고 저프레임 레이트의 RV 화상에 의해, 차량(10)의 후부의 직후방을 확인할 수 있다.
또한, 해상도 RRVM이고 30fps인 RV 화상의 전송에 필요한 전송 대역이, 최대 전송 레이트(여기서는 해상도 RBM의 BM 화상을 압축하지 않고 120fps로 전송하는 경우에 필요해지는 전송 레이트)와 해상도 RBMM을 120fps로 전송하는 경우에 필요해지는 전송 레이트(제1 전송 레이트)의 차의 전송 대역 이하인 것으로 한다. 이 경우, 카메라 유닛(11)이 출력하는 해상도 RBMM이고 120fps인 BM 화상, 및 해상도 RRVM이고 30fps인 RV 화상의 양쪽의 화상은, 60fps의 최고 화질의 BM 화상을 2 화면분만큼 전송할 수 있는 차량 전송 대역에 의해 전송할 수 있다.
여기서, 해상도 RRVM이고 30fps인 RV 화상의 전송에 필요한 전송 대역이, 최대 전송 레이트와 제1 전송 레이트의 차의 전송 대역 이하가 아닐 경우, 데이터양 조정부(133)에서는, BM 화상 및 RV 화상의 한쪽 또는 양쪽을, 해상도 RRVM이고 30fps인 RV 화상의 전송에 필요한 전송 대역이, 최대 전송 레이트와 제1 전송 레이트의 차의 전송 대역 이하가 되도록(해상도 RRVM의 RV 화상을 전송할 수 있는 정도가 되도록) 압축(부호화)할 수 있다. 예를 들어, 해상도 RBMM이고 120fps인 BM 화상에 대하여는, 그 일부 또는 전부를 압축(부호화)함으로써, 데이터양을 적게 할 수 있다. 해상도 RRVM이고 30fps인 RV 화상에 대하여는, 컬러 화상 그대로 또는 흑백 화상으로 변환하여, 압축 부호화함으로써 데이터양을 적게 할 수 있다.
도 20의 C는, 차량(10)이 제1 역치보다 작은 제2 역치 미만의 속도인 저속으로 후진하고 있는 경우의 조정 제어를 나타내고 있다.
이 경우, 제어부(136)는 해상도 RBM이고 60fps인 BM 화상이 출력되며, 또한 해상도 RRV이고 60fps인 RV 화상이 출력되도록, 데이터양 조정부(133)의 제어로서의 조정 제어를 행한다. 데이터양 조정부(133)는 제어부(136)의 조정 제어에 따라서 이미지 센서(32)로부터의 BM 화상 및 RV 화상의 데이터양을 조정하고, 해상도 RBM이고 60fps인 BM 화상을 출력함과 함께, 해상도 RRV이고 60fps인 RV 화상을 출력한다.
따라서, 이 경우, 카메라 유닛(11)으로부터는, 해상도 RBM이고 60fps인 BM 화상과, 해상도 RRV이고 60fps인 RV 화상이 출력된다. 그 결과, BM 표시부(21)에서는, 해상도 RBM이고 60fps인 BM 화상이 표시되고, RV 표시부(22)에서는, 해상도 RRV이고 60fps인 RV 화상이 표시된다.
이상으로부터, 차량(10)이 저속으로 후진하고 있는 경우에는, 운전자는 해상도 RBM이고 60fps인 BM 화상, 즉 고해상도이고 중프레임 레이트의 BM 화상에 의해, 차량(10)의 후부의 직후방보다 후방을 확인할 수 있다. 또한, 운전자는 해상도 RRV이고 60fps인 RV 화상, 즉 고해상도이고 중프레임 레이트의 RV 화상에 의해, 차량(10)의 후부의 직후방을 확인할 수 있다.
차량(10)이 저속으로 후진하고 있는 경우란, 예를 들어 차량(10)을 주차하려고 하는 경우 등이며, 운전자로부터 사각이 되는 차량(10)의 후부의 직후방의 확인이 중요하다. 그 때문에, 차량(10)이 저속으로 후진하고 있는 경우에는, RV 화상은 차량(10)이 고속이나 중속으로 후진하고 있는 경우보다도 고해상도이면서 고프레임 레이트로 표시된다. 이에 의해, 사각이 되는 영역의 확인과, 사각의 상황에 따른 차량 제어를 행하기 쉬워진다.
또한, 카메라 유닛(11)이 출력하는 해상도 RBM이고 60fps인 BM 화상, 및 해상도 RRV이고 60fps인 RV 화상의 양쪽의 화상은, 60fps의 최고 화질의 BM 화상을 2 화면분만큼 전송할 수 있는 차량 전송 대역에 의해 전송할 수 있다.
<차량 전송 대역이, 60fps로, 최고 화질의 BM 화상의 1 화면분이 전송 가능한 경우의 BM 화상 및 RV 화상의 데이터양의 조정 제어>
도 21은, 제어부(136)에 의한 BM 화상 및 RV 화상의 데이터양의 조정 제어의 제2 예를 설명하는 도면이다.
여기서, BM 화상 및 RV 화상의 데이터양의 조정 제어의 제2 예에서는, 차량 전송 대역이, 예를 들어 60fps(이상)의 최고 화질(해상도 RBM)의 BM 화상을 1 화면분만큼 전송할 수 있는 전송 대역으로 되어 있는 것으로 한다.
도 21의 A는, 차량(10)이 전진하고 있는 경우, 혹은 속도의 제1 역치 이상의 속도인 고속으로 후진하고 있는 경우의 조정 제어를 나타내고 있다.
이 경우, 제어부(136)는 해상도 RBM이고 60fps(이상)인 BM 화상이 출력되며, 또한 RV 화상의 출력이 제한되도록, 데이터양 조정부(133)의 제어로서의 조정 제어를 행한다. 데이터양 조정부(133)는 제어부(136)의 조정 제어에 따라서 이미지 센서(32)로부터의 BM 화상 및 RV 화상의 데이터양을 조정하여, 해상도 RBM이고 60fps인 BM 화상을 출력함과 함께, RV 화상의 출력을 제한한다.
따라서, 이 경우, 카메라 유닛(11)으로부터는, 해상도 RBM이고 60fps인 BM 화상이 출력되고, RV 화상은 출력되지 않는다. 그 결과, BM 표시부(21)에서는, 해상도 RBM이고 60fps인 BM 화상이 표시되고, RV 표시부(22)에서는, RV 화상은 표시되지 않는다.
이상으로부터, 차량(10)이 전진하고 있는 경우, 혹은 고속으로 후진하고 있는 경우에는, 운전자는 해상도 RBM이고 60fps인 BM 화상, 즉 고해상도이고 중프레임 레이트의 BM 화상에 의해, 차량(10)의 후부의 직후방보다 후방을 확인할 수 있다.
또한, 차량(10)이 전진하고 있는 경우, 혹은 고속으로 후진하고 있는 경우에는, 도 20의 A에서 설명한 바와 같이, 차량(10)의 후부의 직후방의 화상을 포함하는 RV 화상은, 표시하지 않는다.
또한, 카메라 유닛(11)이 출력하는 해상도 RBM이고 60fps인 BM 화상은, 60fps의 최고 화질(해상도 RBM)의 BM 화상을 1 화면분만큼 전송할 수 있는 차량 전송 대역에 의해 전송할 수 있다.
도 21의 B는, 차량(10)이 제1 역치보다 작은 제2 역치 이상 또한 제1 역치 미만의 속도인 중속으로 후진하고 있는 경우의 조정 제어를 나타내고 있다.
이 경우, 제어부(136)는 해상도 RBM 미만의 해상도 RBMM이고 60fps인 BM 화상이 출력되며, 또한 해상도 RRV 미만의 해상도 RRVM이고 30fps인 RV 화상이 출력되도록, 데이터양 조정부(133)의 제어로서의 조정 제어를 행한다. 데이터양 조정부(133)는 제어부(136)의 조정 제어에 따라서 이미지 센서(32)로부터의 BM 화상 및 RV 화상의 데이터양을 조정하여, 해상도 RBMM이고 60fps인 BM 화상을 출력함과 함께, 해상도 RRVM이고 30fps인 RV 화상을 출력한다.
따라서, 이 경우, 카메라 유닛(11)으로부터는, 해상도 RBMM이고 60fps인 BM 화상과, 해상도 RRVM이고 30fps인 RV 화상이 출력된다. 그 결과, BM 표시부(21)에서는, 해상도 RBMM이고 60fps인 BM 화상이 표시되고, RV 표시부(22)에서는, 해상도 RRVM이고 30fps인 RV 화상이 표시된다.
이상으로부터, 차량(10)이 중속으로 후진하고 있는 경우에는, 운전자는 해상도 RBMM이고 60fps인 BM 화상, 즉 중해상도이고 중프레임 레이트의 BM 화상에 의해, 차량(10)의 후부의 직후방보다 후방을 확인할 수 있다. 또한, 운전자는 해상도 RRVM이고 30fps인 RV 화상, 즉 중해상도이고 저프레임 레이트의 RV 화상에 의해, 차량(10)의 후부의 직후방을 확인할 수 있다.
또한, 카메라 유닛(11)이 출력하는 해상도 RBMM이고 60fps인 BM 화상, 및 해상도 RRVM이고 30fps인 RV 화상의 양쪽의 화상의 전송에 필요한 전송 대역(이하, 필요 전송 대역이라고도 함)이, 60fps의 최고 화질의 BM 화상을 1 화면분만큼 전송할 수 있는 차량 전송 대역에 수렴되지 않을 경우에는, 필요 전송 대역이 차량 전송 대역에 수렴되도록, BM 화상을, 중속용의 제1 압축률로 압축하거나, RV 화상을, 컬러 화상 그대로, 또는 흑백 화상으로 변환하고, 중속용의 제1 압축률보다 고압축인 중속용의 제2 압축률로 압축할 수 있다.
도 21의 C는, 차량(10)이 제1 역치보다 작은 제2 역치 미만의 속도인 저속으로 후진하고 있는 경우의 조정 제어를 나타내고 있다.
이 경우, 제어부(136)는 해상도 RBMM 미만의 해상도 RBML이고 60fps인 BM 화상이 출력되며, 또한 해상도 RRVM이고 30fps인 RV 화상이 출력되도록, 데이터양 조정부(133)의 제어로서의 조정 제어를 행한다. 데이터양 조정부(133)는 제어부(136)의 조정 제어에 따라서 이미지 센서(32)로부터의 BM 화상 및 RV 화상의 데이터양을 조정하여, 해상도 RBML이고 60fps인 BM 화상을 출력함과 함께, 해상도 RRVM이고 30fps인 RV 화상을 출력한다.
따라서, 이 경우, 카메라 유닛(11)으로부터는, 해상도 RBML이고 60fps인 BM 화상과, 해상도 RRV이고 30fps인 RV 화상이 출력된다. 그 결과, BM 표시부(21)에서는, 해상도 RBML이고 60fps인 BM 화상이 표시되고, RV 표시부(22)에서는, 해상도 RRVM이고 30fps인 RV 화상이 표시된다.
이상으로부터, 차량(10)이 저속으로 후진하고 있는 경우에는, 운전자는 해상도 RBML이고 60fps인 BM 화상, 즉 저해상도로 중프레임 레이트의 BM 화상에 의해, 차량(10)의 후부의 직후방보다 후방을 확인할 수 있다. 또한, 운전자는 해상도 RRVM이고 30fps인 RV 화상, 즉 중해상도이고 저프레임 레이트의 RV 화상에 의해, 차량(10)의 후부의 직후방을 확인할 수 있다.
또한, 카메라 유닛(11)이 출력하는 해상도 RBML이고 60fps인 BM 화상, 및 해상도 RRVM이고 30fps인 RV 화상의 양쪽의 화상의 전송에 필요한 필요 전송 대역이, 60fps의 최고 화질의 BM 화상을 1 화면분만큼 전송할 수 있는 차량 전송 대역에 수렴되지 않을 경우에는, 필요 전송 대역이 차량 전송 대역에 수렴되도록, BM 화상을 저속용의 제1 압축률로 압축하거나, RV 화상을 (컬러 화상 그대로) 저속용의 제1 압축률보다 고압축인 저속용의 제2 압축률로 압축할 수 있다.
여기서, 저속용의 제1 압축률로서는, 중속용의 제1 압축률보다도 고압축의 압축률을 채용할 수 있다. 중속용의 제2 압축률 및 저속용의 제2 압축률로서는, 동일한 압축률을 채용할 수 있다. 이 경우, 저속용의 제1 압축률 및 제2 압축률, 그리고 중속의 제1 압축률 및 제2 압축률의 관계는, 저속용의 제2 압축률=중속용의 제2 압축률>저속용의 제1 압축률>중속용의 제1 압축률이 된다. 단, 여기에서는, 압축률의 값이 클수록 고압축이라고 한다. 저속용의 제1 압축률 및 제2 압축률, 그리고 중속의 제1 압축률 및 제2 압축률 각각에서의 압축 후의 데이터양의 관계는, 저속용의 제2 압축률에 의한 압축 후의 데이터양=중속용의 제2 압축률에 의한 압축 후의 데이터양<저속용의 제1 압축률에 의한 압축 후의 데이터양<중속용의 제1 압축에 의한 압축 후의 데이터양이 된다.
이상, 차량(10)의 차속 및 주행 방향(전진, 후진)에 따라서, BM 화상 및 RV 화상의 데이터양을 조정하는 조정 제어에 대하여 설명하였다. 조정 제어의 방법은, 도 20 및 도 21에서 설명한 방법에 한정되는 것은 아니다. 즉, 조정 제어의 방법은 차량 전송 대역이나, 이미지 센서(32)의 성능, BM 표시부(21) 및 RV 표시부(22)의 사양 등에 따라서 적절히 설정할 수 있다. 데이터양은 표시되는 BM 화상의 화질이나 RV 화상의 화질과 관계되어 있기 때문에, 차량(10)의 차속 및 주행 방향(전진, 후진)에 따라서 BM 화상 및 RV 화상의 화질을 변화시키고 있다고 할 수 있다.
또한, 조정 제어에 있어서, BM 화상 및 RV 화상의 해상도를 작게 하는 것은, BM 화상 및 RV 화상을 구성하는 화소수를 적게 함으로써 행할 수도 있고, BM 화상 및 RV 화상의 (불가역의) 압축을, 화소수를 변화시키지 않고 행함으로써 행할 수도 있다.
BM 화상 및 RV 화상을 압축함으로써, BM 화상 및 RV 화상의 해상도를 작게 하는 경우, BM 화상 및 RV 화상을 압축하는 압축률로서는, 압축 및 신장에 의해 얻어지는, 고주파 성분 등의 일부의 주파수 성분이 상실된 BM 화상 및 RV 화상이 실질적인 해상도(화상이 갖는 최고의 주파수 성분)가, 도 20이나 도 21에서 설명한 해상도(화소수)와 등가가 되는 압축률을 채용할 수 있다.
<표시 처리>
도 22는, 도 17의 뷰잉 시스템이 행하는 BM 화상 및 RV 화상을 표시하는 표시 처리의 예를 설명하는 흐름도이다.
스텝 S111에 있어서, 이미지 센서(32)는 촬영 화상을 촬영하고, 처리는 스텝 S112로 진행한다.
스텝 S112에서는, 취득부(135)는 차량(10)으로부터 차량 정보를 취득하고, 제어부(136)에 공급하여, 처리는 스텝 S113으로 진행한다.
스텝 S113에서는, 제어부(136)는 취득부(135)로부터의 차량 정보에 따라서 이미지 센서(32)의 추출 제어를 행한다. 이미지 센서(32)는 제어부(136)의 추출 제어에 따라서 촬영 화상으로부터 BM 화상 및 RV 화상을 추출한다. 그리고, 이미지 센서(32)는 BM 화상 및 RV 화상을 데이터양 조정부(133)에 공급하여, 처리는 스텝 S113으로부터 스텝 S114로 진행한다.
스텝 S114에서는, 제어부(136)는 취득부(135)로부터의 차량 정보에 따라서 데이터양 조정부(133)의 조정 제어를 행한다. 데이터양 조정부(133)는 제어부(136)의 조정 제어에 따라서 이미지 센서(32)로부터의 BM 화상 및 RV 화상의 데이터양을 조정한다. 그리고, 데이터양 조정부(133)는, 데이터양이 조정된 BM 화상 및 RV 화상을 출력부(134)에 공급하여, 처리는 스텝 S114로부터 스텝 S115로 진행한다.
스텝 S115에 있어서, 출력부(134)는, 데이터양 조정부(133)으로부터의 데이터양이 조정된 BM 화상 및 RV 화상을, 카메라 유닛(11)의 외부로 출력하고, BM 화상을 BM 표시부(21)에 전송함과 함께, RV 화상을 RV 표시부(22)에 전송하여, 처리는 스텝 S116으로 진행한다.
스텝 S116에서는, BM 표시부(21)는 출력부(134)로부터의 BM 화상을 BM 표시부(21)의 사양에 따라서 표시함과 함께, RV 표시부(22)는 출력부(134)로부터의 RV 화상을 RV 표시부(22)의 사양에 따라서 표시한다.
<뷰잉 시스템의 제5 구성예>
도 23은, 차량(10)에 탑재된 뷰잉 시스템의 제5 구성예를 나타내는 블록도이다.
또한, 도면 중, 도 17의 경우와 대응하는 부분에 대하여는, 동일한 부호를 부여하고 있고, 이하에서는, 그 설명은 적절히 생략한다.
도 23에 있어서, 뷰잉 시스템은 카메라 유닛(11), BM 표시부(21), RV 표시부(22) 및 추출부(182)를 갖고, 카메라 유닛(11)은 광학계(31), 이미지 센서(32), 데이터양 조정부(133), 출력부(134), 취득부(135) 및 제어부(181)를 갖는다.
따라서, 도 23의 뷰잉 시스템은 카메라 유닛(11), BM 표시부(21) 및 RV 표시부(22)를 갖고, 카메라 유닛(11)이 광학계(31) 내지 취득부(135)를 갖는 점에서, 도 17의 경우와 공통된다.
단, 도 23의 뷰잉 시스템은, 추출부(182)가 새롭게 마련되어 있는 점, 및 카메라 유닛(11)에 있어서 제어부(136) 대신에 제어부(181)가 마련되어 있는 점에서, 도 17의 경우와 상이하다.
또한, 도 23에서는, 추출부(182)는 카메라 유닛(11)의 외부에 마련되어 있지만, 카메라 유닛(11)의 내부에 마련할 수 있다.
제어부(181)에는, 취득부(135)로부터 차량 정보가 공급된다. 차량 정보로서는, 예를 들어 주행 정보나, BM 표시부(21) 및 RV 표시부(22)의 사양, 자이로 정보 등이 있다. 단, 이 예에서는, 취득부(135)로부터 공급되는 차량 정보에는, 운전자의 시선 및 헤드부의 위치는 포함되지 않는다. 또한, 차량(10)의 운전자의 시선 및 헤드부의 위치는, 차량 정보의 일부로서 추출부(182)에 입력된다.
제어부(181)는 제어부(136)와 마찬가지로, 취득부(135)로부터의 차량 정보에 따라서 이미지 센서(32)의 추출 제어 및 데이터양 조정부(133)의 조정 제어를 행한다.
단, 제어부(181)는 추출 제어에 있어서, 운전자의 시선 및 헤드부의 위치 중 한쪽 또는 양쪽에 따라서, BM 화상으로서 추출할 영역 R11(의 위치)을 제어하는 대신, 영역 R11보다 사이즈가 큰 영역을 BM 화상으로서 추출시킨다.
따라서, 도 23에 있어서, 출력부(134)가 출력하는 BM 화상의 사이즈는, 도 17 및 도 12에 있어서, 출력부(134)가 출력하는 BM 화상의 사이즈보다도 크다.
도 23에 있어서, 출력부(134)가 출력하는 영역 R11보다 큰 사이즈의 BM 화상은, 추출부(182)에 공급된다.
추출부(182)에는, 출력부(134)로부터 영역 R11보다 큰 사이즈의 BM 화상이 공급되는 것 이외에도, 차량 정보 중, 운전자의 시선 및 헤드부의 위치가 공급된다.
추출부(182)는 운전자의 시선 및 헤드부의 위치 중 한쪽 또는 양쪽에 따라서, 출력부(134)로부터의 영역 R11보다 큰 사이즈의 BM 화상의 일부의 영역, 즉 영역 R11과 동일 사이즈의 영역을, BM 표시부(21)에 표시시킬 최종적인 BM 화상으로서 추출하여, BM 표시부(21)에 공급한다.
<촬영 화상으로부터의 BM 화상 및 RV 화상의 추출 제어>
도 24는, 제어부(181)에 의한, 촬영 화상으로부터의 BM 화상 및 RV 화상의 추출 제어의 예를 설명하는 도면이다.
도 24는, 도 4와 마찬가지로, 광학계(31)의 이미지 써클과, 이미지 센서(32)가 촬영하는 촬영 화상(이미지 센서(32)의 수광면)을 나타내고 있다.
제어부(181)는 추출 제어에 있어서, 제어부(136)와 마찬가지로, 영역 R12를 RV 화상으로서 추출하도록, 이미지 센서(32)로부터의 데이터의 판독을 제어한다.
또한, 제어부(181)는 추출 제어에 있어서 촬상 화상으로부터 영역 R11이 아니라, 영역 R11의 사이즈보다도 큰 사이즈의 영역 R31을, BM 화상으로서 추출하도록, 이미지 센서(32)로부터의 데이터의 판독을 제어한다.
영역 R31은, 가령 차량(10)에 실내 백미러가 설치되어 있으면, 운전자의 시선이나 헤드부를 이동함으로써, 실내 백미러에 의해 운전자가 볼 수 있는 최대의 범위를 포함하는 영역이다. 영역 R11은 운전자의 시선이나 헤드부의 위치에 따라서 위치가 변경되는 가변의 영역이지만, 영역 R31은 고정의 영역이다.
추출부(182)에서는, 이상과 같은 영역 R31로부터, 운전자의 시선 및 헤드부의 위치 중 한쪽 또는 양쪽에 따른 위치의 영역이며, 영역 R11과 동일 사이즈의 영역이, BM 표시부(21)에 표시시킬 최종적인 BM 화상으로서 추출된다. 즉, 추출부(182)에서는, 영역 R31로부터, 차량(10)에 실내 백미러가 설치되어 있으면, 운전자가 그 실내 백미러에 의해 관찰하게 될 영역 R11이, BM 화상으로서 추출된다.
<표시 처리>
도 25는, 도 23의 뷰잉 시스템이 행하는 BM 화상 및 RV 화상을 표시하는 표시 처리의 예를 설명하는 흐름도이다.
스텝 S121에 있어서, 이미지 센서(32)는 촬영 화상을 촬영하고, 처리는 스텝 S122로 진행한다.
스텝 S122에서는, 취득부(135)는 차량(10)으로부터 차량 정보를 취득하고, 제어부(136)에 공급하여, 처리는 스텝 S123으로 진행한다.
스텝 S123에서는, 제어부(136)는 이미지 센서(32)의 추출 제어를 행한다. 이미지 센서(32)는 제어부(136)의 추출 제어에 따라서, 도 24에서 설명한 바와 같이 촬영 화상으로부터, 영역 R31 및 R12를 BM 화상 및 RV 화상으로서 각각 추출한다. 그리고, 이미지 센서(32)는 BM 화상 및 RV 화상을 데이터양 조정부(133)에 공급하여, 처리는 스텝 S123으로부터 스텝 S124로 진행한다.
스텝 S124에서는, 제어부(136)는 취득부(135)로부터의 차량 정보에 따라서 데이터양 조정부(133)의 조정 제어를 행한다. 데이터양 조정부(133)는 제어부(136)의 조정 제어에 따라서 이미지 센서(32)로부터의 BM 화상 및 RV 화상의 데이터양을 조정한다. 그리고, 데이터양 조정부(133)는, 데이터양이 조정된 BM 화상 및 RV 화상을 출력부(134)에 공급하여, 처리는 스텝 S124로부터 스텝 S125로 진행한다.
스텝 S125에 있어서, 출력부(134)는, 데이터양 조정부(133)으로부터의 데이터양이 조정된 BM 화상 및 RV 화상을, 카메라 유닛(11)의 외부로 출력하여, 처리는 스텝 S126으로 진행한다. 이에 의해, 도 23에서는, BM 화상은 추출부(182)에 공급되고, RV 화상은 RV 표시부(22)에 전송된다.
스텝 S126에서는, 추출부(182)는 차량(10)으로부터 차량 정보에 포함되는 운전자의 시선 및 헤드부의 위치를 취득하고, 처리는 스텝 S127로 진행한다.
스텝 S127에서는, 추출부(182)는 출력부(134)로부터의 BM 화상으로부터, 운전자의 시선 및 헤드부의 위치에 따른 위치의, 영역 R11과 동일 사이즈의 영역을, BM 표시부(21)에 표시시킬 최종적인 BM 화상으로서 추출한다. 그리고, 추출부(182)는 최종적인 BM 화상을 BM 표시부(21)에 전송하여, 처리는 스텝 S127로부터 스텝 S128로 진행한다.
스텝 S128에서는, BM 표시부(21)는 추출부(182)로부터의 BM 화상을 BM 표시부(21)의 사양에 따라서 표시함과 함께, RV 표시부(22)는 출력부(134)로부터의 RV 화상을 RV 표시부(22)의 사양에 따라서 표시한다.
<본 기술을 적용한 컴퓨터의 설명>
이어서, 상술한 일련의 처리는 하드웨어에 의해 행할 수도 있고, 소프트웨어에 의해 행할 수도 있다. 일련의 처리를 소프트웨어에 의해 행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 범용의 컴퓨터 등에 인스톨된다.
도 26은, 상술한 일련의 처리를 실행하는 프로그램이 인스톨되는 컴퓨터의 일 실시 형태의 구성예를 나타내는 블록도이다.
프로그램은 컴퓨터에 내장되어 있는 기록 매체로서의 하드 디스크(905)나 ROM(903)에 미리 기록해 둘 수 있다.
혹은, 프로그램은 드라이브(909)에 의해 구동되는 리무버블 기록 매체(911)에 저장(기록)해 둘 수 있다. 이러한 리무버블 기록 매체(911)는 소위 패키지 소프트웨어로서 제공할 수 있다. 여기서, 리무버블 기록 매체(911)로서는, 예를 들어 플렉시블 디스크, CD-ROM(Compact Disc Read Only Memory), MO(Magneto Optical) 디스크, DVD(Digital Versatile Disc), 자기 디스크, 반도체 메모리 등이 있다.
또한, 프로그램은 상술한 바와 같은 리무버블 기록 매체(911)로부터 컴퓨터에 인스톨하는 것 이외에도, 통신망이나 방송망을 통해 컴퓨터에 다운로드하여, 내장 하드 디스크(905)에 인스톨할 수 있다. 즉, 프로그램은, 예를 들어 다운로드 사이트로부터, 디지털 위성 방송용의 인공 위성을 통해 컴퓨터에 무선으로 전송하거나, LAN(Local Area Network), 인터넷이라는 네트워크를 통해 컴퓨터에 유선으로 전송할 수 있다.
컴퓨터는 CPU(Central Processing Unit)(902)를 내장하고 있으며, CPU(902)에는, 버스(901)를 통해 입출력 인터페이스(910)가 접속되어 있다.
CPU(902)는 입출력 인터페이스(910)를 통해, 유저에 의해 입력부(907)가 조작되거나 함으로써 명령이 입력되면, 그것에 따라서 ROM(Read Only Memory)(903)에 저장되어 있는 프로그램을 실행한다. 혹은, CPU(902)는 하드 디스크(905)에 저장된 프로그램을 RAM(Random Access Memory)(904)에 로드하여 실행한다.
이에 의해, CPU(902)는 상술한 흐름도에 따른 처리, 혹은 상술한 블록도의 구성에 의해 행해지는 처리를 행한다. 그리고, CPU(902)는 그 처리 결과를 필요에 따라서, 예를 들어 입출력 인터페이스(910)를 통해, 출력부(906)로부터 출력, 혹은 통신부(908)로부터 송신, 나아가 하드 디스크(905)에 기록시키거나 한다.
또한, 입력부(907)는 키보드나 마우스, 마이크 등으로 구성된다. 또한, 출력부(906)는 LCD(Liquid Crystal Display)나 스피커 등으로 구성된다.
여기서, 본 명세서에 있어서, 컴퓨터가 프로그램에 따라서 행하는 처리는, 반드시 흐름도로서 기재된 순서에 따라서 시계열로 행해질 필요는 없다. 즉, 컴퓨터가 프로그램에 따라서 행하는 처리는, 병렬적 혹은 개별로 실행되는 처리(예를 들어, 병렬 처리 혹은 오브젝트에 의한 처리)도 포함한다.
또한, 프로그램은 하나의 컴퓨터(프로세서)에 의해 처리되는 것이어도 되고, 복수의 컴퓨터에 의해 분산 처리되는 것이어도 된다. 또한, 프로그램은 원격 컴퓨터에 전송되어 실행되는 것이어도 된다.
또한, 본 명세서에 있어서 시스템이란, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하고, 모든 구성 요소가 동일 하우징 내에 있는지 여부는 따지지 않는다. 따라서, 별개의 하우징에 수납되고, 네트워크를 통해 접속되어 있는 복수의 장치, 및 하나의 하우징 내에 복수의 모듈이 수납되어 있는 하나의 장치는, 모두 시스템이다.
또한, 본 기술의 실시 형태는 상술한 실시 형태에 한정되는 것은 아니며, 본 기술의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.
예를 들어, 본 기술은, 하나의 기능을 네트워크를 통하여 복수의 장치에서 분담하여, 공동으로 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.
또한, 상술한 흐름도에서 설명한 각 스텝은, 하나의 장치에서 실행하는 것 이외에도, 복수의 장치에서 분담하여 실행할 수 있다.
또한, 하나의 스텝에 복수의 처리가 포함되는 경우에는, 그 하나의 스텝에 포함되는 복수의 처리는, 하나의 장치에서 실행하는 것 이외에도, 복수의 장치에서 분담하여 실행할 수 있다.
또한, 본 명세서에 기재된 효과는 어디까지나 예시이지 한정되는 것은 아니며, 다른 효과가 있어도 된다.
또한, 본 기술은 이하의 구성을 취할 수 있다.
<1>
차량의 표시부에 표시될 화상을 촬영하는 이미지 센서와,
상기 차량에서 취득되는 차량 정보에 기초하여, 상기 이미지 센서로부터의 화상의 판독을 제어하는 제어부
를 구비하는 촬영 장치.
<2>
상기 차량 정보를 사용하여, 상기 차량의 기울기 정보를 검출하는 검출부를 더 구비하고,
상기 제어부는 상기 기울기 정보에 따라서 이미지 센서로부터의 화상의 판독을 제어하는
<1>에 기재된 촬영 장치.
<3>
상기 검출부는, 상기 차량의 전방측 및 후방측으로의 기울기를 나타내는 상기 기울기 정보를 검출하는
<2>에 기재된 촬영 장치.
<4>
상기 검출부는, 상기 차량의 좌측 및 우측으로의 기울기를 나타내는 상기 기울기 정보를 검출하는
<2>에 기재된 촬영 장치.
<5>
상기 검출부는, 상기 차량의 전방측 및 후방측으로의 기울기와, 상기 차량의 좌측 및 우측으로의 기울기를 나타내는 상기 기울기 정보를 검출하는
<2>에 기재된 촬영 장치.
<6>
상기 제어부는, 상기 이미지 센서에 있어서 화상이 판독되는 판독 위치를 제어하는
<1> 내지 <5> 중 어느 것에 기재된 촬영 장치.
<7>
상기 판독 위치는, 상기 이미지 센서에 있어서 화상의 판독이 개시되는 판독 개시 위치와, 상기 이미지 센서에 있어서 판독되는 화상의 사이즈로 지정되는
<6>에 기재된 촬영 장치.
<8>
상기 제어부는, 상기 표시부에 표시될 화상에 찍히는 노면의 비율이 소정의 비율로 유지되도록, 상기 이미지 센서로부터의 화상의 판독을 제어하는
<1> 내지 <7> 중 어느 것에 기재된 촬영 장치.
<9>
상기 이미지 센서로부터 판독된 화상의 회전, 및 회전 후의 화상으로부터의, 상기 표시부에 표시할 화상의 절출을 행하는 가공부를 더 구비하는
<1> 내지 <8> 중 어느 것에 기재된 촬영 장치.
<10>
상기 제어부는 상기 화상의 회전을 제어하는
<9>에 기재된 촬영 장치.
<11>
상기 제어부는 상기 차량의 기울기 정보에 따라서 상기 화상의 회전 회전 각도를 산출하여, 그 회전 각도만큼 상기 화상을 회전시키도록, 상기 화상의 회전을 제어하는
<10>에 기재된 촬영 장치.
<12>
상기 차량 정보는, 상기 차량이 갖는 자이로로부터 얻어지는 자이로 정보, 상기 차량의 서스펜션에 관한 서스펜션 정보, 상기 차량의 전방을 촬영하는 프론트 카메라로부터 얻어지는 프론트 카메라 화상, 및 GPS로부터 얻어지는 GPS 정보 중 1 이상인
<1> 내지 <11> 중 어느 것에 기재된 촬영 장치.
<13>
상기 표시부는 클래스 I 미러의 대체가 되는 표시부인
<1> 내지 <12> 중 어느 것에 기재된 촬영 장치.
<14>
차량에서 취득되는 차량 정보에 기초하여, 상기 차량의 표시부에 표시될 화상을 촬영하는 이미지 센서로부터의 화상의 판독을 제어하는 제어 스텝을 구비하는
제어 방법.
<15>
차량에서 취득되는 차량 정보에 기초하여, 상기 차량의 표시부에 표시될 화상을 촬영하는 이미지 센서로부터의 화상의 판독을 제어하는 제어부
로서, 컴퓨터를 기능시키기 위한 프로그램.
<16>
상기 차량 정보를 사용하여, 상기 차량의 기울기 정보를 검출하는 검출 스텝을 더 구비하고,
상기 이미지 센서로부터의 화상의 판독 제어는 상기 기울기 정보에 따라서 이루어지는
것을 특징으로 하는 <14>에 기재된 제어 방법.
<17>
상기 차량 정보를 사용하여, 상기 차량의 기울기 정보를 검출하는 검출부로서, 컴퓨터를 더 기능시키는 프로그램이며,
상기 이미지 센서로부터의 화상의 판독의 제어는 상기 기울기 정보에 따라서 이루어지는
것을 특징으로 하는 <15>에 기재된 프로그램.
<18>
상기 차량 정보는 차량의 속도 정보와 기어 정보 중 적어도 하나를 포함하는
<1> 내지 <13> 중 어느 것에 기재된 촬영 장치.
<19>
상기 차량 정보는 차량의 속도 정보와 기어 정보 중 적어도 하나를 포함하는
<14> 또는 <16>에 기재된 제어 방법.
<20>
상기 차량 정보는 차량의 속도 정보와 기어 정보 중 적어도 하나를 포함하는
<15> 또는 <17>에 기재된 프로그램.
10: 차량
11: 카메라 유닛
21: BM 표시부
22: RV 표시부
23: 차 내 카메라
31: 광학계
32: 이미지 센서
33: 출력부
41: 취득부:
42: 검출부:
43: 제어부
51: 화소 어레이
52: 입력 회로
53: 줄 선택 회로
54: 열 선택 회로
55: AD 변환기
56: 라인 버퍼
57: 출력 회로
61: 화소
71: 제어부
72: 가공부
133: 데이터양 조정부
134: 출력부
135: 취득부
136: 제어부
181: 제어부
182: 추출부
901: 버스
902: CPU
903: ROM
904: RAM
905: 하드 디스크
906: 출력부
907: 입력부
908: 통신부
909: 드라이브
910: 입출력 인터페이스
911: 리무버블 기록 매체

Claims (20)

  1. 차량의 표시부에 표시될 화상을 촬영하는 이미지 센서와,
    상기 차량에서 취득되는 차량 정보에 기초하여, 상기 이미지 센서로부터의 화상의 판독을 제어하는 제어부
    를 구비하는 촬영 장치.
  2. 제1항에 있어서, 상기 차량 정보를 사용하여, 상기 차량의 기울기 정보를 검출하는 검출부를 더 구비하고,
    상기 제어부는 상기 기울기 정보에 따라서 이미지 센서로부터의 화상의 판독을 제어하는
    촬영 장치.
  3. 제2항에 있어서, 상기 검출부는, 상기 차량의 전방측 및 후방측으로의 기울기를 나타내는 상기 기울기 정보를 검출하는
    촬영 장치.
  4. 제2항에 있어서, 상기 검출부는, 상기 차량의 좌측 및 우측으로의 기울기를 나타내는 상기 기울기 정보를 검출하는
    촬영 장치.
  5. 제2항에 있어서, 상기 검출부는, 상기 차량의 전방측 및 후방측으로의 기울기와, 상기 차량의 좌측 및 우측으로의 기울기를 나타내는 상기 기울기 정보를 검출하는
    촬영 장치.
  6. 제1항에 있어서, 상기 제어부는, 상기 이미지 센서에 있어서 화상이 판독되는 판독 위치를 제어하는
    촬영 장치.
  7. 제6항에 있어서, 상기 판독 위치는, 상기 이미지 센서에 있어서 화상의 판독이 개시되는 판독 개시 위치와, 상기 이미지 센서에 있어서 판독되는 화상의 사이즈로 지정되는
    촬영 장치.
  8. 제1항에 있어서, 상기 제어부는, 상기 표시부에 표시될 화상에 찍히는 노면의 비율이 소정의 비율로 유지되도록, 상기 이미지 센서로부터의 화상의 판독을 제어하는
    촬영 장치.
  9. 제1항에 있어서, 상기 이미지 센서로부터 판독된 화상의 회전, 및 회전 후의 화상으로부터의, 상기 표시부에 표시할 화상의 절출을 행하는 가공부를 더 구비하는
    촬영 장치.
  10. 제9항에 있어서, 상기 제어부는 상기 화상의 회전을 제어하는
    촬영 장치.
  11. 제10항에 있어서, 상기 제어부는 상기 차량의 기울기 정보에 따라서 상기 화상의 회전 회전 각도를 산출하여, 그 회전 각도만큼 상기 화상을 회전시키도록, 상기 화상의 회전을 제어하는
    촬영 장치.
  12. 제1항에 있어서, 상기 차량 정보는, 상기 차량이 갖는 자이로로부터 얻어지는 자이로 정보, 상기 차량의 서스펜션에 관한 서스펜션 정보, 상기 차량의 전방을 촬영하는 프론트 카메라로부터 얻어지는 프론트 카메라 화상, 및 GPS로부터 얻어지는 GPS 정보 중 1 이상인
    촬영 장치.
  13. 제1항에 있어서, 상기 표시부는, 클래스 I 미러의 대체가 되는 표시부인
    촬영 장치.
  14. 차량에서 취득되는 차량 정보에 기초하여, 상기 차량의 표시부에 표시될 화상을 촬영하는 이미지 센서로부터의 화상의 판독을 제어하는 제어 스텝을 구비하는
    제어 방법.
  15. 차량에서 취득되는 차량 정보에 기초하여, 상기 차량의 표시부에 표시될 화상을 촬영하는 이미지 센서로부터의 화상의 판독을 제어하는 제어부
    로서, 컴퓨터를 기능시키기 위한 프로그램.
  16. 제14항에 있어서, 상기 차량 정보를 사용하여, 상기 차량의 기울기 정보를 검출하는 검출 스텝을 더 구비하고,
    상기 이미지 센서로부터의 화상의 판독의 제어는 상기 기울기 정보에 따라서 이루어지는
    것을 특징으로 하는 제어 방법.
  17. 제15항에 있어서, 상기 차량 정보를 사용하여, 상기 차량의 기울기 정보를 검출하는 검출부로서, 컴퓨터를 더 기능시키는 프로그램이며,
    상기 이미지 센서로부터의 화상의 판독의 제어는 상기 기울기 정보에 따라서 이루어지는
    것을 특징으로 하는 프로그램.
  18. 제1항에 있어서, 상기 차량 정보는 차량의 속도 정보와 기어 정보 중 적어도 하나를 포함하는
    촬영 장치.
  19. 제14항에 있어서, 상기 차량 정보는 차량의 속도 정보와 기어 정보 중 적어도 하나를 포함하는
    제어 방법.
  20. 제15항에 있어서, 상기 차량 정보는 차량의 속도 정보와 기어 정보 중 적어도 하나를 포함하는
    프로그램.
KR1020217010721A 2018-10-31 2019-10-18 촬영 장치, 제어 방법 및 프로그램 KR20210083256A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JPJP-P-2018-204836 2018-10-31
JP2018204836 2018-10-31
JP2019039216 2019-03-05
JPJP-P-2019-039216 2019-03-05
PCT/JP2019/041037 WO2020090512A1 (ja) 2018-10-31 2019-10-18 撮影装置、制御方法、及び、プログラム

Publications (1)

Publication Number Publication Date
KR20210083256A true KR20210083256A (ko) 2021-07-06

Family

ID=70463134

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217010721A KR20210083256A (ko) 2018-10-31 2019-10-18 촬영 장치, 제어 방법 및 프로그램

Country Status (6)

Country Link
US (1) US12088950B2 (ko)
EP (1) EP3876515A4 (ko)
JP (1) JP7342024B2 (ko)
KR (1) KR20210083256A (ko)
CN (1) CN112956183B (ko)
WO (1) WO2020090512A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020090511A1 (ja) 2018-10-31 2020-05-07 ソニー株式会社 撮影装置、画像処理方法、及び、プログラム
KR102284128B1 (ko) * 2020-03-23 2021-07-30 삼성전기주식회사 차량용 카메라
JP7505398B2 (ja) * 2020-12-23 2024-06-25 トヨタ自動車株式会社 車両制御システム、車両制御方法、制御装置、及びプログラム
EP4377153A1 (en) * 2021-07-28 2024-06-05 Motherson Innovations Company Ltd. Camera monitor system, vehicle therewith and method for adjusting the same
JP2023047495A (ja) * 2021-09-27 2023-04-06 キヤノン株式会社 移動体、画像処理方法、およびコンピュータプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6245274B2 (ko) 1979-03-24 1987-09-25 Nippon Steel Corp

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004106856A1 (ja) 2003-05-29 2004-12-09 Olympus Corporation ステレオカメラ支持装置、ステレオカメラ支持方法及びキャリブレーション検出装置及びキャリブレーション補正装置並びにステレオカメラシステム
JP4391315B2 (ja) 2004-05-10 2009-12-24 浜松ホトニクス株式会社 撮像システムおよび撮像方法
JP2006254318A (ja) 2005-03-14 2006-09-21 Omron Corp 車載用カメラ及び車載用監視装置並びに前方道路領域撮像方法
JP4818816B2 (ja) * 2006-06-05 2011-11-16 富士通株式会社 駐車支援プログラム及び駐車支援装置
JP4955471B2 (ja) * 2007-07-02 2012-06-20 株式会社デンソー 画像表示装置及び車載用画像表示装置
JP5451497B2 (ja) * 2010-04-08 2014-03-26 パナソニック株式会社 運転支援表示装置
JP5316550B2 (ja) * 2011-01-05 2013-10-16 株式会社デンソー 後方視界支援システム
JP6169366B2 (ja) * 2013-02-08 2017-07-26 株式会社メガチップス 物体検出装置、プログラムおよび集積回路
WO2014132680A1 (ja) * 2013-02-28 2014-09-04 アイシン精機株式会社 車両の制御装置、及びプログラム
WO2015083228A1 (ja) * 2013-12-03 2015-06-11 富士通株式会社 表示制御装置、表示制御方法、及びプログラム
JP6507626B2 (ja) * 2014-12-19 2019-05-08 アイシン精機株式会社 車両周辺監視装置
US11178353B2 (en) * 2015-06-22 2021-11-16 Gentex Corporation System and method for processing streamed video images to correct for flicker of amplitude-modulated lights
JP6717856B2 (ja) * 2016-02-05 2020-07-08 マクセル株式会社 ヘッドアップディスプレイ装置
WO2017169752A1 (ja) * 2016-03-29 2017-10-05 京セラ株式会社 車両の姿勢検出装置、画像処理システム、車両、および車両の姿勢検出方法
CN109076163B (zh) * 2016-04-27 2021-08-31 索尼公司 成像控制装置、成像控制方法以及成像装置
MX2019000060A (es) * 2016-07-13 2019-04-01 Sony Corp Dispositivo generador de imagenes, metodo para la generacion de imagenes, y programa.
JP2018012439A (ja) * 2016-07-21 2018-01-25 株式会社富士通ゼネラル 後方視界補助装置
JP6551336B2 (ja) * 2016-08-12 2019-07-31 株式会社デンソー 周辺監査装置
US10492297B2 (en) * 2017-02-22 2019-11-26 Xerox Corporation Hybrid nanosilver/liquid metal ink composition and uses thereof
WO2018170353A1 (en) * 2017-03-17 2018-09-20 Gentex Corporation Dual display reverse camera system
US10406917B2 (en) * 2017-08-28 2019-09-10 Ford Global Technologies, Llc Systems and methods for vehicle cruise control smoothness adaptation
US10392013B2 (en) * 2017-09-30 2019-08-27 A-Hamid Hakki Collision detection and avoidance system
KR102470298B1 (ko) * 2017-12-01 2022-11-25 엘지이노텍 주식회사 카메라 보정 방법 및 장치
JP2020053734A (ja) * 2018-09-25 2020-04-02 アルパイン株式会社 電子ミラーシステム
WO2020090511A1 (ja) 2018-10-31 2020-05-07 ソニー株式会社 撮影装置、画像処理方法、及び、プログラム
JP7280006B2 (ja) * 2019-08-06 2023-05-23 アルパイン株式会社 画像処理装置、画像処理方法および画像処理プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6245274B2 (ko) 1979-03-24 1987-09-25 Nippon Steel Corp

Also Published As

Publication number Publication date
CN112956183B (zh) 2024-03-12
US12088950B2 (en) 2024-09-10
CN112956183A (zh) 2021-06-11
US20210400209A1 (en) 2021-12-23
WO2020090512A1 (ja) 2020-05-07
JPWO2020090512A1 (ja) 2021-10-07
JP7342024B2 (ja) 2023-09-11
EP3876515A4 (en) 2021-12-22
EP3876515A1 (en) 2021-09-08

Similar Documents

Publication Publication Date Title
KR20210083256A (ko) 촬영 장치, 제어 방법 및 프로그램
US10936894B2 (en) Systems and methods for processing image data based on region-of-interest (ROI) of a user
US10868981B2 (en) Shooting control apparatus, shooting control method, and shooting apparatus
JP7282798B2 (ja) 撮影装置、画像処理方法、及び、プログラム
KR101376210B1 (ko) 어라운드 뷰 모니터 시스템 및 모니터링 방법
EP3208650A1 (en) Active vehicle window for presenting information and virtual reality
KR20190034199A (ko) 화상 처리 장치 및 화상 처리 방법
US20240135551A1 (en) Systems, Apparatus, and Methods for Retrieving Image Data of Image Frames
WO2021192373A1 (ja) 表示制御装置、表示制御方法およびプログラム
JP7568022B2 (ja) 画像処理装置及び画像処理方法
US20230100099A1 (en) Image processing system, image processing method, and storage medium
US11776163B1 (en) Systems, methods, and apparatus for correcting desaturation of images with transformed color values by appling a matrix
JP7196920B2 (ja) 運転支援装置および運転支援方法、プログラム
JP2023046965A (ja) 画像処理システム、移動装置、画像処理方法、およびコンピュータプログラム
KR20240118670A (ko) 화상 처리 시스템, 이동가능 장치, 화상 처리 방법, 및 저장 매체
US12028603B2 (en) Image processing system, image processing method, storage medium, image pickup apparatus, and optical unit
JP2023106947A (ja) 撮像装置、移動体、撮像方法、及びコンピュータプログラム
JP2024094584A (ja) 撮像設定装置、撮像装置および撮像設定方法
JP2021158540A (ja) 表示制御装置、表示制御方法およびプログラム
KR20190067380A (ko) 차량 카메라를 이용한 타임랩스 영상 생성 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal