WO2023067868A1 - 車載撮像システム - Google Patents

車載撮像システム Download PDF

Info

Publication number
WO2023067868A1
WO2023067868A1 PCT/JP2022/029254 JP2022029254W WO2023067868A1 WO 2023067868 A1 WO2023067868 A1 WO 2023067868A1 JP 2022029254 W JP2022029254 W JP 2022029254W WO 2023067868 A1 WO2023067868 A1 WO 2023067868A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
vehicle
imaging system
image
vehicle imaging
Prior art date
Application number
PCT/JP2022/029254
Other languages
English (en)
French (fr)
Inventor
耕太 入江
貴清 安川
寛知 齋
竜彦 門司
Original Assignee
日立Astemo株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立Astemo株式会社 filed Critical 日立Astemo株式会社
Publication of WO2023067868A1 publication Critical patent/WO2023067868A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication

Definitions

  • the present invention relates to the configuration of an imaging system mounted on a vehicle, and more particularly to a technique effectively applied to a stereo camera that uses a plurality of cameras to generate parallax images and measure distance.
  • ADAS Advanced Driver Assistance Systems
  • an in-vehicle camera is used to monitor the surroundings of the vehicle and recognize the vehicle, and is used for alerts and collision avoidance.
  • In-vehicle cameras used for ADAS are stereo cameras that can record information in the depth direction by simultaneously photographing an object from different directions with multiple (generally two) cameras. ing. It is also possible to detect the sizes, positions, and velocities of multiple three-dimensional objects through stereoscopic processing of images captured by multiple cameras.
  • ADAS is divided into systems for luxury vehicles and systems for general vehicles, and in-vehicle cameras are required to be designed with scalability (versatility) in mind.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2002-200000 discloses an information processing device that supports obtaining an image suitable for a user's instruction to photograph an object at any timing by using a camera installed on a mobile object.
  • Patent Document 2 discloses a "vehicle driving environment detection device capable of accurately detecting not only objects in front of the vehicle but also objects present on the left and right sides in front of the vehicle and calculating distance information necessary for driving control.” disclosed.
  • Patent Document 3 discloses an "image display system capable of improving safety during driving".
  • Patent Document 4 discloses "an imaging control device capable of realizing highly accurate distance measurement using a set of cameras arranged in the vertical direction”.
  • JP 2020-106890 A Japanese Unexamined Patent Application Publication No. 2020-51942 JP 2013-62657 A WO2018/180579
  • in-vehicle cameras for ADAS are required to be designed with scalability (versatility) in mind and to further improve functionality and redundancy as stereo cameras.
  • the ECU that controls the in-vehicle camera should not be specialized for stereo cameras, but have a versatile hardware configuration.
  • Patent Documents 1 to 4 described above describes a specific configuration that simultaneously achieves the above-described reduction in size and weight, cost reduction, and scalability (versatility) of the on-vehicle camera.
  • an object of the present invention is to provide an in-vehicle imaging system that is capable of simultaneously achieving size reduction, weight reduction, cost reduction, and scalability (versatility) in an in-vehicle imaging system.
  • the present invention provides an in-vehicle imaging system mounted on a vehicle, comprising: a first camera; a second camera installed at a position different from that of the first camera; an image processing unit that processes images acquired by one camera and the second camera, the first camera and the second camera are connected by a first communication line; The camera and the image processing section are connected by a second communication line.
  • an in-vehicle imaging system that is capable of simultaneously achieving reductions in size, weight, cost, and scalability (versatility).
  • FIG. 2 is a diagram conceptually showing an area where distance information is obtained by an on-vehicle camera; It is a figure which shows the vehicle-mounted imaging system which concerns on Example 2 of this invention. It is a figure which shows the vehicle and vehicle-mounted camera which concern on Example 3 of this invention. It is a figure which shows the vehicle-mounted imaging system which concerns on Example 3 of this invention.
  • FIG. 10 is a diagram showing an in-vehicle imaging system according to Example 6 of the present invention
  • FIG. 10 is a diagram showing an in-vehicle imaging system according to Example 6 of the present invention
  • 1 is a diagram showing a conventional in-vehicle imaging system
  • FIG. 1 is a diagram showing a conventional in-vehicle imaging system
  • FIG. 10 is a diagram showing a conventional in-vehicle imaging system
  • FIGS. 11A and 11B are both diagrams showing a conventional in-vehicle imaging system.
  • FIG. 11A shows a monocular camera system for general vehicle models
  • FIG. 11B shows a stereo camera system for luxury vehicle models in which one camera is added to the monocular camera to form a stereo camera.
  • an image signal captured by the camera head 2 is transmitted to the image recognition ECU 5, and image processing is performed by the general-purpose SoC 13 mounted on the image recognition ECU 5.
  • a camera head 3 and another image recognition ECU 5 are further added to form a stereo camera.
  • An image signal captured by the camera head 3 is transmitted to another image recognition ECU 5, image processing is performed by the general-purpose SoC 13 mounted on the image recognition ECU 5, and distortion correction is performed by the image processing chip 33 mounted on the same image recognition ECU 5. , luminance correction, calibration, stereo matching processing, and the like are executed.
  • the conventional in-vehicle imaging system 32 for luxury car models is configured as described above, and has many video signal lines, which is disadvantageous in terms of size and weight reduction and reliability of the in-vehicle imaging system, and also leads to an increase in cost.
  • the image recognition ECU 5 since the image recognition ECU 5 has a stereo processing function, it cannot be used as an ECU for a monocular camera, and the ECU is designed exclusively for a stereo camera.
  • FIG. 1 is a diagram showing a vehicle and an in-vehicle camera according to this embodiment.
  • FIG. 2 is a diagram showing an in-vehicle imaging system mounted on the vehicle of FIG.
  • two camera heads 2 and 3 are mounted near the rearview mirror of the vehicle 1.
  • the in-vehicle imaging system 4 mounted on the vehicle 1, as shown in FIG. 2, includes a camera head 2 (first camera) and a camera head 3 (second 2 cameras) and an image recognition ECU 5 (image processing unit) for processing images acquired by the camera heads 2 and 3 .
  • the camera heads 2 and 3 are connected by a communication line 14 (first communication line), and the camera head 3 and the image recognition ECU 5 are connected by a communication line 15 (second communication line).
  • the camera head 2 (first camera) transmits an image signal of an image captured by the imaging element 6 to the camera head 3 (second camera) via the serializer 8 and the communication line 14 (first communication line). .
  • the camera head 3 (second camera) has an image processing chip 11 (parallax image generation unit) that generates a parallax image. and generate a parallax image.
  • image processing chip 11 parllax image generation unit
  • the camera head 3 transmits the image signal of the camera head 2 input via the deserializer 9, the image signal of the image captured by the imaging element 7, and the parallax image generated by the image processing chip 11 to the serializer 10 and the communication line. 15 (second communication line) to the image recognition ECU 5 (image processing unit).
  • the above signals input to the image recognition ECU 5 (image processing unit) via the deserializer 12 are image-processed by the general-purpose SoC 13 .
  • the vehicle-mounted imaging system 4 of this embodiment is configured as described above, and can reduce the number of video signal lines and ECUs compared to the conventional vehicle-mounted imaging system shown in FIG. 11B.
  • the image recognition ECU 5 since the image recognition ECU 5 does not need to have a hardware configuration specialized for stereo cameras, it can support a scalable system.
  • the communication line 14 also serves as power supply from the camera head 3 to the camera head 2, so there is no need to separately provide a power supply line for the camera head 2.
  • the image processing chip 11 which is a semiconductor device, has a distortion correction function, a brightness correction function (calibration function), a stereo matching process (parallax image generation function), have.
  • FIG. 3A is a diagram showing a vehicle and an in-vehicle camera of this embodiment.
  • FIG. 3B is a diagram conceptually showing a region where distance information is obtained by an onboard camera.
  • FIG. 4 is a diagram showing an in-vehicle imaging system mounted on the vehicle of FIG. 3A.
  • the image processing chip 11 is mounted on the camera head 3, and heat generated from the image processing chip 11 may affect reliability.
  • two camera heads such as an upper camera head 16 and a lower camera head 17, are vertically arranged with respect to the vehicle 1, as shown in FIG. 3A. That is, the lower camera head 17 and the upper camera head 16 are mounted at different heights.
  • the area from which distance information can be obtained is expanded compared to the horizontal arrangement described in Example 1 (FIG. 1). be able to.
  • the lower camera head 17 is arranged near the air conditioning mechanism (defroster 21) of the vehicle 1.
  • a communication line 20 connects the defroster 21 and the image recognition ECU 5 (general-purpose SoC 13).
  • the lower camera head 17 is provided with a temperature sensor 19, and when the temperature sensor 19 detects a predetermined temperature, the defroster 21 controls the air conditioning mechanism of the vehicle 1 so as to cool the lower camera head 17. .
  • another temperature sensor 18 different from the temperature sensor 19 is also provided in the upper camera head 16, and the air conditioning of the vehicle 1 is adjusted so that the difference between the value of the temperature sensor 18 and the value of the temperature sensor 19 is within a predetermined range.
  • a mechanism (defroster 21) may be controlled.
  • FIG. 5 is a diagram showing a vehicle and an in-vehicle camera according to this embodiment.
  • FIG. 6 is a diagram showing an in-vehicle imaging system mounted on the vehicle of FIG.
  • two camera heads are vertically arranged as in the second embodiment (FIG. 3A).
  • FIG. 6 shows a schematic configuration of the lower camera head 22 with built-in image processing chip.
  • the lower camera head 22 with built-in image processing chip has an L-shaped structure in which the camera housing is divided into a sensor substrate portion having a sensor substrate 25 and a main substrate portion having a main substrate 23 .
  • An image processing chip 11 is mounted on the main board 23 , and heat generated from the image processing chip 11 is radiated to the housing via a heat spreader (radiator plate) 24 .
  • the main board portion is cooled by the defroster 21 .
  • an air conditioning mechanism for the camera head with built-in image processing chip 11 is provided. 21) enables cooling.
  • the main board the board on which the image processing chip 11 is mounted
  • the protruding part from the dashboard 27 can be reduced. If the image processing chip 11 is incorporated in the camera head, the housing of the camera head becomes large.
  • the reflection of the dashboard 27 on the windshield 26 can be prevented and a clearer image can be taken.
  • FIG. 7 is a diagram showing a vehicle and an in-vehicle camera according to this embodiment.
  • the two camera heads are vertically arranged, namely, an upper camera head 16 and a lower camera head 22 with an image processing chip built-in.
  • the sensor is embedded inside the dashboard so as not to obstruct the view.
  • the dashboard has the vehicle's air conditioning system.
  • the air conditioning mechanism the defroster 21
  • FIG. 8 is a diagram showing a vehicle and an in-vehicle camera according to this embodiment.
  • the two camera heads are vertically arranged, namely, an upper camera head 16 and a lower camera head 22 with an image processing chip built-in.
  • the upper camera head 16 is arranged on the front upper side of the cowl, and the image processing chip built-in lower camera head 22 is arranged on the front lower side of the cowl.
  • FIGS. 9 and 10 are diagrams showing the in-vehicle imaging system of this embodiment.
  • FIG. 9 shows the situation when the camera head 2 (first camera) fails
  • FIG. 10 shows the situation when the camera head 3 (second camera) fails.
  • the camera head 2 or the camera head 3 when either the camera head 2 or the camera head 3 fails, it can be used as a conventional monocular camera system as shown in FIG. 11A. Redundancy can be provided.
  • the camera head 3 can be either the camera head 2 (first camera) or the camera head 3 (second camera) when the common area of the imaging areas of the camera head 2 (first camera) and the camera head 3 (second camera) is equal to or larger than a predetermined area.
  • 3 can be considered to be approximately the same as the imaging area of the monocular camera, so that the image signal of either the camera head 2 or the camera head 3 is transmitted to the image recognition ECU 5 (image processing unit). You can do it.
  • the image recognition ECU 5 image processing unit
  • the image recognition ECU 5 image processing unit Processing load can be reduced.
  • the present invention is not limited to the above-described embodiments, and includes various modifications.
  • the above-described embodiments have been described in detail in order to explain the present invention in an easy-to-understand manner, and are not necessarily limited to those having all the described configurations.
  • it is possible to replace part of the configuration of one embodiment with the configuration of another embodiment and it is also possible to add the configuration of another embodiment to the configuration of one embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)

Abstract

車両に搭載される車載撮像システムにおいて、小型軽量化及び低コスト化、スケーラビリティ（汎用性）を同時に実現可能な車載撮像システムを提供する。車両に搭載される車載撮像システムであって、第１のカメラと、前記第１のカメラと異なる位置に設置された第２のカメラと、前記第１のカメラおよび前記第２のカメラで取得した画像を処理する画像処理部と、を備え、前記第１のカメラと前記第２のカメラとは、第１の通信線によって接続され、前記第２のカメラと前記画像処理部とは、第２の通信線によって接続されることを特徴とする。

Description

車載撮像システム
　本発明は、車両に搭載される撮像システムの構成に係り、特に、複数のカメラを用いて視差画像を生成し距離測定を行うステレオカメラに適用して有効な技術に関する。
　交通事故を未然に防止するため、自動車や自動二輪車向けのＡＤＡＳ（Advanced Driver Assistance Systems：先進運転支援システム）の導入が進んでいる。例えば、車載カメラを利用して車両周辺の監視や車両認識を行い、注意喚起（アラート）・衝突回避などに活用している。
　ＡＤＡＳに使用される車載カメラには、複数の（一般的には２つの）カメラで対象物を異なる方向から同時に撮影することにより、その奥行き方向の情報も記録できるようにしたステレオカメラが用いられている。複数のカメラで撮影した画像の立体視処理により、複数の立体物の大きさ、位置、速度を検出することもできる。
　ＡＤＡＳは、高級車種向けのシステムと一般車種向けのシステムに分かれており、車載カメラにはスケーラビリティ（汎用性）を考慮した設計が求められている。
　また、車載カメラでは、ルームミラーの裏側等に単眼カメラを設置する従来のセンシングシステムに対して、カメラを１台追加して機能向上や冗長性向上を狙ったセンシングシステムの開発も進められている。
　本技術分野の背景技術として、例えば、特許文献１のような技術がある。特許文献１には、「移動体に設置されたカメラにより、ユーザが任意のタイミングで行う対象物の撮影指示に適した画像を得られるように支援する情報処理装置」が開示されている。
　また、特許文献２には、「車両の前方のみならず前方の左右に存在する対象物も的確に検出して走行制御に必要な距離情報を算出することのできる車両の走行環境検出装置」が開示されている。
　また、特許文献３には、「運転時の安全性を向上できる画像表示システム」が開示されている。
　また、特許文献４には、「垂直方向に並べられた１組のカメラによる距離計測を、高精度に実現させることが可能な撮像制御装置」が開示されている。
特開２０２０－１０６８９０号公報 特開２０２０－５１９４２号公報 特開２０１３－６２６５７号公報 国際公開第２０１８／１８０５７９号
　上述したように、ＡＤＡＳ向けの車載カメラでは、スケーラビリティ（汎用性）を考慮した設計と、ステレオカメラとしてのさらなる機能向上及び冗長性向上が要求されている。
　しかしながら、単に従来の単眼カメラにカメラを１台追加してステレオ視を実現しようとした場合、それらを制御するための電子制御装置（ＥＣＵ）や通信線の数が増加してしまい、車載システムの小型軽量化や低コスト化に不利である。
　また、スケーラビリティ（汎用性）を考慮した設計に対応するためには、車載カメラを制御するＥＣＵはステレオカメラに特化せず、汎用性のあるハードウェア構成とすることが望まれる。
　上記特許文献１から特許文献４のいずれにも、上述したような車載カメラの小型軽量化及び低コスト化、スケーラビリティ（汎用性）を同時に実現するような具体的な構成については記載されていない。
　そこで、本発明の目的は、車両に搭載される車載撮像システムにおいて、小型軽量化及び低コスト化、スケーラビリティ（汎用性）を同時に実現可能な車載撮像システムを提供することにある。
　上記課題を解決するために、本発明は、車両に搭載される車載撮像システムであって、第１のカメラと、前記第１のカメラと異なる位置に設置された第２のカメラと、前記第１のカメラおよび前記第２のカメラで取得した画像を処理する画像処理部と、を備え、前記第１のカメラと前記第２のカメラとは、第１の通信線によって接続され、前記第２のカメラと前記画像処理部とは、第２の通信線によって接続されることを特徴とする。
　本発明によれば、車両に搭載される車載撮像システムにおいて、小型軽量化及び低コスト化、スケーラビリティ（汎用性）を同時に実現可能な車載撮像システムを実現することができる。
　上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明の実施例１に係る車両及び車載カメラを示す図である。 本発明の実施例１に係る車載撮像システムを示す図である。 本発明の実施例２に係る車両及び車載カメラを示す図である。 車載カメラにより距離情報が得られる領域を概念的に示す図である。 本発明の実施例２に係る車載撮像システムを示す図である。 本発明の実施例３に係る車両及び車載カメラを示す図である。 本発明の実施例３に係る車載撮像システムを示す図である。 本発明の実施例４に係る車両及び車載カメラを示す図である。 本発明の実施例５に係る車両及び車載カメラを示す図である。 本発明の実施例６に係る車載撮像システムを示す図である。 本発明の実施例６に係る車載撮像システムを示す図である。 従来の車載撮像システムを示す図である。 従来の車載撮像システムを示す図である。
　以下、図面を用いて本発明の実施例を説明する。なお、各図面において同一の構成については同一の符号を付し、重複する部分についてはその詳細な説明は省略する。
　先ず、図１１Ａ及び図１１Ｂを参照して、従来の車載撮像システムの構成と課題について説明する。図１１Ａ及び図１１Ｂは、いずれも従来の車載撮像システムを示す図である。図１１Ａは、一般車種向けの単眼カメラシステムを示しており、図１１Ｂは、単眼カメラにカメラを１台追加してステレオカメラとした高級車種向けのステレオカメラシステムを示している。
　図１１Ａに示すように、従来の一般車種向けの車載撮像システム３１では、カメラヘッド２により撮影した画像信号を画像認識ＥＣＵ５に伝送し、画像認識ＥＣＵ５に搭載された汎用ＳｏＣ１３で画像処理を行っている。
　一方、図１１Ｂに示すように、従来の高級車種向けの車載撮像システム３２では、上記の構成に加えて、カメラヘッド３及び別の画像認識ＥＣＵ５をさらに追加し、ステレオカメラとして構成している。カメラヘッド３により撮影した画像信号を別の画像認識ＥＣＵ５に伝送し、画像認識ＥＣＵ５に搭載された汎用ＳｏＣ１３で画像処理を行うとともに、同じ画像認識ＥＣＵ５に搭載された画像処理チップ３３により、歪み補正、輝度補正、キャリブレーション、ステレオマッチング処理等が実行される。
　従来の高級車種向けの車載撮像システム３２は、上記のように構成されており、映像信号線が多く、車載撮像システムの小型軽量化や信頼性の点で不利であり、コスト増加にも繋がる。
　また、画像認識ＥＣＵ５にステレオ処理機能を持たせているため、単眼カメラ用のＥＣＵに流用することができず、ステレオカメラ専用設計のＥＣＵになってしまう。
　次に、図１及び図２を参照して、本発明の実施例１に係る車載撮像システムについて説明する。図１は、本実施例の車両及び車載カメラを示す図である。図２は、図１の車両に搭載される車載撮像システムを示す図である。
　図１に示すように、本実施例では、車両１のルームミラー近傍に２つのカメラヘッド２，３が搭載されている。
　車両１に搭載される車載撮像システム４は、図２に示すように、主要な構成として、カメラヘッド２（第１のカメラ）と、カメラヘッド２と異なる位置に設置されたカメラヘッド３（第２のカメラ）と、カメラヘッド２およびカメラヘッド３で取得した画像を処理する画像認識ＥＣＵ５（画像処理部）とを備えている。
　カメラヘッド２とカメラヘッド３とは、通信線１４（第１の通信線）によって接続され、カメラヘッド３と画像認識ＥＣＵ５とは、通信線１５（第２の通信線）によって接続されている。
　カメラヘッド２（第１のカメラ）は、撮像素子６により撮影した画像の画像信号をシリアライザ８及び通信線１４（第１の通信線）を介してカメラヘッド３（第２のカメラ）に伝送する。
　カメラヘッド３（第２のカメラ）は、視差画像を生成する画像処理チップ１１（視差画像生成部）を有しており、画像処理チップ１１は、カメラヘッド２の画像信号とカメラヘッド３の画像信号とを用いて視差画像を生成する。
　カメラヘッド３は、デシリアライザ９を介して入力されたカメラヘッド２の画像信号と、撮像素子７により撮影した画像の画像信号と、画像処理チップ１１で生成した視差画像とを、シリアライザ１０及び通信線１５（第２の通信線）を介して画像認識ＥＣＵ５（画像処理部）へ伝送する。
　デシリアライザ１２を介して画像認識ＥＣＵ５（画像処理部）へ入力された上記の各信号は、汎用ＳｏＣ１３により画像処理される。
　本実施例の車載撮像システム４は、以上のように構成されており、図１１Ｂに示す従来の車載撮像システムに比べて、映像信号線及びＥＣＵの数を減らすことができる。
　また、画像認識ＥＣＵ５は、ステレオカメラに特化したハードウェア構成にする必要がないため、スケーラブルなシステムに対応することができる。
　なお、通信線１４は、カメラヘッド３からカメラヘッド２への電源供給も兼ねており、カメラヘッド２の電源供給線を別途設ける必要はない。
　また、半導体装置である画像処理チップ１１は、画像信号を処理するＩＳＰ機能（Image Signal Processor）に加えて、歪み補正機能や輝度補正機能（キャリブレーション機能）、ステレオマッチング処理（視差画像生成機能）を有している。
　図３Ａから図４を参照して、本発明の実施例２に係る車載撮像システムについて説明する。図３Ａは、本実施例の車両及び車載カメラを示す図である。図３Ｂは、車載カメラにより距離情報が得られる領域を概念的に示す図である。図４は、図３Ａの車両に搭載される車載撮像システムを示す図である。
　本実施例では、さらに高機能な車載撮像システムについて説明する。
　特に、高級車種向けのシステムでは、より広範囲の距離情報を取得したい、路面上の小さな落下物や路面の凹凸をより精度よく計測したい、遠方の距離精度を高めたいという要求もある。
　また、実施例１で説明した車載撮像システムでは、カメラヘッド３に画像処理チップ１１を搭載しており、画像処理チップ１１からの発熱が信頼性に影響を与える可能性も考えられる。
　そこで、本実施例では、図３Ａに示すように、車両１に対して２つのカメラヘッドを、上部カメラヘッド１６と下部カメラヘッド１７のように縦型に配置している。つまり、下部カメラヘッド１７は、上部カメラヘッド１６と高さの異なる位置に搭載されている。
　図３Ａのように２つのカメラヘッドを縦型配置にすることで、図３Ｂに示すように、実施例１（図１）で説明した横型配置に比べて、距離情報が得られる領域を拡大することができる。
　これにより、水平方向の略全画角で距離情報を得られるとともに、横方向のエッジ成分を多く持つ物体を検知し易くなる。また、２つのカメラヘッドを縦型に配置することで、ワイパーの払拭範囲内で基線長（２つのカメラヘッド間の距離）を長くとることが可能になるため、遠方の距離精度を向上することができる。
　また、本実施例では、図４に示すように、下部カメラヘッド１７を車両１の空調機構（デフロスタ２１）の近傍に配置している。そして、デフロスタ２１と画像認識ＥＣＵ５（汎用ＳｏＣ１３）とを通信線２０で接続している。
　また、下部カメラヘッド１７には、温度センサ１９が設けられており、温度センサ１９が所定の温度を検知した場合、デフロスタ２１により下部カメラヘッド１７を冷却するように車両１の空調機構を制御する。
　なお、例えば寒冷地等において、気温が極度に低下したような場合は、デフロスタ２１により下部カメラヘッド１７を加温して、下部カメラヘッド１７の動作を担保することも可能である。
　さらに、上部カメラヘッド１６にも温度センサ１９とは異なる別の温度センサ１８を設け、温度センサ１８の値と温度センサ１９の値との差が、所定の範囲内になるように車両１の空調機構（デフロスタ２１）を制御するようにしても良い。
　下部カメラヘッド１７の発熱を抑えるとともに、２つのカメラヘッドの温度が略同じになるよう制御することで、熱によるカメラの光学特性の差を抑え、測距精度劣化を抑制することができる。
　図５及び図６を参照して、本発明の実施例３に係る車載撮像システムについて説明する。図５は、本実施例の車両及び車載カメラを示す図である。図６は、図５の車両に搭載される車載撮像システムを示す図である。
　図５に示すように、本実施例では、実施例２（図３Ａ）と同様に、２つのカメラヘッドを縦型配置にしている。
　但し、実施例２（図３Ａ）の下部カメラヘッド１７に替えて、画像処理チップ内蔵下部カメラヘッド２２を備える点において、実施例２（図３Ａ）とは異なっている。
　図６に、画像処理チップ内蔵下部カメラヘッド２２の概略構成を示す。
　画像処理チップ内蔵下部カメラヘッド２２は、カメラ筐体を、センサ基板２５を備えたセンサ基板部と、メイン基板２３を備えたメイン基板部とに分けたＬ字構造になっている。
　メイン基板２３には、画像処理チップ１１が搭載されており、画像処理チップ１１からの発熱は、ヒートスプレッダ（放熱板）２４を介して筐体に放熱している。メイン基板部は、デフロスタ２１により冷却される。
　本実施例のように、画像処理チップ内蔵下部カメラヘッド２２をウィンドシールド２６近傍のダッシュボード２７上またはダッシュボード２７内に配置することで、画像処理チップ１１を内蔵したカメラヘッドの空調機構（デフロスタ２１）による冷却が可能となる。
　なお、メイン基板部（画像処理チップ１１を実装した基板）をダッシュボードの下に隠れるように設置することで、ダッシュボード２７からの突起部分を少なくすることができる。カメラヘッドに画像処理チップ１１を内蔵すると、カメラヘッドの筐体が大きくなるが、図６のような構成とすることで、カメラヘッドの搭載性向上とドライバの視界確保が可能となる。
　また、ウィンドシールド２６近傍のダッシュボード２７上に、無反射素材２８を配置することで、ウィンドシールド２６へのダッシュボード２７の映り込みを防止し、より鮮明な画像を撮影することができる。
　図７を参照して、本発明の実施例４に係る車載撮像システムについて説明する。図７は、本実施例の車両及び車載カメラを示す図である。
　本実施例では、車両２９としてトラックの例を説明する。本実施例においても、２つのカメラヘッドを、上部カメラヘッド１６と画像処理チップ内蔵下部カメラヘッド２２の縦型配置にしている。
　トラック等の大型車は、下部（ダッシュボード）にスペースの余裕がある。そこで、実施例３（図６）のように、ダッシュボード内部に埋め込むようにして、視界の妨げにならないようにする。
　また、ダッシュボードには車両の空調システムがある。ダッシュボード上に画像処理チップ１１を内蔵したカメラヘッドを配置することで、空調機構（デフロスタ２１）による冷却が可能となる。
　図８を参照して、本発明の実施例５に係る車載撮像システムについて説明する。図８は、本実施例の車両及び車載カメラを示す図である。
　本実施例では、車両３０として自動二輪車の例を説明する。本実施例においても、２つのカメラヘッドを、上部カメラヘッド１６と画像処理チップ内蔵下部カメラヘッド２２の縦型配置にしている。
　上部カメラヘッド１６は、カウルの前面上部側に配置され、画像処理チップ内蔵下部カメラヘッド２２は、カウルの前面下部側に配置されている。
　画像処理チップ内蔵下部カメラヘッド２２をカウルの前面下部側に配置することで、直射日光を避け、走行時の空気流による空冷効果が得易くなる。
　図９及び図１０を参照して、本発明の実施例６に係る車載撮像システムについて説明する。図９及び図１０は、いずれも本実施例の車載撮像システムを示す図である。図９は、カメラヘッド２（第１のカメラ）の失陥時の様子を示しており、図１０は、カメラヘッド３（第２のカメラ）の失陥時の様子を示している。
　図９及び図１０に示すように、カメラヘッド２（第１のカメラ）及びカメラヘッド３（第２のカメラ）のいずれか一方が失陥した場合、カメラヘッド３（第２のカメラ）は、画像処理チップ１１（視差画像生成部）での視差画像の生成を停止し、失陥していない方のカメラの画像信号を画像認識ＥＣＵ５（画像処理部）へ伝送する。
　このような構成とすることで、カメラヘッド２またはカメラヘッド３のいずれか一方が失陥した場合には、図１１Ａに示すような従来の単眼カメラシステムとして使用することができ、車載カメラシステムに冗長性を持たせることができる。
　なお、カメラヘッド３（第２のカメラ）は、カメラヘッド２（第１のカメラ）とカメラヘッド３（第２のカメラ）の撮像エリアの共通領域が所定以上ある場合、カメラヘッド２またはカメラヘッド３で撮像される単眼カメラとしての撮像エリアはほぼ同等であるとみなすことができるため、カメラヘッド２またはカメラヘッド３のいずれか一方の画像信号を画像認識ＥＣＵ５（画像処理部）へ伝送するようにしても良い。
　一方、カメラヘッド２（第１のカメラ）とカメラヘッド３（第２のカメラ）の撮像エリアの共通領域が所定未満の場合、カメラヘッド２及びカメラヘッド３で撮像される単眼カメラとしての撮像エリアが異なるとみなすことができるため、カメラヘッド２及びカメラヘッド３の両方の画像信号を画像認識ＥＣＵ５（画像処理部）へ伝送する。
　このような構成とすることで、カメラヘッド２（第１のカメラ）とカメラヘッド３（第２のカメラ）の撮像エリアの共通領域が所定以上ある場合に、画像認識ＥＣＵ５（画像処理部）の処理負荷を軽減することができる。
　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　１，２９，３０…車両、２，３…カメラヘッド、４，３１，３２…車載撮像システム、５…画像認識ＥＣＵ、６，７…撮像素子、８，１０…シリアライザ、９，１２…デシリアライザ、１１，３３…画像処理チップ、１３…汎用ＳｏＣ、１４，１５，２０…通信線、１６…上部カメラヘッド、１７…下部カメラヘッド、１８，１９…温度センサ、２１…デフロスタ、２２…画像処理チップ内蔵下部カメラヘッド、２３…メイン基板、２４…ヒートスプレッダ（放熱板）、２５…センサ基板、２６…ウィンドシールド、２７…ダッシュボード、２８…無反射素材

Claims (11)

  1. 　車両に搭載される車載撮像システムであって、
    　第１のカメラと、
    　前記第１のカメラと異なる位置に設置された第２のカメラと、
    　前記第１のカメラおよび前記第２のカメラで取得した画像を処理する画像処理部と、を備え、
    　前記第１のカメラと前記第２のカメラとは、第１の通信線によって接続され、
    　前記第２のカメラと前記画像処理部とは、第２の通信線によって接続される車載撮像システム。
  2. 　請求項１に記載の車載撮像システムであって、
    　前記第２のカメラは、視差画像を生成する視差画像生成部を有し、
    　前記第１のカメラは、前記第１の通信線を介して前記第１のカメラの画像信号を前記第２のカメラに伝送し、
    　前記視差画像生成部は、前記第１のカメラの画像信号と前記第２のカメラの画像信号とを用いて前記視差画像を生成し、
    　前記第２のカメラは、前記第１のカメラの画像信号と、前記第２のカメラの画像信号と、前記視差画像生成部で生成した前記視差画像と、を前記第２の通信線を介して前記画像処理部へ伝送する車載撮像システム。
  3. 　請求項１に記載の車載撮像システムであって、
    　前記第２のカメラは、前記第１のカメラと高さの異なる位置に搭載される車載撮像システム。
  4. 　請求項１に記載の車載撮像システムであって、
    　前記第２のカメラから前記第１のカメラに電源を供給する車載撮像システム。
  5. 　請求項１に記載の車載撮像システムであって、
    　前記第２のカメラは、温度センサを有し、
    　前記温度センサが所定の温度を検知した場合、前記車両の空調機構により前記第２のカメラを冷却または加温する車載撮像システム。
  6. 　請求項５に記載の車載撮像システムであって、
    　前記第１のカメラは、前記温度センサと異なる別の温度センサを有し、
    　前記第１のカメラの温度センサの値と前記第２のカメラの温度センサの値との差が、所定の範囲内になるように前記車両の空調機構を制御する車載撮像システム。
  7. 　請求項１に記載の車載撮像システムであって、
    　前記第２のカメラは、視差画像生成機能を備えた半導体を有し、
    　前記第１のカメラの画像と前記第２のカメラの画像とでステレオマッチング処理を行い、
    　前記半導体によって生成された視差情報を含む距離画像を前記画像処理部へ出力する車載撮像システム。
  8. 　請求項１に記載の車載撮像システムであって、
    　前記車両は、乗用車またはトラックであり、
    　前記第２のカメラは、前記車両のダッシュボード上またはダッシュボード内に配置される車載撮像システム。
  9. 　請求項１に記載の車載撮像システムであって、
    　前記車両は、自動二輪車であり、
    　前記第１のカメラは、カウルの前面上部側に配置され、
    　前記第２のカメラは、前記カウルの前面下部側に配置される車載撮像システム。
  10. 　請求項２に記載の車載撮像システムであって、
    　前記第１のカメラおよび前記第２のカメラのいずれか一方が失陥した場合、
    　前記第２のカメラは、前記視差画像生成部での視差画像の生成を停止し、失陥していない方のカメラの画像信号を前記画像処理部へ伝送する車載撮像システム。
  11. 　請求項２に記載の車載撮像システムであって、
    　前記第２のカメラは、前記第１のカメラと前記第２のカメラの撮像エリアの共通領域が所定以上ある場合、前記第１のカメラまたは前記第２のカメラのいずれか一方の画像信号を前記画像処理部へ伝送し、
    　前記第１のカメラと前記第２のカメラの撮像エリアの共通領域が所定未満の場合、前記第１のカメラおよび前記第２のカメラの両方の画像信号を前記画像処理部へ伝送する車載撮像システム。
PCT/JP2022/029254 2021-10-18 2022-07-29 車載撮像システム WO2023067868A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021170234 2021-10-18
JP2021-170234 2021-10-18

Publications (1)

Publication Number Publication Date
WO2023067868A1 true WO2023067868A1 (ja) 2023-04-27

Family

ID=86059032

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/029254 WO2023067868A1 (ja) 2021-10-18 2022-07-29 車載撮像システム

Country Status (1)

Country Link
WO (1) WO2023067868A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001039217A (ja) * 1999-07-27 2001-02-13 Ichikoh Ind Ltd 車両用確認装置
JP2004312063A (ja) * 2003-04-01 2004-11-04 Sumitomo Electric Ind Ltd 撮像装置、画像表示システム及び画像表示方法
JP2012011989A (ja) * 2010-07-05 2012-01-19 Saxa Inc 駅ホームの監視カメラシステム
JP2016121917A (ja) * 2014-12-24 2016-07-07 パナソニックＩｐマネジメント株式会社 ３次元情報復元装置、３次元情報復元システム、及び３次元情報復元方法
JP2019004348A (ja) * 2017-06-16 2019-01-10 ディーピーティー株式会社 移動体用映像表示装置およびその方法
JP2021039018A (ja) * 2019-09-04 2021-03-11 日立オートモティブシステムズ株式会社 画像処理装置
JP2021051476A (ja) * 2019-09-24 2021-04-01 京セラ株式会社 物体検出装置、物体検出システム、移動体及び物体検出方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001039217A (ja) * 1999-07-27 2001-02-13 Ichikoh Ind Ltd 車両用確認装置
JP2004312063A (ja) * 2003-04-01 2004-11-04 Sumitomo Electric Ind Ltd 撮像装置、画像表示システム及び画像表示方法
JP2012011989A (ja) * 2010-07-05 2012-01-19 Saxa Inc 駅ホームの監視カメラシステム
JP2016121917A (ja) * 2014-12-24 2016-07-07 パナソニックＩｐマネジメント株式会社 ３次元情報復元装置、３次元情報復元システム、及び３次元情報復元方法
JP2019004348A (ja) * 2017-06-16 2019-01-10 ディーピーティー株式会社 移動体用映像表示装置およびその方法
JP2021039018A (ja) * 2019-09-04 2021-03-11 日立オートモティブシステムズ株式会社 画像処理装置
JP2021051476A (ja) * 2019-09-24 2021-04-01 京セラ株式会社 物体検出装置、物体検出システム、移動体及び物体検出方法

Similar Documents

Publication Publication Date Title
US11634073B2 (en) Multi-camera vehicular vision system
USRE48017E1 (en) Viewing system for vehicles, in particular commercial vehicles
CN108621943B (zh) 用于在车辆电子显示器上动态显示图像的系统和方法
KR101766077B1 (ko) 차량 주변 영상 정보 제공 시스템 및 방법
JP4677364B2 (ja) 車両監視装置
JP4512293B2 (ja) 監視システムおよび監視方法
US20170140542A1 (en) Vehicular image processing apparatus and vehicular image processing system
US20070223910A1 (en) Object detecting system
US20030202096A1 (en) Apparatus for monitoring rear of vehicle
WO2019123840A1 (ja) 撮像装置、撮像システム、および表示システム
US10209480B2 (en) Camera system in or for a motor vehicle and driver assistance system
US10112552B2 (en) Vehicle vision system with camera viewing through windshield
JP4969111B2 (ja) 車両の後方監視カメラ及び運転支援装置
JP5195776B2 (ja) 車両周辺監視装置
WO2023067868A1 (ja) 車載撮像システム
KR20180053077A (ko) 듀얼 카메라 타입 사이드 카메라 및 이를 포함하는 차량 후방 정보 확인 시스템
CN110626267A (zh) 用于后视镜显示器的叠加界面
JP5831331B2 (ja) 車両の後側方撮影装置
JP2020100213A (ja) 移動体用撮影システム
US20210031625A1 (en) Vehicle and method for controlling of the vehicle
JP2007290484A (ja) 夜間前方情報提供装置
JP4664219B2 (ja) 車両用灯具の照射方向制御装置
JP2021160681A (ja) 車両用表示装置
US20230011832A1 (en) Camera mirror system with outside air temperature sensor
TWI751932B (zh) 車內電子後視系統

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22883180

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023554273

Country of ref document: JP

Kind code of ref document: A