JP7466367B2

JP7466367B2 - Image Processing Device

Info

Publication number: JP7466367B2
Application number: JP2020077336A
Authority: JP
Inventors: 広人名越
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2020-04-24
Filing date: 2020-04-24
Publication date: 2024-04-12
Anticipated expiration: 2040-04-24
Also published as: JP2021175079A

Description

本発明は、画像処理装置に関する。 The present invention relates to an image processing device.

車両に搭載された撮像装置により取得された画像に基づいて車両の周囲環境を認識する画像処理装置は、当該認識機能を実現する電子回路を備えるが、回路温度が高くなると、回路動作の信頼性を確保し難くなる。このような問題に対処する方法として、回路温度が高くなると回路動作を停止させ、回路温度が十分に低下してから、回路動作を再開させる方法が知られている（例えば、特許文献１）。 An image processing device that recognizes the vehicle's surrounding environment based on images captured by an imaging device mounted on the vehicle is equipped with an electronic circuit that realizes this recognition function, but if the circuit temperature becomes high, it becomes difficult to ensure the reliability of the circuit operation. As a method for dealing with this problem, a method is known in which the circuit operation is stopped when the circuit temperature becomes high, and the circuit operation is resumed after the circuit temperature has sufficiently decreased (for example, Patent Document 1).

特開２００１－８８６０９号公報JP 2001-88609 A

画像処理装置が真夏の炎天下のような高温環境下において使用される場合、回路の自己発熱に加えて周囲温度が高いので、回路温度が高くなり易い。特許文献１に記載の方法には、この場合について十分な配慮が行われていないので、回路動作が頻繁に停止する可能性がある。回路動作が頻繁に停止すると、認識結果に応じて行われる車両の走行制御等に影響を与える可能性がある。 When an image processing device is used in a high-temperature environment, such as under the blazing sun of midsummer, the circuit temperature is likely to rise due to the high ambient temperature in addition to the self-heating of the circuit. The method described in Patent Document 1 does not take this situation into sufficient consideration, so there is a possibility that circuit operation will frequently stop. If circuit operation stops frequently, this could affect vehicle driving control, which is performed based on the recognition results.

本発明は、上記に鑑みてなされたものであり、高温環境下であっても安全上重要な車両の動作への影響を抑制することが可能な画像処理装置を提供することを目的とする。 The present invention has been made in consideration of the above, and aims to provide an image processing device that can suppress the impact on vehicle operation that is important for safety, even in high-temperature environments.

上記課題を解決するために、本発明の画像処理装置は、車両の周囲環境を撮像する一対のカメラモジュールにより取得された一対の撮像画像を処理する画像処理装置であって、前記一対の撮像画像から生成された視差画像に基づいて前記周囲環境を認識する第１認識処理部と、前記一対の撮像画像の何れかに基づいて前記周囲環境を認識する第２認識処理部と、前記画像処理装置の温度上昇に応じて前記第２認識処理部の動作を制限する制御部とを備えることを特徴とする。 In order to solve the above problem, the image processing device of the present invention is an image processing device that processes a pair of captured images acquired by a pair of camera modules that capture images of the vehicle's surroundings, and is characterized in that it includes a first recognition processing unit that recognizes the surroundings based on a parallax image generated from the pair of captured images, a second recognition processing unit that recognizes the surroundings based on one of the pair of captured images, and a control unit that limits the operation of the second recognition processing unit in response to a temperature rise in the image processing device.

本発明によれば、高温環境下であっても安全上重要な車両の動作への影響を抑制することが可能な画像処理装置を提供することができる。
上記以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。 According to the present invention, it is possible to provide an image processing device that can suppress the influence on the operation of a vehicle that is important for safety even in a high temperature environment.
Problems, configurations and effects other than those described above will become apparent from the following description of the embodiments.

実施形態１の画像処理装置を備える撮像装置の構成を示す図。1 is a diagram showing the arrangement of an imaging apparatus including an image processing apparatus according to a first embodiment. 図１に示す画像処理装置の機能的構成を示す図。FIG. 2 is a diagram showing a functional configuration of the image processing apparatus shown in FIG. 1 . 図２に示す画像処理装置の高温環境下における動作を説明する図。3 is a diagram for explaining the operation of the image processing apparatus shown in FIG. 2 in a high-temperature environment. 実施形態２の画像処理装置の機能的構成を示す図。FIG. 11 is a block diagram showing the functional configuration of an image processing apparatus according to a second embodiment. 実施形態３の画像処理装置の機能的構成を示す図。FIG. 11 is a block diagram showing the functional configuration of an image processing apparatus according to a third embodiment. 実施形態４の画像処理装置の機能的構成を示す図。FIG. 13 is a block diagram showing the functional configuration of an image processing apparatus according to a fourth embodiment. 図６に示す画像処理装置の高温環境下における動作を説明する図。7 is a diagram for explaining the operation of the image processing apparatus shown in FIG. 6 in a high temperature environment.

以下、本発明の実施形態について図面を用いて説明する。なお、各実施形態において同一の符号を付された構成は、特に言及しない限り、各実施形態において同様の機能を有するので、その説明を省略する。 Embodiments of the present invention will be described below with reference to the drawings. Note that components with the same reference numerals in each embodiment have the same functions in each embodiment unless otherwise specified, and therefore their description will be omitted.

［実施形態１］
図１は、実施形態１の画像処理装置１１を備える撮像装置１２の構成を示す図である。 [Embodiment 1]
FIG. 1 is a diagram showing the arrangement of an image capturing apparatus 12 including an image processing apparatus 11 according to the first embodiment.

撮像装置１２は、車両の周囲環境を撮像し、取得された撮像画像に基づいて車両の周囲環境を認識する装置である。
撮像装置１２は、車両に取り付けられて車両前方等の車両の周囲環境を撮像する一対のカメラモジュール１，２と、一対のカメラモジュール１，２により取得された一対の撮像画像３，４を処理する画像処理装置１１とを備える。 The imaging device 12 is a device that captures images of the surrounding environment of the vehicle and recognizes the surrounding environment of the vehicle based on the captured images.
The imaging device 12 includes a pair of camera modules 1, 2 attached to a vehicle to capture images of the vehicle's surrounding environment, such as the area in front of the vehicle, and an image processing device 11 that processes a pair of captured images 3, 4 acquired by the pair of camera modules 1, 2.

一対のカメラモジュール１，２は、右カメラモジュール１と、左カメラモジュール２とから構成される。右カメラモジュール１及び左カメラモジュール２のそれぞれは、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子と、電気信号を処理する回路素子とを含む。右カメラモジュール１及び左カメラモジュール２のそれぞれは、レンズを透過した光を撮像素子にて電気信号に変換し、電気信号を回路素子にてＡＤ変換してデジタル信号として出力する。撮像装置１２は、通常の車両走行状態において前方を監視しており、右カメラモジュール１により取得された右撮像画像３と、左カメラモジュール２により取得された左撮像画像４とを、画像処理装置１１に出力している。 The pair of camera modules 1, 2 is composed of a right camera module 1 and a left camera module 2. Each of the right camera module 1 and the left camera module 2 includes an imaging element such as a CCD image sensor or a CMOS image sensor, and a circuit element that processes an electrical signal. Each of the right camera module 1 and the left camera module 2 converts light transmitted through a lens into an electrical signal using the imaging element, and outputs the electrical signal as a digital signal after AD conversion using the circuit element. The imaging device 12 monitors the front when the vehicle is traveling normally, and outputs a right image 3 acquired by the right camera module 1 and a left image 4 acquired by the left camera module 2 to the image processing device 11.

画像処理装置１１は、右撮像画像３及び左撮像画像４のそれぞれのノイズの除去や画像の鮮明化を目的としてデータ加工部５において画像の加工を行う。加工の具体例としては、画像全体の輝度の調整、画素毎の輝度の調整、輝度毎のゲインの調整、幾何補正、シェーディング補正等がある。加工後の右撮像画像６及び加工後の左撮像画像７は、視差画像生成部８に入力される。視差画像生成部８は、加工後の右撮像画像６及び加工後の左撮像画像７を組み合わせて視差画像９を生成する。視差画像９とは、加工後の右撮像画像６と加工後の左撮像画像７の差分を利用して、車両前方の物体までの距離情報を示したものである。 The image processing device 11 processes the images in the data processing unit 5 for the purpose of removing noise from each of the right captured image 3 and the left captured image 4 and for the purpose of making the images clearer. Specific examples of processing include adjusting the brightness of the entire image, adjusting the brightness of each pixel, adjusting the gain for each brightness, geometric correction, shading correction, etc. The processed right captured image 6 and the processed left captured image 7 are input to the parallax image generation unit 8. The parallax image generation unit 8 combines the processed right captured image 6 and the processed left captured image 7 to generate a parallax image 9. The parallax image 9 indicates distance information to objects in front of the vehicle by using the difference between the processed right captured image 6 and the processed left captured image 7.

視差画像用認識処理部１０は、視差画像９に基づいて、車両の周囲環境を認識する認識処理を行い、認識結果を車両の制御装置に送信する。例えば、視差画像用認識処理部１０は、視差画像９に基づいて、車両前方に存在し得る物体を認識すると共に物体までの距離情報を取得し、衝突の危険性や車両加減速の要否を判定する。視差画像用認識処理部１０は、車両通信部１８により、ＥＣＵ等の車両の制御装置へ認識結果を送信する。車両の制御装置は、視差画像用認識処理部１０の認識結果に応じて、衝突被害軽減ブレーキの作動等の安全上重要な車両の動作を制御する。視差画像用認識処理部１０は、特許請求の範囲に記載された「第１認識処理部」の一例に該当する。 The parallax image recognition processing unit 10 performs recognition processing to recognize the surrounding environment of the vehicle based on the parallax image 9, and transmits the recognition result to the vehicle's control device. For example, the parallax image recognition processing unit 10 recognizes objects that may be present in front of the vehicle based on the parallax image 9, acquires distance information to the objects, and determines the risk of collision and the need for vehicle acceleration/deceleration. The parallax image recognition processing unit 10 transmits the recognition result to a vehicle control device such as an ECU via the vehicle communication unit 18. The vehicle control device controls vehicle operations that are important for safety, such as activation of a collision damage mitigation brake, according to the recognition result of the parallax image recognition processing unit 10. The parallax image recognition processing unit 10 corresponds to an example of a "first recognition processing unit" described in the claims.

また、加工後の右撮像画像６は、標識用画像生成部１３にも入力される。標識用画像生成部１３は、加工後の右撮像画像６にフィルタ処理を行い、標識用エッジ画像１４等を生成する。標識用エッジ画像１４は、道路標識や路面標示等の標識が映った加工後の右撮像画像６からエッジを特徴量として抽出した画像である。標識用認識処理部１５は、標識用エッジ画像１４に基づいて、標識を認識し、車両通信部１８により、車両の制御装置へ認識結果を送信する。車両の制御装置は、標識用認識処理部１５の認識結果に応じて、標識の内容が乗員に報知されるよう車両の動作を制御する。すなわち、標識用認識処理部１５は、標識用エッジ画像１４及び加工後の右撮像画像６の生成の元になった右撮像画像３に基づいて、車両の周囲環境を認識する。標識用認識処理部１５は、特許請求の範囲に記載された「第２認識処理部」の一例に該当する。 The processed right captured image 6 is also input to the sign image generating unit 13. The sign image generating unit 13 performs a filter process on the processed right captured image 6 to generate a sign edge image 14 and the like. The sign edge image 14 is an image in which edges are extracted as feature values from the processed right captured image 6 in which signs such as road signs and road markings are reflected. The sign recognition processing unit 15 recognizes signs based on the sign edge image 14 and transmits the recognition result to the vehicle control device via the vehicle communication unit 18. The vehicle control device controls the operation of the vehicle so that the contents of the sign are notified to the occupant according to the recognition result of the sign recognition processing unit 15. That is, the sign recognition processing unit 15 recognizes the surrounding environment of the vehicle based on the right captured image 3 that was the basis for generating the sign edge image 14 and the processed right captured image 6. The sign recognition processing unit 15 corresponds to an example of the "second recognition processing unit" described in the claims.

画像処理装置１１は、デジタルプロセッシングによって動作する。データ加工部５、視差画像生成部８、視差画像用認識処理部１０、標識用画像生成部１３及び標識用認識処理部１５は、マイクロコンピュータ、メモリ、ＦＰＧＡ、ＡＳＩＣ等のハードウェアとソフトウェアの組み合わせによって構成される。特に大量の撮像画像を高速で処理するデータ加工部５、視差画像生成部８及び標識用画像生成部１３は、ハードウェアによって構成する場合が多い。車両通信部１８は、ＣＡＮバス、ＬＩＮバス、ＦＬＥＸ－ＲＡＹといったものが考えられる。 The image processing device 11 operates by digital processing. The data processing unit 5, parallax image generation unit 8, parallax image recognition processing unit 10, sign image generation unit 13, and sign recognition processing unit 15 are configured by a combination of hardware and software such as a microcomputer, memory, FPGA, and ASIC. In particular, the data processing unit 5, parallax image generation unit 8, and sign image generation unit 13, which process large amounts of captured images at high speed, are often configured by hardware. The vehicle communication unit 18 may be a CAN bus, a LIN bus, or FLEX-RAY.

図２は、図１に示す画像処理装置１１の機能的構成を示す図である。図２は、高温環境下の画像処理装置１１においてデジタルプロセッシングによって動作する構成を示す図である。 Figure 2 is a diagram showing the functional configuration of the image processing device 11 shown in Figure 1. Figure 2 is a diagram showing the configuration in which the image processing device 11 operates by digital processing in a high-temperature environment.

画像処理装置１１のうち、標識用画像生成部１３及び標識用認識処理部１５は、標識用クロック供給部２１のクロック信号を基準としてデジタルプロセッシングによって動作する。視差画像生成部８及び視差画像用認識処理部１０は、視差画像用クロック供給部２３のクロック信号を基準としてデジタルプロセッシングによって動作する。標識用クロック供給部２１及び視差画像用クロック供給部２３は、１秒間に１０億回（１ＧＨｚ）以上のオンオフを繰り返す周波数を有するクロック信号を供給する。標識用画像生成部１３及び標識用認識処理部１５並びに視差画像生成部８及び視差画像用認識処理部１０では、これらの回路を構成する数百万以上のトランジスタがクロック信号のオンオフが切り替わる毎に一斉に切り替わるスイッチング動作を行い、多量の過渡的な電流が発生する。この電流は、回路抵抗によって熱に変換されるので、画像処理装置１１では、多量の回路の自己発熱が起こっている。クロック信号の周波数であるクロック周波数は、標識用画像生成部１３及び標識用認識処理部１５並びに視差画像生成部８及び視差画像用認識処理部１０の動作周期を定める値である。 In the image processing device 11, the sign image generating unit 13 and the sign recognition processing unit 15 operate by digital processing based on the clock signal of the sign clock supply unit 21. The parallax image generating unit 8 and the parallax image recognition processing unit 10 operate by digital processing based on the clock signal of the parallax image clock supply unit 23. The sign clock supply unit 21 and the parallax image clock supply unit 23 supply clock signals having a frequency that repeats on and off more than 1 billion times (1 GHz) per second. In the sign image generating unit 13 and the sign recognition processing unit 15, as well as the parallax image generating unit 8 and the parallax image recognition processing unit 10, millions of transistors constituting these circuits perform switching operations that switch simultaneously every time the clock signal switches on and off, generating a large amount of transient current. This current is converted into heat by the circuit resistance, so in the image processing device 11, a large amount of self-heating of the circuit occurs. The clock frequency, which is the frequency of the clock signal, is a value that determines the operating cycle of the sign image generation unit 13 and the sign recognition processing unit 15, as well as the parallax image generation unit 8 and the parallax image recognition processing unit 10.

図２に示すように、画像処理装置１１は、高温時の画像処理装置１１の動作を制御する制御部２４を備える。制御部２４は、標識用クロック供給部２１及び視差画像用クロック供給部２３の動作を個別に制御することによって、画像処理装置１１の動作を制御することができる。具体的には、制御部２４は、画像処理装置１１の温度上昇に応じて、標識用クロック供給部２１によって供給されるクロック信号のクロック周波数を低減することによって、標識用画像生成部１３及び標識用認識処理部１５の動作を制限する。すなわち、実施形態１では、制御部２４が第２認識処理部である標識用認識処理部１５の動作を制限するために制御する制御量は、第２認識処理部である標識用認識処理部１５の動作周期を定めるクロック周波数である。制御部２４は、画像処理装置１１の温度を、画像処理装置１１の回路温度を測定する温度センサ２５からの測定信号によって取得することができる。 As shown in FIG. 2, the image processing device 11 includes a control unit 24 that controls the operation of the image processing device 11 at high temperatures. The control unit 24 can control the operation of the image processing device 11 by individually controlling the operation of the sign clock supply unit 21 and the parallax image clock supply unit 23. Specifically, the control unit 24 limits the operation of the sign image generation unit 13 and the sign recognition processing unit 15 by reducing the clock frequency of the clock signal supplied by the sign clock supply unit 21 in response to a rise in temperature of the image processing device 11. That is, in the first embodiment, the control amount that the control unit 24 controls to limit the operation of the sign recognition processing unit 15, which is the second recognition processing unit, is the clock frequency that determines the operation period of the sign recognition processing unit 15, which is the second recognition processing unit. The control unit 24 can obtain the temperature of the image processing device 11 from a measurement signal from a temperature sensor 25 that measures the circuit temperature of the image processing device 11.

図３は、図２に示す画像処理装置１１の高温環境下における動作を説明する図である。図３の縦軸は、画像処理装置１１の温度を示し、図３の横軸は時間を示す。 Figure 3 is a diagram explaining the operation of the image processing device 11 shown in Figure 2 in a high temperature environment. The vertical axis of Figure 3 indicates the temperature of the image processing device 11, and the horizontal axis of Figure 3 indicates time.

真夏の炎天下のような高温環境下において、画像処理装置１１の周囲温度がＴ０になり、画像処理装置１１の温度がＴ０なったとする。ｔ０の時点において回路の電源がＯＮになると、画像処理装置１１の温度は、回路の自己発熱によってグラフ３１（点線）のように時間経過と共に上昇する。 In a high-temperature environment such as under the blazing sun of midsummer, the ambient temperature of the image processing device 11 reaches T0, and the temperature of the image processing device 11 reaches T0. When the power supply to the circuit is turned on at time t0, the temperature of the image processing device 11 rises over time as shown by graph 31 (dotted line) due to self-heating of the circuit.

制御部２４は、画像処理装置１１の温度が、後述する第２閾値Ｔ２以下の場合、標識用画像生成部１３及び標識用認識処理部１５の動作、並びに、視差画像生成部８及び視差画像用認識処理部１０の動作を制限しない。この場合、画像処理装置１１では、制限無く通常通り動作した標識用認識処理部１５及び視差画像用認識処理部１０のそれぞれの認識結果が、車両通信部１８から車両の制御装置へ送信される。標識用認識処理部１５の認識結果に応じて行われる標識内容の報知等の車両の動作については、制限無く通常通り行われる。視差画像用認識処理部１０の認識結果に応じて行われる衝突被害軽減ブレーキの作動等の安全上重要な車両の動作については、制限無く通常通り行われる。 When the temperature of the image processing device 11 is equal to or lower than a second threshold T2 described below, the control unit 24 does not restrict the operation of the sign image generation unit 13 and the sign recognition processing unit 15, and the operation of the parallax image generation unit 8 and the parallax image recognition processing unit 10. In this case, in the image processing device 11, the recognition results of the sign recognition processing unit 15 and the parallax image recognition processing unit 10, which have operated normally without restriction, are transmitted from the vehicle communication unit 18 to the vehicle control device. Vehicle operations such as notification of sign contents performed in response to the recognition results of the sign recognition processing unit 15 are performed normally without restriction. Vehicle operations important to safety, such as activation of the collision damage mitigation brake, performed in response to the recognition results of the parallax image recognition processing unit 10, are performed normally without restriction.

本実施形態では、第１認識処理部である視差画像用認識処理部１０の認識結果に応じて行われる衝突被害軽減ブレーキの作動等の安全上重要な車両の動作を、「第１動作」とも称する。第２認識処理部である標識用認識処理部１５の認識結果に応じて行われる標識内容の報知等の車両の動作を、「第２動作」とも称する。第１動作は、第２動作よりも安全上重要な動作である。車両の制御装置は、第１動作を第２動作よりも優先して行う。 In this embodiment, a vehicle operation that is important from the viewpoint of safety, such as activation of a collision damage mitigation brake, which is performed in response to the recognition result of the parallax image recognition processing unit 10, which is the first recognition processing unit, is also referred to as a "first operation." A vehicle operation that is important from the viewpoint of safety, such as notification of sign contents, which is performed in response to the recognition result of the sign recognition processing unit 15, which is the second recognition processing unit, is also referred to as a "second operation." The first operation is an operation that is more important from the viewpoint of safety than the second operation. The vehicle control device prioritizes the first operation over the second operation.

ここで、制御部２４が画像処理装置１１の動作を制限すること無く、画像処理装置１１が通常通り動作する場合、画像処理装置１１の温度は、やがてｔ２の時点において第１閾値Ｔ１より高くなってしまう。第１閾値Ｔ１は、画像処理装置１１の動作保証温度である。第１閾値Ｔ１は、視差画像生成部８及び視差画像用認識処理部１０の動作を制限せずに通常通り動作させるか否かを区別する温度である。第１閾値Ｔ１は、第１動作を保証する温度であってもよい。 Here, if the control unit 24 does not restrict the operation of the image processing device 11 and the image processing device 11 operates normally, the temperature of the image processing device 11 will eventually become higher than the first threshold value T1 at time t2. The first threshold value T1 is the guaranteed operating temperature of the image processing device 11. The first threshold value T1 is a temperature that distinguishes whether or not the operation of the parallax image generation unit 8 and the parallax image recognition processing unit 10 is allowed to operate normally without being restricted. The first threshold value T1 may be a temperature that guarantees the first operation.

そこで、制御部２４は、画像処理装置１１の温度が第２閾値Ｔ２より高い場合、標識用画像生成部１３及び標識用認識処理部１５の動作を制限する。一方、制御部２４は、画像処理装置１１の温度が第２閾値Ｔ２以下の場合、標識用画像生成部１３及び標識用認識処理部１５の動作を制限しない。第２閾値Ｔ２は、標識用画像生成部１３及び標識用認識処理部１５の動作を制限せずに通常通り動作させるか否かを区別する温度である。第２閾値Ｔ２は、第１閾値Ｔ１よりも低い温度である。第２閾値Ｔ２は、第２動作を保証する温度であってもよい。 The control unit 24 therefore restricts the operation of the sign image generation unit 13 and the sign recognition processing unit 15 when the temperature of the image processing device 11 is higher than the second threshold T2. On the other hand, the control unit 24 does not restrict the operation of the sign image generation unit 13 and the sign recognition processing unit 15 when the temperature of the image processing device 11 is equal to or lower than the second threshold T2. The second threshold T2 is a temperature that distinguishes whether the operation of the sign image generation unit 13 and the sign recognition processing unit 15 is not restricted and the units are allowed to operate normally. The second threshold T2 is a temperature lower than the first threshold T1. The second threshold T2 may be a temperature that guarantees the second operation.

具体的には、制御部２４は、画像処理装置１１の温度が第２閾値Ｔ２より高い場合、標識用画像生成部１３及び標識用認識処理部１５の動作周期を定めるクロック周波数を制限する。例えば、制御部２４は、標識用クロック供給部２１から供給されるクロック信号の周波数を、１ＧＨｚから１ＭＨｚ程度に低減する。標識用クロック供給部２１から供給されるクロック信号の周波数が低減すると、標識用画像生成部１３及び標識用認識処理部１５の回路を構成するトランジスタのスイッチング動作の回数が著しく低減され、処理速度が著しく低減される。画像処理装置１１の回路の自己発熱は、標識用画像生成部１３及び標識用認識処理部１５の回路の自己発熱が著しく低減され、実質的に、視差画像生成部８及び視差画像用認識処理部１０の回路の自己発熱だけとなる。これにより、画像処理装置１１の温度は、グラフ３２（実線）のように、グラフ３１（破線）よりも緩やかに上昇する曲線を描いて推移する。画像処理装置１１の温度は、画像処理装置１１の動作保証温度である第１閾値Ｔ１より低い温度において飽和する。 Specifically, when the temperature of the image processing device 11 is higher than the second threshold T2, the control unit 24 limits the clock frequency that determines the operation period of the sign image generation unit 13 and the sign recognition processing unit 15. For example, the control unit 24 reduces the frequency of the clock signal supplied from the sign clock supply unit 21 from 1 GHz to about 1 MHz. When the frequency of the clock signal supplied from the sign clock supply unit 21 is reduced, the number of switching operations of the transistors that constitute the circuits of the sign image generation unit 13 and the sign recognition processing unit 15 is significantly reduced, and the processing speed is significantly reduced. The self-heating of the circuits of the image processing device 11 is significantly reduced, and the self-heating of the circuits of the sign image generation unit 13 and the sign recognition processing unit 15 is substantially reduced, and is substantially only the self-heating of the circuits of the parallax image generation unit 8 and the parallax image recognition processing unit 10. As a result, the temperature of the image processing device 11 changes along a curve that rises more gently than that of the graph 31 (dashed line), as shown in graph 32 (solid line). The temperature of the image processing device 11 saturates at a temperature lower than the first threshold T1, which is the guaranteed operating temperature of the image processing device 11.

画像処理装置１１では、画像処理装置１１の温度が第２閾値Ｔ２より高く第１閾値Ｔ１以下の場合、標識用画像生成部１３及び標識用認識処理部１５の動作として最低限の動作しか行わない。例えば、画像処理装置１１では、標識用画像生成部１３及び標識用認識処理部１５が、複数の標識のうち限られた標識しか処理対象としない。或いは、画像処理装置１１では、標識用画像生成部１３及び標識用認識処理部１５の動作を停止し、停止した旨や再開した旨を乗員に報知するだけに制限する。このような最低限の動作は、１ＭＨｚ程度に低減したクロック周波数でも十分に実行可能である。乗員が空調設備を操作する等によって第２閾値Ｔ２より高い画像処理装置１１の温度が第２閾値Ｔ２以下になった場合、制御部２４は、標識用画像生成部１３及び標識用認識処理部１５の動作の制限を解除する。 In the image processing device 11, when the temperature of the image processing device 11 is higher than the second threshold T2 and equal to or lower than the first threshold T1, the sign image generating unit 13 and the sign recognition processing unit 15 perform only the minimum operation. For example, in the image processing device 11, the sign image generating unit 13 and the sign recognition processing unit 15 process only a limited number of signs among a plurality of signs. Alternatively, in the image processing device 11, the operation of the sign image generating unit 13 and the sign recognition processing unit 15 is stopped, and the operation is limited to only informing the occupant that it has been stopped or resumed. Such a minimum operation can be sufficiently performed even with a clock frequency reduced to about 1 MHz. When the temperature of the image processing device 11, which is higher than the second threshold T2, becomes equal to or lower than the second threshold T2 due to the occupant operating the air conditioning equipment, etc., the control unit 24 releases the restriction on the operation of the sign image generating unit 13 and the sign recognition processing unit 15.

一方、制御部２４は、画像処理装置１１の温度が第１閾値Ｔ１以下の場合、視差画像生成部８及び視差画像用認識処理部１０の動作を制限しない。この場合、画像処理装置１１では、制限無く通常通り動作した視差画像用認識処理部１０の認識結果が、車両通信部１８から車両の制御装置へ送信される。視差画像用認識処理部１０の認識結果に応じて行われる衝突被害軽減ブレーキの作動等の安全上重要な第１動作については、制限無く通常通り行われる。 On the other hand, when the temperature of the image processing device 11 is equal to or lower than the first threshold value T1, the control unit 24 does not restrict the operation of the parallax image generation unit 8 and the parallax image recognition processing unit 10. In this case, in the image processing device 11, the recognition result of the parallax image recognition processing unit 10, which operates normally without any restrictions, is transmitted from the vehicle communication unit 18 to the vehicle control device. The first operation that is important for safety, such as the activation of the collision damage mitigation brake, which is performed in response to the recognition result of the parallax image recognition processing unit 10, is performed normally without any restrictions.

以上のように、実施形態１の画像処理装置１１は、一対の撮像画像３，４から生成された視差画像９に基づいて車両の周囲環境を認識する第１認識処理部である視差画像用認識処理部１０を備える。加えて、実施形態１の画像処理装置１１は、一対の撮像画像３，４の何れかである右撮像画像３に基づいて車両の周囲環境を認識する第２認識処理部である標識用認識処理部１５を備える。加えて、実施形態１の画像処理装置１１は、画像処理装置１１の温度上昇に応じて第２認識処理部である標識用認識処理部１５の動作を制限する制御部２４を備える。 As described above, the image processing device 11 of the first embodiment includes a parallax image recognition processing unit 10, which is a first recognition processing unit that recognizes the surrounding environment of the vehicle based on the parallax image 9 generated from the pair of captured images 3 and 4. In addition, the image processing device 11 of the first embodiment includes a sign recognition processing unit 15, which is a second recognition processing unit that recognizes the surrounding environment of the vehicle based on the right captured image 3, which is one of the pair of captured images 3 and 4. In addition, the image processing device 11 of the first embodiment includes a control unit 24 that limits the operation of the sign recognition processing unit 15, which is the second recognition processing unit, in response to a temperature rise of the image processing device 11.

これにより、実施形態１の画像処理装置１１は、第２認識処理部に係る回路の自己発熱を著しく低減することができ、画像処理装置１１の回路の自己発熱は、実質的に、第１認識処理部に係る回路の自己発熱だけとなる。したがって、実施形態１の画像処理装置１１は、高温環境下であっても回路温度が高くなることを抑制することができるので、安全上重要な車両の動作への影響を抑制することができ、乗員の安全を確保することができる。 As a result, the image processing device 11 of embodiment 1 can significantly reduce self-heating of the circuit related to the second recognition processing unit, and the self-heating of the circuit of the image processing device 11 is essentially limited to the self-heating of the circuit related to the first recognition processing unit. Therefore, the image processing device 11 of embodiment 1 can suppress an increase in the circuit temperature even in a high-temperature environment, thereby suppressing the impact on the operation of the vehicle, which is important for safety, and ensuring the safety of the occupants.

更に、実施形態１の画像処理装置１１は、制御部２４が、画像処理装置１１の温度の閾値として、回路動作の保証が困難な温度を判定するための第１閾値Ｔ１と、第１閾値Ｔ１よりも低い第２閾値Ｔ２とを有する。制御部２４は、画像処理装置１１の温度が第２閾値Ｔ２より高く第１閾値Ｔ１以下の場合、第２認識処理部である標識用認識処理部１５の動作を制限する一方、第１認識処理部である視差画像用認識処理部１０の動作を制限しない。このような動作制限を行うことによって、実施形態１の画像処理装置１１を備える車両では、第１認識処理部である視差画像用認識処理部１０の認識結果に応じて行われる車両の第１動作を、第２認識処理部である標識用認識処理部１５の認識結果に応じて行われる車両の第２動作よりも優先して行うことができる。 Furthermore, in the image processing device 11 of the first embodiment, the control unit 24 has a first threshold T1 for determining a temperature at which it is difficult to ensure circuit operation as a threshold value for the temperature of the image processing device 11, and a second threshold T2 lower than the first threshold T1. When the temperature of the image processing device 11 is higher than the second threshold T2 and equal to or lower than the first threshold T1, the control unit 24 restricts the operation of the sign recognition processing unit 15, which is the second recognition processing unit, but does not restrict the operation of the parallax image recognition processing unit 10, which is the first recognition processing unit. By restricting the operation in this manner, in a vehicle equipped with the image processing device 11 of the first embodiment, the first vehicle operation performed in response to the recognition result of the parallax image recognition processing unit 10, which is the first recognition processing unit, can be performed in priority over the second vehicle operation performed in response to the recognition result of the sign recognition processing unit 15, which is the second recognition processing unit.

これにより、実施形態１の画像処理装置１１は、画像処理装置１１の温度が回路動作の保証が困難な温度になる前の段階において、優先度の低い第２動作の実行に必要な認識処理を行う第２認識処理部の動作を制限し、回路温度が高くなることを抑制することができる。実施形態１の画像処理装置１１は、安全上重要な第１動作の実行に必要な第１認識処理部の動作は制限されず、高温環境下であっても乗員の安全を確保する上で重要な最低限の動作を維持することができる。よって、実施形態１の画像処理装置１１は、高温環境下であっても安全上重要な車両の動作への影響を抑制することができる。そして、実施形態１の画像処理装置１１は、衝突被害軽減ブレーキの作動等の安全上重要な第１動作が制限無く行われる温度範囲を広範囲に拡大することができる。よって、実施形態１の画像処理装置１１は、高温環境下であっても安全上重要な車両の動作への影響を抑制することができ、乗員の安全を確保することができる。 As a result, the image processing device 11 of the first embodiment can restrict the operation of the second recognition processing unit that performs the recognition processing required for executing the second operation with a low priority before the temperature of the image processing device 11 reaches a temperature at which it is difficult to guarantee the circuit operation, thereby suppressing an increase in the circuit temperature. The image processing device 11 of the first embodiment does not restrict the operation of the first recognition processing unit that is required for executing the first operation that is important for safety, and can maintain the minimum operation that is important for ensuring the safety of the occupants even in a high-temperature environment. Therefore, the image processing device 11 of the first embodiment can suppress the influence on the operation of the vehicle that is important for safety even in a high-temperature environment. And, the image processing device 11 of the first embodiment can expand the temperature range in which the first operation that is important for safety, such as the operation of the collision damage mitigation brake, can be performed without restriction to a wide range. Therefore, the image processing device 11 of the first embodiment can suppress the influence on the operation of the vehicle that is important for safety even in a high-temperature environment, and can ensure the safety of the occupants.

更に、実施形態１の画像処理装置１１は、制御部２４が第２認識処理部である標識用認識処理部１５の動作を制限するために制御する制御量は、第２認識処理部である標識用認識処理部１５の動作周期を定めるクロック周波数である。 Furthermore, in the image processing device 11 of embodiment 1, the control amount that the control unit 24 controls to limit the operation of the sign recognition processing unit 15, which is the second recognition processing unit, is the clock frequency that determines the operating period of the sign recognition processing unit 15, which is the second recognition processing unit.

これにより、実施形態１の画像処理装置１１は、特別な回路等を設けなくても第２認識処理部の動作を制限することができる。よって、実施形態１の画像処理装置１１は、高温環境下であっても回路温度が高くなることを容易に抑制することができるので、安全上重要な車両の動作への影響を容易に抑制することができ、乗員の安全を確保することができる。 As a result, the image processing device 11 of embodiment 1 can restrict the operation of the second recognition processing unit without providing a special circuit or the like. Therefore, the image processing device 11 of embodiment 1 can easily prevent the circuit temperature from increasing even in a high-temperature environment, so that the impact on safety-important vehicle operations can be easily suppressed, and the safety of the occupants can be ensured.

［他の実施形態］
図４～図７を用いて、画像処理装置１１の他の実施形態２～４について説明する。実施形態２～４の説明において、実施形態１と同様の構成及び動作については、説明を省略する。 [Other embodiments]
4 to 7, other embodiments 2 to 4 of the image processing device 11 will be described. In the description of embodiments 2 to 4, the description of the same configurations and operations as those of embodiment 1 will be omitted.

図４は、実施形態２の画像処理装置１１の機能的構成を示す図である。 Figure 4 is a diagram showing the functional configuration of the image processing device 11 of embodiment 2.

実施形態２の画像処理装置１１は、標識用画像生成部１３及び標識用認識処理部１５に電源電圧を供給する標識用電源電圧供給部４０と、視差画像生成部８及び視差画像用認識処理部１０に電源電圧を供給する視差画像用電源電圧供給部４２とを備える。実施形態２の画像処理装置１１は、制御部２４が、標識用電源電圧供給部４０及び視差画像用電源電圧供給部４２の動作を個別に制御することによって、画像処理装置１１の動作を制御する。具体的には、実施形態２の制御部２４は、画像処理装置１１の温度上昇に応じて、標識用電源電圧供給部４０によって供給される電源電圧を低減することによって、標識用画像生成部１３及び標識用認識処理部１５の動作を制限する。すなわち、実施形態２では、制御部２４が第２認識処理部である標識用認識処理部１５の動作を制限するために制御する制御量は、第２認識処理部である標識用認識処理部１５に供給される電源電圧である。 The image processing device 11 of the second embodiment includes a sign power supply voltage supply unit 40 that supplies a power supply voltage to the sign image generation unit 13 and the sign recognition processing unit 15, and a parallax image power supply voltage supply unit 42 that supplies a power supply voltage to the parallax image generation unit 8 and the parallax image recognition processing unit 10. In the image processing device 11 of the second embodiment, the control unit 24 controls the operation of the image processing device 11 by individually controlling the operation of the sign power supply voltage supply unit 40 and the parallax image power supply voltage supply unit 42. Specifically, the control unit 24 of the second embodiment limits the operation of the sign image generation unit 13 and the sign recognition processing unit 15 by reducing the power supply voltage supplied by the sign power supply voltage supply unit 40 in response to a temperature rise of the image processing device 11. That is, in the second embodiment, the control amount controlled by the control unit 24 to limit the operation of the sign recognition processing unit 15, which is the second recognition processing unit, is the power supply voltage supplied to the sign recognition processing unit 15, which is the second recognition processing unit.

実施形態２の制御部２４は、画像処理装置１１の温度が第２閾値Ｔ２より高い場合、標識用画像生成部１３及び標識用認識処理部１５に供給される電源電圧を制限する。例えば、標識用画像生成部１３及び標識用認識処理部１５の動作を制限しない通常時の電源電圧が３．０Ｖであり、標識用画像生成部１３及び標識用認識処理部１５の動作保証電圧が２．８Ｖであるとする。このとき、実施形態２の制御部２４は、画像処理装置１１の温度が第２閾値Ｔ２より高い場合、標識用電源電圧供給部４０から供給される電源電圧を３．０Ｖから２．８Ｖに低減する。標識用画像生成部１３及び標識用認識処理部１５は、供給される電源電圧が２．８Ｖに低減すると、回路を構成するトランジスタの駆動能力が低減するので、標識用画像生成部１３及び標識用認識処理部１５の動作が制限され得る。 In the second embodiment, the control unit 24 limits the power supply voltage supplied to the sign image generation unit 13 and the sign recognition processing unit 15 when the temperature of the image processing device 11 is higher than the second threshold T2. For example, the power supply voltage during normal operation, when the operation of the sign image generation unit 13 and the sign recognition processing unit 15 is not limited, is 3.0 V, and the guaranteed operating voltage of the sign image generation unit 13 and the sign recognition processing unit 15 is 2.8 V. In this case, when the temperature of the image processing device 11 is higher than the second threshold T2, the control unit 24 in the second embodiment reduces the power supply voltage supplied from the sign power supply voltage supply unit 40 from 3.0 V to 2.8 V. When the power supply voltage supplied to the sign image generation unit 13 and the sign recognition processing unit 15 is reduced to 2.8 V, the driving capacity of the transistors constituting the circuit is reduced, and therefore the operation of the sign image generation unit 13 and the sign recognition processing unit 15 may be limited.

これにより、実施形態２の画像処理装置１１は、実施形態１と同様に、第２認識処理部に係る回路の自己発熱を低減することができ、高温環境下であっても回路温度が高くなることを抑制することができる。よって、実施形態２の画像処理装置１１は、実施形態１と同様に、安全上重要な車両の動作への影響を抑制することができ、乗員の安全を確保することができる。 As a result, the image processing device 11 of the second embodiment, like the first embodiment, can reduce self-heating of the circuit related to the second recognition processing unit, and can prevent the circuit temperature from becoming too high even in a high-temperature environment. Therefore, like the first embodiment, the image processing device 11 of the second embodiment can reduce the impact on vehicle operations that are important for safety, and can ensure the safety of the occupants.

更に、実施形態２の画像処理装置１１は、制御部２４が第２認識処理部である標識用認識処理部１５の動作を制限するために制御する制御量は、第２認識処理部である標識用認識処理部１５に供給される電源電圧である。 Furthermore, in the image processing device 11 of the second embodiment, the control amount that the control unit 24 controls to limit the operation of the sign recognition processing unit 15, which is the second recognition processing unit, is the power supply voltage supplied to the sign recognition processing unit 15, which is the second recognition processing unit.

これにより、実施形態２の画像処理装置１１は、特別な回路等を設けなくても第２認識処理部の動作を制限することができる。よって、実施形態２の画像処理装置１１は、高温環境下であっても回路温度が高くなることを容易に抑制することができるので、安全上重要な車両の動作への影響を容易に抑制することができ、乗員の安全性を確保することができる。 As a result, the image processing device 11 of the second embodiment can restrict the operation of the second recognition processing unit without providing a special circuit or the like. Therefore, the image processing device 11 of the second embodiment can easily prevent the circuit temperature from increasing even in a high-temperature environment, so that the impact on safety-important vehicle operations can be easily suppressed, and the safety of the occupants can be ensured.

なお、標識用電源電圧供給部４０から供給される電源電圧が３．０Ｖから２．８Ｖに低減される場合、標識用画像生成部１３及び標識用認識処理部１５の回路の動作保証電圧に対する電源電圧のマージンが減少する可能性がある。そこで、実施形態２の制御部２４は、標識用電源電圧供給部４０から供給される電源電圧を、標識用画像生成部１３及び標識用認識処理部１５の動作保証電圧より高い値に低減し、且つ、標識用画像生成部１３及び標識用認識処理部１５のクロック周波数を低減してもよい。これにより、実施形態２の画像処理装置１１では、第２認識処理部に係る回路の動作保証電圧に対する電源電圧のマージンを確保しつつ、自己発熱が低減されるので好適である。 When the power supply voltage supplied from the sign power supply unit 40 is reduced from 3.0V to 2.8V, the power supply voltage margin for the guaranteed operating voltage of the circuits of the sign image generation unit 13 and the sign recognition processing unit 15 may be reduced. Therefore, the control unit 24 of the second embodiment may reduce the power supply voltage supplied from the sign power supply unit 40 to a value higher than the guaranteed operating voltage of the sign image generation unit 13 and the sign recognition processing unit 15, and may also reduce the clock frequency of the sign image generation unit 13 and the sign recognition processing unit 15. This is preferable because the image processing device 11 of the second embodiment reduces self-heating while ensuring the power supply voltage margin for the guaranteed operating voltage of the circuits related to the second recognition processing unit.

また、実施形態２の制御部２４は、画像処理装置１１の温度が第２閾値Ｔ２より高い場合、標識用電源電圧供給部４０からの電源電圧の供給を停止して、標識用画像生成部１３及び標識用認識処理部１５を停止してもよい。これにより、実施形態２の画像処理装置１１は、標識用画像生成部１３及び標識用認識処理部１５の待機電力を削減することができるので、実施形態１よりも回路温度が高くなることを抑制することができる。但し、一般的に、一旦停止された標識用画像生成部１３及び標識用認識処理部１５を再開させるためには、標識用画像生成部１３及び標識用認識処理部１５の初期化処理を再度行う必要があり、標識用認識処理部１５の認識処理が有効に行われるのに時間が掛かる。また、標識用画像生成部１３及び標識用認識処理部１５が互いに共通の電源電圧供給部である標識用電源電圧供給部４０に接続される場合には、標識用画像生成部１３だけを予め再開させることも難しい。よって、実施形態２の制御部２４は、上記のように、標識用電源電圧供給部４０からの電源電圧の供給を停止せずに、標識用画像生成部１３及び標識用認識処理部１５の動作を制限する方が好適である。 In addition, the control unit 24 of the second embodiment may stop the supply of power supply voltage from the sign power supply unit 40 and stop the sign image generation unit 13 and the sign recognition processing unit 15 when the temperature of the image processing device 11 is higher than the second threshold T2. As a result, the image processing device 11 of the second embodiment can reduce the standby power of the sign image generation unit 13 and the sign recognition processing unit 15, so that the circuit temperature can be suppressed from becoming higher than in the first embodiment. However, in general, in order to resume the sign image generation unit 13 and the sign recognition processing unit 15 that have been temporarily stopped, it is necessary to perform the initialization process of the sign image generation unit 13 and the sign recognition processing unit 15 again, and it takes time for the recognition process of the sign recognition processing unit 15 to be effectively performed. In addition, when the sign image generation unit 13 and the sign recognition processing unit 15 are connected to the sign power supply unit 40, which is a common power supply voltage supply unit, it is also difficult to resume only the sign image generation unit 13 in advance. Therefore, as described above, it is preferable for the control unit 24 in embodiment 2 to limit the operation of the sign image generation unit 13 and the sign recognition processing unit 15 without stopping the supply of power supply voltage from the sign power supply voltage supply unit 40.

図５は、実施形態３の画像処理装置１１の機能的構成を示す図である。 Figure 5 is a diagram showing the functional configuration of the image processing device 11 of embodiment 3.

実施形態３の画像処理装置１１は、標識用画像生成部１３及び標識用認識処理部１５並びに視差画像生成部８及び視差画像用認識処理部１０のそれぞれの機能が、同一の画像処理プロセッサ５１によって処理されるソフトウェアに実装された構成を備える。実施形態３の画像処理装置１１は、画像処理プロセッサ５１にクロック信号を供給する画像処理プロセッサ用クロック供給部５０を備える。 The image processing device 11 of the third embodiment has a configuration in which the functions of the sign image generation unit 13 and the sign recognition processing unit 15, as well as the parallax image generation unit 8 and the parallax image recognition processing unit 10, are implemented in software that is processed by the same image processing processor 51. The image processing device 11 of the third embodiment has an image processing processor clock supply unit 50 that supplies a clock signal to the image processing processor 51.

実施形態３の画像処理装置１１では、画像処理プロセッサ５１に供給されるクロック信号や電源電圧を停止させると、視差画像生成部８及び視差画像用認識処理部１０が停止する。そこで、実施形態３の制御部２４は、画像処理装置１１の温度が第２閾値Ｔ２より高い場合、画像処理プロセッサ用クロック供給部５０から供給されるクロック信号の周波数を、通常時から半減させる。例えば、制御部２４は、画像処理プロセッサ用クロック供給部５０から供給されるクロック信号の周波数を、通常時の１ＧＨｚから０．５ＧＨｚに低減する。画像処理プロセッサ５１は、回路を構成するトランジスタのスイッチング動作の回数が半減し、自己発熱が低減する。実施形態３の画像処理装置１１では、画像処理プロセッサ５１のクロック周波数が半減することにより、その処理速度は低下するが、標識用画像生成部１３及び標識用認識処理部１５の処理対象の標識を制限する等によって、これらの動作を制限する。これにより、実施形態３の画像処理装置１１では、画像処理プロセッサ５１のクロック周波数が半減しても、視差画像生成部８及び視差画像用認識処理部１０の動作を制限せずに通常通りに動作させることができる。 In the image processing device 11 of the third embodiment, when the clock signal or power supply voltage supplied to the image processing processor 51 is stopped, the parallax image generation unit 8 and the parallax image recognition processing unit 10 are stopped. Therefore, when the temperature of the image processing device 11 is higher than the second threshold T2, the control unit 24 of the third embodiment halves the frequency of the clock signal supplied from the image processing processor clock supply unit 50 from the normal frequency. For example, the control unit 24 reduces the frequency of the clock signal supplied from the image processing processor clock supply unit 50 from the normal frequency of 1 GHz to 0.5 GHz. In the image processing device 11 of the third embodiment, the number of switching operations of the transistors constituting the circuit is halved, and self-heating is reduced. In the image processing device 11 of the third embodiment, the processing speed of the image processing processor 51 is reduced by halving the clock frequency, but the operation of these is restricted by restricting the signs to be processed by the sign image generation unit 13 and the sign recognition processing unit 15, for example. As a result, in the image processing device 11 of embodiment 3, even if the clock frequency of the image processor 51 is halved, the operation of the parallax image generation unit 8 and the parallax image recognition processing unit 10 can be operated normally without being restricted.

したがって、実施形態３の画像処理装置１１では、実施形態１と同様に、第２認識処理部に係る回路の自己発熱を低減することができ、高温環境下であっても回路温度が高くなることを抑制することができる。よって、実施形態３の画像処理装置１１は、実施形態１と同様に、安全上重要な車両の動作への影響を抑制することができ、乗員の安全を確保することができる。 Therefore, in the image processing device 11 of embodiment 3, similar to embodiment 1, it is possible to reduce self-heating of the circuit related to the second recognition processing unit, and to prevent the circuit temperature from becoming too high even in a high-temperature environment. Therefore, in the image processing device 11 of embodiment 3, similar to embodiment 1, it is possible to reduce the impact on the operation of the vehicle that is important for safety, and to ensure the safety of the occupants.

図６は、実施形態４の画像処理装置１１の機能的構成を示す図である。 Figure 6 is a diagram showing the functional configuration of the image processing device 11 of embodiment 4.

実施形態４の画像処理装置１１は、標識用画像生成部１３及び標識用認識処理部１５並びに視差画像生成部８及び視差画像用認識処理部１０に加えて、配光画像生成部６１及び配光画像用認識処理部６２を備える。実施形態４の画像処理装置１１は、配光画像生成部６１及び配光画像用認識処理部６２にクロック信号を供給する配光用クロック供給部６３を備える。 The image processing device 11 of the fourth embodiment includes a light distribution image generation unit 61 and a light distribution image recognition processing unit 62 in addition to the sign image generation unit 13, the sign recognition processing unit 15, the parallax image generation unit 8, and the parallax image recognition processing unit 10. The image processing device 11 of the fourth embodiment includes a light distribution clock supply unit 63 that supplies a clock signal to the light distribution image generation unit 61 and the light distribution image recognition processing unit 62.

配光画像生成部６１及び配光画像用認識処理部６２は、車両の配光処理装置に関する画像処理機能である。配光処理装置は、対向車両や前方車両に対する眩惑を防止するため、対向車両や前方車両を認識した場合に、自車両のヘッドライトの状態をハイビームからロービームへ自動的に切り替える装置である。配光処理装置は、夜間やトンネル内において乗員が運転操作に集中するために有用である。但し、配光処理装置が無い車両であっても、ヘッドライトの状態を基本的にロービームとし、必要に応じて乗員の操作によりハイビームへ切り替えることが可能である。配光処理装置の作動は、衝突被害軽減ブレーキの作動等の第１動作よりも優先度が低いが、標識内容の報知等の第２動作よりも優先度が高い。 The light distribution image generating unit 61 and the light distribution image recognition processing unit 62 are image processing functions related to the light distribution processing device of the vehicle. The light distribution processing device is a device that automatically switches the state of the headlights of the vehicle from high beam to low beam when an oncoming vehicle or a vehicle ahead is recognized in order to prevent dazzling the oncoming vehicle or a vehicle ahead. The light distribution processing device is useful for allowing the occupant to concentrate on driving operations at night or in a tunnel. However, even in a vehicle without a light distribution processing device, the headlight state can be basically set to low beam, and can be switched to high beam by the occupant's operation as necessary. The operation of the light distribution processing device has a lower priority than the first operation such as the operation of the collision damage mitigation brake, but a higher priority than the second operation such as the notification of the sign content.

配光画像生成部６１は、加工後の右撮像画像６にフィルタ処理を行い、配光処理装置用のエッジ画像を生成する。配光処理装置用のエッジ画像は、対向車両や前方車両等のヘッドライトやテールライトが映った加工後の右撮像画像６からエッジを特徴量として抽出した画像である。配光画像用認識処理部６２は、配光処理装置用のエッジ画像に基づいて、対向車両や前方車両を認識し、車両通信部１８により、車両の制御装置へ認識結果を送信する。車両の制御装置は、配光画像用認識処理部６２の認識結果に応じて、対向車両や前方車両に対する眩惑を防止できるように配光処理装置が作動するよう車両の動作を制御する。すなわち、配光画像用認識処理部６２は、配光処理装置用のエッジ画像及び加工後の右撮像画像６の生成の元になった右撮像画像３に基づいて、車両の周囲環境を認識する。配光画像用認識処理部６２は、特許請求の範囲に記載された「第３認識処理部」の一例に該当する。 The light distribution image generating unit 61 performs a filter process on the processed right captured image 6 to generate an edge image for the light distribution processing device. The edge image for the light distribution processing device is an image in which edges are extracted as feature values from the processed right captured image 6 in which the headlights and taillights of oncoming and preceding vehicles are reflected. The light distribution image recognition processing unit 62 recognizes oncoming and preceding vehicles based on the edge image for the light distribution processing device, and transmits the recognition result to the vehicle control device via the vehicle communication unit 18. The vehicle control device controls the operation of the vehicle so that the light distribution processing device operates to prevent dazzling of oncoming and preceding vehicles according to the recognition result of the light distribution image recognition processing unit 62. That is, the light distribution image recognition processing unit 62 recognizes the surrounding environment of the vehicle based on the right captured image 3 that was the basis for generating the edge image for the light distribution processing device and the processed right captured image 6. The light distribution image recognition processing unit 62 corresponds to an example of the "third recognition processing unit" described in the claims.

本実施形態では、第３認識処理部である配光画像用認識処理部６２の認識結果に応じて行われる配光処理装置の作動等の車両の動作を、「第３動作」とも称する。第３動作は、第１動作よりも安全上重要な動作ではないが、第２動作よりも安全上重要な動作である。車両の制御装置は、第１動作を第３動作よりも優先し、第３動作を第２動作よりも優先して行う。 In this embodiment, the vehicle operation such as the operation of the light distribution processing device performed in response to the recognition result of the light distribution image recognition processing unit 62, which is the third recognition processing unit, is also referred to as the "third operation." The third operation is not more important in terms of safety than the first operation, but is more important in terms of safety than the second operation. The vehicle control device prioritizes the first operation over the third operation, and the third operation over the second operation.

図７は、図６に示す画像処理装置１１の高温環境下における動作を説明する図である。図７の縦軸は、画像処理装置１１の温度を示し、図７の横軸は時間を示す。 Figure 7 is a diagram explaining the operation of the image processing device 11 shown in Figure 6 in a high temperature environment. The vertical axis of Figure 7 indicates the temperature of the image processing device 11, and the horizontal axis of Figure 7 indicates time.

実施形態４の制御部２４は、画像処理装置１１の温度の閾値として、第１閾値Ｔ１より低く第２閾値Ｔ２より高い第３閾値Ｔ３を有する。第３閾値Ｔ３は、配光画像生成部６１及び配光画像用認識処理部６２の動作を制限せずに通常通り動作させるか否かを区別する温度である。第３閾値Ｔ３は、第３動作を保証する温度であってもよい。 The control unit 24 of the fourth embodiment has a third threshold T3 lower than the first threshold T1 and higher than the second threshold T2 as a threshold for the temperature of the image processing device 11. The third threshold T3 is a temperature that distinguishes whether or not the operation of the light distribution image generating unit 61 and the light distribution image recognition processing unit 62 is allowed to operate normally without being restricted. The third threshold T3 may be a temperature that guarantees the third operation.

実施形態４の制御部２４は、画像処理装置１１の温度が第２閾値Ｔ２以下の場合、標識用画像生成部１３及び標識用認識処理部１５の動作、視差画像生成部８及び視差画像用認識処理部１０の動作、並びに、配光画像生成部６１及び配光画像用認識処理部６２の動作を制限しない。 When the temperature of the image processing device 11 is equal to or lower than the second threshold T2, the control unit 24 of the fourth embodiment does not restrict the operation of the sign image generation unit 13 and the sign recognition processing unit 15, the operation of the parallax image generation unit 8 and the parallax image recognition processing unit 10, and the operation of the light distribution image generation unit 61 and the light distribution image recognition processing unit 62.

実施形態４の制御部２４は、画像処理装置１１の温度が第２閾値Ｔ２より高く第３閾値Ｔ３以下の場合、標識用画像生成部１３及び標識用認識処理部１５の動作を制限する。具体的には、制御部２４は、標識用クロック供給部２１から供給されるクロック信号の周波数を低減して、標識用画像生成部１３及び標識用認識処理部１５のクロック周波数を低減する。一方、この場合、実施形態４の制御部２４は、視差画像生成部８及び視差画像用認識処理部１０の動作、並びに、配光画像生成部６１及び配光画像用認識処理部６２の動作を制限しない。このような動作制限を行うことによって、実施形態４の画像処理装置１１を備える車両では、第１認識処理部である視差画像用認識処理部１０の認識結果に応じて行われる車両の第１動作と、第３認識処理部である配光画像用認識処理部６２の認識結果に応じて行われる車両の第３動作とを、第２認識処理部である標識用認識処理部１５の認識結果に応じて行われる車両の第２動作よりも優先して行うことができる。 The control unit 24 of the fourth embodiment restricts the operation of the sign image generation unit 13 and the sign recognition processing unit 15 when the temperature of the image processing device 11 is higher than the second threshold T2 and equal to or lower than the third threshold T3. Specifically, the control unit 24 reduces the frequency of the clock signal supplied from the sign clock supply unit 21 to reduce the clock frequency of the sign image generation unit 13 and the sign recognition processing unit 15. On the other hand, in this case, the control unit 24 of the fourth embodiment does not restrict the operation of the parallax image generation unit 8 and the parallax image recognition processing unit 10, and the operation of the light distribution image generation unit 61 and the light distribution image recognition processing unit 62. By restricting the operation in this way, in a vehicle equipped with the image processing device 11 of the fourth embodiment, the first operation of the vehicle performed in response to the recognition result of the parallax image recognition processing unit 10, which is the first recognition processing unit, and the third operation of the vehicle performed in response to the recognition result of the light distribution image recognition processing unit 62, which is the third recognition processing unit, can be performed in priority to the second operation of the vehicle performed in response to the recognition result of the sign recognition processing unit 15, which is the second recognition processing unit.

実施形態４の制御部２４は、画像処理装置１１の温度が第３閾値Ｔ３より高く第１閾値Ｔ１以下の場合、標識用画像生成部１３及び標識用認識処理部１５の動作、並びに、配光画像生成部６１及び配光画像用認識処理部６２の動作を制限する。具体的には、制御部２４は、標識用クロック供給部２１から供給されるクロック信号の周波数を低減して、標識用画像生成部１３及び標識用認識処理部１５のクロック周波数を低減する。加えて、制御部２４は、配光用クロック供給部６３から供給されるクロック信号の周波数を低減して、配光画像生成部６１及び配光画像用認識処理部６２のクロック周波数を低減する。一方、この場合、実施形態４の制御部２４は、視差画像生成部８及び視差画像用認識処理部１０の動作を制限しない。このような動作制限を行うことによって、実施形態４の画像処理装置１１を備える車両では、第１認識処理部である視差画像用認識処理部１０の認識結果に応じて行われる車両の第１動作を、第３認識処理部である配光画像用認識処理部６２の認識結果に応じて行われる車両の第３動作と、第２認識処理部である標識用認識処理部１５の認識結果に応じて行われる車両の第２動作とよりも優先して行うことができる。 In the fourth embodiment, when the temperature of the image processing device 11 is higher than the third threshold T3 and equal to or lower than the first threshold T1, the control unit 24 restricts the operation of the sign image generation unit 13 and the sign recognition processing unit 15, as well as the operation of the light distribution image generation unit 61 and the light distribution image recognition processing unit 62. Specifically, the control unit 24 reduces the frequency of the clock signal supplied from the sign clock supply unit 21 to reduce the clock frequency of the sign image generation unit 13 and the sign recognition processing unit 15. In addition, the control unit 24 reduces the frequency of the clock signal supplied from the light distribution clock supply unit 63 to reduce the clock frequency of the light distribution image generation unit 61 and the light distribution image recognition processing unit 62. On the other hand, in this case, the control unit 24 in the fourth embodiment does not restrict the operation of the parallax image generation unit 8 and the parallax image recognition processing unit 10. By implementing such operational restrictions, in a vehicle equipped with the image processing device 11 of embodiment 4, the first vehicle action performed in response to the recognition results of the parallax image recognition processing unit 10, which is the first recognition processing unit, can be prioritized over the third vehicle action performed in response to the recognition results of the light distribution image recognition processing unit 62, which is the third recognition processing unit, and the second vehicle action performed in response to the recognition results of the sign recognition processing unit 15, which is the second recognition processing unit.

図７において、グラフ７２（実線）は、画像処理装置１１の温度が第２閾値Ｔ２を超えた段階において標識用画像生成部１３及び標識用認識処理部１５の動作を制限し、第３閾値Ｔ３を超えた段階において配光画像生成部６１及び配光画像用認識処理部６２の動作を制限する場合を示す。すなわち、グラフ７２は、実施形態４の制御部２４が上記のように画像処理装置１１の動作を制限した場合を示す。グラフ３１（破線）は、実施形態１において説明したように、制御部２４が画像処理装置１１の動作を何も制限すること無く、画像処理装置１１が動作する場合を示す。グラフ７０（破線）は、画像処理装置１１の温度が第２閾値Ｔ２を超えた段階において標識用画像生成部１３及び標識用認識処理部１５の動作を制限するが、第３閾値Ｔ３を超えた段階において配光画像生成部６１及び配光画像用認識処理部６２の動作を制限しない場合を示す。 In FIG. 7, graph 72 (solid line) shows a case where the operation of the sign image generating unit 13 and the sign recognition processing unit 15 is restricted when the temperature of the image processing device 11 exceeds the second threshold T2, and the operation of the light distribution image generating unit 61 and the light distribution image recognition processing unit 62 is restricted when the temperature of the image processing device 11 exceeds the third threshold T3. That is, graph 72 shows a case where the control unit 24 of embodiment 4 restricts the operation of the image processing device 11 as described above. Graph 31 (dashed line) shows a case where the image processing device 11 operates without the control unit 24 restricting the operation of the image processing device 11 at all, as described in embodiment 1. Graph 70 (dashed line) shows a case where the operation of the sign image generating unit 13 and the sign recognition processing unit 15 is restricted when the temperature of the image processing device 11 exceeds the second threshold T2, but the operation of the light distribution image generating unit 61 and the light distribution image recognition processing unit 62 is not restricted when the temperature of the image processing device 11 exceeds the third threshold T3.

実施形態４の画像処理装置１１の温度は、グラフ７２のように、グラフ３１やグラフ７０よりも緩やかに上昇する曲線を描いて推移する。実施形態４の画像処理装置１１の温度は、グラフ３１が第１閾値Ｔ１に到達する時点ｔ２や、グラフ７０が第１閾値Ｔ１に到達する時点ｔ３よりも、遅い時点ｔ４において第１閾値Ｔ１に到達する。実施形態４の画像処理装置１１は、グラフ７０の場合と比べて、（ｔ４－ｔ３）の時間だけ長く、視差画像生成部８及び視差画像用認識処理部１０の動作を制限無く行うことができる。実施形態４の画像処理装置１１は、グラフ７０の場合と比べて、視差画像用認識処理部１０の認識結果に応じて行われる衝突被害軽減ブレーキの作動等の安全上重要な第１動作が制限無く行われる温度範囲を広範囲に拡大することができる。よって、実施形態４の画像処理装置１１は、高温環境下であっても安全上重要な車両の動作への影響を抑制することができ、乗員の安全を確保することができる。 The temperature of the image processing device 11 of the fourth embodiment progresses along a curve that rises more gently than the graphs 31 and 70, as shown in the graph 72. The temperature of the image processing device 11 of the fourth embodiment reaches the first threshold T1 at a time t4 that is later than the time t2 at which the graph 31 reaches the first threshold T1 and the time t3 at which the graph 70 reaches the first threshold T1. The image processing device 11 of the fourth embodiment can perform the operation of the parallax image generation unit 8 and the parallax image recognition processing unit 10 without restrictions for a time period (t4-t3) longer than that of the graph 70. The image processing device 11 of the fourth embodiment can expand the temperature range in which the first operation important for safety, such as the operation of the collision damage mitigation brake performed in response to the recognition result of the parallax image recognition processing unit 10, can be performed without restrictions to a wider range than that of the graph 70. Therefore, the image processing device 11 of the fourth embodiment can suppress the influence on the operation of the vehicle important for safety even in a high-temperature environment, and can ensure the safety of the occupants.

なお、上記の実施形態４では、画像処理装置１１は、第１認識処理部である視差画像用認識処理部１０、第２認識処理部である標識用認識処理部１５、及び、第３認識処理部である配光画像用認識処理部６２を備える。これに限定されず、画像処理装置１１は、視差画像９に基づいて、車両の周囲環境を認識する認識処理を行い、認識結果を車両の制御装置に送信する第４認識処理部を更に備えてもよい。すなわち、画像処理装置１１は、視差画像９に基づいて周囲環境の認識処理を行う認識処理部を複数備えていてもよい。この場合、第４認識処理部の認識結果に応じて行われる車両の動作を、「第４動作」とも称する。第４動作としては、例えば、車線維持装置の作動や渋滞追従装置の作動が挙げられる。第４動作は、衝突被害軽減ブレーキの作動等の第１動作よりも優先度が低いが、配光処理装置の作動等の第３動作よりも優先度が高い。そして、制御部２４は、第１閾値Ｔ１よりも低く第３閾値Ｔ３よりも高い第４閾値を有し、画像処理装置１１の温度が第４閾値を超えた段階において、第４認識処理部の動作を制限してもよい。このように、画像処理装置１１は、安全性の観点から車両の動作の優先度に応じて当該動作の制御に係る認識処理部の動作を制限することによって、画像処理装置１１の回路温度の上昇を出来るだけ抑制することができる。画像処理装置１１は、高温環境下であっても安全上重要な車両の動作への影響を抑制することができ、乗員の安全を確保することができる。 In the above-mentioned embodiment 4, the image processing device 11 includes a parallax image recognition processing unit 10 as the first recognition processing unit, a sign recognition processing unit 15 as the second recognition processing unit, and a light distribution image recognition processing unit 62 as the third recognition processing unit. Not limited to this, the image processing device 11 may further include a fourth recognition processing unit that performs recognition processing to recognize the surrounding environment of the vehicle based on the parallax image 9 and transmits the recognition result to the control device of the vehicle. That is, the image processing device 11 may include a plurality of recognition processing units that perform recognition processing of the surrounding environment based on the parallax image 9. In this case, the operation of the vehicle performed according to the recognition result of the fourth recognition processing unit is also referred to as a "fourth operation". Examples of the fourth operation include the operation of a lane keeping device and the operation of a traffic jam following device. The fourth operation has a lower priority than the first operation such as the operation of a collision damage mitigation brake, but has a higher priority than the third operation such as the operation of a light distribution processing device. The control unit 24 may have a fourth threshold value lower than the first threshold value T1 and higher than the third threshold value T3, and may limit the operation of the fourth recognition processing unit at a stage where the temperature of the image processing device 11 exceeds the fourth threshold value. In this way, the image processing device 11 can suppress an increase in the circuit temperature of the image processing device 11 as much as possible by limiting the operation of the recognition processing unit related to the control of the vehicle operation according to the priority of the operation from the viewpoint of safety. The image processing device 11 can suppress the influence on the vehicle operation that is important for safety even in a high-temperature environment, and can ensure the safety of the occupants.

［その他］
なお、本発明は上記の実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記の実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。 [others]
The present invention is not limited to the above-described embodiments, and various modifications are included. For example, the above-described embodiments have been described in detail to clearly explain the present invention, and are not necessarily limited to those having all of the configurations described. In addition, it is possible to replace a part of the configuration of one embodiment with the configuration of another embodiment, and it is also possible to add the configuration of another embodiment to the configuration of one embodiment. In addition, it is possible to add, delete, or replace a part of the configuration of each embodiment with another configuration.

また、上記の各構成、機能、処理部、処理手段などは、それらの一部又は全部を、例えば集積回路にて設計する等によりハードウェアによって実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアによって実現してもよい。各機能を実現するプログラム、テープ、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（solid state drive）等の記録装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。 Furthermore, the above-mentioned configurations, functions, processing units, processing means, etc. may be realized in part or in whole by hardware, for example by designing them in an integrated circuit. Furthermore, the above-mentioned configurations, functions, etc. may be realized by software, in which a processor interprets and executes a program that realizes each function. Information on the programs, tapes, files, etc. that realize each function can be stored in a memory, a recording device such as a hard disk or SSD (solid state drive), or a recording medium such as an IC card, SD card, or DVD.

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。 In addition, the control lines and information lines shown are those considered necessary for the explanation, and not all control lines and information lines on the product are necessarily shown. In reality, it can be assumed that almost all components are interconnected.

１・・・右カメラモジュール２・・・左カメラモジュール
３・・・右撮像画像４・・・左撮像画像
９・・・視差画像１０・・・視差画像用認識処理部（第１認識処理部）
１１・・・画像処理装置１５・・・標識用認識処理部（第２認識処理部）
２４・・・制御部６２・・・配光画像用認識処理部（第３認識処理部） REFERENCE SIGNS LIST 1 Right camera module 2 Left camera module 3 Right captured image 4 Left captured image 9 Parallax image 10 Parallax image recognition processing unit (first recognition processing unit)
11: Image processing device 15: Sign recognition processing unit (second recognition processing unit)
24: Control unit 62: Light distribution image recognition processing unit (third recognition processing unit)

Claims

An image processing device that processes a pair of captured images acquired by a pair of camera modules that capture an image of an environment surrounding a vehicle,
a first recognition processing unit that recognizes the surrounding environment based on a parallax image generated from the pair of captured images;
a second recognition processing unit that recognizes the surrounding environment based on one of the pair of captured images;
A control unit for controlling an operation of the image processing device,
the vehicle performs a first action in response to a recognition result of the first recognition processing unit, performs a second action in response to a recognition result of the second recognition processing unit, and performs the first action, which is an action more important in terms of safety than the second action, in priority to the second action;
The control unit limits an operation of the second recognition processing unit without limiting an operation of the first recognition processing unit in response to a temperature rise of the image processing device.
13. An image processing device comprising:

The control unit is
The temperature threshold value includes a first threshold value that is an operational temperature of the image processing device, and a second threshold value that is a temperature lower than the first threshold value,
The image processing device according to claim 1 , wherein, when the temperature is higher than the second threshold and is equal to or lower than the first threshold, the operation of the second recognition processing unit is restricted.

a third recognition processing unit that recognizes the surrounding environment based on one of the pair of captured images,
the vehicle performs a third action in response to a recognition result of the third recognition processing unit, performs the first action, which is an action more important in terms of safety than the third action, in priority to the third action, and performs the third action, which is an action more important in terms of safety than the second action, in priority to the second action;
The control unit is
The threshold value of the temperature includes a third threshold value that is lower than the first threshold value and higher than the second threshold value,
When the temperature is higher than the second threshold and equal to or lower than the third threshold, the operation of the second recognition processing unit is restricted;
The image processing device according to claim 2 , wherein, when the temperature is higher than the third threshold and is equal to or lower than the first threshold, the operation of the second recognition processing unit is restricted and the operation of the third recognition processing unit is restricted.

The image processing device according to claim 1 , wherein the control amount by which the control unit controls to limit the operation is a clock frequency that determines an operation cycle of the second recognition processing unit.

The image processing device according to claim 1 , wherein the control amount that the control unit controls to limit the operation is a power supply voltage supplied to the second recognition processing unit.

The image processing device according to claim 1 , wherein the control unit stops the operation of the second recognition processing unit when the temperature becomes higher than a threshold value.