WO2021255991A1 - ステレオカメラ - Google Patents
ステレオカメラ Download PDFInfo
- Publication number
- WO2021255991A1 WO2021255991A1 PCT/JP2021/004275 JP2021004275W WO2021255991A1 WO 2021255991 A1 WO2021255991 A1 WO 2021255991A1 JP 2021004275 W JP2021004275 W JP 2021004275W WO 2021255991 A1 WO2021255991 A1 WO 2021255991A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- stereo camera
- temperature difference
- temperature
- threshold value
- control microcomputer
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B43/00—Testing correct operation of photographic apparatus or parts thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/55—Details of cameras or camera bodies; Accessories therefor with provision for heating or cooling, e.g. in aircraft
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B30/00—Camera modules comprising integrated lens units and imaging units, specially adapted for being embedded in other devices, e.g. mobile phones or vehicles
Definitions
- the present invention relates to a stereo camera capable of identifying an abnormal part inside.
- In-vehicle devices mounted on automobiles, etc. need a safety mechanism to avoid dangerous events that occur when a certain part breaks down.
- an in-vehicle camera that provides the vehicle control device with external world information used for driving support and automatic driving.
- a general in-vehicle camera is equipped with an image pickup element that captures the outside world, an image processing circuit that processes image data captured by the image pickup element to obtain outside world information, and a control microcomputer that transmits the outside world information to a vehicle control device.
- the vehicle control device that receives the abnormal outside world information makes a mistake in vehicle control and does not correspond to the actual outside world, steering, accelerating, Braking may result in a dangerous event.
- a temperature sensor is arranged in the vicinity of a main component, and when the measured temperature of the temperature sensor exceeds a specified threshold value, it is determined that it is abnormal or failed, and the power supply is cut off to in-vehicle. I was taking measures to stop the function of the camera.
- Patent Document 1 even if an abnormal temperature rise occurs due to a component failure when the ambient temperature is low, if the measured temperature of the temperature sensor is below the threshold value, the abnormality or failure may not be detected. On the other hand, when the atmospheric temperature is high, even if a component failure does not actually occur, if the measured temperature of the temperature sensor exceeds the threshold value, an abnormality or failure may be erroneously detected.
- an object of the present invention is to provide a stereo camera capable of identifying a component in which an abnormality or failure has occurred without being affected by the atmospheric temperature.
- the stereo camera of the present invention includes a first image sensor that captures the outside world and outputs the first image data, and a second image sensor that captures the outside world and outputs the second image data.
- An image processing circuit that processes the first image data and the second image data to acquire outside world information, a first temperature sensor provided in the vicinity of the first image sensor, and a second temperature sensor provided in the vicinity of the second image sensor.
- the first image sensor, the second image sensor, or the second image sensor based on the temperature difference between the second temperature sensor, the third temperature sensor provided in the vicinity of the image processing circuit, and the measured temperature of each temperature sensor. It is equipped with a control microcomputer for determining an abnormality in the image processing circuit.
- the stereo camera of the present invention it is possible to identify a component in which an abnormality or failure has occurred without being affected by the ambient temperature.
- Example of an increase in the internal temperature of a stereo camera when the atmospheric temperature is low Example of an increase in the internal temperature of a stereo camera when the atmospheric temperature is high
- Anomaly detection threshold example of temperature difference ⁇ T Example of failure detection method from temperature difference ⁇ T
- Example of setting a plurality of determination threshold values for the temperature difference ⁇ T according to the third embodiment Example of correcting the threshold value from the past information of the temperature difference ⁇ T according to the fourth embodiment.
- the stereo camera 1 according to the first embodiment of the present invention will be described with reference to FIGS. 1 to 4.
- the stereo camera 1 used for driving support and automatic driving of an automobile will be described as an example, but the stereo camera 1 is mounted on, for example, an autonomous mobile robot or an industrial robot. Is also good.
- the stereo camera 1 of this embodiment has a left image sensor 2L, a right image sensor 2R, an image processing circuit 3, a left temperature sensor 4L, a right temperature sensor 4R, a main temperature sensor 4M, and a control microcomputer 5. It includes a power supply circuit 6 and a storage unit 7.
- the left image sensor 2L and the right image sensor 2R are CCD image sensors and the like that capture the outside world and output image data.
- the image processing circuit 3 processes the image data to acquire the outside world information in front of the own vehicle (for example, the preceding vehicle, the pedestrian, the white line, the traffic signal, etc. in front of the own vehicle).
- the left temperature sensor 4L is installed in the vicinity of the left image sensor 2L, and measures the temperature TL around the left temperature sensor 4L.
- Right temperature sensor 4R is installed in the vicinity of the right imaging device 2R, measuring the temperature T R of the periphery of the right temperature sensor 4R.
- the main temperature sensor 4M is installed in the vicinity of the image processing circuit 3, to measure the temperature T M of the periphery of the image processing circuit 3.
- the power supply circuit 6 supplies electric power to the left image sensor 2L, the right image sensor 2R, the image processing circuit 3, and the like, or temporarily stops the power supply to each part, in response to a command from the control microcomputer 5.
- the function of partially stopping the power supply is referred to as "Halt”.
- the storage unit 7 is an EEPROM or the like that stores the past state of the stereo camera 1 determined by the control microcomputer 5 and the measured temperature T of each temperature sensor.
- the vehicle control device 10 is a control device that realizes driving support and automatic driving by controlling the steering system, drive system, and braking system of the vehicle based on the outside world information transmitted from the stereo camera 1, and is generally used. It is called an ECU (Electronic Control Unit).
- ECU Electronic Control Unit
- FIG. 2A is an example of an increase in the internal temperature when the normal stereo camera 1 is started when the ambient temperature is the low temperature T 1
- FIG. 2B is the same stereo when the ambient temperature is the high temperature T 2.
- This is an example of an increase in the internal temperature when the camera 1 is activated.
- the ambient temperature is high, the temperature T L (dashed line), T R (solid line), T M (dashed line) has risen while maintaining the relative relationships.
- This temperature T L affected by the ambient temperature, T R, from the T M itself, the left imaging device 2L, the right imaging device 2R, that it is difficult to detect the abnormality or failure of the image processing circuit 3 Means.
- each temperature difference ⁇ T keeps a substantially constant value regardless of the atmospheric temperature. Therefore, when an abnormality occurs in the temperature differences ⁇ T LR , ⁇ T MR , and ⁇ T ML , it can be inferred that some abnormality has occurred in the stereo camera 1.
- FIG. 3A shows the calculated value (white circle) of the temperature difference ⁇ T LR , and the upper threshold value and the lower threshold value (black circle) used for abnormality determination.
- FIG. 3B shows the calculated value (white circle) of the temperature difference ⁇ T MR , and the upper threshold value and the lower threshold value (black circle) used for abnormality determination.
- Figure 3 (c) shows calculated values of the temperature difference [Delta] T ML and (open circles), the abnormality on use in determination threshold and a lower threshold value (black circle).
- Each temperature difference ⁇ T is calculated by the control microcomputer 5 based on the measured temperature T of each temperature sensor, and each threshold value is stored by the designer or the like in consideration of the assumed temperature difference of the measured temperature T of each temperature sensor. It was registered in Part 7.
- the control microcomputer 5 compares the calculated temperature differences ⁇ T LR , ⁇ T MR , and ⁇ T ML with the upper threshold value and the lower threshold value set for each, and determines that the temperature difference is normal if it is located in the normal region between the upper and lower threshold values, and determines that the upper threshold value is normal. If the state of being located in the abnormal region above or below the threshold value is maintained for a predetermined time or longer, it is determined to be abnormal.
- the control microcomputer 5 determines the temperature difference when the stay in the abnormal region of the temperature difference ⁇ T ML reaches a predetermined time. judges ⁇ T ML abnormal.
- the control microcomputer 5 After determining the presence or absence of an abnormality in each temperature difference ⁇ T by the above method, the control microcomputer 5 identifies the faulty part of the stereo camera 1 based on the combination of normal and abnormal.
- FIG. 4 is an example of a failure detection method.
- the control microcomputer 5 determines that the stereo camera 1 has no failure.
- the control microcomputer 5 determines the stereo camera 1 according to the combination of the abnormal temperature difference ⁇ T. Identify abnormal or faulty parts. If any one of the temperature differences ⁇ T is abnormal (FIGS. 4 (b) to (d)), or if all the temperature differences ⁇ T are abnormal (FIG. 4 (h)), the abnormality or failure occurs. Although the occurrence itself can be determined, the site cannot be specified.
- control microcomputer 5 When the control microcomputer 5 detects an abnormality or a failure, the control microcomputer 5 controls the power supply circuit 6 according to the mode, starts the Halt mode for stopping the power supply to the abnormal portion, or notifies the vehicle control device 10 of the abnormality mode. To do.
- FIGS. 4 (e) and 4 (f) when it can be determined that one of the left image sensor 2L or the right image sensor 2R is normal and the other is abnormal, it is based on the image data of one of the normal image sensors. Since the acquisition of the outside world information can be continued, if the control microcomputer 5 notifies the vehicle control device 10 that the stereo camera 1 is being used as a monocular camera, the vehicle control device 10 recognizes the deterioration of the outside world information to some extent. On top of that, driving support and automatic driving can be continued.
- the stereo camera of this embodiment described above it is possible to identify a part in which an abnormality or failure has occurred without being affected by the ambient temperature. As a result, the stereo camera and the vehicle control device can continue to control according to the mode of abnormality or failure.
- the control microcomputer 5 determines that the temperature difference ⁇ T is abnormal, the power supply to the specified abnormal portion is immediately stopped (Halt mode), and when the temperature difference ⁇ T is determined to be normal, the power supply is immediately restarted.
- the determination of the control microcomputer 5 is switched one after another in a short time, and there is a possibility that the continuity of processing by the stereo camera 1 and the vehicle control device 10 cannot be maintained.
- hysteresis is provided in the Halt start threshold value and the Halt release threshold value to suppress hunting in which the Halt start / release is repeated.
- the stereo camera 1 shifts to the Halt mode only when the state in which the temperature difference ⁇ T exceeds the Halt start threshold for a certain period of time or longer continues, and the temperature difference ⁇ T becomes smaller after a lapse of time from the Halt mode state, and the Halter release threshold is reached.
- Halter mode can be canceled only when the temperature is within the range.
- the temperature difference ⁇ T LR is illustrated in FIG. 5, the temperature difference ⁇ T MR and the temperature difference ⁇ T ML can be similarly operated.
- Example 1 when the temperature difference ⁇ T was located in the abnormal region, it was uniformly determined to be abnormal or failed, but the degree of abnormality or failure could not be grasped.
- a failure area having a plurality of stages is provided for each temperature difference ⁇ T.
- the control microcomputer 5 can notify the vehicle control device 10 of the occurrence of a minor failure.
- the control microcomputer 5 can turn off the power supply circuit 6 and notify the vehicle control device 10 of the occurrence of a serious failure. ..
- the temperature difference ⁇ T LR is illustrated in FIG. 6, the temperature difference ⁇ T MR and the temperature difference ⁇ T ML can be similarly operated.
- the designer of the stereo camera 1 needs to register an appropriate threshold value in the storage unit 7, but the threshold value registered by the designer or the like is not appropriate, the stereo camera 1 deteriorates over time, or the like. It is also possible that the size of the appropriate threshold value may change due to the influence of.
- each threshold value can be corrected based on the actually measured temperature difference ⁇ T. For example, if a plurality of past data of the temperature difference ⁇ T at the time when a certain time has elapsed from the start of the stereo camera is stored in the storage unit 7 of this embodiment, the control microcomputer 5 has the maximum value and the minimum value of the past temperature difference ⁇ T. By correcting the threshold value so that it becomes narrower than the initial threshold value when the value is within the initial threshold value range, the sensitivity of abnormality detection can be increased.
- the temperature difference ⁇ T LR is illustrated in FIG. 7, the temperature difference ⁇ T MR and the temperature difference ⁇ T ML can be similarly operated.
- Example 1 the presence or absence of the current abnormality was determined from the current temperature difference ⁇ T, but in this embodiment, the time of occurrence of the abnormality can be predicted based on the change in the temperature difference ⁇ T from the past to the present. did. For example, if the past data of the temperature difference ⁇ T at the time when a certain time has elapsed from the start of the stereo camera is stored in the storage unit 7 of this embodiment for a certain period of time, the control microcomputer 5 can change the temperature difference ⁇ T in the past. The future temperature difference ⁇ T can be predicted. As a result, even if the temperature difference ⁇ T at the present time is within the normal region, if a future abnormality or failure is predicted from the prediction curve, the vehicle control device 10 can be notified of the future occurrence of abnormality or failure.
- 1 stereo camera 2L left image sensor, 2R right image sensor, 3 image processing circuit, 4L left temperature sensor, 4R right temperature sensor, 4M main temperature sensor, 5 control microcomputer, 6 power supply circuit, 7 storage unit, 10 vehicle control device
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Measurement Of Optical Distance (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
雰囲気温度の影響を受けることなく、異常や故障の発生した部品を特定することができる、ステレオカメラを提供することを目的とする。外界を撮像して第一画像データを出力する第一撮像素子と、外界を撮像して第二画像データを出力する第二撮像素子と、前記第一画像データと前記第二画像データを処理して外界情報を取得する画像処理回路と、前記第一撮像素子の近傍に設けた第一温度センサと、前記第二撮像素子の近傍に設けた第二温度センサと、前記画像処理回路の近傍に設けた第三温度センサと、各温度センサの計測温度の温度差に基づいて、前記第一撮像素子、前記第二撮像素子、または、前記画像処理回路の異常を判定する制御マイコンと、を具備することを特徴とするステレオカメラ。
Description
本発明は、内部の異常個所を特定できるステレオカメラに関する。
自動車等に搭載する車載装置には、ある部品が故障した場合に生じる危険事象を回避するための安全機構が必要である。車載装置の一種として、運転支援や自動運転に利用する外界情報を車両制御装置に提供する車載カメラがある。一般的な車載カメラは、外界を撮像する撮像素子と、撮像素子が撮像した画像データを処理して外界情報を得る画像処理回路と、その外界情報を車両制御装置に送信する制御マイコンを備えている。このような車載カメラの特定部分が故障し、正常な外界情報を出力できなくなった場合、異常な外界情報を受信した車両制御装置が車両制御を誤り、現実の外界に対応しない、操舵、加速、制動などを実施すると、危険事象となる場合がある。
このため、特許文献1などの従来の車載カメラでは、主要部品近傍に温度センサを配置し、温度センサの測定温度が規定の閾値を超えた場合、異常または故障と判断し、電源を遮断し車載カメラの機能を止める対応をとっていた。
しかしながら、特許文献1では、雰囲気温度が低いときに、部品故障による異常な温度上昇が発生しても、温度センサの測定温度が閾値以下であれば、異常や故障を検知できないことがあった。一方で、雰囲気温度が高いときに、実際には部品の故障が発生していなくても、温度センサの測定温度が閾値を超えれば、異常や故障を誤検知することもあった。
そこで、本発明では、雰囲気温度の影響を受けることなく、異常や故障の発生した部品を特定することができる、ステレオカメラを提供することを目的とする。
上記課題を解決するため、本発明のステレオカメラは、外界を撮像して第一画像データを出力する第一撮像素子と、外界を撮像して第二画像データを出力する第二撮像素子と、前記第一画像データと前記第二画像データを処理して外界情報を取得する画像処理回路と、前記第一撮像素子の近傍に設けた第一温度センサと、前記第二撮像素子の近傍に設けた第二温度センサと、前記画像処理回路の近傍に設けた第三温度センサと、各温度センサの計測温度の温度差に基づいて、前記第一撮像素子、前記第二撮像素子、または、前記画像処理回路の異常を判定する制御マイコンと、を具備するものとした。
本発明のステレオカメラによれば、雰囲気温度の影響を受けることなく、異常や故障の発生した部品を特定することができる。
本発明のステレオカメラの実施例について、図面を用いて詳細に説明する。なお、本発明は、以下の実施例に限定されることなく、本発明の技術的な概念の中で種々の変形例や応用例をもその範囲に含むものである。
まず、図1から図4を用いて、本発明の実施例1に係るステレオカメラ1について説明する。なお、本実施例では、自動車の運転支援や自動運転に利用されるステレオカメラ1を例に説明するが、ステレオカメラ1は、例えば、自律移動ロボットや産業用ロボットなどに搭載したものであっても良い。
図1に示すように、本実施例のステレオカメラ1は、左撮像素子2L、右撮像素子2R、画像処理回路3、左温度センサ4L、右温度センサ4R、主温度センサ4M、制御マイコン5、電源回路6、記憶部7を備えている。
左撮像素子2Lと右撮像素子2Rは、外界を撮影して画像データを出力するCCDイメージセンサ等である。画像処理回路3は、画像データを処理して、自車前方の外界情報(例えば、自車前方の、先行車、歩行者、白線、交通信号機など)を取得する。
左温度センサ4Lは、左撮像素子2Lの近傍に設置されており、左温度センサ4Lの周辺の温度TLを計測する。右温度センサ4Rは、右撮像素子2Rの近傍に設置されており、右温度センサ4Rの周辺の温度TRを計測する。主温度センサ4Mは、画像処理回路3の近傍に設置されており、画像処理回路3の周辺の温度TMを計測する。
制御マイコン5は、画像処理回路3が処理した外界情報を車両制御装置10に送信したり、各温度センサが計測した温度TL、TR、TMに基づいて、ステレオカメラ1の異常の有無を判定したり、異常部品を特定したりする。ここでの処理の詳細は後述する。
電源回路6は、制御マイコン5からの指令に応じて、左撮像素子2L、右撮像素子2R、画像処理回路3などに電力を供給したり、各部への電力供給を一時停止したりする。なお、以下では、電力供給を一部停止する機能を「Halt」と称する。
記憶部7は、制御マイコン5で判定した過去のステレオカメラ1の状態と各温度サンサの計測温度Tなどを記憶するEEPROM等である。
車両制御装置10は、ステレオカメラ1から送信された外界情報に基づいて、車両の操舵系、駆動系、制動系を制御することで、運転支援や自動運転を実現する制御装置でありに、一般的にECU(Electronic Control Unit)と呼ばれるものである。
<ステレオカメラ1の内部温度の上昇例>
次に、図2Aと図2Bを用いて、ステレオカメラ1の内部温度の上昇例を説明する。なお、各温度センサ周辺の発熱部品の配置は一様ではないので、各温度センサの計測温度Tは、異常や故障がなければ、起動から一定時間を経過した恒常状態時には序列が固定されており、例えば、常にTL>TR>TMの関係が維持されている。
次に、図2Aと図2Bを用いて、ステレオカメラ1の内部温度の上昇例を説明する。なお、各温度センサ周辺の発熱部品の配置は一様ではないので、各温度センサの計測温度Tは、異常や故障がなければ、起動から一定時間を経過した恒常状態時には序列が固定されており、例えば、常にTL>TR>TMの関係が維持されている。
図2Aは、雰囲気温度が低温T1である場合に、正常なステレオカメラ1を起動した場合の内部温度の上昇例であり、図2Bは、雰囲気温度が高温T2である場合に、同じステレオカメラ1を起動した場合の内部温度の上昇例である。両図の比較から明らかなように、雰囲気温度が高くなると、温度TL(破線)、TR(実線)、TM(一点鎖線)は、相対関係を維持したまま上昇している。これは、雰囲気温度の影響を受ける温度TL、TR、TMそのものからは、左撮像素子2L、右撮像素子2R、画像処理回路3の異常や故障を検知することが困難であることを意味している。
ここで、温度TLと温度TRの差分を温度差ΔTLR、温度TRと温度TMの差分を温度差ΔTMR、温度TLと温度TMの差分を温度差ΔTMLとする。この場合、両図の比較から明らかなように、各温度差ΔTは雰囲気温度に拘わらず、ほぼ一定の値を保っている。従って、温度差ΔTLR、ΔTMR、ΔTMLに異常が発生したときに、ステレオカメラ1に何らかの異常が発生したと推測することができる。
<制御マイコン5による異常判定方法>
次に、図3を用いて、各温度差ΔTの異常の判定方法を説明する。図3(a)は、温度差ΔTLRの演算値(白丸)と、異常判定に用いる上閾値と下閾値(黒丸)を示す。図3(b)は、温度差ΔTMRの演算値(白丸)と、異常判定に用いる上閾値と下閾値(黒丸)を示す。図3(c)は、温度差ΔTMLの演算値(白丸)と、異常判定に用いる上閾値と下閾値(黒丸)を示す。なお、各温度差ΔTは各温度センサの計測温度Tに基づいて制御マイコン5が演算したものであり、各閾値は各温度センサの計測温度Tの想定温度差を考慮して設計者等が記憶部7に登録したものである。
次に、図3を用いて、各温度差ΔTの異常の判定方法を説明する。図3(a)は、温度差ΔTLRの演算値(白丸)と、異常判定に用いる上閾値と下閾値(黒丸)を示す。図3(b)は、温度差ΔTMRの演算値(白丸)と、異常判定に用いる上閾値と下閾値(黒丸)を示す。図3(c)は、温度差ΔTMLの演算値(白丸)と、異常判定に用いる上閾値と下閾値(黒丸)を示す。なお、各温度差ΔTは各温度センサの計測温度Tに基づいて制御マイコン5が演算したものであり、各閾値は各温度センサの計測温度Tの想定温度差を考慮して設計者等が記憶部7に登録したものである。
制御マイコン5は、演算した温度差ΔTLR、ΔTMR、ΔTMLを、各々について設定した上閾値および下閾値と比較し、上下閾値間の正常領域に位置する場合は正常と判定し、上閾値の上方または下閾値の下方の異常領域に位置する状態を所定時間以上維持する場合は異常と判定する。
図3の例では、温度差ΔTLRの演算値(例えば、1.3℃)と温度差ΔTMRの演算値(例えば、1.2℃)が正常領域に位置しているため、制御マイコン5は、温度差ΔTLRと温度差ΔTMRを正常と判定する。一方、温度差ΔTMLの演算値(例えば、1.8℃)が異常領域に位置しているため、制御マイコン5は、温度差ΔTMLの異常領域滞在が所定時間に達した時に、温度差ΔTMLを異常と判定する。
上記方法により各温度差ΔTの異常の有無を判定した後、制御マイコン5は、正常、異常の組み合わせに基づいて、ステレオカメラ1の故障箇所を特定する。図4は故障検出方法の一例である。
図4(a)のように、全ての温度差ΔTが正常である場合には、制御マイコン5は、ステレオカメラ1に故障が無いと判断する。一方、図4(e)~(g)のように、何れか2つの温度差ΔTが異常である場合には、制御マイコン5は、異常な温度差ΔTの組み合わせに応じて、ステレオカメラ1の異常部位や故障部位を特定する。なお、何れか1つの温度差ΔTが異常である場合(図4(b)~(d))や、全ての温度差ΔTが異常である場合(図4(h))には、異常や故障の発生自体は判定できるが、その部位を特定することはできない。
制御マイコン5は、異常や故障を検知したら、その態様に応じて電源回路6を制御し、異常部への電源供給を停止するHaltモードを開始したり、車両制御装置10に異常の態様を通知したりする。
例えば、図4(e)、(f)のように、左撮像素子2Lか右撮像素子2Rの一方を正常、他方を異常と判定できる場合は、正常な一方の撮像素子の画像データに基づいて外界情報の取得を継続できるため、ステレオカメラ1を単眼カメラとして利用していることを制御マイコン5から車両制御装置10に通知すれば、車両制御装置10は、外界情報のある程度の劣化を認識したうえで、運転支援や自動運転を継続することができる。
以上で説明した本実施例のステレオカメラによれば、雰囲気温度の影響を受けることなく、異常や故障の発生した部品を特定することができる。その結果、ステレオカメラや車両制御装置では、異常や故障の態様に応じた制御を継続することができる。
次に、図5を用いて、本発明の実施例2に係るステレオカメラ1について説明する。なお、実施例1との共通点は重複説明を省略する。
実施例1では制御マイコン5が温度差ΔTを異常と判定した場合、特定した異常部への電力供給を直ちに停止し(Haltモード)、温度差ΔTを正常と判定した場合、電力供給を直ちに再開していたが、温度差ΔTが閾値近傍にある場合は、制御マイコン5の判定が短時間で次々切り替わり、ステレオカメラ1や車両制御装置10での処理の連続性を維持できない可能性がある。
そこで本実施例では、図5に示すように、Halt開始閾値とHalt解除閾値にヒステリシスを設け、Halt開始/解除が繰り返し状態となるハンチングを抑制することとした。これにより、温度差ΔTが一定時間以上Halt開始閾値を超える状態が継続した場合のみ、ステレオカメラ1はHaltモードに移行し、Haltモード状態から時間が経過して温度差ΔTが小さくなりHalt解除閾値以内となった場合のみ、Halltモードを解除することができる。なお、図5では、温度差ΔTLRのみ例示しているが、温度差ΔTMRや温度差ΔTMLについても同様に運用することができる。
次に、図6を用いて、本発明の実施例3に係るステレオカメラ1について説明する。なお、上記した実施例との共通点は重複説明を省略する。
実施例1では、温度差ΔTが異常領域に位置する場合、一律に異常や故障と判定していたが、異常や故障の程度を把握することができなかった。
そこで、本実施例では、異常や故障の程度を把握するため、図6に示すように、温度差ΔT毎に複数段階の故障領域を設けた。これにより、温度差ΔTが一定時間以上、軽微故障領域に位置する状態が継続した場合、制御マイコン5は、車両制御装置10に軽微故障の発生を通知することができる。一方、温度差ΔTが一定時間以上、重大故障領域に位置する状態が継続した場合、制御マイコン5は、電源回路6をオフして、車両制御装置10に重大故障の発生を通知することができる。なお、図6では、温度差ΔTLRのみ例示しているが、温度差ΔTMRや温度差ΔTMLについても同様に運用することができる。
次に、図7を用いて、本発明の実施例4に係るステレオカメラ1について説明する。なお、上記した実施例との共通点は重複説明を省略する。
実施例1では、ステレオカメラ1の設計者等が、適切な閾値を記憶部7に登録する必要があったが、設計者等が登録した閾値が適切でなかったり、ステレオカメラ1の経年劣化などの影響により、適切な閾値の大きさが変化したりすることも考えられる。
そこで、本実施例では、実際に計測された温度差ΔTに基づいて、各閾値を補正できるようにした。例えば、本実施例の記憶部7に、ステレオカメラ起動から一定時間経過した時刻の温度差ΔTの過去データを複数記憶しておけば、制御マイコン5は、過去の温度差ΔTの最大値と最小値が初期閾値範囲内であるときに初期閾値より狭くなるように閾値を補正することで、異常検知の感度を上げることができる。なお、図7では、温度差ΔTLRのみ例示しているが、温度差ΔTMRや温度差ΔTMLについても同様に運用することができる。
次に、図8を用いて、本発明の実施例5に係るステレオカメラ1について説明する。なお、上記した実施例との共通点は重複説明を省略する。
実施例1では現在の温度差ΔTから現在の異常の有無を判定していたが、本実施例では、過去から現在に至る温度差ΔTの変化に基づいて、異常の発生時期を予測できるようにした。例えば、本実施例の記憶部7に、ステレオカメラ起動から一定時間経過した時刻の温度差ΔTの過去データを一定期間記憶しておけば、制御マイコン5は、過去の温度差ΔTの遷移から、将来の温度差ΔTを予測することができる。これにより、現時点での温度差ΔTが正常領域内であっても、予測カーブから将来異常や故障が予測される場合は車両制御装置10に将来の異常発生や故障発生を予告することができる。
1 ステレオカメラ、2L 左撮像素子、2R 右撮像素子、3 画像処理回路、4L 左温度センサ、4R 右温度センサ、4M 主温度センサ、5 制御マイコン、6 電源回路、7 記憶部、10 車両制御装置
Claims (8)
- 外界を撮像して第一画像データを出力する第一撮像素子と、
外界を撮像して第二画像データを出力する第二撮像素子と、
前記第一画像データと前記第二画像データを処理して外界情報を取得する画像処理回路と、
前記第一撮像素子の近傍に設けた第一温度センサと、
前記第二撮像素子の近傍に設けた第二温度センサと、
前記画像処理回路の近傍に設けた第三温度センサと、
各温度センサの計測温度の温度差に基づいて、前記第一撮像素子、前記第二撮像素子、または、前記画像処理回路の異常を判定する制御マイコンと、
を具備することを特徴とするステレオカメラ。 - 請求項1に記載のステレオカメラにおいて、
前記制御マイコンは、前記温度差が上閾値以上または下閾値以下であり、かつ、その状態を所定時間以上継続した場合に、前記温度差を異常と判定することを特徴とするステレオカメラ。 - 請求項2に記載のステレオカメラにおいて、
前記上閾値は、ヒステリシス領域を規定するHalt開始閾値とHalt解除閾値の二値からなり、
前記下閾値は、ヒステリシス領域を規定するHalt開始閾値とHalt解除閾値の二値からなることを特徴とするステレオカメラ。 - 請求項2に記載のステレオカメラにおいて、
前記上閾値は、正常領域と軽微故障領域の境界である第1上閾値と、軽微故障領域と重大故障領域の境界である第2上閾値の二値からなり、
前記下閾値は、正常領域と軽微故障領域の境界である第1下閾値と、軽微故障領域と重大故障領域の境界である第2下閾値の二値からなることを特徴とするステレオカメラ。 - 請求項1に記載のステレオカメラにおいて、
前記制御マイコンは、温度差毎の異常判定結果の組み合わせに基づいて、異常部位を特定することを特徴とするステレオカメラ。 - 請求項5に記載のステレオカメラにおいて、
前記制御マイコンが、一方の撮像素子が正常であり、他方の撮像素子が異常であると判定した場合、
前記画像処理回路は、正常な撮像素子の画像データのみを処理して前記外界情報を取得することを特徴とするステレオカメラ。 - 請求項2に記載のステレオカメラにおいて、
さらに、起動してから一定時間経過後の前記温度差の過去データを複数記憶する記憶部を備えており、
前記制御マイコンは、前記記憶部に記憶された前記温度差の過去データの最大値と最小値に基づいて、前記上閾値と前記下閾値を補正することを特徴とするステレオカメラ。 - 請求項1に記載のステレオカメラにおいて、
さらに、起動してから一定時間経過後の前記温度差の過去データを一定期間記憶する記憶部を備えており、
前記制御マイコンは、前記記憶部に記憶された過去の温度差の遷移から、今後の温度差の変化を予測することで、異常発生を予測することを特徴とするステレオカメラ。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202180040508.2A CN115668962A (zh) | 2020-06-15 | 2021-02-05 | 立体摄像机 |
DE112021002254.7T DE112021002254T5 (de) | 2020-06-15 | 2021-02-05 | Stereokamera |
JP2022532276A JP7360549B2 (ja) | 2020-06-15 | 2021-02-05 | ステレオカメラ |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020103019 | 2020-06-15 | ||
JP2020-103019 | 2020-06-15 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021255991A1 true WO2021255991A1 (ja) | 2021-12-23 |
Family
ID=79267788
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/004275 WO2021255991A1 (ja) | 2020-06-15 | 2021-02-05 | ステレオカメラ |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP7360549B2 (ja) |
CN (1) | CN115668962A (ja) |
DE (1) | DE112021002254T5 (ja) |
WO (1) | WO2021255991A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017154847A1 (ja) * | 2016-03-11 | 2017-09-14 | 富士フイルム株式会社 | 撮像装置 |
CN210270567U (zh) * | 2019-08-08 | 2020-04-07 | 新疆利丰智能科技股份有限公司 | 一种终端监控设备的远程监护和维护装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3462812B2 (ja) | 1999-09-22 | 2003-11-05 | 富士重工業株式会社 | 車載カメラの電源制御方法ならびに装置 |
-
2021
- 2021-02-05 JP JP2022532276A patent/JP7360549B2/ja active Active
- 2021-02-05 CN CN202180040508.2A patent/CN115668962A/zh active Pending
- 2021-02-05 DE DE112021002254.7T patent/DE112021002254T5/de active Pending
- 2021-02-05 WO PCT/JP2021/004275 patent/WO2021255991A1/ja active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017154847A1 (ja) * | 2016-03-11 | 2017-09-14 | 富士フイルム株式会社 | 撮像装置 |
CN210270567U (zh) * | 2019-08-08 | 2020-04-07 | 新疆利丰智能科技股份有限公司 | 一种终端监控设备的远程监护和维护装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7360549B2 (ja) | 2023-10-12 |
CN115668962A (zh) | 2023-01-31 |
JPWO2021255991A1 (ja) | 2021-12-23 |
DE112021002254T5 (de) | 2023-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11126176B2 (en) | Vehicle control apparatus | |
US8115809B2 (en) | Vehicle surroundings monitoring apparatus | |
US7957862B2 (en) | Electronic control apparatus for vehicle | |
KR101619597B1 (ko) | 후방 산소센서의 고장 검출 방법 | |
US7445383B2 (en) | Method and device for diagnosing an external temperature sensor | |
US11511763B2 (en) | Electronic control device | |
US7281522B1 (en) | Acceleration sensor status detecting apparatus | |
US9981684B2 (en) | Vehicle power steering control apparatus | |
JP2010196713A (ja) | 車両駆動ユニットのトルクのモニタ方法および装置 | |
US11801812B2 (en) | Vehicle control apparatus and method for controlling the same | |
US8103400B2 (en) | Sensor apparatus | |
US6352064B1 (en) | Electrically controlled throttle control system | |
WO2021255991A1 (ja) | ステレオカメラ | |
JP2007515341A (ja) | リターダのブレーキトルク変化の監視方法 | |
US11714410B2 (en) | Vehicle driving system | |
JP2007285925A (ja) | センサ装置およびそれを用いた制御システム | |
US11144327B2 (en) | Method for operating a control unit, and device having an associated control unit | |
US7269492B2 (en) | Control system | |
JP4997219B2 (ja) | 制御装置 | |
US8322214B2 (en) | Sensor device | |
JP2000220454A (ja) | エンジンの冷却ファン制御装置 | |
KR101887030B1 (ko) | 차량의 쿨링팬 제어 장치 | |
WO2015165987A1 (en) | Method for setting an image sensor of a vehicle camera of a motor vehicle into an image capturing state, camera system as well as motor vehicle | |
JP2007283788A (ja) | 車両用電子制御装置 | |
US20050049768A1 (en) | Vehicle electronic controller |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21825753 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2022532276 Country of ref document: JP Kind code of ref document: A |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21825753 Country of ref document: EP Kind code of ref document: A1 |