JP7297606B2

JP7297606B2 - 画像処理装置

Info

Publication number: JP7297606B2
Application number: JP2019161080A
Authority: JP
Inventors: 和良山崎
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2019-09-04
Filing date: 2019-09-04
Publication date: 2023-06-26
Anticipated expiration: 2039-09-04
Also published as: EP4027106A4; EP4027106A1; WO2021044746A1; JP2021039018A

Description

この発明は、画像処理装置に関する。

３次元物体認識技術としてステレオカメラ技術がある。この技術は、異なる位置に配置した２台のカメラの画像の写り方の違いを利用して、三角法に基づき視差を検出し、その視差を用いて物体の奥行きや位置を検出する技術である。この技術を用いることにより、観察対象の位置を正確に検出することができる。車載用やロボット用などにおいて、３次元の物体を検出および認識するためにステレオカメラ技術が適用されている。ステレオカメラの２つのカメラの画像は所定の射影で変換（例えば、中心射影方式）され、画像の差分を視差として検出することで対象物までの距離を測定する。

一方で経時変化や温度変化などの要因によりカメラ検出画像が変化すると、それに伴い測距誤差が発生する。例えば、温度によるレンズの屈折変化やレンズ面間隔の変化に伴いカメラ検出画像が変化する。また、温度に伴いレンズ鏡筒が膨張／収縮し、レンズと画像センサ間の距離が変化すると、カメラ検出画像が拡大／縮小する。これらの要因により、距離誤差が発生すると、測定結果に基づく正確な制御（例えば車両制御、ロボット制御など）が困難となる。また、車載ステレオカメラであれば、ドライバーへの正確な情報提供に支障をきたす。

温度変化による測距誤差発生の課題に対し、下記特許文献１では、「ズーム及びフォーカス機能を有するステレオカメラを用いた３次元計測装置において、ズーム及びフォーカスが変化した場合でも精度のよい３次元計測を行うこと」を課題として、「ズーム及びフォーカスが可変な撮像手段を１つ以上含む複数の撮像手段と、ズーミング及びフォーカシングの制御手段と、複数の撮像手段が出力した撮像画像をステレオ画像処理し３次元情報を計測するステレオ画像処理部と、ステレオ画像処理を行うために必要なカメラ情報を格納するカメラ情報格納手段と、を有する３次元計測装置によって構成される。カメラ情報格納手段は各撮像手段のズームの状態及びフォーカスの状態に依存して変化するカメラ情報については、その状態に応じた複数のカメラ情報を持ち、ステレオ画像処理部が各撮像手段のズームの状態及びフォーカスの状態を取得して、カメラ情報格納部から対応するカメラ情報を取得し、ステレオ画像処理に用いる。」という技術を記載している。

下記特許文献２は、「ＬＵＴを用いて画像の歪みを補正する従来の方法よりも必要な記憶容量を少なく抑えつつ、温度変化に対応した歪み補正処理を行うこと」を課題として、「係数を変更すれば所定の温度範囲にわたって撮像画像中における歪み補正処理前の画像位置を理想位置へ変換できる多項式からなる歪み補正式の当該係数を、互いに異なる複数の特定温度ごとに、補正係数として補正係数記憶部に格納しておく。歪み補正処理部は、温度センサにより検知した温度に基づいて、その検知温度で撮像画像の歪み度合いを示す指標値（ずれ量）が最も小さくなる補正係数を補正係数記憶部から読み出し、読み出した補正係数を用いて上記歪み補正式により歪み補正処理を行う。」という技術を記載している。

特開２００８－２４１４９１号公報特開２０１２－１４７２８１号公報

従来の技術は、それぞれのレンズの温度を補正する観点から、温度変化に対する補正の変更頻度が多いので、処理が複雑化する課題がある。補正処理の変更頻度の課題については、上記特許文献には記載されておらず、そのためその課題に対する対策も開示されていない。例えば、特許文献１～２に記載の３次元計測装置は、温度によるカメラ検出画像の変化に対し、２つのカメラの温度に応じた画像処理を実施する。したがって、各カメラの温度が変化するたびに画像処理の変更が必要となる。画像処理の変更は制御までの時間の遅延を起こすので、最小限とすることが望まれる。

本発明は、上記のような課題に鑑みてなされたものであり、画像処理装置のレンズの温度変化に対する処理部の変更頻度を低減することができる画像処理装置を提供することを目的とする。

本発明に係る画像処理装置は、第１カメラの第１温度と第２カメラの第２温度との間の温度差を取得し、前記温度差が基準範囲内に収まっている場合は、第１処理の結果を出力し、前記温度差が前記基準範囲内に収まっていない場合は、前記第１処理の結果を出力することに代えてまたはこれとともに、前記第１処理とは異なる第２処理を実施する。

本発明に係る画像処理装置によれば、画像処理装置のレンズの温度変化に対する処理部の変更頻度を低減することができる。

実施形態１に係る画像処理装置１０の構成例を示すブロック図である。演算装置１１の構成例を示すブロック図である。実施形態１の温度差の影響を説明する図である。カメラ間の温度差が変化した場合の測距誤差の例を示すグラフである。従来技術に対する本発明の効果を説明するイメージ図である。温度差が所定の温度範囲に収まっているか否かに基づき処理を変更する場合における演算装置１１の構成例である。実施形態２に係る画像処理装置１０が備える演算装置１１の構成例を示すブロック図である。実施形態１に対する本実施形態の効果を説明するイメージ図である。実施形態３に係る画像処理装置１０が備える演算装置１１の構成例を示すブロック図である。実施形態３における温度変化に対する処理を示す。実施形態４に係る画像処理装置１０の構成例を示すブロック図である。１例として車載用に用いた場合の２つのカメラ画像の合成画像を示す。実施形態４における演算装置１１の構成例を示すブロック図である。実施形態５に係る画像処理装置１０を含む構成の例を示すブロック図である。実施形態５における演算装置１１の構成例を示すブロック図である。カメラ間の温度差がプラスになったときの検出距離とマイナスになったときの検出距離を示す図である。

＜実施の形態１＞
図１は、本発明の実施形態１に係る画像処理装置１０の構成例を示すブロック図である。画像処理装置１０は複数の画像を入力できるように構成されており、図１の例においては、ステレオカメラを構成するカメラ５０（第１カメラ）およびカメラ６０（第２カメラ）からそれぞれ画像を受信できるように接続されている。

カメラ５０は、レンズ５１（第１レンズ）と、画像センサ５２（第１画像センサ）とを備えている。カメラ６０は、レンズ６１（第２レンズ）と、画像センサ６２（第２画像センサ）とを備えている。カメラ５０は、レンズ５１を介して対象物等の像を画像センサ５２により検出する。カメラ６０は、レンズ６１を介して対象物等の像を画像センサ６２により検出する。

カメラ５０は、温度センサ５３（第１温度センサ）を備える。温度センサ５３は、カメラ５０に係る温度（第１温度）を検出する。カメラ６０は、温度センサ６３（第２温度センサ）を備える。温度センサ６３は、カメラ６０に係る温度（第２温度）を検出する。「カメラに係る温度」の意味は当業者が適宜定義可能であるが、例えばレンズの温度であってもよく、レンズ付近の温度であってもよく、画像センサの温度（とくにＣＭＯＳ素子の温度）であってもよく、カメラのその他の構成要素の温度であってもよく、カメラ内の空間の温度であってもよい。温度センサ５３と６３は、カメラ外部の温度センサであってもよい。

画像処理装置１０は公知のコンピュータとしての構成を有し、演算装置１１と記憶装置１２を備える。演算装置１１は例えばマイクロプロセッサ等を備え、記憶装置１２は例えば揮発性メモリまたは不揮発性メモリの少なくとも一方を備える。記憶装置１２は、画像その他の情報を記憶することができ、例えば画像記憶手段として機能する。

図２は、演算装置１１の構成例を示すブロック図である。演算装置１１は、アフィン処理部２０ａと２０ｂ、輝度補正部２１ａと２１ｂ、画素補間部２２ａと２２ｂ、輝度情報生成部２３ａと２３ｂ、視差画像生成部２４、距離算出部２５、温度差取得部３０、を備える。演算装置１１は、カメラ５０から画像Ｐ１（第１画像）を取得するとともに、カメラ６０から画像Ｐ２（第２画像）を取得する。

アフィン処理部２０ａは、画像Ｐ１に対してアフィン処理を実施する。アフィン処理は例えば線形の座標変換処理であるが、非線形の演算を含むものであってもよい。このアフィン処理を行った結果として、アフィン処理部２０ａは画像Ｐ３（第３画像）を出力する。同様に、アフィン処理部２０ｂは、画像Ｐ２に対してアフィン処理を実施して画像Ｐ４（第４画像）を取得する。アフィン処理部２０ａおよびアフィン処理部２０ｂは、アフィン処理以外の歪変換処理を併せて実行するものであってもよい。例えば、レンズの射影方式がｆｓｉｎθである場合には、ｆｔａｎθへの射影変換を実施してもよい。ただし、射影変換後の画像の形式はｆｔａｎθ以外であってもよい。

輝度補正部２１ａは、画像Ｐ３の各画素の輝度を補正する。例えば、カメラ５０のゲインと画像Ｐ３内の各画素のゲインの違い、などに基づいて補正される。同様に、輝度補正部２１ｂは、画像Ｐ４の各画素の輝度を補正する。

画素補間部２２ａは、画像Ｐ３に対してデモザイキング処理を実施する。例えば、ＲＡＷ画像からカラー画像へ変換する。同様に、画素補間部２２ｂは、画像Ｐ４に対してデモザイキング処理を実施する。

輝度情報生成部２３ａは、画像Ｐ３の輝度情報を生成する。輝度情報とは、各画素の輝度値を表す情報である。例えば、カラー画像の各画素の色値を、視差画像を生成するための輝度値に変換することにより、輝度情報を生成する。同様に輝度情報生成部２３ｂは、画像Ｐ４の輝度情報を生成する。

視差画像生成部２４は、画像Ｐ３および画像Ｐ４（またはこれらに基づいて生成された情報）に基づいて、２つの画像間の視差を算出する。距離算出部２５は、算出した視差に基づき、画像に映っている対象物までの距離を算出する。

輝度補正部２１ａと輝度補正部２１ｂ、画素補間部２２ａと画素補間部２２ｂ、輝度情報生成部２３ａと輝度情報生成部２３ｂ、視差画像生成部２４、の処理を考慮すると、距離算出部２５は、画像Ｐ３と画像Ｐ４に基づき、画像内の物体までの距離を検出するということができる。距離の測定基準は当業者が任意に設計可能であるが、例えばカメラ５０とカメラ６０との間の位置関係に応じて定義される所定の距離基準点から、当該物体までの距離とすることができる。

温度差取得部３０は、温度取得部３０ａ（第１温度取得部）と温度取得部３０ｂ（第２温度取得部）を備える。温度取得部３０ａは、カメラ５０に係る温度を温度センサ５３から取得し、温度取得部３０ｂは、カメラ６０に係る温度を温度センサ６３から取得する。温度差取得部３０は、カメラ５０に係る温度と、カメラ６０に係る温度との間の温度差（カメラ間の温度差）を取得して出力する。

演算装置１１は、温度差の絶対値が所定値（図２においてはα℃）以下の場合には、距離算出部２５から出力された距離情報を制御処理部（図示せず）に出力する（通常処理と呼ぶ）。制御処理部は、距離算出部２５から出力された距離情報を基に、車両やロボットなどを制御する。例えば、車両であれば衝突被害軽減ブレーキや車線逸脱防止支援などを実施する。

演算装置１１は、温度差の絶対値が所定値以上の場合には、距離情報の信頼性が低いと考えられるので、視差画像または距離を算出する際にエラーが発生した旨を示すエラー情報を制御処理部に出力する（エラー処理）。例えば車両であれば、エラー情報が出力された場合、制御処理を一時停止するとともに、インストルメントパネルなどを通してその情報をドライバーに通知する。その後、温度差の絶対値が所定値よりも小さくなった場合、通常処理に変更する。このような通知により、ドライバーの安全意識を向上し、安全運転を促す。例えば車載用やロボット用などにおいて、他の距離センサを併用している場合に画像処理装置１０がエラー情報を出力したときは、画像処理装置１０の距離情報による制御を停止し、他の距離センサの距離情報を用いて制御してもよい。本実施形態１では、カメラ間の温度差に応じて処理を変更することにより、測距誤差に伴う不適切な制御を回避することができる。

図３は、実施形態１の温度差の影響を説明する図である。カメラ間の温度差を検出する理由について、図３を説明する。図３左図は、レンズ５１とレンズ６１との間の温度差が発生した場合の状態を示し、図３右図は、レンズ５１とレンズ６１との間の温度差が無くなった場合の状態を示している。ここでは、レンズ５１およびレンズ６１を介し、画像センサ５２および画像センサ６２によって取得される画像に基づき、対象物１００までの距離が検出されるものとする。

図３左図は、温度差がない状態（例えばカメラ５０およびカメラ６０が所定の基準温度にある状態）で測定したときにおける、レンズ５１に入射する対象物１００からの光線Ｌ１と、レンズ６１に入射する対象物１００からの光線Ｌ２とを一点鎖線で示している。画像センサ５２において検出される光線Ｌ１の入射位置と、画像センサ６２において検出される光線Ｌ２の入射位置との差（視差）に基づいて、対象物１００までの距離Ｄ０が検出される。この場合には測距誤差は発生せず、距離Ｄ０は対象物１００までの距離を正確に表す。

図３左図において、カメラ間に温度差が発生し、例えばレンズ６１の温度が上昇したとする。これによって、レンズ６１の光学特性（屈折率やレンズ面間隔等など）が変化し、レンズ５１の光学特性とは異なる状態となる。この結果、光線Ｌ２が画像センサ６２上で矢印Ａ１だけずれた位置に入射する。演算装置１１は、視差演算の観点から、画像センサ６２には光線Ｌ４が入射したと判断し、対象物１００からの光線は二点鎖線で示す仮想光線Ｌ４の画角に存在していると誤検出する。これにより、光線Ｌ１と仮想光線Ｌ４との交点１０１が対象物１００の位置として誤検出され、対象物１００までの距離は距離Ｄ１として検出される。図３からもわかるように、距離Ｄ０と距離Ｄ１は一致せず、測距誤差が発生する。これがレンズの温度変化に伴う測距誤差発生のメカニズムである。

次に、カメラ間の温度差がない場合について図３右図を用いて説明する。レンズ５１およびレンズ６１の温度が同様に上昇した場合、図３左図同様に、画像センサ６２上で矢印Ａ１だけずれた位置に入射する。演算装置１１は、視差演算の観点から、画像センサ６２には仮想光線Ｌ４が入射したと判断し、対象物１００からの光線は二点鎖線で示す仮想光線Ｌ４の画角に存在していると誤検出する。そして、カメラ５０についても同様に、画像センサ５２上で矢印Ｂ１だけずれた位置に入射する。演算装置１１は、画像センサ５２には仮想光線Ｌ５が入射したと判断し、対象物１００からの光線は二点鎖線で示す仮想光線Ｌ５の画角に存在していると誤検出する。

演算装置１１は、仮想光線Ｌ５と仮想光線Ｌ４の交点１０２が対象物１００の位置として検出し、距離Ｄ２を検出する。距離Ｄ２と距離Ｄ０との差は、距離Ｄ１と距離Ｄ０との差よりも小さいので、測距誤差が改善される。特に、距離Ｄ２と距離Ｄ０をほとんど同じ距離とするような温度差条件も存在しているので、実用上の測距では残存誤差は問題とならない。

図４は、カメラ間の温度差が変化した場合の測距誤差の例を示すグラフである。図４を用いて、実施形態１の効果について定量的に説明する。図４のグラフを計算する際には以下の条件例を用いた。

対象物までの距離：５０ｍ
基線長（カメラ５０とカメラ６０との間の距離）：０．３ｍ
レンズ射影方式：正射影（ｆｓｉｎθ）
レンズ焦点距離：６ｍｍ
レンズ基準温度：３０℃
レンズ５１の温度（第１温度）：３０℃、７０℃
カメラ間の温度差：－３０～３０℃
画角（カメラ５０およびカメラ６０双方によって撮影可能な対象物の角度）：３０ｄｅｇ
レンズ５１およびレンズ６１の温度感度：０．００４８μｍ／℃／ｄｅｇ（線形変化）

上記温度感度は、画角３０ｄｅｇ、温度変化７０℃で像の位置が１０μｍだけ変位することに相当する。ここではレンズ温度感度は、画角および温度に対して線形に変化すると仮定している。レンズの製造ばらつき等を考慮すると、実際には温度感度はレンズによって異なるが、温度感度が異なっていたとしても同様の効果が得られる（なお、この条件例では、レンズ５１およびレンズ６１の温度感度は同じであると仮定した）。レンズ温度感度は線形である必要はなく、非線形であっても同様の効果が得られる。

図４より、レンズ５１の温度に依らず、カメラ間の温度差に依存して測距誤差が発生していることがわかる。そして、温度差が小さければ測距誤差が小さくなることがわかる。ここでは、レンズの温度変化について説明したが、温度に伴ってレンズ鏡筒が膨張／収縮することによる影響も同様である。この場合、レンズと画像センサ間の距離が変化し、画像センサに入射する光線の位置がずれることにより、図４と同様の結果が得られると考えられる。

以上の理由から、本実施形態１の画像処理装置１０は、温度差の絶対値が所定値以下の場合には、距離情報の信頼性が高いと判断し、通常処理を実施する。温度差の絶対値が所定値以上である場合には、距離情報の信頼性が低いと判断し、エラー処理を実施する。このようにカメラ間の温度差を検出し、温度差にしたがって処理を変更することにより、測距誤差に伴う不適切な制御を回避することができる。

図５は、従来技術に対する本発明の効果を説明するイメージ図である。図５左図は特許文献１または特許文献２における温度変化に対する処理を示す。図５右図は本実施形態１における温度変化に対する処理を示す。図５において、縦軸が温度、横軸が時間となっており、画像処理装置１０の起動時を時刻ゼロとした。画像処理装置１０が起動すると温度が上昇し、所定時間経つと、発熱と放熱とが同じになり、所定温度に収束する。実線と点線はそれぞれカメラ５０の温度とカメラ６０の温度を示しており、２つのカメラの温度は同じように変化する。図中の▲は処理の変更のタイミングを示している。

図５左図の場合、所定温度Δｔごとに処理を変更すると仮定すると、複数回の処理の変更を必要とする。それに対し、図５右図の場合、２つのカメラ間の温度差が発生していないので、エラー処理は起こらない。温度変化は時定数が長いので、２つのカメラの温度がゆっくり変化する。したがって、温度変化に対して２つのカメラの温度差が発生しにくいので、処理の変更頻度は少なくて済む。このように、本実施形態１の画像処理装置１０は、従来技術（特許文献１、特許文献２）の画像処理装置に対して処理の変更頻度が少なくて済む特徴がある。

本実施形態１の温度αは固定値ではなく、カメラの温度を基に変更してもよい。本実施形態１では、温度差の絶対値とαを比較したが、温度差が所定の温度範囲に収まっているか否かに基づき処理を変更してもよい。例えば、図４のように距離誤差がカメラの温度差のプラスとマイナスに対して非対称となる場合がある。また、レンズ間で温度感度が異なる場合、もしくはレンズの温度感度が非線形の場合、温度差が０ではない所定値のとき、測距精度が最良となる条件がある。

図６は、温度差が所定の温度範囲に収まっているか否かに基づき処理を変更する場合における演算装置１１の構成例である。この場合、カメラ５０の温度ＴＡ、カメラ６０の温度ＴＢとしたとき、ＴＡ－ＴＢが、下限温度βと上限温度γの範囲に入っていれば通常処理とし、その範囲に入っていなければ、エラー処理とすればよい。このとき演算装置１１は、例えば温度（ＴＡまたはＴＢのうち少なくともいずれか）を参照し、下限温度β、上限温度γのうち少なくともいずれかを変えてもよい。温度α、下限温度β、上限温度γは適用するシステムにおける測距の許容誤差によって決定することができる。演算装置１１は、その決定ルールを記述したデータを例えば記憶装置１２に格納しておき、これにしたがって温度α、下限温度β、上限温度γを決定することができる。

＜実施の形態２＞
図７は、本発明の実施形態２に係る画像処理装置１０が備える演算装置１１の構成例を示すブロック図である。実施形態１では、カメラ間の温度差の絶対値が所定値以上の場合には、エラー処理を実施する。実施形態２では、温度差の絶対値が所定値以上の場合には、温度差が小さくなるようにカメラの温度を変更する。その他構成は実施形態１と同様である。

実施形態１の場合には、カメラ間の温度差の絶対値が所定値以下になるまで、エラー処理を継続することになる。一旦カメラ間の温度差が大きくなると、温度変化の時定数が長いので、通常処理となるまでの時間が掛かってしまうことが考えられる。そこで、本実施形態２では、カメラを加熱または冷却することによって強制的に温度差を低減する。温度が高いほうのカメラを冷却し、または温度が低いほうのカメラを加熱すればよい。演算装置１１は、冷却装置または加熱装置に対して、カメラの温度を調整するように指示する。

図８は、実施形態１に対する本実施形態の効果を説明するイメージ図である。図８左図は実施形態１の温度変化に対する処理を示し、図８右図は本実施形態２の温度変化に対する処理を示している。図５との違いは、カメラ５０とカメラ６０の起動時の温度が異なることである。例えば車載用であれば、２つのカメラを車の両端に搭載した場合、起動時の温度が異なることがある。

実施形態１の画像処理装置１０の場合、起動時にカメラ間の温度差が温度αより大きいので、エラー処理を実施する。時間ｔ１経過時点でカメラ間の温度差が温度αより小さくなると、通常処理に移行する。それに対し、本実施形態２の画像処理装置１０の場合、起動時にカメラ間の温度差が温度αより大きいので、カメラ６０を加熱する。これにより、図８左図の時間よりも短い時間ｔ２で通常処理に移行できる。

本実施形態２においてカメラ温度を変更する方法については限定されない。例えばレンズを加熱する場合は、電熱線を用いればよい。また冷却する場合には、ファンを用いればよい。また、他の用途のために搭載した温度変更機構を用いてもよい。例えば車載用であれば、空調などである。さらには、他の素子が発生する熱量を利用してもよい。例えば車載用であれば、ヘッドランプがある。２つのヘッドランプの中もしくは近くにカメラ５０とカメラ６０を搭載し、ヘッドランプから発生する熱を利用して強制的にカメラを温めることができる。この場合、温度が低い方のヘッドランプを点灯すればよい。

＜実施の形態２：まとめ＞
本実施形態２に係る画像処理装置１０は、カメラ間の温度差が基準範囲内にないとき、強制的にカメラの温度を変更することにより、信頼性の高い距離情報を生成することができる。さらに、特許文献１～２のように温度によって画像処理を変更する回数を抑制することができる、画像処理の変更に伴う時間の遅延を無くすことができる。

本実施形態２においては、温度差の絶対値と温度αを比較したが、図６と同様に、ＴＡ－ＴＢが下限温度βと上限温度γの範囲に入っていれば通常処理とし、その範囲に入っていなければ、カメラの温度を変更するようにしてもよい。また本実施形態２では、カメラの温度を変更すると説明したが、レンズの温度を変更してもよい。

＜実施の形態３＞
図９は、本発明の実施形態３に係る画像処理装置１０が備える演算装置１１の構成例を示すブロック図である。実施形態１では、カメラ間の温度差の絶対値が所定値以上の場合には、エラー処理を実施する。実施形態３では、温度差の絶対値が所定値以上の場合には、画像の処理方法を変更する。実施形態１の場合、固定値の係数を用いてアフィン処理を実施する。これに対して本実施形態３では、温度差が所定以上になった場合にはアフィン処理の係数を変更する。以下本実施形態３の処理について説明する。

演算装置１１は、図２で説明した構成に加えて係数変更部３１を備える。係数変更部３１はさらに、係数変更部３１ａと係数変更部３１ｂを備える。カメラ間の温度差の絶対値が所定値（図９においてはα℃）以下の場合には、所定のアフィン係数により変換処理が行われる。温度差の絶対値が所定値以上の場合には、以下のようにアフィン係数を変更した上でアフィン変換を実施する。

係数変更部３１は、アフィン処理部２０ａとアフィン処理部２０ｂ（第１補正部と第２補正部）それぞれが実施する変換処理の係数を変更する。例えば、係数変更部３１ａと係数変更部３１ｂは、カメラの温度と、所定の変換基準テーブルとに基づいて、画像Ｐ１とＰ２に対する変換を表す変換テーブルを生成する。変換基準テーブルは、例えば記憶装置１２にあらかじめ記憶していてもよく、その場合には記憶装置１２は変換基準係数記憶部として機能するということができる。この変換テーブルは、特許文献１～２のようなアフィン処理の係数であってもよい。

アフィン処理部２０ａとアフィン処理部２０ｂがそれぞれ出力した画像Ｐ３と画像Ｐ４は、輝度補正部２１ａ、輝度補正部２１ｂ、輝度情報生成部２３ａ、輝度情報生成部２３ｂを経て視差画像生成部２４に入力される。視差画像生成部２４は、画像Ｐ３および画像Ｐ４（またはこれらに基づいて生成された情報）に基づいて、２つの画像情報の視差を算出する。距離算出部２５は、視差に基づき、画像に映っている対象物までの距離を算出する。

本実施形態３では、温度差の絶対値が所定値以上の場合にのみ、アフィン処理の係数が変更される。本実施形態３の画像処理装置１０は、実施形態１で説明したのと同様に、従来技術（特許文献１～２）の画像処理装置に対して処理の変更頻度が少なくて済む特徴がある。

図１０は、本実施形態３における温度変化に対する処理を示す。ここでは起動時に温度差があったと仮定する。この場合、図５との違いは、カメラ５０とカメラ６０の起動時の温度が異なることである。本実施形態３の画像処理装置１０は、起動時にカメラ間の温度差が温度αより大きい場合には、アフィン処理部２０ａとアフィン処理部２０ｂのアフィン処理の係数が変更される。カメラ間の温度差が温度αより小さくなった時点（時刻ｔ１）で所定値のアフィン係数を用いた処理に移行する。同様の処理は実施形態１～２においても実施することができる。

本実施形態３では、アフィン処理部２０ａとアフィン処理部２０ｂのアフィン処理の係数を変更したが、例えば温度差に応じてアフィン処理部２０ａもしくはアフィン処理部２０ｂいずれかのみのアフィン処理の係数を変更してもよい。これは、図３左図で対象物１００からの光線は二点鎖線で示す仮想光線Ｌ４の画角に存在していると誤検出されたのに対して、図３右図において仮想光線Ｌ５となれば測距誤差が低減すると説明したのと同様の理由による。すなわち、画像センサ５２の画像Ｐ１に対してのみアフィン処理方法を変更し、仮想光線Ｌ５となるように画像を変換することにより、高精度な測距を実現できる。これと同様の考え方に基づき、視差画像生成部２４が所定オフセットを加えることによって、アフィン処理の係数を変更したことと同様の効果が得られる。

本実施形態３においては、温度差の絶対値と温度αを比較したが、図６と同様に、ＴＡ－ＴＢが下限温度βと上限温度γの範囲に入っていれば通常処理とし、その範囲に入っていなければ、アフィン処理部２０ａとアフィン処理部２０ｂのアフィン処理の係数を変更してもよい。

＜実施の形態４＞
図１１は、本発明の実施形態４に係る画像処理装置１０の構成例を示すブロック図である。本実施形態４において、画像処理装置１０はカメラ１５０と１６０からそれぞれ画像を取得する。カメラ１５０と１６０はステレオカメラではないが、画像処理装置１０が２つのカメラから画像を取得する点は実施形態１と同様である。

カメラ１５０は、レンズ１５１（第１レンズ）と、画像センサ１５２（第１画像センサ）とを備えている。カメラ１６０は、レンズ１６１（第２レンズ）と、画像センサ１６２（第２画像センサ）とを備えている。カメラ１５０は、レンズ１５１を介して対象物等の像を画像センサ１５２で検出する。カメラ１６０は、レンズ１６１を介して対象物等の像を画像センサ１６２で検出する。カメラ１５０はカメラ１６０よりも広視野のカメラとなっている。カメラ１６０はカメラ１５０よりも遠方を検出できるカメラとなっている。

図１２は、１例として車載用に用いた場合の２つのカメラ画像の合成画像を示す。図１２上図は温度差が小さい場合を示しており、図１２下図は温度差が大きい場合を示している。画像Ｐ１３はカメラ１５０の出力画像である。画像Ｐ１４はカメラ１６０の出力結果である。このような合成画像を生成することにより、車両の進行方向の解像度を向上できるとともに広視野を実現できる。この例では、画像Ｐ１３と画像Ｐ１４上にはそれぞれ白線ＷＬ１と白線ＷＬ２が映っている。

温度差がない場合には、図１２上図のように白線ＷＬ１と白線ＷＬ２は滑らかに接続される。温度差が発生すると、図３左図に示すように片側の画像の検出位置が変わる（矢印Ａ１だけずれる）ので、図１２下図のように白線ＷＬ１と白線ＷＬ２は滑らかに接続されない。図１２下図のような合成画像は、実際の画像とは異なることが課題となる。

図１３は、本実施形態４における演算装置１１の構成例を示すブロック図である。本実施形態４における演算装置１１は、視差画像生成部２４と距離算出部２５に代えて画像合成部１２６を備える。アフィン処理部２０ａと２０ｂはそれぞれ画像Ｐ１３とＰ１４を出力する。

温度取得部３０ａは、カメラ１５０に係る温度を温度センサ５３から取得し、温度取得部３０ｂは、カメラ１６０に係る温度を温度センサ６３から取得する。温度差取得部３０は、カメラ１５０に係る温度と、カメラ１６０に係る温度との間の温度差（カメラ間の温度差）を取得して出力する。

演算装置１１（画像合成部１２６）は、温度差の絶対値が所定値以下の場合には、画像Ｐ３と画像Ｐ４を合成することにより、図１２で説明したような合成画像を生成する。その後、システムに応じた通常処理を実施する。温度差の絶対値が所定値以上の場合には、合成画像を生成する際にエラーが生じた旨を通知する。以上の手順により、正しい画像をシステム側に出力することができる。

以上の説明において、実施形態１と同じようにエラー処理を実施することとしたが、実施形態２または３のように温度調整や係数変更を実施してもよい。図１２においては画像Ｐ１３に画像Ｐ１４が包含される関係となっていたが、これには限定されず、画像Ｐ１３とＰ１４は同様のサイズの画像であってもよいし、一部共通領域を有する画像であってもよい。いずれの場合であっても本実施形態４と同様の効果が得られる。

＜実施の形態５＞
図１４は、本発明の実施形態５に係る画像処理装置１０を含む構成の例を示すブロック図である。本実施形態５において、画像処理装置１０は温度センサ５３と６３を用いることに代えて、別途取得した距離誤差を温度差に換算する。その他構成は実施形態１～４と同じであるので、以下では距離誤差を温度差に換算する点について主に説明する。

距離検出部５００は、対象物までの距離を検出し、その距離を画像処理装置１０に対して出力する。距離検出部５００は例えば、レーダやＬｉＤＡＲ（ＬｉｇｈｔＤｅｔｅｃｔｉｏｎａｎｄＲａｎｇｉｎｇ）のような対象物の測距が可能な測距装置によって構成することができる。距離検出部５００は、画像処理装置１０の一部として構成することもできるし、画像処理装置１０とは別の装置として構成することもできる。

図１５は、本実施形態５における演算装置１１の構成例を示すブロック図である。演算装置１１は温度差取得部３０に代えて距離比較部２７と温度差換算部２８を備える。距離算出部２５は対象物までの距離を算出し、その結果を距離情報Ｇ１として出力する。距離比較部２７は距離情報Ｇ１を受け取るとともに、距離検出部５００が検出した距離情報Ｇ２を受け取る。距離比較部２７は距離情報Ｇ１とＧ２を比較し、その結果を温度差換算部２８へ通知する。温度差換算部２８は、比較結果をカメラ５０と６０との間の温度差に換算する。その他の処理は実施形態１で説明したものと同様である。

温度差換算部２８は、以下の手順により距離情報を温度差へ換算する。図４で説明したように、カメラ間の温度差と測距誤差との間の対応関係はあらかじめ取得することができる。例えば距離情報Ｇ２が正確であると仮定した場合、Ｇ２を基準として距離情報Ｇ１の測距誤差を計算することができる。この測距誤差を図４のような対応関係に対して当てはめることにより、温度差を推定することができる。

本実施形態５によれば、距離検出部５００から距離情報Ｇ２を取得できるのであれば、別途計算した距離情報Ｇ１を用いて測距誤差を温度差に換算することができる。したがって温度センサ５３と６３が必要ない点が有利である。温度センサ５３と６３を備える場合であっても、本実施形態５の手法によって換算した温度差と各温度センサによる計測結果を比較することにより、計測結果を補正するなどの用途も考えられる。

距離情報Ｇ１とＧ２との間の差分を温度差に換算することに代えて、その差分そのものを測距誤差とみなしてもよい。あるいは画像処理装置１０外に対してその差分を出力し、その差分を受け取った外部装置が測距誤差を判定する際にその差分を用いてもよい。

温度差の絶対値が所定値以上の場合、エラー処理に代えてまたはこれと併用して、実施形態２で説明した温度調整や実施形態３で説明した係数調整を実施してもよい。温度調整は、２つのレンズのうちいずれか温度が高い方（または低い方）に対して実施するので、温度差の符号（すなわちいずれのレンズの方が温度が高いか（または低いか））を判断する必要がある。係数調整は、標準動作温度に近い方のレンズを基準として実施する（すなわち標準動作温度から離れている方のレンズの補正係数を主に変更する）ので、温度差の符号を判断する必要がある。したがって温度調整と係数調整いずれを実施する場合においても、温度差がプラスかマイナスかを判断する必要がある。この符号の判断手順について以下説明する。

図１６は、カメラ間の温度差がプラスになったときの検出距離とマイナスになったときの検出距離を示す図である。図１６左図はレンズ６１の温度が上昇した場合（温度差マイナス）を示し、図１６右図はレンズ５１の温度が上昇した場合（温度差プラス）を示している。対象物１００が画像処理装置１０の右側にあるとき、温度差がマイナスの場合には、検出される距離Ｄ１は実際の距離Ｄ０よりも長くなる。温度差がプラスの場合には、検出される距離Ｄ２は実際の距離Ｄ０よりも短くなる。距離情報Ｇ２が温度に大きく依存しない場合には、実際の距離Ｄ０を距離検出部５００によって検出できるので、Ｄ０とＤ１またはＤ０とＤ２を比較することにより、温度差がプラスかマイナスかを判断することができる。温度差の符号が分かれば、レンズ５１と６１いずれの温度が高いか（または低いか）を判断できるので、これに基づき実施形態２～３で説明した処理が可能となる。

本実施形態５のような距離検出部５００を用いる構成は、特に起動時などの温度が不安定な状態において適用することが望ましい。時間が経つとカメラ間の温度差が小さくなるので、距離検出部５００と同じ程度の測距が可能となるからである。本実施形態５の構成は、車両自動運転などにおいて距離センサを用いる場合に有効である。

＜本発明の変形例について＞
本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成の一部を加えることも可能である。また、各実施形態の構成の一部について、他の構成の一部を追加・削除・置換することが可能である。

以上の実施形態において、例えば、カメラ間の温度差が発生した時点でいったん実施形態１のようなエラー処理を実施し、その後、実施形態２のようにレンズ温度を調整してもよいし、実施形態３のように画像処理方法を変更してもよい。

以上の実施形態において、温度差が基準範囲内に収まっていない場合は、エラーを出力することに代えてまたはエラー出力と併用して、演算装置１１は、視差画像や距離を算出するための処理を停止してもよい。

以上の実施形態において、演算装置１１が備える各機能部は、その機能を実装した回路デバイスなどのハードウェアによって構成することもできるし、その機能を実装したソフトウェアを演算装置１１が実行することによって構成することもできる。

１０画像処理装置
１１演算装置
１２記憶装置
２０ａアフィン処理部
２０ｂアフィン処理部
２５距離算出部
３０温度差取得部
３１係数変更部
５０カメラ
５１レンズ
５２画像センサ
５３温度センサ
６０カメラ
６１レンズ
６２画像センサ
６３温度センサ

Claims

カメラが撮影した画像を処理する画像処理装置であって、
撮影対象を撮影する第１および第２カメラ、
前記第１および第２カメラが撮影した画像に対して第１処理を実施してその結果を出力する演算装置、
を備え、
前記演算装置は、前記第１カメラの第１温度と前記第２カメラの第２温度との間の温度差を取得し、
前記演算装置は、前記温度差が基準範囲内に収まっている場合は、前記結果を出力し、
前記演算装置は、前記温度差が前記基準範囲内に収まっていない場合は、前記結果を出力することに代えてまたはこれとともに、前記第１処理とは異なる第２処理を実施し、
前記演算装置は、前記温度差として、前記第１温度と前記第２温度との間の差分の絶対値を取得し、
前記演算装置は、前記温度差が下限値から上限値までの範囲内にあるか否かにより、前記温度差が前記基準範囲内に収まっているか否かを判定し、
前記演算装置はさらに、前記第１温度または前記第２温度のうち少なくともいずれかの値に応じて、前記下限値と前記上限値のうち少なくともいずれかを変更する
ことを特徴とする画像処理装置。
カメラが撮影した画像を処理する画像処理装置であって、
撮影対象を撮影する第１および第２カメラ、
前記第１および第２カメラが撮影した画像に対して第１処理を実施してその結果を出力する演算装置、
を備え、
前記演算装置は、前記第１カメラの第１温度と前記第２カメラの第２温度との間の温度差を取得し、
前記演算装置は、前記温度差が基準範囲内に収まっている場合は、前記結果を出力し、
前記演算装置は、前記温度差が前記基準範囲内に収まっていない場合は、前記結果を出力することに代えてまたはこれとともに、前記第１処理とは異なる第２処理を実施し、
前記画像処理装置はさらに、前記第１温度と前記第２温度を取得する温度計を備え、
前記演算装置は、前記第１温度と前記第２温度を前記温度計から取得する
ことを特徴とする画像処理装置。
カメラが撮影した画像を処理する画像処理装置であって、
撮影対象を撮影する第１および第２カメラ、
前記第１および第２カメラが撮影した画像に対して第１処理を実施してその結果を出力する演算装置、
を備え、
前記演算装置は、前記第１カメラの第１温度と前記第２カメラの第２温度との間の温度差を取得し、
前記演算装置は、前記温度差が基準範囲内に収まっている場合は、前記結果を出力し、
前記演算装置は、前記温度差が前記基準範囲内に収まっていない場合は、前記結果を出力することに代えてまたはこれとともに、前記第１処理とは異なる第２処理を実施し、
前記第１カメラは第１レンズを備え、前記第２カメラは第２レンズを備え、
前記演算装置は、前記第２処理として、前記第１レンズと前記第２レンズのうち少なくともいずれかの温度を調整することにより、前記温度差を前記基準範囲内に近づける
ことを特徴とする画像処理装置。
カメラが撮影した画像を処理する画像処理装置であって、
撮影対象を撮影する第１および第２カメラ、
前記第１および第２カメラが撮影した画像に対して第１処理を実施してその結果を出力する演算装置、
を備え、
前記演算装置は、前記第１カメラの第１温度と前記第２カメラの第２温度との間の温度差を取得し、
前記演算装置は、前記温度差が基準範囲内に収まっている場合は、前記結果を出力し、
前記演算装置は、前記温度差が前記基準範囲内に収まっていない場合は、前記結果を出力することに代えてまたはこれとともに、前記第１処理とは異なる第２処理を実施し、
前記演算装置は、前記第１処理として、前記第１カメラが撮像した画像と前記第２カメラが撮像した画像を合成した合成画像を生成し、
前記演算装置は、前記温度差が前記基準範囲内に収まっている場合は、前記第１処理を実施することにより前記合成画像を生成し、
前記演算装置は、前記温度差が前記基準範囲内に収まっていない場合は、前記第２処理として、前記合成画像を生成する際にエラーが生じた旨の通知を出力する
ことを特徴とする画像処理装置。
カメラが撮影した画像を処理する画像処理装置であって、
撮影対象を撮影する第１および第２カメラ、
前記第１および第２カメラが撮影した画像に対して第１処理を実施してその結果を出力する演算装置、
を備え、
前記演算装置は、前記第１カメラの第１温度と前記第２カメラの第２温度との間の温度差を取得し、
前記演算装置は、前記温度差が基準範囲内に収まっている場合は、前記結果を出力し、
前記演算装置は、前記温度差が前記基準範囲内に収まっていない場合は、前記結果を出力することに代えてまたはこれとともに、前記第１処理とは異なる第２処理を実施し、
前記演算装置は、前記第１処理として、前記第１カメラが撮像した画像と前記第２カメラが撮像した画像から視差画像を生成することにより、画像内の対象物までの第１距離を算出し、
前記演算装置は、前記対象物までの第２距離を測距装置から取得し、
前記演算装置は、前記第１距離と前記第２距離との間の差分にしたがって前記温度差を算出する
ことを特徴とする画像処理装置。
前記演算装置は、前記第１処理として、前記第１カメラが撮像した画像と前記第２カメラが撮像した画像から視差画像を生成することにより、画像内の対象物までの距離を算出し、
前記演算装置は、前記温度差が前記基準範囲内に収まっている場合は、前記第１処理を実施することにより前記視差画像を生成するとともに前記距離を算出し、
前記演算装置は、前記温度差が前記基準範囲内に収まっていない場合は、前記第２処理として、前記視差画像または前記距離を算出する際にエラーが生じた旨の通知を出力することを特徴とする請求項１から５のいずれか１項記載の画像処理装置。
前記演算装置は、前記第１処理として、前記第１カメラが撮像した画像と前記第２カメラが撮像した画像から視差画像を生成することにより、画像内の対象物までの距離を算出し、
前記演算装置は、前記温度差が前記基準範囲内に収まっている場合は、前記第１処理を実施することにより前記視差画像を生成するとともに前記距離を算出し、
前記演算装置は、前記温度差が前記基準範囲内に収まっていない場合は、前記第２処理として、前記第１処理の出力を停止させる
ことを特徴とする請求項１から５のいずれか１項記載の画像処理装置。
前記演算装置は、
前記第１カメラが撮影した画像の歪みを第１補正係数によって補正する第１補正部、
前記第２カメラが撮影した画像の歪みを第２補正係数によって補正する第２補正部、
を備え、
前記演算装置は、前記第２処理として、前記第１補正係数または前記第２補正係数のうち少なくともいずれかを変更することにより、前記温度差によって生じた歪みを訂正する
ことを特徴とする請求項１から５のいずれか１項記載の画像処理装置。
前記演算装置は、前記第１距離と前記第２距離のうちいずれが長いかに基づき、前記第１温度と前記第２温度のうちいずれが高いかを判定する
ことを特徴とする請求項５記載の画像処理装置。
前記第１カメラは第１レンズを備え、前記第２カメラは第２レンズを備え、
前記演算装置は、前記第１温度のほうが前記第２温度よりも高い場合は、前記第２処理として、前記第１レンズの温度を下げるかまたは前記第２レンズの温度を上げることにより、前記温度差を前記基準範囲内に近づけ、
前記演算装置は、前記第１温度のほうが前記第２温度よりも低い場合は、前記第２処理として、前記第１レンズの温度を上げるかまたは前記第２レンズの温度を下げることにより、前記温度差を前記基準範囲内に近づける
ことを特徴とする請求項９記載の画像処理装置。
前記演算装置は、
前記第１カメラが撮影した画像の歪みを第１補正係数によって補正する第１補正部、前記第２カメラが撮影した画像の歪みを第２補正係数によって補正する第２補正部、を備え、
前記演算装置は、前記第１温度のほうが前記第２温度よりも基準温度に近い場合は、前記第２処理として、前記第２補正係数を変更することにより、前記温度差によって生じた歪みを訂正し、
前記演算装置は、前記第２温度のほうが前記第１温度よりも前記基準温度に近い場合は、前記第２処理として、前記第１補正係数を変更することにより、前記温度差によって生じた歪みを訂正する
ことを特徴とする請求項９記載の画像処理装置。