JP2024082479A - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP2024082479A JP2024082479A JP2022196351A JP2022196351A JP2024082479A JP 2024082479 A JP2024082479 A JP 2024082479A JP 2022196351 A JP2022196351 A JP 2022196351A JP 2022196351 A JP2022196351 A JP 2022196351A JP 2024082479 A JP2024082479 A JP 2024082479A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- distortion
- magnification
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 267
- 238000003672 processing method Methods 0.000 title description 4
- 238000012937 correction Methods 0.000 claims abstract description 131
- 238000006243 chemical reaction Methods 0.000 claims abstract description 87
- 238000006073 displacement reaction Methods 0.000 claims description 115
- 230000008859 change Effects 0.000 claims description 66
- 238000001514 detection method Methods 0.000 claims description 20
- 230000003287 optical effect Effects 0.000 claims description 15
- 230000035945 sensitivity Effects 0.000 claims description 12
- 238000000034 method Methods 0.000 description 36
- 238000010586 diagram Methods 0.000 description 27
- 230000008569 process Effects 0.000 description 25
- 238000004364 calculation method Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 15
- 238000005259 measurement Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 8
- 206010027146 Melanoderma Diseases 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000003702 image correction Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000008602 contraction Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006903 response to temperature Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Image Analysis (AREA)
Abstract
【課題】ステレオカメラ(2つのカメラ)の変化に合わせて、2つのカメラから出力される画像を補正することが可能な画像処理装置を提供する。
【解決手段】画像処理装置1は、第1の方向に並んで配置される第1のカメラ10及び第2のカメラ20を備えるステレオカメラから入力される、第1の画像センサ12が検出した第1の画像と、第2の画像センサ22が検出した第2の画像とを比較し、第1の方向とは異なる第2の方向における、第1の画像と第2の画像との違いに基づいて、第2の画像を補正するための補正処理係数を算出する画像比較部30と、画像比較部30により算出された補正処理係数により、第2の画像を補正する歪変換処理部50と、を備える。
【選択図】図1
【解決手段】画像処理装置1は、第1の方向に並んで配置される第1のカメラ10及び第2のカメラ20を備えるステレオカメラから入力される、第1の画像センサ12が検出した第1の画像と、第2の画像センサ22が検出した第2の画像とを比較し、第1の方向とは異なる第2の方向における、第1の画像と第2の画像との違いに基づいて、第2の画像を補正するための補正処理係数を算出する画像比較部30と、画像比較部30により算出された補正処理係数により、第2の画像を補正する歪変換処理部50と、を備える。
【選択図】図1
Description
本発明は、画像処理装置及び画像処理方法に関する。
従来、3次元物体認識技術としてステレオカメラ技術がある。ステレオカメラ技術は、異なる位置に配置した2台のカメラ(「ステレオカメラ」と呼ぶ)が撮像する画像の写り方の違いを利用して、三角法に基づき視差を検出し、その視差を用いて物体の奥行きや位置を検出する技術である。ステレオカメラ技術を用いることにより、対象物の位置を正確に検出することができる。このため、車載カメラやロボットに搭載されるカメラなどで3次元の物体を検出及び認識するためにステレオカメラ技術が適用されている。ステレオカメラの2つのカメラの画像は、例えば、中心射影方式により所定の射影に変換され、変換後の画像の差分を検出することで物体までの距離を測定することができる。
高精度の距離検出を行う場合、2つの画像を所定の射影に高精度に合わせる必要がある。このため、例えば、カメラやレンズの温度変化や経時変化などの要因により、カメラが撮像した画像が変化すると、物体まで測定する距離の測距誤差が発生してしまう。例えば、低コスト化や非球面化に対して利点のあるプラスチックレンズでは、温度に対して検出画像が変化するので、プラスチックレンズの温度変化に伴い測距誤差が発生する。また、ガラスレンズであっても広角視野に対応した魚眼レンズでは、広角視野での画像の変化が大きくなるので、測距誤差が発生する。
レンズの温度変化により発生する測距誤差の課題に対し、以下の特許文献1及び2に開示された技術が知られている。例えば、特許文献1には、「カメラ情報格納手段は各撮像手段のズームの状態及びフォーカスの状態に依存して変化するカメラ情報については、その状態に応じた複数のカメラ情報を持ち、ステレオ画像処理手段が各撮像手段のズームの状態及びフォーカスの状態を取得して、カメラ情報格納部から対応するカメラ情報を取得し、ステレオ画像処理に用いる。」と記載されている。
また、特許文献2には、「歪み補正処理部は、温度センサにより検知した温度に基づいて、その検知温度で撮像画像の歪み度合いを示す指標値(ずれ量)が最も小さくなる補正係数を補正係数記憶部から読み出し、読み出した補正係数を用いて上記歪み補正式により歪み補正処理を行う。」と記載されている。
特許文献1には、温度が変わることで、レンズの膨張収縮や構造の変形などにより発生する像ずれに対し、第一及び第二の撮像部の温度情報を取得し、対応する補正情報をカメラ情報格納部からカメラ情報と一緒に取得することで、温度差によるカメラ情報の変化を補正することができると記載されている。一方で、特許文献1に記載された処理は、温度に応じた補正情報を記憶装置に格納するため、記憶装置の記録容量が大きくなり、記憶装置のコストが課題となる。また、カメラで取得した画像の歪補正を行う場合は、記憶装置から補正情報が読み出されるため、2つのカメラに対応した記憶装置を予め確保しておかなければならない。特に、3次元計測装置は高分解能や広視野を実現するため、カメラの高画素化が進んでおり、補正情報等の情報量は増大する一方であり、記憶装置の記録容量も大型化しなければならない。
また、特許文献2に記載の画像処理装置では、特許文献1で課題とされた記録容量の増大に対し、多項式を用いることで、記憶装置に格納されるデータのデータ量を低減できる。このため、記憶装置の記録容量を低減できても、特許文献2に記載の画像処理装置は、特許文献1に記載の装置と同様に、2つのカメラに対応した記憶装置を確保しておかなければならないという課題があった。
さらに特許文献1及び2に記載された技術は、補正精度でも重大な課題がある。特許文献1に記載された温度検出部、特許文献2に記載された温度センサが検出する温度は、レンズの温度を直接示していない。例えば、レンズが太陽光を浴びたり、カメラ処理回路の熱がレンズに伝わったりする場合、レンズ内部の温度と外部の温度が異なる。この場合、2つのカメラの温度が異なることもあり、2つのカメラで検出される画像を補正する際、誤差が生じることがある。さらに、実際のレンズの温度特性にはばらつきがあり、同じ温度変化でも同じ特性を示すとは限らない。このため、温度変化から画像の変化を検出することは困難である。また、2つのカメラの温度が変化すると、カメラに内蔵されるセンサの感度も変化して、各センサで検出される画像も異なってしまう。
本発明はこのような状況に鑑みて成されたものであり、ステレオカメラ(2つのカメラ)の変化に合わせて、2つのカメラから出力される画像を補正することを目的とする。
本発明に係る画像処理装置は、第1の方向に並んで配置される第1のカメラ及び第2のカメラを備えるステレオカメラから入力される、第1のカメラが有する第1の画像センサが検出した第1の画像と、第2のカメラが有する第2の画像センサが検出した第2の画像とを比較し、第1の方向とは異なる第2の方向における、第1の画像と第2の画像との違いに基づいて、第2の画像を補正するための補正処理係数を算出する画像比較部と、画像比較部により算出された補正処理係数により、第2の画像を補正する画像処理部と、を備える。
本発明によれば、ステレオカメラ(2つのカメラ)の変化に合わせて、2つのカメラから出力される画像を補正することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
以下、本発明を実施するための形態について、添付図面を参照して説明する。本明細書及び図面において、実質的に同一の機能又は構成を有する構成要素については、同一の符号を付することにより重複する説明を省略する。本発明は、例えば、先進運転支援システム(ADAS:Advanced Driver Assistance System)、又は自動運転(AD:Autonomous Driving)向けの車載ECU(Electronic Control Unit)が通信可能な車両制御用の演算装置に適用可能である。
[第1の実施形態]
図1は、本発明の第1の実施形態に係る画像処理装置1の内部構成例を示すブロック図である。
図1は、本発明の第1の実施形態に係る画像処理装置1の内部構成例を示すブロック図である。
画像処理装置1は、第1の方向に並んで配置される第1のカメラ(第1のカメラ10)及び第2のカメラ(第2のカメラ20)を備えるステレオカメラから入力される画像に対して所定の処理を行う。このステレオカメラでは、第1のカメラ10と第2のカメラ20が水平方向(第1の方向)に並んで配置されている。
第1のカメラ10は、第1のレンズ11と第1の画像センサ12を備えている。第1のカメラ10は、第1のレンズ11を介して像光が結像した第1の画像センサ12で対象物の像を検出する。第1のカメラ(第1のカメラ10)が有する第1の画像センサ(第1の画像センサ12)が検出した第1の画像に対して、後段の各機能部による所定の処理が行われる。
第2のカメラ20は、第2のレンズ21と第2の画像センサ22を備えている。第2のカメラ20は、第2のレンズ21を介して像光が結像した第2の画像センサ22で対象物の像を検出する。第2のカメラ(第2のカメラ20)が有する第2の画像センサ(第2の画像センサ22)が検出した第2の画像に対して、後段の各機能部による所定の処理が行われる。
以下の説明で、第1のレンズ11と第2のレンズ21を区別しない場合、「レンズ」と総称する。同様に、第1の画像センサ12と第2の画像センサ22を区別しない場合、「センサ」と総称する。また、第1のカメラ10と第2のカメラ20を「2つのカメラ」と総称することがある。また、第1の画像センサ12で検出される第1の画像を「第1のカメラ10で検出される第1の画像」と呼ぶことがある。同様に、第2の画像センサ22で検出される第2の画像を「第2のカメラ20で検出される第2の画像」と呼ぶことがある。
第1のカメラ10で検出された第1の画像は、歪変換処理部50Aに入力され、歪変換処理部50Aが第1の画像の歪を変換する。
第2のカメラ20で検出された第2の画像は、歪変換処理部50Bに入力される。そして、歪変換処理部50Bが第2の画像の歪を変換する。歪変換処理部50A,50Bを区別しない時は、歪変換処理部50と呼ぶ。第1の実施形態に係る画像処理部は、第1の画像の歪と第2の画像の歪を変換する歪変換処理部(歪変換処理部50)である。例えば、レンズの射影方式が正射影(fsinθ)であった場合、歪変換処理部50A,50Bは、それぞれ第1の画像と第2の画像を正射影から中心射影(ftanθ)への射影変換を行うことで、第1の画像と第2の画像の歪を変換する。ただし、射影変換後の画像が中心射影(ftanθ)以外であっても本発明の効果は得られる。
第2のカメラ20で検出された第2の画像は、歪変換処理部50Bに入力される。そして、歪変換処理部50Bが第2の画像の歪を変換する。歪変換処理部50A,50Bを区別しない時は、歪変換処理部50と呼ぶ。第1の実施形態に係る画像処理部は、第1の画像の歪と第2の画像の歪を変換する歪変換処理部(歪変換処理部50)である。例えば、レンズの射影方式が正射影(fsinθ)であった場合、歪変換処理部50A,50Bは、それぞれ第1の画像と第2の画像を正射影から中心射影(ftanθ)への射影変換を行うことで、第1の画像と第2の画像の歪を変換する。ただし、射影変換後の画像が中心射影(ftanθ)以外であっても本発明の効果は得られる。
ここで例えば、第1のカメラ10の第1のレンズ11の温度に対して、第2のカメラ20の第2のレンズ21の相対温度が変化することで第1の画像に対して第2の画像の倍率が変化する。また、第1のカメラ10の第1のレンズ11と第2のカメラ20の第2のレンズ21の温度が等しくとも、第1のカメラ10の第1のレンズ11と第2のカメラ20の第2のレンズ21の温度に対する倍率変化の感度が異なることで第1の画像に対して第2の画像の倍率が変化する。この倍率変化に対応するため、画像処理部(歪変換処理部50B)は、画像比較部(画像比較部30)により算出された補正処理係数kにより、第2の画像を補正する。補正処理係数kによる第2の画像の補正は、第2の画像の倍率変化を補正する処理である。
2つのカメラの後段には、画像比較部30が設けられる。画像比較部30には、第1のカメラ10から第1の画像が入力され、第2のカメラ20から第2の画像が入力される。この画像比較部30は、第1の画像と第2の画像とを比較し、第1の方向とは異なる第2の方向における、第1の画像と第2の画像との違いに基づいて、第2の画像を補正するための補正処理係数kを算出する。本実施の形態では、2つのカメラが並ぶ略水平方向を第1の方向とし、第1の方向に対する略垂直方向と第2の方向とする。ただし、後述するように第2の方向を略垂直方向に限らず、水平方向に対して45度程度まで傾けた方向(後述する図11の(5)、(6)を参照)としてもよい。
画像比較部30は、2つのカメラの並ぶ方向に対して略垂直な方向に第1の画像、第2の画像を比較し、比較結果を歪変換処理部50Bに出力する。本実施の形態では、補正処理係数kで表される所定の倍率を第2の画像の全体に掛けることでの第2の画像の画像サイズを補正することができる。このため、第1の画像の所定領域に対して第2の画像の所定領域の画像サイズが違うことは、第1の画像に対して第2の画像の倍率が違うことと等価である。そこで、画像比較部30は、補正処理係数kを算出するために、第1の画像と第2の画像からそれぞれ所定の大きさの領域を抽出する。抽出された領域の大きさは、後述する図3に示すように、2つの画像に共通して映る対象物である画像の一部の大きさであってもよいし、後述する図11の(1)、(2)に示すように2つの画像ごとに画像全体の大きさであってもよい。
ここでは、第1の画像と第2の画像から抽出される領域を、第1の画像と第2の画像から抽出された一部の領域(例えば、後述する図3に示す領域R1,R2)であると想定する。そして、画像比較部30は、第2の画像に所定の倍率を掛けることで、第1の画像と第2の画像のそれぞれの画像サイズが一致するような画像倍率を算出する。以下の説明では、この画像倍率を「補正処理係数k」と呼ぶ。そして、歪変換処理部50Bは、画像比較部30から入力された補正処理係数kを用いて、第2の画像の倍率変化を補正する。補正処理係数kの詳細な説明は後述する。
歪変換処理部50の後段には、輝度補正部51、画像補間部52、及び輝度情報生成部53が設けられる。輝度補正部51、画像補間部52、及び輝度情報生成部53には、それぞれ歪変換処理部50Aから出力される歪変換後の画像に対して所定の処理を行う経路と、歪変換処理部50Bから出力される歪変換、かつ倍率変化が補正された後の画像に対して所定の処理を行う経路に対して設けられる。
輝度補正部51は、輝度補正処理として、例えば、2つのカメラのゲインの違いや、第1のカメラ10内の画素と第2のカメラ20内の画素間のゲインの違いを補正する処理を行う。この補正により、第1の画像と第2の画像に映る同じ対象物の輝度が同じとなる。
画像補間部52は、画像補間処理として、例えば、RAW画像からカラー画像に変換するデモザイキング処理を行う。
画像補間部52は、画像補間処理として、例えば、RAW画像からカラー画像に変換するデモザイキング処理を行う。
輝度情報生成部53は、後段の視差画像生成部60による視差画像の生成を可能とするため、輝度情報を生成する処理として、例えば、カラー画像である第1の画像と第2の画像を、それぞれ輝度の画像に変換する。輝度の画像への変換時に、第1の画像と第2の画像のそれぞれに対して輝度情報が生成される。
第1の画像と第2の画像に対して以上の処理が行われることで、輝度情報生成部53から出力される第1の処理画像、第2の処理画像が得られる。画像処理装置1では、第1の処理画像、第2の処理画像がいずれも輝度画像と同じであるが、各画像に対して所定の処理が行われることから「処理画像」と呼ぶ。
視差検出部(視差画像生成部60)は、少なくとも歪が変換され、かつ輝度情報が生成された第1の画像(すなわち、第1の処理画像)と、少なくとも歪が変換され、輝度情報が生成され、かつ倍率が変換された第2の画像(すなわち、第2の処理画像)とに基づいて、第1の画像と第2の画像に映る対象物の視差を検出する。ここで、視差画像生成部60が視差を検出する第1の画像と第2の画像に映る対象物は、第1の画像に基づいて処理された第1の処理画像と、第2の画像に基づいて処理された第2の処理画像とに映っている。このため、視差画像生成部60は、第1の処理画像と第2の処理画像に基づいて、対象物の視差を検出するための視差画像を生成する。
距離算出部70は、視差画像生成部60により検出された視差(上述した視差画像)に基づいて、第1の画像及び第2の画像に写る対象物までの距離を算出する。そして、距離算出部70は、対象物までの距離を、不図示の車両制御部等に出力する。
不図示の車両制御部は、対象物までの距離の算出結果に基づいて、車両を転舵して走行する方向を変更したり、対象物の手前で車両を停止したりする等の制御を行う。
不図示の車両制御部は、対象物までの距離の算出結果に基づいて、車両を転舵して走行する方向を変更したり、対象物の手前で車両を停止したりする等の制御を行う。
このような画像処理装置1は、2つのカメラで検出された画像を画像比較部30で比較し、歪変換処理部50Bが比較結果を用いて第2の画像の補正処理を行うことを特徴としている。これに対して、上述した先行文献1及び2に記載された技術は、測距誤差の補正の考え方が本実施形態に係る技術と異なる。先行文献1及び2に記載された技術では、2つのレンズの温度変化に対して、2つのカメラから出力された画像が所定温度の条件となるように第1の画像、第2の画像の両方共に歪みが補正される。ただし、先行文献1及び2に記載された技術は、例えば、温度計で計測される温度がレンズ温度でないため画像の補正精度が低く、温度に対する像の変位量にレンズ間のばらつきがあるため、画像の変位量のばらつきを考慮して画像を補正できないなどの問題がある。それに対して、本実施形態に係る画像処理装置1では、2つのカメラで検出された実際の画像のずれを用いることで、画像を補正できるため、画像の補正精度を高めることができるという利点がある。
次に、温度変化に伴ってカメラが撮像した画像が変化する様子と、本実施形態に係る補正アルゴリズムについて説明する。
図2は、本実施形態に係る補正アルゴリズムを説明する図である。図2の上側には、黒点で表す対象物100の像を第1のレンズ11を介して第1の画像センサ12が検出する様子と、対象物100の像を第2のレンズ21を介して第2の画像センサ22が検出する様子が示される。ここで、車両の前方方向に対して第1のカメラ10が右側に設置され、第2のカメラ20が左側に設置されているとする。また、対象物100として、例えば、移動する車両、人の他、路面に設置された信号機、ポール等の構造物等も想定される。
図2は、本実施形態に係る補正アルゴリズムを説明する図である。図2の上側には、黒点で表す対象物100の像を第1のレンズ11を介して第1の画像センサ12が検出する様子と、対象物100の像を第2のレンズ21を介して第2の画像センサ22が検出する様子が示される。ここで、車両の前方方向に対して第1のカメラ10が右側に設置され、第2のカメラ20が左側に設置されているとする。また、対象物100として、例えば、移動する車両、人の他、路面に設置された信号機、ポール等の構造物等も想定される。
また、図2の下側には、(1)センサ上の画像と、(2)補正処理後の画像の例が示される。図2の(1)には、第1の画像センサ12及び第2の画像センサ22上で検出される対象物100の画像の例が示される。また、図2の(2)には、本実施形態に係る補正アルゴリズムを図2の(1)に示す画像に適用して補正した画像の例が示される。
まず、第1のレンズ11のレンズ温度が変化した場合に測距誤差が発生するメカニズムについて説明する。所定の温度条件で測定したときの第1のカメラ10(第1のレンズ11)に入射する対象物100からの光線110、第2のカメラ20(第2のレンズ21)に入射する対象物100からの光線120を一点鎖線で示している。所定の温度条件で測定した場合、第1の画像センサ12、第2の画像センサ22上の光線入射位置の差(視差)から対象物までの距離D0が検出される。これは、実際と等しい距離となる。
ここで、第1のレンズ11の温度が変化したときの第1のカメラ10に入射する対象物100の光線111を破線で示している。第1のレンズ11の温度が変わった場合、第1のレンズ11の屈折率変化やレンズ面間隔の変化などの影響を受け、第1のレンズ11の画角に対する像高の関係がずれる。この場合、第1のレンズ11によって光線110が光線111に変換され、第1の画像センサ12上で像の位置が矢印19の方向にずれて検出される。そして、対象物100に対する測距の処理が、第1のレンズ11の温度が変化する前の処理と同じである場合、対象物100からの光線は二点鎖線で示す仮想光線112の画角に存在していると誤検出される。
また、第2のレンズ21の温度が変化していない状態で第2のカメラ20に入射する対象物100の光線121についても破線で示している。第2のレンズ21によって光線120が光線121に変換され、第2の画像センサ22上で像の位置が矢印29の方向にずれて検出される。光線120と仮想光線112の交点が対象物100の位置として誤検出され、この位置に基づいて、第1のレンズ11と第2のレンズ21を基点とした距離D1が算出され、画像処理装置1から距離D1が出力される。ここで、図2に示すように、対象物100までの正しい距離D0と、誤って算出された距離D1とは一致しない。これが第1のレンズ11の温度変化に伴う測距誤差が発生するメカニズムである。
次に、本実施形態に係る補正アルゴリズムについて説明する。
図2の(1)には、第1のレンズ11の温度が変化すると第1の画像センサ12上で対象物100の像の位置が矢印19の方向にずれて検出されることが示される。一方、第2の画像センサ22上では、対象物100の像の位置がずれて検出されていない。
図2の(1)には、第1のレンズ11の温度が変化すると第1の画像センサ12上で対象物100の像の位置が矢印19の方向にずれて検出されることが示される。一方、第2の画像センサ22上では、対象物100の像の位置がずれて検出されていない。
本実施形態に係る補正アルゴリズムを適用することで、図2の(1)のセンサ上の画像にて検出された2つの画像を基に補正情報(後述する補正処理係数k)が生成される。本実施形態では、補正情報に基づいて、第2の画像センサ22で検出された対象物100の像高(画像サイズ)の倍率が変換される。
そして、図2の(2)の補正処理後の画像に示すように、第2の画像センサ22上の対象物100の画像が矢印19と同じ方向である矢印29の方向にずれて補正される。第2の画像センサ22上の対象物100の画像が補正されると、光線120が光線121、仮想光線122に変化したと推定することができる。
このため、仮想光線112と仮想光線122の交点が対象物100の位置として検出される。仮想光線112と仮想光線122の交点は、光線110,120の交点の位置が矢印91の方向にずれた位置となる。そして、仮想光線112と仮想光線122の交点の位置に基づいて距離D2が算出される。このとき、距離D0と距離D2はほとんど同じ距離となる。距離D0と距離D2に発生する測距誤差は実用上、問題とならない。
このように、レンズの温度変化に伴う画像変化は、第1の画像と第2の画像の像の変位量を合わせることで測距誤差を低減することが示された。以上のようなレンズの特性は、レンズが広角となるほど大きな像高変化を起こすため、レンズの倍率が変わったと解釈することができる。以降の説明では、レンズの温度に伴う画像(像高)変化をレンズ倍率変化と呼ぶ。
なお、本処理により、対象物100の左右の検出位置が矢印91の方向にずれるが、画角の変化としては小さく、小数点2桁目の画角が変化する程度にすぎない。このため、例えば、車両やロボットに本実施形態に係る画像処理装置1を搭載し、適用することについては問題とならない。
次に、本実施形態に係る補正アルゴリズムで用いられる補正情報の求め方について説明する。
図3は、温度変化に伴うセンサ上の画像の変化を示す図である。図3の右側には、第1の画像センサ12で検出される画像の変化の例が示され、図3の左側には、第2の画像センサ22で検出される画像の変化の例が示される。
図3は、温度変化に伴うセンサ上の画像の変化を示す図である。図3の右側には、第1の画像センサ12で検出される画像の変化の例が示され、図3の左側には、第2の画像センサ22で検出される画像の変化の例が示される。
第1の画像センサ12と第2の画像センサ22には、それぞれ第1のレンズ11の温度が変化する前に検出された対象物100のセンサ上の位置が黒点1000として示されている。破線で示す円C0は黒点1000と同じ像高位置を表している。この円C0は、第1のレンズ11と第2のレンズ21が同じ温度である場合、又は第1の画像センサ12と第2の画像センサ22が同じ感度である場合のいずれであっても、水平中心に対する黒点1000の位置が同じであることを表している。なお、カメラの温度が変化することにより画像センサの感度が変わる。このため、レンズの温度の変化だけでなく、画像センサの感度の変化に応じても第2の画像の補正が行われる。
第1のレンズ11の温度が変化した後において、第1の画像センサ12に検出された対象物100のセンサ上の位置と、第2のレンズ21の温度が変化した後において、第2の画像センサ22に検出された対象物100のセンサ上の位置とが、黒点1001として示されている。また、実線の円C1は黒点1001と同じ像高位置をそれぞれ示している。つまり、円C1は、第1のレンズ11の温度と第2のレンズ21の温度とがそれぞれ異なる場合、又は第1の画像センサ12の感度と第2の画像センサ22の感度とがそれぞれ異なる場合に、水平中心に対する黒点1001の位置が異なることを表している。
また、第1の画像センサ12と第2の画像センサ22には、2つのレンズの温度変化に伴う黒点1000から黒点1001への変位量がそれぞれ変位量dx1、変位量dx2として示されている。2つのレンズの倍率の変化が異なるため、第1の画像センサ12と第2の画像センサ22に示された変位量dx1、変位量dx2が異なっている。つまり、変位量dx1から変位量dx2を減じると差分が生じる。
そこで、図1に示した画像比較部30は、変位量dx1と変位量dx2の関係を求める。この際、画像比較部(画像比較部30)は、第1の画像が第2の方向に延びる領域R1の画像の変位量と、第2の画像が第2の方向に延びる領域R2の画像の変位量との差分を、第1の画像と、第2の画像との違いとし、画像処理部(歪変換処理部50)が、第2の画像の第2の方向に延びる領域の変位量の差分をなくす補正を行うための倍率である補正処理係数kを算出する。
なお、画像比較部30の処理は、第1の画像と第2の画像の一部の領域の画像サイズに基づいて以下のように言い換えることもできる。すなわち、画像比較部(画像比較部30)は、第2の方向に延びる第1の画像の一部の領域R1の画像サイズと、第2の方向に延びる第2の画像の一部の領域R2の画像サイズの差異を、第1の画像と、第2の画像との違いとし、画像処理部(歪変換処理部50)が、第2の画像の一部の領域の画像サイズの差異をなくす補正を行うための倍率である補正処理係数kを算出する。
そして、歪変換処理部50Bで変位量dx1と変位量dx2の関係に応じた画像処理を行うことで2つのレンズの変化の差を補正することができる。ただし、水平方向の像の位置は対象物の距離に依存して変化する。このため、画像比較部30は、対象物100までの距離として予め分かっている情報を用いなければ、正確な変位量dx1と変位量dx2の関係を求めることができない。この結果、画像処理装置1は、水平方向の変位量dx1と変位量dx2だけで、例えば路上などで検出される情報に基づいて2つのレンズの変化の差を補正するのは困難である。
このような課題に対して、本実施形態に係る画像比較部30は、水平方向ではなく、垂直方向の円C0と円C1の差分をそれぞれ、変位量dy1、変位量dy2とする。そして、画像比較部30は、垂直方向の変位量dy1と変位量dy2を用いて、水平方向の変位量dx1と変位量dx2の関係を求める。通常、レンズは光軸に対して回転対称の特性を有するため、変位量dx1と変位量dy1は同じ量となる。そして、変位量dx2と変位量dy2も同じ量となる。そこで、画像比較部30は、水平方向の変位量dx1と変位量dx2を、垂直方向の変位量dy1と変位量dy2に変えたとしても、第1の画像と第2の画像の差を補正することが可能となる。
(像高変位量が線形に変化する場合)
次に、変位量dy1と変位量dy2の関係から2つのレンズの変化の差を補正する方法について説明する。
図4は、本実施形態に係る2つのレンズの変化の差の補正方法を説明する図である。ここでは、図3の第1の画像センサ12と第2の画像センサ22に示した領域R1、領域R2の変位量について説明する。なお、図4には、像高変位量が線形に変化する場合が示される。
次に、変位量dy1と変位量dy2の関係から2つのレンズの変化の差を補正する方法について説明する。
図4は、本実施形態に係る2つのレンズの変化の差の補正方法を説明する図である。ここでは、図3の第1の画像センサ12と第2の画像センサ22に示した領域R1、領域R2の変位量について説明する。なお、図4には、像高変位量が線形に変化する場合が示される。
図4の(1)は、第2のレンズ12の温度に対する第1のレンズ11の温度変化Δtに伴うカメラの像高の変位量の垂直画角依存性を示すグラフである。このグラフの横軸は垂直画角を示し、縦軸は像高変位量を示している。図中には、第1のカメラ10の特性S11、第2のカメラ20の特性S12が直線で示されている。ただし、図4の(1)に示す特性S11,S12を直接検出することは困難である。
そこで、本実施形態に係る画像比較部30は、図4の(2)に示す第2のレンズ12の温度に対する第1のレンズ11の温度変化Δtに伴うカメラの像高変位量差分の垂直画角依存性を示すグラフを用いる。このグラフの縦軸は、2つのカメラの像高変位量の差分を示している。像高変位量の差分は、例えば、画像比較部30が対象物100の位置の違いを検出すればよい。
そして、画像比較部30は、例えば、視差マッチング処理のように、第1の画像に対して第2の画像を垂直方向にずらし、2つの画像が最も一致するずらし量を検出する。なお、画像比較部30は、第1の画像と第2の画像とを比較することで特徴点の位置を求めることもできる。
図4の(2)に示すグラフの点は、特定の対象物100以外にも、所定の像を用いて検出したものを黒点で表現している。第1の画像と第2の画像に映り込む構造物であれば、像高が検出されるので、黒点の数は5点に限らず、多数設けられてもよい。このように、変位量の差分は、第1の画像に映る対象物の位置と、第2の画像に映る対象物の位置との違いを示す黒点として表される。そこで、画像比較部(画像比較部30)は、第1の画像に映る対象物の位置と、第2の画像に映る対象物の位置との違いに基づいて変位量の差分を検出する。そして、画像比較部30は、図4の(1)と(2)で用いた第1の画像と第2の画像のうち、第2の画像に対して画像の倍率を変化させるための補正処理係数kを算出する。
図4の(3)は、第2の画像を最適倍率としたときの像高変位量の垂直画角依存性を示している。図4の(3)は、第2のレンズ12の温度に対する第1のレンズ11の温度変化Δtに伴うカメラの像高の変位量の垂直画角依存性を示すグラフであり、第2の画像を最適倍率とした時に第2のカメラ20の特性S12が特性SC1に変化する様子を表している。最適倍率とすると、像高変位量が第1のカメラ10の特性S11と、第2のカメラ20の特性SC1とが同じ特性となる。つまり、図4の(1)に示した特性S12に対して補正処理係数kを掛けると、特性S12の傾きが大きくなった特性SC1の傾きと、第1のカメラ10の特性S11の傾きが同じとなる。
図4の(4)は、第2の画像を最適倍率としたときの像高変位量差分の垂直画角依存性を示している。第1のカメラ10の特性S11と第2のカメラ20の特性SC1が同じであるため、図4の(4)に示すように、垂直画角に依らず像高変位量が一定(ほぼゼロ)となることが示される。
本実施形態では、画像比較部30が最適倍率となる補正処理係数kを求めるための倍率誤差信号MES(Magnificaion Error Signal)を定義する。以下の説明では、倍率誤差信号MESを、「MES」と略称することもある。MESは、次式(1)で表される。式(1)に示すS(+θ)、S(-θ)は、垂直画角θでの像高変位量の差分を示している。
MES=S(+θ)-S(-θ) …(1)
MES=S(+θ)-S(-θ) …(1)
図5は、倍率誤差信号MESのk依存性を示すグラフである。このグラフの横軸は補正処理係数k(倍率)を示し、縦軸は倍率誤差信号MESを示している。補正処理係数kの変化に伴って、倍率誤差信号MESが変化する。
図3には、S(+θ)がdy1-k×dy2で表され、S(-θ)が-(dy1-k×dy2)で表されることが示される。このため、MESは、S(+θ)-S(-θ)=2(dy1-k×dy2)と表すことができる。
図4の(2)に示したグラフでは、S(+θ)が正の値をとり、S(-θ)が負の値をとることが示される。ここで、例えば図4の(2)に示したグラフの場合、MES > 0となる。そして、図4の(2)に示したグラフが左上がりのグラフの場合、MES < 0となる。
図4の(2)に示したグラフでは、S(+θ)が正の値をとり、S(-θ)が負の値をとることが示される。ここで、例えば図4の(2)に示したグラフの場合、MES > 0となる。そして、図4の(2)に示したグラフが左上がりのグラフの場合、MES < 0となる。
一方、補正処理係数kが最適値である場合には、図4の(4)に示したグラフでは、S(+θ)がゼロ、S(-θ)がゼロの値をとるので、式(1)より、S(+θ)-S(-θ)=0、すなわちMESはゼロのとき、dy1-k×dy2=0の関係であるので、補正処理係数kが、k=dy1/dy2と表される。
図5に示すように、補正処理係数kが最適値よりも大きい場合には、MESはマイナスとなる。そこで、画像比較部30は、補正処理係数kを変えてMESを演算し、MESがゼロとなる補正処理係数k(最適値)を求める。画像比較部30は、最適値として求めた補正処理係数kを歪変換処理部50B(図1を参照)に出力する。
画像処理部(歪変換処理部50)は、第1のカメラ(第1のカメラ10)と第2のカメラ(第2のカメラ20)の温度が変化したことにより第1の画像に対して違いが生じる第2の画像を補正する。また、第1のカメラ(第1のカメラ10)と第2のカメラ(第2のカメラ20)の温度の変化によって、第1のカメラ(第1のカメラ10)が有する第1の画像センサ(第1の画像センサ12)の感度と、第2のカメラ(第2のカメラ20)が有する第2の画像センサ(第2の画像センサ22)の感度の差が生じる。このため、画像処理部(歪変換処理部50)は、第1の画像センサ(第1の画像センサ12)の感度と、第2の画像センサ(第2の画像センサ22)の感度の差により、第1の画像に対して違いが生じる第2の画像を補正することができる。
このように歪変換処理部50Bは、補正処理係数kを用いることで、レンズの温度又はセンサの感度変化に伴う第2の画像の倍率変化を補正することができる。上述したように、レンズは光軸に対して回転対称の特性を有するため、垂直方向の倍率変化を補正した結果は水平方向に対しても有効である。
なお、第2の画像の倍率変化はレンズとセンサの間隔が変化することでも発生する。本実施形態に係る補正アルゴリズムは、倍率変化を補正できるため、レンズとセンサの間隔変化に伴う画像の変化も補正することができる。例えば、レンズとセンサの間隔変化がそのまま倍率の変化なので、この倍率の変化を補正することで、間隔変化に伴う画像の変化を補正できる。
ここまで画像比較部30は、MESの計算にあたって垂直画角±θを用いるものとして説明した。ただし、画像比較部30は、例えば、図4の(2)に示す黒点を多数(6個以上)検出した後、その黒点で補間した像高変位量差分の値を用いて、MESがゼロとなる補正処理係数kを算出してもよい。
次に、第1のカメラ10と第2のカメラ20に対して他の外乱があった場合であっても本実施形態に係る補正アルゴリズムが有効であることを説明する。ここまで2つのレンズは光軸に対して回転対称の特性を有するため、変位量dx1と変位量dy1は同じ量となると説明してきた。ただし、第1のカメラ10と第2のカメラ20において部品ずれが発生すると、変位量dxが変位量dyと一致しない場合がある。また、第1のカメラ(第1のカメラ10)の検出倍率と、第2のカメラ(第2のカメラ20)の検出倍率とが経時的に変化する場合がある。この場合であっても、画像処理部(歪変換処理部50)は、第1の画像に対して違いが生じる第2の画像を補正することができる。
ここでは、第1のカメラ(第1のカメラ10)の検出倍率と、第2のカメラ(第2のカメラ20)の検出倍率とが経時的に変化する例について、図6を参照して説明する。
ここでは、第1のカメラ(第1のカメラ10)の検出倍率と、第2のカメラ(第2のカメラ20)の検出倍率とが経時的に変化する例について、図6を参照して説明する。
図6は、レンズとセンサの部品位置の関係を示す図である。図6の右側には、第1のレンズ11と第1の画像センサ12が配置され、図6の左側には第2のレンズ21と第2の画像センサ22が配置される様子が示される。第1の画像センサ12と第2の画像センサ22は、X軸方向に並べて配置されている。
ここで、例えば、第2の画像センサ22がY軸方向にずれた場合(矢印41)、第2の画像センサ22がY軸を回転軸として回転した場合(矢印42)、第2の画像センサ22の光軸がY方向にずれた場合(矢印43)のいずれにおいても、第2の画像センサ22で検出される垂直方向の像高変位量がずれるため、垂直方向の像高変位量差分もずれてしまう。像高変位量差分にずれを生じさせる、これら3つの要因に対しても本実施形態に係る補正アルゴリズムが有効であることを以下に説明する。なお、第1のカメラ10と第2のカメラ20を車両に取り付けた当初の位置が、本来の取り付け位置からずれたことにより、第1のカメラ10の検出倍率と、第2のカメラ20の検出倍率とが変化した場合であっても、本実施形態に係る補正アルゴリズムが有効である。
(第2の画像センサがY方向に移動する場合)
図7は、図6に示す第2の画像センサ22がY方向に移動した場合(図6の矢印41)における像高変位量と像高変位量差分の補正効果を示す図である。なお、図7の(1)、(2)、(3)、(4)は、いずれも図4の(1)、(2)、(3)、(4)と同様の内容を示している。
図7は、図6に示す第2の画像センサ22がY方向に移動した場合(図6の矢印41)における像高変位量と像高変位量差分の補正効果を示す図である。なお、図7の(1)、(2)、(3)、(4)は、いずれも図4の(1)、(2)、(3)、(4)と同様の内容を示している。
図7の(1)のグラフに示した第1のカメラ10の特性S11は図4に示した特性S11と同じである。これに対し、図7の(1)のグラフに示した第2のカメラ20の特性S22は、垂直方向の像高変位量の下側にシフトしている点が図4に示す例と異なる。このため、図7の(2)のグラフに示す像高変位量差分が上側にシフトする。このときのMESは、図4の(2)のグラフを参照して計算したのと同様にプラスとなる。
そこで、画像比較部30は、MESがゼロとなる補正を行うと、図7の(3)、(4)のグラフに示すように、像高変位量と像高変位量差分が変化する。図7の(3)に示す第1のカメラ10の特性S11と、第2のカメラ20の特性SC2の傾きが一致することで、図7の(4)に示すように、像高変位量差分が垂直画角に依らず一定となる。ここで、図7の(4)に示すように、像高変位量差分にはオフセットが発生しているが、視差検出には影響ない。
一方で、第1の画像と第2の画像の垂直方向のオフセットは2つの画像の位置ずれを示しているため、検出する対象物が異なってしまう可能性がある。これに対しては、例えば歪変換処理部50A又は歪変換処理部50Bで第1の画像又は第2の画像を垂直方向にオフセットすることで、補正することができる。
(第2の画像センサが回転する場合)
図8は、第2の画像センサ22がY軸を回転軸として回転した場合(図6の矢印42)における像高変位量と像高変位量差分の補正効果を示す図である。なお、図8の(1)~(4)は、いずれも図4(1)~(4)と同様の内容を示している。
図8は、第2の画像センサ22がY軸を回転軸として回転した場合(図6の矢印42)における像高変位量と像高変位量差分の補正効果を示す図である。なお、図8の(1)~(4)は、いずれも図4(1)~(4)と同様の内容を示している。
第2の画像センサ22が回転していない場合、光軸に沿って入射した像光が第2のレンズ21の光軸に対して対称の位置で第2の画像センサ22に受像される。しかし、第2の画像センサ22が像光を受像する面が第2のレンズ21の光軸に対して角度を持って回転すると、第2のレンズ21の光軸に対して対称の位置であっても、第2のレンズ21から入射した像光が第2の画像センサ22に受像するまでの距離が異なるため、第2の画像センサ22の像高が変わってしまう。
図8の(1)のグラフに示した第1のカメラ10の特性S11は図4に示した特性S11と同様である。ただし、図8の(1)のグラフに示す第2のカメラ20の特性S32は、倍率変化による特性S12(図4の(1)を参照)と、第2の画像センサ22のY軸を回転軸とした回転による特性との合成となっている。そして、第2の画像センサ22の回転による特性は、非線形かつ垂直画角に対して略対称である。このため、図8の(2)のグラフに示す像高変位量差分が非線形の形状となり、MESがプラスとなる。
そこで、画像比較部30は、MESがゼロとなる補正を行うと、図8の(3)、(4)のグラフに示すように、倍率変化による特性S12を抑制できる。図8の(3)には、最適倍率とした時の第2のカメラ20の特性SC1、歪変換処理部50Bで処理される第2のカメラ20の特性SC3が示される。図4を参照して説明したように、第1のカメラ10の特性S11と、第2のカメラ20の特性SC1とが同じ特性となる。一方、第1のカメラ10の特性S11と、歪変換処理部50Bで処理される第2のカメラ20の特性SC3とは一致しない。このため、第2の画像センサ22のX軸方向の回転ずれによる特性のみが残留するが、この特性は視差画像生成部60による視差検出に影響しない。
なお、歪変換処理部50A又は歪変換処理部50Bが垂直方向の像高変位成分を基に第1の画像又は第2の画像を補正することで、第2の画像センサ22がY軸を回転軸として回転した場合のMESの補正対応をすることもできる。
次に、第2のレンズ21の光軸がY方向にずれた場合(図6の矢印43)の補正効果について説明する。
第2のレンズ21の光軸ずれは、第2の画像センサ22のY軸方向ずれとX軸方向の回転ずれの組合せで表すことができる。このため、歪変換処理部50Bは、第2のレンズ21の温度に伴う倍率変化を補正することができる。
第2のレンズ21の光軸ずれは、第2の画像センサ22のY軸方向ずれとX軸方向の回転ずれの組合せで表すことができる。このため、歪変換処理部50Bは、第2のレンズ21の温度に伴う倍率変化を補正することができる。
本実施形態では、図4、図7及び図8を参照した説明した像高変位は、垂直画角に対して線形に変化するものとして説明した。ただし、垂直画角に対して像高が非線形に変化しても、像高変位量と像高変位量差分の補正効果がある。ここで、垂直画角に対して像高が非線形に変化する場合の補正効果について、図9を参照して説明する。
(像高変位量が非線形に変化する場合)
図9は、垂直画角に対して像高変位量が非線形に変化するような場合における像高変位量と像高変位量差分の補正効果を示す図である。
図9の(1)のグラフには、垂直画角に対して像高変位量が非線形に変化した場合における第1のカメラ10の特性S41と、第2のカメラ20の特性S42の例が示される。
図9は、垂直画角に対して像高変位量が非線形に変化するような場合における像高変位量と像高変位量差分の補正効果を示す図である。
図9の(1)のグラフには、垂直画角に対して像高変位量が非線形に変化した場合における第1のカメラ10の特性S41と、第2のカメラ20の特性S42の例が示される。
垂直画角に対して像高変位量が非線形に変化した場合においても、像高変位量は垂直画角の0degに対して対称である。そこで、画像比較部30は、垂直画角に対する所定の像高を検出し、像高変位量差分を求めてMESを演算すればよい。像高変位量差分は、図9の(2)のグラフに示される。このグラフは、非線形に変化したものとなる。
ここで、図9の(3)のグラフには、第2のカメラ20を最適倍率とした時に、第2のカメラ20の特性S42が特性SC4に変化する様子が示される。この結果、像高変位量が第1のカメラ10の特性S11と、第2のカメラ20の特性SC4とで同じ特性となる。
図9の(4)のグラフには、図4の(4)と同様のグラフが示される。画像比較部30は、MESがゼロとなる補正処理係数kを求めることで、垂直画角によらず像高変位量差分がゼロとなるため、第2のレンズ21の温度に伴う倍率変化を補正することができる。
また、本実施形態では図3の領域R1、領域R2に示した、水平画角が略0degである情報を用いたが、他の領域を用いてもよい。
図10は、第1のレンズ11と第2のレンズ21の水平方向の各位置における垂直方向の像高の変位の例を示す図である。
図10は、第1のレンズ11と第2のレンズ21の水平方向の各位置における垂直方向の像高の変位の例を示す図である。
図10の右側には、第1のレンズ11による垂直方向の像高の変位の例が示され、図10の左側には、第2のレンズ21による垂直方向の像高の変位の例が示される。図中の垂直中心は、垂直画角の0degの位置を表し、水平中心は、水平画角の0degの位置を表す。図10より、2つのレンズによる像高の変位は、各レンズの垂直中心付近であれば、水平中心からの距離によらず垂直方向の像高の変位が小さいことが示される。
一方、各レンズの垂直中心からプラス方向及びマイナス方向に離れるにつれて垂直方向の像高の変位が大きくなることが示される。垂直方向の像高は、水平画角によらず垂直画角のみに依存して変位するためである。そこで、2つのレンズによる各位置での像高の変位の特性を踏まえて、画像比較部30がMESを算出する際、2つのレンズの様々な領域を対象として垂直方向の像高の情報を取得する。
図10に示した2つのレンズの水平方向の各位置における垂直方向の像高の変位を踏まえて、MESの算出に用いられる領域について、図11を参照して説明する。
図11は、MESの算出に用いられる、2つのセンサで検出される様々な領域の例を示す図である。
図11は、MESの算出に用いられる、2つのセンサで検出される様々な領域の例を示す図である。
図11の(1)、(3)、(5)、(7)には、第2の画像センサ22で検出される領域の例が示され、図11の(2)、(4)、(6)、(8)には、第1の画像センサ12で検出される領域の例が示される。図11の(1)~(8)には、図10に示したのと同様に、各センサの垂直中心、水平中心に対するプラス及びマイナスを付記する。なお、図面が煩雑になるのを避けるため、各センサの垂直中心、水平中心の記載は省略する。
ここで、図11の(1)、(2)には、各センサの全面の情報(領域R11,R12)が用いられることが示される。領域R11,R12は、各センサの全面に含まれているが、水平方向に対する垂直方向に同じ対象物が含まれる場合、画像比較部30が垂直方向の変化を用いて画像を比較する点において、図4と図5に示したMESと補正処理係数kを算出する処理と違いはない。
図11の(3)、(4)には、各センサの0deg以外の水平画角の情報が用いられることが示される。例えば、0degの水平中心に対してマイナス方向(左端)に寄った位置(領域R21,R22)の情報が用いられることが示される。領域R21,R22は、水平方向に片寄った位置にあるが、領域R21,R22に同じ対象物が含まれる場合において、図4と図5に示したMESと補正処理係数kを算出する処理と違いはない。
図11の(5)、(6)には、各センサの斜め方向の情報(領域R31,R32)が用いられることが示される。領域R31,R32は、水平方向に対して斜めであるが、領域R31,R32に同じ対象物が含まれる場合、画像比較部30が垂直方向の変化を用いて画像を比較する点において、図4と図5に示したMESと補正処理係数kを算出する処理と違いはない。
図11の(7)、(8)には、各センサの0degの垂直画角に対して対称な位置の情報(領域R41,R42)が用いられることが示される。領域R41,R42に同じ対象物が含まれる場合、画像比較部30が垂直方向の変化を用いて画像を比較する点において、図4と図5に示したMESと補正処理係数kを算出する処理と違いはない。そこで、画像比較部(画像比較部30)は、第1のカメラ(第1のカメラ10)が有する第1のレンズ(第1のレンズ11)の光軸に対して対象となる第1の画像の複数の領域と、第2のカメラ(第2のカメラ20)が有する第2のレンズ(第2のレンズ21)の光軸に対して対象となる第2の画像の複数の領域とを用いて、変位量の差分を検出する。
このように垂直画角±θ付近のみの対象物を含む領域R41,R42から補正処理係数kを算出し、倍率補正の処理を行うことで、画像処理装置1の処理負荷を低減させることも可能である。
このように垂直画角±θ付近のみの対象物を含む領域R41,R42から補正処理係数kを算出し、倍率補正の処理を行うことで、画像処理装置1の処理負荷を低減させることも可能である。
なお、垂直画角θは広角の方が像高変位量が大きいため、像高変位量差分を検出しやすい。また、誤差を低減する目的で、MESを次式(2)に示す演算が行われてもよい。次式(2)の±θ1、±θ2は、例えば、図4の(2)に示したいずれの黒点であってもよい。
MES=[S(+θ1)-S(-θ1)]+[S(+θ2)-S(-θ2)]+… (2)
MES=[S(+θ1)-S(-θ1)]+[S(+θ2)-S(-θ2)]+… (2)
<計算機のハードウェア構成例>
次に、画像処理装置1の各装置を構成する計算機200のハードウェア構成を説明する。
図12は、計算機200のハードウェア構成例を示すブロック図である。計算機200は、本実施の形態に係る画像処理装置1として動作可能なコンピューターとして用いられるハードウェアの一例である。本実施の形態に係る画像処理装置1は、計算機200(コンピューター)がプログラムを実行することにより、図1に示した各機能ブロックが連携して行う画像処理方法を実現する。
次に、画像処理装置1の各装置を構成する計算機200のハードウェア構成を説明する。
図12は、計算機200のハードウェア構成例を示すブロック図である。計算機200は、本実施の形態に係る画像処理装置1として動作可能なコンピューターとして用いられるハードウェアの一例である。本実施の形態に係る画像処理装置1は、計算機200(コンピューター)がプログラムを実行することにより、図1に示した各機能ブロックが連携して行う画像処理方法を実現する。
計算機200は、バス240にそれぞれ接続されたCPU(Central Processing Unit)210、ROM(Read Only Memory)220、及びRAM(Random Access Memory)230を備える。さらに、計算機200は、不揮発性ストレージ250及びネットワークインターフェイス260を備える。
CPU210は、本実施の形態に係る各機能を実現するソフトウェアのプログラムコードをROM220から読み出してRAM230にロードし、実行する。RAM230には、CPU210の演算処理の途中で発生した変数やパラメーター等が一時的に書き込まれ、これらの変数やパラメーター等がCPU210によって適宜読み出される。ただし、CPU210に代えてMPU(Micro Processing Unit)を用いてもよく、CPU210とGPU(Graphics Processing Unit)を併用してもよい。CPU210がソフトウェアを実行することで図1に示した画像比較部30、歪変換処理部50、輝度補正部51、画像補間部52、輝度情報生成部53、視差画像生成部60、及び距離算出部70の各機能が実現される。
不揮発性ストレージ250としては、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、又は不揮発性のメモリ等が用いられる。この不揮発性ストレージ250には、OS(Operating System)、各種のパラメーターの他に、計算機200を機能させるためのプログラムが記録されている。ROM220及び不揮発性ストレージ250は、CPU210が動作するために必要なプログラムやデータ等を記録しており、計算機200によって実行されるプログラムを格納したコンピューター読取可能な非一過性の記憶媒体の一例として用いられる。この不揮発性ストレージ250には、例えば、画像比較部30により計算された画像補正係数k、第1の画像と第2の画像、第1の処理画像と第2の処理画像、視差画像、対象物までの距離情報等が記録される。
ネットワークインターフェイス260には、例えば、NIC(Network Interface Card)等が用いられ、NICの端子に接続されたLAN(Local Area Network)、専用線等を介して各種のデータを装置間で送受信することが可能である。図1に示した距離算出部70が算出した対象物までの距離情報は、ネットワークインターフェイス260により、不図示のECU(Electronic Control Unit)や車両制御装置に送信され、車両の制御に用いられる。
<画像処理装置1の処理の例>
図13は、画像処理装置1の処理の例を示すフローチャートである。画像処理装置1は、各機能部の処理により、本実施の形態に係る画像処理方法を実施する。
図13は、画像処理装置1の処理の例を示すフローチャートである。画像処理装置1は、各機能部の処理により、本実施の形態に係る画像処理方法を実施する。
始めに、画像比較部30は、第1のカメラ10から入力した第1の画像と、第2のカメラ20から入力した第2の画像とを比較し(S1)、補正処理係数kを算出する。次に、歪変換処理部50Aは、第1の画像の歪を変換し、歪変換処理部50Bは、第2の画像の歪を変換する(S2)。なお、ステップS1,S2の処理は、並行して行われてもよい。
次に、歪変換処理部50Bは、補正処理係数kに基づいて、歪が変換された第2の画像の倍率を変換する(S3)。なお、ステップS2,S3は処理が反転してもよいし、同時に行われてもよい。
次に、輝度補正部51は、歪が変換された第1の画像の輝度を補正し、歪が変換され、かつ倍率が変換された第2の画像の輝度を補正する(S4)。
次に、画像補間部52は、歪が変換された第1の画像を補間し、歪が変換され、かつ倍率が変換された第2の画像を補間する(S5)。
次に、画像補間部52は、歪が変換された第1の画像を補間し、歪が変換され、かつ倍率が変換された第2の画像を補間する(S5)。
次に、輝度情報生成部53は、歪が変換された第1の画像の輝度情報を生成し、歪が変換され、かつ倍率が変換された第2の画像の輝度情報を生成する(S6)。
次に、視差画像生成部60は、歪が変換された第1の画像の輝度情報と、が変換され、かつ倍率が変換された第2の画像の輝度情報とに基づいて、視差画像を生成する(S7)。
次に、距離算出部70は、視差画像に基づいて、対象物までの距離を算出する(S8)。
次に、視差画像生成部60は、歪が変換された第1の画像の輝度情報と、が変換され、かつ倍率が変換された第2の画像の輝度情報とに基づいて、視差画像を生成する(S7)。
次に、距離算出部70は、視差画像に基づいて、対象物までの距離を算出する(S8)。
ステップS1~S8の画像処理は、所定時間毎に繰り返し行われる。そして、不図示の車両制御部は、距離算出部70により算出された対象物までの距離に基づいて、車両を制御する。なお、画像処理装置1と、車両制御部とを一体化した電子制御装置として構成することも可能である。
以上説明した第1の実施形態に係る画像処理装置1では、従来のレンズの水平画角(60度程度)に比べて、広角な水平画角(120度程度)のレンズを有するカメラの特に画角の端の部分(中心に対して±60度)で顕著であった像高変位量差分を抑制する補正処理係数kを算出することで、第2の画像を補正することが可能となる。
ここで、画像処理装置1の画像比較部30は、第1の画像と第2の画像から検出した像高のうち、垂直画角の±θにおける垂直方向の像高変位量差分(例えば、ゼロ)が一定となるようにMESを算出する。このMESは、補正処理係数kに依存する値であり、補正処理係数kが最適値である場合にMESがゼロとなる。そして、歪変換処理部50Bは、第2のカメラ20が撮像した第2の画像の歪を変換するだけでなく、MESがゼロとなる補正処理係数kを用いて、第2の画像の倍率変化を補正することができる。このように画像比較部30は、水平方向の変位量ではなく、水平方向以外の方向の像高変位量差分に基づいて、各カメラの画像センサが検出した像の倍率の違いを検出する。そして、歪変換処理部50Bは、一方のカメラの画像センサが検出した画像の倍率を、他方のカメラの画像センサが検出した画像に合わせる補正を行う。
このため、従来は、画像の補正情報を記憶するための大容量の記憶装置を確保する必要があったのに対し、本実施の形態に係る画像処理装置1は、ステレオカメラ(2つのカメラ)の変化に合わせて、2つのカメラから出力される画像を補正することができる。そして、画像処理装置1は、画像の補正情報を記憶するための大容量の記憶装置を確保する必要がない。
また、歪変換処理部50の後段の各処理部は、第2のカメラ20の第2の画像センサ22が検出し、倍率変化が補正された第2の画像を、第1のカメラ10が撮像した第1の画像と同様に扱える。このため、視差画像生成部60により生成される視差画像の誤差が少なくなり、距離算出部70により算出される対象物までの距離も正確に測距される。
また、第2の画像センサ22がY軸方向にずれた場合、第2の画像センサ22がY軸を回転軸として回転した場合、第2の画像センサ22の光軸がY方向にずれた場合、又は垂直画角に対して像高が非線形に変化する場合のいずれであっても、第2のカメラ20の特性を第1のカメラ10の特性に合わせることで、像高変位量差分が垂直画角に依らず一定となる。このため、視差画像生成部60により生成される視差画像の誤差が少なくなり、距離算出部70により算出される対象物までの距離も正確に測距される。
なお、画像処理装置として様々な実施形態が想定される。以下に、本発明の第2~第4の実施形態に係る画像処理装置の構成例を説明する。各実施形態に係る画像処理装置において、処理対象として用いられる画像が異なるが、この画像を用いてMESがゼロとなる補正処理係数kを算出し、この補正処理係数kにより、一方の画像(第2のカメラ20により撮影された画像、又はこの画像に所定の処理がなされた処理画像)が補正される点は、第1の実施形態に係る画像処理装置1と同様である。
[第2の実施形態]
図14は、本発明の第2の実施形態に係る画像処理装置1Aの内部構成例を示すブロック図である。第2の実施形態に係る画像処理装置1Aでは、第1の画像と第2の画像の比較結果である補正処理係数kを算出する点は、第1の実施形態に係る画像処理装置1と同様である。
図14は、本発明の第2の実施形態に係る画像処理装置1Aの内部構成例を示すブロック図である。第2の実施形態に係る画像処理装置1Aでは、第1の画像と第2の画像の比較結果である補正処理係数kを算出する点は、第1の実施形態に係る画像処理装置1と同様である。
画像比較部30は、図1に示した画像処理装置1と同じ第1のカメラ10と第2のカメラ20の後段に設けられる。そして、画像比較部30は、画像倍率変換部150に補正処理係数kを出力する。
画像倍率変換部150は、画像比較部30及び輝度情報生成部53Bの後段に配置される。第2の実施形態に係る画像処理部は、歪が変換された第2の画像の倍率を補正処理係数kにより変換する画像倍率変換部(画像倍率変換部150)である。そして、画像倍率変換部150は、画像比較部30から入力する補正処理係数kを用いて、輝度情報生成部53Bから入力する第2の処理画像の倍率を変換する。画像倍率変換部150は、倍率が変換された第2の処理画像を、視差画像生成部60に出力する。
視差検出部(視差画像生成部60)は、少なくとも歪が変換され、かつ輝度情報が生成された第1の画像(すなわち、第1の処理画像)と、少なくとも歪が変換され、輝度情報が生成され、かつ倍率が変換された第2の画像(すなわち、第2の処理画像)とに基づいて、第1の画像と第2の画像に映る対象物の視差を検出する。ここで、視差画像生成部60は、輝度情報生成部53Aから入力する第1の処理画像と、画像倍率変換部150から入力する、倍率が変換された第2の処理画像とに基づいて、対象物の視差を検出するための視差画像を生成する。
距離算出部70は、視差画像生成部60により生成された視差画像に基づいて、対象物までの距離を算出する。
距離算出部70は、視差画像生成部60により生成された視差画像に基づいて、対象物までの距離を算出する。
以上説明した第2の実施形態に係る画像処理装置1Aの構成としても、2つのレンズの温度変化に伴う、第2の画像の倍率変化を補正することができる。ここで、画像比較部30が第1の画像と第2の画像の比較結果である補正処理係数kを算出し、画像倍率変換部150は、補正処理係数kを用いて、第2の処理画像の倍率を変換する。このため、視差画像生成部60で生成される対象物ごとの視差が正確に求められ、距離算出部70により算出される対象物までの距離も正確に算出される。
[第3の実施形態]
図15は、本発明の第3の実施形態に係る画像処理装置1Bの内部構成例を示すブロック図である。第3の実施形態に係る画像処理装置1Bでは、輝度情報が生成された第1の処理画像と第2の処理画像を用いて補正処理係数kが算出される。
図15は、本発明の第3の実施形態に係る画像処理装置1Bの内部構成例を示すブロック図である。第3の実施形態に係る画像処理装置1Bでは、輝度情報が生成された第1の処理画像と第2の処理画像を用いて補正処理係数kが算出される。
第3の実施形態に係る画像処理装置1Bは、画像処理装置1が備える各機能部に加えて、画像比較部31及び画像倍率変換部150を備える。ここで、輝度情報生成部53は、第1のカメラ10で撮像された画像から輝度情報を生成する輝度情報生成部53Aと、第2のカメラ20で撮像された画像から輝度情報を生成する輝度情報生成部53Bとを含むものとする。なお、画像処理装置1Bにおいても、第1の画像及び第2の画像に対する歪変換処理部50の処理は図1に示した例と同様に行われるため、図1に示したような歪変換処理部50A,50Bの符号は省略する。
画像比較部31は、図1に示した画像比較部30に代えて設けられるものであり、輝度情報生成部53の後段に配置される。画像比較部(画像比較部31)は、少なくとも歪が変換され、かつ輝度情報が生成された第1の画像(すなわち、第1の処理画像)と、少なくとも歪が変換され、かつ輝度情報が生成された第2の画像(すなわち、第2の処理画像)とに基づいて補正処理係数kを算出する。このため、画像比較部31には、輝度情報生成部53A,53Bからそれぞれ輝度情報が生成された第1の処理画像と第2の処理画像が入力される、第1の処理画像は、第1のカメラ10が撮像した画像が、輝度情報生成部53Aにより処理された画像である。また、第2の処理画像は、第2のカメラ20が撮像した画像が、輝度情報生成部53Bにより処理された画像である。画像比較部31が第1の処理画像と第2の処理画像を比較して算出した補正処理係数kは、画像倍率変換部150に出力される。
画像倍率変換部150は、画像比較部31及び輝度情報生成部53Bの後段に配置される。第3の実施形態に係る画像処理部は、補正処理係数kにより第2の画像の倍率を変換する画像倍率変換部(画像倍率変換部150)である。そして、画像倍率変換部150には、画像比較部31から補正処理係数kが入力し、輝度情報生成部53Bから第2の処理画像が入力する。そして、画像倍率変換部150は、補正処理係数kを用いて、第2の処理画像の倍率を変換する。画像倍率変換部150は、倍率が変換された第2の処理画像を、視差画像生成部60に出力する。
視差画像生成部60は、輝度情報生成部53Aから入力する第1の処理画像と、画像倍率変換部150から入力する、倍率が変換された第2の処理画像とに基づいて、対象物の視差を検出するための視差画像を生成する。
距離算出部70は、視差画像生成部60により生成された視差画像に基づいて、対象物までの距離を算出する。
距離算出部70は、視差画像生成部60により生成された視差画像に基づいて、対象物までの距離を算出する。
ここで、例えば、レンズの射影が中心射影(ftanθ)の場合について検討する。この場合、歪変換処理部50A、歪変換処理部50Bで射影は変更されない。そして、第1のカメラ10で出力された第1の画像と、輝度情報生成部53Aで処理された第1の処理画像は同じとなる。同様に、第2のカメラ20で出力された第2の画像と、輝度情報生成部53Bで処理された第2の処理画像は同じとなる。このため、第3の実施形態で説明した各画像の状態は、第1の実施形態で説明した各画像の状態と同じとなり、第3の実施形態に係る補正アルゴリズムによっても第2の処理画像を補正できることが分かる。
次に、他の射影について検討する。例えば、レンズの射影方式が正射影(fsinθ)であった場合を検討する。この場合、第1のカメラ10で検出された第1の画像、第2のカメラ20で検出された第2の画像に対して、中心射影(ftanθ)への射影変換が行われる。例えば、第1の画像、第2の画像の像高変位量が、図4の(1)に示した特性で表されると、第1の処理画像と第2の処理画像の像高変位量は、図9の(1)に示したような特性で表される。このため、第3の実施形態に係る補正アルゴリズムで第2の処理画像を補正できることが分かる。
第3の実施形態では中心射影と正射影を説明したが、中心射影と正射影の間の歪特性を有する立体射影、等立体角射影、等距離射影であっても同様の効果が得られる。また、本実施形態に係る画像倍率変換部150は、歪変換処理部50と同じ機能を有し、第2の処理画像に対して歪を変換してもよい。また、歪変換処理部50Bが、画像倍率変換部150と同じ機能を有し、第2の画像の倍率を変換してもよい。
以上説明した第3の実施形態に係る画像処理装置1Bでは、輝度情報生成部53A,53Bから出力される第1の処理画像と第2の処理画像の比較結果に基づいて補正処理係数kが算出され、画像倍率変換部150により第2の処理画像の倍率が変換される。ここで、第1の実施形態に係る画像処理装置1では、画像比較部30が補正処理係数kを算出した後、歪変換処理部50Bが第2のレンズ21による歪と、第2の画像の倍率変化を補正していたのに対し、第3の実施形態に係る画像処理装置1Bでは、既に第2の画像の歪が変換された第2の処理画像の倍率だけを補正する点が異なる。このため、画像処理装置1Bでは、例えば、第1のカメラ10と第2のカメラ20、及び機能部50~53が一体に構成されている場合であっても、歪変換処理部50Bの処理を変える必要がない。
[第4の実施形態]
図16は、本発明の第4の実施形態に係る画像処理装置1Cの内部構成例を示すブロック図である。第3の実施形態では、第1の処理画像と第2の処理画像を画像比較部31が比較し、比較結果を基に画像倍率変換部150が第2の処理画像の画像倍率を変換した。これに対して第4の実施形態に係る画像処理装置1Cでは、画像倍率変換部150を不要とし、画像比較部31の比較結果が歪変換処理部50Bに出力される構成とする。
図16は、本発明の第4の実施形態に係る画像処理装置1Cの内部構成例を示すブロック図である。第3の実施形態では、第1の処理画像と第2の処理画像を画像比較部31が比較し、比較結果を基に画像倍率変換部150が第2の処理画像の画像倍率を変換した。これに対して第4の実施形態に係る画像処理装置1Cでは、画像倍率変換部150を不要とし、画像比較部31の比較結果が歪変換処理部50Bに出力される構成とする。
第4の実施形態に係る画像処理装置1Cは、第3の実施形態に係る画像処理装置1Bが備える各機能部のうち、画像倍率変換部150を除いた構成としている。
画像比較部31は、図15に示した画像処理装置1Bと同じ輝度情報生成部53A,53Bの後段に設けられる。画像比較部(画像比較部31)は、少なくとも歪が変換され、かつ輝度情報が生成された第1の画像(すなわち、第1の処理画像)と、少なくとも歪が変換され、かつ輝度情報が生成された第2の画像(すなわち、第2の処理画像)とに基づいて補正処理係数kを算出する。そして、画像比較部31は、歪変換処理部50Bと画像倍率変換部150から出力される第1の処理画像と第2の処理画像に基づいて補正処理係数kを算出し、この補正処理係数kを歪変換処理部50Bに出力する。
第4の実施形態に係る画像処理部は、第1の画像の歪を変換し、第2の画像の歪を変換し、かつ第2の画像の倍率を補正処理係数kにより変換する歪変換処理部(歪変換処理部50B)である。この歪変換処理部50Bは、第2のカメラ20で検出された第2の画像の歪を変換し、画像比較部31から入力した補正処理係数kに基づいて、第2の画像の倍率変化を補正する。以降の処理は、第1の実施形態に係る画像処理装置1と同様である。
例えば、視差検出部(視差画像生成部60)は、少なくとも歪が変換され、かつ輝度情報が生成された第1の画像(すなわち、第1の処理画像)と、少なくとも歪が変換され、輝度情報が生成され、かつ倍率が変換された第2の画像(すなわち、第2の処理画像)とに基づいて、第1の画像と第2の画像に映る対象物の視差を検出する。ここで、視差画像生成部60は、輝度情報生成部53Aから入力する第1の処理画像と、輝度情報生成部53Bから入力する、歪変換処理部50Bにより倍率が変換された第2の処理画像とを用いて、対象物の視差を検出するための視差画像を生成する。
距離算出部70は、視差画像生成部60により生成された視差画像に基づいて、対象物までの距離を算出する。
距離算出部70は、視差画像生成部60により生成された視差画像に基づいて、対象物までの距離を算出する。
以上説明した第4の実施形態に係る画像処理装置1Cの構成としても、2つのレンズの温度変化に伴う、第2の画像の倍率変化を補正することができる。この時、画像比較部31による第1の画像と第2の画像の比較結果に基づいて、歪変換処理部50Bの補正処理係数kが変更され、第1の画像と第2の画像の像高の差分が無くなる。このため、視差画像生成部60で生成される対象物ごとの視差が正確に求められ、距離算出部70により算出される対象物までの距離も正確に算出される。
第4の実施形態に係る画像処理装置1Cでは、画像比較部31が第1の処理画像と第2の処理画像に基づいて補正処理係数kを算出したことにより、歪変換処理部50Bから出力される第2の画像の倍率変化が補正される。倍率変化が補正された第2の処理画像が後段の処理を経て第2の処理画像として画像比較部31に入力すると、画像比較部31は、第2の画像の倍率変化を補正しない補正処理係数kを算出してしまう。このため、画像比較部31により、一旦、補正処理係数kが算出された後は、一定期間は、画像比較部31の処理が停止する。そして、一定期間後、再び、画像比較部31の処理が再開される。
なお、本発明は上記した実施形態に限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りその他種々の応用例、変形例を取り得ることは勿論である。
例えば、上述した各実施形態は本発明を分かりやすく説明するために画像処理装置の構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されない。また、ここで説明した実施形態の構成の一部を他の実施形態の構成に置き換えることは可能であり、さらにはある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加、削除、置換をすることも可能である。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
例えば、上述した各実施形態は本発明を分かりやすく説明するために画像処理装置の構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されない。また、ここで説明した実施形態の構成の一部を他の実施形態の構成に置き換えることは可能であり、さらにはある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加、削除、置換をすることも可能である。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
さらに、上述した実施形態ではレンズの温度変化に伴う倍率変化を補正する処理を説明したが、2つのカメラの倍率が経時的に変化しても同様の効果が得られる。
また、上述した実施の形態では、画像の水平方向と垂直方向の倍率の両方を変換する処理を説明したが、変形例に係る画像処理装置が、視差を検出する水平方向のみの倍率を変換しても、上述した実施の形態に係る処理と同様の効果が得られる。この場合、画像処理部(歪変換処理部50)は、第2の画像を少なくとも第1の方向に補正する。言い換えれば、視差を検出する方向の倍率を変換しても、上述した実施の形態に係る処理と同様の効果が得られる。
さらに、上述した各実施の形態に係る画像処理装置は、リアルタイムでの画像の補正処理が可能である。それ以外にも、上述した各実施の形態に係る画像処理装置は、例えば温度情報や時間情報を基に画像を補正してもよいし、MESが所定量ずれたことをモニタしておき、MESが所定量ずれたタイミングで画像を補正してもよい。
また、上述した実施の形態では、画像の水平方向と垂直方向の倍率の両方を変換する処理を説明したが、変形例に係る画像処理装置が、視差を検出する水平方向のみの倍率を変換しても、上述した実施の形態に係る処理と同様の効果が得られる。この場合、画像処理部(歪変換処理部50)は、第2の画像を少なくとも第1の方向に補正する。言い換えれば、視差を検出する方向の倍率を変換しても、上述した実施の形態に係る処理と同様の効果が得られる。
さらに、上述した各実施の形態に係る画像処理装置は、リアルタイムでの画像の補正処理が可能である。それ以外にも、上述した各実施の形態に係る画像処理装置は、例えば温度情報や時間情報を基に画像を補正してもよいし、MESが所定量ずれたことをモニタしておき、MESが所定量ずれたタイミングで画像を補正してもよい。
1…画像処理装置、10…第1のカメラ、11…第1のレンズ、12…第1の画像センサ、20…第2のカメラ、21…第2のレンズ、22…第2の画像センサ、30…画像比較部、50A,50B…歪変換処理部、51…輝度補正部、52…画像補間部、53…輝度情報生成部、60…視差画像生成部、70…距離算出部、100…対象物
Claims (14)
- 第1の方向に並んで配置される第1のカメラ及び第2のカメラを備えるステレオカメラから入力される、前記第1のカメラが有する第1の画像センサが検出した第1の画像と、前記第2のカメラが有する第2の画像センサが検出した第2の画像とを比較し、前記第1の方向とは異なる第2の方向における、前記第1の画像と前記第2の画像との違いに基づいて、前記第2の画像を補正するための補正処理係数を算出する画像比較部と、
前記画像比較部により算出された前記補正処理係数により、前記第2の画像を補正する画像処理部と、を備える
画像処理装置。 - 前記画像比較部は、前記第1の画像が前記第2の方向に延びる領域の画像の変位量と、前記第2の画像が前記第2の方向に延びる領域の画像の変位量との差分を、前記第1の画像と、前記第2の画像との違いとし、前記画像処理部が、前記第2の画像の前記第2の方向に延びる領域の前記変位量の差分をなくす補正を行うための倍率である前記補正処理係数を算出する
請求項1に記載の画像処理装置。 - 前記画像比較部は、前記第2の方向に延びる前記第1の画像の一部の領域の画像サイズと、前記第2の方向に延びる前記第2の画像の一部の領域の画像サイズの差異を、前記第1の画像と、前記第2の画像との違いとし、前記画像処理部が、前記第2の画像の一部の領域の前記画像サイズの差異をなくす補正を行うための倍率である前記補正処理係数を算出する
請求項1に記載の画像処理装置。 - 前記画像処理部は、前記第1のカメラの検出倍率と、前記第2のカメラの検出倍率とが経時的に変化することにより前記第1の画像に対して違いが生じる前記第2の画像を補正する
請求項2に記載の画像処理装置。 - 前記画像処理部は、前記第1のカメラと前記第2のカメラの温度が変化したことにより、前記第1の画像に対して違いが生じる前記第2の画像を補正する
請求項2に記載の画像処理装置。 - 前記画像処理部は、前記第1のカメラと前記第2のカメラの温度の変化によって生じる、前記第1のカメラが有する第1の画像センサの感度と、前記第2のカメラが有する第2の画像センサの感度の差により、前記第1の画像に対して違いが生じる前記第2の画像を補正する
請求項5に記載の画像処理装置。 - 前記画像比較部は、前記第1の画像に映る対象物の位置と、前記第2の画像に映る対象物の位置との違いに基づいて前記変位量の差分を検出する
請求項2に記載の画像処理装置。 - 前記画像比較部は、前記第1のカメラが有する第1のレンズの光軸に対して対象となる前記第1の画像の複数の領域と、前記第2のカメラが有する第2のレンズの光軸に対して対象となる前記第2の画像の複数の領域とを用いて、前記変位量の差分を検出する
請求項2に記載の画像処理装置。 - 前記画像処理部は、前記第2の画像を少なくとも前記第1の方向に補正する
請求項2に記載の画像処理装置。 - 前記画像処理部は、前記第1の画像の歪と前記第2の画像の歪を変換する歪変換処理部であって、
少なくとも歪が変換され、かつ輝度情報が生成された前記第1の画像と、少なくとも歪が変換され、輝度情報が生成され、かつ倍率が変換された前記第2の画像とに基づいて、前記第1の画像と前記第2の画像に映る対象物の視差を検出する視差検出部を備える
請求項2に記載の画像処理装置。 - 前記画像処理部は、歪が変換された前記第2の画像の倍率を前記補正処理係数により変換する画像倍率変換部であって、
少なくとも歪が変換され、かつ輝度情報が生成された前記第1の画像と、少なくとも歪が変換され、輝度情報が生成され、かつ倍率が変換された前記第2の画像とに基づいて、前記第1の画像と前記第2の画像に映る対象物の視差を検出する視差検出部を備える
請求項2に記載の画像処理装置。 - 前記画像処理部は、前記補正処理係数により前記第2の画像の倍率を変換する画像倍率変換部であって、
前記画像比較部は、少なくとも歪が変換され、かつ輝度情報が生成された前記第1の画像と、少なくとも歪が変換され、かつ輝度情報が生成された前記第2の画像とに基づいて前記補正処理係数を算出し、
歪が変換され、かつ輝度情報が生成された前記第1の画像と、歪が変換され、輝度情報が生成され、かつ倍率が変換された前記第2の画像とに基づいて、前記第1の画像と前記第2の画像に映る対象物の視差を検出する視差検出部を備える
請求項2に記載の画像処理装置。 - 前記画像処理部は、前記第1の画像の歪を変換し、前記第2の画像の歪を変換し、かつ前記第2の画像の倍率を前記補正処理係数により変換する歪変換処理部であって、
前記画像比較部は、少なくとも歪が変換され、かつ輝度情報が生成された前記第1の画像と、少なくとも歪が変換され、かつ輝度情報が生成された前記第2の画像とに基づいて前記補正処理係数を算出し、
少なくとも歪が変換され、かつ輝度情報が生成された前記第1の画像と、少なくとも歪が変換され、輝度情報が生成され、かつ倍率が変換された前記第2の画像とに基づいて、前記第1の画像と前記第2の画像に映る対象物の視差を検出する視差検出部を備える
請求項2に記載の画像処理装置。 - 第1の方向に並んで配置される第1のカメラ及び第2のカメラを備えるステレオカメラから入力される、前記第1のカメラが有する第1の画像センサが検出した第1の画像と、前記第2のカメラが有する第2の画像センサが検出した第2の画像とを比較し、前記第1の方向とは異なる第2の方向における、前記第1の画像と前記第2の画像との違いに基づいて、前記第2の画像を補正するための補正処理係数を算出するステップと、
算出された前記補正処理係数により、前記第2の画像を補正するステップと、を含む
画像処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022196351A JP2024082479A (ja) | 2022-12-08 | 2022-12-08 | 画像処理装置及び画像処理方法 |
PCT/JP2023/032211 WO2024122135A1 (ja) | 2022-12-08 | 2023-09-04 | 画像処理装置及び画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022196351A JP2024082479A (ja) | 2022-12-08 | 2022-12-08 | 画像処理装置及び画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024082479A true JP2024082479A (ja) | 2024-06-20 |
Family
ID=91378727
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022196351A Pending JP2024082479A (ja) | 2022-12-08 | 2022-12-08 | 画像処理装置及び画像処理方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2024082479A (ja) |
WO (1) | WO2024122135A1 (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4957134B2 (ja) * | 2006-09-12 | 2012-06-20 | 株式会社日立製作所 | 距離計測装置 |
JP6345627B2 (ja) * | 2015-05-20 | 2018-06-20 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および情報処理方法 |
JP2021192492A (ja) * | 2020-06-05 | 2021-12-16 | キヤノン株式会社 | 電子機器およびその制御方法ならびにプログラム |
-
2022
- 2022-12-08 JP JP2022196351A patent/JP2024082479A/ja active Pending
-
2023
- 2023-09-04 WO PCT/JP2023/032211 patent/WO2024122135A1/ja unknown
Also Published As
Publication number | Publication date |
---|---|
WO2024122135A1 (ja) | 2024-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3284190B2 (ja) | ステレオカメラの画像補正装置 | |
JP6167525B2 (ja) | 距離計測装置及び車両 | |
US9686479B2 (en) | Method for combining multiple image fields | |
JP6602982B2 (ja) | 車載カメラ、車載カメラの調整方法、車載カメラシステム | |
JP6381422B2 (ja) | 距離検出装置、撮像装置、および距離検出方法 | |
WO2021044746A1 (ja) | 画像処理装置 | |
US10204400B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and recording medium | |
JPH11325890A (ja) | ステレオカメラの画像補正装置 | |
JP4539427B2 (ja) | 画像処理装置 | |
WO2024122135A1 (ja) | 画像処理装置及び画像処理方法 | |
JP2008298589A (ja) | 位置検出装置及び位置検出方法 | |
JP7180177B2 (ja) | ステレオカメラシステム、移動体及びステレオカメラ装置の形成方法 | |
EP3564747B1 (en) | Imaging device and imaging method | |
JP6983740B2 (ja) | ステレオカメラシステム、及び測距方法 | |
CN116668665A (zh) | 测量装置、移动装置、测量方法和存储介质 | |
JP6335589B2 (ja) | 距離検出装置、撮像装置、距離検出方法及び視差量検出装置 | |
JP6241083B2 (ja) | 撮像装置及び視差検出方法 | |
JP6855233B2 (ja) | 障害物検出装置および障害物検出方法 | |
JP6996582B2 (ja) | 校正方法、校正装置及びプログラム | |
EP3974771A1 (en) | Stereo camera system and distance measurement method | |
JP6680335B2 (ja) | ステレオカメラ、車両、算出方法及びプログラム | |
JP7109386B2 (ja) | 画像処理装置 | |
JP6674127B2 (ja) | 画像処理装置、撮影装置、プログラム、機器制御システム及び機器 | |
WO2024127591A1 (ja) | カメラ校正装置及びカメラ校正方法 | |
JP7492599B2 (ja) | 車載カメラ装置 |