WO2012004906A1

WO2012004906A1 - 画像処理装置、画像処理方法およびプログラム

Info

Publication number: WO2012004906A1
Application number: PCT/JP2011/000065
Authority: WO
Inventors: 釣部　智行
Original assignee: パナソニック株式会社
Priority date: 2010-07-07
Filing date: 2011-01-11
Publication date: 2012-01-12
Also published as: EP2448244A4; JP2012019311A; JP5283667B2; US20120176514A1; CN102484679B; CN102484679A; EP2448244A1; US8502880B2

Abstract

　画像処理装置（１）では、２つの撮像素子（３）（例えば、撮像素子Ａと撮像素子Ｂ）から得られた第一の映像信号と第二の映像信号に対して、第一の映像信号と第二の映像信号とのずれ量を最小にするマッチング処理が行われる。一方の撮像素子（３）（例えば、撮像素子Ａ）から得られた第三の映像信号を、マッチング処理の結果として得られる最小のずれ量だけずらして、他方の撮像素子（３）（例えば、撮像素子Ｂ）から得られた第四の映像信号に加算し、加算された映像信号に対して、非線形処理および／または輪郭補正処理を行って、監視用画像が生成される。このように、二つの映像信号を加算して、監視用画像として利用することにより、高い画質の監視用画像を得ることのできる画像処理装置が提供される。

Description

画像処理装置、画像処理方法およびプログラム

　本発明は、ステレオマッチングを利用した画像処理装置に関するものである。

　従来、ステレオ測距を行って撮影対象物までの距離を測定するステレオ画像処理装置が知られている（例えば、特許文献１参照）。従来のステレオ画像処理装置では、２台のカメラを用いて撮影された２つのカメラ画像を用いて、撮影対象物までの距離の算出が行われる。これらの２つのカメラ画像は、距離測定用の画像であるともいえる。また、従来のステレオ画像処理装置では、２つのカメラ画像（距離測定用の画像）の一方を、監視用画像として用いていた。

　しかしながら、従来の画像処理装置においては、２つのカメラ画像（距離測定用の画像）の一方のカメラ画像しか監視用画像として利用していないため、映像信号のＳ／Ｎ比が低くなってしまう。監視用画像のための映像信号にはガンマ補正処理などの非線形処理が施され、低・中輝度の映像信号の振幅が伸張されるが、このとき、映像信号のＳ／Ｎ比が低いと、非線形処理によってノイズが増えてしまい、その結果、監視用画像の画質が劣化してしまう。

特開２００９－１２１８７０号公報

　本発明は、上記背景の下でなされたものである。本発明の目的は、画質のよい監視用画像を得ることのできる画像処理装置を提供することにある。

　本発明の一の態様は、画像処理装置であり、この画像処理装置は、第一の撮像部から得られた第一の映像信号と第二の撮像部から得られた第二の映像信号に対して、第一の映像信号と第二の映像信号とのずれ量を最小にするマッチング処理を行うマッチング部と、第一の撮像部から得られた第三の映像信号を、マッチング処理の結果として得られる最小のずれ量だけずらして、第二の撮像部から得られた第四の映像信号に加算する加算部と、加算された映像信号に対して、非線形処理および／または輪郭補正処理を行って、監視用画像を生成する監視用画像生成部と、を備えている。

　本発明の別の態様は、画像処理方法であり、この画像処理方法は、第一の撮像部から得られた第一の映像信号と第二の撮像部から得られた第二の映像信号に対して、第一の映像信号と第二の映像信号とのずれ量を最小にするマッチング処理を行うことと、第一の撮像部から得られた第三の映像信号を、マッチング処理の結果として得られる最小のずれ量だけずらして、第二の撮像部から得られた第四の映像信号に加算することと、加算された映像信号に対して、非線形処理および／または輪郭補正処理を行って、監視用画像を生成することと、を含んでいる。

　本発明の別の態様は、画像処理プログラムであり、この画像処理プログラムは、コンピュータに、第一の撮像部から得られた第一の映像信号と第二の撮像部から得られた第二の映像信号に対して、第一の映像信号と第二の映像信号とのずれ量を最小にするマッチング処理を行う処理と、第一の撮像部から得られた第三の映像信号を、マッチング処理の結果として得られる最小のずれ量だけずらして、第二の撮像部から得られた第四の映像信号に加算する処理と、加算された映像信号に対して、非線形処理および／または輪郭補正処理を行って、監視用画像を生成する処理と、を実行させる。

　以下に説明するように、本発明には他の態様が存在する。したがって、この発明の開示は、本発明の一部の態様の提供を意図しており、ここで記述され請求される発明の範囲を制限することは意図していない。

図１は、本発明の実施の形態における画像処理装置のブロック図図２は、本発明の実施の形態における画像処理装置の動作の説明図図３は、本発明の実施の形態における距離画像の生成と監視用画像の生成の流れを示すフロー図図４は、本発明の実施の形態における低中輝度と高輝度の画像の生成の流れを示すフロー図

　以下に本発明の詳細な説明を述べる。ただし、以下の詳細な説明と添付の図面は発明を限定するものではない。

　本発明の画像処理装置は、第一の撮像部から得られた第一の映像信号と第二の撮像部から得られた第二の映像信号に対して、第一の映像信号と第二の映像信号とのずれ量を最小にするマッチング処理を行うマッチング部と、第一の撮像部から得られた第三の映像信号を、マッチング処理の結果として得られる最小のずれ量だけずらして、第二の撮像部から得られた第四の映像信号に加算する加算部と、加算された映像信号に対して、非線形処理および／または輪郭補正処理を行って、監視用画像を生成する監視用画像生成部と、を備えた構成を有している。

　この構成により、二つの撮像部から得られる映像信号（第一の映像信号と第二の映像信号）にマッチング処理を施して、二つの撮像部から得られる映像信号のずれ量が求められる。そして、二つの撮像部から得られる映像信号のずれ量を考慮して、二つの映像信号（第三の映像信号と第四の映像信号）を加算して、監視用画像として利用する。加算された映像信号は、一つの映像信号よりＳ／Ｎ比が高いので、画質のよい監視用画像を得ることができる。

　また、本発明の画像処理装置は、マッチング処理の結果として得られる最小のずれ量から距離測定用の画像を生成する距離画像生成部を備えた構成を有してよい。

　この構成により、画質のよい監視用画像を得るとともに、距離測定用の画像（距離画像）を得ることができる。

　また、本発明の画像処理装置は、第一の映像信号と第二の映像信号が所定の輝度レベルの範囲内となるように、第一の映像信号と第二の映像信号の露光時間または増幅率を制御する制御部を備え、マッチング部は、制御部により所定の輝度レベルの範囲内となった第一の映像信号と第二の映像信号に対してマッチング処理を行う構成を有してよい。

　この構成により、映像信号の輝度レベルが所定の輝度レベルの範囲内となるように、露光時間または増幅率が制御される。例えば、低中輝度の映像信号については、露光時間を長く、または、増幅率を上げる制御が行われる。また、高輝度の映像信号については、露光時間を短く、または、増幅率を下げる制御が行われる。これにより、高輝度の被写体を撮影した場合であっても、白潰れによる画質の低下を抑えることができ、二つの映像信号（第一の映像信号と第二の映像信号）を用いたマッチング処理の精度を向上させることができる。このように、高輝度の被写体を撮影した場合であっても、精度の高いマッチング処理の結果（最小のずれ量）に基づいて、二つの映像信号（第三の映像信号と第四の映像信号）を加算することができるので、画質のよい監視用画像を得ることができる。

　また、本発明の画像処理装置は、第三の映像信号と第四の映像信号の露光時間が互いに異なるように、第三の映像信号と第四の映像信号の露光時間を制御する第二の制御部を備えた構成を有してよい。

　この構成により、第三の映像信号と第四の映像信号の露光時間を互いに異ならせることができるので、二つの映像信号（第三の映像信号と第四の映像信号）を加算して得られる監視用画像のダイナミックレンジを拡大することができる。例えば、高輝度の被写体を撮影した場合、第三の映像信号と第四の映像信号の露光時間がともに短くなるように制御されるが、さらに、この場合には、第三の映像信号の露光時間が第四の映像信号の露光時間より短くなるように制御される。これにより、高輝度の被写体を撮影した場合であっても、監視用画像（第三の映像信号と第四の映像信号を加算して得られる）に白潰れが発生するのを低減させることができ、高輝度でも階調のある監視用画像を得ることが可能になる。

　また、本発明の画像処理装置は、第一の映像信号、第二の映像信号、第三の映像信号、第四の映像信号の露光時間または増幅率を制御する第三の制御部を備え、第三の制御部は、第一の期間に、第一の映像信号と第二の映像信号が第一の輝度レベル範囲内となるように、第一の映像信号と第二の映像信号の露光時間または増幅率を制御し、第二の期間に、第三の映像信号と第四の映像信号が第二の輝度レベル範囲内となるように、第三の映像信号と第四の映像信号の露光時間または増幅率を制御し、第三の期間に、第一の映像信号と第二の映像信号が、第一の輝度レベル範囲とは異なる第三の輝度レベル範囲内となるように、第一の映像信号と第二の映像信号の露光時間または増幅率を制御し、第四の期間に、第三の映像信号と第四の映像信号が、第二の輝度レベル範囲とは異なる第四の輝度レベル範囲内となるように、第三の映像信号と第四の映像信号の露光時間または増幅率を制御する構成を有してよい。

　この構成により、第一の映像信号と第二の映像信号については、第一の期間に、第一の輝度レベル範囲内（例えば、低中輝度レベル）の映像信号が得られ、第三の期間に、第三の輝度レベル範囲内（例えば、高輝度レベル）の映像信号が得られる。一方、第三の映像信号と第四の映像信号については、第二の期間に、第二の輝度レベル範囲内（例えば、低中輝度レベル）の映像信号が得られ、第四の期間に、第四の輝度レベル範囲内（例えば、高輝度レベル）の映像信号が得られる。このようにして、第一の期間から第四の期間にかけて、輝度レベルの異なる映像信号を得ることができる。したがって、広い輝度レベルの範囲（低輝度から高輝度の広い範囲）で、映像信号（第三の映像信号と第四の映像信号）を加算した監視用画像を得ることができ、このようにして、監視用画像のダイナミックレンジを拡大することができる。そのため、例えば、高輝度の被写体を撮影した場合であっても、監視用画像（第三の映像信号と第四の映像信号を加算して得られる）に白潰れが発生するのを低減させることができ、高輝度でも階調のある監視用画像を得ることが可能になる。

　本発明の画像処理方法は、第一の撮像部から得られた第一の映像信号と第二の撮像部から得られた第二の映像信号に対して、第一の映像信号と第二の映像信号とのずれ量を最小にするマッチング処理を行うことと、第一の撮像部から得られた第三の映像信号を、マッチング処理の結果として得られる最小のずれ量だけずらして、第二の撮像部から得られた第四の映像信号に加算することと、加算された映像信号に対して、非線形処理および／または輪郭補正処理を行って、監視用画像を生成することと、を含んでいる。

　この方法によっても、上記と同様に、二つの撮像部から得られる映像信号のずれ量を考慮して、二つの映像信号（第三の映像信号と第四の映像信号）を加算して、監視用画像として利用することができるので、画質のよい監視用画像を得ることができる。

　また、本発明の画像処理方法は、マッチング処理の結果として得られる最小のずれ量から距離測定用の画像を生成することを含んでよい。

　この方法によっても、上記と同様に、画質のよい監視用画像を得るとともに、距離測定用の画像（距離画像）を得ることができる。

　また、本発明の画像処理方法は、第一の映像信号と第二の映像信号が所定の輝度レベルの範囲内となるように、第一の映像信号と第二の映像信号の露光時間または増幅率を制御することを含み、マッチング処理では、制御により所定の輝度レベルの範囲内となった第一の映像信号と第二の映像信号に対してマッチング処理を行ってよい。

　この方法によっても、上記と同様に、高輝度の被写体を撮影した場合であっても、白潰れによる画質の低下を抑えることができ、二つの映像信号（第一の映像信号と第二の映像信号）を用いたマッチング処理の精度を向上させることができる。

　また、本発明の画像処理方法は、第三の映像信号と第四の映像信号の露光時間が互いに異なるように、第三の映像信号と第四の映像信号の露光時間を制御することを含んでよい。

　この方法によっても、上記と同様に、二つの映像信号（第三の映像信号と第四の映像信号）を加算して得られる監視用画像のダイナミックレンジを拡大することができる。

　また、本発明の画像処理方法は、第一の映像信号、第二の映像信号、第三の映像信号、第四の映像信号の露光時間または増幅率を制御することを含み、第一の期間に、第一の映像信号と第二の映像信号が第一の輝度レベル範囲内となるように、第一の映像信号と第二の映像信号の露光時間または増幅率を制御し、第二の期間に、第三の映像信号と第四の映像信号が第二の輝度レベル範囲内となるように、第三の映像信号と第四の映像信号の露光時間または増幅率を制御し、第三の期間に、第一の映像信号と第二の映像信号が、第一の輝度レベル範囲とは異なる第三の輝度レベル範囲内となるように、第一の映像信号と第二の映像信号の露光時間または増幅率を制御し、第四の期間に、第三の映像信号と第四の映像信号が、第二の輝度レベル範囲とは異なる第四の輝度レベル範囲内となるように、第三の映像信号と第四の映像信号の露光時間または増幅率を制御してよい。

　この方法によっても、上記と同様にして、広い輝度レベルの範囲（低輝度から高輝度の広い範囲）で、映像信号（第三の映像信号と第四の映像信号）を加算した監視用画像を得ることができ、監視用画像のダイナミックレンジを拡大することができる。

　本発明のプログラムは、コンピュータに、第一の撮像部から得られた第一の映像信号と第二の撮像部から得られた第二の映像信号に対して、第一の映像信号と第二の映像信号とのずれ量を最小にするマッチング処理を行う処理と、第一の撮像部から得られた第三の映像信号を、マッチング処理の結果として得られる最小のずれ量だけずらして、第二の撮像部から得られた第四の映像信号に加算する処理と、加算された映像信号に対して、非線形処理および／または輪郭補正処理を行って、監視用画像を生成する処理と、を実行させるものである。

　このプログラムによっても、上記と同様に、二つの撮像部から得られる映像信号のずれ量を考慮して、二つの映像信号（第三の映像信号と第四の映像信号）を加算して、監視用画像として利用することができるので、画質のよい監視用画像を得ることができる。

　本発明によれば、二つの撮像部から得られる映像信号のずれ量を考慮して、二つの映像信号（第三の映像信号と第四の映像信号）を加算して、監視用画像として利用することにより、高い画質の監視用画像を得ることができる。

　以下、本発明の実施の形態の画像処理装置について、図面を用いて説明する。本実施の形態では、例えば、車載式のステレオ画像処理装置等に用いられる画像処理装置の場合を例示する。なお、以下に説明するような、本実施の形態の画像処理装置が有する画像処理の機能は、画像処理装置のメモリやＨＤＤに格納されているプログラムによって実現されてもよい。

　本発明の実施の形態の画像処理装置の構成を、図面を参照して説明する。図１に示すように、本実施の形態の画像処理装置１は、光路上にレンズ２が配置された２つの撮像素子３（撮像素子Ａと撮像素子Ｂ）と、各撮像素子３からの映像信号をそれぞれ増幅する２つの増幅回路４（増幅回路Ａと増幅回路Ｂ）を備えている。この場合、レンズ２と撮像素子３により、撮像が行われる。ここでは、２つの撮像素子３（撮像素子Ａと撮像素子Ｂ）が、本発明の第一の撮像部と第二の撮像部に相当する。

　画像処理装置１は、２つの撮像素子３（撮像素子Ａと撮像素子Ｂ）から得られた２つの映像信号に対してステレオマッチング処理（単に、マッチング処理ともいう）を行うマッチング回路５を備えている。マッチング回路５では、２つの映像信号の画素毎のずれ量が最小になるようなマッチング処理が行われ、マッチング処理の結果として、画素毎の最小のずれ量が出力される。このマッチング回路５が、本発明のマッチング部に相当する。

　この画像処理装置１は、一方の撮像素子３（撮像素子Ａ）から得られた映像信号を、もう一方の撮像素子３（撮像素子Ｂ）から得られた映像信号に加算する加算回路６と、加算された映像信号に対して、ガンマ補正処理などの非線形処理や輪郭補正処理を施して、監視用画像を生成する非線形処理・輪郭補正回路７を備えている。この加算回路６では、一方の撮像素子３（撮像素子Ａ）から得られた映像信号を、マッチング処理の結果として得られた画素毎の最小のずれ量だけずらして、もう一方の撮像素子３（撮像素子Ｂ）から得られた映像信号に加算する処理が行われる。この加算回路６が、本発明の加算部に相当し、非線形処理・輪郭補正回路７が、本発明の監視用画像生成部に相当する。

　また、画像処理装置１は、マッチング処理の結果として得られた画素毎の最小のずれ量から距離測定用の画像を生成する距離画像生成回路８を備えている。距離画像生成回路８は、一般的な三角測量の原理に基づいて、２つの映像信号の画素毎の最小のずれ量から、撮影対象物までの距離を測定するための画像（距離画像）を生成する。この距離画像生成回路８は、本発明の距離画像生成部に相当する。

　画像処理装置１は、撮像素子３の露光時間と増幅回路４の増幅率を制御する露光・増幅制御回路９を備えている。この露光・増幅制御回路９は、撮像素子３の駆動回路（図示せず）に制御信号を送ることによって、撮像素子３の露光時間を制御する。また、この露光・増幅制御回路９は、増幅回路４に制御信号を送ることによって、増幅回路４の増幅率を制御する。露光・増幅制御回路９は、増幅回路４からの出力（撮像素子３から得られた映像信号）を監視し、その出力が一定の輝度レベルの範囲内になるように、撮像素子３の露光時間を調整したり、増幅回路４の増幅率を調整する機能を備えている。この露光・増幅制御回路９は、本発明の制御部、第二の制御部、第三の制御部に相当する。

　以上のように構成された画像処理装置１について、図面を参照してその動作を説明する。

　図２は、本実施の形態の画像処理装置１の動作の説明図である。図２に示すように、本実施の画像処理装置１では、期間Ｔ１（第一の期間）において、２つの撮像素子３から得られる映像信号（第一の映像信号と第二の映像信号）が低中輝度の輝度レベルの範囲内となるように、撮像素子３の露光時間と増幅回路４の増幅率が制御される。図２の例では、期間Ｔ１で、２つの撮像素子３（撮像素子Ａと撮像素子Ｂ）の露光時間が、低中輝度用の露光時間Ｔｃ１に設定され、２つの増幅回路４（増幅回路Ａと増幅回路Ｂ）の増幅率が、低中輝度用の増幅率Ａ１に設定される。

　つぎに、期間Ｔ２（第二の期間）において、２つの撮像素子３から得られる映像信号（第三の映像信号と第四の映像信号）が低中輝度の輝度レベルの範囲内となるように、撮像素子３の露光時間と増幅回路４の増幅率が制御される。図２の例では、期間Ｔ２で、一方の撮像素子３（撮像素子Ａ）の露光時間が、低中輝度用の短い露光時間Ｔｃ２ｓに設定され、他方の撮像素子３（撮像素子Ｂ）の露光時間が、低中輝度用の長い露光時間Ｔｃ２ｌに設定される。また、一方の増幅回路４（増幅回路Ａ）の増幅率が、低中輝度用の低い増幅率Ａ２ｓに設定され、他方の増幅回路４（増幅回路Ｂ）の増幅率が、低中輝度用の高い増幅率Ａ２ｌに設定される。

　そして、この期間Ｔ２では、期間Ｔ１で得られた２つの映像信号（第一の映像信号と第二の映像信号）に対してマッチング処理を行い、画素毎の最小のずれ量を算出して、低中輝度用の距離画像を生成（更新）する。さらに、この期間Ｔ２では、期間Ｔ２で得られた２つの映像信号（第三の映像信号と第四の映像信号）に上記のマッチング処理の結果を反映させた加算処理（画素毎の最小のずれ量だけずらした加算処理）を行い、得られた映像信号（加算された映像信号）に非線形処理と輪郭補正処理を行って、低中輝度用の監視用画像を生成（更新）する。

　つづいて、期間Ｔ３（第三の期間）において、２つの撮像素子３から得られる映像信号（第一の映像信号と第二の映像信号）が高輝度の輝度レベルの範囲内となるように、撮像素子３の露光時間と増幅回路４の増幅率が制御される。図２の例では、期間Ｔ３で、２つの撮像素子３（撮像素子Ａと撮像素子Ｂ）の露光時間が、高輝度用の露光時間Ｔｃ３に設定され、２つの増幅回路４（増幅回路Ａと増幅回路Ｂ）の増幅率が、高輝度用の増幅率Ａ３に設定される。

　つぎに、期間Ｔ４（第四の期間）において、２つの撮像素子３から得られる映像信号（第三の映像信号と第四の映像信号）が高輝度の輝度レベルの範囲内となるように、撮像素子３の露光時間と増幅回路４の増幅率が制御される。図２の例では、期間Ｔ４で、一方の撮像素子３（撮像素子Ａ）の露光時間が、高輝度用の短い露光時間Ｔｃ４ｓに設定され、他方の撮像素子３（撮像素子Ｂ）の露光時間が、高輝度用の長い露光時間Ｔｃ４ｌに設定される。また、一方の増幅回路４（増幅回路Ａ）の増幅率が、増幅率Ａ４ｓに設定され、他方の増幅回路４（増幅回路Ｂ）の増幅率が、増幅率Ａ４ｌに設定される。

　そして、この期間Ｔ４では、期間Ｔ３で得られた２つの映像信号（第一の映像信号と第二の映像信号）に対してマッチング処理を行い、画素毎の最小のずれ量を算出して、高輝度用の距離画像を生成（更新）する。さらに、この期間Ｔ４では、期間Ｔ３で得られた２つの映像信号（第三の映像信号と第四の映像信号）に上記のマッチング処理の結果を反映させた加算処理（画素毎の最小のずれ量だけずらした加算処理）を行い、得られた映像信号（加算された映像信号）に非線形処理と輪郭補正処理を行って、高輝度用の監視用画像を生成（更新）する。

　本実施の形態の画像処理装置１では、上記のような期間Ｔ１～期間Ｔ４の処理が定期的に繰り返される。すなわち、低中輝度用の距離画像と監視用画像の更新（生成）の処理と、高輝度用の距離画像と監視用画像の更新（生成）の処理が、定期的に繰り返される。

　以下では、本実施の形態の画像処理装置１の動作を、距離画像と監視用画像の生成と、低中輝度と高輝度の画像の生成とに分けて、それぞれ詳しく説明する。

　図３は、距離画像の生成と監視用画像の生成の流れを示すフロー図である。図３に示すように、画像処理装置１では、まず、２つの撮像素子３（撮像素子Ａと撮像素子Ｂ）から２つの映像信号（第一の映像信号と第二の映像信号）を取得し（Ｓ１）、輝度レベルが所定の輝度レベルの範囲内であるか否かを判定する（Ｓ２）。例えば、映像信号の輝度レベルが、所定の基準輝度レベルより低い場合には、低中輝度の輝度レベルの範囲内であると判定される。また、所定の基準輝度レベルより高い場合には、高輝度の輝度レベルの範囲内であると判定される。

　判定の結果、映像信号の輝度レベルが所定の輝度レベルの範囲内でないと判定された場合には、撮像素子３の露光時間や増幅回路４の増幅率を変更し（Ｓ３）、上記のステップ（Ｓ１とＳ２）を繰り返す。

　判定の結果、映像信号の輝度レベルが所定の輝度レベルの範囲内であると判定された場合には、その画像領域（例えば、低中輝度の画像領域など）について、２つの映像信号（第一の映像信号と第二の映像信号）のマッチング処理を行い、画素毎の最小のずれ量を求める（Ｓ４）。そして、マッチング処理の結果として得られた画素毎の最小のずれ量から、一般的な三角測量の原理に基づいて距離画像の生成が行われる（Ｓ５）。

　つぎに、一方の撮像素子３（撮像素子Ａ）に短時間露光用の露光時間（例えば、露光時間Ｔｃ２ｓなど）を設定するとともに、一方の増幅回路４（増幅回路Ａ）に短時間露光用の増幅率（例えば、増幅率Ａ２ｓなど）を設定し、他方の撮像素子３（撮像素子Ｂ）に長時間露光用の露光時間（例えば、露光時間Ｔｃ２ｌなど）を設定するとともに、他方の増幅回路４（増幅回路Ｂ）に長時間露光用の増幅率（例えば、増幅率Ａ２ｌなど）を設定する（Ｓ６）。

　そして、これら２つの撮像素子３から２つの映像信号（第三の映像信号と第四の映像信号）を取得し（Ｓ７）、上記のマッチング処理（Ｓ４）の結果として得られた画素毎の最小のずれ量だけ一方の映像信号をずらして、２つの映像信号を加算する（Ｓ８）。最後に、加算された映像信号に、非線形処理と輪郭補正処理を施して、監視用画像が生成される（Ｓ９）。

　図４は、低中輝度と高輝度の画像の生成の流れを示すフロー図である。図４に示すように、画像処理装置１では、まず、２つの撮像素子３と増幅回路４に、低中輝度用の露光時間（例えば、露光時間Ｔｃ１）と増幅率（例えば、増幅率Ａ１）が設定され（Ｓ１０）、２つの映像信号（第一の映像信号と第二の映像信号）が取得される（Ｓ１１）。そして、２つの映像信号（第一の映像信号と第二の映像信号）のマッチング処理を行い、画素毎の最小のずれ量を求める（Ｓ１２）。そして、マッチング処理の結果として得られた画素毎の最小のずれ量から、低中輝度用の距離画像の生成が行われる（Ｓ１３）。

　つぎに、一方の撮像素子３（撮像素子Ａ）に短時間露光用の露光時間（例えば、露光時間Ｔｃ２ｓ）を設定するとともに、一方の増幅回路４（増幅回路Ａ）に短時間露光用の増幅率（例えば、増幅率Ａ２ｓ）を設定し、他方の撮像素子３（撮像素子Ｂ）に長時間露光用の露光時間（例えば、露光時間Ｔｃ２ｌ）を設定するとともに、他方の増幅回路４（増幅回路Ｂ）に長時間露光用の増幅率（例えば、増幅率Ａ２ｌ）を設定する（Ｓ１４）。

　そして、これら２つの撮像素子３から２つの映像信号（第三の映像信号と第四の映像信号）を取得し（Ｓ１５）、上記のマッチング処理（Ｓ１２）の結果として得られた画素毎の最小のずれ量だけ一方の映像信号をずらして、低中輝度用の２つの映像信号を加算する（Ｓ１６）。最後に、加算された映像信号に、非線形処理と輪郭補正処理を施して、低中輝度用の監視用画像が生成される（Ｓ１７）。

　つづいて、２つの撮像素子３と増幅回路４に、高輝度用の露光時間（例えば、露光時間Ｔｃ３）と増幅率（例えば、増幅率Ａ３）が設定され（Ｓ１８）、２つの映像信号（第一の映像信号と第二の映像信号）が取得される（Ｓ１９）。そして、２つの映像信号（第一の映像信号と第二の映像信号）のマッチング処理を行い、画素毎の最小のずれ量を求める（Ｓ２０）。そして、マッチング処理の結果として得られた画素毎の最小のずれ量から、高輝度用の距離画像の生成が行われる（Ｓ２１）。

　つぎに、一方の撮像素子３（撮像素子Ａ）に短時間露光用の露光時間（例えば、露光時間Ｔｃ４ｓ）を設定するとともに、一方の増幅回路４（増幅回路Ａ）に短時間露光用の増幅率（例えば、増幅率Ａ４ｓ）を設定し、他方の撮像素子３（撮像素子Ｂ）に長時間露光用の露光時間（例えば、露光時間Ｔｃ４ｌ）を設定するとともに、他方の増幅回路４（増幅回路Ｂ）に長時間露光用の増幅率（例えば、増幅率Ａ４ｌ）を設定する（Ｓ２２）。

　そして、これら２つの撮像素子３から２つの映像信号（第三の映像信号と第四の映像信号）を取得し（Ｓ２３）、上記のマッチング処理（Ｓ２０）の結果として得られた画素毎の最小のずれ量だけ一方の映像信号をずらして、高輝度用の２つの映像信号を加算する（Ｓ２４）。最後に、加算された映像信号に、非線形処理と輪郭補正処理を施して、高輝度用の監視用画像が生成される（Ｓ２５）。

　このような本発明の実施の形態の画像処理装置１によれば、二つの撮像部から得られる映像信号のずれ量を考慮して、二つの映像信号（第三の映像信号と第四の映像信号）を加算して、監視用画像として利用することにより、高い画質の監視用画像を得ることができる。

　すなわち、本実施の形態では、二つの撮像部から得られる映像信号（第一の映像信号と第二の映像信号）にマッチング処理を施して、二つの撮像部から得られる映像信号のずれ量が求められる。そして、二つの撮像部から得られる映像信号のずれ量を考慮して、二つの映像信号（第三の映像信号と第四の映像信号）を加算して、監視用画像として利用する。加算された映像信号は、一つの映像信号よりＳ／Ｎ比が高いので、画質のよい監視用画像を得ることができる。この場合、画質のよい監視用画像を得るとともに、距離測定用の画像（距離画像）を得ることができる。

　また、本実施の形態では、映像信号の輝度レベルが所定の輝度レベルの範囲内となるように、露光時間または増幅率が制御される。例えば、低中輝度の映像信号については、露光時間を長く、または、増幅率を上げる制御が行われる。また、高輝度の映像信号については、露光時間を短く、または、増幅率を下げる制御が行われる。これにより、高輝度の被写体を撮影した場合であっても、白潰れによる画質の低下を抑えることができ、二つの映像信号（第一の映像信号と第二の映像信号）を用いたマッチング処理の精度を向上させることができる。このように、高輝度の被写体を撮影した場合であっても、精度の高いマッチング処理の結果（最小のずれ量）に基づいて、二つの映像信号（第三の映像信号と第四の映像信号）を加算することができるので、画質のよい監視用画像を得ることができる。また、この場合、低輝度、中輝度、高輝度の映像信号それぞれで、精度の良い距離画像を得ることができ、さまざまな輝度の被写体を撮影した場合であっても、高精度に距離の算出を行うことが可能になる。

　また、本実施の形態では、第三の映像信号と第四の映像信号の露光時間を互いに異ならせることができるので、二つの映像信号（第三の映像信号と第四の映像信号）を加算して得られる監視用画像のダイナミックレンジを拡大することができる。例えば、高輝度の被写体を撮影した場合、第三の映像信号と第四の映像信号の露光時間がともに短くなるように制御されるが、さらに、この場合には、第三の映像信号の露光時間が第四の映像信号の露光時間より短くなるように制御される。これにより、高輝度の被写体を撮影した場合であっても、監視用画像（第三の映像信号と第四の映像信号を加算して得られる）に白潰れが発生するのを低減させることができ、高輝度でも階調のある監視用画像を得ることが可能になる。

　また、本実施の形態では、第一の映像信号と第二の映像信号については、第一の期間に、第一の輝度レベル範囲内（例えば、低中輝度レベル）の映像信号が得られ、第三の期間に、第三の輝度レベル範囲内（例えば、高輝度レベル）の映像信号が得られる。一方、第三の映像信号と第四の映像信号については、第二の期間に、第二の輝度レベル範囲内（例えば、低中輝度レベル）の映像信号が得られ、第四の期間に、第四の輝度レベル範囲内（例えば、高輝度レベル）の映像信号が得られる。このようにして、第一の期間から第四の期間にかけて、輝度レベルの異なる映像信号を得ることができる。したがって、広い輝度レベルの範囲（低輝度から高輝度の広い範囲）で、映像信号（第三の映像信号と第四の映像信号）を加算した監視用画像を得ることができ、このようにして、監視用画像のダイナミックレンジを拡大することができる。そのため、例えば、高輝度の被写体を撮影した場合であっても、監視用画像（第三の映像信号と第四の映像信号を加算して得られる）に白潰れが発生するのを低減させることができ、高輝度でも階調のある監視用画像を得ることが可能になる。また、この場合、広い輝度レベルの範囲（低輝度から高輝度の広い範囲）で、精度の良い距離画像を得ることができ、したがって、距離の測定の精度を向上することが可能になる。

　以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。

　例えば、以上の説明では、２つの撮像素子３を使用する例について説明したが、本発明の範囲はこれに限定されるものではなく、１つの撮像素子３から２つの画像領域を切り出して、２つの映像信号としてもよい。また、期間Ｔ１とＴ３を、期間Ｔ２とＴ４より短く設定することにより、監視用画像の更新を早くしてもよい。

　以上に現時点で考えられる本発明の好適な実施の形態を説明したが、本実施の形態に対して多様な変形が可能なことが理解され、そして、本発明の真実の精神と範囲内にあるそのようなすべての変形を添付の請求の範囲が含むことが意図されている。

　以上のように、本発明にかかる画像処理装置は、二つの映像信号を加算して、監視用画像として利用することにより、高い画質の監視用画像を得ることができるという効果を有し、ステレオ画像処理装置等として有用である。

　１　画像処理装置
　２　レンズ
　３　撮像素子
　４　増幅回路
　５　マッチング回路
　６　加算回路
　７　非線形処理・輪郭補正回路
　８　距離画像生成回路
　９　露光・増幅制御回路

Claims

　第一の撮像部から得られた第一の映像信号と第二の撮像部から得られた第二の映像信号に対して、前記第一の映像信号と前記第二の映像信号とのずれ量を最小にするマッチング処理を行うマッチング部と、
　前記第一の撮像部から得られた第三の映像信号を、前記マッチング処理の結果として得られる最小のずれ量だけずらして、前記第二の撮像部から得られた第四の映像信号に加算する加算部と、
　前記加算された映像信号に対して、非線形処理および／または輪郭補正処理を行って、監視用画像を生成する監視用画像生成部と、
を備えたことを特徴とする画像処理装置。
　前記マッチング処理の結果として得られる最小のずれ量から距離測定用の画像を生成する距離画像生成部を備えた請求項１に記載の画像処理装置。
　前記第一の映像信号と前記第二の映像信号が所定の輝度レベルの範囲内となるように、前記第一の映像信号と前記第二の映像信号の露光時間または増幅率を制御する制御部を備え、
　前記マッチング部は、前記制御部により所定の輝度レベルの範囲内となった前記第一の映像信号と前記第二の映像信号に対してマッチング処理を行う請求項１に記載の画像処理装置。
　前記第三の映像信号と前記第四の映像信号の露光時間が互いに異なるように、前記第三の映像信号と前記第四の映像信号の露光時間を制御する第二の制御部を備えた請求項１に記載の画像処理装置。
　前記第一の映像信号、前記第二の映像信号、前記第三の映像信号、前記第四の映像信号の露光時間または増幅率を制御する第三の制御部を備え、
　前記第三の制御部は、
　第一の期間に、前記第一の映像信号と前記第二の映像信号が第一の輝度レベル範囲内となるように、前記第一の映像信号と前記第二の映像信号の露光時間または増幅率を制御し、
　第二の期間に、前記第三の映像信号と前記第四の映像信号が第二の輝度レベル範囲内となるように、前記第三の映像信号と前記第四の映像信号の露光時間または増幅率を制御し、
　第三の期間に、前記第一の映像信号と前記第二の映像信号が、前記第一の輝度レベル範囲とは異なる第三の輝度レベル範囲内となるように、前記第一の映像信号と前記第二の映像信号の露光時間または増幅率を制御し、
　第四の期間に、前記第三の映像信号と前記第四の映像信号が、前記第二の輝度レベル範囲とは異なる第四の輝度レベル範囲内となるように、前記第三の映像信号と前記第四の映像信号の露光時間または増幅率を制御する請求項１に記載の画像処理装置。
　第一の撮像部から得られた第一の映像信号と第二の撮像部から得られた第二の映像信号に対して、前記第一の映像信号と前記第二の映像信号とのずれ量を最小にするマッチング処理を行うことと、
　前記第一の撮像部から得られた第三の映像信号を、前記マッチング処理の結果として得られる最小のずれ量だけずらして、前記第二の撮像部から得られた第四の映像信号に加算することと、
　前記加算された映像信号に対して、非線形処理および／または輪郭補正処理を行って、
監視用画像を生成することと、
を含むことを特徴とする画像処理方法。
　前記マッチング処理の結果として得られる最小のずれ量から距離測定用の画像を生成することを含む請求項６に記載の画像処理方法。
　前記第一の映像信号と前記第二の映像信号が所定の輝度レベルの範囲内となるように、前記第一の映像信号と前記第二の映像信号の露光時間または増幅率を制御することを含み、
　前記マッチング処理では、前記制御により所定の輝度レベルの範囲内となった前記第一の映像信号と前記第二の映像信号に対してマッチング処理を行う請求項６に記載の画像処理方法。
　前記第三の映像信号と前記第四の映像信号の露光時間が互いに異なるように、前記第三の映像信号と前記第四の映像信号の露光時間を制御することを含む請求項６に記載の画像処理方法。
　前記第一の映像信号、前記第二の映像信号、前記第三の映像信号、前記第四の映像信号の露光時間または増幅率を制御することを含み、
　第一の期間に、前記第一の映像信号と前記第二の映像信号が第一の輝度レベル範囲内となるように、前記第一の映像信号と前記第二の映像信号の露光時間または増幅率を制御し、
　第二の期間に、前記第三の映像信号と前記第四の映像信号が第二の輝度レベル範囲内となるように、前記第三の映像信号と前記第四の映像信号の露光時間または増幅率を制御し、
　第三の期間に、前記第一の映像信号と前記第二の映像信号が、前記第一の輝度レベル範囲とは異なる第三の輝度レベル範囲内となるように、前記第一の映像信号と前記第二の映像信号の露光時間または増幅率を制御し、
　第四の期間に、前記第三の映像信号と前記第四の映像信号が、前記第二の輝度レベル範囲とは異なる第四の輝度レベル範囲内となるように、前記第三の映像信号と前記第四の映像信号の露光時間または増幅率を制御する請求項６に記載の画像処理方法。
　コンピュータに、
　第一の撮像部から得られた第一の映像信号と第二の撮像部から得られた第二の映像信号に対して、前記第一の映像信号と前記第二の映像信号とのずれ量を最小にするマッチング処理を行う処理と、
　前記第一の撮像部から得られた第三の映像信号を、前記マッチング処理の結果として得られる最小のずれ量だけずらして、前記第二の撮像部から得られた第四の映像信号に加算する処理と、
　前記加算された映像信号に対して、非線形処理および／または輪郭補正処理を行って、監視用画像を生成する処理と、
を実行させることを特徴とする画像処理プログラム。