JP5065715B2 - 画像処理装置 - Google Patents

Description

本発明は、画像処理装置に係り、特に、複数の撮像手段とを備え、表示手段に表示させる撮像画像等を切り替え可能な画像処理装置に関する。

近年、乗用車等の車両や人口知能を備えたロボット等に一対のＣＣＤ（Charge Coupled Device）カメラ等の複数の撮像手段を搭載し、自らの周囲等を撮像して得られた撮像画像を解析する技術の開発が進められている。また、複数の撮像手段により撮像して得られた撮像画像の解析技術は、前述した車両やロボット等の分野に限らず種々の産業分野で開発が進んでいる。

このような複数の撮像手段による撮像画像の解析技術では、それらの撮像手段の配置や画像処理装置の検査、デモンストレーション等のために、撮像画像や処理した画像を表示モニタ等の表示手段に表示させ、複数の撮像手段により撮像された撮像画像同士や画像処理装置により画像処理された画像をそれぞれ切り替えて表示されることも多い（例えば、特許文献１等参照）。
特開２００１−９５０１７号公報

例えば、特許文献１では、車両に搭載された２つのカメラで撮像された各撮像画像等をオペレータのボタン操作により切り替えて表示モニタに表示させるようになっている。しかしながら、このようなボタン等の操作系による表示画像の切り替えは、画像処理装置の通常の使用時には不要な場合も多い。

そのため、このような検査やデモンストレーションの場合にしか必要とならないボタン等の操作系やその画像処理装置への取付機構等を設置することは、余計なコストを強いるものとなっていた。

本発明は、このような事情に鑑みてなされたものであり、複数の撮像手段を有する画像処理装置において、撮像画像や画像処理された画像を、ボタンやスイッチ等を設けることなく任意に切り替えることが可能な画像処理装置を提供することを目的とする。

前記の問題を解決するために、第１の発明は、画像処理装置において、視点の異なる複数の撮像手段と、前記複数の撮像手段により撮像された複数の撮像画像中にそれぞれ設けられた統計量算出領域内の画像に関する統計量を算出する統計量算出手段と、前記複数の撮像画像の何れかを表示する表示手段と、前記複数の撮像手段のうち、切り替え操作用の１つの撮像手段により撮像された撮像画像の前記統計量算出領域内の前記画像に関する統計量と他の少なくとも１つの撮像画像の前記統計量算出領域内の前記画像に関する統計量とに基づいて、前記表示手段に表示される画像を前記複数の撮像画像の間で切り替える切替手段とを備えることを特徴とする。

第２の発明は、第１の発明の画像処理装置において、単数または複数の前記撮像画像を画像処理して処理画像を形成する画像処理手段をさらに備え、前記表示手段は、複数の前記処理画像の何れか、または前記撮像画像と前記処理画像の何れかを表示し、前記切替手段は、前記複数の撮像手段のうち、切り替え操作用の１つの撮像手段により撮像された撮像画像の前記統計量算出領域内の前記画像に関する統計量と他の少なくとも１つの撮像画像の前記統計量算出領域内の前記画像に関する統計量とに基づいて、前記表示手段に表示される画像を、前記複数の処理画像の間または前記撮像画像と前記処理画像との間で切り替えることを特徴とする。

第３の発明は、第１の発明の画像処理装置において、前記複数の撮像画像に基づいて前記撮像手段から撮像画像中に撮像された対象までの距離を算出する距離算出手段をさらに備え、前記表示手段は、前記撮像画像または前記距離算出手段により算出された距離の情報が割り当てられた距離画像を表示し、前記切替手段は、前記複数の撮像手段のうち、切り替え操作用の１つの撮像手段により撮像された撮像画像の前記統計量算出領域内の前記画像に関する統計量と他の少なくとも１つの撮像画像の前記統計量算出領域内の前記画像に関する統計量とに基づいて、前記表示手段に表示される画像を、少なくとも前記撮像画像と前記距離画像との間で切り替えることを特徴とする。

第４の発明は、第１から第３の何れかの発明の画像処理装置において、前記画像に関する統計量は、前記撮像画像中に設けられた前記統計量算出領域内の各画素の輝度の平均値であることを特徴とする。

第５の発明は、第１から第３の何れかの発明の画像処理装置において、前記画像に関する統計量は、前記撮像画像に基づいて微分画像を形成し、前記統計量算出領域における前記微分画像の各画素の輝度の平均値、または前記統計量算出領域において前記微分画像の輝度が設定された閾値以上である画素の個数であることを特徴とする。

第１の発明によれば、例えば画像に関する統計量を撮像画像中に設けた統計量算出領域内の各画素の輝度の平均値とすれば、例えばオペレータが１台の撮像手段に一定時間手をかざしてその撮像手段に対する入光を遮るだけで、その撮像手段により撮像された撮像画像の統計量算出領域内の画素の平均輝度を低下させて、他の撮像手段により撮像された撮像画像の統計量算出領域内の画素の輝度値との差を閾値以上にして、表示手段の画面に表示される撮像画像を切り替えることができる。

そのため、画像切り替えのためのボタンやスイッチ等を新たに設置することなく任意に表示される撮像画像を切り替えることが可能となる。また、ボタン等を設ける必要が無いため、コスト削減を図ることが可能となる。

第２の発明によれば、画像処理装置に、単数または複数の撮像画像を画像処理して処理画像を形成する画像処理手段を設けることで、前記第１の発明のように表示手段の画面に撮像画像を表示するだけでなく、さらに処理画像も表示させることが可能となり、それらを切り替えて表示することが可能となる。そのため、前記第１の発明の効果が撮像画像のみを切り替えて表示する場合から処理画像を含めて切り替えて表示する場合に拡大されて発揮される。

第３の発明によれば、画像処理装置で、画像処理手段として複数の撮像画像に基づいて撮像手段から撮像画像中に撮像された対象までの距離を算出する距離算出手段を設けることで、撮像画像と、距離算出手段により算出された距離の情報が割り当てられた距離画像とを切り替えて表示することが可能となり、前記第１の発明や第２の発明の効果が撮像画像と距離画像とを切り替えて表示する場合に拡大されて発揮される。

第４の発明によれば、画像に関する統計量を撮像画像中に設けた統計量算出領域内の各画素の輝度の平均値とすることで、例えばオペレータが１台の撮像手段に一定時間手をかざしてその撮像手段に対する入光を遮るだけで、その撮像手段により撮像された撮像画像の統計量算出領域内の画素の平均輝度を低下させて、他の撮像手段により撮像された撮像画像の統計量算出領域内の画素の輝度値との差を閾値以上にして、表示手段の画面に表示される撮像画像を容易に切り替えることが可能となり、前記各発明の効果がより簡便に発揮されるようになる。

第５の発明によれば、画像に関する統計量を、各撮像画像に基づいて形成した微分画像の統計量算出領域における各画素の輝度の平均値や統計量算出領域における微分画像の輝度が設定された閾値以上である画素の個数とすることで、例えば撮像画像に撮像された対象物の端部の様に同じようなエッジパターンが共通して撮像される画像領域に統計量算出領域を設定して平均輝度や画素の個数を計測して、例えばオペレータの意図的なカメラへの入光の遮りを把握することが可能となり、前記各発明の効果を的確に発揮させることが可能となる。

以下、本発明に係る画像処理装置の実施の形態について、図面を参照して説明する。

［第１の実施の形態］
第１の実施形態に係る画像処理装置１は、図１に示すように、主に、本実施形態では撮像手段２と、表示手段である表示モニタ３と、統計量算出手段４や切替手段５を含むコンピュータ６とで構成されている。

撮像手段２は、本実施形態では、互いに同期が取られたＣＣＤやＣＭＯＳセンサ等のイメージセンサがそれぞれ内蔵され所定の間隔を開けて配置された３台のカメラ２ａ、２ｂ、２ｃで構成されている。カメラ２ａ、２ｂ、２ｃは、図２に模式的に例示するように、例えば前方の１人の人物を３方向からそれぞれ撮像して、撮像された画像（以下、撮像画像という）Ｔ１、Ｔ２、Ｔ３のデータをコンピュータ６に送信するようになっている。

コンピュータ６では、図示を省略するが、入力された各撮像画像Ｔ１、Ｔ２、Ｔ３のデータがそれぞれアナログ画像からそれぞれ画素毎に例えば２５６階調のグレースケール等の所定の輝度階調の輝度を有するデジタル画像に変換され、ノイズの除去等の画像補正が行われるようになっている。シャッタ時間調整やアンプゲイン切り替え等の露光調整等も適宜行われる。

表示モニタ３は、カメラ２ａ、２ｂ、２ｃにより撮像された撮像画像Ｔ１、Ｔ２、Ｔ３のうちの何れかの撮像画像を画面に表示するようになっている。

コンピュータ６は、図示しないＣＰＵやＲＯＭ、ＲＡＭ、入出力インターフェース等がバスに接続されて構成されている。コンピュータ６は、図１に示したように、統計量算出手段４と、切替手段５としての機能を備えている。

統計量算出手段４は、カメラ２ａ、２ｂ、２ｃにより撮像された撮像画像Ｔ１、Ｔ２、Ｔ３中にそれぞれ統計量算出領域を設け、それらの統計量算出領域内の画像に関する統計量を算出するようになっている。本実施形態では、画像に関する統計量として統計量算出領域内の各画素の輝度の平均値を算出するようになっている。

具体的には、統計量算出手段４は、図３に示すように、例えば各撮像画像Ｔ１、Ｔ２、Ｔ３の右上隅部に縦横の画素数が予め設定された矩形状の統計量算出領域Ｒ１、Ｒ２、Ｒ３を設定するようになっている。

なお、本実施形態では、衝立等の前に居る人物を撮像する場合を想定して、各撮像画像Ｔ１、Ｔ２、Ｔ３で輝度の違いが少ない衝立等の背景部分に統計量算出領域Ｒ１、Ｒ２、Ｒ３を設定する場合を示したが、これに限定されず、例えば統計量算出領域Ｒ１、Ｒ２、Ｒ３を撮像画像の中央部分に設定することも可能であり、また、撮像画像の全画像領域を統計量算出領域Ｒ１、Ｒ２、Ｒ３とすることも可能である。

そして、画像に関する統計量として各統計量算出領域Ｒ１、Ｒ２、Ｒ３内の各画素の輝度の平均値をそれぞれ算出する。つまり、統計量算出手段４は、３つの撮像画像Ｔ１、Ｔ２、Ｔ３のそれぞれについて統計量算出領域Ｒ１、Ｒ２、Ｒ３の各画素の輝度ｐ１、ｐ２、ｐ３を加算していき、その合計を各統計量算出領域Ｒの画素数で除して輝度の平均値ｐ１ave、ｐ２ave、ｐ３aveをそれぞれ算出するようになっている。

切替手段５は、本実施形態では、図４に示すフローチャートに従って、カメラ２ａ、２ｂ、２ｃからコンピュータ６に入力された撮像画像Ｔ１、Ｔ２、Ｔ３のうち、表示モニタ３にデータを送信する撮像画像を次の撮像画像に切り替えるようになっている。

本実施形態では、カメラ２ａ、２ｂ、２ｃのうち例えばカメラ２ａを切り替え操作用の基準カメラとして設定されており、切替手段５は、基準カメラ２ａにより撮像された基準画像Ｔ１の統計量算出領域Ｒ１内の平均輝度ｐ１aveと他のカメラ２ｂ、２ｃにより撮像された撮像画像Ｔ２、Ｔ３の各統計量算出領域Ｒ２、Ｒ３内の平均輝度ｐ２ave、ｐ３aveの平均値ｐ２３aveとを比較する（ステップＳ１）。

そして、平均輝度ｐ１aveと平均値ｐ２３aveとの差が予め設定された閾値未満であれば（ステップＳ１：ＮＯ）、平均輝度ｐ１aveと平均値ｐ２３aveとの差が閾値以上であるサンプリング回数をカウントするカウンタをリセットし（ステップＳ２）、平均輝度ｐ１aveと平均値ｐ２３aveとの差が閾値以上になるまで待機する。

また、平均輝度ｐ１aveと平均値ｐ２３aveとの差が閾値以上であると判断すると（ステップＳ１：ＹＥＳ）、カウンタをインクリメントする（ステップＳ３）。

そして、切替手段５は、カウンタの値から平均輝度ｐ１aveと平均値ｐ２３aveとの差が閾値以上である時間が予め設定された所定時間（設定時間）以上続いたか否かを判断し（ステップＳ４）、所定時間に達していなければ（ステップＳ４：ＮＯ）、上記のステップを繰り返す。

また、平均輝度ｐ１aveと平均値ｐ２３aveとの差が閾値以上である時間が所定時間以上続いた場合には（ステップＳ４：ＹＥＳ）、表示モニタ３にデータを送信する撮像画像を次の撮像画像に切り替えるようになっている（ステップＳ５）。そして、カウンタをリセットして（ステップＳ６）、再度ステップＳ１に戻る。

表示モニタ３の画面に表示する撮像画像の順番は予め設定されるようになっており、例えばＴ１→Ｔ２→Ｔ３→Ｔ１→…のように切り替えられる。

次に、本実施形態に係る画像処理装置１の作用について説明する。

本実施形態の画像処理装置１では、統計量算出手段４で、カメラ２ａ、２ｂ、２ｃにより撮像された撮像画像Ｔ１、Ｔ２、Ｔ３中にそれぞれ設けた統計量算出領域Ｒ１、Ｒ２、Ｒ３内の画素の平均輝度ｐ１ave、ｐ２ave、ｐ３aveが常時算出される。また、本実施形態では、さらにこのようにして算出された平均輝度ｐ２ave、ｐ３aveの平均値ｐ２３aveも常時算出される。

そして、図２に示したように、各撮像画像Ｔ１、Ｔ２、Ｔ３の右上隅部の画素の輝度が同じような輝度であり、平均輝度ｐ１ave、ｐ２ave、ｐ３aveが同様の値を有する場合、すなわち平均輝度ｐ１aveと輝度の平均値ｐ２３aveとの差が閾値未満である場合には、例えば表示モニタ３の画面に撮像画像Ｔ１が表示されていれば、撮像画像Ｔ１が表示され続ける。

しかし、オペレータが基準カメラであるカメラ２ａのレンズの前に例えば手をかざしてカメラ２ａへの入光を遮り、撮像画像Ｔ１の統計量算出領域Ｒ１内の画素の平均輝度ｐ１aveが低下し、平均輝度ｐ１aveと輝度の平均値ｐ２３aveとの差が閾値以上となると、図４のフローチャートのステップＳ３以降の処理が進み、切替手段５で、平均輝度ｐ１aveと平均値ｐ２３aveとの差が閾値以上である時間が所定時間以上続いたと判断されると、表示モニタ３の画面に表示される画像が、例えば撮像画像Ｔ１から撮像画像Ｔ２に切り替わる。

その段階で、オペレータがカメラ２ａのレンズの前から手を離せば、平均輝度ｐ１aveと輝度の平均値ｐ２３aveとの差が閾値未満となり、表示モニタ３の画面には撮像画像Ｔ２が表示され続ける。

また、さらにオペレータがカメラ２ａのレンズの前に手をかざし続けて、平均輝度ｐ１aveと平均値ｐ２３aveとの差が閾値以上である時間が所定時間以上続くと、表示モニタ３の画面に表示される画像が、今度は撮像画像Ｔ２から撮像画像Ｔ３に切り替わる。

このようにして、基準カメラであるカメラ２ａへの入光を遮り、平均輝度ｐ１aveと輝度の平均値ｐ２３aveとの差が閾値以上となる時間を所定時間以上連続させることで、表示モニタ３の画面に表示される画像が切り替わる。

なお、例えば基準カメラであるカメラ２ａの前を人が横切る等して、一時的に平均輝度ｐ１aveと平均値ｐ２３aveとの差が閾値以上となっても、カメラ２ａの前を人が横切る程度では閾値以上の時間は所定時間以上続かないから、表示モニタ３の画面に表示される画像は切り替わらない。換言するならば、オペレータが意図的にカメラ２ａへの入光を遮ったと見なし得る程度の時間が所定時間（設定時間）として設定される。

以上のように、本実施形態に係る画像処理装置１によれば、例えばオペレータが切り替え操作用の基準カメラの前に一定時間手をかざすだけで、基準カメラにより撮像された撮像画像の統計量算出領域内の画素の平均輝度を低下させて、他の撮像画像の統計量算出領域内の画素の輝度値との差を閾値以上にして、表示モニタ３の画面に表示される画像を切り替えることができる。

そのため、画像切り替えのためのボタンやスイッチ等を新たに設置することなく容易に且つ任意に表示される画像を切り替えることが可能となる。また、ボタン等を設ける必要が無いため、コスト削減を図ることが可能となる。

［変形例］
なお、本実施形態では、撮像手段２が３台のカメラ２ａ、２ｂ、２ｃで構成される場合について述べたが、カメラの台数は３台に限定されず、２台以上の複数のカメラを用いた場合も同様の構成により表示される撮像画像を切り替えることが可能であることは言うまでもない。また、そのように複数のカメラを用いるものであれば本発明の画像処理装置に含まれる。

また、本実施形態では、１台のカメラ２ａを切り替え操作用の基準カメラとして設定して、カメラ２ａに対して入光を遮る等して操作することで表示される撮像画像を切り替える場合について述べた。しかし、切り替え操作用の基準カメラを特定のカメラに固定せず、例えば、切り替えたい撮像画像を撮像するカメラへの入光を遮って表示される撮像画像を切り替えるように構成することも可能である。

すなわち、例えば、表示モニタ３の画面に撮像画像Ｔ１が表示されている場合に、撮像画像Ｔ３を表示させたい場合には、カメラ２ｃのレンズの前に手をかざすことで切り替えるように構成することができる。

この場合、切替手段５で、各撮像画像Ｔ１、Ｔ２、Ｔ３の各統計量算出領域Ｒ１、Ｒ２、Ｒ３の各平均輝度ｐ１ave、ｐ２ave、ｐ３aveをそれぞれ他の２つの平均輝度と比較し、他の２つの平均輝度との差が共に閾値以上となった平均輝度があれば、その平均輝度について図４のフローチャートのステップＳ３以下の処理を進め、その平均輝度と他の２つの平均輝度との差が閾値以上である時間が所定時間以上続いた場合に、表示される撮像画像をその平均輝度に対応する撮像画像に切り替えるように切り替えるように構成すればよい。

また、本実施形態では、表示モニタ３の画面に表示され切り替えられる画像が撮像手段２である複数のカメラにより撮像された撮像画像である場合について述べたが、これには限定されない。

例えば、図５に示すように、コンピュータ６に画像処理手段７としての機能を設け、画像処理手段７で、カメラ２ａ、２ｂ、…で撮像された各撮像画像Ｔ１、Ｔ２、…を画像処理して、処理画像として例えば各撮像画像Ｔ１、Ｔ２、…上でそれぞれ左隣の画素との輝度の差分を各画素に割り当てた微分画像ｄＴ１、ｄＴ２、…を形成するように構成する。

そして、上記の切り替え手法により、表示モニタ３の画面に各微分画像ｄＴ１、ｄＴ２、…を切り替えて表示させたり、各微分画像ｄＴ１、ｄＴ２、…や各撮像画像Ｔ１、Ｔ２、…を切り替えて表示させるように構成することができる。なお、微分画像は、左隣のような画像の水平方向に隣接する画素との輝度の差分だけでなく、例えば画像の縦方向に隣接する画素の輝度との差分を算出してもよく、また、Sobelフィルタ等のより広域の差分オペレータを用いて形成することも可能である。

さらに、この場合、本実施形態のように撮像画像Ｔ１、Ｔ２、…中に設けた統計量算出領域Ｒ１、Ｒ２、…内の画素の平均輝度ｐ１ave、ｐ２ave、…を算出する代わりに、形成された微分画像ｄＴ１、ｄＴ２、…の所定の位置に統計量算出領域Ｒ１、Ｒ２、…を設定して、その統計量算出領域Ｒ１、Ｒ２、…における微分画像ｄＴ１、ｄＴ２、…の各画素の輝度の平均値や、統計量算出領域Ｒ１、Ｒ２、…において微分画像ｄＴ１、ｄＴ２、…の輝度が設定された閾値以上である画素の個数等を算出し、それに基づいて本実施形態と同様に表示される画像を切り替えるように構成することも可能である。

このように構成すれば、複数の撮像画像Ｔ１、Ｔ２、…中で例えば立体物の端部のように同じようなエッジパターンが共通して撮像される画像領域があれば、その画像領域に統計量算出領域Ｒ１、Ｒ２、…を設定することで、例えば各撮像画像Ｔ１、Ｔ２、…の全体的な輝度が多少異なっていても、平均輝度や画素の個数を計測することで、オペレータの意図的なカメラへの入光の遮りを把握することが可能となり、上記の本実施形態と同様の効果を得ることができる。

なお、上記の変形例では、統計量算出領域Ｒ１、Ｒ２、…における微分画像ｄＴ１、ｄＴ２、…の各画素の輝度の平均値や、統計量算出領域Ｒ１、Ｒ２、…において微分画像ｄＴ１、ｄＴ２、…の輝度が設定された閾値以上である画素の個数等が、画像に関する統計量に相当する。

また、上記の変形例では、１つの撮像画像から１つの処理画像を得る場合について述べたが、複数の撮像画像に対して画像処理を施して単数または複数の処理画像を形成するように構成することも可能である。これについては後述する第２の実施形態においてその例を示す。

一方、本実施形態では、図１、図２に示したように、複数のカメラが同一の対象を撮像するように略同一の方向に向けて配置される場合について述べたが、図６に示すように、例えば３台のカメラ２ａ、２ｂ、２ｃがそれぞれ別の方向を向くように配置するように構成してもよい。

この場合、３台のカメラ２ａ、２ｂ、２ｃで撮像される撮像画像Ｔｎには、それぞれ異なる対象が撮像される。そこで、各撮像画像に設定する統計量算出領域Ｒｎを図３に示したように各撮像画像で同一の位置とせず、例えば各撮像画像で経時的に輝度があまり変化しない画像領域にそれぞれ統計量算出領域Ｒｎを設定する。

しかし、このように統計量算出領域Ｒｎを設定すると、それぞれの統計量算出領域Ｒｎで画素の平均輝度に差異が生じる。そのため、例えば統計量算出手段４で各統計量算出領域Ｒｎの平均輝度を算出する際、各統計量算出領域Ｒｎの実際の平均輝度にそれぞれ所定値を加算して平均輝度が略同じ値となるように修正する。そして、その修正された平均輝度に対して図４のフローチャートに示した手順で処理を施すことで、別方向に向いた複数のカメラについても本発明を適用することが可能となる。

［第２の実施の形態］
第２の実施形態では、車両に搭載され、撮像手段として２台のカメラを用いてステレオ撮像を行う画像処理装置について説明する。

本実施形態に係る画像処理装置１０は、図７に示すように、主に、撮像手段１１と、変換手段１２と、画像処理手段１５と、統計量算出手段１８や切替手段１９等を含むコンピュータ２０と、表示手段である表示モニタ２１とで構成されている。

なお、撮像手段１１から画像処理手段１５までの構成は、本願出願人により先に提出された特開平５−１１４０９９号公報、特開平５−２６５５４７号公報、特開平６−２６６８２８号公報、特開平１０−２８３４６１号公報、特開平１０−２８３４７７号公報、特開２００６−７２４９５号公報等に詳述されており、詳細な説明はそれらの公報に委ねる。以下、撮像手段１１から画像処理手段１５までの構成は、簡単に説明する。

撮像手段１１は、本実施形態では、互いに同期が取られたＣＣＤやＣＭＯＳセンサ等のイメージセンサがそれぞれ内蔵され例えばルームミラー近傍に車幅方向に所定の間隔を開けて取り付けられた一対のメインカメラ１１ａおよびサブカメラ１１ｂからなるステレオカメラであり、所定のサンプリング周期で自車両の周囲を撮像して一対の画像を出力するように構成されている。

本実施形態では、撮像手段１１の一対のカメラのうち、運転者に近い側のカメラがメインカメラ１１ａとされ、例えば図８に示すような基準画像Ｔを撮像するようになっている。また、サブカメラ１１ｂでは基準画像Ｔと対照される比較画像が撮像される。なお、比較画像は、基準画像Ｔと似通った画像であり、図示を省略する。

メインカメラ１１ａとサブカメラ１１ｂから出力された画像データは、変換手段１２であるＡ／Ｄコンバータ１２ａ、１２ｂでアナログ画像からそれぞれ画素毎に例えば２５６階調のグレースケール等の所定の輝度階調の輝度を有するデジタル画像にそれぞれ変換され、画像補正部１３で、ずれやノイズの除去等の画像補正が行われ、画像データメモリ１４に格納されると同時に画像処理手段１５に送信されるようになっている。

画像処理手段１５のイメージプロセッサ１６では、基準画像Ｔと比較画像の各画像データにステレオマッチング処理やフィルタリング処理を施して撮像手段１１から基準画像Ｔ中に撮像された対象までの実空間上の距離に対応する視差ｄｐを算出するようになっている。以下、距離の情報である視差ｄｐが割り当てられた画像を距離画像という。

なお、視差ｄｐ、距離画像上の点（ｉ，ｊ）と、前記一対のカメラ１１ａ、１１ｂの中央真下の道路面上の点を原点とし、自車両の車幅方向をＸ軸方向、車高方向をＹ軸方向、車長方向をＺ軸方向とした場合の実空間上の点（Ｘ，Ｙ，Ｚ）とは、下記（１）〜（３）式で表される座標変換により一意に対応付けられる。なお、下記各式において、ＣＤは一対のカメラの間隔、ＰＷは１画素当たりの視野角、ＣＨは一対のカメラの取り付け高さ、ＩＶおよびＪＶは自車両正面の無限遠点の距離画像上のｉ座標およびｊ座標、ＤＰは消失点視差を表す。
Ｘ＝ＣＤ／２＋Ｚ×ＰＷ×（ｉ−ＩＶ） …（１）
Ｙ＝ＣＨ＋Ｚ×ＰＷ×（ｊ−ＪＶ） …（２）
Ｚ＝ＣＤ／（ＰＷ×（ｄｐ−ＤＰ）） …（３）

また、イメージプロセッサ１６は、視差ｄｐの信頼性を向上させる目的から、このようにして求めた視差ｄｐに対してフィルタリング処理を施し、有効とされた視差ｄｐのみを出力するようになっている。すなわち、例えば、車道の映像のみからなる特徴に乏しい画像領域では前述したステレオマッチング処理の結果の信頼性が低く、視差ｄｐが算出されてもその視差ｄｐの信頼性は低い。そのため、そのような視差ｄｐは前述したフィルタリング処理で無効とされ、視差ｄｐの値として０を出力するようになっている。

したがって、イメージプロセッサ１６から出力される視差ｄｐは、通常、基準画像Ｔの左右方向に隣り合う画素間で輝度の差が大きい、いわゆるエッジ部分についてのみ有効な値を持つデータとなる。そのため、例えば図８に示された基準画像Ｔおよびそれに対応する比較画像から算出される距離画像Ｔｚは、図９に示すように、撮像された対象のエッジ部分には有効な値を有し、車道等の特徴に乏しい画像領域には０が割り当てられた画像となる。

このようにして算出された視差ｄｐすなわち距離画像Ｔｚは、画像処理手段１５の距離データメモリ１７に格納されると同時にコンピュータ２０に送信されるようになっている。本実施形態では、以上の画像処理手段１５が、複数の撮像画像すなわち基準画像Ｔおよび比較画像に基づいて撮像手段１１から基準画像Ｔ中に撮像された対象までの距離Ｚを算出する距離算出手段に相当する。

コンピュータ２０における統計量算出手段１８および切替手段１９の構成および作用は、前記第１の実施形態のコンピュータ６における統計量算出手段４および切替手段５と同様であり、詳しい説明を省略する。

なお、本実施形態では、統計量算出手段１８は、２つの撮像画像である基準画像Ｔと比較画像に前述した統計量算出領域Ｒを設定するようになっており、各画像の中央付近に撮像されるように設定される無限遠点に対応する画素を含む各画像の略中央部分に統計量算出領域Ｒを設定するようになっている。

前述したように、メインカメラ１１ａとサブカメラ１１ｂは車幅方向に所定の間隔を開けて取り付けられるため、基準画像Ｔと比較画像とは撮像された対象の位置がずれるが、無限遠点に対応する画素を含む各画像の略中央部分では画像のずれが少なくなり、統計量算出領域Ｒをこの位置に設定すると、それらの統計量算出領域Ｒ内の画素の平均輝度が、入光が遮られない状態では略等しくなるからである。

また、本実施形態では、切替手段１９は、基準画像Ｔの統計量算出領域Ｒ内の平均輝度と比較画像の統計量算出領域Ｒ内の平均輝度とを比較して、図４に示したフローチャートに従って画像の切り替えを行うようになっている。また、本実施形態では、画像データメモリ１４や距離データメモリ１７を介して入力される基準画像Ｔと距離画像Ｔｚとを切り替えて表示モニタ２１の画面に表示するようになっているが、例えば基準画像Ｔ→比較画像→距離画像Ｔｚ→…の順番に切り替えるように構成してもよい。

さらに、本実施形態では、画像処理装置１０が車両に搭載される場合について説明したが、この画像処理装置１０を例えばロボットに搭載したりパン・チルト式の監視カメラとして用いるように構成することも可能である。また、それらに搭載せずに、画像処理装置１０を検査やデモンストレーション等のために独立に用いることも可能である。

また、３台以上のカメラにより撮像された３つ以上の撮像画像に基づいて撮像手段１１から基準画像Ｔに撮像された対象までの距離を算出するように構成することも可能であり、また、距離Ｚや視差ｄｐを算出する手法はステレオマッチング処理に限定されない。

第１の実施形態に係る画像処理装置の構成を示すブロック図である。 ３台のカメラで撮像された撮像画像を説明する模式図である。 撮像画像中に設定される統計量算出領域を説明する図である。 切替手段で行われる処理の手順を示すフローチャートである。 画像処理装置の変形例の構成を示すブロック図である。 画像処理装置の変形例の構成を示すブロック図である。 第２の実施形態に係る画像処理装置の構成を示すブロック図である。 基準画像の一例を示す図である。 図８の基準画像等に基づいて算出された距離画像を示す図である。

符号の説明

１、１０ 画像処理装置
２、１１ 撮像手段
２ａ、２ｂ、２ｃ、１１ａ、１１ｂ カメラ
３、２１ 表示手段（表示モニタ）
４、１８ 統計量算出手段
５、１９ 切替手段
１５ 画像処理手段（距離算出手段）
ｄｐ 視差（距離の情報）
ｐ１、ｐ２、ｐ３ 画素の輝度
ｐ１ave、ｐ２ave、ｐ３ave、ｐ２３ave 輝度の平均値
Ｒ１、Ｒ２、Ｒ３、Ｒｎ 統計量算出領域
Ｔ１、Ｔ２、Ｔ３、Ｔｎ 撮像画像
ｄＴ１、ｄＴ２、… 処理画像（微分画像）
Ｔ 撮像画像（基準画像）
Ｔｚ 距離画像
Ｚ 距離

Claims (5)

1. 視点の異なる複数の撮像手段と、
   前記複数の撮像手段により撮像された複数の撮像画像中にそれぞれ設けられた統計量算出領域内の画像に関する統計量を算出する統計量算出手段と、
   前記複数の撮像画像の何れかを表示する表示手段と、
   前記複数の撮像手段のうち、切り替え操作用の１つの撮像手段により撮像された撮像画像の前記統計量算出領域内の前記画像に関する統計量と他の少なくとも１つの撮像画像の前記統計量算出領域内の前記画像に関する統計量とに基づいて、前記表示手段に表示される画像を前記複数の撮像画像の間で切り替える切替手段と
   を備えることを特徴とする画像処理装置。
2. 単数または複数の前記撮像画像を画像処理して処理画像を形成する画像処理手段をさらに備え、
   前記表示手段は、複数の前記処理画像の何れか、または前記撮像画像と前記処理画像の何れかを表示し、
   前記切替手段は、前記複数の撮像手段のうち、切り替え操作用の１つの撮像手段により撮像された撮像画像の前記統計量算出領域内の前記画像に関する統計量と他の少なくとも１つの撮像画像の前記統計量算出領域内の前記画像に関する統計量とに基づいて、前記表示手段に表示される画像を、前記複数の処理画像の間または前記撮像画像と前記処理画像との間で切り替えることを特徴とする請求項１記載の画像処理装置。
3. 前記複数の撮像画像に基づいて前記撮像手段から撮像画像中に撮像された対象までの距離を算出する距離算出手段をさらに備え、
   前記表示手段は、前記撮像画像または前記距離算出手段により算出された距離の情報が割り当てられた距離画像を表示し、
   前記切替手段は、前記複数の撮像手段のうち、切り替え操作用の１つの撮像手段により撮像された撮像画像の前記統計量算出領域内の前記画像に関する統計量と他の少なくとも１つの撮像画像の前記統計量算出領域内の前記画像に関する統計量とに基づいて、前記表示手段に表示される画像を、少なくとも前記撮像画像と前記距離画像との間で切り替えることを特徴とする請求項１記載の画像処理装置。
4. 前記画像に関する統計量は、前記撮像画像中に設けられた前記統計量算出領域内の各画素の輝度の平均値であることを特徴とする請求項１から請求項３の何れか一項に記載の画像処理装置。
5. 前記画像に関する統計量は、前記撮像画像に基づいて微分画像を形成し、前記統計量算出領域における前記微分画像の各画素の輝度の平均値、または前記統計量算出領域において前記微分画像の輝度が設定された閾値以上である画素の個数であることを特徴とする請求項１から請求項３の何れか一項に記載の画像処理装置。

Images