JP6235201B2 - ステレオマッチングシステムの前処理装置 - Google Patents

Description

本発明は、３次元映像の前処理手法に係り、特に、ステレオカメラなどに用いられるステレオマッチングシステムにおける前処理装置に関するものである。

周知の如く、人の視覚は周囲環境の情報を得るための感覚の一つで、両眼を通して事物の位置と遠近が認知できる。すなわち、両眼に入る視覚情報が一つの距離情報として合成されながら自由に活動することができる。

このような視覚構造を機械に具現する時に用いられるものがステレオカメラシステムである。

ステレオカメラシステムでは、２つのカメラを用いて得た映像にステレオマッチング（ｓｔｅｒｅｏ ｍａｔｃｈｉｎｇ）を行うが、両カメラの外部構造及び内部構造が異なる。従来のステレオマッチングシステムでは、両カメラの内部構造を同一にするために、両カメラの差に対する参照テーブルを作成し、テーブル値をそれぞれ適用して前処理を行う。

しかしながら、かかる参照テーブルを用いる従来のステレオカメラシステムでは、多数の不揮発性メモリー（ＲＯＭ）を用いなければならず、ハードウェアの大きさが嵩み、価格の上昇につながるという問題点があった。

本発明が解決しようとする技術的課題は、不揮発性メモリーの数を減らし、ステレオカメラのウェイト情報を均一な値として提供することによって、同一性能を維持しながらもハードウェアの大きさ及び価格を減らすことができるステレオマッチングシステムの前処理装置を提供することにある。

上記の技術的課題を達成するために、本発明の前処理装置は、ステレオカメラの座標情報を保存する第１保存部と、前記座標情報を用いて新しいピクセルのアドレスを指定し、前記新しいピクセルのアドレスを用いてステレオカメラから入力される左映像及び右映像を矯正する前処理部と、を含む。

本発明の一実施例において、前記第１保存部は、前記座標情報のうち左行位置を保存する第２保存部と、前記座標情報のうち左列位置を保存する第３保存部と、前記座標情報のうち右行位置を保存する第４保存部と、前記座標情報のうち右列位置を保存する第５保存部と、を含むことが好ましい。

本発明の一実施例において、前記第２保存部乃至前記第５保存部は、それぞれ不揮発性メモリーであると好ましい。

本発明の一実施例において、前記前処理部は、前記座標情報を用いて、映像の新しいピクセルのアドレスを指定するアドレス生成部と、前記新しいピクセルのアドレス及び前記ステレオカメラのウェイト情報を用いて、前記左映像及び右映像を補間する補間部と、を含むことが好ましい。

本発明の一実施例において、前記前処理部は、前記ステレオカメラから入力される左映像及び右映像を保存する第６保存部をさらに含むことが好ましい。

本発明の一実施例において、前記第６保存部は、揮発性メモリーであると好ましい。

本発明の一実施例において、前記ウェイト情報は、所定の値として前記補間部に提供されることが好ましい。

本発明の一実施例において、前記所定の値は、実質的に０．２５であると好ましい。

本発明の一実施例において、前記補間部は、前記新しいピクセルのアドレスに前記ウェイト情報を適用して、該当のピクセルの平均を求めることが好ましい。

本発明の一実施例において、前記前処理部は、前記左行位置及び左列位置を用いて、前記左映像の新しいピクセルのアドレスを指定する左側アドレス生成部と、前記右行位置及び右列位置を用いて、前記右映像の新しいピクセルのアドレスを指定する右側アドレス生成部と、前記左映像の新しいピクセルのアドレス及び前記ステレオカメラの左側ウェイト情報を用いて、前記左映像を補間する左側補間部と、前記右映像の新しいピクセルのアドレス及び前記ステレオカメラの右側ウェイト情報を用いて、前記右映像を補間する右側補間部と、を含むことが好ましい。

本発明の一実施例において、前記前処理部は、前記左映像を保存する第７保存部と、前記右映像を保存する第８保存部と、をさらに含むことが好ましい。

本発明の一実施例において、前記第７保存部及び前記第８保存部は、揮発性メモリーであると好ましい。

本発明の一実施例において、前記左側ウェイト情報及び前記右側ウェイト情報は、所定の値としてそれぞれ前記左側補間部及び前記右側補間部に提供されることが好ましい。

本発明の一実施例において、前記所定の値は、実質的に０．２５であると好ましい。

本発明の一実施例において、前記左側補間部は、前記左映像の新しいピクセルのアドレスに前記左側ウェイト情報を適用して該当のピクセルの平均を求めることが好ましい。

本発明の一実施例において、前記右側補間部は、前記右映像の新しいピクセルのアドレスに前記右側ウェイト情報を適用して該当のピクセルの平均を求めることが好ましい。

本発明によれば、従来から用いられてきた不揮発性メモリーの個数を減らすることで、システムの大きさ及びコストを低減することができる。

また、本発明は、ステレオカメラのウェイト情報を所定値に均一化して映像を補間するため、補間部の計算を単純化することができる。

また、本発明は、新しいピクセルのアドレスを指定する式を等価式に代えることで、アドレス生成のための計算を単純化することができる。

従来のステレオマッチングシステムの前処理装置を説明するための構成図である。 本発明の一実施例に係るステレオマッチングシステムの前処理装置を示す構成図である。 従来のステレオマッチングシステムの前処理装置が出力する矯正された映像の一例を示す図である。 本発明の一実施例に係るステレオマッチングシステムの前処理装置が出力する矯正された映像の一例を示す図である。

本発明は、様々な変更を加えることができ、様々な実施例を有することができ、よって、以下では、特定の実施例を図面に例示し、詳細に説明する。

ただし、以下の特定の実施例及び図面は、本発明を限定するためのものではなく、よって、本発明の思想及び技術範囲に含まれるいかなる変更、均等物や代替物も本発明の範囲に含まれるものとして理解すべきである。

第１、第２などのように序数を含む用語は、様々な構成要素を説明するために用いることができるが、それらの構成要素が当該用語により限定されることはない。

これらの用語は、ある構成要素を別の構成要素と区別する目的にのみ用いる。例えば、本発明の権利範囲を逸脱しない限度内で、第２構成要素は第１構成要素と命名されてよく、同様に、第１構成要素が第２構成要素と命名されてもよい。

ある構成要素が別の構成要素に“連結されて”いる、または、“接続して”いると記載されている場合は、ある構成要素が別の構成要素に直接連結されている、または、接続している場合もあり、これら両部材の間にさらに別の構成要素が介在される場合もある。一方、ある構成要素が別の構成要素に“直接連結されて”いる、または、“直接接続して”いると記載されている場合は、両部材間に何ら構成要素も存在しないということを意味する。

本出願で使用した用語は、単に、特定の実施例を説明するためのものに過ぎず、本発明を限定するためのものではない。単数の表現は、文脈上特別な言及がない限り、複数の表現を含むものとする。

本出願で、“含む”または“有する”などの用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品またはこれらを組み合わせたものが存在することを示すためのものであり、一つまたはそれ以上の別の特徴や数字、段階、動作、構成要素、部品またはこれらを組み合わせたものの存在または付加の可能性をあらかじめ排除するためのものと理解してはならない。

また、本出願において、添付の図面は、説明の便宜のために拡大または縮小して示すものと理解すべきである。

以下では、まず、従来の前処理装置について説明し、続いて、本発明の好適な一実施例に係る前処理装置について図面を参照して詳細に説明する。

図１は、従来のステレオマッチングシステムにおける前処理装置を説明するための構成図である。

同図のステレオマッチングシステムにおける前処理装置は、２台のステレオカメラ（図示せず）から伝達される左映像及び右映像について、矯正パラメータ（ｒｅｃｔｉｆｉｃａｔｉｏｎ ｐａｒａｍｅｔｅｒ）を用いて該当の映像を矯正（ｒｅｃｔｉｆｉｃａｔｉｏｎ）し、映像のエピポーラ線（ｅｐｉｐｏｌａｒ ｌｉｎｅ）を一致させて出力する。

従来の前処理システムは、前処理部１００及び不揮発性メモリー部２００で構成される。不揮発性メモリー部２００はそれぞれ、左行位置（ｌｅｆｔ ｒｏｗ ｐｏｓｉｔｉｏｎ）保存部２１０、左列位置（ｌｅｆｔ ｃｏｌｕｍｎ ｐｏｓｉｔｉｏｎ）保存部２２０、左行ウェイト（ｌｅｆｔ ｒｏｗ ｗｅｉｇｈｔ）保存部２３０、左列ウェイト（ｌｅｆｔ ｃｏｌｕｍｎ ｗｅｉｇｈｔ）保存部２４０、右行位置（ｒｉｇｈｔ ｒｏｗ ｐｏｓｉｔｉｏｎ）保存部２５０、右列位置（ｒｉｇｈｔ ｃｏｌｕｍｎ ｐｏｓｉｔｉｏｎ）保存部２６０、右行ウェイト（ｒｉｇｈｔ ｒｏｗ ｗｅｉｇｈｔ）保存部２７０、及び右列ウェイト（ｒｉｇｈｔ ｃｏｌｕｍｎ ｗｅｉｇｈｔ）保存部２８０で構成される。

このように、不揮発性メモリー部２００は、左行位置、左列位置、左行ウェイト、左列ウェイト、右行位置、右列位置、右行ウェイト及び右列ウェイトなどの座標情報及びウェイト情報をそれぞれ保存している。

左側アドレス生成部（ｌｅｆｔ ａｄｄｒｅｓｓ ｇｅｎｅｒａｔｏｒ）１１０及び右側アドレス生成部（ｒｉｇｈｔ ａｄｄｒｅｓｓ ｇｅｎｅｒａｔｏｒ）１５０はそれぞれ、左行及び左列位置保存部２１０，２２０と右行及び右列位置保存部２５０，２６０に保存されているデータを用いて下記の式によりアドレスを求める。

上記の式５が、左側及び右側アドレス生成部１１０，１５０が最終的に出力するピクセルのアドレスである。

ここで、元来のカメラ行列は、
であり、ここで、ｆ_ｘは元来のｘ軸倍率（ｓｃａｌｅ ｆａｃｔｏｒ）、ｆ_ｙは元来のｙ軸倍率、ｃ_ｘは元来のｘ軸主点（ｐｒｉｎｃｉｐａｌ ｐｏｉｎｔ）、ｃ_ｙは元来のｙ軸主点を表す。

また、生成される新しいカメラ行列は
であり、ここで、ｆ’_ｘは新しいｘ軸倍率、ｆ’_ｙは新しいｙ軸倍率、ｃ’_ｘは新しいｘ軸主点、ｃ’_ｙは新しいｙ軸主点を表す。

イメージの大きさをＮ×Ｍとすれば、ｕは、１〜Ｎまでのｘ軸ピクセルインデックス（ｐｉｘｅｌ ｉｎｄｅｘ）を表し、ｖは１〜Ｍまでのｙ軸ピクセルインデックスを表す。アドレス生成部１１０，１５０は、（１，１）から（Ｎ，Ｍ）までのピクセルに該当する新しいピクセルのアドレスを求めるために、上記のような計算を行う。

ここで、ｋ_１、ｋ_２、ｐ_１及びｐ_２は、歪み変数である。

左側及び右側ウェイト生成部１２０，１６０は、左行及び左列ウェイト保存部２３０，２４０と右行及び右列ウェイト保存部２７０，２８０に保存されている左行及び左列ウェイトと右行及び右列ウェイトを用いて左側ウェイトと右側ウェイトを生成する。

このように生成された左右側アドレス及び左右側ウェイトを用いて、左右補間部１４０，１８０は映像を補間する。

しかし、上記のような従来の前処理装置は、少なくとも８個の不揮発性メモリーを用いなければならず、システムの大きさ及びコストが嵩むという不具合があった。

本発明は、上記のような従来システムの問題点を解決するためのもので、従来の前処理装置に比べて、使用される不揮発性メモリーを減らすことによって、システムの大きさ、計算の複雑度、及びコストの低減を図ることができる。

図２は、本発明の一実施例に係るステレオマッチングシステムにおける前処理装置の構成図である。

図２に示すように、本発明に係る前処理装置は、前処理部１０及び不揮発性メモリー部２０を含む。

不揮発性メモリー部２０は、左行位置保存部２１、左列位置保存部２２、右行位置保存部２３、及び右列位置保存部２４を含む。

不揮発性メモリー部２０はそれぞれ、不揮発性メモリーで構成され、各保存部２１〜２４は一つの不揮発性メモリーを含む。不揮発性メモリー（Ｎｏｎ−ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）とは、電源が供給されなくても保存している情報を継続して維持するメモリーを指し、その代表に読み取り専用メモリー（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ；ＲＯＭ）がある。

前処理部１０は、左側アドレス生成部１１、右側アドレス生成部１２、左映像保存部１３、右映像保存部１４、左補間部（ｌｅｆｔ ｉｎｔｅｒｐｏｌａｔｏｒ）１５及び右補間部（ｒｉｇｈｔ ｉｎｔｅｒｐｏｌａｔｏｒ）１６を含む。

左映像保存部１３及び右映像保存部１４は、ステレオカメラ（図示せず）により獲得した左映像及び右映像をそれぞれ保存するもので、揮発性メモリーとすることが好ましい。

揮発性メモリー（Ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）とは、保存している情報を維持するために電気を要求するコンピュータメモリーを指し、臨時メモリーと呼ぶこともできる。その代表に、ランダムアクセスメモリー（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ；ＲＡＭ）がある。

すなわち、左映像保存部１３及び右映像保存部１４は、入力される左映像及び右映像を臨時に保存し、左右補間部１５，１６にそれぞれ提供する。

不揮発性メモリー部２０の左行位置保存部２１、左列位置保存部２２、右行位置保存部２３及び右列位置保存部２４はそれぞれ、左映像と右映像を提供するステレオカメラ（図示せず）の座標情報（左行位置、左列位置、右行位置及び右列位置）を保存する。

図１に示す従来の左行ウェイト保存部２３０、左列ウェイト保存部２４０、右行ウェイト保存部２７０及び右列ウェイト保存部２８０が保存していた左行ウェイト、左列ウェイト、右行ウェイト及び右列ウェイト、すなわちステレオカメラのウェイト情報については、本発明の一実施例に係る前処理装置では、所定の値（例えば、０．２５）を左側ウェイト及び右側ウェイトとして左右補間部１５，１６に提供する。

この場合、左側ウェイトは左行ウェイトと左列ウェイトを含み、右側ウェイトは右行ウェイトと右列ウェイトを含む。

本発明の一実施例に係る左側アドレス生成部１１及び右側アドレス生成部１２は、上記の式（１）乃至式（５）を下記の式（６）乃至式（１０）のように等価で展開することで、新しいピクセルのアドレスを生成する。

ここで、本発明の左側及び右側アドレス生成部１１，１２は、式（２）においてＲ＝Ｉと仮定する。Ｉは単位行列（ｉｄｅｎｔｉｔｙ ｍａｔｒｉｘ）である。そのため、Ｒ^−１＝Ｉである。すなわち、式（２）は下記の式（７）のように展開する。

したがって、式（８）は式（３）に比べて演算が簡易化する。

本発明の一実施例において左右側アドレス生成部１１，１２は、式（４）でｒ^６項を省略して式（９）のように演算を簡略化する。ステレオカメラの特性上、ｒは極めて小さい小数点であるから、ｒ^６も非常に小さい値であり、よって省略可能である。

したがって、上記の等価式は、回路の複雑度、コスト、及び性能の側面において、最適化した式といえよう。

上記の式（１０）が、左側及び右側アドレス生成部１１，１２が最終に出力する新しいピクセルのアドレスである。

ここで、元来のカメラの矯正パラメータの行列は、
であり、ここで、ｆ_ｘは元来のｘ軸倍率、ｆ_ｙは元来のｙ軸倍率、ｃ_ｘは元来のｘ軸主点、ｃ_ｙは元来のｙ軸主点を表す。

また、生成される新しいカメラの矯正パラメータの行列は、
であり、ここで、ｆ’_ｘは新しいｘ軸倍率、ｆ’_ｙは新しいｙ軸倍率、ｃ’_ｘは新しいｘ軸主点、ｃ’_ｙは新しいｙ軸主点を表すということは既に説明した通りである。

ここで、ｋ_１、ｋ_２、ｐ_１及びｐ_２は、歪み変数である。

イメージの大きさをＮ×Ｍとすれば、ｕは、１〜Ｎまでのｘ軸ピクセルインデックスであり、ｖは１〜Ｍまでのｙ軸ピクセルインデックスである。左右側アドレス生成部１１，１２は、（１，１）から（Ｎ，Ｍ）までのピクセルに該当する新しいピクセルのアドレスを求めるために、上記のような計算を行う。

左右補間部１５，１６は、左右側アドレス生成部１１，１２で生成された新しいピクセルのアドレス、及び均一な値として入力される左側ウェイト及び右側ウェイトを用いて、左映像保存部１３及び右映像保存部１４にそれぞれ臨時に保存されている左映像及び右映像を補間する。

具体的に、左右補間部１５，１６は、上下左右の４個のピクセルのアドレスを左側アドレス生成部１１及び右側アドレス生成部１２からそれぞれ受信し、それぞれにウェイト情報を適用して該当のピクセルの平均を取る。このとき、本発明の一実施例では、左側及び右側ウェイトを同じ値として付与する。ただし、これに限定されるものではなく、左側及び右側ウェイトが異なってもよい。

図３は、従来のステレオマッチングシステムにおける前処理装置が出力する矯正された映像の一例を示し、図４は、本発明の一実施例に係るステレオマッチングシステムにおける前処理装置が出力する矯正された映像の一例を示す図で、それぞれ左映像及び右映像を示している。

図示のように、本発明の一実施例に係る前処理装置を用いると、ウェイト情報を保存する不揮発性メモリーを省き、ウェイト情報を均一に提供し、等価式を用いてピクセルのアドレスを保存することによって、従来の前処理装置に比べて計算が単純化しながらも、その結果としての矯正された映像は、従来の前処理装置におけるそれと略同一であることがわかる。

以上代表的な実施例に挙げて本発明の詳細を説明したが、本発明の属する技術の分野における通常の知識を有する者には、本発明の範ちゅうから逸脱しない限度内で様々な変形が可能であるということが理解できる。そのため、本発明の権利範囲は、説明された実施例に限定されてはならず、添付の特許請求の範囲及び特許請求の範囲と均等なものにより定められるべきであろう。

Claims (10)

1. ステレオカメラの座標情報を保存する第１保存部と、
   前記座標情報を用いて新しいピクセルのアドレスを指定し、前記新しいピクセルのアドレスを用いて、ステレオカメラから入力される左映像及び右映像を矯正する前処理部と、を含み、
   前記第１保存部は、
   前記座標情報のうち左行位置を保存する左行位置保存部と、
   前記座標情報のうち左列位置を保存する左列位置保存部と、
   前記座標情報のうち右行位置を保存する右行位置保存部と、
   前記座標情報のうち右列位置を保存する右列位置保存部と、を含み、
   前記前処理部は、
   前記左行位置の情報及び前記左列位置の情報を用いて、前記左映像の新しいピクセルのアドレスを指定する左側アドレス生成部と、
   前記右行位置の情報及び前記右列位置の情報を用いて、前記右映像の新しいピクセルのアドレスを指定する右側アドレス生成部と、
   前記左映像の新しいピクセルのアドレス及び前記ステレオカメラの左側ウェイト情報を用いて、前記左映像を補間する左側補間部と、
   前記右映像の新しいピクセルのアドレス及び前記ステレオカメラの右側ウェイト情報を用いて、前記右映像を補間する右側補間部と、を含み、
   前記左側ウェイト情報及び前記右側ウェイト情報は、所定の値としてそれぞれ前記左側補間部及び前記右側補間部に提供される、前処理装置。
2. 前記前処理部は、前記ステレオカメラから入力される左映像及び右映像を保存する第２保存部をさらに含む、請求項１に記載の前処理装置。
3. 前記第２保存部は、揮発性メモリーである、請求項２に記載の前処理装置。
4. 前記左行位置保存部、前記左列位置保存部、前記右行位置保存部および前記右列位置保存部は、それぞれ不揮発性メモリーである、請求項１に記載の前処理装置。
5. 前記前処理部は、
   前記左映像を保存する第２保存部と、
   前記右映像を保存する第３保存部と、
   をさらに備える、請求項１または４に記載の前処理装置。
6. 前記第２保存部及び前記第３保存部は、揮発性メモリーである、請求項５に記載の前処理装置。
7. 前記所定の値は、実質的に０．２５である、請求項１に記載の前処理装置。
8. 前記左側補間部は、前記左映像の新しいピクセルのアドレスに前記左側ウェイト情報を適用して、該当のピクセルの平均を求める、請求項１、４乃至７のいずれか１項に記載の前処理装置。
9. 前記右側補間部は、前記右映像の新しいピクセルのアドレスに前記右側ウェイト情報を適用して、該当のピクセルの平均を求める、請求項１、４乃至７のいずれか１項に記載の前処理装置。
10. 前記左側ウェイト情報及び前記右側ウェイト情報は、均一に提供される、該当のピクセルの平均を求める請求項１に記載の前処理装置。