JP6734994B2 - ステレオ計測装置及びシステム - Google Patents

Description

本発明は、単眼カメラや複数のカメラにより構成されるステレオ計測装置及びシステムに関するものである。

従来から、複数のカメラを用いて、対象物や環境を計測するステレオ計測装置及びシステムが実用化されている。例えば、自動車の車載ステレオカメラを用いて、侵入者検知や、危険行為の検知などの様々な計測を行い、この計測結果から音声報知や危険回避行動などの制御を行っている。また自動車自動運転では、ステレオカメラにより前後方位を計測し、車を制御する実例がある。また、近年では、監視分野やマーケティングでもステレオカメラの適応事例がある。

ステレオカメラを用いた三次元計測の手法としては、まず２台のカメラにより同時に同じ対象物を撮影し、得られた２つの画像に対して、歪み補正、平行化を行い、同じ三次元の、撮影した２つの画像上の差分、視差を算出する。次に、算出した視差を用いて、三次元対象物の形状などを計測する。

係る三次元計測の場合には、２台のカメラの計測領域はほぼ同じである必要がある。また上記一連の処理の中で取り扱うカメラのパラメータ、画角、視差深度などは、２台のカメラのスペックに依存し、計測範囲は固定されている。

計測範囲に関して、例えば、自動車自動運転の車載カメラの場合、前方２ｍから４０ｍの範囲が計測範囲と言われている。このため、２ｍ以内、４０ｍ以上は計測できなくなってしまうという問題がある。

計測範囲についての上記点の簡単な解決方法としては、２台のカメラを複数組備えて切り替え使用することが考えられる。２ｍ以内の距離では近傍カメラを用い、４０ｍ以上の距離では遠望カメラに切り替えて計測するというやり方である。しかし、２台のカメラを複数組備える、この方法では、コストが高くなってしまうという問題がある。また、自動車自動運転の車載カメラの場合は、進行中切り替えることは不可能である。さらに、超遠望を計測する際には、例えば、２００ｍ場合以上を計測する場合は、さらに複数台のカメラの組み合わせとなり、コストが高くなるという問題がある。

計測範囲についての上記問題を解決する手法として、さらに以下のものが知られている。

非特許文献１は、パラメータ可変なステレオカメラを提案したものであり、カメラズームを制御することで、近傍や遠望を一台で計測することが可能となり、計測範囲を広げることができるとしている。

特許文献１は、複数セットのステレオカメラを組み合わせることで、計測幅を広げることを提案している。

特許文献２もまた特許文献１と同様に、複数セットのステレオカメラを組み合わせることで、計測幅を広けることを提案したものであるが、特許文献２では、カメラのフォーカス値より、計測対象の位置を推定し、推定した位置に対して、予め用意したキャリブレーションデータを選別し、三次元計測を行うものである。なお位置を推定する際には、人の顔など画像情報を利用するのが良いとしている。

特開２００６−０３３２８２号公報 特開２０１２−０５８１８８号公報

"パラメータ可変ステレオカメラ向け自己較正技術の開発", 第22回画像センシングシンポジウムSSII2016, SI-04, 2016

しかしながら上記の公知手法によればさらに以下の解決すべき課題を有している。

まず非特許文献１では、近い領域から、超遠望領域までの広い範囲に対して、計測対象に応じて、適切にカメラを制御し、計測することが困難である。

特許文献１では、計測システムのコストが高いという問題がある。また、組み合わせたカメラのスベックは予めフィックスされているため、その後の変更ができなくなる。汎用性が低いという問題もある。

特許文献２では、実際の動く計測対象物に対して、動的にカメラを制御し、適切な計測をすることは困難である。また、特許文献１と同じく、キャリブレーションデータは予め用意されており、汎用性は低いという問題がある。また、計測範囲は、光や外乱などによって、フォーカスできないケースも発生し、そのときは推定された位置が不明確であり、計測に影響を受けるという問題がある。

以上のことから本発明においては、１台のステレオカメラにより、近傍から遠望までの広い領域に対して、計測対象に応じて、適切にカメラを制御し、計測することを可能とするステレオ計測装置及びシステムを提供することを目的とする。

以上のことから本発明においては、「左右のカメラにより左右の画像情報を与えるとともに、左右のカメラのカメラ制御部を含むステレオカメラ部からの左右の画像情報を処理するステレオ計測装置であって、ステレオ計測装置は、左右の画像情報の画像シーンから特徴点を選別する特徴点選別部と、選別された特徴点を用いて、キャリブレーションを行い、キャリブレーションデータを算出するキャリブ算出部と、算出されたキャリブレーションデータと左右の画像情報を用いて、センシング対象の対象物体までの距離を算出する距離算出部と、算出された距離と画像情報とから、左右のカメラのカメラ制御部を制御するための制御量を算出する制御量算出部とを備え、制御量を前記ステレオカメラ部の左右のカメラのカメラ制御部に与えることを特徴とするステレオ計測装置」としたものである。

また本発明は、「ステレオ計測装置と、左右のカメラにより左右の画像情報を与えるとともに、左右のカメラのカメラ制御部を含むステレオカメラ部とにより構成されたステレオ計測システム」としたものである。

本発明によれば、一台のステレオカメラを用いて、近傍から超遠望までの広い領域を計測することが可能になる。

また本発明の実施例によれば、計測システムにおける、カメラのコストを削減することが期待できる。さらに、計測対象物を追いかけてセンシングする際には、カメラのスベックを制御しなから、適切なセンシングを行うことができる。例えば、人が遠くにいる場合は、システムはカメラをズームインして、計測することが可能である。ズーム率は、現状で計測された位置に基づいて制御することが可能である。また、人が近くなると、ズームアウトして、計測することが可能である。それによって、現場では、コスト面を考慮しなくでも、このようなステレオカメラを知能的に制御することで、幅広く、更に動的に計測することができるため、安全、安心な制御システムや計測システムに貢献することができる。

本発明の実施例１に係るステレオカメラ装置１００の構成例を示す図。 カメラ制御部１２の構成例を示す図。 特徴点抽出部１３の処理の流れの一例について示す図。 距離算出部１６の構成例を示す図。 ズーム制御部２１、ベースライン制御部２２での処理の流れを示す図。 パン制御部２４と、チルト制御部２５におけるパン制御値とチルト制御値を用いて回転制御する処理の流れを示す図。 非同期ステレオカメラにおける制御の処理流れを示す図。 本発明の実施例２に係るステレオカメラ装置１００の構成例を示す図。 本発明の実施例３に係るステレオカメラ装置１００を示す図。 本発明の実施例４に係るステレオカメラ装置１００を示す図。 本発明の実施例５に係るステレオカメラ装置１００を示す図。

以下、本発明の実施例について、図面を参照して詳細に説明する。以下に示す本発明のステレオ計測装置及びシステムの実施例の説明においては、２つのカメラで構成されたステレオカメラ装置を例として説明する。なお、ステレオ計測装置とは、以下に示す処理部のみの構成を意図しており、ステレオ計測システムとは、以下に示す処理部とステレオカメラ部による構成を意図している。

図１は、本発明の実施例１に係るステレオカメラ装置の構成例を示す図である。ステレオカメラ装置１００は、これを大別するとステレオカメラ部１０１と計算機で構成された処理部１０２により構成されている。計算機は、パソコン、組み込み用の小型ものやネットワークに接続可能な計算機器など処理機能を有する機器が考えられる。

このうちステレオカメラ部１０１は、レンズと撮像部を備えた左右の実映像入力部１０Ｒ、１０Ｌで構成された実映像入力部１０と、左右の画像取得部１１Ｒ、１１Ｌで構成された画像取得部１１と、左右のカメラ制御部１２Ｒ、１２Ｌで構成されたカメラ制御部１２とで構成されている。ステレオカメラ部１０１は、カメラを主体とする機械機構部ということができる。

ステレオカメラ部１０１内の実映像入力部１０は、それぞれ２組の撮像部とレンズを備えて構成されており、ステレオカメラの左右カメラからそれぞれ映像を入力する。

実映像入力部１０内の撮像部は、画像センサであるＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子を含む機構である。レンズは、ズーム可能なレンズを有している。ズームすることによって、遠望領域を撮像することを可能とし、近傍領域を撮像することも可能である。

画像取得部１１は、実映像入力部１０から入力した電子信号を画像へ変換する機能である。ここでは、画像フォマットは様々である。ＢＭＰ、 ＪＰＥＧ、 ＰＮＧなど。システムによって、画像フォマットを決められる。

カメラ制御部１２は、実映像入力部１０におけるカメラの画角、向き、カメラ間の距離など、カメラのパラメータを調整することができる。

実施例１では、撮影するシーンは特定しない。監視機能向けのステレオカメラであれば、移動物体や監視エリアなどを撮影シーンとする。車載ステレオカメラであれば、道路や前方車などを撮影シーンとする。撮影シーンは、複雑シーンや単純なシーンでも撮影可能とし、撮影された映像を入力する。また、実施例１のカメラは、焦点距離、回転角度、カメラ間の距離など変更することが可能なカメラとした構成でもよい。このようにステレオカメラ装置１００は、様々な機器や様々な環境で操作できる。

図２はカメラ制御部１２の構成例を示す図である。カメラ制御部１２は、ズーム制御部２１、ベースライン制御部２２、回転制御部２３、チルト制御部２４、パン制御部２５で構成されている。ズーム制御部２１はズーム制御値２６を用いて、レンズ機構を制御するもので、レンズの移動によって焦点距離を変更しカメラの撮像範囲である画角を変更する。ベースライン制御部２３は、ベースライン制御値２７を用いて、カメラ間の距離を調整する。チルト制御部２４は、チルト制御値２８を用いて、カメラの角度を制御する。パン制御部は、パン制御値２９を用いて、カメラのパン角度を制御する。チルト制御部２３、パン制御部２４は、それぞれ画角と水平方向、画角と垂直方向のカメラ向きを制御する。回転制御部２３は、カメラを回転しならから姿勢を変えることができる。

なお、ズーム制御部２１とベースライン制御部２２の具体的な処理内容について図５を参照して後述し、回転制御部２３の具体的な処理内容について図６を参照して後述する。

図５、図６の構成における以上の調整は、すべて独立でも、同時でも可能である。ここでは、システム仕様、撮影するシーンのニーズに合わせて調整することが可能である。

図１に示した実施例１のステレオカメラ装置１００内のステレオカメラ部１０１について、実映像入力部１０、画像取得部１１、カメラ制御部１２は夫々左右のカメラ機能が一体に形成された事例を示しているが、これらは別体とされていてもよい。別体とする時には、右実映入力部１０Ｒと左実映入力部１０Ｌ、右画像取得部１１Ｒと左画像取得部１１Ｌ、右カメラ制御部１２Ｒと左カメラ制御部１２Ｌを個別に有することになる。

ステレオカメラ装置１００内の、計算機で構成された処理部１０２は、特徴点選別部１３、キャリブ算出部１４、キャリブデータデータベースＤＢ１、距離算出部１６、制御量算出部１７から構成されている。ステレオカメラ部１０１がカメラを主体とする機械機構部であるに対し、計算機で構成される処理部１０２は電子的処理機能ということができる。

図１の処理部１０２において、特徴点選別部１３は、左右の画像取得部１１Ｒ、１１Ｌから入力された画像情報を用いて、キャリブレーションをするための特徴点を選別する処理を実行している。特徴点選別は、撮影シーンから特徴点を抽出し、その中から有効点を選別するプロセスであり、既存の手法での実現が可能である。

特徴点抽出の処理の流れの一例について図３に示している。特徴点抽出の従来例においては、一つの位置で撮影した一つのシーンから特徴点を抽出することが多いが、実施例１では、複数のシーンから特徴点群を抽出する例を示している。

具体的な図３の例では、処理３１に示すように例えばカメラの回転制御を行いながら撮影を行い、処理３２に示すように時系列的に複数シーンでの画像Ｉ１、Ｉ２、Ｉ３を入手する。次に処理３３では複数シーンでの画像Ｉ１、Ｉ２、Ｉ３についてそれぞれ特徴点を選別し、処理３４では抽出された複数の特徴点の中から有効な特徴点の選別を行う。

特徴点抽出手法としては様々のものが知られているが、汎用性の高い手法としてはＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）などが考えられる。

処理３３において抽出された特徴点群Ｐｘでは、間違ってマッチングした特徴点も存在する可能性がある。間違った特徴点を利用する場合は、キャリブレーションの算出に悪影響を与え、キャリブレーションデータが大きな誤差が含むことがある。そのため、処理３４のように、間違った特徴点を除き、有効な特徴点Ｐｒを選別するプロセスが必要である。有効な特徴点の選別手法としては、ＲＡＮＳＡＣ（Ｒａｎｄｏｍ ｓａｍｐｌｅ ｃｏｎｓｅｎｓｕｓ）がよく利用されている。処理３４の中で、点群Ｐｘは間違った特徴点であり、Ｐｒは所定の規則性を示す正しい特徴点を示している。ＲＡＮＳＡＣ処理によって、間違った特徴点Ｐｘを除去することができる。

キャリブ算出部１４は、特徴点選別部１３から出力された特徴点を用いて、カメラキャリブレーションを行う。カメラキャリブレーションは、カメラの内部パラメータと、カメラの外部パラメータを算出するプロセスである。

カメラの内部パラメータとして、ｆは焦点距離、αはアスペクト比、ｓはスキュー、（ｕ_０、ｖ_０）は座標の中心座標を示す。また外部パラメータとして、Ｒはカメラの向きを示す回転行列、Ｔはカメラ間の位置関係を示す並進行列である。カメラの向きを示すＲは、３×３（ｒ１１、ｒ１２、…ｒ３３）マトリックスにおいては、オイラー角により定義すると、カメラの設置角度であるパンθ、チルトφ、ロールψの３個のパラメータによって表される。それぞれ内部パラメータと外部パラメータを算出するために、キャリブレーション技術が求められている。従来は、「Ｚ．Ｚｈａｎｇ、“Ａ ｆｌｅｘｉｂｌｅ ｎｅｗ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ”、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、２２（１１）：１３３０-１３３４、２０００」に記載された手法を利用することが多い。また画像を用いて、自動的にカメラパラメータを推定する手法が多く提案されている。また非特許文献１に記載した自動キャリブレーション手法が提案されている。

算出されたカメラパラメータは、キャリブレーションデータＤ１として、キャリブデータデータベースＤＢ１に記録される。

本発明の実施例１では、カメラの構成を変える度に、再度キャリブレーションすることが必要である。たとえば、実施例１では、カメラのズーム、ベースライン、回転角度などいずれが変更された際には、特徴点選別部１３では再度入力したシーンから特徴点を選別することになる。その後は、キャリブ算出部１４も再度キャリブレーションデータＤ１を算出することになり、最新のキャリブレーションデータＤ１をキャリブレーションデータベースＤＢ１に登録することになる。そして、カメラ制御したカメラのパラメータに合わせて、キャリブレーションデータを利用する。

図４は距離算出部１６の構成例を示す図である。距離算出部１６では、左右画像取得部１１Ｒ、１１Ｌからの左右画像と、キャリブレーションデータＤ１を用いて距離データＰ１を算出する。距離データＰ１の算出は、歪み補正部４４、並行処理部４５、距離算出部４６の処理を逐次実行することで得られる。

以下に距離算出の具体的な処理手順について数式を用いて説明するが、以下における数式での説明の前提として、カメラの内部パラメータ行列Ｋおよび外部パラメータ行列Ｄは、それぞれ（１）（２）式で表すことができる。なお（１）式において、Ｋは内部パラメータ行列であり、ｆは焦点距離、ａはアスペクト比、ｓはスキュー、（ｖｃ、ｕｃ）は画像座標の中心座標を示す。また（２）式において、Ｄは外部パラメータ行列であり、（ｒ１１、ｒ１２、ｒ１３、ｒ２１、ｒ２２、ｒ２３、ｒ３１、ｒ３２、ｒ３３）はカメラの向きを示し、（ｔｘ、ｔｙ、ｔｚ）はカメラ間の位置座標を示す。

これら２つのパラメータ行列Ｋ、Ｄ及び定数λを用いると、画像座標（ｕ、ｖ）と世界座標（Ｘ、Ｙ、Ｚ）は（３）式により対応付けられる。

なお、外部パラメータＤのカメラの向きを示す（ｒ１１、ｒ１２、…ｒ３３）においては、オイラー角により定義すると、カメラの設置角度であるパンθ、チルトφ、ロールψの３個のパラメータによって表される。そのため、画像座標と世界座標の対応付けのために必要なカメラパラメータ数は、５個の内部パラメータと６個の外部パラメータを合計した１１個となる。

図４の距離算出部４６における最初の処理を行う歪み補正部４４では、カメラパラメータを用いて、カメラ画像の歪みを補正する。そして、平行処理部４５は、左右カメラの平行化を処理する。距離を含み、計測物の三次元計測値は（４）により算出することができる。

（４）式において、（ｘｌ、ｙｌ）、（ｘｒ、ｙｒ）は左右カメラ画像上の画素値である。平行化処理後、ｙｌ＝ｙｒ＝ｙとなる。ｆは焦点距離、Ｂはベースライン、カメラ間の距離である。ｄは同じ三次元上のものはそれぞれ左右カメラに投影した画像間の差分である。その差分はその三次元上の視差である。世界座標（Ｘ、Ｙ、Ｚ）と画像座標（ｕ、ｖ）の関係は、（５）式のようになる。世界座標（Ｘ、Ｙ、Ｚ）を求めたということは、距離データＰ１を取得したことを意味している。

図１において、制御量算出部１７は、計算された距離データＰ１と画像データを用いて制御値を算出する。そして、カメラ制御部１２は、それぞれ制御値を用いて制御する。

図５は、ズーム制御部２１、ベースライン制御部２２での制御量算出および、制御処理に関する流れ図を示している。

図５に示すズーム制御部２１、ベースライン制御部２２での最初の処理である処理ステップＳ５１では、左右カメラから画像を入力する。処理ステップＳ５２では、距離算出部１６で計測した距離データＰ１を距離データベースＤＢ２に格納する。処理ステップＳ５４では、距離データＰ１の安定性を評価する。たとえは、距離データＰ１は数回（ここでは５回）を格納した場合は、安定と判断する。処理ステップＳ５５では、安定と判断された距離データを用いて、平均距離を算出し、処理ステップＳ５６において、ズーム制御部２１、ベースライン制御部２２でのズーム、ベースラインの制御量を算出する。

ズーム、ベースラインの制御量の簡単な計算方法は、ズーム率ａ＝距離ｄ／基準ｓとして求めることができる。基準ｓはカメラのズームに合わせて設定することが可能である。距離が近いのであれば、ズーム率ａを減少し、距離が遠いのであれは、ズーム率ａを増加する。また、ベースライン制御値ｂ＝（ベースライン全体幅ｆ／基準ｓ）×ｎ（ｎ＝０、１、２…．Ｎ）として求めることができ、ここでＮは制御粒度である。Ｎは何段回を制御する指標である。処理ステップＳ５７では、画像取得終了まで制御処理を繰り返し実行する。画像がない場合は、処理ステップＳ５８において画像取得を終了し、制御処理も終了する。

図６は、パン制御部２４と、チルト制御部２５におけるパン制御値とチルト制御値を用いて回転制御する処理の流れを示す図である。

図６に示す回転制御における最初の処理ステップＳ６１では、左右画像取得部１１Ｒ、１１Ｌからの左右画像を取得し、処理ステップＳ６２において、フレーム間差分を算出する。差分がある場合は、画像内に人物移動などの動きがあることを示す。処理ステップＳ６３は、その動き領域を抽出する。例えば、画像領域を複数に区分しておき、区分された小領域間で、人物などの移動があることを検知する。処理ステップＳ６４では、領域移動がある場合は、処理ステップＳ６５において、その移動量を算出し、そして処理ステップＳ６６でパン、チルトの回転制御を行う。処理ステップＳ６７では、画像取得終了まで制御処理を繰り返し行う。画像がない場合は、処理ステップＳ６８に移り、画像取得を終了し、制御処理も終了する。

たとえは、現在位置（ｘ０、ｙ０）であり、動き位置（ｘ１、ｙ１）であれば、パン制御値ｐ、チルト制御値ｔは三角関係での移動距離を用いて、（６）式により、角度を算出することが可能である。

上記一連の処理により、理想的なステレオカメラは同期化されて、算出された距離は安定するはずである。しかし実際には、左右カメラには非同期という問題がある。その場合は、動き際の距離は不安定であり、距離ベースでの制御は困難である。

このことから、本発明においては、さらに図７のように実施ことを提案する。図７は、非同期ステレオカメラにおける制御の処理の流れを示す図である。

図７における最初の処理ステップであるＳ７１では、左右カメラ画像を取得する。処理ステップＳ７２では、カメラの歪み補正を行う。処理ステップＳ７３では、視差算出処理を行う。そして、処理ステップＳ７４で、左右カメラのフレーム間差分処理を行う。そのうえで、処理ステップＳ７５において差分がない場合（Ｙ側）は、静止と判断して処理ステップＳ７１０の処理に移り、差分がある場合（Ｎ側）は、動きと判断して処理ステップＳ７６の処理に移る。

処理ステップＳ７５の判断処理で、差分があるとされた場合（Ｎ側）は、人物などの動きと判断する。動きの場合は、処理ステップＳ７６において、画像上の動き領域を算出する。そして、処理ステップＳ７７において、カメラのパン、チルトの現状値を算出する。処理ステップＳ７８では、算出された動き領域と現状値を比較して、差分を算出し、人物などの位置を判定する。処理ステップＳ７９では、その差分に基づいて、パン制御値、チルト制御値を算出して、回転制御を行う。

処理ステップＳ７５の判断処理で、静止（Ｙ側）の場合は、処理ステップＳ７１０において距離異常値の判定を行い、正常データについてのみ処理ステップＳ７１１において静止時の連続する５フレームの距離データを格納し、処理ステップＳ７１２においてその安定性を評価する。安定（Ｙ側）であれば、処理ステップＳ７１３で平均距離を算出し、ズーム制御値、ベースライン制御値を算出する。その制御値を用いて、処理ステップＳ７１４においてズーム、ベースライン制御を行う。処理ステップＳ７１５では、画像取得終了まで制御処理を繰り返し行う。画像がない場合は、処理ステップＳ７１６において、画像取得を終了し、制御処理も終了する。

図８を用いて、実施例２について説明する。図８は、本発明の実施例２に係るステレオカメラ装置１００の構成例を示す図である。

実施例２では、図１に示す構成において実映像入力部１０から制御量算出部１７までの機能は実施例１と同じであるのでその説明を省略する。

実施例２では、機械機構部であるステレオカメラ部１０１と、電子的処理機能である処理部１０２とは、ネットワーク８１を介して相互に通信可能に接続されている。ここでは、ネットワーク８１にあるカメラに対して、キャリブレーションを行う。そして、カメラで計測した対象の距離を算出する。その後、計算された距離を用いて、ネットワーク８１を経由してカメラを制御するという遠隔処理できるカメラシステム構成である。それによって、設置場所や計測場所に依存しなく、遠隔で計測することが可能となる。

図９を用いて、実施例３について説明する。図９は、本発明の実施例３に係るステレオカメラ装置１００を示す図である。

実施例３によれば、カメラを制御するときに、広い範囲をスキャンする際には、スキャンした距離の精度を高めることができる。

従来における１台のカメラの場合は、例えば近くの距離の精度が高く、遠くなると精度が減少するという関係にある。実施例３では、１台のカメラはまず、９１のカメラスベックで近い領域９４をスキャンする。そして、カメラスベックを９２に変更し、遠い領域９５をスキャンする。また同じように、カメラスベックを９３に変更し、さらに遠い領域９６をスキャンする。そして、スキャンした結果を統合することで、全領域９７についての結果を得ることができる。全領域９７について得られた画像の処理結果では、全ての領域に対して、距離の精度が高いものとすることができる。それによって、今後自動運転ための、地図構築や環境スキャンなど様々な適用ができる。

図１０を用いて、実施例４について説明する。図１０は、本発明の実施例４に係るステレオカメラ装置１００を示す図である。実施例４は、カメラを制御しなから、センシング物体を追跡し、適切な計測を行う実施例である。ここでは、人あるいは、車などの移動する物体Ｍを、計測したい対象物体とする。センシングする物体Ｍの移動経路はｇのようであり、近距離位置から次第に遠ざかっていくものとする。センシングシステムでは、カメラのパン、チルト、ズーム、ベースラインを制御しなから、対象物体Ｍを追跡していく。それによって、１台のステレオカメラを用いて、近い位置から超遠望までの広い領域を計測することが可能になる。また、対象の動きに応じて、適切にセンシングすることが可能になる。

なお、図１０の事例では、近い位置ではズームは１倍、ベースラインは１５ｃｍ、角度１０°であり、中距離位置ではズームは５倍、ベースラインは２０ｃｍ、角度２０°であり、遠距離位置ではズームは１０倍、ベースラインは２５ｃｍ、角度１０°とした例を示している。

図１１を用いて、実施例５について説明する。図１１は、本発明の実施例５に係るステレオカメラ装置１００を示す図である。実施例５は、センシングシステムの一例である。

このシステムでは、ステレオカメラ１０１と、計算機１１１はネットワーク８１で接続されている。画像はネットワーク８１を経由して計算機１１１に送付される。計算機１１１は、受け取った画像を用いて、図１示した処理を行う。ズーム制御ユニット１１５はカメラの焦点距離を制御する。ベースライン制御ユニット１１６はベースラインステージ１１３を制御する。回転制御ユニット１１７は回転ステージ１１４を制御する。それらのユニットは計算機１１１と接続し、処理結果に応じて、それぞれ制御を行う。

次に図１の構成における各部処理の時間的関係について説明する。ここでは、カメラの画像取得部１１は例えば３０フレーム／秒で画像を入手しており、現時点では第２フレーム目の画像処理をこれから実施するタイミングを想定している。

第２フレーム目の画像は、画像取得部１１から特徴点選別部１３に同時に与えられる。この時、距離算出部１６は、左右画像から対象物までの距離と画像内の対象物体の動きを検知し、動きがある場合に制御量算出部１７、カメラ制御部１２を介して新たなカメラ位置とすべく作用する。またこのとき、距離算出部１６はキャリブレーションデータデータベースＤＢ１を参照して、距離を算出する際の補正に使用するキャリブレーションデータＤ２を得るが、この最新のキャリブレーションデータＤ２は、少なくとも第１フレーム目の画像処理において、特徴点選別部１３、キャリ部レーション算出部１４の処理により求めたものである。つまり、距離算出部１６は、現在時刻の画像と過去時刻の処理で求めた最新のキャリブレーションデータＤ２とから、距離を算出する。なお第２フレーム目の処理では、キャリブレーションデータデータベースＤＢ１には第２フレーム目で入手した画像から得たキャリブレーションデータＤ２が記憶されることになり、第３フレーム目における距離算出部１６の処理で使用されることになる。

キャリブレーションデータの算出タイミングは、カメラが制御されたタイミングで行う。それによって、高精度な距離データを算出することが可能になる。そして、計測対象の現在距離に応じて、適切にカメラを制御し、さらに計測することが可能になる。

上記を通じて、ステレオカメラ装置１００は最新の状況をキャリブレーションし、距離制御に反映させることが可能である。

１０：実映像入力部、１１：画像取得部、１２：カメラ制御部、１３：特徴点選別部、１４：キャリブ算出部、ＤＢ１：キャリブデータデータベース、１６：距離算出部、１７：制御量算出部、２１：ズーム制御部、２２：ベースライン制御部２３：回転制御部、２４：チルト制御部、２５：パン制御部、２６：ズーム制御値、２７：ベースライン制御値、２８：チルト制御値、２９：パン制御値、４４：歪み補正部、４５：平行処理部、４６：距離算出部、Ｐ１：距離データ、８１：ネットワーク、９１、９２、９３：カメラスペック、９４、９５、９６：スキャン領域、９７：統合スキャン結果、１００：ステレオカメラ装置、Ｍ：計測対象、ｇ：移動経路、１１１：計算機、１０１：ステレオカメラ、１１３：ベースラインステージ、１１４：回転ステージ、１１５：ズーム制御ユニット、１１６：ベースライン制御ユニット、１１７：回転制御ユニット

Claims (12)

1. 左右のカメラにより左右の画像情報を与えるとともに、前記左右のカメラのカメラ制御部を含むステレオカメラ部からの前記左右の画像情報を処理する処理部を備えるステレオ計測装置であって、
   ステレオ計測装置の前記処理部は、左右の画像情報の画像シーンから特徴点を選別する特徴点選別部と、選別された特徴点を用いて、キャリブレーションを行い、キャリブレーションデータを算出するキャリブ算出部と、算出されたキャリブレーションデータと前記左右の画像情報を用いて、センシング対象の対象物体までの距離を算出する距離算出部と、算出された距離と画像情報とから、前記左右のカメラのカメラ制御部を制御するための制御量を算出する制御量算出部とを備えて前記制御量を前記ステレオカメラ部の前記左右のカメラのカメラ制御部に与え、
   前記ステレオカメラ部の前記左右のカメラのカメラ制御部は、少なくともズーム、ベースライン、回転についての制御部を備えており、前記制御量算出部は、少なくともズーム、ベースライン、回転についての制御量を算出して、前記カメラ制御部に与え、
   前記ズーム、ベースラインについての制御量を算出する前記制御量算出部は、計測した距離データの安定性を評価し、安定と判断された距離データを用いて、センシング対象の対象物体までの平均距離を算出し、ズーム、ベースラインの制御量を算出し、
   前記回転についての制御量を算出する前記制御量算出部は、画像領域を予め複数に区分した小領域間で、センシング対象の対象物体の領域移動がある場合にその移動量を算出して回転制御の制御量を算出するとともに、左右カメラのフレーム間差分により、ズーム、ベースラインの制御量算出処理と回転制御の制御量算出処理を選択することを特徴とするステレオ計測装置。
2. 請求項１に記載のステレオ計測装置であって、
   前記回転についての制御部は、チルト制御部とパン制御部を含むことを特徴とするステレオ計測装置。
3. 請求項１または請求項２に記載のステレオ計測装置であって、
   左右の画像情報の画像シーンから特徴点を選別する特徴点選別部は、複数の画像シーンについて特徴点を抽出し、抽出した特徴点について有効な特徴点を選別することを特徴とするステレオ計測装置。
4. 請求項１から請求項３のいずれか１項に記載のステレオ計測装置であって、
   センシング対象の対象物体までの距離を算出する前記距離算出部は、カメラ画像の歪みを補正する歪み補正部と、左右カメラの平行化を処理する平行処理部とを含み、左右カメラの平行化処理後の画像情報
   から、センシング対象の対象物体までの距離を算出することを特徴とするステレオ計測装置。
5. 請求項１または請求項２に記載のステレオ計測装置であって、
   前記ズーム、ベースラインについての制御量を算出する前記制御量算出部は、前記距離算出部で計測した距離データを用いて、センシング対象の対象物体までの平均距離を算出し、ズーム、ベースラインの制御量を算出することを特徴とするステレオ計測装置。
6. 請求項１または請求項２に記載のステレオ計測装置であって、
   前記ズーム、ベースラインについての制御量を算出する前記制御量算出部は、算出する制御量の精度を高める場合は、前記距離算出部で計測した距離データの安定性を評価し、安定と判断された距離データを用いて、センシング対象の対象物体までの平均距離を算出し、ズーム、ベースラインの制御量を算出することを特徴とするステレオ計測装置。
7. 請求項１または請求項２に記載のステレオ計測装置であって、
   前記回転についての制御量を算出する前記制御量算出部は、画像領域を予め複数に区分した小領域間で、センシング対象の対象物体の領域移動がある場合にその移動量を算出し、回転制御を行うことを特徴とするステレオ計測装置。
8. 請求項１から請求項７のいずれか１項に記載のステレオ計測装置であって、
   前記ステレオカメラ部と前記処理部は、インターネットを介して接続されていることを特徴とするステレオ計測装置。
9. 請求項１から請求項８のいずれか１項に記載のステレオ計測装置であって、
   前記ステレオカメラ部は、複数の異なる距離での複数のカメラスペックのデータを保持し、距離に応じてカメラスペックを変更して左右の画像情報を得ることを特徴とするステレオ計測装置。
10. 前記左右のカメラが非同期カメラである請求項１から請求項９のいずれか１項に記載のステレオ計測装置であって、
    前記左右のカメラからの画像について、左右のカメラのフレーム間差分がない場合は、静止と判断してズーム、ベースラインについての制御量を算出し、左右のカメラのフレーム間差分がある場合は、動き
    と判断して回転についての制御量を算出することを特徴とするステレオ計測装置。
11. 請求項１から請求項１０のいずれか１項に記載のステレオ計測装置であって、
    前記左右のカメラの視野内にある移動物体について、前記ズーム、ベースライン、回転についての制御量を算出して、前記カメラ制御部に与えることにより、前記移動物体を追跡することを特徴とするステレオ計測装置。
12. 請求項１から請求項１１のいずれか１項に記載のステレオ計測装置と、左右のカメラにより左右の画像情報を与えるとともに、前記左右のカメラのカメラ制御部を含むステレオカメラ部とにより構成されたステレオ計測システム。

Images