JP6453645B2 - ステレオカメラ装置、移動体、ステレオカメラシステム、サーバ装置及び制御方法 - Google Patents

Description

本発明は、ステレオカメラ装置、移動体、ステレオカメラシステム、サーバ装置及び制御方法に関する。

従来、ステレオカメラの自動較正方法が知られている。例えば、特許文献１には、左右のカメラで取得した画像において、走行道路の境界線等の概ね平行な２つの直線の交点の座標を決定し、左右のカメラで取得したそれぞれの画像の交点の座標を比較して較正を行う自動較正方法が開示されている。

特表２００８−５０９６１９号公報

しかしながら、特許文献１に記載の較正方法では、走行道路の境界線を使用して較正を行うため、較正の精度が、境界線の直線の平行度に依存する。また、特許文献１に記載の較正方法では、走行道路のカーブに伴って境界線がカーブしている場合、又は、走行道路上の障害物等により、自動較正装置が検出可能な直線が較正を行うために必要な長さよりも短い場合等に、較正の精度が低下したり、又は、較正が実行できなくなったりする場合がある。

また、特許文献１に記載の較正方法では、取得した画像から直線を検出し、直線の交点の座標を決定し、左右のカメラで取得したそれぞれの画像の交点の座標を比較するという処理を、ステレオカメラで行っている。つまり、これらの処理の負荷がステレオカメラにかかっている。

かかる事情に鑑みてなされた本発明の目的は、処理負担を軽減しつつ、較正の精度を向上可能なステレオカメラ装置、移動体及び制御方法を提供することにある。

上記課題を解決するため、本発明の一実施形態に係るステレオカメラ装置は、
撮像部を有するステレオカメラと、
サーバ装置と通信を行うことにより、前記撮像部の撮像画像を前記サーバ装置に送信し、前記サーバ装置から、前記撮像画像の較正に用いる較正パラメータの更新に関する情報を取得する通信部と、
前記撮像画像を撮像した所定の撮像環境を、該撮像画像に対応付けて取得する撮像環境取得部と、
前記サーバ装置から取得した較正パラメータに関する情報に基づいて前記撮像画像を較正する制御部と、を備え、
前記通信部は、前記撮像環境が所定の送信条件を満たす場合に、前記撮像画像を前記サーバ装置に送信する。

前記通信部は、前記撮像画像とともに、該撮像画像に対応付けられた前記撮像環境を前記サーバ装置に送信してもよい。

前記撮像環境は、前記撮像部が前記撮像画像を撮像した撮像位置、撮像方向、水平面に対する光軸の傾斜角度及び撮像時刻の少なくともいずれかであってもよい。

また、本発明は上述したステレオカメラ装置に実質的に相当又は対応するステレオカメラシステム、サーバ装置、制御方法としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。

例えば、本発明の一実施形態に係るステレオカメラシステムは、
撮像画像を撮像し、較正パラメータにより前記撮像画像の較正を行う、ステレオカメラ装置と、
前記ステレオカメラ装置と通信可能なサーバ装置と、を備え、
前記サーバ装置は、前記ステレオカメラ装置から前記撮像画像を取得し、前記撮像画像と、所定の撮像位置から前記ステレオカメラ装置が撮像した場合の各画像において、理論上視差が発生しない距離以遠に存在する基準被写体を含む基準画像とを比較し、該比較の結果、所定の一致条件を満たす場合、前記撮像画像における前記基準被写体の座標に基づいて、前記較正パラメータに関する情報を生成し、該較正パラメータに関する情報を前記ステレオカメラ装置に送信し、
前記ステレオカメラ装置は、前記サーバ装置から取得した前記較正パラメータに関する情報に基づいて前記撮像画像を較正する。

前記サーバ装置は、前記撮像画像及び前記基準画像における被写体の輪郭により前記比較を行なってもよい。

また、本発明の一実施形態に係る制御方法は、
ステレオカメラ装置と、サーバ装置とを備えるステレオカメラシステムにおける制御方
法であって、
前記ステレオカメラ装置が、
撮像画像を撮像するステップと、
前記撮像画像を撮像した所定の撮像環境を、該撮像画像に対応付けて取得するステップと、
前記撮像環境が所定の送信条件を満たす場合に、前記撮像画像を前記サーバ装置に送信するステップと、
前記サーバ装置から取得した較正パラメータに関する情報に基づき、前記撮像画像を
較正するステップと、
前記サーバ装置が、
前記ステレオカメラ装置から取得した前記撮像画像と、基準被写体を含む基準画像と
を比較するステップと、
該比較の結果、所定の一致条件を満たす場合、前記撮像画像における前記基準被写体
の座標に基づいて、前記較正パラメータに関する情報を生成するステップと、
前記生成した較正パラメータに関する情報を、前記ステレオカメラ装置に送信するス
テップとを含む。

本発明によれば、処理負担を軽減しつつ、較正の精度を向上可能なステレオカメラ装置、移動体、ステレオカメラシステム、サーバ装置及び制御方法を提供できる。

本発明の第１実施形態に係るステレオカメラシステムの概略構成を示す機能ブロック図である。 図１のステレオカメラ装置を搭載する移動体を模式的に示す側面図である。 図１のステレオカメラ装置を搭載する移動体を模式的に示す正面図である。 撮像画像の一例を模式的に示す図である。 基準画像の一例を模式的に示す図である。 サーバ装置の制御部による画像分析の一例を模式的に示す図である。 図１のステレオカメラ装置の制御部が行う処理の一例を示すフローチャートである。 図１のサーバ装置の制御部が行う処理の一例を示すフローチャートである。 本発明の第２実施形態に係るステレオカメラシステムのサーバ装置の制御部が行う処理の一例を示すフローチャートである。

以下、本発明の実施形態について、図面を参照して詳細に説明する。

（第１実施形態）
図１は、本発明の第１実施形態に係るステレオカメラシステムの概略構成を示す機能ブロック図である。ステレオカメラシステム１は、ステレオカメラ装置１０と、サーバ装置２０とを含む。ステレオカメラ装置１０と、サーバ装置２０とは、有線又は無線により、互いに通信可能に接続されている。

ステレオカメラ装置１０は、ステレオカメラ１１と、位置情報取得部１２と、方向情報取得部１３と、角度情報取得部１４と、制御部１５と、記憶部１６と、表示部１７と、通信部１８とを備える。ステレオカメラ装置１０は、例えば自動車等の移動体に搭載される。

ステレオカメラ１１は、撮像部を有する。本実施形態において、ステレオカメラ１１は、第１の撮像部１１Ｒと、第２の撮像部１１Ｌとの２つの撮像部を有する。第１の撮像部１１Ｒ及び第２の撮像部１１Ｌは、例えば同一の光学系、及び、ＣＭＯＳ又はＣＣＤ等の同一の撮像素子を有する。第１の撮像部１１Ｒ及び第２の撮像部１１Ｌは、光学系が結像する像を撮像素子により撮像する。第１の撮像部１１Ｒ及び第２の撮像部１１Ｌは、所定のフレームレート（例えば３０ｆｐｓ）で撮像する。

図２及び図３は、図１のステレオカメラ装置１０を搭載する移動体を模式的に示す図である。図２の側面図に示すように、第１の撮像部１１Ｒ及び第２の撮像部１１Ｌは、移動体３０の前方を撮像するように、第１の撮像部１１Ｒ及び第２の撮像部１１Ｌの各光学系の光軸ＯＸが移動体３０の直進方向と平行となるように配置される。

第１の撮像部１１Ｒ及び第２の撮像部１１Ｌがそれぞれ備える撮像素子は、各撮像部１１Ｒ及び１１Ｌの光軸ＯＸに垂直な同一面内に存在する。図３の正面図に示すように、第１の撮像部１１Ｒ及び第２の撮像部１１Ｌは、それぞれが備える撮像素子の中心等の基準点を通る直線（基準線）が水平となるように配置される。

再び図１を参照すると、位置情報取得部１２は、例えばＧＰＳ（Global Positioning System）機能により、ステレオカメラ装置１０の位置に関する情報（以下、「位置情報」ともいう）を取得する。位置情報取得部１２は、特に、第１の撮像部１１Ｒ及び第２の撮像部１１Ｌが画像を撮像した撮像位置の情報を取得する。位置情報取得部１２は、取得した位置情報を制御部１５に送信する。

方向情報取得部１３は、ステレオカメラ装置１０の方向に関する情報（以下、「方向情報」ともいう）を取得する。方向情報取得部１３は、例えば電子的センサによって地磁気を検知して方位を判定する電子コンパス等により、方向に関する情報を取得する。方向情報取得部１３は、特に、第１の撮像部１１Ｒ及び第２の撮像部１１Ｌが画像を撮像した撮像方向の情報を取得する。方向情報取得部１３は、取得した方向情報を制御部１５に送信する。

角度情報取得部１４は、ステレオカメラ装置１０の水平面に対する角度に関する情報（以下、「角度情報」ともいう）を取得する。角度情報取得部１４は、例えばピエゾ抵抗型、静電容量型又は熱検知型等の周知の加速度センサにより、水平面に対するステレオカメラ装置１０の角度（傾き）に関する情報を取得する。角度情報取得部１４は、特に、第１の撮像部１１Ｒ及び第２の撮像部１１Ｌが画像を撮像したときの水平面に対する光軸ＯＸの傾斜角度の情報を取得する。角度情報取得部１４は、取得した角度情報を制御部１５に送信する。

位置情報取得部１２、方向情報取得部１３及び角度情報取得部１４は、第１の撮像部１１Ｒ及び第２の撮像部１１Ｌが、それぞれ撮像した画像（以下、「撮像画像」ともいう）を撮像した撮像環境を取得する撮像環境取得部の一例である。撮像環境取得部は、位置情報取得部１２、方向情報取得部１３及び角度情報取得部１４に限られない。撮像環境は、撮像画像に対応付けて、例えば記憶部１６に記憶される。

なお、本実施形態においては、上述のようにステレオカメラ装置１０が備える位置情報取得部１２、方向情報取得部１３及び角度情報取得部１４が、それぞれ位置情報、方向情報及び角度情報を取得すると説明したが、位置情報、方向情報及び角度情報の取得は、この態様に限られない。位置情報、方向情報及び角度情報は、例えば、移動体３０が、自ら有する位置情報取得機能、方向情報取得機能及び角度情報取得機能により取得してもよい。この場合、ステレオカメラ装置１０は、移動体３０と通信を行う通信部を備え、通信部から位置情報、方向情報及び角度情報を取得できる。

制御部１５は、ステレオカメラ装置１０の各機能部をはじめとして、ステレオカメラ装置１０の全体を制御及び管理するプロセッサである。制御部１５は、制御手順を規定したプログラムを実行するＣＰＵ（Central Processing Unit）等のプロセッサで構成され、かかるプログラムは、例えば記憶部１６に記憶される。なお、制御部１５は、ステレオカメラ装置１０の専用のマイクロプロセッサであってもよい。

制御部１５は、第１の撮像部１１Ｒ及び第２の撮像部１１Ｌがそれぞれ撮像した画像の較正処理を行う。具体的には、制御部１５は、例えば記憶部１６に記憶された較正パラメータに基づき、第１の撮像部１１Ｒ及び第２の撮像部１１Ｌが撮像した画像の較正を行う。初期状態（例えばステレオカメラ装置１０が製造されたときの状態）において、制御部１５は、予め記憶部１６に記憶された初期較正パラメータを使用して画像の較正を行う。初期較正パラメータは、ステレオカメラ装置１０の製造時における第１の撮像部１１Ｒ及び第２の撮像部１１Ｌが撮像した画像について、製造上の相対位置及び相対姿勢のずれを解消する較正パラメータである。

ここで、例えば経時変化等により、第１の撮像部１１Ｒ及び第２の撮像部１１Ｌの方向が、製造時に固定された方向からずれる場合がある。第１の撮像部１１Ｒ及び第２の撮像部１１Ｌの方向がずれた場合、ずれが生じる前の較正パラメータでは、各撮像部１１Ｒ及び１１Ｌが撮像する画像を正確に較正できなくなる。本実施形態において、かかる経時変化によるずれを解消するための較正パラメータの更新（生成）は、サーバ装置２０からの較正パラメータ更新要求に基づいて、制御部１５が実行する。すなわち、制御部１５は、通信部１８を介してサーバ装置２０から較正パラメータ更新要求を取得すると、較正パラメータ更新要求に基づいて、記憶部１６に記憶された較正パラメータの更新を行う。制御部１５は、較正パラメータの更新を行った後は、更新された較正パラメータを使用して較正処理を行う。

制御部１５は、サーバ装置２０が較正パラメータ更新要求の生成処理において使用する各種情報を、通信部１８を介してサーバ装置２０に送信する。具体的には、制御部１５は、第１の撮像部１１Ｒ及び第２の撮像部１１Ｌがそれぞれ撮像した画像（撮像画像）に基づいて生成した比較画像と、撮像画像に関連する情報とをサーバ装置２０に送信する。

比較画像は、較正パラメータ更新要求の生成において、サーバ装置２０が、後述する基準画像と比較するために使用される画像である。制御部１５は、撮像画像を取得すると、まず、記憶部１６に記憶された較正パラメータにより較正を行った較正画像を生成する。そして、制御部１５は、較正画像から比較画像を生成する。比較画像の詳細については、後述する。

なお、制御部１５は、較正画像又は比較画像の生成を行うことなく、例えば、撮像画像をサーバ装置２０に送信したり、撮像画像から画像の較正を行うことなく直接生成した比較画像を送信したりしてもよい。この場合、制御部１５は、サーバ装置２０が較正パラメータ更新要求を生成できるようにするために、通信部１８を介して、記憶部１６に記憶された較正パラメータをサーバ装置２０に送信する。

撮像画像に関連する情報は、例えば、位置情報取得部１２が取得した位置情報、方向情報取得部１３が取得した方向情報、及び角度情報取得部１４が取得した角度情報のうち、少なくともいずれかを含んでいてもよい。また、撮像画像に関連する情報は、制御部１５のリアルタイムクロック（ＲＴＣ）機能により取得された撮像画像の撮像時刻を含んでいてもよい。本実施形態では、制御部１５は、撮像画像に関連する情報として、撮像位置、撮像方向、傾斜角度及び撮像時刻をサーバ装置２０に送信する。つまり、本実施形態では、撮像環境は、撮像位置、撮像方向、傾斜角度及び撮像時刻をいう。

制御部１５は、撮像環境が、サーバ装置２０に送信するための所定の送信条件が満たされたと判断した場合に、サーバ装置２０に送信してもよい。送信条件の詳細については、後述する。

記憶部１６は、多様なメモリデバイスを有し、用途に応じてそれぞれ各種情報を記憶する。記憶部１６は、例えばサーバ装置２０から取得した較正パラメータを記憶する。また、記憶部１６は、サーバ装置２０に送信するための比較画像及び撮像環境を記憶していてもよい。通信部１８を介して、比較画像がサーバ装置２０に送信された場合、記憶部１６に記憶された比較画像及び撮像環境は消去されてもよい。

表示部１７は、例えば液晶ディスプレイ、有機ＥＬディスプレイ又は無機ＥＬディスプレイ等の周知のディスプレイにより構成され、各種情報を表示する。表示部１７は、例えばステレオカメラ１１の撮像部により撮像された画像を表示してもよい。

通信部１８は、サーバ装置２０と、例えば無線通信を行うことにより、サーバ装置２０との間で各種データの送受信を行う。通信部１８は、例えば、比較画像をサーバ装置２０に送信し、サーバ装置２０からの較正パラメータ更新要求を受信する。

なお、通信部１８は、サーバ装置２０と有線通信を行うものであってもよい。この場合、通信部１８は、移動体３０が自宅又は特定の駐車場所に停車している際に、コネクタ等によりサーバ装置２０と有線通信を行う。また、通信部１８は、サーバ装置２０と同様の機能を有する移動体３０のＥＣＵと有線通信を行ってもよい。

サーバ装置２０は、制御部２５と、記憶部２６と、通信部２８とを備える。

制御部２５は、サーバ装置２０の各機能部をはじめとして、サーバ装置２０の全体を制御及び管理するプロセッサである。制御部２５は、制御手順を規定したプログラムを実行するＣＰＵ（Central Processing Unit）等のプロセッサで構成され、かかるプログラムは、例えば記憶部２６に記憶される。

制御部２５は、通信部２８を介してステレオカメラ装置１０から取得した比較画像に基づき、較正パラメータ更新要求の生成処理を行う。具体的には、制御部２５は、ステレオカメラ装置１０が、較正パラメータを、経時変化による第１の撮像部１１Ｒ及び第２の撮像部１１Ｌのずれを解消する較正パラメータに更新可能な較正パラメータ更新要求を生成する。本実施形態における制御部２５は、特に、第１の撮像部１１Ｒ及び第２の撮像部１１Ｌのずれのうち、特に水平方向のずれに基づき較正パラメータ更新要求を生成する。制御部２５が行う較正パラメータ更新要求の生成処理の詳細については、後述する。制御部２５は、通信部２８を介して、生成した較正パラメータ更新要求をステレオカメラ装置１０に送信する。

記憶部２６は、多様なメモリデバイスを有し、用途に応じてそれぞれ各種情報を記憶する。記憶部２６は、例えば、制御部２５が較正パラメータ更新要求の生成処理に際して使用する基準画像等の情報を記憶する。基準画像については後述する。

通信部２８は、ステレオカメラ装置１０と無線通信を行うことにより、ステレオカメラ装置１０との間で各種データの送受信を行う。通信部２８は、例えば、比較画像をステレオカメラ装置１０から受信し、サーバ装置２０が生成した較正パラメータ更新要求をステレオカメラ装置１０に送信する。なお、通信部２８は、ステレオカメラ装置１０の通信部１８に対応して、有線通信を行ってもよい。

次に、本実施形態のステレオカメラ装置１０の制御部１５による、送信条件が満たされたか否かを判断する方法について説明する。

制御部１５は、第１の撮像部１１Ｒ及び第２の撮像部１１Ｌが撮像した撮像画像を取得すると、例えば記憶部１６に記憶された較正パラメータに基づき、撮像画像を較正することにより、較正画像を生成する。

次に、制御部１５は、較正画像に基づいて比較画像を生成する。比較画像は、後述する基準画像に対応する被写体を含む画像である。ここで、基準画像は、ステレオカメラ１１の各撮像部１１Ｒ及び１１Ｌが所定の撮像位置から撮像した場合の各画像において、理論上視差が発生しない距離以遠に存在する被写体（以下、「基準被写体」ともいう）を含む画像である。基準被写体は、サーバ装置２０の制御部２５が較正パラメータ更新要求の生成処理を行う際の基準となる。比較画像は、例えば、較正画像において主に道路が写っている下半分を取り除き、基準被写体が写りこんでいる場合がある上半分を抽出した画像である。制御部１５は、撮像画像又は較正画像の一部を抽出した比較画像をサーバ装置２０に送信することにより、撮像画像又は較正画像全体をサーバ装置２０に送信する場合と比較して、送信するデータ量を減らすことができる。

次に、制御部１５は、撮像環境を取得する。そして、制御部１５は、取得した撮像環境が、サーバ装置２０に送信するための所定の送信条件を満たすか否かを判断する。送信条件は、例えば記憶部１６に記憶される。本実施形態において、送信条件は、比較画像及び撮像環境に基づいて、サーバ装置２０が較正パラメータ更新要求の生成処理を開始できる条件である。送信条件は、例えば、位置、方向、角度及び時刻の項目ごとに予め設定される。位置に関する送信条件は、例えば撮像位置が所定のエリア内であるか否かに関する条件である。所定のエリアは、例えば緯度及び経度により表現される。所定のエリアは、例えば基準画像における所定の撮像位置を包含するエリアである。すなわち、位置に関する送信条件として定められた所定のエリア内において、撮像部１１Ｒ及び１１Ｌが撮像した画像には、基準被写体が含まれる。また、方向に関する送信条件は、撮像方向が所定の方位であるか否かに関する条件である。また、角度に関する送信条件は、水平面に対する光軸ＯＸの傾斜角度が、水平面に対して所定の角度範囲内であるか否かに関する条件である。また、時刻に関する送信条件は、撮像時刻が所定の時間範囲内であるか否かに関する条件である。

制御部１５は、位置、方向、角度及び時刻の全ての項目が条件を満たしている場合に、送信条件を満たしていると判断できる。或いは、制御部１５は、位置、方向、角度及び時刻のいずれかの項目が条件を満たしている場合に、送信条件を満たしていると判断してもよい。

さらには、送信条件は予め複数設定されており、複数設定された送信条件のいずれかを撮像環境が満たす場合に、制御部１５は、送信条件を満たしていると判断してもよい。複数の送信条件は、例えば各項目の組により構成される。例えば、送信条件として、第１の送信条件、第２の送信条件及び第３の送信条件が設定されているとする。第１の送信条件においては、位置、方向、角度及び時刻のそれぞれに関する第１の条件が設定される。また、第２の送信条件においては、位置、方向、角度及び時刻のそれぞれに関する第２の条件が設定される。同様に、第３の送信条件においては、位置、方向、角度及び時刻のそれぞれに関する第３の条件が設定される。第１乃至第３の送信条件は、各項目に関する条件がそれぞれ異なっていてもよく、一部が同一であってもよい。

本実施形態においては、１つの送信条件が設定されており、制御部１５は、位置、方向、角度及び時刻の全ての項目が条件を満たしている場合に、送信条件を満たしていると判断するとして、以下説明する。

制御部１５は、撮像環境が送信条件を満たしていると判断すると、比較画像をサーバ装置２０に送信する。

次に、本実施形態のサーバ装置２０の制御部２５が行う較正パラメータ更新要求の生成処理について説明する。

制御部２５は、ステレオカメラ装置１０から比較画像を取得すると、比較画像と、基準画像とを比較して、一致条件を満たすか否かを判断する。

ここで、基準画像について説明する。図４は１つの撮像部により撮像された撮像画像の一例を模式的に示す図であり、図５は、基準画像の一例を模式的に示す図である。所定の位置から第１の撮像部１１Ｒ又は第２の撮像部１１Ｌにより撮像した場合に、図４に示すような撮像画像が撮像される場合について説明する。図４に破線で示すように、所定の撮像位置、所定の方向、及び所定の傾斜角度において、撮像画像の中央上方には、無限遠とみなせる被写体Ａが存在することがある。そこで、本実施形態では、当該被写体Ａを基準被写体として含む画像を、図５に一例として示す基準画像として用いる。

制御部２５は、取得した比較画像と、図５に一例として示す基準画像とを比較して、一致条件を満たすか否かを判断する。一致条件は、比較画像と基準画像とに基づいて較正パラメータ更新要求の生成処理を実行可能であるか否かを判断するための、比較画像と基準画像との一致の程度に関する条件である。制御部２５は、比較画像及び基準画像における被写体の輪郭により比較の処理を行い、一致条件を満たすか否かを判断する。本実施形態において、制御部２５は、比較画像の画像分析を行い、図５に示す基準画像の破線で示した被写体Ａの周辺の建物の輪郭の形状が一致するか否かに基づいて、一致条件を満たすか否かを判断する。

制御部２５は、比較画像の一例を示す図６において太線で表示されるように、画像分析により、比較画像における建物の輪郭Ｂの形状を決定する。そして、制御部２５は、決定した比較画像における建物の輪郭Ｂの形状と、基準画像の破線で示した箇所の周辺の建物の輪郭の形状とを比較する。制御部２５は、これら輪郭の形状が一致すると判断した場合、一致条件を満たすと判断できる。制御部２５は、輪郭を拡大又は縮小することにより輪郭の形状が一致すると判断する場合にも、一致条件を満たすと判断してもよい。また、一致条件は、比較画像と基準画像との特徴点の比較により行ってもよい。

制御部２５は、一致条件を満たすと判断した場合、次に、比較画像において、理論上無限遠であるとみなすことが可能な被写体、すなわち基準被写体を特定する。制御部２５は、第１の撮像部１１Ｒ及び第２の撮像部１１Ｌがそれぞれ撮像した撮像画像に基づく比較画像における基準被写体を、基準画像における基準被写体との比較に基づいて特定する。制御部２５は、特に、比較画像と基準画像とにおいて特徴点を抽出し、特徴点に基づいて比較画像における基準被写体を特定してもよい。

そして、制御部２５は、第１の撮像部１１Ｒ及び第２の撮像部１１Ｌがそれぞれ撮像した撮像画像に基づく比較画像における基準被写体の座標を特定する。制御部２５は、特に、基準被写体の特徴点の座標を特定してもよい。制御部２５は、２つの比較画像における基準被写体の座標に基づき、水平方向の座標の差分ΔＸを算出する。基準被写体は、理論上無限遠に存在するため、第１の撮像部１１Ｒ及び第２の撮像部１１Ｌがそれぞれ撮像した撮像画像に基づく比較画像において、基準被写体の座標は、本来同一となるはずである。従って、座標の差分ΔＸは、第１の撮像部１１Ｒ及び第２の撮像部１１Ｌの水平方向のずれに相当する。

制御部２５は、差分ΔＸに基づき、ステレオカメラ装置１０における較正パラメータの更新が必要であるか否かを判断する。制御部２５は、差分ΔＸが、例えば予め記憶部２６に記憶された所定の差分よりも大きい場合、較正パラメータの更新が必要であると判断する。

制御部２５は、ステレオカメラ装置１０における較正パラメータの更新が必要であると判断した場合、較正パラメータ更新要求を、通信部２８を介してステレオカメラ装置１０に送信する。較正パラメータ更新要求は、較正パラメータの更新を実行する命令と、差分ΔＸとを含む。

ステレオカメラ装置１０は、サーバ装置２０から較正パラメータ更新要求を受信すると、較正パラメータ更新要求に基づいて、較正パラメータの更新処理を実行する。具体的には、ステレオカメラ装置１０の制御部１５が、記憶部１６に記憶された較正パラメータに、較正パラメータ更新要求に含まれる差分ΔＸを加算することにより、更新処理を実行する。上述の通り、差分ΔＸは第１の撮像部１１Ｒ及び第２の撮像部１１Ｌの水平方向のずれに相当するため、差分ΔＸの加算により算出された新たな較正パラメータが、第１の撮像部１１Ｒ及び第２の撮像部１１Ｌの水平方向のずれを反映させた較正パラメータとなる。制御部１５は、このようにして算出された較正パラメータを記憶部１６に記憶させることにより、較正パラメータの更新処理を終了する。

制御部１５は、較正パラメータを更新した後は、第１の撮像部１１Ｒ及び第２の撮像部１１Ｌがそれぞれ撮像した撮像画像を較正する場合、更新された較正パラメータを使用して較正を行う。これにより、制御部１５は、第１の撮像部１１Ｒ及び第２の撮像部１１Ｌの経時変化によるずれを考慮した較正を行うことができる。

図７は、ステレオカメラ装置１０の制御部１５が行う処理の一例を示すフローチャートである。

まず、制御部１５は、第１の撮像部１１Ｒ及び第２の撮像部１１Ｌから、各撮像部が撮像した撮像画像を取得する（ステップＳ１０１）。

制御部１５は、取得した撮像画像を、記憶部１６に記憶された較正パラメータに基づいて較正し、較正画像を生成する（ステップＳ１０２）。

制御部１５は、較正画像に基づいて比較画像を生成する（ステップＳ１０３）

また、制御部１５は、取得した撮像画像を撮像した撮像環境を取得する（ステップＳ１０４）。

そして、制御部１５は、取得した撮像環境と、記憶部１６に記憶された送信条件とを比較し、サーバ装置２０が較正パラメータ更新要求の生成処理を開始可能な送信条件を、撮像環境が満たしているか否かを判断する（ステップＳ１０５）。

制御部１５は、撮像環境が送信条件を満たしていないと判断した場合（ステップＳ１０５のＮｏ）、比較画像をサーバ装置２０に送信することなく、このフローを終了する。

制御部１５は、撮像環境が送信条件を満たしていると判断した場合（ステップＳ１０５のＹｅｓ）、生成した比較画像をサーバ装置２０に送信する（ステップＳ１０６）。

次に、制御部１５は、通信部１８がサーバ装置２０から較正パラメータ更新要求を受信したか否かを判断する（ステップＳ１０７）。

制御部１５は、通信部１８がサーバ装置２０から較正パラメータ更新要求を受信したと判断した場合（ステップＳ１０７のＹｅｓ）、較正パラメータ更新要求に含まれる差分ΔＸを、記憶部１６に記憶された更新パラメータに加算することにより、較正パラメータを更新する（ステップＳ１０８）。

一方、制御部１５は、通信部１８がサーバ装置２０から較正パラメータ更新要求を受信していないと判断した場合（ステップＳ１０７のＮｏ）、ステップＳ１０６において比較画像を送信した後、例えば予め設定された所定時間を経過したか否かを判断する（ステップＳ１０９）。

制御部１５は、所定時間を経過していないと判断した場合（ステップＳ１０９のＮｏ）、ステップＳ１０７に移行し、通信部１８がサーバ装置２０から較正パラメータ更新要求を受信したか否かを判断する。

制御部１５は、所定時間を経過したと判断した場合（ステップＳ１０９のＹｅｓ）、較正パラメータを更新せずに、このフローを終了する。

図８は、サーバ装置２０の制御部２５が行う処理の一例を示すフローチャートであり、ステレオカメラ装置１０から比較画像を取得した場合に実行される処理を示すフローチャートである。

まず、制御部２５は、通信部２８を介して、ステレオカメラ装置１０から比較画像を取得する（ステップＳ２０１）。

制御部２５は、記憶部２６に記憶された基準画像と、取得した比較画像とを比較する（ステップＳ２０２）。

そして、制御部２５は、基準画像と比較画像とが所定の一致条件を満たすか否かを判断する（ステップＳ２０３）。

制御部２５は、比較画像と基準画像とに基づいて較正パラメータ更新要求を生成可能な比較画像が取得できていないために、比較画像と基準画像との一致条件を満たしていないと判断した場合（ステップＳ２０３のＮｏ）、較正パラメータ更新要求を生成することなく、このフローを終了する。

制御部２５は、比較画像と基準画像とが一致条件を満たしていると判断した場合（ステップＳ２０３のＹｅｓ）、２つの比較画像それぞれにおける基準被写体を特定する（ステップＳ２０４）。

そして、制御部２５は、２つの比較画像それぞれにおける基準被写体の座標を特定する（ステップＳ２０５）。

次に、制御部２５は、ステップＳ２０６で特定した２つの比較画像それぞれにおける基準被写体の座標の水平方向の差分ΔＸを算出する（ステップＳ２０６）。

制御部２５は、ステップＳ２０７で算出した差分ΔＸに基づき、記憶部２６に記憶された所定の差分と比較することにより、ステレオカメラ装置１０における較正パラメータの更新が必要であるか否かを判断する（ステップＳ２０７）。

制御部２５は、ステレオカメラ装置１０における較正パラメータの更新が必要でないと判断した場合（ステップＳ２０７のＮｏ）、較正パラメータ更新要求を送信することなく、このフローを終了する。

一方、制御部２５は、ステレオカメラ装置１０における較正パラメータの更新が必要であると判断した場合（ステップＳ２０７のＹｅｓ）、較正パラメータ更新要求を生成し、通信部２８を介して、較正パラメータ更新要求をステレオカメラ装置１０に送信する（ステップＳ２０８）。

サーバ装置２０から送信された較正パラメータ更新要求が、ステレオカメラ装置１０により受信されると、ステレオカメラ装置１０は、図７のステップＳ１０７で説明した処理を実行することにより、較正パラメータを更新する。

このように、本実施形態に係るステレオカメラシステム１によれば、サーバ装置２０の制御部２５から取得した較正パラメータ更新要求に基づき、ステレオカメラ装置１０が較正パラメータの更新処理を行う。サーバ装置２０における較正パラメータ更新要求は、ステレオカメラ装置１０の各撮像画像に基づく比較画像における基準被写体の座標に基づいて生成される。この基準被写体は、第１の撮像部１１Ｒ及び第２の撮像部１１Ｌがそれぞれ撮像した画像に基づいて生成される比較画像に含まれる。すなわち、サーバ装置２０では、第１の撮像部１１Ｒ及び第２の撮像部１１Ｌが直接撮像した基準被写体を、無限遠に存在する基準として使用することにより、較正パラメータ更新要求を生成する。そして、較正パラメータ更新要求に基づいて、ステレオカメラ装置１０の較正パラメータが更新される。このように、本実施形態のステレオカメラ装置１０は、撮像画像に実際に写りこんだ無限遠に存在するとみなすことが可能な被写体を基準にして較正パラメータの更新を行うため、較正の精度を向上できる。

また、本実施形態に係るステレオカメラシステム１では、比較画像を取得した後、較正パラメータ更新要求を送信するまでの処理を、サーバ装置２０が行う。そのため、較正パラメータの更新処理に使用する差分ΔＸの算出をステレオカメラ装置１０が自ら行う場合と比較して、ステレオカメラ装置１０における処理負担を軽減できる。また、差分ΔＸの算出に使用する基準画像をサーバ装置２０が有するため、差分ΔＸの算出をステレオカメラ装置１０が自ら行う場合と比較して、ステレオカメラ装置１０が記憶するデータの量を減らすことができる。

（第２実施形態）
第１実施形態においては、ステレオカメラ装置１０の制御部１５が、位置、方向、角度及び時刻の全ての項目が条件を満たしている場合に、送信条件を満たしていると判断するとして、説明した。第２実施形態では、制御部１５が、撮像環境の一部に基づいて、送信条件を判断する場合について説明する。具体的には、第２実施形態では、制御部１５は、撮像環境の一部として、位置及び方向に基づいて送信条件を判断する。但し、撮像環境の一部は、位置及び方向に限られるものではない。

第２実施形態に係るステレオカメラシステムの概略構成は、図１に示す第１実施形態に係るステレオカメラシステム１と同様である。以下、第１実施形態と同じ点については説明を省略し、異なる点について説明を行う。

第２実施形態において、ステレオカメラ装置１０の制御部１５は、撮像環境として取得した撮像位置、撮像方向、傾斜角度及び撮像時刻のうち、撮像位置及び撮像方向が、それぞれ記憶部１６に記憶された所定のエリア内及び所定の方位であるか否かを判断する。制御部１５は、撮像位置及び撮像方向が、それぞれ所定のエリア内及び所定の方位であると判断した場合、送信条件を満たすと判断し、比較画像及び撮像環境をサーバ装置２０に送信する。つまり、制御部１５は、図７で示したステップＳ１０５において、撮像環境の一部の項目について、送信条件を満たしているか否かを判断し、ステップＳ１０６において、比較画像とともに撮像環境を送信するする。

サーバ装置２０は、ステレオカメラ装置１０から比較画像及び撮像環境を取得すると、撮像環境の全部又は一部が、較正パラメータ更新要求の生成を開始する開始条件を満たすか否かを判断する。開始条件は、例えば記憶部２６に記憶される。サーバ装置２０は、撮像環境が開始条件を満たすと判断した場合に、較正パラメータ更新要求の生成を開始して、比較画像を生成する。

開始条件は、ステレオカメラ装置１０の送信条件と同様に、例えば、位置、方向、角度及び時刻の項目ごとに予め設定される。サーバ装置２０は、撮像環境の一部が開始条件を満たすか否かを判断する場合、ステレオカメラ装置１０が送信条件において判断していない項目について、開始条件を満たすか否かを判断してもよい。すなわち、本実施形態では、ステレオカメラ装置１０は、送信条件の判断において撮像位置及び撮像方向について判断しているため、サーバ装置２０は、開始条件の判断において傾斜角度及び撮像時刻について判断してもよい。例えば、ステレオカメラ装置１０が、撮像位置及び撮像方向が送信条件を満たしたと判断し、比較画像及び撮像環境を送信した場合であっても、傾斜角度が、基準被写体が比較画像に写らない範囲であるために、開始条件を満たさないとサーバ装置２０が判断した場合には、較正パラメータ更新要求の生成を開始しない。これにより、サーバ装置２０は、ステレオカメラ装置１０において判断されていない項目について開始条件を判断するため、ステレオカメラ装置１０における送信条件の判断と合わせて、より多くの撮像環境の項目に基づいて、較正パラメータ更新要求を生成すべきか否かを判断できる。

撮像環境が開始条件を満たすと判断した後における、サーバ装置２０の処理は、第１実施形態と同様である。

図９は、第２実施形態に係るステレオカメラシステム１のサーバ装置２０の制御部２５が行う処理の一例を示すフローチャートである。

まず、制御部２５は、通信部２８を介して、ステレオカメラ装置１０から比較画像及び撮像環境を取得する（ステップＳ３０１）。

次に、制御部２５は、ステップＳ３０１で取得した撮像環境が開始条件を満たしているか否かを判断する（ステップＳ３０２）。

制御部２５は、撮像環境が開始条件を満たしていないと判断した場合（ステップＳ３０２のＮｏ）、較正パラメータ更新要求の生成を行わずに、このフローを終了する。

一方、制御部２５は、撮像環境が開始条件を満たしていると判断した場合（ステップＳ３０２のＹｅｓ）、記憶部２６に記憶された基準画像と、比較画像を比較する（ステップＳ３０３）。図９のフローにおけるステップＳ３０４からステップＳ３０９は、それぞれ図８におけるステップＳ２０３からステップＳ２０８と同様であるため、以下、フローの説明は省略する。

このように、本実施形態に係るステレオカメラシステム１によれば、ステレオカメラ装置１０が、撮像環境の一部に基づいて送信条件を判断し、サーバ装置２０が、撮像環境の全部又は一部について開始条件を判断する。そのため、ステレオカメラ装置１０における処理負担をさらに軽減できる。

なお、本発明は、上記実施の形態にのみ限定されるものではなく、幾多の変形または変更が可能である。例えば、各構成部に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部を１つに組み合わせたり、或いは分割したりすることが可能である。

例えば、第１及び第２実施形態において、サーバ装置２０は、比較画像を生成して、基準画像と比較画像とを比較すると説明したが、サーバ装置２０は、比較画像を生成することなく、ステレオカメラ装置１０から取得した撮像画像を、基準画像と比較してもよい。

また、第１及び第２実施形態において、ステレオカメラ装置１０は、位置情報取得部１２、方向情報取得部１３及び角度情報取得部１４を備えると説明したが、ステレオカメラ装置１０は、この形態に限られない。例えば、ステレオカメラ装置１０は、制御部１５による較正パラメータの更新処理方法によっては、位置情報取得部１２、方向情報取得部１３及び角度情報取得部１４の全てを必ずしも備えていなくてもよい。また、ステレオカメラ装置１０は、撮像位置、撮像方向、傾斜角度及び撮像時刻以外の撮像環境を取得可能な機能部を備えていてもよい。

サーバ装置２０は、撮像位置、撮像方向、傾斜角度及び撮像時刻以外の撮像環境に基づいて、較正パラメータ更新要求を生成してもよい。また、サーバ装置２０は、撮像環境の全てを、ステレオカメラ装置１０から取得しなくてもよい。サーバ装置２０は、例えば、撮像環境として取得した撮像位置及び撮像時刻に基づき、当該位置及び時刻における天候に関する情報（天候情報）を、通信部２８を介して、ステレオカメラ装置１０以外の情報源から取得してもよい。サーバ装置２０の制御部２５は、取得した天候情報に基づいて、撮像環境が開始条件を満たすか否かを判断してもよい。

また、サーバ装置２０は、較正パラメータ更新要求を生成しない場合、例えば一致条件を満たさないと判断した場合（図８におけるステップＳ２０４のＮｏ）又は較正パラメータの更新が必要でないと判断した場合（図８におけるステップＳ２０８のＮｏ）等に、ステレオカメラ装置１０に、較正パラメータの更新を行わないことを示す通知を送信してもよい。かかる通知により、ステレオカメラ装置１０は、較正パラメータの更新処理を実行しないことを確認できる。

また、ステレオカメラ装置１０とサーバ装置２０との接続環境によっては、ステレオカメラ装置１０は、撮像環境が送信条件を満たしたと判断した場合に、すぐに比較画像と撮像環境との情報をサーバ装置２０に送信しなくてもよい。ステレオカメラ装置１０は、サーバ装置２０と通信可能に接続された場合に、これらの情報をサーバ装置２０に送信すればよい。例えば、ステレオカメラ装置１０とサーバ装置２０とが、無線ＬＡＮ（Local Area Network）により接続されている場合、移動体３０に搭載されたステレオカメラ装置１０は、移動体３０が外出先を走行している間は情報を送信せず、移動体３０が自宅等に戻り、無線ＬＡＮによる接続が可能となった場合に情報を送信する。この場合、ステレオカメラ装置１０は、比較画像及び撮像環境等の情報を、サーバ装置２０に送信するまで、一時的に記憶部１６に記憶する。

また、上記実施形態において、サーバ装置２０は、基準被写体を無限遠に存在する基準として使用することにより、較正パラメータの更新要求を生成すると説明したが、較正パラメータの更新要求の生成は、基準被写体を無限遠に存在する基準として使用する方法に限られない。サーバ装置２０は、例えば、ステレオカメラ装置１０との距離が既知の有限距離にある基準被写体を基準として使用して、較正パラメータの更新要求を生成してもよい。この場合、サーバ装置２０は、撮像部１１Ｒ及び１１Ｌがそれぞれ撮像した撮像画像において生じる基準被写体の視差に基づいて、較正パラメータの更新処理を行う。

１ ステレオカメラシステム
１０ ステレオカメラ装置
１１ ステレオカメラ
１１Ｒ 第１の撮像部
１１Ｌ 第２の撮像部
１２ 位置情報取得部
１３ 方向情報取得部
１４ 角度情報取得部
１５ 制御部
１６ 記憶部
１７ 表示部
１８ 通信部
２０ サーバ装置
２５ 制御部
２６ 記憶部
２８ 通信部
３０ 移動体

Claims (6)

1. 撮像部を有するステレオカメラと、
   サーバ装置と通信を行うことにより、前記撮像部の撮像画像を前記サーバ装置に送信し、前記サーバ装置から、前記撮像画像の較正に用いる較正パラメータの更新に関する情報を取得する通信部と、
   前記撮像画像を撮像した所定の撮像環境を、該撮像画像に対応付けて取得する撮像環境取得部と、
   前記サーバ装置から取得した較正パラメータに関する情報に基づいて前記撮像画像を較正する制御部と、
   を備え、
   前記通信部は、前記撮像環境が所定の送信条件を満たす場合に、前記撮像画像を前記サーバ装置に送信するステレオカメラ装置。
2. 前記通信部は、前記撮像画像とともに、該撮像画像に対応付けられた前記撮像環境を前記サーバ装置に送信することを特徴とする、請求項１に記載のステレオカメラ装置。
3. 前記撮像環境は、前記撮像部が前記撮像画像を撮像した撮像位置、撮像方向、水平面に対する光軸の傾斜角度及び撮像時刻の少なくともいずれかであることを特徴とする、請求項１又は請求項２に記載のステレオカメラ装置。
4. 撮像画像を撮像し、較正パラメータにより前記撮像画像の較正を行う、ステレオカメラ装置と、
   前記ステレオカメラ装置と通信可能なサーバ装置と、を備え、
   前記サーバ装置は、前記ステレオカメラ装置から前記撮像画像を取得し、前記撮像画像と、所定の撮像位置から前記ステレオカメラ装置が撮像した場合の各画像において、理論上視差が発生しない距離以遠に存在する基準被写体を含む基準画像とを比較し、該比較の結果、所定の一致条件を満たす場合、前記撮像画像における前記基準被写体の座標に基づいて、前記較正パラメータに関する情報を生成し、該較正パラメータに関する情報を前記ステレオカメラ装置に送信し、
   前記ステレオカメラ装置は、前記サーバ装置から取得した前記較正パラメータに関する情報に基づいて前記撮像画像を較正する、ステレオカメラシステム。
5. 前記サーバ装置は、前記撮像画像及び前記基準画像における被写体の輪郭により前記比較を行なうことを特徴とする、請求項４に記載のステレオカメラシステム。
6. ステレオカメラ装置と、サーバ装置とを備えるステレオカメラシステムにおける制御方法であって、
   前記ステレオカメラ装置が、
   撮像画像を撮像するステップと、
   前記撮像画像を撮像した所定の撮像環境を、該撮像画像に対応付けて取得するステップと、
   前記撮像環境が所定の送信条件を満たす場合に、前記撮像画像を前記サーバ装置に送信するステップと、
   前記サーバ装置から取得した較正パラメータに関する情報に基づき、前記撮像画像を較正するステップと、
   前記サーバ装置が、
   前記ステレオカメラ装置から取得した前記撮像画像と、基準被写体を含む基準画像とを比較するステップと、
   該比較の結果、所定の一致条件を満たす場合、前記撮像画像における前記基準被写体の座標に基づいて、前記較正パラメータに関する情報を生成するステップと、
   前記生成した較正パラメータに関する情報を、前記ステレオカメラ装置に送信するステップと
   を含む制御方法。

Images