JP6899281B2 - パノラマ画像生成システム及び設定装置 - Google Patents

Description

本発明は、パノラマ画像生成システム、及び当該パノラマ画像生成システムで用いられる設定装置に関する。

高速道路や滑走路等の広範囲を監視するために、光軸の向きがそれぞれ異なる複数のカメラを用いて撮像した複数の撮像画像を合成して一つのパノラマ画像とする技術が種々提案されている。一つのパノラマ画像とするために複数のカメラの相対位置、方向、姿勢などを調整する必要がある。人手によって初期設定を行うのが一般的ではあるが、監視対象とする被写体の三次元モデルデータを用いてシミュレーションすることにより、パノラマ画像生成に用いる複数のカメラの位置及び方向を調整する技術も存在する（例えば、特許文献１を参照）。

特開２００７−６８０４１号公報

複数の固定カメラを組み合わせて比較的幅広い領域を監視するシステムでパノラマ画像を得ようとするとき、複数カメラの相対位置、方向、姿勢の初期調整を人手で実施するには多大な労力を要する。また、被写体の三次元モデルデータを用いて調整する技術は、監視対象となる被写体の三次元モデルデータが要求され、監視対象となる被写体毎に三次元モデルデータを用意する必要があるため煩雑である。

本発明はこれらの点に鑑みてなされたものであり、パノラマ画像生成に用いるカメラの光軸の設定を簡略化する技術を提供することを目的とする。

本発明の第１の態様は、複数のカメラと、前記複数のカメラそれぞれを固定する固定台を有し、各固定台の姿勢を変更可能なカメラ保持装置と、前記複数のカメラが撮像した画像が一つのパノラマ画像を構成するように前記カメラ保持装置の各固定台の姿勢を設定する設定装置と、を備えるパノラマ画像生成システムである。このシステムにおいて、前記設定装置は、前記複数のカメラそれぞれの画角、前記パノラマ画像中の領域であって前記複数のカメラそれぞれが撮像すべき領域の位置関係を示す情報、及び前記複数のカメラそれぞれの光軸の方向を格納するカメラ情報保持部と、前記複数のカメラのうちの一つのカメラを基準カメラとして受け付ける基準カメラ設定部と、前記位置関係を示す情報に基づいて、前記基準カメラの画角を基準として、各カメラの光軸の方向を決定する撮像方向決定部と、前記複数のカメラの光軸のそれぞれが、前記撮像方向決定部が決定した方向となるように、前記カメラ保持装置の各固定台の姿勢を変更する姿勢変更部と、を備える。

前記撮像方向決定部は、前記位置関係に基づいて、互いに隣り合う領域を撮像するカメラの画角が接するように、前記光軸の方向を決定してもよい。

前記設定装置は、前記基準カメラが撮像した第１画像と、前記光軸の向きを設定する設定対象カメラが撮像した第２画像とに共通に撮像されている被写体を構成する点である複数の特徴点を、前記第１画像と前記第２画像とのそれぞれにおいて抽出する特徴点抽出部と、前記特徴点それぞれの３次元座標を算出する座標算出部と、前記特徴点それぞれの３次元座標に関する最小二乗誤差平面である基準平面を特定する平面特定部と、をさらに備えてもよく、前記撮像方向決定部は、前記基準カメラの位置と前記第１画像における前記第２画像との連結点とを結ぶ直線と前記基準平面との交点と、前記設定対象カメラの位置と前記第２画像における前記第１画像との連結点とを結ぶ直線と前記基準平面との交点とが一致するように、前記設定対象カメラの光軸の方向を決定してもよい。

前記姿勢変更部は、前記基準カメラの光軸と前記設定対象カメラの光軸とのなす角度が段階的に変わるように前記設定対象カメラの光軸を変更してもよく、前記設定装置は、前記基準カメラの光軸と前記設定対象カメラとの光軸とのなす角の各段階において、前記基準カメラと前記設定対象カメラとで被写体を撮像させるカメラ制御部をさらに備えてもよい。

前記基準カメラ設定部は、前記撮像方向決定部によって前記光軸の方向が決定された前記設定対象カメラを新たな基準カメラとして設定してもよい。

本発明の第２の態様は、設定装置である。この装置は、複数のカメラそれぞれの画角、前記複数のカメラが撮像した画像で構成されるパノラマ画像中の領域であって前記複数のカメラそれぞれが撮像すべき領域の位置関係を示す情報、及び前記複数のカメラそれぞれの光軸の方向を格納するカメラ情報保持部と、前記複数のカメラのうちの一つのカメラを基準カメラとして受け付ける基準カメラ設定部と、前記位置関係を示す情報に基づいて、前記基準カメラの画角を基準として、各カメラの光軸の方向を決定する撮像方向決定部と、前記複数のカメラの光軸のそれぞれが、前記撮像方向決定部が決定した方向となるように、複数のカメラそれぞれを固定する固定台の姿勢を変更する姿勢変更部と、を備える。

本発明によれば、パノラマ画像生成に用いるカメラの光軸の設定を簡略化することができる。

実施の形態に係るパノラマ画像生成システムの利用シーンの一例を説明するための図である。 実施の形態に係るパノラマ画像生成システムの構成の概要を模式的に示す図である。 実施の形態に係る設定装置の機能構成を模式的に示す図である。 実施の形態に係るカメラ情報保持部に格納されているカメラ情報データベースのデータ構造を模式的に示す図である。 カメラの光軸方向の決定処理の一例を説明するための図である。 カメラの光軸方向の決定処理の別の例を説明するための図である。 第１画像と第２画像との連結を説明するための図である。 実施の形態に係る設定装置が実行するカメラ配置の設定処理の流れを説明するためのフローチャートである。

＜実施の形態の概要＞
図１及び図２を参照して、実施の形態の概要を述べる。
図１は、実施の形態に係るパノラマ画像生成システムの利用シーンの一例を説明するための図である。図１は、実施の形態に係るパノラマ画像生成システムを空港Ａにおける滑走路Ｒの監視に利用する場合の例を示している。

図２は、実施の形態に係るパノラマ画像生成システムＳの構成の概要を模式的に示す図である。実施の形態に係るパノラマ画像生成システムＳは、例えば図１における管制塔ＣＴに設置される。

図２に示すように、実施の形態に係るパノラマ画像生成システムＳは、設定装置１と、複数のカメラ２と、複数のカメラ２それぞれを保持する複数のカメラ保持装置３とを備える。複数のカメラ２と複数のカメラ保持装置３とは、それぞれ設定装置１と通信可能な態様で接続している。図２に示すように、カメラ２を並べる方向をＸ軸、カメラ２が撮像する方向をＺ軸とする右手直交座標系ＣＳを設定する。以下本明細書においては、パノラマ画像生成システムＳを基準として方向を特定する。

図２は、第１カメラ２ａ、第２カメラ２ｂ、及び第Ｎカメラ２ｎの３台のカメラ２を図示しているが、パノラマ画像生成システムＳが備えるカメラの数は３台に限られず、２台又は４台以上であってもよい。カメラ保持装置３の数も同様である。以下、第１カメラ２ａ、第２カメラ２ｂ、及び第Ｎカメラ２ｎを特に区別する場合を除いて、単に「カメラ２」と記載する。同様に、第１カメラ保持装置３ａ、第２カメラ保持装置３ｂ、及び第Ｎカメラ保持装置３ｎを特に区別する場合を除いて、単に「カメラ保持装置３」と記載する。

図１において、θ１で示す領域は第１カメラ２ａの視野、すなわち第１カメラ２ａの撮像範囲を示す。また、θ２で示す領域は第２カメラ２ｂの視野、すなわち第２カメラ２ｂの撮像範囲を示す。同様に、θ３で示す領域は第Ｎカメラ２ｎの視野、すなわち第Ｎカメラ２ｎの撮像範囲を示す。

ここで、カメラ２の視野は、カメラ２の光軸の向き、カメラ２の焦点距離、カメラ２が備えるイメージセンサ（不図示）のサイズ等によって定まる。実施の形態に係る設定装置１は、これらの情報を含むカメラ２の特性を示すカメラ情報を、カメラ情報データベースとしてあらかじめ備えている。

実施の形態に係るパノラマ画像生成システムＳは、広範囲にわたって存在する滑走路Ｒ等を監視対象とする。このため、実施の形態に係るパノラマ画像生成システムＳは、複数のカメラ２それぞれで撮像した画像を単につなぎ合わせるだけで一つのパノラマ画像となるように、各カメラ２の視野を決定する。具体的には、設定装置１は、カメラ情報を参照して各カメラ２が撮像した画像を解析することにより、パノラマ画像を生成するために各カメラ２の光軸の方向（すなわち、カメラ２の撮像方向）を決定する。

カメラ保持装置３はカメラ２を固定するための姿勢を変更可能な固定台を有している。設定装置１は、各カメラ２の光軸が解析によって決定した方向を向くように、カメラ保持装置３を制御して固定台の姿勢を変更する。これにより、実施の形態に係るパノラマ画像生成システムＳの利用者は、各カメラ２の位置と向きを大まかに定めて設置するだけで、各カメラ２の光軸の方向がパノラマ画像を生成するための方向に自動で設定される。

＜実施の形態に係る設定装置１の機能構成＞
図３は、実施の形態に係る設定装置１の機能構成を模式的に示す図である。実施の形態に係る設定装置１は、記憶部１０と制御部１１とを備える。

記憶部１０は、設定装置１を実現するコンピュータのＢＩＯＳ（Basic Input Output System）等を格納するＲＯＭ（Read Only Memory）や設定装置１の作業領域となるＲＡＭ（Random Access Memory）、ＯＳ（Operating System）やアプリケーションプログラム、当該アプリケーションプログラムの実行時に参照されるカメラ情報保持部１００を含む種々の情報を格納するＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の大容量記憶装置である。

図４は、実施の形態に係るカメラ情報保持部１００に格納されているカメラ情報データベースのデータ構造を模式的に示す図である。各カメラ２には、各カメラ２を一意に特定するためのカメラ識別子が割り当てられている。カメラ情報データベースは、カメラ識別子毎に、対応するカメラ２のカメラ情報を関連付けて記憶している。

図４は、カメラ識別子がＣＩＤ０００１であるカメラ２のカメラ情報を示している。図４に示すように、カメラ識別子がＣＩＤ０００１であるカメラ２の画角はθであり、パノラマ画像における位置関係として、行番号がｒ、列番号がｃであり、Ｙ軸方向の光軸の傾きがα、Ｘ軸方向の光軸の傾きがβ、Ｚ軸方向の光軸の傾きがγであることを示している。以下同様である。

なお、パノラマ画像における行番号がｒ、列番号がｃとは、複数の撮像画像を並べて生成されたパノラマ画像のうち、カメラ識別子がＣＩＤ０００１であるカメラ２が撮像した画像は、左からｃ番目、上からｒ番目に配置されることを意味する。換言すると、カメラ識別子がＣＩＤ０００１であるカメラ２は、パノラマ画像において左からｃ番目、上からｒ番目の領域を撮像すべきであることを意味する。

図３の説明に戻る。制御部１１は、設定装置１のＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等のプロセッサであり、記憶部１０に記憶されたプログラムを実行することによって情報読出部１１０、基準カメラ設定部１１１、撮像方向決定部１１２、姿勢変更部１１３、カメラ制御部１１４、特徴点抽出部１１５、座標算出部１１６、連結点取得部１１７、及び平面特定部１１８として機能する。

情報読出部１１０は、カメラ情報保持部１００からカメラ情報を読み出す。基準カメラ設定部１１１は、複数のカメラ２のうちの一つのカメラ２を基準カメラとして受け付ける。「基準カメラ」とは、各カメラ２の光軸の方向を決定する際の基準となるカメラ２である。基準カメラ設定部１１１は、設定装置１が備える図示しないユーザインタフェースを介して設定装置１のユーザが指定したカメラ２を基準カメラとして受け付ける。

撮像方向決定部１１２は、情報読出部１１０が読み出したカメラ情報に含まれる位置関係を示す情報に基づいて、基準カメラの画角を基準として、各カメラの光軸の方向を決定する。具体的には、撮像方向決定部１１２は、位置関係を示す情報に基づいて、基準カメラが撮像すべき領域と隣接する領域を撮像するカメラ２を設定対象カメラとして選択する。

ここで、基準カメラ設定部１１１は、撮像方向決定部１１２によって光軸の方向が決定されたカメラ２を新たな基準カメラとして設定する。これを繰り返すことにより、撮像方向決定部１１２は、複数のカメラ２それぞれの光軸の方向を決定することができる。なお、撮像方向決定部１１２による光軸方向の決定処理の詳細は後述する。

姿勢変更部１１３は、複数のカメラ２の光軸のそれぞれが、撮像方向決定部１１２が決定した方向となるように、カメラ保持装置３の各固定台３０の姿勢を変更する。カメラ保持装置３は固定台３０の姿勢を調整するためのモータ（不図示）が備えられている。姿勢変更部１１３は、撮像方向決定部１１２が決定した方向に基づいてモータの動作を制御することにより、各カメラ２の光軸の方向を設定する。

このように、実施の形態に係る設定装置１は、パノラマ生成用の各カメラ２の光軸の方向を決定するとともに、各カメラ２を備え付けるためのカメラ保持装置３の姿勢を自動で調整する。すなわち、実施の形態に係る設定装置１は、パノラマ画像生成システムＳの初期設定を自動で実施する。ひとたび設定装置１が各カメラ２の光軸の方向を調整し終えれば、各カメラ２が撮像した画像を位置関係を示す情報に基づいて配置して連結するだけで、パノラマ画像を生成することができる。

滑走路Ｒの監視等のパノラマ画像生成システムＳの運用時には、パノラマ画像を短時間（好ましくはリアルタイム）で生成する必要がある。実施の形態に係る設定装置１によってカメラ２が初期設定されていれば、パノラマ画像の生成時に画像間の位置合わせ処理等が抑制できるため、パノラマ画像生成の処理速度を向上することができる。

続いて、カメラ２の光軸方向の決定処理について説明する。
図５は、カメラ２の光軸方向の決定処理の一例を説明するための図である。具体的には、図５は、複数のカメラ２を設置したときに、隣接するカメラ２間の距離Ｄ１が、カメラ２から監視対象までの距離Ｄ２と比較して十分短く、距離Ｄ１を無視できる場合の例を示している。これは、監視対象が無限遠に存在することを仮定できる場合の例ということもできる。

図５において、破線の矢印Ｏ１、Ｏ２、及びＯＮは、それぞれ第１カメラ２ａ、第２カメラ２ｂ、及び第Ｎカメラ２ｎの光軸の方向を示している。また、第１カメラ２ａ、第２カメラ２ｂ、及び第Ｎカメラ２ｎの画角は、それぞれθ１、θ２、及びθＮで示されている。

図５に示すように、監視対象が無限遠に存在することを仮定できる場合、撮像方向決定部１１２は、カメラ２の位置関係に基づいて、互いに隣り合う領域を撮像するカメラの画角が接するように、各カメラ２の光軸の方向を決定する。姿勢変更部１１３は、撮像方向決定部１１２が決定した方向に基づいてモータの動作を制御することにより、各カメラ２の光軸の方向を設定する。

これにより、互いに隣り合う領域を撮像するカメラ２が撮像した二つの画像は、境界においてスムーズに接続するようになる。結果として、各カメラ２が撮像した画像を位置関係に基づいて並べるだけで、パノラマ画像生成システムＳのユーザはパノラマ画像を生成することができる。

図６は、カメラ２の光軸方向の決定処理の別の例を説明するための図である。具体的には、図６は、隣接するカメラ２間の距離Ｄ１が、カメラ２から監視対象までの距離Ｄ２と比較して無視できない場合の光軸方向の決定処理を説明するための図である。

図６において、第１カメラ２ａが光軸方向を決定する際の基準となる基準カメラであり、第２カメラ２ｂが光軸方向を決定すべき設定対象カメラである。第１カメラ２ａ及び第２カメラ２ｂは、右手直交座標系ＣＳにおけるＸ軸上に配置されている。したがって、以下本明細書において、基準カメラが配置されている点を点２ａ、設定対象カメラが配置されている点を点２ｂと記載することがある。

図６において、第１画像Ｉ１は基準カメラである第１カメラ２ａが撮像する画像であり、第２画像Ｉ２は設定対象カメラである第２カメラ２ｂが撮像する画像である。さらに、図６において、符号Ｏで示す斜線の物体は、第１画像Ｉ１と第２画像Ｉ２とに共通に撮像されている共通被写体Ｏである。共通被写体Ｏは、第１画像Ｉ１及び第２画像Ｉ２においては、それぞれ第１被写体像Ｏ１及び第２被写体像Ｏ２として撮像されている。

なお、右手直交座標系ＣＳにおける第１画像Ｉ１の位置は、第１カメラ２ａの焦点距離及び共通被写体ＯのＺ座標等に基づいて、例えば既知のピンホールカメラモデルに基づいて算出できる。第２画像Ｉ２の位置についても同様である。

第１画像Ｉ１中に第１被写体像Ｏ１として撮像されている共通被写体Ｏを第２カメラ２ｂで撮像させるために、姿勢変更部１１３は、基準カメラである第１カメラ２ａの光軸と設定対象カメラである第２カメラ２ｂの光軸とのなす角度が段階的に変わるように第２カメラ２ｂの光軸を変更する。カメラ制御部１１４は、姿勢変更部１１３と連動して、第１カメラ２ａの光軸と第２カメラ２ｂとの光軸とのなす角の各段階において、第１カメラ２ａと第２カメラ２ｂとで被写体を撮像させる。

より具体的には、姿勢変更部１１３は、まず第１カメラ２ａの光軸と第２カメラ２ｂの光軸とのなす角度を０度、すなわち、第１カメラ２ａの光軸と第２カメラ２ｂの光軸とが平行となるように、第２カメラ２ｂの光軸の方向を変更する。この状態で、カメラ制御部１１４は、第１カメラ２ａと第２カメラ２ｂとに撮像させる。

続いて、姿勢変更部１１３は、第１カメラ２ａの光軸と第２カメラ２ｂの光軸とのなす角度が所定の角度δとなるように、第２カメラ２ｂの光軸の方向を変更する。なお、カメラ制御部１１４は、第１カメラ２ａと光軸が所定の角度δに変更された第２カメラ２ｂによって撮像させる。

ここで「所定の角度δ」とは、第１画像Ｉ１と第２画像Ｉ２とに共通被写体Ｏが撮像されるように第２カメラ２ｂの光軸を調整する際に、姿勢変更部１１３が参照する「光軸調整単位角」である。光軸調整単位角の具体的な値は、カメラ２と監視対象との間の距離及びカメラ２の特性を示すカメラ情報等を勘案して実験により定めればよいが、１例としては５度である。姿勢変更部１１３は、第１カメラ２ａの光軸と第２カメラ２ｂの光軸とのなす角が０度から調整最大角となるまで、δずつ段階的に変更する。

「調整最大角」も、第１画像Ｉ１と第２画像Ｉ２とに共通被写体Ｏが撮像されるように第２カメラ２ｂの光軸を調整する際に、姿勢変更部１１３が参照するパラメータである。調整最大角度の具体的な値は、光軸調整単位角と同様に、カメラ２と監視対象との間の距離及びカメラ２の特性を示すカメラ情報等を勘案して実験により定めればよいが、１例としては２０度である。

このように、姿勢変更部１１３が第１カメラ２ａの光軸と第２カメラ２ｂの光軸とのなす角度を段階的に変化させながらカメラ制御部１１４が第１カメラ２ａと第２カメラ２ｂとに撮像させることにより、第１画像Ｉ１と第２画像Ｉ２とに共通被写体Ｏを撮像させることができる。

特徴点抽出部１１５は、基準カメラである第１カメラ２ａが撮像した第１画像Ｉ１と、設定対象カメラである第２カメラ２ｂが撮像した第２画像Ｉ２とに共通に撮像されている共通被写体Ｏを構成する点である複数の特徴点を、第１画像Ｉ１と第２画像Ｉ２とのそれぞれにおいて抽出する。複数の特徴点の具体例としては、図６において第１被写体像Ｏ１を構成する点の一つである点Ｐ１と、点Ｐ１と対応する第２被写体像Ｏ２を構成する点である点Ｐ２である。特徴点抽出部１１５は、例えば既知の特徴点検出アルゴリズムであるＳＩＦＴ（Scale Invariant Feature Transform）を用いることにより、複数の特徴点を抽出することができる。

座標算出部１１６は、特徴点抽出部１１５が抽出した特徴点それぞれの３次元座標を算出する。上述したように、カメラ制御部１１４は、第１カメラ２ａの光軸と第２カメラ２ｂの光軸とのなす角度が異なる複数の第２画像Ｉ２を撮像する。これは、カメラ制御部１１４が、第１カメラ２ａと第２カメラ２ｂとを用いて、複数の異なる視点から共通被写体Ｏが撮像された画像を生成することを意味する。

ここで、３つの異なる視点から撮像された共通被写体Ｏにおける特徴点（すなわち、各撮像画像における共通被写体Ｏの対応点）から、撮像に用いられた各カメラ２の３次元位置及び各特徴点の３次元座標を推定する技術は既知である。座標算出部１１６は、既知の技術を用いて、特徴点抽出部１１５が抽出した特徴点それぞれの右手直交座標系ＣＳにおける３次元座標を算出する。

連結点取得部１１７は、第１画像Ｉ１において第２画像Ｉ２と連結すべき第１連結点と第２連結点とを選択する。また、連結点取得部１１７は、第２画像Ｉ２において同様に第１画像Ｉ１の二つの連結点と対応する点である第１連結点と第２連結点とも選択する。

図７は、第１画像Ｉ１と第２画像Ｉ２との連結を説明するための図である。図７において、符号Ｑ１ａで示す点は、第１画像Ｉ１において第２画像Ｉ２と連結すべき基準側第１連結点Ｑ１ａである。また、符号Ｑ１ｂで示す点は、基準側第１連結点Ｑ１ａに対応する第２画像Ｉ２における連結点である設定側第１連結点Ｑ１ｂである。同様に、符号Ｑ２ａで示す点は、第１画像Ｉ１において第２画像Ｉ２と連結すべき基準側第２連結点Ｑ２ａである。また、符号Ｑ２ｂで示す点は、基準側第２連結点Ｑ２ａに対応する第２画像Ｉ２における連結点である設定側第２連結点Ｑ２ｂである。

連結点取得部１１７は、カメラ情報に含まれる位置関係に基づいて、パノラマ画像生成時に第１画像Ｉ１と第２画像Ｉ２とのそれぞれが接すべき辺を選択し、各画像における辺の両端を連結点Ｑとして選択する。図７に示す例では、第１画像Ｉ１の図中右側の辺と第２画像Ｉ２の図中左側の辺とが接する。したがって、連結点取得部１１７は、第１画像Ｉ１の右上頂点及び右下の頂点を連結点として選択している。同様に、連結点取得部１１７は、第２画像Ｉ２の左上の頂点及び左下の頂点を連結点として選択している。

基準側第１連結点Ｑ１ａに撮像されている被写体と設定側第１連結点Ｑ１ｂに撮像されている被写体とが一致し、かつ、基準側第２連結点Ｑ２ａに撮像されている被写体と設定側第２連結点Ｑ２ｂに撮像されている被写体とが一致すれば、第１画像Ｉ１と第２画像Ｉ２とは境界でスムーズに接続する。

そこで、平面特定部１１８は、第１連結点に撮像されている被写体と第２連結点に撮像されている被写体とを一致させる際に基準となる基準平面Ｔを特定する。具体的には、平面特定部１１８は、特徴点抽出部１１５によって抽出された複数の特徴点に基づいて、基準平面Ｔを特定する。

上述したように、特徴点抽出部１１５が抽出する特徴点は、第１画像Ｉ１と第２画像Ｉ２とに共通して撮像されている共通被写体Ｏの像を構成する点である。ここで、第１画像Ｉ１と第２画像Ｉ２とは監視対象を撮像するパノラマ画像を構成する画像である。すなわち、第１画像Ｉ１と第２画像Ｉ２とには、監視対象が共通被写体Ｏとなる蓋然性が高いと考えられる。

そこで、平面特定部１１８は、特徴点抽出部１１５が抽出した複数の特徴点からの距離の二乗和が小さくなるような平面を基準平面Ｔとして特定する。これはすなわち、基準平面Ｔは、特徴点抽出部１１５が抽出した特徴点それぞれの３次元座標に関する最小二乗誤差平面であることを意味する。これにより、平面特定部１１８は、パノラマ画像生成システムＳの監視対象を多く含むと考えられる特徴点からの距離の二乗和が最小となる意味において監視対象に最も近い平面を、基準平面Ｔとして特定することができる。

ここで、特徴点抽出部１１５が抽出した特徴点のうち、基準側第１連結点Ｑ１ａ又は基準側第２連結点Ｑ２ａに近い特徴点は、第２カメラ２ｂの光軸の方向を調整した後に撮像された第２画像Ｉ２にも存在する蓋然性が高いと考えられる。

そこで、平面特定部１１８は、特徴点抽出部１１５が抽出した特徴点それぞれの３次元座標に関する重み付最小二乗誤差平面を基準平面Ｔとして特定してもよい。具体的には、平面特定部１１８は、特徴点抽出部１１５が抽出した特徴点のうち、基準側第１連結点Ｑ１ａ又は基準側第２連結点Ｑ２ａとの距離が短い特徴点ほど大きな重みがかかる重み付二乗誤差を最小にするという意味において最適な３次元平面を基準平面Ｔとして特定してもよい。

これにより、第２カメラ２ｂの光軸の調整後にも第２画像Ｉ２に存在する特徴点を重視して特定された基準平面Ｔに基づいて第２カメラ２ｂの光軸の方向が決定されるので、第１画像Ｉ１と第２画像Ｉ２との連結の精度をより高めることができる。

平面特定部１１８によって基準平面Ｔが特定されると、撮像方向決定部１１２は、基準カメラの位置である点２ａと基準側第１連結点Ｑ１ａとを結ぶ直線Ｌ１が基準平面Ｔと交わる交点Ｘ１を算出する。また、撮像方向決定部１１２は、設定対象カメラの位置である点２ｂと設定側第１連結点Ｑ１ｂとを結ぶ直線Ｌ２が基準平面Ｔと交わる交点Ｘ２も算出する。撮像方向決定部１１２は、交点Ｘ１と交点Ｘ２とが一致するように、設定対象カメラである第２カメラ２ｂの光軸の方向を決定する。

同様に、撮像方向決定部１１２は、基準カメラの位置である点２ａと基準側第２連結点Ｑ２ａとを結ぶ直線Ｌ３が基準平面Ｔと交わる交点Ｘ３と、設定対象カメラの位置である点２ｂと設定側第２連結点Ｑ２ｂとを結ぶ直線Ｌ４が基準平面Ｔと交わる交点Ｘ４とが一致するように、設定対象カメラである第２カメラ２ｂの光軸の方向を決定する。

姿勢変更部１１３は、第２カメラ２ｂの光軸の方向が撮像方向決定部１１２によって定められた方向となるように、第２カメラ保持装置３ｂの固定台３０の姿勢を変更する。基準カメラ設定部１１１は、撮像方向決定部１１２によって光軸の方向が決定され、姿勢変更部１１３によって光軸の方向が調整された設定対象カメラである第２カメラ２ｂを新たな基準カメラとして設定する。

以上の光軸の決定及び光軸の調整処理を繰り返すことにより、設定装置１は、全てのカメラ２の光軸の方向を設定することができる。

＜設定装置１が実行するカメラ配置の設定処理の処理フロー＞
図８は、実施の形態に係る設定装置１が実行するカメラ配置の設定処理の流れを説明するためのフローチャートである。本発明における処理は、例えば設定装置１の電源を投入したときに開始する。

情報読出部１１０は、カメラ情報保持部１００からカメラ情報を読み出して取得する（Ｓ２）。基準カメラ設定部１１１は、設定装置１が備える図示しないユーザインタフェースを介して、設定装置１のユーザが指定したカメラ２を基準カメラとして受け付けて取得する（Ｓ４）。

撮像方向決定部１１２は、基準カメラ設定部１１１が取得した基準カメラと、情報読出部１１０が読み出したカメラ情報に含まれる位置関係を示す情報とに基づいて、光軸の方向を決定するべき設定対象カメラを選択する（Ｓ６）。カメラ制御部１１４は、基準カメラが撮像する画像と設定対象カメラが撮像する画像とが共通被写体Ｏを含むように、基準カメラと設定対象カメラとが撮像した画像を取得する（Ｓ８）。

特徴点抽出部１１５は、基準カメラが撮像した第１画像Ｉ１と、設定対象カメラが撮像した第２画像Ｉ２とに共通に撮像されている共通被写体Ｏを構成する点である複数の特徴点を抽出する（Ｓ１０）。座標算出部１１６は、特徴点抽出部１１５が抽出した特徴点それぞれの右手直交座標系ＣＳにおける３次元座標を算出する（Ｓ１２）。

平面特定部１１８は、座標算出部１１６が算出した特徴点それぞれの３次元座標に関する重み付最小二乗誤差平面である基準平面Ｔを特定する（Ｓ１４）。連結点取得部１１７は、基準カメラが撮像した第１画像Ｉ１と、設定対象カメラが撮像した第２画像Ｉ２とを連結すべき連結点を取得する（Ｓ１６）。

撮像方向決定部１１２は、基準カメラの位置と第１画像Ｉ１における連結点とを結ぶ直線が基準平面Ｔと交わる点と、設定対象カメラの位置と第２画像Ｉ２における連結点とを結ぶ直線が基準平面Ｔと交わる点とが一致するように、設定対象カメラの光軸の方向を決定する（Ｓ１８）。

姿勢変更部１１３は、設定対象カメラの光軸が、撮像方向決定部１１２が決定した方向となるように、カメラ保持装置３の各固定台３０の姿勢を変更する（Ｓ２０）。全てのカメラ２の光軸の方向を設定し終えるまでの間（Ｓ２２のＮｏ）、基準カメラ設定部１１１は、姿勢変更部１１３によって光軸の方向が調整された設定対象カメラである第２カメラ２ｂを新たな基準カメラとして設定する（Ｓ４）。以後、ステップＳ６からステップＳ２０までの処理を繰り返す。

姿勢変更部１１３が全てのカメラ２の光軸の方向を設定し終えると（Ｓ２２のＹｅｓ）、本フローチャートにおける処理は終了する。

＜実施の形態に係る設定装置１が奏する効果＞
以上説明したように、実施の形態に係る設定装置１によれば、パノラマ画像生成システムＳのユーザの手を煩わせることなく、パノラマ画像生成に用いる複数のカメラ２の光軸を簡便に設定することができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

＜第１の変形例＞
上記では、平面特定部１１８が、特徴点からの距離の二乗誤差に基づいて平面を特定する場合について説明した。しかしながら、平面特定部１１８が平面を特定するために参照する基準は、特徴点からの距離の二乗誤差以外であってもよい。例えば、平面特定部１１８は、特徴点からの距離の絶対値（１ノルム）に基づいて平面を特定してもよい。

＜第２の変形例＞
上記では、基準カメラ設定部１１１が、設定装置１が備える図示しないユーザインタフェースを介して、設定装置１のユーザが指定したカメラ２を基準カメラとして受け付ける場合について説明した。これに替えて、基準カメラ設定部１１１は、カメラ情報に含まれる位置関係に基づいて、基準カメラを自動で特定してもよい。具体的には、基準カメラ設定部１１１は、カメラ情報に含まれる位置関係を参照してパノラマ画像の端部に配置される画像を撮像するカメラ２を基準カメラとする。これにより、パノラマ画像生成システムＳの設置時におけるユーザの作業をさらに省略することができる。

１・・・設定装置
２・・・カメラ
３・・・カメラ保持装置
１０・・・記憶部
１１・・・制御部
３０・・・固定台
１００・・・カメラ情報保持部
１１０・・・情報読出部
１１１・・・基準カメラ設定部
１１２・・・撮像方向決定部
１１３・・・姿勢変更部
１１４・・・カメラ制御部
１１５・・・特徴点抽出部
１１６・・・座標算出部
１１７・・・連結点取得部
１１８・・・平面特定部
Ｓ・・・パノラマ画像生成システム

Claims (4)

1. 複数のカメラと、
   前記複数のカメラそれぞれを固定する固定台を有し、各固定台の姿勢を変更可能なカメラ保持装置と、
   前記複数のカメラが撮像した画像が一つのパノラマ画像を構成するように前記カメラ保持装置の各固定台の姿勢を設定する設定装置と、
   を備えるパノラマ画像生成システムであって、
   前記設定装置は、
   前記複数のカメラそれぞれの画角、前記パノラマ画像中の領域であって前記複数のカメラそれぞれが撮像すべき領域の位置関係を示す情報、及び前記複数のカメラそれぞれの光軸の方向を格納するカメラ情報保持部と、
   前記複数のカメラのうちの一つのカメラを基準カメラとして受け付ける基準カメラ設定部と、
   前記基準カメラが撮像した第１画像と、前記光軸の向きを設定する設定対象カメラが撮像した第２画像とに共通に撮像されている被写体を構成する点である複数の特徴点を、前記第１画像と前記第２画像とのそれぞれにおいて抽出する特徴点抽出部と、
   前記特徴点それぞれの３次元座標を算出する座標算出部と、
   前記特徴点それぞれの３次元座標に関する最小二乗誤差平面である基準平面を特定する平面特定部と、
   前記基準カメラの位置と前記第１画像における前記第２画像との連結点とを結ぶ直線と前記基準平面との交点と、前記設定対象カメラの位置と前記第２画像における前記第１画像との連結点とを結ぶ直線と前記基準平面との交点とが一致するように、前記設定対象カメラの光軸の方向を決定する撮像方向決定部と、
   前記設定対象カメラの光軸が、前記撮像方向決定部が決定した方向となるように、前記カメラ保持装置の固定台の姿勢を変更する姿勢変更部と、
   を備えるパノラマ画像生成システム。
2. 前記姿勢変更部は、前記基準カメラの光軸と前記設定対象カメラの光軸とのなす角度が段階的に変わるように前記設定対象カメラの光軸を変更し、
   前記設定装置は、前記基準カメラの光軸と前記設定対象カメラとの光軸とのなす角の各段階において、前記基準カメラと前記設定対象カメラとで被写体を撮像させるカメラ制御部をさらに備える、
   請求項１に記載のパノラマ画像生成システム。
3. 前記基準カメラ設定部は、前記撮像方向決定部によって前記光軸の方向が決定された前記設定対象カメラを新たな基準カメラとして設定する、
   請求項１又は２に記載のパノラマ画像生成システム。
4. 複数のカメラそれぞれの画角、前記複数のカメラが撮像した画像で構成されるパノラマ画像中の領域であって前記複数のカメラそれぞれが撮像すべき領域の位置関係を示す情報、及び前記複数のカメラそれぞれの光軸の方向を格納するカメラ情報保持部と、
   前記複数のカメラのうちの一つのカメラを基準カメラとして受け付ける基準カメラ設定部と、
   前記基準カメラが撮像した第１画像と、前記光軸の向きを設定する設定対象カメラが撮像した第２画像とに共通に撮像されている被写体を構成する点である複数の特徴点を、前記第１画像と前記第２画像とのそれぞれにおいて抽出する特徴点抽出部と、
   前記特徴点それぞれの３次元座標を算出する座標算出部と、
   前記特徴点それぞれの３次元座標に関する最小二乗誤差平面である基準平面を特定する平面特定部と、
   前記基準カメラの位置と前記第１画像における前記第２画像との連結点とを結ぶ直線と前記基準平面との交点と、前記設定対象カメラの位置と前記第２画像における前記第１画像との連結点とを結ぶ直線と前記基準平面との交点とが一致するように、前記設定対象カメラの光軸の方向を決定する撮像方向決定部と、
   前記設定対象カメラの光軸が、前記撮像方向決定部が決定した方向となるように、前記設定対象カメラを固定する固定台の姿勢を変更する姿勢変更部と、
   を備える設定装置。

Images