JP5854951B2 - パノラマ画像生成装置 - Google Patents

Description

本発明は、ビルや鉄塔などの大きな構造物を被写体とし、チルトやパーンといった視野移動の区間およびズーム区間を含む映像データから、当該被写体の全景を把握できるパノラマ画像を生成、表示し、このパノラマ画像上で指定された位置の拡大画像を映像データから切り出して表示できるパノラマ画像生成装置に関する。

鉄塔のボルト検査や高層ビルの外壁検査といった巨大な構造物の検査では、鉄骨や壁面の全てを作業者が直視により確認することが難しいことから、構造物を撮影した映像に基づいて外観検査等が行われる。このとき、動画の映像データでは検査が難しいことから、映像データから抽出した各フレーム画像を結合して被写体のパノラマ画像を生成し、このパノラマ画像に基づいて外観検査が行われることがある。

非特許文献１には、主に風景や街並など、フレームに収まり切らない自然画像を対象として、個別に撮影された撮影順および間隔が不明な写真群から、自動的にパノラマ画像を生成する技術が開示されている。

非特許文献２には、非特許文献１と同様に主に自然を対象として、画像データに加え、映像データを入力とすることで、パノラマ画像を生成する技術が開示されている。

これらの従来技術は、(1)全体の画像群の各画像に対して画像から局所特徴量を算出する技術、(2)抽出した各局所特徴量に対して全画像中の局所特徴量を対象として類似する局所特徴量を検索する技術、(3)各画像に対して先に算出した局所特徴量の類似する特徴点数に基づいて結合するべき複数の画像を算出する技術、(4)各画像中の各局所特徴点に対して、類似する局所特徴点の信頼度を幾何拘束条件に基づき算出し、信頼度の高い局所特徴量の対応組を利用して画像間のホモグラフィを算出する技術、(5)各画像に対して結合する画像の組み合わせの信頼度を確率モデルに基づき推定し選択する技術、(6)バンドル調整に基づき各画像を結合する技術、および(7)結合した画像の色味などを調整する画質調整部で構成される。

BROWN M. , Automatic panoramic image stitching using invariant features, International Journal of Computer Vision 74(1), 59-73, 2007. Microsoft Research, Image Composite Editor, 2011.5.

構造物の外観検査には、壁面などを高倍率で撮影したズーム映像が必要となる一方、ズーム映像のみでは、何らかの不具合を発見できたときでも、それが構造物全体のどの位置であるのかを判別できないので、その後の改修作業時に不具合箇所を特定することが難しくなる。したがって、特に映像を利用した外観検査では、ズーム映像が構造物のどの位置に相当するのかを簡単に把握できるようにすることが望ましい。

しかしながら、従来技術では映像データから被写体のパノラマ画像が生成されるのみなので、パノラマ画像に基づいて外観検査を行わなければならなかった。

本発明の目的は、上記の技術課題を解決し、映像データから生成されたパノラマ画像上で所望位置を指定すると、当該位置に対応した拡大画像が映像データから切り出されて表示され、この拡大画像を用いた不具合箇所の発見、およびパノラマ画像を用いた不具合箇所の位置把握とを同時かつ容易に行えるパノラマ画像の生成装置を提供することにある。

上記の目的を達成するために、本発明は、被写体の全景が複数のフレームに一部分ずつ含まれる映像データから当該被写体のパノラマ画像を生成するパノラマ画像生成装置において、被写体を撮影した映像データからチルトやパーンといった視野の移動区間およびズーム区間を検出する手段と、各ズーム区間のズーム率を検出する手段と、各移動区間のフレーム画像を合成して当該移動区間を画像範囲とする移動区間画像を作成する手段と、各移動区間画像を、これに隣接するズーム区間のズーム率に基づいて拡縮する手段と、拡縮された各移動区間画像を結合してパノラマ画像を生成する手段と、各フレーム画像のフレーム識別子とパノラマ画像における各フレーム画像の占有位置とを紐付ける手段と、表示されたパノラマ画像上での指定位置に対応したフレーム識別子を前記紐付けに基づいて検出する手段と、検出されたフレーム識別子に対応した被写体の画像を映像データから切り出して再生する手段とを具備した。

本発明によれば、映像データから生成された対象物のパノラマ画像上で所望位置が指定されると、当該位置に対応したフレーム画像や動画が映像データから拡大画像として切り出されて表示されるので、フレーム画像等の拡大画像を用いた不具合箇所の発見、およびパノラマ画像を用いた不具合箇所の位置把握とを同時かつ容易に行えるようになる。

本発明に係るパノラマ画像生成装置の構成を示したブロック図である。 本発明の一実施形態の動作を示したフローチャートである。 オプティカルフローの算出方法を示した模式図である。 オプティカルフローにおける移動方向の量子化方法を示した図である。 オプティカルフローに基づくチルト区間の判別方法を示した図である。 オプティカルフローに基づくズームイン区間の判別方法を示した図である。 オプティカルフローに基づくズームアウト区間の判別方法を示した図である。 合成フレームの選択方法を示した模式図である。 映像データがチルト、ズーム、静止の各区間に分類される様子を示した図である。 本発明による被写体の観察方法を示したフローチャートである。 パノラマ画像の表示例を示した図である。 パノラマ画像上で指定された箇所が拡大表示される様子を示した図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明に係るパノラマ画像生成装置１の主要部の構成を示したブロック図であり、ここでは、本発明の説明に不要な構成は図示が省略されている。

本発明のパノラマ画像生成装置１は、被写体がビルや鉄塔といった巨大な構造物であって、その全景を高解像度で一つのフレーム内に写し込むことができない場合などに、被写体の各部が複数フレームに分散された映像データから当該被写体のパノラマ画像を生成する。さらに、当該パノラマ画像と映像データのフレームとを対応付けることにより、パノラマ画像上で詳細に観察したい位置が指定されると、当該位置と対応付けられたフレーム画像に基づいて詳細に観察できるように構成されている。

映像データ取得手段１０は、被写体の主要部が一端側から他端側まで漏れなく、パーンまたはチルト（縦パーン）およびズームを繰り返して撮影され、各フレームに被写体の部分映像が含まれる動画の映像データVをフレーム単位で取得する。映像分析部１１は、映像データVの各フレームに含まれる特徴点の局所特徴量を算出する局所特徴量算出部１１ａおよびフレーム間の各特徴点の類似度をその局所特徴量に基づいて算出する類似度出部１１ｂを備える。局所特徴量は、例えば非特許文献1の著者らが考案したSIFT検出器を利用することによりSIFT記述子で表現される。

カメラワーク検出部１２は、オプティカルフロー算出部１２ａ、オプティカルフロー集計部１２ｂおよびカメラワーク判定部１２ｃを備え、後に詳述するように、映像データVを分析してパーン区間やチルト区間といった視野移動区画、ズーム（イン／アウト）区間ならびに各ズーム区間のズーム率等のカメラワークを検出する。

移動区間画像生成部１３は、後に詳述するように、合成対象のフレームを選択するフレーム選択部１３ａおよび前記選択されたフレームを合成し、チルト区間またはパーン区間ごとに当該区間を画像範囲とする移動区間画像Imvを作成する合成部１３ｂを含む。

拡縮部１４は、ズーム区間の前後でズーム率の異なる各移動区間画像Imvの少なくとも一方を各ズーム区間のズーム率に基づいて拡縮する。パノラマ画像生成部１５は、前記拡縮後の各移動区間画像Imvを結合して被写体のパノラマ画像Ipanoを生成し、各フレーム画像のフレーム識別子と前記パノラマ画像Ipanoにおける各フレーム画像の占有位置とを紐付ける紐付情報を前記紐付情報生成部１５ａで生成、管理する。データベース１６には、前記映像データV、パノラマ画像Ipanoおよびパノラマ画像Ipanoの各部の位置と当該位置に対応したフレーム番号とを対応付ける紐付情報が格納される。

再生制御部１７は、前記パノラマ画像Ipanoを表示するパノラマ画像表示部１７ａ、パノラマ画像Ipanoの表示中に指定位置の拡大要求が入力操作部１８から出力されると、当該位置と対応付けられたフレーム番号を前記紐付情報に基づいて検出する対応フレーム検出部１７ｂおよび当該フレーム番号に対応したフレーム画像または当該フレーム位置近傍の動画を前記映像データVから切り出して再生する対応映像再生部１７ｃを含む。

次いで、図２のフローチャートを参照して本発明の一実施形態の動作について説明する。ステップＳ１では、映像データ取得部１０により取得された映像データVから、映像分析部１１により最初のフレームが今回フレームとして取り込まれる。ステップＳ２では、前回フレームが取り込み済みであるか否かが判定され、最初は取り込み済みではないと判定されるのでステップＳ３へ進む。ステップＳ３では、今回フレームが前回フレームとして保持されてステップＳ１へ戻る。

ステップＳ１では、時系列で次のフレームが今回フレームとして取り込まれる。ステップＳ２では、前回フレームが存在すると判定されるのでステップＳ４へ進む。ステップＳ４では、前記局所特徴量算出部１１ａにより、前回フレームおよび今回フレームから特徴点が検出され、各特徴点の局所特徴量が算出される。ステップＳ５では、各フレームから検出された特徴点の類似度が、その局所特徴量に基づいて算出される。

ステップＳ６〜Ｓ８では、前記カメラワーク検出部１２により、前回フレームから今回フレームまでの期間におけるカメラワークが検出される。以下、図３，４，５の模式図を併せて参照しながら、本実施形態におけるカメラワークの検出方法について説明する。

ステップＳ６では、オプティカルフロー算出部１２ａにより、前回および今回の各フレームがn画素×n画素を１ブロックとする複数ブロックに分割されてオプティカルフローが算出される。本実施形態では、オプティカルフローとしてcalc Optical FlowPyrLK()を利用し、図３に示したように、局所領域内の物体の移動情報が、移動方向および移動量を代表するベクトルとして求められる。本実施形態では、３０×３０画素のブロックごとに９００個のベクトルが算出される。

ステップＳ７では、オプティカルフロー集計部１２ｂにより、前記オプティカルフローとしてのベクトルに基づいて移動方向別のヒストグラムが作成される。本実施形態では、各ベクトルの方向が、図４に一例を示した量子化スケールに基づいて、xy軸の３６０度を４５度間隔で分割したいずれかの角度値に変換され、角度値ごとのベクトル数（頻度）を示すヒストグラムが作成される。ステップＳ８では、カメラワーク判定部１２ｃにより、前記オプティカルフローの集計結果に基づいてカメラワークが判定される。

本実施形態では、ヒストグラムの頻度が所定の閾値を下回っていれば静止区間と判定される。これに対して、ヒストグラムの頻度が閾値を超えていると、各角度値の頻度に応じてカメラワークが判定される。

すなわち、図５に示したように、オプティカルフローが下向き傾向であり、その集計結果において下向き（角度値[6]）の頻度が高い場合には、映像が下向きに移動している、すなわちカメラワークが上方向へのチルト（縦パーン）と判定される。

また、図６に示したように、オプティカルフローが外向き傾向であり、各ブロックを４分割したと集計結果において、右上ブロックB1では角度値[0]，[1]，[2]の頻度が高く、右下ブロックB2では角度値[0]，[6]，[7]の頻度が高く、左上ブロックB3では角度値[2]，[3]，[4]の頻度が高く、左下ブロックB4では角度値[4]，[5]，[6]の頻度が高い場合には、カメラワークがズームインと判定される。

さらに、図７に示したように、オプティカルフローが内向き傾向であり、各ブロックを４分割した集計結果において、右上ブロックB1では角度値[4]，[5]，[6]の頻度が高く、右下ブロックB2では角度値[2]，[3]，[4]の頻度が高く、左上ブロックB3では角度値[0]，[6]，[7]の頻度が高く、左下ブロックB4では角度値[0]，[1]，[2]の頻度が高い場合には、カメラワークがズームアウトと判定される。

図２へ戻り、ステップＳ９では、次のフレームが存在するか否かが判定される。最初は存在すると判定されるのでステップＳ３へ戻り、今回フレームを前回フレームとして保持し直した後、ステップＳ１へ戻って上記の各処理が繰り返される。その後、全てのフレームに関して上記の処理が完了すると、図８に一例を示したように、映像データVが移動区間（チルトまたはパーン）、ズーム区間および静止区間に分類される。

ステップＳ１０では、移動区間画像Imvを生成るために合成されるフレーム画像が移動区間ごとに選択される。本実施形態では、図９にチルト区間を例にして示したように、同一のチルト区間に含まれるフレーム間で、最初のフレームを基準にして時系列で他のフレームとの類似度が、前記類似度出部１１ｂによる算出結果に基づいて算出される。そして、基準フレームとの類似度が最初に略５０％となるフレームが合成フレームとして選択され、さらにこの合成フレームを新たな基準フレームとして類似度が最初に略５０％となるフレームが他の合成フレームとして選択され、以下同様の処理が繰り返されて複数のフレーム画像が選択される。

ステップＳ１１では、移動区間ごとに選択された複数フレームが合成され、各移動区間を一枚で表現した移動区間画像Imvが生成される。ステップＳ１２では、前記ズーム区間ごとに、その開始フレームの画像と終了フレームの画像とを比較することでズーム率が算出される。

ステップＳ１３では、ズーム区間を挟んだ二つの移動区間画像Imvが、例えば縦エッジが不連続となるような倍率破綻なく結合されるように、少なくとも一方の移動区間画像Imvが拡縮される。すなわち、ズーム率が１０％のズームイン区間を挟んで２つの移動区間画像Imv1，Imv2が存在する場合、ズームイン前の移動区間画像Imv1のみが１０％だけ拡大されるか、ズームイン後の移動区間画像Imv2のみが１０％だけ縮小される。あるいは、ズームイン前の移動区間画像Imv1を５％だけ拡大し、ズームイン後の移動区間画像Imv2を５％だけ縮小するようにしても良い。

ステップＳ１４では、前記拡縮された各移動区間画像Imvが、前記パノラマ画像生成部１５により時系列で結合され、被写体の全景を含むパノラマ画像Ipanoが生成される。この際、本実施形態では文献( W.Triggs, P.Mclauchlan, R. Hartley, and A. Fitzgibbon. Bundle adjustment : A modern synthesis. IN Vision Algorithms: Theory and Practice, number 1883 in LNCS, pages 298-373. Springer-Verlag, Corfu, Greece, September 1999.)に開示された手法を利用することにより、部分連結成分におけるカメラパラメータが推定され、この推定結果に基づいて、対応する部分領域を複数バンドのブレンドによりなめらかに結合できる。当該パノラマ画像Ipanoは、前記映像データVおよび紐付情報と共にデータベース１６に蓄積される。

次いで、図１０のフローチャートを参照して、前記データベース１６に保持されたパノラマ画像Ipanoは、前記映像データVおよび紐付情報を用いた被写体の観察方法について説明する。

ステップＳ３１では、図１１に一例を示したように、前記パノラマ画像Ipanoがディスプレイ（図示省略）に出力される。このパノラマ画像Ipanoは、複数のフレーム画像を結合して生成されるため、その輪郭は各フレーム画像の輪郭を結んだ形状となっている。

ここで、パノラマ画像Ipanoを観察しているユーザが、さらに詳細に観察したい位置をパノラマ画像上で指定すると、これがステップＳ３２で拡大要求と認識されてステップＳ３３へ進む。ステップＳ３３では、前記指定されたパノラマ画像上の位置座標が検出される。

ステップＳ３４では、前記検出された位置座標と予め対応付けられている対応フレーム番号が、対応フレーム検出部１７ｂにより、前記紐付情報に基づいて検出される。ステップＳ３５では、図１２に一例を示したように、フレーム番号に対応したフレーム画像が前記映像データから切り出され、前記指定箇所近傍の拡大映像として表示される。

１…パノラマ画像生成装置，１０…映像データ取得手段，１１…映像分析部，１２…カメラワーク検出部，１３…移動区間画像生成部，１４…拡縮部，１５…パノラマ画像生成部，１６…データベース，１７…再生制御部，１８…入力操作部

Claims (6)

1. 被写体の全景が複数のフレームに一部分ずつ含まれる映像データから当該被写体のパノラマ画像を生成するパノラマ画像生成装置において、
   被写体の主要部を一端側から他端側まで、視野移動およびズームを繰り返しながら撮影した映像データを取得する映像データ取得手段と、
   前記映像データから視野の移動区間を検出する移動区間検出手段と、
   前記映像データからズーム区間を検出するズーム区間検出手段と、
   各ズーム区間のズーム率を検出するズーム率検出手段と、
   各移動区間のフレーム画像を時系列で合成して当該移動区間を画像範囲とする移動区間画像を作成する移動区間画像生成手段と、
   各移動区間画像を、これに隣接するズーム区間のズーム率に基づいて拡縮する拡縮手段と、
   前記拡縮された各移動区間画像を時系列で結合してパノラマ画像を生成するパノラマ画像生成手段と、
   前記各フレーム画像のフレーム識別子と前記パノラマ画像における各フレーム画像の占有位置とを紐付ける紐付情報生成手段と、
   前記パノラマ画像を表示する手段と、
   前記パノラマ画像上での指定位置に対応したフレーム識別子を前記紐付けに基づいて検出する手段と、
   前記検出されたフレーム識別子に対応した被写体の画像を前記映像データから切り出して再生する手段とを具備したことを特徴とするパノラマ画像生成装置。
2. 前記再生される被写体の画像が、前記フレーム識別子に対応したフレーム画像であることを特徴とする請求項１に記載のパノラマ画像生成装置。
3. 前記再生される被写体の画像が、前記フレーム識別子に対応したフレーム位置近傍から切り出された動画の映像データであることを特徴とする請求項１に記載のパノラマ画像生成装置。
4. 前記移動区間検出手段は、フレーム間のオプティカルフローに基づいて移動区間を検出することを特徴とする請求項１ないし３のいずれかに記載のパノラマ画像生成装置。
5. 前記ズーム区間検出手段は、フレーム間のオプティカルフローに基づいてズーム区間を検出することを特徴とする請求項１ないし４のいずれかに記載のパノラマ画像生成装置。
6. 前記移動区間画像生成部は、類似度が所定の条件を満足する一部のフレーム画像のみを合成することを特徴とする請求項１ないし５のいずれかに記載のパノラマ画像生成装置。