JPWO2018079490A1 - 画像生成装置、および画像生成プログラム - Google Patents

Abstract

視点を同一方向に固定して、安定した画像が良好な動画を生成できる画像生成装置、および画像生成プログラムである。カメラ（４）で撮像された画像に基づき、同一視点方向の動画を生成する際、画像中に存在する特徴点を捉えて、移動後の画像中の特徴点と一致させることにより、移動量を演算して、移動量で画像を戻すことを繰り返して動画のフレームを連続させる制御部（１２）を備える。制御部（１２）では、特徴点が画像周縁の歪みの多い部分にあると判定すると、同一視点方向の周縁の歪の少ない部分に画像を移動させてから、特徴点を一致させる。

Description

本発明は、画像生成装置、および画像生成プログラムに関する。

従来、回転する物体に、カメラを組み合わせて、物体から見た周囲の映像を得る画像生成装置が知られている（例えば、非特許文献１等参照）。

Jonas Pfeil，Kristain Hildebrand，Carsten Gremzow，Bernd Bickel，and Marc Alexa.Throwable panoramic ball camera. In SIGGRAPH Asia 2011 Emerging Technologies，SA’11，pp.4:1-4:2

しかしながら、このような従来の画像生成装置では、物体の回転の程度によってカメラの姿勢も変化し、視線が不安定になる。このため、安定した画像を得るため、視点を固定したいが、視点がぶれて生成された動画が見ずらくなってしまう。
また、静止画を連結する手法では、先の画像へ再生箇所がジャンプしてしまい、一瞬動きが止まったり、ある画像から次の画像に映像が飛んで連続していない不自然な映像になってしまういわゆるコマ落ちが発生する場合もある。

そこで、本発明は、視点を同一方向に固定して、安定した画像から見やすい動画を生成できる画像生成装置、および画像生成プログラムを提供することを課題としている。

本発明に係る画像生成装置は、移動する物体に装着される撮像部と、撮像部で取得された画像に基づき、同一視点方向の動画を生成する際、画像中に存在する特徴点を捉えて、移動後の画像中の特徴点と一致させることにより、移動量を演算して、移動量で画像を戻すことを繰り返して動画のフレームを連続させる制御部とを備えることを特徴としている。

本発明によれば、視点が同一方向に固定されて安定した画像が良好な動画を生成することができる。

画像生成装置の構成を示す模式的なブロック図である。 画像生成装置のうち、撮像部が設けられたボールの構成を示す斜視図である。 画像生成装置の記憶部に格納される情報を示す模式的なブロック図である。 画像生成装置の制御部の構成を示す模式的なブロック図である。 正距円筒図法を示す図である。 変形例の画像生成装置で、撮像部が設けられたボールの構成を示す分解斜視図である。 画像生成装置に用いられる画像生成プログラムのフローチャートである。 画像生成装置で、特徴点を抽出する様子を示す概念図である。 画像生成装置で、特徴点を照合させる様子を示す概念図である。 画像生成装置で、姿勢変化を推定する様子を示す概念図である。 画像生成装置で、姿勢を修正する様子を示す概念図である。 変形例の画像生成装置で、全天球カメラを内蔵したボールの構成を示す模式的な分解斜視図である。 他の実施形態の画像生成装置に用いるカプセル内視鏡の全体図である。 カプセル内視鏡の使用態様を示す模式的な概念図である。 一般的なカプセル内視鏡で撮像された映像の一例を示す図である。 ２つのカメラによって撮影された画像の一例を示す模式的な概念図である。 特徴点マッチングが成功した一例を示す模式的な概念図である。 特徴点マッチングが失敗した一例を示す模式的な概念図である。 図１５に対応する補完された映像の一例を示す図である。 欠落したフレームを補完する様子を説明する模式的な概念図である。 不完全な魚眼画像から全天球の画像に変換したことを説明する模式的な概念図である。 エラーフレームが発生した場合に、修正により復帰したフレームの様子を説明する模式的な概念図である。 他の実施形態の画像生成プログラムの一実施例を示し、左側の画像が比較のために示す既存手法においてエラー後、意味のない画像が流れる様子を示す模式的な概念図である。右側の画像は、改良された様子を示し、フレームにエラーフレームが発生しても、修正により復帰したフレームの様子を説明する模式的な概念図である。 実施形態の画像生成装置に用いられる画像生成プログラムのフローチャートである。 他の実施形態の画像生成プログラムで、上から１行目は、撮像された映像を連続させたフレームを示し、２行目は、特徴点を抽出する工程の後、特徴点を照合させる工程を示し、３行目は、比較のために従来の画像生成プログラムを用いて安定化させた後のフレームを、４行目は、この実施形態の画像生成プログラムを用いて安定化させた後フレームを示すものである。 実施形態の変形例１のクレーン車を説明する斜視図である。 他の実施形態の変形例２のドローン（無人機）を説明する斜視図である。 他の実施形態の変形例３の釣り竿を説明する斜視図である。

本発明の実施形態について、図１乃至図１２を参照して詳細に示す。説明において、同一の要素には同一の番号を付し、重複する説明は省略する。

図１は、実施形態の画像生成装置Ｓの構成を説明する模式的なブロック図である。
実施形態の画像生成装置Ｓは、撮像部１と、制御を行うＰＣ（パーソナルコンピュータ：制御部）２と、物体に装着されるカメラ４とを備えている。

このうち、図２に示すように、物体としてのボール３は、回転運動を伴って移動する撮像部１を設けている。撮像部１は、表面の球面に均等または、ほぼ均等に複数台のカメラ４（ここでは、Ｘ＝６台）を有している。
カメラ４には、それぞれレンズ５が設けられていて、各レンズ５は、それぞれ外方に向けて配置されている。これにより、カメラ４は、ボール３の周囲の全ての空間を撮影可能な全天球型のカメラとして機能することができる。

すなわち、実施形態のボール３に設けられた６台のカメラ４では、撮影した動画が全天球動画となり、全天球動画は、全方向（ボール３を中心に３６０°）の情報を撮影することができる。
従って、全天球動画は、どの方向の視点でも、たとえば、移動方向正面や、移動方向の背面など、視界の切れ目を生じさせることがない。ここでは、６台のカメラ４で撮影しているが、１枚の全天球映像が得られれば、Ｘ＝何台のカメラであっても構わない。

また、図１のＰＣ２は、通信インターフェース部１０と、カメラ４によって撮影された情報およびプログラムなどを記憶する記憶部１１と、通信インターフェース部１０で受信した画像に基づき、同一視点方向の動画を生成する制御部１２と、制御部１２で演算された動画を出力して表示するモニタからなる表示部１３と、キーボード等の入力部２０とを有している。

この通信インターフェース部１０は、ネットワーク１００に接続されて、送受信を行うとともに、ボール３のカメラ４によって撮影されたデータを受信可能とする通信手段を含む。
そして、通信インターフェース部１０は、ブルートゥース（登録商標）などの無線通信により、回転を含む移動しているボール３から送られてくる画像の信号を受信可能に構成されている。なお、ここでは、無線通信の一例として、ブルートゥースを挙げたが、特にこれに限らず、ボール３から送られてくる画像を受信可能であれば、他の無線通信規格に基づく通信手段を用いてもよい。

記憶部１１は、揮発性メモリ、不揮発性メモリを有して構成されている。このうち、揮発性メモリとしては、スタティック・ランダム・アクセス・メモリ（SRAM）とダイナミック・ランダム・アクセス・メモリ（DRAM）を含む。また、BIOS、プログラムコードおよびシステムソフトウェアなどは、不揮発性メモリに格納される。不揮発性メモリは、リードオンリィメモリ（ROM）、EPROM、EEPROM、フラッシュメモリ、磁気記憶媒体、コンパクトディスクなどの光学ディスクを含む。

そして、この実施形態の記憶部１１には、図３に示すように、動画１１ａ、特徴点画像１１ｂ、数式１１ｃ、姿勢変換行列１１ｄが随時、呼び出し可能に格納されている。

図４に示すように、制御部１２は、ＣＰＵ（ＣentralＰrocessingＵnit）などにより主に構成されていて、記憶部１１に記憶されたプログラムまたは、ネットワーク１００からダウンロードされたアプリケーションプログラムを実行する。これにより、制御部１２は、カメラ４から送られてくる画像の情報を演算して、動画を生成するように構成されている。動画は、表示部１３に出力されて表示される（図１参照）。

制御部１２は、６台のカメラ４から動画を取得する取得部１２ａを備えている。この取得部１２ａでは、１枚の全天球の画像４１を生成する。
さらに、制御部１２は、次にこの１枚の全天球の画像４１から、ｎ枚（ｎは任意の自然数、π／ｎ、ここでは６枚であるがカメラ４の台数とは関連がない。）の回転画像を生成する分割部１２ｂと、低緯度の部分の特徴点を抽出する抽出部１２ｃと、ｎ枚の画像を１枚の全体画像に統合する統合部１２ｄとを備える。さらに、制御部１２は、一致度を算出する算出部１２ｅと、姿勢の推定を行う生成部１２ｆと、生成された画像を出力する出力部１２ｇとを備えている。

すなわち、制御部１２は、動画を生成する際、画像中に存在する特徴点を捉えて、移動後の画像中の特徴点と一致させることにより、移動量を演算して、姿勢を修正することにより動画のフレームを連続させる。ここで、特徴点とは、たとえば画素値の変化が他の箇所よりも大きい若しくはまれに小さい箇所で、他の箇所との差異が明確な部分を示す。
まず、取得部１２ａで動画が取得されると、分割部１２ｂにて１枚の全天球の画像４１から、ｎ枚の回転画像（π／ｎずつ回転）が生成される（図８中の回転画像４２ａ〜４７ａ参照）。

抽出部１２ｃは、ＳＩＦＴ（Scale−ＩnvariantＦeatureＴransform）を用いて各フレームから特徴点を抽出する。ＳＩＦＴは、画像のスケールや回転に対して不変な特徴点を求めるアルゴリズムである。このＳＩＦＴは、様々な強さで平滑化した画像の差分からＤｏＧ（Difference-of-Gaussian）画像を生成して、ガウス方向の値の変化、すなわち画像に強さの異なるぼかしを適用した場合の画素値の変化を基に特徴点を抽出する。

図５は、球面座標を表している。また、図６は、正距円筒図法による全天球画像座標を表している。正距円筒図法によって表された画像は経線と緯線とが直角を成し、等間隔の経度と緯度とをもって交差するという性質を有する。しかしながら、球面上では、これらは等間隔に配置されていない。よって、表示部１３にて全天球画像を２次元の画像として表示すると、低緯度領域では、情報が正しく表示されるが、高緯度領域では、情報が経度方向に引き伸ばされて歪みが発生する。このため、高緯度領域では、特徴点を取得することができなかったり、特徴量が正確に抽出できない場合がある。
このため、抽出部１２ｃは、n枚すべてに対し、低緯度の部分だけを使って特徴点抽出を行う。
なお、この実施形態では、特徴点の抽出にＳＩＦＴを用いたが、ＳＩＦＴに代えてＳＵＲＦやＡＫＡＺＥなどの他のアルゴリズムを用いて特徴点を抽出してもよい。

そして、統合部１２ｄは、n枚の回転画像の抽出結果を用いて、特徴点をもつ１枚の画像を作る。これらの動作は、各時刻におけるフレームに対して行われる。
また、算出部１２ｅは、前のフレームと現在のフレームの特徴点を用いて特徴点照合を行い、姿勢変換行列Ｒを求める。
制御部１２は、特徴点が画像周縁の歪みの多い部分にある場合、同一視点方向の周縁の歪の少ない部分である低緯度の部分に画像を移動させてから、特徴点を一致させる。
生成部１２ｆは、姿勢変換行列Ｒを用いて現在のフレーム画像を前のフレームの画像に戻す。出力部１２ｇは、画像をモニタ等の表示部１３に出力する。

表示部１３は、制御部１２で生成された同一視点方向の動画を出力して表示する。
そして、カメラ４によって撮影された３次元の全方位の画像は、表示部１３によって、２次元の画像としてリアルタイムで表示される。

この際、カメラ４によって構成される全天球カメラは、カメラモデルとしてカメラを中心とする３次元球面を想定すると、３次元球面の経緯度（θ，φ）と、正距円筒図法による全天球画像座標（ｕ，ｖ）との関係は以下のようになる。
ｕ＝ｗ／２π・（θ＋π） （−π≦θ＜π）…（１）
ｖ＝ｈ／π・（φ＋π／２） （−π／２≦θ＜π／２）…（２）
ただし、ｗは画像の幅、ｈは画像の高さである。

次に、実施形態の画像生成装置Ｓの画像処理について、図７に示すフローチャートに沿って、図８〜図１１を参照しつつ、説明する。
カメラ４によって撮影されたデータに基づいて画像処理が開始されると、ステップＳ０では、取得部１２ａで画像が取得される。ステップＳ１では、特徴点を抽出するため、撮像部１で撮像された動画の画像中に存在する特徴点を捉える（図８参照）。

ここで、まず全天球画像からの特徴点と特徴量との抽出方法について説明する。前述したように正距円筒図法で示された全天球画像は、低緯度領域のみ情報が正しく表示され、高緯度領域では、画像４１のように情報に歪が生じている。
そして、情報が正しく表示される低緯度領域内の特徴点を抽出することにより、姿勢修正に用いる特徴点照合（マッチング）に対応させることができる。

この実施形態の制御部１２の取得部１２ａ（図４参照）は、特徴点を抽出したい注目する領域が高緯度にあるときは、注目する領域を球面の回転によって、移動方向前方の同一視点方向の周縁の歪の少ない低緯度の領域へ移動させる。
すなわち、制御部１２は、各時刻において図８に示す全天球の画像４１を１枚撮影して生成する(original)。この全天球の画像４１から分割部１２ｂ（図４参照）は、回転画像４２〜４７をｎ枚（π／ｎより）、生成する。回転画像４２ａ〜４７ａは、π/6(ｎ枚の値は任意に決められる)ずつ回転させて、ここでは、６枚(π/6なので6枚)、生成される。
そして、抽出部１２ｃは、この6枚の回転画像４２ａ〜４７ａのそれぞれにおいて画像の歪みの少ない低緯度の部分だけを使って特徴点抽出を行う。さらに、この実施形態では、統合部１２ｄがこれらの６枚から得られた特徴点をまとめて全体画像４９の特徴点とする。この結果、original画像において歪みの影響の少ない特徴点が抽出される。

このように、特徴点と特徴量とを抽出する前に、球面の回転によって注目する領域を低緯度の領域へと移動する。すなわち、カメラ４の座標系のＸ軸周りに適切な量だけ回転させることにより、擬似的に高緯度領域を低緯度へ移動させることができる。
たとえば、図８中、回転画像４２ａ〜４７ａに示すように高緯度に存在した注目する領域は、移動方向と同一の視点方向の周縁の歪の少ない低緯度の領域に移動して、低緯度の領域に存在するのと同様に正確に特徴点と特徴量とを抽出することが可能となる。

特徴点は低緯度領域で抽出するため、抽出した特徴点の座標と元の画像とにおける特徴点のあるべき座標は異なる。このため、生成部１２ｆ（図４参照）で推定された姿勢に基づいて、特徴点と特徴量とを抽出するために行った回転と逆の回転を特徴点の座標に適用する。これにより、元の画像における特徴点の座標に修正することができる。

ステップＳ２では、算出部１２ｅ（図４参照）にて特徴点照合が行われる（図９参照）。特徴点照合は、特徴点が画像周縁の歪みの多い部分にあると判定すると、同一視点方向の周縁の歪の少ない部分に画像を移動させてから、移動前の画像中の特徴点と移動後の画像中の特徴点と一致させる。
ここでは、フレームｔの特徴点とフレーム（ｔ＋１）の特徴点とが照合されているものが示されている。図中２つのフレームｔ，フレーム（ｔ＋１）に跨る直線は、同一であると推定される特徴点同士を結んだものである。
各フレームの特徴点と特徴量とは、低緯度に移動された特徴点から正確に抽出されているため、照合結果の信頼性が向上している。

ステップＳ３では、算出部１２ｅ（図４参照）にて姿勢変化の推定が行われる（図１０参照）。ここでは、得られた照合情報から、基本行列Ｅを、回転と並進とに分解して、カメラ４の姿勢変化の姿勢変換行列Ｒを求める。
すなわち、全天球画像上で抽出した特徴点の座標を正規化画像座標へ変換する。たとえば、照合の結果を用いて８点アルゴリズムによって２つのフレームの撮影時のカメラ間の基本行列Ｅを推定する。なお、ロバストに推定するためにＲＡＮＳＡＣやＬＭｅｄｓを用いるとなおよい。
このように、基本行列Ｅを、回転と並進とに分解することにより、２つのフレーム間の回転行列と並進ベクトルとが得られる姿勢変換行列Ｒとなる。このため、姿勢変換行列Ｒにより２つのフレーム間のカメラ４の姿勢変化が求められる。

ステップＳ４では、生成部１２ｆ（図４参照）にて姿勢修正が行われる（図１１（ａ）参照）。ここでは、各フレームごとの姿勢変化を示す姿勢変換行列Ｒが得られたことから、これらの積として任意のフレームの姿勢を修正して、フレームＦ１からフレームＦｎまでの全ての隣接フレーム間の姿勢変化を計算する。
すなわち、初期フレームから始めて現フレームまでの全ての隣接するフレーム間で、姿勢変換行列Ｒを推定する。
そして、それらの総乗は、図１１（ｂ）に示すように初期のフレームと現在のフレームとの姿勢変化を表す回転行列であるとみなせる。
これにより、現在のフレームに対してその姿勢変換行列Ｒ（ｎ−１）（ｎはフレーム数）、を作用させることにより、現在のフレームを初期のフレームの視点に連続させることができる。

この実施形態では、初期フレームと現在のフレームとの間で直接、姿勢を推定しない。
これには、以下の理由が存在する。すなわち、（ｉ）隣接するフレーム間の時間差は微小である。このため、特徴点の移動量も微小に限られる。これにより、３次元球面上で移動量の大きい特徴点同士の照合をフィルタリングできる。（ｉｉ）隣接するフレーム間の時間差は微小である。よって、シーンは静的である。（ｉｉｉ）隣接するフレーム間の時間差は微小である。したがって、並進による特徴点の見え方に変化はない。

ステップＳ５では、次のフレームがあるか否かが判定される。ステップＳ５にて、次のフレームがある場合（ステップＳ５にてＹｅｓ）、ステップＳ２に戻り、特徴点の抽出が継続して行われる。また、ステップＳ５にて、次のフレームがない場合（ステップＳ５にてＮｏ）、制御部１２は、処理を終了する。

次に、この実施形態の画像生成装置Ｓの作用効果について説明する。
この実施形態の画像生成装置Ｓでは、特徴点照合ステップＳ２にて、特徴点が画像周縁の歪みの多い部分にあると判定すると、同一視点方向の周縁の歪の少ない部分に画像を移動させてから、移動前の画像中の特徴点と移動後の画像中の特徴点と一致させる。
このため、カメラ４を設けたボール３が高速で回転していても、６枚の回転画像４２ａ〜４７ａのそれぞれにおいて画像の歪みの少ない低緯度の部分だけを使って特徴点抽出を行うことができる。したがって、抽出された特徴点および特徴量の精度を良好なものとすることができる。
そして、この精度の良好な特徴点の情報に基づいて正確な移動量を算出して、姿勢修正を行うことにより、隣接するフレーム間を繋げることができる。このため、フレーム間は円滑に連続して、視点が固定されて安定した動画を生成できる。しかも、生成された動画は、回転して移動するボール３の周囲を全て撮影した見えない部分の存在しない、安定した動画を得られる。このため、スポーツや、医療、災害現場等、様々な分野に用いることができる。

また、この実施形態では、複数のレンズ５を組み合わせた全天球型のカメラ４を用いたので、移動方向正面や、移動方向の背面など、どの方向の視点にもフレームの切れ目を生じさせることなく、視野が連続した動画を生成することができる。

さらに、この実施形態では、図８に示すように、１枚撮影された全天球の画像４１から、π/6ずつ回転させた６枚の回転画像４２ａ〜４７ａを生成して、それぞれにおいて画像の歪みの少ない低緯度の部分だけを使って特徴点抽出が行なわれている。このため、さらに、歪みの影響の少ない多数の特徴点が全体画像４９の特徴点としてまとめられる。従って、隣接フレーム間の姿勢変化を計算する際にも、移動量の推定の精度を向上させることが出来、さらに動画の視点の位置を安定させることができる。

<実施例>
図１２は、実施形態の変形例の画像生成装置Ｓで、撮像部としての全天球カメラ１４が内蔵されたボール３０の構成を示す分解斜視図である。なお、前記実施形態と同一乃至均等な部分については、説明を省略する。
この変形例のボール３０は、中空半球形状の透明アクリル樹脂製の一対のドーム３１，３２を係合させて、外形形状が球体となるように構成されている。
ボール３０の内部には、固定用円形板１５が設けられている。固定用円形板１５は、ドーム３１，３２の内側面３１ａ，３２ａに、移動不能となるように固定されている。そして、固定用円形板１５の一部には、全天球カメラ１４を固定する装着孔１６が開口されている。

また、この変形例の全天球カメラ１４は、箱型の筺体１４ａの表，裏両側面１４ｂに、それぞれに撮影可能画角が１８０度以上、好ましくは約２７０度程度の２つのレンズ１４ｃ，１４ｃが設けられている。そして、固定用円形板１５の装着孔１６に筺体１４ａを嵌着させた状態で、ドーム３１，３２の略中心に、２つのレンズ１４ｃ，１４ｃが配置されるように構成されている。
このため、この全天球カメラ１４は、２つのレンズの画像を合成することにより、周囲を３６０度撮影した全天球の画像を生成できる。

このように構成された変形例の全天球カメラ１４では、表，裏両側面１４ｂに設けられた２つのレンズ１４ｃによって、周囲を３６０度撮影することが可能である。このため、この変形例の全天球カメラ１４では、実施形態の作用効果に加えて、さらに少ないカメラの台数で、どの方向にも切れ目なく、動画のフレームを連続させて、一定の方向に視線を安定させた動画を円滑に生成することができる。

<他の実施形態>
図１３〜図２２は、他の実施形態として、医療用のカプセル内視鏡８０に本発明の画像生成装置および画像生成プログラムを適用したものを示している。
近年，医療分野では、図１３に示すように、魚眼レンズ８３，８３を有して、広範囲を撮影可能なカメラ８２，８２を両端に内蔵しているカプセル内視鏡８０が普及してきた。カプセル内視鏡８０は、図１４に示すように被験者ｋの嚥下により消化器官内を流下させながら周囲の器官を内側から撮像する。これにより、身体の内部が容易に確認できる。

一方で、カプセル内視鏡８０はいくつか問題点を抱えている。たとえば、二つのカメラ８２，８２から得られた映像を同時に観察することができない問題点がある。
この問題点に対して、カメラ８２，８２から得られた映像から全天球動画を生成することにより、施術者は、二つの映像の位置関係を一目で認識できるようになる。

しかしながら、この際、カプセル内視鏡８０は体内で回転しながら進むため、単純に全天球動画を生成したとしても、カプセル内視鏡８０がどのように進んでいるのかがわかりにくい。
このため、カプセル内視鏡８０から得られた映像に対して、前記実施形態にて説明した全天球動画を安定化させる手法を応用することで、この課題を解決する。

そこで、他の実施形態の構成を説明すると、図１３に示すように、カプセル内視鏡８０は、小型のカメラ８２，８２を内蔵したカプセル型の内視鏡のことである。カプセル内視鏡８０は、片側のみ、または両端に一つずつ、撮像部としての小型カメラをつけた形式のものが存在する。
このうち、この実施形態では、両側に小型のカメラ８２，８２を有するカプセル内視鏡を用いて説明する。この形式のカプセル内視鏡８０は、円筒状の筒部材８４の軸方向両端に、それぞれ小型のカメラ８２，８２が装着されている。
筒部材８４の軸方向の各端部には、ほぼ半球状を呈して透明のオプティカルドーム８６，８６が端部の開口を塞ぐように装着されている。そして、各カメラ８２は、それぞれ端部に装着されたオプティカルドーム８６により覆われている。

筒部材８４の各端部に設けられているカメラ８２，８２は、２つ合わせて３６０度に近い全天球映像を撮影することができる。
そして、この撮影された映像は、カプセル内視鏡８０に内蔵された無線送信装置によって、被験者ｋに取り付けられたレコーダ８７（図１４）に送信される。レコーダ８７は、被験者ｋの身体に取り付けられたセンサ８８に接続されている。レコーダ８７では、前記した実施形態と同様に制御部１２（図１参照）によって演算された動画が表示部１３のモニタに出力される。施術者は、レコーダ８７に送られてくる画像を、表示部１３を通じて被験者の身体の外方で見ることができる。
この際、センサ８８による位置情報と撮影された動画とが結びつけられていて、体内の位置が特定されるようにしてもよい。

<画像欠落への対処>
発明者らが提案した前記実施形態の全天球動画安定化手法では、ボールに取り付けられたカメラによって撮影された全天球映像から、回転成分を除去して視点を固定する。
回転しながら移動するという点で前記実施形態のボールカメラと、この実施形態のカプセル内視鏡８０とは、共通している。
そこで、このカプセル内視鏡８０に前記実施形態の安定化方法を適用すると、回転しながら移動するカプセル内視鏡８０の映像を施術者が見やすいよう安定化させることができる。

図１３に示すように、この実施形態のカプセル内視鏡８０は、軸線Ｌ上に１８０度反対側を向く２つの小型のカメラ８２，８２を配置している。全天球画像は、これらの２つのカメラ８２，８２で撮影される魚眼画像を正距円筒図法やキューブマップ法などによって変換することで作られる。
しかしながら、カプセル内視鏡８０の映像は、図１５に示すように、完全な円形の魚眼映像（円周魚眼の影像）ではなく、対角線魚眼の影像であるため、上下左右の部分ａ〜ｄが切取られてしまう。
また、それぞれのカメラの画角ａｎｇは約１７２度となり、０〜４度、１７６度〜１８０度の部分は撮影されていない。このため、単に２つのカメラ８２，８２の画像を合せただけでは、３６０度の撮影画像を得ることができない。

さらに、カプセル内視鏡８０に内蔵されたそれぞれのカメラ８２，８２は、常に同期しながら撮影しているのではなく、それぞれが独立して撮影している。つまり、２つのカメラ８２，８２で撮影された画像のタイムスタンプが一致していない。このため、容易に全天球画像を作ることができない。

使用したカプセル内視鏡８０は、バッテリの容量を考慮し断続的に撮影していたり、上述したように移動速度によってフレームレートを変化させながら撮影している。たとえば、消化管内でのカプセル内視鏡８０の移動が遅い場合は、毎秒４枚、速い場合には、毎秒３５枚というように、カプセル内視鏡８０の移動速度に合わせて枚数が調整されながら撮影される。
このため、一部のフレームが欠損する場合がある。

また、カプセル内視鏡８０は、内臓という狭い空間で、内臓の内壁面に接触しながら撮影している。このため、画像が全体的に暗く鮮明ではない。よって、撮影された映像は、撮影開始から撮影終了まで完全に連続した映像とはならない。
ところで、視点固定アルゴリズムでは、フレーム間で特徴点マッチングを行う。このため、全天球動画を作る上で画像の特徴点が得られるか否かは、画像を安定させるために大きく影響する。

たとえば、図１６に示すように、画像番号としては前方のカメラ８２が撮影した映像のフレームがＦ１．Ｆ３．Ｆ５・・・と奇数番号で、後方のカメラ８２が撮影した映像のフレームがＦ２．Ｆ４．Ｆ６・・・のように偶数番号となっている。図１６では、フレームレートが一定ではない場合に、途中のフレームが欠損していることを表している。

前記実施形態のアルゴリズムを用いた安定化の手法では、フレーム間の特徴点マッチングが行なわれ、姿勢変化が求められた後、回転行列と並進ベクトルとに分解される。
そして、基準フレームからの累積回転行列を現在のフレームにかけることで画像を修正している。この操作を全てのフレームに対して行うことで全天球動画の視点を固定することが可能となる。
しかしながら、このアルゴリズムでは、基準フレームからの姿勢変化を累積回転行列で修正しているため、途中のフレーム間での姿勢変化の推定に失敗してしまうとそれ以降の特徴点のマッチングが行えず、画像を修正できなくなってしまう虞があった。
たとえば、前記実施形態の画像生成装置では、フレーム間の特徴点マッチングのマッチング数がある閾値以下になった場合に姿勢推定が失敗したと判定している。

Ｒijをframe i とframe j 間の姿勢変化とすると、次の式１にて表される。

式１

図１７は、特徴点マッチングが成功した一例を示す模式的な概念図である。また、図１８は、特徴点マッチングが失敗した一例を示す模式的な概念図である。

本実施形態は、フレームの欠損および２つのカメラ８２，８２の非同期といった問題を解決するため、途中のフレームを補完し、両側のカメラ８２，８２で撮影したフレーム数を同じとすることで擬似的に連続した魚眼映像（擬似円周魚眼の画像）としている。すなわち、欠損しているフレームと前のフレームとを入れ替える。これにより、欠落しているフレーム部分が円滑に接続されて、擬似的に連続した魚眼映像を得られる。
この際、具体的に制御部１２は、それぞれのカメラ８２，８２で撮影された画像同士のタイムスタンプが合っておらず、それを合わせるのは困難であると判断すると、同じ番号のフレームは、同じ時刻で撮影されたものとして処理を行うように構成されている。

図１５を参照しながら説明すると、このように、不完全な魚眼画像から全天球画像への変換を行うため、図１５の画像では、１つのカメラ８２の画角が１８０度より小さく（たとえば１７２度）、上下左右に切り取られた部分ａ〜ｄを有している。
そこで、図１９に示すように、仮想的に画角が１８０度の円として扱うことにより、正距円筒図法を用いて変換することができる。

図１９は、欠落したフレームを補完した様子を説明する模式的な概念図である。
図１９では、撮影画像の部分ａ〜ｄの境界線から外側の円までの間は死角の黒い画像として扱う。このため、図１５の画像では、欠落していた上下左右の部分ａ〜ｄが黒い画像で補完されている。全天球画像に変換した場合に周囲に現れる黒い帯は、この箇所が変換されたものである。図２０は、欠落したフレームを補完する様子を説明する模式的な概念図である。
図２１は、不完全な魚眼画像から全天球の画像に変換したことを説明する模式的な概念図である。カメラ８２で撮影された状態の生データから全天球画像を作成する具体的な手順としては、（１）生データから時刻情報など不要な箇所を切り取る。（２）同じ時刻で撮影されたと仮定した２枚の魚眼画像の欠落する部分を補完後、左右に並べて１枚の画像にする。（３）正距円筒図法で全天球画像に変換する。（１）〜（３）の処理を全てのフレームに対して行う。そして、フレーム間を連結することで全天球動画に変換することができる。

<特徴点照合処理>
特徴点を結びつけて連続させる際に、欠落した画像が存在すると、円滑な動画を得にくい。そこで、フレームの欠落する部分を修正により復帰させる。
図２２は、フレームにエラーフレームが発生した場合に、修正により復帰したフレームの様子を説明する模式的な概念図である。
全天球動画安定化手法のアルゴリズムでは、特徴点マッチングが失敗すると意味のある映像としては、そこで終了してしまう（図２２中右上部分参照）という問題点があった(以下、失敗した時点でのフレームをエラーフレームと呼ぶ)。
この実施形態の画像生成装置では、この問題を解決するために、特徴点マッチングが失敗したら、そこで、累積回転行列を単位行列で初期化し、次のフレームを基点として処理を再び開始するように、前記実施形態のボールカメラを改良してカプセル内視鏡８０に適用した。
なお、エラーフレームと前フレーム間の回転行列も単位行列で初期化するため、基点フレームの視点はプログラムを開始した時点のフレームの視点とは異なる。つまり、マッチングが失敗する度に視点はエラーフレームの視点に固定されてしまう。

次に、この実施形態のカプセル内視鏡８０を用いた画像生成装置の実施例について説明する。
使用したカプセル内視鏡８０は、画角は１７２×２度，フレームレートは移動速度に応じて変化し、毎秒４フレームから３５フレームで、大腸粘膜を撮影することができる大腸カプセル内視鏡を用いた。カプセル内視鏡８０に用いるカメラ８２，８２の非同期やフレームが欠損しているという問題点は、フレームレートを一定にすることにより解決してもよい。

カプセル内視鏡８０は、画角が１７２×２度であるため、死角が存在する。全天球動画に変換した際に３つの部分に別れてしまっているため、わかりにくいが、ある程度視点は固定されていると判断した。
しかし，明らかに誤った推定により不自然に修正されている箇所もあり完全とは言えない。また、特徴点マッチングが失敗して回転行列が得られなかった場合には，次のフレームを基点として処理を再実行することができた。

この結果を図２３に示す。図２３は、比較例の画像を左側に示している。この比較例では、既存手法においてエラー後、意味のない画像が流れる様子である。また、図２３中右側の画像が本実施形態のカプセル内視鏡８０を用いた画像生成装置の画像生成プログラムで、エラー後も回転を推定できるように改良された様子を示す模式的な概念図である。
しかしながら、このように修正により連続させても、マッチングが失敗したと判断されるのは回転行列が得られなかった時のみであり、誤った推定で得られた回転行列によって不正確な回転が行われた際には検知することができない。
このため、誤った回転をしたまま処理が進んでしまうことがあった。

このように、視点固定アルゴリズムをカプセル内視鏡８０に適用した結果、いくつかの問題点が見つかった。
１つ目に、死角が多く動画自体が見にくいという点である。今回は不完全な魚眼画像から全天球画像を作成したため死角が多かった。これは、カプセル内視鏡８０の性能の向上により画角が１８０度以上のものを２つ使用できれば、撮影できる範囲が広がり、死角のない完全な全天球画像を作ることができる。すなわち、完全な全天球画像であれば、２つの魚眼映像のつながりが分かるため、視認しやすい。

これに対して本実施形態の画像生成装置では、図１５および図１９に示すように、死角となる上下左右の部分ａ〜ｄが黒い画像で補完されている。
これにより、完全な全天球画像でなくとも、２つの魚眼映像のつながりが分かりやすくなった。

２つ目は、特徴点マッチングによる誤った推定やマッチング数が少ないために回転が推定できないという点である。特徴点マッチングは画像中に特徴点が多いほど成功しやすい。しかしながら、カプセル内視鏡８０の映像の様に内臓に密着した状態で撮影されるものでは、暗く特徴点が少ない画像となる。このような場合は、特徴点が検出できず誤推定や失敗となる可能性が高い。
また、内臓のように周囲の状況が常に変化する映像ではカメラが回転したものと判断され、誤推定の原因になると考えられる。

次に、図２４のフローチャートおよび図２５に沿って画像生成装置の処理について説明する。なお、前記実施形態の図７と同一乃至均等な部分については、説明を省略する。
図２４のフローチャート中、ステップＳ００〜ステップＳ１２までは、前記実施形態のステップＳ０〜ステップＳ２までと同様に、取得された画像（ステップＳ００）のフレーム（ステップＳ１０）から特徴点を抽出（ステップＳ１１）して、次のフレームと特徴点の照合（ステップＳ１２）を行う（図２５中第１行目および第２行目参照）。

ステップＳ１６では、照合が失敗したかあるいは成功したかの判定を行う。ステップＳ１６で照合が成功した場合は、次のステップＳ１３に進み（ステップＳ１６にてＮＯ）、ステップＳ１６で照合が失敗した場合は、ステップＳ１０に戻り（ステップＳ１６にてＹＥＳ）、フレームの取得を行う。

ステップＳ１３〜ステップＳ１５までは、前記実施形態のステップＳ３〜ステップＳ５までと同様に、姿勢変化の推定が行われ（図１０参照）、結果を用いて８点アルゴリズムによって２つのフレームから得られる姿勢変換行列Ｒを用いて、ステップＳ１４では、姿勢修正が行われる。

図２５の第３行目に示す従来の安定化手法では、照合の失敗が生じるとフレーム間の結びつけが行えず、そのフレームの集合で無意味な画像Ｅ１，Ｅ２…が、処理が終了するまで継続して生成されてしまう。
これに対して、図２５の第４行目に示すこの実施形態の安定化終了では、照合の失敗が生じると、取得されている画像の次のフレームの画像Ｇ１を用いて、エラーした画像Ｅ１を補完する。
取得された次のフレームの画像Ｇ１が照合可能である場合、特徴点を一致させて、姿勢を修正する安定化処理を継続できる。なお、照合が成功しない場合は、照合が成功するまでステップＳ１０を繰り返す。
このため、取得した画像に不連続点があっても、直ちに次のフレームへ照合が成功するフレームが割り当てられて、エラーから復帰する。したがって、照合が失敗した場合でもフレームの切れ目が目立たない安定した見やすい画像が得られる。

ステップＳ１５では、前記実施形態のステップＳ５と同様に、次のフレームがあるか否かが判定される。ステップＳ１５にて、次のフレームがある場合（ステップＳ１５にてＹｅｓ）、ステップＳ１０に戻り、特徴点の抽出が継続して行われる（ステップＳ１１〜ステップＳ１２）。また、ステップＳ１５にて、次のフレームがない場合（ステップＳ１５にてＮｏ）、前記実施形態と同様に制御部１２は、処理を終了する。

次に、この実施形態の画像生成装置の作用効果について説明する。この実施形態の画像生成装置では、カプセル内視鏡８０で撮影された映像を全天球映像に変換し、視点固定のアルゴリズムを適用した。
そして、元のアルゴリズムでは特徴点マッチングに失敗するとそれ以降は修正できないという問題点（図２２中右上部分参照）があったが、この実施形態の画像生成装置の画像生成プログラムのように基点フレームを更新することで失敗した後も視点を固定して、エラーから復帰して、画像を継続すること（図２２中右下部分参照）ができた。
なお、失敗する度に視点が変わってしまうことを防止するため、カルマンフィルタなどを用いて回転行列を推定するなどを行うとさらに望ましい。

また、内視鏡映像に死角が存在する場合は、カプセル内視鏡８０の性能の向上により画角が１８０度以上のものを２つ使用することにより、撮影可能な範囲を広げて、死角のない完全な全天球画像を作るようにしてもよい。

さらに、カプセル内視鏡８０によって撮影される映像自体が暗い場合には、ＬＥＤ照光装置の補助光を使用したり、あるいはＩＳＯ感度を高感度なものに変更する等、カプセル内視鏡８０に用いるカメラ８２の性能を向上させるとなおよい。

<変形例１>
図２６は、実施形態の変形例１のクレーン車５０を示している。このクレーン車５０は、アーム部５１の先端から延出されるワイヤ５２の一端にフック部材５３が吊り下げられている。そして、このフック部材５３に、前記実施形態のボール３等が係止され、運転席５４から離間した位置まで延伸されたアーム部５１の先端から、ボール３を下降させることができる。
これにより、災害現場等により人が入れない空間にボール３を侵入させて、内部の様子を安定した画像で撮影することができる。

<変形例２>
図２７は、実施形態の変形例２のドローン（無人機）６０を示している。ドローン６０の機体中央部下面側６１には、前記実施形態のボール３または、他の実施形態のカプセル内視鏡８０と同等のカメラ６２が装着されていて、操縦者から離間した位置でドローン６０の周囲の様子を安定した画像で撮影することができる。
ドローン６０は、遠隔操作が可能であるため、オペレータは、災害現場から離れていても現場の様子を詳細に撮影することができ、二次災害を防止できる。

<変形例３>
図２８は、実施形態の変形例３の釣り竿７０である。ロッド７１の手もとに固定されているリール７２は、複数のガイド７３通して、釣り糸７４が繰り出されている。釣り糸７４の先端には、実施形態のボール３または、他の実施形態のカプセル内視鏡８０と同等のカメラ７５が装着されている。
そして、ロッド７１を握る地上の者から離間した位置で、釣り糸７４の先端のカメラ７５を降ろして、水中の様子を安定した画像で撮影することができる。

以上、本実施形態に係る画像生成装置Ｓ、および画像生成プログラムについて詳述してきたが、本発明はこれらの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更可能であることは言うまでもない。

例えば、本実施形態では、撮影された１枚の全天球の画像４１からπ/６ずつ回転させた６枚の回転画像４２ａ〜４７ａを生成している。しかしながら、特にこれに限らない。たとえば、π/４又はπ/８ずつ回転させた４枚又は８枚の画像等、回転角度が相違する１枚または複数の画像をどのような回転方向の角度の間隔で用いてもよく、それぞれにおいて画像の歪みの少ない低緯度の部分を使って特徴点の抽出が行なえるものであればよい。

さらに、実施形態では、６台のカメラ４によって、また変形例では、２台に相当する２つのレンズ１４ｃを有する全天球カメラ１４によって、撮像部１を構成している。しかしながら特にこれに限らない。たとえば、１又は２台以上の複数のカメラを用いて撮像部１を構成してもよく、撮影した動画が全天球動画となり、全天球動画は、好ましくは全方向の情報を記録することができるものであれば、カメラの数量、形状および組み合わせが特に限定されるものではない。

たとえば、前記他の実施形態では、図１３に示すように、魚眼レンズ８３，８３を有していて、広範囲を撮影可能なカメラ８２，８２を両端に内蔵しているカプセル内視鏡８０を用いているが、特にこれに限らない。たとえば、一方側または他方側とのうち、少なくとも何れか一方にカメラ８２が設けられていて、広範囲を撮影可能なカメラ８２，８２であれば、魚眼レンズ８３以外の広角レンズであってもよく、カメラ８２やレンズの形状、数量、および材質が特に限定されるものではない。

また、実施形態および変形例では、撮像部１を装着する物体としてボール３，３０を用いているが、特にこれに限らない。たとえば、回転移動可能な立方体のフレームの各面に全天球カメラを装着してもよい。また、ラグビーボールのような楕円球であってもよい。このように、回転運動を伴い移動する物体の形状は、球形に限定されるものではない。

そして、実施形態の画像生成装置Ｓでは、ボールが同時に、回転運動する場合および並進運動する場合について説明してきたが特にこれに限らず、回転運動または並進運動のうち、少なくとも何れか一方を行うものであればよい。

１ 撮像部
３，３０ ボール
４ カメラ
５，１４ｃ レンズ
１０ 通信インターフェース部
１１ 記憶部
１２ 制御部
１３ 表示部
１４ 全天球カメラ（カメラ）
１４ａ 筺体
１５ 固定用円形板
１６ 装着孔
２０ 入力部
３１ ドーム
８０ カプセル内視鏡
８２ 小型のカメラ（撮像部）
１００ ネットワーク

Claims (11)

1. 移動する物体に装着される撮像部と、
   前記撮像部で取得された画像に基づき、同一視点方向の動画を生成する際、画像中に存在する特徴点を捉えて、移動後の画像中の特徴点と一致させることにより、移動量を演算して、当該移動量で画像を戻すことを繰り返して動画のフレームを連続させる制御部と、
   を備えることを特徴とする画像生成装置。
2. 前記制御部では、特徴点が画像周縁の歪みの多い部分にある場合、同一視点方向の歪の少ない部分に画像を移動させてから、特徴点を一致させる、ことを特徴とする請求項１に記載の画像生成装置。
3. 前記物体は、回転運動を伴い移動することを特徴とする請求項１または２に記載の画像生成装置。
4. 前記物体は、並進運動を伴い移動することを特徴とする請求項１〜３のうち何れか一項に記載の画像生成装置。
5. 前記撮像部は、全天球型カメラに設けられていることを特徴とする請求項１〜４のうち何れか一項に記載の画像生成装置。
6. 前記撮像部は、カプセル内視鏡の一方側または他方側とのうち、少なくとも何れか一方に設けられていることを特徴とする請求項１〜４のうち何れか一項に記載の画像生成装置。
7. 前記制御部は、欠落したエラーフレームを、前記エラーフレームの前のフレームと入れ替えて補完することを特徴とする請求項６に記載の画像生成装置。
8. 前記制御部は、欠落した周囲の欠落した部分を黒い画像で補完することを特徴とする請求項６または７に記載の画像生成装置。
9. 移動する物体の周囲を撮影する撮像部と、
   前記撮像部で取得された動画から移動量を演算して、動画のフレームを連続させる制御部とを備えた画像生成装置に用いる画像生成プログラムであって、
   前記撮像部で撮像された動画の画像中に存在する特徴点を捉える特徴点抽出ステップと、
   特徴点が画像周縁の歪みの多い部分にあると判定すると、同一視点方向の周縁の歪の少ない部分に画像を移動させてから、移動前の画像中の特徴点と移動後の画像中の特徴点と一致させる特徴点照合ステップと、
   移動量を演算して、当該移動量で画像を戻すことを繰り返して動画のフレームを連続させるステップと、を備えたことを特徴とする画像生成装置に用いられる画像生成プログラム。
10. 移動する物体の周囲を撮影した動画から移動量を演算して、動画のフレームを連続させる画像生成プログラムであって、
    前記動画の画像中に存在する特徴点を捉える特徴点抽出ステップと、
    特徴点が画像周縁の歪みの多い部分にある場合、同一視点方向の歪の少ない部分に画像を移動させてから、移動前の画像中の特徴点と移動後の画像中の特徴点と一致させる特徴点照合ステップと、
    移動量を演算して、当該移動量で画像を戻すことを繰り返して動画のフレームを連続させるステップと、を備えたことを特徴とする画像生成プログラム。
11. 照合が失敗したかあるいは成功したかの判定を行う照合判定ステップと、
    照合が失敗した場合に、照合が成功するフレームの取得を行うフレーム取得ステップとを備えることを特徴とする請求項９または１０に記載の画像生成プログラム。

Images