JP6563300B2 - 自由視点画像データ生成装置および自由視点画像データ再生装置 - Google Patents

Description

本発明は、主に、全方位画像に関するデータを生成するデータ生成装置、および全方位画像から切り出された画像を再生する再生装置に関する。

近年、広角な魚眼レンズもしくは全方位ミラーを装着したカメラを使った手法、または複数台のカメラで異なる視点位置から同一シーンを撮影し、各カメラの撮影画像を繋ぎ合わせる手法等により、周囲３６０°の視界を有する全方位画像を撮影することができるようになっている。画像提供者は、様々な場所での撮影により得られた複数の全方位画像を用いることにより、閲覧者に、閲覧者自身が指定する任意の視点位置および任意の視線方向に応じた視界の様子を示す画像を閲覧させることができる。例えば、グーグル株式会社（本社：米国カリフォルニア州のGoogle Inc.）は、「ストリートビュー（登録商標）」という、道路上の任意の視点位置および任意の視線方向に応じた視界の様子を示す静止画像を表示するサービスを行っている。

そして、上記のような手法により全方位画像を動画で撮影する場合、撮影に使う複数台のカメラが撮影時の振動により揺れてしまうと、得られる全方位画像にも揺れが発生してしまう問題がある。このような問題を解決するため、下記特許文献１では、複数の撮影装置に対する共通座標系を設定し、各撮影装置の姿勢を推定し、推定した推定姿勢を用いて共通座標系での推定姿勢を求めた後、共通座標系の推定姿勢を用いて、共通座標系の揺れを軽減する手振れ補正を行い、全方位画像を作成する手法が述べられている。

また、特許文献２では、パノラマ映像の合成における位置合わせのときに、各映像の前後フレームの動き情報を参照して、位置合わせを行うことにより、処理負荷を軽減し、パノラマ合成を高速に行う手法が述べられている。

特開２００４−２７４７０１号公報（２００４年９月３０日公開） 特開２００６−１３５３８６号公報（２００６年５月２５日公開）

しかし、特許文献１では、共通座標系の推定姿勢を求めるときに各カメラの姿勢を推定する必要があるため、処理量が大きくなるという問題がある。さらにまた、各カメラで推定した姿勢に誤差が発生した場合、ユーザにとって意図しない方向に対する動き補正がかかる可能性がある。

また、特許文献２の発明では、例えば、複数台のカメラを相互に固定し、撮影を行った場合であっても、映像ごとに前後フレームの動き情報を求めるため、そこに動き情報に関する誤差が発生した場合は、３次元空間においてすべての映像が同じ動きにならないという問題が発生する。

本発明は、上記問題に鑑みて成されたものであり、その主な目的は、複数台の撮影装置を用いて全方位画像を生成する技術において、精度の低下を抑制しつつ、少ない処理量でぶれ補正を行うことができる技術を提供することにある。

本発明の一態様に係る自由視点画像データ生成装置は、上記課題を解決するために、複数の撮像装置によりそれぞれ撮影された複数の視点画像に対してぶれ補正を行い、当該複数の視点画像によって全方位画像を生成する自由視点画像データ生成装置であって、前記複数の撮像装置の撮影時の配置情報を受け付ける受付部と、当該複数の撮像装置によってそれぞれ撮影された複数の視点画像を受け付け、前記複数の視点画像から選択された補正対象画像を撮像した撮像装置以外の撮像装置によって撮像された前記複数の視点画像のうちから少なくとも１つ以上の画像を、参照画像として設定し、前記補正対象画像および前記参照画像に対して、現在のフレームと過去のフレームとからそれぞれの動き量を算出し、それぞれの前記動き量の成分の一部と前記配置情報とを参照することにより前記補正対象画像に対する動き補正量を算出し、当該動き補正量および前記配置情報を参照することにより、前記複数の視点画像に対し、ぶれ補正をそれぞれ行う制御部と、を備えている。

本発明の一態様によれば、複数のカメラにより撮影された複数の視点画像を用いて全方位画像を生成する技術において、少ない処理量で、撮影装置の移動による映像の揺れを軽減することができる。

実施形態１に係る自由視点画像データ生成装置の構成を示すブロック図である。 実施形態１に係る多視点撮像装置の構成を示す斜視図である。 自由視点画像データ生成装置のパノラマ生成部の構成を示すブロック図である。 実施形態１に係る自由視点画像データ生成方法を示すフローチャートである。 実施形態１の一態様に係る自由視点画像データ生成方法の工程の一部を示すフローチャートである。 視点画像の座標系について説明するための図である。 実施形態１の一態様に係る自由視点画像データ生成方法の工程の一部を示すフローチャートである。 実施形態１の一態様に係る多視点撮像装置を示す図である。 実施形態１の一態様に係る多視点撮像装置を示す図である。 実施形態１の一態様に係る自由視点画像データ生成方法の工程の一部を示すフローチャートである。 実施形態１の一態様に係る自由視点画像データ生成方法の工程の一部を示すフローチャートである。 実施形態１の一態様に係る自由視点画像データ生成方法の工程の一部を示すフローチャートである。 実施形態２に係る自由視点画像データ再生装置の構成を示すブロック図である。 実施形態２に係るパノラマ合成表示部の構成を示すブロック図である。 実施形態２に係る自由視点画像表示方法の工程の一部を示すフローチャートである。

以下、本発明の実施形態について、詳細に説明する。ただし、本実施形態に記載されている構成は、特に特定的な記載がない限り、この発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例に過ぎない。

また、本明細書に記載される「画像」は、静止画像および動画像を含む。

〔実施形態１〕
以下、本明細書に添付された図面を参照して、本発明に係る自由視点画像データ生成装置１００の好適な実施形態である実施形態１について詳細に説明する。なお、異なる図面においても、同じ符号を付した部材は同様のものであるとして、一度、説明した部材に関しては説明を省略することとする。
（自由視点画像データ生成装置の概要）
本実施形態に係る自由視点画像データ生成装置は、後述の実施形態２に係る自由視点画像データ再生装置が自由視点画像を再生するために参照する自由視点画像データを生成する。

自由視点画像データ生成装置が生成する自由視点画像データは、自由視点画像データ再生装置が受け付ける全方位画像データを含む。ここで、この全方位画像データは、複数の撮像装置を異なる方向に向けて撮影された複数の画像データを合成して生成されるものである。

本実施形態において特筆すべきは、自由視点画像データ生成装置は、自由視点画像データを合成するときに、撮像装置が振動したときの揺れによる画像のぶれを、撮像装置の配置条件に応じて適切に軽減する処理を行い、当該処理が行われた画像を合成することにある。

なお、本実施形態に係る自由視点画像データ生成装置の具体的な例としては、自由視点画像データを生成する放送機器装置、およびクラウド上のサーバ、並びに、自由視点画像データを生成するソフトウェアがインストールされたＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）等が挙げられる。

（自由視点画像データ生成装置１００の構成）
図１は、本発明の一実施形態に係る自由視点画像データ生成装置１００（以下、「データ生成装置１００」と略称する）の構成を示すブロック図である。まず、この図を用いてデータ生成装置１００の構成の概略を説明する。

データ生成装置１００は、制御部１１０、および操作受付部１３０を備えている。

制御部１１０は、後述するようにデータ生成装置１００全体の機能を統括的に制御する。なお、制御部１１０は、ＣＰＵであり得る。

操作受付部１３０は、例えば、コンテンツ制作者（データ生成装置１００のユーザ）による操作を受け付ける操作デバイスである。ユーザは、例えば、補正の対象とする画像である補正対象画像の選択と、それをどのように補正するかを指示するための補正パターン情報とをそれぞれ、操作受付部１３０を介して入力することができる。

制御部１１０は、画像受付部１１１、記憶部１１２、補正選択部１１３、第１の補正部１１４、第２の補正部１１５、第３の補正部１１６、第４の補正部１１７、補正量合成部１１８およびパノラマ生成部１１９を備え、後述する特定のプログラムを実行する。

なお、第１の補正部１１４、第２の補正部１１５、第３の補正部１１６、第４の補正部１１７およびパノラマ生成部１１９はソフトウェアではなくハードウェア（ＬＳＩ）によって実現されてもよい。

画像受付部１１１は、複数の撮像装置を異なる方向に向けて撮影された複数の画像データを受け付ける。なお、ここにおける画像データは、例えば、複数の撮像装置を異なる方向に向けて配置された多視点撮像装置２００により撮影される。図２は、複数の撮像装置を備える多視点撮像装置２００の構成を示す斜視図である。なお、ここでは、図２のＹ軸方向を鉛直方向とし、図２のＸ軸方向を水平方向とする。また、Ｙ軸の矢印方向を正方向（上方向）とし、別の方向を負方向（下方向）とする。また、Ｘ軸の矢印方向を正方向（右方向）とし、別の方向を負方向（左方向）とする。図２に示すように、多視点撮像装置２００は、立方体上の各面に直交する方向に光軸を向けた６つの撮像装置を備えている。

図２の多視点撮像装置２００は、立方体状の基部２０７を有しており、基部２０７において、カメラ２０１は、面２０８に設置され、カメラ２０２は、光軸がカメラ２０１の光軸に直交するように、面２０９に設置されている。カメラ２０３は、基部２０７において、光軸がカメラ２０１の光軸に直交するように、面２１０に設置されている。カメラ２０４は、基部２０７において、光軸がカメラ２０１の光軸に直交するように、面２１１に設置されている。カメラ２０５は、基部２０７において、光軸がカメラ２０１の光軸に直交するように、面２１２に設置されている。また、図示されていないが、カメラ２０６は、基部２０７において、光軸がカメラ２０１の光軸と一致するように、面２０８と反対側の面２０９に設置されている。つまり、図２に示されたＸ軸、Ｙ軸およびＺ軸を参照すると、カメラ２０２およびカメラ２０３の光軸は、Ｘ軸に一致し、カメラ２０４およびカメラ２０５の光軸は、Ｙ軸に一致し、カメラ２０１およびカメラ２０６の光軸は、Ｚ軸に一致する。なお、図２の座標系は、カメラ２０１の座標系であるが、他のカメラについても、同様のローカル座標系をそれぞれ有するものとし、それぞれのカメラの光軸は、それぞれのローカル座標系のＺ軸に一致する。また、各カメラによる視点画像に対する補正量は、それぞれのローカル座標系における値を求めるものとする。
また、多視点撮像装置２００の各カメラは、後で行うパノラマ合成のために、隣接する２つのカメラの視点画像間で一部重なる領域が発生するような画角で撮影できるように構成されていることが好ましい。

以下における本実施形態の説明では、多視点撮像装置として図２の多視点撮像装置２００を用いた場合を想定して説明を行うものとする。ここで、画像受付部１１１が受け付ける画像データは、６つである。

記憶部１１２は、画像受付部１１１が受け付けた画像データを記憶する。

補正選択部１１３は、操作受付部１３０を介してユーザが入力した補正対象画像の選択に関する情報と、補正パターン情報とを参照し、補正対象画像を補正するために使用する補正部として、第１の補正部１１４、第２の補正部１１５、第３の補正部１１６および第４の補正部１１７のいずれか１つを選択する。

第１の補正部１１４は、補正対象画像に対して第１のぶれ補正による補正量を算出する。なお、第１のぶれ補正の詳細については後述する。

第２の補正部１１５、補正対象画像に対して第２のぶれ補正による補正量を算出する。なお、第２のぶれ補正の詳細については後述する。

第３の補正部１１６、補正対象画像に対して第３のぶれ補正による補正量を算出する。なお、第３のぶれ補正の詳細については後述する。

第４の補正部１１７、補正対象画像に対して第４のぶれ補正による補正量を算出する。なお、第４のぶれ補正の詳細については後述する。

補正量合成部１１８は、補正対象画像に対して算出された各補正量を合成する。

図３は、パノラマ生成部１１９の構成を示すブロック図である。図３が示すように、パノラマ生成部１１９は、動き補正部１２０および画像合成部１２１から構成されている。

動き補正部１２０は、画像受付部１１１が受け付けた画像データと同一の個々の画像データに対し、各画像データに対応する各補正量を用いてぶれ補正を行う。なお、このとき、動き補正部１２０は、補正量合成部１１８が合成した補正量とカメラの配置情報とを参照して、補正対象画像に対する補正量を、各画像に対する補正量に変換する。この変換処理は、より具体的には、補正対象画像に対応する座標系から各画像に対応する座標系への座標変換を用いることによって行われる。そして、この変換した、各画像に対する補正量を用いることによって各画像のぶれ補正を行う。

画像合成部１２１は、動き補正部１２０がぶれ補正を行った各画像を繋ぎ合わせて全方位画像を生成し、出力する。このときの画像の繋ぎ方については、例えば、隣り合う画像の特徴点を求め、それらが一致するようにしてブレンディングするなどの公知の手法を使用することができる。

（自由視点画像データ生成方法）
次に、データ生成装置１００を用いた自由視点画像データ生成方法について図４を参照しながら説明する。図４は、自由視点画像データ生成方法を示すフローチャートである。

データ生成装置１００は、画像受付部１１１が複数の画像データを外部から受け付けたタイミングで、図４のフローチャートに従った動作を開始し得る。また、記憶部１１２は、当該複数の画像データを記憶する。図４に示すように、データ生成装置１００は、多視点撮像装置２００により撮像された画像データの各フレームについて、ステップＳ１〜ステップＳ７までの処理を行う。

即ち、ステップＳ１において、操作受付部１３０は、画像受付部１１１が受け付けた複数の画像データを撮影したカメラの配置情報を、ユーザの入力により受け付ける。ここで、カメラ配置情報とは、画像を撮影した撮像装置の、数、設置位置、光軸の方向および回転の向き等を含む情報を示す。また、使用する撮像装置の構成に応じて、カメラ配置情報のパターンを予め複数設定しておき、ユーザが選択できるようにしてもよい。ここでは、カメラ配置情報は、図２で示したような多視点撮像装置２００の立方体配置におけるカメラ配置情報である。

ステップＳ２において、操作受付部１３０は、ユーザが上述の複数の画像から選択して入力した、補正対象画像の選択についての情報を受け付け、補正選択部１１３は、記憶部１１２から、当該補正対象画像の、先頭フレームのデータおよび２フレーム目のデータをそれぞれ読み出す。ここでは、ユーザは、補正対象画像として、図２のカメラ２０１による視点画像を選択したとする。

その後、さらに、補正選択部１１３は、参照画像として、さらに２つの画像を選択する。まず、補正選択部１１３は、参照画像として、光軸が補正対象画像を撮影したカメラの光軸に直交して、かつ図２の水平方向において、左側および右側にそれぞれ位置するカメラによる視点画像を選択する。例えば、このようなカメラによる視点画像としては、カメラ２０２およびカメラ２０３による視点画像があり、どちらの画像を選択してもよいが、ここでは、補正選択部１１３は、カメラ２０３による視点画像を、第１の参照画像として選択する。

次に、補正選択部１１３は、第２の参照画像として、光軸が補正対象画像を撮影したカメラの光軸に直交して、かつ図２の鉛直方向において、上方向および下方向にそれぞれ位置するカメラによる視点画像を選択する。例えば、このようなカメラによる視点画像としては、カメラ２０４およびカメラ２０５による視点画像があるが、ここでは、カメラ２０５による視点画像を、第２の参照画像として選択する。

ここで、上記のように候補が複数ある場合、どちらを選ぶかは予め設定しておいてもよいし、さらに条件を設定して、その条件を満たす画像を選択するようにしてもよい。

また、参照画像として、多視点撮像装置２００における、補正対象画像を撮影したカメラ２０１以外のカメラのうちの２つ以上のカメラにより撮影した画像を選択してもよい。しかし、各カメラは、固定され、一体となって動く構成となっており、原理的にぶれも同じ変化をするため、ここでは２つの画像を参照画像として選択しているが、少なくとも、１つ以上の画像を参照画像として選択することにより、誤差の発生および処理量の大幅な削減等を期待できる。

以上のようにして、補正選択部１１３は、補正対象画像および２つの参照画像を選択する。

次に、ステップＳ３において、補正選択部１１３は、第１の補正部１１４を選択し、第１の補正部１１４は、カメラ２０１による視点画像に対する第１の補正量を算出する。

下記において、ステップＳ３における第１の補正部１１４の動作について、図５〜図６を参照して詳細に説明する。図５は、ステップＳ３における第１の補正部１１４の動作について説明するための図である。図５が示すように、ステップＳ３は、ステップＳ１００およびステップＳ１０１から構成される。

図５のステップＳ１００において、第１の補正部１１４は、上述の補正対象画像の任意の時刻のフレームに対し、当該時刻の直前の時刻のフレームを参照して、ブロックマッチングによる対応点探索等の公知の手法により、動きの変位量（以下、動き量）を求める。

図６は、第１の補正部１１４が図５のステップＳ１００において求める動き量について説明するための図である。図２で示した各カメラのローカル座標系と、図６の座標系とは、軸の位置関係が同一である。つまり、図６における座標系は、それぞれ直交する、Ｘ軸、Ｙ軸およびＺ軸により構成されている。また、当該座標系は、右手座標系とし、矢印Ａで示されたＸ軸周りの回転方向であるロール方向の回転成分は、φとし、矢印Ｂで示されたＹ軸周りの回転方向であるピッチ方向の回転成分は、θとし、矢印Ｃで示されたＺ軸周りの回転方向であるであるヨー方向の回転成分は、Ψとする。

ここで、各画像（ここでは、補正対象画像および２つの参照画像）に対して算出された動き量をＭ_ｎ，ｔ（ｎ＝１≦ｎ≦６の整数、ｔは１以上の整数）とすると、下記の式（１）で表される。

Ｍ_ｎ，ｔ＝（ｘ_ｎ，ｔ，ｙ_ｎ，ｔ，ｚ_ｎ，ｔ，φ_ｎ，ｔ，θ_ｎ，ｔ，Ψ_ｎ，ｔ）・・・（１）
ここで、ｘ_ｎ，ｔ，ｙ_ｎ，ｔ，ｚ_ｎ，ｔ，は、それぞれ、Ｘ軸、Ｙ軸、Ｚ軸に沿った動き量の成分を示しており、ｎは、撮影時に使用した図２の多視点撮像装置２００の各カメラに対応し、カメラ２０１、カメラ２０２、カメラ２０３、カメラ２０４、カメラ２０５およびカメラ２０６の、補正量は、ぞれぞれ、Ｍ_１，ｔ、Ｍ_２，ｔ、Ｍ_３，ｔ、Ｍ_４，ｔ、Ｍ_５，ｔおよびＭ_６，ｔとする。また、ｔは任意の時刻を表す。

以上のようにして、第１の補正部１１４は、動き量を求める。

次に、ステップＳ１０１において、第１の補正部１１４は、ステップＳ１００で算出した補正対象画像に対する動き量から、Ｘ成分、Ｙ成分およびΨ成分をそれぞれ抽出し、第１の補正量Ａ_１，ｔを算出する。このとき、第１の補正量Ａ_１，ｔは、下記の式（２）のように表される。

Ａ_１，ｔ＝（−ｘ_１，ｔ，−ｙ_１，ｔ，０，０，０，−Ψ_１，ｔ）・・・（２）
ここで、第１の補正量は、式（２）で表すように、Ｘ軸方向の動き量、およびＹ軸方向の動き量、ならびにヨー方向の回転の動き量、のみで構成される。

一般的に、カメラの光軸に対して垂直な方向の動き量、およびカメラの光軸を中心とした回転の動き量は、他の方向の動き量、および他の軸を中心とした回転の動き量に比べ、これらの動き量を算出するために参照する画像の歪が少ないため、誤差が発生しにくいという利点を有する。また、当該誤差を小さくするための補正等の処理が必要ないため、動き量を求めるときの処理量も少ないという利点もある。

以上のようにして、第１の補正部１１４は、カメラ２０１による視点画像に対する第１の補正量を算出する。

次に、ステップＳ４において、第１の補正部１１４は、その時刻における、補正対象画像および参照画像に対するそれぞれの第１の補正量を算出する処理が全て終了したか否かを判定する。全ての処理が終了した場合、ステップＳ５に進み、全ての処理が終了していない場合は、ステップＳ３に戻り、第１の補正部１１４は、まだ、第１の補正量を算出する処理が終了していない画像に関して、ステップＳ３の工程（ステップＳ１００およびステップＳ１０１）を再度実施する。

また、第１の参照画像である、カメラ２０３による視点画像に対する第１の補正量Ａ_３，ｔは、式（３）となる。

Ａ_３，ｔ＝（−ｘ_３，ｔ，−ｙ_３，ｔ，０，０，０，−Ψ_３，ｔ）・・・（３）
また、第２の参照画像である、カメラ２０５による視点画像に対する第１の補正量Ａ_５，ｔは式（４）となる。

Ａ_５，ｔ＝（−ｘ_５，ｔ，−ｙ_５，ｔ，０，０，０，−Ψ_５，ｔ）・・・（４）
また、ここで、参照画像として、多視点撮像装置２００におけるすべてのカメラのうち、補正対象画像を撮影したカメラ以外のカメラ（上記の例の場合、カメラ２０２、２０３、２０４、２０５、２０６）による各々の撮像画像が選択され、第１の補正部１１４が多視点撮像装置２００におけるすべてのカメラによる視点画像に対する第１の補正量を全て算出した場合は、各第１の補正量を算出後に、例えば、Ａ_１，ｔおよびＡ_６，ｔ（Ａ_３，ｔおよびＡ_４，ｔ、またはＡ_５，ｔおよびＡ_６，ｔ）の組み合わせにおいて、一方の第１の補正量の座標系を、他方の第１の補正量の座標系に変換した後、これらの第１の補正量のそれぞれの成分の平均をとった値を、ステップＳ５以降に使用するための第１の補正量としてもよい。

例えば、誤差に対する精度向上を目的とする場合は、上記のような平均による第１の補正量を用いればよく、処理量削減が目的の場合は、カメラ２０１と直交する面に配置されたカメラ２０３およびカメラ２０５による視点画像データに対する第１の補正量のみを算出すればよい。以上のような方法により、使用する装置の処理能力、または用途に応じた精度に合わせて、適切な算出アルゴリズムを選択することができる。

次に、ステップＳ５において、補正選択部１１３は、第１の補正量Ａ_１，ｔに対し、第１の補正量Ａ_３，ｔ、およびＡ_５，ｔを用いて、第２の補正量を算出する。ここで、第２の補正量とは、第１の補正量の成分に含まれない成分であるＺ，φ，θに対する補正量であり、その求め方について詳細に説明する。図７は、補正選択部１１３が第２の補正量を求めるときの動作について説明するためのフローチャートである。

ステップＳ２００において、補正選択部１１３は、第２の補正部１１５を選択する。

次に、ステップＳ２０１において、第２の補正部１１５は、第１の補正量Ａ_３，ｔのヨー方向の成分を参照し、第２の補正量Ｂ_１，ｔを算出する。ここで、第１の補正量Ａ_３，ｔは、光軸が補正対象画像を撮影したカメラ２０１の光軸と直交して、かつ図２の水平方向の右側に位置するカメラ２０３による視点画像に対する第１の補正量である。また、幾何学的に、カメラ２０３の座標系におけるヨー方向の回転は、カメラ２０１の座標系におけるロール方向の回転に相当することから、第２の補正量Ｂ_１，ｔを、式（５）のように表すことができる。

Ｂ_１，ｔ＝（０，０，０，−Ψ_３，ｔ，０，０）・・・（５）
このようにして、第２の補正部１１５は、カメラ２０１による視点画像に対するロール方向の補正量を求める。

次に、ステップＳ２０２において、補正選択部１１３は、第３の補正部１１６を選択する。

次に、ステップＳ２０３において、第３の補正部１１６は、第１の補正量Ａ_５，ｔのヨー方向の成分を参照し、第２の補正量Ｂ_１，ｔの値を更新する。ここで、第１の補正量Ａ_５，ｔは、光軸が補正対象画像を撮影したカメラ２０１の光軸と直交して、かつ図２の鉛直方向の下側に位置するカメラ２０５による視点画像に対する第１の補正量である。また、幾何学的に、カメラ２０５の座標系におけるヨー方向の回転は、カメラ２０１の座標系におけるピッチ方向の回転に相当することから、第２の補正量Ｂ_１，ｔを、式（６）のように表すことができる。

Ｂ_１，ｔ＝（０，０，０，−Ψ_３，ｔ，−Ψ_５，ｔ，０）・・・（６）
このようにして、第３の補正部１１６は、カメラ２０１による視点画像に対するピッチ方向の補正量を求め、第２の補正量Ｂ_１，ｔを更新する。

次に、ステップＳ２０４において、補正選択部１１３は、第４の補正部１１７を選択する。

次に、ステップＳ２０５において、第４の補正部１１７は、第１の補正量Ａ_３，ｔのＹ軸方向の成分を参照し、第２の補正量Ｂ_１，ｔの値を更新する。

ここで、カメラ２０３の座標系のＹ軸は、カメラ２０１の座標系のＺ軸に相当することから、このときの第２の補正量Ｂ_１，ｔは、式（７）のように表される。

Ｂ_１，ｔ＝（０，０，−ｙ_３，ｔ，−Ψ_３，ｔ，−Ψ_５，ｔ，０）・・・（７）
また、第４の補正部１１７は、第１の補正量Ａ_３，ｔのＹ軸成分を参照する代わりに、第１の補正量Ａ_５，ｔのＸ軸方向の成分を参照することも可能である。

この場合、カメラ２０５の座標系のＸ軸のマイナス方向が、カメラ２０１の座標系のＺ軸のプラス方向に相当することから、この場合の第２の補正量Ｂ_１，ｔは、式（８）のように表される。

Ｂ_１，ｔ＝（０，０，ｘ_５，ｔ，−Ψ_３，ｔ，−Ψ_５，ｔ，０）・・・（８）
また、ここで、Ｂ_１，ｔのＺ軸方向の成分として、上述したようなカメラ２０３による視点画像に対する第１の補正量とカメラ２０５による視点画像に対する第１の補正量との単純平均または重みづけ平均を用いてもよい。

このようにして、第４の補正部１１７は、カメラ２０１による視点画像に対するＺ軸方向の補正量を求め、第２の補正量Ｂ_１，ｔを更新する。

以上のようにして、補正選択部１１３は、第２の補正部１１５、第３の補正部１１６および第４の補正部１１７を用いて、各々のカメラによる視点画像に対する第１の補正量から、第２の補正量を算出する。

一般的に、Ｚ軸方向の動き量、ロール方向およびピッチ方向の動き量は、これらの動き量を算出するために参照する画像が歪むことによって、誤差が発生する可能性がある。また、当該誤差を小さくするための補正等の処理が必要であるため、動き量を求めるときに処理時間が増大する可能性がある。しかし、上記のように、カメラの配置情報を利用して、補正対象画像を撮像したカメラ以外のカメラの座標系における、Ｘ軸方向、Ｙ軸方向およびヨー方向の動き量から求められた第１の補正量を用いることにより、上記のような誤差を抑え、処理量も削減することができる。

次に、ステップＳ６において、その時刻における、カメラ２０３およびカメラ２０５の各々の視点画像に対する第１の補正量の両方によって第２の補正量を算出したか否かを判定する。両方の補正量によって第２の補正量を算出した場合は、ステップＳ７に進み、一方の補正量のみによって第２の補正量を算出した場合は、ステップＳ５に戻り、他方の補正量によって第２の補正量を更新する。

ここで、第１の補正量Ａ_３，ｔの代わりにカメラ２０４の視点画像に対する第１の補正量Ａ_４，ｔを算出し、第１の補正量Ａ_５，ｔの代わりにカメラ２０６の視点画像に対する第１の補正量Ａ_６，ｔを算出した場合は、ステップＳ６において、カメラ２０４およびカメラ２０６の各々の視点画像に対する第１の補正量の両方によって、第２の補正量を算出したか否かを判定する。

また、多視点撮像装置２００におけるすべてのカメラによる各々の視点画像に対する第１の補正量を算出した場合は、ステップＳ６において、多視点撮像装置２００におけるすべてのカメラによる各々の視点画像に対する第１の補正量の全てによって、第２の補正量を算出したか否かを判定する。このとき、Ａ_１，ｔおよびＡ_６，ｔ、Ａ_３，ｔおよびＡ_４，ｔ、ならびにＡ_５，ｔおよびＡ_６，ｔのそれぞれの組み合わせによって求められた各々の第２の補正量の平均をとった値を、第２の補正量として算出してもよい。

次に、ステップＳ７において、補正量合成部１１８は、第１の補正量および第２の補正量を合成し、補正対象画像に対する最終的な補正量である動き補正量を求める。動き補正量Ｃ_１，ｔは式（９）のように表される。

Ｃ_１，ｔ＝（−ｘ_１，ｔ，−ｙ_１，ｔ，ｘ_５，ｔ，−Ψ_３，ｔ，−Ψ_５，ｔ，−Ψ_１，ｔ）・・・（８）
ステップＳ８において、補正選択部１１３は、すべての時刻のフレームに対してステップＳ３からステップＳ７までの処理が終わったか否かを判定する。すべての時刻のフレームに対してこれらの処理が終わっている場合は、ステップＳ９に進み、そうでない場合は、ステップＳ３に戻る。

ステップＳ９において、パノラマ生成部１１９の動き補正部１２０は、ステップＳ７において補正量合成部１１８が合成した動き補正量を、カメラの配置情報を用いて、カメラ２０１以外の各々のカメラの座標系における値に変換する。そして、パノラマ生成部１１９は、これにより変換された各々の動き補正量を参照して、対応する各画像のぶれ補正を行う。そして、画像合成部１２１は、ぶれ補正した各画像を繋ぎ合わせて全方位画像を生成する。ここで、ぶれ補正としては、回転の行列変換および平行移動の行列変換等の公知の方法を用いることができる。

（データ生成装置１００の利点）
以上の説明からわかるように、データ生成装置１００は、例えば、多視点撮像装置２００による複数の視点画像からユーザが選択した補正対象画像と、補正対象画像を撮影したカメラの光軸に直交する光軸であって、水平方向の光軸を有するカメラによって撮影された第１の参照画像と、補正対象画像を撮影したカメラの光軸に直交する光軸であって鉛直方向の光軸を有するカメラによって撮影された画像と、の３種類の画像にそれぞれ対応する動き量の成分の一部から、第１の補正量を算出する。そして、データ生成装置１００は、第１の参照画像および第２の参照画像から算出した２つの第１の補正量と、多視点撮像装置２００における各カメラの配置情報と、を参照して、補正対象画像に対する第２の補正量を算出する。そして、データ生成装置１００は、補正対象画像に対する、第１の補正量および第２の補正量を合成して、最終的な動き補正量を求める。そして、データ生成装置１００は、動き補正量を参照して、多視点撮像装置２００による複数の視点画像をそれぞれぶれ補正し、ぶれ補正した複数の視点画像をパノラマ合成する。

一般的に、カメラの光軸に対して垂直な方向の動き量、およびカメラの光軸を中心とした回転の動き量は、他の方向の動き量、および他の軸を中心とした回転の動き量に比べ、これらの動き量を算出するために参照する画像の歪が少ないため、誤差が発生しにくいという利点を有する。また、当該誤差を小さくするための補正等の処理が必要ないため、動き量を求めるときの処理量も少ないという利点もある。

また、ユーザは、複数の視点画像から予め動き補正したい画像を選択することによって、全方位画像のどの領域を優先的に動き補正したいかを選択することができる。例えば、視点画像内に、撮影時に動いていた被写体および空等の動き量が算出しづらい領域がある場合、ユーザは、その領域以外の領域を指定することにより、より精度の高いぶれ補正を行うことができる。また、ユーザは、視点画像内で、注目被写体が映っている領域を選択し、視点画像における注目被写体のぶれを優先的に補正するといった使い方も可能である。

（実施形態１の付記事項１）
多視点撮像装置２００は、それぞれ異なる方向に光軸を向けた複数の撮像装置を備えていればよく、上記で説明したような、立方体状の基部２０７の各面に直交する方向に各々の光軸を向けた６つの撮像装置を備えている構成は、その一例である。図８は、多視点撮像装置２００の別の例を示す図である。

図８において、多視点撮像装置３００は、同一平面にある円周の中心を中心とした放射方向に光軸を向けるように、円周上に均等な間隔で配置されたカメラ３０１、カメラ３０２、カメラ３０３、カメラ３０４、カメラ３０５、カメラ３０６、カメラ３０７およびカメラ３０８の合計８つのカメラを備えている。そして、多視点撮像装置３００は、この円周が属する平面の直交方向にした光軸を向けるように、当該円周の中心に配置されたカメラ３０８を備えている。

この場合、例えば、ユーザは、選択した補正対象画像を撮影したカメラ３０１の光軸に対して、光軸が直交して、かつそれぞれの光軸が互いに直交している２つのカメラであるカメラ３０３およびカメラ３０９による視点画像を参照画像として選択する。そして、ユーザは、この選択した参照画像により、多視点撮像装置２００を用いた場合と同様に本実施形態で説明した自由視点画像データ生成方法を実施できる。

また、図９は、多視点撮像装置２００の別の例を示す図である。

図９において、多視点撮像装置４００は、同一平面にある円周の中心を中心とした放射方向に光軸を向けるように、円周上に均等な間隔で配置された３つのカメラを備えている。

この場合、例えば、ユーザは、選択した補正対象画像を撮影したカメラ４０１の光軸に対して光軸が直交して、かつそれぞれの光軸が互いに直交している２つのカメラによってそれぞれ撮像された画像を選択できないため、そのような配置ではないカメラ４０２およびカメラ４０３による視点画像を選択する。そして、データ生成装置１００は、カメラ４０２およびカメラ４０３の各々の座標系で求めた第１の補正量を、ユーザが選択した補正対象画像を撮影したカメラ３１０の座標系にそれぞれ変換し、必要となる第１の補正量の成分を抽出して、カメラ３１０による視点画像である補正対象画像に対する第２の補正量を求めることができる。

この場合、各カメラが配置されている円周が属する平面に垂直な光軸を有するカメラがないため、この光軸方向の動き量は算出しないか、もしくは、カメラ４０１の別の方向の動き量から推定して、算出してもよい。

以上のような方法により、データ生成装置１００は、補正対象画像および参照画像を撮像するカメラの配置条件に関わらず、動き量の誤差を抑えつつ、動き量を求める際の処理量も少なくして、補正対象画像における、カメラの振動によるぶれを補正するための補正量を求めることができる。

（実施形態１の付記事項２）
また、上記では、参照画像の候補が複数ある場合、予め定めた条件を満たす画像を選択することについて説明した。例えば、複数の候補がある場合は、その条件として、より鉛直下向きに向いているカメラを選択してもよい。通常、立方体状の基部の各面にカメラを配置する場合、立方体のいずれかの頂点を重力方向にして撮影する場合があり、この場合、当該頂点を共有する３つの面にそれぞれ配置されたカメラを鉛直下向きに向けて撮影する。

このような方法により補正対象画像および参照画像を撮像した場合の補正選択部１１３の動作について、フローチャートを用いて、下記で詳細に説明する。図１０は、上述のステップＳ２の別の態様における、所定の条件を満たす参照画像を参照画像の候補画像から選択するときの補正選択部１１３の動作について説明するためのフローチャートである。なお、本態様における自由視点画像データ生成方法の各工程は、ステップＳ２の一部の工程の代わりに、下記で説明するステップＳ３００〜Ｓ３０２を実施すること以外は、上述の自由視点画像データ生成方法の各工程と同じである。また、本態様の方法で用いる多視点撮像装置としては、多視点撮像装置２００を用いるものとする。

本態様において、補正選択部１１３は、ステップ２の、補正選択部１１３が参照画像を選択する工程としてステップＳ３００〜ステップＳ３０２の工程を行う。まず、ステップＳ３００において、補正選択部１１３は、２つの参照画像の候補として、補正対象画像を撮像したカメラの光軸に対して、光軸が直交していて、かつそれぞれの光軸が一致している２つのカメラによってそれぞれ撮影された２つの画像から１つを選択する。

次に、ステップＳ３０１において、補正選択部１１３は、多視点撮像装置２００のカメラ配置情報を参照して、ステップＳ３００で選択した画像が光軸方向を鉛直下向きに向けた配置のカメラ（鉛直下向きカメラ）によって撮影された画像か否かを判定する。そして、鉛直下向きカメラであると判定した場合は、ステップＳ３０２に進み、そうでない場合は、ステップＳ３０３に進む。

ステップＳ３０２において、補正選択部１１３は、ステップＳ３００で選択した画像を、参照画像として第１の補正部１１４に出力する。

ステップＳ３０３において、補正選択部１１３は、ステップＳ３００で選択した画像以外の候補画像があるか否かを判定する。ここでは、ステップＳ３００で選択した画像以外の候補画像は、補正対象画像を撮像したカメラの光軸に対して、光軸が直交していて、かつそれぞれの光軸が一致している２つのカメラによってそれぞれ撮影された２つの画像のうち、選択しなかったもう一方の画像である。このような候補画像がある場合は、ステップＳ３００に戻り、そうでない場合は、補正選択部１１３は、上述のステップＳ２で説明したように任意の参照画像を選択する。

補正対象画像を撮像したカメラの光軸に対して、光軸が直交していて、かつそれぞれの光軸が一致している２つのカメラは、２つの組み合わせがあるため、それぞれについて上記のステップＳ３００〜ステップＳ３０３を実施することにより、上述の第１の参照画像および第２の参照画像を選択できる。

以上のようにして、データ生成装置１００は、空などの空間が映っている画像より特徴のある鉛直下向きの地面などが映っている画像を参照画像として選択することにより、マッチングの精度を上げ、精度の高い動き補正量を算出することができる。

（実施形態１の付記事項３）
さらにステップＳ２において、補正選択部１１３は、参照画像を選択するときの別の条件として、参照画像の候補画像から、エッジのある領域を識別し、当該領域が当該候補画像全体の領域を占める割合が所定の値以上であれば、参照画像として選択する構成としてもよい。図１１は、ステップＳ２のさらに別の態様における、所定の条件を満たす参照画像を参照画像の候補画像から選択するときの補正選択部１１３の動作について説明するためのフローチャートである。

図１１において、補正選択部１１３は、図１０におけるステップＳ３０１の代わりに、ステップＳ４０１を行う。なお、補正選択部１１３は、ステップＳ４００、Ｓ４０２およびＳ４０３においては、ステップＳ３００、Ｓ３０２およびＳ３０３における処理と同じ処理を行うため、これらの工程に関する説明は省略する。ステップＳ４０１において、補正選択部１１３は、Ｓ４００で選択した候補画像のエッジを公知の手法で算出し、当該候補画像全体の領域に対する、エッジのある領域の割合を算出する。当該割合が所定の値以上である場合、ステップＳ４０２に進み、そうでない場合は、ステップＳ４０３に進む。

以上のようにして、データ生成装置１００は、よりエッジの多い画像を参照画像として選択することにより、マッチングの精度を上げ、精度の高い動き補正量を算出することができる。

（実施形態１の付記事項４）
さらにまた、ステップＳ２において、補正選択部１１３は、光軸方向を鉛直下向きに向けて配置されたカメラによって撮像されて、かつエッジのある領域が多い、画像を、参照画像として選択してもよい。

図１２は、ステップＳ２のさらに別の態様における補正選択部１１３の動作について説明するためのフローチャートである。

なお、補正選択部１１３は、ステップＳ５００、Ｓ５０１においては、それぞれ、ステップＳ３００、Ｓ３０１における処理と同様の処理を、ステップＳ５０２においては、ステップＳ４０１と同様の処理を、ステップＳ５０４、Ｓ５０５においては、ステップＳ３０３、Ｓ３０２と同様の処理を、それぞれ行うため、これらの工程に関する詳細な説明は省略する。

本態様では、ステップＳ５０１で、補正選択部１１３は、多視点撮像装置２００のカメラ配置情報を参照して、ステップＳ５００で選択した画像が光軸方向を鉛直下向きに向けた配置のカメラ（鉛直下向きカメラ）によって撮影された画像か否かを判定する。そして、鉛直下向きカメラであると判定した場合は、ステップＳ５０２に進み、そうでない場合は、ステップＳ５０４に進む。

ステップＳ５０２において、補正選択部１１３は、光軸方向を鉛直下向きに向けた配置のカメラ（鉛直下向きカメラ）によって撮影された画像であると、ステップＳ５０１で判定した画像のエッジを公知の手法で算出し、当該画像全体の領域に対する、エッジのある領域の割合を算出する。当該割合が所定の値以上である場合、ステップＳ５０３に進む。

ステップＳ５０３において、補正選択部１１３は、当該画像を参照画像として設定し、ステップＳ５０５に進む。

当該割合が所定の値未満である場合は、補正選択部１１３は、ステップＳ５０４に進み、ステップＳ５００で選択した画像以外の別の候補画像があるか否かを判定する。別の候補画像がある場合は、ステップＳ５００に戻り、別の候補画像がない場合は、補正選択部１１３は、上述のステップＳ２で説明したように任意の参照画像を選択して、第１の補正部１１４に出力する。

以上のようにして、鉛直下向きに向いているカメラであっても、表面に特徴点のない床面が多く映っていた場合は、より特徴点のある画像が映っている画像を参照画像として選択することにより、マッチングの精度を上げ、精度の高い動き補正量を算出することができる。

〔実施形態２〕
以下、本明細書に添付された図面を参照して、本発明に係る自由視点画像データ生成装置の好適な実施形態である実施形態１について詳細に説明する。なお、異なる図面においても、同じ符号を付した部材は同様のものであるとして、一度、説明した部材に関しては説明を省略することとする。
（自由視点画像データ再生装置５００の概要）
本実施形態に係る自由視点画像データ再生装置５００は、上述の実施形態１に係るデータ生成装置１００とほぼ同じ構成であり、これらの違いとしては、自由視点画像データを表示するためのパノラマ表示生成部５０２および表示部５０５を備えている点と、データ生成装置１００では、合成前の個々の画像に対して動き補正を行ってから、合成をおこなっていたが、自由視点画像データ再生装置５００では、合成後に、算出した動き補正量を参照して補正を行う点が異なる。

なお、自由視点画像データ再生装置５００の例としては、ヘッドマウントディスプレイ、スマートフォンまたはタブレットのような、タッチパネル機能を有する装置等が挙げられる。この場合、表示部１００は、ユーザの視線方向に合わせた自由視点画像データの一部を切り出して表示する。

また、自由視点画像データ再生装置５００は、ＤＶＤ、Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｃなどに代表される光磁気ディスク、およびＵＳＢメモリやＳＤ（登録商標）カードなどの半導体メモリ等の電子媒体からコンテンツデータを読み込んで再生する装置であってもよい。あるいは、自由視点画像データ再生装置５００は、ＴＶ放送の放送波を受信するテレビ受信機、またはインターネットもしくはその他の通信回線から配信されるコンテンツデータを受信する装置であってもよい。

あるいは、自由視点画像データ再生装置５００は、ブルーレイ（Ｂｌｕ−ｒａｙ（登録商標））ディスクプレイヤーなどの外部機器からの画像信号を受け付けるＨＤＭＩ（登録商標）（Ｈｉｇｈ−ＤｅｆｉｎｉｔｉｏｎＭｕｌｔｉｍｅｄｉａＩｎｔｅｒｆａｃｅ）レシーバを備えていてもよい。

すなわち、自由視点画像データ再生装置５００は、外部からコンテンツデータの入力を受け、入力されたコンテンツデータを再生する機能を備えた装置であればよく、特に限定されない。

（自由視点画像データ再生装置５００の構成）
図１３は、自由視点画像データ再生装置５００（以下、「データ再生装置５００」と略称する）の構成を示すブロック図である。まず、この図を用いてデータ再生装置５００の構成の概略を説明する。なお、以下の説明では、データ生成装置１００と共通の部材については同じ番号で記載し、その説明は省略する。

図１３において、データ再生装置５００は、制御部５０１、操作受付部１３０および表示部５０５を備えている。ここで、制御部５０１は、データ再生装置５００全体の機能を統括的に制御する。なお、制御部５０１は、ＣＰＵであり得る。

また、制御部５０１は、図１のデータ生成装置１００の制御部１１０におけるパノラマ生成部１１９の代わりに、パノラマ表示生成部５０２を備えていること、および表示部５０５を備えていること以外は、データ生成装置１００と同じ構成を有している。

そのため、以下では、パノラマ表示生成部５０２および表示部５０５の構成および動作について説明する。ただし、本実施形態における操作受付部１３０は、実施形態１において説明した機能以外に、視線方向を受け付ける機能も有する。なお、「視線方向」とは、三次元の全方位画像を二次元の表示部によって表示するときに、全方位画像を切り出す部分を指定するパラメータでもある。操作受付部１３０が視線方向を受け付ける方法としては、特に限定はない。例えば、操作受付部１３０は、コントローラ等であり得る。この場合、ユーザがコントローラを介して視線方向を入力する。または、操作受付部１３０は、ユーザの目の動きを感知するセンサであり得る。この場合、当該センサは、ユーザの目の動きから視線方向を算出する。

（パノラマ表示生成部５０２および表示部５０５の構成）
図１４は、パノラマ表示生成部５０２および表示部５０５の構成を示すブロック図である。

図１４において、パノラマ表示生成部５０２は、視線受付部５０３と、視線補正部５０４と、画像合成部１２１とを備える。

ここで、画像合成部１２１は、多視点撮像装置２００によって撮像された画像から全方位画像を合成する。

ここで、視線受付部５０３は、操作受付部１３０を介して視線方向を受け付ける。

また、視線補正部５０４は、補正量合成部１１８が合成した動き補正量を用いて、視線方向を制御することにより、映像の揺れを軽減する。

また、表示部５０５は、視線補正部５０４が動き補正を行った視線方向に合わせて、全方位画像を表示する手段である。

（自由視点画像データ再生方法）
以下に、本実施形態におけるデータ再生装置５００を用いた自由視点画像データ再生方法について説明する。なお、本態様における自由視点画像データ生成方法の各工程は、ステップＳ９の工程の代わりに、下記で説明するステップＳ６００〜ステップＳ６０４を実施すること以外は、上述の自由視点画像データ生成方法の各工程と同じである。

図１５は、パノラマ表示生成部５０２の動作を説明するためのフローチャートである。

パノラマ表示生成部５０２は、多視点撮像装置２００の各カメラによって撮像された個々の画像データを受け付けたタイミングで、図１５のフローチャートに記載された各工程を開始する。

ステップＳ６００において、画像合成部１２１は、多視点撮像装置２００の各カメラによって撮像された個々の画像データを繋ぎ合わせて全方位画像を生成する。

次に、ステップＳ６０１において、視線受付部５０３は、全方位画像のどの部分を切り出して表示するかを指示するための視線方向を、操作受付部１３０を介して受け付ける。

次に、ステップＳ６０２において、視線補正部５０４は、ステップＳ７において補正量合成部１１８が合成した動き補正量を用いて、ぶれが補正されるよう視線方向を補正する。

次に、ステップＳ６０３において、表示部５０５は、ステップＳ６０２で視線補正部５０４によって補正された視線方向を用いて、ステップＳ６００で画像合成部１２１によって生成された全方位画像から、表示するための領域を切り出して表示する。

ステップＳ６０４において、視線補正部５０４は、ステップＳ６０３で表示部５０５によって表示されたフレームが、パノラマ表示生成部５０２が受け付けたフレームのうちで最後の時刻のフレームか否かを判定する。ステップＳ６０３で表示部５０５によって表示されたフレームが、パノラマ表示生成部５０２が受け付けたフレームのうちで最後の時刻のフレームである場合、パノラマ表示生成部５０２は、その動作を終了する。そうでない場合は、ステップＳ５００に戻る。

（データ再生装置５００の利点）
以上の説明からわかるように、データ再生装置５００は、多視点撮像装置２００の各カメラによる複数の視点画像からユーザが選択した補正対象画像と、その画像を撮影したカメラの光軸に、光軸が直交して、かつそれぞれの光軸が互いに直交している２つのカメラによってそれぞれ撮影された２つの参照画像と、の３種類の画像に対する各々の第１の動き補正量を算出する。そして、データ再生装置５００は、これら２つの参照画像から算出した２つの第１の動き補正量と多視点撮像装置２００のカメラの配置情報とを参照して、補正画像対象に対する第２の動き補正量を算出する。次に、データ再生装置５００は、補正対象画像に対する第１の動き補正量と第２の動き補正量とを合成して、最終的な動き補正量として求める。そして、データ再生装置５００は、当該動き補正量を用いて、表示部５０５によって表示される全方位画像の部分を指示するための視線方向を制御することにより、カメラの振動による画像の揺れを軽減することができる。

一般的に、カメラの光軸に対して垂直な方向の動き量、およびカメラの光軸を中心とした回転の動き量は、他の方向の動き量、および他の軸を中心とした回転の動き量に比べ、これらの動き量を算出するために参照する画像の歪が少ないため、誤差が発生しにくいという利点を有する。また、当該誤差を小さくするための補正等の処理が必要ないため、動き量を求めるときの処理量も少ないという利点もある。

また、ユーザは、複数の視点画像から予め動き補正したい画像を選択することによって、全方位画像のどの領域を優先的に動き補正したいかを選択することができる。

例えば、視点画像内に撮影時に動いていた被写体および空等の動き量が算出しづらい領域がある場合、ユーザは、その領域以外の領域を指定することにより、より精度の高いぶれ補正を行うことができる。また、注目被写体が映っている領域を選択し、注目被写体のぶれを優先的に補正するといった使い方も可能である。

さらにまた、表示部５０５が表示している画像の全面積のうちで、最も多くの面積を占めている視点画像を補正対象画像としてもよい。こうすることにより、ユーザがデータ再生装置５００を使用しているときに、表示部５０５に表示されている画像に最も適切な揺れの補正を行うことができる。

〔実施形態３〕
データ生成装置１００の制御ブロックおよびデータ再生装置５００の制御ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（CentralProcessingUnit）を用いてソフトウェアによって実現してもよい。

後者の場合、データ生成装置１００およびデータ再生装置５００は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（ReadOnlyMemory）または記憶装置（これらを「記録媒体」と称する）、ならびに上記プログラムを展開するＲＡＭ（RandomAccessMemory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、およびプログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークおよび放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の態様１に係る自由視点画像データ生成装置１００は、複数の撮像装置（多視点撮像装置２００、３００および４００）によりそれぞれ撮影された複数の視点画像に対してぶれ補正を行い、当該複数の視点画像によって全方位画像を生成する自由視点画像データ生成装置１００であって、前記複数の撮像装置の撮影時の配置情報を受け付ける受付部（操作受付部１３０）と、当該複数の撮像装置によってそれぞれ撮影された複数の視点画像を受け付け、前記複数の視点画像から選択された補正対象画像を撮像した撮像装置以外の撮像装置によって撮像された前記複数の視点画像のうちから少なくとも１つ以上の画像を、参照画像として設定し、前記補正対象画像および前記参照画像に対して、現在のフレームと過去のフレームとからそれぞれの動き量を算出し、それぞれの前記動き量の成分の一部と前記配置情報とを参照することにより前記補正対象画像に対する動き補正量を算出し、当該動き補正量および前記配置情報を参照することにより、前記複数の視点画像に対し、ぶれ補正をそれぞれ行う制御部１１０と、を備えている。

上記の構成によれば、複数のカメラにより撮影された複数の視点画像を用いて全方位画像を生成する技術において、参照する画像が一部であっても、すべての視点画像に対する補正量を算出することができるため、少ない処理量で、撮影装置の移動による映像の揺れを軽減することができる。

なお、補正対象画像は、１つであっても、複数であってもよい。

本発明の態様２に係る自由視点画像データ生成装置は、上記態様１において、前記複数の撮像装置は、それぞれ異なる方向に光軸方向を向けている３つの撮像装置を備え、前記制御部は、当該３つの撮像装置によってそれぞれ撮像された視点画像を、前記補正対象画像、ならびに２つの前記参照画像である第１の参照画像および第２の参照画像として、それぞれ設定し、前記補正対象画像、前記第１の参照画像および前記第２の参照画像に対する、それぞれの前記動き量を算出する。

上記の構成によれば、広範囲の領域を撮像することができて、かつ少ない処理量で、撮影装置の移動による映像の揺れを軽減することができる。

本発明の態様３に係る自由視点画像データ生成装置は、上記態様２において、前記３つの撮像装置は、光軸が互いに直交しており、前記制御部は、前記補正対象画像、前記第１の参照画像および前記第２の参照画像に対する、それぞれの動き量を算出し、前記補正対象画像を撮像した前記撮像装置の光軸に垂直な面に属する動き量の成分と、当該光軸周りの回転の動き量の成分と、前記第１の参照画像を撮像した前記撮像装置の光軸に垂直な面に属する動き量の成分と、当該光軸周りの回転の動き量の成分と、前記第２の参照画像を撮像した前記撮像装置の光軸周りの回転の動き量の成分と、を参照することにより、前記補正対象画像に対する動き補正量を算出する。

上記の構成によれば、より広範囲の領域を撮像することができて、かつより少ない処理量で、撮影装置の移動による映像の揺れを軽減することができる。

本発明の態様４に係る自由視点画像データ生成装置は、上記態様１〜３において、前記制御部は、前記参照画像の候補となる画像が複数ある場合、前記配置情報を参照して、より鉛直下向きに向けて配置されている撮像装置により撮影された画像を、前記参照画像として設定する。

上記の構成によれば、空などの空間が映っている画像より特徴のある鉛直下向きの地面などが映っている画像を参照画像として選択することにより、マッチングの精度を上げ、精度の高い動き補正量を算出することができる。

本発明の態様５に係る自由視点画像データ生成装置は、上記態様１〜４において、前記制御部は、前記参照画像の候補となる画像が複数ある場合、エッジのある領域がより多い画像を、前記参照画像として、前記動き量を算出する。

上記の構成によれば、よりエッジの多い画像を参照画像として選択することにより、マッチングの精度を上げ、精度の高い動き補正量を算出することができる。

本発明の態様６に係る自由視点画像データ再生装置５００は、複数の撮像装置（多視点撮像装置２００、３００および４００）によりそれぞれ撮影された複数の視点画像により全方位画像を生成し、当該全方位画像の一部分を表示する自由視点画像データ再生装置であって、前記複数の撮像装置の撮影時の配置情報、および視線方向を受け付ける受付部（操作受付部１３０）と、当該複数の撮像装置によってそれぞれ撮影された複数の視点画像を受け付け、前記複数の視点画像から選択された補正対象画像を撮像した撮像装置以外の撮像装置によって撮像された前記複数の視点画像のうちから少なくとも１つ以上の画像を、参照画像として設定し、前記補正対象画像および前記参照画像に対して、現在のフレームと過去のフレームとからそれぞれの動き量を算出し、それぞれの前記動き量の成分の一部と前記配置情報とを参照することにより前記補正対象画像に対する動き補正量を算出し、前記複数の視点画像により全方位画像を合成する制御部１１０と、前記動き補正量を参照することにより、前記視線方向を制御して、全方位画像の一部分を表示する表示部５０５と、を備えている。

上記の構成によれば、複数のカメラにより撮影された複数の視点画像を用いて全方位画像を生成する技術において、参照する画像が一部であっても、すべての画像に対する補正量を算出することができるため、少ない処理量で、撮影装置の移動による映像の揺れを軽減することができる。

本発明の態様７に係る自由視点画像データ生成方法は、複数の撮像装置によりそれぞれ撮影された複数の視点画像に対してぶれ補正を行い、当該複数の視点画像によって全方位画像を生成する自由視点画像データ生成方法であって、前記複数の撮像装置の撮影時の配置情報を受け付ける受付工程と、当該複数の撮像装置によってそれぞれ撮影された複数の視点画像を受け付け、前記複数の視点画像から選択された補正対象画像を撮像した撮像装置以外の撮像装置によって撮像された前記複数の視点画像のうちから少なくとも１つ以上の画像を、参照画像として設定し、前記補正対象画像および前記参照画像に対して、現在のフレームと過去のフレームとからそれぞれの動き量を算出し、それぞれの前記動き量の成分の一部と前記配置情報とを参照することにより前記補正対象画像に対する動き補正量を算出し、当該動き補正量および前記配置情報を参照することにより、前記複数の視点画像に対し、ぶれ補正をそれぞれ行う制御工程と、を含む。

上記の構成によれば、上記態様１の自由視点画像データ生成装置と同等の効果を奏する。

本発明の態様８に係る自由視点画像データ再生方法は、複数の撮像装置によりそれぞれ撮影された複数の視点画像により全方位画像を生成し、当該全方位画像の一部分を表示する自由視点画像データ再生方法であって、前記複数の撮像装置の撮影時の配置情報、および視線方向を受け付ける受付工程と、当該複数の撮像装置によってそれぞれ撮影された複数の視点画像を受け付け、前記複数の視点画像から選択された補正対象画像を撮像した撮像装置以外の撮像装置によって撮像された前記複数の視点画像のうちから少なくとも１つ以上の画像を、参照画像として設定し、前記補正対象画像および前記参照画像に対して、現在のフレームと過去のフレームとからそれぞれの動き量を算出し、それぞれの前記動き量の成分の一部と前記配置情報とを参照することにより前記補正対象画像に対する動き補正量を算出し、前記複数の視点画像により全方位画像を合成する制御工程と、前記動き補正量を参照することにより、前記視線方向を制御して、全方位画像の一部分を表示する表示工程と、を含む。

上記の構成によれば、上記態様６の自由視点画像データ生成装置と同等の効果を奏する。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、全方位画像を配信する機器、および全方位画像を再生する機器に好適に適用することができる。

１００ 自由視点画像データ生成装置（データ生成装置）
１１０ 制御部
１１８ 補正量合成部
１１９ パノラマ生成部
２００ 多視点撮像装置
５００ 自由視点画像データ再生装置（データ再生装置）
５０１ 制御部
５０２ パノラマ表示生成部
５０５ 表示部

Claims (11)

1. 複数の撮像装置によりそれぞれ撮影された複数の視点画像に基づいて、ぶれ補正が行われた全方位画像を生成する自由視点画像データ生成装置であって、
   １つの視点画像の動き量に基づいて、前記ぶれ補正における前記１つの視点画像を撮像した撮像装置の光軸に垂直な成分を制御し、前記１つの視点画像以外の視点画像の動き量に基づいて、前記ぶれ補正における前記光軸に平行な成分を制御する制御部
   を備えていることを特徴とする自由視点画像データ生成装置。
2. 前記制御部は、さらに、前記１つの視点画像の動き量に基づいて、前記ぶれ補正における前記光軸周りの回転成分を制御し、前記１つの視点画像以外の視点画像の動き量に基づいて、前記ぶれ補正における前記光軸に直交する軸周りの回転成分を制御することを特徴とする請求項１に記載の自由視点画像データ生成装置。
3. 前記複数の撮像装置の撮影時の配置情報を受け付ける受付部をさらに備え、
   前記制御部は、前記配置情報を参照して、前記ぶれ補正を制御することを特徴とする請求項１または２に記載の自由視点画像データ生成装置。
4. 前記複数の視点画像は、光軸が互いに直交する３つの撮像装置によってそれぞれ撮像された３つの視点画像であることを特徴とする請求項１〜３のいずれか一項に記載の自由視点画像データ生成装置。
5. 前記複数の視点画像から前記１つの視点画像の選択を受け付ける受付部を備えていることを特徴とする請求項１〜４のいずれか一項に記載の自由視点画像データ生成装置。
6. 複数の視点画像に基づく全方位画像の、特定の方向に対応する部分を表示する自由視点画像データ再生装置であって、
   １つの視点画像の動き量に基づいて、前記特定の方向の、前記１つの視点画像を撮像した撮像装置の光軸に垂直な成分を制御し、前記１つの視点画像以外の視点画像の動き量に基づいて、前記特定の方向の、前記光軸に平行な成分を制御する制御部
   を備えていることを特徴とする自由視点画像データ再生装置。
7. 自由視点画像データ生成装置が、複数の撮像装置によりそれぞれ撮影された複数の視点画像に基づいて、ぶれ補正が行われた全方位画像を生成する自由視点画像データ生成方法であって、
   １つの視点画像の動き量に基づいて、前記ぶれ補正における前記１つの視点画像を撮像した撮像装置の光軸に垂直な成分を制御し、前記１つの視点画像以外の視点画像の動き量に基づいて、前記ぶれ補正における前記光軸に平行な成分を制御することを特徴とする自由視点画像データ生成方法。
8. 自由視点画像データ再生装置が、複数の視点画像に基づく全方位画像の、特定の方向に対応する部分を表示する自由視点画像データ再生方法であって、
   １つの視点画像の動き量に基づいて、前記特定の方向の、前記１つの視点画像を撮像した撮像装置の光軸に垂直な成分を制御し、前記１つの視点画像以外の視点画像の動き量に基づいて、前記特定の方向の、前記光軸に平行な成分を制御することを特徴とする自由視点画像データ再生方法。
9. 請求項１から５のいずれか１項に記載の自由視点画像データ生成装置としてコンピュータを機能させるためのプログラムであって、前記制御部としてコンピュータを機能させるためのプログラム。
10. 請求項６に記載の自由視点画像データ再生装置としてコンピュータを機能させるためのプログラムであって、前記制御部としてコンピュータを機能させるためのプログラム。
11. 請求項９または１０に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images