JP7056554B2 - 情報処理装置、撮像装置、画像再生装置、および方法とプログラム - Google Patents

Description

この技術は、情報処理装置、撮像装置、画像再生装置および方法とプログラムにあり、複数の撮像部で取得された撮像画をつなぎ合わせた合成画像における所望の撮像領域の画像を容易に処理できるようにする。

従来、撮像方向が異なる複数の画像を用いて広画角画像を生成することが行われている。例えば複数の撮像部を異なる方向に向けて撮像を行い、得られた撮像画を特許文献１で開示されている手法を用いてつなぎ合わせることで、画像のずれを生じることなく撮像画が連続している合成画像を生成することが行われている。

また、特許文献２では、撮像方向が異なる複数の撮像部を用いて全天球の撮像を行い、各撮像部で生成された画像をつなぎ合わせることにより全天球を示す全天球画像が生成されている。

特開２０００－２１５３１７号公報 特開２００１－２９８６５２号公報

ところで、全天球画像のような合成画像を生成する場合、一部の撮像領域の画像を削除または置き換える場合がある。例えば撮像者や撮像時に用いられている機材等のように目的としていない被写体が写り込んでしまう場合、目的としていない被写体の撮像領域の画像に対して削除や置き換えが必要となる。また、画像の削除や置き換え等の対象領域である特定領域を画像に基づいて判別する場合、合成画像では撮像範囲が広いため合成画像から特定領域を判別することは容易でない。また、合成画像から画像に基づいて特定領域を判別する場合、合成画像が動画であるとフレーム毎に画像に基づいて特定領域を判別しなければならないため、特定領域の画像に対する処理に要する時間が長くなる。

そこで、この技術では、複数の撮像部で取得された撮像画をつなぎ合わせた合成画像における所望の撮像領域の画像を容易に処理できるようにした情報処理装置、撮像装置、画像再生装置および方法とプログラムを提供することを目的とする。

この技術の第１の側面は、
複数の撮像部で取得された撮像画をつなぎ合わせた合成画像における特定撮像領域に対応した特定領域を示す特定領域情報を生成する特定領域情報生成部を備え、
前記特定領域情報生成部は、前記合成画像を提供するサービスの提供レベルに応じて、前記撮像画を無効化して情報を表示する前記特定領域を示す前記特定領域情報を生成する
情報処理装置にある。

この技術においては、複数の撮像部で取得された撮像画をつなぎ合わせた合成画像における特定撮像領域に対応した特定領域を示す特定領域情報が特定領域情報生成部で生成される。また、撮像部の撮像位置情報と撮像方向と撮像範囲および時間情報を示す撮像情報が撮像情報生成部で生成される。特定領域情報には、適用範囲情報を含めて、合成画像における特定領域だけでなく、特定領域に対する画像処理の適用時間または画像処理を適用する撮像位置が示される。特定撮像領域は、例えば複数の撮像部における特定の撮像部で撮像される領域、または方位および仰角で示された特定された撮像領域、あるいは頂角と座角で特定された撮像領域とされる。

また、複数の撮像部で取得された撮像画を、画像のずれを生じることなく連続してつなぎ合わせるための合成設定情報を生成する合成設定情報生成部が設けられる。合成画像を生成する撮像画合成部では、合成設定情報生成部で生成された合成設定情報に基づき、所定の撮像方向を基準とした合成画像が生成される。さらに、合成画像に特定領域情報を関連付けて出力する出力部が設けられる。

また、特定領域情報生成部は、合成画像を再生する際の制限レベル毎の特定領域情報、撮像された所定の物体を含む合成画像の領域を特定領域とした特定領域情報、音声データから生成したテキストデータに基づく特定領域情報、取得したコマンド情報に基づく特定領域情報、または撮像情報と被写体の位置情報に基づく特定領域情報を生成することも可能とされている。

この技術の第２の側面は、
複数の撮像部で取得された撮像画をつなぎ合わせた合成画像に関連した情報を生成する情報処理方法において、
前記合成画像における特定撮像領域に対応する特定領域を示す特定領域情報を、前記合成画像を提供するサービスの提供レベルに応じて、前記撮像画を無効化して情報を表示する前記特定領域を示す前記特定領域情報を生成すること
を含む情報処理方法にある。

この技術の第３の側面は、
複数の撮像部で取得された撮像画をつなぎ合わせた合成画像に関連した情報をコンピュータで生成するプログラムであって、
前記合成画像における特定撮像領域に対応する特定領域を示す特定領域情報を、前記合成画像を提供するサービスの提供レベルに応じて、前記撮像画を無効化して情報を表示する前記特定領域を示す前記特定領域情報を生成する機能を
前記コンピュータで実現するプログラムにある。

この技術の第４の側面は、
複数の撮像部と、
前記複数の撮像部で取得された撮像画をつなぎ合わせて合成画像を生成する撮像画合成部と、
前記合成画像における特定撮像領域に対応する特定領域を示す特定領域情報を生成する特定領域情報生成部とを備え、
前記特定領域情報生成部は、前記合成画像を提供するサービスの提供レベルに応じて、前記撮像画を無効化して情報を表示する前記特定領域を示す前記特定領域情報を生成する
撮像装置にある。

この技術においては、複数の撮像部で取得された撮像方向が異なる撮像画をつなぎ合わせて合成画像が生成される。また、合成画像における特定撮像領域に対応する特定領域を示す特定領域情報が生成される。さらに、撮像画合成部では、生成された特定領域情報に基づき、合成画像における特定領域の画像処理が行われる。または、合成画像と特定領域情報が関連付けて出力される。

この技術の第５の側面は、
複数の撮像画をつなぎ合わせて生成された合成画像を読み込む画像読込部と、
前記合成画像における特定撮像領域に対応する特定領域を示しており、前記合成画像を提供するサービスの提供レベルに応じて、前記撮像画を無効化して情報を表示する前記特定領域を示す特定領域情報を読み込む情報読込部と、
前記画像読込部で読み込まれた合成画像における前記情報読込部で読み込まれた特定領域情報によって示された前記合成画像を提供するサービスの提供レベルに応じた特定領域に対して、再生制御を行う再生制御部と
を備える画像再生装置にある。

この技術においては、複数の撮像画をつなぎ合わせて生成された合成画像と、合成画像における特定撮像領域に対応する特定領域を示す特定領域情報が取得される。また、取得された合成画像における特定領域情報によって示された特定領域に対して無効化処理または強調処理が行われる。無効化処理では、例えば特定領域の画像に特定領域情報で示されたテクスチャを合成する処理、または特定領域の画像の出力を停止または無効データに置き換える処理が行われる。

この技術によれば、複数の撮像部で取得された撮像画をつなぎ合わせた合成画像における特定撮像領域に対応した特定領域を示す特定領域情報が生成される。このため、特定領域情報に基づき、合成画像における所望の撮像領域の画像に対する特定領域を容易に処理できる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

撮像装置の構成を例示した図である。 撮像処理を示すフローチャートである。 ６つ撮像部を用いた場合の撮像領域と二次元平面上の領域の対応関係を例示した図である。 撮像情報の時系列データを例示した図である。 撮像画合成・特定領域処理を示すフローチャートである。 特定撮像領域の設定を説明するための図である。 方位と仰角の範囲が特定された場合の特定撮像領域を例示した図である。 座標が特定された場合の特定撮像領域を例示した図である。 特定領域情報を例示した図である。 画像再生装置の第１の構成を例示した図である。 画像再生装置の第１の構成の動作を示すフローチャートである。 画像再生装置の第２の構成を例示した図である。 画像再生装置の第２の構成の動作を示すフローチャートである。 撮像情報の時系列データを例示した図である。 人物Ａに応じた特定領域を例示した図である。 音声データに基づいて生成した撮像情報の時系列データを例示した図である。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．撮像装置の構成と動作
１－１．撮像装置の構成
１－２．撮像装置の動作
２．画像再生装置の構成と動作
２－１．画像再生装置の第１の構成と動作
２－２．画像再生装置の第２の構成と動作
３．撮像情報や特定領域情報の変形例

＜１．撮像装置の構成と動作＞
＜１－１．撮像装置の構成＞
図１は本技術の情報処理装置を用いた撮像装置の構成を例示している。撮像装置１０は、撮像画取得部１１、撮像情報生成部１２、合成設定情報生成部１３、特定領域情報生成部１４を有している。また、撮像装置１０は、撮像画合成部２１、エンコード処理部２２、出力部２３を有している。さらに、撮像装置１０には、記憶部（例えば記録媒体）３１が固定または着脱可能に設けられていてもよい。なお、記憶部３１を用いた場合については後述する。

撮像画取得部１１は、複数の撮像部１１-1～１１-nで構成されている。撮像部１１-1～１１-nは、撮像部１１-1～１１-nで取得された撮像画のつなぎ合わせを行ったときに、画像のずれを生じることなく撮像画が連続している合成画像を生成できるように撮像範囲と撮像部１１-1～１１-nの物理レイアウトが設定されている。撮像画取得部１１は、撮像部１１-1～１１-nで取得した撮像画の画像データに、撮像情報生成部１２のタイムコード生成部１２１から供給されたタイムコードを含めて撮像画合成部２１へ出力する。なお、合成画像は、１つの撮像部で得られる撮像画よりも広画角の画像であればよい。例えば全天球画像や全天球画像よりも撮像範囲を狭めた画像（例えば半球画像）、水平方向と垂直方向のいずれか一方または両方向の撮像範囲を広げた画像等である。

撮像情報生成部１２は、撮像位置と撮像方向と撮像範囲および時間情報を含む撮像情報を生成する。撮像情報生成部１２は、タイムコード生成部１２１、時計部１２２、センサ部１２３および情報生成処理部１２４を有している。タイムコード生成部１２１は、タイムコードを生成して撮像画取得部１１と情報生成処理部１２４へ出力する。時計部１２２は時刻情報を生成して情報生成処理部１２４へ出力する。センサ部１２３は、位置センサ，高度センサ，方位センサ，仰角センサ等を用いて構成されている。センサ部１２３は、例えば撮像装置１０（撮像画取得部１１が撮像装置１０の本体から分離可能である場合は撮像画取得部１１）の緯度や経度および高度を示す撮像位置情報、および撮像装置１０（または撮像画取得部１１の例えばいずれか１つの基準とする撮像部）が向いている方位や仰角を示す姿勢情報を生成する。センサ部１２３は、撮像位置情報や姿勢情報を情報生成処理部１２４へ出力する。情報生成処理部１２４は、後述するようにタイムコードと時刻情報および撮像位置情報や姿勢情報を用いて、撮像画取得部１１で取得された撮像画または撮像画合成部２１で生成された後述する合成画像に関連したメタ情報である撮像情報を生成する。撮像情報は、共通データと時系列データを有している。共通データは、時間に依存しない情報であり例えば撮像開始時または予め撮像開始前に生成される。時系列データは、時間に依存する情報であり、時間経過と共に変化する場合がある撮像位置情報や姿勢情報が時間情報であるタイムコードと共に用いて生成される。また、時系列データは、所定時間間隔で定期的に生成される。撮像情報生成部１２は、生成した撮像情報を出力部２３へ出力する。

合成設定情報生成部１３は、撮像画合成部２１で行う画像のつなぎ合わせ処理（スティッチ処理）において、撮像画を画像のずれを生じることなく連続するようにつなぎ合わせるための合成設定情報を生成する。合成設定情報生成部１３は、例えば撮像画取得部１１で用いられている撮像部１１-1～１１-nの物理レイアウト情報、撮像部１１-1～１１-nで用いられているレンズの焦点距離等を示すレンズ情報、全天球画像のような広角画像を二次元平面に投影する投影方式に関する情報、二次元平面に投影した画像の画サイズ情報等に基づいて後述するように合成設定情報を生成する。合成設定情報の生成に用いる情報は、ユーザが入力してもよく、合成設定情報生成部１３で自動的に取得してもよい。例えば撮像部１１-1～１１-nと通信を行い、レンズ情報を自動的に取得して合成設定情報の生成に用いるようにしてもよい。合成設定情報生成部１３は、合成設定情報を撮像画合成部２１と特定領域情報生成部１４へ出力する。

特定領域情報生成部１４は、撮像部１１-1～１１-nで取得された撮像画をつなぎ合わせた合成画像における特定撮像領域に対応した特定領域を示す特定領域情報を生成する。特定撮像領域は例えば目的としていない被写体の撮像領域である。特定撮像領域は、撮像部１１-1～１１-nに対して予め個々に割り当てられている識別情報を特定することで、撮像部１１-1～１１-nにおけるいずれか特定した撮像部で撮像される領域とする。また、特定撮像領域は、撮像位置を基準とした座標系（以下「カメラ座標系」という）の頂角と座角で特定された撮像領域、あるいは実世界の方位および仰角で特定された撮像領域としてもよい。

また、特定領域情報生成部１４は、合成画像における特定撮像領域に対応した特定領域を示す座標の集合を領域設定情報とする。特定領域情報生成部１４は、特定撮像領域が識別情報で特定された撮像部で撮像される領域またはカメラ座標系の頂角と座角で特定された撮像領域である場合、撮像領域を、合成設定情報を利用して合成画像における特定領域の二次元座標へ変換する。また、特定領域情報生成部１４は、特定撮像領域が実世界の方位および仰角で特定された撮像領域である場合、図示せずも撮像情報生成部１２から撮像情報を取得して、取得した撮像情報を利用して方位および仰角で特定された撮像領域をカメラ座標系の撮像領域に変換する。さらに、特定領域情報生成部１４は、変換後であるカメラ座標系の撮像領域を、合成設定情報を利用して合成画像における特定領域の二次元座標へ変換する。

また、特定領域情報生成部１４は、領域設定情報で示された特定領域に対する画像処理の適用範囲を示す適用範囲情報を生成する。特定領域情報生成部１４は、領域設定情報と適用範囲情報を含む特定領域情報を撮像画合成部２１または出力部２３へ出力する。なお、特定領域情報は、撮像画取得部１１で取得された撮像画または撮像画合成部２１で生成された後述する合成画像に関連したメタ情報である。

撮像画合成部２１は、撮像画取得部１１から出力された撮像画の画像データと、合成設定情報生成部１３から出力された合成設定情報に基づき、撮像部１１-1～１１-nで取得された画像をつなぎ合わせて、二次元平面の合成画像を生成する。撮像画合成部２１は、生成した合成画像の画像データをエンコード処理部２２へ出力する。また、撮像装置１０から合成画像の特定領域に対して画像処理が行われた画像データを出力する場合、撮像画合成部２１は、生成した合成画像に対して特定領域情報生成部１４から出力された特定領域情報に基づき特定領域の画像処理を行う。撮像画合成部２１は、特定領域の画像処理が行われた合成画像の画像データをエンコード処理部２２へ出力する。

エンコード処理部２２は、画像の符号化処理を行いデータ量が圧縮された符号化データを生成する。エンコード処理部２２は、例えば合成画像が動画である場合、Ｈ．２６５（ＩＳＯ／ＩＥＣ ２３００８－２ ＨＥＶＣ）やＨ．２６４／ＡＶＣ等の規格に応じた符号化データを生成する処理を行う。エンコード処理部２２は、生成した符号化データを出力部２３へ出力する。

出力部２３は、合成画像の符号化データとメタ情報を関連付けて出力する。出力部２３は、合成画像の符号化データが特定領域に対して画像処理が行われていない場合、例えば撮像情報生成部１２で生成された撮像情報や特定領域情報生成部１４で生成された特定領域情報を符号化データと多重化して多重化データを生成する。また、出力部２３は、合成画像の符号化データが特定領域に対して画像処理が行われている場合、例えば撮像情報生成部１２で生成された撮像情報を符号化データと多重化して多重化データを生成してもよい。出力部２３は、生成した多重化データや特定領域に対して画像処理が行われている合成画像の符号化データを、伝送路を介して外部機器等へ出力する。

また、記憶部３１を設けた場合、記憶部３１には、撮像画取得部１１で取得した撮像画の画像データを記憶してもよく、撮像画合成部２１で生成された合成画像の画像データ、またはエンコード処理部２２で生成された符号化データ等を記憶してもよい。さらに、記憶部３１には、撮像情報生成部１２で生成された撮像情報、合成設定情報生成部１３で生成された合成設定情報、特定領域情報生成部１４で生成された特定領域情報等のメタ情報を撮像画または合成画像の画像データに関連付けて記憶してもよい。なお、関連付けでは、画像データに対してメタ情報の付与、画像データと同じファイルに撮像情報等を記録、同じ記録媒体に画像データと撮像情報等を記録する場合を含む。また、関連付けでは上述のように画像データと撮像情報等を多重化する場合等も含む。また、画像データや符号化データとメタ情報等を関連付けて記憶部３１に記憶させることで、記憶部３１を介して画像データや符号化データとメタ情報等を関連付けて出力できる。

記憶部３１には、例えば撮像画取得部１１で取得した撮像画の画像データと、撮像情報生成部１２で生成された撮像情報、合成設定情報生成部１３で生成された合成設定情報、特定領域情報生成部１４で生成された特定領域情報を関連付けて記憶させる。この場合、撮像装置１０に撮像画合成部２１やエンコード処理部２２を設けていなくとも、外部機器は記憶部３１から画像データと関連付けられている情報を読み出すことで、合成画像の生成や合成画像における特定領域に対する画像処理等を行える。このため、例えば撮像装置と外部機器の処理能力等に応じて、撮像装置と外部機器に対する処理の振り分けを行うことで、合成画像における特定領域の画像処理を効率よく行うことができる。

また、撮像装置１０では、記憶部３１に撮像画取得部１１で取得した撮像画の画像データや合成設定情報等を記憶させて、その後、記憶部３１から撮像画の画像データと合成設定情報を読み出して撮像画合成部２１で合成画像を生成してもよい。この場合、撮像画の合成処理に時間を要する場合であっても、撮像動作を優先できる。

また、記憶部３１に画像を記憶する場合、撮像画合成部２１で生成された合成画像を記憶することで、撮像画取得部１１で取得した撮像画を記憶する場合に比べで記憶するデータ量を削減できる。さらに、エンコード処理部２２で生成された符号化データを記憶することで、データ量をさらに削減できる。なお、撮像装置１０にデコード処理部や表示部を設ければ、符号化データの内容を確認することができる。

＜１－２．撮像装置の動作＞
次に撮像装置の動作について説明する。撮像装置１０では撮像処理と合成・特定領域処理を行う。

図２は撮像処理を示すフローチャートである。撮像装置１０において、撮像画取得部１１の撮像部１１-1～１１-nと撮像情報生成部１２の情報生成処理部１２４は、タイムコード生成部１２１で生成されたタイムコードを共に用いて、撮像画の取得と撮像情報の生成を行っている。

ステップＳＴ１で撮像装置１０は合成設定情報を生成する。撮像装置１０の合成設定情報生成部１３は、撮像部１１-1～１１-nで取得された撮像画を、画像のずれを生じることなく連続するようにつなぎ合わせるための合成設定情報を生成する。

合成設定情報生成部１３は、合成設定情報の生成において、撮像部１１-1～１１-nの物理レイアウト情報を用いる。物理レイアウト情報は、撮像部１１-1～１１-nの撮像方向を判別可能とする情報であり、物理レイアウトに応じて例えばユーザが入力する。また、撮像部１１-1～１１-nの物理レイアウトが所定の位置関係とされている場合、例えば取付ジグ（カメラリグ等）に撮像部が取り付けられて所定の位置関係とされている場合、取付位置に基づき物理レイアウト情報を自動的に生成してもよい。また、撮像画取得部１１では、撮像部１１-1～１１-nの物理レイアウトに応じた物理レイアウト情報が予め記憶されていてもよい。

また、合成設定情報生成部１３は、合成設定情報の生成において、撮像部１１-1～１１-nのレンズ情報を用いる。レンズ情報は、撮像部１１-1～１１-nの撮像領域を判別可能とする情報例えば焦点距離等の情報である。レンズ情報は、撮像部１１-1～１１-nで用いられているレンズ状態に応じてユーザがレンズ情報を入力してもよく撮像部１１-1～１１-nからレンズ情報を取得してもよい。

物理レイアウト情報は、撮像部１１-1～１１-nの撮像方向を判別可能とする情報であり、レンズ情報は撮像部１１-1～１１-nの撮像領域を判別可能とする情報である。したがって、物理レイアウト情報とレンズ情報を用いることで、合成設定情報生成部１３は、例えば全天球の何れの領域が何れの撮像部で撮像されているかを判別できる。

また、合成設定情報生成部１３は、合成設定情報の生成において、全天球画像のような広画画像を二次元平面に投影する投影方式に関する情報を用いる。例えば正距円筒図法や正積円筒図法等を用いて全天球画像を二次元平面画像に変換する場合の投影式を投影方式に関する情報として用いる。

さらに、合成設定情報生成部１３は、合成設定情報の生成において、画サイズ情報を用いる。合成設定情報生成部１３は、画サイズ情報を用いて二次元平面の画サイズを設定する。

投影方式に関する情報は、全天球画像上の位置と二次元平面画像上の位置の対応関係を示しており、画サイズ情報は二次元平面画像の画サイズを示している。したがって、投影方式に関する情報と画サイズ情報に基づき、全天球画像上の位置と画サイズ情報で示された画サイズの二次元平面画像上の位置との対応関係が明らかとなる。

合成設定情報生成部１３は、物理レイアウト情報とレンズ情報と投影方式に関する情報および画サイズ情報に基づき、撮像部１１-1～１１-nで取得される各撮像画（全天球画像の一部領域の画像に相当）の各画素が画サイズ情報で示された画サイズの二次元平面である合成画像上の何れの領域に対応するか判別して、撮像画の各画素と合成画像上の対応関係を示す合成設定情報を生成する。この合成設定情報を用いて合成画像を生成すれば、複数の撮像画において、全天球の同一の位置を示す画素は、この全天球の位置に対応する合成画像上の位置にマッピングされる。したがって、所望の撮像範囲がいずれかの撮像部で撮像されるように撮像範囲を設定すれば、画像のずれを生じることなく撮像画が連続している所望の撮像範囲の合成画像を生成できる。

図３は、６つ撮像部を用いた場合の撮像領域と二次元平面上の領域の対応関係を例示している。例えば４つの撮像部は撮像方向が水平方向で互いに９０°の角度差を有するように配置されている。また、２つの撮像部の一方は撮像方向が天方向（天頂方向）、他方の撮像方向が地方向（天底方向）なるように配置されている。また、６つ撮像部によって例えば図３の（ａ）に示す水平方向の領域Ｐａ，Ｐｂ，Ｐｃ，Ｐｄと天方向の領域Ｐｅおよび図示していない地方向の領域Ｐｆの撮像が行われている。なお、図３の（ａ）に示す水平方向の領域Ｐａ，Ｐｂ，Ｐｃ，Ｐｄは、物理レイアウト情報とレンズ情報から明らかである。また、投影方式に関する情報および画サイズ情報に基づき、領域Ｐａ，Ｐｂ，Ｐｃ，Ｐｄ，Ｐｅ，Ｐｆと画サイズ情報で示された画サイズの二次元平面上の領域との対応関係が明らかとなる。例えば図３の（ｂ）において、画サイズ情報で示された画サイズの二次元平面（合成画像）ＧＰにおける領域Ｇａは領域Ｐａと対応している。同様にＧｂ，Ｇｃ，Ｇｄ，Ｇｅ，Ｇｆは、領域Ｐｂ，Ｐｃ，Ｐｄ，Ｐｅ，Ｐｆと対応している。なお、図３の（ｂ）では、領域Ｐｃの中心となる撮像方向を基準として、この基準とした撮像方向が二次元平面の中心位置とされている。

合成設定情報生成部１３は、複数の撮像部で取得された撮像画を、画像のずれを生じることなく連続するようにつなぎ合わせるための合成設定情報を生成してステップＳＴ２に進む。

ステップＳＴ２で撮像装置１０は撮像を行う。撮像装置１０の撮像画取得部１１では撮像部１１-1～１１-nで撮像画の画像データを生成する。また、撮像画取得部１１は、撮像情報生成部１２のタイムコード生成部１２１から供給されたタイムコードを、生成された画像データに付加する。撮像画取得部１１は、タイムコードが付加された画像データを生成してステップＳＴ３に進む。

ステップＳＴ３で撮像装置１０は、撮像情報を生成する。撮像装置１０の撮像情報生成部１２は、撮像画に関連したメタ情報である撮像情報を生成する。撮像情報は、時間に依存しない共通データと時間に依存する時系列データを有している。

撮像情報生成部１２は、時間に依存しない共通データとしては、例えば時計部１２２から出力された時刻情報を利用して撮像開始時刻を示すデータを生成する。時間に依存する時系列データは、所定時間間隔で生成されるデータである。時系列データは、タイムコード生成部１２１で撮像中に生成されたタイムコード、センサ部１２３で生成された撮像装置１０（撮像画取得部１１）の緯度や経度および高度を示す撮像位置情報、および撮像部１１-1～１１-nが向いている方位や仰角を示す姿勢情報を用いる。なお、姿勢情報は、撮像部１１-1～１１-nのそれぞれについての情報を用いる必要はなく、いずれか１つの基準とする撮像部の姿勢情報が得られれば、物理レイアウト情報に基づき他の撮像部の姿勢情報を算出できる。

図４は、撮像情報の時系列データを例示している。時系列データでは、タイムコード生成部１２１で生成されたタイムコード、センサ部１２３で生成された撮像装置１０の緯度と経度および高度を示す情報、および予め特定されている１つの撮像部の姿勢情報（例えば方位と仰角）を有している。なお、図４では、方位を示す略字も記載している。

撮像装置１０は、撮像情報を生成したのち、撮像終了を示すユーザ操作や外部からの指示（以下「ユーザ操作等」という）がないと判別した場合にステップＳＴ２に戻り、撮像終了を示す指示があると判別した場合に撮像処理を終了する。

次に、撮像画合成・特定領域処理について説明する。図５は、撮像画合成・特定領域処理を示すフローチャートである。撮像画合成・特定領域処理を開始する場合、図２に示す撮像処理が行われて、撮像画取得部１１の撮像部１１-1～１１-nでは撮像画の画像データ、撮像情報生成部１２では撮像情報、合成設定情報生成部１３では合成設定情報がそれぞれ生成されている。

ステップＳＴ１１で撮像装置１０は、特定撮像領域と適用範囲を設定する。撮像装置１０の特定領域情報生成部１４は、例えば目的としない被写体を含む撮像領域を特定撮像領域に設定する。

特定領域情報生成部１４は、ユーザ操作等によって特定された撮像部の撮像領域を特定撮像領域とする。特定領域情報生成部１４は、撮像部に割り当てられている識別情報を用いてユーザ操作等によって撮像部が特定された場合、特定された撮像部の撮像領域を特定撮像領域とする。例えば、ユーザ操作等によって特定された撮像部の識別情報が図３において天方向を撮像する撮像部を示している場合、領域Ｐｅを特定撮像領域とする。

また、特定領域情報生成部１４は、ユーザ操作等によって撮像領域を示す頂角と座角が特定された場合、特定された頂角と座角で囲まれる領域を特定撮像領域とする。例えば、撮像位置を基準とした座標系において、座標（頂角：４５°，座角：４５°）（頂角：９０°，座角：４５°）（頂角：４５°，座角：９０°）（頂角：９０°，座角：９０°）が特定された場合、特定された座標領域を特定撮像領域とする。

また、特定領域情報生成部１４は、ユーザ操作等によって実世界の方位と仰角が特定された場合、特定された方位や仰角で示される領域を特定撮像領域とする。図６は、特定撮像領域の設定を説明するための図である。例えば図６の（ａ）に示すように、方位設定指示に応じてユーザ等によって特定された方位の範囲を特定撮像領域とする。また、図６の（ｂ）に示すように、仰角設定指示に応じてユーザ等によって特定された仰角の範囲を特定撮像領域とする。

図７は、方位と仰角の範囲が特定された場合の特定撮像領域を例示している。例えば、方位範囲（０°～３６０°）と仰角範囲（０°～４５°）が特定された場合、撮像位置を中心として、斜線で示す領域が特定撮像領域となる。図８は、座標が特定された場合の特定撮像領域を例示している。例えば座標（方位：０°，仰角：４５°）（方位：０°，仰角：０°）（方位：９０°，座角：０°）（方位：９０°，仰角：４５°）が特定された場合、撮像位置を中心として、斜線で示す領域が特定撮像領域となる。

また、特定領域情報生成部１４は、適用範囲の設定を行う。適用範囲の設定では、合成画像における特定撮像領域に対応した特定領域の画像に対して、画像処理を行う適用範囲を例えば時間情報や撮像位置を用いて特定する。特定領域情報生成部１４は、ユーザ操作等に基づき、特定領域の画像に対する画像処理を行う時間を特定する。時間の特定は、絶対時間例えばＵＴＣ等を用いて時間を特定してもよく、相対時間例えば撮像開始時からの経過時間等を用いて特定してもよい。さらに、時間の特定は、適用範囲の開始時間または終了時間のいずれかを特定してもよく、開始時間と終了時間を特定してもよい。

また、特定領域情報生成部１４は、ユーザ操作等に基づき、特定領域の画像に対する画像処理を行う適用範囲の撮像位置を特定する。撮像位置の特定では、緯度や経度および高度のいずれかまたは複数を特定する。例えば３つの座標（緯度：Ｎ３５，経度：Ｅ１３９）（緯度：Ｎ３５，経度：Ｅ１４０）（緯度：Ｎ４０，経度：Ｅ１３９）を特定することで、３つの座標で囲まれた領域を適用範囲とする。また、高度（例えば３０ｍ以下）を特定すること、特定された高度の範囲を適用範囲としてもよい。

撮像装置１０は、上述のように特定撮像領域と適用範囲の設定を行って図５のステップＳＴ１２に進み、特定領域情報を生成する。撮像装置１０の特定領域情報生成部１４は、特定撮像領域と適用範囲の設定に基づいて特定領域情報を生成する。

特定領域情報は、領域設定情報と適用範囲情報を有している。領域設定情報は合成画像における特定領域を示す情報であり、適用範囲情報は領域設定情報で示された特定領域に対する画像処理の適用範囲を示す情報である。

特定領域情報生成部１４は、撮像画をつなぎ合わせた合成画像において特定撮像領域に対応した特定領域を示す座標の集合を領域設定情報として生成する。

特定領域情報生成部１４は、撮像部の識別情報によって特定撮像領域が特定されている場合、合成設定情報生成部１３で生成された合成設定情報に基づき、識別情報に対応する撮像部で取得される撮像画の合成画像の座標群を算出する。特定領域情報生成部１４は、算出した座標群を示す情報を領域設定情報とする。

また、特定領域情報生成部１４は、頂角と座角を用いて特定撮像領域が設定された場合、合成設定情報生成部１３で生成された合成設定情報に基づき、頂角と座角で示された特定撮像領域に対応する合成画像の座標群を算出する。特定領域情報生成部１４は、算出した座標群を示す情報を領域設定情報とする。

また、特定領域情報生成部１４は、方位と仰角で特定撮像領域が設定された場合、合成設定情報生成部１３で生成された合成設定情報に基づき、各撮像部で取得された撮像画と合成画像との対応付けを行う。また、特定領域情報生成部１４は、撮像情報生成部で生成された撮像情報から、各撮像部がどの方位および仰角を向いていたかをタイムコード毎に判別する。また、特定領域情報生成部１４は、判別した撮像部の向きに基づき特定撮像領域が、何れの撮像部で取得された撮像画の何れの領域に対応するか判別する。さらに、特定領域情報生成部１４は、撮像部で取得された撮像画と合成画像との対応付けと、特定撮像領域と撮像部で取得された撮像画の対応関係に基づき、方位と仰角で示された特定撮像領域に対応する合成画像の座標群を算出する。特定領域情報生成部１４は、算出した座標群を示す情報を領域設定情報とする。

また、特定領域情報生成部１４は、合成画像における特定撮像領域に対応する特定領域を示す領域設定情報と適用範囲の設定を示す適用範囲情報を含む特定領域情報を生成する。

図９は特定領域情報を例示している。特定領域情報では、例えば適用範囲情報として特定領域に対する画像処理を行う場合の緯度と経度および高度がタイムコード毎に示されている。また、領域設定情報では、合成画像における特定撮像領域に対応する特定領域の座標群がタイムコード毎に示されている。なお、図９では２つの特定領域ＡＲ１，ＡＲ２が設けられており、２つの特定領域について座標群が算出されている場合を例示している。また、座標群の情報として、座標群の領域を示す四隅の座標値（水平方向画素位置，垂直方向画素位置）が示されている。なお、適用範囲情報には、上述のように開始時間や終了時間を含めてもよい。

撮像装置１０は、上述のように特定領域情報を生成して図５のステップＳＴ１３に進み、撮像画合成処理を行う。撮像装置１０の撮像画合成部２１は、合成設定情報生成部１３で生成された合成設定情報に基づき、撮像画取得部１１の撮像部１１-1～１１-nで取得された撮像画のつなぎ合わせ処理（スティッチ処理）を行う。つなぎ合わせ処理では、タイムコードが等しい撮像画をつなぎ合わせて１枚の合成画像を生成する。撮像装置１０は、合成画像を生成してステップＳＴ１４に進む。

ステップＳＴ１４で撮像装置１０は特定領域が設定されているか判別する。撮像画合成部２１は、特定領域情報に基づき、合成画像に対して特定領域が設定されているか判別する。撮像画合成部２１は、合成画像と等しいタイムコードの特定領域情報で特定領域の座標群が示されている場合、特定領域が設定されていると判別してステップＳＴ１５に進む。また、撮像画合成部２１は、合成画像と等しいタイムコードの特定領域情報で特定領域の座標群が示されていない場合、特定領域が設定されていない判別してステップＳＴ１６に進む。

ステップＳＴ１５で撮像装置１０は特定領域の画像処理を行う。撮像画合成部２１は、例えば特定領域の画像データを削除または無効画像データに置き換えることで、特定領域の画像を無効化してステップＳＴ１６に進む。

ステップＳＴ１６で撮像装置１０はエンコード処理を行う。撮像装置１０のエンコード処理部２２は、撮像画合成部２１で生成された合成画像または特定領域の画像処理が行われた合成画像の画像データを用いてエンコード処理を行うことでデータ量を削減してステップＳＴ１３に戻る。

なお、撮像装置１０は、ステップＳＴ１３からステップＳＴ１６までの処理を撮像終了まで繰り返す。また、ステップＳＴ１３からステップＳＴ１６までの処理はフレーム毎に行う。さらに、ステップＳＴ１３からステップＳＴ１６までの処理は、ステップ順に処理を行う順序処理に限らず、パイプライン処理や並列処理で行うようにしてもよい。また、エンコード処理後の符号化データは外部機器に出力してもよい。

このように、本技術の情報処理装置では、複数の撮像部で取得された撮像画をつなぎ合わせた合成画像における特定撮像領域に対応した特定領域を示す特定領域情報を生成できる。したがって、生成された特定領域情報を用いることで、複数の撮像部で取得された撮像画をつなぎ合わせた合成画像における特定領域の画像の処理を容易に行うことができる。例えば、この技術の情報処理装置を撮像装置に適用すれば、目的としない被写体の画像を無効化した合成画像を撮像装置から出力できる。

また、特定撮像領域は、撮像装置の識別情報、頂角と座角、方位や仰角等によって設定できるので、例えば目的としない被写体の撮像領域等を簡単に特定撮像領域として設定できる。

また、特定領域情報に適用範囲情報が含まれるので、特定領域に対する画像処理が行われる時間範囲を設定することが可能となり、自由度の高い処理を行える。さらに、合成画像に関連付けられた撮像情報には、緯度や経度および高度を含む撮像位置情報が含まれており、適用範囲情報には撮像位置情報を含めることができるので、撮像位置に応じて特定領域に対する画像処理の制御を行うことができる。例えば、撮像位置が低いと、建物等の陰になって無効化対象の被写体が撮像画に写り込むことがなく、撮像位置が高くなると、無効化対象の被写体が撮像画に写り込む場合がある。この場合、適用範囲情報に高度の情報を含めて所定の高度以下である場合に特定領域に対する画像処理を行わないとすれば、撮像位置が低い位置であるため特定撮像領域に無効化対象の被写体が含まれていなくとも特定領域に対する画像処理が行われてしまうことを防止できる。

＜２．画像再生装置の構成と動作＞
ところで、特定領域の画像処理は、撮像装置で行う場合に限らず外部機器で行うようにしてもよい。この場合、特定領域の画像処理が行われていない合成画像の画像データや、この画像データをエンコード処理して生成した符号化データに特定領域情報等を関連付けて外部機器へ出力する。外部機器に対する出力は、画像データまたは符号化データに特定領域情報等を多重化して出力してもよく、例えば着脱可能な記憶部３１に、画像データまたは符号化データと、特定領域情報等を記憶させて、記憶部３１を介して出力してもよい。

＜２－１．画像再生装置の第１の構成と動作＞
次に、外部機器として画像再生装置を用いて、特定領域の画像処理を画像再生時に行う場合について説明する。画像再生装置の第１の構成と動作では、合成画像における特定領域に対してテクスチャを合成する場合について説明する。なお、画像再生装置では、例えば合成画像の符号化データと特定領域情報を用いて再生動作を行う場合を例示している。また、例えば特定領域情報にはテクスチャを生成するテクスチャ生成情報が含められている。テクスチャ生成情報は、例えば合成画像の提供先等で予め生成されている。

図１０は、画像再生装置の第１の構成を例示している。画像再生装置５０は、画像読込部５１、デコード処理部５２、メタ情報読込部５３、テクスチャ生成部５４、テクスチャ記憶部５５、合成処理部５６を有している。

画像読込部５１は、例えば符号化データを取り込む。画像読込部５１は、多重化データや記憶部等から符号化データを読み込み、読み込んだ符号化データをデコード処理部５２へ出力する。

デコード処理部５２は、画像読込部５１で読み込まれた符号化データのデコード処理を行い、合成画像の画像データを生成する。デコード処理部５２は、生成した画像データを合成処理部５６へ出力する。

メタ情報読込部５３はメタ情報を読み込む。メタ情報読込部５３は、多重化データや記憶部等から符号化データに関連付けられているメタ情報を読み込んでテクスチャ生成部５４へ出力する。

テクスチャ生成部５４はテクスチャを生成する。テクスチャ生成部５４は、メタ情報読込部５３で読み込まれた例えば特定領域情報に含まれたテクスチャ生成情報に基づきテクスチャを生成する。テクスチャ生成部５４は、生成したテクスチャをテクスチャ記憶部５５に記憶させる。

合成処理部５６は、合成画像の特定領域に対して再生制御を行う再生制御部である。合成処理部５６は、合成画像に対応するテクスチャをテクスチャ記憶部５５から読み出して、読み出したテクスチャをデコード処理部５２で生成された画像データの合成画像における特定領域に合成することで、特定領域の画像がそのまま再生されることがないように制御する。合成処理部５６は、特定領域に対する再生制御が行われた合成画像の画像データを出力する。

図１１は、画像再生装置の第１の構成の動作を示すフローチャートである。なお、画像再生装置５０では、合成画像の符号化データと特定領域情報が取得できるとして以下の説明を行う。

ステップＳＴ２１で画像再生装置５０は符号化データの読込を行う。画像再生装置５０の画像読込部５１は、多重化データや記憶部等から符号化データを読み込んでステップＳＴ２２に進む。

ステップＳＴ２２で画像再生装置５０はデコード処理を行う。画像再生装置５０のデコード処理部５２は、ステップＳＴ２１で読み込んだ符号化データのデコード処理を行い、合成画像の画像データを生成してステップＳＴ２５に進む。

ステップＳＴ２３で画像再生装置はメタ情報の読込を行う。画像再生装置５０のメタ情報読込部５３は、多重化データや記憶部等から符号化データに関連したメタ情報を読み込んでステップＳＴ２４に進む。

ステップＳＴ２４で画像再生装置５０はテクスチャを生成する。画像再生装置５０のテクスチャ生成部５４は、ステップＳＴ２３で読み込まれたメタ情報に含まれているテクスチャ生成情報に基づきテクスチャを生成する。また、テクスチャ生成部５４は、生成したテクスチャをテクスチャ記憶部５５に記憶してステップＳＴ２５に進む。

ステップＳＴ２５で画像再生装置５０は対応するテクスチャがあるか判別する。画像再生装置５０の合成処理部５６は、ステップＳＴ２２で生成した合成画像に対応するテクスチャがテクスチャ記憶部５５に記憶されているか判別する。合成処理部５６は、例えば生成した合成画像と等しいタイムコードのテクスチャがテクスチャ記憶部５５に記憶されている場合、対応するテクスチャがあると判別してステップＳＴ２６に進む。また、合成処理部５６は、等しいタイムコードのテクスチャがテクスチャ記憶部５５に記憶されていない場合、対応するテクスチャがないと判別してステップＳＴ２７に進む。

ステップＳＴ２６で画像再生装置５０は画像合成を行う。画像再生装置５０の合成処理部５６は、合成画像と等しいタイムコードのテクスチャを特定領域の画像と合成してステップＳＴ２７に進む。

ステップＳＴ２７で画像再生装置５０は画像出力処理を行う。画像再生装置５０の合成処理部５６は、特定領域にテクスチャが合成されている合成画像の画像データ、または対応するテクスチャがない場合には合成画像の画像データを表示装置等へ出力する。

なお、画像再生装置５０の第１の構成および動作では、特定領域情報にテクスチャを生成するテクスチャ生成情報を含めているが、撮像情報に種々のテクスチャを生成するテクスチャ生成情報を含めてもよい。この場合、撮像情報と特定領域情報を一緒に画像再生装置５０へ出力して、特定領域情報には合成するテクスチャを特定する情報を含めることで、種々のテクスチャから選択したテクスチャを合成画像における特定領域の画像に合成できる。

＜２－２．画像再生装置の第２の構成と動作＞
次に、画像再生装置の第２の構成と動作について説明する。画像再生装置の第２の構成と動作では、合成画像の特定領域において、画像データの出力制御を行う場合について説明する。なお、画像再生装置では、例えば合成画像の符号化データと特定領域情報等のメタ情報を用いて再生動作を行う場合を例示している。

図１２は、画像再生装置の第２の構成を例示している。画像再生装置５０ａは、画像読込部５１、デコード処理部５２、メタ情報読込部５３、メタ情報記憶部５７、出力制御部５８を有している。

画像読込部５１は、符号化データを読み込む。画像読込部５１は、多重化データや記憶部等から符号化データを読み込み、取り込んだ符号化データをデコード処理部５２へ出力する。

デコード処理部５２は、画像読込部５１で読み込まれた符号化データのデコード処理を行い、合成画像の画像データを生成する。デコード処理部５２は、生成した画像データを出力制御部５８へ出力する。

メタ情報読込部５３はメタ情報を読み込む。メタ情報読込部５３は、多重化データや記憶部等から符号化データに対応するメタ情報を読み込みメタ情報記憶部５７へ出力する。メタ情報記憶部５７は、メタ情報読込部５３で読み込まれたメタ情報を記憶する。

出力制御部５８は、合成画像の特定領域に対して再生制御を行う再生制御部である。出力制御部５８は、デコード処理部５２で生成された画像データを出力する際に、出力する画像データの画素が特定領域の画素であるか否かをメタ情報記憶部５７に記憶されている特定領域情報に基づいて判別する。出力制御部５８は、出力する画像データの画素が特定領域の画素でない場合、デコード処理部５２で生成された画像データを出力する。また、出力制御部５８は、出力する画像データの画素が特定領域の画素である場合、デコード処理部５２で生成された画素データの出力を停止、または予め設定されている画素データに置き換えることで、特定領域の画像が再生されないように制御する。出力制御部５８は、特定領域に対する再生制御が行われた合成画像の画像データを出力する。

図１３は、画像再生装置の第２の構成の動作を示すフローチャートである。なお、画像再生装置５０ａでは、合成画像の符号化データと特定領域情報が取得できるとして以下の説明を行う。

ステップＳＴ３１で画像再生装置はメタ情報の読込を行う。画像再生装置５０ａのメタ情報読込部５３は、多重化データや記憶部等から符号化データに関連したメタ情報を読み込み、読み込んだメタ情報をメタ情報記憶部５７に記憶されてステップＳＴ３２に進む。

ステップＳＴ３２で画像再生装置５０ａは符号化データの読込を行う。画像再生装置５０ａの画像読込部５１は、多重化データや記憶部等から符号化データを読み込んでステップＳＴ３３に進む。

ステップＳＴ３３で画像再生装置５０ａはデコード処理を行う。画像再生装置５０ａのデコード処理部５２は、ステップＳＴ３２で読み込んだ符号化データのデコード処理を行い、合成画像の画像データを生成してステップＳＴ３４に進む。

ステップＳＴ３４で画像再生装置５０ａは出力画素が特定領域であるか判別する。画像再生装置５０ａの出力制御部５８は、メタ情報記憶部５７に記憶されている特定領域情報であって、出力する画像データとタイムコードが等しい特定領域情報に基づき、出力する画像データの画素が特定領域の画素であるか否か判別してステップＳＴ３５に進む。

ステップＳＴ３５で画像再生装置５０ａは出力制御を行う。画像再生装置５０ａの出力制御部５８は、出力する画素が特定領域の画素でない場合は、デコード処理で生成された画像データを出力する。また、出力制御部５８は、出力する画素が特定領域の画素である場合、画像データの出力を停止、またはデコード処理部５２で生成された画像データを予め設定されている画像データに置き換えて出力する。出力制御部５８は、このような処理を行うことで、特定領域の画像に対して出力制御が行われた合成画像の画像データを画像再生装置から出力できる。

以上のような処理を行えば、画像再生装置において、特定領域情報に基づき合成画像における特定領域の画像の再生制御を行える。

＜３．撮像情報や特定領域情報の変形例＞
次に、撮像情報や特定領域情報の第１の変形例について説明する。上述の特定領域情報生成部１４は、撮像部の識別情報等に基づいて設定した特定撮像領域に対応する合成画像の領域を特定領域としたが、特定領域情報は、合成画像を再生する際の制限レベル毎に生成してもよい。

例えば合成画像を提供するサービスの提供レベルに応じて特定領域を設定する場合、合成画像の提供者は、特定領域情報生成部１４において例えば合成画像の利用者との課金契約に応じて特定領域情報を生成する。具体的には、無料のユーザに対する特定領域情報は、合成画像の「ＡＲ１パーセント」を特定領域として無効化する情報とする。また、無料ユーザに対する特定領域情報には、有料契約を勧める案内情報や他の画像コンテンツの案内情報、広告情報等のテクスチャを、無効化した特定領域に表示させる情報を含めてもよい。有料の一般ユーザに対する特定領域情報は、合成画像の「ＡＲ２（＜ＡＲ１）パーセント」を特定領域として無効化する情報とする。また、有料の一般ユーザに対する特定領域情報には、プレミア契約を勧める案内情報や他の画像コンテンツの案内情報、広告情報等のテクスチャを無効化した特定領域に表示させる情報を含めてもよい。有料のプレミアユーザに対する特定領域情報は、特定領域を設定しない情報とする。また、複数の撮像部で取得された撮像画として、複数のコンテンツ画像やコンテンツに関する表示情報等を用いて合成画像の生成を行い、合成画像の利用者との課金契約に応じて無効化するコンテンツや表示情報を特定する特定領域情報を生成してもよい。

このように、合成画像を再生する際の制限レベル毎に特定領域情報を生成すれば、特定領域情報を選択的に用いることで、合成画像の再生を選択された特定領域情報に応じて制限できる。

次に、第２の変形例について説明する。第２の変形例では、撮像された物体とその位置、音声テキストデータ、コマンド情報等に基づいて撮像情報と特定領域情報を生成する。

撮像情報生成部１２は、撮像情報の時系列データに、撮像された物体とそれぞれの物体の撮像画上の位置情報を含める。また、撮影された物体を種類毎（例えば人、建物、動物、植物、記号など）に分類して、分類結果を時系列データに含めてもよい。なお、物体を種類毎に分類する処理は、画像認識技術を用いて自動的に行ってもよく、ユーザが物体毎に種類を特定してもよい。

図１４は、撮像情報の時系列データを例示している。時系列データは例えばタイムコード毎に生成されている。なお、図１４では撮像部１１-1～１１-5を用いて撮像画の取得が行われているとする。また、座標（ｘ，ｙ），（ｘ’，ｙ’）は、物体が含まれる最小の矩形領域の座標を示している。

例えばタイムコード「00:00:00:01」の時点において、撮像部１１-1は人物Ａを撮像しており、人物Ａの画像領域は画像上の座標（ｘ1，ｙ1），（ｘ1’，ｙ1’）であることを示している。撮像部１１-2は人物Ｂを撮像しており、人物Ｂの画像領域は画像上の座標（ｘ2，ｙ2），（ｘ2’，ｙ2’）であることを示している。撮像部１１-3はビルＡを撮像しており、ビルＡの画像領域は画像上の座標（ｘ5，ｙ5），（ｘ5’，ｙ5’）であることを示している。撮像部１１-4は犬Ａを撮像しており、犬Ａの画像領域は画像上の座標（ｘ8，ｙ8），（ｘ8’，ｙ8’）であることを示している。

特定領域情報生成部１４は、所定の物体を含む合成画像の領域を特定領域とする。例えば、図１４において撮像部１１-1で撮像された人物Ａを被写体認識処理等によって検知した場合、図１５に示すように、人物Ａに応じて特定領域を設定する。例えば合成画像ＧＰにおける人物Ａの座標（ｘg1，ｙg1），（ｘg1’，ｙg1’）で示される矩形領域を特定領域とする。

また、撮像情報や特定領域情報は音声データに基づいて生成してもよい。この場合、撮像情報生成部１２は、マイクで拾った音声を示す音声データをテキストデータに変換して、テキストデータを撮像情報の時系列データとする。なお、図１６は音声データに基づいて生成した撮像情報の時系列データを例示しており、タイムコードと、タイムコードが示すタイミングでマイクＡ～マイクＣが拾った音声のテキストデータを示している。

特定領域情報生成部１５は、あらかじめテキストデータと特定領域との関係を定義しておき、認識されたテキストデータに基づき特定領域情報を生成する。例えば「Ａオン」のテキストデータは、撮像部Ａの撮像範囲を特定領域とする指示とする。「Ａオフ」のテキストデータは、撮像部Ａの撮像範囲とされている特定領域の設定を解除する指示とする。また「オールオン」のテキストデータでは、全ての撮像部の撮像範囲を特定領域とする指示とする。また、「オールオフ」のテキストデータは、特定領域の設定を全て解除する指示とする。特定領域情報生成部１５は、マイクで拾った音声に基づくテキストデータに対応した指示に応じて特定領域の設定や解除を行う。

また、撮像情報や特定領域情報は外部機器（例えばリモートコントロール装置）からのコマンド情報に基づいて生成してもよい。この場合、撮像情報生成部１２は、外部機器やリモートコントロール装置からのコマンド情報を撮像情報として用いる。特定領域情報生成部１５は、コマンド情報に対応する領域を予め定義しておき、外部機器から供給されたコマンド情報に対応する領域を特定領域とした特定領域情報を生成する。

さらに、特定領域情報は、被写体の位置情報と撮像情報に基づいて生成してもよい。例えば被写体の位置情報で、合成画像の特定領域とする被写体の緯度範囲と経度範囲および高度が示されたとする。また、撮像情報では撮像位置の緯度と経度と高度が示されている。この場合、特定領域とする被写体の位置と撮像位置の関係から、撮像位置に対して被写体が何れの撮像方向であるか判別できる。また、撮像情報のレンズ情報と被写体の緯度範囲と経度範囲および被写体までの距離等に基づき、被写体の緯度範囲と経度範囲に対応した画角範囲を算出できる。したがって、判別した被写体の方向であって算出した画角範囲を特定撮像領域とすれば、合成画像において緯度範囲と経度範囲および高度が示された被写体に対応した特定領域を示す特定領域情報を生成できる。

次に、第３の変形例について説明する。上述の画像再生装置の動作等では、特定領域に対する画像処理として特定領域の画像を無効化したが、特定領域が注目されるように特定領域を強調する処理を行うようにしてもよい。例えば、特定領域の周りに矢印などの記号やメッセージを表示させる画像処理や、特定領域の周りを枠で囲む等の画像処理を行うことで、特定領域を強調する。

明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。

また、本技術の情報処理装置は以下のような構成も取ることができる。
（１） 複数の撮像部で取得された撮像画をつなぎ合わせた合成画像における特定撮像領域に対応した特定領域を示す特定領域情報を生成する特定領域情報生成部を備える情報処理装置。
（２） 前記撮像部の撮像位置と撮像方向と撮像範囲および時間情報を示す撮像情報を生成する撮像情報生成部を更に備える（１）に記載の情報処理装置。
（３） 前記特定領域情報生成部は、前記特定領域に対する画像処理の適用時間または画像処理を適用する撮像位置を示す適用範囲情報を、前記特定領域情報に含める（２）に記載の情報処理装置。
（４） 前記特定領域情報生成部は、前記複数の撮像部における特定の撮像部で撮像される領域、または方位および仰角で示された特定された撮像領域、あるいは頂角と座角で特定された撮像領域を前記特定撮像領域とする（２）または（３）に記載の情報処理装置。
（５） 前記合成画像に前記特定領域情報を関連付けて出力する出力部を更に備える（２）乃至（４）のいずれかに記載の情報処理装置。
（６） 前記複数の撮像部で取得された撮像画を、画像のずれを生じることなく連続するようにつなぎ合わせるための合成設定情報を生成する合成設定情報生成部と、
前記合成設定情報生成部で生成された合成設定情報に基づき、前記合成画像を生成する撮像画合成部を更に備える（１）乃至（５）のいずれかに記載の情報処理装置。
（７） 前記特定領域情報生成部は、前記合成画像を再生する際の制限レベル毎に生成する（１）乃至（６）のいずれかに記載の情報処理装置。
（８） 前記特定領域情報生成部は、撮像された所定の物体を含む前記合成画像の領域を前記特定領域として前記特定領域情報を生成する（１）乃至（６）のいずれかに記載の情報処理装置。
（９） 前記特定領域情報生成部は、音声データから生成したテキストデータに基づき前記特定領域情報を生成する（１）乃至（６）のいずれかに記載の情報処理装置。
（１０） 前記特定領域情報生成部は、取得したコマンド情報に基づき前記特定領域情報を生成する（１）乃至（６）のいずれかに記載の情報処理装置。
（１１） 前記特定領域情報生成部は、被写体の位置情報と前記撮像情報に基づき前記特定領域情報を生成する（２）乃至（６）のいずれかに記載の情報処理装置。

この技術の情報処理装置、撮像装置、画像再生装置、および方法とプログラムでは、複数の撮像部で取得された撮像画をつなぎ合わせた合成画像における特定撮像領域に対応した特定領域を示す特定領域情報が生成される。また、特定領域情報に基づき合成画像の再生制御が行われる。このため、特定領域情報に基づき、合成画像における所望の撮像領域に対応した特定領域の画像に対する処理を容易に行うことができる。したがって、パノラマ画像や全天球画像等の生成や再生に適している。

１０・・・撮像装置
１１・・・撮像画取得部
１１-1～１１-n・・・撮像部
１２・・・撮像情報生成部
１３・・・合成設定情報生成部
１４・・・特定領域情報生成部
２１・・・撮像画合成部
２２・・・エンコード処理部
２３・・・出力部
３１・・・記憶部
５０，５０ａ・・・画像再生装置
５１・・・画像読込部
５２・・・デコード処理部
５３・・・メタ情報読込部
５４・・・テクスチャ生成部
５５・・・テクスチャ記憶部
５６・・・合成処理部
５７・・・メタ情報記憶部
５８・・・出力制御部
１２１・・・タイムコード生成部
１２２・・・時計部
１２３・・・センサ部
１２４・・・情報生成処理部

Claims (19)

1. 複数の撮像部で取得された撮像画をつなぎ合わせた合成画像における特定撮像領域に対応した特定領域を示す特定領域情報を生成する特定領域情報生成部を備え、
   前記特定領域情報生成部は、前記合成画像を提供するサービスの提供レベルに応じて、前記撮像画を無効化して情報を表示する前記特定領域を示す前記特定領域情報を生成する
   情報処理装置。
2. 前記撮像部の撮像位置情報と撮像方向と撮像範囲および時間情報を示す撮像情報を生成する撮像情報生成部を更に備える
   請求項１に記載の情報処理装置。
3. 前記特定領域情報生成部は、前記特定領域に対する画像処理の適用時間または画像処理を適用する撮像位置を示す適用範囲情報を、前記特定領域情報に含める
   請求項２に記載の情報処理装置。
4. 前記特定領域情報生成部は、前記複数の撮像部における特定の撮像部で撮像される領域、または方位および仰角で示された特定された撮像領域、あるいは頂角と座角で特定された撮像領域を前記特定撮像領域とする
   請求項２に記載の情報処理装置。
5. 前記合成画像に前記特定領域情報を関連付けて出力する出力部を更に備える
   請求項２に記載の情報処理装置。
6. 前記複数の撮像部で取得された撮像画を、画像のずれを生じることなく連続するようにつなぎ合わせるための合成設定情報を生成する合成設定情報生成部と、
   前記合成設定情報生成部で生成された合成設定情報に基づき、前記合成画像を生成する撮像画合成部を更に備える
   請求項１に記載の情報処理装置。
7. 前記特定領域情報生成部は、撮像された所定の物体を含む前記合成画像の領域を前記特定領域として前記特定領域情報を生成する
   請求項１に記載の情報処理装置。
8. 前記特定領域情報生成部は、音声データから生成したテキストデータに基づき前記特定領域情報を生成する
   請求項１に記載の情報処理装置。
9. 前記特定領域情報生成部は、取得したコマンド情報に基づき前記特定領域情報を生成する
   請求項１に記載の情報処理装置。
10. 前記特定領域情報生成部は、被写体の位置情報と前記撮像情報に基づき前記特定領域情報を生成する
    請求項２に記載の情報処理装置。
11. 複数の撮像部で取得された撮像画をつなぎ合わせた合成画像に関連した情報を生成する情報処理方法において、
    前記合成画像における特定撮像領域に対応する特定領域を示す特定領域情報を、前記合成画像を提供するサービスの提供レベルに応じて、前記撮像画を無効化して情報を表示する前記特定領域を示す前記特定領域情報を生成すること
    を含む情報処理方法。
12. 複数の撮像部で取得された撮像画をつなぎ合わせた合成画像に関連した情報をコンピュータで生成するプログラムであって、
    前記合成画像における特定撮像領域に対応する特定領域を示す特定領域情報を、前記合成画像を提供するサービスの提供レベルに応じて、前記撮像画を無効化して情報を表示する前記特定領域を示す前記特定領域情報を生成する機能を
    前記コンピュータで実現するプログラム。
13. 複数の撮像部と、
    前記複数の撮像部で取得された撮像画をつなぎ合わせて合成画像を生成する撮像画合成部と、
    前記合成画像における特定撮像領域に対応する特定領域を示す特定領域情報を生成する特定領域情報生成部とを備え、
    前記特定領域情報生成部は、前記合成画像を提供するサービスの提供レベルに応じて、前記撮像画を無効化して情報を表示する前記特定領域を示す前記特定領域情報を生成する
    撮像装置。
14. 前記撮像画合成部で生成された合成画像に関連付けて特定領域情報生成部で生成された特定領域情報を出力する
    請求項１３に記載の撮像装置。
15. 前記撮像画合成部は、前記特定領域情報生成部で生成された特定領域情報に基づき、前記合成画像における前記特定領域の画像処理を行う
    請求項１３に記載の撮像装置。
16. 複数の撮像画をつなぎ合わせて生成された合成画像を読み込む画像読込部と、
    前記合成画像における特定撮像領域に対応する特定領域を示しており、前記合成画像を提供するサービスの提供レベルに応じて、前記撮像画を無効化して情報を表示する前記特定領域を示す特定領域情報を読み込む情報読込部と、
    前記画像読込部で読み込まれた合成画像における前記情報読込部で読み込まれた特定領域情報によって示された前記合成画像を提供するサービスの提供レベルに応じた特定領域に対して、再生制御を行う再生制御部と
    を備える画像再生装置。
17. 前記再生制御部は、前記特定領域の無効化処理または強調処理を行う
    請求項１６に記載の画像再生装置。
18. 前記再生制御部は、前記無効化処理として前記特定領域の画像に前記特定領域情報で示されたテクスチャを合成する
    請求項１７に記載の画像再生装置。
19. 前記再生制御部は、前記無効化処理として前記特定領域の画像の出力を停止または無効データに置き換える
    請求項１７に記載の画像再生装置。

Images