JP7234802B2 - 撮像システム、端末及びプログラム - Google Patents

Description

本発明は、撮像システム、端末及びプログラムに関する。

半球及び全天球等の広角な視野の画像を撮像するカメラが知られている。

例えば、全天球型カメラを備える全天球動画撮像システムがある（例えば、特許文献１）。この全天球カメラは、それぞれが魚眼レンズを有する２つの結像光学系と、２つの撮像素子とを有する。全天球カメラは、２つの撮像素子で撮像された画像を合成処理し、立体角４πステラジアンの画像、つまり全天球画像を生成する。全天球画像は、撮像地点から見渡すことのできる全ての方向を写す画像である。特許文献１の全天球動画撮像システムは、全天球カメラが傾いた状態で撮像される場合でも、傾きを補正することによって、全天球画像の鉛直方向を適正にする。

特許文献１の全天球動画撮像システムは、全天球型カメラの傾きを補正した全天球画像を生成する。しかしながら、被写体に対して全天球型カメラの向きが変化したとき、全天球画像において、中心に写し出されていた被写体が、他の位置に移動する場合がある。例えば、全天球動画撮像システムにより生成された全天球画像が、通信を介して複数の視聴者に同時に配信される場合、視聴者が望まない被写体が全天球画像の中心に写し出される場合がある。つまり、全天球画像の向きが、視聴者が望まない向きになる場合がある。

そこで、本開示の撮像システム、端末及びプログラムは、カメラ等の撮像部の姿勢に依らず所望の表示対象を写し出すことを目的とする。

本発明の一実施形態による撮像システムは、画像を撮像する撮像部と、前記撮像部の姿勢を検出する検出部と、前記撮像部の姿勢と、画像に指定される表示部分とに基づき、前記撮像部によって撮像された画像を、前記表示部分を写し出すように補正する補正部と、補正後の前記画像を表示する表示部とを備え、前記表示部により表示される画像は、全天球画像の一部であり、前記補正部は、前記表示部により表示される画像において、領域が指定される入力を受け付け、指定された前記領域の中心位置に基づき、前記表示部分を写し出すように補正する。

本開示の技術によれば、撮像部の姿勢に依らず所望の表示対象を写し出すことが可能になる。

実施の形態１に係る撮像システムの構成の一例を示す図 実施の形態１に係る撮像装置の一例を示す側面図 実施の形態１に係る撮像装置のハードウェア構成の一例を示す図 実施の形態１に係る端末のハードウェア構成の一例を示す図 実施の形態１に係る撮像装置の機能的構成の一例を示すブロック図 実施の形態１に係る端末の機能的構成の一例を示すブロック図 実施の形態１に係る表示用画像生成部によって、平面的な画像フレームから球面の画像フレームに変換される一例を示す図 図７Ａの球面の画像フレームにおける光軸中心上の画像の一例を示す図 実施の形態１に係る指定領域の一例を示す図 実施の形態１に係る指定領域の中心点の一例を示す図 実施の形態１に係る撮像装置の姿勢変化前後における端末の表示画像の一例を示す図 実施の形態１に係る撮像システムにおける画像の配信動作の一例を示すシーケンス図 実施の形態１に係る撮像装置の動作の一例を示すフローチャート 実施の形態１に係る端末の動作の一例を示すフローチャート 実施の形態２に係る指定点及び指定方向の一例を示す図 実施の形態２に係る撮像装置の姿勢変化前後における端末の表示画像の一例を示す図

以下、本発明の実施の形態について添付の図面を参照しつつ説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することによって重複した説明を省く。

（実施の形態１）
＜撮像システム１０００の構成＞
実施の形態１に係る撮像システム１０００の構成を説明する。図１は、実施の形態１に係る撮像システム１０００の構成の一例を示す図である。図１に示すように、撮像システム１０００は、撮像装置１０と、端末２０とを含む。本実施の形態では、撮像システム１０００は、１つの撮像装置１０と１つの端末２０とを含むが、２つ以上の撮像装置１０を含んでもよく、２つ以上の端末２０を含んでもよい。

撮像装置１０と端末２０とは、互いに通信する。撮像装置１０によって撮像された撮影画像が、画像データとして端末２０に送られ、視聴者は、端末２０において、送られた画像データを視ることができる。撮像装置１０と端末２０とは、通信網３０を介して間接的に接続されてもよく、有線通信又は無線通信を介して直接的に接続されてもよい。本実施の形態では、撮像装置１０と端末２０とは、通信網３０を介して互いに接続される。例えば、２つ以上の端末２０が設けられる場合、撮像装置１０は、撮像画像を、画像データとして２つ以上の端末２０に同時に配信することができる。通信網３０は、インターネット、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、モバイル通信網、電話回線通信網、又は、その他の有線若しくは無線通信を用いる通信網であってもよい。本実施の形態では、通信網３０はインターネットである。

撮像装置１０及び端末２０はそれぞれ、１つ以上の装置で構成されてもよい。装置が２つ以上の装置で構成される場合、当該２つ以上の装置は、１つの機器内に配置されてもよく、分離した２つ以上の機器内に分かれて配置されてもよい。本明細書及び特許請求の範囲では、「装置」とは、１つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。

撮像装置１０は、デジタル画像である静止画及び／又は動画を撮像するカメラ等を含む撮像部１１Ａ（図２参照）を備え、撮像した画像を端末２０に送信する。動画は、連続的に撮像された複数のフレームの画像で構成される連続的な動画であってもよく、間隔をあけて撮像された複数の静止画で構成されるタイムラプス動画であってもよい。本実施の形態では、撮像装置１０は、連続的な動画を撮像し、動画を構成する複数のフレームの画像データを端末２０に送信する。

以下において、１フレームの画像のことを、「画像フレーム」とも呼ぶ。また、本明細書及び特許請求の範囲において、「画像」とは、画像そのものを意味するだけでなく、画像を示すデータである画像データ及び画像を示す信号である画像信号をも意味し得る。そして、「画像フレーム」は、１フレームの画像そのものを意味するだけでなく、１フレームの画像を示すデータ、及び１フレームの画像を示す信号をも意味し得る。

撮像部１１Ａは、一般的な視野角の画像を撮像するカメラで構成されてもよく、１８０°程度までの視野角である広角な画像を撮像するカメラで構成されてもよく、１８０°超の視野角である超広角な画像を撮像するカメラで構成されてもよい。本実施の形態では、撮像部１１Ａは、全天球の視野を有する全天球型カメラであるとして説明するが、これに限定されない。

端末２０は、通信機能を有し且つ画像を表示することができるコンピュータ装置である。端末２０の例は、ノートＰＣ（Personal Computer）、携帯電話、スマートフォン及びタブレット端末などのスマートデバイス、ゲーム機、ＰＤＡ（Personal Digital Assistant）、ウェアラブルＰＣ、デスクトップＰＣ、テレビ会議端末、及びＩＷＢ（Interactive White Board：相互通信が可能な電子式の黒板機能を有する白板）等である。本実施の形態では、端末２０は、ノートＰＣであるとして説明するが、これに限定されない。

＜撮像装置１０の構成＞
撮像装置１０の構成を説明する。図２は、実施の形態１に係る撮像装置１０の一例を示す側面図である。図２に示すように、撮像装置１０は、撮像部１１Ａと、筐体１１Ｂとを備える。撮像部１１Ａは、カメラ１１ａ及び１１ｂと、コントローラ１１ｃとを備える。筐体１１Ｂは、カメラ１１ａ及び１１ｂと、コントローラ１１ｃとを収容する。

カメラ１１ａ及び１１ｂはそれぞれ、半球超（画角が１８０°超）の視野を有する超広角なカメラである。カメラ１１ａは、結像光学系１１ａａと、第一撮像素子１１ａｂとを備え、カメラ１１ｂは、結像光学系１１ｂａと、第二撮像素子１１ｂｂとを備える。

結像光学系１１ａａ及び結像光学系１１ｂａはそれぞれ、入射する像を第一撮像素子１１ａｂ及び第二撮像素子１１ｂｂの受光面上に結像する。結像光学系１１ａａ及び結像光学系１１ｂａはそれぞれ、レンズ、プリズム、フィルタ及び開口絞り等の光学素子を含む。レンズは、魚眼レンズ等の１８０°超の画角を有するレンズである。

結像光学系１１ａａ及び結像光学系１１ｂａは、レンズへの光の入射方向が互いに反対向きになるように配置されている。結像光学系１１ａａ及び結像光学系１１ｂａのレンズの光軸中心は、同じ光軸中心ＬＡを構成する。結像光学系１１ａａ及び結像光学系１１ｂａは、同一仕様のものであり、それぞれの光軸中心が合致するようにして、互いに逆向きに組み合わせられる。

第一撮像素子１１ａｂ及び第二撮像素子１１ｂｂは、アレイ状に配置された複数の受光素子を含む。受光素子は、受光する光の強度を示す画素値を出力する。画素値の例は、輝度値である。受光素子は、第一撮像素子１１ａｂ及び第二撮像素子１１ｂｂそれぞれにおける画像を撮像する複数の画素を構成する。第一撮像素子１１ａｂ及び第二撮像素子１１ｂｂはそれぞれ、結像光学系１１ａａ及び結像光学系１１ｂａによって受光面上で結像された像の光分布を示す画像信号を、画像フレームとして順次コントローラ１１ｃに出力する。

第一撮像素子１１ａｂ及び第二撮像素子１１ｂｂの例は、ＣＣＤ（Charge Coupled Device）イメージセンサ及びＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等である。本実施の形態では、第一撮像素子１１ａｂ及び第二撮像素子１１ｂｂは、解像度及び撮像素子寸法が同じである同じイメージセンサであるが、これに限定されない。

コントローラ１１ｃは、マイクロコンピュータ等で構成されるコンピュータ装置である。コントローラ１１ｃは、第一撮像素子１１ａｂ及び第二撮像素子１１ｂｂによって撮像された２つの画像フレームを１つの画像フレームに合成処理し、立体角４πステラジアンの画像（以下、「全天球画像」とも呼ぶ）フレームを生成する。全天球画像は、撮像地点を中心とする全ての方向を写し出す画像である。例えば、全天球画像フレームは、正距円筒図法により球面が円筒に投影され且つ当該円筒を展開して形成される平面画像を示してもよい。そして、連続する全天球画像フレームにより、全天球動画が構成される。

ここで、結像光学系１１ａａ及び結像光学系１１ｂａの光軸中心ＬＡの方向を、Ｘ軸方向と定義する。細長い直方体状の筐体１１Ｂの長手方向であり且つＸ軸に垂直である方向を、Ｚ軸方向と定義する。Ｘ軸及びＺ軸に垂直である方向を、Ｙ軸方向と定義する。ＸＹＺ軸からなる３次元座標系は、撮像装置１０のカメラ座標系を構成する。カメラ座標系は、撮像装置１０に固定され、撮像装置１０の姿勢変化に従って座標軸の向きを変える。

＜撮像装置１０のハードウェア構成＞
撮像装置１０のハードウェア構成を説明する。図３は、実施の形態１に係る撮像装置１０のハードウェア構成の一例を示す図である。図３に示すように、撮像装置１０は、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ（Random Access Memory）１０３と、動画圧縮ブロック１０４と、第一撮像素子１１ａｂと、第二撮像素子１１ｂｂと、画像処理ブロック１０６と、メモリ１０７と、外部ストレージインタフェース（Ｉ／Ｆ：Interface）１０８と、モーションセンサ１０９と、通信Ｉ／Ｆ１１０と、無線ＮＩＣ（Network Interface Card）１１１とを構成要素として含む。なお、これら構成要素の全てが必須ではない。また、上記構成要素はそれぞれ、例えばバスを介して互いに接続されている。なお、上記構成要素は、有線通信及び無線通信のいずれを介して接続されてもよい。

ＣＰＵ１０１はプロセッサ等で構成され、撮像装置１０の各部の動作及び全体動作を制御する。例えば、ＣＰＵ１０１は、図２のコントローラ１１ｃを構成する。ＲＯＭ１０２は不揮発性半導体記憶装置等で構成され、撮像装置１０で動作する各種プログラム及び各種パラメータを記憶する。ＲＡＭ（Random Access Memory）１０３は揮発性半導体記憶装置等で構成され、ＣＰＵ１０１のワークエリアとして使用される。ＲＡＭ１０３は、各種信号処理及び画像処理を施す際にデータを一時的に保存する記憶領域を提供する。メモリ１０７は、各種プログラムで利用されるデータ並びに第一撮像素子１１ａｂ及び第二撮像素子１１ｂｂによって撮像された画像等の種々の情報を記憶する。メモリ１０７は、揮発性又は不揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）等の記憶装置で構成される。なお、メモリ１０７が、ＲＯＭ１０２及び／又はＲＡＭ１０３を含んでもよい。

プログラムは、ＲＯＭ１０２又はメモリ１０７等に予め保持されている。プログラムは、ＣＰＵ１０１によって、ＲＯＭ１０２又はメモリ１０７等からＲＡＭ１０３に読み出されて展開される。ＣＰＵ１０１は、ＲＡＭ１０３に展開されたプログラム中のコード化された各命令を実行する。なお、プログラムは、ＲＯＭ１０２及びメモリ１０７に限らず、例えば記録ディスク等の記録媒体に格納されていてもよい。また、プログラムは、有線ネットワーク、無線ネットワーク又は放送等を介して伝送され、ＲＡＭ１０３に取り込まれてもよい。

なお、上述したＣＰＵ１０１によって実現される機能は、ＣＰＵ１０１等のプログラム実行部によって実現されてもよく、回路によって実現されてもよく、プログラム実行部及び回路の組み合わせによって実現されてもよい。例えば、このような機能は、集積回路であるＬＳＩ（大規模集積回路：Large Scale Integration）によって実現されてもよい。このような機能は個別に１チップ化されてもよく、一部又は全てを含むように１チップ化されてもよい。ＬＳＩとして、ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、ＬＳＩ内部の回路セルの接続及び／又は設定を再構成可能なリコンフィギュラブル・プロセッサ、又は、特定用途向けに複数の機能の回路が１つにまとめられたＡＳＩＣ（Application Specific Integrated Circuit）等が利用されてもよい。

画像処理ブロック１０６は、２つの第一撮像素子１１ａｂ及び第二撮像素子１１ｂｂと接続され、第一撮像素子１１ａｂ及び第二撮像素子１１ｂｂそれぞれによって撮像された画像の画像信号が入力される。画像処理ブロック１０６は、ＩＳＰ（Image Signal Processor）等を含んで構成され、第一撮像素子１１ａｂ及び第二撮像素子１１ｂｂから入力された画像信号に対し、シェーディング補正、ベイヤー補間、ホワイト・バランス補正及びガンマ補正等の処理を行う。また、画像処理ブロック１０６は、第一撮像素子１１ａｂ及び第二撮像素子１１ｂｂそれぞれから取得される２つの画像フレームを合成し、全天球画像フレームを生成する。つまり、画像処理ブロック１０６は、同時刻又は近似する時刻に２つの撮像素子で撮像された２つの画像フレームを１つの全天球画像フレームに合成する。より具体的には、画像処理ブロック１０６では、平面画像として構成される各撮像画像から、まず、相補的な各半球部分を含む各全天球画像が生成される。 そして、各半球部分を含む２つの全天球画像が、重複領域のマッチングに基づいて位置合わせされ、画像合成され、全天球全体を含む全天球画像フレームが生成される。

動画圧縮ブロック１０４は、ＭＰＥＧ－４ ＡＶＣ／Ｈ．Ｈ．２６５等の動画圧縮及び伸張を行うコーデック・ブロックである。動画圧縮ブロック１０４は、画像処理ブロック１０６によって生成された全天球画像フレームのデータを、動画形式のデータに圧縮する。

モーションセンサ１０９は、加速度センサと角速度センサ（「ジャイロセンサ」とも呼ばれる）と地磁気センサとを含む。加速度センサは、ＸＹＺ軸の３軸方向の加速度を検出する。角速度センサは、上記３軸周りの角速度を検出する。地磁気センサは、上記３軸方向の磁場を検出する。このようなモーションセンサ１０９は、９軸の姿勢センサを構成する。モーションセンサ１０９は、各センサの検出値を用いて、撮像装置１０におけるＸ軸周りのロール角、Ｙ軸周りのピッチ角、及びＺ軸周りのヨー角を算出する。ロール角は、ローリング方向の撮像装置１０の姿勢を示し、ピッチ角は、ピッチング方向の撮像装置１０の姿勢を示し、ヨー角は、ヨーイング方向の撮像装置１０の姿勢を示す。

モーションセンサ１０９は、画像フレームが撮像される度に、ロール角、ピッチ角及びヨー角を算出する。なお、モーションセンサ１０９は、画像フレーム間におけるロール角、ピッチ角及びヨー角を算出してもよく、撮像装置１０の基準姿勢に対するロール角、ピッチ角及びヨー角を算出してもよい。モーションセンサ１０９は、各センサの検出値をＣＰＵ１０１に出力し、ＣＰＵ１０１が、ロール角、ピッチ角及びヨー角を算出してもよい。モーションセンサ１０９は、少なくとも加速度センサ及び角速度センサを含むものであってもよい。

外部ストレージＩ／Ｆ１０８には、記憶媒体等の外部ストレージが接続される。例えば、外部ストレージＩ／Ｆ１０８は、メモリカードスロットに挿入された記憶媒体の一例であるメモリカード等の外部ストレージに対する読み書きを制御する。

通信Ｉ／Ｆ１１０は、他の装置又はデバイスと接続され、情報を送受信するためのインタフェースである。例えば、通信Ｉ／Ｆ１１０は、有線通信又は無線通信を介して他の装置と接続されてもよい。通信Ｉ／Ｆ１１０は、ＵＳＢ（Universal Serial Bus）コネクタ等を含んでもよい。

無線ＮＩＣ１１１は、通信網３０を介して端末２０等の他の装置と通信するためのデバイスである。無線ＮＩＣ１１１は、接続端子及び通信回路等を含んでもよい。

＜端末２０のハードウェア構成＞
端末２０のハードウェア構成を説明する。図４は、実施の形態１に係る端末２０のハードウェア構成の一例を示す図である。図４に示すように、端末２０は、ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、入力装置２０４と、ディスプレイ２０５と、無線ＮＩＣ２０６と、通信Ｉ／Ｆ２０７と、メモリ２０８と、外部ストレージＩ／Ｆ２０９とを構成要素として含む。なお、これら構成要素の全てが必須ではない。また、上記構成要素はそれぞれ、例えばバスを介して互いに接続されているが、有線通信及び無線通信のいずれを介して接続されてもよい。

ＣＰＵ２０１、ＲＯＭ２０２及びＲＡＭ２０３それぞれの構成は、ＣＰＵ１０１、ＲＯＭ１０２及びＲＡＭ１０３と同様である。ＣＰＵ２０１は、端末２０の各部の動作及び全体動作を制御する。ＲＯＭ２０２は、端末２０上で動作する各種プログラム等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。

メモリ２０８は、各種プログラムで利用されるデータ及び撮像装置１０から取得された画像等の種々の情報を記憶する。メモリ２０８の構成は、メモリ１０７と同様である。

ＣＰＵ２０１によって実現される機能は、ＣＰＵ２０１等のプログラム実行部によって実現されてもよく、回路によって実現されてもよく、プログラム実行部及び回路の組み合わせによって実現されてもよい。

無線ＮＩＣ２０６は、通信網３０を介して、撮像装置１０等の他の装置と通信するためのデバイスである。無線ＮＩＣ２０６は、接続端子及び通信回路等を含んでもよい。

通信Ｉ／Ｆ２０７は、他の装置又はデバイスと接続され、情報を送受信するためのインタフェースである。例えば、通信Ｉ／Ｆ２０７は、有線通信又は無線通信を介して他の装置と接続されてもよい。通信Ｉ／Ｆ２０７は、ＵＳＢコネクタ等を含んでもよい。

外部ストレージＩ／Ｆ２０９には、記憶媒体等の外部ストレージが接続される。外部ストレージＩ／Ｆ２０９は、接続された記憶媒体に対する読み書きを制御する。

入力装置２０４は、ユーザによる操作入力を受け付ける装置である。入力装置２０４は、ボタン、ダイヤル、キー、マウス、タッチパネル及び音声入力のためのマイク等の入力装置を含んでもよい。

ディスプレイ２０５は、ＣＰＵ２０１の制御に従って種々の画面を表示する。ディスプレイ２０５は、液晶パネル、有機ＥＬ（Electroluminescence）及び無機ＥＬ等のディスプレイであってもよい。ディスプレイ２０５は、音声出力のためのスピーカを含んでもよい。ディスプレイ２０５は、入力装置２０４を兼ねたタッチパネルであってもよい。

＜撮像装置１０の機能的構成＞
撮像装置１０の機能的構成を説明する。図５は、実施の形態１に係る撮像装置１０の機能的構成の一例を示すブロック図である。図５に示すように、撮像装置１０は、撮像制御部１１と、動画圧縮部１２と、姿勢検出部１３と、姿勢データ生成部１４と、通信部１５とを機能的構成要素として含む。

撮像制御部１１の機能は、ＣＰＵ１０１及び画像処理ブロック１０６等によって実現される。撮像制御部１１は、第一撮像素子１１ａｂ及び第二撮像素子１１ｂｂを制御して撮像させ、第一撮像素子１１ａｂ及び第二撮像素子１１ｂｂによって撮像された画像フレームのデータを取得する。さらに、撮像制御部１１は、第一撮像素子１１ａｂ及び第二撮像素子１１ｂｂによって同時刻又は近似する時刻に撮像された２つの画像フレームを合成し、全天球画像フレームを生成する。撮像制御部１１は、生成された全天球画像フレームを動画圧縮部１２に順次出力する。

動画圧縮部１２の機能は、ＣＰＵ１０１及び動画圧縮ブロック１０４等によって実現される。動画圧縮部１２は、撮像制御部１１から取得された全天球画像フレームを動画形式のデータに圧縮し、通信部１５に出力する。ここで、動画圧縮部１２は生成部の一例である。

姿勢検出部１３の機能は、ＣＰＵ１０１等によって実現される。姿勢検出部１３は、モーションセンサ１０９を制御し、モーションセンサ１０９から撮像装置１０の姿勢情報を取得する。つまり、姿勢検出部１３は、撮像装置１０の姿勢を検出する。姿勢情報は、モーションセンサ１０９の各検出値の時系列データであってもよい。時系列データは、検出値とその検出時刻とを対応付けて含むデータである。例えば、姿勢検出部１３は、時系列データから、第一撮像素子１１ａｂ及び第二撮像素子１１ｂｂによって全天球画像フレームが撮像されたタイミングでモーションセンサ１０９によって検出された検出値を取得してもよい。上記タイミングは、全天球画像フレームの撮像時刻又はその近傍の時刻であってもよい。

姿勢データ生成部１４の機能は、ＣＰＵ１０１等によって実現される。姿勢データ生成部１４は、姿勢検出部１３から取得された姿勢情報を用いて、撮像装置１０の姿勢を示す姿勢データとして、姿勢を示すパラメータを生成する。姿勢を示すパラメータの例は、ヨー角、ピッチ角及びロール角である。姿勢データ生成部１４は、姿勢データを通信部１５に出力する。

通信部１５の機能は、ＣＰＵ１０１及び無線ＮＩＣ１１１等によって実現される。通信部１５は、動画形式のデータと撮像装置１０の姿勢データとを対応付け、通信網３０を介して端末２０に送信する。このとき、通信部１５は、動画形式のデータに含まれる各時間のフレームと、姿勢データに含まれる各時間のパラメータとを、時間に基づき対応付けてもよい。ここで、通信部１５は送信部の一例である。

＜端末２０の機能的構成＞
端末２０の機能的構成を説明する。図６は、実施の形態１に係る端末２０の機能的構成の一例を示すブロック図である。図６に示すように、端末２０は、通信部２１と、動画展開部２２と、表示用画像生成部２３と、姿勢データ取得部２４と、表示視点補正部２５と、表示制御部２６とを機能的構成要素として含む。

通信部２１の機能は、ＣＰＵ２０１及び無線ＮＩＣ２０６等によって実現される。通信部２１は、撮像装置１０の通信部１５によって送信される動画形式のデータと撮像装置１０の姿勢データとを受信する、つまり取得する。通信部２１は、動画形式のデータを動画展開部２２に出力し、姿勢データを姿勢データ取得部２４に出力する。ここで、通信部２１は取得部の一例である。

動画展開部２２の機能は、ＣＰＵ２０１等によって実現される。動画展開部２２は、圧縮されている動画形式のデータを、表示可能な画像フレームのデータに展開し、表示用画像生成部２３に出力する。つまり、動画展開部２２は、動画形式のデータを個別の画像フレームのデータに展開する。ここで、動画展開部２２は展開部の一例である。

姿勢データ取得部２４の機能は、ＣＰＵ２０１等によって実現される。姿勢データ取得部２４は、通信部２１を介して、撮像装置１０の姿勢データを取得し、表示視点補正部２５に出力する。

表示用画像生成部２３の機能は、ＣＰＵ２０１等によって実現される。表示用画像生成部２３は、動画形式のデータから展開された画像フレームのデータを、当該画像フレームを仮想的な球体表面に貼り付けた形のデータに変換する。つまり、表示用画像生成部２３は、正距円筒図法で表現されている全天球画像フレームを、球面に貼り付けて三次元モデルに変換する。表示用画像生成部２３は、球面に貼り付けた全天球画像フレームのデータを表示視点補正部２５に出力する。

図７Ａは、実施の形態１に係る表示用画像生成部２３によって、全天球画像フレームから三次元モデルの球面に貼り付けた画像フレームに変換される一例を示す図である。図７Ｂは、図７Ａの球面の全天球画像フレームにおける光軸中心ＬＡ上の画像の一例を示す図である。この画像の一例は、球面に貼り付けられた三次元モデルを、透視投影処理をすることにより得られる。

図７Ａに示すように、動画形式のデータから展開された平面的な全天球画像フレームは、撮像装置１０を中心とする仮想的な立体球ＣＳの球面に貼り付けられた、つまり投影された球面の画像フレームに変換される。このとき、例えば、表示用画像生成部２３は、撮像装置１０に設定されたＸＹＺ軸からなる３次元座標系（カメラ座標系）と、立体球ＣＳに設定されたＸｓＹｓＺｓ軸からなる３次元座標系とが対応する、つまり、各軸が一致するように、変換してもよい。ＸｓＹｓＺｓ軸からなる３次元座標系は、世界座標系である。世界座標系は、撮像装置１０の姿勢に関係なく固定された座標系である。Ｚｓ軸方向は、重力方向つまり鉛直方向であり、Ｘｓ軸方向及びＹｓ軸方向は、水平方向である。

このような球面の画像フレームにおいて、撮像装置１０の光軸中心ＬＡと球面との交点を中心とする領域Ｔ_０の画像は、図７Ｂに示すような画像として表される。立体球ＣＳの中心を通る全ての軸について、当該軸と球面との交点を中心とする領域の画像は、同様に表される。

表示視点補正部２５の機能は、ＣＰＵ２０１等によって実現される。表示視点補正部２５は、姿勢データに基づき、球面の画像フレームにおける光軸中心の方向を補正する。さらに、表示視点補正部２５は、補正後の光軸中心を中心として、球面の画像フレームを正距円筒図法等で展開した平面的な画像フレームである全天球画像フレームを形成し、表示制御部２６に出力する。ここで、表示視点補正部２５は補正部の一例である。

表示制御部２６の機能は、ＣＰＵ２０１等によって実現される。表示制御部２６は、表示視点補正部２５から取得された画像フレームをディスプレイ２０５に表示させる。例えば、表示制御部２６は、動画を構成する複数の画像フレームを順に表示し、動画を表示する。ここで、表示制御部２６は表示部の一例である。

表示視点補正部２５の詳細を説明する。例えば、端末２０のディスプレイ２０５に表示される撮像装置１０が撮影した全天球画像の画面上において、ユーザによって、入力装置２０４を用いて点又は領域等の表示部分が指定される。このとき、表示視点補正部２５は、画面上における表示部分の位置を維持する全天球画像を表示するように、球面の画像フレームを補正する。撮像装置１０が回転されて光軸中心ＬＡの方向が変化した場合でも、表示視点補正部２５は、画面に表示される全天球画像に対する表示部分の位置を維持する。よって、表示視点補正部２５は、表示部分への視点位置を維持する。なお、表示部分の指定方法は、点及び領域に限定されず、いかなる方法でもよい。

ディスプレイ２０５の画面上において表示部分として矩形状の指定領域Ｔが指定された場合を説明する。この場合、表示視点補正部２５は、指定領域Ｔを図７Ａに示すような立体球ＣＳの球面に投影する。さらに、表示視点補正部２５は、立体球ＣＳの球面上において、投影された指定領域Ｔの中心点ＣＰの位置を算出する。

図８は、実施の形態１に係る指定領域の一例を示す図である。図９は、実施の形態１に係る指定領域の中心点の一例を示す図である。図９は、立体球ＣＳ上の球面の画像フレームの一部を示す。

図８に示すように、指定領域Ｔを視野とし且つ立体球ＣＳの中心に位置する仮想カメラＩＣが、想定される。仮想カメラＩＣの光軸ＩＡと立体球ＣＳの球面との交点が、指定領域Ｔの中心点ＣＰとされる。具体的には、図９に示すように、指定領域Ｔの対角線画角２Ｌに対する仮想カメラＩＣの視野角はαである。そして、中心点ＣＰは、視野角αの二等分線である光軸ＩＡと対角線画角２Ｌに対応する指定領域Ｔの対角線との交点である。

例えば、撮像装置１０が移動することにより、撮像装置１０の姿勢が、ロール角θｒ、ピッチ角θｐ及びヨー角θｙ変化した場合、撮像装置１０の光軸中心ＬＡの方向は、同様に変化する。変化後の光軸中心ＬＡを光軸中心ＬＡ１とする。光軸ＩＡの方向及び中心点ＣＰの位置も、光軸中心ＬＡと同様に変化する。変化後の光軸ＩＡを光軸ＩＡ１とする。中心点ＣＰは、光軸ＩＡ１と立体球ＣＳとの交点ＣＰ１に移動する。

表示視点補正部２５は、姿勢変化の前後で立体球ＣＳ上における中心点ＣＰの位置が変化しないように、球面の画像フレームを立体球ＣＳ上で回転させる。具体的には、表示視点補正部２５は、中心点ＣＰ１を中心点ＣＰに移動させるように、姿勢変化後の球面の画像フレームを立体球ＣＳの中心を中心として回転させる。このとき、表示視点補正部２５は、光軸ＩＡ１を光軸ＩＡと一致させてもよく、光軸中心ＬＡ１を光軸中心ＬＡと一致させてもよい。

例えば、表示視点補正部２５は、光軸ＩＡ１を光軸ＩＡに移動させる座標変換を行うことによって、姿勢変化後の球面の画像フレームの各パラメータを補正する。座標変換後の球面の画像フレームにおいて、立体球ＣＳ上における中心点ＣＰ１の位置は、姿勢変化前の中心点ＣＰと同じである。

このように、表示視点補正部２５は、撮像装置１０の姿勢変化を示すロール角θｒ、ピッチ角θｐ及びヨー角θｙに基づく座標変換を、姿勢変化後の球面の画像フレームに行うことによって、立体球ＣＳ上での指定領域Ｔの位置を維持し、指定領域Ｔへの視線を維持する。よって、表示視点補正部２５は、撮像装置１０の姿勢の情報、つまり姿勢データと、表示部分である指定領域Ｔの情報とに基づき、姿勢変化後の球面の画像フレームを、表示部分が写し出されるように補正する。そして、表示視点補正部２５は、撮像装置１０の姿勢変化に関係なく、表示部分の位置を維持する。

例えば、図１０は、実施の形態１に係る撮像装置１０の姿勢変化前後における端末２０の表示画像の一例を示す図である。図１０に示すように、端末２０が表示する画像２０ａにおいて、ユーザによって領域Ｔが指定される。その後、例えば、撮像装置１０がＺ軸を中心に回転された場合、端末２０は、回転中及び回転後において、領域Ｔの中心点ＣＰの位置が同じ位置に維持された画像２０ａを表示する。つまり、端末２０は同じ視点の画像２０ａを表示し続ける。なお、ユーザによって点ＣＰが指定されてもよい。この場合も、端末２０は、回転中及び回転後において、点ＣＰの位置が同じ位置に維持された画像２０ａを表示する。なお、同じ視点の画像とは、姿勢変化前後で、ユーザによって指定された領域Ｔが、画面上で互いの重複が少なくとも７５％以上含まれていれば良いことを意味する。

＜撮像システム１０００の画像配信動作＞
撮像システム１０００において、撮像装置１０が端末２０に画像データを配信する動作を説明する。図１１は、実施の形態１に係る撮像システム１０００における画像データの配信動作の一例を示すシーケンス図である。以下において、端末２０が、ディスプレイ２０５に表示している画像において、ユーザから表示部分として領域Ｔの指定を受けている場合を説明する。

図１１に示すように、撮像装置１０は、動画を撮像することで、各フレームの画像を取得する（ステップＳ１）。このとき、撮像装置１０は、第一撮像素子１１ａｂ及び第二撮像素子１１ｂｂから取得される画像フレームを合成し、全天球画像フレームを生成する。

また、撮像装置１０は、モーションセンサ１０９を介して撮像装置１０の姿勢データを取得する（ステップＳ２）。例えば、撮像装置１０は、時系列データである姿勢データから、各全天球画像フレームの撮像のタイミング（より具体的には、２つの撮像素子で取得された画像フレームのタイミング）で検出された姿勢データを取得し、当該姿勢データと当該全天球画像フレームとを関連付ける。つまり、撮像装置１０は、同じタイミングで取得された全天球画像フレームと姿勢データとを関連付ける。全天球画像フレームと姿勢データとを関連付ける情報は、全天球画像フレームに含められてもよく、姿勢データに含められてもよく、両方に含められてもよい。なお、タイミングは、ある時刻と同じ時刻、及び当該時刻に近似する時刻を含む。

次いで、撮像装置１０は、全天球画像フレームを動画形式のデータに圧縮するエンコードを行う（ステップＳ３）。次いで、撮像装置１０は、動画形式のデータと姿勢データとを関連付けて、端末２０に送信する、つまり配信する（ステップＳ４）。

次いで、端末２０は、動画形式のデータ及び姿勢データを受信し、動画形式のデータを表示可能な画像フレームのデータに展開するデコードを行う（ステップＳ５）。さらに、端末２０は、動画形式のデータから展開された画像フレームのデータを、三次元モデルの球面に貼り付ける画像フレームに変換する。

そして、端末２０は、ディスプレイ２０５の画面に表示される画像上においてユーザによって指定された表示部分である視点の情報（視点位置や指定領域ともいう）を取得する（ステップＳ６）。視点の情報は、当該表示画像上において、ユーザによって指定された点又は領域の位置及び大きさを含み、世界座標系の座標値を含むデータとして示される、その他、全天球画像上の座標値であってもよい。本例では、領域Ｔが指定されている。指定は、画面上において入力装置２０４の一例であるマウスによるポイント・アンド・クリック又はドラッグ等により行われてもよい。

また、端末２０は、姿勢データと指定領域Ｔの情報とに基づき、球面の画像フレームの表示領域を順次補正する（ステップＳ７）。具体的には、端末２０は、姿勢データが示す撮像装置１０の姿勢変化にかかわらず、端末２０の表示画面内で表示される指定領域Ｔの位置が変化しないように、球面の画像フレームの光軸中心の向きを補正する。

次いで、端末２０は、補正後の球面に貼り付けた全天球画像フレームを、透視投影変換の処理などの射影変換を実施して、平面的な全天球画像フレームに順次変換し、ディスプレイ２０５に表示させる（ステップ８）。

＜撮像装置１０の動作＞
撮像装置１０の動作を説明する。図１２は、実施の形態１に係る撮像装置１０の動作の一例を示すフローチャートである。以下において、１フレームの画像データに対する撮像装置１０の処理を説明する。

図１２に示すように、撮像装置１０の第一撮像素子１１ａｂ及び第二撮像素子１１ｂｂは撮像を開始し、撮像制御部１１は、第一撮像素子１１ａｂ及び第二撮像素子１１ｂｂそれぞれによって撮像された１フレーム分の画像データである画像フレームを取得する、つまり取り込む（ステップＳ１０１）。

次いで、撮像制御部１１は、取得された画像データに対して画像処理を行う（ステップＳ１０２）。具体的には、撮像制御部１１は、第一撮像素子１１ａｂ及び第二撮像素子１１ｂｂによって撮像された２つの画像フレームを合成し、全天球画像フレームを生成する。

次いで、姿勢検出部１３は、撮像装置１０の姿勢を検出する（ステップＳ１０３）。具体的には、姿勢検出部１３は、モーションセンサ１０９の検出値から、全天球画像フレームが撮像されたタイミングに検出された検出値を取得する。さらに、姿勢データ生成部１４は、姿勢検出部１３によって取得された検出値を用いて、撮像装置１０の姿勢を示すパラメータを姿勢データとして生成する。

次いで、動画圧縮部１２は、１フレーム分の画像データを動画形式の画像データに圧縮する（ステップＳ１０４）。具体的には、動画圧縮部１２は、全天球画像フレームを動画形式のデータに圧縮する。ここで、1フレーム毎に動画形式に画像データを圧縮しているが、所定のフレーム数毎に動画形式に圧縮する、または、撮影終了後に全てのフレームを動画形式に圧縮するなど、圧縮の方式や形態はいずれであってもよい。

次いで、通信部１５は、動画形式の画像データを端末２０に送信する（ステップＳ１０５）。

同様に、通信部１５は、撮像装置１０の姿勢データを端末２０に送信する（ステップＳ１０６）。このとき、通信部１５は、動画形式の画像データと、当該動画形式の画像データの撮像のタイミングで検出された姿勢データとを、関連付ける。通信部１５は、動画形式の画像データと姿勢データとを関連付ける情報を、動画形式の画像データに含めてもよく、姿勢データに含めてもよく、両方に含めてもよい。その他に、動画形式の画像データのメタデータとして姿勢データを付加して、関連付けてもよい。また、メタデータとして姿勢データを付加する場合は、ステップＳ１０６のように姿勢データを端末２０に送信することに代えて、ステップＳ１０４で動画形式データに圧縮する際に、それぞれの画像フレームに対応する姿勢データをメタデータとして付加し、動画形式データに圧縮してもよい。

次いで、撮像制御部１１は、第一撮像素子１１ａｂ及び第二撮像素子１１ｂｂによる撮像が終了し、全ての画像フレームに対する処理が終了している場合（ステップＳ１０７でＹｅｓ）、一連の処理を終了し、未処理の画像フレームがある場合（ステップＳ１０７でＮｏ）、ステップＳ１０１に戻る。

＜端末２０の動作＞
端末２０の動作を説明する。図１３は、実施の形態１に係る端末２０の動作の一例を示すフローチャートである。以下において、撮像装置１０から配信される画像を端末２０がディスプレイ２０５に表示しているときに、ユーザによって入力装置２０４を介して視点位置（指定領域）が指定された後の端末２０の動作を説明する。

図１３に示すように、端末２０は、表示している画像上において、ユーザから視点位置の指定を受け付ける（ステップＳ２０１）。例えば、視点位置は、入力装置２０４への入力を介して画像上で指定される点又は領域を世界座標系の座標値を含んで示される情報である。

次いで、通信部２１は、撮像装置１０から、動画形式のデータである１フレーム分の画像データを受信する（ステップＳ２０２）。

同様に、通信部２１は、撮像装置１０から撮像装置１０の姿勢データを受信する（ステップＳ２０３）。なお、先に示したように、姿勢データを動画形式データのメタデータとして受信する場合は、当該ステップＳ２０３は省略される。そして、姿勢データ取得部２４は、受信された姿勢データを取得する。

次いで、動画展開部２２は、動画形式の１フレーム分の画像データをＲＡＭ１０３に展開する（ステップＳ２０４）。具体的には、動画展開部２２は、動画形式の画像データを、表示可能な画像フレームのデータに展開する。

次いで、表示用画像生成部２３は、表示可能な画像フレームのデータを、３次元モデルの球面に投影した画像フレームに変換する。つまり、表示用画像生成部２３は、表示用の画像フレームを生成する（ステップＳ２０５）。ここで、例えば、全天球画像フレームを、平面画像に出力する際には、透視投影変換を実施する。

次いで、表示視点補正部２５は、姿勢データに基づき、球面の画像フレームにおける表示視点を補正する（ステップＳ２０６）。このとき、表示視点補正部２５は、姿勢データの検出タイミングと、球面の画像フレームを構成する画像の撮像タイミングとが同じである姿勢データ及び球面の画像フレームを関連付けて、補正を行う。そして、表示視点補正部２５は、姿勢データが示す撮像装置１０の姿勢の変化に起因して、ステップＳ２０１で指定された視点位置が端末２０の画面上で変化しないように、球面の画像フレームの向き、つまり、光軸中心ＬＡの向きを補正する。よって、表示視点補正部２５は、撮像装置１０の姿勢変化により変化し得る視点位置を、姿勢変化前の位置にするように補正する。さらに、表示視点補正部２５は、補正後の光軸中心を中心として、３次元モデルの球面に全天球画像フレームを形成する。

次いで、表示制御部２６は、表示視点補正部２５から取得された補正後の画像フレームをディスプレイ２０５に表示させる。つまり、表示制御部２６は、補正後の視点での領域Ｔを表示する（ステップＳ２０７）。よって、ディスプレイ２０５には、撮像装置１０の姿勢が変化しても、同じ視点位置の画像が表示される。

次いで、表示制御部２６は、撮像装置１０から送信される全ての画像フレームのディスプレイ２０５への表示が終了すると（ステップＳ２０８でＹｅｓ）、一連の処理を終了し、終了していない場合（ステップＳ２０８でＮｏ）、ステップＳ２０１に戻る。

ステップＳ２０１では、端末２０は、ユーザから視点位置の変更を受け付けると、変更後の視点位置を用いて、ステップＳ２０２以降の処理に進む。端末２０は、ユーザから視点位置の変更を受け付けていない場合、現在設定されている視点位置を用いて、ステップＳ２０２以降の処理に進む。端末２０は、ユーザから視点位置の取り消しを受け付けると、ステップＳ２０８に進む。

＜効果等＞
上述のような実施の形態１に係る撮像システム１０００は、画像を撮像する撮像部１１Ａと、撮像部１１Ａの姿勢を検出する姿勢検出部１３と、撮像部１１Ａの姿勢と、画像に指定される表示部分とに基づき、撮像部１１Ａによって撮像された画像を、当該表示部分を写し出すように補正する補正部としての表示視点補正部２５と、補正後の画像を表示する表示部としての表示制御部２６とを備える。

上記構成によると、撮像システム１０００は、撮像部１１Ａの姿勢が変化しても、表示部分を写し出す画像を表示する。例えば、撮像部１１Ａの姿勢が変化し撮像方向が変化した場合であっても、撮像システム１０００は、表示される画像に表示部分を写し出す。よって、撮像システム１０００は、撮像部１１Ａの姿勢に依らず所望の表示対象を写し出すことができる。

また、実施の形態１に係る撮像システム１０００において、表示視点補正部２５は、撮像部１１Ａの姿勢の変化に関係なく、画像に対する表示部分の位置を維持するように、撮像部１１Ａによって撮像された画像を補正してもよい。上記構成によると、撮像システム１０００は、表示される画像において、表示部分を同じ位置で写し出すことができる。これにより、ユーザは、画像において表示部分を探す必要がなく、視点を変えずに表示部分を視認することができる。よって、表示部分の視認が容易になる。

また、実施の形態１に係る撮像システム１０００において、撮像部１１Ａの姿勢は、撮像部１１Ａのヨーイング、ピッチング及びローリングの方向の姿勢を含んでもよい。上記構成により、撮像部１１Ａの姿勢の検出精度が向上する。よって、撮像システム１０００は、表示部分を写し出すための画像の補正を高精度で行うことができる。

また、実施の形態１に係る撮像システム１０００は、撮像装置１０と端末２０とを備えてもよい。そして、撮像装置１０は、撮像部１１Ａと、撮像部１１Ａによって撮像された複数の画像から動画データを生成する生成部としての動画圧縮部１２と、姿勢検出部１３と、動画データ及び撮像部１１Ａの姿勢を端末２０に送る送信部としての通信部１５とを有してもよい。また、端末２０は、動画データを個別の画像に展開する展開部としての動画展開部２２と、表示視点補正部２５と、表示制御部２６とを有してもよい。上記構成によると、撮像システム１０００は、撮像装置１０から端末２０に動画を配信し、配信された動画において表示部分を写し出すことができる。

また、実施の形態１に係る端末２０は、撮像部１１Ａによって撮像された画像及び撮像部１１Ａの姿勢の情報を取得する取得部としての通信部２１と、撮像部１１Ａの姿勢と、画像に指定される表示部分とに基づき、通信部２１によって取得された画像を、表示部分を写し出すように補正する表示視点補正部２５と、補正後の画像を表示する表示制御部２６とを備える。上記構成によると、端末２０は、上記撮像システム１０００と同様の効果を奏することができる。

（実施の形態２）
実施の形態２に係る撮像システムでは、ディスプレイ２０５に表示される画像に対する視点位置を保持するための処理が、実施の形態１と異なる。以下、実施の形態２について、実施の形態１と異なる点を中心に説明し、実施の形態１と同様の点の説明を適宜省略する。

実施の形態２に係る撮像装置及び端末のハードウェア構成及び機能的構成は、実施の形態１と同様であるため、その説明を省略する。さらに、実施の形態２において、各構成要素の符号は、実施の形態１と同じとする。

本実施の形態では、端末２０のディスプレイ２０５に表示される画像上において、表示部分である視点の位置と画像の向きとが、ユーザによって入力装置２０４を介して指定される。指定方法は、視点の位置と画像の向きとを指定することができれば、いかなる指定方法であってもよい。例えば、視点の位置を示す点と画像の向きを示すラインとが、指定されてもよい。又は、多角形の枠を用いて領域が指定されてもよい。多角形の中心と１つの辺とから、視点の位置と画像の向きとの特定が可能である。

視点の位置を示す点と画像の向きを示すラインとが、指定されるケースを説明する。図１４は、実施の形態２に係る指定点及び指定方向の一例を示す図である。図１４は、図９と同様に、立体球ＣＳ上の球面の画像フレームの一部を示す。図１４に示すように、点ＣＰａが指定点として指定され、点ＣＰａから延びるラインＤａが指定方向を示すラインとして指定される。ラインＤａにおける点ＣＰａと反対側の点は、点ＣＰｂである。この指定された内容も世界座標系の座標値を含む形で指定されるが、その他、全天球画像上の座標値であってもよい。

そして、撮像装置１０の姿勢が変化すると、点ＣＰａとラインＤａとが一緒に移動する。端末２０の表示視点補正部２５は、姿勢変化の前後で立体球ＣＳ上における点ＣＰａの位置とラインＤａの方向とが変化しないように、球面の画像フレームを立体球ＣＳ上で回転させることで、球面の画像フレームの各パラメータを補正する。

例えば、撮像装置１０の姿勢が、ロール角θｒ、ピッチ角θｐ及びヨー角θｙ変化した場合、点ＣＰａを通る仮想カメラＩＣの光軸ＩＡａは、光軸ＩＡａ１に変化し、点ＣＰａは、光軸ＩＡａ１上の点ＣＰａ１に移動する。さらに、ラインＤａの方向を示す方向ベクトルＶａは、方向ベクトルＶａ１に変化する。方向ベクトルＶａは、点ＣＰａと点ＣＰｂとにより形成されるベクトルであってもよい。

よって、表示視点補正部２５は、点ＣＰａ１を点ＣＰａに移動させ且つ方向ベクトルＶａ１の方向を方向ベクトルＶａの方向と一致させるように、姿勢変化後の球面の画像フレームを、立体球ＣＳの中心を中心として回転させる。つまり、表示視点補正部２５は、姿勢変化後の球面の画像フレームに対して、点ＣＰａ１を点ＣＰａに移動させ且つ方向ベクトルＶａ１の方向を方向ベクトルＶａの方向と一致させる座標変換を行う。座標変換後の球面の画像フレームにおいて、立体球ＣＳ上における点ＣＰａ１の位置は、点ＣＰａと同じであり、方向ベクトルＶａ１は、方向ベクトルＶａと平行である。

例えば、図１５は、実施の形態２に係る撮像装置１０の姿勢変化前後における端末２０の表示画像の一例を示す図である。図１５に示すように、端末２０が表示する画像２０ａにおいて、ユーザによって点ＣＰａ及びラインＤａが指定される。その後、例えば、撮像装置１０がＹ軸を中心に回転された場合、端末２０は、回転中及び回転後において、点ＣＰａの位置が同じ位置に維持され且つラインＤａの方向が同じ方向に維持された画像２０ａを表示する。つまり、端末２０は同じ視点及び傾斜の画像２０ａを表示し続ける。

また、実施の形態２に係る撮像システムのその他の構成及び動作は、実施の形態１と同様であるため、その説明を省略する。そして、上述のような実施の形態２に係る撮像システムによると、実施の形態１と同様の効果が得られる。

さらに、実施の形態２に係る撮像システムにおいて、端末２０の表示視点補正部２５は、撮像部１１Ａの姿勢と、画像に指定される表示部分及び表示方向とに基づき、撮像部１１Ａによって撮像された画像を、当該表示方向で当該表示部分を写し出すように補正してもよい。上記構成によると、端末２０は、撮像部１１Ａの姿勢が変化しても、指定された表示方向で表示部分を写し出す画像を表示することができる。よって、端末２０は、撮像部１１Ａの姿勢に依らず所望の表示対象を所望の向きで写し出すことができる。

また、実施の形態２に係る撮像システムにおいて、端末２０の表示視点補正部２５は、撮像部１１Ａによって撮像された画像の鉛直方向軸が天頂方向となるように、撮像部１１Ａによって撮像された画像を補正してもよい。なお、撮像部１１Ａによって撮像された画像の鉛直方向軸は、撮像部１１Ａに設定される鉛直方向軸に対応してもよい。

例えば、撮像部１１Ａに設定される鉛直方向軸を、Ｚ軸としてもよい。このとき、表示視点補正部２５は、ユーザによって指定されるラインＤａの代わりに、Ｚ軸に対応する画像の鉛直方向軸を用いてもよい。そして、表示視点補正部２５は、ユーザによって指定される点ＣＰａと画像の鉛直方向軸とを用いて、点ＣＰａの位置が同じ位置に維持され且つ画像の鉛直方向軸の方向が天頂方向に維持されるように、撮像部１１Ａによって撮像される画像を補正してもよい。天頂方向は、世界座標のＺｓ軸方向である。撮像部１１Ａの姿勢から、Ｚｓ軸に対する撮像部１１ＡのＺ軸の傾斜方向及び傾斜角の検出が可能である。よって、表示視点補正部２５は、実施の形態２において上述した処理と同様に、補正を行うことができる。

上記構成により、端末２０は、実際の上下方向である天頂方向で、指定された表示部分を写し出す画像を表示することができる。

また、表示視点補正部２５が、画像の鉛直方向軸が天頂方向となるように、画像を補正する天頂補正機能は、選択可能であってもよい。例えば、端末２０の入力装置２０４を介して、ユーザによって、天頂補正機能の実行、つまり、ＯＮの指令が入力されると、表示視点補正部２５は、天頂補正を行ってもよい。さらに、入力装置２０４を介して、ユーザによって、天頂補正機能の停止、つまり、ＯＦＦの指令が入力されると、表示視点補正部２５は、天頂補正を行わなくてもよい。

また、実施の形態２に係る撮像システムにおいて、端末２０の表示視点補正部２５は、撮像部１１Ａの姿勢と、画像で指定される表示方向（ユーザによって指定されるラインＤａ）とに基づき、撮像部１１Ａによって撮像された画像を、当該表示方向で写し出すように補正してもよい。これにより、端末２０は、撮像部１１Ａの姿勢が変化しても、指定された表示方向で写し出す画像を表示することができ、撮像部１１Ａの姿勢に依らず所望の向きで写し出すことができる。

（その他の実施の形態）
以上、本発明の実施の形態の例について説明したが、本発明は、上記実施の形態に限定されない。すなわち、本発明の範囲内で種々の変形及び改良が可能である。例えば、各種変形を実施の形態に施したもの、及び、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

例えば、実施の形態に係る撮像システムにおいて、端末２０の表示視点補正部２５は、画像において指定される表示部分の一例である指定領域Ｔ又は点ＣＰａの位置が、撮像装置１０の姿勢の変化に依らず、画像上で同じ位置に維持されるように、全天球画像フレームを補正したが、これに限定されない。

例えば、表示視点補正部２５は、撮像装置１０の姿勢が変化しても、指定領域Ｔ又は点ＣＰａが、画像上における所定の表示領域内に収まる場合、全天球画像フレームを補正せず、収まらない場合、全天球画像フレームを補正してもよい。例えば、所定の領域は、ユーザによって指定されたときの指定領域Ｔ又は点ＣＰａの位置を中心とする領域であってもよい。これにより、ユーザは、視点を大きく変えずに、指定領域Ｔ又は点ＣＰａを視認することができる。

又は、表示視点補正部２５は、撮像装置１０の姿勢が変化しても、指定領域Ｔ又は点ＣＰａの位置を、画像の中心等の所定の位置に維持するように、全天球画像フレームを補正してもよい。画像の中心は、光軸中心の位置であってもよい。

また、実施の形態に係る撮像システムにおいて、端末２０の表示視点補正部２５は、指定領域Ｔ又は点ＣＰａ等の指定された表示部分について、撮像部１１Ａの姿勢の変化による画像上での表示部分の揺動を抑えるように、撮像部１１Ａによって撮像された画像を補正してもよい。

例えば、端末２０の姿勢データ取得部２４は、撮像装置１０の姿勢データから、撮像装置１０の姿勢が変化する方向が変わる周期（以下、「姿勢変化周期」とも呼ぶ）と、姿勢の変化方向それぞれでの撮像装置１０の姿勢の変化量を検出してもよい。そして、表示視点補正部２５は、姿勢変化周期が第一閾値以下であり且つ当該周期における姿勢の変化量が第二閾値以下である場合、画像における表示部分の位置を維持するように、画像を補正してもよい。この場合、撮像装置１０が、撮像装置１０を把持するユーザの手振れにより振動していると見なすことができる。また、表示視点補正部２５は、姿勢変化周期が第一閾値超であり且つ当該周期における姿勢の変化量が第二閾値以下である場合、画像を補正しなくてもよい。また、表示視点補正部２５は、姿勢変化周期における姿勢の変化量が第二閾値超である場合、画像における表示部分の位置を維持するように、画像を補正してもよい。

上記構成によると、端末２０は、撮像装置１０を把持するユーザの手振れ等に起因する画面の揺れを抑制しつつ、撮像装置１０の姿勢に依らず所望の表示対象を写し出すことができる。

また、表示視点補正部２５が、撮像部１１Ａの姿勢の変化による画像上での表示部分の揺動を抑えるように、画像を補正する揺動抑止機能は、選択可能であってもよい。例えば、端末２０の入力装置２０４を介して、ユーザによって、揺動抑止機能の実行、つまり、ＯＮの指令が入力されると、表示視点補正部２５は、揺動を抑止する上記補正を行ってもよい。さらに、入力装置２０４を介して、ユーザによって、揺動抑止機能の停止、つまり、ＯＦＦの指令が入力されると、表示視点補正部２５は、揺動を抑止する上記補正を行わなくてもよい。

また、実施の形態に係る撮像システムにおいて、撮像装置１０の撮像制御部１１は、第一撮像素子１１ａｂ及び第二撮像素子１１ｂｂによって撮像された２つの画像フレームを合成して全天球画像フレームを生成したが、これに限定されず、全天球画像フレームに合成しなくてもよい。例えば、撮像制御部１１は、当該２つの画像フレームを合成せずに動画圧縮部１２に出力し、動画圧縮部１２は、当該２つの画像フレームそれぞれから２つの動画形式のデータを生成し、通信部１５を介して端末２０に送信してもよい。この場合、撮像装置１０は、カメラ１１ａ及び１１ｂそれぞれに設定されている光軸中心の向き及び撮像方向等を含むカメラ情報を端末２０に送信してもよい。そして、端末２０は、２つの動画形式のデータそれぞれを展開して得られ且つ同時刻又は近似する時刻に撮像された画像フレームを、カメラ情報等に基づき合成し、全天球画像フレームを生成してもよい。又は、端末２０は、２つの動画形式のデータそれぞれから得られる画像フレームを合成せず、２つの画像をディスプレイ２０５に表示してもよい。

さらにまた、実施の形態に係る撮像システムにおいて、撮像装置１０の撮像制御部１１は、第一撮像素子１１ａｂ及び第二撮像素子１１ｂｂによって撮像された２つの画像フレームを合成して全天球画像フレームを生成したが、これに限定されず、全天球画像フレームに合成しなくてもよい。例えば、撮像制御部１１は、当該２つの画像フレームを、いわゆるデュアルフィッシュアイ画像として動画圧縮部１２に出力し、動画圧縮部１２は、当該デュアルフィッシュアイ画像を動画形式のデータを生成し、通信部１５を介して端末２０に送信してもよい。この場合、撮像装置１０は、カメラ１１ａ及び１１ｂそれぞれに設定されている光軸中心の向き及び撮像方向等を含むカメラ情報を端末２０に送信してもよい。そして、端末２０は、デュアルフィッシュアイの動画形式のデータを展開して得られ且つ同時刻又は近似する時刻に撮像された画像フレームを、カメラ情報等に基づき合成し、全天球画像フレームを生成してもよい。又は、端末２０は、２つの動画形式のデータそれぞれから得られる画像フレームを合成せず、２つの画像をディスプレイ２０５に表示してもよい。

また、実施の形態に係る撮像システムにおいて、撮像装置１０によって撮像された画像は、通信網３０を介して端末２０に送信されていたが、これに限定されない。撮像装置１０から端末２０への画像の送信は、いかなる有線通信又は無線通信を介して行われてもよい。また、撮像装置１０から記憶媒体に画像が記憶され、端末２０が当該記憶媒体から画像を読み出すことで、端末２０が画像を取得してもよい。記憶媒体は、メモリカード及びフラッシュメモリ等の不揮発性記憶媒体であってもよい。

また、実施の形態に係る撮像システムにおいて、端末２０の表示用画像生成部２３及び表示視点補正部２５の機能は、撮像装置１０に備えられてもよい。撮像装置１０は、動画圧縮部１２での処理の前に、表示用画像生成部２３及び表示視点補正部２５と同様の処理を行ってもよい。このとき、補正後の画像が、撮像装置１０から端末２０に送信される。

また、実施の形態に係る撮像システムは、通信網３０に接続されたサーバ装置を備えてもよい。撮像装置１０は、サーバ装置に画像を送信し、サーバ装置は、通信網３０に接続された１つ以上の端末２０に、画像を同時に配信する、つまりブロードキャストしてもよい。この場合、端末２０の表示用画像生成部２３及び表示視点補正部２５の機能は、撮像装置１０、サーバ装置、及び各端末２０のいずれに備えられてもよい。

サーバ装置に備えられる場合、各端末２０において指定される表示部分の指令は、当該端末２０からサーバ装置に送信されてもよい。サーバ装置は、表示用画像生成部２３及び表示視点補正部２５と同様の処理を行うことで、各表示部分についての補正後の画像を生成し、各端末２０に対して、指令された表示部分に対応する補正後の画像を配信してもよい。又は、サーバ装置は、各表示部分についての補正後の画像を集約した画像を生成し、集約後の画像を各端末２０に配信してもよい。この場合、１つの画像に全ての表示部分の画像が含まれる。

また、撮像装置１０に備えられる場合、各端末２０の表示部分の指令は、当該端末２０からサーバ装置に送信されてもよい。サーバ装置は、各端末２０の表示部分の情報を集約して撮像装置１０に送信してもよい。撮像装置１０は、表示用画像生成部２３及び表示視点補正部２５と同様の処理を行うことで、各表示部分についての補正後の画像を生成し、サーバ装置に送信してもよい。そして、サーバ装置は、各端末２０に対して、指令された表示部分に対応する補正後の画像を配信してもよい。又は、撮像装置１０は、各表示部分についての補正後の画像を集約した画像を生成し、サーバ装置に送信してもよい。

また、各端末２０に備えられる場合、撮像装置１０によって撮像された画像は、サーバ装置を介して各端末２０に送信されてもよい。各端末２０は、当該端末２０において指定される表示部分についての補正後の画像を生成してもよい。

また、実施の形態に係る撮像システムの端末２０において、入力装置２０４を介して、ユーザによって１つの表示部分が指定され、表示視点補正部２５は、当該１つの表示部分の位置が維持されるように、画像を補正したが、これに限定されない。例えば、入力装置２０４を介して、複数の表示部分が指定されてもよい。この場合、表示視点補正部２５は、複数の表示部分それぞれについて、当該表示部分の位置が維持される複数の補正画像を生成してもよい。表示制御部２６は、ディスプレイ２０５に、複数の補正画像を順番に表示させてもよく、複数の補正画像のうちの少なくとも２つを同時に表示させてもよい。

また、撮像装置１０にＧＰＳ（Global Positioning System）が備えられていてもよい。ＧＰＳが備えられている場合は、端末２０へ送信する画像データのメタデータ内にＧＰＳ情報が組み込まれ、端末２０では、別途に設けられている地図情報と関連づけながら、画像データの表示と、地図上での位置を連動させて表示させてもよい。この構成によれば、視聴者は撮像装置１０の位置も確認することができる。

また、本発明は、プログラムであってもよく、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

例えば、本発明の一実施形態に係るプログラムは、端末のコンピュータに実行させるプログラムであって、撮像部によって撮像された画像及び前記撮像部の姿勢の情報を取得する処理と、前記撮像部の姿勢と、画像に指定される表示部分とに基づき、取得された前記画像を、前記表示部分を写し出すように補正する処理と、補正後の前記画像を表示する処理とを含む。このプログラムによれば、上記端末２０と同様の効果が得られる。

また、上記プログラムは、前記補正する処理では、前記撮像部の姿勢と、画像に指定される前記表示部分及び表示方向とに基づき、前記取得された画像を、前記表示方向で前記表示部分を写し出すように補正してもよい。

また、上記プログラムは、前記補正する処理では、前記取得された画像の鉛直方向軸が天頂方向となるように、前記取得された画像を補正し、前記鉛直方向軸は、前記撮像部に設定される鉛直方向軸に対応してもよい。

また、上記プログラムは、前記補正する処理では、前記撮像部の姿勢の変化による画像上での前記表示部分の揺動を抑えるように、前記取得された画像を補正してもよい。

また、上記プログラムは、前記補正する処理では、前記撮像部の姿勢の変化に関係なく、画像に対する前記表示部分の位置を維持するように、前記取得された画像を補正してもよい。

また、上記プログラムにおいて、前記撮像部の姿勢は、前記撮像部のヨーイング、ピッチング及びローリングの方向の姿勢を含んでもよい。

また、上記で用いた序数、数量等の数字は、全て本発明の技術を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。また、構成要素間の接続関係は、本発明の技術を具体的に説明するために例示するものであり、本発明の機能を実現する接続関係はこれに限定されない。

また、機能ブロック図におけるブロックの分割は一例であり、複数のブロックを一つのブロックとして実現する、一つのブロックを複数に分割する、及び／又は、一部の機能を他のブロックに移してもよい。また、類似する機能を有する複数のブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

１０ 撮像装置
１１Ａ 撮像部
１１ａ，１１ｂ カメラ
１２ 動画圧縮部（生成部の一例）
１３ 姿勢検出部
１５ 通信部（送信部の一例）
２０ 端末
２１ 通信部（取得部の一例）
２２ 動画展開部（展開部の一例）
２５ 表示視点補正部（補正部の一例）
２６ 表示制御部（表示部の一例）
３０ 通信網
１０００ 撮像システム

特許第５８４３０３３号公報

Claims (19)

1. 画像を撮像する撮像部と、
   前記撮像部の姿勢を検出する検出部と、
   前記撮像部の姿勢と、画像に指定される表示部分とに基づき、前記撮像部によって撮像された画像を、前記表示部分を写し出すように補正する補正部と、
   補正後の前記画像を表示する表示部とを備え、
   前記表示部により表示される画像は、全天球画像の一部であり、
   前記補正部は、前記表示部により表示される画像において、領域が指定される入力を受け付け、指定された前記領域の中心位置に基づき、前記表示部分を写し出すように補正する
   撮像システム。
2. 前記補正部は、前記撮像部の姿勢と、画像に指定される前記表示部分又は表示方向とに基づき、前記撮像部によって撮像された画像を、前記表示方向で前記表示部分を写し出すように補正する
   請求項１に記載の撮像システム。
3. 前記補正部は、前記撮像部によって撮像された画像の鉛直方向軸が天頂方向となるように、前記撮像部によって撮像された画像を補正し、
   前記鉛直方向軸は、前記撮像部に設定される鉛直方向軸に対応する
   請求項２に記載の撮像システム。
4. 前記補正部は、前記撮像部の姿勢の変化による画像上での前記表示部分の揺動を抑えるように、前記撮像部によって撮像された画像を補正する
   請求項１～３のいずれか一項に記載の撮像システム。
5. 前記補正部は、前記撮像部の姿勢の変化に関係なく、画像に対する前記表示部分の位置を維持するように、前記撮像部によって撮像された画像を補正する
   請求項１～４いずれか一項に記載の撮像システム。
6. 前記撮像部の姿勢は、前記撮像部のヨーイング、ピッチング及びローリングの方向の姿勢を含む
   請求項１～５のいずれか一項に記載の撮像システム。
7. 撮像装置と端末とを備え、
   前記撮像装置は、
   前記撮像部と、
   前記撮像部によって撮像された複数の画像から動画データを生成する生成部と、
   前記検出部と、
   前記動画データ及び前記撮像部の姿勢を前記端末に送る送信部とを有し、
   前記端末は、
   前記動画データを個別の画像に展開する展開部と、
   前記補正部と、
   前記表示部とを有する
   請求項１～６のいずれか一項に記載の撮像システム。
8. 撮像部によって撮像された画像及び前記撮像部の姿勢の情報を取得する取得部と、
   前記撮像部の姿勢と、画像に指定される表示部分とに基づき、前記取得部によって取得された画像を、前記表示部分を写し出すように補正する補正部と、
   補正後の前記画像を表示する表示部とを備え、
   前記表示部により表示される画像は、全天球画像の一部であり、
   前記補正部は、前記表示部により表示される画像において、領域が指定される入力を受け付け、指定された前記領域の中心位置に基づき、前記表示部分を写し出すように補正する
   端末。
9. 前記補正部は、前記撮像部の姿勢と、画像に指定される前記表示部分又は表示方向とに基づき、前記取得部によって取得された画像を、前記表示方向で前記表示部分を写し出すように補正する
   請求項８に記載の端末。
10. 前記補正部は、前記取得部によって取得された画像の鉛直方向軸が天頂方向となるように、前記取得部によって取得された画像を補正し、
    前記鉛直方向軸は、前記撮像部に設定される鉛直方向軸に対応する
    請求項９に記載の端末。
11. 前記補正部は、前記撮像部の姿勢の変化による画像上での前記表示部分の揺動を抑えるように、前記取得部によって取得された画像を補正する
    請求項８～１０のいずれか一項に記載の端末。
12. 前記補正部は、前記撮像部の姿勢の変化に関係なく、画像に対する前記表示部分の位置を維持するように、前記取得部によって取得された画像を補正する
    請求項８～１１のいずれか一項に記載の端末。
13. 前記撮像部の姿勢は、前記撮像部のヨーイング、ピッチング及びローリングの方向の姿勢を含む
    請求項８～１２のいずれか一項に記載の端末。
14. 端末のコンピュータに実行させるプログラムであって、
    撮像部によって撮像された画像及び前記撮像部の姿勢の情報を取得する処理と、
    前記撮像部の姿勢と、画像に指定される表示部分とに基づき、取得された前記画像を、前記表示部分を写し出すように補正する処理と、
    補正後の前記画像を表示する処理とを含み、
    前記表示する処理により表示される画像は、全天球画像の一部であり、
    前記補正する処理は、前記表示する処理により表示される画像において、領域が指定される入力を受け付け、指定された前記領域の中心位置に基づき、前記表示部分を写し出すように補正する
    プログラム。
15. 前記補正する処理では、前記撮像部の姿勢と、画像に指定される前記表示部分又は表示方向とに基づき、前記取得された画像を、前記表示方向で前記表示部分を写し出すように補正する
    請求項１４に記載のプログラム。
16. 前記補正する処理では、前記取得された画像の鉛直方向軸が天頂方向となるように、前記取得された画像を補正し、
    前記鉛直方向軸は、前記撮像部に設定される鉛直方向軸に対応する
    請求項１５に記載のプログラム。
17. 前記補正する処理では、前記撮像部の姿勢の変化による画像上での前記表示部分の揺動を抑えるように、前記取得された画像を補正する
    請求項１４～１６のいずれか一項に記載のプログラム。
18. 前記補正する処理では、前記撮像部の姿勢の変化に関係なく、画像に対する前記表示部分の位置を維持するように、前記取得された画像を補正する
    請求項１４～１７のいずれか一項に記載のプログラム。
19. 前記撮像部の姿勢は、前記撮像部のヨーイング、ピッチング及びローリングの方向の姿勢を含む
    請求項１４～１８のいずれか一項に記載のプログラム。

Images