JP7415544B2 - 撮影システム及び撮影方法 - Google Patents

Description

本発明は、撮影装置、撮影システム、画像処理方法、及びプログラムに関するものである。

回転台を用いたパン・チルト及びズームレンズで構成されるカメラシステムの代わりに魚眼レンズなどを使用して被写体を撮影して得られた広角画像のデータを配信し、その画像を受信側のビューアーで部分画像を生成して表示する電子的にパン・チルト・ズームする技術が既に知られている。

ところが、被写体を撮影して得た広角画像のデータを配信する技術では、注目されていない領域の画像のデータも配信するため、通信量が多くなる問題がある。

これに対して、通信量を減らすべく、撮影装置が、広角画像の全体を縮小した低精細な全体画像と、広角画像内の注目する領域である高精細な部分画像のデータとを配信し、受信側で全体画像に部分画像を嵌め込む技術が開示されている（特許文献１参照）。

しかしながら、従来の技術では、全体画像と部分画像との間で精細を異ならせているが、同じ射影方式であるため、汎用性が低いという課題が生じる。

請求項１に係る発明は、被写体を撮影して所定の精細度の画像データを得る撮影装置と、前記撮影装置から前記所定の精細度の画像データに係る画像の全て又は一部である広角画像のデータ及び前記広角画像の一部の領域である狭角画像のデータを取得して、前記広角画像上の前記一部の領域に前記狭角画像を合成して表示する通信端末と、を有する撮影システムであって、前記撮影装置は、前記広角画像の精細度を変更する変更手段と、前記狭角画像を前記広角画像とは異なる精細度で射影方式変換する射影方式変換手段と、前記通信端末から、前記広角画像内の前記一部の領域である合成領域を特定するための指示を示す指示データを受信する受信手段と、前記指示データで示される合成領域の画角が、前記通信端末に送信する画像サイズ毎の画角閾値未満である場合には、当該画角閾値の合成領域が閲覧されるように前記指示データに対して制限を掛ける指示データ制限手段と、を有することを特徴とする撮影システムである。

以上説明したように本発明によれば、通信量を減らすだけでなく、射影方式の汎用性を高めることができるという効果を奏する。

（ａ）は全天球撮影装置の右側面図であり、（ｂ）は全天球撮影装置の背面図であり、（ｃ）は全天球撮影装置の平面図であり、（ｄ）は全天球撮影装置の底面図である。 全天球撮影装置の使用イメージ図である。 （ａ）は全天球撮影装置で撮影された半球画像（前）、（ｂ）は全天球撮影装置で撮影された半球画像（後）、（ｃ）は正距円筒図法により表された画像を示した図である。 （ａ）は正距円筒射影画像で球を被う状態を示した概念図、（ｂ）は全天球画像を示した図である。 全天球画像を３次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。 （ａ）は図５の立体斜視図、（ｂ）は通信端末のディスプレイに所定領域の画像が表示されている状態を示す図である。 部分画像パラメータの概略を説明する図である。 第１の実施形態に係る撮影システムの構成の概略図である。 全天球撮影装置１のハードウェア構成図である。 スマートフォン５のハードウェア構成図である。 第１の実施形態に係る全天球撮影装置の機能ブロック図である。 第１の実施形態に係るスマートフォンの機能ブロック図である。 第１の実施形態に係る全天球撮影装置１が行う画像処理の過程における画像の概念図である。 部分画像パラメータを説明する図である。 全天球撮影装置１からスマートフォン５に送信される画像データの概念図である。 第１の実施形態に係るスマートフォン５が行う画像処理の過程における画像の概念図である。 部分平面から部分立体球の作成を説明する図である。 本実施形態の部分立体球作成を行わずに、全天球画像に部分画像を重畳した場合の二次元の概念図である。 本実施形態の部分立体球作成を行って、全天球画像に部分画像を重畳した場合の二次元の概念図である。 （ａ）重畳表示しない場合のワイド画像の表示例、（ｂ）重畳表示しない場合のテレ画像の表示例、（ｃ）重畳表示する場合のワイド画像の表示例、（ｄ）重畳表示する場合のテレ画像の表示例を示した概念図である。 第２の実施形態に係る撮影システムの構成の概略図である。 第２の実施形態に係る全天球撮影装置１ａの機能ブロック図である。 第２の実施形態に係るスマートフォン５ａ，５ｂの機能ブロック図である。 第２の実施形態に係るスマートフォン５ｃの機能ブロック図である。 （ａ）指示データ制限テーブルの概念図、（ｂ）正距円筒射影画像の概略図である。 （ａ）指示データに制限を掛けない場合における全天球撮影装置からスマートフォンに送信される画像データの概念図、（ｂ）指示データに制限を掛ける場合における全天球撮影装置からスマートフォンに送信される画像データの概念図である。 第２の実施形態に係る全天球撮影装置１ａが行う画像処理の過程における画像の概念図である。 （ａ）は制限をかけない場合の部分画像Ｐ１１の表示例、（ｂ）は制限をかけない場合の全体画像における部分画像Ｐ１１以外の領域の表示例、（ｃ）は制限をかけた場合の部分画像Ｐ２１の表示例及び送信された部分画像Ｐ２２の概念図、（ｄ）は制限をかけた場合の部分画像Ｐ２２における部分画像Ｐ２１以外の領域の表示例である。

以下、図面を用いて、本発明の実施形態について説明する。

〔実施形態の概要〕
以下、本実施形態の概要について説明する。

図１乃至図６を用いて、全天球画像の生成方法について説明する。

まず、図１を用いて、全天球撮影装置の外観を説明する。全天球撮影装置は、全天球（３６０°）パノラマ画像の元になる撮影画像を得るためのデジタルカメラである。なお、図１（ａ）は全天球撮影装置の右側面図であり、図１（ｂ）は全天球撮影装置の正面図であり、図１（ｃ）は全天球撮影装置の平面図であり、図１（ｄ）は全天球撮影装置の底面図である。

図１（ａ），図１（ｂ），図１（ｃ），図１（ｄ）に示されているように、全天球撮影装置の上部には、正面側（前側）に魚眼型のレンズ１０２ａ及び背面側（後側）に魚眼型のレンズ１０２ｂが設けられている全天球撮影装置の内部には、後述の撮像素子（画像センサ）１０３ａ，１０３ｂが設けられており、それぞれレンズ１０２ａ、１０２ｂを介して被写体や風景を撮影することで、半球画像（画角１８０°以上）を得ることができる。全天球撮影装置の正面側と反対側の面には、シャッターボタン１１５ａが設けられている。また、全天球撮影装置の側面には、電源ボタン１１５ｂ、Wi-Fi(Wireless Fidelity)ボタン１１５ｃ、及び撮影モード切替ボタン１１５ｄが設けられている。シャッターボタン１１５ａ、電源ボタン１１５ｂ、及びWi-Fiボタン１１５ｃは、いずれも押下される度に、オンとオフが切り替えられる。また、撮影モード切替ボタン１１５ｄは、押下される度に、静止画の撮影モード、動画の撮影モード及び動画配信モードが切り替えられる。なお、シャッターボタン１１５ａ、電源ボタン１１５ｂ、Wi-Fiボタン１１５ｃ、及び撮影モード切替ボタン１１５ｄは、操作部１１５の一種であり、操作部１１５は、これらのボタンに限られない。

また、全天球撮影装置の底部１５０の中央には、カメラ用三脚に全天球撮影装置を取り付けるための三脚ねじ穴１５１が設けられている。また、底部１５０の左端側には、Micro USB(Universal Serial Bus)端子１５２が設けられている。底部１５０の右端側には、HDMI(High-Definition Multimedia Interface)端子が設けられている。なお、HDMIは登録商標である。

次に、図２を用いて、全天球撮影装置の使用状況を説明する。なお、図２は、全天球撮影装置の使用イメージ図である。全天球撮影装置は、図２に示されているように、例えば、利用者が手に持って利用者の周りの被写体を撮影するために用いられる。この場合、図１に示されている撮像素子１０３ａ及び撮像素子１０３ｂによって、それぞれ利用者の周りの被写体が撮像されることで、２つの半球画像を得ることができる。

次に、図３及び図４を用いて、全天球撮影装置で撮影された画像から正距円筒射影画像ＥＣ及び全天球画像ＣＥが作成されるまでの処理の概略を説明する。なお、図３（ａ）は全天球撮影装置で撮影された半球画像（前側）、図３（ｂ）は全天球撮影装置で撮影された半球画像（後側）、図３（ｃ）は正距円筒図法により表された画像（以下、「正距円筒射影画像」という）を示した図である。図４（ａ）は正距円筒射影画像で球を被う状態を示した概念図、図４（ｂ）は全天球画像を示した図である。

図３（ａ）に示されているように、撮像素子１０３ａによって得られた画像は、後述の魚眼レンズ１０２ａによって湾曲した半球画像（前側）となる。また、図３（ｂ）に示されているように、撮像素子１０３ｂによって得られた画像は、後述の魚眼レンズ１０２ｂによって湾曲した半球画像（後側）となる。そして、半球画像（前側）と、１８０度反転された半球画像（後側）とは、全天球撮影装置によって合成され、図３（ｃ）に示されているように、正距円筒射影画像ＥＣが作成される。

そして、OpenGL ES（Open Graphics Library for Embedded Systems）が利用されることで、図４（ａ）に示されているように、正距円筒射影画像が球面を覆うように貼り付けられ、図４（ｂ）に示されているような全天球画像ＣＥが作成される。このように、全天球画像ＣＥは、正距円筒射影画像ＥＣが球の中心を向いた画像として表される。なお、OpenGL ESは、２Ｄ(2-Dimensions)および３Ｄ(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球画像ＣＥは、静止画であっても動画であってもよい。

以上のように、全天球画像ＣＥは、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、全天球画像ＣＥの一部の所定領域（以下、「所定領域画像」という）を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図５及び図６を用いて説明する。

なお、図５は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラＩＣは、三次元の立体球として表示されている全天球画像ＣＥに対して、その画像を見るユーザの視点の位置に相当するものである。また、図６（ａ）は図５の立体斜視図、図６（ｂ）はディスプレイに表示された場合の所定領域画像を表す図である。また、図６（ａ）では、図４に示されている全天球画像が、三次元の立体球ＣＳで表わされている。このように生成された全天球画像ＣＥが、立体球ＣＳであるとすると、図５に示されているように、仮想カメラＩＣが全天球画像ＣＥの内部に位置している。全天球画像ＣＥにおける所定領域Ｔは、仮想カメラＩＣの撮影領域であり、全天球画像ＣＥを含む三次元の仮想空間における仮想カメラＩＣの画角を含む位置座標（ｘ(rH)，ｙ(rV)，画角α(angle)）を示す所定領域情報によって特定される。所定領域Ｔのズームは、画角αの範囲（円弧）を広げたり縮めたりすることで表現することができる。また、所定領域Ｔのズームは、仮想カメラＩＣを全天球画像ＣＥに近づいたり、遠ざけたりすることで表現することもできる。所定領域画像Ｑは、全天球画像ＣＥにおける所定領域Ｔの画像である。

そして、図６（ａ）に示されている所定領域画像Ｑは、図６（ｂ）に示されているように、所定のディスプレイに、仮想カメラＩＣの撮影領域の画像として表示される。図６（ｂ）に示されている画像は、初期設定（デフォルト）された所定領域情報によって表された所定領域画像である。なお、所定領域情報、仮想カメラＩＣの位置座標ではなく、所定領域Ｔである仮想カメラＩＣの撮影領域（Ｘ，Ｙ，Ｚ）によって示してもよい。

図７は、部分画像パラメータの概略を説明する図である。ここでは、全天球画像の一部を指定する方法について説明する。全天球画像においては部分画像の中心点ＣＰを、撮影するカメラの方向で表すことが可能である。全天球画像である全体画像の中心を全体画像正面として方位角を「aa」、仰角を「ea」とする。また、部分画像の範囲を表すために、例えば水平方向の画角αを用いて表す。また、縦横方向の範囲を表すために、画像のアスペクト比(幅ｗ÷高さｈ)で表すことが可能である。ここでは範囲を表すために水平画角とアスペクト比を用いたが、対角画角とアスペクト比などを用いてもよい。また、方位角、仰角のほか回転角も用いても良い。

●第１の実施形態
以降、本発明の第１の実施形態について説明する。

〔撮影システムの概略〕
まずは、図８を用いて、第１の実施形態に係る撮影システムの概略について説明する。図８は、第１の実施形態に係る撮影システムの構成の概略図である。

図８に示されているように、本実施形態の撮影システムは、全天球撮影装置１、及びスマートフォン５よって構成されている。利用者Ｙが、全天球撮影装置１及びスマートフォン５の両方を操作する。この場合、利用者Ｙは、スマートフォン５で表示された画像を閲覧する閲覧者でもある。

これらのうち、全天球撮影装置１は、上述のように、被写体や風景等を撮影して全天球（パノラマ）画像の元になる２つの半球画像を得るための特殊なデジタルカメラである。

スマートフォン５は、Wi-Fi、Bluetooth（登録商標）、NFC（Near Field Communication）等の近距離無線通信技術を利用して、全天球撮影装置１と無線通信を行なうことができる。また、スマートフォン５では、自装置に設けられた後述のディスプレイ５１７に、全天球撮影装置１から取得した画像を表示することができる。

なお、スマートフォン５は、近距離無線通信技術を利用せずに、有線ケーブルによって全天球撮影装置１と通信を行なうようにしてもよい。

〔実施形態のハードウェア構成〕
次に、図９及び図１０を用いて、本実施形態の全天球撮影装置１、及びスマートフォン５のハードウェア構成を詳細に説明する。

＜全天球撮影装置１のハードウェア構成＞
まず、図９を用いて、全天球撮影装置１のハードウェア構成を説明する。図９は、全天球撮影装置１のハードウェア構成図である。以下では、全天球撮影装置１は、２つの撮像素子を使用した全天球（全方位）全天球撮影装置とするが、撮像素子は２つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位の撮像ユニットを取り付けることで、実質的に全天球撮影装置１と同じ機能を有するようにしてもよい。

図９に示されているように、全天球撮影装置１は、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８、音処理ユニット１０９、ＣＰＵ(Central Processing Unit)１１１、ＲＯＭ(Read Only Memory)１１２、ＳＲＡＭ(Static Random Access Memory)１１３、ＤＲＡＭ(Dynamic Random Access Memory)１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、アンテナ１１７ａ、電子コンパス１１８、ジャイロセンサ１１９、加速度センサ１２０、及び端子１２１によって構成されている。

このうち、撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）１０２ａ，１０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子１０３ａ，１０３ｂを備えている。撮像素子１０３ａ，１０３ｂは、魚眼レンズ１０２ａ，１０２ｂによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。

撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、各々、画像処理ユニット１０４とパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、撮像制御ユニット１０５とは、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット１０４、撮像制御ユニット１０５及び音処理ユニット１０９は、バス１１０を介してＣＰＵ１１１と接続される。さらに、バス１１０には、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及び電子コンパス１１８なども接続される。

画像処理ユニット１０４は、撮像素子１０３ａ，１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図３（ｃ）に示されているような正距円筒射影画像のデータを作成する。

撮像制御ユニット１０５は、一般に撮像制御ユニット１０５をマスタデバイス、撮像素子１０３ａ，１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。また、撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。

また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ，１０３ｂに画像データの出力を指示する。全天球撮影装置１によっては、ディスプレイ（例えば、スマートフォン５のディスプレイ５１７）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子１０３ａ，１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／秒）によって連続して行われる。

また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ，１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、全天球撮影装置１にはディスプレイが設けられていないが、表示部を設けてもよい。

マイク１０８は、音を音（信号）データに変換する。音処理ユニット１０９は、マイク１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。

ＣＰＵ１１１は、全天球撮影装置１の全体の動作を制御すると共に必要な処理を実行する。なお、ＣＰＵ１１１は、単一でも複数でもよい。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している。ＳＲＡＭ１１３及びＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ１１４は、画像処理ユニット１０４での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。

操作部１１５は、シャッターボタン１１５ａなどの操作ボタンの総称である。ユーザは操作部１１５を操作することで、種々の撮影モードや撮影条件などを入力する。

ネットワークＩ／Ｆ１１６は、ＳＤカード等の外付けのメディアやパーソナルコンピュータなどとのインターフェース回路（ＵＳＢＩ／Ｆ等）の総称である。また、ネットワークＩ／Ｆ１１６としては、無線、有線を問わない。ＤＲＡＭ１１４に記憶された正距円筒射影画像のデータは、このネットワークＩ／Ｆ１１６を介して外付けのメディアに記録されたり、必要に応じてネットワークＩ／Ｆ１１６を介してスマートフォン５等の外部端末（装置）に送信されたりする。

通信部１１７は、全天球撮影装置１に設けられたアンテナ１１７ａを介して、Wi-Fi、NFC、Bluetooth等の近距離無線通信技術によって、スマートフォン５等の外部端末（装置）と通信を行う。この通信部１１７によっても、正距円筒射影画像のデータをスマートフォン５等の外部端末（装置）に送信することができる。

電子コンパス１１８は、地球の磁気から全天球撮影装置１の方位を算出し、方位情報を出力する。この方位情報はExifに沿った関連情報（メタデータ）の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時、及び画像データのデータ容量の各データも含まれている。

ジャイロセンサ１１９は、全天球撮影装置１の移動に伴う角度の変化（Roll角、Pitch角、Yaw角）を検出するセンサである。角度の変化はExifに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。

加速度センサ１２０は、３軸方向の加速度を検出するセンサである。全天球撮影装置１は、加速度センサ１２０が検出した加速度に基づいて、自装置（全天球撮影装置１）の姿勢（重力方向に対する角度）を算出する。全天球撮影装置１に、ジャイロセンサ１１９と加速度センサ１２０の両方が設けられることによって、画像補正の精度が向上する。

端子１２１は、Micro USB用の凹状の端子である。

＜スマートフォン５のハードウェア構成＞
次に、図１０を用いて、スマートフォン５のハードウェアについて説明する。図１０は、スマートフォン５のハードウェア構成図である。図１０に示されているように、スマートフォン５は、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＥＥＰＲＯＭ５０４、ＣＭＯＳセンサ５０５、撮像素子Ｉ／Ｆ５１３ａ、加速度・方位センサ５０６、メディアＩ／Ｆ５０８、ＧＰＳ受信部５０９を備えている。

これらのうち、ＣＰＵ５０１は、スマートフォン５全体の動作を制御する。なお、ＣＰＵ５０１は、単一でも複数でもよい。ＲＯＭ５０２は、ＣＰＵ５０１やＩＰＬ(Initial Program Loader)等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＥＥＰＲＯＭ５０４は、ＣＰＵ５０１の制御にしたがって、スマートフォン用プログラム等の各種データの読み出し又は書き込みを行う。ＣＭＯＳセンサ５０５は、ＣＰＵ５０１の制御に従って被写体（主に自画像）を撮像し画像データを得る。撮像素子Ｉ／Ｆ５１３ａは、ＣＭＯＳセンサ５１２の駆動を制御する回路である。加速度・方位センサ５０６は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアＩ／Ｆ５０８は、フラッシュメモリ等の記録メディア５０７に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＳ受信部５０９は、ＧＰＳ衛星からＧＰＳ信号を受信する。

また、スマートフォン５は、遠距離通信回路５１１、アンテナ５１１ａ、ＣＭＯＳセンサ５１２、撮像素子Ｉ／Ｆ５１３ｂ、マイク５１４、スピーカ５１５、音入出力Ｉ／Ｆ５１６、ディスプレイ５１７、外部機器接続Ｉ／Ｆ５１８、近距離通信回路５１９、近距離通信回路５１９のアンテナ５１９ａ、及びタッチパネル５２１を備えている。

これらのうち、遠距離通信回路５１１は、インターネット等の通信ネットワークを介して、他の機器と通信する回路である。ＣＭＯＳセンサ５１２は、ＣＰＵ５０１の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ５１３ｂは、ＣＭＯＳセンサ５１２の駆動を制御する回路である。マイク５１４は、音声を入力する内蔵型の集音手段の一種である。音入出力Ｉ／Ｆ５１６は、ＣＰＵ５０１の制御に従ってマイク５１４及びスピーカ５１５との間で音信号の入出力を処理する回路である。ディスプレイ５１７は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬなどの表示手段の一種である。外部機器接続Ｉ／Ｆ５１８は、各種の外部機器を接続するためのインターフェースである。近距離通信回路５１９は、Wi-Fi、NFC、Bluetooth等の通信回路である。タッチパネル５２１は、利用者がディスプレイ５１７を押下することで、スマートフォン５を操作する入力手段の一種である。

また、スマートフォン５は、バスライン５１０を備えている。バスライン５１０は、ＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

〔実施形態の機能構成〕
次に、図１１乃至図１２を用いて、本実施形態の機能構成について説明する。図１１は、第１の実施形態に係る全天球撮影装置１の機能ブロック図である。図１２は、第１の実施形態に係るスマートフォン５の機能ブロック図である。

＜全天球撮影装置１の機能構成＞
全天球撮影装置１は、送受信部１１、部分画像パラメータ作成部１２、撮影制御部１３、撮像部１４ａ，１４ｂ、画像処理部１５、一時記憶部１６、低精細変更部１７、射影方式変更部１８、及び符号化部１９を有している。これら各部は、図９に示されている各構成要素のいずれかが、ＳＲＡＭ１１３からＤＲＡＭ１１４上に展開された全天球撮影装置用のプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能又は手段である。

送受信部１１は、全天球撮影装置１の外部に対してデータを送信したり、外部からデータを受信したりする。例えば、送受信部１１は、スマートフォン５の送受信部５１から指示データを受信したり、スマートフォン５の送受信部５１に対して画像データを送信したりする。また、送受信部１１は、スマートフォン５の送受信部５１に対して、画像データと部分画像パラメータをまとめて送信する。

部分画像パラメータ作成部１２は、スマートフォン５から送受信部１１を介して送られて来た指示データに基づいて部分画像パラメータを作成する。この「指示データ」は、スマートフォン５の受付部５２で利用者の操作によって受け付けられ、全天球撮影装置１において後述の全体画像内の一部の領域である切出領域ＣＡを特定するための指示を示すデータである。また、「部分画像パラメータ」は、スマートフォン５において全体画像に対する後述の重畳領域を特定するためのパラメータである。

撮影制御部１３は、撮像部１４ａ，１４ｂの画像データの出力タイミングの同期をとる指示を出力する。

撮像部１４ａ，１４ｂは、それぞれ、撮影制御部１３からの指示に従って被写体等を撮像し、例えば、図３（ａ），（ｂ）に示されているように、全天球画像データの元になる半球画像データを出力する。

画像処理部１５は、撮影部１４ａ，１４ｂで得られた２つの半球画像データを正距円筒射影方式の画像である正距円筒射影画像のデータに合成変換（つなぎ合わせ）する。

一時記憶部１６は、画像処理部１５で合成変換された正距円筒射影画像のデータを一時的に記憶するバッファの役割を果たす。なお、この状態の正距円筒射影画像は合成変換しているが撮影部１４a、１４ｂで得られた画像のため比較的高精細である。

低精細変更部１７は、送受信部１１で受信されたスマートフォン５からの指示データに従って、正距円筒射影画像を画像の縮小等により、高精細画像から低精細画像に変更する。これにより、低精細な正距円筒射影画像（全体画像）が生成される。

射影方式変換部１８は、送受信部１１で受信した指示データに従って、即ち、全体画像の一部分の画像である部分画像の方向、画角及びアスペクト比、並びにスマートフォン５へ送信する際の送信用の画像サイズ（図１５参照）に合わせて、正距円筒射影方式を透視射影方式に射影方式変換する。これにより、高精細な状態のままで部分画像が生成される。図１５では、全体画像のアスペクト比として横縦比は１６：９、部分画像のアスペクト比として横縦比は１６：９である。そのため、送信用画像全体の横縦比は１６：１８となる。
このように、低精細変更部１７から出力される全体画像データは、射影方式変換部１８から出力される部分画像データよりも精細度（又は解像度）が低い。即ち、射影方式変換部１８から出力される部分画像データは、低精細変更部１７から出力される全体画像データよりも精細度（解像度）が高い。

符号化部１９は、全体画像及び部分画像の各データを符号化し、一時記憶する。この際に、図１５に示したようじ全体画像と部分画像とを関連づける。

ここで、高精細の画像として、例えば、２Ｋ、４Ｋ、８Ｋのいずれかの正距円筒射影画像が出力される場合について説明する。これらの高精細の正距円筒射影画像のデータに基づき、射影方式変換部１８から出力される部分画像データは、正距円筒射影画像の解像度（２Ｋ、４Ｋ、８Ｋのいずれか）のままでで、所定の射影方式に変換されたデータである。一方、低精細変換部１７から出力される全体画像データは、１Ｋ、２Ｋ、４Ｋなど、正距円筒射影画像よりも低精細（低解像度）のデータである。このように、低精細とは、当初の画像データよりも解像度が低い、また、相対的に比較した時に解像度が低いことを意味する。なお、低精細変更部１７は、変更手段の一例である。

＜スマートフォン５の機能構成＞
スマートフォン５は、送受信部５１、受付部５２、復号化部５３、重畳領域作成部５４、画像作成部５５、画像重畳部５６、射影方式変換部５７、及び表示制御部５８を有している。これら各部は、図１０に示されている各構成要素のいずれかが、ＥＥＰＲＯＭ５０４からＲＡＭ５０３上に展開されたスマートフォン用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。

（スマートフォン５の各機能構成）
次に、図１２を用いて、スマートフォン５の各機能構成について更に詳細に説明する。

送受信部５１は、スマートフォン５の外部に対してデータを送信したり、外部からデータを受信したりする。例えば、送受信部５１は、全天球撮影装置１の送受信部１１から画像データを受信したり、全天球撮影装置１の送受信部１１に対して指示データを送信したりする。また、送受信部５１は、全天球撮影装置１の送受信部１１から送られて来た画像データ（全体画像データ及び部分画像データ）と部分画像パラメータとを分離する。

受付部５２は、利用者から、部分画像の方向、画角及びアスペクト、並びにスマートフォン５で受信する画像データのサイズの指定操作を受け付ける。

復号化部５３は、符号化部１９で符号化された全体画像及び部分画像の各データを復号化する。

重畳領域作成部５４は、部分画像パラメータにより指定された重畳領域を作成する。この重畳領域は、全天球画像ＣＥ上における重畳画像Ｓ及びマスク画像Ｍの重畳位置及び重畳範囲を示している。

画像作成部５５は、重畳領域に従って、重畳画像Ｓ及びマスク画像を作成し、低精細な全体画像から全天球画像ＣＥを作成する。

画像重畳部５６は、全天球画像ＣＥ上の重畳領域に対して、重畳画像Ｓ及びマスク画像Ｍを重畳することで、最終的な全天球画像ＣＥを作成する。

射影方式変換部５７は、受付部５２で受けられた利用者の指示に従って、最終的な全天球画像ＣＥを透視射影方式の画像に変換する。

表示制御部５８は、透視射影方式に変換後の画像をディスプレイ５１７等に表示させる制御を行う。

〔実施形態の処理又は動作〕
続いて、図１３乃至図２０を用いて、本実施形態の処理又は動作について説明する。

＜全天球撮影装置１の処理又は動作＞
まず、図１３を用いて、全天球撮影装置１の処理について説明する。図１３は、第１の実施形態に係る全天球撮影装置１が行う画像処理の過程における画像の概念図である。

画像処理部１５は、撮影部１４ａ，１４ｂで得られた２つの半球画像データを正距円筒射影方式の画像である正距円筒射影画像のデータに画像合成（つなぎ合わせ処理）する（Ｓ１２０）。この画像合成後のデータは、一旦、高精細画像の状態のままで一時記憶部１６に記憶される。

次に、部分画像パラメータ作成部１２は、スマートフォン５から送られて来た指示データに基づいて部分画像パラメータを作成する（Ｓ１３０）。

次に、低精細変更部１７は、送受信部１１で受信されたスマートフォン５からの指示データに従って、高精細画像から低精細画像に変更する（Ｓ１４０）。即ち、低精細変更部１７は、スマートフォン５へ送信する画像データのサイズに合わせて正距円筒射影画像を縮小する。これにより、低精細な正距円筒射影画像（全体画像）が生成される。

更に、射影方式変更部１８は、送受信部１１で受信した指示データに従って、即ち、全体画像の一部の領域である部分画像の方向、画角及びアスペクトに従うと共に、スマートフォン５へ送信する画像データのサイズに合わせて、正距円筒射影方式を透視射影方式に射影方式変換する（Ｓ１５０）。これにより、高精細な状態のままで部分画像が生成される。その後、送受信部１１は、符号化部１９によって符号化された全体画像データと部分画像データを、スマートフォン５の送受信部５１に送信する。

ここで、図１４及び図１５を用いて、図１３に示した処理を更に詳細に説明する。図１４は、部分画像パラメータを説明する図である。

（部分画像パラメータ）
ここで、図１４を用いて、部分画像パラメータについて詳細に説明する。図１４（ａ）はＳ１２０による画像合成後の全体画像と全体画像上での部分画像の切出領域ＣＡを示す。図１４（ｂ）は部分画像パラメータの一例を示す図である。図１４（ｃ）はＳ１５０により射影方式が変換された後の部分画像を示す。

図７で説明した方位角(aa)は図１４（ａ）で示す正距方位図法では横方向（緯度λ）となり、図７で説明した仰角(ea)は正距円筒射影方式では縦方向(経度φ)となる。部分画像パラメータは、正距円筒射影画像において部分画像の領域を特定するためのパラメータである。具体的には、部分画像パラメータは、図１４（ｂ）に示されているように、中心点としての注視点ＣＰ(aa,ea)、画角α及び横(ｗ)と縦(ｈ)のアスペクト比を示す情報によって示されている。図１４（ｃ）は図１４（ａ）の正距円筒図法上の枠で囲まれた部分を部分画像パラメータで切出した部分画像の例である。

ここで、射影方式の変換について説明する。図４（ａ）に示すように、正距円筒射影画像によって立体球を被うことで、全天球画像を作成している。よって、正距円筒射影画像の各画素データは、３次元の全天球画像の立体球の表面における各画素データに対応させることができる。そこで、射影方式変換部による変換式は、正距円筒射影画像における座標を(緯度，経度)＝（ｅ，ａ）と表現し、３次元の立体球上の座標を直行座標（ｘ，ｙ，ｚ）で表わすと、以下の（式１）で表わすことができる。
(x, y, z) = (cos(e) × cos(a), cos(e) × sin(a), sin(e)) ・・・(式１)
但し、このときの立体球の半径は１とする。

一方で、透視射影画像である部分画像は２次元画像であるが、これを２次元の極座標（動径，偏角）＝（ｒ，ａ）で表現すると、動径ｒは対角画角に対応し、取り得る範囲は0 ≦ r ≦ tan(対角画角/2)となる。また、部分画像を２次元の直交座標系（ｕ，ｖ）で表わすと、極座標（動径，偏角）＝（ｒ，ａ）との変換関係は、以下の（式２）で表わすことができる。
u = r × cos(a), v = r × sin(a) ・・・(式２)
次に、この（式１）を３次元の座標（動径，極角，方位角）に対応させることを考える。今、立体球ＣＳの表面のみを考えているため、３次元極座標における動径は「１」である。また、立体球ＣＳの表面に張り付けた正距円筒射影画像を透視射影変換する射影は、立体球の中心に仮想カメラがあると考えると、上述の２次元極座標（動径，偏角）＝（ｒ，ａ）を使うと、以下の（式３）、（式４）で表わすことができる。
r = tan(極角) ・・・（式３）
a = 方位角 ・・・（式４）
ここで極角をtとすると、t = arctan(r)となるため、３次元極座標（動径、極角、方位角)は、(動径、極角、方位角)＝(1, arctan(r), a)と表現することができる。

また３次元極座標から、直行座標系（ｘ，ｙ，ｚ）へ変換するための変換式は、以下の（式５）で表わすことができる。
(x, y, z) = (sin(t) × cos(a), sin(t) × sin(a), cos(t)) ・・・（式５）
上記の（式５）により、正距円筒射影方式による全体画像と、透視射影方式による部分画像の相互変換ができるようになった。即ち、作成すべき部分画像の対角画角に対応する動径rを用いることで、部分画像の各画素が、正距円筒射影画像のどの座標に対応するかを表す変換マップ座標を算出でき、この変換マップ座標に基づいて、正距円筒射影画像から、透視射影画像である部分画像作成することができる。

ところで、上記射影方式の変換は、正距円筒射影画像の（緯度，経度）が（９０°，０°)となる位置が、透視射影画像である部分画像の中心点となるような変換を示している。そこで、正距円筒射影画像の任意の点を注視点として透視射影変換をする場合は、正距円筒射影画像を貼り付けた立体球を回転させることで、注視点の座標(緯度、経度)が（９０°,０°）の位置に配置されるような座標回転を行えば良い。

この立体球の回転に関する変換公式は、一般の座標回転公式であるため、説明を省略する。

（送信される画像データ）
次に、図１５を用いて、全天球撮影装置１からスマートフォン５に送信される画像データについて詳細に説明する。図１５は、全天球撮影装置１からスマートフォン５に送信される画像データの概念図である。図１５に示しているように、送信用の所定の画像サイズに合わせて、一枚の画像の上部に全体画像で下部に部分画像が配置するように関連付けられている。このように関連付けられた画像は必要に応じて、送信前にＳＲＡＭ１１３や、ＤＲＡＭ１１４等に記憶される。本実施形態では、一般的はＨＤ等のアスペクトである１６：９に合わせて配置されるがアスペクトは問わない。また、配置も上下に限らず左右でもよい。部分画像が複数あった場合は、例えば上半分に全体画像、下半分に部分画像の個数分だけ分割して配置してもよい。全体画像と部分画像を１つにまとめることにより、画像間の同期を保障することができる。また、スマートフォン５で重畳させて表示できるのであれば、全天球撮影装置１は、スマートフォン５に対して、全体画像データ及び部分画像データを別々に送信してもよい。

＜スマートフォン５の処理又は動作＞
続いて、図１６を用いて、スマートフォン５の処理について説明する。図１６は、第１の実施形態に係るスマートフォン５が行う画像処理の過程における画像の概念図である。図１２に示された重畳領域作成部５４は、図１６で示されているように部分画像パラメータで指示された部分立体球ＰＳを作成する（Ｓ３２０）。

次に、画像作成部５５は、部分立体球ＰＳに対して、透視射影方式である部分画像を重畳することで、重畳画像Ｓを作成する（Ｓ３３０）。また、画像作成部５５は、部分立体球ＰＳに基づいて、マスク画像Ｍを作成する（Ｓ３４０）。更に、画像作成部５５は、立体球ＣＳに対して正距円筒射影方式である全体画像を貼り付けることで全天球画像ＣＥを作成する（Ｓ３５０）。そして、画像重畳部５６は、全天球画像ＣＥに対して重畳Ｓ及びマスク画像Ｍを重畳する（Ｓ３６０）。これにより、境目が目立たないように高精細の重畳画像Ｓが重畳された低精細の全天球画像ＣＥが完成する。

次に、射影方式変換部５７は、閲覧者の指定に従った仮想カメラの視線方向と画角に基づいて、重畳画像Ｓが重畳された状態の全天球画像ＣＥにおける所定領域をディスプレイ５１７で閲覧できるように射影変換を行う（Ｓ３７０）。これにより、表示制御部５８は、ディスプレイ５１７に全天球画像ＣＥにおける所定領域である所定領域画像Ｑを表示させる（Ｓ３８０）。

図１７は、部分平面から部分立体球の作成を説明する図である。通常、透視射影方式では平面に射影するため、図１７（ａ）で示すように３次元空間上に平面で表すことが多い。本実施形態では、図１７（ｂ）のように全天球画像に合わせて球の一部である部分立体球とする。ここでは、平面から部分立体球への変換について説明する。

図１７（ａ）で示すように適切な大きさ(画角)で配置された平面上の各点（Ｘ，Ｙ，Ｚ）を球面上への射影を考える。球面への射影は球の原点から各点（Ｘ，Ｙ，Ｚ）を通る直線と球面との交点となる。球面上の各点は原点からの距離が球の半径と等しい点である。よって球の半径を１とすると図１７（ｂ）で示される球面上の点（Ｘ’，Ｙ’，Ｚ’）は下記の（式６）で表される。

（Ｘ’，Ｙ’，Ｚ’）＝(Ｘ，Ｙ，Ｚ)×１／√（Ｘ^２＋Ｙ^２＋Ｚ^２）・・・（式６）
図１８は、本実施形態の部分立体球の作成を行わずに、全天球画像に部分画像を重畳した場合の二次元の概念図である。図１９は、本実施形態の部分立体球の作成を行って、全天球画像に部分画像を重畳した場合の二次元の概念図である。

図１８（ａ）に示されているように、仮想カメラＩＣが立体球ＣＳの中心点に位置している場合を基準にすると、被写体Ｐ１は、全天球画像ＣＥ上で像Ｐ２として表され、重畳画像Ｓ上で像Ｐ３として表されている。図１８（ａ）に示されているように、像Ｐ２及び像Ｐ３は、仮想カメラＩＣと被写体Ｐ１とを結ぶ直線上に位置しているため、全天球画像ＣＥに重畳画像Ｓが重畳された状態で表示されても、全天球画像ＣＥと重畳画像Ｓにズレが生じない。しかし、図１８（ｂ）に示されているように、仮想カメラＩＣが立体球ＣＳの中心点から離れると、仮想カメラＩＣと被写体Ｐ１とを結ぶ直線上に、像Ｐ２は位置しているが、像Ｐ３はやや内側に位置している。このため、仮想カメラＩＣと被写体Ｐ１とを結ぶ直線上における重畳画像Ｓ上の像を像Ｐ３’とすると、全天球画像ＣＥと重畳画像Ｓに、像Ｐ３と像Ｐ３’との間のズレ量ｇ分のズレが生じてしまう。これにより、全天球画像ＣＥに対して重畳画像Ｓがズレて表示されてしまう。このように、重畳した表示であっても良い。

これに対して、さらに、本実施形態では、部分立体球の作成を行っているため、図１９（ａ）、（ｂ）に示されているように、重畳画像Ｓを全天球画像ＣＥに沿って重畳することができる。これにより、図１９（ａ）に示されているように、仮想カメラＩＣが立体球ＣＳの中心点に位置する場合だけでなく、図１９（ｂ）に示されているように、仮想カメラが立体球ＣＳの中心点から離れた場合であっても、像Ｐ２及び像Ｐ３は、仮想カメラＩＣと被写体Ｐ１とを結ぶ直線上に位置することになる。よって、全天球画像ＣＥに重畳画像Ｓが重畳された状態で表示されても、全天球画像ＣＥと重畳画像Ｓにズレが生じない。

図２０（ａ）は重畳表示しない場合のワイド画像の表示例、図２０（ｂ）は重畳表示しない場合のテレ画像の表示例、図２０（ｃ）は重畳表示する場合のワイド画像の表示例、図２０（ｄ）は重畳表示する場合のテレ画像の表示例を示した概念図である。なお、図中の波線は、説明の便宜上表しただけであり、実際にディスプレイ５１７上には表示されてもよく、表示されなくてもよい。

図２０（ａ）に示されているように、全天球画像ＣＥに対して部分画像Ｐを重畳して表示しない場合、図２０（ａ）における波線で示される領域まで拡大表示すると、図２０（ｂ）に示されているように、低精細の画像のままとなっており、利用者は鮮明でない画像を見ることになってしまう。これに対して、図２０（ｃ）に示されているように、全天球画像ＣＥに対して部分画像Ｐを重畳して表示する場合、図２０（ｃ）における波線で示される領域まで拡大表示すると、図２０（ｄ）に示されているように、高精細の画像が表示され、利用者は鮮明な画像を見ることができる。特に、波線で示されている領域に、文字が描かれた看板等が表示されている場合、高精細な部分画像Ｐを重畳表示しなければ、拡大表示させても文字がぼやけてしまい、何が書かれてあるのか分からない。しかし、高精細な部分画像Ｐを重畳表示すれば、拡大表示させても文字が鮮明に見えるため、利用者は何が書かれているのかを把握することができる。

〔実施形態の主な効果〕
以上説明したように本実施形態によれば、全天球撮影装置１は、高精細の全天球画像から低精細の全体画像を作成し（Ｓ１４０）、同じ高精細の全天球画像から射影方式の異なる高精細の部分画像を作成する（Ｓ１５０）。そして、全天球撮影装置１が、スマートフォン５に対して、低精細の全体画像及び高精細の部分画像の各データを送信する。これに対して、スマートフォン５は、低精細の全体画像上に高精細の部分画像を重畳して（Ｓ３６０）、利用者（閲覧者）が指定する視線方向及び画角に応じて射影方式を変換する（Ｓ３７０）。このように、全天球撮影装置１は、被写体等を撮像することによって得られた高精細な全天球画像のうち、注目されている領域である部分画像については高精細のまま送信し、全天球画像の全体を把握するための全体画像については低精細に変換してから送信し、しかも、高精細の部分画像については射影方式を変換してから送信する。これにより、受信側のスマートフォン５では、従来に比べて、データ量が削減できるため、早く全体画像に部分画像を重畳した状態の全天球画像を表示させることができるという効果を奏する。

よって、本実施形態によれば、通信量を減らすべく、全天球撮影装置１が、全天球画像の全体を縮小した低精細な全体画像と、全天球画像（全体画像）内の注目する領域である高精細な部分画像のデータとを配信し、受信側のスマートフォン５で全体画像に部分画像を合成するだけでなく、低精細な全体画像と高精細な部分画像が異なる射影方式であっても、スマートフォン５で合成して表示可能であるため、射影方式に関する汎用性が高いという効果を奏する。

●第２の実施形態
以降、本発明の第２の実施形態について説明する。

〔撮影システムの概略〕
まずは、図２１を用いて、第２の実施形態に係る撮影システムの概略について説明する。図２１は、第２の実施形態に係る撮影システムの構成の概略図である。

図２１に示されているように、本実施形態の撮影システムは、全天球撮影装置１ａ、及びスマートフォン５ａ，５ｂ，５ｃよって構成されている。利用者Ａは、スマートフォン５ａを操作する。この場合、利用者Ａは、スマートフォン５ａで表示された画像を閲覧する閲覧者でもある。利用者Ｂは、スマートフォン５ｂを操作する。この場合、利用者Ｂは、スマートフォン５ｂで表示された画像を閲覧する閲覧者でもある。利用者Ｃは、スマートフォン５ｃを操作する。この場合、利用者Ｃは、スマートフォン５ｃで表示された画像を閲覧する閲覧者でもある。スマートフォン５ａ，５ｂから全天球撮影装置１ａに対して、上述の指示データを送信することができるが、スマートフォン５ｃから全天球撮影装置１ａに対して、上述の指示データを送信することはできない。

また、全天球撮影装置１ａは、第１の実施形態に係る全天球撮影装置１と同様のハードウェア構成であるが、後述の新たな機能構成が追加されている。スマートフォン５ａ，５ｂは、第１の実施形態に係るスマートフォン５と同様のハードウェア構成であるが、後述の新たな機能構成が追加されている。スマートフォン５ｃは、第１の実施形態に係るスマートフォン５と同様のハードウェア構成であるが、逆に、機能が一部削除されている。なお、図２１では、同じ機能の２台のスマートフォン５ａ，５ｂ、これらとは異なる機能の１台のスマートフォン５ｃが示されているが、あくまで一例である。よって、スマートフォン５ａと同じ機能のスマートフォンが３台以上あってもよいし、スマートフォン５ｃと同じ機能のスマートフォンが２台以上あってもよい。

また、全天球撮影装置１ａは、第１の実施形態の全天球撮影装置１（図９参照）と同様のハードウェア構成であるため、説明を省略する。また、スマートフォン５ａ,５ｂ，５ｃは、スマートフォン５（図１０参照）と同様のハードウェア構成であるため、説明を省略する。

〔実施形態の機能構成〕
次に、図２２乃至図２４を用いて、本実施形態の機能構成について説明する。図２２は、第２の実施形態に係る全天球撮影装置１ａの機能ブロック図である。図２３は、第２の実施形態に係るスマートフォン５ａ，５ｂの機能ブロック図である。図２４は、第２の実施形態に係るスマートフォン５ｃの機能ブロック図である。

＜全天球撮影装置１ａの機能構成＞
図２２に示されているように、全天球撮影装置１ａは、第１の実施形態に係る全天球撮影装置１に対して、更に、指示選択部２１及び指示データ制限部２２を有している。これら各部は、図９に示されている各構成要素のいずれかが、ＳＲＡＭ１１３からＤＲＡＭ１１４上に展開された全天球撮影装置用のプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能又は手段である。

（全天球撮影装置１ａの各機能構成）
次に、図２２を用いて、全天球撮影装置１ａの指示選択部２１及び指示データ制限部２２について更に詳細に説明する。

指示選択部２１は、スマートフォン５ａ，５ｂから送受信部１１を介して送られて来た指示データに付加されている指示権請求データに基づき、全天球撮影装置１ａが指示データを利用するか否かの選択を行う。指示権請求データは、送信元のスマートフォンからの指示データを優先して全天球撮影装置１ａに利用してもらうための請求を示すデータであり、スマートフォン５ａ，５ｂを識別するための端末ＩＤ等が含まれている。例えば、指示選択部２１は、全天球撮影装置１ａに対して、スマートフォン５ａから指示データが送られて来た直後に、スマートフォン５ｂからも指示データが送られて来た場合、全天球撮影装置１ａは、スマートフォン５ａから送られて来た指示データを利用して射影方式の変換等を行い、スマートフォン５ｂから送られて来た指示データを利用しない。その他、指示選択部２１は、所定のスマートフォンから最初に送られて来た指示データに付加されている指示権請求データの全部又は一部（例えば、端末ＩＤ）を一時的に（例えば、３０秒間）自身で保持しておき、この一時的に保持している間に、他のスマートフォンから送られて来た指示データに付加されている指示権請求データの端末ＩＤと同じであるか否かを判断し、同じでない場合には、指示データ制限部２２に対して他のスマートフォンから送られて来た指示データを利用させない等の制御を行うものである。

指示データ制限部２２は、指示データで示される部分画像の切出領域ＣＡの画角が後述の送信用画像サイズ毎の閾値（横画角閾値、縦画角閾値）未満の場合は、部分画像の切出領域ＣＡが小さくなりすぎないように、スマートフォン５ａ，５ｂ，５ｃ側で閾値の部分画像が閲覧されるように指示データに対して制限を掛ける。

なお、第２の実施形態部分画像パラメータ作成部１２は、スマートフォン５から送受信部１１を介して送られて来た指示データが指示データ制限部によって制限された後の指示データに基づいて部分画像パラメータを作成する。

（切出領域の縮小の制限）
ここで、図２５及び図２６を用いて、部分画像の切出領域ＣＡが小さくなり過ぎることを制限することに関して説明する。なお、この制限の目的や効果については事例を用いて後述する。図２５（ａ）は指示データ制限テーブルの概念図、（ｂ）は正距円筒射影画像の概略図である。指示データ制限テーブルは、ＳＲＡＭ１１３に記憶されており、指示データ制限部２２によって管理されている。

図２５（ａ）に示されているように、指示データ制限テーブルでは、設定１から設定４の複数の設定パターンが管理されている。設定パターン毎に、高精細画像の横画素数及び縦画素数、部分画像の横画素数及び縦画素数、並びに、高精細画像のサイズと送信用の画像サイズにおける部分画像サイズ（図１５下参照）毎の部分画像の切出領域ＣＡの画角の閾値（横画角閾値及び縦画角閾値）が関連付けて管理されている。なお、指示データの画角は横画角閾値及び縦画角閾値のいずれか一方であってもよい。図２５（ａ）では、４つの設定パターンが示されているが、これは一例であって、１つ以上３つ以下でも、５つ以上でもよい。また、指示データ制限テーブルを利用せず、計算式を利用してもよい。ここで、具体的に設定パターン「設定１」について説明する。

例えば、一時記憶部１６に記憶された高精細な正距円筒射影画像のデータが、図２５（ｂ）で示されているように、横３６０度、縦１８０度の２：１の画像であり、画像の横サイズが４０００画素(pix)で縦サイズが２０００画素(pix)である場合、１画素あたりの角度は０．０９度（＝３６０÷４０００）である。部分画像を透視投影方式で変換されることで得られた透視射影画像とした場合、透視射影画像内の領域により画角と画素の比は一定ではないが、目安として、例えば、部分画像の横画素が１９２０画素の場合は、１９２０×０．０９＝１７２．８度となり、送信用の画像サイズの横画角の閾値が１７２．８度として管理される。同様に、部分画像の縦画素が１０８０画素の場合は、１０８０×０．０９＝９７．２度となり、送信用の画像サイズの縦画角の閾値が９７．２度として管理される。これにより、スマートフォン５ａから全天球撮影装置１ａに対して送られた指示データによって、横画角１７２．８度より小さい部分画像の切出領域ＣＡを指定された場合であっても、指示データ２２制限部は画角を制限して１７２．８度の領域を部分画像へ変換するように留める。

更に、図２６を用いて、部分画像の切出領域ＣＡが小さくなり過ぎることを制限する処理について詳細に説明する。図２６（ａ）は指示データに制限を掛けない場合における全天球撮影装置からスマートフォンに送信される画像データの概念図、図２６（ｂ）は指示データに制限を掛ける場合における全天球撮影装置１ａからスマートフォンに送信される画像データの概念図である。

上記第１の実施形態では、図２６（ａ）に示されているように、低精細変更部１７は、指示データに基づき、全体画像を低精細に変更する際に送信用の画像サイズに合わせて縮小する。また、全体画像としての正距円筒射影画像ＥＣ１において部分画像の切出領域ＣＡが指定されている場合、射影方式変換部１８は、全体画像から部分画像Ｐ１１を抽出して射影方式を変換する際に送信用の画像サイズに合わせて拡大相当の処理を行う。

これに対して、第２の実施形態では、図２６（ｂ）に示されているように、指示データによって、全体画像としての正距円筒射影画像ＥＣ１において部分画像Ｐ２１が指定されている場合、低精細変更部１７は、第１の実施形態と同様に、全体画像を低精細に変更する際に送信用の画像サイズに合わせて縮小する。しかし、射影方式変換部１８は、送信用の画像サイズに合わせて抽出するために、送信用の画像サイズと等倍相当となる部分画像Ｐ２２を抽出して射影方式を変換する。

＜スマートフォン５ａ，５ｂの機能構成＞
図２３に示されているように、スマートフォン５ａ，５ｂは、第１の実施形態に係るスマートフォン５に対して、更に、指示権請求部５９を有している。指示権請求部５９は、図１０に示されている各構成要素のいずれかが、ＥＥＰＲＯＭ５０４からＲＡＭ５０３上に展開されたスマートフォン用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。

（スマートフォン５ａ，５ｂの各機能構成）
以下、第１の実施形態で説明していない指示権請求部５９の機能構成についてのみ説明する。

指示権請求部５９は、受付部５２が利用者からの指示を受け付けることで、優先的に全天球撮影装置１ａに指示データを利用させるための指示権（指示請求権データともいう）を発行する。この発行された指示権は、送受信部５１が全天球撮影装置１ａへ送信する指示データに付随して送信される。図２１に示されているように、複数のスマートフォン５ａ，５ｂから全天球撮影装置１ａに指示データを送信するシステムの場合、指示が競合する可能性がある。そのため、第２の実施形態では、指示権の考えが導入されている。

＜スマートフォン５ｃの機能構成＞
図２４に示されているように、スマートフォン５ｃは、図１２に示されている第１の実施形態のスマートフォン５から、受付部５２で利用者の指示を受け付けることができない点以外は同じ機能構成であるため、説明を省略する。即ち、スマートフォン５ｃは、スマートフォン５ａ，５ｂとは異なり、全天球撮影装置１ａに対して指示データを送信する機能を有していない。そのため、スマートフォン５ｃは、スマートフォン５ａ，５ｂと指示が競合する可能性はない。

〔実施形態の処理又は動作〕
続いて、図２７及び２８を用いて、第２の実施形態の処理又は動作について説明する。なお、本実施形態では、第１の実施形態と異なる処理又は動作についてのみ説明する。

＜全天球撮影装置１ａの処理又は動作＞
まずは、図２７を用いて、全天球撮影装置１ａの処理又は動作を説明する。図２７は、第２の実施形態に係る全天球撮影装置１ａが行う画像処理の過程における画像の概念図である。

図２７に示されているように、全天球撮影装置１ａの指示選択部２１は、スマートフォン５ａから第１の指示データが送られて来て、スマートフォン５ｂから第２の指示データが送られて来た場合、利用する指示データを選択する（Ｓ１１０）。この場合、指示選択部２１は、指示データに付加して送られて来た指示権請求データに基づき、利用する指示データを選択する。例えば、指示選択部２１は、送受信部１１で先に受信した指示データを優先して利用するために選択する。なお、指示権請求データは、スマートフォン５ａ，５ｂの各指示権請求部５９が発行している。

次に、指示データ制限部２２は、指示データ制限部２２は、指示データが送信用画像サイズの閾値未満の場合は、部分画像の切出領域ＣＡが小さくなりすぎることを制限して、スマートフォン５ａ，５ｂ，５ｃ側で閾値の部分画像が表示されるように指示データに対して制限を掛ける（Ｓ１１０）。

なお、これ以降は、第１の実施形態における指示データに代えて、ステップＳ１１０の処理による制限後の指示データが、ステップＳ１３０以降の処理で利用される。ここで、図２８を用いて、第１の実施形態と第２の実施形態で、スマートフォンにおける表示の違いについて説明する。図２８において、（ａ）は制限をかけない場合の部分画像Ｐ１１の表示例、（ｂ）は制限をかけない場合の全体画像における部分画像Ｐ１１以外の領域の表示例、（ｃ）は制限をかけた場合の部分画像Ｐ２１の表示例及び送信された部分画像Ｐ２２の概念図、（ｄ）は制限をかけた場合の部分画像Ｐ２２における部分画像Ｐ２１以外の領域の表示例である。なお、図２８（ａ），（ｂ）は図２６（ａ）の処理の場合の画像であり、図２８（ｃ），（ｄ）は図２６（ｂ）の処理の場合の画像である。

図２６（ａ）に示されているように、スマートフォン５において利用者Ｙによって部分画像Ｐ１１が指定されると、スマートフォン５の表示制御部５８は、全天球撮影装置１から送られて来た画像として、最初に図２８（ａ）に示されているような所定領域画像Ｑ１１を表示させる。この最初の所定領域画像Ｑ１１は、城の天守閣の中央部分が図２６（ａ）における部分画像Ｐ１１に相当する。ここで、利用者Ｙが図２８（ａ）に示されている所定領域画像における天守閣の上部を表示するための操作を行うと、表示制御部５８は、図２８（ｂ）に示されているような所定領域画像Ｑ１２を表示させる。図２８（ｂ）に示されているように、天守閣の中央部分以外は、低精細な全体画像（図２６（ａ）の正距円筒射影画像ＥＣ１に相当）の一部の拡大であるため画質が悪い。仮に、図２８（ｂ）に示されている画像を高精細で表示する場合には、スマートフォン５は全天球撮影装置１に対して、図２８（ｂ）に示されている領域を指定するための指定データを再度送信することになる。しかし、スマートフォン５が全天球撮影装置１に対して指示データを再度送信しても、遅延等により直ぐには全天球撮影装置１から更新された部分画像のデータが送られて来ないため、一時的に図２８（ｂ）に示されているような低精細な画像が表示された状態になってしまう。また、複数の利用者が各人のスマートフォンで画像を閲覧する場合、指示権を持っていない利用者が指示データで示される領域以外の領域を閲覧しようとしても、全天球撮影装置１から高精細な画像データを取得できないため、図２８（ｂ）に示されているようにスマートフォンに表示される画像は低精細になってしまう。

これに対して、図２６（ｂ）に示されているように、スマートフォン５ａにおいて利用者Ａが指示権を取得して部分画像Ｐ２１を指定すると、全天球撮影装置１ａから送られて来た画像は図２８（ｃ）の全体を示す部分画像Ｐ２２であるが、スマートフォン５ａの表示制御部５８は、図２８（ｃ）の破線内の領域の部分画像Ｐ２１を最初の所定領域画像Ｑ２１として表示させる。全天球撮影装置１ａから送られて来た画像は、天守閣の全体部分である図２６（ｂ）における部分画像Ｐ２２に該当する。また、最初の所定領域画像Ｑ２１は、天守閣の中央部分である図２６（ｂ）における部分画像Ｐ２１に該当する。

ここで、スマートフォン５ａが図２８（ｃ）に示されている所定領域画像Ｑ２１における天守閣の中央部を表示中に、利用者Ａが天守閣の上部を表示する操作を行っても、全天球撮影装置１ａから天守閣の上部の高精細な部分画像のデータが届くまでは、既に取得している図２８（ｃ）に示されている画像における天守閣の上部の領域を、図２８（ｄ）に示されているような所定領域画像Ｑ２２として表示させることで、画質が極端に悪くならない。また、利用者Ｂ，Ｃのいずれかが、自己のスマートフォン５ｂ，５ｃで図２８（ｃ）に示されている所定領域画像における天守閣の上部を表示する操作を行うと、表示制御部５８は、図２８（ｄ）に示されているような所定領域画像Ｑ２２を表示させる。図２８（ｃ）に示されているように、天守閣全体の画像が高精細な部分画像であるため、表示制御部５８が、図２８（ｄ）に示されているように天守閣の上部の画像を表示させた場合であっても画質が極端に悪くならない。

また、利用者Ｃは、指示権を取得できないスマートフォン５ｃを利用しているため、自己のスマートフォン５ｃで指定データを再度送信することができないが、既に自己のスマートフォン５ｃで受信されている部分画像の一部を拡大するだけで、高精細な画像を閲覧することができる。

〔実施形態の主な効果〕
以上説明したように本実施形態によれば、指示データが送信用画像サイズの閾値未満の場合は、指示データ制限部２２は、部分画像の切出領域ＣＡが小さくなりすぎることを制限して、スマートフォン５ａ，５ｂ，５ｃ側で閾値の部分画像が表示されるように指示データに対して制限を掛ける。これにより、第１の実施形態の効果に加え、操作権を有する利用者Ａは、指示データで示される部分画像Ｐ２１を所定領域画像Ｑ２１として閲覧中に、部分画像２２内における部分画像Ｐ２１の周辺の領域（所定領域画像Ｑ２２）を表示させる場合には、全天球撮影装置１ａから改めて高精細な部分画像のデータが送られて来る間でも、表示される所定領域画像の画質が極端に悪くならないという効果を奏する。しかも、
全天球撮影装置１ａからスマートフォン５ａに送信する部分画像のサイズを大きくして(データ量を増やして)高画質の領域を広げたのではないため、送信対象のデータ量を変えずに、かつ所定領域画像Ｑ２１の画質を落とさずに済むという効果を奏する。更に、操作権を有しない利用者Ｂ，Ｃは、全体画像内の所望の領域を閲覧中に、部分画像２２内における部分画像Ｐ２１の周辺の領域（所定領域画像Ｑ２２）を表示させる場合には、画質が極端に悪くならないという効果を奏する。これにより、利用者の閲覧性を向上させることができる。

●補足
なお、図１１に示されている全天球撮影装置１の一部分（撮像部１４ａ、撮像部１４ｂ、撮像制御部１３、及び画像処理部１５）以外の機能構成は、全天球撮影装置１内で実現せずに、別装置である画像処理サーバが実現してもよい。この場合、画像処理サーバは、全天球撮影装置１及びスマートフォン５に対してインターネット等の通信ネットワークを介してデータ通信を行う。同様に、図２２に示されている全天球撮影装置１ａの一部（撮像部１４ａ、撮像部１４ｂ、撮像制御部１３、及び画像処理部１５）以外の機能構成は、全天球撮影装置１ａ内で実現せずに、別装置である画像処理サーバが実現してもよい。この場合も、画像処理サーバは、全天球撮影装置１ａ及びスマートフォン５ａ，５ｂ，５ｃに対してインターネット等の通信ネットワークを介してデータ通信を行う。

また、全天球撮影装置１，１ａは撮影装置の一例であり、撮影装置には、通常の平面画像を得るデジタルカメラやスマートフォン等も含まれる。通常の平面画像を得るデジタルカメラやスマートフォンの場合、全天球画像を得るのではなく、比較的広角な画像（広角画像）を得ることができる。

また、スマートフォン５，５ａ，５ｂ，５ｃは、通信端末又は画像処理装置の一例であり、通信端末又は画像処理装置には、タブレット型ＰＣ（Personal Computer：パーソナルコンピュータ）、ノートＰＣ、デスクトップＰＣ等のＰＣも含まれる。また、通信端末又は画像処理装置には、スマートウォッチ、ゲーム機器、又は車両等に搭載するカーナビゲーション端末等が含まれる。

上記実施形態では、低精細画像として、撮像部１４ａ，１４ｂから得られた画像データの画像の全体領域である全体画像と、高精細画像として、全体領域の一部の領域である部分画像について説明したが、これに限るものではない。低精細画像は、撮像部１４ａ，１４ｂから得られた画像データの画像の全体領域の一部の領域Ａ１の画像であってもよい。この場合、高精細画像は、一部の領域Ａ１の更に一部の領域Ａ２の画像となる。即ち、低精細画像と高精細画像との関係は、前者が広角画像であるのに対して後者が狭角画像である。

上記実施形態では、全天球画像に平面画像を重畳する場合について説明したが、重畳は、合成の一例である。合成には、重畳の他に、貼り付け、嵌め込み、重ね合わせ等も含まれる。また、上記重畳画像は、合成画像の一例である。重畳領域は、合成領域の一例である。合成画像には、重畳画像の他に、貼り付け画像、嵌め込み画像、重ね合わせ画像等も含まれる。更に、画像重畳部５６は、画像合成部の一例である。

また、正距円筒射影画像ＥＣと平面画像Ｐは、両方とも静止画の場合、両方とも動画のフレームの場合、一方が静止画で他方が動画のフレームの場合のいずれであってもよい。

更に、上記実施形態では、射影方式変換部１８は、一時記憶部１６から取得した高精細の画像データをそのままの精細度で射影方式を変換しているが、これに限るものではない。例えば、低精細変更部１７から出力される全体画像データよりも高い精細度であれば、射影方式変換部１８は、射影方式を変換する際に一時記憶部１６から取得した画像データの精細度を低くしてもよい。

図１１及び図１２に示されている各機能構成は、ソフトウェア機能ユニットの形で実現し、且つ、独立製品として販売または使用する場合に、コンピュータ読取り可能な記憶媒体に記憶することができる。この場合に、本実施形態の技術方案は、本質的、または従来技術に貢献する部分若しくは上記技術方案の部分はソフトウェア製品の形で表現される。上記コンピュータソフトウェア製品は、記憶媒体に記憶され、コンピュータ装置(パーソナルコンピュータ、サーバ、或はネットワークデバイスなど)に上記各実施形態にかかる上記方法の全部或は一部のステップを実行させる複数の指令を含む。なお、上述の記憶媒体は、USBメモリ、リムーバブルディスク、ROM、RAM、磁気ディスク、あるいは光ディスクなど、プログラムコードを格納できる様々な媒体を含む。

また、上記実施形態にかかる方法は、プロセッサに適用され、またはプロセッサによって実現される。プロセッサは信号を処理する能力を持つ集積回路基板である。上記各実施形態の方法の各ステップはプロセッサにおけるハードウェアである集積論理回路又はソフトウェア形式の指令によって実現される。上記プロセッサは汎用プロセッサ、デジタル信号プロセッサ(DSP)、専用集積回路(ASIC)、既製プログラマブルゲートアレイ(FPGA)または他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタ論理デバイス、ディスクリートハードウェア部品であり、上記各実施形態に開示される各方法、ステップ及び論理ボックスを実現又は実行可能なものである。汎用処理器はマイクロプロセッサ又は任意の一般処理器などである。上記各実施形態にかかる方法の各ステップは、ハードウェアであるデコーダにより実行されることで実現されてもよく、または、デコーダにおけるハードウェアとソフトウェアとの組み合わせによって実現されても良い。ソフトウェアモジュールはランダムメモリ、フラッシュメモリ、読出し専用メモリ、プログラマブル読出し専用メモリ、あるいは電気的消去可能なプログラマブルメモリ、レジスタなど、本分野で成熟した記憶媒体に記憶される。このソフトウェアが記憶される記憶媒体を備えるメモリから、プロセッサは情報を読み取り、ハードウェアに合わせて上記方法のステップを実現させる。

以上に説明した実施形態は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、またはそれらの組み合わせで実現される。その中に、ハードウェアの実現に関して、処理ユニットは一つまたは複数の専用集積回路(ASIC)、デジタル信号処理プロセッサ（DSP）、デジタル信号プロセッサ(DSPD)、プログラム可能論理回路(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、汎用プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、本発明の機能を実行する他の電子ユニット或はその組合せにより実現される。また、ソフトウェアの実現に関しては、上述した機能を実現するモジュール(たとえばプロセス、関数など)により上記技術が実現される。ソフトウェアコードは、メモリに保存され、プロセッサによって実行される。なお、メモリはプロセッサの内部または外部で実現される。

１ 全天球撮影装置（撮影装置の一例）
５ スマートフォン（通信端末の一例、画像処理装置の一例）
１３ 撮像制御部
１４ａ 撮像部
１４ｂ 撮像部
１５ 画像処理部
１６ 一時記憶部
１７ 低精細変更部（変更手段の一例）
１８ 射影方式変換部（射影方式変換手段の一例）
１９ 符号化部
２１ 指示選択部
２２ 指示データ制限部
５１ 送受信部
５２ 受付部
５３ 復号化部
５４ 重畳領域作成部
５５ 画像作成部
５６ 画像重畳部
５７ 射影方式変換部
５８ 表示制御部
５９ 指示権請求部

特開２００６－３４００９１号公報

Claims (9)

1. 被写体を撮影して所定の精細度の画像データを得る撮影装置と、前記撮影装置から前記所定の精細度の画像データに係る画像の全て又は一部である広角画像のデータ及び前記広角画像の一部の領域である狭角画像のデータを取得して、前記広角画像上の前記一部の領域に前記狭角画像を合成して表示する通信端末と、を有する撮影システムであって、
   前記撮影装置は、
   前記広角画像の精細度を変更する変更手段と、
   前記狭角画像を前記広角画像とは異なる精細度で射影方式変換する射影方式変換手段と、
   前記通信端末から、前記広角画像内の前記一部の領域である合成領域を特定するための指示を示す指示データを受信する受信手段と、
   前記指示データで示される合成領域の画角が、前記通信端末に送信する画像サイズ毎の画角閾値未満である場合には、当該画角閾値の合成領域が閲覧されるように前記指示データに対して制限を掛ける指示データ制限手段と、
   を有することを特徴とする撮影システム。
2. 前記変更手段は、前記所定の精細度よりも低い精細度で、前記広角画像を変更することを特徴とする請求項１に記載の撮影システム。
3. 前記広角画像は、前記被写体を撮影した得られた前記所定の精細度の画像データに係る画像の全てである全体画像であることを特徴とする請求項１又は２に記載の撮影システム。
4. 前記射影方式変換手段は、前記所定の精細度は前記広角画像の精細度より高い精細度で前記射影方式を変換することを特徴とする請求項１乃至３のいずれか一項に記載の撮影システム。
5. 前記撮影装置は、被写体を撮影して全天球画像データを得る全天球撮影装置であることを特徴とする請求項１乃至４のいずれか一項に記載の撮影システム。
6. 前記撮影装置は、
   前記広角画像のデータ及び前記狭角画像のデータを関連づけて記憶する記憶手段を有することを特徴とする請求項１乃至５のいずれか一項に記載の撮影システム。
7. 前記撮影装置は、
   前記通信端末に対し、前記広角画像のデータ及び前記狭角画像のデータを関連づけて送信する送信手段を有することを特徴とする請求項１乃至６のいずれか一項に記載の撮影システム。
8. 前記通信端末は、スマートフォン、スマートウォッチ、ＰＣ、又はカーナビゲーション端末であることを特徴とする請求項１乃至７のいずれか一項に記載の撮影システム。
9. 被写体を撮影して所定の精細度の画像データを得る撮影装置と、前記撮影装置から前記所定の精細度の画像データに係る画像の全て又は一部である広角画像のデータ及び前記広角画像の一部の領域である狭角画像のデータを取得して、前記広角画像上の前記一部の領域に前記狭角画像を合成して表示する通信端末と、を有する撮影システムが実行する撮影方法であって、
   前記撮影装置が、
   前記広角画像の精細度を変更する変更ステップと、
   前記狭角画像を前記広角画像とは異なる精細度で射影方式変換する射影方式変換ステップと、
   前記通信端末から、前記広角画像内の前記一部の領域である合成領域を特定するための指示を示す指示データを受信する受信ステップと、
   前記指示データで示される合成領域の画角が、前記通信端末に送信する画像サイズ毎の画角閾値未満である場合には、当該画角閾値の合成領域が閲覧されるように前記指示データに対して制限を掛ける指示データ制限する指示データ制限ステップと、
   を実行することを特徴とする撮影方法。