JP6766100B2 - 表示装置、撮像装置、及びこれらの制御方法、プログラム、撮像システム - Google Patents

Description

本発明は、全方位映像を扱う表示装置、撮像装置、及びこれらの制御方法、プログラム、撮像システムに関する。

昨今、パノラマ画像や３６０°全方位を撮像する技術が注目されている。この技術に係る撮像装置は、広範囲の画角をカバーできるように、複数のセンサを配置したり、撮像装置そのものを移動させたりして、取得した複数の映像を合成して広い画角の映像を生成する。得られた映像は、例えば、無線技術などを用いて、撮像装置とは別の端末等の表示装置に転送されて表示される。転送された映像を表示装置で表示する際、広範囲の画角のままでは縮小率が高すぎて見難いことが予想される。そこで、多くの表示装置は、ユーザ視聴用の画角となるように、任意に拡大・縮小表示ができるユーザーインターフェースを備える。

上記のように、表示装置において、ユーザ視聴用の画角を撮像場所から離れた場所で視聴する際、ユーザは、表示されていない画角の露出状況を知ることができない。ここで、視聴していない画角に太陽光などの非常に眩しい光が入ったことを検出し、自動的に露出制御を変更する技術が知られている（特許文献１）。しかし、露出が自動的に制御されるので、全方位映像の全画角をユーザの望む露出状態にすることは困難である。

一方、ユーザ視聴用の画角の映像と、全体の画角を縮小表示した映像とを同時に表示する利用形態もある。この利用形態において、ユーザ視聴用の画角にぼかし等の何らかの描画エフェクトを重畳した際、その描画エフェクトを、全体の画角上にも反映させることで、ユーザが画像の編集を行いやすくする技術も知られている（特許文献２）。

特開２０１３−１９８０７０号公報 特開２０１７−８４４２２号公報

ところで、表示装置には、視聴している画角の露出をユーザが任意で変更できるものがある。このような表示装置においては、ユーザ操作に応じた露出の変更により、ユーザにとって見えない画角の露出状態が適正でなくなってしまうことがあり得る。そのため、ユーザにとっては、全画角の露出状況を把握できるのが望ましい。しかし、ユーザが、全画角を表示させて露出状況を確認しようとしても、全方位映像は縮小表示されるので、全体の露出状況を確認しづらい。このように、ユーザにとって、全方位映像の全画角の露出状況を把握するのが容易でないという問題があった。

本発明は、露出状況の把握を容易にすることを目的とする。

上記目的を達成するために本発明は、撮像装置から全方位映像を受信する受信手段と、表示部と、前記受信手段により受信された前記全方位映像を表示する際、前記全方位映像の全画角から一部の画角を切り出した第１の映像と、前記全画角の第２の映像とを、前記表示部に並行して表示させる制御手段と、露出制御操作を受け付ける受け付け手段と、前記受け付け手段により受け付けられた露出制御操作に基づいて、露出制御要求を前記撮像装置へ送信する送信手段と、を有し、前記制御手段は、前記送信手段により送信された露出制御要求が反映された全方位映像と、前記露出制御要求が反映された全方位映像において露出が不適正な箇所が存在する旨を示す通知とを前記受信手段が前記撮像装置から受信すると、前記通知に基づいて、前記露出が不適正な箇所に視覚的効果を付加して前記第２の映像を前記表示部に表示させ、前記制御手段は、前記通知を受信したことに応じて、前記全画角の中に前記露出が不適正な箇所が存在する旨を報知するためのアイコンを、前記第１の映像に重畳して表示させることを特徴とする。

本発明によれば、露出状況の把握を容易にすることができる。

撮像システムの制御ブロック図である。 比較例の撮像システムの制御ブロック図である。 カメラ側処理、表示側処理のフローチャートである。 表示部の表示例を示す図である。 マーカー中心画角の映像の例を示す図である。 マーカー中心画角の映像が表示された表示部の表示例を示す図である。 表示側処理のフローチャートである。 変形例の表示部の表示例を示す図である。

以下、図面を参照して本発明の実施の形態を説明する。

（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る撮像システムの制御ブロック図である。この撮像システムは、全方位映像（全天球映像）を撮像できるカメラ部１０００と、ユーザ操作や映像表示を行う操作・表示端末部１１００とが、通信可能に接続されて構成される。

図２は、比較例の撮像システムの制御ブロック図である。比較例（図２）において、本実施の形態の撮像システムと同じ構成要素には同じ符号が付されている。両者に共通する構成要素は、主として本実施の形態の撮像システムの説明において言及する。

比較例の撮像システムに対し、本実施の形態の撮像システムでは、非適正箇所検出部２０２０、非適正箇所通知部２０２１が追加されている。本実施の形態の撮像システムでは、さらに、非適正箇所受信部２１２０、マーカー重畳部２１２１、マーカー指定部２１２２、倍率算出部２１２３、他マーカー検出部２１２４が追加されている。なお、マーカー指定部２１２２、倍率算出部２１２３、他マーカー検出部２１２４については、後述する第２の実施の形態で用いられるため、本実施の形態で設けることは必須でない。

まず、比較例と共通する部分を含め、本実施の形態の構成及び動作について、図１を参照して説明する。カメラ部１０００には、３６０°全方位を撮像できるように複数のセンサを配置する必要があるが、図１の例では２つのセンサ（撮像手段）として撮像素子１００３、１００４が配置されている。被写体光は、シフトレンズを含むレンズ群１００１、１００２を通して、それぞれ撮像素子１００３、１００４に結像する。撮像素子１００３、１００４は、結像した被写体光学像を電気信号に光電変換する。撮像された映像はそれぞれ、ライン毎に順次、信号処理部１００５、１００６へ入力される。信号処理部１００５、１００６は、映像の補正処理及び現象処理を施すことで映像の最適化を行い、生成された映像はメモリ１００７に格納される。

測光値取得部１００８は、信号処理部１００５、１００６の出力から測光値を取得し、その測光値を評価値生成部１００９に送る。評価値生成部１００９は、送られた測光値を元に評価値を算出し、その評価値を予め定められた基準と比較することで、露出の適否を判定する。評価値の取得方法は問わず、ここではその一例を示す。評価値生成部１００９は、全方位映像の全画角をＮ×Ｍのマトリックスに分割し、分割されたそれぞれの分割画角である枠毎の光量値を取得する。それぞれの枠には、場所に応じて予め定められた重み付け（乗算係数）が割り当てられている。評価値生成部１００９は、それぞれの枠の光量値と当該枠の重みとを乗算し、全ての枠分の計算結果を加算平均することで、評価値を算出する。重み付けについては、中央付近を大きな値、被写体付近を大きな値にするなど、設計に応じて様々なパターンがあってもよい。評価値を算出するための各値及び式は以下である。
枠の数（横Ｎ個、縦Ｍ個）：Ｎ×Ｍ
ある枠（横ｎ番目、縦ｍ番目）の測光値：Ｌｎｍ
ある枠（横ｎ番目、縦ｍ番目）の重み（乗算係数）：Ｋｎｍ
ある枠（横ｎ番目、縦ｍ番目）の評価値：Ｙｎｍ＝Ｌｎｍ×Ｋｎｍ
評価値＝（Ｙ１１＋Ｙ１２＋・・・ＹＮＭ）／（Ｎ×Ｍ）
なお、この評価値算出手法はあくまで一例であり、他の算出方法を使用してもよい。

評価値生成部１００９が、適正露出でないと判定した場合、露出制御部１０１０は、適正露出となるように、ゲイン制御部１０１１やシャッタ制御部１０１２に対して動作命令を出す。その動作命令に応じて、ゲイン制御部１０１１は信号処理部１００５及び信号処理部１００６の動作を変更し、シャッタ制御部１０１２は撮像素子１００３、１００４の電子シャッタの動作を変更する。その結果、撮像素子１００３、１００４が露光した映像は適正露出となる。各々の映像は符号化処理部１０１３により合成されて出力可能な１つの映像（全方位映像）となり、ネットワーク通信部１０１４に送られる。

映像を含む各種情報は、カメラ部１０００内のネットワーク通信部１０１４と、操作・表示端末部１１００内のネットワーク通信部１１０１（送信手段、受信手段）との間で送受信される。この通信規格は問わず、無線であっても有線であってもよい。操作・表示端末部１１００で受信された映像はメモリ１１０２に格納される。

本実施の形態では、表示部１１０３での表示形態として、切り出し映像と全方位映像の双方を並行して表示する形態を想定している。なお、モード切り替え等によって、これらのいずれかのみを表示できるようにしてもよい。ここで、全方位映像については、切出し拡縮制御部１１０４が、３６０°全方位画角（全画角）を縮小した全方位縮小映像４０２（第２の映像；図４参照）として表示させる。一方、切り出し映像４０１（第１の映像；図４参照）については、切出し拡縮制御部１１０４は、全方位映像における全画角から、ユーザの要求に応じた一部の画角を切り出し、これに拡大や縮小処理を施して切り出し映像４０１として表示させる。撮影中においては、切り出し映像４０１はライブビュー映像（ＬＶ）である。

ユーザが要求する画角の切り出し映像４０１（図４参照）が表示された画面上では、ユーザは、露出制御操作を受け付ける受け付け手段としての露出操作部１１０５により、所望の明暗となるように露出補正の操作を行える。露出補正操作の内容は、ネットワーク通信部１１０１からカメラ部１０００のネットワーク通信部１０１４に対して、露出制御要求情報として送信される。カメラ部１０００において露出制御要求情報はコントローラ１０１５により露出制御部１０１０に渡され、露出制御部１０１０は、ユーザが望む露出となるように、露出制御要求情報に応じた露出制御を実行する。

ところで、カメラ部１０００は、ＣＰＵ１２００のほか、不図示のＲＡＭやＲＯＭを備える。このＲＯＭには、ＣＰＵ１２００により実行される制御プログラムが格納されている。ＲＡＭはＣＰＵ１２００が制御プログラムを実行する際のワークエリアとなる。カメラ部１０００における各機能部の機能は、ＣＰＵ１２００、ＲＡＭ及びＲＯＭ等の協働により実現される。ここでいう各機能部には、少なくとも信号処理部１００５、１００６、測光値取得部１００８、評価値生成部１００９、露出制御部１０１０、ゲイン制御部１０１１、シャッタ制御部１０１２、符号化処理部１０１３が含まれる。また、各機能部には、非適正箇所検出部２０２０、非適正箇所通知部２０２１が含まれる。

また、操作・表示端末部１１００は、制御手段としてのＣＰＵ１３００のほか、不図示のＲＡＭやＲＯＭを備える。ＲＯＭには、ＣＰＵ１３００により実行される制御プログラムが格納されている。ＲＡＭはＣＰＵ１３００が制御プログラムを実行する際のワークエリアとなる。操作・表示端末部１１００における各機能部の機能は、ＣＰＵ１３００、ＲＡＭ及びＲＯＭ等の協働により実現される。各機能部には、少なくとも切出し拡縮制御部１１０４、マーカー重畳部２１２１、マーカー指定部２１２２、倍率算出部２１２３、他マーカー検出部２１２４が含まれる。

カメラ部１０００において、検出手段としての非適正箇所検出部２０２０は、測光値取得部１００８で取得された測光値に従って各枠の評価値Ｙｎｍを計算する。そして非適正箇所検出部２０２０は、計算した評価値Ｙｎｍが、予め定められた閾値の範囲外の場合は、その枠は適正露出ではないと判定し、評価値Ｙｎｍが、予め定められた閾値の範囲内であればその枠は適正露出であると判定する。非適正箇所検出部２０２０は、適正露出ではないと判定された全ての枠の座標情報（「非適正座標」と称する）を、非適正箇所通知部２０２１に渡す。非適正箇所通知部２０２１は、渡された非適正座標を、ネットワーク通信部１０１４を通じて操作・表示端末部１１００へ送信する。非適正座標の送信は、全方位映像において露出が不適正な箇所が存在する旨を示す通知でもある。非適正座標は、全方位映像における露出が不適正な箇所を特定する情報である。枠の座標情報により、枠の位置と枠に対応する画角とを特定可能である。

操作・表示端末部１１００において、ネットワーク通信部１１０１は非適正座標を受信すると、それを非適正箇所受信部２１２０へ渡す。非適正箇所受信部２１２０は、非適正座標を全方位画角の座標に変換し、変換した座標情報をマーカー重畳部２１２１に渡す。マーカー重畳部２１２１は、全方位映像の全方位画角における、渡された座標上にマーカーを重畳し、メモリ１１０２に書き込む。ここで、マーカーは、適正露光でないことを視認させる視覚的効果の一例である。メモリ１１０２に書き込まれたマーカー付きの映像は、表示部１１０３により表示される（図４で後述）。マーカーを重畳する処理を含む動作を図３で説明する。

図３（ａ）は、カメラ部１０００で実行されるカメラ側処理のフローチャートである。図３（ｂ）は、操作・表示端末部１１００で実行される表示側処理のフローチャートである。カメラ側処理は、ＣＰＵ１２００が、カメラ部１０００のＲＯＭに格納されたプログラムをＲＡＭ（いずれも不図示）に展開して実行することにより実現される。また、表示側処理は、ＣＰＵ１３００が、操作・表示端末部１１００のＲＯＭに格納されたプログラムをＲＡＭ（いずれも不図示）に展開して実行することにより実現される。カメラ側処理及び表示側処理は、カメラ部１０００と操作・表示端末部１１００との通信が確立すると開始され、通信が切断されると終了する。両処理は並行して実行される。カメラ側処理及び表示側処理の開始時には、カメラ部１０００から操作・表示端末部１１００へ全方位映像が送信されているとする。

まず、カメラ側処理（図３（ａ））を説明する。ステップＳ３００１では、ＣＰＵ１２００は、操作・表示端末部１１００から送信されてきた露出制御要求情報がネットワーク通信部１０１４で受信されたと判別するまで待機する。露出制御要求情報が受信されれば、ユーザにより露出操作がされたと判断できるからである。そしてＣＰＵ１２００は、露出制御要求情報が受信されたと判別すると、処理をステップＳ３００２に進める。

ステップＳ３００２では、ＣＰＵ１２００は、露出制御部１０１０により、露出制御要求情報に応じた適正露出となるように露出制御（露出補正）を実行する。ステップＳ３００３では、ＣＰＵ１２００は、非適正箇所検出部２０２０により適正露出でないと判定された枠（箇所）があるか否かを判別する。そしてＣＰＵ１２００は、適正露出でないと判定された枠がないと判別した場合は、処理をステップＳ３００５に進める。一方、ＣＰＵ１２００は、適正露出でないと判定された枠があると判別した場合は、ステップＳ３００４を実行してから処理をステップＳ３００５に進める。

ステップＳ３００４では、ＣＰＵ１２００は、適正露出でないと判定された枠の座標情報（非適正座標）を、非適正箇所通知部２０２１により、ネットワーク通信部１０１４を通じて操作・表示端末部１１００へ送信する。ステップＳ３００５では、ＣＰＵ１２００は、符号化処理部１０１３により、全画角の全方位映像を、ネットワーク通信部１０１４を通じて操作・表示端末部１１００へ送信する。ステップＳ３００５の後、ＣＰＵ１２００は、処理をステップＳ３００１に戻す。

次に、表示側処理（図３（ｂ））を説明する。ステップＳ３１０１では、ＣＰＵ１３００は、ユーザから露出操作部１１０５に対して露出補正操作があったと判別するまで待機する。そしてＣＰＵ１３００は、露出補正操作があったと判別すると、露出補正操作の内容に応じた露出制御要求情報を、ネットワーク通信部１１０１を通じてカメラ部１０００へ送信する。なお、この露出制御要求情報は、カメラ部１０００によってステップＳ３００１で受信される。

ステップＳ３１０２では、ＣＰＵ１３００は、カメラ部１０００からネットワーク通信部１１０１を通じて全画角の全方位映像を受信する。ここで受信される全画角の全方位映像は、図３（ａ）のステップＳ３００２での露出制御が施された映像である。すなわち、この全方位映像は、ステップＳ３１０１で送信した露出制御要求情報が反映された後、ステップＳ３００５で送信された全方位映像である。

ステップＳ３１０３では、ＣＰＵ１３００は、受信した全画角の全方位映像を切り出して切り出し映像４０１として表示する。すなわち、ＣＰＵ１３００は、全方位映像を、ユーザが要求するＬＶ（ライブビュー）画角となるよう、切出し拡縮制御部１１０４により切出し・拡大を行う。ここで、操作・表示端末部１１００の表示部１１０３の表示例について図４で説明する。

図４は、表示部１１０３の表示例を示す図である。表示部１１０３には、全画角の全方位映像を縮小した全方位縮小映像４０２と、ユーザが要求するＬＶ（ライブビュー）画角の切り出し映像４０１とが同時に表示可能である。切り出し映像４０１の画角はユーザが任意に指定できる。全方位縮小映像４０２は、撮像素子１００３で得られた第１面画角の映像と、撮像素子１００４で得られた第２面画角の映像とが別々に生成され、合成表示されたものである。全方位縮小映像４０２は、すなわち、前面１８０°画角の映像４０２ａと後面１８０°画角の映像４０２ｂとで成る。なお、全方位縮小映像４０２は、全体が俯瞰できるのであればよく、別の手法で表示されても良い。全方位縮小映像４０２に重畳表示されているマーカー４０７（４０７ａ、４０７ｂ、４０７ｃ等）は、ステップＳ３００４で送信されてきた非適正座標がステップＳ３１０４で受信されるまでは未表示のままである。

切り出し映像４０１の画面内には、露出操作ＵＩ４０４のほか、露出が不適正な箇所の存在を報知するためのアイコン４０５が表示され得る。露出操作ＵＩ４０４は、ユーザが露出補正の操作を行うための操作部であり、露出操作部１１０５が該当する。なお、露出操作部１１０５は、露出操作ＵＩ４０４とは別の物理的な操作部として設けられてもよい。アイコン４０５は、非適正座標がステップＳ３１０４で受信されることで、露出が不適正な箇所が存在する旨を示す通知を受けると表示される。このアイコン４０５により、ユーザは、露出が不適正な箇所が存在することに気が付きやすい。

ステップＳ３１０４では、ＣＰＵ１３００は、非適正座標が送信されてきたと判定した場合はネットワーク通信部１１０１により非適正座標を受信する。次に、ステップＳ３１０５では、ＣＰＵ１３００は、適正露出でない枠（箇所）があるか否かを、非適正座標を受信したか否かによって判別する。ＣＰＵ１３００は、非適正座標を受信していない場合は、適正露出でない枠（箇所）がないと判別して、処理をステップＳ３１０１に戻す。一方、ＣＰＵ１３００は、非適正座標を受信した場合は、適正露出でない枠（箇所）があると判別して、処理をステップＳ３１０６に進める。

ステップＳ３１０６では、ＣＰＵ１３００は、マーカー重畳部２１２１により、非適正座標に対応する位置に、マーカー４０７を重畳する。そしてステップＳ３１０７では、ＣＰＵ１３００は、マーカー４０７を重畳した映像を表示部１１０３に表示させる（図４）。ここで、マーカー４０７は、受信された非適正座標の数だけ表示される。非適正座標が受信された場合、マーカー４０７は、全方位縮小映像４０２には必ず表示される。切り出し映像４０１においては、切り出し映像４０１の画角に非適正座標が含まれていれば、切り出し映像４０１にもマーカー４０７が表示される。その後、ＣＰＵ１３００は、処理をステップＳ３１０１に戻す。

なお、マーカー４０７は、枠内の一部に付加してもよいし、枠の全領域に付加してもよい。なお、マーカー重畳部２１２１による視覚的効果の付加は、指定された枠内の色や輝度の変更、あるいは模様の重畳という態様であってもよい。また、ＣＰＵ１３００は、表示される映像の枠内に該当するメモリ情報を直接参照し、その値に応じてゼブラパターンのような模様を重畳してもよい。

なお、操作・表示端末部１１００は、座標の情報を使用せずに、映像全体の画素値を直接判定し、その値に応じて、視覚的効果としてゼブラパターンのような模様を重畳する手法を採用してもよい。この場合、カメラ部１０００は、操作・表示端末部１１００へ、非適正座標を送信することは必須でなく、露出制御要求が反映された全方位映像において露出が不適正な箇所が存在する旨を示す通知だけを送信するようにしてもよい。なお、非適正座標を送信した場合においては、非適正座標は、全方位映像における露出が不適正な箇所を特定する情報であるので、操作・表示端末部１１００での処理負担が少なくて済む。

本実施の形態によれば、操作・表示端末部１１００が露出制御要求情報を送信すると、カメラ部１０００は、露出制御要求情報に応じて、全方位映像の露出を制御すると共に、露出制御後の露出が不適正な箇所を検出する。そしてカメラ部１０００は、露出制御要求情報に応じた露出制御が反映された後の全方位映像を操作・表示端末部１１００へ送信すると共に、露出が不適正な箇所が存在する旨を示す通知として非適正座標を送信する。すると、操作・表示端末部１１００は、受信した通知に基づいて、マーカー４０７を全方位縮小映像４０２に重畳表示すると共に、切り出し映像４０１の画角に非適正座標が含まれていれば、切り出し映像４０１にもマーカー４０７を重畳表示する。ユーザは、主として視聴している画角だけでなく、マーカー４０７をたよりに、全方位縮小映像４０２を見て、露出不適正な箇所を全体俯瞰により視認できる。よって、露出状況の把握を容易にすることができる。

なお、全方位縮小映像４０２での露出確認の容易化の観点からは、切り出し映像４０１の画角に非適正座標が含まれていても、切り出し映像４０１にマーカー４０７を重畳表示することは必須でない。

（第２の実施の形態）
第１の実施の形態では、全方位縮小映像４０２にマーカー４０７が重畳表示される。しかし、全方位縮小映像４０２は縮小された映像であるので、ユーザが個々のマーカー４０７に対応する詳細な露光状況を確認するのは容易でない。そこで、本発明の第２の実施の形態では、個々のマーカー４０７を拡大表示できるようにして、露光状況の確認をより容易にする。本実施の形態では、図１のマーカー指定部２１２２、倍率算出部２１２３、他マーカー検出部２１２４も使用される。

ユーザは、全方位縮小映像４０２上に重畳されたマーカー４０７のうち所望のものを、選択手段としてのマーカー指定部２１２２により指定（選択）することができる。指定の態様は、例えば、カーソルの移動と押下操作による。指定されたマーカー４０７を示す情報は非適正箇所受信部２１２０に送られる。非適正箇所受信部２１２０は、マーカー４０７とマーカー４０７の各々の全方位縮小映像４０２上の座標情報との対応関係を規定するテーブルを保持している。非適正箇所受信部２１２０は、当該テーブルを参照して、指定されたマーカー４０７の、全方位縮小映像４０２上の座標情報を取得できる。取得された座標情報は倍率算出部２１２３に送られる。

倍率算出部２１２３は、指定されたマーカー４０７を画面の所定位置、例えば中心に据えて、さらに拡大表示をした、「マーカー中心画角」にするための倍率を算出する。その際、倍率算出部２１２３は、マーカー４０７が存在する枠が表示部１１０３の表示画面の例えば２０％内に収まる画角（面積Ｂ）となるように、３６０°全方位の画角に対して拡大する倍率Ｒ（％）を算出する。なお、この２０％という値は固定値であるが、２０％という値に限定されない。カメラ部１０００から操作・表示端末部１１００へ転送される全方位映像を「元画像」とする。元画像に対するマーカー中心画角の拡大率である倍率Ｒ（％）を算出するための各値及び式は以下である。Ｚはマーカー中心画角中のマーカーの大きさを示す値であり、例えば、マーカーが占める面積の割合である。
マーカーが重畳された枠の数：Ｘ
枠の数（横Ｎ個、縦Ｍ個）：Ｎ×Ｍ
元画像の面積：Ａ
操作・表示端末部１１００で表示する画角の面積：Ｂ
マーカーの大きさ（％）：Ｚ
マーカー中心画像の画角の面積Ｃ＝Ａ×｛Ｘ／（Ｎ×Ｍ）｝（Ｚ／１００）
Ｒ＝Ｂ／Ｃ＝ＢＮＭＺ／１００ＡＸ

図５（ａ）、（ｂ）は、マーカー中心画角の映像の例を示す図である。図６は、マーカー中心画角の映像が表示された表示部１１０３の表示例を示す図である。例えば、ユーザが、図４に示す全方位縮小映像４０２が表示されている状態で、映像上に重畳された複数のマーカー４０７のうち、マーカー４０７ａを、マーカー指定部２１２２により選択したとする。すると、図６に示すように、全方位縮小映像４０２に代えて、視覚的効果を含む第３の映像として、マーカー中心画角の映像（以下、マーカー中心画角映像４０３と記す）が、切り出し映像４０１と並行して表示される。

マーカー中心画角映像４０３の一例を図５（ａ）に示す。マーカー中心画角映像４０３の表示にあたって、選択されたマーカー４０７の表示サイズが全方位縮小映像４０２での表示サイズより大きくなるようにマーカー４０７の表示サイズが変更されることで、マーカー４０７が見やすくなる。選択されたマーカー４０７の全体がマーカー中心画角映像４０３に表れるような倍率Ｒとなるように、Ｚ値が設定されるのが望ましい。Ｚ値は固定値であってもよいが、ユーザが指定できるようにしてもよい。その場合、ユーザは、選択したマーカー４０７を大きく表示したければ、Ｚ値をより大きい値に設定すればよい。

なお、倍率Ｒの算出手法は例示したものに限定されない。選択されたマーカー４０７を見やすくする観点からは、選択されたマーカー４０７の表示サイズが全方位縮小映像４０２での表示サイズより大きくなるような倍率Ｒが算出されるようにすればよい。

図７は、操作・表示端末部１１００で実行される表示側処理のフローチャートである。この表示側処理は、ＣＰＵ１３００が、操作・表示端末部１１００のＲＯＭに格納されたプログラムをＲＡＭ（いずれも不図示）に展開して実行することにより実現される。カメラ部１０００で実行されるカメラ側処理については、図３（ａ）で説明したのと同様である。

ステップＳ３１０１〜Ｓ３１０７は、図３で説明したのと同じである。ただし、ステップＳ３１０７の後、処理はステップＳ７０１に進む。ステップＳ７０１では、操作・表示端末部１１００のＣＰＵ１３００は、全方位縮小映像４０２上のマーカー４０７のいずれかが、ユーザによるマーカー指定部２１２２の選択操作により選択されたか否かを判別する。そしてＣＰＵ１３００は、マーカー４０７が選択されていないと判別した場合は、処理をステップＳ３１０１に戻し、一方、いずれかのマーカー４０７が選択されたと判別した場合は、処理をステップＳ７０２に進める。

ステップＳ７０２では、上述したように、ＣＰＵ１３００は、倍率算出部２１２３により、選択されたマーカー４０７をマーカー中心画角映像４０３として拡大表示するための倍率Ｒを算出する。次に、ステップＳ７０３では、ＣＰＵ１３００は、算出された倍率Ｒに従い、マーカー中心画角映像４０３を、全方位縮小映像４０２に代えて表示する（図６）。その後、ＣＰＵ１３００は、処理をステップＳ３１０１に戻す。

本実施の形態によれば、露出状況の把握を容易にすることに関し、第１の実施の形態と同様の効果を奏することができる。また、マーカー中心画角映像４０３の表示にあたって、選択されたマーカー４０７が、全方位縮小映像４０２での表示時より拡大されて表示されるので、ユーザはマーカー４０７を見やすくなり、不適正露出箇所の露出状況の詳細な把握が容易となる。

なお、マーカー中心画角は、カメラ部１０００で設定された枠単位で設定されるが、それに限定されない。例えば、ＣＰＵ１３００は、選択されたマーカーを中心として、予め定められた画角を切り出してもよい。

ところで、マーカー中心画角映像４０３に、選択されたマーカーとは別のマーカーの一部が含まれる場合があり得る。このような場合、ＣＰＵ１３００は、選択されたマーカーの全体及び上記別のマーカーの全体がマーカー中心画角映像４０３に表れるように、倍率Ｒを変更してもよい。このための動作について説明する。

ステップＳ７０２において、ＣＰＵ１３００は、倍率Ｒを算出した後、マーカー中心画角映像４０３に、ユーザが選択したのとは異なる別のマーカーの一部が入り込むか否かを他マーカー検出部２１２４による検出結果に基づき判別する。例えば、図４に示す全方位縮小映像４０２においては、マーカー４０７ｂが３つ、重なって表示されている。３つのマーカー４０７ｂのうち１つが選択された場合、１回目に算出された倍率Ｒが適用されると、他の１つまたは２つのマーカー４０７ｂの一部がマーカー中心画角映像４０３に入り込む可能性がある。

そこで、ステップＳ７０２において、ＣＰＵ１３００は、倍率Ｒの算出後に、別のマーカーの一部が入り込まないと判別した場合は、処理をステップＳ７０３に進める。しかし、ＣＰＵ１３００は、別のマーカーの一部が入り込むと判別した場合は、入り込むマーカーに該当する上記別のマーカーの全体がマーカー中心画角映像４０３に包含されて表示されるように、倍率Ｒを変更する。その際、ＣＰＵ１３００は、現在の倍率Ｒに所定の係数ｙ（１より小さい）を乗算して、新たな倍率Ｒを得る。新たに得られた倍率Ｒが適用されたマーカー中心画角映像４０３に、上記別のマーカーの全体が入りきらない場合は、再び、現在の倍率Ｒに所定の係数ｙを乗算して、新たな倍率Ｒを得る。ＣＰＵ１３００は、上記別のマーカーの全体がマーカー中心画角映像４０３に表れるようになるまで、所定の係数ｙの乗算による倍率Ｒを繰り返し、その後、処理をステップＳ７０３に進める。その結果、例えば、図５（ｂ）に示すように、３つのマーカー４０７ｂが表れたマーカー中心画角映像４０３が表示される。

なお、本実施の形態において、マーカー中心画角映像４０３を全方位縮小映像４０２に代えて表示したが、これに限らない。例えば、図８に変形例を示すように、ＣＰＵ１３００は、全方位縮小映像４０２の表示を維持したまま、別途、マーカー中心画角映像４０３を表示させてもよい。また、選択されたマーカーが２つ以上あるときは、ＣＰＵ１３００は、選択されたマーカーの数に対応して、マーカー中心画角映像４０３を複数、表示させてもよい。

なお、上記各実施の形態において、フローチャートの動作主体が行うものとして説明した上述の各種制御は、１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。

また、上述した実施形態においては、本発明を撮像装置及び表示装置に適用した場合を例にして説明した。しかし、撮像装置としては、全方位映像を撮像する機能を有する装置であれば本発明を適用可能である。また、表示装置としては、全方位映像を切り出して表示する機能を有する装置であれば本発明を適用可能である。従って、表示装置として、パーソナルコンピュータやＰＤＡ、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置を適用可能である。さらに、表示装置として、デジタルフォトフレーム、音楽プレーヤ、ゲーム機、電子ブックリーダ、タブレット端末、スマートフォン、投影装置、ディスプレイを備える家電装置や車載装置などが適用可能である。

（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

４０１ 切り出し映像
４０２ 全方位縮小映像
４０７ マーカー
１０００ カメラ部
１１００ 操作・表示端末部
１１０１ ネットワーク通信部
１１０３ 表示部
１１０５ 露出操作部
１３００ ＣＰＵ

Claims (21)

1. 撮像装置から全方位映像を受信する受信手段と、
   表示部と、
   前記受信手段により受信された前記全方位映像を表示する際、前記全方位映像の全画角から一部の画角を切り出した第１の映像と、前記全画角の第２の映像とを、前記表示部に並行して表示させる制御手段と、
   露出制御操作を受け付ける受け付け手段と、
   前記受け付け手段により受け付けられた露出制御操作に基づいて、露出制御要求を前記撮像装置へ送信する送信手段と、を有し、
   前記制御手段は、前記送信手段により送信された露出制御要求が反映された全方位映像と、前記露出制御要求が反映された全方位映像において露出が不適正な箇所が存在する旨を示す通知とを前記受信手段が前記撮像装置から受信すると、前記通知に基づいて、前記露出が不適正な箇所に視覚的効果を付加して前記第２の映像を前記表示部に表示させ、
   前記制御手段は、前記通知を受信したことに応じて、前記全画角の中に前記露出が不適正な箇所が存在する旨を報知するためのアイコンを、前記第１の映像に重畳して表示させることを特徴とする表示装置。
2. 前記通知には、前記全方位映像における前記露出が不適正な箇所を特定する情報が含まれ、
   前記制御手段は、前記情報に基づく位置に前記視覚的効果を付加することを特徴とする請求項１に記載の表示装置。
3. 前記制御手段は、前記露出が不適正な箇所が前記一部の画角に含まれる場合は、前記露出が不適正な箇所に前記視覚的効果を付加して前記第１の映像を前記表示部に表示させることを特徴とする請求項１または２に記載の表示装置。
4. 前記視覚的効果が少なくとも１つ付加された前記第２の映像から視覚的効果を選択する選択手段を有し、
   前記制御手段は、前記選択手段により選択された視覚的効果を含む第３の映像を、前記選択された視覚的効果の表示サイズが前記第２の映像での表示サイズより大きくなるように、前記選択された視覚的効果の表示サイズを変更して前記表示部に表示させることを特徴とする請求項１乃至３のいずれか１項に記載の表示装置。
5. 前記制御手段は、前記選択された視覚的効果の全体が前記第３の映像に表れるように倍率を設定し、設定した倍率で、前記選択された視覚的効果の表示サイズを変更して前記第３の映像を前記表示部に表示させることを特徴とする請求項４に記載の表示装置。
6. 前記制御手段は、前記第３の映像を表示する際に、前記第３の映像に、前記選択された視覚的効果とは別の視覚的効果の一部が含まれる場合は、前記選択された視覚的効果の全体及び前記別の視覚的効果の全体が前記第３の映像に表れるように前記倍率を変更することを特徴とする請求項５に記載の表示装置。
7. 前記制御手段は、前記第２の映像に代えて前記第３の映像を表示させることを特徴とする請求項４乃至６のいずれか１項に記載の表示装置。
8. 前記制御手段は、前記第２の映像と並行して前記第３の映像を表示させることを特徴とする請求項４乃至６のいずれか１項に記載の表示装置。
9. 前記制御手段は、前記選択手段により選択された視覚的効果が複数の場合は、選択された視覚的効果の数だけ前記第３の映像を表示させることを特徴とする請求項４に記載の表示装置。
10. 前記視覚的効果の付加は、所定のマーカーを重畳することであることを特徴とする請求項１乃至９のいずれか１項に記載の表示装置。
11. 全方位映像を撮像する撮像手段と、
    露出制御要求を受信する受信手段と、
    前記受信手段により受信された露出制御要求に応じて、前記撮像手段により撮像された全方位映像の露出を制御する制御手段と、
    前記制御手段による前記露出制御要求に応じた露出制御が反映された後の全方位映像において、露出が不適正な箇所を検出する検出手段と、
    前記制御手段により前記露出制御要求に応じた露出制御が反映された後の全方位映像を送信すると共に、前記検出手段により前記露出が不適正な箇所が検出された場合に、前記露出が不適正な箇所が存在する旨を示す通知を送信する送信手段と、を有することを特徴とする撮像装置。
12. 前記通知には、前記全方位映像における前記露出が不適正な箇所を特定する情報が含まれることを特徴とする請求項１１に記載の撮像装置。
13. 前記検出手段は、前記撮像手段により撮像された全方位映像の画角を複数に分割した分割画角ごとに評価値を取得し、前記取得された評価値に基づいて、前記分割画角ごとに露出の適否を判定し、露出が不適正と判定した分割画角を前記露出が不適正な箇所として検出することを特徴とする請求項１１または１２に記載の撮像装置。
14. コンピュータを、請求項１乃至１０のいずれか１項に記載の表示装置の各手段として機能させるためのプログラム。
15. コンピュータを、請求項１１乃至１３のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
16. 表示装置の制御方法であって、
    撮像装置から全方位映像を受信し、
    前記受信された前記全方位映像を表示する際、前記全方位映像の全画角から一部の画角を切り出した第１の映像と、前記全画角の第２の映像とを、表示部に並行して表示させ、
    露出制御操作を受け付け、
    前記受け付けた露出制御操作に基づいて、露出制御要求を前記撮像装置へ送信し、
    前記送信した露出制御要求が反映された全方位映像と、前記露出制御要求が反映された全方位映像において露出が不適正な箇所が存在する旨を示す通知とを前記撮像装置から受信すると、前記通知に基づいて、前記露出が不適正な箇所に視覚的効果を付加して前記第２の映像を前記表示部に表示させ、
    前記通知を受信したことに応じて、該通知に基づき、前記全画角の中に前記露出が不適正な箇所が存在する旨を報知するためのアイコンを、前記第１の映像に重畳して表示させることを特徴とする表示装置の制御方法。
17. 全方位映像を撮像する撮像装置の制御方法であって、
    露出制御要求を受信し、
    前記受信された露出制御要求に応じて、前記撮像された全方位映像の露出を制御し、
    前記露出制御要求に応じた露出制御が反映された後の全方位映像において、露出が不適正な箇所を検出し、
    前記露出制御要求に応じた露出制御が反映された後の全方位映像を送信すると共に、前記露出が不適正な箇所が検出された場合に、前記露出が不適正な箇所が存在する旨を示す通知を送信する、ことを特徴とする撮像装置の制御方法。
18. 撮像装置と、前記撮像装置と通信可能な表示装置と、を有する撮像システムであって、
    前記撮像装置は、
    全方位映像を撮像する撮像手段と、
    露出制御要求を受信する第１の受信手段と、
    前記受信手段により受信された露出制御要求に応じて、前記撮像手段により撮像された全方位映像の露出を制御する第１の制御手段と、
    前記第１の制御手段により前記露出制御要求に応じた露出制御が反映された後の全方位映像において、露出が不適正な箇所を検出する検出手段と、
    前記第１の制御手段により前記露出制御要求に応じた露出制御が反映された後の全方位映像を送信すると共に、前記検出手段により前記露出が不適正な箇所が検出された場合に、前記露出が不適正な箇所が存在する旨を示す通知を送信する第１の送信手段と、を有し、
    前記表示装置は、
    前記撮像装置から全方位映像を受信する第２の受信手段と、
    表示部と、
    前記第２の受信手段により受信された前記全方位映像を表示する際、前記全方位映像の全画角から一部の画角を切り出した第１の映像と、前記全画角の第２の映像とを、前記表示部に並行して表示させる第２の制御手段と、
    露出制御操作を受け付ける受け付け手段と、
    前記受け付け手段により受け付けられた露出制御操作に基づいて、露出制御要求を前記へ送信する第２の送信手段と、を有し、
    前記第２の制御手段は、前記第２の送信手段により送信された露出制御要求が反映された全方位映像と、前記露出制御要求が反映された全方位映像において露出が不適正な箇所が存在する旨を示す通知を前記第２の受信手段が前記撮像装置から受信すると、前記露出が不適正な箇所に視覚的効果を付加して前記第２の映像を前記表示部に表示させることを特徴とする撮像システム。
19. 撮像装置から全方位映像を受信する受信手段と、
    表示部と、
    前記受信手段により受信された前記全方位映像の全画角から一部の画角を切り出した第１の映像を前記表示部に表示する第一の表示制御手段と、
    前記受信手段により受信された前記全方位映像の全画角である第２の映像を前記表示部に表示する第二の表示制御手段と、
    露出制御操作を受け付けるためのユーザインターフェースを表示する受け付け表示手段と、
    前記ユーザインターフェースを介して受け付けられた露出制御操作に基づいて、露出制御要求を前記撮像装置へ送信する送信手段と、
    前記送信手段により送信された露出制御要求が反映された全方位映像と、前記露出制御要求が反映された全方位映像において露出が不適正な箇所が存在する旨を示す通知とを前記受信手段が前記撮像装置から受信した場合、該通知に基づき、前記全方位映像の前記全画角の中に前記露出が不適正な箇所が存在する旨を報知するためのアイコンを、前記第１の映像に重畳して表示させるよう制御する制御手段と、を有することを特徴とする表示装置。
20. 表示装置の制御方法であって、
    撮像装置から全方位映像を受信する受信ステップと、
    前記受信ステップで受信された前記全方位映像の全画角から一部の画角を切り出した第１の映像を表示部に表示する第一の表示制御ステップと、
    前記受信ステップで受信された前記全方位映像の全画角である第２の映像を前記表示部に表示する第二の表示制御ステップと、
    露出制御操作を受け付けるためのユーザインターフェースを表示する受け付け表示ステップと、
    前記ユーザインターフェースを介して受け付けられた露出制御操作に基づいて、露出制御要求を前記撮像装置へ送信する送信ステップと、
    前記送信ステップにより送信された露出制御要求が反映された全方位映像と、前記露出制御要求が反映された全方位映像において露出が不適正な箇所が存在する旨を示す通知とを前記撮像装置から受信した場合、該通知に基づき、前記全方位映像の前記全画角の中に前記露出が不適正な箇所が存在する旨を報知するためのアイコンを、前記第１の映像に重畳して表示させるよう制御することを特徴とする表示装置の制御方法。
21. コンピュータを、請求項１９に記載の表示装置の各手段として機能させるためのプログラム。