JP7043255B2 - 電子機器及びその制御方法 - Google Patents

Description

本発明は、広い視野角を有する広範囲画像を表示または記録する電子機器に関する。

一度の撮影で手軽に３６０度方向の全天球画像（全方位画像、全周囲画像）を撮影する事が出来る撮像装置が知られている。また、３６０度には満たなくとも、１８０度以上の広範囲を撮影する撮像装置が知られている。このような画像の一部の表示範囲が表示されるように表示し、ユーザーの操作、あるいは表示装置の姿勢に基づいて、表示範囲を変更して表示する方法が知られている。このような表示では、主に、天頂を中心として水平面内で回転する方向と、上下方向（仰角俯角を変更する方向）に回転する方向との、２軸の回転方向に表示範囲が変更可能である。

特許文献１には、全方位カメラの姿勢を検出して、鉛直方向の方向の傾きを補正し、なおかつ、水平面内の揺れは手ブレ成分と思われる微小揺れは補正し、水平面内の意図的な回転には追従することが開示されている。

特開２０１７－１４７６８２号公報

撮像装置が傾いた状態で撮影された画像を表示した場合、撮像装置の傾きと同様に天頂が傾いたものを表示すると、ユーザーにとって見難い映像となる場合が多い。これに対し特許文献１のように、鉛直方向の傾きを補正（天頂補正）して表示すれば見易くなることもあるが、撮影した映像やユーザーの意図によっては、天頂補正をしないほうが好適である場合もある。

また、撮像時の水平面内の撮像装置の回転（ヨー方向の回転）に応じて映像が回ってしまうと、再生時に視聴者が視聴方向を変えてないのに視聴方向が変わってしまい、視聴者の見たい方向が見えない。

そこで本発明は、より好適な向きで広範囲画像を表示することができるようにした電子機器、電子機器の制御方法、プログラム、及び記録媒体を提供することを目的とする。

上記課題を解決するために、本発明の電子機器は、１つ以上の撮像手段で撮像された広範囲画像を取得する画像取得手段と、前記広範囲画像に付与された撮影時の撮像装置の姿勢を示す姿勢情報を含む属性情報を取得する情報取得手段と、前記姿勢情報に基づいて天頂とヨー角を補正して表示を行う第１の処理と、前記姿勢情報に基づいて天頂を補正してヨー角を補正しない表示を行う第２の処理と、前記姿勢情報に基づいてヨー角を補正して天頂を補正しない表示を行う第３の処理と、前記広範囲画像の天頂とヨー角の双方を補正しない表示を行う第４の処理と、のうち少なくとも２つを含む複数の処理のいずれかを条件に応じて選択して前記広範囲画像を表示するように制御する制御手段とを有し、前記条件は、前記第１ないし第４の処理のいずれとするかを予めユーザーが選択して設定した内容であることを特徴とする。

本発明によれば、より好適な向きで広範囲画像を表示することができる。

（ａ）デジタルカメラ１００の正面外観図である。（ｂ）デジタルカメラ１００の背面外観図である。（ｃ）デジタルカメラ１００の構成ブロック図である。 （ａ）表示制御装置２００の外観図である。（ｂ）表示制御装置２００の構成ブロック図である。（ｃ）表示制御装置２００を装着可能なＶＲゴーグルの外観図である。 天頂補正をした場合とそうでない場合を説明する模式図である。 天頂補正とヨー角補正の組合せによる第１の表示方法～第４の表示方法を説明する模式図である。 撮影処理のフローチャートである。 （ａ）設置場所設定画面の表示例である。（ｂ）補正設定の設定画面の表示例である。 表示制御処理のフローチャートである。 オート補正判別処理のフローチャートである。 映像補正処理のフローチャートである。 記録時オート補正処理のフローチャートである。

以下、図面を参照して本発明の好適な実施形態を説明する。

図１（ａ）に電子機器であるデジタルカメラ１００（撮像装置）の前面斜視図（外観図）を示す。図１（ｂ）にデジタルカメラ１００の背面斜視図（外観図）を示す。デジタルカメラ１００は、全方位カメラ（全天球カメラ）である。

バリア１０２ａはデジタルカメラ１００の前方を撮影範囲としたカメラ部ａのための撮影レンズ１０３ａの保護窓である。撮影レンズ１０３ａ自体の外側の面であってもよい。カメラ部ａはデジタルカメラ１００の前側の上下左右１８０度以上の広範囲を撮影範囲とする広角カメラである。バリア１０２ｂはデジタルカメラの後方を撮影範囲としたカメラ部ｂのための撮影レンズ１０３ｂの保護窓である。撮影レンズ１０３ｂ自体の外側の面であってもよい。カメラ部ｂはデジタルカメラ１００の後ろ側の上下左右１８０度以上の広範囲を撮影範囲とする広角カメラである。

表示部２８は各種情報を表示する表示部である。シャッターボタン６１は撮影指示を行うための操作部である。モード切替スイッチ６０は各種モードを切り替えるための操作部である。接続Ｉ／Ｆ２５は、スマートフォン、パーソナルコンピュータ、テレビなどの外部機器と接続するための接続ケーブルとデジタルカメラ１００とのコネクタである。操作部７０はユーザーからの各種操作を受け付ける各種スイッチ、ボタン、ダイヤル、タッチセンサ等の操作部材より成る操作部である。電源スイッチ７２は、電源オン、電源オフを切り替えるための押しボタンである。

発光部２１は発光ダイオード（ＬＥＤ）などの発光部材であり、デジタルカメラ１００の各種状態を発光パターンや発光色によってユーザーに通知する。固定部４０は例えば三脚ネジ穴であり、三脚などの固定器具に固定して設置するための部材である。

図１（ｃ）は、デジタルカメラ１００の構成例を示すブロック図である。バリア１０２ａは、デジタルカメラ１００の、撮影レンズ１０３ａを含むカメラ部ａの撮像系を覆うことにより、撮影レンズ１０３ａ、シャッター１０１ａ、撮像部２２ａを含む撮像系の汚れや破損を防止する。撮影レンズ１０３ａはズームレンズ、フォーカスレンズを含むレンズ群であり、広角レンズである。シャッター１０１ａは、撮像部２２ａへの被写体光の入射量を調整する絞り機能を備えるシャッターである。撮像部２２ａは光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子（撮像センサ）である。Ａ／Ｄ変換器２３ａは、撮像部２２ａから出力されるアナログ信号をデジタル信号に変換する。撮影レンズ１０３ａ、シャッター１０１ａ、撮像部２２ａは、システム制御部５０によって制御される。

バリア１０２ｂは、デジタルカメラ１００の、撮影レンズ１０３ｂを含むカメラ部ｂの撮像系を覆うことにより、撮影レンズ１０３ｂ、シャッター１０１ｂ、撮像部２２ｂを含む撮像系の汚れや破損を防止する。撮影レンズ１０３ｂはズームレンズ、フォーカスレンズを含むレンズ群であり、広角レンズである。シャッター１０１ｂは、撮像部２２ｂへの被写体光の入射量を調整する絞り機能を備えるシャッターである。撮像部２２ｂは光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。Ａ／Ｄ変換器２３ｂは、撮像部２２ｂから出力されるアナログ信号をデジタル信号に変換する。撮影レンズ１０３ｂ、シャッター１０１ｂ、撮像部２２ｂは、システム制御部５０によって制御される。

撮像部２２ａ、撮像部２２ｂにより、ＶＲ画像が撮像される。ＶＲ画像とは、ＶＲ表示（ＶＲビューで表示）をすることのできる画像であるものとする。ＶＲ画像には、全方位カメラ（全天球カメラ）で撮像した全方位画像（全天球画像）や、表示手段に一度に表示できる表示範囲より広い映像範囲（有効映像範囲）を持つパノラマ画像などが含まれるものとする。ＶＲ画像には、静止画だけでなく、動画やライブ画像（カメラからほぼリアルタイムで取得した画像）も含まれる。ＶＲ画像は、最大で上下方向（垂直角度、天頂からの角度、仰角、俯角、高度角、ピッチ角）３６０度、左右方向（水平角度、方位角度、ヨー角）３６０度の視野分の映像範囲（有効映像範囲）を持つ。また、ＶＲ画像は、上下３６０度未満、左右３６０度未満であっても、通常のカメラで撮影可能な画角よりも広い広範な画角（視野範囲）、あるいは、表示手段に一度に表示できる表示範囲より広い映像範囲（有効映像範囲）を持つ画像も含むものとする。例えば、左右方向（水平角度、方位角度）３６０度、天頂（ｚｅｎｉｔｈ）を中心とした垂直角度２１０度の視野分（画角分）の被写体を撮影可能な全天球カメラで撮影された画像はＶＲ画像の一種である。また、例えば、左右方向（水平角度、方位角度）１８０度、水平方向を中心とした垂直角度１８０度の視野分（画角分）の被写体を撮影可能なカメラで撮影された画像はＶＲ画像の一種である。すなわち、上下方向と左右方向にそれぞれ１６０度（±８０度）以上の視野分の映像範囲を有しており、人間が一度に視認できる範囲よりも広い映像範囲を有している画像はＶＲ画像の一種である。このＶＲ画像をＶＲ表示すると、左右回転方向に表示装置の姿勢を変化させることで、左右方向（水平回転方向）には継ぎ目のない全方位の映像を視聴することができる。上下方向（垂直回転方向）には、真上（天頂）から見て±１０５度の範囲では継ぎ目のない全方位の映像を視聴することができるが、真上から１０５度を超える範囲は映像が存在しないブランク領域となる。ＶＲ画像は、「映像範囲が仮想空間（ＶＲ空間）の少なくとも一部である画像」とも言える。

ＶＲ表示とは、ＶＲ画像のうち、表示装置の姿勢に応じた視野範囲の映像を表示する、表示範囲を変更可能な表示方法である。表示装置であるヘッドマウントディスプレイ（ＨＭＤ）を装着して視聴する場合には、ユーザーの顔の向きに応じた視野範囲の映像を表示することになる。例えば、ＶＲ画像のうち、ある時点で左右方向に０度（特定の方位、例えば北）、上下方向に９０度（天頂から９０度、すなわち水平）を中心とした視野角（画角）の映像を表示しているものとする。この状態から、表示手段の姿勢を表裏反転させると（例えば、表示面を南向きから北向きに変更すると）、同じＶＲ画像のうち、左右方向に１８０度（逆の方位、例えば南）、上下方向に９０度（水平）を中心とした視野角の映像に、表示範囲が変更される。ユーザーがＨＭＤを視聴している場合で言えば、ユーザーが顔を北から南に向ければ（すなわち後ろを向けば）、ＨＭＤに表示される映像も北の映像から南の映像に変わるということである。このようなＶＲ表示によって、ユーザーに、視覚的にあたかもＶＲ画像内（ＶＲ空間内）のその場にいるような感覚（没入感）を提供することができる。ＶＲゴーグル（ヘッドマウントアダプター）に装着されたスマートフォンは、ＨＭＤの一種と言える。なお、ＶＲ画像の表示方法は上記のＶＲ表示に限るものではなく、姿勢の変化ではなく、タッチパネルや方向ボタンなどに対するユーザー操作に応じて、表示範囲を移動（スクロール）させることでも、視野範囲を変更して表示できる。

画像処理部２４は、Ａ／Ｄ変換器２３ａ，Ａ／Ｄ変換器２３ｂからのデータ、又は、メモリ制御部１５からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２４では、撮像した画像データを用いて所定の演算処理を行う。画像処理部２４により得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＡＷＢ（オートホワイトバランス）処理を行う。また、画像処理部２４は、Ａ／Ｄ変換器２３ａ，Ａ／Ｄ変換器２３ｂから得られた２つの画像（魚眼画像、広角画像）に基本の画像処理を施した後、合成（繋ぎ画像処理）して単一のＶＲ画像を生成する。２つの画像の繋ぎ画像処理では、画像処理部２４は、２つの画像それぞれにおいて、パターンマッチング処理によりエリア毎に基準画像と比較画像のずれ量を算出し、繋ぎ位置を検出する。そして、検出した繋ぎ位置と各光学系レンズ特性を考慮して、画像処理部２４は、２つの画像をそれぞれ幾何学変換により歪み補正し、全天球イメージ形式に変換する。この２つの全天球イメージ形式の画像をブレンドすることで、画像処理部２４は、最終的に１つの全天球画像（ＶＲ画像）を生成する。生成された全天球画像（ＶＲ画像）は、正距円筒図法を用いた画像となり、各画素の位置が球体の表面の座標と対応づけることが可能となる。また、ライブビューでのＶＲ表示時、あるいは再生時には、ＶＲ画像をＶＲ表示するための画像切り出し処理、拡大処理、歪み補正等を行いメモリ３２のＶＲＡＭへ描画するレンダリングも行う。

Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、画像処理部２４を介さずにメモリ制御部１５を介してメモリ３２に書き込まれる。メモリ３２は、撮像部２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、接続Ｉ／Ｆ２５から外部のディスプレイに出力するための画像を格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。メモリ３２に格納されている画像表示用のデータは、接続Ｉ／Ｆ２５から外部のディスプレイに出力することが可能である。撮像部２２ａ、２２ｂで撮像され、画像処理部２４で生成されたＶＲ画像であって、メモリ３２に蓄積されたＶＲ画像を外部ディスプレイに逐次転送して表示することで、電子ビューファインダとして機能し、ライブビュー表示（ＬＶ表示）を行える。以下、ライブビューで表示される画像をＬＶ画像と称する。また、メモリ３２に蓄積されたＶＲ画像を、通信部５４を介して無線接続された外部機器（スマートフォンなど）に転送し、外部機器側で表示することでもライブビュー表示（リモートＬＶ表示）を行える。なお、デジタルカメラ１００本体に、画像を表示可能な本体ディスプレイを備えるように構成し、接続Ｉ／Ｆ２５から出力して外部のディスプレイに表示するものとして説明した映像と同等の映像を本体ディスプレイに表示することも可能である。

不揮発性メモリ５６は、電気的に消去・記録可能な記録媒体としてのメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのコンピュータプログラムのことである。

システム制御部５０は、少なくとも１つのプロセッサーまたは回路を有する制御部であり、デジタルカメラ１００全体を制御する。前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ５２には、例えばＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等が展開される。また、システム制御部５０はメモリ３２、画像処理部２４、メモリ制御部１５を制御することにより表示制御も行う。

システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

モード切替スイッチ６０、シャッターボタン６１、操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画撮影モード、再生モード、通信接続モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）、プログラムＡＥモードがある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。モード切替スイッチ６０より、ユーザーは、これらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ６０で撮影モードの一覧画面に一旦切り換えた後に、表示部２８に表示された複数のモードのいずれかを選択し、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。

第１シャッタースイッチ６２は、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の撮影準備動作を開始する。

第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから記録媒体９０に画像データを書き込むまでの一連の撮影処理の動作を開始する。

なお、シャッターボタン６１は全押しと半押しの２段階の操作ができるものに限るものではなく、１段階の押下だけができる操作部材であってもよい。その場合、１段階の押下によって撮影準備動作と撮影処理が連続して行われる。これは、半押しと全押しが可能なシャッターボタンをいわゆる全押しした場合と同じ動作（ＳＷ１とＳＷ２がほぼ同時に発生した場合の動作）である。

操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンや選択肢を選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面を見ながら操作部７０を操作することで、直感的に各種設定を行うことができる。

電源制御部８０は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体９０を含む各部へ供給する。電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。

記録媒体Ｉ／Ｆ１８は、メモリーカードやハードディスク等の記録媒体９０とのインターフェースである。記録媒体９０は、撮影された画像を記録するためのメモリーカード等の記録媒体であり、半導体メモリや光ディスク、磁気ディスク等から構成される。記録媒体９０は、デジタルカメラ１００に着脱可能な交換記録媒体でもよいし、内蔵の記録媒体であってもよい。

通信部５４は、無線または有線ケーブルによって接続し、映像信号や音声信号等の送受信を行う。通信部５４は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットとも接続可能である。また、通信部５４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）や Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙでも外部機器と通信可能である。通信部５４は撮像部２２ａ，撮像部２２ｂで撮像した画像（ＬＶ画像を含む）や、記録媒体９０に記録された画像を送信可能であり、また、外部機器から画像やその他の各種情報を受信することができる。

姿勢検知部５５は重力方向に対するデジタルカメラ１００の姿勢を検知する。姿勢検知部５５で検知された姿勢に基づいて、撮像部２２で撮影された画像が、デジタルカメラ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。また、ヨー、ピッチ、ローの３軸方向にどの程度傾けた姿勢で撮影された画像であるか判別可能である。システム制御部５０は、姿勢検知部５５で検知された姿勢に応じた向き情報を撮像部２２ａ、２２ｂで撮像されたＶＲ画像の画像ファイルに付加したり、画像を回転（傾き補正するように画像の向きを調整）して記録したりすることが可能である。姿勢検知部５５としては、加速度センサー、ジャイロセンサー、地磁気センサー、方位センサー、高度センサーなどを１つ以上組み合わせて用いることができる。姿勢検知部５５である、加速度センサー、ジャイロセンサー、方位角センサーを用いて、デジタルカメラ１００の動き（パン、チルト、持ち上げ、静止しているか否か等）を検知することも可能である。

マイク２０は、ＶＲ画像の動画の音声として記録されるデジタルカメラ１００の周囲の音声を集音するマイクロフォンである。

接続Ｉ／Ｆ２５は、外部機器と接続して映像の送受信を行うための、ＨＤＭＩ（登録商標）ケーブルやＵＳＢケーブルなどとの接続プラグである。

図２（ａ）に、電子機器の一種である表示制御装置２００の外観図の例を示す。表示制御装置２００（電子機器）は、例えばスマートフォンなどである。ディスプレイ２０５は画像や各種情報を表示する表示部である。ディスプレイ２０５は後述するようにタッチパネル２０６ａと一体的に構成されており、ディスプレイ２０５の表示面へのタッチ操作を検出できるようになっている。表示制御装置２００は、ＶＲ画像（ＶＲコンテンツ）をディスプレイ２０５においてＶＲ表示することが可能である。操作部２０６には図示のようにタッチパネル２０６ａ、操作部２０６ｂ、２０６ｃ、２０６ｄ、２０６ｅが含まれる。操作部２０６ｂは表示制御装置２００の電源のオンとオフを切り替える操作を受け付ける電源ボタンである。操作部２０６ｃと操作部２０６ｄは音声出力部２１２から出力する音声のボリュームを増減するボリュームボタンである。操作部２０６ｅは、ディスプレイ２０５にホーム画面を表示させるためのホームボタンである。音声出力端子２１２ａはイヤホンジャックであり、イヤホンや外部スピーカーなどに音声を出力する出力端子である。スピーカー２１２ｂは音声を発音する本体内蔵スピーカーである。

図２（ｂ）に、表示制御装置２００の構成の一例を示す。内部バス２５０に対してＣＰＵ２０１、メモリ２０２、不揮発性メモリ２０３、画像処理部２０４、ディスプレイ２０５、操作部２０６、記憶媒体Ｉ／Ｆ２０７、外部Ｉ／Ｆ２０９、及び、通信Ｉ／Ｆ２１０が接続されている。また、内部バス２５０に対して音声出力部２１２と姿勢検出部２１３も接続されている。内部バス２５０に接続される各部は、内部バス２５０を介して互いにデータのやりとりを行うことができるようにされている。

ＣＰＵ２０１は、表示制御装置２００の全体を制御する制御部であり、少なくとも１つのプロセッサーまたは回路からなる。メモリ２０２は、例えばＲＡＭ（半導体素子を利用した揮発性のメモリなど）からなる。ＣＰＵ２０１は、例えば不揮発性メモリ２０３に格納されるプログラムに従い、メモリ２０２をワークメモリとして用いて、表示制御装置２００の各部を制御する。不揮発性メモリ２０３には、画像データや音声データ、その他のデータ、ＣＰＵ２０１が動作するための各種プログラムなどが格納される。不揮発性メモリ２０３は例えばフラッシュメモリやＲＯＭなどで構成される。

画像処理部２０４は、ＣＰＵ２０１の制御に基づいて、不揮発性メモリ２０３や記憶媒体２０８に格納された画像や、外部Ｉ／Ｆ２０９を介して取得した映像信号、通信Ｉ／Ｆ２１０を介して取得した画像などに対して各種画像処理を施す。画像処理部２０４が行う画像処理には、Ａ／Ｄ変換処理、Ｄ／Ａ変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大／縮小処理（リサイズ）、ノイズ低減処理、色変換処理などが含まれる。また、全方位画像あるいは全方位ではないにせよ広範囲の映像を有する広範囲画像であるＶＲ画像のパノラマ展開やマッピング処理、変換などの各種画像処理も行う。画像処理部２０４は特定の画像処理を施すための専用の回路ブロックで構成してもよい。また、画像処理の種別によっては画像処理部２０４を用いずにＣＰＵ２０１がプログラムに従って画像処理を施すことも可能である。

ディスプレイ２０５は、ＣＰＵ２０１の制御に基づいて、画像やＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を構成するＧＵＩ画面などを表示する。ＣＰＵ２０１は、プログラムに従い表示制御信号を生成し、ディスプレイ２０５に表示するための映像信号を生成してディスプレイ２０５に出力するように表示制御装置２００の各部を制御する。ディスプレイ２０５は出力された映像信号に基づいて映像を表示する。なお、表示制御装置２００自体が備える構成としてはディスプレイ２０５に表示させるための映像信号を出力するためのインターフェースまでとし、ディスプレイ２０５は外付けのモニタ（テレビなど）で構成してもよい。

操作部２０６は、キーボードなどの文字情報入力デバイスや、マウスやタッチパネルといったポインティングデバイス、ボタン、ダイヤル、ジョイスティック、タッチセンサ、タッチパッドなどを含む、ユーザー操作を受け付けるための入力デバイスである。なお、タッチパネルは、ディスプレイ２０５に重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。

記憶媒体Ｉ／Ｆ２０７は、メモリーカードやＣＤ、ＤＶＤといった記憶媒体２０８が装着可能とされ、ＣＰＵ２０１の制御に基づき、装着された記憶媒体２０８からのデータの読み出しや、当該記憶媒体２０８に対するデータの書き込みを行う。外部Ｉ／Ｆ２０９は、外部機器と有線ケーブルや無線によって接続し、映像信号や音声信号の入出力を行うためのインターフェースである。また、通信Ｉ／Ｆ２１０は、外部機器やインターネット２１１などと通信して、ファイルやコマンドなどの各種データの送受信を行うためのインターフェースである。通信Ｉ／Ｆ２１０は例えば、無線ＬＡＮ、有線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）や Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ等で外部機器と通信可能である。

音声出力部２１２は、動画や音楽データ（音声ファイル）の音声や、操作音、着信音、各種通知音などを出力する。音声出力部２１２には、イヤホンなどを接続する音声出力端子２１２ａ、スピーカー２１２ｂが含まれるものとするが、無線通信などで外部スピーカーに対して音声データの出力を行ってもよい。

姿勢検出部２１３は、重力方向に対する表示制御装置２００の姿勢や、ヨー、ロール、ピッチの各軸に対する姿勢の傾きを検知する。姿勢検出部２１３で検知された姿勢に基づいて、表示制御装置２００が横に保持されているか、縦に保持されているか、上に向けられたか、下に向けられたか、斜めの姿勢になったかなどを判別可能である。姿勢検出部２１３としては、加速度センサー、ジャイロセンサー、地磁気センサー、方位センサー、高度センサーなどのうち少なくとも１つを用いることができ、複数を組み合わせて用いることも可能である。

なお操作部２０６には、タッチパネル２０６ａが含まれる。ＣＰＵ２０１はタッチパネル２０６ａへの以下の操作、あるいは状態を検出できる。

・タッチパネル２０６ａにタッチしていなかった指やペンが新たにタッチパネル２０６ａにタッチしたこと、すなわち、タッチの開始（以下、タッチダウン（Ｔｏｕｃｈ－Ｄｏｗｎ）と称する）
・タッチパネル２０６ａを指やペンがタッチしている状態であること（以下、タッチオン（Ｔｏｕｃｈ－Ｏｎ）と称する）
・指やペンがタッチパネル２０６ａをタッチしたまま移動していること（以下、タッチムーブ（Ｔｏｕｃｈ－Ｍｏｖｅ）と称する）
・タッチパネル２０６ａへタッチしていた指やペンがタッチパネル２０６ａから離れたこと、すなわち、タッチの終了（以下、タッチアップ（Ｔｏｕｃｈ－Ｕｐ）と称する）
・タッチパネル２０６ａに何もタッチしていない状態（以下、タッチオフ（Ｔｏｕｃｈ－Ｏｆｆ）と称する）

タッチダウンが検出されると、同時にタッチオンも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出された場合も、同時にタッチオンが検出される。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出されると、タッチオフが検出される。

これらの操作・状態や、タッチパネル２０６ａ上に指やペンがタッチしている位置座標は内部バスを通じてＣＰＵ２０１に通知され、ＣＰＵ２０１は通知された情報に基づいてタッチパネル２０６ａ上にどのような操作（タッチ操作）が行なわれたかを判定する。タッチムーブについてはタッチパネル２０６ａ上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル２０６ａ上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行なわれたと判定するものとする。タッチパネル２０６ａ上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル２０６ａ上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる（スライド操作に続いてフリックがあったものと判定できる）。更に、複数箇所（例えば２点）を同時にタッチして、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作（あるいは単にピンチ）と称する。タッチパネル２０６ａは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いてもよい。タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。

図２（ｃ）に、表示制御装置２００を装着可能なＶＲゴーグル３００（ヘッドマウントアダプター）の外観図を示す。表示制御装置２００は、ＶＲゴーグル３００に装着することで、ヘッドマウントディスプレイ（ＨＭＤ）として使用することも可能である。挿入口３０２は、表示制御装置２００を差し込むための挿入口である。ディスプレイ２０５の表示面を、ＶＲゴーグル３００をユーザーの頭部に固定するためのヘッドバンド３０２側（すなわちユーザー側）に向けて表示制御装置２００の全体をＶＲゴーグル３００に差し込むことができる。こうして表示制御装置２００が装着されたＶＲゴーグル３００をユーザーが頭部に装着することにより、ユーザーが手で表示制御装置２００を保持することなく、表示制御装置２００のディスプレイ２０５を視認することができる。この状態で、ユーザーが頭部または体全体を動かすと、表示制御装置２００の姿勢も変化する。ＶＲ表示においては、姿勢検出部２１３はこの時の表示制御装置２００の姿勢の変化を検出し、この姿勢の変化に基づいてＣＰＵ２０１がＶＲ表示処理を行う。この場合に姿勢検出部２１３が表示制御装置２００の姿勢を検出することは、ユーザーの頭部の姿勢（ユーザーの視線が向いている方向）を検出することと同等である。なお、表示制御装置２００自体が、ＶＲゴーグル無しでも頭部に到着可能なＨＭＤであってもよい。

表示制御装置２００は、画像処理部２０４でＶＲ画像を天頂補正（ピッチ角とロール角の補正）して表示することが可能である。天頂補正を行った表示も可能であるし、天頂補正を行わずに表示することも可能である。

図３（ａ）～図３（ｃ）を用いて、ＶＲ画像を表示する際の天頂補正について説明する。図３（ａ）に、撮影時の状況の模式図を示す。被写体である家３０１と犬３０２に対して、図示の位置関係にデジタルカメラ１００を設置して、全方位画像を撮影したものとする。図示の位置関係は、デジタルカメラ１００から見て方向Ａ（例えば北）に家３０１が位置しており、デジタルカメラ１００から見て方向Ａよりも右に９０度の方向（例えば東）に犬３０２が位置している。デジタルカメラ１００は重力方向に対して右にやや傾いて構えられており、重力方向とデジタルカメラ１００の上下軸は平行になっていないものとする。この状況で、デジタルカメラ１００の正面（バリア１０２ａ、撮像部２２ａ側）を家３０１に向けてＶＲ画像（動画または静止画）の撮影を行い、画像Ａを記録したものとする。

図３（ｂ）に、図３（ａ）の状況で撮影された画像Ａを、表示制御装置２００で天頂補正することなく再生表示した場合の模式図を示す。画像Ａは、デジタルカメラ１００の記録媒体９０から無線あるいは有線によるファイル転送によって、あるいはメモリーカード等の記録媒体９０を表示制御装置２００に装着することによって表示制御装置２００に取得（画像取得）される。図３（ｂ）は、再生方法をＶＲ表示（ＶＲビュー）とした場合の例である。図３（ｂ）の左側では、表示制御装置２００を装着したＶＲゴーグル３００をユーザーが頭部に装着して、画像ＡをＶＲ表示で視聴している。画像Ａはデジタルカメラ１００が傾いた状態で撮影された画像であるため、天頂補正をしない場合は、デジタルカメラ１００の傾きと逆側に傾いた映像が表示される。すなわち、天頂補正をしない場合、画像Ａは家３０１が傾く向きで表示される。より詳しくは、画像Ａにおける、重力方向に対して傾いた状態であった撮影時のデジタルカメラ１００の上下方向が、ＶＲ表示以外の表示方法であれば再生機器である表示制御装置２００におけるディスプレイ２０５の上下方向と平行となる向きで表示される。ＶＲ表示においては、画像Ａにおける撮影時のデジタルカメラ１００の上下方向が、再生機器である表示制御装置２００の姿勢検出部２１３で検出されている重力方向（天頂を通る軸方向）と平行になる向きで再生表示される。図３（ｂ）の右側は、図３（ｂ）の左側の状態からユーザーが右を向いた場合のディスプレイ２０５の表示例を示している。姿勢検出部２１３で検出されたユーザーが右を向く姿勢の変化に基づいて画像Ａのうち表示される範囲（方向）が変更され、犬３０２が写る向きが表示される。この状況では、犬３０２も傾いて表示される。また、表示範囲を撮影時のデジタルカメラ１００の上下方向を軸として回転移動することにより変更するため、実際は家３０１と同程度の高さに見えるはずの犬３０２の映像の上下方向の位置もずれて見える。

図３（ｃ）に、図３（ａ）の状況で撮影された画像Ａを、表示制御装置２００で天頂補正して再生表示した場合の模式図を示す。図３（ｃ）も、再生方法をＶＲ表示（ＶＲビュー）とした場合の例である。図３（ｃ）の左側では、表示制御装置２００を装着したＶＲゴーグル３００をユーザーが頭部に装着して、画像ＡをＶＲ表示で視聴している。画像Ａはデジタルカメラ１００が傾いた状態で撮影された画像であるが、天頂補正をして、画像Ａを撮影していた際にデジタルカメラ１００で検出していた重力方向が再生時の上下方向と平行となるように画像Ａの向きを補正して表示している。すなわち、天頂補正をした場合、画像Ａは家３０１が傾かない向きで表示される。より詳しくは、画像Ａにおける、ＶＲ表示以外の表示方法であれば、画像Ａを撮影していた際にデジタルカメラ１００で検出していた重力方向が再生機器である表示制御装置２００におけるディスプレイ２０５の上下方向と平行となる向きで表示される。ＶＲ表示においては、画像Ａにおける撮影時にデジタルカメラ１００で検出していた重力方向が、再生機器である表示制御装置２００の姿勢検出部２１３で検出されている重力方向（天頂を通る軸方向）と平行になる向きで再生表示される。いずれにおいても、重力方向（天頂を通る軸方向）に対して傾いた状態であった撮影時のデジタルカメラ１００の上下方向と、画像Ａを撮影していた際にデジタルカメラ１００で検出していた重力方向とのズレ量を打ち消すような表示向きの補正が行われる。図３（ｃ）の右側は、図３（ｃ）の左側の状態からユーザーが右を向いた場合のディスプレイ２０５の表示例を示している。姿勢検出部２１３で検出されたユーザーが右を向く姿勢の変化に基づいて画像Ａのうち表示される範囲（方向）が変更され、犬３０２が写る向きが表示される。この状況では、犬３０２も傾かずに表示される。また、被写体の現実における状況と同様、家３０１と同程度の高さに犬３０２が見える。

また、表示制御装置２００は、画像処理部２０４でＶＲ画像をヨー角補正して表示することが可能である。ヨー角補正とは、デジタルカメラ１００の上下方向を回転軸とした回転方向の補正である。言い換えれば、水平面内における表示方向の補正（画像の上下方向が重力と平行である場合は方位の補正と同等）である。ヨー角補正を行った表示も行えるし、ヨー角補正を行わずに表示することも可能である。また、ヨー角補正と天頂補正を組み合わせて行うことも可能である。すなわち、表示制御装置２００は、天頂補正とヨー角補正に関して以下の４種類の表示が可能である。

・第１の表示方法：天頂補正とヨー角補正の双方を行う
・第２の表示方法：天頂補正をしてヨー角補正を行わない
・第３の表示方法：天頂補正を行わずにヨー角を補正する
・第４の表示方法：天頂補正とヨー角の補正の双方を行わない

図４（ａ）～図４（ｅ）を用いて、天頂補正とヨー角補正の組合せによる上述の第１の表示方法～第４の表示方法について説明する。図４（ａ）に、撮影時の状況の模式図を示す。被写体である家３０１と犬３０２とデジタルカメラ１００の位置関係、デジタルカメラ１０の重力方向に対する傾きは、図３（ａ）と同様である。図４（ａ）では、デジタルカメラ１００で、全方位の動画Ｂを撮影する例を説明する。動画Ｂを記録している途中の時点Ｔ１ではデジタルカメラ１００の正面を方向Ａ（家３０１の方向）に向けている。その後、同じ動画Ｂの記録途中である時点Ｔ２の少し前にデジタルカメラ１００の正面が方向Ｂ（犬３０２の方向）を向くように撮影方向を変更したものとする。

図４（ｂ）に、図４（ａ）の状況で撮影された動画Ｂを、表示制御装置２００で天頂補正とヨー角補正の双方をせずに再生表示した場合（第４の表示方法で再生表示した場合）の模式図を示す。図４（ｂ）の左側では、動画Ｂのうちユーザーは時点Ｔ１に対応する再生箇所を視聴している。動画Ｂはデジタルカメラ１００が傾いた状態で撮影された画像であるため、天頂補正をしない場合は、ディスプレイ２０５にはデジタルカメラ１００の傾きと逆側に傾いた映像が表示される。すなわち、家３０１が傾く向きで表示される。図４（ｂ）の右側は、図４（ｂ）の左側の状態から、時点Ｔ２に対応する位置まで動画の再生が進行した場合の模式図である。ユーザーは見る向きを変更しておらず、タッチ操作などで表示範囲の変更も行っていないが、ヨー角補正を行っていないため、撮影時のデジタルカメラの向きの変更に起因して、表示範囲が変わって見える。すなわち、動画Ｂの再生の進行に伴い、時点Ｔ１に対応する再生箇所では家３０１が見えてたのに（方向Ａの映像が見えていたのに）、時点Ｔ２に対応する再生箇所では家３０１ではなく犬３０２が見える（方向Ｂの映像が見える）ように映像が変化する。このように、視聴するユーザーは視聴方向（表示範囲）を変える姿勢変化や操作を行っていないにも関わらず表示範囲が変わって見えるため、場合によっては没入感が阻害されるおそれがある。また、天頂補正を行っていないため、犬３０２も傾いて見える。

図４（ｃ）に、図４（ａ）の状況で撮影された動画Ｂを、表示制御装置２００で天頂補正を行わずにヨー角補正を行って再生表示した場合（第３の表示方法で再生表示した場合）の模式図を示す。図４（ｃ）の左側では、動画Ｂのうちユーザーは時点Ｔ１に対応する再生箇所を視聴している。動画Ｂはデジタルカメラ１００が傾いた状態で撮影された画像であるため、天頂補正をしない場合は、ディスプレイ２０５にはデジタルカメラ１００の傾きと逆側に傾いた映像が表示される。すなわち、家３０１が傾く向きで表示される。図４（ｃ）の右側は、図４（ｃ）の左側の状態から、時点Ｔ２に対応する位置まで動画の再生が進行した場合の模式図である。ヨー角補正では、デジタルカメラ１００の撮影時のヨー角の動き（デジタルカメラ１００の上下方向を軸とした回転方向の動き）を打ち消すように映像の方向が補正される。図４（ｃ）はヨー角補正を行った場合の表示例を示しているため、時点Ｔ１から時点Ｔ２の期間に起きた撮影時のデジタルカメラ１００のヨー角の回転が打ち消されるように補正される。従って図４（ｃ）の右側では、図４（ｃ）の左側と同じ家３０１の見える方向の映像が表示される（方向Ａの映像が表示される）。すなわち、動画Ｂの再生の進行に伴いカメラが向く向きが変化したとしても、時点Ｔ１に対応する再生箇所では家３０１が見え（方向Ａの映像が見え）、時点Ｔ２に対応する再生箇所となっても家３０１が見える（方向Ａの映像が見える）。これにより、ユーザーが見る向きを変更しておらず、タッチ操作などで表示範囲の変更も行っていないにもかかわらず表示される方向が変わってしまったという違和感を与えることを防止することができる。なお、天頂補正を行っていないため、時点Ｔ２でも家３０１は傾いて見える。

図４（ｄ）に、図４（ａ）の状況で撮影された動画Ｂを、表示制御装置２００で天頂補正を行い、ヨー角補正を行わずに再生表示した場合（第２の表示方法）の模式図を示す。図４（ｄ）の左側では、動画Ｂのうちユーザーは時点Ｔ１に対応する再生箇所を視聴している。動画Ｂはデジタルカメラ１００が傾いた状態で撮影された画像であるが、天頂補正をしているため、傾いていない映像が表示される。すなわち、家３０１が傾かない向きで表示される。図４（ｄ）の右側は、図４（ｄ）の左側の状態から、時点Ｔ２に対応する位置まで動画の再生が進行した場合の模式図である。ヨー角補正を行っていないため、ユーザーは見る向きを変更しておらず、タッチ操作などで表示範囲の変更も行っていないにもかかわらず、表示範囲が変わって見える。すなわち、動画Ｂの再生の進行に伴い、時点Ｔ１に対応する再生箇所では家３０１が見えてたのに（方向Ａの映像が見えていたのに）、時点Ｔ２に対応する再生箇所では家３０１ではなく犬３０２が見える（方向Ｂの映像が見える）ように映像が変化する。このように、図４（ａ）と同様、視聴するユーザーは視聴方向（表示範囲）を変える姿勢変化や操作を行っていないにも関わらず表示範囲が変わって見えるため、場合によっては没入感が阻害されるおそれがある。なお、天頂補正を行っているため、犬３０２は傾かずに見える。

図４（ｅ）に、図４（ａ）の状況で撮影された動画Ｂを、表示制御装置２００で天頂補正とヨー角補正の双方を行って再生表示した場合（第１の表示方法）の模式図を示す。図４（ｅ）の左側では、動画Ｂのうちユーザーは時点Ｔ１に対応する再生箇所を視聴している。動画Ｂはデジタルカメラ１００が傾いた状態で撮影された画像であるが、天頂補正をしているため、傾いていない映像が表示される。すなわち、家３０１が傾かない向きで表示される。図４（ｅ）の右側は、図４（ｅ）の左側の状態から、時点Ｔ２に対応する位置まで動画の再生が進行した場合の模式図である。ヨー角補正を行っているため、時点Ｔ１から時点Ｔ２の期間に起きた撮影時のデジタルカメラ１００のヨー角の回転が打ち消されるように補正される。従って図４（ｅ）の右側では、図４（ｅ）の左側と同じ家３０１の見える方向の映像が表示される（方向Ａの映像が表示される）。これにより、ユーザーが見る向きを変更しておらず、タッチ操作などで表示範囲の変更も行っていないにもかかわらず表示される方向が変わってしまったという違和感を与えることを防止することができる。また、天頂補正を行っているため時点Ｔ２でも家３０１は傾かずに見える。

表示制御装置２００は、上述したような第１の表示方法～第４の表示方法を、下記のような条件に従って適応的に使い分ける。

（１）再生方法（表示方法）のユーザー設定に応じて使い分ける。

設定項目として、第１の表示方法～第４の表示方法の何れとするかをユーザーが予め設定できるようにし（表示方法のマニュアル設定）、その設定に基づいた表示方法で表示する。これにより、ユーザーの好みに合う表示方法で表示することができる。また、表示方法をＶＲビューとするかその他の表示方法とするかをユーザー操作に応じて設定できるようにし、ＶＲビューとした場合には第１の表示方法とする。これは、ＶＲビューが、視聴するユーザーが行った表示制御装置２００に対する姿勢変化に連動して表示範囲を変更するという表示方法であるという特性上、特に視聴するユーザーの没入感を優先させた方が好適であるためである。言い換えると、ＶＲ画像のうち視聴すべき方向の主導権が、撮影時のユーザーというよりも再生時のユーザーにあると考えられるためである。

（２）撮影時の設定情報に応じて使い分ける。

撮影時に、デジタルカメラ１００で設置箇所などの設定を行われており、設定された内容が属性情報（メタデータ）としてＶＲ画像に関連付けて記録されていた場合に、その情報に基づいて表示方法を判断する。

設置箇所が、設定なし、自撮り棒、手持ちである場合には、第１の表示方法とする。自撮り棒（セルフィースティック）に装着して撮影していた場合は、撮影者がデジタルカメラ１００の撮影範囲に好適に収まるようにデジタルカメラ１００が撮影者の体から離れるように持つ場合が多い。また、自撮り棒の一端にデジタルカメラ１００を装着し、自撮り棒の他端を持ってデジタルカメラ１００の姿勢を調整する。そのため、デジタルカメラ１００の正面をどこに向けるか、デジタルカメラ１００を重力方向に対してどの向きで保持するか、というのを調整するのが難しい。また、全方位カメラであるため、撮影者は、デジタルカメラ１００をある程度自分から離すように持てば、デジタルカメラ１００の正面を気にしなくとも自分が好適に写るであろうと考える。従って、自撮り棒を用いた全方位カメラでの撮影は、デジタルカメラ１００の正面をどこに向けるか、デジタルカメラ１００を重力方向に対してどの向きで保持するか、というのを意識していない可能性が高い。そのため、補正無しで表示してしまうと見苦しくなる可能性が高い。従って天頂とヨー角の双方を補正する第１の表示方法で表示することにより、デジタルカメラ１００の正面の方向とデジタルカメラ１００の傾きを意識しない撮影で取得された画像あっても好適にＶＲ画像を視聴できるようにする。手持ち撮影も、デジタルカメラ１００の正面方向とデジタルカメラ１００の傾きは撮影者の意図を反映したもので無い可能性が高いため、同様に第１の表示方法で表示するようにする。

設置箇所が自転車、車、スキー、スノーボード、サーフボード等に固定する設定であった場合は、天頂補正するが、ヨー角は補正しない第２の表示方法とする。これらは前方を意識して進行するものであり、また、途中で進行方向が変わることがある。このような進行する映像が撮影された全方位動画では進行方向が意識される。通常、進行方向が一定の方向（再生時に視聴するユーザーにとっての正面）に見えないと不自然である。そのため、動画の途中で進行方向が変化した場合にも、変化後の進行方向が一定の方向（再生時に視聴するユーザーにとっての正面）に見えるように、ヨー角補正を行わない。これによって、再生された動画を視聴するユーザーは、あたかもデジタルカメラ１００が設置されていた乗りものに乗っていたかのような没入感を得ることができる。

設置箇所がドローン（無人航空機）などの飛行物体の場合は、ヨー角は補正するが天頂は補正しない第３の表示方法とする。このようにすることで、再生時の視聴者は撮影時のカメラの正面の方向にかかわらず任意の方向を見ることができる。一方で、旋回時や風を受けた際のロール角やピッチ角の傾きは再現されるため、実際に飛行物体に乗っているかのような臨場感を得ることができる。設置箇所が船やハンググライダー、スカイダイビング、パラシュート降下時に使用するものの場合も、第３の表示方法としてもよい。

設置箇所が、ヘルメット、ジェットコースター等で有った場合は、天頂もヨー角も補正しない第４の表示方法とする。天頂補正もヨー角補正しない場合、撮影時の撮像装置の状況が忠実に再現され、視聴者は撮影時の追体験をすることができる。例えばジェットコースターに乗るユーザーのヘルメットに装着されて撮影された動画をＶＲ表示でみると、ジェットコースターが垂直ループする際に天地が逆さまになった映像が見え、カーブでの傾きや進行方向も再現される。従ってあたかもジェットコースターに乗っているような没入感、臨場感を得ることができる。なお、進行する乗り物や器具であっても、宙返りするような競技用の器具または競技者のヘルメット等に設置され、競技者の追体験を行えるような臨場感を優先する場合には、第２の表示方法ではなく、第４の表示方法としてもよい。このような競技としては、スキーのモーグルやエアリアル、スノーボードのビッグエアやハーフパイプ、オートバイのフリースタイルモトクロスなどが例として挙げられる。

（３）撮影時のカメラの移動速度に応じる。

撮影時に撮影しているカメラが有る程度の速度以上で移動していると判定できる場合に、第２の表示方法とする。これは、前述の（２）で説明した理由と同様であり、徒歩より速い速度で移動している場合は、前方を意識して進行しると考えられるためである。設置場所の設定に関する情報が得られなかった場合にも適用できる。逆に、撮影時に撮影しているカメラの移動速度が有る程度の速度未満であると判定できる場合に、第１の表示方法とする。カメラの移動速度は、撮影したカメラの備えられた加速度センサーなどの動きセンサー、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサーなどの測位センサーで得たものでも良い。また、カメラの移動速度は、動画を解析して前後のフレームの相関により得たものでもよい。

（４）カメラのブレの強弱に応じる。

撮影時に撮影しているカメラが有る程度振動している（ブレている）と判定できる場合に、第２の表示方法とする。これは、振動が大きい場合は、静止して固定されているのではなく、移動している可能性があるためである。移動している場合に第２の表示方法を採用する理由は（２）で述べた通りである。この条件であれば、撮影時のカメラの移動速度が取得できない場合にも適用可能である。逆に、撮影時のカメラの振動が小さい場合には第１の表示方法とする。

（５）映像の解析結果に応じる。

撮影待機状態で得られたライブビュー画像、あるいは記録された動画を解析し、カメラに対して相対的に静止した所定面積以上の被写体がある場合に、第２の表示方法とする。相対的に静止した所定面積以上の被写体（静止被写体）は、撮影時にカメラを固定した器具（自転車のハンドル、車のボンネット、スキー先端など）などである可能性が高い。このような静止被写体が写っている場合は、ＶＲ動画の途中で撮影方向が変わっても、視聴者には静止被写体が見えているため、撮影方向の変化は映像の表示範囲が変わったのではなく、撮影時に静止被写体自体の方向が変わったための変化であることが分かる。従って図４（ｄ）で上述したような没入感の阻害要因となる可能性が低い。また、これらの場合は、進行する乗り物などに設置されている可能性も高い。

図５に、デジタルカメラ１００によるＶＲ画像の撮影処理（撮影処理１）のフローチャートを示す。この処理は、不揮発性メモリ５６に記録されたプログラムをシステムメモリ５に展開してシステム制御部５０が実行することにより実現する。デジタルカメラ１００を撮影モードにして撮影待機状態で起動すると、図５の処理が開始される。

Ｓ５０１では、システム制御部５０は、設置場所を設定する指示があったか否かを判定する。設置場所の設定指示は、表示部２８に表示された設定画面を見ながら操作部７０を操作して行うか、デジタルカメラ１００と無線接続された外部機器（例えば表示制御装置２００）に表示された設定画面を見ながら外部機器側を操作して行うことができる。図６（ａ）に、撮影待機時にデジタルカメラ１００と接続された表示制御装置２００のディスプレイ２０５に表示される設置場所設定画面の表示例を示す。設定可能な設置場所の選択肢として、未指定、手持ち、三脚、自撮り棒、ヘルメット、ボディオン、自転車／スキー／スノーボード、自動車が表示される。また、下の方へスクロースさせれば、更にドローン、ジェットコースター，バイク、天井といった選択肢が存在するものとする。ユーザーはこれらのうち何れかを選択して設置場所に設定することが可能である。なお、設置場所の候補は一例であり、これよりも少なくても良いし、更に設置場所の候補があってもよい。設置場所を設定する指示があった場合にはＳ５０２に進み、そうでない場合はＳ５０３に進む。

Ｓ５０２では、システム制御部５０は、Ｓ５０１で受け付けた設置場所の設定指示に基づいて、指示された設置場所を設定して不揮発性メモリ５６に記憶する。

Ｓ５０３では、システム制御部５０は、その他の指示があったか否かを判定する。その他の指示としては、撮影条件（シャッター速度や絞り、ホワイトバランス、セルフタイマー、動画記録／静止画撮影の切換え、画素数、圧縮率、ファイル形式）の設定指示を受け付けることができる。その他の指示があった場合はＳ５０４に進み、そうでない場合はＳ５０５に進む。Ｓ５０４では、システム制御部５０は、受け付けた指示に応じた処理を行う。

Ｓ５０５では、システム制御部５０は、撮像部２２ａ、２２ｂでのライブ画像（ライブビュー画像）の撮影を開始する。そして、外部機器（例えば表示制御装置２００）と接続していた場合には、接続Ｉ／Ｆを介して外部機器へのライブ画像の出力を開始する。この結果、外部機器側の表示部（例えば表示制御装置２００のディスプレイ２０５）において、撮影されているＶＲ画像のライブビュー画像が表示される。

Ｓ５０６では、システム制御部５０は、画像処理部２４を用いて、撮像したライブ画像の解析を開始する。解析結果に応じて、移動情報、振れ情報、静止被写体情報などをシステムメモリ５２に記録する。

移動情報は次のようにして得る。ライブ画像のフレーム間の相関（差分）を解析して、デジタルカメラ１００が所定速度以上で移動しているかを判定する。例えば進行方向側の映像であれば、解析の結果、進行方向延長線上にある消失点から画像の各特徴点が放射状に移動していることがわかれば、デジタルカメラ１００が進行方向延長線に向かって移動していることが分かる。そして、各特徴点の移動ベクトルから移動速度を求めることができる。解析結果として得られるデジタルカメラ１００に移動速度を示す、あるいは所定速度以上で移動しているか否かを示す移動情報をシステムメモリ５２に保持する。そして、この後静止画または動画を撮影して記録する際に、画像ファイルのフレーム毎の属性情報（メタデータ）として移動情報を記録する。

振れ情報は次のようにして得る。システム制御部５０は、ライブ画像のフレーム間の相関（差分）を解析して、デジタルカメラ１００が振れているか否かを判定し、どの程度振れているかを示す振れ情報を記録してもよい。例えば、解析の結果、ほぼ全ての特徴点が同じ方向に移動していることがわかれば、デジタルカメラ１００自体が振動している（振れている）ことが分かる。そして、特徴点の移動ベクトルの大きさで、振れの量がわかる。

静止被写体情報は次のようにして得る。システム制御部５０は、所定時間分（例えば３秒分）の複数フレームでライブ画像を解析する。そして、所定時間分の複数フレームにわたって、同じ位置に同じ特徴点が存在し続ける場合に、デジタルカメラに対して相対的に静止した被写体があるとみなせる。その静止した被写体と繋がっているとみなせる部分の面積のＶＲ画像全体に占める割合が閾値以上である場合に、静止した所定面積以上の被写体があることを示す静止被写体情報をシステムメモリ５２に記録する。

Ｓ５０７では、システム制御部５０は、動画撮影（動画記録）の開始を指示する動画記録指示があったか否かを判定する。例えば、モード切替スイッチ６０によって動画撮影モードに設定された状態で、シャッターボタン６１が押下されると、動画記録指示があったと判定される。また、リモートＬＶ表示が行われている際の外部機器側からの動画記録指示があった場合もＹｅｓと判定する。動画記録指示があった場合はＳ５０８に進み、そうでない場合はＳ５１６に進む。

Ｓ５０８では、システム制御部５０は、姿勢検知部５５でデジタルカメラ１００の重力方向に関する姿勢を検知し、次に記録するＶＲ動画のフレームの姿勢情報としてシステムメモリ５２に記録する。また、姿勢検知部５５の出力に基づいて閾値以上の振れがあるか否か（所定条件を満たす振れをしているか）を判定し、検出した振れの量を示す振れ情報をシステムメモリ５２に記録する。これらの情報は、後述するＳ５１３で、ＶＲ動画のフレームに対応付けて属性情報（メタデータ）として記録される。

Ｓ５０９では、システム制御部５０は、姿勢検知部５５や、測位センサー（不図示）の出力に基づいて、デジタルカメラ１００の移動速度を検知する。移動速度は１フレーム分の期間で検知されるものに限らず、何フレームか前から得ていた情報（例えば記録開始直後であれば、記録開始直前のＳ５０６で解析していた情報）も加味して検知する。検知された移動速度を示す移動情報をシステムメモリ５２記録し、後述するＳ５１３で、ＶＲ画像のフレームに対応付けて属性情報（メタデータ）として記録する。

Ｓ５１０では、システム制御部５０は、撮像部２２ａ、２２ｂを用いて、１フレーム分の画像を撮像し、メモリ３２に保持する。

Ｓ５１１では、システム制御部５０は、画像処理部２４を用いて、メモリ３２に保持している撮像された画像に前述の繋ぎ画像処理を施して単一のＶＲ画像を生成し、メモリ３２に保持する。

Ｓ５１２では、システム制御部５０は、Ｓ５０６と同様に、Ｓ５１１で取得した画像を解析し、状況に応じて移動情報、振れ情報、静止被写体情報を記録する。なおここでの解析は、１フレーム分の期間で得られる情報に限らず、何フレームか前から得ていた情報（例えば記録開始直後であれば、記録開始直前のＳ５０６で解析していた情報）も加味して検知する。

Ｓ５１３では、メモリ３２に保持したＶＲ画像を、ＶＲ動画の１フレーム分として記録媒体９０に動画ファイルとして記録する。動画ファイルには、後にＶＲビューを行えるか否かの識別に用いることが可能な、ＶＲ画像であることを示す属性情報（メタデータ）も付与される。また、ここで記録するフレーム分の情報としてシステムメモリ５２に記録していた姿勢情報、移動情報、振れ情報、静止被写体情報を、Ｓ５１３で記録したフレームの属性情報（メタデータ）として動画ファイルに関連付けて記録する。また、不揮発性メモリ５６に記録された設置場所の設定情報（設置場所情報）もＳ５１３で記録したフレームの属性情報（メタデータ）として動画ファイルに関連付けて記録する。なお、設定場所情報は、フレーム毎の情報ではなく動画ファイル単位の情報として記録しても良い。

Ｓ５１４では、システム制御部５０は、動画の記録の停止指示があったか否かを判定する。動画記録の停止指示があった場合はＳ５１５に進み、停止指示がない場合にはＳ５０８に進んで次のフレームのための処理を行う。

Ｓ５１５では、システム制御部５０は、記録媒体９０に記録していた動画ファイルのクローズ処理を行う。

Ｓ５１６では、システム制御部５０は、静止画の撮影を指示する静止画撮影指示があったか否かを判定する。例えば、モード切替スイッチ６０によって静止画撮影モードに設定された状態で、シャッターボタン６１が押下されると、静止画撮影指示があったと判定される。また、リモートＬＶ表示が行われている際の外部機器側からの静止画撮影指示があった場合もＹｅｓと判定する。静止画撮影指示があった場合はＳ５１７に進み、そうでない場合はＳ５２２に進む。

Ｓ５１７では、システム制御部５０は、姿勢検知部５５でデジタルカメラ１００の重力方向に関する姿勢を検知し、記録する静止画の姿勢情報としてシステムメモリ５２に記録する。また、姿勢検知部５５の出力に基づいて閾値以上の振れがあるか否かを判定し、検出した振れの量を示す振れ情報をシステムメモリ５２に記録する。これらの情報は、後述するＳ５２１で、静止画のＶＲ画像に対応付けて属性情報として記録される。

Ｓ５１８では、システム制御部５０は、姿勢検知部５５や、測位センサー（不図示）の出力に基づいて、デジタルカメラ１００の移動速度を検知する。移動速度は１フレーム分の期間で検知されるものに限らず、何フレームか前から得ていた情報（例えば記録開始直後であれば、記録開始直前のＳ５０６で解析していた情報）も加味して検知する。検知された移動速度を示す移動情報をシステムメモリ５２記録し、後述するＳ５２１で、静止画のＶＲ画像に関連付けて属性情報として記録する。

Ｓ５１９では、システム制御部５０は、撮像部２２ａ、２２ｂを用いて、静止画を撮像し、メモリ３２に保持する。

Ｓ５２０では、システム制御部５０は、画像処理部２４を用いて、メモリ３２に保持している撮像された画像に前述の繋ぎ画像処理を施して単一のＶＲ画像を生成し、メモリ３２に保持する。

Ｓ５２１では、システム制御部５０は、メモリ３２に保持したＶＲ画像を、静止画のＶＲ画像として記録媒体９０に静止画ファイルとして記録する。静止画ファイルには、後にＶＲビューを行えるか否かの識別に用いることが可能な、ＶＲ画像であることを示す属性情報（メタデータ）も付与される。また、ここで記録する静止画ファイルの属性情報としてシステムメモリ５２に記録していた姿勢情報、移動情報、振れ情報を属性情報（メタデータ）として静止画ファイルに関連付けて記録する。また、不揮発性メモリ５６に記録された設置場所の設定情報（設置場所情報）も静止画ファイルに関連付けて記録する。

Ｓ５２２では、システム制御部５０は、電源オフ、撮影モード以外の動作モードへの遷移指示などの、終了イベントがあったか否かを判定する。終了イベントが無い場合はＳ５０１へ進んで処理を繰り返し、終了イベントがあった場合は撮影処理を終了する。

以上のようにして、後述の再生処理（表示制御処理）で再生されるＶＲ画像が記録される。記録媒体９０に記録されたＶＲ画像は、表示制御装置２００に記録媒体９０を装着する、表示制御装置２００に無線または有線により転送することにより、表示制御装置２００で表示することが可能である。

図７に、表示制御装置２００で行われるＶＲ画像の表示制御処理のフローチャートを示す。この処理は、ＣＰＵ２０１が、不揮発性メモリ２０３に記録されたプログラムを、メモリ２０２をワークメモリとして展開して実行することにより実現する。ディスプレイ２０５に一覧表示された画像からＶＲ画像が選択されるなどして、ＶＲ画像の再生表示が指示されると図７の処理が開始される。

Ｓ７０１では、ＣＰＵ２０１は、不揮発性メモリ２０３を参照し、補正設定がマニュアルになっているか否かを判定する。補正設定がマニュアルに設定されていない場合（オートに設定されている場合）はＳ７０２に進み、マニュアルに設定されている場合はＳ７０３に進む。補正設定は、ＶＲ画像の天頂補正、ヨー補正に関して予めユーザー操作に基づいて設定され、不揮発性メモリ２０３に記録されている設定である。補正設定の際には、図６（ｂ）のような補正設定の設定画面がディスプレイ２０５に表示される。補正設定画面において、ユーザーは、オートとマニュアルのいずれか一方を選択可能である。マニュアルが選択された場合、天頂補正とヨー補正のそれぞれについて、オンとするかオフとするかを選択可能である。ユーザーによる選択操作が行われると、ＣＰＵ２０１は選択された内容を補正設定として不揮発性メモリ２０３に記録する。

Ｓ７０２では、ＣＰＵ２０１は、オート補正判別処理を行う。この処理は、条件に応じて第１～第４の表示方法のいずれかを自動的に選択してＶＲ画像を表示する処理である。オート補正判別処理の詳細は図８を用いて後述する。

Ｓ７０３では、ＣＰＵ２０１は、補正設定で天頂補正がオンに設定されているか否かを判定する。天頂補正がオンに設定されている場合にはＳ７０４に進み、オフに設定されている場合にはＳ７０７に進む。

Ｓ７０４では、ＣＰＵ２０１は、補正設定でヨー補正がオンに設定されているか否かを判定する。ヨー補正がオンに設定されている場合はＳ７０５に進み、オフに設定されている場合にはＳ７０６に進む。

Ｓ７０５では、ＣＰＵ２０１は、ディスプレイ２０５に、ＶＲ画像を前述の第１の表示方法で表示する。すなわち、天頂補正とヨー補正の双方を行って表示する。天頂補正とヨー補正は、表示するＶＲ画像の属性情報として付与された姿勢情報に基づいて行う。ＶＲビューである場合には、表示するＶＲ画像の属性情報として付与された姿勢情報に加え、姿勢検出部２１３で検出している現在の表示制御装置２００の姿勢の双方に基づいて補正を行う。この結果、図４（ｅ）で説明したように表示される。

Ｓ７０６では、ＣＰＵ２０１は、ディスプレイ２０５に、ＶＲ画像を前述の第２の表示方法で表示する。すなわち、天頂補正を行い、ヨー補正は行わずに表示する。天頂補正は、表示するＶＲ画像の属性情報として付与された姿勢情報に基づいて行う。ＶＲビューである場合には、表示するＶＲ画像の属性情報として付与された姿勢情報と、姿勢検出部２１３で検出している現在の表示制御装置２００の姿勢の双方に基づいて補正を行う。この結果、図４（ｄ）で説明したように表示される。

Ｓ７０７では、ＣＰＵ２０１は、補正設定でヨー補正がオンに設定されているか否かを判定する。ヨー補正がオンに設定されている場合はＳ７０８に進み、オフに設定されている場合にはＳ７０９に進む。

Ｓ７０８では、ＣＰＵ２０１は、ディスプレイ２０５に、ＶＲ画像を前述の第３の表示方法で表示する。すなわち。天頂補正は行わず、ヨー補正を行って表示する。ヨー補正は、表示するＶＲ画像の属性情報として付与された姿勢情報に基づいて行う。ＶＲビューである場合には、表示するＶＲ画像の属性情報として付与された姿勢情報と、姿勢検出部２１３で検出している現在の表示制御装置２００の姿勢の双方に基づいて補正を行う。この結果、図４（ｃ）で説明したように表示される。

Ｓ７０９では、ＣＰＵ２０１は、ディスプレイ２０５に、ＶＲ画像を前述の第４の表示方法で表示する。すなわち。天頂補正とヨー補正のどちらも行わずに表示する（姿勢に関する補正を行わずに表示する）。従って、ＶＲ画像の属性情報として付与された姿勢情報には基づかずに表示する。この結果、図４（ｂ）で説明したように表示される。

図８に、図７のＳ７０２のオート補正判別処理の詳細のフローチャートを示す。この処理は、ＣＰＵ２０１が、不揮発性メモリ２０３に記録されたプログラムを、メモリ２０２をワークメモリとして展開して実行することにより実現する。

Ｓ８０１では、ＣＰＵ２０１は、ＶＲ画像の表示方法としてＶＲビューが設定されているか否かを判定する。ＶＲビューである場合にはＳ８０２に進み、ＶＲビューでない場合にはＳ８０３へ進む。

Ｓ８０２では、ＣＰＵ２０１は、ディスプレイ２０５に、ＶＲ画像を前述の第１の表示方法で表示する。すなわち、天頂補正とヨー補正の双方を行って表示する。この結果、図４（ｅ）で説明したように表示される。この処理はＳ７０５と同様である。

Ｓ８０３では、ＣＰＵ２０１は、表示すべきＶＲ画像の属性情報（メタデータ）を取得する（情報取得、情報の読み込み）。

Ｓ８０４では、ＣＰＵ２０１は、Ｓ８０３で取得した属性情報に含まれる、ＶＲ画像を撮影した際の設置場所の設定を示す設置場所情報に基づき、設置場所が未指定であったか否かを判定する。設定場所が未指定であった場合はＳ８１１に進み、そうでない場合にはＳ８０５に進む。

Ｓ８０５では、ＣＰＵ２０１は、Ｓ８０３で取得した属性情報に含まれる設置場所情報に基づき、設置場所が第１群に含まれる設定場所のうちの何れかであるか否かを判定する。第１群には、手持ち、三脚、自撮り棒、天井のうち少なくとも１つが含まれるものとする。設置場所が第１群のいずれかであった場合にはＳ８０２に進んで第１の表示方法で表示を行い、そうでない場合にはＳ８０６へ進む。

Ｓ８０６では、ＣＰＵ２０１は、Ｓ８０３で取得した属性情報に含まれる設置場所情報に基づき、設置場所が第２群に含まれる設定場所のうちの何れかであるか否かを判定する。第２群には、自転車、スキー、スノーボード、サーフボード、自動車、ボディオンのうち少なくとも１つが含まれるものとする。設置場所が第２群のいずれかであった場合にはＳ８０７に進み、そうでない場合にはＳ８０８へ進む。

Ｓ８０７では、ＣＰＵ２０１は、ディスプレイ２０５に、ＶＲ画像を前述の第２の表示方法で表示する。すなわち、天頂補正を行い、ヨー補正は行わずに表示する。この結果、図４（ｄ）で説明したように表示される。この処理はＳ７０６と同様である。

Ｓ８０８では、ＣＰＵ２０１は、Ｓ８０３で取得した属性情報に含まれる設置場所情報に基づき、設置場所が第３群に含まれる設定場所のうちの何れかであるか否かを判定する。第３群には、例えばドローンが含まれるものとする。ハンググライダー、スカイダイビング、パラシュートなどが含まれても良い。設置場所が第３群のいずれかであった場合にはＳ８０９に進み、そうでない場合（第４群であった場合）にはＳ８１０へ進む。

Ｓ８０９では、ＣＰＵ２０１は、ディスプレイ２０５に、ＶＲ画像を前述の第３の表示方法で表示する。すなわち、天頂補正を行わず、ヨー補正を行って表示する。この結果、図４（ｃ）で説明したように表示される。この処理はＳ７０８と同様である。

Ｓ８１０では、ＣＰＵ２０１は、ディスプレイ２０５に、ＶＲ画像を前述の第４の表示方法で表示する。すなわち。天頂補正とヨー補正のどちらも行わずに表示する（姿勢に関する補正を行わずに表示する）。この結果、図４（ｂ）で説明したように表示される。この処理はＳ７０９と同様である。

なお、本実施形態においては、ＶＲ画像が撮影された際の設置場所をユーザーが予め設定しておくものとして説明した。しかしこれに限らず、ユーザーが設置場所を設定していなくとも、自動的に設置場所が判定できる場合には、自動的に判定した設置場所の情報を用いてＳ８０４、Ｓ８０５、Ｓ８０６、Ｓ８０８の判定を行っても良い。この場合、Ｓ８０４は設定場所が未指定であるか、自動判定できていない場合にＹｅｓとなる。例えば、撮影時のデジタルカメラ１００の姿勢検知部５５での検出結果に基づいて、振動がほぼ無い状態で撮影された場合には、三脚に設定されて撮影されたと判定することが可能である。また、デジタルカメラ１００に接続された設置場所毎のアクセサリー（アタッチメント）の種別を判定することで設置場所を判定することも可能である。

Ｓ８１１では、ＣＰＵ２０１は、Ｓ８０３で取得した属性情報に含まれる移動情報に基づき、撮影時にカメラが閾値を超える移動速度で移動していたか否かを判定する。閾値を超える移動速度で移動していた場合にはＳ８０７へ進み第２の表示方法で表示を行う。そうでない場合にはＳ８１１に進む。

Ｓ８１２では、ＣＰＵ２０１は、は、表示すべきＶＲ画像が動画である場合には、表示すべき動画を解析する。この処理は、前述の図５のＳ５１２でシステム制御部５０が行った処理と同様であり、ここでの再生時の解析によって振れ情報、静止被写体情報を取得する。Ｓ８０３で取得した属性情報に振れ情報、静止被写体情報が含まれている場合（すなわち撮影時に解析済みであった場合）にはこのステップは飛ばしてもよい。

Ｓ８１３では、ＣＰＵ２０１は、表示するＶＲ画像に、所定面積以上の静止した被写体が存在するか否かを判定する。所定面積以上の静止した被写体が存在する場合にはＳ８０７に進み、そうでない場合にはＳ８１４に進む。Ｓ８０３で取得した属性情報に静止被写体情報が含まれており、それが表示するＶＲ画像に所定面積以上の静止した被写体が存在することを示している場合には真と判定する。また、Ｓ８１２で解析した結果、所定面積以上の静止した被写体が存在すると判定された場合にも真と判定する。表示するＶＲ画像が動画である場合には、所定時間にわたって（所定期間以上）、所定面積以上の静止した被写体が含まれていた場合に真と判定してもよい。また、記録されている動画の開始時点から所定時間まで、あるいは最後まで途切れなく所定面積以上の静止した被写体が存在した場合に真と判定してもよい。これは、ＶＲ画像を撮影したカメラが乗り物などに設置されていた場合には、所定面積以上の静止した被写体として、設置された乗り物の一部が記録の開始から写り込むためである。

Ｓ８１４では、表示するＶＲ画像を撮影した際のカメラの振れが閾値を超えていたか否かを判定する。カメラの振れが閾値を超えていた場合はＳ８０７に進み、そうでない場合はＳ８０２に進む。Ｓ８０３で取得した属性情報に振れ情報が含まれており、それが表示するＶＲ画像を撮影したカメラが閾値以上に振れていたことを示している場合には真と判定する。また、Ｓ８１２で解析した結果、カメラの振れが閾値を超えていたと判定された場合にも真と判定する。

以上のようにして、ＶＲ画像を表示する際に天頂補正とヨー補正のそれぞれについて実行するか否かを適応的に使い分ける。従ってユーザーは、ＶＲ画像をより好ましい表示で観賞することができる。上述の図７，図８では、以下の（１）～（５）条件に基づいてＶＲ画像の表示方法を使い分ける例を説明した。

（１）再生方法（表示方法）のユーザー設定に応じて使い分ける。（Ｓ７０３～Ｓ７０９、Ｓ８０１）
（２）撮影時の設定情報に応じて使い分ける。（Ｓ８０４～Ｓ８１０）
（３）撮影時のカメラの移動速度に応じる。（Ｓ８１１）
（４）カメラのブレの強弱に応じる。（Ｓ８１４）
（５）映像の解析結果（画像解析結果）に応じる。（Ｓ８１３，Ｓ８１４）

なお、（１）～（５）の条件判定は、上述の図７、図８の順に判定するものに限らなくても良い。例えば、Ｓ８０１でＶＲビューであるか否かを判定する前に、Ｓ８０４の設置場所の判定を行い、設置場所が指定済みであれば、Ｓ８０５、Ｓ８０６，Ｓ８０８の判定に基づいて表示方法を決めても良い。すなわち、設置場所が指定済みであれば、ＶＲビューであるか否かに関わらず、設置場所に基づいて表示方法を決めても良い。設置場所が未指定であれば、Ｓ８０１のＶＲビューであるか否かの判定を行い、ＶＲビューであればＳ８０２へ進み、そうでない場合にＳ８１１に進む。また、Ｓ８０１、Ｓ８０４、Ｓ８０５、Ｓ８０６，Ｓ８０８の判定の前に、Ｓ８１３の判定を行い、所定面積以上の静止被写体がある場合に、ＶＲビューであるか否かに関わらず、また、設置場所に関わらず、第２の表示方法で表示するものとしてもよい。所定面積以上の静止被写体が無い場合に、その他の条件に基づいて表示方法を判定する。同様に、判定の順序は適宜変更してもよい。

また、（１）～（５）の条件判定は全て行わなくともよく、少なくとも一つを行うものｔであれば、他の条件判定は行わなくてもよい。例えば、再生方法のマニュアル設定ができない危機において、Ｓ７０１、Ｓ７０３～Ｓ７０９の処理を省き、Ｓ７０２の処理だけを行うものとしてもよい。また、Ｓ８０１の処理を省き、図８をＳ８０３からスタートするようにしてもよい。すなわち、ＶＲビューであるか否かに関わらず他の条件に基づいて表示方法を決めるものとしても良い。これらに限らず（１）～（５）の条件判定は適宜省略してよい。

＜変形例＞
上述の実施形態では、表示方法を再生時に決定し、天頂補正、ヨー補正を再生時に施す例を説明したが、これに限るものではなく、撮影時の条件判定に応じて、天頂補正、ヨー補正を施した上で画像を記録するようにしてもよい。このようにすれば、再生装置側（表示制御装置２００側）は特段の判定や補正処理をしなくとも、記録された画像をただ再生表示するだけで、ユーザーにとって好適な向きでのＶＲ画像の表示が可能となる。

図９に、撮影時の条件判定の例を示す。図９は、デジタルカメラ１００で行われる映像補正処理の例を示すフローチャートである。この処理は、前述した図５で説明したＳ５１２の後、Ｓ５１３の処理を行う前に行われる。また、この処理は、不揮発性メモリ５６に記録されたプログラムをシステムメモリ５２に展開してシステム制御部５０が実行することにより実現する。

Ｓ９０１では、システム制御部５０は、不揮発性メモリ５６に記録された設定内容を参照し、補正設定がマニュアルに設定されているか否かを判定する。なお、変形例においては、補正設定がマニュアルに設定されていない場合（オートに設定されている場合）はＳ９０２に進み、マニュアルに設定されている場合はＳ９０３に進む。補正設定は、ＶＲ画像の天頂補正、ヨー補正に関して、デジタルカメラ１００で予めユーザー操作に基づいて設定され、不揮発性メモリ５６に記録されている設定である。補正設定の際には、図６（ｂ）のような補正設定の設定画面が、デジタルカメラ１００を接続した外部機器である表示制御装置２００のディスプレイ２０５に表示される。あるいは、デジタルカメラ１００の表示部２８に表示されるものとしても良い。補正設定画面において、ユーザーは、オートとマニュアルのいずれか一方を選択可能である。マニュアルが選択された場合、天頂補正とヨー補正のそれぞれについて、オンとするかオフとするかを選択可能である。ユーザーによる選択操作が行われると、システム制御部５０は選択された内容を補正設定として不揮発性メモリ５６に記録する。

Ｓ９０２では、システム制御部５０は、記録時オート補正処理を行う。この処理は図１０を用いて後述する。

Ｓ９０３、Ｓ９０４の処理は、前述した図７のＳ７０３，Ｓ７０４でＣＰＵ２０１が行うものとして説明した処理と同様なので説明を省略する。なお、設定情報の参照先は不揮発性メモリ２０３ではなく、不揮発性メモリ５６である。

Ｓ９０５では、システム制御部５０は、画像処理部２４を用いて、ＶＲ画像に第１の補正処理を施す。すなわち、天頂補正とヨー補正の双方を施す。Ｓ９０５の処理が終わるとＳ５１３に進み、Ｓ９０５で第１の補正処理が行われた動画（ＶＲ画像）が記録される。このようにして記録された動画を、補正処理を施さずに再生すると、前述した第１の表示方法と同様に視聴可能である。なお、このように補正済みのＶＲ画像に対して、再生工程で重ねて補正処理されないように、補正済みのＶＲ画像には、次の２つの処理の少なくとも一方を施す。１つ目としては、天頂とヨー角がそれぞれ補正済みであることを示す属性情報を付与する。表示制御装置２００では、このように補正済みであることを示す属性情報が付与されている場合には、上述の条件判定（１）～（５）に関わらず、第４の表示方法で表示する。２つ目としては、補正済みのＶＲ画像の姿勢情報を天頂の傾きが無いものとして記録し、ヨー角の変化もなかったものとして記録する。表示制御装置２００においては、このように天頂の傾きがなく、ヨー角の変化も無いＶＲ画像を表示する際には、第１の表示方法～第４の表示方法のいずれであっても天頂もヨー角も補正しないこととなる。従って上述の条件判定（１）～（５）を行ったとしても、その結果第１の表示方法～第４の表示方法のいずれとなったとしても天頂とヨー角は同じように表示される。

Ｓ９０６では、システム制御部５０は、画像処理部２４を用いて、ＶＲ画像に第２の補正処理を施す。すなわち、ヨー補正を施すことなく、天頂補正を施す。Ｓ９０６の処理が終わるとＳ５１３に進み、Ｓ９０６で第２の補正処理が行われた動画（ＶＲ画像）が記録される。このようにして記録された動画を、補正処理を施さずに再生すると、前述した第２の表示方法と同様に視聴可能である。なお、このように補正済みのＶＲ画像に対して、再生工程で重ねて補正処理されないように、補正済みのＶＲ画像には、次の２つの処理の少なくとも一方を施す。１つ目としては、天頂とヨー角の双方が補正済みであることを示す属性情報を付与する。ヨー角は補正していないが、再生工程で補正されないように、属性情報としては補正済みとする。表示制御装置２００では、このように補正済みであることを示す属性情報が付与されている場合には、上述の条件判定（１）～（５）に関わらず、第４の表示方法で表示する。２つ目としては、補正済みのＶＲ画像の姿勢情報を天頂の傾きが無いものとして記録し、ヨー角の変化もなかったものとして記録する。表示制御装置２００においては、このように天頂の傾きがなく、ヨー角の変化も無いＶＲ画像を表示する際には、第１の表示方法～第４の表示方法のいずれであっても天頂もヨー角も補正しないこととなる。従って上述の条件判定（１）～（５）を行ったとしても、その結果第１の表示方法～第４の表示方法のいずれとなったとしても、天頂とヨー角は同じように表示される。

Ｓ９０７では、システム制御部５０は、補正設定でヨー補正がオンに設定されているか否かを判定する。ヨー補正がオンに設定されている場合はＳ９０８に進み、オフに設定されている場合にはＳ７９９に進む。

Ｓ９０８では、システム制御部５０は、画像処理部２４を用いて、ＶＲ画像に第３の補正処理を施す。すなわち、天頂補正を施すことなく、ヨー補正を施す。Ｓ９０８の処理が終わるとＳ５１３に進み、Ｓ９０８で第３の補正処理が行われた処理済みの動画（ＶＲ画像）が記録される。このようにして記録された動画を、補正処理を施さずに再生すると、前述した第３の表示方法と同様に視聴可能である。なお、このように補正済みのＶＲ画像に対して、再生工程で重ねて補正処理されないように、補正済みのＶＲ画像には、次の２つの処理の少なくとも一方を施す。１つ目としては、天頂とヨー角の双方が補正済みであることを示す属性情報を付与する。天頂は補正していないが、再生工程で補正されないように、属性情報としては補正済みとする。表示制御装置２００では、このように補正済みであることを示す属性情報が付与されている場合には、上述の条件判定（１）～（５）に関わらず、第４の表示方法で表示する。２つ目としては、補正済みのＶＲ画像の姿勢情報を天頂の傾きが無いものとして記録し、ヨー角の変化もなかったものとして記録する。

Ｓ９０９では、システム制御部５０は、ＶＲ画像に天頂補正とヨー補正を双方施すことなく記録する。Ｓ９０９処理が終わるとＳ５１３に進み、補正が施されていない動画（ＶＲ画像）が記録される。このようにして記録された動画を、補正処理を施さずに再生すると、前述した第４の表示方法と同様に視聴可能である。なお、このように補正を施さないと判定済みのＶＲ画像に対して、再生工程であらためて補正処理されないように、次の２つの処理の少なくとも一方を施す。１つ目としては、天頂とヨー角の双方が補正済みであることを示す属性情報を付与する。天頂もヨー角も補正していないが、再生工程であらためて補正されないように、属性情報としては補正済みとする。表示制御装置２００では、このように補正済みであることを示す属性情報が付与されている場合には、上述の条件判定（１）～（５）に関わらず、第４の表示方法で表示する。２つ目としては、ＶＲ画像の姿勢情報を天頂の傾きが無いものとして記録し、ヨー角の変化もなかったものとして記録する。

図１０に、図９のＳ９０２の記録時オート補正処理の詳細のフローチャートを示す。この処理は、システム制御部５０が、不揮発性メモリ５６に記録されたプログラムを、システムメモリ５２をワークメモリとして展開して実行することにより実現する。

Ｓ１００４では、システム制御部５０は、不揮発性メモリ５６に記憶された設置場所の設定状態を参照し、設置場所が未指定であるか否かを判定する。未指定である場兄はＳ１０１１に進み、指定済みである場兄はＳ１００５に進む。

Ｓ１００５では、システム制御部５０は、前述の図８のＳ８０５でＣＰＵ２０１が行うものとして説明した処理と同様の処理を行う。設置場所が第１群である場合にはＳ１００２に進み、そうでない場合にはＳ１００６に進む。

Ｓ１００６では、システム制御部５０は、前述の図８のＳ８０６でＣＰＵ２０１が行うものとして説明した処理と同様の処理を行う。設置場所が第２群である場合にはＳ１００７に進み、そうでない場合にはＳ１００８へ進む。

Ｓ１００８では、システム制御部５０は、前述の図８のＳ８０８でＣＰＵ２０１が行うものとして説明した処理と同様の処理を行う。設置場所が第３群である場合にはＳ１００９へ進み、そうでない場合にはＳ１０１０へ進む。

Ｓ１０１１は、システム制御部５０は、Ｓ５０９で検知されたカメラの移動速度が閾値を超えたか否かを判定する。閾値を超える移動速度で移動していた場合にはＳ１００７へ進み、そうでない場合にはＳ１０１３に進む。

Ｓ１０１３では、システム制御部５０は、Ｓ５０６またはＳ５１２での解析結果に基づき、記録するＶＲ画像に、所定面積以上の静止した被写体が存在するか否かを判定する。所定面積以上の静止した被写体が存在する場合にはＳ１００７に進み、そうでない場合にはＳ１０１４に進む。なお、Ｓ１０１３の判定は、所定時間にわたって所定面積以上の静止した被写体が含まれていた場合に真と判定してもよいし、記録されている動画の開始時点から現時点まで途切れなく所定面積以上の静止した被写体が存在した場合に真と判定してもよい。これは、ＶＲ画像を撮影したカメラが乗り物などに設置されていた場合には、所定面積以上の静止した被写体として、設置された乗り物の一部が記録の開始から写り込むためである。

Ｓ１０１４では、システム制御部５０は、Ｓ５０８での検知結果に基づいて、カメラの振れが閾値を超えている否か（所定条件を満たす振れをしているか）を判定する。カメラの振れが閾値を超えていた場合はＳ１００７に進み、そうでない場合にはＳ１００２に進む。

Ｓ１００２では、システム制御部５０は、ＶＲ画像に第１の補正処理を施す。この処理は前述のＳ９０５と同様の処理である。

Ｓ１００７では、ＶＲ画像に第２の補正処理を施す。この処理は前述のＳ９０６と同様の処理である。

Ｓ１００９では、システム制御部５０は、ＶＲ画像に第３の補正処理を施す。この処理は前述のＳ９０８と同様の処理である。

Ｓ１０１０では、システム制御部５０は、ＶＲ画像に補正処理を施さない。この処理は前述のＳ９０９と同様の処理である。

以上のようにして、動画のＶＲ画像を記録する際に、補正を行って、処理済みの画像を記録することが可能である。なお、静止画のＶＲ画像についても同様に、図５のＳ５２０で補正を行って記録することが可能である。

なお、上述の図８、図１０の処理に加えて、撮影時の設定がタイムラプス撮影（インターバル撮影）であった場合には、第１の表示方法で表示または第１の補正処理を施すようにしてもよい。これは、タイムラプス撮影（インターバル撮影）は、専ら静止した物体にデジタルカメラ１００を設置し、その周辺の微速度の動体の様子を記録する用途に用いられると考えられるためである。

なお、システム制御部５０が行うものとして説明した上述の各種制御、及びＣＰＵ２０１が行うものとして説明した上述の各種制御は、１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。複数のハードウェアとは、例えば、複数のプロセッサー、複数の回路、プロセッサと回路の双方などである。

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

また、上述した実施形態においては、本発明をデジタルカメラ１００または表示制御装置２００に適用した場合を例にして説明したが、これはこの例に限定されず、ＶＲ画像を撮影、または表示できる電子機器であれば適用可能である。すなわち、本発明はパーソナルコンピュータやＰＤＡ、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなどに適用可能である。

（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (13)

1. １つ以上の撮像手段で撮像された広範囲画像を取得する画像取得手段と、
   前記広範囲画像に付与された撮影時の撮像装置の姿勢を示す姿勢情報を含む属性情報を取得する情報取得手段と、
   前記姿勢情報に基づいて天頂とヨー角を補正して表示を行う第１の処理と、
   前記姿勢情報に基づいて天頂を補正してヨー角を補正しない表示を行う第２の処理と、
   前記姿勢情報に基づいてヨー角を補正して天頂を補正しない表示を行う第３の処理と、
   前記広範囲画像の天頂とヨー角の双方を補正しない表示を行う第４の処理と、
   のうち少なくとも２つを含む複数の処理のいずれかを条件に応じて選択して前記広範囲画像を表示するように制御する制御手段と
   を有し、
   前記条件は、前記第１ないし第４の処理のいずれとするかを予めユーザーが選択して設定した内容であることを特徴とする電子機器。
2. 前記条件は、前記広範囲画像を撮影した際の撮像装置の設定内容を含むことを特徴とする請求項１に記載の電子機器。
3. 前記条件は、前記広範囲画像を撮影した際の撮像装置の設置場所に関する情報を含むことを特徴とする請求項１または２に記載の電子機器。
4. 前記制御手段は、前記設置場所が未指定、自撮り棒、手持ちのいずれかである場合には前記第１の処理を選択することを特徴とする請求項３に記載の電子機器。
5. 前記制御手段は、前記設置場所が自動車、自転車、スキー、スノーボードのいずれかである場合には前記第２の処理を選択することを特徴とする請求項３または４に記載の電子機器。
6. 前記制御手段は、前記設置場所がドローンである場合には前記第３の処理を選択することを特徴とする請求項３乃至５のいずれか１項に記載の電子機器。
7. 前記制御手段は、前記設置場所がヘルメット、ジェットコースターのいずれかである場合には前記第４の処理を選択することを特徴とする請求項３乃至６のいずれか１項に記載の電子機器。
8. 前記制御手段は、タイムラプス撮影またはインターバル撮影である場合に、前記第１の処理を選択するように制御することを特徴とする請求項２に記載の電子機器。
9. 前記広範囲画像は、ＶＲ画像であることを特徴とする請求項１乃至８のいずれか１項に記載の電子機器。
10. 前記広範囲画像は、全方位画像、全天球画像、１８０度以上の視野角を有する画像の少なくともいずれかであることを特徴とする請求項１乃至８のいずれか１項に記載の電子機器。
11. １つ以上の撮像手段で撮像された広範囲画像を取得する画像取得ステップと、
    前記広範囲画像に付与された撮影時の撮像装置の姿勢を示す姿勢情報を含む属性情報を取得する情報取得ステップと、
    前記姿勢情報に基づいて天頂とヨー角を補正した表示を行う第１の処理と、
    前記姿勢情報に基づいて天頂を補正してヨー角を補正しない表示を行う第２の処理と、
    前記姿勢情報に基づいてヨー角を補正して天頂を補正しない表示を行う第３の処理と、
    前記広範囲画像の天頂とヨー角の双方を補正しない表示を行う第４の処理と、
    のうち少なくとも２つを含む複数の処理のいずれかを条件に応じて選択して前記広範囲画像を表示するように制御する制御ステップと
    を有し、
    前記条件は、前記第１ないし第４の処理のいずれとするかを予めユーザーが選択して設定した内容であることを特徴とする電子機器の制御方法。
12. コンピュータを、請求項１乃至１０のいずれか１項に記載された電子機器の各手段として機能させるためのプログラム。
13. コンピュータを、請求項１乃至１０のいずれか１項に記載された電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images