JP7091073B2 - 電子機器及びその制御方法 - Google Patents

Description

本発明は、電子機器、電子機器の制御方法、プログラム、及び、記憶媒体に関し、特に、広範囲の映像を有する動画を表示する技術に関するものである。

全方位動画や視野角が広い動画においては、ユーザーが一度に視認可能な範囲は限られている。特許文献１では、動画の再生時に、広域の画像のうちの、より多くのユーザーが見ている視聴方向に、表示範囲を自動的に切り替えることで、ユーザーが動画の見どころを見れるようにすることが開示されている。

特開２０１６－２０１７１４号公報

しかしながら、特許文献１に開示された従来技術では、見どころがあると常に見どころの部分が表示されてしまうため、多くのユーザーが見ている視聴方向でない他の部分をユーザーが見たくても見れなくなってしまう可能性がある。一方で、見どころなどの情報を示さないとユーザーが見どころ以外の部分を見ている場合に、見どころに気付かない可能性がある。

そこで本発明は、ユーザーが広範囲の画像の一部が表示される動画をみている際の視認性を向上させることを目的とする。

本発明の電子機器は、表示部の姿勢を検出する検出手段と、動画を再生可能な再生手段と、前記検出手段により検出された前記表示部の姿勢に応じて、画像の一部の範囲であり且つ前記表示部に表示される範囲である表示範囲を変更する変更手段と、前記動画の第１のフレームが再生される場合に、前記検出手段により検出された姿勢が第１の姿勢でも第２の姿勢でも、主被写体が前記表示部に表示されるように制御し、前記動画の、前記第１のフレームとは異なる第２のフレームが再生される場合に、前記検出された姿勢が前記第１の姿勢と前記第２の姿勢とで、前記表示範囲が異なるように制御する制御手段と、を有し、前記制御手段は、前記第１のフレームが再生される場合であって、前記検出された姿勢に応じた範囲に前記主被写体が含まれている場合には、当該範囲が前記表示範囲として前記表示部に表示されるように制御することを特徴とする。

本発明によれば、ユーザーが広範囲の画像の一部が表示される動画をみている際の視認性を向上させることができる。

実施例１，２に係る電子機器の構成などの一例を示す図である。 実施例１，２に係るＶＲ画像などの一例を示す図である。 実施例１に係る動画編集処理の一例を示すフローチャートである。 実施例１に係る動画編集処理の表示例を示す図である。 実施例１に係る動画再生処理の一例を示すフローチャートである。 実施例１に係る基準方向の更新の一例を示す図である。 実施例１に係る撮影モード処理の一例を示すフローチャートである。 実施例２に係る動画編集処理の一例を示すフローチャートである。 実施例２に係るポイント期間決定処理の一例を示すフローチャートである。 実施例２に係る動画再生処理の一例を示すフローチャートである。

＜実施例１＞
以下、本発明の実施例１に係る電子機器について説明する。実施例１に係る電子機器は動画を再生可能である。実施例１では、複数の動画データをつなぎ合わせたり、１つの長時間の動画データの複数箇所を抜き出したりして１つの動画ファイルとした、いわゆるダイジェスト形式の動画の編集方法と再生方法を例に説明する。

図１（Ａ）に、本発明を適用可能な表示制御装置の一例としての電子機器１００の構成の一例を示す。電子機器１００は、スマートフォンなどの表示装置を用いて構成可能なものである。

図１（Ａ）において、内部バス１５０に対してＣＰＵ１０１、メモリ１０２、不揮発性メモリ１０３、画像処理部１０４、表示部１０５、操作部１０６、記憶媒体Ｉ／Ｆ１０７、外部Ｉ／Ｆ１０９、及び、通信Ｉ／Ｆ１１０が接続されている。また、内部バス１５０に対して音声出力部１１２と姿勢検出部１１３も接続されている。内部バス１５０に接続される各部は、内部バス１５０を介して互いにデータのやりとりを行うことができるようにされている。

ＣＰＵ１０１は、電子機器１００の全体を制御する制御部であり、少なくとも１つのプロセッサーからなる。メモリ１０２は、例えばＲＡＭ（半導体素子を利用した揮発性のメモリなど）からなる。ＣＰＵ１０１は、例えば不揮発性メモリ１０３に格納されるプログラムに従い、メモリ１０２をワークメモリとして用いて、電子機器１００の各部を制御する。不揮発性メモリ１０３には、画像データや音声データ、その他のデータ、ＣＰＵ１０１が動作するための各種プログラムなどが格納される。不揮発性メモリ１０３は例えばフラッシュメモリやＲＯＭなどで構成される。

画像処理部１０４は、ＣＰＵ１０１の制御に基づいて、不揮発性メモリ１０３や記憶媒体１０８に格納された画像や、外部Ｉ／Ｆ１０９を介して取得した映像信号、通信Ｉ／Ｆ１１０を介して取得した画像などに対して各種画像処理を施す。画像処理部１０４が行う画像処理には、Ａ／Ｄ変換処理、Ｄ／Ａ変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大／縮小処理（リサイズ）、ノイズ低減処理、色変換処理などが含まれる。また、全方位画像あるいは全方位ではないにせよ広範囲のデータを有する広範囲画像のパノラマ展開やマッピング処理、変換などの各種画像処理も行う。画像処理部１０４は特定の画像処理を施すための専用の回路ブロックで構成してもよい。また、画像処理の種別によっては画像処理部１０４を用いずにＣＰＵ１０１がプログラムに従って画像処理を施すことも可能である。

表示部１０５は、ＣＰＵ１０１の制御に基づいて、画像やＧＵＩ（Ｇｒａｐｈｉｃａｌ
Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を構成するＧＵＩ画面などを表示する。ＣＰＵ１０１は、プログラムに従い表示制御信号を生成し、表示部１０５に表示するための映像信号を生成して表示部１０５に出力するように電子機器１００の各部を制御する。表示部１０５は出力された映像信号に基づいて映像を表示する。なお、電子機器１００自体が備える構成としては表示部１０５に表示させるための映像信号を出力するためのインターフェースまでとし、表示部１０５は外付けのモニタ（テレビなど）で構成してもよい。

操作部１０６は、キーボードなどの文字情報入力デバイスや、マウスやタッチパネルと
いったポインティングデバイス、ボタン、ダイヤル、ジョイスティック、タッチセンサ、タッチパッドなどを含む、ユーザー操作を受け付けるための入力デバイスである。なお、タッチパネルは、表示部１０５に重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。

記憶媒体Ｉ／Ｆ１０７は、メモリーカードやＣＤ、ＤＶＤといった記憶媒体１０８が装着可能とされ、ＣＰＵ１０１の制御に基づき、装着された記憶媒体１０８からのデータの読み出しや、当該記憶媒体１０８に対するデータの書き込みを行う。外部Ｉ／Ｆ１０９は、外部機器と有線ケーブルや無線によって接続し、映像信号や音声信号の入出力を行うためのインターフェースである。通信Ｉ／Ｆ１１０は、外部機器やインターネット１１１などと通信して、ファイルやコマンドなどの各種データの送受信を行うためのインターフェースである。

音声出力部１１２は、動画や音楽データの音声や、操作音、着信音、各種通知音などを出力する。音声出力部１１２には、イヤホンなどを接続する音声出力端子１１２ａ、スピーカー１１２ｂが含まれるものとするが、無線通信などで音声出力を行ってもよい。

姿勢検出部１１３は、重力方向に対する電子機器１００の姿勢を検出（検知）する。姿勢検出部１１３で検出された姿勢に基づいて、電子機器１００が横に保持されているか、縦に保持されているか、上に向けられたか、下に向けられたか、斜めの姿勢になったかなどを判別可能である。姿勢検出部１１３としては、加速度センサー、ジャイロセンサー、地磁気センサー、方位センサーなどのうち少なくとも１つを用いることができ、複数を組み合わせて用いることも可能である。

なお操作部１０６には、タッチパネル１０６ａが含まれる。ＣＰＵ１０１はタッチパネル１０６ａへの以下の操作、あるいは状態を検出できる。
・タッチパネル１０６ａにタッチしていなかった指やペンが新たにタッチパネル１０６ａにタッチしたこと、すなわち、タッチの開始（以下、タッチダウン（Ｔｏｕｃｈ－Ｄｏｗｎ）と称する。）
・タッチパネル１０６ａを指やペンがタッチしている状態であること（以下、タッチオン（Ｔｏｕｃｈ－Ｏｎ）と称する。）
・指やペンがタッチパネル１０６ａをタッチしたまま移動していること（以下、タッチムーブ（Ｔｏｕｃｈ－Ｍｏｖｅ）と称する。）
・タッチパネル１０６ａへタッチしていた指やペンがタッチパネル１０６ａから離れたこと、すなわち、タッチの終了（以下、タッチアップ（Ｔｏｕｃｈ－Ｕｐ）と称する。）
・タッチパネル１０６ａに何もタッチしていない状態（以下、タッチオフ（Ｔｏｕｃｈ－Ｏｆｆ）と称する。）

タッチダウンが検出されると、同時にタッチオンも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出された場合も、同時にタッチオンが検出される。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出されると、タッチオフが検出される。

これらの操作・状態や、タッチパネル１０６ａ上に指やペンがタッチしている位置座標は内部バスを通じてＣＰＵ１０１に通知され、ＣＰＵ１０１は通知された情報に基づいてタッチパネル１０６ａ上にどのような操作（タッチ操作）が行なわれたかを判定する。タッチムーブについてはタッチパネル１０６ａ上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル１０６ａ上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行なわれ
たと判定するものとする。タッチパネル１０６ａ上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル１０６ａ上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる（スライド操作に続いてフリックがあったものと判定できる）。更に、複数箇所（例えば２点）を同時にタッチして、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作（あるいは単にピンチ）と称する。タッチパネル１０６ａは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いてもよい。タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。

図１（Ｂ）に、電子機器１００の外観図の例を示す。表示部１０５は画像や各種情報を表示する。表示部１０５は上述した通りタッチパネル１０６ａと一体的に構成されており、表示部１０５の表示面へのタッチ操作を検出できるようになっている。操作部１０６には図示のように操作部１０６ｂ，１０６ｃ，１０６ｄ，１０６ｅが含まれる。操作部１０６ｂは電子機器１００の電源のオンとオフを切り替える操作を受け付ける電源ボタンである。操作部１０６ｃと操作部１０６ｄは音声出力部１１２から出力する音声のボリュームを増減するボリュームボタンである。操作部１０６ｅは、表示部１０５にホーム画面を表示させるためのホームボタンである。

図１（Ｃ）に、電子機器１００を装着可能なＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）ゴーグルであるヘッドマウントアダプターの外観図を示す。電子機器１００は、ＶＲゴーグルに装着することで、ヘッドマウントディスプレイとして使用することも可能である。挿入口１２０は、電子機器１００を差し込むための挿入口である。表示部１０５の表示面を、ＶＲゴーグルをユーザーの頭部に固定するためのヘッドバンド１３０側（すなわちユーザー側）に向けて電子機器１００の全体をＶＲゴーグル差し込むことができる。こうして電子機器１００が装着されたＶＲゴーグルを装着することにより、ユーザーはＶＲゴーグルを頭部に装着した状態で、ユーザーが手で電子機器１００を保持することなく、電子機器１００の表示部１０５を視認することができる。この場合、ユーザーが頭部または体全体を動かすと、電子機器１００の姿勢も変化する。姿勢検出部１１３はこの時の電子機器１００の姿勢の変化を検出し、この姿勢の変化に基づいてＣＰＵ１０１が後述するＶＲ表示（ＶＲ表示処理）を行う。この場合に姿勢検出部１１３が電子機器１００の姿勢を検出することは、ユーザーの頭部の姿勢（ユーザーの視線が向いている方向）を検出することと同等である。

電子機器１００は、ＶＲ画像（ＶＲコンテンツ）を表示部１０５においてＶＲ表示することが可能である。

ＶＲ画像とは、ＶＲ表示をすることのできる画像であるものとする。ＶＲ画像には、全方位カメラ（全天球カメラ）で撮像した全方位画像（全天球画像）や、表示部１０５に一度に表示できる表示範囲より広い映像範囲（有効映像範囲）を持つパノラマ画像などが含まれるものとする。また、カメラで撮影した画像に限らず、コンピュータグラフィックスス（ＣＧ）を用いて作成した画像であっても、ＶＲ表示可能なものはＶＲ画像（ＶＲコンテンツ）に含まれるものとする。ＶＲ画像には、静止画だけでなく、動画やライブビュー画像（カメラからほぼリアルタイムで取得した画像）も含まれる。ＶＲ画像は、最大で上下方向（垂直角度、天頂からの角度、仰角、俯角、高度角）３６０度、左右方向（水平角度、方位角度）３６０度の視野分の映像範囲（有効映像範囲）を持つ。また、ＶＲ画像は
、上下３６０度未満、左右３６０度未満であっても、通常のカメラで撮影可能な画角よりも広い広範な画角（視野範囲）、あるいは、表示部１０５に一度に表示できる表示範囲より広い映像範囲（有効映像範囲）を持つ画像も含むものとする。例えば、左右方向（水平角度、方位角度）３６０度、天頂（ｚｅｎｉｔｈ）を中心とした垂直角度２１０度の視野分（画角分）の被写体を撮影可能な全天球カメラで撮影された画像はＶＲ画像の一種である。すなわち、上下方向と左右方向にそれぞれ１８０度（±９０度）以上の視野分の映像範囲を有しており、人間が一度に視認できる範囲よりも広い映像範囲を有している画像はＶＲ画像の一種である。このＶＲ画像をＶＲ表示すると、左右回転方向に姿勢を変化させることで、左右方向（水平回転方向）には継ぎ目のない全方位の映像を視聴することができる。上下方向（垂直回転方向）には、真上（天頂）から見て±１０５度の範囲では継ぎ目のない全方位の映像を視聴することができるが、真上から１０５度を超える範囲は映像が存在しないブランク領域となる。ＶＲ画像は、「映像範囲が仮想空間（ＶＲ空間）の少なくとも一部である画像」とも言える。

ＶＲ表示とは、ＶＲ画像のうち、姿勢検出部１１３で検出した電子機器１００の姿勢に応じた視野範囲の映像を表示する、表示範囲を変更可能な表示方法である。電子機器１００をＶＲゴーグルに装着して視聴する場合には、ユーザーの顔の向きに応じた視野範囲の映像を表示することになる。例えば、ＶＲ画像のうち、ある時点で左右方向に０度（特定の方位、例えば北）、上下方向に９０度（天頂から９０度、すなわち水平）を中心とした視野角（画角）の映像を表示しているものとする。この状態から、電子機器１００の姿勢を表裏反転させると（例えば、表示面を南向きから北向きに変更すると）、同じＶＲ画像のうち、左右方向に１８０度（逆の方位、例えば南）、上下方向に９０度（水平）を中心とした視野角の映像に、表示範囲が変更される。ユーザーがＶＲゴーグルに装着した電子機器１００を視聴している場合で言えば、ユーザーが顔を北から南に向ければ（すなわち後ろを向けば）、電子機器１００に表示される映像も北の映像から南の映像に変わるということである。このようなＶＲ表示によって、ユーザーに、視覚的にあたかもＶＲ画像内（ＶＲ空間内）のその場にいるような感覚を提供することができる。

ＶＲ表示の具体例について説明する。図２（Ａ）は、上下方向に１８０度、左右方向に３６０度の視野分の映像範囲を有するＶＲ画像２０１を示す図である。ＶＲ表示時は、図２（Ａ）に示すように、姿勢検出部１１３で検出した電子機器１００の姿勢に応じて、ＶＲ画像２０１の一部の範囲２０２が、表示範囲として決定される。そして、図２（Ｂ）に示すように、表示範囲２０２の映像が、表示部１０５に表示される。表示範囲２０２は、電子機器１００の姿勢変化に追従して変化する。例えば、ユーザーがＶＲゴーグルに装着した電子機器１００を視聴している場合には、ユーザーが顔を左に向けると表示範囲２０２が左に移動し、ユーザーが顔を上に向けると表示範囲２０２が上に移動する。

図２（Ｃ）は、ＶＲ空間２１０を示す。図２（Ｃ）に示すように、ＶＲ表示では、ユーザーは、あたかもＶＲ空間２１０内にいるような没入感や臨場感を得ることができる。ＶＲ表示の表示位置（表示範囲の位置）２１１は、ＸＹ軸平面（前後左右方向の面）における角度Ａ１と、ＸＺ軸平面（上下方向の面）における角度Ａ２とを用いて表すことができる。角度Ａ１は、「ＶＲ空間２１０の中心位置（ユーザーの位置）と表示位置２１１を通る方向の、Ｚ軸（上下方向）まわりの回転角」とも言える。角度Ａ２は、「ＶＲ空間２１０の中心位置と表示位置２１１を通る方向の、Ｚ軸に垂直なＹ軸まわりの回転角」とも言える。電子機器１００がＺ軸を軸として回転すると、角度Ａ１が変化して表示位置２１１が変化する。電子機器１００がＹ軸を軸として回転すると、角度Ａ２が変化して表示位置２１１が変化する。ユーザーがＶＲゴーグルに装着した電子機器１００を視聴している場合には、ユーザーが顔を左右に振ると角度Ａ１が変化し、ユーザーが顔を上下に振ると角度Ａ２が変化する。タッチパネル１０６ａに対するタッチ操作（スライド操作やフリック）により角度Ａ１，Ａ２を変更して表示位置を変更することもできる。表示位置が決定さ
れると、表示位置を中心とする表示範囲が決定される。なお、表示範囲のサイズは、ＶＲ画像の拡大倍率に応じて変わる。

図３に、電子機器１００で行われる動画編集処理のフローチャートを示す。この処理は、不揮発性メモリ１０３に記録されたプログラムをメモリ１０２に展開してＣＰＵ１０１が実行することで実現される。電子機器１００の電源がオンとされ、記憶媒体１０８に記録された画像や、通信先から取得した画像のうち、ＶＲ動画（ＶＲコンテンツである動画）が選択され、編集モードへの遷移が指定されると、図３の処理が開始される。本実施例では、ＶＲ動画は複数のチャプタ（部分動画）に区分されており、図３の処理により、複数のチャプタから１つ以上のチャプタが選択され、選択されたチャプタからなる動画（組動画；ダイジェスト形式の動画）が生成される。

ステップＳ３０１では、ＣＰＵ１０１は、ＶＲ動画の動画ファイルを取得する。

ステップＳ３０２では、ＣＰＵ１０１は、操作部１０６に対し、ステップＳ３０１で取得されたＶＲ動画のチャプタを選択する選択操作がされたか否かを判定する。選択操作がされた場合はステップＳ３０３へ進み、そうでない場合はステップＳ３０４へ進む。

ステップＳ３０３では、ＣＰＵ１０１は、ステップＳ３０２の選択操作に基づき、ステップＳ３０１で取得されたＶＲ動画の複数のチャプタのいずれかを選択し、選択したチャプタの状態を選択状態にする。

ステップＳ３０４では、ＣＰＵ１０１は、ステップＳ３０３で選択状態となったチャプタ（選択チャプタ）の有無を判定する。選択チャプタがある場合はステップＳ３０５へ進み、そうでない場合はステップＳ３１５へ進む。

ステップＳ３０５では、ＣＰＵ１０１は、操作部１０６に対し、選択チャプタの選択状態を解除する解除操作がされたか否かを判定する。解除操作がされた場合はステップＳ３０６へ進み、そうでない場合はステップＳ３０７へ進む。

ステップＳ３０６では、ＣＰＵ１０１は、ステップＳ３０５の解除操作に基づき、選択チャプタの状態を解除状態にする。

ステップＳ３０７では、ＣＰＵ１０１は、操作部１０６に対し、選択チャプタを組動画へ追加する追加操作がされたか否かを判定する。追加操作がされた場合はステップＳ３０８へ進み、そうでない場合はステップＳ３０９へ進む。

ステップＳ３０８では、ＣＰＵ１０１は、ステップＳ３０７の追加操作に基づき、選択チャプタの状態を、組動画に追加される追加状態にする。

ステップＳ３０９では、ＣＰＵ１０１は、操作部１０６に対し、ステップＳ３０８で追加状態となった選択チャプタを組動画から除外する除外操作がされたか否かを判定する。除外操作がされた場合はステップＳ３１０へ進み、そうでない場合はステップＳ３１１へ進む。

ステップＳ３１０では、ＣＰＵ１０１は、ステップＳ３０９の除外操作に基づき、選択チャプタの状態を、組動画に追加されない除外状態にする。

ステップＳ３１１では、ＣＰＵ１０１は、操作部１０６に対し、主被写体（選択チャプタの主被写体）を選択する選択操作がされたか否かを判定する。主被写体の選択操作がさ
れた場合はステップＳ３１２へ進み、そうでない場合はステップＳ３１３へ進む。

ステップＳ３１２では、ＣＰＵ１０１は、ステップＳ３１１の選択操作に基づき、主被写体を選択し、選択チャプタのメタデータに、選択した主被写体に関する主被写体情報を追加する。主被写体情報は、主被写体を示す情報であってもよいし、そうでなくてもよい。

ステップＳ３１３では、ＣＰＵ１０１は、操作部１０６に対し、主被写体の選択を解除する解除操作がされたか否かを判定する。主被写体の解除操作がされた場合はステップＳ３１４へ進み、そうでない場合はステップＳ３０２へ進む。

ステップＳ３１４では、ＣＰＵ１０１は、ステップＳ３１３の解除操作に基づき、選択チャプタのメタデータから主被写体情報を削除する。

ステップＳ３１５では、ＣＰＵ１０１は、操作部１０６に対し、組動画を生成する動画生成操作がされたか否かを判定する。動画生成操作がされた場合はステップＳ３１６へ進み、そうでない場合はステップＳ３１８へ進む。

ステップＳ３１６では、ＣＰＵ１０１は、追加状態のチャプタ（追加チャプタ）について、チャプタ開始位置（組動画における追加チャプタの開始タイミング）をメタデータに記録する。

ステップＳ３１７では、ＣＰＵ１０１は、追加チャプタからなる組動画の動画ファイルとして、追加チャプタの動画データとメタデータを含む動画ファイルを生成する。なお、組動画のフィルター効果の設定、組動画の再生速度の設定、等の他の設定が可能であってもよい。

ステップＳ３１８では、ＣＰＵ１０１は、操作部１０６に対し、動画編集処理を終了する終了操作がされたか否かを判定する。終了操作がされた場合は動画編集処理を終了し、そうでない場合はステップＳ３１９へ進む。

ステップＳ３１９では、ＣＰＵ１０１は、ステップＳ３１７で生成された組動画を再生する再生操作がされてか否かを判定する。再生操作がされた場合はステップＳ３２０へ進み、そうでない場合はステップＳ３０２へ進む。

ステップＳ３２０では、ＣＰＵ１０１は、ステップＳ３１７で生成された組動画を再生する再生処理を行う。これにより、ユーザーは所望の組動画が作れたかどうかを確認できる。

図４は、動画編集処理の表示例を示す。動画編集処理では、動画編集ＧＵＩ４０１が表示部１０５に表示される。動画編集ＧＵＩ４０１は、映像を表示する箇所４０２と、各種ユーザー操作を受け付ける操作パネル４０３とを有する。箇所４０２には、ステップＳ３０１で取得されたＶＲ動画、ステップＳ３１７で生成された組動画、等が表示される。ユーザーは、操作パネル４０３を用いて、動画の再生、動画の停止、等を指示できる。また、操作パネル４０３は、タイムライン４０４とチャプタ選択ボタン４０５を含む。タイムライン４０４は、動画の複数のフレームのうち、表示されているフレームの時間位置を示す。チャプタ選択ボタン４０５は、チャプタの状態を選択状態と非選択状態の間で切り替えるためのボタンである。例えば、チャプタ選択ボタン４０５が押下されると、チャプタの状態が選択状態にされ、選択状態のチャプタを示すタグ４０６がタイムライン４０４上に表示される。

図５に、電子機器１００で行われる動画再生処理のフローチャートを示す。この処理は、不揮発性メモリ１０３に記録されたプログラムをメモリ１０２に展開してＣＰＵ１０１が実行することで実現される。電子機器１００の電源がオンとされ、記憶媒体１０８に記録された画像や、通信先から取得した動画像のうち、ＶＲ動画が選択され、再生モードへの遷移が指定されると、図５の処理が開始される。

ステップＳ５０１では、ＣＰＵ１０１は、ＶＲ動画（図３の動画編集処理で生成された組動画）の動画ファイルを取得する。

ステップＳ５０２では、ＣＰＵ１０１は、ステップＳ５０１で取得した動画ファイルから、チャプタの主被写体情報を取得する。

ステップＳ５０３では、ＣＰＵ１０１は、ステップＳ５０１で取得した動画ファイルにおけるＮ番目（Ｎは１以上の整数）のチャプタであるチャプタＮの再生を開始する。Ｎの初期値は例えば１である。

ステップＳ５０４では、ＣＰＵ１０１は、チャプタＮの１フレームを取得する。本実施例では、ステップＳ５０４の処理が複数回繰り返される。それにより、複数のフレームが時系列順で取得される。

ステップＳ５０５では、ＣＰＵ１０１は、図２（Ｃ）のＶＲ空間においてユーザーから向かう方向であり、且つ、表示範囲を決定する基準となる方向である基準方向αを取得する。例えば、所定の方向が基準方向αとして取得される。所定の方向は、特に限定されず、チャプタＮの撮影時における撮像装置の正面に対応する位置へ向かう方向などである。本実施例では、基準方向αが更新されることがある。その場合には、更新後の基準方向αが取得される。ステップＳ５０４でチャプタＮの開始位置（最初）のフレームが取得された場合には、更新後の基準方向αでなく、所定の方向が基準方向αとして取得されてもよい。

ステップＳ５０６では、ＣＰＵ１０１は、姿勢検出部１１３から得られた姿勢情報に基づき、ＶＲ空間においてユーザーから向かう方向であり、且つ、ＶＲ空間においてユーザーが見ている方向である視聴方向βを決定する。

ステップＳ５０７では、ＣＰＵ１０１は、ステップＳ５０４で取得したフレームが、チャプタＮの開始位置のフレームであるか否かを判定する。取得したフレームが開始位置のフレームである場合はステップＳ５０８へ進み、そうでない場合はステップＳ５１１へ進む。

ステップＳ５０８では、ＣＰＵ１０１は、チャプタＮのメタデータにおける主被写体情報の有無を判定する。主被写体情報がある場合はステップＳ５０９へ進み、そうでない場合はステップＳ５１１へ進む。

ステップＳ５０９では、ＣＰＵ１０１は、チャプタＮの主被写体情報に基づき、ＶＲ空間においてユーザーから主被写体へ向かう方向である注目方向γを決定する。

ステップＳ５１０では、ＣＰＵ１０１は、ステップＳ５０６で決定した視聴方向βがステップＳ５１１で決定した注目方向γに略一致するように、基準方向αを更新する（「略」は「完全」を含む）。図６に示すように、基準方向αを更新すれば、ユーザーを中心として、ＶＲ空間に描かれた映像を回転させることができ、視聴方向βを注目方向γに略一
致させることができる。

ステップＳ５１１では、ＣＰＵ１０１は、姿勢検出部１１３から得られた姿勢情報に基づき、電子機器１００の姿勢の変化、すなわちユーザーが見ている方向の変化を検出する。

ステップＳ５１２では、ＣＰＵ１０１は、ステップＳ５１１の検出結果に基づき、ステップＳ５０６で決定した視聴方向βを更新する。

ステップＳ５１３では、ＣＰＵ１０１は、視聴方向βに基づき、ステップＳ５０４で取得したフレームについて、視聴方向βが向かう位置を含む範囲を表示範囲として決定し、決定した表示範囲の映像を表示部１０５に表示する。ステップＳ５１０で基準方向αが更新された場合には、電子機器１００の姿勢に依存せずに主被写体が表示されるように表示範囲が決定されることになる。また、ステップＳ５１１で電子機器１００の姿勢の変化が検出された場合には、当該変化に追従するように表示範囲の位置が変更されることになる。

ステップＳ５１４では、ＣＰＵ１０１は、ステップＳ５０４で取得したフレームがチャプタＮの最終フレームであるか否かを判定する。取得したフレームが最終フレームである場合はステップＳ５１５へ進み、そうでない場合はステップＳ５０４へ進む。

ステップＳ５１５では、ＣＰＵ１０１は、チャプタＮが最終チャプタであるか否かを判定する。チャプタＮが最終チャプタである場合は動画再生処理を終了し、そうでない場合はステップＳ５１６へ進む。

ステップＳ５１６では、ＣＰＵ１０１は、変数Ｎに１を加算する。

以上述べたように、本実施例によれば、チャプタ開始フレーム（チャプタの開始タイミングに対応するフレーム）が再生される場合に、電子機器１００の姿勢に依存せずに主被写体が表示されるように制御される。そして、他のフレームが再生される場合に、電子機器１００の姿勢に応じて異なる表示範囲が表示されるように制御される。これらにより、ユーザーが広範囲の画像の一部が表示される動画をみている際の視認性を向上させることができる。具体的には、ＶＲ表示の醍醐味である没入感や臨場感をユーザーに与えつつ、広範囲の映像を有する動画の見どころをユーザーに適切に視聴させることができる。

なお、主被写体情報の有無に依らずに基準方向αの更新（調節）を行ってもよい。例えば、撮像装置の向きを変えずに撮影されたＶＲ動画の場合などにおいて、チャプタの開始時に表示範囲をリセットしたいユーザーがいると考えられる。そのため、チャプタの開始時に、ステップＳ５０５で取得された基準方向αを注目方向γとして用いて、基準方向αを更新してもよい。これにより、チャプタの開始時に、更新前の基準方向αにある映像をユーザーが見れるように表示範囲を決定できる。

なお、チャプタ開始フレームの表示範囲に対するチャプタ開始フレームの主被写体の相対位置が、前フレーム（チャプタ開始フレームの１つ前のフレーム）の表示範囲に対する前フレームの主被写体の相対位置と略一致するように制御してもよい。具体的には、ステップＳ５１０にて、現在のチャプタの開始時における主被写体の位置が、１つ前のチャプタの終了時における主被写体の位置に略一致するように、基準方向αを更新してもよい。

なお、以下の場合には、検出された姿勢に応じた範囲が表示範囲として表示部１０５に表示されるように制御してもよい。即ち、以下の場合には、基準方向αの更新を取りやめ
てもよい。これらの場合には、基準方向αを更新しなくても、ユーザーは主被写体などを容易に見ることができる。さらに、基準方向αを更新せずに、検出した姿勢に応じて表示範囲を決定することにより、ＶＲ体験（没入感や臨場感）の低下を抑制することもできる。
・検出された姿勢に応じた範囲に主被写体が含まれている場合。すなわち、更新前の基準方向αに対応する表示範囲内に主被写体が含まれている場合。
・検出された姿勢に応じたチャプタ開始フレームの範囲に対するチャプタ開始フレームの主被写体の相対位置と、前フレームの表示範囲に対する前フレームの主被写体の相対位置との差が所定値未満である場合。すなわち、更新前の基準方向αと更新後の基準方向αとの差が所定値未満である場合。
・前フレームの表示範囲にチャプタ開始フレームの主被写体が含まれている場合。すなわち、現在のチャプタの開始時における主被写体の位置が更新前の表示範囲内に収まっている場合。

なお、基準方向αを一度に変更すると、表示範囲の位置が一度に大きく変化し、ユーザーに不快感を与える虞がある。そこで、数フレームで徐々に基準方向αを変更して表示範囲の位置を徐々に変更してもよい。ただし、チャプタの切り替わりによって、映像の撮影場所の切り替わり、シーンの切り替わり、等が生じる場合には、基準方向αを一度に変更してもよい。すなわち、チャプタ開始フレームの表示範囲と前フレームの表示範囲との差が所定値未満に制限されるように制御してもよい。そして、前フレームからチャプタ開始フレームへの画像の変化量が所定量よりも大きい場合に、チャプタ開始フレームの表示範囲と前フレームの表示範囲との差が所定値未満に制限されないように制御してもよい。

なお、動画編集処理では、１つのチャプタに対して複数の被写体のそれぞれを主被写体として選択してもよい。そして、複数の主被写体が表示範囲内に収まるように基準方向αを更新してもよい。

なお、動画編集処理においてチャプタの選択後に主被写体を選択する例を説明たが、これに限らない。チャプタが未選択の状態で、主被写体の選択操作に応じて、主被写体の選択だけでなく、チャプタの選択を行ってもよい。

なお、１つのＶＲ動画から抽出されたチャプタからなる組動画を生成する例を説明したが、これに限らない。例えば、電子機器１００が、動画撮影機能を有し、複数回の撮影で得られた複数のＶＲ動画のそれぞれをチャプタとして含む組動画を生成してもよい。

図７は、電子機器１００で行われる撮影モード処理のフローチャートを示す。この処理は、不揮発性メモリ１０３に記録されたプログラムをメモリ１０２に展開してＣＰＵ１０１が実行することで実現される。電子機器１００の電源がオンとされ、撮影モードへの遷移が指定されると図７の処理が開始される。

ステップＳ７０１では、ＣＰＵ１０１は、被写体の現状を表すライブビュー画面を表示部１０５に表示するＬＶ制御を開始する。

ステップＳ７０２では、図３のステップＳ３１１と同様に、ＣＰＵ１０１は、操作部１０６に対し、主被写体を選択する選択操作がされたか否かを判定する。主被写体の選択操作がされた場合はステップＳ７０３へ進み、そうでない場合はステップＳ７０４へ進む。

ステップＳ７０３では、ＣＰＵ１０１は、ステップＳ７０２の選択操作に基づき、主被写体を選択する。

ステップＳ７０４では、図３のステップＳ３１３と同様に、ＣＰＵ１０１は、操作部１０６に対し、主被写体の選択を解除する解除操作がされたか否かを判定する。主被写体の解除操作がされた場合はステップＳ７０５へ進み、そうでない場合はステップＳ７０６へ進む。

ステップＳ７０５では、ＣＰＵ１０１は、ステップＳ７０４の解除操作に基づき、主被写体の選択を解除する。

ステップＳ７０６では、ＣＰＵ１０１は、操作部１０６に対し、ＶＲ動画を撮影する撮影操作がされたか否かを判定する。撮影操作がされた場合はステップＳ７０７へ進み、そうでない場合はステップＳ７１３へ進む。動画の撮影は、ユーザーのシャッターボタンの押下や撮影開始、終了を指示するアイテムの選択によって開始され、撮影の開始と同じ操作で停止されてもよい。また、１分や２分といった所定時間経過後に自動的に動画の撮影を停止してもよい。

ステップＳ７０７では、ＣＰＵ１０１は、撮影処理を実行し、撮影したＶＲ動画の動画データを取得する。

ステップＳ７０８では、ＣＰＵ１０１は、主被写体が選択されているか否かを判定する。主被写体が選択されている場合はステップＳ７０９へ進み、そうでない場合はステップＳ７１０へ進む。

ステップＳ７０９では、ＣＰＵ１０１は、ステップＳ７０７で取得された動画データのメタデータに、選択されている主被写体に関する主被写体情報を追加する。

ステップＳ７１０では、ＣＰＵ１０１は、組動画の動画ファイルが記憶媒体１０８に生成されている否かを判定する。動画ファイルが生成済みである場合はステップＳ７１１へ進み、そうでない場合はステップＳ７１２へ進む。

ステップＳ７１１では、ＣＰＵ１０１は、記憶媒体１０８に記録済みの動画ファイルに対して、ステップＳ７０７で取得された動画データとそのメタデータとを、最終チャプタのデータとして追加する。

ステップＳ７１２では、ＣＰＵ１０１は、ステップＳ７０７で取得された動画データとそのメタデータとを含む動画ファイルを生成し、生成した動画ファイルを記憶媒体１０８に記録する。

ステップＳ７１３では、ＣＰＵ１０１は、操作部１０６に対し、撮影モード処理を終了する終了操作がされたか否かを判定する。撮影モード処理の終了操作がされた場合は撮影モード処理を終了し、そうでない場合はステップＳ７０２へ進む。

＜実施例２＞
以下、本発明の実施例２に係る電子機器について説明する。実施例２では、実施例１とは異なり、ダイジェスト形式の動画に限らない動画の編集方法と再生方法を例に説明する。本発明を適用可能な表示制御装置としての電子機器１００の構成図と外観図は、それぞれ図１（Ａ），１（Ｂ）と同様であり、当該電子機器１００を装着可能なＶＲゴーグル（ヘッドマウントアダプター）の外観図は、図１（Ｃ）と同様である。

図８に、電子機器１００で行われる動画編集処理のフローチャートを示す。この処理は、不揮発性メモリ１０３に記録されたプログラムをメモリ１０２に展開してＣＰＵ１０１
が実行することで実現される。電子機器１００の電源がオンとされ、記憶媒体１０８に記録された画像や、通信先から取得した画像のうち、ＶＲ動画（ＶＲコンテンツである動画）が選択され、編集モードへの遷移が指定されると、図８の処理が開始される。

ステップＳ８０１では、ＣＰＵ１０１は、ＶＲ動画の動画ファイルを取得する。

ステップＳ８０２では、ＣＰＵ１０１は、操作部１０６に対し、ステップＳ８０１で取得されたＶＲ動画のフレームを選択する選択操作がされたか否かを判定する。選択操作がされた場合はステップＳ８０３へ進み、そうでない場合はステップＳ８０４へ進む。

ステップＳ８０３では、ＣＰＵ１０１は、ステップＳ８０２の選択操作に基づき、ステップＳ８０１で取得されたＶＲ動画の複数のフレームのいずれかを選択し、選択したフレームの状態を選択状態にする。

ステップＳ８０４では、ＣＰＵ１０１は、ステップＳ８０３で選択状態となったフレーム（選択フレーム）の有無を判定する。選択フレームがある場合はステップＳ８０５へ進み、そうでない場合はステップＳ８１１へ進む。

ステップＳ８０５では、ＣＰＵ１０１は、操作部１０６に対し、選択フレームの選択状態を解除する解除操作がされたか否かを判定する。解除操作がされた場合はステップＳ８０６へ進み、そうでない場合はステップＳ８０７へ進む。

ステップＳ８０６では、ＣＰＵ１０１は、ステップＳ８０５の解除操作に基づき、選択フレームの状態を解除状態にする。

ステップＳ８０７では、ＣＰＵ１０１は、操作部１０６に対し、選択フレームにポイントを付加する付加操作がされたか否かを判定する。付加操作がされた場合はステップＳ８０８へ進み、そうでない場合はステップＳ８０９へ進む。

ステップＳ８０８では、ＣＰＵ１０１は、ステップＳ８０７の付加操作に基づき、選択フレームのメタデータに、ポイント情報を追加する。付加操作には、主被写体を指示する操作が含まれ、ポイント情報には、指示された主被写体に関する主被写体情報が含まれる。

ステップＳ８０９では、ＣＰＵ１０１は、操作部１０６に対し、選択フレームのポイントを解除する解除操作がされたか否かを判定する。ポイントの解除操作がされた場合はステップＳ８１０へ進み、そうでない場合はステップＳ８０２へ進む。

ステップＳ８１０では、ＣＰＵ１０１は、ステップＳ８０９の解除操作に基づき、選択フレームのメタデータから、ポイント情報を削除する。

ステップＳ８１１では、ＣＰＵ１０１は、操作部１０６に対し、動画を生成する動画生成操作がされたか否かを判定する。動画生成操作がされた場合はステップＳ８１２へ進み、そうでない場合はステップＳ８１４へ進む。

ステップＳ８１２では、ＣＰＵ１０１は、後述するポイント期間決定処理を行う。

ステップＳ８１３では、ＣＰＵ１０１は、フレームに必要に応じてポイント情報が付加された動画の動画ファイルを生成する。

ステップＳ８１４は、ＣＰＵ１０１は、操作部１０６に対し、動画編集処理を終了する終了操作がされたか否かを判定する。終了操作がされた場合は動画編集処理を終了し、そうでない場合はステップＳ８０２へ進む。

図９に、電子機器１００で行われるポイント期間決定処理（ステップＳ８１２）のフローチャートを示す。この処理は、不揮発性メモリ１０３に記録されたプログラムをメモリ１０２に展開してＣＰＵ１０１が実行することで実現される。

ステップＳ９０１では、ＣＰＵ１０１は、ステップＳ８０１で取得されたＶＲ動画のフレームを取得する。本実施例では、ステップＳ９０１の処理が複数回繰り返される。それにより、複数のフレームが時系列順で取得される。

ステップＳ９０２では、ＣＰＵ１０１は、ステップＳ９０１で取得したフレームが最終フレームであるか否かを判定する。取得したフレームが最終フレームである場合はステップＳ９０３へ進み、そうでない場合はステップＳ９０５へ進む。

ステップＳ９０３では、ＣＰＵ１０１は、メタデータにポイント情報が追加されているフレームの有無を判定する。メタデータにポイント情報が追加されているフレームがある場合はポイント期間決定処理を終了し、そうでない場合はステップＳ９０４へ進む。

ステップＳ９０４にて、ＣＰＵ１０１は、ステップＳ８０１で取得されたＶＲ動画の最初のフレームを、ポイント開始フレームかつポイント終了フレームとして設定する。具体的には、ＣＰＵ１０１は、最初のフレームのメタデータに、ポイント開始フレームかつポイント終了フレームであることを示すポイント情報を追加する。本実施例では、ポイント開始フレームからポイント終了フレームまでの期間がポイント期間として設定可能である。ステップＳ９０４では、最初のフレームのみの期間がポイント期間として設定される。

ステップＳ９０５では、ＣＰＵ１０１は、ステップＳ９０１で取得したフレームのメタデータにおけるポイント情報の有無を判定する。ポイント情報がある場合はステップＳ９１４へ進み、そうでない場合はステップＳ９０６へ進む。なお、ポイント情報がある場合は、ステップＳ９０１で取得したフレームがポイント開始フレームとしてユーザーに指定されていることを意味する。

ステップＳ９０６では、ＣＰＵ１０１は、ステップＳ９０１で取得したフレームで所定音（歓声などの特徴的な音）の出力が開始するか否かを判定する。所定音の出力が開始する場合はステップＳ９０７へ進み、そうでない場合はステップＳ９０８へ進む。

ステップＳ９０７では、ＣＰＵ１０１は、ステップＳ９０１で取得したフレームにおける、所定音が発せられる部分を、主被写体の部分として選択する。

ステップＳ９０８では、ＣＰＵ１０１は、ステップＳ９０１で取得したフレームで被写体の数の変化が開始するか否かを判定する。被写体数の変化が開始する場合はステップＳ９０９へ進み、そうでない場合はステップＳ９１０へ進む。ここでの被写体は、例えば、人物、乗り物（自動車、飛行機、等）、自然物（木、山、雲、等）、等の所定種類の被写体である。本実施例では、人数の変化（人数の増加または減少）が開始するか否かを判定するとする。

ステップＳ９０９では、ＣＰＵ１０１は、ステップＳ９０１で取得したフレームにおける、人数変化が生じた部分を、主被写体の部分として選択する。なお、人数が減少した場合には、残っている複数の人物のいずれかを主被写体として選択してもよいし、残ってい
る全ての人物を含む部分を主被写体の部分として選択してもよい。

ステップＳ９１０では、ＣＰＵ１０１は、ステップＳ９０１で取得したフレームが、ステップＳ８０１で取得されたＶＲ動画の撮影時における撮像装置の姿勢変化の開始タイミングに対応するか否かを判定する。姿勢変化の開始タイミングに対応する場合はステップＳ９１１へ進み、そうでない場合はステップＳ９１２へ進む。

ステップＳ９１１では、ＣＰＵ１０１は、ステップＳ９０１で取得したフレームから主被写体を自動検出する。例えば、所定種類の被写体、所定サイズ以上の被写体、等が、主被写体として自動検出される。

ステップＳ９１２では、ＣＰＵ１０１は、ステップＳ９０１で取得したフレームが、ステップＳ８０１で取得されたＶＲ動画の撮影時における撮像装置の振動の開始タイミングに対応するか否かを判定する。振動の開始タイミングに対応する場合はステップＳ９１３へ進み、そうでない場合はステップＳ９０１へ進む。

ステップＳ９１３では、ＣＰＵ１０１は、ステップＳ９０１で取得したフレームから主被写体を自動検出する。例えば、所定種類の被写体、所定サイズ以上の被写体、等が、主被写体として自動検出される。

ステップＳ９１４では、ＣＰＵ１０１は、ステップＳ９０１で取得したフレームを、ポイント開始フレームとして決定する。

ステップＳ９１５では、ＣＰＵ１０１は、ステップＳ９０１で取得したフレームが、直前のポイント開始フレームから所定フレーム数（所定時間）後のフレームであるか否かを判定する。ポイント開始フレームから所定フレーム数後のフレームである場合はステップＳ９２０へ進み、そうでない場合はステップＳ９１６へ進む。

ステップＳ９１６では、ＣＰＵ１０１は、ステップＳ９０１で取得したフレームで所定音（歓声などの特徴的な音）の出力が終了するか否かを判定する。所定音の出力が終了する場合はステップＳ９２０へ進み、そうでない場合はステップＳ９１７へ進む。

ステップＳ９１７では、ＣＰＵ１０１は、ステップＳ９０１で取得したフレームで被写体の数の変化が終了するか否かを判定する。被写体数の変化が終了する場合はステップＳ９２０へ進み、そうでない場合はステップＳ９１８へ進む。ここでの被写体は、例えば、人物、乗り物（自動車、飛行機、等）、自然物（木、山、雲、等）、等の所定種類の被写体である。本実施例では、人数の変化（人数の増加または減少）が終了するか否かを判定するとする。

ステップＳ９１８では、ＣＰＵ１０１は、ステップＳ９０１で取得したフレームが、ステップＳ８０１で取得されたＶＲ動画の撮影時における撮像装置の姿勢変化の終了タイミングに対応するか否かを判定する。姿勢変化の終了タイミングに対応する場合はステップＳ９２０へ進み、そうでない場合はステップＳ９１９へ進む。

ステップＳ９１９では、ＣＰＵ１０１は、ステップＳ９０１で取得したフレームが、ステップＳ８０１で取得されたＶＲ動画の撮影時における撮像装置の振動の終了タイミングに対応するか否かを判定する。振動の終了タイミングに対応する場合はステップＳ９２０へ進み、そうでない場合はステップＳ９０１へ進む。

ステップＳ９２０では、ＣＰＵ１０１は、ステップＳ９０１で取得したフレームを、ポ
イント終了フレームとして決定する。

ステップＳ９２１では、ＣＰＵ１０１は、これまでの処理結果に基づいて、ステップＳ９０１で取得したフレームのメタデータにポイント情報を追加したり、当該フレームのポイント情報を更新したりする。ステップＳ９０１で取得したフレームにポイント情報が付加されていない場合は、ポイント情報が生成されて付加され、ステップＳ９０１で取得したフレームにポイント情報が付加されている場合は、付加されているポイント情報が更新される。ステップＳ９２１で付加されるポイント情報は、ポイント開始フレーム、ポイント終了フレーム、または、ポイント期間の他のフレームであることを示す。また、ステップＳ９２１で付加されるポイント情報は、主被写体（主被写体の部分）に関する主被写体情報を含む。ポイント期間の複数のフレームのうち、ポイント開始フレームでないフレームには、ポイント開始フレームと同様の主被写体情報が付加される。例えば、所定音の出力が開始するポイント開始フレームからのポイント期間の各フレームに対しては、所定音が発せられる部分を主被写体の部分として示す主被写体情報が付加される。

なお、１つのＶＲ動画におけるポイント期間の数は特に限定されない。例えば、１つのチャプタ、１つのシーン、１つの動画、等に、１つのポイント期間が設定されてもよいし、複数のポイント期間が設定されてもよい。上述したポイント終了フレームの１つ前のフレームが、ポイント終了フレームとして設定されてもよい。即ち、上述したポイント終了フレームは、ポイント期間でない期間の開始フレームであってもよい。ポイント期間（ポイント開始フレームやポイント終了フレーム）の決定方法は上記方法に限らない。動画編集時にポイント期間を設定するのではなく、電子機器１００が、動画撮影機能を有し、撮影時にポイント期間を設定してもよい。

図１０に、電子機器１００で行われる動画再生処理のフローチャートを示す。この処理は、不揮発性メモリ１０３に記録されたプログラムをメモリ１０２に展開してＣＰＵ１０１が実行することで実現される。電子機器１００の電源がオンとされ、記憶媒体１０８に記録された画像や、通信先から取得した動画像のうち、ＶＲ動画が選択され、再生モードへの遷移が指定されると、図１０の処理が開始される。

ステップＳ１００１では、ＣＰＵ１０１は、ＶＲ動画（図８の動画編集処理で生成された動画）の動画ファイルを取得する。

ステップＳ１００２では、ＣＰＵ１０１は、ステップＳ１００１で取得した動画ファイルから、フレームのポイント情報を取得する。

ステップＳ１００３では、ＣＰＵ１０１は、ステップＳ１００１で取得した動画ファイルの再生を開始する。

ステップＳ１００４では、ＣＰＵ１０１は、ステップＳ１００１で取得した動画ファイルの１フレームを取得する。本実施例では、ステップＳ１００４の処理が複数回繰り返される。それにより、複数のフレームが時系列順で取得される。

ステップＳ１００５では、ＣＰＵ１０１は、基準方向αを取得する。

ステップＳ１００６では、ＣＰＵ１０１は、姿勢検出部１１３から得られた姿勢情報に基づき、視聴方向βを決定する。

ステップＳ１００７では、ＣＰＵ１０１は、ステップＳ１００２で取得されたポイント情報に基づき、ステップＳ１００４で取得したフレームがポイント期間のフレームである
か否かを判定する。取得したフレームがポイント期間のフレームである場合はステップＳ１００８へ進み、そうでない場合はステップＳ１０１０へ進む。

ステップＳ１００８では、ＣＰＵ１０１は、ステップＳ１００４で取得したフレームの主被写体情報に基づき、注目方向γを決定する。

ステップＳ１００９では、ＣＰＵ１０１は、ステップＳ１００６で決定した視聴方向βがステップＳ１００８で決定した注目方向γに略一致するように、基準方向αを更新する。

ステップＳ１０１０では、ＣＰＵ１０１は、姿勢検出部１１３から得られた姿勢情報に基づき、電子機器１００の姿勢の変化、すなわちユーザーが見ている方向の変化を検出する。

ステップＳ１０１１では、ＣＰＵ１０１は、ステップＳ１０１０の検出結果に基づき、ステップＳ１００６で決定した視聴方向βを更新する。

ステップＳ１０１２では、ＣＰＵ１０１は、表示範囲を変更するユーザー操作（表示範囲変更操作；タッチムーブ、フリック、ボタン操作、等）の有無を判定する。表示範囲変更操作があった場合はステップＳ１０１３へ進み、そうでない場合はステップＳ１０１４へ進む。

ステップＳ１０１３では、ＣＰＵ１０１は、ステップＳ１０１２で行われた表示範囲変更操作に基づき、基準方向αを更新する。

ステップＳ１０１４では、ＣＰＵ１０１は、視聴方向βに基づき、ステップＳ１００４で取得したフレームについて、視聴方向βが向かう位置を含む範囲を表示範囲として決定し、決定した表示範囲の映像を表示部１０５に表示する。ステップＳ１００９で基準方向αが更新された場合には、電子機器１００の姿勢に依存せずに主被写体が表示されるように表示範囲が決定されることになる。ステップＳ１０１０で電子機器１００の姿勢の変化が検出された場合には、当該変化に追従するように表示範囲の位置が変更されることになる。ステップＳ１０１２で表示範囲変更操作が行われた場合には、表示範囲変更操作に従って表示範囲が変更されることになる。例えば、基準方向αと視聴方向β（ユーザーが見ている方向）が図２（Ｃ）の角度Ａ１，Ａ２＝０度の方向である状態でユーザーが角度Ａ１を３０度増やす表示範囲変更操作を行うと、基準方向αが角度Ａ１＝３０度かつ角度Ａ２＝０度の方向に変更される。これにより、視聴方向βが角度Ａ１，Ａ２＝０度の方向である状態で、ユーザーは、角度Ａ１＝３０度かつ角度Ａ２＝０度の方向にある範囲を見ることができる。

ステップＳ１０１５では、ＣＰＵ１０１は、ステップＳ１００４で取得したフレームが最終フレームであるか否かを判定する。取得したフレームが最終フレームである場合は動画再生処理を終了し、そうでない場合はステップＳ１００４へ進む。

以上述べたように、本実施例によれば、適宜設定されたポイント期間において、電子機器１００の姿勢に依存せずに主被写体が表示されるように制御される。そして、他の期間において、電子機器１００の姿勢に応じて異なる表示範囲が表示されるように制御される。これらにより、ユーザーが広範囲の画像の一部が表示される動画をみている際の視認性を向上させることができる。具体的には、ＶＲ表示の醍醐味である没入感や臨場感をユーザーに与えつつ、広範囲の映像を有する動画の見どころをユーザーに適切に視聴させることができる。

なお、ＣＰＵ１０１が行うものとして説明した上述の各種制御は、１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

また、上述した実施形態においては、本発明をスマートフォンなどの電子機器１００に適用した場合を例にして説明したが、これはこの例に限定されずＶＲ画像の一部分を表示するように制御することが可能である電子機器であれば適用可能である。もちろん、スマートフォンではなく、ヘッドマウントディスプレイ（ＨＭＤ）に適用することも可能である。また、本発明はパーソナルコンピュータやＰＤＡ、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレームなどに適用可能である。また、本発明は音楽プレーヤー、ゲーム機、電子ブックリーダー、タブレット端末、スマートフォン、投影装置、ディスプレイを備える家電装置や車載装置などに適用可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：電子機器 １０１：ＣＰＵ １１３：姿勢検出部

Claims (15)

1. 表示部の姿勢を検出する検出手段と、
   動画を再生可能な再生手段と、
   前記検出手段により検出された前記表示部の姿勢に応じて、画像の一部の範囲であり且つ前記表示部に表示される範囲である表示範囲を変更する変更手段と、
   前記動画の第１のフレームが再生される場合に、前記検出手段により検出された姿勢が第１の姿勢でも第２の姿勢でも、主被写体が前記表示部に表示されるように制御し、前記動画の、前記第１のフレームとは異なる第２のフレームが再生される場合に、前記検出された姿勢が前記第１の姿勢と前記第２の姿勢とで、前記表示範囲が異なるように制御する制御手段と、
   を有し、
   前記制御手段は、前記第１のフレームが再生される場合であって、前記検出された姿勢に応じた範囲に前記主被写体が含まれている場合には、当該範囲が前記表示範囲として前記表示部に表示されるように制御する
   ことを特徴とする電子機器。
2. 前記制御手段は、前記第１のフレームが再生される場合であって、前記検出された姿勢に応じた範囲に前記主被写体が含まれていない場合に、前記検出された姿勢に依存しない範囲が前記表示範囲として前記表示部に表示されるように制御する
   ことを特徴とする請求項１に記載の電子機器。
3. 前記第２のフレームは、前記第１のフレームの１つ前のフレームであり、
   前記制御手段は、前記第１のフレームが再生される場合であって、前記検出された姿勢に応じた範囲に前記主被写体が含まれていない場合に、前記第１のフレームの表示範囲に対する前記第１のフレームの前記主被写体の相対位置が、前記第２のフレームの表示範囲に対する前記第２のフレームの主被写体の相対位置と略一致するように制御する
   ことを特徴とする請求項１または２に記載の電子機器。
4. 前記第２のフレームは、前記第１のフレームの１つ前のフレームであり、
   前記制御手段は、前記第１のフレームが再生される場合であって、前記検出された姿勢
   に応じた前記第１のフレームの範囲に対する前記第１のフレームの前記主被写体の相対位置と、前記第２のフレームの表示範囲に対する前記第２のフレームの主被写体の相対位置との差が所定値未満である場合には、前記検出された姿勢に応じた前記第１のフレームの前記範囲が前記表示範囲として前記表示部に表示されるように制御する
   ことを特徴とする請求項１～３のいずれか１項に記載の電子機器。
5. 前記第２のフレームは、前記第１のフレームの１つ前のフレームであり、
   前記制御手段は、前記第１のフレームが再生される場合であって、前記第２のフレームの表示範囲に前記第１のフレームの前記主被写体が含まれている場合には、前記検出された姿勢に応じた前記第１のフレームの前記範囲が前記表示範囲として前記表示部に表示されるように制御する
   ことを特徴とする請求項１～４のいずれか１項に記載の電子機器。
6. 前記制御手段は、前記第１のフレームが再生される場合であって、前記主被写体が設定されていない場合には、前記検出された姿勢に応じた範囲が前記表示範囲として前記表示部に表示されるように制御する
   ことを特徴とする請求項１～５のいずれか１項に記載の電子機器。
7. 前記第２のフレームは、前記第１のフレームの１つ前のフレームであり、
   前記制御手段は、前記第１のフレームが再生される場合であって、前記検出された姿勢に応じた範囲に前記主被写体が含まれていない場合に、前記第１のフレームの表示範囲と前記第２のフレームの表示範囲との差が所定値未満に制限されるように制御する
   ことを特徴とする請求項１～６のいずれか１項に記載の電子機器。
8. 前記制御手段は、前記第２のフレームから前記第１のフレームへの画像の変化量が所定量よりも大きい場合に、前記第１のフレームの表示範囲と前記第２のフレームの表示範囲との前記差が前記所定値未満に制限されないように制御する
   ことを特徴とする請求項７に記載の電子機器。
9. 前記第１のフレームは、前記動画のチャプタの開始タイミングに対応するフレームである
   ことを特徴とする請求項１～８のいずれか１項に記載の電子機器。
10. 前記第１のフレームの期間を設定可能な設定手段、をさらに有する
    ことを特徴とする請求項１～９のいずれか１項に記載の電子機器。
11. 前記制御手段は、
    ユーザーによって指定されたフレーム、
    所定音の出力が開始するフレーム、
    被写体の数の変化が開始するフレーム、
    前記動画の撮影時における撮像装置の姿勢変化の開始タイミングに対応するフレーム、または、
    前記動画の撮影時における撮像装置の振動の開始タイミングに対応するフレームが、前記期間の開始フレームとなるように制御する
    ことを特徴とする請求項１０に記載の電子機器。
12. 前記制御手段は、
    前記期間の開始フレームから所定フレーム数後のフレーム、
    所定音の出力が終了するフレーム、
    被写体の数の変化が終了するフレーム、
    前記動画の撮影時における撮像装置の姿勢変化の終了タイミングに対応するフレーム、または、
    前記動画の撮影時における撮像装置の振動の終了タイミングに対応するフレームが、前記期間の終了フレームとなるように制御する
    ことを特徴とする請求項１０または１１に記載の電子機器。
13. 表示部の姿勢を検出する検出ステップと、
    動画を再生する再生ステップと、
    前記検出ステップにより検出された前記表示部の姿勢に応じて、画像の一部の範囲であり且つ前記表示部に表示される範囲である表示範囲を変更する変更ステップと、
    前記動画の第１のフレームが再生される場合に、前記検出ステップにより検出された姿勢が第１の姿勢でも第２の姿勢でも、主被写体が前記表示部に表示されるように制御し、前記動画の、前記第１のフレームとは異なる第２のフレームが再生される場合に、前記検出された姿勢が前記第１の姿勢と前記第２の姿勢とで、前記表示範囲が異なるように制御する制御ステップと、
    を有し、
    前記制御ステップでは、前記第１のフレームが再生される場合であって、前記検出された姿勢に応じた範囲に前記主被写体が含まれている場合には、当該範囲が前記表示範囲として前記表示部に表示されるように制御する
    ことを特徴とする電子機器の制御方法。
14. コンピュータを、請求項１～１２のいずれか１項に記載の電子機器の各手段として機能させるためのプログラム。
15. コンピュータを、請求項１～１２のいずれか１項に記載の電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images