JP7005160B2 - 電子機器及びその制御方法 - Google Patents

電子機器及びその制御方法 Download PDF

Info

Publication number
JP7005160B2
JP7005160B2 JP2017074483A JP2017074483A JP7005160B2 JP 7005160 B2 JP7005160 B2 JP 7005160B2 JP 2017074483 A JP2017074483 A JP 2017074483A JP 2017074483 A JP2017074483 A JP 2017074483A JP 7005160 B2 JP7005160 B2 JP 7005160B2
Authority
JP
Japan
Prior art keywords
range
display
image
content
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017074483A
Other languages
English (en)
Other versions
JP2018180050A5 (ja
JP2018180050A (ja
Inventor
成司 工藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2017074483A priority Critical patent/JP7005160B2/ja
Application filed by Canon Inc filed Critical Canon Inc
Priority to GB1914081.3A priority patent/GB2574780B/en
Priority to KR1020197031077A priority patent/KR102278229B1/ko
Priority to CN201880023865.6A priority patent/CN110494915B/zh
Priority to DE112018001867.9T priority patent/DE112018001867T5/de
Priority to PCT/JP2018/002464 priority patent/WO2018186004A1/ja
Publication of JP2018180050A publication Critical patent/JP2018180050A/ja
Priority to US16/592,035 priority patent/US11100903B2/en
Publication of JP2018180050A5 publication Critical patent/JP2018180050A5/ja
Application granted granted Critical
Publication of JP7005160B2 publication Critical patent/JP7005160B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、電子機器、電子機器の制御方法、ブログラム、及び、記憶媒体に関し、特に、広範囲の映像範囲を有する画像を表示する制御方法に関するものである。
近年、全方位画像、全天球画像といった、人間の視野角より広い範囲の映像を持つ画像を撮影することが可能な撮像装置が普及している。また、このような広い範囲の映像を持つ画像の一部をディスプレイに表示し、装置の姿勢の変化に追従してディスプレイに表示する映像の範囲(表示範囲)を変更することで、没入感や臨場感の高い表示を行う方法も知られている。
特許文献1では、全天球カメラにより撮像された映像をヘッドマウントディスプレイ(HMD)において見る際に、ユーザの視線方向を検出し、視線方向に合わせた所定範囲の映像データを表示する映像表示システムが提案されている。
特開2017-22665号公報
HMD等で表示する映像コンテンツの生成において、コンテンツ撮影時の撮像装置の撮影画角は様々であり、コンテンツ編集時に画角が変更されることなどがある。そのため、映像コンテンツが、全周囲360度(全方向)の映像ではなく、その一部の範囲(例えば、上下120度、左右220度)にしか映像を持たないことがある。そのような映像コンテンツの有効な映像範囲は周囲360度で繋がっていないため、映像のある範囲(有効映像範囲)には端が存在し、端を超える領域は非映像範囲となる。このような映像コンテンツの一部を表示範囲として表示する方法として、有効映像範囲の一端を超えて表示範囲を移動させ、その過程で非映像範囲を表示させ、更に表示範囲を同じ方向に移動させると他端側の有効映像範囲の映像を表示させる方法が考えられる。
しかしながら、有効映像範囲の一端を超えて非映像範囲を表示させる場合は、非映像範囲に対応する部分について、非映像範囲であるために映像が表示されていないのか、何らかの表示処理異常のために映像が表示されていないのかユーザーにはわかりにくい。また、有効映像範囲の一端を超えての非映像範囲の表示はしないとすると、表示範囲の変更がされない要因が、有効映像範囲の端に達したからなのか、何らかの表示処理異常のためなのかユーザーにはわかりにくい。
そこで本発明は、広範囲の映像範囲を有するコンテンツに非映像範囲がある場合に、より好適な表示を行うことができる電子機器、電子機器の制御方法、プログラム、及び、記憶媒体を提供することを目的とする。
本発明の電子機器は、前記電子機器の姿勢を検出する検出手段と、VRコンテンツの一部を画面に表示するとともに、前記VRコンテンツの有効映像範囲、前記VRコンテンツの無効映像範囲、及び、前記画面に表示される前記VRコンテンツの一部の位置関係を示すガイドを前記画面に表示するように制御し、前記検出手段で検出された姿勢に応じて前記画面に表示される前記VRコンテンツの一部の位置を変更する表示制御手段とを有し、前記検出手段は、360度の姿勢の変化を検出可能であり、前記検出手段で検出された姿勢に応じて前記画面に表示される前記VRコンテンツの一部の位置が前記VRコンテンツの有効映像範囲の一端に達した後、前記VRコンテンツの有効映像範囲の一端を超えるように前記検出手段で検出された姿勢がさらに所定量よりも大きく変化した場合に、前記表示制御手段は、前記VRコンテンツの無効映像範囲に対応する画角が所定の角度未満であれば、VRコンテンツの有効映像範囲の一端に達したことを示すインジケータを前記画面に表示せず、前記表示制御手段は、前記VRコンテンツの無効映像範囲に対応する画角が前記所定の角度以上であれば、VRコンテンツの有効映像範囲の一端に達したことを示すインジケータを前記画面に表示するよう制御することを特徴とする。
本発明によれば、広範囲の映像範囲を有するコンテンツに非映像範囲がある場合に、より好適な表示を行うことができる。
電子機器100の構成ブロック図である。 電子機器100の外観図である。 電子機器100を装着可能なVRゴーグルの外観図である。 VR表示処理のフローチャートである。 VR表示処理における表示範囲の位置関係と表示例である。 VR表示処理における表示範囲の位置関係と表示例である。 VR表示処理の他の例のフローチャートである。
図1に、本発明を適用可能な表示制御装置の一例としての電子機器100の構成の一例を示す。電子機器100は、スマートフォンなどの表示装置を用いて構成可能なものである。
図1において、内部バス150に対してCPU101、メモリ102、不揮発性メモリ103、画像処理部104、ディスプレイ105、操作部106、記憶媒体I/F107、外部I/F109、及び、通信I/F110が接続されている。また、内部バス150に対して音声出力部112と姿勢検出部113も接続されている。内部バス150に接続される各部は、内部バス150を介して互いにデータのやりとりを行うことができるようにされている。
CPU101は、電子機器100の全体を制御する制御部であり、少なくとも1つのプロセッサーからなる。メモリ102は、例えばRAM(半導体素子を利用した揮発性のメモリなど)からなる。CPU101は、例えば不揮発性メモリ103に格納されるプログラムに従い、メモリ102をワークメモリとして用いて、電子機器100の各部を制御する。不揮発性メモリ103には、画像データや音声データ、その他のデータ、CPU101が動作するための各種プログラムなどが格納される。不揮発性メモリ103は例えばフラッシュメモリやROMなどで構成される。
画像処理部104は、CPU101の制御に基づいて、不揮発性メモリ103や記憶媒体108に格納された画像や、外部I/F109を介して取得した映像信号、通信I/F110を介して取得した画像などに対して各種画像処理を施す。画像処理部104が行う画像処理には、A/D変換処理、D/A変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大/縮小処理(リサイズ)、ノイズ低減処理、色変換処理などが含まれる。また、全方位画像あるいは全方位ではないにせよ広範囲のデータを有する広範囲画像のパノラマ展開やマッピング処理、変換などの各種画像処理も行う。画像処理部104は特定の画像処理を施すための専用の回路ブロックで構成してもよい。また、画像処理の種別によっては画像処理部104を用いずにCPU101がプログラムに従って画像処理を施すことも可能である。
ディスプレイ105は、CPU101の制御に基づいて、画像やGUI(Graphical User Interface)を構成するGUI画面などを表示する。CPU101は、プログラムに従い表示制御信号を生成し、ディスプレイ105に表示するための映像信号を生成してディスプレイ105に出力するように電子機器100の各部を制御
する。ディスプレイ105は出力された映像信号に基づいて映像を表示する。なお、電子機器100自体が備える構成としてはディスプレイ105に表示させるための映像信号を出力するためのインターフェースまでとし、ディスプレイ105は外付けのモニタ(テレビなど)で構成してもよい。
操作部106は、キーボードなどの文字情報入力デバイスや、マウスやタッチパネルといったポインティングデバイス、ボタン、ダイヤル、ジョイスティック、タッチセンサ、タッチパッドなどを含む、ユーザ操作を受け付けるための入力デバイスである。なお、タッチパネルは、ディスプレイ105に重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。
記憶媒体I/F107は、メモリーカードやCD、DVDといった記憶媒体108が装着可能とされ、CPU101の制御に基づき、装着された記憶媒体108からのデータの読み出しや、当該記憶媒体108に対するデータの書き込みを行う。外部I/F109は、外部機器と有線ケーブルや無線によって接続し、映像信号や音声信号の入出力を行うためのインターフェースである。通信I/F110は、外部機器やインターネット111などと通信して、ファイルやコマンドなどの各種データの送受信を行うためのインターフェースである。
音声出力部は112は、動画や音楽データの音声や、操作音、着信音、各種通知音などを出力する。音声出力部112には、イヤホンなどを接続する音声出力端子112a、スピーカー112bが含まれるものとするが、無線通信などで音声出力を行ってもよい。
姿勢検出部113は、重力方向に対する電子機器100の姿勢を検知する。姿勢検出部113で検知された姿勢に基づいて、電子機器100が横に保持されているか、縦に保持されているか、上に向けられたか、下に向けられたか、斜めの姿勢になったかなどを判別可能である。姿勢検出部113としては、加速度センサー、ジャイロセンサー、地磁気センサー、方位センサーなどのうち少なくとも1つを用いることができ、複数を組み合わせて用いることも可能である。
なお操作部106には、タッチパネル106aが含まれる。CPU101はタッチパネル106aへの以下の操作、あるいは状態を検出できる。
・タッチパネル106aにタッチしていなかった指やペンが新たにタッチパネル106aにタッチしたこと、すなわち、タッチの開始(以下、タッチダウン(Touch-Down)と称する。)
・タッチパネル106aを指やペンがタッチしている状態であること(以下、タッチオン(Touch-On)と称する)
・指やペンがタッチパネル106aをタッチしたまま移動していること(以下、タッチムーブ(Touch-Move)と称する)
・タッチパネル106aへタッチしていた指やペンがタッチパネル106aから離れたこと、すなわち、タッチの終了(以下、タッチアップ(Touch-Up)と称する)
・タッチパネル106aに何もタッチしていない状態(以下、タッチオフ(Touch-Off)と称する)
タッチダウンが検出されると、同時にタッチオンも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出された場合も、同時にタッチオンが検出される。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出されると、タッチオフが検出される。
これらの操作・状態や、タッチパネル106a上に指やペンがタッチしている位置座標は内部バスを通じてCPU101に通知され、CPU101は通知された情報に基づいてタッチパネル106a上にどのような操作(タッチ操作)が行なわれたかを判定する。タッチムーブについてはタッチパネル106a上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル106a上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行なわれたと判定するものとする。タッチパネル106a上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル106a上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる(スライド操作に続いてフリックがあったものと判定できる)。更に、複数箇所(例えば2点)を同時にタッチして、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作(あるいは単にピンチ)と称する。タッチパネル106aは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いてもよい。タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。
図2に、電子機器100の外観図の例を示す。ディスプレイ105は画像や各種情報を表示する表示部である。ディスプレイ105は上述した通りタッチパネル106aと一体的に構成されており、ディスプレイ105の表示面へのタッチ操作を検出できるようになっている。操作部106には図示のように操作部106b、106c、106d、106えが含まれる。操作部106bは電子機器100の電源のオンとオフを切り替える操作を受け付ける電源ボタンである。操作部106cと操作部106dは音声出力部112から出力する音声のボリュームを増減するボリュームボタンである。操作部106eは、ディスプレイ105にホーム画面を表示させるためのホームボタンである。
図3に、電子機器100を装着可能なVRゴーグル(ヘッドマウントアダプター)の外観図を示す。電子機器100は、VRゴーグルに装着することで、ヘッドマウントディスプレイとして使用することも可能である。挿入口301は、電子機器100を差し込むための挿入口である。ディスプレイ105の表示面を、VRゴーグルをユーザーの頭部に固定するためのヘッドバンド302側(すなわちユーザー側)に向けて電子機器100の全体をVRゴーグル差し込むことができる。こうして電子機器100が装着されたVRゴーグルを装着することにより、ユーザーはVRゴーグルを頭部に装着した状態で、ユーザーが手で電子機器100を保持することなく、電子機器100のディスプレイ105を視認することができる。この場合、ユーザーが頭部または体全体を動かすと、電子機器100の姿勢も変化する。姿勢検出部113はこの時の電子機器100の姿勢の変化を検出し、この姿勢の変化に基づいてCPU101が後述するVR表示処理を行う。この場合に姿勢検出部113が電子機器100の姿勢を検出することは、ユーザーの頭部の姿勢(ユーザーの視線が向いている方向)を検出することと同等である。
電子機器100は、VR画像(VRコンテンツ)をディスプレイ105においてVR表示することが可能である。
VR画像とは、VR表示をすることのできる画像であるものとする。VR画像には、全方位カメラ(全天球カメラ)で撮像した全方位画像(全天球画像)や、表示手段に一度に表示できる表示範囲より広い映像範囲(有効映像範囲)を持つパノラマ画像などが含まれるものとする。また、カメラで撮影した画像に限らず、コンピュータグラフィックスス(
CG)を用いて作成した画像であっても、VR表示可能なものはVR画像(VRコンテンツ)に含まれるものとする。VR画像には、静止画だけでなく、動画やライブビュー画像(カメラからほぼリアルタイムで取得した画像)も含まれる。VR画像は、最大で上下方向(垂直角度、天頂からの角度、仰角、俯角、高度角)360度、左右方向(水平角度、方位角度)360度の視野分の映像範囲(有効映像範囲)を持つ。また、VR画像は、上下360度未満、左右360度未満であっても、通常のカメラで撮影可能な画角よりも広い広範な画角(視野範囲)、あるいは、表示手段に一度に表示できる表示範囲より広い映像範囲(有効映像範囲)を持つ画像も含むものとする。例えば、左右方向(水平角度、方位角度)360度、天頂(zenith)を中心とした垂直角度210度の視野分(画角分)の被写体を撮影可能な全天球カメラで撮影された画像はVR画像の一種である。すなわち、上下方向と左右方向にそれぞれ180度(±90度)以上の視野分の映像範囲を有しており、人間が一度に視認できる範囲よりも広い映像範囲を有している画像はVR画像の一種である。このVR画像をVR表示すると、左右回転方向に姿勢を変化させることで、左右方向(水平回転方向)には継ぎ目のない全方位の映像を視聴することができる。上下方向(垂直回転方向)には、真上(天頂)から見て±105度の範囲では継ぎ目のない全方位の映像を視聴することができるが、真上から105度を超える範囲は映像が存在しないブランク領域となる。VR画像は、「映像範囲が仮想空間(VR空間)の少なくとも一部である画像」とも言える。
VR表示とは、VR画像のうち、姿勢検出部113で検出した電子機器100の姿勢に応じた視野範囲の映像を表示する、表示範囲を変更可能な表示方法である。電子機器100をVRゴーグルに装着して視聴する場合には、ユーザーの顔の向きに応じた視野範囲の映像を表示することになる。例えば、VR画像のうち、ある時点で左右方向に0度(特定の方位、例えば北)、上下方向に90度(天頂から90度、すなわち水平)を中心とした視野角(画角)の映像を表示しているものとする。この状態から、電子機器100の姿勢を表裏反転させると(例えば、表示面を南向きから北向きに変更すると)、同じVR画像のうち、左右方向に180度(逆の方位、例えば南)、上下方向に90度(水平)を中心とした視野角の映像に、表示範囲が変更される。ユーザーがVRゴーグルに装着した電子機器100を視聴している場合で言えば、ユーザーが顔を北から南に向ければ(すなわち後ろを向けば)、電子機器100に表示される映像も北の映像から南の映像に変わるということである。このようなVR表示によって、ユーザーに、視覚的にあたかもVR画像内(VR空間内)のその場にいるような感覚を提供することができる。
図4に、電子機器100で行われるVR表示処理のフローチャートを示す。この処理は、不揮発性メモリ103に記録されたプログラムをメモリ102に展開してCPU101が実行することで実現される。電子機器100の電源がオンとされ、記憶媒体108に記録された画像や、通信先から取得した画像のうち、VR画像(VRコンテンツ)が選択され、複数の表示方法のうち、VR表示での表示が指定されると図4の処理が開始される。
S401では、CPU101は、記憶媒体108もしくは通信I/Fを介した通信先から、表示対象となるVR画像を読みこむ。また、VR画像の属性情報として付帯されている映像範囲(有効映像範囲)を示す情報を取得する。有効映像範囲を示す情報とは、VR画像が、上下方向、左右方向にどの角度範囲分の有効な映像を有しているかという情報である。有効映像範囲を示す情報は、VR画像の有効映像範囲を特定できる情報であればよく、画角、視野角、方位角、仰角、俯角、高度角度、ステラジアンなどによって表される角度情報であってもよいし、上下、左右の画素数や座標などの位置情報であってもよい。また、有効映像範囲を示す情報は、VR画像を撮像したカメラの機種情報(機種を特定することで撮影可能な範囲を特定可能)や撮影時のズームの情報等でもよい。CPU101は、有効映像範囲を示す情報を取得すると、上下左右360度との差分で無効映像範囲(非映像範囲)も特定(算出)する。なお、逆に、VR画像の属性情報から無効映像範囲を
示す情報を取得し、そこから有効映像範囲を算出してもよいし、有効映像範囲を示す情報と無効映像範囲を示す情報の双方をVR画像の属性情報から取得してもよい。
S402では、CPU101は、姿勢検出部113で検出された姿勢(姿勢の情報)を取得する。
S403では、CPU101は、S402で取得された姿勢に基づいて、VR画像のうち表示すべき範囲を示す表示範囲を暫定で算出する(暫定表示範囲を算出)。以降の処理では、ここで算出した暫定表示範囲の映像を実際に表示すべきか否かを判別することになる。
S404では、CPU101は、暫定表示範囲から無効映像範囲までの距離が閾値である所定距離以内(所定量以内)であるか否かを判定する。所定距離以内であればS406に進み、所定距離よりも離れている場合はS405へ進む。図5(a1)を用いて、S404の処理について説明する。図5(a1)において、有効映像範囲501は、VR画像における有効映像範囲の全体を2次元平面上にマッピングしたものである。グレーで示した無効映像範囲502は、左右の全範囲(全方位)360度、上下の範囲180度のうち、VR画像において有効映像範囲ではない領域(非映像範囲)を示している。この領域には映像はなく、表示しようとすれば、黒やグレーといった単色で表示されるなど、ブランク領域として表示されることになる。表示範囲503は、VR画像のうち、ディスプレイ105に現在(姿勢変更前)表示している範囲を示している。表示範囲503が図5(a1)の位置であれば、ディスプレイ105では、図5(a2)のような表示が行われる。暫定表示範囲504は、表示範囲503から、姿勢検出部113で検出した姿勢の変化分だけ移動させた画角である。S404で判定する暫定表示範囲から無効映像範囲までの距離は以下の値である。
・暫定表示範囲504の右端と有効映像範囲501の右端との距離a1
・暫定表示範囲504の上端と有効映像範囲501の上端との距離a2
・暫定表示範囲504の左端と有効映像範囲501の左端との距離a3
・暫定表示範囲504の下端と有効映像範囲501の下端との距離a4
なお、有効映像範囲501の端は、有効映像範囲501と無効映像範囲502との境界に接する部分である。距離a1~a4のいずれかが、閾値となる距離Ath以下となった場合はS406に進み、そうでない場合はS405に進む。閾値Athは例えば表示範囲503の横方向の幅の3割程度の長さであり、距離a1~a4のいずれかが閾値Ath以下となった場合は、それ以上同じ方向に表示範囲を移動させると、そろそろ有効映像範囲の端に達することを示している。なお、ここでは、2次元平面図を用いて説明したためにS404の処理の説明として距離を閾値と比較する例を説明したがこれに限るものではない。暫定表示範囲504と有効映像範囲501の端が近くなってきたかを判定できればよく、有効映像範囲501の端を示す角度と暫定表示範囲504の端を示す角度との角度差を閾値と比較するようにしてもよい。また、距離a1~a4の全てを閾値となる距離Athと比較する例を説明したが、これに限るものではない。例えば、距離a1~a4のうち最も短い距離だけを距離Athと比較し、距離Ath以下となった場合にS406に進み
、そうでない場合にS405に進むようにしてもよい。また、距離a1~a4のうち、姿勢変化前の表示範囲503から姿勢変化後に算出した暫定表示範囲504への移動方向に応じて、暫定表示範囲504の端が有効映像範囲の端から離れる方向の距離は判定に用いなくてもよい。図示の例では、距離a3については閾値Athと比較しなくともよい。また、距離a1~a4を全て同じ閾値Athと比較するのではなく、距離a1~a4ごとに異なる閾値と比較するようにしてもよい。例えば左右方向の距離a1、a3は距離Ath1と比較し、距離Ath1以下となった場合にS406に進むようにする。上下方向の距離距a2、a4は距離Ath2(<Ath1)と比較し、距離Ath2以下となった場合にS406に進むようにする。そして、それら以外の場合にS405に進むようにする。このようにすれば、以降の処理により、人間が首を大きく動かしやすい方向である左右方向の姿勢の変化の場合は、上下方向の姿勢の変化の場合よりも早めに、表示範囲が有効映像範囲の端に達しそうであることをユーザーに注意喚起することができる。
S405では、CPU101は、表示範囲をS403で算出した暫定表示範囲に更新し、更新した表示範囲の映像をディスプレイ105に表示する。また、この状況はS404で無効映像範囲までの距離が所定距離以内ではないと判定された場合なので、範囲ガイドは表示しない。姿勢の変化前に範囲ガイドが表示されていた場合にはCPU101は範囲ガイドを非表示にする。範囲ガイドについては後述する。
図5(a1)に、S405の状況におけるVR画像中の表示範囲503の位置関係を、図5(a2)にこの場合の表示例を示す。なお、図5(a1)に図示された暫定表示範囲504は、S405で表示される表示範囲503から更に右回りの姿勢の変化があった場合に算出される暫定表示範囲の例である。そのため、S405では図5(a1)に図示された位置の暫定表示範囲504は取得されていないものとする。表示範囲503の右端と有効映像範囲501の右端との距離は閾値Athよりも大きく、距離が離れている(他の距離についても同様である)。図5(a2)は、図5(a1)における表示範囲503に対応する位置をディスプレイ105にVR表示した場合の表示例である。後述する範囲ガイド510は表示しないため、VR画像の視認を妨げない。
S406では、CPU101は、暫定表示範囲504のいずれかの端(辺)が、有効映像範囲の一端に達したか否かを判定する。これはすなわち、距離a1~a4のいずれかがゼロとなったか否かの判定である。暫定表示範囲504のいずれかの端(辺)が、有効映像範囲の一端に達した場合はS408に進み、そうでない場合はS407に進む。
S407では、CPU101は、表示範囲をS403で算出した暫定表示範囲に更新し、更新した表示範囲の映像をディスプレイ105に表示する。また、この状況はS404で無効映像範囲までの距離が所定距離以内であると判定された場合なので、CPU101は、所定距離以内となったことを示す通知として範囲ガイドを表示する。
図5(b1)に、S407の状況におけるVR画像中の表示範囲503の位置関係を、図5(b2)にこの場合の表示例を示す。表示範囲503は図5(a1)よりも右に移動しており、表示範囲503が有効映像範囲501の端に達していないものの、表示範囲503の右端と有効映像範囲501の右端との距離は閾値Ath以下であり、距離が近い。図5(b2)は、図5(b1)における表示範囲503に対応する位置をディスプレイ105にVR表示した場合の表示例である。VR表示した画像に重畳して、範囲ガイド510が表示されている。範囲ガイド510は、周囲360度のうち、有効映像範囲(斜線部511)と、現在VR表示している範囲である表示範囲(白抜き部512)と、無効映像範囲(黒塗り部513)とを示している。ユーザーは範囲ガイド510を見ることにより、現在表示されている範囲(表示範囲)が、VR画像全体におけるどこの範囲(位置関係)であるのかを認識することができる。図5(b2)の例では、白抜き部512が黒塗り部513に近くなっており、これ以上右に視線(表示範囲)を移動するとそろそろ無効映像範囲に達することが分かる。
なお、図5(b2)の範囲ガイド510は、左右方向360度における、有効映像範囲、無効映像範囲、及び、表示範囲を示している。これに加えて、上下方向360度または180度における有効映像範囲、無効映像範囲、及び、表示範囲を示す範囲ガイドを別途表示してもよい。すなわち、左右方向の範囲ガイド510と上下方向の範囲ガイドの双方を表示してもよい。また、双方表示すると、VR表示された画像の視認の妨げになるため
、直前の姿勢の変化方向に合わせて、左右方向の範囲ガイド510と上下方向の範囲ガイドのうち何れか一方を表示、あるいは何れも表示しないように動的に切り替えてもよい。例えば、直前の姿勢の変化によって、表示範囲503と有効映像範囲501との左右方向の距離である距離a1または距離a3が閾値Ath以下となった場合には、左右方向の範囲ガイド510を表示し、上下方向の範囲ガイドを表示しないようにしてもよい。また、直前の姿勢の変化によって、表示範囲503と有効映像範囲501との上下方向の距離である距離a2または距離a4が閾値Ath以下となった場合には、上下方向の範囲ガイドを表示し、左右方向の範囲ガイド510を表示しないようにしてもよい。これによってユーザーは、有効映像範囲の端に達してしまいそうな方向について、現在視聴している範囲(表示範囲)の位置関係を把握することができる。あるいは、直前の姿勢からの移動ベクトルにおける左右方向の成分と上下方向の成分とを比較し、大きい方の移動成分の範囲ガイドを表示するようにしてもよい。
S408では、CPU101は、暫定表示範囲504が有効映像範囲501を超えた量が閾値Bth(所定量)を超えたか否かを判定する。図5(c1)に、暫定表示範囲504が有効映像範囲501を超えている場合の位置関係の例を示す。S408では、暫定表示範囲504が有効映像範囲501を超えた量である距離bが閾値Bthを超えたか否かを判定する。距離bが閾値Bthを超えた場合はS410に進み、そうでない場合にはS409に進む。暫定表示範囲504が有効映像範囲501を超えた量(有効映像範囲501の端からの超過量)とは、より詳しくは以下の通りである。
・暫定表示範囲504の右端が有効映像範囲501の右端を超えている場合(すなわちa1<0の場合):暫定表示範囲504の右端と有効映像範囲501の右端との距離
・暫定表示範囲504の上端が有効映像範囲501の上端を超えている場合(すなわちa2<0の場合):暫定表示範囲504の上端と有効映像範囲501の上端との距離
・暫定表示範囲504の左端が有効映像範囲501の左端を超えている場合(すなわちa3<0の場合):暫定表示範囲504の左端と有効映像範囲501の左端との距離
・暫定表示範囲504の下端が有効映像範囲501の下端を超えている場合は(すなわちa4<0の場合:暫定表示範囲504の下端と有効映像範囲501の下端との距離
閾値Bthは、無効映像範囲の幅(有効映像範囲の幅)によって決まる変数であり、表示範囲の移動方向における無効映像範囲の幅と表示範囲の幅の和であるものとする。すなわち、超過量が閾値Bthに達すると、暫定表示範囲がちょうど有効映像範囲のうち反対側の端に接する範囲となる。
S408では、暫定表示範囲504が有効映像範囲501を超えた量が閾値Bth(所定量)を超えたか否かを判定しているが、これは、姿勢の変化量が閾値を超えたか否かの判定と同等である。すなわち、表示範囲503が有効映像範囲501の端に接している状態から、特定の回転方向における電子機器100の姿勢の変化が、超過量がBthに達する変化量で起こったか否かの判定と同等である。特定の回転方向における姿勢の変化は、暫定表示範囲504が有効映像範囲を超過する方向に移動する要因となる変化である。従ってS408の判定は姿勢に基づいた判定としてもよい。
S409では、CPU101は、表示範囲を、S403で算出した暫定表示範囲ではなく、移動前の表示範囲からS403で算出した暫定表示範囲までの方向において有効映像範囲501の端に接する範囲に更新する。また、CPU101は、VR画像のうち、更新した表示範囲の映像をディスプレイ105に表示する。また、この状況はS404で無効映像範囲までの距離が所定距離以内であると判定された場合なので、CPU101は範囲ガイドを表示する。
図5(c1)に、S409の状況におけるVR画像中の表示範囲503の位置関係を、
図5(c2)にこの場合のディスプレイ105における表示例を示す。表示範囲503は、図5(b1)よりもさらに右に移動しており、有効映像範囲501の端に達しており、表示範囲503の右端と有効映像範囲501の右端とが接している。この直前の電子機器100の姿勢の変化によって、暫定表示範囲504は図5(c1)に示す通り有効映像範囲501の外にはみ出るが、表示範囲503はこの暫定表示範囲504ではなく、有効映像範囲501の右端に接する範囲に設定される。すなわち、ユーザーが電子機器の姿勢を変化させて表示範囲503を右側に移動させても、表示範囲503は有効映像範囲501の右端に突き当たった位置で一旦停止し、S408及びS410でYesとならない限りはそれ以上表示範囲は移動しない。例えば、ユーザーが電子機器100をVRゴーグルに装着して視聴している場合、顔を右に向けることで表示範囲を右に移動させる(VR画像の右側を見る)ことができる。しかし表示範囲が有効映像範囲の右端に達したところで表示範囲の移動(左側への映像のスクロール)が一旦停止し、顔をそれ以上右に向けても408及びS410でYesとならない限り表示範囲が変わらない。
図5(c2)は、図5(c1)における表示範囲503に対応する位置をディスプレイ105にVR表示した場合の表示例である。VR表示した画像に重畳して、範囲ガイド510が表示されている。範囲ガイド510において、表示範囲を示す白抜き部が、無効映像範囲を示す黒塗り部と接しており、表示範囲が有効映像範囲の端に達したことが識別できる。また、CPU101は、表示範囲503の4辺のうち、有効映像範囲501と接した辺である右辺に対応する、図5(c2)の右辺に、端インジケータ520を表示する。端インジケータ520は、VR表示されたVR画像の端(ディスプレイ105の表示領域の端)に沿った領域に表示される半透過または無透過の表示オブジェクトである。端インジケータ520は、端インジケータ520が表示された辺の少なくとも一部が有効映像範囲の端に達していることを意味している。ユーザーはこの端インジケータ520を見ることによって、図5(c2)の例では、右にこれ以上表示範囲を移動させても映像が無いことを認識することができる。また、上述の通り、電子機器100の姿勢を変化させても有効映像範囲の端で表示範囲の移動(左側への映像のスクロール)が一旦停止する。この場合、表示された映像(画像)だけを見ると、処理能力の不足によるコマ落ちや故障などの何らかの処理異常のために表示範囲の移動が停止したとユーザーが誤認する可能性がある。また仮に、有効映像範囲の端で表示範囲の移動を一旦停止しないとしても、ブランク領域の表示が、無効映像範囲を含んでいるためなのか、何らかの表示処理の異常によって一部表示ができていない領域が発生してしまっているのかユーザーには判断し難い。しかし本実施形態ではこの場合に端インジケータ520を表示するため、処理異常ではなく表示範囲が有効映像範囲の端に達したために起こる正常な動作であることをユーザーに正確に認識させることができる。また、無効映像範囲に対応するブランク状態の表示(有効映像範囲とは関係のない黒塗りなどの表示)がされないため、VR表示の品位を高品位に保つことができる。ブランク状態の表示(有効映像範囲とは関係のない黒塗りなどの表示)をしてしまうと、これを見ることによって仮想現実の感覚が薄れ、ユーザーの没入感を阻害する恐れがある。これに対し、本実施形態では、無効映像範囲があっても無効映像範囲に対応する領域を表示しないため、没入感が阻害されることを防ぐことができる。
なお、表示範囲が有効映像範囲の端に達した場合に表示する通知は端インジケータ520の表示に限るものではない。表示範囲が有効映像範囲の端に達したことに応じて範囲ガイド510の表示形態を変更したり(点滅表示や色の変更など)、「端に達しています」といったメッセージ表示、その他の表示アイテムの表示(通知アイコン表示など)をしてもよい。また、表示範囲が有効映像範囲の端に達するまでは範囲ガイド510を表示せず、表示範囲が有効映像範囲の端に達したことに応じて範囲ガイド510を表示することによって、端に達したことを通知してもよい。なお、ユーザーの没入感を阻害することを防止するという観点で言えば、端インジケータ520のような1辺を覆う表示オブジェクトの表示より、範囲ガイドの表示形態の変更や、1辺を覆うようなものではない他の表示ア
イテムの表示による通知が好適である。また、表示範囲が有効映像範囲の端に達したことは、範囲ガイド510によっても認識できるので、端に達したからといって端インジケータ520のような追加の表示オブジェクトを表示しないようにしてもよい。逆に、表示範囲の移動の停止理由を明確に通知するという観点では、端インジケータ520を表示し、有効映像範囲からの暫定表示範囲の超過量が多いほど端インジケータ520の面積を大きくするなど、超過量に応じた表示の変更をしてもよい。暫定表示範囲の超過が発生するのは、表示範囲が有効映像範囲の端に達して更に端を超える領域に表示範囲を変更しようとする指示(姿勢変化やユーザー操作などによる指示)があった場合である。また、端インジケータ520などの端に達していることの通知は、表示範囲が有効映像範囲の端に達しただけでは行わず、暫定表示範囲が有効映像範囲の端を超過した場合、すなわち端を超える領域を表示しようとする姿勢の変化があった場合に行ってもよい。この場合は、表示範囲が有効映像範囲の端に達していても姿勢が変化せずに安定している場合には端インジケータ520などの端に達していることを通知は行われない。
S410では、CPU101は、移動前の表示範囲からS403で算出した暫定表示範囲までの移動方向における無効映像範囲の幅が、閾値Cth(特定量)よりも狭いか否かを判定する。無効映像範囲の幅は、VR画像を2次元平面にマッピングした場合は、画素数や長さ、距離で表せるが、画角、視野角、方位角、仰角、俯角、高度角度、ステラジアンなどによって表される角度情報でも表すことができる。従ってS410の判定に用いる閾値Cthは、画素数や長さ、距離の閾値Cthとしてもよいし、角度情報の閾値Cthとしてもよい。閾値Cthは例えば、移動方向における表示範囲の幅であるものとする。無効映像範囲の幅が閾値Cthよりも狭い場合はS411に進み、そうでない場合はS409に進む。
図6(a1)、図6(b1)に、表示範囲の移動方向が右だった場合の、無効映像範囲の幅と、閾値Cthの例としての表示範囲の幅の比較例を示す。図6(a1)と図6(b1)はいずれも、VR画像を2次元平面上にマッピングしたものを、中心を無効映像範囲として図示したものである。図6(a1)と図6(b1)では、VR画像の左右方向の有効映像範囲が異なり、図6(a1)のVR画像の方が、図6(b1)のVR画像よりも有効映像範囲が広い(無効映像範囲が狭い)ものとする。図6(a1)と図6(b1)における幅cは、無効映像範囲の左右方向の幅(長さ)である。図6(a1)では、無効映像範囲の左右方向の幅cが、表示範囲503の左右方向の幅X1(=Cth)よりも狭い。従って仮に図6(a1)に示した表示範囲503に対応する範囲をディスプレイ105に表示すると、図6(a2)に示す通り、少なくとも一部は有効映像範囲が表示され、画面全体がブランク領域となってしまうことは無い。この場合はS410ではYesと判定する。一方、図6(a2)では、無効映像範囲の左右方向の幅cが、表示範囲503の左右方向の幅X1(=Cth)よりも広い。従って仮に、図6(b1)に示した表示範囲503に対応する範囲をディスプレイ105に表示すると、図6(b2)に示す通り、画面全体がブランク領域となってしまう。この場合はS410ではNoと判定する。
S410でNoと判定した場合は、S411に進むことはなく、暫定表示範囲がいくら右に移動しても表示範囲は有効映像範囲の逆端には移動しない。すなわち、ユーザーが電子機器100の姿勢を同じ方向にいくら変化させても、有効映像範囲の逆端は表示しない。有効映像範囲の逆端を表示させるには、電子機器100の姿勢を逆方向に変化させる必要がある。電子機器100をVRゴーグルに装着していた場合の例でいえば、顔をいくら右に回しても、表示範囲は有効映像範囲の右端を超えない。有効映像範囲の左側の領域を見たければ、顔を左に向ける必要がある。これは、無効映像範囲の左右方向の幅が広いため、無効映像範囲を挟んだ有効映像範囲の右側と左側の映像の連続性(関連性)が低いためである。例えば、有効映像範囲の右端に写っている被写体(図6(b1)の例では白い壁の建物)の更に右側は、有効映像範囲の左端には写っておらず、途切れている。この場
合に、顔を右に回す姿勢変化に応じて有効映像範囲の右端の範囲から左端の範囲に切り替えて表示してしまうと、有効映像範囲の右端に写っている被写体と関連性の低い映像(図6(b1)の例では別の建物)が表示されることになる。このような表示変化をユーザーが見た場合、表示された有効映像範囲の左端の範囲の映像が、直前に見ていた右端の範囲の映像の更に右側の映像であると理解することができず、没入感の低下などの違和感を感じる可能性がある。従って本実施形態では、移動方向における無効映像範囲の幅が広い場合には、有効映像範囲の一端から逆端への表示範囲の変更は行わない。なお、閾値Cthを表示範囲の幅分の量とする例を説明したが、270度分の量や180度分の量といった固定の角度分の量としてもよい。また、無効映像範囲の幅と有効映像範囲の幅を比較して無効映像範囲の幅が広い場合に表示範囲が有効映像範囲の端を超えない、とするように、閾値Cthを有効映像範囲の幅としてもよい。
S411では、CPU101は、表示範囲を、有効映像範囲のうち、移動前の表示範囲が接していた端と反対側の端に接する範囲に更新し、VR画像のうち、更新した表示範囲の映像をディスプレイ105に表示する。移動前の表示範囲が接していた端と反対側の端に接する範囲は、閾値Bthを移動方向における無効映像範囲の幅と表示範囲の幅の和とした場合は、閾値Bthと等しい超過量で設定される暫定表示範囲と等しくなる。また、この状況はS404で無効映像範囲までの距離が所定距離以内であると判定された場合なので、CPU101は範囲ガイドを表示する。
図5(d1)に、S411の状況におけるVR画像中の表示範囲503の位置関係を、図5(d2)にこの場合のディスプレイ105における表示例を示す。表示範囲503は、図5(c1)では有効映像範囲501の右端に接していたが、電子機器100の姿勢が更に表示範囲を右に移動する姿勢変化をした結果、図5(d1)では有効映像範囲501の左端(右端の逆端)に接する範囲となっている。図5(d2)は、図5(d1)における表示範囲503に対応する位置をディスプレイ105にVR表示した場合の表示例である。VR表示した画像に重畳して、範囲ガイド510が表示されている。範囲ガイド510において、表示範囲を示す白抜き部が、無効映像範囲を示す黒塗り部と図5(c2)の例とは位置関係が逆転して接しており、表示範囲が有効映像範囲の逆端に移動したことが識別できる。また、端インジケータ520は表示しない。これは、直前の姿勢の変化が、表示範囲を、有効映像範囲の左端を超える方向へ移動させるような変化ではなかったためである。
なお、S408で超過量が閾値Bthを超えたと判定されてから、S411で図5(d2)の表示を行うまでの途中で、表示範囲が有効映像範囲の逆端に移動したことが分かるようなアニメーション表示を行ってもよい。例えば、図6(a2)のように、移動前の表示範囲の映像601とブランク領域602と移動後の表示範囲の映像603が素早く左に移動(スクロール)し、移動後の表示範囲の映像603が右側から移動して入ってくるような表示をしてもよい。このような表示を挟むことで、ユーザーは表示範囲が逆端に移動したことを認識しやすくなる。なおこの時、表示範囲が無効映像範囲を通過するため、範囲ガイド510において表示範囲が無効映像範囲に重なる。この重なった範囲は、重なっていない範囲と識別可能な表示形態で表示する(図示の例では白塗りとも黒塗りとも異なるグレーで表示している)。
上述のVR処理によれば、ユーザーが電子機器の姿勢を変化させて表示範囲503を右側に移動させると、表示範囲503は、図5(a1)、図5(b1)、図5(c1)、図5(d1)と順次移動する。この移動過程において、図5(a1)、図5(b1)、図5(c1)までは姿勢の変化に応じて滑らかに表示範囲が変化するが、図5(c1)から図5(d1)へかけては、姿勢変化が続いていても一旦表示範囲の移動が停止する。そして、暫定表示範囲の超過量が閾値Bthに達した時点で、図5(c1)から図5(d1)の
ように表示範囲503が移動する。
なお、上述したVR表示処理では、範囲ガイド510を、表示範囲が有効効映像範囲の端から所定距離以内である場合に表示する例を説明したが、表示対象であるVR画像に無効映像範囲が存在する場合に表示し、存在しない場合に表示しないようにしてもよい。すなわち、表示対象のVR画像に無効映像範囲が存在するか否かに応じて範囲ガイド510を表示するか否かを切り替えてもよい。
また、上述したVR表示処理では、範囲ガイド510を、表示範囲が有効映像範囲の端から所定距離以内である場合に表示する例を説明したが、有効映像範囲の端から所定距離以内であるか否かに関わらず表示するものとしてもよい。すなわち、表示範囲が有効映像範囲の端から所定距離より離れている場合にも範囲ガイド510を表示するようにしてもよい。表示範囲が有効映像範囲の端から所定距離より離れている場合にも範囲ガイド510を表示する場合には、表示範囲が有効映像範囲の端から所定距離以内になったことに応じて、別の方法で端が近付いたことを通知するようにするとなおよい。例えば、表示範囲が有効映像範囲の端から所定距離以内になったことに応じて、アイコン、メッセージ、記号等の範囲ガイド510以外の表示アイテムを表示するようにしてもよい。また、表示範囲が有効映像範囲の端から所定距離以内になったことに応じて、もともと表示していた範囲ガイド510の表示形態を第1の表示形態から第2の表示形態に変化させてもよい(例えば、点滅させる、色を変更する等)。
また、上述したVR表示処理では、表示範囲が有効映像範囲の端に達すると、表示範囲を端に接した状態に保持した上で端インジケータ520を表示することで、端に達したことを通知する例を説明した。しかしこれに限るものではなく、S409の処理の代わりに、有効映像範囲の端を超えて無効映像範囲の一部まで表示範囲を移動するが、所定量(後述するBmax相当量)以上は無効映像範囲を見せないようにすることで、端に達したことを通知してもよい。
図6(c1)に、この場合の有効映像範囲と表示範囲の位置関係を示す。図6(c1)は、電子機器100の姿勢変化があり、有効映像範囲501からの暫定表示範囲504の超過量bが、表示範囲503に含める無効映像範囲の最大幅Bmaxを超えている状況の位置関係の例である。図6(c2)は、表示範囲503が図6(c1)の位置である場合のディスプレイ105におけるVR表示の表示例である。暫定表示範囲504が最大幅Bmaxを超えるまでは、表示範囲を、無効映像範囲を含む暫定表示範囲通りの範囲で更新し、更新した表示範囲の映像を表示する。表示範囲に含まれる無効映像範囲に対応するブランク領域(有効映像範囲の端を超える領域)は、単一色で塗りつぶすなどして表示する。すなわち、電子機器100の姿勢変化に応じて、暫定表示範囲504が最大幅Bmaxを超えるまでは、姿勢変化の量に応じた幅のブランク領域が表示される。暫定表示範囲504が最大幅Bmaxを超えた場合には、表示範囲を、暫定表示範囲通りではなく、図6(c1)のように最大幅Bmaxを超えない範囲に保持し、有効映像範囲501からの超過量が最大幅Bmaxとなる範囲を表示範囲503として表示する。最大幅Bmaxは、表示範囲503の幅よりも小さい値に設定するものとする。有効映像範囲501からの暫定表示範囲504の超過量bが、表示範囲503に含める無効映像範囲の最大幅Bmaxを超え、閾値Bthを超えるまでは、図6(c1)に示す表示範囲503が保持され、図6(c2)のような表示が行われる。このような表示によって、現在表示されている映像の端を超える領域はブランク領域であり、映像が存在しないことをユーザにより直感的に理解させることができる。なおこの時、表示範囲が無効映像範囲に一部重なるため、範囲ガイド510において表示範囲と無効映像範囲とが重なる。この重なった範囲は、重なっていない範囲と識別可能な表示形態で表示する(図示の例では白塗りとも黒塗りとも異なるグレーで表示している)。有効映像範囲501からの暫定表示範囲504の超過量bが
Bthを超えた場合は前述した通りの処理を行う。
なお、上述したVR表示処理では、範囲ガイドを、表示範囲が有効効映像範囲の端から所定距離以内である場合に表示する例を説明したが、表示範囲の少なくとも一部が無効映像範囲を含んだことに応じて表示するものとしてもよい。上述した最大幅Bmaxが表示範囲の幅よりも広い場合などのように、無効映像範囲のみを含む表示範囲(有効映像範囲を含まない表示範囲)の設定が許容されてもよい。その場合には、表示範囲の全体が無効映像範囲となったことに応じて範囲ガイドを表示するようにしてもよい。
なお、上述したVR表示処理では、範囲ガイド510が有効映像範囲と表示範囲と無効映像範囲を示す例を説明したが、表示範囲は示されなくてもよい。有効映像範囲と無効映像範囲が示されれば、ブランク領域の表示が無効映像範囲によるものであり処理異常でないことをユーザーに認識させることができる。
<変形例>
図4で説明したVR表示処理に代えて、図7に示すVR表示処理を行ってもよい。図7におけるVR表示処理は、図4におけるS408とS411の処理の省き、代わりにS711を追加したものである。
S401~S409の処理は、図4で説明したものと同様である。S406で暫定表示範囲が有効映像範囲の端に達したと判定すると、S410の処理を行う。
S410では、CPU101は、無効映像範囲の幅が閾値Cthより小さいか否かを判定する。無効映像範囲の幅が閾値Cthより小さい場合にはS711に進み、無効映像範囲の幅が閾値Cth以上である場合にはS409に進む。
S409では、CPU101は、図4で説明した処理と同様の処理を行う。すなわち、表示範囲は有効映像範囲の端を超えた範囲とはならず、VR表示において端を超えた範囲(無効映像範囲)は表示されない。
S711では、CPU101は、表示範囲をS403で算出された暫定表示範囲で更新し、更新した表示範囲の映像をディスプレイ105に表示する。この状況においては、表示範囲に端を超えた範囲である無効映像範囲が含まれる。従ってこの場合は、図6(c2)、図6(a2)のような表示が行われる。
図7のVR表示処理によれば、無効映像範囲の幅が閾値Cthより小さい場合には、暫定表示範囲が有効映像範囲の端を超える姿勢変化があっても表示範囲の移動は停止することはない。図7のVR表示処理によれば、このような場合に、ブランク領域の表示を経由して逆端の有効映像範囲まで滑らかに表示範囲を移動させることができる。一方、無効映
像範囲の幅が閾値Cth以上である場合には、暫定表示範囲が有効映像範囲の端に達すると、それ以上同じ方向に姿勢変化があっても表示範囲は移動すること無く停止する。このように、無効映像範囲の幅が閾値Cthより小さいか否かに応じて、表示範囲の端を超えたブランク領域を表示するか、ブランク領域を表示せずに表示範囲が停止するかが異なる。
これによって、例えばVRゴーグルを装着して電子機器100を見ているユーザーは、顔を右に回しているのに表示範囲が移動しないのを見て、それ以上回しても先は表示されないことに早期に気づき、顔の右への回転をやめる。具体的には、ユーザは、表示範囲が停止してから更に10度ほど顔を回した時点で、それ以上回しても先は表示されないことに気づき、顔の右への回転をやめる。従って無駄な顔の回転動作(例えば表示範囲が停止
してから更に90度顔を回転させる動作)をしてしまうことを防止できる。
電子機器100をVRゴーグルに装着してユーザーが正面を向いた場合に有効映像範囲の中央が表示範囲になる場合には、無効映像範囲の中央はユーザーから見て背後ということになる。無効映像範囲が狭い場合(無効映像範囲の幅が閾値Cth未満である場合)には背後にも有効映像範囲があり、ユーザーが背後を振り返る意味がある。しかし、無効映像範囲が広い場合(無効映像範囲の幅が閾値Cth以上である場合)には、ユーザーの背後には有効映像範囲が存在せず、ユーザーが背後を振り返る意味は少ない。また、有効映像範囲の右端が表示される右斜め後ろを見ている状態から、有効映像範囲の逆端が表示される左斜め後ろを見るには、背後を振り返ってさらに右回りに視線を移動するよりも、左回りで正面を経由して視線を移動するほうが人体の構造上、楽に行える。従って図7で説明した処理のように、無効映像範囲が広く、背後を振り返る意味が少ない場合には、早期に表示範囲の移動を停止し、それ以上ユーザーが背後を向こうとしないように誘導する。これによって、背後を振り返るといった行い難い動作を無駄に行わせてしまうことを防止し、快適にVR表示を視認させることができる。
なお、上述の実施形態においては、VR表示の例として1つの表示範囲の画像を1画面に1つ表示する1眼VR表示を行う例を説明した。VR表示は1眼VR表示に限るものではない。本発明は、1つの表示範囲を1画面の2つの表示領域に表示する、あるいは視差を考慮して少しずらした2つの表示範囲を1画面の2つ表示領域にそれぞれ表示する2眼VR表示にも適用可能である。
また、上述の実施形態においては、姿勢検出部113で検出した電子機器100の姿勢に基づいて表示範囲を移動するVR表示に本発明を適用する例を説明したが、これに限られない。姿勢に基づいて表示範囲を移動するのではなく、ユーザーからのスクロール指示操作に基づいて表示範囲を移動する場合にも適用可能である。例えば、VR表示モードと異なる他の表示モードにおいては、姿勢の変化ではなく、ユーザーによるタッチパネル106aに対するタッチムーブや、十字キーなどの方向ボタンに対する操作に応じても、表示範囲を移動(スクロール)することが可能である。この場合も、スクロール指示操作に応じて暫定表示範囲を求め、上述の図4のS404~S411の処理、図7のS404~S711の処理を行うことが可能である。すなわち、タッチムーブによって表示範囲を移動する場合にも、表示範囲が有効映像範囲の端に近づく又は達すると、近づいたこと又は達したことを示す通知を行う。また、無効映像範囲の幅が所定の幅未満であればタッチムーブによって有効映像範囲の端を超えてスクロールさせることが可能であるが、無効映像範囲の幅が所定の幅以上あればタッチムーブによる表示範囲の移動で有効映像範囲の端を超えることはない。
以上説明した処理によれば、表示範囲がVR画像の有効映像範囲のうち端を含まない位置から端に達した場合に、範囲ガイド510や端インジケータ520を表示するように制御する。このようにすることで、それ以上表示範囲が移動しない原因が、有効映像範囲の端に達したためであることが認識できる。従って高負荷処理による処理能力の低下、処理異常、故障などといった他の要因が原因であると誤認識することを防止することができる。
また、上述の処理によれば、無効映像範囲の幅が所定の幅未満であれば有効映像範囲の端を超えて表示範囲を逆端まで変更させることが可能だが、無効映像範囲の幅が所定の幅以上あれば表示範囲は有効映像範囲の端を超えて移動することがないように制御する。このようにすることで、無効映像範囲が狭い場合には、少ない姿勢の変化で有効映像範囲の逆端の映像を表示させることができる。一方で、無効映像範囲が広い場合には、背後を振り返って更に視線を大きく移動するといった難しい姿勢の変化をユーザーに行わせること
を抑制することができる。
人間の視野角より広い範囲の映像を持つVRコンテンツにおいて、非映像範囲は、有効映像範囲の中央を前面とした場合の後方や真下などに位置し、有効映像範囲の中央を正面としたユーザーが視線を向けにくい方向に位置する場合が多い。しかし、一端を超えて非映像範囲の表示を経由してから他端の有効映像範囲を表示させるには、非映像範囲が広い場合に、非映像範囲を長く経由しなければならない。非映像範囲を長く経由すると、視線を向けにくい姿勢を多く取らなければならないし、どの範囲を表示しているのかわかりにくい。それよりは、逆方向に表示範囲を移動させて他端の有効映像範囲を表示させるほうがどこを表示させているか分かりやすいく、また、簡単である。本実施形態によれば、無効映像範囲の幅が所定の幅以上あれば表示範囲は有効映像範囲の端を超えて移動しないので、ユーザーは、逆方向に表示方向を移動させて他端の有効映像範囲を表示させようとする。このようにして、非映像範囲を長く経由することで視線を向けにくい姿勢を多く取らなければならないといった状況や、どの範囲を表示しているのかわかりにくいといった状況を抑制することができる。このように、VRコンテンツが有する映像範囲の端に達した後により好適な表示を行うことができる。
なお、CPU101が行うものとして説明した上述の各種制御は、1つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
また、上述した実施形態においては、本発明をスマートフォンなどの電子機器100に適用した場合を例にして説明したが、これはこの例に限定されずVR画像の一部分を表示するように制御することが可能である電子機器であれば適用可能である。もちろん、スマートフォンではなく、ヘッドマウントディスプレイ(HMD)に適用することも可能である。また、本発明はパーソナルコンピュータやPDA、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレームなどに適用可能である。また、本発明は音楽プレーヤー、ゲーム機、電子ブックリーダー、タブレット端末、スマートフォン、投影装置、ディスプレイを備える家電装置や車載装置などに適用可能である。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100:電子機器 101:CPU 113:姿勢検出部

Claims (4)

  1. 電子機器であって、
    前記電子機器の姿勢を検出する検出手段と、
    VRコンテンツの一部を画面に表示するとともに、前記VRコンテンツの有効映像範囲、前記VRコンテンツの無効映像範囲、及び、前記画面に表示される前記VRコンテンツの一部の位置関係を示すガイドを前記画面に表示するように制御し、前記検出手段で検出された姿勢に応じて前記画面に表示される前記VRコンテンツの一部の位置を変更する表示制御手段と
    を有し、
    前記検出手段は、360度の姿勢の変化を検出可能であり、
    前記検出手段で検出された姿勢に応じて前記画面に表示される前記VRコンテンツの一部の位置が前記VRコンテンツの有効映像範囲の一端に達した後、前記VRコンテンツの有効映像範囲の一端を超えるように前記検出手段で検出された姿勢がさらに所定量よりも大きく変化した場合に、
    前記表示制御手段は、前記VRコンテンツの無効映像範囲に対応する画角が所定の角度未満であれば、VRコンテンツの有効映像範囲の一端に達したことを示すインジケータを前記画面に表示せず、
    前記表示制御手段は、前記VRコンテンツの無効映像範囲に対応する画角が前記所定の角度以上であれば、VRコンテンツの有効映像範囲の一端に達したことを示すインジケータを前記画面に表示するよう制御する
    ことを特徴とする電子機器。
  2. 前記検出手段で検出された姿勢に応じて前記画面に表示される前記VRコンテンツの一部の位置が前記VRコンテンツの有効映像範囲の一端に達した後、前記VRコンテンツの有効映像範囲の一端を超えるように前記検出手段で検出された姿勢がさらに所定量よりも大きく変化した場合に、前記表示制御手段は、前記VRコンテンツの無効映像範囲に対応する画角が前記所定の角度未満であれば、前記画面に表示される前記VRコンテンツの一部の位置を前記VRコンテンツの有効映像範囲の他端の位置に変更するよう制御する
    ことを特徴とする請求項1に記載の電子機器。
  3. 電子機器の制御方法であって、
    前記電子機器の姿勢を検出する検出ステップと、
    VRコンテンツの一部を画面に表示するとともに、前記VRコンテンツの有効映像範囲、前記VRコンテンツの無効映像範囲、及び、前記画面に表示される前記VRコンテンツの一部の位置関係を示すガイドを前記画面に表示するように制御し、前記検出ステップで検出された姿勢に応じて前記画面に表示される前記VRコンテンツの一部の位置を変更する表示制御ステップと
    を有し、
    前記検出ステップでは、360度の姿勢の変化を検出可能であり、
    前記検出ステップで検出された姿勢に応じて前記画面に表示される前記VRコンテンツの一部の位置が前記VRコンテンツの有効映像範囲の一端に達した後、前記VRコンテンツの有効映像範囲の一端を超えるように前記検出ステップで検出された姿勢がさらに所定量よりも大きく変化した場合に、
    前記表示制御ステップでは、前記VRコンテンツの無効映像範囲に対応する画角が所定の角度未満であれば、VRコンテンツの有効映像範囲の一端に達したことを示すインジケータを前記画面に表示せず、
    前記表示制御ステップでは、前記VRコンテンツの無効映像範囲に対応する画角が前記所定の角度以上であれば、VRコンテンツの有効映像範囲の一端に達したことを示すインジケータを前記画面に表示するよう制御する
    ことを特徴とする制御方法。
  4. 請求項に記載の制御方法の各ステップをコンピュータに実行させるためのプログラム。
JP2017074483A 2017-04-04 2017-04-04 電子機器及びその制御方法 Active JP7005160B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2017074483A JP7005160B2 (ja) 2017-04-04 2017-04-04 電子機器及びその制御方法
KR1020197031077A KR102278229B1 (ko) 2017-04-04 2018-01-26 전자기기 및 그 제어 방법
CN201880023865.6A CN110494915B (zh) 2017-04-04 2018-01-26 电子装置及其控制方法和计算机可读介质
DE112018001867.9T DE112018001867T5 (de) 2017-04-04 2018-01-26 Elektronische Vorrichtung und deren Steuerverfahren
GB1914081.3A GB2574780B (en) 2017-04-04 2018-01-26 Electronic device and control method thereof
PCT/JP2018/002464 WO2018186004A1 (ja) 2017-04-04 2018-01-26 電子機器及びその制御方法
US16/592,035 US11100903B2 (en) 2017-04-04 2019-10-03 Electronic device and control method for controlling a display range on a display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017074483A JP7005160B2 (ja) 2017-04-04 2017-04-04 電子機器及びその制御方法

Publications (3)

Publication Number Publication Date
JP2018180050A JP2018180050A (ja) 2018-11-15
JP2018180050A5 JP2018180050A5 (ja) 2020-05-21
JP7005160B2 true JP7005160B2 (ja) 2022-01-21

Family

ID=64276473

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017074483A Active JP7005160B2 (ja) 2017-04-04 2017-04-04 電子機器及びその制御方法

Country Status (1)

Country Link
JP (1) JP7005160B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7278773B2 (ja) * 2018-12-28 2023-05-22 キヤノン株式会社 電子機器及びその制御方法
CN112422886B (zh) * 2019-08-22 2022-08-30 杭州海康威视数字技术股份有限公司 可视域立体布控显示系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130346916A1 (en) 2008-11-19 2013-12-26 Apple Inc. Techniques for manipulating panoramas
US20140333718A1 (en) 2013-03-26 2014-11-13 Htc Corporation Panorama photographing method, panorama displaying method, and image capturing method
WO2016013272A1 (ja) 2014-07-23 2016-01-28 ソニー株式会社 情報処理装置及び情報処理方法、並びに画像表示システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130346916A1 (en) 2008-11-19 2013-12-26 Apple Inc. Techniques for manipulating panoramas
US20140333718A1 (en) 2013-03-26 2014-11-13 Htc Corporation Panorama photographing method, panorama displaying method, and image capturing method
WO2016013272A1 (ja) 2014-07-23 2016-01-28 ソニー株式会社 情報処理装置及び情報処理方法、並びに画像表示システム

Also Published As

Publication number Publication date
JP2018180050A (ja) 2018-11-15

Similar Documents

Publication Publication Date Title
JP7005161B2 (ja) 電子機器及びその制御方法
CN108499105B (zh) 在虚拟环境中进行视角调整的方法、装置及存储介质
JP3926837B2 (ja) 表示制御方法および装置、プログラム、並びに携帯機器
CN108604175B (zh) 装置和关联方法
US20160292922A1 (en) Display control device, display control method, and recording medium
KR20170126295A (ko) 헤드 마운티드 디스플레이 장치 및 그것의 제어방법
US20160291687A1 (en) Display control device, display control method, and recording medium
US9544556B2 (en) Projection control apparatus and projection control method
US10979700B2 (en) Display control apparatus and control method
KR20170087292A (ko) Hmd 디바이스 및 그 제어 방법
US11100903B2 (en) Electronic device and control method for controlling a display range on a display
JP7005160B2 (ja) 電子機器及びその制御方法
JP2021089382A (ja) 電子機器、電子機器の制御方法、プログラム、記憶媒体
CN111381750B (zh) 电子装置及其控制方法和计算机可读存储介质
JP7187307B2 (ja) 電子機器及びその制御方法
US20200257396A1 (en) Electronic device and control method therefor
US11036287B2 (en) Electronic device, control method for electronic device, and non-transitory computer readable medium
JP7278773B2 (ja) 電子機器及びその制御方法
JP7118383B1 (ja) 表示システム、表示方法、及び表示プログラム
WO2019102885A1 (ja) 画像の表示部分を変更可能な電子機器
JP2021128234A (ja) 電子機器及びその制御方法
CN112578983A (zh) 手指取向触摸检测
CN114424151A (zh) 用于vr和ar环境中的基于手的用户交互的装置和方法

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20181116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200403

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220105