JP6799603B2 - 映像表示システム及び映像表示方法、映像表示プログラム - Google Patents

映像表示システム及び映像表示方法、映像表示プログラム Download PDF

Info

Publication number
JP6799603B2
JP6799603B2 JP2018539717A JP2018539717A JP6799603B2 JP 6799603 B2 JP6799603 B2 JP 6799603B2 JP 2018539717 A JP2018539717 A JP 2018539717A JP 2018539717 A JP2018539717 A JP 2018539717A JP 6799603 B2 JP6799603 B2 JP 6799603B2
Authority
JP
Japan
Prior art keywords
video
display
content
content video
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018539717A
Other languages
English (en)
Other versions
JPWO2018051964A1 (ja
Inventor
家栄 曹
家栄 曹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Square Enix Co Ltd
Original Assignee
Square Enix Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Square Enix Co Ltd filed Critical Square Enix Co Ltd
Publication of JPWO2018051964A1 publication Critical patent/JPWO2018051964A1/ja
Application granted granted Critical
Publication of JP6799603B2 publication Critical patent/JP6799603B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/26Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082Virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、ディスプレイを用いてコンテンツ映像を仮想現実空間として見ることができるディスプレイ用の映像表示システム及び映像表示方法、映像表示プログラムに関する。特に本発明は、特に三次元ディスプレイを用いて立体視可能な三次元コンテンツ視聴中の映像酔いを防止することができるディスプレイ用の映像表示システム及び映像表示方法、映像表示プログラムに関する。
近年、三次元ヘッドマウントディスプレイ(頭部装着ディスプレイ、Head Mounted Display、HMDともいう)を用いて立体視可能なゲーム等の仮想現実空間である三次元コンテンツを視聴することが行われている。この三次元コンテンツは、ユーザが視聴中に、頭痛・眩暈(平衡感覚の異常)・吐き気・悪心等の乗り物酔いに似た映像酔いが起こることが知られている。この映像酔いが起こる原因は、医学的には解明されていないが、例えば、視覚によって得られる動きとそれ以外の身体感覚によって得られる動きの感覚の相違(例えば視覚上では動いているはずなのに身体は実際には動いていない感覚の相違)によって乗り物酔いと似た症状に至ると考えられている。
この映像酔いの原因は、例えば、視覚情報と三半規管で認知されるバランス情報が異なると、脳が両情報の相違により幻覚を見ていると誤認してしまうことが原因の一つとして考えられる。この理由は、人間が幻覚に陥る原因として最も高い可能性は服毒であり、人間の進化の過程で生存本能として幻覚=毒=嘔吐という生理反応が起こっているのではないかと推測される。長時間の乗船・搭乗・長時間ゲームをプレイし続けると酔いが収まるのも脳の学習機能であると考えられている。
また、映像酔いが発生しやすい環境条件としては、例えば、室内照明が不十分で周辺が暗い環境条件と、長時間プレイによる疲れが発生する環境条件と、液晶テレビなどに見られる残像が残る環境条件と、画面が小さすぎる(注視する必要がある)もしくは大きすぎる(視界を占有する為錯覚し易い)環境条件と、視界が悪い(天井が低い、上の視界を遮る物がある場合)環境条件と、動きが激しい(特に上下動が大きいと問題が起き易い)環境条件と、フレームレートが低い環境条件と、カメラの動きが激しい環境条件と、三次元モデリングが歪んでいる環境条件と、そのゲームの操作やシステムに慣れられず、思った方向に正確にキャラクターを動かせない環境条件と、カメラ(視点)がいきなり意図しない方向にパン・ズームする環境条件と、主人公見下ろし型のゲームの環境条件と、主人公がプレイヤーの意図する方向と違う方向に移動してしまう環境条件と、プレイヤーが向きたい方向に主人公が向かなかった環境条件と、主人公の移動速度が意図した速度と違う環境条件と、他人のプレイを観ている環境条件が挙げられる。
この映像酔いを防止する技術が記載された文献としては、下記の特許文献1が挙げられる。この特許文献1には、視聴者のヘッドマウントディスプレイに対する目頭または目じりの標準位置を計測しておき、コンテンツ視聴中の視聴者のヘッドマウントディスプレイに対する目頭または目じりの位置と標準位置との差を位置ずれとして検出し、検出した位置ずれに応じてヘッドマウントディスプレイに表示される三次元映像が回転または平行移動するように三次元映像に対する画像処理を行う画像処理技術が記載されている。
国際公開第2012/172119号
前記特許文献1に記載された画像処理技術は、視聴者がヘッドマウントディスプレイの頭部への装着位置がずれている場合に位置ずれに応じてヘッドマウントディスプレイに表示される三次元映像が回転または平行移動するように画像表示を制御することによって映像酔いを防止することができる。
しかしながら、特許文献1に記載された技術はヘッドマウントディスプレイの装着ずれに起因する映像酔いを防止する技術であって、前述したような残像・錯覚・激しい動きその他の要因による映像酔いには対応することができず、映像酔いが発生する可能性が高いという課題があった。
本発明の目的は、前述の従来技術による課題を解決することであり、ディスプレイを用いて仮想現実空間であるコンテンツの視聴中に発生する映像酔いを防止することができるディスプレイ用の映像表示システム及び映像表示方法、映像表示プログラムを提供することである。
非限定的な観点によると、本発明の一実施形態に係る映像表示システム及び映像表示方法、映像表示プログラムは、コンテンツ映像を仮想現実空間としてディスプレイの表示部に表示するコンピュータを含み、該コンピュータが、前記表示部にコンテンツ映像領域と、該コンテンツ映像領域の少なくとも一部を囲う固定背景画像領域を設定した三次元映像データを表示部に表示することを主な特徴とする。
映像表示システム及び映像表示方法、映像表示プログラムは、コンテンツ映像領域の少なくとも一部を囲う固定背景画像領域を設定した三次元映像データをディスプレイの表示部に表示することによって、仮想コンテンツの視聴中に発生する映像酔いを防止することができる。
本発明の第1実施例による三次元コンテンツのユーザ視野画面例を示す図である。 本発明の第2実施例による三次元コンテンツのユーザ視野画面例を示す図である。 本発明の対象となる三次元ヘッドマウントディスプレイを用いてコンテンツの視聴構成のハードウェア例を示す図である。 本発明の対象となる三次元ヘッドマウントディスプレイのハードウェア例を示す図である。 本発明の実施例による三次元画像データ及び視聴者視野データを説明するための図である。 本実施例による固定背景画像領域の管理テーブル例を示す図である。 従来技術による三次元コンテンツのユーザ視野画面例を示す図である。 本発明の第4実施例による三次元コンテンツのユーザ視野画面例を示す図である。 本発明の第4実施例による三次元コンテンツのユーザ視野画面例を示す図である。 本発明の第4実施例による三次元コンテンツのユーザ視野画面例を示す図である。
以下、本発明の一実施例による三次元ディスプレイ用の映像表示方法及びプログラムを適用する映像表示システムの詳細を図面を参照して説明する。
[映像表示システムの説明]
本発明の対象とする映像表示システムは、三次元の画像等の仮想現実空間用のコンテンツをユーザに対して三次元ヘッドマウントディスプレイ(HMD)(ディスプレイの一例に相当)を用いて提供する。このシステムは、例えば、図3Aに示す如く、三次元の画像等のコンテンツデータ及びHMD用アプリケーションソフトウェアをインストールしたコンピュータ10と、該コンピュータ10の通常の画像出力先であるディスプレイ12と、該コンピュータ10を操作するための入力デバイスであるキーボード13及びマウス14と、ユーザ15の頭部に装着されるヘッドマウントディスプレイ20と、該コンテンツデータがゲームの際にはゲーム専用のコントローラ(図示せず)とから構成される。
前記コンピュータ10は、一般のパーソナルコンピュータ同様に、CPU、メモリ、SSD、ハードディスク装置、GPU、各種インフェース等のハードウェアにより構成され、該ハードディスク装置等の記憶手段に記憶したOS及び各種アプリケーションソフトウェア並びに各種データに基づいてCPUがデータ処理を実行する。このコンピュータ10は、本実施例の場合、記憶手段に三次元の画像等のコンテンツデータ及びHMD用アプリケーションソフトウェアがインストールされ、コンピュータ10及びヘッドマウントディスプレイ20が共働してユーザ15に対して三次元画像コンテンツデータであるユーザ視野画面21を表示し、ユーザ15が頭部を動かすことによって三次元画像に含まれる物体に対して接近や遠ざかり・見回し等を行うことができるように構成されている。
前記ヘッドマウントディスプレイ20は、図3Bに示す如く、入力インタフェース122と、出力インタフェース130と、バックライト132と、通信制御部140と、ネットワークアダプタ142と、アンテナ144と、記憶部150と、GPSユニット161と、無線ユニット162と、姿勢センサ164と、外部入出力端子インタフェース170と、外部メモリ172と、時計部180と、マウント表示装置(表示部)190と、制御部160とを備える。これらの機能ブロックも、ハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現することができる。
前記制御部160は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。入力インタフェース122は、入力ボタンなどから操作信号や設定信号を受け付け、制御部160に供給する。出力インタフェース130は、制御部160から画像信号を受け取り、表示装置90に表示させる。バックライト132は、表示装置90を構成する液晶ディスプレイにバックライトを供給する。
前記通信制御部140は、ネットワークアダプタ142またはアンテナ144を介して、有線または無線通信により、制御部160から入力されるデータを外部に送信する。通信制御部140は、また、ネットワークアダプタ142またはアンテナ144を介して、有線または無線通信により、外部からデータを受信し、制御部160に出力する。
前記記憶部150は、制御部160が処理するデータやパラメータ、操作信号などを一時的に記憶する。前記GPSユニット161は、制御部160からの操作信号にしたがって、GPS衛星から位置情報を受信して制御部160に供給する。無線ユニット162は、制御部160からの操作信号にしたがって、無線基地局から位置情報を受信して制御部160に供給する。前記姿勢センサ164は、ヘッドマウントディスプレイ20の本体部110の向きや傾きなどの姿勢情報を検出する。姿勢センサ164は、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現され、ユーザの視線が動く方向を検知する検知機能を備える。
前記外部入出力端子インタフェース170は、USB(Universal Serial Bus)コントローラなどの周辺機器を接続するためのインタフェースである。外部メモリ172は、フラッシュメモリなどの外部メモリであり、前記時計部180は、制御部160からの設定信号によって時間情報を設定し、時間データを制御部160に供給する。
[映像酔いの説明]
本実施例による三次元ヘッドマウントディスプレイ用の映像表示プログラムを適用する映像表示システムは、前述したように三次元ヘッドマウントディスプレイを用いた三次元コンテンツ視聴中に発生する映像酔い(頭痛・眩暈(平衡感覚の異常)・吐き気・悪心等の乗り物酔いに似た症状)を防止又は低減するものである。この映像酔いとは、ユーザへの視野画面として例えば図6上段に示した室内に本棚41及びテレビ43が配置され、これに間に人物42が起立している状態を正面右斜めから見た三次元画像データS1を表示させた状態から、ユーザ15が頭をゆっくり動かしたときにジャイロセンサ・加速度センサ・角加速度センサなどを含む姿勢センサにより頭部の動きを検出したソフトウェアが急激に画面を左方(矢印A方向)にパンして人物42の左後方から見た三次元映像データSnに移動させた場合、この三次元映像データS1から三次元映像データSnの間には多数の三次元映像データが存在し、この連続表示される映像を見たユーザ15がめまい等の映像酔いを感じるためと思われる。特に三次元ヘッドマウントディスプレイを用いた三次元画像データは、仮想空間を三次元的にユーザに見せるために、例えば図4に示す如き左右の幅が広大な三次元映像データ510を用意しておき、ソフトウェアが、この三次元映像データ510から一部を抽出した視聴者視野映像520の範囲をユーザに提供し、三次元映像データ510の左側の視聴者視野映像520の範囲を右端側に急激に動くように表示させた場合、ユーザに映像酔いを発生させる可能性が大きい。
[第1実施例]
さて、本発明の第1実施例による三次元ヘッドマウントディスプレイ用の映像表示プログラム及び方法を適用する映像表示システムは、例えば、前述した図6に示す三次元映像データ300のみを視聴者視野データとしてユーザに提供していた従来とは異なり、図1に示す如く、三次元映像データ500中に視聴者視野データである変形四辺形のコンテンツ映像領域50aを配置し、該コンテンツ映像領域50aの周囲全体(周囲全面/周囲全辺)を囲うように固定背景画像領域80aを配置するように表示する。該固定背景画像領域80aは、コンテンツ映像領域50aに対して固定された幅広枠の如く囲うものである。この固定背景画像領域80aは、例えば、白又は黒色他の単色あるいはコンテンツ映像領域50aと明確に目視識別可能な所定パターン模様又は単色に近い背景画像が好ましい。
なお、本発明におけるコンテンツ映像領域50aに表示する視聴者視野映像は、コンテンツの任意のシーンにおけるユーザの視野に入るように予め設定されたコンテンツ映像全体であって、当該コンテンツ映像全体の一部を抽出したものではない。例えば、この全体コンテンツ映像とは、コンテンツがコマ割りされた漫画の一コマの場合、コマ単位に視聴者視野映像としてコンテンツ映像領域50aに表示するものであって、例えば本来表示しなければならない漫画一コマ映像の一部ではない。
また、前記三次元映像データ500中に含まれる固定背景画像領域80bの全体との面積比は、固定背景画像領域80bが視聴者の視野内において画像が固定されていることを認識させるために20%から50%程度、好ましくはコンテンツ領域を比較的大きくするため30%程度が好ましい。すなわち、固定背景画像領域及びコンテンツ映像領域の合計面積に比して固定背景画像領域が占める面積比率が20%から50%程度、好ましくはコンテンツ領域を比較的大きくするため30%程度が好ましい。
[第2実施例]
本実施例による映像表示システムは、コンテンツ映像領域50aを変形四辺形とし、このコンテンツ映像領域50aの周囲の固定背景画像領域80bを残りの変形多角形領域とした例を説明したが、本発明による固定背景画像領域の形状はこれに限られるものではない。例えば、本発明による固定背景画像領域の形状は、図2に示す如く、コンテンツ映像領域50aを平行四辺形とし、この平行四辺形を囲う太枠形状の固定背景画像領域80bを配置するように表示しても良い。このコンテンツ映像領域の形状は、円形・台形・多角形・楕円形等であっても良く固定背景画像領域の形状はこれら固定背景画像領域を囲む形状であれば良く、他には三次元映像データの下辺のみ又は上辺のみ又は左右辺の何れかのみに配置した長方四辺形とすることや円弧状であっても良く、これら形状の場合は三次元映像表示画面に占める位置が偏るため例えば30%以上の占有率が望ましい。
このように本発明による映像表示システムは、コンテンツ映像領域の他に固定背景画像領域を配置するものであって、この描画映像の生成は、コンピュータ10のGPU又はヘッドマウントディスプレイ20の制御部160によって行われる。
[第3実施例]
また、前記実施例においては、コンテンツ映像領域と固定背景画像領域の形状及び配置を固定する例を説明したが、映像酔いはユーザの個体差があり、またユーザの疲れ具合や慣れによって変化することが考えられる。このため本発明による映像表示システムは、固定枠ID(識別番号)毎に標準のコンテンツ映像領域形状と、標準の固定背景画像領域形状と、固定背景画像領域の面積の最小比率とを図5の如く初期条件値として映像形態管理テーブルに設定しておき、当初は初期条件値により三次元映像データ表示を行い、映像酔いを感じたユーザがキーボード又はコントローラを用いて「映像酔い発生」を入力したとき、ソフトウェアがユーザ対応に固定背景画像領域の面積の最小比率を固定枠ID(識別番号)を指定して増減することによってユーザ毎の個別身体条件を学習し、自動的に固定背景画像領域を拡げる等の調整を行う機能を追加しても良い。この調整は、固定背景画像領域の画像比率に限られるものではなく、固定背景画像領域の形状・パン速度やフレームレート他を調整するように構成しても良く、前記映像形態管理テーブルはコンピュータ10又はヘッドマウントディスプレイ20の記憶手段に記憶される。
この映像形態管理テーブルは、例えば前述の図5に示した標準のコンテンツ映像領域形状と、標準の固定背景画像領域形状と、固定背景画像領域の面積の最小比率とのみを格納しておき、ソフトウェアがコンテンツを表示する毎又は指定されたときに参照して三次元映像データ表示を行うように構成しても良い。
[第4実施例]
前述の実施例1及び2においては三次元映像データ中に1つのコンテンツ映像領域を配置し、この1つのコンテンツ映像領域の周囲を囲うように固定背景画像領域を配置する例を説明したが、本発明はこれに限られることなく、図7から図9ら示す如く、三次元映像データ中に複数のコンテンツ映像領域を配置し、この複数のコンテンツ映像領域の周囲を囲うように固定背景画像領域を配置するように構成しても良い。
この実施例によるコンテンツ映像領域は、コンテンツが複数枚の紙面から成り、ストーリの展開に応じて進行する紙媒体(紙媒体と同様な表現方式のディジタルデータであっても良い)に基づいた漫画であり、紙面が複数コマから構成される場合、コンピュータが次のように描画機能を実行することによって、固定背景画像領域を変化させて映像酔いを防止する。
(1)コンテンツを構成する紙面1枚のコンテンツ映像を複数のコマ単位に分割した複数のコンテンツ映像領域に分割する機能。
(2)この分割した複数のコンテンツ映像領域を三次元映像データ内に接触しないように配置する機能。
(3)複数のコンテンツ映像領域の周りを固定背景画像領域が囲うように配置する機能。
(4)コンテンツ映像に基づいて前記固定背景画像領域を変化させる機能。
(5)コンテンツ映像の進行に基づいてコンテンツ映像領域を複数に分割して表示する機能。
(6)コンテンツ映像の進行方向に基づいて複数に分割したコンテンツ映像領域を順次表示する機能。
(7)コンテンツ映像の進行方向に基づいてコンテンツ映像に含まれるオブジェクトが動く方向に分割したコンテンツ映像領域を順次表示する機能。
(8)ヘッドマウントディスプレイによって検出されるユーザの視線が動く方向に分割したコンテンツ映像領域を順次表示する機能。
(9)コンテンツ映像の進行に基づいて、固定背景画像領域の大きさを変化させる機能。
これを具体的に説明すると、図7に示す映像例では、分割したコンテンツ映像領域50dであるベッドに少年が横たわるコンテンツ映像と窓を表示するコンテンツ映像領域50eを三次元映像データ500の左上側に配置し、この2つのコンテンツ映像領域50d及びコンテンツ映像領域50eの四辺形周囲を囲う固定背景画像領域80cを配置する。
図8に示す映像例では、三次元映像データ500の左上側にコンテンツ映像領域50e(窓の外に大きな星のようなものが見えるコンテンツ映像)及びコンテンツ映像領域50f(少年がベッドから立ち上がるコンテンツ映像)を配置し、この2つのコンテンツ映像領域50e及びコンテンツ映像領域50fの四辺形周囲を覆う固定背景画像領域80dを配置する。
図9に示す映像例では、三次元映像データ500の左上側にコンテンツ映像領域50g(窓から外を見る少年の正面コンテンツ映像)及びコンテンツ映像領域50h(窓から外を見る少年を後ろら見たコンテンツ映像)を配置し、この2つのコンテンツ映像領域50g及びコンテンツ映像領域50hの四辺形周囲を覆う固定背景画像領域80eを配置する。
このように本実施例による映像表示システムは、例えば、コンテンツ映像の進行に基づいてコンテンツ映像領域を複数に分割して表示する機能と、コンテンツ映像の進行方向に基づいて複数に分割したコンテンツ映像領域を順次表示する機能と、コンテンツ映像の進行方向に基づいてコンテンツ映像に含まれるオブジェクトが動く方向に分割したコンテンツ映像領域を順次表示する機能と、コンテンツ映像の進行に基づいて固定背景画像領域の大きさを変化させる機能とを任意に実行することによって、コンテンツの進行に応じて固定背景画像領域を変化させ、より映像酔いを防止することができる。
[第5実施例]
前述の実施例においては、三次元ヘッドマウントディスプレイ用の動画である映像表示プログラムを適用する映像表示システムについて説明したが、本発明は、ゲーム用の映像表示プログラムを適用する映像表示システムにも適用することができる。このゲーム用の映像表示プログラムは、プレイヤーのゲーム進行に応じた選択操作によってゲームのストーリが多岐にわたって分岐し、この分岐した展開場面毎のVR表示映像も変化する。
このため本実施例による映像表示システムは、ゲームの展開及び進行毎に応じて表示する映像毎にコンテンツ映像領域の周囲全体(周囲全面/周囲全辺)を囲う固定背景画像領域の表示面積比率を設定して映像形態管理テーブルを図5に示した如く設定しておき、映像酔いを感じたユーザがキーボード又はコントローラを用いて「映像酔い発生」を入力したとき又は生体情報センサ(例えば、血行循環にマイヤー波と呼ばれる周期約10秒の低周波数の揺らぎによる脈波・心拍数・血圧変動を検出するスマートウォッチ)及び生体情報センサに基づく「映像酔い発生」を映像酔い検知ソフトウェアにより検知したとき、前記固定背景画像領域を固定枠ID(識別番号)を選択して表示させるように構成しても良い。
例えば、本映像表示システムは、ゲーム展開(映像パン速度)が早く映像酔いが発生する可能性が高いゲームコンテンツ映像においては固定背景画像領域の表示面積比率を高く設定し、ゲーム展開(映像パン速度)が比較的遅く映像酔いが発生する可能性が比較的少ないゲームコンテンツ映像においては固定背景画像領域の表示面積比率を比較的低く設定しておく。そして、本映像表示システムは、映像酔いを感じたユーザがキーボード又はコントローラを用いて「映像酔い発生」を入力したときや生体情報センサ及び映像酔い検知ソフトウェアにより検知したとき、前記ゲーム展開に応じたゲームコンテンツ映像による映像酔いが発生する程度・頻度に応じて固定枠IDを選択して固定背景画像領域を表示させるように構成しても良い。
本実施例は、例えば、ゲーム進行に応じた展開の変化によりゲームコンテンツ映像を仮想現実空間としてディスプレイの表示部に表示するゲーム用コンピュータを含むディスプレイ用のゲーム映像表示システムであって、該ゲーム用コンピュータに、ゲームの展開及び進行毎に応じて表示するゲーム映像領域の周囲の一部又は全体を囲う固定背景画像領域の表示面積比率を固定枠ID毎に設定した映像形態管理テーブルと、ユーザが「映像酔い発生」を入力したときや生体情報センサに基づいて「映像酔い発生」を映像酔い検知ソフトウェアを備え、前記表示部にゲームコンテンツ映像領域と、該コンテンツ映像領域の少なくとも一部を囲う固定背景画像領域を設定した三次元映像データを、映像酔いを感じたユーザが「映像酔い発生」を入力したときや生体情報センサに基づいて「映像酔い発生」を映像酔い検知ソフトウェアが検知したとき、前記映像形態管理テーブルに設定した固定枠IDを参照して表示部に表示させるように動作しても良い。
また、前記固定背景画像領域は、前述の実施例同様に、ゲームコンテンツ映像領域と明確に目視識別可能な白又は黒色他の単色又は所定パターン模様が好ましく、ゲームコンテンツ映像領域の形状は円形・台形・多角形・楕円形等であっても良く、固定背景画像領域の形状は固定背景画像領域を一部又は全部を囲む形状であれば良く、他には三次元映像データの下辺のみ又は上辺のみ又は左右辺の何れかのみに配置した長方四辺形とすることや円弧状であっても良い。
また、本発明は、次に挙げるように表すこともできる。
[特徴1]
コンテンツ映像を仮想現実空間としてディスプレイの表示部に表示するコンピュータを含むディスプレイ用の映像表示システムにおいて、
該コンピュータが、前記表示部にコンテンツ映像領域と、該コンテンツ映像領域の少なくとも一部を囲う固定背景画像領域を設定した三次元映像データを表示部に表示するディスプレイ用の映像表示システム。
[特徴2]
前記コンピュータが、前記コンテンツ映像に基づいて、前記固定背景画像領域を変化させる特徴1に記載のディスプレイ用の映像表示システム。
[特徴3]
前記コンピュータが、前記コンテンツ映像の進行に基づいて、前記コンテンツ映像領域を複数に分割して表示する特徴1または2に記載のディスプレイ用の映像表示システム。
[特徴4]
前記コンピュータが、前記コンテンツ映像の進行方向に基づいて、該複数に分割したコンテンツ映像領域を順次表示する特徴1から3何れか一に記載のディスプレイ用の映像表示システム。
[特徴5]
前記コンピュータが、前記コンテンツ映像の進行方向に基づいて、前記コンテンツ映像に含まれるオブジェクトが動く方向に、分割したコンテンツ映像領域を順次表示する特徴1から4のいずれか一つに記載のディスプレイ用の映像表示システム。
[特徴6]
前記コンピュータが、前記ディスプレイによって検出されるユーザの視線が動く方向に、前記分割したコンテンツ映像領域を順次表示する特徴1から5のいずれか一つに記載のディスプレイ用の映像表示システム。
[特徴7]
前記コンピュータが、前記コンテンツ映像の進行に基づいて、前記固定背景画像領域の大きさを変化させる特徴1から6のいずれか一つに記載のディスプレイ用の映像表示システム。
[特徴8]
コンテンツ映像を仮想現実空間としてディスプレイの表示部に表示するコンピュータを用いたディスプレイ用の映像表示方法において、
該コンピュータに、前記表示部にコンテンツ映像領域と、該コンテンツ映像領域の少なくとも一部を囲う固定背景画像領域を設定した三次元映像データを表示部に表示させるディスプレイ用の映像表示方法。
[特徴9]
コンテンツ映像を仮想現実空間としてディスプレイの表示部に表示するコンピュータを用いたディスプレイ用の映像表示プログラムであって、
該コンピュータに、前記表示部にコンテンツ映像領域と、該コンテンツ映像領域の少なくとも一部を囲う固定背景画像領域を設定した三次元映像データを表示部に表示する機能を実行させるディスプレイ用の映像表示プログラム。
10 コンピュータ、13 キーボード、14 マウス、15 ユーザ、
12 ディスプレイ、20 ヘッドマウントディスプレイ、21 ユーザ視野画面、
50a コンテンツ映像領域、80a 固定背景画像領域、
80b 固定背景画像領域、300 三次元映像データ、
500 三次元映像データ、510 三次元映像データ、520 視聴者視野映像

Claims (15)

  1. オブジェクトを含むコンテンツ映像を仮想現実空間としてディスプレイの表示部に表示するコンピュータを含むディスプレイ用の映像表示システムにおいて、
    該コンピュータが、前記表示部にコンテンツ映像領域と、該コンテンツ映像領域の少なくとも一部を囲う固定背景画像領域を設定し、前記コンテンツ映像の進行に基づいて、前記コンテンツ映像領域を複数に分割した三次元映像データを表示部に表示するディスプレイ用の映像表示システム。
  2. 前記コンピュータが、前記コンテンツ映像の進行方向に基づいて、該複数に分割したコンテンツ映像領域を順次表示する請求項1記載のディスプレイ用の映像表示システム。
  3. 前記コンピュータが、前記コンテンツ映像の進行方向に基づいて、前記コンテンツ映像に含まれるオブジェクトが動く方向に、分割したコンテンツ映像領域を順次表示する請求項2に記載のディスプレイ用の映像表示システム。
  4. 前記コンピュータが、ユーザの視線が動く方向を検知する検知機能を備え、該検知機能によって検出されるユーザの視線が動く方向に、前記分割したコンテンツ映像領域を順次表示する請求項2に記載のディスプレイ用の映像表示システム。
  5. 前記コンピュータが、前記コンテンツ映像の進行に基づいて、前記固定背景画像領域の大きさを変化させる請求項1から4何れかに記載のディスプレイ用の映像表示システム。
  6. コンテンツ映像を仮想現実空間としてディスプレイの表示部に表示するコンピュータを用いたディスプレイ用の映像表示方法において、
    該コンピュータに、前記表示部にコンテンツ映像領域と、該コンテンツ映像領域の少なくとも一部を囲う固定背景画像領域を設定し、前記コンテンツ映像の進行に基づいて、前記コンテンツ映像領域を複数に分割した三次元映像データを表示部に表示させるディスプレイ用の映像表示方法。
  7. 前記コンピュータに、前記コンテンツ映像の進行方向に基づいて、該複数に分割したコンテンツ映像領域を順次表示させる請求項6記載のディスプレイ用の映像表示方法。
  8. 前記コンピュータに、前記コンテンツ映像の進行方向に基づいて、前記コンテンツ映像に含まれるオブジェクトが動く方向に、分割したコンテンツ映像領域を順次表示させる請求項7記載のディスプレイ用の映像表示方法。
  9. 前記コンピュータに、ユーザの視線が動く方向を検知する検知機能を設け、該検知機能によって検出されるユーザの視線が動く方向に、前記分割したコンテンツ映像領域を順次表示させる請求項7に記載のディスプレイ用の映像表示方法。
  10. 前記コンピュータに、前記コンテンツ映像の進行に基づいて、前記固定背景画像領域の大きさを変化させる請求項6から9の何れかに記載のディスプレイ用の映像表示方法。
  11. コンテンツ映像を仮想現実空間としてディスプレイの表示部に表示するコンピュータを用いたディスプレイ用の映像表示プログラムであって、
    該コンピュータに、前記表示部にコンテンツ映像領域と、該コンテンツ映像領域の少なくとも一部を囲う固定背景画像領域を設定し、前記コンテンツ映像の進行に基づいて、前記コンテンツ映像領域を複数に分割した三次元映像データを表示部に表示する機能を実行させるディスプレイ用の映像表示プログラム。
  12. 前記コンピュータに、前記コンテンツ映像の進行方向に基づいて、該複数に分割したコンテンツ映像領域を順次表示する機能を実行させる請求項11記載のディスプレイ用の映像表示プログラム。
  13. 前記コンピュータに、前記コンテンツ映像の進行方向に基づいて、前記コンテンツ映像に含まれるオブジェクトが動く方向に、分割したコンテンツ映像領域を順次表示する機能を実行させる請求項12に記載のディスプレイ用の映像表示プログラム。
  14. 前記コンピュータに、ユーザの視線が動く方向を検知する検知機能を備え、該検知機能によって検出されるユーザの視線が動く方向に、前記分割したコンテンツ映像領域を順次表示する機能を実行させる請求項12に記載のディスプレイ用の映像表示プログラム。
  15. 前記コンピュータに、前記コンテンツ映像の進行に基づいて、前記固定背景画像領域の大きさを変化させる機能を実行させる請求項11から14の何れかに記載のディスプレイ用の映像表示プログラム。
JP2018539717A 2016-09-14 2017-09-12 映像表示システム及び映像表示方法、映像表示プログラム Active JP6799603B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016179877 2016-09-14
JP2016179877 2016-09-14
PCT/JP2017/032784 WO2018051964A1 (ja) 2016-09-14 2017-09-12 映像表示システム及び映像表示方法、映像表示プログラム

Publications (2)

Publication Number Publication Date
JPWO2018051964A1 JPWO2018051964A1 (ja) 2019-07-25
JP6799603B2 true JP6799603B2 (ja) 2020-12-16

Family

ID=61618766

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018539717A Active JP6799603B2 (ja) 2016-09-14 2017-09-12 映像表示システム及び映像表示方法、映像表示プログラム

Country Status (5)

Country Link
US (1) US11198063B2 (ja)
EP (1) EP3514765A4 (ja)
JP (1) JP6799603B2 (ja)
CN (1) CN109643466A (ja)
WO (1) WO2018051964A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6801136B1 (ja) * 2020-05-14 2020-12-16 エヌ・ティ・ティ・コミュニケーションズ株式会社 遠隔制御システムとその遠隔作業装置、映像処理装置およびプログラム
US11682136B2 (en) 2021-01-07 2023-06-20 Htc Corporation Display method, display system and non-transitory computer readable storage medium
JP7086307B1 (ja) * 2021-04-09 2022-06-17 三菱電機株式会社 酔い調整装置、酔い調整方法、及び酔い調整プログラム

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3676391B2 (ja) * 1994-04-27 2005-07-27 オリンパス株式会社 頭部装着式映像表示装置
JPH0821975A (ja) * 1994-07-06 1996-01-23 Olympus Optical Co Ltd 頭部装着型映像表示システム
JPH08220470A (ja) * 1995-02-20 1996-08-30 Fujitsu General Ltd ヘッドマウントディスプレイ装置
US6497649B2 (en) * 2001-01-21 2002-12-24 University Of Washington Alleviating motion, simulator, and virtual environmental sickness by presenting visual scene components matched to inner ear vestibular sensations
JP4300818B2 (ja) * 2002-11-25 2009-07-22 日産自動車株式会社 車載表示装置および携帯表示装置
JPWO2007086431A1 (ja) * 2006-01-25 2009-06-18 パナソニック株式会社 映像表示装置
JP5022370B2 (ja) * 2006-09-12 2012-09-12 パナソニック株式会社 コンテンツ撮影装置
US8290338B2 (en) * 2009-05-27 2012-10-16 Panasonic Corporation Recording medium, playback device, encoding device, integrated circuit, and playback output device
US8692845B2 (en) * 2010-10-28 2014-04-08 Eastman Kodak Company Head-mounted display control with image-content analysis
EP2505224A1 (en) * 2011-03-31 2012-10-03 Alcatel Lucent Method and system for avoiding discomfort and/or relieving motion sickness when using a display device in a moving environment
JP5908894B2 (ja) * 2011-04-28 2016-04-26 パナソニック株式会社 記録媒体、再生装置、及び記録装置
CN103380625A (zh) * 2011-06-16 2013-10-30 松下电器产业株式会社 头戴式显示器及其位置偏差调整方法
WO2012172119A2 (en) 2012-05-08 2012-12-20 Lonza Ltd Method for the preparation of medetomidine
JP6112878B2 (ja) 2013-01-28 2017-04-12 オリンパス株式会社 ウェアラブル型表示装置及びプログラム
NZ712192A (en) * 2013-03-15 2018-11-30 Magic Leap Inc Display system and method
US9645395B2 (en) * 2013-03-15 2017-05-09 Mark Bolas Dynamic field of view throttling as a means of improving user experience in head mounted virtual environments
BR112015024910A2 (pt) * 2013-03-26 2017-07-18 Seiko Epson Corp dispositivo de exibição montado na cabeça, método de controle de dispositivo de exibição montado na cabeça e sistema de exibição
US20140375663A1 (en) 2013-06-24 2014-12-25 Alexander Pfaffe Interleaved tiled rendering of stereoscopic scenes
EP3057089A4 (en) * 2014-01-20 2017-05-17 Sony Corporation Image display device and image display method, image output device and image output method, and image display system
US20160170482A1 (en) * 2014-12-15 2016-06-16 Seiko Epson Corporation Display apparatus, and control method for display apparatus
US10187635B2 (en) * 2014-12-31 2019-01-22 Alt Llc Method and system for displaying three-dimensional objects
KR102471302B1 (ko) * 2015-07-07 2022-11-28 삼성전자 주식회사 헤드 마운트 디스플레이 장치
JP6641763B2 (ja) * 2015-08-03 2020-02-05 セイコーエプソン株式会社 表示システム
US10139902B2 (en) * 2015-09-16 2018-11-27 Colopl, Inc. Method and apparatus for changing a field of view without synchronization with movement of a head-mounted display
US20170228931A1 (en) 2016-02-08 2017-08-10 Google Inc. Limited field of view in virtual reality
US10175487B2 (en) * 2016-03-29 2019-01-08 Microsoft Technology Licensing, Llc Peripheral display for head mounted display device
US10171866B2 (en) * 2016-03-29 2019-01-01 Seiko Epson Corporation Display system, display device, head-mounted display device, display control method, control method for display device, and computer program
US10372205B2 (en) * 2016-03-31 2019-08-06 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US20180144521A1 (en) * 2016-11-22 2018-05-24 Qualcomm Incorporated Geometric Work Scheduling of Irregularly Shaped Work Items
KR20180073327A (ko) * 2016-12-22 2018-07-02 삼성전자주식회사 영상 표시 방법, 저장 매체 및 전자 장치
EP3721417A1 (en) * 2017-12-22 2020-10-14 Huawei Technologies Co., Ltd. Vr 360 video for remote end users
US11270492B2 (en) * 2019-06-25 2022-03-08 Arm Limited Graphics processing systems

Also Published As

Publication number Publication date
US11198063B2 (en) 2021-12-14
JPWO2018051964A1 (ja) 2019-07-25
CN109643466A (zh) 2019-04-16
WO2018051964A1 (ja) 2018-03-22
EP3514765A4 (en) 2020-04-22
US20210268379A1 (en) 2021-09-02
EP3514765A1 (en) 2019-07-24

Similar Documents

Publication Publication Date Title
JP6674703B2 (ja) ヘッドマウントディスプレイにおけるメニューナビゲーション
CN106062826B (zh) 图像生成装置以及图像生成方法
US10229541B2 (en) Methods and systems for navigation within virtual reality space using head mounted display
EP3097552B1 (en) Environmental interrupt in a head-mounted display and utilization of non field of view real estate
US10416835B2 (en) Three-dimensional user interface for head-mountable display
US9779702B2 (en) Method of controlling head-mounted display system
JP6097377B1 (ja) 画像表示方法及びプログラム
EP3349107A1 (en) Information processing device and image generation method
EP3349183A1 (en) Information processing device and image generation method
CN107209565B (zh) 用于显示固定大小的增强现实对象的方法和系统
EP3588447B1 (en) Image processing device, image processing method, and image system
JP6799603B2 (ja) 映像表示システム及び映像表示方法、映像表示プログラム
EP3683656A1 (en) Virtual reality (vr) interface generation method and apparatus
US10277814B2 (en) Display control method and system for executing the display control method
JP7362796B2 (ja) Hmd配信システム
Peterson Virtual Reality, Augmented Reality, and Mixed Reality Definitions
CN111670465A (zh) 显示经修改的立体视觉内容
WO2021055036A1 (en) Haptic simulation of motion in virtual reality
CN106257394B (zh) 用于头戴显示器的三维用户界面
JP2017045296A (ja) ヘッドマウントディスプレイシステムを制御するプログラム
US10540826B2 (en) Method of playing virtual reality image and program using the same
CN109302640B (zh) 在虚拟现实视频中显示弹幕的方法和装置
JP2018195172A (ja) 情報処理方法、情報処理プログラム及び情報処理装置
KR102224057B1 (ko) 관전 영상의 자동제어를 이용한 부하 감소 방법 및 이를 이용한 헤드 마운티드 디스플레이
JP2017097918A (ja) 画像表示方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200422

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200928

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200928

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20201006

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20201007

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201120

R150 Certificate of patent or registration of utility model

Ref document number: 6799603

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250