JP7484929B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP7484929B2
JP7484929B2 JP2021554318A JP2021554318A JP7484929B2 JP 7484929 B2 JP7484929 B2 JP 7484929B2 JP 2021554318 A JP2021554318 A JP 2021554318A JP 2021554318 A JP2021554318 A JP 2021554318A JP 7484929 B2 JP7484929 B2 JP 7484929B2
Authority
JP
Japan
Prior art keywords
display
dimensional
display device
transition
augmented reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021554318A
Other languages
English (en)
Other versions
JPWO2021085130A1 (ja
Inventor
靖子 石原
浩丈 市川
敦 石原
一 若林
隆臣 木村
正行 井上
秀憲 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2021085130A1 publication Critical patent/JPWO2021085130A1/ja
Application granted granted Critical
Publication of JP7484929B2 publication Critical patent/JP7484929B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359—Switching between monoscopic and stereoscopic modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Description

本技術は、情報処理装置、情報処理方法およびプログラムに関する。
従来、例えば、特許文献１には、２次元ディスプレイに表示される２次元コンテンツとＡＲ（拡張現実：Augmented Reality）表示装置で表示される仮想物体をユーザが同時に観察し得るシステムが記載されている。また、従来、例えば、テレビ受信機等の２次元ディスプレイとスマートフォンなどのＡＲ表示装置を使って、２次元ディスプレイに表示されたゲームや映画等の２次元コンテンツの所定オブジェクトを３次元表示モデルとして実空間に飛び出してくるように遷移させる技術が提案されている。
特開２００２－２４７６０２号公報
２次元ディスプレイに表示された２次元コンテンツの所定オブジェクトをＡＲ表示装置の３次元表示モデルに遷移させる場合、ＡＲ表示装置が２次元ディスプレイに対して斜めに位置しているときは、３次元表示モデルの出現する角度が２次元ディスプレイにおける画面と一致せず、不自然な見え方となるという問題があった。この場合、２次元ディスプレイに表示された２次元コンテンツの所定オブジェクトが３次元表示モデルに遷移してきたように感じられない。
本技術の目的は、２次元ディスプレイに表示された２次元コンテンツの所定オブジェクトをＡＲ表示装置の３次元表示モデルに遷移させる場合、またはその逆に遷移させる場合に、自然な見え方となるようにする、ことにある。
本技術の概念は、
２次元ディスプレイに表示されている２次元コンテンツの所定オブジェクトを拡張現実表示装置の３次元表示モデルとして遷移させる場合、または前記拡張現実表示装置の３次元表示モデルを前記２次元ディスプレイに表示される２次元コンテンツの所定オブジェクトとして遷移させる場合、前記２次元コンテンツを運動視差非適用表示から運動視差適用表示に切り替えた後に、前記遷移が行われるように制御する制御部を備える
情報処理装置にある。
本技術は、２次元ディスプレイに表示されている２次元コンテンツの所定オブジェクトを拡張現実表示装置の３次元表示モデルとして遷移させる場合、または拡張現実表示装置の３次元表示モデルを２次元ディスプレイに表示される２次元コンテンツの所定オブジェクトとして遷移させる場合の技術である。
制御部により、２次元コンテンツを運動視差非適用表示から運動視差適用表示に切り替えた後に、遷移が行われるように制御される。例えば、制御部は、拡張現実表示装置が一つである場合には運動視差適用表示が２次元ディスプレイに表示され、拡張現実表示装置が複数である場合には運動視差適用表示が拡張現実表示装置に表示されるように制御する、ようにされてもよい。
拡張現実表示装置が一つである場合には、運動視差適用表示が２次元ディスプレイに表示され、２次元ディスプレイ上の所定オブジェクトが３次元表示モデルとして飛び出してくる、または３次元表示モデルが２次元ディスプレイ上の所定オブジェクトとして戻っていくということを、より自然に見せることが可能となる。一方、拡張現実表示装置が複数である場合には、運動視差適用表示が拡張現実表示装置に表示され、それぞれの拡張現実表示装置の位置に合った運動視差適用表示がなされることから、全ての拡張現実表示装置で自然な遷移をユーザに見せることが可能となる。
また、例えば、制御部は、２次元ディスプレイに対する拡張現実表示装置の位置と向きの情報に基づいて、遷移が行われるように制御する、ようにされてもよい。この場合、例えば、２次元ディスプレイおよび拡張現実表示装置と通信をする通信部をさらに備え、制御部は、通信部を介して、拡張現実表示装置から位置と向きの情報に基づくユーザ注視情報を取得する、ようにされてもよい。
また、この場合、例えば、制御部は、２次元ディスプレイと拡張現実表示装置の間の距離が所定範囲内にあるとき、遷移が行われるように制御する、ようにされてもよい。このとき、例えば、制御部は、拡張現実表示装置の向きが２次元ディスプレイに対して所定範囲内にあるとき、遷移が行われるように制御する、ようにされてもよい。そして、このとき、例えば、制御部は、拡張現実表示装置を装着するユーザの視線が２次元ディスプレイに向いているとき、遷移が行われるように制御する、ようにされてもよい。
また、例えば、制御部は、２次元ディスプレイおよび拡張現実表示装置とネットワークを介して接続されたクラウドサーバに含まれる、ようにされてもよい。この場合、例えば、クラウドサーバは、ゲームサーバである、ようにされてもよい。また、例えば、制御部は、２次元コンテンツの所定オブジェクトを３次元表示モデルとして遷移させる場合、遷移の後かつ３次元表示モデルが表示されている間は所定オブジェクトが２次元ディスプレイに表示されないよう制御する、または３次元表示モデルを２次元コンテンツの所定オブジェクトとして遷移させる場合、遷移の後かつ２次元コンテンツの所定オブジェクトが表示されている間は３次元表示モデルが拡張現実表示装置に表示されないよう制御する、ようにされてもよい。この場合、例えば、２次元コンテンツの所定オブジェクトと３次元表示モデルは制御部が実行するアプリケーション上で同一のオブジェクトとして扱われるコンテンツであってもよい。
このように本技術においては、２次元ディスプレイに表示されている２次元コンテンツの所定オブジェクトを拡張現実表示装置の３次元表示モデルとして遷移させる場合、または拡張現実表示装置の３次元表示モデルを２次元ディスプレイに表示される２次元コンテンツの所定オブジェクトとして遷移させる場合に、２次元コンテンツを運動視差非適用表示から運動視差適用表示に切り替えた後に遷移が行われるように制御するものである。そのため、遷移時に自然な見え方となるようにすることが可能となる。
実施の形態としてのゲームシステムの構成例を示すブロック図である。 ２Ｄディスプレイに２次元コンテンツが表示されていて、ＡＲ表示装置を装着した一人のユーザがそれを注視している状態を示す図である。 ２次元コンテンツの所定オブジェクトから３次元表示モデルへの遷移が行われる場合に、２次元コンテンツを運動視差適用表示に切り替えない場合について説明するための図である。 ２次元コンテンツの所定オブジェクトから３次元表示モデルへの遷移が行われる場合に、２次元コンテンツの運動視差適用表示を介在させる場合について説明するための図である。 ２Ｄディスプレイに２次元コンテンツが表示されていて、ＡＲ表示装置を装着した二人のユーザがそれを注視している状態を示す図である。 ＡＲ表示装置に表示される２次元コンテンツの運動視差適用表示を説明するための図である。 ２次元コンテンツの所定オブジェクトから３次元表示モデルへの遷移が行われる場合に、２次元コンテンツの運動視差適用表示を介在させる場合について説明するための図である。 ２次元コンテンツの所定オブジェクトから３次元表示モデルへの遷移が行われる場合に、２次元コンテンツの運動視差適用表示を介在させる場合について説明するための図である。 ゲームサーバの構成例を示すブロック図である。 ２Ｄディスプレイの構成例を示すブロック図である。 ＡＲ表示装置の構成例を示すブロック図である。 ２次元コンテンツの所定オブジェクトから３次元表示モデルへの遷移が行われる場合におけるゲームサーバの処理手順の一例を示すフローチャートである。 ２次元コンテンツの所定オブジェクトから３次元表示モデルへの遷移が行われる場合におけるＡＲ表示装置の処理手順の一例を示すフローチャートである。 ２次元コンテンツの所定オブジェクトから３次元表示モデルへの遷移が行われる場合における２Ｄディスプレイの処理手順の一例を示すフローチャートである。 ３次元表示モデルから２次元コンテンツの所定オブジェクトへの遷移が行われる場合におけるゲームサーバの処理手順の一例を示すフローチャートである。 ３次元表示モデルから２次元コンテンツの所定オブジェクトへの遷移が行われる場合におけるＡＲ表示装置の処理手順の一例を示すフローチャートである。 ３次元表示モデルから２次元コンテンツの所定オブジェクトへの遷移が行われる場合における２Ｄディスプレイの処理手順の一例を示してフローチャートは、
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
＜１．実施の形態＞
［ゲームシステム］
図１は、実施の形態としてのゲームシステム１０の構成例を示している。このゲームシステム１０は、ゲームサーバ１００と、２Ｄ（２次元：Two dimensions）ディスプレイ２００と、一つまたは複数のＡＲ（拡張現実：Augmented Reality）表示装置３００を有している。
ゲームサーバ１００は、ゲームコンテンツの進行を管理する装置であり、制御部を構成している。この実施の形態において、ゲームサーバ１００は、インターネット等のネットワーク上でアクセスされるクラウドサーバである。２Ｄディスプレイ２００は、ゲームを実行するＰＣ（Personal Computer）またはゲーム機と同等の機能を備えている。２Ｄディスプレイ２００は、具体的には、テレビ受信機やプロジェクター等である。ＡＲ表示装置３００は、拡張現実の３次元表示モデルをユーザに提示する機能を有する。このＡＲ表示装置３００は、具体的には、ＡＲグラスやＨＭＤ（Head Mounted Display）等である。
２Ｄディスプレイ２００およびＡＲ表示装置３００は、インターネット等のネットワークを介して、ゲームサーバ１００に接続される。２Ｄディスプレイ２００およびＡＲ表示装置３００には予めゲームアプリケーションのクライアントアプリケーションがインストールされており、ゲームサーバ１００によるゲーム制御に基づいてゲームが進行していく。
この場合、ＡＲ表示装置３００からゲームサーバ１００には、ユーザ位置等の情報が送られる。ゲームサーバ１００は、ユーザがＡＲ表示装置３００の表示部を透過して２Ｄディスプレイ２００を注視していると判断し、かつ遷移シーンであると判断するとき、２次元コンテンツの所定オブジェクトを３次元表示モデルに遷移させる、あるいは３次元表示モデルを２次元コンテンツの所定オブジェクトに遷移させる。ここで、２次元コンテンツの所定オブジェクトと３次元表示モデルはゲームサーバ１００が実行するアプリケーション上で同一のオブジェクトとして扱われるコンテンツである。なお、２次元コンテンツの所定オブジェクトと３次元表示モデルは同一のオブジェクトであるが、例えば遷移の前後でオブジェクトの形が変化するなど、オブジェクトの外見に変化があってもよい。
ここで、２次元コンテンツの所定オブジェクトから３次元表示モデルへの遷移により、２Ｄディスプレイ２００に表示された２次元コンテンツの所定オブジェクトが拡張現実の３次元表示モデルとして出てくる状態となる。このように２次元コンテンツの所定オブジェクトを３次元表示モデルとして遷移させる場合、ゲームサーバ１００は、遷移の後かつ３次元表示モデルが表示されている間は２次元コンテンツの所定オブジェクトが２次元ディスプレイ２００に表示されないよう制御する。一方、３次元表示モデルから２次元コンテンツの所定オブジェクトへの遷移により、拡張現実の３次元表示モデルが２Ｄディスプレイ２００に表示された２次元コンテンツの所定オブジェクトとして入っていく状態となる。このように３次元表示モデルを２次元コンテンツの所定オブジェクトとして遷移させる場合、ゲームサーバ１００は、遷移の後かつ２次元コンテンツの所定オブジェクトが表示されている間は３次元表示モデルがＡＲ表示装置３００に表示されないよう制御する。
この実施の形態においては、ゲームサーバ１００は、このような遷移をさせる場合、２次元コンテンツを運動視差非適用表示（運動視差無表示）から運動視差適用表示（運動視差有表示）に切り替えた後に、遷移が行われるように制御する。これにより、自然な見え方で遷移が行われるようになる。なお運動視差適用表示とは、ユーザの視点位置の移動に応じて２次元コンテンツの所定オブジェクトを立体として見えるようにディスプレイに表示する表示手法であり、運動視差非適用表示とはユーザの視点位置の移動に依存せずに２次元コンテンツの所定オブジェクトをディスプレイに表示する表示手法である。
ここで、ＡＲ表示装置３００が一つであるとき、つまり一人プレイであるときには、ゲームサーバ１００は、運動視差適用表示が２次元ディスプレイ２００に表示されるように制御する。これにより、２次元ディスプレイ上の所定オブジェクトが３次元表示モデルとして飛び出してくる、または３次元表示モデルが２次元ディスプレイ上の所定オブジェクトとして戻っていくということを、より自然に見せることが可能となる。
この場合、ＡＲ表示装置３００は、搭載されている位置および向きのセンサ情報、さらにはユーザの視線のセンサ情報等から、ユーザが２Ｄディスプレイ２００を注視しているか判定する。例えば、ＡＲ表示装置３００は、ＡＲ表示装置３００と２Ｄディスプレイ２００の間の距離が所定範囲内にあるとき、ユーザが２Ｄディスプレイ２００を注視していると判定してもよい。
また、例えば、ＡＲ表示装置３００は、ＡＲ表示装置３００と２Ｄディスプレイ２００の間の距離が所定範囲内にあり、かつＡＲ表示装置３００の向きが２Ｄディスプレイ２００に対して所定範囲内にあるとき、ユーザが２Ｄディスプレイ２００を注視していると判定してもよい。この場合、さらに、ユーザの視線が２Ｄディスプレイ２００に向いている、という条件をさらに付けくわえてもよい。
ＡＲ表示装置３００は、ユーザが２Ｄディスプレイ２００を注視していると判定するとき、それをゲームサーバ１００にユーザ注視を通知する。注視判定の通知を受けたゲームサーバ１００は、２Ｄディスプレイ２００に、運動視差適用表示への切り替えを通知する。通知を受けた２Ｄディスプレイ２００は、運動視差適用表示を開始し、それをゲームサーバ１００に通知する。
通知を受けたゲームサーバ１００は、ＡＲ表示装置３００に、遷移開始許可を通知する。通知を受けたＡＲ表示装置３００は、３次元表示モデルが２Ｄディスプレイ２００から出ていく遷移を開始する。２Ｄディスプレイ２００は、上述したように運動視差適用表示の開始をゲームサーバ１００に通知した後、遷移対象オブジェクトを画面から消去し、さらにその後、通常表示（運動視差非適用表示）に戻る。
図２は、２Ｄディスプレイ２００に２次元コンテンツが表示されていて、ＡＲ表示装置３００を装着した一人のユーザがそれを注視している状態を示している。このような状態で、ＡＲ表示装置３００への表示切り替えをすべきシーン（遷移シーン）であるとき、２次元コンテンツの所定オブジェクトから３次元表示モデルへの遷移が行われる。
図３（ａ）は、２Ｄディスプレイ２００に２次元コンテンツが表示されていて、ユーザがそれを正面で注視している状態を示している。図３（ｂ）は、２次元コンテンツのオブジェクト５０１Ａからこの正面位置に対応した３次元表示モデル５０１Ｂに直接遷移した状態を示している。この場合は、それほど不自然ではない。
図３（ｃ）は、２Ｄディスプレイ２００に２次元コンテンツが表示されていて、ユーザがそれを右側から注視している状態を示している。図３（ｄ）は、２次元コンテンツのオブジェクト５０１Ａからこの右側位置に対応した３次元表示モデル５０１Ｂに直接遷移した状態を示している。この場合、３次元表示モデル５０１Ｂの出現する角度が２Ｄディスプレイ２００の画面と一致せず、不自然な見え方となる。
図４（ａ）は、２Ｄディスプレイ２００に２次元コンテンツが表示されていて、ユーザがそれを右側から注視している状態を示している。図４（ｂ）は、２Ｄディスプレイ２００の２次元コンテンツの表示を右側ユーザ位置に対応した運動視差適用表示に切り替えた状態を示している。図４（ｃ）は、運動視差適用表示の状態にある２次元コンテンツのオブジェクト５０１Ａから右側位置に対応した３次元表示モデル５０１Ｂに遷移した状態を示している。この場合は、図３（ｄ）の場合と異なり、自然な見え方となる。
上述の説明は、２次元コンテンツの所定オブジェクトから３次元表示モデルへの遷移の場合であるが、ここでは詳細説明は省略するが、３次元表示モデルから２次元コンテンツの所定オブジェクトへの遷移の場合も、略同様の動作となる。
また、ここで、ＡＲ表示装置３００が複数であるとき、つまり複数人プレイであるときには、ゲームサーバ１００は、運動視差適用表示がＡＲ表示装置３００に表示されるように制御する。これにより、それぞれのＡＲ表示装置３００の位置、つまりユーザ位置に合った運動視差適用表示がなされることから、全てのＡＲ表示装置３００で自然な遷移を見せることが可能となる。
この場合、ＡＲ表示装置３００は、搭載されている位置および向きのセンサ情報、さらにはユーザの視線のセンサ情報等から、ユーザが２Ｄディスプレイ２００を注視しているか判定する。詳細説明は省略するが、この判定の仕方は、上述の一人プレイの場合と同様である。ＡＲ表示装置３００は、ユーザが２Ｄディスプレイ２００を注視していると判定するとき、それをゲームサーバ１００に通知する。
複数人プレイのときに、２Ｄディスプレイ２００の２次元コンテンツを特定のユーザの位置に合わせて運動視差適用表示に切り替えると、他のユーザの２Ｄディスプレイ２００の２次元コンテンツの見え方が不自然となる。そのため、複数人プレイのときは、注視判定の通知を受けたゲームサーバ１００は、ＡＲ表示装置３００に、運動視差適用表示への切り替えを通知する。通知を受けたＡＲ表示装置３００は、２次元コンテンツの運動視差適用表示を開始し、それをゲームサーバ１００に通知する。
全てのＡＲ表示装置３００から運動視差適用表示の開始通知を受けたゲームサーバ１００は、２Ｄディスプレイ２００に、遷移対象オブジェクトの消去を通知する。通知を受けた２Ｄディスプレイ１００は、遷移対象オブジェクトを画面から消去する。ＡＲ表示装置３００は、上述したように運動視差適用表示の開始をゲームサーバ１００に通知した後、３次元表示モデルが運動視差適用表示の２次元コンテンツから出ていく遷移を開始し、その後にその２次元コンテンツの表示を終了する。
図５は、２Ｄディスプレイ２００に２次元コンテンツが表示されていて、ＡＲ表示装置３００を装着した複数、ここでは２人のユーザがそれを注視している状態を示している。このような状態で、ＡＲ表示装置３００への表示切り替えをすべきシーン（遷移シーン）であるとき、２次元コンテンツの所定オブジェクトから３次元表示モデルへの遷移が行われる。
図６（ａ）は、ＡＲ表示装置３００に表示される２次元コンテンツの右側ユーザ位置に対応した運動視差適用表示を示している。また、図６（ｂ）は、ＡＲ表示装置３００に表示される２次元コンテンツの左側ユーザ位置に対応した運動視差適用表示を示している。
図７（ａ）は、２Ｄディスプレイ２００に２次元コンテンツが表示されていて、ユーザがそれを右側から注視している状態を示している。図７（ｂ）は、２Ｄディスプレイ２００の２次元コンテンツの表示を、右側ユーザ位置に対応した運動視差適用表示に切り替えた状態を示している。この運動視差適用表示は、２Ｄディスプレイ２００ではなく、右側ユーザのＡＲ表示装置３００に表示される。図７（ｃ）は、運動視差適用表示の状態にある２次元コンテンツのオブジェクト５０１Ａから右側位置に対応した３次元表示モデル５０１Ｂに遷移した状態を示している。この場合は、自然な見え方となる。
図８（ａ）は、２Ｄディスプレイ２００に２次元コンテンツが表示されていて、ユーザがそれを左側から注視している状態を示している。図８（ｂ）は、２Ｄディスプレイ２００の２次元コンテンツの表示を、左側ユーザ位置に対応した運動視差適用表示に切り替えた状態を示している。この運動視差適用表示は、２Ｄディスプレイ２００ではなく、左側ユーザのＡＲ表示装置３００に表示される。図８（ｃ）は、運動視差適用表示の状態にある２次元コンテンツのオブジェクト５０１Ａから左側位置に対応した３次元表示モデル５０１Ｂに遷移した状態を示している。この場合は、自然な見え方となる。
上述の説明は、２次元コンテンツの所定オブジェクトから３次元表示モデルへの遷移の場合であるが、ここでは詳細説明は省略するが、３次元表示モデルから２次元コンテンツの所定オブジェクトへの遷移の場合も、略同様の動作となる。
図９は、ゲームサーバ１００の構成例を示している。ゲームサーバ１００は、ゲームコンテンツまたは映像コンテンツの進行を管理する装置である。このゲームサーバ１００は、制御部１０１と、通信部１０２と、記憶部１０３を有している。制御部１０１は、ゲームサーバ１００に内像されるＣＰＵやＲＡＭなどのハードウェアを用いて、ゲームサーバ１００の各部の動作を制御する。
制御部１０１は、通信制御部１１１と、遷移判定部１１２と、状態管理部１１３を有している。ここで、遷移判定部１１２以外は、一般的なゲームサーバと同様の構成である。
通信制御部１１１は、ゲームを実行する機器（２Ｄディスプレイ２００、ＡＲ表示装置３００など）と通信を行うための機能を有する。遷移判定部１１２は、２Ｄディスプレイ２００からＡＲ表示装置に、またはその逆に表示を切り替えるかどうかの判定、および運動視差表現をどのデバイスで実行するかを判定する機能を有する。具体的にＡＲ表示装置３００から送られてくる２Ｄディスプレイ２００のユーザ注視情報と、ゲームコンテンツまたは映像コンテンツの進行状況をもとに判断する。状態管理部１１３は、ユーザの状態に応じてゲームコンテンツまたは映像コンテンツの進行を管理する機能を有する。これは、一般的なオンラインゲームにおいて標準的な機能である。
図１０は、２Ｄディスプレイ２００の構成例を示している。２Ｄディスプレイ２００は、制御部２０１と、通信部２０２と、記憶部２０３と、ディスプレイ２０４を有している。制御部２０１は、２Ｄディスプレイ２００に内像されるＣＰＵやＲＡＭなどのハードウェアを用いて、２Ｄディスプレイ２００の各部の動作を制御する。
制御部２０１は、通信制御部２１１と、描画処理部２１２と、表示制御部２１３を有している。ここで、描画処理部２１２以外は、ゲームを実行する一般的なＰＣまたはゲーム機の構成と同等である。
通信制御部２１１は、ゲームサーバ１００と通信を行うための機能を有する。描画制御部２１２は、２Ｄディスプレイ２００に表示するコンテンツのレンダリング（描画）を行う機能を有する。この描画処理部２１２は、運動視差を有効にした画像を生成する処理もする。表示制御部２１３は、描画処理部２１２によるレンダリング結果をディスプレイ２０４に表示する機能を有する。
図１１は、ＡＲ表示装置３００の構成例を示している。ＡＲ表示装置３００は、制御部３０１と、通信部３０２と、センサ部３０３と、表示部３０４と、記憶部３０５を有している。
センサ部３０３は、ユーザ情報や外環境情報を得るためのセンサである。このセンサ部３０３は、ステレオカメラ、ジャイロセンサ等の各種センサを含む。表示部３０４は、左眼ディスプレイ、右眼ディスプレイを含む。
制御部３０１は、ＡＲ表示装置３００に内像されるＣＰＵやＲＡＭなどのハードウェアを用いて、ＡＲ表示装置３００の各部の動作を制御する。制御部３０１は、通信制御部３１１と、描画処理部３１２と、表示制御部３１３と、入力制御部３１４と、認識部３１５と、注視点判定部３１６を有している。
入力制御部３１４は、センサ部３０３に含まれるカメラや他のセンサからの入力情報を管理する機能を有する。通信制御部３１１は、ゲームサーバ１００と通信を行うための機能を有する。認識部３１５は、カメラ画像に対する画像認識等により、２Ｄディスプレイ２００に対するＡＲ表示装置３００の位置や姿勢、さらにはユーザの視線を認識する。
注視点判定部３１６は、認識部３１５から得た情報および事前の空間マップからのユーザが２Ｄディスプレイ２００を注視しているか否かを判定する。描画処理部３１２は、ＡＲ表示装置３００に表示するコンテンツ（３次元表示モデル）のレンダリング（描画）を行う機能を有する。描画処理部３１２は、複数人プレーヤにおいて、表示遷移時に、運動視差を有効にした２次元コンテンツを２Ｄディスプレイ２００の位置に表示する制御もする。表示制御部３１３は、描画処理部３１２によるレンダリング結果を表示部３０４に表示する機能を有する。
図１２のフローチャートは、２次元コンテンツの所定オブジェクトから３次元表示モデルへの遷移が行われる場合におけるゲームサーバ１００の処理手順の一例を示している。ゲームサーバ１００は、この図１２のフローチャートの処理を繰り返し実行する。
ゲームサーバ１００は、ステップＳＴ１において、例えばゲーム開始のタイミングで処理を開始する。次に、ゲームサーバ１００は、ステップＳＴ２において、一つまたは複数のＡＲ表示装置３００から、２Ｄディスプレイ２００の注視通知を受け、その後ステップＳＴ３において、ＡＲ表示装置３００への表示切り替えをすべきシーン（遷移シーン）であるか否かを判断する。当該シーンでないと判断するとき、ゲームサーバ１００は、ステップＳＴ４において、処理を終了する。
また、ゲームサーバ１００は、ステップＳＴ３において、ＡＲ表示装置３００への表示切り替えをすべきシーンであると判断するとき、ステップＳＴ５において、複数人プレイであるか否かを判断する。ここで、ゲームサーバ１００は、ステップＳＴ２で注視通知を受けたＡＲ表示装置３００が一つであるときは一人プレイと判断し、それが複数であるときは複数人プレイであると判断する。
複数人プレイでない、つまり一人プレイであると判断するとき、ゲームサーバ１００は、ステップＳＴ６において、２Ｄディスプレイ２００に、運動視差適用表示（運動視差有表示）への切り替えを通知する。次に、ゲームサーバ１００は、ステップＳＴ７において、２Ｄディスプレイ２００から運動視差適用表示の開始通知を受ける。
次に、ゲームサーバ１００は、ステップＳＴ８において、ＡＲ表示装置３００に、遷移開始許可を通知する。次に、ゲームサーバ１００は、ステップＳＴ９において、２Ｄディスプレイ２００に、遷移対象オブジェクトの消去を通知する。このステップＳＴ９の処理の後、ゲームサーバ１００は、ステップＳＴ４に進み、処理を終了する。
また、ゲームサーバ１００は、ステップＳＴ５で複数人プレイであると判断するとき、ステップＳＴ１０において、複数のＡＲ表示装置３００に、運動視差適用表示（運動視差有表示）への切り替えを通知する。次に、ゲームサーバ１００は、ステップＳＴ１１において、全てのＡＲ表示装置３００から、運動視差適用表示の開始通知を受け、その後に、ステップＳＴ１２において、２Ｄディスプレイ２００に、遷移対象オブジェクトの消去を通知する。このステップＳＴ１２の処理の後、ゲームサーバ１００は、ステップＳＴ４に進み、処理を終了する。
図１３のフローチャートは、２次元コンテンツの所定オブジェクトから３次元表示モデルへの遷移が行われる場合におけるＡＲ表示装置３００の処理手順の一例を示している。ＡＲ表示装置３００は、この図１３のフローチャートの処理を繰り返し実行する。
ＡＲ表示装置３００は、ステップＳＴ２１において、例えばゲーム開始のタイミングで処理を開始する。次に、ＡＲ表示装置３００は、ステップＳＴ２２において、位置、向きの情報を取得する。この場合、さらに、ユーザの視線の情報を取得してもよい。次に、ＡＲ表示装置３００は、ステップＳＴ２３において、ステップＳＴ２２で取得した情報に基づいて、２Ｄディスプレイ２００を注視しているか否かを判断する。２Ｄディスプレイ２００を注視していないと判断するとき、ＡＲ表示装置３００は、ステップＳＴ２４において、処理を終了する。
また、ステップＳＴ２３で２Ｄディスプレイ２００を注視していると判断するとき、ＡＲ表示装置３００は、ステップＳＴ２５において、ゲームサーバ１００に、２Ｄディスプレイ２００の注視を通知する。
次に、一人プレイである場合、ＡＲ表示装置３００は、ステップＳＴ２６において、ゲームサーバ１００から、遷移開始許可通知を受ける。次に、ＡＲ表示装置３００は、ステップＳＴ２７において、３次元表示モデルが２Ｄディスプレイ２００から出てくる遷移を開始する。このステップＳＴ２７の処理の後、ＡＲ表示装置３００は、ステップＳＴ２４に進み、処理を終了する。
また、複数人プレイである場合、ＡＲ表示装置３００は、ステップＳＴ２８において、ゲームサーバ１００から、運動視差適用表示切り替えの通知を受ける。次に、ＡＲ表示装置３００は、ステップＳＴ２９において、運動視差適用表示を開始する。つまり、ＡＲ表示装置３００は、運動視差を有効にした２次元コンテンツを２Ｄディスプレイ２００の位置に表示することを開始する。
次に、ＡＲ表示装置３００は、ステップＳＴ３０において、ゲームサーバ１００に、運動視差適用表示の開始を通知する。次に、ＡＲ表示装置３００は、ステップＳＴ３１において、三次元表示モデルが運動視差を有効にした２Ｄコンテンツから出ていく遷移を開始する。次に、ＡＲ表示装置３００は、ステップＳＴ３２において、運動視差を有効にした２次元コンテンツの表示を終了する。このステップＳＴ３２の処理の後、ＡＲ表示装置３００は、ステップＳＴ２４に進み、処理を終了する。
図１４のフローチャートは、２次元コンテンツの所定オブジェクトから３次元表示モデルへの遷移が行われる場合における２Ｄディスプレイ２００の処理手順の一例を示している。２Ｄディスプレイ２００は、この図１４のフローチャートの処理を繰り返し実行する。
２Ｄディスプレイ２００は、ステップＳＴ４１において、例えばゲーム開始のタイミングで処理を開始する。
次に、一人プレイである場合、２Ｄディスプレイ２００は、ステップＳＴ４２において、ゲームサーバ１００から、運動視差適用表示の切り替えの通知を受ける。次に、２Ｄディスプレイ２００は、ステップＳＴ４３において、運動視差適用表示を開始する。次に、ステップＳＴ４４において、２Ｄディスプレイ２００は、ゲームサーバ１００に、運動視差適用表示の開始を通知する。
次に、２Ｄディスプレイ２００は、ステップＳＴ４５において、ゲームサーバ１００から遷移対象オブジェクトの消去通知を受ける。次に、２Ｄディスプレイ２００は、ステップＳＴ４６において、遷移対象オブジェクトを画面（２次元コンテンツの表示画面）から消去する。次に、２Ｄディスプレイ２００は、通常表示、つまり運動視差非適用表示（運動視差無表示）にする。このステップＳＴ４７の処理の後、２Ｄディスプレイ２００は、ステップＳＴ４８に進み、処理を終了する。
また、複数人プレイである場合、２Ｄディスプレイ２００は、ステップＳＴ４９において、ゲームサーバ１００から、遷移対象オブジェクトの消去通知を受ける。次に、２Ｄディスプレイ２００は、ステップＳＴ５０において、遷移対象オブジェクトを画面（２次元コンテンツの表示画面）から消去する。このステップＳＴ５０の処理の後、２Ｄディスプレイ２００は、ステップＳＴ４８に進み、処理を終了する。
図１５のフローチャートは、３次元表示モデルから２次元コンテンツの所定オブジェクトへの遷移が行われる場合におけるゲームサーバ１００の処理手順の一例を示している。ゲームサーバ１００は、この図１５のフローチャートの処理を繰り返し実行する。
ゲームサーバ１００は、ステップＳＴ６１において、例えばゲーム開始のタイミングで処理を開始する。次に、ゲームサーバ１００は、ステップＳＴ６２において、一つまたは複数のＡＲ表示装置３００から、２Ｄディスプレイ２００の注視通知を受け、その後ステップＳＴ６３において、２Ｄディスプレイ２００への表示切り替えをすべきシーン（遷移シーン）であるか否かを判断する。当該シーンでないと判断するとき、ゲームサーバ１００は、ステップＳＴ６４において、処理を終了する。
また、ゲームサーバ１００は、ステップＳＴ６３において、２Ｄディスプレイへの表示切り替えをすべきシーンであると判断するとき、ステップＳＴ６５において、複数人プレイであるか否かを判断する。ここで、ゲームサーバ１００は、ステップＳＴ６２で注視通知を受けたＡＲ表示装置３００が一つであるときは一人プレイと判断し、それが複数であるときは複数人プレイであると判断する。
複数人プレイでない、つまり一人プレイであると判断するとき、ゲームサーバ１００は、ステップＳＴ６６において、２Ｄディスプレイ２００に、運動視差適用表示（運動視差有表示）への切り替えを通知する。次に、ゲームサーバ１００は、ステップＳＴ６７において、２Ｄディスプレイ２００から運動視差適用表示の開始通知を受ける。
次に、ゲームサーバ１００は、ステップＳＴ６８において、ＡＲ表示装置３００に、遷移開始許可を通知する。次に、ゲームサーバ１００は、ステップＳＴ６９において、ＡＲ表示装置３００から、３次元表示モデルの遷移完了通知を受ける。次に、ゲームサーバ１００は、ステップＳＴ７０において、２Ｄディスプレイ２００に、遷移対象オブジェクトの表示を通知する。このステップＳＴ７０の処理の後、ゲームサーバ１００は、ステップＳＴ６４に進み、処理を終了する。
また、ゲームサーバ１００は、ステップＳＴ６５で複数人プレイであると判断するとき、ステップＳＴ７１において、複数のＡＲ表示装置３００に、運動視差適用表示（運動視差有表示）への切り替えを通知する。次に、ゲームサーバ１００は、ステップＳＴ７２において、全てのＡＲ表示装置３００から、３次元表示モデルの遷移完了通知を受ける。
次に、ゲームサーバ１００は、ステップＳＴ７３において、ＡＲ表示装置３００に、運動視差適用表示の終了を通知する。次に、ゲームサーバ１００は、ステップＳＴ７４において、２Ｄディスプレイ２００に、遷移対象オブジェクトの表示を通知する。このステップＳＴ７４の処理の後、ゲームサーバ１００は、ステップＳＴ６４に進み、処理を終了する。
図１６のフローチャートは、３次元表示モデルから２次元コンテンツの所定オブジェクトへの遷移が行われる場合におけるＡＲ表示装置３００の処理手順の一例を示している。ＡＲ表示装置３００は、この図１６のフローチャートの処理を繰り返し実行する。
ＡＲ表示装置３００は、ステップＳＴ８１において、例えばゲーム開始のタイミングで処理を開始する。次に、ＡＲ表示装置３００は、ステップＳＴ８２において、位置、向きの情報を取得する。この場合、さらに、ユーザの視線の情報を取得してもよい。次に、ＡＲ表示装置３００は、ステップＳＴ８３において、ステップ８２で取得した情報に基づいて、２Ｄディスプレイ２００を注視しているか否かを判断する。２Ｄディスプレイ２００を注視していないと判断するとき、ＡＲ表示装置３００は、ステップＳＴ８４において、処理を終了する。
また、ステップＳＴ８３で２Ｄディスプレイ２００を注視していると判断するとき、ＡＲ表示装置３００は、ステップＳＴ８５において、ゲームサーバ１００に、２Ｄディスプレイ２００の注視を通知する。
次に、一人プレイである場合、ＡＲ表示装置３００は、ステップＳＴ８６において、ゲームサーバ１００から、遷移開始許可通知を受ける。次に、ＡＲ表示装置３００は、ステップＳＴ８７において、３次元表示モデルが２Ｄディスプレイ２００に戻っていく遷移を開始する。次に、ＡＲ表示装置３００は、ステップＳＴ８８において、ゲームサーバ１００に、３次元表示モデルの遷移完了を通知する。次に、ＡＲ表示装置３００は、３次元表示モデルを終了する。このステップＳＴ８９の処理の後、ＡＲ表示装置３００は、ステップＳＴ８４に進み、処理を終了する。
また、複数人プレイである場合、ＡＲ表示装置３００は、ステップＳＴ９０において、ゲームサーバ１００から、運動視差適用表示切り替えの通知を受ける。次に、ＡＲ表示装置３００は、ステップＳＴ９１において、運動視差適用表示を開始する。つまり、ＡＲ表示装置３００は、運動視差を有効にした２次元コンテンツを２Ｄディスプレイ２００の位置に表示することを開始する。
次に、ＡＲ表示装置３００は、ステップＳＴ９２において、３次元表示モデルが２次元画面に戻っていく遷移を開始する。次に、ＡＲ表示装置３００は、ステップＳＴ９３において、ゲームサーバ１００に、３次元表示モデルの遷移完了を通知する。次に、ＡＲ表示装置３００は、ステップＳＴ９４において、運動視差適用表示の終了の通知を受ける。次に、ＡＲ表示装置３００は、ステップＳＴ９５において、運動視差適用表示を終了する。このステップＳＴ９５の処理の後、ＡＲ表示装置３００は、ステップＳＴ８４に進み、処理を終了する。
図１７のフローチャートは、３次元表示モデルから２次元コンテンツの所定オブジェクトへの遷移が行われる場合における２Ｄディスプレイ２００の処理手順の一例を示している。２Ｄディスプレイ２００は、この図１７のフローチャートの処理を繰り返し実行する。
２Ｄディスプレイ２００は、ステップＳＴ１０１において、例えばゲーム開始のタイミングで処理を開始する。
次に、一人プレイである場合、２Ｄディスプレイ２００は、ステップＳＴ１０２において、ゲームサーバ１００から、運動視差適用表示の切り替えの通知を受ける。次に、２Ｄディスプレイ２００は、ステップＳＴ１０３において、運動視差適用表示を開始する。次に、ステップＳＴ１０４において、２Ｄディスプレイ２００は、ゲームサーバ１００に、運動視差適用表示の開始を通知する。
次に、２Ｄディスプレイ２００は、ステップＳＴ１０５において、ゲームサーバ１００から遷移対象オブジェクトの表示通知を受ける。次に、２Ｄディスプレイ２００は、ステップＳＴ１０６において、遷移対象オブジェクトを画面（２次元コンテンツの表示画面）に表示する。次に、２Ｄディスプレイ２００は、通常表示、つまり運動視差非適用表示（運動視差無表示）にする。このステップＳＴ１０７の処理の後、２Ｄディスプレイ２００は、ステップＳＴ１０８に進み、処理を終了する。
また、複数人プレイである場合、２Ｄディスプレイ２００は、ステップＳＴ１０９において、ゲームサーバ１００から、遷移対象オブジェクトの表示通知を受ける。次に、２Ｄディスプレイ２００は、ステップＳＴ１１０において、遷移対象オブジェクトを画面（２次元コンテンツの表示画面）に表示する。このステップＳＴ１１０の処理の後、２Ｄディスプレイ２００は、ステップＳＴ１０８に進み、処理を終了する。
上述したように、図１に示すゲームシステム１０においては、２次元ディスプレイ２００に表示されている２次元コンテンツの所定オブジェクトをＡＲ表示装置３００の３次元表示モデルとして遷移させる場合、またはＡＲ表示装置３００の３次元表示モデルを２次元ディスプレイ２００に表示される２次元コンテンツの所定オブジェクトとして遷移させる場合に、２次元コンテンツを運動視差非適用表示（運動視差無表示）から運動視差適用表示（運動視差有表示）に切り替えた後に遷移が行われる。そのため、遷移時に自然な見え方とすることができる。
また、図１に示すゲームシステム１０においては、ＡＲ表示装置３００が一つである場合、つまり一人プレイである場合には、運動視差適用表示が２次元ディスプレイに表示される。そのため、２次元ディスプレイ２００上の所定オブジェクトが３次元表示モデルとして飛び出してくる、または３次元表示モデルが２次元ディスプレイ２００上の所定オブジェクトとして戻っていくということを、より自然に見せることが可能となる。
また、図１に示すゲームシステム１０においては、ＡＲ表示装置３００が複数である場合、つまり複数人プレイである場合には、運動視差適用表示がＡＲ表示装置３００に表示される。そのため、それぞれのＡＲ表示装置３００の位置に合った運動視差適用表示がなされることから、全てのＡＲ表示装置３００で自然な遷移をユーザに見せることが可能となる。
＜２．変形例＞
なお、上述実施の形態において、ゲームシステム１０は、ゲームサーバ１００、２Ｄディスプレイ２００およびＡＲ表示装置３００から構成されているが、ゲームサーバ１００の機能を２Ｄディスプレイ２００あるいはＡＲ表示装置３００に持たせ、ゲームサーバ１００を持たない構成も考えられる。
また、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、本技術は、以下のような構成もとることができる。
（１）２次元ディスプレイに表示されている２次元コンテンツの所定オブジェクトを拡張現実表示装置の３次元表示モデルとして遷移させる場合、または前記拡張現実表示装置の３次元表示モデルを前記２次元ディスプレイに表示される２次元コンテンツの所定オブジェクトとして遷移させる場合、前記２次元コンテンツを運動視差非適用表示から運動視差適用表示に切り替えた後に、前記遷移が行われるように制御する制御部を備える
情報処理装置。
（２）前記制御部は、前記拡張現実表示装置が一つである場合には、前記運動視差適用表示が前記２次元ディスプレイに表示され、前記拡張現実表示装置が複数である場合には、前記運動視差適用表示が前記拡張現実表示装置に表示されるように制御する
前記（１）に記載の情報処理装置。
（３）前記制御部は、前記２次元ディスプレイに対する前記拡張現実表示装置の位置と向きの情報に基づいて、前記遷移が行われるように制御する
前記（１）または（２）に記載の情報処理装置。
（４）前記制御部は、前記２次元ディスプレイと前記拡張現実表示装置の間の距離が所定範囲内にあるとき、前記遷移が行われるように制御する
前記（３）に記載の情報処理装置。
（５）前記制御部は、前記拡張現実表示装置の向きが前記２次元ディスプレイに対して所定範囲内にあるとき、前記遷移が行われるように制御する
前記（４）に記載の情報処理装置。
（６）前記制御部は、前記拡張現実表示装置を装着するユーザの視線が前記２次元ディスプレイに向いているとき、前記遷移が行われるように制御する
前記（５）に記載の情報処理装置。
（７）前記２次元ディスプレイおよび前記拡張現実表示装置と通信をする通信部をさらに備え、
前記制御部は、前記通信部を介して、前記拡張現実表示装置から前記位置と向きの情報に基づくユーザ注視情報を取得する
前記（３）から（６）のいずれかに記載の情報処理装置。
（８）前記制御部は、前記２次元コンテンツの前記所定オブジェクトを前記３次元表示モデルとして遷移させる場合、遷移の後かつ前記３次元表示モデルが表示されている間は前記所定オブジェクトが前記２次元ディスプレイに表示されないよう制御する、または前記３次元表示モデルを前記２次元コンテンツの前記所定オブジェクトとして遷移させる場合、遷移の後かつ前記２次元コンテンツの前記所定オブジェクトが表示されている間は前記３次元表示モデルが前記拡張現実表示装置に表示されないよう制御する
前記（１）から（７）のいずれかに記載の情報処理装置。
（９）前記２次元コンテンツの前記所定オブジェクトと前記３次元表示モデルは前記制御部が実行するアプリケーション上で同一のオブジェクトとして扱われるコンテンツである
前記（８）に記載の情報処理装置。
（１０）前記制御部は、前記２次元ディスプレイおよび前記拡張現実表示装置とネットワークを介して接続されたクラウドサーバに含まれる
前記（１）から（９）のいずれかに記載の情報処理装置。
（１１）前記クラウドサーバは、ゲームサーバである
前記（１０）に記載の情報処理装置。
（１２）２次元ディスプレイに表示されている２次元コンテンツの所定オブジェクトを拡張現実表示装置の３次元表示モデルとして遷移させる場合、または前記拡張現実表示装置の３次元表示モデルを前記２次元ディスプレイに表示される２次元コンテンツの所定オブジェクトとして遷移させる場合、前記２次元コンテンツを運動視差非適用表示から運動視差適用表示に切り替えた後に、前記遷移が行われるように制御する
情報処理方法。
（１３）コンピュータを、
２次元ディスプレイに表示されている２次元コンテンツの所定オブジェクトを拡張現実表示装置の３次元表示モデルとして遷移させる場合、または前記拡張現実表示装置の３次元表示モデルを前記２次元ディスプレイに表示される２次元コンテンツの所定オブジェクトとして遷移させる場合、前記２次元コンテンツを運動視差非適用表示から運動視差適用表示に切り替えた後に、前記遷移が行われるように制御する制御手段として機能させる
プログラム。
１０・・・ゲームシステム
１００・・・ゲームサーバ
１０１・・・制御部
１０２・・・通信部
１０３・・・記憶部
１１１・・・通信制御部
１１２・・・遷移判定部
１１３・・・状態管理部
２００・・・２Ｄディスプレイ
２０１・・・制御部
２０２・・・通信部
２０３・・・記憶部
２０４・・・ディスプレイ
２１１・・・通信制御部
２１２・・・描画処理部
２１３・・・表示制御部
３００・・・ＡＲ表示装置
３０１・・・制御部
３０２・・・通信部
３０３・・・センサ部
３０４・・・表示部
３０５・・・記憶部
３１１・・・通信制御部
３１２・・・描画処理部
３１３・・・表示制御部
３１４・・・入力制御部
３１５・・・認識部
３１６・・・注視点判定部
５０１Ａ・・・オブジェクト
５０１Ｂ・・・３次元表示モデル

Claims (13)

  1. ２次元ディスプレイに表示されている２次元コンテンツの所定オブジェクトを拡張現実表示装置の３次元表示モデルとして遷移させる場合、または前記拡張現実表示装置の３次元表示モデルを前記２次元ディスプレイに表示される２次元コンテンツの所定オブジェクトとして遷移させる場合、前記２次元コンテンツを運動視差非適用表示から運動視差適用表示に切り替えた後に、前記遷移が行われるように制御する制御部を備える
    情報処理装置。
  2. 前記制御部は、前記拡張現実表示装置が一つである場合には、前記運動視差適用表示が前記２次元ディスプレイに表示され、前記拡張現実表示装置が複数である場合には、前記運動視差適用表示が前記拡張現実表示装置に表示されるように制御する
    請求項１に記載の情報処理装置。
  3. 前記制御部は、前記２次元ディスプレイに対する前記拡張現実表示装置の位置と向きの情報に基づいて、前記遷移が行われるように制御する
    請求項１に記載の情報処理装置。
  4. 前記制御部は、前記２次元ディスプレイと前記拡張現実表示装置の間の距離が所定範囲内にあるとき、前記遷移が行われるように制御する
    請求項３に記載の情報処理装置。
  5. 前記制御部は、前記拡張現実表示装置の向きが前記２次元ディスプレイに対して所定範囲内にあるとき、前記遷移が行われるように制御する
    請求項４に記載の情報処理装置。
  6. 前記制御部は、前記拡張現実表示装置を装着するユーザの視線が前記２次元ディスプレイに向いているとき、前記遷移が行われるように制御する
    請求項５に記載の情報処理装置。
  7. 前記２次元ディスプレイおよび前記拡張現実表示装置と通信をする通信部をさらに備え、
    前記制御部は、前記通信部を介して、前記拡張現実表示装置から前記位置と向きの情報に基づくユーザ注視情報を取得する
    請求項３に記載の情報処理装置。
  8. 前記制御部は、前記２次元コンテンツの前記所定オブジェクトを前記３次元表示モデルとして遷移させる場合、遷移の後かつ前記３次元表示モデルが表示されている間は前記所定オブジェクトが前記２次元ディスプレイに表示されないよう制御する、または前記３次元表示モデルを前記２次元コンテンツの前記所定オブジェクトとして遷移させる場合、遷移の後かつ前記２次元コンテンツの前記所定オブジェクトが表示されている間は前記３次元表示モデルが前記拡張現実表示装置に表示されないよう制御する
    請求項１に記載の情報処理装置。
  9. 前記２次元コンテンツの前記所定オブジェクトと前記３次元表示モデルは前記制御部が実行するアプリケーション上で同一のオブジェクトとして扱われるコンテンツである
    請求項８に記載の情報処理装置。
  10. 前記制御部は、前記２次元ディスプレイおよび前記拡張現実表示装置とネットワークを介して接続されたクラウドサーバに含まれる
    請求項１に記載の情報処理装置。
  11. 前記クラウドサーバは、ゲームサーバである
    請求項１０に記載の情報処理装置。
  12. ２次元ディスプレイに表示されている２次元コンテンツの所定オブジェクトを拡張現実表示装置の３次元表示モデルとして遷移させる場合、または前記拡張現実表示装置の３次元表示モデルを前記２次元ディスプレイに表示される２次元コンテンツの所定オブジェクトとして遷移させる場合、前記２次元コンテンツを運動視差非適用表示から運動視差適用表示に切り替えた後に、前記遷移が行われるように制御する
    情報処理方法。
  13. コンピュータを、
    ２次元ディスプレイに表示されている２次元コンテンツの所定オブジェクトを拡張現実表示装置の３次元表示モデルとして遷移させる場合、または前記拡張現実表示装置の３次元表示モデルを前記２次元ディスプレイに表示される２次元コンテンツの所定オブジェクトとして遷移させる場合、前記２次元コンテンツを運動視差非適用表示から運動視差適用表示に切り替えた後に、前記遷移が行われるように制御する制御手段として機能させる
    プログラム。
JP2021554318A 2019-10-28 2020-10-14 情報処理装置、情報処理方法およびプログラム Active JP7484929B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019194910 2019-10-28
JP2019194910 2019-10-28
PCT/JP2020/038735 WO2021085130A1 (ja) 2019-10-28 2020-10-14 情報処理装置、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2021085130A1 JPWO2021085130A1 (ja) 2021-05-06
JP7484929B2 true JP7484929B2 (ja) 2024-05-16

Family

ID=75716248

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021554318A Active JP7484929B2 (ja) 2019-10-28 2020-10-14 情報処理装置、情報処理方法およびプログラム

Country Status (3)

Country Link
US (1) US11770517B2 (ja)
JP (1) JP7484929B2 (ja)
WO (1) WO2021085130A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7484929B2 (ja) * 2019-10-28 2024-05-16 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010136300A (ja) 2008-12-08 2010-06-17 Sharp Corp 立体画像表示装置
WO2017192467A1 (en) 2016-05-02 2017-11-09 Warner Bros. Entertainment Inc. Geometry matching in virtual reality and augmented reality
JP2018181288A (ja) 2017-04-11 2018-11-15 大豊精機株式会社 仮想作業表示方法、仮想作業データ作成方法、及び３次元空間けがきデータ作成方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002247602A (ja) 2001-02-15 2002-08-30 Mixed Reality Systems Laboratory Inc 画像生成装置及びその制御方法並びにそのコンピュータプログラム
WO2008060933A2 (en) * 2006-11-13 2008-05-22 Everyscape, Inc. Method for scripting inter-scene transitions
US8660402B2 (en) * 2007-12-14 2014-02-25 Koninklijke Philips N.V. 3D mode selection mechanism for video playback
JP5430266B2 (ja) * 2009-07-21 2014-02-26 富士フイルム株式会社 画像表示装置および方法並びにプログラム
CN102474637A (zh) * 2009-07-27 2012-05-23 皇家飞利浦电子股份有限公司 在3d视频和2d视频之间切换
JP2011114863A (ja) * 2009-11-23 2011-06-09 Samsung Electronics Co Ltd ３Ｄ映像の提供方法、３Ｄ映像の変換方法、ＧＵＩ提供方法及びこれを適用した３Ｄディスプレイ装置、そして３Ｄ映像の提供システム｛Ｍｅｔｈｏｄｆｏｒｐｒｏｖｉｄｉｎｇ３Ｄｉｍａｇｅ、ｍｅｔｈｏｄｆｏｒｃｏｎｖｅｒｔｉｎｇ３Ｄｉｍａｇｅ、ＧＵＩｐｒｏｖｉｄｉｎｇｍｅｔｈｏｄｒｅｌａｔｅｄｔｏ３Ｄｉｍａｇｅａｎｄ３Ｄｄｉｓｐｌａｙａｐｐａｒａｔｕｓａｎｄｓｙｓｔｅｍｆｏｒｐｒｏｖｉｄｉｎｇ３Ｄｉｍａｇｅ｝
JP2011182075A (ja) * 2010-02-26 2011-09-15 Hitachi Consumer Electronics Co Ltd 画像処理装置
US9030536B2 (en) * 2010-06-04 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for presenting media content
US8760396B2 (en) * 2010-06-11 2014-06-24 Lg Display Co., Ltd. Stereoscopic image display device
US10163261B2 (en) * 2014-03-19 2018-12-25 Matterport, Inc. Selecting two-dimensional imagery data for display within a three-dimensional model
US9317971B2 (en) * 2012-06-29 2016-04-19 Microsoft Technology Licensing, Llc Mechanism to give holographic objects saliency in multiple spaces
US9830735B2 (en) * 2012-12-28 2017-11-28 Hitachi, Ltd. Medical image processing device and image processing method
US9996636B2 (en) * 2014-05-13 2018-06-12 Atheer, Inc. Method for forming walls to align 3D objects in 2D environment
CN106663338A (zh) * 2014-08-01 2017-05-10 索尼公司 信息处理装置、信息处理方法和程序
US10675542B2 (en) * 2015-03-24 2020-06-09 Unity IPR ApS Method and system for transitioning between a 2D video and 3D environment
EP3306572A1 (en) * 2016-10-07 2018-04-11 Schneider Electric Industries SAS Method for 3d mapping of 2d point of interest
CN108235143B (zh) * 2016-12-15 2020-07-07 广州市动景计算机科技有限公司 视频播放模式转换方法、装置及移动终端
US10481678B2 (en) * 2017-01-11 2019-11-19 Daqri Llc Interface-based modeling and design of three dimensional spaces using two dimensional representations
US10593042B1 (en) * 2017-04-11 2020-03-17 Zoox, Inc. Perspective conversion for multi-dimensional data analysis
KR102027856B1 (ko) * 2017-12-28 2019-11-04 (주)연우피씨엔지니어링 2d 도면과 bim모델을 기반으로, 건설용 골조 3d도면·3d형상을 생성하고 건설정보를 운용하는 가상·증강현실 시스템 및 모바일 어플리케이션
CN108737810B (zh) * 2018-05-23 2019-08-06 苏州新光维医疗科技有限公司 图像处理方法、装置及三维成像系统
US20200175756A1 (en) * 2018-12-03 2020-06-04 Intuitive Research And Technology Corporation Two-dimensional to three-dimensional spatial indexing
US10499044B1 (en) * 2019-05-13 2019-12-03 Athanos, Inc. Movable display for viewing and interacting with computer generated environments
JP7484929B2 (ja) * 2019-10-28 2024-05-16 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010136300A (ja) 2008-12-08 2010-06-17 Sharp Corp 立体画像表示装置
WO2017192467A1 (en) 2016-05-02 2017-11-09 Warner Bros. Entertainment Inc. Geometry matching in virtual reality and augmented reality
JP2018181288A (ja) 2017-04-11 2018-11-15 大豊精機株式会社 仮想作業表示方法、仮想作業データ作成方法、及び３次元空間けがきデータ作成方法

Also Published As

Publication number Publication date
WO2021085130A1 (ja) 2021-05-06
US11770517B2 (en) 2023-09-26
JPWO2021085130A1 (ja) 2021-05-06
US20220377313A1 (en) 2022-11-24

Similar Documents

Publication Publication Date Title
US11199705B2 (en) Image rendering responsive to user actions in head mounted display
JP6058184B1 (ja) ヘッドマウントディスプレイシステムを制御するための方法、および、プログラム
US10395428B2 (en) HMD transitions for focusing on specific content in virtual-reality environments
US9852549B2 (en) Image processing
KR102662947B1 (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
CN105050671B (zh) 等待时间敏感的游戏特征的客户端渲染系统和方法
US20170032577A1 (en) Real-time virtual reflection
EP3691280B1 (en) Video transmission method, server, vr playback terminal and computer-readable storage medium
CN112585987B (zh) 用于生成图像数据流的装置和方法
WO2015011741A1 (ja) 画像処理プログラム、サーバ装置、画像処理システムおよび画像処理方法
JP7484929B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2022032483A (ja) 画像処理装置、画像処理方法、およびプログラム
JP7242448B2 (ja) 仮想現実制御装置、仮想現実制御方法およびプログラム
US11187895B2 (en) Content generation apparatus and method
JP7229040B2 (ja) 情報処理装置及びその制御方法、プログラム
WO2020129448A1 (ja) 動画配信システム、動画配信方法及び動画配信プログラム
JP2012141826A (ja) プログラム、情報記憶媒体、画像生成システム及びサーバシステム
JP2017162443A (ja) ヘッドマウントディスプレイシステムを制御するための方法、および、プログラム
CN118001736B (zh) 云游戏的虚拟现实交互控制方法、装置及电子设备
CN117122890A (zh) 用于激活屏幕内容的选择性导航或放大的方法和系统
JPH11161815A (ja) 立体視の表示装置及びその画像処理を行うプログラムを記録した記録媒体
CN118001736A (zh) 云游戏的虚拟现实交互控制方法、装置及电子设备
JP2024039730A (ja) プログラム、情報処理方法および情報処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240415

R150 Certificate of patent or registration of utility model

Ref document number: 7484929

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150