JP6842441B2 - プログラム、及び情報処理装置 - Google Patents

プログラム、及び情報処理装置 Download PDF

Info

Publication number
JP6842441B2
JP6842441B2 JP2018092245A JP2018092245A JP6842441B2 JP 6842441 B2 JP6842441 B2 JP 6842441B2 JP 2018092245 A JP2018092245 A JP 2018092245A JP 2018092245 A JP2018092245 A JP 2018092245A JP 6842441 B2 JP6842441 B2 JP 6842441B2
Authority
JP
Japan
Prior art keywords
viewpoint
mode
user
instruction
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018092245A
Other languages
English (en)
Other versions
JP2019197478A (ja
Inventor
眞晃 山際
眞晃 山際
晃之 鳥山
晃之 鳥山
英高 宮崎
英高 宮崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Priority to JP2018092245A priority Critical patent/JP6842441B2/ja
Priority to US16/376,062 priority patent/US10754499B2/en
Publication of JP2019197478A publication Critical patent/JP2019197478A/ja
Application granted granted Critical
Publication of JP6842441B2 publication Critical patent/JP6842441B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、仮想空間内の様子を示す画像を描画するプログラム、情報処理装置、及び情報処理方法に関する。
コンピュータゲームなどでは、仮想空間内に各種のオブジェクトを配置し、その様子を示す画像を描画してユーザーに提示することが行われている。このような技術においては、仮想空間内に設定された視点位置から所与の視線方向に向かって仮想空間の様子を見た様子が描画されることとなる。ユーザーの指示に応じてこの視点位置及び視線方向を変化させることによって、ユーザーはあたかも実際に仮想空間内を動き回っているかのような臨場感で、仮想空間の様子を観覧することができる。
上記従来例の技術においては、ユーザーは操作デバイスに対する操作指示等によって視点の位置、及び向きを変化させることとなるが、必ずしも思ったとおりに視点の位置や向きを変化させることができるとは限らない。そのため、場合によっては、自分が今どの方向を向いているのか分からなくなってしまったり、注目していた仮想空間内のオブジェクトを見失ってしまったりすることがあり得る。
本発明は上記実情を考慮してなされたものであって、その目的の一つは、仮想空間内でユーザーが注目しているオブジェクトを見失わないようにすることのできるプログラム、情報処理装置、及び情報処理方法を提供することにある。
本発明に係るプログラムは、仮想空間内に配置された視点の位置、及び向きを変化させる指示をユーザーから受け付ける指示受付ステップと、前記指示に応じて前記視点の位置、及び向きを変化させる視点制御ステップと、前記視点の位置、及び向きに基づいて前記仮想空間内の様子を示す空間画像を描画する描画ステップと、前記視点制御ステップにおいて、前記視点の向きを変化させる指示がユーザーから受け付けられた場合に、前記視点の位置を中心に当該視点の向きを変化させる第1モードと、前記仮想空間においてユーザーが注目している注目オブジェクトを中心に前記視点の位置、及び向きを変化させる第2モードとを、所与の条件に基づいて切り替える切り替えステップと、をコンピュータに実行させるためのプログラムである。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。
本発明に係る情報処理装置は、仮想空間内に配置された視点の位置、及び向きを変化させる指示をユーザーから受け付ける指示受付部と、前記指示に応じて前記視点の位置、及び向きを変化させる視点制御部と、前記視点の位置、及び向きに基づいて前記仮想空間内の様子を示す空間画像を描画する空間画像描画部と、を含み、前記視点制御部は、前記視点の向きを変化させる指示がユーザーから受け付けられた場合に、前記視点の位置を中心に当該視点の向きを変化させる第1モードと、前記仮想空間においてユーザーが注目している注目オブジェクトを中心に前記視点の位置、及び向きを変化させる第2モードとを、所与の条件に基づいて切り替えることを特徴とする。
本発明に係る情報処理方法は、仮想空間内に配置された視点の位置、及び向きを変化させる指示をユーザーから受け付ける指示受付ステップと、前記指示に応じて前記視点の位置、及び向きを変化させる視点制御ステップと、前記視点の位置、及び向きに基づいて前記仮想空間内の様子を示す空間画像を描画する描画ステップと、を含み、前記視点制御ステップにおいて、前記視点の向きを変化させる指示がユーザーから受け付けられた場合に、前記視点の位置を中心に当該視点の向きを変化させる第1モードと、前記仮想空間においてユーザーが注目している注目オブジェクトを中心に前記視点の位置、及び向きを変化させる第2モードとを、所与の条件に基づいて切り替えるステップと、を含むことを特徴とする。
本発明の実施の形態に係る情報処理装置を含む映像表示システムの全体概要を示す図である。 映像表示システムの構成ブロック図である。 情報処理装置の機能ブロック図である。 候補位置が含まれる空間画像の一例を示す図である。 第1モードにおける転回制御の内容を説明する図である。 第1モードにおける転回制御後の空間画像の一例を示す図である。 第2モードにおける転回制御の内容を説明する図である。 第2モードにおける転回制御前の空間画像の一例を示す図である。 第2モードにおける転回制御後の空間画像の一例を示す図である。 候補オブジェクトが含まれる空間画像の一例を示す図である。
以下、本発明の実施の形態について、図面に基づき詳細に説明する。
図1は、本発明の一実施形態に係る情報処理装置10を含む映像表示システム1の全体概要図である。また、図2は映像表示システム1の構成を示す構成ブロック図である。これらの図に示されるように、映像表示システム1は、情報処理装置10と、カメラ20と、操作デバイス30と、表示装置40と、を含んで構成されている。
情報処理装置10は、表示装置40が表示すべき映像を供給する装置であって、例えば家庭用ゲーム機、携帯型ゲーム機、パーソナルコンピューター、スマートフォン、タブレット等であってよい。図2に示されるように、情報処理装置10は、制御部11と、記憶部12と、インタフェース部13と、を含んで構成される。
制御部11は、CPU等であって、記憶部12に記憶されているプログラムを実行して各種の情報処理を実行する。なお、本実施形態において制御部11が実行する処理の具体例については、後述する。記憶部12は、RAM等のメモリデバイスを含み、制御部11が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。
インタフェース部13は、カメラ20、操作デバイス30、及び表示装置40との間のデータ通信のためのインタフェースである。情報処理装置10は、インタフェース部13を介して有線又は無線のいずれかでカメラ20、操作デバイス30、及び表示装置40のそれぞれと接続される。具体的にインタフェース部13は、情報処理装置10が供給する映像や音声を表示装置40に送信するために、HDMI(登録商標)(High-Definition Multimedia Interface)等のマルチメディアインタフェースを含むこととする。また、カメラ20によって撮像された映像データや、操作デバイス30に対するユーザーの操作入力の内容を示す信号を受信するために、USB(Universal Serial Bus)等のデータ通信インタフェースを含んでいる。
カメラ20は、映像表示システム1を利用するユーザーの前方に設置され、ユーザー及びその周辺を含んだ映像を撮像する。特に本実施形態では、カメラ20はステレオカメラであるものとし、所定距離離れて配置された2個の撮像素子を含んで構成される。この2個の撮像素子で同時に撮影された画像の差分(視差)を解析することによって、情報処理装置10は、カメラ20の視野内に存在する物体までの距離を測定することができる。すなわち、本実施形態においてカメラ20は、視野範囲内に存在する物体までの距離を検出可能な距離画像センサーとして機能する。情報処理装置10は、カメラ20の撮像画像を解析することによって、操作デバイス30、及び表示装置40の現実空間内における位置を特定する。
操作デバイス30は、ユーザーからの操作入力を受け付けるためのデバイスであって、その表面には操作ボタン等の操作部材が配置されている。ユーザーは、操作デバイス30を手で把持したり、手に装着したりして、操作部材に対する操作入力を行う。操作デバイス30は、ユーザーが行った操作入力の内容を示す操作信号を、情報処理装置10に送信する。
また、本実施形態において操作デバイス30には発光部が設けられており、発光部から光を発するように構成されている。カメラ20でこの発光部からの光を撮像することによって、情報処理装置10は操作デバイス30の現実空間内における位置を特定することができる。
表示装置40は、ユーザーが頭部に装着して使用する映像表示装置であって、情報処理装置10から送信される映像信号に応じた映像を表示し、ユーザーに閲覧させる。本実施形態では、表示装置40は両目での映像の閲覧に対応しており、ユーザーの右目及び左目それぞれの目の前に互いに独立に映像を表示するものとする。これにより表示装置40は、視差を利用した立体映像をユーザーに提示することができる。
また、操作デバイス30と同様、表示装置40の前面には発光部が設けられていることとする。この発光部からの光をカメラ20が撮像することによって、情報処理装置10は表示装置40の現実空間内における位置を特定できる。特に本実施形態では、表示装置40の前面に複数の発光部が設けられており、これらの発光部の位置関係を特定することによって、情報処理装置10は表示装置40の姿勢の変化を特定することとする。これにより、ユーザーが頭を動かして顔の向きを変化させたりした際に、情報処理装置10はその向きの変化を特定できる。
次に、情報処理装置10が実現する機能について図3を用いて説明する。図3に示すように、情報処理装置10は、機能的に、仮想空間構築部51と、指示受付部52と、視点制御部53と、空間画像描画部54と、を含んでいる。これらの機能は、制御部11が記憶部12に記憶されたプログラムを実行することにより実現される。このプログラムは、インターネット等の通信ネットワークを介して情報処理装置10に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。
仮想空間構築部51は、各種のオブジェクトが配置された仮想空間を構築し、その内部に配置されたオブジェクトの挙動を制御する。本実施形態において情報処理装置10は、仮想空間内に配置された各種のオブジェクトをユーザーが観察したり操作したりしながら進行していくゲームを実現することとする。仮想空間構築部51は、このゲームに登場する人物や物などを表すオブジェクトを仮想空間内に配置する。また、仮想空間内には後述する空間画像を描画する際の基準位置となる視点Vが配置される。さらに、視点Vには視線方向Dが設定される。
指示受付部52は、ユーザーから視点Vの位置や視線方向Dを変化させる指示を受け付ける。特に本実施形態では、ユーザーは操作デバイス30に設けられた所定のボタンを操作することによって、仮想空間内の視点Vの位置を移動させたり、視線方向Dを変化させたりする指示を入力することとする。具体的にユーザーは、操作デバイス30の所定の第1ボタンを押下することで、視線方向Dを右方向へ変化させる右転回指示を行う。また、所定の第2ボタンを押下することで、視線方向Dを左方向へ変化させる左転回指示を行う。また、所定の第3ボタンを押下することで、前方に視点Vを移動させる前進指示を行う。指示受付部52は、これらの指示内容を示す操作信号を受け付けて、視点制御部53に入力する。
さらに、本実施形態においてユーザーは、自分の顔や手を動かしたりすることでも操作入力を行うことができる。指示受付部52は、カメラ20の撮像画像を解析することによって、表示装置40の位置及び向きの変化を特定する。特定された内容は、ユーザーの顔の動きに対応していると想定される。また、指示受付部52は、カメラ20の撮像画像を解析することによって、操作デバイス30の位置の変化を特定する。操作デバイス30の位置の変化は、ユーザーの手の動きに対応していると想定される。これらの内容は、操作デバイス30に対する操作入力の内容とともに、ユーザーの指示内容を表すものとして、視点制御部53及び仮想空間構築部51に入力される。
視点制御部53は、指示受付部52が受け付けたユーザーからの指示の内容に応じて、仮想空間内における視点Vの位置、及び視線方向Dを変化させる。具体的に、左転回指示や右転回指示が受け付けられた場合、視点制御部53は、その内容に応じて視線方向Dを変化させる制御(以下、転回制御という)を実行する。また、指示受付部52が前進指示を受け付けた場合、視点制御部53は現在の位置から視線方向Dに向かって視点Vを移動させる制御(以下、前進制御という)を実行する。転回制御、及び前進制御の具体的な内容については、後述する。
さらに視点制御部53は、転回制御や前進制御などの操作デバイス30に対する操作入力に応じた制御とは別に、ユーザーの顔の位置や向きの変化に対応するように、視点Vの位置や視線方向Dを変化させてもよい。これによりユーザーは、転回制御や前進制御によって変化した状態を基準として、さらに上下左右などの周囲の様子を見回すことができる。
空間画像描画部54は、視点制御部53によって制御される視点Vから視線方向Dに向かって仮想空間内を見た様子を示す空間画像を描画し、表示装置40に対して出力する。この空間画像を表示装置40が表示することで、ユーザーは自身の指示に応じて移動する視点Vから仮想空間内を見た様子を観覧できる。なお、空間画像描画部54は、視点Vの位置を中心として左右に並んだ二つの視点カメラのそれぞれから仮想空間内を見た様子を示す二つの画像を描画することとする。これらの画像をそれぞれユーザーが左目、右目のそれぞれで見ることで、仮想空間内の様子を立体的に認識することができる。
以下、視点制御部53による視点Vの位置、及び視線方向Dの制御の詳細について、説明する。
まず、前進制御の内容について、説明する。前進指示が受け付けられた場合、例えば視点制御部53は、その時点における視線方向Dに向かって視点Vを移動させる。この場合の移動量は、所定の量であってよい。
あるいは、視点制御部53は、予め仮想空間内の複数箇所に設定されている候補位置Pのいずれかに視点Vを移動させてもよい。この場合、視点制御部53は、視点Vの前方の所定範囲内に存在する複数の候補位置Pのうち、前進指示が受け付けられた時点でユーザーが移動しようとしていると推定される候補位置Pを目標位置Pxに設定し、その位置まで視点Vを移動させる。
この例における目標位置Pxは、例えば視線方向Dに沿った所定範囲内において、より視点Vに近い位置であってよい。図4は、複数の候補位置Pが含まれる空間画像の一例を示す図である。この例では、ユーザーの視界内に複数の候補位置P1〜P3が含まれており、これらの候補位置Pを表すマーカーが表示されている。このような空間画像が表示されている状態においてユーザーが前進指示を行うと、複数の候補位置P1〜P3のうち、より視線方向Dに近い(すなわち、空間画像内において中心に近い)候補位置P1が、目標位置Pxとして選択され、その位置まで視点Vが移動する。なお、図4では目標位置Pxとして選択され得る候補位置P1を表すマーカーが、他の候補位置P2,P3よりも大きく表示されている。そのため、ユーザーは今前進指示を入力すると視点Vがどこに移動するのかを、容易に把握することができる。なお、ここでは目標位置Pxとして選択される可能性のある候補位置Pを表すマーカーを他の候補位置Pのマーカーより大きく表示することとしたが、これに限らず、例えばマーカーの色や明度、あるいは形状そのものを変更するなど、ユーザーが他と識別可能な各種の態様で表示することとしてよい。
また、視点制御部53は、ユーザーの指示に基づいて複数の候補位置Pの中から目標位置Pxを選択してもよい。例えばユーザーが操作デバイス30に対して明示の切り替え操作を行うことで、空間画像内に表示されている複数の候補位置Pの中から目標位置Pxを選択してもよい。あるいはユーザーは、操作デバイス30そのものを動かしていずれかの候補位置Pを指し示すことによって、目標位置Pxを選択してもよい。この場合、指示受付部52は、ユーザーが前進指示を行った時点における操作デバイス30の現実空間内における位置を特定する。視点制御部53は、特定された位置に基づいて操作デバイス30が指し示す候補位置Pを特定し、目標位置Pxとして選択する。
次に、転回制御の内容について、説明する。視点制御部53は、左転回指示や右転回指示が受け付けられた場合、以下に説明する2種類の制御モード(第1モード及び第2モード)のいずれかに基づいて転回制御を実行する。
第1モードでは、視点制御部53は、視点Vの位置を中心として視線方向Dを回転させることとする。すなわち、視点Vの位置は変更せず、その場で視線方向Dだけを指示された方向に回転させる。具体的に視点制御部53は、右転回指示が受け付けられた場合、視線方向Dを上方から見て時計回りに回転させて視点Vが向かって右方向を向くようにし、左転回指示が受け付けられた場合には、視線方向Dを反時計回りに回転させて視点Vが向かって左方向を向くようにする。
図5は、この第1モードにおける右転回指示に応じた視線方向Dの転回制御を説明する図であって、視点Vを上方から見た様子を示している。この図において、実線の矢印は転回前の視線方向D1及び転回後の視線方向D2を示しており、破線の矢印は視線方向Dの回転方向を示している。また、ここでは左転回指示が1回受け付けられた際に視線方向Dを45度回転することとしているが、この回転量は例示であって、転回指示が受け付けられるごとにそれ以外の回転量で視線方向Dを回転させてもよい。また、ユーザーが転回指示を行った際の操作ボタンを押す強さや長さなど、ユーザーが実行した操作入力の程度を示す量に応じて、視線方向Dの回転量を変化させてもよい。図6は、図4の空間画像が表示された状態において第1モードで右転回制御が行われた後の空間画像の一例を示している。
第2モードでは、視点制御部53は、ユーザーが注目している注目オブジェクトOxを中心として視線方向Dを回転させる。このモードにおいては第1モードと異なり、右転回指示や左転回指示が受け付けられた場合、視点制御部53は、視線方向Dだけでなく視点Vの位置も併せて変化させる。ここで注目オブジェクトOxは、仮想空間内に配置された特定のオブジェクトであって、現在ユーザーが注目していると想定されるオブジェクトである。注目オブジェクトOxになり得るオブジェクト(以下、候補オブジェクトOという)は、予め定められているものとする。第2モードで転回制御を行っている間、視点制御部53は、この注目オブジェクトOxの方に常に視線方向Dが向けられるように、視点Vの位置と視線方向Dとを併せて変化させる。
図7は、第2モードにおける右転回指示に応じた視線方向Dの転回制御を説明する図であって、図5と同様に視点Vを上方から見た様子を示している。図5と同様に、実線の矢印は転回前の視線方向D1及び転回後の視線方向D2を示しており、点V1及びV2はそれぞれ転回前の視点Vの位置、転回後の視点Vの位置を示している。また、破線の矢印は転回制御による視点Vの移動方向を示している。
図7に示されるように、第2モードでは右転回指示に応じて視点Vの位置が注目オブジェクトOxを中心に上方から見て時計回りに回転移動し、これに連動して視線方向Dは注目オブジェクトOxに向かうように視点Vを中心に時計回りに回転する。一方、第2モードにおいて左転回指示が受け付けられた場合、視点制御部53は、注目オブジェクトOxを中心に視点Vの位置を反時計回りに回転させ、視線方向Dは視点Vを中心に反時計回りに回転させる。なお、視点V及び視線方向Dの回転方向は、ここで説明した向きと逆方向であってもよい。また、一度の転回指示に応じて視点V及び視線方向Dを回転される際の回転量は、第1モードにおける視線方向Dの回転量と同じ量にすることが好ましいが、異なる量であってもよいし、現在の注目オブジェクトOxが何かに応じて回転量を変化させてもよい。
図8及び図9は、第2モードで転回制御が行われる場合の空間画像の一例を示している。図8は転回制御が行われる前の空間画像を示しており、図9は図8に示す空間画像が表示された状態において右転回制御が行われた後の空間画像の例を示している。これらの図に示されるように、第2モードでは、転回制御の前後でともに女性キャラクターを表す注目オブジェクトOxが空間画像の中央近傍に表示されている。
このように、第2モードでは注目オブジェクトOxを中心に視点Vと視線方向Dが連動して回転するので、第1モードと同じように視線方向Dを転回させているにもかかわらず、転回制御を行っても常に視点Vの略正面に注目オブジェクトOxが存在することになる。そのため、空間画像描画部54が描画する空間画像内に常に注目オブジェクトOxが含まれ、ユーザーが注目オブジェクトOxを見失わないようにすることができる。
なお、第2モードの転回制御によって視点Vが移動する経路は、候補オブジェクトOごとに予め設定されているものとする。図7の例では視点Vの移動経路は候補オブジェクトOを中心とする円であることとしたが、この円の半径は候補オブジェクトOの大きさに応じて予め決定されてよい。また、候補オブジェクトOの形状によっては、視点Vの移動経路は楕円形など、円形以外の形状であってもよい。また、視点Vの移動経路は、候補オブジェクトOの周囲360度全てを取り囲む閉曲線ではなく、例えば半円状など、候補オブジェクトOの周囲の一部の角度範囲だけをカバーする形状の曲線であってもよい。
視点制御部53は、以上説明した第1モードと第2モードの間の切り替えを、各種の条件に基づいて実行してよい。例えば視点制御部53は、ユーザーが操作デバイス30を操作して所定の切り替え指示を行った場合に、第1モードと第2モードとを切り替えてもよい。
また、視点制御部53は、候補オブジェクトOと視点Vの位置関係に応じて、第1モードと第2モードとを切り替えてもよい。具体的に、例えば視点制御部53は、候補オブジェクトOに近づくように視点Vを移動させる前進指示をユーザーから受け付けた場合に、第1モードから第2モードへの切り替えを行うこととする。前述したように候補位置Pが移動先となるように視点Vの前進制御を行う場合、候補オブジェクトOの周囲が候補位置Pとして設定されてもよい。ユーザーが候補オブジェクトOの周囲に設定された候補位置Pに移動する前進指示を行った場合、視点制御部53は、候補オブジェクトOの周囲に視点Vを移動させるとともに、転回制御の制御モードを第1モードから第2モードへと切替えることとする。こうすれば、ユーザーは候補オブジェクトOに近づいたときに、この候補オブジェクトOを注目オブジェクトOxとして、視点Vの向きを切り替えながら注目オブジェクトOxの外観を観察することができる。
図10は、候補オブジェクトOの周囲が候補位置Pとなる場合の空間画像の表示例を示している。この図の例では、女性キャラクターを表す候補オブジェクトOが空間画像内に表示されており、その周囲を取り囲むように候補位置Pのマーカーが示されている。この状態においてユーザーが前進指示を行うと、候補オブジェクトOの近くの候補位置Pまで視点Vが移動し、図8に示したように候補オブジェクトOが注目オブジェクトOxとして空間画像の略中央に表示されるとともに、第2モードへの切り替えが行われる。
この図10の例において、候補位置Pのマーカーは、図4に例示された候補位置Pとは異なる円形の形状となっている。すなわち、空間画像描画部54は、注目オブジェクトOxとなり得る候補オブジェクトOに対して、他のオブジェクトと区別可能な態様で空間画像を描画している。こうすれば、ユーザーは、この候補オブジェクトOに近づくように視点Vを移動させた場合に、第1モードから第2モードへの切り替えが生じることを容易に把握することができる。
また、図10における候補位置Pのマーカーは、第2モードへの切り替えが行われた後の転回制御に応じた視点Vの移動経路を示している。こうすれば、前進移動を行って第2モードへの切り替えが行われた後、転回指示を行った場合に視点Vがどのように移動するかをユーザーは容易に把握することができる。
なお、この例では、移動後に転回制御のモード切り替えが行われるか否かに応じて、前進指示の操作内容を異ならせることとしてもよい。例えばこれまでの説明では、前進指示は操作デバイス30表面に配置された第3ボタンを押下する操作であることとした。通常の目標位置Pxに視点Vを移動させる場合にはこのような操作であってよいが、目標位置Pxが候補オブジェクトOの周囲の位置であって、移動後に第2モードへの切り替えが生じる場合、指示受付部52は、同じ第3ボタンを所定時間以上にわたって長押しする操作入力を前進指示として受け付けることとしてもよい。こうすれば、ユーザーが第2モードへの切り替えが発生することに気づかずに視点Vを候補オブジェクトOの近くに移動させてしまい、意図したのと異なる転回制御が行われることを防ぐことができる。
また、視点制御部53は、前進制御を行う際に、第2モードへの切り替えが発生する場合と発生しない場合とで、互いに異なる効果音を再生したり、互いに異なる画面エフェクトを表示したりしてもよい。こうすれば、視点Vを移動させた際に第2モードへの切り替えが発生したことをユーザーに明確に提示することができる。また、第2モードへの切り替えが行われた後は、転回制御が行われるたびに第1モードのときとは異なる態様(異なる効果音や画面エフェクトなど)で視線方向Dを変化させてもよい。これによりユーザーは、現在第1モードで転回制御が行われているのか、または第2モードで転回制御が行われているのかを、容易に把握することができる。
さらにこの例では、第2モードの転回制御を実行中、ユーザーが顔を動かして注目オブジェクトOxから離れた場所にある候補位置Pの方に視線方向Dを向けて、前進指示を行った場合、視点制御部53は、その候補位置Pに視点Vを移動させるとともに、転回制御の制御モードを第2モードから第1モードに切り替えることとする。これにより、ユーザーはそれまでの視点制御の方法と同じ方法で別の位置に視点Vを移動させ、第2モードから第1モードへの切り替えを行うことができる。
これに対して、ユーザーが視点Vの位置を候補位置Pに関係なく連続的に移動させることが可能な場合、視点制御部53は、候補オブジェクトOまでの距離が所定の閾値未満になるまで視点Vが候補オブジェクトOに近づいた場合に、第1モードから第2モードへの切り替えを行うこととしてもよい。こうすれば、ユーザーが候補オブジェクトOに注目すると想定される場合に、ユーザーの明示の指示によらずに、自動的に第2モードへの切り替えを行うことができる。この場合において、視点制御部53は、視点Vと候補オブジェクトOとの間の距離の条件に加えて、視線方向Dが候補オブジェクトOに向かっている(すなわち、空間画像の中心を含む所定範囲内に候補オブジェクトOが映っている)という条件が満足される場合に、第1モードから第2モードへの切り替えを行ってもよい。この場合にも、第2モードへの切り替えが発生したことを効果音や画面エフェクトなどでユーザーに通知してもよい。また、この例では、ユーザーが視点Vを移動させる指示を行って候補オブジェクトOから離れた位置に視点Vが移動した場合、視点制御部53は第2モードから第1モードへの切り替えを行うこととしてよい。
以上説明したように、本実施形態に係る情報処理装置10は、視点Vを中心に視線方向Dを転回させる第1モードと注目オブジェクトOxを中心に視線方向Dを転回させる第2モードとを所与の条件に応じて切り替えることとした。これにより、通常時に仮想空間内で視線方向Dを変化させる操作入力と同一の操作入力で、注目オブジェクトOxに注目しているときには注目オブジェクトOxを見失わないようにしながら視線方向Dを変化させることができる。
なお、本発明の実施の形態は、以上説明したものに限られない。例えば、以上の説明では視点Vの位置や視線方向Dを変化させる指示を行うための操作は、操作デバイス30に設けられた操作ボタンを押下する操作であることとしたが、これ以外の各種の操作であってもよい。また、操作デバイス30表面に配置された操作部材に対する操作に限らず、手や指の動きによるジェスチャ−操作など、各種の操作であってよい。また、指示受付部52がユーザーから受け付ける指示の内容は、転回指示や前進指示に限られず、視点の位置や方向を変化させる各種の指示を含んでよい。
また、以上の説明では操作デバイス30や表示装置40の位置の変化をカメラ20の撮像画像によって特定することとしたが、これに限らず、例えば操作デバイス30や表示装置40に内蔵されたモーションセンサーの検出結果を使用するなど、情報処理装置10は各種の方法でユーザーの顔や手の動きを検出してもよい。
また、以上の説明では仮想空間内の様子を示す空間画像はユーザーが頭部に装着した表示装置40が表示することとしたが、空間画像を表示する表示装置はこのようなものに限られず、従来の据え置き型の表示装置などであってもよい。
1 映像表示システム、10 情報処理装置、11 制御部、12 記憶部、13 インタフェース部、20 カメラ、30 操作デバイス、40 表示装置、51 仮想空間構築部、52 指示受付部、53 視点制御部、54 空間画像描画部。

Claims (5)

  1. 仮想空間内に配置された視点の位置、及び向きを変化させる指示をユーザーから受け付ける指示受付ステップと、
    前記指示に応じて前記視点の位置、及び向きを変化させる視点制御ステップと、
    前記視点の位置、及び向きに基づいて前記仮想空間内の様子を示す空間画像を描画する描画ステップと、
    前記視点制御ステップにおいて、前記視点の向きを変化させる指示がユーザーから受け付けられた場合に、前記視点の位置を中心に当該視点の向きを変化させる第1モードと、前記仮想空間においてユーザーが注目している注目オブジェクトを中心に前記視点の位置、及び向きを変化させる第2モードとを、前記注目オブジェクトと前記視点との位置関係に応じて切り替える切り替えステップと、
    をコンピュータに実行させるためのプログラムであって、
    前記描画ステップでは、前記第1モードでの動作中において、前記注目オブジェクトの候補となる候補オブジェクトについて、前記第2モードに遷移した際に当該候補オブジェクトを中心に前記視点が移動する経路を示すマーカーを当該候補オブジェクトの周囲に描画することにより、当該候補オブジェクトを他のオブジェクトと区別可能な態様で表示する空間画像を描画する
    ことを特徴とするプログラム
  2. 請求項に記載のプログラムにおいて、
    前記切り替えステップでは、前記注目オブジェクトに向かって近づくように前記視点を移動させる指示が受け付けられた場合に、前記第1モードから前記第2モードへの切り替えを行う
    ことを特徴とするプログラム。
  3. 請求項に記載のプログラムにおいて、
    前記切り替えステップでは、前記注目オブジェクトと前記視点との間の距離が所定の閾値未満となった場合に、前記第1モードから前記第2モードへの切り替えを行う
    ことを特徴とするプログラム。
  4. 仮想空間内に配置された視点の位置、及び向きを変化させる指示をユーザーから受け付ける指示受付部と、
    前記指示に応じて前記視点の位置、及び向きを変化させる視点制御部と、
    前記視点の位置、及び向きに基づいて前記仮想空間内の様子を示す空間画像を描画する空間画像描画部と、
    を含み、
    前記視点制御部は、前記視点の向きを変化させる指示がユーザーから受け付けられた場合に、前記視点の位置を中心に当該視点の向きを変化させる第1モードと、前記仮想空間においてユーザーが注目している注目オブジェクトを中心に前記視点の位置、及び向きを変化させる第2モードとを、前記注目オブジェクトと前記視点との位置関係に応じて切り替え
    前記空間画像描画部は、前記第1モードでの動作中において、前記注目オブジェクトの候補となる候補オブジェクトについて、前記第2モードに遷移した際に当該候補オブジェクトを中心に前記視点が移動する経路を示すマーカーを当該候補オブジェクトの周囲に描画することにより、当該候補オブジェクトを他のオブジェクトと区別可能な態様で表示する空間画像を描画する
    ことを特徴とする情報処理装置。
  5. 仮想空間内に配置された視点の位置、及び向きを変化させる指示をユーザーから受け付ける指示受付ステップと、
    前記指示に応じて前記視点の位置、及び向きを変化させる視点制御ステップと、
    前記視点の位置、及び向きに基づいて前記仮想空間内の様子を示す空間画像を描画する描画ステップと
    記視点制御ステップにおいて、前記視点の向きを変化させる指示がユーザーから受け付けられた場合に、前記視点の位置を中心に当該視点の向きを変化させる第1モードと、前記仮想空間においてユーザーが注目している注目オブジェクトを中心に前記視点の位置、及び向きを変化させる第2モードとを、前記注目オブジェクトと前記視点との位置関係に応じて切り替えるステップと、
    を含み、
    前記描画ステップでは、前記第1モードでの動作中において、前記注目オブジェクトの候補となる候補オブジェクトについて、前記第2モードに遷移した際に当該候補オブジェクトを中心に前記視点が移動する経路を示すマーカーを当該候補オブジェクトの周囲に描画することにより、当該候補オブジェクトを他のオブジェクトと区別可能な態様で表示する空間画像を描画する
    ことを特徴とする情報処理方法。
JP2018092245A 2018-05-11 2018-05-11 プログラム、及び情報処理装置 Active JP6842441B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018092245A JP6842441B2 (ja) 2018-05-11 2018-05-11 プログラム、及び情報処理装置
US16/376,062 US10754499B2 (en) 2018-05-11 2019-04-05 Program and information processing apparatus for changing a viewpoint selection mode

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018092245A JP6842441B2 (ja) 2018-05-11 2018-05-11 プログラム、及び情報処理装置

Publications (2)

Publication Number Publication Date
JP2019197478A JP2019197478A (ja) 2019-11-14
JP6842441B2 true JP6842441B2 (ja) 2021-03-17

Family

ID=68463679

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018092245A Active JP6842441B2 (ja) 2018-05-11 2018-05-11 プログラム、及び情報処理装置

Country Status (2)

Country Link
US (1) US10754499B2 (ja)
JP (1) JP6842441B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6836060B2 (ja) * 2017-01-31 2021-02-24 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
WO2021112161A1 (ja) * 2019-12-03 2021-06-10 日本電気株式会社 情報処理装置、制御方法及び非一時的なコンピュータ可読媒体

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11161815A (ja) * 1997-07-02 1999-06-18 Sega Enterp Ltd 立体視の表示装置及びその画像処理を行うプログラムを記録した記録媒体
US7042449B2 (en) * 2002-06-28 2006-05-09 Autodesk Canada Co. Push-tumble three dimensional navigation system
US9327191B2 (en) * 2006-05-08 2016-05-03 Nintendo Co., Ltd. Method and apparatus for enhanced virtual camera control within 3D video games or other computer graphics presentations providing intelligent automatic 3D-assist for third person viewpoints
JP5330640B2 (ja) * 2006-05-09 2013-10-30 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法
US8834245B2 (en) * 2007-08-17 2014-09-16 Nintendo Co., Ltd. System and method for lock on target tracking with free targeting capability
US9626786B1 (en) * 2010-07-19 2017-04-18 Lucasfilm Entertainment Company Ltd. Virtual-scene control device
US8626434B1 (en) * 2012-03-01 2014-01-07 Google Inc. Automatic adjustment of a camera view for a three-dimensional navigation system
JP6411244B2 (ja) * 2015-03-05 2018-10-24 日本電信電話株式会社 映像提示方法及び映像提示装置
JP5961892B1 (ja) * 2015-04-03 2016-08-03 株式会社ハコスコ 表示端末ならびに情報記録媒体

Also Published As

Publication number Publication date
US20190346989A1 (en) 2019-11-14
JP2019197478A (ja) 2019-11-14
US10754499B2 (en) 2020-08-25

Similar Documents

Publication Publication Date Title
JP6093473B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
US10671239B2 (en) Three dimensional digital content editing in virtual reality
US10620791B2 (en) Information processing apparatus and operation reception method
JP6532393B2 (ja) 表示制御装置及び表示制御方法
CN108027700B (zh) 信息处理装置
JP2017059062A5 (ja)
US20170285694A1 (en) Control device, control method, and program
CN111161396B (zh) 虚拟内容的控制方法、装置、终端设备及存储介质
US11763578B2 (en) Head-mounted display, display control method, and program
JP2017102298A (ja) 表示制御装置及び表示制御方法
JP2017187952A (ja) 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム
US11151804B2 (en) Information processing device, information processing method, and program
JP6842441B2 (ja) プログラム、及び情報処理装置
JP2016126687A (ja) ヘッドマウントディスプレイ、操作受付方法および操作受付プログラム
WO2019150430A1 (ja) 情報処理装置
JP6164780B2 (ja) 動画像処理装置、動画像処理方法、動画像処理プログラム及び動画像処理表示システム。
JP6140871B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018094086A (ja) 情報処理装置および画像生成方法
EP3702008A1 (en) Displaying a viewport of a virtual space
JP6563592B2 (ja) 表示制御装置、表示制御方法及びプログラム
JP2018026105A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
WO2016151958A1 (ja) 情報処理装置、情報処理システム、情報処理方法およびプログラム
US10878244B2 (en) Visual indicator
EP3553629B1 (en) Rendering a message within a volumetric data

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190513

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200630

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210219

R150 Certificate of patent or registration of utility model

Ref document number: 6842441

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150