JP7040521B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。

特許文献１には、被写体画像及びパノラマ画像を三次元仮想空間内に配置し、これらの画像をユーザの視点（すなわち一人称視点）で表示する技術が開示されている。

特開２０１３－９７０９４号公報

ところで、このように一人称視点で表示された画像の全てを同時期に変動させた場合、ユーザが画像の変動に違和感を持つ場合があった。このような違和感は、いわゆる酔いとして現れる場合もある。

そこで、本開示では、三次元仮想空間内に表示された画像を変動させる場合に、ユーザの違和感を低減させることが可能な、新規かつ改良された情報処理装置、情報処理方法、及びプログラムを提案する。

本開示によれば、ユーザによる視認の対象となる視認対象画像が配置された三次元仮想空間をユーザの一人称視点で表示する制御を行い、視認対象画像の周辺画像を固定した状態で、視認対象画像を変動させる制御を行う制御部を備える、情報処理装置が提供される。

本開示によれば、プロセッサが、ユーザによる視認の対象となる視認対象画像が配置された三次元仮想空間をユーザの一人称視点で表示する制御を行い、視認対象画像の周辺画像を固定した状態で、視認対象画像を変動させる制御を行う、情報処理方法が提供される。

本開示によれば、コンピュータに、ユーザによる視認の対象となる視認対象画像が配置された三次元仮想空間をユーザの一人称視点で表示する制御を行い、視認対象画像の周辺画像を固定した状態で、視認対象画像を変動させる制御を行う制御機能を実現させる、プログラムが提供される。

本開示によれば、ユーザの意識がユーザの意識が集中すると予想される視認対象画像を変動させ、周辺画像を固定する。これにより、ユーザの違和感を低減させることができる。

以上説明したように本開示によれば、三次元仮想空間内に表示された画像を変動させる場合に、ユーザの違和感を低減させることができる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の実施形態に係る情報処理システムの使用状態の一例を示す説明図である。 制御装置の構成を示すブロック図である。 表示装置の構成を示すブロック図である。 情報処理システムによる処理の一例を示すフローチャートである。 情報処理システムによる処理の一例を示すフローチャートである。 表示装置による表示例を示す説明図である。 表示装置による表示例を示す説明図である。 表示装置による表示例を示す説明図である。 表示装置による表示例を示す説明図である。 表示装置による表示例を示す説明図である。 表示装置による表示例を示す説明図である。 表示装置による表示例を示す説明図である。 表示装置による表示例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．情報処理システムの構成
１－１．全体構成
１－２．制御装置の構成
１－３．表示装置の構成
２．第１の表示制御処理
３．第２の表示制御処理

＜１．情報処理装置の構成＞
（１－１．全体構成）
まず、図１に基づいて、本実施形態に係る情報処理システム１の全体構成について説明する。図１に示すように、情報処理システム１は、制御装置（情報処理装置）１０、表示装置２０、及び通信ケーブル３０を備える。

制御装置１０は、三次元仮想空間内に実風景画像を配置する。そして、実風景画像が配置された三次元仮想空間をユーザの一人称視点で表示装置２０に表示させる。具体的には、制御装置１０は、仮想空間内におけるユーザ視点である仮想ユーザ視点を設定し、この仮想ユーザ視点に映る表示用画像を生成する。ここで、仮想ユーザ視点は、表示装置２０から送信される姿勢検知情報に基づいて特定される。姿勢検知情報は、表示装置２０に内蔵される姿勢検知部によって生成される。「仮想ユーザ視点に映る画像」とは、仮想空間内でユーザの視界に映る画像を意味する。そして、制御装置１０は、表示用画像を表示装置２０に表示させる。

表示装置２０は、いわゆるヘッドマウントディスプレイ（ＨＭＤ）であり、人物Ｕ（ユーザ）の目の周囲に装着される。そして、表示装置２０には、上述した表示用画像が表示される。そして、ユーザによる操作（例えば、顔を動かす、「前進」の指示操作を行う等）によって仮想ユーザ視点が変動すると、それに応じて表示用画像が変動する。このため、ユーザは、実風景内にあたかも自身が存在するような仮想体験を楽しむことができる。

なお、制御装置１０及び表示装置２０は一体構成されていてもよい。例えば、表示装置２０に制御装置１０の機能を備えさせても良い。また、表示装置２０はヘッドマウントディスプレイに限られず、他の種類のディスプレイであってもよい。例えば、据え置き型のディスプレイであってもよいし、携帯端末（例えば、携帯電話、スマートフォン、スマートタブレット、携帯ゲーム機等）のディスプレイであってもよい。この場合、姿勢検知部は、例えばこれらのディスプレイ、携帯端末に撮像装置を設けることで、実現可能である。

ところで、仮想ユーザ視点の変動に伴って表示用画像の全体を同時期に変動させた場合、ユーザが実風景画像の変動に違和感を持つ場合があった。例えば、実風景画像を実風景画像中の道路画像に沿って移動させた場合、ユーザは、実際には移動していなくても、あたかも移動したような錯覚を持つ可能性がある。もちろん、実風景画像を一人称視点で表示する技術は、ユーザにこのような錯覚を楽しませる技術であるとも言える。しかしながら、一部のユーザにとっては、このような錯覚が違和感となる可能性がある。そして、このような違和感は、いわゆる酔いとして現れる場合もある。また、一人称視点で表示される画像は頻繁に変動することが多く、この点も違和感の原因となりうる。特に、表示装置２０はヘッドマウントディスプレイであるため、ユーザの視界の大部分に画像が表示される。このため、ユーザが違和感を持つ可能性が高いと想定される。

本発明者は、ユーザが違和感を持つ原因が人の視覚特性にあるのではないかと考えた。つまり、人は視界内に映る画像のうち、視点を含む特定の領域に意識を集中させる。したがって、その領域内で画像を変動させても、ユーザが違和感を持つことはそれほど多くないと考えられる。その一方で、ユーザが意識を集中させている領域の外で画像を変動させると、ユーザが違和感を持つ可能性が高いと考えられる。さらに、ユーザにとって予想外の変動があった場合にも、ユーザが違和感を持つ可能性が高いと考えられる。

そこで、本発明者は、ユーザの違和感を低減できる技術について検討した。まず、本発明者は、テレポートの技術について検討した。例えば、実風景画像が配置された三次元仮想空間中のある地点から他の地点に仮想ユーザ視点が移動することを想定すると、表示装置２０には、移動中の仮想ユーザ視点に映る実風景画像が表示される。すなわち、実風景画像が変動して表示される。ユーザは、このような変動に違和感を持つ可能性がある。そこで、テレポートの技術では、ある地点の実風景画像を表示した後に、直ちに他の地点の実風景画像を表示する。しかし、この技術では、ユーザが移動途中の空間イメージを把握しにくい。さらに、ユーザが地点間の距離感覚をつかみにくい。

つぎに、本発明者は、表示用画像に固定画像（例えば自動車のコックピット画像のようなもの）を重畳する技術について検討した。このような固定物をユーザの視界内に映すことで、ユーザの違和感が低減されることが期待できる。しかし、この技術では、現実感が損なわれる可能性があるので、ユーザが感じる探訪体験が弱まってしまう。

つぎに、本発明者は、表示用画像のうち、ユーザが意識を集中させていると予想させる領域だけ明確に表示し、周辺領域をぼかす、あるいは隠す技術について検討した。しかし、この技術では、表示用画像から得られる情報量が減ってしまう。さらに、ユーザの没入感が減ってしまう。

つぎに、本発明者は、三人称視点について検討した。この技術では、ユーザに相当する人物画像を仮想空間内に配置し、人物画像を含む領域を三人称視点で表示する。この技術によっても、ユーザの違和感が低減されることが期待できる。しかし、この技術では、ユーザ自身が移動しているという感覚が損なわれてしまう。

このように、上記の技術では、いずれもユーザに提供される仮想体験が大きく損なわれてしまう。そこで、本実施形態では、ユーザが意識を集中させていると予想させる領域で画像（例えば、移動視点動画２３０。後述する第１の表示制御処理を参照）を変動させる一方で、当該領域の外の周辺画像を固定する。さらに、画像の変動（例えば、キャラクタ画像Ｐの移動。後述する第２の表示制御処理を参照）によって次の画像の変動をユーザに予想させる。これにより、ユーザに仮想体験を楽しませつつ、ユーザの違和感を低減させることができる。以下、本実施形態に係る情報処理システムを詳細に説明する。

（１－２．制御装置の構成）
つぎに、図１及び図２に基づいて、制御装置１０の構成について説明する。制御装置１０は、通信部１１、記憶部１２、及び制御部１３を備える。制御装置１０は、ハードウェア構成として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、すなわちプロセッサ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ハードディスク、通信装置等を備える。ＲＯＭには、制御装置１０による処理に必要な情報、例えばプログラム等が記録されている。ＣＰＵは、ＲＯＭに記憶されたプログラムを読み出して実行する。

通信部１１は、例えば通信装置等で構成され、通信ケーブル３０を介して表示装置２０と通信を行う。また、通信部１１は、図示しないネットワークを介して他の情報処理装置と通信を行うことも可能であり、当該通信によって例えば実風景画像、地図画像等を取得してもよい。実風景画像は、実風景を撮像することで得られる画像である。通信部１１は、上記各通信で得られた情報を制御部１３に出力する。また、通信部１１は、制御部１３から与えられた情報、例えば表示用画像を表示装置２０に送信する。

記憶部１２は、例えばＲＯＭ、ＲＡＭ、ハードディスク等で構成され、制御装置１０による処理に必要な情報を記憶する。例えば、記憶部１２は、プログラム、各種画像等を記憶する。ここで、記憶部１２に記憶される画像には、実風景画像、地図画像等が含まれる。

制御部１３は、例えばＣＰＵ等で構成され、制御装置１０の各構成要素を制御する。また、制御部１３は、表示装置２０に表示させる表示用画像を生成し、通信部１１に出力する。詳細は後述するが、例えば、制御部１３は、三次元仮想空間内に実風景画像を配置する。ついで、制御部１３は、仮想空間内におけるユーザ視点である仮想ユーザ視点を設定し、この仮想ユーザ視点に映る表示用画像を生成する。

（１－３．表示装置の構成）
つぎに、図１及び図３に基づいて、表示装置２０の構成について説明する。表示装置２０は、通信部２１、姿勢検知部２２、表示部２３、及び表示制御部２４を備える。表示装置２０は、ハードウェア構成として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、すなわちプロセッサ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、姿勢検知センサ、ヘッドマウント型の表示装置、及び通信装置等を備える。ＲＯＭには、表示装置２０による処理に必要な情報、例えばプログラム等が記録されている。ＣＰＵは、ＲＯＭに記憶されたプログラムを読み出して実行する。

通信部２１は、例えば通信装置等で構成され、通信ケーブル３０を介して制御装置１０と通信を行う。通信部２１は、上記各通信で得られた情報、例えば表示用画像を表示制御部２４に出力する。また、通信部２１は、表示制御部２４から与えられた情報、例えば後述する姿勢検知情報を制御装置１０に送信する。

姿勢検知部２２は、例えば姿勢検知センサで構成され、表示装置２０の姿勢を検知する。姿勢検知センサは、例えばジャイロセンサであってもよい。姿勢検知部２２は、表示装置２０の姿勢に関する姿勢検知情報を生成し、表示制御部２４に出力する。ここで、表示装置２０の姿勢は、ユーザの頭の向きによって変化する。そして、ユーザの頭の向きによって、ユーザの視点がおおよそ特定できる。そこで、本実施形態では、姿勢検知情報を仮想ユーザ視点の特定に使用する。このように、仮想ユーザ視点は、姿勢検知部２２による姿勢検知情報によって特定される。したがって、ユーザは、頭の向きを変えることで、仮想ユーザ視点を移動させることができる。

ここで、姿勢検知センサは、ユーザの視線を検知する視線検知センサ（すなわち、ユーザの目付近を撮像する撮像装置）であってもよい。この場合、姿勢検知センサは、ユーザの視線を直接検知することができる。また、ユーザは、視線を変えることで、仮想ユーザ視点を移動させることができる。

また、情報処理システム１は、ユーザによる入力操作が可能な入力操作装置を備えていても良い。制御部１３は、入力操作装置から与えられる入力操作情報に基づいて、仮想ユーザ視点を移動させても良い。

また、情報処理システム１は、ユーザの体全体の姿勢を検知するセンサ（例えば、撮像装置）を備えていても良い。そして、制御部１３は、当該センサから与えられる検知情報に基づいて、仮想ユーザ視点を特定しても良い。つまり、この場合、制御部１３は、ユーザの顔、体、視線の向きを統合的に使用することとなる。

表示部２３は、例えばヘッドマウント型の表示装置で構成され、表示制御部２４による制御により、表示用画像等を表示する。

表示制御部２４は、例えばＣＰＵ等で構成され、表示装置２０の各構成要素を制御する。また、表示制御部２４は、通信部２１から与えられた表示用画像を表示部２３に表示させる。また、表示制御部２４は、姿勢検知部２２から与えられた姿勢検知情報を通信部２１に出力する。

（２．第１の表示制御処理）
つぎに、制御装置１０の制御部１３が行う表示制御について詳細に説明する。制御部１３は、ユーザによる視認の対象となる視認対象画像が配置された三次元仮想空間をユーザの一人称視点で表示する制御を行う。そして、制御部１３は、視認対象画像の周辺画像を固定した状態で、視認対象画像を変動させる制御を行う。具体的には、制御部１３は、第１の表示制御処理及び第２の表示制御処理を行う。なお、制御部１３が第１の表示制御処理及び第２の表示制御処理を行う一方で、表示装置２０は、上述した姿勢検知情報を制御装置１０に送信する。

まず、図４、図６～図１２に基づいて、第１の表示制御処理について説明する。まず、ステップＳ１０において、制御部１３は、三次元仮想空間内に地図画像１００を配置する。ここで、地図画像１００は、予め記憶部１２に記憶されたものであってもよいし、通信部１１が他の情報処理装置から取得したものであってもよい。制御部１３は、三次元仮想空間内に配置する地図画像１００をユーザに選択させても良い。この場合、例えば、制御部１３は、地図画像の候補を一覧表示した一覧表示画像を表示装置２０に表示させる。具体的には、制御部１３は、一覧表示画像を通信部１１に出力し、通信部１１は、一覧表示画像を表示装置２０に送信する。表示装置２０の通信部２１は、受信した一覧表示画像を表示制御部２４に出力する。表示制御部２４は、一覧表示画像を表示部２３に表示させる。「画像を表示装置２０に表示させる」処理は、全て上記と同様に行われる。

一覧表示画像は、ユーザが地図画像１００を認識できるものであればどのようなものであってもよい。例えば、一覧表示画像は、地図画像のサムネイル等を一覧表示したものであってもよいし、地名を一覧表示したものであってもよいし、これらを組み合わせたものであってもよい。ユーザは、一覧表示画像から所望の地図画像１００を選択する。洗濯方法は特に問われないが、例えば図示しない入力操作装置を用いて選択する、仮想ユーザ視点によって選択する等が挙げられる。後者の場合、制御部１３は、後述する仮想ユーザ視点を一覧表示画像とともに表示装置２０に表示させる。

ついで、制御部１３は、地図画像１００上に一または複数の目標地点（すなわち、チェックポイント）を設定する。ここで、目標地点は、例えばランドマークが存在する地点であればよいが、これに限定されない。目標地点は、ユーザに設定させても良い。ついで、制御部１３は、目標地点を示す目標地点画像１１０を地図画像上に配置する。また、いずれかの目標地点画像１１０の近傍には、その目標地点が最終的な目標地点であることを示すゴール画像１２０が配置されても良い。図６では、目標地点画像１１０ｃの近傍にゴール画像１２０が配置されている。また、制御部１３は、時間帯をユーザに選択させてもよい。そして、制御部１３は、ユーザが選択した時間帯に基づいて目標地点を設定しても良い。例えば、ユーザが選択した時間帯によっては、営業を行っていない（閉まっている）ランドマークも存在しうる。そこで、制御部１３は、営業を行っていないランドマークを目標地点として設定しないようにしても良い。

さらに、制御部１３は、視認対象画像として、地図画像１００上にキャラクタ画像（追従移動画像）Ｐを配置する。キャラクタ画像Ｐの初期位置は特に制限されない。詳細は後述するが、キャラクタ画像Ｐは、パペット画像等とも称される。なお、本実施形態では、人物を模した画像をキャラクタ画像Ｐとしたが、キャラクタ画像Ｐの形状はどのようなものであってもよい。キャラクタ画像Ｐ以外の画像を追従移動画像としてもよい。

さらに、制御部１３は、姿勢検知情報に基づいて、仮想空間内におけるユーザ視点である仮想ユーザ視点を特定する。そして、制御部１３は、仮想ユーザ視点を示す仮想ユーザ視点画像Ｑを三次元仮想空間内に配置する。

ついで、制御部１３は、仮想ユーザ視点に映る画像、すなわち仮想空間内でユーザの視界に映る画像を表示用画像として生成する。そして、制御部１３は、表示用画像を表示装置２０に表示させる。これにより、制御部１３は、地図画像１００及び地図画像上の各画像（目標地点画像１１０、キャラクタ画像Ｐ等）をユーザの一人称視点で表示装置２０に表示させる。また、制御部１３は、姿勢検知情報を随時受信し、姿勢検知情報に基づいて、表示用画像を生成する。そして、制御部１３は、表示用画像を表示装置２０に表示させる。これにより、ユーザは、三次元仮想空間内で仮想ユーザ視点を自由に移動させながら、地図画像１００及び地図画像上の各画像（目標地点画像１１０、キャラクタ画像Ｐ等）を視認することができる。

ステップＳ２０において、制御部１３は、ユーザがいずれかの目標地点画像１１０を注視しているか否かを判定する。例えば、制御部１３は、仮想ユーザ視点画像Ｑが目標地点画像１１０上に所定時間以上存在するか否かを判定する。制御部１３は、ユーザがいずれかの目標地点画像１１０を注視していると判定した場合には、ステップＳ３０に進み、ユーザが目標地点画像１１０を注視していないと判定した場合には、本処理を終了する。

ステップＳ３０において、制御部１３は、ユーザが注視している目標地点画像１１０に対応する実風景画像３００（すなわち、シーン画像。図９参照）を取得する。このような実風景画像３００は、記憶部１２に記憶されていても良いし、通信部１１によって他の情報処理装置から取得されてもよい。以下、ユーザが注視している目標地点画像１１０を「注視地点画像」とも称する。また、注視地点画像が示す目標地点を「注視地点」とも称する。

ステップＳ４０において、制御部１３は、キャラクタ画像Ｐを注視地点画像上に移動させる。すなわち、制御部１３は、キャラクタ画像Ｐを仮想ユーザ視点に追従して移動させる。図７に一例を示す。この例では、ユーザは目標地点画像１１０ａを注視しており、キャラクタ画像Ｐが目標地点画像１１０ａ上に移動している。これにより、ユーザの意識をキャラクタ画像Ｐに集中させることができる。なお、キャラクタ画像Ｐが移動する際、地図画像１００は固定されている。つまり、制御部１３は、ユーザによる視認の対象となる視認対象画像（ここでは、キャラクタ画像Ｐ）が配置された三次元仮想空間をユーザの一人称視点で表示する制御を行う。さらに、制御部１３は、視認対象画像の周辺画像（ここでは、地図画像１００）を固定した状態で、視認対象画像を変動させる（ここでは、キャラクタ画像Ｐを移動させる）制御を行う。つまり、制御部１３は、ユーザの意識が集中していると予想されるキャラクタ画像Ｐだけを変動させ、周辺画像を固定する。これにより、ユーザの違和感が低減されることが期待できる。

ここで、制御部１３は、ユーザの習熟度（第１の表示制御処理の実行回数等）に応じて、キャラクタ画像Ｐの移動速度を変更しても良い。例えば、制御部１３は、ユーザの習熟度が高いほど、キャラクタ画像Ｐの移動速度を高めても良い。制御部１３がこのような態様でキャラクタ画像Ｐを表示しても、ユーザの習熟度が高いので、表示内容を把握することができると予想される。

ついで、制御部１３は、キャラクタ画像Ｐの周辺の三次元仮想空間内に実風景画像（シーン画像）３００を表示することとなるが、実風景画像３００を突然表示すると、ユーザが違和感を持つ可能性がある。ユーザはこのような画像の変動を予想できない可能性があるからである。

そこで、制御部１３は、実風景画像３００を表示する前に、ユーザにその旨を報知する制御を行う。例えば、制御部１３は、図８に示すように、注視地点画像（ここでは目標地点画像１１０ａ）上のキャラクタ画像Ｐをユーザ側に振り向かせる。これにより、制御部１３は、ユーザに対して、今後の画像変動（つまり、注視地点画像に関して何らかの画像変動があること）を予想させる。これにより、キャラクタ画像Ｐの周辺の三次元仮想空間内に実風景画像３００を表示しても、ユーザが違和感を持ちにくくなる。もちろん、ユーザに報知する方法はこれに限られず、ユーザに注意喚起できる方法であればどのような方法であってもよい。例えば、表示装置２０から何らかの予告音を出力してもよい。また、表示装置２０に音源の出力部分を複数箇所設置し、注視地点によって異なる出力位置から予告音を出力するようにしてもよい。これにより、注視地点に対するユーザの意識をより高めることができる。

なお、制御部１３は、ユーザによる選択操作等によって、キャラクタ画像Ｐの移動及び上述した報知処理を省略しても良い。画像の変動に違和感を持ちにくいユーザ（つまり、酔いにくいユーザ）は、すぐに実風景画像３００を視認したいという要望を持っている可能性があるからである。

ついで、制御部１３は、キャラクタＰに仮想ユーザ視点をズームインする。つまり、キャラクタＰを中心として地図画像及びキャラクタＰを拡大する。なお、このような拡大処理を突然行うとユーザが違和感を持つ可能性があるが、上記の通り、事前に報知を行っているので、ユーザは違和感を持ちにくい。

ここで、制御部１３は、仮想ユーザ視点がキャラクタＰから外れ、再度キャラクタＰに合った場合に、仮想ユーザ視点をズームインする処理を行ってもよい。ズームインの処理は省略されても良い。

ステップＳ５０において、制御部１３は、図９に示すように、キャラクタ画像Ｐの周辺の三次元仮想空間内に実風景画像３００を配置する。そして、制御部１３は、仮想ユーザ視点に映る表示用画像を生成する。なお、この時の仮想ユーザ視点（つまり、実風景画像３００のどこに視点があっているのか）は予め設定しておけばよい。そして、制御部１３は、表示用画像を表示装置２０に表示させる。これにより、ユーザは、実風景画像３００を視認することができる。その後、制御部１３は、キャラクタ画像Ｐ及び地図画像１００を消去し、第２の表示制御処理に移行する。なお、実風景画像３００を表示する際には、直ちにキャラクタ画像Ｐ及び地図画像１００を消去してもよい。

（１－２－２．第２の表示制御処理）
つぎに、図５～図１２に基づいて、第２の表示制御処理について説明する。ステップＳ６０において、制御部１３は、図１０に示すように、三次元仮想空間内に実風景画像３００（注視地点画像に対応する実風景画像３００。いわゆるシーン画像）を配置する。したがって、実風景画像３００は、立体画像であるといえる。さらに、制御部１３は、姿勢検知情報を随時受信し、姿勢検知情報に基づいて、仮想ユーザ視点を特定する。そして、制御部１３は、仮想ユーザ視点を示す仮想ユーザ視点画像Ｑを三次元仮想空間内に配置する。

さらに、制御部１３は、注視地点画像に最も近い目標地点画像１１０（以下、「直近目標地点画像」とも称する）を特定する。図７の例では、直近目標地点画像は目標地点画像１１０ｂとなる。以下、直近目標地点画像が示す目標地点を「直近目標地点」とも称する。ついで、制御部１３は、図１２及び図１３に示す移動視点動画２３０を生成する。ここで、移動視点動画２３０は、注視地点から直近目標地点に移動中の仮想ユーザ視点に映る実風景画像である。図１２及び図１３は、移動視点動画２３０の一シーン（移動視点動画２３０の再生中のある時点で表示される画像）を示す。

制御部１３は、例えば、注視地点から直近目標地点までの経路内の各地点で撮像された複数の撮像画像を取得し、これらの撮像画像に基づいて、移動視点動画２３０を生成しても良い。これらの撮像画像は、記憶部１２に記憶されていても良いし、通信部１１によって他の情報処理装置から取得されたものであっても良い。移動視点動画２３０は、注視地点から直近目標地点までの経路を示すと言える。

移動視点動画２３０は、直近目標地点以外の目標地点までの経路を示すものであっても良い。また、制御部１３は、複数の目標地点を選択し、各目標地点に対応する移動視点動画２３０を生成しても良い。また、移動視点動画２３０は、平面画像であっても良いし、実風景画像３００と同様に立体画像であってもよい。また、移動視点動画２３０は、タイムラプス動画であってもよい。つまり、制御部１３は、静止画像を連続して表示してもよい。これらの静止画像は平面画像であっても良いし、立体画像であってもよい。移動視点動画２３０を平面画像とすること、あるいはタイムラプス動画とすることで、移動視点動画２３０のデータ量を低減することができる。データ量の観点からは、移動視点動画２３０をタイムラプス動画とし、かつ、タイムラプス動画を構成する静止画像を平面画像とすることが好ましい。

ついで、制御部１３は、図１１に示す画像表示枠２００を三次元仮想空間内に配置する。ここで、画像表示枠２００内に移動視点動画２３０等が表示される。制御部１３は、例えば、注視地点から直近目標地点までの経路と実風景画像３００が配置された三次元仮想空間内の領域との交点に相当する位置に画像表示枠２００を配置する。これにより、ユーザは、実風景画像３００中のどの位置から直近目標地点に移動できるのかを容易に把握することができる。制御部１３は、移動視点動画２３０を複数生成した場合、各移動視点動画２３０に対応する画像表示枠２００を三次元仮想空間内に配置する。

ここで、制御部１３は、注視地点から直近目標地点までの距離に応じて画像表示枠２００の大きさを調整しても良い。例えば、制御部１３は、注視地点から直近目標地点までの距離が長いほど、画像表示枠２００を小さくしても良い。これにより、ユーザは、直近目標地点までの距離感をつかむことができる。なお、制御部１３は、移動視点動画２３０の再生中は、画像表示枠２００を予め設定されたサイズに戻しても良い。画像表示枠２００が小さすぎると、ユーザが移動視点動画２３０を視認しにくくなる可能性があるからである。

さらに、制御部１３は、画像表示枠２００内にシンボル画像を配置する。ここで、シンボル画像は、画像表示枠２００内に移動視点動画２３０が表示されることを示す画像である。図１１にシンボル画像の一例を示す。図１１に示す例では、制御部１３は、シンボル画像として、再生ボタン画像２１０及びサムネイル画像２２０を画像表示枠２００内に配置する。サムネイル画像２２０は、移動視点動画２３０の最初のシーン（最初に表示される画像）であってもよい。また、シンボル画像は、直近目標地点に存在するランドマークを示すランドマーク画像であっても良い。この場合、ユーザは、直近目標地点にどのようなランドマークが存在するのかを容易に把握することができる。また、シンボル画像は省略されてもよい。この場合、画像表示枠２００内にも実風景画像３００が表示されるので、画像表示枠２００の内外で連続した実風景画像３００が表示されることとなる。これにより、ユーザにより自然な画像を視認させることができる。ただし、この場合、どこが画像表示枠２００なのかがユーザにわかりにくくなる。そこで、制御部１３は、画像表示枠２００をハイライト表示（例えば、着色する等）してもよい。

ついで、制御部１３は、仮想ユーザ視点に映る表示用画像を生成し、表示装置２０に表示させる。また、制御部１３は、姿勢検知情報を随時受信し、姿勢検知情報に基づいて、表示用画像を生成する。そして、制御部１３は、表示用画像を表示装置２０に表示させる。つまり、制御部１３は、実風景画像３００等が配置された三次元仮想空間をユーザの一人称視点で表示する制御を行う。これにより、ユーザは、三次元仮想空間内で仮想ユーザ視点を自由に移動させながら、実風景画像３００及びシンボル画像を視認することができる。したがって、ユーザは、実風景内にあたかも自身が存在するような仮想体験を楽しむことができる。

ステップＳ７０において、制御部１３は、ユーザがシンボル画像を注視しているか否かを判定する。例えば、制御部１３は、仮想ユーザ視点画像Ｑがシンボル画像上に所定時間以上存在するか否かを判定する。図１１は、仮想ユーザ視点画像Ｑがシンボル画像上に存在している状態を示す。制御部１３は、ユーザがシンボル画像を注視していると判定した場合には、ステップＳ８０に進み、ユーザがシンボル画像を注視していないと判定した場合には、本処理を終了する。

ステップＳ８０において、制御部１３は、図１２及び図１３に示すように、画像表示枠２００内に移動視点動画２３０を表示（再生）する。ここで、制御部１３は、移動視点動画２３０の表示中（再生中）には、画像表示枠２００の周辺画像（すなわち、実風景画像３００）を固定する。つまり、制御部１３は、ユーザによる視認の対象となる視認対象画像（ここでは、移動視点動画２３０）が配置された三次元仮想空間をユーザの一人称視点で表示する制御を行う。さらに、制御部１３は、視認対象画像の周辺画像（ここでは、画像表示枠２００の周辺に存在する実風景画像３００）を固定した状態で、視認対象画像を変動させる（ここでは、移動視点動画２３０を再生する）制御を行う。これにより、ユーザは、注視地点から直近目標地点までの経路の雰囲気（経路内の特徴、移動方向、移動距離、移動時間等）を容易に把握することができる。

ここで、制御部１３は、ユーザの習熟度（移動視点動画２３０の再生回数等）に応じて、移動視点動画２３０の表示態様を変更しても良い。例えば、制御部１３は、ユーザの習熟度が高いほど、移動視点動画２３０の表示速度（再生速度）を高めても良い。また、移動視点動画２３０をタイムラプスで表示（再生）する場合、移動視点動画２３０に使用する静止画像の枚数を減らしても良い。制御部１３がこのような態様で移動視点動画２３０を表示しても、ユーザの習熟度が高いので、ユーザは移動視点動画２３０の内容を理解することができると予想される。

また、制御部１３は、ユーザによる選択操作等によって、移動視点動画２３０の再生を省略しても良い。画像の変動に違和感を持ちにくいユーザ（つまり、酔いにくいユーザ）は、すぐに次のシーン画像を視認したいという要望を持っている可能性があるからである。

また、移動視点動画２３０中に人物が描かれる場合、人物の数によって移動視点動画２３０の再生態様を変更しても良い。例えば、移動視点動画２３０中の人物画像が多いほど、移動視点動画２３０の表示速度（再生速度）を遅くしても良い。移動視点動画２３０中の人が多いほど、ユーザは、経路を把握するのに時間がかかると予想されるからである。また、制御部１３は、撮像された時間帯の異なる複数種類の移動視点動画２３０を用意し、ユーザが選択した移動視点動画２３０を表示しても良い。これにより、ユーザは、時間帯毎の雰囲気を把握することができる。また、制御部１３は、人が少ない時間帯で撮像された移動視点動画２３０を表示しても良い。この場合、ユーザは、より容易に経路の雰囲気を把握することができる。

また、制御部１３は、移動視点動画２３０の再生中に仮想ユーザ視点が移動視点動画２３０から外れた場合には、移動視点動画２３０の再生をキャンセルし、画像表示枠２００内の状態を初期状態（すなわち、シンボル画像が表示された状態）に戻しても良い。

その後、制御部１３は、直近目標地点を注視地点として、第２の表示制御処理を繰り返して行う。つまり、直近目標地点の実風景画像（シーン画像）が三次元仮想空間内に配置される。このように、本実施形態では、まず画像表示枠２００内の移動視点動画２３０が再生され、その後、周辺画像を含めた表示用画像の全体が次のシーン画像となる。この点、例えば表示用画像の全体を移動視点動画２３０とした場合、ユーザが違和感を持つ可能性がある。これに対し、本実施形態では、画像表示枠２００内、すなわちユーザが注視している領域内だけで移動視点動画２３０を表示し、その周辺画像を固定する。したがって、ユーザは、移動視点動画２３０の再生中に違和感をもちにくい。

ここで、制御部１３は、移動視点動画２３０の再生が終わった後、直ちに直近目標地点の実風景画像を表示するのではなく、仮想ユーザ視点が画像表示枠２００内に再度入った場合に、直近目標地点の実風景画像を表示してもよい。

また、上述した実施形態では、三次元仮想空間内に実風景画像を配置したが、他の種類の画像、例えば、人工的に作成された風景画像を配置しても良い。例えば、三次元表示を行うゲーム等に本実施形態を適用しても良い。この場合、地図画像及び移動視点動画も人工的に作成された風景画像に基づいて生成される。三次元表示を行うゲームにおいても、ユーザは、上述した違和感をもつ可能性がある。そこで、本実施形態の処理を行うことで、ユーザの違和感を低減することができる。

以上により、本実施形態によれば、制御部１３は、ユーザによる視認の対象となる視認対象画像（例えば、キャラクタ画像Ｐ、移動視点動画２３０）が配置された三次元仮想空間をユーザの一人称視点で表示する制御を行う。そして、制御部１３は、視認対象画像の周辺画像（例えば地図画像１００、実風景画像３００）を固定した状態で、視認対象画像を変動させる制御を行う。つまり、制御部１３は、ユーザの意識が集中すると予想される視認対象画像を変動させ、周辺画像を固定する。これにより、ユーザの違和感を低減させることができる。また、本処理は周辺画像の品質を変化させるものではないので、ユーザは、仮想体験を楽しむことができる。

また、制御部１３は、視認対象画像を、仮想ユーザ視点が移動する方向に関連付けた態様で変動させる。具体的には、制御部１３は、キャラクタ画像Ｐ（追従移動画像）を、仮想ユーザ視点に追従して移動させる。また、制御部１３は、移動中の仮想ユーザ視点に映る画像を移動視点動画２３０として表示する。このような場合でも、周辺画像は固定されているので、ユーザの違和感を低減させることができる。

また、制御部１３は、三次元仮想空間内に実風景画像３００を配置するので、ユーザは、実風景内にあたかも自身が存在するような仮想体験を楽しむことができる。ここで、制御部１３は、例えば人工的に作成された風景画像を三次元仮想空間内に配置しても良い。この場合、ユーザは、作成された風景内にあたかも自身が存在するような仮想体験を楽しむことができる。

また、制御部１３は、三次元仮想空間内に目標地点を複数設定する。例えば、制御部１３は、三次元仮想空間内に配置された地図画像上に目標地点を複数設定する。そして、制御部１３は、いずれか一の目標地点（例えばユーザが注視する注視視点）に対応する風景画像を三次元仮想空間内に配置する。そして、制御部１３は、移動視点動画２３０として、一の目標地点から他の目標地点（例えば直近目標地点）に移動中の仮想ユーザ視点に映る風景画像を表示する制御を行う。これにより、ユーザは、一の目標地点から他の目標地点までの経路の雰囲気を容易に把握することができる。また、他の目標地点が直近目標地点となる場合、ユーザは、直近目標地点までの経路の雰囲気を容易に把握することができる。

また、制御部１３は、画像表示枠２００内にシンボル画像を配置し、仮想ユーザ視点がシンボル画像に重なった際に、移動視点動画２３０を表示する制御を行う。したがって、ユーザは、三次元仮想空間内のどの位置で移動視点動画２３０が表示されるのかを容易に把握することができる。

また、制御部１３は、シンボル画像として、他の目標地点に存在するランドマークを示すランドマーク画像を配置するので、ユーザは、他の目標地点にどのようなランドマークが存在するのかを容易に把握することができる。

また、制御部１３は、一の目標地点から他の目標地点までの経路と、実風景画像３００が配置された領域との交点に相当する位置に画像表示枠２００を配置する。したがって、ユーザは、実風景画像３００中のどの位置から他の目標地点に移動できるのかを容易に把握することができる。

また、制御部１３は、移動視点動画２３０を平面画像として表示する。これにより、移動視点動画２３０のデータ量を低減させることができる。

また、制御部１３は、移動視点動画２３０をタイムラプスで表示する。これにより、移動視点動画２３０のデータ量を低減させることができる。

また、制御部１３は、仮想ユーザ視点が目標地点画像１１０に重なった場合、キャラクタ画像Ｐを目標地点画像１１０に重ねる。ついで、キャラクタ画像Ｐの周辺の三次元仮想空間内に目標地点（すなわち、注視地点）の実風景画像３００を表示する制御を行う。したがって、制御部１３は、実風景画像３００を表示する前にキャラクタ画像Ｐを移動させるので、ユーザに今後の画像変動を予想させる。これにより、キャラクタ画像Ｐの周辺の三次元仮想空間内に実風景画像３００を表示しても、ユーザが違和感を持ちにくくなる。

また、制御部１３は、キャラクタ画像Ｐの周辺の三次元仮想空間内に目標地点（すなわち、注視地点）の実風景画像３００を表示する前に、実風景画像３００を表示することをユーザに報知する制御を行う。例えば、予告音を出力する制御を行う。これにより、ユーザに今後の画像変動を予想させることができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
ユーザによる視認の対象となる視認対象画像が配置された三次元仮想空間をユーザの一人称視点で表示する制御を行い、前記視認対象画像の周辺画像を固定した状態で、前記視認対象画像を変動させる制御を行う制御部を備える、情報処理装置。
（２）
前記制御部は、前記視認対象画像を、前記三次元仮想空間内で設定される仮想ユーザ視点が移動する方向に関連付けた態様で変動させる、前記（１）記載の情報処理装置。
（３）
前記制御部は、前記三次元仮想空間内に風景画像を配置する、前記（２）記載の情報処理装置。
（４）
前記風景画像は、実風景を撮像することで得られる実風景画像を含む、前記（３）記載の情報処理装置。
（５）
前記制御部は、前記三次元仮想空間内に画像表示枠を配置し、前記視認対象画像として、移動中の前記仮想ユーザ視点に映る移動視点動画を前記画像表示枠内に表示する制御を行う、前記（３）または（４）に記載の情報処理装置。
（６）
前記制御部は、前記三次元仮想空間内に目標地点を複数設定し、いずれか一の目標地点に対応する前記風景画像を前記三次元仮想空間内に配置し、前記移動視点動画として、前記一の目標地点から他の目標地点に移動中の前記仮想ユーザ視点に映る風景画像を表示する制御を行う、前記（５）記載の情報処理装置。
（７）
前記制御部は、前記他の目標地点を前記一の目標地点に最も近い目標地点とする、前記（６）記載の情報処理装置。
（８）
前記制御部は、前記画像表示枠内にシンボル画像を配置し、前記仮想ユーザ視点が前記シンボル画像に重なった際に、前記移動視点動画を表示する制御を行う、前記（６）または（７）に記載の情報処理装置。
（９）
前記制御部は、前記シンボル画像として、前記他の目標地点に存在するランドマークを示すランドマーク画像を配置する、前記（８）記載の情報処理装置。
（１０）
前記制御部は、前記一の目標地点から前記他の目標地点までの経路と、前記風景画像が配置された領域との交点に相当する位置に前記画像表示枠を配置する、前記（６）～（９）の何れか１項に記載の情報処理装置。
（１１）
前記制御部は、前記移動視点動画を平面画像として表示する、前記（５）～（１０）の何れか１項に記載の情報処理装置。
（１２）
前記制御部は、前記移動視点動画をタイムラプスで表示する、前記（５）～（１１）の何れか１項に記載の情報処理装置。
（１３）
前記制御部は、前記三次元仮想空間内に地図画像を配置する、前記（２）～（１２）の何れか１項に記載の情報処理装置。
（１４）
前記制御部は、前記視認対象画像として、前記仮想ユーザ視点に追従して前記地図画像上を移動する追従移動画像を表示する制御を行う、前記（１３）記載の情報処理装置。
（１５）
前記制御部は、前記地図画像上に目標地点を示す目標地点画像を配置する、前記（１４）記載の情報処理装置。
（１６）
前記制御部は、前記仮想ユーザ視点が前記目標地点画像に重なった場合、前記追従移動画像を前記目標地点画像に重ね、ついで、前記追従移動画像の周辺の前記三次元仮想空間内に前記目標地点の風景画像を表示する制御を行う、前記（１５）記載の情報処理装置。
（１７）
前記制御部は、前記追従移動画像の周辺の前記三次元仮想空間内に前記目標地点の風景画像を表示する前に、前記風景画像を表示することをユーザに報知する制御を行う、前記（１６）記載の情報処理装置。
（１８）
プロセッサが、ユーザによる視認の対象となる視認対象画像が配置された三次元仮想空間をユーザの一人称視点で表示する制御を行い、前記視認対象画像の周辺画像を固定した状態で、前記視認対象画像を変動させる制御を行う、情報処理方法。
（１９）
コンピュータに、
ユーザによる視認の対象となる視認対象画像が配置された三次元仮想空間をユーザの一人称視点で表示する制御を行い、前記視認対象画像の周辺画像を固定した状態で、前記視認対象画像を変動させる制御を行う制御機能を実現させる、プログラム。

１ 情報処理システム
１０ 制御装置
１１ 通信部
１２ 記憶部
１３ 制御部
２０ 表示装置
２１ 通信部
２２ 姿勢検知部
２３ 表示部
２４ 表示制御部
３０ 通信ケーブル
１００ 地図画像
１１０ 目標地点画像
Ｐ キャラクタ画像
Ｑ 仮想ユーザ視点画像
２００ 画像表示枠
２１０ 再生ボタン画像
２２０ サムネイル画像
２３０ 移動視点動画
３００ 実風景画像

Claims (13)

1. ユーザによる視認の対象となる視認対象画像が配置された三次元仮想空間をユーザの一人称視点で表示する制御を行い、前記視認対象画像の周辺画像を固定した状態で、前記視認対象画像を変動させる制御を行う制御部を備え、
   前記制御部は、
   前記三次元仮想空間内に風景画像を配置し、
   前記三次元仮想空間内に画像表示枠を配置し、前記三次元仮想空間内で設定される仮想ユーザ視点が移動する方向に関連付けた態様で変動する前記視認対象画像として、移動中の前記仮想ユーザ視点に映る移動視点動画を前記画像表示枠内に表示する制御を行う、
   情報処理装置。
2. 前記風景画像は、実風景を撮像することで得られる実風景画像を含む、請求項１に記載の情報処理装置。
3. 前記制御部は、前記三次元仮想空間内に目標地点を複数設定し、いずれか一の目標地点に対応する前記風景画像を前記三次元仮想空間内に配置し、前記移動視点動画として、前記一の目標地点から他の目標地点に移動中の前記仮想ユーザ視点に映る風景画像を表示する制御を行う、請求項１に記載の情報処理装置。
4. 前記制御部は、前記他の目標地点を前記一の目標地点に最も近い目標地点とする、請求項３に記載の情報処理装置。
5. 前記制御部は、前記画像表示枠内にシンボル画像を配置し、前記仮想ユーザ視点が前記シンボル画像に重なった際に、前記移動視点動画を表示する制御を行う、請求項３に記載の情報処理装置。
6. 前記制御部は、前記シンボル画像として、前記他の目標地点に存在するランドマークを示すランドマーク画像を配置する、請求項５に記載の情報処理装置。
7. 前記制御部は、前記一の目標地点から前記他の目標地点までの経路と、前記風景画像が配置された領域との交点に相当する位置に前記画像表示枠を配置する、請求項３に記載の情報処理装置。
8. 前記制御部は、前記移動視点動画を平面画像として表示する、請求項１に記載の情報処理装置。
9. 前記制御部は、前記移動視点動画をタイムラプスで表示する、請求項１～８のいずれか１項に記載の情報処理装置。
10. ユーザによる視認の対象となる視認対象画像が配置された三次元仮想空間をユーザの一人称視点で表示する制御を行い、前記視認対象画像の周辺画像を固定した状態で、前記視認対象画像を変動させる制御を行う制御部を備え、
    前記制御部は、
    地図画像上に目標地点を示す目標地点画像を配置し、
    前記三次元仮想空間内で設定される仮想ユーザ視点が移動する方向に関連付けた態様で変動する前記視認対象画像として、前記仮想ユーザ視点に追従して前記地図画像上を移動する追従移動画像を表示する制御を行い、
    前記仮想ユーザ視点が前記目標地点画像に重なった場合、前記追従移動画像を前記目標地点画像に重ね、ついで、前記追従移動画像の周辺の前記三次元仮想空間内に前記目標地点の風景画像を表示する制御を行う、
    情報処理装置。
11. 前記制御部は、前記追従移動画像の周辺の前記三次元仮想空間内に前記目標地点の風景画像を表示する前に、前記風景画像を表示することをユーザに報知する制御を行う、請求項１０に記載の情報処理装置。
12. プロセッサが、ユーザによる視認の対象となる視認対象画像が配置された三次元仮想空間をユーザの一人称視点で表示する制御を行い、前記視認対象画像の周辺画像を固定した状態で、前記視認対象画像を変動させる制御を行う、情報処理方法であって、
    前記プロセッサが、
    前記三次元仮想空間内に風景画像を配置し、
    前記三次元仮想空間内に画像表示枠を配置し、前記三次元仮想空間内で設定される仮想ユーザ視点が移動する方向に関連付けた態様で変動する前記視認対象画像として、移動中の前記仮想ユーザ視点に映る移動視点動画を前記画像表示枠内に表示する制御を行う、
    ことを含む、情報処理方法。
13. コンピュータに、
    ユーザによる視認の対象となる視認対象画像が配置された三次元仮想空間をユーザの一人称視点で表示する制御を行い、前記視認対象画像の周辺画像を固定した状態で、前記視認対象画像を変動させる制御を行う制御機能を実現させる、プログラムであって、
    前記コンピュータに、
    前記三次元仮想空間内に風景画像を配置し、
    前記三次元仮想空間内に画像表示枠を配置し、前記三次元仮想空間内で設定される仮想ユーザ視点が移動する方向に関連付けた態様で変動する前記視認対象画像として、移動中の前記仮想ユーザ視点に映る移動視点動画を前記画像表示枠内に表示する制御を行う機能を実行させる、
    プログラム。

Images