JPWO2018155233A1 - 画像処理装置、画像処理方法、および画像システム - Google Patents

画像処理装置、画像処理方法、および画像システム Download PDF

Info

Publication number
JPWO2018155233A1
JPWO2018155233A1 JP2019501226A JP2019501226A JPWO2018155233A1 JP WO2018155233 A1 JPWO2018155233 A1 JP WO2018155233A1 JP 2019501226 A JP2019501226 A JP 2019501226A JP 2019501226 A JP2019501226 A JP 2019501226A JP WO2018155233 A1 JPWO2018155233 A1 JP WO2018155233A1
Authority
JP
Japan
Prior art keywords
image
posture
avatar
user
presentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019501226A
Other languages
English (en)
Other versions
JP6984645B2 (ja
Inventor
長谷川　雄一
雄一 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2018155233A1 publication Critical patent/JPWO2018155233A1/ja
Application granted granted Critical
Publication of JP6984645B2 publication Critical patent/JP6984645B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/833—Hand-to-hand fighting, e.g. martial arts competition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本技術は、「VR酔い」等のユーザの不快感を軽減することができるようにする画像処理装置、画像処理方法、および画像システムに関する。画像処理装置は、仮想世界上のユーザに相当するアバタの視点によるアバタ視点画像を、ユーザに提示する第１の提示画像として生成し、ユーザの動きを検出した検出結果に基づくユーザの実姿勢と、アバタの姿勢との姿勢差が生じる場合、アバタ視点画像と異なる第２の提示画像を生成する画像生成部を備える。本技術は、例えば、ヘッドマウントディスプレイに表示させる画像を生成する画像処理装置等に適用できる。

Description

本技術は、画像処理装置、画像処理方法、および画像システムに関し、特に、「VR酔い」等のユーザの不快感を軽減することができるようにした画像処理装置、画像処理方法、および画像システムに関する。
近年、ヘッドマウントディスプレイやヘッドアップディスプレイは、広視野角な映像提示が可能になってきており、体や頭部の姿勢に応じて、表示させる映像の方向や姿勢を自然に変化・追従（トラッキング）させることにより、より臨場感の高い１人称視点体験が実現可能になってきている。1人称視点は、ビデオゲームの世界では特にファーストパーソン・シューティング（F.P.S.）などと呼ばれ、人気が出始めている。
一方で、ヘッドマウントディスプレイやヘッドアップディスプレイを用いたバーチャルリアリティ（VR）体験をしたときに、一部のユーザが「VR酔い」や「映像酔い」と呼ばれる不快感を催す事例があることが知られている。これは、ユーザが体感したり、経験から予測している感覚と実際の感覚（例えば視覚刺激）にずれがあると発生すると言われている。
この「VR酔い」や「映像酔い」の不快感を軽減させるための工夫が提案されている（例えば、特許文献１参照）。
特開２０１６−３１４３９号公報
しかしながら、このような「VR酔い」等の不快感に対する対策がさらに求められている。
本技術は、このような状況に鑑みてなされたものであり、「VR酔い」等のユーザの不快感を軽減することができるようにするものである。
本技術の一側面の画像処理装置は、仮想世界上のユーザに相当するアバタの視点によるアバタ視点画像を、前記ユーザに提示する第１の提示画像として生成し、前記ユーザの動きを検出した検出結果に基づく前記ユーザの実姿勢と、前記アバタの姿勢との姿勢差が生じる場合、前記アバタ視点画像と異なる第２の提示画像を生成する画像生成部を備える。
本技術の一側面の画像処理方法は、画像処理装置が、仮想世界上のユーザに相当するアバタの視点によるアバタ視点画像を、前記ユーザに提示する第１の提示画像として生成し、前記ユーザの動きを検出した検出結果に基づく前記ユーザの実姿勢と、前記アバタの姿勢との姿勢差が生じる場合、前記アバタ視点画像と異なる第２の提示画像を生成するステップを含む。
本技術の一側面の画像システムは、仮想世界上のユーザに相当するアバタの視点によるアバタ視点画像を、前記ユーザに提示する第１の提示画像として生成し、前記ユーザの動きを検出した検出結果に基づく前記ユーザの実姿勢と、前記アバタの姿勢との姿勢差が生じる場合、前記アバタ視点画像と異なる第２の提示画像を生成する画像生成部と、前記第１の提示画像および前記第２の提示画像を表示する表示部とを備える。
本技術の一側面においては、仮想世界上のユーザに相当するアバタの視点によるアバタ視点画像が、前記ユーザに提示する第１の提示画像として生成され、前記ユーザの動きを検出した検出結果に基づく前記ユーザの実姿勢と、前記アバタの姿勢との姿勢差が生じる場合、前記アバタ視点画像と異なる第２の提示画像が生成される。
なお、本技術の一側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。
また、本技術の一側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
本技術の一側面によれば、「VR酔い」等のユーザの不快感を軽減することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した画像システムの一実施の形態の構成例を示す図である。 ボクシングゲームのコンテンツ画像の例を示す図である。 図１の画像システムの詳細構成例を示すブロック図である。 仮想世界の座標系について説明する図である。 ユーザ姿勢、アバタ姿勢、及び、提示画像姿勢の３つの姿勢について説明する図である。 提示画像生成処理を説明するフローチャートである。 仮想世界を複数ユーザで共有するコンテンツの例を説明する図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
以下、本技術を実施するための形態（以下、実施の形態という）について説明する。
＜画像システムの構成例＞
図１は、本技術を適用した画像システムの一実施の形態の構成例を示している。
図１の画像システム１は、ヘッドマウントディスプレイ１１（以下、HMD１１と記述する。）、画像処理装置１２、および、コントローラ１３により構成される。
HMD１１は、画像処理装置１２で生成された、仮想世界上の画像を表示し、ユーザに提示する。画像処理装置１２は、HMD１１に表示させる画像を生成し、HMD１１に供給する。コントローラ１３は、複数の操作ボタン（不図示）を備え、ユーザの操作を受け付けて、ユーザの操作に応じた所定の指示を画像処理装置１２に供給する。
HMD１１と画像処理装置１２との間、画像処理装置１２とコントローラ１３との間は、例えばＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）やＭＨＬ（Ｍｏｂｉｌｅ Ｈｉｇｈ−ｄｅｆｉｎｉｔｉｏｎ Ｌｉｎｋ）などの有線ケーブル、あるいは、Ｗｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）、ｗｉｒｅｌｅｓｓＨＤやＭｉｒａｃａｓｔのような無線通信により接続される。
本実施の形態では、例えば、画像処理装置１２は、図２に示されるような画像を表示させる。図２の画像は、HMD１１を装着しているユーザをプレーヤとした１人称視点のボクシングゲーム（コンテンツ）の画像である。HMD11に表示される画像は、２D画像でもよし、ユーザの右眼に見せるための右眼用画像と、ユーザの左眼に見せるための左眼用画像を表示して、立体的に視認させる３D画像でもよい。
以上のように構成される画像システム１において、画像処理装置１２は、ユーザがHMD１１に表示された画像を視認して仮想世界を体験している状態において、「VR酔い」等の不快感を軽減させるように画像を生成して、HMD１１に表示させる。
なお、HMD１１、画像処理装置１２、及び、コントローラ１３は、必要に応じて合体されて、画像システム１が、１つまたは２つの装置で構成されてもよい。
＜画像システムの詳細構成例＞
図３は、画像システム１の詳細構成例を示すブロック図である。
HMD１１は、センサ４１と表示部４２を備える。
センサ４１は、例えば、ジャイロ・センサ、加速度センサ、地磁気センサなどの１以上のセンサ素子の組み合わせで構成され、ユーザの頭部の位置及び方向を検出する。本実施の形態では、センサ４１は、３軸ジャイロ・センサ、３軸加速度センサ、３軸地磁気センサの合計９軸を検出可能なセンサであるとする。センサ４１は、検出した結果を画像処理装置１２に供給する。
表示部４２は、例えば有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子や液晶ディスプレイなどで構成され、画像処理装置１２から供給される画像信号に基づいて所定の画像を表示する。
なお、HMD１１には、音声出力を行うスピーカや、ユーザの音声を取得するマイクロホンなどがあってもよい。
コントローラ１３は、複数の操作ボタンを含む操作部８１を備え、ユーザの操作を受け付けて、ユーザの操作に応じた所定の指示を画像処理装置１２に供給する。
画像処理装置１２は、記憶部６１と画像生成部６２を少なくとも有し、画像生成部６２は、アバタ動作制御部７１、ユーザ姿勢検出部７２、姿勢差算出部７３、及び、提示画像生成部７４により構成される。
記憶部６１は、例えば、ハードディスクや不揮発性のメモリなどで構成され、画像処理装置１２の動作を制御するプログラムや、HMD１１に画像を表示するためのコンテンツ（プログラム）などを記憶する。
アバタ動作制御部７１は、表示部４２に表示される仮想世界上の画像（コンテンツ画像）においてユーザに相当するアバタの動作（姿勢）を制御する。アバタの動作（姿勢）の制御には、ユーザ姿勢検出部７２によって検出される、ユーザの実際の姿勢（ユーザの実姿勢）も考慮される。アバタの動作は、例えば、表示部４２に表示された仮想世界のコンテンツ画像において、ユーザが選択した動作や、ユーザが行ったアクション等によって変化する。
アバタ動作制御部７１は、例えば、図２に示したボクシングゲームの対戦相手のように、表示部４２に表示される画像にプレーヤ本人以外のアバタが登場する場合には、他人のアバタの動作（姿勢）も制御する。以下では、ユーザ本人のアバタと、他人のアバタを区別するため、他人のアバタを意味する場合は、他人アバタと称することとして、単にアバタと称する場合には、ユーザ本人のアバタを意味するものとする。
ユーザ姿勢検出部７２は、センサ４１から供給される、ユーザの頭部の位置及び方向の検出結果に基づいて、ユーザの実姿勢を検出する。
姿勢差算出部７３は、アバタ動作制御部７１によって決定されたアバタの姿勢と、ユーザ姿勢検出部７２によって検出されたユーザの実姿勢との姿勢差を算出する。
提示画像生成部７４は、記憶部６１から取得されたコンテンツの画像であって、ユーザに提示する提示画像を生成し、表示部４２に供給する。提示画像は、アバタ動作制御部７１によって決定されたユーザ本人のアバタと他人アバタの動作、ユーザ姿勢検出部７２によって決定されたユーザの実姿勢、及び、姿勢差算出部７３によって決定されたアバタの姿勢とユーザの実姿勢の姿勢差とに基づいて生成される。提示画像生成部７４は、通常の場面では、ユーザの実姿勢にアバタの姿勢を合わせ、アバタの視点による画像がユーザに提示されるように提示画像（第１の提示画像）を生成するが、所定の条件下においては、「VR酔い」等のユーザの不快感を軽減させるため、アバタ視点の画像とは異なる画像を提示画像（第２の提示画像）として生成し、表示部４２に表示させる。
＜提示画像の説明＞
図４及び図５を参照して、提示画像生成部７４によって生成される提示画像についてさらに説明する。
初めに、図４を参照して、表示部４２に表示されるコンテンツ内の仮想世界と、仮想世界上のアバタの姿勢を表現する座標系について説明する。
図４のＡに示されるように、表示部４２に表示されるコンテンツ内の仮想世界をＸ軸、Ｙ軸、及び、Ｚ軸からなる３次元空間とすると、アバタの姿勢は、３次元位置（ｘ，ｙ，ｚ）と２次元の方向（θ，φ）とからなる５つのパラメータ（ｘ，ｙ，ｚ，θ，φ）で表現することができる。
ここで、３次元位置（ｘ，ｙ，ｚ）は、仮想世界上のアバタの頭部の位置に対応し、２次元の方向（θ，φ）は、仮想世界上のアバタの視線方向（頭部が向く方向）に対応する。方向θは、図４のＢに示されるように、ＸＺ平面上の所定の基準軸（図４のＢの例ではＺ軸）に対して視線方向がなす角であり、いわゆる方位角である。方向φは、図４のＣに示されるように、ＸＺ平面に対して視線方向がなすＹ軸方向の角であり、いわゆる仰角である。したがって、本明細書における姿勢には、仮想世界上の頭部位置だけでなく、視線方向も含まれる。
表示部４２に表示されるコンテンツの仮想世界において、ユーザ姿勢posｕ、アバタ姿勢posａ、及び、提示画像姿勢posｖの３つの姿勢を以下のように定義する。
ユーザ姿勢posｕ＝（ｘｕ，ｙｕ，ｚｕ，θｕ，φｕ）
アバタ姿勢posａ＝（ｘａ，ｙａ，ｚａ，θａ，φａ）
提示画像姿勢posｖ＝（ｘｖ，ｙｖ，ｚｖ，θｖ，φｖ）
ユーザ姿勢posｕとは、センサ４１から供給される検出結果によって決定されるユーザの実姿勢を仮想世界上に投影したものである。アバタ姿勢posａとは、アバタの姿勢を仮想世界上の座標で表現したものである。提示画像姿勢posｖは、表示部４２に表示される提示画像に対応する仮想の姿勢である。
図５を参照して、ユーザ姿勢posｕ、アバタ姿勢posａ、及び、提示画像姿勢posｖの３つの姿勢について具体的に説明する。
図２に示したボクシングゲームのコンテンツの例で説明する。
例えば、通常の場面では、ユーザ姿勢検出部７２によって検出されるユーザの実姿勢に応じてアバタの姿勢が制御されるので、アバタ姿勢posａとユーザ姿勢posｕは同一となる。つまり、アバタ姿勢posａ＝ユーザ姿勢posｕである。また、表示部４２に表示される提示画像は、アバタの視点からの仮想世界の画像となるので、提示画像姿勢posｖ＝アバタ姿勢posａである。
したがって、「VR酔い」を軽減する特別な処理を行わない通常の場面では、
提示画像姿勢posｖ＝アバタ姿勢posａ＝ユーザ姿勢posｕ
となる。
次に、例として、対戦相手のパンチによって、アバタがダウンした（地面に倒れた）場面を想定する。
実際のユーザは地面に倒れておらず、図５の姿勢１０１のように立った姿勢であるとすると、ユーザ姿勢検出部７２によって算出されるユーザ姿勢posｕ＝（ｘｕ，ｙｕ，ｚｕ，θｕ，φｕ）は姿勢１０１となる。
一方、アバタ動作制御部７１によって制御されるアバタ姿勢posａ＝（ｘａ，ｙａ，ｚａ，θａ，φａ）は、図５に示される、地面に倒れた姿勢１０２となる。
通常の場面では、上述したように、アバタの視点からの仮想世界の画像を提示画像とするが、アバタの急激な移動に合わせて提示画像を大きく変化させると、ユーザが「VR酔い」をおこすおそれがある。
そこで、提示画像生成部７４は、アバタ姿勢posａ（図５の姿勢１０２）に対応する画像ではなく、例えば、ユーザの実姿勢（図５の姿勢１０１）に近い姿勢１０３に対応する画像１１１を提示画像として生成し、表示部４２に表示させる。提示画像としての画像１１１は、アバタ姿勢posａに対応する画像よりも視界変化が緩やかな画像である。提示画像となる画像１１１に対応する姿勢１０３が、提示画像姿勢posｖ＝（ｘｖ，ｙｖ，ｚｖ，θｖ，φｖ）である。
図５の例では、VR酔いを軽減する処理が施された場面では、提示画像姿勢posｖは、アバタ姿勢posａとユーザ姿勢posｕのいずれの姿勢とも異なるが、提示画像は、少なくとも通常場面の提示画像であるアバタ視点画像とは異なる画像であればよい。例えば、提示画像は、ユーザの実姿勢に対応する画像でもよい。
＜提示画像生成処理＞
次に、図６のフローチャートを参照して、画像処理装置１２による提示画像生成処理について説明する。この処理は、例えば、HMD１１の表示部４２に所定のコンテンツ画像を表示させる操作が行われたとき開始される。
初めに、ステップＳ１において、アバタ動作制御部７１は、表示部４２に表示される仮想世界におけるアバタの動作（アバタ姿勢posａ）を決定する。また、仮想世界上にプレーヤ本人以外の他人アバタが登場する場合には、他人アバタの動作（姿勢）も決定する。ステップＳ１以降、アバタの動作の決定は、コンテンツの内容に従って常時実行される。
ステップＳ２において、ユーザ姿勢検出部７２は、センサ４１から供給された、ユーザの頭部の位置及び方向を示すセンサ検出結果に基づいて、ユーザの実姿勢posｕを検出する。センサ検出結果に基づくユーザの実姿勢posｕの検出も、これ以降常時実行される。検出されたユーザの実姿勢posｕはアバタ動作制御部７１に供給され、アバタの動作（姿勢）が、ユーザの動作に合わせられる。
ステップＳ３において、提示画像生成部７４は、アバタの視点からの画像であるアバタ視点画像を提示画像として生成し、HMD１１の表示部４２に供給して表示させる。ここでの提示画像姿勢posｖは、アバタ姿勢posａ及びユーザ姿勢posｕと等しくなる（提示画像姿勢posｖ＝アバタ姿勢posａ＝ユーザ姿勢posｕ）。
ステップＳ４において、姿勢差算出部７３は、アバタ動作制御部７１によって決定されたアバタ姿勢posａと、ユーザ姿勢検出部７２によって検出されたユーザの実姿勢posｕとの姿勢差を算出して、提示画像生成部７４に供給する。
ステップＳ５において、提示画像生成部７４は、アバタ姿勢posａとユーザの実姿勢posｕとの姿勢差が、予め決定された第１の範囲以上であるかを判定する。
ここで、ステップＳ５における第１の範囲として、例えば、方位角θの閾値thresθおよび、仰角φの閾値thresφを設定し、以下の式（１）または式（２）のどちらかの条件を満たしたとき、提示画像生成部７４は、アバタ姿勢posａとユーザの実姿勢posｕとの姿勢差が第１の範囲以上であると判定することができる。式（１）及び式（２）の｜ｄ｜は、ｄの絶対値を表す。
｜θａ−θｕ｜＞thresθ ・・・（１）
｜φａ−φｕ｜＞thresφ ・・・（２）
式（１）のthresθは、方位角θの閾値であり、式（２）のthresφは、仰角φの閾値である。閾値thresθ及び閾値thresφとしては、任意の値を設定することができるが、例えば、３０度に設定することができる。この３０度という数値は、平均的な人間は正面からずれた方向にある物体を見るときに３０度以内であれば眼球のみを運動させることで視線方向を移動させるが、それ以上のずれた方向にある物体を見るときには自然と頭部の運動を行うという数値である。
また、酔いを防止するための厳しい判定条件とする場合には、閾値thresθ及び閾値thresφは、1度に設定することができる。これは、ものの細部を注視するときに利用する中心窩と呼ばれる網膜中心部領域の範囲が、平均的な人間では約1度と言われることによる。閾値thresθ及び閾値thresφは、設定画面等を用いてユーザ所望の値に変更することができる。これらの閾値を変更することにより、酔い防止の程度を制御することができる。
上述した判定条件は、主に頭部の向きを動かされたことを判定する条件となるが、アバタが身体全体を大きく移動させられるケースも加味する場合には、式（１）及び式（２）の条件に加えて、次の式（３）の条件を加えることができる。すなわち、式（１）乃至式（３）のいずれかの条件を満たしたとき、アバタ姿勢posａとユーザの実姿勢posｕとの姿勢差が第１の範囲以上であると判定する。
Δｘａｕ＞thresｘ ・・・（３）
式（３）におけるΔｘａｕは、ユーザの実姿勢posｕの頭部位置（ｘｕ，ｙｕ，ｚｕ）と、アバタ姿勢posａの頭部位置（ｘａ，ｙａ，ｚａ）との差分を表し、Δｘａｕとしては、式（４）の２次元ノルムや式（５）の１次元ノルムを採用することができる。thresｘは、Δｘａｕの閾値を表す。
Figure 2018155233
その他のステップＳ５における判定条件としては、アバタの頭部位置の移動速度や視線方向の角速度を用いてもよい。具体的には、アバタの視線方向（θａ，φａ）の角速度をΔθ、Δφとし、アバタの頭部位置（ｘａ，ｙａ，ｚａ）の時間変化量（移動速度）をｖａとして、式（６）乃至式（８）のいずれかの条件を満たしたとき、アバタ姿勢posａとユーザの実姿勢posｕとの姿勢差が第１の範囲以上であると判定してもよい。
｜Δθａ−Δθａ｜＞thresΔθ ・・・（６）
｜Δφａ−Δφａ｜＞thresΔφ ・・・（７）
ｖａ＞thresｖ ・・・（８）
さらに、ステップＳ５では、アバタ姿勢posａとユーザの実姿勢posｕとの姿勢差が第１の範囲以上であると判定される現象が１回発生しただけでなく、所定回数以上発生したとき、または、所定時間継続して発生したときに、姿勢差が第１の範囲以上であると判定するようにしてもよい。
ステップＳ５で、アバタ姿勢posａとユーザの実姿勢posｕとの姿勢差が第１の範囲以上ではないと判定された場合、処理はステップＳ３に戻り、上述したステップＳ３乃至Ｓ５の処理が繰り返される。これにより、アバタ姿勢posａとユーザの実姿勢posｕとの姿勢差が第１の範囲より小さい場合には、アバタの視点からのアバタ視点画像が提示画像として表示され、提示画像姿勢posｖ＝アバタ姿勢posａとなる。
一方、ステップＳ５で、アバタ姿勢posａとユーザの実姿勢posｕとの姿勢差が第１の範囲以上であると判定された場合、処理はステップＳ６に進み、提示画像生成部７４は、提示画像として「VR酔い」等の不快感を軽減させるための軽減処理画像を生成し、表示部４２に供給して表示させる。
提示画像生成部７４は、軽減処理画像として、例えば、ユーザ姿勢posｕに対応する画像を生成して表示させる。この場合、提示画像姿勢posｖは、ユーザ姿勢posｕとなる。
posｖ＝（ｘｖ，ｙｖ，ｚｖ，θｖ，φｖ）＝（ｘｕ，ｙｕ，ｚｕ，θｕ，φｕ）
あるいはまた、提示画像生成部７４は、軽減処理画像として、例えば、提示画像姿勢posｖの頭部位置についてはアバタ姿勢posａの頭部位置とし、提示画像姿勢posｖの視線方向についてはユーザ姿勢posｕの視線方向とした画像を生成して表示させる。つまり、提示画像姿勢posｖは、次のようになる。
posｖ＝（ｘｖ，ｙｖ，ｚｖ，θｖ，φｖ）＝（ｘａ，ｙａ，ｚａ，θｕ，φｕ）
あるいはまた、提示画像生成部７４は、軽減処理画像として、例えば、提示画像姿勢posｖの頭部位置と方位角θについてはアバタ姿勢posａの頭部位置と方位角θとし、提示画像姿勢posｖの仰角φについてはユーザ姿勢posｕの仰角φとした画像を生成して表示させる。つまり、提示画像姿勢posｖは、次のようになる。
posｖ＝（ｘｖ，ｙｖ，ｚｖ，θｖ，φｖ）＝（ｘａ，ｙａ，ｚａ，θａ，φｕ）
これは、ユーザは、上下方向に意図せず視野を変更されるとより酔いやすいため、この方向にのみ、ユーザの視線方向を採用することを意味する。
反対に、軽減処理画像として、例えば、提示画像姿勢posｖの頭部位置と仰角φについてはアバタ姿勢posａの頭部位置と仰角φとし、提示画像姿勢posｖの方位角θについてはユーザ姿勢posｕの方位角θとした画像を生成して表示させてもよい。つまり、提示画像姿勢posｖは、次のようになる。
posｖ＝（ｘｖ，ｙｖ，ｚｖ，θｖ，φｖ）＝（ｘａ，ｙａ，ｚａ，θｕ，φａ）
これは、方位角θにのみ、ユーザの視線方向を採用することを意味する。
次に、ステップＳ７において、提示画像生成部７４は、アバタ姿勢posａとユーザの実姿勢posｕとの姿勢差が、予め決定された第２の範囲以内となったかを判定する。
ステップＳ７で、アバタ姿勢posａとユーザの実姿勢posｕとの姿勢差がまだ第２の範囲以内となっていない、即ち、アバタ姿勢posａとユーザの実姿勢posｕとの姿勢差が第２の範囲より大きいと判定された場合、処理はステップＳ６に戻り、上述した処理が繰り返される。即ち、提示画像として軽減処理画像が継続して生成され、表示部４２に表示される。
一方、ステップＳ７で、アバタ姿勢posａとユーザの実姿勢posｕとの姿勢差が第２の範囲以内となったと判定された場合、処理はステップＳ８に進み、提示画像生成部７４は、軽減処理画像を、アバタ視点画像（アバタ姿勢posａに対応する画像）に徐々に近づくように生成し、表示部４２に表示させる。ステップＳ８の処理後には、提示画像姿勢posｖ＝アバタ姿勢posａ＝ユーザ姿勢posｕとなる。
このステップＳ８の処理である、提示画像（軽減処理画像）をアバタ視点画像に連続的に近づける提示画像姿勢posｖの制御には、例えば、単純な線形運動や、ベジエなどの曲線運動、身体モデルに基づく幾何拘束が許す駆動範囲内の運動などによる計算を用いることができる。
ステップＳ８の後、処理はステップＳ３に戻され、上述したステップＳ３乃至Ｓ８が、再び実行される。第１の範囲と第２の範囲の値は、同じ値としてもよいし、異なる値としてもよい。
以上の処理が提示画像生成処理として実行される。
以上のように、画像システム１による提示画像生成処理では、提示画像生成部７４が、アバタ姿勢posａとユーザの実姿勢posｕとの姿勢差が所定の閾値（第１の範囲）より小さい場合、アバタの視点によるアバタ視点画像（アバタ姿勢posａに対応する画像）を第１の提示画像として生成し、アバタ姿勢posａとユーザの実姿勢posｕとの姿勢差が所定の閾値（第１の範囲）以上であり、アバタ姿勢posａとユーザの実姿勢posｕとで一定以上の姿勢差が生じている場合、アバタ視点画像と異なる軽減処理画像を第２の提示画像として生成し、表示部４２に表示させる。これにより、「VR酔い」等のユーザの不快感を軽減することができる。
なお、上述したステップＳ６における軽減処理画像の生成では、仮想世界上のコンテンツ画像を用いて軽減処理画像を生成し、表示したが、例えば、画面全体が黒一色の黒画像（ブラックアウト画面）や、「酔い」を防止するために画面を変更中であることを説明する注意喚起画面など、表示中のコンテンツ画像と異なる画像を表示してもよい。
この場合、ステップＳ８で実行される、アバタ視点画像に連続的に近づける処理では、例えば、黒画像とアバタ視点画像をアルファブレンディングするアルファブレンド処理等を用いて、アバタ視点画像に戻すことができる。
アバタ視点画像をＩａ、黒画像をＩｂとすると、ステップＳ８における軽減処理画像Ｉｕは、ブレンド率α（０≦α≦１）を用いて以下の式（９）で表される。
Ｉｕ＝αＩａ＋（１−α）Ｉｂ ・・・（９）
式（９）のブレンド率αを時間経過とともに０から１に連続的に変化させることで、黒画像から、元のアバタ視点画像に徐々に戻るように制御することができる。
＜仮想世界を複数ユーザで共有するコンテンツの例＞
上述した例は、１人のユーザが仮想世界を体験する例であったが、複数のユーザで同一の仮想世界を共有して体験する場合もある。
例えば、図７に示されるように、一方のユーザ１２１AのHMD１１に表示される仮想世界上（提示画像）には、他方のユーザ１２１Bのアバタ１３１Bが表示され、他方のユーザ１２１BのHMD１１に表示される仮想世界上（提示画像）には、一方のユーザ１２１Aのアバタ１３１Aが表示されている場面があるとする。
ユーザ１２１Aのアバタ１３１Aは、ユーザ１２１Aのセンサ検出結果に基づいて、仮想世界上を動作する。ユーザ１２１Bのアバタ１３１Bは、ユーザ１２１Bのセンサ検出結果に基づいて、仮想世界上を動作する。
したがって、基本的には、アバタ１３１（１３１A、１３１B）は、ユーザ１２１（１２１A、１２１B）の動作と同じ動きをするが、コンテンツの設計として、ユーザ１２１の動作と一致しない動作を行わせることがある。
例えば、ユーザ１２１Aのアバタ１３１Aに、ユーザ１２１Aがあいさつのお辞儀をさせる場面を考える。
実際のユーザ１２１Aがお辞儀の動作をしてもよいが、ユーザ１２１Bには実際のユーザ１２１Aの姿は見えないので、ユーザ１２１Bが仮想世界上で見ているアバタ１３１Aにお辞儀動作をさせればよい。そこで、ユーザ１２１Aは、コントローラ１３の操作や音声入力等により、アバタ１３１Aにお辞儀をさせる動作指示を行う。
このような場面においては、上述したような、ユーザ姿勢posｕとアバタ姿勢posａが異なる状況が発生するので、図６で説明した提示画像生成処理が同様に適用できる。
即ち、ユーザ１２１Aが操作ボタン等によりお辞儀動作を指示すると、ユーザ１２１Bが装着しているHMD１１の表示部４２に、ユーザ１２１Aのアバタ１３１Aがお辞儀動作を行う提示画像が表示される。ユーザ１２１Aのアバタ１３１Aがお辞儀動作を行うと、ユーザ１２１Aのアバタ姿勢posａと実姿勢posｕとの姿勢差が第１の範囲以上となるので、図６のステップＳ６の処理として、提示画像生成部７４は、軽減処理画像を生成して、ユーザ１２１Aが装着しているHMD１１の表示部４２に表示させる。換言すれば、お辞儀動作を行うアバタ１３１Aの視点によるアバタ視点画像をユーザ１２１Aが装着しているHMD１１の表示部４２に表示すると、視界変化が大きく、「酔い」が発生するので、軽減処理画像に切り換えられる。
そして、お辞儀動作が終了し、ユーザ１２１Aのアバタ姿勢posａと実姿勢posｕとの姿勢差が第２の範囲以内となると、図６のステップＳ８の処理として、提示画像のアバタ１３１Aのアバタ姿勢posａが、ユーザ１２１Aの実姿勢posｕに徐々に近づくように制御される。
ユーザ１２１が自分のアバタ１３１にどのような動作を行わせるかが選択可能な動作コマンドとなっている場合、動作コマンドごとに、軽減処理画像を提示するか否かが予め決定されており、指示された動作コマンドに応じて、予め用意された提示画像を表示させてもよい。これにより、ユーザの動きを検出した検出結果に基づくユーザの実姿勢posｕと、アバタ姿勢posａとの姿勢差が生じる場合の動作コマンドに対して、アバタの視点画像と異なる画像を表示することにより、ＶＲ酔いを抑制することができる。
＜コンピュータの構成例＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているマイクロコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
入力部２０６は、キーボード、マウス、マイクロホンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体２１１を駆動する。
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータでは、プログラムは、リムーバブル記録媒体２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。
本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
上述した実施の形態において、ユーザに提示する提示画像を表示する表示装置として、ヘッドマウントディスプレイ（HMD）の例を説明したが、画像システム１の表示装置としては、ヘッドアップディスプレイ（HUD）でもよいし、ドーム型（半球状）のディスプレイなどでもよい。ユーザの視野を覆うように映像を表示する表示装置であればよい。
例えば、上述した実施の形態の一部を適宜組み合わせた形態を採用することができる。
本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
なお、本技術は以下のような構成も取ることができる。
（１）
仮想世界上のユーザに相当するアバタの視点によるアバタ視点画像を、前記ユーザに提示する第１の提示画像として生成し、前記ユーザの動きを検出した検出結果に基づく前記ユーザの実姿勢と、前記アバタの姿勢との姿勢差が生じる場合、前記アバタ視点画像と異なる第２の提示画像を生成する画像生成部
を備える画像処理装置。
（２）
前記姿勢は、頭部位置と視線方向とで定義され、
前記画像生成部は、前記ユーザの実姿勢と前記アバタの姿勢の方位角または仰角の差が第１の閾値以上である場合、前記アバタ視点画像と異なる第２の提示画像を生成する
前記（１）に記載の画像処理装置。
（３）
前記姿勢は、頭部位置と視線方向とで定義され、
前記画像生成部は、前記ユーザの実姿勢と前記アバタの姿勢の方位角若しくは仰角の差が第１の閾値以上であるか、または、前記ユーザの実姿勢と前記アバタの姿勢の頭部位置の差分が第１の閾値以上である場合、前記アバタ視点画像と異なる第２の提示画像を生成する
前記（１）に記載の画像処理装置。
（４）
前記第２の提示画像は、前記ユーザの姿勢に対応する画像である
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）
前記第２の提示画像は、前記アバタの姿勢の頭部位置と前記ユーザの姿勢の視線方向に対応する画像である
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（６）
前記第２の提示画像は、前記アバタの姿勢の頭部位置及び方位角と前記ユーザの姿勢の仰角に対応する画像である
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（７）
前記第２の提示画像は、前記アバタの姿勢の頭部位置及び仰角と前記ユーザの姿勢の方位角に対応する画像である
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（８）
前記画像生成部は、前記ユーザの実姿勢と前記アバタの姿勢との姿勢差が第１の閾値以上である場合が所定回数または所定時間継続して発生したとき、前記アバタ視点画像と異なる第２の提示画像を生成する
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
前記画像生成部は、さらに、前記ユーザの実姿勢と前記アバタの姿勢との姿勢差が第２の閾値以内である場合、前記アバタ視点画像に徐々に近づくように、前記第２の提示画像を生成する
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）
前記ユーザに相当するアバタの動作を指示する操作部をさらに備え、
前記画像生成部は、前記操作部による指示を受けて前記アバタが動作することによって、前記ユーザの実姿勢と前記アバタの姿勢との姿勢差が生じる場合、前記アバタ視点画像と異なる第２の提示画像を生成する
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１１）
画像処理装置が、
仮想世界上のユーザに相当するアバタの視点によるアバタ視点画像を、前記ユーザに提示する第１の提示画像として生成し、前記ユーザの動きを検出した検出結果に基づく前記ユーザの実姿勢と、前記アバタの姿勢との姿勢差が生じる場合、前記アバタ視点画像と異なる第２の提示画像を生成する
ステップを含む画像処理方法。
（１２）
仮想世界上のユーザに相当するアバタの視点によるアバタ視点画像を、前記ユーザに提示する第１の提示画像として生成し、前記ユーザの動きを検出した検出結果に基づく前記ユーザの実姿勢と、前記アバタの姿勢との姿勢差が生じる場合、前記アバタ視点画像と異なる第２の提示画像を生成する画像生成部と、
前記第１の提示画像および前記第２の提示画像を表示する表示部と
を備える画像システム。
１ 画像システム， １１ HMD， １２ 画像処理装置， １３ コントローラ， ４１ センサ， ４２ 表示部， ６２ 画像生成部， ７１ アバタ動作制御部， ７２ ユーザ姿勢検出部， ７３ 姿勢差算出部， ７４ 提示画像生成部， ８１ 操作部， ２０１ CPU， ２０２ ROM， ２０３ RAM， ２０６ 入力部， ２０７ 出力部， ２０８ 記憶部， ２０９ 通信部， ２１０ ドライブ

Claims (12)

  1. 仮想世界上のユーザに相当するアバタの視点によるアバタ視点画像を、前記ユーザに提示する第１の提示画像として生成し、前記ユーザの動きを検出した検出結果に基づく前記ユーザの実姿勢と、前記アバタの姿勢との姿勢差が生じる場合、前記アバタ視点画像と異なる第２の提示画像を生成する画像生成部
    を備える画像処理装置。
  2. 前記姿勢は、頭部位置と視線方向とで定義され、
    前記画像生成部は、前記ユーザの実姿勢と前記アバタの姿勢の方位角または仰角の差が第１の閾値以上である場合、前記アバタ視点画像と異なる第２の提示画像を生成する
    請求項１に記載の画像処理装置。
  3. 前記姿勢は、頭部位置と視線方向とで定義され、
    前記画像生成部は、前記ユーザの実姿勢と前記アバタの姿勢の方位角若しくは仰角の差が第１の閾値以上であるか、または、前記ユーザの実姿勢と前記アバタの姿勢の頭部位置の差分が第１の閾値以上である場合、前記アバタ視点画像と異なる第２の提示画像を生成する
    請求項１に記載の画像処理装置。
  4. 前記第２の提示画像は、前記ユーザの姿勢に対応する画像である
    請求項１に記載の画像処理装置。
  5. 前記第２の提示画像は、前記アバタの姿勢の頭部位置と前記ユーザの姿勢の視線方向に対応する画像である
    請求項１に記載の画像処理装置。
  6. 前記第２の提示画像は、前記アバタの姿勢の頭部位置及び方位角と前記ユーザの姿勢の仰角に対応する画像である
    請求項１に記載の画像処理装置。
  7. 前記第２の提示画像は、前記アバタの姿勢の頭部位置及び仰角と前記ユーザの姿勢の方位角に対応する画像である
    請求項１に記載の画像処理装置。
  8. 前記画像生成部は、前記ユーザの実姿勢と前記アバタの姿勢との姿勢差が第１の閾値以上である場合が所定回数または所定時間継続して発生したとき、前記アバタ視点画像と異なる第２の提示画像を生成する
    請求項１に記載の画像処理装置。
  9. 前記画像生成部は、さらに、前記ユーザの実姿勢と前記アバタの姿勢との姿勢差が第２の閾値以内である場合、前記アバタ視点画像に徐々に近づくように、前記第２の提示画像を生成する
    請求項１に記載の画像処理装置。
  10. 前記ユーザに相当するアバタの動作を指示する操作部をさらに備え、
    前記画像生成部は、前記操作部による指示を受けて前記アバタが動作することによって、前記ユーザの実姿勢と前記アバタの姿勢との姿勢差が生じる場合、前記アバタ視点画像と異なる第２の提示画像を生成する
    請求項１に記載の画像処理装置。
  11. 画像処理装置が、
    仮想世界上のユーザに相当するアバタの視点によるアバタ視点画像を、前記ユーザに提示する第１の提示画像として生成し、前記ユーザの動きを検出した検出結果に基づく前記ユーザの実姿勢と、前記アバタの姿勢との姿勢差が生じる場合、前記アバタ視点画像と異なる第２の提示画像を生成する
    ステップを含む画像処理方法。
  12. 仮想世界上のユーザに相当するアバタの視点によるアバタ視点画像を、前記ユーザに提示する第１の提示画像として生成し、前記ユーザの動きを検出した検出結果に基づく前記ユーザの実姿勢と、前記アバタの姿勢との姿勢差が生じる場合、前記アバタ視点画像と異なる第２の提示画像を生成する画像生成部と、
    前記第１の提示画像および前記第２の提示画像を表示する表示部と
    を備える画像システム。
JP2019501226A 2017-02-23 2018-02-09 画像処理装置、画像処理方法、および画像システム Active JP6984645B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017032021 2017-02-23
JP2017032021 2017-02-23
PCT/JP2018/004567 WO2018155233A1 (ja) 2017-02-23 2018-02-09 画像処理装置、画像処理方法、および画像システム

Publications (2)

Publication Number Publication Date
JPWO2018155233A1 true JPWO2018155233A1 (ja) 2020-01-23
JP6984645B2 JP6984645B2 (ja) 2021-12-22

Family

ID=63253685

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019501226A Active JP6984645B2 (ja) 2017-02-23 2018-02-09 画像処理装置、画像処理方法、および画像システム

Country Status (5)

Country Link
US (1) US10969861B2 (ja)
EP (1) EP3588447B1 (ja)
JP (1) JP6984645B2 (ja)
CN (1) CN110300994B (ja)
WO (1) WO2018155233A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6857795B2 (ja) 2017-12-28 2021-04-14 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、情報処理システム、及び、表示方法
JP6590324B2 (ja) * 2017-12-28 2019-10-16 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、情報処理システム、及び、表示方法
KR102284266B1 (ko) * 2018-12-13 2021-08-02 한국과학기술원 신경 불일치 모델을 고려한 가상현실 멀미 평가 방법 및 그 장치
JP7307568B2 (ja) * 2019-03-20 2023-07-12 任天堂株式会社 画像表示システム、画像表示プログラム、表示制御装置、および画像表示方法
JP6644928B1 (ja) * 2019-03-29 2020-02-12 株式会社ドワンゴ 配信サーバ、視聴者端末、配信者端末、配信方法、情報処理方法及びプログラム
JP6664778B1 (ja) * 2019-03-31 2020-03-13 アヘッド・バイオコンピューティング株式会社 情報処理装置、情報処理方法、および、プログラム
US11252371B2 (en) * 2019-12-13 2022-02-15 Korea Advanced Institute Of Science And Technology Apparatus and method for virtual reality sickness reduction based on virtual reality sickness assessment
US20240096033A1 (en) * 2021-10-11 2024-03-21 Meta Platforms Technologies, Llc Technology for creating, replicating and/or controlling avatars in extended reality

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008117042A (ja) * 2006-11-01 2008-05-22 Nomura Research Institute Ltd 仮想空間提供サーバ、仮想空間提供システム及びコンピュータプログラム
JP2010257081A (ja) * 2009-04-22 2010-11-11 Canon Inc 画像処理方法及び画像処理装置
WO2016002318A1 (ja) * 2014-06-30 2016-01-07 ソニー株式会社 情報処理装置及び情報処理方法、コンピューター・プログラム、並びに画像処理システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9245177B2 (en) * 2010-06-02 2016-01-26 Microsoft Technology Licensing, Llc Limiting avatar gesture display
JP2016031439A (ja) 2014-07-28 2016-03-07 ソニー株式会社 情報処理装置及び情報処理方法、コンピューター・プログラム、並びに画像表示システム
US10579109B2 (en) * 2014-09-19 2020-03-03 Sony Corporation Control device and control method
JP6421543B2 (ja) * 2014-10-17 2018-11-14 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
JP6298432B2 (ja) * 2015-10-19 2018-03-20 株式会社コロプラ 画像生成装置、画像生成方法、及び画像生成プログラム
US10808879B2 (en) * 2016-04-20 2020-10-20 Sony Interactive Entertainment Inc. Actuator apparatus
JP2017228044A (ja) * 2016-06-21 2017-12-28 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、画像生成システム、および画像生成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008117042A (ja) * 2006-11-01 2008-05-22 Nomura Research Institute Ltd 仮想空間提供サーバ、仮想空間提供システム及びコンピュータプログラム
JP2010257081A (ja) * 2009-04-22 2010-11-11 Canon Inc 画像処理方法及び画像処理装置
WO2016002318A1 (ja) * 2014-06-30 2016-01-07 ソニー株式会社 情報処理装置及び情報処理方法、コンピューター・プログラム、並びに画像処理システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
田中 里奈: "低信頼度の姿勢情報の置換による３ＤＣＧアバタの動作生成", 情報処理学会 研究報告 グラフィクスとＣＡＤ（ＣＧ） ２０１４−ＣＧ−１５５, vol. Vol.2014-CG-155 No.7, JPN6021032656, 21 June 2014 (2014-06-21), JP, pages 1 - 2, ISSN: 0004576383 *

Also Published As

Publication number Publication date
US20190384382A1 (en) 2019-12-19
CN110300994B (zh) 2023-07-04
EP3588447B1 (en) 2021-08-11
EP3588447A4 (en) 2020-02-26
WO2018155233A1 (ja) 2018-08-30
EP3588447A1 (en) 2020-01-01
US10969861B2 (en) 2021-04-06
JP6984645B2 (ja) 2021-12-22
CN110300994A (zh) 2019-10-01

Similar Documents

Publication Publication Date Title
JP6984645B2 (ja) 画像処理装置、画像処理方法、および画像システム
US10496158B2 (en) Image generation device, image generation method and non-transitory recording medium storing image generation program
AU2017200163B2 (en) Perception based predictive tracking for head mounted displays
US10409365B2 (en) Method of providing a virtual space image subjected to blurring processing based on detected displacement, and system therefor
US10013812B2 (en) Method and system for controlling a head-mounted display system
US10573062B2 (en) Method and system for providing a virtual space
JP6058855B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
US10394319B2 (en) Method of displaying an image, and system therefor
US11244427B2 (en) Image resolution processing method, system, and apparatus, storage medium, and device
WO2017033777A1 (ja) ヘッドマウントディスプレイシステムを制御するプログラム
JP2021531493A (ja) ダイナミックパネルマスキング
JP2017138973A (ja) 仮想空間の提供方法、およびプログラム
JP6121496B2 (ja) ヘッドマウントディスプレイシステムを制御するプログラム
JP6212666B1 (ja) 情報処理方法、プログラム、仮想空間配信システム及び装置
JP2019211864A (ja) コンピュータプログラム、情報処理装置および情報処理方法
KR102521557B1 (ko) 스크롤 입력에 기반하여 이미지 표시를 제어하는 전자 장치 및 방법
US20200241633A1 (en) Display device and display device control method
JP2018007227A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP7300569B2 (ja) 情報処理装置、情報処理方法およびプログラム
WO2024071208A1 (ja) 表示装置、表示方法及びプログラム
US20240112303A1 (en) Context-Based Selection of Perspective Correction Operations
JP2017097918A (ja) 画像表示方法及びプログラム
JP2023096844A (ja) プログラム、情報処理方法、及び情報処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211015

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211026

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211108

R151 Written notification of patent or utility model registration

Ref document number: 6984645

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151