WO2018051964A1 - 映像表示システム及び映像表示方法、映像表示プログラム - Google Patents

映像表示システム及び映像表示方法、映像表示プログラム Download PDF

Info

Publication number
WO2018051964A1
WO2018051964A1 PCT/JP2017/032784 JP2017032784W WO2018051964A1 WO 2018051964 A1 WO2018051964 A1 WO 2018051964A1 JP 2017032784 W JP2017032784 W JP 2017032784W WO 2018051964 A1 WO2018051964 A1 WO 2018051964A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
display
content
content video
computer
Prior art date
Application number
PCT/JP2017/032784
Other languages
English (en)
French (fr)
Inventor
家栄 曹
Original Assignee
株式会社スクウェア・エニックス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社スクウェア・エニックス filed Critical 株式会社スクウェア・エニックス
Priority to EP17850866.9A priority Critical patent/EP3514765A4/en
Priority to CN201780053699.XA priority patent/CN109643466A/zh
Priority to US16/332,663 priority patent/US11198063B2/en
Priority to JP2018539717A priority patent/JP6799603B2/ja
Publication of WO2018051964A1 publication Critical patent/WO2018051964A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Definitions

  • the present invention relates to a video display system, a video display method, and a video display program for a display that allow a content video to be viewed as a virtual reality space using the display.
  • the present invention relates to an image display system, an image display method, and an image display program for a display that can prevent motion sickness during viewing of 3D content that can be stereoscopically viewed using a 3D display.
  • a three-dimensional head-mounted display also referred to as a head-mounted display, Head Mounted Display, or HMD
  • video sickness similar to motion sickness such as headache, dizziness (abnormal balance), nausea, nausea, etc. occurs while the user is viewing this three-dimensional content.
  • the cause of this motion sickness has not been elucidated medically, but, for example, the difference between the sense of movement obtained by vision and the sense of movement obtained by other body sensations (for example, the body that should have moved visually) Is considered to lead to symptoms similar to motion sickness.
  • the cause of this motion sickness is considered to be, for example, that when the visual information and the balance information recognized by the semicircular canal are different, the brain misidentifies that it sees hallucinations due to the difference between the two information.
  • environmental conditions that are likely to cause motion sickness include, for example, environmental conditions where room lighting is insufficient and the surroundings are dark, environmental conditions that cause fatigue due to long-time play, and afterimages that can be seen on LCD TVs, etc.
  • Conditions environmental conditions that are too small (must be watched) or too large (it is easy to get illusion because it occupies the field of view)
  • Conditions environmental conditions with high movements (especially when a large vertical movement is likely to cause problems), environmental conditions with low frame rates, environmental conditions with high camera movements, and environmental conditions with distorted 3D modeling, An environment where you cannot get used to the game's operation or system and you can't move the character exactly in the direction you want, and the camera (viewpoint) suddenly pans and zooms in an unintended direction.
  • Conditions environmental conditions of the hero looking down game, environmental conditions where the hero moves in a direction different from the direction intended by the player, environmental conditions where the hero did not go in the direction that the player wants to face, There are environmental conditions in which the moving speed is different from the intended speed, and environmental conditions in which other people's play is being watched.
  • Patent Document 1 is cited as a document describing a technique for preventing this motion sickness.
  • the standard position of the eye or the eyelid with respect to the head mounted display of the viewer is measured, and the difference between the position of the eye or eye of the viewer with respect to the head mounted display while viewing the content and the standard position is determined.
  • An image processing technique is described in which image processing is performed on a three-dimensional image so that the three-dimensional image displayed on the head mounted display is rotated or translated in accordance with the detected positional deviation.
  • Patent Document 1 is a technique for preventing motion sickness due to the mounting displacement of the head-mounted display, and copes with motion sickness due to afterimage, illusion, intense movement, and other factors as described above. There was a problem that the possibility of video sickness was high.
  • An object of the present invention is to solve the above-described problems of the prior art, and a video display system for a display that can prevent video sickness that occurs during viewing of content that is a virtual reality space using the display, and An image display method and an image display program are provided.
  • a video display system, a video display method, and a video display program include a computer that displays content video as a virtual reality space on a display unit of a display, and the computer
  • the display unit displays three-dimensional video data in which a content video region and a fixed background image region surrounding at least a part of the content video region are set on the display unit.
  • a video display system, a video display method, and a video display program display 3D video data in which a fixed background image region surrounding at least a part of a content video region is set on a display unit of a display, thereby viewing virtual content. Video sickness that occurs can be prevented.
  • the video display system targeted by the present invention provides a virtual reality space content such as a three-dimensional image to a user using a three-dimensional head mounted display (HMD) (corresponding to an example of a display).
  • HMD head mounted display
  • this system includes a computer 10 in which content data such as a three-dimensional image and application software for HMD are installed, a display 12 that is a normal image output destination of the computer 10, and the computer 10 A keyboard 13 and a mouse 14 which are input devices for operating the game, a head mounted display 20 mounted on the head of the user 15, and a controller (not shown) dedicated to the game when the content data is a game.
  • the computer 10 is configured by hardware such as a CPU, a memory, an SSD, a hard disk device, a GPU, and various interfaces, like an ordinary personal computer, and an OS and various application software stored in a storage unit of the hard disk device and the like.
  • the CPU executes data processing based on various data.
  • content data such as a three-dimensional image and application software for HMD are installed in the storage means, and the computer 10 and the head mounted display 20 work together to provide a three-dimensional view to the user 15.
  • a user visual field screen 21 that is image content data is displayed, and the user 15 can move closer to the object included in the three-dimensional image, move away, look around, and so on.
  • the head mounted display 20 includes an input interface 122, an output interface 130, a backlight 132, a communication control unit 140, a network adapter 142, an antenna 144, a storage unit 150, and a GPS unit. 161, a wireless unit 162, an attitude sensor 164, an external input / output terminal interface 170, an external memory 172, a clock unit 180, a mount display device (display unit) 190, and a control unit 160.
  • These functional blocks can also be realized in various forms by hardware only, software only, or a combination thereof.
  • the controller 160 is a main processor that processes and outputs signals such as image signals and sensor signals, commands and data.
  • the input interface 122 receives an operation signal or a setting signal from an input button or the like and supplies it to the control unit 160.
  • the output interface 130 receives the image signal from the control unit 160 and causes the display device 90 to display it.
  • the backlight 132 supplies a backlight to the liquid crystal display that constitutes the display device 90.
  • the communication control unit 140 transmits data input from the control unit 160 to the outside by wired or wireless communication via the network adapter 142 or the antenna 144.
  • the communication control unit 140 also receives data from the outside via wired or wireless communication via the network adapter 142 or the antenna 144 and outputs the data to the control unit 160.
  • the storage unit 150 temporarily stores data, parameters, operation signals, and the like processed by the control unit 160.
  • the GPS unit 161 receives position information from a GPS satellite according to an operation signal from the controller 160 and supplies the position information to the controller 160.
  • the radio unit 162 receives position information from the radio base station according to an operation signal from the control unit 160 and supplies the position information to the control unit 160.
  • the posture sensor 164 detects posture information such as the orientation and inclination of the main body 110 of the head mounted display 20.
  • the posture sensor 164 is realized by appropriately combining a gyro sensor, an acceleration sensor, an angular acceleration sensor, and the like, and includes a detection function for detecting the direction in which the user's line of sight moves.
  • the external input / output terminal interface 170 is an interface for connecting peripheral devices such as a USB (Universal Serial Bus) controller.
  • the external memory 172 is an external memory such as a flash memory, and the clock unit 180 sets time information according to a setting signal from the control unit 160 and supplies time data to the control unit 160.
  • the video display system to which the video display program for the 3D head mounted display according to the present embodiment is applied is a video sickness (headache / dizziness (balance) (Symptoms similar to motion sickness such as nausea and nausea)).
  • This video sickness is a tertiary view of a state in which the bookshelf 41 and the television 43 are arranged in the room shown in the upper part of FIG. 6 as a visual field screen for the user, and the person 42 stands between them.
  • a posture sensor including a gyro sensor, an acceleration sensor, an angular acceleration sensor, etc. suddenly left the screen.
  • 3D image data using a 3D head-mounted display is prepared with 3D video data 510 having a wide left and right width as shown in FIG.
  • the software provides the user with the range of the viewer visual field image 520 extracted from the 3D video data 510, and the range of the viewer visual field image 520 on the left side of the 3D video data 510 is rapidly increased to the right end side.
  • the video display system to which the video display program and method for the 3D head mounted display according to the first embodiment of the present invention is applied for example, only the 3D video data 300 shown in FIG.
  • a modified quadrilateral content video area 50a as viewer visual field data is arranged in the 3D video data 500, and the entire periphery of the content video area 50a is arranged.
  • the fixed background image area 80a is displayed so as to surround (the entire surrounding area / the entire surrounding area).
  • the fixed background image area 80a is enclosed like a wide frame fixed to the content video area 50a.
  • the fixed background image area 80a is preferably a predetermined pattern pattern or a background image close to a single color that can be clearly visually distinguished from white, black, or other single color or content video area 50a.
  • the viewer visual field image displayed in the content video area 50a is the entire content video image that is preset to enter the user's visual field in an arbitrary scene of the content, and a part of the entire content video image. It is not extracted.
  • the entire content video is a single frame of a comic in which the content is divided into frames, it is displayed in the content video area 50a as a viewer field of view video in units of frames. It is not part of a single frame video.
  • the area ratio of the fixed background image area 80b included in the 3D video data 500 is 20 so that the fixed background image area 80b recognizes that the image is fixed in the viewer's field of view. % To about 50%, preferably about 30% in order to make the content area relatively large. That is, the area ratio occupied by the fixed background image region is about 20% to 50% of the total area of the fixed background image region and the content video region, and preferably about 30% in order to make the content region relatively large.
  • the example in which the content video area 50a is a modified quadrilateral and the fixed background image area 80b around the content video area 50a is the remaining deformed polygonal area has been described.
  • the shape of the fixed background image region is not limited to this.
  • the shape of the fixed background image area according to the present invention is displayed so that the content video area 50a is a parallelogram and a thick fixed background image area 80b surrounding the parallelogram is arranged as shown in FIG. You may do it.
  • the shape of the content video area may be circular, trapezoidal, polygonal, elliptical, etc.
  • the shape of the fixed background image area only needs to surround the fixed background image area.
  • It may be a rectangular quadrilateral arranged only on the lower side, only the upper side, or only the left and right sides, or may have an arc shape. In these shapes, the position occupied on the 3D video display screen is biased, for example, 30 % Occupancy is desirable.
  • the video display system arranges the fixed background image area in addition to the content video area, and the drawing video is generated by the GPU of the computer 10 or the control unit 160 of the head mounted display 20. Done.
  • the video display system shows the standard content video area shape, the standard fixed background image area shape, and the minimum ratio of the area of the fixed background image area for each fixed frame ID (identification number) in FIG.
  • the initial condition value is set in the video form management table. Initially, 3D video data is displayed based on the initial condition value, and a user who has experienced motion sickness inputs “video motion sickness occurrence” using a keyboard or controller.
  • the software learns individual body conditions for each user by specifying a fixed frame ID (identification number) to increase or decrease the minimum ratio of the area of the fixed background image area corresponding to the user, and automatically detects the fixed background image area.
  • a function for performing adjustment such as expansion may be added. This adjustment is not limited to the image ratio of the fixed background image area, and may be configured to adjust the shape, pan speed, frame rate, etc. of the fixed background image area. Alternatively, it is stored in the storage means of the head mounted display 20.
  • This video form management table stores, for example, only the standard content video area shape shown in FIG. 5 described above, the standard fixed background image area shape, and the minimum ratio of the area of the fixed background image area. May be configured to display 3D video data each time content is displayed or when designated.
  • a fixed background image area is arranged so as to surround the one content video area.
  • the invention is not limited to this, and as shown in FIGS. 7 to 9, a plurality of content video areas are arranged in the 3D video data, and a fixed background image area is formed so as to surround the plurality of content video areas. You may comprise so that it may arrange.
  • the content video area according to this embodiment is a comic based on a paper medium (which may be digital data of the same expression method as that of a paper medium) in which the content is composed of a plurality of sheets of paper and proceeds according to the development of the story.
  • a paper medium which may be digital data of the same expression method as that of a paper medium
  • the computer executes the drawing function as follows, thereby changing the fixed background image area to prevent motion sickness.
  • the content video area 50e displaying a window and the content video lying on the bed, which is the divided content video area 50d, are displayed on the upper left side of the 3D video data 500.
  • the fixed background image region 80c is arranged so as to surround the quadrilateral of the two content video regions 50d and 50e.
  • a content video area 50e (a content video in which a large star looks out of the window) and a content video area 50f (a content video in which a boy stands up from the bed) are displayed on the upper left side of the 3D video data 500.
  • a fixed background image area 80d covering the periphery of the two content video areas 50e and 50f.
  • the content video area 50g (a front content video of a boy looking out from the window) and the content video area 50h (a boy looking out from the window) are viewed from the upper left of the 3D video data 500.
  • Content video and a fixed background image region 80e covering the periphery of the two content video regions 50g and the content video region 50h.
  • the video display system has a function of dividing and displaying a content video area based on the progress of the content video, and a content video area divided into a plurality based on the progress direction of the content video.
  • the video display system to which the video display program which is a moving image for a three-dimensional head mounted display is applied has been described.
  • the present invention is also applicable to a video display system to which a video display program for games is applied. can do.
  • the story of the game is branched in various ways by the selection operation according to the progress of the game of the player, and the VR display video for each branched development scene also changes.
  • the video display system uses the display area ratio of the fixed background image region that surrounds the entire periphery of the content video region (the entire periphery / the entire periphery) for each image to be displayed according to the development and progress of the game.
  • the video form management table is set as shown in FIG.
  • the fixed background image region may be configured to be displayed by selecting a fixed frame ID (identification number).
  • the present video display system sets the display area ratio of the fixed background image area to be high for game content video that has a fast game development (video panning speed) and is likely to cause video sickness. ) Is relatively late, and the display area ratio of the fixed background image region is set to be relatively low in a game content video that is relatively unlikely to cause video sickness. And this video display system responds to the game development when a user who feels video sickness inputs “video sickness occurrence” using a keyboard or controller or when detected by a biological information sensor and video sickness detection software.
  • a fixed background ID area may be displayed by selecting a fixed frame ID according to the degree and frequency of video sickness caused by game content video.
  • the present embodiment is, for example, a game video display system for a display including a game computer that displays a game content video as a virtual reality space on a display unit of the display by a change in development according to the progress of the game.
  • a video form management table in which a display area ratio of a fixed background image area surrounding a part or the whole of a game video area displayed according to the development and progress of the game is set for each fixed frame ID on the computer;
  • “Video sickness occurrence” is input or based on a biological information sensor
  • “Video sickness occurrence” is provided with video motion sickness detection software, and the display unit is fixed to surround the game content video area and at least a part of the content video area 3D video data with a background image area set up by a user who has experienced video sickness
  • the video motion sickness detection software detects “video motion sickness occurrence” based on the biometric information sensor, it operates to display on the display unit with reference to the fixed frame ID set in the video form management table. Also good.
  • the fixed background image area is preferably white or black or other single color or a predetermined pattern pattern that can be clearly visually distinguished from the game content video area, as in the previous embodiment, and the shape of the game content video area is circular or trapezoidal.
  • the shape of the fixed background image area may be a shape surrounding part or all of the fixed background image area, and only the lower side or only the upper side of the 3D video data. Alternatively, it may be a rectangular quadrilateral arranged only on either of the left and right sides or an arc shape.
  • the present invention can also be expressed as follows.
  • a video display system for a display including a computer that displays a content video as a virtual reality space on a display unit of the display
  • a video display system for a display in which the computer displays on the display unit 3D video data in which a content video region and a fixed background image region surrounding at least a part of the content video region are set on the display unit.
  • the computer changes the fixed background image area based on the content video.
  • the computer divides the content video area into a plurality of parts based on the progress of the content video.
  • a video display program for a display using a computer that displays a content video as a virtual reality space on a display unit of the display A display video display program for causing the computer to execute a function of displaying, on the display unit, 3D video data in which a content video region and a fixed background image region surrounding at least a part of the content video region are set on the display unit .

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】ディスプレイを用いた三次元コンテンツの視聴中に発生する映像酔いを防止すること。 【解決手段】コンテンツ映像を仮想現実空間としてディスプレイの表示部に表示するコンピュータを含み、該コンピュータが、ディスプレイの表示部にコンテンツ映像領域（５０ａ）と、該コンテンツ映像領域（５０ａ）を囲う固定背景画像領域（８０ａ）を設定した三次元映像データ（５００）を表示部に表示するディスプレイ用の映像表示システム及び映像表示プログラム。

Description

映像表示システム及び映像表示方法、映像表示プログラム
　本発明は、ディスプレイを用いてコンテンツ映像を仮想現実空間として見ることができるディスプレイ用の映像表示システム及び映像表示方法、映像表示プログラムに関する。特に本発明は、特に三次元ディスプレイを用いて立体視可能な三次元コンテンツ視聴中の映像酔いを防止することができるディスプレイ用の映像表示システム及び映像表示方法、映像表示プログラムに関する。
　近年、三次元ヘッドマウントディスプレイ（頭部装着ディスプレイ、Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ、ＨＭＤともいう）を用いて立体視可能なゲーム等の仮想現実空間である三次元コンテンツを視聴することが行われている。この三次元コンテンツは、ユーザが視聴中に、頭痛・眩暈（平衡感覚の異常）・吐き気・悪心等の乗り物酔いに似た映像酔いが起こることが知られている。この映像酔いが起こる原因は、医学的には解明されていないが、例えば、視覚によって得られる動きとそれ以外の身体感覚によって得られる動きの感覚の相違（例えば視覚上では動いているはずなのに身体は実際には動いていない感覚の相違）によって乗り物酔いと似た症状に至ると考えられている。
　この映像酔いの原因は、例えば、視覚情報と三半規管で認知されるバランス情報が異なると、脳が両情報の相違により幻覚を見ていると誤認してしまうことが原因の一つとして考えられる。この理由は、人間が幻覚に陥る原因として最も高い可能性は服毒であり、人間の進化の過程で生存本能として幻覚＝毒＝嘔吐という生理反応が起こっているのではないかと推測される。長時間の乗船・搭乗・長時間ゲームをプレイし続けると酔いが収まるのも脳の学習機能であると考えられている。
　また、映像酔いが発生しやすい環境条件としては、例えば、室内照明が不十分で周辺が暗い環境条件と、長時間プレイによる疲れが発生する環境条件と、液晶テレビなどに見られる残像が残る環境条件と、画面が小さすぎる（注視する必要がある）もしくは大きすぎる（視界を占有する為錯覚し易い）環境条件と、視界が悪い（天井が低い、上の視界を遮る物がある場合）環境条件と、動きが激しい（特に上下動が大きいと問題が起き易い）環境条件と、フレームレートが低い環境条件と、カメラの動きが激しい環境条件と、三次元モデリングが歪んでいる環境条件と、そのゲームの操作やシステムに慣れられず、思った方向に正確にキャラクターを動かせない環境条件と、カメラ（視点）がいきなり意図しない方向にパン・ズームする環境条件と、主人公見下ろし型のゲームの環境条件と、主人公がプレイヤーの意図する方向と違う方向に移動してしまう環境条件と、プレイヤーが向きたい方向に主人公が向かなかった環境条件と、主人公の移動速度が意図した速度と違う環境条件と、他人のプレイを観ている環境条件が挙げられる。
　この映像酔いを防止する技術が記載された文献としては、下記の特許文献１が挙げられる。この特許文献１には、視聴者のヘッドマウントディスプレイに対する目頭または目じりの標準位置を計測しておき、コンテンツ視聴中の視聴者のヘッドマウントディスプレイに対する目頭または目じりの位置と標準位置との差を位置ずれとして検出し、検出した位置ずれに応じてヘッドマウントディスプレイに表示される三次元映像が回転または平行移動するように三次元映像に対する画像処理を行う画像処理技術が記載されている。
国際公開第２０１２／１７２１１９号
　前記特許文献１に記載された画像処理技術は、視聴者がヘッドマウントディスプレイの頭部への装着位置がずれている場合に位置ずれに応じてヘッドマウントディスプレイに表示される三次元映像が回転または平行移動するように画像表示を制御することによって映像酔いを防止することができる。
　しかしながら、特許文献１に記載された技術はヘッドマウントディスプレイの装着ずれに起因する映像酔いを防止する技術であって、前述したような残像・錯覚・激しい動きその他の要因による映像酔いには対応することができず、映像酔いが発生する可能性が高いという課題があった。
　本発明の目的は、前述の従来技術による課題を解決することであり、ディスプレイを用いて仮想現実空間であるコンテンツの視聴中に発生する映像酔いを防止することができるディスプレイ用の映像表示システム及び映像表示方法、映像表示プログラムを提供することである。
　非限定的な観点によると、本発明の一実施形態に係る映像表示システム及び映像表示方法、映像表示プログラムは、コンテンツ映像を仮想現実空間としてディスプレイの表示部に表示するコンピュータを含み、該コンピュータが、前記表示部にコンテンツ映像領域と、該コンテンツ映像領域の少なくとも一部を囲う固定背景画像領域を設定した三次元映像データを表示部に表示することを主な特徴とする。
映像表示システム及び映像表示方法、映像表示プログラムは、コンテンツ映像領域の少なくとも一部を囲う固定背景画像領域を設定した三次元映像データをディスプレイの表示部に表示することによって、仮想コンテンツの視聴中に発生する映像酔いを防止することができる。
本発明の第１実施例による三次元コンテンツのユーザ視野画面例を示す図である。 本発明の第２実施例による三次元コンテンツのユーザ視野画面例を示す図である。 本発明の対象となる三次元ヘッドマウントディスプレイを用いてコンテンツの視聴構成のハードウェア例を示す図である。 本発明の対象となる三次元ヘッドマウントディスプレイのハードウェア例を示す図である。 本発明の実施例による三次元画像データ及び視聴者視野データを説明するための図である。 本実施例による固定背景画像領域の管理テーブル例を示す図である。 従来技術による三次元コンテンツのユーザ視野画面例を示す図である。 本発明の第４実施例による三次元コンテンツのユーザ視野画面例を示す図である。 本発明の第４実施例による三次元コンテンツのユーザ視野画面例を示す図である。 本発明の第４実施例による三次元コンテンツのユーザ視野画面例を示す図である。
　以下、本発明の一実施例による三次元ディスプレイ用の映像表示方法及びプログラムを適用する映像表示システムの詳細を図面を参照して説明する。
　［映像表示システムの説明］
　本発明の対象とする映像表示システムは、三次元の画像等の仮想現実空間用のコンテンツをユーザに対して三次元ヘッドマウントディスプレイ（ＨＭＤ）（ディスプレイの一例に相当）を用いて提供する。このシステムは、例えば、図３Ａに示す如く、三次元の画像等のコンテンツデータ及びＨＭＤ用アプリケーションソフトウェアをインストールしたコンピュータ１０と、該コンピュータ１０の通常の画像出力先であるディスプレイ１２と、該コンピュータ１０を操作するための入力デバイスであるキーボード１３及びマウス１４と、ユーザ１５の頭部に装着されるヘッドマウントディスプレイ２０と、該コンテンツデータがゲームの際にはゲーム専用のコントローラ（図示せず）とから構成される。
　前記コンピュータ１０は、一般のパーソナルコンピュータ同様に、ＣＰＵ、メモリ、ＳＳＤ、ハードディスク装置、ＧＰＵ、各種インフェース等のハードウェアにより構成され、該ハードディスク装置等の記憶手段に記憶したＯＳ及び各種アプリケーションソフトウェア並びに各種データに基づいてＣＰＵがデータ処理を実行する。このコンピュータ１０は、本実施例の場合、記憶手段に三次元の画像等のコンテンツデータ及びＨＭＤ用アプリケーションソフトウェアがインストールされ、コンピュータ１０及びヘッドマウントディスプレイ２０が共働してユーザ１５に対して三次元画像コンテンツデータであるユーザ視野画面２１を表示し、ユーザ１５が頭部を動かすことによって三次元画像に含まれる物体に対して接近や遠ざかり・見回し等を行うことができるように構成されている。
　前記ヘッドマウントディスプレイ２０は、図３Ｂに示す如く、入力インタフェース１２２と、出力インタフェース１３０と、バックライト１３２と、通信制御部１４０と、ネットワークアダプタ１４２と、アンテナ１４４と、記憶部１５０と、ＧＰＳユニット１６１と、無線ユニット１６２と、姿勢センサ１６４と、外部入出力端子インタフェース１７０と、外部メモリ１７２と、時計部１８０と、マウント表示装置（表示部）１９０と、制御部１６０とを備える。これらの機能ブロックも、ハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現することができる。
　前記制御部１６０は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。入力インタフェース１２２は、入力ボタンなどから操作信号や設定信号を受け付け、制御部１６０に供給する。出力インタフェース１３０は、制御部１６０から画像信号を受け取り、表示装置９０に表示させる。バックライト１３２は、表示装置９０を構成する液晶ディスプレイにバックライトを供給する。
　前記通信制御部１４０は、ネットワークアダプタ１４２またはアンテナ１４４を介して、有線または無線通信により、制御部１６０から入力されるデータを外部に送信する。通信制御部１４０は、また、ネットワークアダプタ１４２またはアンテナ１４４を介して、有線または無線通信により、外部からデータを受信し、制御部１６０に出力する。
　前記記憶部１５０は、制御部１６０が処理するデータやパラメータ、操作信号などを一時的に記憶する。前記ＧＰＳユニット１６１は、制御部１６０からの操作信号にしたがって、ＧＰＳ衛星から位置情報を受信して制御部１６０に供給する。無線ユニット１６２は、制御部１６０からの操作信号にしたがって、無線基地局から位置情報を受信して制御部１６０に供給する。前記姿勢センサ１６４は、ヘッドマウントディスプレイ２０の本体部１１０の向きや傾きなどの姿勢情報を検出する。姿勢センサ１６４は、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現され、ユーザの視線が動く方向を検知する検知機能を備える。
　前記外部入出力端子インタフェース１７０は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）コントローラなどの周辺機器を接続するためのインタフェースである。外部メモリ１７２は、フラッシュメモリなどの外部メモリであり、前記時計部１８０は、制御部１６０からの設定信号によって時間情報を設定し、時間データを制御部１６０に供給する。
　［映像酔いの説明］
　本実施例による三次元ヘッドマウントディスプレイ用の映像表示プログラムを適用する映像表示システムは、前述したように三次元ヘッドマウントディスプレイを用いた三次元コンテンツ視聴中に発生する映像酔い（頭痛・眩暈（平衡感覚の異常）・吐き気・悪心等の乗り物酔いに似た症状）を防止又は低減するものである。この映像酔いとは、ユーザへの視野画面として例えば図６上段に示した室内に本棚４１及びテレビ４３が配置され、これに間に人物４２が起立している状態を正面右斜めから見た三次元画像データＳ１を表示させた状態から、ユーザ１５が頭をゆっくり動かしたときにジャイロセンサ・加速度センサ・角加速度センサなどを含む姿勢センサにより頭部の動きを検出したソフトウェアが急激に画面を左方（矢印Ａ方向）にパンして人物４２の左後方から見た三次元映像データＳｎに移動させた場合、この三次元映像データＳ１から三次元映像データＳｎの間には多数の三次元映像データが存在し、この連続表示される映像を見たユーザ１５がめまい等の映像酔いを感じるためと思われる。特に三次元ヘッドマウントディスプレイを用いた三次元画像データは、仮想空間を三次元的にユーザに見せるために、例えば図４に示す如き左右の幅が広大な三次元映像データ５１０を用意しておき、ソフトウェアが、この三次元映像データ５１０から一部を抽出した視聴者視野映像５２０の範囲をユーザに提供し、三次元映像データ５１０の左側の視聴者視野映像５２０の範囲を右端側に急激に動くように表示させた場合、ユーザに映像酔いを発生させる可能性が大きい。
　［第１実施例］
　さて、本発明の第１実施例による三次元ヘッドマウントディスプレイ用の映像表示プログラム及び方法を適用する映像表示システムは、例えば、前述した図６に示す三次元映像データ３００のみを視聴者視野データとしてユーザに提供していた従来とは異なり、図１に示す如く、三次元映像データ５００中に視聴者視野データである変形四辺形のコンテンツ映像領域５０ａを配置し、該コンテンツ映像領域５０ａの周囲全体（周囲全面／周囲全辺）を囲うように固定背景画像領域８０ａを配置するように表示する。該固定背景画像領域８０ａは、コンテンツ映像領域５０ａに対して固定された幅広枠の如く囲うものである。この固定背景画像領域８０ａは、例えば、白又は黒色他の単色あるいはコンテンツ映像領域５０ａと明確に目視識別可能な所定パターン模様又は単色に近い背景画像が好ましい。
　なお、本発明におけるコンテンツ映像領域５０ａに表示する視聴者視野映像は、コンテンツの任意のシーンにおけるユーザの視野に入るように予め設定されたコンテンツ映像全体であって、当該コンテンツ映像全体の一部を抽出したものではない。例えば、この全体コンテンツ映像とは、コンテンツがコマ割りされた漫画の一コマの場合、コマ単位に視聴者視野映像としてコンテンツ映像領域５０ａに表示するものであって、例えば本来表示しなければならない漫画一コマ映像の一部ではない。
　また、前記三次元映像データ５００中に含まれる固定背景画像領域８０ｂの全体との面積比は、固定背景画像領域８０ｂが視聴者の視野内において画像が固定されていることを認識させるために２０％から５０％程度、好ましくはコンテンツ領域を比較的大きくするため３０％程度が好ましい。すなわち、固定背景画像領域及びコンテンツ映像領域の合計面積に比して固定背景画像領域が占める面積比率が２０％から５０％程度、好ましくはコンテンツ領域を比較的大きくするため３０％程度が好ましい。
　［第２実施例］
　本実施例による映像表示システムは、コンテンツ映像領域５０ａを変形四辺形とし、このコンテンツ映像領域５０ａの周囲の固定背景画像領域８０ｂを残りの変形多角形領域とした例を説明したが、本発明による固定背景画像領域の形状はこれに限られるものではない。例えば、本発明による固定背景画像領域の形状は、図２に示す如く、コンテンツ映像領域５０ａを平行四辺形とし、この平行四辺形を囲う太枠形状の固定背景画像領域８０ｂを配置するように表示しても良い。このコンテンツ映像領域の形状は、円形・台形・多角形・楕円形等であっても良く固定背景画像領域の形状はこれら固定背景画像領域を囲む形状であれば良く、他には三次元映像データの下辺のみ又は上辺のみ又は左右辺の何れかのみに配置した長方四辺形とすることや円弧状であっても良く、これら形状の場合は三次元映像表示画面に占める位置が偏るため例えば３０％以上の占有率が望ましい。
　このように本発明による映像表示システムは、コンテンツ映像領域の他に固定背景画像領域を配置するものであって、この描画映像の生成は、コンピュータ１０のＧＰＵ又はヘッドマウントディスプレイ２０の制御部１６０によって行われる。
　［第３実施例］
　また、前記実施例においては、コンテンツ映像領域と固定背景画像領域の形状及び配置を固定する例を説明したが、映像酔いはユーザの個体差があり、またユーザの疲れ具合や慣れによって変化することが考えられる。このため本発明による映像表示システムは、固定枠ＩＤ（識別番号）毎に標準のコンテンツ映像領域形状と、標準の固定背景画像領域形状と、固定背景画像領域の面積の最小比率とを図５の如く初期条件値として映像形態管理テーブルに設定しておき、当初は初期条件値により三次元映像データ表示を行い、映像酔いを感じたユーザがキーボード又はコントローラを用いて「映像酔い発生」を入力したとき、ソフトウェアがユーザ対応に固定背景画像領域の面積の最小比率を固定枠ＩＤ（識別番号）を指定して増減することによってユーザ毎の個別身体条件を学習し、自動的に固定背景画像領域を拡げる等の調整を行う機能を追加しても良い。この調整は、固定背景画像領域の画像比率に限られるものではなく、固定背景画像領域の形状・パン速度やフレームレート他を調整するように構成しても良く、前記映像形態管理テーブルはコンピュータ１０又はヘッドマウントディスプレイ２０の記憶手段に記憶される。
　この映像形態管理テーブルは、例えば前述の図５に示した標準のコンテンツ映像領域形状と、標準の固定背景画像領域形状と、固定背景画像領域の面積の最小比率とのみを格納しておき、ソフトウェアがコンテンツを表示する毎又は指定されたときに参照して三次元映像データ表示を行うように構成しても良い。
　［第４実施例］
　前述の実施例１及び２においては三次元映像データ中に１つのコンテンツ映像領域を配置し、この１つのコンテンツ映像領域の周囲を囲うように固定背景画像領域を配置する例を説明したが、本発明はこれに限られることなく、図７から図９ら示す如く、三次元映像データ中に複数のコンテンツ映像領域を配置し、この複数のコンテンツ映像領域の周囲を囲うように固定背景画像領域を配置するように構成しても良い。
　この実施例によるコンテンツ映像領域は、コンテンツが複数枚の紙面から成り、ストーリの展開に応じて進行する紙媒体（紙媒体と同様な表現方式のディジタルデータであっても良い）に基づいた漫画であり、紙面が複数コマから構成される場合、コンピュータが次のように描画機能を実行することによって、固定背景画像領域を変化させて映像酔いを防止する。
　（１）コンテンツを構成する紙面１枚のコンテンツ映像を複数のコマ単位に分割した複数のコンテンツ映像領域に分割する機能。
　（２）この分割した複数のコンテンツ映像領域を三次元映像データ内に接触しないように配置する機能。
　（３）複数のコンテンツ映像領域の周りを固定背景画像領域が囲うように配置する機能。
　（４）コンテンツ映像に基づいて前記固定背景画像領域を変化させる機能。
　（５）コンテンツ映像の進行に基づいてコンテンツ映像領域を複数に分割して表示する機能。
　（６）コンテンツ映像の進行方向に基づいて複数に分割したコンテンツ映像領域を順次表示する機能。
　（７）コンテンツ映像の進行方向に基づいてコンテンツ映像に含まれるオブジェクトが動く方向に分割したコンテンツ映像領域を順次表示する機能。
　（８）ヘッドマウントディスプレイによって検出されるユーザの視線が動く方向に分割したコンテンツ映像領域を順次表示する機能。
　（９）コンテンツ映像の進行に基づいて、固定背景画像領域の大きさを変化させる機能。
　これを具体的に説明すると、図７に示す映像例では、分割したコンテンツ映像領域５０ｄであるベッドに少年が横たわるコンテンツ映像と窓を表示するコンテンツ映像領域５０ｅを三次元映像データ５００の左上側に配置し、この２つのコンテンツ映像領域５０ｄ及びコンテンツ映像領域５０ｅの四辺形周囲を囲う固定背景画像領域８０ｃを配置する。
　図８に示す映像例では、三次元映像データ５００の左上側にコンテンツ映像領域５０ｅ（窓の外に大きな星のようなものが見えるコンテンツ映像）及びコンテンツ映像領域５０ｆ（少年がベッドから立ち上がるコンテンツ映像）を配置し、この２つのコンテンツ映像領域５０ｅ及びコンテンツ映像領域５０ｆの四辺形周囲を覆う固定背景画像領域８０ｄを配置する。
　図９に示す映像例では、三次元映像データ５００の左上側にコンテンツ映像領域５０ｇ（窓から外を見る少年の正面コンテンツ映像）及びコンテンツ映像領域５０ｈ（窓から外を見る少年を後ろら見たコンテンツ映像）を配置し、この２つのコンテンツ映像領域５０ｇ及びコンテンツ映像領域５０ｈの四辺形周囲を覆う固定背景画像領域８０ｅを配置する。
　このように本実施例による映像表示システムは、例えば、コンテンツ映像の進行に基づいてコンテンツ映像領域を複数に分割して表示する機能と、コンテンツ映像の進行方向に基づいて複数に分割したコンテンツ映像領域を順次表示する機能と、コンテンツ映像の進行方向に基づいてコンテンツ映像に含まれるオブジェクトが動く方向に分割したコンテンツ映像領域を順次表示する機能と、コンテンツ映像の進行に基づいて固定背景画像領域の大きさを変化させる機能とを任意に実行することによって、コンテンツの進行に応じて固定背景画像領域を変化させ、より映像酔いを防止することができる。
　[第５実施例]
　前述の実施例においては、三次元ヘッドマウントディスプレイ用の動画である映像表示プログラムを適用する映像表示システムについて説明したが、本発明は、ゲーム用の映像表示プログラムを適用する映像表示システムにも適用することができる。このゲーム用の映像表示プログラムは、プレイヤーのゲーム進行に応じた選択操作によってゲームのストーリが多岐にわたって分岐し、この分岐した展開場面毎のＶＲ表示映像も変化する。
　このため本実施例による映像表示システムは、ゲームの展開及び進行毎に応じて表示する映像毎にコンテンツ映像領域の周囲全体（周囲全面／周囲全辺）を囲う固定背景画像領域の表示面積比率を設定して映像形態管理テーブルを図５に示した如く設定しておき、映像酔いを感じたユーザがキーボード又はコントローラを用いて「映像酔い発生」を入力したとき又は生体情報センサ（例えば、血行循環にマイヤー波と呼ばれる周期約１０秒の低周波数の揺らぎによる脈波・心拍数・血圧変動を検出するスマートウォッチ）及び生体情報センサに基づく「映像酔い発生」を映像酔い検知ソフトウェアにより検知したとき、前記固定背景画像領域を固定枠ＩＤ（識別番号）を選択して表示させるように構成しても良い。
　例えば、本映像表示システムは、ゲーム展開（映像パン速度）が早く映像酔いが発生する可能性が高いゲームコンテンツ映像においては固定背景画像領域の表示面積比率を高く設定し、ゲーム展開（映像パン速度）が比較的遅く映像酔いが発生する可能性が比較的少ないゲームコンテンツ映像においては固定背景画像領域の表示面積比率を比較的低く設定しておく。そして、本映像表示システムは、映像酔いを感じたユーザがキーボード又はコントローラを用いて「映像酔い発生」を入力したときや生体情報センサ及び映像酔い検知ソフトウェアにより検知したとき、前記ゲーム展開に応じたゲームコンテンツ映像による映像酔いが発生する程度・頻度に応じて固定枠ＩＤを選択して固定背景画像領域を表示させるように構成しても良い。
　本実施例は、例えば、ゲーム進行に応じた展開の変化によりゲームコンテンツ映像を仮想現実空間としてディスプレイの表示部に表示するゲーム用コンピュータを含むディスプレイ用のゲーム映像表示システムであって、該ゲーム用コンピュータに、ゲームの展開及び進行毎に応じて表示するゲーム映像領域の周囲の一部又は全体を囲う固定背景画像領域の表示面積比率を固定枠ＩＤ毎に設定した映像形態管理テーブルと、ユーザが「映像酔い発生」を入力したときや生体情報センサに基づいて「映像酔い発生」を映像酔い検知ソフトウェアを備え、前記表示部にゲームコンテンツ映像領域と、該コンテンツ映像領域の少なくとも一部を囲う固定背景画像領域を設定した三次元映像データを、映像酔いを感じたユーザが「映像酔い発生」を入力したときや生体情報センサに基づいて「映像酔い発生」を映像酔い検知ソフトウェアが検知したとき、前記映像形態管理テーブルに設定した固定枠ＩＤを参照して表示部に表示させるように動作しても良い。
　また、前記固定背景画像領域は、前述の実施例同様に、ゲームコンテンツ映像領域と明確に目視識別可能な白又は黒色他の単色又は所定パターン模様が好ましく、ゲームコンテンツ映像領域の形状は円形・台形・多角形・楕円形等であっても良く、固定背景画像領域の形状は固定背景画像領域を一部又は全部を囲む形状であれば良く、他には三次元映像データの下辺のみ又は上辺のみ又は左右辺の何れかのみに配置した長方四辺形とすることや円弧状であっても良い。
　また、本発明は、次に挙げるように表すこともできる。
　［特徴１］
　コンテンツ映像を仮想現実空間としてディスプレイの表示部に表示するコンピュータを含むディスプレイ用の映像表示システムにおいて、
　該コンピュータが、前記表示部にコンテンツ映像領域と、該コンテンツ映像領域の少なくとも一部を囲う固定背景画像領域を設定した三次元映像データを表示部に表示するディスプレイ用の映像表示システム。
　［特徴２］
　前記コンピュータが、前記コンテンツ映像に基づいて、前記固定背景画像領域を変化させる特徴１に記載のディスプレイ用の映像表示システム。
　［特徴３］
　前記コンピュータが、前記コンテンツ映像の進行に基づいて、前記コンテンツ映像領域を複数に分割して表示する特徴１または２に記載のディスプレイ用の映像表示システム。
　［特徴４］
　前記コンピュータが、前記コンテンツ映像の進行方向に基づいて、該複数に分割したコンテンツ映像領域を順次表示する特徴１から３何れか一に記載のディスプレイ用の映像表示システム。
　［特徴５］
　前記コンピュータが、前記コンテンツ映像の進行方向に基づいて、前記コンテンツ映像に含まれるオブジェクトが動く方向に、分割したコンテンツ映像領域を順次表示する特徴１から４のいずれか一つに記載のディスプレイ用の映像表示システム。
　［特徴６］
　前記コンピュータが、前記ディスプレイによって検出されるユーザの視線が動く方向に、前記分割したコンテンツ映像領域を順次表示する特徴１から５のいずれか一つに記載のディスプレイ用の映像表示システム。
　［特徴７］
　前記コンピュータが、前記コンテンツ映像の進行に基づいて、前記固定背景画像領域の大きさを変化させる特徴１から６のいずれか一つに記載のディスプレイ用の映像表示システム。
　［特徴８］
　コンテンツ映像を仮想現実空間としてディスプレイの表示部に表示するコンピュータを用いたディスプレイ用の映像表示方法において、
　該コンピュータに、前記表示部にコンテンツ映像領域と、該コンテンツ映像領域の少なくとも一部を囲う固定背景画像領域を設定した三次元映像データを表示部に表示させるディスプレイ用の映像表示方法。
　［特徴９］
　コンテンツ映像を仮想現実空間としてディスプレイの表示部に表示するコンピュータを用いたディスプレイ用の映像表示プログラムであって、
　該コンピュータに、前記表示部にコンテンツ映像領域と、該コンテンツ映像領域の少なくとも一部を囲う固定背景画像領域を設定した三次元映像データを表示部に表示する機能を実行させるディスプレイ用の映像表示プログラム。
１０　コンピュータ、１３　キーボード、１４　マウス、１５　ユーザ、
１２　ディスプレイ、２０　ヘッドマウントディスプレイ、２１　ユーザ視野画面、
５０ａ　コンテンツ映像領域、８０ａ　固定背景画像領域、
８０ｂ　固定背景画像領域、３００　三次元映像データ、
５００　三次元映像データ、５１０　三次元映像データ、５２０　視聴者視野映像

 

Claims (16)

  1. 　オブジェクトを含むコンテンツ映像を仮想現実空間としてディスプレイの表示部に表示するコンピュータを含むディスプレイ用の映像表示システムにおいて、
    　該コンピュータが、前記表示部にコンテンツ映像領域と、該コンテンツ映像領域の少なくとも一部を囲う固定背景画像領域を設定した三次元映像データを表示部に表示するディスプレイ用の映像表示システム。
  2. 　前記コンピュータが、前記コンテンツ映像に基づいて、前記固定背景画像領域を変化させる請求項１に記載のディスプレイ用の映像表示システム。
  3. 　前記コンピュータが、前記コンテンツ映像の進行に基づいて、前記コンテンツ映像領域を複数に分割して表示する請求項１または２に記載のディスプレイ用の映像表示システム。
  4. 　前記コンピュータが、前記コンテンツ映像の進行方向に基づいて、該複数に分割したコンテンツ映像領域を順次表示する請求項３記載のディスプレイ用の映像表示システム。
  5. 　前記コンピュータが、前記コンテンツ映像の進行方向に基づいて、前記コンテンツ映像に含まれるオブジェクトが動く方向に、分割したコンテンツ映像領域を順次表示する請求項３に記載のディスプレイ用の映像表示システム
  6. 　前記コンピュータが、前記コンテンツ映像の進行方向に基づいて、前記コンテンツ映像に含まれるオブジェクトが動く方向に、分割したコンテンツ映像領域を順次表示する請求項４に記載のディスプレイ用の映像表示システム
  7. 　前記コンピュータが、ユーザの視線が動く方向を検知する検知機能を備え、該検知機能によって検出されるユーザの視線が動く方向に、前記分割したコンテンツ映像領域を順次表示する請求項３に記載のディスプレイ用の映像表示システム。
  8. 　前記コンピュータが、ユーザの視線が動く方向を検知する検知機能を備え、該検知機能によって検出されるユーザの視線が動く方向に、前記分割したコンテンツ映像領域を順次表示する請求項４に記載のディスプレイ用の映像表示システム。
  9. 　前記コンピュータが、前記コンテンツ映像の進行に基づいて、前記固定背景画像領域の大きさを変化させる請求項１に記載のディスプレイ用の映像表示システム。
  10. 　前記コンピュータが、前記コンテンツ映像の進行に基づいて、前記固定背景画像領域の大きさを変化させる請求項２に記載のディスプレイ用の映像表示システム。
  11. 　前記コンピュータが、前記コンテンツ映像の進行に基づいて、前記固定背景画像領域の大きさを変化させる請求項３に記載のディスプレイ用の映像表示システム。
  12. 　前記コンピュータが、前記コンテンツ映像の進行に基づいて、前記固定背景画像領域の大きさを変化させる請求項４に記載のディスプレイ用の映像表示システム。
  13. 　前記コンピュータが、前記コンテンツ映像の進行に基づいて、前記固定背景画像領域の大きさを変化させる請求項５に記載のディスプレイ用の映像表示システム。
  14. 　前記コンピュータが、前記コンテンツ映像の進行に基づいて、前記固定背景画像領域の大きさを変化させる請求項６に記載のディスプレイ用の映像表示システム。
  15. 　コンテンツ映像を仮想現実空間としてディスプレイの表示部に表示するコンピュータを用いたディスプレイ用の映像表示方法において、
    　該コンピュータに、前記表示部にコンテンツ映像領域と、該コンテンツ映像領域の少なくとも一部を囲う固定背景画像領域を設定した三次元映像データを表示部に表示させるディスプレイ用の映像表示方法。
  16. 　コンテンツ映像を仮想現実空間としてディスプレイの表示部に表示するコンピュータを用いたディスプレイ用の映像表示プログラムであって、
    　該コンピュータに、前記表示部にコンテンツ映像領域と、該コンテンツ映像領域の少なくとも一部を囲う固定背景画像領域を設定した三次元映像データを表示部に表示する機能を実行させるディスプレイ用の映像表示プログラム。

     
PCT/JP2017/032784 2016-09-14 2017-09-12 映像表示システム及び映像表示方法、映像表示プログラム WO2018051964A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP17850866.9A EP3514765A4 (en) 2016-09-14 2017-09-12 VIDEO DISPLAY SYSTEM, VIDEO DISPLAY METHOD AND VIDEO DISPLAY PROGRAM
CN201780053699.XA CN109643466A (zh) 2016-09-14 2017-09-12 影像显示系统以及影像显示方法、影像显示程序
US16/332,663 US11198063B2 (en) 2016-09-14 2017-09-12 Video display system, video display method, and video display program
JP2018539717A JP6799603B2 (ja) 2016-09-14 2017-09-12 映像表示システム及び映像表示方法、映像表示プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016179877 2016-09-14
JP2016-179877 2016-09-14

Publications (1)

Publication Number Publication Date
WO2018051964A1 true WO2018051964A1 (ja) 2018-03-22

Family

ID=61618766

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/032784 WO2018051964A1 (ja) 2016-09-14 2017-09-12 映像表示システム及び映像表示方法、映像表示プログラム

Country Status (5)

Country Link
US (1) US11198063B2 (ja)
EP (1) EP3514765A4 (ja)
JP (1) JP6799603B2 (ja)
CN (1) CN109643466A (ja)
WO (1) WO2018051964A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7086307B1 (ja) * 2021-04-09 2022-06-17 三菱電機株式会社 酔い調整装置、酔い調整方法、及び酔い調整プログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6801136B1 (ja) * 2020-05-14 2020-12-16 エヌ・ティ・ティ・コミュニケーションズ株式会社 遠隔制御システムとその遠隔作業装置、映像処理装置およびプログラム
US11682136B2 (en) 2021-01-07 2023-06-20 Htc Corporation Display method, display system and non-transitory computer readable storage medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0821975A (ja) * 1994-07-06 1996-01-23 Olympus Optical Co Ltd 頭部装着型映像表示システム
US20020099257A1 (en) * 2001-01-21 2002-07-25 Parker Donald E. Alleviating motion, simulator, and virtual environmental sickness by presenting visual scene components matched to inner ear vestibular sensations
WO2007086431A1 (ja) * 2006-01-25 2007-08-02 Matsushita Electric Industrial Co., Ltd. 映像表示装置
WO2012172119A2 (en) 2012-05-08 2012-12-20 Lonza Ltd Method for the preparation of medetomidine
JP2014146871A (ja) * 2013-01-28 2014-08-14 Olympus Corp ウェアラブル型表示装置及びプログラム

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3676391B2 (ja) * 1994-04-27 2005-07-27 オリンパス株式会社 頭部装着式映像表示装置
JPH08220470A (ja) * 1995-02-20 1996-08-30 Fujitsu General Ltd ヘッドマウントディスプレイ装置
JP4300818B2 (ja) * 2002-11-25 2009-07-22 日産自動車株式会社 車載表示装置および携帯表示装置
WO2008032739A1 (fr) * 2006-09-12 2008-03-20 Panasonic Corporation Dispositif de formation d'image de contenu
US8290338B2 (en) * 2009-05-27 2012-10-16 Panasonic Corporation Recording medium, playback device, encoding device, integrated circuit, and playback output device
US8692845B2 (en) * 2010-10-28 2014-04-08 Eastman Kodak Company Head-mounted display control with image-content analysis
EP2505224A1 (en) * 2011-03-31 2012-10-03 Alcatel Lucent Method and system for avoiding discomfort and/or relieving motion sickness when using a display device in a moving environment
JP5908894B2 (ja) * 2011-04-28 2016-04-26 パナソニック株式会社 記録媒体、再生装置、及び記録装置
JP5414946B2 (ja) 2011-06-16 2014-02-12 パナソニック株式会社 ヘッドマウントディスプレイおよびその位置ずれ調整方法
NZ751593A (en) * 2013-03-15 2020-01-31 Magic Leap Inc Display system and method
US9645395B2 (en) * 2013-03-15 2017-05-09 Mark Bolas Dynamic field of view throttling as a means of improving user experience in head mounted virtual environments
WO2014156033A1 (en) * 2013-03-26 2014-10-02 Seiko Epson Corporation Head-mounted display device, control method of head-mounted display device, and display system
US20140375663A1 (en) * 2013-06-24 2014-12-25 Alexander Pfaffe Interleaved tiled rendering of stereoscopic scenes
KR102233223B1 (ko) * 2014-01-20 2021-03-29 소니 주식회사 화상 표시 장치 및 화상 표시 방법, 화상 출력 장치 및 화상 출력 방법과, 화상 표시 시스템
US20160170482A1 (en) * 2014-12-15 2016-06-16 Seiko Epson Corporation Display apparatus, and control method for display apparatus
CN107430785B (zh) * 2014-12-31 2021-03-30 Alt有限责任公司 用于显示三维对象的方法和系统
KR102471302B1 (ko) * 2015-07-07 2022-11-28 삼성전자 주식회사 헤드 마운트 디스플레이 장치
JP6641763B2 (ja) * 2015-08-03 2020-02-05 セイコーエプソン株式会社 表示システム
US10139902B2 (en) * 2015-09-16 2018-11-27 Colopl, Inc. Method and apparatus for changing a field of view without synchronization with movement of a head-mounted display
US20170228931A1 (en) 2016-02-08 2017-08-10 Google Inc. Limited field of view in virtual reality
US10175487B2 (en) * 2016-03-29 2019-01-08 Microsoft Technology Licensing, Llc Peripheral display for head mounted display device
US10171866B2 (en) * 2016-03-29 2019-01-01 Seiko Epson Corporation Display system, display device, head-mounted display device, display control method, control method for display device, and computer program
US10372205B2 (en) * 2016-03-31 2019-08-06 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US20180144521A1 (en) * 2016-11-22 2018-05-24 Qualcomm Incorporated Geometric Work Scheduling of Irregularly Shaped Work Items
KR102697559B1 (ko) * 2016-12-22 2024-08-23 삼성전자주식회사 영상 표시 방법, 저장 매체 및 전자 장치
WO2019120575A1 (en) * 2017-12-22 2019-06-27 Huawei Technologies Co., Ltd. Vr 360 video for remote end users
US11270492B2 (en) * 2019-06-25 2022-03-08 Arm Limited Graphics processing systems

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0821975A (ja) * 1994-07-06 1996-01-23 Olympus Optical Co Ltd 頭部装着型映像表示システム
US20020099257A1 (en) * 2001-01-21 2002-07-25 Parker Donald E. Alleviating motion, simulator, and virtual environmental sickness by presenting visual scene components matched to inner ear vestibular sensations
WO2007086431A1 (ja) * 2006-01-25 2007-08-02 Matsushita Electric Industrial Co., Ltd. 映像表示装置
WO2012172119A2 (en) 2012-05-08 2012-12-20 Lonza Ltd Method for the preparation of medetomidine
JP2014146871A (ja) * 2013-01-28 2014-08-14 Olympus Corp ウェアラブル型表示装置及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3514765A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7086307B1 (ja) * 2021-04-09 2022-06-17 三菱電機株式会社 酔い調整装置、酔い調整方法、及び酔い調整プログラム
WO2022215258A1 (ja) * 2021-04-09 2022-10-13 三菱電機株式会社 酔い調整装置、酔い調整方法、及び酔い調整プログラム

Also Published As

Publication number Publication date
US20210268379A1 (en) 2021-09-02
EP3514765A4 (en) 2020-04-22
EP3514765A1 (en) 2019-07-24
CN109643466A (zh) 2019-04-16
JPWO2018051964A1 (ja) 2019-07-25
US11198063B2 (en) 2021-12-14
JP6799603B2 (ja) 2020-12-16

Similar Documents

Publication Publication Date Title
AU2024201230B2 (en) Methods for manipulating objects in an environment
EP3097552B1 (en) Environmental interrupt in a head-mounted display and utilization of non field of view real estate
EP3486707B1 (en) Perception based predictive tracking for head mounted displays
CN106062826B (zh) 图像生成装置以及图像生成方法
US9779702B2 (en) Method of controlling head-mounted display system
JP6097377B1 (ja) 画像表示方法及びプログラム
EP3588447B1 (en) Image processing device, image processing method, and image system
EP3117290B1 (en) Interactive information display
US20100128112A1 (en) Immersive display system for interacting with three-dimensional content
US10607398B2 (en) Display control method and system for executing the display control method
KR20210037746A (ko) 머리-장착형 디스플레이에서의 메뉴 내비게이션
US10277814B2 (en) Display control method and system for executing the display control method
EP3683656A1 (en) Virtual reality (vr) interface generation method and apparatus
JP6799603B2 (ja) 映像表示システム及び映像表示方法、映像表示プログラム
US20210082187A1 (en) Haptic simulation of motion in virtual reality
KR102521557B1 (ko) 스크롤 입력에 기반하여 이미지 표시를 제어하는 전자 장치 및 방법
CN106257394B (zh) 用于头戴显示器的三维用户界面
JP2017045296A (ja) ヘッドマウントディスプレイシステムを制御するプログラム
JP2018195172A (ja) 情報処理方法、情報処理プログラム及び情報処理装置
JP6275809B1 (ja) 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム
KR102224057B1 (ko) 관전 영상의 자동제어를 이용한 부하 감소 방법 및 이를 이용한 헤드 마운티드 디스플레이
JP2017097918A (ja) 画像表示方法及びプログラム
KR102719606B1 (ko) 이미지 표시 방법, 저장 매체 및 전자 장치
JP2018028682A (ja) 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム
JP2018120521A (ja) 仮想空間を提供するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17850866

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018539717

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017850866

Country of ref document: EP

Effective date: 20190415