WO2017056892A1 - 画像生成装置、画像生成方法、及び画像生成プログラム - Google Patents

画像生成装置、画像生成方法、及び画像生成プログラム Download PDF

Info

Publication number
WO2017056892A1
WO2017056892A1 PCT/JP2016/076307 JP2016076307W WO2017056892A1 WO 2017056892 A1 WO2017056892 A1 WO 2017056892A1 JP 2016076307 W JP2016076307 W JP 2016076307W WO 2017056892 A1 WO2017056892 A1 WO 2017056892A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
frequency
display
area
user
Prior art date
Application number
PCT/JP2016/076307
Other languages
English (en)
French (fr)
Inventor
篤 猪俣
Original Assignee
株式会社コロプラ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社コロプラ filed Critical 株式会社コロプラ
Publication of WO2017056892A1 publication Critical patent/WO2017056892A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the present invention relates to an image generation device, an image generation method, and an image generation program.
  • Patent Document 1 additional information is displayed in a display area determined according to content characteristics.
  • the present invention has been made in view of the above points, and one of the purposes thereof is an image generation apparatus, an image generation method, and an image generation apparatus that allow additional information to be displayed in an area that a user does not often see. And providing an image generation program.
  • one aspect of the present invention provides image generation means for generating an image to be displayed on a display, and statistics based on a frequency at which a user views each part of the image displayed on the display.
  • Frequency statistical means for creating data
  • low frequency area identifying means for identifying an area in the image in which the frequency is below a threshold value as a low frequency area based on the statistical data
  • the image in the low frequency area And an image output device that outputs the image and the additional image to the display.
  • Another aspect of the present invention is an image generation method executed by a computer, the step of generating an image to be displayed on a display, the step of outputting the image to the display, and the user performing the display Creating statistical data based on the frequency of viewing each part of the image displayed on the screen, and identifying, based on the statistical data, an area in the image where the frequency is below a threshold as a low-frequency area And generating an additional image for superimposing and arranging the image in the low-frequency area, and outputting the additional image to the display.
  • a computer generates an image to be displayed on a display, a step of outputting the image to the display, and each of the images displayed on the display by a user. Creating statistical data based on the frequency of viewing a portion; identifying an area in the image where the frequency is below a threshold based on the statistical data as a low frequency area; and An image generation program for executing the steps of generating an additional image to be superimposed on an image and outputting the additional image to the display.
  • FIG. 1 is a hardware configuration diagram of an image display system 100 according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a functional configuration of the image generation apparatus 200 according to an embodiment of the present invention.
  • FIG. 3 shows an example of statistical data created by the frequency statistics unit 232.
  • FIG. 4 shows an example of statistical data created by the frequency statistics unit 232.
  • FIG. 5 shows an example of a low frequency area.
  • FIG. 6 is a flowchart showing a processing procedure of the image generation apparatus 200 according to an embodiment of the present invention.
  • Image generation means for generating an image to be displayed on a display, frequency statistical means for generating statistical data based on the frequency with which a user views each part of the image displayed on the display, and the statistical data Based on the above, a low frequency area identifying means for identifying an area in the image in which the frequency is below a threshold as a low frequency area, and an additional image for superimposing the image on the low frequency area are generated.
  • An image generation apparatus comprising: an additional image generation unit configured to output the image and the additional image to the display.
  • (Item 2) The image generating device according to item 1, wherein the display is configured as a head mounted display, and the image is a virtual reality image presented to the user wearing the head mounted display.
  • the additional image generation means generates the additional image according to the current gaze direction of the user detected by the gaze direction detection means or the current head direction of the user detected by the sensor. Item 5.
  • the low-frequency area identifying means is configured such that an area in the image in which the frequency is lower than a first threshold is a first low-frequency area, the frequency is higher than the first threshold, and is greater than the first threshold.
  • Each of the areas in the image that is less than a second threshold value that is greater than the second threshold value is identified as a second low-frequency area, and the additional image generation unit superimposes the first additional image on the first low-frequency area by superimposing the image on the first low-frequency area.
  • the image generating device according to any one of items 1 to 5, wherein the image generating device is arranged and arranges a second additional image having an attribute value different from that of the first additional image by superimposing the image on the second low-frequency area. .
  • An image generation method executed by a computer, the step of generating an image to be displayed on a display, the step of outputting the image to the display, and the user displaying the image displayed on the display Creating statistical data based on the frequency of viewing each part; identifying an area in the image where the frequency is below a threshold based on the statistical data as a low frequency area; and An image generation method comprising: generating an additional image to be arranged so as to be superimposed on the image; and outputting the additional image to the display.
  • (Item 8) Generating an image to be displayed on a display on a computer, outputting the image to the display, and statistics based on a frequency at which a user views each part of the image displayed on the display Creating data, identifying, based on the statistical data, an area in the image where the frequency is below a threshold as a low-frequency area, and placing the image on the low-frequency area so as to overlap with the image
  • An image generation program for executing an additional image generation step and a step of outputting the additional image to the display.
  • FIG. 1 is a hardware configuration diagram of an image display system 100 according to an embodiment of the present invention.
  • the image display system 100 includes a head-mounted display (hereinafter referred to as HMD) 120 and an image generation apparatus 200.
  • HMD head-mounted display
  • the HMD 120 and the image generation apparatus 200 are electrically connected by a wired cable 150 and can communicate with each other.
  • a wireless connection may be used.
  • the HMD 120 is a display device that is worn on the head of the user 160 and used.
  • the HMD 120 includes a display 122, an eye tracking device (hereinafter referred to as ETD) 124, and a sensor 126. Only one of the ETD 124 and the sensor 126 may be provided alternatively.
  • the HMD 120 may further include a speaker (headphone) and a camera (not shown).
  • Display 122 is configured to present an image to the field of view of user 160 wearing HMD 120.
  • the display 122 can be configured as a non-transmissive display.
  • the external scene of the HMD 120 is blocked from the view of the user 160 and only the image displayed on the display 122 is delivered to the eyes of the user 160.
  • an image generated using computer graphics is displayed on the display 122.
  • An example of an image by computer graphics is a virtual reality image obtained by imaging a virtual reality space (for example, a world created by a computer game).
  • the real world may be represented by computer graphics based on position coordinate data such as actual topography and objects in the real world.
  • an image captured from the viewpoint of the user 160 using a camera (not shown) installed in the HMD 120 may be displayed on the display 122.
  • the ETD 124 is configured to track the movement of the eyeball of the user 160 and detect in which direction the line of sight of the user 160 is directed.
  • the ETD 124 includes an infrared light source and an infrared camera.
  • the infrared light source irradiates infrared rays toward the eyes of the user 160 wearing the HMD 120.
  • the infrared camera captures an image of the eyes of the user 160 irradiated with infrared rays. Infrared rays are reflected on the surface of the eyes of the user 160, but the reflectance of the infrared rays differs between the pupil and a portion other than the pupils.
  • the difference in infrared reflectance appears as the brightness of the image.
  • the user 160 A pupil is identified in the eye image of the user's eye, and the direction of the line of sight of the user 160 is detected based on the position of the identified pupil.
  • the line-of-sight direction of the user 160 indicates which part of the image displayed on the display 122 the user 160 is gazing at.
  • the sensor 126 is a sensor for detecting which direction the head of the user 160 wearing the HMD 120 is facing.
  • the sensor 126 for example, any one of a magnetic sensor, an angular velocity sensor, an acceleration sensor, or a combination thereof may be used.
  • the sensor 126 is built in the HMD 120 and outputs a value (magnetism, angular velocity, or acceleration value) corresponding to the direction or movement of the HMD 120.
  • the direction of the head of the user 160 wearing the HMD 120 is calculated by processing the output value from the sensor 126 by an appropriate method.
  • the orientation of the head of the user 160 can be used to change the display image of the display 122 so as to follow the movement when the user 160 moves the head.
  • the direction of the head of the user 160 is a rough guide for a portion of the display image on the display 122 that is relatively likely to be viewed by the user 160. Indicates.
  • the sensor 126 may be a sensor provided outside the HMD 120.
  • the sensor 126 may be an infrared sensor that is separate from the HMD 120. By using this infrared sensor to detect an infrared reflective marker provided on the surface of the HMD 120, the orientation of the head of the user 160 wearing the HMD 120 can be specified.
  • the image generation apparatus 200 is an apparatus for generating an image to be displayed on the HMD 120.
  • the image generating apparatus 200 includes at least a processor 202, a memory 204, and a user input interface 208.
  • the image generation apparatus 200 may further include a network interface (not shown) for communicating with other apparatuses via a network, for example, as other components.
  • the image generation device 200 can be realized as, for example, a personal computer, a game console, a smartphone, a tablet terminal, or the like.
  • the memory 204 stores at least an operating system and an image generation program.
  • the operating system is a computer program for controlling the overall operation of the image generation apparatus 200.
  • the image generation program is a computer program for the image generation apparatus 200 to realize each function of image generation processing described later.
  • the memory 204 can also store data generated by the operation of the image generating apparatus 200 temporarily or permanently. Specific examples of the memory 204 include a ROM (Read Only Memory), a RAM (Random Access Memory), a hard disk, a flash memory, and an optical disk.
  • the processor 202 is configured to read a program stored in the memory 204 and execute processing according to the program. When the processor 202 executes an image generation program stored in the memory 204, each function of image generation processing described later is realized.
  • the processor 202 includes a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).
  • the user input interface 208 is configured to receive an input for operating the image generation apparatus 200 from a user of the image display system 100.
  • Specific examples of the user input interface 208 are a game controller, a touch pad, a mouse, a keyboard, and the like.
  • FIG. 2 is a block diagram showing a functional configuration of the image generation apparatus 200 according to an embodiment of the present invention.
  • the image generation device 200 includes a storage unit 220 and a processing unit 230.
  • the processing unit 230 further includes an image generation unit 231, a frequency statistics unit 232, a low frequency area identification unit 233, an additional image generation unit 234, and an image output unit 235.
  • the storage unit 220 corresponds to the memory 204 shown in FIG.
  • the processing unit 230 and the units 231 to 235 included in the processing unit 230 are realized by the processor 202 shown in FIG. 1 reading out and executing the image generation program in the memory 204. Represents the function of.
  • the image generation unit 231 generates an image to be displayed on the HMD 120.
  • the image generation unit 231 acquires predetermined data from the storage unit 220 and generates an image by computer graphics processing based on the acquired data.
  • the image generation unit 231 may generate a virtual reality image that allows the user 160 wearing the HMD 120 to recognize a virtual reality space by a computer game.
  • the virtual reality image represents a scene that the user can see in the virtual reality space.
  • the virtual reality image generated by the image generation unit 231 includes characters appearing in computer games, landscapes such as buildings and trees, interior furniture and wall interiors, items falling on the ground, and user operations. A part of the body of an avatar (hand or foot) or an object (gun or sword) held by the avatar by a hand.
  • the image generation part 231 is good also as generating the computer graphics image which reproduced the real world based on the actual topographical data etc. of the real world. Furthermore, the image generated by the image generation unit 231 is not based on computer graphics processing, but may be, for example, a video image taken from the viewpoint of the user 160 by an external camera installed in the HMD 120.
  • the image generation unit 231 may further change the image based on the output value from the sensor 126.
  • the image generated by the image generation unit 231 is an image representing a state in which the user's field of view in the virtual reality space changes following the movement of the head of the user 160 indicated by the output value from the sensor 126. Good.
  • the image generated by the image generation unit 231 is output to the HMD 120 via the image output unit 235 and displayed on the display 122.
  • the frequency statistics unit 232 creates statistical data based on the frequency with which the user 160 wearing the HMD 120 views each part of the image displayed on the display 122.
  • the statistical data indicates which part of the image displayed on the display 122 is often seen and which part is not often seen.
  • the frequency statistics unit 232 creates statistical data on the frequency with which the user 160 views each part of the image based on the line-of-sight direction of the user 160 detected by the ETD 124.
  • the frequency statistics unit 232 may create statistical data of the frequency with which the user 160 views each part of the image based on the head direction of the user 160 detected by the sensor 126. This will be specifically described with reference to FIGS.
  • FIG. 3 shows a display image 520 displayed on the display 122 of the HMD 120.
  • Display image 520 includes a plurality of partial regions 501.
  • the partial area 501 is a small image range formed by dividing the display image 520 vertically and horizontally in a grid pattern.
  • the user 160 wearing the HMD 120 gazes at a specific partial area 501 in the display image 520 at a certain moment, and gazes at another partial area 501 at another moment.
  • the line of sight of the user 160 moves back and forth between different partial areas 501 of the display image 520 with the passage of time.
  • the line-of-sight direction of the user 160 is detected by the ETD 124 and input to the frequency statistics unit 232.
  • any number from “0” to “5” is written.
  • This number represents the frequency value of the partial area 501 where the number is written.
  • the frequency value “0” indicates that the user 160 does not see the partial area 501 at all.
  • the frequency value “1” indicates that the user 160 has viewed the partial area 501 with a slight frequency
  • the frequency value “5” indicates that the user 160 has viewed the partial area 501 with the highest frequency.
  • the intermediate frequency values “2”, “3”, and “4” indicate the frequency obtained by appropriately dividing the frequency values “1” and “5”.
  • the frequency statistics unit 232 collects the line-of-sight direction of the user 160 input from the ETD 124 for a predetermined time period, and assigns a frequency value to each partial region 501 according to the collection result. For example, the frequency statistics unit 232 assigns a frequency value “5” to the partial region 501 classified into the group with the longest stay time of the line of sight of the user 160 in the time period, and then the group with the longest stay time A frequency value “4” is assigned to the partial region 501 classified as “1”. Similarly, other frequency values are assigned.
  • FIG. 4 shows a region 540 that is wider than the range 530 that is displayed on the display 122 of the HMD 120 at a time.
  • the region 540 represents the entire scene that the user can see around him / her in a virtual reality space created by a computer game, for example.
  • the display range 530 represents a limited range of scenes that enter the field of view when the user faces a specific direction in the virtual reality space, and corresponds to the range of the display image 520 in FIG. For example, when the user 160 moves the head in various directions, the display range 530 moves around the area 540 following the movement of the head.
  • the region 540 includes a plurality of partial regions 501 similar to those described in FIG.
  • the user 160 wearing the HMD 120 turns his head in a certain direction in a certain time zone. While the user 160 turns his head in the direction, a frequency value is assigned to the partial area 501 included in the display range 530 at the same time as described in FIG. In addition, the user 160 turns his head in another direction in another time zone. While the user 160 turns his head in the other direction, a frequency value is similarly given to the partial area 501 included in the display range 530 at that time.
  • a frequency value is given to each partial area 501 based on the total time that the user's 160 gaze stays in the overlapping partial area 501. .
  • the frequency value of each partial area 501 may be determined based on the orientation of the head of the user 160. For example, when the user 160 moves the head, the orientation of the head of the user 160 is detected by the sensor 126, and an image of the display range 530 corresponding to the orientation is generated by the image generation unit 231. At this time, the actual line of sight of the user 160 may be present at any part in the generated image, but here, as one assumption, the user 160 is not allowed to have a predetermined fixed part within the display range 530 (for example, the display range 530).
  • the frequency statistics unit 232 determines the frequency value of each partial region 501 on the assumption that the direction of the fixed portion of the display range 530 is the line-of-sight direction of the user 160. For example, the frequency statistics unit 232 tracks how the display range 530 moves in the region 540 over a predetermined time period, and the partial region 501 having a long time overlapping the center of the display range 530 has a large frequency value and display range. A small frequency value is given to the partial region 501 that overlaps with the center of 530 for a short time.
  • the frequency values of the partial areas 501 are statistically collected based on the viewing direction or the head direction of the user 160.
  • the collected frequency values of each partial area 501 constitute statistical data.
  • the statistical data may be stored in the storage unit 220.
  • the low frequency area identifying unit 233 identifies the low frequency area based on the statistical data created by the frequency statistical unit 232.
  • the low frequency area is a partial area of the image displayed on the display 122 of the HMD 120 that is less frequently seen by the user 160.
  • the low-frequency area identification unit 233 compares the frequency value of each partial area 501 constituting the statistical data with a predetermined threshold value, and if the frequency value of a certain partial area 501 falls below the threshold value as a result of the comparison, The partial area 501 is determined as a part of the low frequency area.
  • FIG. 5 shows an example of a low-frequency area. This example corresponds to the example of the frequency value of each partial area 501 shown in FIG.
  • the low-frequency area 570 illustrated in FIG. 5 is an area including the partial region 501 to which the frequency value “0” or “1” is assigned in FIG. 3.
  • the partial region 501 to which the frequency value “0”, “1”, or “2” is assigned may be a low-frequency area.
  • the low frequency area identification unit 233 may classify the low frequency area into a plurality of stages according to the frequency value. For example, the low-frequency area identification unit 233 sets the partial region 501 having the frequency value “0” or “1” as the first low-frequency area, and sets the partial region 501 having the frequency value “2” or “3” as the first. 2 It is good also as a low frequency area.
  • the additional image generation unit 234 generates an additional image to be arranged in the low frequency area.
  • the generated additional image is output to the HMD 120 via the image output unit 235 and is displayed on the display 122 so as to be superimposed on the image from the image generation unit 231.
  • the additional image can be used for, for example, presenting an advertisement in a virtual reality space or displaying an enemy character or a useful item in a computer game. Since the additional image is displayed in a low-frequency area where the frequency seen by the user 160 is low, the user 160 can visually recognize the image from the image generation unit 231 without being significantly affected by the additional image.
  • the user's 160 attention is given only to the image from the image generation unit 231 (an area other than the low-frequency area). And can be directed to low frequency areas.
  • the fun of the game by displaying rare items with high value or enemy characters that can be scored high when defeated as additional images in a low-frequency area.
  • the additional image generation unit 234 may dynamically change the additional image according to the current gaze direction and head direction of the user 160. For example, a character (a ghost or a mole of a mole-tapping game) as an additional image is first displayed in the low-frequency area. Based on the input from the ETD 124 or the sensor 126, the additional image generation unit 234 determines whether or not the user 160 is about (or is turning) the line of sight (or head) to the low-frequency area.
  • a character a ghost or a mole of a mole-tapping game
  • the additional image generation unit 234 displays the additional image of the character, for example, when the character escapes from the line of sight of the user 160 (the ghost disappears from the view, or Change to an additional image that can be hidden.
  • the degree to which the character escapes may be adjusted according to the degree to which the user's line of sight approaches the low frequency area.
  • the additional image generation unit 234 also adds a different additional image (first addition) for each classified low frequency area (first low frequency area, second low frequency area, etc.).
  • An image, a second additional image, etc. may be generated.
  • the attribute value of the first additional image displayed in the first low frequency area is different from the attribute value of the second additional image displayed in the second low frequency area.
  • the frequency seen by the user 160 is more In the first low-frequency area, which is a low area, a rare item with higher value and an enemy character that can obtain a higher score when defeated are displayed as a first additional image, thereby further enhancing the fun of the game. Is possible.
  • FIG. 6 is a flowchart showing a processing procedure of the image generation apparatus 200 according to an embodiment of the present invention.
  • the image generation unit 231 of the image generation apparatus 200 generates an image to be displayed on the HMD 120.
  • the image output unit 235 of the image generation device 200 outputs the image generated by the image generation unit 231 to the HMD 120. Thereby, an image is displayed on the display 122 of the HMD 120.
  • the frequency statistics unit 232 of the image generation apparatus 200 creates statistical data based on the frequency with which the user 160 wearing the HMD 120 views each part of the image displayed on the display 122.
  • the frequency statistic unit 232 of the image generation apparatus 200 determines the frequency of each partial region based on the direction of the line of sight of the user 160 detected by the ETD 124 or the direction of the head of the user 160 detected by the output value from the sensor 126. Determine the value.
  • the low frequency area identifying unit 233 of the image processing apparatus 200 identifies a low frequency area that is less frequently seen by the user 160 based on the statistical data created by the frequency statistical unit 232.
  • the additional image generation unit 234 of the image generation device 200 generates an additional image to be arranged in the low-frequency area.
  • step S612 the image output unit 235 of the image generation apparatus 200 outputs the additional image generated by the additional image generation unit 234 to the HMD 120. Thereby, the additional image is displayed in the low frequency area so as to be superimposed on the image on the display 122 of the HMD 120.
  • Image Display System 120 Head Mount Display (HMD) 122 Display 124 Eye tracking device (ETD) 126 Sensor 150 Wired Cable 200 Image Generation Device 202 Processor 204 Memory 208 User Input Interface 220 Storage Unit 230 Processing Unit 231 Image Generation Unit 232 Frequency Statistics Unit 233 Low Frequency Area Identification Unit 234 Additional Image Generation Unit 235 Image Output Unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

（課題）ユーザがあまり見ない領域に付加的な情報を表示する。 （解決手段）画像生成装置は、ディスプレイに表示するための画像を生成する画像生成手段と、ユーザが前記ディスプレイに表示された前記画像の各部分を見る頻度に基づく統計データを作成する頻度統計手段と、前記統計データに基づいて、前記頻度が閾値を下回っている前記画像内のエリアを低頻度エリアとして識別する低頻度エリア識別手段と、前記低頻度エリアに前記画像と重畳して配置するための付加画像を生成する付加画像生成手段と、前記画像及び前記付加画像を前記ディスプレイへ出力する画像出力手段と、を備える。

Description

画像生成装置、画像生成方法、及び画像生成プログラム
　本発明は、画像生成装置、画像生成方法、及び画像生成プログラムに関する。
　コンテンツに重畳して付加的な情報を表示する技術が知られている。例えば、特許文献１では、コンテンツの特性に応じて定まる表示領域に付加的な情報を表示している。
特許第５４６５６２０号公報
　ユーザがあまり見ない領域に付加的な情報を表示することで、新たなユーザ体験を創出できる可能性がある。
　本発明は、上記の点に鑑みてなされたものであり、その目的の１つは、ユーザがあまり見ない領域に付加的な情報を表示することを可能にする画像生成装置、画像生成方法、及び画像生成プログラムを提供することにある。
　上述した課題を解決するために、本発明の一態様は、ディスプレイに表示するための画像を生成する画像生成手段と、ユーザが前記ディスプレイに表示された前記画像の各部分を見る頻度に基づく統計データを作成する頻度統計手段と、前記統計データに基づいて、前記頻度が閾値を下回っている前記画像内のエリアを低頻度エリアとして識別する低頻度エリア識別手段と、前記低頻度エリアに前記画像と重畳して配置するための付加画像を生成する付加画像生成手段と、前記画像及び前記付加画像を前記ディスプレイへ出力する画像出力手段と、を備える画像生成装置である。
　また、本発明の他の一態様は、コンピュータが実行する画像生成方法であって、ディスプレイに表示するための画像を生成するステップと、前記画像を前記ディスプレイへ出力するステップと、ユーザが前記ディスプレイに表示された前記画像の各部分を見る頻度に基づく統計データを作成するステップと、前記統計データに基づいて、前記頻度が閾値を下回っている前記画像内のエリアを低頻度エリアとして識別するステップと、前記低頻度エリアに前記画像と重畳して配置するための付加画像を生成するステップと、前記付加画像を前記ディスプレイへ出力するステップと、を含む画像生成方法である。
　また、本発明の他の一態様は、コンピュータに、ディスプレイに表示するための画像を生成するステップと、前記画像を前記ディスプレイへ出力するステップと、ユーザが前記ディスプレイに表示された前記画像の各部分を見る頻度に基づく統計データを作成するステップと、前記統計データに基づいて、前記頻度が閾値を下回っている前記画像内のエリアを低頻度エリアとして識別するステップと、前記低頻度エリアに前記画像と重畳して配置するための付加画像を生成するステップと、前記付加画像を前記ディスプレイへ出力するステップと、を実行させるための画像生成プログラムである。
　本発明によれば、ユーザがあまり見ない領域に付加的な情報を表示することが可能であ整理番号:151470     特願2015-191042　 (Proof)  提出日:平成27年 9月29日         2る。
図１は、本発明の一実施形態に係る画像表示システム１００のハードウェア構成図である。 図２は、本発明の一実施形態に係る画像生成装置２００の機能的な構成を示すブロック図である。 図３は、頻度統計部２３２によって作成される統計データの一例を示す。 図４は、頻度統計部２３２によって作成される統計データの一例を示す。 図５は、低頻度エリアの一例を示す。 図６は、本発明の一実施形態に係る画像生成装置２００の処理手順を示すフローチャートである。
　［本発明の実施形態の説明］
　最初に、本発明の実施形態の内容を列記して説明する。本発明の一実施形態は、以下のような構成を備える。
　（項目１）ディスプレイに表示するための画像を生成する画像生成手段と、ユーザが前記ディスプレイに表示された前記画像の各部分を見る頻度に基づく統計データを作成する頻度統計手段と、前記統計データに基づいて、前記頻度が閾値を下回っている前記画像内のエリアを低頻度エリアとして識別する低頻度エリア識別手段と、前記低頻度エリアに前記画像と重畳して配置するための付加画像を生成する付加画像生成手段と、前記画像及び前記付加画像を前記ディスプレイへ出力する画像出力手段と、を備える画像生成装置。
　（項目２）前記ディスプレイは、ヘッドマウントディスプレイとして構成され、前記画像は、前記ヘッドマウントディスプレイを装着した前記ユーザに対して提示される仮想現実画像である、項目１に記載の画像生成装置。
　（項目３）前記頻度統計手段は、視線方向検出手段によって検出された前記ユーザの視線方向に基づいて前記頻度を算出する、項目１又は２に記載の画像生成装置。
　（項目４）前記頻度統計手段は、前記ユーザの頭の向きを検知するセンサからの出力に基づいて前記頻度を算出する、項目１又は２に記載の画像生成装置。
　（項目５）前記付加画像生成手段は、前記視線方向検出手段によって検出された前記ユーザの現在の視線方向、又は前記センサによって検知された前記ユーザの現在の頭の向きに応じて前記付加画像を動的に変化させる、項目３又は４に記載の画像生成装置。
　（項目６）前記低頻度エリア識別手段は、前記頻度が第１閾値を下回っている前記画像内のエリアを第１低頻度エリア、前記頻度が前記第１閾値を上回り、且つ前記第１閾値よりも大きい第２閾値を下回っている前記画像内のエリアを第２低頻度エリアとしてそれぞれ識別し、前記付加画像生成手段は、前記第１低頻度エリアに前記画像と重畳して第１付加画像を配置し、前記第２低頻度エリアに前記画像と重畳して前記第１付加画像とは属性値の異なる第２付加画像を配置する、項目１から５のいずれか１項に記載の画像生成装置。
　（項目７）コンピュータが実行する画像生成方法であって、ディスプレイに表示するための画像を生成するステップと、前記画像を前記ディスプレイへ出力するステップと、ユーザが前記ディスプレイに表示された前記画像の各部分を見る頻度に基づく統計データを作成するステップと、前記統計データに基づいて、前記頻度が閾値を下回っている前記画像内のエリアを低頻度エリアとして識別するステップと、前記低頻度エリアに前記画像と重畳して配置するための付加画像を生成するステップと、前記付加画像を前記ディスプレイへ出力するステップと、を含む画像生成方法。
　（項目８）コンピュータに、ディスプレイに表示するための画像を生成するステップと、前記画像を前記ディスプレイへ出力するステップと、ユーザが前記ディスプレイに表示された前記画像の各部分を見る頻度に基づく統計データを作成するステップと、前記統計データに基づいて、前記頻度が閾値を下回っている前記画像内のエリアを低頻度エリアとして識別するステップと、前記低頻度エリアに前記画像と重畳して配置するための付加画像を生成するステップと、前記付加画像を前記ディスプレイへ出力するステップと、を実行させるための画像生成プログラム。
　［本発明の実施形態の詳細］
　以下、図面を参照しながら本発明の実施形態について詳しく説明する。
　図１は、本発明の一実施形態に係る画像表示システム１００のハードウェア構成図である。画像表示システム１００は、ヘッドマウントディスプレイ（Head Mounted Display：以下ＨＭＤと称する）１２０と、画像生成装置２００とを備える。ＨＭＤ１２０と画像生成装置２００は、一例として有線ケーブル１５０によって電気的に接続され、相互に通信可能である。有線ケーブル１５０に代えて、無線接続が用いられてもよい。
　ＨＭＤ１２０は、ユーザ１６０の頭に装着されて利用される表示デバイスである。ＨＭＤ１２０は、ディスプレイ１２２と、アイトラッキングデバイス（Eye Tracking Device：以下ＥＴＤと称する）１２４と、センサ１２６とを備える。ＥＴＤ１２４とセンサ１２６は、どちらか一方だけが択一的に設けられてもよい。ＨＭＤ１２０は更に、不図示のスピーカ（ヘッドホン）やカメラを備えてもよい。
　ディスプレイ１２２は、ＨＭＤ１２０を装着したユーザ１６０の視界に画像を提示するように構成される。例えば、ディスプレイ１２２は、非透過型ディスプレイとして構成することができる。この場合、ＨＭＤ１２０の外界の光景はユーザ１６０の視界から遮断され、ユーザ１６０の目にはディスプレイ１２２に映し出された画像だけが届けられる。ディスプレイ１２２には、例えば、コンピュータグラフィックスを用いて生成した画像が表示される。コンピュータグラフィックスによる画像の一例は、仮想現実の空間（例えばコンピュータゲームで作り出される世界）を画像化した仮想現実画像である。あるいは、現
実世界の実際の地形や物体等の位置座標データに基づいて、現実世界をコンピュータグラフィックスで表現してもよい。更に、コンピュータグラフィックスによるのではなく、ＨＭＤ１２０に装備された不図示のカメラを用いてユーザ１６０の視点で撮影した映像を、ディスプレイ１２２に表示することとしてもよい。
　ＥＴＤ１２４は、ユーザ１６０の眼球の動きを追跡して、ユーザ１６０の視線がどちらの方向に向けられているかを検出するように構成される。例えば、ＥＴＤ１２４は、赤外線光源と赤外線カメラとを備える。赤外線光源は、ＨＭＤ１２０を装着したユーザ１６０の目に向けて赤外線を照射する。赤外線カメラは、赤外線で照射されたユーザ１６０の目の画像を撮像する。赤外線はユーザ１６０の目の表面で反射されるが、瞳と瞳以外の部分とで赤外線の反射率が異なる。赤外線カメラで撮像されたユーザ１６０の目の画像には、赤外線の反射率の違いが画像の明暗となって現れる。この明暗に基づいて、ユーザ１６０
の目の画像において瞳が識別され、更に、識別された瞳の位置に基づいて、ユーザ１６０の視線の方向が検出される。ユーザ１６０の視線方向は、ディスプレイ１２２に表示された画像のうちユーザ１６０がどの部分を注視しているかを示す。
　センサ１２６は、ＨＭＤ１２０を装着したユーザ１６０の頭がどちらの方向を向いているかを検知するためのセンサである。センサ１２６としては、例えば、磁気センサ、角速度センサ、若しくは加速度センサのいずれか、又はこれらの組み合わせが用いられてよい。センサ１２６が磁気センサ、角速度センサ、又は加速度センサである場合、センサ１２６はＨＭＤ１２０に内蔵されて、ＨＭＤ１２０の向きや動きに応じた値（磁気、角速度、又は加速度の値）を出力する。センサ１２６からの出力値を適宜の方法で加工することで、ＨＭＤ１２０を装着したユーザ１６０の頭の向きが算出される。ユーザ１６０の頭の向きは、ユーザ１６０が頭を動かした際にその動きに追従するようにディスプレイ１２２の表示画像を変化させるのに利用することができる。ユーザ１６０の頭の動きに合わせてディスプレイ１２２の表示画像を変化させる場合、ユーザ１６０の頭の向きは、ディスプレイ１２２の表示画像のうちユーザ１６０が見ている蓋然性が比較的高い部分の大まかな目安を示す。
　なおセンサ１２６は、ＨＭＤ１２０の外部に設けられたセンサであってもよい。例えば、センサ１２６は、ＨＭＤ１２０とは別体の赤外線センサであってよい。この赤外線センサを用いて、ＨＭＤ１２０の表面に設けられた赤外線反射マーカーを検知することにより、ＨＭＤ１２０を装着したユーザ１６０の頭の向きを特定することができる。
　画像生成装置２００は、ＨＭＤ１２０に表示される画像を生成するための装置である。画像生成装置２００は、プロセッサ２０２と、メモリ２０４と、ユーザ入力インターフェイス２０８とを少なくとも備える。画像生成装置２００は更に、その他のコンポーネントとして、例えばネットワークを介して他の装置と通信するためのネットワークインターフェイス（不図示）を備えてもよい。画像生成装置２００は、例えば、パーソナルコンピュータ、ゲームコンソール、スマートフォン、タブレット端末等として実現することが可能である。
　メモリ２０４には、少なくともオペレーティングシステムと画像生成プログラムとが格納されている。オペレーティングシステムは、画像生成装置２００の全体的な動作を制御するためのコンピュータプログラムである。画像生成プログラムは、画像生成装置２００が後述する画像生成処理の各機能を実現するためのコンピュータプログラムである。メモリ２０４はまた、画像生成装置２００の動作によって生成されるデータを一時的又は永続的に記憶することもできる。メモリ２０４の具体例は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク、フラッシュメモリ、光ディスク等である。
　プロセッサ２０２は、メモリ２０４に格納されているプログラムを読み出して、それに従った処理を実行するように構成される。プロセッサ２０２がメモリ２０４に格納された画像生成プログラムを実行することによって、後述する画像生成処理の各機能が実現される。プロセッサ２０２は、ＣＰＵ（Central Processing Unit）及びＧＰＵ（Graphics Processing Unit）を含む。
　ユーザ入力インターフェイス２０８は、画像表示システム１００のユーザから画像生成装置２００を操作するための入力を受け取るように構成される。ユーザ入力インターフェイス２０８の具体例は、ゲームコントローラ、タッチパッド、マウス、キーボード等である。
　図２は、本発明の一実施形態に係る画像生成装置２００の機能的な構成を示すブロック図である。画像生成装置２００は、記憶部２２０及び処理部２３０を有する。処理部２３０は更に、画像生成部２３１と、頻度統計部２３２と、低頻度エリア識別部２３３と、付加画像生成部２３４と、画像出力部２３５とを含む。記憶部２２０は、図１に示されたメモリ２０４に対応する。処理部２３０及び処理部２３０に含まれる各部２３１～２３５は、図１に示されたプロセッサ２０２がメモリ２０４内の画像生成プログラムを読み出して実行することによって実現される、本発明に係る画像生成処理の機能を表す。
　画像生成部２３１は、ＨＭＤ１２０に表示するための画像を生成する。例えば、画像生成部２３１は、記憶部２２０から所定のデータを取得し、取得したデータに基づいてコンピュータグラフィックス処理によって画像を生成する。一例として、画像生成部２３１は、ＨＭＤ１２０を装着したユーザ１６０がコンピュータゲームによる仮想現実空間を認識することができるような仮想現実画像を生成することとしてよい。仮想現実画像は、ユーザが仮想現実空間内で目にすることのできる光景を表す。例えば、画像生成部２３１によって生成される仮想現実画像は、コンピュータゲーム内に登場するキャラクタ、建物や木などの風景、室内の家具や壁の内装、地面に落ちているアイテム、ユーザが操作しているアバターの体の一部（手や足）やアバターが手で持っている物体（銃や剣）等を含む。また、画像生成部２３１は、現実世界の実際の地形データ等に基づいて現実世界を再現したコンピュータグラフィックス画像を生成することとしてもよい。更に、画像生成部２３１が生成する画像は、コンピュータグラフィックス処理によるものではなく、例えば、ＨＭＤ１２０に装備された外部カメラによってユーザ１６０の視点で撮影された映像そのものであってもよい。
　画像生成部２３１は、更に、センサ１２６からの出力値に基づいて画像を変化させることとしてもよい。例えば、画像生成部２３１が生成する画像は、仮想現実空間内におけるユーザの視界が、センサ１２６からの出力値が示すユーザ１６０の頭の動きに追従して移り変わっていく様子を表す画像であってよい。
　画像生成部２３１によって生成された画像は、画像出力部２３５を介してＨＭＤ１２０へ出力されて、ディスプレイ１２２に表示される。
　頻度統計部２３２は、ＨＭＤ１２０を装着したユーザ１６０がディスプレイ１２２に表示された画像の各部分を見る頻度に基づいて、統計データを作成する。統計データは、ディスプレイ１２２に表示された画像のどの部分がよく見られ、どの部分があまり見られていないかを示す。例えば、頻度統計部２３２は、ＥＴＤ１２４によって検出されたユーザ１６０の視線方向に基づいて、ユーザ１６０が画像の各部分を見る頻度の統計データを作成する。また、頻度統計部２３２は、センサ１２６によって検知されたユーザ１６０の頭の向きに基づいて、ユーザ１６０が画像の各部分を見る頻度の統計データを作成してもよい。図３及び４を参照して具体的に説明する。
　図３は、ＨＭＤ１２０のディスプレイ１２２に表示される表示画像５２０を示す。表示画像５２０は、複数の部分領域５０１を含む。図３の例では、部分領域５０１は、表示画像５２０を縦横に格子状に分割してできる１つ１つの小さな画像範囲である。ＨＭＤ１２０を装着したユーザ１６０は、ある瞬間において表示画像５２０のうちある特定の部分領域５０１を注視し、また別の瞬間には別の部分領域５０１を注視する。ユーザ１６０の視線は、時間の経過と共に表示画像５２０の異なる部分領域５０１を行き来する。この時々刻々のユーザ１６０の視線方向は、ＥＴＤ１２４によって検出されて、頻度統計部２３２へ入力される。
　図３の部分領域５０１には、それぞれ「０」から「５」までのいずれかの数字が記されている。この数字は、当該数字が記されている部分領域５０１の頻度値を表す。例えば、頻度値「０」は、ユーザ１６０がその部分領域５０１を全く見ていないことを示す。また、頻度値「１」は、ユーザ１６０がその部分領域５０１を僅かな頻度で見たことを示し、頻度値「５」は、ユーザ１６０がその部分領域５０１を最高頻度で見たことを示す。中間の頻度値「２」、「３」、「４」は、頻度値「１」と「５」を適宜按分した頻度を示す。頻度統計部２３２は、所定の時間期間、ＥＴＤ１２４から入力されたユーザ１６０の視線方向を収集して、その収集結果に従って部分領域５０１毎に頻度値を付与する。例えば、頻度統計部２３２は、当該時間期間においてユーザ１６０の視線の滞在時間が最も長いグループに分類される部分領域５０１に対して頻度値「５」を付与し、その次に滞在時間が長いグループに分類される部分領域５０１に対して頻度値「４」を付与する。同様にして他の頻度値も付与される。
　図４は、ＨＭＤ１２０のディスプレイ１２２に一度に表示される範囲５３０よりも広い領域５４０を示す。領域５４０は、例えば、コンピュータゲームによる仮想現実空間内でユーザが自分の周囲に見ることができる光景の全体を表す。表示範囲５３０は、仮想現実空間内でユーザがある特定方向を向いた時に視界に入る限られた範囲の光景を表し、図３の表示画像５２０の範囲に対応する。例えば、ユーザ１６０が頭をいろいろな方向に動かした場合、表示範囲５３０は頭の動きに追従して領域５４０内を動き回る。
　図４に示されるように、領域５４０は、図３で説明したのと同様の複数の部分領域５０１を含む。ＨＭＤ１２０を装着したユーザ１６０は、ある時間帯において頭をある特定の方向に向けている。ユーザ１６０が当該方向に頭を向けている間に、図３において説明したのと同様にして、その時の表示範囲５３０に含まれる部分領域５０１に対して頻度値が付与される。またユーザ１６０は、別の時間帯では頭を別の方向に向ける。ユーザ１６０が当該別の方向に頭を向けている間、同様にその時の表示範囲５３０に含まれる部分領域５０１に対して頻度値が付与される。２つの時間帯における表示範囲５３０が一部重なる場合には、例えば、その重なった部分領域５０１にユーザ１６０の視線が滞在する合計の時間に基づいて、各部分領域５０１に頻度値が付与される。
　図４のように表示範囲５３０が領域５４０内を移動する例においては、ユーザ１６０の頭の向きに基づいて、各部分領域５０１の頻度値を決定することとしてもよい。例えば、ユーザ１６０が頭を動かすと、センサ１２６によってユーザ１６０の頭の向きが検知されて、その向きに応じた表示範囲５３０の画像が画像生成部２３１によって生成される。この時、ユーザ１６０の実際の視線は生成された画像内の任意の部分に存在し得るが、ここでは１つの仮定として、ユーザ１６０は表示範囲５３０内の所定の固定部分（例えば表示範囲５３０の中心）を見ているとみなすこととする。頻度統計部２３２は、表示範囲５３０の当該固定部分の方向がユーザ１６０の視線方向であるものとして、各部分領域５０１の頻度値を決定する。例えば、頻度統計部２３２は、所定の時間期間にわたって表示範囲５３０が領域５４０内を動く様子を追跡し、表示範囲５３０の中心と重なっている時間が長い部分領域５０１には大きい頻度値、表示範囲５３０の中心と重なっている時間が短い部分領域５０１には小さい頻度値を付与する。
　このように、ユーザ１６０の視線方向又は頭の向きに基づいて、各部分領域５０１の頻度値が統計的に収集される。収集された各部分領域５０１の頻度値は統計データを構成する。統計データは、記憶部２２０に格納されてよい。
　なお、図３及び図４に描かれている点線（部分領域５０１の枠線）と数字（頻度値）は、以上の説明のために表したものであって、画像そのものを構成する要素ではなく、したがってＨＭＤ１２０のディスプレイ１２２には表示されないことに留意されたい。
　低頻度エリア識別部２３３は、頻度統計部２３２によって作成された統計データに基づいて、低頻度エリアを識別する。低頻度エリアは、ＨＭＤ１２０のディスプレイ１２２に表示された画像のうち、ユーザ１６０に見られる頻度が低い部分的なエリアである。例えば、低頻度エリア識別部２３３は、統計データを構成する各部分領域５０１の頻度値を所定の閾値と比較し、比較の結果、ある部分領域５０１の頻度値が閾値を下回っていれば、その部分領域５０１を低頻度エリアの一部と判断する。
　図５は、低頻度エリアの一例を示す。この例は、図３に示した各部分領域５０１の頻度値の例に対応する。図５に例示された低頻度エリア５７０は、図３において頻度値「０」又は「１」を付与された部分領域５０１からなるエリアである。別の例として、「０」又は「１」又は「２」の頻度値を付与された部分領域５０１を低頻度エリアとしてもよい。
　また低頻度エリア識別部２３３は、低頻度エリアを頻度値に応じて複数段階に分類することとしてもよい。例えば、低頻度エリア識別部２３３は、頻度値が「０」又は「１」である部分領域５０１を第１低頻度エリアとし、頻度値が「２」又は「３」である部分領域５０１を第２低頻度エリアとしてもよい。
　付加画像生成部２３４は、低頻度エリアに配置するための付加画像を生成する。生成された付加画像は、画像出力部２３５を介してＨＭＤ１２０へ出力されて、画像生成部２３１からの画像と重畳してディスプレイ１２２に表示される。付加画像は、例えば、仮想現実空間に広告を提示したり、コンピュータゲームにおいて敵キャラクタや有用なアイテムを表示したりするのに利用できる。付加画像はユーザ１６０に見られる頻度が低い低頻度エリアに表示されるので、ユーザ１６０は付加画像にあまり影響されずに画像生成部２３１からの画像を視認することができる。その反対に、例えば低頻度エリアにユーザ１６０にとって価値の高い付加画像が表示され得るというルールを仮定すれば、ユーザ１６０の注意を画像生成部２３１からの画像（低頻度エリア以外のエリア）だけでなく低頻度エリアにも向けさせることができる。例えば、コンピュータゲームの例において、価値の高いレアアイテムや倒すと高得点の得られる敵キャラクタを付加画像として低頻度エリアに表示することで、ゲームの面白さを高めることが可能である。
　更に、付加画像生成部２３４は、ユーザ１６０の現在の視線方向や頭の向きに応じて付加画像を動的に変化させてもよい。例えば、まず付加画像としてあるキャラクタ（幽霊やモグラたたきゲームのモグラ）が低頻度エリアに表示される。付加画像生成部２３４は、ＥＴＤ１２４又はセンサ１２６からの入力に基づいて、ユーザ１６０が視線（又は頭）を低頻度エリアに向けようとしている（向けつつある）か否かを判定する。ユーザ１６０が視線を低頻度エリアに向けようとしている場合、付加画像生成部２３４は、当該キャラクタの付加画像を、例えばキャラクタがユーザ１６０の視線から逃げる（幽霊が視界から消える、又はモグラが地面に隠れる）ような付加画像に変化させる。ユーザ１６０の視線が低頻度エリアに近付く度合いに応じて、キャラクタの逃げる度合いを調整してもよい。
　付加画像生成部２３４はまた、低頻度エリアが複数段階に分類されている場合、分類された低頻度エリア（第１低頻度エリア、第２低頻度エリア等）毎に異なる付加画像（第１付加画像、第２付加画像等）を生成することとしてもよい。例えば、第１低頻度エリアに表示される第１付加画像の属性値は、第２低頻度エリアに表示される第２付加画像の属性値と異なる。一例として、第１低頻度エリアが頻度値「０」及び「１」に対応し、第２低頻度エリアが頻度値「２」及び「３」に対応する場合、ユーザ１６０に見られる頻度がより低いエリアである第１低頻度エリアに、より価値の高いレアアイテムや、倒すとより高い得点の得られる敵キャラクタを第１付加画像として表示することで、ゲームの面白さをより一層高めることが可能である。
　図６は、本発明の一実施形態に係る画像生成装置２００の処理手順を示すフローチャートである。まず、ステップＳ６０２において、画像生成装置２００の画像生成部２３１が、ＨＭＤ１２０に表示するための画像を生成する。次に、ステップＳ６０４において、画像生成装置２００の画像出力部２３５が、画像生成部２３１により生成された画像をＨＭＤ１２０へ出力する。これにより、ＨＭＤ１２０のディスプレイ１２２に画像が表示される。次に、ステップＳ６０６において、画像生成装置２００の頻度統計部２３２が、ＨＭＤ１２０を装着したユーザ１６０がディスプレイ１２２に表示された画像の各部分を見る頻度に基づいて、統計データを作成する。例えば、画像生成装置２００の頻度統計部２３２は、ＥＴＤ１２４によって検出されたユーザ１６０の視線方向、又はセンサ１２６からの出力値により検知されるユーザ１６０の頭の向きに基づいて、各部分領域の頻度値を決定する。次に、ステップＳ６０８において、画像処理装置２００の低頻度エリア識別部２３３が、頻度統計部２３２によって作成された統計データに基づいて、ユーザ１６０に見られる頻度が低い低頻度エリアを識別する。次に、ステップＳ６１０において、画像生成装置２００の付加画像生成部２３４が、低頻度エリアに配置するための付加画像を生成する。次に、ステップＳ６１２において、画像生成装置２００の画像出力部２３５が、付加画像生成部２３４により生成された付加画像をＨＭＤ１２０へ出力する。これにより、ＨＭＤ１２０のディスプレイ１２２上の画像に重畳して、低頻度エリアに付加画像が表示される。
　以上、本発明の実施形態を説明したが、本発明はこれに限定されず、その要旨を逸脱しない範囲内において様々な変更が可能である。
１００　画像表示システム
１２０　ヘッドマウントディスプレイ（ＨＭＤ）
１２２　ディスプレイ
１２４　アイトラッキングデバイス（ＥＴＤ）
１２６　センサ
１５０　有線ケーブル
２００　画像生成装置
２０２　プロセッサ
２０４　メモリ
２０８　ユーザ入力インターフェイス
２２０　記憶部
２３０　処理部
２３１　画像生成部
２３２　頻度統計部
２３３　低頻度エリア識別部
２３４　付加画像生成部
２３５　画像出力部

 

Claims (8)

  1. 　ディスプレイに表示するための画像を生成する画像生成手段と、
    　ユーザが前記ディスプレイに表示された前記画像の各部分を見る頻度に基づく統計データを作成する頻度統計手段と、
    　前記統計データに基づいて、前記頻度が閾値を下回っている前記画像内のエリアを低頻度エリアとして識別する低頻度エリア識別手段と、
    　前記低頻度エリアに前記画像と重畳して配置するための付加画像を生成する付加画像生成手段と、
    　前記画像及び前記付加画像を前記ディスプレイへ出力する画像出力手段と、
    　を備える画像生成装置。
  2. 　前記ディスプレイは、ヘッドマウントディスプレイとして構成され、
    　前記画像は、前記ヘッドマウントディスプレイを装着した前記ユーザに対して提示される仮想現実画像である、
    　請求項１に記載の画像生成装置。
  3. 　前記頻度統計手段は、視線方向検出手段によって検出された前記ユーザの視線方向に基づいて前記頻度を算出する、
    　請求項１又は２に記載の画像生成装置。
  4. 　前記頻度統計手段は、前記ユーザの頭の向きを検知するセンサからの出力に基づいて前記頻度を算出する、
    　請求項１又は２に記載の画像生成装置。
  5. 　前記付加画像生成手段は、前記視線方向検出手段によって検出された前記ユーザの現在の視線方向、又は前記センサによって検知された前記ユーザの現在の頭の向きに応じて前記付加画像を動的に変化させる、
    　請求項３又は４に記載の画像生成装置。
  6. 　前記低頻度エリア識別手段は、前記頻度が第１閾値を下回っている前記画像内のエリアを第１低頻度エリア、前記頻度が前記第１閾値を上回り、且つ前記第１閾値よりも大きい第２閾値を下回っている前記画像内のエリアを第２低頻度エリアとしてそれぞれ識別し、
    　前記付加画像生成手段は、前記第１低頻度エリアに前記画像と重畳して第１付加画像を配置し、前記第２低頻度エリアに前記画像と重畳して前記第１付加画像とは属性値の異なる第２付加画像を配置する、
    　請求項１から５のいずれか１項に記載の画像生成装置。
  7. 　コンピュータが実行する画像生成方法であって、
    　ディスプレイに表示するための画像を生成するステップと、
    　前記画像を前記ディスプレイへ出力するステップと、
    　ユーザが前記ディスプレイに表示された前記画像の各部分を見る頻度に基づく統計データを作成するステップと、
    　前記統計データに基づいて、前記頻度が閾値を下回っている前記画像内のエリアを低頻度エリアとして識別するステップと、
    　前記低頻度エリアに前記画像と重畳して配置するための付加画像を生成するステップと、
    　前記付加画像を前記ディスプレイへ出力するステップと、
    　を含む画像生成方法。
  8. 　コンピュータに、
    　ディスプレイに表示するための画像を生成するステップと、
    　前記画像を前記ディスプレイへ出力するステップと、
    　ユーザが前記ディスプレイに表示された前記画像の各部分を見る頻度に基づく統計データを作成するステップと、
    　前記統計データに基づいて、前記頻度が閾値を下回っている前記画像内のエリアを低頻度エリアとして識別するステップと、
    　前記低頻度エリアに前記画像と重畳して配置するための付加画像を生成するステップと、
    　前記付加画像を前記ディスプレイへ出力するステップと、
    　を実行させるための画像生成プログラム。

     
PCT/JP2016/076307 2015-09-29 2016-09-07 画像生成装置、画像生成方法、及び画像生成プログラム WO2017056892A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015191042A JP5913709B1 (ja) 2015-09-29 2015-09-29 画像生成装置、画像生成方法、及び画像生成プログラム
JP2015-191042 2015-09-29

Publications (1)

Publication Number Publication Date
WO2017056892A1 true WO2017056892A1 (ja) 2017-04-06

Family

ID=55808292

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/076307 WO2017056892A1 (ja) 2015-09-29 2016-09-07 画像生成装置、画像生成方法、及び画像生成プログラム

Country Status (3)

Country Link
US (1) US10008041B2 (ja)
JP (1) JP5913709B1 (ja)
WO (1) WO2017056892A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6389305B1 (ja) * 2017-07-21 2018-09-12 株式会社コロプラ 情報処理方法、コンピュータ、及びプログラム
JP2019023869A (ja) * 2018-08-03 2019-02-14 株式会社コロプラ 情報処理方法、コンピュータ、及びプログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3454304A4 (en) * 2016-05-02 2019-12-18 Sony Interactive Entertainment Inc. IMAGING DEVICE
JP6095830B1 (ja) * 2016-05-18 2017-03-15 株式会社コロプラ 視野情報収集方法および当該視野情報収集方法をコンピュータに実行させるためのプログラム
KR101844588B1 (ko) * 2017-02-08 2018-04-02 한림대학교 산학협력단 실내 측위를 이용한 영상 제공 장치 및 방법
US10578639B2 (en) * 2017-08-28 2020-03-03 Otis Elevator Company Hybrid altimeter for measuring vertical velocity
JP7277119B2 (ja) * 2017-11-30 2023-05-18 株式会社デジタルガレージ 画像処理システム、及び画像処理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0761257A (ja) * 1993-08-26 1995-03-07 Nissan Motor Co Ltd 車両用表示装置
JP2008210239A (ja) * 2007-02-27 2008-09-11 Nissan Motor Co Ltd 視線推定装置
JP2012010117A (ja) * 2010-06-25 2012-01-12 Kddi Corp 映像コンテンツに重畳する付加情報の領域を決定する映像出力装置、プログラム及び方法
JP2013255168A (ja) * 2012-06-08 2013-12-19 Toyota Infotechnology Center Co Ltd 撮像装置、および撮像方法
JP2015092237A (ja) * 2013-10-03 2015-05-14 パナソニックＩｐマネジメント株式会社 表示制御装置、表示制御方法、表示制御プログラムおよび投影装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006103541A1 (en) * 2005-04-01 2006-10-05 Abb Research Ltd Method and system for providing a user interface
KR101317401B1 (ko) * 2010-08-25 2013-10-10 주식회사 팬택 객체 저장이 가능한 단말 장치 및 방법
US8379053B1 (en) * 2012-01-24 2013-02-19 Google Inc. Identification of areas of interest on a web page
WO2013138742A1 (en) * 2012-03-15 2013-09-19 Vibrant Media, Inc. Systems and methods for delivery techniques of contextualized services on mobile devices
US9709806B2 (en) * 2013-02-22 2017-07-18 Sony Corporation Head-mounted display and image display apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0761257A (ja) * 1993-08-26 1995-03-07 Nissan Motor Co Ltd 車両用表示装置
JP2008210239A (ja) * 2007-02-27 2008-09-11 Nissan Motor Co Ltd 視線推定装置
JP2012010117A (ja) * 2010-06-25 2012-01-12 Kddi Corp 映像コンテンツに重畳する付加情報の領域を決定する映像出力装置、プログラム及び方法
JP2013255168A (ja) * 2012-06-08 2013-12-19 Toyota Infotechnology Center Co Ltd 撮像装置、および撮像方法
JP2015092237A (ja) * 2013-10-03 2015-05-14 パナソニックＩｐマネジメント株式会社 表示制御装置、表示制御方法、表示制御プログラムおよび投影装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6389305B1 (ja) * 2017-07-21 2018-09-12 株式会社コロプラ 情報処理方法、コンピュータ、及びプログラム
JP2019021237A (ja) * 2017-07-21 2019-02-07 株式会社コロプラ 情報処理方法、コンピュータ、及びプログラム
JP2019023869A (ja) * 2018-08-03 2019-02-14 株式会社コロプラ 情報処理方法、コンピュータ、及びプログラム

Also Published As

Publication number Publication date
US20170092006A1 (en) 2017-03-30
JP5913709B1 (ja) 2016-04-27
US10008041B2 (en) 2018-06-26
JP2017068411A (ja) 2017-04-06

Similar Documents

Publication Publication Date Title
JP5913709B1 (ja) 画像生成装置、画像生成方法、及び画像生成プログラム
CN110199325B (zh) 仿真系统、处理方法以及信息存储介质
JP6058184B1 (ja) ヘッドマウントディスプレイシステムを制御するための方法、および、プログラム
US9098112B2 (en) Eye tracking enabling 3D viewing on conventional 2D display
JP6017008B1 (ja) アバター表示システム、ユーザ端末、及びプログラム
US9875079B1 (en) Information processing method and system for executing the information processing method
JP6097377B1 (ja) 画像表示方法及びプログラム
US11738270B2 (en) Simulation system, processing method, and information storage medium
KR20180033138A (ko) 시선 검출 방법 및 장치
US11695908B2 (en) Information processing apparatus and information processing method
CN108463839B (zh) 信息处理装置和用户指南呈现方法
JP7144796B2 (ja) シミュレーションシステム及びプログラム
US11195320B2 (en) Feed-forward collision avoidance for artificial reality environments
US11521346B2 (en) Image processing apparatus, image processing method, and storage medium
JP2024050696A (ja) 情報処理装置、ユーザガイド提示方法、およびヘッドマウントディスプレイ
JP6707429B2 (ja) アバター表示システム、ユーザ端末、及びプログラム
CN109416614B (zh) 通过计算机实现的方法以及非易失性计算机可读介质、系统
US11474595B2 (en) Display device and display device control method
JP2017078893A (ja) 仮想現実空間のオブジェクトと対話するための装置、方法、及びプログラム
JP2022169526A (ja) アプリケーション制御プログラム、アプリケーション制御方法及びアプリケーション制御システム
JP6918189B2 (ja) シミュレーションシステム及びプログラム
JP2017068818A (ja) 画像生成装置、画像生成方法、及び画像生成プログラム
KR102224057B1 (ko) 관전 영상의 자동제어를 이용한 부하 감소 방법 및 이를 이용한 헤드 마운티드 디스플레이
JP6905022B2 (ja) アプリケーション制御プログラム、アプリケーション制御方法及びアプリケーション制御システム
JP2017097918A (ja) 画像表示方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16851066

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16851066

Country of ref document: EP

Kind code of ref document: A1