WO2012029576A1 - 複合現実感表示システム、画像提供サーバ、表示装置及び表示プログラム - Google Patents

複合現実感表示システム、画像提供サーバ、表示装置及び表示プログラム Download PDF

Info

Publication number
WO2012029576A1
WO2012029576A1 PCT/JP2011/068853 JP2011068853W WO2012029576A1 WO 2012029576 A1 WO2012029576 A1 WO 2012029576A1 JP 2011068853 W JP2011068853 W JP 2011068853W WO 2012029576 A1 WO2012029576 A1 WO 2012029576A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
virtual object
providing server
display
Prior art date
Application number
PCT/JP2011/068853
Other languages
English (en)
French (fr)
Inventor
哲也 角田
池内　克史
岳史 大石
政隆 影澤
Original Assignee
国立大学法人東京大学
株式会社アスカラボ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人東京大学, 株式会社アスカラボ filed Critical 国立大学法人東京大学
Priority to US13/819,233 priority Critical patent/US20130194305A1/en
Priority to EP11821593.8A priority patent/EP2613296B1/en
Publication of WO2012029576A1 publication Critical patent/WO2012029576A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels

Definitions

  • the present invention relates to a mixed reality display system that combines and displays a real space image and a virtual object, and more particularly, to a composite image that is cut out and displayed on a viewer-side display device of a composite image created by an image providing server.
  • the present invention relates to a reality display system and the like.
  • CG computer graphics
  • the mixed reality display system requires a camera for capturing a real-world image, a processing device that combines a virtual object with the captured image, and a display for displaying the combined image. Therefore, it is common to use a stand-alone device such as a personal computer (PC) or a mobile terminal (mobile phone, PDA, smartphone, etc.), a head-mounted display (HMD), etc., in which a camera, a processing device, and a display are integrated. .
  • a system is also disclosed in which a photographed image transmitted from the HMD is shared by a plurality of people via an image processing device (see Patent Document 1).
  • Non-Patent Document 1 discloses a technique for creating a shadow of a virtual object using a real-world light source environment.
  • Patent Document 2 proposes a method of estimating a light source by moving an HMD camera.
  • a single camera captures a real-world image, combines it with a virtual object using an image synthesizer, and distributes the combined image to a plurality of user display devices, one dedicated camera and image synthesizer Is enough.
  • a plurality of users can only experience sharing the same composite image, and each user cannot change the viewpoint.
  • an object of the present invention is a mixed reality in which each user can experience mixed reality while freely changing his / her viewpoint when a plurality of users experience a composite image. It is to provide a feeling display system and the like.
  • the mixed reality display system of the present invention is a mixed reality display system configured such that an image providing server and a plurality of display devices can communicate with each other, and the image providing server includes a virtual object drawing unit for drawing a virtual object.
  • a composite object obtained by combining the virtual object drawn by the virtual object drawing means, a real space image shot by a camera capable of shooting a predetermined azimuth angle range, and the combining means Distribution means for delivering the information to the plurality of display devices, the display device receiving the composite image information from the image providing server, and a line of sight of a user observing the display device.
  • Position and orientation information acquisition means for acquiring at least one of position information and posture information to be defined, and the position information and / or posture information acquired by the position and orientation information acquisition means And an extracting unit that extracts a partial region image from the composite image indicated by the composite image information received by the receiving unit, and a display unit that displays the partial region image extracted by the extracting unit.
  • An image providing server is the image providing server included in the mixed reality display system configured to allow communication between the image providing server and a plurality of display devices, and a virtual object drawing unit for drawing a virtual object; , A virtual object drawn by the virtual object drawing means, a synthesis means for synthesizing a real space image photographed by a camera capable of photographing a predetermined azimuth angle range, and synthesized image information obtained by synthesizing the synthesis means.
  • Distribution means for delivering to the plurality of display devices, wherein the virtual object drawing means estimates a light source distribution based on light source environment information included in the real space image information, and calculates a shadow of the virtual object. The virtual object is created and drawn.
  • the composite image information may be obtained by combining the real space image and the virtual object.
  • the display device of the present invention is the display device included in the mixed reality display system configured such that the image providing server and the plurality of display devices can communicate with each other, and can capture a virtual object and a predetermined azimuth angle range.
  • Receiving means for receiving from the image providing server a synthesized image obtained by synthesizing the real space image captured by the camera, and at least one of position information and posture information defining the line of sight of the user observing the display device
  • a position / orientation information acquisition unit for acquiring a partial region image from a composite image indicated by the composite image information received by the reception unit based on the position information acquired by the position / orientation information acquisition unit and / or the posture information.
  • Extraction means for extracting the image, and display means for displaying the partial area image extracted by the extraction means.
  • Instruction input means for accepting designation of a display range is provided, the extraction means extracts the partial area image from the composite image according to display range designation information from the instruction input means, and the display means is extracted by the extraction means The partial area image may be displayed.
  • the mixed reality display program of the present invention causes a computer to function as the display device.
  • the mixed reality display method of the present invention is a mixed reality display method for displaying an image obtained by synthesizing a virtual object and a real space image on a plurality of display devices, wherein the image providing server includes the virtual object, Synthesizing the real space image photographed by a camera capable of photographing a predetermined azimuth angle range, and delivering synthesized composite image information to the plurality of display devices,
  • the display device acquires at least one of position information and posture information that defines the line of sight of the user observing the display device, and based on the position information and / or the posture information, from the image providing server
  • the method includes a step of extracting a partial region image from the composite image indicated by the received composite image information, and a step of displaying the partial region image.
  • the mixed reality display system of the present invention is a mixed reality display system configured such that an image providing server and a plurality of display devices can communicate with each other, and the image providing server includes a virtual object drawing unit for drawing a virtual object.
  • a virtual object drawn by the virtual object drawing means a combining means for combining a real space image shot by a camera capable of shooting a predetermined azimuth angle range, and a user who observes the display device from the display device
  • Position and orientation information acquisition means for acquiring at least one of position information and orientation information defining the line of sight, and the combining means based on the position information and / or the orientation information acquired by the position and orientation information acquisition means
  • Extracting means for extracting a partial area image from a synthesized image obtained by combining the partial area image extracted by the extracting means, the partial area image of the plurality of display devices
  • Transmission means for transmitting to the display device that is a transmission source of the position information or the posture information, and the display device transmits at least one of the position information and the
  • An image providing server is the image providing server included in the mixed reality display system configured to allow communication between the image providing server and a plurality of display devices, and a virtual object drawing unit for drawing a virtual object; A virtual object drawn by the virtual object drawing means, a combining means for combining a real space image shot by a camera capable of shooting a predetermined azimuth angle range, and a user who observes the display device from the display device. Based on the position information and / or the posture information acquired by the position and posture information acquisition unit, the combining unit acquires the position and posture information acquisition unit that acquires at least one of position information and posture information that defines the line of sight.
  • Extracting means for extracting a partial area image from a composite image obtained by combining, and extracting the partial area image extracted by the extracting means from among the plurality of display devices.
  • And transmitting means for transmitting to said display device is an information or source of the posture information, and having a.
  • the virtual object drawing means may estimate a light source distribution based on light source environment information included in the real space image information, create a shadow of the virtual object, and draw the virtual object.
  • the composite image information may be obtained by combining the real space image and the virtual object.
  • the mixed reality display method of the present invention is a mixed reality display method for displaying an image obtained by synthesizing a virtual object and a real space image on a plurality of display devices, wherein the image providing server includes the virtual object, Synthesizing the real space image photographed by a camera capable of photographing a predetermined azimuth angle range, and at least position information or posture information defining a line of sight of a user observing the display device transmitted from the display device Acquiring any one of them, extracting a partial region image from the combined image based on the acquired position information and / or posture information, and extracting the partial region image from the position information or / And transmitting the posture information to a display device that is a transmission source of the posture information, and the display device displays the partial region image received from the image providing server.
  • a method characterized by having a.
  • each user can experience mixed reality while freely changing his / her viewpoint without imposing a processing burden on the display device.
  • the image providing server of the present invention it is not necessary to separately prepare special light source information acquisition means such as a camera with a fisheye lens or a specular sphere for acquiring light source environment information, and appropriate shading is performed on a virtual object.
  • special light source information acquisition means such as a camera with a fisheye lens or a specular sphere for acquiring light source environment information, and appropriate shading is performed on a virtual object.
  • the composite image can be provided to the display device.
  • the user can experience mixed reality while freely changing his / her viewpoint with a small processing load.
  • each user can experience mixed reality while freely changing his / her viewpoint without placing a processing burden on the display device.
  • the image providing server of the present invention it is possible to provide a partial region image that allows each user to experience mixed reality without imposing a processing burden on the display device.
  • FIG. 4A is an explanatory diagram of the instruction input device 4.
  • (B) and (C) are examples of the display range designation interface of the instruction input device 4.
  • 2nd Example It is a schematic explanatory drawing of 2nd Example.
  • FIG. 1 is a schematic explanatory diagram of the mixed reality display system of the present invention.
  • the mixed reality display system includes an image providing server, an omnidirectional image acquisition camera, and a plurality of client terminals.
  • Client terminal is HMD (Head Mounted Display), digital signage terminals, mobile terminals (cell phones, PDAs, smartphones, etc.).
  • HMD Head Mounted Display
  • digital signage terminals mobile terminals (cell phones, PDAs, smartphones, etc.).
  • the mixed reality display system can be configured and installed in various places such as an event venue and a sightseeing spot, regardless of whether it is indoors or outdoors.
  • the omnidirectional image acquisition camera is a device for taking images of the real world.
  • the image providing server adds a virtual object drawn by computer graphics (CG) to an omnidirectional image (an example of a real space image of the present invention, which is an image of a real object) captured by an omnidirectional image acquisition camera.
  • CG computer graphics
  • a composite image is obtained by superposition.
  • the client terminal receives and displays the composite image from the image providing server. Thereby, the user can experience an image as if a virtual object drawn with CG appeared in the real world.
  • the first and second embodiments of the present invention will be described.
  • the first embodiment is an example of a mixed reality display system S1 by broadcast, and an image providing server distributes a composite image to a plurality of client terminals.
  • the second embodiment is an example of the mixed reality display system S2 by unicast, and the image providing server transmits a composite image in response to an image transmission request from each client terminal.
  • FIG. 2 is a block diagram showing a configuration example of the mixed reality display system S1 in the first embodiment
  • FIG. 3 is a schematic explanatory diagram of the first embodiment.
  • the mixed reality display system S1 includes an image providing server 1, an omnidirectional image acquisition camera 2, a plurality of client terminals 3, an instruction input device 4 (an example of an instruction input unit of the present invention), and the like.
  • the number of client terminals 3 is one for simplicity of illustration.
  • the image providing server 1 includes a CPU 11 having a calculation function, a working RAM, a ROM 11 storing various data and programs, a storage unit 12 including a hard disk drive, and various networks (LAN (Local Area Network). ), The communication unit 13 for communicating with the omnidirectional image acquisition camera 2, the client terminal 3, other devices, various peripheral devices, and the like. Each component is connected to each other via a bus.
  • a bus Local Area Network
  • the storage unit 12 stores a shadow information database (DB) 121, a CG information database (DB) 122, and the like.
  • DB shadow information database
  • DB CG information database
  • the three-dimensional object shading information is various information such as basic data necessary for shading a three-dimensional CG object.
  • CG information for creating a three-dimensional CG object such as a cultural property building, a predicted building after completion, an annotation, a road guide, a character, and an advertisement is registered.
  • the control unit 11 includes a three-dimensional object drawing unit 111, a combining unit 112, and the like.
  • the three-dimensional object drawing unit 111 is an example of the virtual object drawing unit of the present invention, and draws a three-dimensional CG object, which is an example of a virtual object, based on information in the shadow information DB 121 and the CG information DB 122C.
  • the synthesizing unit 112 creates an omnidirectional composite image by superimposing the omnidirectional image from the omnidirectional image acquisition camera 2 and the three-dimensional CG object created by the three-dimensional object drawing unit 111.
  • Non-Patent Document 1 Japanese Patent Application No. 2009-211891 filed by the present applicant. Therefore, the description is omitted.
  • the omnidirectional image acquisition camera 2 can shoot a predetermined azimuth angle range. For example, it is preferable that photographing in all directions including the zenith portion is possible. For example, the omnidirectional image acquisition camera 2 repeatedly shoots every several tens of seconds, and transmits omnidirectional image information (an example of real space image information of the present invention) to the image providing server 1 each time.
  • omnidirectional image information an example of real space image information of the present invention
  • the three-dimensional object drawing unit 111 of the image providing server 1 appropriately shades the three-dimensional CG object based on the real-world light source environment information included in the omnidirectional image information received from the omnidirectional image acquisition camera 2. Then, an omnidirectional composite image is created by superimposing it with the omnidirectional image.
  • the three-dimensional object drawing unit 111 and the synthesizing unit 112 of the image providing server 5 create an omnidirectional composite image every time new omnidirectional image information is received from the omnidirectional image acquisition camera 2.
  • the created omnidirectional composite image is simultaneously distributed to a plurality of client terminals 3.
  • the client terminal 3 includes a CPU 31 having a calculation function, a working RAM, various data and a ROM (including the mixed reality display program of the present invention) for storing a control unit 31 as a computer of the present invention,
  • a control unit 31 for storing a control unit 31 as a computer of the present invention
  • various peripheral devices such as the image providing server 1 or other devices or the instruction input device 4 via the display unit 32 having a display screen such as a monitor and various networks (including LAN (Local Area Network)).
  • the communication unit 33 is provided. Each component is connected to each other via a bus.
  • the control unit 31 includes a position / orientation information acquisition unit 311, an extraction unit 312, and the like.
  • Position / orientation information acquisition means 311 acquires position / orientation information defining the user's line of sight. For example, when the client terminal 3 is an HMD, the position and orientation information changes depending on the position and orientation (orientation) of the user wearing the HMD.
  • the position / orientation information acquisition unit 311 is configured by any of a gyro sensor, a magnetic sensor, a GPS (Global Positioning System), an acceleration sensor, or a combination thereof.
  • the camera can be positioned by a combination method such as two-dimensional marker, LED marker, visible light marker, invisible (retroreflective material) marker, or alignment by optical tracking using image feature points. Posture information may be acquired. Further, the position / orientation information may be either the position information or the attitude information of the user.
  • the extraction unit 312 extracts a partial region image from the omnidirectional composite image received from the image providing server 1. Specifically, based on the position / orientation information acquired by the position information acquiring unit 311, the region of the position and direction indicated by the position / orientation information is cut out and extracted from the omnidirectional composite image. The extracted partial area image is displayed on a monitor of the display unit 32 or the like. Therefore, the user can observe a partial region image corresponding to his / her position and orientation from the omnidirectional composite image.
  • the client terminal 3 receives an omnidirectional composite image from the image providing server 1 every tens of minutes, for example.
  • the position / orientation information acquisition unit 311 acquires position / orientation information, for example, every several tenths of a second to a few seconds. Then, every time a new omnidirectional composite image or new position / orientation information is received (acquired), the extraction unit 312 extracts the partial region image and updates the display image.
  • the instruction input device 4 receives an instruction from the user and transmits an instruction signal corresponding to the instruction to the client terminal 3 via the communication unit 33.
  • FIG. 4A is an explanatory diagram of the instruction input device 4. As shown in FIG. 4A, when the HMD is the client terminal 3, the instruction input device 4 is carried by the user hanging from the neck.
  • FIG. 4B and 4C show examples of the display range designation interface of the instruction input device 4. It is an operation example of the instruction input device 4 when changing the display range (viewpoint) of the image observed on the display unit 32 of the HMD, and the user taps on the panel of the instruction input device 4 to display the display range vertically and horizontally Is designated (FIG. 4B), or the instruction input device 4 itself is tilted or shaken to designate the display range (FIG. 4C). Then, the instruction input device 4 generates display range designation information according to the designation. The generated display range designation information is transmitted to the HMD through a network or near field communication, and is acquired by the position / orientation information acquisition unit 311 via the communication unit 33.
  • the instruction input device 4 is not limited to the configuration in which the display range is specified by tapping on the screen, and the user may specify the display range by voice through a microphone provided in the instruction input device 4.
  • the eye movement may be tracked with a camera (for example, a camera attached to the HMD), the user's line of sight may be detected, and a display range may be designated and instructed according to the detected line of sight.
  • FIG. 5 is a flowchart showing the omnidirectional composite image distribution process of the image providing server 1.
  • the omnidirectional composite image distribution process is a process executed by the control unit 11.
  • the control unit 11 of the image providing server 1 acquires omnidirectional image information from the omnidirectional image acquisition camera 2 (step S1).
  • the three-dimensional object drawing unit 111 of the control unit 11 performs light source distribution estimation processing.
  • light source distribution estimation processing is performed to acquire an estimated light source distribution (step S2).
  • the real-world light source environment information included in the omnidirectional image information for example, lightness information in a range of about several percent to tens of percent from the upper end of the omnidirectional image indicated by the omnidirectional image information is employed.
  • the three-dimensional object drawing unit 111 of the control unit 11 refers to the shadow information DB 121 and generates shadow information based on the estimated light source distribution acquired in step S2 (step S3).
  • the three-dimensional object drawing unit 111 of the control unit 11 performs a shading process on the CG information in the CG information DB 122 based on the shadow information generated in step S3 to create (draw) a three-dimensional CG object. (Step S4).
  • the synthesizing unit 112 of the control unit 11 creates an omnidirectional composite image by superimposing the omnidirectional image indicated by the omnidirectional image information acquired in step S1 and the three-dimensional CG object created in step S4. (Step S5). Then, the control unit 11 distributes the omnidirectional composite image information indicating the omnidirectional composite image created in step S5 to the plurality of client terminals 3 (step S6).
  • control unit 11 determines whether or not the next omnidirectional image information has been acquired from the omnidirectional image acquisition camera 2 (step S7), and if acquired as a result of the determination (step S7: Yes). Then, the process proceeds to step S2, and the processes in steps S2 to S7 are repeated for the next omnidirectional image information.
  • step S7 when it is not acquired as a result of the determination (step S7: No), it is determined whether or not there is an end instruction (step S8). As a result of the determination, if there is no termination instruction (step S8: No), the process proceeds to step S7 and waits for reception of the next omnidirectional image information from the omnidirectional image acquisition camera 2.
  • step S8 when an instruction to end processing is given from an input unit (not shown) of the image providing server 1 or when an end instruction signal is received from a remote server administrator through the network (step S8: In Yes), the process is terminated.
  • FIG. 6 is a flowchart showing display processing of the client terminal 3.
  • the display process is a process executed by the control unit 31.
  • control unit 31 of the client terminal 3 acquires omnidirectional composite image information from the image providing server 1 (step S11), and the position / orientation information acquisition unit 311 of the control unit 31 acquires position / orientation information (step S12). ).
  • the extraction unit 312 of the control unit 31 extracts a partial region image from the omnidirectional composite image indicated by the omnidirectional composite image information acquired in step S1 based on the position and orientation information acquired in step S2 (step S1). S13).
  • the control unit 31 displays the extracted partial region image on a display screen such as a monitor (step S14).
  • control unit 31 determines whether or not the position and orientation information acquisition unit 311 has acquired the next position and orientation information (step S15). If it is obtained as a result of the determination (step S15: Yes), the process proceeds to step S13, and the processing from step S13 to step S15 is repeated for the next position and orientation information.
  • step S15: No the control unit 31 determines whether or not the next omnidirectional composite image information is acquired from the image providing server 1 (step S15). S16). If it is obtained as a result of the determination (step S16: Yes), the process proceeds to step S13, and the processes in steps S13 to S16 are repeated for the next omnidirectional composite image information.
  • step S16 determines whether or not there is an end instruction.
  • step S17 determines whether or not there is an end instruction.
  • the process proceeds to step S15, and the next omnidirectional composite image information is received from the image providing server 1 or by the position and orientation information acquisition means 311. Wait for acquisition of the next position and orientation information.
  • step S17 when the processing end is instructed from the input unit (not shown) of the client terminal 3, or when the end instruction signal is received from the instruction input device 4 via the communication unit 23 If there is an instruction (step S17: Yes), the process ends.
  • the image providing server 1 draws a virtual object, combines the virtual object and the omnidirectional image, and distributes the omnidirectional composite image information to the plurality of client terminals 3. .
  • the client terminal 3 receives the omnidirectional composite image from the image providing server 1, the client terminal 3 extracts the partial region image based on the position and orientation information and displays the partial region image on a display screen such as a monitor. Therefore, each user can experience mixed reality while freely changing his / her viewpoint without imposing a processing burden on the client terminal 3.
  • the three-dimensional object drawing unit 111 of the image providing server 1 estimates the light source distribution based on the light source environment information included in the omnidirectional image information, creates a shadow of the virtual object, and draws the virtual object.
  • a special light source information acquisition means such as a fisheye lens camera or specular sphere for acquiring the light source environment information, and an appropriate shadow is obtained based on the light source environment information included in the omnidirectional image information. Can be attached.
  • the instruction input device 4 is provided, and the extraction unit 312 is configured to extract the partial region image according to the display range designation information from the instruction input device 4. Thereby, the user can designate a desired display range with the instruction input device 4.
  • FIG. 7 is a block diagram showing a configuration example of the mixed reality display system S1 in the second embodiment
  • FIG. 8 is a schematic explanatory diagram of the first embodiment. The description of the same configuration as in the first embodiment is omitted.
  • the mixed reality display system S2 includes an image providing server 5, an omnidirectional image acquisition camera 2, a plurality of client terminals 6, an instruction input device 4, and the like.
  • the omnidirectional image acquisition camera 2 and the instruction input device 4 have the same configuration as in the first embodiment.
  • the image providing server 5 includes a CPU 51 having a calculation function, a working RAM, a ROM 51 for storing various data and programs, a storage unit 52 having a hard disk drive, etc., and various networks (LAN (Local Area Network). ), The communication unit 53 for communicating with the omnidirectional image acquisition camera 2, the client terminal 6, other devices, or various peripheral devices. Each component is connected to each other via a bus.
  • the storage unit 52 stores a shadow information database (DB) 521, a CG information database (DB) 522, and the like.
  • the shadow information DB 521 has the same configuration as the shadow information DB 121 of the first embodiment.
  • the CG information DB 522 has the same configuration as the CG information DB 122 of the first embodiment.
  • the control unit 51 includes a three-dimensional object drawing unit 511, a synthesis unit 512, a position / orientation information acquisition unit 513, an extraction unit 514, and the like.
  • the three-dimensional object drawing unit 511 has the same configuration as the three-dimensional object drawing unit 111 of the first embodiment.
  • the synthesizing unit 512 has the same configuration as the synthesizing unit 112 of the first embodiment.
  • the position / orientation information acquisition unit 513 acquires the position / orientation information of the client terminal 6 from the client terminal 6 via the communication unit 53.
  • Extraction means 514 extracts a partial area image from the omnidirectional composite image created by the composite means 512. Specifically, based on the omnidirectional composite image created by the compositing means 512, a region in the direction indicated by the position and orientation information is cut out from the omnidirectional composite image and extracted. The extracted partial area image is transmitted as partial area image information to the client terminal 6 via the communication unit 53 and displayed on the client terminal 6. Therefore, the user can observe a partial region image corresponding to his / her position and orientation from the omnidirectional composite image.
  • the client terminal 6 includes a CPU having a calculation function, a working RAM, a ROM 61 storing various data and programs, a display unit 62 having a display screen such as a monitor, and various networks (LAN (Local Area Area). Network), and a communication unit 63 for communicating with various peripheral devices such as the image providing server 5 or other devices or the instruction input device 4.
  • a CPU having a calculation function
  • a working RAM having a calculation function
  • a ROM 61 storing various data and programs
  • a display unit 62 having a display screen such as a monitor
  • various networks LAN (Local Area Area). Network)
  • LAN Local Area Area Area Area
  • Communication unit 63 for communicating with various peripheral devices such as the image providing server 5 or other devices or the instruction input device 4.
  • Each component is connected to each other via a bus.
  • the control unit 61 includes position and orientation information acquisition means 611 and the like.
  • the position / orientation information acquisition unit 611 has the same configuration as the position / orientation information acquisition unit 311 of the first embodiment.
  • the client terminal 6 transmits the position and orientation information to the image providing server 5. Then, the client terminal 6 receives the partial area image information corresponding to the position and orientation information from the image providing server 5 and displays it on the display screen of the display unit 62.
  • the omnidirectional image acquisition camera 2 for example, repeatedly shoots every few tens of seconds, and transmits the omnidirectional image information acquired each time to the image providing server 5.
  • the three-dimensional object drawing unit 511 and the combining unit 512 of the image providing server 5 create an omnidirectional composite image every time a new omnidirectional image is received.
  • the position / orientation information acquisition unit 611 of the client terminal 6 acquires the position / orientation information every few tenths of a second to a fraction of a second, and transmits it to the image providing server 5. Then, the position / orientation information acquisition unit 513 of the image providing server 5 receives (acquires) this.
  • the extraction unit 514 performs an extraction process each time a new omnidirectional composite image is created or new position / orientation information is acquired.
  • FIG. 9 is a flowchart showing the partial area image transmission processing of the image providing server 5.
  • the partial region image transmission process is a process executed by the control unit 51 and starts when the position / orientation information acquisition unit 513 receives position / orientation information from the client terminal 3.
  • step S21 to step S25 Since the processing from step S21 to step S25 is the same as the processing from step S1 to step S5 of the first embodiment, description thereof is omitted.
  • control unit 51 extracts a partial region image from the omnidirectional composite image created in step S25 based on the position and orientation information acquired by the position and orientation information acquisition unit 513 (step S26).
  • the control unit 51 transmits the extracted partial region image to the client terminal 6 that is the transmission source of the position and orientation information (step S27).
  • control unit 51 determines whether or not the position and orientation information acquisition unit 513 has acquired the next position and orientation information from the client terminal 6 (step S28). If it is obtained as a result of the determination (step S28: Yes), the process proceeds to step S26, and the processing from step S26 to step S28 is repeated for the next position and orientation information.
  • step S28 determines whether or not the next omnidirectional image information has been acquired from the omnidirectional image acquisition camera 2. (Step S29). If it is obtained as a result of the determination (step S29: Yes), the process proceeds to step S22, and the processes of steps S22 to S29 are repeated for the next omnidirectional image information.
  • step S29: No it is determined whether or not an end instruction has been given (step S30). As a result of the determination, if there is no end instruction (step S30: No), the process proceeds to step S28, and the next omnidirectional image information is received from the omnidirectional image acquisition camera 2 or by the position / orientation information acquisition means 513. Wait for acquisition of the next position and orientation information.
  • step S30 an end instruction is issued when an end of processing is instructed from an input unit (not shown) of the image providing server 5 or when an end instruction signal is received from a remote server administrator through the network. If there is (step S30: Yes), the process is terminated.
  • each user can experience mixed reality while freely changing his / her viewpoint without imposing a processing burden on the client terminal 6.
  • the image providing server 5 performs shading, composition, and extraction, it is possible to provide a partial region image that allows the client terminal 6 to experience mixed reality.
  • the instruction input device 4 capable of exchanging information with the client terminal 3 (or the client terminal 6) through the network is taken as an example of the instruction input means of the present invention. It may be provided inside.
  • CG information DB 122 It is also possible to register a plurality of types of CG information in the CG information DB 122 so that a composite image of a plurality of types of three-dimensional CG objects can be viewed.
  • the type of CG information is, for example, “Advertisement provided by Company A”, “Advertisement provided by Company B”, “Cultural property building”, or “Road guide”
  • the display panel of the instruction input device 4 provides "Advertisement of", “Advertising provided by Company B", “Cultural property building”, "Directional guidance" instruction buttons are displayed.
  • the three-dimensional object drawing unit 111 (or three-dimensional object drawing unit 511) creates a three-dimensional CG object based on the CG information of the instruction button selected by the user, and the combining unit 112 (or combining unit 512) A three-dimensional CG object is synthesized with an omnidirectional image to create an omnidirectional synthesized image. With this configuration, the user can appreciate a desired virtual object.
  • the present invention is not limited to the flowcharts of FIG. 5, FIG. 6, and FIG.
  • the determination processes in steps S7, S8, S15 to S17, and S28 to S30 may be executed in parallel with other processes in the process of each device.
  • the next position / orientation information is acquired in step S15, it is determined whether or not the next omnidirectional composite image information has been received during the processing of steps S13 to S15 for the next position / orientation information. Processing may be performed.
  • FIG. 10 is a schematic explanatory diagram when a plurality of omnidirectional image acquisition cameras are provided.
  • An obstacle may be removed from the omnidirectional image of the camera 2B and combined to create one omnidirectional image.
  • the control unit 11 (or control unit 51) of the image providing server 1 (or the image providing server 5) acquires an omnidirectional image from each of the omnidirectional image acquisition cameras 2A and 2B, and removes an obstacle from both omnidirectional images. Then, both omnidirectional images are synthesized to create one omnidirectional image.
  • the scope of application of the present invention is not limited to the above embodiment.
  • the present invention can be widely applied to systems that display mixed reality.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

複数のユーザが合成画像を体験する場合に、各ユーザが自分の視点を自在に変更しながら複合現実感を体験することができる複合現実感表示システム等を提供する。 画像提供サーバと複数のクライアント端末とが通信可能に構成された通信可能な複合現実感表示システムであって、画像提供サーバは、仮想物体を描画し、描画した仮想物体と、全方位画像取得カメラにて撮影された全方位画像を合成する合成手段と、合成画像情報を複数のクライアント端末に向けて配信する。クライアント端末は、当該クライアント端末を観察するユーザの視線を定義する位置姿勢情報に基づいて、画像提供サーバから受信した合成画像情報が示す合成画像から部分領域画像を抽出し、表示する。

Description

[規則91に基づく訂正 11.01.2012]　複合現実感表示システム、画像提供サーバ、表示装置及び表示プログラム
　本発明は、現実空間画像と仮想物体を合成して表示する複合現実感表示システム等に関し、特に、画像提供サーバにて作成された合成画像を、観察者側の表示装置に切り出して表示する複合現実感表示システム等に関する。
　現実世界の撮影画像に、コンピュータグラフィックス（ＣＧ）描画された仮想物体を重ね合せて、観察者の表示装置に表示することにより、ＣＧ描画された仮想物体が現実世界に出現したかのように見せることが可能となる表示システムに関する研究が活発に行われている。このような表示システムは、複合現実感（Mixed Reality）又は拡張現実感（Augmented Reality）等と呼ばれる（以下、複合現実感表示システムと言う）。
　複合現実感表示システムでは、現実世界の画像を撮影するためのカメラと、撮影画像に仮想物体を合成する処理装置と、合成画像を表示するディスプレイが必要となる。したがって、カメラ、処理装置、ディスプレイが一体となったパーソナルコンピュータ（ＰＣ）又は携帯端末（携帯電話、ＰＤＡ、スマートフォン等）、ヘッドマウントディスプレイ（ＨＭＤ）などのスタンドアローンデバイスを用いることが一般的である。一方で、ＨＭＤから送信された撮影画像を、画像処理装置を介して複数人で共有しあうシステムも開示されている（特許文献１参照）。また、非特許文献１には、現実世界の光源環境を用いて仮想物体の陰影を作成する技術について開示されている。
　複合現実感をより好適に表現するためには、三次元ＣＧ物体の影を、より現実世界の光源環境を適正に反映させなければならない。特許文献２には、ＨＭＤのカメラを移動させて光源推定する方法が提案されている。
特開２００９－３７４８７号公報 特開２００８－３３５３１号公報
角田哲也、大石岳史、池内克史、"影付け平面を用いた複合現実感における高速陰影表現手法" 映像情報メディア学会誌 62(5), 788-795, 2008-05-01
　このような複合現実感表示システムを、イベントや観光案内などで複数のユーザが合成画像を同時体験する場面では、ユーザ数分のスタンドアローンデバイスが必要となりコスト的に高額となる問題がある。
　また、１台のカメラで現実世界の画像を撮影し、画像合成装置で仮想物体と合成した後、合成画像を複数のユーザの表示デバイスに分配すれば、専用のカメラと画像合成装置は一台で足りる。しかし、この方法では、複数のユーザが同じ合成画像を共有体験するに留まり、各ユーザが視点変更することはできない。
　本発明の目的は、このような問題等に鑑みて、複数のユーザが合成画像を体験する場合に、各ユーザが自分の視点を自在に変更しながら複合現実感を体験することができる複合現実感表示システム等を提供することにある。
　本発明の複合現実感表示システムは、画像提供サーバと複数の表示装置とが通信可能に構成された複合現実感表示システムであって、前記画像提供サーバは、仮想物体を描画する仮想物体描画手段と、前記仮想物体描画手段が描画した仮想物体と、所定方位角範囲を撮影可能なカメラにて撮影された現実空間画像を合成する合成手段と、前記合成手段が合成して得た合成画像情報を前記複数の表示装置に向けて配信する配信手段と、を有し、前記表示装置は、前記画像提供サーバから前記合成画像情報を受信する受信手段と、前記表示装置を観察するユーザの視線を定義する位置情報又は姿勢情報の少なくともいずれか一方を取得する位置姿勢情報取得手段と、前記位置姿勢情報取得手段が取得した前記位置情報又は／及び前記姿勢情報に基づいて、前記受信手段が受信した前記合成画像情報が示す合成画像から部分領域画像を抽出する抽出手段と、前記抽出手段が抽出した前記部分領域画像を表示する表示手段と、を有することを特徴とする。
　本発明の画像提供サーバは、画像提供サーバと複数の表示装置とが通信可能に構成された複合現実感表示システムに含まれる前記画像提供サーバであって、仮想物体を描画する仮想物体描画手段と、前記仮想物体描画手段が描画した仮想物体と、所定方位角範囲を撮影可能なカメラにて撮影された現実空間画像を合成する合成手段と、前記合成手段が合成して得た合成画像情報を前記複数の表示装置に向けて配信する配信手段と、を有し、前記仮想物体描画手段は、前記現実空間画像情報に含まれる光源環境情報に基づいて光源分布を推定し、仮想物体の陰影を作成して前記仮想物体を描画することを特徴とする。
　複数の前記カメラからそれぞれ取得した前記現実空間画像に写る障害物を除去する除去手段を有し、前記合成手段は、前記除去手段による障害物除去後の各前記現実空間画像を合成し、合成後の現実空間画像と前記仮想物体を合成して前記合成画像情報を得てもよい。
　本発明の表示装置は、画像提供サーバと複数の表示装置とが通信可能に構成された複合現実感表示システムに含まれる前記表示装置であって、仮想物体と、所定方位角範囲を撮影可能なカメラにて撮影された現実空間画像と、を合成した合成画像を前記画像提供サーバから受信する受信手段と、前記表示装置を観察するユーザの視線を定義する位置情報又は姿勢情報の少なくともいずれか一方を取得する位置姿勢情報取得手段と、前記位置姿勢情報取得手段が取得した前記位置情報又は／及び前記姿勢情報に基づいて、前記受信手段が受信した前記合成画像情報が示す合成画像から部分領域画像を抽出する抽出手段と、前記抽出手段が抽出した前記部分領域画像を表示する表示手段と、を有することを特徴とする。
　表示範囲の指定を受け付ける指示入力手段を備え、前記抽出手段は、前記指示入力手段からの表示範囲指定情報に従って前記合成画像から前記部分領域画像を抽出し、前記表示手段は、前記抽出手段が抽出した前記部分領域画像を表示してもよい。
　本発明の複合現実感表示プログラムは、コンピュータを、前記表示装置として機能させること特徴とする。
　本発明の複合現実感表示方法は、複数の表示装置にて、仮想物体と現実空間画像を合成した画像を表示する複合現実感表示方法であって、前記画像提供サーバが、前記仮想物体と、所定方位角範囲を撮影可能なカメラにて撮影された前記現実空間画像を合成するステップと、合成後の合成画像情報を、前記複数の表示装置に向けて配信するステップと、を有し、前記表示装置が、当該表示装置を観察するユーザの視線を定義する位置情報又は姿勢情報の少なくともいずれか一方を取得するステップと、前記位置情報又は／及び前記姿勢情報に基づいて、前記画像提供サーバから受信した前記合成画像情報が示す合成画像から部分領域画像を抽出するステップと、前記部分領域画像を表示するステップと、を有することを特徴とする。
　本発明の複合現実感表示システムは、画像提供サーバと複数の表示装置とが通信可能に構成された複合現実感表示システムであって、前記画像提供サーバは、仮想物体を描画する仮想物体描画手段と、前記仮想物体描画手段が描画した仮想物体と、所定方位角範囲を撮影可能なカメラにて撮影された現実空間画像を合成する合成手段と、前記表示装置から、当該表示装置を観察するユーザの視線を定義する位置情報又は姿勢情報の少なくともいずれか一方を取得する位置姿勢情報取得手段と、前記位置姿勢情報取得手段が取得した前記位置情報又は／及び前記姿勢情報に基づいて、前記合成手段が合成して得た合成画像から部分領域画像を抽出する抽出手段と、前記抽出手段が抽出した前記部分領域画像を、前記複数の表示装置のうち前記位置情報又は前記姿勢情報の送信元である前記表示装置に送信する送信手段と、を有し、前記表示装置は、前記画像提供サーバに前記位置情報又は姿勢情報の少なくともいずれか一方を送信する送信手段と、前記画像提供サーバから前記部分領域画像を受信する受信手段と、前記受信手段が受信した前記部分領域画像を表示する表示手段と、を有することを特徴とする。
　本発明の画像提供サーバは、画像提供サーバと複数の表示装置とが通信可能に構成された複合現実感表示システムに含まれる前記画像提供サーバであって、仮想物体を描画する仮想物体描画手段と、前記仮想物体描画手段が描画した仮想物体と、所定方位角範囲を撮影可能なカメラにて撮影された現実空間画像を合成する合成手段と、前記表示装置から、当該表示装置を観察するユーザの視線を定義する位置情報又は姿勢情報の少なくともいずれか一方を取得する位置姿勢情報取得手段と、前記位置姿勢情報取得手段が取得した前記位置情報又は／及び前記姿勢情報に基づいて、前記合成手段が合成して得た合成画像から部分領域画像を抽出する抽出手段と、前記抽出手段が抽出した前記部分領域画像を、前記複数の表示装置のうち前記位置情報又は前記姿勢情報の送信元である前記表示装置に送信する送信手段と、を有することを特徴とする。
　前記仮想物体描画手段は、前記現実空間画像情報に含まれる光源環境情報に基づいて光源分布を推定し、仮想物体の陰影を作成して前記仮想物体を描画してもよい。
　複数の前記カメラからそれぞれ取得した前記現実空間画像に写る障害物を除去する除去手段を有し、前記合成手段は、前記除去手段による障害物除去後の各前記現実空間画像を合成し、合成後の現実空間画像と前記仮想物体を合成して前記合成画像情報を得てもよい。
　本発明の複合現実感表示方法は、複数の表示装置にて、仮想物体と現実空間画像を合成した画像を表示する複合現実感表示方法であって、前記画像提供サーバが、前記仮想物体と、所定方位角範囲を撮影可能なカメラにて撮影された前記現実空間画像を合成するステップと、前記表示装置から送信された当該表示装置を観察するユーザの視線を定義する位置情報又は姿勢情報の少なくともいずれか一方を取得するステップと、取得した前記位置情報又は／及び前記姿勢情報に基づいて、合成後の合成画像から部分領域画像を抽出するステップと、前記部分領域画像を前記前記位置情報又は／及び前記姿勢情報の送信元の表示装置に送信するステップと、を有し、前記表示装置が、前記画像提供サーバから受信した前記部分領域画像を表示するステップと、を有することを特徴とする。
　本発明の複合現実感表示システムによれば、表示装置に処理負担をかけることなく、各ユーザが自分の視点を自在に変更しながら、複合現実感を体験することができる。
　本発明の画像提供サーバによれば、光源環境情報を取得するための魚眼レンズ付きカメラや鏡面球などの特殊な光源情報取得手段を別途用意する必要がなく、仮想物体に適切な陰影付けを行なった合成画像を表示装置に提供できる。
　本発明の表示装置によれば、少ない処理負担で、ユーザが自分の視点を自在に変更しながら、複合現実感を体験することができる。
　本発明の複合現実感表示方法によれば、表示装置に処理負担をかけることなく、各ユーザが自分の視点を自在に変更しながら、複合現実感を体験することができる。
　さらに、本発明の画像提供サーバによれば、表示装置に処理負担をかけることなく、各ユーザに対し複合現実感を体験することができる部分領域画像を提供できる。
本発明の複合現実感表示システムの概略説明図である。 第１実施例における複合現実感表示システムＳ１の構成例を示すブロック図である。 第１実施例の概略説明図である。 （Ａ）は指示入力装置４の説明図である。（Ｂ）及び（Ｃ）は指示入力装置４の表示範囲指定インターフェース例である。 第１実施例の画像提供サーバ１の全方位合成画像配信処理を示すフローチャートである。 第１実施例のクライアント端末３の表示処理を示すフローチャートである。 第２実施例における複合現実感表示システムＳ２の構成例を示すブロック図である。 第２実施例の概略説明図である。 第２実施例の画像提供サーバ５の部分領域画像送信処理を示すフローチャートである。 複数の全方位画像取得カメラを備えた場合の概略説明図である。
　以下、本発明の実施の形態を説明する。なお、本実施形態では、複合現実感表示システムに備えたクライアント端末に本発明の表示装置を適用する場合について説明する。
　図１は、本発明の複合現実感表示システムの概略説明図である。複合現実感表示システムは、画像提供サーバ、全方位画像取得カメラ、及び複数のクライアント端末等により構成される。クライアント端末は、ＨＭＤ（Head
Mounted Display）、デジタルサイネージ端末、モバイル端末（携帯電話、ＰＤＡ、スマートフォン等）などである。複合現実感表示システムは、例えば、イベント開催地、観光地等様々な場所で屋外屋内を問わず構成設置することができる。
　全方位画像取得カメラは、現実世界の画像を撮影するための装置である。画像提供サーバは、全方位画像取得カメラが撮影した全方位画像（本発明の現実空間画像の一例であり、実物体が撮影された画像）に、コンピュータグラフィックス（ＣＧ）描画された仮想物体を重ね合せて合成画像を得る。そして、クライアント端末は、画像提供サーバから合成画像を受信して表示する。これにより、ユーザは、ＣＧ描画された仮想物体が現実世界に出現したかのような画像を体験することができる。
　本発明の第１実施例と第２実施例について説明する。第１実施例は、ブロードキャストによる複合現実感表示システムＳ１の例であり、画像提供サーバが複数のクライアント端末に合成画像を配信する。第２実施例は、ユニキャストによる複合現実感表示システムＳ２の例であり、画像提供サーバが各クライアント端末からの画像送信要求に応じて合成画像を送信する。
＜第１実施例＞
　図２は、第１実施例における複合現実感表示システムＳ１の構成例を示すブロック図であり、図３は、第１実施例の概略説明図である。
　複合現実感表示システムＳ１は、画像提供サーバ１と、全方位画像取得カメラ２と、複数のクライアント端末３と、指示入力装置４（本発明の指示入力手段の一例）等により構成される。なお、図２では図示を簡単にするためクライアント端末３は１台とした。
　画像提供サーバ１は、演算機能を有するＣＰＵ、作業用ＲＡＭ、各種データ及びプログラムを記憶するＲＯＭ等から構成された制御部１１、ハードディスクドライブ等を備える記憶部１２、各種ネットワーク（ＬＡＮ（Local Area Network）を含む）を介して、全方位画像取得カメラ２、クライアント端末３、他の装置又は各種周辺機器等と通信を行なうための通信部１３を備えて構成されている。各構成部材はバスを介して相互に接続されている。
　記憶部１２は、陰影情報データベース（ＤＢ）１２１、ＣＧ情報データベース（ＤＢ）１２２等を記憶する。陰影情報ＤＢ１２１には、三次元物体陰影情報が登録されている。三次元物体陰影情報は、三次元ＣＧ物体に陰影づけを行うために必要な基礎データ等の各種情報である。ＣＧ情報ＤＢ１２２には、文化財建造物、完成後予測建造物、注釈、道案内、キャラクター、広告等の三次元ＣＧ物体を作成するためのＣＧ情報が登録されている。
　制御部１１は、三次元物体描画手段１１１、合成手段１１２等を備える。三次元物体描画手段１１１は、本発明の仮想物体描画手段の一例であり、陰影情報ＤＢ１２１及びＣＧ情報ＤＢ１２２Ｃの情報に基づいて、仮想物体の一例である三次元ＣＧ物体を描画する。合成手段１１２は、全方位画像取得カメラ２からの全方位画像と、三次元物体描画手段１１１が作成した三次元ＣＧ物体とを重ね合せて全方位合成画像を作成する。
　なお、三次元ＣＧ物体への陰影付け、三次元ＣＧ物体の描画、及び画像合成の具体的な手法は、上記非特許文献１及び本願出願人による特願２００９－２１１８９１に詳細に開示されているため、説明を省略する。
　全方位画像取得カメラ２は、所定方位角範囲を撮影可能である。例えば、天頂部も含む全方位の撮影が可能であることが好ましい。全方位画像取得カメラ２は、例えば、数十分の１秒ごとに繰り返し撮影を行い、その都度全方位画像情報（本発明の現実空間画像情報の一例）を画像提供サーバ１へ送信する。
　画像提供サーバ１の三次元物体描画手段１１１は、全方位画像取得カメラ２から受信した全方位画像情報に含まれる現実世界の光源環境情報に基づいて、三次元ＣＧ物体に対して適切な陰影付を行ったうえで、全方位画像と重ね合せて全方位合成画像を作成する。画像提供サーバ５の三次元物体描画手段１１１及び合成手段１１２は、全方位画像取得カメラ２から新しい全方位画像情報を受信するたびに、全方位合成画像を作成する。作成された全方位合成画像は、複数のクライアント端末３へ一斉配信される。
　クライアント端末３は、演算機能を有するＣＰＵ、作業用ＲＡＭ、各種データ及びプログラム（本発明の複合現実感表示プログラムを含む）を記憶するＲＯＭ等から構成された本発明のコンピュータとしての制御部３１、モニタ等の表示画面を備える表示部３２、各種ネットワーク（ＬＡＮ（Local Area Network）を含む）を介して、画像提供サーバ１又は他の装置又は指示入力装置４等の各種周辺機器と通信を行なうための通信部３３を備えて構成されている。各構成部材はバスを介して相互に接続されている。
　制御部３１は、位置姿勢情報取得手段３１１、抽出手段３１２等を備える。
　位置姿勢情報取得手段３１１は、ユーザの視線を定義する位置姿勢情報を取得する。位置姿勢情報は、例えば、クライアント端末３がＨＭＤの場合、ＨＭＤを装着するユーザの位置と姿勢（向き）によって変化する。位置姿勢情報取得手段３１１は、ジャイロセンサ、磁気センサ、ＧＰＳ（Global Positioning System）、加速度センサ等のいずれか、又はこれらを組み合わせて構成される。なお、センサハードウェアの組み合わせ以外に、カメラと２次元マーカー、ＬＥＤマーカー、可視光マーカー、不可視(再帰性反射材)マーカーや、画像特徴点を用いた光学トラッキングによる位置合わせ等の組み合わせ手法によって位置姿勢情報を取得してもよい。また、位置姿勢情報は、当該ユーザの位置情報及び姿勢情報のいずれか一方でもよい。
　抽出手段３１２は、画像提供サーバ１から受信した全方位合成画像から、部分領域画像を抽出する。具体的に、位置情報取得手段３１１が取得した位置姿勢情報に基づいて、位置姿勢情報が示す位置と方向の領域を全方位合成画像から切り出して抽出する。抽出された部分領域画像は、表示部３２のモニタ等に表示される。よって、ユーザは、全方位合成画像から自己の位置姿勢に応じた部分領域画像を観察することができる。
　クライアント端末３は、例えば数十分の１秒ごとに画像提供サーバ１から全方位合成画像を受信する。また、位置姿勢情報取得手段３１１は、例えば数十分の１秒～数分の一秒ごとに位置姿勢情報を取得する。そして、抽出手段３１２は、新しい全方位合成画像又は新しい位置姿勢情報を受信（取得）するたびに、部分領域画像を抽出して表示画像を更新する。
　指示入力装置４は、ユーザから指示を受け付け当該指示に応じた指示信号を通信部３３を介してクライアント端末３に送信する。図４（Ａ）は指示入力装置４の説明図である。図４（Ａ）に示すように、指示入力装置４は、ＨＭＤがクライアント端末３である場合に、ユーザが首からぶら下げるなどして携帯する。
　図４（Ｂ）及び（Ｃ）は指示入力装置４の表示範囲指定インターフェース例である。ＨＭＤの表示部３２で観察している画像の表示範囲（視点）を変更する際の指示入力装置４の操作例であり、ユーザが指示入力装置４のパネル上をタップして上下左右に表示範囲を指定（図４（Ｂ））したり、或いは、指示入力装置４自身を傾けたり揺らして表示範囲を指定（図４（Ｃ））する。そして、指示入力装置４は、指定に従い表示範囲指定情報を生成する。生成された表示範囲指定情報はネットワークや近距離無線通信を通じて、ＨＭＤに送信され位置姿勢情報取得手段３１１が通信部３３を介して取得する。
　指示入力装置４は、画面上でタップして表示範囲を指定する構成に限定されず、指示入力装置４に備えたマイクを介してユーザが音声により表示範囲を指定指示してもよい。また、カメラ（例えば、ＨＭＤに取り付けたカメラ）で眼球運動を追跡し、ユーザの視線を検知し、検知した視線方向に従って表示範囲を指定指示してもよい。
　図５は、画像提供サーバ１の全方位合成画像配信処理を示すフローチャートである。全方位合成画像配信処理は、制御部１１が実行する処理である。
　まず、画像提供サーバ１の制御部１１は、全方位画像取得カメラ２から全方位画像情報を取得する（ステップＳ１）。次に、制御部１１の三次元物体描画手段１１１は、光源分布推定処理を行なう。ステップＳ１で取得した全方位画像情報に含まれる現実世界の光源環境情報に基づいて、光源分布推定処理を行い、推定光源分布を取得する（ステップＳ２）。全方位画像情報に含まれる現実世界の光源環境情報は、例えば全方位画像情報が示す全方位画像の上端から数％～十数％程度の範囲の明度情報等を採用する。
　続いて、制御部１１の三次元物体描画手段１１１は、陰影情報ＤＢ１２１を参照し、ステップＳ２で取得された推定光源分布に基づいて、陰影情報を生成する（ステップＳ３）。
　次に、制御部１１の三次元物体描画手段１１１は、ＣＧ情報ＤＢ１２２のＣＧ情報に対し、ステップＳ３で生成された陰影情報に基づいて、陰影付け処理を施し、三次元ＣＧ物体を作成（描画）する（ステップＳ４）。
　次に、制御部１１の合成手段１１２は、ステップＳ１で取得した全方位画像情報が示す全方位画像と、ステップＳ４で作成された三次元ＣＧ物体とを重ね合せて全方位合成画像を作成する（ステップＳ５）。そして、制御部１１は、ステップＳ５で作成した全方位合成画像を示す全方位合成画像情報を複数のクライアント端末３に配信する（ステップＳ６）。
　続いて、制御部１１は、全方位画像取得カメラ２から次の全方位画像情報を取得したか否かを判定し（ステップＳ７）、判定の結果、取得した場合（ステップＳ７：Ｙｅｓ）には、ステップＳ２に移行して、次の全方位画像情報に対してステップＳ２～ステップＳ７の処理を繰り返し行う。
　一方、判定の結果、取得していない場合（ステップＳ７：Ｎｏ）には、終了指示があったか否かを判定する（ステップＳ８）。判定の結果、終了指示がない場合（ステップＳ８：Ｎｏ）には、ステップＳ７に移行して、全方位画像取得カメラ２からの次の全方位画像情報の受信を待機する。
　一方、画像提供サーバ１の入力部（不図示）から処理終了が指示された場合、又は遠隔のサーバ管理者からネットワークを通じて終了指示信号を受信した場合など、終了指示があった場合（ステップＳ８：Ｙｅｓ）には、処理を終了する。
　図６は、クライアント端末３の表示処理を示すフローチャートである。表示処理は、制御部３１が実行する処理である。
　まず、クライアント端末３の制御部３１は、画像提供サーバ１から全方位合成画像情報を取得し（ステップＳ１１）、制御部３１の位置姿勢情報取得手段３１１は、位置姿勢情報を取得する（ステップＳ１２）。
　次に、制御部３１の抽出手段３１２は、ステップＳ２で取得した位置姿勢情報に基づいて、ステップＳ１で取得した全方位合成画像情報が示す全方位合成画像から、部分領域画像を抽出する（ステップＳ１３）。制御部３１は、抽出した部分領域画像をモニタ等の表示画面に表示する（ステップＳ１４）。
　続いて、制御部３１は、位置姿勢情報取得手段３１１が次の位置姿勢情報を取得したか否かを判定する（ステップＳ１５）。判定の結果、取得した場合（ステップＳ１５：Ｙｅｓ）には、ステップＳ１３に移行して、次の位置姿勢情報に対してステップＳ１３～ステップＳ１５の処理を繰り返し行う。
　一方、ステップＳ１５の判定の結果、取得していない場合（ステップＳ１５：Ｎｏ）には、制御部３１は、画像提供サーバ１から次の全方位合成画像情報を取得したか否かを判定（ステップＳ１６）する。判定の結果、取得した場合（ステップＳ１６：Ｙｅｓ）には、ステップＳ１３に移行して、次の全方位合成画像情報に対してステップＳ１３～ステップＳ１６の処理を繰り返し行う。
　一方、ステップＳ１６の判定の結果、取得していない場合（ステップＳ１６：Ｎｏ）には、終了指示があったか否かを判定する（ステップＳ１７）。判定の結果、終了指示がない場合（ステップＳ１７：Ｎｏ）には、ステップＳ１５に移行して、画像提供サーバ１からの次の全方位合成画像情報の受信、又は、位置姿勢情報取得手段３１１による次の位置姿勢情報の取得を待機する。
　一方、ステップＳ１７の判定の結果、クライアント端末３の入力部（不図示）から処理終了が指示された場合、又は指示入力装置４から通信部２３を介して終了指示信号を受信した場合など、終了指示があった場合（ステップＳ１７：Ｙｅｓ）には、処理を終了する。
　以上、説明したように、第１実施例では、画像提供サーバ１は、仮想物体を描画し、当該仮想物体と全方位画像を合成し、全方位合成画像情報を複数のクライアント端末３に配信した。クライアント端末３は、画像提供サーバ１から全方位合成画像を受信すると、位置姿勢情報に基づいて、部分領域画像を抽出し、モニタ等の表示画面に表示するよう構成した。よって、クライアント端末３に処理負担をかけることなく、各ユーザが自分の視点を自在に変更しながら、複合現実感を体験することができる。
　さらに、画像提供サーバ１の三次元物体描画手段１１１は、全方位画像情報に含まれる光源環境情報に基づいて光源分布を推定し、仮想物体の陰影を作成して仮想物体を描画した。これにより、光源環境情報を取得するための魚眼レンズ付きカメラや鏡面球などの特殊な光源情報取得手段を別途用意する必要がなく、全方位画像情報に含まれる光源環境情報に基づいて、適切な陰影付けを行うことができる。
　さらに、指示入力装置４を備え、抽出手段３１２は、指示入力装置４からの表示範囲指定情報をに従って部分領域画像を抽出するよう構成した。これにより、ユーザは、指示入力装置４で所望の表示範囲を指定できる。
＜第２実施例＞
　図７は、第２実施例における複合現実感表示システムＳ１の構成例を示すブロック図であり、図８は、第１実施例の概略説明図である。第１実施例と同様の構成については説明を省略する。
　複合現実感表示システムＳ２は、画像提供サーバ５と、全方位画像取得カメラ２と、複数のクライアント端末６と、指示入力装置４等により構成される。全方位画像取得カメラ２と指示入力装置４は第１実施例と同様の構成である。
　画像提供サーバ５は、演算機能を有するＣＰＵ、作業用ＲＡＭ、各種データ及びプログラムを記憶するＲＯＭ等から構成された制御部５１、ハードディスクドライブ等を備える記憶部５２、各種ネットワーク（ＬＡＮ（Local Area Network）を含む）を介して、全方位画像取得カメラ２、クライアント端末６、他の装置、又は各種周辺機器と通信を行なうための通信部５３を備えて構成されている。各構成部材はバスを介して相互に接続されている。
　記憶部５２は、陰影情報データベース（ＤＢ）５２１、ＣＧ情報データベース（ＤＢ）５２２等を記憶する。陰影情報ＤＢ５２１は第１実施例の陰影情報ＤＢ１２１と同様の構成である。ＣＧ情報ＤＢ５２２は、第１実施例のＣＧ情報ＤＢ１２２と同様の構成である。
　制御部５１は、三次元物体描画手段５１１、合成手段５１２、位置姿勢情報取得手段５１３、抽出手段５１４等を備える。三次元物体描画手段５１１は第１実施例の三次元物体描画手段１１１と同様の構成である。合成手段５１２は、第１実施例の合成手段１１２と同様の構成である。
　位置姿勢情報取得手段５１３は、通信部５３を介してクライアント端末６から当該クライアント端末６の位置姿勢情報を取得する。
　抽出手段５１４は、合成手段５１２が作成した全方位合成画像から、部分領域画像を抽出する。具体的に、合成手段５１２が作成した全方位合成画像に基づいて、位置姿勢情報が示す方向の領域を全方位合成画像から切り出して抽出する。抽出された部分領域画像は、部分領域画像情報として通信部５３を介してクライアント端末６へ送信され、クライアント端末６にて表示される。よって、ユーザは、全方位合成画像から自己の位置姿勢に応じた部分領域画像を観察することができる。
　クライアント端末６は、演算機能を有するＣＰＵ、作業用ＲＡＭ、各種データ及びプログラムを記憶するＲＯＭ等から構成された制御部６１、モニタ等の表示画面を備える表示部６２、各種ネットワーク（ＬＡＮ（Local Area Network）を含む）を介して、画像提供サーバ５又は他の装置又は指示入力装置４等の各種周辺機器と通信を行なうための通信部６３を備えて構成されている。各構成部材はバスを介して相互に接続されている。
　制御部６１は、位置姿勢情報取得手段６１１等を備える。位置姿勢情報取得手段６１１は、第１実施例の位置姿勢情報取得手段３１１と同様の構成である。クライアント端末６は、位置姿勢情報取得手段６１１が位置姿勢情報を取得すると、当該位置姿勢情報を画像提供サーバ５へ送信する。そして、クライアント端末６は、位置姿勢情報に応じた部分領域画像情報を画像提供サーバ５から受信し、表示部６２の表示画面に表示する。
　全方位画像取得カメラ２は、例えば、数十分の１秒ごとに繰り返し撮影を行い、その都度取得された全方位画像情報を、画像提供サーバ５へ送信する。画像提供サーバ５の三次元物体描画手段５１１及び合成手段５１２は、新しい全方位画像を受信するたびに、全方位合成画像を作成する。また、クライアント端末６の位置姿勢情報取得手段６１１は、例えば、数十分の１秒～数分の一秒ごとに位置姿勢情報を取得し、画像提供サーバ５へ送信する。そして、画像提供サーバ５の位置姿勢情報取得手段５１３はこれを受信（取得）する。抽出手段５１４は、新しい全方位合成画像が作成されるたびに、又は新しい位置姿勢情報を取得するたびに、抽出処理を行なう
　図９は、画像提供サーバ５の部分領域画像送信処理を示すフローチャートである。部分領域画像送信処理は、制御部５１が実行する処理であり、位置姿勢情報取得手段５１３がクライアント端末３からの位置姿勢情報を受信したときに開始する。
　ステップＳ２１乃至ステップＳ２５の処理は、第１実施例のステップＳ１乃至ステップＳ５と同様の処理のため説明を省略する。
　次に、制御部５１は、位置姿勢情報取得手段５１３が取得した位置姿勢情報に基づいて、ステップＳ２５で作成した全方位合成画像から部分領域画像を抽出する（ステップＳ２６）。制御部５１は、抽出した部分領域画像を位置姿勢情報の送信元のクライアント端末６へ送信する（ステップＳ２７）。
　続いて、制御部５１は、位置姿勢情報取得手段５１３がクライアント端末６からの次の位置姿勢情報を取得したか否かを判定する（ステップＳ２８）。判定の結果、取得した場合（ステップＳ２８：Ｙｅｓ）には、ステップＳ２６に移行して、次の位置姿勢情報に対してステップＳ２６～ステップＳ２８の処理を繰り返し行う。
　一方、ステップＳ２８の判定の結果、取得していない場合（ステップＳ２８：Ｎｏ）には、制御部５１は、全方位画像取得カメラ２から次の全方位画像情報を取得したか否かを判定する（ステップＳ２９）。判定の結果、取得した場合（ステップＳ２９：Ｙｅｓ）には、ステップＳ２２に移行して、次の全方位画像情報に対してステップＳ２２～ステップＳ２９の処理を繰り返し行う。
　一方、ステップＳ２９の判定の結果、取得していない場合（ステップＳ２９：Ｎｏ）には、終了指示があったか否かを判定する（ステップＳ３０）。判定の結果、終了指示がない場合（ステップＳ３０：Ｎｏ）には、ステップＳ２８に移行して、全方位画像取得カメラ２からの次の全方位画像情報の受信、又は位置姿勢情報取得手段５１３による次の位置姿勢情報の取得を待機する。
　一方、ステップＳ３０の判定の結果、画像提供サーバ５の入力部（不図示）から処理終了が指示された場合、又は遠隔のサーバ管理者からネットワークを通じて終了指示信号を受信した場合など、終了指示があった場合（ステップＳ３０：Ｙｅｓ）には、処理を終了する。
　以上、説明したように、第２実施例によれば、クライアント端末６に処理負担をかけることなく、各ユーザが自分の視点を自在に変更しながら、複合現実感を体験することができる。特に、画像提供サーバ５が、陰影付け、合成、抽出を行うため、クライアント端末６に対し複合現実感を体験することができる部分領域画像を提供できる。
　なお、上述した各実施例では、クライアント端末３（又はクライアント端末６）とネットワークを通じて情報の授受が可能な指示入力装置４を本発明の指示入力手段の一例としたが、指示入力手段をクライアント端末内部に備えてもよい。
　また、ＣＧ情報ＤＢ１２２に複数種類のＣＧ情報を登録しておき、複数種類の三次元ＣＧ物体による合成画像を鑑賞することができるよう構成することもできる。ＣＧ情報の種類が、例えば、「Ａ社提供の広告」、「Ｂ社提供の広告」、「文化財建造物」、「道案内」の場合、指示入力装置４の表示パネルに「Ａ社提供の広告」、「Ｂ社提供の広告」、「文化財建造物」、「道案内」の指示ボタンを表示する。三次元物体描画手段１１１（又は三次元物体描画手段５１１）は、ユーザにより選択された指示ボタンのＣＧ情報に基づいて、三次元ＣＧ物体を作成し、合成手段１１２（又は合成手段５１２）が、三次元ＣＧ物体を全方位画像と合成して全方位合成画像を作成する。この構成により、ユーザは所望の仮想物体を鑑賞することができる。
　また、本発明は、図５、図６、図９のフローチャートには限定されない。例えば、ステップＳ７、Ｓ８、Ｓ１５～Ｓ１７、Ｓ２８～Ｓ３０の各判断処理は、各装置の処理において他の処理と並行して実行してもよい。具体的には、ステップＳ１５で次の位置姿勢情報を取得した場合に次の位置姿勢情報に対するステップＳ１３～１５の処理を実行中に、次の全方位合成画像情報を受信したか否かの判断処理を行ってもよい。
　（応用例）
　複数の全方位画像取得カメラを備えてもよい。図１０は、複数の全方位画像取得カメラを備えた場合の概略説明図である。
　例えば、現実世界に、写したくない障害物（例えば、視界を防ぐ物、特定企業の広告、公序良俗に反する物等）がある場合、全方位画像取得カメラ２Ａの全方位画像と、全方位画像取得カメラ２Ｂの全方位画像から障害物を除去して合成して、一つの全方位画像を作成してもよい。
　画像提供サーバ１（又は画像提供サーバ５）の制御部１１（又は制御部５１）が、全方位画像取得カメラ２Ａと２Ｂのそれぞれから全方位画像を取得し、両全方位画像から障害物を除去し、両全方位画像を合成して一つの全方位画像を作成する。
　本発明の適用範囲は上記実施形態に限定されることはない。本発明は、複合現実感を表示するシステムに広く適用することができる。
　１　画像提供サーバ
　　　１１１　三次元物体描画手段
　　　１１２　合成手段
　２　全方位画像取得カメラ
　３　クライアント端末
　　３１１　位置姿勢情報取得手段
　　３１２　抽出手段
　　３２　表示部
　４　指示入力装置
　５　画像提供サーバ
　　　５１１　三次元物体描画手段
　　　５１２　合成手段
　　　５１３　位置姿勢情報取得手段
　　　５１４　抽出手段
　６　クライアント端末
　　６２　表示部

Claims (12)

  1. 画像提供サーバと複数の表示装置とが通信可能に構成された複合現実感表示システムであって、
    　前記画像提供サーバは、
    　仮想物体を描画する仮想物体描画手段と、
    　前記仮想物体描画手段が描画した仮想物体と、所定方位角範囲を撮影可能なカメラにて撮影された現実空間画像を合成する合成手段と、
    　前記合成手段が合成して得た合成画像情報を前記複数の表示装置に向けて配信する配信手段と、を有し、
    　前記表示装置は、
    　前記画像提供サーバから前記合成画像情報を受信する受信手段と、
    　前記表示装置を観察するユーザの視線を定義する位置情報又は姿勢情報の少なくともいずれか一方を取得する位置姿勢情報取得手段と、
    　前記位置姿勢情報取得手段が取得した前記位置情報又は／及び前記姿勢情報に基づいて、前記受信手段が受信した前記合成画像情報が示す合成画像から部分領域画像を抽出する抽出手段と、
    　前記抽出手段が抽出した前記部分領域画像を表示する表示手段と、
    を有することを特徴とする複合現実感表示システム。
  2. 画像提供サーバと複数の表示装置とが通信可能に構成された複合現実感表示システムに含まれる前記画像提供サーバであって、
    　仮想物体を描画する仮想物体描画手段と、
    　前記仮想物体描画手段が描画した仮想物体と、所定方位角範囲を撮影可能なカメラにて撮影された現実空間画像を合成する合成手段と、
    　前記合成手段が合成して得た合成画像情報を前記複数の表示装置に向けて配信する配信手段と、を有し、
    　前記仮想物体描画手段は、前記現実空間画像情報に含まれる光源環境情報に基づいて光源分布を推定し、仮想物体の陰影を作成して前記仮想物体を描画することを特徴とする画像提供サーバ。
  3. 複数の前記カメラからそれぞれ取得した前記現実空間画像に写る障害物を除去する除去手段を有し、
    　前記合成手段は、前記除去手段による障害物除去後の各前記現実空間画像を合成し、合成後の現実空間画像と前記仮想物体を合成して前記合成画像情報を得ることを特徴とする請求項２に記載の画像提供サーバ。
  4. 画像提供サーバと複数の表示装置とが通信可能に構成された複合現実感表示システムに含まれる前記表示装置であって、
    　仮想物体と、所定方位角範囲を撮影可能なカメラにて撮影された現実空間画像と、を合成した合成画像を前記画像提供サーバから受信する受信手段と、
    　前記表示装置を観察するユーザの視線を定義する位置情報又は姿勢情報の少なくともいずれか一方を取得する位置姿勢情報取得手段と、
    　前記位置姿勢情報取得手段が取得した前記位置情報又は／及び前記姿勢情報に基づいて、前記受信手段が受信した前記合成画像情報が示す合成画像から部分領域画像を抽出する抽出手段と、
    　前記抽出手段が抽出した前記部分領域画像を表示する表示手段と、
    を有することを特徴とする表示装置。
  5. 表示範囲の指定を受け付ける指示入力手段を備え、
    　前記抽出手段は、前記指示入力手段からの表示範囲指定情報に従って前記合成画像から前記部分領域画像を抽出し、
    　前記表示手段は、前記抽出手段が抽出した前記部分領域画像を表示することを特徴とする請求項４に記載の表示装置。
  6. コンピュータを、請求項４又は５に記載の表示装置として機能させること特徴とする複合現実感表示プログラム。
  7. 複数の表示装置にて、仮想物体と現実空間画像を合成した画像を表示する複合現実感表示方法であって、
    　前記画像提供サーバが、前記仮想物体と、所定方位角範囲を撮影可能なカメラにて撮影された前記現実空間画像を合成するステップと、合成後の合成画像情報を、前記複数の表示装置に向けて配信するステップと、を有し、
    　前記表示装置が、当該表示装置を観察するユーザの視線を定義する位置情報又は姿勢情報の少なくともいずれか一方を取得するステップと、前記位置情報又は／及び前記姿勢情報に基づいて、前記画像提供サーバから受信した前記合成画像情報が示す合成画像から部分領域画像を抽出するステップと、前記部分領域画像を表示するステップと、を有することを特徴とする複合現実感表示方法。
  8. 画像提供サーバと複数の表示装置とが通信可能に構成された複合現実感表示システムであって、
    　前記画像提供サーバは、
    　仮想物体を描画する仮想物体描画手段と、
    　前記仮想物体描画手段が描画した仮想物体と、所定方位角範囲を撮影可能なカメラにて撮影された現実空間画像を合成する合成手段と、
    　前記表示装置から、当該表示装置を観察するユーザの視線を定義する位置情報又は姿勢情報の少なくともいずれか一方を取得する位置姿勢情報取得手段と、
    　前記位置姿勢情報取得手段が取得した前記位置情報又は／及び前記姿勢情報に基づいて、前記合成手段が合成して得た合成画像から部分領域画像を抽出する抽出手段と、
    　前記抽出手段が抽出した前記部分領域画像を、前記複数の表示装置のうち前記位置情報又は／及び前記姿勢情報の送信元である前記表示装置に送信する送信手段と、を有し、
    　前記表示装置は、
    　前記画像提供サーバに前記位置情報又は前記姿勢情報の少なくともいずれか一方を送信する送信手段と、
    　前記画像提供サーバから前記部分領域画像を受信する受信手段と、
    　前記受信手段が受信した前記部分領域画像を表示する表示手段と、
    を有することを特徴とする複合現実感表示システム。
  9. 画像提供サーバと複数の表示装置とが通信可能に構成された複合現実感表示システムに含まれる前記画像提供サーバであって、
    　仮想物体を描画する仮想物体描画手段と、
    　前記仮想物体描画手段が描画した仮想物体と、所定方位角範囲を撮影可能なカメラにて撮影された現実空間画像を合成する合成手段と、
    　前記表示装置から、当該表示装置を観察するユーザの視線を定義する位置情報又は姿勢情報の少なくともいずれか一方を取得する位置姿勢情報取得手段と、
    　前記位置姿勢情報取得手段が取得した前記位置情報又は／及び前記姿勢情報に基づいて、前記合成手段が合成して得た合成画像から部分領域画像を抽出する抽出手段と、
    　前記抽出手段が抽出した前記部分領域画像を、前記複数の表示装置６のうち前記位置情報又は／及び前記姿勢情報の送信元である前記表示装置に送信する送信手段と、
    を有することを特徴とする画像提供サーバ。
  10. 前記仮想物体描画手段は、前記現実空間画像情報に含まれる光源環境情報に基づいて光源分布を推定し、仮想物体の陰影を作成して前記仮想物体を描画することを特徴とする請求項９に記載の画像提供サーバ。
  11. 複数の前記カメラからそれぞれ取得した前記現実空間画像に写る障害物を除去する除去手段を有し、
    　前記合成手段は、前記除去手段による障害物除去後の各前記現実空間画像を合成し、合成後の現実空間画像と前記仮想物体を合成して前記合成画像情報を得ることを特徴とする請求項８乃至１０のいずれか一項に記載の画像提供サーバ。
  12. 複数の表示装置にて、仮想物体と現実空間画像を合成した画像を表示する複合現実感表示方法であって、
    　前記画像提供サーバが、前記仮想物体と、所定方位角範囲を撮影可能なカメラにて撮影された前記現実空間画像を合成するステップと、前記表示装置から送信された当該表示装置を観察するユーザの視線を定義する位置情報又は姿勢情報の少なくともいずれか一方を取得するステップと、取得した前記位置情報又は／及び前記姿勢情報に基づいて、合成後の合成画像から部分領域画像を抽出するステップと、前記部分領域画像を前記前記位置情報又は／及び前記姿勢情報の送信元の表示装置に送信するステップと、を有し、
    　前記表示装置が、前記画像提供サーバから受信した前記部分領域画像を表示するステップと、を有することを特徴とする複合現実感表示方法。
     
PCT/JP2011/068853 2010-08-30 2011-08-22 複合現実感表示システム、画像提供サーバ、表示装置及び表示プログラム WO2012029576A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/819,233 US20130194305A1 (en) 2010-08-30 2011-08-22 Mixed reality display system, image providing server, display device and display program
EP11821593.8A EP2613296B1 (en) 2010-08-30 2011-08-22 Mixed reality display system, image providing server, display apparatus, and display program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-191692 2010-08-30
JP2010191692A JP2012048597A (ja) 2010-08-30 2010-08-30 複合現実感表示システム、画像提供画像提供サーバ、表示装置及び表示プログラム

Publications (1)

Publication Number Publication Date
WO2012029576A1 true WO2012029576A1 (ja) 2012-03-08

Family

ID=45772674

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/068853 WO2012029576A1 (ja) 2010-08-30 2011-08-22 複合現実感表示システム、画像提供サーバ、表示装置及び表示プログラム

Country Status (4)

Country Link
US (1) US20130194305A1 (ja)
EP (1) EP2613296B1 (ja)
JP (1) JP2012048597A (ja)
WO (1) WO2012029576A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012148678A1 (en) * 2011-04-26 2012-11-01 Echostar Technologies L.L.C. Apparatus, systems and methods for shared viewing experience using head mounted displays
WO2014197229A1 (en) * 2013-06-07 2014-12-11 Sony Computer Entertainment America Llc Systems and methods for reducing hops associated with a head mounted system
CN104429064A (zh) * 2012-07-11 2015-03-18 索尼电脑娱乐公司 图像生成装置及图像生成方法
JP2016528942A (ja) * 2013-06-07 2016-09-23 ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー より少ないホップにより拡張仮想現実シーンをヘッドマウントシステム内に生成するためのシステム及び方法
WO2022149497A1 (ja) * 2021-01-05 2022-07-14 ソニーグループ株式会社 情報処理装置、情報処理方法およびコンピュータプログラム

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5927822B2 (ja) * 2011-09-21 2016-06-01 カシオ計算機株式会社 画像通信システム
JP5568610B2 (ja) * 2012-08-28 2014-08-06 株式会社プレミアムエージェンシー 拡張現実システム、映像合成装置、映像合成方法及びプログラム
JP6214981B2 (ja) * 2012-10-05 2017-10-18 株式会社ファイン 建築画像表示装置、建築画像表示方法及びコンピュータプログラム
JP6030935B2 (ja) * 2012-12-04 2016-11-24 任天堂株式会社 情報処理プログラム、表示制御装置、表示システム及び表示方法
WO2014091824A1 (ja) * 2012-12-10 2014-06-19 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
JP2014187559A (ja) * 2013-03-25 2014-10-02 Yasuaki Iwai 仮想現実提示システム、仮想現実提示方法
JP6292658B2 (ja) * 2013-05-23 2018-03-14 国立研究開発法人理化学研究所 頭部装着型映像表示システム及び方法、頭部装着型映像表示プログラム
US20150095792A1 (en) * 2013-10-01 2015-04-02 Canon Information And Imaging Solutions, Inc. System and method for integrating a mixed reality system
US10089785B2 (en) * 2014-07-25 2018-10-02 mindHIVE Inc. Real-time immersive mediated reality experiences
KR102223339B1 (ko) * 2014-10-17 2021-03-05 주식회사 케이티 증강 현실 비디오 게임을 제공하는 방법, 디바이스 및 시스템
CN105635635A (zh) 2014-11-19 2016-06-01 杜比实验室特许公司 调节视频会议系统中的空间一致性
CN106161346B (zh) * 2015-03-30 2019-09-20 阿里巴巴集团控股有限公司 图片合成方法及装置
WO2016173599A1 (en) * 2015-04-28 2016-11-03 Cb Svendsen A/S Object image arrangement
JP6346131B2 (ja) * 2015-09-07 2018-06-20 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法
KR101716326B1 (ko) * 2015-09-08 2017-03-14 클릭트 주식회사 가상현실영상 전송방법, 재생방법 및 이를 이용한 프로그램
US20170078593A1 (en) * 2015-09-16 2017-03-16 Indoor Reality 3d spherical image system
DE102015118540B4 (de) * 2015-10-29 2021-12-02 Geomar Helmholtz-Zentrum Für Ozeanforschung Kiel - Stiftung Des Öffentlichen Rechts Tauchroboter-Bild-/Videodatenvisualisierungssystem
DE102015014041B3 (de) * 2015-10-30 2017-02-09 Audi Ag Virtual-Reality-System und Verfahren zum Betreiben eines Virtual-Reality-Systems
JP6532393B2 (ja) * 2015-12-02 2019-06-19 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置及び表示制御方法
GB201604184D0 (en) * 2016-03-11 2016-04-27 Digital Reality Corp Ltd Remote viewing arrangement
JP6084728B1 (ja) * 2016-04-08 2017-02-22 株式会社コロプラ 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム
US10539797B2 (en) 2016-05-06 2020-01-21 Colopl, Inc. Method of providing virtual space, program therefor, and recording medium
JP6126271B1 (ja) * 2016-05-17 2017-05-10 株式会社コロプラ 仮想空間を提供する方法、プログラム及び記録媒体
JP6126272B1 (ja) * 2016-05-17 2017-05-10 株式会社コロプラ 仮想空間を提供する方法、プログラム及び記録媒体
WO2017199848A1 (ja) * 2016-05-17 2017-11-23 株式会社コロプラ 仮想空間を提供する方法、プログラム及び記録媒体
WO2018016809A1 (en) * 2016-07-19 2018-01-25 Samsung Electronics Co., Ltd. Display device, method of controlling thereof and display system
KR20180010891A (ko) * 2016-07-22 2018-01-31 동서대학교산학협력단 Vr기기를 통한 360도 오페라 영상 제공방법
JP2018036720A (ja) * 2016-08-29 2018-03-08 株式会社タカラトミー 仮想空間観察システム、方法及びプログラム
CN109983532A (zh) * 2016-11-29 2019-07-05 夏普株式会社 显示控制装置、头戴式显示器、显示控制装置的控制方法以及控制程序
KR101874111B1 (ko) * 2017-03-03 2018-07-03 클릭트 주식회사 가상현실영상 재생방법 및 이를 이용한 프로그램
KR101788545B1 (ko) * 2017-03-06 2017-10-20 클릭트 주식회사 가상현실영상 전송방법, 재생방법 및 이를 이용한 프로그램
WO2018182192A1 (en) * 2017-03-28 2018-10-04 Samsung Electronics Co., Ltd. Method and apparatus for displaying image based on user motion information
US11782669B2 (en) * 2017-04-28 2023-10-10 Microsoft Technology Licensing, Llc Intuitive augmented reality collaboration on visual data
CN109509162B (zh) * 2017-09-14 2023-05-30 阿里巴巴集团控股有限公司 图像采集方法、终端、存储介质及处理器
JP6556295B2 (ja) * 2018-05-24 2019-08-07 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法
JP2020042064A (ja) * 2018-09-06 2020-03-19 キヤノン株式会社 表示制御装置、撮像装置、制御方法、プログラム、及び、記憶媒体
EP3884467A4 (en) * 2018-11-23 2022-06-08 GEENEE GmbH SYSTEMS AND METHODS FOR AUGMENTED REALITY USING WEB BROWSERS
CN113412510A (zh) 2019-02-15 2021-09-17 Jvc建伍株式会社 图像调整系统、图像调整装置以及图像调整方法
US11070786B2 (en) 2019-05-02 2021-07-20 Disney Enterprises, Inc. Illumination-based system for distributing immersive experience content in a multi-user environment
JP6683862B2 (ja) * 2019-05-21 2020-04-22 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置及び表示制御方法
JP2019220185A (ja) * 2019-07-09 2019-12-26 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法
JP6892904B2 (ja) * 2019-08-29 2021-06-23 株式会社スクウェア・エニックス 画像処理プログラム、及び画像処理システム
JP2020074066A (ja) * 2019-09-09 2020-05-14 キヤノン株式会社 画像表示装置、画像表示装置の制御方法
CN111462663B (zh) * 2020-06-19 2020-10-27 南京新研协同定位导航研究院有限公司 一种基于mr眼镜的导游方法
CN114900625A (zh) * 2022-05-20 2022-08-12 北京字跳网络技术有限公司 虚拟现实空间的字幕渲染方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10208073A (ja) * 1997-01-16 1998-08-07 Hitachi Ltd 仮想現実作成装置
JP2003264740A (ja) * 2002-03-08 2003-09-19 Cad Center:Kk 展望鏡
JP2004102835A (ja) * 2002-09-11 2004-04-02 Univ Waseda 情報提供方法およびそのシステム、携帯型端末装置、頭部装着装置、並びにプログラム
JP2005020559A (ja) * 2003-06-27 2005-01-20 Univ Waseda 立体映像呈示装置
JP2005107968A (ja) * 2003-09-30 2005-04-21 Canon Inc 画像表示装置及び方法並びに情報処理方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7738688B2 (en) * 2000-05-03 2010-06-15 Aperio Technologies, Inc. System and method for viewing virtual slides
JP2003115050A (ja) * 2001-10-04 2003-04-18 Sony Corp 映像データ処理装置及び映像データ処理方法、データ配信装置及びデータ配信方法、データ受信装置及びデータ受信方法、記憶媒体、並びにコンピュータ・プログラム
JP4804256B2 (ja) * 2006-07-27 2011-11-02 キヤノン株式会社 情報処理方法
JP2010533282A (ja) * 2007-06-08 2010-10-21 テレ アトラス ベスローテン フエンノートシャップ 多視点パノラマを生成する方法及び装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10208073A (ja) * 1997-01-16 1998-08-07 Hitachi Ltd 仮想現実作成装置
JP2003264740A (ja) * 2002-03-08 2003-09-19 Cad Center:Kk 展望鏡
JP2004102835A (ja) * 2002-09-11 2004-04-02 Univ Waseda 情報提供方法およびそのシステム、携帯型端末装置、頭部装着装置、並びにプログラム
JP2005020559A (ja) * 2003-06-27 2005-01-20 Univ Waseda 立体映像呈示装置
JP2005107968A (ja) * 2003-09-30 2005-04-21 Canon Inc 画像表示装置及び方法並びに情報処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2613296A4 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012148678A1 (en) * 2011-04-26 2012-11-01 Echostar Technologies L.L.C. Apparatus, systems and methods for shared viewing experience using head mounted displays
US8836771B2 (en) 2011-04-26 2014-09-16 Echostar Technologies L.L.C. Apparatus, systems and methods for shared viewing experience using head mounted displays
US9253509B2 (en) 2011-04-26 2016-02-02 Echostar Technologies L.L.C. Apparatus, systems and methods for shared viewing experience using head mounted displays
US10410562B2 (en) 2012-07-11 2019-09-10 Sony Interactive Entertainment Inc. Image generating device and image generating method
CN104429064A (zh) * 2012-07-11 2015-03-18 索尼电脑娱乐公司 图像生成装置及图像生成方法
US20150163473A1 (en) * 2012-07-11 2015-06-11 Sony Computer Entertainment Inc. Image generating device and image generating method
JP2018069069A (ja) * 2013-06-07 2018-05-10 ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー より少ないホップにより拡張仮想現実シーンをヘッドマウントシステム内に生成するためのシステム及び方法
RU2628665C2 (ru) * 2013-06-07 2017-08-21 Сони Компьютер Энтертейнмент Америка Ллк Системы и способы уменьшения транзитных участков, связанных с нашлемной системой
JP2016528942A (ja) * 2013-06-07 2016-09-23 ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー より少ないホップにより拡張仮想現実シーンをヘッドマウントシステム内に生成するためのシステム及び方法
US10137361B2 (en) 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
WO2014197229A1 (en) * 2013-06-07 2014-12-11 Sony Computer Entertainment America Llc Systems and methods for reducing hops associated with a head mounted system
US10905943B2 (en) 2013-06-07 2021-02-02 Sony Interactive Entertainment LLC Systems and methods for reducing hops associated with a head mounted system
EP3872618A1 (en) * 2013-06-07 2021-09-01 Sony Computer Entertainment America LLC Systems and methods for reducing hops associated with a head mounted system
EP4142254A1 (en) * 2013-06-07 2023-03-01 Sony Interactive Entertainment LLC Systems and methods for reducing hops associated with a head mounted system
WO2022149497A1 (ja) * 2021-01-05 2022-07-14 ソニーグループ株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
US12001018B2 (en) 2021-01-05 2024-06-04 Sony Group Corporation Device, method and program for improving cooperation between tele-existence and head-mounted display

Also Published As

Publication number Publication date
EP2613296A1 (en) 2013-07-10
US20130194305A1 (en) 2013-08-01
JP2012048597A (ja) 2012-03-08
EP2613296B1 (en) 2017-10-25
EP2613296A4 (en) 2015-08-26

Similar Documents

Publication Publication Date Title
WO2012029576A1 (ja) 複合現実感表示システム、画像提供サーバ、表示装置及び表示プログラム
US20210374782A1 (en) Spectator and participant system and method for displaying different views of an event
US11223821B2 (en) Video display method and video display device including a selection of a viewpoint from a plurality of viewpoints
US10089794B2 (en) System and method for defining an augmented reality view in a specific location
JP6329343B2 (ja) 画像処理システム、画像処理装置、画像処理プログラム、および画像処理方法
EP3238445B1 (en) Interactive binocular video display
JP2012048597A5 (ja) 複合現実感表示システム、画像提供サーバ、表示装置及び表示プログラム
US9129429B2 (en) Augmented reality on wireless mobile devices
US10022626B2 (en) Information processing system, information processing apparatus, storage medium having stored therein information processing program, and information processing method, for performing augmented reality
KR20160124479A (ko) 서버, 사용자 단말 장치 및 그 제어 방법
WO2018079557A1 (ja) 情報処理装置および画像生成方法
CN108351689B (zh) 用于显示处于预定义区域中的对象的全息图像的方法和系统
CN111569414B (zh) 虚拟飞行器的飞行展示方法、装置、电子设备及存储介质
EP4054186A1 (en) Information processing apparatus, information processing method, and program
KR101594071B1 (ko) 전시 장치 및 전시 시스템과 이를 이용한 전시 정보 제공 방법
WO2022176450A1 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20200079857A (ko) 증강현실을 이용한 공연콘텐츠 제공 시스템 및 그의 제공방법
KR101315398B1 (ko) 3차원 증강 현실 표시 장치 및 방법
TW201721361A (zh) 互動式擴增實境系統
JP6389540B2 (ja) 動画データ生成装置、表示システム、表示制御装置、及びプログラム
WO2022181379A1 (ja) 画像処理装置、画像処理方法、及びプログラム
WO2019038885A1 (ja) 情報処理装置および画像出力方法
JP7417827B2 (ja) 画像編集方法、画像表示方法、画像編集システム、及び画像編集プログラム
KR102231381B1 (ko) 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 시스템 및 방법
US10609343B2 (en) Area display system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11821593

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2011821593

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2011821593

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13819233

Country of ref document: US