WO2011122496A1 - 情報処理システム、会議管理装置、情報処理方法、会議管理装置の制御方法及びプログラム - Google Patents

情報処理システム、会議管理装置、情報処理方法、会議管理装置の制御方法及びプログラム Download PDF

Info

Publication number
WO2011122496A1
WO2011122496A1 PCT/JP2011/057456 JP2011057456W WO2011122496A1 WO 2011122496 A1 WO2011122496 A1 WO 2011122496A1 JP 2011057456 W JP2011057456 W JP 2011057456W WO 2011122496 A1 WO2011122496 A1 WO 2011122496A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
image data
display medium
conference
augmented reality
Prior art date
Application number
PCT/JP2011/057456
Other languages
English (en)
French (fr)
Inventor
昇 庵原
和宏 笹尾
甲 横山
新 櫻井
Original Assignee
新日鉄ソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 新日鉄ソリューションズ株式会社 filed Critical 新日鉄ソリューションズ株式会社
Priority to EP11762727.3A priority Critical patent/EP2493187B1/en
Priority to CN201180004044.6A priority patent/CN102577370B/zh
Priority to US13/511,936 priority patent/US8659635B2/en
Priority to SG2012048120A priority patent/SG181977A1/en
Publication of WO2011122496A1 publication Critical patent/WO2011122496A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation

Definitions

  • the present invention relates to augmented reality (hereinafter referred to as AR) that can superimpose and display video in real space and computer graphics image data.
  • AR is a technique for providing supplementary information by superimposing and displaying computer-managed data (hereinafter referred to as computer graphics image data) such as characters, graphics, still images, and moving images in an actual environment.
  • a technology related to conference support software such as a TV conference system and a Web conference system in which information is shared among members in remote locations is known (for example, see Non-Patent Document 1).
  • conference participants in remote locations will be meeting while looking at each other's faces, and will be meeting while looking at each other as if they were meeting in one room (conference room). It is possible to proceed.
  • the Web conference system the range of communication between remote locations such as sharing of materials is widened, and the conference between remote locations is made smoother.
  • a web conference system using a whiteboard is known (see, for example, Non-Patent Document 2). This is a conference support system that displays information written on a whiteboard using an electronic pen on a remote whiteboard.
  • V-cube “Nice meet you”, Internet ⁇ http://www.nice2meet.us> Hitachi Software "StarBoard”, Internet ⁇ http://www.hitachijoho.com/solution/network/jp-tv/starboard.html>
  • an object of the present invention is to support the facilitation of a conference without being restricted by the environment of each location even if members participating in the conference are physically different locations.
  • An information processing system is a target for combining and displaying a plurality of augmented reality presentation devices capable of combining and displaying real-space video and computer graphics image data, and computer graphics image data.
  • An information processing system including a conference management device that manages a display medium of each user, wherein the plurality of augmented reality presentation devices generate image data of the user's display medium and transmit the image data to the conference management device First generation means for generating, and second generation means for generating presentation information for the user's conference and transmitting the presentation information to the conference management device, wherein the conference management device includes each user and each user.
  • First management means for managing the association with the image data of the display medium used by the computer, and presentation for the conference received from the plurality of augmented reality presentation devices Comparing the second management means for managing the information, the data managed by the first management means, the image data of the display medium received from the augmented reality presentation device, and the association of the user
  • a verification unit that performs verification of the display medium, and transmission that transmits presentation information for the conference managed by the second management unit to the augmented reality presentation device when the verification of the display medium is successful
  • the augmented reality presentation device further includes presentation means for synthesizing and presenting computer graphics image data indicating presentation information for the conference with the video of the display medium in the real space.
  • the conference management device of the present invention is communicably connected to a plurality of augmented reality presentation devices that can synthesize and display real-space video and computer graphics image data indicating presentation information for each user's conference.
  • a conference management apparatus for managing a display medium of each user for which computer graphics image data is synthesized and displayed, wherein each user is associated with image data of a display medium used by each user First management means for managing, second management means for managing presentation information for a user's meeting received from the plurality of augmented reality presentation devices, data managed by the first management means, By comparing the image data of the display medium of the user received from the augmented reality presentation device and the correspondence of the user, the display Collation means for collating the body, and transmission means for transmitting presentation information for the conference managed by the second management means to the augmented reality presentation device when the display medium is successfully collated.
  • the information processing method of the present invention is a target for combining and displaying a plurality of augmented reality presentation apparatuses capable of combining and displaying real-space video and computer graphics image data, and computer graphics image data.
  • the method for controlling a conference management apparatus communicates with a plurality of augmented reality presentation apparatuses capable of combining and displaying a video in real space and computer graphics image data indicating presentation information for each user's conference.
  • a control method of a conference management apparatus for managing display media of the respective users to be combined and displayed as computer graphics image data that can be connected, wherein each user is managed by a first management means And the display medium image data used by each user is compared with the user's display medium image data received from the augmented reality presentation device and the user's association.
  • a collation step for collating the medium, and the collation of the display medium when the collation of the display medium is successful characterized in that it comprises a transmission step of transmitting presentation information to the user of the conference received from the augmented reality presentation apparatus to the augmented reality presentation apparatus.
  • the program of the present invention is communicably connected to a plurality of augmented reality presentation devices that can synthesize and display real-space video and computer graphics image data indicating presentation information for each user's meeting.
  • FIG. 1 is a diagram schematically showing a configuration of a conference management system according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a functional configuration of the conference management server.
  • FIG. 3 is a diagram illustrating a functional configuration of the HMD and the small camera.
  • FIG. 4 is a diagram illustrating a hardware configuration of the conference management server.
  • FIG. 5 is a diagram illustrating a hardware configuration of the HMD and the small camera.
  • FIG. 6 is a flowchart showing display medium registration processing in the conference management system according to the embodiment of the present invention.
  • FIG. 7A is a flowchart showing logical object registration processing in the conference management system according to the embodiment of the present invention.
  • FIG. 7B is a flowchart showing logical object transmission processing and AR display processing in the conference management system according to the embodiment of the present invention.
  • FIG. 8A is a diagram illustrating an AR display example of a logical object on a display medium.
  • FIG. 8B is a diagram illustrating an AR display example of a logical object on a display medium.
  • FIG. 8C is a diagram illustrating an AR display example of the logical object on the display medium.
  • FIG. 9 is a diagram illustrating an AR display example of a logical object on a display medium.
  • FIG. 10 is a diagram illustrating an AR display example of a logical object on a display medium.
  • FIG. 1 is a diagram schematically showing a configuration of a conference management system according to an embodiment of the present invention.
  • a conference management server 100 in the conference management system according to the present embodiment, small cameras 202a to 202c, and HMD (Head Mounted Display) 201a to 201c are connected via a wireless communication line.
  • the conference management server 100 includes a display medium management database 101 that manages the display media of each user, and a logical object management database 102 that manages logical objects that are combined and displayed on the video of each display medium in the real space.
  • a logical object is computer graphics image data in which information shared among users is written.
  • the HMDs 201a to 201c are of eyeglass type and are worn on the heads of the users A to C.
  • the HMDs 201a to 201c produce an extended sense of reality by displaying logical objects at positions that are optically transmitted and aligned with the images in the real space that are displayed on the lens portions of the HMDs 201a to 201c.
  • the combined display of the logical object that gives the augmented reality may be referred to as an AR (Augmented Reality) display.
  • the small cameras 202a to 202c are attached to the HMDs 201a to 201c so that image data can be taken at an angle of view close to the field of view of the users A to C.
  • the captured image data is transmitted to the conference management server 100 via a wireless communication line.
  • HMD high-transmission type, video transmission type, and optical transmission type.
  • the composite display is to superimpose and display computer graphics image data at a matching position on the real space image displayed on the lens portion of the HMD by any method. In the case of the type method, the image is superimposed and displayed on the image of the real space seen through, and in the case of the video transmission type, the image is displayed on the image of the real space captured by the video camera.
  • a display medium is an object that exists in a real space that is a target for AR display of a logical object.
  • the user A selects the cover of the university notebook 302 as the display medium
  • the user B selects the cover of the notebook PC 303 as the display medium
  • the user C selects the spread page of the notebook 304 as the display medium.
  • the display medium preferably has a planar shape if possible, but there is no particular shape to be limited, and an object having an arbitrary shape can be selected.
  • the small cameras 202a to c photograph the display mediums 302 to 304, and perform operations for registering the image data of the display media 302 to 304 in the conference management server 100.
  • the image data of the display media 302 to 304 is transmitted to the conference management server 100.
  • the conference management server 100 manages the received image data of the display media 302 to 304 and the user names A to C in the display medium management database 101 in association with each other. Note that the user names A to C are acquired from the header information of the image data of the display media 302 to 304.
  • the display media 302 to 304 selected by the user A to C are captured in the angle of view of the small cameras 202a to 202c.
  • the image data of the display media 302 to 304 is transmitted to the conference management server 100.
  • the conference management server 100 acquires the user name from the header information of the received image data, and the display medium management database 101 manages the association between the received image data and the user name acquired from the header information of the image data. It is determined whether or not.
  • the user's display medium is successfully verified.
  • the conference management server 100 transmits the logical object managed in the logical object management database 102 to the user's HMD.
  • the HMD receives a logical object from the conference management server 100, synthesizes computer graphics image data of the received logical object with a video on a display medium in the real space, and displays the AR.
  • eyeglass-type HMDs 201a to 201c are cited as examples of AR display devices that are devices for performing AR display, but are not limited thereto.
  • a mobile terminal AR display device that displays a real-space image captured by a camera on a liquid crystal display or the like, and displays and displays computer graphics image data on the displayed real-space image may be used.
  • It may be a head-up display AR display device that is installed in the line-of-sight direction of the driver's seat of the vehicle and displays computer graphics image data in a composite image of real space that is optically transmitted and projected.
  • coordinates between the object in the image in the real space and the computer graphics image data are performed.
  • the position of the object in the real space is detected by analyzing the image data in the real space captured by the camera, and the computer graphics image data is synthesized so as to match the detected position.
  • coordinate alignment is performed such that a logical object is superimposed and displayed on the video of the display medium in the real space.
  • a marker is attached to an object in the real space, the marker is photographed with a camera, the position of the marker is detected from the photographed image data, and the computer is matched with the detected position.
  • Graphics image data may be synthesized.
  • Image data may be synthesized.
  • the logical objects indicating the contents of the discussion are generated by the HMDs 201a to 201c and the small cameras 202a to 202c of the users A to C as the conference proceeds.
  • the logical object is transmitted to the conference management server 100 each time.
  • the conference management server 100 associates the logical object with the user name that is the name of the sender of the logical object, the time stamp indicating the date and time when the logical object was created, and the logical object. to manage.
  • the user name can be acquired from the header information of the transmission data when the logical object is transmitted.
  • the creation date and time of the transmission data is acquired from the header information of the transmission data, and this may be used as the time stamp, or the reception date and time of the transmission data may be used as the time stamp.
  • the conference management server 100 transmits the logical objects managed in the logical object management database 102 to the HMDs 201a to 201c of the user.
  • the transmission of the logical object is performed at the timing when the logical object is registered in the logical object management database 102. Thereby, the real-time property of a meeting is secured.
  • FIG. 2 is a diagram illustrating a functional configuration of the conference management server 100.
  • the display medium image data registration / collation unit 103 receives the display medium image data captured by the small cameras 202a to 202c and displays it in association with the user name when registering the display medium before participating in the conference. Register in the media management database 101. Further, at the time of verification of the display medium at the time of participating in the conference, the display medium image data registration / verification unit 103 receives the image data of the display medium that is also photographed by the small cameras 202a to 202c, and the image data and the image data The display medium is collated by determining whether or not the association with the user name recorded in the header information is managed in the display medium management database 101.
  • the logical object registration / reading unit 104 When the logical object registration / reading unit 104 receives logical objects from the HMDs 201 a to 201 c of each user, the logical object registration / reading unit 104 registers the received logical objects in the logical object management database 102. Further, when the display medium image data registration / collation unit 103 collates the display media 302 to 304, the logical object registration / reading unit 104 reads the logical object from the logical object management database 102, and the collation of the display medium is successful. It transmits to user's HMD201a-c. When receiving a search condition from a PC or mobile terminal (not shown), the logical object search unit 105 searches the logical object management database 102 for a logical object corresponding to the search condition.
  • a logical object with a time stamp corresponding to the specified date and time is searched.
  • the logical object of the specified caller is Searched.
  • the logical object search unit 105 transmits the searched logical object to the PC or mobile terminal that issued the search condition.
  • FIG. 3 is a diagram showing a functional configuration of the HMDs 201a to 201c and the small cameras 202a to 202c.
  • the display medium image data generation unit 203 has a configuration corresponding to the small cameras 202a to 202c.
  • the display medium image data generation unit 203 generates image data of the display medium by photographing and transmits it to the conference management server 100.
  • the logical object generation unit 204 has a configuration corresponding to the HMDs 201a to 201c and the small cameras 202a to 202c, captures the user's writing operation by the small cameras 202a to 202c, detects the locus of the writing operation from the captured image data, A logical object including figures, symbols, characters, etc.
  • a logical object including still image data and moving image data obtained by photographing processing of the small cameras 202a to 202c is generated, and a user
  • the speech content is converted into character data by voice analysis of the above speech, and a logical object including the converted character data is generated.
  • the logical object generation unit 204 transmits the generated logical object to the conference management server 100.
  • the augmented reality presentation unit 205 receives the logical object from the conference management server 100, combines the computer graphics image data of the received logical object with the video of the display medium in the real space, and displays the AR.
  • FIG. 4 is a diagram illustrating a hardware configuration of the conference management server 100.
  • the CPU 1001 comprehensively controls each device and controller connected to the system bus.
  • ROM 1003 or the HD (hard disk) 1009 a BIOS (Basic Input / Output Output System) or an operating system program, which is a control program of the CPU 1001, programs executed by the conference management server 100, for example, the processing programs shown in FIGS. Etc. are stored.
  • BIOS Basic Input / Output Output System
  • the HD 1009 is configured inside the conference management server 100, but a configuration corresponding to the HD 1009 may be configured outside the conference management server 100 as another embodiment.
  • the program for performing the processing shown in FIG. 6, FIG. 7A and FIG. 7B according to the present embodiment is recorded on a computer-readable recording medium such as a flexible disk (FD) or a CD-ROM. It is good also as a structure supplied from a medium, and good also as a structure supplied via communication media, such as the internet.
  • the RAM 1002 functions as a main memory, work area, and the like of the CPU 1001.
  • the CPU 1001 implements various operations by loading a program necessary for execution of processing into the RAM 1002 and executing the program.
  • HD1009 and FD1008 function as an external memory.
  • the CPU 1001 implements various operations by loading a program necessary for execution of processing into the RAM 1002 and executing the program.
  • the disk controller 1010 controls access to external memories such as the HD 1009 and the FD 1008.
  • the communication I / F controller 1006 is connected to the Internet or a LAN, and controls communication with the outside by, for example, TCP / IP.
  • the display controller 1010 controls image display on the display 1011.
  • the KB controller 1004 receives an operation input from the KB (keyboard) 1005 and transmits it to the CPU 1001.
  • a pointing device such as a mouse can be applied to the conference management server 100 according to the present embodiment as a user operation unit.
  • the display medium image data registration / collation unit 103, logical object registration / reading unit 104, and logical object search unit 105 shown in FIG. 2 are stored in, for example, the HD 1009 and loaded into the RAM 1002 as necessary, and execute the program.
  • This is a configuration realized by the CPU 1001.
  • the display medium management database 101 and the logical object management database 102 have a configuration corresponding to a partial storage area of the HD 1009 or the RAM 1002.
  • FIG. 5 is a diagram showing a hardware configuration of the HMDs 201a to 201c and the small cameras 202a to 202c.
  • the CPU 2001 comprehensively controls each device and controller connected to the system bus.
  • the ROM 2002 stores, for example, programs for the processes shown in FIGS. 6, 7A, and 7B executed by the HMDs 201a to 201c and the small cameras 202a to 202c. Note that the program for performing the processes shown in FIGS. 6, 7A, and 7B may be supplied via a communication medium such as the Internet.
  • the RAM 2004 functions as a main memory and work memory of the CPU 2001.
  • the CPU 2001 implements various operations by loading a program necessary for execution of processing into the RAM 2004 and executing the program.
  • the communication I / F controller 2003 is connected to the Internet or a LAN, and controls communication with the outside by, for example, TCP / IP.
  • the imaging unit 2005 converts the subject image incident through the optical lens and formed on the imaging element into an electrical signal, and outputs moving image data or still image data.
  • a display controller 2006 controls image display on the display 2007.
  • an optically transmissive head-mounted display is employed, the display 2007 is configured by a half mirror, and the user who wears it can see the outside through the display 2007.
  • the augmented reality presentation unit 205 illustrated in FIG. 3 has a configuration realized by, for example, a program loaded into the ROM 2002 and a CPU 2001 that executes the program.
  • the logical object generation unit 204 has a configuration realized by the small cameras 202a to 202c in FIG. 1, a microphone (not shown), a program loaded in the ROM 2002, and a CPU 2001 that executes the program.
  • the imaging unit 2005 has a configuration corresponding to the small cameras 202a to 202c in FIG. 1 or the display medium image data generation unit 203 in FIG.
  • FIG. 6 is a flowchart showing display medium registration processing in the conference management system according to the present embodiment.
  • the display medium registration process in the conference management system according to the present embodiment will be described below with reference to FIG.
  • step S101 the display medium image data generation unit 203 generates image data of the display medium selected by the user by photographing.
  • the display medium image data generation unit 203 transmits the generated display medium image data to the conference management server 100.
  • step S201 the display medium image data registration / collation unit 103 determines whether image data of the display medium has been received. When the image data of the display medium is received, the process proceeds to step S202. On the other hand, when the display medium image data is not received, the display medium image data registration / collation unit 103 waits until the display medium image data is received. In step S202, the display medium image data registration / collation unit 103 registers the image data of the display medium and the user name in the display medium management database 101 in association with each other.
  • FIG. 7A is a flowchart showing logical object registration processing in the conference management system according to the present embodiment.
  • the logical object registration process in the conference management system according to the present embodiment will be described with reference to FIG. 7A.
  • a registration process of a logical object generated according to the locus of the writing operation of the user will be described.
  • step S103 the logical object generation unit 204 captures the user's writing operation.
  • step S104 the logical object generation unit 204 detects the locus of the writing operation from the captured image data.
  • step S ⁇ b> 105 the logical object generation unit 204 generates a logical object including a figure, a symbol, a character, and the like corresponding to the detected writing operation trajectory, and transmits the logical object to the conference management server 100.
  • the user's writing operation does not need to actually write figures, symbols, characters, etc., and may be simulated. Even if the writing operation is performed in a simulated manner, by analyzing the image data, the locus of the writing operation can be detected, and a logical object including a figure corresponding to the locus can be generated.
  • step S203 the logical object registration / reading unit 104 determines whether or not a logical object has been received. When the logical object is received, the process proceeds to step S204. On the other hand, when the logical object is not received, the logical object registration / reading unit 104 waits until the logical object is received. In step S204, the logical object registration / reading unit 104 registers the logical object in the logical object management database 102 in association with the sender information and time stamp of the logical object.
  • FIG. 7B is a flowchart showing a logical object transmission process and an AR display process in the conference management system according to the present embodiment.
  • the AR display process in the conference management system according to the present embodiment will be described with reference to FIG. 7B.
  • step S106 the display medium image data generation unit 203 generates image data of the display medium by photographing.
  • step S ⁇ b> 107 the display medium image data generation unit 203 transmits the generated display medium image data to the conference management server 100.
  • step S205 the display medium image data registration / collation unit 103 determines whether image data of the display medium has been received.
  • the process proceeds to step S206.
  • the display medium image data registration / collation unit 103 manages the association between the received display medium image data and the user name recorded in the header information of the image data in the display medium management database 101. The display medium is verified by determining whether or not it exists.
  • step S208 the display medium image data registration / collation unit 103 transmits a logical object to the HMD of the user whose user name is associated with the image data of the display medium in the display medium management database 101.
  • step S108 the augmented reality presentation unit 205 determines whether a logical object has been received. If a logical object is received, the process proceeds to step S109. On the other hand, if a logical object has not been received, it waits until a logical object is received. In step S109, the augmented reality presentation unit 205 synthesizes the received computer graphics image data of the logical object with the video of the display medium in the real space and displays the AR.
  • user A selects the cover of university notebook 302 as the display medium
  • user B selects the lid of notebook PC 303 as the display medium
  • user C selects the facing page of notebook 304 as the display medium.
  • the users A to C photograph the cover of the university notebook 302, the lid of the notebook PC 303, and the spread pages of the notebook 304 with the small cameras 202a to 202c, and perform an operation for registering each as a display medium.
  • the image data of the cover of the university notebook 302 is transmitted from the small camera 202 a of the user A to the conference management server 100.
  • the image data of the lid of the notebook PC 303 is transmitted from the small camera 202 b of the user B to the conference management server 100.
  • the image data of the spread page of the notebook 304 is transmitted from the small camera 202 c of the user C to the conference management server 100.
  • the conference management server 100 manages user A and the image data of the cover of the university notebook 302 in association with each other, and manages user B and the image data of the lid of the notebook PC 303 in association with each other.
  • User C and the image data of the spread page of the notebook 304 are managed in association with each other.
  • the users A to C When participating in the conference, the users A to C take a picture of the previously registered display medium again with the small cameras 202a to 202c.
  • the captured image data is transmitted to the conference management server 100, and the display media of the users A to C are collated.
  • the users A to C can enter the conference.
  • the user A writes on the whiteboard 301 of the conference room in which the user A is present about the reaction of the customer who visited in the morning, and the small camera 202a shoots the writing.
  • the HMD 201 a and the small camera 202 a generate a logical object including the written image data and transmit the logical object to the conference management server 100.
  • the conference management server 100 receives the logical object, registers the logical object in the logical object management database 102 in association with the caller (here, user A) and the time stamp, and registers the logical object with the users A to C.
  • the HMDs 201a to 201c synthesize the logical objects including the image data written by the user A with the videos of the display media 302 to 304 and display the AR.
  • the users A to C can confirm the writing of the user A on the display media 302 to 304.
  • FIG. 8A is a diagram illustrating a state in which the logical object 801 including the image written by the user A is AR displayed on the display medium 302. In this way, the logical object 801 is AR-displayed on the display medium 302, and the user A can refer to the content himself / herself written on the whiteboard 301 on the cover of the university notebook as the display medium 302.
  • the HMD 201b and the small camera 202b generate a logical object including the image data of the corresponding page and transmit the logical object to the conference management server 100.
  • the conference management server 100 receives the logical object and registers the logical object in the logical object management database 102 in association with the caller (here, user B) and the time stamp.
  • the conference management server 100 registers the logical object in the logical object management database 102 and transmits the logical object to the HMDs 201a to 201c.
  • FIG. 8B is a diagram showing a state where the logical object 802 including the image data of the corresponding page of the research report is displayed as AR on the video of the display medium 302. As described above, the logical object 802 is further displayed as AR on the display medium 302, and the user A can refer to the corresponding page of the research report presented by the user B on the cover of the university note.
  • user C writes some customer measures based on the contents of the corresponding page on the spread page of the notebook.
  • This writing operation is photographed by the small camera 202c, and a logical object including figures, symbols, characters, etc. corresponding to the writing operation trajectory is generated by detecting the writing operation trajectory.
  • the generated logical object is transmitted to the conference management server 100.
  • the conference management server 100 receives the logical object, registers the logical object in the logical object management database 102 in association with the sender (here, user C) and the time stamp, and registers the logical object in the HMDs 201a to 201c. Send to.
  • FIG. 8C is a diagram illustrating a state where the logical object 803 including the countermeasure of the customer is displayed as an AR on the video on the display medium 302. In this way, the logical object 803 is further displayed as AR on the display medium 302, and the user A can refer to the countermeasure of the customer written by the user C on the cover of the university notebook.
  • 8A to 8C exemplify the AR display on the cover of the university notebook which is the display medium 302 of the user A, but the cover of the notebook PC which is the display mediums 303 and 304 of the user B and the user C, and the spread pages of the notebook However, the same logical object is displayed as AR. As described above, in this embodiment, even if members who participate in the conference are in physically different locations, it is possible to support the smoothness of the conference without being restricted by the environment of each location.
  • the location (X coordinate, Y coordinate) on a plane such as the case where the distance is long, such as Tokyo and the United States, or the third floor and the fourth floor of a certain building are Although it is the same, it includes all cases where members exist in different spaces, such as a case where the position (Z coordinate) is different in the height direction and a case where the distance is close, such as a face-to-face seat.
  • FIG. 9 shows an example of AR display on the display medium 303 of the user B.
  • reference numeral 901 denotes a logical object including the contents written by the user B. Unlike the other logical objects, this logical object is displayed as AR on the display medium 303 of the user B, but is not displayed as AR on the other display media 302 and 304. That is, if the contents written in the logical object 901 are written as a memo of the user B and are not desired to be seen by other users A and C, the user sets the secret mode and then sets the logical mode. An object 901 is created.
  • the logical object 901 is transmitted to the conference management server 100 and managed in the logical object management database 102, but the logical object 901 is transmitted only to the HMD 201b of the user B, and other users
  • the logical object 901 is not transmitted to the A and C HMDs 201a and c. Accordingly, the HMDs 201 a and c of the users A and C perform AR display that does not include the logical object 901, while the HMD 201 b of the user B performs AR display that includes the logical object 901.
  • FIG. 10 is a diagram illustrating an AR display example on the display medium 302 of the user A.
  • the AR display example shown in FIG. 10 is an example of a display mode adopted when a large number of logical objects are AR-displayed on one display medium.
  • the logical objects generated by each user are divided for each user. AR is displayed.
  • AR is displayed in a tab format with a user name.
  • a list of logical objects generated by the user is displayed in the forefront. You can browse.
  • the logical objects 801 and 1100 generated by the user A are AR displayed on the foremost side.
  • the method of organizing objects when displaying AR may be other than for each user such as AR display in a tab manner for each logical object.
  • the logical object referred to by the speaker user during the speech may be forcibly displayed in the AR on the display medium of each conference participant.
  • Which user is a speaker can be specified by the conference management server 100 monitoring an audio signal obtained from each user's microphone.
  • the conference management server 100 can be realized by instructing the HMDs 201a to 201c of each user to AR-display the logical object of the user specified as a speaker in the forefront. Thereby, it becomes possible to support the communication of the conference participants and smoothly advance the conference.
  • the logical object may be enlarged or reduced in accordance with the size of the display medium, or the logical object may be displayed in AR by scrolling. Thereby, it is possible to cope with the case where the work environment changes or the posture is changed during the meeting and the display medium needs to be changed accordingly.
  • the conference management server 100 manages the location referred to by the speaker, and the conference management server 100 manages the location for each user.
  • the HMDs 201a to 201c may be instructed to perform AR display in an emphasized manner. For example, when user A is speaking while pointing to the 10th page and 5th line in the 20-page material, it is assumed that user B is turning and viewing the 15th page of the AR-displayed material. In such a case, for example, a bookmark-type tag can be displayed on the display medium of the user B at the location of the 10th page and the 5th row in the material. Thereby, it is possible to visually obtain information on the reference location even though the conference is performed at a physically distant place, making it easier to follow the material and proceeding with the conference smoothly.
  • logical objects when logical objects are AR-displayed, alignment between logical objects can be performed. This is to obtain the position coordinates in which writing is performed with the position of the logical object displayed as AR as the reference coordinates first, and to include the contents of the writing so as to be the same position coordinates in the coordinate system on each display medium. Place. Thereby, AR display in which the positional relationship between logical objects is consistent on each display medium is possible.
  • the HMDs 201a to 201c execute the alignment between the logical objects described above to prevent such a problem from occurring.
  • the conference management system according to the present embodiment can also be applied to a plurality of conferences. That is, when applied to a plurality of conferences, the association between the user name and the image data of the display medium, the logical object, and the like are managed in association with the identification information of each conference. Therefore, when a user registers the same display medium for a plurality of meetings (for example, in the display medium management database 101, the user 1 and the image data of the display medium 1 are associated with the two meetings A and B).
  • a plurality of conference logical objects for example, conference A logical object, conference B logical object
  • conference A logical object for example, conference A logical object
  • conference B logical object a plurality of conference logical objects
  • the conference identification information attached to each logical object can be displayed more conspicuously, and the conference logical object can be displayed more easily.
  • the user instead of confusing a plurality of conference logical objects on the same display medium and displaying the AR, the user specifies which conference to participate in before comparing the display media, and the conference management server 100 May be notified.
  • the embodiment of the present invention can be realized by a computer executing a program.
  • means for supplying a program to a computer for example, a computer-readable recording medium such as a CD-ROM recording such a program, or a transmission medium for transmitting such a program can also be applied as an embodiment of the present invention.
  • a program product such as a computer-readable recording medium that records the program can also be applied as an embodiment of the present invention.
  • the programs, computer-readable recording media, transmission media, and program products are included in the scope of the present invention.
  • the present invention is useful for augmented reality that can superimpose and display real-space video and computer graphics image data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)

Abstract

　ＨＭＤ（２０１ａ～ｃ）及び小型カメラ（２０２ａ～ｃ）は、ユーザの表示媒体の画像データを生成し、会議管理サーバ（１００）に対して送信する。また、ＨＭＤ（２０１ａ～ｃ）及び小型カメラ（２０２ａ～ｃ）は、ユーザの会議に対する提示情報を生成し、会議管理サーバ（１００）に対して送信する。会議管理サーバ（１００）は、各ユーザと各ユーザが使用する表示媒体の画像データとの対応付けと、受信したユーザの表示媒体の画像データ及びユーザの対応付けとを比較することにより表示媒体の照合を行い、表示媒体の照合が成功した場合、ＨＭＤ（２０１ａ～ｃ）及び小型カメラ（２０２ａ～ｃ）から受信したユーザの会議に対する提示情報をＨＭＤ（２０１ａ～ｃ）に対して送信する。

Description

情報処理システム、会議管理装置、情報処理方法、会議管理装置の制御方法及びプログラム
　本発明は、現実空間の映像とコンピュータグラフィックス画像データとを合成して重畳表示させることが可能な拡張現実（Augmented Reality、以下ＡＲ）に関するものである。なお、ＡＲとは文字、図形、静止画、動画等のコンピュータで管理されたデータ（以下、コンピュータグラフィックス画像データ）を、現実の環境へ重畳表示させ、補足的な情報を与える技術である。
　ＴＶ会議システムやＷｅｂ会議システム等、遠隔地間にいるメンバ同士が情報共有する会議支援ソフトウェアに関する技術が知られている（例えば、非特許文献１参照）。ＴＶ会議システムを利用すると、遠隔地間にいる会議参加者同士が顔を見合せながら会議を進行することになり、一つの部屋（会議室）で会議しているのと同様に顔を見合せながら会議を進行することが可能になる。さらに、Ｗｅｂ会議システムにおいては、資料を共有する等遠隔地間で意思疎通の幅が広がり、遠隔地間での会議をより円滑にする。その他、ホワイトボードを使ったＷｅｂ会議システムが知られている（例えば、非特許文献２参照）。これは、電子ペンを使ってホワイトボードへ書き込んだ情報を、遠隔地のホワイトボードへ表示する会議支援システムである。
ブイキューブ社「Ｎｉｃe ｔｏ ｍｅｅｔ ｙｏｕ」、インターネット＜http://www.nice2meet.us＞ 日立ソフト「ＳｔａｒＢｏａｒｄ」、インターネット＜http://www.hitachijoho.com/solution/network/jp-tv/starboard.html＞
　しかしながら、これらの従来技術は、遠隔地間にいるメンバ同士で情報共有することは可能であるが、そのための環境が固定されていた。例えば、ａさんはＡ地点に設置されたＴＶ会議システム（ｘ）のもと、ｂさんはＢ地点に設置されたＴＶ会議システム（ｙ）のもと、といった環境による制約が発生する。従って、メンバがどこにいても、同じ空間で会議しているような状況を実現することはできなかった。
　そこで、本発明の目的は、会議に参加するメンバが物理的に異なる場所にいたとしても、各場所の環境の制約を受けることなく、会議の円滑化を支援することにある。
　本発明の情報処理システムは、現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な複数の拡張現実感提示装置と、コンピュータグラフィックス画像データを合成表示させる対象となる各ユーザの表示媒体を管理する会議管理装置とを有する情報処理システムであって、前記複数の拡張現実感提示装置は、ユーザの表示媒体の画像データを生成し、前記会議管理装置に対して送信する第１の生成手段と、前記ユーザの会議に対する提示情報を生成し、前記会議管理装置に対して送信する第２の生成手段とを有し、前記会議管理装置は、各ユーザと当該各ユーザが使用する表示媒体の画像データとの対応付けを管理する第１の管理手段と、前記複数の拡張現実感提示装置から受信した会議に対する提示情報を管理する第２の管理手段と、前記第１の管理手段において管理されるデータと、前記拡張現実感提示装置から受信した前記表示媒体の画像データ及び前記ユーザの対応付けとを比較することにより、前記表示媒体の照合を行う照合手段と、前記表示媒体の照合が成功した場合、前記第２の管理手段において管理される会議に対する提示情報を前記拡張現実感提示装置に対して送信する送信手段とを有し、前記拡張現実感提示装置は、会議に対する提示情報を示すコンピュータグラフィックス画像データを現実空間における前記表示媒体の映像に合成して提示する提示手段を更に有することを特徴とする。
　本発明の会議管理装置は、現実空間の映像と各ユーザの会議に対する提示情報を示すコンピュータグラフィックス画像データとを合成して表示させることが可能な複数の拡張現実感提示装置と通信可能に接続される、コンピュータグラフィックス画像データを合成表示させる対象となる各ユーザの表示媒体を管理する会議管理装置であって、前記各ユーザと前記各ユーザが使用する表示媒体の画像データとの対応付けを管理する第１の管理手段と、前記複数の拡張現実感提示装置から受信したユーザの会議に対する提示情報を管理する第２の管理手段と、前記第１の管理手段において管理されるデータと、前記拡張現実感提示装置から受信した前記ユーザの表示媒体の画像データ及び前記ユーザの対応付けとを比較することにより、前記表示媒体の照合を行う照合手段と、前記表示媒体の照合が成功した場合、前記第２の管理手段において管理される会議に対する提示情報を前記拡張現実感提示装置に対して送信する送信手段とを有することを特徴とする。
　本発明の情報処理方法は、現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な複数の拡張現実感提示装置と、コンピュータグラフィックス画像データを合成表示させる対象となる各ユーザの表示媒体を管理する会議管理装置とを有する情報処理システムによって実行される情報処理方法であって、前記複数の拡張現実感提示装置は、ユーザの表示媒体の画像データを生成し、前記会議管理装置に対して送信する第１の生成ステップと、前記ユーザの会議に対する提示情報を生成し、前記会議管理装置に対して送信する第２の生成ステップとを含み、前記会議管理装置は、各ユーザと当該各ユーザが使用する表示媒体の画像データとの対応付けを管理する第１の管理手段において管理されるデータと、前記拡張現実感提示装置から受信した前記表示媒体の画像データ及び前記ユーザの対応付けとを比較することにより、前記表示媒体の照合を行う照合ステップと、前記表示媒体の照合が成功した場合、前記複数の拡張現実感提示装置から受信した会議に対する提示情報を管理する第２の管理手段において管理される会議に対する提示情報を前記拡張現実感提示装置に対して送信する送信ステップとを含み、前記拡張現実感提示装置は、会議に対する提示情報を示すコンピュータグラフィックス画像データを現実空間における前記表示媒体の映像に合成して提示する提示ステップを更に含むことを特徴とする。
　本発明の会議管理装置の制御方法は、現実空間の映像と各ユーザの会議に対する提示情報を示すコンピュータグラフィックス画像データとを合成して表示させることが可能な複数の拡張現実感提示装置と通信可能に接続される、コンピュータグラフィックス画像データを合成表示させる対象となる前記各ユーザの表示媒体を管理する会議管理装置の制御方法であって、第１の管理手段において管理される、前記各ユーザと前記各ユーザが使用する表示媒体の画像データとの対応付けと、前記拡張現実感提示装置から受信した前記ユーザの表示媒体の画像データ及び前記ユーザの対応付けとを比較することにより、前記表示媒体の照合を行う照合ステップと、前記表示媒体の照合が成功した場合、第２の管理手段において管理される、前記複数の拡張現実感提示装置から受信したユーザの会議に対する提示情報を前記拡張現実感提示装置に対して送信する送信ステップとを含むことを特徴とする。
　本発明のプログラムは、現実空間の映像と各ユーザの会議に対する提示情報を示すコンピュータグラフィックス画像データとを合成して表示させることが可能な複数の拡張現実感提示装置と通信可能に接続される、コンピュータグラフィックス画像データを合成表示させる対象となる前記各ユーザの表示媒体を管理する会議管理装置の制御方法をコンピュータに実行させるためのプログラムであって、第１の管理手段において管理される、前記各ユーザと前記各ユーザが使用する表示媒体の画像データとの対応付けと、前記拡張現実感提示装置から受信した前記ユーザの表示媒体の画像データ及び前記ユーザの対応付けとを比較することにより、前記表示媒体の照合を行う照合ステップと、前記表示媒体の照合が成功した場合、第２の管理手段において管理される、前記複数の拡張現実感提示装置から受信したユーザの会議に対する提示情報を前記拡張現実感提示装置に対して送信する送信ステップとをコンピュータに実行させることを特徴とする。
　本発明によれば、会議に参加するメンバが物理的に異なる場所にいたとしても、各場所の環境の制約を受けることなく、会議の円滑化を支援することが可能となる。
図１は、本発明の実施形態に係る会議管理システムの構成を概略的に示す図である。 図２は、会議管理サーバの機能的な構成を示す図である。 図３は、ＨＭＤ及び小型カメラの機能的な構成を示す図である。 図４は、会議管理サーバのハードウェア構成を示す図である。 図５は、ＨＭＤ及び小型カメラのハードウェア構成を示す図である。 図６は、本発明の実施形態に係る会議管理システムにおける表示媒体の登録処理を示すフローチャートである。 図７Ａは、本発明の実施形態に係る会議管理システムにおける論理オブジェクト登録処理を示すフローチャートである。 図７Ｂは、本発明の実施形態に係る会議管理システムにおける論理オブジェクトの送信処理及びＡＲ表示処理を示すフローチャートである。 図８Ａは、表示媒体上における論理オブジェクトのＡＲ表示例を示す図である。 図８Ｂは、表示媒体上における論理オブジェクトのＡＲ表示例を示す図である。 図８Ｃは、表示媒体上における論理オブジェクトのＡＲ表示例を示す図である。 図９は、表示媒体上における論理オブジェクトのＡＲ表示例を示す図である。 図１０は、表示媒体上における論理オブジェクトのＡＲ表示例を示す図である。
　以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
　図１は、本発明の実施形態に係る会議管理システムの構成を概略的に示す図である。図１に示すように、本実施形態に係る会議管理システムは、会議管理サーバ１００と小型カメラ２０２ａ～ｃ及びＨＭＤ（Head Mounted Display）２０１ａ～ｃとが無線通信回線を介して接続されている。会議管理サーバ１００は、各ユーザの表示媒体を管理する表示媒体管理データベース１０１と、現実空間における各表示媒体の映像に対して合成表示される論理オブジェクトを管理する論理オブジェクト管理データベース１０２とを備える。なお、論理オブジェクトとは、各ユーザ間で共有する情報が書き込まれたコンピュータグラフィックス画像データであり、検出されたユーザの書込み動作の軌跡によって表される図形、記号、文字等を含むオブジェクトや小型カメラ２０２ａ～ｃの撮影によって得られた画像を含むコンピュータグラフィックス画像データ等がある。ＨＭＤ２０１ａ～ｃは眼鏡型のものであり、ユーザＡ～Ｃの頭部に装着される。ＨＭＤ２０１ａ～ｃは、光学的に透過してＨＭＤ２０１ａ～ｃのレンズ部分に映し出される現実空間の映像に対して整合する位置に論理オブジェクトを表示することにより、拡張された現実感を演出する。以下の説明では、このように拡張された現実感を与える論理オブジェクトの合成表示を、ＡＲ（拡張現実：Augmented Reality）表示と称することがある。また、小型カメラ２０２ａ～ｃは、ユーザＡ～Ｃの視界に近い画角で画像データを撮影できるようにＨＭＤ２０１ａ～ｃに対して取り付けられている。撮影された画像データは無線通信回線を介して会議管理サーバ１００に対して送信される。なお、ＨＭＤには、非透過型やビデオ透過型、光学透過型等様々な方式がある。合成表示（ＡＲ表示）とは、いずれかの方式によってＨＭＤのレンズ部分に映し出される現実空間の映像に対し、整合する位置にコンピュータグラフィックス画像データを重畳表示することであって、例えば、光学透過型方式であれば、シースルーで見る現実空間の映像に対して重畳表示され、ビデオ透過型であれば、ビデオカメラで撮影した現実空間の映像に対して重畳表示される。
　ユーザＡ～Ｃは、会議に参加する前に、会議において使用する表示媒体を選択する。表示媒体とは、論理オブジェクトをＡＲ表示させる対象となる現実空間に存在するオブジェクトである。ここでは、ユーザＡは大学ノート３０２の表紙を表示媒体として選択し、ユーザＢはノートＰＣ３０３の蓋を表示媒体として選択し、ユーザＣは手帳３０４の見開きページを表示媒体として選択したものとする。表示媒体としては、できれば平面形状を有するものが好ましいが、特に限定されるべき形状はなく、任意の形状のオブジェクトを選択することが可能である。ユーザＡ～Ｃは表示媒体を選択すると、小型カメラ２０２ａ～ｃで表示媒体３０２～３０４を撮影し、表示媒体３０２～３０４の画像データを会議管理サーバ１００に登録するための操作を行う。これにより、表示媒体３０２～３０４の画像データは会議管理サーバ１００に対して送信される。会議管理サーバ１００は、受信した表示媒体３０２～３０４の画像データとユーザ名Ａ～Ｃとを対応付けて表示媒体管理データベース１０１において管理する。なお、ユーザ名Ａ～Ｃは、表示媒体３０２～３０４の画像データのヘッダ情報から取得される。
　以降ユーザＡ～Ｃが会議に参加する際には、自ら選択した表示媒体３０２～３０４を小型カメラ２０２ａ～２０２ｃの画角に捉える。これにより、表示媒体３０２～３０４の画像データが会議管理サーバ１００に対して送信される。会議管理サーバ１００は、受信した画像データのヘッダ情報からユーザ名を取得し、受信した画像データと当該画像データのヘッダ情報から取得されるユーザ名との対応付けが表示媒体管理データベース１０１において管理されているか否かを判定する。受信した画像データと当該画像データのヘッダ情報から取得されるユーザ名との対応付けが管理されている場合、ユーザの表示媒体の照合が成功する。ユーザの表示媒体の照合が成功すると、会議管理サーバ１００は、論理オブジェクト管理データベース１０２において管理されている論理オブジェクトを当該ユーザのＨＭＤに対して送信する。ＨＭＤは、会議管理サーバ１００から論理オブジェクトを受信し、受信した論理オブジェクトのコンピュータグラフィックス画像データを現実空間における表示媒体の映像に合成してＡＲ表示する。
　なお、本実施形態においては、ＡＲ表示を行うデバイスであるＡＲ表示デバイスの例として、眼鏡型のＨＭＤ２０１ａ～ｃを挙げているが、これに限られない。例えば、カメラによって撮影された現実空間の映像を液晶ディスプレイ等に表示し、表示された現実空間の映像にコンピュータグラフィックス画像データを合成表示するような携帯端末型のＡＲ表示デバイスでもよいし、移動車両の運転席の視線方向に設置され、光学的に透過して映し出される現実空間の映像にコンピュータグラフィックス画像データを合成表示するようなヘッドアップディスプレイ型のＡＲ表示デバイスであってもよい。また、現実空間の映像に整合させてコンピュータグラフィックス画像データを表示させる際に、現実空間の映像中のオブジェクトとコンピュータグラフィックス画像データとの座標合わせが行われる。カメラで捉えた現実空間の画像データを解析することにより現実空間のオブジェクトの位置を検出し、検出した位置と整合するようにコンピュータグラフィックス画像データを合成する。特に、本実施形態においては、現実空間における表示媒体の映像に論理オブジェクトが重畳して表示されるような座標合わせが行われる。他の座標合わせの方法として、現実空間のオブジェクトにマーカを付けておき、そのマーカをカメラで撮影し、撮影された画像データから当該マーカの位置を検出し、検出した位置と整合するようにコンピュータグラフィックス画像データを合成してもよい。さらに、ＨＭＤの位置（緯度、経度）と姿勢（方向、仰角）とに基づいてＨＭＤを装着したユーザが現実空間のどこを見ているかを推定し、推定した位置に整合するようにコンピュータグラフィックス画像データを合成してもよい。
　ところで、議論の内容を示す論理オブジェクトは、会議の進行に伴って各ユーザＡ～ＣのＨＭＤ２０１ａ～ｃ及び小型カメラ２０２ａ～ｃによって生成されていく。論理オブジェクトが生成されると、その都度、論理オブジェクトは会議管理サーバ１００に対して送信される。会議管理サーバ１００は、論理オブジェクトを受信すると、論理オブジェクトの発信者の名前であるユーザ名、及び、論理オブジェクトが生成された日時を示すタイムスタンプと論理オブジェクトとを対応付けて論理オブジェクトデータベース１０２に管理する。なお、ユーザ名は、論理オブジェクトが送信された際の送信データのヘッダ情報から取得することができる。タイムスタンプは、同じく送信データのヘッダ情報から当該送信データの作成日時を取得し、これをタイムスタンプとしてもよいし、当該送信データの受信日時をタイムスタンプとしてもよい。
　上述したように、会議管理サーバ１００は、ユーザの表示媒体を照合が成功すると、論理オブジェクト管理データベース１０２で管理している論理オブジェクトを当該ユーザのＨＭＤ２０１ａ～ｃに対して送信する。論理オブジェクトの送信は、当該論理オブジェクトが論理オブジェクト管理データベース１０２に登録されるタイミングで行われる。これにより、会議のリアルタイム性が担保される。
　図２は、会議管理サーバ１００の機能的な構成を示す図である。図２において、表示媒体画像データ登録／照合部１０３は、会議参加前における表示媒体の登録時には、小型カメラ２０２ａ～ｃによって撮影された表示媒体の画像データを受信し、ユーザ名と対応付けて表示媒体管理データベース１０１に登録する。また、会議参加時における表示媒体の照合時には、表示媒体画像データ登録／照合部１０３は、同じく小型カメラ２０２ａ～ｃによって撮影された表示媒体の画像データを受信し、当該画像データと当該画像データのヘッダ情報に記録されるユーザ名との対応付けが表示媒体管理データベース１０１において管理されているか否かを判定することにより、表示媒体の照合を行う。
　論理オブジェクト登録／読出部１０４は、各ユーザのＨＭＤ２０１ａ～ｃから論理オブジェクトを受信すると、受信した論理オブジェクトを論理オブジェクト管理データベース１０２に登録する。また、論理オブジェクト登録／読出部１０４は、表示媒体画像データ登録／照合部１０３によって表示媒体３０２～３０４が照合されると、論理オブジェクト管理データベース１０２から論理オブジェクトを読み出し、表示媒体の照合が成功したユーザのＨＭＤ２０１ａ～ｃに対して送信する。論理オブジェクト検索部１０５は、不図示のＰＣや携帯端末から検索条件を受信すると、検索条件に該当する論理オブジェクトを論理オブジェクト管理データベース１０２から検索する。例えば、検索条件において日時が指定されている場合、指定された日時に該当するタイムスタンプの論理オブジェクトが検索され、検索条件において発信者が指定されている場合、指定された発信者の論理オブジェクトが検索される。そして、論理オブジェクト検索部１０５は、検索した論理オブジェクトを、検索条件を発行したＰＣや携帯端末に対して送信する。本機能により、後に必要な論理オブジェクトを検索して会議内容を振り返るための議事録として使用することができる。
　図３は、ＨＭＤ２０１ａ～ｃ及び小型カメラ２０２ａ～ｃの機能的な構成を示す図である。図３において、表示媒体画像データ生成部２０３は、小型カメラ２０２ａ～ｃに相当する構成であり、撮影により表示媒体の画像データを生成し、会議管理サーバ１００に対して送信する。論理オブジェクト生成部２０４は、ＨＭＤ２０１ａ～ｃ及び小型カメラ２０２ａ～ｃに相当する構成であり、小型カメラ２０２ａ～ｃによってユーザの書込み動作を撮影し、撮影した画像データから書込み動作の軌跡を検出し、検出した軌跡に対応する図形、記号、文字等を含む論理オブジェクトを生成したり、小型カメラ２０２ａ～ｃの撮影処理により得られた静止画データや動画像データを含む論理オブジェクトを生成したり、ユーザの発言を音声解析することにより発言内容を文字データに変換し、変換した文字データを含む論理オブジェクトを生成したりする。そして、論理オブジェクト生成部２０４は、生成した論理オブジェクトを会議管理サーバ１００に対して送信する。拡張現実感提示部２０５は、会議管理サーバ１００から論理オブジェクトを受信し、受信した論理オブジェクトのコンピュータグラフィックス画像データを現実空間における表示媒体の映像に合成してＡＲ表示する。
　図４は、会議管理サーバ１００のハードウェア構成を示す図である。ＣＰＵ１００１は、システムバスに接続される各デバイスやコントローラを統括的に制御する。ＲＯＭ１００３又はＨＤ（ハードディスク）１００９には、ＣＰＵ１００１の制御プログラムであるＢＩＯＳ（Basic Input / Output System）やオペレーティングシステムプログラム、会議管理サーバ１００が実行する例えば図６、図７Ａ及び図７Ｂに示す処理のプログラム等が記憶されている。
　なお、図４の例では、ＨＤ１００９は会議管理サーバ１００の内部に配置された構成としているが、他の実施形態としてＨＤ１００９に相当する構成が会議管理サーバ１００の外部に配置された構成としてもよい。また、本実施形態に係る例えば図６、図７Ａ及び図７Ｂに示す処理を行うためのプログラムは、フレキシブルディスク（ＦＤ）やＣＤ－ＲＯＭ等、コンピュータ読み取り可能な記録媒体に記録され、それらの記録媒体から供給される構成としてもよいし、インターネット等の通信媒体を介して供給される構成としてもよい。
　ＲＡＭ１００２は、ＣＰＵ１００１の主メモリ、ワークエリア等として機能する。ＣＰＵ１００１は、処理の実行に際して必要なプログラム等をＲＡＭ１００２にロードして、プログラムを実行することで各種動作を実現するものである。
　ＨＤ１００９やＦＤ１００８は、外部メモリとして機能する。ＣＰＵ１００１は、処理の実行に際して必要なプログラム等をＲＡＭ１００２にロードして、プログラムを実行することで各種動作を実現するものである。
　ディスクコントローラ１０１０は、ＨＤ１００９やＦＤ１００８等の外部メモリへのアクセスを制御する。通信Ｉ／Ｆコントローラ１００６は、インターネットやＬＡＮと接続し、例えばＴＣＰ／ＩＰによって外部との通信を制御するものである。
　ディスプレイコントローラ１０１０は、ディスプレイ１０１１における画像表示を制御する。
　ＫＢコントローラ１００４は、ＫＢ（キーボード）１００５からの操作入力を受け付け、ＣＰＵ１００１に対して送信する。なお、図示していないが、ＫＢ１００５の他に、マウス等のポインティングデバイスもユーザの操作手段として本実施形態に係る会議管理サーバ１００に適用可能である。
　図２に示す表示媒体画像データ登録／照合部１０３、論理オブジェクト登録／読出部１０４、論理オブジェクト検索部１０５は、例えばＨＤ１００９内に記憶され、必要に応じてＲＡＭ１００２にロードされるプログラム及びそれを実行するＣＰＵ１００１によって実現される構成である。また、表示媒体管理データベース１０１、論理オブジェクト管理データベース１０２は、ＨＤ１００９やＲＡＭ１００２の一部記憶領域に相当する構成である。
　図５は、ＨＭＤ２０１ａ～ｃ及び小型カメラ２０２ａ～ｃのハードウェア構成を示す図である。ＣＰＵ２００１は、システムバスに接続される各デバイスやコントローラを統括的に制御する。ＲＯＭ２００２には、ＨＭＤ２０１ａ～ｃ及び小型カメラ２０２ａ～ｃが実行する例えば図６、図７Ａ及び図７Ｂに示す処理のプログラム等が記憶されている。なお、図６、図７Ａ及び図７Ｂに示す処理を行うためのプログラムは、インターネット等の通信媒体を介して供給される構成としてもよい。
　ＲＡＭ２００４は、ＣＰＵ２００１の主メモリ、ワークメモリ等として機能する。ＣＰＵ２００１は、処理の実行に際して必要なプログラム等をＲＡＭ２００４にロードして、プログラムを実行することで各種動作を実現するものである。通信Ｉ／Ｆコントローラ２００３は、インターネットやＬＡＮと接続し、例えばＴＣＰ／ＩＰによって外部との通信を制御するものである。
　撮像部２００５は、光学レンズを介して入射され、撮像素子に結像される被写体像を電気信号に変換し、動画像データ又は静止画像データを出力する。ディスプレイコントローラ２００６は、ディスプレイ２００７における画像表示を制御する。本実施形態では、光学透過型のヘッドマウントディスプレイを採用しており、ディスプレイ２００７はハーフミラーで構成され、装着したユーザはディスプレイ２００７を介して外の様子を見ることができる。なお、図３に示す拡張現実感提示部２０５は、例えばＲＯＭ２００２にロードされるプログラム及びそれを実行するＣＰＵ２００１によって実現される構成である。また、論理オブジェクト生成部２０４は、図１の小型カメラ２０２ａ～ｃ、不図示のマイク、並びに、例えばＲＯＭ２００２にロードされるプログラム及びそれを実行するＣＰＵ２００１によって実現される構成である。撮像部２００５は、図１の小型カメラ２０２ａ～ｃ又は図２の表示媒体画像データ生成部２０３に相当する構成である。
　図６は、本実施形態に係る会議管理システムにおける表示媒体の登録処理を示すフローチャートである。以下、図６を参照しながら、本実施形態に係る会議管理システムにおける表示媒体の登録処理について説明する。
　先ず、ＨＭＤ２０１ａ～ｃ及び小型カメラ２０２ａ～ｃ側の処理について説明する。ステップＳ１０１において、表示媒体画像データ生成部２０３は、ユーザによって選択された表示媒体の画像データを撮影により生成する。ステップＳ１０２において、表示媒体画像データ生成部２０３は、生成した表示媒体の画像データを会議管理サーバ１００に対して送信する。
　次に、会議管理サーバ１００側の処理について説明する。ステップＳ２０１において、表示媒体画像データ登録／照合部１０３は、表示媒体の画像データを受信したか否かを判定する。表示媒体の画像データを受信した場合、処理はステップＳ２０２に移行する。一方、表示媒体の画像データを受信していない場合、表示媒体画像データ登録／照合部１０３は、表示媒体の画像データを受信するまで待機する。ステップＳ２０２において、表示媒体画像データ登録／照合部１０３は、当該表示媒体の画像データとユーザ名とを対応付けて表示媒体管理データベース１０１に登録する。
　図７Ａは、本実施形態に係る会議管理システムにおける論理オブジェクト登録処理を示すフローチャートである。以下、図７Ａを参照しながら、本実施形態に係る会議管理システムにおける論理オブジェクト登録処理について説明する。ここでは、ユーザの書込み動作の軌跡に応じて生成される論理オブジェクトの登録処理について説明する。
　先ず、ＨＭＤ２０１ａ～ｃ及び小型カメラ２０２ａ～ｃ側の処理について説明する。ステップＳ１０３において、論理オブジェクト生成部２０４は、ユーザの書込み動作を撮影する。ステップＳ１０４において、論理オブジェクト生成部２０４は、撮影した画像データから書込み動作の軌跡を検出する。ステップＳ１０５において、論理オブジェクト生成部２０４は、検出した書込み動作の軌跡に対応する図形、記号、文字等を含む論理オブジェクトを生成し、会議管理サーバ１００に対して送信する。なお、ユーザの書込み動作は図形、記号、文字等を実際に書き込む必要はなく、模擬的なものでよい。模擬的に行われた書込み動作であっても画像データを解析することにより、書込み動作の軌跡を検出し、軌跡に対応する図形等を含む論理オブジェクトを生成することができる。
　次に、会議管理サーバ１００側の処理について説明する。ステップＳ２０３において、論理オブジェクト登録／読出部１０４は、論理オブジェクトを受信したか否かを判定する。論理オブジェクトを受信した場合、処理はステップＳ２０４に移行する。一方、論理オブジェクトを受信していない場合、論理オブジェクト登録／読出部１０４は論理オブジェクトを受信するまで待機する。ステップＳ２０４において、論理オブジェクト登録／読出部１０４は、論理オブジェクトを当該論理オブジェクトの発信者情報及びタイムスタンプと対応付けて論理オブジェクト管理データベース１０２に登録する。
　図７Ｂは、本実施形態に係る会議管理システムにおける論理オブジェクトの送信処理及びＡＲ表示処理を示すフローチャートである。以下、図７Ｂを参照しながら、本実施形態に係る会議管理システムにおけるＡＲ表示処理について説明する。
　先ず、ＨＭＤ２０１ａ～ｃ及び小型カメラ２０２ａ～ｃ側の処理について説明する。ステップＳ１０６において、表示媒体画像データ生成部２０３は、撮影により表示媒体の画像データを生成する。ステップＳ１０７において、表示媒体画像データ生成部２０３は、生成した表示媒体の画像データを会議管理サーバ１００に対して送信する。
　次に、会議管理サーバ１００側の処理について説明する。ステップＳ２０５において、表示媒体画像データ登録／照合部１０３は、表示媒体の画像データを受信したか否かを判定する。表示媒体の画像データを受信した場合、処理はステップＳ２０６に移行する。一方、表示媒体の画像データを受信していない場合、画像データを受信するまで待機する。ステップＳ２０６において、表示媒体画像データ登録／照合部１０３は、受信した表示媒体の画像データと当該画像データのヘッダ情報に記録されているユーザ名との対応付けが表示媒体管理データベース１０１において管理されているか否かを判定することにより、表示媒体の照合を行う。この照合処理において、受信した表示媒体の画像データと表示媒体管理データベース１０１に登録される表示媒体の画像データとの一致性が判定されるが、これは画像データのパターンマッチング等によって行われる。照合が成功した場合、処理はステップＳ２０８に移行する。一方、照合が失敗した場合、処理はステップＳ２０５に戻る。ステップＳ２０８において、表示媒体画像データ登録／照合部１０３は、表示媒体管理データベース１０１において当該表示媒体の画像データと対応付けられているユーザ名のユーザのＨＭＤに対して論理オブジェクトを送信する。
　再びＨＭＤ２０１ａ～ｃ及び小型カメラ２０２ａ～ｃ側の処理について説明する。ステップＳ１０８において、拡張現実感提示部２０５は、論理オブジェクトを受信したか否かを判定する。論理オブジェクトを受信した場合、処理はステップＳ１０９に移行する。一方、論理オブジェクトを受信していない場合、論理オブジェクトを受信するまで待機する。ステップＳ１０９において、拡張現実感提示部２０５は、受信した論理オブジェクトのコンピュータグラフィックス画像データを現実空間における表示媒体の映像に合成してＡＲ表示する。
　次に、本実施形態に係る会議管理システムを使用して行われる会議の具体例について、図１を参照しながら説明する。
　会議に参加する前に、ユーザＡは大学ノート３０２の表紙を表示媒体として選択し、ユーザＢはノートＰＣ３０３の蓋を表示媒体として選択し、ユーザＣは手帳３０４の見開きページを表示媒体として選択する。そして、ユーザＡ～Ｃは、大学ノート３０２の表紙、ノートＰＣ３０３の蓋、手帳３０４の見開きページを小型カメラ２０２ａ～ｃで撮影し、それぞれを表示媒体として登録するための操作を行う。これにより、ユーザＡの小型カメラ２０２ａからは大学ノート３０２の表紙の画像データが会議管理サーバ１００に対して送信される。また、ユーザＢの小型カメラ２０２ｂからはノートＰＣ３０３の蓋の画像データが会議管理サーバ１００に対して送信される。また、ユーザＣの小型カメラ２０２ｃからは手帳３０４の見開きページの画像データが会議管理サーバ１００に対して送信される。会議管理サーバ１００は、表示媒体管理データベース１０１において、ユーザＡと大学ノート３０２の表紙の画像データとを対応付けて管理し、ユーザＢとノートＰＣ３０３の蓋の画像データとを対応付けて管理し、ユーザＣと手帳３０４の見開きページの画像データとを対応付けて管理する。
　会議に参加する際には、ユーザＡ～Ｃは先に登録した表示媒体を各小型カメラ２０２ａ～ｃで再び撮影する。撮影された画像データは会議管理サーバ１００に対して送信され、各ユーザＡ～Ｃの表示媒体の照合が行われる。この照合が成功すると、ユーザＡ～Ｃが会議に参加できる状態となる。先ず、ユーザＡは自分がいる会議室のホワイトボード３０１へ、午前中に訪問した客の反応について書込み、その書込みを小型カメラ２０２ａで撮影する。ＨＭＤ２０１ａ及び小型カメラ２０２ａは、書込みの画像データを含む論理オブジェクトを生成し、会議管理サーバ１００に対して送信する。
　会議管理サーバ１００は、論理オブジェクトを受信し、当該論理オブジェクトを発信者（ここでは、ユーザＡ）及びタイムスタンプと対応付けて論理オブジェクト管理データベース１０２に登録するとともに、当該論理オブジェクトをユーザＡ～ＣのＨＭＤ２０１ａ～ｃに対して送信する。これにより、ＨＭＤ２０１ａ～ｃは、表示媒体３０２～３０４の映像に対してユーザＡの書込みの画像データを含む論理オブジェクトを合成してＡＲ表示する。これにより、ユーザＡ～Ｃは表示媒体３０２～３０４上でユーザＡの書込みを確認することができる。図８Ａは、表示媒体３０２にユーザＡの書込みの画像を含む論理オブジェクト８０１がＡＲ表示された状態を示す図である。このように表示媒体３０２に論理オブジェクト８０１がＡＲ表示され、ユーザＡは自らホワイトボード３０１に書き込んだ内容を表示媒体３０２である大学ノートの表紙上で参照することが可能となる。
　次に、ユーザＢは自らが書いた研究報告書を提示すれば、客がより関心を示すものと考え、研究所において研究報告書中の該当ページを小型カメラ２０２ｂで撮影する。これにより、ＨＭＤ２０１ｂ及び小型カメラ２０２ｂは、該当ページの画像データを含む論理オブジェクトを生成し、会議管理サーバ１００に対して送信する。会議管理サーバ１００は、論理オブジェクトを受信し、当該論理オブジェクトを発信者（ここでは、ユーザＢ）及びタイムスタンプと対応付けて論理オブジェクト管理データベース１０２に登録する。会議管理サーバ１００は、論理オブジェクトを論理オブジェクト管理データベース１０２に登録するとともに、当該論理オブジェクトをＨＭＤ２０１ａ～ｃに対して送信する。これにより、ＨＭＤ２０１ａ～ｃは、表示媒体３０２～３０４の映像に対して研究報告書中の該当ページの画像データを含む論理オブジェクトをＡＲ表示する。これにより、ユーザＡ～Ｃは表示媒体３０２～３０４上で研究報告書中の該当ページを確認することができる。図８Ｂは、表示媒体３０２の映像に研究報告書の該当ページの画像データを含む論理オブジェクト８０２がＡＲ表示された状態を示す図である。このように表示媒体３０２に論理オブジェクト８０２が更にＡＲ表示され、ユーザＡはユーザＢが提示した研究報告書の該当ページを大学ノートの表紙上で参照することが可能となる。
　次に、ユーザＣは上記該当ページの内容を踏まえた客の対策を幾つか手帳の見開きページに書き込む。この書込み動作は、小型カメラ２０２ｃによって撮影され、書込み動作の軌道が検出されることにより、書込み動作の軌道に対応する図形、記号、文字等を含む論理オブジェクトが生成される。生成された論理オブジェクトは会議管理サーバ１００に対して送信される。会議管理サーバ１００は、論理オブジェクトを受信し、当該論理オブジェクトを発信者（ここでは、ユーザＣ）及びタイムスタンプと対応付けて論理オブジェクト管理データベース１０２に登録するとともに、当該論理オブジェクトをＨＭＤ２０１ａ～ｃに対して送信する。これにより、ＨＭＤ２０１ａ～ｃは、表示媒体３０２～３０４の映像に対してユーザＣによって書き込まれた客の対策を含む論理オブジェクトをＡＲ表示する。これにより、ユーザＡ～Ｃは表示媒体上３０２～３０４上でユーザＣによって書き込まれた客の対策を確認することができる。図８Ｃは、表示媒体３０２の映像に客の対策を含む論理オブジェクト８０３がＡＲ表示された状態を示す図である。このように表示媒体３０２に論理オブジェクト８０３が更にＡＲ表示され、ユーザＡはユーザＣが書き込んだ客の対策を大学ノートの表紙上で参照することが可能となる。
　図８Ａ～図８Ｃでは、ユーザＡの表示媒体３０２である大学ノートの表紙でのＡＲ表示を例示したが、ユーザＢ、ユーザＣの表示媒体３０３、３０４であるノートＰＣの蓋、手帳の見開きページでも同様の論理オブジェクトがＡＲ表示される。このように本実施形態においては、会議に参加するメンバが物理的に異なる場所にいたとしても、各場所の環境の制約を受けることなく、会議の円滑化を支援することが可能となる。なお、上記「物理的に異なる場所」には、東京、アメリカのように距離が遠いケースや、或るビルの３階と４階というように平面上での位置（Ｘ座標、Ｙ座標）は同じであるが、高さ方向で位置（Ｚ座標）が異なるケースや、向かい合わせの席のように距離が近いケース等、メンバが異なる空間に存在するあらゆるケースを概念として含むものである。
　図９は、ユーザＢの表示媒体３０３でのＡＲ表示の例を示している。図９において、９０１は、ユーザＢの書込み内容を含む論理オブジェクトである。この論理オブジェクトは他の論理オブジェクトと異なり、ユーザＢの表示媒体３０３にはＡＲ表示されるが、他の表示媒体３０２、３０４にはＡＲ表示されない。即ち、論理オブジェクト９０１に書き込まれている内容はユーザＢのメモとして書き込まれたものであり、他のユーザＡ、Ｃには見られたくない場合、ユーザは秘密モードの設定を行った後、論理オブジェクト９０１を作成する。これにより、論理オブジェクト９０１が会議管理サーバ１００に送信され、論理オブジェクト管理データベース１０２において管理されるところまでは同様であるが、ユーザＢのＨＭＤ２０１ｂに対してのみ論理オブジェクト９０１は送信され、他のユーザＡ、ＣのＨＭＤ２０１ａ、ｃに対して論理オブジェクト９０１は送信されなくなる。従って、ユーザＡ、ＣのＨＭＤ２０１ａ、ｃは、論理オブジェクト９０１を含まないＡＲ表示を行うようになり、一方、ユーザＢのＨＭＤ２０１ｂは、論理オブジェクト９０１を含むＡＲ表示を行うことになる。
　図１０は、ユーザＡの表示媒体３０２でのＡＲ表示例を示す図である。図１０に示すＡＲ表示例は、一つの表示媒体に対して多数の論理オブジェクトがＡＲ表示される場合に採用される表示態様の例であり、各ユーザが生成した論理オブジェクトをユーザ毎に分けてＡＲ表示している。このＡＲ表示例では、ユーザ名を記したタブ方式でＡＲ表示されており、所望のユーザ名のタブをペン等で指し示すと、そのユーザにより生成された論理オブジェクトの一覧が最も手前に表示され、閲覧できるようになる。図１０の例では、ユーザＡにより生成された論理オブジェクト８０１及び１１００が最も手前にＡＲ表示されている。このような表示態様を採用することで、会議において論理オブジェクトが増えたとしても、各ユーザの論理オブジェクトを整理して閲覧することが可能となる。なお、ＡＲ表示する際のオブジェクトの整理方法は、論理オブジェクト毎にタブ方式でＡＲ表示する等ユーザ毎以外でも当然よい。
　また、話者のユーザが発言中に参照している論理オブジェクトを、会議参加者各人の表示媒体上において強制的に一番手前にＡＲ表示するようにしてもよい。どのユーザが話者であるかは、会議管理サーバ１００が各ユーザのマイクから得られる音声信号を監視することによって特定することができる。そして、会議管理サーバ１００は、話者として特定したユーザの論理オブジェクトを一番手前にＡＲ表示するように各ユーザのＨＭＤ２０１ａ～ｃに対して指示することにより実現することができる。これにより、会議参加者の意思疎通を支援し、会議を円滑に進めることが可能となる。
　また、表示媒体のサイズに合わせて論理オブジェクトを拡大又は縮小したり、論理オブジェクトをスクロール方式でＡＲ表示してもよい。これにより、会議途中において作業環境が変化したり、姿勢を変えたりし、それに伴って表示媒体を変更する必要が生じた場合においても対応することができる。
　また、複数ページの資料を含む論理オブジェクトを表示媒体にＡＲ表示して会議を行う場合、話者が参照している箇所を会議管理サーバ１００で管理し、会議管理サーバ１００がその箇所を各ユーザのＨＭＤ２０１ａ～ｃに対して強調的にＡＲ表示するように指示してもよい。例えば、ユーザＡが総計２０ページの資料中の１０ページ５行目を指し示しつつ発言しているときに、ユーザＢはＡＲ表示された資料の１５ページ目をめくって閲覧しているものとする。このような場合、ユーザＢの表示媒体には資料中の１０ページ５行目の箇所に、例えばしおり型のタグを表示することが可能となる。これにより、物理的に離れた場所で会議しているにも関わらず、参照箇所に関する情報を視覚的に得ることが可能となり、資料を追いやすくなり、会議を円滑に進めることができる。
　また、本実施形態では、論理オブジェクトをＡＲ表示する際に、論理オブジェクト間の位置合わせを行うこともできる。これは、最初にＡＲ表示された論理オブジェクトの位置を基準座標として書込みが行われた位置座標を求め、各表示媒体上における座標系において同じ位置座標となるように上記書込みの内容を含む論理オブジェクトを配置する。これにより、各表示媒体上において論理オブジェクト間の位置関係の整合性がとれたＡＲ表示が可能となる。例えば、ユーザＢの表示媒体３０３においてＡＲ表示されているユーザＡによって書き込まれた図形ａに対し、ユーザＢが何らかの図形ｂを追加するような書込みを行った場合、各表示媒体間で論理オブジェクト間の位置合わせを適切に行わないと、ユーザＢの表示媒体３０３においてＡＲ表示される図形ａと図形ｂとの位置関係と、他のユーザＡ、Ｃの表示媒体３０２、３０４においてＡＲ表示される図形ａと図形ｂとの位置関係とが異なってしまう。本実施形態では上述した論理オブジェクト間での位置合わせを各ＨＭＤ２０１ａ～ｃが実行することにより、このような不具合が生じることを防ぐことができる。
　なお、上記では、本実施形態に係る会議管理システムを１つの会議に適用した場合について説明したが、本実施形態に係る会議管理システムは、複数の会議にも適用することができる。つまり、複数の会議に適用した場合には、ユーザ名と表示媒体の画像データとの対応付けや、論理オブジェクト等が各会議の識別情報に関連付けて管理される。そのため、或るユーザが複数の会議について同一の表示媒体を登録した場合（例えば、表示媒体管理データベース１０１において、会議Ａ、Ｂの２つの会議に関連付けて、ユーザ１と表示媒体１の画像データとの対応付けが管理された場合）、当該表示媒体（例えば、表示媒体１）が照合されると、複数の会議の論理オブジェクト（例えば、会議Ａの論理オブジェクト、会議Ｂの論理オブジェクト）が各会議の識別情報を付した形態で、当該ユーザ宛てに送信され、複数の会議の論理オブジェクトが同一の表示媒体（例えば、表示媒体１）にＡＲ表示されてもよい。この場合、例えば、各論理オブジェクトに付された会議の識別情報をより目立つように表示して、どの会議の論理オブジェクトであるかをより分かり易く表示することも可能である。或いは、同一の表示媒体に複数の会議の論理オブジェクトを混同してＡＲ表示するのではなく、当該ユーザは表示媒体を照合する前にどの会議に参加するのかを指定し、会議管理サーバ１００に対して通知しておいてもよい。これにより、複数の会議について登録された表示媒体が照合された場合であっても、上記通知に合致する会議の論理オブジェクトだけを当該ユーザに対して送信することができる。或いは、論理オブジェクトに対応付けて管理されているタイムスタンプや発信者情報やそれら組み合わせに基づいて、どの会議の論理オブジェクトであるかを推定し、管理してもよい。
　本発明の実施形態は、コンピュータがプログラムを実行することによって実現することができる。また、プログラムをコンピュータに供給するための手段、例えばかかるプログラムを記録したＣＤ－ＲＯＭ等のコンピュータ読み取り可能な記録媒体、又はかかるプログラムを伝送する伝送媒体も本発明の実施の形態として適用することができる。また、前記プログラムを記録したコンピュータ読み取り可能な記録媒体などのプログラムプロダクトも本発明の実施の形態として適用することができる。前記のプログラム、コンピュータ読み取り可能な記録媒体、伝送媒体及びプログラムプロダクトは、本発明の範疇に含まれる。
　本発明は、現実空間の映像とコンピュータグラフィックス画像データとを合成して重畳表示させることが可能な拡張現実に有用である。

Claims (11)

  1. 　現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な複数の拡張現実感提示装置と、コンピュータグラフィックス画像データを合成表示させる対象となる各ユーザの表示媒体を管理する会議管理装置とを有する情報処理システムであって、
    　前記複数の拡張現実感提示装置は、
    　ユーザの表示媒体の画像データを生成し、前記会議管理装置に対して送信する第１の生成手段と、
    　前記ユーザの会議に対する提示情報を生成し、前記会議管理装置に対して送信する第２の生成手段とを有し、
    　前記会議管理装置は、
    　各ユーザと当該各ユーザが使用する表示媒体の画像データとの対応付けを管理する第１の管理手段と、
    　前記複数の拡張現実感提示装置から受信した会議に対する提示情報を管理する第２の管理手段と、
    　前記第１の管理手段において管理されるデータと、前記拡張現実感提示装置から受信した前記表示媒体の画像データ及び前記ユーザの対応付けとを比較することにより、前記表示媒体の照合を行う照合手段と、
    　前記表示媒体の照合が成功した場合、前記第２の管理手段において管理される会議に対する提示情報を前記拡張現実感提示装置に対して送信する送信手段とを有し、
    　前記拡張現実感提示装置は、
    　会議に対する提示情報を示すコンピュータグラフィックス画像データを現実空間における前記表示媒体の映像に合成して提示する提示手段を更に有することを特徴とする情報処理システム。
  2. 　前記第１の生成手段は、前記表示媒体を撮影することにより前記表示媒体の画像データを生成することを特徴とする請求項１に記載の情報処理システム。
  3. 　前記第２の生成手段は、ユーザによる書込み動作の軌跡を検出し、当該軌跡によって表される情報を会議に対する提示情報として生成することを特徴とする請求項１に記載の情報処理システム。
  4. 　前記第２の生成手段は、撮影処理により得られた画像データを会議に対する提示情報として生成することを特徴とする請求項１に記載の情報処理システム。
  5. 　前記第２の生成手段は、発言内容を解析して文字データに変換し、当該文字データを会議に対する提示情報として生成することを特徴とする請求項１に記載の情報処理システム。
  6. 　前記会議管理装置は、
    　前記第２の管理手段において会議に対する提示情報と対応付けて管理される、前記ユーザ及び当該会議に対する提示情報が生成された時点を示す情報のうちの少なくとも何れか一方に基づいて、当該会議に対する提示情報を検索する検索手段を更に有することを特徴とする請求項１に記載の情報処理システム。
  7. 　前記提示手段は、提示するコンピュータグラフィックス画像データの数、又は、表示媒体の変更に応じて、コンピュータグラフィックス画像データの提示態様を切り替えることを特徴とする請求項１に記載の情報処理システム。
  8. 　現実空間の映像と各ユーザの会議に対する提示情報を示すコンピュータグラフィックス画像データとを合成して表示させることが可能な複数の拡張現実感提示装置と通信可能に接続される、コンピュータグラフィックス画像データを合成表示させる対象となる各ユーザの表示媒体を管理する会議管理装置であって、
    　前記各ユーザと前記各ユーザが使用する表示媒体の画像データとの対応付けを管理する第１の管理手段と、
    　前記複数の拡張現実感提示装置から受信したユーザの会議に対する提示情報を管理する第２の管理手段と、
    　前記第１の管理手段において管理されるデータと、前記拡張現実感提示装置から受信した前記ユーザの表示媒体の画像データ及び前記ユーザの対応付けとを比較することにより、前記表示媒体の照合を行う照合手段と、
    　前記表示媒体の照合が成功した場合、前記第２の管理手段において管理される会議に対する提示情報を前記拡張現実感提示装置に対して送信する送信手段とを有することを特徴とする会議管理装置。
  9. 　現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な複数の拡張現実感提示装置と、コンピュータグラフィックス画像データを合成表示させる対象となる各ユーザの表示媒体を管理する会議管理装置とを有する情報処理システムによって実行される情報処理方法であって、
    　前記複数の拡張現実感提示装置は、
    　ユーザの表示媒体の画像データを生成し、前記会議管理装置に対して送信する第１の生成ステップと、
    　前記ユーザの会議に対する提示情報を生成し、前記会議管理装置に対して送信する第２の生成ステップとを含み、
    　前記会議管理装置は、
    　各ユーザと当該各ユーザが使用する表示媒体の画像データとの対応付けを管理する第１の管理手段において管理されるデータと、前記拡張現実感提示装置から受信した前記表示媒体の画像データ及び前記ユーザの対応付けとを比較することにより、前記表示媒体の照合を行う照合ステップと、
    　前記表示媒体の照合が成功した場合、前記複数の拡張現実感提示装置から受信した会議に対する提示情報を管理する第２の管理手段において管理される会議に対する提示情報を前記拡張現実感提示装置に対して送信する送信ステップとを含み、
    　前記拡張現実感提示装置は、
    　会議に対する提示情報を示すコンピュータグラフィックス画像データを現実空間における前記表示媒体の映像に合成して提示する提示ステップを更に含むことを特徴とする情報処理方法。
  10. 　現実空間の映像と各ユーザの会議に対する提示情報を示すコンピュータグラフィックス画像データとを合成して表示させることが可能な複数の拡張現実感提示装置と通信可能に接続される、コンピュータグラフィックス画像データを合成表示させる対象となる前記各ユーザの表示媒体を管理する会議管理装置の制御方法であって、
    　第１の管理手段において管理される、前記各ユーザと前記各ユーザが使用する表示媒体の画像データとの対応付けと、前記拡張現実感提示装置から受信した前記ユーザの表示媒体の画像データ及び前記ユーザの対応付けとを比較することにより、前記表示媒体の照合を行う照合ステップと、
    　前記表示媒体の照合が成功した場合、第２の管理手段において管理される、前記複数の拡張現実感提示装置から受信したユーザの会議に対する提示情報を前記拡張現実感提示装置に対して送信する送信ステップとを含むことを特徴とする会議管理装置の制御方法。
  11. 　現実空間の映像と各ユーザの会議に対する提示情報を示すコンピュータグラフィックス画像データとを合成して表示させることが可能な複数の拡張現実感提示装置と通信可能に接続される、コンピュータグラフィックス画像データを合成表示させる対象となる前記各ユーザの表示媒体を管理する会議管理装置の制御方法をコンピュータに実行させるためのプログラムであって、
    　第１の管理手段において管理される、前記各ユーザと前記各ユーザが使用する表示媒体の画像データとの対応付けと、前記拡張現実感提示装置から受信した前記ユーザの表示媒体の画像データ及び前記ユーザの対応付けとを比較することにより、前記表示媒体の照合を行う照合ステップと、
    　前記表示媒体の照合が成功した場合、第２の管理手段において管理される、前記複数の拡張現実感提示装置から受信したユーザの会議に対する提示情報を前記拡張現実感提示装置に対して送信する送信ステップとをコンピュータに実行させるためのプログラム。
PCT/JP2011/057456 2010-03-31 2011-03-25 情報処理システム、会議管理装置、情報処理方法、会議管理装置の制御方法及びプログラム WO2011122496A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP11762727.3A EP2493187B1 (en) 2010-03-31 2011-03-25 Information processing system and information processing method
CN201180004044.6A CN102577370B (zh) 2010-03-31 2011-03-25 信息处理系统以及信息处理方法
US13/511,936 US8659635B2 (en) 2010-03-31 2011-03-25 Information processing system and information processing method
SG2012048120A SG181977A1 (en) 2010-03-31 2011-03-25 Information processing system, conference management device, information processing method, method for controlling conference management device, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-083022 2010-03-31
JP2010083022A JP4902765B2 (ja) 2010-03-31 2010-03-31 情報処理システム及び情報処理方法

Publications (1)

Publication Number Publication Date
WO2011122496A1 true WO2011122496A1 (ja) 2011-10-06

Family

ID=44712202

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/057456 WO2011122496A1 (ja) 2010-03-31 2011-03-25 情報処理システム、会議管理装置、情報処理方法、会議管理装置の制御方法及びプログラム

Country Status (7)

Country Link
US (1) US8659635B2 (ja)
EP (1) EP2493187B1 (ja)
JP (1) JP4902765B2 (ja)
CN (1) CN102577370B (ja)
MY (1) MY152414A (ja)
SG (1) SG181977A1 (ja)
WO (1) WO2011122496A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5950634B2 (ja) * 2012-03-09 2016-07-13 キヤノン株式会社 情報処理装置、コンピュータプログラム、情報処理方法
JP5958049B2 (ja) * 2012-04-26 2016-07-27 富士ゼロックス株式会社 台紙管理プログラム及び台紙管理装置
KR20140061620A (ko) * 2012-11-13 2014-05-22 삼성전자주식회사 증강 현실을 활용한 소셜 네트워크 서비스 제공 시스템 및 방법과, 디바이스
US9928652B2 (en) * 2013-03-01 2018-03-27 Apple Inc. Registration between actual mobile device position and environmental model
US9679414B2 (en) 2013-03-01 2017-06-13 Apple Inc. Federated mobile device positioning
TWI524214B (zh) 2014-08-15 2016-03-01 中強光電股份有限公司 簡報系統、穿戴式裝置及簡報的文稿呈現方法
KR102276847B1 (ko) * 2014-09-23 2021-07-14 삼성전자주식회사 가상 오브젝트 제공 방법 및 그 전자 장치
WO2017056631A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 情報処理システム及び情報処理方法
WO2017138153A1 (ja) * 2016-02-12 2017-08-17 富士通株式会社 端末装置、管理方法、制御方法、管理プログラム、及び制御プログラム
DE102016224268A1 (de) * 2016-12-06 2018-06-07 Robert Bosch Gmbh Verfahren zum Transformieren einer Zeichnung zwischen zwei Zeichenflächen
KR102574874B1 (ko) * 2017-02-03 2023-09-05 베스텔 일렉트로닉 사나이 베 티카레트 에이에스 헤드 마운트 디스플레이(hmd)를 이용한 화상회의를 위한 개선된 방법 및 시스템
CN108427195A (zh) * 2017-02-14 2018-08-21 深圳梦境视觉智能科技有限公司 一种基于增强现实的信息处理方法及设备
US11145122B2 (en) * 2017-03-09 2021-10-12 Samsung Electronics Co., Ltd. System and method for enhancing augmented reality (AR) experience on user equipment (UE) based on in-device contents
JP2018201153A (ja) * 2017-05-29 2018-12-20 京セラドキュメントソリューションズ株式会社 情報処理システム
CN107277429A (zh) * 2017-07-14 2017-10-20 福建铁工机智能机器人有限公司 一种利用ar进行远程会议的方法
CN109511004B (zh) * 2017-09-14 2023-09-01 中兴通讯股份有限公司 一种视频处理方法及装置
EP3702925B1 (en) * 2017-10-26 2024-03-13 Suncorporation Conference system
US11209966B2 (en) * 2019-01-24 2021-12-28 Disney Enterprises, Inc. Extended on-screen gameplay via augmented reality
US11044282B1 (en) * 2020-08-12 2021-06-22 Capital One Services, Llc System and method for augmented reality video conferencing
US11463499B1 (en) * 2020-12-18 2022-10-04 Vr Edu Llc Storage and retrieval of virtual reality sessions state based upon participants
KR20220126107A (ko) * 2021-03-08 2022-09-15 삼성전자주식회사 화상 회의를 제공하는 전자 장치 및 그 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006202016A (ja) * 2005-01-20 2006-08-03 Nippon Telegr & Teleph Corp <Ntt> 会議情報共有支援装置及び方法及びプログラム
JP2008300983A (ja) * 2007-05-29 2008-12-11 Canon Inc 頭部装着型表示装置、及びその制御方法
JP2009194857A (ja) * 2008-02-18 2009-08-27 Sharp Corp 通信会議システム、通信装置、通信会議方法、コンピュータプログラム
JP2010217719A (ja) * 2009-03-18 2010-09-30 Ricoh Co Ltd 装着型表示装置、その制御方法及びプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5309555A (en) * 1990-05-15 1994-05-03 International Business Machines Corporation Realtime communication of hand drawn images in a multiprogramming window environment
US5444476A (en) * 1992-12-11 1995-08-22 The Regents Of The University Of Michigan System and method for teleinteraction
JP2004310470A (ja) * 2003-04-07 2004-11-04 Advanced Telecommunication Research Institute International 視線位置を判定し組合わせるためのシステム及びコンピュータで実行可能なプログラム
JP4321751B2 (ja) * 2003-04-25 2009-08-26 パイオニア株式会社 描画処理装置、描画処理方法および描画処理プログラム、並びにそれらを備えた電子会議システム
US7260278B2 (en) * 2003-11-18 2007-08-21 Microsoft Corp. System and method for real-time whiteboard capture and processing
JP4997783B2 (ja) * 2006-02-15 2012-08-08 富士ゼロックス株式会社 電子会議システム、電子会議支援プログラム、電子会議制御装置、情報端末機器、電子会議支援方法
US8644842B2 (en) * 2007-09-04 2014-02-04 Nokia Corporation Personal augmented reality advertising
JP4626775B2 (ja) * 2007-10-16 2011-02-09 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006202016A (ja) * 2005-01-20 2006-08-03 Nippon Telegr & Teleph Corp <Ntt> 会議情報共有支援装置及び方法及びプログラム
JP2008300983A (ja) * 2007-05-29 2008-12-11 Canon Inc 頭部装着型表示装置、及びその制御方法
JP2009194857A (ja) * 2008-02-18 2009-08-27 Sharp Corp 通信会議システム、通信装置、通信会議方法、コンピュータプログラム
JP2010217719A (ja) * 2009-03-18 2010-09-30 Ricoh Co Ltd 装着型表示装置、その制御方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2493187A4 *

Also Published As

Publication number Publication date
MY152414A (en) 2014-09-30
JP2011217098A (ja) 2011-10-27
US8659635B2 (en) 2014-02-25
EP2493187A1 (en) 2012-08-29
EP2493187A4 (en) 2013-08-28
JP4902765B2 (ja) 2012-03-21
EP2493187B1 (en) 2016-02-10
CN102577370A (zh) 2012-07-11
SG181977A1 (en) 2012-08-30
US20130010052A1 (en) 2013-01-10
CN102577370B (zh) 2013-07-31

Similar Documents

Publication Publication Date Title
WO2011122496A1 (ja) 情報処理システム、会議管理装置、情報処理方法、会議管理装置の制御方法及びプログラム
US9473741B2 (en) Teleconference system and teleconference terminal
US20190333478A1 (en) Adaptive fiducials for image match recognition and tracking
US11288031B2 (en) Information processing apparatus, information processing method, and information processing system
US20120223960A1 (en) Image control method and image control system
JP2016181244A (ja) ユーザ注意判定システム、方法及びプログラム
US11315337B2 (en) Method and apparatus for managing content in augmented reality system
Adcock et al. Using projected light for mobile remote guidance
US11620414B2 (en) Display apparatus, display method, and image processing system
JP4872482B2 (ja) 遠隔支援装置、遠隔支援システム及び遠隔支援方法
US20140247209A1 (en) Method, system, and apparatus for image projection
US9131109B2 (en) Information processing device, display control system, and computer program product
US20230269482A1 (en) Information processing system, communication system, and image sharing method
JP2006005589A (ja) 遠隔会議システム、拠点サーバ、履歴データ保存方法及びプログラム
JP2022003818A (ja) 画像表示システム、画像表示プログラム、画像表示方法及びサーバ
JP2021141404A (ja) コミュニケーションシステム、コンピュータプログラム、及び情報処理方法
EP4250744A1 (en) Display terminal, communication system, method for displaying, method for communicating, and carrier means
JP6331777B2 (ja) 拡張現実情報提供システム、拡張現実情報提供方法、及び、拡張現実情報提供プログラム
JP7384231B2 (ja) 情報処理装置、情報処理システム、医療支援方法及びプログラム
JP2010098421A (ja) 表示制御装置、表示制御方法、プログラム、および記録媒体
US11740773B2 (en) Information processing device and method
US20230368399A1 (en) Display terminal, communication system, and non-transitory recording medium
JP7247466B2 (ja) 情報処理システムおよびプログラム
JP2008158693A (ja) 画像処理システム及び画像処理プログラム
JP2024025327A (ja) 合成画像生成システム、及び撮像支援方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180004044.6

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11762727

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011762727

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13511936

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE