WO2023190343A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2023190343A1
WO2023190343A1 PCT/JP2023/012202 JP2023012202W WO2023190343A1 WO 2023190343 A1 WO2023190343 A1 WO 2023190343A1 JP 2023012202 W JP2023012202 W JP 2023012202W WO 2023190343 A1 WO2023190343 A1 WO 2023190343A1
Authority
WO
WIPO (PCT)
Prior art keywords
avatar
booth
image
visitor
exhibitor
Prior art date
Application number
PCT/JP2023/012202
Other languages
English (en)
French (fr)
Inventor
譲治 堀
Original Assignee
株式会社ジクウ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ジクウ filed Critical 株式会社ジクウ
Publication of WO2023190343A1 publication Critical patent/WO2023190343A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics

Definitions

  • the present invention relates to an information processing device, an information processing method, and a program.
  • VR has been used to view images captured from various viewpoints in a three-dimensional virtual space, including an avatar moving in the three-dimensional virtual space, using an HMD (Head Mounted Display) or the like.
  • HMD Head Mounted Display
  • the present invention has been made in view of this situation, and aims to improve the convenience of a system for communicating with an avatar operator who moves within a virtual space.
  • an information processing device includes: an exhibition hall in which a booth is arranged, and a placement means for placing an avatar movable within the exhibition hall as a first user in a three-dimensional virtual space; avatar moving means for moving the avatar to a predetermined position in the virtual space based on an instruction to move the avatar to a predetermined position within the exhibition hall, which is performed by the first user on a first device; avatar position detection means for detecting and storing the position of the avatar in the booth for each predetermined trigger when the avatar is present in the booth; avatar position notification means for notifying a second device managed by a second user of the position of the avatar in the booth based on a detection result by the avatar position detection means; Equipped with
  • An information processing method and program according to one embodiment of the present invention are methods and programs corresponding to an information processing apparatus according to one embodiment of the present invention.
  • FIG. 1 is a diagram illustrating an overview of this service provided using a server according to an embodiment of an information processing device of the present invention.
  • 2 is a diagram showing an example of a booth customer service function screen provided to an exhibitor by the present service shown in FIG. 1.
  • FIG. 2 is a diagram showing an example of a booth customer service function screen provided to an exhibitor by the present service shown in FIG. 1, which is different from that shown in FIG. 2.
  • FIG. 4 is a diagram showing an example of icons displayed as "visit status,” "call status,” and “chat status" in the list image included in the booth customer service function screen of FIG. 3.
  • FIG. 1 is a diagram illustrating an example of the configuration of an information processing system to which a server according to an embodiment of an information processing apparatus of the present invention is applied.
  • FIG. 6 is a block diagram showing an example of the hardware configuration of a server in the information processing system shown in FIG. 5.
  • FIG. 6 is a functional block diagram showing an example of the functional configuration of the server in FIG. 6 that constitutes the information processing system in FIG. 5.
  • FIG. 8 is a diagram showing an example of a booth customer service function screen displayed on an exhibitor terminal under the control of the server having the functional configuration of FIG. 7.
  • FIG. 8 is a diagram showing an example of a booth customer service function screen displayed on an exhibitor terminal under the control of the server having the functional configuration of FIG. 7.
  • FIG. 8 is a diagram showing an example of a booth customer service function screen displayed on an exhibitor terminal under the control of the server having the functional configuration of FIG. 7.
  • FIG. 7 is a block diagram showing an example of the hardware configuration of a server in the information processing system shown in FIG. 5.
  • FIG. 6 is a functional block diagram showing an example of the functional configuration of the server in FIG. 6 that constitutes the information processing system in FIG. 5.
  • FIG. 8C It is an enlarged view of the booth customer service function screen of FIG. 8C.
  • FIG. 10C It is an enlarged view of the booth customer service function screen of FIG. 10C.
  • FIG. 2 is a diagram showing an example of a chat between a person in charge of an exhibitor and a visitor (avatar).
  • FIG. 6 is a diagram illustrating an example of a visitor image displayed on a visitor terminal of a visitor when chatting with a person in charge of an exhibitor.
  • FIG. 6 is a diagram illustrating an example of a visitor image displayed on a visitor terminal of a visitor when chatting with a person in charge of an exhibitor.
  • FIG. 7 is a diagram showing a specific example of a message that is notified when an action is taken by a visitor or another person in charge when chatting with a visitor or the like.
  • FIG. 7 is a diagram showing a specific example of a message that is notified when an action is taken by a visitor or another person in charge when chatting with a visitor or the like.
  • FIG. 7 is a diagram showing a specific example of a message that is notified when an action is taken by a visitor or another person in charge when chatting with a visitor or the like.
  • FIG. 1 is a diagram showing an overview of services provided using a server according to an embodiment of an information processing apparatus of the present invention.
  • this service is a service provided using a server according to an embodiment of the information processing apparatus of the present invention.
  • This service is the following service. That is, this service is a service provided to exhibitors UT and visitors UR at an exhibition held in a three-dimensional virtual space.
  • the exhibitor UT uses the exhibitor terminal 2, and the visitor UR uses the visitor terminal 3 to contact the provider of this service (hereinafter referred to as "service provider") via the Internet using the browser function, etc.
  • This service can be used by connecting to the server 1 managed by ⁇ . That is, this service is realized as a so-called cloud service.
  • dedicated application software hereinafter referred to as the "dedicated application” installed in advance on the exhibitor terminal 2 or visitor terminal 3 is used, so that this service can be used. You can also do this.
  • an exhibition hall TH set by the organizer is arranged in the three-dimensional virtual space.
  • a plurality of booths B are arranged where products etc. (content) of a plurality of exhibitors UT are exhibited.
  • the visitor UR operates the visitor terminal 3 to move within the exhibition hall TH as an avatar A and visit a booth B that is of interest.
  • a three-dimensional image (hereinafter referred to as an "avatar viewpoint image") obtained as a result of capturing a three-dimensional virtual space from a viewpoint based on the avatar A is displayed.
  • an avatar viewpoint image GA1 when avatar A exists outside booth B and an avatar viewpoint image GA2 when avatar A exists inside booth B is shown.
  • One or more people in charge of the exhibitor UT can manage the booth by operating the management screen displayed on exhibitor terminal 2 or their own terminal (in the following example, for convenience of explanation, it will be referred to as exhibitor terminal 2). Communication such as sales with avatar A (visitor UR) who visited B can be carried out through chat, video conference, etc. Therefore, on the management screen of the exhibitor terminal 2, a three-dimensional virtual space is imaged from a predetermined viewpoint (for example, a viewpoint above booth B in the example of FIG. 1) that covers the entire inside of booth B. A three-dimensional image GB (hereinafter referred to as "in-booth image GB”) obtained as a result of this is displayed.
  • a predetermined viewpoint for example, a viewpoint above booth B in the example of FIG. 1
  • An image KA (hereinafter referred to as "movement trajectory KA") showing the movement trajectory of the avatar A present in the booth B is superimposed and displayed on this in-booth image GB.
  • the person in charge of the exhibitor UT can easily and immediately visually confirm where the avatar A (visitor UR) is located in his or her booth B.
  • the person in charge can not only know that Avatar A exists in Booth B, but also concretely know which exhibition panel in Booth B he is in front of. )'s interests can be inferred.
  • the person in charge can communicate more effectively (for example, by chatting or voice chatting) with the visitor UR.
  • the exhibitor UT assigns a person in charge of booth B on the management screen of the exhibitor terminal 2.
  • the assigned person in charge continues to watch the corresponding booth customer service function screen during the event period on the management screen of the exhibitor terminal 2 or his/her own terminal (hereinafter referred to as exhibitor terminal 2 for convenience of explanation).
  • FIG. 2 and 3 show an example of the booth customer service function screen provided to exhibitors by this service shown in FIG. 1.
  • an in-booth image GB is appropriately displayed on the booth customer service function screen GK.
  • the in-booth image GB is a real-time projection of the booth B using a 3D camera.
  • the in-booth image GB is an accurate projection of the shape of the booth B, each location of the exhibition panel, etc., and the location of the avatar A.
  • the movement trajectory KA of the avatar A present in the booth B is displayed in a superimposed manner on the in-booth image GB. That is, when avatar A (visitor UR) enters booth B, server 1 displays an image PA of a green circle indicating the current position of avatar A (hereinafter simply referred to as "current position PA").
  • the server 1 detects the current position of the avatar A in the booth B, for example, every one second, generates a movement trajectory KA of the avatar A in the booth B based on the detection result, and generates a movement trajectory KA of the avatar A in the booth B. It is displayed superimposed on the inner image GB.
  • the movement trajectory KA is a white circle indicating the past current position and the current position PA connected by a solid line (flow line) for each movement order.
  • the movement trajectory KA also includes a check mark indicating that the visitor UR (avatar A) has clicked on an exhibition panel or the like on the visitor terminal 3.
  • the person in charge of the exhibitor UT can visualize and understand the action line and click line of the visitor UR (avatar A) based on the movement trajectory KA.
  • the person in charge of the exhibitor UT can perform a predetermined operation such as clicking on the visitor UR (Avatar A) whose current location PA is an appropriate location (for example, near an exhibition panel where he/she wants to explain).
  • can initiate communication e.g., text chat or voice chat).
  • the visitor UR when the visitor UR is present in the booth B, the visitor UR can communicate (for example, text chat or voice chat) with the person in charge of the booth B by operating the visitor terminal 3. can be started.
  • a notification to that effect in the example in Figure 1, a message saying "Mr. Tanaka has a text chat" is displayed in the display area GC of the booth customer service function screen GK. will be displayed.
  • target image GT showing personal information such as information, a questionnaire, and action history information in text display can be displayed on the booth customer service function screen GK.
  • an image GR (hereinafter referred to as "list image GR") is displayed in the display area GC of the booth customer service function screen GK.
  • the list image GR includes a "visit state”, “call state (voice chat state)", and “chat state (text chat state)” for the visitor UR.
  • the “visit status,” “call status,” and “chat status” are visually indicated by icons as shown in FIG.
  • FIG. 4 shows an example of icons displayed as “visit state”, "call state”, and "chat state” in the list image of FIG. 3.
  • the person in charge of exhibitor UT can visually check the icons for "call status" and "chat status” to check whether the response has been completed for each of the one or more visitors UR (avatar A) who came to booth B. You can instantly and easily understand everything at once. In other words, the person in charge of exhibitor UT can visually check the "call status" and "chat status” and conduct text chat and voice chat for each of one or more visitors UR (Avatar A) who came to Booth B. You can instantly and easily know what you have done in the past, what you are currently doing, or what you have not done yet.
  • FIG. 5 is a diagram illustrating an example of the configuration of an information processing system to which a server according to an embodiment of the information processing apparatus of the present invention is applied.
  • the information processing system shown in FIG. (an independent integer value of 1 or more).
  • the server 1, exhibitor terminals 2-1 to 2-n, and visitor terminals 3-1 to 3-m are interconnected via a predetermined network NW such as the Internet.
  • the server 1 is an information processing device managed by a service provider.
  • the server 1 executes various processes to realize this service while communicating with exhibitor terminals 2-1 to 2-n and visitor terminals 3-1 to 3-m as appropriate.
  • Each of the exhibitor terminals 2-1 to 2-n is an information processing device operated by each of the exhibitors UT-1 to UT-n.
  • the exhibitor terminals 2-1 to 2-n are comprised of personal computers, tablets, smartphones, etc., as described above. Note that hereinafter, when there is no need to distinguish between exhibitors UT-1 to UT-n, they will be collectively referred to as exhibitor UT as shown in FIG. 1. Furthermore, when the exhibitor terminals 2-1 to 2-n are referred to as the exhibitor UT, they are collectively referred to as the "exhibitor terminal 2" as shown in FIG.
  • the exhibitor terminal 2 receives various information input operations by the exhibitor UT and transmits them to the server 1, or receives and displays various information transmitted from the server 1, for example.
  • Each of the visitor terminals 3-1 to 3-n is an information processing device operated by each of the visitors UR-1 to UR-m.
  • the visitor terminals 3-1 to 3-n are comprised of personal computers, tablets, smartphones, etc., as described above. Note that hereinafter, when there is no need to distinguish each of the visitors UR-1 to UR-m, they will be collectively referred to as the visitor UR as shown in FIG. 1. Furthermore, when they are called visitor UR, visitor terminals 3-1 to 3-m are collectively called "visitor terminal 3" as shown in FIG.
  • the visitor terminal 3 receives various information input operations by the visitor UR, and transmits the received information to the server 1, or receives and displays various information transmitted from the server 1, for example.
  • FIG. 6 is a block diagram showing an example of the hardware configuration of a server in the information processing system shown in FIG. 2.
  • the server 1 includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, a bus 14, an input/output interface 15, an input unit 16, and an output unit. Part 17 and , a storage section 18, a communication section 19, and a drive 20.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU 11 executes various processes according to programs recorded in the ROM 12 or programs loaded into the RAM 13 from the storage section 18 .
  • the RAM 13 also appropriately stores data necessary for the CPU 11 to execute various processes.
  • the CPU 11, ROM 12, and RAM 13 are interconnected via a bus 14.
  • An input/output interface 15 is also connected to this bus 14 .
  • An input section 16 , an output section 17 , a storage section 18 , a communication section 19 , and a drive 20 are connected to the input/output interface 15 .
  • the input unit 16 includes, for example, a keyboard, and inputs various information.
  • the output unit 17 includes a display such as a liquid crystal display, a speaker, and the like, and outputs various information as images and sounds.
  • the storage unit 18 is composed of a DRAM (Dynamic Random Access Memory) or the like, and stores various data.
  • the communication unit 19 communicates with other devices (for example, exhibitor terminals 2-1 to 2-n and visitor terminals 3-1 to 3-m in FIG. 5) via a network NW including the Internet. .
  • a removable medium 31 made of a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory, or the like is appropriately installed in the drive 20.
  • the program read from the removable medium 31 by the drive 20 is installed in the storage unit 18 as necessary. Further, the removable medium 31 can also store various data stored in the storage section 18 in the same manner as the storage section 18 .
  • the exhibitor terminal 2 and visitor terminal 3 in FIG. 5 can also have basically the same hardware configuration as the hardware configuration shown in FIG. 6. Therefore, a description of the hardware configurations of the exhibitor terminal 2 and the visitor terminal 3 will be omitted.
  • FIG. 7 is a functional block diagram showing an example of the functional configuration of the server in FIG. 6 that constitutes the information processing system in FIG.
  • the CPU 11 of the server 1 includes an exhibition hall installation section 51, an avatar movement section 52, a virtual space arrangement section 53, a visitor image generation section 54, and a visitor display control section 55.
  • the avatar position detection section 56, the exhibitor image generation section 57, the exhibitor display control section 58, and the chat control section 59 function.
  • the exhibition hall setting unit 51 places the exhibition hall TH where the booth B is arranged in a three-dimensional virtual space based on the organizer's operation on the organizer terminal (not shown) or the exhibitor UT's operation on the exhibitor terminal 2. Set.
  • the avatar moving unit 52 determines the current position of the avatar A in the virtual space based on a movement instruction to move the own avatar A within the exhibition hall TH, among instructions issued by the visitor UR's operation on the visitor terminal 3. move it.
  • the virtual space placement unit 53 places the exhibition hall TH in which the booth B is placed in a three-dimensional virtual space, and places the avatar A at the current position in the virtual space.
  • the visitor image generation section 54 includes an avatar viewpoint image generation section 541.
  • the avatar viewpoint image generation unit 541 generates an avatar viewpoint image of a three-dimensional image captured from a viewpoint based on avatar A in the exhibition hall TH where booth B is located and the virtual space where avatar A at the current position is located. Generate as GA.
  • the visitor image generation unit 54 generates an image including the avatar viewpoint image GA and other images (for example, a visitor chat image GCR in FIG. 121 described later) as a visitor image.
  • the visitor display control unit 55 executes control to display the visitor image including the avatar viewpoint image GA on the visitor terminal 3.
  • avatar position detection section 56 detects the position of avatar A in booth B at every predetermined trigger (for example, at 1 second intervals), and detects the position of avatar A in booth B, and detects the position of avatar A in booth B. By storing the history in the booth B, the history of the movement of the avatar A within the booth B is managed.
  • the exhibitor image generation section 57 includes a list image generation section 571, a target image generation section 572, and an in-booth image generation section 573.
  • the list image generation unit 571 generates a list image GR of an image in which information about one or more visitors UR (avatar A) who visited booth B during a predetermined period (for example, during an event period or on a predetermined day) is listed. (For example, see FIG. 3). In addition, as will be described later, the list image generation unit 571 generates a list image GRR (for example, FIG. (see).
  • the target image generation unit 572 is configured to specify, for example, a predetermined visitor UR (avatar A) currently present in booth B, among one or more visitors UR included in the list image GR or list image GRR, as a target by the person in charge.
  • a predetermined visitor UR avatar A
  • an image showing information about the target for example, an image showing personal information such as business card information, a questionnaire, and an action history displayed in text, is generated as a target image GT (see, for example, FIG. 1).
  • the in-booth image generation unit 573 generates a three-dimensional image of the booth B taken from a predetermined viewpoint as an in-booth image GB (see, for example, FIG. 1).
  • the avatar position detection unit 56 manages the locus of movement of the avatar A within the booth B based on a plurality of past detection results.
  • the avatar position detection unit 56 collects trajectory data indicating the trajectory of the movement of the avatar A within the booth B. Therefore, the exhibitor image generation unit 57 superimposes an image showing the locus of movement of the avatar A based on the locus data (for example, the locus KA in FIG. 2) on the in-booth image GB.
  • the exhibitor image generation unit 57 determines the current position of the avatar A in an image showing the locus of movement of the avatar A (for example, the locus KA in FIG. 2) superimposed on the in-booth image GB. is displayed in a different form (for example, as a green circle like the current position PA in FIG. 2).
  • the exhibitor image generation unit 57 generates an image including one or more exhibitor images such as the list image GR, the list image GRR, the target image GT, and the in-booth image GB as the booth customer service function screen GK. Furthermore, what exhibitor images are included in the booth customer service function screen GK (what are the exhibitor images displayed on the exhibitor terminal 2) depends on the state of the person in charge's operation on the exhibitor terminal 2. It depends. A specific example of the transition of the exhibitor image on the booth customer service function screen GK image will be described later with reference to FIGS. 8 to 14.
  • the exhibitor display control unit 58 executes control to display on the exhibitor terminal 2 a booth customer service function screen GK that includes exhibitor images such as the in-booth image GB.
  • the chat control unit 59 connects the visitor terminal 3 operated by the visitor UR and the person in charge. controls communication between the exhibitor terminal 2 operated by the exhibitor terminal 2 or other terminals.
  • chat includes text chat and voice chat.
  • the chat control unit 59 may control communication for holding a video conference or the like instead of chatting.
  • FIG. 6 An example of the functional configuration of the server 1 in FIG. 6 configuring the information processing system in FIG. 5 has been described above with reference to FIG. 7.
  • FIGS. 8 to 14 as appropriate, a specific example of the transition of exhibitor images on the booth customer service function screen GK displayed on the exhibitor terminal 2 under the control of the server 1 having the functional configuration of FIG. 7 will be explained. explain.
  • an image for exhibitors to assign one or more people in charge of booth B is displayed on the booth customer service function screen GK.
  • Ru The administrator of the exhibitor UT assigns one or more persons in charge by performing various operations on the exhibitor image displayed on the exhibitor terminal 2.
  • the name of the assigned person in charge will be registered, and when someone makes a comment in the text chat in the chat image (such as the visitor chat image GCR in Figure 12 described later), the registered name will be displayed as the speaker. That will happen.
  • a booth customer service function screen GK as shown in FIGS. 8A to 8C is displayed.
  • 8A to 8C show examples of booth customer service function screens displayed on the exhibitor terminal under the control of the server having the functional configuration of FIG. 7.
  • a booth customer service function screen GK including a display area GC, a choice image GS, and a home image GH as exhibitor images is displayed on the booth terminal 2.
  • the server 1 activates the booth customer service function.
  • the exhibitor image on screen GK is transitioned to an image as shown in FIG. 8B. This allows the person in charge to check information on leads that have visited booth B. That is, in the example of FIG. 8B, a booth customer service function screen GK including a display area GC and the above-mentioned list image GR as exhibitor images is displayed on the booth terminal 2.
  • the person in charge can designate the predetermined person as a target by clicking on the column (lead) of a predetermined visitor UR from the list image GR displayed on the exhibitor terminal 2.
  • the server 1 transitions the exhibitor image in the booth customer service function screen GK from FIG. 8B to an image as shown in FIG. 8C. That is, in the example of FIG. 8C, a booth customer service function screen GK including a display area GC, the above-mentioned list image GR, and a target image GT displayed to the right thereof as exhibitor images is displayed on the booth terminal 2. has been done.
  • FIG. 9 shows an enlarged view of the booth customer service function screen of FIG. 8C.
  • the target image GT includes a target personal information image GTT, a target memo image GTM, a target behavior history image GTR, and a target chat history image GTC.
  • the target personal information image GTT is an image showing personal information such as business card information of the target (visitor UR), for example, information registered in the event application form.
  • the target memo image GTM is an image that can be used as a memo in which the person in charge can write information such as "accuracy" for the target (visitor UR) and impressions of the chat. Note that the initial setting of "accuracy" is "low".
  • the target action history image GTR is an image in which the action history of the target (visitor UR) in the booth B is shown in text.
  • the target image generation unit 572 in FIG.
  • the target chat history image GTC is an image showing the history of text chats conducted between the target (visitor UR) and the person in charge (including other persons in charge).
  • the person in charge can check information on leads that have come to booth B by clicking on "Visitor" in the option image GS (see FIG. 8A).
  • a detailed image of the target (list image GR in FIGS. 8C and 9) can be displayed on the right side.
  • the person in charge can check the target's personal information by visually checking the target personal information image GTT, check the target's behavior history in booth B by visually checking the target behavior history image GTR, By viewing the target chat history image GTC, the content of the chat with the target can be confirmed.
  • the target can edit the temperature sensation and memo for the target using the target memo image GTM.
  • the person in charge clicks again on the lead (target column) in the list (list image GR in FIG. 8B) to display the detailed image of the target (target image GT in FIGS. 8C and 9). can be closed. That is, the server 1 changes the exhibitor image in the booth customer service function screen GK from FIG. 8C to an image as shown in FIG. 8B.
  • the person in charge wants to check the visitor UR currently existing at booth B for the purpose of providing customer service (communication) to the visitor UR currently existing at booth B, the person in charge operates the exhibitor terminal 2 and As shown in FIGS. 10A to 10C, the exhibitor images in the booth customer service function screen GK are changed.
  • the initial state is a state in which a booth customer service function screen GK including a display area GC, a choice image GS, and a home image GH as exhibitor images is displayed on the booth terminal 2.
  • the person in charge wants to check the visitor URLs currently existing at booth B
  • the person in charge operates the exhibitor terminal 2 and clicks "booth customer service" in the option image GS
  • the server 1 activates the booth customer service function.
  • the exhibitor image on screen GK is changed to an image as shown in FIG. 10B.
  • This allows the person in charge to confirm the lead information currently existing in booth B. That is, in the example of FIG. 10B, a booth customer service function screen GK including a display area GC, a list image GRR, and an in-booth image GB as exhibitor images is displayed on the booth terminal 2.
  • the list image GRR in the example of FIG. 10B is different from the example list image GR in FIG.
  • the person in charge can designate the target candidate as a target by clicking on the target candidate column (lead) from the list image GR displayed on the exhibitor terminal 2.
  • the server 1 transitions the exhibitor image in the booth customer service function screen GK from FIG. 10B to an image as shown in FIG. 10C. That is, in the example of FIG. 10C, a booth customer service function screen GK including a display area GC, a target image GT, an in-booth image GB, and an exhibitor chat image GCT as exhibitor images is displayed on the booth terminal 2. has been done.
  • FIG. 11 shows an enlarged view of the booth customer service function screen of FIG. 10C.
  • the target image GT includes a target personal information image GTT and a target action history image GTR.
  • the target personal information image GTT is an image showing personal information such as business card information of the target (visitor UR), for example, information registered in the event application form.
  • the target action history image GTR is an image in which the action history of the target (visitor UR) in the booth B is shown in text.
  • target image generation unit 572 in FIG. when a predetermined visitor UR currently present in booth B is specified as a target from list image GRR by an operation on exhibitor terminal 2 by a person in charge, target image generation unit 572 in FIG. ), by generating a target image GT including a target action history image GTR for the target, it is possible to notify the exhibitor terminal 2 of the position of the target in the booth B.
  • a movement trajectory KA is displayed superimposed on the in-booth image GB as an image showing the history of movement of the target in the booth B.
  • the movement trajectory KA is a solid line (flow line) connecting the white circle indicating the past current position of the target (lead) and the current position PA for each movement order. It is.
  • the movement trajectory KA also includes a check mark indicating that the target visitor UR (avatar A) has clicked on an exhibition panel or the like on the visitor terminal 3.
  • the exhibitor chat image GCT is a screen used when a person in charge of the exhibitor UT chats with a target (visitor UR).
  • chat includes text chat and voice chat.
  • the content of the text chat is displayed on the exhibitor chat image GCT.
  • the voice chat button BT on the right side of the exhibitor chat image GCT is pressed, a voice chat (room for voice chat) is created.
  • the voice chat room is created, it is displayed to the exhibitor US as a voice chat invitation from the exhibitor US.
  • the exhibitor US can have a voice chat with the visitor UR in the room.
  • the visitor UR can press the "Participate in voice chat” button and enter the voice chat room to have a voice chat with the exhibitor US in that room.
  • the voice chat may be conducted in the form of a telephone call.
  • a method in which a voice chat (room for voice chat) is created as needed is preferable as described below.
  • a voice chat room for voice chat
  • a call is first made to the visitor UR, and during the call the visitor UR answers the call (phone call). )” is necessary.
  • Such a system has a high implementation cost.
  • the exhibitor US even while the visitor UR is being called, the exhibitor US has to deal exclusively with the visitor UR (one-on-one correspondence), which increases the cost of responding.
  • the person in charge can check information on the leads currently in booth B by clicking on "Customer service at booth” in option image GS (see FIG. 10A). can.
  • the person in charge displays the detailed image of the target (the movement trajectory KA superimposed on the target image GT and booth interior image GB in FIGS. 10C and 11). ) can be displayed.
  • the person in charge can confirm the target's personal information by visually confirming the target personal information image GTT, and the history of the target's behavior in booth B by visually confirming the target behavior history image GTR and movement trajectory KA.
  • the person in charge clicks the lead (target column) in the list (list image GRR of FIG. 10B) again to display the detailed image of the target (target image GT of FIG. 10C and FIG. 9). can be closed. That is, the server 1 changes the exhibitor image in the booth customer service function screen GK from FIG. 10C to an image as shown in FIG. 10B.
  • the person in charge desires to chat with the target, the person in charge can start a text chat or voice chat using the exhibitor chat image GCT.
  • FIG. 12 shows an example of a chat between a person in charge of an exhibitor and a visitor (avatar). That is, as shown in FIG. 12, the person in charge of exhibitor UT uses the exhibitor chat image GCT displayed on exhibitor terminal 2 to enable avatar A to chat with visitor UR present in booth B. can do. In other words, the visitor UR can chat with the person in charge of the exhibitor UT using the visitor chat image GCR displayed on the visitor terminal 3. Chat here includes text chat and voice chat. The contents exchanged in the text chat are reflected and displayed in real time on each of the exhibitor chat image GCT and the visitor chat image GCR. Further, the number of people in charge of exhibitor UT is not limited to one person, but may be multiple people.
  • the specifications are such that multiple people in charge can respond to one visitor UR via chat.
  • audio chat voice chat
  • a "Respond" button for example, button BTA in Figure 14C described later
  • the person in charge can participate in the conversation (voice chat) by pressing the "Reply” button.
  • the text chat if another person in charge has already started chatting with the visitor UR, the contents exchanged in that chat are also displayed in the person in charge's exhibitor chat image GCT.
  • the person in charge can participate in the text chat using his/her own exhibitor chat image GCT.
  • the chat image GCT for exhibitors of a given person in charge, "you" is displayed for the utterances of the given person in charge.
  • the registered name of the person in charge is displayed for the invention contents of other persons in charge.
  • the visitor chat image GCR the registered names of each of the plurality of persons in charge are displayed.
  • FIGS. 13A and 13B show an example of a visitor image displayed on a visitor terminal of a visitor when chatting with a person in charge of an exhibitor.
  • FIG. 13A shows an example of the visitor image GUR displayed on the visitor terminal 3 of the visitor UR when an automatic response message is set on the exhibitor UT side.
  • FIG. 13B shows an example of the visitor image GUR displayed on the visitor terminal 3 of the visitor UR in a case where no automatic response message is set on the exhibitor UT side.
  • the visitor image GUR is generated by superimposing the visitor chat image GCR on the avatar viewpoint image GA.
  • an automatic response message is not a content (message) manually input by a person in charge, but a content (message) preset by the exhibitor UT that is automatically uttered as the content of the utterance by the exhibitor based on a predetermined trigger.
  • the contents (messages) preset by exhibitor UT include messages for "online” when the person in charge is available for chat, and messages for "offline" when the person in charge is not available for chat. and can be prepared in advance.
  • the person in charge may be able to manually set whether to log in to the registration screen and go online, or log off and go offline.
  • the exhibitor UT may be able to set the time when the entire booth B (or the entire event) is available as the "ticket reception time.” Based on this premise, if it is within ticket reception hours and at least one person in charge is online, the server 1 will display the visitor image when the visitor UR starts the chat. For GUR, display a message "Online”. If it is within the ticket reception hours and all the people in charge are offline, the server 1 will display "offline” for the visitor image GUR when the visitor UR starts the chat. Display the message. This is because there is no available person in charge. If it is outside the ticket reception hours and at least one person in charge is online, the server 1 will display an "offline" message for the visitor image GUR when the visitor UR starts the chat.
  • FIG. 14A to 14C are diagrams showing specific examples of messages that are notified when an action is taken by a visitor or another person in charge when chatting with a visitor or the like.
  • FIG. 14A shows an example of a booth customer service function screen GK that includes a display area GC used for notification when an action is taken by a visitor or another person in charge when chatting with a visitor or the like.
  • a message is displayed in the display area GC.
  • a message shown in FIG. 14B is displayed in the display area GC.
  • a message shown in FIG. 14C is displayed in the display area GC.
  • a "voice chat participation" button BTA is displayed in the display area GC along with the message shown in the upper row of FIG. 14C.
  • the person in charge presses a "voice chat participation” button BTA.
  • an "interrupt” button BTB is displayed in the display area GC along with a message shown in the middle part of FIG. 14C. If the person in charge wants to interrupt the start of the conversation (voice chat), the person in charge presses the "interrupt" button BTB.
  • an "end voice chat" button BTC is displayed in the display area GC along with a message shown in the lower part of FIG. 14C.
  • the person in charge wants to end the conversation (voice chat)
  • the person in charge presses the "end voice chat” button BTC.
  • the method of notifying the person in charge of exhibitor UT about the current position and movement trajectory of avatar A (visitor UR) in booth B is that Although this is a method of displaying the current position PA, movement trajectory KA, and target action history image GTR within the target image GT, the method is not particularly limited to this. For example, a method may be adopted in which the current position and movement trajectory of avatar A (visitor UR) in booth B is notified by voice.
  • system configuration shown in FIG. 5 and the hardware configuration of the server 1 shown in FIG. 6 are merely examples for achieving the object of the present invention, and are not particularly limited.
  • the functional block diagram shown in FIG. 7 is merely an example and is not particularly limited. In other words, it is sufficient that the information processing system shown in FIG. 5 has a function that can execute the above-mentioned process as a whole, and what kind of functional blocks and databases are used to realize this function is determined by the example shown in FIG. 7 in particular. but not limited to.
  • the locations of the functional blocks and the database are not limited to those shown in FIG. 7, and may be arbitrary. In the example of FIG. 7, all processes are performed under the control of the CPU 11 of the server 1 of FIG. 6 that constitutes the information processing system of FIG. 5, but the configuration is not limited thereto.
  • the functional blocks and database located on the server 1 side may be provided on the exhibitor terminal 2 side, the visitor terminal 3 side, or another information processing device (not shown).
  • one functional block may be configured by a single piece of hardware, a single piece of software, or a combination thereof.
  • a program constituting the software is installed on a computer or the like from a network or a recording medium.
  • the computer may be a computer built into dedicated hardware. Further, the computer may be a computer that can execute various functions by installing various programs, such as a server, a general-purpose smartphone, or a personal computer.
  • Recording media containing such programs not only consist of removable media (not shown) that is distributed separately from the main body of the device in order to provide the program to the user, but also are provided to the user in a state that is pre-installed in the main body of the device. Consists of provided recording media, etc.
  • the step of writing a program to be recorded on a recording medium is not only a process that is performed chronologically in accordance with the order, but also a process that is not necessarily performed chronologically but in parallel or individually. It also includes the processing to be executed.
  • an information processing device to which the present invention is applied only needs to have the following configuration, and can take various embodiments.
  • an information processing device for example, server 1 in FIG. 6) to which the present invention is applied,
  • An exhibition hall for example, exhibition hall TH in FIG. 1 in which a booth (for example, booth B in FIG. 1) is arranged, and an avatar (for example, an avatar that can move within the exhibition hall as a first user (for example, visitor UR in FIG. 1)
  • Arrangement means for example, the virtual space arrangement unit 53 of FIG. 7) that arranges the avatars A) of FIG. 1 in a three-dimensional virtual space, respectively; Based on an instruction to move the avatar to a predetermined position in the exhibition hall by the first user (for example, visitor UR in FIG. 1) on a first device (for example, visitor terminal 3 in FIG.
  • an avatar moving unit for example, the avatar moving unit 52 in FIG. 7) that moves the avatar to the predetermined position in the virtual space
  • avatar position detection means for example, the avatar position detection unit in FIG. 7 56
  • the position of the avatar in the booth is determined by a second device (for example, exhibitor terminal 2 in FIG. 1) managed by a second user (for example, exhibitor UT in FIG. 1). ) (for example, exhibitor image generation unit 57 and exhibitor display control unit 58 in FIG. 7); Equipped with Thereby, the person in charge of the exhibitor UT can easily grasp where the visitor UR (avatar A) is located in his or her booth B. In this way, it is possible to improve the convenience of the system for communicating with the operator of avatar A (visitor UR) who moves within the virtual space.
  • the avatar position detection means further collects trajectory data indicating a trajectory of movement of the avatar within the booth based on a plurality of past detection results,
  • the avatar position notification means further notifies the second device of the trajectory data. You can do it like this. Thereby, the person in charge of the exhibitor UT can easily grasp where the visitor UR (avatar A) is located in his or her booth B.
  • In-booth image generation means (for example, in-booth image generation unit 573 in FIG. 7) that generates an image of the booth taken from a predetermined viewpoint as an in-booth image (for example, in-booth image GB in FIG. 2) Furthermore,
  • the avatar position notification means further superimposes an image indicating a locus of movement of the avatar based on the locus data (for example, the locus of movement KA in FIG. 2) on the in-booth image, and sends the image to the second device. Notifying the second device of the trajectory data by displaying it; You can do it like this. Thereby, the person in charge of exhibitor UT can easily view the movement trajectory of visitor UR (avatar A) within booth B from a 3D perspective.
  • visitor UR avatar A
  • the avatar position notification means further includes displaying the current position of the avatar in a different representation form (for example, as shown in FIG. to notify the second device of the current position by displaying the current position PA in the form of a green circle against a white circle indicating the past position; You can do it like this.
  • the person in charge of exhibitor UT can easily visually confirm the current position of visitor UR (avatar A) in booth B from a 3D perspective.
  • a communication control means for example, a chat control unit in FIG. 7 59 further comprising; You can do it like this.
  • the person in charge of exhibitor UT can easily communicate with visitor UR who came to his booth B as avatar A through chat or video conference.
  • List information (for example, list image GR in FIG. 8B or list image GR in FIG. 10B) that lists information regarding one or more of the first users corresponding to each of the one or more avatars that have visited or are currently visiting the booth during a predetermined period.
  • a list notification unit (for example, the list image generation unit 571 in FIG. 7) that generates a list image GRR) and notifies the second device.
  • the avatar position notification means specifies the position of the target in the booth (for example, 9, the target action history image GTR in FIG. 11, the movement trajectory KA superimposed on the booth interior image GB in FIG.
  • the person in charge of exhibitor UT specifies a target from among the multiple visitors UR who came to his booth B as avatar A, and the target visitor UR (avatar A) You can easily know where you are inside.
  • Target information notification means for example, the target image generation unit 572 in FIG. 7 that notifies the second device of information regarding the target other than the position (for example, the target image GT including the target personal information image GTT in FIGS. ), It is possible to further include the following.
  • the person in charge of exhibitor UT can specify a target from among the multiple visitor URs who came to their booth B as avatar A, and collect personal information such as business card information of the target visitor UR (avatar A). can be easily understood.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

仮想空間内を移動するアバタの操作者とコミュニケーションを図るためのシステムにおける利便性を向上させることを課題とする。 仮想空間配置部53は、ブースが配置された展示ホール、及び前記展示ホール内を来場者として移動可能なアバタを、3次元の仮想空間に夫々配置させる。アバタ移動部52は、来場者端末3に対する操作による、展示ホール内でアバタを所定位置に移動させる指示に基づいて、仮想空間におけるアバタを当該所定位置に移動させる。アバタ位置検出部56は、ブースにアバタが存在するときに、所定トリガ毎に、当該アバタのブース内の位置を検出して記憶する。出展者用画像生成部57及び出展者用表示制御部58は、アバタ位置検出部56の検出結果に基づいて、アバタのブース内の位置を出展者端末2に対して通知する。これにより上記課題を解決する。

Description

情報処理装置、情報処理方法、及びプログラム
 本発明は、情報処理装置、情報処理方法、及びプログラムに関する。
 従来、3次元の仮想空間内における様々な視点から撮像された画像であって、当該3次元の仮想空間内を移動するアバタを含む画像を、HMD(Head Mounted Display)等を用いて閲覧するVR(Virtual Reality)に関する技術が存在する(特許文献1参照)。
特開2017-012397号公報
 しかしながら、特許文献1に記載の技術を含む従来技術では、次のような要望に応えることが出来ない状況であった。
 即ち、仮想空間内のアバタの操作者とコミュニケーションを図りたい者にとって、当該アバタの位置を把握する等したいという要望、換言すると、仮想空間内を移動するアバタの操作者とコミュニケーションを図るためのシステムにおける利便性を向上させたいという要望が近年挙げられている。しかしながら、特許文献1に記載の技術を含む従来技術では、このような要望に応えることが出来ない状況であった。
 本発明は、このような状況に鑑みてなされたものであり、仮想空間内を移動するアバタの操作者とコミュニケーションを図るためのシステムにおける利便性を向上させることを目的とする。
 上記目的を達成するため、本発明の一態様の情報処理装置は、
 ブースが配置された展示ホール、及び前記展示ホール内を第1ユーザとして移動可能なアバタを、3次元の仮想空間に夫々配置させる配置手段と、
 第1デバイスに対する前記第1ユーザの操作による、前記展示ホール内で前記アバタを所定位置に移動させる指示に基づいて、前記仮想空間における前記アバタを当該所定位置に移動させるアバタ移動手段と、
 前記ブースに前記アバタが存在するときに、所定トリガ毎に、当該アバタの前記ブース内の位置を検出して記憶するアバタ位置検出手段と、
 前記アバタ位置検出手段による検出結果に基づいて、前記アバタの前記ブース内の位置を、第2ユーザにより管理される第2デバイスに対して通知するアバタ位置通知手段と、
 を備える。
 本発明の一態様の情報処理方法及びプログラムは、本発明の一態様の情報処理装置に対応する方法及びプログラムである。
 本発明によれば、仮想空間内を移動するアバタの操作者とコミュニケーションを図るためのシステムにおける利便性を向上させることができる。
本発明の情報処理装置の一実施形態に係るサーバを用いて提供される本サービスの概要を示す図である。 図1の本サービスにより出展者に提供されるブース接客機能画面の一例を示す図である。 図1の本サービスにより出展者に提供されるブース接客機能画面の一例であって図2とは異なる例を示す図である。 図3のブース接客機能画面に含まれるリスト画像における「訪問状態」、「通話状態」、及び「チャット状態」として表示されるアイコンの一例を示す図である。 本発明の情報処理装置の一実施形態に係るサーバが適用される情報処理システムの構成の一例を示す図である。 図5に示す情報処理システムのうちサーバのハードウェア構成の一例を示すブロック図である。 図5の情報処理システムを構成する図6のサーバの機能的構成の一例を示す機能ブロック図である。 図7の機能的構成のサーバの制御により出展者端末に表示されるブース接客機能画面の一例を示す図である。 図7の機能的構成のサーバの制御により出展者端末に表示されるブース接客機能画面の一例を示す図である。 図7の機能的構成のサーバの制御により出展者端末に表示されるブース接客機能画面の一例を示す図である。 図8Cのブース接客機能画面の拡大図である。 図7の機能的構成のサーバの制御により出展者端末に表示されるブース接客機能画面の一例であって、図8とは異なる例を示している。 図7の機能的構成のサーバの制御により出展者端末に表示されるブース接客機能画面の一例であって、図8とは異なる例を示している。 図7の機能的構成のサーバの制御により出展者端末に表示されるブース接客機能画面の一例であって、図8とは異なる例を示している。 図10Cのブース接客機能画面の拡大図である。 出展者の担当者と来場者(アバタ)との間で行われるチャットの様子の一例を示す図である。 出展者の担当者とチャットをしている場合における来場者の来場者端末に表示される来場者用画像の一例を示す図である。 出展者の担当者とチャットをしている場合における来場者の来場者端末に表示される来場者用画像の一例を示す図である。 来場者とチャットをする等の際に来場者又は他の担当者からアクションがあった際に通知されるメッセージの具体例を示す図である。 来場者とチャットをする等の際に来場者又は他の担当者からアクションがあった際に通知されるメッセージの具体例を示す図である。 来場者とチャットをする等の際に来場者又は他の担当者からアクションがあった際に通知されるメッセージの具体例を示す図である。
 以下、本発明の実施形態について図面を用いて説明する。
 図1は、本発明の情報処理装置の一実施形態に係るサーバを用いて提供されるサービスの概要を示す図である。
 まず、本発明の実施形態を説明するに先立ち、図1を用いて、本発明の情報処理装置の一実施形態に係るサーバを用いて提供されるサービス(以下、「本サービス」と呼ぶ)について簡単に説明する。
 本サービスとは、次のようなサービスである。
 即ち、本サービスは、3次元の仮想空間内において開催される展示会において、出展者UT及び来場者URに提供されるサービスである。
 出展者UTは出展者端末2を用いて、また、来場者URは来場者端末3を用いて、夫々、ブラウザ機能等によりインターネット等を介して、本サービスの提供者(以下、「サービス提供者」と呼ぶ)により管理されるサーバ1に接続することで、本サービスを利用することができる。即ち、本サービスは、いわゆるクラウドサービスとして実現されている。
 ここで、ブラウザ機能の代わりに、出展者端末2又は来場者端末3に予めインストールされた専用のアプリケーションソフトウェア(以下、「専用アプリ」と呼ぶ)が利用されることにより、本サービスを利用できるようにしてもよい。
 具体的には例えば、図1に示すように、3次元の仮想空間には、主催者により設定される展示ホールTHが配置される。展示ホールTH内には、複数の出展者UTの夫々の商品等(コンテンツ)が出展される複数のブースBが配置される。
 来場者URは、来場者端末3を操作して、展示ホールTH内を、アバタAとして移動し、興味あるブースBを訪れる。
 来場者端末3の画面には、アバタAに基づく視点から3次元の仮想空間が撮像された結果得られる3次元画像(以下、「アバタ視点画像」と呼ぶ)が表示される。図1の例では、ブースBの外にアバタAが存在する場合のアバタ視点画像GA1と、当該ブースBの中にアバタAが存在する場合のアバタ視点画像GA2との一例が示されている。
 出展者UTに属する1以上の担当者は、出展者端末2又は自身の端末(以下の例では説明の便宜上出展者端末2とする)に表示される管理画面を用いる操作をすることで、ブースBを訪れたアバタA(来場者UR)に対する営業等のコミュニケーションを、チャットやビデオ会議等で行うことができる。
 このため、出展者端末2の管理画面には、ブースB内の全体が画角におさまるような所定の視点(例えば図1の例ではブースBの上方の視点)から3次元の仮想空間が撮像された結果得られる3次元画像GB(以下、「ブース内画像GB」と呼ぶ)が表示される。
 このブース内画像GBには、ブースBに存在するアバタAの移動の軌跡を示す画像KA(以下、「移動軌跡KA」と呼ぶ)が重畳されて表示される。
 これにより、出展者UTの担当者は、自身のブースBの中でアバタA(来場者UR)がどこにいるのかを容易かつ即座に視認することができる。担当者は、アバタAが単にブースBに存在するといったことだけではなく、ブースBの中でのどの展示パネルの前にいるか等を具体的に把握することができるので、来場者UR(アバタA)の興味を推測することができる。その結果、担当者は、当該来場者URに対して、より効果的なコミュニケーション(例えばチャットや音声チャットの声がけ)を図ることができる。
 さらに以下、本サービスの基本的な流れについて説明する。
 先ず、出展者UT(管理者)は、出展者端末2の管理画面にて、ブースBの担当者をアサインする。
 アサインされた担当者は、出展者端末2又は自己の端末(以下、説明の便宜上出展者端末2とする)の管理画面にて、イベント会期中該当のブース接客機能画面を注視し続ける。
 図2及び図3は、図1の本サービスにより出展者に提供されるブース接客機能画面の一例を示している。
 図2に示すように、ブース接客機能画面GKには、ブース内画像GBが適宜表示される。ブース内画像GBとは、上述したように、3DカメラでブースBをリアルタイム投影したものである。換言すると、ブース内画像GBとは、ブースB内の形状や展示パネル等の各場所やアバタAの場所が正確に投影されたものである。
 ブース内画像GBには、上述したように、ブースBに存在するアバタAの移動軌跡KAが重畳されて表示される。
 即ち、サーバ1は、ブースBにアバタA(来場者UR)が入ってくると、当該アバタAの現在位置を示す緑の丸印の画像PA(以下、単に「現在位置PA」と呼ぶ)を、ブース内画像GBに重畳して表示させる。その後、サーバ1は、例えば1秒間隔毎等に、アバタAのブースB内の現在位置を検出し、その検出結果に基づいて、アバタAのブースB内の移動軌跡KAを生成して、ブース内画像GBに重畳して表示させる。
 移動軌跡KAは、過去の現在位置を示す白の丸印及び現在位置PAをその移動順番毎に実線(動線)で結んだものである。移動軌跡KAには、来場者UR(アバタA)が来場者端末3で展示パネル等をクリックしたことを示すチエックマークも含まれている。従って、出展者UTの担当者は、移動軌跡KAにより、来場者UR(アバタA)の行動導線やクリック導線も可視化して把握することができる。
 また、出展者UTの担当者は、適切な場所(例えば説明をしたい展示パネル付近)が現在位置PAとなっている来場者UR(アバタA)に対して、クリック等の所定操作をすることで、コミュニケーション(例えばテキストチャットや音声チャットの声がけ)を開始することができる。
 逆に、来場者URは、自身のアバタAがブースB内に存在するとき、来場者端末3を操作することで、当該ブースBの担当者に対して、コミュニケーション(例えばテキストチャットや音声チャット)を開始することができる。
 このようにして来場者URの側からコミュニケーションが開始された場合、その旨の通知(図1の例では「田中様よりテキストチャットがあります」というメッセージ)が、ブース接客機能画面GKの表示領域GCに表示される。
 また、出展者UTの担当者は、クリック等の所定操作をすることで、ブースBに存在するアバタA(来場者UR)のうちターゲット(上述のコミュニケーションを図りたい相手)に関する詳細情報、例えば名刺情報等の個人情報、アンケート、テキスト表示による行動履歴情報を示す画像GT(以下、「ターゲット画像GT」と呼ぶ)を、ブース接客機能画面GKに表示させることができる。
 ここで、図3に示すように、所定期間(例えばイベント期間中や、所定の1日)にブースBに訪れた1以上の来場者UR(アバタA)に関する情報がリスト化された画像GR(以下、「リスト画像GR」と呼ぶ)が、ブース接客機能画面GKの表示領域GCに表示される。
 例えば、リスト画像GRには、来場者URについての「訪問状態」、「通話状態(音声チャット状態)」、及び「チャット状態(テキストチャット状態)」が存在する。
 「訪問状態」、「通話状態」、及び「チャット状態」は、図4に示すようにアイコンによりその状態が視認可能に示される。
 図4は、図3のリスト画像における「訪問状態」、「通話状態」、及び「チャット状態」として表示されるアイコンの一例を示している。
 出展者UTの担当者は、「訪問状態」についてアイコンを視認することで、現時点でブースBに来場者UR(アバタA)が存在するのか否かについて、即座かつ容易に一度に把握することができる。
 また、出展者UTの担当者は、「通話状態」や「チャット状態」についてアイコンを視認することで、ブースBに来た1以上の来場者UR(アバタA)の夫々について、対応済みか否かについて即座かつ容易に一度に把握することができる。即ち、出展者UTの担当者は、「通話状態」や「チャット状態」を視認することで、ブースBに来た1以上の来場者UR(アバタA)の夫々について、テキストチャットや音声チャットを過去にしたのか、現在しているのか、あるいは未だしていないのかについて即座かつ容易に一度に把握することができる。
 次に、図5を参照して、上述した図1の本サービスの提供を実現させる情報処理システム、即ち本発明の情報処理装置の一実施形態に係るサーバが適用される情報処理システムの構成について説明する。
 図5は、本発明の情報処理装置の一実施形態に係るサーバが適用される情報処理システムの構成の一例を示す図である。
 図5に示す情報処理システムは、サーバ1と、出展者端末2-1乃至2-n(nは1以上の整数値)と、来場者端末3-1乃至3-m(mはnとは独立した1以上の整数値)を含むように構成されている。
 サーバ1、出展者端末2-1乃至2-n、及び来場者端末3-1乃至3-mは、インターネット等の所定のネットワークNWを介して相互に接続されている。
 サーバ1は、サービス提供者により管理される情報処理装置である。サーバ1は、出展者端末2-1乃至2-n、及び来場者端末3-1乃至3-mと適宜通信をしながら、本サービスを実現するための各種処理を実行する。
 出展者端末2-1乃至2-nの夫々は、出展者UT-1乃至UT-nの夫々が操作する情報処理装置である。出展者端末2-1乃至2-nは、上述したように、パーソナルコンピュータ、タブレット、スマートフォン等で構成される。
 なお、以下、出展者UT-1乃至UT-nの個々を区別する必要がない場合、これらをまとめて図1に示すように出展者UTと呼ぶ。また、出展者UTと呼んでいる場合、出展者端末2-1乃至2-nをまとめて図1に示すように「出展者端末2」と呼ぶ。
 出展者端末2は、例えば出展者UTによる各種情報の入力操作を受け付けてサーバ1に送信したり、サーバ1から送信されてきた各種情報を受信して表示したりする。
 来場者端末3-1乃至3-nの夫々は、来場者UR-1乃至UR-mの夫々が操作する情報処理装置である。来場者端末3-1乃至3-nは、上述したように、パーソナルコンピュータ、タブレット、スマートフォン等で構成される。
 なお、以下、来場者UR-1乃至UR-mの個々を区別する必要がない場合、これらをまとめて図1に示すように来場者URと呼ぶ。また、来場者URと呼んでいる場合、来場者端末3-1乃至3-mをまとめて図1に示すように「来場者端末3」と呼ぶ。
 来場者端末3は、例えば来場者URによる各種情報の入力操作を受け付けてサーバ1に送信したり、サーバ1から送信されてきた各種情報を受信して表示したりする。
 図6は、図2に示す情報処理システムのうちサーバのハードウェア構成の一例を示すブロック図である。
 サーバ1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、入力部16と、出力部17と、記憶部18と、通信部19と、ドライブ20とを備えている。
 CPU11は、ROM12に記録されているプログラム、又は、記憶部18からRAM13にロードされたプログラムに従って各種の処理を実行する。
 RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
 CPU11、ROM12、及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、入力部16、出力部17、記憶部18、通信部19及びドライブ20が接続されている。
 入力部16は、例えばキーボード等により構成され、各種情報を入力する。
 出力部17は、液晶等のディスプレイやスピーカ等により構成され、各種情報を画像や音声として出力する。
 記憶部18は、DRAM(Dynamic Random Access Memory)等で構成され、各種データを記憶する。
 通信部19は、インターネットを含むネットワークNWを介して他の装置(例えば図5の出展者端末2-1乃至2-n及び来場者端末3-1乃至3-m)との間で通信を行う。
 ドライブ20には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア31が適宜装着される。ドライブ20によってリムーバブルメディア31から読み出されたプログラムは、必要に応じて記憶部18にインストールされる。
 また、リムーバブルメディア31は、記憶部18に記憶されている各種データも、記憶部18と同様に記憶することができる。
 なお、図示はしないが、図5の出展者端末2及び来場者端末3も、図6に示すハードウェア構成と基本的に同様の構成を有することができる。したがって、出展者端末2及び来場者端末3のハードウェア構成についての説明は省略する。
 このような図6のサーバ1の各種ハードウェアと各種ソフトウェアとの協働により各種処理の実行が可能になる。その結果、上述の本サービスを提供することができる。
 以下、図5の情報処理システムを構成する図6のサーバ1において実行される機能的構成について説明する。
 図7は、図5の情報処理システムを構成する図6のサーバの機能的構成の一例を示す機能ブロック図である。
 図7に示すように、サーバ1のCPU11においては、展示ホール設置部51と、アバタ移動部52と、仮想空間配置部53と、来場者用画像生成部54と、来場者用表示制御部55と、アバタ位置検出部56と、出展者用画像生成部57と、出展者用表示制御部58と、チャット制御部59とが機能する。
 展示ホール設置部51は、図示せぬ主催者端末に対する主催者の操作又は出展者端末2に対する出展者UTの操作に基づいて、ブースBが配置された展示ホールTHを3次元の仮想空間内に設定する。
 アバタ移動部52は、来場者端末3に対する来場者URの操作により行われる指示のうち、展示ホールTH内で自身のアバタAを移動させる移動指示に基づいて、仮想空間におけるアバタAの現在位置を移動させる。
 仮想空間配置部53は、ブースBが配置された展示ホールTHを3次元の仮想空間に配置させると共に、アバタAを当該仮想空間内の現在位置に配置させる。
 来場者用画像生成部54は、アバタ視点画像生成部541を含んでいる。
 アバタ視点画像生成部541は、ブースBが配置された展示ホールTH、及び、現在位置のアバタAが夫々配置された仮想空間において、アバタAに基づく視点から撮像した3次元画像を、アバタ視点画像GAとして生成する。
 来場者用画像生成部54は、アバタ視点画像GAや他の画像(例えば後述の図121の来場者用チャット画像GCR等)を含む画像を、来場者用画像として生成する。
 来場者用表示制御部55は、図1に示すように、アバタ視点画像GAを含む来場者用画像を来場者端末3に表示させる制御を実行する。
 アバタ位置検出部56は、ブースBにアバタAが存在するときに、所定トリガ(例えば1秒間隔等)毎に、当該アバタAのブースB内の位置を検出して、図6の記憶部18に記憶させることで、当該アバタAのブースB内の移動の履歴を管理する。
 出展者用画像生成部57は、リスト画像生成部571と、ターゲット画像生成部572と、ブース内画像生成部573とを含んでいる。
 リスト画像生成部571は、所定期間(例えばイベント期間中や、所定の1日)にブースBに訪れた1以上の来場者UR(アバタA)に関する情報がリスト化された画像を、リスト画像GR(例えば図3参照)として生成する。
 また、後述するように、リスト画像生成部571は、現時点でブースBに存在する1以上の来場者UR(アバタA)に関する情報がリスト化された画像を、リスト画像GRR(例えば後述の図10C参照)として生成する。
 ターゲット画像生成部572は、例えばリスト画像GRやリスト画像GRRに含まれる1以上の来場者URのうち、ブースBに現在存在する所定の来場者UR(アバタA)がターゲットとして担当者により指定された場合、当該ターゲットに関する情報を示す画像、例えば名刺情報等の個人情報、アンケート、テキスト表示による行動履歴を示す画像を、ターゲット画像GT(例えば図1参照)として生成する。
 ブース内画像生成部573は、所定の視点からブースBを撮像した3次元画像を、ブース内画像GB(例えば図1参照)として生成する。
 ここで、アバタ位置検出部56は、上述したように、過去の複数の検出結果に基づいて、アバタAのブースB内における移動の軌跡を管理している。換言すると、アバタ位置検出部56は、アバタAのブースB内における移動の軌跡を示す軌跡データを収集している。
 そこで、出展者用画像生成部57は、ブース内画像GBに対して、軌跡データに基づくアバタAの移動の軌跡を示す画像(例えば図2の軌跡KA)を重畳する。
 さらに、出展者用画像生成部57は、ブース内画像GBに対して重畳させた、アバタAの移動の軌跡を示す画像(例えば図2の軌跡KA)において、当該アバタAの現在位置を他とは異なる表現形態(例えば図2の現在位置PAのような緑の丸印といった形態)で表示させる。
 出展者用画像生成部57は、リスト画像GRやリスト画像GRR、ターゲット画像GT,及びブース内画像GB等の出展者用画像を1以上含む画像を、ブース接客機能画面GKとして生成する。
 なお、ブース接客機能画面GKに何の出展者用画像が含まれるのか(出展者端末2に表示される出展者用画像は何であるのか)については、出展者端末2に対する担当者の操作の状態によって異なる。ブース接客機能画面GK画像における出展者用画像の遷移の具体例については、図8乃至図14を参照して後述する。
 出展者用表示制御部58は、図2や図3に示すように、ブース内画像GB等の出展者用画像を含むブース接客機能画面GKを出展者端末2に表示させる制御を実行する。
 チャット制御部59は、ブースBに存在するアバタAに対応する来場者URと、当該ブースBの担当者との間でチャットを行うために、来場者URが操作する来場者端末3と、担当者が操作する出展者端末2又は他の端末との間の通信を制御する。ここで、チャットには、テキストチャットと音声チャットが含まれる。また、チャット制御部59は、チャットの代わりに、ビデオ会議等を行うための通信を制御してもよい。
 以上、図7を参照して、図5の情報処理システムを構成する図6のサーバ1の機能的構成の一例について説明した。
 次に、図8乃至図14を適宜参照して、図7の機能的構成のサーバ1の制御により出展者端末2に表示されるブース接客機能画面GKにおける出展者用画像の遷移の具体例について説明する。
 先ず図示はしないが、イベント開始前やイベント期間中の各日の開始前等において、ブース接客機能画面GKには、ブースBの担当者を1人以上アサインするための出展者用画像が表示される。
 出展者UTの管理者は、出展者端末2に表示された当該出展者用画像に対して各種操作をすることで、1人以上の担当者をアサインする。
 アサインされた担当者の名前は登録され、後述のチャット画像(後述の図12の来場者用チャット画像GCR等)において、テキストチャットで発言等すると、発言者として、その登録された名前が表示されることになる。
 イベントが開始されると、出展者UTの担当者は、出展者端末2を操作して、管理画面にログインする。
 すると、図8A乃至図8Cに示すようなブース接客機能画面GKが表示される。
 図8A乃至図8Cは、図7の機能的構成のサーバの制御により出展者端末に表示されるブース接客機能画面の一例を示している。
 まず、図8Aに示すように、表示領域GCと選択肢画像GSとホーム画像GHとを出展者用画像として含むブース接客機能画面GKが、ブース端末2に表示される。
 担当者は、ブースBに来た或いは現在来ている来場者URを確認したい場合、出展者端末2を操作して、選択肢画像GSにおいて「来場者」をクリックすると、サーバ1は、ブース接客機能画面GK内の出展者用画像を図8Bに示すような画像に遷移させる。これにより、担当者は、ブースBに来場したリード情報を確認することができる。
 即ち、図8Bの例では、表示領域GCと上述のリスト画像GRとを出展者用画像として含むブース接客機能画面GKが、ブース端末2に表示されている。
 担当者は、出展者端末2に表示されたリスト画像GRの中から、所定の来場者URの欄(リード)をクリック等することで、当該所定者をターゲットとして指定することができる。
 これにより、サーバ1は、ブース接客機能画面GK内の出展者用画像を図8Bから図8Cに示すような画像に遷移させる。
 即ち、図8Cの例では、表示領域GCと、上述のリスト画像GRと、その右方に表示されるターゲット画像GTとを出展者用画像として含むブース接客機能画面GKが、ブース端末2に表示されている。
 図9は、図8Cのブース接客機能画面の拡大図を示している。
 図9に示されるように、ターゲット画像GTには、ターゲット個人情報画像GTT、ターゲットメモ画像GTM、ターゲット行動履歴画像GTR、及びターゲットチャット履歴画像GTCが含まれている。
 ターゲット個人情報画像GTTは、ターゲット(来場者UR)の名刺情報等の個人情報、例えばイベントの申込フォームで登録された情報等が示される画像である。
 ターゲットメモ画像GTMは、ターゲット(来場者UR)に対する「確度」やチャットの所感等、担当者が記載可能なメモとして使用できる画像である。なお、「確度」の初期設定は「低」とされている。
 ターゲット行動履歴画像GTRは、ターゲット(来場者UR)のブースB内の行動履歴がテキストで示される画像である。換言すると、図7のターゲット画像生成部572は、担当者の出展者端末2に対する操作により、リスト画像GRの中から所定の来場者URがターゲットとして指定された場合(図8B参照)、当該ターゲットについてのターゲット行動履歴画像GTRを含むターゲット画像GTを生成することで、当該ターゲットのブースB内の位置を出展者端末2に通知することができる。
 ターゲットチャット履歴画像GTCは、ターゲット(来場者UR)と担当者(他の担当者含む)との間で行われたテキストチャットの履歴が示される画像である。なお、本例では、音声チャット(ボイスチャット)は録音されないため履歴として残らない仕様が採用されているが、これは例示に過ぎない。即ち、当然ながら録音された内容を示す音声データが保存されていればクリック等の所定操作により当該音声データが再生されるような仕様を採用することもできる。
 以上の図8及び図9の例をまとめると、担当者は、選択肢画像GSにおいて「来場者」をクリックすることで(図8A参照)、ブースBに来たリード情報を確認することができる。
 担当者は、一覧(図8Bのリスト画像GR)のリード(ターゲットの欄)をクリックすると、ターゲットの詳細画像(図8C及び図9のリスト画像GR)を右方に表示させることができる。これにより、担当者は、ターゲット個人情報画像GTTを視認することでターゲットの個人情報を確認したり、ターゲット行動履歴画像GTRを視認することでターゲットのブースB内の行動の履歴を確認したり、ターゲットチャット履歴画像GTCを視認することでターゲットとのチャットの内容を確認することができる。また、ターゲットは、ターゲットメモ画像GTMを用いて、ターゲットに対する温度感やメモを編集することができる。
 なお、図8Cの状態で、担当者は、一覧(図8Bのリスト画像GR)のリード(ターゲットの欄)を再度クリックすることで、ターゲットの詳細画像(図8C及び図9のターゲット画像GT)を閉じることができる。即ち、サーバ1は、ブース接客機能画面GK内の出展者用画像を図8Cから図8Bに示すような画像に遷移させる。
 また、担当者は、ブースBに現在存在する来場者URに対して接客(コミュニケーション)をする目的で、ブースBに現在存在する来場者URを確認したい場合、出展者端末2を操作して、図10A乃至図10Cに示すようにブース接客機能画面GK内の出展者用画像を遷移させる。
 図10A乃至図10Cは、図7の機能的構成のサーバの制御により出展者端末に表示されるブース接客機能画面の一例であって、図8とは異なる例を示している。
 図10Aに示すように、表示領域GCと選択肢画像GSとホーム画像GHとを出展者用画像として含むブース接客機能画面GKが、ブース端末2に表示されている状態を初期状態とする。
 初期状態において、担当者は、ブースBに現在存在する来場者URを確認したい場合、出展者端末2を操作して、選択肢画像GSにおいて「ブース接客」をクリックすると、サーバ1は、ブース接客機能画面GK内の出展者用画像を図10Bに示すような画像に遷移させる。これにより、担当者は、ブースBに現在存在するリード情報を確認することができる。
 即ち、図10Bの例では、表示領域GCとリスト画像GRRとブース内画像GBを出展者用画像として含むブース接客機能画面GKが、ブース端末2に表示されている。
 ここで、図10Bの例のリスト画像GRRは、図8Bのリスト画像GRの例(過去にブースBを訪問した者も含まれる例)とは異なり、ブースBに現在存在する1以上のアバタA(来場者UR)の情報のみがリストアップされたものである。
 また、図10Bの段階では、ブース内画像GBに対して、ブースBに現在存在する1以上のアバタA(来場者UR)の夫々の現在位置を示す白色の丸印が重畳されて表示されている。
 そこで、担当者は、出展者端末2に表示されたリスト画像GRの中から、所定者の欄(リード)にカーソルをあわせる等の操作をすることで、当該所定者をターゲットの候補として指定することができる。この場合、ターゲットの候補となった来場者UR(アバタA)の現在位置を示す丸印は白色から緑色に変化する。
 担当者は、出展者端末2に表示されたリスト画像GRの中から、ターゲットの候補の欄(リード)をクリック等することで、当該候補をターゲットとして指定することができる。
 これにより、サーバ1は、ブース接客機能画面GK内の出展者用画像を図10Bから図10Cに示すような画像に遷移させる。
 即ち、図10Cの例では、表示領域GCと、ターゲット画像GTと、ブース内画像GBと、出展者用チャット画像GCTとを出展者用画像として含むブース接客機能画面GKが、ブース端末2に表示されている。
 図11は、図10Cのブース接客機能画面の拡大図を示している。
 図11に示されるように、ターゲット画像GTには、ターゲット個人情報画像GTT、及びターゲット行動履歴画像GTRが含まれている。
 ターゲット個人情報画像GTTは、ターゲット(来場者UR)の名刺情報等の個人情報、例えばイベントの申込フォームで登録された情報等が示される画像である。
 ターゲット行動履歴画像GTRは、ターゲット(来場者UR)のブースB内の行動履歴がテキストで示される画像である。換言すると、図7のターゲット画像生成部572は、担当者による出展者端末2に対する操作によりリスト画像GRRの中からブースBに現在存在する所定の来場者URがターゲットとして指定された場合(図10B参照)、当該ターゲットについてのターゲット行動履歴画像GTRを含むターゲット画像GTを生成することで、当該ターゲットのブースB内の位置を出展者端末2に通知することができる。
 また、図11に示されるように、ブース内画像GBに対して、ターゲットのブースB内の移動の履歴を示す画像として、移動軌跡KAが重畳されて表示される。
 移動軌跡KAは、図2を参照して上述したように、ターゲット(リード)の過去の現在位置を示す白の丸印及び現在位置PAをその移動順番毎に実線(動線)で結んだものである。移動軌跡KAには、ターゲットたる来場者UR(アバタA)が来場者端末3で展示パネル等をクリックしたことを示すチエックマークも含まれている。
 また、図11に示されるように、出展者用チャット画像GCTは、出展者UTの担当者がターゲット(来場者UR)とチャットをするときに用いる画面である。
 なお、チャットには、テキストチャットとボイス(音声)チャットとが含まれる。テキストチャットの内容は出展者用チャット画像GCTに表示される。また、出展者用チャット画像GCTの右方のボイスチャットボタンBTが押下されると、ボイスチャット(ボイスチャット用の部屋)が作成される。
 ボイスチャット用の部屋が作成されると、出展者USには、出展者USからのボイスチャットのお誘いとして表示される。出展者USは、「ボイスチャットに参加」ボタンを押下し、そのボイスチャット用の部屋に入ることで、その部屋内の来場者URとボイスチャットを行うことができる。来場者URも、同様に、「ボイスチャットに参加」ボタンを押下し、そのボイスチャット用の部屋に入ることで、その部屋内の出展者USとボイスチャットを行うことができる。
 なお、ボイス(音声)チャットは、電話(通話)形式で行われてもよい。しかしながら、上述したように、必要に応じてボイスチャット(ボイスチャット用の部屋)が作成される方式は、以下のとおり、好適である。
 例えば、出展者USから電話(通話)形式でボイスチャットを行う場合、まず、来場者URに対して通話の「呼び出し」が行われ、呼び出しの間に来場者URが「呼び出しに応答する(電話に出る)」必要がある。このようなシステムは、システム上の実装コストが高い。また、出展者USにとっては、来場者URの呼び出し中においてもその来場者URに対してかかりきり(1対1対応)になってしまうため、対応のコストも高くなってしまう。
 更に言えば、来場者URにとっては、テキストチャット中に出展者USからの通話の呼び出しが行われることは唐突に感じられるため、忌避されてしまう可能性が有る。
 これに対して、上述のボイスチャット(ボイスチャット用の部屋)が作成される方式は、上述の問題が解消されるため、好適である。
 以上の図10及び図11の例をまとめると、担当者は、選択肢画像GSにおいて「ブース接客」をクリックすることで(図10A参照)、現時点でブースB内にいるリード情報を確認することができる。
 担当者は、一覧(図10Bのリスト画像GRR)のリード(ターゲットの欄)をクリックすると、ターゲットの詳細画像(図10C及び図11のターゲット画像GT及びブース内画像GBに重畳された移動軌跡KA)を表示させることができる。これにより、担当者は、ターゲット個人情報画像GTTを視認することでターゲットの個人情報を確認したり、ターゲット行動履歴画像GTRや移動軌跡KAを視認することでターゲットのブースB内の行動の履歴(ブースB内回遊履歴や行動履歴)を確認することができる。
 なお、図10Cの状態で、担当者は、一覧(図10Bのリスト画像GRR)のリード(ターゲットの欄)を再度クリックすることで、ターゲットの詳細画像(図10C及び図9のターゲット画像GT)を閉じることができる。即ち、サーバ1は、ブース接客機能画面GK内の出展者用画像を図10Cから図10Bに示すような画像に遷移させる。
 これに対して、担当者は、ターゲットとチャットを所望する場合、出展者用チャット画像GCTを用いて、テキストチャット又は音声チャットを開始させることができる。
 さらに以下、図12乃至図14を参照して、出展者UTの担当者と来場者UR(アバタA)との間で行われるチャットの例について説明する。
 図12は、出展者の担当者と来場者(アバタ)との間で行われるチャットの様子の一例を示している。
 即ち、図12に示すように、出展者UTの担当者は、出展者端末2に表示される出展者用チャット画像GCTを用いて、アバタAがブースB内に存在する来場者URとチャットをすることができる。
 換言すると、来場者URは、来場者端末3に表示される来場者用チャット画像GCRを用いて、出展者UTの担当者とチャットをすることができる。
 ここでいうチャットには、テキストチャットと音声チャットが含まれる。
 テキストチャットでやり取りされた内容は、出展者用チャット画像GCT及び来場者用チャット画像GCRの夫々にリアルタイムに反映されて表示される。
 また、出展者UTの担当者は1人に限定されず、複数人の場合もあり得る。
 このため、1人の来場者URに対して、複数の担当者がチャットで対応することが可能な仕様となっている。
 音声チャット(ボイスチャット)については、他の担当者が既に来場者URと会話(音声チャット)を開始している場合、その旨とともに「応答する」ボタン(例えば後述の図14CのボタンBTA)が表示領域GCに表示される。この場合、担当者は、当該「応答する」ボタンを押下することで、会話(音声チャット)に参加することができる。
 一方、テキストチャットについては、他の担当者が既に来場者URとチャットを開始している場合、そのチャットでのやり取りされた内容は、担当者の出展者用チャット画像GCTにも表示される。この場合、担当者は、自身の出展者用チャット画像GCTを用いて、テキストチャットに参加することができる。
 このようにして、複数の担当者がテキストチャットに参加している場合には、所定担当者の出展者用チャット画像GCTにおいては、所定担当者自身の発話内容に対しては「あなた」と表示される一方、他の担当者の発明内容に対しては当該担当者の登録名称が表示される。来場者用チャット画像GCRにおいては、複数の担当者の夫々の登録名称が表示される。
 図13A及び図13Bは、出展者の担当者とチャットをしている場合における来場者の来場者端末に表示される来場者用画像の一例を示している。
 図13Aには、出展者UT側で自動応答メッセージが設定されている場合における、来場者URの来場者端末3に表示される来場者用画像GURの一例が示されている。
 図13Bには、出展者UT側で自動応答メッセージが設定されていない場合における、来場者URの来場者端末3に表示される来場者用画像GURの一例が示されている。
 図13A及び(B)の何れの例においても、アバタ視点画像GAに対して来場者用チャット画像GCRが重畳されることで、来場者用画像GURが生成されている。
 ここで、自動応答メッセージとは、担当者が手動で入力された内容(メッセージ)ではなく、出展者UTにより予め設定された内容(メッセージ)が、所定トリガに基づいて自動的に発話内容として来場者URに対して発せられる機能をいう。
 具体的には例えば、出展者UTにより予め設定された内容(メッセージ)としては、担当者がチャット対応可能な「オンライン時」のメッセージと、担当者がチャット対応不可能な「オフライン時」のメッセージとを用意しておくことができる。
 また例えば、担当者が、登録画面にログインしてオンライン状態になることと、ログオフしてオフライン状態になることを手動で設定できるものとする。
 また例えば、出展者UTは、ブースB全体(或いはイベント全体)で対応可能な時間を「チケット受付時間」として設定できるものとする。
 このような前提のもと、チケット受付時間内である場合であって、担当者の少なくとも1人がオンライン状態である場合、サーバ1は、来場者URがチャットを起動したときの来場者用画像GURに対しては、「オンライン時」のメッセージを表示させる。
 チケット受付時間内である場合であって、担当者の全てがオフライン状態である場合、サーバ1は、来場者URがチャットを起動したときの来場者用画像GURに対しては、「オフライン時」のメッセージを表示させる。対応可能な担当者が存在しないためである。
 チケット受付時間外である場合であって、担当者の少なくとも1人がオンライン状態である場合、サーバ1は、来場者URがチャットを起動したときの来場者用画像GURに対しては、「オフライン時」のメッセージを表示させる。チケット受付時間外であることを優先させたためである。
 チケット受付時間外である場合であって、担当者の全てがオフライン状態である場合、サーバ1は、来場者URがチャットを起動したときの来場者用画像GURに対しては、「オフライン時」のメッセージを表示させる。
 図14A乃至図14Cは、来場者とチャットをする等の際に来場者又は他の担当者からアクションがあった際に通知されるメッセージの具体例を示す図である。
 図14Aには、来場者とチャットをする等の際に来場者又は他の担当者からアクションがあった際の通知に用いられる表示領域GCを含むブース接客機能画面GKの一例が示されている。
 例えば、来場者UR側からチャットがきた際には表示領域GCにメッセージが表示される。
 具体的には例えば、来場者UR又は他の担当者がテキストチャットを開始した場合、図14Bに示すメッセージが表示領域GCに表示される。
 また例えば、ボイスチャットの場合には、図14Cに示すメッセージが表示領域GCに表示される。
 具体的には例えば、来場者UR又は他の担当者がボイスチャットを開始した場合、図14Cの上段に示すメッセージと共に、「ボイスチャット参加」ボタンBTAが表示領域GCに表示される。担当者は、会話(ボイスチャット)に参加する場合には「ボイスチャット参加」ボタンBTAを押下する。
 また例えば、担当者が音声チャットを開始した場合、図14Cの中段に示すメッセージと共に、「中断する」ボタンBTBが表示領域GCに表示される。担当者は、会話(ボイスチャット)の開始を中断する場合には「中断する」ボタンBTBを押下する。
 また例えば、担当者が来場者URと音声チャットをしている最中(通話中)の場合、図14Cの下段に示すメッセージと共に、「ボイスチャット終了」ボタンBTCが表示領域GCに表示される。担当者は、会話(ボイスチャット)を終了する場合には「ボイスチャット終了」ボタンBTCを押下する。
 以上、本発明の一実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものとみなす。
 例えば、ブースB内におけるアバタA(来場者UR)の現在位置や移動軌跡についての出展者UTの担当者への通知の手法は、上述の実施形態では、画像(例えばブース内画像GBに重畳された現在位置PAや移動軌跡KA、ターゲット画像GT内のターゲット行動履歴画像GTR)を表示させる手法であったが特にこれに限定されない。例えば、ブースB内におけるアバタA(来場者UR)の現在位置や移動軌跡について、音声で通知する手法を採用してもよい。
 また例えば、図5に示すシステム構成、及び図6に示すサーバ1のハードウェア構成は、本発明の目的を達成するための例示に過ぎず、特に限定されない。
 また、図7に示す機能ブロック図は、例示に過ぎず、特に限定されない。即ち、上述した処理を全体として実行できる機能が図5の情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロック及びデータベースを用いるのかは、特に図7の例に限定されない。
 また、機能ブロック及びデータベースの存在場所も、図7に限定されず、任意でよい。
 図7の例では、全ての処理は、図5の情報処理システムを構成する図6のサーバ1のCPU11の制御により行われる構成となっているが、これに限定されない。例えばサーバ1側に配置された機能ブロック及びデータベースの少なくとも一部を、出展者端末2側、来場者端末3側、又は図示せぬ他の情報処理装置が備える構成としてもよい。
 また、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
 また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
 一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
 コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。
 また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
 このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。
 なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
 以上をまとめると、本発明が適用される情報処理装置は、次のような構成を有していれば足り、各種各様な実施の形態を取ることができる。
 即ち、本発明が適用される情報処理装置(例えば図6のサーバ1)は、
 ブース(例えば図1のブースB)が配置された展示ホール(例えば図1の展示ホールTH)、及び前記展示ホール内を第1ユーザ(例えば図1の来場者UR)として移動可能なアバタ(例えば図1のアバタA)を、3次元の仮想空間に夫々配置させる配置手段(例えば図7の仮想空間配置部53)と、
 第1デバイス(例えば図1の来場者端末3)に対する前記第1ユーザ(例えば図1の来場者UR)の操作による、前記展示ホール内で前記アバタを所定位置に移動させる指示に基づいて、前記仮想空間における前記アバタを当該所定位置に移動させるアバタ移動手段(例えば図7のアバタ移動部52)と、
 前記ブースに前記アバタが存在するときに、所定トリガ(例えば1秒間隔等)毎に、当該アバタの前記ブース内の位置を検出して記憶するアバタ位置検出手段(例えば図7のアバタ位置検出部56)と、
 前記アバタ位置検出手段による検出結果に基づいて、前記アバタの前記ブース内の位置を、第2ユーザ(例えば図1の出展者UT)により管理される第2デバイス(例えば図1の出展者端末2)に対して通知するアバタ位置通知手段(例えば図7の出展者用画像生成部57及び出展者用表示制御部58)と、
 を備える。
 これにより、出展者UTの担当者は、来場者UR(アバタA)が、自身のブースBの中でどこにいるかを容易に把握することができる。このようにして、仮想空間内を移動するアバタAの操作者(来場者UR)とコミュニケーションを図るためのシステムにおける利便性を向上させることが可能になる。
 本発明が適用される情報処理装置において、
 前記アバタ位置検出手段は、さらに、過去の複数の検出結果に基づいて、前記アバタの前記ブース内における移動の軌跡を示す軌跡データを収集し、
 前記アバタ位置通知手段は、さらに、前記軌跡データを前記第2デバイスに対して通知する、
 ようにすることができる。
 これにより、出展者UTの担当者は、来場者UR(アバタA)が、自身のブースBの中でどこにいるかを容易に把握することができる。
 本発明が適用される情報処理装置において、
 所定の視点から、前記ブースを撮像した画像を、ブース内画像(例えば図2のブース内画像GB)として生成するブース内画像生成手段(例えば図7のブース内画像生成部573)
 をさらに備え、
 前記アバタ位置通知手段は、さらに、前記ブース内画像に対して、前記軌跡データに基づく前記アバタの移動の軌跡を示す画像(例えば図2の移動軌跡KA)を重畳して、前記第2デバイスに表示させることで、当該軌跡データを当該第2デバイスに対して通知する、
 ようにすることができる。
 これにより、出展者UTの担当者は、3D視点で、来場者UR(アバタA)のブースB内の移動軌跡を容易に視認することができる。
 本発明が適用される情報処理装置において、
 前記アバタ位置通知手段は、さらに、前記ブース内画像に対して重畳させた、前記アバタの移動の軌跡を示す画像において、当該アバタの現在位置を他とは異なる表現形態(例えば図2に示すように、過去の位置を示す白の丸印に対して緑色の丸印の形態の現在位置PA)で表示させることで、当該現在位置を当該第2デバイスに対して通知する、
 ようにすることができる。
 これにより、出展者UTの担当者は、3D視点で、来場者UR(アバタA)のブースB内の現在位置を容易に視認することができる。
 本発明が適用される情報処理装置において、
 前記ブースに存在する前記アバタに対応する前記第1ユーザと、前記第2ユーザに属する担当者との間でコミュニケーションを行うために(例えば図12乃至図14に示す音声チャットやテキストチャットを行うために)、当該第1ユーザが操作する前記第1デバイスと、当該担当者が操作する前記第2デバイス又は別デバイスとの間で通信する制御を実行するコミュニケーション制御手段(例えば図7のチャット制御部59)をさらに備える、
 ようにすることができる。
 これにより、出展者UTの担当者は、自身のブースBにアバタAとして来た来場者URと、チャットやビデオ会議で容易にコミュニケーションを図ることができる。
 本発明が適用される情報処理装置において、
 所定期間に前記ブースに訪れた又は現在訪れている1以上の前記アバタの夫々に対応する1以上の前記第1ユーザに関する情報をリスト化したリスト情報(例えば図8Bのリスト画像GRや図10Bのリスト画像GRR)を生成して、前記第2デバイスに対して通知するリスト通知手段(例えば図7のリスト画像生成部571)
 をさらに備え、
 前記アバタ位置通知手段は、前記第2デバイスに対する操作により前記リスト情報の中に含まれる前記1以上の第1ユーザの中からターゲットが指定された場合、当該ターゲットの前記ブース内の位置(例えば図9のターゲット行動履歴画像GTRや、図11のターゲット行動履歴画像GTRや、図11のブース内画像GBに重畳された移動軌跡KA等)を前記第2デバイスに通知する、
 ようにすることができる。
 これにより、出展者UTの担当者は、自身のブースBにアバタAとして来た複数の来場者URの中からターゲットを指定し、ターゲットたる来場者UR(アバタA)が、自身のブースBの中でどこにいるかを容易に把握することができる。
 本発明が適用される情報処理装置において、
 前記位置以外の、前記ターゲットに関する情報(例えば図9や図11のターゲット個人情報画像GTTを含むターゲット画像GT)を前記第2デバイスに通知するターゲット情報通知手段(例えば図7のターゲット画像生成部572)、
 をさらに備えるようにすることができる。
 これにより、出展者UTの担当者は、自身のブースBにアバタAとして来た複数の来場者URの中からターゲットを指定し、ターゲットたる来場者UR(アバタA)の名刺情報等の個人情報を容易に把握することができる。
 1・・・サーバ、2・・・出展者端末、3・・・来場者端末、11・・・CPU、18・・・記憶部、20・・・ドライブ、31・・・リムーバブルメディア、51・・・展示ホール設置部、52・・・アバタ移動部、53・・・仮想空間配置部、54・・・来場者用画像生成部、55・・・来場者用表示制御部、56・・・アバタ位置検出部、57・・・出展者用画像生成部、58・・・出展者用表示制御部、59・・・チャット制御部、541・・・アバタ視点画像生成部、571・・・リスト画像生成部、572・・・ターゲット画像生成部、573・・・ブース内画像生成部

Claims (9)

  1.  ブースが配置された展示ホール、及び前記展示ホール内を第1ユーザとして移動可能なアバタを、3次元の仮想空間に夫々配置させる配置手段と、
     第1デバイスに対する前記第1ユーザの操作による、前記展示ホール内で前記アバタを所定位置に移動させる指示に基づいて、前記仮想空間における前記アバタを当該所定位置に移動させるアバタ移動手段と、
     前記ブースに前記アバタが存在するときに、所定トリガ毎に、当該アバタの前記ブース内の位置を検出して記憶するアバタ位置検出手段と、
     前記アバタ位置検出手段による検出結果に基づいて、前記アバタの前記ブース内の位置を、第2ユーザにより管理される第2デバイスに対して通知するアバタ位置通知手段と、
     を備える情報処理装置。
  2.  前記アバタ位置検出手段は、さらに、過去の複数の検出結果に基づいて、前記アバタの前記ブース内における移動の軌跡を示す軌跡データを収集し、
     前記アバタ位置通知手段は、さらに、前記軌跡データを前記第2デバイスに対して通知する、
     請求項1に記載の情報処理装置。
  3.  所定の視点から、前記ブースを撮像した画像を、ブース内画像として生成するブース内画像生成手段
     をさらに備え、
     前記アバタ位置通知手段は、さらに、前記ブース内画像に対して、前記軌跡データに基づく前記アバタの移動の軌跡を示す画像を重畳して、前記第2デバイスに表示させることで、当該軌跡データを当該第2デバイスに対して通知する、
     請求項2に記載の情報処理装置。
  4.  前記アバタ位置通知手段は、さらに、前記ブース内画像に対して重畳させた、前記アバタの移動の軌跡を示す画像において、当該アバタの現在位置を他とは異なる表現形態(例えば色塗○)で表示させることで、当該現在位置を当該第2デバイスに対して通知する、
     請求項3に記載の情報処理装置。   
  5.  前記ブースに存在する前記アバタに対応する前記第1ユーザと、前記第2ユーザに属する担当者との間でコミュニケーションを行うために、当該第1ユーザが操作する前記第1デバイスと、当該担当者が操作する前記第2デバイス又は別デバイスとの間で通信する制御を実行するコミュニケーション制御手段をさらに備える、
     請求項1乃至4のうち何れか1項に記載の情報処理装置。
  6.  所定期間に前記ブースに訪れた又は現在訪れている1以上の前記アバタの夫々に対応する1以上の前記第1ユーザに関する情報をリスト化したリスト情報を生成して、前記第2デバイスに対して通知するリスト通知手段
     をさらに備え、
     前記アバタ位置通知手段は、前記第2デバイスに対する操作により前記リスト情報の中に含まれる前記1以上の第1ユーザの中からターゲットが指定された場合、当該ターゲットの前記ブース内の位置を前記第2デバイスに通知する、
     請求項1乃至5のうち何れか1項に記載の情報処理装置。
  7.  前記位置以外の、前記ターゲットに関する情報を前記第2デバイスに通知するターゲット情報通知手段、
     をさらに備える請求項6に記載の情報処理装置。
  8.  情報処理装置が実行する情報処理方法において、
     ブースが配置された展示ホール、及び前記展示ホール内を第1ユーザとして移動可能なアバタを、3次元の仮想空間に夫々配置させる配置ステップと、
     第1デバイスに対する前記第1ユーザの操作による、前記展示ホール内で前記アバタを所定位置に移動させる指示に基づいて、前記仮想空間における前記アバタを当該所定位置に移動させるアバタ移動ステップと、
     前記ブースに前記アバタが存在するときに、所定トリガ毎に、当該アバタの前記ブース内の位置を検出して記憶するアバタ位置検出ステップと、
     前記アバタ位置検出ステップにおける検出結果に基づいて、前記アバタの前記ブース内の位置を、第2ユーザにより管理される第2デバイスに対して通知するアバタ位置通知ステップと、
     を含む情報処理方法。
  9.  コンピュータに、
     ブースが配置された展示ホール、及び前記展示ホール内を第1ユーザとして移動可能なアバタを、3次元の仮想空間に夫々配置させる配置ステップと、
     第1デバイスに対する前記第1ユーザの操作による、前記展示ホール内で前記アバタを所定位置に移動させる指示に基づいて、前記仮想空間における前記アバタを当該所定位置に移動させるアバタ移動ステップと、
     前記ブースに前記アバタが存在するときに、所定トリガ毎に、当該アバタの前記ブース内の位置を検出して記憶するアバタ位置検出ステップと、
     前記アバタ位置検出ステップにおける検出結果に基づいて、前記アバタの前記ブース内の位置を、第2ユーザにより管理される第2デバイスに対して通知するアバタ位置通知ステップと、
     を含む制御処理を実行させるプログラム。
PCT/JP2023/012202 2022-03-29 2023-03-27 情報処理装置、情報処理方法、及びプログラム WO2023190343A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022054299A JP2023146876A (ja) 2022-03-29 2022-03-29 情報処理装置、情報処理方法、及びプログラム
JP2022-054299 2022-03-29

Publications (1)

Publication Number Publication Date
WO2023190343A1 true WO2023190343A1 (ja) 2023-10-05

Family

ID=88202242

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/012202 WO2023190343A1 (ja) 2022-03-29 2023-03-27 情報処理装置、情報処理方法、及びプログラム

Country Status (2)

Country Link
JP (1) JP2023146876A (ja)
WO (1) WO2023190343A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001325346A (ja) * 2000-05-16 2001-11-22 Kogeisha Co Ltd Web展示会及びそれを開催するためのコンピュータ
JP2011216073A (ja) * 2010-03-17 2011-10-27 Ricoh Co Ltd 情報管理装置
JP2013149239A (ja) * 2012-01-20 2013-08-01 Avaya Inc 現実環境と仮想環境を自動的に融合するためのシステムおよび方法
US20180025415A1 (en) * 2016-05-25 2018-01-25 Tradeshow Inc. Virtual online trade show
JP2022048172A (ja) * 2018-03-23 2022-03-25 株式会社コロプラ プログラム、情報処理装置、及び情報処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001325346A (ja) * 2000-05-16 2001-11-22 Kogeisha Co Ltd Web展示会及びそれを開催するためのコンピュータ
JP2011216073A (ja) * 2010-03-17 2011-10-27 Ricoh Co Ltd 情報管理装置
JP2013149239A (ja) * 2012-01-20 2013-08-01 Avaya Inc 現実環境と仮想環境を自動的に融合するためのシステムおよび方法
US20180025415A1 (en) * 2016-05-25 2018-01-25 Tradeshow Inc. Virtual online trade show
JP2022048172A (ja) * 2018-03-23 2022-03-25 株式会社コロプラ プログラム、情報処理装置、及び情報処理方法

Also Published As

Publication number Publication date
JP2023146876A (ja) 2023-10-12

Similar Documents

Publication Publication Date Title
US11588763B2 (en) Virtual area communications
US20230155966A1 (en) Virtual Area Communications
US6753857B1 (en) Method and system for 3-D shared virtual environment display communication virtual conference and programs therefor
Schroeder Being there together and the future of connected presence
TWI533198B (zh) 於虛擬區域及實體空間之間通訊的技術
US20100241512A1 (en) Method of providing a shared virtual lounge experience
JP3172870U (ja) 双方向サービスを提供且つ管理するシステム
US20200020135A1 (en) Promoting Communicant Interactions in a Network Communications Environment
US8819549B2 (en) Method and system for mutidimensional virtual online support center
CN110326290A (zh) 实况内容和录制的内容的同时观看
CN103563344B (zh) 用于使用联系人的存在性状态加入会议的方法及装置
JP2002512401A (ja) コンピュータネットワーク
CN113709022B (zh) 消息交互方法、装置、设备及存储介质
JP2008533608A (ja) グループ応答イベントのホスティング方法及び装置
US20240087180A1 (en) Promoting Communicant Interactions in a Network Communications Environment
WO2023190344A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN109819341B (zh) 视频播放方法、装置、计算设备及存储介质
US20170277412A1 (en) Method for use of virtual reality in a contact center environment
WO2023190343A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN114844869A (zh) 多媒会议参会统计方法、装置、计算机设备及存储介质
CN114884914B (zh) 一种应用程序同屏交流方法、系统
TWI766257B (zh) 一種資訊處理系統及其方法
Koleva et al. Experiencing a presentation through a mixed reality boundary
JP2000092466A (ja) 会議参加者の状態管理方法とその記憶媒体
WO2023190345A1 (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23780353

Country of ref document: EP

Kind code of ref document: A1