WO2016208111A1 - 情報表示システム及び情報表示端末 - Google Patents

情報表示システム及び情報表示端末 Download PDF

Info

Publication number
WO2016208111A1
WO2016208111A1 PCT/JP2016/002304 JP2016002304W WO2016208111A1 WO 2016208111 A1 WO2016208111 A1 WO 2016208111A1 JP 2016002304 W JP2016002304 W JP 2016002304W WO 2016208111 A1 WO2016208111 A1 WO 2016208111A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
operator
image
information
display panel
Prior art date
Application number
PCT/JP2016/002304
Other languages
English (en)
French (fr)
Inventor
和幸 堀尾
八浪　竜一
宣貴 児玉
祐二 阿部
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to EP16813887.3A priority Critical patent/EP3316573B1/en
Priority to US15/580,755 priority patent/US10122966B2/en
Publication of WO2016208111A1 publication Critical patent/WO2016208111A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1601—Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • G06F1/1605—Multimedia displays, e.g. with integrated or attached speakers, cameras, microphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • G06K7/1095—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices the scanner comprising adaptations for scanning a record carrier that is displayed on a display-screen or the like
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]

Definitions

  • This disclosure relates to an information display system and an information display terminal that display information.
  • the multimedia terminal of Patent Document 1 has a camera and three displays, images the user's face and hand using the camera, and transmits the captured image to the operator's terminal. Also, the multimedia terminal displays the user's face on the first display among the three displays, displays multimedia information such as text, still images, and moving images on the second display, and displays on the third display. Displays a touch panel or input panel that can input characters and symbols. Furthermore, the multimedia terminal has a microphone and a speaker.
  • Patent Document 1 only the face image of the operator is displayed on the display of the multimedia terminal with which the user is in contact, and a sense of presence that the user is actually interacting with the operator is provided. Was insufficient.
  • Patent Document 1 is not convenient for the user.
  • An object of the present invention is to provide an information display system and an information display terminal.
  • the present disclosure is an information display system in which an information display terminal that can be operated by a user and an information providing terminal that can be operated by an operator are communicably connected.
  • the information display terminal captures an image of a user's face.
  • Information is provided on the first camera, the second camera that captures the image of the user's hand, the image of the face of the user captured by the first camera, and the image of the user's image captured by the second camera
  • a first communication unit that receives the image of the operator's face and at least part of the upper body and the image of the operator's hand transmitted to the terminal and transmitted from the information providing terminal; and at least part of the operator's face and upper body
  • a first display panel that displays a video of the operator and a second display panel that displays a video of the operator's hand
  • the information providing terminal includes at least part of the operator's face and upper body
  • an information display terminal that is communicably connected to an information providing terminal that can be operated by an operator and that can be operated by a user, and includes a first camera that captures an image of a user's face, and a user
  • the second camera that captures the image of the user's hand, the image of the user's face image captured by the first camera and the image of the user's image captured by the second camera are transmitted to the information providing terminal to provide information
  • a communication unit that receives an image of the operator's face and at least a part of the upper body and an image of the operator's hand transmitted from the terminal, and a first display that displays an image of the operator's face and at least a part of the upper body
  • an information display terminal comprising a panel and a second display panel that displays an image of an operator's hand.
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of an information display system according to the first embodiment.
  • FIG. 2 is a block diagram illustrating in detail an example of an internal configuration of the information display terminal and the information providing terminal according to the first embodiment.
  • 3A to 3E are diagrams for explaining an example of use of the information display system of the first embodiment.
  • FIG. 4 is a front view illustrating an example of the appearance of the information display terminal according to the second embodiment.
  • FIG. 5 is a diagram illustrating a display example of information in the store where the information display terminal according to the third embodiment is installed.
  • FIG. 1 is a diagram illustrating an example of a schematic configuration of an information display system 5 according to the first embodiment.
  • the information display system 5 includes a user-side information display terminal 10 and an operator-side information providing terminal 50 that are connected via a network 90.
  • the information display terminal 10 and the information providing terminal 50 can communicate various data (text data, image data, audio data, etc.) with each other via the network 90.
  • a wired LAN Local Area Network
  • a wide area communication network such as the Internet, a wireless LAN, a dedicated line, or the like
  • both the information display terminal 10 and the information providing terminal 50 can access various server devices (not shown) connected to the network 90.
  • the information display terminal 10 is placed on a box-shaped mount 12 having a certain height so as to match the height of the person.
  • the gantry 12 is integrated with the information display terminal 10 by, for example, being painted in the same color as the casing of the information display terminal 10 or being covered with a cover common to the information display terminal 10.
  • the information display terminal 10 includes a first housing 15 provided so as to protrude upward so as to face the user's face, and a part of the user's hand (that is, a hand, an arm, a palm, a nail, or the like). And a second housing 18 extended to the front so that the surrounding area of the hand can be contacted.
  • a first display panel 21 on which an image of an operator's face and at least a part of the upper body captured by a third camera 63 described later is displayed.
  • an image of at least a part of the operator's face and upper body is displayed with substantially the same size as the actual size.
  • a second camera 32 that captures the user's hand is provided at the upper front of the first housing 15.
  • a lower portion of the front surface of the first housing 15, that is, an intermediate portion 15 z of the housing in which the first display panel 21 and the second display panel 22 are disposed is an area in which the display panel is not disposed.
  • the intermediate portion 15z is provided with a first camera 31 that captures images of at least a part of the user's face and upper body.
  • the intermediate unit 15z has a pair of left and right speakers 25L and 25R (an example of an output device) that outputs voice data uttered by an operator, and a microphone 27 (an example of an input device) that collects a voice uttered by a user. Is provided.
  • the output device and the input device are arranged in the middle portion 15z of the casing in which the first display panel 21 and the second display panel 22 are arranged, so that the operator is naturally projected on the first display panel 21. Realism is expected to increase.
  • a second display panel 22 on which an image of the operator's hand imaged by a fourth camera 64 (to be described later), a UI screen, and the like is displayed.
  • the second display panel 22 may be configured with a display device that simply displays an image, or may be configured with a touch panel capable of touch input operation.
  • the touch-input information is transmitted from the information display terminal 10 to the information providing terminal 50 connected to the network 90 and various server devices.
  • the 2nd display panel 22 is comprised with a touch panel is shown.
  • a discharge port of the printer 40 capable of printing a hard copy of the screen displayed on the second display panel 22 is disposed on the front end face 18z of the second casing 18.
  • the main body of the printer 40 is built in the gantry 12.
  • the front end face 18z of the second casing 18 has authentication information for performing personal authentication of the user (for example, various information about the card required at the time of card payment processing, and a personal identification number such as a PIN (Personal Identification Number)). ) Is installed.
  • the information providing terminal 50 is placed on the desk 55.
  • the operator op wearing the headset 73 is sitting on the chair 71 in an easy-to-guide posture.
  • the headset 73 is connected to the information providing terminal 50, outputs a voice uttered by the user, and collects a voice uttered by the operator.
  • the stand 58 attached to the desk 55 has a third display panel 53 on which images of at least a part of the user's face and upper body taken by the first camera 31 are projected, and at least the face and upper body of the operator op.
  • a third camera 63 that captures part of the video is supported.
  • a fourth display panel 54 for displaying the image of the user's hand imaged by the second camera 32 is provided.
  • the screen size of the fourth display panel 54 is larger than that of the third display panel 53, so that the operator op can easily see the user's hand.
  • the fourth display panel 54 may be configured by a display device that simply displays an image, or may be configured by a touch panel capable of touch input operation.
  • the touch-input information is transmitted from the information providing terminal 50 to the information display terminal 10 connected to the network 90 and various server devices.
  • the 4th display panel 54 is comprised with a touch panel is shown.
  • a fourth camera 64 that images the upper surface of the desk 55 including the hand of the operator op is provided at the tip of the arm 57 extending in an L shape from the back of the fourth display panel 54.
  • the fourth camera 64 can image materials such as a guide pamphlet placed on the desk 55 in addition to imaging the hand of the operator op.
  • the information providing terminal 50 can capture a Web site, a UI screen, or the like displayed on the fourth display panel 54 as an image captured by the fourth camera 64.
  • an operation unit 68 such as a keyboard and a mouse and a scanner 69 are placed on the desk 55.
  • the information display terminal 10 on the user side displays the video of at least a part of the face and upper body of the operator op on the first display panel 21 based on the image data received from the information providing terminal 50, and the second The display panel 22 displays an image of the operator op, a UI screen, and the like. Note that when the operator op places a material such as a guide pamphlet on the surface of the desk 55, the second display panel 22 also displays the material. Further, the information display terminal 10 outputs the audio data received from the information providing terminal 50 from the speakers 25L and 25R, and transmits the audio data collected by the microphone 27 to the information providing terminal 50.
  • the information providing terminal 50 on the operator side displays at least a part of the image of the user's face and upper body on the third display panel 53, and the fourth display panel 54.
  • the image of the user's hand is displayed on the screen.
  • the information providing terminal 50 outputs the audio data received from the information display terminal 10 from the speaker 73z of the headset 73, and transmits the audio data collected by the microphone 73y of the headset 73 to the information display terminal 10.
  • the displayable area of the third display panel 53 of the first embodiment may be smaller than that of the fourth display panel 54 that displays the image at hand of the user. This is due to the following reason.
  • the operator op indicates the location indicated by the user with respect to the second display panel 22 that displays information (for example, a brochure, a map, etc.) at hand of the operator op imaged by the fourth camera 64 to the user. Is sharing with the same size as the user.
  • the display area of the fourth display panel 54 that displays the image at hand of the user needs a certain size.
  • it is desirable that the resolution and the number of pixels of the fourth display panel 54 are approximately the same as those of the second display panel 22 on the user side.
  • the fourth display panel 54 may be a general-purpose monitor.
  • the displayable area does not have to be so large, and the resolution and the number of pixels do not need to be so high. Therefore, the displayable area of the third display panel 53 may be smaller than that of the fourth display panel 54 that displays the image at hand of the user, and the resolution and the number of pixels of the third display panel 53 are also fourth. It may be smaller than that of the display panel 54.
  • the third display panel 53 may also be a general-purpose monitor.
  • the system of the information providing terminal 50 on the operator op side can be configured using a general-purpose monitor and an information processing apparatus (PC (personal computer), tablet terminal, etc.) or a receiver. That is, the information providing terminal 50 on the operator op side has a simpler configuration than the information display terminal 10 on the user side, but can realize natural and smooth communication between the user and the operator op. Furthermore, since it is configured with general-purpose monitors and devices, the layout of each monitor and device has a degree of freedom, so that each monitor and device can always be placed at an optimal position for different operators. .
  • FIG. 2 is a block diagram illustrating in detail an example of the internal configuration of the information display terminal 10 and the information providing terminal 50 according to the first embodiment.
  • the information display terminal 10 includes a control unit 11 that comprehensively controls each unit.
  • the control unit 11 includes communication.
  • the control unit 20 is connected.
  • the first display panel 21 has an ultra-high resolution 4K display (that is, 3840 pixels ⁇ 2160 pixels) that displays the face of the operator op and a part of the upper body.
  • the 1st display panel 21 may be comprised with the touchscreen which a user can touch-input.
  • the first camera 31 is a built-in camera disposed in the lower part of the first housing 15 and captures an image of at least a part of the face and upper body of the user standing in front of the information display terminal 10. Note that the angle of view of the first camera 31 may be remotely operable from the information providing terminal 50 on the operator side. As the first camera 31, a high-resolution full high-definition camera, high-definition camera, or normal camera is used.
  • the second display panel 22 is configured as a touch panel having a 4K display as an interactive display panel, displays an image of an operator op, an operation menu screen, an application screen, a website, various documents, etc., and is a button by a touch operation. Accepts pressing, handwriting input, and the like.
  • the second display panel 22 accepts an input operation with a user's finger or stylus pen for an instruction to enlarge or reduce the screen display.
  • the second camera 32 is a built-in camera disposed at the top of the first housing 15, and has a field angle fixed around the second display panel 22, and a video of a user operating the second display panel 22 at hand. And so on.
  • the second camera 32 is preferably a 4K or full high vision high resolution camera. Further, when the second camera 32 is a PTZ camera, it is possible to take an image so that details can be visually recognized by zooming up to a desired location.
  • Speakers 25L and 25R are stereo speakers having directivity that makes it easy for the user in front of the information display terminal 10 to hear, and outputs sound or the like emitted by the operator op.
  • the microphone 27 is a directional microphone having a directivity direction with respect to the user, and collects sound emitted by the user. Note that the microphone 27 and the speakers 25L and 25R may be configured as a headset, and when the user operates the information display terminal 10, the headset is attached to the head.
  • the printer 40 can print the screen of the second display panel 22 as a hard copy, and prints by either monochrome printing or color printing.
  • a printing method an ink jet method, a laser printing method, an electrostatic recording method, or the like is employed.
  • the communication control unit 20 as an example of the first communication unit is a network I / F that performs secure communication with the communication control unit 60 of the information providing terminal 50 via the network 90. Specifically, the communication control unit 20 transmits data of the user's face image captured by the first camera 31 and the user's hand image captured by the second camera 32 to the information providing terminal 50. Further, the communication control unit 20 receives the image of the operator's face and at least a part of the upper body and the image of the operator's hand transmitted from the information providing terminal 50.
  • the reading device 42 reads the user's personal information.
  • a non-contact reader / writer device that reads information of an IC tag by near-field non-contact communication such as NFC (Near Field Communication) or an IC card reader / writer device that reads information of an IC card inserted into a slot.
  • NFC Near Field Communication
  • a biometric authentication device that performs personal authentication using a pattern such as a fingerprint or a vein may be used.
  • the personal information of the user read by the reading device 42 may be used as payment information or electronic money as authentication information.
  • the information display terminal 10 is a multilingual terminal, and when a user selects a language displayed on the second display panel 22 in advance, a voice uttered by the operator op is automatically translated into the selected language. And output from the speakers 25L and 25R.
  • the information display terminal 10 also has a function of displaying voices uttered by an operator as text, an OCR function for recognizing handwritten characters, and the like.
  • the information providing terminal 50 includes a control unit 51 that controls each unit in an integrated manner.
  • the control unit 51 includes communication.
  • a control unit 60 is connected.
  • the third display panel 53 has a display for displaying at least part of the image of the user's face and upper body.
  • the third display panel 53 is not limited to 4K, and may be a normal, high-definition or full high-definition display. Note that the third display panel 53 may be configured with a touch panel that allows an operator op to perform touch input.
  • the third camera 63 is a camera attached to the stand 58 and images at least a part of the face and upper body of the operator op displayed on the first display panel 21 of the information display terminal 10. It is desirable that the resolution is a 4K camera.
  • the fourth display panel 54 is composed of a touch panel having a 4K display as an interactive display panel.
  • the fourth display panel 54 displays a user's image, an operation menu screen, an application screen, a website, various documents, and the like, and a button is pressed by a touch operation. Etc. are accepted. Further, the fourth display panel 54 receives an input operation with an operator op's finger or stylus pen for an instruction to enlarge or reduce the screen display.
  • the fourth camera 64 is a camera attached to the arm 57, and picks up images, pamphlets, and the like of the operator op placed on the surface of the desk 55.
  • the fourth camera 64 captures an image of a hand or the like displayed on the second display panel 22, and is preferably a 4K camera with an ultra-high resolution. Furthermore, in the case of a PTZ camera, details can be imaged so as to be visible.
  • the operation unit 68 is an input device such as a mouse or a keyboard that can be operated by the operator op.
  • the scanner 69 scans a pamphlet or the like.
  • the headset 73 is attached to the head of the operator op, and has a microphone 73y that collects a sound emitted by the operator op, and a pair of left and right speakers 73z that outputs a sound emitted by the user.
  • the pair of left and right speakers and microphones may each have a stand-alone casing, in addition to being integrated as a headset.
  • the communication control unit 60 as an example of the second communication unit is a network I / F that performs secure communication with the communication control unit 20 of the information display terminal 10 via the network 90. Specifically, the communication control unit 60 stores data of the video of the operator's face and at least a part of the upper body captured by the third camera 63 and the video of the operator's hand captured by the fourth camera 64. It transmits to the display terminal 10. Further, the communication control unit 60 receives the image of the user's face and the image of the user's hand transmitted from the information display terminal 10.
  • FIGS. 3A to 3E are diagrams for explaining an example of use of the information display system 5 of the first embodiment.
  • an image (image) of the store guide brochure pf presented by the operator op is displayed.
  • four stores (A store, B store, C store, and D store) are introduced.
  • the introduction column of the four stores a two-dimensional barcode is written.
  • the four two-dimensional barcodes bc1, bc2, bc3, and bc4 described in the guide brochure pf are captured in advance by the information providing terminal 50 on the operator side (that is, captured).
  • the image providing terminal 50 transmits the image data of the guide pamphlet pf to the information display terminal 10, apart from this, the image providing terminal 50 transmits the image data of the four two-dimensional barcodes bc1, bc2, bc3, and bc4 to the information display terminal 10.
  • the introduction column of each store and the two-dimensional barcode are associated with each other by the reading position.
  • the second display panel 22 displays the two-dimensional barcode bc2 of the store B. Enlarged and displayed so as to overlap with the introduction column of store B.
  • the user can read the two-dimensional bar code reading function of the smartphone 80 with respect to the enlarged two-dimensional bar code bc2, as shown in FIG. Is used to capture an image of the two-dimensional barcode bc2 and obtain the information (for example, the URL of the store B, a coupon, etc.).
  • the information display terminal 10 displays the two-dimensional barcode that has been tapped.
  • the bc2 is read, and the website of the store B (that is, the information providing screen) is displayed on the second display panel 22 based on the URL of the store B embedded in the two-dimensional barcode bc2.
  • the information of the two-dimensional barcode bc2 read by the user's tap operation is transmitted from the information display terminal 10 to the information provision terminal 50, and the information provision terminal 50 is the same as the user on the fourth display panel 54.
  • the store B is a restaurant, and a special menu is introduced as a meal menu on the website of the store B. Thereby, the user and the operator op can share and view the same website.
  • the captured image is displayed together.
  • the second display panel 22 is divided, and the information providing screen may be displayed on a screen different from the screen on which the image at hand is displayed.
  • the image may be superimposed on the image and displayed on the second display panel 22.
  • Convenience is enhanced by displaying the image at hand and the information providing screen together.
  • the operator can guide the user while showing it with a finger, while the user can ask a question or the like while showing the finger with the operator.
  • information can be accurately transmitted to the other party. Therefore, the speed of information transmission can be increased, and the user can be satisfied with appropriate advice.
  • the screen information developed by the tap operation by the user or the operator op is shared by communicating with each other.
  • the user can operate the printer 40 to print a hard copy of the screen of the second display panel 22 and immediately obtain the screen information proposed by the operator op. Thereby, the convenience of the information display terminal 10 further increases.
  • the user when the user looks at the guide pamphlet pf introduced by the operator op and touches a favorite shop, the user can see a meal menu of the shop. Moreover, if a coupon is acquired with the smart phone 80 and it shows to a shop, it can receive the discount of a meal.
  • Examples of use of the information display system 5 include, in addition to the facility guidance described above, for example, tutoring tutoring, fortune-telling, cooking, handicrafts, calligraphy, etc., sightseeing guides, airport check-ins and info discs
  • Examples of usage include procedure support, purchase procedure agency and support at convenience stores and stores, unmanned stores such as travel and borrowing, guidance and explanation at drug sales and provision, and digital signage.
  • the information display system 5 can be used when introducing and contracting various travel plans between a user who is a tourist and a travel agency staff during domestic and overseas travel.
  • the first display panel 21 displays the face of the operator op captured by the third camera 63 and a part of the upper body.
  • the second display panel 22 displays the operator op's hand imaged by the fourth camera 64.
  • the third display panel 53 displays the user's face imaged by the first camera 31
  • the fourth display panel 54 displays the user's hand imaged by the second camera 32.
  • FIG. 4 is a front view illustrating an example of an appearance of the information display terminal 10A according to the second embodiment.
  • the description is abbreviate
  • the information display terminal 10 ⁇ / b> A includes a table stand 12 ⁇ / b> A as a gantry, and has a style (so-called cafe style) suitable for setting a store such as a cafe.
  • a style so-called cafe style
  • the discharge port of the printer 40 is arranged on the front end face 18z of the second casing 18, but the printer accommodated in the second casing 18 is a small printer.
  • the information display terminal does not have to be equipped with a printer.
  • the user stands in front of the information display terminal 10A in a facility including a fashionable store such as a cafe, and provides various kinds of guidance with a sense of reality that actually communicates with the operator op displayed on the first display panel 21. Can receive.
  • FIG. 5 is a diagram illustrating a display example of information in the store where the information display terminal 10 ⁇ / b> B of the third embodiment is installed.
  • the information display terminal 10B has the same cafe style as that of the second embodiment.
  • the first display panel 21A on which at least a part of the image of the operator's face and upper body imaged by the third camera 63 is displayed is on the back part behind the first display panel 21A.
  • a transparent screen on which an image is projected by an installed projector is used.
  • the first display panel 21 ⁇ / b> A When projecting an image on the first display panel 21 ⁇ / b> A, the first display panel 21 ⁇ / b> A displays an image of a part of the operator's face and upper body captured by the third camera 63.
  • a tourist hotel guidance message “Hakata hotel is near here. Here has a map.” Transmitted from the information providing terminal 50 is displayed on the first display panel 21 ⁇ / b> A together with an image taken by the third camera 63. Is displayed.
  • the first display panel 21A when an image is not projected on the first display panel 21A (including the default state), the first display panel 21A functions as the transparent screen 101, and is transparent or translucent and the back portion behind the first display panel 21A is transparent. Become transparent and visible.
  • the first display panel 21A is transparent, so that the field of view is not obstructed and the user can look around the hall. Further, when no image is projected, the first display panel 21A displays nothing, which leads to power saving.
  • the information display terminal projects the image of at least a part of the operator's face and upper body. You may project to the vicinity or to the waist. Further, it is possible to project only up to the vicinity of the neck or the face without projecting almost the upper body. In addition, it is desirable that the face and a part of the upper body projected on the display panel are projected so as to match the actual size, which makes the feeling more natural. Further, when the information display terminal has a life-size display panel, the whole body of the operator may be projected. In this case, the operator may be in the same standing posture as the user or may be in a sitting posture.
  • the present disclosure provides an information display system and information that can provide a user with a sense of reality that is actually facing a communication partner when information is displayed, and can convey information accurately and easily. It is useful as a display terminal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephone Function (AREA)

Abstract

ユーザに対して、通信相手と実際に対面しているような臨場感を提供することができ、正確かつ分かり易く情報を伝えることができる。情報表示システム（５）において、情報表示端末（１０）では、第１表示パネル（２１）は、第３カメラ（６３）で撮像されたオペレータｏｐの顔と上半身の一部とを表示し、第２表示パネル（２２）は、第４カメラ（６４）で撮像されたオペレータｏｐの手元を表示する。情報提供端末（５０）では、第３表示パネル（５３）は、第１カメラ（３１）で撮像されたユーザの顔を表示し、第４表示パネル（５４）は、第２カメラ（３２）で撮像されたユーザの手元を表示する。

Description

情報表示システム及び情報表示端末
　本開示は、情報を表示する情報表示システム及び情報表示端末に関する。
　従来、離れた場所にいる通信相手であるオペレータとの間で通信を行い、ユーザは、オペレータと対面しているような感覚で、種々の情報をやり取りするマルチメディア端末が知られている（例えば特許文献１参照）。
　特許文献１のマルチメディア端末は、カメラ及び３つのディスプレイを有し、カメラを用いてユーザの顔及び手元を撮像し、撮像した画像をオペレータの端末に送信する。また、マルチメディア端末は、３つのディスプレイのうち、第１のディスプレイにユーザの顔を表示し、第２のディスプレイにテキスト、静止画、動画等のマルチメディア情報を表示し、第３のディスプレイに文字・記号等を入力可能なタッチパネルや入力パネルを表示する。更に、マルチメディア端末は、マイク及びスピーカを有する。
特開２００４－１４７１０５号公報
　しかしながら、特許文献１の構成では、ユーザが接するマルチメディア端末のディスプレイには、あくまでオペレータの顔画像が表示されるだけであり、ユーザがオペレータと実際にやり取りをしているような臨場感の提供が不十分であった。
　また、オペレータがユーザに情報を伝えようとしても、正確かつ分かり易く情報を伝えることが難しかった。例えば、施設内マップに描かれている場所をユーザに口頭で伝えようとしても、音声だけでは正確な場所を教えることが難しかった。この結果、特許文献１を含む従来の情報表示端末は、ユーザにとって利便性に乏しいものとなっていた。
　本開示は、上述した従来の状況に鑑みてなされたものであり、ユーザに対して、通信相手と実際に対面しているような臨場感を提供することができ、正確かつ分かり易く情報を伝えることができる情報表示システム及び情報表示端末を提供することを目的とする。
　本開示は、ユーザが操作可能な情報表示端末と、オペレータが操作可能な情報提供端末とが通信可能に接続された情報表示システムであって、情報表示端末は、ユーザの顔の映像を撮像する第１カメラと、ユーザの手元の映像を撮像する第２カメラと、第１カメラにより撮像された前記ユーザの顔の映像と第２カメラにより撮像されたユーザの手元の映像とのデータを情報提供端末に送信し、情報提供端末から送信された、オペレータの顔と上半身の少なくとも一部との映像とオペレータの手元の映像とを受信する第１通信部と、オペレータの顔と上半身の少なくとも一部との映像を表示する第１表示パネルと、オペレータの手元の映像を表示する第２表示パネルと、を備え、情報提供端末は、オペレータの顔と上半身の少なくとも一部とを撮像する第３カメラと、オペレータの手元を撮像する第４カメラと、第３カメラにより撮像されたオペレータの顔と上半身の少なくとも一部との映像と第４カメラにより撮像されたオペレータの手元の映像とのデータを情報表示端末に送信し、情報表示端末から送信された、ユーザの顔の映像とユーザの手元の映像とを受信する第２通信部と、第１カメラにより撮像されたユーザの顔の映像を表示する第３表示パネルと、第２カメラにより撮像されたユーザの手元の映像を表示する第４表示パネルと、を備える、情報表示システムを提供する。
　また、本開示は、オペレータが操作可能な情報提供端末との間で通信可能に接続され、ユーザが操作可能な情報表示端末であって、ユーザの顔の映像を撮像する第１カメラと、ユーザの手元の映像を撮像する第２カメラと、第１カメラにより撮像されたユーザの顔の映像と第２カメラにより撮像されたユーザの手元の映像とのデータを情報提供端末に送信し、情報提供端末から送信された、オペレータの顔と上半身の少なくとも一部との映像とオペレータの手元の映像とを受信する通信部と、オペレータの顔と上半身の少なくとも一部との映像を表示する第１表示パネルと、オペレータの手元の映像を表示する第２表示パネルと、を備える、情報表示端末を提供する。
　本開示によれば、ユーザに対して、通信相手と実際に対面しているような臨場感を提供することができ、正確かつ分かり易く情報を伝えることができる。
図１は、第１の実施形態の情報表示システムの概略構成の一例を示す図である。 図２は、第１の実施形態の情報表示端末及び情報提供端末の内部構成の一例を詳細に示すブロック図である。 図３（ａ）～（ｅ）は、第１の実施形態の情報表示システムの利用例を説明する図である。 図４は、第２の実施形態の情報表示端末の外観の一例を示す正面図である。 図５は、第３の実施形態の情報表示端末が設置された店舗の館内における情報の表示例を示す図である。
　以下、適宜図面を参照しながら、本開示に係る情報表示システム及び情報表示端末を具体的に開示した各実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。以下の各実施形態の情報表示システムは、例えば施設内に入場した顧客であるユーザが、場所が離れているオペレーションセンタで待機しているオペレータとコミュニケーションを行い、各種の案内をオペレータから受けることが可能なシステムに適用される。
　（第１の実施形態）
　図１は、第１の実施形態の情報表示システム５の概略構成の一例を示す図である。情報表示システム５は、ネットワーク９０を介して接続された、ユーザ側の情報表示端末１０と、オペレータ側の情報提供端末５０とを含む構成を有する。情報表示端末１０と情報提供端末５０は、ネットワーク９０を介して各種のデータ（テキストデータ、画像データ、音声データ等）を相互に通信可能である。
　ネットワーク９０には、インターネット等の広域通信網に接続される有線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）や無線ＬＡＮ、或いは専用線等が用いられる。また、情報表示端末１０及び情報提供端末５０のいずれも、ネットワーク９０に接続された各種サーバ装置（図示せす）とアクセス可能である。
　情報表示端末１０は、人物の身長に合わせるように、ある程度の高さを有する箱形の架台１２に載置される。架台１２は、例えば情報表示端末１０の筐体と同一色で塗装される、或いは、情報表示端末１０と共通のカバーで覆われることで、情報表示端末１０と一体化される。情報表示端末１０は、ユーザの顔と向き合うように上側に突出するように設けられた第１筐体１５と、ユーザの手元（つまり、手、腕、掌、爪等のうち一部の部位を含む手の周囲。以下同様。）が接触可能なように手前に延出された第２筐体１８とを有する。
　第１筐体１５の前面には、後述する第３カメラ６３によって撮像されるオペレータの顔と上半身の少なくとも一部との映像が映し出される第１表示パネル２１が設けられる。第１表示パネル２１には、実際とほぼ同じサイズで、オペレータの顔と上半身の少なくとも一部の映像が表示される。これにより、ユーザはオペレータと実際に対面しているような臨場感を得る。また、第１筐体１５の前面上部には、ユーザの手元を撮像する第２カメラ３２が設けられる。第１筐体１５の前面下部、つまり第１表示パネル２１と第２表示パネル２２とが配置された筐体の中間部１５ｚは、表示パネルが配置されないエリアとなっている。この中間部１５ｚには、ユーザの顔及び上半身の少なくとも一部の映像を撮像する第１カメラ３１が設けられる。また、中間部１５ｚには、オペレータが発した音声のデータを出力する左右一対のスピーカ２５Ｌ，２５Ｒ（出力機器の一例）、及びユーザが発した音声を収音するマイク２７（入力機器の一例）が設けられる。第１表示パネル２１と第２表示パネル２２とが配置された筐体の中間部１５ｚに、出力機器や入力機器が配置されることで、第１表示パネル２１にオペレータが自然体で映し出され、一層臨場感が高まることが期待される。
　一方、第２筐体１８の上面には、後述する第４カメラ６４によって撮像されるオペレータの手元の映像やＵＩ画面等が映し出される第２表示パネル２２が設けられる。第２表示パネル２２は、単に画像を表示するディスプレイ装置で構成されてもよいし、タッチ入力操作が可能なタッチパネルで構成されてもよい。第２表示パネル２２がタッチパネルで構成される場合、タッチ入力された情報は、情報表示端末１０からネットワーク９０に接続される情報提供端末５０や各種サーバ装置に伝送される。ここでは、第２表示パネル２２がタッチパネルで構成される場合を示す。
　また、第２筐体１８の前端面１８ｚには、第２表示パネル２２に表示された画面のハードコピーを印刷可能なプリンタ４０の排出口が配置される。プリンタ４０の本体は架台１２に内蔵される。また、第２筐体１８の前端面１８ｚには、ユーザの個人認証を行うための認証情報（例えばカード決済処理時に要求される、カードに関する各種情報や、ＰＩＮ（Ｐｅｒｓｏｎａｌ　Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ　Ｎｕｍｂｅｒ）等の暗証番号）を読み取る読取装置４２が設置される。
　一方、情報提供端末５０は、デスク５５に載置される。デスク５５の前では、ヘッドセット７３を装着したオペレータｏｐが案内し易い姿勢でチェア７１に座っている。ヘッドセット７３は、情報提供端末５０に接続され、ユーザが発した音声を出力し、オペレータが発した音声を収音する。
　また、デスク５５に取り付けられたスタンド５８には、第１カメラ３１によって撮像されたユーザの顔及び上半身の少なくとも一部の映像が映し出される第３表示パネル５３、及びオペレータｏｐの顔及び上半身の少なくとも一部の映像を撮像する第３カメラ６３が支持される。
　また、デスク５５の上には、第２カメラ３２によって撮像されたユーザの手元の映像を表示する第４表示パネル５４が設けられる。第４表示パネル５４の画面サイズは、第３表示パネル５３に比べて大きく、オペレータｏｐがユーザの手元を視認し易くなっている。第４表示パネル５４は、単に画像を表示するディスプレイ装置で構成されてもよいし、タッチ入力操作が可能なタッチパネルで構成されてもよい。第４表示パネル５４がタッチパネルで構成される場合、タッチ入力された情報は、情報提供端末５０からネットワーク９０に接続される情報表示端末１０や各種サーバ装置に伝送される。ここでは、第４表示パネル５４がタッチパネルで構成される場合を示す。
　また、第４表示パネル５４の背部からＬ字形に延設されたアーム５７の先端には、オペレータｏｐの手元を含むデスク５５の上面を撮像する第４カメラ６４が設けられる。第４カメラ６４は、オペレータｏｐの手元を撮像する他、デスク５５に載置された案内パンフレット等の資料を撮像可能である。また、情報提供端末５０は、第４カメラ６４で撮像された画像として、第４表示パネル５４に表示されたＷｅｂサイトやＵＩ画面等をキャプチャ可能である。また、デスク５５には、キーボード、マウス等の操作部６８及びスキャナ６９が載置される。
　このように、ユーザ側の情報表示端末１０は、情報提供端末５０から受信した画像データを基に、第１表示パネル２１にオペレータｏｐの顔と上半身の少なくとも一部の映像を表示し、第２表示パネル２２にオペレータｏｐの手元の映像及びＵＩ画面等を表示する。なお、第２表示パネル２２は、オペレータｏｐがデスク５５の表面に案内パンフレット等の資料を載置すると、その資料も併せて表示する。また、情報表示端末１０は、情報提供端末５０から受信した音声データをスピーカ２５Ｌ，２５Ｒから出力し、マイク２７で収音した音声データを情報提供端末５０に送信する。
　一方、オペレータ側の情報提供端末５０は、情報表示端末１０から受信した画像データを基に、第３表示パネル５３にユーザの顔と上半身の少なくとも一部の映像を表示し、第４表示パネル５４にユーザの手元の映像等を表示する。また、情報提供端末５０は、情報表示端末１０から受信した音声データをヘッドセット７３のスピーカ７３ｚから出力し、ヘッドセット７３のマイク７３ｙで収音した音声データを情報表示端末１０に送信する。本第１の実施形態の第３表示パネル５３の表示可能領域は、ユーザの手元の映像等を表示する第４表示パネル５４のそれよりも小さくてよい。これは、以下の理由による。オペレータにとって重要なのは、第４カメラ６４により撮像されるオペレータｏｐの手元にある情報（例えばパンフレット、地図など）をユーザに表示する第２表示パネル２２に対して、ユーザが指示する箇所を、オペレータｏｐがユーザと同程度の大きさで共有することである。ユーザの手元の映像等を表示する第４表示パネル５４は、その表示可能領域は、ある程度の大きさを必要とする。さらには、第４表示パネル５４の解像度や画素数も、ユーザ側の第２表示パネル２２と同程度であることが望ましい。ただし、第４表示パネル５４は、汎用のモニタであってもよい。これに対して、ユーザの顔（あるいは、それと上半身の少なくとも一部）を表示する第３表示パネル５３は、オペレータｏｐにとっては、ユーザの表情やその背景の状況がわかる程度であればよいので、その表示可能領域はそれほど大きなものでなくてよく、解像度、画素数についてもそれほど高いものを必要としない。そのため、第３表示パネル５３の表示可能領域は、ユーザの手元の映像等を表示する第４表示パネル５４のそれより小さくてよいし、第３表示パネル５３の解像度や画素数についても、第４表示パネル５４のそれより小さくてよい。第３表示パネル５３も、汎用のモニタであってよい。このことによって、オペレータｏｐ側の情報提供端末５０のシステムは、汎用的なモニタと情報処理装置（ＰＣ（パーソナルコンピュータ）、タブレット端末等）又は受像機を用いて構成することが可能である。すなわち、オペレータｏｐ側の情報提供端末５０は、ユーザ側の情報表示端末１０よりも簡易な構成でありながら、ユーザとオペレータｏｐとの間の自然かつスムーズなコミュニケーションを実現することができる。さらには、汎用的なモニタ及び装置により構成することで、各モニタ及び装置のレイアウトに自由度を有するので、異なるオペレータに対して、各モニタ及び装置を、常に最適な位置に配置することができる。
　図２は、第１の実施形態の情報表示端末１０及び情報提供端末５０の内部構成の一例を詳細に示すブロック図である。情報表示端末１０は、各部を統括的に制御する制御部１１を有する。制御部１１には、前述した第１表示パネル２１、第１カメラ３１、第２表示パネル２２、第２カメラ３２、読取装置４２、左右のスピーカ２５Ｌ，２５Ｒ、マイク２７及びプリンタ４０の他、通信制御部２０が接続される。
　第１表示パネル２１は、オペレータｏｐの顔及び上半身の一部を表示する、超高解像度な４Ｋ（つまり、３８４０画素×２１６０画素）のディスプレイを有する。なお、第１表示パネル２１は、ユーザがタッチ入力可能なタッチパネルで構成されてもよい。
　第１カメラ３１は、第１筐体１５の下部に配置された内蔵カメラであり、情報表示端末１０の前に立つユーザの顔と上半身の少なくとも一部の映像を撮像する。なお、第１カメラ３１の画角は、オペレータ側の情報提供端末５０から遠隔操作可能であってもよい。第１カメラ３１には、高解像度なフルハイビジョンカメラ、ハイビジョンカメラ或いはノーマルカメラが用いられる。
　第２表示パネル２２は、インタラクティブな表示パネルとして、４Ｋディスプレイを有するタッチパネルで構成され、オペレータｏｐの手元の映像、操作メニュー画面、アプリ画面、ウェブサイト、各種ドキュメント等を表示し、タッチ操作によるボタン押下、手書き入力等を受け付ける。また、第２表示パネル２２は、画面表示の拡大・縮小の指示を、ユーザの指又はスタイラスペンによる入力操作を受け付ける。
　第２カメラ３２は、第１筐体１５の上部に配置された内蔵カメラであり、第２表示パネル２２の周囲に画角が固定され、ユーザが第２表示パネル２２に対し操作する手元の映像等を撮像する。第２カメラ３２は、４Ｋ或いはフルハイビジョンの高解像度カメラであることが望ましい。更に、第２カメラ３２がＰＴＺカメラである場合、所望の箇所にズームアップすることで、細部まで視認できるように撮像可能である。
　スピーカ２５Ｌ，２５Ｒは、情報表示端末１０の前にいるユーザが聞き取り易くなるような指向性を有するステレオスピーカであり、オペレータｏｐが発する音声等を出力する。マイク２７は、ユーザに対し指向方向を有する指向性マイクであり、ユーザが発する音声を収音する。なお、マイク２７及びスピーカ２５Ｌ，２５Ｒはヘッドセットで構成されてもよく、ユーザが情報表示端末１０を操作する際、このヘッドセットを頭部に装着する。
　プリンタ４０は、第２表示パネル２２の画面をハードコピーとして印刷可能であり、モノクロ印刷或いはカラー印刷のいずれかで印刷する。また、印刷方式としては、インクジェット方式、レーザプリント方式、静電記録方式等が採用される。
　第１通信部の一例としての通信制御部２０は、情報提供端末５０の通信制御部６０とネットワーク９０を介してセキュア通信を行うネットワークＩ／Ｆである。具体的には、通信制御部２０は、第１カメラ３１により撮像されたユーザの顔の映像と第２カメラ３２により撮像されたユーザの手元の映像とのデータを情報提供端末５０に送信する。また通信制御部２０は、情報提供端末５０から送信された、オペレータの顔と上半身の少なくとも一部との映像とオペレータの手元の映像とを受信する。
　読取装置４２は、ユーザの個人情報を読み取る。読取装置４２として、例えばＮＦＣ（Ｎｅａｒ　Ｆｉｅｌｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）等の近距離非接触通信によりＩＣタグの情報を読み取る非接触リーダライタ装置や、スロットに挿入されたＩＣカードの情報を読み取るＩＣカードリーダライタ装置が挙げられる。なお、指紋や静脈等のパターンで個人認証を行う生体認証装置が用いられてもよい。また、読取装置４２により読み取られたユーザの個人情報は、認証情報として、決済処理や電子マネーに使用されてもよい。個人認証を行うことで、利便性を高めるとともに、なりすまし等を排除できる。
　なお、情報表示端末１０は、多言語対応型の端末であり、ユーザが予め第２表示パネル２２に表示された言語を選択すると、オペレータｏｐが発する音声を、選択された言語に自動翻訳して、スピーカ２５Ｌ，２５Ｒから出力する。また、情報表示端末１０は、オペレータが発した音声をテキストとして表示する機能、手書き入力された文字を認識するＯＣＲ機能等も有する。
　一方、情報提供端末５０は、各部を統括的に制御する制御部５１を有する。制御部５１には、前述した第３表示パネル５３、第３カメラ６３、第４表示パネル５４、第４カメラ６４、操作部６８、ヘッドセット７３のスピーカ７３ｚ，マイク７３ｙ及びスキャナ６９の他、通信制御部６０が接続される。
　第３表示パネル５３は、ユーザの顔及び上半身の少なくとも一部の映像を表示するディスプレイを有する。第３表示パネル５３は、４Ｋに限らず、ノーマル、ハイビジョン或いはフルハイビジョンディスプレイであってもよい。なお、第３表示パネル５３は、オペレータｏｐがタッチ入力可能なタッチパネルで構成されてもよい。
　第３カメラ６３は、スタンド５８に取り付けられたカメラであり、情報表示端末１０の第１表示パネル２１に表示される、オペレータｏｐの顔及び上半身の少なくとも一部の映像を撮像するので、超高解像度な４Ｋカメラであることが望ましい。
　第４表示パネル５４は、インタラクティブな表示パネルとして、４Ｋディスプレイを有するタッチパネルで構成され、ユーザの手元の映像、操作メニュー画面、アプリ画面、ウェブサイト、各種ドキュメント等を表示し、タッチ操作によるボタン押下等を受け付ける。また、第４表示パネル５４は、画面表示の拡大・縮小の指示を、オペレータｏｐの指又はスタイラスペンによる入力操作を受け付ける。
　第４カメラ６４は、アーム５７に取り付けられたカメラであり、デスク５５の表面に置かれたオペレータｏｐの手元の映像やパンフレット等を撮像する。第４カメラ６４は、第２表示パネル２２に表示される手元等の画像を撮像するので、超高解像度な４Ｋカメラであることが望ましい。更に、ＰＴＺカメラである場合、細部を視認可能に撮像することができる。
　操作部６８は、オペレータｏｐが操作可能なマウスやキーボード等の入力デバイスである。スキャナ６９は、パンフレット等に対し読み取り走査を行う。
　ヘッドセット７３は、オペレータｏｐの頭部に装着され、オペレータｏｐが発する音声を収音するマイク７３ｙ、及びユーザが発する音声等を出力する左右一対のスピーカ７３ｚを有する。なお、左右一対のスピーカ及びマイクは、ヘッドセットとして一体化される以外に、それぞれスタンドアローン型の筐体を有するものであってもよい。
　第２通信部の一例としての通信制御部６０は、情報表示端末１０の通信制御部２０とネットワーク９０を介してセキュア通信を行うネットワークＩ／Ｆである。具体的には、通信制御部６０は、第３カメラ６３により撮像されたオペレータの顔と上半身の少なくとも一部との映像と第４カメラ６４により撮像されたオペレータの手元の映像とのデータを情報表示端末１０に送信する。また通信制御部６０は、情報表示端末１０から送信された、ユーザの顔の映像とユーザの手元の映像とを受信する。
　（利用例）
　上記構成を有する情報表示システム５の利用例を示す。情報表示システム５の利用例として、ここでは、高いおもてなしを提供可能なサービスが求められる、施設案内に用いられる場合を想定して説明する。図３（ａ）～（ｅ）は、第１の実施形態の情報表示システム５の利用例を説明する図である。ユーザ側の情報表示端末１０の第２表示パネル２２には、図中（ａ）に示すように、オペレータｏｐが提示した店舗の案内パンフレットｐｆの映像（画像）が表示されている。ここでは、４つの店舗（Ａ店，Ｂ店，Ｃ店，Ｄ店）が紹介されている。
　４つの店舗の紹介欄には、それぞれ２次元バーコードが記載されている。図中（ｂ）に示すように、案内パンフレットｐｆに記載された、４つの２次元バーコードｂｃ１，ｂｃ２，ｂｃ３，ｂｃ４は、あらかじめオペレータ側の情報提供端末５０によってキャプチャされている（つまり、取り込まれている）。情報提供端末５０は、案内パンフレットｐｆの画像データを情報表示端末１０に送信する際、これとは別に、４つの２次元バーコードｂｃ１，ｂｃ２，ｂｃ３，ｂｃ４の画像データを情報表示端末１０に送信する。ただし、各店舗の紹介欄と２次元バーコードとは、各読み取り位置によって対応付けられている。
　ユーザが第２表示パネル２２に映し出された案内パンフレットｐｆを見て、例えばＢ店のお店情報を知りたいと判断した場合を示す。図中（ｃ）に示すように、ユーザが第２表示パネル２２のうちＢ店の紹介欄が表示された部分をタッチ入力すると、第２表示パネル２２は、Ｂ店の２次元バーコードｂｃ２を拡大してＢ店の紹介欄と重なるように、表示する。
　Ｂ店の２次元バーコードｂｃ２が拡大して表示されると、図中（ｄ）に示すように、ユーザは、拡大された２次元バーコードｂｃ２に対し、スマートフォン８０の２次元バーコード読取機能を用いて、２次元バーコードｂｃ２を撮像し、その情報（例えば、Ｂ店のＵＲＬ、クーポン等）を入手する。
　また、図中（ｅ）に示すように、ユーザが第２表示パネル２２に表示された２次元バーコードｂｃ２に対し、タップ操作すると、情報表示端末１０は、そのタップ操作された２次元バーコードｂｃ２を読み取り、２次元バーコードｂｃ２に埋め込まれたＢ店のＵＲＬを基に、Ｂ店のウェブサイト（つまり、情報提供画面）を第２表示パネル２２に表示する。また、この時、ユーザのタップ操作により読み取られた２次元バーコードｂｃ２の情報は、情報表示端末１０から情報提供端末５０に送信され、情報提供端末５０は、第４表示パネル５４にユーザと同じＢ店のウェブサイトを表示する。ここでは、Ｂ店が飲食店であり、Ｂ店のウェブサイトには、お食事メニューとして特選御膳が紹介されている。これにより、ユーザとオペレータｏｐは、同じウェブサイトを共有して見ることができる。
　また、それぞれの画面では、撮像された手元の画像が併せて表示される。ウェブサイト（つまり、情報提供画面）を表示する際、第２表示パネル２２を分割し、情報提供画面は手元の画像が表示される画面とは別の画面に表示されてもよいし、手元の画像と重畳して第２表示パネル２２に表示されてもよい。手元の画像と情報提供画面とを併せて表示することで利便性が高まる。例えば、オペレータはユーザに対し指で示しながら案内することができ、一方、ユーザはオペレータに対し指で示しながら質問等をすることができる。これにより、正確に相手方に情報を伝達することができるようになる。従って、情報伝達のスピードアップが図れるとともに、ユーザは適切なアドバイスに満足感を得ることができる。以後、同様に、ユーザ或いはオペレータｏｐがタップ操作により展開される画面情報は、相互に通信を行うことで共有される。
　また、ユーザは、プリンタ４０を操作して、第２表示パネル２２の画面のハードコピーを印刷させ、オペレータｏｐにより提案された画面情報をすぐさま入手できる。これにより、情報表示端末１０の利便性が一層高まる。
　このように、ユーザは、オペレータｏｐが紹介した案内パンフレットｐｆを見て、気に入ったお店をタッチすると、そのお店のお食事メニューを見ることができる。また、スマートフォン８０でクーポンを入手し、お店に行って見せると、お食事の割引を受けることができる。
　（その他の利用例）
　情報表示システム５の利用例として、上記施設案内の他にも、例えば、学習塾の個別指導、占い、料理・手芸・習字等のお稽古事、観光ガイド、空港でのチェックインやインフォディスクでの手続きサポート、コンビニや店舗における購入手続き代行・サポート、旅行・借入等の無人化店舗、薬販売・提供の場における指導や説明対応、デジタルサイネージ等も利用例として挙げられる。例えば、国内外の旅行において、旅行客であるユーザと旅行会社のスタッフとの間で、各種の旅行プランの紹介や契約を行う際にも、情報表示システム５は利用可能である。
　このように、第１の実施形態の情報表示システム５において、情報表示端末１０では、第１表示パネル２１は、第３カメラ６３で撮像されたオペレータｏｐの顔と上半身の一部とを表示し、第２表示パネル２２は、第４カメラ６４で撮像されたオペレータｏｐの手元を表示する。情報提供端末５０では、第３表示パネル５３は、第１カメラ３１で撮像されたユーザの顔を表示し、第４表示パネル５４は、第２カメラ３２で撮像されたユーザの手元を表示する。これにより、従来の情報表示端末に比べて、ユーザとオペレータとの間で自然なやり取りが行え、ユーザは、通信相手であるオペレータと実際に対面しているような臨場感を受けた状態で、正確かつ分かり易く情報を伝え、更に教えてもらうことができる。
　（第２の実施形態）
　第２の実施形態では、第１の実施形態と比べ、スタイルの異なる情報表示端末を示す。図４は、第２の実施形態の情報表示端末１０Ａの外観の一例を示す正面図である。第１の実施形態と同一の構成要素については同一の符号を用いることで、その説明を省略する。
　情報表示端末１０Ａは、架台として、テーブルスタンド１２Ａを備え、カフェ等の店舗の設置に適したスタイル（いわゆる、カフェスタイル）を有するものである。
　また、このスタイルの場合、第２筐体１８の前端面１８ｚにプリンタ４０の排出口が配置されるが、第２筐体１８の内部に収容されるプリンタは小型プリンタである。なお、このようなスタイルの場合、情報表示端末はプリンタを搭載しなくてもよい。
　ユーザは、カフェ等のおしゃれな店舗を含む施設内で、情報表示端末１０Ａの前に立ち、第１表示パネル２１に映し出されたオペレータｏｐと実際にコミュニケーションを取るような臨場感を持って各種の案内を受けることができる。
　（第３の実施形態）
　図５は、第３の実施形態の情報表示端末１０Ｂが設置された店舗の館内における情報の表示例を示す図である。情報表示端末１０Ｂは、第２の実施形態と同様のカフェスタイルを有するものである。また、第２の実施形態と異なり、第３カメラ６３により撮像されたオペレータの顔と上半身の少なくとも一部の映像が映し出される第１表示パネル２１Ａには、第１表示パネル２１Ａの後方の背部に設置されたプロジェクタにより映像が投影される透明スクリーンが用いられる。
　第１表示パネル２１Ａに映像を投影する場合、第１表示パネル２１Ａは、第３カメラ６３により撮像されたオペレータの顔と上半身の一部の画像を映し出す。図５では、第１表示パネル２１Ａには、第３カメラ６３により撮像された画像とともに、情報提供端末５０から送信された観光ホテルの案内メッセージ「Ｈａｋａｔａ　ｈｏｔｅｌ　ｉｓ　ｎｅａｒ　ｈｅｒｅ．　Ｈｅｒｅ　ｈａｓ　ａ　ｍａｐ．」が表示される。
　一方、第１表示パネル２１Ａに映像を投影しない場合（デフォルト状態を含む）、第１表示パネル２１Ａは、透明スクリーン１０１として機能し、透明或いは半透明で第１表示パネル２１Ａの後方の背部が透明化され透けて見えるようになる。
　このように、透明スクリーン１０１を用いることで、第１表示パネル２１Ａは透けるので、視界が遮られず、ユーザは館内を見渡せるようになる。また、映像を投影しない場合、第１表示パネル２１Ａは何も表示しないので、省電力化に繋がる。
　以上、図面を参照しながら各種の実施形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記実施形態では、情報表示端末は、オペレータの顔と上半身の少なくとも一部の映像を映し出す際、最も自然に感じられる、上半身の少なくとも一部として、胸部付近までを映し出していたが、肘付近まで或いは腰部付近まで映し出してもよい。また、上半身をほとんど映し出さずに、首付近まで或いは顔のみ映し出してもよい。また、表示パネルに映し出される顔と上半身の一部は、実際のサイズと一致するように映し出すことが望ましく、より自然な感じとなる。また、情報表示端末が等身大の表示パネルを有する場合、オペレータの全身を映し出すようにしてもよい。この場合、オペレータはユーザと同じように立った姿勢であってもよいし、座った姿勢であってもよい。
　本開示は、情報を表示する際、ユーザに対して、通信相手と実際に対面しているような臨場感を提供することができ、正確かつ分かり易く情報を伝えることができる情報表示システム及び情報表示端末として有用である。
　５　情報表示システム
　１０，１０Ａ，１０Ｂ　情報表示端末
　１１，５１　制御部
　１２　架台
　１２Ａ　テーブルスタンド
　１５　第１筐体
　１５ｚ　中間部
　１８　第２筐体
　１８ｚ　前端面
　２０，６０　通信制御部
　２１，２１Ａ　第１表示パネル
　２２　第２表示パネル
　２５Ｌ，２５Ｒ　スピーカ
　２７　マイク
　３１　第１カメラ
　３２　第２カメラ
　４０　プリンタ
　４２　読取装置
　５０　情報提供端末
　５３　第３表示パネル
　５４　第４表示パネル
　５５　デスク
　５７　アーム
　５８　スタンド
　６３　第３カメラ
　６４　第４カメラ
　６８　操作部
　６９　スキャナ
　７３　ヘッドセット
　８０　スマートフォン
　９０　ネットワーク
　１０１　透明スクリーン
　ｂｃ１，ｂｃ２，ｂｃ３，ｂｃ４　２次元バーコード
　ｆｇ　指
　ｏｐ　オペレータ
　ｐｆ　案内パンフレット

Claims (7)

  1. 　ユーザが操作可能な情報表示端末と、オペレータが操作可能な情報提供端末とが通信可能に接続された情報表示システムであって、
    　前記情報表示端末は、
    　前記ユーザの顔の映像を撮像する第１カメラと、
    　前記ユーザの手元の映像を撮像する第２カメラと、
    　前記第１カメラにより撮像された前記ユーザの顔の映像と前記第２カメラにより撮像された前記ユーザの手元の映像とのデータを前記情報提供端末に送信し、前記情報提供端末から送信された、前記オペレータの顔と上半身の少なくとも一部との映像と前記オペレータの手元の映像とを受信する第１通信部と、
    　前記オペレータの顔と上半身の少なくとも一部との映像を表示する第１表示パネルと、
    　前記オペレータの手元の映像を表示する第２表示パネルと、を備え、
    　前記情報提供端末は、
    　前記オペレータの顔と上半身の少なくとも一部とを撮像する第３カメラと、
    　前記オペレータの手元を撮像する第４カメラと、
    　前記第３カメラにより撮像された前記オペレータの顔と上半身の少なくとも一部との映像と前記第４カメラにより撮像された前記オペレータの手元の映像とのデータを前記情報表示端末に送信し、前記情報表示端末から送信された、前記ユーザの顔の映像と前記ユーザの手元の映像とを受信する第２通信部と、
    　前記第１カメラにより撮像された前記ユーザの顔の映像を表示する第３表示パネルと、
    　前記第２カメラにより撮像された前記ユーザの手元の映像を表示する第４表示パネルと、を備える、
    　情報表示システム。
  2. 　請求項１に記載の情報表示システムであって、
    　前記第２表示パネルは、前記オペレータの手元の映像と情報提供画面とを併せて表示する、
    　情報表示システム。
  3. 　請求項１に記載の情報表示システムであって、
    　前記第１表示パネルは、透明スクリーンを有し、前記オペレータの顔と上半身の少なくとも一部との映像を表示しない場合に、前記第１表示パネルの後方の背部の映像を透明化して表示する、
    　情報表示システム。
  4. 　請求項１又は２に記載の情報表示システムであって、
    　前記情報表示端末は、前記第２表示パネルで表示された映像又は画面のデータを印刷可能なプリンタ、を更に備える、
    　情報表示システム。
  5. 　請求項１に記載の情報表示システムであって、
    　前記情報表示端末は、前記ユーザの認証情報を読み取る読取装置、を更に備える、
    　情報表示システム。
  6. 　請求項１から５のうちいずれか一項に記載の情報表示システムであって、
    　前記第１表示パネルは、前記情報表示端末の筐体の上部に配置され、
    　前記第２表示パネルは、前記情報表示端末の筐体の下部から手前に延出して配置され、
    　前記第１表示パネルと前記第２表示パネルとが配置された前記筐体の中間部に、入力機器及び出力機器の少なくとも一方が配置された、
    　情報表示システム。
  7. 　オペレータが操作可能な情報提供端末との間で通信可能に接続され、ユーザが操作可能な情報表示端末であって、
    　前記ユーザの顔の映像を撮像する第１カメラと、
    　前記ユーザの手元の映像を撮像する第２カメラと、
    　前記第１カメラにより撮像された前記ユーザの顔の映像と前記第２カメラにより撮像された前記ユーザの手元の映像とのデータを前記情報提供端末に送信し、前記情報提供端末から送信された、前記オペレータの顔と上半身の少なくとも一部との映像と前記オペレータの手元の映像とを受信する通信部と、
    　前記オペレータの顔と上半身の少なくとも一部との映像を表示する第１表示パネルと、
    　前記オペレータの手元の映像を表示する第２表示パネルと、を備える、
    　情報表示端末。
PCT/JP2016/002304 2015-06-25 2016-05-11 情報表示システム及び情報表示端末 WO2016208111A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP16813887.3A EP3316573B1 (en) 2015-06-25 2016-05-11 Information display system and information display terminal
US15/580,755 US10122966B2 (en) 2015-06-25 2016-05-11 Information display system and information display terminal

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015128135A JP6300113B2 (ja) 2015-06-25 2015-06-25 情報表示システム及び情報表示端末
JP2015-128135 2015-06-25

Publications (1)

Publication Number Publication Date
WO2016208111A1 true WO2016208111A1 (ja) 2016-12-29

Family

ID=57585325

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/002304 WO2016208111A1 (ja) 2015-06-25 2016-05-11 情報表示システム及び情報表示端末

Country Status (4)

Country Link
US (1) US10122966B2 (ja)
EP (1) EP3316573B1 (ja)
JP (1) JP6300113B2 (ja)
WO (1) WO2016208111A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10233949B2 (en) 2011-03-21 2019-03-19 Dana Belgium N.V. Accumulator assisted hydrostatic driveline and optimization method thereof
US20170039867A1 (en) * 2013-03-15 2017-02-09 Study Social, Inc. Mobile video presentation, digital compositing, and streaming techniques implemented via a computer network
WO2016102514A1 (en) * 2014-12-22 2016-06-30 Cork Institute Of Technology An educational apparatus
JP2018151848A (ja) * 2017-03-13 2018-09-27 セイコーソリューションズ株式会社 注文システム及び制御センター装置のプログラム
JP2018195926A (ja) * 2017-05-15 2018-12-06 富士通株式会社 コミュニケーション装置、コミュニケーション方法、コミュニケーションプログラムおよびコミュニケーションシステム
JP2019149627A (ja) * 2018-02-26 2019-09-05 パナソニックＩｐマネジメント株式会社 双方向映像通信システム及び通信制御装置
JP2019149626A (ja) * 2018-02-26 2019-09-05 パナソニックＩｐマネジメント株式会社 オペレータ端末及びキャリブレーション方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0630408A (ja) * 1992-07-06 1994-02-04 Canon Inc テレビ会議システム
JP2004147105A (ja) * 2002-10-24 2004-05-20 Oki Electric Ind Co Ltd 遠隔対面用端末装置
JP2008083510A (ja) * 2006-09-28 2008-04-10 Toppan Printing Co Ltd 表示装置及び表示方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5239373A (en) * 1990-12-26 1993-08-24 Xerox Corporation Video computational shared drawing space
EP0539695B1 (en) 1991-09-05 1997-07-23 Canon Kabushiki Kaisha TV conference system and terminal equipment for use in the same
US6195176B1 (en) 1992-08-31 2001-02-27 Canon Kabushiki Kaisha TV conference system and terminal equipment for use in the same
US8199185B2 (en) * 1995-09-20 2012-06-12 Videotronic Systems Reflected camera image eye contact terminal
JP4329300B2 (ja) * 2002-03-26 2009-09-09 住友電気工業株式会社 マルチウィンドウ表示方法
JP2004056207A (ja) * 2002-07-16 2004-02-19 Oki Electric Ind Co Ltd コミュニケーション装置およびそのプログラム
US8125510B2 (en) * 2007-01-30 2012-02-28 Ankur Agarwal Remote workspace sharing
US9049482B2 (en) * 2012-02-19 2015-06-02 Udacity, Inc. System and method for combining computer-based educational content recording and video-based educational content recording

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0630408A (ja) * 1992-07-06 1994-02-04 Canon Inc テレビ会議システム
JP2004147105A (ja) * 2002-10-24 2004-05-20 Oki Electric Ind Co Ltd 遠隔対面用端末装置
JP2008083510A (ja) * 2006-09-28 2008-04-10 Toppan Printing Co Ltd 表示装置及び表示方法

Also Published As

Publication number Publication date
JP6300113B2 (ja) 2018-03-28
EP3316573B1 (en) 2020-08-19
JP2017010467A (ja) 2017-01-12
US20180152668A1 (en) 2018-05-31
US10122966B2 (en) 2018-11-06
EP3316573A1 (en) 2018-05-02
EP3316573A4 (en) 2018-06-27

Similar Documents

Publication Publication Date Title
JP6300113B2 (ja) 情報表示システム及び情報表示端末
JP4928592B2 (ja) 画像処理装置及びプログラム
KR20100138863A (ko) 카메라 탑재 단말기에서 코드에 대응하는 증강현실과 개인화된 콘텐츠를 제공하는 방법
CN107038565A (zh) 用于电子支付的移动电子装置和方法
WO2017163897A1 (ja) 情報表示システム及び情報提供端末
WO2017163895A1 (ja) 情報表示システム及び情報提供端末
US9607094B2 (en) Information communication method and information communication apparatus
JP6191519B2 (ja) 取引システム及び取引装置
JP2015230512A (ja) ユーザインタフェース画面作成支援システム
JP2013054643A (ja) 情報表示装置およびプログラム
US20150222781A1 (en) Information provision apparatus, information provision method, and program
CN110895440A (zh) 信息处理装置及记录介质
JP6291989B2 (ja) コンテンツ表示装置およびコンテンツ表示装置の制御プログラム
JP2017182647A (ja) 現実の書籍と電子書籍が連携した書籍システム
KR102288431B1 (ko) 가상현실을 이용한 이미지입력시스템 및 이를 이용한 이미지데이터 생성방법
JP2015055894A (ja) 注文システム、サーバ、端末、紙媒体、注文方法、プログラム、記録媒体
JP6355256B2 (ja) メニュー画面構築装置、メニュー処理装置、メニュー画面生産方法、メニュー処理方法、及びプログラム
JP2018092659A (ja) 表示装置及び表示装置の制御方法
JP7396326B2 (ja) 情報処理システム、情報処理装置、情報処理方法およびプログラム
KR20230076545A (ko) 카메라를 이용한 대화형 주문 방법
JP2019207409A (ja) 表示装置及び表示装置の制御方法
JP2017041216A (ja) 選択情報入力システム
Sharma Spatially Aware Interactions in Large Scale Immersive Environments
KR20230076549A (ko) 카메라를 이용한 주문 방법
JP6115750B2 (ja) 画像認識システム、画像認識方法、及び携帯端末

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16813887

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15580755

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016813887

Country of ref document: EP