WO2021117170A1 - 無線接続システム、情報端末、表示装置、および無線接続方法 - Google Patents

無線接続システム、情報端末、表示装置、および無線接続方法 Download PDF

Info

Publication number
WO2021117170A1
WO2021117170A1 PCT/JP2019/048538 JP2019048538W WO2021117170A1 WO 2021117170 A1 WO2021117170 A1 WO 2021117170A1 JP 2019048538 W JP2019048538 W JP 2019048538W WO 2021117170 A1 WO2021117170 A1 WO 2021117170A1
Authority
WO
WIPO (PCT)
Prior art keywords
wireless connection
information terminal
display device
display
identification information
Prior art date
Application number
PCT/JP2019/048538
Other languages
English (en)
French (fr)
Inventor
秋山 仁
橋本 康宣
尚久 高見澤
Original Assignee
マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マクセル株式会社 filed Critical マクセル株式会社
Priority to JP2021563520A priority Critical patent/JP7323639B2/ja
Priority to PCT/JP2019/048538 priority patent/WO2021117170A1/ja
Priority to US17/783,717 priority patent/US20230009449A1/en
Priority to EP19955419.7A priority patent/EP4075836A4/en
Priority to CN201980102918.8A priority patent/CN114788396A/zh
Publication of WO2021117170A1 publication Critical patent/WO2021117170A1/ja
Priority to JP2023122795A priority patent/JP2023139245A/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06Authentication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/50Secure pairing of devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/60Context-dependent security
    • H04W12/69Identity-dependent
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W76/00Connection management
    • H04W76/10Connection setup
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W76/00Connection management
    • H04W76/10Connection setup
    • H04W76/11Allocation or use of connection identifiers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W76/00Connection management
    • H04W76/10Connection setup
    • H04W76/14Direct-mode setup
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W8/00Network data management
    • H04W8/005Discovery of network devices, e.g. terminals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W84/00Network topologies
    • H04W84/18Self-organising networks, e.g. ad-hoc networks or sensor networks

Definitions

  • the present invention relates to technologies such as wireless connection systems, information terminals, and display devices.
  • an information terminal such as a head-mounted display (HMD), a wearable terminal, a smartphone, or a tablet terminal worn or carried by a user and a display device such as a tablet terminal or a television device installed in the environment.
  • a wireless connection is made.
  • a plurality of information terminals of a plurality of unspecified users and a plurality of display devices make a wireless connection in a plurality of to multiple relationships.
  • a display device such as a tablet terminal is prepared on the table.
  • a user who is a customer wirelessly connects his / her information terminal to a selected display device, and uses a display such as a menu, an order for a product or service, a payment, and other functions.
  • Patent Document 1 provides a communication device that simplifies the process of recognizing and storing communication devices as communication partners with each other, and can greatly develop a function of linking communication devices in the market and the degree of utilization thereof. The fact and the following are stated.
  • This communication device stores the identification information of the communication device capable of wireless communication, receives the identification information from the communication device in the communicable area, and when the wireless communication is started, the received identification information and the stored identification information are stored. Based on the identification information, a list of communication devices capable of communicating at that time is presented, a selection of communication devices is accepted from the presented list, and wireless communication with the selected communication device is started. Further, this communication device captures a bar code including the identification information of the communication device, and acquires the identification information of the communication device from the bar code information.
  • each user to wirelessly connect his / her own information terminal to a desired display device among a plurality of display devices and use the display function or the like in the environment.
  • each information terminal and each display device are appropriately and securely wirelessly connected to a selected and permitted partner. Need to be done. Since it is a wireless connection, there are cases where there are a plurality of display devices within the range where radio waves can reach from a certain user's information terminal, and there are cases where there are a plurality of information terminals within the range where radio waves can reach from a certain display device.
  • authentication ID authentication identification information
  • Wi-Fi Wi-Fi
  • authentication ID authentication identification information
  • an information terminal such as an HMD (in other words, a wireless device having a wireless communication function) is wirelessly connected to a display device
  • the information input means provided in the information terminal is limited, so that the user inputs an authentication ID. It can be time-consuming or difficult.
  • a conventional general HMD does not have an input device such as a keyboard or a touch panel.
  • An object of the present invention is a technique for wirelessly connecting a user's information terminal and a display device, which can reduce the time and effort of the user to input authentication information at the time of wireless connection, and is a desired information terminal even in a plurality of to multiple environments.
  • the purpose is to provide a technology that enables an appropriate and secure wireless connection between a display device and a display device.
  • the wireless connection system of one embodiment is a wireless connection system that wirelessly connects an information terminal worn or carried by a user and a display device installed in the environment, and the display device is located in the vicinity.
  • the device identification information related to the authentication for wireless connection with the detected information terminal or the image encoding the device identification information is displayed on the display screen, and the information terminal and the information terminal are displayed.
  • the wireless connection is established between the two using the authentication ID for the wireless connection, and the information terminal reads and reads the device identification information or the image on the display screen of the display device. Confirms whether it matches the device identification information of the own device, and after confirming the match, establishes the wireless connection with the display device using the authentication ID for the wireless connection.
  • a wireless connection can be appropriately and securely realized between a desired information terminal and a display device.
  • FIG. 1 shows the structure of the wireless connection system of Embodiment 1 of this invention. It is a figure which shows the environment example and the procedure outline in the wireless connection method of Embodiment 1.
  • FIG. It is a figure which shows the appearance composition example of the information terminal (HMD) in Embodiment 1.
  • HMD information terminal
  • FIG. It is a figure which shows the functional block configuration example of the information terminal in Embodiment 1.
  • FIG. It is a figure which shows the functional block configuration example of the display device in Embodiment 1.
  • FIG. It is a figure which shows the processing sequence of an information terminal and a display device in Embodiment 1.
  • FIG. It is a figure which shows the example of the device list screen in Embodiment 1.
  • FIG. It is a figure which shows the example of the code screen in Embodiment 1.
  • FIG. It is a figure which shows the processing sequence of an information terminal and a display device in the wireless connection system and method of Embodiment 1 of this invention. It is a figure which shows the example of the device list screen in Embodiment 2. It is a figure which shows the display example by the information terminal (HMD) in Embodiment 2. It is a figure which shows the processing sequence of an information terminal and a display device in the wireless connection system and method of Embodiment 3 of this invention. It is a figure which shows the example of the device code list screen in Embodiment 2. It is a figure which shows the processing sequence of an information terminal and a display device in the wireless connection system and method of Embodiment 4 of this invention. It is a figure which shows the example of the code screen in Embodiment 2.
  • FIG. 1 shows the configuration of the wireless connection system of the first embodiment.
  • the wireless connection system of the first embodiment has a plurality of (referred to as M) users, a plurality of (M) information terminals 1, and a plurality of (referred to as N) information terminals 1 in a certain environment. It has a display device 2.
  • This system is a system capable of wirelessly connecting a plurality of pairs, that is, a plurality of (M) information terminals 1 and a plurality of (N) display devices 2.
  • This wireless connection system makes a wireless connection between the user's information terminal 1 and the display device 2 selected by the user with authentication.
  • one information terminal and one display device desired for each user can be basically freely combined between unspecified multiple (M) to multiple (N) devices in the environment.
  • Wireless connection to and from is allowed.
  • Authentication (including device check) in this wireless connection system is for appropriately and easily wirelessly connecting one information terminal and one display device desired by the user between the plurality of devices. Authentication.
  • M users are indicated by users U1, U2, U3, ..., UM.
  • a plurality of (M) information terminals 1 are indicated by information terminals T1, T2, T3, ..., TM.
  • a plurality of (N) display devices 2 are indicated by display devices D1, D2, ..., DN.
  • the number M of the information terminal 1 and the number N of the display device 2 may be different, and M ⁇ 1 and N ⁇ 1.
  • one-to-many scenes of one information terminal 1 and a plurality of (N) display devices 2 and a plurality of one-to-one scenes of a plurality of (M) information terminals 1 and one display device 2 are also included in this book. Within the applicable range of the system and method.
  • a plurality of (N) display devices 2 that are permitted to be used by a user who has succeeded in authentication and an information terminal 1 are installed.
  • the user is wearing or carrying an information terminal 1 such as HMD1A.
  • the information terminal 1 may be temporarily provided to the user in an environment such as a store.
  • this wireless connection system makes it easy for a user's information terminal 1 to have a desired selected display device 2 in front of the user among a plurality of display devices 2 and the information terminal 1. And it has a mechanism to ensure wireless connection.
  • the information terminal 1 is an HMD or the like, the time and effort required for the user to input the authentication ID can be reduced, and a simple method with high user convenience can be provided.
  • a desired wireless connection can be appropriately made between the desired information terminal 1 and the display device 2, and wireless communication between unintended devices can be performed. Connection is prevented and security is increased. After establishing the wireless connection between the information terminal 1 and the display device 2, the user can use the display function of the display device 2 and the like.
  • FIG. 1 shows an outline of a wireless connection between one information terminal 1 (for example, HMD1A) and one display device 2 of one user.
  • the user's information terminal 1 typically corresponds to, but is not limited to, HMD1A (including smart glasses and the like), smartphone 1B and the like.
  • the display device 2 is typically a tablet terminal, but is not limited to this.
  • the information terminal 1 and the display device 2 have a wireless communication function.
  • the wireless communication function is a short-distance or medium-range wireless communication function that is compatible with the environment, and uses, for example, Bluetooth (registered trademark) as the wireless communication interface.
  • the display device 2 has a function of detecting a nearby information terminal 1.
  • the display device 2 can detect a nearby information terminal 1 by detecting a beacon (radio signal) emitted by the information terminal 1 by using the provided wireless communication function.
  • the display device 2 may detect the nearby information terminal 1 by using the camera 22 or another sensor.
  • the information terminal 1 has a function of being able to read an image or information displayed on the display screen 20 of the display device 2.
  • the information terminal 1 recognizes an image or information in the display screen 20 from an image obtained by capturing the display screen 20 using the camera 12 provided.
  • the user looks at the display screen 20 of the display device 2 with the HMD1A attached, for example.
  • the display device 2 detects an information terminal 1 that appears in the vicinity, the display device 2 displays authentication information for wireless connection with the detected information terminal 1 on the display screen 20.
  • the authentication information which will be described later, is predetermined information such as a device name and an authentication ID, and is an image that can be read from the information terminal 1 side.
  • an authentication ID such as a passkey corresponding to the wireless communication interface is displayed on the display screen 20 as a coded image.
  • the user sees the authentication information on the display screen 20 through the information terminal 1.
  • the information terminal 1 reads the authentication information on the display screen 20 and uses the device name (device identification information) included in the authentication information to determine whether the wireless connection between the own device and the display device 2 of the other party is appropriate. Check the device.
  • the information terminal 1 acquires an authentication ID by decoding from the code image associated with the own device name.
  • the information terminal 1 establishes a wireless connection with the display device 2 by using the authentication ID.
  • the operation after the wireless connection between the information terminal 1 and the display device 2 is not limited.
  • the information terminal 1 communicates with the display device 2 and can use functions such as the display function of the display device 2.
  • the user can view a moving image or the like displayed on the display screen 20 of the display device 2 after the information terminal 1 is wirelessly connected to the desired display device 2 in the store.
  • the display device 2 can use the function of the wirelessly connected information terminal 1.
  • the wireless connection between the information terminal 1 and the display device 2 is canceled.
  • the information terminal 1 can display an augmented reality (AR) image or the like on the display surface 11 so as to match the display of the display screen 20 of the display device 2.
  • AR augmented reality
  • FIG. 2 shows an outline of the wireless connection method of the first embodiment.
  • FIG. 2 shows an outline of the wireless connection method of the first embodiment.
  • the user U1 wants to wirelessly connect his / her information terminal T1 to a desired display device D1.
  • the user U2 wants to wirelessly connect his / her information terminal T2 to a desired display device D3. It is assumed that the user U3 has just passed by and does not make a wireless connection to any of the display devices 2.
  • step S1 the display device 2 detects the information terminal 1 and the user existing in the vicinity of the own device in the environment by any detection means.
  • the display device 2 detects the information terminal 1 and the user within the range in front of the camera 21 by the camera 21. More specifically, for example, the display device 2 may detect a state in which a user wearing the HMD1A is in front of the display device 2.
  • the display device D1 and the display device D3 have detected the information terminal T1 and the information terminal T2, respectively.
  • the display device 2 detects an information terminal 1 (in other words, a wireless device) having a function capable of wireless connection, and acquires information such as a device name of the detected information terminal 1.
  • step S2 the display device 2 displays the information of the detected information terminal 1, in other words, the wireless device that is a wireless connection candidate, on the display screen 20. Specifically, the display device 2 displays a list including each information of the one or more detected information terminals 1 on the display screen 20 as a device list. The details will be described later, but the display information at this time includes, for example, a device name or a device address.
  • the display device D1 displays each information regarding the detected information terminal T1 and information terminal T2.
  • the display device D3 also performs the same operation.
  • step S3 the user visually recognizes and confirms the information in the list on the display screen 20 of the display device 2, and selects and operates an item corresponding to the device name of his / her information terminal 1 from the list.
  • step S4 the display device 2 displays an image (code image) in which the authentication ID related to the selected information terminal 1 is encoded is displayed on the display screen 20.
  • code image displayed at this time is, for example, an image in which the selected device name and the passkey generated by the display device 2 side are coded.
  • the code for example, a QR (Quick Response) (registered trademark) code can be applied, but the code is not limited to this.
  • step S5 the information terminal 1 reads the code image displayed on the display screen 20 of the selected display device 2 desired by the user by the camera 12 to acquire the authentication information. Specifically, the information terminal 1 extracts the device name and the passkey from the code image by decoding. At this time, the user only needs to orient the camera 12 of the information terminal 1 (for example, HMD1A) toward the display screen 20 of the display device 2, and does not need to input an authentication ID or the like. For example, the information terminal T1 of the user U1 recognizes the display information of the display device D1. Similarly, the information terminal T2 of the user U2 recognizes the display information of the display device D3.
  • HMD1A the information terminal 1
  • the information terminal T1 of the user U1 recognizes the display information of the display device D1.
  • the information terminal T2 of the user U2 recognizes the display information of the display device D3.
  • the information terminal 1 performs a device check process to check whether the device name obtained by the above extraction matches the device name of the own device. In the case of a match, it means that it has been confirmed that the wireless connection in a one-to-one relationship between the information terminal 1 and the display device 2 of the other party is appropriate.
  • the information terminal 1 sets the above passkey to its own device after confirming the appropriateness by the device check.
  • step S6 the information terminal 1 confirms the appropriateness of the wireless connection between the own device and the display device 2 of the other party by using the authentication information (particularly the device identification information) (device check described later). After confirmation, the information terminal 1 uses the passkey to establish a wireless connection between the own device and the display device 2, and the display device 2 uses the passkey to establish a wireless connection with the information terminal 1.
  • FIG. 3 shows an example of appearance configuration when the information terminal 1 is the HMD1A.
  • the HMD1A includes a display surface 11, a camera 12, a distance measuring sensor 14, a sensor unit 15, a microphone 16, a speaker 17, and the like in a spectacle-shaped housing 10.
  • the display surface 11 is a transmissive display surface corresponding to the positions of both eyes.
  • the camera 12 includes, for example, a right side camera 12R and a left side camera 12L.
  • the HMD1A may be provided with an operator 19 such as a remote controller as an input means.
  • the actuator 19 wirelessly communicates with the main body of the HMD1A.
  • FIG. 4 shows an example of a functional block configuration when the information terminal 1 is an HMD1A.
  • the HMD1A which is the information terminal 1, includes a processor 101, a memory 102, a camera 12, a distance measuring sensor 14, a sensor unit 15, a display unit 150, a communication unit 160, a voice input device 181 and a voice output device 182, an operation input unit 183, and a battery. 184 and the like are provided, and these are connected to each other by a bus or the like.
  • the processor 101 is composed of a CPU, ROM, RAM, and the like, and corresponds to a controller that controls the entire HMD1A.
  • the memory 102 is composed of RAM, storage, and the like, and stores information and data such as a control program 131, an application program 132, setting information 133, display information 134, and authentication information 135.
  • the camera 12 captures an image of the outside world and acquires image data.
  • the distance measuring sensor 14 measures the distance to an object in the outside world.
  • the sensor unit 15 includes various sensors, for example, an acceleration sensor 141, a gyro sensor 142, a geomagnetic sensor 143, and a GPS receiver 144.
  • the display unit 150 is a display device including a display surface 11, a display drive circuit, an optical system, and the like.
  • the communication unit 160 includes a communication device corresponding to various communication interfaces.
  • the communication unit 160 includes a short-range communication unit and a long-distance communication unit.
  • the short-range communication unit supports Bluetooth as a wireless communication interface.
  • the telecommunications unit supports wireless communication interfaces such as mobile networks and wireless LANs.
  • the voice input device 181 includes the microphone 16 described above.
  • the audio output device 182 includes the speaker 17 described above.
  • the operation input unit 183 includes a button or the like provided on the housing 10. Alternatively, the operation input unit 183 may be a part including a wireless communication interface with the operation device 19.
  • the battery 184 supplies electric power to each part.
  • the information terminal 1 realizes each function by the processor 101 executing the process based on the control program 131 or the like.
  • Each function includes a function for processing the flow described later.
  • Each function includes functions such as device check, camera image analysis, and QR code decoding, which will be described later.
  • the setting information 133 is system setting information and user setting information related to the function.
  • the display information 134 is data for displaying on the display surface 11.
  • the authentication information 135 is information such as device identification information (device name and device address) of the own device, authentication ID (passkey) acquired from the display device 2.
  • FIG. 5 shows an example of a functional block configuration of the display device 2.
  • the display device 2 includes a processor 201, a memory 202, a camera 22, a distance measuring sensor 24, a sensor unit 25, a display unit 250, a communication unit 260, a voice input device 281, a voice output device 282, an operation input unit 283, a battery 284, and the like. These are connected to each other by a bus or the like.
  • the processor 201 is composed of a CPU, ROM, RAM, and the like, and corresponds to a controller that controls the entire display device 2.
  • the memory 202 is composed of RAM, storage, and the like, and stores information and data such as control program 231, application program 232, setting information 233, display information 234, and authentication information 235.
  • the camera 22 captures an image of the outside world and acquires image data.
  • the distance measuring sensor 24 measures the distance to an object in the outside world.
  • the sensor unit 25 includes various sensors, for example, an acceleration sensor 241, a gyro sensor 242, a geomagnetic sensor 243, and a GPS receiver 244.
  • the sensor unit 25 may include a proximity sensor or the like.
  • the display unit 250 is a display device including a display screen 20, a display drive circuit, and the like, for example, a touch panel.
  • the communication unit 260 includes a communication device corresponding to various communication interfaces.
  • the communication unit 260 includes a short-range communication unit and a long-distance communication unit.
  • the short-range communication unit supports, for example, Bluetooth.
  • the telecommunications unit supports wireless communication interfaces such as mobile networks and wireless LANs.
  • the voice input device 281 includes a microphone.
  • the audio output device 282 includes a speaker.
  • the operation input unit 283 includes a button or the like provided on the housing.
  • the operation input unit 283 may include a keyboard or the like. In that case, the user can easily input characters.
  • the battery 284 supplies electric power to each part.
  • the display device 2 may also be provided with an operator such as a remote controller.
  • the display device 2 realizes each function by the processor 201 executing the process based on the control program 231 or the like.
  • Each function includes a function for processing the flow described later.
  • Each function includes functions such as device check, user detection, device detection, passkey generation, and QR code generation, which will be described later.
  • the setting information 233 is system setting information and user setting information related to the function.
  • the display information 234 is data for displaying on the display screen 20.
  • the authentication information 235 is information such as device identification information detected from the information terminal 1 and the generated authentication ID (passkey).
  • Bluetooth is applied as a wireless communication interface for wireless connection between the information terminal 1 and the display device 2.
  • the passkey in the Bluetooth standard is used as the authentication ID.
  • Wi-Fi may be applied as the wireless communication interface.
  • the SSID and password in the Wi-Fi standard are used as the authentication ID.
  • This wireless connection system can similarly apply an authentication ID according to the wireless communication interface to be applied.
  • FIG. 6 shows a processing sequence including communication between the information terminal 1 (for example, HMD1A) and the display device 2 in the wireless connection system and method of the first embodiment, and a processing flow of each device.
  • FIG. 6 has a flow including steps S100, S101, ..., S105 of the information terminal 1 and a flow including steps S200, S201, ..., S211 of the display device 2.
  • step S200 the display device 2 detects a user existing in the vicinity by using the camera 22, the sensor unit 25, and the like.
  • the display device 2 detects, for example, when a user comes near the front of the display screen 20. It is also possible to omit step S200.
  • the display device 2 detects a user (Y)
  • the display device 2 proceeds to step S201.
  • the user detection includes an operation in which the user presses a hardware button or the like of the operation input unit 283 provided in the display device 2, an operation in which the touch panel of the display unit 250 is touched, or a specific software button (a specific software button in the display screen 20). It may be detected as an operation of pressing a GUI component).
  • step S201 the display device 2 detects the information terminal 1 which is a wireless device existing in the vicinity by using the communication unit 260 (FIG. 5), the camera 22, the sensor unit 25, or the like.
  • This wireless device detection is, for example, receiving and detecting a beacon (radio signal) emitted by the information terminal 1.
  • the beacon has information such as a device name or device address of the information terminal 1 (may be described as "device identification information" for explanation).
  • the display device 2 acquires the information of the set of the device name and the device address of the information terminal 1 based on the beacon from the information terminal 1.
  • the display device 2 may determine and detect the wireless device from the captured image of the camera 22 based on the analysis.
  • step S202 the display device 2 displays the following device list on the display screen 20 using the information detected and acquired in step S201.
  • FIG. 7 shows an example of a screen when the device list is displayed on the display screen 20 of the display device 2 in step S202.
  • This screen 700 is a device list screen among the wireless connection menu screens.
  • the screen 700 includes a "wireless connection” menu display 701, a "device detected” message display 702, and a “available device” display 703.
  • the "Available Devices” display 703 includes a device list display.
  • This device list corresponds to, for example, the case where three wireless devices, information terminals 1 (for example, information terminals T1, T2, T3 in FIGS. 1 and 2) are detected in the vicinity of the display device 2. Items 711, 712, 713 are included as the device information items.
  • the device name 704 is displayed in each device information item.
  • the device name 704 is information such as a character string in a format that allows the user to identify the information terminal 1.
  • the device name 704 displayed in the device information item is not limited to this, and may be other information such as a device address as long as it is in a format that can be visually identified by the user.
  • the device name 704 (“Phone_APL”) of item 711 is the device name of the information terminal T2
  • the device name 704 (“MAX-HMD01”) of item 712 is the device name of the information terminal T1.
  • the device name 704 (“AR glass lite”) of the information terminal T3 is assumed to be the device name of the information terminal T3.
  • the code "(T1)" of the corresponding information terminal 1 is also described in the device information item so that the correspondence relationship can be easily understood, but it is not actually displayed.
  • Each device information item is composed of GUI parts such as buttons that accept not only the display of the device name 704 but also a selection operation (for example, touch operation) by the user. Alternatively, another selection button or the like may be provided in parallel with the device information item.
  • a GUI may be displayed in this screen 700.
  • a message image such as "Please select a device to connect to” may be displayed as information for guiding the user in an easy-to-understand manner.
  • the user interface is not limited to the display on the display screen 20, and a voice output or the like may be used in combination.
  • the three devices (information terminal 1) for which the device information item is displayed on this device list screen are devices for which wireless connection is permitted, and in the case of a device for which wireless connection is not permitted, the item is not displayed.
  • the specific display device 2 supports only when the detected device corresponds to the specific information terminal 1. Display the device information item to be used.
  • the display device 2 may be set with a limit such as the number of simultaneous wireless connections. In that case, the display device 2 may display the device information item so as to be within the number of simultaneous wireless connections.
  • the display device 2 displays a plurality of device information items on the screen and wirelessly connects only one of them to the information terminal 1 by a method such as a first-come-first-served method. You may allow the connection.
  • the above-mentioned applied control can be additionally realized as a control of a layer different from the authentication of this system.
  • the display device 2 may display the plurality of items side by side in accordance with the order of the detected wireless devices. Alternatively, the display device 2 may display a plurality of items side by side in an order according to the distance to the detected wireless device. For example, the display device 2 may display the device information item of the wireless device estimated to exist in the nearest vicinity (that is, is likely to be selected) at the top, or may emphasize and enlarge the device information item most. May be displayed.
  • the display device 2 accepts the user's selection operation of the device information item (device name 704) from the device list.
  • the user U1 recognizes and performs a selection operation from the device list on the screen 700 of FIG. 7 by recognizing the second item 712 having the device name 704 corresponding to the information terminal T1 which is the own device.
  • the selection operation is, for example, a touch operation on the touch panel of the display unit 250 (FIG. 5).
  • the display device 2 grasps the information terminal 1 (for example, the information terminal T1) having the device name 704 selected by the user.
  • step S204 the display device 2 generates a passkey, which is an authentication ID for wireless connection, for the selected device (information terminal 1).
  • step S205 the display device 2 generates a predetermined code (code image) in the first embodiment by using the pair of the device name selected in step S203 and the passkey generated in S204.
  • This code is generated in the form of a QR code, which is a two-dimensional code, for example.
  • step S206 the display device 2 displays the authentication information including the code image generated in step S205 on the display screen 20.
  • FIG. 8 shows an example of a screen when the code image is displayed on the display screen 20 of the display device 2 in step S206.
  • This screen 800 is a code screen of the wireless connection menu screens.
  • This screen 800 includes a "read code" message display 802 and an authentication information display 803.
  • the authentication information display 803 is one item, and includes a set of a device name 804 and a code (code image) 805.
  • the device name 804 is the same value as the device name 704 of the selected item 712 in FIG.
  • the device name 804 is supplementary information provided so that the user can easily understand the item of the authentication information display 803 when he / she sees the item, that is, the item can be grasped as an item related to his / her own device. ..
  • the display of the device name 804 can be omitted.
  • the code 805 is a QR code and must be displayed. This QR code contains the selected device name and is one of the features. The user sees the authentication information display 803 on the
  • step S100 the information terminal 1 captures the code 805 displayed on the display screen 20 as shown in FIG. 8 based on the user's operation, for example, the operation of shooting the camera 12 of the HMD1A toward the display screen 20. Read by 12. The information terminal 1 recognizes the part of the code 805 from the image taken by the camera 12, and extracts the set of the device name and the passkey from the code 805 by decoding.
  • step S101 the information terminal 1 performs a device check process on the information terminal 1 side using the set of the device name and the passkey extracted in the above step S100.
  • This device check process is to confirm whether or not the device name obtained from the code 805 matches the device name of the own device. In other words, this device check process is confirmation of whether or not the one-to-one wireless connection between the information terminal 1 and the display device 2 in front of the user is appropriate.
  • the device check in step S101 is essential and one of the features of the first embodiment sequence. If the device names match (OK), the process proceeds to step S102, and if they do not match (NG), the process proceeds to step S104.
  • a match it means that the information terminal 1 and the display device 2 of the other party have an appropriate wireless connection relationship. If they do not match, it means that the information terminal 1 and the display device 2 of the other party do not have an appropriate wireless connection relationship, that is, the wireless connection is not permitted.
  • step S104 the information terminal 1 displays an error on the display surface 11 as error processing. This ends the flow on the information terminal 1 side. In this case, start over from the beginning of the flow.
  • step S102 the information terminal 1 sets the passkey obtained in step S100 in the circuit of the communication unit 160 (FIG. 4) as an authentication ID for wireless connection.
  • step S103 the information terminal 1 transmits the wireless connection request to the display device 2 by the communication process in the communication unit 160.
  • the circuit of the communication unit 160 performs communication processing using the passkey set in step S102.
  • information including a passkey is described together with the address and device name of the source (information terminal 1).
  • step S207 the display device 2 receives the wireless connection request from the information terminal 1 by the communication process of the communication unit 260 (FIG. 5).
  • the circuit of the communication unit 260 performs communication processing using the passkey generated in step S204.
  • the display device 2 takes out the passkey from the source (information terminal 1) in the wireless connection request, and if the passkey matches the passkey in step S204, receives it as a legitimate request.
  • step S208 the display device 2 performs a device check process on the display device 2 side using the device name extracted from the request of the information terminal 1 in step S207 and the device name generated in step S205.
  • the display device 2 confirms whether, for example, the device name in step S207 matches the device name in step S204. If the device names match (OK), the process proceeds to step S209, and if the device names do not match (NG), the process proceeds to step S211. If they match, it means that the wireless connection between the requesting information terminal 1 and the display device 2 is appropriate. If they do not match, it means that the wireless connection between the requesting information terminal 1 and the display device 2 is not appropriate, that is, the wireless connection is not permitted.
  • step S211 the display device 2 displays an error on the display screen 20 as error processing.
  • the flow on the display device 2 side ends. In this case, start over from the beginning of the flow.
  • step S209 the display device 2 sets the passkey generated in step S204 in the circuit of the communication unit 260 (FIG. 5) as an authentication ID for wireless connection. As a result, the same passkey is set for both the information terminal 1 and the display device 2.
  • step S210 the display device 2 establishes a wireless connection with the information terminal 1 by the communication processing of the communication unit 260.
  • step S105 the information terminal 1 establishes a wireless connection with the display device 2 by the communication processing of the communication unit 160.
  • this sequence ends. In a state where a wireless connection between the information terminal 1 and the display device 2 has been established, it is possible to send and receive actual data between the devices. Then, if necessary, the wireless connection between those devices is disconnected.
  • the characteristic part (the part related to the main authentication) in the sequence of the first embodiment is shown by the broken line frame.
  • the device check in step S101 is a unique process using the device name, and is a process for confirming an appropriate relationship when the display device 2 is viewed from the information terminal 1, and is an appropriate pair even in a plurality of to multiple environments. This is a process for confirming the relationship between one information terminal 1 and the display device 2.
  • the device check on the display device 2 side in step S208 is also included.
  • This process is also a unique process using the device name, and is a process for confirming an appropriate relationship when the information terminal 1 is viewed from the display device 2.
  • a simple and appropriate wireless connection that does not require a user to input a recognition ID can be realized by a sequence including mutual device checks in steps S101 and S208.
  • step S208 it is also possible to omit the device check process on the display device 2 side in step S208.
  • the passkey is automatically set (S102, S209) and the wireless connection is established.
  • the user can quickly and accurately make a wireless connection between the desired information terminal 1 and the display device 2 even in a plurality of to a plurality of environments with little effort.
  • the present invention is not limited to this, and as an application, regarding whether or not wireless connection is possible. More detailed control is also possible.
  • the information terminal 1 of a certain type of user can be set in advance for authentication so that the wireless connection is permitted only for the display device 2 of a certain type.
  • This authentication can be performed as a layer of authentication different from the authentication (including device check) described in the first embodiment and the like.
  • each user who is a customer sets his / her information terminal 1 among a plurality of display devices 2 (for example, a tablet terminal) installed on a table or the like in the store. It is possible to easily wirelessly connect to the desired selected display device 2 of the above and use the display function, the order function, the payment function, and the like of the display device 2.
  • a payment device having a cashless payment function is prepared as a plurality of display devices 2 at a store or the like. The customer can wirelessly connect his / her information terminal 1 to the selected payment device and use the cashless payment function.
  • a display device 2 is installed for each seat in the vehicle.
  • the passenger can wirelessly connect his / her information terminal 1 to the selected display device 2 and use the display function of moving images and the like, the Internet connection function, and the like. Further, in any of the examples, not only the use of an unspecified number of people but also the wireless connection between the information terminal 1 of a specific user and the specific display device 2 and the use of functions are restricted to be permitted through the authentication setting. Is also possible.
  • the smartphone 1B (FIG. 1)
  • the user operates the smartphone 1B held in his hand.
  • the user may point the camera of the smartphone 1B toward the display screen 20 of the display device 2 and take a picture.
  • FIG. 9 shows a processing sequence including communication between the information terminal 1 (for example, HMD1A) and the display device 2 in the wireless connection system and method of the second embodiment, and a processing flow of each device.
  • FIG. 9 has steps S121 to S129 of the information terminal 1 and steps S220 to S229, S229A, S229B of the display device 2.
  • the steps that are mainly different from FIG. 6 of the first embodiment are steps S121, S122, S123, and steps S221, S222, S223.
  • the steps after step S124 and after step S224 are substantially the same as those after step S100 and after step S204 in FIG.
  • step S220 the display device 2 detects a nearby user and detects an information terminal 1 which is a wireless device existing in the vicinity.
  • the display device 2 uses the information such as the device name detected above to display a device list including the specific code (referred to as the first code) according to the second embodiment. create.
  • the first code is a code image such as a QR code in which the device name is coded for each detected information terminal 1, and the above-mentioned passkey is not included.
  • the information to be encoded is not limited to the device name but may be other information such as a device address.
  • step S202 the display device 2 displays the device list created above on the display screen 20 as shown below.
  • FIG. 10 shows an example of a screen when displaying a device list including the first code on the display screen 20 of the display device 2 in step S222.
  • This screen 1000 is a device list display screen among the wireless connection menu screens.
  • This screen 1000 includes a "device detected" message display 1002 and a device list display 1003.
  • device information items for each detected device (information terminal 1) are displayed in parallel as a device list.
  • items 1011, 1012, 1013 are included as three device information items related to the three detected information terminals 1.
  • Each device information item has a device name display 1004 and a QR code display 1005.
  • the device name display 1004 is auxiliary information for communicating the detected device to the user.
  • the QR code of the QR code display 1005 is the first code.
  • step S223 the user selects and operates a device information item corresponding to his / her own information terminal 1 (HMD1A), for example, item 1012, with reference to the device name display 1004 from the device list on the screen 1000.
  • steps S121 to S123 are provided to support this selection operation.
  • step S121 the information terminal 1 reads the device list (FIG. 10) of the display screen 20 of the display device 2 by the camera 12.
  • the information terminal 1 recognizes the device name display 1004 or the QR code display 1005 of each device information item of the device list display 1003 from the image of the camera 12.
  • step S122 the information terminal 1 confirms from the read device list whether or not there is a device name display 1004 corresponding to the device name (character string) of the own device (HMD1A), and detects if there is.
  • the information terminal 1 may perform the same determination / detection using the device name extracted by decoding the QR code of the QR code display 1005.
  • the HMD1A information terminal T1 of FIG. 1
  • the process proceeds to step S123, and if there is no own device name (N), the process proceeds to step S128 to display an error.
  • step S123 the information terminal 1 displays an image on the display surface 11 for transmitting the device information item corresponding to the detected own device name to the user.
  • This image is an AR image for highlighting the item and prompting the user to operate it.
  • This AR image is superimposed and displayed on the device information item (item 1012) of the display screen 20 as shown below.
  • FIG. 11 shows an example of displaying the image of step S123 on the display surface 11 of the HMD1A.
  • FIG. 11A shows a schematic image when a user (not shown) looks at the display screen 20 (for example, the screen 1000 of FIG. 10) of the display device 2 through the HMD1A worn on the head.
  • FIG. 11B shows a schematic image when viewing item 1012 of the screen 1000 through the display surface 11 of the HMD1A from the user's point of view.
  • the display surface 11 is a transparent display surface capable of displaying an AR image.
  • the camera 12 of the information terminal 1 captures the display screen 20. The user is looking at the device list on the display screen 20.
  • the HMD1A displays an AR image on the display surface 11 so as to be superimposed and displayed on the item 1012 (item corresponding to the own device name) on the screen 1000 based on the analysis of the image of the camera 12.
  • 1101 is displayed.
  • the AR image 1101 is an image having a meaning of prompting the user to perform a selection operation of the device information item.
  • the AR image 1101 is a frame image that surrounds the item 1012, but is not limited to this, and may be, for example, an image that surrounds the device name display 1004 in FIG. 10 or an image that surrounds the QR code display 1005.
  • An image such as an arrow with a message such as "Please select this item” may be used. It can be seen that the user should pay attention to the item 1012 and perform the selection operation according to the AR image 1101. This makes the selection operation in step S223 easier.
  • step S203 the user selects and operates an item corresponding to the own device from the device list according to the AR image 1101 in step S123, and the display device 2 receives the selection operation and grasps the selected device name. To do.
  • Step S224 and subsequent steps are substantially the same as those of step S204 and subsequent steps in FIG. 6 of the first embodiment.
  • the display device 2 generates a passkey for the selected device.
  • the display device 2 uses the passkey and the selected device name to generate a predetermined code in the form of, for example, a QR code as the second code in the second embodiment.
  • the display device 2 displays the generated code (second code) on the display screen 20 in the same manner as in FIG.
  • the information terminal 1 reads the code (second code) of the display screen 20 based on the user's operation, and extracts the pair of the device name and the passkey by decoding.
  • step S125 the information terminal 1 performs a device check process using the pair of the device name and the passkey. If the extracted device name and the own device name match (OK), the process proceeds to step S126, and if they do not match (NG), the process proceeds to step S128, and an error display is performed.
  • the device check in step S125 is an essential process in the second embodiment.
  • step S126 the information terminal 1 sets the passkey obtained in step S124 in the circuit of the communication unit 160 (FIG. 4).
  • step S127 the information terminal 1 transmits the wireless connection request to the display device 2 by the communication processing of the communication unit 160.
  • step S227 the display device 2 receives the wireless connection request from the information terminal 1 by the communication process of the communication unit 260 (FIG. 5). The display device 2 extracts information such as a passkey from the received wireless connection request.
  • step S229 the display device 2 sets the passkey in the circuit of the communication unit 260.
  • step S229A the display device 2 establishes a wireless connection with the information terminal 1 by the communication processing of the communication unit 260.
  • step S129 the information terminal 1 establishes a wireless connection with the display device 2 by the communication processing of the communication unit 160.
  • the user's information terminal 1 automatically recognizes the item corresponding to the own device from the device list of the display screen 20 of the display device 2, and the AR image (FIG. 9. Inform the user by step S123, FIG. 11). As a result, the user can easily select the item corresponding to the own device, promptly proceed to the authentication procedure, and make a wireless connection.
  • the information terminal 1 discovers its own device from the device list of the display screen 20 of the display device 2, and automatically authenticates and wirelessly connects without the need for a selection operation by the user.
  • FIG. 12 shows a processing sequence including communication between the information terminal 1 (for example, HMD1A) and the display device 2 in the wireless connection system and method of the third embodiment, and a processing flow of each device.
  • FIG. 12 has steps S131 to S136 of the information terminal 1 and steps S230 to S238 of the display device 2.
  • FIG. 12 has steps S131 and S132 of the information terminal 1 and steps S233 of the display device 2 as configuration points that are mainly different from those of FIGS. 11 and 12.
  • step S230 the display device 2 performs user detection and device detection.
  • step S231 the display device 2 generates a passkey
  • step S232 the display device 2 generates the predetermined code according to the third embodiment.
  • This code is an image in which a pair of a device name and a passkey is coded in the form of, for example, a QR code.
  • step S233 the display device 2 displays the device code list created by using the code generated in step S232 on the display screen 20.
  • FIG. 13 shows an example of a screen when the device code list is displayed on the display screen 20 of the display device 2 in step S233.
  • This screen 1300 is a device code list display screen in the wireless connection menu screen.
  • This screen 1000 includes a "device detected" message display 1302 and a device code list display 1303.
  • device code information items for each detected device are displayed in parallel as a device code list.
  • items 1311, 1312, and 1313 are included as three device code information items related to the three detected information terminals 1.
  • Each device code information item has a device name display 1304 and a QR code display 1305.
  • the device name display 1304 is auxiliary information for communicating the detected device to the user, and the display can be omitted.
  • the QR code of the QR code display 1305 is a predetermined code in the third embodiment, and a set of a device name and a passkey is coded. It can be said that the screen 1300 of FIG. 13 is streamlined by integrating the device list screen of FIG. 7 and the code screen of FIG. 8 in the first embodiment into one.
  • step S131 the information terminal 1 reads the device code list of the display screen 20 of the display device 2 by the camera 12.
  • the information terminal 1 recognizes the device name display 1304 and the QR code display 1305 of each device code information item from the image of the camera 12.
  • step S132 the information terminal 1 extracts a set of the device name and the passkey by decoding from the QR code of the QR code display 1305 obtained in step S131.
  • the information terminal 1 performs a device check process using the extracted device name.
  • This process is a process of extracting the device name corresponding to the own device (HMD1A) from the obtained one or more device names, and is a unique and indispensable process in the third embodiment. If the local device name can be detected (Y), the process proceeds to step S133, and if it cannot be detected (N), the process proceeds to step S135 to display an error.
  • step S133 the information terminal 1 sets the passkey obtained in step S131 in the circuit of the communication unit 160.
  • step S134 the information terminal 1 transmits the wireless connection request to the display device 2 by the communication processing of the communication unit 160.
  • step S234 the display device 2 receives the wireless connection request from the information terminal 1 by the communication processing of the communication unit 260.
  • the display device 2 extracts information such as a device name and a passkey from the received wireless connection request.
  • step S235 the display device 2 performs a device check process on the display device 2 side using the device name in step S232 and the device name obtained in step S234.
  • step S236 If there is a match (OK) with respect to the device name, the process proceeds to step S236, and if there is a mismatch (NG), the process proceeds to step S238 to perform error processing.
  • step S236 the display device 2 sets the passkey in the circuit of the communication unit 260.
  • step S237 the display device 2 establishes a wireless connection with the information terminal 1 by the communication processing of the communication unit 260.
  • step S136 the information terminal 1 establishes a wireless connection with the display device 2 by the communication processing of the communication unit 160.
  • the user's information terminal 1 recognizes the item corresponding to the own device from the device code list (FIG. 13) of the display screen 20 of the display device 2 and automatically recognizes the item. You can proceed to the authentication procedure and quickly make a wireless connection.
  • FIG. 14 shows a processing sequence including communication between the information terminal 1 (for example, HMD1A) and the display device 2 in the wireless connection system and method of the fourth embodiment, and a processing flow of each device.
  • FIG. 14 has steps S141 to S149 of the information terminal 1 and steps S240 to S248 of the display device 2.
  • mainly different configuration points include steps S141 to S144 of the information terminal 1 and steps S241 to S244 of the display device 2.
  • step S240 the display device 2 performs user detection and device detection.
  • step S141 the information terminal 1 sets a temporary passkey for temporary connection in the circuit of the communication unit 160 (FIG. 4).
  • the temporary passkey for example, if the passkey has 6 digits, a fixed value such as 0000000 is used.
  • step S241 the display device 2 sets the same temporary passkey in the circuit of the communication unit 260 (FIG. 5).
  • step S142 the information terminal 1 uses the temporary passkey to transmit a wireless connection request for temporary connection to the display device 2.
  • step S242 the display device 2 receives the wireless connection request.
  • steps S143 and S243 a temporary wireless connection is made between the information terminal 1 and the display device 2.
  • step S144 the information terminal 1 generates a passkey for a wireless connection for a non-temporary purpose and transmits it to the display device 2.
  • step S244 the display device 2 receives the passkey from the information terminal 1.
  • step S245 the display device 2 generates the predetermined code according to the fourth embodiment.
  • this code is an image in which only the device name is coded in the form of, for example, a QR code.
  • step S246 the display device 2 displays the generated code on the display screen 20 as shown below.
  • FIG. 15 shows an example of a screen when the code is displayed on the display screen 20 of the display device 2 in step S246.
  • This screen 1500 is a code screen in the wireless connection menu screen.
  • This screen 1500 includes a "read code" message display 1502 and a code display 1502.
  • the code display 1503 is a QR code relating to the device name of one target device (information terminal 1).
  • step S145 the information terminal 1 reads the code (code display 1502) displayed on the display screen 20 by the camera 12.
  • the information terminal 1 extracts the device name by decoding from the code.
  • step S146 the information terminal 1 performs the device check process using the extracted device name as in the first embodiment.
  • the information terminal 1 confirms whether the extracted device name matches the device name of the own device (HMD1A). If there is a match (OK), the process proceeds to step S146, and if there is a mismatch (NG), the process proceeds to step S149 to display an error.
  • step S146 the information terminal 1 sets the passkey generated in step S144 in the circuit of the communication unit 160 for the desired wireless connection.
  • step S247 the display device 2 side also sets the passkey received in step S244 in the circuit of the communication unit 260 for the desired wireless connection.
  • steps S148 and S248 a wireless connection is established between the information terminal 1 and the display device 2. In other words, the temporary wireless connection is terminated and the desired wireless connection is achieved.
  • T1, T2, T3, TM Information terminal, 1A ... HMD, 1B ... Smartphone, 2, D1, D2, DN ... Display device, 11 ... Display surface, 12 ... Camera, 20 ... Display screen, 22 ... Camera, U1, U2, U3, UM ... User.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Telephone Function (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

ユーザの情報端末と表示装置との無線接続の際に、ユーザによる認証用情報の入力操作の手間を低減でき、複数対複数の環境でも所望の装置間で適切に無線接続が実現できる技術を提供する。この無線接続システムは、ユーザの情報端末1と環境内に設置されている表示装置2との間で無線接続を行う。表示装置2は、近傍に存在する情報端末1を検出した場合、検出した情報端末1との無線接続のための認証に係わるデバイス識別情報(またはそれをコード化した画像)を表示画面20に表示する。情報端末1は、表示画面20から読み取ったデバイス識別情報が、自デバイスのデバイス識別情報と一致するかを確認し、一致を確認後、表示装置2との間で無線接続のための認証用IDを用いて無線接続を確立する。表示装置2は、情報端末1との間で認証用IDを用いて無線接続を確立する。

Description

無線接続システム、情報端末、表示装置、および無線接続方法
 本発明は、無線接続システム、情報端末、および表示装置等の技術に関する。
 従来、ユーザが装着または携帯する、ヘッドマウントディスプレイ(HMD)、ウェアラブル端末、スマートフォン、またはタブレット端末等の情報端末と、環境内に設置されているタブレット端末またはテレビジョン装置等の表示装置との間で、無線接続を行う場合がある。特に、安価な表示装置が増えた場合、店舗や公共空間や乗り物内等を含む環境内に、多数の表示装置が設置されることが想定される。その環境内では、不特定の複数のユーザの複数の情報端末と複数の表示装置とが複数対複数の関係で無線接続を行う場面も想定される。例えば、飲食店等の店舗内において、テーブルにタブレット端末等の表示装置が用意される。顧客であるユーザは、自分の情報端末を、選択した表示装置に無線接続し、メニュー等の表示、商品やサービスの注文、および決済、その他の機能を利用する。
 先行技術例としては、特開2010-136238号公報(特許文献1)が挙げられる。特許文献1には、通信機器同士を互いに通信相手として認識・記憶させる処理を、ユーザにとって簡便化し、市場における通信機器同士の連携機能およびその利用度を大きく発展させることができる通信機器を提供する旨や、以下の旨が記載されている。この通信機器は、無線通信可能な通信機器の識別情報を記憶し、通信可能領域にある通信機器から識別情報を受信し、無線通信を開始する際に、受信された識別情報、及び記憶された識別情報に基づいて、そのとき通信可能な通信機器のリストを提示し、提示されたリストから通信機器の選択を受け付け、選択された通信機器との無線通信を開始する。また、この通信機器は、通信機器の識別情報を含んだバーコードを撮像して、そのバーコード情報から通信機器の識別情報を取得する。
特開2010-136238号公報
 前述のように、環境内で、各ユーザが、自分の情報端末を、複数の表示装置のうちの所望の表示装置に無線接続して、表示機能等を利用したいというニーズがある。このような場面では、複数の情報端末と複数の表示装置との複数対複数の関係において、各情報端末および各表示装置が、選択され許可される相手との間で、適切にセキュアに無線接続を行う必要がある。無線接続であることから、あるユーザの情報端末から電波が届く範囲内に複数の表示装置が存在する場合や、ある表示装置から電波が届く範囲内に複数の情報端末が存在する場合がある。また、あるユーザの情報端末からみて目の前に無い対象外の表示装置と無線接続される恐れや、ある表示装置からみて目の前に無い対象外の情報端末と無線接続される恐れがある。複数対複数の装置間で無制限に無線接続を許可してしまうと、セキュリティやリソース等の観点で課題があるので、認証を用いて無線接続を制限や制御する必要がある。
 従来、Bluetooth(登録商標)やWi-Fi(登録商標)等の無線通信インタフェースでは、セキュアな無線接続を行うためには、認証用識別情報(認証用ID)の利用が必要である。例えばBluetoothの場合、パスキー(あるいはパスコード等)と呼ばれる規定された認証用IDが用いられる。例えばWi-Fiの場合、SSIDおよびパスワードのような規定された認証用IDが用いられる。説明上、これらのパスキー等を、認証用IDと総称する。
 しかしながら、例えばHMDのような情報端末(言い換えると無線通信機能を持つ無線デバイス)を表示装置と無線接続する場合、情報端末に備える情報入力手段が限られているので、ユーザによる認証用IDの入力に手間がかかるか、難しい場合がある。例えば従来一般的なHMDはキーボードやタッチパネル等の入力デバイスを備えていない。
 本発明の目的は、ユーザの情報端末と表示装置とを無線接続する技術に関して、無線接続の際にユーザによる認証用情報の入力操作の手間を低減でき、複数対複数の環境でも所望の情報端末と表示装置との間で適切にセキュアに無線接続が実現できる技術を提供することである。
 本発明のうち代表的な実施の形態は、以下に示す構成を有する。一実施の形態の無線接続システムは、ユーザが装着または携帯する情報端末と環境内に設置されている表示装置との間で無線接続を行う無線接続システムであって、前記表示装置は、近傍に存在する前記情報端末を検出した場合に、検出した前記情報端末との無線接続のための認証に係わるデバイス識別情報または前記デバイス識別情報をコード化した画像を表示画面に表示し、前記情報端末との間で前記無線接続のための認証用IDを用いて前記無線接続を確立し、前記情報端末は、前記表示装置の表示画面の前記デバイス識別情報または前記画像を読み取り、読み取った前記デバイス識別情報が、自デバイスのデバイス識別情報と一致するかを確認し、前記一致を確認後、前記表示装置との間で前記無線接続のための前記認証用IDを用いて前記無線接続を確立する。
 本発明のうち代表的な実施の形態によれば、ユーザの情報端末と表示装置とを無線接続する技術に関して、無線接続の際にユーザによる認証用情報の入力操作の手間を低減でき、複数対複数の環境でも所望の情報端末と表示装置との間で適切にセキュアに無線接続が実現できる。
本発明の実施の形態1の無線接続システムの構成を示す図である。 実施の形態1の無線接続方法における環境例および手続き概要を示す図である。 実施の形態1で、情報端末(HMD)の外観構成例を示す図である。 実施の形態1で、情報端末の機能ブロック構成例を示す図である。 実施の形態1で、表示装置の機能ブロック構成例を示す図である。 実施の形態1で、情報端末と表示装置との処理シーケンスを示す図である。 実施の形態1で、デバイスリスト画面の例を示す図である。 実施の形態1で、コード画面の例を示す図である。 本発明の実施の形態1の無線接続システムおよび方法における、情報端末と表示装置との処理シーケンスを示す図である。 実施の形態2で、デバイスリスト画面の例を示す図である。 実施の形態2で、情報端末(HMD)による表示例を示す図である。 本発明の実施の形態3の無線接続システムおよび方法における、情報端末と表示装置との処理シーケンスを示す図である。 実施の形態2で、デバイスコードリスト画面の例を示す図である。 本発明の実施の形態4の無線接続システムおよび方法における、情報端末と表示装置との処理シーケンスを示す図である。 実施の形態2で、コード画面の例を示す図である。
 以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、全図面において同一部には原則として同一符号を付し、繰り返しの説明は省略する。
 (実施の形態1)
 図1~図8を用いて、本発明の実施の形態1の無線接続システムおよび方法等について説明する。
 [無線接続システム]
 図1は、実施の形態1の無線接続システムの構成を示す。図1の上側に示すように、実施の形態1の無線接続システムは、ある環境内において、複数(Mとする)のユーザの複数(M)の情報端末1と、複数(Nとする)の表示装置2とを有する。このシステムは、複数対複数、すなわち複数(M)の情報端末1と複数(N)の表示装置2との間での無線接続を行うことができるシステムである。この無線接続システムは、ユーザの情報端末1とユーザが選択した表示装置2との間で、認証を伴って無線接続を行う。
 この無線接続システムでは、環境内における不特定の複数(M)対複数(N)の装置間で、基本的に自由な組み合わせで、ユーザ毎に所望の1台の情報端末と1台の表示装置との間での無線接続が許可される。この無線接続システムにおける認証(デバイスチェックを含む)は、それらの複数対複数の装置間で、ユーザの所望の1台の情報端末と1台の表示装置とを適切かつ簡便に無線接続するための認証である。
 複数(M)のユーザを、ユーザU1,U2,U3,……,UMで示す。複数(M)の情報端末1を、情報端末T1,T2,T3,……,TMで示す。複数(N)の表示装置2を、表示装置D1,D2,……,DNで示す。情報端末1の数Mと、表示装置2の数Nとは、異なっていてもよく、M≧1,N≧1である。なお、1台の情報端末1と複数(N)の表示装置2との一対複数の場面や、複数(M)の情報端末1と1台の表示装置2との複数対一の場面も、本システムおよび方法の適用可能範囲内である。
 例えば、店舗等の環境内に、認証を成功したユーザおよび情報端末1による利用を許可する複数(N)の表示装置2が設置されている。ユーザは、例えばHMD1A等の情報端末1を装着または携帯している。なお、店舗等の環境内でユーザに一時的に情報端末1が提供されてもよい。
 この無線接続システムは、環境内で、あるユーザの情報端末1に対し、複数の表示装置2のうちユーザの目の前にある所望の選択した表示装置2と、その情報端末1とを、簡単および確実に無線接続できる仕組みを有する。このシステムでは、情報端末1がHMD等である場合でも、ユーザによる認証用IDの入力操作の手間が低減され、ユーザの利便性が高い簡便な方式を提供できる。また、このシステムでは、環境内で接続候補となる多数の装置が互いに存在する場合でも、所望の情報端末1と表示装置2との間で適切に無線接続ができ、意図しない装置間での無線接続が防止され、セキュリティが高められる。ユーザは、情報端末1と表示装置2との無線接続の確立後、表示装置2の表示機能等を利用できる。
 図1の下側には、一人のユーザの1台の情報端末1(例えばHMD1A)と1台の表示装置2との間での無線接続の概要を示す。ユーザの情報端末1は、典型的には、HMD1A(スマートグラス等を含む)や、スマートフォン1B等が該当するが、これに限らない。表示装置2は、典型的には、タブレット端末であるが、これに限らない。
 情報端末1および表示装置2は、無線通信機能を備える。無線通信機能は、特に、環境に対応した近距離または中距離の無線通信機能であり、無線通信インタフェースとして例えばBluetooth(登録商標)を用いる。表示装置2は、表示機能の他、近傍の情報端末1を検出する機能を有する。例えば、表示装置2は、備えている無線通信機能を用いて、情報端末1が発するビーコン(無線信号)を検出することで、近傍の情報端末1を検出できる。あるいは、表示装置2は、カメラ22や他のセンサを用いて、近傍の情報端末1を検出してもよい。情報端末1は、表示装置2の表示画面20に表示される画像や情報を読み取ることができる機能を有する。例えば、情報端末1は、備えているカメラ12を用いて表示画面20を撮像した画像から、表示画面20内の画像や情報を認識する。
 ユーザは、例えばHMD1Aを装着した状態で、表示装置2の表示画面20の方を見る。表示装置2は、近傍に現れた情報端末1を検出した場合、表示画面20に、検出した情報端末1との無線接続のための認証用情報を表示する。認証用情報は、後述するが、デバイス名や認証用ID等の所定の情報であり、情報端末1側から読み取ることができる画像である。特に、無線通信インタフェースに対応したパスキー等の認証用IDは、コード化された画像として表示画面20に表示される。
 ユーザは、情報端末1を通じて表示画面20の認証用情報を見る。情報端末1は、表示画面20の認証用情報を読み取って、認証用情報に含まれるデバイス名(デバイス識別情報)を用いて、自デバイスと相手の表示装置2との無線接続が適切かどうかに関するデバイスチェックを行う。情報端末1は、自デバイス名に対応付けられたコード画像からデコードによって認証用IDを取得する。情報端末1は、その認証用IDを用いて表示装置2との無線接続を確立する。
 なお、情報端末1と表示装置2との間での無線接続後の動作については限定しない。情報端末1は、表示装置2と通信し、表示装置2の表示機能等の機能を利用できる。例えば、ユーザは、店舗内で、情報端末1を所望の表示装置2に無線接続した後、表示装置2の表示画面20に表示される動画等の閲覧ができる。逆の捉え方では、表示装置2が、無線接続された情報端末1の機能を利用することができるとも言える。また、ユーザによる利用後、情報端末1と表示装置2との間での無線接続が解除される。また、情報端末1は、例えばHMD1Aである場合、表示装置2の表示画面20の表示に合わせるように、表示面11に拡張現実(AR)の画像等を表示できる。
 [無線接続方法]
 図2は、実施の形態1の無線接続方法の概要を示す。図2の上側には、環境の例として、3台の情報端末1と3台の表示装置2とが存在する3対3の関係の場合を示す。例えば、ユーザU1は、自分の情報端末T1を、所望の表示装置D1に無線接続したいとする。ユーザU2は、自分の情報端末T2を、所望の表示装置D3に無線接続したいとする。ユーザU3は、通りがかっただけであり、いずれの表示装置2にも無線接続を行わないとする。
 なお、応用としては、全ユーザの情報端末1および表示装置2に関して無制限に無線接続が許可される構成ではなく、特定のユーザの情報端末1と特定の表示装置2との間での無線接続のみ許可される構成も可能である。この構成は、認証の設定を通じて制御可能である。例えば、ユーザU1の情報端末T1やユーザU2の情報端末T2は、表示装置D2には無線接続できず、他の種類のユーザの情報端末1が表示装置D2に無線接続できる、といった制御が可能である。
 実施の形態1の無線接続方法における手続きの概要は以下の通りである。ステップS1で、表示装置2は、環境内で自機の近傍に存在する情報端末1およびユーザを、任意の検出手段によって検出する。例えば、表示装置2は、カメラ21によって、前方の範囲内にいる情報端末1およびユーザを検出する。詳しくは例えば、表示装置2は、自機の前にHMD1Aを装着したユーザがいる状態を検出してもよい。例えば、表示装置D1や表示装置D3は、それぞれ、情報端末T1や情報端末T2を検出したとする。また、この際、表示装置2は、無線接続が可能な機能を持つ情報端末1(言い換えると無線デバイス)を検出し、その検出した情報端末1のデバイス名等の情報を取得する。
 ステップS2で、表示装置2は、表示画面20に、検出した情報端末1、言い換えると無線接続候補となる無線デバイスの情報を表示する。詳しくは、表示装置2は、上記検出した1台以上の情報端末1の各情報を含むリストを、デバイスリストとして表示画面20に表示する。詳細については後述するが、この際の表示情報は、例えば、デバイス名またはデバイスアドレスを含む。例えば、表示装置D1は、検出した情報端末T1および情報端末T2に関する各情報を表示する。表示装置D3も同様の動作を行う。
 ステップS3で、ユーザは、表示装置2の表示画面20のリストの情報を視認、確認し、そのリストから、自分の情報端末1のデバイス名に対応する項目を選択操作する。
 ステップS4で、表示装置2は、選択操作された情報端末1に関する認証用IDをコード化した画像(コード画像)を、表示画面20に表示する。詳細については後述するが、この際に表示されるコード画像は、例えば、選択されたデバイス名と、表示装置2側が生成したパスキーとがコード化された画像である。コードは、例えばQR(Quick Response)(登録商標)コードが適用できるが、これに限らない。
 ステップS5で、情報端末1は、ユーザの所望の選択された表示装置2の表示画面20に表示されたコード画像を、カメラ12によって読み取って、認証用情報を取得する。詳しくは、情報端末1は、上記コード画像からデコードによってデバイス名とパスキーとを抽出する。なお、この際、ユーザは、情報端末1(例えばHMD1A)のカメラ12の向きを、その表示装置2の表示画面20に向ければよく、認証用ID等の入力操作は不要である。例えば、ユーザU1の情報端末T1は、表示装置D1の表示情報を認識する。同様に、ユーザU2の情報端末T2は、表示装置D3の表示情報を認識する。
 また、情報端末1は、上記抽出して得たデバイス名が、自デバイスのデバイス名と一致するかどうか、デバイスチェック処理を行う。一致の場合、この情報端末1と相手の表示装置2との一対一の関係での無線接続が適切であることが確認されたことを意味する。情報端末1は、デバイスチェックで適切性を確認した後、上記パスキーを自デバイスに設定する。
 ステップS6で、情報端末1は、認証用情報(特にデバイス識別情報)を用いて、自デバイスと相手の表示装置2との無線接続の適切性を確認する(後述のデバイスチェック)。確認後、情報端末1は、パスキーを用いて自デバイスと表示装置2との無線接続を確立し、表示装置2は、パスキーを用いてその情報端末1との無線接続を確立する。
 [情報端末(HMD)-外観]
 図3は、情報端末1としてHMD1Aである場合の外観構成例を示す。HMD1Aは、眼鏡型の筐体10に、表示面11、カメラ12、測距センサ14、センサ部15、マイク16、スピーカ17等を備える。表示面11は、両眼の位置に対応させた透過型表示面である。カメラ12は、例えば右側カメラ12R、左側カメラ12Lを含む。また、図示のように、HMD1Aには、入力手段として、リモートコントローラのような操作器19が付属していてもよい。操作器19は、HMD1Aの本体と無線通信を行う。
 [情報端末(HMD)-機能ブロック]
 図4は、情報端末1としてHMD1Aである場合の機能ブロック構成例を示す。情報端末1であるHMD1Aは、プロセッサ101、メモリ102、カメラ12、測距センサ14、センサ部15、表示部150、通信部160、音声入力装置181、音声出力装置182、操作入力部183、バッテリ184等を備え、これらはバス等で相互に接続されている。プロセッサ101は、CPUやROMやRAM等で構成され、HMD1Aの全体を制御するコントローラに相当する。メモリ102は、RAMやストレージ等で構成され、制御プログラム131、アプリケーションプログラム132、設定情報133、表示情報134、認証用情報135、等の情報やデータを格納する。カメラ12は、外界の画像を撮影して画像データを取得する。測距センサ14は、外界の物体との距離を測定する。センサ部15は、各種のセンサを含み、例えば加速度センサ141、ジャイロセンサ142、地磁気センサ143、GPS受信器144を含む。表示部150は、表示面11、表示駆動回路、および光学系、等を含む表示デバイスである。通信部160は、各種の通信インタフェースに対応する通信デバイスを含む。通信部160は、詳しくは、近距離通信部と、遠距離通信部とを含む。近距離通信部は、本例では無線通信インタフェースとしてBluetoothに対応する。遠距離通信部は、例えばモバイル網や無線LAN等の無線通信インタフェースに対応する。音声入力装置181は、前述のマイク16を含む。音声出力装置182は、前述のスピーカ17を含む。操作入力部183は、筐体10に設けられたボタン等を含む。あるいは、操作入力部183は、操作器19との無線通信インタフェースを含む部分でもよい。バッテリ184は各部に電力を供給する。
 情報端末1は、制御プログラム131等に基づいて、プロセッサ101が処理を実行することで、各機能を実現する。各機能は、後述のフローの処理を行う機能を含む。各機能は、後述のデバイスチェック、カメラ画像解析、QRコードのデコード等の機能を含む。
 設定情報133は、機能に係わるシステム設定情報やユーザ設定情報である。表示情報134は、表示面11に表示するためのデータである。認証用情報135は、自デバイスのデバイス識別情報(デバイス名やデバイスアドレス)、表示装置2から取得した認証用ID(パスキー)等の情報である。
 [表示装置-機能ブロック]
 図5は、表示装置2の機能ブロック構成例を示す。表示装置2は、プロセッサ201、メモリ202、カメラ22、測距センサ24、センサ部25、表示部250、通信部260、音声入力装置281、音声出力装置282、操作入力部283、バッテリ284等を備え、これらはバス等で相互に接続されている。プロセッサ201は、CPUやROMやRAM等で構成され、表示装置2の全体を制御するコントローラに相当する。メモリ202は、RAMやストレージ等で構成され、制御プログラム231、アプリケーションプログラム232、設定情報233、表示情報234、認証用情報235、等の情報やデータを格納する。カメラ22は、外界の画像を撮影して画像データを取得する。測距センサ24は、外界の物体との距離を測定する。センサ部25は、各種のセンサを含み、例えば加速度センサ241、ジャイロセンサ242、地磁気センサ243、GPS受信器244を含む。センサ部25は、近接センサ等を含んでもよい。表示部250は、表示画面20、表示駆動回路等を含む表示デバイス、例えばタッチパネルである。通信部260は、各種の通信インタフェースに対応する通信デバイスを含む。通信部260は、詳しくは、近距離通信部と、遠距離通信部とを含む。近距離通信部は、例えばBluetoothに対応する。遠距離通信部は、例えばモバイル網や無線LAN等の無線通信インタフェースに対応する。音声入力装置281はマイクを含む。音声出力装置282はスピーカを含む。操作入力部283は、筐体に設けられたボタン等を含む。操作入力部283は、キーボード等を含んでもよい。その場合、ユーザによる文字入力が容易となる。バッテリ284は各部に電力を供給する。表示装置2にもリモートコントローラのような操作器が付属してもよい。
 表示装置2は、制御プログラム231等に基づいて、プロセッサ201が処理を実行することで、各機能を実現する。各機能は、後述のフローの処理を行う機能を含む。各機能は、後述のデバイスチェック、ユーザ検出、デバイス検出、パスキー生成、QRコード生成、等の機能を含む。
 設定情報233は、機能に係わるシステム設定情報やユーザ設定情報である。表示情報234は、表示画面20に表示するためのデータである。認証用情報235は、情報端末1から検出したデバイス識別情報や、生成した認証用ID(パスキー)等の情報である。
 [無線通信インタフェース]
 実施の形態1では、情報端末1と表示装置2との間の無線接続の無線通信インタフェースとして、Bluetoothを適用する。この場合、認証用IDとして、Bluetooth規格におけるパスキーを使用する。なお、無線通信インタフェースとして、Wi-Fiを適用してもよい。この場合、認証用IDとして、Wi-Fi規格におけるSSIDおよびパスワードを使用する。この無線接続システムは、適用する無線通信インタフェースに応じた認証用IDを同様に適用できる。
 [処理フロー(1)]
 図6は、実施の形態1の無線接続システムおよび方法における、情報端末1(例えばHMD1A)と表示装置2との間の通信を含む処理シーケンス、および各装置の処理フローを示す。図6は、情報端末1のステップS100,S101,……,S105を含むフローと、表示装置2のステップS200,S201,……,S211を含むフローと有する。
 ステップS200で、表示装置2は、カメラ22やセンサ部25等を用いて、近傍に存在するユーザを検出する。表示装置2は、例えば表示画面20の前付近にユーザが来た場合にはそれを検出する。なお、ステップS200を省略した形態も可能である。表示装置2は、ユーザを検出した場合(Y)にはステップS201へ進む。なお、このユーザ検出は、ユーザが表示装置2に備える操作入力部283のハードウェアボタン等を押す操作、あるいは、表示部250であるタッチパネルを触る操作、あるいは表示画面20内の特定のソフトウェアボタン(GUI部品)を押す操作、等の検出としてもよい。
 ステップS201で、表示装置2は、通信部260(図5)またはカメラ22やセンサ部25等を用いて、近傍に存在する無線デバイスである情報端末1を検出する。この無線デバイス検出は、例えば情報端末1が発しているビーコン(無線信号)を受信し検出することである。そのビーコンは、情報端末1のデバイス名またはデバイスアドレス等の情報(説明上、「デバイス識別情報」と記載する場合がある)を持つ。本例では、ステップS201で、表示装置2は、情報端末1からのビーコンに基づいて、その情報端末1のデバイス名とデバイスアドレスとの組の情報を取得する。なお、他の検出手段として、表示装置2は、カメラ22の撮影画像から解析に基づいて無線デバイスを判断および検出してもよい。
 ステップS202で、表示装置2は、ステップS201で検出および取得した情報を用いて、表示画面20に、下記のようなデバイスリストを表示する。
 [画面例(1)]
 図7は、ステップS202で表示装置2の表示画面20にデバイスリストを表示する際の画面例を示す。この画面700は、無線接続メニュー画面のうちのデバイスリスト画面である。この画面700は、「無線接続」メニュー表示701と、「デバイスを検出しました」メッセージ表示702と、「使用可能なデバイス」表示703と、を含む。「使用可能なデバイス」表示703は、デバイスリスト表示を含む。このデバイスリストは、例として、この表示装置2の近傍に3個の無線デバイスである情報端末1(例えば図1,図2の情報端末T1,T2,T3)が検出された場合に対応する3個のデバイス情報項目として、項目711,712,713を含む。各デバイス情報項目には、デバイス名704が表示されている。このデバイス名704は、ユーザが見て情報端末1を識別できる形式の文字列等の情報である。デバイス情報項目に表示するデバイス名704は、これに限らず、ユーザが見て識別できる形式であれば、デバイスアドレス等の他の情報としてもよい。
 例えば、項目711のデバイス名704(「Phone_APL」)は、情報端末T2のデバイス名であり、項目712のデバイス名704(「MAX-HMD01」)は、情報端末T1のデバイス名であり、項目713のデバイス名704(「AR glass lite」)は、情報端末T3のデバイス名であるとする。図7では、説明上、対応関係がわかりやすいように、デバイス情報項目に、対応する情報端末1の符号「(T1)」等も記載しているが、実際には表示されない。
 各デバイス情報項目は、デバイス名704の表示のみならず、ユーザによる選択操作(例えばタッチ操作)を受け付けるボタン等のGUI部品で構成されている。もしくは、デバイス情報項目に並列で別の選択ボタン等が設けられてもよい。
 なお、この画面700内には、他にもGUIが表示されてもよい。例えば、ユーザに操作等をわかりやすくガイドするための情報として、「接続するデバイスを選択してください。」等のメッセージ画像が表示されてもよい。また、ユーザ・インタフェースは、表示画面20での表示に限らず、音声出力等を併用してもよい。
 なお、このデバイスリスト画面でデバイス情報項目が表示されている3台のデバイス(情報端末1)は、無線接続が許容されるデバイスであり、許容されないデバイスの場合には項目が表示されない。応用として、特定の情報端末1と特定の表示装置2との無線接続が許可される設定の場合、特定の表示装置2は、検出されたデバイスが特定の情報端末1に該当する場合のみ、対応するデバイス情報項目を表示する。
 また、他の応用として、表示装置2は、同時無線接続台数等の制限が設定されてもよい。その場合、表示装置2は、その同時無線接続台数内に収まるように、デバイス情報項目を表示してもよい。あるいは、例えば同時無線接続台数=1の場合に、表示装置2は、画面に複数のデバイス情報項目を表示し、早い者勝ち方式等の方式で、それらのうち1台の情報端末1のみに無線接続を許可するようにしてもよい。上記のような応用的な制御は、本システムの認証とは別レイヤの制御として追加的に実現可能である。
 なお、表示装置2は、デバイスリスト画面等において複数のデバイス情報項目等を表示する際には、検出した無線デバイスの順序に対応させて、複数の項目を並べて表示してもよい。あるいは、表示装置2は、検出した無線デバイスとの距離に応じた順序で、複数の項目を並べて表示してもよい。例えば、表示装置2は、最も近傍に存在する(すなわち選択される可能性が高い)と推定した無線デバイスのデバイス情報項目を、1番上に表示してもよいし、最も強調して拡大等して表示してもよい。
 図6に戻る。ステップS203で、表示装置2は、ユーザによるデバイスリストからのデバイス情報項目(デバイス名704)の選択操作を受け付ける。例えば、ユーザU1は、図7の画面700のデバイスリストから、自デバイスである情報端末T1に対応するデバイス名704を持つ2番目の項目712を認識して選択操作する。選択操作は、例えば表示部250(図5)であるタッチパネルに対するタッチ操作である。表示装置2は、ユーザによって選択されたデバイス名704の情報端末1(例えば情報端末T1)を把握する。
 ステップS204で、表示装置2は、上記選択されたデバイス(情報端末1)について、無線接続のための認証用IDであるパスキーを生成する。
 ステップS205で、表示装置2は、上記ステップS203で選択されたデバイス名と、上記S204で生成したパスキーとの組を用いて、実施の形態1での所定のコード(コード画像)を生成する。このコードは、例えば2次元コードであるQRコードの形式で生成される。
 ステップS206で、表示装置2は、上記ステップS205で生成したコード画像を含む認証用情報を、表示画面20内に表示する。
 [画面例(2)]
 図8は、ステップS206で表示装置2の表示画面20にコード画像を表示する際の画面例を示す。この画面800は、無線接続メニュー画面のうちのコード画面である。この画面800は、「コードを読み取ってください」メッセージ表示802と、認証用情報表示803とを含む。認証用情報表示803は、1つの項目であり、デバイス名804と、コード(コード画像)805との組を含む。デバイス名804は、図7の選択された項目712のデバイス名704と同じ値である。デバイス名804は、ユーザがこの認証用情報表示803の項目を見た場合にわかりやすく把握できるように、すなわち自デバイスに関する項目であると把握できるように、補助的に設けられている情報である。デバイス名804は、表示の省略も可能である。コード805は、QRコードであり、表示が必須である。このQRコードは、選択されたデバイス名を含んでおり、特徴の1つである。ユーザは、画面800の認証用情報表示803を見る。
 図6に戻る。一方、ステップS100で、情報端末1は、ユーザの操作、例えばHMD1Aのカメラ12を表示画面20に向けて撮影する操作に基づいて、図8のような表示画面20に表示されたコード805をカメラ12によって読み取らせる。情報端末1は、カメラ12によって撮影した画像からコード805の部分を認識し、そのコード805からデコードによってデバイス名とパスキーとの組を抽出する。
 ステップS101で、情報端末1は、上記ステップS100で抽出して得たデバイス名とパスキーとの組を用いて、情報端末1側でのデバイスチェック処理を行う。このデバイスチェック処理は、コード805から得たデバイス名が、自デバイスのデバイス名と一致するかどうかの確認である。言い換えると、このデバイスチェック処理は、この情報端末1とユーザの目の前の表示装置2との一対一の無線接続が適切かどうかの確認である。ステップS101のデバイスチェックは、実施の形態1のシーケンスで必須であり、特徴の1つである。デバイス名の一致の場合(OK)にはステップS102に進み、不一致の場合(NG)にはステップS104に進む。一致の場合は、その情報端末1とその相手の表示装置2とが適切な無線接続の関係であることを表している。不一致の場合は、その情報端末1とその相手の表示装置2とが適切な無線接続の関係ではないこと、すなわち、無線接続が許可されないことを表している。
 ステップS104では、情報端末1は、エラー処理として、表示面11にエラー表示を行う。これにより情報端末1側のフローが終了する。この場合、フローの最初からやり直しである。
 ステップS102で、情報端末1は、ステップS100で得たパスキーを、無線接続のための認証用IDとして、通信部160(図4)の回路に設定する。
 ステップS103で、情報端末1は、通信部160での通信処理によって、無線接続要求を表示装置2に送信する。この際、通信部160の回路は、ステップS102で設定されたパスキーを用いて通信処理を行う。この無線接続要求の通信フレームには、送信元(情報端末1)のアドレスやデバイス名と共に、パスキーを含む情報が記述される。
 一方、ステップS207で、表示装置2は、通信部260(図5)の通信処理によって、情報端末1からの無線接続要求を受信する。この際、通信部260の回路は、ステップS204で生成されたパスキーを用いて通信処理を行う。表示装置2は、無線接続要求における送信元(情報端末1)からのパスキーを取り出し、そのパスキーが、ステップS204のパスキーと一致している場合には、正当な要求として受け取る。
 ステップS208で、表示装置2は、ステップS207で情報端末1の要求から取り出したデバイス名と、ステップS205で生成済みのデバイス名とを用いて、表示装置2側でのデバイスチェック処理を行う。表示装置2は、このデバイスチェック処理では、例えばステップS207のデバイス名が、ステップS204のデバイス名と一致するかどうかを確認する。デバイス名の一致の場合(OK)にはステップS209へ進み、不一致の場合(NG)にはステップS211へ進む。一致の場合は、要求元の情報端末1とこの表示装置2との無線接続が適切であることを表している。不一致の場合は、要求元の情報端末1とこの表示装置2との無線接続が適切ではないこと、すなわち、無線接続が許可されないことを表している。
 ステップS211では、表示装置2は、エラー処理として、表示画面20にエラー表示を行う。これにより表示装置2側のフローが終了する。この場合、フローの最初からやり直しである。
 ステップS209では、表示装置2は、上記ステップS204で生成済みのパスキーを、無線接続のための認証用IDとして、通信部260(図5)の回路に設定する。これにより、情報端末1と表示装置2との両方に、同じパスキーが設定されたことになる。
 ステップS210では、表示装置2は、通信部260の通信処理によって、情報端末1との間の無線接続を確立する。対応して、ステップS105では、情報端末1は、通信部160の通信処理によって、表示装置2との間の無線接続を確立する。ステップS105,S210の後、本シーケンスが終了する。情報端末1と表示装置2との間での無線接続が確立済みの状態では、それらの装置間で、実態的なデータの送受信等が可能である。その後、必要に応じて、それらの装置間で無線接続が解除される。
 なお、実施の形態1のシーケンスで特徴的な部分(主な認証に係わる部分)を破線枠で示す。特に、ステップS101のデバイスチェックは、デバイス名を用いた特有の処理であり、情報端末1から表示装置2をみた場合の適切な関係を確認する処理であり、複数対複数の環境でも適切な一対一の情報端末1と表示装置2の関係を確認する処理である。また、このシーケンスでは、ステップS101の情報端末1側のデバイスチェックに加え、特に、ステップS208の表示装置2側のデバイスチェックも有する。この処理も、デバイス名を用いた特有の処理であり、表示装置2から情報端末1をみた場合の適切な関係を確認する処理である。実施の形態1は、ステップS101およびステップS208の相互のデバイスチェックを含むシーケンスによって、ユーザによる認識用IDの入力操作を不要とした簡便で適切な無線接続を実現できる。
 なお、実施の形態1の変形例としては、ステップS208の表示装置2側のデバイスチェック処理を省略した形態とすることも可能である。
 [効果等(1)]
 上記のように、実施の形態1によれば、環境内でユーザの情報端末1と表示装置2とが無線接続する際に、ユーザによるパスキー等の認証用IDの入力操作の手間を低減でき、複数対複数の環境でも、所望の選択された情報端末1と表示装置2との間で適切にセキュアな無線接続ができる。ユーザは、表示装置2の表示画面20(図7)で自デバイスに対応する項目を選択し、表示されたコード(図8)を情報端末1に読み取らせる操作をすればよい。その後、情報端末1が自動的にデバイスチェック(図6のS101)を行って、自デバイスと相手の表示装置2との間の無線接続の適切性を確認する。これにより、自動的にパスキーが設定され(S102,S209)、無線接続が確立される。このように、ユーザは、少ない手間で、速やかに、複数対複数の環境でも誤らずに所望の情報端末1と表示装置2との無線接続を行うことができる。
 実施の形態1では、環境内の複数対複数の装置間で基本的に自由な組み合わせで無線接続が許可される場合を説明したが、これに限らず、応用としては、無線接続の可否に関して、より詳細な制御も可能である。例えば、ある種類のユーザの情報端末1は、ある種類の表示装置2にのみ、無線接続が許可されるように、予め認証に関する設定が可能である。この認証は、実施の形態1等で説明した認証(デバイスチェックを含む)とは別レイヤの認証として行うことができる。
 利用例としては、飲食店等の店舗内で、各顧客である各ユーザが、自分の情報端末1を、店舗内のテーブル等に設置されている複数の表示装置2(例えばタブレット端末)のうちの所望の選択した表示装置2に簡単に無線接続し、表示装置2の持つ表示機能、注文機能、および決済機能等を利用することができる。他の例としては、販売店舗等で、複数の表示装置2として、キャッシュレス決済機能を持つ決済装置が用意されている。顧客は、自分の情報端末1を、選択した決済装置に無線接続し、キャッシュレス決済機能を利用できる。他の例としては、車両内で、席毎に表示装置2が設置されている。搭乗者は、自分の情報端末1を、選択した表示装置2に無線接続し、動画等の表示機能やインターネット接続機能等を利用できる。また、いずれの例でも、不特定多数の利用に限らず、認証の設定を通じて、特定のユーザの情報端末1と特定の表示装置2との無線接続および機能利用のみ許可されるように制限することも可能である。
 上記では、ユーザが情報端末1としてHMD1Aを用いる場合を主に説明したが、スマートフォン1B(図1)を用いる場合でも、同様に適用可能である。この場合、ユーザは、手に持ったスマートフォン1Bを操作する。ユーザは、例えばスマートフォン1Bのカメラを表示装置2の表示画面20に向けて撮影すればよい。
 (実施の形態2)
 図9~図11を用いて、本発明の実施の形態2の無線接続システムおよび方法について説明する。以下では、実施の形態2等における実施の形態1とは異なる部分について説明する。実施の形態2等のシステム構成等は図1等と同様であり、異なる構成点として、認証を含む処理シーケンスがある。実施の形態2では、HMD1AによるAR画像表示機能を用いる。
 [処理フロー(2)]
 図9は、実施の形態2の無線接続システムおよび方法における、情報端末1(例えばHMD1A)と表示装置2との間の通信を含む処理シーケンス、および各装置の処理フローを示す。図9は、情報端末1のステップS121~S129、表示装置2のステップS220~S229,S229A,S229Bを有する。図9で、実施の形態1の図6に対し主に異なるステップは、ステップS121,S122,S123、およびステップS221,S222,S223である。ステップS124以降やステップS224以降は、図6のステップS100以降やステップS204以降と概略的に同様である。
 ステップS220で、表示装置2は、近傍のユーザを検出し、近傍に存在する無線デバイスである情報端末1を検出する。ステップS221の後、ステップS222で、表示装置2は、上記検出して得たデバイス名等の情報を用いて、実施の形態2での特有のコード(第1コードとする)を含むデバイスリストを作成する。実施の形態2では、この第1コードは、検出された情報端末1毎に、デバイス名をコード化したQRコード等のコード画像であり、前述のパスキーは含まれていない。コード化する情報は、デバイス名に限らずデバイスアドレス等の他の情報としてもよい。
 ステップS202で、表示装置2は、表示画面20に、下記のように、上記作成したデバイスリストを表示する。
 [画面例(3)]
 図10は、ステップS222で表示装置2の表示画面20に第1コードを含むデバイスリストを表示する際の画面例を示す。この画面1000は、無線接続メニュー画面のうちのデバイスリスト表示画面である。この画面1000は、「デバイスを検出しました」メッセージ表示1002と、デバイスリスト表示1003とを含む。デバイスリスト表示1003は、デバイスリストとして、検出されたデバイス(情報端末1)毎のデバイス情報項目が、並列に表示されている。本例では、検出された3個の情報端末1に関する3個のデバイス情報項目として、項目1011,1012,1013を有する。各デバイス情報項目は、デバイス名表示1004と、QRコード表示1005とを有する。デバイス名表示1004は、検出されたデバイスをユーザに伝えるための補助的な情報である。QRコード表示1005のQRコードは、第1コードである。
 図9に戻る。ステップS223で、ユーザは、この画面1000のデバイスリストから、デバイス名表示1004を参考に、自分の情報端末1(HMD1A)に対応するデバイス情報項目、例えば項目1012を選択操作する。この際、実施の形態2では、この選択操作を支援するため、ステップS121~S123を有する。
 ステップS121で、情報端末1は、表示装置2の表示画面20のデバイスリスト(図10)を、カメラ12によって読み取る。情報端末1は、カメラ12の画像から、デバイスリスト表示1003の各デバイス情報項目のデバイス名表示1004、またはQRコード表示1005を認識する。
 ステップS122で、情報端末1は、上記読み取ったデバイスリストから、自デバイス(HMD1A)のデバイス名(文字列)に対応するデバイス名表示1004があるかどうか確認し、ある場合には検出する。あるいは、情報端末1は、QRコード表示1005のQRコードのデコードによって抽出したデバイス名を用いて、同様の判断・検出を行ってもよい。図10の例では、HMD1A(図1の情報端末T1)は、項目1012のデバイス名表示1004のデバイス名(「MAX-HMD01」)を検出したとする。自デバイス名がある場合(Y)にはステップS123に進み、無い場合(N)にはステップS128に進んでエラー表示が行われる。
 ステップS123で、情報端末1は、検出した自デバイス名に対応するデバイス情報項目をユーザに伝えるための画像を、表示面11に表示する。この画像は、その項目を強調表示してユーザに操作を促すためのAR画像である。このAR画像は、下記のように、表示画面20のデバイス情報項目(項目1012)上に重畳表示される。
 [画面例(4)]
 図11は、HMD1Aの表示面11に、ステップS123の画像を表示する例を示す。図11の(A)は、図示省略するユーザが、頭部に装着しているHMD1Aを通じて表示装置2の表示画面20(例えば図10の画面1000)の方を見る際の模式的なイメージを示す。図11の(B)は、ユーザの視点からHMD1Aの表示面11を通じて画面1000の項目1012を見る際の模式的なイメージを示す。表示面11は、AR画像の表示が可能な透過型表示面である。情報端末1のカメラ12は、表示画面20を捉えている。ユーザは、表示画面20のデバイスリストを見ている。ここでは、表示面11に透過して見える表示装置2を模式的に破線で示している。HMD1A(図4の表示部150)は、カメラ12の画像の解析等に基づいて、画面1000の項目1012(自デバイス名に対応する項目)上に重畳表示させるように、表示面11にAR画像1101を表示する。このAR画像1101は、ユーザにこのデバイス情報項目の選択操作を促す意味を持つ画像である。本例では、AR画像1101は、項目1012を囲むような枠画像としているが、これに限らず、例えば図10のデバイス名表示1004を囲む画像や、QRコード表示1005を囲む画像としてもよいし、「この項目を選択してください」等のメッセージを伴う矢印等の画像としてもよい。ユーザは、このAR画像1101に従って、その項目1012に着目して選択操作すればよいことがわかる。これにより、ステップS223の選択操作がより容易となる。
 図9に戻る。ステップS203で、ユーザは、ステップS123のAR画像1101に従って、上記デバイスリストからの自デバイスに対応する項目を選択操作し、表示装置2は、その選択操作を受けて、選択されたデバイス名を把握する。
 ステップS224以降は、実施の形態1の図6のステップS204以降と概略的に同様となる。ステップS224で、表示装置2は、上記選択されたデバイスについて、パスキーを生成する。ステップS225で、表示装置2は、上記パスキーと、上記選択されたデバイス名とを用いて、実施の形態2での第2コードとして、所定のコードを例えばQRコードの形式で生成する。ステップS206で、表示装置2は、上記生成したコード(第2コード)を、図8と同様に、表示画面20に表示する。一方、ステップS124で、情報端末1は、ユーザの操作に基づいて、表示画面20のコード(第2コード)を読み取って、デコードによってデバイス名とパスキーとの組を抽出する。ステップS125で、情報端末1は、上記デバイス名とパスキーとの組を用いて、デバイスチェック処理を行う。抽出したデバイス名と自デバイス名とが一致の場合(OK)にはステップS126に進み、不一致の場合(NG)にはステップS128に進んで、エラー表示が行われる。ステップS125のデバイスチェックは、実施の形態2での必須の処理である。
 ステップS126で、情報端末1は、ステップS124で得たパスキーを、通信部160(図4)の回路に設定する。ステップS127で、情報端末1は、通信部160の通信処理によって、無線接続要求を表示装置2に送信する。一方、ステップS227で、表示装置2は、通信部260(図5)の通信処理によって、情報端末1からの無線接続要求を受信する。表示装置2は、受信した無線接続要求から、パスキー等の情報を取り出す。ステップS228で、表示装置2は、ステップS227で得たパスキー等の情報を用いて、デバイスチェック処理を行う。デバイス名に関して一致の場合(OK)にはステップS229へ進み、不一致の場合(NG)にはステップS229Bへ進んで、エラー処理が行われる。ステップS229で、表示装置2は、上記パスキーを通信部260の回路に設定する。ステップS229Aでは、表示装置2は、通信部260の通信処理によって、情報端末1との無線接続を確立する。対応して、ステップS129では、情報端末1は、通信部160の通信処理によって、表示装置2との無線接続を確立する。
 [効果等(2)]
 上記のように、実施の形態2では、ユーザの情報端末1が、表示装置2の表示画面20のデバイスリストの中から、自デバイスに対応する項目を自動的に認識して、AR画像(図9、ステップS123、図11)によってユーザに伝える。これにより、ユーザは、自デバイスに対応する項目を容易に選択でき、速やかに認証の手順へ進み、無線接続を行うことができる。
 なお、実施の形態2の変形例としては、表示装置2側のデバイスチェック処理を省略した形態とすることも可能である。
 (実施の形態3)
 図12~図13を用いて、本発明の実施の形態3の無線接続システムおよび方法について説明する。実施の形態3では、情報端末1が表示装置2の表示画面20のデバイスリストから自デバイスを発見し、ユーザによる選択操作を不要として、自動的に認証および無線接続を行う。
 [処理フロー(3)]
 図12は、実施の形態3の無線接続システムおよび方法における、情報端末1(例えばHMD1A)と表示装置2との間の通信を含む処理シーケンス、および各装置の処理フローを示す。図12は、情報端末1のステップS131~S136、表示装置2のステップS230~S238を有する。図12は、図11や図12に対し主に異なる構成点として、情報端末1のステップS131,S132、表示装置2のステップS233がある。
 ステップS230で、表示装置2は、ユーザ検出およびデバイス検出を行う。ステップS231で、表示装置2は、パスキーを生成し、ステップS232で、表示装置2は、実施の形態3での所定のコードを生成する。このコードは、デバイス名とパスキーとの組を例えばQRコードの形式でコード化した画像である。次に、ステップS233で、表示装置2は、ステップS232で生成したコードを用いて作成したデバイスコードリストを、表示画面20に表示する。
 [画面例(5)]
 図13は、ステップS233で表示装置2の表示画面20にデバイスコードリストを表示する際の画面例を示す。この画面1300は、無線接続メニュー画面のうちのデバイスコードリスト表示画面である。この画面1000は、「デバイスを検出しました」メッセージ表示1302と、デバイスコードリスト表示1303とを含む。デバイスコードリスト表示1303は、デバイスコードリストとして、検出されたデバイス(情報端末1)毎のデバイスコード情報項目が、並列に表示されている。本例では、検出された3個の情報端末1に関する3個のデバイスコード情報項目として、項目1311,1312,1313を有する。各デバイスコード情報項目は、デバイス名表示1304と、QRコード表示1305とを有する。デバイス名表示1304は、検出されたデバイスをユーザに伝えるための補助的な情報であり、表示の省略も可能である。QRコード表示1305のQRコードは、実施の形態3での所定のコードであり、デバイス名とパスキーとの組がコード化されている。図13の画面1300は、実施の形態1での図7のデバイスリスト画面と図8のコード画面とを1つに統合して効率化したものとも言える。
 図12に戻る。ステップS131で、情報端末1は、カメラ12によって、表示装置2の表示画面20のデバイスコードリストを読み取る。情報端末1は、カメラ12の画像から、各デバイスコード情報項目のデバイス名表示1304やQRコード表示1305を認識する。
 ステップS132で、情報端末1は、ステップS131で得たQRコード表示1305のQRコードからデコードによってデバイス名とパスキーとの組を抽出する。情報端末1は、その抽出したデバイス名を用いてデバイスチェック処理を行う。この処理は、得られた1つ以上のデバイス名から、自デバイス(HMD1A)に対応するデバイス名がある場合には抽出する処理であり、実施の形態3での特有で必須の処理である。自デバイス名が検出できた場合(Y)にはステップS133に進み、検出できない場合(N)にはステップS135に進んでエラー表示が行われる。
 ステップS133以降の処理は前述の実施の形態1と概略的に同様である。ステップS133で、情報端末1は、ステップS131で得たパスキーを、通信部160の回路に設定する。ステップS134で、情報端末1は、通信部160の通信処理によって、無線接続要求を表示装置2に送信する。一方、ステップS234で、表示装置2は、通信部260の通信処理によって、情報端末1からの無線接続要求を受信する。表示装置2は、受信した無線接続要求から、デバイス名およびパスキー等の情報を取り出す。ステップS235で、表示装置2は、ステップS232のデバイス名と、ステップS234で得たデバイス名とを用いて、表示装置2側のデバイスチェック処理を行う。デバイス名に関して一致の場合(OK)にはステップS236へ進み、不一致の場合(NG)にはステップS238へ進んでエラー処理が行われる。ステップS236では、表示装置2は、上記パスキーを通信部260の回路に設定する。ステップS237では、表示装置2は、通信部260の通信処理によって、情報端末1との間の無線接続を確立する。対応して、ステップS136では、情報端末1は、通信部160の通信処理によって、表示装置2との間の無線接続を確立する。
 [効果等(3)]
 上記のように、実施の形態3では、ユーザの情報端末1が、表示装置2の表示画面20のデバイスコードリスト(図13)の中から、自デバイスに対応する項目を認識して、自動的に認証の手順へ進み、速やかに無線接続を行うことができる。
 なお、実施の形態3の変形例としては、表示装置2側のデバイスチェック処理を省略した形態とすることも可能である。
 (実施の形態4)
 図14~図15を用いて、本発明の実施の形態4の無線接続システムおよび方法について説明する。実施の形態4では、最初に情報端末1と表示装置2との間で仮接続を行い、その後に認証および無線接続を行う。
 [処理フロー(4)]
 図14は、実施の形態4の無線接続システムおよび方法における、情報端末1(例えばHMD1A)と表示装置2との間の通信を含む処理シーケンス、および各装置の処理フローを示す。図14は、情報端末1のステップS141~S149、表示装置2のステップS240~S248を有する。図14は、主に異なる構成点としては、情報端末1のステップS141~S144、表示装置2のステップS241~S244がある。
 ステップS240で、表示装置2は、ユーザ検出およびデバイス検出を行う。ステップS141で、情報端末1は、仮接続のための仮パスキーを、通信部160(図4)の回路に設定する。仮パスキーは、例えばパスキーが6桁ならば000000といった固定値を用いる。他方、ステップS241で、表示装置2は、同じ仮パスキーを、通信部260(図5)の回路に設定する。
 ステップS142で、情報端末1は、上記仮パスキーを用いて、仮接続のための無線接続要求を、表示装置2に送信する。ステップS242で、表示装置2は、その無線接続要求を受信する。これにより、ステップS143,S243では、情報端末1と表示装置2との間で仮無線接続が行われる。
 ステップS144で、情報端末1は、仮ではない目的の無線接続のためのパスキーを生成し、表示装置2に送信する。ステップS244で、表示装置2は、情報端末1からのパスキーを受信する。
 ステップS245で、表示装置2は、実施の形態4での所定のコードを生成する。実施の形態4では、このコードは、デバイス名のみを例えばQRコードの形式でコード化した画像である。ステップS246で、表示装置2は、表示画面20に、下記のように、上記生成したコードを表示する。
 [画面例(6)]
 図15は、ステップS246で表示装置2の表示画面20にコードを表示する際の画面例を示す。この画面1500は、無線接続メニュー画面のうちのコード画面である。この画面1500は、「コードを読み取ってください」メッセージ表示1502と、コード表示1502とを含む。コード表示1503は、対象の1つのデバイス(情報端末1)のデバイス名に関するQRコードである。
 図14に戻る。ステップS145で、情報端末1は、カメラ12によって上記表示画面20に表示されたコード(コード表示1502)を読み取る。情報端末1は、そのコードからのデコードによってデバイス名を抽出する。その後、ステップS146で、実施の形態1と同様に、情報端末1は、上記抽出したデバイス名を用いてデバイスチェック処理を行う。情報端末1は、上記抽出したデバイス名が自デバイス(HMD1A)のデバイス名に一致するか確認する。一致の場合(OK)にはステップS146に進み、不一致の場合(NG)にはステップS149に進んでエラー表示が行われる。ステップS146では、情報端末1は、ステップS144で生成済みのパスキーを、目的の無線接続のために、通信部160の回路に設定する。一方、ステップS247で、表示装置2側も、ステップS244で受信済みのパスキーを、目的の無線接続のために、通信部260の回路に設定する。これにより、ステップS148,S248では、情報端末1と表示装置2との間での無線接続が確立する。言い換えると、仮無線接続が終了して目的の無線接続が達成される。
 [効果等(4)]
 上記のように、実施の形態4では、情報端末1と表示装置2との間で仮接続した後、デバイス名のコードを用いて情報端末1がデバイスチェックを行い、速やかに無線接続を行うことができる。
 なお、実施の形態4の変形例としては、表示装置2側のデバイスチェック処理を省略した形態とすることも可能である。
 (他の実施の形態)
 他の実施の形態として以下も可能である。実施の形態1の図1の構成では、情報端末1と表示装置2とが近距離で直接的に無線接続される場合を説明したが、これに限らず、情報端末1と表示装置2との間で、無線基地局やアクセスポイント等の装置を介して無線接続を行う形態も可能である。また、情報端末1や表示装置2が、通信網上のサーバ等の外部装置と通信して連携する形態も可能である。
 以上、本発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されず、要旨を逸脱しない範囲で種々変更可能である。
 1,T1,T2,T3,TM…情報端末、1A…HMD、1B…スマートフォン、2,D1,D2,DN…表示装置、11…表示面、12…カメラ、20…表示画面、22…カメラ、U1,U2,U3,UM…ユーザ。

Claims (8)

  1.  ユーザの情報端末と環境内に設置されている表示装置との間で無線接続を行う無線接続システムであって、
     前記表示装置は、
     近傍に存在する前記情報端末を検出した場合に、検出した前記情報端末との無線接続のための認証に係わるデバイス識別情報または前記デバイス識別情報をコード化した画像を表示画面に表示し、
     前記情報端末との間で前記無線接続のための認証用IDを用いて前記無線接続を確立し、
     前記情報端末は、
     前記表示装置の表示画面の前記デバイス識別情報または前記画像を読み取り、読み取った前記デバイス識別情報が、自デバイスのデバイス識別情報と一致するかを確認し、
     前記一致を確認後、前記表示装置との間で前記無線接続のための前記認証用IDを用いて前記無線接続を確立する、
     無線接続システム。
  2.  請求項1記載の無線接続システムにおいて、
     前記環境内に前記情報端末と前記表示装置とが複数対複数で存在する場合において、
     前記表示装置は、
     近傍に存在する複数の情報端末を検出した場合、検出した各情報端末の前記デバイス識別情報を含むデバイスリストを前記表示画面に表示し、
     前記ユーザの操作に基づいて、前記デバイスリストから前記デバイス識別情報が選択された場合、選択されたデバイス識別情報と、選択されたデバイス識別情報を持つ前記情報端末についての前記認証用IDとがコード化されたコード画像を、前記表示画面に表示し、
     前記情報端末から無線接続要求を受信した場合、前記無線接続要求に伴う前記デバイス識別情報が、前記選択されたデバイス識別情報と一致するか確認し、一致の場合、前記認証用IDを前記無線接続用に設定し、
     前記情報端末は、
     前記表示画面から前記コード画像を読み取り、デコードによって前記デバイス識別情報と前記認証用IDとを抽出し、
     前記抽出したデバイス識別情報が、自デバイスのデバイス識別情報に一致するか確認し、一致の場合、前記抽出した認証用IDを前記無線接続用に設定し、前記デバイス識別情報を伴う無線接続要求を前記表示装置に送信する、
     無線接続システム。
  3.  請求項1記載の無線接続システムにおいて、
     前記情報端末は、前記表示装置の表示画面から読み取った情報の中に、自デバイスのデバイス識別情報が含まれている場合には検出し、検出したデバイス識別情報についての前記ユーザによる選択操作を促すための画像を、前記検出したデバイス識別情報の位置に合わせるようにして自デバイスの表示面に表示する、
     無線接続システム。
  4.  請求項1記載の無線接続システムにおいて、
     前記環境内に前記情報端末と前記表示装置とが複数対複数で存在する場合において、
     前記表示装置は、
     近傍に存在する複数の情報端末を検出した場合、検出した情報端末の前記デバイス識別情報と前記認証用IDとがコード化されたコード画像を生成し、検出した各情報端末の前記コード画像を含むデバイスコードリストを、前記表示画面に表示し、
     前記情報端末から無線接続要求を受信した場合、前記無線接続要求に伴うデバイス識別情報が、前記検出した情報端末の前記デバイス識別情報と一致するか確認し、一致の場合、前記認証用IDを前記無線接続用に設定し、
     前記情報端末は、
     前記表示画面から前記デバイスコードリストを読み取り、前記コード画像からのデコードによって前記デバイス識別情報と前記認証用IDとを抽出し、
     前記抽出したデバイス識別情報のうち、自デバイスのデバイス識別情報に一致するものがあるか確認し、一致するデバイス識別情報がある場合、前記一致するデバイス識別情報と対応付けられた前記抽出した認証用IDを、前記無線接続用に設定し、前記デバイス識別情報を伴う無線接続要求を前記表示装置に送信する、
     無線接続システム。
  5.  請求項1記載の無線接続システムにおいて、
     前記表示装置は、
     近傍に存在する前記情報端末を検出した場合、検出した情報端末との仮無線接続のための第1認証用IDを設定し、前記検出した情報端末との間で仮無線接続を行い、
     前記仮無線接続の状態で、前記無線接続のための第2認証用IDを前記情報端末から受信した場合、前記情報端末の前記デバイス識別情報をコード化したコード画像を前記表示画面に表示し、
     前記第2認証用IDを前記無線接続用に設定し、
     前記情報端末は、
     前記表示装置との前記仮無線接続のための前記第1認証用IDを設定し、前記表示装置との間で仮無線接続を行い、
     前記仮無線接続の状態で、前記無線接続のための前記第2認証用IDを前記表示装置に送信し、
     前記表示画面の前記コード画像を読み取って、デコードによって前記デバイス識別情報を抽出し、
     前記抽出したデバイス識別情報と自デバイスのデバイス識別情報とが一致するか確認し、一致の場合、前記第2認証用IDを前記無線接続用に設定し、前記表示装置との前記無線接続を確立する、
     無線接続システム。
  6.  ユーザの情報端末と環境内に設置されている表示装置との間で無線接続を行う無線接続システムにおける前記情報端末であって、
     前記表示装置は、
     近傍に存在する前記情報端末を検出した場合に、検出した前記情報端末との無線接続のための認証に係わるデバイス識別情報または前記デバイス識別情報をコード化した画像を表示画面に表示し、
     前記情報端末との間で前記無線接続のための認証用IDを用いて前記無線接続を確立し、
     前記情報端末は、
     前記表示装置の表示画面の前記デバイス識別情報または前記画像を読み取り、読み取った前記デバイス識別情報が、自デバイスのデバイス識別情報と一致するかを確認し、
     前記一致を確認後、前記表示装置との間で前記無線接続のための前記認証用IDを用いて前記無線接続を確立する、
     情報端末。
  7.  ユーザの情報端末と環境内に設置されている表示装置との間で無線接続を行う無線接続システムにおける前記表示装置であって、
     前記表示装置は、
     近傍に存在する前記情報端末を検出した場合に、検出した前記情報端末との無線接続のための認証に係わるデバイス識別情報または前記デバイス識別情報をコード化した画像を表示画面に表示し、
     前記情報端末との間で前記無線接続のための認証用IDを用いて前記無線接続を確立し、
     前記情報端末は、
     前記表示装置の表示画面の前記デバイス識別情報または前記画像を読み取り、読み取った前記デバイス識別情報が、自デバイスのデバイス識別情報と一致するかを確認し、
     前記一致を確認後、前記表示装置との間で前記無線接続のための前記認証用IDを用いて前記無線接続を確立する、
     表示装置。
  8.  ユーザの情報端末と環境に設置されている表示装置との間で無線接続を行う無線接続方法であって、
     前記表示装置が、近傍に存在する前記情報端末を検出した場合に、検出した前記情報端末との無線接続のための認証に係わるデバイス識別情報または前記デバイス識別情報をコード化した画像を表示画面に表示するステップと、
     前記情報端末が、前記表示装置の表示画面の前記デバイス識別情報または前記画像を読み取り、読み取った前記デバイス識別情報が、自デバイスのデバイス識別情報と一致するかを確認するステップと、
     前記情報端末が、前記一致を確認後、前記表示装置との間で前記無線接続のための認証用IDを用いて前記無線接続を確立するステップと、
     前記表示装置が、前記情報端末との間で前記無線接続のための前記認証用IDを用いて前記無線接続を確立するステップと、
     を有する、無線接続方法。
PCT/JP2019/048538 2019-12-11 2019-12-11 無線接続システム、情報端末、表示装置、および無線接続方法 WO2021117170A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2021563520A JP7323639B2 (ja) 2019-12-11 2019-12-11 無線接続システム、情報端末、表示装置、および無線接続方法
PCT/JP2019/048538 WO2021117170A1 (ja) 2019-12-11 2019-12-11 無線接続システム、情報端末、表示装置、および無線接続方法
US17/783,717 US20230009449A1 (en) 2019-12-11 2019-12-11 Wireless connection system, information terminal, display device, and wireless connection method
EP19955419.7A EP4075836A4 (en) 2019-12-11 2019-12-11 WIRELESS COMMUNICATION SYSTEM, INFORMATION TERMINAL, DISPLAY DEVICE, AND WIRELESS CONNECTION METHOD
CN201980102918.8A CN114788396A (zh) 2019-12-11 2019-12-11 无线连接系统、信息终端、显示装置以及无线连接方法
JP2023122795A JP2023139245A (ja) 2019-12-11 2023-07-27 無線接続システム、情報端末、表示装置、および無線接続方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/048538 WO2021117170A1 (ja) 2019-12-11 2019-12-11 無線接続システム、情報端末、表示装置、および無線接続方法

Publications (1)

Publication Number Publication Date
WO2021117170A1 true WO2021117170A1 (ja) 2021-06-17

Family

ID=76328931

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/048538 WO2021117170A1 (ja) 2019-12-11 2019-12-11 無線接続システム、情報端末、表示装置、および無線接続方法

Country Status (5)

Country Link
US (1) US20230009449A1 (ja)
EP (1) EP4075836A4 (ja)
JP (2) JP7323639B2 (ja)
CN (1) CN114788396A (ja)
WO (1) WO2021117170A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116068945B (zh) * 2023-03-07 2023-06-27 鼎擎科技有限公司 一种楼宇智能设备控制方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010136238A (ja) 2008-12-08 2010-06-17 Toshiba Corp 通信機器
JP2013236375A (ja) * 2012-05-03 2013-11-21 Samsung Electronics Co Ltd モジュール識別情報運用方法及びシステムとこれを支援する端末機
JP2018046362A (ja) * 2016-09-13 2018-03-22 株式会社デンソーテン 端末検出方法および通信装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101785332B1 (ko) * 2011-01-10 2017-10-16 삼성전자주식회사 근거리 무선 통신 장치 및 그 장치의 연결 방법
CN110062362A (zh) * 2018-01-19 2019-07-26 尹寅 一种智能眼镜的蓝牙配对连接方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010136238A (ja) 2008-12-08 2010-06-17 Toshiba Corp 通信機器
JP2013236375A (ja) * 2012-05-03 2013-11-21 Samsung Electronics Co Ltd モジュール識別情報運用方法及びシステムとこれを支援する端末機
JP2018046362A (ja) * 2016-09-13 2018-03-22 株式会社デンソーテン 端末検出方法および通信装置

Also Published As

Publication number Publication date
JP7323639B2 (ja) 2023-08-08
JPWO2021117170A1 (ja) 2021-06-17
CN114788396A (zh) 2022-07-22
EP4075836A1 (en) 2022-10-19
US20230009449A1 (en) 2023-01-12
JP2023139245A (ja) 2023-10-03
EP4075836A4 (en) 2023-08-09

Similar Documents

Publication Publication Date Title
CN107483715B (zh) 终端与设备通信的方法和系统、终端、存储介质
CN107153961B (zh) 一种支付方法、支付服务器、交易服务器及可读存储介质
EP3200549B1 (en) Method and device for wireless communication between communication terminals
CN107113354B (zh) 包括头戴式设备的通信系统
EP3657370A1 (en) Methods and devices for authenticating smart card
US9820083B2 (en) Method and system for data sharing
KR101816930B1 (ko) 데이터 송수신 방법, 그를 이용한 디스플레이 장치 및 휴대용 단말기
US10425813B2 (en) Authentication management method, information processing apparatus, wearable device, and computer program
WO2017166355A1 (zh) 信息处理方法、装置和系统、移动终端、智能锁
WO2015098162A1 (ja) 車載装置及び車載装置の制御方法
CN105407070A (zh) 登录授权方法及装置
JP2023139245A (ja) 無線接続システム、情報端末、表示装置、および無線接続方法
KR20120123941A (ko) Qr코드를 이용한 무선통신 페어링 방법
US8050667B2 (en) Virtual terminal server, mobile communication terminal, communication control system, and communication control method
JP6568007B2 (ja) ウェアラブル端末、その通信方法およびプログラム
CN105430642B (zh) 文件传输方法及装置
CN116056076B (zh) 通信系统、方法及电子设备
US11678385B2 (en) Method for logging a target device into a network
JP6181588B2 (ja) 情報通信システム及び情報通信方法
JP6558919B2 (ja) 画面表示追随型簡易ペアリング
KR20090094665A (ko) 영상 통화를 이용한 원격 제어 기능을 수행하는 통신단말기 및 그 방법
CN113498074A (zh) 设备配网方法、装置及电子设备
US20240020369A1 (en) Speech control system and method, apparatus, device, medium, and program product
US20210067633A1 (en) Service System Supporting Voice Call Using Digital Assistant Device, Method Thereof, And Non-Transitory Computer Readable Medium Having Computer Program Recorded Thereon
KR102597423B1 (ko) 디지털 보조 장치를 이용한 음성 통화를 지원하는 서비스 시스템, 그 방법 및 컴퓨터 프로그램이 기록된 비휘발성 기록매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19955419

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021563520

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019955419

Country of ref document: EP

Effective date: 20220711