WO2014045860A1 - 情報機器、対向機器、通信システム、情報機器の制御方法及びプログラム - Google Patents

情報機器、対向機器、通信システム、情報機器の制御方法及びプログラム Download PDF

Info

Publication number
WO2014045860A1
WO2014045860A1 PCT/JP2013/073615 JP2013073615W WO2014045860A1 WO 2014045860 A1 WO2014045860 A1 WO 2014045860A1 JP 2013073615 W JP2013073615 W JP 2013073615W WO 2014045860 A1 WO2014045860 A1 WO 2014045860A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
face
unit
identification information
Prior art date
Application number
PCT/JP2013/073615
Other languages
English (en)
French (fr)
Inventor
朝子 高柳
Original Assignee
Necカシオモバイルコミュニケーションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Necカシオモバイルコミュニケーションズ株式会社 filed Critical Necカシオモバイルコミュニケーションズ株式会社
Publication of WO2014045860A1 publication Critical patent/WO2014045860A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/44Program or device authentication

Definitions

  • the present invention relates to a pairing technology between an information device and a counter device, and more particularly to a technology that simplifies the operation while ensuring security.
  • Bluetooth registered trademark
  • Bluetooth is used for pairing a mobile phone or a smartphone with a small device that is a counter device, but the usage rate of the pairing function is still low.
  • a possible reason for not using the pairing function is that the authentication registration procedure between devices, which is the first setting, is complicated and difficult to understand. Simple pairing has been applied in Bluetooth Specification Ver2.1 and later, and the registration procedure has been reduced, but the situation remains complicated and unintelligible for general users.
  • low energy function was added in Bluetooth Specification Ver4.0, but the situation is the same for low energy devices.
  • face authentication technology has been developed for digital cameras, mobile phones, smartphones, etc., and smartphones equipped with a screen lock release function using face authentication have been commercialized.
  • Patent Document 1 discloses a technique for pairing two devices using a face image.
  • a face image is registered in advance as profile information of a user in one device A, and the face of the user of the device A is photographed by the other device B having a camera function.
  • the face image is transmitted to the device A, and the device A performs a pairing process using the face image as authentication information by comparing and collating the registered face image with the face image transmitted from the device B. ing.
  • two devices can be paired without the user operating the keys or screen, and without the user being aware of the mode during the registration procedure.
  • the goodness of the can be improved.
  • the user's face image is used to simplify the operation. Since the user's face image is taken by each of the two devices to be paired, each of the two devices to be paired needs to have photographing means such as a camera function. In addition, a user's face image is captured and held in a device paired with a device owned by the user, but the face image is leaked because it is personal information with very high security. In some cases, there is a possibility of being misused, and there is a problem that it is difficult to register easily.
  • the present invention has been made in view of the problems of the above-described technology, and can simplify an operation of pairing while ensuring security, an information device, a counter device, and a communication system
  • An object of the present invention is to provide a control method and program for information equipment.
  • the present invention provides: Photographing means for photographing the image of the face and the image of the opposite device; Face authentication means for collating a pre-registered face image with a face image photographed by the photographing means; Device authentication means for comparing the identification information of the opposite device transmitted from the opposite device with the identification information of the opposite device included in the image of the opposite device taken by the photographing means; Control means for registering the opposite device as a target device based on the collation result in the face authentication means and the device authentication means.
  • the opposite device Storage means for storing identification information of the opposite device; And a transmission unit that transmits the identification information stored in the storage unit to the information device when a search request is received from the information device.
  • the information device has an information device and a counter device
  • the information device is Photographing means for photographing the image of the face and the image of the opposite device; Face authentication means for collating a pre-registered face image with a face image photographed by the photographing means; Control means for transmitting a search request to the opposite device based on the collation result in the face authentication means,
  • the opposing device is Storage means for storing identification information of the opposite device; When the search request transmitted from the information device is received, the transmitting device transmits the identification information stored in the storage device to the information device,
  • the information device is A device authentication unit that compares the identification information of the opposite device transmitted from the opposite device and the identification information of the opposite device included in the image of the opposite device captured by the imaging unit; The control unit registers the opposite device as a target device based on the collation result in the device authentication unit.
  • a face authentication process for collating a pre-registered face image with a face image photographed by the photographing means;
  • a device authentication process for collating the identification information of the counter device transmitted from the counter device with the identification information of the counter device included in the captured image of the counter device;
  • a registration process for registering the opposing device as a target device based on the face authentication process and the collation result in the device authentication process.
  • a program for causing an information device to execute A face authentication procedure for collating a pre-registered face image with a face image photographed by the photographing means; A device authentication procedure for collating the identification information of the counter device transmitted from the counter device with the identification information of the counter device included in the captured image of the counter device; A registration procedure for registering the opposite device as a target device is executed based on the face authentication procedure and the collation result in the device authentication procedure.
  • FIG. 4 is a sequence diagram for explaining a flow of a series of processes in the communication system shown in FIGS. 1 to 3; It is a figure which shows the specific example of the communication system shown in FIG.
  • FIG. 6 is a block diagram illustrating a configuration of the mobile phone illustrated in FIG. 5. It is a block diagram which shows the structure of the short-distance wireless small apparatus shown in FIG. 7 is a flowchart for explaining processing from the screen lock state to when the camera is activated in the mobile phone shown in FIG. 6.
  • FIG. 7 is a flowchart for explaining processing from when the camera is activated until the mobile phone shown in FIG. 6 shifts to a short-range wireless search mode.
  • 7 is a flowchart for explaining processing from when the mobile phone shown in FIG. 6 shifts to a short-range wireless search mode until registration of a short-range wireless small device as a pairing target device.
  • the face image is included in the image input to the control circuit in the step shown in FIG.
  • FIG. 1 is a block diagram showing an outline of a communication system according to the present invention.
  • FIG. 2 is a block diagram showing the configuration of the information device 10 shown in FIG.
  • FIG. 3 is a block diagram illustrating a configuration of the opposing device 20 illustrated in FIG.
  • the communication system of the present invention comprises an information device 10 and a counter device 20 as shown in FIG.
  • the information device 10 includes a photographing unit 11 serving as a photographing unit, a face authenticating unit 12 serving as a face authenticating unit, a device authenticating unit 13 serving as a device authenticating unit, and a control unit 14 serving as a control unit.
  • the imaging unit 11 is for capturing an image of the face of the user of the information device 10 and an image of the opposing device 20.
  • the face authentication unit 12 collates the face image registered in advance with the face image photographed by the photographing unit 11.
  • the device authentication unit 13 collates the identification information of the opposite device 20 transmitted from the opposite device 20 with the identification information of the opposite device 20 included in the image of the opposite device 20 photographed by the photographing unit 11.
  • the control unit 14 registers the opposite device 20 as a target device based on the collation results in the face authentication unit 12 and the device authentication unit 13.
  • the opposing device 20 includes a storage unit 21 serving as a storage unit and a transmission unit 22 serving as a transmission unit.
  • the storage unit 21 stores identification information of the opposing device 29.
  • the transmission unit 22 transmits the identification information stored in the storage unit 21 to the information device 10.
  • FIG. 4 is a sequence diagram for explaining a flow of a series of processes in the communication system shown in FIGS.
  • the face authentication unit 12 When the user of the information device 10 captures the user's face and the image of the opposite device 20 and the photographing unit 11 acquires the user's face of the information device 10 and the image of the opposite device 20 (step 1), the face authentication unit 12 However, the face image registered in advance is collated with the image of the user's face among the images photographed by the photographing unit 11 (step 2).
  • the information device 10 searches for the counter device 20 A search request is sent to execute (step 4).
  • the opposing device 20 When the opposing device 20 receives the search request transmitted by the information device 10 (step 5), the opposing device 20 transmits the identification information of the opposing device 20 stored in the storage unit 21 from the transmitting unit 22 (step 6).
  • the information device 10 When the information device 10 receives the identification information transmitted by the opposite device 20 (step 7), the information device 10 receives the identification information of the opposite device 20 transmitted from the opposite device 20 and the opposite image captured by the photographing unit 11. The identification information of the opposite device 20 included in the image of the device 20 is collated (step 8).
  • Step 9 the control unit 14 of the information device 10 registers the opposite device 20 as a target device (step 10).
  • the information device 10 terminates the process without registering the opposite device 20 as the target device (step 11).
  • FIG. 5 is a diagram showing an embodiment of the communication system shown in FIG.
  • FIG. 6 is a block diagram showing a configuration of the mobile phone 101 shown in FIG.
  • FIG. 7 is a block diagram showing a configuration of the short-range wireless small device 201 shown in FIG.
  • the communication system includes a mobile phone 101 corresponding to the information device 10 shown in FIG. 1 and a short-range wireless small device 201 corresponding to the opposite device 20 shown in FIG. It is configured to be communicable by Bluetooth communication that is distance wireless communication.
  • short-range wireless communication includes UWB (Ultra Wide Band), ZigBee, NFC (Near Field Communication), and infrared communication in addition to Bluetooth.
  • UWB Ultra Wide Band
  • ZigBee ZigBee
  • NFC Near Field Communication
  • infrared communication in addition to Bluetooth.
  • the communication distance varies depending on the communication method, a communication capable of communicating within a radius of about 100 m at maximum is defined as short-range wireless communication.
  • the cellular phone 101 includes an antenna 102, a wireless unit 103, a display unit 104, a camera 105 corresponding to the photographing unit 11 shown in FIG. 2, and a face authentication unit 12 shown in FIG.
  • the mobile phone 101 has a short-range wireless function for performing user authentication and short-range wireless connection device identification, authentication, and registration using an image captured by the camera 105.
  • the mobile phone 101 is provided with an audio output unit, an audio input unit, and the like. However, since these are not directly related to the present invention, description thereof is omitted.
  • the antenna 102 is used for exchanging radio signals with a network (not shown).
  • the wireless unit 103 transmits and receives wireless signals to and from the network via the antenna 102.
  • the display unit 104 is configured such that a touch pad for detecting an input operation by contact is superimposed on a display unit including a backlight and a display, and input is possible by touching the surface.
  • the camera 105 operates in response to activation and deactivation by the control circuit 107, and captures an image of the face of the user of the mobile phone 101 and an image of the short-range wireless small device 201.
  • the face authentication processing unit 106 extracts a face image from an image photographed by the camera 105 and compares the image with a face image of the user of the mobile phone 1 registered in advance to perform face authentication processing.
  • the short-range wireless antenna 114 is used for exchanging short-range wireless signals with the short-range wireless small device 201 by Bluetooth communication.
  • the short-range wireless unit 113 transmits and receives radio signals to and from the short-range wireless small device 201 via the short-range wireless antenna 114.
  • the short-range wireless control circuit 108 controls a short-range wireless function in the short-range wireless unit 113.
  • the short-range wireless authentication processing unit 109 extracts the image of the short-range wireless small device 201 from the image captured by the camera 105, and stores the identification information of the short-range wireless small device 201 included in the image as a small-unit identification information storage unit. Register at 110.
  • the short-range wireless authentication processing unit 109 also identifies the identification information of the short-range wireless small device 201 registered in the small-machine identification information storage unit 110, and the short-range wireless unit 113 and the short-range wireless control from the short-range wireless small device 201.
  • the identification of the short-range wireless small device 201 and the identification information included in the image of the short-range wireless small device 201 received via the circuit 108 are collated to authenticate the opposite device.
  • the hard key 111 is used to turn on / off the power supply of the mobile phone 101 when the key is pressed or to return the mobile phone 101 that has been shifted to the low power consumption mode to the normal mode.
  • the battery 112 serves as a power source for the mobile phone 101.
  • the control circuit 107 comprehensively controls all of the mobile phone 101, monitors the operation status of the hard keys 111 and the display unit 104, and controls the screen lock and the shift to the power saving mode.
  • the control circuit 107 controls the battery 112 to turn on the power of the mobile phone 101.
  • the battery 112 is controlled to turn off the mobile phone 101.
  • control circuit 107 shifts to the short-range wireless search mode based on the collation result in the face authentication processing unit 106 and sends a search request to the short-range wireless control circuit 108, the short-range wireless unit 113, and the short-range wireless antenna 114.
  • the short-range wireless small device 201 is registered as a pairing target device based on the collation result in the short-range wireless authentication processing unit 109.
  • the short-range wireless small device 201 includes a hard key 203 serving as an operation unit, an acceleration sensor 202 serving as a detection unit, a device information storage unit 208 corresponding to the storage unit 21 illustrated in FIG. It has a short-range wireless antenna 207, a short-range wireless unit 206, a short-range wireless control circuit 205, and a control circuit 204.
  • the short-range wireless antenna 207, the short-range wireless unit 206, and the short-range wireless control The circuit 205 and the control circuit 204 constitute the transmission unit 22 shown in FIG.
  • a Bluetooth headset, a Bluetooth wristwatch, a Bluetooth fidget, a Bluetooth mouse, a Bluetooth pen, a Bluetooth small speaker, a Bluetooth numeric keypad, or the like can be considered.
  • the hard key 203 includes buttons that can be operated from the outside.
  • the acceleration sensor 202 detects the movement of the short-range wireless small device 201 by detecting the acceleration applied to the short-range wireless small device 201.
  • the short-range wireless antenna 207 is used for exchanging short-range wireless signals with the mobile phone 101 by Bluetooth communication.
  • the short-range wireless unit 206 transmits and receives wireless signals to and from the mobile phone 101 via the short-range wireless antenna 207.
  • the near field wireless control circuit 205 controls the near field wireless function in the near field wireless unit 206.
  • identification information and images of the short-range wireless small device 201 are registered in advance as factory shipment values.
  • the identification information of the short-range wireless small device 201 is feature information registered in the image recognition dictionary, and includes information such as the external feature point, parts, features, and positional relationship of the device itself.
  • the control circuit 204 comprehensively controls all of the short-range wireless small devices 201, and is in a short-range wireless registration standby mode in accordance with an operation on the hard key 203 and a movement detected by the acceleration sensor 202.
  • the identification information stored in the device information storage unit 208 is transmitted via the short-range wireless control circuit 205, the short-range wireless unit 206, and the short-range wireless antenna 207. To the mobile phone 101.
  • FIG. 8 is a flowchart for explaining processing from the screen lock state until the camera 105 is activated in the mobile phone 101 shown in FIG.
  • the control circuit 107 of the mobile phone 101 monitors whether the hard key 111 is pressed or the user does not operate the display unit 104, and shifts to a screen lock state in which the operation of the display unit 104 is invalidated (step 101).
  • control circuit 107 shifts to the power saving mode and turns off the backlight of the display unit 104 (step 102).
  • control circuit 107 confirms that the hard key 111 is pressed (step 103)
  • the power saving mode is canceled and the camera 105 is activated (step 104).
  • FIG. 9 is a flowchart for explaining processing from when the camera 105 is activated in the mobile phone 101 shown in FIG. 6 until the mobile phone 101 shifts to the short-range wireless search mode.
  • control circuit 107 monitors an image captured and input by the camera 105 (step 105).
  • the image input to the control circuit 107 is transferred from the control circuit 107 to the face authentication processing unit 106, and the face authentication processing unit 106 determines whether the image transferred from the control unit 107 includes a face image. .
  • control circuit 107 determines whether or not the small-sized device identification information is included in the image input from the camera 105, and further monitors the determination result in the face authentication processing unit 106.
  • the control circuit 107 includes a dictionary that suppresses the features of devices such as small devices.
  • the control circuit 107 is input from the camera 105 by collating images input from the camera 105 with this dictionary. It is determined whether the identification information of the small device is included in the obtained image. Further, the control circuit 107 has a learning function for the dictionary, and it is conceivable to improve accuracy using feature information that is device identification information based on an image input from the camera 105.
  • the control circuit 107 When it is determined that the image input to the control circuit 107 includes a face image and identification information of a small device (step 106), the control circuit 107 performs face authentication processing on the face authentication processing unit 106. Give instructions to do so. In accordance with this instruction, the face authentication processing unit 106 performs face authentication processing by comparing a face image registered in advance as a user of the mobile phone 101 with a face image input from the camera 105 (step 107).
  • the control circuit 107 An instruction to register the small device is issued to the distance wireless authentication processing unit 109.
  • the short-range wireless authentication processing unit 109 extracts the small device image from the image input from the camera 105 and registers the small device identification information included in the image in the small device identification information storage unit 110. (Step 109).
  • the control circuit 107 stops the camera 105 (step 110) and releases the screen lock state (step 111).
  • the control circuit 107 instructs the short-range wireless control circuit 108 to shift to the short-range wireless device search mode.
  • the short-range wireless control circuit 108 shifts to the short-range wireless search mode, and transmits a search request via the short-range wireless unit 113 and the short-range wireless antenna 114 (step 112).
  • control circuit 107 determines that the control circuit 107 It is determined whether or not a face image is included in the image input to 107 (step 113).
  • control circuit 107 determines that a face image is included in the image input from the camera 105
  • the control circuit 107 instructs the face authentication processing unit 106 to perform face authentication processing.
  • the face authentication processing unit 106 performs face authentication processing by comparing the face image registered in advance as the user of the mobile phone 101 with the face image input from the camera 105 (step 114).
  • step 115 When the face image registered in advance as the user of the mobile phone 101 matches the face image input from the camera 105 and the user is successfully authenticated by face authentication (step 115), the control circuit 107 105 is stopped (step 116), and the screen lock state is released (step 117).
  • steps 108 and 115 when the face image registered in advance in the mobile phone 101 and the face image input from the camera 105 do not match and the user authentication by face authentication fails, If it is determined that the face image is not included in the image input to the control circuit 107, the process proceeds to a process described later.
  • FIG. 10 is a flowchart for explaining processing from the shift to the short-range wireless search mode in the mobile phone 101 shown in FIG. 6 until registration of the short-range wireless small device 201 as a pairing target device.
  • the short-range wireless control circuit 108 After the mobile phone 101 shifts to the short-range wireless search mode and transmits a search request, the short-range wireless control circuit 108 returns a response to the search request from, for example, the short-range wireless small device 201 as a small device. 114 and the short-range wireless unit 113 (step 118), the short-range wireless control circuit 108 becomes a short-range wireless communication partner in accordance with a series of connection sequences defined by the short-range wireless communication standard. An address and a device name are acquired and exchanged with the wireless small device 201 (step 119).
  • the short-range wireless small device 201 is taken as an example of a small device to be searched, but there may be a plurality of small devices to be searched instead of one. In that case, the addresses and device names of a plurality of units are acquired and exchanged.
  • the short-range wireless control circuit 108 transmits the identification information of the short-range wireless small device 201 and the image of the short-range wireless small device 201 including the identification information via the short-range wireless antenna 114 and the short-range wireless unit 113.
  • the short-range wireless control circuit 108 temporarily stores the received identification information and image in a list in opposition to the address and device name of the short-range wireless small device 201. As described above, when identification information or images are received from a plurality of small devices, each model is temporarily stored in the list in opposition to the address and device name of the small device.
  • the short-range wireless control circuit 108 transmits the data temporarily stored in the list to the short-range wireless authentication processing unit 109 as described above.
  • the short-range wireless authentication processing unit 109 extracts identification information of the small device from the image data.
  • the extraction of the identification information of the small device is also performed using a dictionary that suppresses the characteristics of the device such as the small device.
  • the short-range wireless authentication processing unit 109 reads out the identification information of the small device registered in the small device identification information storage unit 110, compares it with the identification information of the small device extracted from the received data, and performs device authentication processing. (Step 121). When there are a plurality of pieces of identification information stored in the list, the above-described comparison and collation are performed in order to determine whether there is a match.
  • the short-range wireless authentication processing unit 109 When a small device with matching identification information (short-range wireless small device 201 in this embodiment) is found, the short-range wireless authentication processing unit 109 notifies the short-range wireless control unit 108 to that effect.
  • the short-range wireless control unit 108 transmits an authentication request to the short-range wireless small device 201 via the short-range wireless unit 113 and the short-range wireless antenna 114, and a series of steps defined by the short-range wireless communication standard. According to the authentication sequence, an authentication key is exchanged with the short-range wireless small device 201 and authentication processing is performed. When the device authentication is successful (step 122), the short-range wireless control unit 108 The control circuit 107 is notified that the authentication is successful.
  • the control circuit 107 registers the short-range wireless small device 201 that has been successfully authenticated as a pairing target device, and completes device registration (step 123).
  • the short-range wireless control circuit 108 does not receive a response from the small device via the short-range wireless antenna 114 and the short-range wireless unit 113 for a certain period of time. (Step 124), the control circuit 107 ends the short-range wireless search mode (Step 125), and displays on the display unit 104 that the corresponding small device is not searched (Step 126).
  • steps 108 and 115 shown in FIG. 9 the face image registered in advance in the mobile phone 101 does not match the face image input from the camera 105, and the user authentication by the face authentication has failed.
  • a process when it is determined in step 113 shown in FIG. 9 that the face image is not included in the image input to the control circuit 107 will be described.
  • FIG. 11 shows the case where the mobile phone 101 shown in FIG. 6 fails to authenticate the user in steps 108 and 115 shown in FIG. 9, or is inputted to the control circuit 107 in step 113 shown in FIG. It is a flowchart for demonstrating the process when it determines with the face image not being included in the image.
  • the control circuit 107 stops the operation of the camera 105 (step 128) and maintains the screen lock state of the display unit 104 (step 129). ).
  • FIG. 12 is a flowchart for explaining processing in the short-range wireless small device 201 shown in FIG.
  • the control circuit 204 determines whether the movement detected by the acceleration sensor 202 is a predetermined movement.
  • the control circuit 204 instructs the short-range wireless control unit 205 to shift to the registration standby mode, and the short-range wireless control unit 205 receives this instruction and shifts to the registration standby mode (step 202).
  • the short-range wireless control unit 205 receives the search request transmitted from the mobile phone 101 in step 112 via the short-range wireless antenna 207 and the short-range wireless unit 206 (step 203), the short-range wireless communication unit 205 In accordance with a series of connection sequences defined by the standard, an address and a device name are exchanged with the mobile phone 101 which is a near field communication partner (step 204).
  • the short-range wireless small device 201 consumes a large amount of power in a standby state for receiving a search request transmitted from the mobile phone 101, so that the hard key 203 is pressed and the acceleration sensor 202 is used as described above. By adopting a mechanism for shifting to the standby mode according to the detected movement, power consumption can be reduced.
  • the short-range wireless control circuit 205 obtains the identification information of the short-range wireless small device 201 registered in advance in the device information storage unit 208 together with the address and device name of the own terminal or the image of the own device including this identification information. Transmit to the mobile phone 101 (step 205).
  • the short-range wireless control circuit 205 uses the authentication request transmitted from the mobile phone 101 as a trigger, and in accordance with a series of authentication sequences defined by the short-range wireless communication standard, Exchange and authentication processing is performed (step 206).
  • the short-range wireless control unit 205 When an authentication key is exchanged and an authentication process is performed and the device authentication is successful (step 207), the short-range wireless control unit 205 notifies the control circuit 204 that the mobile phone 101 has been successfully authenticated.
  • the control circuit 204 registers the mobile phone 101 that has been successfully authenticated as a pairing target device, and completes device registration (step 208).
  • FIG. 13 is a diagram for explaining an overview of the entire processing in the communication system shown in FIG.
  • the user of the mobile phone 101 shakes the short-range wireless small device 201 to be registered as a pairing device with the mobile phone 101 and performs an operation that is intuitively understandable just by photographing with the camera 15 of the mobile phone 101. It is possible to register a short-range wireless device.
  • the mobile phone 101 collates a pre-registered face image with a captured face image to authenticate the user, and then captures the captured short-range wireless small device 201. And the identification information of the short-range wireless small device 201 transmitted from the short-range wireless small device 201 are collated to perform device authentication and register the target device to be paired. It is possible to easily perform short-range wireless registration without complicated procedures associated with distance wireless registration and user operation, and without the user being aware of the mode of registration operation. At that time, the user's face image is not stored in the pairing target device, and the user of the cellular phone 101 is registered by performing short-range wireless device registration together with user authentication by face authentication. It is possible to prevent a third party other than the device from registering the device without knowing it, and to ensure security.
  • the mobile phone 101 has been described by taking as an example the case where the user's face and the short-range wireless small device 201 are simultaneously captured and captured as one image. First, the user's face is photographed at 105 and face authentication is performed, and then the camera 105 is stopped for a certain period of time. You may do it. In this case, not only small devices but also large devices can be registered for short-range wireless devices. However, in the case where the mobile phone 101 captures the user's face and the short-range wireless small device 201 at the same time and captures it as one image, it avoids a malfunction in which the device photographed by the camera 105 is unintentionally registered. There is an effect that can be done.
  • face authentication face authentication performed when the screen lock state of the display unit 104 is released is used, but it may be performed separately from the face authentication for releasing the screen lock state.
  • face authentication face authentication performed when the screen lock state of the display unit 104 is released is used, but it may be performed separately from the face authentication for releasing the screen lock state.
  • those using face authentication that releases the screen lock state can reduce the number of processes and operations until registration for pairing, and it is necessary to bother to start the camera for short-range wireless registration There is no excess power consumption.
  • the short-range wireless small device 201 shifts to the short-range wireless search standby mode by making a certain regular movement while pressing the hard key 203 as an example.
  • a certain regular movement may be performed immediately after the power is turned on to shift to the short-range wireless search standby mode.
  • the processing in the information device 10 is a recording medium that can be read by a computer serving as the information device 10 in addition to the above-described dedicated hardware.
  • the information device 10 may read and execute a program recorded on the recording medium.
  • the recording medium readable by the information device 10 includes an IC card, a memory card, a transferable recording medium such as a floppy disk (registered trademark), a magneto-optical disk, a DVD, and a CD, as well as a built-in information device 10. Refers to the HDD or the like.
  • the program recorded on this recording medium is read by a control block, for example, and the same processing as described above is performed under the control of the control block.
  • the information device 10 used in the present invention is not limited to the mobile phone 101 as described above, but includes a tablet terminal, a smartphone, a portable music player, a portable game machine, a notebook PC, a PDA (Personal Date Assistants), a digital camera, and a remote controller. Etc.
  • Photographing means for photographing the image of the face and the image of the opposite device; Face authentication means for collating a pre-registered face image with a face image photographed by the photographing means; Device authentication means for comparing the identification information of the opposite device transmitted from the opposite device with the identification information of the opposite device included in the image of the opposite device taken by the photographing means; An information device comprising: the face authentication unit; and a control unit that registers the opposite device as a target device based on a collation result in the device authentication unit.
  • the control unit is an information device that releases the lock state of the information device based on a collation result in the face authentication unit.
  • the photographing unit photographs the face image and the image of the opposite device as one image
  • the face authentication means extracts a face image from the one image
  • the device authentication means is an information device that extracts an image of the opposite device from the one image.
  • An opposing device Storage means for storing identification information of the opposite device;
  • a counter device comprising: a transmission unit that transmits the identification information stored in the storage unit to the information device when a search request is received from the information device.
  • Appendix 6 In the opposing device described in Appendix 5, An operation means for accepting an external operation; Detecting means for detecting movement of the opposite device, A counter device that shifts to the predetermined mode when the detection unit detects a movement of the counter device while an external operation is received by the operation unit.
  • the information device is Photographing means for photographing the image of the face and the image of the opposite device; Face authentication means for collating a pre-registered face image with a face image photographed by the photographing means; Control means for transmitting a search request to the opposite device based on the collation result in the face authentication means,
  • the opposing device is Storage means for storing identification information of the opposite device; When the search request transmitted from the information device is received, the transmitting device transmits the identification information stored in the storage device to the information device,
  • the information device is A device authentication unit that compares the identification information of the opposite device transmitted from the opposite device and the identification information of the opposite device included in the image of the opposite device captured by the imaging unit;
  • the said control means is a communication system which registers the said opposing apparatus as object apparatus based on the collation result in the said apparatus authentication means.
  • a control method for information equipment A face authentication process for collating a pre-registered face image with a face image photographed by the photographing means;
  • a device authentication process for collating the identification information of the counter device transmitted from the counter device with the identification information of the counter device included in the captured image of the counter device;
  • a control method comprising: a registration process for registering the opposing device as a target device based on the face authentication process and a matching result in the device authentication process.
  • (Appendix 9) Information equipment A face authentication procedure for collating a pre-registered face image with a face image photographed by the photographing means; A device authentication procedure for collating the identification information of the counter device transmitted from the counter device with the identification information of the counter device included in the captured image of the counter device; A program for executing the face authentication procedure and a registration procedure for registering the opposite device as a target device based on a matching result in the device authentication procedure.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Telephone Function (AREA)

Abstract

 顔の画像と対向機器の画像とを撮影する撮影部11と、予め登録された顔画像と、撮影部11にて撮影された顔の画像とを照合する顔認証部12と、対向機器から送信されてきた当該対向機器の識別情報と、撮影部11にて撮影された対向機器の画像に含まれる当該対向機器の識別情報とを照合する機器認証部13と、顔認証部12と機器認証部13における照合結果に基づいて対向機器を対象機器として登録する制御部14とを有する。

Description

情報機器、対向機器、通信システム、情報機器の制御方法及びプログラム
 本発明は、情報機器と対向機器とのペアリング技術に関し、特に、セキュリティ性を確保しながらも操作を簡略化させる技術に関する。
 今般、Bluetooth(登録商標)を搭載した製品が多数製品化され、携帯電話機やスマートフォン等にも多く搭載されるようになった。Bluetoothは、携帯電話機やスマートフォンと、対向機器となる小型機器とのペアリングに用いられているが、ペアリング機能の使用率は依然として低い。ペアリング機能が使用されない理由として、最初の設定である機器同士の認証登録手順等が複雑で解りにくいという点が考えられる。Bluetooth Specification Ver2.1以降でシンプルペアリングが適用され、登録手順は軽減されたが、一般ユーザーにとっては、煩雑でわかりにくいという状況は変わっていない。また、Bluetooth Specification Ver4.0でlow energy機能が追加されたが、low energy機器でも状況は同じである。
 一方、デジタルカメラや携帯電話機、スマートフォン等では、顔認証技術が発達しており、顔認証を利用した画面ロックの解除機能を搭載したスマートフォン等も製品化されている。
 顔画像を用いて2つの機器をペアリングする技術が、例えば特許文献1に開示されている。特許文献1に開示された技術では、一方の機器Aにそのユーザのプロフィール情報として顔画像を予め登録しておき、カメラ機能を持つ他方の機器Bにて機器Aのユーザの顔を撮影してその顔画像を機器Aに送信し、機器Aにおいて、登録された顔画像と機器Bから送信された顔画像とを比較、照合することにより、顔画像を認証情報として用いてペアリング処理を行っている。
 この技術を用いることにより、ユーザがキーや画面を操作することなく、また、ユーザが登録手順の際のモード等を意識することなく、2つの機器のペアリングを行うことができ、ユーザの使い勝手の良さを向上させることができる。
特開2011?227882号公報
 上述したような技術においては、操作を簡略化するためにユーザの顔画像を用いている。ユーザの顔画像は、ペアリングする2つの機器のそれぞれにて撮影されるため、ペアリングする2つの機器のそれぞれが、カメラ機能等の撮影手段を有している必要がある。また、ユーザの顔画像は、そのユーザが所有する機器とペアリングされる機器においても、撮影保持されることになるが、顔画像は、非常にセキュリティ性が高い個人情報であるため、漏えいした場合に悪用される虞れがあり、安易に登録することがはばかれてしまうという問題点がある。
 本発明は、上述したような技術が有する問題点に鑑みてなされたものであって、セキュリティ性を確保しながらもペアリングの操作を簡略化することができる、情報機器、対向機器、通信システム、情報機器の制御方法及びプログラムを提供することを目的とする。
 上記目的を達成するために本発明は、
 顔の画像と対向機器の画像とを撮影する撮影手段と、
 予め登録された顔画像と、前記撮影手段にて撮影された顔の画像とを照合する顔認証手段と、
 前記対向機器から送信されてきた当該対向機器の識別情報と、前記撮影手段にて撮影された対向機器の画像に含まれる当該対向機器の識別情報とを照合する機器認証手段と、
 前記顔認証手段と前記機器認証手段における照合結果に基づいて前記対向機器を対象機器として登録する制御手段とを有する。
 また、対向機器であって、
 当該対向機器の識別情報を記憶した記憶手段と、
 情報機器からの検索要求を受信した場合、前記記憶手段に記憶された識別情報を前記情報機器に送信する送信手段とを有する。
 また、情報機器と対向機器とを有し、
 前記情報機器は、
 顔の画像と対向機器の画像とを撮影する撮影手段と、
 予め登録された顔画像と、前記撮影手段にて撮影された顔の画像とを照合する顔認証手段と、
 前記顔認証手段における照合結果に基づいて前記対向機器に検索要求を送信する制御手段とを有し、
 前記対向機器は、
 当該対向機器の識別情報を記憶した記憶手段と、
 前記情報機器から送信された検索要求を受信した場合、前記記憶手段に記憶された識別情報を前記情報機器に送信する送信手段とを有し、
 前記情報機器は、
 前記対向機器から送信されてきた当該対向機器の識別情報と、前記撮影手段にて撮影された対向機器の画像に含まれる当該対向機器の識別情報とを照合する機器認証手段を有し、
 前記制御手段は、前記機器認証手段における照合結果に基づいて前記対向機器を対象機器として登録する。
 また、情報機器の制御方法であって、
 予め登録された顔画像と、撮影手段にて撮影された顔の画像とを照合する顔認証処理と、
 前記対向機器から送信されてきた当該対向機器の識別情報と、前記撮影された対向機器の画像に含まれる当該対向機器の識別情報とを照合する機器認証処理と、
 前記顔認証処理と前記機器認証処理における照合結果に基づいて前記対向機器を対象機器として登録する登録処理とを有する。
 また、情報機器に実行させるためのプログラムであって、
 予め登録された顔画像と、撮影手段にて撮影された顔の画像とを照合する顔認証手順と、
 前記対向機器から送信されてきた当該対向機器の識別情報と、前記撮影された対向機器の画像に含まれる当該対向機器の識別情報とを照合する機器認証手順と、
 前記顔認証手順と前記機器認証手順における照合結果に基づいて前記対向機器を対象機器として登録する登録手順とを実行させる。
 本発明によれば、セキュリティ性を確保しながらもペアリングの操作を簡略化することができる。
本発明の通信システムの概要を示すブロック図である。 図1に示した情報機器の構成を示すブロック図である。 図1に示した対向機器の構成を示すブロック図である。 図1~図3に示した通信システムにおける一連の処理の流れを説明するためのシーケンス図である。 図1に示した通信システムの具体例を示す図である。 図5に示した携帯電話機の構成を示すブロック図である。 図5に示した近距離無線小型機器の構成を示すブロック図である。 図6に示した携帯電話機において画面ロック状態からカメラが起動するまでの処理を説明するためのフローチャートである。 図6に示した携帯電話機においてカメラが起動してから近距離無線サーチモードに移行するまでの処理を説明するためのフローチャートである。 図6に示した携帯電話機において近距離無線サーチモードに移行してから近距離無線小型機器をペアリングの対象機器として登録するまでの処理を説明するためのフローチャートである。 図6に示した携帯電話機において、図9に示したステップ108,115にてユーザの認証に失敗した場合や、図9に示したステップにて制御回路に入力された画像に顔画像が含まれていないと判定された場合の処理を説明するためのフローチャートである。 図7に示した近距離無線小型機器における処理を説明するためのフローチャートである。 図5に示した通信システムにおける処理の全体の概要を説明するための図である。
 以下に、本発明の実施の形態について図面を参照して説明する。
 まず、本発明の概要について説明する。
 図1は、本発明の通信システムの概要を示すブロック図である。図2は、図1に示した情報機器10の構成を示すブロック図である。図3は、図1に示した対向機器20の構成を示すブロック図である。
 本発明の通信システムは図1に示すように、情報機器10と、対向機器20とから構成される。
 情報機器10は図2に示すように、撮影手段となる撮影部11と、顔認証手段となる顔認証部12と、機器認証手段となる機器認証部13と、制御手段となる制御部14とを有している。撮影部11は、情報機器10のユーザの顔の画像と、対向機器20の画像とを撮影するためのものである。顔認証部12は、予め登録された顔画像と、撮影部11にて撮影された顔の画像とを照合する。機器認証部13は、対向機器20から送信されてきた対向機器20の識別情報と、撮影部11にて撮影された対向機器20の画像に含まれる対向機器20の識別情報とを照合する。制御部14は、顔認証部12と機器認証部13における照合結果に基づいて対向機器20を対象機器として登録する。
 対向機器20は図3に示すように、記憶手段となる記憶部21と、送信手段となる送信部22とを有している。記憶部21は、対向機器29の識別情報を記憶している。送信部22は、情報機器10からの検索要求を受信した場合、記憶部21に記憶された識別情報を情報機器10に送信する。
 図4は、図1~図3に示した通信システムにおける一連の処理の流れを説明するためのシーケンス図である。
 情報機器10のユーザがユーザの顔と対向機器20の画像を撮影することにより、撮影部11が情報機器10のユーザの顔と対向機器20の画像を取得すると(ステップ1)、顔認証部12が、予め登録された顔画像と、撮影部11にて撮影された画像のうちユーザの顔の画像とを照合する(ステップ2)。
 予め登録された顔画像と、撮影部11にて撮影された顔の画像とが一致して顔認証によるユーザの認証に成功した場合は(ステップ3)、情報機器10は、対向機器20を検索するための検索要求を送信する(ステップ4)。
 情報機器10が送信した検索要求を対向機器20が受信すると(ステップ5)、対向機器20は、記憶部21に記憶された対向機器20の識別情報を送信部22から送信する(ステップ6)。
 対向機器20が送信した識別情報を情報機器10が受信すると(ステップ7)、情報機器10は、対向機器20から送信されてきた対向機器20の識別情報と、撮影部11にて撮影された対向機器20の画像に含まれる対向機器20の識別情報とを照合する(ステップ8)。
 対向機器20から送信されてきた対向機器20の識別情報と、撮影部11にて撮影された対向機器20の画像に含まれる対向機器20の識別情報とが一致して機器認証に成功した場合は(ステップ9)、情報機器10の制御部14は、対向機器20を対象機器として登録する(ステップ10)。
 また、ユーザの認証や機器認証に失敗した場合は、情報機器10は、対向機器20を対象機器として登録することなく処理を終了する(ステップ11)。
 以下に、上述した通信システムについて具体的な例を挙げて説明する。
 図5は、図1に示した通信システムの実施の一形態を示す図である。図6は、図5に示した携帯電話機101の構成を示すブロック図である。図7は、図5に示した近距離無線小型機器201の構成を示すブロック図である。
 本形態における通信システムは図5に示すように、図1に示した情報機器10に相当する携帯電話機101と、図1に示した対向機器20に相当する近距離無線小型機器201とが、近距離無線通信であるBluetooth通信によって通信可能に構成されている。なお、近距離無線通信としては、Bluetooth以外にもUWB(Ultra Wide Band)、ZigBee、NFC(Near Field Communication)、さらには赤外線通信が挙げられる。その通信方式によって通信距離は異なるが、最大で半径100m程度の範囲で通信可能なものを近距離無線通信と定義する。
 携帯電話機101は図6に示すように、アンテナ102と、無線部103と、表示部104と、図2に示した撮影部11に相当するカメラ105と、図2に示した顔認証部12に相当する顔認証処理部106と、近距離無線制御回路108と、近距離無線部113と、近距離無線用アンテナ114と、図2に示した機器認証部13に相当する近距離無線認証処理部109と、小型機識別情報記憶部110と、ハードキー111と、バッテリー112と、図2に示した制御部14に相当する制御回路107とを有している。携帯電話機101はこのような構成を有することにより、カメラ105によって撮影された画像を用いてユーザの認証と、近距離無線の接続機器識別、認証、登録を行う近距離無線機能を実装している。なお、携帯電話機101には、これらの他に、音声出力部や音声入力部等が設けられているが、これらは本発明に直接関係しないものであるため、説明は省略する。
 アンテナ102は、ネットワーク網(不図示)との無線信号のやり取りに使用される。
 無線部103は、アンテナ102を介してネットワーク網と無線信号の送受信を行う。
 表示部104は、バックライト及びディスプレイからなる表示ユニット上に、接触による入力操作を検出するタッチパッドが重ね合わされて構成され、表面を触れることにより入力が可能なものである。
 カメラ105は、制御回路107による起動、停止を受けて動作し、携帯電話機101のユーザの顔の画像と、近距離無線小型機器201の画像とを撮影するためのものである。
 顔認証処理部106は、カメラ105によって撮影された画像から顔の画像を抽出し、この画像を、予め登録されている携帯電話機1のユーザの顔画像と照合して顔認証処理を行う。
 近距離無線用アンテナ114は、Bluetooth通信によって近距離無線小型機器201との近距離無線信号のやり取りに使用される。
 近距離無線部113は、近距離無線用アンテナ114を介して近距離無線小型機器201と無線信号の送受信を行う。
 近距離無線制御回路108は、近距離無線部113における近距離無線機能を制御する。
 近距離無線認証処理部109は、カメラ105によって撮影された画像から近距離無線小型機器201の画像を抽出し、この画像に含まれる近距離無線小型機器201の識別情報を小型機識別情報記憶部110に登録する。また、近距離無線認証処理部109は、小型機識別情報記憶部110に登録された近距離無線小型機器201の識別情報と、近距離無線小型機器201から近距離無線部113及び近距離無線制御回路108を介して受信した、近距離無線小型機器201の識別情報や近距離無線小型機器201の画像に含まれる識別情報とを照合して対向機器の認証を行う。
 ハードキー111は、押下により携帯電話機101の電源をON/OFFしたり、低消費電力モードに移行している携帯電話機101を通常モードに復帰させたりするためのものである。
 バッテリー112は、携帯電話機101の電源となるものである。
 制御回路107は、携帯電話機101の全てを総括的に制御するものであって、ハードキー111や表示部104に対する操作状況を監視し、画面ロックや省電力モードへの移行を制御する。制御回路107は、電源OFF時にハードキー111が長く押下された場合は、バッテリー112を制御して携帯電話機101の電源をONに移行し、電源ON時にハードキー111が長く押下された場合は、バッテリー112を制御して携帯電話機101の電源をOFFにする。また、制御回路107は、顔認証処理部106における照合結果に基づいて近距離無線サーチモードに移行して検索要求を近距離無線制御回路108、近距離無線部113及び近距離無線用アンテナ114を介して送信し、近距離無線認証処理部109における照合結果に基づいて近距離無線小型機器201をペアリングの対象機器として登録する。
 近距離無線小型機器201は図7に示すように、操作手段となるハードキー203と、検出手段となる加速度センサ202と、図3に示した記憶部21に相当する機器情報記憶部208と、近距離無線用アンテナ207と、近距離無線部206と、近距離無線制御回路205と、制御回路204とを有しており、近距離無線用アンテナ207、近距離無線部206、近距離無線制御回路205及び制御回路204から図3に示した送信部22が構成される。この近距離無線小型機器201としては、例えば、BluetoothヘッドセットやBluetooth搭載腕時計、Bluetoothフィジェット、Bluetoothマウス、Bluetoothペン、Bluetooth小型スピーカー、Bluetoothテンキー等が考えられる。
 ハードキー203は、外部から操作可能なボタン等からなる。
 加速度センサ202は、近距離無線小型機器201にかかる加速度を検知することにより、近距離無線小型機器201の移動を検出する。
 近距離無線用アンテナ207は、Bluetooth通信によって携帯電話機101との近距離無線信号のやり取りに使用される。
 近距離無線部206は、近距離無線用アンテナ207を介して携帯電話機101と無線信号の送受信を行う。
 近距離無線制御回路205は、近距離無線部206における近距離無線機能を制御する。
 機器情報記憶部208は、近距離無線小型機器201のデバイスアドレスやデバイスネームの他、近距離無線小型機器201の識別情報や画像が工場出荷値として予め登録されている。なお、近距離無線小型機器201の識別情報は、画像認識の辞書に登録されているような特徴情報であって、自機器の外形特徴点、パーツや特徴及び位置関係等の情報からなる。
 制御回路204は、近距離無線小型機器201の全てを総括的に制御するものであって、ハードキー203に対する操作や加速度センサ202にて検出された移動に伴って、近距離無線登録の待ち受けモードに移行し、携帯電話機101からの検索要求を受信した場合、機器情報記憶部208に記憶された識別情報を、近距離無線制御回路205、近距離無線部206及び近距離無線用アンテナ207を介して携帯電話機101に送信する。
 以下に、上記のように構成された通信システムにおける近距離無線小型機器201の登録時の処理について説明する、なお、以下の説明においては、顔認証は、既知の技術を利用するものであるため詳細な説明は省略する。また、近距離無線の規格で規定された機器登録手順についても、既知の技術を利用するものであるため詳細な説明は省略し、差分を説明する。
 まず、携帯電話機101において画面ロック状態からカメラ105が起動するまでの処理について説明する。
 図8は、図6に示した携帯電話機101において画面ロック状態からカメラ105が起動するまでの処理を説明するためのフローチャートである。
 携帯電話機101の制御回路107が、ハードキー111の押下や表示部104に対するユーザによる操作がないことを監視し、表示部104の操作を無効にする画面ロック状態に移行する(ステップ101)。
 さらにハードキー111の押下や表示部104に対するユーザによる操作がない状態が続くと、制御回路107は、省電力モードに移行して表示部104のバックライトをOFFにする(ステップ102)。
 その後、制御回路107がハードキー111の押下を確認すると(ステップ103)、省電力モードを解除してカメラ105を起動させる(ステップ104)。
 次に、携帯電話機101においてカメラ105が起動してから近距離無線サーチモードに移行するまでの処理について説明する。
 図9は、図6に示した携帯電話機101においてカメラ105が起動してから近距離無線サーチモードに移行するまでの処理を説明するためのフローチャートである。
 カメラ105が起動すると、制御回路107はカメラ105にて撮影されて入力される画像を監視する(ステップ105)。
 制御回路107に入力された画像は、制御回路107から顔認証処理部106に渡され、顔認証処理部106は、制御部107から渡された画像に顔画像が含まれているかどうかを判定する。
 また、制御回路107は、カメラ105から入力された画像に小型機器の識別情報が含まれているかを判定し、さらに、顔認証処理部106における判定結果を監視する。ここで、制御回路107は、小型機器等の機器の特徴を抑えた辞書を備えており、カメラ105から入力された画像をこの辞書と照合することにより、制御回路107は、カメラ105から入力された画像に小型機器の識別情報が含まれているかを判定する。さらに制御回路107は、この辞書についての学習機能を有し、カメラ105から入力された画像に基づいて機器の識別情報となる特徴情報を用いて精度を向上することも考えられる。
 制御回路107に入力された画像に、顔画像と小型機器の識別情報とが含まれていると判定された場合(ステップ106)、制御回路107は顔認証処理部106に対して顔認証処理を行う旨の指示を出す。顔認証処理部106は、この指示に従って、携帯電話機101のユーザとして予め登録されている顔画像と、カメラ105から入力された顔画像とを照合することにより顔認証処理を行う(ステップ107)。
 携帯電話機101のユーザとして予め登録されている顔画像と、カメラ105から入力された顔画像とが一致して顔認証によるユーザの認証に成功した場合は(ステップ108)、制御回路107は、近距離無線認証処理部109に対して、小型機器の登録を行う旨の指示を出す。近距離無線認証処理部109は、この指示に従って、カメラ105から入力された画像から小型機器の画像を抽出し、この画像に含まれる小型機器の識別情報を小型機識別情報記憶部110に登録する(ステップ109)。
 制御回路107は、カメラ105を停止し(ステップ110)、画面ロック状態を解除する(ステップ111)。
 その後、制御回路107は、近距離無線制御回路108に対して、近距離無線の機器の検索モードに移行する旨の指示を出す。近距離無線制御回路108は、この指示に従って、近距離無線サーチモードに移行し、近距離無線部113及び近距離無線用アンテナ114を介して検索要求を送信する(ステップ112)。
 一方、制御回路107に入力された画像に、顔画像と小型機器の識別情報とが含まれていないと判定された場合は、制御回路107は、顔認証処理部106における判定結果において、制御回路107に入力された画像に顔画像が含まれているかどうかを判定する(ステップ113)。
 制御回路107は、カメラ105から入力された画像に顔画像が含まれていると判定した場合、制御回路107は顔認証処理部106に対して顔認証処理を行う旨の指示を出す。顔認証処理部106は、この指示に従って、携帯電話機101のユーザとして予め登録されている顔画像と、カメラ105から入力された顔画像とを照合することにより顔認証処理を行う(ステップ114)。
 携帯電話機101のユーザとして予め登録されている顔画像と、カメラ105から入力された顔画像とが一致して顔認証によるユーザの認証に成功した場合は(ステップ115)、制御回路107は、カメラ105を停止し(ステップ116)、画面ロック状態を解除する(ステップ117)。
 また、ステップ108,115において、携帯電話機101に予め登録されている顔画像と、カメラ105から入力された顔画像とが一致せずに顔認証によるユーザの認証に失敗した場合や、ステップ113にて制御回路107に入力された画像に顔画像が含まれていないと判定された場合は、後述する処理に移行する。
 次に、携帯電話機101において近距離無線サーチモードに移行してから近距離無線小型機器201をペアリングの対象機器として登録するまでの処理について説明する。
 図10は、図6に示した携帯電話機101において近距離無線サーチモードに移行してから近距離無線小型機器201をペアリングの対象機器として登録するまでの処理を説明するためのフローチャートである。
 携帯電話機101が近距離無線サーチモードに移行して検索要求を送信した後、近距離無線制御回路108が、小型機器として例えば近距離無線小型機器201からの検索要求に対する応答を近距離無線用アンテナ114及び近距離無線部113を介して受信すると(ステップ118)、近距離無線制御回路108は、近距離無線通信の規格で規定される一連の接続シーケンスに従い、近距離無線通信相手となる近距離無線小型機器201との間にてアドレス及びデバイスネームを取得、交換する(ステップ119)。なお、本例では、検索される小型機器として近距離無線小型機器201を例に挙げるが、検索される小型機器は1台ではなく複数台である場合もある。その場合、複数台のそれぞれのアドレス及びデバイスネームを取得、交換することになる。
 近距離無線制御回路108は、続いて、近距離無線小型機器201の識別情報やこの識別情報が含まれる近距離無線小型機器201の画像を近距離無線用アンテナ114及び近距離無線部113を介して受信すると(ステップ120)、近距離無線制御回路108は、受信した識別情報や画像を近距離無線小型機器201のアドレス及びデバイスネームに対向づけて一時的にリストに保存する。なお、上述したように複数台の小型機器から識別情報や画像を受信した場合は、1機種ごとにその小型機器のアドレス及びデバイスネームに対向づけて一時的にリストに保存することになる。
 その後、近距離無線制御回路108は、上述したように一時的にリストに保存したデータを近距離無線認証処理部109に送信する。
 近距離無線認証処理部109は、受信したデータが画像データであった場合、その画像データから小型機器の識別情報を抽出する。なお、この小型機器の識別情報の抽出についても、小型機器等の機器の特徴を抑えた辞書を用いて行う。
 次に、近距離無線認証処理部109は、小型機識別情報記憶部110に登録された小型機器の識別情報を読み出し、受信したデータから抽出した小型機器の識別情報と比較照合し、機器認証処理を行う(ステップ121)。なお、リストに保存された識別情報が複数の機器分ある場合には、上述した比較照合を順番に行い、一致するものがあるか判定する。
 識別情報が一致する小型機器(本形態においては近距離無線小型機器201)が見つかった場合、近距離無線認証処理部109は近距離無線制御部108にその旨を通知する。
 近距離無線制御部108は、近距離無線小型機器201に対して近距離無線部113及び近距離無線用アンテナ114を介して認証要求を送信し、近距離無線通信の規格で規定される一連の認証シーケンスに従い、近距離無線小型機器201との間で認証キーの交換、認証処理を行い、機器認証が成功した場合(ステップ122)、近距離無線制御部108は、近距離無線小型機器201の認証が成功した旨を制御回路107に通知する。
 制御回路107は、認証が成功した近距離無線小型機器201をペアリングの対象機器として登録し、機器登録を完了する(ステップ123)。
 一方、携帯電話機101が近距離無線サーチモードに移行した後に、近距離無線制御回路108が、小型機器からの応答を近距離無線用アンテナ114及び近距離無線部113を介して一定時間受信しない場合は(ステップ124)、制御回路107は近距離無線サーチモードを終了し(ステップ125)、対応する小型機器が検索されない旨を表示部104に表示する(ステップ126)。
 次に、図9に示したステップ108,115において、携帯電話機101に予め登録されている顔画像と、カメラ105から入力された顔画像とが一致せずに顔認証によるユーザの認証に失敗した場合や、図9に示したステップ113にて制御回路107に入力された画像に顔画像が含まれていないと判定された場合の処理について説明する。
 図11は、図6に示した携帯電話機101において、図9に示したステップ108,115にてユーザの認証に失敗した場合や、図9に示したステップ113にて制御回路107に入力された画像に顔画像が含まれていないと判定された場合の処理を説明するためのフローチャートである。
 携帯電話機101において、図9に示したステップ108,115にてユーザの認証に失敗した場合や、図9に示したステップ113にて制御回路107に入力された画像に顔画像が含まれていないと判定された場合は、その処理から例えば10秒が経過すると(ステップ127)、制御回路107はカメラ105の動作を停止させ(ステップ128)、表示部104の画面ロック状態を維持する(ステップ129)。
 次に、近距離無線小型機器201における処理について説明する。
 図12は、図7に示した近距離無線小型機器201における処理を説明するためのフローチャートである。
 ユーザが近距離無線小型機器201のハードキー203を押下しながら、例えば、一定速度で3回振る等の規則的な動きをし、それにより、ハードキー203の押下が検出されるとともに、加速度センサ202にてその動きによる近距離無線小型機器201の移動が検出されると(ステップ201)、制御回路204は、加速度センサ202にて検出された動きが所定の動きであるかを判定する。
 加速度センサ202にて検出された動きが所定の動きであると判定した場合は、制御回路204は、近距離無線制御部205に対して登録待ち受けモードへの移行を指示し、近距離無線制御部205は、この指示を受けて登録待ち受けモードに移行する(ステップ202)。
 その後、近距離無線制御部205は、ステップ112にて携帯電話機101から送信された検索要求を近距離無線アンテナ207及び近距離無線部206を介して受信すると(ステップ203)、近距離無線通信の規格で規定される一連の接続シーケンスに従い、近距離無線通信相手となる携帯電話機101との間にてアドレス及びデバイスネームを交換する(ステップ204)。なお、近距離無線小型機器201においては、携帯電話機101から送信された検索要求を受信するための待ち受け状態における電力消費が大きいため、上述したように、ハードキー203の押下と加速度センサ202にて検出された動きによって待ち受けモードに移行する仕組みとすることにより、消費電力を低減することができる。
 次に、近距離無線制御回路205は、自端末のアドレス及びデバイスネームとともに機器情報記憶部208に予め登録されている近距離無線小型機器201の識別情報またはこの識別情報を含む自機器の画像を携帯電話機101に送信する(ステップ205)。
 その後、近距離無線制御回路205は、携帯電話機101から送信された認証要求をトリガーとして、近距離無線通信の規格で規定される一連の認証シーケンスに従い、携帯電話機101との間にて認証キーの交換、認証処理を行う(ステップ206)。
 認証キーの交換、認証処理を行い、機器認証が成功した場合(ステップ207)、近距離無線制御部205は、携帯電話機101の認証が成功した旨を制御回路204に通知する。
 制御回路204は、認証が成功した携帯電話機101をペアリングの対象機器として登録し、機器登録を完了する(ステップ208)。
 以下に、上述した処理の全体の概要について説明する。
 図13は、図5に示した通信システムにおける処理の全体の概要を説明するための図である。
 上述したように、ユーザが近距離無線小型機器201のハードキー203を押下しながら、例えば、一定速度で3回振る等の規則的な動きをし(図13(a))、携帯電話機101でユーザの顔と近距離無線小型機器201を撮影した後(図13(b))、上述した機器照合によって認証が行われることになる(図13(c))。
 このように、携帯電話機101のユーザは、携帯電話機101とペアリング機器として登録したい近距離無線小型機器201を振って、携帯電話機101のカメラ15で撮影するだけの感覚的に分かりやすい動作をするだけで、近距離無線の機器登録を行うことができる。
 上述したように本形態においては、携帯電話機101において、予め登録された顔画像と、撮影された顔の画像とを照合してユーザの認証を行った後、撮影された近距離無線小型機器201の識別情報と、近距離無線小型機器201から送信されてきた近距離無線小型機器201の識別情報とを照合して機器認証を行って、ペアリングとなる対象機器を登録する構成としたため、近距離無線の登録に伴う複雑な手順やユーザによる操作なしに、またユーザが登録動作のモード等を意識することなしに、近距離無線の登録作業を容易に行うことができる。またその際、ユーザの顔画像がペアリング対象機器に保存されることがなく、また、顔認証によるユーザの認証と合わせて近距離無線の機器登録を行っていることにより、携帯電話機101のユーザ以外の第三者に、知らないうちに機器登録を行われてしまうことを防ぐことができ、セキュリティ性を確保することができる。
 (他の実施の形態)
 上述した実施の形態においては、携帯電話機101においてユーザの顔と近距離無線小型機器201とを同時に撮影して1つの画像として取り込むものを例に挙げて説明したが、例えば、携帯電話機101のカメラ105でまずユーザの顔を撮影し、顔認証を実施した後に、カメラ105の停止を一定時間のばし、その間に近距離無線小型機器201をカメラ105で撮影し、近距離無線の検索モードに移行するようにしても良い。この場合、小型機器だけでなく大型の機器でも近距離無線の機器登録が可能となる。ただし、携帯電話機101においてユーザの顔と近距離無線小型機器201とを同時に撮影して1つの画像として取り込むものにおいては、意図せずカメラ105にて撮影された機器が登録されてしまう誤動作を回避できるという効果を奏する。
 また、顔認証として、表示部104の画面ロック状態を解除する際に行う顔認証を利用しているが、画面ロック状態を解除する顔認証とは別に行ってもよい。ただし、画面ロック状態を解除する顔認証を利用したものの方が、ペアリングの登録までの処理や操作の数を削減することができるとともに、近距離無線の登録のためにわざわざカメラを起動する必要がなく、余分な消費電力を抑えることができる。
 また、上述した実施の形態においては、近距離無線小型機器201において、ハードキー203を押下しながら一定の規則的な動きをすることで、近距離無線の検索待ち受けモードに移行するものを例に挙げて説明したが、例えば、ハードキー203押下中ではなく、電源投入直後に一定の規則的な動きをすることで、近距離無線の検索待ち受けモードに移行するようにしても良い。
 なお、本発明の構成要素は、上述したブロック図に示されるような機能として分離されるものに限らず、適宜、機能毎に分離した構成としてもよい。
 また、本発明においては、情報機器10内の処理は上述の専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを情報機器10となるコンピュータにて読取可能な記録媒体に記録し、この記録媒体に記録されたプログラムを情報機器10に読み込ませ、実行するものであっても良い。情報機器10にて読取可能な記録媒体とは、ICカードやメモリカード、あるいは、フロッピーディスク(登録商標)、光磁気ディスク、DVD、CD等の移設可能な記録媒体の他、情報機器10に内蔵されたHDD等を指す。この記録媒体に記録されたプログラムは、例えば、制御ブロックにて読み込まれ、制御ブロックの制御によって、上述したものと同様の処理が行われる。
 また、本発明に用いられる情報機器10は、上述したような携帯電話機101に限らず、タブレット端末やスマートフォン、携帯音楽プレーヤーや携帯ゲーム機、ノートPC、PDA(Personal Date Assistants)、デジタルカメラ、リモコン等であってもよい。
 上記の実施の形態の一部または全部は、以下の付記のようにも記載され得るが、以下には、限られない。
 (付記1)
 顔の画像と対向機器の画像とを撮影する撮影手段と、
 予め登録された顔画像と、前記撮影手段にて撮影された顔の画像とを照合する顔認証手段と、
 前記対向機器から送信されてきた当該対向機器の識別情報と、前記撮影手段にて撮影された対向機器の画像に含まれる当該対向機器の識別情報とを照合する機器認証手段と、
 前記顔認証手段と前記機器認証手段における照合結果に基づいて前記対向機器を対象機器として登録する制御手段とを有する情報機器。
 (付記2)
 付記1に記載の情報機器において、
 前記制御手段は、前記顔認証手段における照合結果に基づいて当該情報機器のロック状態を解除する情報機器。
 (付記3)
 付記1または付記2に記載の情報機器において、
 前記撮影手段は、前記顔の画像と前記対向機器の画像とを1つの画像として撮影し、
 前記顔認証手段は、前記1つの画像から顔の画像を抽出し、
 前記機器認証手段は、前記1つの画像から前記対向機器の画像を抽出する情報機器。
 (付記4)
 対向機器であって、
 当該対向機器の識別情報を記憶した記憶手段と、
 情報機器からの検索要求を受信した場合、前記記憶手段に記憶された識別情報を前記情報機器に送信する送信手段とを有する対向機器。
 (付記5)
 付記4に記載の対向機器において、
 前記送信手段は、所定のモード時に前記情報機器からの検索要求を受信した場合、前記記憶手段に記憶された識別情報を前記情報機器に送信する対向機器。
 (付記6)
 付記5に記載の対向機器において、
 外部からの操作を受け付ける操作手段と、
 当該対向機器の移動を検出する検出手段とを有し、
 前記操作手段にて外部の操作を受け付けている状態で前記検出手段にて当該対向機器の移動を検出した場合に前記所定モードに移行する対向機器。
 (付記7)
 情報機器と対向機器とを有し、
 前記情報機器は、
 顔の画像と対向機器の画像とを撮影する撮影手段と、
 予め登録された顔画像と、前記撮影手段にて撮影された顔の画像とを照合する顔認証手段と、
 前記顔認証手段における照合結果に基づいて前記対向機器に検索要求を送信する制御手段とを有し、
 前記対向機器は、
 当該対向機器の識別情報を記憶した記憶手段と、
 前記情報機器から送信された検索要求を受信した場合、前記記憶手段に記憶された識別情報を前記情報機器に送信する送信手段とを有し、
 前記情報機器は、
 前記対向機器から送信されてきた当該対向機器の識別情報と、前記撮影手段にて撮影された対向機器の画像に含まれる当該対向機器の識別情報とを照合する機器認証手段を有し、
 前記制御手段は、前記機器認証手段における照合結果に基づいて前記対向機器を対象機器として登録する通信システム。
 (付記8)
 情報機器の制御方法であって、
 予め登録された顔画像と、撮影手段にて撮影された顔の画像とを照合する顔認証処理と、
 前記対向機器から送信されてきた当該対向機器の識別情報と、前記撮影された対向機器の画像に含まれる当該対向機器の識別情報とを照合する機器認証処理と、
 前記顔認証処理と前記機器認証処理における照合結果に基づいて前記対向機器を対象機器として登録する登録処理とを有する制御方法。
 (付記9)
 情報機器に、
 予め登録された顔画像と、撮影手段にて撮影された顔の画像とを照合する顔認証手順と、
 前記対向機器から送信されてきた当該対向機器の識別情報と、前記撮影された対向機器の画像に含まれる当該対向機器の識別情報とを照合する機器認証手順と、
 前記顔認証手順と前記機器認証手順における照合結果に基づいて前記対向機器を対象機器として登録する登録手順とを実行させるためのプログラム。
 以上、実施例を参照して本願発明を説明したが、本願発明は上記実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
 この出願は、2012年9月24日に出願された日本出願特願2012-209594を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (9)

  1.  顔の画像と対向機器の画像とを撮影する撮影手段と、
     予め登録された顔画像と、前記撮影手段にて撮影された顔の画像とを照合する顔認証手段と、
     前記対向機器から送信されてきた当該対向機器の識別情報と、前記撮影手段にて撮影された対向機器の画像に含まれる当該対向機器の識別情報とを照合する機器認証手段と、
     前記顔認証手段と前記機器認証手段における照合結果に基づいて前記対向機器を対象機器として登録する制御手段とを有する情報機器。
  2.  請求項1に記載の情報機器において、
     前記制御手段は、前記顔認証手段における照合結果に基づいて当該情報機器のロック状態を解除する情報機器。
  3.  請求項1または請求項2に記載の情報機器において、
     前記撮影手段は、前記顔の画像と前記対向機器の画像とを1つの画像として撮影し、
     前記顔認証手段は、前記1つの画像から顔の画像を抽出し、
     前記機器認証手段は、前記1つの画像から前記対向機器の画像を抽出する情報機器。
  4.  対向機器であって、
     当該対向機器の識別情報を記憶した記憶手段と、
     情報機器からの検索要求を受信した場合、前記記憶手段に記憶された識別情報を前記情報機器に送信する送信手段とを有する対向機器。
  5.  請求項4に記載の対向機器において、
     前記送信手段は、所定のモード時に前記情報機器からの検索要求を受信した場合、前記記憶手段に記憶された識別情報を前記情報機器に送信する対向機器。
  6.  請求項5に記載の対向機器において、
     外部からの操作を受け付ける操作手段と、
     当該対向機器の移動を検出する検出手段とを有し、
     前記操作手段にて外部からの操作を受け付けている状態で前記検出手段にて当該対向機器の移動を検出した場合に前記所定モードに移行する対向機器。
  7.  情報機器と対向機器とを有し、
     前記情報機器は、
     顔の画像と対向機器の画像とを撮影する撮影手段と、
     予め登録された顔画像と、前記撮影手段にて撮影された顔の画像とを照合する顔認証手段と、
     前記顔認証手段における照合結果に基づいて前記対向機器に検索要求を送信する制御手段とを有し、
     前記対向機器は、
     当該対向機器の識別情報を記憶した記憶手段と、
     前記情報機器から送信された検索要求を受信した場合、前記記憶手段に記憶された識別情報を前記情報機器に送信する送信手段とを有し、
     前記情報機器は、
     前記対向機器から送信されてきた当該対向機器の識別情報と、前記撮影手段にて撮影された対向機器の画像に含まれる当該対向機器の識別情報とを照合する機器認証手段を有し、
     前記制御手段は、前記機器認証手段における照合結果に基づいて前記対向機器を対象機器として登録する通信システム。
  8.  情報機器の制御方法であって、
     予め登録された顔画像と、撮影手段にて撮影された顔の画像とを照合する顔認証処理と、
     前記対向機器から送信されてきた当該対向機器の識別情報と、前記撮影された対向機器の画像に含まれる当該対向機器の識別情報とを照合する機器認証処理と、
     前記顔認証処理と前記機器認証処理における照合結果に基づいて前記対向機器を対象機器として登録する登録処理とを有する制御方法。
  9.  情報機器に、
     予め登録された顔画像と、撮影手段にて撮影された顔の画像とを照合する顔認証手順と、
     前記対向機器から送信されてきた当該対向機器の識別情報と、前記撮影された対向機器の画像に含まれる当該対向機器の識別情報とを照合する機器認証手順と、
     前記顔認証手順と前記機器認証手順における照合結果に基づいて前記対向機器を対象機器として登録する登録手順とを実行させるためのプログラム。
PCT/JP2013/073615 2012-09-24 2013-09-03 情報機器、対向機器、通信システム、情報機器の制御方法及びプログラム WO2014045860A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-209594 2012-09-24
JP2012209594 2012-09-24

Publications (1)

Publication Number Publication Date
WO2014045860A1 true WO2014045860A1 (ja) 2014-03-27

Family

ID=50341178

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/073615 WO2014045860A1 (ja) 2012-09-24 2013-09-03 情報機器、対向機器、通信システム、情報機器の制御方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2014045860A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017534540A (ja) * 2014-10-16 2017-11-24 イールーシッド エムヘルス リミテッド 分注器およびその使用の方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000148351A (ja) * 1998-09-09 2000-05-26 Matsushita Electric Ind Co Ltd ユ―ザ動作の種類に応じて操作指示をする操作指示出力装置及びコンピュ―タ読み取り可能な記録媒体
JP2008028495A (ja) * 2006-07-19 2008-02-07 Matsushita Electric Ind Co Ltd 無線通信装置
WO2011009069A2 (en) * 2009-07-17 2011-01-20 Qualcomm Incorporated Automatic interfacing between a master device and object device
JP2011172094A (ja) * 2010-02-19 2011-09-01 Nikon Corp 撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000148351A (ja) * 1998-09-09 2000-05-26 Matsushita Electric Ind Co Ltd ユ―ザ動作の種類に応じて操作指示をする操作指示出力装置及びコンピュ―タ読み取り可能な記録媒体
JP2008028495A (ja) * 2006-07-19 2008-02-07 Matsushita Electric Ind Co Ltd 無線通信装置
WO2011009069A2 (en) * 2009-07-17 2011-01-20 Qualcomm Incorporated Automatic interfacing between a master device and object device
JP2011172094A (ja) * 2010-02-19 2011-09-01 Nikon Corp 撮像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017534540A (ja) * 2014-10-16 2017-11-24 イールーシッド エムヘルス リミテッド 分注器およびその使用の方法
JP2020018867A (ja) * 2014-10-16 2020-02-06 イールーシッド エムヘルス リミテッド 分注器およびその使用の方法

Similar Documents

Publication Publication Date Title
US20180314536A1 (en) Method and apparatus for invoking function in application
KR102162955B1 (ko) 생체 정보를 이용한 인증 방법 및 이를 지원하는 휴대형 전자장치
EP3227815B1 (en) Using sensor data to authenticate a user for a computer device
WO2017185561A1 (zh) 信息传输控制方法和装置、智能终端
WO2018086259A1 (zh) 鉴权方法及电子设备
US10021727B2 (en) Near field communication (NFC) data transfer
EP2939128A1 (en) Near field communication method and apparatus using sensor context
JP2012165379A (ja) 近距離無線通信リンクを構築するための携帯用電子機器及び動作方法
CN112567321A (zh) 包括电子笔的电子装置和控制电子装置与电子笔之间的通信连接的方法
US9538370B2 (en) Data transmission method for terminal performing near field communication and terminal thereof
CN105631254B (zh) 解锁方法及解锁装置
KR102545375B1 (ko) 액세서리를 이용하여 인증을 수행하는 전자 장치 및 전자 장치의 동작 방법
US20180020349A1 (en) Electronic Device with Biometric Authentication Control of Companion Devices, and Corresponding Systems and Methods
KR101067645B1 (ko) 직관적 핸드 제스쳐에 기반한 휴대용 단말기간 근거리 데이터 전송 방법 및 휴대용 단말기
KR20110020190A (ko) 연계 사용 정보를 생성 또는 이용하는 방법 및 그 장치
KR20150134141A (ko) 스마트 밴드를 이용한 사용자 인증방법
CN105745947A (zh) 用于报告用户接口状况的系统和方法
WO2014054794A1 (ja) 電子機器、制御方法、及び制御プログラム
WO2014045860A1 (ja) 情報機器、対向機器、通信システム、情報機器の制御方法及びプログラム
US20190391670A1 (en) Terminal control method, system and setting adaptation apparatus
WO2022057475A1 (zh) 近场通信的控制方法、电子设备及存储介质
JP2014132788A (ja) プログラム及び画像形成装置
KR20230002728A (ko) 정보 처리 방법 및 전자기기
CN113468917A (zh) 一种指纹验证方法及装置
JP2016051430A (ja) 認証システム、及びその認証システムに用いられる画像形成装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13838620

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13838620

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP