WO2016059860A1 - 情報処理システム、情報処理装置、および情報処理端末 - Google Patents

情報処理システム、情報処理装置、および情報処理端末 Download PDF

Info

Publication number
WO2016059860A1
WO2016059860A1 PCT/JP2015/072573 JP2015072573W WO2016059860A1 WO 2016059860 A1 WO2016059860 A1 WO 2016059860A1 JP 2015072573 W JP2015072573 W JP 2015072573W WO 2016059860 A1 WO2016059860 A1 WO 2016059860A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
information
identification information
light source
input
Prior art date
Application number
PCT/JP2015/072573
Other languages
English (en)
French (fr)
Inventor
光永　知生
堅誠 城
隆之 芦ヶ原
福地　正樹
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP15850693.1A priority Critical patent/EP3208779B1/en
Priority to US15/513,756 priority patent/US10409968B2/en
Publication of WO2016059860A1 publication Critical patent/WO2016059860A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/34—User authentication involving the use of external additional devices, e.g. dongles or smart cards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02—Banking, e.g. interest calculation or account maintenance
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D9/00—Counting coins; Handling of coins not provided for in the other groups of this subclass
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title

Definitions

  • This disclosure relates to an information processing system, an information processing apparatus, and an information processing terminal.
  • an information processing apparatus having a user authentication function has been installed in convenience stores, stations, public facilities, and the like.
  • Such an information processing apparatus can provide a dedicated service to the authenticated user.
  • an automatic transaction apparatus Automatic Teller Machine: ATM
  • a ticket issuing machine such as a concert ticket
  • an automatic issuing machine such as a certificate
  • the information processing apparatus as described above is installed in a place where an unspecified number of users can operate. Therefore, for example, there is a possibility that a camera or the like for voyeurism is set in the input unit, and user authentication information input to the information processing apparatus by the user is stolen (so-called skimming).
  • Patent Documents 1 to 5 an information processing apparatus capable of inputting information or displaying information via a mobile communication terminal or the like possessed by the user is proposed.
  • Patent Literature 1 when a two-dimensional code image is displayed on an information processing apparatus and the image is captured by a mobile communication terminal, user authentication information corresponding to the captured two-dimensional code image is displayed as a user.
  • An information processing system for transmitting to an authentication server is disclosed.
  • Patent Document 2 discloses an automatic transaction apparatus that stores executed transaction result information in another server, and displays a two-dimensional code image including information indicating a storage destination of the transaction result information on a display unit. ing.
  • Patent Documents 3 to 5 a two-dimensional code image obtained by converting user information or transaction content information necessary for authentication is displayed on a mobile communication terminal, and an automatic transaction apparatus (ATM) reads the image to perform transaction.
  • ATM automatic transaction apparatus
  • Patent Documents 1 to 5 use a two-dimensional code image for information transmission between the information processing apparatus and the mobile communication terminal, if the displayed two-dimensional code image is voyeurized, two There is a possibility that information contained in the dimension code image is stolen. Therefore, there has been a demand for an information processing system using communication means in which information is not easily stolen by information transmission between the information processing apparatus and the mobile communication terminal.
  • the present disclosure proposes a new and improved information processing system, information processing apparatus, and information processing terminal with improved security.
  • an information processing device including a visible light communication control unit that controls a light emission state of the light source based on identification information of the light source and the information processing device and transmits the identification information, an imaging unit, An identification information acquisition unit that performs image processing on the image of the light source imaged by the imaging unit and acquires identification information of the information processing device, and an input screen on which an operation for the information processing device is input based on the identification information
  • An information processing system includes: a display control unit that controls display; and an information processing terminal that includes an input information transmission unit that transmits input information input to the input screen to the information processing device.
  • an information processing apparatus provided with the light source and the visible light communication control part which controls the light emission state of the said light source based on the identification information of an information processing apparatus, and transmits the said identification information is provided. Is done.
  • the identification information acquisition that acquires the identification information of the information processing apparatus that performs image processing on the image captured by the imaging unit and the image capturing unit and is transmitted according to the light emission state of the light source of the information processing apparatus
  • a display control unit that controls display of an input screen on which an operation on the information processing device is input based on the identification information, and an input that transmits the input information input on the input screen to the information processing device
  • An information processing terminal comprising an information transmission unit is provided.
  • the information processing terminal receives the identification information of the information processing device through visible light communication that is difficult to steal information by voyeurism or the like, and displays an input screen corresponding to the information processing device. Further, the information processing terminal transmits an input operation input on the input screen to the information processing apparatus, and the information processing apparatus executes processing based on the transmitted input operation. Thereby, the user can perform an input operation to the information processing apparatus using the information processing terminal.
  • FIG. 12 is a flowchart for explaining an operation flow of the information processing system when identification information cannot be acquired. It is explanatory drawing explaining the global shutter operation
  • Information processing system according to an embodiment of the present disclosure 1.1. Configuration of information processing system 1.2. Configuration of information processing terminal and information processing apparatus 1.3. Operation of information processing system Identification information acquisition method 2.1. First acquisition method 2.2. Second acquisition method 2.3. 3. Third acquisition method 3. Hardware configuration according to an embodiment of the present disclosure Summary
  • the information processing system according to the present embodiment performs an input operation to the information processing apparatus by the information processing terminal when the information processing terminal possessed by the user receives the identification information transmitted by visible light communication. It is.
  • the information processing terminal may be, for example, a mobile communication terminal such as a mobile phone and a smartphone, or a PDA (Personal Digital Assistant).
  • the information processing apparatus may be an apparatus that provides a service requiring user authentication, such as an automatic transaction apparatus (ATM), a ticket issuing machine such as a concert ticket, and an automatic issuing machine such as a certificate.
  • ATM automatic transaction apparatus
  • ticket issuing machine such as a concert ticket
  • an automatic issuing machine such as a certificate.
  • ATM automatic transaction apparatus
  • FIG. 1 is an explanatory diagram illustrating the overall configuration of the information processing system according to the present embodiment.
  • the information processing system 1 includes an information processing terminal 11, an information processing device 13, a network 15, and a financial institution server 17. Further, a plurality of information processing devices 13 may be provided.
  • the information processing terminal 11 is, for example, a mobile phone or a smartphone owned by the user, and includes an imaging unit such as a camera.
  • the information processing terminal 11 can acquire the identification information by capturing the identification information of the information processing apparatus 13 transmitted as a change in the light emission state of the light source by the imaging unit and performing image processing on the captured image.
  • the information processing terminal 11 displays an input screen on which an operation on the information processing device 13 can be input based on the acquired identification information, and transmits the operation input on the input screen to the information processing device 13. . Thereby, the user can perform an input operation to the information processing apparatus 13 on the information processing terminal 11.
  • the information processing apparatus 13 is an automatic transaction apparatus installed in, for example, a bank or a convenience store, and includes a light source.
  • the information processing device 13 can encode its own identification information and transmit the encoded identification information to the information processing terminal 11 by a change in the light emission state of the light source.
  • the light source may be a display device that displays an image or the like, and the information processing device 13 transmits identification information to the information processing terminal 11 by changing the luminance or hue of the image displayed on the display device. May be.
  • the change in the light emission state of the light source by the information processing device 13 is performed at a frequency that is so high that it cannot be recognized by human vision.
  • the frequency that cannot be recognized by human vision is, for example, 70 Hz or more, and the information processing device 13 controls the light emission state of the light source at, for example, about 10 kHz.
  • the information processing apparatus 13 can transmit information to the information processing terminal 11 by a communication means that is not visually recognized by the user.
  • the information processing device 13 executes various transactions based on the user input operation transmitted from the information processing terminal 11.
  • the information processing apparatus 13 may execute various transactions that can be normally executed as an automatic transaction apparatus such as deposit withdrawal, deposit of cash, and balance inquiry.
  • the network 15 is a dedicated network possessed by a financial institution, and is configured by, for example, an IP-VPN (Internet Protocol-Virtual Private Network).
  • IP-VPN Internet Protocol-Virtual Private Network
  • the network 15 may be a wired or wireless LAN (Local Area Network) as long as it is a dedicated network that is not open to the public.
  • the financial institution server 17 is, for example, a host server of a financial institution and controls various transactions in each information processing apparatus 13.
  • the financial institution server 17 authenticates a user who operates the information processing apparatus 13, or executes transaction processing such as deposit / withdrawal and transfer instructed by the user's operation.
  • the financial institution server 17 manages customer information such as an account number, personal identification number, name, address, age, date of birth, telephone number, occupation, family structure, annual income, and deposit balance as an account ledger.
  • the information processing apparatus 13 transmits identification information by changing the light emission state of the light source. Further, the information processing terminal 11 acquires an identification information of the information processing apparatus 13 by capturing an image of the light source with a camera or the like and acquiring a change in the light emission state of the light source, and corresponds to the acquired identification information. Display the input screen.
  • the information processing terminal 11 establishes a communication connection with the information processing apparatus 13 that has acquired the identification information, and transmits an input operation input on the input screen by the user to the information processing apparatus 13. Further, the information processing apparatus 13 executes a transaction based on the input operation transmitted from the information processing terminal 11. With the above operation, the user can perform an input operation on the information processing apparatus 13 using the information processing terminal 11.
  • the user can perform an input operation to the information processing apparatus 13 using the information processing terminal 11. Further, in the information processing system 1, visible light communication that is not visually recognized is used without using a visually recognizable two-dimensional code image for information transmission between the information processing terminal 11 and the information processing device 13. For this reason, in the information processing system 1, since the input information is not easily skimmed, the security can be further improved.
  • a communication method for transmitting information according to a change in the light emission state of a light source is also called visible light communication.
  • a communication method for receiving information by imaging a change in the light emission state of a light source with an imaging unit such as a camera is also called image sensor communication.
  • Such a communication method transmits information according to a change in the light emission state of the light source, the user can easily grasp the transmission source and the communication range.
  • the information processing device 13 that performs visible light communication with the information processing terminal 11 of the user is limited to the information processing device 13 that can capture the light source at the information processing terminal 11 of the user, the user can It is easy to understand intuitively when the visible light communication is performed with the information processing apparatus 13 installed in the network. Therefore, the user can easily grasp the information processing apparatus 13 with which he / she is communicating even in a place where a large number of information processing apparatuses 13 are installed. Therefore, according to such a communication method, it is possible to prevent the user from operating the information processing apparatus 13 that is not intended.
  • the range in which the change in the light emission state of the light source can be imaged is in the vicinity of the information processing apparatus 13 (approximately within 3 m from the light source), and the communicable range is also in the same range. . Therefore, the information processing terminal 11 can determine that the information processing terminal 11 has left the information processing apparatus 13 when the visible light communication becomes impossible by monitoring the communication state of the visible light communication at a predetermined timing. . As a result, when the information processing terminal 11 leaves the information processing apparatus 13, the information processing terminal 11 stops displaying the operation input screen for the information processing apparatus 13, and the information processing apparatus 13 is operated from a remote position. Can be prevented.
  • the information processing system 1 according to the present embodiment can further improve security.
  • FIG. 2 is a block diagram illustrating the internal configuration of the information processing terminal 11 and the information processing apparatus 13 according to the present embodiment.
  • the information processing terminal 11 includes an imaging unit 111, an identification information acquisition unit 112, a display control unit 113, a display storage unit 114, a display unit 115, an input unit 116, and input information transmission. Part 117.
  • the information processing apparatus 13 includes a light source 131, a visible light communication control unit 132, a storage unit 133, an input information receiving unit 134, a communication unit 135, and a transaction execution unit 136.
  • the imaging unit 111 includes an imaging lens, an imaging element, and the like, and acquires an image of a subject (more specifically, a light source 131). Specifically, the imaging unit 111 is configured to capture an image from a subject incident through an imaging lens by an imaging device such as a complementary metal-oxide semiconductor (CMOS) image sensor or a charge-coupled device (CCD) image sensor. Light is photoelectrically converted into an image signal.
  • CMOS complementary metal-oxide semiconductor
  • CCD charge-coupled device
  • the identification information acquisition unit 112 acquires the identification information of the information processing device 13 by performing image processing on the image of the light source 131 captured by the imaging unit 111. Specifically, the identification information acquisition unit 112 detects a time-series change in the light emission state such as the luminance or hue of the light source 131 from the image captured by the imaging unit 111, and identifies the detected change in the light emission state as the identification information. Convert to
  • the identification information acquisition unit 112 can acquire identification information regardless of the direction of the light source 131 if the light source 131 is included in the captured image. Further, the identification information acquisition unit 112 acquires the identification information if the light source 131 as a display device is included in about 1/4 to 1/3 of the entire captured image, depending on the performance of the imaging unit 111. can do.
  • the identification information acquisition unit 112 may acquire the identification information of the information processing device 13 from the image of the light source 131 captured at a predetermined timing, and may confirm the state of visible light communication with the information processing device 13. .
  • the identification information acquisition unit 112 performs information processing from an image captured at a predetermined timing by the imaging unit 111 while the input screen for the information processing device 13 is displayed on the display unit 115 by the display control unit 113. You may confirm whether the identification information of the apparatus 13 can be acquired.
  • the display control unit 113 may stop displaying the input screen on the information processing device 13. According to such a configuration, the information processing terminal 11 can prevent the user from operating the information processing device 13 from a position that is so far away that the information processing device 13 cannot be visually recognized.
  • the predetermined timing is, for example, an interval of about several seconds.
  • the identification information acquisition unit 112 may always check whether or not the identification information of the information processing apparatus 13 can be acquired from the captured image of the light source 131.
  • the predetermined time is, for example, about several seconds, similarly to the predetermined timing.
  • the display control unit 113 controls display of an input screen for inputting an operation to the information processing device 13 based on the identification information of the information processing device 13 acquired by the identification information acquisition unit 112. For example, the display control unit 113 generates an input screen imitating the operation screen displayed on the information processing device 13 based on the identification information of the information processing device 13, and performs control for displaying the input screen on the display unit 115. Do. When the information processing device 13 sequentially displays a plurality of operation screens until the completion of the transaction, the display control unit 113 similarly controls the display unit 115 to sequentially display the plurality of input screens. Also good.
  • the display storage unit 114 stores information on an input screen whose display is controlled by the display control unit 113. Specifically, the display storage unit 114 stores information for generating an input screen on which an operation on the information processing device 13 is input. Further, the display storage unit 114 may store generation information of a corresponding input screen for each information processing device 13 or for each financial institution to which the information processing device 13 belongs. Here, when the operation with respect to the information processing device 13 needs to be input over a plurality of input screens before the completion of the transaction, the display storage unit 114 may store information on the plurality of input screens, respectively.
  • the display unit 115 is a display device whose display is controlled by the display control unit 113.
  • the display unit 115 may be an LCD (Liquid Crystal Display) device, an OLED (Organic Light-Emitting Display) device, or the like.
  • the input unit 116 is an input device for a user to input information, such as a mouse, a keyboard, a button, a microphone, a switch, or a lever.
  • a user who has confirmed the input screen displayed on the display unit 115 can input an operation on the information processing apparatus 13 by operating the input unit 116.
  • the input information input via the input unit 116 is transmitted to the information processing apparatus 13 by the input information transmitting unit 117.
  • the input information transmission unit 117 communicates with the information processing device 13. Specifically, the input information transmission unit 117 transmits the input information input to the input unit 116 to the input information reception unit 134 of the information processing device 13.
  • the input information includes, for example, information indicating transaction details executed by the information processing apparatus 13 and user personal authentication information. Therefore, in order to further improve the security of the information processing system 1, it is preferable that the input information transmission unit 117 encrypts and transmits the input information.
  • the input information transmission unit 117 may be any communication interface as long as it can transmit information to the information processing device 13, and may be a wireless communication device, for example. However, in order to further improve the security of the information processing system 1, it is preferable that the input information transmission unit 117 transmits the input information to the information processing apparatus 13 by a communication means with higher confidentiality. For example, the input information transmission unit 117 may transmit the input information to the information processing apparatus 13 by visible light communication, similarly to the light source 131.
  • the light source 131 is an illumination or display device capable of controlling the light emission state, and is preferably a display device. Further, the luminance or hue of the light source 131 is controlled by the visible light communication control unit 132. Therefore, the light source 131 can transmit identification information encoded by time-series changes in luminance or hue to the information processing terminal 11.
  • the light source 131 is a light source capable of changing luminance or hue at a high frequency (for example, 70 Hz or more) such that flicker cannot be recognized by human vision.
  • a high frequency for example, 70 Hz or more
  • Examples of the light source that can change the luminance or the hue at such a high frequency include an LED (Light Emitting Diode) light source, an organic EL (ElectroLuminescence) light source, and the like.
  • the above-described light source may be used as a backlight of the display device or may be used as a pixel of the display device, for example.
  • the visible light communication control unit 132 controls the light emission state of the light source 131 based on the identification information of the information processing device 13. Specifically, the visible light communication control unit 132 encodes the identification information of the information processing device 13 and transmits the encoded identification information by controlling the luminance or hue of the light source 131.
  • FIG. 3 is an explanatory diagram for schematically explaining visible light communication.
  • the visible light communication control unit 132 encodes the identification information of the information processing apparatus 13 into binary information such as “0” and “1”.
  • the visible light communication control unit 132 changes the luminance of the light source 131 (more specifically, the display device) of the information processing device in time series based on the encoded identification information.
  • the visible light communication control unit 132 may control the light emission state of the light source by setting “1” as the luminance “high” state and “0” as the luminance “low” state.
  • the information processing terminal 11 the light source 131 whose brightness changes in time series (more specifically, the display device) is imaged by the imaging unit 111, thereby detecting the time series change in brightness of the light source 131.
  • the information processing terminal 11 stores in advance the correspondence between the brightness control by the visible light communication control unit 132 and the identification information “0” and “1”, and based on the correspondence, the light source 131. Is converted into encoded identification information. Thereby, the information processing terminal 11 can acquire the identification information of the information processing device 13 by visible light communication.
  • the change in the luminance of the visible light communication control unit 132 is controlled at a frequency (for example, 10 kHz) higher than the response speed of human vision. Changes are integrated and cannot be recognized. Therefore, the visible light communication control unit 132 can transmit the identification information of the information processing apparatus 13 by communication means that is not recognized by the user and does not feel flicker or the like.
  • the visible light communication control unit 132 may transmit the identification information by a change in the hue of the light source 131. Human vision is less sensitive to changes in hue than luminance. Therefore, when the visible light communication control unit 132 transmits the identification information not by the luminance change of the light source 131 but by the hue change, the identification information can be transmitted without being recognized by the user even at a lower frequency.
  • the visible light communication control unit 132 modulates the hue of the light source 131 in time series between hues of complementary colors such as red and green, yellow and blue, for example, in the same manner as the luminance change.
  • the identification information of the information processing device 13 can be transmitted.
  • the visible light communication control unit 132 may change the luminance or hue of the light source 131 by controlling the luminance or hue of the backlight.
  • the technology of the present disclosure is not limited to such an example, and the visible light communication control unit 132 performs image processing on a displayed image and controls the luminance or hue of the light source 131 by controlling the luminance or hue of the image itself. May be changed.
  • the visible light communication control unit 132 may repeatedly transmit the identification information of the information processing device 13 using the same encoding method, or may transmit the identification information encoding method while dynamically changing the information. Good.
  • the storage unit 133 stores identification information of the information processing apparatus 13.
  • the storage unit 133 may store programs and databases for various processes executed by the information processing apparatus 13, and stores various parameters and intermediate processes that need to be saved when performing various processes. May be.
  • the input information receiving unit 134 communicates with the information processing terminal 11. Specifically, the input information receiving unit 134 receives input information for instructing an operation on the information processing apparatus 13 transmitted from the input information transmitting unit 117 of the information processing terminal 11.
  • the input information includes, for example, information indicating transaction details executed by the information processing device 13 and user personal authentication information.
  • the information processing device 13 is based on the input information received by the input information receiving unit 134. Execute the transaction.
  • the input information receiving unit 134 may be any communication interface as long as it can receive information from the input information transmitting unit 117, and may be a wireless communication device, for example. However, in order to further improve the security of the information processing system 1, it is preferable that the input information receiving unit 134 receives the input information from the information processing terminal 11 by a communication means with higher confidentiality. For example, the input information receiving unit 134 may receive the input information through visible light communication as with the imaging unit 111.
  • the communication unit 135 communicates various information necessary for executing transactions with the financial institution server 17 via the network 15. Specifically, the communication unit 135 transmits the transaction content information and the user personal authentication information to the financial institution server 17 and receives the transaction result.
  • the communication unit 135 may be any communication interface as long as it is a communication interface configured with a communication device or the like for connecting to the network 15.
  • the communication unit 135 may be a communication device that can be connected to the network 15 wirelessly or by wire, may be a wired LAN or a wireless LAN compatible communication device, or is a wire communication device that performs wired communication. May
  • the transaction execution unit 136 has a function of executing various transactions performed by a general automatic transaction apparatus, and executes various transactions based on the input information received by the input information receiving unit 134. Specifically, the transaction executing unit 136 executes various transactions such as deposit withdrawal, cash deposit, and balance inquiry by the user's operation based on the input information received by the input information receiving unit 134.
  • the information processing system 1 can perform an input operation to the information processing apparatus 13 on the information processing terminal 11.
  • the information processing system 1 since information transmission between the information processing terminal 11 and the information processing apparatus 13 is not visually recognized and dynamically changes, and visible light communication that is difficult to skimming is used, the information processing system 1 further improves security. be able to.
  • FIG. 4 is a flowchart for explaining the operation flow of the information processing system 1 according to the present embodiment.
  • the user performs an activation operation of the imaging unit 111 of the information processing terminal 11 (S101), and the imaging unit 111 is activated (S103).
  • the imaging unit 111 images the light source 131 of the information processing apparatus 13, and the identification information is acquired by the image processing of the identification information acquisition unit 112 (S105-1).
  • the acquired identification information is notified to the display control unit 113, and the display control unit 113 transmits a wireless connection request to the information processing apparatus 13 (S109) and receives a connection response from the information processing apparatus 13. (S111).
  • the information processing terminal 11 may transmit the user authentication information to the information processing apparatus 13 together.
  • the display control unit 113 controls the display of the input screen displayed on the display unit 115 based on the identification information to the information processing device 13 (S113).
  • the user performs an input operation on the input screen displayed on the display unit 115 (S115-1), and the display control unit 113 controls the display of the input screen in response to the user's input operation (S117). -1).
  • the user and display control unit 113 repeats such user input operations (S115-1 to N) and input screen display controls (S117-1 to N) until the transaction is confirmed.
  • the imaging unit 111 and the identification information acquisition unit 112 are configured to start from an image captured by the imaging unit 111 at a predetermined timing (for example, every few seconds or always) while the user performs an input operation on the input screen. It is confirmed whether or not the identification information of the information processing apparatus 13 can be acquired (S105-2 to N). Thereby, the information processing terminal 11 confirms that the user is not away from the information processing apparatus 13. The imaging unit 111 and the identification information acquisition unit 112 repeat this operation until a transaction is confirmed in the display control unit 113. The case where the identification information is not acquired by the imaging unit 111 and the identification information acquisition unit 112 will be described later with reference to FIG.
  • the display control unit 113 uses the information indicating the operation on the information processing device 13 input on the input screen as the transaction execution request.
  • the data is transmitted to the processing device 13 (S121).
  • the user authentication information may be transmitted to the information processing apparatus 13 together with the transaction execution request.
  • the information processing apparatus 13 After transmitting the transaction execution request received from the information processing terminal 11 to the financial institution server 17 (S123), the information processing apparatus 13 receives a transaction execution instruction from the financial institution server 17 (S125), and makes a transaction to the user. Execute (S127).
  • the executed transaction is, for example, cash withdrawal, cash deposit, balance inquiry, or transfer.
  • the information processing apparatus 13 transmits a transaction end notification to the information processing terminal 11 by visible light communication using the light source 131 ( S131).
  • the information processing terminal 11 receives the transaction end notification at the imaging unit 111, the information processing terminal 11 notifies the display control unit 113 of the end of the transaction (S133), and ends the display of the input screen.
  • the imaging unit 111 stops the function (S137).
  • the information processing system 1 can provide a service with improved security to the user.
  • FIG. 5 is a flowchart for explaining the operation flow of the information processing system 1 when the identification information cannot be acquired.
  • the identification information acquisition unit 112 displays the display control unit. 113 is notified of the cancellation of the display of the input screen (S203). Therefore, the display control unit 113 stops displaying the input screen (S205) and stops the function, thereby preventing a transaction from being executed from a place away from the information processing apparatus 13.
  • the predetermined time may be about several seconds like the predetermined timing.
  • the imaging unit 111 stops the function ( S137).
  • the information processing system 1 can prevent the user from operating the information processing apparatus 13 at a place away from the information processing apparatus 13. Further, in the information processing system 1 according to the present embodiment, when the user loses the information processing terminal 11 during the operation of the information processing terminal 11, the lost information processing terminal 11 instructs the information processing apparatus 13 to execute a transaction. Can be prevented.
  • the information processing system 1 has been described in detail above.
  • the method by which the identification information acquisition unit 112 acquires identification information from the image of the light source 131 is based on the following first to second types depending on the imaging method of the imaging unit 111 and the type of image of the light source 131 (more specifically, the display device). 3 acquisition methods.
  • the imaging unit 111 images the light source 131 by the global shutter operation, and the imaging frame rate of the imaging unit 111 is higher than the frequency at which the visible light communication control unit 132 controls the light emission state of the light source 131. This is a method for acquiring identification information in a fast case.
  • FIG. 6 is an explanatory diagram illustrating a global shutter operation in the imaging apparatus.
  • the global shutter operation is one of shutter operations in the image pickup apparatus, and is a shutter operation in which all pixels of the image pickup apparatus perform image pickup at the same time. As shown in FIG. 6, in an imaging apparatus that performs a global shutter operation, when imaging one frame, for example, pixels in all lines start exposure at the same time and end exposure at the same time.
  • the image captured by such a global shutter operation is captured as an image having a uniform light emission state in the entire image because the pixels in all the lines reflect the light emission state of the light source 131 in the same period.
  • the imaging unit 111 that performs the global shutter operation acquires the change in the light emission state of the light source 131 by setting the imaging frame rate faster than the control frequency of the light emission state of the light source 131 by the visible light communication control unit 132. Can do.
  • the imaging unit 111 that performs a global shutter operation can detect a change in the light emission state of the light source 131 by setting the sampling frequency for imaging higher than the control frequency of the light emission state of the light source 131. Therefore, the identification information acquisition unit 112 can acquire the identification information of the information processing device 13 from the change in the light emission state of the light source 131.
  • the second acquisition method is an identification information acquisition method when the imaging unit 111 images the light source 131 by a rolling shutter operation.
  • the identification information acquisition unit 112 Identification information of the information processing apparatus 13 can be acquired.
  • FIG. 7 is an explanatory diagram illustrating a rolling shutter operation in the imaging apparatus.
  • the rolling shutter operation is one of the shutter operations in the imaging device, and is a shutter operation in which the pixels of the imaging device sequentially perform imaging for each pixel group (for example, line).
  • a shutter operation in which the pixels of the imaging device sequentially perform imaging for each pixel group (for example, line).
  • FIG. 7 in an imaging apparatus that performs a rolling shutter operation, when one frame is imaged, exposure is started sequentially from top to bottom for each pixel of each line. More specifically, the exposure of the pixels of each line is started in order at intervals of time t, and the exposure is sequentially terminated after a certain exposure time has elapsed.
  • the image captured by such a rolling shutter operation reflects the light emission state of the light source 131 during the period in which the pixels of each line are different. Therefore, when the light emission state of the light source 131 changes in time series, an image in which the light emission state changes for each line in the entire image is obtained. That is, when the luminance of the light source 131 changes in time series, the image taken by the rolling shutter operation is taken as an image in which horizontal stripes having dark lines and bright lines are formed according to the time series change in luminance.
  • the imaging unit 111 that performs the rolling shutter operation changes the light emission state of the light source 131 even if the imaging frame rate is slower than the control frequency of the light emission state of the light source 131 by the visible light communication control unit 132. It can be acquired as a horizontal stripe pattern.
  • the imaging unit 111 that performs a rolling shutter operation can detect a change in the light emission state of the light source 131 even if the sampling frequency by imaging is lower than the control frequency of the light emission state of the light source 131. Therefore, the identification information acquisition unit 112 can acquire the identification information of the information processing device 13 from the change in the light emission state of the light source 131.
  • the change in the light emission state of the light source 131 is obtained by making the imaging frame rate faster than the control frequency of the light emission state of the light source 131 by the visible light communication control unit 132. It goes without saying that you can do it.
  • FIG. 8 is an explanatory diagram illustrating an example of an image displayed on the display device that is the light source 131 of the information processing device 13, and FIG. 9 illustrates that the identification information acquisition unit 112 acquires the identification information from the image illustrated in FIG. It is explanatory drawing which showed the method.
  • a plurality of selection buttons 210B and explanatory text 210C are displayed in the background area 210A. Yes.
  • the background area 210A is an area having a uniform hue, for example.
  • the selection button 210 ⁇ / b> B is an image representing a button for the user to select various transactions
  • the explanatory note 210 ⁇ / b> C is a character image that describes an operation to be performed by the user in the display image 210.
  • the background area 210 ⁇ / b> A preferably occupies most of the display image 210.
  • the visible light communication control unit 132 can acquire identification information from the captured image by detecting a change in luminance of the display image 210 in the background region 210A having a uniform hue.
  • the identification information acquisition unit 112 extracts the display image 211 of the light source 131 from the image captured by the imaging unit 111. Next, the identification information acquisition unit 112 detects a background area 211 ⁇ / b> A having a uniform hue from the display image 211. Here, the identification information acquisition unit 112 may detect the background region 211A by storing the hue of the background region 211A in advance. Further, the identification information acquisition unit 112 may regard the widest region of the same hue region in the display image 211 as the background region 211A.
  • the identification information acquisition unit 112 integrates the pixel values of the pixels determined to be the background region 211A for each line to which the pixel belongs.
  • the identification information acquisition unit 112 calculates the average value of the pixel values of all lines from the integrated value of the pixel values for each line, and the ratio of the integrated value of the pixel values of each line to the average value of the pixel values of all lines Is calculated. Further, the identification information acquisition unit 112 processes the ratio of the integrated values of the pixel values of each line by a shutter function based on the rolling shutter operation. Thereby, the identification information acquisition unit 112 can separate the encoded identification information from the display image 211. Furthermore, the identification information acquisition unit 112 can acquire the identification information of the information processing device 13 by decoding the encoded identification information.
  • the integrated value i (y) obtained by integrating the pixels of the background area 211A for each line is s (t) for the shutter function, f (t) for the identification information, and i bg for the hue information for the background area 211A. Then, it can be expressed by the following formula 101.
  • y is a line index
  • t is time.
  • the identification information second acquisition method in the identification information acquisition unit 112 has been specifically described.
  • the identification information acquisition unit 112 is a case where the imaging frame rate of the imaging unit 111 is slower than the frequency for controlling the light emission state of the light source 131 by the visible light communication control unit 132. Identification information of the information processing apparatus 13 can be acquired.
  • the third acquisition method is an identification information acquisition method in a case where the imaging unit 111 can capture images by a rolling shutter operation and can simultaneously capture the light source 131 with different exposure times.
  • the identification information acquisition unit 112 acquires the identification information of the information processing device 13 even when the background area 210A cannot be detected from the display image 210 or the display image 210 is a moving image. can do.
  • FIG. 10 is an explanatory diagram for explaining an operation when images are taken simultaneously at different exposure times in an imaging apparatus that performs a rolling shutter operation.
  • the imaging apparatus when imaging one frame, the imaging apparatus performs a rolling shutter operation in which exposure is sequentially started for each line. However, each line is exposed with a different exposure time every other line. According to this configuration, although the resolution in the vertical direction is reduced, the imaging apparatus can simultaneously acquire images taken at different exposure times.
  • the identification information acquisition unit 112 uses a plurality of images captured at different exposure times, so that even when the background area 210A cannot be detected from the display image 210 or when the display image 210 is a moving image, Identification information can be acquired.
  • the method for controlling the exposure time of each pixel is not particularly limited as long as the imaging device can simultaneously image the light source 131 with different exposure times. That is, the imaging apparatus may control the exposure time for each line or the exposure time for each pixel in order to capture images with different exposure times.
  • FIG. 11 is an explanatory diagram illustrating an example of an image displayed on the display device (that is, the light source 131) of the information processing device 13, and FIG. 12 illustrates the identification information acquisition unit 112 from the image illustrated in FIG. It is explanatory drawing which showed the method to acquire.
  • the display image 220 displayed on the display device (that is, the light source 131) of the information processing device 13 is, for example, a landscape photograph image in which the background region cannot be specified.
  • the identification information acquisition unit 112 can acquire identification information by using a plurality of display images 221A and 221B having different exposure times. Specifically, the identification information acquisition unit 112 extracts the display images 221A and 221B of the light source 131 from the image captured by the imaging unit 111.
  • the display images 221A and 221B are images captured at different exposure times, the integration times of changes in the light emission state (for example, luminance) of the light source 131 are different, and images having different bright and dark horizontal stripes are formed. It has become.
  • the integrated value i 1 (y) obtained by integrating the pixels of the display image 221A for each line and the integrated value i 2 (y) obtained by integrating the pixels of the display image 221B for each line are the same as in the second acquisition method.
  • the shutter functions as s 1 (t) and s 2 (t)
  • the identification information as f (t)
  • the hue information i bg (y) of the original images of the display images 221A and 221B 201 and Formula 202.
  • y represents the position of the display images 221A and 221B in the vertical direction
  • t is time.
  • i 1 (y) and i 2 (y) can be calculated from the display images 221A and 221B. Further, s 1 (t) and s 1 (t) are known shutter functions. Therefore, by erasing i bg (y) in Equation 201 and Equation 202, the identification information acquisition unit 112 can calculate the identification information f (t).
  • the identification information acquisition unit 112 can separate the encoded identification information by the above method, the identification information of the information processing apparatus 13 can be acquired by decoding the encoded identification information.
  • the length of the exposure time of any one of the imaging unit 111 is an integral multiple of the luminance change period of the light source 131
  • the change in the light emission state of the light source 131 is integrated over the entire captured image. It becomes uniform. That is, since the captured display image is an image in which bright and dark horizontal stripes are not formed, i 1 (y) can be expressed by a simpler expression like Expression 203 below. Therefore, in such a case, the formula 202 can be transformed as the following formula 204.
  • the mathematical formula 204 has the same format as the mathematical formula 102 in the second acquisition method in which the hue of the background region 211A is known. Therefore, the identification information acquisition unit 112 can more easily separate the encoded identification information from the display images 221A and 221B, as in the second acquisition method.
  • i 1 (y) can be similarly expressed by Equation 203 above. Therefore, even in such a case, the identification information acquisition unit 112 can more easily separate the encoded identification information from the display images 221A and 221B.
  • the identification information acquisition unit 112 can acquire the identification information of the information processing apparatus 13 even when the background area 210A cannot be detected from the display image 210 or when the display image 210 is a moving image. it can.
  • FIG. 13 is a block diagram illustrating an example of a hardware configuration that configures the information processing apparatus 13 according to the present embodiment. That is, information processing by the information processing terminal 11 and the information processing apparatus 13 according to the present embodiment is realized by cooperation of software and hardware. Note that the hardware configuration of the information processing terminal 11 is substantially the same as that of the information processing apparatus 13, and thus the description thereof is omitted here.
  • the information processing apparatus 13 includes a CPU (Central Processing Unit) 301, a ROM (Read Only Memory) 303, a RAM (Random Access Memory) 305, a bridge 309, internal buses 307 and 311, and the like. , An interface 313, an input device 315, an output device 317, a storage device 319, and a communication device 321.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU 301 functions as an arithmetic processing device and a control device, and controls the overall operation in the information processing device 13 according to various programs.
  • the ROM 303 stores programs and calculation parameters used by the CPU 301, and the RAM 305 temporarily stores programs used in the execution of the CPU 301, parameters that change as appropriate during the execution, and the like.
  • CPU301 performs functions, such as visible light communication control part 132 and transaction execution part 136, for example.
  • the CPU 301 implements functions such as the identification information acquisition unit 112 and the display control unit 113.
  • the CPU 301, ROM 303, and RAM 305 are connected to each other by a bridge 309, internal buses 307 and 311, and the like.
  • the CPU 301, ROM 303, and RAM 305 are also connected to the input device 315, the output device 317, the storage device 319, and the communication device 321 via the interface 313.
  • the input device 315 is a device for inputting information from the user or the outside.
  • the input device 315 also includes an input control circuit for generating an input signal based on the input information and outputting it to the CPU 301.
  • the input device 315 implements, for example, the imaging unit 111 and the input unit 116.
  • the output device 317 includes, for example, a display device such as a liquid crystal display device and an organic EL display device, and an audio output device such as a speaker and headphones.
  • the output device 317 implements functions such as the light source 131, for example.
  • the storage device 319 is a data storage device configured as an example of a storage unit of the information processing device 13.
  • the storage device 319 may include a storage medium, a storage device that stores data in the storage medium, a reading device that reads data from the storage medium, and a deletion device that deletes stored data.
  • the storage device 319 implements functions such as the storage unit 133, for example.
  • the storage device 319 implements functions such as the display storage unit 114, for example.
  • the communication device 321 is a communication interface configured with, for example, a communication device for connecting to another device or the network 15.
  • the communication device 321 may be a wireless LAN compatible communication device or a cable communication device that performs wired cable communication.
  • the communication device 321 implements functions such as the input information receiving unit 134 and the communication unit 135, for example.
  • the communication device 321 realizes functions such as the input information transmission unit 117, for example.
  • the user can perform an input operation to the information processing apparatus 13 using the information processing terminal 11.
  • the information processing system 1 uses visible light communication that dynamically changes and is not visually recognized for information transmission between the information processing terminal 11 and the information processing device 13, thereby preventing information skimming and improving security. be able to.
  • the information processing system 1 information is transmitted by visible light communication using the change in the light emission state of the light source, so that the user can easily grasp the transmission source and the communication range. Therefore, the information processing system 1 can prevent the user from operating the information processing apparatus 13 that is not intended.
  • the information processing system 1 can determine whether or not the information processing terminal 11 has left the information processing apparatus 13 by monitoring the communication state of visible light communication. Therefore, when the information processing terminal 11 leaves the information processing apparatus 13, the information processing system 1 stops the display of the input screen displayed on the information processing terminal 11, so that the information processing apparatus 13 can be moved from a remote position. Operation can be prevented.
  • the visible light communication control unit that controls the light emission state of the light source and transmits the identification information
  • An information processing apparatus comprising: Imaging unit, An identification information acquisition unit that performs image processing on an image of the light source captured by the imaging unit and acquires identification information of the information processing apparatus; A display control unit that controls display of an input screen on which an operation on the information processing apparatus is input based on the identification information; An input information transmitting unit for transmitting the input information input on the input screen to the information processing apparatus;
  • An information processing terminal comprising: Information processing system including (2) The information processing system according to (1), wherein the visible light communication control unit transmits the identification information by changing luminance or hue of the light source.
  • the visible light communication control unit controls a light emission state of the light source at a frequency higher than a frame rate of the imaging unit.
  • the identification information acquisition unit extracts a background region having a predetermined luminance or hue from the image of the light source imaged by the imaging unit, and acquires the identification information based on a change in luminance or hue in the background region.
  • the imaging unit simultaneously captures a plurality of images of the light source having different exposure times,
  • the visible light communication control unit controls a light emission state of the light source at a frequency lower than a frame rate of the imaging unit;
  • the identification information acquisition unit acquires the identification information of the information processing apparatus by performing image processing on an image captured at a predetermined timing by the imaging unit, When the identification information acquisition unit does not acquire the identification information of the information processing apparatus for a predetermined time, the display control unit stops displaying the input screen.
  • (1) to (7) The information processing system according to any one of the above.
  • the information processing apparatus is an automatic transaction apparatus, The information processing apparatus according to any one of (1) to (9), wherein the information processing apparatus executes a transaction based on the input information received from the information processing terminal and authentication information of a user of the information processing terminal. The information processing system described.
  • An information processing apparatus comprising: (12) An imaging unit; An identification information acquisition unit that performs image processing on an image captured by the imaging unit and acquires identification information of the information processing device transmitted according to a light emission state of a light source of the information processing device; A display control unit that controls display of an input screen on which an operation on the information processing apparatus is input based on the identification information; An input information transmitting unit for transmitting the input information input on the input screen to the information processing apparatus;
  • An information processing terminal comprising:

Abstract

【課題】セキュリティ性がより向上した情報処理システムを提供する。 【解決手段】　光源、情報処理装置の識別情報に基づいて、前記光源の発光状態を制御し、前記識別情報を送信する可視光通信制御部、を備える情報処理装置と、　撮像部、前記撮像部により撮像された前記光源の画像を画像処理し、前記情報処理装置の識別情報を取得する識別情報取得部、前記識別情報に基づいて、前記情報処理装置に対する操作が入力される入力画面の表示を制御する表示制御部、前記入力画面に入力された入力情報を前記情報処理装置に送信する入力情報送信部、を備える情報処理端末と、 を含む情報処理システム。

Description

情報処理システム、情報処理装置、および情報処理端末
　本開示は、情報処理システム、情報処理装置、および情報処理端末に関する。
　近年、コンビニエンスストア、駅、または公共施設などにおいて、ユーザ認証機能を備えた情報処理装置が多数設置されている。このような情報処理装置では、認証を行ったユーザに対して専用のサービスを提供することができる。具体的には、自動取引装置（Ａｕｔｏｍａｔｉｃ　Ｔｅｌｌｅｒ　Ｍａｃｈｉｎｅ：ＡＴＭ）、コンサートチケット等の発券機、および証明書等の自動交付機などが上述した情報処理装置に該当する。
　上記のような情報処理装置は、不特定多数のユーザが操作可能な場所に設置される。そのため、例えば、入力部に盗撮目的のカメラ等が仕掛けられ、ユーザが情報処理装置に入力したユーザ認証情報などが盗み取られる（いわゆる、スキミングされる）可能性があった。
　そのため、下記の特許文献１～５では、ユーザが所持する携帯通信端末等を介して情報入力または情報表示を行うことが可能な情報処理装置が提案されている。
　具体的には、特許文献１には、情報処理装置に二次元コード画像を表示させ、携帯通信端末にて当該画像を撮像した場合に、撮像した二次元コード画像に対応するユーザ認証情報をユーザ認証用サーバへ送信する情報処理システムが開示されている。
　また、特許文献２には、実行した取引結果情報を別のサーバに格納し、表示部には、取引結果情報の格納先を示す情報を含む二次元コード画像を表示する自動取引装置が開示されている。
　さらに、特許文献３～５には、認証に必要なユーザ情報または取引内容情報を変換した２次元コード画像を携帯通信端末に表示させ、自動取引装置（ＡＴＭ）が当該画像を読み取ることにより、取引に必要な情報を自動取引装置に伝達する技術が開示されている。
特開２００７－１９３７６２ 特開２００７－１７２００４ 特開２００７－２４１３５９ 特開２００８－１３４７３３ 特開２００９－２４５２７２
　しかし、特許文献１～５に開示された技術では、情報処理装置と携帯通信端末との間の情報伝達に二次元コード画像を用いるため、表示された二次元コード画像が盗撮された場合、二次元コード画像に含まれる情報を盗み取られる可能性があった。そのため、情報処理装置と携帯通信端末との間の情報伝達により情報が盗み取られにくい通信手段を用いた情報処理システムが求められていた。
　そこで、本開示では、セキュリティ性がより向上した、新規かつ改良された情報処理システム、情報処理装置、および情報処理端末を提案する。
　本開示によれば、光源、情報処理装置の識別情報に基づいて、前記光源の発光状態を制御し、前記識別情報を送信する可視光通信制御部、を備える情報処理装置と、撮像部、前記撮像部により撮像された前記光源の画像を画像処理し、前記情報処理装置の識別情報を取得する識別情報取得部、前記識別情報に基づいて、前記情報処理装置に対する操作が入力される入力画面の表示を制御する表示制御部、前記入力画面に入力された入力情報を前記情報処理装置に送信する入力情報送信部、を備える情報処理端末と、を含む情報処理システムが提供される。
　また、本開示によれば、光源と、情報処理装置の識別情報に基づいて、前記光源の発光状態を制御し、前記識別情報を送信する可視光通信制御部と、を備える情報処理装置が提供される。
　さらに、本開示によれば、撮像部と、前記撮像部により撮像された画像を画像処理し、情報処理装置の光源の発光状態により伝達される前記情報処理装置の識別情報を取得する識別情報取得部と、前記識別情報に基づいて、前記情報処理装置に対する操作が入力される入力画面の表示を制御する表示制御部と、前記入力画面に入力された入力情報を前記情報処理装置に送信する入力情報送信部と、を備える情報処理端末が提供される。
　本開示によれば、情報処理端末は、盗撮等によって情報を盗み取ることが困難な可視光通信によって情報処理装置の識別情報を受信し、該情報処理装置に対応した入力画面を表示する。また、情報処理端末は、入力画面に入力された入力操作を情報処理装置に送信し、情報処理装置は、送信された入力操作に基づいて処理を実行する。これにより、ユーザは、情報処理端末を用いて情報処理装置への入力操作を行うことができる。
　以上説明したように本開示によれば、情報処理システムにおいて、セキュリティ性をより向上させることが可能である。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理システムの全体構成を説明する説明図である。 同実施形態に係る情報処理端末、および情報処理装置の内部構成を説明するブロック図である。 同実施形態にて用いられる可視光通信を模式的に説明する説明図である。 同実施形態に係る情報処理システムの動作の流れを説明するフローチャート図である。 識別情報が取得できなかった場合の情報処理システムの動作の流れを説明するフローチャート図である。 撮像装置におけるグローバルシャッタ動作を説明する説明図である。 撮像装置におけるローリングシャッタ動作を説明する説明図である。 情報処理装置の光源である表示装置に表示される画像例を示す説明図である。 図８に示した画像から識別情報取得部が識別情報を取得する方法を示した説明図である。 ローリングシャッタ動作をする撮像装置において、異なる露光時間に同時に撮像する際の動作を説明する説明図である。 情報処理装置の光源である表示装置に表示される画像例を示す説明図である。 図１１に示した画像から識別情報取得部が識別情報を取得する方法を示した説明図である 同実施形態に係る情報処理装置を構成するハードウェア構成の一例を示したブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．本開示の一実施形態に係る情報処理システム
　　１．１．情報処理システムの構成
　　１．２．情報処理端末、および情報処理装置の構成
　　１．３．情報処理システムの動作
　２．識別情報の取得方法
　　２．１．第１の取得方法
　　２．２．第２の取得方法
　　２．３．第３の取得方法
　３．本開示の一実施形態に係るハードウェアの構成
　４．まとめ
　＜１．本開示の一実施形態に係る情報処理システム＞
　まず、図１～図５を参照して、本開示の一実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、可視光通信によって送信された識別情報をユーザが所持する情報処理端末が受信することにより、情報処理装置への入力操作を情報処理端末にて行う情報処理システムである。
　ここで、情報処理端末とは、例えば、携帯電話およびスマートフォンなどの携帯通信端末、またはＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｓｉｔａｌ　Ａｓｓｉｓｔａｎｔ）などであってもよい。また、情報処理装置とは、例えば、自動取引装置（ＡＴＭ）、コンサートチケット等の発券機、および証明書等の自動交付機などのユーザ認証を必要とするサービスを提供する装置であってもよい。
　なお、以下では、情報処理装置として自動取引装置（ＡＴＭ）を例示し、情報処理システムとしてユーザに対して金融取引を実行する自動取引システムを例示して説明を行う。ただし、自動取引システム以外のユーザ認証が必要なサービスを提供するための情報処理システムに対しても、本開示に係る技術が適用可能であることは言うまでもない。
　［１．１．情報処理システムの構成］
　まず、図１を参照して、本開示の一実施形態に係る情報処理システム全体の概略構成について説明する。図１は、本実施形態に係る情報処理システムの全体構成を説明する説明図である。
　図１に示すように、本実施形態に係る情報処理システム１は、情報処理端末１１と、情報処理装置１３と、ネットワーク１５と、金融機関サーバ１７とを備える。また、情報処理装置１３は、複数備えられてもよい。
　情報処理端末１１は、例えば、ユーザが所持する携帯電話またはスマートフォン等であり、カメラ等の撮像部を備える。情報処理端末１１は、光源の発光状態の変化として送信される情報処理装置１３の識別情報を撮像部にて撮像し、撮像した画像を画像処理することにより識別情報を取得することができる。
　また、情報処理端末１１は、取得した識別情報に基づいて、情報処理装置１３に対する操作を入力可能な入力画面を表示させ、該入力画面に入力された操作を情報処理装置１３に対して送信する。これにより、ユーザは、情報処理装置１３への入力操作を情報処理端末１１にて行うことができる。
　情報処理装置１３は、例えば、銀行、コンビニエンスストア等に設置された自動取引装置であり、光源を備える。情報処理装置１３は、自己の識別情報を符号化し、符号化した識別情報を光源の発光状態の変化によって情報処理端末１１に送信することができる。例えば、光源は、画像等を表示する表示装置であってもよく、情報処理装置１３は、表示装置に表示される画像の輝度または色相を変化させることによって、識別情報を情報処理端末１１に送信してもよい。
　ここで、情報処理装置１３による光源の発光状態の変化は、人間の視覚には認識できない程度に高い周波数で行われる。人間の視覚には認識できない周波数とは、例えば、７０Ｈｚ以上であり、情報処理装置１３は、例えば、約１０ｋＨｚにて光源の発光状態を制御する。これにより、情報処理装置１３は、ユーザには視認されない通信手段にて情報処理端末１１へ情報を送信することができる。
　また、情報処理装置１３は、情報処理端末１１から送信されたユーザの入力操作に基づいて各種取引を実行する。例えば、情報処理装置１３は、預金の引き出し、現金の預け入れ、および残高照会などの自動取引装置として通常実行可能な各種取引を実行してもよい。
　ネットワーク１５は、金融機関が有する専用のネットワークであり、例えば、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）により構成される。また、ネットワーク１５は、一般に公開されていない専用のネットワークであれば、有線または無線のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などであってもよい。
　金融機関サーバ１７は、例えば、金融機関のホストサーバであり、各情報処理装置１３における各種取引を制御する。例えば、金融機関サーバ１７は、情報処理装置１３を操作するユーザの認証を行ったり、ユーザの操作により指示された入出金、および振込などの取引の処理を実行したりする。また、金融機関サーバ１７は、口座番号、暗証番号、氏名、住所、年齢、生年月日、電話番号、職業、家族構成、年収、および預金残高などの顧客情報を口座の元帳として管理する。
　本実施形態に係る情報処理システム１では、情報処理装置１３は、光源の発光状態を変化させることにより識別情報を送信する。また、情報処理端末１１は、カメラ等にて光源の画像を撮像し、該光源の発光状態の変化を取得することによって、情報処理装置１３の識別情報を取得し、取得した識別情報に対応する入力画面を表示する。ここで、情報処理端末１１は、識別情報を取得した情報処理装置１３と通信の接続を確立し、ユーザによって入力画面に入力された入力操作を情報処理装置１３に送信する。さらに、情報処理装置１３は情報処理端末１１から送信された入力操作に基づいて取引を実行する。以上の動作により、ユーザは、情報処理端末１１を用いて情報処理装置１３に対する入力操作を行うことができる。
　したがって、本実施形態に係る情報処理システム１では、ユーザは、情報処理端末１１を用いて情報処理装置１３への入力操作を行うことができる。また、情報処理システム１では、情報処理端末１１と情報処理装置１３との情報伝達に視認可能な二次元コード画像を用いず、視認されない可視光通信を用いる。そのため、情報処理システム１では、入力情報がスキミングされにくいため、セキュリティ性をより向上させることができる。
　なお、光源の発光状態の変化によって情報を送信する通信方法は、可視光通信とも呼ばれる。特に、可視光通信のうち、光源の発光状態の変化をカメラ等の撮像部にて撮像することで情報を受信する通信方法は、イメージセンサ通信とも呼ばれる。
　このような通信方法は、光源の発光状態の変化により情報を伝達するため、ユーザは発信源および通信範囲を把握することが容易である。具体的には、ユーザの情報処理端末１１と可視光通信する情報処理装置１３は、ユーザの情報処理端末１１にて光源を撮像可能な情報処理装置１３に限られるため、ユーザは、自身の正面に設置された情報処理装置１３と可視光通信していると直感的に理解しやすい。そのため、ユーザは、多数の情報処理装置１３が設置されている場所であっても、自身が通信している情報処理装置１３を容易に把握することができる。したがって、このような通信方法によれば、ユーザが意図しない情報処理装置１３を操作してしまうことを防止することができる。
　また、このような通信方法では、光源から発せられる光の直進性が高いため、高い指向性にて情報を情報処理端末１１に送信することができる。そのため、このような通信方法では、情報を伝達する対象を容易に制御することができるため、通信を傍受される可能性が低く、情報処理システムのセキュリティ性を向上させることができる。
　さらに、このような通信方法では、光源の発光状態の変化を撮像可能な範囲が情報処理装置１３の近傍（おおよそ、光源から３ｍ以内程度）であり、通信可能な範囲も同程度の範囲となる。そのため、情報処理端末１１は、可視光通信の通信状態を所定のタイミングで監視することにより、可視光通信ができなくなった場合、情報処理端末１１が情報処理装置１３から離れたと判断することができる。これにより、情報処理端末１１は、情報処理端末１１が情報処理装置１３から離れた場合に、情報処理装置１３に対する操作の入力画面の表示を中止し、離れた位置から情報処理装置１３が操作されることを防止することができる。
　以上説明したように、上記の構成によれば、本実施形態に係る情報処理システム１は、セキュリティ性をより向上させることができる。
　［１．２．情報処理装置、および情報処理端末の構成］
　次に、図２を参照して、本実施形態に係る情報処理端末１１、および情報処理装置１３の具体的な機能構成について説明する。図２は、本実施形態に係る情報処理端末１１、および情報処理装置１３の内部構成を説明するブロック図である。
　図２に示すように、情報処理端末１１は、撮像部１１１と、識別情報取得部１１２と、表示制御部１１３と、表示記憶部１１４と、表示部１１５と、入力部１１６と、入力情報送信部１１７とを備える。また、情報処理装置１３は、光源１３１と、可視光通信制御部１３２と、記憶部１３３と、入力情報受信部１３４と、通信部１３５と、取引実行部１３６とを備える。
　（情報処理端末の内部構成）
　撮像部１１１は、撮像レンズおよび撮像素子等を備え、被写体（より詳細には、光源１３１）の画像を取得する。具体的には、撮像部１１１は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ－Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ、またはＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサなどで構成される撮像素子により、撮像レンズを介して入射する被写体からの光を光電変換し、画像信号に変換する。
　識別情報取得部１１２は、撮像部１１１により撮像された光源１３１の画像を画像処理することにより、情報処理装置１３の識別情報を取得する。具体的には、識別情報取得部１１２は、撮像部１１１により撮像された画像から光源１３１の輝度または色相などの発光状態の時系列的な変化を検出し、検出した発光状態の変化を識別情報に変換する。
　なお、光源１３１が表示装置である場合、識別情報取得部１１２は、撮像画像中に光源１３１が含まれていれば、光源１３１の向きに依らずに識別情報を取得することができる。また、識別情報取得部１１２は、撮像部１１１の性能にもよるものの、表示装置である光源１３１が撮像画像全体に対して１／４～１／３程度含まれていれば、識別情報を取得することができる。
　ここで、識別情報取得部１１２は、所定のタイミングで撮像された光源１３１の画像から情報処理装置１３の識別情報を取得し、情報処理装置１３との可視光通信の状況を確認してもよい。
　具体的には、識別情報取得部１１２は、表示制御部１１３により情報処理装置１３に対する入力画面が表示部１１５に表示されている間、撮像部１１１により所定のタイミングで撮像された画像から情報処理装置１３の識別情報を取得できるか否かを確認してもよい。また、所定時間、撮像部１１１により撮像された画像から情報処理装置１３の識別情報が取得できない場合、表示制御部１１３は、情報処理装置１３に対する入力画面の表示を中止してもよい。このような構成によれば、情報処理端末１１は、ユーザが情報処理装置１３を視認できない程度に離れた位置から操作し、取引を実行してしまうことを防止することができる。
　なお、所定のタイミングとは、例えば、数秒程度の間隔である。また、識別情報取得部１１２は、撮像された光源１３１の画像から情報処理装置１３の識別情報を取得できるか否かを常時確認してもよい。また、所定時間は、所定のタイミングと同様に、例えば、数秒程度である。
　なお、識別情報取得部１１２の画像処理方法の詳細については、＜２．識別情報の取得方法＞以降にて詳述する。
　表示制御部１１３は、識別情報取得部１１２が取得した情報処理装置１３の識別情報に基づいて、情報処理装置１３に対する操作を入力するための入力画面の表示を制御する。例えば、表示制御部１１３は、情報処理装置１３の識別情報に基づいて、情報処理装置１３に表示される操作画面を模した入力画面を生成し、該入力画面を表示部１１５に表示する制御を行う。なお、情報処理装置１３において、取引の完了までに複数の操作画面が順次表示される場合、表示制御部１１３は、同様に、複数の入力画面を表示部１１５に順次表示するように制御してもよい。
　表示記憶部１１４は、表示制御部１１３によって表示制御される入力画面の情報を記憶する。具体的には、表示記憶部１１４は、情報処理装置１３に対する操作が入力される入力画面を生成するための情報を記憶する。また、表示記憶部１１４は、情報処理装置１３ごとに、または情報処理装置１３が属する金融機関ごとに、対応する入力画面の生成情報を記憶してもよい。ここで、表示記憶部１１４は、情報処理装置１３に対する操作が、取引完了までに複数の入力画面にわたって入力される必要がある場合、それら複数の入力画面の情報をそれぞれ記憶してもよい。
　表示部１１５は、表示制御部１１３によって表示が制御される表示装置である。例えば、表示部１１５は、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ　Ｄｉｓｐｌａｙ）装置などであってもよい。
　入力部１１６は、マウス、キーボード、ボタン、マイクロフォン、スイッチまたはレバーなどのユーザが情報を入力するための入力装置である。表示部１１５に表示された入力画面を確認したユーザは、入力部１１６を操作することにより、情報処理装置１３に対する操作を入力することができる。また、入力部１１６を介して入力された入力情報は、入力情報送信部１１７によって、情報処理装置１３に送信される。
　入力情報送信部１１７は、情報処理装置１３と通信を行う。具体的には、入力情報送信部１１７は、入力部１１６に入力された入力情報を情報処理装置１３の入力情報受信部１３４へ送信する。ここで、入力情報には、例えば、情報処理装置１３が実行する取引内容を示す情報、およびユーザの個人認証情報等が含まれる。そのため、情報処理システム１のセキュリティ性をより向上させるためには、入力情報送信部１１７は、入力情報を暗号化して送信することが好ましい。
　なお、入力情報送信部１１７は、情報処理装置１３へ情報を送信することができれば、どのような通信インターフェースであってもよく、例えば、無線通信装置であってもよい。ただし、情報処理システム１のセキュリティ性をより向上させるためには、入力情報送信部１１７は、より機密性の高い通信手段で情報処理装置１３へ入力情報を送信することが好ましい。例えば、入力情報送信部１１７は、光源１３１と同様に可視光通信によって情報処理装置１３へ入力情報を送信してもよい。
　（情報処理装置の内部構成）
　光源１３１は、発光状態の制御が可能な照明または表示装置であり、好ましくは表示装置である。また、光源１３１は、可視光通信制御部１３２により輝度または色相が制御される。したがって、光源１３１は、輝度または色相の時系列的な変化によって符号化された識別情報を情報処理端末１１へ送信することができる。
　ここで、光源１３１は、人間の視覚にはちらつきが認識できない程度に高い周波数（例えば、７０Ｈｚ以上）で輝度または色相を変化させることが可能な光源であることが好ましい。このような高い周波数で輝度または色相を変化させることが可能な光源としては、例えば、ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）光源、有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｅｎｃｅ）光源などが挙げられる。また、光源１３１が表示装置である場合、上述した光源は、例えば、表示装置のバックライトとして使用されてもよく、表示装置の画素として使用されてもよい。
　可視光通信制御部１３２は、情報処理装置１３の識別情報に基づいて、光源１３１の発光状態を制御する。具体的には、可視光通信制御部１３２は、情報処理装置１３の識別情報を符号化し、符号化した識別情報を光源１３１の輝度または色相を制御することによって送信する。
　ここで、図３を参照して、可視光通信制御部１３２の機能についてより具体的に説明する。図３は、可視光通信を模式的に説明する説明図である。
　まず、可視光通信制御部１３２は、情報処理装置１３の識別情報を「０」および「１」の二値情報等に符号化する。次に、図３に示すように、可視光通信制御部１３２は、符号化した識別情報に基づいて、情報処理装置の光源１３１（より詳細には、表示装置）の輝度を時系列にて変化させる。例えば、可視光通信制御部１３２は、「１」を輝度が「高」状態、「０」を輝度が「低」状態として光源の発光状態を制御してもよい。
　一方、情報処理端末１１では、輝度が時系列に変化する光源１３１（より詳細には、表示装置）を撮像部１１１で撮像することにより、光源１３１の輝度の時系列変化を検出する。ここで、情報処理端末１１は、可視光通信制御部１３２による輝度制御と、識別情報の「０」および「１」との対応関係をあらかじめ記憶しておき、かかる対応関係に基づいて、光源１３１の輝度の時系列変化を符号化された識別情報に変換する。これにより、情報処理端末１１は、情報処理装置１３の識別情報を可視光通信により取得することができる。
　ここで、可視光通信制御部１３２の輝度の変化は、人間の視覚の応答速度よりも高速の周波数（例えば、１０ｋＨｚなど）にて制御されるため、光源１３１を目視するユーザには、輝度の変化は積分されて認識できない。したがって、可視光通信制御部１３２は、ユーザに認識されず、かつ、ちらつき等を感じさせない通信手段にて情報処理装置１３の識別情報を送信することができる。
　なお、可視光通信制御部１３２は、光源１３１の色相の変化によって識別情報を送信してもよい。人間の視覚は、輝度よりも色相に対する変化の方が鈍感である。そのため、可視光通信制御部１３２が、光源１３１の輝度変化ではなく、色相変化にて識別情報を送信する場合、より低い周波数でもユーザに認識されずに識別情報を送信することができる。
　このような場合、可視光通信制御部１３２は、光源１３１の色相を、例えば、赤色および緑色、黄色および青色などの補色関係の色相同士の間で時系列に変調させることにより、輝度変化と同様に、情報処理装置１３の識別情報を送信することができる。
　なお、光源１３１が表示装置である場合、可視光通信制御部１３２は、バックライトの輝度または色相を制御することにより、光源１３１の輝度または色相を変化させてもよい。ただし、本開示の技術は、かかる例示に限定されず、可視光通信制御部１３２は、表示される画像を画像処理し、画像自体の輝度または色相を制御することにより、光源１３１の輝度または色相を変化させてもよい。
　また、可視光通信制御部１３２は、情報処理装置１３の識別情報を同一の符号化方式にて繰り返し送信してもよいし、識別情報の符号化方式を動的に変更しながら送信してもよい。
　記憶部１３３は、情報処理装置１３の識別情報が記憶される。また、記憶部１３３は、情報処理装置１３が実行する各種処理のためのプログラムおよびデータベースを記憶してもよく、各種処理を行う際に保存の必要が生じた様々なパラメータおよび途中経過等を記憶してもよい。
　入力情報受信部１３４は、情報処理端末１１と通信を行う。具体的には、入力情報受信部１３４は、情報処理端末１１の入力情報送信部１１７から送信された情報処理装置１３に対する操作を指示する入力情報を受信する。入力情報には、例えば、情報処理装置１３が実行する取引内容を示す情報、およびユーザの個人認証情報等が含まれ、情報処理装置１３は、入力情報受信部１３４が受信した入力情報に基づいて取引を実行する。
　なお、入力情報受信部１３４は、入力情報送信部１１７から情報を受信できれば、どのような通信インターフェースであってもよく、例えば、無線通信装置であってもよい。ただし、情報処理システム１のセキュリティ性をより向上させるためには、入力情報受信部１３４は、より機密性の高い通信手段で情報処理端末１１から入力情報を受信することが好ましい。例えば、入力情報受信部１３４は、撮像部１１１と同様に可視光通信によって入力情報を受信してもよい。
　通信部１３５は、ネットワーク１５を介して金融機関サーバ１７と取引実行に必要な各種情報を通信する。具体的には、通信部１３５は、金融機関サーバ１７に取引内容情報、およびユーザの個人認証情報を送信し、取引結果を受信する。通信部１３５は、ネットワーク１５に接続するための通信デバイス等で構成された通信インターフェースであれば、どのような通信インターフェースであってもよい。例えば、通信部１３５は、無線または有線によりネットワーク１５に接続可能な通信装置であってもよく、有線ＬＡＮまたは無線ＬＡＮ対応通信装置であってもよいし、有線による通信を行うワイヤー通信装置であってもよい
　取引実行部１３６は、一般的な自動取引装置で行われる各種取引を実行する機能を有し、入力情報受信部１３４により受信した入力情報に基づいて、各種取引を実行する。具体的には、取引実行部１３６は、入力情報受信部１３４により受信した入力情報に基づいて、利用者の操作により預金の引き出し、現金の預け入れ、残高照会などの各種取引を実行する。
　以上の構成によれば、本実施形態に係る情報処理システム１は、情報処理装置１３への入力操作を情報処理端末１１にて行うことができる。また、情報処理端末１１と情報処理装置１３との情報伝達に、視認されず、動的に変化するため、スキミングされにくい可視光通信を用いるため、情報処理システム１は、セキュリティ性をより向上させることができる。
　また、このような情報処理システム１では、光源の発光状態の変化により情報を伝達するため、ユーザは発信源および通信範囲を把握することが容易である。そのため、情報処理システム１によれば、ユーザが意図と異なる情報処理装置１３を操作してしまうことを防止することができる。
　［１．３．情報処理システムの動作］
　次に、図４を参照して、本実施形態に係る情報処理システム１の動作の流れについて説明する。図４は、本実施形態に係る情報処理システム１の動作の流れを説明するフローチャート図である。
　図４に示すように、ユーザにより情報処理端末１１の撮像部１１１の起動操作が行われ（Ｓ１０１）、撮像部１１１が起動する（Ｓ１０３）。撮像部１１１は、情報処理装置１３の光源１３１を撮像し、識別情報取得部１１２の画像処理により識別情報が取得される（Ｓ１０５－１）。取得された識別情報は、表示制御部１１３に通知され、表示制御部１１３は、当該情報処理装置１３に対して無線接続要請を送信し（Ｓ１０９）、情報処理装置１３からの接続応答を受信する（Ｓ１１１）。なお、Ｓ１０９の無線接続要請において、情報処理端末１１は、ユーザの認証情報を併せて情報処理装置１３に送信してもよい。
　また、表示制御部１１３は、情報処理装置１３への識別情報に基づいて表示部１１５に表示される入力画面の表示を制御する（Ｓ１１３）。ここで、ユーザは、表示部１１５に表示された入力画面に対して入力操作を行い（Ｓ１１５－１）、表示制御部１１３は、ユーザの入力操作に対して入力画面の表示を制御する（Ｓ１１７－１）。ユーザおよび表示制御部１１３は、このようなユーザによる入力操作（Ｓ１１５－１～Ｎ）、および入力画面の表示制御（Ｓ１１７－１～Ｎ）を取引が確定するまで繰り返す。
　一方、撮像部１１１および識別情報取得部１１２は、ユーザが入力画面への入力操作を行っている間、所定のタイミング（例えば、数秒間隔、または常時）にて、撮像部１１１が撮像した画像から情報処理装置１３の識別情報を取得できるか否かを確認する（Ｓ１０５－２～Ｎ）。これにより、情報処理端末１１は、ユーザが情報処理装置１３から離れていないことを確認する。撮像部１１１および識別情報取得部１１２は、表示制御部１１３において取引が確定するまで、この動作を繰り返す。なお、撮像部１１１および識別情報取得部１１２によって識別情報が取得されなかった場合については、図５を参照して後述する。
　ここで、取引が確定し、ユーザにより取引の実行操作がされた場合（Ｓ１１９）、表示制御部１１３は、入力画面に入力された情報処理装置１３に対する操作を指示する情報を取引実行要請として情報処理装置１３に送信する（Ｓ１２１）。なお、ユーザの認証情報は、かかる取引実行要請と併せて情報処理装置１３に送信されてもよい。
　情報処理装置１３は、金融機関サーバ１７に情報処理端末１１から受信した取引実行要請を送信した後（Ｓ１２３）、取引実行指示を金融機関サーバ１７より受信し（Ｓ１２５）、ユーザに対して取引を実行する（Ｓ１２７）。ここで、実行される取引は、例えば、現金の引き出し、現金の預け入れ、残高照会、振り込みなどである。
　ユーザによって、例えば、引き出された現金が回収され、取引が完了した場合（Ｓ１２９）、情報処理装置１３は、光源１３１を用いた可視光通信により、取引終了通知を情報処理端末１１へ送信する（Ｓ１３１）。情報処理端末１１は、撮像部１１１にて取引終了通知を受信した場合、表示制御部１１３に取引終了を通知し（Ｓ１３３）、入力画面の表示を終了させる。また、情報処理装置１３での取引が完了した後、ユーザにより情報処理端末１１の撮像部１１１の停止操作が行われた場合（Ｓ１３５）、撮像部１１１は、機能を停止する（Ｓ１３７）。
　以上の動作により、本実施形態に係る情報処理システム１は、ユーザに対してよりセキュリティ性を向上させたサービスを提供することができる。
　続いて、図５を参照して、ユーザによる入力画面への操作入力中に、撮像部１１１および識別情報取得部１１２によって識別情報が取得できなかった場合の情報処理システム１の動作の流れを説明する。図５は、識別情報が取得できなかった場合の情報処理システム１の動作の流れを説明するフローチャート図である。
　ここで、撮像部１１１および識別情報取得部１１２によって識別情報が取得できなかった場合とは、例えば、ユーザまたは情報処理端末１１が情報処理装置１３から離れてしまい、情報処理装置１３からの可視光通信を受信できなくなった場合である。なお、図５において、図４と同様の符号を付した動作については、図４と同様であるので、ここでの説明は省略する。
　図５に示すように、ユーザによる入力画面への操作入力中に、所定時間、撮像した画像から識別情報を取得することができなかった場合（Ｓ２０１）、識別情報取得部１１２は、表示制御部１１３に入力画面の表示の中止を通知する（Ｓ２０３）。そこで、表示制御部１１３は、入力画面の表示を中止し（Ｓ２０５）、機能を停止することで、情報処理装置１３から離れた場所から取引が実行されることを防止する。ここで、所定時間とは、所定のタイミングと同様に数秒程度であってもよい。なお、表示制御部１１３により入力画面の表示の中止がされた後、ユーザにより情報処理端末１１の撮像部１１１の停止操作が行われた場合（Ｓ１３５）、撮像部１１１は、機能を停止する（Ｓ１３７）。
　以上の動作により、本実施形態に係る情報処理システム１は、ユーザが情報処理装置１３から離れた場所にて、情報処理装置１３を操作してしまうことを防止することができる。また、本実施形態に係る情報処理システム１は、情報処理端末１１の操作中にユーザが情報処理端末１１を紛失した場合において、紛失した情報処理端末１１から情報処理装置１３に取引実行の指示が出されることを防止することができる。
　以上にて、本実施形態に係る情報処理システム１について詳細に説明した。
　＜２．識別情報の取得方法＞
　続いて、光源１３１の画像から識別情報取得部１１２が識別情報を取得する具体的な方法について説明する。光源１３１の画像から識別情報取得部１１２が識別情報を取得する方法は、撮像部１１１の撮像方式、および光源１３１（より詳細には、表示装置）の画像の種類によって、以下の第１～第３の取得方法が挙げられる。
　［２．１．第１の取得方法］
　まず、識別情報取得部１１２における識別情報の第１の取得方法について説明する。第１の取得方法は、撮像部１１１がグローバルシャッタ動作により光源１３１を撮像し、かつ、撮像部１１１の撮像のフレームレートが可視光通信制御部１３２による光源１３１の発光状態を制御する周波数よりも速い場合における識別情報の取得方法である。
　ここで、図６を参照して、撮像部１１１におけるグローバルシャッタ動作について説明する。図６は、撮像装置におけるグローバルシャッタ動作を説明する説明図である。
　グローバルシャッタ動作とは、撮像装置におけるシャッタ動作の１つであり、撮像装置の全画素が同時に撮像を行うシャッタ動作である。図６に示すように、グローバルシャッタ動作を行う撮像装置では、１フレームを撮像する場合、例えば、全てのラインの画素が同時に露光を開始し、同時に露光を終了する。
　このようなグローバルシャッタ動作により撮像された画像は、全てのラインにおける画素が同一の期間における光源１３１の発光状態を反映するため、画像全体において一様な発光状態の画像として撮像される。
　そのため、グローバルシャッタ動作をする撮像部１１１は、撮像のフレームレートを可視光通信制御部１３２による光源１３１の発光状態の制御周波数よりも速くすることによって、光源１３１の発光状態の変化を取得することができる。すなわち、グローバルシャッタ動作をする撮像部１１１では、撮像によるサンプリング周波数を光源１３１の発光状態の制御周波数よりも高速にすることにより、光源１３１の発光状態の変化を検出することができる。したがって、識別情報取得部１１２は、光源１３１の発光状態の変化から情報処理装置１３の識別情報を取得することができる。
　［２．２．第２の取得方法］
　次に、識別情報取得部１１２における識別情報の第２の取得方法について説明する。第２の取得方法は、撮像部１１１がローリングシャッタ動作により光源１３１を撮像する場合における識別情報の取得方法である。
　第２の取得方法によれば、撮像部１１１の撮像のフレームレートが可視光通信制御部１３２による光源１３１の発光状態を制御する周波数よりも遅い場合であっても、識別情報取得部１１２は、情報処理装置１３の識別情報を取得することができる。
　ここで、図７を参照して、撮像部１１１におけるローリングシャッタ動作について説明する。図７は、撮像装置におけるローリングシャッタ動作を説明する説明図である。
　ローリングシャッタ動作とは、撮像装置におけるシャッタ動作の１つであり、撮像装置の画素が画素群（例えば、ライン）ごとに順次、撮像を行うシャッタ動作である。例えば、図７に示すように、ローリングシャッタ動作を行う撮像装置では、１フレームを撮像する場合、各ラインの画素ごとに上から下に順次、露光が開始される。より具体的には、各ラインの画素は、時間ｔの間隔を空けて順に露光が開始され、一定の露光時間経過後、順次、露光を終了する。
　このようなローリングシャッタ動作により撮像された画像は、各ラインの画素が異なる期間における光源１３１の発光状態を反映する。そのため、光源１３１の発光状態が時系列で変化する場合、画像全体においてラインごとに発光状態が変化した画像が得られる。すなわち、光源１３１の輝度が時系列にて変化した場合、ローリングシャッタ動作により撮像された画像は、輝度の時系列変化に応じて暗いライン、および明るいラインを有する横縞が形成された画像として撮像される。
　そのため、ローリングシャッタ動作をする撮像部１１１は、撮像のフレームレートを可視光通信制御部１３２による光源１３１の発光状態の制御周波数よりも遅くした場合でも、光源１３１の発光状態の変化を撮像画像の横縞模様として取得することができる。すなわち、ローリングシャッタ動作をする撮像部１１１では、撮像によるサンプリング周波数が光源１３１の発光状態の制御周波数よりも低速であっても、光源１３１の発光状態の変化を検出することができる。したがって、識別情報取得部１１２は、光源１３１の発光状態の変化から情報処理装置１３の識別情報を取得することができる。
　なお、ローリングシャッタ動作する撮像部１１１であっても、撮像のフレームレートを可視光通信制御部１３２による光源１３１の発光状態の制御周波数よりも速くすることにより、光源１３１の発光状態の変化を取得することができることは言うまでもない。
　さらに、図８および図９を参照して、識別情報取得部１１２が実行する識別情報の取得方法について、より詳細に説明する。図８は、情報処理装置１３の光源１３１である表示装置に表示される画像例を示す説明図であり、図９は、図８に示した画像から識別情報取得部１１２が識別情報を取得する方法を示した説明図である。
　図８に示すように、例えば、情報処理装置１３の表示装置（すなわち、光源１３１）に表示される表示画像２１０には、背景領域２１０Ａに複数の選択ボタン２１０Ｂ、および説明文２１０Ｃが表示されている。
　背景領域２１０Ａは、例えば、一様な色相を有する領域である。選択ボタン２１０Ｂは、ユーザが各種取引を選択するためのボタンを表す画像であり、説明文２１０Ｃは、表示画像２１０において、ユーザが行うべき操作を説明する文字画像である。
　ここで、背景領域２１０Ａは、表示画像２１０の大部分を占めることが好ましい。可視光通信制御部１３２は、一様な色相を有する背景領域２１０Ａにおける表示画像２１０の輝度の変化を検出することにより、撮像画像から識別情報を取得することができる。
　具体的には、図９に示すように、識別情報取得部１１２は、撮像部１１１が撮像した画像から光源１３１の表示画像２１１を抽出する。次に、識別情報取得部１１２は、表示画像２１１から一様な色相を有する背景領域２１１Ａを検出する。ここで、識別情報取得部１１２は、背景領域２１１Ａの色相をあらかじめ記憶しておくことにより、背景領域２１１Ａを検出してもよい。また、識別情報取得部１１２は、表示画像２１１中で同一色相の領域のうち最も広い領域を背景領域２１１Ａとみなしてもよい。
　次に、識別情報取得部１１２は、背景領域２１１Ａと判断された画素の画素値を属するラインごとに積分する。次に、識別情報取得部１１２は、画素値のラインごとの積分値から全ラインの画素値の平均値を算出し、全ラインの画素値の平均値に対する各ラインの画素値の積分値の比率を算出する。また、識別情報取得部１１２は、各ラインの画素値の積分値の比率をそれぞれローリングシャッタ動作に基づくシャッタ関数にて処理する。これにより、識別情報取得部１１２は、符号化された識別情報を表示画像２１１から分離することができる。さらに、識別情報取得部１１２は、符号化された識別情報を復号することで、情報処理装置１３の識別情報を取得することができる。
　すなわち、上記において、背景領域２１１Ａの画素をラインごとに積分した積分値ｉ（ｙ）は、シャッタ関数をｓ（ｔ）、識別情報をｆ（ｔ）、背景領域２１１Ａの色相情報をｉｂｇとすると、以下の数式１０１にて表すことができる。なお、ｙは、ラインのインデックスであり、ｔは、時間である。
Figure JPOXMLDOC01-appb-M000001
　ここで、ｓ（ｔ）およびｉｂｇは、それぞれ既知であるため、数式１０１を行列表現に変換した後（数式１０２）、両辺にＳの擬似逆行列をかけることにより、識別情報の行列表現Ｆを算出することができる（数式１０３）。これにより、識別情報取得部１１２は、識別情報を取得することができる。
Figure JPOXMLDOC01-appb-M000002
　以上にて、識別情報取得部１１２における識別情報の第２の取得方法について具体的に説明した。第２の取得方法によれば、識別情報取得部１１２は、撮像部１１１の撮像のフレームレートが可視光通信制御部１３２による光源１３１の発光状態を制御する周波数よりも遅い場合であっても、情報処理装置１３の識別情報を取得することができる。
　［２．３．第３の取得方法］
　続いて、識別情報取得部１１２における識別情報の第３の取得方法について説明する。第３の取得方法は、撮像部１１１がローリングシャッタ動作により撮像し、かつ異なる露光時間で同時に光源１３１を撮像することができる場合における識別情報の取得方法である。
　第３の取得方法によれば、表示画像２１０から背景領域２１０Ａが検出できない場合や表示画像２１０が動画である場合であっても、識別情報取得部１１２は、情報処理装置１３の識別情報を取得することができる。
　ここで、図１０を参照して、ローリングシャッタ動作をする撮像部１１１が、異なる露光時間にて同時に撮像する際の構成について説明する。図１０は、ローリングシャッタ動作をする撮像装置において、異なる露光時間に同時に撮像する際の動作を説明する説明図である。
　図１０に示すように、例えば、撮像装置は、１フレームを撮像する場合、ラインごとに順次、露光が開始されるローリングシャッタ動作を行う。ただし、各ラインは、１ライン置きに異なる露光時間にて露光を行う。この構成によれば、垂直方向の分解能は低下するものの、撮像装置は、異なる露光時間にて撮像した画像を同時に取得することができる。識別情報取得部１１２は、異なる露光時間にて撮像された複数の画像を用いることにより、表示画像２１０から背景領域２１０Ａが検出できない場合や表示画像２１０が動画である場合でも、情報処理装置１３の識別情報を取得することができる。
　なお、撮像装置は、異なる露光時間にて同時に光源１３１を撮像できれば、各画素の露光時間の制御方法は、特に限定されない。すなわち、撮像装置は、異なる露光時間の画像を撮像するために、ラインごとに露光時間を制御してもよく、画素ごとに露光時間を制御してもよい。
　以下では、図１１および図１２を参照して、識別情報取得部１１２が実行する識別情報の取得方法について、より詳細に説明する。図１１は、情報処理装置１３の表示装置（すなわち、光源１３１）に表示される画像例を示す説明図であり、図１２は、図１１に示した画像から識別情報取得部１１２が識別情報を取得する方法を示した説明図である。
　図１１に示すように、情報処理装置１３の表示装置（すなわち、光源１３１）に表示される表示画像２２０は、例えば、背景領域が特定できない風景写真の画像である。
　ここで、図１２に示すように、識別情報取得部１１２は、露光時間が異なる複数の表示画像２２１Ａおよび２２１Ｂを用いることで、識別情報を取得することができる。具体的には、識別情報取得部１１２は、撮像部１１１が撮像した画像から光源１３１の表示画像２２１Ａおよび２２１Ｂを抽出する。ここで、表示画像２２１Ａおよび２２１Ｂは、異なる露光時間にて撮像された画像であるため、光源１３１の発光状態（例えば、輝度）の変化の積分時間が異なり、異なる明暗の横縞が形成された画像となっている。
　すなわち、表示画像２２１Ａの画素をラインごとに積分した積分値ｉ１（ｙ）、および表示画像２２１Ｂの画素をラインごとに積分した積分値ｉ２（ｙ）は、第２の取得方法と同様に、それぞれのシャッタ関数をｓ１（ｔ）およびｓ２（ｔ）、識別情報をｆ（ｔ）、表示画像２２１Ａおよび２２１Ｂの元画像の色相情報ｉｂｇ（ｙ）を用いることにより、以下の数式２０１および数式２０２にて表すことができる。なお、ｙは、表示画像２２１Ａおよび２２１Ｂの垂直方向の位置を表し、ｔは、時間である。
Figure JPOXMLDOC01-appb-M000003
　ここで、ｉ１（ｙ）、ｉ２（ｙ）は表示画像２２１Ａおよび２２１Ｂから算出することができる。また、ｓ１（ｔ）およびｓ１（ｔ）は、既知のシャッタ関数である。したがって、数式２０１および数式２０２にてｉｂｇ（ｙ）を消去することにより、識別情報取得部１１２は、識別情報ｆ（ｔ）を算出することができる。
　以上の方法により、識別情報取得部１１２は、符号化された識別情報を分離することができるため、符号化された識別情報を復号し、情報処理装置１３の識別情報を取得することができる。
　なお、上記において、撮像部１１１のいずれかの露光時間の長さが、光源１３１の輝度変化の周期の整数倍となっている場合、光源１３１の発光状態の変化は、積分により撮像画像全体で均一になる。すなわち、撮像された表示画像は、明暗の横縞が形成されていない画像になるため、ｉ１（ｙ）は、以下の数式２０３のように、より単純な式にて表すことができる。したがって、このような場合、数式２０２は、以下の数式２０４のように変形することができる。
Figure JPOXMLDOC01-appb-M000004
　上記では、数式２０４は、背景領域２１１Ａの色相が既知であった第２の取得方法における数式１０２と同様の形式となる。したがって、識別情報取得部１１２は、第２の取得方法と同様に、より容易に符号化された識別情報を表示画像２２１Ａおよび２２１Ｂから分離することができる。
　また、撮像部１１１のいずれかの露光時間の長さが、光源１３１の輝度変化の周期に対して十分に長い場合（すなわち、光源１３１の輝度変化が無視できるほど露光時間が長い場合）も、ｉ１（ｙ）は、同様に上記の数式２０３にて表すことができる。したがって、このような場合でも、識別情報取得部１１２は、より容易に符号化された識別情報を表示画像２２１Ａおよび２２１Ｂから分離することができる。
　以上にて、識別情報取得部１１２における識別情報の第３の取得方法について具体的に説明した。第３の取得方法によれば、識別情報取得部１１２は、表示画像２１０から背景領域２１０Ａが検出できない場合や表示画像２１０が動画である場合でも、情報処理装置１３の識別情報を取得することができる。
　以上にて、光源１３１の画像から識別情報取得部１１２が識別情報を取得する際の具体的な方法について詳細に説明した。
　＜３．本開示の一実施形態に係るハードウェアの構成＞
　続いて、図１３を参照して、本実施形態に係る情報処理端末１１および情報処理装置１３のハードウェア構成について説明する。図１３は、本実施形態に係る情報処理装置１３を構成するハードウェア構成の一例を示したブロック図である。すなわち、本実施形態に係る情報処理端末１１および情報処理装置１３による情報処理は、ソフトウェアと、ハードウェアとの協働によって実現される。なお、情報処理端末１１のハードウェア構成については、情報処理装置１３と実質的に同様であるため、ここでの説明は省略する。
　図１３に示すように、情報処理装置１３は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）３０１と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）３０３と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）３０５と、ブリッジ３０９と、内部バス３０７および３１１と、インターフェース３１３と、入力装置３１５と、出力装置３１７と、ストレージ装置３１９と、通信装置３２１と、を備える。
　ＣＰＵ３０１は、演算処理装置および制御装置として機能し、各種プログラムに従って、情報処理装置１３内の動作全般を制御する。ＲＯＭ３０３は、ＣＰＵ３０１が使用するプログラム、演算パラメータを記憶し、ＲＡＭ３０５は、ＣＰＵ３０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ３０１は、例えば、可視光通信制御部１３２、および取引実行部１３６などの機能を実行する。また、情報処理端末１１では、例えば、ＣＰＵ３０１は、識別情報取得部１１２、および表示制御部１１３などの機能を実現する。
　これらＣＰＵ３０１、ＲＯＭ３０３およびＲＡＭ３０５は、ブリッジ３０９、内部バス３０７および３１１等により相互に接続されている。また、ＣＰＵ３０１、ＲＯＭ３０３およびＲＡＭ３０５は、インターフェース３１３を介して入力装置３１５、出力装置３１７、ストレージ装置３１９、および通信装置３２１とも接続されている。
　入力装置３１５は、ユーザまたは外部から情報が入力されるための装置である。また、入力装置３１５は、入力された情報に基づいて入力信号を生成し、ＣＰＵ３０１に出力するための入力制御回路なども含む。情報処理端末１１では、入力装置３１５は、例えば、撮像部１１１、および入力部１１６などの実現を実行する。
　出力装置３１７は、例えば、液晶表示装置および有機ＥＬ表示装置などの表示装置、スピーカおよびヘッドホンなどの音声出力装置を含む。出力装置３１７は、例えば、光源１３１などの機能を実現する。
　ストレージ装置３１９は、情報処理装置１３の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置３１９は、記憶媒体、記憶媒体にデータを記憶する記憶装置、記憶媒体からデータを読み出す読み出し装置、および記憶されたデータを削除する削除装置を含んでもよい。ストレージ装置３１９は、例えば、記憶部１３３などの機能を実現する。情報処理端末１１では、ストレージ装置３１９は、例えば、表示記憶部１１４などの機能を実現する。
　通信装置３２１は、例えば、他の機器またはネットワーク１５に接続するための通信デバイス等で構成された通信インターフェースである。また、通信装置３２１は、無線ＬＡＮ対応通信装置であっても、有線によるケーブル通信を行うケーブル通信装置であってもよい。通信装置３２１は、例えば、入力情報受信部１３４、および通信部１３５などの機能を実現する。情報処理端末１１では、通信装置３２１は、例えば、入力情報送信部１１７などの機能を実現する。
　また、上記のＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した本実施形態に係る情報処理端末１１または情報処理装置１３の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
　＜４．まとめ＞
　以上にて説明したように、本実施形態に係る情報処理システム１によれば、ユーザは、情報処理端末１１を用いて情報処理装置１３への入力操作を行うことができる。また、情報処理システム１は、情報処理端末１１と情報処理装置１３との情報伝達に、動的に変化し、視認されない可視光通信を用いるため、情報のスキミングを防止し、セキュリティ性を向上させることができる。
　また、情報処理システム１では、光源の発光状態の変化を用いた可視光通信により情報を伝達するため、ユーザは発信源および通信範囲を容易に把握することができる。したがって、情報処理システム１は、ユーザが意図と異なる情報処理装置１３を操作してしまうことを防止することができる。
　さらに、情報処理システム１では、可視光通信の通信状態を監視することにより、情報処理端末１１が情報処理装置１３から離れたか否かを判断することができる。そのため、情報処理システム１は、情報処理端末１１が情報処理装置１３から離れた場合に、情報処理端末１１に表示された入力画面の表示を中止することにより、離れた位置から情報処理装置１３が操作されることを防止することができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　光源、
　情報処理装置の識別情報に基づいて、前記光源の発光状態を制御し、前記識別情報を送信する可視光通信制御部、
を備える情報処理装置と、
　撮像部、
　前記撮像部により撮像された前記光源の画像を画像処理し、前記情報処理装置の識別情報を取得する識別情報取得部、
　前記識別情報に基づいて、前記情報処理装置に対する操作が入力される入力画面の表示を制御する表示制御部、
　前記入力画面に入力された入力情報を前記情報処理装置に送信する入力情報送信部、
を備える情報処理端末と、
を含む情報処理システム。
（２）
　前記可視光通信制御部は、前記光源の輝度または色相を変化させることによって前記識別情報を送信する、前記（１）に記載の情報処理システム。
（３）
　前記撮像部は、一部の画素ごとに順次撮像を行うローリングシャッタ動作により前記光源を撮像する、前記（１）または（２）に記載の情報処理システム。
（４）
　前記可視光通信制御部は、前記撮像部のフレームレートよりも高い周波数で前記光源の発光状態を制御する、前記（３）に記載の情報処理システム。
（５）
　前記識別情報取得部は、前記撮像部により撮像された前記光源の画像から所定の輝度または色相の背景領域を抽出し、前記背景領域における輝度または色相の変動に基づいて、前記識別情報を取得する、前記（４）に記載の情報処理システム。
（６）
　前記撮像部は、露光時間の異なる前記光源の画像を複数同時に撮像し、
　前記識別情報取得部は、撮像された前記光源の複数の画像に基づいて、前記識別情報を取得する、前記（４）に記載の情報処理システム。
（７）
　前記可視光通信制御部は、前記撮像部のフレームレートよりも低い周波数で前記光源の発光状態を制御し、
　前記撮像部は、全画素同時に撮像を行うグローバルシャッタ動作により前記光源を撮像する、前記（１）または（２）に記載の情報処理システム。
（８）
　前記識別情報取得部は、前記撮像部により所定のタイミングで撮像された画像を画像処理することで前記情報処理装置の識別情報を取得し、
　前記識別情報取得部により、所定時間の間、前記情報処理装置の識別情報が取得されなかった場合、前記表示制御部は、前記入力画面の表示を中止する、前記（１）～（７）のいずれか一項に記載の情報処理システム。
（９）
　前記光源は、画像が表示される表示部である、前記（１）～（８）のいずれか一項に記載の情報処理システム。
（１０）
　前記情報処理装置は、自動取引装置であり、
　前記情報処理装置は、前記情報処理端末から受信した前記入力情報、および前記情報処理端末のユーザの認証情報に基づいて取引を実行する、請前記（１）～（９）のいずれか一項に記載の情報処理システム。
（１１）
　光源と、
　情報処理装置の識別情報に基づいて、前記光源の発光状態を制御し、前記識別情報を送信する可視光通信制御部と、
を備える情報処理装置。
（１２）
　撮像部と、
　前記撮像部により撮像された画像を画像処理し、情報処理装置の光源の発光状態により伝達される前記情報処理装置の識別情報を取得する識別情報取得部と、
　前記識別情報に基づいて、前記情報処理装置に対する操作が入力される入力画面の表示を制御する表示制御部と、
　前記入力画面に入力された入力情報を前記情報処理装置に送信する入力情報送信部と、
を備える情報処理端末。
　１　　　　情報処理システム
　１１　　　情報処理端末
　１３　　　情報処理装置
　１５　　　ネットワーク
　１７　　　金融機関サーバ
　１１１　　撮像部
　１１２　　識別情報取得部
　１１３　　表示制御部
　１１４　　表示記憶部
　１１５　　表示部
　１１６　　入力部
　１１７　　入力情報送信部
　１３１　　光源
　１３２　　可視光通信制御部
　１３３　　記憶部
　１３４　　入力情報受信部
　１３５　　通信部
　１３６　　取引実行部

Claims (12)

  1. 　光源、
    　情報処理装置の識別情報に基づいて、前記光源の発光状態を制御し、前記識別情報を送信する可視光通信制御部、
    を備える情報処理装置と、
    　撮像部、
    　前記撮像部により撮像された前記光源の画像を画像処理し、前記情報処理装置の識別情報を取得する識別情報取得部、
    　前記識別情報に基づいて、前記情報処理装置に対する操作が入力される入力画面の表示を制御する表示制御部、
    　前記入力画面に入力された入力情報を前記情報処理装置に送信する入力情報送信部、
    を備える情報処理端末と、
    を含む情報処理システム。
  2. 　前記可視光通信制御部は、前記光源の輝度または色相を変化させることによって前記識別情報を送信する、請求項１に記載の情報処理システム。
  3. 　前記撮像部は、一部の画素ごとに順次撮像を行うローリングシャッタ動作により前記光源を撮像する、請求項１に記載の情報処理システム。
  4. 　前記可視光通信制御部は、前記撮像部のフレームレートよりも高い周波数で前記光源の発光状態を制御する、請求項３に記載の情報処理システム。
  5. 　前記識別情報取得部は、前記撮像部により撮像された前記光源の画像から所定の輝度または色相の背景領域を抽出し、前記背景領域における輝度または色相の変動に基づいて、前記識別情報を取得する、請求項４に記載の情報処理システム。
  6. 　前記撮像部は、露光時間の異なる前記光源の画像を複数同時に撮像し、
    　前記識別情報取得部は、撮像された前記光源の複数の画像に基づいて、前記識別情報を取得する、請求項４に記載の情報処理システム。
  7. 　前記可視光通信制御部は、前記撮像部のフレームレートよりも低い周波数で前記光源の発光状態を制御し、
    　前記撮像部は、全画素同時に撮像を行うグローバルシャッタ動作により前記光源を撮像する、請求項１に記載の情報処理システム。
  8. 　前記識別情報取得部は、前記撮像部により所定のタイミングで撮像された画像を画像処理することで前記情報処理装置の識別情報を取得し、
    　前記識別情報取得部により、所定時間の間、前記情報処理装置の識別情報が取得されなかった場合、前記表示制御部は、前記入力画面の表示を中止する、請求項１に記載の情報処理システム。
  9. 　前記光源は、画像が表示される表示部である、請求項１に記載の情報処理システム。
  10. 　前記情報処理装置は、自動取引装置であり、
    　前記情報処理装置は、前記情報処理端末から受信した前記入力情報、および前記情報処理端末のユーザの認証情報に基づいて取引を実行する、請求項１に記載の情報処理システム。
  11. 　光源と、
    　情報処理装置の識別情報に基づいて、前記光源の発光状態を制御し、前記識別情報を送信する可視光通信制御部と、
    を備える情報処理装置。
  12. 　撮像部と、
    　前記撮像部により撮像された画像を画像処理し、情報処理装置の光源の発光状態により伝達される前記情報処理装置の識別情報を取得する識別情報取得部と、
    　前記識別情報に基づいて、前記情報処理装置に対する操作が入力される入力画面の表示を制御する表示制御部と、
    　前記入力画面に入力された入力情報を前記情報処理装置に送信する入力情報送信部と、
    を備える情報処理端末。
PCT/JP2015/072573 2014-10-15 2015-08-07 情報処理システム、情報処理装置、および情報処理端末 WO2016059860A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP15850693.1A EP3208779B1 (en) 2014-10-15 2015-08-07 System and device for secured communication of identification information between two devices
US15/513,756 US10409968B2 (en) 2014-10-15 2015-08-07 Information processing system, information processing device, and information processing terminal

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-210857 2014-10-15
JP2014210857 2014-10-15

Publications (1)

Publication Number Publication Date
WO2016059860A1 true WO2016059860A1 (ja) 2016-04-21

Family

ID=55746408

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/072573 WO2016059860A1 (ja) 2014-10-15 2015-08-07 情報処理システム、情報処理装置、および情報処理端末

Country Status (3)

Country Link
US (1) US10409968B2 (ja)
EP (1) EP3208779B1 (ja)
WO (1) WO2016059860A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10346675B1 (en) * 2016-04-26 2019-07-09 Massachusetts Mutual Life Insurance Company Access control through multi-factor image authentication
US10354126B1 (en) * 2016-04-26 2019-07-16 Massachusetts Mutual Life Insurance Company Access control through multi-factor image authentication
CN110472393A (zh) * 2019-07-18 2019-11-19 平安科技（深圳）有限公司 基于生物识别的信息显示方法、装置、存储介质和设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008269186A (ja) * 2007-04-18 2008-11-06 Oki Electric Ind Co Ltd 自動取引装置
WO2013175803A1 (ja) * 2012-05-24 2013-11-28 パナソニック株式会社 情報通信方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007172004A (ja) 2005-12-19 2007-07-05 Hitachi Omron Terminal Solutions Corp 自動機取引システム
JP4660398B2 (ja) 2005-12-23 2011-03-30 株式会社東芝 ユーザー認証システムと、このユーザー認証システムで使用される提供用サーバ装置、携帯通信装置、利用者用携帯通信装置、承認者用携帯通信装置および認証用サーバ装置と、これらの装置のためのプログラム
JP4992251B2 (ja) 2006-03-06 2012-08-08 沖電気工業株式会社 自動取引システム
JP2008134733A (ja) 2006-11-27 2008-06-12 Hitachi Ltd 金融処理情報管理システム、金融処理情報管理方法、および、金融処理情報管理プログラム
JP2009245272A (ja) 2008-03-31 2009-10-22 Promise Co Ltd カードレス決済システム、カードレス決済方法、及び記録媒体
JP5151931B2 (ja) * 2008-11-26 2013-02-27 富士通株式会社 認証システム，認証装置，認証対象端末，認証方法，認証装置用プログラムおよび認証対象端末用プログラム
WO2012088512A2 (en) * 2010-12-23 2012-06-28 Paydiant, Inc. Mobile phone atm processing methods and systems
US8988574B2 (en) * 2012-12-27 2015-03-24 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using bright line image
SG10201610410WA (en) * 2012-12-27 2017-01-27 Panasonic Ip Corp America Information communication method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008269186A (ja) * 2007-04-18 2008-11-06 Oki Electric Ind Co Ltd 自動取引装置
WO2013175803A1 (ja) * 2012-05-24 2013-11-28 パナソニック株式会社 情報通信方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3208779A4 *

Also Published As

Publication number Publication date
US10409968B2 (en) 2019-09-10
US20170293746A1 (en) 2017-10-12
EP3208779B1 (en) 2022-05-04
EP3208779A1 (en) 2017-08-23
EP3208779A4 (en) 2018-06-06

Similar Documents

Publication Publication Date Title
JP6360621B2 (ja) 距離画像取得装置及び距離画像取得方法
JP5541153B2 (ja) 通信システム、送信装置及び受信装置
CN108399349B (zh) 图像识别方法及装置
CN105830367B (zh) 可见光通信方法、识别信号及接收装置
WO2013077334A1 (ja) 送信装置、受信装置及び方法
KR102392751B1 (ko) 카메라 모듈을 구비한 전자 장치 및 전자 장치 제어 방법
KR101909082B1 (ko) 사용자 인터랙션을 이용하여 이동 단말을 제어하는 장치 및 방법
JP2015115839A5 (ja)
WO2016059860A1 (ja) 情報処理システム、情報処理装置、および情報処理端末
CN102484792A (zh) 在移动通信终端中使用图像识别的无线连接方法和设备
CN111292504A (zh) 一种通过图像识别进行安全告警方法及系统
CN108702833A (zh) 包括发光装置的电子装置及其操作方法
CN113591517A (zh) 一种活体检测方法及相关设备
CN106961546A (zh) 信息处理装置和方法、摄像装置、显示装置、控制方法
JP6179227B2 (ja) 情報処理装置、携帯端末および情報入力装置
EP3217644B1 (en) Information processing device
JP4932938B1 (ja) 点呼システム
WO2016147589A1 (ja) 情報コード画像表示システム、情報コード画像表示端末、情報コード画像表示プログラム、サーバ及び情報コード画像生成プログラム
US10211918B2 (en) Device, system, and method for displaying an image together with a superimposed light component representing a code
KR102574494B1 (ko) Ar 글래스 시스템 및 이에 포함되는 사용자 단말기 및 그들의 제어방법
KR100960020B1 (ko) 비전 네트워크 시스템 및 그 영상 서비스 방법
CN112470455B (zh) 成像设备、电子装置及通知方法
JP6578742B2 (ja) 業務システム
JP6348252B2 (ja) 情報端末装置および画面情報共有システム
JP2016005258A (ja) 撮影システム、撮影装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15850693

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15513756

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2015850693

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015850693

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP