WO2014103340A1 - 情報通信方法 - Google Patents

情報通信方法 Download PDF

Info

Publication number
WO2014103340A1
WO2014103340A1 PCT/JP2013/007708 JP2013007708W WO2014103340A1 WO 2014103340 A1 WO2014103340 A1 WO 2014103340A1 JP 2013007708 W JP2013007708 W JP 2013007708W WO 2014103340 A1 WO2014103340 A1 WO 2014103340A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
information
light
luminance
receiver
Prior art date
Application number
PCT/JP2013/007708
Other languages
English (en)
French (fr)
Inventor
大嶋 光昭
幸司 中西
秀紀 青山
郁雄 渕上
秦 秀彦
務 向井
陽介 松下
恵大 飯田
山田 和範
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to SG11201505027UA priority Critical patent/SG11201505027UA/en
Priority to JP2014554163A priority patent/JP6294235B2/ja
Priority to AU2013367893A priority patent/AU2013367893B2/en
Priority to CN201380067922.8A priority patent/CN105874728B/zh
Priority to EP13869275.1A priority patent/EP2940902B1/en
Priority to BR112015014733A priority patent/BR112015014733A2/pt
Priority to MX2015008253A priority patent/MX343578B/es
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Publication of WO2014103340A1 publication Critical patent/WO2014103340A1/ja
Priority to CN201480056651.0A priority patent/CN105637783B/zh
Priority to AU2014371943A priority patent/AU2014371943B2/en
Priority to CA2927809A priority patent/CA2927809A1/en
Priority to EP14874981.5A priority patent/EP3089381B1/en
Priority to PCT/JP2014/006448 priority patent/WO2015098108A1/ja
Priority to JP2015554573A priority patent/JP6345697B2/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • EFIXED CONSTRUCTIONS
    • E05LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05FDEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00Power-operated mechanisms for wings
    • E05F15/40Safety devices, e.g. detection of obstructions or end positions
    • E05F15/42Detection using safety edges
    • E05F15/43Detection using safety edges responsive to disruption of energy beams, e.g. light or sound
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114Indoor or close-range type systems
    • H04B10/1149Arrangements for indoor wireless networking of information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114Indoor or close-range type systems
    • H04B10/116Visible light communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/50Transmitters
    • H04B10/516Details of coding or modulation
    • H04B10/54Intensity modulation
    • H04B10/541Digital intensity or amplitude modulation
    • EFIXED CONSTRUCTIONS
    • E05LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05FDEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00Power-operated mechanisms for wings
    • E05F15/40Safety devices, e.g. detection of obstructions or end positions
    • E05F15/42Detection using safety edges
    • E05F15/43Detection using safety edges responsive to disruption of energy beams, e.g. light or sound
    • E05F2015/434Detection using safety edges responsive to disruption of energy beams, e.g. light or sound with cameras or optical sensors
    • E05F2015/435Detection using safety edges responsive to disruption of energy beams, e.g. light or sound with cameras or optical sensors by interruption of the beam
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces

Definitions

  • the present invention relates to a communication method between a mobile terminal such as a smartphone, a tablet, and a mobile phone, and a home appliance such as an air conditioner, a lighting device, and a rice cooker.
  • a mobile terminal such as a smartphone, a tablet, and a mobile phone
  • a home appliance such as an air conditioner, a lighting device, and a rice cooker.
  • Patent Document 1 in an optical space transmission apparatus for transmitting information to free space using light, limited transmission is performed by performing communication using a plurality of monochromatic light sources of illumination light.
  • the devices techniques for efficiently realizing communication between devices are described.
  • the conventional method is limited to the case where the applied device has a three-color light source such as illumination.
  • the present invention solves such problems, and provides an information communication method that enables communication between various devices including devices with less computing power.
  • An information communication method is an information communication method for transmitting a signal by a change in luminance, comprising: determining a pattern of change in luminance by modulating a signal to be transmitted; And a transmitting step of transmitting the signal to be transmitted by changing the luminance of the plurality of light emitters in accordance with the pattern of luminance change, and in a plane on which the plurality of light emitters are disposed, other than the plurality of light emitters
  • the non-brightness-changing non-brightness-changing region does not traverse the surface between at least one of the plurality of light emitters along at least one of the vertical and horizontal directions of the surface.
  • a plurality of light emitters are disposed on the surface.
  • FIG. 5 is a timing diagram of a transmission signal in the information communication apparatus of the first embodiment.
  • FIG. 5 is a diagram showing a relationship between a transmission signal and a reception signal in Embodiment 1.
  • FIG. 5 is a diagram showing a relationship between a transmission signal and a reception signal in Embodiment 1.
  • FIG. 5 is a diagram showing a relationship between a transmission signal and a reception signal in Embodiment 1.
  • FIG. 5 is a diagram showing a relationship between a transmission signal and a reception signal in Embodiment 1.
  • FIG. 5 is a diagram showing a relationship between a transmission signal and a reception signal in Embodiment 1.
  • FIG. 7 is a diagram showing the principle of a second embodiment.
  • FIG. 7 is a diagram showing an example of an operation of the second embodiment.
  • FIG. 7 is a diagram showing an example of an operation of the second embodiment.
  • FIG. 7 is a diagram showing an example of an operation of the second embodiment.
  • FIG. 7 is a diagram showing an example of an operation of the second embodiment.
  • FIG. 7 is a diagram showing an example of an operation of the second embodiment.
  • FIG. 7 is a diagram showing an example of an operation of the second embodiment.
  • FIG. 7 is a diagram showing an example of an operation of the second embodiment.
  • FIG. 7 is a diagram showing an example of an operation of the second embodiment.
  • FIG. 7 is a diagram showing an example of an operation of the second embodiment.
  • FIG. 7 is a diagram showing an example of an operation of the second embodiment.
  • FIG. 7 is a diagram showing an example of an operation of the second embodiment.
  • FIG. 7 is a diagram showing an example of an operation of the second embodiment.
  • FIG. 7 is a diagram showing an example of an operation of the second embodiment.
  • FIG. 7 is a diagram showing an example of an operation of
  • FIG. 7 is a diagram showing an example of an operation of the second embodiment.
  • FIG. 7 is a diagram showing an example of an operation of the second embodiment.
  • FIG. 7 is a diagram showing an example of an operation of the second embodiment.
  • FIG. 7 is a diagram showing an example of an operation of the second embodiment.
  • FIG. 21 is a diagram showing an example of an operation of the second embodiment.
  • FIG. 21 is a diagram showing an example of a method of observing luminance of a light emitting unit in Embodiment 3.
  • FIG. 21 is a diagram showing an example of a method of observing luminance of a light emitting unit in Embodiment 3.
  • FIG. 21 is a diagram showing an example of a method of observing luminance of a light emitting unit in Embodiment 3.
  • FIG. 21 is a diagram showing an example of a method of observing luminance of a light emitting unit in Embodiment 3.
  • FIG. 21 is a diagram showing an example of a method of observing luminance of a light emitting unit in Embodiment 3.
  • FIG. 21 is a diagram showing an example of a method of observing luminance of a light emitting unit in Embodiment 3.
  • FIG. 21 is a diagram showing an example of a method of observing luminance of a light emitting unit in Embodiment 3.
  • FIG. 21 is a diagram showing an example of a method of observing luminance of a light emitting unit in Embodiment 3.
  • FIG. 21 is a diagram showing an example of a method of observing luminance of a light emitting unit in Embodiment 3.
  • FIG. 21 is a diagram showing an example of a method of observing luminance of a light emitting unit in Embodiment 3.
  • FIG. 21 is a diagram showing an example of a method of
  • FIG. 21 is a diagram showing an example of a method of observing luminance of a light emitting unit in Embodiment 3.
  • FIG. 21 is a diagram showing an example of a method of observing luminance of a light emitting unit in Embodiment 3.
  • FIG. 21 is a diagram showing an example of a method of observing luminance of a light emitting unit in Embodiment 3.
  • FIG. 21 is a diagram showing an example of a method of observing luminance of a light emitting unit in Embodiment 3.
  • FIG. 18 is a diagram showing an example of a signal modulation scheme in Embodiment 3.
  • FIG. 18 is a diagram showing an example of a signal modulation scheme in Embodiment 3.
  • FIG. 18 is a diagram showing an example of a signal modulation scheme in Embodiment 3.
  • FIG. 18 is a diagram showing an example of a signal modulation scheme in Embodiment 3.
  • FIG. 18 is a diagram showing an example of a signal modulation scheme in Embodiment 3.
  • FIG. 18 is a diagram showing an example of a signal modulation scheme in Embodiment 3.
  • FIG. 18 is a diagram showing an example of a signal modulation scheme in Embodiment 3.
  • FIG. 18 is a diagram showing an example of a signal modulation scheme in Embodiment 3.
  • FIG. 18 is a diagram showing an example of a signal modulation scheme in Embodiment 3.
  • FIG. 18 is a diagram showing an example of a signal modulation scheme in Embodiment 3.
  • FIG. 18 is a diagram showing an example of a signal modulation scheme in Embodiment 3.
  • FIG. 18 is a diagram showing an example of a signal modulation scheme in Embodiment 3.
  • FIG. 18 is
  • FIG. 18 is a diagram showing an example of a signal modulation scheme in Embodiment 3.
  • FIG. 18 is a diagram showing an example of a signal modulation scheme in Embodiment 3.
  • FIG. 18 is a diagram showing an example of a signal modulation scheme in Embodiment 3.
  • FIG. 18 is a diagram showing an example of a signal modulation scheme in Embodiment 3.
  • FIG. 18 is a diagram showing an example of a signal modulation scheme in Embodiment 3.
  • FIG. 18 is a diagram showing an example of a signal modulation scheme in Embodiment 3.
  • FIG. 18 is a diagram showing an example of a light emitting unit detection method according to Embodiment 3.
  • FIG. 18 is a diagram showing an example of a light emitting unit detection method according to Embodiment 3.
  • FIG. 18 is a diagram showing an example of a light emitting unit detection method according to Embodiment 3.
  • FIG. 18 is a diagram showing an example of a light emitting unit detection method according to Embodiment 3.
  • FIG. 18 is a diagram showing an example of a light emitting unit detection method according to Embodiment 3.
  • FIG. 18 is a diagram showing an example of a light emitting unit detection method according to Embodiment 3.
  • FIG. 16 is a diagram showing a timeline of a transmission signal and an image obtained by capturing a light emitting unit in Embodiment 3.
  • FIG. 18 is a diagram showing an example of signal transmission by a position pattern in Embodiment 3.
  • FIG. 21 is a diagram illustrating an example of a reception device in Embodiment 3.
  • FIG. 18 is a diagram illustrating an example of a transmission device in Embodiment 3.
  • FIG. 18 is a diagram illustrating an example of a transmission device in Embodiment 3.
  • FIG. 18 is a diagram illustrating an example of a transmission device in Embodiment 3.
  • FIG. 18 is a diagram illustrating an example of a transmission device in Embodiment 3.
  • FIG. 18 is a diagram illustrating an example of a transmission device in Embodiment 3.
  • FIG. 18 is a diagram illustrating an example of a transmission device in Embodiment 3.
  • FIG. 18 is a diagram illustrating an example of a transmission device in Embodiment 3.
  • FIG. 18 is a diagram showing an example of a structure of a light emitting unit in Embodiment 3.
  • FIG. 18 is a diagram showing an example of a structure of a light emitting unit in Embodiment 3.
  • FIG. 18 is a diagram showing an example of a signal carrier in the third embodiment.
  • FIG. 18 is a diagram showing an example of an imaging unit in Embodiment 3.
  • 61 is a diagram illustrating an example of position estimation of a reception device in Embodiment 3.
  • FIG. 61 is a diagram illustrating an example of position estimation of a reception device in Embodiment 3.
  • FIG. 61 is a diagram illustrating an example of position estimation of a reception device in Embodiment 3.
  • FIG. 61 is a diagram illustrating an example of position estimation of a reception device in Embodiment 3.
  • FIG. 61 is a diagram illustrating an example of position estimation of a reception device in Embodiment 3.
  • FIG. 18 is a diagram showing an example of transmission information setting in Embodiment 3.
  • FIG. 18 is a diagram showing an example of transmission information setting in Embodiment 3.
  • FIG. 18 is a diagram showing an example of transmission information setting in Embodiment 3.
  • FIG. 16 is a block diagram showing an example of components of a receiving device in a third embodiment.
  • FIG. 16 is a block diagram showing an example of components of a transmission apparatus in a third embodiment.
  • FIG. 18 is a diagram showing an example of a reception procedure in Embodiment 3.
  • FIG. 18 is a diagram showing an example of a procedure of self-position estimation in the third embodiment.
  • FIG. 18 is a diagram showing an example of a transmission control procedure in Embodiment 3.
  • FIG. 18 is a diagram showing an example of a transmission control procedure in Embodiment 3.
  • FIG. 18 is a diagram showing an example of a transmission control procedure in Embodiment 3.
  • FIG. 18 is a diagram showing an example of information provision in a station yard according to the third embodiment.
  • FIG. 18 is a diagram showing an example of a boarding service in a third embodiment.
  • FIG. 18 is a diagram showing an example of in-store service in the third embodiment.
  • FIG. 18 is a diagram showing an example of establishment of a wireless connection in Embodiment 3.
  • FIG. 18 is a diagram showing an example of adjustment of the communication range in the third embodiment.
  • FIG. 18 is a diagram showing an example of indoor use in the third embodiment.
  • FIG. 18 is a diagram showing an example of outdoor use in the third embodiment.
  • FIG. 17 is a diagram showing an example of directions of a route in the third embodiment.
  • FIG. 21 is a diagram showing an example of use of a plurality of imaging devices in Embodiment 3.
  • FIG. 18 is a diagram illustrating an example of transmission device autonomous control according to Embodiment 3.
  • FIG. 18 is a diagram showing an example of transmission information setting in Embodiment 3.
  • FIG. 18 is a diagram showing an example of transmission information setting in Embodiment 3.
  • FIG. 18 is a diagram showing an example of transmission information setting in Embodiment 3.
  • FIG. 18 is a diagram showing an example of transmission information setting in Embodiment 3.
  • FIG. 18 is a diagram showing an example of a combination with a two-dimensional barcode in Embodiment 3.
  • FIG. 18 is a diagram showing an example of creation and use of a map in the third embodiment.
  • FIG. 18 is a diagram showing an example of state acquisition and operation of the electronic device in the third embodiment.
  • FIG. 18 is a diagram showing an example of recognition of the electronic device in the third embodiment.
  • FIG. 18 is a diagram showing an example of display of an augmented reality object in the third embodiment.
  • FIG. 18 is a diagram showing an example of a user interface in Embodiment 3.
  • FIG. 18 is a diagram showing an example of a user interface in Embodiment 3.
  • FIG. 18 is a diagram showing an example of a user interface in Embodiment 3.
  • FIG. 18 is a diagram showing an example of a user interface in Embodiment 3.
  • FIG. 18 is a diagram showing an example of a user interface in Embodiment 3.
  • FIG. 18 is a diagram showing an example of a user interface in Embodiment 3.
  • FIG. 18 is a diagram showing an example of a user interface in Embodiment 3.
  • FIG. 18 is a diagram showing an example of a user interface in Embodiment 3.
  • FIG. 18 is a diagram showing an example of a user interface in Embodiment 3.
  • FIG. 18 is a diagram showing an example of a user interface in Embodiment 3.
  • FIG. 18 is a diagram showing an example of a user interface in Embodiment 3.
  • FIG. 18 is a diagram showing an example of a user interface in Embodiment 3.
  • FIG. 18 is a diagram showing an example of a user interface in Embodiment 3.
  • FIG. 18 is a diagram showing an example of a user interface in Embodiment 3.
  • FIG. 18 is a diagram showing an example of a user interface in Embodiment 3.
  • FIG. 18 is a diagram showing an example of a user interface in Embodiment 3.
  • FIG. 18 is a diagram showing an example of a user interface in Embodiment 3.
  • FIG. 18 is a diagram showing an example of a user interface in Embodiment 3.
  • FIG. 18 is a diagram showing an example of a user interface in Embodiment 3.
  • FIG. 18 is a diagram showing an example of a user interface in Embodiment 3.
  • 45 is a diagram illustrating an application example to ITS in Embodiment 4.
  • FIG. 45 is a diagram illustrating an application example to ITS in Embodiment 4.
  • FIG. 18 is a diagram showing an application example to a position information notification system and a facility system in a fourth embodiment.
  • FIG. 21 is a diagram showing an application example to a system of a supermarket in a fourth embodiment.
  • FIG. 21 is a diagram showing an application example to communication of a mobile phone terminal and a camera in a fourth embodiment.
  • FIG. 18 is a diagram showing an application example to underwater communication in the fourth embodiment.
  • FIG. 18 is a diagram for describing an example of service provision to a user in the fifth embodiment.
  • FIG. 18 is a diagram for describing an example of service provision to a user in the fifth embodiment.
  • 21 is a flowchart illustrating a case where a receiver in Embodiment 5 simultaneously processes a plurality of signals received from a transmitter.
  • FIG. 21 is a diagram showing an example of realizing communication between devices by mutual communication in Embodiment 5.
  • FIG. 21 is a diagram for describing a service that uses the characteristic of directivity in the fifth embodiment.
  • FIG. 18 is a diagram for describing another example of service provision to a user in the fifth embodiment.
  • FIG. 21 is a diagram illustrating an example of a format of a signal included in a light source emitted by a transmitter in a fifth embodiment.
  • FIG. 18 is a diagram showing an example of the in-home environment in the sixth embodiment. It is a figure which shows the example of communication of the household appliances in Embodiment 6, and a smart phone.
  • FIG. 24 is a diagram showing an example of a configuration of a transmission side apparatus in a sixth embodiment.
  • FIG. 18 is a diagram showing an example of a configuration of a reception side apparatus in a sixth embodiment.
  • FIG. 18 is a diagram showing a flow of processing for transmitting information to the reception side device by blinking of the LED of the transmission side device in the sixth embodiment.
  • FIG. 18 is a diagram showing a flow of processing for transmitting information to the reception side device by blinking of the LED of the transmission side device in the sixth embodiment.
  • FIG. 18 is a diagram showing a flow of processing for transmitting information to the reception side device by blinking of the LED of the transmission side device in the sixth embodiment.
  • FIG. 18 is a diagram showing a flow of processing for transmitting information to the reception side device by blinking of the LED of the transmission side device in the sixth embodiment.
  • FIG. 18 is a diagram showing a flow of processing for transmitting information to the reception side device by blinking of the LED of the transmission side device in the sixth embodiment.
  • FIG. 21 is a diagram for describing a procedure for performing communication between a user and an apparatus using visible light according to a seventh embodiment.
  • FIG. 21 is a diagram for describing a procedure for performing communication between a user and an apparatus using visible light according to a seventh embodiment.
  • FIG. 21 is a diagram for describing a procedure for performing communication between a user and an apparatus using visible light according to a seventh embodiment.
  • FIG. 21 is a diagram for describing a procedure from the purchase of the device by the user in the seventh embodiment to the initial setting of the device.
  • FIG. 21 is a diagram for describing a service dedicated to a serviceperson in the case where a device in Embodiment 7 fails.
  • FIG. 21 is a diagram for describing a service for confirming a cleaning state using a vacuum cleaner and visible light communication according to a seventh embodiment.
  • FIG. 25 is a schematic diagram of home delivery service support using optical communication in the eighth embodiment.
  • FIG. 31 is a flowchart for describing home delivery service support using optical communication in the eighth embodiment.
  • FIG. 31 is a flowchart for describing home delivery service support using optical communication in the eighth embodiment.
  • FIG. 31 is a flowchart for describing home delivery service support using optical communication in the eighth embodiment.
  • FIG. 31 is a flowchart for describing home delivery service support using optical communication in the eighth embodiment.
  • FIG. 31 is a flowchart for describing home delivery service support using optical communication in the eighth embodiment.
  • FIG. 35 is a diagram for describing a process of registering a mobile phone in use with a user in the server in the ninth embodiment.
  • 45 is a diagram for describing a process of analyzing user voice characteristics in Embodiment 9. [FIG. FIG.
  • FIG. 35 is a diagram for describing a process of preparing for speech recognition in the ninth embodiment.
  • FIG. 35 is a diagram for describing processing to collect sound from a nearby sound collection device in the ninth embodiment.
  • FIG. 35 is a diagram for illustrating analysis processing of environmental sound characteristics in the ninth embodiment.
  • FIG. 35 is a diagram for describing a process of canceling a sound from an audio output device present in the periphery in the ninth embodiment.
  • FIG. 35 is a diagram for describing processing of selecting a cooking menu and setting operation content to a microwave according to a ninth embodiment.
  • FIG. 35 is a diagram for illustrating processing of acquiring notification sound for a microwave according to Embodiment 9 from a DB of a server or the like and setting the sound to the microwave.
  • FIG. 45 is a diagram for describing a process of adjusting notification sound of the microwave according to Embodiment 9.
  • FIG. FIG. 40 is a diagram showing an example of a waveform of notification sound set in a microwave in the ninth embodiment. It is a figure for demonstrating the process which performs the display of the cooking content in Embodiment 9.
  • FIG. FIG. 35 is a diagram for describing a process of recognizing notification sound of the microwave according to a ninth embodiment.
  • FIG. 35 is a diagram for illustrating processing of sound collection from a nearby sound collection device and recognition of a notification sound of a microwave in the ninth embodiment.
  • FIG. 33 is a diagram for illustrating processing of notifying the user of the end of driving of the microwave according to the ninth embodiment.
  • FIG. 35 is a diagram for describing a process of checking a mobile phone operation state in a ninth embodiment.
  • FIG. 35 is a diagram for describing a process of tracking the position of the user in the ninth embodiment. While canceling the voice from the voice output device, recognize the notification sound of the home appliance, make the communicable electronic device recognize the current position of the user (operator), and based on the recognition result of the user position, It is the figure which showed that a certain apparatus performs notification to a user.
  • FIG. 21 is a diagram showing the contents of a database held in a server, a mobile phone, or a microwave according to a ninth embodiment.
  • FIG. 40 is a diagram showing that the user has moved to another location while starting operation of the microwave according to Embodiment 9 and waiting for the end of operation, while boiling a simmered food, and so on.
  • a device connected to a mobile phone via a network and capable of recognizing the position of the user or recognizing that the user is present such as a camera, a microphone, or a human sensor Is a diagram showing sending of an instruction to detect a user from.
  • FIG. 35 is a diagram showing that a mobile phone recognizes a driving end sound of a microwave according to a ninth embodiment.
  • the mobile phone that recognizes the end of the operation of the microwave transmits an instruction to notify the end of the operation of the microwave to the device having the screen display function and the voice output function among the devices detecting the user FIG.
  • FIG. 35 is a diagram showing that a mobile phone recognizes a driving end sound of a microwave according to a ninth embodiment. The mobile phone that recognizes the end of the operation of the microwave transmits an instruction to notify the end of the operation of the microwave to the device having the screen display function and the voice output function among the devices detecting the user
  • FIG. 33 is a diagram showing that the device that receives the command in Embodiment 9 notifies the user of the notification content. It is a figure which is connected with the mobile telephone via the network, the microphone which is connected with the mobile telephone via a network, and which the apparatus which exists in the vicinity of a microwave recognizes. It is a figure which shows notifying the completion
  • FIG. It is a figure which shows notifying a user the completion
  • FIG. It is a figure which shows transmitting information, such as driving
  • FIG. 7 is a diagram showing that information can be transmitted to a mobile phone via a personal computer or the like when direct communication can not be performed from the microwave to the mobile phone serving as a hub. It is a figure which shows transmitting information, such as an operation command, to a microwave oven from a mobile telephone which received communication of FIG. 180, tracing back an information communication path
  • FIG. 7 is a diagram showing that the user is notified of information when direct communication from the air conditioner which is the information source device is not possible to the mobile phone serving as the hub.
  • FIG. 185 is a diagram showing a case where a television on the second floor plays the role of a relay device in place of the device relaying the notification recognition device and the information notification device in the same case as FIG. 185.
  • FIG. 21 is a diagram showing an example of an environment inside a house in the tenth embodiment.
  • FIG. 33 is a diagram showing an example of communication between a home electric device and a smartphone in the tenth embodiment.
  • FIG. 24 is a diagram showing a configuration of a transmission side apparatus in a tenth embodiment.
  • 55 is a diagram showing a configuration of a reception side apparatus in Embodiment 10.
  • FIG. 187 is a sequence diagram when the transmitting terminal (TV) performs wireless LAN authentication using optical communication with the receiving terminal (tablet).
  • FIG. 21 is a sequence diagram of the case of performing authentication by an application in the tenth embodiment.
  • 51 is a flowchart illustrating an operation of a transmitting terminal in Embodiment 10.
  • 51 is a flowchart showing the operation of the receiving side terminal in the tenth embodiment.
  • FIG. 55 is a sequence diagram in which the mobile AV terminal 1 transmits data to the mobile AV terminal 2 in the eleventh embodiment.
  • FIG. 26 is a screen transition diagram when mobile AV terminal 1 transmits data to mobile AV terminal 2 in Embodiment 11.
  • FIG. 26 is a screen transition diagram when mobile AV terminal 1 transmits data to mobile AV terminal 2 in Embodiment 11.
  • FIG. 55 is a schematic system diagram when mobile AV terminal 1 in the eleventh embodiment is a digital camera.
  • FIG. 55 is a schematic system diagram when mobile AV terminal 1 in the eleventh embodiment is a digital camera.
  • FIG. 55 is a schematic system diagram when mobile AV terminal 1 in the eleventh embodiment is a digital camera.
  • FIG. 28 is a diagram illustrating an example of application of a receiver and a transmitter in Embodiment 12.
  • FIG. 28 is a diagram illustrating an example of application of a receiver and a transmitter in Embodiment 12.
  • FIG. 51 is a flowchart illustrating an example of process operations of a receiver and a transmitter in Embodiment 12.
  • FIG. 28 is a diagram illustrating an example of application of a receiver and a transmitter in Embodiment 12.
  • FIG. 51 is a flowchart illustrating an example of process operations of a receiver and a transmitter in Embodiment 12.
  • FIG. 28 is a diagram illustrating an example of application of a receiver and a transmitter in Embodiment 12.
  • FIG. 50 is a diagram illustrating an example of application of a receiver and a transmitter in Embodiment 12.
  • FIG. 51 is a flowchart illustrating an example of process operations of a receiver and a transmitter in Embodiment 12.
  • FIG. 28 is a diagram illustrating an example of application of a receiver and a transmitter in Embodiment 12.
  • FIG. 51 is a flowchart illustrating an example of process operations of a receiver and a transmitter in Embodiment 12.
  • FIG. 28 is a diagram illustrating an example of application of a receiver and a transmitter in Embodiment 12.
  • FIG. 51 is a flowchart illustrating an example of process operations of a receiver and a transmitter in Embodiment 12.
  • FIG. 28 is a diagram illustrating an example of application of a receiver and a transmitter in Embodiment 12.
  • FIG. 28 is a diagram illustrating an example of application of a receiver and a transmitter in Embodiment 12. [FIG.
  • FIG. 51 is a flowchart illustrating an example of process operations of a receiver and a transmitter in Embodiment 12.
  • FIG. 28 is a diagram illustrating an example of application of a receiver and a transmitter in Embodiment 12.
  • FIG. 51 is a flowchart illustrating an example of process operations of a receiver and a transmitter in Embodiment 12.
  • FIG. 28 is a diagram illustrating an example of application of a receiver and a transmitter in Embodiment 12.
  • FIG. 51 is a flowchart illustrating an example of process operations of a receiver and a transmitter in Embodiment 12.
  • FIG. 28 is a diagram illustrating an example of application of a receiver and a transmitter in Embodiment 12.
  • FIG. 28 is a diagram illustrating an example of application of a receiver and a transmitter in Embodiment 12. [FIG.
  • FIG. 28 is a diagram illustrating an example of application of a receiver and a transmitter in Embodiment 12.
  • FIG. 51 is a flowchart illustrating an example of process operations of a receiver and a transmitter in Embodiment 12.
  • FIG. 28 is a diagram illustrating an example of application of a receiver and a transmitter in Embodiment 12.
  • FIG. 51 is a flowchart illustrating an example of process operations of a receiver and a transmitter in Embodiment 12.
  • FIG. 28 is a diagram illustrating an example of application of a receiver and a transmitter in Embodiment 12.
  • FIG. 51 is a flowchart illustrating an example of process operations of a receiver and a transmitter in Embodiment 12. [FIG.
  • FIG. 28 is a diagram illustrating an example of application of a receiver and a transmitter in Embodiment 12.
  • FIG. 51 is a flowchart illustrating an example of process operations of a receiver and a transmitter in Embodiment 12.
  • FIG. FIG. 20 is a diagram illustrating the state of the receiver in Embodiment 12.
  • 51 is a flowchart illustrating an example of process operations of a receiver in Embodiment 12.
  • FIG. FIG. 20 is a diagram illustrating the state of the receiver in Embodiment 12.
  • 51 is a flowchart illustrating an example of process operations of a receiver in Embodiment 12.
  • FIG. FIG. 20 is a diagram illustrating the state of the receiver in Embodiment 12.
  • 51 is a flowchart illustrating an example of process operations of a receiver in Embodiment 12.
  • FIG. 20 is a diagram illustrating the state of the receiver in Embodiment 12.
  • 51 is a flowchart illustrating an example of process operations of a receiver in Embodiment 12.
  • FIG. 20 is a diagram illustrating the state of the receiver in Embodiment 12.
  • 51 is a flowchart illustrating an example of process operations of a receiver in Embodiment 12.
  • FIG. 28 is a diagram illustrating an example of application of a receiver and a transmitter in Embodiment 12.
  • FIG. 28 is a diagram illustrating an example of application of a receiver and a transmitter in Embodiment 12.
  • FIG. 20 is a diagram illustrating the state of the receiver in Embodiment 12.
  • 51 is a flowchart illustrating an example of process operations of a receiver in Embodiment 12.
  • FIG. 28 is a diagram illustrating an example of application of a receiver and a transmitter in Embodiment
  • FIG. 28 is a diagram illustrating an example of application of a receiver and a transmitter in Embodiment 12.
  • FIG. 28 is a diagram illustrating an example of application of a receiver and a transmitter in Embodiment 12.
  • FIG. 28 is a diagram illustrating an example of application of a receiver and a transmitter in Embodiment 12.
  • FIG. 28 is a diagram illustrating an example of application of a receiver and a transmitter in Embodiment 12.
  • FIG. 51 is a flowchart illustrating an example of process operations of a receiver and a transmitter in Embodiment 12.
  • FIG. 51 is a flowchart illustrating an example of process operations of a receiver and a transmitter in Embodiment 12.
  • FIG. 51 is a flowchart illustrating an example of process operations of a receiver and a transmitter in Embodiment 12. [FIG.
  • FIG. 25 is a flowchart illustrating an example of process operations of a receiver and a transmitter in Embodiment 12.
  • FIG. 25 is a diagram showing a change in luminance of a transmitter in a twelfth embodiment.
  • 51 is a flowchart illustrating an example of process operations of a receiver in Embodiment 12.
  • FIG. 25 is a diagram showing a change in luminance of a transmitter in a twelfth embodiment.
  • 51 is a flowchart illustrating an example of process operations of a receiver in Embodiment 12.
  • FIG. FIG. 25 is a diagram showing a change in luminance of a transmitter in a twelfth embodiment.
  • FIG. 100 is a flowchart illustrating an example of processing operation of a transmitter in Embodiment 12.
  • FIG. FIG. 25 is a diagram showing a change in luminance of a transmitter in a twelfth embodiment.
  • 51 is a flowchart illustrating an example of process operations of a receiver in Embodiment 12.
  • FIG. 51 is a flowchart illustrating an example of process operations of a receiver in Embodiment 12.
  • FIG. 100 is a flowchart illustrating an example of processing operation of a transmitter in Embodiment 12.
  • FIG. Fig. 24 is a diagram illustrating an example of a configuration of a transmitter in a twelfth embodiment. Fig.
  • FIG. 24 is a diagram illustrating an example of a configuration of a transmitter in a twelfth embodiment.
  • Fig. 24 is a diagram illustrating an example of a configuration of a transmitter in a twelfth embodiment.
  • 51 is a flowchart illustrating an example of process operations of a receiver in Embodiment 12.
  • FIG. 24 is a diagram illustrating an example of display and imaging by a receiver and a transmitter in Embodiment 12.
  • 100 is a flowchart illustrating an example of processing operation of a transmitter in Embodiment 12.
  • FIG. 51 is a flowchart illustrating an example of process operations of a receiver in Embodiment 12.
  • FIG. 28 is a diagram illustrating an example of application of a receiver and a transmitter in Embodiment 12.
  • FIG. 51 is a flowchart illustrating an example of process operations of a receiver and a transmitter in Embodiment 12.
  • FIG. FIG. 20 is a diagram illustrating the state of the receiver in Embodiment 12.
  • 51 is a flowchart illustrating an example of process operations of a receiver in Embodiment 12.
  • FIG. FIG. 20 is a diagram illustrating the state of the receiver in Embodiment 12.
  • 51 is a flowchart illustrating an example of process operations of a receiver in Embodiment 12.
  • FIG. 51 is a flowchart illustrating an example of process operations of a receiver in Embodiment 12.
  • FIG. 28 is a diagram illustrating an example of a wavelength of a transmitter in Embodiment 12.
  • FIG. 51 is a flowchart illustrating an example of process operations of a receiver and a transmitter in Embodiment 12.
  • FIG. 24 is a diagram illustrating a configuration example of a system including a receiver and a transmitter in Embodiment 12.
  • 55 is a flowchart illustrating an example of process operations of a system in Embodiment 12.
  • FIG. 24 is a diagram illustrating a configuration example of a system including a receiver and a transmitter in Embodiment 12.
  • 55 is a flowchart illustrating an example of process operations of a system in Embodiment 12.
  • FIG. 51 is a flowchart illustrating an example of process operations of a receiver in Embodiment 12.
  • FIG. 51 is a flowchart illustrating an example of process operations of a receiver in Embodiment 12.
  • FIG. 24 is a diagram illustrating a configuration example of a system including a receiver and a transmitter in Embodiment 12.
  • 51 is a flowchart illustrating an example of process operations of a receiver in Embodiment 12.
  • FIG. 28 is a diagram illustrating an example of application of a receiver and a transmitter in Embodiment 12.
  • FIG. 51 is a flowchart illustrating an example of process operations of a receiver in Embodiment 12.
  • FIG. 24 is a diagram illustrating a configuration example of a system including a receiver and a transmitter in Embodiment 12.
  • 55 is a flowchart illustrating an example of process operations of a system in Embodiment 12.
  • 51 is a flowchart illustrating an example of process operations of a receiver in Embodiment 12.
  • FIG. 110 is a diagram illustrating an example of a configuration of a transmitter in Embodiment 12.
  • FIG. FIG. 56 is a diagram illustrating another example of a configuration of a transmitter in Embodiment 12.
  • 51 is a flowchart illustrating an example of process operations of a receiver and a transmitter in Embodiment 12.
  • FIG. 20 is a flowchart illustrating an example of processing operations relating to a receiver and a transmitter in Embodiment 13.
  • FIG. 20 is a flowchart illustrating an example of processing operations relating to a receiver and a transmitter in Embodiment 13.
  • FIG. 20 is a flowchart illustrating an example of processing operations relating to a receiver and a transmitter in Embodiment 13.
  • FIG. 20 is a flowchart illustrating an example of processing operations relating to a receiver and a transmitter in Embodiment 13.
  • FIG. FIG. 20 is a flowchart illustrating an example of processing operations relating to a receiver and a transmitter in Embodiment 13.
  • FIG. 117 is a diagram illustrating an example of application of a transmitter in Embodiment 13.
  • FIG. 117 is a diagram illustrating an example of application of a transmitter in Embodiment 13.
  • FIG. 117 is a diagram illustrating an example of application of a transmitter in Embodiment 13.
  • FIG. 28 is a diagram illustrating an example of application of a transmitter and a receiver in Embodiment 13.
  • FIG. 28 is a diagram illustrating an example of application of a transmitter and a receiver in Embodiment 13.
  • FIG. 28 is a diagram illustrating an example of application of a transmitter and a receiver in Embodiment 13.
  • FIG. 36 is a diagram illustrating an example of a transmission signal in Embodiment 13.
  • 45 is a diagram illustrating another example of the transmission signal in Embodiment 13.
  • FIG. 36 is a diagram illustrating an example of a transmission signal in Embodiment 13.
  • FIG. 36 is a diagram illustrating an example of a transmission signal in Embodiment 13.
  • 45 is a diagram illustrating another example of the transmission signal in Embodiment 13.
  • FIG. 36 is a diagram illustrating an example of a transmission signal in Embodiment 13.
  • FIG. 36 is a diagram illustrating an example of a transmission signal in Embodiment 13.
  • FIG. 36 is a diagram illustrating an example of a transmission signal in Embodiment 13.
  • FIG. 117 is a diagram illustrating an example of application of a transmitter in Embodiment 13.
  • FIG. 117 is a diagram illustrating an example of application of a transmitter in Embodiment 13.
  • FIG. 55 is a diagram for describing an imaging device in Embodiment 13.
  • FIG. 55 is a diagram for describing an imaging device in Embodiment 13.
  • FIG. 55 is a diagram for describing an imaging device in Embodiment 13.
  • FIG. It is a flowchart which shows the processing operation of the receiver (imaging device) concerning the modification of each embodiment. It is a figure which compares and shows the normal imaging mode and the macro imaging mode which concern on the modification of each embodiment. It is a figure which shows the display apparatus which displays an image
  • FIG. 1 It is a flow chart of the information communication method concerning one mode of the present invention. It is a block diagram of the information communication apparatus concerning one mode of the present invention. It is a flow chart of the information communication method concerning one mode of the present invention. It is a block diagram of the information communication apparatus concerning one mode of the present invention. It is a figure showing an example of the picture obtained by the information communication method concerning one mode of the present invention. It is a flowchart of the information communication method which concerns on the other aspect of this invention. It is a block diagram of the information communication apparatus which concerns on the other aspect of this invention. It is a flowchart of the information communication method which concerns on the further another aspect of this invention. It is a block diagram of the information communication apparatus which concerns on the further another aspect of this invention. FIG.
  • FIG. 335 is a diagram illustrating an example of modes of a receiver in Embodiment 14.
  • FIG. 336 is a diagram illustrating an example of imaging operation of a receiver in Embodiment 14.
  • FIG. 337 is a diagram illustrating another example of imaging operation of a receiver in Embodiment 14.
  • FIG. 338A is a diagram illustrating another example of imaging operation of a receiver in Embodiment 14.
  • FIG. 338B is a diagram illustrating another example of imaging operation of a receiver in Embodiment 14.
  • FIG. 338C is a diagram illustrating another example of imaging operation of a receiver in Embodiment 14.
  • FIG. 339A is a diagram illustrating an example of camera arrangement of a receiver in Embodiment 14.
  • FIG. 339B is a diagram illustrating another example of camera arrangement of a receiver in Embodiment 14.
  • FIG. 340 is a diagram illustrating an example of a display operation of a receiver in Embodiment 14.
  • FIG. 341 is a diagram illustrating an example of a display operation of a receiver in Embodiment 14.
  • FIG. 342 is a diagram illustrating an example of operation of a receiver in Embodiment 14.
  • FIG. 343 is a diagram illustrating another example of operation of a receiver in Embodiment 14.
  • FIG. 344 is a diagram illustrating another example of operation of a receiver in Embodiment 14.
  • FIG. 345 is a diagram illustrating another example of operation of a receiver in Embodiment 14.
  • FIG. 340 is a diagram illustrating an example of a display operation of a receiver in Embodiment 14.
  • FIG. 341 is a diagram illustrating an example of a display operation of a receiver in Embodiment 14.
  • FIG. 342 is
  • FIG. 346 is a diagram illustrating another example of operation of a receiver in Embodiment 14.
  • FIG. 347 is a diagram illustrating another example of operation of a receiver in Embodiment 14.
  • FIG. 348 is a diagram illustrating another example of operation of a receiver in Embodiment 14.
  • FIG. 349 is a diagram illustrating an example of operation of a receiver, a transmitter, and a server in Embodiment 14.
  • FIG. 350 is a diagram illustrating another example of operation of a receiver in Embodiment 14.
  • 351 is a diagram illustrating another example of operation of a receiver in Embodiment 14.
  • FIG. 352 is a diagram illustrating an example of initial setting of a receiver in Embodiment 14.
  • FIG. 352 is a diagram illustrating an example of initial setting of a receiver in Embodiment 14.
  • FIG. 352 is a diagram illustrating an example of initial setting of a receiver in Embodiment 14.
  • FIG. 352 is a diagram illustrating an
  • FIG. 353 is a diagram illustrating another example of operation of a receiver in Embodiment 14.
  • FIG. 354 is a diagram illustrating another example of operation of a receiver in Embodiment 14.
  • FIG. 355 is a diagram illustrating another example of operation of a receiver in Embodiment 14.
  • FIG. 356 is a diagram illustrating another example of operation of a receiver in Embodiment 14.
  • FIG. 357 is a diagram illustrating another example of operation of a receiver in Embodiment 14.
  • FIG. 358 is a diagram illustrating another example of operation of a receiver in Embodiment 14.
  • FIG. 359A is a diagram illustrating a pen used to operate a receiver in Embodiment 14.
  • FIG. 359B is a diagram illustrating operation of a receiver using a pen in Embodiment 14.
  • FIG. 360 is a diagram illustrating an example of the appearance of a receiver in Embodiment 14.
  • FIG. 361 is a diagram illustrating another example of the appearance of a receiver in Embodiment 14.
  • FIG. 362 is a diagram illustrating another example of operation of a receiver in Embodiment 14.
  • FIG. 363A is a diagram illustrating another example of operation of a receiver in Embodiment 14.
  • 363B is a diagram illustrating an application example using the receiver in Embodiment 14.
  • FIG. 364A is a diagram illustrating another example of operation of a receiver in Embodiment 14.
  • FIG. 364B is a diagram illustrating an application example using the receiver in Embodiment 14.
  • FIG. 365A is a diagram illustrating an example of operation of a transmitter in Embodiment 14.
  • FIG. 365B is a diagram illustrating another example of operation of a transmitter in Embodiment 14.
  • FIG. 366 is a diagram illustrating another example of operation of a transmitter in Embodiment 14.
  • FIG. 367 is a diagram illustrating another example of operation of a transmitter in Embodiment 14.
  • FIG. 368 is a diagram illustrating an example of communication form between a plurality of transmitters and a receiver in Embodiment 14.
  • FIG. 369 is a diagram illustrating an example of operation of a plurality of transmitters in the fourteenth embodiment.
  • FIG. 365A is a diagram illustrating an example of operation of a transmitter in Embodiment 14.
  • FIG. 365B is a diagram illustrating another example of operation of a transmitter in Embodiment 14.
  • FIG. 366
  • FIG. 370 is a diagram illustrating another example of communication form between a plurality of transmitters and a receiver in Embodiment 14.
  • FIG. 371 is a diagram illustrating another example of operation of a receiver in Embodiment 14.
  • FIG. 372 is a diagram illustrating an example of application of a receiver in Embodiment 14.
  • FIG. 373 is a diagram illustrating an example of application of a receiver in Embodiment 14.
  • FIG. 374 is a diagram illustrating an example of application of a receiver in Embodiment 14.
  • FIG. 375 is a diagram illustrating an example of application of a transmitter in Embodiment 14.
  • FIG. 376 is a diagram illustrating an example of application of a transmitter in Embodiment 14.
  • FIG. 371 is a diagram illustrating another example of operation of a receiver in Embodiment 14.
  • FIG. 372 is a diagram illustrating an example of application of a receiver in Embodiment 14.
  • FIG. 373 is a diagram illustrating an
  • FIG. 377 is a diagram illustrating an application example of the reception method in Embodiment 14.
  • FIG. 378 is a diagram illustrating an example of application of a transmitter in Embodiment 14.
  • FIG. 379 is a diagram illustrating an example of application of a transmitter in Embodiment 14.
  • FIG. 380 is a diagram illustrating an example of application of a transmitter in Embodiment 14.
  • FIG. 381 is a diagram illustrating another example of operation of a receiver in Embodiment 14.
  • FIG. 382 is a flowchart illustrating an example of operation of a receiver in Embodiment 15.
  • FIG. 383 is a flowchart illustrating another example of operation of a receiver in Embodiment 15.
  • FIG. 384A is a block diagram illustrating an example of a transmitter in Embodiment 15.
  • FIG. 384B is a block diagram illustrating another example of a transmitter in Embodiment 15.
  • FIG. 385 is a diagram illustrating a configuration example of a system including a plurality of transmitters in a fifteenth embodiment.
  • FIG. 386 is a block diagram illustrating another example of a transmitter in Embodiment 15.
  • FIG. 387A is a diagram illustrating an example of a transmitter in Embodiment 15.
  • FIG. 387B is a diagram illustrating an example of a transmitter in Embodiment 15.
  • FIG. 387C is a diagram illustrating an example of a transmitter in Embodiment 15.
  • FIG. 388A is a diagram illustrating an example of a transmitter in Embodiment 15.
  • FIG. 388B is a diagram illustrating an example of a transmitter in Embodiment 15.
  • FIG. 389 is a diagram illustrating an example of processing operation of a receiver, a transmitter, and a server in Embodiment 15.
  • FIG. 390 is a diagram illustrating an example of processing operation of a receiver, a transmitter, and a server in Embodiment 15.
  • FIG. 391 is a diagram illustrating an example of processing operation of a receiver, a transmitter, and a server in Embodiment 15.
  • FIG. 392A is an explanatory diagram for illustrating synchronization of a plurality of transmitters in the fifteenth embodiment.
  • FIG. 392A is an explanatory diagram for illustrating synchronization of a plurality of transmitters in the fifteenth embodiment.
  • FIG. 392B is an explanatory diagram for illustrating synchronization of a plurality of transmitters in the fifteenth embodiment.
  • FIG. 393 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 15.
  • FIG. 394 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 15.
  • FIG. 395 is a diagram illustrating an example of operation of a transmitter, a receiver, and a server in Embodiment 15.
  • FIG. 396 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 15.
  • FIG. 397 is a diagram illustrating an example of an appearance of a receiver in Embodiment 15.
  • FIG. 398 is a diagram illustrating an example of operation of a transmitter, a receiver, and a server in Embodiment 15.
  • FIG. 399 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 15.
  • FIG. 400 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 15.
  • FIG. 401 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 15.
  • FIG. 402 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 15.
  • FIG. 403A is a diagram illustrating an example of a structure of information transmitted by a transmitter in Embodiment 15.
  • FIG. 403B is a diagram illustrating another example of a structure of information transmitted by a transmitter in Embodiment 15.
  • FIG. 404 is a diagram illustrating an example of a 4-level PPM modulation scheme by a transmitter in Embodiment 15.
  • FIG. 405 is a diagram illustrating an example of a PPM modulation scheme by a transmitter in Embodiment 15.
  • FIG. 406 is a diagram illustrating an example of a PPM modulation scheme in a transmitter in Embodiment 15.
  • FIG. 407A is a diagram illustrating an example of a luminance change pattern corresponding to the header (preamble unit) in the fifteenth embodiment.
  • FIG. 407B is a diagram illustrating an example of a luminance change pattern in Embodiment 15.
  • FIG. 408A is a diagram illustrating an example of a luminance change pattern in Embodiment 15.
  • FIG. 408B is a diagram illustrating an example of a luminance change pattern in Embodiment 15.
  • FIG. 409 is a diagram illustrating an example of operation of a receiver in a situation in front of a store in the sixteenth embodiment.
  • FIG. 410 is a diagram illustrating another example of operation of a receiver in a situation in front of a store in the sixteenth embodiment.
  • FIG. 411 is a diagram illustrating an example of next operation of a receiver in a situation in front of a store in the sixteenth embodiment.
  • FIG. 412 is a diagram illustrating an example of next operation of a receiver in a situation in front of a store in the sixteenth embodiment.
  • FIG. 413 is a diagram illustrating an example of next operation of a receiver in a situation in front of a store in the sixteenth embodiment.
  • FIG. 414 is a diagram illustrating an example of operation of the display device in the in-store situation according to the sixteenth embodiment.
  • FIG. 415 is a diagram showing an example of next operation of the display device in the in-store situation in the sixteenth embodiment.
  • FIG. 416 is a diagram showing an example of next operation of the display device in the in-store situation in the sixteenth embodiment.
  • FIG. 417 is a diagram illustrating an example of next operation of a receiver in an in-store situation in Embodiment 16.
  • FIG. 418 is a diagram illustrating an example of next operations of a receiver in an in-store situation in Embodiment 16.
  • FIG. 414 is a diagram illustrating an example of operation of the display device in the in-store situation according to the sixteenth embodiment.
  • FIG. 415 is a diagram showing an example of next operation of the display device in the in
  • FIG. 419 is a diagram illustrating an example of next operations of a receiver in an in-store situation in Embodiment 16.
  • FIG. 420 is a diagram illustrating an example of next operation of a receiver in an in-store situation in Embodiment 16.
  • 421 is a diagram illustrating an example of next operation of a receiver in an in-store situation in Embodiment 16.
  • FIG. 422 is a diagram illustrating an example of next operations of a receiver in an in-store situation in Embodiment 16.
  • FIG. 423 is a diagram illustrating an example of operation of a receiver in a store search situation in Embodiment 16.
  • FIG. 424 is a diagram illustrating an example of next operation of a receiver in a store search situation in the sixteenth embodiment.
  • FIG. 425 is a diagram illustrating an example of next operations of a receiver in a store search situation in the sixteenth embodiment.
  • FIG. 426 is a diagram illustrating an example of operation of a receiver in a movie advertisement situation, in the sixteenth embodiment.
  • FIG. 427 is a diagram illustrating an example of next operation of a receiver in a movie advertisement situation in a sixteenth embodiment.
  • FIG. 428 is a diagram illustrating an example of next operations of a receiver in a movie advertisement situation in a sixteenth embodiment.
  • FIG. 429 is a diagram illustrating an example of next operation of a receiver in a movie advertisement situation in Embodiment 16.
  • FIG. 430 is a diagram illustrating an example of operation of a receiver in a situation in a museum in the sixteenth embodiment.
  • FIG. 431 is a diagram illustrating an example of next operation of a receiver in a situation in a museum in the sixteenth embodiment.
  • FIG. 432 is a diagram illustrating an example of next operation of a receiver in a situation in a museum in the sixteenth embodiment.
  • FIG. 433 is a diagram illustrating an example of next operation of a receiver in a situation in a museum in the sixteenth embodiment.
  • FIG. 434 is a diagram illustrating an example of next operation of a receiver in a situation in a museum in the sixteenth embodiment.
  • FIG. 435 is a diagram illustrating an example of next operation of a receiver in a museum setting in Embodiment 16.
  • 436 is a diagram illustrating an example of operation of a receiver in a bus stop situation according to Embodiment 16.
  • FIG. 16 is a diagram illustrating an example of next operation of a receiver in a bus stop situation according to Embodiment 16.
  • FIG. 437 is a diagram illustrating an example of next operation of a receiver in a bus stop situation according to Embodiment 16.
  • FIG. 438 is a diagram for illustrating imaging in a sixteenth embodiment.
  • FIG. 439 is a diagram for illustrating transmission and imaging in the sixteenth embodiment.
  • FIG. 440 is a diagram for illustrating transmission in the sixteenth embodiment.
  • FIG. 441 is a diagram illustrating an example of operation of a transmitter in Embodiment 17.
  • FIG. 442 is a diagram illustrating an example of operation of a transmitter in Embodiment 17.
  • FIG. 443 is a diagram illustrating an example of operation of a transmitter in Embodiment 17.
  • FIG. 444 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 17.
  • FIG. 441 is a diagram illustrating an example of operation of a transmitter in Embodiment 17.
  • FIG. 442 is a diagram illustrating an example of operation of a transmitter in Embodiment
  • FIG. 445 is a diagram illustrating an example of operation of a receiver in Embodiment 17.
  • FIG. 446 is a diagram illustrating an example of operation of a receiver in Embodiment 17.
  • FIG. 447 is a diagram illustrating an example of operation of a system including a transmitter, a receiver, and a server in Embodiment 17.
  • FIG. 448 is a block diagram showing a configuration of a transmitter in a seventeenth embodiment.
  • FIG. 449 is a block diagram illustrating a configuration of a receiver in Embodiment 17.
  • FIG. 450 is a diagram illustrating an example of operation of a transmitter in Embodiment 17.
  • 451 is a diagram illustrating an example of operation of a transmitter in Embodiment 17. [FIG.
  • FIG. 452 is a diagram illustrating an example of operation of a transmitter in Embodiment 17.
  • FIG. 453 is a diagram illustrating an example of operation of a transmitter in Embodiment 17.
  • FIG. 454 is a diagram illustrating an example of operation of a transmitter in Embodiment 17.
  • FIG. 455 is a diagram illustrating an example of operation of a transmitter in Embodiment 17.
  • FIG. 456 is a diagram illustrating an example of operation of a transmitter in Embodiment 17.
  • FIG. 457 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 17.
  • FIG. 458 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 17.
  • FIG. 453 is a diagram illustrating an example of operation of a transmitter in Embodiment 17.
  • FIG. 454 is a diagram illustrating an example of operation of a transmitter in Embodiment 17.
  • FIG. 455 is a diagram illustrating an example
  • FIG. 459 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 17.
  • FIG. 460 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 17.
  • FIG. 461 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 17.
  • FIG. 462 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 17.
  • FIG. 463 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 17.
  • FIG. 464 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 17.
  • FIG. 460 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 17.
  • FIG. 460 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 17.
  • FIG. 461 is a diagram illustrating an example of operation
  • FIG. 465 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 17.
  • FIG. 466 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 17.
  • FIG. 467 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 17.
  • FIG. 468 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 17.
  • FIG. 469 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 17.
  • FIG. 470 is a diagram illustrating a coding scheme in Embodiment 17.
  • FIG. 471 is a diagram illustrating a coding scheme which can receive light even when imaging is performed in the oblique direction in Embodiment 17.
  • FIG. 472 is a diagram illustrating a coding scheme in which the amount of information differs depending on the distance in Embodiment 17.
  • FIG. 473 is a diagram illustrating a coding scheme in which the amount of information differs depending on the distance in Embodiment 17.
  • FIG. 474 is a diagram illustrating a coding scheme obtained by dividing data according to a seventeenth embodiment.
  • FIG. 475 is a diagram showing an effect of inserting a reverse phase image in a seventeenth embodiment.
  • FIG. 476 is a diagram showing an effect of inserting a reverse phase image in a seventeenth embodiment.
  • FIG. 477 is a diagram showing super-resolution processing in the seventeenth embodiment.
  • FIG. 478 is a diagram showing a display corresponding to visible light communication in the seventeenth embodiment.
  • FIG. 479 is a diagram showing information acquisition using a visible light communication signal in the seventeenth embodiment.
  • FIG. 480 is a diagram showing a data format in the seventeenth embodiment.
  • FIG. 481 is a diagram illustrating reception by estimating a three-dimensional shape in a seventeenth embodiment.
  • FIG. 482 is a diagram illustrating reception by estimating a three-dimensional shape in a seventeenth embodiment.
  • FIG. 483 is a diagram showing a stereoscopic projection in the seventeenth embodiment.
  • FIG. 484 is a diagram showing a stereoscopic projection in the seventeenth embodiment.
  • FIG. 485 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 17.
  • FIG. 486 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 17.
  • FIG. 487 is a diagram illustrating an example of a transmission signal in the eighteenth embodiment.
  • FIG. 488 is a diagram illustrating an example of a transmission signal in the eighteenth embodiment.
  • FIG. 489A is a diagram illustrating an example of a captured image (bright line image) of a receiver in Embodiment 18.
  • FIG. 489B is a diagram illustrating an example of a captured image (bright line image) of a receiver in Embodiment 18.
  • FIG. 489C is a diagram illustrating an example of a captured image (bright line image) of a receiver in Embodiment 18.
  • FIG. 490A is a diagram illustrating an example of a captured image (bright line image) of a receiver in Embodiment 18.
  • FIG. 490B is a diagram illustrating an example of a captured image (bright line image) of a receiver in Embodiment 18.
  • 491A is a diagram illustrating an example of a captured image (bright line image) of a receiver in Embodiment 18.
  • FIG. 491B is a diagram illustrating an example of a captured image (bright line image) of a receiver in Embodiment 18.
  • FIG. 491C is a diagram illustrating an example of a captured image (bright line image) of a receiver in Embodiment 18.
  • FIG. 492 is a diagram illustrating an example of a captured image (bright line image) of a receiver in Embodiment 18.
  • FIG. 493 is a diagram illustrating an example of a transmission signal in Embodiment 18.
  • FIG. 494 is a diagram illustrating an example of operation of a receiver in Embodiment 18.
  • FIG. 495 is a diagram illustrating an example of an instruction to a user displayed on a screen of a receiver in Embodiment 18.
  • FIG. 496 is a diagram illustrating an example of an instruction to a user displayed on a screen of a receiver in Embodiment 18.
  • FIG. 497 is a diagram illustrating an example of a signal transmission method in the eighteenth embodiment.
  • FIG. 498 is a diagram illustrating an example of a signal transmission method in the eighteenth embodiment.
  • FIG. 499 is a diagram illustrating an example of a signal transmission method in Embodiment 18.
  • FIG. 500 is a diagram illustrating an example of a signal transmission method in Embodiment 18.
  • FIG. 501 is a diagram for describing a use case in the eighteenth embodiment.
  • 502 is a diagram of an information table transmitted by the smartphone in the eighteenth embodiment to the server.
  • FIG. FIG. 503 is a block diagram of a server in an eighteenth embodiment.
  • FIG. 504 is a flowchart showing the overall processing of the system in the eighteenth embodiment.
  • FIG. 505 is a diagram of an information table transmitted by the server in the eighteenth embodiment to a smartphone.
  • FIG. 506 is a diagram showing a screen flow displayed on the wearable device from when the user in the eighteenth embodiment receives information from the server in front of a store until when the user actually purchases a product.
  • FIG. 507 is a diagram for describing another use case in the eighteenth embodiment.
  • FIG. 508 is a diagram illustrating a service providing system using the receiving method described in each embodiment.
  • FIG. 509 is a flowchart showing the flow of service provision.
  • FIG. 510 is a flowchart showing service provision in another example.
  • FIG. 511 is a flowchart showing service provision in another example.
  • FIG. 512A is a diagram for describing a modulation scheme that is easy to receive in the twentieth embodiment.
  • FIG. 512B is a diagram for describing a modulation scheme which is easy to receive in the twentieth embodiment.
  • FIG. 513 is a diagram for describing a modulation scheme that is easy to receive in the twentieth embodiment.
  • FIG. 514 is a diagram for describing combined use of communication by bright line and image recognition in Embodiment 20.
  • FIG. 515A is a diagram for describing a method of using an imaging device suitable for receiving a visible light signal in Embodiment 20.
  • FIG. 515B is a diagram for describing a method of using an imaging device suitable for receiving a visible light signal in Embodiment 20.
  • FIG. 515C is a diagram for describing a method of using an imaging device suitable for receiving a visible light signal in Embodiment 20.
  • FIG. 515D is a diagram for describing a method of using an imaging device suitable for receiving a visible light signal in Embodiment 20.
  • FIG. 515E is a flowchart for describing how to use the imaging device suitable for receiving a visible light signal in Embodiment 20.
  • FIG. 516 is a diagram showing a size of a captured image suitable for receiving a visible light signal in Embodiment 20.
  • FIG. 516 is a diagram showing a size of a captured image suitable for receiving a visible light signal in Embodiment 20.
  • FIG. 517A is a diagram showing a size of a captured image suitable for receiving a visible light signal in Embodiment 20.
  • FIG. 517B is a flowchart showing an operation for switching to a captured image size suitable for reception of a visible light signal in Embodiment 20.
  • FIG. 517C is a flowchart showing an operation for switching to a captured image size suitable for reception of a visible light signal in Embodiment 20.
  • FIG. 518 is a diagram for describing reception of a visible light signal using a zoom in Embodiment 20.
  • FIG. 519 is a diagram for describing an image data size compression method suitable for receiving a visible light signal in a twentieth embodiment.
  • FIG. 520 is a diagram for describing a modulation scheme with high reception error detection accuracy in the twentieth embodiment.
  • 521 is a diagram for describing change in operation of a receiver according to a difference in situation in Embodiment 20.
  • FIG. FIG. 522 is a diagram for describing notification of visible light communication to humans in the twentieth embodiment.
  • FIG. 523 is a diagram for describing expansion of the reception range by the diffuser plate in the twentieth embodiment.
  • FIG. 524 is a diagram for describing a synchronization method of signal transmission from a plurality of projectors in the twentieth embodiment.
  • FIG. 525 is a diagram for describing a synchronization method of signal transmission from a plurality of displays in Embodiment 20.
  • FIG. 526 is a diagram for describing reception of a visible light signal by the illuminance sensor and the image sensor in Embodiment 20.
  • FIG. 527 is a diagram for illustrating a trigger of reception start in the twentieth embodiment.
  • FIG. 528 is a diagram for describing a reception start gesture in the twentieth embodiment.
  • FIG. 529 is a diagram for illustrating an application example to a car navigation system in the twentieth embodiment.
  • FIG. 530 is a diagram for illustrating an application example to a car navigation system in the twentieth embodiment.
  • FIG. 531 is a diagram for describing an application example to content protection in the twentieth embodiment.
  • FIG. 532 is a diagram for describing an application example as an electronic lock in the twentieth embodiment.
  • FIG. 533 is a diagram for describing an application example as visit-store information transmission in the twentieth embodiment.
  • FIG. 534 is a diagram for illustrating an application example of order control according to a place in the twentieth embodiment.
  • FIG. 535 is a diagram for illustrating an application example to the route guidance in the twentieth embodiment.
  • FIG. 536 is a diagram for illustrating an application example to location contact in the twentieth embodiment.
  • FIG. 537 is a diagram for describing an application example to usage log accumulation and analysis in the twentieth embodiment.
  • FIG. 538 is a diagram for describing an application example to screen sharing in the twentieth embodiment.
  • FIG. 539 is a diagram for describing an application example to screen sharing in the twentieth embodiment.
  • FIG. 540 is a diagram for describing an application example of position estimation using a wireless access point according to the twentieth embodiment.
  • FIG. 541 is a diagram illustrating a configuration for performing position estimation by visible light communication and wireless communication in Embodiment 20.
  • FIG. 542A is a flowchart of an information communication method according to an aspect of the present invention.
  • FIG. 542B is a block diagram of an information communication device according to an aspect of the present invention.
  • FIG. 543 is a diagram showing a watch equipped with an optical sensor.
  • FIG. 544 is a diagram illustrating an application example of the information communication method according to an aspect of the present invention.
  • FIG. 545 is a diagram illustrating an application example of the information communication method according to an aspect of the present invention.
  • FIG. 545 is a diagram illustrating an application example of the information communication method according to an aspect of the present invention.
  • FIG. 546 is a diagram illustrating an application example of an information communication method according to an aspect of the present invention.
  • FIG. 547 is a diagram illustrating an example of application of a transmitter and a receiver in Embodiment 21.
  • FIG. 548 is a diagram illustrating an example of application of a transmitter in Embodiment 21.
  • FIG. 549A is a diagram illustrating an example of application of a transmitter and a receiver in Embodiment 21.
  • FIG. 549B is a flowchart illustrating operation of a receiver in Embodiment 21.
  • FIG. 550 is a diagram illustrating an example of application of a transmitter and a receiver in Embodiment 21.
  • 551 is a diagram illustrating an example of application of a transmitter in Embodiment 21.
  • FIG. 547 is a diagram illustrating an example of application of a transmitter and a receiver in Embodiment 21.
  • FIG. 548 is a diagram illustrating an example of application of a transmitter in Embod
  • FIG. 552A is a diagram illustrating an example of application of a transmitter and a receiver in Embodiment 21.
  • FIG. FIG. 552B is a flowchart illustrating operation of a receiver in Embodiment 21.
  • FIG. 553 is a diagram illustrating operation of a receiver in Embodiment 21.
  • FIG. 554 is a diagram illustrating an example of application of a transmitter in Embodiment 21.
  • FIG. 555 is a diagram illustrating an example of application of a receiver in Embodiment 21.
  • FIG. 556A is a flowchart illustrating an example of operation of a transmitter in Embodiment 21.
  • FIG. 556B is a flowchart illustrating an example of operation of a transmitter in Embodiment 21.
  • FIG. 557 is a flowchart illustrating an example of operation of a transmitter in Embodiment 21.
  • FIG. FIG. 558 is a flowchart illustrating an example of operation of the imaging device in Embodiment 21.
  • FIG. 559 is a flowchart illustrating an example of operation of the imaging device in Embodiment 21.
  • FIG. 560 is a diagram illustrating an example of a signal transmitted by a transmitter in Embodiment 21.
  • 561 is a diagram illustrating an example of a signal transmitted by a transmitter in Embodiment 21.
  • FIG. FIG. 562 is a diagram illustrating an example of a signal transmitted by a transmitter in Embodiment 21.
  • 563 is a diagram illustrating an example of a signal transmitted by a transmitter in Embodiment 21.
  • FIG. 564 is a diagram illustrating an example of a system configuration including a transmitter and a receiver in Embodiment 21.
  • FIG. 565 is a diagram illustrating an example of a system configuration including a transmitter and a receiver in Embodiment 21.
  • FIG. 566 is a diagram illustrating an example of a system configuration including a transmitter and a receiver in Embodiment 21.
  • FIG. 567A is a flowchart of an information communication method according to an aspect of the present invention.
  • FIG. 567B is a block diagram of an information communication device according to an aspect of the present invention.
  • FIG. 568A is a flowchart of an information communication method according to an aspect of the present invention.
  • FIG. 568B is a block diagram of an information communication device according to an aspect of the present invention.
  • FIG. 569 is a diagram illustrating an example of operation of a transmitter in Embodiment 21.
  • FIG. 570 is a diagram illustrating an example of operation of a transmitter in Embodiment 21.
  • 571 is a diagram illustrating an example of operation of a transmitter in Embodiment 21.
  • FIG. 572 is a diagram illustrating an example of operation of a transmitter in Embodiment 21.
  • FIG. 573 is a diagram illustrating an example of a receiver in Embodiment 21.
  • FIG. 574 is a diagram illustrating an example of a receiver in Embodiment 21.
  • FIG. 575 is a diagram illustrating an example of a reception system in Embodiment 21.
  • FIG. 576 is a diagram illustrating an example of a reception system in Embodiment 21.
  • FIG. 577A is a diagram illustrating an example of a modulation scheme in Embodiment 21.
  • FIG. 577B is a diagram illustrating an example of a modulation scheme in Embodiment 21.
  • FIG. 577C is a diagram illustrating an example of separation of mixed signals in Embodiment 21.
  • FIG. 577D is a diagram illustrating an example of separation of mixed signals in Embodiment 21.
  • FIG. 578 is a diagram illustrating an example of a visible light communication system in Embodiment 21.
  • FIG. 579 is a flowchart showing a reception method from which interference is eliminated in the twenty-first embodiment.
  • FIG. 579 is a flowchart showing a reception method from which interference is eliminated in the twenty-first embodiment.
  • FIG. 580 is a flowchart of an estimation method of a direction of a transmitter in Embodiment 21.
  • FIG. 581 is a flowchart of a method of starting reception in the twenty-first embodiment.
  • FIG. 582 is a flowchart of a method of generating an ID using information of another medium in the twenty-first embodiment.
  • FIG. 583 is a flowchart of a method of selecting a reception method by frequency separation in Embodiment 21.
  • FIG. 584 is a flowchart showing a signal reception method in the case where the exposure time is long in the twenty-first embodiment.
  • FIG. 585 is an image view showing a usage scene in a twenty-second embodiment.
  • FIG. 586 is a schematic diagram of a portable terminal in the twenty-second embodiment.
  • FIG. 587 is an image diagram when a portable terminal in Embodiment 22 is held horizontally.
  • FIG. 588 is an image view when a portable terminal in Embodiment 22 is held vertically.
  • FIG. 589 is a conceptual diagram of the in-store map in the twenty-second embodiment.
  • FIG. 590 is an image diagram of a product UI in the twenty-second embodiment.
  • FIG. 591 is an image diagram when a product UI in the twenty-second embodiment is operated.
  • FIG. 592 is an image diagram of swinging the portable terminal in Embodiment 22 from right to left.
  • FIG. 593 is an image view of a watch-type device in a twenty-second embodiment.
  • FIG. 594 is a diagram showing an entire structure in a twenty-second embodiment.
  • FIG. 595 is a diagram of the structure of the product information storage unit A11016 according to the twenty-second embodiment.
  • FIG. 596 is a layout image diagram of the product UI in the twenty-second embodiment.
  • FIG. 597 is a structural diagram of the map information storage unit A 11017 in the twenty-second embodiment.
  • FIG. 598 is a flowchart of lighting equipment A 11002 in the twenty-second embodiment.
  • FIG. 599 is a flowchart of portable terminal A11001 in the twenty-second embodiment.
  • FIG. 600 is a structural diagram of a state management unit A 11019 in the twenty-second embodiment.
  • FIG. 601 is a flowchart of processing related to ceiling light in the twenty-second embodiment.
  • FIG. 602 is a flowchart of base-light related processing in the twenty-second embodiment.
  • FIG. 603 is a flowchart of UI related processing in the twenty-second embodiment.
  • FIG. 604 is a flowchart of map information oriented UI processing according to the twenty-second embodiment.
  • FIG. 605 is a flowchart of product information oriented UI processing according to the twenty-second embodiment.
  • FIG. 607 is a flowchart of the entire display processing in the twenty-second embodiment.
  • FIG. 607 is a flowchart of a process of pre-display update in the twenty-second embodiment.
  • FIG. 608 is a flowchart of display update processing in the twenty-second embodiment.
  • FIG. 609 is a structural diagram of a light reception control unit in the twenty-third embodiment.
  • FIG. 610 is a flowchart of illuminance pattern detection in the twenty-third embodiment.
  • FIG. 611 is a structural diagram of a light reception control unit in the twenty-fourth embodiment.
  • FIG. 612 is a flowchart of illuminance pattern detection in the twenty-fourth embodiment.
  • FIG. 613 is an image diagram of a movement of a sight line in the twenty-fifth embodiment.
  • FIG. 614 is a block diagram of a portable terminal in the twenty-fifth embodiment.
  • FIG. 615 is a diagram of a DB structure of a shelf identifier according to the twenty-fifth embodiment.
  • FIG. 616 is a flowchart at the time of server inquiry in the twenty-fifth embodiment.
  • FIG. 617 is a structural diagram of a light reception control unit in the twenty-sixth embodiment.
  • FIG. 618 is a structural diagram of a light reception control unit in the twenty-seventh embodiment.
  • FIG. 619 is a diagram for describing a use case in the twenty-eighth embodiment.
  • FIG. 620 is a diagram showing system components in the twenty-ninth embodiment.
  • FIG. 621 is a flowchart of area detection processing of the mobile terminal (B 0101) in the twenty-ninth embodiment.
  • FIG. 622 is a processing flowchart in the area ID information server (B0411) when area ID information is requested from the mobile terminal (B0101) in the twenty-ninth embodiment.
  • FIG. 623 is a flowchart of a process when the mobile terminal (B0101) in the twenty-ninth embodiment receives area ID information from the area ID information server (B0411).
  • FIG. 624 is a flowchart of a process when the mobile terminal (B0101) in the twenty-ninth embodiment receives an ID from the visible light transmitting device (B0120).
  • FIG. 625 is a flowchart of a process when the mobile terminal (B0101) in the twenty-ninth embodiment requests visible light ID correspondence information.
  • FIG. 626 is a flowchart of processing when the ID correspondence information server (B0111) in the twenty-ninth embodiment requests ID correspondence information from the mobile terminal (B0101).
  • FIG. 627 is a flowchart of a process when the mobile terminal (B0101) in the twenty-ninth embodiment receives a short ID from a visible light transmitting device (B0120).
  • FIG. 628 is a flowchart of a process of displaying a mobile terminal (B0101) according to the twenty-ninth embodiment.
  • FIG. 629 is a processing flowchart of the interpolation ID generation unit (B0110) according to the twenty-ninth embodiment for generating an interpolation ID based on a user attribute.
  • FIG. 630 is a flowchart of processing by which the interpolation ID generation means (B0110) in the twenty-ninth embodiment specifies the installation position of the visible light transmitting device (B0120) based on the sensing means (B0103) and the receiving camera information.
  • FIG. 631 is a flowchart of processing in which the interpolation ID generation means (B0110) in the twenty-ninth embodiment generates an interpolation ID based on the installation position of the visible light transmitting device.
  • FIG. 632 is a diagram showing an example in which the interpolation ID generation means (B0110) in the twenty-ninth embodiment specifies the position of the visible light transmission device (B0120).
  • FIG. 633 is a diagram showing an example in which the interpolation ID generation means (B0110) in the twenty-ninth embodiment detects the attitude of the mobile terminal (B0101).
  • FIG. 634 is a diagram showing an example of a table used by the interpolation ID generation means (B0110) in the twenty-ninth embodiment for selecting an interpolation ID based on a device position.
  • FIG. 635 is a diagram showing an example of a user attribute table held by the user information holding means (B0151) in the twenty-ninth embodiment.
  • FIG. 636 is a diagram showing an example of a table used by the interpolation ID generation means (B0110) in the twenty-ninth embodiment for selecting an interpolation ID based on a user attribute.
  • FIG. 637 is a diagram showing an example of a data table held by the visible light ID correspondence information data holding means (B0114) in the twenty-ninth embodiment.
  • FIG. 638 is a diagram showing an example of an area ID information table held by the area ID information server (B0141) in the twenty-ninth embodiment.
  • FIG. 639 is a diagram showing a use case in the twenty-ninth embodiment.
  • FIG. 640 is a diagram showing an example of the internal configuration of the inquiry ID to the ID correspondence information conversion server (B0111) by the mobile terminal (B0101) in the twenty-ninth embodiment.
  • FIG. 641 is a diagram showing an example in which the mobile terminal (B0101) in the twenty-ninth embodiment generates a query ID.
  • 642 is a diagram illustrating a detailed use case of the example 2 of FIG. 641 in Embodiment 29.
  • FIG. FIG. 643 is a diagram of a detailed use case of the example 3 of FIG. 641 in the twenty-ninth embodiment.
  • An information communication method is an information communication method for transmitting a signal by a change in luminance, comprising: determining a pattern of change in luminance by modulating a signal to be transmitted; And a transmitting step of transmitting the signal to be transmitted by changing the luminance of the plurality of light emitters in accordance with the pattern of luminance change, and in a plane on which the plurality of light emitters are disposed, other than the plurality of light emitters
  • the non-brightness-changing non-brightness-changing region does not traverse the surface between at least one of the plurality of light emitters along at least one of the vertical and horizontal directions of the surface.
  • a plurality of light emitters are disposed on the surface.
  • the bright line area can be made continuous.
  • the signal to be transmitted can be easily received, and communication can be performed between various devices including devices having a small computing power.
  • the non-brightness change area which is not changed in luminance outside the plurality of light emitters is one of the vertical direction and the horizontal direction of the surface.
  • the method may include disposing the plurality of light emitters on the surface so as not to traverse the surface between at least one of the plurality of light emitters.
  • the transmission step whether the brightness level of at least one of the plurality of light emitters is smaller than a reference level which is a predetermined brightness or is equal to or less than the reference level
  • a brightness determination step of determining the light emission level, and in the transmission step, when it is determined that the brightness level of the light emitter is smaller than the reference level or less than the Transmission of the signal to be transmitted may be stopped.
  • the transmission step whether the brightness level of at least one of the plurality of light emitters is greater than or equal to or greater than a reference level which is a predetermined brightness.
  • a first pattern of change in luminance corresponding to a body that is a part of the signal to be transmitted and a second pattern of change in luminance indicating a header for identifying the body
  • the first pattern of change in luminance, the second pattern of change in luminance, and the first pattern of change in luminance are changed in order of luminance according to the respective patterns,
  • the header and the body may be sent.
  • a third luminance change pattern indicating another header different from the header is further determined, and in the transmitting step, the first luminance change pattern, the second luminance change
  • the header, the body, and the other header may be transmitted by changing the luminance according to the respective patterns in the order of the pattern, the pattern of the first luminance change, and the pattern of the third luminance change.
  • the signal length of the body can be specified if the header, the body, and the other headers are continuously received at one time.
  • the signal length can be used to properly combine portions of the body before and after the header.
  • it is impossible to specify the signal length of that body unless the header, the two bodies, and the header are received in succession at one time, but as described above, the other By transmitting the header, it is possible to shorten the signal that needs to be received one at a time in order to specify the signal length of the body.
  • the patterns of the luminance change different in timing from each other are set such that two luminance change patterns adjacent to each other in the timing when the predetermined luminance value appears are not assigned to the same parity signal unit.
  • the pattern of luminance change assigned to each of the signal units may be determined for each of the signal units included in the signal to be transmitted that is assigned in advance to each of the different signal units.
  • an image obtained by photographing at least one light emitter of the plurality of light emitters by an image sensor further includes a bright line corresponding to an exposure line included in the image sensor.
  • An exposure time setting step of setting an exposure time of the image sensor so as to occur according to a change in luminance of the light emitter; and photographing the light emitter changing in luminance with the set exposure time.
  • the information acquiring step is performed by using the pattern of the second luminance change in the pattern of the bright line.
  • a step of specifying a second portion and a third portion sandwiching a first portion corresponding to the second line in a direction perpendicular to the bright line, and data specified by the second and third portions Obtaining the body by demodulating the signal, and in the partial identification step, the sum of the length of the second portion and the length of the third portion in the direction perpendicular to the bright line is
  • the second part and the third part may be specified to have a length associated with the body.
  • FIG. 512A and FIG. 512B a body can be acquired appropriately.
  • the information communication method further includes a flash determination step of determining whether or not a flash flashing in a predetermined rhythm is received, and in the transmission step, when it is determined that the flash is received,
  • the plurality of light emitters may change in luminance by raising the luminance.
  • the receiver that receives signals from the plurality of light emitters by photographing the plurality of light emitters can not receive the signals, as described above.
  • the brightness of the plurality of light emitters can be increased and the signal can be properly received.
  • the information communication method further includes a blinking step of blinking at least one light emitter of the plurality of light emitters so as to be visually recognized by human eyes, and in the light emitter, the transmitting step The blinking step may be alternately repeated.
  • FIG. 1 is a timing chart of transmission signals in the information communication apparatus of the first embodiment.
  • a reference waveform (a) is a clock signal of period T, which serves as a reference of the timing of the transmission signal.
  • the transmission symbol (b) indicates a symbol string generated based on the data string to be transmitted.
  • the transmission waveform (c) is a transmission waveform phase-modulated according to the transmission symbol with respect to the reference waveform, and the transmission light source is driven according to this waveform.
  • the phase modulation is performed by shifting the phase of the reference waveform corresponding to the symbol, and in this example, symbol 0 is allocated at phase 0 ° and symbol 1 is allocated at phase 180 °.
  • FIG. 2 is a diagram showing the relationship between the transmission signal and the reception signal in the first embodiment.
  • the transmission signal is the same as that of FIG. 1, and the light source emits light only during the period in which the transmission signal is 1, and the light emission period is indicated by the area of the lower right diagonal line.
  • a band painted with a diagonally upper right represents a period during which the pixel of the image sensor is exposed (exposure time tE), and the signal charge of the pixel of the image sensor is generated in a region overlapping with the diagonally lower right Ru.
  • the pixel value p is proportional to the area of this overlapping area.
  • Equation 1 holds between the exposure time tE and the cycle T.
  • tE T / 2 ⁇ (2n + 1)
  • the received waveform indicates the pixel value p of each line.
  • the value of the pixel value axis is normalized with the amount of light received for one cycle as one.
  • the pixel value p since the exposure time tE has a section of T (n + 1/2), the pixel value p always exists in the range of n ⁇ p ⁇ n + 1, and 2 ⁇ p ⁇ 3 in the example of FIG. Become.
  • FIGS. 3 to 5 are diagrams showing the relationship between the transmission signal and the reception signal for symbol sequences different from those in FIG.
  • the transmit signal has a preamble that includes consecutive identical symbol sequences (not shown) (e.g., a sequence of consecutive symbol 0), and the receiver uses the successive symbol sequences in this preamble as a reference for reception.
  • a signal is created and used as a timing signal for reading out a symbol string from the received waveform. Specifically, for the continuous symbol 0, as shown in FIG. 2, the reception waveform returns a constant waveform repeating 2.fwdarw.3.fwdarw.2, and the clock signal is output based on the timing when the pixel value 3 is output. Generate as a reference signal.
  • the reception signal in one section of the reference signal can be read out, and it can be read out as symbol 0 in the case of pixel value 3 and symbol 1 in the case of pixel value 2.
  • FIGS. 3 to 5 show how symbols located in the fourth period are read out.
  • FIG. 6 is a diagram summarizing FIG. 2 to FIG. 5. Since the lines are densely arranged, the pixel division in the line direction is omitted and drawn continuously. Here, symbol values in the fourth to eighth periods are read out.
  • the intensity of the optical signal when the intensity of the optical signal is averaged for a time sufficiently longer than the period of the reference wave, it is always constant. Then, if the frequency of the reference wave is set appropriately high, that time can be set shorter than the time for which a person perceives a change in light quantity, so when the transmission light source is observed from human eyes, the light source remains constant. It is perceived as glowing. Therefore, it is not perceived as flickering of the light source, and it has the advantage that it does not make people feel troublesome in the previous embodiment.
  • the frequency (symbol rate) of the signal is increased in the amplitude modulation (on-off modulation) in the above embodiment.
  • the rising and falling edges of the signal can be detected even in such a situation, so that the frequency of the signal can be increased. And a high signal transmission rate can be realized.
  • phase modulation means phase modulation with respect to the reference signal waveform.
  • the carrier wave is light, and since it is modulated by amplitude modulation (on / off modulation) and transmitted, the modulation scheme in this signal transmission is a type of amplitude modulation.
  • the above transmission signal is an example, and the number of bits per symbol can be set to 2 or more, and the correspondence between the symbol and the phase shift is not limited to 0 ° and 180 °, and the offset can be set. You may have.
  • FIG. 17 an example of receiving data such as position information from an optical signal from an illuminator using a face camera that is a camera on the display unit side of a mobile phone and an in-camera on the opposite side in FIG. showed that.
  • the vertical direction can be detected by gravity by using a 9-axis sensor.
  • the face camera when receiving an optical signal by the mobile phone on the table in the restaurant, if the front side of the mobile phone is facing up according to the signal of the 9-axis sensor, the face camera is activated; If the camera is facing downward, switching to the in-camera and receiving the light signal can reduce power consumption and can quickly receive the light signal, and stop the useless camera operation. Can. In this case, it is possible to detect the direction of the camera on the table from the brightness of the camera and perform the same operation. In addition, when the camera switches from the shooting mode to the light signal reception mode, a command to increase the shutter speed is sent, and a command to increase the sensitivity of the imaging device is sent to the imaging circuit unit to increase the sensitivity and brighten the image. There is.
  • the present invention mainly generates an optical signal from a lighting device in a space indoors, and an optical signal from a camera unit of a portable terminal having a communication unit, an audio microphone, an audio speaker, a display unit, an in-camera and a camera unit of a face camera.
  • a camera unit of a portable terminal having a communication unit, an audio microphone, an audio speaker, a display unit, an in-camera and a camera unit of a face camera.
  • it receives and obtains position information etc., when it goes out from indoors to outdoor, it can detect position information by GPS using satellites. For this reason, there is an effect that the position detection can be performed seamlessly by acquiring the position information of the boundary from the light signal area, activating the signal reception from the GPS, and automatically performing this switching.
  • the boundary is detected by position information such as GPS and automatic switching to position information of the light signal is performed.
  • position information such as GPS
  • automatic switching to position information of the light signal is performed.
  • response time is required when using a server.
  • mutual authentication can be performed by transmitting an optical signal from the light emitting unit of the reader of the terminal such as POS to the face camera unit of the mobile phone using the present invention, thereby improving security.
  • FIG. 7 shows the principle of the second embodiment. 8 to 20 show an example of the operation of the second embodiment.
  • each line 1 In the image sensor shown in FIG. 7A, the exposure time of each line 1 is delayed for each line. At normal shutter speeds, each line has an overlapping portion in time, so light signals of the same time can not be determined because they are mixed in each line.
  • the light signals do not overlap as shown in (a) of FIG. be able to.
  • the clock for line access is raised or lowered to obtain the most contrast or to reduce the data error rate by looking at the signal of the light receiving element of the camera as shown in FIG. You can synchronize by changing to.
  • the clock of the line of the image sensor is faster than the light signal, synchronization can be achieved by receiving one symbol of the light signal by n lines of two lines or three lines as shown in FIG.
  • a display such as the TV shown in FIG. 9 or the TV shown on the left in FIG. 10, or a light source divided into n vertically, for example, 10, with a camera of a mobile phone
  • the transfer rate is 10 times (n times).
  • HD video can be divided into 50 because it has 1980 pixels horizontally. Then, it will be 1.5 Mbps and video data of moving pictures can be received. With 200, HD video can be transmitted.
  • the shutter time needs to be half or less of 1 / fp. Because the blanking which occurs at the time of photography becomes half the size of one frame at the maximum. That is, since the blanking time is equal to or less than half of the photographing time, the actual photographing time is 1/2 fp in the shortest time.
  • communication is initially asynchronous.
  • a scan line that is twice or more the optical signal clock and 2 to 10 times the specific scan line, compatible communication is realized although the information rate is lowered.
  • a lighting device that needs to prevent flickering, it emits light by turning off or reducing light in a four-value PPM, that is, one time zone of four bits. In this case, the bit rate drops to half, but since flickering is eliminated, it can be used for lighting equipment and can transmit light and data.
  • Figure 11 sends a common signal from the entire illumination device in the common time zone indoors, the individual time slot, a situation being sent individual sub-information from the individual lighting apparatus L 4, the situation of receiving an optical signal It shows. Since L 4 has a small area, it takes time to send a large amount of data. Therefore, in the individual time zone, only a few bit ID is sent, and in the common time zone, all of L 1 , L 2 , L 3 , L 4 and L 5 send common information having the same content.
  • time zone A in the lower part of FIG. 12A “the position information of the reference position of the room, the arrangement information of the individual devices of each ID (difference position information from the reference position), the server 'S URL, data broadcasting, LAN transmission data' two lights of the main area M which is all lights in the room, and S 1 , S 2 , S 3 , S 4 in the part are all the same at the same time Send an optical signal. Since the room is illuminated with the same light signal, the portable camera unit can reliably receive data during the common time zone.
  • the main region M does not blink and continuously emits light at a normal 1 / n light amount.
  • the average light amount does not change and flickering can be prevented. There is no flicker if it blinks in a range where the average light amount does not change, but this is not preferable because it becomes noise for reception of the partial regions S 1 , S 2 , S 3 and S 4 in the time zone B.
  • S 1 , S 2 , S 3 and S 4 each transmit optical signals of different data content.
  • the main area M does not transmit a modulation signal, it is separated in position like the upper right hand-held screen.
  • the noise since the noise is small, it becomes easy to detect the stripes occurring in the region, stable data is obtained.
  • FIG. 12B is a diagram for describing the operation of the transmitter and the receiver in this embodiment.
  • the transmitter 8161 is configured as, for example, signage, and changes luminance of an area A described as "A shop” and an area B described as "B shop". Thereby, the signal A and the signal B are transmitted from each area.
  • each of the signal A and the signal B includes a common portion indicating common content and a unique portion indicating different content.
  • the respective common parts of signal A and signal B are transmitted simultaneously.
  • the receiver 8162 displays an image of the entire signage.
  • the transmitter may simultaneously transmit the unique part of the signal A and the unique part of the signal B or may transmit at different timings.
  • the receiver 8162 displays, for example, detailed information on the store corresponding to the area B described above.
  • FIG. 12C is a diagram for describing operations of a transmitter and a receiver in this embodiment.
  • the transmitter 8161 simultaneously transmits the common part of the signal A and the signal B, and then simultaneously transmits unique parts indicating different contents of each of the signal A and the signal B.
  • Receiver 8162 receives signals from transmitter 8161 by imaging transmitter 8161.
  • the transmitter 8161 transmits the common part of the signal A and the signal B
  • the transmitter 8161 can be regarded as one large area without dividing it into two areas.
  • the receiver 8162 can receive the common part even if it is at a position far from the transmitter 8161.
  • the receiver 8162 acquires the information associated with the common part from the server and displays it.
  • the server transmits to the receiver 8162 information on all stores shown in the signage that is the transmitter 8161.
  • the server selects information on any store from those stores and transmits the information to the receiver 8162.
  • the server preferentially transmits to the receiver 8162 information on stores that are paying the highest registration amount among those stores.
  • the server transmits information on stores corresponding to the area (area A or area B) at the center of the area captured by the camera of the receiver 8162.
  • the server randomly selects a store and transmits information on the store to the receiver 8162.
  • receiver 8162 can receive the unique portion of signal A or signal B when in a position close to transmitter 8161. At this time, the receiver 8162 acquires information associated with the unique portion from the server.
  • the individual IDs of L 1 , L 2 , L 3 , and L 4 to L 8 in FIG. 14A can be 3-bit demodulated.
  • the reception error can be reduced by allocating the signal so that the reciprocal or logarithm of the frequency becomes equal, rather than allocating the frequency to the signal at equal intervals.
  • transmission can be performed at 60 bits per second.
  • a general imaging device captures an image of 30 frames per second, so when transmitting a signal at the same frequency for 1/15 seconds, imaging is reliably performed even if the transmitter is only shown in a part of the captured image It can be performed.
  • the frequency of the transmission signal appears as a peak.
  • a plurality of frequencies are imaged in one frame, such as a frequency switching portion, a plurality of peaks can be obtained as weaker peaks than when a single frequency signal is subjected to Fourier transform.
  • a protection part may be provided in order to avoid mixing of the front and back frequencies.
  • the transmission frequency can be analyzed, and the time is shorter than 1/15 seconds or 1/30 seconds. Even if the frequency of the transmission signal is changed, it can be received.
  • Fourier transform may be performed within a range shorter than one screen.
  • the captured screens may be connected to perform Fourier transform in a range longer than one screen.
  • the luminance value of the imaging blanking time is treated as unknown.
  • the protection portion is a signal of a specific frequency or does not change in luminance (frequency 0 Hz).
  • the time zone A as shown in FIG. 11, by sending compass of distance difference d between the light source and the reference position of each ID, it is found the exact position in cm of lighting L 4.
  • the position of the mobile phone can be determined with high accuracy.
  • transmitting the common optical signal to the time zone A and transmitting the individual optical signals to the time zone B it is possible to transmit large-capacity common information and small-capacity individual information such as ID almost simultaneously. The effect is obtained.
  • the area S 1 by camera shake is likely to deviate from the scanning range of the image sensor.
  • image stabilization as shown in FIG. 16 is important.
  • the gyro sensor built into the mobile phone can not usually detect a narrow fine rotation range such as hand movement.
  • the in-camera is turned on to detect camera shake from the in-camera image, and the scanning range or detection range can be corrected to reduce the influence of camera shake. This is because the camera shake of the face camera and the camera shake of the in-camera are the same.
  • the shutter speed of the scan area other than the light signal pattern of the face camera can be reduced to obtain a normal image from this area and shake correction can be performed from this image.
  • camera shake detection and signal detection can be performed with one camera. This has the same effect when using the in-camera shown in FIG.
  • light signal detection is performed by the face camera, and first, the position information of the terminal is obtained.
  • FIG. 18 is a diagram showing a data broadcast which is common data is received from the illumination of the ceiling in the station yard and the position of the user is obtained from the individual data.
  • the light emitting unit of the terminal of the shop is made to emit light. It can be used to receive, mutually authenticate, and improve security. Authentication may be reversed.
  • the location information obtained is transmitted to the terminal of the store via a wireless LAN or the like, and the position of the customer is displayed on the terminal of the clerk, so the customer who ordered the ordered drink The clerk can carry to the table of position information.
  • FIG. 20 among trains and aircrafts, passengers know their positions using the method of the present embodiment, and order products such as food at terminals.
  • the crew has the terminal of the present invention in the cart, and the ID number of the ordered item is displayed at the position of the ordered customer on the screen, so that the item of the ordered ID can be accurately delivered to the customer.
  • FIG. 10 is a diagram showing a case where the method or apparatus of the present embodiment is used for the backlight of a display such as a TV. Since the fluorescent light, the LED, and the organic EL can be subjected to the luminance modulation of the sluggishness, the transmission of this embodiment is possible. However, in terms of characteristics, the scanning direction is important. When used vertically as in a smartphone, scanning is performed in the horizontal direction, so a horizontally long light emitting area is provided at the bottom of the screen, and the contrast of the image such as a TV is lightened. There is.
  • the image sensor in either scanning direction can receive the signal.
  • the communication speed can be significantly increased by synchronizing the scan line reading clock of the image sensor of the camera with the light emission pattern of the light emitting unit as shown in FIG.
  • bi-directional reception can be performed without adding components in the lighting device by using this also for reception.
  • the terminal side can transmit using a strobe light for a camera, or an inexpensive infrared light emitting unit may be separately provided. In this way, bi-directional communication is realized without adding much components.
  • FIG. 21 shows an example in which the imaging elements arranged in one row are exposed at the same time, and imaging is performed while shifting the exposure start time in the order of rows.
  • an exposure line of an imaging element to be exposed simultaneously a line of pixels on an image corresponding to the imaging element is called a bright line.
  • the bright line (bright and dark lines of pixel values) along the exposure line is generated on the captured image as shown in FIG. .
  • the pattern of the bright line it is possible to estimate a change in light source luminance at a speed higher than the imaging frame rate.
  • communication at a speed higher than the imaging frame rate can be performed.
  • LO lower luminance value
  • HI high
  • Low may be a state in which the light source is not illuminated, or may be weaker than high.
  • the exposure time is set shorter than, for example, 10 milliseconds.
  • FIG. 22 shows a case where the exposure of one exposure line is completed and then the exposure of the next exposure line is started.
  • the information may be transmitted by transmitting information based on whether each exposure line receives light of a predetermined level or more.
  • the information can be transmitted at a rate of fl bits per second.
  • communication can be performed at higher speed when exposure is performed with a time difference for each pixel instead of for each line.
  • the transmission speed is at the maximum at flm bits per second.
  • the light emission time of the light emitting part is controlled by a unit time shorter than the exposure time of each exposure line. , Can transmit more information.
  • information can be transmitted at a rate of at most flElv bits per second.
  • the basic period of transmission can be recognized by causing the light emitting unit to emit light at a timing slightly shifted from the exposure timing of each exposure line.
  • FIG. 24A shows the case where the exposure of the next exposure line is started before the exposure of one exposure line is completed. That is, the exposure times of the adjacent exposure lines partially overlap in time.
  • the exposure time of the adjacent exposure lines does not have to partially overlap in time, and the partial exposure lines do not partially overlap in time. It is also possible.
  • By forming a partial exposure line so as not to have a partial temporal overlap it is possible to suppress the generation of intermediate colors due to overlapping exposure times on the imaging screen, and it is possible to detect bright lines more appropriately. .
  • the exposure time is calculated from the brightness of each exposure line, and the light emission state of the light emitting unit is recognized.
  • the light emitting unit when the brightness of each exposure line is determined by the binary value of whether the luminance is equal to or more than the threshold value, the light emitting unit does not emit light in order to recognize the non-emitting state. It must continue for more than the exposure time.
  • FIG. 24B shows the influence of the difference in exposure time when the exposure start time of each exposure line is equal.
  • 7500a is the case where the exposure end time of the previous exposure line and the exposure start time of the next exposure line are equal
  • 7500b is the case where the exposure time is longer than that.
  • FIG. 24C shows the influence of the difference in exposure start time of each exposure line when the exposure time is equal.
  • 7501a is the case where the exposure end time of the previous exposure line is equal to the exposure start time of the next exposure line
  • 7501b is the case where the exposure of the next exposure line is started earlier than the completion of the exposure of the previous exposure line.
  • By making the exposure times overlap it is possible to recognize the blinking of the light source shorter than the exposure time by using the difference in exposure amount between the adjacent exposure lines.
  • the exposure time is longer than that in the normal shooting mode. It becomes possible to dramatically improve the communication speed by using the bright line pattern generated by setting short for signal transmission.
  • the exposure time needs to be set to the exposure time ⁇ 1/8 ⁇ f. The blanking which occurs at the time of photography becomes half the size of one frame at maximum.
  • the blanking time is half or less of the photographing time
  • the actual photographing time is 1 / 2f in the shortest time.
  • at least exposure time needs to be shorter than 1 / (2f ⁇ 4) because it is necessary to receive four-value information within 1 / 2f time.
  • the normal frame rate is 60 frames / second or less
  • by setting the exposure time to 1/480 seconds or less it is possible to generate an appropriate bright line pattern in image data and perform high-speed signal transmission. Become.
  • FIG. 24D shows the advantage of short exposure times when the exposure times of the exposure lines do not overlap.
  • the exposure time is long, even if the light source has a binary luminance change like 7502a, in the picked-up image there is a middle color part like 7502e, and it tends to be difficult to recognize the luminance change of the light source There is.
  • the brightness change of the light source is provided by providing a predetermined non-exposure free time (predetermined waiting time) t D2 until the exposure start of the next exposure line after the completion of the exposure of one exposure line. It is possible to make it easy to recognize That is, it is possible to detect a more appropriate bright line pattern such as 7502 f.
  • the configuration in which the predetermined non-exposure free time is provided can be realized by making the exposure time t E smaller than the time difference t D of the exposure start time of each exposure line.
  • the exposure time is set shorter than in the normal shooting mode until a predetermined non-exposure time occurs.
  • the exposure time is set short until a predetermined non-exposure time occurs. It can be realized.
  • a predetermined idle time before exposure start of the next exposure line (predetermined Wait time) t D2 can be provided.
  • predetermined Wait time since the exposure time can be extended, it is possible to capture a bright image, and since noise is reduced, error tolerance is high.
  • the number of exposure lines that can be exposed within a certain time decreases, there is a disadvantage that the number of samples decreases as in 7502 h.
  • the estimation error of the light source luminance change can be reduced by using the former configuration when the imaging target is bright and using the latter configuration when the imaging target is dark.
  • the exposure time of the adjacent exposure lines does not have to partially overlap in time, and the partial exposure lines do not partially overlap in time. It is also possible. Moreover, it is not necessary to provide a predetermined non-exposure vacant time (predetermined waiting time) until the start of exposure of the next exposure line after the end of exposure of one exposure line in all the exposure lines, and a part of the exposure It is also possible to have a configuration in which the lines partially overlap in time. With such a configuration, it is possible to take advantage of each configuration.
  • the same readout method is used in the normal imaging mode in which imaging is performed at an ordinary frame rate (30 fps, 60 fps) and in the visible light communication mode in which imaging is performed with an exposure time of 1/480 seconds or less in which visible light communication is performed.
  • the signal may be read out by a circuit.
  • FIG. 24E shows the relationship among the minimum change time t S of light source luminance, the exposure time t E , the time difference t D of the exposure start time of each exposure line, and the captured image.
  • t E + t D ⁇ t S since one or more exposure lines are always imaged without the light source changing from the start to the end of exposure, an image with a clear luminance like 7503 d is obtained, It is easy to recognize the change in luminance of the light source.
  • 2t E > t S a bright line of a pattern different from the luminance change of the light source may be obtained, and it becomes difficult to recognize the luminance change of the light source from the captured image.
  • FIG. 24F shows the relationship between the transition time t T of the light source luminance and the time difference t D of the exposure start time of each exposure line.
  • t D is larger than the t T, exposure lines to be neutral is reduced, it is easy to estimate the light source luminance.
  • the intermediate color exposure line becomes 2 lines or less in a row, which is desirable.
  • t T is about 1 microsecond or less when the light source is an LED, and about 5 microseconds when the light source is an organic EL. By setting t D to 5 microseconds or more, estimation of the light source luminance is facilitated be able to.
  • FIG. 24G shows the relationship between the high frequency noise t HT of the light source luminance and the exposure time t E.
  • t E is larger than t HT , the effect of high frequency noise on a captured image decreases, and estimation of light source luminance becomes easier.
  • t E is an integral multiple of t HT , the influence of high frequency noise is eliminated, and estimation of the light source luminance is the easiest. It is desirable that t E > t HT for the estimation of the light source luminance.
  • the main cause of high frequency noise is derived from the switching power supply circuit, and t HT is 20 microseconds or less in many lamp switching power supplies, so t E should be 20 microseconds or more to estimate the light source luminance. It can be done easily.
  • FIG. 24H is a graph showing the relationship between the exposure time t E and the magnitude of high frequency noise when t HT is 20 microseconds.
  • t E is a value equal to the value when the noise amount takes a maximum, 15 microseconds or more, 35 microseconds or more, or It can be confirmed that the efficiency is good if it is determined as 54 microseconds or more or 74 microseconds or more. From the viewpoint of high frequency noise reduction, it is desirable that t E be large.
  • t E when the light source luminance change period is 15 to 35 microseconds, t E is 15 microseconds or more, and when the light source luminance change period is 35 to 54 microseconds, t E is 35 microsecond or more.
  • t E is 54 microseconds or more when the cycle is 54 to 74 microseconds of change, t E when the period of the change in light source luminance is 74 microseconds or more may be set as 74 microseconds or more.
  • FIG. 24I shows the relationship between the exposure time t E and the recognition success rate. Since the exposure time t E has a relative meaning with respect to the time when the luminance of the light source is constant, the horizontal axis represents a value (relative exposure time) obtained by dividing the period t S at which the light source luminance changes by the exposure time t E There is. From the graph, it can be seen that the relative exposure time should be 1.2 or less if the recognition success rate is to be approximately 100%. For example, when the transmission signal is 1 kHz, the exposure time may be about 0.83 milliseconds or less.
  • the relative exposure time should be 1.25 or less, and if the recognition success rate is 80% or more, the relative exposure time should be 1.4 or less. Recognize. In addition, since the recognition success rate decreases rapidly at relative exposure time around 1.5 and becomes almost 0% at 1.6, it is understood that relative exposure time should be set so as not to exceed 1.5 . In addition, after the recognition rate becomes 0 at 7507c, it can be seen that the recognition rate increases again at 7507d, 7507e, and 7507f. Therefore, when you want to take a bright image by extending the exposure time, etc., use an exposure time with a relative exposure time of 1.9 to 2.2, 2.4 to 2.6, or 2.8 to 3.0. Just do it. For example, these exposure times may be used as intermediate modes in FIG.
  • the luminance of the light emitting unit at that time can not be observed.
  • the transmission loss due to blanking can be prevented by the light emitting unit repeatedly transmitting the same signal twice or more or adding an error correction code.
  • the light emitting unit transmits a signal at a cycle shorter than the cycle for capturing an image or shorter than the cycle for capturing an image.
  • the light emitting unit When visible light is used as the carrier wave, the light emitting unit is caused to emit light so as to keep the moving average value of the luminance of the light emitting unit constant when the time resolution of human vision (about 5 milliseconds to 20 milliseconds) is the window width.
  • the time resolution of human vision about 5 milliseconds to 20 milliseconds
  • the light emitting unit of the transmitting device appears to emit light with uniform luminance to humans, and at the same time, the receiving device can observe the luminance change of the light emitting unit.
  • modulation method shown in FIG. 27 As a modulation method that causes the light emitting unit to emit light so as to keep the moving average value of the luminance of the light emitting unit constant when the time resolution of human vision is a window width.
  • the signal after modulation is 0, it does not emit light, and when it is 1, light is emitted, and if there is no bias in the transmission signal, the average value of the luminance of the light emitting part is about 50% of the luminance at the time of light emission.
  • modulation method shown in FIG. 28 is a modulation method for causing the light emitting portion to emit light so as to keep the moving average value of the luminance of the light emitting portion constant when the time resolution of human vision is a window width.
  • the signal after modulation is 0, it does not emit light, and when it is 1, light is emitted, and if there is no bias in the transmission signal, the average value of the luminance of the light emitting part is about 75% of the luminance at the time of light emission.
  • the encoding efficiency is equal to 0.5, but the average luminance can be increased.
  • modulation method shown in FIG. 29 As a modulation method that causes the light emitting unit to emit light so as to keep the moving average value of the luminance of the light emitting unit constant when the time resolution of human vision is a window width.
  • the signal after modulation is 0, it does not emit light, and when it is 1, light is emitted, and if there is no bias in the transmission signal, the average value of the luminance of the light emitting part is about 87.5% of the luminance at the time of light emission.
  • the coding efficiency is inferior to 0.375 as compared with the modulation scheme shown in FIGS. 27 and 28, the average luminance can be kept high.
  • modulation method shown in FIG. 30 as a modulation method for causing the light emitting unit to emit light so as to keep the moving average value of the luminance of the light emitting unit constant when the time resolution of human vision is a window width.
  • the signal after modulation When the signal after modulation is 0, it does not emit light, and when it is 1, light is emitted, and if there is no bias in the transmission signal, the average value of the luminance of the light emitting part is about 25% of the luminance at the time of light emission.
  • the light emitting unit can be made to appear to be blinking for a person or an imaging device having a long exposure time.
  • the modulation method it is possible for a human being or an imaging device having a long exposure time to make it appear that the light emitting unit emits light while performing any luminance change.
  • the light emitting unit When visible light is used as a carrier wave, the light emitting unit is caused to emit light so as to periodically change the moving average value of the luminance of the light emitting unit when the time resolution of human vision is the window width, as shown in FIG. At the same time as the human being sees that the light emitting part of the light emitting device blinks or changes at an arbitrary rhythm, the receiver can observe the light emitting signal.
  • the same effect can be obtained by emitting light from the LED section of a liquid crystal TV using an LED light source as a backlight.
  • an LED light source as a backlight.
  • optical communication with a small error rate becomes possible.
  • the communication speed can be further increased if the entire screen or the screen portion used for communication is white.
  • the moving average value of the light emitting unit brightness is adjusted to the brightness of an image to be shown to a human when the time resolution of human vision is the window width.
  • the receiver can observe the light emission signal at the same time as the human being sees a television picture as usual.
  • the moving average value of the luminance of the light emitting unit when the window width is about the time per one frame of the captured image is adjusted to the value of the signal in the case of transmitting the signal for each imaging frame.
  • the image is taken from a short distance, the light emission state of the transmitter is observed for each exposure line, and when the image is taken from a long distance, the light emission state of the transmitter is observed for each imaging frame to obtain signals at two speeds. Propagation is possible.
  • FIG. 34 is a diagram showing how light emission is observed at each exposure time.
  • the luminance of the imaged pixel is proportional to the average luminance of the imaging target during the time when the imaging device is exposed, so if the exposure time is short, the light emission pattern 2217a is observed as it is as 2217b, and if the exposure time is long, 2217c. , 2217d, and 2217e.
  • 2217a is a modulation scheme that repeatedly uses the modulation scheme shown in FIG. 28 in a fractal manner.
  • the reception device recognizes that 1 has been received if the luminance of the pixel at the estimated light emitting position is above a predetermined value or 0 if the luminance of a pixel at a predetermined light emission position is above a certain number of lines of the exposure line.
  • the transmitting apparatus may transmit different numbers when the same number continues in a fixed number.
  • a header part including 1 and 0 must be transmitted and a body part transmitting a signal may be transmitted separately. In this case, the same number does not appear in succession more than five times.
  • the image pickup device of the receiving apparatus When the light emitting unit is at a position where it does not appear in one of the exposure lines, or when blanking is present, it is not possible for the image pickup device of the receiving apparatus to capture all aspects of the light emitting unit.
  • FIG. 36 there is a method of collectively transmitting a data part and an address part indicating the position of data.
  • the length of the light emission pattern is the sum of the size of the data portion and the address portion so that the light emitting pattern is captured in one captured image by the receiving device. It is desirable to set short enough.
  • the transmitting device transmits the reference part and the data part
  • the receiving device recognizes the position of data from the difference between the time when the reference part is received and the time.
  • the transmitting apparatus transmits the reference part, the address pattern part, and the data part
  • the receiving apparatus obtains the data part of the data part and the pattern of its position from the address pattern part next to the reference part.
  • the light emission pattern of the header portion a pattern which does not appear in the address portion or the data portion is used.
  • the light emission pattern of the header portion can be set to “0011”.
  • the pattern of the header portion is "11110011"
  • the average luminance is equal to that of the other portions, and it is possible to suppress flicker when viewed by human eyes. Since this header part has high redundancy, it is possible to superimpose information here. For example, when the pattern of the header portion is “11101111”, it is possible to indicate that the content to be communicated between transmitting devices is being transmitted.
  • the light emitting pattern is a combination of the data portion, the address portion, and the header portion so that the light emitting pattern is captured in one captured image by the receiving device. It is desirable to set the length of the short enough.
  • the transmission apparatus determines the transmission order of information according to the priority.
  • the number of transmissions is made proportional to the priority.
  • the reception device can not receive signals continuously when the light emitting unit of the transmission device is not fully captured in the imaging unit of the reception device or when there is blanking, so the higher the frequency of transmission, the easier it is for reception.
  • FIG. 41 shows a pattern in which a plurality of nearby transmitters tune and transmit information.
  • the transmitting device transmits the individual information in a time zone where the light emitting unit of the nearby transmitting device emits uniform light (the signal is not transmitted) so as not to be confused with the light emission pattern of the nearby transmitting device.
  • the transmission device may learn the light emission pattern of the transmission device present nearby by determining the light emission pattern of the transmission device present nearby by receiving the light emission pattern of the transmission signal present present nearby by the light receiving unit. In addition, the transmission device may determine its own emission pattern in accordance with an instruction of another transmission device by receiving a light emission pattern of a transmission signal existing nearby by the light receiving unit. Also, the transmission device may determine the light emission pattern according to the command of the central control device.
  • Detection of light emitting part As a method of determining which part of the captured image the light emitting part is captured in, as shown in FIG. 42, the number of lines in which the light emitting part is captured is counted in the direction perpendicular to the exposure line There is a method of making the selected row the row in which the light emitting parts exist.
  • the part near the end of the light emitting part has fluctuation in the degree of light reception, and it is easy to misjudge whether the light emitting part is imaged or not. Take the signal from the result.
  • the middle point of the part obtained by capturing the light emitting part is determined for each exposure line, and an approximate line connecting straight points Or, there is a method of estimating that the light emitting part exists on the quadratic curve).
  • the estimated position of the light emitting unit in the previous frame may be a priori probability, and the estimated position of the light emitting unit may be updated from the information of the current frame.
  • the current estimated position of the light emitting unit may be updated from the value of the 9-axis sensor or the gyro sensor during this period.
  • a composite image 2212 f is obtained, and the position of the light emitting unit in the captured image can be specified.
  • the receiving device detects on / off of light emission of the light emitting unit from the position of the specified light emitting unit.
  • the probability that the light emitting portion in the composite image 2212 f is seen to emit light is 1 ⁇ It is 0.25 n .
  • this probability is approximately 0.984.
  • the attitude of the imaging unit is estimated from the sensor values of the gyro sensor and the 9-axis sensor, the direction of the imaging is compensated, and the image is synthesized more accurately.
  • the imaging time is short, and thus no adverse effect is small even if the imaging direction is not compensated.
  • FIG. 46 is a diagram illustrating a case where the reception device captures a plurality of light emitting units.
  • FIG. 47 shows a timeline of the transmission signal at this time and an image obtained by capturing the light emitting unit.
  • the light emitting units 2216a, 2216c, and 2216e emit light uniformly, and the light emitting units 2216b, 2216d, and 2216f transmit signals according to light emission patterns. Note that the light emitting units 2216 b, 2216 d, and 2216 f may simply emit light so as to appear as a striped pattern if the receiving device captures an image for each exposure line.
  • the light emitting units 2216 a to 2216 f may be the light emitting units of the same transmission device or different transmission devices.
  • the transmitting device expresses the signal to be transmitted by the position pattern (position pattern) of the light emitting unit transmitting the signal and the position of the light emitting unit not transmitting.
  • the transmitting device may transmit a signal according to a position pattern in a part of time zone and may transmit a signal in a light emission pattern in another time zone. For example, in some time zones, it is possible to tune all the light emitting units and transmit the ID and position information of the transmission device in the light emission pattern.
  • the receiving device is the ID and position information of the transmitting device transmitted by the transmitting device by the light emission pattern, the estimated position of the receiving device by the wireless base station, and the positional information of the receiving device estimated by GPS, gyro sensor or 9-axis sensor
  • the server obtains a list of position patterns present in the vicinity, and analyzes the position pattern based on the list.
  • the signal represented by the position pattern does not need to be unique all over the world, and it is preferable that the same position pattern does not exist near (a few meters to 300 meters in radius), and the transmitter has few light emitting parts. Can solve the problem that the number of position patterns that can be expressed is small.
  • the size, shape, and position information of the light emitting unit can be acquired from the server, and the position of the receiving apparatus can be estimated from the information, the size and shape of the captured position pattern, and the lens characteristics of the imaging unit.
  • a mobile phone As a communication device mainly performing reception, as shown in FIG. 49, a mobile phone, a digital still camera, a digital video camera, a head mounted display, a robot (for cleaning, care, industrial, etc.), a surveillance camera, etc. can be considered. .
  • the receiving device is not limited to these.
  • the receiving device is a communication device that mainly receives a signal, and may transmit a signal according to the scheme of this embodiment or another scheme.
  • sending device As a communication device that mainly performs transmission, as shown in FIG. 50, lighting (for home, store, office, underground mall, street, etc.), flashlight, home appliance, robot, and other electronic devices can be considered. However, the transmitter is not limited to these.
  • the transmission device is a communication device that mainly transmits a signal, and may receive a signal according to the method of this embodiment or another method.
  • the light emitting unit has high speed switching of light emission / non-light emission, such as LED lighting, liquid crystal using LED backlight, and the like.
  • the light emitting unit is not limited to these.
  • the light emitting unit may be illuminated with a fluorescent lamp, an incandescent lamp, a mercury lamp, or an organic EL display.
  • the transmitting apparatus may include a plurality of light emitting units that emit light synchronously as shown in FIG.
  • the light emitting units may be arranged in a line.
  • the light emitting units may be arranged vertically to the exposure line.
  • the light emitting units may be arranged in a cross shape.
  • a circular light emitting unit may be used, or the light emitting unit may be arranged in a circular shape.
  • the transmission apparatus may cover the light emitting unit with a light diffusion plate as shown in FIG.
  • the light emitting units that transmit different signals are spaced apart so as not to be imaged simultaneously.
  • the light emitting units that transmit different signals have light emitting units that do not transmit signals between them so as not to be imaged simultaneously.
  • FIG. 58 is a diagram showing a desirable structure of the light emitting unit.
  • the light (electromagnetic wave) carrying the signal uses light (electromagnetic wave) in the near infrared band to visible light band to the near ultraviolet band frequency band shown in FIG. 59 which can be received by the receiving apparatus.
  • the imaging unit of the receiving apparatus detects a light emitting unit 2310 b emitting pattern light in an imaging range 2310 a.
  • the imaging control unit acquires the captured image 2310 d by repeatedly using the exposure line 2310 c at the center position of the light emitting unit instead of using another exposure line.
  • the captured image 2310d is an image of the same place with different exposure times.
  • the light emission pattern of the light emitting unit can be observed by scanning the pixel in which the light emitting unit of the captured image 2310 d is taken in the direction perpendicular to the exposure line.
  • the signal can be read even when the light emitting unit or the light emitting unit is imaged from a distance.
  • this method makes it possible to observe all changes in luminance of the light emitting unit as long as the light emitting unit is visible even in a part of the imaging apparatus.
  • the same effect can be obtained by imaging using multiple exposure lines at the center of the light emitting part.
  • imaging is performed using only a point closest to the center of the light emitting unit or only a plurality of points in the vicinity thereof. At this time, by shifting the exposure start time of each pixel, it is possible to detect the light emission state of the light emitting unit with a finer cycle.
  • sensor values such as a gyro sensor or 9-axis sensor, or to use an image captured by an imaging device other than an imaging device capturing a light emitting unit.
  • the part closer to the center of the light emitting part is preferably used as the exposure line or the exposure pixel, since the light emitting part is less likely to come off the exposure line or the exposure pixel when the camera shakes when closer to the center than the end of the light emitting part.
  • the peripheral portion of the light emitting portion be as far as possible from the periphery of the light emitting portion and have a portion with high luminance be an exposure line or an exposure pixel.
  • the transmitting device transmits the installed position information, the size of the light emitting device, the shape of the light emitting device, and the ID of the transmitting device.
  • the position information includes the latitude, longitude, altitude, height from the floor surface, and the like of the central portion of the light emitting device.
  • the receiving device estimates the imaging direction based on the information obtained from the 9-axis sensor and the gyro sensor.
  • the receiving device estimates the distance from the receiving device to the light emitting device from the size and shape of the light emitting device transmitted from the transmitting device, the size and the shape of the light emitting device in the captured image, and the information of the imaging device.
  • the information of the imaging device includes the focal length of the lens, the distortion of the lens, the size of the imaging device, the distance between the lens and the imaging device, the size in the captured image of the object of the reference size, and the imaging device A comparison table of the distance to the imaging object is included.
  • the receiving device estimates the positional information of the receiving device from the information transmitted from the transmitting device, the imaging direction, and the distance from the receiving device to the light emitting device.
  • the transmitting device transmits the installed position information, the size of the light emitting unit, the shape of the light emitting unit, and the ID of the transmitting device.
  • the position information includes the latitude, longitude, altitude, height from the floor surface, and the like of the central portion of the light emitting unit.
  • the receiving device estimates the imaging direction based on the information obtained from the 9-axis sensor and the gyro sensor.
  • the receiving device estimates the distance from the receiving device to the light emitting unit from the size and shape of the light emitting unit transmitted from the transmitting device, the size and shape of the light emitting unit in the captured image, and the information of the imaging device.
  • the information of the imaging device includes the focal length of the lens, the distortion of the lens, the size of the imaging device, the distance between the lens and the imaging device, the size in the captured image of the object of the reference size, and the imaging device A comparison table of the distance to the imaging object is included.
  • the receiving device estimates the positional information of the receiving device from the information transmitted from the transmitting device, the imaging direction, and the distance from the receiving device to the light emitting unit.
  • the receiving device estimates the moving direction and the moving distance based on the information obtained from the 9-axis sensor and the gyro sensor.
  • the receiver estimates the position information of the receiver using the position information estimated at a plurality of points and the positional relationship between the points estimated from the movement direction and the movement distance.
  • point Random field of the position information of the receiver estimated by From point to The random field of the movement direction and movement distance estimated when moving to Then the random field of the position information finally estimated is It can be calculated.
  • the transmitting device may transmit the position information of its own and the ID of the transmitting device.
  • the position information includes the latitude, longitude, altitude, height from the floor surface, and the like of the central portion of the light emitting device.
  • the receiving device estimates the imaging direction based on the information obtained from the 9-axis sensor and the gyro sensor.
  • the receiving device estimates positional information of the receiving device by a three-point survey method.
  • the transmitting device transmits the ID of the transmitting device.
  • the receiving device receives the ID of the transmitting device, and obtains the location information of the transmitting device from the Internet, the size of the light emitting device, the shape of the light emitting device, and the like.
  • the position information includes the latitude, longitude, altitude, height from the floor surface, and the like of the central portion of the light emitting device.
  • the receiving device estimates the imaging direction based on the information obtained from the 9-axis sensor and the gyro sensor.
  • the receiving device estimates the distance from the receiving device to the light emitting device from the size and shape of the light emitting device transmitted from the transmitting device, the size and the shape of the light emitting device in the captured image, and the information of the imaging device.
  • the information of the imaging device includes the focal length of the lens, the distortion of the lens, the size of the imaging device, the distance between the lens and the imaging device, the size in the captured image of the object of the reference size, and the imaging device A comparison table of the distance to the imaging object is included.
  • the receiving device estimates the position information of the receiving device from the information obtained from the Internet, the imaging direction, and the distance from the receiving device to the light emitting device.
  • the transmitting device transmits its own installed position information and the ID of the transmitting device.
  • the position information includes the latitude, longitude, altitude, height from the floor surface, and the like of the central portion of the light emitting device.
  • the receiving device estimates the imaging direction based on the information obtained from the 9-axis sensor and the gyro sensor.
  • the receiving device estimates positional information of the receiving device by a triangulation method.
  • the transmitting device transmits the position information of its own and the ID of the transmitting device.
  • the position information includes the latitude, longitude, altitude, height from the floor surface, and the like of the central portion of the light emitting device.
  • the receiving device estimates the imaging direction based on the information obtained from the 9-axis gyro sensor.
  • the receiving device estimates positional information of the receiving device by a triangulation method.
  • the receiving device estimates the posture change and movement of the receiving device from the gyro sensor or the 9-axis sensor.
  • the receiving device may simultaneously perform zero adjustment and calibration of the 9-axis sensor.
  • the reception device 2606c estimates the distance and direction of movement from changes in the captured image and sensor values of the 9-axis sensor and the gyro sensor.
  • the receiving device captures an image of the light receiving unit of the transmitting device 2606a, estimates the center position of the light emitting unit, and transmits the position to the transmitting device.
  • the transmitting device should transmit the size information of the light emitting unit even if part of the information to be transmitted is missing. desirable. If the size of the light emitting unit is not known, the height of the ceiling is estimated from the distance between the transmitter 2606b and the receiver 2606c used for position estimation by the receiver, and the transmitter 2606a is used by using the result. And the distance between the receiver 2606c and the receiver 2606c.
  • the transmission may be transmission by a light emission pattern, transmission by a sound pattern, or a transmission method by a radio wave.
  • the light emission pattern of the transmission device and its time may be stored, and may be transmitted to the transmission device or the central control device later.
  • the transmitting device or the central control device specifies the transmitting device that the receiving device was imaging from the light emission pattern and its time, and stores the position information in the transmitting device.
  • the receiving device calculates the positional relationship from the position set point to the center of the light emitting unit of the transmitting device, and transmits the position obtained by adding the positional relationship to the position to be set to the transmitting device.
  • the reception device receives the transmitted signal by imaging the transmission device. It communicates with a server or an electronic device based on the received signal.
  • the receiving device acquires information of the transmitting device, the position / size of the transmitting device, service information related to the position, and the like from the server using the ID of the transmitting device included in the signal as a key.
  • the receiving device estimates the position of the receiving device from the position of the transmitting device included in the signal, and acquires map information, service information related to the position, and the like from the server.
  • the receiving device acquires the modulation scheme of the nearby transmitting device from the server using the current rough position as a key.
  • the receiving device may use the ID of the transmitting device included in the signal as a key to the server, position information of the receiving device or the transmitting device, nearby information, and information of processing performed by the receiving device in the vicinity. Register on
  • the receiving device operates the electronic device using the ID of the transmitting device included in the signal as a key.
  • FIG. 69 is a block diagram showing a receiving apparatus.
  • the receiving apparatus is configured by the whole or a part including an imaging unit and a signal analysis unit. Note that blocks having the same name in FIG. 69 may be the same as or different from each other.
  • the receiver in a narrow sense is included in a smartphone, a digital camera, or the like.
  • the input unit 2400 h includes all or part of the user operation input unit 2400 i, the illuminance sensor 2400 j, the microphone 2400 k, the timing unit 2400 n, the position estimation unit 2400 m, and the communication unit 2400 p.
  • the imaging unit 2400a includes all or part of the lens 2400b, the imaging device 2400c, the focus control unit 2400d, the imaging control unit 2400e, the signal detection unit 2400f, and the imaging information storage unit 2400g.
  • the imaging unit 2400a may be operated by the user, a change in illuminance, a sound or voice pattern, that a specific time has come, that the receiving apparatus has moved to a specific location, or the communication unit.
  • the imaging device is started to start imaging.
  • the focus control unit 2400d performs control such as focusing on the light emitting unit 2400ae of the transmission apparatus or focusing so that the light emitting unit 2400ae of the transmission apparatus may be largely projected.
  • the exposure control unit 2400ak sets an exposure time and an exposure gain.
  • the imaging control unit 2400e limits the position to be imaged to a specific pixel.
  • the signal detection unit 2400 f detects, from the captured image, pixels in which the light emitting unit 2400 ae of the transmission device is included and pixels in which signal transmission by light emission is included.
  • the imaging information storage unit 2400g stores control information of the focus control unit 2400d, control information of the imaging control unit 2400e, and information detected by the signal detection unit 2400f. When there are a plurality of imaging devices, imaging may be performed simultaneously, and one may be used to estimate the position and orientation of the receiving device.
  • the light emission control unit 2400 ad transmits a signal by controlling the light emission pattern of the light emitting unit 2400 ae based on an input from the input unit 2400 h.
  • the light emission control unit 2400 ad acquires the time when the light emitting unit 2400 ae emits light from the time measuring unit 2400 ac and records the time.
  • the captured image storage unit 2400 w stores the image captured by the imaging unit 2400 a.
  • the signal analysis unit 2400y Get the transmitted signal.
  • the received signal storage unit 2400 z stores the signal analyzed by the signal analysis unit 2400 y.
  • the sensor unit 2400 q includes all or part of the GPS 2400 r, the magnetic sensor 2400 t, the acceleration sensor 2400 s, and the gyro sensor 2400 u.
  • Each of the magnetic sensor 2400t and the acceleration sensor 2400s may be a nine-axis sensor.
  • the position estimation unit estimates the position and orientation of the receiving device from the information from the sensor unit, the captured image, and the received signal.
  • Arithmetic unit 2400 aa displays on the display unit 2400 ab the received signal, the estimated position of the receiver, and information obtained from the network 2400 ah based on these (information related to a map or a place, information related to a transmitter, etc.)
  • the arithmetic unit 2400 aa controls the transmission device based on the received signal and the information input to the input unit 2400 h from the estimated position of the reception device.
  • the terminals communicate with each other without passing through the network 2400ah.
  • a peer-to-peer connection method blue or the like
  • the electronic device 2400 aj is controlled by the receiving device.
  • the server 2400 ai stores the information of the transmission device, the position of the transmission device, and the information related to the position of the transmission device in association with the ID of the transmission device.
  • the server 2400 ai stores the modulation scheme of the transmission device in association with the position.
  • FIG. 70 is a block diagram of a transmitter.
  • the transmission apparatus is configured by the whole of the configuration diagram or a part including the light emitting unit, the transmission signal storage unit, the modulation scheme storage unit, and the operation unit.
  • the transmitter 2401ab in a narrow sense is provided in a light, an electronic device, or a robot.
  • the lighting control switch 2401 n is a switch that switches on and off of lighting.
  • the light diffusion plate 2401p is a member attached near the light emitting unit 2401q in order to diffuse light of the light emitting unit 2401q.
  • the light emitting unit 2401 q performs lighting and extinguishing at a speed at which a light emission pattern is detected for each line, using the difference in exposure time for each line of the imaging device of the receiving device in FIG.
  • the light emitting unit 2401 q is configured by a light source such as an LED or a fluorescent lamp that can be turned on and off at high speed.
  • the light emission control unit 2401 r controls lighting and extinguishing of the light emitting unit 2401 q.
  • the light receiving unit 2401 s is configured of a light receiving element or an imaging element.
  • the light receiving unit 2401 s converts the intensity of the received light into an electric signal.
  • an imaging unit may be used instead of the light receiving unit 2401s.
  • the signal analysis unit 2401 t acquires a signal from the pattern of light received by the light receiving unit 2401 s.
  • the operation unit 2401 u converts the transmission signal stored in the transmission signal storage unit 2401 d into a light emission pattern according to the modulation scheme stored in the modulation scheme storage unit 2401 e.
  • the arithmetic unit 2401 u controls communication by editing information in the storage unit 2401 a or controlling the light emission control unit 2401 r based on the signal obtained from the signal analysis unit 2401 t.
  • the calculation unit 2401 u controls communication by editing information in the storage unit 2401 a or controlling the light emission control unit 2401 r based on a signal from the attachment unit 2401 w.
  • the calculation unit 2401 u controls the light emission control unit 2401 r such as editing information in the storage unit 2401 a based on a signal from the communication unit 2401 v.
  • calculation unit 2401 u edits the information of the storage unit 2401 b of the attachment device 2401 h.
  • the calculation unit 2401 u copies the information of the storage unit 2401 b of the attachment device 2401 h to the storage unit 2401 a.
  • the arithmetic unit 2401 u controls the light emission control unit 2401 r at a predetermined time.
  • the arithmetic unit 2401 u controls the electronic device 2401 zz via the network 2401 aa.
  • the storage unit 2401a includes all or part of a transmission signal storage unit 2401d, a shape storage unit 2401f, a modulation scheme storage unit 2401e, and a device state storage unit 2401g.
  • the transmission signal storage unit 2401 d stores a signal to be transmitted from the light emitting unit 2401 q.
  • the modulation scheme storage unit 2401 e stores a modulation scheme for converting a transmission signal into a light emission pattern.
  • the shape storage unit 2401 f stores the shapes of the transmission device and the light emitting unit 2401 q.
  • the device state storage unit 2401 g stores the state of the transmission device.
  • the mounting portion 2401 w is configured of a mounting bracket or a power supply port.
  • the storage unit 2401 b of the attachment device 2401 h stores information to be stored in the storage unit 2401 a.
  • the storage unit 2401a is not provided, and the storage unit 2401b of the attachment device 2401h or the storage unit 2401c of the central control device 2401m may be used.
  • the terminals communicate with each other without passing through the network 2401 aa.
  • a peer-to-peer connection method blue or the like
  • the server 2401 y stores the information of the transmission device, the position of the transmission device, and the information related to the position of the transmission device in association with the ID of the transmission device. In addition, the server 2401 y stores the modulation scheme of the transmission device in association with the position.
  • step 2800a it is checked if there are multiple imaging devices in the receiving device. In the case of No, the processing proceeds to step 2800 b, the imaging device to be used is selected, and the processing proceeds to step 2800 c. On the other hand, in the case of Yes, the process proceeds to step 2800c.
  • step 2800d the exposure gain is set.
  • step 2800 e imaging is performed.
  • step 2800 f for each exposure line, a portion in which a predetermined number or more of pixels having a luminance exceeding a predetermined threshold continue is determined, and the center position of the portion is determined.
  • step 2800 g a linear or quadratic approximate line connecting the above center positions is calculated.
  • step 2800h the luminance value of the pixel on the approximation line of each exposure line is set as the signal value of each exposure line.
  • the assigned time per exposure line is calculated from imaging information configured by imaging frame rate, resolution, blanking time, and the like.
  • step 2800j if the blanking time is less than a predetermined time, it is considered that the exposure line following the last exposure line of a certain imaging frame is the first exposure line of the next frame. Otherwise, between the last exposure line of one imaging frame and the first exposure line of the next frame, the number of unobservable exposure lines obtained by dividing the blanking time by the charge time per one exposure line It considers it to exist.
  • step 2800k the reference position pattern and the address pattern are read from the decode information.
  • step 2800 m a pattern indicating the reference position of the signal is detected from the signal value of each exposure line.
  • step 2800 n the data part and the address part are calculated based on the detected reference position.
  • step 2800p a transmission signal is obtained.
  • step 2801a the probability map of the position recognized as the current position of the receiving apparatus or the probability map of the current position is used as prior information of the self position.
  • step 2801 b the imaging unit of the receiving apparatus is directed to the light emitting unit of the transmitting apparatus.
  • step 2801c the azimuth and elevation angle to which the imaging device is directed are calculated from the sensor values of the 9-axis sensor and the gyro sensor.
  • step 2801 d the light emission pattern is imaged to obtain a transmission signal.
  • step 2801e the distance between the imaging device and the light emitting portion is calculated from the information on the size and shape of the light emitting portion included in the transmission signal, the size of the light emitting portion captured, and the imaging magnification of the imaging device. Do.
  • step 2801 f the relative angle between the direction from the imaging unit to the light emitting unit and the normal to the imaging surface is calculated from the position of the light emitting unit in the captured image and the lens characteristics.
  • step 2801 g the relative positional relationship between the imaging device and the light emitting unit is calculated from the numerical values calculated so far.
  • the position of the receiving device is calculated from the position of the light emitting unit included in the transmission signal and the relative positional relationship between the imaging device and the light emitting unit.
  • the position of the reception device can be calculated with high accuracy by calculating the coordinates of the imaging device from the signal included in each transmission device.
  • a triangulation method can be used.
  • step 2801i the probability map of the current position or the current position of the receiving device is updated from the advance information of the self position and the calculation result of the position of the receiving device.
  • step 2801 j the imaging apparatus is moved.
  • step 2801k the direction and distance of movement are calculated from the sensor values of the 9-axis sensor and the gyro sensor.
  • step 2801 m the direction and distance of movement are calculated from the captured image and the attitude of the imaging device, and the process returns to step 2801 a.
  • step 2802a the user presses a button.
  • step 2802b the light emitting unit is made to emit light.
  • the signal may be represented by a light emission pattern.
  • step 2802c the light emission start time, the end time, and the time when a specific pattern is transmitted are recorded.
  • step 2802 d an image is captured by the imaging device.
  • step 2802e the light emission pattern of the transmission device present in the captured image is imaged, and the transmitted signal is acquired. Note that the light emission pattern may be analyzed synchronously using the recorded time. And it ends.
  • the light receiving device receives light or the image pickup device picks up an image.
  • step 2803b it is checked whether it is a specific pattern.
  • step 2803a the process returns to step 2803a.
  • step 2803c the start time at which the reception pattern is received or imaged, the end time, and the time at which the specific pattern appears are recorded.
  • step 2803d the transmission signal is read from the storage unit and converted into a light emission pattern.
  • step 2803e the light emitting unit is caused to emit light according to the light emission pattern, and the process is ended.
  • the light may be emitted after a predetermined time has elapsed from the recorded time, and the process may end.
  • step 2804a light is received by the light receiving device, and the received light energy is converted into electricity and stored.
  • step 2804 b it is checked whether the stored energy has reached a predetermined level or more.
  • step 2804a the process returns to step 2804a.
  • step 2804c the received light is analyzed, and the time when the specific pattern appears is recorded.
  • step 2804 d the transmission signal is read from the storage unit and converted into a light emission pattern.
  • step 2804 e the light emitting unit is caused to emit light according to the light emission pattern, and the process ends.
  • the light may be emitted after a predetermined time has elapsed from the recorded time, and the process may end.
  • FIG. 76 is a diagram for explaining the situation in which information provision is received in the station yard.
  • the reception device 2700a captures the illumination installed in the station facility and reads the light emission pattern and the position pattern to receive the information transmitted by the illumination device.
  • the receiving device 2700a acquires information on illumination and facilities from the server based on the received information, and further estimates the current position of the receiving device 2700a from the size and shape of the captured illumination.
  • the receiving device 2700a displays information obtained based on the facility ID and the position information (2700b).
  • the receiving device 2700a downloads the map of the facility based on the facility ID, and navigates to the boarding place from the ticket information purchased by the user (2700c).
  • FIG. 76 shows an example at a railway station, the same applies to facilities such as an airport, a port and a bus stop.
  • FIG. 77 is a diagram showing a state of use in a vehicle.
  • the reception device 2704a possessed by the passenger and the reception device 2704b possessed by the salesperson receive the signal transmitted by the illumination 2704e, and estimate their own current position.
  • Each receiving device may acquire information necessary for self-position estimation from the illumination 2704e, or may acquire information transmitted from the illumination 2704e from the server using a key, or the boarding station or ticket gate It may be acquired in advance based on position information and the like.
  • the receiving device 2704a may recognize that the current position is within the vehicle from the boarding time information of the ticket purchased by the user (passenger) and the current time, and may download the information associated with the vehicle. .
  • Each receiver notifies the server of its current position.
  • the reception device 2704a notifies the server of the user (passenger) ID, the ID of the reception device, and the information of the ticket purchased by the user (passenger), so that the server allows the person sitting in the seat to get in Confirm that you are the person with the reserved seat right.
  • the reception device 2704a displays the current position of the salesperson, so that the user (passenger) can consider the purchase timing of in-vehicle sales.
  • the reception device 2704a When the passenger places an order for in-vehicle sales via the reception device 2704a, the reception device 2704a notifies the salesperson's reception device 2704b or the server of the position, the order content, and the charging information of itself.
  • the sales clerk reception device 2704 b displays a map _ 2704 d indicating the position of the orderer.
  • the passenger can also purchase a designated seat ticket and a connecting ticket via the reception device 2704a.
  • the receiver 2704a displays the vacant seat information 2704c.
  • the reception device 2704a notifies the server of purchase information and charge information of the designated seat ticket and the connecting ticket from the boarding section information of the ticket purchased by the user (passenger) and the current position of the user.
  • FIG. 77 shows an example in a railway, the same applies to airplanes, ships, and vehicles such as bus stops.
  • FIG. 78 is a diagram showing a state of use in a store.
  • the reception devices 2707b, 2707c, and 2707d receive the signal transmitted by the illumination 2707a, estimate their own current position, and notify the server.
  • Each receiving device may acquire the information necessary for self-position estimation and the address of the server from the illumination 2707a, or may acquire the information transmitted from the illumination 2707a from another server using a key. , May be obtained from the accounting system.
  • the accounting system associates the accounting information with the receiving device 2707d, displays the current position of the receiving device 2707d (2707c), and delivers the ordered item.
  • the receiving device 2707 b displays the product information based on the information transmitted from the illumination 2707 a.
  • the receiving device 2707b notifies the server of the product information, the charging information, and the current position.
  • the seller can deliver the ordered product based on the position information of the reception device 2707b, and the purchaser can purchase the product while sitting at a seat.
  • FIG. 79 is a diagram showing a state in which a certificate of wireless connection is communicated and wireless connection is established.
  • the electronic device (digital camera) 2701 b operates as an access point for wireless connection, and transmits an ID and a password as light emission patterns as information necessary for the connection.
  • the electronic device (smartphone) 2701a acquires transmission information from the light emission pattern, and establishes a wireless connection.
  • connection to be established may be a wired connection network.
  • Communication between the two electronic devices may be performed via the third electronic device.
  • FIG. 80 is a diagram showing the range of communication based on the light emission pattern and the position pattern.
  • the radio waves In the communication method using radio waves, the radio waves reach the next room separated by the wall, and it is difficult to limit the communication range.
  • FIG. 81 is a diagram showing a state of indoor use in an underground mall or the like.
  • the receiver 2706a receives the signal transmitted by the light 2706b, and estimates its current position. In addition, the reception device 2706a displays the current position on the map to perform route guidance, and displays information on nearby stores.
  • the communication In an emergency, by transmitting disaster information and evacuation information from the lighting 2706b, the communication is congested, the communication base station fails, or the radio wave from the communication base station does not reach. You can also get these information. This is effective for hearing-impaired persons who can not listen to the emergency broadcast or can not listen to the emergency broadcast.
  • FIG. 82 is a diagram showing a state of outdoor use such as a street.
  • the receiving device 2705a receives the signal transmitted by the streetlight 2705b, and estimates its own current position. In addition, the reception device 2705a displays the current position on a map to perform route guidance, and displays information on nearby stores.
  • displaying movements of other vehicles or pedestrians on a map or notifying a user that there are vehicles or pedestrians approaching can help prevent an accident.
  • FIG. 83 is a diagram showing a state of direction indication.
  • the reception device 2703e can download a map in the vicinity, or estimate its own position with an accuracy of 1 cm to several tens of cm.
  • Knowing the exact position of the reception device 2703e enables automatic driving of the wheelchair 2703d and safe passage of blind people.
  • the receiving device in FIG. 84 includes an in-camera 2710 a, a touch panel 2710 b, a button 2710 c, an out-camera 2710 d, and a flash 2710 e.
  • the camera shake can be corrected by estimating the movement and posture of the reception device from the image taken by the in-camera.
  • the in-camera By receiving signals from other transmitting devices by the in-camera, it is possible to simultaneously receive signals from a plurality of devices or to improve the accuracy of self-position estimation of the receiving device.
  • the transmitting device 1 receives light emission of the light emitting unit of the transmitting device 2 by the light receiving unit, and acquires the signal transmitted by the transmitting device 2 and the timing of transmission.
  • the light emission is performed in the same pattern in synchronization with the light emission of the transmission device 2 to transmit the signal.
  • the common part with the transmission signal of the transmission device 2 is synchronized with the light emission of the transmission device 2 and emits light with the same pattern .
  • the part which is not common transmits at the time when the transmitter 2 is not transmitting a signal. If there is no time when the transmitter 2 does not transmit a signal, the cycle is appropriately determined, and the non-common part is transmitted according to the cycle. In this case, the transmitter 2 receives the light emission of the transmitter 1 by the light receiving unit, detects that different signals are transmitted at the same time, and is not common at the time when the transmitter 1 does not transmit a signal Send part of the signal.
  • CSMA / CD Carrier Sense Multiple Access with Collision Detection
  • the transmission device 1 causes the light emitting unit to emit light using its own information as a light emission pattern.
  • the transmitting device 2 acquires the information of the transmitting device 1 from the light receiving unit.
  • a transmitting device creates an arrangement map of transmitting devices by exchanging information with each other by communicable transmitting devices.
  • the transmission device obtains an optimum light emission pattern as a whole so that signal transmission by light emission does not collide.
  • the transmission device acquires information obtained by another transmission device by communication between the transmission devices.
  • the transmission device transmits the information stored in the storage unit of the attachment device when the transmission device is attached to the attachment device or when the information stored in the storage unit of the attachment device is changed. Store in the storage unit of the device.
  • the information stored in the storage unit of the attachment device or the transmission device includes the transmission signal and the timing of transmission.
  • the transmission device stores the information in the storage unit of the attachment device.
  • Information in the storage unit of the attachment device and the storage unit of the transmission device is edited from the central control unit and the switchboard. Power line communication is used for operation from the switchboard.
  • the shape storage unit of the transmission device stores the positional relationship between the attachment portion of the transmission device and the center position of the light emission unit.
  • the transmitting device When transmitting the position information, transmits the position information obtained by adding this positional relationship to the position information stored in the storage unit.
  • Information is stored in the storage unit of the mounting device at the time of construction of a building or the like.
  • the exact position is stored by using a design drawing of a building or CAD data.
  • the position can be confirmed, and can be used for automation of construction, confirmation of the use position of materials, and the like.
  • the attachment device notifies the central control device of the information of the transmission device.
  • the mounting device notifies the central control device that a device other than the transmitting device has been mounted.
  • the light receiving unit receives light
  • the signal analysis unit acquires information from the light pattern
  • the information is stored in the storage unit.
  • the transmission device converts the information stored in the storage unit into a light emission pattern and causes the light emission unit to emit light.
  • the transmission device stores the signal received by the communication unit in the storage unit.
  • the transmission device converts the information stored in the storage unit into a light emission pattern and causes the light emission unit to emit light.
  • the transmission device converts an appropriate signal into a light emission pattern and causes the light emission unit to emit light.
  • the receiving device acquires a signal transmitted by the transmitting device from the imaging unit, and transmits the signal and information to be stored in the transmitting device to the transmitting device or the central control device via the communication unit.
  • the transmitting device or the central control device stores the transmitted information in the storage unit of the transmitting device that has transmitted the same signal as the signal acquired from the imaging unit from the receiving device.
  • the receiving device transmits the time at which the signal transmitted by the transmitting device is captured, and the transmitting device and the central control device use the time to specify the transmitting device imaged by the receiving device. good.
  • the communication unit of the receiving device may be a light emitting unit
  • the communication unit of the transmitting device may be a light receiving unit or an imaging unit, and information may be transmitted from the receiving device to the transmitting device using a light emission pattern.
  • the communication unit of the receiving device may be a sound generation unit
  • the communication unit of the transmitting device may be a sound collecting unit
  • information may be transmitted from the receiving device to the transmitting device using an audio pattern.
  • FIG. 89 is a diagram showing a case where it is used in combination with a two-dimensional barcode.
  • the user causes the communication device 2714a to be opposite to the communication device 2714d.
  • the communication device 2714a causes the display to display the transmission information as a two-dimensional barcode 2714c.
  • the communication device 2714 d reads the two-dimensional barcode 2714 c with the two-dimensional barcode reader 2714 f.
  • the communication device 2714 d expresses transmission information as a light emission pattern of the light emitting unit 2714 e.
  • the communication device 2714a captures an image of the light emitting unit with the imaging unit 2714b and reads a signal. This method enables direct communication in both directions, and when the amount of data to be transmitted is small, communication can be performed at higher speed than communication via a server.
  • FIG. 90 is a figure which shows a mode of map preparation and its utilization.
  • the robot 2715a performs self-position estimation based on the light 2715d and the signal transmitted from the electronic device 2715c, thereby creating a map of the room_2715f, and provides map information, position information, and the ID of the light 2715d and the electronic device 2715c as a server. 2715e is stored.
  • the reception device 2715b creates a map _ 2715f of a room from the signal transmitted by the illumination 2715d or the electronic device 2715c, the picked up image during movement, or the sensor value of the gyro sensor or 9 axis sensor, and the map information and position information And the ID of the lighting 2715 d and the electronic device 2715 c are stored in the server 2715 e.
  • the robot 2715a performs cleaning and layout efficiently based on the map 2715f acquired from the server 2715e.
  • the receiving device 2715b instructs the robot 2715a on a cleaning place or a moving place based on the map 2715f acquired from the server 2715e, or operates an electronic device in the direction in which the receiving device is directed.
  • FIG. 91 is a diagram showing the state acquisition and operation of the electronic device.
  • the communication device 2716a converts the control information into a light emission pattern, and causes the light emitting unit to emit light toward the light receiving unit 2716d of the electronic device 2716b.
  • the electronic device 2716b reads the control information from the light emission pattern, and operates according to the control information.
  • the electronic device 2716b converts information indicating the state of the electronic device into a light emission pattern, and causes the light emitting unit 2716c to emit light.
  • the electronic device 2716b converts the information into a light emission pattern, and causes the light emitting unit 2716c to emit light.
  • the communication device 2716a captures an image of the light emitting unit 2716c, and obtains the transmitted signal.
  • FIG. 92 is a diagram showing how an electronic device being imaged is recognized.
  • the communication device 2717a has a communication path to the electronic device 2717b and the electronic device 2717e, and transmits an ID display instruction to each electronic device.
  • the electronic device 2717b receives the ID display command, and transmits the ID signal in the light emission pattern of the light emitting unit 2717c.
  • the electronic device 2717e receives the ID display command, and transmits an ID signal in a position pattern using the light emitting units 2717f, 2717g, 2717h, and 2717i.
  • the ID signal transmitted by each electronic device may be an ID held by the electronic device, or may be content instructed by the communication device 2717a.
  • the communication device 2717a recognizes the positional relationship between the electronic device being imaged and the electronic device and the receiving device from the light emission pattern and the position pattern of the light emitting unit present in the captured image.
  • the electronic device include three or more light emitting units.
  • FIG. 93 is a view showing how an augmented reality object is displayed.
  • the stage 2718e for displaying the augmented reality transmits information of the augmented reality object and a reference position for displaying the augmented reality object in the light emission patterns and position patterns of the light emitting units 2718a, 2718b, 2718c, and 2718d.
  • the receiving device superimposes the augmented reality object 2718f on the captured image and displays it based on the received information.
  • the center of the imaging range is directed to the light emitting unit as shown in FIG. 94 in order to direct the center of the imaging range toward the light emitting unit. Display to prompt the user.
  • the center of the imaging range is directed to the light emitting unit as shown in FIG. 95 in order to direct the center of the imaging range toward the light emitting unit. Display to prompt the user.
  • the position of the light emitting unit can be estimated from information of the previous imaging result or the 9-axis sensor, gyro sensor, microphone or position sensor attached to the imaging terminal. As shown in FIG. 96, the display for prompting the user to direct the center of the imaging range toward the light emitting unit is performed.
  • the size of the graphic to be displayed is adjusted according to the distance over which the imaging range is desired to be moved, as shown in FIG.
  • the user When the light emitting unit is out of the center of the imaging range and the size of the image is not sufficient, the user is urged to direct the center of the imaging range toward the light emitting unit as shown in FIG. And a display prompting the user to take images closer to the light emitting unit.
  • the center of the imaging range Is displayed to prompt the user to turn the light toward the light emitting unit and to prompt the user to rotate the imaging range.
  • a display which urges the user to approach and capture an image, and prompts the user to rotate the imaging range.
  • the light emitting unit is out of the center of the imaging range, and the size of the image of the light emitting unit is not sufficient, and it is easy to receive the signal of the light emitting unit by changing the angle between the light emitting unit and the imaging range
  • the user is urged to direct the center of the imaging range toward the light emitting unit, and the user is urged to take images closer to the light emitting unit, and the imaging range is rotated. Display a message prompting the user to
  • an indication indicating that a signal is being received and an amount of information of the received signal are displayed.
  • the progress bar displays the percentage of the signal that has been completely received and the amount of information.
  • the progress bar displays the ratio of the signal that has been received, the location of reception, and the amount of information of the received signal.
  • the light emitting unit When the light emitting unit is detected, as shown in FIG. 108, for example, the light emitting unit is blinked to indicate that the object is the light emitting unit.
  • the light emitting unit is blinked to indicate that the signal is received from the light emitting unit.
  • the user when a plurality of light emitting units are detected, the user causes the user to designate a transmitting device that receives a signal or performs an operation by causing the user to tap one of the light emitting units.
  • Embodiment 4 (Application to ITS)
  • ITS Intelligent Transport Systems: Intelligent Transportation System
  • high-speed communication of visible light communication is realized, and adaptation to the ITS field is possible.
  • FIG. 111 is a diagram for explaining communication between a traffic system equipped with a visible light communication function and vehicles and pedestrians.
  • the traffic light 6003 is equipped with the visible light communication function of the present embodiment, and can communicate with the vehicle 6001 and the pedestrian 6002.
  • Information transmission from the vehicle 6001 and the pedestrian 6002 to the traffic light 6003 is performed by a headlight or a flash light emitting unit of a portable terminal held by the pedestrian.
  • Information transmission from the traffic light 6003 to the vehicle 6001 and the pedestrian 6002 is performed by lighting a signal with a camera sensor of the traffic light 6003 or a camera sensor of the vehicle 6001.
  • the traffic light 6003 provides road traffic information to the vehicle 6001.
  • the road traffic information is information that assists driving such as traffic congestion information, accident information, and information on the peripheral service area.
  • the traffic light 6003 is equipped with the LED lighting, communication with this LED lighting makes it possible to provide information to the vehicle 6001 without mounting a new device.
  • the vehicle 6001 since the vehicle 6001 generally travels at high speed, the amount of data that can be transmitted is small with the conventional visible light communication technology, but since the communication speed is improved according to the present embodiment, data that can be transmitted to the vehicle It has the effect of increasing the size.
  • the traffic light 6003 and the lighting 6004 different information can be provided for each signal and lighting. This makes it possible to transmit information according to the position of the vehicle, such as transmitting information only to the vehicle traveling on the right turn lane, for example.
  • the illumination distributing the current position information it is possible to provide position information to the vehicle 6001 and the pedestrian 6002 by the illumination distributing the current position information.
  • Facilities that have roofs on the roof such as shopping streets and tunnels, may have difficulty acquiring position information using GPS, but if visible light communication is used, it is possible to acquire position information even in such situations. There is a merit that there is.
  • the communication speed can be further increased as compared with the conventional case, so that information can be received while passing a specific spot such as a store or an intersection.
  • the present embodiment is intended to speed up visible light communication, so that it can be applied to all other ITS systems using visible light communication.
  • FIG. 112 is a schematic view of the case where the present invention is applied to inter-vehicle communication in which vehicles communicate with each other using visible light communication.
  • the vehicle 6001 transmits information to the rear vehicle 6001a through a brake lamp and other LED lighting. It is also possible to transmit data to the opposing vehicle 6001b through headlights or other lights that illuminate the front.
  • the communication speed of visible light communication has been improved by the present invention, there is an advantage that information can be transmitted while passing an oncoming vehicle.
  • the information transmission interval is shortened also for the rear vehicles, it becomes possible to transmit information to many vehicles in a shorter period.
  • by raising the communication speed it is also possible to send voice and image information. This enables richer information to be shared between vehicles.
  • FIG. 113 is a schematic view of a position information notification system and a facility system using the visible light communication technology of the present embodiment.
  • a system will be described as a system for delivering a patient's medical chart, a transported object, medicine and the like by a robot.
  • the robot 6101 has a visible light communication function.
  • the lighting distributes location information.
  • the robot 6101 can deliver medicines and other articles to a specific hospital room by acquiring the position information of the illumination. This reduces the burden on the doctor. In addition, since the lighting does not leak to the next room, there is an effect that the robot 6101 does not mistake the room.
  • the system using visible light communication is not limited to a hospital, and can be applied to a system that distributes position information using a lighting fixture.
  • position and guidance information may be transmitted from illumination of a guidance display board, or may be used for moving a cart in an airport.
  • radio waves when transmitting information that is inside / outside a room, if location information is distributed using a wireless LAN, radio waves will leak to adjacent rooms and corridors, so radio waves do not fly outside the room It was necessary to have a function to block radio waves on the outer wall. If the radio wave is still blocked at the outer wall, there is a problem that devices that communicate with the outside such as a mobile phone can not be used.
  • position information is transmitted using visible light communication according to the present embodiment
  • communication is possible only within the reach of the illumination, so that it is easy to transmit position information of a specific room to the user, for example. is there. Also, since the outer wall usually shields light, there is an effect that no special device is required.
  • FIG. 114 illustrates a supermarket system in which a device equipped with the communication method of the present embodiment is mounted on a shopping cart in a store, and location information is acquired from illumination of a product rack or indoor illumination.
  • the cart 6201 is mounted with a visible light communication apparatus using the communication method of this embodiment.
  • the illumination 6100 distributes position information and information of its shelf by visible light communication.
  • the cart can receive the product information distributed from the lighting. Also, by receiving the position information, it is possible to know which shelf the user is in. For example, if the position information of the shelf is stored in the cart, the user simply designates the shelf to which the user wants to go or the product desired Then, it becomes possible to display on the cart where to go.
  • the cart transmits together with the cart information to the illumination using visible light communication, or transmits to the server using a wireless LAN or the like.
  • the cart is equipped with a memory, and data is collected after the store is closed, etc., thereby aggregating to the server what route the cart has passed.
  • FIG. 115 shows an application example using visible light communication according to this embodiment.
  • the mobile phone terminal 6301 transmits data to the camera 6302 using a flashlight.
  • the camera 6302 receives data transmitted from the mobile phone terminal 6301 from the light information received by the imaging unit.
  • shooting settings for the camera are set and transmitted to the camera 6302. This makes it possible to set the camera using the rich user interface of the mobile phone terminal.
  • the setting information may be transmitted from the mobile phone terminal to the camera without mounting a new communication device such as a wireless LAN. It becomes possible.
  • FIG. 116 is a schematic view of the case where the communication system of this embodiment is applied to underwater communication. Since water does not transmit radio waves, underwater divers, ships on the sea and ships in the sea can not communicate via radio. The visible light communication of this embodiment can also be used in water.
  • the visible light communication method of the present embodiment it is possible to transmit data from an object or structure that emits light.
  • the light receiving unit is directed to a building, guide information and detailed information of the building can be acquired, and thus useful information can be provided to tourists.
  • the visible light communication method of the present embodiment is applicable to communication between a lighthouse and a ship. Since communication with a larger capacity can be performed than ever before, more detailed information can be exchanged.
  • communication control can be performed in units of rooms, such as communication in only a specific room.
  • communication control can be performed in units of rooms, such as communication in only a specific room.
  • actual communication is wireless using the communication method of the present embodiment or using the communication method of the present embodiment for exchange of key information
  • the present invention is applicable to applications such as communication using LAN and the like.
  • the communication method of the present embodiment can be diverted to all communication by LED and an imaging device provided with a MOS sensor, and can be applied to, for example, a digital camera and a smartphone.
  • FIG. 117 is a diagram for describing an example of service provision to a user in the fifth embodiment.
  • FIG. 117 shows a net server 4000a, transmitters 4000b, 4000d, 4000e, receivers 4000c, 4000f, and a building 4000g.
  • Services can be provided to the user by receiving and processing signals from the plurality of transmitters 4000b, 4000d, and 4000e located inside and outside the house by the receivers 4000c and 4000f.
  • the transmitter and the receiver may process signals independently and may be able to provide a service to the user, or in response to an instruction from the network in cooperation with the net server 4000a configuring the network, their behavior or transmission Services may be provided to the user while changing the
  • the transmitter and the receiver may be mounted on a moving object such as a person or a vehicle, may be mounted on a stationary object, or may be mounted on an existing object later. Good.
  • FIG. 118 is a diagram for describing an example of service provision to a user in the fifth embodiment.
  • a transmitter 4001a and a receiver 4001b are shown.
  • the receiver 4001b receives a signal transmitted from the plurality of transmitters 4001a, and processes the information included in the signal to provide service to the user.
  • the contents included in the signal include the device ID uniquely indicating the device, location information, map, signs, tourist information, traffic information, regional services, coupons, advertisements, product descriptions, characters, music, videos, photos, voice , Menu, broadcast, emergency guide, timetable, guide, application, news, bulletin board, command to device, information identifying an individual, cash voucher, credit card, security, URL etc.
  • the user performs in advance registration processing and the like for utilizing the information contained in these signals on the net server, and the user actually sends these signals to the receiver 4001b at the place where the transmitter 4001a transmits the signal. It may be possible to receive the provision of the service by receiving the information at the time of receiving the request, or may be able to receive the provision of the service without intervention of the net server.
  • FIG. 119 is a flow chart showing a case where a receiver in this embodiment simultaneously processes a plurality of signals received from a transmitter.
  • step 4002a starts.
  • step 4002b the receiver receives signals from multiple light sources.
  • step 4002 c the area in which each light source is displayed is determined, and a signal is extracted from each light source.
  • the process is repeated based on the information included in the signal in step 4002 e until the number becomes zero in the process for the number of signals acquired in step 4002 d.
  • the process ends at step 4002 f.
  • FIG. 120 is a diagram showing an example in the case of realizing communication between devices by mutual communication in the fifth embodiment.
  • FIG. 118 shows an example of the case where communication between devices is realized by the transmitter and the plurality of transceivers 4003a having a receiver, the transceiver 4003b, and the transceiver 4003c communicating with each other.
  • the transmitter / receiver may be able to communicate only between the same devices as shown in FIG. 118, or may be able to communicate between different devices.
  • the application is distributed to a mobile phone, a smart phone, a personal computer, a game machine, etc. using communication means provided by the present embodiment, other networks, and removable storage, and those applications
  • communication means provided by the present embodiment, other networks, and removable storage, and those applications
  • LEDs, photodiodes, image sensors By providing the devices (LEDs, photodiodes, image sensors) of the devices already installed, it is possible to provide services to the user.
  • the application may be installed in the device from the beginning.
  • the present invention is applied to a public facility such as a movie theater, a concert hall, a museum, a hospital, a public hall, a school, a company, a shopping street, a department store, a government office, a food shop and the like.
  • the present invention can lower the directivity of the signal generated by the transmitter to the receiver as compared to conventional visible light communication, so that information can be simultaneously transmitted to a large number of receivers present in public facilities. Can.
  • FIG. 121 is a diagram for illustrating a service using the characteristic of directivity in the fifth embodiment.
  • FIG. 121 shows a screen 4004a, a receiver 4004b, and an illumination 4004c.
  • the transmitter uses, as a signal, light emitted from a light projected in a picture projected on a screen 4004a displaying a movie or in a facility as a signal, and includes a command for controlling the receiver 4004b.
  • the command for controlling the receiver 4004 b includes the sound emitted from the power supply or the reception, the communication function, the display of the LED, the ON / OFF of the vibration, the level adjustment, and the like.
  • the receiver can control the intensity of directivity by filtering the signal transmitted by the transmitter using the intensity of the light source or the like.
  • the directivity by setting the directivity low, it is possible to simultaneously transmit commands and information to receivers present in the facility.
  • the transmitter side may limit the amount of light source, or the receiver side may lower the sensitivity for receiving the light source or may process the amount of the received light source. You may impose restrictions.
  • the order sent from the transmitter at hand of the user Can be detected by a receiver located at a location overlooking the store, which receives the signal including the symbol “1” and which menu the user has ordered.
  • the service provider can provide a fair service to the user by setting the time axis and processing the order.
  • the transmission path between the transmitter and the receiver may use a protocol such as SSL, which is used as a standard in the Internet, to suppress interception of signals from other devices.
  • FIG. 122 is a diagram for describing another example of service provision to a user in the fifth embodiment. Specifically, FIG. 122 illustrates an example of a service in the case where the present embodiment is utilized using a camera 4005a mounted in a receiver such as a mobile phone, a smartphone, or a game machine. Here, FIG. 122 shows a camera 4005a, a light source 4005b, and contents to be superimposed 4005c.
  • Signals 4005d transmitted by the plurality of light sources 4005b are extracted from the imaging result of the camera 4005a, and information included in the signals 4005d is superimposed and displayed on the camera 4005a.
  • the content 4005c to be superimposed on the camera 4005a includes a character string, an image, a moving image, a character, an application, a URL, and the like. Note that not only the superposition with the camera but also voice, vibration and the like may be used to process the information contained in the signal.
  • FIG. 123 is a diagram illustrating an example format of a signal included in a light source emitted by a transmitter.
  • the light source characteristic 4006a, the service type 4006b, and the information 4006c related to the service are shown.
  • the information 4006c related to the service of superimposing the signal received by the receiver on the camera is obtained by filtering the information that can be acquired from the signal according to the information such as the service type 4006b included in the signal emitted by the transmitter and the distance from the camera to the light source It is a result.
  • the content to be filtered by the receiver may be in accordance with the setting of the receiver set in advance, or may be in accordance with the preference of the user set in the receiver by the user.
  • the receiver can estimate the distance to the transmitter that emits the signal and display the distance to the light source.
  • the receiver performs digital signal processing on the amount of light emitted from the transmitter captured by the camera to estimate the distance to the transmitter.
  • the amount of light of each transmitter imaged by the receiver with the camera varies depending on the position and intensity of the light source, and therefore, when the distance is estimated based on only the amount of light of the transmitter thus imaged, the distance may be significantly deviated.
  • the light source characteristic 4006 a indicating the intensity, color, type, etc. of the light source is included in the signal emitted by the transmitter.
  • the receiver can estimate the distance with high accuracy by performing digital signal processing in consideration of the characteristics of the light source included in the signal.
  • the distance is estimated by the light quantity of the light sources. If there is a transmitter whose intensity of the light source imaged by the receiver is not the same, the distance is not estimated only by the amount of light source, but combined with other distance measuring means to estimate the distance from the transmitter to the receiver.
  • the distance may be estimated using the parallax of the image captured by the two-lens lens, or the distance may be estimated using an infrared ray, a millimeter wave radar or the like.
  • the amount of movement of the receiver may be acquired by imaging or the like mounted on a 9-axis sensor or receiver, and the moved distance may be combined with triangulation to estimate the distance.
  • the receiver not only filters and displays the signal using the strength and distance of the signal generated on the transmitter side, but also adjusts the directivity of the signal received by the receiver from the transmitter. You may use as a means.
  • FIG. 124 is a diagram showing an example of the in-home environment in the present embodiment.
  • the smartphone 1105 and the like are also around the user with respect to the television 1101, the microwave oven 1106, and the air purifier 1107.
  • FIG. 125 is a diagram showing an example of communication between a home electric device and a smartphone in the present embodiment.
  • FIG. 125 shows an example of information communication, and is a diagram showing a configuration for obtaining information by acquiring information output from each device such as the television 1101 or the microwave 1106 in FIG. 124 with the smartphone 1201 owned by the user. is there.
  • each device transmits information using a blinking pattern of LEDs
  • the smartphone 1201 receives information using an imaging function by a camera or the like.
  • FIG. 126 is a diagram showing an example of a configuration of transmission-side apparatus 1301 in the present embodiment.
  • the transmission side apparatus 1301 uses information as a blinking pattern of light by detecting a change in state such as a failure inside the apparatus by sending a transmission instruction by a user pressing a button, NFC (Near Field Communication) or the like. Send. At this time, transmission is repeated for a fixed time.
  • a shortened ID may be used as long as it is between devices registered in advance.
  • authentication information required for the connection can be transmitted as a blinking pattern.
  • the transmission speed determination unit 1309 grasps the performance of the clock generation device inside the device, and slows the transmission speed when the clock generation device is inexpensive and has low accuracy, and the transmission speed when high. It is possible to perform processing to speed up. In the case where the performance of the clock generation device is poor, it is also possible to reduce an error due to accumulation of a shift of the blinking interval in long-time communication by dividing the information itself to be short.
  • FIG. 127 is a diagram showing an example of a configuration of reception side apparatus 1401 in the present embodiment.
  • the reception-side device 1401 determines an area in which light blinks can be seen from the frame image acquired by the image acquisition unit 1404. At this time, blinking may be performed by tracking an area in which high and low brightness levels are observed.
  • the blinking information acquisition unit 1406 acquires the transmitted information from the blinking pattern, and when the apparatus association such as the device ID is included in the information, the information is used to accompany the related server on the cloud Information is interrogated, or interpolation is performed using information stored in a device in a wireless communication area stored in advance or in the receiving device. As a result, it is possible to obtain an effect such as error correction due to noise when imaging a light emission pattern, or reducing the time for the user to hold the smartphone over the light emitting unit of the transmission side device in order to acquire already acquired information. .
  • FIG. 128 will be described.
  • FIG. 128 is a diagram showing a flow of processing for sending information to a reception-side device such as a smartphone by blinking of the LED of the transmission-side device in the present embodiment.
  • a transmitting device having a function of communicating with a smartphone by NFC and a light emission pattern of an LED embedded in a part of a communication mark for NFC possessed by the transmitting device.
  • step 1001a the user purchases an electric home appliance, and for the first time, the power is connected to the outlet to be in an energized state.
  • step 1001 b it is checked whether the initial setting information has been written. In the case of Yes, the process proceeds to circle 3 in the figure. On the other hand, in the case of No, the process proceeds to step 1001 c, and the mark blinks at a blink rate (eg, 1 to 2/5) that the user can easily understand.
  • a blink rate eg, 1 to 2/5
  • step 1001 d it is checked whether the user touches the smartphone with NFC communication to acquire the device information of the home appliance.
  • the process proceeds to step 1001 e where the smartphone receives the device information in the cloud server and registers it in the cloud.
  • step 1001 f the abbreviated ID associated with the account of the smartphone user is received from the cloud, transmitted to the home appliance, and the process proceeds to step 1001 g.
  • the process proceeds to step 1001 g.
  • step 1001 g it is confirmed whether there is registration by NFC. In the case of Yes, the process proceeds to step 1001j, and after blinking of blue twice, the blinking is finished in step 1001k.
  • step 1001 g the process proceeds to step 1001 h. Subsequently, in step 1001h, it is checked whether 30 seconds have passed.
  • step 1001i the process proceeds to step 1001i, and the LED part outputs device information (device model number, registration processing presence / absence with NFC, unique ID of the device) by blinking of light, and to circle 2 in FIG. move on.
  • step 1001 h the process returns to step 1001 d.
  • FIGS. 129 to 132 are diagrams showing a flow of processing of transmitting information to the reception side device by blinking of the LED of the transmission side device.
  • FIG. 129 will be described.
  • step 1002 a the user activates an application for acquiring light blink information of the smartphone.
  • step 1002b the image acquisition portion acquires the blinking of light. Then, the blinking area determination unit determines the blinking area from the time-series change of the image.
  • step 1002c the blink information acquisition unit determines the blink pattern of the blink area, and waits for preamble detection.
  • step 1002d when the preamble can be detected, information of the blinking area is acquired.
  • step 1002e when the device ID information can be acquired, the information is sent to the server on the cloud side even in the reception continuation state, and the information obtained from the cloud side by the information interpolation unit and the information on the blinking information acquisition unit Interpolate while comparing.
  • step 1002 f when all the information including the interpolated information is prepared, the smartphone or the user is notified. At this time, by displaying related sites and GUIs obtained from the cloud, rich and easy notification becomes possible, and the process proceeds to circle 4 in FIG. 130.
  • FIG. 130 will be described.
  • step 1003a when the home appliance generates a message such as a breakdown, the number of times of use notified to the user, or a room temperature, the information transmission mode is started.
  • step 1003 b the mark is blinked at 1/2 / s.
  • the LED will also start transmitting information.
  • step 1003c it is confirmed whether communication by NFC has been started. In the case of No, the process proceeds to circle 7 in FIG. In the case of Yes, the process proceeds to step 1003 d to stop the blinking of the LED.
  • step 1003e the smartphone accesses the cloud server to display related information.
  • step 1003f in the case of a failure that requires on-site response, the server side searches for a service person to support. Use home appliances, installation locations, and location information.
  • step 1003 g the service person enters the support mode by pressing the button of the home appliance in a predetermined order.
  • step 1003 h some or all of the LEDs that are simultaneously visible when the blinking of the marker is visible from the smartphone with LEDs of home appliances other than the marker blink so as to interpolate information, and the process proceeds to circle 5 in FIG.
  • FIG. 131 will be described.
  • step 1004a the serviceman presses the setting button when the performance of the owning receiving terminal can detect blinking at high speed (e.g. 1000 / s times).
  • step 1004 b the LED of the home appliance blinks in the high-speed mode and proceeds to circle 6.
  • FIG. 132 will be described.
  • step 1005a blinking continues.
  • step 1005b the user comes to obtain LED blink information on the smartphone.
  • step 1005 c the user activates an application for acquiring light blink information of the smartphone.
  • step 1005d the image acquisition portion acquires the blinking of light. Then, the blinking area determination unit determines the blinking area from the time-series change of the image.
  • step 1005e the blink information acquisition unit determines the blink pattern of the blink area, and waits for preamble detection.
  • step 1005f when the preamble can be detected, the information of the blinking area is acquired.
  • step 1005g when the device ID information can be acquired, the information is sent to the server on the cloud side even in the reception continuation state, and the information obtained from the cloud side by the information interpolation unit and the information on the blinking information acquisition unit Interpolate while comparing.
  • step 1005h when all the information including the interpolated information is prepared, the smartphone or the user is notified. At this time, by displaying related sites and GUIs obtained from the cloud, richer and easy-to-understand notification becomes possible.
  • a transmitting device such as a home appliance can transmit information to the smartphone by blinking the LED.
  • Even devices that do not have a wireless function or a communication means such as NFC can transmit information, and can also provide users with rich information in a server on the cloud via a smartphone.
  • both two-way communication for example, NFC communication
  • one-way communication for example, communication due to a change in luminance of LEDs
  • data transmission / reception is realized by two-way communication when data transmission / reception is performed by one-way communication from one device to the other device when having a function of transmitting / receiving data by a communication method It is possible to stop one-way communication. This is efficient because waste of power consumption required for one-way communication can be eliminated.
  • the information communication apparatus uses an information management unit that manages device information including its own unique ID and device status information, a light emitting element, and information as a blinking pattern of the light emitting element.
  • the optical transmission unit converts the device information into a blinking pattern of light and transmits the light when there is a change in the internal state of the device.
  • an activation history management unit for storing sensed information in the device such as its own activation state and user usage history is further provided, and the light transmission unit is registered in advance of the clock generation device to be used. Performance information may be acquired and transmission speed may be changed.
  • a second light emitting element is disposed around a first light emitting element for transmitting information by flickering of light, and the second light emitting element is the second light emitting element.
  • the information transmission by the blinking of one light emitting element is repeated a certain number of times, light may be emitted between the end and the start of the information transmission.
  • FIG. 133 and FIG. 134 are diagrams for explaining the procedure for communicating between the user and the device using visible light in the present embodiment.
  • FIG. 133 will be described.
  • step 2001a the user turns on the power.
  • step 2001b it is checked whether initial setting such as installation setting and NW setting is performed as the start-up process.
  • step 2001 f the normal operation is started, and the process ends as indicated by circle 3.
  • step 2001 c the process proceeds to step 2001 c, and notifies the user that the initial setting is necessary by “LED normal light emission” and “buzzer sound”.
  • step 2001 d device information (product number and serial number) is collected to prepare for visible light communication.
  • step 2001e the device information (product number and serial number) visible light communication is possible to the user by "LED communication light emission” "icon display on display” "buzzer sound” "light multiple LEDs” Notice.
  • FIG. 134 will be described.
  • step 2002a the proximity sensor, the illuminance sensor, and the human sensor detect the approach of the visible light receiving terminal.
  • step 2002b visible light communication is started using the sensing as a trigger.
  • step 2002c the user acquires device information at the visible light receiving terminal.
  • step 2002f sensing by the "sensitivity sensor” and sensing that the room is turned off by "cooperation with the light control device” is stopped to stop the light emission of the device information, as shown by circle 5 finish.
  • step 2002g the visible light receiving terminal notifies that the device information has been sensed to be acquired by “NFC communication” and “NW communication”, and ends the process.
  • step 2002h the disconnection of the visible light receiving terminal is detected, the device information is stopped, and the process ends. In the case of proceeding to step 2002i, with a lapse of a fixed time, the light emission of the device information is stopped and the process is ended.
  • step 2002a if not detected, the process proceeds to step 2002d, and with a lapse of a fixed time, "brighten” a notification capable of visible light communication, "make loud”, “move an icon”, etc. Enhance and notify.
  • the process returns to step 2002d.
  • the process proceeds to step 2002e, and further proceeds to step 2002i after a predetermined time has elapsed.
  • FIG. 135 is a diagram for describing a procedure until the user in the present embodiment purchases a device and performs initial setting of the device.
  • step 2003a position information of the smartphone that has received the device information is acquired by GPS (Global Positioning System).
  • GPS Global Positioning System
  • step 2003b if there is user information in the smartphone, user information such as a user name, a telephone number, and an e-mail address is collected in the terminal.
  • step 2003c if there is no user information in the smartphone, user information is collected from the peripheral device through the NW.
  • step 2003d the device information, the user information, and the position information are transmitted to the cloud server.
  • step 2003e information necessary for initial setting and activation information are collected using the device information and the position information.
  • step 2003 f linkage information such as IP, an authentication method, and available services necessary for setting for linkage with a user-registered device is collected.
  • step 2003g the device information and setting information are transmitted to the user-registered device through the NW to perform cooperation setting with the peripheral device.
  • step 2003h user setting is performed using the device information and the user information.
  • step 2003i initial setting information, activity information, and cooperation setting information are transmitted to the smartphone.
  • step 2003 j the initial setting information, the activation information, and the cooperation setting information are transmitted to the home appliance by NFC.
  • step 2003k the device is set by the initial setting information, the activation information, and the cooperation setting information.
  • FIG. 136 is a diagram for describing a service dedicated to the serviceperson in the case where the device in this embodiment fails.
  • step 2004a history information such as an operation log generated during normal operation of the device and a user operation log is recorded on the local storage medium.
  • step 2004b simultaneously with the occurrence of a failure, error information such as an error code and an error detail is recorded, and notification that visible light communication is possible is notified by LED abnormal light emission.
  • step 2004c the serviceman's special command is executed to set the LED high-speed light emission mode to start high-speed communication of visible light.
  • step 2004d it is determined whether the terminal in proximity is a smartphone or a dedicated reception terminal of a serviceman.
  • the process proceeds to step 2004e, in the case of a smartphone, error information is acquired and the process ends.
  • step 2004f in the case of the serviceman, the dedicated receiving terminal acquires error information and history information.
  • step 2004g the device information, error information, and history information are transmitted to the cloud, and a repair method is acquired.
  • the LED high-speed light emission mode is canceled by the special command execution of the serviceman, and the process ends.
  • step 2004i the related product of the device information, the product information of the similar product, the sales price of the nearest store, and the new product information are acquired from the cloud server.
  • step 2004j user information is acquired through visible light communication with the smartphone of the user and the dedicated terminal of the serviceman, and an item is ordered from the nearest store through the cloud server.
  • FIG. 137 is a diagram for describing a service for confirming a cleaning state using the vacuum cleaner and the visible light communication according to the present embodiment.
  • step 2005a cleaning information during normal operation of the device is recorded.
  • step 2005b the stain information is created in combination with the room arrangement information, and encrypted and compressed.
  • the contamination information is recorded on the local storage medium using the compression of the contamination information as a trigger.
  • dirt information is transmitted to the lighting apparatus by visible light communication using a temporary stop of the cleaning (stop of the suction process) as a trigger.
  • the recording of the dirt information is used as a trigger to transmit the dirt information to the home local server and the cloud server via the NW.
  • step 2005f using the transmission and recording of the dirt information as a trigger, the device information, the storage location, and the decryption key are transmitted to the smartphone by visible light communication.
  • step 2005g dirt information is obtained and decoded through the NW and NFC.
  • the seventh embodiment it is possible to realize a visible light communication system including an information communication apparatus that enables communication between various devices including devices having a small computing power.
  • the visible light communication system including the information communication apparatus of the present embodiment is a visible light transmission possibility determination unit for determining whether preparation for visible light transmission is completed, and visible light transmission
  • a visible light transmission notification unit for notifying the user that it is in the medium, and visible light communication for notifying the user visually and aurally when visible light communication becomes possible It is a system.
  • the convenience of the user can be improved by notifying the user of the situation where visible light can be received by "emission color”, “sound”, “icon display” and “multiple LED emission” to the light emission mode of the LED.
  • a terminal proximity sensing unit that senses the approach of the visible light receiving terminal, and a visible light transmission determination unit that determines the start and stop of visible light transmission according to the position of the visible light receiving terminal;
  • the visible light communication system may be a visible light communication system in which visible light transmission is started triggered by sensing of the proximity of the visible light receiving terminal by the terminal proximity sensing unit.
  • the visible light communication system may be configured to stop visible light transmission when triggered by the terminal proximity sensing unit detecting that the visible light receiving terminal has left.
  • a peripheral illumination sensing unit that senses the turning off of the room is mounted, and visible light transmission is stopped with the sensing of the turning off of the room by the ambient illumination sensing unit. It may be a visible light communication system.
  • a visible light communication time monitoring unit that measures a time during which visible light transmission is performed, and a visible light transmission notification unit that notifies the user that visible light transmission is in progress.
  • a visible light communication system that enhances visual and auditory notification to users, triggered by the fact that visible light communication is performed more than a certain amount but there is no approach of visible light receiving terminals. It is also good.
  • the visible light transmission time is longer than a certain time after the visible light transmission notification unit strengthens the notification, but the visible light receiving terminal is not visible as a trigger. It may be a visible light communication system in which light transmission is stopped.
  • the user when the user does not receive the visible light even if the visible light transmission time exceeds a certain time, the user can receive the visible light and stop receiving, thereby preventing the user from forgetting the reception and forgetting to erase the user's convenience. It can improve.
  • the visible light communication system including the information communication apparatus of the present embodiment is a visible light reception determination unit that determines that visible light communication has been received, and reception terminal position acquisition for acquiring the terminal position.
  • a device setting information collecting unit for acquiring device setting information by acquiring device information and position information, and acquiring the position of the receiving terminal by using visible light reception as a trigger to acquire the device setting It is good also as a visible light communication system which collects necessary information.
  • acquisition of device information by visible light communication is a trigger to automatically collect and set device information and position information necessary for user registration and user information, thereby setting the user's input and registration procedure. Omission can improve convenience.
  • the device information management unit that manages device information the device relationship management unit that manages the similarity between devices, and store information management that manages store information that sells devices
  • the nearest store search unit for searching the nearest store from the position information, and the nearest store and price at which similar equipment is sold triggered by receiving the device information and the position information It may be a visible light communication system to be acquired.
  • the convenience of the user can be improved by collecting the sales situation and sales stores of the related devices according to the device information and saving the time for searching for the devices.
  • the visible light communication system including the information communication apparatus of the present embodiment is a user information monitoring unit that monitors that user information is stored in the terminal, and user information from peripheral devices through the NW.
  • a user information collection unit to collect and a user registration processing unit that acquires user information and device information and performs user registration are mounted, and user information can be accessed from peripheral devices that can be accessed triggered by the absence of user information. It is good also as a visible light communication system which collects and carries out user registration with apparatus information. As a result, acquisition of device information by visible light communication is a trigger to automatically collect and set device information and position information necessary for user registration and user information, thereby setting the user's input and registration procedure. Omission can improve convenience.
  • the visible light communication system including the information communication apparatus of the present embodiment includes a command determination unit that receives a special command, a visible light communication frequency, and a visible light communication speed adjustment unit that operates multiple LED linkage.
  • a visible light communication system that accelerates visible light communication by adjusting the frequency of the visible light communication and the number of transmission LEDs by receiving a special command.
  • a terminal type determination unit that determines the type of the proximity terminal by NFC communication and a transmission information type determination unit that determines information to be transmitted according to the terminal type are installed.
  • the visible light communication system may change the amount of information to be transmitted by the close terminals and the visible light communication speed.
  • the visible light communication system including the information communication device of the present embodiment includes a cleaning information recording unit for recording cleaning information, a room arrangement information recording unit for recording room arrangement information, room arrangement information and cleaning information.
  • An information combining unit that generates dirty location information by superimposing and an operation monitoring unit that monitors the stop of normal operation are mounted, and the dirty location information is visible light by using the detection of the stop of the device as a trigger. It may be a visible light communication system that transmits.
  • the home delivery service will be taken as an example to explain Web information using optical communication and cooperation of devices.
  • FIG. 138 shows an outline of this embodiment. That is, FIG. 138 is a schematic diagram of home delivery service support using optical communication in the present embodiment.
  • the orderer places an order for a product from the product purchase site using the mobile terminal 3001a.
  • an order number is issued from the product purchase site.
  • the mobile terminal 3001a having received the order number is transmitted to the door phone indoor unit 3001b by using the NFC communication.
  • the intercom indoor unit 3001b displays the order number received from the mobile terminal 3001a on the monitor of its own device or the like to indicate to the user that the transmission has been completed.
  • the intercom indoor unit 3001 b transmits, to the intercom outdoor unit 3001 c, a blink instruction and an ON / OFF pattern of an LED built in the intercom outdoor unit 3001 c.
  • the blinking pattern is generated by the intercom indoor unit 3001b according to the order number received from the mobile terminal 3001a.
  • the intercom outdoor unit 3001 c blinks the LED according to the blink pattern specified by the intercom indoor unit 3001 b.
  • a home network may be used besides NFC communication.
  • the mobile terminal 3001a may transmit the order number directly to the intercom outdoor unit 3001c without intermediating the intercom indoor unit 3001b.
  • the home delivery order reception server 3001 e transmits the order number to the home delivery mobile terminal 3001 f.
  • optical communication is performed using the LED blink pattern generated based on the order number in both directions of the home delivery mobile terminal 3001 f and the door phone outside device 3001 c.
  • FIGS. 139 to 144 are flowcharts for explaining home delivery service support using optical communication in the embodiment 3 of the invention.
  • FIG. 139 shows the flow until the orderer places an order and the order number is issued.
  • FIG. 139 will be described.
  • the orderer mobile terminal 3001a implements home delivery reservation using the web browser or application of the smartphone. Then, the process proceeds to circle 1 in FIG.
  • step 3002c it is checked whether the order number transmission destination device has been touched. In the case of Yes, the process proceeds to step 3002 d where the order number is NFC-touched to the doorphone indoor unit and transmitted (if the doorphone is in the same network as the smartphone, there is also a method of transmitting via the network). On the other hand, in the case of No, the process returns to step 3002b.
  • step 3002 e the intercom indoor unit 3001 b waits for a request for LED blinking from the other terminal. Subsequently, in step 3002f, the order number is received from the smartphone. Subsequently, in step 3002 g, an instruction to blink the LED of the doorphone outdoor unit is issued according to the received order number. Then, the process proceeds to circle 3 in FIG.
  • step 3002 h the intercom outdoor unit 3001 c waits for an LED blink instruction from the intercom indoor unit. Then, the process proceeds to circle 7 in FIG.
  • the courier mobile terminal 3001f waits for an order notification.
  • step 3002j it is confirmed whether or not notification has been made from the order notification and the home delivery order server.
  • the process returns to step 3002i.
  • step 3002 k information such as an order number and a delivery address is received.
  • step 3002 n the process waits for the camera activation for the LED emission instruction of the order number received by the user or the LED emission recognition of another device. Then, the process proceeds to circle 5 in FIG.
  • FIG. 140 shows a flow until the orderer makes a delivery order on the orderer mobile terminal 3001a.
  • FIG. 140 will be described.
  • step 3003a the home delivery order server 3001e waits for an order number. Subsequently, in step 3003b, it is checked whether a home delivery order has been received. Here, in the case of No, the process returns to step 3003a. In the case of Yes, the process proceeds to step 3003c, and an order number is issued for the received home delivery order. Subsequently, in step 3003d, the home delivery person is notified that the home delivery order has been received, and the process ends.
  • the orderer mobile terminal 3001a selects the order contents from the menu presented by the home delivery order server in step 3003e following the circle 1 in FIG. Subsequently, in step 3003f, the order is confirmed and transmitted to the home delivery server. Subsequently, in step 3003g, it is confirmed whether or not the order number has been received. Here, in the case of No, the process returns to step 3003 f. In the case of Yes, the process proceeds to step 3003 h, and the received order number is displayed to display a message prompting a touch on the door phone indoor unit. Then, the process proceeds to circle 2 in FIG.
  • FIG. 141 shows a flow in which the deliverer performs optical communication with the door phone outdoor unit 3001 c of the delivery destination using the deliverer mobile terminal 3001 f.
  • FIG. 141 will be described.
  • the courier mobile terminal 3001 f checks in step 3004 a whether or not to activate the camera in order to recognize the LED of the door phone outdoor unit 3001 c of the delivery destination.
  • the process returns to circle 5 in FIG.
  • step 3004b the blinking of the LED on the doorphone home door of the delivery destination is confirmed by the camera of the courier mobile terminal.
  • step 3004c the LED emission of the door phone external unit is recognized and compared with the order number.
  • step 3004d it is checked whether the flashing of the LED on the door phone outdoor unit matches the order number.
  • the process proceeds to circle 6 in FIG.
  • FIG. 142 shows a flow of order number collation between the door phone indoor unit 3001 b and the door phone outdoor unit 3001 c. Hereinafter, FIG. 142 will be described.
  • the intercom outdoor unit 3001c checks in step 3005a whether an instruction to blink the LED has been issued from the intercom indoor unit. If No, return to the circle in FIG. In the case of Yes, the process proceeds to step 3005b, where the LED blinks in accordance with the LED blinking instructed by the door phone indoor unit. Then, the process proceeds to circle 8 in FIG.
  • the door phone outdoor unit 3001c notifies the door phone indoor unit of the flashing of the LED recognized by the camera of the door phone outdoor unit in step 3005 c following the circle 9 in FIG. Then, the process proceeds to circle 10 in FIG.
  • step 3005 d the door phone indoor unit 3001 c instructs the door phone outdoor unit to blink the LED according to the order number.
  • step 3005e the camera of the door phone outdoor unit waits until it recognizes LED flashing of the courier mobile terminal.
  • step 3005 f it is checked whether the notification of the recognition of the LED blinking has been received from the door phone outdoor unit.
  • step 3005 g the LED flashing on the door phone outdoor unit and the order number are collated.
  • step 3005 h it is checked whether the LED flashing on the door phone outdoor unit and the order number match. In the case of Yes, the process proceeds to circle 11 in FIG.
  • step 3005i the door phone outdoor unit is instructed to cancel the LED blinking and the process is ended.
  • FIG. 143 shows a flow between the intercom indoor unit 3001 c and the courier mobile terminal 3001 f after order number verification.
  • FIG. 143 will be described.
  • the courier mobile terminal 3001 f starts to blink the LED according to the order number held by the courier mobile terminal in step 3006 a.
  • the LED blinking portion is arranged in a range where the camera can shoot from the door phone outdoor unit.
  • step 3006c whether the door phone blinks the LED blinks on the door phone's home terminal's camera and indicates whether the LED blinks on the courier mobile terminal and the order number held by the door phone on the door phone coincide. Check.
  • step 3006e the matching result is displayed on the courier mobile terminal and the processing is ended.
  • FIG. 144 shows the flow between the intercom indoor unit 3001 c and the courier mobile terminal 3001 f after order number verification.
  • FIG. 144 will be described.
  • step 3007a the intercom outdoor unit 3001c confirms whether or not notification has been made as to whether the LED flashing notified by the intercom indoor unit matches the order number.
  • the process returns to circle 11 in FIG.
  • step 3007b the doorphone external unit performs LED blinking indicating whether or not the match is obtained, and the process ends.
  • the door phone indoor unit 3001b notifies the orderer of the indication that the delivery person has arrived at the door phone indoor unit at step 3007c following the circle 10 in FIG. Do.
  • the door phone indoor unit is instructed to stop the blinking of the LED and to blink the LED indicating that the order number is matched. And it ends.
  • a delivery box for storing the delivery item may be installed at the entrance or the like.
  • the delivery person stores the delivery item in the delivery box.
  • FIG. 145 is a diagram for describing a process of registering a mobile phone in use with the user in the server in the present embodiment. Hereinafter, FIG. 145 will be described.
  • step 4001 b the user starts an application.
  • step 4001c the server is queried for information on this user and mobile phone.
  • step 4001 d it is checked whether the user information and the information of the mobile phone in use are registered in the DB of the server.
  • step 4001f the processing proceeds to step 4001f, and as parallel processing (processing a), analysis of user voice characteristics is started, and the processing proceeds to B in FIG.
  • FIG. 146 is a diagram for describing a process of analyzing user voice characteristics in the present embodiment. Hereinafter, FIG. 146 will be described.
  • step 4002a sound is collected from the microphone.
  • step 4002b it is checked whether the voice collected as a result of speech recognition is estimated to be the user's voice.
  • the process returns to step 4002a.
  • step 4002c the process proceeds to step 4002c, and it is confirmed whether the content of the occurrence is a keyword used in this application ("Next", "Return”, etc.).
  • step 4002 f voice data is registered in the user keyword voice table of the server, and the process proceeds to step 4002 d.
  • step 4002d the process proceeds to step 4002d.
  • step 4002d voice characteristics (frequency, sound pressure, speech rate) are analyzed.
  • step 4002e the analysis result is registered in the user voice characteristic table of the mobile phone and the server.
  • FIG. 147 is a diagram for describing a process of preparing for the speech recognition process in the present embodiment. Hereinafter, FIG. 147 will be described.
  • step 4003a an operation to display a (user operation) cooking menu list is performed.
  • step 4003 b the cooking menu list is acquired from the server.
  • step 4003c the cooking menu list is displayed on the portable screen.
  • step 4004d sound collection is started from the microphone connected to the mobile phone.
  • step 4003e sound collection from sound collection devices in the vicinity is started as parallel processing (processing b).
  • step 4003 f analysis of environmental sound characteristics is started as parallel processing (processing c).
  • step 4003 g cancellation of voices from voice output devices present in the periphery is started as parallel processing (processing d).
  • step 4003h the user voice characteristic is acquired from the DB of the server.
  • step 4003i user speech recognition is started, and the process proceeds to C of FIG.
  • FIG. 148 is a diagram for describing a process of collecting sound from a nearby sound collection device in the present embodiment. Hereinafter, FIG. 148 will be described.
  • step 4004a a device (sound collecting device) that can communicate and collect sound from a mobile phone is searched.
  • step 4004b it is checked whether or not a sound collection device has been found.
  • step 4004c the position information of the sound collector and the microphone characteristic information are acquired from the server.
  • step 4004d it is checked whether the information exists in the server.
  • step 4004e the processing proceeds to step 4004e, and it is confirmed whether the installation position of the sound collection device is sufficiently close to the position of the mobile phone and it is possible to collect the user's voice. In the case of No at step 4004e, the process returns to step 4004a. On the other hand, if Yes in step 4004e, the process proceeds to step 4004f to cause the sound collection device to start sound collection. Subsequently, in step 4004 g, the sound collected by the sound collection device is transmitted to the mobile phone until an instruction to end the sound collection processing is received. Note that the collected voice may not be sent to the mobile phone as it is, but the result of voice recognition may be sent to the mobile phone. Also, the voice transmitted to the mobile phone is processed in the same manner as the voice collected from the microphone connected to the mobile phone, and the process returns to step 4004a.
  • step 4004d the process advances to step 4004h to cause the sound collection device to start sound collection.
  • step 4004i a signal sound is output from the mobile phone.
  • step 4004 j the sound collected by the sound collection device is transmitted to the mobile phone.
  • step 4004k it is checked whether the signal sound can be recognized from the sound sent from the sound collection device.
  • the process proceeds to step 4004g, and in the case of No, the process returns to step 4004a.
  • FIG. 149 is a diagram for illustrating analysis processing of environmental sound characteristics in the present embodiment. Hereinafter, FIG. 149 will be described.
  • step 4005 f a list of devices excluding those whose position is far enough from the position of the microwave among the devices owned by the user is acquired. Data of sounds emitted by these devices are acquired from DB.
  • step 4005 g the characteristics (frequency, sound pressure, etc.) of the acquired sound data are analyzed and held as environmental sound characteristics.
  • the sound emitted from a rice cooker or the like in the vicinity of the microwave oven is particularly likely to be misrecognized, and is set and held at a high degree of importance.
  • step 4005a sound is collected from the microphone.
  • step 4005b it is confirmed whether the collected voice is the user's voice, and in the case of Yes, the process returns to step 4005a. In the case of No, the process proceeds to step 4005c, where the characteristic (frequency, sound pressure) of the collected sound is analyzed.
  • step 4005d the environmental sound characteristic is updated from the analysis result.
  • step 4005e it is checked whether the end flag is set, and if it is Yes, the process ends. In the case of No, the process returns to step 4005a.
  • FIG. 150 is a diagram for illustrating the process of canceling the sound from the audio output device present in the periphery in the present embodiment. Hereinafter, FIG. 150 will be described.
  • a communicable device is searched for a device (voice output device) capable of voice output.
  • step 4006b it is checked whether or not an audio output device has been found, and if No, the process ends. In the case of Yes, the process proceeds to step 4006c, and a signal sound including various frequencies is output to the audio output device.
  • step 4006d the mobile phone and the sound collection device (each sound collection device) of FIG. 148 collect sound, and the signal sound output from the voice output device is collected.
  • step 4006 e it is checked whether the signal sound can be collected and recognized. If the result is No, the process ends. In the case of Yes, the processing proceeds to step 4006f, and the transmission characteristics from the audio output device to each sound collecting device (the relationship between the output sound volume for each frequency and the sound volume collected and the delay time from the signal sound output to the sound collection) Analyze
  • step 4006 g it is checked whether the audio data output from the audio output device can be accessed from the mobile phone.
  • step 4006h the sound source, the output location, and the volume output from the audio output device are acquired until the cancel processing end instruction is given, and each sound collecting device Cancels the audio output from the collected audio on the audio output device. It returns to step 4006a.
  • step 4006i the voice output from the voice output device is acquired until the cancel processing end command is given, and voice output is performed from the voice collected by each sound collector while considering the transmission characteristics. The voice output from the device is canceled, and the process returns to step 4006a.
  • FIG. 151 is a diagram for describing processing of selecting a cooking menu and setting operation contents to a microwave according to the present embodiment. Hereinafter, FIG. 151 will be described.
  • step 4007a user operation
  • a menu to be cooked is selected.
  • step 4007b (user operation) recipe parameters (amount to be cooked, taste intensity, baking, etc.) are set.
  • step 4007c recipe data and microwave oven operation content setting command are acquired from the server according to the recipe parameters.
  • step 4007d the user is prompted to cause the non-contact IC tag embedded in the microwave to touch the mobile phone.
  • step 4007 e it is checked whether a touch on the microwave is to be detected.
  • step 4007e the process returns to step 4007e.
  • step 4007f the microwave setting command acquired from the server is transmitted to the microwave.
  • step 4007g (process e) a notification sound for a microwave is acquired from a DB such as a server and set in the microwave.
  • step 4007h (processing f) adjustment of notification sound of the microwave is performed, and the process proceeds to D in FIG.
  • FIG. 152 is a diagram for describing a process of obtaining notification sound for the microwave according to the present embodiment from a DB of a server or the like and setting the notification sound to the microwave.
  • FIG. 152 will be described.
  • step 4008b the electronic oven is inquired as to whether notification sound data for the mobile phone (data of sound output at the time of operation or end of operation of the electronic oven) is registered in the microwave.
  • step 4008c it is checked whether notification sound data for the mobile phone is registered in the microwave.
  • step 4008d it is checked whether notification sound data for this mobile phone is registered in the mobile phone.
  • step 4008 h notification sound data registered in the mobile phone is registered in the microwave, and the process ends.
  • step 4008 e refers to the DB of the server or the mobile phone or the microwave.
  • step 4008 f if there is notification sound data for this mobile phone (data of notification sound that this mobile phone can easily recognize) in the DB, if there is no such data, a notification sound for general mobile phones Data (generally, notification sound data that a mobile phone can easily recognize) is acquired from DB.
  • step 4008 g the acquired notification sound data is registered in the mobile phone.
  • step 4008 h notification sound data registered in the mobile phone is registered in the microwave, and the process ends.
  • FIG. 153 is a diagram for describing a process of adjusting notification sound of the microwave according to the present embodiment. Hereinafter, FIG. 153 will be described.
  • step 4009a notification sound data of this microwave registered in the mobile phone is acquired.
  • step 4009b it is checked whether the overlap between the frequency of the notification sound for the terminal and the frequency of the environmental sound is equal to or more than a predetermined value.
  • step 4009c the volume of the notification sound is set to a sufficiently large volume compared to the environmental sound. Or change the frequency of notification sound.
  • the notification sound is created with the pattern of (c) if the microwave can output the sound of (c) of FIG. 154, and the process ends. . If (c) is not possible and (b) is possible, a notification sound is created with the pattern of (b) and the process ends. (A) If possible, create a notification sound with the pattern of (a) and then exit.
  • FIG. 154 is a diagram showing an example of a waveform of notification sound set in the microwave according to the present embodiment.
  • the waveform shown in (a) of FIG. 154 is a simple rectangular wave and can be output by most audio output devices. As it is easy to be confused with voices other than notification sounds, it should be output several times, and if it is possible to recognize some of them, it should be recognized that the notification sounds are heard, etc.
  • the waveform shown in (b) of FIG. 154 is a waveform in which the waveform of (a) is finely divided by a rectangular wave for a short time, and can be output if the operation clock of the audio output device is sufficiently fast.
  • This sound sounds similar to the sound of (a) to the human ear, but in machine recognition, it has the property that the amount of information is larger than that of (a) and it is difficult to be confused with the sound other than the notification sound.
  • the waveform shown in (c) of FIG. 154 is obtained by changing the time length of the audio output portion, and is called a PWM waveform. Although it is more difficult to output than (b), the amount of information is larger than (b), and it is also possible to improve the recognition rate or to simultaneously transmit information to be transmitted from the microwave to the mobile phone.
  • the waveforms in (b) and (c) in FIG. 154 have a lower possibility of misrecognition than (a) in FIG. 154, but by repeating the same waveform several times as in (a) in FIG. The recognition rate can be further improved.
  • FIG. 155 is a diagram showing an example of a waveform of notification sound set in the microwave according to the present embodiment. Hereinafter, FIG. 155 will be described.
  • step D in the figure the contents of cooking are displayed in step 4011a.
  • step 4011 b it is confirmed whether the cooking content is the operation of the microwave.
  • step 4011 c the process proceeds to step 4011 c, and the user is notified that the food is put in the microwave and the operation start button is pressed, and the process proceeds to E of FIG.
  • step 4011 d the cooking content is displayed, and the processing proceeds to F in the drawing or the processing proceeds to step 4011 e.
  • step 4011 e it is confirmed what the user's operation is. In case of application end, it ends.
  • step 4011f confirms whether cooking is finished as a result of display contents change Do.
  • the processing proceeds to step 4011 g, the user is notified of cooking completion, and the processing ends.
  • the process proceeds to step 4011a.
  • FIG. 156 is a diagram for describing a process of recognizing notification sound of the microwave according to the present embodiment. Hereinafter, FIG. 156 will be described.
  • step 4012a as parallel processing (processing g), collection of sound from sound collection devices in the vicinity and recognition of notification sound of microwave oven are started.
  • step 4012 f confirmation of the mobile phone operation state is started as parallel processing (processing i).
  • step 4012 g tracking of the user position is started as parallel processing (processing j).
  • step 4012 b the recognition content is confirmed.
  • step 4012 c the setting change is registered, and the process returns to step 4012 b.
  • step 4012 e the process proceeds to F of FIG. If the food is put in the microwave and displayed to press the operation start button, and (when the operation time has passed, an operation end notification sound or a sound of opening the door of the microwave) is recognized, step 4012 e (process h) ) Notify the user of the end of operation of the microwave, and proceed to G in FIG.
  • step 4012 d stands by until the operation time elapses, proceeds to step 4012 e, and (process h) notifies the user of the end of operation of the microwave to the user.
  • FIG. 157 is a diagram for describing a process of performing sound collection from a surrounding sound collection device and recognition of a notification sound of a microwave in the present embodiment. Hereinafter, FIG. 157 will be described.
  • step 4013a a device (sound collecting device) that can communicate with the mobile phone and can collect sound is searched.
  • step 4013b it is confirmed whether or not a sound collection device has been found.
  • step 4013c the position information of the sound collector and the microphone characteristic information are acquired from the server.
  • step 4013d it is checked whether the information exists in the server.
  • step 4013r the installation position of the sound collection device is close enough from the microwave to confirm whether or not notification sound can be collected.
  • step 4013r the process returns to step 4013a.
  • step 4013 s the computing device of the sound collection device checks whether voice recognition is possible.
  • step 4013 s in the case of Yes, in step 4013 u, information for recognizing notification sound of the microwave is transmitted to the sound collection device.
  • step 4013v the sound collection device starts sound collection and speech recognition, and the recognition result is transmitted to the mobile phone.
  • step 4013 q the notification sound of the microwave is recognized until it proceeds to the next cooking stage, and the recognition result is transmitted to the mobile phone.
  • step 4013t the sound collection device starts sound collection and transmits collected sound to the mobile phone.
  • step 4013j the collected sound is transmitted to the mobile phone until the next cooking stage is performed, and the notification sound of the microwave is recognized by the mobile phone.
  • step 4013d the processing proceeds to step 4013e, where the computing device of the sound collection device checks whether voice recognition is possible.
  • step 4013k the processing proceeds to step 4013k, and information for recognizing notification sound of the microwave is transmitted to the sound collection device.
  • step 4013 m the sound collection device is made to start sound collection and speech recognition, and the recognition result is transmitted to the mobile phone.
  • step 4013n the notification sound of the microwave is sounded.
  • step 4013p it is checked whether the notification sound has been recognized by the sound collection device. If YES at step 4013p, the process proceeds to 4013q, performs notification processing of notification sound of the microwave until the next cooking stage is performed, transmits a recognition result to the mobile phone, and returns to step 4013a. In the case of No at step 4013p, the process returns to step 4013a.
  • step 4013e the process advances to step 4013f to cause the sound collection device to start collecting sound and to transmit collected sound to the mobile phone.
  • step 4013 g the notification sound of the microwave is sounded.
  • step 4013h recognition processing is performed on the voice sent from the sound collection device.
  • step 4013i was the notification sound recognized? Check if.
  • the processing proceeds to 4013j, and the voice collected until the next cooking stage is transmitted to the mobile phone, the notification sound of the microwave is recognized by the mobile phone, and the processing returns to step 4013a. In the case of No, the process returns to step 4013a.
  • FIG. 158 is a diagram for describing a process of notifying the user of the end of the operation of the microwave according to the present embodiment. Hereinafter, FIG. 158 will be described.
  • step 4013a it is checked whether it can be determined that the mobile phone is in use or sensor data is moving. In the case of Yes, the process proceeds to step 4014 m, and the user is notified of the end of the operation of the microwave using screen display of the mobile phone, voice, vibration and the like, and the process ends.
  • step 4013a the process proceeds to step 4014b, and a device (user-in-operation device) being operated by the PC or the like to which the user is logging in is searched.
  • step 4014 c it is checked whether a device under user operation has been found. In the case of Yes, the user is notified of the end of the operation of the microwave using the screen display of the device being operated by the user, and the process is ended.
  • step 4014c the process proceeds to step 4014e, and a device (imaging device) capable of acquiring an image that can be communicated from the mobile phone is searched.
  • step 4014f it is checked whether the imaging device has been found.
  • the process proceeds to step 4014p, and the imaging device is caused to capture an image, the user's face data is transmitted to the imaging device, and the user's face is recognized.
  • the captured image is sent to a mobile phone or a server, and the user's face is recognized at the transmission destination of the image.
  • step 4014 q it is checked whether the user's face has been recognized. If No, the process returns to step 4014e. In the case of Yes, the processing proceeds to step 4014r, and it is confirmed whether the device (discovery device) which has found the user has a display device or an utterance device. In the case of Yes in step 4014r, the process proceeds to step 4014s, notifies the user of the end of the operation of the microwave using an apparatus attached to the device, and ends the process.
  • step 4014f the process advances to step 4014g to search for a device (sound collecting device) that can communicate with the mobile phone and can collect sound.
  • a device sound collecting device
  • step 4014h the process advances to step 4014i to find an apparatus that can specify the position of the user by means of operating another apparatus or walking vibration. Subsequently, the process proceeds to step 4014 m to notify the user of the end of the operation of the microwave using screen display of the mobile phone, voice, vibration and the like, and the process ends.
  • step 4014i the process advances to step 4014r to check whether there is a display device or an utterance device in the device (discovery device) which has found the user.
  • step 4014r the processing proceeds to step 4014t, and the location information of the discovery device is acquired from the server.
  • step 4014 u a device (notification device) which is near the discovery device and has a display device or a voice generation device is searched.
  • step 4014 v in consideration of the distance from the notification device to the user, the user is notified of the end of the operation of the microwave with screen display or a sound of sufficient volume, and the process ends.
  • FIG. 159 is a diagram for describing a process of confirming a mobile phone operation state in the present embodiment. Hereinafter, FIG. 159 will be described.
  • step 4015a the mobile phone is being operated, the mobile phone is moving, or there is an input / output to an input / output device connected to the mobile phone, or video or music is being played, or the mobile phone is Check if the device located near the phone is operating or the camera or various sensors of the device located near the mobile phone recognize the user.
  • step 4015b the process proceeds to step 4015b, and it is recognized that the position of the user is likely to be close to the mobile phone, and the process returns to step 4015a.
  • step 4015c the process proceeds to step 4015c, and the user is recognized by the camera or various sensors of the device in the position far from the mobile phone or the device in the position far from the mobile phone Check if it is.
  • step 4015c in the case of Yes, the process proceeds to step 4015d, recognizing that the position of the user is likely to be far from this mobile phone, and the process returns to step 4015a. In the case of No at step 4015c, the process returns to step 4015a.
  • FIG. 160 is a diagram for describing a process of tracking the position of the user in the present embodiment. Hereinafter, FIG. 160 will be described.
  • step 4016a it is checked whether the mobile phone is determined to be moved by the azimuth sensor, the position sensor or the 9-axis sensor.
  • the nine-axis sensor is a sensor including at least one of an acceleration sensor, an angular velocity sensor, and a geomagnetic sensor.
  • step 4016a If Yes in step 4016a, the process proceeds to step 4016b, where the positions of the mobile phone and the user are registered in DB, and the process returns to step 4016a.
  • step 4016a the process proceeds to step 4016c, and it is possible to communicate from the mobile phone, a device that can detect the position of the user such as a camera or microphone or a human sensor or the presence of the user (user Search for detection equipment).
  • a device that can detect the position of the user such as a camera or microphone or a human sensor or the presence of the user (user Search for detection equipment).
  • step 4016d it is confirmed whether or not the sound collecting device is to be found. In the case of No at step 4016d, the process returns to step 4016a.
  • step 4016d in the case of Yes, the process proceeds to step 4016e, in which it is confirmed whether the user detection device detects the user. If No in step 4016e, the process returns to step 4016a.
  • step 4016e If Yes in step 4016e, the process proceeds to step 4016f to transmit the user detection to the mobile phone.
  • step 4016 g the presence of the user near the user detection device is registered in the DB.
  • step 4016 h if there is position information of the user detection device in the DB, the position is acquired by identifying the position of the user, and the process returns to step 4016 a.
  • FIG. 161 while canceling the voice from the voice output device, the notification sound of the home appliance is recognized, the communicable electronic device recognizes the current position of the user (operator), and the user position is recognized based on the user position recognition result. It is the figure which showed that the apparatus in the position near is made to notify a user.
  • FIG. 162 is a diagram showing the contents of a database held in a server, a mobile phone, or a microwave according to the present embodiment.
  • the mobile phone recognizes the model of the microwave, data (speaker characteristics, modulation method, etc.) for specifying the sound that can be output, and the type of mobile phone.
  • Notification sound data having an easy-to-use characteristic is associated with notification sound data that can be easily recognized on average by a general mobile phone.
  • each individual mobile phone, the model of the mobile phone, the user who uses the mobile phone, and data indicating the position of the mobile phone are stored in association with each other.
  • the mobile device type table 4040c the mobile device type and the sound collection characteristics such as the microphone attached to the mobile device type are associated and held.
  • the user and the acoustic characteristic of the user's voice are associated and held.
  • the user and the voice waveform data when the user utters a keyword such as “next” or “return” to be recognized by the mobile phone are associated and held.
  • This data may not be speech waveform data itself, but may be analyzed and transformed into a form that can be easily handled.
  • the user owned device position table 4040 f holds the user, the device owned by the user, and the position data of the device in association with each other.
  • the user owned device position table 4040 g holds the user, the device owned by the user, and the sound data such as notification sound and driving sound emitted by the device in association with each other.
  • the user and data of the position of the user are associated and held.
  • FIG. 163 the user according to the present embodiment performs cooking based on the cooking procedure displayed on the mobile phone, and the user operates the display contents of the mobile phone by voice such as “next” and “return”.
  • FIG. FIG. 164 shows that the user has moved to another location while starting operation of the microwave according to the present embodiment and waiting for the end of the operation, or while boiling a simmered food, etc.
  • FIG. FIG. 165 shows an apparatus connected to a mobile phone via a network, and capable of recognizing the position of the user and recognizing that the user is present, such as a camera, a microphone, and a human sensor. It is a figure which shows transmitting a command which detects a user from a mobile telephone.
  • a camera attached to a television recognizes a user's face, and a human sensor of an air conditioner recognizes movement and presence of the user.
  • the recognition process may be performed by a television or an air conditioner, or image data may be transmitted to a mobile phone or a server, and the recognition process may be performed at the transmission destination.
  • the user's data should not be sent to an external server.
  • FIG. 167 is a diagram showing that a device which has detected a user detects that a user has been detected and a relative position from the detected device to the user is transmitted to a mobile phone.
  • the position information of the device that has detected the user is present in the DB, it is possible to specify the position of the user.
  • FIG. 168 is a diagram showing that the mobile phone recognizes the operation end sound of the microwave according to the present embodiment.
  • FIG. 169 shows, among devices detected by the mobile phone that recognizes the end of operation of the microwave, a device having a screen display function and an audio output function (in this figure, a television in front of the user) It is a figure which shows transmitting the command which notifies a user of driving
  • FIG. 170 is a diagram showing that the device that has received the above-described command notifies the user of the notification content (in the figure, the screen of the television displays that the operation of the microwave has ended).
  • FIG. 171 is a diagram showing that the operation end sound of the microwave is connected to the mobile phone via the network, is equipped with a microphone, and is recognized by devices present in the vicinity of the microwave.
  • FIG. 172 is a diagram showing that the device which recognizes the end of the operation of the microwave is notified to the mobile phone.
  • the mobile phone receives the notification of the end of the operation of the microwave, if the mobile phone is in the vicinity of the user, it notifies the user of the end of the operation of the microwave using the screen display and voice output of the mobile phone.
  • FIG. 173 when the mobile phone receives the notification of the end of the operation of the microwave, if the mobile phone is in the vicinity of the user, it notifies the user of the end of the operation of the microwave using the screen display and voice output of the mobile phone.
  • FIG. 174 is a diagram showing that the user is notified of the end of the operation of the microwave.
  • the mobile phone receives the notification of the end of operation of the microwave
  • the screen display function and the voice output function among the devices detecting the user Sends an instruction to notify the user of the end of the operation of the microwave to the device (in this figure, the television in front of the user), and the device receiving the instruction notifies the user of the end of the operation of the microwave FIG.
  • the mobile phone is often not present near the microwave oven or near the user, indicating that the situation shown in the figure is likely to occur.
  • FIG. 175 is a diagram showing that the user who has received the notification of the end of the operation of the microwave moves to the kitchen.
  • the mobile phone is displaying the next cooking contents.
  • the mobile phone may recognize that the user has moved to the kitchen by voice or the like, and may start explaining the next cooking procedure at just the right time.
  • FIG. 176 information such as driving completion is transmitted from the microwave to the mobile phone by wireless communication, the mobile phone issues a notification command to the television viewed by the user, and the user is notified by the screen display of the television or voice. It is a figure which shows what is done.
  • Communication between the information source device (in the figure, the microwave) and the mobile phone, and communication between the mobile phone and the device that notifies the user (in the figure, the television) are LAN in the home and direct wireless communication.
  • wireless communication of 700 MHz to 900 MHz can be used.
  • a mobile phone is used as a hub here, other devices having communication capability may be used instead of the mobile phone.
  • FIG. 177 is a diagram showing that information such as driving completion is transmitted from the microwave to the television watched by the user by wireless communication, and the user is notified using screen display or sound of the television. This shows the operation in the case of not passing through a mobile phone which plays a role as a hub in FIG.
  • 178 transmits information to the air conditioner on the second floor, transmits information from the air conditioner on the second floor to the mobile phone, and transmits the information from the mobile phone to the television viewed by the user when the air conditioner on the first floor performs some kind of information notification.
  • FIG. 179 is a diagram showing that information is notified to a user who is at a remote location. Specifically, FIG. 179 shows that information is notified to a user at a remote place through the Internet or carrier communication from a mobile phone notified of by a microwave via voice, light, wireless communication, etc. ing.
  • FIG. 180 is a diagram showing that information can be transmitted to a mobile phone via a personal computer or the like when direct communication can not be performed from the microwave to the mobile phone serving as a hub.
  • FIG. 181 is a diagram showing that, from the mobile phone which has received the communication in FIG. 180, the information communication path is traced backward to transmit information such as an operation command to the microwave.
  • the mobile phone may automatically transmit information upon reception of the information shown in FIG. 180, or may notify the user of the information and receive the notification and transmit information of the operation performed by the user. .
  • FIG. 182 is a diagram showing that a user is notified of information when direct communication from the air conditioner which is an information source device is not possible to a mobile phone serving as a hub.
  • the air conditioner which is the information source device when it is not possible to directly communicate with the mobile phone serving as the hub from the air conditioner which is the information source device, first, in step 1, communication steps for the mobile phone such as a personal computer etc.
  • the information is transmitted to the device to be the terminal, and the information is transmitted from the personal computer to the mobile phone through the Internet and a carrier communication network in circles 2 and 3, and the mobile phone processes the information automatically or holds the mobile phone.
  • the information is transmitted to the personal computer through the Internet and the carrier communication network in circle 4 and circle 5, and in circle 6, the personal computer can notify the user who wants to notify (TV in this figure)
  • the notification instruction is sent to the user, and the circle 7 indicates that the user is notified of the information using the screen display of the television and the voice.
  • communication between a personal computer and a mobile phone is via the Internet or a carrier communication network in this figure, communication may be performed by home LAN, direct communication, or the like.
  • FIG. 183 is a diagram for describing a system using a communication device using a radio wave of 700 to 900 MHz.
  • a system using a communication device hereinafter referred to as G device
  • G radio signal a radio wave of 700 to 900 MHz
  • the information is transmitted from the range to the 3rd floor mobile phone with G device using G electric wave, and from the 3rd floor mobile phone with G device to the 2nd floor mobile phone without G device using the home network It is shown that information is sent, and the second floor mobile phone notifies the user of the information.
  • the method of using NFC attached to both apparatuses can be considered for registration / authentication of the communication between apparatuses with G apparatus.
  • the output of G radio waves is lowered so that communication can be performed only in a distance of about 10 to 20 cm as a registration mode, both devices are brought close, and communication succeeds.
  • a method of registering and authenticating communication between G devices can be considered.
  • the information source device may be any device other than the microwave oven as long as it has a G device.
  • devices that relay information source devices and information notification devices can be mobile phones if they can access G radio waves and home networks.
  • a device such as a personal computer, an air conditioner or a smart meter may be used.
  • the information notification device may be a device such as a personal computer or a television instead of a mobile phone, as long as it can access a home network and can notify a user using screen display or voice output.
  • FIG. 184 is a diagram showing that a mobile phone in a remote location notifies a user of information. Specifically, FIG. 184 transmits information from an air conditioner with a G device to a mobile phone in a home with a G device, and from the mobile phone in the home to the remote mobile phone through the Internet and a carrier communication network. It has been shown to transmit and notify the user of the remote mobile phone.
  • the information source device may be any device other than the microwave as long as it has a G device.
  • devices that relay information source devices and information notification devices can access G radio waves and the Internet or carrier communication network
  • a mobile phone a computer, an air conditioner, a smart meter, or other device may be used.
  • the information notification device can access the Internet and a carrier communication network, and can be a device such as a personal computer or a television instead of a mobile phone, as long as notification to the user is possible using screen display or voice output. .
  • FIG. 185 shows that a mobile phone in a remote location notifies a user of information.
  • FIG. 185 shows that the television with the G device recognizes notification sound of the microwave oven without the G device, and the television transmits information to the mobile phone in the home with the G device via the G radio wave, It is shown that information is transmitted from the mobile phone of the present invention to a mobile phone of a remote place via the Internet or a carrier communication network, and the mobile phone of the remote place notifies the user of the information.
  • the information source device in the figure, the microwave
  • the method by which the notification recognition device the television in the figure
  • the notification of the information source device is not voice but light emission status And so on.
  • the notification recognition device is the same even if it is another device with a G device. If the notification recognition device and the device for relaying the information notification device (mobile phone in a remote location in this figure) (mobile phone in the house in this figure) can access G radio waves and the Internet or carrier communication network, Instead of a mobile phone, a computer, an air conditioner, a smart meter, or other device may be used.
  • the information notification device can access the Internet and a carrier communication network, and can be a device such as a personal computer or a television instead of a mobile phone, as long as notification to the user is possible using screen display or voice output. .
  • FIG. 186 is a device similar to FIG. 185 that relays a notification recognition device (television on the second floor in this figure) and an information notification device (mobile phone in a remote location in this figure) (in FIG. 185)
  • the second floor television plays a role of a relay device in place of the mobile phone of FIG.
  • the device of the present embodiment realizes the following functions.
  • the sound collected by the sound collection device can be used as it is or as a voice recognition result.
  • Function to perform setting to microwave oven ⁇ It is an apparatus that can communicate from mobile phone, using an apparatus that can detect the user such as camera, microphone and human sensor, search for the user, and the current position of the user to the mobile phone Function to be sent to or stored in DB • Function to notify user from nearby device using user position stored in DB • State of mobile phone (operation state, sensor value, charge state, Function to estimate whether the user exists near the mobile phone from the data link status etc.)
  • the microwave oven is used as an example, but the electronic device that emits a notification sound to be recognized is not a microwave oven, but a washing machine, a rice cooker, a vacuum cleaner, a refrigerator, an air cleaner, a pot, a dish washer / dryer
  • a washing machine a rice cooker, a vacuum cleaner, a refrigerator, an air cleaner, a pot, a dish washer / dryer
  • the same effect can be obtained by changing to an air conditioner, a personal computer, a mobile phone, a television, an automobile, a telephone, a mail receiving device, and the like.
  • the microwave oven, the mobile phone, and the device for notifying the user such as a television
  • the microwave oven, the mobile phone, and the device for notifying the user directly communicate, if there is a problem with the direct communication
  • another device may be used. Communication may be performed indirectly through
  • communication using a home LAN is mainly assumed, but the same applies to direct wireless communication between devices, communication via the Internet, and communication via a carrier communication network. Function can be realized.
  • the location of the user is identified by a TV camera or the like by the simultaneous inquiry from the mobile phone, and the personal information is encrypted and sent to the mobile phone of the person. It has the effect of preventing it. Even when there are multiple people in the house, by storing data of human sensors in air conditioners, air purifiers, and refrigerators in a position management database such as a mobile phone, it is possible to use sensors as the operator recognizes once. By tracking, the position of the operator can be estimated.
  • the movement of the physical sensor remains stationary for a certain period of time, which can be detected.
  • separation is detected using a human sensor of a home appliance or a lighting device, button operation, a camera such as a TV, a microphone of a portable phone, or the like. And the position is registered in the user position database of the portable or server in the house.
  • the ninth embodiment it is possible to realize an information communication apparatus (recognition apparatus) that enables communication between devices.
  • the information communication apparatus searches for an electronic device (sound collecting device) having a sound collecting function among electronic devices that can be communicated from the operation terminal, and the sound collecting function of the sound collecting device May be included to recognize the notification sound of another electronic device.
  • an electronic device sound collecting device having a sound collecting function among electronic devices that can be communicated from the operation terminal, and the sound collecting function of the sound collecting device May be included to recognize the notification sound of another electronic device.
  • the recognition device may be a recognition device that uses the sound collection function of only the sound collection device capable of collecting the signal sound emitted from the operation terminal.
  • the information communication apparatus searches for an electronic device (voice output device) having an audio output function among electronic devices that can be communicated from the operation terminal, and detects the voice output device and the sound collection device. Analysis of voice transmission characteristics during the period, acquiring output voice data of the voice output device, and collecting the voice output characteristics from the voice output device from the voice transmission characteristics and the output voice data to cancel the voice output from the voice output device A device may be included.
  • the information communication apparatus of the present embodiment may include a recognition device that adjusts the notification sound of the electronic device that wants to recognize the notification sound so as not to be buried in the environmental sound.
  • the information communication apparatus holds in a database the data of the sound output from the electronic device (held electronic device) owned by the user and the owned electronic device and the position data of the owned electronic device.
  • a recognition device for adjusting the notification sound of the electronic device to be recognized may be included so that the voice to be output and the notification sound of the electronic device to be recognized can be easily distinguished.
  • the recognition device may further be a recognition device that adjusts the speech recognition process so as to easily distinguish between the sound output from the owned electronic device and the notification sound of the electronic device that wants to recognize the notification sound.
  • the positions of the operation terminal and the operator are close by using the operation state of the operation terminal, the sensor value of the physical sensor, the data link state, and the charge state.
  • a recognition device for recognizing whether or not it may be included.
  • the recognition device further uses an operation state of an electronic device that can be communicated from the operation terminal, a camera, a microphone, a human sensor, and position data of the electronic device held in a database. It may be a recognition device that recognizes the position of the user.
  • the recognition device further includes an electronic device (notification device) having a function capable of notifying the user by means such as screen display and voice output stored in the database as a result of recognition of the user position. It may be included in an information notification device that notifies a user of information using the notification device that can notify the user using position data.
  • an electronic device notification device having a function capable of notifying the user by means such as screen display and voice output stored in the database as a result of recognition of the user position. It may be included in an information notification device that notifies a user of information using the notification device that can notify the user using position data.
  • Tenth Embodiment various simple authentication methods are being considered in wireless communication.
  • a push button method, a PIN input method, an NFC method, and the like are defined in WPS of a wireless LAN formulated by the Wi-Fi Alliance.
  • WPS Wi-Fi Alliance
  • the method of limiting time is not safe if there are malicious users within a close distance to some extent.
  • direct touch may be difficult or troublesome.
  • FIG. 187 is a diagram showing an example of the in-home environment in the present embodiment.
  • FIG. 188 is a diagram illustrating an example of communication between a home electric device and a smartphone in the present embodiment.
  • FIG. 189 is a diagram showing a configuration of a transmission side apparatus according to the present embodiment.
  • FIG. 190 is a diagram showing a configuration of a reception side apparatus in the present embodiment.
  • FIGS. 187 to 190 are the same as FIGS. 124 to 127, and the detailed description will be omitted.
  • the indoor environment is considered to be an environment as shown in FIG. 187 that authenticates the tablet held by the user in the kitchen and the TV held in the living room. It is assumed that both terminals are terminals that can connect to a wireless LAN and that a WPS module is implemented.
  • FIG. 191 is a sequence diagram when the transmitting terminal (TV) performs wireless LAN authentication using optical communication with the receiving terminal (tablet) in FIG.
  • FIG. 191 will be described.
  • the transmitting terminal as shown in FIG. 189 creates a random number (step 5001a). Then, it registers with the registrar of WPS (step 5001 b). Further, the light emitting element is caused to emit light according to the pattern of the random number registered in the registrar (Step 5001 c).
  • the reception side device activates the camera in the light authentication mode.
  • the light authentication mode is a mode in which it can be recognized that the light emitting element is illuminated for authentication, and refers to a moving image shooting mode capable of shooting along with the cycle on the light emitting side.
  • the user captures a light emitting element of the transmission side terminal (step 5001 d).
  • the receiving terminal receives a random number by photographing (step 5001 e).
  • the receiving side terminal receiving the random number inputs the random number as the PIN of WPS (step 5001 f).
  • the transmitting / receiving terminal in which both sides have shared the PIN performs an authentication process according to the definition of WPS (step 5001 g).
  • the transmitting terminal deletes the random number from the registrar, and does not accept authentication from a plurality of terminals (5001 h).
  • the present method is applicable not only to wireless LAN authentication but also to all wireless authentication methods using a shared key.
  • the present method is not limited to the wireless authentication method.
  • it is possible to adapt to authentication of an application installed on both the TV and the tablet.
  • FIG. 192 is a sequence diagram in the case of performing authentication by the application in the present embodiment. Hereinafter, FIG. 192 will be described.
  • the transmitting terminal creates a transmitting ID according to the state of the terminal (step 5002a).
  • the sender ID may be a random number or a key for encryption. Also, it may include the terminal ID (MAC address, IP address) of the transmitting side terminal. Subsequently, the transmitting terminal emits light according to the pattern of the transmitting ID (step 5002b).
  • the reception side apparatus receives the transmission side ID in the same procedure as in the case of wireless authentication (step 5002 f). Subsequently, when the reception side apparatus receives the transmission side ID, the reception side apparatus creates a reception side ID that can prove that the transmission side ID has been received (step 5002 g). For example, it may be the terminal ID of the receiving side terminal encrypted by the transmitting side ID. It may also include the process ID and password of the application running on the receiving terminal. Subsequently, the receiving terminal wirelessly broadcasts the receiving ID (step 5002 h). If the sender ID includes the terminal ID of the sender terminal, unicast may be performed.
  • the 5002c transmission side terminal that has received the reception side ID wirelessly performs authentication using the transmission side ID shared with the terminal that has sent the received reception side ID (step 5002 d).
  • FIG. 193 is a flowchart showing the operation of the transmitting terminal in the present embodiment. Hereinafter, FIG. 193 will be described.
  • the transmitting terminal emits an ID according to the state of the terminal (step 5003a).
  • step 5003c it is checked whether there is a wireless response corresponding to the emitted ID (step 5003c). If there is a response (Yes in step 5003c), authentication processing is performed on the terminal that has made the response (step 5003d). If there is no response in step 5003c, the process waits for a timeout time (step 5003i), displays no response, and ends (step 5003j).
  • step 5003 e it is confirmed whether the authentication process is successful, and if the authentication process is successful (Yes in step 5003 e), if the emitted ID includes a command other than authentication (Yes in step 5003 f) ), Perform processing according to the command (step 5003 g).
  • step 5003e If the authentication fails in step 5003e, an authentication error is displayed (step 5003h), and the process ends.
  • FIG. 194 is a flowchart showing an operation of the receiving side terminal in the present embodiment. Hereinafter, FIG. 194 will be described.
  • the receiving terminal activates the camera in the light authentication mode (step 5004a).
  • step 5004b it is confirmed whether light can be received in a specific pattern (step 5004b), and if it can be confirmed (Yes in step 5004b), a receiver ID capable of proving that the transmitter ID has been received is created ( Step 5004 c). If the confirmation can not be made (No in step 5004b), the timeout time is waited (Yes in step 5004i), the timeout is displayed (step 5004j), and the process ends.
  • step 5004k it is checked whether the transmitting terminal includes the ID of the transmitting terminal (step 5004k). If it is included (Yes in step 5004k), the receiving ID is unicast to the terminal (step 5004) 5004d). On the other hand, when it is not included (No in step 5004k), broadcast is performed (step 5004l).
  • step 5004 e authentication processing is started from the transmitting terminal side (step 5004 e), and when the authentication processing is successful (Yes in step 5004 e), it is judged whether or not the received ID includes a command (step 5004 f) . If it is determined in step 5004 f that the information is included (YES in step 5004 f), processing according to the ID is performed (step 5004 g).
  • step 5004e If the authentication fails in step 5004e (No in step 5004e), an authentication error is displayed (step 5004h), and the process ends.
  • FIG. 195 is a sequence diagram in which the mobile AV terminal 1 transmits data to the mobile AV terminal 2 in the present embodiment. Specifically, FIG. 195 shows a sequence diagram of data transmission / reception using NFC / wireless LAN wireless communication. Hereinafter, FIG. 195 will be described.
  • the mobile AV terminal 1 first displays data to be transmitted to the mobile AV terminal 2 on the screen.
  • the mobile AV terminal 1 displays a confirmation screen as to whether or not to transmit data on the screen.
  • This confirmation screen may request the user to select “Yes / No” together with the text “Do you want to transmit data?” Or by touching the screen of the mobile AV terminal 1 again It may be an interface that starts data transmission.
  • the mobile AV terminal 1 and the mobile AV terminal 2 exchange information of data to be transmitted and information for establishing high-speed wireless communication by NFC.
  • Information on data to be transmitted may be performed by wireless LAN communication.
  • Information on establishment of wireless LAN communication may be a communication channel, SSID, encryption key information, or randomly generated ID information is exchanged to establish a secure communication path by this information. Also good.
  • the mobile AV terminal 1 and the mobile AV terminal 2 When the wireless LAN communication is established, the mobile AV terminal 1 and the mobile AV terminal 2 perform data communication by the wireless LAN communication, and transmit data to be transmitted of the mobile AV terminal 1 to the mobile AV terminal 2.
  • FIG. 196 is a screen transition diagram when mobile AV terminal 1 transmits data to mobile AV terminal 2 in the present embodiment.
  • FIG. 197 is a screen transition diagram when the mobile AV terminal 1 transmits data to the mobile AV terminal 2 in the present embodiment.
  • the user first activates an application for reproducing moving image still images.
  • This application displays still image and video data in the mobile AV terminal 1.
  • NFC communication is performed by bringing the mobile AV terminal 1 and the mobile AV terminal 2 into quasi-contact.
  • This NFC communication is a process for starting exchange of still image and moving image data in the mobile AV terminal 1.
  • a confirmation screen as to whether data may be transmitted is displayed on the screen of the mobile AV terminal 1.
  • the confirmation screen may be an interface that allows the user to touch the screen to start data transmission as shown in FIG. 196, or may be an interface that allows the user to select whether data transmission is allowed or not.
  • Yes in the data transmission start determination that is, when the mobile AV terminal 1 transmits data to the mobile AV terminal 2, the mobile AV terminal 1 starts information on data exchanged with the mobile AV terminal 2 and high speed wireless communication by wireless LAN Send information about The information on the exchanged data may be performed using high-speed wireless communication.
  • the mobile AV terminal 1 and the mobile AV terminal 2 transmit and receive information related to the start of high-speed wireless communication by the wireless LAN
  • the mobile AV terminal 1 and the mobile AV terminal 2 perform processing for establishing a connection of wireless LAN communication.
  • This process includes what channel is used for communication, which is the parent terminal and which is the child terminal in the communication topology, password information, mutual exchange of SSID and terminal information, and the like.
  • the mobile AV terminal 1 and the mobile AV terminal 2 transmit data by wireless LAN communication.
  • the mobile AV terminal 1 displays the reproduction screen of the moving image as usual, and the mobile AV terminal 2 which is the data receiving side displays a screen indicating that the data is being received.
  • the mobile AV terminal 2 is receiving data, and by displaying a screen indicating that the data is being received on the screen so that the received data can be displayed immediately, it is possible to display the data received immediately upon completion of data reception. There is.
  • the mobile AV terminal 2 displays the received data on the screen.
  • FIGS. 198 to 200 are system schematic diagrams in the case where mobile AV terminal 1 in the present embodiment is a digital camera.
  • the mobile AV terminal 1 is a digital camera
  • a digital camera often has a means for accessing the Internet via a wireless LAN but does not have a means for accessing the Internet via mobile communication.
  • the digital camera transmits image data captured by a wireless LAN to a photo sharing service under an environment where wireless LAN communication can be performed, In an environment where wireless LAN communication can not be performed, data is first transmitted to the mobile AV terminal 2 using the wireless LAN, and the mobile AV terminal 2 is configured to transmit the received data as it is to the photo sharing service by mobile phone communication. Is desirable.
  • wireless LAN communication is faster than mobile phone communication, when wireless LAN communication is possible, it is possible to transmit photos to the photo sharing service at high speed by performing wireless LAN communication.
  • the mobile telephone communication network generally has a wider service area than the wireless LAN communication network, when there is no wireless LAN environment, data is transmitted to the photo sharing service by the mobile telephone communication by relaying the mobile AV terminal 2 With the ability to do that, it's possible to send photos to photo sharing services instantly in different places.
  • data can be exchanged using NFC communication and high-speed wireless communication.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Optical Communication System (AREA)
  • Selective Calling Equipment (AREA)
  • Telephone Function (AREA)
  • Dc Digital Transmission (AREA)
  • Telephonic Communication Services (AREA)
  • Studio Devices (AREA)

Abstract

 多様な機器で通信を可能とする情報通信方法は、輝度変化によって信号を送信する情報通信方法であって、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定ステップ(SK11)と、決定された輝度変化のパターンにしたがって複数の発光体が輝度変化することによって、送信対象の信号を送信する送信ステップ(SK12)とを含み、その複数の発光体が配置された面において、複数の発光体の外にあって輝度変化しない非輝度変化領域が、その面の垂直方向および水平方向のうちの少なくとも一方に沿って複数の発光体の間を通ってその面を横断することがないように、複数の発光体がその面上に配置されている。

Description

情報通信方法
 本発明は、スマートフォン、タブレット、携帯電話等の携帯端末と、エアコン、照明機器、炊飯器などの家電機器との通信方法に関する。
 近年のホームネットワークでは、Ethernet(登録商標)や無線LAN(Local Area Network)でのIP(Internet Protocol)接続によるAV家電の連携に加え、環境問題に対応した電力使用量の管理や、宅外からの電源ON/OFFといった機能を持つホームエネルギーマネジメントシステム(HEMS)によって、多様な家電機器がネットワークに接続される家電連携機能の導入が進んでいる。しかしながら、通信機能を有するには、演算力が十分ではない家電や、コスト面で通信機能の搭載が難しい家電などもある。
 このような問題を解決するため、特許文献1では、光を用いて自由空間に情報を伝達する光空間伝送装置において、照明光の単色光源を複数用いた通信を行うことで、限られた送信装置のなかで、効率的に機器間の通信を実現する技術が記載されている。
特開2002-290335号公報
 しかしながら、前記従来の方式では、適用される機器が照明のような3色光源を持つ場合に限定される。本発明は、このような課題を解決し、演算力が少ないような機器を含む多様な機器間の通信を可能とする情報通信方法を提供する。
 本発明の一形態に係る情報通信方法は、輝度変化によって信号を送信する情報通信方法であって、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定ステップと、決定された輝度変化のパターンにしたがって複数の発光体が輝度変化することによって、前記送信対象の信号を送信する送信ステップとを含み、前記複数の発光体が配置された面において、前記複数の発光体の外にあって輝度変化しない非輝度変化領域が、前記面の垂直方向および水平方向のうちの少なくとも一方に沿って前記複数の発光体の間を通って前記面を横断することがないように、前記複数の発光体が前記面上に配置されている。
 なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
 本発明によれば、演算力が少ないような機器を含む多様な機器間の通信を可能とする情報通信方法を実現できる。
実施の形態1の情報通信装置における送信信号のタイミング図である。 実施の形態1における送信信号と受信信号の関係を示す図である。 実施の形態1における送信信号と受信信号の関係を示す図である。 実施の形態1における送信信号と受信信号の関係を示す図である。 実施の形態1における送信信号と受信信号の関係を示す図である。 実施の形態1における送信信号と受信信号の関係を示す図である。 実施の形態2の原理を示す図である。 実施の形態2の動作の一例を示す図である。 実施の形態2の動作の一例を示す図である。 実施の形態2の動作の一例を示す図である。 実施の形態2の動作の一例を示す図である。 実施の形態2の動作の一例を示す図である。 実施の形態2の動作の一例を示す図である。 実施の形態2の動作の一例を示す図である。 実施の形態2の動作の一例を示す図である。 実施の形態2の動作の一例を示す図である。 実施の形態2の動作の一例を示す図である。 実施の形態2の動作の一例を示す図である。 実施の形態2の動作の一例を示す図である。 実施の形態2の動作の一例を示す図である。 実施の形態2の動作の一例を示す図である。 実施の形態2の動作の一例を示す図である。 実施の形態3における発光部の輝度の観測方法の一例を示す図である。 実施の形態3における発光部の輝度の観測方法の一例を示す図である。 実施の形態3における発光部の輝度の観測方法の一例を示す図である。 実施の形態3における発光部の輝度の観測方法の一例を示す図である。 実施の形態3における発光部の輝度の観測方法の一例を示す図である。 実施の形態3における発光部の輝度の観測方法の一例を示す図である。 実施の形態3における発光部の輝度の観測方法の一例を示す図である。 実施の形態3における発光部の輝度の観測方法の一例を示す図である。 実施の形態3における発光部の輝度の観測方法の一例を示す図である。 実施の形態3における発光部の輝度の観測方法の一例を示す図である。 実施の形態3における発光部の輝度の観測方法の一例を示す図である。 実施の形態3における発光部の輝度の観測方法の一例を示す図である。 実施の形態3における発光部の輝度の観測方法の一例を示す図である。 実施の形態3における信号変調方式の一例を示す図である。 実施の形態3における信号変調方式の一例を示す図である。 実施の形態3における信号変調方式の一例を示す図である。 実施の形態3における信号変調方式の一例を示す図である。 実施の形態3における信号変調方式の一例を示す図である。 実施の形態3における信号変調方式の一例を示す図である。 実施の形態3における信号変調方式の一例を示す図である。 実施の形態3における信号変調方式の一例を示す図である。 実施の形態3における信号変調方式の一例を示す図である。 実施の形態3における信号変調方式の一例を示す図である。 実施の形態3における信号変調方式の一例を示す図である。 実施の形態3における信号変調方式の一例を示す図である。 実施の形態3における信号変調方式の一例を示す図である。 実施の形態3における信号変調方式の一例を示す図である。 実施の形態3における信号変調方式の一例を示す図である。 実施の形態3における信号変調方式の一例を示す図である。 実施の形態3における発光部の検出方法の一例を示す図である。 実施の形態3における発光部の検出方法の一例を示す図である。 実施の形態3における発光部の検出方法の一例を示す図である。 実施の形態3における発光部の検出方法の一例を示す図である。 実施の形態3における発光部の検出方法の一例を示す図である。 実施の形態3における送信信号のタイムラインと、発光部を撮像した画像を示す図である。 実施の形態3における位置パターンによる信号の伝送の一例を示す図である。 実施の形態3における受信装置の一例を示す図である。 実施の形態3における送信装置の一例を示す図である。 実施の形態3における送信装置の一例を示す図である。 実施の形態3における送信装置の一例を示す図である。 実施の形態3における送信装置の一例を示す図である。 実施の形態3における送信装置の一例を示す図である。 実施の形態3における送信装置の一例を示す図である。 実施の形態3における送信装置の一例を示す図である。 実施の形態3における送信装置の一例を示す図である。 実施の形態3における発光部の構造の一例を示す図である。 実施の形態3における信号搬送波の一例を示す図である。 実施の形態3における撮像部の一例を示す図である。 実施の形態3における受信装置の位置の推定の一例を示す図である。 実施の形態3における受信装置の位置の推定の一例を示す図である。 実施の形態3における受信装置の位置の推定の一例を示す図である。 実施の形態3における受信装置の位置の推定の一例を示す図である。 実施の形態3における受信装置の位置の推定の一例を示す図である。 実施の形態3における送信情報の設定の一例を示す図である。 実施の形態3における送信情報の設定の一例を示す図である。 実施の形態3における送信情報の設定の一例を示す図である。 実施の形態3における受信装置の構成要素の一例を示すブロック図である。 実施の形態3における送信装置の構成要素の一例を示すブロック図である。 実施の形態3における受信の手順の一例を示す図である。 実施の形態3における自己位置推定の手順の一例を示す図である。 実施の形態3における送信制御の手順の一例を示す図である。 実施の形態3における送信制御の手順の一例を示す図である。 実施の形態3における送信制御の手順の一例を示す図である。 実施の形態3における駅構内での情報提供の一例を示す図である。 実施の形態3における乗車サービスの一例を示す図である。 実施の形態3における店舗内サービスの一例を示す図である。 実施の形態3における無線接続の確立の一例を示す図である。 実施の形態3における通信範囲の調整の一例を示す図である。 実施の形態3における屋内での利用の一例を示す図である。 実施の形態3における屋外での利用の一例を示す図である。 実施の形態3における道順の指示の一例を示す図である。 実施の形態3における複数の撮像装置の利用の一例を示す図である。 実施の形態3における送信装置自律制御の一例を示す図である。 実施の形態3における送信情報の設定の一例を示す図である。 実施の形態3における送信情報の設定の一例を示す図である。 実施の形態3における送信情報の設定の一例を示す図である。 実施の形態3における2次元バーコードとの組み合わせの一例を示す図である。 実施の形態3における地図の作成と利用の一例を示す図である。 実施の形態3における電子機器の状態取得と操作の一例を示す図である。 実施の形態3における電子機器の認識の一例を示す図である。 実施の形態3における拡張現実オブジェクトの表示の一例を示す図である。 実施の形態3におけるユーザインタフェースの一例を示す図である。 実施の形態3におけるユーザインタフェースの一例を示す図である。 実施の形態3におけるユーザインタフェースの一例を示す図である。 実施の形態3におけるユーザインタフェースの一例を示す図である。 実施の形態3におけるユーザインタフェースの一例を示す図である。 実施の形態3におけるユーザインタフェースの一例を示す図である。 実施の形態3におけるユーザインタフェースの一例を示す図である。 実施の形態3におけるユーザインタフェースの一例を示す図である。 実施の形態3におけるユーザインタフェースの一例を示す図である。 実施の形態3におけるユーザインタフェースの一例を示す図である。 実施の形態3におけるユーザインタフェースの一例を示す図である。 実施の形態3におけるユーザインタフェースの一例を示す図である。 実施の形態3におけるユーザインタフェースの一例を示す図である。 実施の形態3におけるユーザインタフェースの一例を示す図である。 実施の形態3におけるユーザインタフェースの一例を示す図である。 実施の形態3におけるユーザインタフェースの一例を示す図である。 実施の形態3におけるユーザインタフェースの一例を示す図である。 実施の形態4におけるITSへの応用例を示す図である。 実施の形態4におけるITSへの応用例を示す図である。 実施の形態4における位置情報報知システムおよび施設システムへの応用例を示す図である。 実施の形態4におけるスーパーマーケットのシステムへの応用例を示す図である。 実施の形態4における携帯電話端末とカメラの通信への応用例を示す図である。 実施の形態4における水中通信への応用例を示す図である。 実施の形態5におけるユーザへのサービス提供例を説明するための図である。 実施の形態5におけるユーザへのサービス提供例を説明するための図である。 実施の形態5における受信機が送信機から受信した複数の信号を同時に処理する場合を示すフローチャートである。 実施の形態5における相互通信により機器間のコミュニケーションを実現する場合の一例を示す図である。 実施の形態5における指向性の特性を利用したサービスを説明するための図である。 実施の形態5におけるユーザへのサービス提供例の別の例を説明するための図である。 実施の形態5における送信機が発する光源に含まれる信号のフォーマット例を示す図である。 実施の形態6における宅内の環境の例を示す図である。 実施の形態6における家電機器とスマートフォンの通信の例を示す図である。 実施の形態6における送信側装置の構成の1例を示す図である。 実施の形態6における受信側装置の構成の1例を示す図である。 実施の形態6における送信側装置のLEDの点滅によって受信側装置に情報を送信する処理の流れを示す図である。 実施の形態6における送信側装置のLEDの点滅によって受信側装置に情報を送信する処理の流れを示す図である。 実施の形態6における送信側装置のLEDの点滅によって受信側装置に情報を送信する処理の流れを示す図である。 実施の形態6における送信側装置のLEDの点滅によって受信側装置に情報を送信する処理の流れを示す図である。 実施の形態6における送信側装置のLEDの点滅によって受信側装置に情報を送信する処理の流れを示す図である。 実施の形態7における可視光を用いてユーザと機器の通信を行う手順を説明するための図である。 実施の形態7における可視光を用いてユーザと機器の通信を行う手順を説明するための図である。 実施の形態7におけるユーザが機器を購入して、機器の初期設定を行うまでの手順を説明するための図である。 実施の形態7における機器が故障した場合の、サービスマン専用のサービスについて説明するための図である。 実施の形態7における掃除機と可視光通信を用いた、掃除状況を確認するためのサービスについて説明するための図である。 実施の形態8における光通信を用いた宅配サービス支援の概略図である。 実施の形態8における光通信を用いた宅配サービス支援を説明するためのフローチャートである。 実施の形態8における光通信を用いた宅配サービス支援を説明するためのフローチャートである。 実施の形態8における光通信を用いた宅配サービス支援を説明するためのフローチャートである。 実施の形態8における光通信を用いた宅配サービス支援を説明するためのフローチャートである。 実施の形態8における光通信を用いた宅配サービス支援を説明するためのフローチャートである。 実施の形態8における光通信を用いた宅配サービス支援を説明するためのフローチャートである。 実施の形態9におけるサーバへユーザと使用中の携帯電話を登録する処理を説明するための図である。 実施の形態9におけるユーザ音声特性の解析を行う処理を説明するための図である。 実施の形態9における音声認識処理の準備を行う処理を説明するための図である。 実施の形態9における周辺の集音機器からの集音を行う処理を説明するための図である。 実施の形態9における環境音特性の解析処理を説明するための図である。 実施の形態9における周辺に存在する音声出力機器からの音声をキャンセルする処理を説明するための図である。 実施の形態9における調理メニューの選択と電子レンジへの運転内容設定を行う処理を説明するための図である。 実施の形態9における電子レンジ用の通知音をサーバ等のDBから取得し電子レンジへ設定する処理を説明するための図である。 実施の形態9における電子レンジの通知音の調整を行う処理を説明するための図である。 実施の形態9における電子レンジに設定する通知音の波形の例を示す図である。 実施の形態9における調理内容の表示を行う処理を説明するための図である。 実施の形態9における電子レンジの通知音の認識を行う処理を説明するための図である。 実施の形態9における周辺の集音機器からの集音と電子レンジ通知音の認識を行う処理を説明するための図である。 実施の形態9における電子レンジの運転終了をユーザへ通知する処理を説明するための図である。 実施の形態9における携帯電話操作状態の確認を行う処理を説明するための図である。 実施の形態9におけるユーザ位置の追跡を行う処理を説明するための図である。 音声出力装置からの音声をキャンセルしつつ、家電の通知音を認識し、通信可能な電子機器にユーザ(操作者)の現在位置を認識させ、ユーザ位置の認識結果から、ユーザ位置に近い位置にある機器にユーザへの通知を行わせることを示した図である。 実施の形態9におけるサーバ、または、携帯電話、または、電子レンジに保持するデータベースの内容を示す図である。 実施の形態9におけるユーザが携帯電話に表示された調理手順を基に調理を行い、また、「次へ」「戻る」等の音声によって携帯電話の表示内容をユーザが操作することを示す図である。 実施の形態9における電子レンジの運転を開始し、運転終了を待っている間や、煮物を煮込んでいる間等の時間に、ユーザが他の場所へ移動していることを示す図である。 ネットワークを介して携帯電話と接続されており、かつ、カメラやマイクや人感センサ等の、ユーザの位置の認識やユーザが存在していることを認識することができる機器に対して、携帯電話からユーザを探知する命令を送信することを示す図である。 実施の形態9におけるユーザの探知の例として、テレビに付属したカメラでユーザの顔を認識し、また、エアコンの人感センサでユーザの移動や存在を認識していることを示す図である。 ユーザを探知した機器から、ユーザを探知したことや、探知した機器からユーザまでの相対位置を、携帯電話に送信することを示す図である。 実施の形態9における電子レンジの運転終了音を、携帯電話が認識することを示す図である。 電子レンジの運転終了を認識した携帯電話が、ユーザを探知している機器のうち、画面表示機能や音声出力機能を持った機器に、電子レンジの運転終了をユーザへ通知させる命令を送信することを示す図である。 実施の形態9における命令を受け取った機器が、通知内容をユーザへ通知することを示す図である。 電子レンジの運転終了音を、ネットワークを介して携帯電話と接続されており、マイクを備えており、電子レンジの付近に存在する機器が認識することを示す図である。 電子レンジの運転終了を、これを認識した機器から携帯電話へ通知することを示す図である。 携帯電話が電子レンジの運転終了の通知受け取ったとき、携帯電話がユーザの付近にあれば、携帯電話の画面表示や音声出力等を用いて、電子レンジの運転終了をユーザへ通知することを示す図である。 電子レンジの運転終了をユーザへ通知することを示す図である。 電子レンジの運転終了の通知を受けたユーザがキッチンに移動することを示す図である。 電子レンジから無線通信で携帯電話に、運転終了等の情報を送信し、携帯電話から、ユーザの見ているテレビに通知命令を行い、テレビの画面表示や音声でユーザに通知を行うことを示す図である。 電子レンジから無線通信で、ユーザの見ているテレビに運転終了などの情報を送信し、テレビの画面表示や音声を用いてユーザに通知を行うことを示す図である。 テレビの画面表示や音声でユーザに通知を行うことを示す図である。 遠隔地にいるユーザへ情報の通知を行うことを示す図である。 電子レンジから、ハブとなる携帯電話へ直接通信が行えない場合に、パソコン等を経由して、携帯電話に情報を送信することを示した図である。 図180の通信を受けた携帯電話から、情報通信経路を逆に辿って電子レンジに操作命令等の情報を送信することを示す図である。 情報ソース機器であるエアコンから、ハブとなる携帯電話に直接の通信が不可能である場合に、ユーザに情報の通知を行なうことを示した図である。 700~900MHzの電波を用いた通信装置を利用したシステムについて説明するための図である。 遠隔地の携帯電話がユーザに情報を通知することを示す図である。 遠隔地の携帯電話がユーザへ情報の通知を行うことを示す図である。 図185と同様の場合において、通知認識機器と情報通知機器の中継を行う機器に代わって、2階のテレビが中継機器の役割を果たした場合の図である。 実施の形態10における宅内の環境の例を示す図である。 実施の形態10における家電機器とスマートフォンの通信の例を示す図である。 実施の形態10における送信側装置の構成を示す図である。 実施の形態10における受信側装置の構成を示す図である。 図187において、送信側端末(TV)が受信側端末(タブレット)と光通信を用いて無線LAN認証を行う場合のシーケンス図である。 実施の形態10におけるアプリケーションでの認証を行う場合のシーケンス図である。 実施の形態10における送信側端末の動作を表すフローチャートである。 実施の形態10における受信側端末の動作を表すフローチャートである。 実施の形態11におけるモバイルAV端末1がモバイルAV端末2にデータを送信するシーケンス図である。 実施の形態11におけるモバイルAV端末1がモバイルAV端末2にデータを送信する場合の画面遷移図である。 実施の形態11におけるモバイルAV端末1がモバイルAV端末2にデータを送信する場合の画面遷移図である。 実施の形態11におけるモバイルAV端末1がデジタルカメラである場合のシステム概略図である。 実施の形態11におけるモバイルAV端末1がデジタルカメラである場合のシステム概略図である。 実施の形態11におけるモバイルAV端末1がデジタルカメラである場合のシステム概略図である。 実施の形態12における受信機と送信機の適用例を示す図である。 実施の形態12における受信機と送信機の適用例を示す図である。 実施の形態12における受信機と送信機の適用例を示す図である。 実施の形態12における受信機と送信機の適用例を示す図である。 実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。 実施の形態12における受信機と送信機の適用例を示す図である。 実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。 実施の形態12における受信機と送信機の適用例を示す図である。 実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。 実施の形態12における受信機と送信機の適用例を示す図である。 実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。 実施の形態12における受信機と送信機の適用例を示す図である。 実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。 実施の形態12における受信機と送信機の適用例を示す図である。 実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。 実施の形態12における受信機と送信機の適用例を示す図である。 実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。 実施の形態12における受信機と送信機の適用例を示す図である。 実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。 実施の形態12における受信機と送信機の適用例を示す図である。 実施の形態12における受信機と送信機の適用例を示す図である。 実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。 実施の形態12における受信機と送信機の適用例を示す図である。 実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。 実施の形態12における受信機と送信機の適用例を示す図である。 実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。 実施の形態12における受信機と送信機の適用例を示す図である。 実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。 実施の形態12における受信機の状態を示す図である。 実施の形態12における受信機の処理動作の一例を示すフローチャートである。 実施の形態12における受信機の状態を示す図である。 実施の形態12における受信機の処理動作の一例を示すフローチャートである。 実施の形態12における受信機の状態を示す図である。 実施の形態12における受信機の処理動作の一例を示すフローチャートである。 実施の形態12における受信機の状態を示す図である。 実施の形態12における受信機の処理動作の一例を示すフローチャートである。 実施の形態12における受信機の状態を示す図である。 実施の形態12における受信機の処理動作の一例を示すフローチャートである。 実施の形態12における受信機と送信機の適用例を示す図である。 実施の形態12における受信機と送信機の適用例を示す図である。 実施の形態12における受信機と送信機の適用例を示す図である。 実施の形態12における受信機と送信機の適用例を示す図である。 実施の形態12における受信機と送信機の適用例を示す図である。 実施の形態12における受信機と送信機の適用例を示す図である。 実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。 実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。 実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。 実施の形態12における送信機の輝度変化を示す図である。 実施の形態12における受信機の処理動作の一例を示すフローチャートである。 実施の形態12における送信機の輝度変化を示す図である。 実施の形態12における受信機の処理動作の一例を示すフローチャートである。 実施の形態12における送信機の輝度変化を示す図である。 実施の形態12における送信機の処理動作の一例を示すフローチャートである。 実施の形態12における送信機の輝度変化を示す図である。 実施の形態12における受信機の処理動作の一例を示すフローチャートである。 実施の形態12における受信機の処理動作の一例を示すフローチャートである。 実施の形態12における送信機の処理動作の一例を示すフローチャートである。 実施の形態12における送信機の構成例を示す図である。 実施の形態12における送信機の構成例を示す図である。 実施の形態12における送信機の構成例を示す図である。 実施の形態12における受信機の処理動作の一例を示すフローチャートである。 実施の形態12における受信機と送信機による表示と撮影の例を示す図である。 実施の形態12における送信機の処理動作の一例を示すフローチャートである。 実施の形態12における受信機の処理動作の一例を示すフローチャートである。 実施の形態12における受信機と送信機の適用例を示す図である。 実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。 実施の形態12における受信機の状態を示す図である。 実施の形態12における受信機の処理動作の一例を示すフローチャートである。 実施の形態12における受信機の状態を示す図である。 実施の形態12における受信機の処理動作の一例を示すフローチャートである。 実施の形態12における受信機の処理動作の一例を示すフローチャートである。 実施の形態12における送信機の波長の一例を示す図である。 実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。 実施の形態12における受信機と送信機を含むシステムの構成例を示す図である。 実施の形態12におけるシステムの処理動作の一例を示すフローチャートである。 実施の形態12における受信機と送信機を含むシステムの構成例を示す図である。 実施の形態12におけるシステムの処理動作の一例を示すフローチャートである。 実施の形態12における受信機の処理動作の一例を示すフローチャートである。 実施の形態12における受信機の処理動作の一例を示すフローチャートである。 実施の形態12における受信機と送信機を含むシステムの構成例を示す図である。 実施の形態12における受信機の処理動作の一例を示すフローチャートである。 実施の形態12における受信機と送信機の適用例を示す図である。 実施の形態12における受信機の処理動作の一例を示すフローチャートである。 実施の形態12における受信機と送信機を含むシステムの構成例を示す図である。 実施の形態12におけるシステムの処理動作の一例を示すフローチャートである。 実施の形態12における受信機の処理動作の一例を示すフローチャートである。 実施の形態12における送信機の構成の一例を示す図である。 実施の形態12における送信機の構成の他の例を示す図である。 実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。 実施の形態13における受信機と送信機に関する処理動作の一例を示すフローチャートである。 実施の形態13における受信機と送信機に関する処理動作の一例を示すフローチャートである。 実施の形態13における受信機と送信機に関する処理動作の一例を示すフローチャートである。 実施の形態13における受信機と送信機に関する処理動作の一例を示すフローチャートである。 実施の形態13における受信機と送信機に関する処理動作の一例を示すフローチャートである。 実施の形態13における送信機の適用例を示す図である。 実施の形態13における送信機の適用例を示す図である。 実施の形態13における送信機の適用例を示す図である。 実施の形態13における送信機と受信機の適用例を示す図である。 実施の形態13における送信機と受信機の適用例を示す図である。 実施の形態13における送信機と受信機の適用例を示す図である。 実施の形態13における送信機と受信機の適用例を示す図である。 実施の形態13における送信信号の例を示す図である。 実施の形態13における送信信号の他の例を示す図である。 実施の形態13における送信信号の例を示す図である。 実施の形態13における送信信号の例を示す図である。 実施の形態13における送信信号の他の例を示す図である。 実施の形態13における送信信号の例を示す図である。 実施の形態13における送信信号の例を示す図である。 実施の形態13における送信信号の例を示す図である。 実施の形態13における送信機の適用例を示す図である。 実施の形態13における送信機の適用例を示す図である。 実施の形態13における撮像素子を説明するための図である。 実施の形態13における撮像素子を説明するための図である。 実施の形態13における撮像素子を説明するための図である。 各実施の形態の変形例に係る受信装置(撮像装置)の処理動作を示すフローチャートである。 各実施の形態の変形例に係る通常撮像モードとマクロ撮像モードとを対比して示す図である。 各実施の形態の変形例に係る、映像などを表示する表示装置を示す図である。 各実施の形態の変形例に係る表示装置の処理動作の一例を示す図である。 各実施の形態の変形例に係る表示装置における信号を送信する部分の例を示す図である。 各実施の形態の変形例に係る表示装置の処理動作の他の例を示す図である。 各実施の形態の変形例に係る表示装置における信号を送信する部分の他の例を示す図である。 各実施の形態の変形例に係る表示装置による処理動作のさらに他の例を示す図である。 各実施の形態の変形例に係る送信機および受信機を含む通信システムの構成を示す図である。 各実施の形態の変形例に係る通信システムの処理動作を示すフローチャートである。 各実施の形態の変形例に係る信号伝送の例を示す図である。 各実施の形態の変形例に係る信号伝送の例を示す図である。 各実施の形態の変形例に係る信号伝送の例を示す図である。 各実施の形態の変形例に係る信号伝送の例を示す図である。 各実施の形態の変形例に係る信号伝送の例を示す図である。 各実施の形態の変形例に係る信号伝送の例を示す図である。 各実施の形態の変形例に係る、ディスプレイまたはプロジェクタと受信機とを含む通信システムの処理動作を示すフローチャートである。 各実施の形態の変形例に係る送信信号の例を示す図である。 各実施の形態の変形例に係る送信信号の例を示す図である。 各実施の形態の変形例に係る送信信号の例を示す図である。 各実施の形態の変形例に係る受信機の撮像素子の一例を示す図である。 各実施の形態の変形例に係る受信機の撮像装置の内部回路の構成例を示す図である。 各実施の形態の変形例に係る送信信号の例を示す図である。 各実施の形態の変形例に係る送信信号の例を示す図である。 各実施の形態の変形例に係る受信機の撮像モードを説明するための図である。 各実施の形態の変形例に係る受信機の特別撮像モードAを用いた処理動作を示すフローチャートである。 各実施の形態の変形例に係る受信機の他の撮像モードを説明するための図である。 各実施の形態の変形例に係る受信機の特別撮像モードBを用いた処理動作を示すフローチャートである。 各実施の形態の変形例に係る受信機のさらに他の撮像モードを説明するための図である。 各実施の形態の変形例に係る受信機の特別撮像モードCを用いた処理動作を示すフローチャートである。 本発明の一態様に係る情報通信方法のフローチャートである。 本発明の一態様に係る情報通信装置のブロック図である。 本発明の一態様に係る情報通信方法のフローチャートである。 本発明の一態様に係る情報通信装置のブロック図である。 本発明の一態様に係る情報通信方法によって得られる画像の一例を示す図である。 本発明の他の態様に係る情報通信方法のフローチャートである。 本発明の他の態様に係る情報通信装置のブロック図である。 本発明のさらに他の態様に係る情報通信方法のフローチャートである。 本発明のさらに他の態様に係る情報通信装置のブロック図である。 図335は、実施の形態14における受信機の各モードの一例を示す図である。 図336は、実施の形態14における受信機の撮影動作の一例を示す図である。 図337は、実施の形態14における受信機の撮影動作の他の例を示す図である。 図338Aは、実施の形態14における受信機の撮影動作の他の例を示す図である。 図338Bは、実施の形態14における受信機の撮影動作の他の例を示す図である。 図338Cは、実施の形態14における受信機の撮影動作の他の例を示す図である。 図339Aは、実施の形態14における受信機のカメラ配置の一例を示す図である。 図339Bは、実施の形態14における受信機のカメラ配置の他の例を示す図である。 図340は、実施の形態14における受信機の表示動作の一例を示す図である。 図341は、実施の形態14における受信機の表示動作の一例を示す図である。 図342は、実施の形態14における受信機の動作の一例を示す図である。 図343は、実施の形態14における受信機の動作の他の例を示す図である。 図344は、実施の形態14における受信機の動作の他の例を示す図である。 図345は、実施の形態14における受信機の動作の他の例を示す図である。 図346は、実施の形態14における受信機の動作の他の例を示す図である。 図347は、実施の形態14における受信機の動作の他の例を示す図である。 図348は、実施の形態14における受信機の動作の他の例を示す図である。 図349は、実施の形態14における受信機と送信機とサーバとの動作の一例を示す図である。 図350は、実施の形態14における受信機の動作の他の例を示す図である。 図351は、実施の形態14における受信機の動作の他の例を示す図である。 図352は、実施の形態14における受信機の初期設定の例を示す図である。 図353は、実施の形態14における受信機の動作の他の例を示す図である。 図354は、実施の形態14における受信機の動作の他の例を示す図である。 図355は、実施の形態14における受信機の動作の他の例を示す図である。 図356は、実施の形態14における受信機の動作の他の例を示す図である。 図357は、実施の形態14における受信機の動作の他の例を示す図である。 図358は、実施の形態14における受信機の動作の他の例を示す図である。 図359Aは、実施の形態14における受信機の操作に用いられるペンを示す図である。 図359Bは、実施の形態14におけるペンを用いた受信機の動作を示す図である。 図360は、実施の形態14における受信機の外観の一例を示す図である。 図361は、実施の形態14における受信機の外観の他の例を示す図である。 図362は、実施の形態14における受信機の動作の他の例を示す図である。 図363Aは、実施の形態14における受信機の動作の他の例を示す図である。 図363Bは、実施の形態14における受信機を用いた応用例を示す図である。 図364Aは、実施の形態14における受信機の動作の他の例を示す図である。 図364Bは、実施の形態14における受信機を用いた応用例を示す図である。 図365Aは、実施の形態14における送信機の動作の一例を示す図である。 図365Bは、実施の形態14における送信機の動作の他の例を示す図である。 図366は、実施の形態14における送信機の動作の他の例を示す図である。 図367は、実施の形態14における送信機の動作の他の例を示す図である。 図368は、実施の形態14における複数の送信機と受信機との間の通信形態の一例を示す図である。 図369は、実施の形態14における複数の送信機の動作の一例を示す図である。 図370は、実施の形態14における複数の送信機と受信機との間の通信形態の他の例を示す図である。 図371は、実施の形態14における受信機の動作の他の例を示す図である。 図372は、実施の形態14における受信機の応用例を示す図である。 図373は、実施の形態14における受信機の応用例を示す図である。 図374は、実施の形態14における受信機の応用例を示す図である。 図375は、実施の形態14における送信機の応用例を示す図である。 図376は、実施の形態14における送信機の応用例を示す図である。 図377は、実施の形態14における受信方法の応用例を示す図である。 図378は、実施の形態14における送信機の応用例を示す図である。 図379は、実施の形態14における送信機の応用例を示す図である。 図380は、実施の形態14における送信機の応用例を示す図である。 図381は、実施の形態14における受信機の動作の他の例を示す図である。 図382は、実施の形態15における受信機の動作の一例を示すフローチャートである。 図383は、実施の形態15における受信機の動作の他の例を示すフローチャートである。 図384Aは、実施の形態15における送信機の一例を示すブロック図である。 図384Bは、実施の形態15における送信機の他の例を示すブロック図である。 図385は、実施の形態15における複数の送信機を含むシステムの構成例を示す図である。 図386は、実施の形態15における送信機の他の例を示すブロック図である。 図387Aは、実施の形態15における送信機の一例を示す図である。 図387Bは、実施の形態15における送信機の一例を示す図である。 図387Cは、実施の形態15における送信機の一例を示す図である。 図388Aは、実施の形態15における送信機の一例を示す図である。 図388Bは、実施の形態15における送信機の一例を示す図である。 図389は、実施の形態15における受信機、送信機およびサーバの処理動作の一例を示す図である。 図390は、実施の形態15における受信機、送信機およびサーバの処理動作の一例を示す図である。 図391は、実施の形態15における受信機、送信機およびサーバの処理動作の一例を示す図である。 図392Aは、実施の形態15における複数の送信機の同期を説明するための説明図である。 図392Bは、実施の形態15における複数の送信機の同期を説明するための説明図である。 図393は、実施の形態15における送信機および受信機の動作の一例を示す図である。 図394は、実施の形態15における送信機および受信機の動作の一例を示す図である。 図395は、実施の形態15における送信機、受信機およびサーバの動作の一例を示す図である。 図396は、実施の形態15における送信機および受信機の動作の一例を示す図である。 図397は、実施の形態15における受信機の外観の一例を示す図である。 図398は、実施の形態15における送信機、受信機およびサーバの動作の一例を示す図である。 図399は、実施の形態15における送信機および受信機の動作の一例を示す図である。 図400は、実施の形態15における送信機および受信機の動作の一例を示す図である。 図401は、実施の形態15における送信機および受信機の動作の一例を示す図である。 図402は、実施の形態15における送信機および受信機の動作の一例を示す図である。 図403Aは、実施の形態15における送信機によって送信される情報の構成の一例を示す図である。 図403Bは、実施の形態15における送信機によって送信される情報の構成の他の例を示す図である。 図404は、実施の形態15における送信機による4値PPM変調方式の一例を示す図である。 図405は、実施の形態15における送信機によるPPM変調方式の一例を示す図である。 図406は、実施の形態15における送信機におけるPPM変調方式の一例を示す図である。 図407Aは、実施の形態15におけるヘッダ(プリアンブル部)に対応する輝度変化のパターンの一例を示す図である。 図407Bは、実施の形態15における輝度変化のパターンの一例を示す図である。 図408Aは、実施の形態15における輝度変化のパターンの一例を示す図である。 図408Bは、実施の形態15における輝度変化のパターンの一例を示す図である。 図409は、実施の形態16における、店前のシチュエーションでの受信機の動作の一例を示す図である。 図410は、実施の形態16における、店前のシチュエーションでの受信機の動作の他の例を示す図である。 図411は、実施の形態16における、店前のシチュエーションでの受信機の次の動作の一例を示す図である。 図412は、実施の形態16における、店前のシチュエーションでの受信機の次の動作の一例を示す図である。 図413は、実施の形態16における、店前のシチュエーションでの受信機の次の動作の一例を示す図である。 図414は、実施の形態16における、店内のシチュエーションでの表示装置の動作の一例を示す図である。 図415は、実施の形態16における、店内のシチュエーションでの表示装置の次の動作の一例を示す図である。 図416は、実施の形態16における、店内のシチュエーションでの表示装置の次の動作の一例を示す図である。 図417は、実施の形態16における、店内のシチュエーションでの受信機の次の動作の一例を示す図である。 図418は、実施の形態16における、店内のシチュエーションでの受信機の次の動作の一例を示す図である。 図419は、実施の形態16における、店内のシチュエーションでの受信機の次の動作の一例を示す図である。 図420は、実施の形態16における、店内のシチュエーションでの受信機の次の動作の一例を示す図である。 図421は、実施の形態16における、店内のシチュエーションでの受信機の次の動作の一例を示す図である。 図422は、実施の形態16における、店内のシチュエーションでの受信機の次の動作の一例を示す図である。 図423は、実施の形態16における、店探しのシチュエーションでの受信機の動作の一例を示す図である。 図424は、実施の形態16における、店探しのシチュエーションでの受信機の次の動作の一例を示す図である。 図425は、実施の形態16における、店探しのシチュエーションでの受信機の次の動作の一例を示す図である。 図426は、実施の形態16における、映画広告のシチュエーションでの受信機の動作の一例を示す図である。 図427は、実施の形態16における、映画広告のシチュエーションでの受信機の次の動作の一例を示す図である。 図428は、実施の形態16における、映画広告のシチュエーションでの受信機の次の動作の一例を示す図である。 図429は、実施の形態16における、映画広告のシチュエーションでの受信機の次の動作の一例を示す図である。 図430は、実施の形態16における、美術館のシチュエーションでの受信機の動作の一例を示す図である。 図431は、実施の形態16における、美術館のシチュエーションでの受信機の次の動作の一例を示す図である。 図432は、実施の形態16における、美術館のシチュエーションでの受信機の次の動作の一例を示す図である。 図433は、実施の形態16における、美術館のシチュエーションでの受信機の次の動作の一例を示す図である。 図434は、実施の形態16における、美術館のシチュエーションでの受信機の次の動作の一例を示す図である。 図435は、実施の形態16における、美術館のシチュエーションでの受信機の次の動作の一例を示す図である。 図436は、実施の形態16における、バス停留所のシチュエーションでの受信機の動作の一例を示す図である。 図437は、実施の形態16における、バス停留所のシチュエーションでの受信機の次の動作の一例を示す図である。 図438は、実施の形態16における撮像を説明するための図である。 図439は、実施の形態16における送信および撮像を説明するための図である。 図440は、実施の形態16における送信を説明するための図である。 図441は、実施の形態17における送信機の動作の一例を示す図である。 図442は、実施の形態17における送信機の動作の一例を示す図である。 図443は、実施の形態17における送信機の動作の一例を示す図である。 図444は、実施の形態17における送信機および受信機の動作の一例を示す図である。 図445は、実施の形態17における受信機の動作の一例を示す図である。 図446は、実施の形態17における受信機の動作の一例を示す図である。 図447は、実施の形態17における送信機、受信機およびサーバを有するシステムの動作の一例を示す図である。 図448は、実施の形態17における送信機の構成を示すブロック図である。 図449は、実施の形態17における受信機の構成を示すブロック図である。 図450は、実施の形態17における送信機の動作の一例を示す図である。 図451は、実施の形態17における送信機の動作の一例を示す図である。 図452は、実施の形態17における送信機の動作の一例を示す図である。 図453は、実施の形態17における送信機の動作の一例を示す図である。 図454は、実施の形態17における送信機の動作の一例を示す図である。 図455は、実施の形態17における送信機の動作の一例を示す図である。 図456は、実施の形態17における送信機の動作の一例を示す図である。 図457は、実施の形態17における送信機および受信機の動作の一例を示す図である。 図458は、実施の形態17における送信機および受信機の動作の一例を示す図である。 図459は、実施の形態17における送信機および受信機の動作の一例を示す図である。 図460は、実施の形態17における送信機および受信機の動作の一例を示す図である。 図461は、実施の形態17における送信機および受信機の動作の一例を示す図である。 図462は、実施の形態17における送信機および受信機の動作の一例を示す図である。 図463は、実施の形態17における送信機および受信機の動作の一例を示す図である。 図464は、実施の形態17における送信機および受信機の動作の一例を示す図である。 図465は、実施の形態17における送信機および受信機の動作の一例を示す図である。 図466は、実施の形態17における送信機および受信機の動作の一例を示す図である。 図467は、実施の形態17における送信機および受信機の動作の一例を示す図である。 図468は、実施の形態17における送信機および受信機の動作の一例を示す図である。 図469は、実施の形態17における送信機および受信機の動作の一例を示す図である。 図470は、実施の形態17における符号化方式を示す図である。 図471は、実施の形態17における斜方向から撮像した場合でも受光可能な符号化方式を示す図である。 図472は、実施の形態17における距離によって情報量が異なる符号化方式を示す図である。 図473は、実施の形態17における距離によって情報量が異なる符号化方式を示す図である。 図474は、実施の形態17におけるデータを分割した符号化方式を示す図である。 図475は、実施の形態17における逆相画像を挿入の効果を示す図である。 図476は、実施の形態17における逆相画像を挿入の効果を示す図である。 図477は、実施の形態17における超解像処理を示す図である。 図478は、実施の形態17における可視光通信に対応していることの表示を示す図である。 図479は、実施の形態17における可視光通信信号を用いた情報取得を示す図である。 図480は、実施の形態17におけるデータフォーマットを示す図である。 図481は、実施の形態17における立体形状を推定して受信を示す図である。 図482は、実施の形態17における立体形状を推定して受信を示す図である。 図483は、実施の形態17における立体投影を示す図である。 図484は、実施の形態17における立体投影を示す図である。 図485は、実施の形態17における送信機および受信機の動作の一例を示す図である。 図486は、実施の形態17における送信機および受信機の動作の一例を示す図である。 図487は、実施の形態18の送信信号の一例を示す図である。 図488は、実施の形態18の送信信号の一例を示す図である。 図489Aは、実施の形態18における受信機の撮像画像(輝線画像)の一例を示す図である。 図489Bは、実施の形態18における受信機の撮像画像(輝線画像)の一例を示す図である。 図489Cは、実施の形態18における受信機の撮像画像(輝線画像)の一例を示す図である。 図490Aは、実施の形態18における受信機の撮像画像(輝線画像)の一例を示す図である。 図490Bは、実施の形態18における受信機の撮像画像(輝線画像)の一例を示す図である。 図491Aは、実施の形態18における受信機の撮像画像(輝線画像)の一例を示す図である。 図491Bは、実施の形態18における受信機の撮像画像(輝線画像)の一例を示す図である。 図491Cは、実施の形態18における受信機の撮像画像(輝線画像)の一例を示す図である。 図492は、実施の形態18における受信機の撮像画像(輝線画像)の一例を示す図である。 図493は、実施の形態18における送信信号の一例を示す図である。 図494は、実施の形態18における受信機の動作の一例を示す図である。 図495は、実施の形態18における受信機のスクリーンに表示するユーザへの指示の一例を示す図である。 図496は、実施の形態18における受信機のスクリーンに表示するユーザへの指示の一例を示す図である。 図497は、実施の形態18における信号送信方法の一例を示す図である。 図498は、実施の形態18における信号送信方法の一例を示す図である。 図499は、実施の形態18における信号送信方法の一例を示す図である。 図500は、実施の形態18における信号送信方法の一例を示す図である。 図501は、実施の形態18におけるユースケースを説明するための図である。 図502は、実施の形態18におけるスマートフォンがサーバーに送信する情報テーブルを示す図である。 図503は、実施の形態18におけるサーバーのブロック図である。 図504は、実施の形態18におけるシステムの全体の処理を示すフローチャートである。 図505は、実施の形態18におけるサーバーがスマートフォンへ送信する情報テーブルを示す図である。 図506は、実施の形態18におけるユーザーが店舗前でサーバーから情報を受け取ってから実際に商品を購入するまでのウェアラブルデバイスに表示される画面フローを示す図である。 図507は、実施の形態18における他のユースケースを説明するための図である。 図508は、各実施の形態に記載の受信方法を用いたサービス提供システムを示す図である。 図509は、サービス提供のフローを示すフローチャートである。 図510は、他の例におけるサービス提供を示すフローチャートである。 図511は、他の例におけるサービス提供を示すフローチャートである。 図512Aは、実施の形態20における受信しやすい変調方式を説明するための図である。 図512Bは、実施の形態20における受信しやすい変調方式を説明するための図である。 図513は、実施の形態20における受信しやすい変調方式を説明するための図である。 図514は、実施の形態20における輝線による通信と画像認識の併用を説明するための図である。 図515Aは、実施の形態20における可視光信号の受信に適した撮像素子の利用方法を説明するための図である。 図515Bは、実施の形態20における可視光信号の受信に適した撮像素子の利用方法を説明するための図である。 図515Cは、実施の形態20における可視光信号の受信に適した撮像素子の利用方法を説明するための図である。 図515Dは、実施の形態20における可視光信号の受信に適した撮像素子の利用方法を説明するための図である。 図515Eは、実施の形態20における可視光信号の受信に適した撮像素子の利用方法を説明するためのフローチャートである。 図516は、実施の形態20における可視光信号の受信に適した撮像画像サイズを示す図である。 図517Aは、実施の形態20における可視光信号の受信に適した撮像画像サイズを示す図である。 図517Bは、実施の形態20における可視光信号の受信に適した撮像画像サイズに切り替えるための動作を示すフローチャートである。 図517Cは、実施の形態20における可視光信号の受信に適した撮像画像サイズに切り替えるための動作を示すフローチャートである。 図518は、実施の形態20におけるズームを利用した可視光信号の受信を説明するための図である。 図519は、実施の形態20における可視光信号の受信に適した画像データサイズの圧縮方法を説明するための図である。 図520は、実施の形態20における受信エラー検出精度が高い変調方式を説明するための図である。 図521は、実施の形態20における状況の違いによる受信機の動作の変更を説明するための図である。 図522は、実施の形態20における人間への可視光通信の通知を説明するための図である。 図523は、実施の形態20における散光板による受信範囲の拡大を説明するための図である。 図524は、実施の形態20における複数プロジェクタからの信号送信の同期方法を説明するための図である。 図525は、実施の形態20における複数ディスプレイからの信号送信の同期方法を説明するための図である。 図526は、実施の形態20における照度センサとイメージセンサによる可視光信号の受信を説明するための図である。 図527は、実施の形態20における受信開始のトリガを説明するための図である。 図528は、実施の形態20における受信開始のジェスチャを説明するための図である。 図529は、実施の形態20におけるカーナビへの応用例を説明するための図である。 図530は、実施の形態20におけるカーナビへの応用例を説明するための図である。 図531は、実施の形態20におけるコンテンツ保護への応用例を説明するための図である。 図532は、実施の形態20における電子錠としての応用例を説明するための図である。 図533は、実施の形態20における来店情報伝達としての応用例を説明するための図である。 図534は、実施の形態20における場所に応じた注文制御の応用例を説明するための図である。 図535は、実施の形態20における道案内への応用例を説明するための図である。 図536は、実施の形態20における所在連絡への応用例を説明するための図である。 図537は、実施の形態20における利用ログ蓄積と解析への応用例を説明するための図である。 図538は、実施の形態20における画面共有への応用例を説明するための図である。 図539は、実施の形態20における画面共有への応用例を説明するための図である。 図540は、実施の形態20における無線アクセスポイントを利用した位置推定の応用例を説明するための図である。 図541は、実施の形態20における可視光通信と無線通信とによる位置推定を行う構成を示す図である。 図542Aは、本発明の一態様に係る情報通信方法のフローチャートである。 図542Bは、本発明の一態様に係る情報通信装置のブロック図である。 図543は、光センサを搭載した時計を示す図である。 図544は、本発明の一態様に係る情報通信方法の応用例を示す図である。 図545は、本発明の一態様に係る情報通信方法の応用例を示す図である。 図546は、本発明の一態様に係る情報通信方法の応用例を示す図である。 図547は、実施の形態21における送信機と受信機の適用例を示す図である。 図548は、実施の形態21における送信機の適用例を示す図である。 図549Aは、実施の形態21における送信機および受信機の適用例を示す図である。 図549Bは、実施の形態21における受信機の動作を示すフローチャートである。 図550は、実施の形態21における送信機および受信機の適用例を示す図である。 図551は、実施の形態21における送信機の適用例を示す図である。 図552Aは、実施の形態21における送信機および受信機の適用例を示す図である。 図552Bは、実施の形態21における受信機の動作を示すフローチャートである。 図553は、実施の形態21における受信機の動作を示す図である。 図554は、実施の形態21における送信機の適用例を示す図である。 図555は、実施の形態21における受信機の適用例を示す図である。 図556Aは、実施の形態21における送信機の動作の一例を示すフローチャートである。 図556Bは、実施の形態21における送信機の動作の一例を示すフローチャートである。 図557は、実施の形態21における送信機の動作の一例を示すフローチャートである。 図558は、実施の形態21における撮像機器の動作の一例を示すフローチャートである。 図559は、実施の形態21における撮像機器の動作の一例を示すフローチャートである。 図560は、実施の形態21における送信機によって送信される信号の一例を示す図である。 図561は、実施の形態21における送信機によって送信される信号の一例を示す図である。 図562は、実施の形態21における送信機によって送信される信号の一例を示す図である。 図563は、実施の形態21における送信機によって送信される信号の一例を示す図である。 図564は、実施の形態21における送信機と受信機とを含むシステム構成の一例を示す図である。 図565は、実施の形態21における送信機と受信機とを含むシステム構成の一例を示す図である。 図566は、実施の形態21における送信機と受信機とを含むシステム構成の一例を示す図である。 図567Aは、本発明の一態様に係る情報通信方法のフローチャートである。 図567Bは、本発明の一態様に係る情報通信装置のブロック図である。 図568Aは、本発明の一態様に係る情報通信方法のフローチャートである。 図568Bは、本発明の一態様に係る情報通信装置のブロック図である。 図569は、実施の形態21における送信機の動作の一例を示す図である。 図570は、実施の形態21における送信機の動作の一例を示す図である。 図571は、実施の形態21における送信機の動作の一例を示す図である。 図572は、実施の形態21における送信機の動作の一例を示す図である。 図573は、実施の形態21における受信機の一例を示す図である。 図574は、実施の形態21における受信機の一例を示す図である。 図575は、実施の形態21における受信システムの一例を示す図である。 図576は、実施の形態21における受信システムの一例を示す図である。 図577Aは、実施の形態21における変調方式の一例を示す図である。 図577Bは、実施の形態21における変調方式の一例を示す図である。 図577Cは、実施の形態21における混合信号の分離の一例を示す図である。 図577Dは、実施の形態21における混合信号の分離の一例を示す図である。 図578は、実施の形態21における可視光通信システムの一例を示す図である。 図579は、実施の形態21における干渉を排除した受信方法を示すフローチャートである。 図580は、実施の形態21における送信機の方位の推定方法を示すフローチャートである。 図581は、実施の形態21における受信の開始方法を示すフローチャートである。 図582は、実施の形態21における他媒体の情報を併用したIDの生成方法を示すフローチャートである。 図583は、実施の形態21における周波数分離による受信方式の選択方法を示すフローチャートである。 図584は、実施の形態21における露光時間が長い場合の信号受信方法を示すフローチャートである。 図585は、実施の形態22における使用風景を示したイメージ図である。 図586は、実施の形態22における携帯端末のイメージ図である。 図587は、実施の形態22における携帯端末を水平に持ったときのイメージ図である。 図588は、実施の形態22における携帯端末を垂直に持ったときのイメージ図である。 図589は、実施の形態22における店内マップのイメージ図である。 図590は、実施の形態22における商品UIのイメージ図である。 図591は、実施の形態22における商品UIを操作するときのイメージ図である。 図592は、実施の形態22における携帯端末を右から左に振りかざすイメージ図である。 図593は、実施の形態22におけるウォッチ型デバイスのイメージ図である。 図594は、実施の形態22における全体構成図である。 図595は、実施の形態22における商品情報格納部A11016の構造図である。 図596は、実施の形態22における商品UIのレイアウトイメージ図である。 図597は、実施の形態22における地図情報格納部A11017の構造図である。 図598は、実施の形態22における照明機器A11002のフローチャートである。 図599は、実施の形態22における携帯端末A11001のフローチャートである。 図600は、実施の形態22における状態管理部A11019の構造図である。 図601は、実施の形態22におけるシーリングライト関連処理のフローチャートである。 図602は、実施の形態22におけるベースライト関連処理のフローチャートである。 図603は、実施の形態22におけるUI関連処理のフローチャートである。 図604は、実施の形態22における地図情報向けUI処理のフローチャートである。 図605は、実施の形態22における商品情報向けUI処理のフローチャートである。 図607は、実施の形態22における表示処理全体フローチャートである。 図607は、実施の形態22における表示更新前処理のフローチャートである。 図608は、実施の形態22における表示更新処理のフローチャートである。 図609は、実施の形態23における受光制御部の構造図である。 図610は、実施の形態23における照度パターン検知のフローチャートである。 図611は、実施の形態24における受光制御部の構造図である。 図612は、実施の形態24における照度パターン検知のフローチャートである。 図613は、実施の形態25における視線の動きのイメージ図である。 図614は、実施の形態25における携帯端末の構成図である。 図615は、実施の形態25における棚識別子のDB構造イメージ図である。 図616は、実施の形態25におけるサーバ問い合わせ時のフローチャートである。 図617は、実施の形態26における受光制御部の構造図である。 図618は、実施の形態27における受光制御部の構造図である。 図619は、実施の形態28におけるユースケースを説明するための図である。 図620は、実施の形態29におけるシステム構成要素を示す図である。 図621は、実施の形態29におけるモバイル端末(B0101)のエリア検出処理フローチャートである。 図622は、実施の形態29におけるモバイル端末(B0101)からエリアID情報を要求された場合のエリアID情報サーバ(B0411)内の処理フローチャートである。 図623は、実施の形態29におけるモバイル端末(B0101)がエリアID情報サーバ(B0411)からエリアID情報を受信した際の処理フローチャートである。 図624は、実施の形態29におけるモバイル端末(B0101)が可視光発信機器(B0120)からID受光する際の処理フローチャートである。 図625は、実施の形態29におけるモバイル端末(B0101)が可視光ID対応情報を要求する際の処理フローチャートである。 図626は、実施の形態29におけるID対応情報サーバ(B0111)がモバイル端末(B0101)からID対応情報を要求された場合の処理フローチャートである。 図627は、実施の形態29におけるモバイル端末(B0101)が可視光発信機器(B0120)から短いIDを受光した際の処理フローチャートである。 図628は、実施の形態29におけるモバイル端末(B0101)の表示時の処理フローチャートである。 図629は、実施の形態29における補間ID生成手段(B0110)がユーザ属性に基づく補間IDを生成する処理フローチャートである。 図630は、実施の形態29における補間ID生成手段(B0110)がセンシング手段(B0103)と受信カメラ情報に基づき可視光発信機器(B0120)の設置位置を特定する処理フローチャートである。 図631は、実施の形態29における補間ID生成手段(B0110)が可視光発信機器の設置位置に基づき補間IDを生成する処理フローチャートである。 図632は、実施の形態29における補間ID生成手段(B0110)が可視光発信機器(B0120)の位置を特定する例を示す図である。 図633は、実施の形態29における補間ID生成手段(B0110)がモバイル端末(B0101)の姿勢を検出する例を示す図である。 図634は、実施の形態29における補間ID生成手段(B0110)が機器位置に基づく補間IDを選定するために用いるテーブルの一例を示す図である。 図635は、実施の形態29におけるユーザ情報保持手段(B0151)の保持するユーザ属性テーブルの一例を示す図である。 図636は、実施の形態29における補間ID生成手段(B0110)がユーザ属性に基づく補間IDを選定するために用いるテーブルの一例を示す図である。 図637は、実施の形態29における可視光ID対応情報データ保持手段(B0114)が保持するデータテーブルの一例を示す図である。 図638は、実施の形態29におけるエリアID情報サーバ(B0141)が保持するエリアID情報テーブルの一例を示す図である。 図639は、実施の形態29におけるユースケースを示す図である。 図640は、実施の形態29におけるモバイル端末(B0101)がID対応情報変換サーバ(B0111)への問合せIDの内部構成の例を示す図である。 図641は、実施の形態29におけるモバイル端末(B0101)が問合せIDの生成を行う例を示す図である。 図642は、実施の形態29における図641の例2の詳細ユースケースを示す図である。 図643は、実施の形態29における図641の例3の詳細ユースケースを示す図である。
 本発明の一態様に係る情報通信方法は、輝度変化によって信号を送信する情報通信方法であって、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定ステップと、決定された輝度変化のパターンにしたがって複数の発光体が輝度変化することによって、前記送信対象の信号を送信する送信ステップとを含み、前記複数の発光体が配置された面において、前記複数の発光体の外にあって輝度変化しない非輝度変化領域が、前記面の垂直方向および水平方向のうちの少なくとも一方に沿って前記複数の発光体の間を通って前記面を横断することがないように、前記複数の発光体が前記面上に配置されている。
 これにより、例えば図548に示すように、受信機に備えられたイメージセンサによる上述の面(ディスプレイ)の撮影によって取得される撮影画像において、輝線領域を連続させることができる。その結果、送信対象の信号を受信し易くすることができ、演算力が少ないような機器を含む多様な機器間で通信を行うことができる。また、この情報通信方法は、前記複数の発光体が配置された面において、前記複数の発光体の外にあって輝度変化しない非輝度変化領域が、前記面の垂直方向および水平方向のうちの少なくとも一方に沿って前記複数の発光体の間を通って前記面を横断することがないように、前記複数の発光体を前記面上に配置するステップを含んでいてもよい。
 また、前記送信ステップでは、前記複数の発光体のうちの少なくとも1つの発光体の明るさのレベルが、予め定められた明るさである基準レベルよりも小さいか、または前記基準レベル以下であるかを判定する明るさ判定ステップを含み、前記送信ステップでは、前記発光体の明るさのレベルが前記基準レベルよりも小さい、または前記基準レベル以下であると判定されたときには、前記発光体からの前記送信対象の信号の送信を停止するしてもよい。
 これにより、例えば図556Aに示すように、発光体が暗ければ信号の送信が行われないため、輝度変化のために発光体が不自然に発光することを抑えることができるとともに、暗い状態で輝度変化することによって生じる受信の失敗を抑えることができる。
 また、前記送信ステップでは、前記複数の発光体のうちの少なくとも1つの発光体の明るさのレベルが、予め定められた明るさである基準レベルよりも大きいか、または前記基準レベル以上であるかを判定する明るさ判定ステップを含み、前記送信ステップでは、前記発光体の明るさのレベルが前記基準レベルよりも大きい、または前記基準レベル以上であると判定されたときには、前記発光体からの前記送信対象の信号の送信を開始してもよい。
 これにより、例えば図556Bに示すように、発光体が明るければ信号の送信が行われるため、輝度変化による信号の送信を人に気づかれ難くすることができ、明るい状態で輝度変化することによって、受信の失敗を抑えることができる。
 また、前記決定ステップでは、前記送信対象の信号のうちの一部であるボディに対応する第1の輝度変化のパターンと、前記ボディを特定するためのヘッダを示す第2の輝度変化のパターンとを決定し、前記送信ステップでは、前記第1の輝度変化のパターン、前記第2の輝度変化のパターン、前記第1の輝度変化のパターンの順に、それぞれの前記パターンにしたがって輝度変化することによって、前記ヘッダおよび前記ボディを送信してもよい。
 これにより、例えば図512Aに示すように、ヘッダの後のボディの全てを受信することができなかった場合でも、そのヘッダの前に受信されたボディの一部と、ヘッダの後で受信されたボディの一部とを結合すれば、そのボディの全てを受信することができる。その結果、送信対象の信号を適切に受信することができるタイミングの幅を広げることができる。
 また、前記決定ステップでは、さらに、前記ヘッダと異なる他のヘッダを示す第3の輝度変化のパターンを決定し、前記送信ステップでは、前記第1の輝度変化のパターン、前記第2の輝度変化のパターン、前記第1の輝度変化のパターン、前記第3の輝度変化のパターンの順に、それぞれの前記パターンにしたがって輝度変化することによって、前記ヘッダ、前記ボディおよび前記他のヘッダを送信してもよい。
 これにより、例えば図513に示すように、ボディが可変長であっても、ヘッダとボディと他のヘッダとを連続して一度に受信すれば、そのボディの信号長を特定することができ、その信号長を用いて、ヘッダの前後にあるボディの各部分を適切に結合することができる。また、他のヘッダがなければ、ヘッダと、2つのボディと、ヘッダとを連続して一度に受信しなければ、そのボディの信号長を特定することができないが、上述のように、他のヘッダが送信されることによって、ボディの信号長を特定するために、連続して一度に受信される必要がある信号を短くすることができる。
 また、前記決定ステップでは、所定の輝度値が現れるタイミングが互いに隣接する2つの輝度変化のパターンが、同一のパリティの信号単位に割り当てられていないように、前記タイミングが互いに異なる輝度変化のパターンが、互いに異なる信号単位のそれぞれに対して予め割り当てられてあり、前記送信対象の信号に含まれる信号単位のそれぞれに対して、当該信号単位に割り当てられた輝度変化のパターンを決定してもよい。
 これにより、例えば図520に示すように、例えば輝度変化のパターンである「H(高い輝度値)、L(低い輝度値)、H、H」と、「H、H、L、H」とでは、Lが現れるタイミングが互いに隣接するが、これらのパターンが互いに異なるパリティの信号単位に割り当てられる。したがって、受信された信号に対して、パリティに基づくチェックをより確実に行うことができる。
 また、前記情報通信方法は、さらに、前記複数の発光体のうちの少なくとも1つの発光体をイメージセンサによって撮影することによって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記発光体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップと、前記イメージセンサが、輝度変化する前記発光体を、設定された前記露光時間で撮影することによって、前記輝線を含む画像である輝線画像を取得する輝線画像取得ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップとを含み、前記情報取得ステップは、前記輝線のパターンのうち、前記第2の輝度変化のパターンに対応する第1の部分を、前記輝線に垂直な方向に挟む第2の部分と第3の部分とを特定する部分特定ステップと、前記第2および第3の部分によって特定されるデータを復調することにより前記ボディを取得するボディ取得ステップとを含み、前記部分特定ステップでは、前記輝線に垂直な方向の、前記第2の部分の長さと前記第3の部分の長さとの和が、前記ボディに対応付けられた長さとなるように、前記第2の部分と前記第3の部分とを特定してもよい。
 これにより、例えば図512Aおよび図512Bに示すように、適切にボディを取得することができる。
 また、前記情報通信方法は、さらに、予め定められたリズムで光るフラッシュを受けたか否かを判定するフラッシュ判定ステップを含み、前記送信ステップでは、前記フラッシュを受けたと判定された場合には、前記複数の発光体は輝度を上げて輝度変化してもよい。
 これにより、例えば図549に示すように、その複数の発光体を撮影することによって、その複数の発光体からの信号を受信する受信機は、その信号を受信することができない場合には、上述のフラッシュを放つことによって、複数の発光体の輝度を上げさせて、その信号を適切に受信することができる。
 また、前記情報通信方法は、さらに、前記複数の発光体のうちの少なくとも1つの発光体が、人の目で視認されるように点滅する点滅ステップを含み、前記発光体では、前記送信ステップと前記点滅ステップとが交互に繰り返し行なわれてもよい。
 これにより、例えば図522に示すように、人の目で視認される点滅と、信号の送信とが交互に繰り返し行われるため、その点滅を人が見れば、信号の送信が断続的に行われていることを容易に把握することができる。その結果、その点滅を見た人は、受信機のイメージセンサを複数の発光体に向けて撮影を行うことによって、信号を受信することができる。
 なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
 以下、実施の形態について、図面を参照しながら具体的に説明する。
 なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
 (実施の形態1)
 (位相変調による信号伝送)
 図1は、実施の形態1の情報通信装置における送信信号のタイミング図である。
 図1において、基準波形(a)は周期Tのクロック信号であり、送信信号のタイミングの基準となる。送信シンボル(b)は、送信するデータ列に基づいて作成されるシンボル列を示している。ここでは、一例として1シンボル当たり1ビットの場合を示しているため、送信データのバイナリと同一となっている。送信波形(c)は、基準波形に対して送信シンボルに従って位相変調した送信波形であり、この波形に従って送信光源が駆動される。位相変調は、基準波形についてシンボルに対応して位相をずらすことで実施されており、この例においては、シンボル0は位相0°、シンボル1は位相180°の割り当てとなっている。
 図2は、実施の形態1における送信信号と受信信号の関係を示す図である。
 送信信号は図1と同様であり、送信信号が1の期間だけ光源が発光しており、この発光期間が右下がり斜線の領域で示されている。右上がり斜線で塗られた帯は、イメージセンサの画素が露光される期間(露光時間tE)を表しており、発光期間を示す右下がり斜線と重なる領域でイメージセンサの画素の信号電荷が生成される。画素値pは、この重複領域の面積に比例している。ここで、露光時間tEと周期Tとの間には、式1の関係が成り立つ。
 tE=T/2×(2n+1)  n:自然数  (式1)
 なお、図2~図6は、n=2の場合を示す。即ちtE=2.5T。
 受信波形は、各ラインの画素値pを示している。ここで画素値軸の値は、1周期分の受光量を1として正規化されている。上述の通り露光時間tEは、T(n+1/2)の区間を持つため、画素値pは、常にn≦p≦n+1の範囲に存在し、図2の例については、2≦p≦3となる。
 図3~図5は、図2とはそれぞれ異なるシンボル列について送信信号と受信信号の関係を示した図である。
 送信信号は、(図示されていない)連続する同一のシンボル列(例えば連続するシンボル0の列)を含むプリアンブルを持ち、受信側は、このプリアンブル中の連続するシンボル列により、受信のための基準信号を作成して、受信波形からシンボル列を読み出すタイミング信号としている。具体的には、連続するシンボル0について、図2で示している通り、受信波形は2→3→2を繰り返す一定の波形を返し、この画素値3が出力されるタイミングを基にクロック信号を基準信号として生成する。
 次に、受信波形からのシンボルの読み出しは、上記基準信号の1区間における受信信号を読み出して、画素値3の場合はシンボル0、画素値2の場合はシンボル1として読み出すことができる。図3~図5においては、第4周期に位置するシンボルが読み出される様子を示している。
 図6は、図2~図5をまとめた図であり、ラインが密に並んだ状態であるため、ライン方向の画素の区切りは省略して連続化して作図されている。ここでは、第4周期から第8周期のシンボル値が読み出される様子を示している。
 かかる構成により、本実施の形態においては、基準波の周期より十分長い時間について光信号の強度の平均を取った場合、常に一定となる。そして、基準波の周波数を適度に高く設定すれば、その時間を人が光量変化を知覚する時間より短く設定することができるため、人の目から送信発光源を観察した場合、光源は一定に光っているように知覚される。そのため、光源のちらつきとして知覚されることはなく、前実施の形態における人に煩わしさを感じさせることがなくなる利点を持つ。
 また、各ラインの露光時間が長く、隣接ラインの露光期間と重複する時間が長くなる状況において、前述の実施の形態における振幅変調(オンオフ変調)では、信号の周波数(シンボルレート)を高めることができずに十分な信号伝送速度が得られない課題が生じるが、本実施の形態においては、このような状況においても信号の立ち上がり、立ち下りエッジを検出可能であるため、信号の周波数を高めることができ、高い信号伝送速度を実現することができる。
 なお、ここで記述している「位相変調」は、基準信号波形に対する位相変調を意味している。本来の意味では、搬送波は光であり、これを振幅変調(オンオフ変調)して伝送しているため、この信号伝送における変調方式は振幅変調の一種である。
 また、上述の送信信号は一例であり、シンボル当りのビット数は2以上に設定することも可能であり、また、シンボルと位相シフトの対応も0°、180°に限るものではなく、オフセットを有してもよい。
 なお、上記では説明を省略したが、以下の図124~図200で説明する実施の形態6~11で説明する光信号発生手段と光信号受信手段の構成および動作、効果は、図21以降の図面を用いて、実施の形態3以降で説明した、高速型の光発光手段と光信号受信手段と置き換えて構成し動作させても、同様の効果があることは言うまでもない。また、逆に実施の形態3以降の高速型の光発光手段や受信手段を低速型の光発光手段や受信手段に置き換えても同様である。
 例えば、図17、で、携帯電話の表示部側のカメラであるフェースカメラと、図16では反対側にあるインカメラを使って照明機からの光信号からの位置情報等のデータを受信する例を示した。この場合、9軸センサを使うことにより、重力で上下方向を検出できる。
 図19のように、レストランでテーブルの上にある携帯電話で光信号を受信する場合、9軸センサの信号に応じて携帯電話の表側が上を向いている場合は、フェースカメラを作動させ、下を向いている場合は、インカメラに切り替えて光信号を受信することにより、電力消費を削減したり、迅速に光信号を受信したりすることができ、無駄なカメラの動作を停止することができる。この場合、カメラの明るさから、テーブルの上にあるカメラの向きを検知し同様の動作をさせることもできる。また、カメラが撮影モードから光信号の受信モード時に切り替わるときにシャッタ速度を早くするコマンドを送るとともに、撮像素子の感度を高めるコマンドを撮像回路部に送ると感度があがり、画像が明るくなるという効果がある。感度を高めるとノイズが増えるがホワイトノイズである。一方、光信号は特定の周波数域にあるため、周波数フィルターで分離もしくは除去することにより、検出感度を高めることができる。このため、暗い照明機器からの光信号を検出することができる。
 本発明は主に屋内にある空間の照明機器から光信号を発生させ、通信部と音声マイクと音声スピーカーと表示部とインカメラとフェースカメラのカメラ部を持つ携帯端末のカメラ部により光信号を受信し、位置情報等を得るが、屋内から屋外に出ると、衛星を利用したGPSにより位置情報を検知できる。このため、光信号領域からの境界の位置情報を得て、GPSからの信号受信を起動し、この切り替えを自動的に行うことにより、シームレスに位置検知ができるという効果がある。
 屋外から屋内に移動する時は、GPS等の位置情報により境界を検知して光信号の位置情報への自動切り替えを行う。また、携帯電話の表示部にバーコードを表示させ商店や、航空機の搭乗口のPOS端末で認証を行う場合、サーバを使うと応答時間がかかるため、現実的でないため片方向の認証しかできない。
 しかし、本発明を用いてPOS等の端末の読み取り機の発光部から携帯電話のフェースカメラ部に光信号を送信することにより相互認証が行えるため、セキュリティが向上する。
 (実施の形態2)
 図7は、実施の形態2の原理を示す図である。図8~図20は、実施の形態2の動作の一例を示す図である。
 図7の(a)に示すイメージセンサは、各ライン1の露光時間はライン毎に遅れを生じる。通常のシャッタ速度では時間的に各ラインは重なる部分を持つため、同一時間の光信号は各ラインに混合されるため判別できない。ここでシャッタの開時間を短くする場合、ある一定のシャッタ速度以下に露光時間が短くなると図7の(a)のように重ならなくなるため、ライン毎に光信号を時間的に分離して読むことができる。
 この状態で図7の(a)の上部のような「1011011」の光信号を与えると、最初の「1」の光信号はライン1のシャッタ開時間に入光するためライン1で光電変換され、図7の(b)の電気信号2aの「1」として出力される。同様にして次の光信号「0」は(b)の電気信号「0」となり、7bitの「1011011」の光信号は正確に電気信号に変換される。
 実際には、図7の(b)のように垂直ブランキング時間により不感時間があるため、一部の時間帯の光信号は取り出せない。これを解決するため、本実施の形態では「通常の撮影モード」から「光信号の読み出しモード」に切り換わった時にCMOS等の撮像デバイスのアクセスアドレスを変更して一番下にある最後の読み出しライン1hの次に、最初の読み出しライン1aを読み出すことによりブランク期間の問題を解決している。画質に若干悪い影響を与えるが、連続的に(シームレスに)読み出せるという効果が得られ伝送効効率が大幅に向上する。
 本実施の形態では1ラインに最高で1個のシンボルを割り当てることができるため、後に述べるような同期方式をとった場合、1000ラインで30fpsの撮像素子を用いたとき、最大で30kbpsの伝送が理論上可能となる。
 なお、同期をとる場合は、図8のようにカメラの受光素子の信号を見て、最もコントラストが得られるように、もしくは、データのエラーレートが低くなるようにラインのアクセス用のクロックを上下に変更することにより同期をとることができる。光信号よりイメージセンサのラインのクロックが速い場合は、図8のように2ラインもしくは3ラインのnラインで光信号の1シンボルを受信することにより、同期をとることができる。
 また、図9のTVや図10の左図のTVのようなディスプレイや、縦にn個例えば10個分割された光源を、携帯電話のカメラで本発明の高速電子シャッタやブランキング無し等の検出モードに切り替えて撮影すると、図10の右図のように本実施の形態特有のストライプ状のパターンがそれぞれ独立して10本検出できるため、10倍(n倍)の転送レートとなる。
 例えば30fps1000ラインのイメージセンサを10分割した場合、300kbpsとなる。HD映像では水平に1980ピクセルあるため、50本に分割できる。すると1.5Mbpsとなり、動画の映像データが受信可能となる。200本ならHD映像が伝送できる。
 本実施の形態での効果を得るためには、検出できる最も長い露出時間をTとすると、T以下にシャッタ時間を短くする必要がある。図7の右上図のようにフレーム同波数をfpとすると、シャッタ時間は1/fpの半分以下にする必要がある。なぜなら、撮影の際に発生するブランキングは、最大で1フレームの半分の大きさになる。即ち、ブランキング時間は、撮影時間の半分以下であるため、実際の撮影時間は、最も短い時間で1/2fpとなるからである。
 しかし、チラツキを抑えるためには4値PPM等が必要なため、1(fp×2×4)分の1、つまり、8fp分の1となる。通常の携帯電話のカメラはfp=30、60であるため、1/240、1/480、つまり、1/480以下のシャッタ速度に設定すれば、互換性を保ちながら、本実施の形態の可視光の光通信が携帯電話等のカメラを用いて受信できる。
 実際には、本実施の形態での同期方式を採用していない携帯電話が世の中に数多く存在するため、当初は非同期型の通信となる。この場合は、光信号のクロックの2倍以上、具体的な2~10倍の走査ラインを用いて1シンボルを受信することにより、情報レートは落ちるが互換性のある通信が実現する。
 チラツキを防ぐ必要がある照明機器の場合、4値PPM、つまり4つのbitのうち1つの時間帯に消灯もしくは減光して発光させる。この場合ビットレートは半分に落ちるが、チラツキがなくなるため、照明機器に使用でき明かりとデータを送ることができる。
 図11は屋内で共通時間帯に全体の照明機から共通信号をおくり、個別時間帯に、個別の照明機Lから個別の副情報が送られている状況で、光信号を受信する状況を示している。Lは面積が狭いため大量のデータを送るには時間がかかる。従って個別時間帯に数ビットのIDだけ送り、共通時間帯にL、L、L、L、Lの全てが同じ内容の共通情報を送る。
 図12Aを用いて詳しく説明すると、図12A下の時間帯Aでは共通情報である、「部屋の基準位置の位置情報、各IDの個別機器の配置情報(基準位置からの差分位置情報)、サーバのURL、データ放送、LAN送信データ」を部屋の中の全ての照明である主領域Mの2本の照明と、その一部にあるS、S、S、Sが一斉に同じ光信号を発信させる。部屋中が同一の光信号で照らされるため、共通時間帯に、携帯のカメラ部が確実にデータ受信できるという効果がある。
 一方、時間帯Bでは、右上の上面図に示すように、主領域Mは点滅しないで、通常の1/nの光量で連続的に発光する。4値PPMの場合、通常の3/4つまり75%で発光すると平均光量が変わらないためチラツキが防げる。平均光量が変わらない範囲で点滅すればチラツキはないが、時間帯Bにおける部分領域S、S、S、Sの受信にノイズとなるため好ましくない。時間帯Bにおいては、S、S、S、Sが各々別のデータ内容の光信号を送る。主領域Mは変調信号を送らないため、右上の携帯の画面のように、位置的に分離されている。このため、例えばSの領域の画像を取り出した場合、ノイズが少ないため、領域の中に発生するストライプを検出することが容易になるため、安定してデータが得られる。
 図12Bは、本実施の形態における送信機および受信機の動作を説明するための図である。
 送信機8161は、例えばサイネージとして構成されており、「A shop」と記載されている領域Aと、「B shop」と記載されている領域Bとを輝度変化させる。これにより、それぞれの領域から信号Aおよび信号Bが送信される。例えば、信号Aおよび信号Bのそれぞれには、共通の内容を示す共通部分と、互いに異なる内容を示す固有部分とが含まれている。信号Aおよび信号Bのそれぞれの共通部分は同時に送信される。その結果、受信機8162は、信号Aの共通部分および信号Bの共通部分のうちの少なくとも一方を受信すると、そのサイネージ全体の画像を表示する。また、送信機は、信号Aの固有部分と信号Bの固有部分とを同時に送信してもよく、互いに異なるタイミングに送信してもよい。受信機8162は、例えば信号Bの固有部分を受信すると、上述の領域Bに対応する例えば店舗の詳細な情報を表示する。
 図12Cは、本実施の形態における送信機および受信機の動作を説明するための図である。
 例えば、送信機8161は、上述のように、信号Aおよび信号Bの共通部分を同時に送信し、次に、信号Aおよび信号Bのそれぞれの互いに異なる内容を示す独自部分を同時に送信する。受信機8162は送信機8161を撮像することによって、その送信機8161から信号を受信する。
 ここで、送信機8161が信号Aおよび信号Bの共通部分を送信しているときには、送信機8161を2つの領域に分けることなく1つの大きな領域として捉えることができる。その結果、受信機8162は、送信機8161から遠い位置にあってもその共通部分を受信することができる。このときには、受信機8162は、その共通部分に対応付けられている情報をサーバから取得して表示する。例えば、サーバは、送信機8161であるサイネージに示されている全ての店舗の情報を受信機8162に送信する。または、サーバは、それらの店舗の中から任意の店舗の情報を選択して受信機8162に送信する。例えば、サーバは、それらの店舗の中で最も多い登録金額を支払っている店舗の情報を優先的に受信機8162に送信する。または、サーバは、受信機8162のカメラで撮影されている範囲の中心にある領域(領域Aまたは領域B)に対応する店舗の情報を送信する。または、サーバは、ランダムに店舗を選んで、その店舗の情報を受信機8162に送信する。
 また、受信機8162は、送信機8161に近い位置にあるときには、信号Aまたは信号Bの独自部分を受信することができる。このときには、受信機8162は、その独自部分に関連付けられた情報をサーバから取得する。
 例えば、図13に示すようにカメラが横方向(水平方向)の走査をしている時は4値PPMの場合、照明Lがフェースカメラにより撮影され、右側のように3本のストライプが見えると「0101」つまりフレームあたり4bitのデータが復調できる。この中にIDのデータがあるため、共通データの基準位置情報と、個別データの各IDとの距離差情報もしくは配置情報を演算することにより、高速つまり短時間に携帯端末の位置を検出できるという効果がある。このように例えば2bitのIDを送るだけで4つの光源のデータと位置を1枚のフレーム情報で瞬時に認識できる。
 図14を用いて、この個別光源の低ビットのID情報を使った例を説明する。
 本実施の形態では図14の共通データ101で、図に示すように基準位置、サーバのURL、各IDの配置情報。エリア別データ放送の大容量データが全ての照明を用いて共通時間帯に送られる。
 前述のように図14の(a)のL、L、L、L~Lの個別IDが3bit復調できる。
 図14の(b)のように周波数f1と周波数f2の信号を送っても各照明部に本発明特有のストライプが検出され、周波数に対応したIDや変調データに対応したIDデータに変換される。このパターンを、配置情報を用いて演算するとどの位置から撮影したかわかる。つまり、L0から各IDの配置情報と基準位置情報が得られるため、端末の位置を特定できる。
 図14の(b)のように、周波数f1、f2を各IDに割り当て、例えば、f1=1000Hz、f2=1100Hz、…、f16=2500Hzとすることで、16値つまり4ビットの値を周波数によって表現できる。また、信号にf1=1000Hzの成分があれば第1ビットは1なければ0、信号にf2=1100Hzの成分があれば第2ビットは1なければ0、…、信号にf16=2500Hzの成分があれば第16ビットは1なければ0とすることで、16ビットの値を表現できる。送信周波数を一定時間ごとに変化させることで、さらに多くの信号を送信することができる。周波数を変更する際や変調を開始/終了する際には、変更の前後で平均輝度を一定に保つことで、人間の目にちらつきを感じさせないという効果を得る。この変調方式は、パルス位置によって信号を表現するよりも低い変調周波数を使った場合でも人間の目にちらつきを感じさせないという効果があるため、多くの周波数帯域を用いることができる。
 なお、受信機は信号の周期から周波数を求めるため、周波数を等間隔に信号に割り当てるよりも、周波数の逆数や対数が等間隔になるように信号を割り当てるほうが、受信エラーを低減できる。
 例えば、1/15秒ごとに信号を変化させると、60ビット毎秒で送信できる。一般的な撮像装置は、1秒間に30フレームの画像を撮影するため、1/15秒間同じ周波数で信号を送信すると、送信機が撮像画像の1部にしか写っていなくても、確実に撮像を行うことができる。
 また、1/15秒間同じ周波数で信号を送信することで、受信機の負荷が高く処理できないフレームがある場合や、1秒間に15フレームの画像しか撮影できない撮像装置の場合でも、信号を受信することができる。
 露光ラインに垂直な方向に輝度値をフーリエ変換等により周波数解析を行うと、送信信号の周波数がピークとして現れる。周波数の切替部分など、複数の周波数が1フレーム内に撮像された場合は、単一周波数信号をフーリエ変換した場合よりも弱いピークとして、複数のピークが得られる。周波数の切替部分には、前後の周波数がまじりあうことをさけるために、保護部分を設けても良い。
 この方法によれば、一つの画面内に複数の周波数で順次送信している光を撮像した場合でも、送信周波数を解析することができ、1/15秒や、1/30秒より短い時間で送信信号の周波数を変更しても、受信することができる。
 送信信号の順序を認識するためには、1画面よりも短い範囲でフーリエ変換を行えば良い。また、撮像した画面を連結して、1画面より長い範囲でフーリエ変換を行なっても良い。この場合は、撮像のブランキング時間の輝度値は不明として扱う。保護部分は、特定の周波数の信号とするか、輝度変化をさせない(周波数0Hz)とする。
 図14の(b)のように、周波数f2のFM変調信号を送信し、続けてPPM変調信号を送信し、FM変調信号とPPM変調信号を交互に送信することで、どちらかの方法にしか対応していない受信機でも受信が可能になり、また、重要度の高い情報を比較的受信の容易なFM変調信号に割り当てることで、重要度の高い情報を優先的に送信することができる。
 本実施の形態では、各機器のIDと画面上の位置が同時に得られるため、照明とリンクしたURLにあるクラウド型のサーバのデータベースの中の、照明の各IDにリンクした画像情報、位置情報やアプリプログラムをダウンロードし、ARの手法を用いて関連した商品等の画像をIDの照明を持つ機器の映像上に重ねて表示することができる。この場合、本実施の形態の復調モードを撮影モードに切り替えることにより美しい映像の上に重量されたAR画像が得られるという効果がある。
 さて、図11に示すように時間帯Aに、各IDの光源と基準位置との東西南北の距離差dを送ることにより、照明Lのcm単位の正確な位置がわかる。次に天井の高さH、携帯電話の持ち主の身長より高さhを求め、携帯電話の姿勢情報を9軸センサにより補正して、正確なカメラ方向の角度θ2と照明と携帯電話との角度θを求め、d=(H-h)×arctan・θ等の演算により、dを算出する。
 こうして、携帯電話の位置を高い精度で求めることができる。このように時間帯Aに共通光信号を送り、時間帯Bに個別光信号を送ることにより、確実に大容量の共通情報と、ID等の小容量の個別情報を、ほぼ同時に送ることができるという効果が得られる。
 図12Aの右上部の携帯端末のように個別光源S~Sが撮影される。図12Aの下のタイムチャートのように、時間Cでは、Sのみが光信号を送る。図15のt=Cのように1つだけストライプが発生するため、ノイズの影響を受けることなく検出できるという効果がある。
 また、t=D、Eのように2つの個別データを送ってもよい。t=H、Iのように、最も空間的に離れた個別データを送ることにより画面上で分離しやすいためエラー率が低くなるという効果がある。
 図15のt=Cの状況下においては、Sだけ復調すればよいため、他の領域のイメージセンサの走査は不要である。従ってt=CのようSの領域が入るように走査本数を減少させることにより、S領域だけ走査され、データを復調できる。このため、高速化するだけでなくSの狭い領域だけで大容量のデータを復調することができるという効果がある。
 ただし、この場合、手振れにより領域Sがイメージセンサの走査範囲内からはずれる恐れがある。
 従って、図16に示すような手振れ補正が重要となる。携帯電話に内蔵されているジャイロセンサは手振れのような範囲の狭い微細な回転は通常検出できない。
 従って、図16の左図のようにLの光信号をフェースカメラで受信する場合は、走査を限定した場合など、フェースカメラからの画像を使って画像から手振れを検出することは難しい。従ってインカメラをONにしてインカメラの画像から手振れを検出し、走査範囲もしくは検出範囲を補正することにより手振れの影響を軽減できる。これはフェースカメラの手振れとインカメラの手振れは同一だからである。
 フェースカメラの光信号パターン以外の走査領域のシャッタ速度を遅くして、正常な画像をこの領域から得て、この画像から手振れ補正することができる。この場合、1つのカメラで手振れ検出と信号検出ができる。このことは図16、右図のインカメラを使った場合にも同様の効果がある。
 図17は、フェースカメラで光信号検出を行ない、まず、端末の位置情報を入手する。
 この時の地点から移動距離lを求める場合、携帯電話用の9軸センサは精度が悪いため、実用的でない。この場合、フェースカメラと反対のインカメラを使って、端末の姿勢と床面の模様の変化から図17のようにして移動距離lを求めることができる。フェースカメラで天井の模様を検出してもよい。
 以下、実際の応用例を説明する。
 図18は駅の構内で天井の照明から共通データであるデータ放送を受信し、個別データから自分の位置を入手している様子を示す図である。
 図19に示すように、コーヒー店でバーコードの表示された携帯端末から認証情報を表示して、店の端末が読みとった後、店の端末の発光部から発光させ、携帯端末が本発明を用いて受信し、相互認証を行ない、セキュリティを向上させることができる。認証は逆に行っても良い。
 その携帯端末を持った客がテーブルに座ると入手した位置情報を店の端末に無線LAN等で送信するため、店員の端末に客の位置が表示されるため、注文した飲物を注文した客の位置情報のテーブルへと店員は運搬することができる。
 図20は、列車や航空機の中で乗客は自分の位置を、本実施の形態の方法を用いて知り、端末で食物等の商品を注文する。搭乗員はカートに本発明の端末があり、画面の注文した客の位置に注文した商品のIDナンバーが表示されるため客のところへ注文したIDの商品が的確に配達される。
 図10はTV等のディスプレイのバックライトに本実施の形態の方法または装置を用いた場合を示す図である。蛍光灯やLEDや有機ELは低迷の輝度変調をかけることができるため、本実施の形態の送信が可能である。ただし、特性上、走査方向が重要である。スマートフォンのように縦で使う場合は水平方向に走査されるため、画面の下部に横長の発光領域を設け、TV等の映像のコントラストをうすく、白色に近づけることにより容易に信号を受信できるという効果がある。
 デジタルカメラのように垂直方向に走査される場合は、図9の画面右側のようなタテ長の表示を設ける。
 これらの2つをひとつの画面内に設け、両者から同一の光信号を発光させることにより、どちらの走査方向のイメージセンサでも信号を受信することができる。
 なお、水平方向に走査するイメージセンサで垂直方向の発光部を受信しようとした場合、端末の画面に「横方向に回転させて撮影して下さい」のような表示を出すことにより、より的確で高速に受信することを使用者に促すことができる。
 なお、図8のように発光部の発光パターンにカメラのイメージセンサの走査ライン読み取りクロックを制御して同期をとることにより通信速度を大幅に上げることができる。
 図8の(a)のように発光パターンの1シンボルを2ラインで検出する場合、左のようなパターンでは同期している。中図のようなパターンの場合、イメージセンサの読み取りが早いため、映像素子の読み出しクロックを低速化して同期させる。右図のようなパターンの場合、高速化し同期させる。
 図8の(b)の1シンボルを3つのラインで検出する場合は中図のようなパターンでは低速化し、右図では高速化させる。
 こうして高速な光通信が可能となる。
 なお、双方向通信する場合は、発光部の照明機器に人感センサとして赤外線受光部が設けられているので、これを受信に兼用することにより照明機において双方向受信が部品の追加なしでできる。端末側は、カメラ用のストロボライトを用いて送信することもできるし、別途安価な赤外発光部を設けても良い。こうして部品をあまり追加することなしに双方向通信が実現する。
 (実施の形態3)
 以下、実施の形態3について説明する。
 (発光部の輝度の観測)
 1枚の画像を撮像するとき、全ての撮像素子を同一のタイミングで露光させるのではなく、撮像素子ごとに異なる時刻に露光を開始・終了する撮像方法を提案する。図21は、1列に並んだ撮像素子は同時に露光させ、列が近い順に露光開始時刻をずらして撮像する場合の例である。ここでは、同時に露光する撮像素子の露光ラインと呼び、その撮像素子に対応する画像上の画素のラインを輝線と呼ぶ。
 この撮像方法を用いて、点滅している光源を撮像素子の全面に写して撮像した場合、図22のように、撮像画像上に露光ラインに沿った輝線(画素値の明暗の線)が生じる。この輝線のパターンを認識することで、撮像フレームレートを上回る速度の光源輝度変化を推定することができる。これにより、信号を光源輝度の変化として送信することで、撮像フレームレート以上の速度での通信を行うことができる。光源が2種類の輝度値をとることで信号を表現する場合、低い方の輝度値をロー(LO),高い方の輝度値をハイ(HI)と呼ぶ。ローは光源が光っていない状態でも良いし、ハイよりも弱く光っていても良い。
 この方法によって、撮像フレームレートを超える速度で情報の伝送を行う。
 一枚の撮像画像中に、露光時間が重ならない露光ラインが20ラインあり、撮像のフレームレートが30fpsのときは、1.67ミリ秒周期の輝度変化を認識できる。露光時間が重ならない露光ラインが1000ラインある場合は、3万分の1秒(約33マイクロ秒)周期の輝度変化を認識できる。なお、露光時間は例えば10ミリ秒よりも短く設定される。
 図22は、一つの露光ラインの露光が完了してから次の露光ラインの露光が開始される場合を示している。
 この場合、1秒あたりのフレーム数(フレームレート)がf、1画像を構成する露光ライン数がlのとき、各露光ラインが一定以上の光を受光しているかどうかで情報を伝送すると、最大でflビット毎秒の速度で情報を伝送することができる。
 なお、ラインごとではなく、画素ごとに時間差で露光を行う場合は、さらに高速で通信が可能である。
 このとき、露光ラインあたりの画素数がm画素であり、各画素が一定以上の光を受光しているかどうかで情報を伝送する場合には、伝送速度は最大でflmビット毎秒となる。
 図23のように、発光部の発光による各露光ラインの露光状態を複数のレベルで認識可能であれば、発光部の発光時間を各露光ラインの露光時間より短い単位の時間で制御することで、より多くの情報を伝送することができる。
 露光状態をElv段階で認識可能である場合には、最大でflElvビット毎秒の速度で情報を伝送することができる。
 また、各露光ラインの露光のタイミングと少しずつずらしたタイミングで発光部を発光させることで、発信の基本周期を認識することができる。
 図24Aは、一つの露光ラインの露光が完了する前に次の露光ラインの露光が開始される場合を示している。即ち、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成となっている。このような構成により、(1)一つの露光ラインの露光時間の終了を待って次の露光ラインの露光を開始する場合に比べ、所定の時間内におけるサンプル数を多くすることができる。所定時間内におけるサンプル数が多くなることにより、被写体である光送信機が発生する光信号をより適切に検出することが可能となる。即ち、光信号を検出する際のエラー率を低減することが可能となる。更に、(2)一つの露光ラインの露光時間の終了を待って次の露光ラインの露光を開始する場合に比べ、各露光ラインの露光時間を長くすることができるため、被写体が暗い場合であっても、より明るい画像を取得することが可能となる。即ち、S/N比を向上させることが可能となる。なお、全ての露光ラインにおいて、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成となる必要はなく、一部の露光ラインについて部分的に時間的な重なりを持たない構成とすることも可能である。一部の露光ラインについて部分的に時間的な重なりを持たないように構成するにより、撮像画面上における露光時間の重なりによる中間色の発生を抑制でき、より適切に輝線を検出することが可能となる。
 この場合は、各露光ラインの明るさから露光時間を算出し、発光部の発光の状態を認識する。
 なお、各露光ラインの明るさを、輝度が閾値以上であるかどうかの2値で判別する場合には、発光していない状態を認識するために、発光部は発光していない状態を各ラインの露光時間以上の時間継続しなければならない。
 図24Bは、各露光ラインの露光開始時刻が等しい場合に、露光時間の違いによる影響を示している。7500aは前の露光ラインの露光終了時刻と次の露光ラインの露光開始時刻とが等しい場合であり、7500bはそれより露光時間を長くとった場合である。7500bのように、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成とすることにより、露光時間を長くとることが可能となる。即ち、撮像素子に入射する光が増大し、明るい画像を得ることができる。また、同一の明るさの画像を撮像するための撮像感度を低く抑えられることで、ノイズの少ない画像が得られるため、通信エラーが抑制される。
 図24Cは、露光時間が等しい場合に、各露光ラインの露光開始時刻の違いによる影響を示している。7501aは前の露光ラインの露光終了時刻と次の露光ラインの露光開始時刻とが等しい場合であり、7501bは前の露光ラインの露光終了より早く次の露光ラインの露光を開始する場合である。7501bのように、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成とすることにより、時間あたりに露光できるラインを増やすことが可能となる。これにより、より解像度が高くなり、多くの情報量が得られる。サンプル間隔(=露光開始時刻の差)が密になることで、より正確に光源輝度の変化を推定することができ、エラー率が低減でき、更に、より短い時間における光源輝度の変化を認識することができる。露光時間に重なりを持たせることで、隣接する露光ラインの露光量の差を利用して、露光時間よりも短い光源の点滅を認識することができる。
 図24B、図24Cで説明したように、隣接する露光ラインの露光時間が、部分的に時間的な重なりをもつように、各露光ラインを順次露光する構成において、露光時間を通常撮影モードよりも短く設定することにより発生する輝線パターンを信号伝送に用いることにより通信速度を飛躍的に向上させることが可能になる。ここで、可視光通信時における露光時間を1/480秒以下に設定することにより適切な輝線パターンを発生させることが可能となる。ここで、露光時間は、フレーム周波数=fとすると、露光時間<1/8×fと設定する必要がある。撮影の際に発生するブランキングは、最大で1フレームの半分の大きさになる。即ち、ブランキング時間は、撮影時間の半分以下であるため、実際の撮影時間は、最も短い時間で1/2fとなる。更に、1/2fの時間内において、4値の情報を受ける必要があるため、少なくとも露光時間は、1/(2f×4)よりも短くする必要が生じる。通常フレームレートは、60フレーム/秒以下であることから、1/480秒以下の露光時間に設定することにより、適切な輝線パターンを画像データに発生させ、高速の信号伝送を行うことが可能となる。
 図24Dは、各露光ラインの露光時間が重なっていない場合、露光時間が短い場合の利点を示している。露光時間が長い場合は、光源は7502aのように2値の輝度変化をしていたとしても、撮像画像では7502eのように中間色の部分ができ、光源の輝度変化を認識することが難しくなる傾向がある。しかし、7502dのように、一つの露光ラインの露光終了後、次の露光ラインの露光開始まで所定の露光しない空き時間(所定の待ち時間)tD2を設ける構成とすることにより、光源の輝度変化を認識しやすくすることが可能となる。即ち、7502fのような、より適切な輝線パターンを検出することが可能となる。7502dのように、所定の露光しない空き時間を設ける構成は、露光時間tを各露光ラインの露光開始時刻の時間差tよりも小さくすることにより実現することが可能となる。通常撮影モードが、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成である場合において、露光時間を通常撮影モード時よりも、所定の露光しない空き時間が生じるまで短く設定することにより、実現することができる。また、通常撮影モードが、前の露光ラインの露光終了時刻と次の露光ラインの露光開始時刻とが等しい場合であっても、所定の露光しない時間が生じるまで露光時間を短く設定することにより、実現することができる。また、7502gのように、各露光ラインの露光開始時刻の間隔tを大きくすることによっても、一つの露光ラインの露光終了後、次の露光ラインの露光開始まで所定の露光しない空き時間(所定の待ち時間)tD2を設ける構成をとることができる。この構成では、露光時間を長くすることができるため、明るい画像を撮像することができ、ノイズが少なくなることからエラー耐性が高い。一方で、この構成では、一定時間内に露光できる露光ラインが少なくなるため、7502hのように、サンプル数が少なくなるという欠点があるため、状況によって使い分けることが望ましい。例えば、撮像対象が明るい場合には前者の構成を用い、暗い場合には後者の構成を用いることで、光源輝度変化の推定誤差を低減することができる。
 なお、全ての露光ラインにおいて、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成となる必要はなく、一部の露光ラインについて部分的に時間的な重なりを持たない構成とすることも可能である。また、全ての露光ラインにおいて、一つの露光ラインの露光終了後、次の露光ラインの露光開始まで所定の露光しない空き時間(所定の待ち時間)を設ける構成となる必要はなく、一部の露光ラインについて部分的に時間的な重なりを持つ構成とすることも可能である。このような構成とすることにより、それぞれの構成における利点を生かすことが可能となる。また、通常のフレームレート(30fps、60fps)にて撮影を行う通常撮影モードと、可視光通信を行う1/480秒以下の露光時間にて撮影を行う可視光通信モードとにおいて、同一の読み出し方法または回路にて信号の読み出しを行ってもよい。同一の読み出し方法または回路にて信号を読み出すことにより、通常撮影モードと、可視光通信モードとに対して、それぞれ別の回路を用いる必要がなくなり、回路規模を小さくすることが可能となる。
 図24Eは、光源輝度の最小変化時間tと、露光時間tと、各露光ラインの露光開始時刻の時間差tと、撮像画像との関係を示している。t+t<tとした場合は、必ず一つ以上の露光ラインが露光の開始から終了まで光源が変化しない状態で撮像するため、7503dのように輝度がはっきりとした画像が得られ、光源の輝度変化を認識しやすい。2t>tとした場合は、光源の輝度変化とは異なるパターンの輝線が得られる場合があり、撮像画像から光源の輝度変化を認識することが難しくなる。
 図24Fは、光源輝度の遷移時間tと、各露光ラインの露光開始時刻の時間差tとの関係を示している。tに比べてtが大きいほど、中間色になる露光ラインが少なくなり、光源輝度の推定が容易になる。t>tのとき中間色の露光ラインは連続で2ライン以下になり、望ましい。tは、光源がLEDの場合は1マイクロ秒以下、光源が有機ELの場合は5マイクロ秒程度となるため、tを5マイクロ秒以上とすることで、光源輝度の推定を容易にすることができる。
 図24Gは、光源輝度の高周波ノイズtHTと、露光時間tとの関係を示している。tHTに比べてtが大きいほど、撮像画像は高周波ノイズの影響が少なくなり、光源輝度の推定が容易になる。tがtHTの整数倍のときは高周波ノイズの影響がなくなり、光源輝度の推定が最も容易になる。光源輝度の推定には、t>tHTであることが望ましい。高周波ノイズの主な原因はスイッチング電源回路に由来し、多くの電灯用のスイッチング電源ではtHTは20マイクロ秒以下であるため、tを20マイクロ秒以上とすることで、光源輝度の推定を容易に行うことができる。
 図24Hは、tHTが20マイクロ秒の場合の、露光時間tと高周波ノイズの大きさとの関係を表すグラフである。tHTは光源によってばらつきがあることを考慮すると、グラフより、tは、ノイズ量が極大をとるときの値と等しくなる値である、15マイクロ秒以上、または、35マイクロ秒以上、または、54マイクロ秒以上、または、74マイクロ秒以上として定めると効率が良いことが確認できる。高周波ノイズ低減の観点からはtは大きいほうが望ましいが、前述のとおり、tが小さいほど中間色部分が発生しづらくなるという点で光源輝度の推定が容易になるという性質もある。そのため、光源輝度の変化の周期が15~35マイクロ秒のときはtは15マイクロ秒以上、光源輝度の変化の周期が35~54マイクロ秒のときはtは35マイクロ秒以上、光源輝度の変化の周期が54~74マイクロ秒のときはtは54マイクロ秒以上、光源輝度の変化の周期が74マイクロ秒以上のときはtは74マイクロ秒以上として設定すると良い。
 図24Iは、露光時間tと認識成功率との関係を示す。露光時間tは光源の輝度が一定である時間に対して相対的な意味を持つため、光源輝度が変化する周期tを露光時間tで割った値(相対露光時間)を横軸としている。グラフより、認識成功率をほぼ100%としたい場合は、相対露光時間を1.2以下にすれば良いことがわかる。例えば、送信信号を1kHzとする場合は露光時間を約0.83ミリ秒以下とすれば良い。同様に、認識成功率を95%以上としたい場合は相対露光時間を1.25以下に、認識成功率を80%以上としたい場合は相対露光時間を1.4以下にすれば良いということがわかる。また、相対露光時間が1.5付近で認識成功率が急激に下がり、1.6でほぼ0%となるため、相対露光時間が1.5を超えないように設定すべきであることがわかる。また、認識率が7507cで0になった後、7507dや、7507e、7507fで、再度上昇していることがわかる。そのため、露光時間を長くして明るい画像を撮像したい場合などは、相対露光時間が1.9から2.2、2.4から2.6、2.8から3.0となる露光時間を利用すれば良い。例えば、図335の中間モードとして、これらの露光時間を使うと良い。
 図25のように、撮像装置によっては、露光を行わない時間(ブランキング)が存在することがある。
 ブランキングが存在する場合には、その時間の発光部の輝度は観察できない。
 発光部が同じ信号を2回以上繰り返して送信する、または、誤り訂正符号を付加することで、ブランキングによる伝送損失を防ぐことができる。
 発光部は、同じ信号が常にブランキングの間に送信されることを防ぐために、画像を撮像する周期と互いに素となる周期、または、画像を撮像する周期より短い周期で信号を送信する。
 (信号変調方式)
 搬送波に可視光を用いる場合、人間の視覚の時間分解能(5ミリ秒から20ミリ秒程度)を窓幅としたときの発光部の輝度の移動平均値を一定に保つように発光部を発光させることで、図26のように、人間には送信装置の発光部が一様な輝度で発光しているように見えると同時に、受信装置は発光部の輝度変化を観察することができる。
 人間の視覚の時間分解能を窓幅としたときの発光部の輝度の移動平均値を一定に保つように発光部を発光させるような変調方式として、図27に示す変調方法がある。変調後の信号が0のときは非発光、1のときは発光とし、送信信号に偏りはないとすると、発光部の輝度の平均値は、発光時の輝度の約50%になる。
 なお、発光/非発光の切り替えは人間の視覚の時間分解能と比べて十分に高速であるとする。
 人間の視覚の時間分解能を窓幅としたときの発光部の輝度の移動平均値を一定に保つように発光部を発光させるような変調方式として、図28に示す変調方法がある。変調後の信号が0のときは非発光、1のときは発光とし、送信信号に偏りはないとすると、発光部の輝度の平均値は発光時の輝度の約75%になる。
 図27の変調方式と比較して、符号化効率は0.5で同等であるが、平均輝度を高くすることができる。
 人間の視覚の時間分解能を窓幅としたときの発光部の輝度の移動平均値を一定に保つように発光部を発光させるような変調方式として、図29に示す変調方法がある。変調後の信号が0のときは非発光、1のときは発光とし、送信信号に偏りはないとすると、発光部の輝度の平均値は発光時の輝度の約87.5%になる。
 図27、図28に示す変調方式と比較して、符号化効率は0.375と劣るが、平均輝度を高く保つことができる。
 以下同様にして、符号化効率とトレードオフで平均輝度を高くする変調が可能である。
 人間の視覚の時間分解能を窓幅としたときの発光部の輝度の移動平均値を一定に保つように発光部を発光させるような変調方式として、図30に示す変調方法がある。
 変調後の信号が0のときは非発光、1のときは発光とし、送信信号に偏りはないとすると、発光部の輝度の平均値は発光時の輝度の約25%になる。
 図28に示す変調方式等と組み合わせ、周期的に変調方式を交代することで、人間や露光時間が長い撮像装置にとっては、発光部が点滅しているように見せることができる。
 同様に、変調方法を変化させることで、人間や露光時間が長い撮像装置にとっては、発光部が任意の輝度変化をしながら発光しているように見せることができる。
 搬送波に可視光を用いる場合、人間の視覚の時間分解能を窓幅としたときの発光部の輝度の移動平均値を周期的に変化させるように発光部を発光させることで、図31のように、人間には発信装置の発光部が点滅、または、任意のリズムで変化しているように見えると同時に、受信装置は発光信号を観察することができる。
 LED光源をバックライトに使用した液晶TVのLED部を発光させても同様の効果が得られる。この場合、少なくとも、光通信部の画面部分のコントラストを落とし、白色に近づけることにより、誤り率の少ない光通信が可能となる。全面、もしくは、通信に使用する画面部分を白色にするとより通信速度を上げられる。
 テレビのディスプレイ等を発光部として用いる場合、人間の視覚の時間分解能を窓幅としたときの発光部の輝度の移動平均値を人間に見せたい画像の輝度になるように調整することで、図32のように、人間には通常通りのテレビの映像が見えると同時に、受信装置は発光信号を観察することができる。
 撮像画像1フレームあたりの時間程度の窓幅としたときの発光部の輝度の移動平均値を、撮像フレーム毎に信号を伝送する場合の信号の値に調節することで、図33のように、近距離から撮像した場合には露光ライン毎に送信装置の発光状態を観察し、遠距離から撮像した場合には撮像フレーム毎に送信装置の発光状態を観察することで、2種類の速度で信号伝搬が可能である。
 なお、近距離から撮像した場合には、遠距離から撮像した場合に受信可能な信号も受信可能である。
 図34は、露光時間ごとに発光がどのように観察されるかを示す図である。
 撮像した画素の輝度は、撮像素子を露光していた時間の撮像対象の平均輝度に比例するため、露光時間が短ければ2217bのように発光パターン2217aがそのまま観察され、露光時間が長ければ、2217c、2217d、2217eのように観察される。
 なお、2217aは、図28に示す変調方式をフラクタル的に繰り返し用いた変調方式となっている。
 このような発光パターンを利用することで、露光時間が短い撮像装置を持つ受信装置には多くの情報を、露光時間が長い撮像装置を持つ受信装置には少ない情報を同時に送信することができる。
 受信装置は、露光ラインの1ラインまたは一定数のラインにわたって、発光部推定位置の画素の輝度が一定以上であれば1、一定以下であれば0を受信したと認識する。
 1が続く場合は通常の(信号を送信しておらず常に光っている)発光部と区別がつかず、0が続く場合は発光部が存在していない場合と区別がつかない。
 そのため、送信装置は、同じ数字が一定数連続した場合は異なる数字を送信しても良い。
 また、図35のように、必ず1と0を含むヘッダ部と、信号を送信するボディ部に分けて送信しても良い。この場合、同じ数字は5回を超えて連続では現れない。
 発光部が1部の露光ラインに映らない位置にある場合や、ブランキングが存在する場合は、発光部の全ての様子を受信装置の撮像装置で捉えることはできない。
 そのため、その信号が全体のどの部分の信号であるかを示す必要がある。
 それには、図36のように、データ部と、データの位置を示すアドレス部をまとめて送信する方法がある。
 なお、受信装置で信号の受信を容易にするためには、発光パターンが受信装置で一枚の撮像画像中に撮像されるように、データ部とアドレス部を合わせた大きさ発光パターンの長さを十分に短く設定することが望ましい。
 図37のように、送信装置は基準部とデータ部を送信し、受信装置は基準部を受信したときの時刻との差からデータの位置を認識する方法がある。
 図38のように、送信装置は基準部とアドレスパターン部とデータ部を送信し、受信装置は基準部の次にあるアドレスパターン部から、データ部のデータとその位置のパターンを得、そのパターンと、基準部を受信した時刻と各データを受信したときの時刻との差からデータの位置を認識する方法がある。
 複数の種類のアドレスパターンが利用できることで、一様にデータを送信するだけではなく、重要性が高いデータや先に処理すべきデータを先に送信したり、他のデータより繰り返し回数を増やしたりすることができる。
 発光部が全部の露光ラインには映らない場合や、ブランキングが存在する場合は、発光部の全ての様子を受信装置の撮像装置で捉えることはできない。
 図39のように、ヘッダ部を付加することで、信号の区切りを検出し、アドレス部やデータ部を検出することができる。
 ヘッダ部の発光パターンには、アドレス部やデータ部に現れないパターンを用いる。
 例えば、表2200.2aの変調方式を用いる場合には、ヘッダ部の発光パターンを「0011」とすることができる。
 また、ヘッダ部のパターンを「11110011」とすると、平均輝度が他の部分と等しくなり、人間の目で見た時のチラツキを抑えることができる。このヘッダ部は冗長性が高いため、ここにも情報を重畳することが可能である。例えば、ヘッダ部のパターンが「11100111」の場合は、送信装置間で通信する内容を送信していることを示すことなどが可能である。
 なお、受信装置で信号の受信を容易にするためには、発光パターンが受信装置で一枚の撮像画像中に撮像されるように、データ部とアドレス部とヘッダ部を合わせた大きさ発光パターンの長さを十分に短く設定することが望ましい。
 図40では、送信装置は、優先度によって情報の送信順序を決定する。
 例えば、送信回数を優先度に比例させる。
 受信装置は、送信装置の発光部が受信装置の撮像部いっぱいに写っていない場合やブランキングがある場合には信号を連続して受信できないため、送信される頻度が高いほど早く受信されやすい。
 図41は、近くに存在する複数の送信装置が同調して情報を送信するパターンを示す。
 複数の送信装置が共通情報を同時に送信することで、一つの大きな送信装置とみなすことができ、受信装置の撮像部で大きく撮像することができるため、情報をより速く、より遠くからでも受信可能となる。
 送信装置は、近くに存在する送信装置の発光パターンと混同されないように、近くの送信装置の発光部が一様発光(信号を送信していない)時間帯に、個別情報を送信する。
 送信装置は、近くに存在する送信信号の発光パターンを受光部で受光することで、近くに存在する送信装置の発光パターンを学習し、自身の発光パターンを定めるとしても良い。また、送信装置は、近くに存在する送信信号の発光パターンを受光部で受光することで、他の送信装置の命令によって自身の発光パターンを定めるとしても良い。また、送信装置は、集中制御装置の命令に従って、発光パターンを定めるとしても良い。
 (発光部の検出)
 撮像画像のどの部分に発光部が撮像されているかを判断する方法として、図42のように、露光ラインに垂直な方向に、発光部が撮像されたライン数を数え、最も多く発光部が撮像された列を発光部の存在する列とする方法がある。
 発光部の端に近い部分は、受光の度合いにゆらぎがあり、発光部が撮像されているかどうかの判断を誤りやすいため、最も多く発光部が撮像された列の中でも中央の列の画素の撮像結果から信号を取り出す。
 撮像画像のどの部分に発光部が撮像されているかを判断する方法として、図43のように、露光ライン毎に発光部を撮像した部分の中点を求め、求めた点を結ぶ近似線(直線、または、二次曲線)上に発光部が存在すると推定する方法がある。
 図44のように、前のフレームにおける発光部の推定位置を事前確率とし、現在のフレームの情報から発光部の推定位置を更新しても良い。
 なお、この間の9軸センサやジャイロセンサの値から、現在の発光部の推定位置を更新しても良い。
 図45を解説すると、撮像範囲が2212aのとき、発光部2212bを撮像すると、撮像画像2212c、2212d、2212eのような画像が撮像される。
 撮像画像2212c、2212d、2212eの発光部分の和を取ると、合成画像2212fが得られ、撮像画像中の発光部位置を特定することができる。
 受信装置は、特定した発光部の位置から、発光部の発光のオンオフを検出する。
 なお、図28に示す調方式を用いる場合、発光確率は0.75であるため、n枚の画像の和をとった時に、合成画像2212f中の発光部が発光して見える確率は、1-0.25である。ここで、例えば、n=3のとき、この確率は約0.984となる。
 なお、ジャイロセンサや9軸センサのセンサ値から撮像部の姿勢を推定し、撮像方向の補償を行った上で画像を合成したほうが精度は高くなる。しかし、合成画像数が少ない場合は撮像時間が短いため、撮像方向の補償を行わなくても悪影響は少ない。
 図46は、受信装置が複数の発光部を撮像した場合を示す図である。
 複数の発光部が同じ信号を発している場合は、両方の発光パターンから一つの送信信号を取得する。複数の発光部が異なる信号を発している場合は、別々の発光パターンから別々の送信信号を取得する。
 送信信号の同じアドレスのデータ値が異なる場合は、異なる信号が送信されている。なお、送信信号のヘッダ部のパターンによって、近くの送信装置と同じ、または、異なる信号を送信していると判断しても良い。
 発光部がほぼ隣接している場合は、同じ信号を送信しているとみなしても良い。
 図47に、このときの送信信号のタイムラインと、発光部を撮像した画像を示す。
 (位置パターンによる信号の伝送)
 図48で、発光部2216a、2216c、2216eは一様に発光しており、発光部2216b、2216d、2216fは、発光パターンにより信号を発信している。なお、発光部2216b、2216d、2216fは、単純に、受信装置が露光ラインごとに撮像すれば縞模様に見えるように発光しているだけでも良い。
 図48では、発光部2216a~2216fは、同一の送信装置の発光部でも、別々の送信装置でも良い。
 送信装置は、信号を送信している発光部の位置と、送信していない発光部の位置のパターン(位置パターン)によって、送信する信号を表現する。
 図48では、6個の発信部があるため、2の6乗=64値の信号を送信可能である。異なる方向から見れば同一に見える位置パターンは使用するべきではないが、受信装置の9軸センサなどにより撮像方向を特定することで、上記のようなパターンを識別することもできる。なお、どの発光部が信号を送信しているかを時刻によって変化させることで、より多くの信号を送信しても良い。
 送信装置は、一部の時間帯に位置パターンによる信号送信を行い、別の時間帯には発光パターンで信号を送信することもできる。例えば、一部の時間帯で、全ての発光部を同調させて送信装置のIDや位置情報を発光パターンで送信することができる。
 発光部の配置パターンはほぼ無限に存在するため、受信装置が全ての位置パターンを予め記憶しておくことは困難である。
 そこで、受信装置は、送信装置が発光パターンによって送信した送信装置のIDや位置情報や、無線基地局による受信装置の推定位置や、GPSやジャイロセンサや9軸センサによって推定した受信装置の位置情報をキーに、サーバから、付近に存在する位置パターンのリストを取得し、そのリストを基に位置パターンを解析する。
 この方式によれば、位置パターンで表現する信号は全世界でユニークである必要はなく、同じ位置パターンが近く(半径数メートルから300メートル程度)に存在しなければ良く、発光部が少ない送信装置は表現できる位置パターンの数が少ないという問題を解決できる。
 発光部の大きさや形状や位置情報をサーバから取得し、これらの情報と、撮像した位置パターンの大きさや形状と、撮像部のレンズ特性から、受信装置の位置を推定することができる。
 (受信装置)
 主に受信を行う通信装置としては、図49のように、携帯電話やデジタルスチルカメラやデジタルビデオカメラやヘッドマウントディスプレイやロボット(掃除用、介護用、産業用等)や監視カメラ等が考えられる。ただし、受信装置はこれらに限定されない。
 なお、受信装置とは、主に信号を受信する通信装置であって、本実施の形態の方式やその他の方式によって信号の送信を行うこともある。
 (送信装置)
 主に送信を行う通信装置としては、図50のように、照明(家庭用、店舗用、オフィス用、地下街用、街路用等)、懐中電灯、家電、ロボット、その他電子機器が考えられる。ただし、送信装置はこれらに限定しない。
 なお、送信装置とは、主に信号を送信する通信装置であって、本実施の形態の方式やその他の方式によって信号の受信を行うこともある。
 発光部は、図51に示すように、LED照明やLEDバックライトを用いた液晶等のように、発光/非発光のスイッチングが高速であるものが望ましい。ただし、発光部はこれらに限定するものではない。
 発光部には、上記の他、蛍光灯や白熱電灯や水銀灯や有機ELディスプレイなどの照明が考えられる。
 なお、発光部が大きく撮像されるほうが、伝送効率が高くなるため、送信装置は、図52のように、同期して発光する発光部を複数備えても良い。また、撮像素子の露光ラインと垂直の方向に大きく映るほど伝送効率は高くなるため、発光部は一列に並べて設置しても良い。また、受信装置を自然に構えた場合に露光ラインと垂直に発光部を並べても良い。また、複数の向きから撮像されることが予想される場合には、図53のように、十字形に発光部を配置しても良い。また、複数の向きから撮像されることが予想される場合には、図54のように、円形の発光部を用いたり、円形に発光部を配置したりしても良い。また、大きく撮像するほうが、伝送効率が高くなるため、送信装置は、図55のように、発光部に散光板をかぶせても良い。
 図56のように、異なる信号を送信する発光部は、同時に撮像されないように距離を離して配置する。また、図57のように、異なる信号を送信する発光部は、同時に撮像されないように、間に信号を送信しない発光部を配置する。
 (発光部の構造)
 図58は、発光部の望ましい構造を示す図である。
 2311aのように、発光部とその周囲の素材を反射率の低いものにすることで、発光部周辺に光があたっている場合でも、受信装置が発光の様子を認識することを容易にすることができる。また、2311bのように、外光を妨げるかさを設けることで、発光部周辺に光が当たらす、受信装置が発光の様子を認識することを容易にすることができる。また、2311cのように、奥まった部分に発光部を設けることで、発光部周辺に光が当たらす、受信装置が発光の様子を認識することを容易にすることができる。
 (信号搬送波)
 信号を搬送する光(電磁波)は、受信装置が受光可能な、図59に示す近赤外線帯~可視光帯~近紫外線帯の周波数帯の光(電磁波)を用いる。
 (撮像部)
 図60では、受信装置の撮像部は、撮像範囲2310aの中にパターン発光をしている発光部2310bを検出する。
 撮像制御部は、他の露光ラインを用いる代わりに、発光部の中心位置の露光ライン2310cを繰り返し用いて撮像画像2310dを取得する。
 撮像画像2310dは、露光時間の異なる同じ場所の画像となる。撮像画像2310dの発光部が写っている画素を露光ラインと垂直方向に走査することで、発光部の発光パターンを観察できる。
 この方法により、発光部が撮像画像中の一部分にしか存在しない場合でも、発光部の輝度変化をより長い時間観察できる。そのため、小さな発光部や、発光部を遠くから撮像した場合でも信号を読み取ることが可能となる。
 ブランキングがない場合には、この方法により、撮像装置の一部分にでも発光部が写っていれば、発光部の輝度変化を全て観察することができる。
 一つのラインを露光する時間が、次のラインを露光し始めるまでの時間より長い場合は、発光部の中心の複数の露光ラインを用いて撮像することで、同様の効果が得られる。
 なお、画素単位での制御が可能である場合は、発光部の中心に最も近い点のみ、あるいはその付近の複数の点のみを用いて撮像を行う。このとき、各画素の露光開始時刻をずらすことで、さらに細かい周期で発光部の発光状態を検出することができる。
 なお、主に2310cの露光ラインを使用しつつ、まれに別の露光ラインを使用して撮像し、撮像画像を合成することで、通常より解像度やフレームレートは劣るものの、通常通り撮像した撮像画像と類似した画像(映像)を合成できる。この合成画像をユーザに表示することでユーザに受信装置を操作させたり、手振れの補正に利用したりすることができる。
 なお、手振れの補正には、ジャイロセンサや9軸センサなどのセンサ値を利用したり、発光部を撮影している撮像装置とは別の撮像装置で撮像した画像を利用したりすることもできる。
 なお、発光部の端よりも中心に近いほうが、手振れ時に発光部が露光ラインや露光画素から外れにくいため、発光部の中心に近い部分を露光ラインや露光画素とすることが望ましい。
 なお、発光部の辺縁部は発光輝度が低いため、なるべく発光部の周囲から遠く、輝度が高い部分を露光ラインや露光画素とすることが望ましい。
 (受信装置の位置の推定)
 図61では、送信装置は自身の設置されている位置情報と、発光装置の大きさと、発光装置の形状と、送信装置のIDとを送信する。ここで、位置情報には、発光装置の中心部分の緯度や、経度や、標高や、床面からの高さ等が含まれる。
 受信装置は、9軸センサとジャイロセンサから得た情報により撮像方向を推定する。受信装置は、送信装置から送信された発光装置の大きさと形状と、撮像された画像中の発光装置の大きさと形状と、撮像装置の情報から、受信装置から発光装置までの距離を推定する。ここで、撮像装置の情報には、レンズの焦点距離や、レンズの歪みや、撮像素子の大きさや、レンズと撮像素子間の距離や、基準サイズの物体の撮像画像中の大きさと撮像装置から撮像物体までの距離の対照表等が含まれる。
 また、受信装置は、送信装置から送信された情報と、撮像方向と、受信装置から発光装置までの距離とから、受信装置の位置情報を推定する。
 図62では、送信装置は自身の設置されている位置情報と、発光部の大きさと、発光部の形状と、送信装置のIDとを送信する。ここで、位置情報には、発光部の中心部分の緯度や、経度や、標高や、床面からの高さ等が含まれる。
 受信装置は、9軸センサとジャイロセンサから得た情報により撮像方向を推定する。受信装置は、送信装置から送信された発光部の大きさと形状と、撮像された画像中の発光部の大きさと形状と、撮像装置の情報から、受信装置から発光部までの距離を推定する。ここで、撮像装置の情報には、レンズの焦点距離や、レンズの歪みや、撮像素子の大きさや、レンズと撮像素子間の距離や、基準サイズの物体の撮像画像中の大きさと撮像装置から撮像物体までの距離の対照表等が含まれる。
 また、受信装置は、送信装置から送信された情報と、撮像方向と、受信装置から発光部までの距離とから、受信装置の位置情報を推定する。受信装置は、9軸センサとジャイロセンサから得た情報により、移動方向と移動距離を推定する。受信装置は、複数の地点で推定した位置情報と、移動方向と移動距離から推定したその地点間の位置関係を用いて、受信装置の位置情報を推定する。
 例えば、地点
Figure JPOXMLDOC01-appb-M000001
で推定した受信装置の位置情報の確率場を
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
から地点
Figure JPOXMLDOC01-appb-M000004
へ移動したときに推定した移動方向と移動距離の確率場を
Figure JPOXMLDOC01-appb-M000005
とすると、最終的に推定される位置情報の確率場は
Figure JPOXMLDOC01-appb-M000006
と計算できる。
 また、図62では、送信装置は自身の設置されている位置情報と、送信装置のIDとを送信してもよい。ここで、位置情報には、発光装置の中心部分の緯度や、経度や、標高や、床面からの高さ等が含まれる。
 この場合、受信装置は、9軸センサとジャイロセンサから得た情報により撮像方向を推定する。受信装置は、三点測量の方法で受信装置の位置情報を推定する。
 図63では、送信装置は送信装置のIDを送信する。
 受信装置は送信装置のIDを受信し、インターネットから送信装置の設置されている位置情報と、発光装置の大きさと、発光装置の形状等を得る。ここで、位置情報には、発光装置の中心部分の緯度や、経度や、標高や、床面からの高さ等が含まれる。
 受信装置は、9軸センサとジャイロセンサから得た情報により撮像方向を推定する。受信装置は、送信装置から送信された発光装置の大きさと形状と、撮像された画像中の発光装置の大きさと形状と、撮像装置の情報から、受信装置から発光装置までの距離を推定する。ここで、撮像装置の情報には、レンズの焦点距離や、レンズの歪みや、撮像素子の大きさや、レンズと撮像素子間の距離や、基準サイズの物体の撮像画像中の大きさと撮像装置から撮像物体までの距離の対照表等が含まれる。
 また、受信装置は、インターネットから得た情報と、撮像方向と、受信装置から発光装置までの距離とから、受信装置の位置情報を推定する。
 図64では、送信装置は自身の設置されている位置情報と、送信装置のIDとを送信する。ここで、位置情報には、発光装置の中心部分の緯度や、経度や、標高や、床面からの高さ等が含まれる。
 受信装置は、9軸センサとジャイロセンサから得た情報により撮像方向を推定する。受信装置は、三角測量の方法で受信装置の位置情報を推定する。
 図65では、送信装置は自身の設置されている位置情報と、送信装置のIDとを送信する。位置情報には、発光装置の中心部分の緯度や、経度や、標高や、床面からの高さ等が含まれる。
 受信装置は、9軸ジャイロセンサから得た情報により撮像方向を推定する。受信装置は、三角測量の方法で受信装置の位置情報を推定する。また、受信装置は、ジャイロセンサや9軸センサから、受信装置の姿勢変化や移動を推定する。なお、受信装置は、同時に、9軸センサの零点調整やキャリブレーションを行なっても良い。
 (送信情報の設定)
 図66では、受信装置2606cで送信装置2606bの発光パターンを撮像して送信された信号を取得し、受信装置の位置を推定する。
 受信装置2606cは、移動されている間に、撮像画像の変化や、9軸センサやジャイロセンサのセンサ値から、移動の距離と方向を推定する。
 受信装置は、送信装置2606aの受光部を撮像し、発光部の中心位置を推定し、その位置を送信装置に送信する。
 発光部の位置推定には、発光装置の大きさの情報が必要であるため、送信装置は、送信する情報の一部が欠けている場合でも、発光部の大きさ情報を送信しているほうが望ましい。なお、発光部の大きさがわからない場合は、受信装置に位置推定に利用した送信装置2606bと受信装置2606cとの間の距離から天井の高さを推定し、その結果を利用して送信装置2606aと受信装置2606cとの間の距離を推定する。
 送信には、発光パターンによる送信や、音のパターンによる送信や、無線電波による送信方式がある。送信装置の発光パターンとその時刻を記憶しておき、あとで送信装置や集中制御装置へ送信するとしても良い。
 送信装置や集中制御装置は、発光パターンとその時刻から、受信装置が撮像していた送信装置を特定し、位置情報を送信装置へ記憶させる。
 図67では、受信装置の撮像した画像中の点として送信装置の一点を指定することで、位置を設定する点を指定する。
 受信装置は、位置設定点から送信装置の発光部の中心への位置関係を計算し、設定する位置にその位置関係を加えた位置を送信装置へ送信する。
 図68では、受信装置は、送信装置を撮像することで、送信された信号を受信する。受信した信号を基に、サーバや電子機器と通信を行う。
 例えば、受信装置は、信号に含まれる送信装置のIDをキーに、サーバから、送信装置の情報や、送信装置の位置・大きさや、その位置に関連するサービス情報等を取得する。
 また、例えば、受信装置は、信号に含まれる送信装置の位置から受信装置の位置を推定し、サーバから、地図情報や、その位置に関連するサービス情報等を取得する。
 また、例えば、受信装置は、現在の大まかな位置をキーに、サーバから、付近の送信装置の変調方式を取得する。
 また、例えば、受信装置は、信号に含まれる送信装置のIDをキーに、サーバに、受信装置や送信装置の位置情報や、付近の情報や、受信装置が付近で行った処理の情報をサーバに登録する。
 また、例えば、受信装置は、信号に含まれる送信装置のIDをキーに、電子機器の操作を行う。
 (受信装置のブロック図)
 図69は、受信装置を示す構成図である。受信装置はこの全部、または、撮像部と信号解析部を含む一部から構成される。なお、図69で同じ名称のブロックは、同一のものが兼ねても良いし、異なるものであっても良い。
 狭義の受信装置は、スマートフォンやデジタルカメラ等に備えられる。入力部2400hは、ユーザ操作入力部2400iや、照度センサ2400jや、マイクロフォン2400kや、計時部2400nや、位置推定部2400mや、通信部2400pの全部、または、一部から構成される。
 撮像部2400aは、レンズ2400bや、撮像素子2400cや、フォーカス制御部2400dや、撮像制御部2400eや、信号検出部2400fや、撮像情報記憶部2400gの全部、または、一部から構成される。撮像部2400aは、ユーザの操作や、照度の変化や、音や声のパターンや、特定の時刻になったことや、特定の場所に受信装置が移動してきたことや、通信部を介して他の装置に命令されることで、撮像を開始する。
 フォーカス制御部2400dは、送信装置の発光部2400aeにフォーカスを合わせたり、送信装置の発光部2400aeが大きく映るようにぼかすようにフォーカスを合わせたりといった制御を行う。
 露光制御部2400akは、露光時間と露光ゲインを設定する。
 撮像制御部2400eは、撮像する位置を特定の画素に限定する。
 信号検出部2400fは、撮像画像中から、送信装置の発光部2400aeが含まれる画素や、発光による信号送信が含まれる画素を検出する。
 撮像情報記憶部2400gは、フォーカス制御部2400dの制御情報や、撮像制御部2400eの制御情報や、信号検出部2400fで検出した情報を記憶する。撮像装置が複数ある場合には、同時に撮像を行い、一方を受信装置の位置や姿勢の推定に利用しても良い。
 発光制御部2400adは、入力部2400hからの入力により、発光部2400aeの発光パターンを制御することで、信号を送信する。発光制御部2400adは、発光部2400aeを発光させた時刻を計時部2400acから取得して記録する。
 撮像画像記憶部2400wは、撮像部2400aで撮像した画像を記憶する。
 信号解析部2400yは、撮像素子のラインごとの露光時間の違いを利用して、撮像された送信装置の発光部2400aeの発光パターンから、変調方式記憶部2400afに記憶された変調方式を基に、送信された信号を取得する。
 受信信号記憶部2400zは、信号解析部2400yで解析された信号を記憶する。
 センサ部2400qは、GPS2400rや、磁気センサ2400tや、加速度センサ2400sや、ジャイロセンサ2400uの全部、または一部から構成される。磁気センサ2400tおよび加速度センサ2400sはそれぞれ9軸センサであってもよい。
 位置推定部は、センサ部からの情報や、撮像画像や、受信した信号から、受信装置の位置や姿勢を推定する。
 演算部2400aaは、受信した信号や、受信装置の推定位置や、これらを基にネットワーク2400ahから得た情報(地図や場所に関連した情報や送信装置に関連した情報等)を表示部2400abに表示させる。
 演算部2400aaは、受信した信号や、受信装置の推定位置から、入力部2400hに入力された情報を基に、送信装置の制御を行う。
 通信部2400agは、ピアツーピアで接続する方式(bluetoothなど)を用いる場合は、ネットワーク2400ahを介さずに端末同士で通信を行う。
 電子機器2400ajは、受信装置に制御される。
 サーバ2400aiは、送信装置の情報や送信装置の位置や送信装置の位置に関連した情報を、送信装置のIDと紐付けて記憶している。
 サーバ2400aiは、送信装置の変調方式を、位置に紐付けて記憶している。
 (送信装置のブロック図)
 図70は、送信装置を構成するブロック図である。
 送信装置は、本構成図の全部、または、発光部と送信信号記憶部と変調方式記憶部と演算部を含めた一部で構成される。
 狭義の送信装置2401abは、電灯や電子機器やロボットに備えられる。
 照明制御スイッチ2401nは、照明のオンオフを切り替えるスイッチである。
 散光板2401pは、発光部2401qの光を散光させるために発光部2401qの近くに取り付けられる部材である。
 発光部2401qは、図69の受信装置の撮像素子のラインごとの露光時間の違いを利用して、ラインごとに発光パターンが検出される速度で点灯・消灯を行う。
 発光部2401qは、高速に点灯・消灯が可能なLEDや蛍光灯等の光源で構成される。
 発光制御部2401rは、発光部2401qの点灯と消灯を制御する。
 受光部2401sは、受光素子や撮像素子で構成される。受光部2401sは、受光した光の強さを電気信号に変換する。なお、受光部2401sの代わりに、撮像部を用いても良い。
 信号解析部2401tは、受光部2401sが受光した光のパターンから信号を取得する。
 演算部2401uは、送信信号記憶部2401dに記憶されている送信信号を、変調方式記憶部2401eに記憶されている変調方式に従って発光パターンに変換する。演算部2401uは、信号解析部2401tから得た信号を基に、記憶部2401aの情報を編集したり、発光制御部2401rを制御したりして通信の制御を行う。演算部2401uは、取り付け部2401wからの信号を基に、記憶部2401aの情報を編集したり、発光制御部2401rを制御したりして通信の制御を行う。演算部2401uは、通信部2401vからの信号を基に、記憶部2401aの情報を編集するなど発光制御部2401rの制御を行う。
 また、演算部2401uは、取り付け装置2401hの記憶部2401bの情報を編集する。演算部2401uは、取り付け装置2401hの記憶部2401bの情報を、記憶部2401aにコピーする。
 演算部2401uは、定められた時刻に発光制御部2401rを制御する。演算部2401uは、ネットワーク2401aaを介して電子機器2401zzの制御を行う。
 記憶部2401aは、送信信号記憶部2401d、形状記憶部2401f、変調方式記憶部2401e、機器状態記憶部2401gの全部、または、一部から構成される。
 送信信号記憶部2401dは、発光部2401qから送信する信号を記憶する。
 変調方式記憶部2401eは、送信信号を発光パターンに変換する変調方式を記憶する。
 形状記憶部2401fは、送信装置と発光部2401qの形状を記憶する。
 機器状態記憶部2401gは、送信装置の状態を記憶する。
 取り付け部2401wは、取付金具や電力供給口で構成される。
 取り付け装置2401hの記憶部2401bは、記憶部2401aに記憶する情報を記憶する。記憶部2401aは備えず、取り付け装置2401hの記憶部2401bや、集中制御装置2401mの記憶部2401cを用いても良い。
 通信部2401vは、ピアツーピアで接続する方式(bluetoothなど)を用いる場合は、ネットワーク2401aaを介さずに端末同士で通信を行う。
 サーバ2401yは、送信装置の情報や送信装置の位置や送信装置の位置に関連した情報を、送信装置のIDと紐付けて記憶している。また、サーバ2401yは、送信装置の変調方式を、位置に紐付けて記憶している。
 (受信の手順)
 図71を解説すると、ステップ2800aで、受信装置に撮像装置が複数あるかどうかを確認する。Noの場合はステップ2800bへ進み、使用する撮像装置を選択し、ステップ2800cへ進む。一方、Yesの場合はステップ2800cへ進む。
 ステップ2800cでは、露光時間(=シャッタースピード)を設定(なお、露光時間は短いほうが望ましい)する。
 次に、ステップ2800dで、露光ゲインを設定する。
 次に、ステップ2800eで、撮像する。
 次に、ステップ2800fで、露光ライン毎に、輝度が一定の閾値を超える画素が一定数以上続く部分を判定し、その部分の中心位置を求める。
 次に、ステップ2800gで、上記の中心位置を結ぶ、1次または2次の近似線を計算する。
 次に、ステップ2800hで、各露光ラインの近似線上の画素の輝度値を、各露光ラインの信号値とする。
 次に、ステップ2800iで、撮像フレームレート、解像度、ブランキング時間等によって構成される撮像情報から、露光ライン1ラインあたりの担当時間を計算する。
 次に、ステップ2800jで、ブランキング時間が一定以下であれば、ある撮像フレームの最後の露光ラインの次の露光ラインはその次のフレームの最初の露光ラインであるとみなす。そうでない場合は、ある撮像フレームの最後の露光ラインとその次のフレームの最初の露光ラインの間には、ブランキング時間を1露光ラインあたりの担当時間で除した数の、観測できない露光ラインが存在するとみなす。
 次に、ステップ2800kで、デコード情報から、基準位置パターン、アドレスパターンを読み込む。
 次に、ステップ2800mで、各露光ラインの信号値から、信号の基準位置を示すパターンを検出する。
 次に、ステップ2800nで、検出した基準位置を基に、データ部、アドレス部を計算する。
 次に、ステップ2800pで、送信信号を得る。
 (自己位置推定の手順)
 図72を解説すると、まず、ステップ2801aで、受信装置の現在位置として認識している位置または現在位置の確率マップを、自己位置の事前情報とする。
 次に、ステップ2801bで、受信装置の撮像部を送信装置の発光部へ向ける。
 次に、ステップ2801cで、9軸センサとジャイロセンサのセンサ値から、撮像装置が向けられている方位と仰角を計算する。
 次に、ステップ2801dで、発光パターンを撮像し、送信信号を取得する。
 次に、ステップ2801eで、送信信号に含まれる発光部の大きさや形状の情報と、撮像した発光部の大きさと、撮像装置の撮像の倍率とから、撮像装置と発光部の間の距離を計算する。
 次に、ステップ2801fで、撮像画像中の発光部の位置と、レンズ特性から、撮像部から発光部への方向と撮像面の法線との相対角度を計算する。
 次に、ステップ2801gで、これまでに計算した数値から、撮像装置と発光部の相対位置関係を計算する。
 次に、ステップ2801hで、送信信号に含まれる発光部の位置と、撮像装置と発光部の相対位置関係から、受信装置の位置を計算する。なお、送信装置が複数観察できる場合は、各送信装置に含まれる信号から撮像装置の座標を計算することで、受信装置の位置を高精度に計算できる。なお、送信装置が複数観察できる場合は、三角測量の手法を用いることができる。
 次に、ステップ2801iで、自己位置の事前情報と、受信装置の位置の計算結果から、受信装置の現在位置または現在位置の確率マップを更新する。
 次に、ステップ2801jで、撮像装置を移動させる。
 次に、ステップ2801kで、9軸センサとジャイロセンサのセンサ値から、移動の方向と距離を計算する。
 次に、ステップ2801mで、撮像画像と撮像装置の姿勢とから、移動の方向と距離を計算し、ステップ2801aへ戻る。
 (送信制御の手順1)
 図73を解説すると、まず、ステップ2802aで、ユーザがボタン押下する。
 次に、ステップ2802bで、発光部を発光させる。なお、発光パターンで信号を表しても良い。
 次に、ステップ2802cで、発光開始時刻や、終了時刻や、特定のパターンを送信した時刻を記録する。
 次に、ステップ2802dで、撮像装置で撮像する。
 次に、ステップ2802eで、撮像画像中に存在する送信装置の発光パターンを撮像し、送信された信号を取得する。なお、記録した時刻を利用して同期的に発光パターンを解析しても良い。そして、終了する。
 (送信制御の手順2)
 図74を解説すると、まず、ステップ2803aで、受光装置で受光、または、撮像装置で撮像する。
 次に、ステップ2803bで、特定のパターンであったかどうかを確認する。
 Noの場合は、ステップ2803aへ戻る。一方、Yesの場合は、ステップ2803cへ進み、受信パターンを受光または撮像した開始時刻や、終了時刻や、特定のパターンが現れた時刻を記録する。
 次に、ステップ2803dで、記憶部から送信信号を読み出し、発光パターンへ変換する。
 次に、ステップ2803eで、前記発光パターンに従って発光部を発光させ、終了する。なお、記録した時刻から一定時間が経過してから発光させ、終了するとしても良い。
 (送信制御の手順3)
 図75を解説すると、まず、ステップ2804aで、受光装置で受光し、受光した光エネルギーを電気に変換して蓄電する。
 次に、ステップ2804bで、蓄電エネルギーが一定以上となったかどうかを確認する。
 Noの場合は、ステップ2804aへ戻る。一方、Yesの場合は、ステップ2804cへ進み、受光した光を解析し、特定のパターンが現れた時刻を記録する。
 次に、ステップ2804dで、記憶部から送信信号を読み出し、発光パターンへ変換する。
 次に、ステップ2804eで、上記発光パターンに従って発光部を発光させ、終了する。なお、記録した時刻から一定時間が経過してから発光させ、終了するとしても良い。
 (駅構内での情報提供)
 図76は、駅構内で情報提供を受ける状況を説明する図である。
 受信装置2700aは、駅施設に設置された照明を撮像し、発光パターンや位置パターンを読み取ることで、照明装置が送信している情報を受信する。
 受信装置2700aは、受信した情報を基にサーバから照明や施設の情報を取得し、さらに、撮像された照明の大きさや形から、受信装置2700aの現在位置を推定する。
 例えば、受信装置2700aは、施設IDや位置情報にもとづいて得た情報を表示する(2700b)。受信装置2700aは、施設IDを基に施設の地図をダウンロードし、ユーザが購入した乗車券情報から、乗車場所へのナビゲートを行う(2700c)。
 なお、図76は鉄道の駅での例を示しているが、空港や港やバス停等の施設でも同様である。
 (乗車サービス)
 図77は、乗り物内での利用の様子を示す図である。
 乗客の持つ受信装置2704aと、販売員の持つ受信装置2704bは、照明2704eが送信する信号を受信し、自身の現在位置を推定する。
 なお、各受信装置は、自己位置推定に必要な情報を、照明2704eから取得しても良いし、照明2704eから送信された情報をキーにサーバから取得しても良いし、乗車駅や改札の位置情報等を基に事前に取得しても良い。
 なお、受信装置2704aは、ユーザ(乗客)が購入した乗車券の乗車時間情報と現在時刻から、現在位置が乗り物内であることを認識し、その乗り物と関連付けられた情報をダウンロードしても良い。
 各受信装置は、自身の現在の位置をサーバへ通知する。受信装置2704aは、ユーザ(乗客)IDや、受信装置のIDや、ユーザ(乗客)が購入した乗車券の情報をサーバへ通知することで、サーバは、座席に座っている人物が乗車権利や指定席権利を持つ人物であることを確認する。
 受信装置2704aは、販売員の現在位置を表示することで、ユーザ(乗客)は、車内販売の購入タイミングを検討できる。
 乗客が受信装置2704aを介して車内販売の注文を行ったとき、受信装置2704aは、自身の位置と注文内容と課金情報を販売員の受信装置2704bやサーバに通知する。販売員の受信装置2704bは、注文者の位置を示す地図_2704dを表示させる。
 なお、乗客は受信装置2704aを介して、指定席券や乗り継ぎ乗車券の購入もできる。
 受信装置2704aは空席情報2704cを表示する。受信装置2704aは、ユーザ(乗客)が購入した乗車券の乗車区間情報と、自身の現在位置から、指定席券や乗り継ぎ乗車券の購入情報や課金情報をサーバへ通知する。
 なお、図77は鉄道内での例を示しているが、飛行機や船やバス停等の乗り物でも同様である。
 (店舗内サービス)
 図78は、店舗内での利用の様子を示す図である。
 受信装置2707b、2707c、2707dは、照明2707aが送信する信号を受信し、自身の現在位置を推定し、サーバへ通知する。
 なお、各受信装置は、自己位置推定に必要な情報やサーバのアドレスを、照明2707aから取得しても良いし、照明2707aから送信された情報をキーに別のサーバから取得しても良いし、会計システムから取得しても良い。
 会計システムは、会計情報と受信装置2707dとを関連付け、受信装置2707dの現在位置を表示させて(2707c)注文された商品を届ける。
 受信装置2707bは、照明2707aから送信された情報を基に商品情報を表示する。購入者が表示された商品情報から注文を行うと、受信装置2707bは、商品情報と課金情報と現在位置をサーバへ通知する。
 このように、販売者は受信装置2707bの位置情報を基に注文された商品を届けることが可能であり、購入者は席に座ったままで商品の購入が可能である。
 (無線接続の確立)
 図79は、無線接続の認証状を通信し、無線接続を確立する状況を示している図である。
 電子機器(デジタルカメラ)2701bは、無線接続のアクセスポイントとして動作し、その接続に必要な情報として、IDやパスワードを発光パターンとして送信する。
 電子機器(スマートフォン)2701aは、発光パターンから送信情報を取得し、無線接続を確立する。
 なお、ここでは無線接続としたが、確立するコネクションは有線接続ネットワークであっても良い。
 なお、二つの電子機器との間の通信は、第3の電子機器を介して行なっても良い。
 (通信範囲の調整)
 図80は、発光パターンや位置パターンによる通信の範囲を示す図である。
 電波を利用した通信方式では、壁で区切られた隣室にも電波が到達してしまい、通信範囲を制限することが難しい。
 一方、発光パターンや位置パターンを用いた通信では、可視光とその周辺領域の波長を利用するため、遮蔽物を用いて通信範囲を区切ることが容易である。また、可視光を使う場合、通信範囲が人間の目でも確認できるという利点がある。
 (屋内での利用)
 図81は、地下街等の屋内での利用の様子を示す図である。
 受信装置2706aは、照明2706bの送信する信号を受信し、自身の現在位置を推定する。また、受信装置2706aは、地図上に現在位置を表示して道案内を行ったり、付近の店舗の情報を表示したりする。
 緊急時には照明2706bから災害情報や避難情報を送信することで、通信が混雑している場合や、通信基地局が故障した場合や、通信基地局からの電波が届かない場所にいる場合であっても、これらの情報を得ることができる。これは、緊急放送を聞き逃した場合や、緊急放送を聞くことができない聴覚障害者に有効である。
 (屋外での利用)
 図82は、街路などの屋外での利用の様子を示す図である。
 受信装置2705aは、街灯照明2705bの送信する信号を受信し、自身の現在位置を推定する。また、受信装置2705aは、地図上に現在位置を表示して道案内を行ったり、付近の店舗の情報を表示したりする。
 緊急時には照明2705bから災害情報や避難情報を送信することで、通信が混雑している場合や、通信基地局が故障した場合や、通信基地局からの電波が届かない場所にいる場合であっても、これらの情報を得ることができる。
 また、他の車両や歩行者の移動を地図上に表示したり、向かってくる車両や歩行者が存在することをユーザに知らせることで、事故防止に役立てることができる。
 (道順の指示)
 図83は、道順の指示の様子を示す図である。
 送信装置2703a、2703b、2703cから送信された情報を利用して、受信装置2703eは、付近の地図をダウンロードしたり、自身の位置を誤差1cmから数10cmの精度で推定したりすることができる。
 受信装置2703eの正確な位置がわかることで、車椅子2703dを自動運転したり、視覚障害者が安全に通行を行ったりすることができる。
 (複数の撮像装置の利用)
 図84の受信装置は、インカメラ2710aと、タッチパネル2710bと、ボタン2710cと、アウトカメラ2710dと、フラッシュ2710eを備える。
 アウトカメラで送信装置を撮像するとき、インカメラの撮像画像から、受信装置の移動や姿勢を推定することで、手ブレの補正を行うことができる。
 インカメラで他の送信装置からの信号を受信することで、複数の装置からの信号を同時に受信したり、受信装置の自己位置推定の精度を高めたりすることができる。
 (送信装置自律制御)
 図85では、送信装置1は、送信装置2の発光部の発光を受光部で受光し、送信装置2の送信している信号と送信のタイミングを取得する。
 送信装置1の記憶部に、送信する信号が記憶されていない場合は、送信装置2の発光と同調して同じパターンで発光して信号を送信する。
 一方、送信装置1の記憶部に、送信する信号が記憶されている場合は、送信装置2の送信信号と共通部分は送信装置2の発光と同調して同じパターンで発光して信号を送信する。共通でない部分は、送信装置2が信号を送信していない時間に送信する。送信装置2が信号を送信していない時間がない場合は、適当に周期を定め、その周期に従って共通でない部分を送信する。この場合、送信装置2は、受光部で送信装置1の発光を受光し、同じ時刻に異なる信号が送信されていることを検知し、送信装置1が信号を送信していない時刻に、共通でない部分の信号を送信する。
 発光による信号送信の衝突の回避には、CSMA/CD (Carrier Sense Multiple Access with Collision Detection)の方式を利用する。
 送信装置1は、自身の情報を発光パターンとして発光部を発光させる。
 送信装置2は、送信装置1の情報を受光部から取得する。
 送信装置は、通信可能な送信装置同士で互いの情報を交換することで、送信装置の配置地図を作成する。また、送信装置は、発光による信号送信が衝突しないように全体として最適な発光パターンを求める。また、送信装置は、他の送信装置が得た情報を、送信装置間の通信によって取得する。
 (送信情報の設定)
 図86では、送信装置は、送信装置が取り付け装置に取り付けられたときや、取り付け装置の記憶部に記憶された情報が変更されたときに、取り付け装置の記憶部に記憶されている情報を送信装置の記憶部に記憶する。取り付け装置や送信装置の記憶部に記憶されている情報には、送信信号や送信のタイミングが含まれる。
 送信装置は、記憶部に記憶されている情報が変更された場合には、取り付け装置の記憶部にその情報を記憶させる。集中制御装置や配電盤から、取り付け装置の記憶部や送信装置の記憶部の情報を編集する。配電盤からの操作では、電力線通信を用いる。
 送信装置の形状記憶部は、送信装置の取り付け部と発光部の中心位置の位置関係が記憶している。
 送信装置は、位置情報を送信するときには、記憶部に記憶された位置情報にこの位置関係を加えた位置情報を送信する。
 取り付け装置の記憶部には、建造物の施工時等に、情報を記憶させる。位置情報を記憶させる場合は、建造物の設計図やCADデータを利用することで、正確な位置を記憶させる。建造物の建造時には、送信装置から位置情報を送信させることで、位置を確認することができ、建造の自動化や、材料の利用位置の確認等に利用することができる。
 取り付け装置は、送信装置の情報を集中制御装置に通知する。取り付け装置は、送信装置以外の機器が取り付けられたことを集中制御装置に通知する。
 図87では、送信装置は、受光部で光を受光し、信号解析部で光のパターンから情報を取得し、記憶部に記憶する。送信装置は、受光したときに、記憶部に記憶した情報を発光パターンに変換して発光部を発光させる。
 送信装置の形状に関する情報は、形状記憶部に記憶する。
 図88では、送信装置は、通信部で受信した信号を記憶部に記憶する。送信装置は、受信したときに、記憶部に記憶した情報を発光パターンに変換して発光部を発光させる。
 送信装置の形状に関する情報は、形状記憶部に記憶する。
 送信装置は、記憶部に送信信号が記憶されていない場合は、適当な信号を発光パターンに変換して発光部を発光させる。
 受信装置は、送信装置が送信している信号を撮像部から取得し、その信号と送信装置に記憶させたい情報とを、通信部を介して送信装置や集中制御装置に伝える。
 送信装置や集中制御装置は、受信装置から撮像部から取得した信号と同一の信号を送信した送信装置の記憶部に、送信された情報を記憶する。
 なお、受信装置は、送信装置が送信している信号を撮像した時刻を合わせて送信し、送信装置や集中制御装置は、その時刻を利用して受信装置が撮像した送信装置を特定しても良い。
 なお、受信装置の通信部を発光部とし、送信装置の通信部を受光部または撮像部とし、発光パターンを用いて受信装置から送信装置へ情報を送信しても良い。
 なお、受信装置の通信部を発音部とし、送信装置の通信部を収音部とし、音声パターンを用いて受信装置から送信装置へ情報を送信しても良い。
 (2次元バーコードとの組み合わせ)
 図89は、2次元バーコードと組み合わせて利用する場合を示す図である。
 ユーザは、通信機器2714aと通信機器2714dを相対させる。
 通信機器2714aは、ディスプレイに2次元バーコード2714cとして送信情報を表示させる。
 通信機器2714dは、2次元バーコード読取部2714fで、2次元バーコード2714cを読み取る。通信機器2714dは、発光部2714eの発光パターンとして送信情報を表現する。
 通信機器2714aは、撮像部2714bで発光部を撮像し、信号を読み取る。この方式により、双方向の直接通信が可能となり、伝送するデータ量が少ない場合にはサーバを介した通信よりも高速で通信が可能である。
 (地図の作成と利用)
 図90は、地図作成とその利用の様子を示す図である。
 ロボット2715aは、照明2715dや電子機器2715cの送信する信号を基に自己位置推定を行うことで、部屋の地図_2715fを作成し、地図情報と位置情報と照明2715dや電子機器2715cのIDとをサーバ2715eへ記憶させる。
 受信装置2715bも同様に、照明2715dや電子機器2715cの送信する信号や、移動中の撮像画像や、ジャイロセンサや9軸センサのセンサ値から、部屋の地図_2715fを作成し、地図情報と位置情報と照明2715dや電子機器2715cのIDとをサーバ2715eへ記憶させる。
 ロボット2715aは、サーバ2715eから取得した地図_2715fを基に、効率良く掃除や配膳を行う。
 受信装置2715bは、サーバ2715eから取得した地図_2715fを基に、ロボット2715aへ掃除場所や移動場所を指示したり、受信装置を向けている方向にある電子機器を操作したりする。
 (電子機器の状態取得と操作)
 図91は、電子機器の状態取得と操作の様子を示す図である。
 通信装置2716aは、制御情報を発光パターンに変換し、発光部を電子機器2716bの受光部2716dへ向けて発光させる。
 電子機器2716bは、その発光パターンから制御情報を読み取り、制御情報通りに動作を行う。電子機器2716bは、受光部2716dで受光したときに、電子機器の状態を示す情報を発光パターンに変換し、発光部2716cを発光させる。また、電子機器2716bは、運転終了時やエラー発生時など、ユーザへ通知したい情報がある場合に、その情報を発光パターンに変換し、発光部2716cを発光させる。
 通信装置2716aは、発光部2716cを撮像し、送信された信号を取得する。
 (電子機器の認識)
 図92は、撮像している電子機器を認識する様子を示す図である。
 通信装置2717aは、電子機器2717bと電子機器2717eへの通信路を持ち、各電子機器へID表示命令を送信する。
 電子機器2717bは、ID表示命令を受信して、発光部2717cの発光パターンでID信号を送信する。
 電子機器2717eは、ID表示命令を受信して、発光部2717f、2717g、2717h、2717iを用いて位置パターンでID信号を送信する。
 なお、ここで各電子機器が送信するID信号は、電子機器の持つIDであっても良いし、通信装置2717aに指示された内容であっても良い。
 通信装置2717aは、撮像画像中に存在する発光部の発光パターンや位置パターンから、撮像されている電子機器と、その電子機器と受信装置との位置関係を認識する。
 なお、電子機器と受信装置との位置関係を認識するためには、電子機器は発光部を3点以上備えることが望ましい。
 (拡張現実オブジェクトの表示)
 図93は、拡張現実オブジェクトを表示する様子を示す図である。
 拡張現実を表示させる舞台2718eは、発光部2718a、2718b、2718c、2718dの発光パターンや位置パターンで、拡張現実オブジェクトの情報や、拡張現実オブジェクトを表示させる基準位置を送信する。
 受信装置は、受信した情報を基に、拡張現実オブジェクト2718fを撮像画像に重畳して表示させる。
 (ユーザインタフェース)
 発光部が撮像範囲の中央付近から外れている場合には、撮像範囲の中心を発光部のほうへ向けさせるため、図94のように、撮像範囲の中心を発光部のほうへ向けさせるようにユーザを促すような表示を行う。
 発光部が撮像範囲の中央付近から外れている場合には、撮像範囲の中心を発光部のほうへ向けさせるため、図95のように、撮像範囲の中心を発光部のほうへ向けさせるようにユーザを促すような表示を行う。
 撮像範囲に発光部が確認できない場合であっても、それ以前の撮像結果や撮像端末に付属の9軸センサやジャイロセンサやマイクロフォンや位置センサ等の情報から発光部の位置が推定可能な場合には、図96のように、撮像範囲の中心を発光部のほうへ向けさせるようにユーザを促すような表示を行う。
 撮像範囲の中心を発光部のほうへ向けさせるため、図97のように、撮像範囲を移動させたい距離に応じて表示する図形の大きさを調整する。
 発光部の写りが小さい場合には、より大きく撮像させるために、図98のように、より発光部に近づいて撮像するようにユーザを促すような表示を行う。
 発光部が撮像範囲の中央から外れており、かつ、写りの大きさが十分でない場合には、図99のように、撮像範囲の中心を発光部のほうへ向けさせるようにユーザを促し、かつ、より発光部に近づいて撮像するようにユーザを促すような表示を行う。
 発光部と撮像範囲のなす角度を変化させることで発光部の信号を受信しやすくなる場合には、図100のように、撮像範囲を回転させるようにユーザを促すような表示を行う。
 発光部が撮像範囲の中央から外れており、かつ、発光部と撮像範囲のなす角度を変化させることで発光部の信号を受信しやすくなる場合には、図101のように、撮像範囲の中心を発光部のほうへ向けさせるようにユーザを促し、かつ、撮像範囲を回転させるようにユーザを促すような表示を行う。
 発光部の写りの大きさが十分ではなく、かつ、発光部と撮像範囲のなす角度を変化させることで発光部の信号を受信しやすくなる場合には、図102のように、より発光部に近づいて撮像するようにユーザを促し、かつ、撮像範囲を回転させるようにユーザを促すような表示を行う。
 発光部が撮像範囲の中央から外れており、かつ、発光部の写りの大きさが十分ではなく、かつ、発光部と撮像範囲のなす角度を変化させることで発光部の信号を受信しやすくなる場合には、図103のように、撮像範囲の中心を発光部のほうへ向けさせるようにユーザを促し、かつ、より発光部に近づいて撮像するようにユーザを促し、かつ、撮像範囲を回転させるようにユーザを促すような表示を行う。
 信号を受信中には、図104のように、信号を受信していることを伝える表示や、受信した信号の情報量を表示する。
 受信する信号のサイズが判明している場合には、信号を受信中には、図105のように、プログレスバーで受信が完了した信号の割合や情報量を表示する。
 信号を受信中には、図106のように、プログレスバーで受信が完了した信号の割合や受信箇所や受信した信号の情報量を表示する。
 信号を受信中には、図107のように、発光部に重畳するようにして受信が完了した信号の割合や情報量を表示する。
 発光部が検出された場合には、図108のように、例えば、発光部を点滅させる等の表示により、その物体が発光部であることを表示する。
 発光部からの信号を受信中には、図109のように、例えば、発光部を点滅させる等の表示により、その発光部から信号を受信していることを表示する。
 図110では、複数の発光部が検出された場合に、いずれかの発光部をユーザにタップさせることで、信号を受信したり、操作をおこなったりする送信装置をユーザに指定させる。
 (実施の形態4)
 (ITSへの応用)
 以下、本発明の適用例として、ITS(Intelligent Transport Systems:高度道路交通システム)を説明する。本実施の形態では、可視光通信の高速通信を実現しており、ITS分野への適応が可能である。
 図111は、可視光通信機能を搭載した交通システムと車両や歩行者との通信を説明している図である。信号機6003は、本実施の形態の可視光通信機能を搭載し、車両6001および歩行者6002との通信が可能である。
 車両6001および歩行者6002から信号機6003との情報送信は、ヘッドライトや歩行者が持つ携帯端末のフラッシュ発光部などで行う。信号機6003から車両6001および歩行者6002への情報送信は、信号の照明を、信号機6003が持つカメラセンサーや、車両6001が持つカメラセンサーで行う。
 なお、以降も道路照明や道路情報板など、路上に設置された交通支援の物体と車両6001や歩行者6002と通信を行うことによる機能を説明するが通信方式に関しては同じ物が適用できるため、説明は割愛する。
 図111に示すように、信号機6003は、車両6001へ道路交通情報を提供する。ここで、道路交通情報とは渋滞情報や事故情報、周辺サービスエリアの情報など、運転を補助するような情報のことである。
 信号機6003は、LED照明を搭載しているため、このLED照明による通信を行うことで新たな装置を搭載することなく車両6001への情報提供が可能になる。また、車両6001は一般的に高速移動しているため、従来の可視光通信技術では送信できるデータ量が少なかったが、本実施の形態により通信速度が向上したため、車両に送信することができるデータサイズが多くなるという効果がある。
 また、信号機6003や、照明6004では、信号や照明ごとに異なる情報を提供することが可能である。これによって、例えば右折レーンを走行している車両に対してのみ情報送信を行うなど、車両の位置に応じた情報を送信することが可能である。
 また、同様に歩行者6002に対しても、特定のスポットにいる歩行者6002に対してのみ情報を提供することが可能になるため、例えば特定の交差点の横断歩道で信号待ちをしている歩行者のみ、例えば事故が多い交差点であるとった情報や、街中スポット情報などを送信することができる。
 さらに、信号機6003と別の信号機6005も通信することが可能である。これによって、例えば信号機6003が提供する情報を変更する場合に、新たに信号機に信号線や通信機を通すことなく、信号機同士の通信のリレーによって、信号機が配信する情報を変更することが可能である。本方式によって、可視光通信の通信速度が大きく向上するため、より短時間での配信情報の変更が可能になる。これによって、例えば1日に数回配信情報を変更することができるようになる。また、積雪や降雨情報などを即座に配信することが可能になる。
 さらに、照明が現在の位置情報を配信することで、車両6001や歩行者6002に対して、位置情報を提供することも可能である。商店街やトンネルなど屋上に屋根がある施設は、GPSを用いた位置情報取得が困難である場合があるが、可視光通信を用いれば、このような状況でも位置情報を取得することが可能であるというメリットがある。また、本実施の形態により通信速度が従来と比較してより高速化することが可能であるため、例えば店舗や交差点など特定のスポットを通過する間に情報を受信することが可能となる。
 なお、本実施の形態は可視光通信を高速化するものであるため、その他の可視光通信を用いたITSシステム全般に応用可能であることは言うまでもない。
 図112は、車両同士が可視光通信を用いて通信を行う、車車間通信に本発明を適用した場合の概略図である。
 車両6001はブレーキランプやその他LED照明を通じて後方の車両6001aへ情報を伝達する。また、ヘッドライトやその他前方を照らすライトを通じて対向する車両6001bへデータを送信することも可能である。
 このように、車両間を可視光で通信することで車両同士の情報を共有することが可能である。例えば、前方交差点での事故情報を後方車両にリレー形式で伝達することによって、渋滞情報や注意喚起の情報を後方車両に伝えることが可能である。
 また、同様に対向する車両に渋滞情報やブレーキのセンサ情報から取得した急ブレーキ情報を伝えることで対向車に対しても、運転を補助する情報を伝えることが可能である。
 本発明により可視光通信の通信速度が向上したため、対向車とすれ違いながら情報を送信することができるという利点がある。また、後方車両に対しても情報送信の間隔が短くなるためより短い期間で多くの車両に情報を伝達することが可能となる。また、通信速度があがることで、音声や画像情報を送ることも可能である。これによって、より豊かな情報を車車間で共有することが出来る。
 (位置情報報知システムおよび施設システム)
 図113に、本実施の形態の可視光通信技術を用いた位置情報報知システムおよび施設システムの概略図を示す。例えば病院内で、患者のカルテや搬送物、薬品などをロボットで配送するシステムを代表として説明する。
 ロボット6101は、可視光通信機能を搭載している。照明は位置情報を配信している。ロボット6101は、照明の位置情報を取得することで特定の病室に薬やその他物品を届けることが可能となる。これによって、医師の負担が減る。また、照明は隣の部屋に漏れることがないため、ロボット6101が部屋を間違えることが無いという効果がある。
 なお、本実施の形態の可視光通信を用いたシステムは、病院内に限定されるものではなく、照明器具を用いて位置情報を配信するシステムに適応可能である。例えば、屋内のショッピングモールにおいて、案内表示板の照明から位置および案内情報をホ送信する仕組みにしても良いし、空港内でのカートの移動に用いても良い。
 また、店舗の照明に可視光通信技術を搭載することで、クーポン情報やセール情報を配信することも可能である。可視光に情報を重畳することで、ユーザはその店舗の光から情報を貰っているということが直感的に理解できるため、ユーザの利便性が向上するという効果がある。
 また、部屋の中/外である情報を送信する場合、無線LANを用いて位置情報を配信すると、隣接する部屋や廊下に電波が漏れてしまうため、部屋の外に電波が飛ばないようにするように外壁に電波を遮断する機能が必要であった。まだ外壁で電波を遮断すると、携帯電話等の外部と通信する機器が使えないという課題があった。
 本実施の形態の可視光通信を用いて位置情報を送信すると、照明の届く範囲のみで通信可能であるため、例えば特定の部屋の位置情報を利用者に送信することが容易であるという効果がある。また、外壁は通常光を遮るため、特別な装置が必要ないという効果がある。
 また、ビルや大規模施設、一般家屋において、通常照明の位置は変わることが無いため、各照明が送信する位置情報は頻繁に変わることが無い。各照明の位置情報のデータベースの更新頻度が低いので、位置情報管理のメンテナンスコストが低いという効果がある。
 (スーパーマーケットのシステム)
 図114に、商店において、本実施の形態の通信方式を搭載した機器をショッピングカートに搭載し、商品だなの照明もしくは、屋内照明から位置情報を取得するスーパーマーケットのシステムを説明する。
 カート6201は本実施の形態の通信方式を用いたした可視光通信機器を搭載している。照明6100は、可視光通信によって、位置情報をおよびその棚の情報を配信している。カートは、照明から配信される商品情報を受け取る事ができる。また位置情報を受け取る事で、自分がどの棚にいるか把握することができるため、例えば、カートに棚の位置情報を記憶させておけば、ユーザが行きたい棚もしくは欲しい商品をカートに指定するだけで、どこの方向に行けば良いかカートに表示させることが可能となる。
 可視光通信によって、棚の位置が分かる程度の高精度な位置情報を得ることができるため、カートの移動情報を取得し、活用することができる。例えば、カートが照明から取得した位置情報を、データベース化することも可能である。
 可視光通信を用いて照明にカートの情報と共に送信する、あるいは無線LAN等を用いてサーバに送信する。あるいは、カートにメモリを搭載しておき、店舗の閉店後にデータを集める等によって、カートがどの様な経路を通ったかということをサーバに集約する。
 カートの移動情報を集めることで、どの棚に人気があるか、どの通路が最も通られているかを把握することができるため、マーケティングに使えるという効果がある。
 (携帯電話端末とカメラの通信)
 図115に、本実施の形態の可視光通信を用いた応用例を示す。
 携帯電話端末6301は、フラッシュライトを用いて、カメラ6302にデータを送信する。カメラ6302は撮像部で受信した光情報から携帯電話端末6301が送信したデータを受信する。
 あらかじめ、携帯電話端末6301において、カメラの撮影設定をしておき、カメラ6302に送信する。これによって、携帯電話端末の豊かなユーザインターフェースを利用して、カメラの設定を行うことができる。
 また、カメラの撮影センサを利用することで、カメラと携帯電話端末を通信する際に、無線LAN等の新たな通信機器を搭載することなく、携帯電話端末からカメラに設定情報を送信することが可能となる。
 (水中通信)
 図116に、本実施の形態の通信方式を水中通信に適応した場合の概略図を示す。水は電波を通さないため、水中のダイバー同士や海上の船と海中の船は無線を通じて通信をすることができない。本実施の形態の可視光通信では水中でも利用可能である。
 なお、本実施の形態の可視光通信方式は、光を発するオブジェや建造物からデータを送信することが可能となる。建物に対して受光部を向けるとその建物の案内情報や詳細情報を取得することができるため、観光客に有益な情報を提供することができる。
 なお、本実施の形態の可視光通信方式は、灯台から船舶との通信に適用可能である。従来より大容量の通信を行うことができるため、より詳細な情報をやり取りすることができる。
 なお、本実施の形態の可視光通信は、光を用いるため、特定の部屋のみで通信を行うといった部屋単位での通信制御を行うことができる。例えば図書館で特定の部屋のみで閲覧可能な情報へアクセスする場合に本実施の形態の通信方式を用いる、または本実施の形態の通信方式を鍵情報のやりとりに、用いて、実際の通信は無線LAN等の通信を用いて行うなどの用途に適用可能である。
 なお、本実施の形態の通信方式はLEDによる通信及びMOSセンサを備える撮像装置すべてに転用可能であり、例えばデジタルカメラやスマートフォンに適用可能であることは言うまでもない。
 (実施の形態5)
 (サービス提供例)
 以下、本実施の形態では、本発明の適用例として、図117を用いて、ユーザへのサービス提供例を説明する。図117は、実施の形態5におけるユーザへのサービス提供例を説明するための図である。図117には、ネットサーバ4000aと、送信機4000b、4000d、4000eと、受信機4000c、4000fと、建物4000gとが示されている。
 受信機4000c、4000fが家屋内外にある複数の送信機4000b、4000d、4000eから信号を受信し、処理することでユーザへサービスを提供できる。なお、送信機、および、受信機は単独で信号を処理し、ユーザへサービスを提供できてもよいし、ネットワークを構成するネットサーバ4000aと連携してネットワークからの指示に従い、それらの挙動や発信する信号を変化させながら、ユーザへサービスを提供できてもよい。
 なお、送信機、および、受信機は人や車両など動く物体に備え付けられていてもよいし、静止している物体に備え付けられてもよいし、既存する物体にあとから備え付けることができてもよい。
 図118は、実施の形態5におけるユーザへのサービス提供例を説明するための図である。図118には、送信機4001aと、受信機4001bとが示されている。
 図118のように、受信機4001bは複数の送信機4001aが発信した信号を受信し、信号に含まれる情報を処理することでユーザへサービスを提供する。なお、信号に含まれる内容には、機器を一意に示す機器ID、位置情報、地図、標識、観光情報、交通情報、地域サービス、クーポン、広告、商品説明、キャラクター、音楽、動画、写真、音声、メニュー、放送、緊急案内、時刻表、ガイド、アプリケーション、ニュース、掲示板、機器へのコマンド、個人を識別する情報、金券、クレジットカード、セキュリティ、URLなどに関する情報がある。
 ユーザは、これら信号に含まれる情報を利用するための登録処理などを事前にネットサーバ上で実施しておき、実際に送信機4001aが信号を発信する場所でこれらの信号をユーザが受信機4001bで受信することでサービスの提供を受けることができてもよいし、ネットサーバを介在せずにサービスの提供を受けることができてもよい。
 図119は、本実施の形態における受信機が送信機から受信した複数の信号を同時に処理する場合を示すフローチャートである。
 まず、ステップ4002aで開始する。次に、ステップ4002bで受信機が複数の光源からの信号を受信する。次に、ステップ4002cで受信した結果から、それぞれの光源が表示される領域を判定し、それぞれの光源から信号を抽出する。
 ステップ4002dで取得した信号の数分の処理を数が0個になるまでステップ4002eで信号に含まれる情報を元に処理を繰り返す。処理すべき数が0個になった段階で、ステップ4002fで終了する。
 図120は、実施の形態5における相互通信により機器間のコミュニケーションを実現する場合の一例を示す図である。図118には送信機、および、受信機を持つ複数の送受信機4003a、送受信機4003b、送受信機4003cが相互に通信することにより機器間のコミュニケーションを実現する場合の一例が示されている。なお、送受信機は図118のように同一機器間でのみ通信できてもよいし、異なる機器間で通信できてもよい。
 また、本実施の形態はアプリケーションを本実施の形態が提供する通信手段や他のネットワーク、着脱式のストレージを利用して、携帯電話、スマートフォン、パソコン、ゲーム機などへアプリケーションを配信し、それらアプリケーションから既に備え付けてある機器のデバイス(LED、フォトダイオード、イメージセンサー)を利用することで、ユーザへサービスを提供することができる。なお、アプリケーションははじめから機器に搭載されていてもよい。
 (指向性を利用したサービスの例)
 また、本発明の適用例として、本実施の形態の指向性の特性を利用したサービスについて説明する。具体的には、映画館、コンサートホール、博物館、病院、公民館、学校、会社、商店街、デパート、役所、フードショップなどのような公共施設で本発明を利用する場合の例である。本発明は、従来の可視光通信と比較して、送信機が受信機へ発生する信号の指向性を低くすることができるため、公共施設に存在する多数の受信機へ情報を同時に発信することができる。
 図121は、実施の形態5における指向性の特性を利用したサービスを説明するための図である。図121には、スクリーン4004aと、受信機4004bと、照明4004cとが示されている。
 図121のように、映画館で本実施の形態を利用することで、映画の上映中にユーザが他のユーザの快適な映画の視聴妨害に繋がる機器(携帯電話、スマートフォン、パソコン、ゲーム機など)の利用を抑制することができる。送信機は、映画を表示するスクリーン4004aに投影される映像内や施設に備え付けてある照明4004cなどが発する光を信号とし、それら信号内に受信機4004bを制御するコマンドを含ませる。受信機4004bがこのコマンドを受信することで、受信機4004bの動作を制御し、他のユーザの映画視聴を阻害するような行為を防止することができる。受信機4004bを制御するコマンドは電源や受信が発する音、通信機能、LEDの表示、バイブレーションなどのON、OFF、レベル調整などがある。
 また、受信機が、送信機の送信する信号を光源の強さなどを利用して、フィルタリングすることで、指向性の強さを制御することができる。本実施の形態では、指向性を低く設定することで、施設に存在する受信機へ一斉にコマンドや情報を送信することかできる。
 なお、指向性を高くしたい場合は、送信機側が光源の量を制限してもよいし、受信機側で光源を受光する感度を下げたり、受光した光源の量を信号処理したりすることで、制約をかけてもよい。
 なお、本実施の形態をフードショップ、役所などのようにユーザからの注文を受け、その場で注文を処理するような店舗などで利用する場合は、ユーザの手元にある送信機で発信した注文を含む信号を、店舗を見渡せる場所に配置してある受信機が受信することで、どの席のユーザが何のメニューを注文したかを検出することができる。サービス提供者は時間軸を設けて注文を処理することで、ユーザへ公平性の高いサービスを提供できる。
 なお、発信機と受信機間であらかじめ設定された秘密鍵や公開鍵を利用し、信号に含まれる情報を暗号化・復号化することで、信号を送信できる送信機、信号を受信できる受信機を制約してもよい。また、送信機、および、受信機間の送信路をインターネットにおいて標準で利用されるSSLなどのプロトコルを利用して、他の機器からの信号の傍受を抑制してもよい。
 (実世界とインターネット上の世界の融合によるサービス例)
 また、本発明の適用例として、カメラに撮像された実世界とインターネット上の世界の情報を重畳してユーザへサービスを提供するサービスについて説明する。
 図122は、実施の形態5におけるユーザへのサービス提供例の別の例を説明するための図である。具体的には、図122は、携帯電話、スマートフォン、ゲーム機などに受信機に搭載されたカメラ4005aを利用して本実施の形態を活用する場合のサービスの一例を示している。ここで、図122には、カメラ4005aと、光源4005bと、重畳する内容4005cとが示されている。
 カメラ4005aの撮像結果から複数の光源4005bが発信する信号4005dを抽出し、それらの信号4005dに含まれる情報をカメラ4005aへ重畳して表示する。なお、カメラ4005aに重畳する内容4005cは文字列、画像、動画、キャラクター、アプリケーション、URLなどがある。なお、カメラとの重畳だけでなく、音声、バイブレーションなどを利用して、信号に含まれる情報を処理してもよい。
 図123は、送信機が発する光源に含まれる信号のフォーマット例を示す図である。図123には、光源の特性4006aと、サービス種別4006bと、サービスに関する情報4006cとが示されている。
 受信機が受信した信号をカメラに重畳するサービスに関する情報4006cは、送信機が発する信号に含まれるサービス種別4006bなどの情報やカメラから光源までの距離に応じて、信号から取得できる情報をフィルタリングした結果である。なお、受信機がフィルタリングする内容は、あらかじめ設定された受信機の設定に従ってもよいし、ユーザが受信機に設定したユーザの嗜好に従ってもよい。
 また、受信機は、信号を発する発信機までの距離を推定し、光源までの距離を表示できる。受信機がカメラに撮像された発信機が発する光量をデジタル信号処理することで発信機までの距離を推定する。
 しかし、受信機がカメラで撮像したそれぞれの発信機の光量は、光源の位置や強さにより異なるため、撮像した発信機の光量のみで距離を推定すると、大幅にずれる場合がある。
 これを解決するために、発信機が発する信号内に、光源の強さや色、種類などを示す光源の特性4006aを含ませる。受信機は信号に含まれる光源の特性を加味したデジタル信号処理を行うことで、精度の高い距離を推定することができる。受信機が撮像した発信機の光源が複数ある場合、全ての光源の強さが同一である場合は、光源の光量で距離を推定する。受信機が撮像した光源の強さが同一でない送信機がある場合は、光源量のみで距離を推測せず、その他の距離測定手段と組み合わせ、送信機から受信機までの距離を推測する。
 その他の距離測定手段としては、二眼レンズで撮像される映像の視差を利用して距離を推定してもよいし、赤外線やミリ波レーダなどを用いて、距離を推定してもよいし、受信機の移動量を9軸センサや受信機に搭載されている撮像したなどで取得し、移動した距離と三角測量とを組み合わせ距離を推定してもよい。
 なお、受信機が、送信機側で発生する信号の強さや距離を利用して、信号をフィルタリングし、表示するだけでなく、受信機が送信機から受信する信号の指向性を調整するための手段として利用してもよい。
 (実施の形態6)
 以下では、機器が備えるLEDの点滅パターンとして情報を送信することで、スマートフォンのカメラを用いて通信する処理の流れについて述べる。
 図124は、本実施の形態における宅内の環境の例を示す図である。図124に示す環境では、テレビ1101や電子レンジ1106、空気清浄機1107に対して、スマートフォン1105などもユーザの回りにある。
 図125は、本実施の形態における家電機器とスマートフォンの通信の例を示す図である。図125は、情報通信の例であり、図124のテレビ1101や電子レンジ1106のような各機器の出力する情報をユーザが保有するスマートフォン1201で取得することで、情報を得る構成を示す図である。図125に示すとおり、各機器はLEDの点滅パターンを用いて情報を送信し、スマートフォン1201はカメラなどによる撮像機能を用いて情報を受け取る。
 図126は、本実施の形態における送信側装置1301の構成の1例を示す図である。
 この送信側装置1301は、ユーザがボタンを押したり、NFC(Near Field Communication)などによって送信指示を送ったり、装置内部の故障などのステートの変化を検知することで、情報を光の点滅パターンとして送信する。このとき一定時間送信を繰り返す。送信される情報は、あらかじめ登録されている機器間であれば、短縮IDを用いてもよい。また、無線LANや特定省電力無線といった無線通信部を有する場合は、その接続に必要な認証情報を点滅パターンとして送信することもできる。
 また、送信速度判定部1309は、機器内部のクロック発生装置の性能を把握することで、クロック発生装置が廉価なもので精度の悪い場合は、送信速度を遅くして、高い場合は送信速度を早くする処理を行うことができる。クロック発生装置の性能が悪い場合は、又は送信される情報自体を短く区切ることで長時間通信することでの点滅間隔のずれの蓄積によるエラーを減らすことも可能である。
 図127は、本実施の形態における受信側装置1401の構成の1例を示す図である。
 この受信側装置1401は、画像取得部1404が取得したフレーム画像から、光の点滅が見られるエリアを判定する。このとき点滅は、一定以上の輝度の高低が観測されるエリアを追尾するような方法をとることもできる。
 点滅情報取得部1406は、点滅のパターンから、送信された情報を取得し、その中に機器IDなどの機器関連が含まれている場合は、その情報を用いてクラウド上の関連サーバに付随する情報を問い合わせるか、又は事前に保管されている無線通信エリア内の機器か又は受信側装置内部に保管されている情報を用いて補間する。これによって、光の発光パターンを撮像するときのノイズによるエラー補正や、すでに入手した情報を取得するために、ユーザがスマートフォンを送信側装置の発光部にかざす時間を削減するなどの効果が得られる。
 以下、図128を解説する。
 図128は、本実施の形態における送信側装置のLEDの点滅によってスマートフォンなどの受信側装置に情報を送る処理の流れを示す図である。ここでは、NFCによってスマートフォンと通信する機能を有する送信側装置と、その送信側装置が持つNFC用の通信マークの一部に埋め込まれたLEDの発光パターンによって情報を送信する状況を想定する。
 まず、ステップ1001aで、ユーザが家電機器を購入し初めてコンセントに電源を差し、通電状態になる。
 次に、ステップ1001bで、初期設定情報が書き込み済みかどうかを確認する。Yesの場合は図中の丸3に進む。一方、Noの場合はステップ1001cに進み、ユーザが理解しやすい点滅速度(例:1~2/5)で、マークが点滅する。
 次に、ステップ1001dで、ユーザがNFC通信よりスマートフォンをマークにタッチすることで家電の機器情報を取得するかどうかを確認する。ここで、Yesの場合は、ステップ1001eに進み、スマートフォンがクラウドのサーバに機器情報を受信し、クラウドに登録する。続いて、ステップ1001fで、クラウドからスマートフォンのユーザのアカウントに関連づけられた短縮IDを受信し、家電に送信し、ステップ1001gに進む。なお、ステップ1001dで、Noの場合はステップ1001gに進む。
 次に、ステップ1001gで、NFCでの登録があるかどうか確認する。Yesの場合は、ステップ1001jへ進み、青の点滅2回後、ステップ1001kで、点滅が終了する。
 一方、ステップ1001gで、Noの場合はステップ1001hへ進む。続いて、ステップ1001hで、30秒過ぎたかどうかを確認する。ここで、Yesの場合は、ステップ1001iへ進み、LED部分が光の点滅によって機器情報(機器の型番、NFCでの登録処理有無、機器の固有ID)を出力して、図129の丸2へ進む。
 なお、ステップ1001hで、Noの場合はステップ1001dへ戻る。
 次に、図129~図132を用いて、本実施の形態における送信側装置のLEDの点滅によって受信側装置に情報を送信する処理の流れを説明する。ここで、図129~図132は、送信側装置のLEDの点滅によって受信側装置に情報を送信する処理の流れを示す図である。
 以下、図129を解説する。
 まず、ステップ1002aで、ユーザがスマートフォンの光点滅情報を取得するアプリを起動する。
 次に、ステップ1002bで、画像取得部分が光の点滅を取得する。そして、点滅エリア判定部が画像の時系列上の変化から点滅しているエリアを判定する。
 次に、ステップ1002cで、点滅情報取得部が点滅エリアの点滅パターンを判定し、プリアンブル検出を待つ。
 次に、ステップ1002dで、プリアンブルの検出出来た場合、その点滅エリアの情報を取得する。
 次に、ステップ1002eで、機器IDの情報が取得出来た場合、受信継続状態においても、クラウド側のサーバに情報を送り情報補間部がクラウド側から入手した情報と点滅情報取得部の情報とを比べつつ補間する。
 次に、ステップ1002fで、補間した情報も含めて全ての情報がそろったらスマートフォンかユーザに通知する。この時クラウドから入手した関連サイトやGUIを表示する事でよりリッチで分かり易い通知が可能となり、図130の丸4へ進む。
 以下、図130を解説する。
 まず、ステップ1003aで、家電が故障やユーザに通知する使用回数、室温などのメッセージを生成した場合、情報送信モードを開始する。
 次に、ステップ1003bで、マークを1~2/sで点滅させる。同時にLEDも情報発信を始める。
 次に、ステップ1003cで、NFCでの通信が開始されたかどうかを確認する。なお、Noの場合は、図132の丸7へ進む。Yesの場合は、ステップ1003dへ進み、LEDの点滅を停止する。
 次に、ステップ1003eで、スマートフォンがクラウドのサーバにアクセスして、関連情報を表示する。
 次に、ステップ1003fで、現地対応が必要な故障の場合、サーバ側でサポートするサービスマンを検索。家電、設置場所、位置情報を利用する。
 次に、ステップ1003gで、サービスマンがあらかじめ決められた順に家電のボタンを押すことでサポートモードにする。
 次に、ステップ1003hで、マーカ以外の家電のLEDでマーカの点滅がスマートフォンから見える場合に同時に見えるLEDの一部または全てが情報を補間する様点滅し、図131の丸5へ進む。
 以下、図131を解説する。
 まず、ステップ1004aで、サービスマンは所有する受信端末の性能が高速(例:1000/s回)の点滅を検出可能な場合、その設定ボタンを押す。
 次に、ステップ1004bで、家電のLEDが高速モード点滅して、丸6に進む。
 以下、図132を解説する。
 まず、ステップ1005aで、点滅を継続する。
 次に、ステップ1005bで、ユーザがスマートフォンでLEDの点滅情報を取りに来る。
 次に、ステップ1005cで、ユーザがスマートフォンの光点滅情報を取得するアプリを起動する。
 次に、ステップ1005dで、画像取得部分が光の点滅を取得する。そして、点滅エリア判定部が画像の時系列上の変化から点滅しているエリアを判定する。
 次に、ステップ1005eで、点滅情報取得部が点滅エリアの点滅パターンを判定し、プリアンブル検出を待つ。
 次に、ステップ1005fで、プリアンブルの検出出来た場合、その点滅エリアの情報を取得する。
 次に、ステップ1005gで、機器IDの情報が取得出来た場合、受信継続状態においても、クラウド側のサーバに情報を送り情報補間部がクラウド側から入手した情報と点滅情報取得部の情報とを比べつつ補間する。
 次に、ステップ1005hで、補間した情報も含めて全ての情報がそろったらスマートフォンかユーザに通知する。この時クラウドから入手した関連サイトやGUIを表示する事でよりリッチで分かり易い通知が可能となる。
 そして、図130のステップ1003fへ進む。
 このようにして、家電機器などの送信装置が、LEDの点滅によってスマートフォンに情報を送信することができる。無線機能やNFCといった通信手段がないような機器でも、情報を発信することができて、スマートフォンを経由してクラウド上のサーバにあるリッチな情報をユーザに提供することもできる。
 また、本実施の形態に示すように、少なくとも一つの持ち運び可能な機器を含む2つの機器間で、双方向通信(例えばNFC通信)と片方向通信(例えばLEDの輝度変化による通信)の両方の通信方法でデータの送受信を行う機能を有する場合において、片方の機器からもう片方の機器に片方向通信にてデータの送信をしているときにおいて、双方向通信でデータ送受信が実現した場合に、片方向の通信をとめることが可能である。これにより、片方向通信に必要となる消費電力の無駄を省くことが出来るため効率的である。
 以上、実施の形態6によれば、演算力が少ないような機器を含む多様な機器間の通信を可能とする情報通信装置を実現することができる。
 具体的には、本実施の形態の情報通信装置は、自らのユニークなIDと機器の状態情報を含む機器情報を管理する情報管理部と、発光素子と、前記発光素子の点滅パターンとして情報を送信する光送信部とを有し、前記光送信部は、前記機器の内部の状態に変化があった場合に、前記機器情報を光の点滅パターンに変換して送信する。
 ここで、例えば、さらに、自らの起動状態やユーザの使用履歴といった機器内部のセンシングされた情報を保存する起動履歴管理部を備え、前記光送信部は、利用するクロック発生装置のあらかじめ登録された性能情報を取得し、送信速度を変更するとしてもよい。
 また、例えば、前記光送信部は、光の点滅によって情報を送信するための第一の発光素子の周囲に、第二の発光素子を配置されており、前記第二の発光素子は、前記第一の発光素子の点滅による情報発信が一定回数繰り返される場合に、情報発信の終了と開始の間に発光するとしてもよい。
 なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
 (実施の形態7)
 本実施の形態では、掃除機を例にとって、可視光通信を用いた機器とユーザの通信手順、及び、可視光通信を用いた初期設定から故障時の修理対応サービス、掃除機を用いたサービス連携について説明する。
 図133と図134は、本実施の形態における可視光を用いてユーザと機器の通信を行う手順を説明するための図である。
 以下、図133について解説する。
 まず、丸1において、開始する。
 次に、ステップ2001aで、ユーザが電源投入する。
 次に、ステップ2001bで、起動処理として、設置設定、NW設定等の初期設定がされているかを確認する。
 ここで、初期設定がされている場合は、ステップ2001fへ進み、通常動作を開始して、丸3に示すように終了する。
 一方、初期設定がされてない場合、ステップ2001cへ進み、「LED通常発光」「ブザー音」によってユーザに初期設定が必要なことを通知する。
 次に、ステップ2001dで、機器情報(製品番号と製造番号)を収集して可視光通信の準備をする。
 次に、ステップ2001eで、機器情報(製品番号と製造番号)可視光通信が可能な事を「LED通信発光」「ディスプレイへのアイコン表示」「ブザー音」「複数のLEDを発光」でユーザに通知する。
 そして、丸2に示すように終了する。
 続いて、図134について解説する。
 まず、丸2に示すように開始する。
 次に、ステップ2002aで、可視光受信端末の接近を「近接センサ」、「照度センサ」及び「人感センサ」で感知する。
 次に、ステップ2002bで、感知した事をトリガーとして可視光通信を開始する。
 次に、ステップ2002cで、ユーザは可視光受信端末で機器情報を取得する。
 続いて、丸4に示すように終了する。あるいは、ステップ2002f~ステップ2002iのいずれかに進む。
 ステップ2002fに進んだ場合、「感度センサ」による感知、及び、「調光機器との連携」で部屋が消灯された事を感知して機器情報の発光を停止して、丸5に示すように終了する。また、ステップ2002gに進んだ場合、可視光受信端末は機器情報を取得感感知した事を「NFC通信」及び「NW通信」で通知して、終了する。ステップ2002hに進んだ場合、可視光受信端末の離脱を感知して機器情報を停止して、終了する。ステップ2002iに進んだ場合、一定時間の経過を持って、機器情報の発光を停止して、終了する。
 なお、ステップ2002aで、感知しなかった場合は、ステップ2002dに進み、一定時間の経過を持って可視光通信が可能な通知を「明るくする」「音を大きくする」「アイコンを動かす」などで強化して通知する。ここで、ステップ2002dへ戻る。あるいは、ステップ2002eへ進み、さらに一定時間経過後に、ステップ2002iへ進む。
 図135は、本実施の形態におけるユーザが機器を購入して、機器の初期設定を行うまでの手順を説明するための図である。
 図135において、まず、丸4に示すように開始する。
 次に、ステップ2003aで、機器情報を受信したスマホの位置情報をGPS(Global Positioning System)で取得する。
 次に、ステップ2003bで、スマホにユーザ情報があれば、ユーザ名、電話番号、メールアドレスなどのユーザ情報を端末内で収集する。または、ステップ2003cで、スマホにユーザ情報がなければNWを通して周辺機器からユーザ情報を収集する。
 次に、ステップ2003dで、機器情報とユーザ情報と位置情報をクラウドサーバに送信する。
 次に、ステップ2003eで、機器情報と位置情報を用いて初期設定に必要な情報とアクティベーション情報を収集する。
 次に、ステップ2003fで、ユーザ登録済みの機器との連携に設定に必要なIPや認証方式や利用可能サービスといった連係情報を収集する。あるいは、ステップ2003gで、ユーザ登録済みの機器に対してNWを通して機器情報と設定情報を送信して周辺機器との連携設定を行う。
 次に、ステップ2003hで、機器情報とユーザ情報を用いてユーザ設定を行う。
 次に、ステップ2003iで、初期設定情報とアクティビティ情報と連携設定情報をスマホに送信する。
 次に、ステップ2003jで、初期設定情報とアクティベーション情報と連携設定情報をNFCで家電に送信する。
 次に、ステップ2003kで、初期設定情報とアクティベーション情報と連携設定情報で機器の設定をする。
 そして、丸6に示すように終了する。
 図136は、本実施の形態における機器が故障した場合の、サービスマン専用のサービスについて説明するための図である。
 図136において、まず、丸3に示すように開始する。
 次に、ステップ2004aで、機器の通常動作中に発生した動作ログ、ユーザ操作ログといった履歴情報をローカル記憶媒体に記録する。
 次に、ステップ2004bで、故障発生と同時に、エラーコード、エラー詳細といったエラー情報を記録し、可視光通信が可能なことをLED異常発光で通知する。
 次に、ステップ2004cで、サービスマンの特殊コマンド実行でLED高速発光モードとなり可視光の高速通信を開始する。
 次に、ステップ2004dで、近接した端末が通常スマホなのか、サービスマンの専用受信端末かを判別する。ここで、ステップ2004eに進んだ場合、スマホの場合はエラー情報を取得して終了する。
 一方、ステップ2004fに進んだ場合、サービスマンの場合は、専用受信端末では、エラー情報と履歴情報を取得する。
 次に、ステップ2004gで、クラウドに機器情報とエラー情報と履歴情報を送信し、修理方法を取得する。ここで、ステップ2004hに進んだ場合、サービスマンの特殊コマンド実行でLED高速発光モードを解除して、終了する。
 一方、ステップ2004iに進んだ場合、クラウドサーバから機器情報の関連商品、類似商品の商品情報、最寄店舗の販売価格、新商品情報を取得する。
 次に、ステップ2004jで、ユーザのスマホとサービスマンの専用端末で可視光通信を通して、ユーザ情報を取得して、クラウドサーバに通して最寄店舗に商品を発注する。
 そして、丸9に示すように終了する。
 図137は、本実施の形態における掃除機と可視光通信を用いた、掃除状況を確認するためのサービスについて説明するための図である。
 まず、丸3に示すように、開始する。
 次に、ステップ2005aで、機器の通常動作中の掃除情報を記録する。
 次に、ステップ2005bで、間取り情報と組み合わせて汚れ情報を作成し、暗号化圧縮する。
 ここで、ステップ2005cに進んだ場合、汚れ情報の圧縮をトリガーとして、汚れ情報をローカル記憶媒体に記録する。あるいは、ステップ2005dに進んだ場合、掃除の一時停止(吸込処理停止)をトリガーとして汚れ情報を照明器具に可視光通信で送信する。あるいは、ステップ2005eに進んだ場合、汚れ情報の記録をトリガーとして、汚れ情報を家庭内ローカルサーバ及びクラウドサーバにNWで送信する。
 次に、ステップ2005fで、汚れ情報の送信及び記録をトリガーとして、機器情報、保存箇所、復号キーを可視光通信でスマホに送信する。
 次に、ステップ2005gで、NW及びNFCを通して、汚れ情報を取得して復号する。
 そして、丸10に示すように終了する。
 以上のように、実施の形態7によれば、演算力が少ないような機器を含む多様な機器間の通信を可能とする情報通信装置を含む可視光通信システムを実現することができる。
 具体的には、本実施の形態の情報通信装置を含む可視光通信システム(図133)は、可視光送信の準備が完了したかを判定するための可視光送信可否判定部と、可視光送信中であることをユーザに通知する可視光送信通知部と、を搭載しており、可視光通信が可能な状態になったときに、ユーザに視覚的、及び、聴覚的に通知する可視光通信システムである。それにより、ユーザにLEDの発光モードを「発光色」「音」「アイコン表示」「複数LED発光」によって可視光受信が可能な状況を通知する事で、ユーザの利便性を向上できる。
 好ましくは、図134で説明したように、可視光受信端末の接近を感知する端末近接感知部と、可視光受信端末の位置によって可視光送信の開始と停止を判断する可視光送信判定部と、を搭載しており、端末近接感知部により可視光受信端末の近接を感知したことをトリガーにして可視光送信を開始する可視光通信システムであってもよい。
 ここで、例えば図134で説明したように、端末近接感知部により可視光受信端末の離脱を感知したことをトリガーにして可視光送信を停止する可視光通信システムとしてもよい。また、例えば図134で説明したように、部屋の消灯を感知する周辺照度感知部と、を搭載しており、周辺照度感知部により部屋の消灯を感知したことをトリガーにして可視光送信を停止する可視光通信システムとしてもよい。それにより、可視光受信端末の接近と離脱、及び、部屋の消灯を感知することで、可視光通信が可能な状況のみ可視光通信を開始することで、不必要な可視光通信を省いて省エネ化できる。
 さらに、例えば図134で説明したように、可視光送信を行っている時間を計測する可視光通信時間監視部と、可視光送信中であることをユーザに通知する可視光送信通知部と、を搭載しており、可視光通信が一定以上行われているが可視光受信端末の接近がないことをトリガーとして、ユーザへの視覚的、及び、聴覚的な通知をより強化する可視光通信システムとしてもよい。また、例えば図134で説明したように、可視光送信通知部が通知を強化してからも可視光送信時間が一定以上行われているが可視光受信端末の接近がないことをトリガーとして、可視光送信を停止する可視光通信システムとしてもよい。
 それにより、一定以上の可視光送信時間がたってもユーザによる受信がされなかった場合にユーザへの可視光受信を要求と停止を行うことで、受信し忘れと消し忘れを防ぎユーザの利便性を向上できる。
 また、本実施の形態の情報通信装置を含む可視光通信システム(図135)は、可視光通信を受信したことを判定する可視光受信判定部と、端末位置を取得するための受信端末位置取得部と、機器情報と位置情報を取得して機器設定情報を収集する機器設定情報収集部と、を搭載しており、可視光受信したことをトリガーとして受信端末の位置を取得して、機器設定に必要な情報を収集する可視光通信システムとしてもよい。それにより、可視光通信により機器情報を取得することをトリガーにして、機器設定、及び、ユーザ登録に必要な位置情報とユーザ情報を自動収集して設定することで、ユーザによる入力と登録手続きを省略して利便性を向上できる。
 ここで、さらに図137で説明したように、機器情報を管理する機器情報管理部と、機器と機器の類似性を管理する機器関係管理部と、機器を販売する店舗情報を管理する店舗情報管理部と、位置情報から最寄店舗を検索する最寄店舗検索部と、を搭載しており、機器情報と位置情報を受信することをトリガーとして類似機器が販売されている最寄店舗及び価格を取得する可視光通信システムとしてもよい。それにより、機器情報に応じて関連する機器の販売状況及び販売店舗を収集して、機器を検索する手間を省くことで、ユーザの利便性向上ができる。
 また、本実施の形態の情報通信装置を含む可視光通信システム(図135)は、ユーザ情報が端末内に保存されていることを監視するユーザ情報監視部と、NWを通して周辺機器からユーザ情報を収集するユーザ情報収集部と、ユーザ情報と機器情報を取得してユーザ登録をするユーザ登録処理部と、を搭載しており、ユーザ情報がないことをトリガーとしてアクセス可能な周辺機器からユーザ情報を収集し、機器情報と共にユーザ登録を行う可視光通信システムとしてもよい。それにより、可視光通信により機器情報を取得することをトリガーにして、機器設定、及び、ユーザ登録に必要な位置情報とユーザ情報を自動収集して設定することで、ユーザによる入力と登録手続きを省略して利便性を向上できる。
 また、本実施の形態の情報通信装置を含む可視光通信システム(図136)は、特殊コマンドを受け付けるコマンド判定部と、可視光通信の周波数、複数LED連携を操作する可視光通信速度調整部と、を搭載しており、特殊コマンドを受け付けることで可視光通信の周波数の調整と送信LED数をすることで可視光通信を高速化する可視光通信システムとしてもよい。ここで、例えば、図137で説明したように、近接端末の種別をNFC通信で判別する端末種別判定部と、端末種別によって送信する情報を判別する送信情報種別判定部と、を搭載しており、近接した端末によって送信する情報の量と可視光通信速度を変更する可視光通信システムとしてもよい。それにより、受信端末に応じて可視光通信の周波数や送信LED数を調整して可視光通信の速度と送信情報を変更することで、高速通信を可能にしてユーザの利便性を向上できる。
 また、本実施の形態の情報通信装置を含む可視光通信システム(図137)は、掃除情報を記録する掃除情報記録部と、間取り情報を記録する間取り情報記録部と、間取り情報と掃除情報を重畳することで汚れ箇所情報を生成する情報合成部と、通常動作の停止を監視する動作監視部と、を搭載しており、機器の停止の感知をトリガーとすることで汚れ箇所情報を可視光送信する可視光通信システムとしてもよい。
 なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
 (実施の形態8)
 本実施の形態では、宅配サービスを例に挙げて、光通信を用いたWeb情報、及び、機器の連携について説明する。
 図138に本実施の形態の概要を示す。すなわち、図138は、本実施の形態における光通信を用いた宅配サービス支援の概略図である。
 具体的には、注文者は、モバイル端末3001aを用いて商品購入サイトから商品の注文を行う。注文完了時に、商品購入サイトより注文番号が発行される。注文番号を受信したモバイル端末3001aをドアホン宅内器3001bに注文番号をNFC通信を用いて送信する。
 ドアホン宅内器3001bは、モバイル端末3001aより受信した注文番号を自機器のモニタに表示する等して、ユーザに送信完了した旨を示す。
 ドアホン宅内器3001bは、ドアホン宅外器3001cに対して、ドアホン宅外器3001cに内蔵されたLEDの点滅指示と点滅パターンを送信する。点滅パターンは、モバイル端末3001aより受信した注文番号に応じてドアホン宅内器3001bにより生成される。
 ドアホン宅外器3001cは、ドアホン宅内器3001bより指定された点滅パターンに応じてLEDを点滅させる。
 モバイル端末の代わりとして、PC等のWWW3001dにある商品購入サイトへアクセス可能な環境であっても良い。
 モバイル端末3001aからドアホン宅内器3001bへの送信手段としては、NFC通信の他に、宅内ネットワークを用いても良い。
 モバイル端末3001aは、ドアホン宅内器3001bを仲介せずに直接ドアホン宅外器3001cへ注文番号を送信しても良い。
 注文者より注文があった場合、宅配注文受信サーバ3001eから宅配者モバイル端末3001fに対して注文番号を送信する。宅配者が宅配先に到着した際、宅配者モバイル端末3001fとドアホン宅外器3001cの双方向で注文番号を基に生成されたLED点滅パターンを用いた光通信を行う。
 次に、図139~図144を用いて説明する。図139~図144は、発明の実施3の形態における光通信を用いた宅配サービス支援を説明するためのフローチャートである。
 図139は、注文者が注文を行い、注文番号が発行されるまでのフローを示している。以下、図139について解説する。
 注文者モバイル端末3001aは、ステップ3002aで、スマホのWebブラウザまたはアプリで宅配の予約を実施する。そして、図140の丸1へ進む。
 また、注文者モバイル端末3001aは、図140の丸2に続いて、ステップ3002bで、注文番号送信待ち状態で待機する。続いて、ステップ3002cで、注文番号送信先機器にタッチされたかを確認する。Yesの場合は、ステップ3002dへ進み、注文番号をドアホン室内器にNFCタッチして送信(ドアホンがスマホと同一ネットワークに存在する場合はネットワーク経由で送信する方法もある)する。一方、Noの場合は、ステップ3002bに戻る。
 ドアホン宅内器3001bは、まず、ステップ3002eで、他端末よりLED点滅の要求待つ。続いて、ステップ3002fで、スマホより注文番号を受信する。続いて、ステップ3002gで、受信した注文番号に応じてドアホン室外機のLED点滅指示を出する。そして、図142の丸3へ進む。
 ドアホン宅外器3001cは、まず、ステップ3002hで、ドアホン宅内器よりLED点滅指示待つ。そして、図142の丸7へ進む。
 宅配者モバイル端末3001fは、ステップ3002iで、注文通知待ち状態で待機する。続いて、ステップ3002jで、注文通知 宅配注文サーバより通知されたか否かを確認する。ここで、Noの場合は、ステップ3002iに戻る。Yesの場合は、ステップ3002kへ進み、注文番号、宅配先住所等の情報を受信する。続いて、ステップ3002nで、ユーザが受信した注文番号のLED発光指示または、他機器のLED発光認識のためにカメラ起動されるまで待機する。そして、図141の丸5へ進む。
 図140は、注文者が注文者モバイル端末3001aにて宅配注文を行うまでのフローを示している。以下、図140について解説する。
 宅配注文サーバ3001eは、まず、ステップ3003aで、受注番号待つ。続いて、ステップ3003bで、宅配注文受信したか否かを確認する。ここで、Noの場合は、ステップ3003aへ戻る。Yesの場合は、ステップ3003cへ進み、受信した宅配注文に対して注文番号を発行する。続いて、ステップ3003dで、宅配者に対して宅配注文受信したことを通知して、終了する。
 注文者モバイル端末3001aは、図139の丸1に続いてステップ3003eで、注文内容を宅配注文サーバが提示するメニューから選択する。続いて、ステップ3003fで、注文を確定して宅配サーバへ送信する。続いて、ステップ3003gで、注文番号を受信したか否かを確認する。ここで、Noの場合は、ステップ3003fに戻る。Yesの場合は、ステップ3003hへ進み、受信した注文番号を表示してドアホン宅内器へのタッチを促す表示を行う。そして、図139の丸2へ進む。
 図141は、宅配者が宅配者モバイル端末3001fを用いて、宅配先のドアホン宅外器3001cと光通信を行うフローを示している。以下、図141について解説する。
 宅配者モバイル端末3001fは、図139の丸5に続いて、ステップ3004aで、宅配先のドアホン宅外器3001cのLEDを認識するためにカメラを起動するか否かを確認する。ここで、Noの場合は、図139の丸5へ戻る。
 一方、Yesの場合は、ステップ3004bへ進み、宅配先ドアホン宅外器のLED点滅を宅配者モバイル端末のカメラにて確認する。
 次に、ステップ3004cで、ドアホン宅外器のLED発光を認識して注文番号と照合する。
 次に、ステップ3004dで、ドアホン宅外器のLED点滅が注文番号と合致するか否かを確認する。ここで、Yesの場合は、図143の丸6へ進む。
 なお、Noの場合は、カメラ内に他のLED点滅を確認できるか否かを確認する。そして、Yesの場合は、ステップ3004cへ戻り、Noの場合は、終了する。
 図142は、ドアホン宅内器3001bとドアホン宅外器3001c間の注文番号照合を行うフローを示している。以下、図142について解説する。
 ドアホン宅外器3001cは、図139の丸7に続いて、ステップ3005aで、LED点滅の指示がドアホン宅内器よりあったか否かを確認する。Noの場合は、図139の丸へ戻る。Yesの場合は、ステップ3005bへ進み、ドアホン宅内器より指示されるLED点滅に従ってLEDを点滅させる。そして、図143の丸8へ進む。
 また、ドアホン宅外器3001cは、図143の丸9に続いて、ステップ3005cで、ドアホン宅外器のカメラにて認識したLED点滅をドアホン宅内器へ通知する。そして、図144の丸10へ進む。
 ドアホン宅内器3001cは、図139の丸3に続いて、ステップ3005dで、ドアホン宅外器に対して注文番号に応じたLED点滅指示を実施する。次に、ステップ3005eで、ドアホン宅外器のカメラが宅配者モバイル端末のLED点滅を認識するまで待機する。次に、ステップ3005fで、ドアホン宅外器よりLED点滅を認識したことを通知されたか否かを確認する。ここで、Noの場合は、ステップ3005eへ戻る。Yesの場合は、ステップ3005gで、ドアホン宅外器のLED点滅と注文番号を照合する。次に、ステップ3005hで、ドアホン宅外器のLED点滅と注文番号が合致したか否かを確認する。Yesの場合は、図144の丸11へ進む。一方、Noの場合は、ステップ3005iで、ドアホン宅外器へLED点滅の中止を指示して、終了する。
 図143は、注文番号照合後におけるドアホン宅外器3001cと宅配者モバイル端末3001f間のフローを示している。以下、図143について解説する。
 宅配者モバイル端末3001fは、図141の丸6に続いて、ステップ3006aで、宅配者モバイル端末の保持する注文番号に応じてLED点滅を開始する。
 次に、ステップ3006bで、LED点滅部分をドアホン宅外器からカメラが撮影できる範囲に配置する。
 次に、ステップ3006cで、ドアホン宅外器のカメラが撮影した宅配者モバイル端末のLED点滅とドアホン宅内器の保持する注文番号が合致したかについてドアホン宅外器LED点滅が示しているか否かを確認する。
 ここで、Noの場合は、ステップ3006bへ戻る。一方、Yesの場合は、ステップ3006eへ進み、合致した是非を宅配者モバイル端末に表示して、終了する。
 また、図143に示すように、ドアホン宅外器3001cは、図142の丸8に続いて、ステップ3006fで、ドアホン宅外器のカメラにて宅配者モバイル端末のLED点滅を認識したか否かを確認する。ここで、Yesの場合は、図142の丸9へ進む。Noの場合は、図142の丸へ戻る。
 図144は、注文番号照合後におけるドアホン宅外器3001cと宅配者モバイル端末3001f間のフローを示している。以下、図144について解説する。
 ドアホン宅外器3001cは、図142の丸11に続いて、ステップ3007aで、ドアホン宅内器の通知したLED点滅が注文番号と合致したかについて通知あったか否かを確認する。ここで、Noの場合は図142の丸11へ戻る。一方、Yesの場合は、ステップ3007bへ進み、ドアホン宅外器にて合致の是非を示すLED点滅を行い、終了する。
 また、図144に示すように、ドアホン宅内器3001bは、図142の丸10に続いて、ステップ3007cで、ドアホン宅内器で配送者が到着したことの表示を呼出し音出力にて注文者に通知する。次に、ステップ3007dで、ドアホン宅外器へLED点滅の中止と注文番号と合致したことを示すLED点滅を指示する。そして、終了する。
 なお、マンションでは宅配先が不在の場合、宅配物を収納する宅配ボックスが玄関等に設置されることがある。宅配者は、宅配時に注文者が不在の場合、宅配ボックスに宅配物を収納する。宅配者モバイル端末3001fのLEDを用いてドアホン宅外器3001cのカメラに対して、光通信を行い宅配物のサイズを送信することで、ドアホン宅外器3001cが自動で宅配物のサイズに見合った宅配ボックスのみを利用可能にすることもできる。
 以上のように、実施の形態8によれば、光通信を用いたWeb情報、及び、機器の連携を実現することができる。
 (実施の形態9)
 以下、実施の形態9について説明する。
 (サーバへユーザと使用中の携帯電話を登録)
 図145は、本実施の形態におけるサーバへユーザと使用中の携帯電話を登録する処理を説明するための図である。以下、図145を解説する。
 まず、ステップ4001bで、ユーザがアプリケーションを起動する。
 次に、ステップ4001cで、このユーザと携帯電話の情報をサーバに照会する。
 次に、ステップ4001dで、ユーザ情報と使用中の携帯電話の情報がサーバのDBに登録されているかどうかを確認する。
 Yesの場合は、ステップ4001fへ進み、並行処理として(処理a)ユーザ音声特性の解析を開始し、図147のBへ進む。
 一方、Noの場合は4001eへ進み、DBの携帯電話テーブルに携帯電話IDとユーザIDを登録し、図147のBへ進む。
 (処理a:ユーザ音声特性の解析)
 図146は、本実施の形態におけるユーザ音声特性の解析を行う処理を説明するための図である。以下、図146を解説する。
 まず、ステップ4002aで、マイクから集音を行う。
 次に、ステップ4002bで、音声認識の結果集音した音声はユーザの声と推定されるかどうかを確認する。ここで、Noの場合はステップ4002aに戻る。
 Yesの場合はステップ4002cへ進み、発生内容はこのアプリケーションで使用するキーワードか(「次へ」「戻る」等)どうかを確認する。Yesの場合は、ステップ4002fへ進み、音声データをサーバのユーザキーワード音声テーブルに登録し、ステップ4002dへ進む。一方、Noの場合は、ステップ4002dへ進む。
 次に、ステップ4002dで、音声特性(周波数、音圧、発話速度)を解析する。
 次に、ステップ4002eで、解析結果を携帯電話とサーバのユーザ音声特性テーブルに登録する。
 (音声認識処理の準備)
 図147は、本実施の形態における音声認識処理の準備を行う処理を説明するための図である。以下、図147を解説する。
 まず、図中のBに続いて、ステップ4003aで、(ユーザ操作)調理メニュー一覧を表示させる操作を行う。
 次に、ステップ4003bで、調理メニュー一覧をサーバから取得する。
 次に、ステップ4003cで、調理メニュー一覧を携帯画面に表示する。
 次に、ステップ4004dで、携帯電話に接続されたマイクから集音を開始する。
 次に、ステップ4003eで、並行処理として(処理b)周辺の集音機器からの集音を開始する。
 次に、ステップ4003fで、並行処理として(処理c)環境音特性の解析を開始する。
 次に、ステップ4003gで、並行処理として(処理d)周辺に存在する音声出力機器からの音声のキャンセルを開始する。
 次に、ステップ4003hで、ユーザ音声特性をサーバのDBから取得する。
 最後に、ステップ4003iで、ユーザ音声の認識を開始し、図151のCへ進む。
 (処理b:周辺の集音機器からの集音)
 図148は、本実施の形態における周辺の集音機器からの集音を行う処理を説明するための図である。以下、図148を解説する。
 まず、ステップ4004aで、携帯電話から通信可能で、集音が可能な機器(集音機器)を探索する。
 次に、ステップ4004bで、集音機器を発見したかどうかを確認する。
 ここで、Noの場合は終了する。Yesの場合は、ステップ4004cへ進み、集音器機の位置情報とマイク特性情報をサーバから取得する。
 次に、ステップ4004dで、サーバに情報が存在するかどうかを確認する。
 Yesの場合は、ステップ4004eへ進み、集音機器の設置位置は携帯電話の位置から十分近くでありユーザの音声を集音できそうかどうかを確認する。なお、ステップ4004eでNoの場合は、ステップ4004aへ戻る。一方、ステップ4004eでYesの場合は、ステップ4004fへ進み、集音機器に集音を開始させる。続いて、ステップ4004gで、集音処理終了の命令があるまで集音機器で集音した音声を携帯電話に送信させる。なお、集音した音声をそのまま携帯電話に送信させず音声認識を行った結果を携帯電話に送信させるとしても良い。また、携帯に送信された音声は携帯電話に接続されたマイクから集音された音声と同様に処理して、ステップ4004aへ戻る。
 なお、ステップ4004dで、Noの場合は、ステップ4004hへ進み、集音機器に集音を開始させる。続いて、ステップ4004iで、携帯電話から信号音を出力する。続いて、ステップ4004jで、集音機器で集音した音声を携帯電話に送信させる。続いて、ステップ4004kで、集音機器から送られた音声から信号音を認識できたかどうかを確認する。ここで、Yesの場合は、ステップ4004gへ進み、Noの場合は、ステップ4004aへ戻る。
 (処理c:環境音特性の解析)
 図149は、本実施の形態における環境音特性の解析処理を説明するための図である。以下、図149を解説する。
 まず、ステップ4005fで、このユーザの所有する機器のうち位置が電子レンジの位置から十分遠いものを除いた機器のリストを取得する。これらの機器の発する音のデータをDBから取得する。
 次に、ステップ4005gで、取得した音データの特性(周波数、音圧等)を解析し環境音特性として保持する。なお、電子レンジの近くにある炊飯器等の発する音は特に誤認識が起こりやすいため高い重要度を設定して保持する。
 次に、ステップ4005aで、マイクから集音する。
 次に、ステップ4005bで、集音した音声はユーザの声かどうかを確認し、Yesの場合は、ステップ4005aへ戻る。Noの場合は、ステップ4005cへ進み、集音した音声の特性(周波数、音圧)を解析する。
 次に、ステップ4005dで、解析結果から環境音特性を更新する。
 次に、ステップ4005eで、終了フラグが立っているかどうかを確認し、Yesの場合は、終了する。Noの場合は、ステップ4005aへ戻る。
 (処理d:周辺に存在する音声出力機器からの音声をキャンセル)
 図150は、本実施の形態における周辺に存在する音声出力機器からの音声をキャンセルする処理を説明するための図である。以下、図150を解説する。
 まず、ステップ4006aで、通信可能な機器で、音声出力の可能な機器(音声出力機器)を探索する。
 次に、ステップ4006bで、音声出力機器を発見したかどうかを確認し、Noの場合は、終了する。Yesの場合は、ステップ4006cへ進み、様々な周波数を含んだ信号音を音声出力機器に出力させる。
 次に、ステップ4006dで、携帯電話、及び、図148の集音機器(各集音機器)で集音を行い音声出力機器から出力させた信号音を集音する。
 次に、ステップ4006eで、信号音を集音・認識できたかどうかを確認して、Noの場合は、終了する。Yesの場合は、ステップ4006fへ進み、音声出力機器から各集音機器までの伝送特性(周波数毎の出力音量と集音される音量の関係、及び、信号音出力から集音までの遅延時間)を解析する。
 次に、ステップ4006gで、音声出力機器が出力している音声データは携帯電話からアクセス可能かどうかを確認する。
 ここで、Yesの場合は、ステップ4006hへ進み、キャンセル処理終了の命令があるまで音声出力機器から出力している音声ソース、出力箇所、音量を取得し伝送特性を考慮しつつ各集音機器で集音した音声から音声出力機器で出力した音声をキャンセルする。ステップ4006aへ戻る。一方、Noの場合は、ステップ4006iへ進み、キャンセル処理終了の命令があるまで音声出力機器から出力している音声を取得し伝送特性を考慮しつつ各集音機器で集音した音声から音声出力機器で出力した音声をキャンセルして、ステップ4006aへ戻る。
 (調理メニューの選択と電子レンジへの運転内容設定)
 図151は、本実施の形態における調理メニューの選択と電子レンジへの運転内容設定を行う処理を説明するための図である。以下、図151を解説する。
 まず、図中のCに続いて、ステップ4007aで、(ユーザ操作)調理したいメニューを選択する。
 次に、ステップ4007bで、(ユーザ操作)レシピパラメータ(調理する分量、味の濃さ、焼き加減等)を設定する。
 次に、ステップ4007cで、レシピパラメータに合わせたレシピデータ、電子レンジ運転内容設定コマンドをサーバから取得する。
 次に、ステップ4007dで、電子レンジに埋め込まれた非接触ICタグに携帯電話をタッチさせるようユーザへ促す。
 次に、ステップ4007eで、電子レンジへのタッチを検知するかどうかを確認する。
 ここで、Noの場合は、ステップ4007eへ戻る。Yesの場合は、ステップ4007fへ進み、サーバから取得しておいた電子レンジの設定コマンドを電子レンジに送信する。これにより、このレシピに必要な電子レンジの設定は全て行われユーザは電子レンジの運転開始ボタンを押すだけで調理が可能となる。
 次に、ステップ4007gで、(処理e)電子レンジ用の通知音をサーバ等のDBから取得し電子レンジへ設定する。
 次に、ステップ4007hで、(処理f)電子レンジの通知音の調整し、図155のDへ進む。
 (処理e:電子レンジ用の通知音をサーバ等のDBから取得し電子レンジへ設定)
 図152は、本実施の形態における電子レンジ用の通知音をサーバ等のDBから取得し電子レンジへ設定する処理を説明するための図である。以下、図152を解説する。
 まず、ステップ4008aで、ユーザが、電子レンジに埋め込まれた非接触ICタグに携帯電話を近づける(=タッチする)。
 次に、ステップ4008bで、この携帯電話向けの通知音データ(電子レンジの操作時や運転終了時に出力する音のデータ)が電子レンジに登録されているかどうかを電子レンジに問い合わせる。
 次に、ステップ4008cで、この携帯電話向けの通知音データが電子レンジに登録されているかどうかを確認する。
 ここで、Yesの場合は、終了する。Noの場合は、ステップ4008dへ進み、この携帯電話向けの通知音データが携帯に登録されているかどうかを確認する。Yesの場合は、ステップ4008hへ進み、携帯電話に登録されている通知音データを電子レンジに登録して、終了する。一方、Noの場合は、ステップ4008eへ進み、サーバまたは携帯電話または電子レンジのDBを参照する。
 次に、ステップ4008fで、この携帯電話向けの通知音データ(この携帯電話が認識しやすい通知音のデータ)がDBにある場合そのデータを、ない場合は、一般的な携帯電話向けの通知音データ(一般的に携帯電話が認識しやすい通知音のデータ)をDBから取得する。
 次に、ステップ4008gで、取得した通知音データを携帯電話に登録する。
 次に、ステップ4008hで、携帯電話に登録されている通知音データを電子レンジに登録して、終了する。
 (処理f:電子レンジの通知音の調整)
 図153は、本実施の形態における電子レンジの通知音の調整を行う処理を説明するための図である。以下、図153を解説する。
 まず、ステップ4009aで、携帯電話に登録されているこの電子レンジの通知音データを取得する。
 次に、ステップ4009bで、この端末用の通知音の周波数と環境音の周波数との重なりが一定以上か どうかを確認する。
 ここで、Noの場合は、終了する。
 一方、Yesの場合は、ステップ4009cへ進み、通知音の音量を環境音に比べて十分大きな音量に設定する。または通知音の周波数を変更する。
 ここで、周波数を変更した通知音の作成方法の一例を挙げると、電子レンジが図154の(c)の音を出力可能であれば(c)のパターンで通知音を作成して、終了する。(c)が不可で(b)が可能であれば(b)のパターンで通知音を作成して、終了する。(a)のみ可能であれば(a)のパターンで通知音を作成して、終了する。
 図154は、本実施の形態における電子レンジに設定する通知音の波形の例を示す図である。
 図154の(a)に示す波形は単純な矩形波で、ほとんどの音声出力装置で出力可能である。通知音以外の音声と混同しやすいため、数回出力し、そのうちの幾つかを認識できれば、その通知音が鳴ったと認識する等の対応をすべきである。
 図154の(b)に示す波形は、短時間の矩形波により、(a)の波形を細かく区切ったような波形であり、音声出力装置の動作クロックが十分に速ければ出力可能である。この音は、人間の耳には(a)の音と同様に聞こえるが、機械認識においては、(a)よりも情報量が多く、通知音以外の音と混同しにくいという性質がある。
 図154の(c)に示す波形は、音声出力部分の時間的長さを変えたものであり、PWM波形と呼ばれる。(b)よりも出力することは難しいが、(b)よりも情報量が多く、認識率を向上させたり、電子レンジから携帯電話に伝えたい情報を同時に伝えることも可能である。
 なお、図154の(b)(c)の波形は、図154の(a)よりも誤認識の可能性は低いが、図154の(a)と同様に、同じ波形を数回繰り返すことで、より認識率を向上させることが出来る。
 (調理内容の表示)
 図155は、本実施の形態における電子レンジに設定する通知音の波形の例を示す図である。以下、図155を解説する。
 まず、図中のDに続いて、ステップ4011aで、調理内容を表示する。
 次に、ステップ4011bで、調理内容が電子レンジの運転かどうかを確認する。
 ここで、Yesの場合は、ステップ4011cへ進み、電子レンジに食材を入れ運転開始ボタンを押下するようユーザへ通知して、図156のEへ進む。
 一方、Noの場合は、ステップ4011dへ進み、調理内容を表示して、図中のFに進むか、ステップ4011eに進む。
 ステップ4011eでは、ユーザの操作がどうなのかを確認する。アプリケーション終了の場合は、終了する。
 一方、表示内容の変更操作・手入力(ボタン押下等)・音声入力(「次へ」「前へ」等)の場合は、ステップ4011fへ進み、表示内容変更の結果調理が終了かどうかを確認する。ここで、Yesの場合は、ステップ4011gへ進み、調理終了をユーザへ通知して、終了する。Noの場合は、ステップ4011aへ進む。
 (電子レンジの通知音の認識)
 図156は、本実施の形態における電子レンジの通知音の認識を行う処理を説明するための図である。以下、図156を解説する。
 まず、図中のEに続いて、ステップ4012aで、並行処理として(処理g)周辺の集音機器からの集音と電子レンジ通知音の認識を開始する。
 次に、ステップ4012fで、並行処理として(処理i)携帯電話操作状態の確認を開始する。
 次に、ステップ4012gで、並行処理として(処理j)ユーザ位置の追跡を開始する。
 次に、ステップ4012bで、認識内容について確認する。
 ここで、ボタン押下の通知音を認識した場合は、ステップ4012cへ進み、設定変更を登録し、ステップ4012bへ戻る。ユーザによる操作を認識した場合は、図155のFへ進む。電子レンジに食材を入れ運転開始ボタンを押下するように表示してから運転時間経過後に(運転終了の通知音または電子レンジの扉を開く音)を認識した場合は、ステップ4012eで、(処理h)電子レンジの運転終了をユーザへ通知し、図155のGへ進む。運転開始の通知音を認識した場合は、ステップ4012dへ進み、運転時間が経過するまで待機し、ステップ4012eへ進み、(処理h)電子レンジの運転終了をユーザへ通知して、図155のGへ進む。
 (処理g:周辺の集音機器からの集音と電子レンジ通知音の認識)
 図157は、本実施の形態における周辺の集音機器からの集音と電子レンジ通知音の認識を行う処理を説明するための図である。以下、図157を解説する。
 まず、ステップ4013aで、携帯電話から通信可能で、集音が可能な機器(集音機器)を探索する。
 次に、ステップ4013bで、集音機器を発見したかどうかを確認する。
 ここで、Noの場合は、終了する。一方、Yesの場合は、ステップ4013cへ進み、集音器機の位置情報とマイク特性情報をサーバから取得する。
 次に、ステップ4013dで、サーバに情報が存在するかどうかを確認する。
 Yesの場合は、ステップ4013rへ進み、集音機器の設置位置は電子レンジから十分近く通知音を集音できそうかどうかを確認する。
 ここで、ステップ4013rにおいて、Noの場合は、ステップ4013aへ戻る。Yesの場合は、ステップ4013sへ進み、集音機器の演算装置は音声認識が可能かどうかを確認する。ステップ4013sにおいて、Yesの場合は、ステップ4013uで、電子レンジの通知音認識のための情報を集音機器に送信する。続いて、ステップ4013vで、集音機器に集音と音声認識を開始させ認識結果を携帯電話に送信させる。続いて、ステップ4013qで、次の調理段階に進むまで電子レンジの通知音の認識処理を行わせ認識結果を携帯電話へ送信させる。一方、ステップ4013sで、Noの場合は、ステップ4013tへ進み、集音機器に集音を開始させ集音音声を携帯電話に送信させる。続いて、ステップ4013jで、次の調理段階に進むまで集音した音声を携帯電話へ送信させ、携帯電話で電子レンジの通知音を認識する。
 なお、ステップ4013dで、Noの場合は、ステップ4013eへ進み、集音機器の演算装置は音声認識が可能かどうかを確認する。
 Yesの場合は、ステップ4013kへ進み、電子レンジの通知音認識のための情報を集音機器に送信する。続いて、ステップ4013mで、集音機器に集音と音声認識を開始させ、認識結果を携帯電話に送信させる。続いて、ステップ4013nで、電子レンジの通知音を鳴らす。続いて、ステップ4013pで、集音機器で前記通知音を認識できたかどうかを確認する。ステップ4013pで、Yesの場合は、4013qへ進み、次の調理段階に進むまで電子レンジの通知音の認識処理を行わせ認識結果を携帯電話へ送信させて、ステップ4013aへ戻る。ステップ4013pでNoの場合は、ステップ4013aへ戻る。
 また、ステップ4013eで、Noの場合は、ステップ4013fへ進み、集音機器に集音を開始させ集音音声を携帯電話に送信させる。続いて、ステップ4013gで、電子レンジの通知音を鳴らす。続いて、ステップ4013hで、集音機器から送られた音声に認識処理を行う。続いて、ステップ4013iで、前記通知音を認識できたか?どうかを確認する。ここで、Yesの場合は、4013jへ進み、次の調理段階に進むまで集音した音声を携帯電話へ送信させ、携帯電話で電子レンジの通知音を認識して、ステップ4013aへ戻る。Noの場合は、ステップ4013aへ戻る。
 (処理h:電子レンジの運転終了をユーザへ通知)
 図158は、本実施の形態における電子レンジの運転終了をユーザへ通知する処理を説明するための図である。以下、図158を解説する。
 まず、ステップ4013aで、携帯電話を使用中またはセンサデータにより携帯電話が移動中と判断可能かどうかを確認する。なお、Yesの場合は、ステップ4014mへ進み、携帯電話の画面表示や音声や振動等を用いてユーザへ電子レンジの運転終了を通知して、終了する。
 一方、ステップ4013aで、Noの場合は、ステップ4014bへ進み、ユーザがログインしているPC等で操作中の機器(ユーザ操作中機器)を探索する。
 次に、ステップ4014cで、ユーザ操作中機器を発見したかどうかを確認する。なお、Yesの場合は、ユーザ操作中機器の画面表示等を用いてユーザへ電子レンジの運転終了を通知し、終了する。
 一方、ステップ4014cで、Noの場合は、ステップ4014eへ進み、携帯電話から通信可能で、画像取得が可能な機器(撮像機器)を探索する。
 次に、ステップ4014fで、撮像機器を発見したかどうかを確認する。
 ここで、Yesの場合は、ステップ4014pへ進み、撮像機器に撮像させ、撮像機器にユーザの顔データを送信しユーザの顔認識を行う。または撮像画像を携帯電話またはサーバへ送らせ画像の送信先でユーザの顔認識を行う。
 続いて、ステップ4014qで、ユーザの顔を認識したかどうかを確認する。Noの場合は、ステップ4014eへ戻る。Yesの場合は、ステップ4014rへ進み、ユーザを発見した機器(発見機器)に表示装置や発声装置があるかどうかを確認する。ステップ4014rでYesの場合は、ステップ4014sへ進み、機器に付属の装置を用いてユーザへ電子レンジの運転終了を通知して、終了する。
 また、ステップ4014fで、Noの場合は、ステップ4014gへ進み、携帯電話から通信可能で、集音が可能な機器(集音機器)を探索する。
 また、ステップ4014hで、Noの場合は、ステップ4014iへ進み、その他機器の操作や歩行振動等の手段でユーザの位置を特定可能な機器を発見する。続いて、ステップ4014mへ進み、携帯電話の画面表示や音声や振動等を用いてユーザへ電子レンジの運転終了を通知して、終了する。
 なお、ステップ4014iで、Yesの場合は、ステップ4014rへ進み、ユーザを発見した機器(発見機器)に表示装置や発声装置があるかどうかを確認する。ここで、Noの場合は、ステップ4014tへ進み、発見機器の位置情報をサーバから取得する。
 続いて、ステップ4014uで、発見機器の近くにあり、表示装置や発声装置のある機器(通知機器)を探索する。続いて、ステップ4014vで、通知機器からユーザまでの距離を考慮し、画面表示、または、十分な音量の音声でユーザへ電子レンジの運転終了を通知して、終了する。
 (処理i:携帯電話操作状態の確認)
 図159は、本実施の形態における携帯電話操作状態の確認を行う処理を説明するための図である。以下、図159を解説する。
 まず、ステップ4015aで、携帯電話を操作中か、または携帯電話が移動しているか、または携帯電話に接続された入出力装置に入出力があるか、または映像や音楽を再生中か、または携帯電話から近い位置にある機器が操作中か、または携帯電話から近い位置にある機器のカメラや各種センサでユーザが認識されているかどうかを確認する。
 ここで、Yesの場合は、ステップ4015bへ進み、ユーザの位置はこの携帯電話から近い確率が高いと認識して、ステップ4015aへ戻る。
 一方、Noの場合は、ステップ4015cへ進み、携帯電話から遠い位置にある機器が操作中か、または携帯電話から遠い位置にある機器のカメラや各種センサでユーザが認識されているか、または充電中かどうかを確認する。
 ステップ4015cにおいて、Yesの場合は、ステップ4015dへ進み、ユーザの位置はこの携帯電話から遠い確率が高いと認識して、ステップ4015aへ戻る。ステップ4015cにおいて、Noの場合は、ステップ4015aへ戻る。
 (処理j:ユーザ位置の追跡)
 図160は、本実施の形態におけるユーザ位置の追跡を行う処理を説明するための図である。以下、図160を解説する。
 まず、ステップ4016aで、方位センサや位置センサや9軸センサにより携帯電話が移動されていると判断されるかどうかを確認する。なお、9軸センサは、加速度センサ、角速度センサ、および地磁気センサのうちの少なくとも1つからなるセンサである。
 ステップ4016aでYesの場合は、ステップ4016bへ進み、携帯電話とユーザの位置をDBに登録し、ステップ4016aへ戻る。
 一方、ステップ4016aでNoの場合は、ステップ4016cへ進み、携帯電話から通信可能で、カメラやマイクや人感センサ等のユーザの位置やユーザが存在することを検知することが可能な機器(ユーザ探知機器)を探索する。
 次に、ステップ4016dで、集音機器を発見するかどうかを確認する。ステップ4016dで、Noの場合は、ステップ4016aへ戻る。
 ステップ4016dで、Yesの場合は、ステップ4016eへ進み、ユーザ探知機器でユーザを探知するかどうかを確認する。ステップ4016eでNoの場合は、ステップ4016aへ戻る。
 ステップ4016eでYesの場合は、ステップ4016fへ進み、ユーザの探知を携帯電話へ送信させる。
 次に、ステップ4016gで、ユーザ探知機器の付近にユーザが存在することをDBに登録する。
 次に、ステップ4016hで、DBにユーザ探知機器の位置情報があれば取得しユーザの位置を特定して、ステップ4016aへ戻る。
 図161は、音声出力装置からの音声をキャンセルしつつ、家電の通知音を認識し、通信可能な電子機器にユーザ(操作者)の現在位置を認識させ、ユーザ位置の認識結果から、ユーザ位置に近い位置にある機器にユーザへの通知を行わせることを示した図である。また、図162は、本実施の形態におけるサーバ、または、携帯電話、または、電子レンジに保持するデータベースの内容を示す図である。
 図162に示すように、電子レンジテーブル4040aには、電子レンジの機種と、出力可能な音を特定するデータ(スピーカ特性、変調方式等)と、各種携帯電話機種毎に、その携帯電話が認識しやすい特性を持った通知音のデータと、一般的な携帯電話が平均して認識しやすい通知音データとを対応付けて保持する。
 携帯テーブル4040bには、携帯電話の各個体と、その携帯電話の機種と、その携帯電話を使用するユーザと、その携帯電話の位置を示すデータとを対応付けて保持する。
 携帯機種テーブル4040cでは、携帯電話の機種と、その携帯電話機種に付属のマイク等の集音特性とを対応付けて保持する。
 ユーザ音声特性テーブル4040dでは、ユーザと、そのユーザの声の音響特性とを対応付けて保持する。
 ユーザキーワード音声テーブル4040eでは、ユーザと、「次へ」「戻る」などの携帯電話が認識しようとするキーワードをそのユーザが発声したときの音声波形データを対応づけて保持する。なお、このデータは、音声波形データそのものではなく、これを扱いやすい形に解析・変形したものとしても良い。
 ユーザ所有機器位置テーブル4040fでは、ユーザと、ユーザの所有する機器と、その機器の位置データとを対応付けて保持する。
 ユーザ所有機器位置テーブル4040gでは、ユーザと、ユーザの所有する機器と、その機器の発する通知音や運転音等の音のデータとを対応付けて保持する。
 ユーザ位置テーブル4040hでは、ユーザと、ユーザの位置のデータを対応付けて保持する。
 また、図163は、本実施の形態におけるユーザが携帯電話に表示された調理手順を基に調理を行い、また、「次へ」「戻る」等の音声によって携帯電話の表示内容をユーザが操作することを示す図である。図164は、本実施の形態における電子レンジの運転を開始し、運転終了を待っている間や、煮物を煮込んでいる間等の時間に、ユーザが他の場所へ移動していることを示す図である。図165は、ネットワークを介して携帯電話と接続されており、かつ、カメラやマイクや人感センサ等の、ユーザの位置の認識やユーザが存在していることを認識することができる機器に対して、携帯電話からユーザを探知する命令を送信することを示す図である。図166は、ユーザの探知の例として、テレビに付属したカメラでユーザの顔を認識し、また、エアコンの人感センサでユーザの移動や存在を認識していることを示す図である。なお、この認識処理は、テレビやエアコンで行なっても良いし、画像データ等を携帯電話やサーバに送信し、送信先で認識処理を行なっても良い。ただし、プライバシ保護の観点からは、ユーザのデータを外部サーバに送信すべきではない。
 図167は、ユーザを探知した機器から、ユーザを探知したことや、探知した機器からユーザまでの相対位置を、携帯電話に送信することを示す図である。
 このように、ユーザを探知した機器の位置情報がDBに存在すれば、ユーザの位置を特定することが可能である。
 図168は、本実施の形態における電子レンジの運転終了音を、携帯電話が認識することを示す図である。図169は、電子レンジの運転終了を認識した携帯電話が、ユーザを探知している機器のうち、画面表示機能や音声出力機能を持った機器(本図ではユーザの正面にあるテレビ)に、電子レンジの運転終了をユーザへ通知させる命令を送信することを示す図である。
 図170は、前記の命令を受け取った機器が、通知内容をユーザへ通知する(本図では、テレビの画面に、電子レンジの運転が終了したことを表示する)ことを示す図である。図171は、電子レンジの運転終了音を、ネットワークを介して携帯電話と接続されており、マイクを備えており、電子レンジの付近に存在する機器が認識することを示す図である。図172は、電子レンジの運転終了を、これを認識した機器から携帯電話へ通知することを示す図である。図173は、携帯電話が電子レンジの運転終了の通知受け取ったとき、携帯電話がユーザの付近にあれば、携帯電話の画面表示や音声出力等を用いて、電子レンジの運転終了をユーザへ通知することを示す図である。
 図174は、電子レンジの運転終了をユーザへ通知することを示す図である。具体的には、図174は、携帯電話が電子レンジの運転終了の通知受け取ったとき、携帯電話がユーザの付近になければ、ユーザを探知している機器のうち、画面表示機能や音声出力機能を持った機器(本図ではユーザの正面にあるテレビ)に、電子レンジの運転終了をユーザへ通知させる命令を送信し、その命令を受け取った機器が、電子レンジの運転終了をユーザへ通知することを示す図である。携帯電話が充電器に接続されているときは、携帯電話は電子レンジの近くにも、ユーザの近くにも存在しないことが多く、本図に示す状況が起こりやすいことを示している。
 図175は、電子レンジの運転終了の通知を受けたユーザがキッチンに移動することを示す図である。なお、このとき、携帯電話は次の調理内容を表示している。また、携帯電話は、音声等によりユーザがキッチンへ移動したことを認識し、ちょうど良いタイミングで次の調理手順の解説を始めても良い。
 図176は、電子レンジから無線通信で携帯電話に、運転終了等の情報を送信し、携帯電話から、ユーザの見ているテレビに通知命令を行い、テレビの画面表示や音声でユーザに通知を行うことを示す図である。
 なお、情報ソース機器(本図では電子レンジ)と携帯電話との通信、及び、携帯電話とユーザに通知を行う機器(本図ではテレビ)との通信は、家庭内LANや、直接の無線通信、特に、700MHz~900MHz台の無線通信等が利用できる。また、ここでは携帯電話をハブとして利用しているが、通信能力を持つ他の機器を携帯電話の代わりに利用しても良い。
 図177は、電子レンジから無線通信で、ユーザの見ているテレビに運転終了などの情報を送信し、テレビの画面表示や音声を用いてユーザに通知を行うことを示す図である。これは、図176でハブとしての役割を担っていた携帯電話を介さない場合の動作を示す。
 図178は、1階のエアコンが何らかの情報通知を行う場合に、2階のエアコンに情報を送信し、2階のエアコンから携帯電話に情報を送信し、携帯電話からユーザの見ているテレビに通知命令を行い、テレビの画面表示や音声でユーザに通知を行うことを示す図である。これは、情報ソース機器(本図では1階のエアコン)からハブとなる携帯電話に直接通信ができない場合に、通信が可能な他の機器に情報を送信し、携帯電話までの通信を行うことを示している。
 図179は、遠隔地にいるユーザへ情報の通知を行うことを示す図である。具体的には、図179は、電子レンジから音声や光や無線通信等を介して通知を受けた携帯電話から、インターネットやキャリア通信を通して、遠隔地にいるユーザへ情報の通知を行うことを示している。図180は、電子レンジから、ハブとなる携帯電話へ直接通信が行えない場合に、パソコン等を経由して、携帯電話に情報を送信することを示した図である。図181は、図180の通信を受けた携帯電話から、情報通信経路を逆に辿って電子レンジに操作命令等の情報を送信することを示す図である。
 なお、携帯電話は、図180の情報を受けて自動で情報を送信しても良いし、その情報をユーザに通知し、その通知を受けてユーザが行った操作の情報を送信しても良い。
 図182は、情報ソース機器であるエアコンから、ハブとなる携帯電話に直接の通信が不可能である場合に、ユーザに情報の通知を行なうことを示した図である。具体的には、図182は、情報ソース機器であるエアコンから、ハブとなる携帯電話に直接の通信が不可能である場合に、まず、丸1でパソコン等の、携帯電話への通信のステップとなる機器に情報を送信し、丸2と丸3で、インターネットやキャリア通信網を通じてパソコンから携帯電話へ情報を送信し、携帯電話は自動でその情報を処理し、或いは、携帯電話を持っているユーザの操作を受けて、丸4と丸5で、インターネットやキャリア通信網通じて情報をパソコンに送信し、丸6で、パソコンは通知したいユーザに通知が可能な機器(本図ではテレビ)に通知命令を送信し、丸7で、テレビの画面表示や音声を用いてユーザに情報の通知を行なうことを示している。
 このような状況は、エアコンからの通知情報を受取るべきユーザと、携帯電話を使用しているユーザが異なる場合に起こりやすい。
 なお、本図では、パソコンと携帯電話の間の通信にインターネットやキャリア通信網を介しているが、家庭内LANや直接通信等で通信を行なっても良い。
 図183は、700~900MHzの電波を用いた通信装置を利用したシステムについて説明するための図である。具体的には、図183の構成では、700~900MHzの電波(以下G電波と呼ぶ)を用いた通信装置(以下G装置と呼ぶ)を利用したシステムについて説明しており、G装置付きの電子レンジからG装置付きの3階の携帯電話にG電波を用いて情報を送信し、G装置付きの3階の携帯電話から、家庭内ネットワークを利用してG装置のない2階の携帯電話に情報を送信し、2階の携帯電話からユーザへ情報の通知を行うことを示している。
 なお、G装置付きの機器間の通信の登録・認証には、両機器に付属のNFCを用いた方法が考えられる。また、いずれかの機器にNFCがない場合には、登録モードとして、10~20cm程度の距離でのみ通信が可能となるようにG電波の出力を下げ、双方の機器を近づけ、通信が成功した場合に、G装置間の通信の登録・認証を行う方法が考えられる。
 また、情報ソース機器(本図では電子レンジ)は、G装置を備えていれば、電子レンジ以外の機器であっても良い。
 また、情報ソース機器と情報通知機器(本図では2階の携帯電話)の中継を行う機器(本図では3階の携帯電話)は、G電波と家庭内ネットワークにアクセス可能であれば、携帯電話ではなく、パソコンやエアコンやスマートメータ等の機器でも良い。
 また、情報通知機器は、家庭内ネットワークにアクセス可能であり、画面表示や音声出力等を用いてユーザへの通知が可能であれば、携帯電話ではなく、パソコンやテレビ等の機器でも良い。
 図184は、遠隔地の携帯電話がユーザに情報を通知することを示す図である。具体的には、図184は、G装置付きのエアコンからG装置付きの宅内の携帯電話に情報を送信し、宅内の携帯電話から、インターネットやキャリア通信網を通じて、遠隔地の携帯電話に情報を送信し、遠隔地の携帯電話でユーザに情報を通知することを示している。
 なお、情報ソース機器(本図ではエアコン)は、G装置を備えていれば、電子レンジ以外の機器であっても良い。
 また、情報ソース機器と情報通知機器(本図では遠隔地の携帯電話)の中継を行う機器(本図では宅内の携帯電話)は、G電波とインターネットやキャリア通信網にアクセス可能であれば、携帯電話ではなく、パソコンやエアコンやスマートメータ等の機器でも良い。
 なお、情報通知機器は、インターネットやキャリア通信網にアクセス可能であり、画面表示や音声出力等を用いてユーザへの通知が可能であれば、携帯電話ではなく、パソコンやテレビ等の機器でも良い。
 図185は、遠隔地の携帯電話がユーザへ情報の通知を行うことを示す図である。具体的には、図185は、G装置のない電子レンジの通知音をG装置付きのテレビが認識し、テレビがG電波を介してG装置付きの宅内の携帯電話に情報を送信し、宅内の携帯電話からインターネットやキャリア通信網を介して遠隔地の携帯電話に情報を送信し、遠隔地の携帯電話がユーザへ情報の通知を行うことを示している。
 なお、情報ソース機器(本図では電子レンジ)は、他の機器でも同様であり、情報ソース機器の通知を、通知認識機器(本図ではテレビ)が認識する方法は、音声ではなく、発光状態等であっても同様である。
 また、通知認識機器も、G装置付きの他の機器であっても同様である。また、通知認識機器と情報通知機器(本図では遠隔地の携帯電話)の中継を行う機器(本図では宅内の携帯電話)は、G電波とインターネットやキャリア通信網にアクセス可能であれば、携帯電話ではなく、パソコンやエアコンやスマートメータ等の機器でも良い。
 なお、情報通知機器は、インターネットやキャリア通信網にアクセス可能であり、画面表示や音声出力等を用いてユーザへの通知が可能であれば、携帯電話ではなく、パソコンやテレビ等の機器でも良い。
 また、図186は、図185と同様の場合において、通知認識機器(本図では2階のテレビ)と情報通知機器(本図では遠隔地の携帯電話)の中継を行う機器(図185では宅内の携帯電話)に代わって、2階のテレビが中継機器の役割を果たした場合の図である。
 以上により、本実施の形態の装置は、以下の機能を実現する。
・アプリケーションの利用を通じて、ユーザの音声特性を学習する機能
・携帯電話から通信可能で、集音機能を持つ機器のうち、携帯電話から発した音を集音可能な集音機器を見つけ出す機能
・携帯電話から通信可能で、集音機能を持つ機器のうち、電子機器から発した音を集音可能な集音機器を見つけ出す機能
・集音機器で集音した音声をそのまま、あるいは、音声認識結果を携帯電話に送信させる機能
・環境音の特性を解析し、音声認識の精度を向上させる機能
・ユーザの所有する機器から出力され得る音声をDBから取得し、音声認識の精度を向上させる機能
・携帯電話から通信可能で、音声出力機能を持つ機器のうち、その機器が発した音声を携帯電話や集音機器が集音可能な音声出力機器を見つけ出す機能
・音声出力機器から出力される音声データを取得し、伝送特性を考慮して集音音声から差し引くことで、集音音声から不要な音声をキャンセルする機能
・調理レシピのパラメータ入力を受け、ユーザに指示を行う調理手順と、調理機器をコントロールするためのコントロールデータをサーバから取得する機能
・機器の出力可能な音のデータを基に、機器の発する通知音を、携帯電話や集音機器が認識しやすいように設定する機能
・ユーザの音声特性を基に認識機能を調整することで、ユーザ音声の認識精度を向上させる機能
・複数の集音機器を用いてユーザの音声を認識する機能
・複数の集音機器を用いて電子機器の通知音を認識する機能
・携帯電話と電子機器の非接触ICカード等を介して、一度の操作だけで、一連の作業を行うために、電子機器から必要な情報を得、電子レンジに設定を行う機能
・携帯電話から通信可能な機器で、カメラやマイクや人感センサ等のユーザを探知することができる機器を用い、ユーザを探し、ユーザの現在位置を携帯電話へ送信させ、または、DBに保存させる機能
・DBに保存されたユーザ位置を用いて、近くに存在する機器からユーザに通知を行う機能
・携帯電話の状態(操作状態、センサ値、充電状態、データリンク状態等)から、携帯電話の付近にユーザが存在するかどうかを推定する機能
 なお、図145から図175の処理では、音データを発光データ(周波数や輝度等)、音声出力を発光、集音を受光とそれぞれ読み替えても同様の機能を実現可能である。
 また、本実施の形態では電子レンジを例としたが、認識する通知音を発する電子機器は、電子レンジではなく、洗濯機や炊飯器、掃除機、冷蔵庫、空気清浄機、ポット、食器洗い乾燥機、エアコン、パソコン、携帯電話、テレビ、自動車、電話、メール着信装置等に変えても、同様の効果がある。
 また、本実施の形態では、電子レンジと、携帯電話と、テレビ等のユーザへ通知を行う機器とは直接に通信を行なっているが、直接の通信に不都合がある場合には、他の機器を通して間接的に通信を行なっても良い。
 また、本実施の形態では、主に家庭LANを利用した通信を想定しているが、機器同士の直接無線通信や、インターネットや、キャリア通信網を介した通信の場合であっても、同様の機能を実現可能である。
 また、本実施の形態では、使用者の場所を、携帯電話からの一斉の問い合わせにより、TVのカメラ等で人物識別をして、本人の携帯電話に暗号化して送るため、個人情報の漏洩が防げるという効果がある。家の中に複数の人間がいる場合でも、エアコンや空気清浄機、冷蔵庫の人感センサのデータを携帯等の位置管理データベースにおくることにより、一回認識した操作者の移動に伴い、センサで追跡することにより、操作者の位置を推定することができる。
 なお、ユーザがジャイロや方位計を持つ携帯電話を所持する場合は、特定した位置データをユーザ位置データベースに登録すると良い。
 また、操作者が携帯を置いたきは、まず、物理センサの動きが一定期間静止することから、これを検知できる。次に離れたことは、家電や照明器具の人感センサやボタン操作、TV等のカメラ、携帯のマイク等を用いて検知する。そしてその位置は携帯もしくは、家内のサーバのユーザ位置データベースに登録する。
 以上のように、実施の形態9によれば、機器間の通信を可能とする情報通信装置(認識装置)を実現することができる。
 具体的には、本実施の形態の情報通信装置は、操作端末から通信可能な電子機器のうち、集音機能を持つ電子機器(集音機器)を探索し、前記集音機器の集音機能を利用して別の電子機器の通知音を認識する認識装置を含んでいてもよい。
 ここで、この認識装置は、さらに、操作端末から発した信号音を集音可能な集音機器のみの集音機能を利用する認識装置であってもよい。
 また、本実施の形態の情報通信装置は、操作端末から通信可能な電子機器のうち、音声出力機能を持つ電子機器(音声出力機器)を探索し、前記音声出力機器と前記集音機器との間の音声伝送特性を解析し、前記音声出力機器の出力音声データを取得し、前記音声伝送特性と前記出力音声データから、集音音声から前記音声出力機器から出力された音声をキャンセルする集音装置を含んでいてもよい。
 また、本実施の形態の情報通信装置は、環境音に埋もれないように、通知音を認識したい電子機器の通知音を調整する認識装置を含んでいてもよい。
 また、本実施の形態の情報通信装置は、ユーザの保有する電子機器(保有電子機器)と保有電子機器が出力する音のデータと保有電子機器の位置データをデータベースに保持し、保有電子機器の出力する音声と通知音を認識したい電子機器の通知音とを区別しやすいように、前記認識したい電子機器の前記通知音を調整する認識装置を含んでいてもよい。
 ここで、この認識装置は、さらに、保有電子機器の出力する音声と通知音を認識したい電子機器の通知音とを区別しやすいように、音声認識処理を調整する認識装置であってもよい。
 また、本実施の形態の情報通信装置は、操作端末の操作状態と、物理センサのセンサ値と、データリンク状態と、充電状態とを利用して、前記操作端末と操作者との位置が近いかどうかを認識する認識装置を含んでいてもよい。
 ここで、この認識装置は、さらに、前記操作端末から通信可能な電子機器の操作状態、カメラと、マイクと、人感センサと、データベースに保持された前記電子機器の位置データを利用して、ユーザの位置を認識する認識装置であってもよい。
 また、この前記認識装置は、さらに、前記ユーザ位置の認識結果と、データベースに保持された、画面表示や音声出力等の手段により前記ユーザに通知が可能な機能を持つ電子機器(通知機器)の位置データとを利用し、前記ユーザに通知が可能な前記通知機器を用いてユーザに情報の通知を行う情報通知装置に含まれていてもよい。
 なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
 (実施の形態10)
 現在、無線通信において様々な簡単認証方式が検討されている。例えば、Wi―Fiアライアンスで策定されている、無線LANのWPSにおいては、プッシュボタン方式、PIN入力方式、NFC方式などが規定されている。無線における様々な簡単認証方式では、機器を使用しているユーザが認証を行おうとしているかどうかを、時間を限定するか双方の機器に直接触れる事ができる距離にいるということを特定することで判断し、認証を行っている。
 しかし、時間を限定する方法はある程度近接した距離に悪意あるユーザがいた場合には、安全とはいえない。また、家電機器などの据え置き機器においては、直接ふれることが困難もしくは面倒な場合がある。
 そこで、本実施の形態においては、可視光を用いた通信を無線認証に使用することによって、認証をしようしているユーザが確実に部屋内にいることを特定し、家電機器の無線認証を簡単かつ安全に行う方法を説明する。
 図187は、本実施の形態における宅内の環境の例を示す図である。図188は、本実施の形態における家電機器とスマートフォンの通信の例を示す図である。図189は、本実施の形態における送信側装置の構成を示す図である。図190は、本実施の形態における受信側装置の構成を示す図である。図187~図190は、図124~図127と同様の図面であり詳細な説明は省略する。
 宅内環境は、図187に示したような、ユーザがキッチンにおいて持っているタブレットとリビングにおいているTVとを認証するような環境を考える。双方、無線LANに接続は可能な端末であり、WPSモジュールを実装していると仮定する。
 図191は、図187において、送信側端末(TV)が受信側端末(タブレット)と光通信を用いて無線LAN認証を行う場合のシーケンス図である。以下、図191について解説する。
 まず、例えば図189に示すような送信側端末は、乱数を作成する(ステップ5001a)。続いて、WPSのレジストラに登録する(ステップ5001b)。さらに、レジストラに登録した乱数のパターンどおりに発光素子を発光させる(ステップ5001c)。
 一方、送信側装置の発光素子が発光している間に、例えば図190に示すような受信側装置では光認証モードでカメラを起動させる。ここで、光認証モードとは発光素子が認証用に光っているということを認識できるモードであり、発光側の周期とあわせて撮影可能な動画撮影モードのことをいう。
 すなわち、まず、ユーザは送信側端末の発光素子を撮影する(ステップ5001d)。次に、受信側端末は撮影により、乱数を受光する(ステップ5001e)。続いて、乱数を受光した受信側端末は乱数をWPSのPINとして入力する(ステップ5001f)。
 ここで、双方でPINが共有された状態になった送受信端末はWPSでの規定にしたがい、認証処理を行う(ステップ5001g)。
 次に、認証が完了したら、送信側端末はレジストラから乱数を削除し、複数の端末からの認証を受け付けないようにする(5001h)。
 なお、本方式は無線LANの認証に限らず、共有鍵を用いた無線の認証方式すべてに適応可能である。
 また、本方式は無線の認証方式に限定されないものである。例えばTVとタブレット間の双方で搭載しているアプリケーションの認証にも適応することが可能である。
 図192は、本実施の形態におけるアプリケーションでの認証を行う場合のシーケンス図である。以下、図192を解説する。
 まず、送信側端末は端末の状態に応じて送信側IDを作成する(ステップ5002a)。ここで、送信側IDは乱数でもよいし、暗号化のための鍵でもよい。また、送信側端末の端末ID(MACアドレス、IPアドレス)を含んでもよい。続いて、送信側端末は送信側IDのパターンどおりに発光する(ステップ5002b)。
 一方、受信側装置は無線認証の場合と同じ手順で送信側IDを受光する(ステップ5002f)。続いて、受信側装置は送信側IDを受信すると、送信側IDを受信したことが証明可能な受信側IDを作成する(ステップ5002g)。例えば、送信側IDで暗号化されている受信側端末の端末IDであってもよい。また、受信側端末で起動しているアプリのプロセスIDやパスワードを含んでもよい。続いて、受信側端末は受信側IDを無線でブロードキャストする(ステップ5002h)。なお、送信側IDに送信側端末の端末IDが含まれていた場合には、ユニキャストしてもよい。
 次に、無線で受信側IDを受信した5002c送信側端末は、受信した受信側IDを送ってきた端末と相互に共有されている送信側IDを用いて認証を行う(ステップ5002d)。
 図193は、本実施の形態における送信側端末の動作を表すフローチャートである。以下、図193について解説する。
 まず、送信側端末は端末の状態に応じたIDを発光する(ステップ5003a)。
 次に、IDに応じたパターンで発光する(ステップ5003b)。
 次に、発光したIDに対応する無線応答があるかどうかを確認する(ステップ5003c)。応答があった場合には(ステップ5003cでYes)、応答してきた端末に対して認証処理を行う(ステップ5003d)。なお、ステップ5003cにおいて、応答が無かった場合には、タイムアウト時間待って(ステップ5003i)、応答無しを表示して終了する(ステップ5003j)。
 次に、ステップ5003eにおいて認証処理が成功したかを確認し、認証処理が成功した場合には(ステップ5003eでYes)、発光したIDに認証以外のコマンドが含まれていれば(ステップ5003fでYes)、コマンドに従った処理を行う(ステップ5003g)。
 なお、ステップ5003eで、認証が失敗した場合には、認証エラーを表示して(ステップ5003h)、終了する。
 図194は、本実施の形態における受信側端末の動作を表すフローチャートである。以下、図194について解説する。
 まず、受信側端末は光認証モードでカメラを起動する(ステップ5004a)。
 次に、特定パターンで光を受光できたかを確認し(ステップ5004b)、確認できた場合には(ステップ5004bでYes)、送信側IDを受信したことが証明可能な受信側IDを作成する(ステップ5004c)。なお、確認できなかった場合には(ステップ5004bでNo)、タイムアウト時間を待って(ステップ5004iでYes)、タイムアウトを表示し(ステップ5004j)、終了する。
 次に、送信側端末に送信端末のIDが含まれているかを確認する(ステップ5004k)、含まれている場合には(ステップ5004kでYes)、その端末に受信側IDをユニキャストする(ステップ5004d)。一方、含まれていない場合には(ステップ5004kでNo)、ブロードキャストする(ステップ5004l)。
 次に、送信端末側から認証処理が開始され(ステップ5004e)、認証処理が成功した場合には(ステップ5004eでYes)、受光したIDにコマンドが含まれているかどうかを判断する(ステップ5004f)。ステップ5004fで、含まれていたと判断した場合には(ステップ5004fでYES)、IDに応じた処理を行う(ステップ5004g)。
 なお、ステップ5004eで、認証に失敗した場合には(ステップ5004eでNo)、認証エラーを表示し(ステップ5004h)、終了する。
 以上、本実施の形態によれば、可視光を用いた通信を無線認証に使用することによって、認証をしようしているユーザが確実に部屋内にいることを特定し、家電機器の無線認証を簡単かつ安全に行うことができる。
 (実施の形態11)
 上述した実施の形態では、NFC通信、及び、高速無線通信を用いてデータ交換する際のフローを説明したがそれに限らない。本実施の形態は、例えば図195~図197に示されるようなフローにすることも当然可能である。
 図195は、本実施の形態におけるモバイルAV端末1がモバイルAV端末2にデータを送信するシーケンス図である。具体的には、図195は、NFC・無線LAN無線通信を用いたデータ送受信のシーケンス図を示している。以下、図195を解説する。
 モバイルAV端末1は、まず画面上にモバイルAV端末2へ送信する対象となるデータを表示する。
 ここで、モバイルAV端末1とモバイルAV端末2が互いの機器を接触させることによってNFC通信を行うと、モバイルAV端末1は、画面上にデータ送信を行うか否かの確認画面を出す。この確認画面は、「データを送信しますか?」という文字と共に、「Yes/No」の選択をユーザに要求するものであっても良いし、モバイルAV端末1の画面をもう一度タッチすることでデータ送信を開始するようなインターフェイスにしても良い。
 データ送信意思確認でOKの場合、モバイルAV端末1とモバイルAV端末2はNFC通信によって、送信するデータの情報および高速無線通信を確立するための情報をやりとりする。送信するデータの情報は無線LAN通信によって行なっても良い。無線LAN通信確立に関する情報は、通信チャネルやSSID、暗号キー情報をであっても良いし、ランダムに生成されたID情報を交換し、この情報によって、セキュアな通信路を確立する方式であっても良い。
 無線LAN通信が確立すると、モバイルAV端末1とモバイルAV端末2は無線LAN通信によるデータ通信を行い、モバイルAV端末1の送信対象のデータをモバイルAV端末2へ送信する。
 次に、図196、図197を用いて、モバイルAV端末1およびモバイルAV端末2の画面の遷移を中心にした説明を行う。図196は、本実施の形態におけるモバイルAV端末1がモバイルAV端末2にデータを送信する場合の画面遷移図である。図197は、本実施の形態におけるモバイルAV端末1がモバイルAV端末2にデータを送信する場合の画面遷移図である。
 図196および図197において、モバイルAV端末1においてユーザはまず動画静止画を再生するアプリを起動する。このアプリはモバイルAV端末1内にある静止画や動画データを表示する。
 ここで、モバイルAV端末1とモバイルAV端末2を準接触させることによってNFC通信を行う。このNFC通信はモバイルAV端末1で静止画や動画データの交換を開始するための処理である。
 まず、モバイルAV端末1とモバイルAV端末2がNFC通信によりデータ交換の開始を認識すると、モバイルAV端末1の画面にはデータ送信してもよいかどうかの確認画面が表示される。なお、この確認画面は図196のように、データ送信開始にはユーザに画面をタッチさせるようなインターフェイスにしてもよいし、データ送信可否をYes/Noでユーザに選択させるインターフェイスにしてもよい。データ送信開始判断でYesの場合、すなわちモバイルAV端末1がモバイルAV端末2へデータを送信する場合、モバイルAV端末1はモバイルAV端末2へ交換するデータの情報と、無線LANによる高速無線通信開始に関する情報を送信する。なお、この交換するデータの情報は高速無線通信を用いて行なっても良い。
 次に、モバイルAV端末1およびモバイルAV端末2は無線LANによる高速無線通信開始に関する情報を送受信すると、無線LAN通信のコネクションを確立するための処理を行う。この処理は、どのようなチャネルで通信を行うか、通信トポロジ上どちらが親端末になり、どちらが子端末になるか、パスワード情報やお互いのSSIDや端末情報の交換などが含まれる。
 次に、無線LAN通信のコネクションが確立すると、モバイルAV端末1およびモバイルAV端末2は無線LAN通信によるデータを送信する。データ送信中、モバイルAV端末1は通常通り動画の再生画面を表示し、データを受信する側であるモバイルAV端末2は、データ受信中を示す画面を表示させる。これは、モバイルAV端末1にとってデータ送信中の画面を表示すると、その他の処理ができなくなるため、データ送信はバックグラウンドで行うことで、ユーザの利便性が向上するというメリットがある。またモバイルAV端末2はデータを受信中であり、受信したデータをすぐさま表示できるように、画面にデータ受信中を示す画面を表示することで、データの受信完了時に直ちに受診したデータを表示できるメリットがある。
 最後に、モバイルAV端末2はデータの受信が完了すると、受診したデータを画面に表示させる。
 図198~図200は、本実施の形態におけるモバイルAV端末1がデジタルカメラである場合のシステム概略図である。
 図198に示すように、モバイルAV端末1がデジタルカメラであっても、本実施の携帯は適用可能であることは言うまでもない。
 また、モバイルAV端末1がデジタルカメラの場合、一般的にデジタルカメラは、無線LANによるインターネットアクセスの手段は持っていても、携帯通信によるインターネットアクセスの手段を持っていないことが多い。
 このため、図199や図200のように、デジタルカメラ(モバイルAV端末1)は、無線LAN通信が行うことができる環境下においては、無線LANによって撮影した画像データを写真共有サービスに送信し、無線LAN通信を行うことができない環境ではモバイルAV端末2へまず無線LANを用いてデータを送信し、モバイルAV端末2は受診したデータをそのまま携帯電話通信によって写真共有サービスに送信する構成にすることが望ましい。
 無線LAN通信は携帯電話通信と比較して高速であるため、無線LAN通信が可能である場合は無線LAN通信を行うことで高速に写真を写真共有サービスに送信することができる。また、携帯電話通信網は、無線LAN通信網より、サービスエリアが一般的に広いため、無線LAN環境がない場合は、モバイルAV端末2を中継して携帯電話通信によって写真共有サービスにデータを送信することができる機能を持たせることで、さまざまな場所で即座に写真を写真共有サービスに送信することが可能となる。
 以上、本実施の形態によれば、NFC通信、及び、高速無線通信を用いてデータ交換することができる。
 以上、本発明の一つまたは複数の態様に係る情報通信装置等について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。
 なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
 (実施の形態12)
 本実施の形態では、上記実施の形態1~11におけるスマートフォンなどの受信機と、LEDの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
 図201は、実施の形態12における受信機と送信機の適用例を示す図である。
 例えばレストランのサイネージである送信機7001aは、送信機7001aの識別情報(ID)を例えばスマートフォンとして構成される受信機7001bに送信する。受信機7001bは、そのIDに対応付けられた情報をサーバから取得して表示する。その情報は、例えばレストランまでの経路、空席状況、およびクーポンなどである。
 図202は、実施の形態12における受信機と送信機の適用例を示す図である。
 例えば映画のサイネージである送信機7042bは、送信機7042bの識別情報(ID)を例えばスマートフォンとして構成される受信機7042aに送信する。受信機7042aは、そのIDに対応付けられた情報をサーバから取得して表示する。その情報は、例えば、映画の予約を促す画像7042c、映画の上映時刻を示す画像7042d、空席状況を示す画像7042e、および予約完了を通知する画像7042fである。
 図203は、実施の形態12における受信機と送信機の適用例を示す図である。
 例えばドラマのサイネージである送信機7043bは、送信機7043bの識別情報(ID)を例えばスマートフォンとして構成される受信機7043aに送信する。受信機7043aは、そのIDを受信すると、そのIDに対応付けられた情報をサーバから取得して表示する。その情報は、例えば、ドラマの録画予約を促す画像7043c、ドラマを録画するレコーダの選択を促す画像7043d、および予約完了を通知する画像7043eである。
 図204は、実施の形態12における受信機と送信機の適用例を示す図である。
 例えば店舗の屋根看板または路上に置かれた看板として構成されるサイネージである送信機7044dまたは7044cは、送信機7044dまたは7044cの識別情報(ID)を例えばスマートフォンとして構成される受信機7044aに送信する。受信機7044aは、そのIDに対応付けられた情報をサーバから取得して表示する。その情報は、例えば、その店舗の空席状況およびクーポンなどを示す画像7044bである。
 図205は、実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。なお、このフローチャートは、図201~図204に示す適用例に対応するものである。
 まず、送信機のIDと、IDを受信した受信機に渡す情報とを関連付けてサーバに記憶する(7101a)。ここで、受信機に渡す情報には、店舗名や、商品名や、店舗への地図情報や、空席情報や、クーポン情報や、商品の在庫数や、映画や劇の上映時刻や、予約情報や、予約や購入を行うサーバのURLなどの情報を含んでも良い。
 次に、送信機からIDを送信する(S7101b)。受信機のカメラを送信機に向け、IDを受信する(S7101c)。
 受信機は受信したIDをサーバに送信し、IDに関連する情報を受信機に記憶する(S7101d)。
 受信機は、端末IDやユーザIDを合わせてサーバへ保存する(S7101e)。さらに、受信機は、受信機に表示するものとしてサーバに記憶されていた情報を表示する(S7101f)。
 受信機は、受信機やサーバに保存されたユーザプロファイルに基いて、表示内容を調整する(S7101g)。例えば、文字の大きさを変更したり、年齢制限コンテンツを非表示としたり、過去のユーザの行動から好まれると推定されたコンテンツを優先的に表示したりといった制御を行う。
 受信機は、現在位置から店舗や商品売場までの道順を表示する(S7101h)。受信機は、適宜サーバから情報を取得し、空席情報や予約情報を更新して表示する(S7101i)。受信機は、取得した情報を保存するためのボタンや、表示内容を保存することを取りやめるためのボタンを表示する(S7101j)。
 ユーザは、受信機が取得した情報を保存するためのボタンをタップする(S7101k)。受信機は、ユーザの操作によって再表示できるように、取得した情報を保存する(S7101m)。店舗の読み取り機は、受信機の送信する情報を読取る(S7101n)。送信方法としては、可視光通信、wifiやbluetoothを介した通信、2次元バーコードによる通信などがある。送信情報には、受信機のIDやユーザIDを含めても良い。
 店舗の読取り装置は、読み取った情報と店舗のIDをサーバへ保存する(S7101p)。サーバは、送信機と、受信機と、店舗とを関連付けて保存する(S7101q)。これにより、サイネージの広告効果を分析することが可能となる。
 図206は、実施の形態12における受信機と送信機の適用例を示す図である。
 例えば複数の店舗を示すサイネージである送信機7002aは、送信機7002aの識別情報(ID)を例えばスマートフォンとして構成される受信機7002bに送信する。受信機7002bは、そのIDを受信すると、そのIDに対応付けられた情報をサーバから取得して、サイネージと同一の表示内容を表示する。ユーザが所望の店舗を選択するためのタップ選択や音声入力を行なうと、受信機7002bはその店舗の内容を表示する。
 図207は、実施の形態12における受信機7002bと送信機7002aの処理動作の一例を示すフローチャートである。
 送信機7002aのIDと、IDを受信した受信機7002bに渡す情報とを関連付けてサーバに記憶する(7102a)。受信機7002bに渡す情報には、店舗名や、商品名や、店舗への地図情報や、空席情報や、クーポン情報や、商品の在庫数や、映画や劇の上映時刻や、予約情報や、予約や購入を行うサーバのURLなどの情報を含んでも良い。送信機7002aに表示する内容の位置関係をサーバに記憶する。
 サイネージなどの送信機7002aからIDを送信する(7102b)。受信機7002bのカメラを送信機7002aに向け、IDを受信する(7102c)。受信機7002bは受信したIDをサーバに送信し、IDに関連する情報を得る(7102d)。受信機7002bは、受信機7002bに表示するものとしてサーバに記憶されていた情報を表示する(7102e)。その情報である画像は、送信機7002aに表示された画像の位置関係を保ったまま受信機7002bに表示されてもよい。
 ユーザは、画面のタップや音声による指定で、受信機7002bに表示された情報を選択する(7102f)。受信機7002bは、ユーザに指定された情報の詳細を表示する(7102g)。
 図208は、実施の形態12における受信機と送信機の適用例を示す図である。
 例えば複数の店舗を示すサイネージである送信機7003aは、送信機7003aの識別情報(ID)を例えばスマートフォンとして構成される受信機7003bに送信する。受信機7003bは、そのIDを受信すると、そのIDに対応付けられた情報をサーバから取得し、サイネージの表示内容のうち、受信機7003bのカメラの撮影画像の中心に近い部分(例えば最も近い部分)の内容を表示する。
 図209は、実施の形態12における受信機7003bと送信機7003aの処理動作の一例を示すフローチャートである。
 送信機7003aのIDと、IDを受信した受信機7003bに渡す情報とを関連付けてサーバに記憶する(7103a)。受信機7003bに渡す情報には、店舗名や、商品名や、店舗への地図情報や、空席情報や、クーポン情報や、商品の在庫数や、映画や劇の上映時刻や、予約情報や、予約や購入を行うサーバのURLなどの情報を含んでも良い。送信機7003aに表示する内容の位置関係をサーバに記憶する。
 サイネージなどの送信機7003aからIDを送信する(7103b)。受信機7003bのカメラを送信機7003aに向け、IDを受信する(7103c)。受信機7003bは受信したIDをサーバに送信し、IDに関連する情報を得る(7103d)。受信機7003bは、サイネージの表示内容のうち、撮像画像の中心または指定部分と位置的に最も近い内容を表示する(7103e)。
 図210は、実施の形態12における受信機と送信機の適用例を示す図である。
 例えば複数の店舗を示すサイネージである送信機7004aは、送信機7004aの識別情報(ID)を例えばスマートフォンとして構成される受信機7004bに送信する。受信機7004bは、そのIDを受信すると、そのIDに対応付けられた情報をサーバから取得し、サイネージの表示内容のうち、受信機7004bのカメラの撮影画像の中心に近い部分の内容(例えば店舗「Bカフェ」の内容を示す画像)を表示する。ここで、ユーザが左方向にフリックすると、受信機7004bは、サイネージで店舗「Bカフェ」の右側にある店舗「C書店」の内容を示す画像を表示する。つまり、受信機7004bは、送信元のサイネージと同じ位置関係の画像を表示する。
 図211は、実施の形態12における受信機7004bと送信機7004aの処理動作の一例を示すフローチャートである。
 送信機7004aのIDと、IDを受信した受信機7004bに渡す情報とを関連付けてサーバに記憶する(7104a)。受信機7004bに渡す情報には、店舗名や、商品名や、店舗への地図情報や、空席情報や、クーポン情報や、商品の在庫数や、映画や劇の上映時刻や、予約情報や、予約や購入を行うサーバのURLなどの情報を含んでも良い。送信機7004aに表示する内容の位置関係をサーバに記憶する。
 サイネージなどの送信機7004aからIDを送信する(7104b)。受信機7004bのカメラを送信機7004aに向け、IDを受信する(7104c)。受信機7004bは受信したIDをサーバに送信し、IDに関連する情報を得る(7104d)。受信機7004bに表示するとしてサーバに記憶されていた情報を表示する(7104e)。
 ユーザは、受信機7004bに対してフリック操作を行う(7104f)。受信機7004bは、ユーザ操作に応じて、送信機7004aに表示された情報と同じ位置関係となるように表示内容を変更する(7104g)。例えば、ユーザが画面を左方向にフリックして現在表示している部分の右側を表示しようとした場合は、送信機7004aの表示において、現在受信機7004bに表示している内容の右側に表示されている内容を、受信機7004bに表示させる。
 図212は、実施の形態12における受信機と送信機の適用例を示す図である。
 例えば複数の店舗を示すサイネージである送信機7005aは、送信機7005aの識別情報(ID)を例えばスマートフォンとして構成される受信機7005bに送信する。受信機7005bは、そのIDを受信すると、そのIDに対応付けられた情報をサーバから取得し、サイネージの表示内容のうち、受信機7005bのカメラの撮影画像の中心に近い部分の内容(例えば店舗「Bカフェ」の内容を示す画像)を表示する。ここで、ユーザが受信機7005bの画面の左端(または左向きの矢印)をタップすると、受信機7005bは、サイネージで店舗「Bカフェ」の左側にある店舗「Aレストラン」の内容を示す画像を表示する。また、ユーザが受信機7005bの画面の下端(または下向きの矢印)をタップすると、受信機7005bは、サイネージで店舗「Bカフェ」の下側にある店舗「E事務所」の内容を示す画像を表示する。また、ユーザが受信機7005bの画面の右端(または右向きの矢印)をタップすると、受信機7005bは、サイネージで店舗「Bカフェ」の右側にある店舗「C書店」の内容を示す画像を表示する。つまり、受信機7004bは、送信元のサイネージと同じ位置関係の画像を表示する。
 図213は、実施の形態12における受信機7005bと送信機7005aの処理動作の一例を示すフローチャートである。
 送信機7005aのIDと、IDを受信した受信機7005bに渡す情報とを関連付けてサーバに記憶する(7105a)。受信機7005bに渡す情報には、店舗名や、商品名や、店舗への地図情報や、空席情報や、クーポン情報や、商品の在庫数や、映画や劇の上映時刻や、予約情報や、予約や購入を行うサーバのURLなどの情報を含んでも良い。送信機7005aに表示する内容の位置関係をサーバに記憶する。
 サイネージなどの送信機7005aからIDを送信する(7105b)。受信機7005bのカメラを送信機7005aに向け、IDを受信する(7105c)。受信機7005bは受信したIDをサーバに送信し、IDに関連する情報を得る(7105d)。受信機7005bに表示するとしてサーバに記憶されていた情報を表示する(7105e)。
 ユーザは、受信機7005bに表示された端の部分、または、受信機7005bに表示された上下左右の方向を示す部分をタップする(7105f)。受信機7005bは、ユーザ操作に応じて、送信機7005aに表示された情報と同じ位置関係となるように表示内容を変更する(7105g)。例えば、ユーザが画面の右端や右方向を示す部分をタップした場合は、送信機7005aの表示において、現在受信機7005bに表示している内容の右側に表示されている内容を、受信機7005bに表示させる。
 図214は、実施の形態12における受信機と送信機の適用例を示す図である。なお、図214は自動車を後ろから見た図である。
 例えば車の2つのテールランプ(発光部またはライト)を有する送信機(車)7006aは、送信機7006aの識別情報(ID)を例えばスマートフォンとして構成される受信機に送信する。受信機は、そのIDを受信すると、そのIDに対応付けられた情報をサーバから取得する。例えば、その情報は、その車または送信機のID、発光部間の距離、発光部の大きさ、車の大きさ、車の形状、車の重さ、車のナンバー、前方の様子、または危険の有無を示す情報である。また、受信機はこれらの情報を送信機7006aから直接取得してもよい。
 図215は、実施の形態12における受信機と送信機7006aの処理動作の一例を示すフローチャートである。
 送信機7006aのIDと、IDを受信した受信機に渡す情報とを関連付けてサーバに記憶する(7106a)。受信機に渡す情報には、送信機7006aとなる発光部の大きさや、発光部間の距離や、送信機7006aを構成要素の一部とする物体の形状や、重量や、車体ナンバー等の識別番号や、受信機から観察しづらい場所の様子や危険の有無などの情報を含めても良い。
 送信機7006aは、IDを送信する(7106b)。送信内容には、前記サーバのURLや、前記サーバに記憶させるとした情報を含めても良い。
 受信機は、送信されたID等の情報を受信する(7106c)。受信機は、受信したIDに紐付いた情報をサーバから取得する(7106d)。受信機は、受信した情報やサーバから取得した情報を表示する(7106e)。
 受信機は、発光部の大きさ情報と撮像した発光部の見えの大きさから、または、発光部間の距離情報と撮像した発光部間の距離から三角測量の要領で、受信機と発光部との距離を計算する(7106f)。受信機は、受信機から観察しづらい場所の様子や危険の有無などの情報を基に、危険の警告などを行う(7106g)。
 図216は、実施の形態12における受信機と送信機の適用例を示す図である。
 例えば車の2つのテールランプ(発光部またはライト)を有する送信機(車)7007bは、送信機7007bの情報を例えば駐車場の送受信装置として構成される受信機7007aに送信する。送信機7007bの情報は、送信機7007bの識別情報(ID)、車のナンバー、車の大きさ、車の形状、または車の重さを示す。受信機7007aは、その情報を受信すると、駐車の可否、課金情報、または駐車位置を送信する。なお、受信機7007aは、IDを受信して、ID以外の情報をサーバから取得してもよい。
 図217は、実施の形態12における受信機7007aと送信機7007bの処理動作の一例を示すフローチャートである。なお、送信機7007bは、送信だけでなく受信も行なうとため、車載送信機と車載受信機とを備える。
 送信機7007bのIDと、IDを受信した受信機7007aに渡す情報とを関連付けてサーバ(駐車場管理サーバ)に記憶する(7107a)。受信機7007aに渡す情報には、送信機7007bを構成要素の一部とする物体の形状や、重量や、車体ナンバー等の識別番号や、送信機7007bのユーザの識別番号や支払いのための情報を含めても良い。
 送信機7007b(車載送信機)は、IDを送信する(7107b)。送信内容には、前記サーバのURLや、前記サーバに記憶させる情報を含めても良い。駐車場の受信機7007a(駐車場の送受信装置)は、受信した情報を、駐車場を管理するサーバ(駐車場管理サーバ)に送信する(7107c)。駐車場管理サーバは、送信機7007bのIDをキーに、IDに紐付けられた情報を取得する(7107d)。駐車場管理サーバは、駐車場の空き状況を調査する(7107e)。
 駐車場の受信機7007a(駐車場の送受信装置)は、駐車の可否や、駐車位置情報、または、これらの情報を保持するサーバのアドレスを送信する(7107f)。または、駐車場管理サーバは、これらの情報を別のサーバに送信する。送信機(車載受信機)7007bは、上記で送信された情報を受信する(7107g)。または、車載システムは、別のサーバからこれらの情報を取得する。
 駐車場管理サーバは、駐車を行いやすいように駐車場の制御を行う(7107h)。例えば、立体駐車場の制御を行う。駐車場の送受信装置は、IDを送信する(7107i)。車載受信機(送信機7007b)は、車載受信機のユーザ情報と受信したIDとを基に、駐車場管理サーバに問い合わせを行う(7107j)。
 駐車場管理サーバは、駐車時間等に応じて課金を行う(7107k)。駐車場管理サーバは、駐車された車両にアクセスしやすいように駐車場の制御を行う(7107m)。例えば、立体駐車場の制御を行う。車載受信機(送信機7007b)は、駐車位置への地図を表示し、現在地からのナビゲーションを行う(7107n)。
 図218は、実施の形態12における受信機と送信機の適用例を示す図である。
 例えば店舗の屋根看板または路上に置かれた看板として構成されるサイネージである送信機7008aまたは7008bは、送信機7008aまたは7008bの識別情報(ID)を例えばスマートフォンとして構成される受信機7008cに送信する。受信機7008cは、そのIDを受信すると、そのIDに対応付けられた情報をサーバから取得して表示する。その情報は、例えば、その店舗の空席状況、クーポンおよび2次元バーコードなどを示す画像である。
 図219は、実施の形態12における受信機7008cと送信機7008aまたは7008bの処理動作の一例を示すフローチャートである。なお、以下、送信機7008aおよび7008bのうち、送信機7008aを例にあげて説明するが、送信機7008bの処理動作も送信機7008aの処理動作と同じである。
 まず、送信機7008aのIDと、IDを受信した受信機7008cに渡す情報とを関連付けてサーバに記憶する(7108a)。受信機7008cに渡す情報には、店舗名や、商品名や、店舗への地図情報や、空席情報や、クーポン情報や、商品の在庫数や、映画や劇の上映時刻や、予約情報や、予約や購入を行うサーバのURLなどの情報を含んでも良い。
 サイネージなどの送信機7008aからIDを送信する(7108b)。受信機7008cのカメラを送信機7008aに向け、IDを受信する(7108c)。受信機7008cは受信したIDをサーバに送信し、IDに関連する情報を受信機7008cに記憶する(7108d)。受信機7008cは、端末IDやユーザIDを合わせてサーバへ保存する(7108e)。
 受信機7008cは、受信機7008cに表示するものとしてサーバに記憶されていた情報を表示する(7108f)。受信機7008cは、現在位置から店舗や商品売場までの道順を表示する(7108g)。受信機7008cは、適宜サーバから情報を取得し、空席情報や予約情報を更新して表示する(7108h)。
 受信機7008cは、座席や商品を予約、または、注文するボタンを表示する(7108i)。ユーザは、受信機7008cに表示された予約ボタンや注文ボタンをタップする(7108j)。受信機7008cは、予約や注文の情報を、これらを管理するサーバへ送信する(7108k)。
 図220は、実施の形態12における受信機と送信機の適用例を示す図である。
 例えばスマートフォンとして構成される受信機(端末)7009bは、例えば店舗の座席の前のテーブルに置かれる。このとき、例えば照明機器である送信機7009aは、送信機7009aの識別情報(ID)を受信機7009bに送信する。受信機7009bは、そのIDを受信すると、そのIDに対応付けられた情報をサーバから取得する。そして、受信機7009bは、その座席の予約、仮予約の確認、または予約時間の延長などを行なう。
 図221は、実施の形態12における受信機と送信機の適用例を示す図である。
 サーバから情報を取得した受信機7009bは、例えば、店舗の空席状況と、「お会計」、「延長」および「追加注文」の何れかを選択させるためのボタンとを表示する。
 図222は、実施の形態12における受信機7009bと送信機7009aの処理動作の一例を示すフローチャートである。
 送信機7009aのIDと、IDを受信した受信機7009bに渡す情報とを関連付けてサーバに記憶する(7109a)。受信機7009bに渡す情報には、送信機7009aの位置や形状の情報を含んでも良い。天井照明などの送信機7009aからIDを送信する(7109b)。
 ユーザは受信機7009bをテーブル等へ置く(7109c)。受信機7009bは、ジャイロセンサ、9軸センサの情報から受信機7009bがテーブル等に置かれたことを認識して受信処理を開始する(7109d)。受信機7009bは、9軸センサの上方から上方を向いているカメラを判断し、そのカメラを使用してIDを受信する。
 受信機7009bのカメラを送信機7009aに向け、IDを受信する(7109e)。受信機7009bは受信したIDをサーバに送信し、IDに関連する情報を受信機7009bに記憶する(7109f)。受信機7009bは、受信機7009bの位置を推定する(7109g)。
 受信機7009bは、受信機7009bの位置を店舗管理サーバへ送信する(7109h)。店舗管理サーバは、受信機7009bの置かれた座席を特定する(7109i)。店舗管理サーバは、座席番号を受信機7009bへ送信する(7109j)。
 図223は、実施の形態12における受信機と送信機の適用例を示す図である。
 例えば天井照明である送信機7011aは、送信機7011aの識別情報(ID)を例えばスマートフォンとして構成される受信機7011bに送信する。受信機7011bは、そのIDを受信すると、そのIDに対応付けられた情報をサーバから取得して自己位置を推定(確認)する。そして、その受信機7011bが電子機器7011cに置かれると、受信機7011bは電子機器7011cの操作端末として機能する。これにより、タッチパネルや音声出力などのリッチなインタフェースで電子機器7011cを操作することができる。
 図224は、実施の形態12における受信機7011bと送信機7011aの処理動作の一例を示すフローチャートである。
 電子機器の位置をサーバに記憶する(7110a)。電子機器のIDや、型式や、保有する機能や、操作のためのインタフェース情報(画面、入出力音声、対話モデル)を、位置情報に関連付けて記憶しても良い。
 送信機7011aのIDと、IDを受信した受信機7011bに渡す情報とを関連付けてサーバに記憶する(7110b)。受信機7011bに渡す情報には、送信機7011aの位置や形状の情報を含んでも良い。
 天井照明などの送信機7011aからIDを送信する(7110c)。受信機7011bのカメラを送信機7011aに向け、IDを受信する(7110d)。受信機7011bは受信したIDをサーバに送信し、IDに関連する情報を受信機7011bに記憶する(7110e)。受信機7011bは、受信機7011bの位置を推定する(7110f)。
 ユーザは受信機7011bを電子機器に置く(7110g)。受信機7011bは、ジャイロセンサ、9軸センサの情報から受信機7011bが静止したことを認識して以下の処理を開始する(7110h)。受信機7011bは、最後に受信機7011bの位置を推定してから一定時間以上経過している場合には、上記の方法で自己位置を推定する(7110i)。
 受信機7011bは、ジャイロセンサ、9軸センサの情報から、最後に自己位置推定を行なってからの移動を推定し、現在位置を推定する(7110j)。受信機7011bは、現在位置に最も近い電子機器の情報をサーバから取得する(7110k)。受信機7011bは、電子機器の情報を、bluetoothやwifiを介して電子機器から取得する(7110m)。または、サーバに保存された電子機器の情報を取得する。
 受信機7011bは、電子機器の情報を表示する(7110n)。受信機7011bは、電子機器の操作端末として入力を受け付ける(7110p)。受信機7011bは、電子機器の操作情報を、bluetoothやwifiを介して電子機器へ送信する(7110q)。または、サーバを介して電子機器へ送信する。
 図225は、実施の形態12における受信機と送信機の適用例を示す図である。
 例えばスマートフォンとして構成される受信機7012aのカメラが、テレビ受像機(TV)などの電子機器として構成される送信機7012bに向けられる。このとき、受信機7012aは、送信機7043bから送信される送信機7043bの識別情報(ID)を受信する。受信機7043aは、そのIDに対応付けられた情報をサーバから取得する。これにより、受信機7012aは、カメラが向けられた方向にある電子機器の操作端末として機能する。つまり、受信機7012aは、bluetoothやwifiなどによって送信機7012bと無線接続する。
 図226は、実施の形態12における受信機7012aと送信機7012bの処理動作の一例を示すフローチャートである。
 送信機7012bのIDと、IDを受信した受信機7012aに渡す情報とを関連付けてサーバに記憶する(7111a)。受信機7012aに渡す情報には、電子機器のIDや、型式や、保有する機能や、操作のためのインタフェース情報(画面、入出力音声、対話モデル)を含んでも良い。
 電子機器に搭載された、あるいは、電子機器に関連付けられた送信機7012bからIDを送信する(7111b)。受信機7012aのカメラを送信機7012bに向け、IDを受信する(7111c)。受信機7012aは受信したIDをサーバに送信し、IDに関連する情報を受信機7012aに記憶する(7111d)。受信機7012aは、受信したIDをキーに電子機器の情報をサーバから取得する(7111e)。
 受信機7012aは、電子機器の情報を、bluetoothやwifiを介して電子機器から取得する(7111f)。または、サーバに保存された電子機器の情報を取得する。受信機7012aは、電子機器の情報を表示する(7111g)。
 受信機7012aは、電子機器の操作端末として入力を受け付ける(7111h)。受信機7012aは、電子機器の操作情報を、bluetoothやwifiを介して電子機器へ送信する(7111i)。または、サーバを介して電子機器へ送信する。
 図227は、実施の形態12における受信機と送信機の適用例を示す図である。
 例えばスマートフォンとして構成される受信機7013bは、ユーザから入力される目的地を受け付ける。そして、この受信機7013bのカメラが、照明機器(明かり)として構成される送信機7013aに向けられる。このとき、受信機7013bは、送信機7013aから送信される送信機7013aの識別情報(ID)を受信する。受信機7013bは、そのIDに対応付けられた情報をサーバから取得する。その取得された情報に基づいて、受信機7013bは自己位置の推定(確認)を行なう。そして、受信機7013bは、音声などでユーザを目的地へナビゲートする。また、ユーザが視覚障害者の場合は、受信機7013bは障害物を詳細にユーザへ報告する。
 図228は、実施の形態12における受信機7013bと送信機7013aの処理動作の一例を示すフローチャートである。
 ユーザは、目的地を受信機7013bに入力する(7112a)。ユーザは、受信機7013bを明かり(送信機7013a)へ向ける(7112b)。視覚に障害があるユーザでも、強い明かりを認識可能であれば、受信機7013bをそちらへ向けることができる。
 受信機7013bは、明かりに重畳された信号を受信する(7112c)。受信機7013bは、受信した信号をキーにサーバから情報を取得する(7112d)。受信機7013bは、現在地から目的地までの地図をサーバから取得する(7112e)。受信機7013bは、地図を表示し、現在地から目的地までのナビゲーションを行う(7112f)。
 図229は、実施の形態12における受信機の状態を示す図である。
 例えばスマートフォンとして構成される受信機(端末)7014aは、フェイスカメラ7014bを備えている。そして、受信機7014aは、そのフェイスカメラ7014bの撮像方向が地平面に対して一定角度以上上に向いているときに、そのフェイスカメラ7014bによる信号受信の処理(送信機からの信号を撮像によって受信する処理)を行なう。また、受信機7014aは、フェイスカメラ7014b以外の他のカメラも備えている場合には、そのフェイスカメラ7014bの優先度を他のカメラよりも上げる。
 図230は、実施の形態12における受信機7014aの処理動作の一例を示すフローチャートである。
 フェイスカメラ7014bの撮像方向が地平面に対して一定角度以上上に向いているか判断する(7113a)。判断結果が真(Y)であれば、フェイスカメラ7014bによる受信を開始する(7113b)。または、フェイスカメラ7014bによる受信処理の優先度を上げる。そして、一定時間経過すると(7113c)、フェイスカメラ7014bによる受信を終了する(7113d)。または、フェイスカメラ7014bによる受信処理の優先度を下げる。
 図231は、実施の形態12における受信機の状態を示す図である。
 例えばスマートフォンとして構成される受信機(端末)7015aは、アウトカメラ7015bを備えている。そして、受信機7014aは、そのアウトカメラ7015bの撮像方向の地平面に対する角度が一定角度以下のときに、そのアウトカメラ7015bによる信号受信の処理(送信機からの信号を撮像によって受信する処理)を行なう。また、受信機7015aは、アウトカメラ7015b以外の他のカメラも備えている場合には、そのアウトカメラ7015bの優先度を他のカメラよりも上げる。
 なお、アウトカメラ7015bの撮像方向の地平面に対する角度が一定角度以下のときには、受信機7015aは縦にされている状態であって、受信機7015aにおけるアウトカメラ7015bが備えられた面の地平面に対する角度は一定角度以上になっている。
 図232は、実施の形態12における受信機7015aの処理動作の一例を示すフローチャートである。
 アウトカメラ7015bの撮像方向が地平面に対して一定角度以下であるかを判断する(7114a)。判断結果が真(Y)であれば、アウトカメラ7015bによる受信を開始する(7114b)。または、アウトカメラ7015bによる受信処理の優先度を上げる。そして、一定時間経過すると(7114c)、アウトカメラ7015bによる受信を終了する(7114d)。または、アウトカメラ7015bによる受信処理の優先度を下げる。
 図233は、実施の形態12における受信機の状態を示す図である。
 例えばスマートフォンとして構成される受信機(端末)7016aは、アウトカメラを備えている。そして、受信機7016aは、そのアウトカメラの撮像方向に移動された(突き出された)ときに、そのアウトカメラによる信号受信の処理(送信機からの信号を撮像によって受信する処理)を行なう。また、受信機7016aは、アウトカメラ以外の他のカメラも備えている場合には、そのアウトカメラの優先度を他のカメラよりも上げる。
 なお、アウトカメラの撮像方向に移動されたときには、移動方向と(移動終了時点での)撮像方向との間の角度が一定角度以下になっている。
 図234は、実施の形態12における受信機7016aの処理動作の一例を示すフローチャートである。
 受信機7016aが移動され、移動方向と、移動終了時点でのアウトカメラの撮像方向が一定角度以下であるかを判断する(7115a)。判断結果が真(Y)であれば、アウトカメラによる受信を開始する(7115b)。または、アウトカメラによる受信処理の優先度を上げる。そして、一定時間経過すると(7115c)、アウトカメラによる受信を終了する(7115d)。または、アウトカメラによる受信処理の優先度を下げる。
 図235は、実施の形態12における受信機の状態を示す図である。
 例えばスマートフォンとして構成される受信機(端末)7017aは、所定のカメラを備えている。そして、受信機7017aは、所定のカメラに対応するディスプレイ操作または専用ボタンの押下が行なわれたときに、その所定のカメラによる信号受信の処理(送信機からの信号を撮像によって受信する処理)を行なう。また、受信機7017aは、所定のカメラ以外の他のカメラも備えている場合には、その所定のカメラの優先度を他のカメラよりも上げる。
 図236は、実施の形態12における受信機7017aの処理動作の一例を示すフローチャートである。
 受信機7017aに対してディスプレイ操作または専用ボタンの押下が行なわれたかを判断する(7115h)。判断結果が真(Y)であれば、ディスプレイ操作または専用ボタンの押下に対応するカメラによる受信を開始する(7115i)。または、そのカメラによる受信処理の優先度を上げる。そして、一定時間経過すると(7115j)、ディスプレイ操作または専用ボタンの押下に対応するカメラによる受信を終了する(7115k)。または、そのカメラによる受信処理の優先度を下げる。
 図237は、実施の形態12における受信機の状態を示す図である。
 例えばスマートフォンとして構成される受信機(端末)7018aは、フェイスカメラ7018bを備えている。そして、受信機7018aは、そのフェイスカメラ7018bの撮像方向が地平面に対して一定角度以上上に向き、且つ地平面に対して一定角度以下にある方向に沿って受信機7014aが移動しているときに、そのフェイスカメラ7018bによる信号受信の処理(送信機からの信号を撮像によって受信する処理)を行なう。また、受信機7018aは、フェイスカメラ7018b以外の他のカメラも備えている場合には、そのフェイスカメラ7018bの優先度を他のカメラよりも上げる。
 図238は、実施の形態12における受信機7018aの処理動作の一例を示すフローチャートである。
 フェイスカメラ7018bの撮像方向が地平面に対して一定角度以上上に向けられており、地平面に対して一定角度以下で平行移動されているかを判断する(7116a)。判断結果が真(Y)であれば、フェイスカメラ7018bによる受信を開始する(7116b)。または、フェイスカメラ7018bによる受信処理の優先度を上げる。そして、一定時間経過すると(7116c)、フェイスカメラ7018bによる受信を終了する(7116d)。または、フェイスカメラ7018bによる受信処理の優先度を下げる。
 図239は、実施の形態12における受信機と送信機の適用例を示す図である。
 例えばスマートフォンとして構成される受信機7019bのカメラが、テレビ受像機(TV)などの電子機器として構成される送信機7019aに向けられる。このとき、受信機7019bは、送信機7019a(送信機7019aのディスプレイ)から送信される、視聴中のチャンネルの識別情報(ID)を受信する。受信機7019bは、そのIDに対応付けられた情報をサーバから取得する。これにより、受信機7019bは、テレビ番組の関連商品の購入ページ、またはテレビ番組の関連情報を表示する。また、受信機7019bは、投票、またはプレゼントに応募することによってテレビ番組に参加する。なお、送信機(TV)7019aは、ユーザの住所を記憶している住所記憶部を備え、その住所記憶部に記憶された住所に関連する情報を送信してもよい。受信機7019bは、受信したIDと、IDを受信した時刻とをサーバに送ることで、ID受信からサーバアクセスまでの遅延の影響を除いてサーバからデータを取得できる。送信機7019aは、時刻情報、または、時刻によって変化するIDを、内蔵時計または放送波から取得して送信してもよい。これにより、受信機の時刻設定に依らず、放送者の設定したデータをサーバから受信機へ送ることができる。
 図240は、実施の形態12における受信機と送信機の適用例を示す図である。
 送信機7019aおよび受信機7019bは、図240の(a)に示すように、図239に示す適用例を実現するために必要な情報を直接送受信してもよい。
 また、図240の(b)に示すように、送信機7019aは、視聴中のチャンネルのIDを受信機7019bに送信する。受信機7019bは、そのIDに対応付けられた情報、つまり、図239に示す適用例を実現するために必要な情報をサーバから取得する。
 また、図240の(c)に示すように、送信機7019aは、送信機(TV)7019aのIDまたは無線接続に必要な情報を受信機7019bに送信してもよい。この場合、受信機7019bは、そのIDまたは情報を受信し、そのIDまたは情報に基づいて、送信機7019aまたはレコーダに対して、視聴中のチャンネルを問い合わせる。さらに、受信機7019bは、問い合わせによって得られたチャンネルに関する情報、つまり、図239に示す適用例を実現するために必要な情報をサーバから取得する。
 例えば、送信機7019aは、Wi-FiまたはBluetooth(登録商標)などの無線接続に必要な情報として、SSID(Service Set Identifier)、パスワード、IPアドレスまたは機器IDなどを送信する。このような情報を受信した受信機7019bは、その情報に基づいて送信機7019aと無線接続を行う。そして、受信機7019bは、無線接続によって、ユーザに視聴されている番組の情報を送信機7019aから取得し、その番組の情報をサーバに送信する。サーバは、その番組の情報を受信すると、その番組の情報に関連付けて保持しているコンテンツを受信機7019bに送信する。受信機7019bは、サーバから送信されたコンテンツを取得すると、このコンテンツを表示する。
 図241は、実施の形態12における受信機と送信機の適用例を示す図である。
 送信機7019aは、TV2021bとレコーダ2021aを備えていてもよい。この送信機7019aでは、レコーダ2021aが、録画時に、録画するチャンネルの識別情報(ID)や録画時刻を保持する。または、レコーダ2021aが、録画するチャンネルの識別情報(ID)や録画時刻に対応付けられた情報をサーバから取得し保持する。そして、再生時には、TV2021bは、そのレコーダ2021aに保存されている情報の一部または全部を受信機7019bに送信する。また、TV2021bとレコーダ2021aの少なくとも一方はサーバの役割を行なってもよい。レコーダ2021aがサーバの役割を行なうときには、レコーダ2021aは、サーバのアドレスをレコーダ2021aのアドレスに置き換え、そのアドレスをTV202bから受信機7019bへ送信させる。
 図242は、実施の形態12における受信機と送信機の適用例を示す図である。
 例えばスマートフォンとして構成される受信機7022cのカメラが、テレビ受像機(TV)などの電子機器として構成される送信機7022bに向けられる。このとき、受信機7022cは、送信機7022b(送信機7022bのディスプレイ)から送信される情報を受信する。受信機7022cは、その情報に基づいて送信機7022bと無線通信を行なう。ここで、送信機7022bは、受信機7022cに表示させる画像などを含む情報をサーバ7022aから取得して受信機7022cに送信する際、その情報に含まれるサーバ7022aのアドレスを、送信機7022bのアドレスに書き換える。
 図243は、実施の形態12における受信機と送信機の適用例を示す図である。
 例えばレコーダ7023bは、テレビ番組の録画時には、図239に示す適用例を実現するために必要な情報をサーバ7023aからまとめて取得する。
 テレビ番組の再生時には、レコーダ7023bは、再生画面と、図239に示す適用例を実現するために必要な情報とを送信機であるテレビ7023cに送信する。テレビ7023cは、その再生画面と情報を受信して、再生画像を表示するとともに、その情報をディスプレイから送信する。例えばスマートフォンとして構成される受信機7023dは、その情報を受信すると、その情報に基づいてテレビ7023cと無線通信を行なう。
 または、テレビ番組の再生時には、レコーダ7023bは、再生画面と、レコーダ7023bのアドレスなどの、無線通信を行なうために必要な情報とを送信機であるテレビ7023cに送信する。テレビ7023cは、その再生画面と情報を受信して、再生画像を表示するとともに、その情報をディスプレイから送信する。例えばスマートフォンとして構成される受信機7023dは、その情報を受信すると、その情報に基づいてレコーダ7023bと無線通信を行なう。
 図244は、実施の形態12における受信機と送信機の適用例を示す図である。
 例えばスマートフォンとして構成される受信機7045aのカメラが、テレビ受像機(TV)などの電子機器として構成される送信機7045bに向けられる。送信機7045bは、歌番組などのテレビ番組の映像を表示するとともに、ディスプレイから情報を送信している。このとき、受信機7045aは、送信機7045b(送信機7045bのディスプレイ)から送信される情報を受信する。そして、受信機7045aは、その情報に基づいて、その歌番組で視聴されている曲の購入を促す画面7045cを表示する。
 図245は、実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。なお、このフローチャートは、図239~図244に示す適用例に対応するものである。
 テレビや録画機などに搭載された送信機は、サーバから、放映中の番組に関連する情報として、受信機に伝えたい情報を取得する(7117a)。送信機は、ディスプレイのバックライトに信号を重畳して送信する(7117b)。送信する信号には、送信機のURLや、送信機のSSIDや、送信機にアクセスするためのパスワードを含めても良い。
 図246は、実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。なお、このフローチャートは、図239~図244に示す適用例に対応するものである。
 受信機は、ディスプレイから情報を受信する(7118a)。受信した情報に視聴中のチャンネル情報が含まれているかを判断する(7118b)。その判断結果が偽(N)であれば、受信した情報に含まれるIDを持つ電子機器から、視聴中のチャンネル情報を取得する(7118c)。
 一方、上記判断結果が真(Y)であれば、サーバから、視聴中の画面に関連した情報を取得する(7118d)。テレビや録画機がサーバの役割を果たしても良い。受信機は、サーバから取得した情報を表示する(7118e)。受信機は、受信機やサーバに保存されたユーザプロファイルに基いて、表示内容を調整する(7118f)。例えば、文字の大きさを変更したり、年齢制限コンテンツを非表示としたり、過去のユーザの行動から好まれると推定されたコンテンツを優先的に表示したりといった制御を行う。
 図247は、実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。なお、このフローチャートは、図239~図244に示す適用例に対応するものである。
 録画機は、番組録画と同時に、サーバから番組に関連する情報を取得して保存する(7119a)。関連する情報が時刻によって変化する場合は、その時刻も合わせて保存する。
 録画機は、録画した画像を再生する際に、前記保存した情報をディスプレイに送信する(7119b)。前記保存した情報の中の前記サーバのアクセス情報(URLやパスワード)をディスプレイのアクセス情報に置き換えても良い。
 録画機は、録画した画像を再生する際に、前記保存した情報を受信機に送信する(7119c)。前記保存した情報の中の前記サーバのアクセス情報(URLやパスワード)を録画機のアクセス情報に置き換えても良い。
 図248は、実施の形態12における送信機の輝度変化を示す図である。
 送信機は、輝度が急に上がるときから次に輝度が急に上がるときまでの間の時間の長さを符号(0または1)ごとに異ならせることによって、受信機に送信される情報を符号化する。これにより、送信される情報の内容を変えずに、PWM(Pulse Width Modulation)制御によって、人間が感じる明るさの調節を行なうことができる。なお、輝度の波形は正確な矩形波でなくてもよい。
 図249は、実施の形態12における受信機の処理動作の一例を示すフローチャートである。なお、このフローチャートは、図248に示す輝度変化を伴う送信機に対応する受信機の処理動作を示す。
 受信機は、送信機の発する光の輝度を観測する(7120a)。前に輝度が急激に上がってから、次に輝度が急激に上がるまでの時間を計測する(7120b)。あるいは、前に輝度が急激に下がってから、次に輝度が急激に下がるまでの時間を計測する。上記時間によって信号の値を認識する(7120c)。例えば、上記時間が300マイクロ秒以下のとき0、以上の時1と認識する。
 図250は、実施の形態12における送信機の輝度変化を示す図である。
 送信機は、輝度の増減を示す波長を変化させることにより、受信機に送信される情報の開始点を表現する。または、送信機は、その波長を変化させることにより、1つの情報に別の情報を重畳する。
 図251は、実施の形態12における受信機の処理動作の一例を示すフローチャートである。なお、このフローチャートは、図250に示す輝度変化を伴う送信機に対応する受信機の処理動作を示す。
 受信機は、送信機の発する光の輝度を観測する(7121a)。輝度が急激に変化する間の時間幅の最低値を求める(7121b)。上記最低値の整数倍ではない輝度変化幅を探す(7121c)。前記整数倍ではない輝度変化幅を信号の開始点として信号を解析する(7121d)。前記整数倍ではない輝度変化幅を持つ部分間の時間幅を求める(7121e)。
 図252は、実施の形態12における送信機の輝度変化を示す図である。
 送信機は、受信機の露光時間よりも短い間隔で輝度を変化させることにより、人間の目に見える明るさを調整することができる。また、時間経過に伴って蓄積された輝度変化をリセットすることができる。
 図253は、実施の形態12における送信機の処理動作の一例を示すフローチャートである。なお、このフローチャートは、図252に示す輝度変化を伴う送信機に対応する受信機の処理動作を示す。
 輝度、または、輝度を制御する電流が、一定値を下回ったとき、受信機の露光時間より十分短い時間幅で電流のオフオンを行う(S7125a)。これにより、電流を初期値に戻し、発光部の輝度が下がるのを防ぐことができる。また、輝度、または、輝度を制御する電流が、一定値を上回ったとき、受信機の露光時間より十分短い時間幅で電流のオンオフを行う(S7125b)。これにより、電流を初期値に戻し、発光部の輝度が上がるのを防ぐことができる。
 図254は、実施の形態12における送信機の輝度変化を示す図である。
 送信機は、輝度のキャリア周波数を異ならせることによって、異なる信号(情報)を表現する。受信機は信号内容よりもキャリア周波数を早い時点で認識することができる。したがって、キャリア周波数を異ならせることは、送信機のIDなど、優先的に認識すべき内容を表現するのに適している。
 図255は、実施の形態12における受信機の処理動作の一例を示すフローチャートである。なお、このフローチャートは、図254に示す輝度変化を伴う送信機に対応する受信機の処理動作を示す。
 受信機は、送信機の発する光の輝度を観測する(7122a)。輝度が急激に変化する間の時間幅の最低値を求める(7122b)。上記最低値をキャリア周波数として認識する(7122c)。キャリア周波数をキーとして、サーバから情報を取得する(7122d)。
 図256は、実施の形態12における受信機の処理動作の一例を示すフローチャートである。なお、このフローチャートは、図254に示す輝度変化を伴う送信機に対応する受信機の処理動作を示す。
 受信機は、送信機の発する光の輝度を観測する(7123a)。輝度変化をフーリエ変換し、最大成分をキャリア周波数として認識する(7123b)。キャリア周波数をキーとして、サーバから情報を取得する(7123c)。
 図257は、実施の形態12における送信機の処理動作の一例を示すフローチャートである。なお、このフローチャートは、図254に示す輝度変化を伴う送信機の処理動作を示す。
 送信信号を輝度変化として表現する(7124a)。輝度変化をフーリエ変換した最大成分をキャリア周波数となるような輝度変化を作成する(7124b)。作成した輝度変化の通りに発光部を発光させる(7124c)。
 図258は、実施の形態12における送信機の構成例を示す図である。
 送信機7028aは、信号Aを送信する部分7028bと、信号Bを送信する部分7028dと、信号Cを送信する部分7028fとを有する。このように、受信機の撮像部(カメラ)が同時に露光する方向に沿って、互いに異なる信号を送信する部分があることによって、受信機は同時に複数の信号を受信することができる。なお、それぞれの部分7028b、7028d、7028fの間には、信号を発しない部分、または特別な信号を発する緩衝部分7028c,7028eを設けてもよい。
 図259は、実施の形態12における送信機の構成例を示す図である。なお、この送信機の構成による発光の方式は、図258に示す構成による発光の方式を発展させたものである。
 送信機には、図258に示す各信号を送信する部分7029aをそれぞれ図259に示すように配置してもよい。これにより、受信機を傾けた場合にも、受信機の撮像部(カメラ)は、信号A、BおよびCの多くの部分を同時に受信(撮像)することができる。
 図260は、実施の形態12における送信機の構成例を示す図である。なお、この送信機の構成による発光の方式は、図258に示す構成による発光の方式を発展させたものである。
 送信機の円形の発光部は、同心円状に配列された、各信号を送信する複数の円環状の部分7030a,7030b,7030cを備える。部分7030aは信号Cを送信し、部分7030bは信号Bを送信し、部分7030cは信号Aを送信する。このように、送信機の発光部が円形の場合には、上述のように各信号を送信する部分を配列することで、受信機は、各部分から発せられる信号A、BおよびCの多くの部分を同時に受信(撮像)することができる。
 図261は、実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。なお、このフローチャートは、図258~図260の何れかに示す発光装置を備えた送信機と受信機の処理動作を示す。
 受信機は、同時に受光するラインのそれぞれの位置の輝度を計測する(7126a)。同時受光ラインと垂直方向に、別々に送信された信号を受信することで、高速に信号を受信する(7126b)。
 図262は、実施の形態12における受信機と送信機による表示と撮影の例を示す図である。
 送信機は、受信機の受像部(カメラ)が同時に露光する方向と垂直な方向に一様な画像として構成される複数の1次元バーコードを、それぞれフレーム1(7031a)、フレーム2(7031b)およびフレーム3(7031c)として順に表示する。なお、1次元バーコードは、上記同時に露光する方向と垂直な方向に沿う線(バー)からなる。受信機は、送信機に表示される画像を、上記各実施の形態のように撮像することによって、フレーム1(7031d)およびフレーム2(7031e)を取得する。受信機は,1次元バーコードのバーが途切れている部分で1次元バーコードを分割することで、連続的に表示された1次元バーコードを順に認識することができる。この場合、送信機による表示と受信機による撮像のタイミングを同期させる必要はなく、受信機は送信機で表示された内容を全て認識することができる。また、送信機による表示のフレームレートは、受信機による撮像のフレームレートより速くても良い。ただし,送信機による表示の1フレームの表示時間が、受信機によって撮像されるフレーム間のブランキング時間より長い必要がある。
 図263は、実施の形態12における送信機の処理動作の一例を示すフローチャートである。なお、このフローチャートは、図262に示す表示を行なう送信機が備える表示装置の処理動作を示す。
 表示装置は、1次元バーコードを表示する(7127a)。表示装置は、受信機の撮像のブランキング時間より長い間隔で、バーコード表示を変化させる(7127b)。
 図264は、実施の形態12における受信機の処理動作の一例を示すフローチャートである。なお、このフローチャートは、図262に示す撮影を行なう受信機の処理動作を示す。
 受信機は、表示装置に表示された1次元バーコードを撮影する(7128a)。バーコードのラインが途切れたところで、表示装置が次のバーコードを表示したと認識する(7128b)。この方法により、表示と撮像の同期を行わなくとも全ての表示内容を受信機が受信することができる。また、受信機の撮像フレームレートよりも速いフレームレートで表示された信号も受信可能となる。
 図265は、実施の形態12における受信機と送信機の適用例を示す図である。
 例えば照明機器である送信機7032aは、送信機7032aの暗号化された識別情報(ID)を送信する。例えばスマートフォンとして構成される受信機7032bは、その暗号化されたIDを受信すると、その暗号化されたIDをサーバ7032cに送信する。サーバ7032cはその暗号化されたIDを受信すると、その暗号化されたIDを復号する。または、受信機7032bは、その暗号化されたIDを受信すると、その暗号化されたIDを復号してサーバ7032cに送信する。
 図266は、実施の形態12における受信機7032bと送信機7032aの処理動作の一例を示すフローチャートである。
 送信機7032aは、一部または全部が暗号化された情報を保持する(7129a)。受信機7032bは、送信機7032aから送信されたその情報を受信し、受信した情報を復号する(7129b)。または、受信機7032bは、暗号化されたままの情報をサーバ7032cへ送信する。暗号化されたままの情報が送信された場合、サーバ7032cは、その暗号化されたままの情報を復号する(7129c)。
 図267は、実施の形態12における受信機の状態を示す図である。
 ユーザは、電話するために、例えばスマートフォンとして構成される受信機7033aを耳に当てる。このとき、受信機7033aのスピーカ付近に備えられた照度センサは、低い照度を示す照度値を検出する。その結果、受信機7033aは、受信機7033aの状態を通話中と推定し、送信機からの情報の受信を停止する。
 図268は、実施の形態12における受信機7033aの処理動作の一例を示すフローチャートである。
 受信機7033aは、照度センサのセンサ値などから、通話中と推定されるか判断する(7130a)。その判断結果が真(Y)の場合、受信機7033aは、フェイスカメラによる受信を終了する(7130b)。または、受信機7033aは、フェイスカメラによる受信処理の優先度を下げる。
 図269は、実施の形態12における受信機の状態を示す図である。
 例えばスマートフォンとして構成される受信機7034aは、送信機からの情報を受信(撮像)するための撮像装置であるカメラ(例えばフェイスカメラ)付近に照度センサ7034bを備えている。この照度センサ7034bによって、一定値以下の低い照度を示す照度値が検出されると、受信機7034aは、送信機からの情報の受信を中止する。または、受信機7034aが他のカメラを備えている場合には、その照度センサ7034b付近のカメラ(例えばフェイスカメラ)の優先度を他のカメラよりも下げる。
 図270は、実施の形態12における受信機7034a処理動作の一例を示すフローチャートである。
 受信機7034aは、照度センサ7034bのセンサ値が一定値以下か判断する(7131a)。その判断結果が真(Y)の場合、受信機7034aは、フェイスカメラによる受信を終了する(7131b)。または、受信機7034aは、フェイスカメラによる受信処理の優先度を下げる。
 図271は、実施の形態12における受信機の処理動作の一例を示すフローチャートである。
 受信機は、照度センサのセンサ値から、照度変化を計測する(7132a)。撮像装置(カメラ)で輝度変化を計測して信号を受信したように、受信機は、照度値の変化から信号を受信する(7132b)。撮像装置よりも照度センサのほうが安価であるため、受信機を安価に製造可能である。
 図272は、実施の形態12における送信機の波長の一例を示す図である。
 送信機は、図272の(a)および(b)に示すように、メタメリックな光7037a,7037bを出力することによって、受信機に送信する情報を表現する。
 図273は、実施の形態12における受信機と送信機の処理動作の一例を示すフローチャートである。なお、このフローチャートは、図272に示す波長の光を出力する送信機と受信機の処理動作を示す。
 送信機は、人間には等色と認識されるが分光分布の異なる光(メタメリックな光)で異なる信号を表現し、発光部を発光させる(7135a)。受信機は、分光分布を計測し、信号を受信する(7135b)。この方式によれば、チラツキを気にすることなく信号を送信することが可能となる。
 図274は、実施の形態12における受信機と送信機を含むシステムの構成例を示す図である。
 このシステムは、ID解決サーバ7038a、中継サーバ7038b、受信機7038c、送信機7038dおよび送信機側制御装置7038eを備えている。
 図275は、実施の形態12におけるシステムの処理動作の一例を示すフローチャートである。
 ID解決サーバ7038aは、送信機7038dのIDと、送信機側制御装置7038eと受信機7038cが通信する方法を関連付けて記憶する(7136a)。受信機7038cは、送信機7038dのIDを受信し、送信機側制御装置7038eとの通信方法をID解決サーバ7038aから取得する(7136b)。受信機7038cは、受信機7038cと送信機側制御装置7038eが直接通信可能か判断する(7136c)。その判断結果が偽(N)の場合、受信機7038cは、中継サーバ7038bを介して送信機側制御装置7038eと通信する(7136d)。一方、その判断結果が真(Y)の場合、受信機7038cは、送信機側制御装置7038eと直接通信する(7136e)。
 図276は、実施の形態12における受信機と送信機を含むシステムの構成例を示す図である。
 このシステムは、サーバ7039g、店舗側機器7039aおよび携帯機器7039bを備えている。店舗側機器7039aは送信機7039cと撮像部7039dとを備える。携帯機器7039bは受信機7039eと表示部7039fとを備える。
 図277は、実施の形態12におけるシステムの処理動作の一例を示すフローチャートである。
 携帯機器7039bは、表示部7039fに2次元バーコード等の形で情報を表示する(7137a)。店舗側機器7039aは、表示部7039fに表示された内容を撮像部7039dで撮像し、情報を取得する(7137b)。店舗側機器7039aは、何らかの情報を送信機7039cから送信する(7137c)。
 携帯機器7039bは、送信された情報を受信機7039eで受信する(7137d)。携帯機器7039bは、受信した情報を基に、表示部7039fの表示内容を変化させる(7137e)。表示部7039fに表示する内容は、携帯機器7039bが決定しても良いし、受信した内容を基にサーバ7039gが決定しても良い。
 店舗側機器7039aは、表示部7039fに表示された内容を撮像部7039dで撮像し、情報を取得する(7137f)。店舗側機器7039aは、取得した情報と、送信した情報との整合性を判断する(7137g)。この判断は、店舗側機器7039aが行なっても良いし、サーバ7039gが行なっても良い。整合している場合、正常に取引が完了する(7137h)。
 この方法により、表示部7039fに表示するクーポン情報をコピーし、不正に使用することを防ぐことができる。また、この方法で暗号鍵交換を行うことも可能である。
 図278は、実施の形態12における受信機の処理動作の一例を示すフローチャートである。
 受信機は、受信処理を開始する(7138a)。受信機は、撮像装置の露光時間を設定する(7138b)。受信機は、撮像装置のゲインを設定する(7138c)。受信機は、撮像画像の輝度から情報を受信する(7138d)。
 図279は、実施の形態12における受信機の処理動作の一例を示すフローチャートである。
 露光時間を設定する(7139a)。露光時間を変化させるAPI(Application Program Interface)が存在するか判断する(7139b)。その判断結果が偽(N)の場合、光源など輝度が高い物体に撮像装置を向ける(7139c)。自動露光設定を行う(7139d)。自動露光設定値の変化が十分小さくなれば露光設定値を固定する(7139e)。
 一方、上記判断結果が真(Y)の場合、APIを利用して露光時間の設定を開始する(7139f)。
 図280は、実施の形態12における受信機と送信機を含むシステムの構成例を示す図である。
 このシステムは、サーバ7036a、受信機7036b、および、少なくとも1つの送信機7036cを備える。受信機7036bは、受信機7036bの付近に存在する少なくとも1つの送信機7036cに関する情報をサーバから取得する。
 図281は、実施の形態12における受信機の処理動作の一例を示すフローチャートである。
 受信機7036bは、GPSや基地局などの情報から、自己位置推定を行う(7133a)。受信機7036bは、推定した自己位置と、推定誤差範囲をサーバ7036aに送信する(7133b)。受信機7036bは、受信機7036bの位置付近に存在する送信機7036cのIDと、そのIDに関連付けられた情報をサーバ7036aから取得し、記憶する(7133c)。受信機7036bは、送信機7036cからIDを受信する(7133d)。
 受信機7036bは、受信したIDに関連付けられた情報を記憶しているか判断する(7133e)。その判断結果が偽(N)の場合、受信機7036bは、受信したIDをキーにサーバ7036aから情報を取得する(7133f)。受信機7036bは、サーバ7036aから受信した情報と、送信機7036bcの位置関係とから自己位置推定を行い、付近の他の送信機7036cのIDと、そのIDに関連付けられた情報をサーバ7036aから取得し、記憶する(7133g)。
 上記ステップ7133eで真(Y)と判断された後、または、上記ステップ7133gが行なわれた後には、受信機7036bは、受信したIDに関連付けられた情報を表示する(7133h)。
 図282は、実施の形態12における受信機と送信機の適用例を示す図である。
 建造物a(7040a)には、例えば照明機器として構成される送信機7040cおよび7040dが配設され、建造物b(7040b)には、例えば照明機器として構成される送信機7040eおよび7040fが配設されている。送信機7040cおよび7040eは信号Aを送信し、送信機7040dおよび7040fは信号Bを送信する。例えばスマートフォンとして構成される受信機(端末)7040gは、何れかの送信機から送信される信号を受信する。
 図283は、実施の形態12における受信機の処理動作の一例を示すフローチャートである。
 受信機7040gは、建造物に入ったことを検出する(7134a)。受信機7040gは、推定した自己位置と、推定誤差範囲と、受信機7040gが存在すると推定する建造物の名称等とをサーバに送信する(7134b)。受信機7040gは、受信機7040gが存在する建造物中に存在する送信機のIDと、そのIDに関連付けられた情報をサーバから取得し、記憶する(7134c)。受信機7040gは、送信機からIDを受信する(7134d)。
 受信機7040gは、受信したIDに関連付けられた情報を記憶しているか判断する(7134e)。その判断結果が偽(N)の場合、受信機7040gは、受信したIDをキーにサーバから情報を取得する(7134f)。受信機7040gは、IDを受信した送信機が存在する建造物と同一の建造物内に存在する他の送信機のIDと、そのIDに関連付けられた情報をサーバから取得し、記憶する(7134g)。
 上記ステップ7134eで真(Y)と判断された後、または、ステップS7134gが行なわれた後には、受信機7040gは、受信したIDに関連付けられた情報を表示する(7134h)。
 図284は、実施の形態12における受信機と送信機を含むシステムの構成例を示す図である。
 例えば照明機器として構成される送信機7041aは信号Aを送信し、送信機7041bは信号Bを送信し、送信機7041cは信号Cを送信し、送信機7041dは信号Bを送信する。例えばスマートフォンとして構成される受信機(端末)7041eは、何れかの送信機から送信される信号を受信する。ここで、GPSや基地局などの情報(他手段)に基づいて推定される受信機7041eの自己位置の誤差範囲には、送信機7041a,7041b,7041cがある。
 図285は、実施の形態12におけるシステムの処理動作の一例を示すフローチャートである。
 受信機7041eは、送信機からIDを受信する(7140a)。受信機7041eは、自己位置推定を行う(7140b)。受信機7041eは自己位置推定に成功したか判断する(7140c)。その判断結果が偽(N)の場合、受信機7041eは、地図や入力フォームを表示し、ユーザに現在位置を入力させる(7140d)。
 受信機7041eは、受信したIDと、推定した自己位置と、自己位置推定の誤差範囲とをサーバに送信する(7140e)。
 サーバは、受信機7041eの推定自己位置から推定誤差範囲(推定誤差半径)以内に、受信機7041eが受信したIDを送信する送信機がひとつだけ存在するか判断する(7140f)。その判断結果が偽(N)の場合、受信機7041eはステップ7140dからの処理を繰り返し実行する。一方、その判断結果が真(Y)の場合には、サーバは、その送信機に関連付けられた情報を受信機7041eに送信する(7140g)。
 図286は、実施の形態12における受信機の処理動作の一例を示すフローチャートである。
 まず、受信機は、信号を発している発光装置(送信機)を検出し(7141a)、信号を受信する(7141b)。そして、受信機は、受信状況、受信済みデータ量、送信データ量、送信データ量に対する受信済みデータ量の割合を表示する(7141c)。
 次に、受信機は、送信データを全て受信したかどうかを確認する(7141d)。受信したことを確認した場合(7141dのY)、受信機は、受信処理を中止し(7141e)、受信完了の表示を行う(7141f)。さらに、受信機は通知音を鳴らし(7141g)、バイブレーションを行なう(7141h)。
 ステップ7141dで、受信していないことを確認した場合(7141dのN)、受信機は、受信機の撮像装置(カメラ)によって得られる映像において送信機がフレームアウトしてから一定時間経過したかどうかを確認する(7141i)。ここで、一定時間経過したことを確認した場合(7141iのY)、受信機は、受信済データを破棄して受信処理を停止する(7141m)。さらに、受信機は、通知音を鳴らし(7141n)、バイブレーションを行なう(7141p)。
 ステップ7141iで、一定時間経過していないことを確認した場合(7141iのN)、受信機は、受信機の9軸センサによって得られるセンサ値が一定値以上の大きさで変化したか、または、受信機を別方向へ向けたと推定できるかどうかを確認する(7141j)。ここで、一定値以上の大きさで変化した、または、別方向へ向けたと推定できることを確認すると(7141iのY)、上述のステップ7141m以降の処理を行なう。
 一方、一定値以上の大きさで変化していない、または、別方向へ向けたと推定できないことを確認すると(7141iのN)、受信機は、受信機の9軸センサのセンサ値が一定のリズムで変化したか、または、受信機がシェイクされていると推定できるかどうかを確認する(7141k)。ここで、一定のリズムで変化した、または、シェイクされていると推定できることを確認すると、受信機は、上述のステップ7141m以降の処理を行なう。一方、一定のリズムで変化していない、または、シェイクされていると推定できないことを確認すると(7141kのN)、受信機は、ステップ7141bからの処理を繰り返し実行する。
 図287Aは、実施の形態12における送信機の構成の一例を示す図である。
 送信機7046aは、発光部7046bと2次元バーコード7046cとNFCチップ7046dとを備える。発光部7046bは、2次元バーコード7046cおよびNFCチップ7046dの少なくとも一方と共通の情報を、上記各実施の形態の方法で送信する。または、発光部7046bは、2次元バーコード7046cおよびNFCチップ7046dの少なくとも一方と異なる情報を、上記各実施の形態の方法で送信してもよい。この場合、受信機は、発光部7046bから送信される情報の内容をキーとして、2次元バーコード7046cおよびNFCチップ7046dの少なくとも一方と共通の情報をサーバから取得してもよい。また、受信機は、発光部7046bから情報を受信する場合と、2次元バーコード7046cおよびNFCチップ7046dの少なくとも一方から情報を受信する場合とで、共通の処理を行なってもよい。上述のどちらの場合でも、受信機は、共通のサーバにアクセスして共通の情報を表示する。
 図287Bは、実施の形態12における送信機の構成の他の例を示す図である。
 送信機7046eは、発光部7046fを備え、その発光部7046fに2次元バーコード7046gを表示させる。つまり、この発光部7046fは、図287Aに示す発光部7046bおよび2次元バーコード7046cのそれぞれの機能を兼ね備える。
 ここで、発光部7046b,7046fは、発光部7046b,7046fの大きさを示す情報を送信することで、受信機から送信機7046a,7046eまでの距離を受信機に推定させてもよい。これにより、受信機は2次元バーコード7046c,7046gをより簡単に、または鮮明に撮影することができる。
 図288は、実施の形態12における受信機と送信機7046a,7046eの処理動作の一例を示すフローチャートである。なお、以下、送信機7046aおよび送信機7046eのうち、送信機7046aを例にあげて説明するが、送信機7046eの処理動作も送信機7046aの処理動作と同じである。
 送信機7046aは、発光部7046bの大きさを示す情報を送信する(ステップ7142a)。なお、発光部7046bにおける任意の2点間の距離の最大値を、発光部7046bの大きさとする。なお、この一連の処理は速度が重要であるため、送信機7046aは、送信機7046aの発光部7046bの大きさを示す情報を直接送信し、受信機はサーバ通信を介さずに、この大きさを示す情報を取得することが望ましい。また、送信機7046aの明暗変化の周波数など、素早く受信できる方法で送信することが望ましい。
 次に、受信機は、上述の情報である信号を受信し、送信機7046aの発光部7046bの大きさを取得する(ステップ7142b)。そして、受信機は、発光部7046bの大きさと、撮像された発光部7046bの画像の大きさと、受信機の撮像部(カメラ)の特性とに基づいて、受信機から発光部7046bまでの距離を計算する(ステップ7142c)。次に、受信機は、計算した距離に撮像部の焦点距離をあわせて撮影する(ステップ7142d)。受信機は、2次元バーコードを撮影した場合はその内容を取得する(ステップ7142e)。
 (実施の形態13)
 本実施の形態では、上記実施の形態1~12におけるスマートフォンなどの受信機と、LEDや有機ELの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
 図289は、実施の形態13における受信機と送信機に関する処理動作の一例を示すフローチャートである。
 ステップ7201aで、送信機は、特定の周波数の音、または、特定のパターンで変化する音を発する(この周波数は、例えば2kHzから20kHzなど、人間には聞き取りづらく、一般的な集音器で集音可能な周波数の音であることが望ましい。また、一般的な集音器はサンプリング周波数が44.1kHz程度であるため、サンプリング定理により、その半分の周波数までしか正確には認識できないが、送信信号がわかっていれば、その信号を集音しているかどうかを高精度で推定することは可能である。そこで、この性質を利用して、20kHz以上の周波数の信号を利用しても良い。)。
 ステップ7201bで、ユーザは、受信機のボタンを押し、電源OFF状態やスリープ状態から電源オン状態にする。ステップ7201cで、受信機は、集音部を起動する。ステップ7201dで、受信機は、送信機の発する音を集音する。ステップ7201eで、受信機は、近辺に送信機が存在することを、画面に表示したり、音を鳴らしたり、バイブレーションさせることで、ユーザに通知する。ステップ7201fで、受信機は、受信を開始して、終了する。
 図290は、実施の形態13における受信機と送信機に関する処理動作の一例を示すフローチャートである。
 ステップ7202aで、ユーザは、受信機のボタンを押し、電源OFF状態やスリープ状態から電源オン状態にする。ステップ7202bで、受信機は、照度センサを起動する。ステップ7202cで、受信機は、照度センサから、照度の変化を認識する。ステップ7202dで、受信機は、照度センサから、送信信号を受信する。ステップ7202eで、受信機は、近辺に送信機が存在することを、画面に表示したり、音を鳴らしたり、バイブレーションさせることで、ユーザに通知する。ステップ7202fで、受信機は、受信を開始して、終了する。
 図291は、実施の形態13における受信機と送信機に関する処理動作の一例を示すフローチャートである。
 ステップ7203aで、ユーザが、受信機を操作して、受信を開始させる。または、何らかのトリガで受信機が自動的に受信を開始する。ステップ7203bで、画面全体の平均輝度、または、輝度最大点の輝度が、明るい撮像部を優先的に受信させて、終了する。
 図292は、実施の形態13における受信機と送信機に関する処理動作の一例を示すフローチャートである。
 ステップ7204aで、撮像部は、同時撮像ラインまたは画素中に送信機が写っていない同時撮像ラインまたは画素の撮像は行わないことで、送信機が写っている同時撮像ラインまたは画素を高速に撮影する。ステップ7204bで、受信機は、ジャイロや9軸センサで受信機の動きや手振れを検出し、電子補正によって、常に送信機が映るように調整して、終了する。
 図293は、実施の形態13における受信機と送信機に関する処理動作の一例を示すフローチャートである。
 ステップ7205aで、受信機は、2次元バーコードAを表示する。ステップ7205bで、送信機は、2次元バーコードAを読み取る。ステップ7205cで、送信機は、表示変更命令を送信する。ステップ7205dで、受信機は、2次元バーコードBを表示する。ステップ7205eで、送信機は、2次元バーコードBを読み取り、終了する。
 図294は、実施の形態13における送信機の適用例を示す図である。
 送信機7211aは、送信機であることを示すマーク7211bを備える。人間は、送信信号と通常の光を区別することはできないが、これにより、7211aが送信機であることを認識することができる。同様に、送信機7211cは、送信機であることを示すマーク7211dを備える。同様に、送信機7211eは、信号を送信している間のみ、送信機であることを示すマーク7211fを表示する。
 図295は、実施の形態13における送信機の適用例を示す図である。
 テレビなどの送信機7212aは、バックライトや画面7212bの輝度を変化させて、信号を送信する。テレビなどの送信機7212cは、画面以外の部分、例えばベゼル7212dやロゴマークなどの輝度を変化させて信号を送信する。
 図296は、実施の形態13における送信機の適用例を示す図である。
 テレビなどの送信機7213aは、画面7213bに、緊急ニュースや字幕やオンスクリーンディスプレイ7213cを表示する際に、信号を送信する。また、7213cは、暗い色の文字に明るい色の背景とし、画面の横方向に大きく表示することで、受信機が信号を受信しやすくすることができる。
 図297は、実施の形態13における送信機と受信機の適用例を示す図である。
 ユーザが、受信機またはテレビなどのリモコン7214aの操作を行ったときに、7214aから送信機7214bに開始信号を送信し、送信機7214bは、開始信号を受け取った後の一定時間信号を送信する。送信機7214bは、送信中であることを示す表示7214cを表示する。これにより、テレビ本来の表示が暗い場合でも、受信機が信号を受信しやすくなる。表示7214cは、明るい部分が多く、横に広いほど、受信機が信号を受信しやすくなる。
 なお、送信機7214bは、テレビの映像を表示する領域とは別に、信号送信のための領域7214cを備えても良い。なお、送信機7214bは、ユーザの動きやリモコン7214aの動きをカメラ7214dやマイク7214eで認識し、信号送信を開始しても良い。
 図298は、実施の形態13における送信機と受信機の適用例を示す図である。
 送信機7215a、7215bは、送信機のID番号を送信する。送信機のIDは、完全にユニークなものであっても良いし、地域内や建物内や部屋内でユニークなIDであっても良い。後者の場合は、数10m以内に同一IDが存在しないようにすることが望ましい。受信機7215cは、受信したIDをサーバ7215dへ送信する。サーバへは、GPSなどの位置センサで認識した7215cの位置情報や、7215cの端末IDやユーザIDやセッションIDなどを同時に送信するとしても良い。
 データベース7215eは、送信機が送信するIDと関連付けて、別のIDや、送信機の位置情報(緯度、経度、高度、部屋番号)や、送信機の型番や形や大きさや、文字や画像や映像や音楽などのコンテンツや、受信機に実行させる命令やプログラムや、他のサーバのURLや、送信機の所有者情報や、IDの登録日や有効期限などを保持する。
 サーバ7215dは、受信したIDに関連付けられた情報をデータベースから読み出し、受信機7215cに送信する。受信機7215cは、受信した情報を表示したり、受信した情報をもとに別のサーバにアクセスしたり、受信した命令を実行したりといった処理を行う。
 図299は、実施の形態13における送信機と受信機の適用例を示す図である。
 図298の場合と同様に、送信機7216a,7216bは、送信機のID1を送信する。受信機7216cは、 受信したID1をサーバA7216dへ送信する。サーバAは、ID1に関連付けられた、ID2と別のサーバBにアクセスするための情報(URLやパスワードなど)を送信する。受信機7216cは、ID2をサーバB7216fへ送信する。サーバB7216fは、ID2に関連付けられた情報を受信機7216cへ送信したり、ID2に関連付けられた処理を行う。
 図300は、実施の形態13における送信機と受信機の適用例を示す図である。
 図298の場合と同様に、送信機7217a,7217bは、送信機のID1を送信する。受信機7217cは、受信したID1をサーバA7217dへ送信する。サーバAは、ID1に関連付けられた情報と、ランダムに生成した鍵情報をサーバBに送信する。鍵情報は、サーバBが生成し、サーバAに送信するとしても良い。サーバAは、受信機に、鍵情報と、サーバBへアクセスするための情報(URLやパスワードなど)を送信する。受信機7217cは、鍵情報をサーバB7217fへ送信する。サーバB7217fは、ID2に関連付けられた情報を受信機7217cへ送信し、ID2に関連付けられた処理を行う。
 図301Aは、実施の形態13における送信信号の例を示す図である。
 信号は、ヘッダ部7218a、データ部7218b、パディング部7218c、End of Data部7218eで構成される。信号は、同じデータを1/15秒間繰り返して送信する。これにより、信号の1部だけ受信した場合でも、信号を復号することができる。受信機は、受信した信号からヘッダ部を抽出し、2つのヘッダ部の間の部分をデータ部としてデータを復号する。1フレームのデータ部を短くすれば、受信機の撮像部に送信機が小さく写っている場合でも復号が可能になり、データ部を長くすれば、通信速度を速くすることができる。同じデータが1/15秒繰り返されることで、1秒間に30フレーム撮影する受信機では、ブランキングがあっても確実にデータ部の信号を撮像することができる。また、隣接するどちらかのフレームでは同じ信号を受信するため、受信結果の確認に用いることができる。また、他のアプリケーションの動作によって連続しないフレームの処理がされなかった場合や、1秒間に15フレームしか撮影できない受信機であっても、信号を受信することができる。また、ヘッダ部に近いほどデータを受信しやすいため、ヘッダ部に近い部分に重要度の高いデータを配置するとしても良い。
 図301Bは、実施の形態13における送信信号の他の例を示す図である。
 信号は、図301Aの例と同様に、ヘッダ部7218a、データ部7218b、パディング部7218c、End of Data部7218eで構成される。信号は、同じデータを1/30秒間繰り返して送信する。これにより、信号の1部だけ受信した場合でも、信号を復号することができる。データ部を短くすれば、受信機の撮像部に送信機が小さく写っている場合でも復号が可能になり、データ部を長くすれば、通信速度を速くすることができる。同じデータが1/30秒繰り返されることで、1秒間に30フレーム撮影する受信機では、ブランキングがあっても確実にデータ部の信号を撮像することができる。また、隣接するどちらかのフレームでは同じ信号を受信するため、受信結果の確認に用いることができる。また、ヘッダ部に近いほどデータを受信しやすいため、ヘッダ部に近い部分に重要度の高いデータを配置するとしても良い。
 図302は、実施の形態13における送信信号の例を示す図である。
 2ビットの信号を5ビットの信号に変調する7219aの変調方式は、2ビットの信号を4ビットの信号に変調する2200.2aなどの変調方式よりも変調効率が劣るが、データ部分と同じ形式でヘッダパターンを表現できるため、異なる形式のヘッダパターンを挿入するよりもちらつきを抑えることができる。End of Dataは、データ部にヘッダを用いることで表現しても良い。
 図303Aは、実施の形態13における送信信号の例を示す図である。
 信号は、データ部7220a、バッファ部7220b、End of Data部7220dで構成される。バッファ部はなくても良い。信号は、同じデータを1/15秒間繰り返して送信する。発光周波数によって信号を伝送するFM変調などを用いる場合は、7218aのようなヘッダは不要となる。
 図303Bは、実施の形態13における送信信号の他の例を示す図である。
 信号は、図303Aの例と同様に、データ部7220a、バッファ部7220b、End of Data部7220dで構成される。バッファ部はなくても良い。信号は、同じデータを1/30秒間繰り返して送信する。発光周波数によって信号を伝送するFM変調などを用いる場合は、7218aのようなヘッダは不要となる。
 図304は、実施の形態13における送信信号の例を示す図である。
 周波数によって信号を割り当てる。受信機は信号の周期から周波数を求めるため、周波数を等間隔に信号に割り当てるよりも、周波数の逆数や対数が等間隔になるように信号を割り当てるほうが、受信エラーを低減できる。受信機の撮像部で、データ1とデータ2を送信している光を一つの画面内に撮像した場合は、露光ラインに垂直な方向に輝度値をフーリエ変換すると、データ1とデータ2の周波数に、一つのデータを送信している光を撮像した場合よりも弱いピークが現れる。
 この方法によれば、一つの画面内に複数の周波数で順次送信している光を撮像した場合でも、送信周波数を解析することができ、1/15秒や、1/30秒より短い時間で送信信号の周波数を変更しても、受信することができる。
 送信信号の順序を認識するためには、1画面よりも短い範囲でフーリエ変換を行えば良い。また、撮像した画面を連結して、1画面より長い範囲でフーリエ変換を行なっても良い。この場合は、撮像のブランキング時間の輝度値は不明として扱うと良い。
 図305Aおよび図305Bは、実施の形態13における送信信号の例を示す図である。
 送信信号の周波数が200Hz以下である場合、人間には点滅して感じられるが、それ以上の周波数であれば、連続して光っているように感じられる。カメラでは、500Hz(条件によっては1kHz)程度までの周波数では点滅が撮影される。そのため、信号周波数(搬送波の周波数)は1kHz以上であることが望ましい。カメラにちらつきが撮影されることによる影響が低い場合は、信号周波数は200Hz以上としても良い。照明装置の高調波ノイズは20kHz以上でおおきくなるため、これを避ける場合は、信号周波数は20kHz以下とすれば良い。また、500Hzから3kHzの範囲では、コイルの振動による音が発生するため、信号周波数を3kHz以上とするか、コイルを固定化するなどの対策を行う必要がある。信号周波数を1kHz(1ミリ秒周期)としたとき、非同期でこの信号を認識するためには、撮像装置の露光時間を半分の0.5ミリ秒(=1/2000秒)以下とする必要がある。信号の変調方式に周波数変調を用いる場合は、サンプリング定理により、同様に、撮像装置の露光時間は信号周期の半分以下とする必要がある。ただし、図304のように、周波数そのもので値を表現する変調方式の場合は、複数の時点での信号の値から周波数を推定できるため、撮像装置の露光時間は信号周期の4倍程度以下で良い。
 図306は、実施の形態13における送信機の適用例を示す図である。
 照明などの送信機7223aは、IDを送信する。パソコンなどの受信機7223bはIDを受信し、サーバ7223dへIDとファイル7223eを送信する。サーバ7223dは、ファイル7223eとIDを関連付けて記憶し、同一のIDを送信してきたパソコンに対して、ファイルへのアクセス許可を行う。この際、読み取りのみの許可や、読み書きの許可など、IDによって複数のアクセスコントロールを行なっても良い。パソコンなどの受信機7223cはIDを受信し、サーバ7223dへIDを送信し、サーバ上のファイル7223eへアクセスする。サーバ7223dは、ファイルへ最後にアクセスがあってから一定時間経過した場合や、パソコン7223bが異なるIDを送信してきた場合に、ファイルを削除、または、アクセスコントロールを初期化する。なお、パソコン7223bまたはパソコン7223cがIDを送信するとしても良い。
 図307は、実施の形態13における送信機の適用例を示す図である。
 送信機7224bは、自身のID情報をサーバ7224dに登録する。受信機7224aは、クーポンや入場チケットや会員情報やプリペイド情報を画面に表示する。送信機7224bは、IDを送信する。受信機7224aは、IDを受信し、受信したIDと、ユーザIDと、端末IDと、画面に表示している情報をサーバ7224dへ送信する。サーバ7224dは、受信機7224aが表示している内容が有効であることを確認し、その結果を表示装置7224cへ送信する。なお、サーバ7224dが時間によって変化する鍵情報を送信機7224bへ送信し、送信機7224bはその鍵情報を送信しても良い。なお、サーバ7224dは、送信機7224bや表示装置7224cと同一の装置として実装しても良い。受信機7224aは、クーポンや入場チケットや会員情報やプリペイド情報を2次元バーコードなどの形式で画面に表示し、それを読み取る方式では、画面をコピーした画像を表示することで容易に偽装できるが、この方式を用いることで、画面をコピーすることによる偽装を防ぐことができる。
 図308~図310は、実施の形態13における撮像素子を説明するための図である。
 図308は、本発明の撮像素子800の前面図を示す。前の実施の形態の図を用いて説明したように、本発明の光通信速度を向上させるためには、図310のように、光信号発生部830をトラッキングさせながら、その領域の830aの走査ライン、例えば、n=4~n=7の間のラインのデータのみを垂直アクセス手段802に走査ライン選択信号を送り、反復スキャンし、取得すれば、図310の下段の図のように連続的に本発明の光信号を取り出すことができる。具体的には4、5、6、7 そしてブランク期間、4、5、6、7 ブランク期間との連続的な信号が得られる。現在の撮像素子の工程ではこのブランキングは2μs以下に収めることができる。2μs以下にすれば、30fpsで1フレーム33ms、1000ラインで33μs/ラインであるので、データをほぼ連続的にデータを復調できる。
 本発明では、ローリングシャッター方式の撮像素子(イメージセンサ)において、まずシャッタ速度を速くして、本発明のラインを表示させた後、信号を得るが、この後、光源の画像830はカメラの撮影者の手振れにより、上下左右に移動する。するとラインn=4~7の中から画像830が一部でてしまう。信号が途切れてエラーが発生する。このため、まず、手振れ補正検出補正手段832を用いて補正すると画像830が固定される。もしくは/かつ、画像830の位置のラインNoを検出する手段834を用いて、画像830のライン番号nを特定し、ライン選択部835により、垂直アクセス手段を制御して、所望のラインn(例えば、n=7~10)に変更すれば、画像830が得られ、連続的な信号が得られるため、エラーの少ないデータとなり、高速データ受信が可能となる。
 図308に戻り、撮像素子800を説明すると、水平の画素はa~kまであり、水平アクセス手段801により、アクセス可能となっている。垂直方向の画素は、n=1からn=12まで12列あり、803a~803nまで列毎に読み出され、読み出し時にラインメモリ805に読み出されて、出力部808から出力される。
 図309の示すように、本発明では、まず、通常撮影モードでは、(a)に示すように順次読み出されていく。通常のフレームとフレームの間には、ブランク期間821が設けてあり、この間に色等の映像信号に関する様々な調整作業が行なわれる。
 撮像素子により異なるが、5%~20%の時間帯は信号の信号を得ることができない。本発明特有の受信パターンが得られないため、ステップ820cにおいてデータ信号受信モードになった場合、まずシャッタ速度を高速にして、ゲインを上げてデータを受信する。Yesの場合、前記の色や明るさや感度などの映像撮影作業の一部を中止することにより、ブランク期間821を短縮したブランク期間821aとする。このことにより、調整作業を省略する短縮により、現在の工程で2μs以下にブランク期間821aを下げることができるため、入力信号のバーストエラーを大巾に少なくすることができるため、伝送速度を大きく上げることができる。
 次に、図310のように画像の一部しか映像830が撮影されない時、n=4~8以外のラインの情報が得られないため、大きなバーストエラーとなり、受信効率が低下し、伝送量が大巾に低下する。
 図310の画像位置検出手段834により画像830の位置と大きさを検出し、画像が小さい場合は、ステップ820dで高速読みとりモードに切り替えて、画像830を撮影しているライン(n=4~7)のみをスキャンする。(c)のようにライン信号803d、803e、803f、803gが何回も繰り返し読みとられ、本発明特有のパターンがシームレスに読みとられる。このため、バーストエラーの殆んどない連続的なデータ受信となり、大巾なデータレートの向上が可能となる。
 具体的には現在の撮像素子で搬送波を4.8KHzとすると2400bps程度の伝送レートが得られる。将来的には撮像素子の高速化に伴ない、数十kbpsの伝送レートが得られる。
 なお、ステップ820eでデータの読みとりが完了すると、シャッタ速度を低速化させ、ブランク期間を長くして(a)の通常撮影モードに戻る。
 上記のブランク期間の短縮と特定ラインの繰り返し読み出しにより、同期信号やアドレスの読み出しが確実になり、本発明のパターン伝送方式の伝送速度を大巾に上げることができる。
 (変形例)
 ここで、上記各実施の形態についての変形例または補足について説明する。
 図311Aは、受信装置(撮像装置)の処理動作を示すフローチャートである。なお、この図311Aは、図71の処理動作よりも詳細な処理動作を示す。
 ここで、受信機の撮像部は、すべての受光素子を同時に露光させる方式(グローバルシャッター方式)ではなく、時間差をおいて受光素子の一部分ずつを順次露光させる方式(ローリングシャッター方式、フォーカルプレーンシャッター方式)を用いる。なお、本発明の解説で用いる「露光」とは、物理的なシャッターによって撮像素子に光があたる時間を制御する露光方式と、電子シャッターによって特定の時間内の撮像素子の出力のみを取り出す露光方式とを含む。
 まず、ステップ7340aで、撮像モードがグローバルシャッターモードである場合は、ローリングシャッターモードに変更する。次にステップ7340bでは、5ミリ秒以上の時間幅の移動平均輝度が変化せず、5ミリ秒以下の領域では輝度を変化させている被写体を写した時に輝線が撮影されるように、シャッター速度を設定する。
 ステップ7340cで、前記輝線の明るい部分と暗い部分の差が大きくなるように受光素子の感度を設定する。次にステップ7340dでは、撮像モードをマクロ撮像モードにする。または、送信機に焦点を合わせるよりも焦点距離を短く設定する。これにより、送信機がぼやけて大きく撮像されることで、輝線が撮像される露光ラインを増やすことができる。
 ステップ7340eで、露光ラインに垂直な方向に、輝線の輝度の変化を観察する。次にステップ7340fでは、前記輝度が他の場所よりも急に高くなっている箇所の間隔、あるいは、急に低くなっている箇所の間隔を求め、この間隔から送信信号を読み取る。または、輝度変化の周期を求め、その周期から送信信号を読み取る。
 図311Bは、通常撮像モードにより得られる画像と、マクロ撮像モードにより得られる画像とを対比して示す図である。この図311Bに示すように、発光する被写体をマクロ撮像モードで撮像することによって得られる画像7307bは、同じ被写体を通常撮像モードで撮像することによって得られる画像7307aよりも、明るい領域を多く含む。その結果、マクロ撮像モードでは、その被写体に対して輝線を生成することが可能な露光ラインの数を増やすことができる。
 図312は、映像などを表示する表示装置を示す図である。
 例えば液晶ディスプレイなどを備える表示装置7300aは、映像領域7300bに映像を表示し、情報表示領域7300cに各種情報を表示する。そして、表示装置7300aは、送信機(送信装置)として構成され、バックライトの輝度を変化させることで信号を送信する。
 図313は、表示装置7300aの処理動作の一例を示す図である。
 まず、ステップ7350aで、信号送信モードにする。次にステップ7350bでは、情報表示領域7300cのバックライトの輝度を変化させることで信号を送信する。
 図314は、表示装置7300aにおける信号を送信する部分の例を示す図である。
 表示装置7300aは、バックライトがオンになっている部分(7301d,7301f,7301g,7301i)の輝度を変化させることで信号を送信し、他の部分(7301c,7301e,7301h,7301j)からは信号を送信しない。
 図315は、表示装置7300aの処理動作の他の例を示す図である。
 まず、ステップ7351aで、信号送信モードにする。次にステップ7351bでは、動解像度の向上のために、画面切り替え時にバックライトをオフにする場合は、バックライトがオンになっている部分のみで信号を送信する。そして、ステップ7351cで、画面の全ての部分のバックライトがオフになっている間は、信号を送信しない。
 図316は、表示装置7300aにおける信号を送信する部分の他の例を示す図である。
 表示装置7300aは、各部分(7302b、7302e、7302g、7202j)の動解像度向上のためのバックライト制御をオフにして、これらの部分から信号を送信する。一方、表示装置7300aは、他の各部分(7302c,7302d,7302h,7301i)の動解像度向上のためのバックライト制御をオンにする。
 図317は、表示装置による処理動作のさらに他の例を示す図である。
 まず、ステップ7352aで、信号送信モードにする。次にステップ7352bでは、画面の一部(7302b、7302e、7302g、7202j)の動解像度向上のためのバックライト制御をオフにし、その部分から信号を送信する。
 そして、ステップ7352cで、信号を送信している部分の明るさと信号を送信していない部分のバックライトの平均輝度が同等となるように、バックライトの平均輝度を調整する。この調整は、信号送信時のバックライトの明滅時間の比の調整によって行なっても良いし、バックライトの最大輝度の調整によって行なっても良い。
 図318は、送信機および受信機を含む通信システムの構成を示す図である。
 この通信システムは、送信機7303a,7303bと、制御装置7303cと、ネットワーク7303dと、ID管理サーバ7303eと、無線アクセスポイント7303fと、受信機7303g,7303hとを備える。
 図319は、図318の通信システムの処理動作を示すフローチャートである。
 まず、ステップ7353aで、ID管理サーバ7303eに、送信機のIDと、無線アクセスポイント7303fの情報(SSID、パスワード、無線アクセスポイントのID、無線周波数、アクセスポイントの位置情報、接続可能な位置情報など)と、制御装置7303cの情報(IPアドレスなど)とを関連付けて記憶させる。次にステップ7353bで、送信機7303aまたは7303bは、送信機7303aまたは7303bのIDを送信する。なお、送信機7303aまたは7303bは、さらに、無線アクセスポイント7303fの情報と制御装置7303cの情報を送信しても良い。そして、ステップ7353cで、受信機7303gまたは7303hは、送信機7303aまたは7303bのIDを受信し、無線アクセスポイント7303fの情報と制御装置7303cの情報をID管理サーバ7303eから取得する。あるいは、受信機7303gまたは7303hは、送信機7303aまたは7303bのIDと無線アクセスポイント7303fの情報を受信する。
 次にステップ7353dで、送信機7303aまたは7303bは、無線アクセスポイント7303fに接続する。そして、ステップ7353eで、送信機7303aまたは7303bは、ネットワーク上のID管理サーバ7303eのアドレスと、そのID管理サーバ7303eへの命令と、送信機7303aまたは7303bのIDを、制御装置7303cへ送信する。
 さらに、ステップ7353fで、制御装置7303cは、受付IDを受信機7303gまたは7303hへ送信する。次にステップ7353gで、制御装置7303cは、ネットワーク上のID管理サーバ7303eへの命令を行い、レスポンスを得る。このとき、制御装置7303cは、プロキシサーバとして動作する。
 さらに、ステップ7353hで、制御装置7303cは、前記レスポンスと前記受付IDとを、送信機IDの示す送信機7303aまたは7303bから送信する。この送信は、受信機7303gまたは7303hから受信完了通知が送られるまで、または、一定時間が経過するまで繰り返しても良い。
 次にステップ7353iで、受信機7303gまたは7303hは、前記レスポンスを受信する。さらに、ステップ7353jで、受信機7303gまたは7303hは、前記受付IDを制御装置7303cへ送信し、受信完了を通知する。
 そして、ステップ7353kで、なお、受信機7303gまたは7303hは、送信機7303aまたは7303bの信号が受信できない位置にいる場合には、無線アクセスポイント7303fを経由してレスポンスを返すように制御装置7303cに通知しても良い。
 図320は、上記各実施の形態における信号伝送の変形例を示す図である。
 本発明の受信方式では、受信機の撮像部に送信機の発光部が大きく撮像されるほど信号伝送効率が高いため、小さな電球や高い天井に備え付けられた照明を送信機の発光部とすると信号伝送効率が悪い。そこで、送信機7313aの照明光を、壁や、天井や、床や、照明の傘などに当て、その反射光7313bを受信機7313cで撮像することで、信号伝送の効率を高めることができる。
 図321は、上記各実施の形態における信号伝送の変形例を示す図である。
 送信機7314dは展示品7314aに送信信号を含んだ照明光を投影し、その反射光7314bを受信機7314cで撮像することで、信号伝送を行う。
 図322は、上記各実施の形態における信号伝送の変形例を示す図である。
 送信機7315aが送信した信号を、照度センサを備えた受信機7315bで受信する。受信機7315bは、撮像素子ではなく照度センサを用いて信号を受信するため、消費電力が低く、常時信号を受信することに適しており、軽量で、安価に製造可能である。
 受信機7315bは、眼鏡や、イヤリングや、髪飾りや、腕時計や、補聴器や、ネックレスや、杖や、手押し車や、ショッピングカートの一部として構成される。受信機7315bは、受信した信号に従って、映像表示や、音声再生や、振動を行う。また、受信機7315bは、受信した信号を携帯情報端末7315cに無線または有線伝送路を通じて送信する。
 図323Aは、上記各実施の形態における信号伝送の変形例を示す図である。
 プロジェクタ7316aは投影光を送信信号として信号を送信する。受信機7316cは、スクリーン7316bからの反射光を撮像して信号を受信する。受信機7316cは、プロジェクタ7316aが投影しているコンテンツとその付帯情報を画面7316dに表示する。画面7316dに表示するコンテンツは、送信信号として伝送されても良いし、送信信号に含まれるIDをもとにサーバ7316eから取得しても良い。
 図323Bは、上記各実施の形態における信号伝送の変形例を示す図である。
 受信機7317bは送信機7317aから送信された信号を受信する。受信機7317bは、受信機7317bに登録されているイヤホンまたは補聴器7317cへ音声を送信する。受信機7317bに登録されたユーザプロファイルに視覚障碍が含まれている場合には、受信機7317bは、視覚障碍者用の解説音声をイヤホン7317cに送信する。
 図323Cは、上記各実施の形態における信号伝送の変形例を示す図である。
 送信機7318a、7318bから送信された信号を、受信機7318cで受信する。受信機7318cは、照度センサを用いて信号を受信するとしても良い。受信機7318cは、指向性の高い照度センサを備えることで、送信機がある方向を精度よく推定できる。また、受信機7318cは、複数の照度センサを備えることで、送信信号を受信できる範囲を広くすることができる。受信機7318cは、受信した信号をイヤホン7318dや、ヘッドマウントディスプレイ7318eへ送信する。
 図323Dは、ディスプレイまたはプロジェクタと受信機とを含む通信システムの処理動作を示すフローチャートである。なお、このフローチャートは、図323A~図323Cに示す信号伝送の例に対応する処理動作を示す。
 まず、ステップ7357aで、送信機のIDと、表示内容IDと、ディスプレイやプロジェクタに表示するコンテンツとを関連付けて、ID管理サーバに記録する。次にステップ7357bで、送信機は、ディスプレイやプロジェクタにコンテンツを表示するとともに、ディスプレイのバックライトやプロジェクタの投影光をもちいて信号を送信する。送信信号は、送信機のIDや、表示内容IDや、表示内容が格納されているURLや、表示内容そのものを含んでも良い。
 さらに、ステップ7357cで、受信機は、前記送信信号を受信する。そして、ステップ7357dで、受信機は、受信した信号をもとに、送信機がディスプレイやプロジェクタに表示しているコンテンツを取得する。
 次に、ステップ7357eで、受信機にユーザプロファイルが設定されている場合は、そのプロファイルに適したコンテンツを取得する。例えば、聴力が悪いというプロファイルが設定されている場合は字幕データや手元再生用の音声コンテンツを取得し、視力が悪いというプロファイルが設定されている場合は、音声解説用のコンテンツを取得する。
 さらに、ステップ7357fで、受信機は、取得した画像コンテンツを受信機のディスプレイに表示させ、取得した音声コンテンツを受信機のスピーカやイヤフォンや補聴器から再生させる。
 図324は、実施の形態12における送信信号の例を示す図である。なお。この図324は、図250の送信信号を詳細に説明したものである。
 送信信号を図27~87、302などの方法で符号化した場合、受信機は、輝度値が急に高くなる点7308c、7308d、7308eを検出すれば、送信信号を復号できる。このとき、送信信号7308aと7308bは等価であり、同一の信号を表現することになる。
 そのため、送信信号7308aと7308bのように、輝度を下げる時間を調節することで、平均輝度を変化させることができる。送信機の輝度を変化させる必要がある場合には、このように平均輝度を調節することで、送信信号の内容に変化を加えることなく輝度の調節を行うことができる。
 図325は、実施の形態3における送信信号の例を示す図である。なお、この図325は、図34の送信信号を詳細に説明したものである。
 送信信号7309aや7309bは、7309d程度の長さの平均輝度をとると、送信信号7309cと等価とみなすことができる。送信信号7309aや7309bのように、他の受信機では観察できない時間幅で輝度を変化させることで、別の信号を重畳することができる。
 図326は、実施の形態3における送信信号の他の例を示す図である。なお、この図326は、図34の送信信号を詳細に説明したものである。
 送信信号7310aに、他の受信機では観察できない時間幅での輝度変化を加えて7310cとすることで、別の信号を重畳する。送信信号7310aで輝度が下がった区間で信号が重畳できない場合には、高速変調部分に7310eのようなスタート信号とエンド信号を加えることで、高速変調信号を断続的に送信することができる。
 図327Aは、上記各実施の形態における受信機の撮像素子の一例を示す図である。
 多くの撮像素子は、7311aのような配置になっているため、オプティカルブラックを撮像している間は送信機を撮像することはできない。しかし、撮像素子の配置を7311bのようにすることで、送信機をより長い時間撮像することができる。
 図327Bは、上記各実施の形態における受信機の撮像装置の内部回路の構成例を示す図である。
 撮像装置7319aは、グローバルシャッターモードとローリングシャッターモードを切り替えるシャッターモード変更部7319bを備える。受信機は、受信を開始するときに、シャッターモードをローリングシャッターモードに変更し、受信終了時に、シャッターモードをグローバルシャッターモードに変更する、または、受信開始前の設定に戻す。
 図327Cは、上記各実施の形態における送信信号の例を示す図である。
 カメラにちらつきが映らない周波数として、搬送波を1kHzとする場合、1スロットが1ミリ秒となる(7320a)。このとき、図28の変調方式(4PPM変調)では、1シンボル(4スロット)の平均が75%となる(7320b)。4ミリ秒間の移動平均の値域は、75%±変調度/4となる。変調度は小さいほうがちらつきは小さくなる。1シンボルを1周期として考えた場合は、人間がちらつきを感じない周波数として200Hz以上とする場合は、搬送波は800Hz以上となり、カメラにちらつきが映らない周波数として1kHz以上とする場合は、搬送波は4kHz以上となる。
 同様に、搬送波が1kHzのとき、図302の変調方式(5PPM変調)では、1シンボル(5スロット)の平均が80%となる(7320c)。5ミリ秒間の移動平均の値域は、80%±変調度/5となる。変調度は小さいほうがちらつきは小さくなる。1シンボルを1周期として考えた場合は、人間がちらつきを感じない周波数として200Hz以上とする場合は、搬送波は1kHz以上となり、カメラにちらつきが映らない周波数として1kHz以上とする場合は、搬送波は5kHz以上となる。
 図327Dは、上記各実施の形態における送信信号の例である。
 ヘッダパターンは、データを表すパターンと異なっており、かつ、ちらつきをなくすためにはデータを表すパターンと平均輝度が等しくなければならない。2200.2aの変調方式のデータパターンと平均輝度が等しくなるパターンとしては、7321b、7321c、7321d、7321eなどのパターンがある。輝度値を段階的に制御可能な場合は、7321bが望ましい。7321eのように、受信機の撮像装置の露光時間に比べて輝度の変化が十分速い場合には、受信機には7321bのように観察される。7219aの変調方式では、ヘッダパターンを含んだ形で変調方式を定めている。
 図328Aは、受信機の撮像モードを説明するための図である。
 受信機は、通常撮像モードでは、イメージセンサに含まれる全ての露光ライン(撮像ライン)を用いて撮像を行うことによって画像7304aを取得する。例えば、全ての露光ラインは3000個である。そして、受信機は、その撮像によって、時刻t1~t4の間に1枚の画像を取得し、さらに、時刻t5~t8の間に1枚の画像を取得する。
 ここで、画像の一部にのみ送信機である被写体が映っている場合には、受信機はその被写体からの信号を受け取れないことがある。例えば、1001番目~2000番目の露光ラインだけが被写体を捉えて、他の露光ラインが被写体を捉えない場合には、1001番目~2000番目の露光ラインが露光していないとき、すなわち、1番目~1000番目の露光ラインが露光しているとき(時刻t1~t2,t5~t6)と、2001番目~3000番目の露光ラインが露光しているとき(時刻t3~t4,t7~t8)には、その被写体からの信号を受け取ることができない。
 そこで、受信機は、撮像モードが通常撮像モードから特別撮像モードAに切り替えられると、全ての露光ラインのうち、被写体を捉えている露光ラインのみを撮像に用いる。つまり、受信機は、時刻t1~t4の間と、時刻t5~t8の間とでは、1001番目~2000番目の露光ラインだけを撮像に用いる。また、この特別撮像モードAでは、時刻t1~t4または時刻t5~t8である1フレームの撮像時間の全体に亘って、1001番目~2000番目の露光ラインが順に1回だけ、それぞれ均等に露光される。これにより、被写体からの信号の取りこぼしを防ぐことができる。
 図328Bは、受信機の特別撮像モードAを用いた処理動作を示すフローチャートである。
 まず、ステップ7354aで、撮像画像中から、輝線が撮像される部分を見つけ出す。次にステップ7354bで、手振れ補正機能をオンにする。
 そして、ステップ7354cで、輝線が撮像される露光ラインの画素のみを用いて撮像を行う特別撮像モードAに切り替える。特別撮像モードAでは、露光ラインを露光し始めてから次の露光ラインを撮像し始めるまでの時間が、1枚の画像を撮像する間(例えば時刻t1~t4)に時間的に等間隔になるように、各露光ラインの露光時間を設定する。なお、露光ラインに垂直な方向の画素を間引いて撮像するとしても良い。
 これにより、受信機の撮像部からのフレームの出力枚数が通常撮像モードと変わらないため、この特別撮像モードAは、性能の低い処理装置を有する受信機や、別の処理も行っている処理装置を有する受信機に適している。
 さらに、ステップ7354dで、特別撮像モードAで撮像する領域を指定する。ここで、前記撮像する領域として、輝線が撮像されている領域より狭い領域を指定することで、手振れなどにより撮像方向が変化した場合でも輝線を撮像し続けることができる。
 そして、ステップ7354eで、撮像画像の移動を検出する。その移動方向に前記撮像する領域を移動させることで、撮像画像の位置が変化した場合でも輝線を撮像し続けることができる。次に、ステップ7354fで、輝線のパターンから送信された情報を取得する。
 図329Aは、受信機の他の撮像モードを説明するための図である。
 受信機は、撮像モードが通常撮像モードから特別撮像モードBに切り替えられると、全ての露光ラインのうち、被写体を捉えている露光ラインのみを撮像に用いる。つまり、受信機は、時刻t1~t4の間と、時刻t5~t8の間とでは、1001番目~2000番目の露光ラインをだけを撮像に用いる。また、この特別撮像モードBでは、時刻t1~t4または時刻t5~t8である1フレームの撮像時間の全体に亘って、1001番目~2000番目の露光ラインが順次露光されることが複数回実行される。これにより、被写体からの信号の取りこぼしを防ぐことができる。
 図329Bは、受信機の特別撮像モードBを用いた処理動作を示すフローチャートである。
 まず、ステップ7355aで、撮像画像中から、輝線が撮像される部分を見つけ出す。次にステップ7355bで、手振れ補正機能をオンにする。
 そして、ステップ7355cで、輝線が撮像される露光ラインの画素のみを用いて撮像を行う特別撮像モードBに切り替える。特別撮像モードBでは、輝線が撮像される領域のみ撮像を行うことで、高速に撮像を行う。なお、露光ラインに垂直な方向の画素を間引いて撮像するとしても良い。
 次にステップ7355dで、特別撮像モードBで撮像する領域を指定する。ここで、前記撮像する領域として、輝線が撮像されている領域より狭い領域を指定することで、手振れなどにより撮像方向が変化した場合でも輝線を撮像し続けることができる。
 そして、ステップ7355eで、撮像画像の移動を検出する。その移動方向に前記撮像する領域を移動させることで、撮像画像の位置が変化した場合でも輝線を撮像し続けることができる。次に、ステップ7355fで、輝線のパターンから送信された情報を取得する。
 図330Aは、受信機のさらに他の撮像モードを説明するための図である。
 受信機は、撮像モードが通常撮像モードから特別撮像モードCに切り替えられると、全ての露光ラインのうち、被写体を捉えている露光ラインのみを撮像に用いる。つまり、受信機は、時刻t1~t4の間と、時刻t5~t8の間とでは、1001番目~2000番目の露光ラインをだけを撮像に用いる。また、この特別撮像モードCでは、時刻t1~t4または時刻t5~t8である1フレームの撮像時間の全体に亘って、1001番目~2000番目の露光ラインが順次露光されることが複数回実行される。さらに、この特別撮像モードCでは、その複数回実行されることによって得られる複数の画像がそれぞれ個別に出力されず、その複数の画像を含む1つの画像(通常撮像モードで生成される画像と同じサイズの画像)が出力される。これにより、被写体からの信号の取りこぼしを防ぐことができる。
 図330Bは、受信機の特別撮像モードCを用いた処理動作を示すフローチャートである。
 まず、ステップ7356aで、撮像画像中から、輝線が撮像される部分を見つけ出す。次にステップ7356bで、手振れ補正機能をオンにする。
 そして、ステップ7356cで、輝線が撮像される露光ラインの画素のみを用いて撮像を行う特別撮像モードCに切り替える。特別撮像モードCは、輝線が撮像される領域のみ撮像を行い、元の画素配置は無視して、撮像結果を並べることで一枚の画像を作成する方法である。なお、露光ラインに垂直な方向の画素を間引いて撮像するとしても良い。
 こにより、受信機の撮像部からのフレームの出力枚数が通常撮像モードと変わらないため、この特別撮像モードCは、性能の低い処理装置を有する受信機や、別の処理も行っている処理装置を有する受信機に適している。
 さらに、ステップ7356dで、特別撮像モードCで撮像する領域を指定する。ここで、前記撮像する領域として、輝線が撮像されている領域より狭い領域を指定することで、手振れなどにより撮像方向が変化した場合でも輝線を撮像し続けることができる。
 そして、ステップ7356eで、撮像画像の移動を検出する。その移動方向に前記撮像する領域を移動させることで、撮像画像の位置が変化した場合でも輝線を撮像し続けることができる。次に、ステップ7356fで、輝線のパターンから送信された情報を取得する。
 以上、一つまたは複数の態様に係る情報通信方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
 図331Aは、本発明の一態様に係る情報通信方法のフローチャートである。
 本発明の一態様に係る情報通信方法は、被写体から情報を取得する情報通信方法であって、ステップSA11、SA12、およびSA13を含む。
 つまり、この情報通信方法は、イメージセンサによる前記被写体の撮像によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップ(SA11)と、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮像することによって、前記輝線を含む画像を取得する撮像ステップ(SA12)と、取得された前記画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップ(SA13)とを含む。
 図331Bは、本発明の一態様に係る情報通信装置のブロック図である。
 本発明の一態様に係る情報通信装置A10は、被写体から情報を取得する情報通信装置であって、構成要素A11、A12、およびA13を備える。
 つまり、この情報通信装置A10は、イメージセンサによる前記被写体の撮像によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定部A11と、輝度変化する前記被写体を、設定された前記露光時間で撮像することによって、前記輝線を含む画像を取得する前記イメージセンサである撮像部A12と、取得された前記画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する復調部A13とを備える。
 図331Cは、本発明の一態様に係る情報通信方法のフローチャートである。
 本発明の一態様に係る情報通信方法は、被写体から情報を取得する情報通信方法であって、ステップSA21~SA26を含む。
 つまり、この情報通信方法は、複数の露光ラインを有するイメージセンサを用いて、前記被写体を撮像することにより第1の画像を取得する第1の撮像ステップ(SA21)と、前記第1の画像から、前記被写体が撮像されている範囲を検出する検出ステップ(SA22)と、前記複数の露光ラインのうち、前記被写体が撮像されている範囲を撮像する所定の露光ラインを決定する決定ステップ(SA23)と、前記所定の露光ラインを用いて取得する第2の画像に、前記所定の露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップ(SA24)と、前記所定の露光ラインを用いて、輝度変化する前記被写体を、設定された前記露光時間で撮像することによって、前記輝線を含む第2の画像を取得する第2の撮像ステップ(SA25)と、取得された前記第2の画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップ(SA26)とを含む。
 図331Dは、本発明の一態様に係る情報通信装置のブロック図である。
 本発明の一態様に係る情報通信装置A20は、被写体から情報を取得する情報通信装置であって、構成要素A21~A26を備える。
 つまり、この情報通信装置A20は、複数の露光ラインを有するイメージセンサを用いて、前記被写体を撮像することにより第1の画像を取得する第1の画像取得部A21と、前記第1の画像から、前記被写体が撮像されている範囲を検出する撮像範囲検出部A22と、前記複数の露光ラインのうち、前記被写体が撮像されている範囲を撮像する所定の露光ラインを決定する露光ライン決定部A23と、前記所定の露光ラインを用いて取得する第2の画像に、前記所定の露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定部A24と、前記所定の露光ラインを用いて、輝度変化する前記被写体を、設定された前記露光時間で撮像することによって、前記輝線を含む第2の画像を取得する第2の画像取得部A25と、取得された前記第2の画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する復調部A26とを備える。
 なお、上述の輝線のパターンは、各輝線の間隔の違いと同義である。
 図332は、本発明の一態様に係る情報通信方法によって得られる画像の一例を示す図である。
 例えば、200Hz以上の周波数で輝度変化する被写体に対して、露光時間が10ミリ秒よりも短く設定される。ここで、イメージセンサに含まれる複数の露光ラインのそれぞれは互いに異なるタイミングで順次露光される。このような場合には、図332に示すように、イメージセンサによって得られる画像には、幾つかの輝線が生じる。つまり、その画像は露光ラインに平行な輝線を含む。また、情報取得ステップ(SA13またはSA26)では、その輝線のパターンのうち、露光ラインに垂直な方向のパターンによって特定されるデータを復調する。
 このような図331Aおよび図331Bによって示される情報通信方法および情報通信装置A10では、被写体の輝度変化によって送信される情報が、イメージセンサの露光ラインの露光によって取得されるため、例えば無線通信を行うための特別な通信デバイスを必要とすることなく、多様な機器間の通信を可能とすることができる。さらに、図331Cおよび図331Dによって示される情報通信方法および情報通信装置A20では、イメージセンサに含まれる全ての露光ラインのうち、被写体を捉えている露光ラインのみが、輝線を含む第2の画像の取得に用いられるため、被写体を捉えていない露光ラインに対する処理を省くことができ、情報取得の効率を高めることができるとともに、被写体からの情報の取りこぼしを防ぐことができる。
 図333Aは、本発明の他の態様に係る情報通信方法のフローチャートである。
 本発明の他の態様に係る情報通信方法は、輝度変化によって信号を送信する情報通信方法であって、ステップSB11、SB12およびSB13を含む。
 つまり、この情報通信方法は、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定ステップ(SB11)と、発光体が、決定された前記パターンにしたがって輝度変化することによって前記送信対象の信号を送信する第1の送信ステップ(SB12)と、前記発光体が、前記送信対象の信号を送信してから33ミリ秒以内に、決定された前記パターンと同一のパターンにしたがって輝度変化することによって前記送信対象の信号と同一の信号を送信する第2の送信ステップ(SB13)とを含む。そして、前記決定ステップ(SB11)では、前記輝度変化に対して5ミリ秒以上の幅で移動平均したときの各輝度値が予め定められた範囲に収まるように前記パターンを決定する。
 図333Bは、本発明の他の態様に係る情報通信装置のブロック図である。
 本発明の他の態様に係る情報通信装置B10は、輝度変化によって信号を送信する情報通信装置であって、構成要素B11およびB12を備える。
 つまり、この情報通信装置B10は、送信対象の信号を変調することによって、輝度変化のパターンを決定する輝度変化パターン決定部B11と、決定された前記パターンにしたがって輝度変化することによって前記送信対象の信号を送信し、前記送信対象の信号を送信してから33ミリ秒以内に、決定された前記パターンと同一のパターンにしたがって輝度変化することによって前記送信対象の信号と同一の信号を送信する発光体B12とを備える。そして、前記輝度変化パターン決定部B11は、前記輝度変化に対して5ミリ秒以上の幅で移動平均したときの各輝度値が予め定められた範囲に収まるように前記パターンを決定する。
 このような図333Aおよび図333Bによって示される情報通信方法および情報通信装置B10では、輝度変化に対して5ミリ秒以上の幅で移動平均したときの各輝度値が予め定められた範囲に収まるように輝度変化のパターンが決定されるため、人がちらつきを感じるのを防ぎならが、輝度変化によって信号を送信することができる。さらに、33ミリ秒以内に同じ信号が送信されるため、信号を受信する受信機にブランキングがあっても、確実に信号をその受信機に送信することができる。
 図334Aは、本発明のさらに他の態様に係る情報通信方法のフローチャートである。
 本発明のさらに他の態様に係る情報通信方法は、輝度変化によって信号を送信する情報通信方法であって、ステップSC11、SC12、SC13およびSC14を含む。
 つまり、この情報通信方法は、送信対象の信号を変調することによって複数の周波数を決定する決定ステップ(SC11)と、発光体が、決定された前記複数の周波数のうちの何れかの一定の周波数にしたがって輝度変化することによって信号を送信する送信ステップ(SC12)と、前記輝度変化に用いられる周波数を、決定された複数の周波数のうちの他の周波数に33ミリ秒以上の周期で順に変更する変更ステップ(SC14)とを含む。なお、送信ステップSC12が実行された後には、決定された全ての周波数が輝度変化に用いられたか否かが判断され(SC13)、全ての周波数が用いられていないと判断された場合に(SC13でN)、更新ステップSC14が実行されてもよい。また、前記送信ステップ(SC12)では、前記発光体は、前記輝度変化に対して5ミリ秒以上の幅で移動平均したときの各輝度値が予め定められた範囲に収まるように輝度変化する。
 図334Bは、本発明のさらに他の態様に係る情報通信装置のブロック図である。
 本発明のさらに他の態様に係る情報通信装置C10は、輝度変化によって信号を送信する情報通信装置であって、構成要素C11、C12およびC13を備える。
 つまり、この情報通信装置C10は、送信対象の信号を変調することによって複数の周波数を決定する周波数決定部C11と、決定された前記複数の周波数のうちの何れかの一定の周波数にしたがって輝度変化することによって信号を送信する発光体C13と、前記輝度変化に用いられる周波数を、決定された複数の周波数のうちの他の周波数に33ミリ秒以上の周期で順に変更する周波数変更部C12とを備える。また、前記発光体C13は、前記輝度変化に対して5ミリ秒以上の幅で移動平均したときの各輝度値が予め定められた範囲に収まるように輝度変化する。
 このような図334Aおよび図334Bによって示される情報通信方法および情報通信装置C10では、輝度変化に対して5ミリ秒以上の幅で移動平均したときの各輝度値が予め定められた範囲に収まるように輝度変化のパターンが決定されるため、人がちらつきを感じるのを防ぎならが、輝度変化によって信号を送信することができる。さらに、FM変調された多くの信号を送信することができる。
 また、情報通信装置は、自らのユニークなIDと機器の状態情報とを含む機器情報を管理する情報管理部と、発光素子と、前記発光素子の点滅パターンとして情報を送信する光送信部とを有し、前記光送信部は、前記機器の内部の状態に変化があった場合に、前記機器情報を光の点滅パターンに変換して送信してもよい。
 また、前記情報通信装置は、さらに、自らの起動状態、またはユーザの使用履歴を示す、機器内部のセンシングされた情報を保存する起動履歴管理部を備え、前記光送信部は、利用するクロック発生装置のあらかじめ登録された性能情報を取得し、送信速度を変更してもよい。
 また、前記発光素子は、第一および第2の発光素子を備え、光の点滅によって情報を送信するための前記第一の発光素子の周囲に、前記第二の発光素子が配置されており、前記第二の発光素子は、前記第一の発光素子の点滅による情報発信が一定回数繰り返される場合に、情報発信の終了と開始の間に発光してもよい。
 また、前記情報通信装置は、時間差をおいて各撮像素子を露光させる撮像部と、前記各撮像素子の露光時間の違いを利用して、被撮像物の1ミリ秒以下の時間平均輝度の変化を、1枚の撮像画像中から読み取る信号解析部とを備えてもよい。
 また、前記時間平均輝度は、3万分の1秒以上の時間平均輝度であってもよい。
 前記情報通信装置は、さらに、送信情報を発光パターンに変調し、発光パターンによって情報を送信してもよい。
 前記情報通信装置は、送信信号を1ミリ秒以下の時間平均輝度の変化で表現し、かつ、60ミリ秒以上の時間平均輝度は一様であるように発光部の輝度を変化させてもよい。
 前記情報通信装置は、前記送信信号を3万分の1秒以上の時間平均輝度の変化で表現してもよい。
 また、前記送信信号と、近接する同種の情報通信装置が時間平均輝度で表現している信号との共通部分は、前記同種の情報通信装置の発光部と同じタイミングで発光部を発光させることで送信されてもよい。
 さらに、前記送信信号と、近接する同種の情報通信装置が時間平均輝度で表現している信号との非共通部分は、前記同種の情報通信装置が時間平均輝度で信号を表現していない時間帯に、発光部の時間平均輝度によって表現されてもよい。
 また、前記情報通信装置は、前記送信信号を時間平均輝度の変化で表現している第1の発光部と、前記送信信号を時間平均輝度の変化で表現していない第2の発光部を備え、第1の発光部と第2の発光部の位置関係によって信号を送信してもよい。
 また、集中制御装置は、上述の何れかの情報通信装置を集中制御する制御部を備えてもよい。
 また、建造物は、上述の何れかの情報通信装置、または、上述の集中制御装置を備えてもよい。
 また、列車は、上述の何れかの情報通信装置、または、上述の集中制御装置を備えてもよい。
 また、撮像装置は、2次元画像を撮像する撮像装置であって、全ての撮像素子を露光させて撮像するよりも高速に、任意の撮像素子のみを露光させて撮像してもよい。
 また、前記任意の撮像素子は、1ミリ秒以下の時間平均輝度の変化が最も大きい画素を撮像する撮像素子、または、その撮像素子を含む1列の撮像素子であってもよい。
 なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。例えばプログラムは、図331A、図331C、図333Aおよび図334Aのうちの何れかのフローチャートによって示される情報通信方法をコンピュータに実行させる。
 (上記各実施の形態およびそれらの変形例のまとめ)
 本発明の一態様に係る情報通信方法は、被写体から情報を取得する情報通信方法であって、複数の露光ラインを有するイメージセンサを用いて、前記被写体を撮像することにより第1の画像を取得する第1の撮像ステップと、前記第1の画像から、前記被写体が撮像されている範囲を検出する検出ステップと、前記複数の露光ラインのうち、前記被写体が撮像されている範囲を撮像する所定の露光ラインを決定する決定ステップと、前記所定の露光ラインを用いて取得する第2の画像に、前記所定の露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップと、前記所定の露光ラインを用いて、輝度変化する前記被写体を、設定された前記露光時間で撮像することによって、前記輝線を含む第2の画像を取得する第2の撮像ステップと、取得された前記第2の画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップと、を含む。
 これにより、被写体の輝度変化によって送信される情報が、イメージセンサの露光ラインの露光によって取得されるため、例えば無線通信を行うための特別な通信デバイスを必要とすることなく、多様な機器間の通信を可能とすることができる。さらに、イメージセンサに含まれる全ての露光ラインのうち、被写体を捉えている露光ラインのみが、輝線を含む第2の画像の取得に用いられるため、被写体を捉えていない露光ラインに対する処理を省くことができ、情報取得の効率を高めることができるとともに、被写体からの情報の取りこぼしを防ぐことができる。なお、露光ラインは、イメージセンサに含まれる、同時に露光する複数の画素からなる列または行である。また、輝線は、例えば図22などによって示される撮像画像中に含まれる線である。
 また、前記所定の露光ラインは、前記複数の露光ラインのうち、前記被写体が撮像されている範囲を撮像する露光ラインのみを含み、前記被写体が撮像されていない範囲を撮像する露光ラインを含まなくてもよい。
 これにより、より確実に情報取得の効率を高めることができるとともに、被写体の情報の取りこぼしを防ぐことができる。
 また、前記第2の撮像ステップでは、前記第1の画像を取得する際の第1の撮像時間を、前記所定の露光ラインに含まれるライン数で等分した第2の撮像時間を取得し、前記第2の撮像時間を、前記所定の露光ラインに含まれる各露光ラインの撮像時間としてもよい。
 これにより、例えば図328Aおよび図328Bに示すように、送信機である被写体から適切に情報を取得することができる。
 また、前記第2の撮像ステップでは、前記第1の撮像ステップにおける前記イメージセンサの各露光ラインの撮像時間を、前記所定の露光ラインに含まれる各露光ラインの撮像時間としてもよい。
 これにより、例えば図329Aおよび図329Bに示すように、送信機である被写体から適切に情報を取得することができる。
 また、前記第2の撮像ステップでは、前記所定の露光ラインにより撮像した複数の前記第2の画像を統合して、前記第1の画像と同じ画像サイズである第3の画像を生成し、前記情報取得ステップでは、前記第3の画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得してもよい。
 これにより、例えば図330Aおよび図330Bに示すように、送信機である被写体から適切に情報を取得することができる。
 また、前記決定ステップでは、前記複数の露光ラインのうち、前記被写体が撮像されている範囲よりも狭い範囲を撮像する露光ラインを前記所定の露光ラインとして決定してもよい。
 これにより、例えば図328B、図329Bおよび図330Bに示すように、手振れなどによる影響を受けることなく、送信機である被写体から適切に情報を取得することができる。
 また、前記イメージセンサの前記複数の露光ラインのうち、全ての露光ラインを用いて前記被写体を撮像する第1モードと、前記イメージセンサの前記複数の露光ラインのうち、前記所定の露光ラインを用いて前記被写体を撮像する第2モードと、切り替えが可能であってもよい。
 これにより、切り替えを行うことによって、送信機である被写体から適切に情報を取得することができる。
 本発明の一態様に係る情報通信方法は、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮像によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮像することによって、前記輝線を含む画像を取得する撮像ステップと、取得された前記画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップと、を含む。
 これにより、被写体の輝度変化によって送信される情報が、イメージセンサの露光ラインの露光によって取得されるため、例えば無線通信を行うための特別な通信デバイスを必要とすることなく、多様な機器間の通信を可能とすることができる。なお、露光ラインは、イメージセンサに含まれる、同時に露光する複数の画素からなる列または行である。また、輝線は、例えば図22などによって示される撮像画像中に含まれる線である。
 例えば、前記撮像ステップでは、前記イメージセンサに含まれる複数の露光ラインのそれぞれを互いに異なるタイミングで順次露光する。
 これにより、ローリングシャッター方式の撮像が行われることによって生じる輝線が、画像内における各露光ラインに対応する位置に含まれるため、被写体から多くの情報を取得することができる。
 ここで、前記情報取得ステップでは、前記輝線のパターンのうち、前記露光ラインに垂直な方向のパターンによって特定される前記データを復調してもよい。
 これにより、輝度変化に対応する情報を適切に取得することができる。
 また、前記露光時間設定ステップでは、前記露光時間を10ミリ秒よりも短く設定してもよい。
 これにより、画像中に輝線をより確実に生じさせることができる。
 ここで、前記撮像ステップでは、200Hz以上の周波数で輝度変化する前記被写体を撮像してもよい。
 これにより、例えば図305Aおよび図305Bに示すように、人がちらつきを感じることなく、多くの情報を被写体から取得することができる。
 また、前記撮像ステップでは、前記露光ラインに平行な輝線を含む前記画像を取得してもよい。
 これにより、輝度変化に対応する情報を適切に取得することができる。
 ここで、前記情報取得ステップでは、取得された前記画像内における、前記イメージセンサに含まれる各露光ラインに対応する領域ごとに、当該領域に輝線があるか否かによって特定される0または1を示す前記データを復調してもよい。
 これにより、PPM変調された多くの情報を被写体から取得することができる。例えば図22に示すように、1秒あたりの画像の数(フレームレート)がf、1画像を構成する露光ライン数がlのとき、各露光ラインが一定以上の光を受光しているかどうかで情報を取得すると、最大でflビット毎秒の速度で情報を取得することができる。
 また、前記情報取得ステップでは、前記領域ごとに、当該領域の輝度値が閾値以上であるか否かに応じて、当該領域に輝線があるか否かを特定してもよい。
 これにより、被写体から適切に情報を取得することができる。
 ここで、前記撮像ステップでは、所定の期間ごとに、当該所定の期間に対応する一定の周波数で輝度変化する前記被写体を撮像し、前記情報取得ステップでは、前記所定の期間ごとに、当該所定の期間に対応する一定の周波数の輝度変化に応じて生成される前記輝線のパターンによって特定される前記データを復調してもよい。
 これにより、FM変調された多くの情報を被写体から取得することができる。例えば図14に示すように、周波数f1に対応する輝線のパターンと、周波数f2に対応する輝線のパターンとによって、適切な情報を取得することができる。
 また、前記撮像ステップでは、輝度の立ち上がりおよび立ち下りのうちの一方の変化と次の前記一方の変化との間の時間を調整することによって信号を送信するように輝度変化する前記被写体を撮像し、前記情報取得ステップでは、前記輝線のパターンによって特定される、前記時間に対応付けられた符号である前記データを復調してもよい。
 これにより、例えば図248に示すように、被写体から送信される情報の内容を変えることなく、PWM制御によって、人が感じる被写体(例えば照明機器)の明るさを調整することができる。
 ここで、前記撮像ステップでは、前記輝度変化に対して5ミリ秒以上の幅で移動平均したときの各輝度値が予め定められた範囲に収まるように輝度変化する前記被写体を撮像してもよい。
 これにより、人がちらつきを感じることなく、多くの情報を被写体から取得することができる。例えば図28に示すように、変調後の信号が0のときは非発光、1のときは発光とし、送信信号に偏りはないとすると、移動平均したときの各輝度値を発光時の輝度値の約75%にすることができる。その結果、人がちらつきを感じることを防ぐことができる。
 また、前記輝線のパターンは前記イメージセンサの露光時間に応じて異なり、前記情報取得ステップでは、設定された前記露光時間に応じた前記パターンによって特定される前記データを復調してもよい。
 これにより、例えば図34に示すように、露光時間に応じて異なる情報を被写体から取得することができる。
 ここで、前記情報通信方法は、さらに、前記イメージセンサを備える撮像装置の状態を検出し、前記情報取得ステップでは、前記被写体の位置を示す前記情報を取得し、さらに、取得された前記情報と、検出された前記状態とに基づいて、前記撮像装置の位置を算出してもよい。
 これにより、例えば図11に示すように、GPSなどを使うことができなくても、またはGPSなどを使った場合よりも、撮像装置の位置を正確に特定することができる。
 また、前記撮像ステップでは、前記露光ラインに沿うように配列された複数の領域を含み、領域ごとに輝度変化する前記被写体を撮像してもよい。
 これにより、例えば図258に示すように、多くの情報を被写体から取得することができる。
 ここで、前記撮像ステップでは、メタメリックな複数種の光を互いに異なるタイミングで発する前記被写体を撮像してもよい。
 これにより、例えば図272に示すように、人がちらつきを感じることなく、多くの情報を被写体から取得することができる。
 また、前記情報通信方法は、さらに、前記イメージセンサを備える撮像装置が存在する場所を推定し、前記情報取得ステップでは、前記被写体の識別情報を前記情報として取得するとともに、前記場所および前記識別情報に関連付けられた関連情報をサーバから取得してもよい。
 これにより、例えば図282および図283に示すように、複数の照明機器から同じ識別情報が輝度変化によって送信されるような場合であっても、撮像装置が存在する場所(建物)、つまり照明機器が存在する場所(建物)に応じて適切な関連情報を取得することができる。
 ここで、本発明の一態様に係る情報通信方法は、輝度変化によって信号を送信する情報通信方法であって、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定ステップと、発光体が、決定された前記パターンにしたがって輝度変化することによって前記送信対象の信号を送信する第1の送信ステップと、前記発光体が、前記送信対象の信号を送信してから33ミリ秒以内に、決定された前記パターンと同一のパターンにしたがって輝度変化することによって前記送信対象の信号と同一の信号を送信する第2の送信ステップとを含み、前記決定ステップでは、前記輝度変化に対して5ミリ秒以上の幅で移動平均したときの各輝度値が予め定められた範囲に収まるように前記パターンを決定する。
 これにより、輝度変化に対して5ミリ秒以上の幅で移動平均したときの各輝度値が予め定められた範囲に収まるように輝度変化のパターンが決定されるため、人がちらつきを感じるのを防ぎならが、輝度変化によって信号を送信することができる。さらに、例えば図301Bに示すように、33ミリ秒以内に同じ信号が送信されるため、信号を受信する受信機にブランキングがあっても、確実に信号をその受信機に送信することができる。
 また、前記決定ステップでは、2ビットによって示される信号のそれぞれを、同じ値を示す3つのビットと他の値を示す1つのビットとからなる4ビットによって示される信号に変調する方式にしたがって、前記送信対象の信号を変調してもよい。
 これにより、例えば図28に示すように、変調後の信号が0のときは非発光、1のときは発光とし、送信信号に偏りはないとすると、移動平均したときの各輝度値を発光時の輝度値の約75%にすることができる。その結果、人がちらつきを感じることをより確実に防ぐことができる。
 ここで、前記決定ステップでは、輝度の立ち上がりおよび立ち下りのうちの一方の変化と次の前記一方の変化との間の時間を、前記送信対象の信号に応じて調整することによって、前記輝度変化のパターンを決定してもよい。
 これにより、例えば図248に示すように、送信対象の信号の内容を変えることなく、PWM制御によって、人が感じる発光体(例えば照明機器)の明るさを調整することができる。
 また、前記第1の送信ステップおよび前記第2の送信ステップでは、輝度変化する前記発光体を撮像するイメージセンサの露光時間に応じて異なる信号が、前記イメージセンサを備える撮像装置に取得されるように輝度変化してもよい。
 これにより、例えば図34に示すように、露光時間に応じて異なる信号を撮像装置に送信することができる。
 ここで、前記第1の送信ステップおよび前記第2の送信ステップでは、複数の発光体が同調して輝度変化することによって、前記複数の発光体が共通の情報を送信し、前記共通の情報が送信された後に、発光体ごとに輝度変化することによって、当該発光体ごとに異なる情報を送信してもよい。
 これにより、例えば図41に示すように、複数の発光体が共通の情報を同時に送信することで、複数の発光体を一つの大きな発光体とみなすことができ、その共通の情報を受信する撮像装置で発光体を大きく撮像することができるため、情報をより速く、より遠くからでも送信することができる。さらに、例えば図12Aに示すように、複数の発光体が共通の情報を送信することによって、発光体ごとに送信される個別の情報の情報量を抑えることができる。
 また、前記情報通信方法は、さらに、前記送信対象の信号の変調を行うか否かの指示を受け付ける指示受付ステップを含み、前記変調を行うことを示す指示が受け付けられた場合には、前記決定ステップ、前記第1の送信ステップおよび前記第2の送信ステップを実行し、前記変調を行わないことを示す指示が受け付けられた場合には、前記決定ステップ、前記第1の送信ステップおよび前記第2の送信ステップを実行することなく、前記発光体は点灯または消灯してもよい。
 これにより、例えば図12Aに示すように、変調を行うか否かが切り替えられるため、他の発光体の輝度変化に対してノイズとして与える影響を抑えることができる。
 ここで、前記発光体は、当該発光体を撮像するイメージセンサの露光ラインに沿うように配列された複数の領域を含み、前記第1の送信ステップおよび前記第2の送信ステップでは、前記発光体の領域ごとに輝度変化してもよい。
 これにより、例えば図258に示すように、多くの情報を送信することができる。
 また、前記第1の送信ステップおよび前記第2の送信ステップでは、前記発光体は、メタメリックな複数種の光を互いに異なるタイミングで発することによって輝度変化してもよい。
 これにより、例えば図272に示すように、人がちらつきを感じることなく、多くの情報を送信することができる。
 ここで、前記第1の送信ステップおよび前記第2の送信ステップでは、前記送信対象の信号または前記同一の信号として前記発光体の識別情報を送信してもよい。
 これにより、例えば図282に示すように、発光体の識別情報が送信されるため、その識別情報を受信した撮像装置は、その識別情報に関連付けられたより多くの情報を、インターネットなどの通信回線を介してサーバなどから取得することができる。
 また、本発明の一態様に係る情報通信方法は、輝度変化によって信号を送信する情報通信方法であって、送信対象の信号を変調することによって複数の周波数を決定する決定ステップと、発光体が、決定された前記複数の周波数のうちの何れかの一定の周波数にしたがって輝度変化することによって信号を送信する送信ステップと、前記輝度変化に用いられる周波数を、決定された複数の周波数のうちの他の周波数に33ミリ秒以上の周期で順に変更する変更ステップとを含み、前記送信ステップでは、前記発光体は、前記輝度変化に対して5ミリ秒以上の幅で移動平均したときの各輝度値が予め定められた範囲に収まるように輝度変化してもよい。
 これにより、輝度変化に対して5ミリ秒以上の幅で移動平均したときの各輝度値が予め定められた範囲に収まるように輝度変化のパターンが決定されるため、人がちらつきを感じるのを防ぎならが、輝度変化によって信号を送信することができる。さらに、FM変調された多くの信号を送信することができる。例えば図14に示すように、輝度変化の周波数(f1、f2など)が33ミリ秒以上の周期で変更されることによって、適切な情報を送信することができる。
 (実施の形態14)
 本実施の形態では、上記実施の形態1~13におけるスマートフォンなどの受信機と、LEDや有機ELなどの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
 図335は、本実施の形態における受信機の各モードの一例を示す図である。
 受信機8000は、通常撮影モードでは、例えば1/100秒のシャッター速度で撮影することによって、通常撮影画像を取得し、その通常撮影画像をディスプレイに表示する。この場合、その通常撮影画像には、例えば街灯や、店舗の看板として構成されるサイネージなどの被写体とその周囲が鮮明に映し出されている。
 また、受信機8000は、可視光通信モードでは、例えば1/10000秒のシャッター速度で撮影することによって、可視光通信画像を取得する。例えば、上述の街灯やサイネージが上記実施の形態1~13に示す送信機として輝度変化によって信号を送信している場合には、この可視光通信画像において、信号が送信されている箇所には、1つまたは複数の輝線(以下、輝線模様という)が映し出されて、その箇所以外には、何も映し出されていない。つまり、この可視光通信画像では、輝線模様だけが映し出され、被写体の輝度変化をしていない部分および被写体の周囲は映し出されていない。
 また、受信機8000は、中間モードでは、例えば1/3000秒のシャッター速度で撮影することによって、中間画像を取得する。この中間画像では、輝線模様が映し出されているとともに、上述の被写体の輝度変化していない部分および被写体の周囲も映し出されている。したがって、受信機8000がその中間画像をディスプレイに表示することによって、ユーザは、どこから、またはどの位置から信号が送信されているかを知ることができる。なお、この中間画像によって映し出される輝線模様、被写体およびその周囲はそれぞれ、可視光通信画像の輝線模様と通常撮影画像の被写体およびその周囲よりも鮮明ではないが、ユーザによって認識される鮮明度を有する。
 なお、以下の説明では、通常撮影モード、または通常撮影モードによる撮影を通常撮影といい、可視光通信モード、または可視光通信モードによる撮影を可視光撮影(可視光通信)という。また、通常撮影および可視光撮影の代わりに、中間モードによる撮影を用いてもよく、後述の合成画像の代わりに中間画像を用いてもよい。
 図336は、本実施の形態における受信機の撮影動作の一例を示す図である。
 受信機8000は、撮影モードを通常撮影、可視光通信、通常撮影、・・・のように切り替える。そして、受信機8000は、通常撮影画像と可視光通信画像とを合成することによって、輝線模様と被写体およびその周囲とが鮮明に映し出された合成画像を生成し、その合成画像をディスプレイに表示する。この合成画像は、通常撮影画像における信号が送信されている箇所に、可視光通信画像の輝線模様を重畳することによって生成された画像である。また、この合成画像によって映し出される輝線模様、被写体およびその周囲はそれぞれ鮮明であって、ユーザによって十分に認識される鮮明度を有する。このような合成画像が表示されることによって、ユーザは、どこから、またはどの位置から信号が送信されているかをより明確に知ることができる。
 図337は、本実施の形態における受信機の撮影動作の他の例を示す図である。
 受信機8000は、カメラCa1およびカメラCa2を備える。このような受信機8000では、カメラCa1は通常撮影を行い、カメラCa2は可視光撮影を行う。これにより、カメラCa1は、上述のような通常撮影画像を取得し、カメラCa2は、上述のような可視光通信画像を取得する。そして、受信機8000は、通常撮影画像および可視光通信画像を合成することによって、上述の合成画像を生成してディスプレイに表示する。
 図338Aは、本実施の形態における受信機の撮影動作の他の例を示す図である。
 2つのカメラを有する上記受信機8000では、カメラCa1は、撮影モードを通常撮影、可視光通信、通常撮影、・・・のように切り替える。一方、カメラCa2は、通常撮影を継続して行う。そして、カメラCa1とカメラCa2とで同時に通常撮影が行われているときには、受信機8000は、それらのカメラによって取得された通常撮影画像から、ステレオ視(三角測量の原理)を利用して、受信機8000から被写体までの距離(以下、被写体距離という)を推定する。このように推定された被写体距離を用いることによって、受信機8000は、可視光通信画像の輝線模様を通常撮影画像の適切な位置に重畳することができる。つまり、適切な合成画像を生成することができる。
 図338Bは、本実施の形態における受信機の撮影動作の他の例を示す図である。
 受信機8000は、例えば3つのカメラ(カメラCa1、カメラCa2およびカメラCa3)を備える。このような受信機8000では、2つのカメラ(カメラCa2およびカメラCa3)は通常撮影を継続して行い、残りの1つのカメラ(カメラCa1)は可視光通信を継続して行う。これにより、どのようなタイミングでも、通常撮影している2つのカメラによって得られる通常撮影画像に基づいて、被写体距離を推定することができる。
 図338Cは、本実施の形態における受信機の撮影動作の他の例を示す図である。
 受信機8000は、例えば3つのカメラ(カメラCa1、カメラCa2およびカメラCa3)を備える。このような受信機8000では、それぞれのカメラは撮影モードを通常撮影、可視光通信、通常撮影、・・・のように切り替える。ここで、1つの期間では、これらのカメラのうちの何れか2つのカメラが通常撮影を行い、残りの1つのカメラが可視光通信を行うように、それぞれのカメラの撮影モードが期間ごとに切り替えられる。つまり、通常撮影しているカメラの組み合わせが周期的に変化する。これにより、何れの期間でも、通常撮影している2つのカメラによって得られる通常撮影画像に基づいて、被写体距離を推定することができる。
 図339Aは、本実施の形態における受信機のカメラ配置の一例を示す図である。
 受信機8000が2つのカメラCa1およびCa2を備える場合には、図339Aに示すように、2つのカメラCa1およびCa2は互いに離れた位置に配置される。これにより、被写体距離を精度よく推定することができる。つまり、2つのカメラの間の距離が長いほど、被写体距離を精度よく推定することができる。
 図339Bは、本実施の形態における受信機のカメラ配置の他の例を示す図である。
 受信機8000が3つのカメラCa1、カメラCa2およびカメラCa3を備える場合には、図339Bに示すように、通常撮影用の2つのカメラCa1およびCa2は互いに離れた位置に配置される。また、可視光通信用のカメラCa3は、例えばカメラCa1とカメラCa2との間に配置される。これにより、被写体距離を精度よく推定することができる。つまり、最も離れた2つのカメラを通常撮影に用いることによって、被写体距離を精度よく推定することができる。
 図340は、本実施の形態における受信機の表示動作の一例を示す図である。
 受信機8000は、上述のように、撮影モードを可視光通信、通常撮影、可視光通信、・・・のように切り替える。ここで、受信機8000は、最初に可視光通信を行うときに、アプリケーションプログラムを起動する。そして、受信機8000は、可視光通信によって受信した信号に基づいて、上記実施の形態1~13に示すように、自らの位置を推定する。次に、受信機8000は、通常撮影を行うときには、その通常撮影によって取得された通常撮影画像に、AR(Augmented Reality)情報を表示する。このAR情報は、上述のように推定された位置などに基づいて取得されるものである。また、受信機8000は、9軸センサによる検出結果、および通常撮影画像の動き検出などに基づいて、受信機8000の移動および方向の変化を推定し、その推定された移動および方向の変化に合わせてAR情報の表示位置を移動させる。これにより、AR情報を通常撮影画像の被写体像に追随させることができる。
 また、受信機8000は、通常撮影から可視光通信に撮影モードを切り替えると、その可視光通信時には、直前の通常撮影時に取得された最新の通常撮影画像にAR情報を重畳する。そして、受信機8000は、AR情報が重畳された通常撮影画像を表示する。また、受信機8000は、通常撮影時と同様に、9軸センサによる検出結果に基づいて、受信機8000の移動および方向の変化を推定し、その推定された移動および方向の変化に合わせてAR情報および通常撮影画像を移動させる。これにより、可視光通信時にも、通常撮影時と同様に、受信機8000の移動などに合わせてAR情報を通常撮影画像の被写体像に追随させることができる。また、受信機8000の移動などに合わせて、その通常画像を拡大および縮小することができる。
 図341は、本実施の形態における受信機の表示動作の一例を示す図である。
 例えば、受信機8000は、図341の(a)に示すように、輝線模様が映し出された上記合成画像を表示してもよい。また、受信機8000は、図341の(b)に示すように、輝線模様の代わりに、信号が送信されていることを通知するための所定の色を有する画像である信号明示オブジェクトを通常撮影画像に重畳することによって合成画像を生成し、その合成画像を表示してもよい。
 また、受信機8000は、図341の(c)に示すように、信号が送信されている箇所が点線の枠と識別子(例えば、ID:101、ID:102など)とによって示されている通常撮影画像を合成画像として表示してもよい。また、受信機8000は、図341の(d)に示すように、輝線模様の代わりに、特定の種類の信号が送信されていることを通知するための所定の色を有する画像である信号識別オブジェクトを通常撮影画像に重畳することによって合成画像を生成し、その合成画像を表示してもよい。この場合、その信号識別オブジェクトの色は、送信機から出力されている信号の種類によって異なる。例えば、送信機から出力されている信号が位置情報である場合には、赤色の信号識別オブジェクトが重畳され、送信機から出力されている信号がクーポンである場合には、緑色の信号識別オブジェクトが重畳される。
 図342は、本実施の形態における受信機の動作の一例を示す図である。
 例えば、受信機8000は、可視光通信によって信号を受信した場合には、通常撮影画像を表示するとともに、送信機を発見したことをユーザに通知するための音を出力してもよい。この場合、受信機8000は、発見した送信機の個数、受信した信号の種類、または、その信号によって特定される情報の種類などによって、出力される音の種類、出力回数、または出力時間を異ならせてもよい。
 図343は、本実施の形態における受信機の動作の他の例を示す図である。
 例えば、合成画像に映し出された輝線模様にユーザがタッチすると、受信機8000は、そのタッチされた輝線模様に対応する被写体から送信された信号に基づいて、情報通知画像を生成し、その情報通知画像を表示する。この情報通知画像は、例えば、店舗のクーポンや場所などを示す。なお、輝線模様は、図341に示す信号明示オブジェクト、信号識別オブジェクト、または点線枠などであってもよい。以下に記載されている輝線模様についても同様である。
 図344は、本実施の形態における受信機の動作の他の例を示す図である。
 例えば、合成画像に映し出された輝線模様にユーザがタッチすると、受信機8000は、そのタッチされた輝線模様に対応する被写体から送信された信号に基づいて、情報通知画像を生成し、その情報通知画像を表示する。この情報通知画像は、例えば、受信機8000の現在地を地図などによって示す。
 図345は、本実施の形態における受信機の動作の他の例を示す図である。
 例えば、受信機8000は、送信機として構成された被写体である2つの街灯から信号を受信する。そして、受信機8000は、上記実施の形態1~13と同様に、これらの信号に基づいて自らの現在地を推定する。そして、受信機8000は、通常撮影画像を表示するとともに、その推定結果を示す情報通知画像(緯度および経度などを示す画像)を通常撮影画像に重畳して表示する。なお、受信機8000は、補助情報通知画像を通常撮影画像に重畳して表示してもよい。この補助情報通知画像は、例えば9軸センサ(特に、地磁気センサ)をキャリブレーションするための操作、つまりドリフトをキャンセルするための操作をユーザに勧めるものである。このような操作が行なわれることによって、上述の現在地が高い精度で推定される。
 また、表示された情報通知画像がユーザによってタッチされると、受信機8000は、通常撮影画像の代わりに、その推定された位置を示す地図を表示してもよい。
 図346は、本実施の形態における受信機の動作の他の例を示す図である。
 例えば、合成画像が表示されている受信機8000に対してユーザがスワイプを行うと、受信機8000は、図341の(c)に示す通常撮影画像と同様の、点線枠および識別子を有する通常撮影画像を表示するとともに、スワイプの操作に追随するように情報の一覧を表示する。この一覧には、各識別子によって示される箇所(送信機)から送信される信号によって特定される情報が示されている。また、スワイプは、例えば、受信機8000におけるディスプレイの右側の外から中に指を動かす操作であってもよい。なお、スワイプは、ディスプレイの上側から、下側から、または左側から中に指を動かす操作であってもよい。
 また、その一覧に含まれる情報がユーザによってタップされると、受信機8000は、その情報をより詳細に示す情報通知画像(例えばクーポンを示す画像)を表示してもよい。
 図347は、本実施の形態における受信機の動作の他の例を示す図である。
 例えば、合成画像が表示されている受信機8000に対してユーザがスワイプを行うと、受信機8000は、スワイプの操作に追随するように情報通知画像を合成画像に重畳して表示する。この情報通知画像は、被写体距離を矢印とともにユーザに分かり易く示すものである。また、スワイプは、例えば、受信機8000におけるディスプレイの下側の外から中に指を動かす操作であってもよい。なお、スワイプは、ディスプレイの左側から、上側から、または右側から中に指を動かす操作であってもよい。
 図348は、本実施の形態における受信機の動作の他の例を示す図である。
 例えば、受信機8000は、複数の店舗を示すサイネージである送信機を被写体として撮影し、その撮影によって取得された通常撮影画像を表示する。ここで、通常撮影画像に映し出された被写体に含まれる、1つの店舗のサイネージの画像をユーザがタップすると、受信機8000は、その店舗のサイネージから送信される信号に基づいて情報通知画像を生成し、その情報通知画像8001を表示する。この情報通知画像8001は、例えば店舗の空席状況などを示す画像である。
 図349は、本実施の形態における受信機と送信機とサーバとの動作の一例を示す図である。
 まず、テレビとして構成されている送信機8012は、輝度変化によって信号を受信機8011に送信する。この信号は、例えば、視聴されている番組に関連するコンテンツの購入をユーザに促すための情報を含む。受信機8011は、可視光通信によってその信号を受信すると、その信号に基づいて、コンテンツの購入をユーザに促す情報通知画像を表示する。ユーザがそのコンテンツを購入するための操作を行うと、受信機8011は、受信機8011に差し込まれているSIM(Subscriber Identity Module)カードに含まれる情報、ユーザID、端末ID、クレジットカード情報、課金のための情報、パスワード、および送信機IDのうちの少なくとも1つをサーバ8013に送信する。サーバ8013は、ユーザごとに、ユーザIDと支払い情報とを紐付けて管理している。そして、サーバ8013は、受信機8011から送信される情報に基づいて、ユーザIDを特定し、そのユーザIDに紐付けられた支払い情報を確認する。この確認によって、サーバ8013は、ユーザに対してコンテンツの購入を許可するか否かを判断する。そして、サーバ8013は、許可すると判断すると、許可情報を受信機8011に送信する。受信機8011は、許可情報を受信すると、その許可情報を送信機8012に送信する。許可情報を受信した送信機8012は、そのコンテンツを例えばネットワークを介して取得して再生する。
 また、送信機8012は、輝度変化することによって送信機8012のIDを含む情報を受信機8011に対して送信してもよい。この場合、受信機8011は、その情報をサーバ8013に送信する。サーバ8013は、その情報を取得すると、その送信機8012によって例えばテレビ番組が視聴されていると判断することができ、テレビ番組の視聴率調査を行うことができる。
 また、受信機8011は、ユーザによって操作された内容(投票など)を上述の情報に含めてサーバ8013に送信することによって、サーバ8013は、その内容をテレビ番組に反映することができる。つまり、視聴者参加型の番組を実現することができる。さらに、受信機8011は、ユーザによる書き込みを受け付けた場合には、その書き込みの内容を上述の情報に含めてサーバ8013に送信することによって、サーバ8013は、その書き込みをテレビ番組やネットワーク上の掲示板などに反映することができる。
 さらに、送信機8012が上述のような情報を送信することによって、サーバ8013は、有料放送またはオンデマンドプログラムによるテレビ番組の視聴に対して課金を行うことができる。また、サーバ8013は、受信機8011に対して広告を表示させたり、送信機8012に表示されるテレビ番組の詳細情報を表示させてり、その詳細情報を示すサイトのURLを表示させたりすることができる。さらに、サーバ8013は、受信機8011によって広告が表示された回数、または、その広告によって購入された商品の金額などを取得することによって、その回数または金額に応じた課金を広告主に対して行うことができる。このような金額による課金は、広告を見たユーザがその商品をすぐに購入しなくても行うことができる。また、サーバ8013は、送信機8012から受信機8011を介して送信機8012のメーカを示す情報を取得したときには、その情報によって示されるメーカに対してサービス(例えば、上述の商品の販売に対する報酬の支払い)を行うことができる。
 図350は、本実施の形態における受信機の動作の他の例を示す図である。
 例えば、ユーザは、受信機8021のカメラを、照明として構成された複数の送信機8020a~8020dに向ける。このとき、送信機8020a~8020dのそれぞれが順に被写体として撮影されるように受信機8021が動かされる。そして、受信機8021は、その動かされている間に可視光通信を行うことによって、各送信機8020a~8020dから信号を受信する。これらの信号には、送信機の位置を示す情報が含まれている。受信機8021は、その受信された送信機8020a~8020dからの信号によって示される位置と、受信機8021に備えられた9軸センサの検出結果と、撮影によって得られた画像の動きとに基づいて、三角測量の原理を用いて、受信機8021の位置を推定する。この場合には、受信機8021が動かされることによって、9軸センサ(特に、地磁気センサ)のドリフトが解消されため、より精度の高い位置を推定することができる。
 図351は、本実施の形態における受信機の動作の他の例を示す図である。
 受信機8030は、例えば、カメラを備えたヘッドマウントディスプレイとして構成されている。この受信機8030は、開始ボタンが押下されたときに、可視光通信モードによる撮影、つまり可視光通信を開始する。そして、可視光通信によって信号が受信された場合には、受信機8030は、その受信された信号に応じた情報をユーザに通知する。この通知は、例えば、受信機8030に備えられたスピーカから音声が出力されることによって行われたり、画像の表示によって行われる。また、可視光通信は、開始ボタンが押下されたとき以外にも、開始を指示する音声の入力が受信機8030に受け付けられたとき、または開始を指示する信号が無線通信で受信機8030に受信されたきに、開始されてもよい。また、受信機8030に備えられた9軸センサによって得られた値の変化幅が所定の範囲を超えたとき、または、通常撮影画像に輝線模様が少しでも現れたときに、可視光通信を開始してもよい。
 図352は、本実施の形態における受信機の初期設定の例を示す図である。
 受信機8030は、初期設定時には、位置合わせ画像8031を表示する。この位置合わせ画像8031は、受信機8030のカメラによる撮影によって得られる画像内においてユーザによって指し示される位置と、受信機8030によって表示される画像との位置合わせを行うためのものである。この位置合わせ画像8031によって示される円の位置にユーザが指先を合わせると、受信機8030は、その指先の位置と、円の位置とを関連付けて、位置合わせを行う。つまり、ユーザによって指し示される位置のキャリブレーションが行われる。
 図353は、本実施の形態における受信機の動作の他の例を示す図である。
 受信機8030は、可視光通信によって、信号が送信されている箇所を特定すると、その箇所に輝線模様が映し出された合成画像8034を表示する。ユーザは、その輝線模様に対してタップまたはダブルタップなどの操作を行う。受信機8030は、この操作を受け付けると、その操作の対象とされた輝線模様を特定し、その輝線模様に対応する箇所から送信されている信号に基づく情報通知画像8032を表示する。
 図354は、本実施の形態における受信機の動作の他の例を示す図である。
 受信機8030は、上述と同様に、合成画像8034を表示する。ここで、ユーザは、合成画像8034中の輝線模様を囲うように指先を動かす操作を行う。受信機8030は、この操作を受け付けると、その操作の対象とされた輝線模様を特定し、その輝線模様に対応する箇所から送信されている信号に基づく情報通知画像8032を表示する。
 図355は、本実施の形態における受信機の動作の他の例を示す図である。
 受信機8030は、上述と同様に、合成画像8034を表示する。ここで、ユーザは、合成画像8034中の輝線模様に指先を予め定められた時間以上あてる操作を行う。受信機8030は、この操作を受け付けると、その操作の対象とされた輝線模様を特定し、その輝線模様に対応する箇所から送信されている信号に基づく情報通知画像8032を表示する。
 図356は、本実施の形態における受信機の動作の他の例を示す図である。
 受信機8030は、上述と同様に、合成画像8034を表示する。ここで、ユーザは、スワイプによって指先を合成画像8034の輝線模様に向かって動かす操作を行う。受信機8030は、この操作を受け付けると、その操作の対象とされた輝線模様を特定し、その輝線模様に対応する箇所から送信されている信号に基づく情報通知画像8032を表示する。
 図357は、本実施の形態における受信機の動作の他の例を示す図である。
 受信機8030は、上述と同様に、合成画像8034を表示する。ここで、ユーザは、視線を合成画像8034の輝線模様に向けた状態を予め定められた時間以上継続する操作を行う。または、ユーザは、視線をその輝線模様に向けた状態で予め定めら回数だけ瞬きする操作を行う。受信機8030は、この操作を受け付けると、その操作の対象とされた輝線模様を特定し、その輝線模様に対応する箇所から送信されている信号に基づく情報通知画像8032を表示する。
 図358は、本実施の形態における受信機の動作の他の例を示す図である。
 受信機8030は、上述と同様に、合成画像8034を表示するとともに、合成画像8034中の輝線模様のそれぞれに関連付けられた矢印を表示する。これらの矢印は、輝線模様ごとに異なる方向に向いている。ここで、ユーザは、何れかの矢印に沿って頭を動かす操作を行う。受信機8030は、9軸センサによる検出結果に基づいてこの操作を受け付けると、その操作に対応する矢印、つまり頭を動かした方向に向いている矢印に関連付けられた輝線模様を特定する。そして、受信機8030は、その輝線模様に対応する箇所から送信されている信号に基づく情報通知画像8032を表示する。
 図359Aは、本実施の形態における受信機の操作に用いられるペンを示す図である。
 ペン8033は、輝度変化によって信号を送信する送信機8033aと、ボタン8033bと、ボタン8033cとを備える。ボタン8033bが押下されると、送信機8033aは、予め定められた第1の信号を送信し、ボタン8033cが押下されると、送信機8033aは、第1の信号とは異なる予め定められた第2の信号を送信する。
 図359Bは、本実施の形態におけるペンを用いた受信機の動作を示す図である。
 ペン8033は、上述のユーザの指先の代わりとして用いられ、スタイラスペンのように用いられる。また、ボタン8033bとボタン8033cとを使い分けることによって、ペン8033を通常のペンとして用いたり、消しゴムのように用いたりすることができる。
 図360は、本実施の形態における受信機の外観の一例を示す図である。
 受信機8030は、第1のタッチセンサ8030aと、第2のタッチセンサ8030bとを備えている。これらのタッチセンサは、受信機8030のフレームに取り付けられている。例えば、ユーザが第1のタッチセンサ8030aに指先を当てて動かすと、受信機8030は、ユーザに表示する画像上において、ポインタをその指先の動きに合わせて動かす。また、ユーザが第2のタッチセンサ8030bに触れると、受信機8030は、ユーザに表示する画像上においてポインタが当てられているオブジェクトを選択する処理を行う。
 図361は、本実施の形態における受信機の外観の他の例を示す図である。
 受信機8030は、タッチセンサ8030cを備えている。このタッチセンサ8030cは、受信機8030のフレームに取り付けられている。例えば、ユーザがタッチセンサ8030cに指先を当てて動かすと、受信機8030は、ユーザに表示する画像上において、ポインタをその指先の動きに合わせて動かす。また、ユーザがタッチセンサ8030cを押下すると、受信機8030は、ユーザに表示する画像上においてポインタが当てられているオブジェクトを選択する処理を行う。つまり、タッチセンサ8030cは、いわゆるクリッカブルタッチセンサとして構成されている。
 図362は、本実施の形態における受信機の動作の他の例を示す図である。
 受信機8030は、上述と同様に、合成画像8034を表示するとともに、合成画像8034中に上述のポインタ8035を表示する。受信機8030が第1のタッチセンサ8030aと、第2のタッチセンサ8030bとを備えている場合、ユーザは、第1のタッチセンサ8030aに指先を当てて動かすことによって、そのポインタを動かし、輝線模様であるオブジェクトにそのポインタを当てる。そして、ユーザは、第2のタッチセンサ8030bに触れることによって、その輝線模様を受信機8030に選択させる。受信機8030は、輝線模様を選択すると、その輝線模様の箇所から送信されている信号に基づく情報通知画像8032を表示する。
 また、受信機8030がタッチセンサ8030cを備えている場合、ユーザは、タッチセンサ8030cに指先を当てて動かすことによって、そのポインタを動かし、輝線模様であるオブジェクトにそのポインタを当てる。そして、ユーザは、タッチセンサ8030cを押下することによって、その輝線模様を受信機8030に選択させる。受信機8030は、輝線模様を選択すると、その輝線模様の箇所から送信されている信号に基づく情報通知画像8032を表示する。
 図363Aは、本実施の形態における受信機の動作の他の例を示す図である。
 受信機8030は、可視光通信を行うことによって得られた信号に基づいて、ジェスチャ確認画像8036を表示する。このジェスチャ確認画像8036は、例えばサービスをユーザに提供するために、そのユーザに所定のジェスチャを促すものである。
 図363Bは、本実施の形態における受信機を用いた応用例を示す図である。
 ユーザ8038は、受信機8030を装着して例えば店舗にいる。ここで、受信機8030は、ユーザ8038に上述のジェスチャ確認画像8036を表示する。ユーザ8038は、そのジェスチャ確認画像8036にしたがって所定のジェスチャを行う。ここで、店舗にいる店員8039は、受信機8037を装着している。受信機8037は、カメラを備えたヘッドマウントディスプレイとして構成されており、受信機8030と同一の構成を有していてもよい。受信機8037も、可視光通信を行うことによって得られた信号に基づいて、ジェスチャ確認画像8036を表示している。店員8039は、表示されているジェスチャ確認画像8036によって示される所定のジェスチャと、ユーザ8038によって行われているジェスチャとが一致していか否かを判断する。店員8039は、一致していると判断したときには、ユーザ8038に対して、ジェスチャ確認画像8036に関連付けらたサービスを提供する。
 図364Aは、本実施の形態における受信機の動作の他の例を示す図である。
 受信機8030は、可視光通信を行うことによって得られた信号に基づいて、ジェスチャ確認画像8040を表示する。このジェスチャ確認画像8040は、例えば無線通信を許可するために、ユーザに所定のジェスチャを促すものである。
 図364Bは、本実施の形態における受信機を用いた応用例を示す図である。
 ユーザ8038は、受信機8030を装着している。ここで、受信機8030は、ユーザ8038に上述のジェスチャ確認画像8040を表示する。ユーザ8038は、そのジェスチャ確認画像8040にしたがって所定のジェスチャを行う。ここで、ユーザ8038の周囲にいる人8041は、受信機8037を装着している。受信機8037は、カメラを備えたヘッドマウントディスプレイとして構成されており、受信機8030と同一の構成を有していてもよい。受信機8037は、ユーザ8038によって行われている所定のジェスチャを撮影することによって、そのジェスチャに含まれるパスワードなどの認証情報を取得する。そして、受信機8037は、その認証情報が予め定められた情報と一致すると判断すると、受信機8030との間の無線接続を確立する。この確立が行われた後には、受信機8030と受信機8037とは互いに無線通信を行うことができる。
 図365Aは、本実施の形態における送信機の動作の一例を示す図である。
 送信機は、例えば予め定められた周期で、信号1と信号2とを交互に送信する。信号1の送信と、信号2の送信とは、それぞれ可視光の点滅などの輝度変化によって行われる。また、信号1を送信するための輝度変化のパターンと、信号2を送信するための輝度変化のパターンとは互いに異なる。
 図365Bは、本実施の形態における送信機の動作の他の例を示す図である。
 送信機は、上述のように信号1と信号2とを連続して送信することなく、緩衝時間を空けて断続的に信号1と信号2とを送信してもよい。ここで、送信機は、緩衝時間には輝度変化を行わない。または、送信機は、緩衝時間には、緩衝時間であることを示す信号を輝度変化によって送信したり、信号1および信号2のそれぞれを送信するための輝度変化と異なる輝度変化を行ってもよい。これにより、受信機は信号1と信号2とを混信することなく適切に受信することができる。
 図366は、本実施の形態における送信機の動作の他の例を示す図である。
 送信機は、プリアンブル、ブロック1、ブロック2、ブロック3およびチェック信号からなる構成単位の信号列を、輝度変化によって繰り返し送信する。ここで、ブロック1は、プリアンブル、アドレス1、データ1およびチェック信号を有する。ブロック2およびブロック3もブロック1と同様に構成されている。また、ブロック1、ブロック2およびブロック3のそれぞれに含まれるデータを用いることによって、特定の情報が得られる。
 つまり、上述のような信号列では、1つのデータまたは情報が3つのブロックに分けて格納されている。したがって、上記実施の形態1~13に示すように撮影にブランキング期間が必要である受信機は、1つの信号列からブロック1、ブロック2およびブロック3の全てのデータを受信することができなくても、他の信号列から残りのデータを受信することができる。その結果、ブランキング期間を要する受信機であっても、少なくとも1つの信号列から特定の情報を適切に取得することができる。
 また、上述のような信号列では、3つのブロックの集合に対してプリアンブルとチェック信号とが配置されている。したがって、ブランキング期間を要することなく受光可能な受信機、例えば、照度センサなどを備えた受信機は、その集合に対して配置されたプリアンブルとチェック信号とを用いることによって、1つの信号列を一度に受信することができ、特定の情報を短期間に取得することができる。
 図367は、本実施の形態における送信機の動作の他の例を示す図である。
 送信機は、上述のように、ブロック1、ブロック2およびブロック3を含む構成単位の信号列を繰り返し送信する際には、信号列ごとに、その信号列に含まれるブロックの配置を変更してもよい。例えば、最初の信号列には、ブロック1、ブロック2、ブロック3の順に各ブロックが配置され、次の信号列には、ブロック3、ブロック1、ブロック2の順に各ブロックが配置される。これにより、周期的なブランキング期間を要する受信機によって同じブロックだけが取得されることを避けることができる。
 図368は、本実施の形態における複数の送信機と受信機との間の通信形態の一例を示す図である。
 受信機8050は、照明として構成される送信機8051aおよび送信機8051bから送信されて反射面で反射された信号(可視光)を受信してもよい。これにより、多くの送信機からの信号を纏めて受信することができる。また、この場合には、送信機8051aおよび送信機8051bはそれぞれ互いに異なる周波数またはプロトコルの信号を送信する。これにより、受信機8050はそれらの送信機からの信号を混信せずに受信することができる。
 図369は、本実施の形態における複数の送信機の動作の一例を示す図である。
 送信機8051aおよび送信機8051bのうちの一方は、他方からの信号の送信状況を監視し、他方の信号との混信を防ぐように、信号を送信してもよい。例えば、一方の送信機は、他方の送信機から送信された信号を受信し、その信号と異なるプロトコルの信号を送信する。または、一方の送信機は、他方の送信機から信号が送信されていない期間を検出し、その期間に信号を送信する。
 図370は、本実施の形態における複数の送信機と受信機との間の通信形態の他の例を示す図である。
 送信機8051aおよび送信機8051bは、それぞれ同じ周波数またはプロトコルの信号を送信してもよい。この場合、受信機8050は、それらの送信機から送信される信号の強度、すなわち、撮影によって得られた画像に含まれる輝線のエッジ強度を特定する。この強度は、受信機8050と送信機との間の距離が長いほど弱くなる。受信機8050と送信機8051aおよび送信機8051bのそれぞれとの間の距離が異なる場合には、このような距離の違いを利用することができる。つまり、受信機8050は、その特定された強度によって、送信機8051aおよび送信機8051bのそれぞれから送信された信号を適切に分離して受信することができる。
 図371は、本実施の形態における受信機の動作の他の例を示す図である。
 受信機8050は、送信機8051aから送信されて反射面で反射された信号を受信する。このとき、受信機8050は、撮影によって得られた画像内における輝度の強度分布(複数の位置での輝度の差)に基づいて送信機8051aの位置を推定してもよい。
 図372は、本実施の形態における受信機の応用例を示す図である。
 例えばスマートフォンとして構成される受信機7510aは、バックカメラ(アウトカメラ)7510cで光源7510bを撮像し、光源7510bから送信された信号を受信し、受信した信号から光源7510bの位置と向きを取得する。受信機7510aは、光源7510bの撮像画像中における写り方や、受信機7510aに備えた9軸センサのセンサ値から、受信機7510a自身の位置と向きを推定する。受信機7510aは、フロントカメラ(フェイスカメラ、インカメラ)7510fで、ユーザ7510eを撮像し、画像処理によって、7510eの頭部の位置と向き、及び、視線方向(眼球の位置と向き)を推定する。受信機7510aは、推定結果をサーバに送信する。受信機7510aは、ユーザ7510eの視線方向に応じて挙動(ディスプレイの表示内容や再生音)を変更する。バックカメラ7510cによる撮像と、フロントカメラ7510fによる撮像は、同時に行なっても良いし、交互に行なっても良い。
 図373は、本実施の形態における受信機の応用例を示す図である。
 例えばスマートフォンとして構成される受信機7511d、7511iは、前述と同様に、光源7511b、7511gからの信号を受信し、自身の位置と向きを推定し、ユーザ7511e、7511jの視線方向を推定する。また、受信機7511d、7511iは、受信したデータを基に、周辺の物体7511a~7511c、7511f~7511hの情報をサーバから取得する。受信機7511d、7511iは、ユーザから見て受信機7511d、7511iを透過して向こう側の物体が見えているかのように、ディスプレイの表示を変化させる。受信機7511d、7511iは、ディスプレイに写っている内容に応じて、7511kのようなAR(拡張現実)オブジェクトを表示する。受信機7511iは、ユーザ7511jの視線がカメラの撮像の撮像範囲を超えているときは、7511lのように、範囲外であることを表示する。または、範囲外の領域にARオブジェクトや他の情報を表示する。または、範囲外領域を過去に撮像した際の画像をつなぎあわせて表示する。
 図374は、本実施の形態における受信機の応用例を示す図である。
 例えばスマートフォンとして構成される受信機7512cは、前述と同様に、光源7512aからの信号を受信し、自身の位置と向きを推定し、ユーザ7512dの視線方向を推定する。受信機7512cは、ユーザ7512dの視線方向にある物体7512bに関する処理を行う。例えば、物体7512bに関する情報を画面に表示する。ユーザ7512hの視線方向が、物体7512fから受信機7512gへ移動したときは、受信機7512gは、ユーザ7512hの興味が物体7512fにあると判断し、物体7512fに関する処理を継続する。例えば、物体7512fの情報を画面に表示したままにする。
 図375は、本実施の形態における送信機の応用例を示す図である。
 例えば、照明として構成される送信機7513aは、輝度が高く、送信信号として輝度が高い(ハイ)ときも、輝度が低い(ロー)ときも、受信機で撮像した場合に上限の明るさを超え、7513bのように輝線が現れない。そこで、7513cに示すように、散光板やプリズムのように光を拡散したり弱めたりする部分7513dを備えて輝度を低下させることで、受信機は、7513eのように輝線を撮像することができる。
 図376は、本実施の形態における送信機の応用例を示す図である。
 例えば、照明として構成される送信機7514aは、光源が一様ではないため、撮像画像は7514bのように、輝度にムラが発生し、受信エラーを誘発する。そこで、7514cに示すように、散光板やプリズムのように光を拡散させる部分7514dを備えて輝度が一様になるようにすることで、受信エラーを抑制することができる。
 図377は、本実施の形態における受信方法の応用例を示す図である。
 送信機7515a、7515bは、中心部分の輝度が高く受信機の撮像画像に輝線が現れず、周辺部分には輝線が現れる。受信機は、輝線が途切れるため7515dの部分からは信号を受信できないが、7515cの部分から信号を受信できる。受信機は、7515eの経路で輝線を読み取ることで、7515cの部分よりも多くの輝線から信号を受信できる。
 図378は、本実施の形態における送信機の応用例を示す図である。
 例えば、照明として構成される送信機7516a、7516b、7516c、7516dは、7513aと同様に輝度が高く、受信機で撮像した際に輝線が生じにくい。そこで、散光板・プリズム7516eや、反射板7516fや、反射板・ハーフミラー7516gや、反射板7516hや、散光板・プリズム7516jを備えることで、光を拡散させ、輝線が生じる部分を広くすることができる。これらの送信機は、撮像画像は7515aのように周囲に輝線が生じる形で撮像される。受信機は、撮像画像上の送信機の大きさを用いて受信機と送信機の間の距離を推定するため、光が拡散される部分を光源の大きさとして、送信IDと関連付けてサーバ等に記憶させておくことで、受信機は、送信機までの距離を正確に推定できる。
 図379は、本実施の形態における送信機の応用例を示す図である。
 例えば、照明として構成される送信機7517aは、7513aと同様に輝度が高く、受信機で撮像した際に輝線が生じにくい。そこで、反射板7517bを備えることで、光を拡散させ、輝線が生じる部分を広くすることができる。
 図380は、本実施の形態における送信機の応用例を示す図である。
 送信機7518aは、光源からの光を7518cで反射させることで、受信機は輝線を広範囲で撮像できる。送信機7518dは、光源を散光板やプリズム7518eへ向けることで、受信機は輝線を広範囲で撮像できる。
 図381は、本実施の形態における受信機の動作の他の例を示す図である。
 受信機は、上述のような合成画像または中間画像などによって、輝線模様を表示する。このとき、受信機は、この輝線模様に対応する送信機からの信号を受信することができなくてもよい。ここで、ユーザが輝線模様に対する操作(例えばタップ)を行うことによってその輝線模様が選択されると、受信機は、光学ズームを行うことによって、その輝線模様の箇所が拡大された合成画像または中間画像を表示する。このような光学ズームが行われることによって、受信機は、その輝線模様に対応する送信機からの信号を適切に受信することができる。つまり、撮像によって得られる画像が小さすぎて、信号を取得することができなくても、光学ズームを行うことによって、その信号を適切に受信することができる。また、信号を取得可能な大きさの画像が表示されている場合であっても、光学ズームを行うことによって、速い受信を行うことができる。
 (本実施の形態のまとめ)
 本実施の形態における情報通信方法は、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する第1の露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記輝線を含む画像である輝線画像を取得する輝線画像取得ステップと、前記輝線画像に基づいて、前記輝線が現われた部位の空間的な位置が識別し得る態様で、前記被写体と当該被写体の周囲とが映し出された表示用画像を表示する画像表示ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより送信情報を取得する情報取得ステップとを含む。
 例えば、図335~図337および図341に示すような合成画像または中間画像が表示用画像として表示される。また、被写体と当該被写体の周囲とが映し出された表示用画像において、輝線が現われた部位の空間的な位置は、輝線模様、信号明示オブジェクト、信号識別オブジェクト、または点線枠などによって識別される。したがって、ユーザは、このような表示画像を見ることによって、輝度変化によって信号を送信している被写体を容易に見つけることができる。
 また、前記情報通信方法は、さらに、前記露光時間よりも長い露光時間を設定する第2の露光時間設定ステップと、前記イメージセンサが、前記被写体と当該被写体の周囲とを前記長い露光時間で撮影することによって、通常撮影画像を取得する通常画像取得ステップと、前記通常撮影画像において前記輝線が現われた部位を、前記輝線画像に基づいて特定し、前記部位を指し示す画像である信号オブジェクトを前記通常撮影画像に重畳することによって、合成画像を生成する合成ステップとを含み、前記画像表示ステップでは、前記合成画像を前記表示用画像として表示してもよい。
 例えば、信号オブジェクトは、輝線模様、信号明示オブジェクト、信号識別オブジェクト、または点線枠などであって、図336、図337および図341に示すように、合成画像が表示用画像として表示される。これにより、ユーザは、輝度変化によって信号を送信している被写体をさらに容易に見つけることができる。
 また、前記第1の露光時間設定ステップでは、露光時間を1/3000秒に設定し、前記輝線画像取得ステップでは、前記被写体の周囲が映し出された前記輝線画像を取得し、前記画像表示ステップでは、前記輝線画像を前記表示用画像として表示してもよい。
 例えば、図335に示すように、輝線画像は中間画像として取得されて表示される。したがって、通常撮影画像と可視光通信画像とを取得して合成するなどの処理を行う必要がなく、処理の簡略化を図ることができる。
 また、前記イメージセンサは、第1のイメージセンサと第2のイメージセンサを含み、前記通常画像取得ステップでは、前記第1のイメージセンサが撮影することによって、前記通常撮影画像を取得し、前記輝線画像取得ステップでは、前記第2のイメージセンサが前記第1のイメージセンサの撮影と同時に撮影することによって、前記輝線画像を取得してもよい。
 例えば、図337に示すように、通常撮影画像と輝線画像である可視光通信画像とがそれぞれのカメラで取得される。したがって、1つのカメラで通常撮影画像と可視光通信画像とを取得する場合と比べて、それらの画像を早く取得することができ、処理を高速化することができる。
 また、前記情報通信方法は、さらに、前記表示用画像における前記輝線が現われた部位がユーザによる操作によって指定された場合には、指定された部位の前記輝線のパターンから取得された前記送信情報に基づく提示情報を提示する情報提示ステップを含んでもよい。例えば、前記ユーザによる操作は、タップ、スワイプ、前記部位に指先を所定の時間以上継続して当てる操作、前記部位に視線を向けた状態を所定の時間以上継続する操作、前記部位に関連付けて示される矢印に前記ユーザの身体の一部を動かす操作、輝度変化するペン先を前記部位に当てる操作、または、タッチセンサに触れることによって、前記表示用画像に表示されているポインタを前記部位に当てる操作である。
 例えば、図343~図348、図353~図362に示すように、提示情報が情報通知画像として表示される。これにより、ユーザに所望の情報を提示することができる。
 また、前記イメージセンサはヘッドマウントディスプレイに備えられ、前記画像表示ステップでは、前記ヘッドマウントディスプレイに搭載されたプロジェクタが前記表示用画像を表示してもよい。
 これにより、例えば、図351~図358に示すように、簡単に情報をユーザに提示することができる。
 また、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する第1の露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記輝線を含む画像である輝線画像を取得する輝線画像取得ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップとを含み、前記輝線画像取得ステップでは、前記イメージセンサが移動されている期間に、複数の前記被写体を撮影することによって、前記輝線が現われた部位を複数含む前記輝線画像を取得し、前記情報取得ステップでは、前記部位ごとに、当該部位の前記輝線のパターンによって特定されるデータを復調することによって、複数の前記被写体のそれぞれの位置を取得し、前記情報通信方法は、さらに、取得された複数の前記被写体のそれぞれの位置、および前記イメージセンサの移動状態に基づいて、前記イメージセンサの位置を推定する位置推定ステップを含んでもよい。
 これにより、例えば、図350に示すように、複数の照明などの被写体による輝度変化によって、イメージセンサを含む受信機の位置を正確に推定することができる。
 また、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する第1の露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記輝線を含む画像である輝線画像を取得する輝線画像取得ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップと、取得された前記情報を提示する情報提示ステップとを含み、前記情報提示ステップでは、前記イメージセンサのユーザに対して、予め定められたジェスチャを促す画像を前記情報として提示してもよい。
 これにより、例えば、図363A~図364Bに示すように、ユーザが、促されたとおりのジェスチャを行うか否かによって、そのユーザに対する認証などを行うことができ、利便性を高めることができる。
 また、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記輝線を含む輝線画像を取得する画像取得ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップとを含み、前記画像取得ステップでは、反射面に映る複数の前記被写体を撮影することによって前記輝線画像を取得し、前記情報取得ステップでは、前記輝線画像に含まれる輝線の強度に応じて、前記輝線を、複数の前記被写体のそれぞれに対応する輝線に分離し、前記被写体ごとに、当該被写体に対応する輝線のパターンによって特定されるデータを復調することにより情報を取得してもよい。
 これにより、例えば、図370に示すように、複数の照明などの被写体がそれぞれ輝度変化する場合でも、被写体のそれぞれから適切な情報を取得することができる。
 また、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記輝線を含む輝線画像を取得する画像取得ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップとを含み、前記画像取得ステップでは、反射面に映る前記被写体を撮影することによって前記輝線画像を取得し、前記情報通信方法は、さらに、前記輝線画像内における輝度分布に基づいて、前記被写体の位置を推定する位置推定ステップを含んでもよい。
 これにより、例えば、図371に示すように、輝度分布に基づいて適切な被写体の位置を推定することができる。
 また、輝度変化によって信号を送信する情報通信方法であって、送信対象の第1の信号を変調することによって、輝度変化の第1のパターンを決定する第1の決定ステップと、送信対象の第2の信号を変調することによって、輝度変化の第2のパターンを決定する第2の決定ステップと、発光体が、決定された前記第1のパターンにしたがった輝度変化と、決定された前記第2のパターンにしたがった輝度変化とを、交互に行うことによって、前記第1および第2の信号を送信する送信ステップとを含んでもよい。
 これにより、例えば、図365Aに示すように、第1の信号と第2の信号とをそれぞれ遅滞なく送信することができる。
 また、前記送信ステップでは、輝度変化を、前記第1のパターンにしたがった輝度変化と、前記第2のパターンにしたがった輝度変化とで切り替えるときには、緩衝時間を空けて切り替えてもよい。
 これにより、例えば、図365Bに示すように、第1の信号と第2の信号との混信を抑えることができる。
 また、輝度変化によって信号を送信する情報通信方法であって、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定ステップと、発光体が、決定された前記パターンにしたがって輝度変化することによって前記送信対象の信号を送信する送信ステップとを含み、前記信号は、複数の大ブロックからなり、前記複数の大ブロックのそれぞれは、第1のデータと、前記第1のデータに対するプリアンブルと、前記第1のデータに対するチェック信号とを含み、前記第1のデータは、複数の小ブロックからなり、前記小ブロックは、第2のデータと、前記第2のデータに対するプリアンブルと、前記第2のデータに対するチェック信号とを含んでもよい。
 これにより、例えば、図366に示すように、ブランキング期間を要する受信機でも、ブランキング期間を必要としない受信機でも、適切にデータを取得することができる。
 また、輝度変化によって信号を送信する情報通信方法であって、複数の送信機がそれぞれ、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定ステップと、送信機ごとに、当該送信機に備えられた発光体が、決定された前記パターンにしたがって輝度変化することによって前記送信対象の信号を送信する送信ステップとを含み、前記送信ステップでは、互いに周波数またはプロトコルが異なる信号を送信してもよい。
 これにより、例えば、図368に示すように、複数の送信機からの信号の混信を抑えることができる。
 また、輝度変化によって信号を送信する情報通信方法であって、複数の送信機がそれぞれ、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定ステップと、送信機ごとに、当該送信機に備えられた発光体が、決定された前記パターンにしたがって輝度変化することによって前記送信対象の信号を送信する送信ステップとを含み、前記送信ステップでは、前記複数の送信機のうちの1つの送信機は、他方の送信機から送信される信号を受信し、受信された信号と混信しない態様で、他の信号を送信してもよい。
 これにより、例えば、図369に示すように、複数の送信機からの信号の混信を抑えることができる。
 (実施の形態15)
 本実施の形態では、上記実施の形態1~14におけるスマートフォンなどの受信機と、LEDや有機ELなどの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
 図382は、実施の形態15における受信機の動作の一例を示すフローチャートである。
 まず、受信機は、照度センサで信号を受信する(8101)。次に、受信機は、受信した信号を基に、サーバから位置情報などの情報を取得する(8102)。次に、受信機は、照度センサの受光方向を撮像可能なイメージセンサを起動する(8103)。次に、受信機は、イメージセンサで信号の一部または全部を受信し、その一部または全部が、照度センサで受信した信号と同一の信号であるかどうかを確認する(8104)。次に、受信機は、撮像画像(撮影画像)中の送信機の位置と、受信機に備えられた9軸センサからの情報と、送信機の位置情報とから、受信機の位置を推定する(8105)。このように、受信機は、消費電力の少ない照度センサを起動しておき、その照度センサによって信号が受信された場合に、イメージセンサを起動する。そして、受信機は、そのイメージセンサによる撮像を利用した位置推定を行う。これによって、消費電力を抑えながら、受信機の位置を精度よく推定することができる。
 図383は、実施の形態15における受信機の動作の他の例を示すフローチャートである。
 受信機は、照度センサのセンサ値から、輝度の周期的な変化を認識する(8111)。次に、受信機は、照度センサの受光方向を撮像可能なイメージセンサを起動し、信号を受信する(8112)。つまり、上述と同様に、受信機は、消費電力の少ない照度センサを起動しておき、その照度センサによって輝度の周期的な変化が受信された場合に、イメージセンサを起動する。そして、受信機は、そのイメージセンサによる撮像によって、正確な信号を受信する。これにより、消費電力を抑えながら、正確な信号を受信することができる。
 図384Aは、実施の形態15における送信機の一例を示すブロック図である。
 送信機8115は、電源部8115aと、信号制御部8115bと、発光部8115cと、発光部8115dとを備える。電源部8115aは、信号制御部8115bに電力を供給する。信号制御部8115bは、その電源部8115aから供給される電力を、発光部8115cおよび発光部8115dに振り分け、発光部8115cおよび発光部8115dの輝度変化を制御する。
 図384Bは、実施の形態15における送信機の他の例を示すブロック図である。
 送信機8116は、電源部8116aと、信号制御部8116bと、発光部8116cと、発光部8116dとを備える。電源部8116aは、発光部8116cおよび発光部8116dに電力を供給する。ここで、信号制御部8116bは、電源部8116aから供給される電力を制御することによって、発光部8116cおよび発光部8116dの輝度変化を制御する。このように、発光部8116cおよび発光部8116dのそれぞれに電力を供給する電源部8116aが信号制御部8116bに制御されることによって、電力の使用効率を高めることができる。
 図385は、実施の形態15における複数の送信機を含むシステムの構成例を示す図である。
 このシステムは、集中制御部8118、送信機8117および送信機8120を備える。集中制御部8118は、送信機8117および送信機8120のそれぞれの輝度変化による信号の送信を制御する。例えば、集中制御部8118は、送信機8117および送信機8120のそれぞれから同じタイミングで同じ信号を送信させたり、何れか一方の送信機のみに、その送信機に固有の信号を送信させたりする。
 送信機8120は、2つの送信ユニット8121および8122と、信号変更部8123と、信号記憶部8124と、同期信号入力部8125と、同期制御部8126と、受光部8127とを備える。
 2つの送信ユニット8121および8122は、それぞれ図384Aに示す送信機8115と同様の構成を有し、輝度変化することによって信号を送信する。具体的には、送信ユニット8121は、電源部8121a、信号制御部8121b、発光部8121cおよび発光部8121dを備える。送信ユニット8122は、電源部8122a、信号制御部8122b、発光部8122cおよび発光部8122dを備える。
 信号変更部8123は、送信対象の信号を輝度変化のパターンを示す信号に変調する。信号記憶部8124は、その輝度変化のパターンを示す信号を記憶している。送信ユニット121の信号制御部8121bは、信号記憶部8124に格納されている信号を読み出して、その信号に応じて発光部8121cおよび発光部8121dを輝度変化させる。
 同期信号入力部8125は、集中制御部8118による制御に応じて同期信号を取得する。同期制御部8126は、その同期信号が取得されると、送信ユニット8121と送信ユニット8122との輝度変化を同期させる。つまり、同期制御部8126は、信号制御部8121bおよび信号制御部8122bを制御することによって、送信ユニット8121と送信ユニット8122との輝度変化を同期させる。ここで、受光部8127は、送信ユニット8121と送信ユニット8122からの発光を検出する。同期制御部8126は、その受光部8127によって検出された光に応じて、信号制御部8121bおよび信号制御部8122bへのフィードバック制御を行う。
 図386は、実施の形態15における送信機の他の例を示すブロック図である。
 送信機8130は、輝度変化によって信号を送信する送信ユニット8131と、信号の送信を行わずに発光する非送信ユニット8132とを備える。
 送信ユニット8131は、図384Aに示す送信機8115と同様の構成を有し、電源部8131a、信号制御部8131b、および発光部8131c~8131fを備える。また、非送信ユニット8132は、電源部8132aおよび発光部8132c~8132fを備え、信号制御部を備えていない。つまり、電源を含むユニットが複数あって、それらのユニット間で輝度変化の同期制御ができない場合には、図386に示す構成のように、何れか1つのユニットにのみ信号制御部を備え、その1つのユニットだけを輝度変化させる。
 ここで、このような送信機8130では、送信ユニット8131の発光部8131c~8131fは一列に連続的に配置される。つまり、発光部8131c~8131fの集合に、非送信ユニット8132の発光部8132c~8132fの何れかが混じることはない。これにより、輝度変化する発光体のサイズが大きくなるため、受信機は、その輝度変化によって送信される信号を容易に受信することができる。
 図387Aは、実施の形態15における送信機の一例を示す図である。
 送信機8134は、例えばサイネージとして構成され、3つの発光部(発光領域)8134a~8134cを備える。なお、これらの発光部8134a~8134cからの光は互いに干渉することはない。ここで、発光部8134a~8134cのうちの何れか1つだけを輝度変化させて信号を送信させることができる場合には、図387Aの(a)に示すように、中央にある発光部8134bを輝度変化させることが望ましい。また、発光部8134a~8134cのうちの2つを輝度変化させることができる場合には、図387Aの(b)に示すように、中央にある発光部8134bと、端にある発光部8134aまたは発光部8134cとを輝度変化させることが望ましい。このような位置にある発光部を輝度変化させることによって、受信機は、輝度変化によって送信される信号を適切に受信することができる。
 図387Bは、実施の形態15における送信機の一例を示す図である。
 送信機8135は、例えばサイネージとして構成され、3つの発光部8135a~8135cを備える。なお、これらの発光部8135a~8135cのうちの互いに隣接する発光部からの光は相互に干渉する。ここで、発光部8135a~8135cのうちの何れか1つだけを輝度変化させて信号を送信させることができる場合には、図387Bの(a)に示すように、端に配置されている発光部8135aまたは発光部8135cを輝度変化させることが望ましい。これにより、信号を送信するための輝度変化が他の発光部からの光に干渉されることを抑えることができる。また、発光部8135a~8135cのうちの2つを輝度変化させることができる場合には、図387Bの(b)に示すように、中央にある発光部8135bと、端にある発光部8135aまたは発光部8135cとを輝度変化させることが望ましい。このような位置にある発光部を輝度変化させることによって、輝度変化の面積が大きくなるため、受信機は、輝度変化によって送信される信号を適切に受信することができる。
 図387Cは、実施の形態15における送信機の一例を示す図である。
 送信機8134は、3つの発光部8134a~8134cのうち2つを輝度変化させることがきる場合には、図378Cに示すように、両端にある発光部8134aおよび発光部8134cを輝度変化させてもよい。この場合には、受信機による撮像において、輝度変化する部位が映る撮像範囲を広げることができる。
 図388Aは、実施の形態15における送信機の一例を示す図である。
 送信機8137は例えばサイネージとして構成され、文字部分「A Shop」と発光部8137aとが輝度変化することによって信号を送信する。発光部8137aは例えば水平方向に長い矩形状に形成されて一様に輝度変化する。この発光部8137aが一様に輝度変化することによって、受信機は、輝度変化によって送信される信号を適切に受信することができる。
 図388Bは、実施の形態15における送信機の一例を示す図である。
 送信機8138は例えばサイネージとして構成され、文字部分「A Shop」と発光部8138aとが輝度変化することによって信号を送信する。発光部8138aは例えばサイネージの縁に沿うように枠状に形成されて一様に輝度変化する。つまり、発光部を任意の直線に射影したときに連続した射影部分の長さが最大になるように、その発光部8138aは形成されている。この発光部8138aが一様に輝度変化することによって、受信機は、輝度変化によって送信される信号をより適切に受信することができる。
 図389は、実施の形態15における受信機、送信機およびサーバの処理動作の一例を示す図である。
 例えばスマートフォンとして構成される受信機8142は、自らの位置を示す位置情報を取得し、その位置情報をサーバ8141に送信する。なお、受信機8142は、例えばGPSなどを利用したり、他の信号を受信したときにその位置情報を取得する。サーバ8141は、その位置情報によって示される位置に対応付けられたIDリストを受信機8142に送信する。IDリストには、「abcd」などのIDごとに、そのIDと、そのIDに対応付けられた情報とが含まれている。
 受信機8142は、例えば照明機器として構成される送信機8143から信号を受信する。このとき、受信機8142は、IDの一部(例えば「 b  」)しか上述の信号として受信できない場合がある。この場合、受信機8142は、そのIDの一部を含むIDをIDリストから検索する。一意のIDが見つからない場合には、受信機8142は、さらに、送信機8143から、そのIDの他の部分を含む信号を受信する。これにより、受信機8142は、そのIDのうちのより多くの部分(例えば「 bc  」)を取得する。そして、受信機8142は、そのIDの一部(例えば「 bc  」)を含むIDをIDリストから再び検索する。このような検索を行うことによって、受信機8142は、IDの一部しか取得することができなくても、IDの全てを特定することができる。なお、受信機8142は、送信機8143から信号を受信するときには、IDの一部だけでなく、CRC(Cyclic Redundancy Check)などのチェック部分なども受信する。
 図390は、実施の形態15における受信機、送信機およびサーバの処理動作の一例を示す図である。
 例えばスマートフォンとして構成される受信機8152は、自らの位置を示す位置情報を取得する。なお、受信機8152は、例えばGPSなどを利用したり、他の信号を受信したときにその位置情報を取得する。さらに、受信機8152は、例えば照明機器として構成される送信機8153から信号を受信する。このとき、その信号には、IDのうち、そのIDの一部(例えば「 b  」)だけが含まれている。ここで、受信機8152は、その位置情報とIDの一部とをサーバ8151に送信する。
 サーバ8151は、その位置情報によって示される位置に対応付けられたIDリストから、そのIDの一部を含むIDを検索する。一意のIDが見つからない場合には、サーバ8151はIDの特定が失敗したことを受信機8152に通知する。
 次に、受信機8152は、送信機8153から、そのIDの他の部分を含む信号を受信する。これにより、受信機8152は、そのIDのうちのより多くの部分(例えば「 be  」)を取得する。そして、受信機8152は、そのIDの一部(例えば「 be 」)と位置情報とをサーバ8151に送信する。
 サーバ8151は、その位置情報によって示される位置に対応付けられたIDリストから、そのIDの一部を含むIDを検索する。一意のIDが見つかると、サーバ8151は、そのID(例えば「abef」)が特定されたことを受信機8152に通知するとともに、そのIDに対応付けられた情報を受信機8152に送信する。
 図391は、実施の形態15における受信機、送信機およびサーバの処理動作の一例を示す図である。
 受信機8152は、IDのうちの一部だけでなくその全てを、位置情報とともにサーバ8151に送信してもよい。このとき、その完全な状態のID(例えば「wxyz」)がIDリストに含まれていない場合には、サーバ8151は、受信機8152にエラーを通知する。
 図392Aは、実施の形態15における複数の送信機の同期を説明するための説明図である。
 送信機8155aおよび送信機8155bは輝度変化することによって信号を送信する。ここで、送信機8155aは、同期信号を送信機8155bに送信することによって、その送信機8155bと同期して輝度変化する。また、送信機8155aと送信機8155bとは、それぞれ発信源から信号を取得して、その信号に応じた輝度変化を行う。こで、発信源から送信機8155aへの信号送信にかかる時間(第1の遅延時間)と、発信源から送信機8155bへの信号送信にかかる時間(第2の遅延時間)とが異なる場合がある。そこで、それらの送信機8155a,8155bと発信源との間における信号の往復時間が測定され、それらの往復時間の1/2が上述の第1または第2の遅延時間として特定される。送信機8155aは、それらの第1または第2の遅延時間の差がキャンセルされるように同期信号を送信することによって、送信機8155bと同期した輝度変化を行う。
 図392Bは、実施の形態15における複数の送信機の同期を説明するための説明図である。
 受光センサ8156は、送信機8155aおよび送信機8155bからの光を検出して、その結果を検出信号として送信機8155aおよび送信機8155bに出力する。送信機8155aおよび送信機8155bは、その受光センサ8156からの検出信号を受信すると、その検出信号に基づいて互いに同期した輝度変化を行ったり、信号の強度の調整を行う。
 図393は、実施の形態15における送信機および受信機の動作の一例を示す図である。
 例えばテレビとして構成される送信機8165は、画像と、その画像に対応付けられたID(ID 1000)とを制御部8166から取得する。そして、送信機8165は、その画像を表示するとともに、輝度変化することによって、そのID(ID 1000)を受信機8167に送信する。受信機8167は、撮像することによって、そのID(ID 1000)を受信するとともに、そのID(ID 1000)に対応付けられた情報を表示する。ここで、制御部8166は、送信機8165に出力される画像を他の画像に変更する。このとき、制御部8166は、送信機8165に出力されるIDも変更する。つまり、制御部8166は、その他の画像とともに、他の画像に対応付けられた他のID(ID 1001)を送信機8165に出力する。これにより、送信機8165は、その他の画像を表示するとともに、輝度変化することによって、他のID(ID 1001)を受信機8167に送信する。受信機8167は、撮像することによって、その他のID(ID 1001)を受信するとともに、その他のID(ID 1001)に対応付けられた情報を表示する。
 図394は、実施の形態15における送信機および受信機の動作の一例を示す図である。
 送信機8170は、例えばサイネージとして構成されており、画像を切り替えて表示する。そして、送信機8170は、画像を表示するときには、表示される画像に対応するIDと、その画像が表示される時刻とを示すID時刻情報を、輝度変化することによって受信機8171に送信する。例えば、送信機8170は、時刻t1には、丸い図形を示す画像を表示するとともに、その画像に対応するID(ID:1000)と、その画像が表示されている時刻(TIME:t1)とを示すID時刻情報を送信する。
 ここで、送信機8170は、現在表示されている画像に対応するID時刻情報だけでなく、過去に表示されていた画像に対応するID時刻情報を少なくとも1つ送信する。例えば、送信機8170は、時刻t2には、四角い図形を示す画像を表示するとともに、その画像に対応するID(ID:1001)と、その画像が表示されている時刻(TIME:t2)とを示すID時刻情報を送信する。さらに、このとき、送信機8170は、丸い図形を示す画像に対応するID(ID:1000)と、その画像が表示されていた時刻(TIME:t1)とを示すID時刻情報を送信する。同様に、時刻t3では、送信機8170は、三角形の図形を示す画像を表示するとともに、その画像に対応するID(ID:1002)と、その画像が表示されている時刻(TIME:t3)とを示すID時刻情報を送信する。さらに、このとき、送信機8170は、四角い図形を示す画像に対応するID(ID:1001)と、その画像が表示されていた時刻(TIME:t2)とを示すID時刻情報を送信する。つまり、送信機8170は、複数のID時刻情報を同じタイミングに送信する。
 例えば、ユーザは、四角い図形を示す画像に関連する情報を得るために、その四角い図形を示す画像が表示されている時刻t2に、受信機8171のイメージセンサを送信機8170にかざして、受信機8171による撮像を開始する。
 ここで、受信機8171は、時刻t2に撮像を開始しても、その四角い図形を示す画像が送信機8170に表示されている間に、その画像に対応するID時刻情報を取得することができない場合がある。このような場合であっても、上述のように、過去に表示されていた画像に対応するID時刻情報も送信機8170から送信されているため、受信機8171は、時刻t3には、三角形の図形を示す画像に対応するID時刻情報(ID:1002,TIME:t3)だけでなく、四角い図形を示す画像に対応するID時刻情報(ID:1001,TIME:t2)も取得することができる。そして、受信機8171は、それらのID時刻情報の中から、送信機8170にかざされた時刻(t2)を示すID時刻情報(ID:1001,TIME:t2)を選択し、そのID時刻情報によって示されるID(ID:1001)を特定する。これにより、受信機8171は、時刻t3に、その特定されたID(ID:1001)に基づいて、四角い図形を示す画像に関する情報を例えばサーバなどから得ることができる。
 なお、上述の時刻は、絶対的な時刻に限らず、受信機8171が送信機8170にかざされた時刻と、受信機8171がID時刻情報を取得した時刻との間の時間(いわゆる相対時刻)であってもよい。また、送信機8170は、現在表示されている画像に対応するID時刻情報とともに、過去に表示されていた画像に対応するID時刻情報を送信したが、未来に表示される予定の画像に対応するID時刻情報を送信してもよい。また、送信機8170は、受信機8171による受信が困難な状況にある場合には、送信される過去または未来のID時刻情報の数を増やしてもよい。
 また、送信機8170がサイネージではなくテレビとして構成される場合には、送信機8170は、ID時刻情報の代わりに、表示されている画像に対応するチャンネルを示す情報を送信してもよい。つまり、放送されているテレビ番組の画像がリアルタイムに送信機8170で表示されている場合には、送信機8170で表示された画像の表示時刻は、チャンネルごとに一意に特定することができる。したがって、受信機8171は、撮像によって得られた画像と、そのチャンネルとに基づいて、受信機8171が送信機8170にかざされた時刻、つまり、受信機8171が撮像を開始した時刻を特定することができる。そして、受信機8171は、チャンネルとその時刻とに基づいて、撮像によって得られた画像に関する情報を例えばサーバなどから得ることができる。なお、送信機8170は、ID時刻情報の代わりに、表示されている画像の表示時刻を示す情報を送信してもよい。この場合には、受信機8171は、そのときに放送されている全てのテレビ番組の中から、撮像によって得られた画像を含むテレビ番組を検索し、そのテレビ番組のチャンネルとその表示時刻とに基づいて、その画像に関連する情報をサーバなどから得ることができる。
 図395は、実施の形態15における送信機、受信機およびサーバの動作の一例を示す図である。
 図395の(a)に示すように、受信機8176は、送信機8175を撮像することによって、輝線を含む画像を取得し、その画像から送信機8175のIDを特定(取得)する。さらに、受信機8176は、そのIDをサーバ8177に送信し、そのIDに関連付けられた情報をサーバ8177から取得する。
 一方、図395の(b)に示すように、受信機8176は、送信機8175を撮像することによって、輝線を含む画像を取得し、その画像を撮像データとしてサーバ8177に送信してもよい。また、受信機8176は、輝線を含む画像に対して、画像の情報量が少なくなるような前処理を行い、前処理が行われた画像を撮像データとしてサーバ8177に送信してもよい。この前処理は例えば画像の二値化処理などである。サーバ8177は、その撮像データを取得すると、その撮像データによって示される画像から送信機8175のIDを特定(取得)する。さらに、サーバ8177は、そのIDに関連付けられた情報を受信機8176に送信する。
 図396は、実施の形態15における送信機および受信機の動作の一例を示す図である。
 ユーザが位置Aにいるときには、受信機8183は、輝度変化する送信機8181から送信される信号を取得することによって、受信機8183の位置を特定する。その結果、受信機8183は、その特定された位置を示す点8183bを、その位置の誤差範囲8183aととともに表示する。
 次に、ユーザが位置Aから移動して位置Bに着くと、受信機8183は、送信機8181から信号を取得することができない状態になる。このとき、受信機8183は、自らに備えられている9軸センサなどを用いることによって、自らの位置を推定する。そして、受信機8183は、その推定された位置を示す点8183bを、その位置の誤差範囲8183aととともに表示する。このとき、その位置は、9軸センサによって推定されたものであるため、誤差範囲8183aは広く表示される。
 次に、ユーザが位置Bから移動して位置Cに着くと、受信機8183は、輝度変化する他の送信機8182から送信される信号を取得することによって、受信機8183の位置を特定する。その結果、受信機8183は、その特定された位置を示す点8183bを、その位置の誤差範囲8183aととともに表示する。ここで、受信機8183は、9軸センサを用いて推定された位置を示す点8183bおよび誤差範囲8183aを、上述のように特定された位置および誤差範囲に直ぐに切り替えて表示することなく、滑らかにそれらを移動させて切り替える。また、このときには、誤差範囲8183aは小さくなる。
 図397は、実施の形態15における受信機の外観の一例を示す図である。
 受信機8183は、例えばスマートフォン(高機能携帯電話)として構成され、図397の(a)に示すように、受信機8183の前面には、イメージセンサ8183c、照度センサ8183d、およびディスプレイ8183eが配置されている。イメージセンサ8183cは、上述のように輝度変化する被写体を撮像することによって、輝線を含む画像を取得する。照度センサ8183dは、上述の被写体の輝度変化を検出する。したがって、照度センサ8183dは、被写体の状態または状況によっては、イメージセンサ8183cの代わりとして用いることができる。ディスプレイ8183eは、画像などを表示する。ここで、受信機8183は、輝度変化する被写体としての機能を備えていてもよい。この場合には、受信機8183は、ディスプレイ8183eを輝度変化させることによって信号を送信する。
 また、図397の(b)に示すように、受信機8183の背面には、イメージセンサ8183f、照度センサ8183g、およびフラッシュ発光部8183hが配置されている。イメージセンサ8183fは、上述のイメージセンサ8183cと同じものであって、上述のように輝度変化する被写体を撮像することによって、輝線を含む画像を取得する。照度センサ8183gは、上述の照度センサ8183dと同じものであって、被写体の輝度変化を検出する。したがって、照度センサ8183gは、被写体の状態または状況によっては、イメージセンサ8183fの代わりとして用いることができる。フラッシュ発光部8183hは、撮像のためにフラッシュを発する。ここで、受信機8183は、輝度変化する被写体としての機能を備えていてもよく、この場合には、フラッシュ発光部8183hを輝度変化させることによって信号を送信する。
 図398は、実施の形態15における送信機、受信機およびサーバの動作の一例を示す図である。
 例えばスマートフォントして構成される送信機8185は、ディスプレイ8185aのうちのバーコード部分8185bを除く部分を輝度変化させることによって、すなわち、可視光通信によって、例えば「クーポン 100円引き」を示す情報を送信する。また、送信機8185は、バーコード部分8185bを輝度変化させずに、そのバーコード部分8185bにバーコードを表示させる。このバーコードは、上述の可視光通信によって送信される情報と同じ情報を示す。さらに、送信機8185は、ディスプレイ8185aのうちのバーコード部分8185bを除く部分に、可視光通信によって送信される情報を示す文字または絵、例えば文字「クーポン 100円引き」を表示する。このような文字または絵が表示されることによって、送信機8185のユーザは、どのような情報が送信されているかを容易に把握することができる。
 受信機8186は、撮像することによって、可視光通信によって送信された情報と、バーコードによって示される情報とを取得し、これらの情報をサーバ8187に送信する。サーバ8187は、これらの情報が一致または関連するか否かを判定し、一致または関連すると判定したときには、それらの情報にしたがった処理を実行する。または、サーバ8187は、その判定結果を受信機8186に送信し、受信機8186にそれらの情報にしたがった処理を実行させる。
 なお、送信機8185は、バーコードによって示される情報のうちの一部を可視光通信によって送信してもよい。また、バーコードには、サーバ8187のURLが示されていてもよい。また、送信機8185は、受信機としてIDを取得して、そのIDをサーバ8187に送信することによって、そのIDに対応付けられている情報を取得してもよい。このIDに対応付けられている情報は、上述の可視光通信によって送信される情報、または、バーコードによって示される情報と同一である。また、サーバ8187は、受信機8186を介して送信機8185から送信される情報(可視光通信の情報またはバーコードの情報)に対応付けられたIDを、送信機8185に送信してもよい。
 図399は、実施の形態15における送信機および受信機の動作の一例を示す図である。
 例えばスマートフォントして構成される送信機8185は、ディスプレイ8185aを輝度変化させることによって信号を送信する。受信機8188は、遮光性を有するコーン状の容器8188bと、照度センサ8188aとを備える。照度センサ8188aは、容器8188bの内部に格納され、その容器8188bの先端付近に配置されている。送信機8185から可視光通信によって信号が送信される場合には、受信機8188における容器8188bの開口部(底部)がディスプレイ8185aに向けられる。これにより、容器8188b内には、ディスプレイ8185aからの光以外の光が入り込まないため、受信機8188の照度センサ8188aは、ノイズとなる光の影響を受けることなく、ディスプレイ8185aからの光を適切に受光することができる。その結果、受信機8188は、送信機8185からの信号を適切に受信することができる。
 図400は、実施の形態15における送信機および受信機の動作の一例を示す図である。
 送信機8190は、例えばバス停留所の標識塔として構成されており、輝度変化することによって、バスの運行状況などを示す運行情報を受信機8183に送信する。例えば、バスの行き先と、その行き先のバスがバス停留所に到着する時刻と、そのバスの現在地などを示す運行情報が受信機8183に送信される。受信機8183は、その運行情報を受信すると、その運行情報によって示される内容をディスプレイに表示する。
 ここで、例えば、互いに異なる行き先のバスがそのバス停留所に止まる場合には、送信機8190は、それらの行き先のバスに関する運行情報を送信する。受信機8183は、それらの運行情報を受信すると、それらの運行情報の中から、ユーザによって利用される頻度の多い行き先のバスの運行情報を選択し、その運行情報によって示される内容をディスプレイに表示する。具体的には、受信機8183は、例えばGPSなどを用いることによって、ユーザによって利用されたバスの行き先を特定し、その行き先の履歴を記録している。受信機8183は、この履歴を参照することによって、ユーザによって利用される頻度の多い行き先のバスの運行情報を選択する。または、受信機8183は、それらの運行情報の中から、ユーザの操作によって選択された運行情報によって示される内容をディスプレイに表示してもよい。または、受信機8183は、ユーザの操作によって選択された頻度の多い行き先のバスの運行情報を優先的に表示してもよい。
 図401は、実施の形態15における送信機および受信機の動作の一例を示す図である。
 例えばサイネージとして構成されている送信機8191は、輝度変化することによって、複数の店舗の情報を受信機8183に送信する。この情報は、複数の店舗に関する情報を纏めたものであって、各店舗に固有の情報ではない。したがって、受信機8183は、撮像によってその情報を受信すると、1つの店舗だけでなく複数の店舗に関する情報を表示することができる。ここで、受信機8183は、それらの複数の店舗に関する情報のうち、撮像範囲に含まれている店舗(例えば、「B shop」)に関する情報を選択し、その選択された情報を表示する。また、受信機8183は、その情報を表示する際には、その情報を表すための言語を、予め登録されている言語に翻訳し、その翻訳された言語でその情報を表示する。また、送信機8191には、受信機8183のイメージセンサ(カメラ)による撮像を促すメッセージが文字などによって表示されていてもよい。具体的には、専用のアプリケーションプログラムを起動させて、カメラで撮像を行えば、情報の提供を受けることができることを知らせるメッセージ(例えば「カメラで情報をGET」など)が送信機8191に表示される。
 図402は、実施の形態15における送信機および受信機の動作の一例を示す図である。
 例えば、受信機8183は、複数の人物8197および街灯8195を含む被写体を撮像する。街灯8195は、輝度変化によって情報を送信する送信機8195aを備えている。この撮像によって、受信機8183は、送信機8195aの像が上述の輝線模様として表れた画像を取得する。さらに、受信機8183は、その輝線模様によって示されるIDに関連付けられているARオブジェクト8196aを例えばサーバなどから取得する。そして、受信機8183は、通常撮影によって得られる通常撮影画像8196にそのARオブジェクト8196aを重畳し、そのARオブジェクト8196aが重畳された通常撮影画像8196を表示する。
 図403Aは、実施の形態15における送信機によって送信される情報の構成の一例を示す図である。
 例えば、送信機によって送信される情報は、プリアンブル部と、固定長のデータ部と、チェック部とからなる。受信機は、チェック部を用いてデータ部のチェックを行い、これらの各部分からなる情報を正常に受信する。ここで、受信機は、プリアンブル部とデータ部とを受信し、チェック部を受信することができなかったときには、そのチェック部を用いたチェックを省略する。このようなチェックが省略される場合であっても、受信機は、それらの各部分からなる情報を正常に受信することができる。
 図403Bは、実施の形態15における送信機によって送信される情報の構成の他の例を示す図である。
 例えば、送信機によって送信される情報は、プリアンブル部と、チェック部と、可変長のデータ部とからなる。送信機によって送信される次の情報も、プリアンブル部と、チェック部と、可変長のデータ部とからなる。ここで、受信機は、受信中に、プリアンブル部を受信して、さらに次のプリアンブル部を受信したときに、先のプリアンブル部から次のプリアンブル部の直前までの情報を、1つの意味を成す情報として認識する。また、受信機は、チェック部を用いることによって、そのチェック部の次に受信されるデータ部の終端を特定してもよい。この場合には、受信機は、上述の次のプリアンブル部(プリアンブル部の全てまたは一部)を受信することができなくても、直前に送信された1つの意味を成す情報を適切に受信することができる。
 図404は、実施の形態15における送信機による4値PPM変調方式の一例を示す図である。
 送信機は、4値PPM変調方式によって、送信対象の信号を輝度変化のパターンに変調する。このとき、送信機は、送信対象の信号がどのような信号であっても、輝度変化する光の明るさを一定に保つことができる。
 例えば、明るさを75%に保つ場合には、送信機は、送信対象の信号「00」、「01」、「10」および「11」のそれぞれを、連続する4つのスロットのうちの何れか1つが輝度L(Low)を示し、残りの3つが輝度H(High)を示す輝度変化のパターンに変調する。具体的には、送信機は、送信対象の信号「00」を、1番目のスロットが輝度Lを示し、2~4番目のスロットが輝度Hを示す輝度変化のパターン(L、H、H、H)に変調する。つまり、この輝度変化では、1番目のスロットと2番目のスロットとの間に輝度の立ち上がりがある。これと同様に、送信機は、送信対象の信号「01」を、2番目のスロットが輝度Lを示し、1番目、3番目および4番目のスロットが輝度Hを示す輝度変化のパターン(H、L、H、H)に変調する。つまり、この輝度変化では、2番目のスロットと3番目のスロットとの間に輝度の立ち上がりがある。
 また、明るさを50%に保つ場合には、送信機は、送信対象の信号「00」、「01」、「10」および「11」のそれぞれを、4つのスロットのうちの何れか2つが輝度L(Low)を示し、残りの2つが輝度H(High)を示す輝度変化のパターンに変調する。具体的には、送信機は、送信対象の信号「00」を、1番目および4番目のスロットが輝度Lを示し、2番目および3番目のスロットが輝度Hを示す輝度変化のパターン(L、H、H、L)に変調する。つまり、この輝度変化では、1番目のスロットと2番目のスロットとの間に輝度の立ち上がりがある。これと同様に、送信機は、送信対象の信号「01」を、1番目および2番目のスロットが輝度Lを示し、3番目および4番目のスロットが輝度Hを示す輝度変化のパターン(L、L、H、H)に変調する。または、送信機は、送信対象の信号「01」を、2番目および4番目のスロットが輝度Lを示し、1番目および3番目のスロットが輝度Hを示す輝度変化のパターン(H、L、H、L)に変調する。つまり、これらの輝度変化では、2番目のスロットと3番目のスロットとの間に輝度の立ち上がりがある。
 また、明るさを25%に保つ場合には、送信機は、送信対象の信号「00」、「01」、「10」および「11」のそれぞれを、4つのスロットのうちの何れか3つが輝度L(Low)を示し、残りの1つが輝度H(High)を示す輝度変化のパターンに変調する。具体的には、送信機は、送信対象の信号「00」を、1番目、3番目および4番目のスロットが輝度Lを示し、2番目のスロットが輝度Hを示す輝度変化のパターン(L、H、L、L)に変調する。つまり、この輝度変化では、1番目のスロットと2番目のスロットとの間に輝度の立ち上がりがある。これと同様に、送信機は、送信対象の信号「01」を、1番目、2番目および4番目のスロットが輝度Lを示し、3番目のスロットが輝度Hを示す輝度変化のパターン(L、L、H、L)に変調する。つまり、この輝度変化では、2番目のスロットと3番目のスロットとの間に輝度の立ち上がりがある。
 送信機は、上述のような4値PPM変調方式によって、ちらつきを抑えることができるとともに、明るさを段階的に容易に調節することができる。また、受信機は、輝度の立ち上がりの位置を特定することによって、その輝度変化のパターンを適切に復調することができる。なお、受信機は、4つのスロットからなるスロット群と、次のスロット群との間の境界における輝度の立ち上がりの有無を、輝度変化のパターンの復調に利用することなく無視する。
 図405は、実施の形態15における送信機によるPPM変調方式の一例を示す図である。
 送信機は、図404に示す4値PPM変調方式と同様に、送信対象の信号を輝度変化のパターンに変調するが、スロットごとに輝度をLとHとに切り替えることなく、PPM変調を行ってもよい。つまり、送信機は、図404に示す連続する4つのスロットの時間幅(以下、単位時間幅という)における輝度の立ち上がり位置を、送信対象の信号に応じて切り替えることによって、PPM変調を行う。例えば、送信機は、図405に示すように、送信対象の信号「00」を、単位時間幅のうちの25%の位置で輝度が立ち上がるような輝度変化のパターンに変調する。これと同様に、送信機は、図405に示すように、送信対象の信号「01」を、単位時間幅のうちの50%の位置で輝度が立ち上がるような輝度変化のパターンに変調する。
 また、送信機は、明るさを75%に保つ場合には、送信対象の信号「00」を、上述の単位時間幅における0~25%の位置で輝度Lを示し、25~100%の位置で輝度Hを示す輝度変化のパターンに変調する。ここで、送信機は、明るさを99%に保つ場合には、送信対象の信号「00」を、上述の単位時間幅における24~25%の位置で輝度Lを示し、0~24%の位置および25~100%の位置で輝度Hを示す輝度変化のパターンに変調する。同様に、送信機は、明るさを1%に保つ場合には、送信対象の信号「00」を、上述の単位時間幅における0~25%の位置および26~100%の位置で輝度Lを示し、25~26%の位置で輝度Hを示す輝度変化のパターンに変調する。
 このように、スロットごとに輝度をLとHとに切り替えることなく、単位時間幅の任意の位置で輝度をLとHとに切り替えることによって、明るさを連続的に調節することができる。
 図406は、実施の形態15における送信機におけるPPM変調方式の一例を示す図である。
 送信機は、図405に示すPPM変調方式と同様に変調を行うが、送信対象の信号がどのような信号であっても、その信号を、単位時間幅の最初には必ず輝度Hを示し、且つ単位時間幅の最後には必ず輝度Lを示す輝度変化のパターンに変調する。これにより、単位時間幅と次の単位時間幅との境界には輝度の立ち上がりが発生するため、受信機は、その境界を適切に特定することができる。したがって、受信機および送信機はクロックのズレを補正することができる。
 図407Aは、実施の形態15におけるヘッダ(プリアンブル部)に対応する輝度変化のパターンの一例を示す図である。
 送信機は、例えば図403Aおよび図403Bに示すヘッダ(プリアンブル部)を送信する場合には、図407Aに示すパターンにしたがって輝度変化する。つまり、ヘッダが7スロットで構成される場合には、送信機は、L、H、L、H、L、H、Hによって示されるパターンにしたがって輝度変化する。また、ヘッダが8スロットで構成される場合には、送信機は、H、L、H、L、H、L、H、Hによって示されるパターンにしたがって輝度変化する。これらのパターンは、図404に示す輝度変化のパターンと区別できるため、これらのパターンによって示される信号がヘッダであることを受信機に明確に知らせることができる。
 図407Bは、実施の形態15における輝度変化のパターンの一例を示す図である。
 図404に示すように、4値PPM変調方式では、明るさを50%に保った状態で、データ部に含まれる送信対象の信号「01」を変調する場合には、送信機は、その信号を、2つのパターンのうちのいずれかのパターンに変調する。つまり、L、L、H、Hによって示される第1のパターン、または、H、L、H、Lによって示される第2のパターンに変調する。
 ここで、ヘッダに対応する輝度変化のパターンが図407Aに示すようなパターンである場合、送信機は、上述の送信対象の信号「01」を、L、L、H、Hによって示される第1のパターンに変調することが望ましい。例えば、上述のデータ部に含まれる送信対象の信号「11,01,11」は、上記第1のパターンを用いた場合には、「H、H、L、L、L、L、H、H、H、H、L、L」のパターンに変調される。一方、上記第2のパターンを用いた場合には、上述のデータ部に含まれる送信対象の信号「11,01,11」は、「H、H、L、L、H、L、H、L、H、H、L、L」のパターンに変調される。この場合、そのパターン「H、H、L、L、H、L、H、L、H、H、L、L」には、図407Aに示す、7スロットによって構成されるヘッダのパターンと同じパターンが含まれる。したがって、ヘッダとデータ部との区別を明確にするために、上述の送信対象の信号「01」を第1のパターンに変調することが望ましい。
 図408Aは、実施の形態15における輝度変化のパターンの一例を示す図である。
 図404に示すように、4値PPM変調方式では、送信対象の信号「11」を変調する場合には、送信機は、輝度の立ち上がりが生じないように、その信号を「H、H、H、L」のパターン、「H、H、L、L」のパターン、または「H、L、L、L」のパターンに変調する。しかし、図408Aに示すように、送信機は、明るさを調整するために、送信対象の信号「11」を、「H、H、H、H」のパターンまたは「L、L、L、L」のパターンに変調してもよい。
 図408Bは、実施の形態15における輝度変化のパターンの一例を示す図である。
 図404に示すように、4値PPM変調方式では、明るさを75%に保って、送信対象の信号「11,00」を変調する場合には、送信機は、その信号を「H、H、H、L、L、H、H、H」のパターンに変調する。しかし、輝度Lが連続して発生しようとする場合には、輝度Lが連続しないように、連続する輝度Lのうち、最後の輝度L以外の輝度をHに変更してもよい。この場合、送信機は、その信号「11,00」を「H、H、H、H、L、H、H、H」のパターンに変調する。
 これにより、輝度Lが連続しないため、送信機の負荷を抑えることができる。また、送信機に備えられるコンデンサの容量を小さくすることができ、制御回路の容積を小さくすることができる。さらに、送信機の光源の負荷が小さいため、光源を作りやすくすることができる。さらに、送信機の電力効率を高めることができる。また、輝度Lが連続しないことが保証されるため、受信機はその輝度変化のパターンを容易に復調することができる。
 (本実施の形態のまとめ)
 本実施の形態における情報通信方法は、輝度変化によって信号を送信する情報通信方法であって、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定ステップと、発光体が、決定された前記パターンにしたがって輝度変化することによって前記送信対象の信号を送信する送信ステップとを含み、前記輝度変化のパターンは、予め定められた時間幅における任意の各位置に、互いに異なる2つの輝度値のうちの一方が出現するパターンであって、前記決定ステップでは、送信対象の互いに異なる信号のそれぞれに対して、前記時間幅における輝度の立ち上がり位置または立ち下がり位置である輝度変化位置が互いに異なり、且つ、前記時間幅における前記発光体の輝度の積分値が、予め設定された明るさに応じた同一の値となるように、前記輝度変化のパターンを決定する。
 例えば、図405に示すように、送信対象の互いに異なる信号「00」、「01」、「10」および「11」のそれぞれに対して、輝度の立ち上がり位置(輝度変化位置)が互いに異なり、且つ、予め定められた時間幅(単位時間幅)における発光体の輝度の積分値が、予め定められた明るさ(例えば99%または1%など)に応じた同一の値となるように、輝度変化のパターンが決定される。これにより、送信対象の信号のそれぞれに対して、発光体の明るさを一定に保つことができ、ちらつきを抑えることができるとともに、その発光体を撮像する受信機は、輝度変化位置に基づいて、その輝度変化のパターンを適切に復調することができる。また、輝度変化のパターンは、単位時間幅における任意の各位置に、互いに異なる2つの輝度値(輝度H(High)または輝度L(Low))のうちの一方が出現するパターンであるため、発光体の明るさを連続的に変化させることができる。
 また、前記情報通信方法は、さらに、複数の画像のそれぞれを順に切り替えて表示する画像表示ステップを含み、前記決定ステップでは、前記画像表示ステップで画像が表示されるごとに、表示されている画像に対応する識別情報を前記送信対象の信号として変調することによって、前記識別情報に対する輝度変化のパターンを決定し、前記送信ステップでは、前記画像表示ステップで画像が表示されるごとに、表示されている画像に対応する識別情報に対して決定された輝度変化のパターンにしたがって前記発光体が輝度変化することによって前記識別情報を送信してもよい。
 これにより、例えば図393に示すように、画像が表示されるごとに、表示されている画像に対応する識別情報が送信されるため、ユーザは、表示される画像に基づいて、受信機に受信させる識別情報を容易に選択することができる。
 また、前記送信ステップでは、前記画像表示ステップで画像が表示されるごとに、さらに、過去に表示された画像に対応する識別情報に対して決定された輝度変化のパターンにしたがって前記発光体が輝度変化することによって前記識別情報を送信してもよい。
 これにより、例えば図394に示すように、表示される画像が切り替わったために、切り替わり前に送信された識別信号を受信機が受信できなかった場合でも、現在表示されている画像に対応する識別情報とともに、過去に表示された画像に対応する識別情報も送信されるため、切り替わり前に送信された識別情報を、改めて受信機で適切に受信することができる。
 また、前記決定ステップでは、前記画像表示ステップで画像が表示されるごとに、表示されている画像に対応する識別情報と、前記画像が表示されている時刻とを前記送信対象の信号として変調することによって、前記識別情報および前記時刻に対する輝度変化のパターンを決定し、前記送信ステップでは、前記画像表示ステップで画像が表示されるごとに、表示されている画像に対応する識別情報および時刻に対して決定された輝度変化のパターンにしたがって前記発光体が輝度変化することによって前記識別情報および前記時刻を送信し、さらに、過去に表示された画像に対応する識別情報および時刻に対して決定された輝度変化のパターンにしたがって前記発光体が輝度変化することによって前記識別情報および前記時刻を送信してもよい。
 これにより、例えば図394に示すように、画像が表示されるごとに、複数のID時刻情報(識別情報および時刻からなる情報)が送信されるため、受信機は、受信された複数のID時刻情報の中から、過去に送信されて受信できなかった識別信号を、そのID時刻情報のそれぞれに含まれる時刻に基づいて容易に選択することができる。
 また、前記発光体は、それぞれ発光する複数の領域を有し、前記複数の領域のうち互いに隣接する領域の光が相互に干渉し、前記複数の領域のうちの1つだけが、決定された前記輝度変化のパターンにしたがって輝度変化する場合、前記送信ステップでは、前記複数の領域のうちの端に配置された領域だけが、決定された前記輝度変化のパターンにしたがって輝度変化してもよい。
 これにより、例えば図387Bの(a)に示すように、端に配置された領域(発光部)だけが輝度変化するため、端以外に配置された領域だけが輝度変化する場合と比べて、他の領域からの光によるその輝度変化への影響を抑えることができる。その結果、受信機は、撮影によって、その輝度変化のパターンを適切に捉えることができる。
 また、前記複数の領域のうちの2つだけが、決定された前記輝度変化のパターンにしたがって輝度変化する場合、前記送信ステップでは、前記複数の領域のうちの端に配置された領域と、前記端に配置された領域に隣接する領域とが、決定された前記輝度変化のパターンにしたがって輝度変化してもよい。
 これにより、例えば図387の(b)に示すように、端に配置された領域(発光部)と、その端に配置された領域に隣接する領域(発光部)とが輝度変化するため、互いに離れた領域が輝度変化する場合と比べて、空間的に連続して輝度変化する範囲の面積を広く保つことができる。その結果、受信機は、撮影によって、その輝度変化のパターンを適切に捉えることができる。
 本実施の形態における情報通信方法は、被写体から情報を取得する情報通信方法であって、前記被写体の撮影に用いられるイメージセンサの位置を示す位置情報を送信する位置情報送信ステップと、前記位置情報によって示される位置に対応付けられた、複数の識別情報を含むIDリストを受信するリスト受信ステップと、前記イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記輝線を含む輝線画像を取得する画像取得ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップと、取得された前記情報を含む識別情報を前記IDリストから検索する検索ステップとを含む。
 これにより、例えば図389に示すように、予めIDリストが受信されているため、取得された情報「 bc 」が識別情報の一部だけであっても、IDリストに基づいて適切な識別情報「abcd」を特定することができる。
 また、前記検索ステップにおいて、取得された前記情報を含む識別情報が一意に特定されない場合には、前記画像取得ステップおよび前記情報取得ステップを繰り返し行うことによって、新たな情報を取得し、前記情報通信方法は、さらに、取得された前記情報と、前記新たな情報とを含む識別情報を前記IDリストから検索する再検索ステップを含んでもよい。
 これにより、例えば図389に示すように、取得された情報「 b  」が識別情報の一部だけであって、その情報だけでは識別情報が一意に特定されない場合であっても、新たな情報「  c 」が取得されるため、その新たな情報とIDリストに基づいて適切な識別情報「abcd」を特定することができる。
 本実施の形態における情報通信方法は、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記輝線を含む輝線画像を取得する画像取得ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより識別情報を取得する情報取得ステップと、取得された前記識別情報と、前記イメージセンサの位置を示す位置情報とを送信する送信ステップと、前記位置情報によって示される位置に対応付けられた、複数の識別情報を含むIDリストに、取得された前記識別情報がない場合には、エラーを通知するためのエラー通知情報を受信するエラー受信ステップとを含む。
 これにより、例えば図391に示すように、取得された識別情報がIDリストにない場合には、エラー通知情報を受信するため、そのエラー通知情報を受信した受信機のユーザは、その取得された識別情報に関連付けられた情報を得ることができないことを容易に把握することができる。
 (実施の形態16)
 本実施の形態では、上記実施の形態1~15におけるスマートフォンなどの受信機と、LEDや有機ELなどの点滅パターンとして情報を送信する送信機とを用いた、シチュエーションごとの適用例について説明する。
 <シチュエーション:店前>
 まず、送信機として構成されている広告用の看板を掲げている店舗の前に、受信機を携帯したユーザがいるシチュエーションでの適用例について、図409~図413を用いて説明する。
 図409は、店前のシチュエーションでの受信機の動作の一例を示す図である。
 例えば、ユーザは、スマートフォンとして構成される受信機8300(端末装置)を携帯しながら歩いているときに、店舗の看板8301を見つける。この看板8301は、上記実施の形態1~15の何れかの送信機のように輝度変化によって信号を送信する送信機(被写体)である。ここで、ユーザは、その店舗に興味があり、且つ、その看板8301が輝度変化によって信号を送信していると判断すると、受信機8300を操作することによって、その受信機8300の可視光通信用のアプリケーションソフトウェア(以下、通信アプリケーションという)を起動させる。
 図410は、店前のシチュエーションでの受信機8300の動作の他の例を示す図である。
 受信機8300は、ユーザによる操作を受け付けることなく、通信アプリケーションを自動的に起動させてもよい。例えば、受信機8300は、GPSまたは9軸センサなどを利用することによって自らの現在地を検出し、看板8301に対して予め定められた特定領域にその現在地が入ったか否かを判断する。なお、この特定領域は看板8301の周辺の領域である。そして、受信機8300は、受信機8300の現在地がその特定領域に入ったと判断すると、通信アプリケーションを起動させる。また、受信機8300は、その受信機8300を突き出する動作、または受信機8300を回転させる動作を、内蔵された9軸センサなどを利用することによって検出し、通信アプリケーションを起動させてもよい。これにより、ユーザの操作を省くことができ、使い勝手を向上することができる。
 図411は、店前のシチュエーションでの受信機8300の次の動作の一例を示す図である。
 上述のように通信アプリケーションを起動させた受信機8300は、輝度変化によって信号を送信する送信機として構成された看板8301を撮像(可視光撮影)する。つまり、受信機8300は看板8301と可視光通信を行う。
 図412は、店前のシチュエーションでの受信機8300の次の動作の一例を示す図である。
 受信機8300は、上述の撮像によって、輝線を含む画像を取得する。そして、受信機8300は、その輝線のパターンによって特定されるデータを復調することにより、看板8301の機器IDを取得する。つまり、受信機8300は、実施の形態1~15における可視光撮影または可視光通信によって、看板8301から機器IDを取得する。さらに、受信機8300は、その機器IDをサーバに送信し、その機器IDに関連付けられた広告情報(サービス情報)をサーバから取得する。
 なお、受信機8300は、事前に保持している複数の広告情報の中から、その機器IDに関連付けられた広告情報を取得してもよい。この場合には、受信機8300は、受信機8300の現在地が上述の特定領域に入ったと判断したときに、その特定領域または現在地をサーバに通知し、その特定領域に対応する全ての機器IDと、その機器IDの各々に関連付けられた広告情報とをサーバから事前に取得してこれらを保持(キャッシュ)しておく。これにより、受信機8300は、その特定領域内において看板8301の機器IDを取得したときには、その機器IDに対応する広告情報をわざわざサーバに要求することなく、予め保持している各機器IDに関連付けられた広告情報の中から、その看板8301の機器IDに関連付けられた広告情報を迅速に取得することができる。
 受信機8300は、看板8301の機器IDに関連付けられた広告情報を取得すると、その広告情報を表示する。例えば、受信機8300は、看板8301によって示される店舗のクーポンと、空席状況と、それらと同一の内容を示すバーコードとを表示する。
 ここで、受信機8300は、可視光通信によって、機器IDだけでなく特典データもその看板8301から取得してもよい。この特典データは、例えばランダムID(乱数)、あるいは、その特典データが送信される時刻または時間帯などを示す。受信機8300は、特典データを取得したときには、機器IDとともにその特典データもサーバに送信する。そして、受信機8300は、その機器IDおよび特典データに関連付けられた広告情報をサーバから取得する。これにより、受信機8300は、特典データに応じて異なる広告情報を受けることができる。例えば、受信機8300は、看板8301を撮像したときの時間帯が早朝であれば、早朝割引のクーポンを示す広告情報を取得して表示することができる。つまり、同じ看板による広告に、特典データ(時間帯など)に応じた変化を付けることができる。その結果、ユーザは、時間帯などに適したサービスの提供を受けることができる。なお、本実施の形態では、サービス情報などの情報のユーザへの提示(表示)をサービスの提供という。
 また、受信機8300は、可視光通信によって、看板8301の空間的な配置を高精度(誤差1m以内)に示す3次元情報を機器IDとともにその看板8301から取得してもよい。あるいは、受信機8300は、その機器IDに関連付けられた3次元情報をサーバから取得してもよい。また、受信機8300は、3次元情報の代わりに、または、3次元情報とともに、看板8301の大きさを示すサイズ情報を取得してもよい。受信機8300は、そのサイズ情報を取得すると、そのサイズ情報によって示される看板8301の大きさと、撮像によって得られた画像に映し出された看板8301の大きさとの差に基づいて、受信機8300から看板8301までの距離を算出することができる。
 また、受信機8300は、可視光通信によって取得した機器IDをサーバに送信する際には、自らに予め保持されている保持情報(付属情報)を機器IDとともにサーバに送信してもよい。例えば、保持情報は、受信機8300のユーザの個人情報(性別または年齢など)またはユーザIDである。このような保持情報を機器IDとともに受信したサーバは、その機器IDに関連付けられた少なくとも1つの広告情報のうち、その保持情報(個人情報またはユーザID)に対応付けられた広告情報を受信機8300に送信する。つまり、受信機8300は、個人情報などに合った店舗の広告情報、または、ユーザIDに対応する店舗の広告情報などを受け取ることができる。その結果、ユーザは、より有益なサービスの提供を受けることができる。
 あるいは、保持情報は、受信機8300に事前に設定された受信条件を示す。この受信条件は、例えば店舗が飲食店の場合には来客人数である。このような保持情報を機器IDとともに受信したサーバは、その機器IDに関連付けられた少なくとも1つの広告情報のうち、その受信条件(来客人数)に対応付けられた広告情報を受信機8300に送信する。つまり、受信機8300は、来客人数に合った店舗の広告情報、具体的には、その来客人数に対する空席状況を示す情報を受け取ることができる。また、店舗は、来店人数や曜日・時間帯に応じて割引率を変更した広告情報を表示させることで、集客と利益の最適化を図ることができる。
 あるいは、保持情報は、受信機8300で事前に検出された現在地を示す。このような保持情報を機器IDとともに受信したサーバは、その機器IDに関連付けられた広告情報だけでなく、その保持情報によって示される現在地(現在地とその周辺)に対応する他の機器IDと、他の機器IDに関連付けられた広告情報とを受信機8300に送信する。これにより、受信機8300は、他の機器IDと、他の機器IDに関連付けられた広告情報とをキャッシュしておくことができる。したがって、受信機8300がその現在地(現在地とその周辺)において他の送信機との間で可視光通信を行ったときには、サーバにアクセスすることなく、他の送信機の機器IDに関連付けられた広告情報を素早く取得することができる。
 図413は、店前のシチュエーションでの受信機8300の次の動作の一例を示す図である。
 受信機8300は、上述のようにサーバから広告情報を取得すると、例えば、その広告情報によって示される空席状況として、「空席有り」と記述されたボタンを表示する。ここで、ユーザがボタン「空席有り」に指を触れる操作を行うと、受信機8300は、その操作結果をサーバに通知する。サーバは、その通知を受けると、看板8301の店舗に対する仮予約を行い、その仮予約が完了したことを受信機8300に通知する。受信機8300は、サーバからその通知を受けると、ボタン「空席有り」の代わりに、仮予約が完了したことを示す文字列「仮予約」を表示する。受信機8300は、看板8301によって示される店舗のクーポンと、仮予約したことを証明する文字列「仮予約」と、それらと同一の内容を示すバーコードとを含む画像を事前取得画像としてメモリに格納しておく。
 ここで、サーバは、図412および図413を用いて説明した動作によって、看板8301と受信機8300との間で行われた可視光通信に関する情報をロギングすることができる。つまり、サーバは、可視光通信を行った送信機(看板)の機器ID、可視光通信が行われた場所(受信機8300の現在地)、可視光通信が行われた時間帯などを示す特典データ、および、可視光通信を行った受信機8300のユーザの個人情報などをロギングすることができる。サーバは、ロギングされたこれらの情報のうちの少なくとも1つを用いて、看板8301の価値、つまり店舗の広告および宣伝に対する看板8301の寄与の度合いを広告効果として解析することができる。
 <シチュエーション:店内>
 次に、受信機8300を携帯したユーザが、表示された広告情報(サービス情報)に対応する店舗に入ったシチュエーションでの適用例について、図414~図422を用いて説明する。
 図414は、店内のシチュエーションでの表示装置の動作の一例を示す図である。
 例えば、上述の看板8301と可視光通信を行った受信機8300のユーザは、表示された広告情報に対応する店舗に入る。このとき、受信機8300は、可視光通信を用いて表示された広告情報に対応する店舗にユーザが入ったこと(入店)を検知する。例えば、受信機8300は、看板8301と可視光通信を行った後に、看板8301の機器IDに関連付けられた店舗の所在地を示す店舗情報をサーバから取得する。そして、受信機8300は、GPSまたは9軸センサなどを利用して得られる受信機8300の現在地がその店舗情報によって示される店舗の所在地に入ったか否かを判断する。ここで、受信機8300は、現在地が店舗の所在地に入ったと判断することによって、上述の入店を検知する。
 そして、受信機8300は、入店を検知すると、例えばサーバなどを介して表示装置8300bに入店を通知する。あるいは、受信機8300は可視光通信または無線通信によって入店を表示装置8300bに通知する。表示装置8300bは、その通知を受けると、その店舗で提供される商品または役務のメニューなどを示す商品役務情報を取得し、その商品役務情報によって示される上記メニューを表示する。なお、表示装置8300bは、受信機8300のユーザまたは店舗の店員によって携帯される携帯端末であっても、店舗に備えられている装置であってもよい。
 図415は、店内のシチュエーションでの表示装置8300bの次の動作の一例を示す図である。
 ユーザは、表示装置8300bに表示されているメニューの中から、所望の商品を選択する。つまり、ユーザは、メニューの中の、所望の商品の名称が表示されている部分に指を触れる操作を行う。これにより、表示装置8300bは商品選択の操作結果を受け付ける。
 図416は、店内のシチュエーションでの表示装置8300bの次の動作の一例を示す図である。
 商品選択の操作結果を受け付けた表示装置8300bは、選択された商品を表す画像およびその商品の値段を表示する。これにより、表示装置8300bは、選択された商品のユーザへの確認を促す。なお、上述の商品を表す画像、および商品の値段を示す情報などは、例えば上述の商品役務情報に含まれている。
 図417は、店内のシチュエーションでの受信機8300の次の動作の一例を示す図である。
 確認を促されたユーザは、その商品を注文するための操作を行う。受信機8300は、その操作が行なわれると、電子決済に必要な決済情報を、表示装置8300bまたはサーバを介して店舗のPOS(Pint of Sale)システムに通知する。さらに、受信機8300は、その店舗の看板8301との可視光通信を利用して取得されて格納されている上述の事前取得画像があるか否かを判断する。受信機8300は、その事前取得画像があると判断すると、その事前取得画像を表示する。
 なお、本シチュエーションでは、表示装置8300bを用いたが、表示装置8300bを用いることなく、受信機8300が表示装置8300bによる処理を代わりに行ってもよい。この場合、受信機8300は、入店を検知すると、その店舗で提供される商品または役務のメニューなどを示す商品役務情報をサーバから取得し、その商品役務情報によって示される上記メニューを表示する。また、受信機8300は、商品を注文するための操作を受け付けると、注文された商品と、電子決済に必要な決済情報とを、サーバを介して店舗のPOSシステムに通知する。
 図418は、店内のシチュエーションでの受信機8300の次の動作の一例を示す図である。
 店舗の店員は、その受信機8300に表示されている事前取得画像のバーコードに、POSシステムのバーコードスキャナ8302を当てる。バーコードスキャナ8302は、その事前取得画像のバーコードを読み込む。その結果、POSシステムは、そのバーコードによって示されるクーポンに応じた電子決済を行う。そして、POSシステムのバーコードスキャナ8302は、電子決済が完了したことを示す決済完了情報を輝度変化によって受信機8300に送信する。つまり、バーコードスキャナ8302は、可視光通信の送信機としての機能も有する。受信機8300は、可視光通信によって決済完了情報を取得すると、その決済完了情報を表示する。この決済完了情報は、例えば「お買い上げありがとうございます」というメッセージと、決済された金額とを示す。このような電子決済が行われることによって、POSシステム、サーバおよび受信機8300は、店舗の前で表示された広告情報(サービス情報)に対応する店舗で、ユーザがその広告情報によって示されるサービスを利用したと判定することができる。
 以上のように、図414~図418に示すような受信機8300およびPOSシステムなどの動作によって、店内における商品の注文が行われる。したがって、ユーザは、店舗に入れば、表示装置8300bまたは受信機8300に自動的に表示されるその店舗のメニューから商品の注文を行うことできる。つまり、店舗の店員は、メニューをユーザに見せて、ユーザから商品の注文を直接受け付ける必要がない。その結果、店員の負担を大幅に削減することができる。また、上述の例では、バーコードスキャナ8302がバーコードを読み込んだが、バーコードスキャナ8302を用いなくてもよい。例えば、受信機8300は、バーコードに示される情報を、サーバを介してPOSシステムに送信してもよい。そして、受信機8300は、決済完了情報をそのPOSシステムからサーバを介して取得してもよい。これにより、店員による作業をさらに削減することができ、ユーザは店員を通さずに商品の注文を行うことができる。あるいは、表示装置8300bと受信機8300が可視光通信で注文や課金のデータをやりとりしたり、可視光通信によって交換した鍵を用いた無線通信で前記データをやりとりしてもよい。
 また、看板8301は、チェーンストアに属する複数の店舗のうちの1つの店舗によって出されている場合がある。このような場合、看板8301との可視光通信を用いて取得される広告情報は、チェーンストアに属する全ての店舗で利用可能である。しかし、同じチェーンストアの中でも、看板8301を出している店舗(広告店舗)と、出していない店舗(非広告店舗)とで、ユーザが受けるサービスに違いを設けてもよい。例えば、ユーザが非広告店舗に入った場合には、ユーザは、事前取得画像に示されるクーポンどおりの割引率(例えば20%)のサービスを受け、ユーザが広告店舗に入った場合には、そのクーポンの割引率よりも高い割引率(例えば30%)のサービスを受ける。つまり、受信機8300は、広告店舗への入店を検知した場合には、10%のさらなる割引を示す付加的なサービス情報をサーバから取得して、30%(20%+10%)の割引率を示す画像を、図417に示す事前取得画像の代わりに表示する。なお、受信機8300は、サーバから取得された上述の店舗情報に基づいて、ユーザが広告店舗に入店したか、非広告店舗に入店したかを検知する。店舗情報には、チェーンストアに属する複数の店舗のそれぞれの所在地とともに、それらの店舗が広告店舗であるか非広告店舗であるかが示されている。
 また、同じチェーンストアの中に複数の非広告店舗がある場合には、非広告店舗のそれぞれでユーザが受けるサービスに違いを設けてもよい。例えば、看板8301の位置から、または、看板8301と可視光通信を行ったときの受信機8300の現在地から、非広告店舗までの距離に応じたサービスが、その非広告店舗に入ったユーザに提供される。あるいは、受信機8300と看板8301とが可視光通信を行った時刻と、ユーザが非広告店舗に入った時刻との差(時間差)に応じたサービスが、その非広告店舗に入ったユーザに提供される。つまり、受信機8300は、上述の距離(看板8301の位置)と時間差に応じて異なる、さらなる割引を示す付加的なサービス情報をサーバから取得して、さらなる割引が反映された割引率(例えば30%)を示す画像を、図417に示す事前取得画像の代わりに表示する。なお、このようなサービスは、サーバまたはPOSシステムによって、あるいは、これらが相互に連携することによって決定される。また、このようなサービスは、広告店舗および非広告店舗の区別なく、チェーンストアに属する全ての店舗に対して適用してもよい。
 また、ユーザが非広告店舗に入って、広告情報を利用した注文を行った場合には、非公告店舗のPOSシステムは、注文によって得られた金額の一部を、広告店舗のPOSシステムに還元してもよい。
 さらに、サーバは、広告情報が表示されるごとに、その広告情報が利用されたか否かを判定することができ、その判定された結果を集積することによって、看板8301の広告効果を解析することができる。また、サーバは、さらに、看板8301の位置、広告情報が表示された時刻、広告情報が利用された店舗の位置、広告情報が利用された時刻、およびユーザの入店の時刻のうち、少なくとも1つを集積することによって、看板8301の広告効果の解析精度の向上を図ることができるとともに、広告効果が最も高い看板8301の位置を見つけることができる。
 また、受信機8300は、広告情報が商品注文に利用された利用回数分のさらなる割引を示す付加的なサービス情報をサーバから取得して、その利用回数分のさらなる割引が反映された割引率(例えば30%)を示す画像を、図417に示す事前取得画像の代わりに表示してもよい。例えば、サーバは、利用回数が多ければ、割引率をさらに高くするようなサービスをPOSシステムと連携して行ってもよい。
 また、サーバは、店舗によって出されている全ての看板8301の機器IDのそれぞれに関連付けられた広告情報が受信機8300によって受信された場合(全ての広告情報の取得がコンプリートされた場合)には、得得サービスを、その看板8301の店舗に入ったユーザに提供してもよい。得得サービスは、例えば、割引率が極めて高いサービスや、注文商品以外の商品を無料で提供するサービスである。つまり、受信機8300がユーザの入店を検知すると、サーバは、その店舗に関連付けられている全ての看板のそれぞれに対しても受信機8300が可視光通信などを含む処理を行ったか否かを判定する。そして、その処理を行ったと判定された場合には、受信機8300は、さらなる割引を示す付加的なサービス情報を上述の得得サービスとしてサーバから取得して、さらなる割引が反映された割引率(例えば50%)を示す画像を、図417に示す事前取得画像の代わりに表示する。
 また、受信機8300は、看板8301と可視光通信を行って広告情報を表示した時刻と、ユーザが店舗に入った時刻との差に応じて異なる、さらなる割引率を示す付加的なサービス情報をサーバから取得して、さらなる割引が反映された割引率(例えば30%)を示す画像を、図417に示す事前取得画像の代わりに表示してもよい。例えば、受信機8300は、その差が小さいほど高い割引率を示す付加的なサービス情報をサーバから取得する。
 図419は、店内のシチュエーションでの受信機8300の次の動作の一例を示す図である。
 注文および電子決済を終えた受信機8300は、店舗内の照明機器として構成される送信機から輝度変化によって送信される信号を受信し、その信号をサーバに送信することによって、ユーザの座席位置(例えば黒丸)を示す店舗内の案内図を取得する。さらに、受信機8300は、上記実施の形態1~15の何れかと同様に、その受信された信号を用いて受信機8300の位置を特定する。そして、受信機8300は、特定された受信機8300の位置(例えば星印)を案内図中に表示する。これにより、ユーザは、店舗内をどのように進めば自らの座席に行けるかを容易に把握することができる。
 また、受信機8300は、ユーザが移動しているときにも、店舗内の照明機器として構成される近くの送信機と可視光通信を行うことによって、上述のような受信機8300の位置の特定を随時行っている。したがって、受信機8300は、表示されている受信機8300の位置(例えば星印)を逐次更新する。これにより、ユーザを座席まで適切に案内することができる。
 図420は、店内のシチュエーションでの受信機8300の次の動作の一例を示す図である。
 受信機8300は、ユーザが座席に着くと、照明機器として構成される送信機8303と可視光通信を行うことによって、受信機8300の位置を特定し、その位置がユーザの座席位置にあると判断する。そして、受信機8300は、ユーザ名またはニックネームとともに、座席に着いたことを、サーバを介して店舗内の端末に通知する。これにより、店員は、どの座席にどのユーザが座っているかを把握することができる。
 図421は、店内のシチュエーションでの受信機8300の次の動作の一例を示す図である。
 送信機8303は、輝度変化することによって、顧客IDと、注文商品ができたことを知らせるメッセージとを含む信号を送信する。なお、受信機8300は、例えば、商品のメニューなどを示す商品役務情報をサーバから取得するときに、上述の顧客IDもサーバから取得して保持している。受信機8300は、送信機8303を可視光撮影することによって上述の信号を受信する。さらに、受信機8300は、その信号に含まれる顧客IDが、予め保持している顧客IDと一致するか否かを判定する。ここで、受信機8300は、一致すると判定すると、その信号に含まれるメッセージ(例えば「商品ができました」)を表示する。
 図422は、店内のシチュエーションでの受信機8300の次の動作の一例を示す図である。
 注文商品をユーザの座席に届けた店員は、その注文商品を届けたことを証明するために、ハンディーターミナル8302aを受信機8300に向ける。ハンディーターミナル8302aは、送信機として構成されており、注文商品を届けたことを示す信号を受信機8300に輝度変化によって送信する。受信機8300は、ハンディーターミナル8302aを撮像することによって、その信号を受信し、その信号によって示されるメッセージ(例えば、「お食事をお楽しみください」)を表示する。
 <シチュエーション:店探し>
 次に、受信機8300を携帯したユーザが興味のある店舗を探しているシチュエーションでの適用例について、図423~図425を用いて説明する。
 図423は、店探しのシチュエーションでの受信機8300の動作の一例を示す図である。
 ユーザは、興味のある飲食店が掲載されたサイネージ8304を見つける。このとき、ユーザは、そのサイネージ8304が輝度変化によって信号を送信していると判断すると、図409に示す例と同様に、受信機8300を操作することによって、その受信機8300の通信アプリケーションを起動させる。なお、図410に示す例と同様に、受信機8300は通信アプリケーションを自動的に起動させてもよい。
 図424は、店探しのシチュエーションでの受信機8300の次の動作の一例を示す図である。
 受信機8300は、サイネージ8304の全体、または、サイネージ8304のうち、ユーザが興味をもつ飲食店が掲載されている部分を撮像することによって、そのサイネージ8304またはその飲食店を識別するためのIDを受信する。
 図425は、店探しのシチュエーションでの受信機8300の次の動作の一例を示す図である。
 受信機8300は、上述のIDを受信すると、そのIDをサーバに送信し、そのIDに関連付けられた広告情報(サービス情報)をサーバから取得して表示する。このとき、受信機8300は、そのIDとともに、飲食店に入る予定の人数(付属情報)をサーバに通知してもよい。これにより、受信機8300は、その人数に応じた広告情報を取得することができる。例えば、受信機8300は、その通知された人数分の空席がその飲食店にあるか否かを示す広告情報を取得することができる。
 <シチュエーション:映画広告>
 次に、受信機8300を携帯したユーザが、興味のある映画広告が掲載されたサイネージの前にいるシチュエーションでの適用例について、図426~図429を用いて説明する。
 図426は、映画広告のシチュエーションでの受信機8300の動作の一例を示す図である。
 ユーザは、興味のある映画広告が掲載されたサイネージ8305と、例えば液晶ディスプレイとして構成され、映画広告用の動画像を表示するサイネージ8306とを見つける。サイネージ8305は、例えば、映画広告を示す画像が描かれた透過性のフィルムと、そのフィルムの背面側に配置されてそのフィルムを照らす複数のLEDとを備えている。つまり、このサイネージ8305は、複数のLEDの発光によって、フィルムに描かれた画像を静止画像として明るく表示する。また、このサイネージ8305は、輝度変化することによって信号を送信する送信機として構成されている。
 ここで、ユーザは、そのサイネージ8305が輝度変化によって信号を送信していると判断すると、図409に示す例と同様に、受信機8300を操作することによって、その受信機8300の通信アプリケーションを起動させる。なお、図410に示す例と同様に、受信機8300は通信アプリケーションを自動的に起動させてもよい。
 図427は、映画広告のシチュエーションでの受信機8300の次の動作の一例を示す図である。
 受信機8300は、サイネージ8305を撮像することによって、そのサイネージ8305のIDを取得する。そして、受信機8300は、そのIDをサーバに送信し、そのIDに関連付けられた映画広告用の動画像データをサービス情報としてサーバからダウンロードして再生する。
 図428は、映画広告のシチュエーションでの受信機8300の次の動作の一例を示す図である。
 上述のようにダウンロードされた動画像データの再生によって表示される動画像は、例えばサイネージ8306によって表示される動画像と同一である。したがって、ユーザは、映画広告用の動画像を見たい場合には、サイネージ8306の前に立ち止まっていることなく、任意の場所でその動画像を見ることができる。
 図429は、映画広告のシチュエーションでの受信機8300の次の動作の一例を示す図である。
 受信機8300は、動画像データだけでなく、その動画像データとともに映画の上映時間などを示す上映情報もサービス情報としてダウンロードしてもよい。これにより、受信機8300は、上映情報の内容を表示してユーザに通知することができるとともに、その上映情報を他の端末(他のスマートフォンなど)と共有することができる。
 <シチュエーション:美術館>
 次に、受信機8300を携帯したユーザが美術館に入って館内の各展示物を鑑賞するシチュエーションでの適用例について、図430~図435を用いて説明する。
 図430は、美術館のシチュエーションでの受信機8300の動作の一例を示す図である。
 ユーザは、例えば美術館に入館しようとしたときに、その美術館の入口に掛けられた案内掲示板8307を見つける。このとき、ユーザは、その案内掲示板8307が輝度変化によって信号を送信していると判断すると、図409に示す例と同様に、受信機8300を操作することによって、その受信機8300の通信アプリケーションを起動させる。なお、図410に示す例と同様に、受信機8300は通信アプリケーションを自動的に起動させてもよい。
 図431は、美術館のシチュエーションでの受信機8300の次の動作の一例を示す図である。
 受信機8300は、案内掲示板8307を撮像することによって、その案内掲示板8307のIDを取得する。そして、受信機8300は、そのIDをサーバに送信し、そのIDに関連付けられたサービス情報として、その美術館の案内用アプリケーションプログラム(以下、美術館アプリという)をサーバからダウンロードして起動させる。
 図432は、美術館のシチュエーションでの受信機8300の次の動作の一例を示す図である。
 受信機8300は、美術館アプリが起動すると、その美術館アプリにしたがって、美術館内の案内図を表示する。さらに、受信機8300は、上記実施の形態1~15の何れかと同様に、受信機8300の美術館における位置を特定する。そして、受信機8300は、特定された受信機8300の位置(例えば星印)を案内図中に表示する。
 受信機8300は、上述のように位置を特定するためには、例えば、美術館アプリをダウンロードする際に、案内掲示板8307の大きさおよび形状などを示す形態情報をサーバから取得しておく。そして、受信機8300は、その形態情報によって示される案内掲示板8307の大きさおよび形状と、上述の撮像によって得られた画像に映し出された案内掲示板8307の大きさおよび形状とに基づいて、三角測量の方法などにしたがって、案内掲示板8307に対する受信機8300の相対的な位置を特定する。
 図433は、美術館のシチュエーションでの受信機8300の次の動作の一例を示す図である。
 上述のように美術館アプリを起動させた受信機8300は、美術館内にユーザが入ると、美術館内にある照明機器として構成される近くの送信機と可視光通信を行うことによって、受信機8300の位置の特定を随時行う。例えば、受信機8300は、照明機器として構成された送信機8308を撮像することによって、その送信機8308から送信機8308のIDを取得する。そして、受信機8300は、そのIDに関連付けられた、送信機8308の位置を示す位置情報と、送信機8308の大きさおよび形状などを示す形態情報をサーバから取得する。そして、受信機8300は、その形態情報によって示される送信機8308の大きさおよび形状と、上述の撮像によって得られた画像に映し出された送信機8308の大きさおよび形状とに基づいて、三角測量の方法などにしたがって、送信機8308に対する受信機8300の相対的な位置を推定する。また、受信機8300は、サーバから取得された位置情報によって示される送信機8308の位置と、上述のように推定された受信機8300の相対的な位置とに基づいて、受信機8300の美術館における位置を特定する。
 そして、受信機8300は、受信機8300の位置の特定が行われるごとに、特定された最新の位置に、表示されている星印を移動させる。これによって、美術館に入っているユーザは、受信機8300に表示されている案内図と星印とを見れば、自分が美術館のどこにいるのかを容易に把握することができる。
 図434は、美術館のシチュエーションでの受信機8300の次の動作の一例を示す図である。
 美術館内に入ったユーザは、興味のある展示物8309を見つけると、受信機8300がその展示物8309を撮像することができるように、その受信機8300を展示物8309にかざす動作を行う。ここで、展示物8309は、照明機器8310による光によって照らし出されている。また、照明機器8310は、展示物8309に対して専用に用いられるものであり、輝度変化によって信号を送信する送信機として構成されている。したがって、展示物8309は、輝度変化する光によって照らし出され、照明機器8310からの信号を間接的に送信している。
 受信機8300は、例えば内蔵された9軸センサからの出力に基づいて、受信機8300を展示物8309にかざす動作を検出すると、その展示物8309を撮像することによって、照明機器8310からの信号を受信する。この信号は、例えば展示物8309のIDなどを示す。そして、受信機8300は、そのIDに関連付けられた展示物8309の紹介情報(サービス情報)をサーバから取得する。この紹介情報は、展示物8309を紹介するための図を示すとともに、その紹介のための文章を、日本語、英語、およびフランス語などの各国の言語によって示す。
 受信機8300は、紹介情報をサーバから取得すると、その紹介情報によって示される図と文章とを表示する。ここで、受信機8300は、文章を表示するときには、各国の言語の文章の中から、ユーザによって予め設定されている言語の文章を抽出し、その言語の文章のみを表示する。また、受信機8300は、ユーザによる選択操作によって、その言語を変更してもよい。
 図435は、美術館のシチュエーションでの受信機8300の次の動作の一例を示す図である。
 受信機8300は、紹介情報の図および文章の表示がユーザの操作によって終了されると、再び、照明機器として構成された近くの送信機(例えば、照明機器8311)と可視光通信を行うことによって、受信機8300の位置の特定を行う。そして、受信機8300は、受信機8300の新たな位置が特定されると、その特定された新たな位置に、表示されている星印を移動させる。これによって、展示物8309を鑑賞したユーザは、受信機8300に表示されている案内図と星印とを見ることによって、次に鑑賞したい展示物へ容易に移動することができる。
 <シチュエーション:バス停留所>
 次に、受信機8300を携帯したユーザがバス停留所にいるシチュエーションでの適用例について、図436~図437を用いて説明する。
 図436は、バス停留所のシチュエーションでの受信機8300の動作の一例を示す図である。
 ユーザは、例えば、バスに乗車するためにバス停留所に行く。そこで、ユーザは、そのバス停留所にある標識塔8312が輝度変化によって信号を送信していると判断すると、図409に示す例と同様に、受信機8300を操作することによって、その受信機8300の通信アプリケーションを起動させる。なお、図410に示す例と同様に、受信機8300は通信アプリケーションを自動的に起動させてもよい。
 図437は、バス停留所のシチュエーションでの受信機8300の次の動作の一例を示す図である。
 受信機8300は、標識塔8312を撮像することによって、その標識塔8312があるバス停留所のIDを取得する。そして、受信機8300は、そのIDをサーバに送信し、そのIDに関連付けられた運行状況情報をサーバから取得する。なお、この運行状況情報は交通状況を示す情報であって、ユーザに提供されるサービスを示すサービス情報である。
 ここで、サーバは、そのバス停留所を含む地域において運行している各バスから情報を収集することによって、それらのバスの運行状況を管理している。したがって、サーバは、受信機8300からバス停留所のIDを取得したときには、管理されている運行状況に基づいて、そのIDのバス停留所にバスが到着するまでの時間を推定し、その推定された時間を示す運行状況情報を受信機8300に送信する。
 運行状況情報を取得した受信機8300は、その運行状況情報によって示される時間を、例えば「到着まで後10分」のように表示する。これにより、ユーザはバスの運行状況を容易に把握することができる。
 (補足)
 撮像側の走査方向が携帯端末の垂直方向(上下方向)である場合に、露光時間を短くして撮像すると、LEDの照明装置全体のON/OFFに対して、図438の(a)のように、走査方向と同じ方向に白・黒のパターンである輝線を撮像することができる。図438の(a)では、縦長のLED照明装置の長辺方向を、撮像側の走査方向に対して垂直になるように撮像しているため(携帯端末の左右方向)、走査方向と同じ方向に、多数の白・黒パターンの輝線を撮像することができる。即ち、送受信可能な情報量を大きくすることができる。一方、図438の(b)のように、縦長のLED照明装置を、撮像側の走査方向に対して平行になるように撮像した場合(携帯端末の上下方向)、撮像できる白・黒パターンの輝線は少なくなる。即ち、送信可能な情報量が小さくなる。
 このように、撮像側の走査方向に対するLED照明装置の向きによって、多数の白・黒パターンの輝線が撮像できる場合(縦長のLED照明装置の長辺方向を、撮像側の走査方向に対して垂直になるように撮像した場合)と、少数の白・黒パターンの輝線の撮像しかできない場合(縦長のLED照明装置の長辺方向を、撮像側の走査方向に対して平行にした場合)とが生じる。
 本実施の形態では、少数の白・黒パターンの輝線しか撮像できない場合であっても、多数の輝線を撮像可能な照明装置の制御方法について説明する。
 図439に縦方向に複数のLEDを配した照明装置と、その駆動信号の一例を示す。図439の(a)は、縦方向に複数のLEDを配した照明装置である。各LED素子が可視光通信信号を符号化した横縞の最小単位に相当するものとし、符号化したON/OFF信号に相当するものとする。このように、白・黒のパターンを生成し、各LED素子をON/OFFして、照明することにより、撮像側の走査方向と、縦長のLED照明装置の長辺方向が並行であったとして、LED素子単位の白・黒パターンを撮影することが可能となる。
 図439の(c)および(d)は、白・黒のパターンを生成し、各LED素子をON/OFFして照明する例を示している。照明装置において、白・黒のパターンとして照明すると、短時間であっても、明かりにムラが生じる場合がある。そのため、逆位相のパターンを生成し、交互に照明する例を示したものが、図439の(c)および(d)になる。図439の(c)において、ONになっていた素子は、図439の(d)において、OFFとなっており、図439の(c)において、OFFになっていた素子は、図439の(d)において、ONとなっている。このように、白・黒のパターンを、正位相のパターンと、逆位相のパターンを順次交互に、照明することにより、明かりのムラを生じさせることなく、かつ、撮像側の走査方向と、照明装置の向きとの関係に影響を受けず、可視光通信において多くの情報を送受信することが可能となる。また、正位相のパターン、逆位相のパターンの2種類のパターンを交互に生成し、照明する場合に限らず、3種類以上のパターンを生成し、照明することも考えられる。図440は、4種類のパターンを順次照明する例を示している。
 通常は、LED照明全体で点滅を行い(図439の(b))、所定時間だけ、白・黒パターンを生成し、LED素子単位で照明する構成も考えられる。例えば、所定のデータ単位の送受信の時間は、LED照明全体で点滅を行い、その後、短時間で、LED素子単位で白・黒パターンを照明する構成が考えられる。ここで、所定のデータ単位は、例えば、第1のヘッダから、次の第2のヘッダのまでのデータ単位をいう。このとき、図438の(a)の方向で撮像した場合はLED照明全体での点滅を撮像した輝線から信号を受信し、図438の(b)の方向で受信した場合はLED素子単位での発光パターンから信号を受信する。
 なお、本実施の形態は、LED照明装置に限定するものではなく、LED素子と同じように、小さな素子単位でON/OFFを制御できる素子であればどのような素子であってもよい。また、照明装置に限らず、テレビや、プロジェクターや、サイネージなどの装置であってもよい。
 また、本実施の形態では、白・黒パターンで照明する例について説明したが、白・黒パターンではなく色を用いても良い。例えば、RGBのうち、RGは常時点灯させ、Bだけ使って点滅させてもよい。RやGよりもBだけ使うほうが人間に認識されにくく、ちらつきを抑制することが可能となる。他の例として、白・黒パターンの代わりに加法混色において補色になる色(赤とシアンのパターン、緑とマゼンタのパターン、黄と青のパターンなど)を使って、ON/OFFを表示させてもよい。加法混色において補色になる色を用いることにより、ちらつきを抑制することが可能となる。
 また、本実施の形態では、LED素子を1次元に配置する例を用いて説明したが、LED素子を1次元に並べるのではなく、2次元に配置して、2次元バーコードのように表示を行ってもよい。
 (本実施の形態のまとめ)
 本実施の形態におけるサービス提供方法は、複数の露光ラインを有するイメージセンサを備える端末装置を用いて、前記端末装置のユーザにサービスを提供するサービス提供方法であって、前記イメージセンサの各露光ラインの露光を順次異なる時刻で開始し、かつ、前記各露光ラインの露光時間が、隣接する露光ラインとの間で、部分的に時間的な重なりを持つように、1/480秒以下の露光時間で被写体の撮影を行うことにより画像データを取得する画像取得ステップと、前記画像データに現れる、前記各露光ラインに対応する輝線パターンを復調することにより、前記被写体の識別情報を取得する可視光通信ステップと、前記被写体の識別情報に関連付けられているサービス情報を前記ユーザに提示するサービス提示ステップとを含む。
 これにより、被写体および端末装置がそれぞれ送信機および受信機として互いに通信することを利用して、端末装置のユーザに被写体に関連したサービス情報が提示されるため、ユーザにとって有益な情報をサービスとしてそのユーザに多様な形態で提供することができる。例えば、前記サービス提示ステップでは、前記被写体に関連する店舗の広告、空席状況または予約状況を示す情報と、商品または役務の価格の割引率を示す情報と、映画広告用の動画像と、上映時間を示す情報と、建物内部を案内するための情報と、展示物を紹介するための情報と、交通状況を示す情報とのうちの少なくも1つを、前記サービス情報として提示する。
 また、前記サービス提供方法は、さらに、前記端末装置が前記被写体の識別情報をサーバに送信する識別情報送信ステップと、前記被写体の識別情報に関連付けられている前記サービス情報を前記端末装置が前記サーバから取得するサービス取得ステップとを含み、前記サービス提示ステップでは、取得された前記サービス情報を前記端末装置が前記ユーザに提示してもよい。
 これにより、サービス情報を被写体の識別情報に関連付けてサーバに管理させることができるため、サービス情報の更新などのメンテナンスを容易にすることができる。
 また、前記識別情報送信ステップでは、前記被写体の識別情報とともに付属情報を前記サーバに送信し、前記サービス取得ステップでは、前記被写体の識別情報と前記付属情報とに関連付けられている前記サービス情報を取得してもよい。
 これにより、付属情報に応じた、ユーザにとってより適切なサービスを提供することができる。例えば、図412および図425を用いて説明した動作のように、前記識別情報送信ステップでは、前記ユーザの個人情報、前記ユーザの識別情報、前記ユーザを含むグループの人数を示す人数情報、または、前記端末装置の位置を示す位置情報を、前記付属情報として送信する。
 また、前記サービス提供方法は、さらに、前記端末装置の位置を示す位置情報を前記端末装置がサーバに送信する位置送信ステップと、前記位置情報によって示される位置を含む所定の範囲にある少なくとも1つの機器の識別情報と、前記識別情報のそれぞれに関連付けられている少なくとも1つのサービス情報とを、前記端末装置が前記サーバから取得して保持する事前取得ステップとを含み、前記サービス提示ステップでは、前記事前取得ステップで保持された前記少なくとも1つのサービス情報の中から、前記被写体の前記識別情報に関連付けられているサービス情報を前記端末装置が選択して、当該サービス情報を前記ユーザに提示してもよい。
 これにより、例えば図410を用いて説明した動作のように、端末装置が被写体の識別情報を取得したときには、その後にサーバなどと通信することなく、予め保持されている少なくとも1つのサービス情報の中から、その被写体の識別情報に関連付けられているサービス情報を取得して提示することができる。したがって、サービスの提供を高速化することができる。
 また、前記サービス提供方法は、さらに、前記ユーザの位置を特定することによって、前記サービス提示ステップで提示されたサービス情報に対応する店舗に、前記ユーザが入ったか否かを判別する入店判別ステップと、前記入店判別ステップで、前記ユーザが前記店舗に入ったと判別されたときには、前記店舗の商品または役務に関する商品役務情報を、前記端末装置がサーバから取得して前記ユーザに提示する商品役務提示ステップとを含んでもよい。
 これにより、例えば図414~図418を用いて説明した動作のように、ユーザが店舗に入れば、店舗のメニューなどを商品役務情報としてユーザに自動的に提示することができる。したがって、店舗の店員はメニューなどをユーザに提示する必要がなく、ユーザは店舗に対して簡単に注文を行うことができる。
 また、前記サービス提供方法は、さらに、前記ユーザの位置を特定することによって、前記サービス提示ステップで提示されたサービス情報に対応する店舗に、前記ユーザが入ったか否かを判別する入店判別ステップと、前記入店判別ステップで、前記ユーザが前記店舗に入ったと判別されたときには、前記被写体の位置、および、前記サービス情報が提示された時刻のうちの、少なくとも一方に応じて異なる前記店舗の付加的なサービス情報を、前記端末装置が前記ユーザに提示する付加サービス提示ステップとを含んでもよい。
 これにより、例えば図414~図418を用いて説明した処理のように、ユーザが入った店舗から被写体が近いほど、あるいは、ユーザが店舗に入った時刻と、サービス情報が提示された時刻(または被写体の撮影が行われた時刻)とが近いほど、ユーザにとってより有益なサービス情報を付加的なサービス情報としてそのユーザに提示することができる。具体的には、チェーンストアに属する複数の店舗のそれぞれが、サービス提示ステップで提示されたサービス情報に対応する店舗であり、それらの店舗のうちの1つの店舗(広告店舗)によって被写体である看板が出されている場合がある。このような場合には、上記チェーンストアに属する複数の店舗のうち広告店舗は、典型的には、その被写体(看板)に最も近い位置にある。したがって、ユーザが入った店舗から被写体が近いほど、あるいは、ユーザが店舗に入った時刻と、サービス情報が提示された時刻とが近いほど、ユーザが入った店舗が広告店舗である可能性が高い。そこで、ユーザが広告店舗に入った可能性が高い場合には、ユーザにとってより有益なサービス情報を付加的なサービス情報としてそのユーザに提示することができる。
 また、前記サービス提供方法は、さらに、前記ユーザの位置を特定することによって、前記サービス提示ステップで提示されたサービス情報に対応する店舗に、前記ユーザが入ったか否かを判別する入店判別ステップと、前記入店判別ステップで、前記ユーザが前記店舗に入ったと判別されたときには、前記ユーザが前記サービス情報によって示されるサービスを前記店舗で利用した回数に応じて異なる前記店舗の付加的なサービス情報を、前記端末装置が前記ユーザに提示する付加サービス提示ステップとを含んでもよい。
 これにより、例えば図414~図418を用いて説明した動作のように、サービスの利用回数が多いほど、ユーザにとってより有益なサービス情報を付加的なサービス情報としてそのユーザに提示することができる。例えば、商品価格の20%割引を示すサービス情報の利用回数が閾値を超えると、10%のさらなる割引を示す付加的なサービス情報をユーザに提示することができる。
 また、前記サービス提供方法は、さらに、前記ユーザの位置を特定することによって、前記サービス提示ステップで提示されたサービス情報に対応する店舗に、前記ユーザが入ったか否かを判別する入店判別ステップと、前記入店判別ステップで、前記ユーザが前記店舗に入ったと判別されたときには、前記店舗に関連付けられている、前記被写体以外の全ての他の被写体のそれぞれに対しても、前記画像取得ステップ、前記可視光通信ステップおよび前記サービス提示ステップを含む処理が行われたか否かを判定するコンプリート判定ステップと、前記コンプリート判定ステップで前記処理が行われたと判定されたときには、前記店舗の付加的なサービス情報を、前記端末装置が前記ユーザに提示する付加サービス提示ステップとを含んでもよい。
 これにより、例えば図414~図418を用いて説明した動作のように、例えば店舗が幾つかの被写体を看板として出し、それらの看板の全てに対して画像取得ステップ、可視光通信ステップおよびサービス提示ステップが行なわれている場合には、ユーザにとって最も有益なサービス情報を付加的なサービス情報としてそのユーザに提示することができる。
 また、前記サービス提供方法は、さらに、前記ユーザの位置を特定することによって、前記サービス提示ステップで提示されたサービス情報に対応する店舗に、前記ユーザが入ったか否かを判別する入店判別ステップと、前記入店判別ステップで、前記ユーザが前記店舗に入ったと判別されたときには、前記サービス情報が提示された時刻と、前記ユーザが前記店舗に入った時刻との差分に応じて異なる前記店舗の付加的なサービス情報を、前記端末装置が前記ユーザに提示する付加サービス提示ステップとを含んでもよい。
 これにより、例えば図414~図418を用いて説明した動作のように、サービス情報が提示された時刻(または被写体の撮影が行われた時刻)と、ユーザが店舗に入った時刻との差分が小さいほど、ユーザにとってより有益なサービス情報を付加的なサービス情報としてそのユーザに提示することができる。つまり、被写体の撮像によってサービス情報の提示を受けてから入店までの時間が短いユーザに対しては、より有益なサービスを付加的に提供することができる。
 また、前記サービス提供方法は、さらに、前記サービス提示ステップで提示されたサービス情報に対応する店舗で、前記ユーザが前記サービス情報によって示されるサービスを利用したか否かを判定する利用判定ステップと、前記サービス情報が提示されるごとに、前記利用判定ステップにおいて判定された結果を集積し、集積された内容に基づいて前記被写体の広告効果を解析する解析ステップとを含んでもよい。
 例えば図414~図418を用いて説明した動作のように、商品価格の20%割引などのサービスがサービス情報に示されている場合に、そのサービスが例えば電子決済によって利用されたか否かが判定される。つまり、被写体の撮像時にユーザにサービスが提供されるごとに、そのサービスが利用されたか否かが判定される。その結果、例えば、利用されたと判定されることが多い場合には、被写体の広告効果は高いと解析することができる。つまり、被写体の広告効果を利用結果に基づいて適切に解析することができる。
 また、前記解析ステップでは、前記利用判定ステップにおいて判定された結果とともに、前記被写体の位置、前記サービス情報が提示された時刻、前記店舗の位置、および、前記店舗に前記ユーザが入った時刻のうちの、少なくとも1つを集積し、集積された内容に基づいて前記被写体の広告効果を解析してもよい。
 これにより、被写体の広告効果をより詳細に解析することができる。例えば、被写体の位置を変えた場合には、位置を変える前と後とでの広告効果を比較することができ、その結果、広告効果の高い位置に被写体を出すことができる。
 また、前記サービス提供方法は、さらに、前記サービス提示ステップで提示されたサービス情報に対応する店舗で、前記ユーザが前記サービス情報によって示されるサービスを利用したか否かを判定する利用判定ステップと、前記利用判定ステップで前記サービスを利用したと判定されたときには、前記サービスが利用された店舗である利用店舗が、前記被写体に関連付けられた特定店舗であるか否かを判定する店舗判定ステップと、前記店舗判定ステップで前記利用店舗が前記特定店舗でないと判定されたときには、前記利用店舗において前記サービスを利用して決済された金額の少なくとも一部を、電子商取引を用いて、前記特定店舗に還元する還元ステップとを含んでもよい。
 これにより、例えば図414~図418を用いて説明した動作のように、特定店舗(例えば、被写体である看板を出している広告店舗)でサービスが利用されない場合であっても、特定店舗は、例えば被写体である看板の設置に対する代償として、利益を得ることができる。
 また、前記サービス提示ステップでは、前記画像取得ステップにおいて輝度変化する光に照らされた前記被写体が撮影された場合には、前記被写体を紹介するための前記サービス情報を前記端末装置が前記ユーザに提示し、前記画像取得ステップにおいて輝度変化する照明機器が前記被写体として撮影された場合には、前記被写体が配置された建物内部を案内するための前記サービス情報を前記端末装置が前記ユーザに提示してもよい。
 これにより、例えば図433および図434を用いて説明した動作のように、例えば美術館などの館内の案内サービスと、被写体である展示物の紹介サービスとを適切にユーザに提供することができる。
 また、本実施の形態における情報通信方法は、複数の発光素子を有する被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップと、第1の情報を示すための輝度変化のパターンにしたがって前記複数の発光素子の全てが同じ態様で輝度変化する前記被写体を、設定された前記露光時間で前記イメージセンサが撮影することによって、前記輝線を含む画像である輝線画像を取得する画像取得ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより前記第1の情報を取得する第1の情報取得ステップと、前記複数の発光素子のそれぞれが、互いに異なる2つの輝度値のうちの一方の輝度値で発光する前記被写体を撮影し、撮影によって得られる画像に示される、前記露光ラインに平行な方向に沿う輝度の明暗の配列によって特定されるデータを復調することにより第2の情報を取得する第2の情報取得ステップとを含む。
 または、本実施の形態における情報通信方法は、輝度変化によって信号を送信する情報通信方法であって、送信対象の第1の信号を変調することによって、輝度変化のパターンを決定する決定ステップと、決定された前記輝度変化のパターンにしたがって、発光体が有する複数の発光素子の全てが同じ態様で輝度変化することによって、前記第1の信号を送信する第1の送信ステップと、前記複数の発光素子のそれぞれが、互いに異なる2つの輝度値のうちの一方の輝度値で発光することにより、前記発光体が配置された空間上に、輝度の明暗の配列を現すことによって、送信対象の第2の信号を送信する第2の送信ステップとを含む。
 これにより、例えば図438~図440を用いて説明した動作のように、被写体または発光体である照明装置が、一列に配列された複数のLEDを備えた細長いものであっても、受信機は、撮影の向きに関わらず、その照明装置からの情報または信号を適切に取得することができる。つまり、受信機に備えられているイメージセンサの露光ライン(撮像側の操作方向)と、複数のLEDの配列方向とが平行でない場合には、受信機は、照明装置の全体の輝度変化から情報または信号を適切に取得することができる。さらに、受信機は、露光ラインと上述の配列方向とが平行である場合でも、受信機は、露光ラインに平行な方向に沿う輝度の明暗の配列から、情報または信号を適切に取得することができる。言い換えれば、情報の受信に対する、撮像の向きの依存性を抑えることができる。
 (実施の形態17)
 本実施の形態では、上記実施の形態1~16におけるスマートフォンなどの受信機と、LEDや有機ELなどの点滅パターンとして情報を送信する送信機とを用いた適用例について説明する。
 図441は、実施の形態17における送信機の動作の一例を示す図である。
 送信機8321、送信機8322および送信機8323はそれぞれ、上記実施の形態1~16の何れかの送信機と同様の機能を備え、輝度変化によって信号を送信(可視光通信)する照明機器として構成されている。また、これらの送信機8321~8323はそれぞれ互いに異なる周波数で輝度変化することによって信号を送信する。例えば、送信機8321は、周波数a(例えば9200Hz)で輝度変化することによって、その送信機8321のID「1000」を送信し、送信機8322は、周波数b(例えば9600Hz)で輝度変化することによって、その送信機8322のID「2000」を送信し、送信機8323は、周波数c(例えば10000Hz)で輝度変化することによって、その送信機8322のID「3000」を送信する。
 受信機は、これらの送信機8321~8323が全て画角に含まれるように、送信機8321~8323を上記実施の形態1~16と同様に撮像(可視光撮影)する。その撮像によって得られる画像には、各送信機に対応する輝線パターンが現れている。なお、輝線パターンからは、その輝線パターンに対応する送信機の輝度変化の周波数を特定することができる。
 ここで、仮に、送信機8321~8323のそれぞれの周波数が同一である場合には、送信機のそれぞれに対応する輝線パターンから特定される周波数も同一となる。さらに、それらの輝線パターンが互いに隣接している場合には、それらの輝線パターンから特定される周波数が同一であるため、それらの輝線パターンを区別することが難しくなる。
 そこで、上述のように、送信機8321~8323が互いに異なる周波数で輝度変化することによって、受信機は、それらの輝線パターンを容易に区別することができ、それぞれの輝線パターンによって特定されるデータを復調することによって、送信機8321~8323のそれぞれのIDを適切に取得することができる。つまり、受信機は、送信機8321~8323からの信号を適切に区別することができる。
 なお、送信機8321~8323のそれぞれの周波数は、リモートコントローラによって設定されてもよく、ランダムに設定されてもよい。また、送信機8321~8323のそれぞれは、隣の送信機と通信し、隣の通信機の周波数と異なるように、自らの送信機の周波数を自動的に設定してもよい。
 図442は、実施の形態17における送信機の動作の一例を示す図である。
 上述の例では、送信機のそれぞれが異なる周波数で輝度変化するが、5つ以上の送信機がある場合には、それぞれが異なる周波数で輝度変化しなくてもよい。つまり、5つ以上の送信機のそれぞれは、4種類の周波数のうちの何れか1つの周波数で輝度変化すればよい。
 例えば、図442に示すように、5つ以上の送信機のそれぞれに対応する輝線パターン(図442中の矩形領域)が隣接している状況であっても、周波数の種類は送信機の数だけ必要ではなく、4種類(周波数a,b,c,d)あれば、互いに隣接する輝線パターンの周波数を確実に異ならせることができる。このことは、四色問題または四色定理によって理由付けられる。
 つまり、本実施の形態では、複数の送信機のそれぞれは、少なくとも4種類の周波数のうちの何れか1つの周波数で輝度変化し、複数の送信機のうちの2つ以上の発光体は、同一の周波数で輝度変化する。また、受信機のイメージセンサの受光面に、その複数の送信機が投影される場合に、その受光面上で互いに隣接する全ての送信機(送信機の像である輝線パターン)間で輝度変化の周波数が異なるように、その複数の送信機のそれぞれは輝度変化する。
 図443は、実施の形態17における送信機の動作の一例を示す図である。
 送信機は、予め定められた時間単位(スロット)ごとに、高い輝度の光(H)または低い輝度の光(L)を出力することによって輝度変化し、この輝度変化によって信号を送信する。ここで、送信機は、ヘッダとボディとからなるブロックごとに信号を送信する。ヘッダは、例えば図407Aに示すように7スロットを用いて(L,H,L,H,L,H,H)として表現される。そして、ボディは、複数のシンボル(00,01,10または11)からなり、各シンボルは4スロット(4値PPM)を用いて表現される。また、ブロックは、予め定められた数(図443の例では19)のスロットを用いて表現される。また、IDは、例えば4つのブロックのそれぞれに含まれるボディを結合することによって得られるものである。なお、ブロックは33個のスロットを用いて表現されてもよい。
 受信機の撮像によって得られる輝線パターンは、そのヘッダに対応するパターン(ヘッダパターン)と、ボディに対応するパターン(データパターン)とを含む。データパターンには、ヘッダパターンと同じパターンが含まれていない。したがって、受信機は、輝線パターンからヘッダパターンを容易に見つけることができ、ヘッダパターンと次のヘッダパターンとの間の画素数(ブロックに対応する露光ラインの数)を計測することができる。受信機は、1ブロックのスロット数(図443の例では19)は周波数に関わらず固定の数に定められているため、この計測された画素数に応じて送信機の周波数(1スロットの時間幅の逆数)を特定することができる。つまり、受信機は、画素数が多いほど低い周波数を特定し、画素数が少ないほど高い周波数を特定する。
 このように、受信機は、送信機の撮像によって、その送信機のIDを取得することができるとともに、その送信機の周波数を特定することができる。ここで、受信機は、このように特定される周波数を利用して、取得されたIDが適切なものであるか否かを判定すること、つまり、IDのエラー検出を行うことができる。具体的には、受信機は、IDに対するハッシュ値を算出し、そのハッシュ値と、特定された周波数とを比較する。受信機は、そのハッシュ値と周波数とが一致する場合には、取得されたIDが適切なものであると判定し、一致しない場合には、取得されたIDが不適切なもの(エラー)であると判定する。例えば、受信機は、IDを予め定められた除数で除算した余りをハッシュ値として扱う。逆に言えば、送信機は、送信対象のIDに対するハッシュ値と同じ値の周波数(1スロットの時間幅の逆数)で輝度変化することによって、その送信対象のIDを送信する。
 図444は、実施の形態17における送信機および受信機の動作の一例を示す図である。
 送信機は、上述のようにハッシュ値と同じ値の周波数を用いるのではなく、任意の周波数を用い、その任意の周波数で輝度変化してもよい。この場合、送信機は、その送信機のIDと異なる値を示す信号を送信する。例えば、送信機のIDが「100」であって、その送信機が任意の周波数として2kHzを用いる場合には、送信機は、IDと周波数とを組み合せた信号「1002」を送信する。同様に、他の送信機のIDが「110」であって、他の送信機が任意の周波数として1kHzを用いる場合には、他の送信機は、IDと周波数とを組み合せた信号「1101」を送信する。
 この場合には、受信機は、送信機から送信されて取得された信号のうちの下一桁目の数値を、エラー検出に利用し、残りの桁の数値を送信機のIDとして抽出する。そして、受信機は、輝度パターンから特定された周波数と、取得された信号に含まれる上記下一桁目の数値とを比較する。受信機は、その下一桁目の数値と周波数とが一致する場合には、抽出されたIDが適切なものであると判定し、一致しない場合には、抽出されたIDが不適切なもの(エラー)であると判定する。
 これにより、受信機においてエラー検出を可能としながらも、送信機における輝度変化の周波数の設定の自由度を増すことができる。
 図445は、実施の形態17における受信機の動作の一例を示す図である。
 図445に示すように、受信機による撮像(可視光撮影)によって得られる画像において、輝線パターン8327aと輝線パターン8327bのそれぞれの一部が重なる場合がある。このような場合、受信機は、輝線パターン8327aと輝線パターン8327bとが重なる部分8327cからはデータの復調を行わず、輝線パターン8327aと輝線パターン8327bのそれぞれの部分8327c以外の部分からデータの復調を行う。これにより、受信機は、輝線パターン8327aと輝線パターン8327bのそれぞれから適切なIDを取得することができる。
 図446は、実施の形態17における受信機の動作の一例を示す図である。
 送信機は、図433の(a)に示すように、例えばブロックごとに、そのブロックを送信するための輝度変化の周波数を切り替える。これにより、受信機は、ブロックとブロックの区切りをさらに容易に判別することができる。
 また、送信機は、図433の(b)に示すように、例えばブロックのヘッダを送信するための輝度変化の周波数と、そのブロックのボディを送信するための輝度変化の周波数とを異ならせる。これにより、ボディにヘッダと同じパターンが出現することを抑えることができる。その結果、受信機は、ヘッダとボディの区別をさらに適切に判定することができる。
 図447は、実施の形態17における送信機、受信機およびサーバを有するシステムの動作の一例を示す図である。
 本実施の形態におけるシステムは、送信機8331と、受信機8332と、サーバ8333とを備える。送信機8331は、上記実施の形態1~16の何れかの送信機と同様の機能を備え、送信機8331のIDを輝度変化によって送信(可視光通信)する照明機器として構成されている。受信機8332は、上記実施の形態1~16の何れかの受信機としての機能を備え、送信機8331を撮像(可視光撮影)することによって、その送信機8331から送信機8331のIDを取得する。サーバ8333は、送信機8331および受信機8332と例えばインターネットなどのネットワークを介して通信する。
 なお、本実施の形態では、送信機8331のIDは変更されることがなく、固定されている。一方、送信機8331の輝度変化(可視光通信)に用いられる周波数は、設定によって任意に変更可能である。
 このようなシステムでは、送信機8331は、まず、輝度変化(可視光通信)に用いられ周波数をサーバ8333に登録する。具体的には、送信機8331は、自らのIDと、その周波数を示す登録周波数情報と、送信機8331に関連する関連情報とをサーバ8333に送信する。サーバ8333は、送信機8331のIDと登録周波数情報と関連情報とを受信すると、これらを関連付けて記録する。つまり、送信機8331のIDと、送信機8331の輝度変化に用いられる周波数と、関連情報とが互いに関連付けられて記録される。これにより、送信機8331の輝度変化に用いられる周波数が登録される。
 次に、送信機8331は、その登録された周波数の輝度変化によって、送信機8331のIDを送信する。受信機8332は、送信機8331を撮像することによって、そのIDを取得するとともに、上述と同様に、その送信機8331の輝度変化の周波数を特定する。
 次に、受信機8332は、その取得されたIDと、特定された周波数を示す特定周波数情報とをサーバ8333に送信する。サーバ8333は、受信機8332によって送信されたIDおよび特定周波数情報を受信すると、そのIDに関連付けて記録されている周波数(登録周波数情報によって示される周波数)を検索し、その記録されている周波数と、特定周波数情報によって示される周波数とが一致するか否かを判定する。ここで、一致すると判定すると、サーバ8333は、そのIDおよび周波数に関連付けて記録されている関連情報(データ)を受信機8332に送信する。
 これにより、受信機8332によって特定される周波数が、サーバ8333に登録された周波数に一致しなければ、サーバ8333から受信機8332に関連情報が送信されることはない。したがって、受信機8332が送信機8331からIDを一度だけでも取得してしまえば、受信機8332がサーバ8333から関連情報をいつでも受け取り可能な状態になってしまうことを、サーバ8333に登録される周波数を随時変更することによって防ぐことができる。つまり、送信機8331は、サーバ8333に登録される周波数(つまり輝度変化に用いられる周波数)を変更することによって、変更前にIDを取得した受信機8332による関連情報の取得を禁止することができる。言い換えれば、周波数の変更によって、関連情報の取得に対して有効期限を設定することができる。例えば、受信機8332のユーザが、送信機8331が設置されたホテルに宿泊した場合、宿泊後にホテルの管理者が周波数を変更する。これによって、受信機8332は、そのユーザが宿泊した日だけ関連情報を取得することができ、宿泊後にその受信機8332が関連情報を取得することを禁止することができる。
 なお、サーバ8333は、1つのIDに複数の周波数を関連付けて登録しておいてもよい。例えば、サーバ8333は、登録周波数情報を受信機8332から取得するごとに、常に最新の4つの登録周波数情報によって示される周波数をIDに関連付けて登録する。これにより、過去にIDを取得した受信機8332であっても、周波数が3回変更されるまでは、関連情報をサーバ8333から取得することができる。また、サーバ8333は、登録されている周波数ごとに、その周波数が送信機8331に設定されていた時刻または時間帯を管理しておいてもよい。この場合には、サーバ8333は、IDおよび特定周波数情報を受信機8332から受けたときには、その特定周波数情報によって示される周波数に対して管理されている時間帯などを確認することによって、その受信機8332がIDを取得した時間帯を特定することができる。
 図448は、実施の形態17における送信機の構成を示すブロック図である。
 送信機8334は、上記実施の形態1~16の何れかの送信機と同様の機能を備えるとともに、周波数記憶部8335、ID記憶部8336、チェック値記憶部8337、チェック値比較部8338、チェック値算出部8339、周波数算出部8340、周波数比較部8341、送信部8342、およびエラー報知部8343を備えている。
 周波数記憶部8335は、輝度変化(可視光通信)に用いられる周波数を記憶している。ID記憶部8336は、送信機8334のIDを記憶している。チェック値記憶部8337は、ID記憶部8336に記憶されているIDが適切なものであるかを判定するためのチェック値を記憶している。
 チェック値算出部8339は、ID記憶部8336に記憶されているIDを読み出し、そのIDに対して所定の関数を適用することによって、そのIDに対するチェック値(算出チェック値)を算出する。チェック値比較部8338は、チェック値記憶部8337に記憶されているチェック値を読み出し、そのチェック値と、チェック値算出部8339によって算出された算出チェック値とを比較する。チェック値比較部8338は、算出チェック値がチェック値と異なると判定すると、エラーをエラー報知部8343に通知する。例えば、チェック値記憶部8337は、ID記憶部8336に記憶されているIDが偶数であることを示す値「0」をチェック値として記憶している。チェック値算出部8339は、ID記憶部8336に記憶されているIDを読み出して値「2」で除算することによって、その余りを算出チェック値として算出する。そして、チェック値比較部8338は、チェック値「0」と、上述の除算の余りである算出チェック値とを比較する。
 周波数算出部8340は、ID記憶部8336に記憶されているIDを、チェック値算出部8339を介して読み出し、そのIDから周波数(算出周波数)を算出する。例えば、周波数算出部8340は、IDを予め定めれらた値で除算することによって、その余りを周波数として算出する。周波数比較部8341は、周波数記憶部8335に記憶されている周波数(記憶周波数)と、算出周波数とを比較する。周波数比較部8341は、算出周波数が記憶周波数と異なると判定すると、エラーをエラー報知部8343に通知する。
 送信部8342は、周波数算出部8340によって算出された算出周波数で輝度変化することによって、ID記憶部8336に記憶されているIDを送信する。
 エラー報知部8343は、チェック値比較部8338および周波数比較部8341のうちの少なくとも一方からエラーが通知されたときには、ブザー音、点滅または点灯などによってエラーを報知する。具体的には、エラー報知部8343は、エラーの報知用にランプを備え、そのランプを点灯または点滅させることによってエラーを報知する。または、エラー報知部8343は、送信機8334の電源スイッチがONに切り替えられたときに、IDなどの信号を送信するために輝度変化する光源を、所定の期間(例えば10秒)だけ、人間が認知し得る周期で点滅させることによってエラーを報知する。
 これにより、ID記憶部8336に記憶されているIDと、そのIDから算出される周波数が適切なものであるかがチェックされるため、誤ったIDの送信と、誤った周波数での輝度変化とを防ぐことができる。
 図449は、実施の形態17における受信機の構成を示すブロック図である。
 受信機8344は、上記実施の形態1~16の何れかの受信機と同様の機能を備えるとともに、受光部8345、周波数検出部8346、ID検出部8347、周波数比較部8348、および周波数算出部8349を備えている。
 受光部8345は、例えばイメージセンサを備え、輝度変化する送信機を撮像(可視光撮影)することによって、輝線パターンを含む画像を取得する。ID検出部8347は、送信機のIDをその画像から検出する。つまり、ID検出部8347は、その画像に含まれる輝線パターンによって特定されるデータを復調することによって、送信機のIDを取得する。周波数検出部8346は、送信機の輝度変化の周波数をその画像から検出する。つまり、周波数検出部8346は、図443を用いて説明した例のように、その画像に含まれる輝線パターンから送信機の周波数を特定する。
 周波数算出部8349は、ID検出部8347によって検出されたIDから、例えば上述のようにIDに対して除算を行うことによって、送信機の周波数を算出する。周波数比較部8348は、周波数検出部8346によって検出された周波数と、周波数算出部8349によって算出された周波数とを比較する。ここで、周波数比較部8348は、これらの周波数が異なる場合には、検出されたIDが誤りであると判断し、ID検出部8347に対してIDの検出をやり直させる。これにより、誤ったIDを取得することを防ぐことができる。
 図450は、実施の形態17における送信機の動作の一例を示す図である。
 送信機は、予め定められた時間単位において輝度変化がある位置を異ならせることによって、シンボル「00,01,10,11」のそれぞれを区別して送信してもよい。
 例えば、シンボル「00」を送信するときには、送信機は、時間単位における最初の区間である第1区間だけ輝度変化することによって、そのシンボル「00」を送信する。また、シンボル「01」を送信するときには、送信機は、時間単位における二番目の区間である第2区間だけ輝度変化することによって、そのシンボル「01」を送信する。同様に、シンボル「10」を送信するときには、送信機は、時間単位における三番目の区間である第3区間だけ輝度変化することによって、そのシンボル「10」を送信し、シンボル「11」を送信するときには、送信機は、時間単位における四番目の区間である第4区間だけ輝度変化することによって、そのシンボル「11」を送信する。
 このように本実施の形態では、何れのシンボルを送信するときにも、1つの区間内では輝度変化するため、1つの区間(スロット)の全体を低い輝度にしてしまう上述の送信機と比べて、ちらつきを抑えることができる。
 図451は、実施の形態17における送信機の動作の一例を示す図である。
 送信機は、予め定められた時間単位において輝度変化の有無を異ならせることによって、シンボル「0,1」のそれぞれを区別して送信してもよい。例えば、シンボル「0」を送信するときには、送信機は、時間単位において輝度変化しないことによって、そのシンボル「0」を送信する。また、シンボル「1」を送信するときには、送信機は、時間単位において輝度変化することによって、そのシンボル「1」を送信する。
 図452は、実施の形態17における送信機の動作の一例を示す図である。
 送信機は、予め定められた時間単位における輝度変化の激しさ(周波数)を異ならせることによって、シンボル「00,01,10,11」のそれぞれを区別して送信してもよい。例えば、シンボル「00」を送信するときには、送信機は、時間単位において輝度変化しないことによって、そのシンボル「00」を送信する。また、シンボル「01」を送信するときには、送信機は、時間単位において輝度変化すること(低い周波数で輝度変化すること)によって、そのシンボル「01」を送信する。また、シンボル「10」を送信するときには、送信機は、時間単位において激しく輝度変化すること(高い周波数で輝度変化すること)によって、そのシンボル「10」を送信する。そして、シンボル「11」を送信するときには、送信機は、時間単位においてさらに激しく輝度変化すること(より高い周波数で輝度変化すること)によって、そのシンボル「11」を送信する。
 図453は、実施の形態17における送信機の動作の一例を示す図である。
 送信機は、予め定められた時間単位における輝度変化の位相を異ならせることによって、シンボル「0,1」のそれぞれを区別して送信してもよい。例えば、シンボル「0」を送信するときには、送信機は、時間単位において予め定められた位相で輝度変化することによって、そのシンボル「0」を送信する。また、シンボル「1」を送信するときには、送信機は、時間単位において、上記位相と逆の位相で輝度変化することによって、そのシンボル「1」を送信する。
 図454は、実施の形態17における送信機の動作の一例を示す図である。
 送信機は、IDなどの信号を送信する際には、例えば赤色、緑色、および青色などの色ごとに輝度変化してもよい。これにより、色ごとの輝度変化を認識することができる受信機に対しては、送信機はより多くの情報量の信号を送信することができる。また、何れかの色の輝度変化をクロック合わせに使用してもよい。例えば、赤色の輝度変化をクロック合わせに使用してもよい。この場合、赤色の輝度変化がヘッダとして役割を果たす。その結果、赤色以外の色(緑色および青色)の輝度変化には、ヘッダを用いる必要がなく、冗長なデータの送信を抑えることができる。
 図455は、実施の形態17における送信機の動作の一例を示す図である。
 送信機は、例えば赤色、緑色および青色などの複数の色を合成することで合成色(例えば白色)の輝度を表現してもよい。つまり、送信機は、赤色、緑色、および青色などの色ごとに輝度変化することによって、合成色の輝度変化を表現する。この合成色の輝度変化によって、上述の可視光通信と同様に、送信対象の信号が送信される。ここで、赤色、緑色および青色のうちの何れか1つ以上の色の輝度を、合成色の予め定められた輝度を表現するための調整用に用いてもよい。これにより、合成色の輝度変化によって信号を送信することができるとともに、赤色、緑色および青色のうちの何れか2つの色の輝度変化によって信号を送信することができる。つまり、送信機は、上述のような合成色(例えば白色)の輝度変化のみ認識可能な受信機に対しても、信号を送信することができるとともに、赤色、緑色および青色などの各色も認識可能な受信機に対しては、より多くの信号を例えば付帯情報として送信することができる。
 図456は、実施の形態17における送信機の動作の一例を示す図である。
 送信機は4つの光源を備えている。これらの4つの光源(例えばLED電灯)はそれぞれ、図456に示されるCIExy色度図において互いに異なる位置8351a,8351b,8352a,8352bによって表される色の光を発する。
 送信機は、第1点灯送信と第2点灯送信とを切り替えることによって、各信号を送信する。ここで、第1点灯送信は、4つの光源のうち、位置8351aの色の光を発する光源と、位置8351bの色の光を発する光源とを点灯させることによって、信号「0」を送信する処理である。また、第2点灯送信は、位置8352aの色の光を発する光源と、位置8352bの色の光を発する光源とを点灯させることによって、信号「1」を送信する処理である。受信機のイメージセンサは、位置8351a,8351b,8352a,8352bのそれぞれによって表される色を識別することができるため、受信機は信号「0」と信号「1」とを適切に受信することができる。
 ここで、第1点灯送信が行われているときには、CIExy色度図において位置8351a,8351bの中間にある位置によって表される色が人間の目に映る。同様に、第2点灯送信が行われているときには、CIExy色度図において位置8352a,8352bの中間にある位置によって表される色が人間の目に映る。したがって、4つの光源の色および輝度とを適切に調整することによって、位置8351a,8351bの中間にある位置と、位置8352a,8352bの中間にある位置とを(位置8353に)一致させることができる。これにより、第1点灯送信と第2点灯送信とが切り替えられても、人間の目には、送信機の発光色が固定されていように映るため、人間がちらつきを感じることを抑えることができる。
 図457は、実施の形態17における送信機および受信機の動作の一例を示す図である。
 送信機は、ID記憶部8361、乱数生成部8362、加算部8363、暗号部8364、および送信部8365を備えている。ID記憶部8361は、送信機のIDを記憶している。乱数生成部8362は、一定時間ごとに異なる乱数を生成する。加算部8363は、ID記憶部8361に記憶されているIDに対して、乱数生成部8362によって生成された最新の乱数を組み合わせ、その結果を編集IDとして出力する。暗号部8364は、その編集IDに対して暗号化を行うことによって暗号化編集IDを生成する。送信部8365は輝度変化することによって、その暗号化編集IDを受信機に送信する。
 受信機は、受信部8366、復号部8367およびID取得部8368を備えている。受信部8366は、送信機を撮像(可視光撮影)することによって、暗号化編集IDを送信機から受信する。復号部8367は、その受信された暗号化編集IDを復号することによって編集IDを復元する。ID取得部8368は、復元された編集IDからIDを抽出することによってそのIDを取得する。
 例えば、ID記憶部8361はID「100」を記憶しており、乱数生成部8362は最新の乱数「817」を生成する(例1)。この場合、加算部8363は、ID「100」に対して乱数「817」を組み合わせることによって、編集ID「100817」を生成して出力する。暗号部8364は、その編集ID「100817」に対して暗号化を行うことによって、暗号化編集ID「abced」を生成する。受信機の復号部8367は、その暗号化編集ID「abced」を復号することによって、編集ID「100817」を復元する。そして、ID取得部8368は、復元された編集ID「100817」からID「100」を抽出する。言い換えれば、ID取得部8368は、編集IDの下3桁を削除することによって、ID「100」を取得する。
 次に、乱数生成部8362は新たな乱数「619」を生成する(例2)。この場合、加算部8363は、ID「100」に対して乱数「619」を組み合わせることによって、編集ID「100619」を生成して出力する。暗号部8364は、その編集ID「100619」に対して暗号化を行うことによって、暗号化編集ID「difia」を生成する。送信機の復号部8367は、その暗号化編集ID「difia」を復号することによって、編集ID「100619」を復元する。そして、ID取得部8368は、復元された編集ID「100619」からID「100」を抽出する。言い換えれば、ID取得部8368は、編集IDの下3桁を削除することによって、ID「100」を取得する。
 このように、送信機はIDを単純に暗号化することなく、一定時間ごとに変更される乱数が組み合わされたものを暗号化するため、送信部8365から送信される信号から簡単にIDが解読されることを防ぐことができる。つまり、単純に暗号化されたIDが送信機から受信機に何度か送信される場合には、そのIDが暗号化されていても、そのIDが同じであれば、送信機から受信機に送信される信号も同じであるため、そのIDが解読される可能性がある。しかし、図457に示す例では、一定時間ごとに変更される乱数がIDに組み合わされて、その乱数が組み合わされたIDが暗号化される。したがって、同じIDが受信機に何度か送信される場合でも、それらのIDの送信のタイミングが異なれば、送信機から受信機へ送信される信号を異ならせることができる。その結果、IDが容易に解読されるのを防ぐことができる。
 図458は、実施の形態17における送信機および受信機の動作の一例を示す図である。
 送信機は、ID記憶部8371、計時部8372、加算部8373、暗号部8374、および送信部8375を備えている。ID記憶部8371は、送信機のIDを記憶している。計時部8372は計時し、現在日時(現在の年月日および時刻)を出力する。加算部8373は、ID記憶部8371に記憶されているIDに対して、計時部8372から出力された現在日時を送信日時として組み合わせ、その結果を編集IDとして出力する。暗号部8374は、その編集IDに対して暗号化を行うことによって暗号化編集IDを生成する。送信部8375は輝度変化することによって、その暗号化編集IDを受信機に送信する。
 受信機は、受信部8376、復号部8377、有効判定部8378、および計時部8379を備えている。受信部8376は、送信機を撮像(可視光撮影)することによって、暗号化編集IDを送信機から受信する。復号部8377は、その受信された暗号化編集IDを復号することによって編集IDを復元する。計時部8379は計時し、現在日時(現在の年月日および時刻)を出力する。有効判定部8378は、復元された編集IDからIDを抽出することによってそのIDを取得する。さらに、有効判定部8378は、復元された編集IDから送信日時を抽出し、その送信日時と、計時部8379から出力された現在日時とを比較することによって、そのIDの有効性を判定する。例えば、有効判定部8378は、送信日時と現在日時との差が予め定められた時間よりも長い場合、または、送信日時が現在日時よりも新しい場合には、そのIDが無効であると判定する。
 例えば、ID記憶部8371はID「100」を記憶しており、計時部8372は現在日時「201305011200」(2013年5月1日12時0分)を送信日時として出力する(例1)。この場合、加算部8373は、ID「100」に対して送信日時「201305011200」を組み合わせることによって、編集ID「100201305011200」を生成して出力する。暗号部8374は、その編集ID「100201305011200」に対して暗号化を行うことによって、暗号化編集ID「ei39ks」を生成する。受信機の復号部8377は、その暗号化編集ID「ei39ks」を復号することによって、編集ID「100201305011200」を復元する。そして、有効判定部8378は、復元された編集ID「100201305011200」からID「100」を抽出する。言い換えれば、有効判定部8378は、編集IDの下12桁を削除することによって、ID「100」を取得する。さらに、有効判定部8378は、復元された編集ID「100201305011200」から送信日時「201305011200」を抽出する。そして、有効判定部8378は、送信日時「201305011200」が、計時部8379から出力された現在日時よりも古く、その送信日時と現在日時との差が例えば10分以内であれば、そのID「100」が有効であると判定する。
 一方、ID記憶部8371はID「100」を記憶しており、計時部8372は現在日時「201401011730」(2014年1月1日17時30分)を送信日時として出力する(例2)。この場合、加算部8373は、ID「100」に対して送信日時「201401011730」を組み合わせることによって、編集ID「100201401011730」を生成して出力する。暗号部8374は、その編集ID「100201401011730」に対して暗号化を行うことによって、暗号化編集ID「002jflk」を生成する。受信機の復号部8377は、その暗号化編集ID「002jflk」を復号することによって、編集ID「100201401011730」を復元する。そして、有効判定部8378は、復元された編集ID「100201401011730」からID「100」を抽出する。言い換えれば、有効判定部8378は、編集IDの下12桁を削除することによって、ID「100」を取得する。さらに、有効判定部8378は、復元された編集ID「100201401011730」から送信日時「201401011730」を抽出する。そして、有効判定部8378は、送信日時「201401011730」が、計時部8379から出力された現在日時よりも新しければ、そのID「100」が無効であると判定する。
 このように、送信機はIDを単純に暗号化することなく、一定時間ごとに変更される現在日時が組み合わされたものを暗号化するため、送信部8375から送信される信号から簡単にIDが解読されることを防ぐことができる。つまり、単純に暗号化されたIDが送信機から受信機に何度か送信される場合には、そのIDが暗号化されていても、そのIDが同じであれば、送信機から受信機に送信される信号も同じであるため、そのIDが解読される可能性がある。しかし、図458に示す例では、一定時間ごとに変更される現在日時がIDに組み合わされて、その現在日時が組み合わされたIDが暗号化される。したがって、同じIDが受信機に何度か送信される場合でも、それらのIDの送信のタイミングが異なれば、送信機から受信機へ送信される信号を異ならせることができる。その結果、IDが容易に解読されるのを防ぐことができる。
 さらに、暗号化編集IDが送信された送信日時と現在日時とを比較することによって、取得されたIDが有効か否かが判定されるため、IDの有効性を送受信の時間に基づいて管理することができる。
 なお、図457および図458に示す受信機は、暗号化編集IDを取得すると、その暗号化編集IDをサーバに送信し、そのサーバからIDを取得してもよい。
 (駅での案内)
 図459は、電車のホームにおける本発明の利用形態の一例を示したものである。ユーザが、携帯端末を電子掲示板や照明にかざし、可視光通信により、電子掲示板に表示されている情報、または、電子掲示板の設置されている駅の電車情報・駅の構内情報などを取得する。ここでは、電子掲示板に表示されている情報自体が、可視光通信により、携帯端末に送信されてもよいし、電子掲示板に対応するID情報が携帯端末に送信され、携帯端末が取得したID情報をサーバに問い合わせることにより、電子掲示板に表示されている情報を取得してもよい。サーバは、携帯端末からID情報が送信されてきた場合に、ID情報に基づき、電子掲示板に表示されている内容を携帯端末に送信する。携帯端末のメモリに保存されている電車のチケット情報と、電子掲示板に表示されている情報とを対比し、ユーザのチケットに対応するチケット情報が電子掲示板に表示されている場合に、携帯端末のディスプレイに、ユーザの乗車予定の電車が到着するホームへの行き先を示す矢印を表示する。降車時に出口や乗り換え経路に近い車両までの経路を表示するとしてもよい。座席指定がされている場合は、その座席までの経路を表示するとしてもよい。矢印を表示する際には、地図や、電車案内情報における電車の路線の色と同じ色を用いて矢印を表示することにより、より分かりやすく表示することができる。また、矢印の表示とともに、ユーザの予約情報(ホーム番号、車両番号、発車時刻、座席番号)を表示することもできる。ユーザの予約情報を併せて表示することにより、誤認識を防ぐことが可能となる。チケット情報がサーバに保存されている場合には、携帯端末からサーバに問い合わせてチケット情報を取得し対比するか、または、サーバ側でチケット情報と電子掲示板に表示されている情報とを対比することにより、チケット情報に関連する情報を取得することができる。ユーザが乗換検索を行った履歴から目的の路線を推定し、経路を表示してもよい。また、電子掲示板に表示されている内容だけでなく、電子掲示板が設置されている駅の電車情報・構内情報を取得し、対比を行ってもよい。ディスプレイ上の電子掲示板の表示に対してユーザに関連する情報を強調表示してもよいし、書き換えて表示してもよい。ユーザの乗車予定が不明である場合には、各路線の乗り場への案内の矢印を表示してもよい。駅の構内情報を取得した場合には、売店・お手洗いへなどの案内する矢印をディスプレイに表示してもよい。ユーザの行動特性を予めサーバで管理しておき、ユーザが駅構内で売店・お手洗いに立ち寄ることが多い場合に、売店・お手洗いなどへ案内する矢印をディスプレイに表示する構成にしてもよい。売店・お手洗いに立ち寄る行動特性を有するユーザに対してのみ、売店・お手洗いなどへ案内する矢印を表示し、その他のユーザに対しては表示を行わないため処理量を減らすことが可能となる。売店・お手洗いなどへ案内する矢印の色を、ホームへの行き先を案内する矢印と異なる色としてもよい。両方の矢印を同時に表示する際には、異なる色とすることにより、誤認識を防ぐことが可能となる。尚、図459では電車の例を示したが、飛行機やバスなどでも同様の構成で表示を行うことが可能である。
 (案内看板の翻訳)
 図460は、空港や駅構内、観光地や病院などに設置された電子案内表示板から可視光通信により情報を取得する場合における一例を示したものである。可視光通信により、電子案内表示板から表示内容の情報を取得し、表示内容の情報を携帯端末に設定されている言語情報に翻訳をした上で、携帯端末のディスプレイ上に表示を行う。ユーザの言語に翻訳されて表示されるため、ユーザは容易に情報を理解することができる。言語の翻訳は、携帯端末内で行ってもよいし、サーバにおいて行ってもよい。サーバにおいて翻訳を行う場合には、可視光通信により取得した表示内容の情報と、携帯端末の言語情報をサーバに送信し、サーバにおいて翻訳を行い、携帯端末に送信を行い、携帯端末のディスプレイ上に表示を行ってもよい。また、電子案内表示板からID情報を取得した場合には、ID情報をサーバに送信し、ID情報に対応する表示内容情報をサーバから取得する構成でもよい。更に、携帯端末に保存されている国籍情報やチケット情報や手荷物預入情報に基づき、ユーザが次に向かうべき場所へ案内する矢印を表示してもよい。
 (クーポンのポップアップ)
 図461は、ユーザが店舗に近づくと、可視光通信により取得したクーポン情報が表示される、または、ポップアップが携帯端末のディスプレイに表示される一例を示したものである。ユーザは、携帯端末を用いて、可視光通信により、電子掲示板などから店舗のクーポン情報を取得する。次に、店舗から所定の範囲内にユーザが入ると、店舗のクーポン情報、または、ポップアップが表示される。ユーザが、店舗から所定の範囲内に入ったか否かは、携帯端末のGPS情報と、クーポン情報に含まれる店舗情報とを用いて判断される。クーポン情報に限らず、チケット情報でもよい。クーポンやチケットが利用できる店舗などが近づくと自動的にアラートしてくれるため、ユーザはクーポンやチケットを適切に利用することが可能となる。
 図462は、レジや改札などでクーポン情報・チケット情報、または、ポップアップが携帯端末のディスプレイに表示される一例を示したものである。レジや改札に設置された照明から、可視光通信により、位置情報を取得し、取得した位置情報がクーポン情報・チケット情報に含まれる情報と一致した場合に、表示が行われる。なお、バーコードリーダが発光部を有し、発光部と可視光通信を行うことにより、位置情報を取得してもよいし、携帯端末のGPSから位置情報を取得してもよい。レジ付近に送信機が設置さ れており、ユーザが受信機をその送信機にかざすことで、受信機のディスプレイにクーポンや支払情報が表示されるとしてもよいし、受信機がサーバと通信して支払い処理を行うとしてもよい。また、クーポン情報・チケット情報に店舗などに設置されているWi-Fi情報が含まれており、ユーザの携帯端末がクーポン情報・チケット情報に含まれるWi-Fi情報と同一の情報を取得した場合に、表示を行ってもよい。
 (操作用アプリケーションの起動)
 図463は、ユーザが携帯端末を用いて、可視光通信により、家電より情報を取得する一例を示したものである。可視光通信により、家電からID情報、または、当該家電に関する情報を取得した場合に、当該家電を操作するためのアプリケーションが自動的に立ち上がる。図463では、テレビを用いた例を示している。このような構成により、携帯端末を家電にかざすだけで、家電を操作するためのアプリケーションを起動することが可能となる。
 (バーコードリーダの動作中に送信を停止する)
 図464は、バーコードリーダ8405aが商品のバーコードを読み取る際に、バーコードリーダ8405aの付近で可視光通信用のデータ通信を中止する一例を示したものである。バーコード読み取り時に可視光通信を停止することで、バーコードリーダ8405aがバーコードを誤認識することを防ぐことができる。バーコードリーダ8405aは、バーコード読み取りボタンが押されたときに送信停止信号を可視光信号送信機8405bへ送信し、ボタンから指が離されたとき、あるいは、ボタンから指が離されて所定の時間経過したときに送信再開信号を可視光信号送信機8405bへ送信する。送信停止信号や送信再開信号は、有線/無線通信や赤外線通信や音波による通信で行う。バーコードリーダ8405aは、バーコードリーダ8405aに備えた加速度センサの計測値からバーコードリーダ8405aが動かされたと推定したときに送信停止信号を送信し、バーコードリーダ8405aが所定の時間動かされなかったと推定したときに送信再開信号を送信してもよい。バーコードリーダ8405aは、バーコードリーダ8405aに備えた静電センサや照度センサの計測値からバーコードリーダ8405aが握られたと推定したときに送信停止信号を送信し、手が離されたと推定した時に送信再開信号を送信してもよい。バーコードリーダ8405aは、バーコードリーダ8405aの接地面に設けられたスイッチが押下状態から開放されることからバーコードリーダ8405aが持ち上げられたことを検知して送信停止信号を送信し、前記ボタンが押されることからバーコードリーダ8405aが置かれたことを検知して送信再開信号を送信してもよい。バーコードリーダ8405aは、バーコードリーダ置き場のスイッチや赤外線センサの計測値からバーコードリーダ8405aが持ち上げられたことを検出して送信停止信号を送信し、バーコードリーダ8405aが戻されたことを検出して送信再開信号を送信してもよい。レジ8405cは、操作が開始されたときに送信停止信号を送信し、精算操作が行われた時に送信再開信号を送信してもよい。
 例えば照明として構成される送信機8405bは、送信停止信号を受信したとき、信号送信を停止し、また、100Hz~100kHzのリップル(輝度変化)が小さくなるように動作する。または、信号パターンの輝度変化を小さくして信号送信を継続する。または、搬送波の周期をバーコードリーダ8405aのバーコードの読み取り時間より長くする、または、搬送波の周期をバーコードリーダ8405aの露光時間より短くする。これにより、バーコードリーダ8405aの誤動作を防ぐことができる。
 図465に示すように、例えば照明として構成される送信機8406bは、人感センサやカメラでバーコードリーダ8406aの付近に人がいることを検知し、信号送信を停止する。あるいは、前記送信機8405bが送信停止信号を受信したときと同様の動作を行う。送信機8406bは、バーコードリーダ8406aの付近に人がいなくなったことを検知したときに信号送信を再開する。送信機8406bは、バーコードリーダ8406aの動作音を検出し、所定の時間、信号送信を停止するとしてもよい。
 (パソコンからの情報送信)
 図466は、本発明の利用形態の一例を示したものである。
 例えばパソコンとして構成される送信機8407aは、備え付けられたディスプレイや接続されたディスプレイやプロジェクタなどの表示装置を通して可視光信号を送信する。送信機8407aは、ブラウザが表示しているウェブサイトのURLや、クリップボードの情報や、フォーカスを持つアプリケーションが定めた情報を送信する。例えば、ウェブサイトで取得したクーポン情報を送信する。
 (データベース)
 図467は、送信機が送信するIDを管理するサーバの保持するデータベースの構成の一例を示したものである。
 データベースは、IDをキーとした問い合わせに対して渡すデータを保持するID-データテーブルと、IDをキーとした問い合わせの記録を保存するアクセスログテーブルを持つ。ID-データテーブルは、送信機が送信するID、IDをキーとした問い合わせに対して渡すデータ、データを渡す条件、IDをキーとしたアクセスがあった回数、条件をクリアしてデータが渡された回数を持つ。データを渡す条件には、日時や、アクセス回数や、アクセス成功回数や、問い合わせ元の端末の情報(端末の機種、問い合わせを行ったアプリケーション、端末の現在位置など)や、問い合わせ元のユーザ情報(年齢、性別、職業、国籍、使用言語、信教など)がある。アクセス成功回数を条件とすることで、「アクセス1回あたり1円、ただし100円を上限としてそれ以降はデータを返さない」といったサービスの方法が可能となる。ログテーブルは、IDをキーとしたアクセスがあったとき、そのIDや、要求したユーザのIDや、時刻や、その他の付帯情報や、条件をクリアしてデータを渡したかどうかや、渡したデータの内容を記録する。
 (受信開始のジェスチャ)
 図468は、本通信方式による受信を開始するジェスチャ動作の一例を示したものである。
 ユーザは、例えばスマートフォンとして構成される受信機を突き出し、手首を左右に回転させる動作により、受信を開始させる。受信機は、9軸センサの計測値からこの動作を検出し、受信を開始する。受信機は、この動作の少なくともどちらか一方を検出した場合に受信を開始するとしてもよい。受信機を突き出す動作には、受信機が送信機へ近づくことで、送信機がより大きく撮像され、受信速度や精度が向上するという効果がある。手首を左右に回転させる動作には、受信機の角度を変化させることで、本方式の角度依存性を解消し、安定して受信が可能になるという効果がある。
 なお、この動作は、ホーム画面がフォアグラウンドになっているときのみ行うとしてもよい。これにより、他のアプリを使用中にユーザの意図に反して本通信が行われることを防ぐことができる。
 なお、受信機が突出される動作の検出時にイメージセンサを起動し、手首を左右に振る動作がなければ受信をやめるとしてもよい。イメージセンサの起動には数百ミリ秒から2秒程度の時間がかかるため、これにより、より応答性を高めることができる。
 (電力線による送信機の制御)
 図469は、本発明の送信機の一例を示したものである。
 信号制御部8410gは、送信機8410aの送信状態(送信する信号の内容や送信の有無や送信に用いる輝度変化の強さなど)を制御する。信号制御部8410gは、送信機8410aの制御内容を配電制御部8410fに送る。配電制御部8410fは、送信機8410aの電源部8410bへ供給する電圧や電流や周波数を変化させることで、変化の大きさや変化の時刻の形で制御内容を伝える。電源部8410bは電圧や電流や周波数の多少の変化には影響されず一定の出力を行うため、電源部8410bの安定化能力を超えた変化、例えば、電力供給をカットするタイミングや時間幅によって信号を表現することによって信号を伝達する。輝度制御部8410dは、電源部8410bによる変換を考慮して、配電制御部8410fの送信した内容を受け取り、発光部の輝度変化パターンを変化させる。
 (符号化方式)
 図470は、可視光通信画像の符号化方式の一つを説明する図である。
 この符号化方式では、白と黒の割合が同程度となるため、正相画像と逆相画像の平均輝度が同程度となり、人間がちらつきを感じにくいという利点がある。
 (斜方向から撮像した場合でも受光可能な符号化方式)
 図471は、可視光通信画像の符号化方式の一つを説明する図である。
 画像1001aは白と黒のラインを均一な幅で表示した画像である。この画像1001aを斜めから撮像すると、その撮像によって得られる画像1001bでは、左方のラインは細く、右方のラインは太く表れる。また、画像1001aを曲面に投影した場合は、その撮像によって得られる画像1001iでは、異なる太さのラインが表れる。
 そこで、以下の符号化方式によって可視光通信画像を作成する。可視光通信画像1001cは、左から、白のライン、白のラインの3倍の太さの黒のライン、その黒のラインの3分の1の太さの白のラインで構成されている。このように、左隣のラインの3倍の太さのライン、左隣のラインの3分の1の太さのラインが続いた画像としてプリアンブルを符号化する。可視光通信画像1001d、1001eのように、左隣のラインと同じ太さのラインを「0」として符号化する。可視光通信画像1001f、1001gのように、左隣のラインの2倍の太さ、あるいは、左隣のラインの半分の太さのラインを「1」として符号化する。即ち、符号化対象ラインの太さを左隣のラインの太さと異ならせる場合に、その符号化対象ラインを「1」として符号化する。この符号化方式を用いた例として、プリアンブルに続いて「010110001011」を含む信号は、可視光通信画像1001hのような画像によって表現される。なお、ここでは、左隣のラインと同じ太さのラインを「0」、左隣のラインと異なる太さのラインを「1」として符号化したが、左隣のラインと同じ太さのラインを「1」、左隣のラインと異なる太さのラインを「0」として符号化しても構わない。また、左隣のラインとの対比に限らず、右隣のラインとの対比を行ってもよい。つまり、符号化対象ラインの太さと右隣のラインの太さとの対比において、太さが同じか異なるかによって、「1」、「0」を符号化しても構わない。このように、送信機側では、符号化対象ラインと異なる色であり、かつ、隣接するラインの太さと符号化対象ラインの太さを同じにすることで、「0」を符号化し、異なる太さとすることで、「1」を符号化する。
 受信機側では、可視光通信画像を撮像し、撮像した可視光通信画像において、白または黒のラインの太さを検出する。復号対象のラインとは異なる色であり、かつ、復号対象のラインに隣接する(左隣、または、右隣)ラインの太さと、復号対象のラインの太さとを比較し、太さが同じ場合には、復号対象ラインを「0」として復号し、太さが異なる場合には、復号対象ラインを「1」として復号する。太さが同じ場合に「1」、太さが異なる場合に「0」として復号してもよい。復号を行った、1、0のデータ列に基づいて、最終的にデータの復号を行う。
 この符号化方式は局所的なラインの太さの関係を用いている。画像1001bや画像1001iに見られるように、近傍のラインの太さの比は大きくは変化しないため、斜め方向から撮像された場合や、曲面に投影された場合でも、この符号方式で作成された可視光通信画像は正しく復号できる。
 この符号化方式では、白と黒の割合が同程度になるため、正相画像と逆相画像の平均輝度が同程度となり、人間がちらつきを感じにくいという利点がある。また、この符号化方式は、白黒の別はないため、正相信号と逆相信号のどちらの可視光通信画像であっても、同じアルゴリズムで復号可能であるという利点がある。
 また、符号の追加が容易であるという利点がある。例えば、可視光通信画像1001jは、左隣の4倍の太さのラインと左隣の4分の1のラインの組み合わせである。このように、「左隣の5倍と5分の1」「左隣の3倍と3分の2」のように、多くのユニークなパターンが存在しており、特別な意味を持つ信号として定義可能である。例えば、可視光通信画像は複数枚で一つのデータを表すことができるが、送信するデータが変更されたためこれまでに受信したデータの一部が無効になったことを表示するキャンセル信号として可視光通信画像1001jを用いることが考えられる。なお、色については、白、黒に限らず、異なる色であれば、どのような色であってもよい。例えば、補完色を用いても構わない。
 (距離によって情報量が異なる符号化方式)
 図472、図473は、可視光通信画像の符号化方式の一つを説明する図である。
 図472の(a-1)のように、四つに区切った画像のうち一つの部分を黒、残りの部分を白とすることで2ビットの信号を表現すると、この画像の平均輝度は、白を100%、黒を0%とした場合、75%となる。図472の(a-2)のように、白と黒の部分を逆にすると、平均輝度は25%となる。
 画像1003aは、図471の符号化方式で作成した可視光通信画像の白の部分を図472の(a-1)の画像で、黒の部分を図472の(a-2)の画像で表現した可視光通信画像である。この可視光通信画像は、図471の符号化方式で符号化した信号Aと、図472の(a-1)および(a-2)で符号化した信号Bを表している。近くの受信機1003bが可視光通信画像1003aを撮像すると、精細な画像1003dが得られ、信号Aと信号Bの両方が受信できる。遠くの受信機1003cが可視光通信画像1003aを撮像すると、小さな画像1003eが得られる。画像1003eでは、詳細な部分は確認できず、図472の(a-1)の部分が白く、図472の(a-2)の部分が黒くなった画像となるため、信号Aのみが受信できる。これにより、可視光通信画像と受信機の距離が近いほど多くの情報を伝達することができる。信号Bを符号化する方式としては、図472の(b-1)と(b-2)の組み合わせや、図472の(c-1)と(c-2)の組み合わせを用いてもよい。
 信号Aと信号Bを用いることにより、信号Aで基本的で重要な情報を表し、信号Bで付加的な情報を表すことが可能となる。また、受信機が信号A・BをID情報としてサーバに送信し、サーバがID情報に対応する情報を受信機に送信する場合は、信号Bの有無によってサーバが送信する情報を変化させることが可能となる。
 (データを分割した符号化方式)
 図474は、可視光通信画像の符号化方式の一つを説明する図である。
 送信する信号1005aを、複数のデータ片1005b、1005c、1005dに分割する。各データ片にそのデータ片の位置を示すアドレスを付加し、さらに、プリアンブルや誤り検出・訂正符号やフレームタイプ記述等を付加し、フレームデータ1005e、1005f、1005gを構成する。フレームデータを符号化して可視光通信画像1005h、1005i、1005jを作成して表示する。表示領域が十分大きい場合は、複数の可視光通信画像を連結した可視光通信画像1005kを表示する。
 尚、図474のように、映像中に可視光通信画像を挿入する方法として、固体光源を用いた表示機器の場合には、通常に可視光通信信号画像を表示しておき、表示する期間のみに固定光源を点灯させ、それ以外の期間は固体光源を消灯する方法で実現することにより、幅広い表示装置、たとえば、DMDを用いたプロジェクターを始め、LCOSをはじめとする液晶を用いたプロジェクターや、MEMSをもちいた表示装置類はもちろん適応可能となる。また、画像表示をサブフレームに分割して表示するタイプの表示装置、たとえば、PDPや、ELなどのバックライトなどの光源を用いない表示機器においても、一部のサブフレームを可視光通信画像に置き換えることで適応が可能となる。なお、固体光源としては、半導体レーザ、LED光源などが考えられる。
 (逆相画像を挿入する効果)
 図475と図476は、可視光通信画像の符号化方式の一つを説明する図である。
 図475の(1006a)のように、送信機は、映像と可視光通信画像(正相画像)の間に黒画像を挿入する。これを受信機で撮像した画像は、図475の(1006b)に示す画像のようになる。受信機は、同時に露光される画素のラインが黒一色である部分の探索は容易であるため、可視光通信画像が撮像されている位置を、その次のタイミングで露光される画素の位置として容易に特定できる。
 図475の(1006a)のように、送信機は、可視光通信画像(正相画像)を表示した後に、白黒を反転させた逆走の可視光通信画像を表示させる。受信機は、正相画像と逆相画像の画素値の差を求めることで、正相画像のみを利用した場合の2倍のSN比が得られる。逆に、同じSN比を確保する場合は、白黒の輝度差を半分に抑えることができ、人間が見た際のちらつきを抑えることができる。また、図476の(1007a)および(1007b)のように、映像と可視光通信画像の輝度の差の期待値の移動平均は、正相画像と逆相画像でキャンセルされる。人間の視覚の時間分解能は1/60秒程度であるため、可視光通信画像を表示する時間をこれ以下にすることで、人間にとって可視光通信画像が表示されていないように感じさせることができる。
 図475の(1006c)に示すように、送信機は、さらに、正相画像と逆相画像の間にも黒画像を挿入してもよい。この場合、受信機による撮像によって、図475の(1006d)に示す画像が得られる。図475の(1006b)に示す画像では、正相画像のパターンと逆相画像のパターンが隣接しているため境界部分で画素値が平均化されてしまうことがあったが、図475の(1006d)に示す画像ではそのような問題が発生しない。
 (超解像)
 図477は、可視光通信画像の符号化方法の一つを説明する図である。
 図477の(a)のように、映像データと可視光通信で送信する信号データが分離されている場合は、映像データに超解像処理を行い、得られた超解像画像に可視光通信画像を重畳する。即ち、可視光通信画像には超解像処理を行わない。図477の(b)のように、映像データにすでに可視光通信画像が重畳されている場合には、(1)可視光通信画像のエッジ(白・黒など色の違いによりデータを示している部分)を急峻なまま保つ、(2)可視光通信画像の正相画像と逆相画像の平均画像が一様輝度となるように超解像処理を行う。このように、映像データに可視光通信画像が重畳されているか否かにより、可視光通信画像に対する処理を変更することにより、可視光通信をより適切に行う(エラー率を低下させる)ことが可能となる。
 (可視光通信に対応していることの表示)
 図478は、送信機の動作の一つを説明する図である。
 送信機8500aは、可視光通信に対応していることを、投影または表示する画像に重畳して表示する。この表示は、例えば、送信機8500aを起動してから所定の時間の間のみ表示される。
 送信機8500aは、自身が可視光通信に対応していることを、接続された機器8500cへ送信する。機器8500cは、送信機8500aが可視光通信に対応していることを表示する。例えば、機器8500cのディスプレイに、送信機8500aが可視光通信に対応していることを表示する。機器8500cは、接続された送信機8500aが可視光通信に対応している場合に、可視光通信用のデータを送信機8500aへ送信する。送信機8500aが可視光通信に対応している旨の表示は、機器8500cが送信機8500aに接続された際に表示されてもよいし、機器8500cから送信機8500aに対して可視光通信用のデータが送信された場合に表示されてもよい。機器8500cから可視光通信用のデータが送信された際に表示する場合は、送信機8500aは、データから可視光通信を示す識別情報を取得し、識別情報がデータに可視光通信用のデータが含まれていることを示している場合に、送信機8500aが可視光通信に対応していることを表示してもよい。
 このように、投影画面、または、機器のディスプレイに送信機(照明、プロジェクタ、映像表示機器)が可視光通信に対応している旨、または、対応しているか否かを示す表示を行うことにより、ユーザは送信機が可視光通信に対応しているか容易に把握することができる。従って、機器から、送信機に対して可視光通信用のデータを送信しているにも関わらず、可視光通信を行うことができなくなるという誤動作を防ぐことが可能となる。
 (可視光通信信号を用いた情報取得)
 図479は、可視光通信の応用例の一つを説明する図である。
 送信機8501aは、機器8501cから映像データと信号データを受信し、可視光通信画像8501bを表示する。受信機8501dは、可視光通信画像8501bを撮像し、可視光通信画像に含まれた信号を受信する。受信機8501dは、受信信号に含まれた情報(アドレスやパスワード等)から機器8501cと通信を行い、送信機8501aが表示している映像そのものやその付帯情報(映像ID、URL、パスワード、SSID、翻訳データ、音声データ、ハッシュタグ、商品情報、購買情報、クーポン、空席情報等)を受信する。機器8501cは送信機8501aへの送信状況をサーバ8501eへ送信し、受信機8501dはサーバ8501eから前記情報を得るとしても良い。
 (データフォーマット)
 図480は、可視光通信データのフォーマットの一つを説明する図である。
 図480の(a)に示すデータは、記憶域中に映像データの位置を示す映像アドレステーブルと、可視光通信により送信する信号データの位置を示す位置アドレステーブルとを持つ。可視光通信に対応していない映像表示装置では、映像アドレステーブルのみが参照されるため、入力に信号アドレステーブルと信号データが含まれていても映像表示には影響しない。これにより、可視光通信に対応していない映像表示装置に対する後方互換性が保たれる。
 図480の(b)に示すデータのフォーマットでは、後に続くデータが映像データであることを示す識別子を映像データの前に配し、後に続くデータが信号データであることを示す識別子を信号データの前に配している。識別子とすることにより、映像データ、または、信号データのある場合にのみ、データに挿入されるため、全体の符号量を小さくすることができる。また、映像データであるか、信号データであるかを示す識別情報を配してもよい。更に、番組情報において、可視光通信用のデータを含むか否かを示す識別情報を含んでいてもよい。番組情報に可視光通信用のデータを含むか否かを示す識別情報が含まれることにより、ユーザは、番組検索の際に、可視光通信可能か否か判断することが可能となる。なお、番組情報に含まれるのは、可視光通信用のデータを含むことを示す識別子であってもよい。更に、データ毎に識別子・識別情報を付加することにより、データ毎の輝度の切り替えや、超解像の切り替えなど処理の切り替えを行うことができ、可視光通信時におけるエラー率を低減させることが可能となる。
 図480の(a)に示すデータのフォーマットは、光ディスク等の蓄積型メディアからデータを読み出す状況に適し、図480の(b)に示すデータのフォーマットは、テレビ放送などストリーミング型のデータに適している。なお、信号データには、可視光通信によって送信する信号の値、送信開始時刻、送信終了時刻、ディスプレイや投影面上の送信に利用する場所、可視光通信画像の輝度、可視光通信画像のバーコードの向き等の情報を含む。
 (立体形状を推定して受信する)
 図481と図482は、可視光通信の応用例の一つを説明する図である。
 図481に示すように、例えばプロジェクタとして構成される送信機8503aは、映像と可視光通信画像に加え、測距用画像を投影する。測距用画像に示されるドットパターンは、任意のドットの近傍の所定数のドットの位置関係が、他の任意の組み合わせのドットの位置関係と異なるドットパターンである。受信機は、測距用画像を撮像することで、局所的なドットパターンを特定し、投影面8503bの立体形状を推定することができる。受信機は、投影面の立体形状によって歪んだ可視光通信画像を平面画像へ復元して信号を受信する。なお、測距用画像や可視光通信画像は、人間には知覚できない赤外線で投影されてもよい。
 図482に示すように、例えばプロジェクタとして構成される送信機8504aは、赤外線で測距用画像を投影する赤外線投影装置8504bを備える。受信機は、測距用画像から投影面8504cの立体形状を推定し、可視光通信画像の歪みを復元して信号を受信する。なお、送信機8504aは、映像を可視光で投影し、可視光通信画像を赤外線で投影してもよい。なお、赤外線投影装置8504bは、可視光通信画像を赤外線で投影してもよい。
 (立体投影)
 図483と図484は、可視光通信画像の表示方法の一つを説明する図である。
 立体投影を行う場合や円筒状の表示面に可視光通信画像を表示する場合は、図483に示すように、可視光通信画像8505a~8505fを表示させることで、広い角度からの受信が可能になる。可視光通信画像8505a、8505bを表示させることで、水平方向に広い角度から受信が可能になる。可視光通信画像8505aと8505bを組み合わせることで、受信機を傾けても受信可能となる。可視光通信画像8505aと可視光通信画像8505bを交代で表示させてもよいし、それらの画像を合成した画像である可視光通信画像8505fを表示してもよい。さらに、可視光通信画像8505cと可視光通信画像8505dを加えることで、垂直方向に広い角度から受信が可能となる。可視光通信画像8505eのように、中間色で投影する部分や投影しない部分を設けることで、可視光通信画像の区切りを表現してもよい。可視光通信画像8505a~8505fを回転させることで、さらに広い角度から受信可能とすることができる。なお、図483では、円筒状の表示面に可視光通信画像を表示させたが、円柱の表示面に可視光通信画像を表示させてもよい。
 立体投影を行う場合や、球状の表示面に可視光通信画像を表示する場合は、図484に示すように、可視光通信画像8506a~8506dを表示させることで、広い角度からの受信が可能となる。可視光通信画像8506aでは、水平方向における受信可能領域は広いが、垂直方向における受信可能領域が狭いため、逆の性質を持つ可視光通信画像8506bと組み合わせて可視光通信画像8506aを表示させる。可視光通信画像8506aと可視光通信画像8506bを交代で表示させても良いし、それらの画像を合成した画像である可視光通信画像8506cを表示してもよい。可視光通信画像8506aの上部のようにバーコードが集中する部分は表示が細かく、信号を誤って受信する可能性が高い。そこで、可視光通信画像8506dのようにこの部分を中間色で表示する、あるいは、何も投影しないことで、受信誤りを防ぐことができる。
 (ゾーン毎に異なる通信プロトコル)
 図485は、実施の形態17における送信機と受信機の動作の一例を示す図である。
 受信機8420aは、基地局8420hからゾーン情報を受け取り、自身がどのゾーンに位置しているかを認識し、受信プロトコルを選択する。基地局8420hは、例えば携帯電話の通信基地局やWi-FiアクセスポイントやIMES送信機やスピーカーや無線送信機(Bluetooth(登録商標)、ZigBee、特定小電力無線局等)として構成される。なお、受信機8420aは、GPS等から得た位置情報をもとにゾーンを特定してもよい。例として、ゾーンAでは9.6kHzの信号周波数で通信し、ゾーンBでは、天井照明は15kHz、サイネージは4.8kHzの信号周波数で通信すると定めるとする。受信機8420aは、位置8420jでは、基地局8420hの情報から現在地がゾーンAであることを認識し、9.6kHzの信号周波数で受信を行い、送信機8420b・8420cの送信した信号を受信する。受信機8420aは、位置8420lでは、基地局8420iの情報から現在地がゾーンBであることを認識し、さらに、インカメラが上方に向けられていることから天井照明からの信号を受信しようとしていることを推定し、15kHzの信号周波数で受信を行い、送信機8420e・8420fの送信した信号を受信する。受信機8420aは、位置8420mでは、基地局8420iの上方から現在地がゾーンBであることを認識し、さらに、アウトカメラを突き出す動きからサイネージの送信する信号を受信しようとしていることを推定し、4.8kHzの信号周波数で受信を行い、送信機8420gの送信する信号を受信する。受信機8420aは、位置8420kでは、基地局8420hと基地局8420iの両方の信号が受信され、現在地がゾーンAとゾーンBのどちらであるか判断できないため、9.6kHzと15kHzの両方で受信処理を行う。なお、ゾーンによってプロトコルが異なる部分は周波数だけではなく、送信信号の変調方式や信号フォーマットやIDを問い合わせるサーバが異なるとしても良い。なお、基地局8420h・8420iは、ゾーン内のプロトコルを受信機に送信してもよいし、ゾーンを示すIDのみを送信し、受信機がゾーンIDをキーにサーバからプロトコル情報を獲得するとしてもよい。
 送信機8420b~8420fは、基地局8420h・8420iの送信するゾーンIDやプロトコル情報を受信し、信号送信プロトコルを決定する。基地局8420hと基地局8420iの両方の送信する信号を受信可能な送信機8420dは、より信号強度強い基地局のゾーンのプロトコルを利用する、または、両方のプロトコルを交互に用いる。
 (ゾーンの認識とゾーン毎のサービス)
 図486は、実施の形態17における受信機と送信機の動作の一例を示す図である。
 受信機8421aは、受信した信号から、自身の位置の属するゾーンを認識する。受信機8421aは、ゾーン毎に定められたサービス(クーポンの配布、ポイントの付与、道案内等)を提供する。一例として、受信機8421aは、送信機8421bの左側から送信する信号を受信し、ゾーンAに居ることを認識する。ここで、送信機8421bは、送信方向によって異なる信号を送信するとしてもよい。また、送信機8421bは、2217aのような発光パターンの信号を用いることで、受信機までの距離に応じて異なる信号が受信されるように信号を送信してもよい。また、受信機8421aは、送信機8421bの撮像される方向と大きさから、送信機8421bとの位置関係を認識し、自身の位置するゾーンを認識してもよい。
 同じゾーンに位置することを示す信号の一部を共通としてもよい。例えば、送信機8421bと送信機8421cから送信される、ゾーンAを表すIDは前半を共通とする。これにより、受信機8421aは、信号の前半を受信するだけで自身の位置するゾーンを認識可能となる。
 (本実施の形態のまとめ)
 本実施の形態における情報通信方法は、輝度変化によって信号を送信する情報通信方法であって、複数の送信対象の信号のそれぞれを変調することによって、複数の輝度変化のパターンを決定する決定ステップと、複数の発光体のそれぞれが、決定された複数の輝度変化のパターンのうちの何れか1つのパターンにしたがって輝度変化することによって、前記何れか1つのパターンに対応する送信対象の信号を送信する送信ステップとを含み、前記送信ステップでは、前記複数の発光体のうちの2つ以上の発光体のそれぞれは、当該発光体に対して予め定められた時間単位ごとに、互いに輝度の異なる2種類の光のうちの何れか一方の光が出力されるように、且つ、前記2つ以上の発光体のそれぞれに対して予め定められた前記時間単位が互いに異なるように、互いに異なる周波数で輝度変化する。
 これにより、図441を用いて説明した動作のように、2つ以上の発光体(例えば、照明機器として構成された送信機)のそれぞれが互いに異なる周波数で輝度変化するため、それらの発光体から送信対象の信号(例えば、発光体のID)を受信する受信機は、それらの送信対象の信号を容易に区別して取得することができる。
 また、前記送信ステップでは、前記複数の発光体のそれぞれは、少なくとも4種類の周波数のうちの何れか1つの周波数で輝度変化し、前記複数の発光体のうちの2つ以上の発光体は、同一の周波数で輝度変化してもよい。例えば、前記送信ステップでは、前記複数の送信対象の信号を受信するためのイメージセンサの受光面に、前記複数の発光体が投影される場合に、前記受光面上で互いに隣接する全ての発光体間で輝度変化の周波数が異なるように、前記複数の発光体のそれぞれは輝度変化する。
 これにより、図442を用いて説明した動作のように、輝度変化に用いられる周波数が少なくとも4種類あれば、同一の周波数で輝度変化する発光体が2つ以上ある場合であっても、つまり、周波数の種類の数が複数の発光体の数よりも少ない場合であっても、四色問題または四色定理に基づいて、イメージセンサの受光面上で互いに隣接する全ての発光体間で輝度変化の周波数を確実に異なるせることができる。その結果、受信機は、複数の発光体から送信される送信対象の信号のそれぞれを容易に区別して取得することができる。
 また、前記送信ステップでは、前記複数の発光体のそれぞれは、送信対象の信号のハッシュ値によって特定される周波数で輝度変化することによって、前記送信対象の信号を送信してもよい。
 これにより、図441を用いて説明した動作のように、複数の発光体のそれぞれは、送信対象の信号(例えば、発光体のID)のハッシュ値によって特定される周波数で輝度変化するため、受信機は、送信対象の信号を受信したときには、実際の輝度変化から特定される周波数と、ハッシュ値によって特定される周波数とが一致するか否かを判定することができる。つまり、受信機は、受信された信号(例えば、発光体のID)にエラーがあったか否かを判定することができる。
 また、前記情報通信方法は、さらに、信号記憶部に記憶されている送信対象の信号から、予め定められた関数にしたがって、当該送信対象の信号に対応する周波数を第1の周波数として算出する周波数算出ステップと、周波数記憶部に記憶されている第2の周波数と、算出された前記1の周波数とが一致するか否かを判定する周波数判定ステップと、前記第1の周波数と前記第2の周波数とが一致しないと判定された場合には、エラーを報知する周波数エラー報知ステップとを含み、前記第1の周波数と前記第2の周波数とが一致すると判定された場合には、前記決定ステップでは、前記信号記憶部に記憶されている前記送信対象の信号を変調することによって輝度変化のパターンを決定し、前記送信ステップでは、前記複数の発光体のうちの何れか1つの発光体が、決定された前記パターンにしたがって、前記第1の周波数で輝度変化することによって、前記信号記憶部に記憶されている前記送信対象の信号を送信してもよい。
 これにより、図448を用いて説明した動作のように、周波数記憶部に記憶されている周波数と、信号記憶部(ID記憶部)に記憶されている送信対象の信号から算出された周波数とが一致するか否かが判定され、一致しないと判定された場合にはエラーが報知されるため、発光体による信号送信機能の異常検出を容易に行うことができる。
 また、前記情報通信方法は、さらに、信号記憶部に記憶されている送信対象の信号から、予め定められた関数にしたがって第1のチェック値を算出するチェック値算出ステップと、チェック値記憶部に記憶されている第2のチェック値と、算出された前記1のチェック値とが一致するか否かを判定するチェック値判定ステップと、前記第1のチェック値と前記第2のチェック値とが一致しないと判定された場合には、エラーを報知するチェック値エラー報知ステップとを含み、前記第1のチェック値と前記第2のチェック値とが一致すると判定された場合には、前記決定ステップでは、前記信号記憶部に記憶されている前記送信対象の信号を変調することによって輝度変化のパターンを決定し、前記送信ステップでは、前記複数の発光体のうちの何れか1つの発光体が、決定された前記パターンにしたがって輝度変化することによって、前記信号記憶部に記憶されている前記送信対象の信号を送信してもよい。
 これにより、図448を用いて説明した動作のように、チェック値記憶部に記憶されているチェック値と、信号記憶部(ID記憶部)に記憶されている送信対象の信号から算出されたチェック値とが一致するか否かが判定され、一致しないと判定された場合にはエラーが報知されるため、発光体による信号送信機能の異常検出を容易に行うことができる。
 また、本実施の形態における情報通信方法は、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる複数の露光ラインに対応する複数の輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記複数の輝線を含む輝線画像を取得する画像取得ステップと、取得された前記輝線画像に含まれる前記複数の輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップと、取得された前記輝線画像に含まれる前記複数の輝線のパターンに基づいて、前記被写体の輝度変化の周波数を特定する周波数特定ステップとを含む。例えば、前記周波数特定ステップでは、前記複数の輝線のパターンに含まれる、それぞれヘッダを示すために予め定められた複数のパターンである複数のヘッダパターンを特定し、前記複数のヘッダパターン間の画素数に応じた周波数を、前記被写体の輝度変化の周波数として特定する。
 これにより、図443を用いて説明した動作のように、被写体の輝度変化の周波数が特定されるため、輝度変化の周波数が異なる複数の被写体が撮影される場合には、それらの被写体からの情報を容易に区別して取得することができる。
 また、前記画像取得ステップでは、それぞれ輝度変化する複数の被写体を撮影することによって、それぞれ複数の輝線によって表される複数のパターンを含む前記輝線画像を取得し、前記情報取得ステップでは、取得された前記輝線画像に含まれる前記複数のパターンのそれぞれの一部が重なっている場合には、前記複数のパターンのそれぞから前記一部を除く部分によって特定されるデータを復調することにより、前記複数のパターンのそれぞれから情報を取得してもよい。
 これにより、図445を用いて説明した動作のように、複数のパターン(複数の輝線パターン)が重なっている部分からはデータの復調が行われないため、誤った情報を取得してしまうことを防ぐことができる。
 また、前記画像取得ステップでは、前記複数の被写体を互いに異なるタイミングで複数回撮影することによって、複数の輝線画像を取得し、前記周波数特定ステップでは、輝線画像ごとに、当該輝線画像に含まれる前記複数のパターンのそれぞれに対する周波数を特定し、前記情報取得ステップでは、前複数の輝線画像から、同一の周波数が特定された複数のパターンを検索し、検索された前記複数のパターンを結合し、結合された前記複数のパターンによって特定さるデータを復調することにより情報を取得してもよい。
 これにより、複数の輝線画像から、同一の周波数が特定された複数のパターン(複数の輝線パターン)が検索され、検索された複数のパターンが結合され、結合された複数のパターンから情報が取得されるため、複数の被写体が移動している場合であっても、それらの複数の被写体からの情報を容易に区別して取得することができる。
 また、前記情報通信方法は、さらに、識別情報のそれぞれに対して周波数が登録されているサーバに対して、前記情報取得ステップで取得された情報に含まれる前記被写体の識別情報と、前記周波数特定ステップで特定された周波数を示す特定周波数情報とを送信する送信ステップと、前記識別情報と、前記特定周波数情報によって示される周波数とに関連付けられた関連情報を前記サーバから取得する関連情報取得ステップとを含んでもよい。
 これにより、図447を用いて説明した動作のように、被写体(送信機)の輝度変化に基づいて取得された識別情報(ID)と、その輝度変化の周波数とに関連付けられた関連情報が取得される。したがって、被写体の輝度変化の周波数を変更し、サーバに登録されている周波数を変更後の周波数に更新することによって、周波数の変更前に識別情報を取得した受信機がサーバから関連情報を取得することを防ぐことができる。つまり、被写体の輝度変化の周波数の変更に合わせて、サーバに登録されている周波数も変更することによって、被写体の識別情報を過去に取得した受信機が無期限にサーバから関連情報を取得し得る状態になってしまうことを防ぐことができる。
 また、前記情報通信方法は、さらに、前記情報取得ステップで取得された前記情報から一部を抽出することによって、前記被写体の識別情報を取得する識別情報取得ステップと、前記情報取得ステップで取得された前記情報のうち、前記一部以外の残りの部分によって示される数を、前記被写体に対して設定されている輝度変化の設定周波数として特定する設定周波数特定ステップとを含んでもよい。
 これにより、図444を用いて説明した動作のように、複数の輝線のパターンから得られる情報に、被写体の識別情報と、被写体に設定されている輝度変化の設定周波数とを互いに依存することなく含めることができるため、識別情報と設定周波数との自由度を高めることができる。
 (実施の形態18)
 本実施の形態では、上記実施の形態1~17におけるスマートフォンなどの受信機と、LEDの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
 図487は、実施の形態18の送信信号の一例を示す図である。
 送信信号Dを所定の大きさのデータ片Dx(例えば、Dx=D1,D2,D3)に分割し、各データ片から計算した誤り検出・訂正用のフレームチェックシーケンスFCSとヘッダHdrを各データ片に付加する。さらに、元のデータから計算した誤り検出・訂正用のフレームチェックシーケンスFCS2とヘッダHdr2を付加する。Hdr、Dx、FCSからなるデータは、イメージセンサで受信されるための構成である。イメージセンサは短時間に連続したデータを受信することに適しているため、Hdr、Dx、FCSは連続的に送信する。Hdr2, Dx, FCS2からなるデータは、照度センサで受信されるための構成である。イメージセンサで受信されるHdrとFCSは短いほうが望ましいが、照度センサで受信されるHdr2とFCS2はより長い信号列とすることができる。Hdr2に長い信号系列を用いることで、ヘッダ検出精度を高めることができる。FCS2を長くすることで、多くのビット誤りを検出・訂正できる符号を採用することができ、誤り検出・訂正の性能を向上させることができる。なお、Hdr2とFCS2を送信せず、代わりにHdrやFCSを照度センサで受信するとしてもよい。照度センサは、HdrとHdr2の両方、または、FCSとFCS2の両方を受信するとしてもよい。
 図488は、実施の形態18の送信信号の一例を示す図である。
 FCS2は信号長が長く、頻繁に挿入されているとイメージセンサでの受信効率が悪化する。そこで、FCS2の挿入頻度を減らし、代わりにFCS2の場所を示す信号PoFCS2を挿入する。例として、信号表現に単位時間あたり2ビットの情報量を持つ4PPMを用いた場合、FCS2にCRC32を用いると16単位の送信時間が必要になるが、値域が0~3のPoFCS2は1単位時間で送信できる。FCS2のみを挿入する場合よりも送信時間が短縮されることで、イメージセンサ受信の効率を向上させることができる。照度センサは、送信信号Dに続くPoFCS2を受信し、PoFCS2からFCS2の送信時刻を特定してFCS2を受信する。さらに、FCS2に続くPoFCS2を受信し、次のFCS2の送信時刻を特定して次のFCS2を受信する。先に受信したFCS2と後に受信したFCS2が同じであれば、受信機は同じ信号を受信していると推定する。
 図489A~図489Cは、実施の形態18における受信機の撮像画像(輝線画像)の一例を示す図である。
 図489Aに示す撮像画像では、写りが小さいため、輝線の数が少ない。したがって、この撮像画像からは、一度に少量のデータしか受信できない。図489Bに示す撮像画像は、ズームを用いて撮像した画像であり、写りが大きいため、輝線の数が多い。したがって、ズームを用いて撮像すれば、一度に多量のデータを受信できる。また、遠くからデータを受信可能で、小さな送信機の信号も受信できる。ズーム方法には、光学ズーム、または、Exズームを用いる。光学ズームはレンズの焦点距離を長くすることによるズームである。Exズームは、撮像素子の能力より低い解像度で撮像している場合に、撮像素子の全部ではなく一部だけを用いて撮像することで撮像画像の一部を拡大するズーム方法である。図489Cに示す撮像画像は、電子ズーム(画像の拡大)を用いて撮像した画像である。写りは大きくなるが、電子ズームによる拡大では輝線が太くなり、ズーム前と輝線の数が変わらないため、受信特性はズーム前と変わらない。
 図490Aおよび図490Bは、実施の形態18における受信機の撮像画像(輝線画像)の一例を示す図である。
 図490Aに示す撮像画像は、被写体にフォーカスを合わせて撮像した画像であり、図490Bに示す撮像画像は、フォーカスを外して撮像した画像である。図490Bに示す撮像画像では、ぼかして撮像したため実際の送信機の周囲まで輝線が観察でき、より多くの輝線が観察できる。したがって、フォーカスを外して撮像すれば、一度に多くのデータを受信でき、また、より遠くからデータを受信することができる。マクロモードを用いて撮像することでも、図490Bに示す撮像画像と同様の画像を撮像することができる。
 図491A~図491Cは、実施の形態18における受信機の撮像画像(輝線画像)の一例を示す図である。
 露光時間を、可視光通信モードよりも長く、通常撮像モードよりも短く設定して撮像することで、図491Aに示すような画像が得られる。このような画像が得られる撮像モードを輝線検出モード(中間モード)と呼ぶ。図491Aに示す画像では、左中央では送信機の輝線が観察でき、それ以外の部分では暗めの通常の撮像画像が現れている。この画像を受信機に表示することで、ユーザが受信機を目当ての送信機に向けて撮像することを容易にすることができる。輝線検出モードでは、通常撮像モードよりも暗く撮像されるため、高感度モードで撮像することで、通常撮像モードに近い、人間が視認しやすい明るさの画像を撮像することができる。感度を高く設定しすぎると輝線の暗い部分が明るくなってしまうため、感度は輝線が観察できる程度に設定する。受信機は、ユーザが画像をタッチする等の手段で指定した部分に撮像されている送信機の送信信号を、可視光通信モードに移行して受信する。受信機は、撮像画像中に輝線(送信信号)が見つかった場合に、自動的に可視光通信モードに移行して信号を受信するとしてもよい。
 受信機は撮像画像中の輝線から送信信号を見つけ出し、その部分を図491Bに示すように強調して表示することで、信号が送信されている部分をユーザにわかりやすく提示することができる。輝線は、送信信号だけではなく、被写体の模様によっても観察されることがある。そこで、1枚の画像の輝線から送信信号の有無を判断するのではなく、複数の画像において輝線の位置が変化している場合に送信信号があると判断してもよい。
 輝線検出モードで撮像した画像は通常撮像モードで撮像した画像よりも暗く視認性が悪いため、画像処理によって視認性を高めた画像を表示してもよい。図491Cに示す画像は、エッジを抽出して被撮像物の境界を強調した画像の一例である。
 図492は、実施の形態18における受信機の撮像画像(輝線画像)の一例を示す図である。具体的には、図492は、信号送信の周期を1/9600秒とした送信機を、図の下部に示した露光時間の比で撮像した図である。送信周期である1/9600秒より短い露光時間では、撮像画像はほぼ同等で、鮮明な輝線が撮像できる。露光時間が長くなると輝線の輪郭がぼやけるが、この信号表現の例では、送信周期の約1.5倍までの露光時間であれば輝線のパターンが観察可能であり、信号を受信可能である。また、この信号表現の例では、送信周期の約20倍までの露光時間であれば輝線を観察可能であり、この範囲の露光時間を輝線検出モードの露光時間として用いることができる。
 どの程度の露光時間まで信号が受信できるかは、信号表現の方法によって異なる。輝線が少なく、輝線間の間隔が長くなる信号表現規則を用いれば、伝送効率は落ちるが、より長い露光時間でも信号を受信可能とし、また、より長い露光時間でも輝線を観察することができる。
 (中間撮像モードの露光時間)
 図492より、露光時間が変調周期の3倍程度までであればはっきりとした輝線が観察できる。変調周波数は480Hz以上であるため、中間撮像モード(中間モード)の露光時間は、1/160秒以下とすることが望ましい。
 また、露光時間が1/10000秒以下では、照明光下では高感度モードで撮像しても非発光物は見えにくいため、中間撮像モードの露光時間は1/10000秒以上であることが望ましい。ただし、今後撮像素子の感度が向上することで、この制限は緩和することができる。
 図493は、実施の形態18における送信信号の一例を示す図である。
 受信機は、受信した複数のデータ片を統合して一連の信号を受信するため、送信信号が急に変更されると、変更前後のデータ片が混じってしまい、信号を正しく統合することができない。そこで、図493の(a)のように、送信機は、送信信号変更時に、緩衝帯として所定の時間のあいだ通常点灯を行い、信号を送信しない。受信機は、前記所定の時間T1より短い所定の時間T2の間、信号を受信することができない場合に、それまでに受信したデータ片を破棄することで、変更前後のデータ片の混合を回避することができる。または、図493の(b)のように、送信機は、送信信号変更時に、それを通知する信号Xを繰り返し送信する。繰り返し送信することで、送信信号変更通知Xの受信漏れを防ぐ。または、図493の(c)のように、送信機は、送信信号変更時に、プリアンブルを繰り返し送信する。受信機は、通常の信号においてプリアンブルが現れる周期よりも短い周期でプリアンブルを受信した場合に、それまでに受信したデータ片を破棄する。
 図494は、実施の形態18における受信機の動作の一例を示す図である。
 図494の(a)に示す画像は、ジャストフォーカスで送信機を撮像した画像である。受信機は、フォーカスを外して撮像することで、図494の(b)のような画像を撮像することができる。さらにフォーカスを外すと、撮像画像は図494の(c)に示す画像のようになる。図494の(c)では、複数の送信機の輝線が重なってしまい、受信機は信号を受信することができない。そのため、受信機は、複数の送信機の輝線が重ならないようにフォーカスを調整して撮像する。撮像範囲に一つの送信機だけが存在する場合は、受信機は、撮像画像中で送信機の大きさが最大となるようにフォーカスを調整する。
 受信機は、撮像画像を輝線と平行な方向に圧縮してもよいが、輝線と垂直な方向には画像圧縮を行わない。または、受信機は、垂直な方向の圧縮の程度を低くする。これにより、圧縮によって輝線がぼやけて受信誤りが発生することを防ぐことができる。
 図495および図496は、実施の形態18における受信機のスクリーンに表示するユーザへの指示の一例を示す図である。
 受信機は、複数の送信機を撮像することで、各送信機の位置情報と、撮像画像中の各送信機の位置と大きさと角度から、三角測量の要領で受信機の位置を推定できる。そこで、一つの送信機のみが受信可能な形で撮像されている場合に、ユーザが受信機の方向を変えたり後方に下がって撮像したりすることで複数の送信機を撮像させるため、受信機は、矢印などを含む画像を表示することによって、撮像方向や移動方向の指示を行う。図495の(a)は、受信機を右へ向けて右側の送信機を撮像させる指示の表示例であり、図495の(b)は、後ろに下がって手前の送信機を撮像させる指示の表示例である。図496は、受信機にとって他の送信機の位置が不明であるため、受信機を振るなどして他の送信機を撮像させる指示の表示例である。一枚の撮像画像中に複数の送信機が撮影されるほうが望ましいが、画像処理や9軸センサのセンサ値を用いて複数枚の画像中の送信機の位置関係を推定してもよい。受信機は、一つの送信機から受信したIDを用い、周辺の送信機の位置情報をサーバに問い合わせ、最も撮像しやすい送信機を撮像するようにユーザへ指示を行ってもよい。
 受信機は、9軸センサのセンサ値からユーザが受信機を移動させていることを検知し、移動が終了して所定の時間経過後に、最後に受信した信号に基づいた画面の表示を行う。これにより、ユーザが意図した送信機へ受信機を向ける際に、受信機の移動中に他の送信機の信号を受信してしまい、意図しない送信機の送信信号に基づいた処理を行ってしまうことを防ぐことができる。
 受信機は、移動されている間も受信処理を続け、受信した信号に基づいた処理、例えば、受信信号をキーとしたサーバからの情報取得等を行ってもよい。この場合、その処理の後も受信処理を続け、最後に受信した信号に基づいた処理を最終的な処理とする。
 受信機は、所定の回数受信した信号を処理したり、ユーザへ通知したりするとしてもよい。受信機は、移動されている間に最も多い回数受信できた信号を処理するとしてもよい。
 受信機は、信号の受信に成功したときや、撮像画像中に信号の存在を検知したときに、ユーザに通知する通知手段を備えていてもよい。通知手段は、音、バイブレーション、またはディスプレイの更新(ポップアップ表示等)などによって通知する。これにより、ユーザは、送信機の存在を知ることができる。
 図497は、実施の形態18における信号送信方法の一例を示す図である。
 例えばディスプレイとして構成される複数の送信機が隣接して配置されている。複数の送信機は、同一の信号を送信する場合、信号送信のタイミングを同期させ、図497の(a)のように全面から信号を送信する。この構成により、受信機には複数のディスプレイが一つの大きな送信機として観察されるため、受信機はより高速に、また、より遠距離から信号を受信できる。複数の送信機が異なる信号を送信する場合は、図497の(b)のように、複数の送信機は、信号を送信しない緩衝帯(非送信領域)を設けて信号を送信する。この構成により、受信機は、複数の送信機が緩衝帯を隔てた互いに別の送信機であると認識し、別々の信号を受信することができる。
 図498は、実施の形態18における信号送信方法の一例を示す図である。
 図498の(a)に示すように、液晶ディスプレイは、バックライト消灯期間を設け、バックライトの消灯中に液晶の状態を変化させることで、状態変化中の画像を不可視とし、動的解像感を高めることができる。このようなバックライト制御を行っている液晶ディスプレイに対しては、図498の(b)に示すように、バックライトの点灯周期に合わせて信号を重畳する。一揃いのデータ(Hdr、Data、FCS)を連続して送信することで、受信効率を高めることができる。また、バックライトの点灯期間の最初と最後では発光部は明るい状態(Hi)となる。発光部が暗い状態(Lo)がバックライト消灯期間と連続すると、信号としてLoが送信されているのか、バックライト消灯期間のため暗い状態にあるのかの判断が受信機にはできないためである。
 バックライト消灯期間は、平均輝度を低くした信号を重畳してもよい。
 信号を重畳することで、重畳しない場合と比べて平均輝度が変化するため、バックライト点灯期間を増減したり、バックライト点灯時の輝度を上下させて、平均輝度が等しくなるように調整する。
 図499は、実施の形態18における信号送信方法の一例を示す図である。
 液晶ディスプレイは、バックライト制御を位置ごとに異なるタイミングで行うことで、画面全体の輝度変化を低減させることができる。これをバックライトスキャンと呼ぶ。バックライトスキャンは通常は図499の(a)のように端から順にバックライトを点灯するように行われる。このとき、撮像画像8802aが得られる。しかし、撮像画像8802aでは、輝線が存在している部分が分断されており、ディスプレイの画面全体がひとつの送信機であることを推定できない場合がある。そこで、図499の(b)のように、縦軸をバックライトスキャンの分割方向の空間軸、横軸を時間軸として表示したときに発光している(信号を重畳している)部分が全てつながるようにバックライトスキャンの順序を設定することで、撮像画像8802bを得ることができる。撮像画像8802bでは、輝線部分が全て連結しており、一つの送信機からの送信信号であることが容易に推定できる。また、連続して受信可能な輝線の数が増えるため、速く、遠くから信号を受信できる。また、送信機の大きさの推定も容易となるため、撮像画像中の送信機の位置、大きさ、角度から受信機の位置を精度よく推定することができる。
 図500は、実施の形態18における信号送信方法の一例を示す図である。
 時分割バックライトスキャンにおいて、バックライトの点灯期間が短く、縦軸をバックライトスキャンの分割方向の空間軸、横軸を時間軸とするグラフ上において、発光している(信号を重畳している)部分をつなぐことができない場合は、それぞれの発光部分において図498の場合と同様にバックライトの発光タイミングに合わせて信号を重畳する。このとき、グラフ上の他のバックライト点灯部分との距離が最大になるようにバックライトを制御することで、隣接部分の輝線が混じることを防ぐことができる。
 図501は、実施の形態18におけるユースケースを説明するための図である。本実施の形態におけるシステムは、可視光通信を行う照明器具100、可視光通信機能を持つウェアラブルデバイス101、スマートフォン102、およびサーバー103から構成される。
 本実施の形態の目的は、可視光通信を用いて、ユーザーが店舗で買い物をする場合の、一連の手間を省き、買い物にかかる時間を短縮することにある。従来、店舗で商品を購入する際は、予めその店舗のサイトを検索してクーポン情報を取得する必要があった。また店内でそのクーポン対象になっている商品を探す場合に時間がかかってしまうという課題があった。
 図501に示すように、照明器具100は、店舗(例として家電量販店を想定する)の前で、定期的に可視光通信を用いて、自機の照明ID情報を送信している。ユーザーのウェアラブルデバイス101は、この照明ID情報を受信すると、近距離無線通信を用いて、スマートフォン102に照明ID情報を送信する。スマートフォン102は携帯回線などを用いてサーバー103にユーザーの情報と照明ID情報を送信する。スマートフォン102は、サーバー103よりユーザーの目の前にある店舗のポイント情報や、クーポン情報等を受け取る。ユーザーは、サーバー103より受け取った情報を、ウェアラブルデバイス101やスマートフォン102で閲覧する。ユーザーは表示された店舗の商品情報をその場で購入したり、店舗内の展示場所まで誘導を受けることが可能となる。以下、図を用いて詳細に説明する。
 図502は、スマートフォン102がサーバー103に送信する情報テーブルを示す図である。スマートフォン102に保持されているその店舗の会員番号、店舗のID情報、送信時刻、位置情報に加え、スマートフォン102に蓄えられているユーザーの趣向情報や生体情報、検索履歴や行動履歴情報をスマートフォン102は送信する。
 図503は、サーバー103のブロック図である。送受信部201は、スマートフォン102から送信された情報を受信する。制御部202は、全体の制御を行う。会員情報DB203には、会員番号やその会員番号のユーザーの氏名や生年月日、ポイント情報、購入履歴等が保存されている。店舗DB204には、店舗IDと、その店舗で販売している商品情報、店舗の陳列情報、店舗の地図情報など、店舗内の情報が保存されている。通知情報生成部205は、ユーザーの趣向に沿ったクーポン情報やおすすめ商品情報を生成する。
 図504は、上記システムの全体の処理を示すフローチャートである。ウェアラブルデバイス101は照明器具100から照明IDを受信する(S301)。次にウェアラブルデバイス101は照明IDをBluetooth(登録商標)等の近接無線通信等を用いて、スマートフォン102に送信する(S302)。次にスマートフォン102は、図502で示した、自身の持つユーザーの履歴情報と、会員番号と、照明IDをサーバー103に送信する(S303)。サーバー103はデータを受信すると、データは、まず制御部202へ送信される(S304)。次に制御部202は会員番号を会員DB203に照会し、会員情報を取得する(S305)。次に制御部202は照明IDを店舗DB204に照会し、店舗情報を取得する(S306)。店舗情報には、店舗に在庫がある商品情報、店舗として販売を促進したい商品の情報、クーポン情報や、店舗の店内地図情報等が含まれる。制御部202は会員情報と、店舗情報を通知情報生成部に送信する(S307)。通知情報生成部205は、会員情報と、店舗情報から、ユーザーに適した広告情報を生成し、制御部202へ送信する(S308)。制御部202は会員情報と広告情報を送受信部201へ送信する(S309)。会員情報には、ユーザーのポイント情報や有効期限情報などが含まれる。送受信部201は会員情報と広告情報をスマートフォン102に送信する(S310)。スマートフォン102は受信した情報を表示画面に表示する(S311)。
 さらに、スマートフォン102はサーバー103から受けた情報をウェアラブルデバイス101へ転送する(S312)。ウェアラブルデバイス101の通知設定がONであるならば、ウェアラブルデバイス101は情報を表示する(S314)。なお、ウェアラブルデバイスは情報を表示する際は、ヴァイブレーション等でユーザーに注意喚起を促すことが望ましい。これは、ユーザーは必ずしもその店舗に入るわけではないため、クーポン情報などを送信していても、ユーザーが気づかない場合があるためである。
 図505は、サーバー103がスマートフォン102へ送信する情報テーブルを示す図である。店舗地図DBとは、店内のどの位置にどの商品が陳列されているかといった店内の案内情報である。店舗の商品情報とは、その店舗に在庫がある商品の情報や商品の価格情報などである。ユーザー会員情報とはユーザーのポイント情報や、会員カードの有効期限情報などである。
 図506は、ユーザーが店舗前でサーバー103から情報を受け取ってから実際に商品を購入するまでのウェアラブルデバイス101に表示される画面フローを示す図である。店舗前では、ユーザーが来店した場合に付与されるポイントと、クーポン情報が表示されている。ユーザーがクーポン情報をタップすると、サーバー103から送信された、ユーザーの趣向に沿った情報が表示される。例えばユーザーがテレビをタップすると、おすすめのテレビの情報が表示される。ここで購入ボタンを押すと、受取方法の選択画面が表示され、自宅への配送か、店内での受取かを選ぶこととができる。本実施の形態では、ユーザーがどの店舗にいるかが分かっているため、店舗で受け取ることができるというメリットがある。フロー403で売り場へ誘導するを選択すると、ウェアラブルデバイス101はGuideModeへ移行する。このモードは矢印等を用いてユーザーを特定の場所へ誘導するモードであり、選択した商品が実際に陳列されている場所へとユーザーを誘導することができる。商品棚の前に案内されると、ウェアラブルデバイス101は購入の要否を問い合わせる画面に遷移する。ユーザーは該当商品を実際に見ることでサイズや色、使い勝手などを試してから商品の購入判断をすることが可能となる。
 なお、本発明における可視光通信は、精度よくユーザーの位置を特定することが可能である。このため、例えば図507のように工場内の危険地域にユーザーが入りそうな場合には警告を与えることも可能である。さらに、警告を発するかどうかは、ウェアラブルデバイス側で決定することが可能であるため、例えば特定の年齢以下の子供には警告を出すといった自由度の高い警告システムを構築することができる。
 (実施の形態19)
 図508は、既に説明した実施の形態に記載の受信方法を用いたサービス提供システムを示す図である。
 まず、サーバex8002を管理する企業A ex8000に対して、他の企業Bや個人ex8001が、携帯端末への情報の配信を依頼する。例えば、サイネージと可視光通信した携帯端末に対して、詳細な広告情報や、クーポン情報、または、地図情報などの配信を依頼する。サーバを管理する企業A ex8000は、任意のID情報に対応させて携帯端末へ配信する情報を管理する。携帯端末ex8003は、可視光通信により被写体ex8004からID情報を取得し、取得したID情報をサーバex8002へ送信する。サーバex8002は、ID情報に対応する情報を携帯端末へ送信するとともに、ID情報に対応する情報を送信した回数をカウントする。サーバを管理する企業A ex8000は、カウントした回数に応じた料金を、依頼した企業Bや個人ex8001に対して課金する。例えば、カウント数が大きい程、課金する額を大きくする。
 図509は、サービス提供のフローを示すフローチャートである。
 Step ex8000において、サーバを管理する企業Aが、他企業Bより情報配信の依頼を受ける。次に、Step ex8001において、企業Aが管理するサーバにおいて、配信依頼を受けた情報を、特定のID情報と関連付ける。Step ex8002では、携帯端末が、可視光通信により、被写体から特定のID情報を受信し、企業Aが管理するサーバへ送信する。可視光通信方法の詳細については、他の実施の形態において既に説明しているため省略する。サーバは、携帯端末から送信された特定のID情報に対応する情報を携帯端末に対して送信する。Step ex8003では、サーバにおいて、情報配信した回数をカウントする。最後に、Step ex8004において、情報配信したカウント数に応じた料金を企業Bに対して課金する。このように、カウント数に応じて、課金を行うことにより、情報配信の宣伝効果に応じた適切な料金を企業Bに課金することが可能となる。
 図510は、他の例におけるサービス提供を示すフローチャートである。図509と重複するステップについては説明を省略する。
 Step ex8008において、情報配信の開始から所定時間が経過したか否か判断する。所定時間内と判断されれば、Step ex8011において、企業Bに対しての課金は行わない。一方、所定期間が経過していると判断された場合には、Step ex8009において、情報を配信した回数をカウントする。そして、Step ex8010において、情報配信したカウントに応じた料金を企業Bに対して課金する。このように、所定期間内は無料で情報配信を行うことから、企業Bは宣伝効果などを確認した上で、課金サービスを受けることができる。
 図511は、他の例におけるサービス提供を示すフローチャートである。図510と重複するステップについては説明を省略する。
 Step ex8014において、情報を配信した回数をカウントする。Step ex8015において、情報配信開始から所定期間が経過していないと判断された場合には、Step ex8016において課金は行わない。一方、所定期間が経過していると判断された場合には、Step ex8017において、情報を配信した回数が所定値以上か否か判断を行う。情報を配信した回数が所定値に満たない場合には、カウント数をリセットし、再度、情報を配信した回数をカウントする。この場合、情報を配信した回数が所定値未満だった、所定期間については企業Bに対して課金は行わない。Step ex8017において、カウント数が所定値以上であれば、Step ex8018においてカウント数を一度リセットし、再度カウントを再開する。Step ex8019において、カウント数に応じた料金を企業Bに対して課金する。このように、無料で配信を行った期間内におけるカウント数が少なかった場合に、再度、無料配信の期間を設けることで、企業Bは適切なタイミングで課金サービスを受けることができる。また、企業Aもカウント数が少なかった場合に、情報内容を分析し、例えば、季節と対応しない情報になっているような場合に、情報内容を変更するように企業Bに対し提案することが可能となる。なお、再度、無料の情報配信期間を設ける場合には、初回の所定の期間よりも短い期間としてもよい。初回の所定の期間よりも短くすることにより、企業Aに対する負担を小さくすることができる。また、一定期間を空けて、無料の配信期間を再度設ける構成としてもよい。例えば、季節の影響を受ける情報であれば、季節が変わるまで一定期間を空けて、再度、無料の配信期間を設けることができる。
 なお、情報の配信回数によらず、データ量に応じて、課金料金を変更するとしてもよい。一定のデータ量の配信は無料として、所定のデータ量以上は、課金する構成としてもよい。また、データ量が大きくなるにつれて、課金料金も大きくしてもよい。また、情報を特定のID情報に対応付けて管理する際に、管理料を課金してもよい。管理料として課金することにより、情報配信を依頼した時点で、料金を決定することが可能となる。
 (実施の形態20)
 (受信しやすい変調方式)
 図512A、図512Bおよび図513は、実施の形態20における信号の符号化の一例を示す図である。
 送信信号はヘッダ(H)とボディ(Body)で構成される。ヘッダには、ユニークな信号パターンが含まれている。受信機は、受信信号中からこのユニークなパターンを見つけ出し、その位置を基準にして受信信号のどの部分がヘッダまたはボディを表しているかを認識し、データを受信する。
 送信信号が図512Aの(a)のパターンで変調されるとき、受信機は、ヘッダとそれに続くボディを連続で受信したときにデータを受信できる。受信機が連続で信号を受信できる時間的な長さは、撮像画像(撮影画像)に映る送信機の大きさによって決定される。送信機が小さい場合や、送信機を遠くから撮像した場合には、受信機が連続で信号を受信できる時間は短い。受信機が連続で信号を受信できる時間(連続受信時間)が、ヘッダとボディを含む1ブロックの送信時間と同じである場合は、ヘッダの送信開始時点と受信開始時点が等しい場合にのみ、受信機はデータを受信できる。図512Aの(a)は、連続受信時間がヘッダとボディを含む1ブロックの送信時間より少し長い場合を示す。矢印線は連続受信時間を表しており、太線で表したタイミングで信号を受信した場合にはデータを受信可能であるが、細線で表したタイミングで信号を受信した場合には、受信信号中にヘッダとボディが揃っていないため、データを受信することはできない。
 そこで、送信信号を図512Aの(b)のパターンで変調することで、より広い受信タイミングでデータの受信を可能とすることができる。送信機は、「ボディ・ヘッダ・ボディ」を一組として変調された信号を送信する。ここで、同じ組にある2つのボディは同じ信号である。受信機は、ボディに含まれる全ての信号を連続で受信しなくても、ヘッダの前後のそれぞれにあるボディの部分をつなぎ合わせることでボディを復元できるため、ヘッダに含まれる全ての信号を連続で受信できればデータを受信可能である。図512Aでは、データを受信可能な受信タイミングを太線で表しており、(b)の場合は(a)の場合に比べてより広い受信タイミングでデータの受信が可能であることがわかる。
 図512Aの(b)の変調方式の場合、ボディの信号長が固定値であれば、受信機はボディを復元できる。または、ヘッダにボディの信号長の情報が含まれていれば、受信機はボディを復元できる。
 つまり、図512Bに示すように、受信機は、まず、輝線が含まれる撮影画像(輝線画像)から、ユニークな輝線のパターンからなるヘッダを見つける。そして、受信機は、そのヘッダの後(図512B中の(1)の方向)に続くボディの各信号を順次読み出す。このとき、受信機は、信号を読み出すごとに、ボディの信号長の分だけ、そのボディの信号を読み出したか否かを判断する。つまり、ボディに含まれる全ての信号を読み出したか否かを判断する。読み出していないと判断したときには、受信機は、読み出された信号の後に続く信号を読み出す。しかし、その後に続く信号がない場合には、受信機は、ヘッダの前(図512B中の(2)の方向)に続くボディの各信号を順次読み出す。これにより、ボディに含まれる全ての信号が読み出される。ここで、ボディの信号長が固定長であれば、受信機は、その信号長を予め保持しており、その信号長を用いて上述の判断を行う。または、受信機は、ヘッダからボディの信号長を特定し、その信号長を用いて上述の判断を行う。
 また、ボディの信号長が可変長である場合でも、同一の送信機が変調したボディは同一の信号長となるように変調方式を定めることで、受信機は、二つのヘッダ間の信号長からボディの信号長を推定してボディを復元できる。このとき、図512Aの(b)の変調方式では、ヘッダ二つとボディ二つ分の信号を一度に受信しなければならない。しかし、図513に示す変調方式であれば、ヘッダ二つとボディ一つ分の信号を受信するだけで、ボディの信号長を推定できる。なお、図513では、「ボディ・ヘッダ・ボディ・ヘッダ2(H2)」を一組とした変調方式であり、受信機は、ヘッダに含まれる全ての信号を連続で受信できればデータを受信可能である。
 このように、本実施の形態における送信機は、送信対象の信号のうちの一部であるボディに対応する第1の輝度変化のパターンと、そのボディを特定するためのヘッダを示す第2の輝度変化のパターンとを決定し、第1の輝度変化のパターン、第2の輝度変化のパターン、その第1の輝度変化のパターンの順に、それぞれのパターンにしたがって輝度変化することによって、ヘッダおよびボディを送信する。また、送信機は、さらに、ヘッダと異なる他のヘッダを示す第3の輝度変化のパターンを決定し、第1の輝度変化のパターン、第2の輝度変化のパターン、第1の輝度変化のパターン、第3の輝度変化のパターンの順に、それぞれのパターンにしたがって輝度変化することによって、ヘッダ、ボディおよび他のヘッダを送信してもよい。
 (輝線による通信と画像認識の併用)
 図514は、実施の形態20における撮像画像の一例を示す図である。
 受信機は、撮像画像中の輝線から信号を読み取るとともに、輝線以外の部分を画像処理によって解析することができる。これにより、例として、受信機は、例えばデジタルサイネージとして構成される送信機から信号を受信し、同じ信号を受信した場合であってもそのときに送信機の画面上に写っている画像によって異なる広告を表示すること等が可能となる。
 輝線は画像処理においてノイズとなるため、輝線の左右の画素から輝線部分の画素値を補間してから画像処理を行うとしてもよい。また、輝線部分を除いた画像に対して画像処理を行ってもよい。
 (可視光信号の受信に適した撮像素子の利用方法)
 図515A~図515Cは、実施の形態20における受信機の構成および動作の一例を示す図である。
 図515Aに示すように、8910aは、受信機の撮像素子である。撮像素子は、画像を撮像する部分である有効画素と、暗電流等のノイズ測定のためのオプティカルブラックと、無効領域8910bで構成される。オプティカルブラックには、さらに、垂直方向のノイズを測定するVOBと、水平方向のノイズを測定するHOBがある。輝線は8910cの向き(水平方向)に発生するため、VOBや無効領域8910bに露光している時間は輝線が得られず、信号を受信することができない。そのため、可視光通信時には、VOBと無効領域8910bを利用しないか最小限の利用とする撮像モードに切り替えることで、信号を受信可能な時間を増やすことができる。
 図515Bに示すように、VOBと無効領域8910bを利用しないようにすることによって、有効画素を含む領域である有効画素領域において露光されている時間を延ばすことができる。具体的には、図515Bの(a)に示すように、通常撮影時には、時刻t0~t10、時刻t10~t20、および時刻t20~t30のそれぞれの間で1枚の撮影画像が取得される。また、それぞれの撮影画像を取得するためには、VOBと無効領域8910bも利用されるため、有効画素領域において露光されている時間(電荷が読み出される時間であって、図515B中の網掛け部分)は、時刻t3~t10、時刻t13~t20、および時刻t23~t30である。
 一方、可視光通信時において、VOBと無効領域8910bを利用しないようにすることによって、図515Bの(b)に示すように、VOBと無効領域8910bを利用していた時間だけ、有効画素領域において露光されている時間を延ばすことができる。つまり、可視光通信で受信可能な時間を増やすことができる。その結果、多くの信号を受信することができる。
 なお、図515Cの(a)に示すように、通常撮影時には、有効画素領域の各露光ラインの露光は、隣の露光ラインの露光が開始されてから、所定時間m経過した後に開始される。一方、図515Cの(b)に示すように、可視光通信時において、有効画素領域において露光されている時間が延ばされると、有効画素領域の各露光ラインの露光は、隣の露光ラインの露光が開始されてから、所定時間n(n>m)経過した後に開始される。
 このように、本実施の形態における受信機は、通常撮影を行う際には、イメージセンサのオプティカルブラックを含む領域にある複数の露光ラインのそれぞれに対して、その露光ラインの隣の露光ラインに対する電荷の読み出しが行われた時点から所定の時間経過後に、電荷の読み出しを行う。そして、受信機は、可視光通信を行う際には、オプティカルブラックを電荷の読み出しに用いることなく、イメージセンサにおけるオプティカルブラック以外の領域にある複数の露光ラインのそれぞれに対して、その露光ラインの隣の露光ラインに対する電荷の読み出しが行われた時点から、上記所定の時間よりも長い時間経過後に、電荷の読み出しを行う。
 また、可視光通信時には、デモザイキングやクリッピング等の処理で縦の画素数が減らないような撮像モードとすることで、信号を受信可能な時間をさらに増やすことができる。
 VOBや無効領域8910bを利用せず、縦の画素を減らさないモードで撮像すると、撮像画像の下端と次のフレームの撮像画像の上端の露光タイミングが時間的に連続することになり、信号を連続的に受信することができる。また、VOB等を完全に無効にできない場合でも、誤り訂正が可能な方式で送信信号を変調することで、信号を連続的に受信することができる。
 図515Aでは、水平方向のフォトダイオードを同時に露光するため水平方向の輝線があらわれる。可視光通信時には、この露光モードと、垂直方向のフォトダイオードを同時に露光する露光モードを交互に繰り返すことで、水平の輝線と垂直の輝線を得ることができるため、送信機がどのような形状であっても安定して信号を受信できる。
 (連続的な信号受信)
 図515Dは、実施の形態21における信号受信方法の一例を示す図である。
 撮像素子には、受光した光の強度を画像にする画素である有効画素と、受光した光の強度を画像にせず、例えば暗電流の強度の基準として用いる無効画素がある。そのため、通常撮像モードでは、(a)に示すように、無効画素のみが受光している時間が存在し、その間は信号を受信することができない。そこで、可視光通信モードでは、(b)のように無効画素のみが受光する時間を最小限にしたり、(c)のように常に有効画素が受光するように設定したりすることで,受信可能な時間を長くとることができる。また、これにより、連続的な受信を可能とすることができる。(b)の場合は、受信ができない時間が存在するが、送信データに誤り訂正符号を用いることで、一部の信号が受信できない場合でも全体の信号を推定することができる。
 (小さく撮像された送信機からの信号の受信方法)
 図515Eは、実施の形態21における信号受信方法の一例を示すフローチャートである。
 図515Eに示すように、ステップ9000aでstartし、ステップ9000bで信号を受信して、ステップ9000cでヘッダを検出する。ステップ9000dでヘッダに続くボディのデータサイズは既知かどうかを確認して、YESの場合はステップ9000fに進む。NOの場合はステップ9000eへ進み、ヘッダに続くボディのデータサイズをヘッダから読み出して、ステップ9000fに進む。ステップ9000fでヘッダに続いてボディを意味する信号を全て受信できたかどうかを確認して、YESの場合はステップ9000gへ進み、ヘッダに続いて受信した信号からボディ部分を読み出して、ステップ9000pで終了する。NOの場合はステップ9000hへ進み、ヘッダに続いて受信した部分とヘッダの前に受信した部分のデータ長を合わせるとボディのデータ長に足りるかどうかを確認して、YESの場合はステップ9000iへ進み、ヘッダに続いて受信した部分とヘッダの前に受信した部分を連結することでボディ部分を読み出して、ステップ9000pで終了する。NOの場合はステップ9000jへ進み、送信機から多くの輝線を撮像する手段があるかどうかを確認して、YESの場合はステップ9000nへ進み、輝線を多く撮像できる設定に変更して、ステップ9000bへ戻る。NOの場合はステップ9000kへ進み、送信機が存在するが撮像される大きさが不十分であることを通知して、ステップ9000mで送信機の方向を通知し、そちらへ近づけば受信可能となることを通知して、ステップ9000pで終了する。
 この方法により、撮像画像中の送信機を通る露光ラインが少ない場合でも、安定して信号を受信することができる。
 (可視光信号の受信に適した撮像画像サイズ)
 図516および図517Aは、実施の形態20における受信方法の一例を示す図である。
 撮像素子の有効画素領域が4:3である場合は、16:9で撮像すると、画像の上下の部分がクリッピングされる。輝線が水平方向に現れる場合は、このクリッピングで輝線が失われ、信号を受信可能な時間が短くなる。同様に、撮像素子の有効画素領域が16:9の場合に4:3で撮像すると、画像の左右の部分がクリッピングされ、輝線が垂直方向に現れる場合に信号を受信可能な時間が短くなる。そこで、クリッピングが発生しない縦横比、すなわち、図516では4:3を、図517Aでは16:9を、可視光通信モードでの撮像縦横比とする。これにより、受信可能な時間を長くとることができる。
 つまり、本実施の形態における受信機は、さらに、イメージセンサによって得られる画像の縦幅と横幅の比率を設定する。そして、受信機は、可視光通信を行う際には、設定された比率によって、画像における露光ライン(輝線)と垂直な方向の端がクリッピングされるか否かを判定し、端がクリッピングされると判定したときには、設定された比率を、その端がクリッピングされない比率である非クリッピング比率に変更する。そして、受信機のイメージセンサは、輝度変化する被写体を撮影することによって、その非クリッピング比率の輝線画像を取得する。
 図517Bは、実施の形態20における受信方法の一例を示すフローチャートである。
 この受信方法では、受信時間を伸ばし、小さな送信機からの信号を受信するための撮像アスペクト比を設定する。
 つまり、図517Bに示すように、ステップ8911Baでstartして、ステップ8911Bbで可視光通信モードへ撮像モードを変更する。ステップ8911Bcで撮像画像のアスペクト比設定は有効画素のアスペクト比と最も近い設定になっているかどうかを確認する。YESの場合はステップ8911Bdへ進み、撮像画像のアスペクト比設定を有効画素のアスペクト比と最も近い設定にする。ステップ8911Beで終了する。NOの場合はステップ8911Beへ進み、終了する。可視光通信モードにおいてこのようにアスペクト比を設定することで、受信できない時間を減らすことができる。また、小さい送信機や遠くの送信機からの信号を受信できるようになる。
 図517Cは、実施の形態20における受信方法の一例を示すフローチャートである。
 この受信方法では、時間あたりのサンプル数を増やすための撮像アスペクト比を設定する。
 つまり、図517Cに示すように、ステップ8911Caでstartして、ステップ8911Cbで可視光通信モードへ撮像モードを変更する。ステップ8911Ccで露光ラインの輝線が確認できるが時間あたりのサンプル数が少なく信号が受信できないかを確認する。YESの場合はステップ8911Cdへ進み、撮像画像のアスペクト比設定を有効画素のアスペクト比と最も異なる設定にする。ステップ8911Ceで撮像フレームレートを上げて、ステップ8911Ccへ戻る。NOの場合はステップ8911Cfへ進み、信号を受信して、終了する。
 可視光通信モードにおいてこのようにアスペクト比を設定することで、周波数の高い信号を受信することができる。また、ノイズの大きな環境でも受信できるようになる。
 (ズームを利用した可視光信号の受信)
 図518は、実施の形態20における受信方法の一例を示す図である。
 受信機は、撮像画像8913aの中から輝線が存在する領域を見つけ出し、できるだけ多くの輝線が発生するようにズームを行う。撮像画像8913bのように、輝線の方向に垂直な方向に、輝線領域が画面の上端下端にかかるまで拡大することで、輝線の数を最大にすることができる。
 また、受信機は、輝線がはっきりと表示される領域を見つけ出し、8913cのように、その部分が大きく映るようにズームを行うとしてもよい。
 なお、撮像画像中に複数の輝線領域が存在する場合は、それぞれの輝線領域について順次上記の処理を行うとしてもよい。また、撮像画像中からユーザが指定した輝線領域について上記の処理を行うとしてもよい。
 (可視光信号の受信に適した画像データサイズの圧縮方法)
 図519は、実施の形態20における受信方法の一例を示す図である。
 撮像画像(a)を、撮像部から画像処理部へ伝送する際や、撮像端末(受信機)からサーバへ送信する際に、画像データサイズの圧縮が必要な場合は、(c)のように、輝線に水平な方向に縮小や画素間引きを行うと輝線の情報量を減じることなくデータサイズを圧縮することができる。(b)や(d)のような縮小や画素間引きを行うと、輝線の数が減ってしまったり、輝線の認識が難しくなる。画像圧縮の際も、輝線に垂直な方向には圧縮しない、または、垂直方向の圧縮率を水平方向の圧縮率より小さくすることで、受信効率の低減を防ぐことができる。なお、移動平均フィルタは垂直方向と水平方向のいずれにも適用してもよく、データサイズ縮小とノイズ低減の両方に有効である。
 つまり、本実施の形態における受信機は、さらに、輝線画像に含まれる複数の輝線のそれぞれに平行な方向に、その輝線画像を圧縮することによって、圧縮画像を生成し、その圧縮画像を送信する。
 (受信エラー検出精度が高い変調方式)
 図520は、実施の形態20における信号変調方法の一例を示す図である。
 パリティビットによる誤り検出は1ビットの受信誤りを検出するため、「01」と「10」の取り違えと「00」と「11」の取り違えは検出できない。(a)の変調方式では、「01」と「10」はLの位置が一つ異なるだけであるので取り違えやすいが、(b)の変調方式では「01」と「10」、「00」と「11」のLの位置がそれぞれ二つ異なっている。(b)の変調方式を用いることで、高い精度で受信誤りを検出できる。これは、図404から図406における変調方式においても同様である。
 つまり、本実施の形態では、所定の輝度値(例えばL)が現れるタイミングが互いに隣接する2つの輝度変化のパターンが、同一のパリティの信号単位(例えば、「01」と「10」)に割り当てられていないように、そのタイミングが互いに異なる輝度変化のパターンが、互いに異なる信号単位のそれぞれに対して予め割り当てられいる。そして、本実施の形態における送信機は、送信対象の信号に含まれる信号単位のそれぞれに対して、その信号単位に割り当てられた輝度変化のパターンを決定する。
 (状況の違いによる受信機の動作の変更)
 図521は、実施の形態20における受信機の動作の一例を示す図である。
 受信機8920aは、受信が開始された状況によって異なる動作をする。例えば、日本で起動された場合は、60kHzの位相偏移変調方式で変調された信号を受信し、受信したIDをキーにサーバ8920dからデータをダウンロードする。アメリカで起動された場合には、50kHzの周波数偏移変調方式で変調された信号を受信し、受信したIDをキーにサーバ8920eからデータをダウンロードする。受信機の動作を変更させる前記状況には、受信機8920aが存在している場所(国や建物)、受信機8920aと通信している基地局や無線アクセスポイント(Wi-Fi、Bluetooth、IMES等)、時刻等がある。
 例えば、受信機8920aは、位置情報や最後にアクセスした無線基地局(キャリア通信網やWi-FiやBluetooh(登録商標)やIMES等の基地局)や可視光通信によって最後に受信したIDを、サーバ8920fに送信する。サーバ8920fは、受信した情報を基に受信機8920aの位置を推定し、その位置付近の送信機の送信信号を受信できる受信アルゴリズムと、その位置付近の送信機のIDを管理しているID管理サーバの情報(URI等)を送信する。受信機8920aは、受信したアルゴリズムを用いて送信機8920bや8920cの信号を受信し、受信したID管理サーバ8920d、8920eへIDをキーとした問い合わせを行う。
 この方法により、国や地域や建物といった単位で異なる方式の通信を行うことができる。また、本実施の形態における受信機8920aは、信号を受信したときには、その信号の変調に利用された周波数に応じて、アクセス対象となるサーバを切り替えたり、受信アルゴリズムを切り替えたり、図520に示す信号変調方法を切り替えてもよい。
 (人間への可視光通信の周知)
 図522は、実施の形態20における送信機の動作の一例を示す図である。
 送信機8921aの発光部は、図522の(a)に示すように、人間が視認可能な点滅と可視光通信とを繰り返す。人間に視認可能な点滅を行うことで、可視光通信が可能であることを人間に知らせることができる。ユーザは送信機8921aが点滅していることで可視光通信が可能であることに気づき、受信機8921bを送信機8921aに向けて可視光通信を行い、送信機8921aのユーザ登録を行う。
 つまり、本実施の形態における送信機は、発光体が輝度変化によって信号を送信するステップと、発光体が人の目で視認されるように点滅するステップとを交互に繰り返し行う。
 送信機は、図522の(b)のように、可視光通信部と点滅部(通信状況表示部)とを別に設けてもよい。
 送信機は、図405または図406の変調方式を用いて、図522の(c)のように、動作することで、可視光通信を行いながら、人間には発光部が点滅しているように見せることができる。つまり、送信機は、例えば明るさ75%の高輝度可視光通信と、明るさ1%の低輝度可視光通信とを交互に繰り返し行う。例えば、送信機に異常等が発生して普段とは異なる信号を送信しているときに図522の(c)に示す動作をすることで、可視光通信をやめることなくユーザに注意を促すことができる。
 (散光板による受信範囲の拡大)
 図523は、実施の形態20における受信機の一例を示す図である。
 図523の(a)は、受信機8922aの通常モードの様子を示し、図523の(b)は、受信機8922aの可視光通信モードの様子を示す。受信機8922aは、撮像部の前に散光板8922bを備える。受信機8922aは、可視光通信モード時に散光板8922bを撮像部の前に移動させ、光源が広がって撮像されるようにする。このとき、複数の光源からの光が重ならないように、散光板8922bの位置を調整する。なお、散光板8922bに代わり、マクロレンズやズームレンズを用いてもよい。これにより、遠くの送信機や小さい送信機の信号を受信することができる。
 なお、散光板8922bを移動させる代わりに、撮像部の撮像方向を移動させてもよい。
 なお、散光板8922bが映るイメージセンサの領域は通常撮像モードでは利用せず、可視光通信モードでのみ利用するとしてもよい。これにより、散光板8922bも撮像部も移動させることなく、上記の効果が得られる。
 (複数の送信機からの信号送信の同期方法)
 図524と図525は、実施の形態20における送信システムの一例を示す図である。
 プロジェクションマッピング等のために複数のプロジェクタを用いる場合は、混信をさけるため、一箇所の投影には一つのプロジェクタのみが信号を送信するか、複数のプロジェクタの信号送信タイミングを同期する必要がある。図524は、送信タイミングの同期のための仕組みを示す。
 同じ投影面に投影を行うプロジェクタAとプロジェクタBが、図524のように信号を送信する。受信機がこれを撮像して受信し、信号aと信号bの時間差を計算し、各プロジェクタの信号送信タイミングを調整する。
 動作開始時にはプロジェクタAとプロジェクタBは同期していないため、どちらも信号を送信しない時間(全休止時間)を設けることで、信号aと信号bが重なって受信できなくなることを防ぐ。プロジェクタのタイミング調整が進むに連れてプロジェクタが送信する信号を変化させても良い。例えば、動作開始時には全休止時間を長くとり、タイミング調整が進むにつれて全休止時間を短くすることで、効率よくタイミング調整が可能となる。
 正確にタイミングを調整するためには、1枚の撮像画像中に信号aと信号bが含まれていることが望ましい。受信機の撮像フレームレートは60fpsから7.5fpsのものが多い。信号送信の周期を7.5分の1秒以下にすることで、7.5fpsで撮像された画像中に信号aと信号bを収めることができる。また、信号送信の周期を60分の1秒以下とすることで、30fpsで撮像された画像中に確実に信号aと信号bを収めることができる。
 図525は、複数のディスプレイから構成される送信機を同期する場合を示す図である。同期するディスプレイが1枚の画像中に収まるように撮像し、タイミング調整を行う。
 (照度センサとイメージセンサによる可視光信号の受信)
 図526は、実施の形態20における受信機の動作の一例を示す図である。
 イメージセンサは、照度センサに比べて消費電力が高いため、受信機8940aは、照度センサ8940cで信号を検知した際にイメージセンサ8940bを起動して信号を受信する。図526の(a)に示すように、受信機8940aは、送信機8940dが送信した信号を、照度センサ8940cで受信する。その後、受信機8940aは、イメージセンサ8940bを起動し、イメージセンサで送信機8940dの送信信号を受信し、送信機8940dの位置を認識する。このとき、イメージセンサ8940bは信号の一部を受信した時点で、その一部が照度センサ8940cで受信した信号と同一であれば、受信機8940aは同一の信号を受信したと仮に判断し、後段の処理、例えば現在位置の表示等、を行う。イメージセンサ8940bで全部の信号が受信できた時点で、判断を完了する。
 なお、仮判断時には、判断が完了していないことを表示してもよい。例えば、現在位置の表示を半透明にしたり、位置の誤差を表示する。
 なお、前記信号の一部とは、例えば、全体の信号長の20%や、誤り検出符号部分等として定めることができる。
 図526の(b)に示す状況では、照度センサ8940cでは、信号が混信して受信することができないが、信号が存在することは認識できる。例えば、照度センサ8940cのセンサ値をフーリエ変換したとき、送信信号の変調周波数にピークが現れた場合、信号が存在していると推定できる。受信機8940aは、照度センサ8940cのセンサ値から信号が存在していると推定したときは、イメージセンサ8940bを起動し、送信機8940e、8940fからの信号を受信する。
 (受信開始のトリガ)
 図527は、実施の形態20における受信機の動作の一例を示す図である。
 イメージセンサや照度センサ(以下では、これらを総称して受光センサと呼ぶ)を起動していると電力を消費するため、不要時には停止させておき、必要なときに起動することで消費電力効率を向上させることができる。なお、照度センサの消費電力はイメージセンサと比べて少ないため、以下では、照度センサは常時起動し、イメージセンサのみを制御するとしてもよい。
 図527の(a)では、受信機8941aは、9軸センサのセンサ値から移動を検出し、受光センサを起動して受信を開始する。
 図527の(b)では、9軸センサのセンサ値から、受信機を倒す動作を検出し、上に向けられた側の受光センサを起動して受信を開始する。
 図527の(c)では、9軸センサのセンサ値から、受信機を突き出す動作を検出し、突き出される方向の受光センサを起動して受信を開始する。
 図527の(d)では、9軸センサのセンサ値から、受信機を上に向ける動作や振る動作を検出し、上に向けられた側の受光センサを起動して受信を開始する。
 つまり、本実施の形態における受信機は、さらに、受信機(受信装置)が、予め定められた態様で動かされたか否かを判定し、予め定められた態様で動かされたと判定したときには、イメージセンサを起動する。
 (受信開始のジェスチャ)
 図528は、本通信方式による受信を開始するジェスチャ動作の一例を示す図である。
 例えばスマートフォンとして構成される受信機8942aは、9軸センサのセンサ値から、受信機を立てて横方向にスライドさせる動作、または、横方向へのスライドを繰り返す動作を検出する。その後、受信機8942aは、受信を開始し、受信したIDをもとに送信機8942bの位置を取得する。その後、受信機8942aは、複数の送信機8942bと自身の相対位置関係から、自身の位置を取得する。受信機8942aは、スライドされることで、安定して複数の送信機8942bを撮像することができ、三角測量の方法で、自己位置を高精度に推定することができる。
 なお、この動作は、ホーム画面がフォアグラウンドになっているときのみ行うとしてもよい。これにより、他のアプリを使用中にユーザの意図に反して本通信が行われることを防ぐことができる。
 (カーナビへの応用例)
 図529と図530は、実施の形態20における送受信システムの応用例の一例を示す図である。
 例えばカーナビとして構成される送信機8950bは、Bluetooth(登録商標)のペアリング情報や、Wi-FiのSSIDとパスワードや、IPアドレス等、送信機8950bに無線接続するための情報を送信する。例えばスマートフォンとして構成される受信機8950aは、受信した情報をもとに送信機8950bと無線接続を確立し、以降のやりとりはこの無線接続を介して行う。
 例えば、ユーザはスマートフォン8950aに目的地や探索する店舗情報などを入力し、スマートフォン8950aは、無線接続を介してカーナビ8950bに、入力された情報を伝達し、カーナビ8950bは経路情報を表示する。また、例えば、スマートフォン8950aは、カーナビ8950bのコントローラとして動作し、カーナビ8950bが再生する音楽や映像をコントロールする。また、例えば、スマートフォン8950aが保持する音楽や映像をカーナビ8950bで再生する。また、例えば、カーナビ8950bが周辺の店舗情報や道路の混雑情報を取得し、スマートフォン8950aに表示させる。また、例えば、スマートフォン8950aは、着信があったとき、無線接続されたカーナビ8950bのマイクとスピーカーを使って通話処理を行う。なお、スマートフォン8950aは、着信があったときに無線接続を確立して上記の動作を行うとしてもよい。
 カーナビ8950bは、無線接続された自動接続モードに設定されているときは、登録された端末に自動で無線接続する。カーナビ8950bは、自動接続モードではないとき、可視光通信を用いて接続情報を送信して接続を待ち受ける。なお、カーナビ8950bは、自動接続モードの際も可視光通信を用いて接続情報を送信して接続を待ち受けてもよい。なお、カーナビは、手動で接続された場合には、自動接続モードを解除するとしてもよく、さらに、自動で接続された端末との接続を切断するとしてもよい。
 (コンテンツ保護への応用例)
 図531は、実施の形態20における送受信システムの応用例の一例を示す図である。
 例えば、テレビとして構成される送信機8951bは、自身や接続された機器8951cに保持されたコンテンツ保護情報を送信する。例えばスマートフォンとして構成される受信機8951aは、前記コンテンツ保護情報を受信し、その後所定の時間の間は、送信機8951bや機器8951cのコンテンツ保護情報で保護されたコンテンツを再生できるように、コンテンツ保護を行う。これにより、ユーザが所有する別の機器に保持しているコンテンツを受信機で再生することができる。
 なお、送信機8951bはコンテンツ保護情報をサーバに格納し、受信機8951aは、受信した送信機8951bのIDをキーにサーバからコンテンツ保護情報を取得してもよい。
 なお、受信機8951aは、取得したコンテンツ保護情報をさらに他の機器に送信するとしてもよい。
 (電子錠としての応用例)
 図532は、実施の形態20における送受信システムの応用例の一例を示す図である。
 受信機8952aは、送信機8952bの送信したIDを受信し、サーバ8952cへ送信する。サーバ8952cは、受信機8952aから送信機8952bのIDが送られてきた場合に、扉8952dを解錠したり、自動ドアを開けたり、受信機8952aに登録された階に移動するエレベータを受信機8952aの居るフロアへ呼ぶ。これにより、受信機8952aが鍵の役割を果たし、ユーザは扉8952dに着く前に解錠等を行うことができる。
 つまり、本実施の形態における受信機は、輝度変化する被写体(例えば上述の送信機)を撮影することによって、複数の輝線を含む画像である第1の輝線画像を取得し、取得された第1の輝線画像に含まれる複数の輝線のパターンによって特定されるデータを復調することにより第1の送信情報(例えば、被写体のID)を取得する。そして、受信機は、第1の送信情報が取得された後に、制御信号(例えば、被写体のID)を送信することによって、扉の開閉駆動機器に対してその扉を開かせる。
 悪意のある操作を防ぐため、サーバ8952cは、受信機8952aのセキュアエレメント等のセキュリティ保護を利用して、通信相手が受信機8952aであることを確認してもよい。また、受信機8952aが確かに送信機8952bの近くに居るということを確認するため、サーバ8952cは、送信機8952bのIDを受信した際に、送信機8952bに異なる信号を送信する命令を発し、受信機8952aから前記信号が送られてきた場合に解錠を行うとしてもよい。
 また、照明機器として構成される送信機8952bが、扉8952dに向かう通路に沿って複数個並んでいる場合には、受信機8952aは、それらの送信機8952bからIDを受信することによって、受信機8952aが扉8952dに近づいているか否かを判定することができる。例えば、それらのIDが取得された順に、それらのIDによって示される値が小さくなる場合には、受信機は、扉に近づいていると判定する。または、受信機は、それらのIDに基づいて、それぞれの送信機8952bの位置を特定し、さらに、それらの送信機8952bの位置と、撮影画像に映るそれらの送信機8952bの位置とに基づいて、自らの位置を推定する。そして、受信機は、予め保持されている扉8952dの位置と、推定された自らの位置とを随時比較することによって、扉8952dに近づいているか否かを判定する。そして、受信機は、扉8952dに近づいていると判定したときに、取得された何れかのIDをサーバ8952cに対して送信する。その結果、サーバ8952cは、扉8952dを開くための処理などを行う。
 つまり、本実施の形態における受信機は、輝度変化する他の被写体を撮影することによって、複数の輝線を含む画像である第2の輝線画像を取得し、取得された第2の輝線画像に含まれる複数の輝線のパターンによって特定されるデータを復調することにより第2の送信情報(例えば、他の被写体のID)を取得する。そして、受信機は、取得された第1および第2の送信情報に基づいて、受信機が扉に近づいているか否かを判定し、扉に近づいていると判定したときに、制御信号(例えば、何れかの被写体のID)を送信する。
 (来店情報伝達としての応用例)
 図533は、実施の形態20における送受信システムの応用例の一例を示す図である。
 受信機8953aは、送信機8953bの送信したIDをサーバ8953cへ送信する。サーバ8953cは、受信機8953aに関連付けられた注文情報を店員8953dへ通知する。店員8953dは、前記注文情報に基いて商品等を準備する。これにより、ユーザが店舗等に入った時点で注文が準備されるため、ユーザは迅速に商品等を受け取ることができる。
 (場所に応じた注文制御の応用例)
 図534は、実施の形態20における送受信システムの応用例の一例を示す図である。
 受信機8954aは、送信機8954bの送信信号を受信したときにのみ注文が行える画面を表示する。これにより、店舗は、付近にいない顧客の注文を回避することができる。
 または、受信機8954aは、送信機8954bのIDを注文情報に加えて注文を行う。これにより、店舗は、注文主の位置を把握し、商品を届ける位置を把握することができる。あるいは、店舗は、注文主が来店するまでの時間を推定することができる。なお、受信機8954aは、移動速度から計算した店舗までの移動時間を注文情報に加えてもよい。また、受信機は、現在位置から判断して不自然な購買(例えば、現在位置の駅以外から出発する搭乗券の購入)に対して、その購買を受け付けないようにしてもよい。
 (道案内への応用例)
 図535は、実施の形態20における送受信システムの応用例の一例を示す図である。
 受信機8955aは、例えば案内板として構成される送信機8955bの送信IDを受信し、案内板に表示された地図のデータをサーバから取得して表示する。このとき、サーバは受信機8955aのユーザに適した広告を送信し、受信機8955aはこの広告情報も表示するとしてもよい。受信機8955aは、現在地から、ユーザが指定した場所までの経路を表示する。
 (所在連絡への応用例)
 図536は、実施の形態20における送受信システムの応用例の一例を示す図である。
 受信機8956aは、例えば家庭や学校の照明として構成される送信機8956bの送信するIDを受信し、そのIDをキーとして取得した位置情報を端末8956cへ送信する。これにより、端末8956cを持つ保護者は、受信機8956aを持つ児童が家に帰ったことや学校に着いたことを知ることができる。また、端末8956cを持つ監督者は、受信機8956aを持つ作業者の現在位置を把握することができる。
 (利用ログ蓄積と解析への応用例)
 図537は、実施の形態20における送受信システムの応用例の一例を示す図である。
 受信機8957aは、例えば看板として構成される送信機8957bの送信するIDを受信し、サーバからクーポン情報を取得して表示する。受信機8957aは、その後のユーザの行動、例えば、クーポンを保存したり、クーポンに表示された店舗に移動したり、その店舗で買い物を行ったり、クーポンを保存せずに立ち去ったりといった行動をサーバ8957cに保存する。これにより、看板8957bから情報を取得したユーザのその後の行動を解析することができ、看板8957bの広告価値を見積もることができる。
 (画面共有への応用例)
 図538と図539は、実施の形態20における送受信システムの応用例の一例を示す図である。
 例えばプロジェクタやディスプレイとして構成される送信機8960bは、自身へ無線接続するための情報(SSID、無線接続用パスワード、IPアドレス、送信機を操作するためのパスワード)を送信する。または、これらの情報にアクセスするためのキーとなるIDを送信する。例えばスマートフォンやタブレットやノートパソコンやカメラとして構成される受信機8960aは、送信機8960bから送信された信号を受信して前記情報を取得し、送信機8960bとの無線接続を確立する。この無線接続は、ルータを介して接続してもよいし、Wi-FiダイレクトやBluetooth(登録商標)やWireless Home Digital Interface等によって直接接続してもよい。受信機8960aは、送信機8960bによって表示される画面を送信する。これにより、手軽に受信機の画像を送信機に表示することができる。
 なお、送信機8960bは、受信機8960aと接続されたときに、画面表示のためには、送信機が送信している情報の他にパスワードが必要であることを受信機8960aに伝え、正しいパスワードが送られない場合は送信された画面を表示しないとしてもよい。このとき、受信機8960aは、8960dのような、パスワード入力画面を表示し、ユーザにパスワードを入力させる。
 図539は、受信機8960aを介して送信機8961cの画面を送信機8960bに表示させる例を示す図である。例えばノートパソコンとして構成される送信機8961cは、自身へ接続するための情報、または、その情報に関連付けられたIDを送信する。受信機8960aは、送信機8960bから送信された信号と送信機8961cから送信された信号を受信し、各送信機との接続を確立させ、送信機8960bに表示するための画像を送信機8961cから伝送させる。送信機8960bと送信機8961cは直接通信するとしてもよいし、受信機8960aやルータを介して通信するとしてもよい。これにより、送信機8960bの送信した信号を送信機8961cが受信できない場合でも、手軽に送信機8961cの画像を送信機8960bに表示させることができる。
 なお、受信機8960aが、送信機8960bの送信した信号を受信した時刻と、送信機8961cの送信した信号を受信した時刻の差が所定の時間以下であったときのみ前記の動作を行うとしてもよい。
 なお、送信機8961cは、受信機8960aから正しいパスワードを受信した場合にのみ画像を送信機8960bに送信するとしてもよい。
 (無線アクセスポイントを利用した位置推定の応用例)
 図540は、実施の形態20における送受信システムの応用例の一例を示す図である。
 例えばスマートフォンとして構成される受信機8963aは、送信機8963bの送信するIDを受信する。受信機8963aは、受信したIDをキーとして送信機8963bの位置情報を取得し、撮像画像中の送信機8963bの位置と方向から、自身の位置を推定する。また、受信機8963aは、例えばWi-Fiアクセスポイントとして構成される電波発信機8963cからの信号を受信する。受信機8963aは、信号に含まれた電波発信機8963cの位置情報と電波発信方向情報から自身の位置を推定する。受信機8963aは、複数の手段で自己位置を推定することで、高精度に自己位置を推定することができる。
 無線発信機8963cの情報を利用して自己位置を推定する手法について説明する。無線発信機8963cは、複数のアンテナから、異なる方向に、同期した信号を送信している。また、無線発信機8963cは、信号送信の方向を順次変更している。受信機8963aは、電波強度が最も強くなったときの電波発信方向が無線発信機8963cから自身への方向であると推測する。また、別のアンテナから発信され、それぞれ経路8963d、8963e、8963fを通った電波の到達時間の差から経路差を計算し、各電波発信角度差θ12、θ13、θ23から、無線発信機8963cと自身の距離を計算する。さらに、周囲の電界情報、電波反射物情報を利用することで、より高精度に自己位置を推定することができる。
 (可視光通信と無線通信による位置推定)
 図541は、可視光通信と無線通信とによる位置推定を行う構成を示す図である。つまり、図541は、可視光通信と無線通信とを用いて端末の位置推定を行う構成を示している。
 携帯端末は、発光部と可視光通信を行うことにより、発光部のIDを取得する。取得したIDをサーバに問い合わせ、発光部の位置情報を取得する。これにより、実距離L1を取得することが可能となる。また、既に他の実施例において説明しているように、携帯端末の傾きθ1は、ジャイロセンサなどを用いて検出することが可能となるため、L3を算出することができる。L1とL3を用いて、携帯端末のx1の値を算出することが可能となる。
 一方、y1の値については、無線通信を用いて位置推定を行う。MIMOアクセスポイントから、携帯端末に向けてビームフォーミングがなされている場合には、ビームフォームの角度θ2は、MIMOアクセスポイントが設定するものであり既知の値となる。従って、無線通信などにより、携帯端末がビームフォーミングの角度θ2を取得することにより、x1とθ2から、y1の値を算出することが可能となる。MIMOは複数のビームを形成することが可能であることから、複数のビームフォーミングを利用することにより、より精度の高い位置推定を行うことも可能である。
 このように、本実施の形態によれば、可視光通信による位置推定と、無線通信による位置推定との両方を用いることにより、位置推定の精度をより高めることが可能となる。
 以上、一つまたは複数の態様に係る情報通信方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
 図542Aは、本発明の一態様に係る情報通信方法のフローチャートである。
 本発明の一態様に係る情報通信方法は、被写体から情報を取得する情報通信方法であって、ステップSK91~SK93を含む。
 つまり、この情報通信方法は、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる複数の露光ラインに対応する複数の輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの第1の露光時間を設定する第1の露光時間設定ステップSK91と、前記イメージセンサが、輝度変化する前記被写体を、設定された前記第1の露光時間で撮影することによって、前記複数の輝線を含む輝線画像を取得する第1の画像取得ステップSK92と、取得された前記輝線画像に含まれる前記複数の輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップSK93とを含み、前記第1の画像取得ステップSK92では、前記複数の露光ラインのそれぞれは、順次異なる時刻で露光を開始し、かつ、当該露光ラインに隣接する隣接露光ラインの露光が終了してから所定の空き時間経過後に、露光を開始する。
 図542Bは、本発明の一態様に係る情報通信装置のブロック図である。
 本発明の一態様に係る情報通信装置K90は、被写体から情報を取得する情報通信装置であって、構成要素K91~K93を備える。
 つまり、この情報通信装置K90は、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる複数の露光ラインに対応する複数の輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定部K91と、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記複数の輝線を含む輝線画像を取得する前記イメージセンサを有する画像取得部K92と、取得された前記輝線画像に含まれる前記複数の輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得部K93とを備え、前記複数の露光ラインのそれぞれは、順次異なる時刻で露光を開始し、かつ、当該露光ラインに隣接する隣接露光ラインの露光が終了してから所定の空き時間経過後に、露光を開始する。
 このような図542Aおよび図542Bによって示される情報通信方法および情報通信装置K90では、例えば図24Dなどに示すように、複数の露光ラインのそれぞれは、その露光ラインに隣接する隣接露光ラインの露光が終了してから所定の空き時間経過後に、露光を開始するため、被写体の輝度変化を認識しやすくすることができる。その結果、被写体から情報を適切に取得することができる。
 なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。例えばプログラムは、図542Aのフローチャートによって示される情報通信方法をコンピュータに実行させる。
 なお、本発明の一態様に係る情報通信方法は、以下の例にも応用することができる。
 図543は、光センサを搭載した時計を示す図である。
 横断面図に示されているように、センサの上面に集光レンズが配置されている。図543では、集光レンズは、所定の傾きを有して配置されている。集光レンズの形状は、これに限らず、集光可能な形状であれば、他の形状であってもよい。このような構成により、光センサは、レンズにより外界の光源からの光を集光して受光することが可能となる。従って、時計に搭載されているような小さな光センサであっても、可視光通信を行うことが可能となる。図543では、12個の領域に分割して、12個の光センサを搭載し、各光センサの上面に集光レンズを配置する構成となっている。このように、時計内を複数の領域に分け、複数の光センサを配置することにより、複数の光源からの情報を取得することが可能となる。例えば、図543では、光源1からの光を、第1光センサで受光し、光源2からの光を、第2光センサで受光することができる。また、光センサとして、太陽光発電池を用いることも可能である。光センサとして太陽光発電池を用いることにより、単一のセンサで太陽光発電を行うと同時に、可視光通信を行うことができるため、コストを削減し、かつ、コンパクトな形状とすることが可能となる。更に、複数の光センサーを配置する場合には、複数の光源からの情報を同時に取得することができるため、位置推定精度を向上させることが可能となる。本実施の形態では、時計において光センサーを設ける構成としたが、これに限らず、携帯電話や、携帯端末など移動可能な端末であれば、他の装置でもよい。また、図544、図545および図546に示すように、本発明の一態様に係る情報通信方法を応用してもよい。
 (上記各実施の形態のまとめ)
 本発明の一態様に係る情報通信方法は、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる複数の露光ラインに対応する複数の輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの第1の露光時間を設定する第1の露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記第1の露光時間で撮影することによって、前記複数の輝線を含む輝線画像を取得する第1の画像取得ステップと、取得された前記輝線画像に含まれる前記複数の輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップとを含み、前記第1の画像取得ステップでは、前記複数の露光ラインのそれぞれは、順次異なる時刻で露光を開始し、かつ、当該露光ラインに隣接する隣接露光ラインの露光が終了してから所定の空き時間経過後に、露光を開始する。
 これにより、例えば図24Dなどに示すように、複数の露光ラインのそれぞれは、その露光ラインに隣接する隣接露光ラインの露光が終了してから所定の空き時間経過後に、露光を開始するため、被写体の輝度変化を認識しやすくすることができる。その結果、被写体から情報を適切に取得することができる。
 また、前記第1の画像取得ステップでは、前記複数の露光ラインのそれぞれが、隣接する前記隣接露光ラインとの間で、露光時間において、重なりがなく、かつ、所定の空き時間を有してもよい。
 また、前記情報通信方法は、さらに、前記イメージセンサの各露光ラインの露光を順次異なる時刻で開始し、かつ、前記各露光ラインの露光時間が、隣接する前記隣接露光ラインとの間で、部分的に時間的な重なりを持つように、前記イメージセンサの第2の露光時間を設定する第2の露光時間設定ステップと、前記第2の露光時間で撮影を行うことにより通常画像を取得する第2の画像取得ステップと、を有し、前記第1の画像取得ステップは、前記第1の露光時間を、前記第2の露光時間よりも短く、かつ、1/480秒以下に設定することにより、前記複数の輝線を画像に発生させてもよい。
 また、前記第1の画像取得ステップと前記第2の画像取得ステップとでは、同一の読み出し方法で前記イメージセンサからデータを読み出してもよい。
 また、前記露光ラインの第1の露光時間は、輝度変化する前記被写体が所定の輝度値を維持する発光時間のうち、最も短い発光時間よりも短くてもよい。
 また、前記露光ラインの第1の露光時間は、前記被写体の輝度が最大値から最小値へ変化するまでの推移時間よりも長くてもよい。
 また、前記露光ラインの第1の露光時間は、前記被写体の輝度変化における高周波ノイズの1周期の時間よりも長くてもよい。
 (実施の形態21)
 本実施の形態では、上記各実施の形態におけるスマートフォンなどの受信機と、LEDや有機ELの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
 図547は、実施の形態21における送信機と受信機の適用例を示す図である。
 ロボット8970は、例えば自走式の掃除機としての機能と、上記各実施の形態における受信機としての機能とを有する。照明機器8971a,8971bは、それぞれ上記各実施の形態における送信機としての機能を有する。
 例えば、ロボット8970は、室内を移動しながら、掃除を行うとともに、その室内を照らす照明機器8971aを撮影する。この照明機器8971aは、輝度変化することによって照明機器8971aのIDを送信している。その結果、ロボット8970は、上記各実施の形態と同様に、照明機器8971aからそのIDを受信し、そのIDに基づいて自らの位置(自己位置)を推定する。つまり、ロボット8970は、9軸センサによる検出結果と、撮影によって得られる画像に映る照明機器8971aの相対位置と、IDによって特定される照明機器8971aの絶対位置とに基づいて、移動しながら自己位置を推定している。
 さらに、ロボット8970は、移動することによって照明機器8971aから離れると、照明機器8971aに対して消灯を命令する信号(消灯命令)を送信する。例えば、ロボット8970は、予め定められた距離だけ照明機器8971aから離れると、消灯命令を送信する。または、ロボット8970は、撮影によって得られる画像にその照明機器8971aが映らなくなったときに、あるいは、その画像に他の照明機器が映ると、消灯命令を照明機器8971aに送信する。照明機器8971aは、消灯命令をロボット8970から受信すると、その消灯命令に応じて消灯する。
 次に、ロボット8970は、移動して掃除を行っている途中で、推定された自己位置に基づいて、照明機器8971bに近づいたことを検知する。つまり、ロボット8970は、照明機器8971bの位置を示す情報を保持しており、自己位置とその照明機器8971bの位置との間の距離が予め定められた距離以下になったときに、照明機器8971bに近づいたことを検知する。そして、ロボット8970は、その照明機器8971bに対して点灯を命令する信号(点灯命令)を送信する。照明機器8971bは、点灯命令を受けると、その点灯命令に応じて点灯する。
 これにより、ロボット8970は、移動しながら自らの周りだけを明るくして、掃除を容易に行うことができる。
 図548は、実施の形態21における送信機の適用例を示す図である。
 例えば、図548の(a)に示すように、ディスプレイには、複数の発光領域A~Fが並べて表示され、その発光領域A~Fがそれぞれ輝度変化するこによって信号を送信する。ここで、図548の(a)に示す例では、発光領域A~Fはそれぞれ矩形状であり、水平方向および垂直方向に沿って配列されている。このような場合、輝度変化しない非輝度変化領域が、ディスプレイの水平方向に沿って、発光領域A,B,Cと、発光領域D,E,Fとの間を通ってそのディスプレイを横断している。さらに、輝度変化しない他の非輝度変化領域が、ディスプレイの垂直方向に沿って、発光領域A,Dと、発光領域B,Eとの間を通ってそのディスプレイを横断している。さらに、輝度変化しない他の非輝度変化領域が、ディスプレイの垂直方向に沿って、発光領域B,Eと、発光領域C,Fとの間を通ってそのディスプレイを横断している。
 したがって、上記各実施の形態における受信機が、受信機の露光ラインを水平方向に向けた状態でそのディスプレイを撮影すると、その撮影によって得られる画像(撮影画像)の、水平方向に沿う非輝度変化領域に対応する部分には、輝線が表れない。つまり、その撮影画像では、輝線が表れている領域(輝線領域)が不連続になってしまう。また、受信機が、その露光ラインを垂直方向に向けた状態でそのディスプレイを撮影すると、撮影画像における、垂直方向に沿う2つの非輝度変化領域に対応する部分には、輝線が表れない。つまり、このときにも、その撮影画像では輝線領域が不連続になってしまう。このように輝線領域が不連続になってしまうと、輝度変化によって送信される信号を受信し難くなってしまう。
 そこで、本実施の形態におけるディスプレイ8972は、上記各実施の形態における送信機としての機能を有し、輝線領域が連続するように、複数の発光領域A~Fのそれぞれをずらして配置する。
 例えば、図548の(b)に示すように、ディスプレイ8972は、上段の発光領域A,B,Cと、下段の発光領域D,E,Fとを互いに水平方向にずらして配置する。または、図548の(c)に示すように、ディスプレイ8972は、それぞれ平行四辺形あるいは菱形の発光領域A~Fを表示する。これにより、ディスプレイ8972の垂直方向に沿って、発光領域A~Fの間を通ってディスプレイ8972を横断する非輝度変化領域をなくすることができる。その結果、受信機が、その露光ラインを垂直方向に向けた状態でディスプレイ8972を撮影しても、撮影画像において、輝線領域を連続させることができる。
 さらに、図548の(d)および(e)に示すように、ディスプレイ8972は、発光領域A~Fのそれぞれを垂直方向にずらして配置してもよい。これにより、ディスプレイ8972の水平方向に沿って、発光領域A~Fの間を通ってディスプレイ8972を横断する非輝度変化領域もなくすることができる。その結果、受信機が、その露光ラインを水平方向に向けた状態でディスプレイ8972を撮影しても、撮影画像において、輝線領域を連続させることができる。
 また、図548の(f)に示すように、ディスプレイ8972は、それぞれ六角形の発光領域A~Fを、それぞれの領域の辺が互いに平行になるように表示してもよい。このような場合にも、上述と同様に、ディスプレイ8972の水平方向および垂直方向に沿って、発光領域A~Fの間を通ってディスプレイ8972を横断する非輝度変化領域をなくすることができる。その結果、受信機が、その露光ラインを水平方向に向けた状態でディスプレイ8972を撮影しても、その露光ラインを垂直方向に向けた状態でディスプレイ8972を撮影しても、撮影画像において、輝線領域を連続させることができる。
 図549Aは、実施の形態21における送信機および受信機の適用例を示す図である。
 受信機8973は、上記各実施の形態における受信機としての機能を有するスマートフォントして構成されている。この受信機8973は、図549Aの(a)に示すように、ディスプレイ8972を撮影し、撮影画像に表れる輝線を読み取ろうとする。ここで、ディスプレイ8972が暗い場合には、受信機8973は、その輝線を読み取れず、ディスプレイ8972からの信号を受信することができないことがある。このとき、受信機8973は、図549Aの(b)に示すように、予め定められたリズムでフラッシュを放つ。ディスプレイ8972は、そのフラッシュを受けると、図549Aの(c)に示すように、輝度を上げて明るい表示を行う。その結果、受信機8973は、撮影画像に表れる輝線を読み取ることができ、ディスプレイ8972からの信号を受信することができる。
 図549Bは、実施の形態21における受信機8973の動作を示すフローチャートである。
 受信機8973は、まず、受信開始のためのユーザによる操作またはジェスチャを受け付けたか否かを判定する(ステップS831)。ここで、受信機8973は、受け付けたと判定すると(ステップS831のY)、イメージセンサを用いた撮影による受信を開始する(ステップS832)。次に、受信機8973は、受信が完了することなう受信開始から所定の時間が経過したか否かを判定する(ステップS833)。ここで、受信機8973は、所定の時間が経過したと判定すると(ステップS833のY)、予め定められたリズムでフラッシュを点滅させ(ステップS834)、ステップS833からの処理を繰り返し実行する。なお、ステップS833の処理が繰り返される場合には、受信機8973は、受信が完了することなくフラッシュを点滅させてから所定の時間が経過したか否かを判定する。また、ステップS834では、受信機8973は、フラッシュを点滅させる代わりに、人間に聞こえ難い周波数の予め定められた音を発生したり、受信待ちであることを知らせるための信号をディスプレイ8972である送信機に送信してもよい。
 図550は、実施の形態21における送信機および受信機の適用例を示す図である。
 照明機器8974は、上記各実施の形態における送信機としての機能を有する。この照明機器8974は、輝度変化しながら例えば鉄道の駅にある路線掲示板8975を照らす。ユーザによってその路線掲示板8975に向けられた受信機8973は、その路線掲示板8975を撮影する。これにより、受信機8973は、その路線掲示板8975のIDを取得し、そのIDに関連付けられている情報であって、その路線掲示板8975に記載されている各路線についての詳細な情報を取得する。そして、受信機8973は、その詳細な情報を示す案内画像8973aを表示する。例えば、案内画像8973aは、路線掲示板8975に記載されている路線までの距離と、その路線に向かう方向と、その路線において次に電車が到着する時刻とを示す。
 ここで、受信機8973は、その案内画像8973aがユーザによってタッチされると、補足案内画像8973bを表示する。この補足案内画像8973bは、例えば、鉄道の時刻表、案内画像8973aによって示される路線とは異なる別の路線に関する情報、および、その駅に関する詳細な情報、のうちの何れかをユーザによる選択操作に応じて表示するための画像である。
 図551は、実施の形態21における送信機の適用例を示す図である。
 照明機器8976a~8976cはそれぞれ、上記各実施の形態における送信機としての機能を有し、店舗の看板8977を照らす。ここで、図551の(a)に示すように、照明機器8976a~8976cはそれぞれ、同期して輝度変化することによって同じIDを送信してもよい。また、図551の(b)に示すように、両端に配置された照明機器8976aと照明機器8976cだけが、同期して輝度変化することによって同じIDを送信し、それらの照明機器の間に配置された照明機器8976bは、輝度変化によってIDを送信することなく、看板8977を照らしてもよい。また、図551の(c)に示すように、その照明機器8976bがIDを送信しない状態において、両端に配置された照明機器8976aと照明機器8976cは、輝度変化することによって互いに異なるIDを送信してもよい。この場合には、照明機器8976aと照明機器8976cとの間にある照明機器8976bは、IDの送信のための輝度変化を行わないないため、照明機器8976aと照明機器8976cのそれぞれからの信号が混信してしまうことを防ぐことができる。なお、照明機器8976aによって送信されるIDと、照明機器8976cによって送信されるIDとは、互いに異なっていているが、これらのIDに対して同じ情報が関連付けられていてもよい。
 図552Aは、実施の形態21における送信機および受信機の適用例を示す図である。
 照明機器8978は、上記各実施の形態における送信機としての機能を有し、図552Aの(1)に示すように、常時、輝度変化することによって信号を送信している。
 本実施の形態における受信機は、その照明機器8978を撮影する。このとき、図552Aに示すように、受信機の撮影範囲8979には、照明機器8978と、その照明機器8978以外の部分とが含まれる。つまり、この撮影範囲8979における上側の範囲aと下側の範囲cのそれぞれには、照明機器8978以外の部分が含まれ、撮影範囲8979における中央の範囲bには、照明機器8978が含まれる。
 受信機は、図552Aの(2)および(3)に示すように、照明機器8978の撮影によって、照明機器8978の輝度変化によって生じる複数の輝線を含む撮影画像(輝線画像)を取得する。この輝線画像において、上述の上側の範囲aおよび下側の範囲cに対応する部分には輝線が表れず、中央の範囲bに対応する部分にのみ輝線が表れる。
 ここで、受信機が例えば30fpsのフレームレートで照明機器8978を撮影する場合には、図552Aの(2)に示すように、輝線画像における輝線領域の長さbは短く、受信機が例えば15fpsのフレームレートで照明機器8978を撮影する場合には、図552の(3)に示すように、輝線画像における輝線領域の長さbは長い。なお、輝線領域(輝線のパターン)の長さは、その輝線領域に含まれる各輝線に垂直な方向の長さである。
 したがって、本実施の形態における受信機は、例えば30fpsのフレームレートで照明機器8978を撮影し、輝線画像における輝線領域の長さbが予め定められた長さ未満であるか否かを判定する。予め定められた長さは、例えば、照明機器8978の輝度変化によって送信される信号の1ブロック分に相当する長さである。そして、受信機は、予め定められた長さ未満であると判定すると、そのフレームレートを例えば15fpsに変更する。これにより、受信機は、1ブロック分の信号を照明機器8978からまとめて受信することができる。
 図552Bは、実施の形態21における受信機の動作を示すフローチャートである。
 受信機は、まず、撮影画像に輝線が含まれているか、つまり、露光ラインによる縞が撮影されているか否かを判定する(ステップS841)。ここで、受信機は、撮影されていると判定すると(ステップS841のY)、どの撮像モード(撮影モード)に設定されているかを判断する(ステップS842)。受信機は、撮像モードが中間撮像モード(中間モード)または通常撮像モード(通常撮影モード)であると判断すると、その撮像モードを可視光撮像モード(可視光通信モード)に変更する(ステップS843)。
 次に、受信機は、輝線領域(輝線のパターン)における輝線に垂直な方向の長さが所定の長さ以上であるか否かを判定する(ステップS844)。つまり、受信機は、露光ラインに垂直な方向に所定の大きさ以上の縞の領域があるか否かを判定する。ここで、所定の長さ以上ではないと判定すると(ステップS844のN)、受信機は、光学ズームが利用可能か否かを判定する(ステップS845)。ここで、光学ズームが利用可能であると判定すると(ステップS845のY)、受信機は、輝線領域が長くなるように、つまり、縞の領域が拡大するように、光学ズームを行う(ステップS846)。一方、光学ズームが利用できないと判定すると(ステップS845のN)、受信機は、Exズーム(Ex光学ズーム)が利用可能か否かを判定する(ステップS847)。ここで、Exズームが利用可能であると判定すると(ステップS847のY)、輝線領域が長くなるように、つまり、縞の領域が拡大するように、Exズームを行う(ステップS848)。一方、Exズームが利用できないと判定すると(ステップS847のN)、受信機は、撮像フレームレートを低くする(ステップS849)。そして、受信機は、設定されたフレームレートで照明機器8978を撮影することによって、信号を受信する(ステップS850)。
 なお、図552Bに示す例では、光学ズームおよびExズームが利用できない場合にフレームレートを落としていが、それらのズームが利用できる場合に、フレームレートを落としてもよい。また、Exズームとは、イメージセンサの使用領域を限定し、撮影画角をせばめ、見かけ上の焦点距離を望遠にする機能である。
 図553は、実施の形態21における受信機の動作を示す図である。
 受信機は、撮影画像8980aに送信機である照明機器8978が小さく映っている場合には、光学ズームまたはExズームを用いることによって、照明機器8978が大きく映し出された撮影画像8980bを取得することができる。つまり、受信機は、光学ズームまたはExズームを用いることによって、輝線に垂直な方向に長い輝線領域を有する輝線画像(撮影画像)を取得することができる。
 図554は、実施の形態21における送信機の適用例を示す図である。
 送信機8981は、上記各実施の形態における送信機としての機能を有し、例えば、操作パネル8982と通信する。操作パネル8982は、送信スイッチ8982aと電源スイッチ8982bとを備えている。
 送信スイッチ8982aがオンにされると、操作パネル8982は、可視光通信を行うように送信機8981に指示する。送信機8981は、その指示を受け付けると、輝度変化することによって信号を送信する。また、送信スイッチ8982aがオフにされると、操作パネル8982は、可視光通信を停止するように送信機8981に指示する。送信機8981は、その指示を受け付けると、輝度変化を行わず、信号の送信を停止する。
 電源スイッチ8982bがオンにされると、操作パネル8982は、送信機8981の電源をオンにするように送信機8981に指示する。送信機8981は、その指示を受け付けると、自らの電源をオンにする。例えば、送信機8981が照明機器として構成されている場合には、送信機8981は電源オンによって周辺を照らし、送信機8981がテレビとして構成されている場合には、送信機8981は電源オンによって映像などを表示する。また、電源スイッチ8982bがオフにされると、操作パネル8982は、送信機8981の電源をオフするように送信機8981に指示する。送信機8981は、その指示を受け付けると、自らの電源をオフにして待機状態になる。
 図555は、実施の形態21における受信機の適用例を示す図である。
 スマートフォンとして構成される受信機8973は、例えば上記各実施の形態における送信機としての機能を有し、サーバ8983から認証IDおよび有効期限を取得する。受信機8973は、現時点がその有効期限内であれば、例えばディスプレイを輝度変化させることによって、その認証IDを周辺機器8984に送信する。周辺機器8984は、例えばカメラ、バーコードリーダまたはパーソナルコンピュータである。
 周辺機器8984は、受信機8973からその認証IDを受信すると、その認証IDをサーバ8983に送信して照合を依頼する。サーバ8983は、周辺機器8984から送信された認証IDと、自らが保持し、受信機8973へ送信された認証IDとを照合し、一致すれば、一致したことを周辺機器8984に通知する。周辺機器8984は、一致したという通知をサーバ8983から受けると、自らに設定されているロックを解除したり、電子決済の支払い処理を行ったり、ログインなどの処理を行う。
 図556Aは、実施の形態21における送信機の動作の一例を示すフローチャートである。
 本実施の形態における送信機は、上記各実施の形態における送信機としての機能を有し、例えば照明機器またはディスプレイとして構成されている。このような送信機は、例えば、調光レベル(明るさのレベル)が所定のレベルよりも下回っているか否かを判定する(ステップS861a)。ここで、送信機は、所定のレベルよりも下回っていると判定すると(ステップS861aのY)、輝度変化によって信号を送信することを停止する(ステップS861b)。
 図556Bは、実施の形態21における送信機の動作の一例を示すフローチャートである。
 本実施の形態における送信機は、調光レベル(明るさのレベル)が所定のレベルを上回っているか否かを判定する(ステップS862a)。ここで、送信機は、所定のレベルを上回っていると判定すると(ステップS862aのY)、輝度変化によって信号を送信することを開始する(ステップS862b)。
 図557は、本実施の形態における送信機の動作の一例を示すフローチャートである。
 本実施の形態における送信機は、所定のモードが選択されているか否かを判定する(ステップS863a)。例えば、所定のモードは、エコモードまたは省電力モードなどである。ここで、送信機は、所定のモードが選択されていると判定すると(ステップS863aのY)、輝度変化によって信号を送信することを停止する(ステップS863b)。一方、送信機は、所定のモードが選択されていないと判定すると(ステップS863aのN)、輝度変化によって信号を送信することを開始する(ステップS863c)。
 図558は、実施の形態21における撮像機器の動作の一例を示すフローチャートである。
 本実施の形態における撮像機器は、例えばビデオカメラであって、録画中であるか否かを判定する(ステップS864a)。ここで、撮像機器は、録画中であると判定すると(ステップS864aのY)、輝度変化によって信号を送信する送信機に対して、可視光送信停止命令を送信する(ステップS864b)。この可視光送信停止命令を受けた送信機は、輝度変化による信号の送信(可視光送信)を停止する。一方、撮像機器は、録画中でないと判定すると(ステップS864aのN)、さらに、録画を停止したか否か、つまり、録画の直後であるか否かを判定する(ステップS864c)。ここで、撮像機器は、録画を停止したと判定すると(ステップS864cのY)、上述の送信機に対して、可視光送信開始命令を送信する(ステップS864d)。この可視光送信開始命令を受けた送信機は、輝度変化による信号の送信(可視光送信)を開始する。
 図559は、実施の形態21における撮像機器の動作の一例を示すフローチャートである。
 本実施の形態における撮像機器は、例えばデジタルスチルカメラであって、撮像ボタン(シャッターボタン)が半押しされているか否か、または、ピント合わせが行われているか否かを判定する(ステップS865a)。次に、撮像機器は、その撮像機器に備えられているイメージセンサの露光ラインに沿う方向に濃淡が現れているか否かを判定する(ステップS865b)。ここで、濃淡が表れていると判定されると(ステップS865bのY)、輝度変化によって信号を送信している送信機が撮像機器の近くにある可能性がある。そこで、撮像機器は、その送信機に対して、可視光送信停止命令を送信する(ステップS865c)。次に、撮像機器は、撮像を行うことによって撮影画像を取得する(ステップS865d)。そして、撮像機器は、上述の送信機に対して、可視光送信開始命令を送信する(ステップS865e)。これにより、撮像機器は、送信機による輝度変化の影響を受けることなく撮影画像を取得することができる。また、輝度変化による信号の送信が停止されている期間は、撮像機器によって撮像が行われている極わずかな期間に限られるため、可視光通信ができない期間を抑えることができる。
 図560は、実施の形態21における送信機によって送信される信号の一例を示す図である。
 本実施の形態における送信機は、上記各実施の形態における送信機としての機能を有し、スロットごとに高い輝度の光(Hi)または低い輝度の光(Lo)を出力ことによって、信号を送信する。具体的には、スロットは104.2μsの時間単位である。また、送信機は、Hiを出力することによって、1を示す信号を送信し、Loを出力することによって、0を示す信号を送信する。
 図561は、実施の形態21における送信機によって送信される信号の一例を示す図である。
 上述の送信機は、スロットごとにHiまたはLoを出力することによって、信号単位であるPHY(physical layer)フレームを順次送信する。PHYフレームは、8スロットからなるプリアンブルと、2スロットからなるFCS(Frame Check Sequence)と、20スロットからなるボディとを含む。なお、PHYフレームに含まれる各部分は、プリアンブル、FCS、ボディの順に送信される。
 プリアンブルは、PHYフレームのヘッダに相当し、例えば「01010111」を含む。なお、プリアンブルは、7スロットから構成されていてもよい。この場合、プリアンブルは「0101011」を含む。FCSは、ボディに含まれる1の数が偶数の場合には「01」を含み、ボディに含まれる1の数が奇数の場合には「11」を含む。ボディは、4スロットからなるシンボルを5つ含む。シンボルは、4PPM変調の場合、「0111」、「1011」、「1101」、または「1110」を含む。
 図562は、実施の形態21における送信機によって送信される信号の一例を示す図である。
 上述のシンボルは受信機によって2ビットの値に変換される。例えば、シンボル「0111」、「1011」、「1101」および「1110」は、それぞれ「00」、「01」、「10」および「11」に変換される。したがって、PHYフレームのボディ(20スロット)は、10ビットの信号に変換される。この10ビットのボディは、PHYフレームの種別を示す3ビットからなるTYPEと、PHYフレームまたはボディのアドレスを示す2ビットからなるADDRと、データの実体を示す5ビットからなるDATAとを含む。例えば、PHYフレームの種別がTYPE1の場合には、TYPEは「000」を示す。ADDRは、「00」、「01」、「10」または「11」を示す。
 受信機では、4つのPHYフレームのそれぞれのボディに含まれるDATAが結合される。この結合に、上述ADDRが利用される。つまり、受信機は、ADDR「00」を有するPHYフレームのボディに含まれるDATAと、ADDR「01」を有するPHYフレームのボディに含まれるDATAと、ADDR「10」を有するPHYフレームのボディに含まれるDATAと、ADDR「11」を有するPHYフレームのボディに含まれるDATAとを結合することによって、20ビットからなるデータを生成する。これにより、4つのPHYフレームがデコードされる。この生成されたデータは、16ビットからなる有効DATAと、4ビットからなるCRC(Cyclic Redundancy Check)とを含む。
 図563は、実施の形態21における送信機によって送信される信号の一例を示す図である。
 上述のPHYフレームの種別には、TYPE1、TYPE2、TYPE3およびTYPE4がある。これらの種別ごとに、ボディの長さ、ADDRの長さ、DATAの長さ、連結されるDATAの数(連結数)、有効DATAの長さ、およびCRCの種別が異なる。
 例えば、TYPE1の場合には、TYPE(TYPEBIT)は「000」を示し、ボディの長さは20スロットであり、ADDRの長さは2ビットであり、DATAの長さは5ビットであり、連結数は4個であり、有効DATAの長さは16ビットであり、CRCの種別はCRC-4である。一方、TYPE2の場合には、TYPE(TYPEBIT)は「001」を示し、ボディの長さは24スロットであり、ADDRの長さは4ビットであり、DATAの長さは5ビットであり、連結数は8個であり、有効DATAの長さは32ビットであり、CRCの種別はCRC-8である。
 このような図560~図563に示す信号によって、適切に可視光通信を行うことができる。
 図564は、実施の形態21における送信機と受信機とを含むシステム構成の一例を示す図である。
 本実施の形態におけるシステムは、上記各実施の形態における送信機と同様の機能を有する送信機8991と、例えばスマートフォントして構成される受信機8973と、コンテンツ共有サーバ8992と、ID管理サーバ8993とを備える。
 例えば、コンテンツクリエイターは、商品を紹介するための静止画または動画を示すオーディオビデオデータなどのコンテンツと、その商品についてのメーカ、産地、原料または仕様などを示す商品情報とをコンテンツ共有サーバ8992にアップロードする。そして、コンテンツ共有サーバ8992は、そのコンテンツを識別するためのコンテンツIDに関連付けて商品情報をID管理サーバ8993に登録する。
 次に、送信機8991は、ユーザによる操作に応じて、コンテンツ共有サーバ8992からコンテンツとコンテンツIDとをダウンロードし、コンテンツを表示するとともに、輝度変化することによって、つまり可視光通信によって、コンテンツIDを送信する。ユーザは、そのコンテンツを視聴し、そのコンテンツで紹介される商品に興味がある場合には、受信機8973を送信機8991に向けて撮影を行う。受信機8973は、送信機8991に表示されているコンテンツを撮影することによって、コンテンツIDを受信する。
 次に、受信機8973は、ID管理サーバ8993にアクセスし、そのコンテンツIDについての問い合わせをID管理サーバ8993に行う。これにより、受信機8973は、ID管理サーバ8993から、そのコンテンツIDに関連付けられている商品情報を取得し、その商品情報を表示する。ここで、受信機8973は、その商品情報に対応する商品の購入を促す操作を受け付けると、その商品のメーカにアクセスして商品を購入するための処理を実行する。
 次に、ID管理サーバは、コンテンツIDに対して行われた問い合わせの数、またはアクセスの数などを示す問い合わせ情報を、そのコンテンツIDに関連付けられている商品情報によって示されるメーカに通知する。メーカは、問い合わせ情報を受けると、その問い合わせ情報によって示される問い合わせの数などに応じたアフィリエイト報奨金を、コンテンツIDによって特定されるコンテンツクリエイターに、ID管理サーバ8993およびコンテンツ共有サーバ8992を介して電子決済によって支払う。
 図565は、実施の形態21における送信機と受信機とを含むシステム構成の一例を示す図である。
 図564に示す例の場合には、コンテンツ共有サーバ8992は、コンテンツと商品情報のアップロードが行われると、コンテンツIDに関連付けて商品情報をID管理サーバ8993に登録したが、このような登録を行わなくてもよい。例えば、図565に示すように、コンテンツ共有サーバ8992は、アップロードされた商品情報の商品を識別するための商品IDをID管理サーバから検索し、その商品IDをアップロードされたコンテンツに埋め込む。
 次に、送信機8991は、ユーザによる操作に応じて、コンテンツ共有サーバ8992から、商品IDが埋め込まれたコンテンツとコンテンツIDをダウンロードし、コンテンツを表示するとともに、輝度変化することによって、つまり可視光通信によって、コンテンツIDおよび商品IDを送信する。ユーザは、そのコンテンツを視聴し、そのコンテンツで紹介される商品に興味がある場合には、受信機8973を送信機8991に向けて撮影を行う。受信機8973は、送信機8991に表示されているコンテンツを撮影することによって、コンテンツIDおよび商品IDを受信する。
 次に、受信機8973は、ID管理サーバ8993にアクセスし、そのコンテンツIDおよび商品IDについての問い合わせをID管理サーバ8993に行う。これにより、受信機8973は、ID管理サーバ8993から、その商品IDに関連付けられている商品情報を取得し、その商品情報を表示する。ここで、受信機8973は、その商品情報に対応する商品の購入を促す操作を受け付けると、その商品のメーカにアクセスして商品を購入するための処理を実行する。
 次に、ID管理サーバは、コンテンツIDおよび商品IDに対して行われた問い合わせの数、またはアクセスの数などを示す問い合わせ情報を、その商品IDに関連付けられている商品情報によって示されるメーカに通知する。メーカは、問い合わせ情報を受けると、その問い合わせ情報によって示される問い合わせの数などに応じたアフィリエイト報奨金を、コンテンツIDによって特定されるコンテンツクリエイターに、ID管理サーバ8993およびコンテンツ共有サーバ8992を介して電子決済によって支払う。
 図566は、実施の形態21における送信機と受信機とを含むシステム構成の一例を示す図である。
 本実施の形態におけるシステムは、図565に示すコンテンツ共有サーバ8992の代わりにコンテンツ共有サーバ8992aを備え、さらに、SNSサーバ8994を備える。このSNSサーバ8994は、ソーシャル・ネットワーキング・サービスを行うサーバであって、図565に示すコンテンツ共有サーバ8992によって行われる処理の一部を行う。
 具体的には、SNSサーバ8994は、コンテンツクリエイターからアップロードされたコンテンツと商品情報とを取得し、その商品情報に対応する商品IDの検索を行い、そのコンテンツに商品IDを埋め込む。そして、SNSサーバ8994は、その商品IDが埋め込まれたコンテンツをコンテンツ共有サーバ8992aに転送する。コンテンツ共有サーバ8992aは、SNSサーバ8994から転送されたコンテンツを受け取り、その商品IDが埋め込まれたコンテンツとコンテンツIDとを送信機8991に送信する。
 つまり、図566に示す例では、SNSサーバ8994とコンテンツ共有サーバ8992aとを含むユニットが、図565に示すコンテンツ共有サーバ8992としての役割を果たす。
 このような図564~図566に示すシステムでは、可視光通信を用いて問い合わせが行われた広告(コンテンツ)に対して、適切なアフィリエイト報奨金を適切に支払うことができる。
 以上、一つまたは複数の態様に係る情報通信方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
 図567Aは、本発明の一態様に係る情報通信方法のフローチャートである。
 本発明の一態様に係る情報通信方法は、輝度変化によって信号を送信する情報通信方法であって、ステップSK11およびSK12を含む。
 つまり、この情報通信方法は、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定ステップSK11と、決定された輝度変化のパターンにしたがって複数の発光体が輝度変化することによって、前記送信対象の信号を送信する送信ステップSK12とを含む。そして、前記複数の発光体が配置された面において、前記複数の発光体の外にあって輝度変化しない非輝度変化領域が、前記面の垂直方向および水平方向のうちの少なくとも一方に沿って前記複数の発光体の間を通って前記面を横断することがないように、前記複数の発光体が前記面上に配置されている。
 図542Bは、本発明の一態様に係る情報通信装置のブロック図である。
 本発明の一態様に係る情報通信装置K10は、輝度変化によって信号を送信する情報通信装置であって、構成要素K11およびK12を備える。
 つまり、この情報通信装置K10は、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定部K11と、決定された輝度変化のパターンにしたがって複数の発光体が輝度変化することによって、前記送信対象の信号を送信する送信部K12とを備える。そして、前記複数の発光体が配置された面において、前記複数の発光体の外にあって輝度変化しない非輝度変化領域が、前記面の垂直方向および水平方向のうちの少なくとも一方に沿って前記複数の発光体の間を通って前記面を横断することがないように、前記複数の発光体が前記面上に配置されている。
 このような図567Aおよび図567Bによって示される情報通信方法および情報通信装置K10では、例えば図548に示すように、受信機に備えられたイメージセンサによる上述の面(ディスプレイ)の撮影によって取得される撮影画像において、輝線領域を連続させることができる。その結果、送信対象の信号を受信し易くすることができ、演算力が少ないような機器を含む多様な機器間で通信を行うことができる。
 なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。例えばプログラムは、図567Aのフローチャートによって示される情報通信方法をコンピュータに実行させる。
 図568Aは、本発明の一態様に係る情報通信方法のフローチャートである。
 本発明の一態様に係る情報通信方法は、被写体から情報を取得する情報通信方法であって、ステップSK21~SK24を含む。
 つまり、この情報通信方法は、イメージセンサによる前記被写体である第1の被写体の撮影によって得られる画像に、前記イメージセンサに含まれる各露光ラインに対応する複数の輝線が前記第1の被写体の輝度変化に応じて生じるように、前記イメージセンサの第1の露光時間を設定する第1の露光時間設定ステップSK21と、前記イメージセンサが、輝度変化する前記第1の被写体を、設定された前記第1の露光時間で撮影することによって、前記複数の輝線を含む画像である第1の輝線画像を取得する第1の輝線画像取得ステップSK22と、取得された前記第1の輝線画像に含まれる前記複数の輝線のパターンによって特定されるデータを復調することにより第1の送信情報を取得する第1の情報取得ステップSK23と、前記第1の送信情報が取得された後に、制御信号を送信することによって、扉の開閉駆動機器に対して前記扉を開かせる扉制御ステップSK24とを含む。
 図568Bは、本発明の一態様に係る情報通信装置のブロック図である。
 本発明の一態様に係る情報通信装置K20は、輝度変化によって信号を送信する情報通信装置であって、構成要素K21~K24を備える。
 つまり、この情報通信装置K20は、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる各露光ラインに対応する複数の輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定部K21と、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記複数の輝線を含む画像である輝線画像を取得する前記イメージセンサを有する輝線画像取得部K22と、取得された前記輝線画像に含まれる前記複数の輝線のパターンによって特定されるデータを復調することにより送信情報を取得する情報取得部K23と、前記送信情報が取得された後に、制御信号を送信することによって、扉の開閉駆動機器に対して前記扉を開かせる扉制御部K24とを備える。
 このような図568Aおよび図568Bによって示される情報通信方法および情報通信装置K20では、例えば図532に示すように、イメージセンサを備えた受信機を扉の鍵のように用いることができ、特別な電子錠を不要にすることができる。その結果、演算力が少ないような機器を含む多様な機器間で通信を行うことができる。
 なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。例えばプログラムは、図568Aのフローチャートによって示される情報通信方法をコンピュータに実行させる。
 以下、本実施の形態について補足する。
 (混合変調方式)
 図569と図570は、実施の形態21における送信機の動作の一例を示す図である。
 図569のように、送信機は、送信信号を複数の変調方式で変調し、変調された信号を交互に、または、同時に送信する。
 同じ信号を複数の変調方式で変調して送信することで、いずれかの変調方式にしか対応していない受信機でも受信することができる。また、例えば、伝送速度が速い変調方式やノイズに強い変調方式や通信距離が長い変調方式を併用することで、受信側の環境に合わせて最適な方法で受信を行うことが出来る。
 受信機が複数の変調方式の受信に対応している場合は、受信機は複数の方法で変調された信号を受信する。送信機は、同一の信号を変調する場合は同一の信号IDを付与して変調信号を送信する。これにより、受信機は、信号IDを確認することで、同じ信号が異なる変調方式で変調されていることを認識することができ、復習の種類の変調信号から同じ信号IDを持つ信号を合成することで、速く正確に信号を受信することができる。
 図570のように、送信機は、複数の変調方式で変調された信号を合わせて送信する。図570の例では、受信機は、露光時間を長く設定することで、低い周波数を用いた周波数変調方式で変調された信号のみを受信できる。また、受信機は、露光時間を短く設定することで、高い周波数帯を用いたパルス位置変調方式を受信することができる。このとき、受信機は、輝線に垂直な方向に輝度の平均をとることで、受光した光の強さを時間的に平均化することになり、露光時間が長い場合の信号を得ることが出来る。
 (送信信号の検証とデジタル変調)
 図571と図572は、実施の形態21における送信機の動作の一例を示す図である。
 図571において、信号記憶部は、送信信号と、後述する検証鍵を用いて送信信号を変換した信号変換値を記憶する。この変換には一方向関数を用いる。原鍵記憶部は、例えば抵抗値や時定数等の回路定数等として鍵の元となる値である原鍵を記憶する。鍵生成部は、原鍵から検証鍵を生成する。
 信号検証部は、検証鍵を用いて信号記憶部に記憶された送信信号を変換することで、信号変換値を得る。ここで得られた信号変換値と、信号記憶部に記憶された信号変換値が等しいかどうかによって、信号に改ざんがないかどうかを検証する。これにより、単純に信号記憶部の信号を他の送信機にコピーしただけでは、他の送信機では検証鍵が異なるため、信号を送信することができず、送信機の偽造防止を行うことが出来る。
 信号に改ざんがあった場合には、異常報知部は、その旨を表示する。その方法としては、例えば、人間に視認できる周期で発光部を点滅させる、音を鳴らす、といった方法がある。異常報知を電源投入直後の所定の時間だけに限ることで、信号に異常があった場合でも、送信機を送信以外の用途に使用することができる。
 信号に改ざんがなかった場合には、信号変調部は、信号を発光パターンへ変調する。この変調方式には、様々な変調方式を使うことが出来る。ここで用いることができる変調方式には、例えば、振幅偏移変調(ASK)、位相偏移変調(PSK)、周波数偏移変調(FSK)、直角位相振幅変調(QAM)、デルタ変調(DM)、最小偏位変調(MSK)、相補型符号変調(CCK)、直交周波数分割多重方式(OFDM)、振幅変調(AM)、周波数変調(FM)、位相変調(PM)、パルス幅変調(PWM)、パルス振幅変調(PAM)、パルス密度変調(PDM)、パルス位置変調(PPM)、パルス符号変調(PCM)、周波数ホッピングスペクトラム拡散(FHSS)、直接シーケンススペクトラム拡散(DSSS)等があり、送信信号の性質(アナログかデジタルか。連続データ送信かどうか等)や要求される性質(伝送速度や耐ノイズ性や伝送距離)に合わせて選択する。さらに、これらを組み合わせた変調方式を用いることができる。
 なお、実施の形態1から21は、ここで述べた変調方式で変調した信号を用いた場合でも同様の効果が得られる。
 図572において、信号記憶部は、鍵生成部で生成する復号鍵とペアとなる暗号鍵を用いて送信信号を暗号化した、暗号化送信信号を保持する。信号復調部では、復号鍵を用いて暗号化送信信号を復号する。この構成により、送信機の偽造、すなわち、任意の信号を送信する送信機の作成を困難にすることができる。
(複数の受光部による複数の方向からの信号の受信)
 図573は、実施の形態21における受信機の一例を示す図である。
 例えば腕時計として構成される受信機9020aは、複数の受光部を備える。例えば、時刻を確認するときのように胸の前に受信機9020aを構えた時に、上方向からの光を受光できるように受光部9020bを配置することで、天井照明からの信号を受信できる。また、例えば、時刻を確認するときのように胸の前に受信機9020aを構えた時に、正面方向からの光を受光できるように受光部9020cを配置することで、正面にあるサイネージ等からの信号を受信することが出来る。
 これらの受光部は指向性を持たせることで、近い位置に複数の送信機がある場合でも混信することなく信号を受信することができる。
 (複数の受光部による複数の方向からの信号の受信)
 図574は、実施の形態21における受信機の一例を示す図である。
 指向性を持った受光素子を複数配置することで、受信した信号の方向を推定することができる。受光素子の手前に、9021aのように光を導くプリズムを配置することで、少ない数の受光素子でも、送信機の細かい方向を推定することができる。例えば、受光部9021dのみが受光した場合は、プリズム9021aの方向に送信機があると推定でき、受光部9021dと受光部9021eが同一の信号を受信した場合は、プリズム9021bの方向に送信機があると推定できる。なお、指向性やプリズムのところには風防ガラスに仕込む。
 (腕時計型受信機とスマートフォンの連携)
 図575は、実施の形態21における受信システムの一例を示す図である。
 例えば腕時計として構成される受信機9022bは、Bluetooth等の無線通信を介してスマートフォン9022aやメガネ型ディスプレイ9022cと接続される。受信機9022bは、信号を受信した場合や、信号が存在することが確認できた場合には、ディスプレイ9022cへ表示する。受信機9022bは、受信した信号をスマートフォン9022aに伝える。スマートフォン9022aは、サーバ9022dから受信信号に紐付けられたデータを取得し、取得したデータをディスプレイ9022cへ表示する。
 (腕時計型ディスプレイによる道案内)
 図576は、実施の形態21における受信システムの一例を示す図である。
 例えば腕時計として構成される受信機9023bは、Bluetooth(登録商標)等の無線通信を介してスマートフォン9023aと接続される。受信機9023bは、文字盤が液晶等のディスプレイで構成されており、時刻以外の情報を表示することができる。受信機9023bが受信した信号からスマートフォン9022aは現在地を認識し、目的地までの経路や距離を受信機9023bの表示面に表示する。
 (周波数偏移変調と周波数多重変調)
 図577Aと図577Bは、実施の形態21における変調方式の一例を示す図である。
 (a)は、特定の信号を特定の変調周波数として表現する。受信側は、光パターンの周波数解析を行って支配的な変調周波数を求め、信号を復元する。
 (a’)のように、変調周波数を時間的に変化させることで、多くの値を表現することができる。一般的なイメージセンサの撮像フレームレートは30fpsであるため、一つの変調周波数を30分の1秒以上続けることで、確実に受信させることができる。また、(a’’)のように、周波数を変化させる際に、間に信号を重畳しない時間を設けることで、受信機が変調周波数の変化を認識しやすくすることができる。信号を重畳しない時間の光パターンは、明るさを一定にしたり、特定の変調周波数とすることで、信号重畳部分と区別することができる。ここで用いる特定の変調周波数として、30Hzの整数倍の周波数として定めると、差分画像にはあらわれにくく、受信処理の妨げになりにくい。信号を重畳しない時間の長さは、信号に使う光パターンの中でもっとも長い周期の信号と同じ長さ以上にすることで、受信が容易になる。例として、最も低い変調周波数の光パターンが100Hzであれば、100分の1秒以上とする。
 (b)は、特定のビットと特定の変調周波数を対応付け、対応するビットが1である変調周波数を重ねあわせた波形として光パターンを表現する。(a)の変調方式と比較して、高いCN比が必要となるが、より多くの値を表現することができる。
 (b’)に示すように、(a)と同様に変調周波数の重ねあわせを時間的に変化させることで、多くの値を表現することができる。
 高い変調周波数の信号は露光時間を短く設定しなければ受信できないが、ある程度の高さの変調周波数までは露光時間の設定なしに利用することができる。低い変調周波数から高い変調周波数までの周波数を用いて変調した信号を送信することで、全ての端末は低い変調周波数で表現された信号を受信することができ、露光時間を短く設定できる端末の場合は、高い変調周波数まで信号を受信することで、同一の送信機から、より多くの情報を速く受信することができる。
 周波数偏移変調方式や周波数多重変調方式は、パルス位置によって信号を表現するよりも低い変調周波数を使った場合でも人間の目にちらつきを感じさせないという効果があるため、多くの周波数帯域を用いることができる。
 なお、実施の形態1から21は、ここで述べた受信方式・変調方式で変調した信号を用いた場合でも同様の効果が得られる。
 (混合信号の分離)
 図577Cと図577Dは、実施の形態21における混合信号の分離の一例を示す図である。
 受信機は、(a)の機能を備える。受光部は光パターンを受光する。周波数解析部は、光パターンをフーリエ変換することで周波数領域に信号を写像する。ピーク検出部は、光パターンの周波数成分のピークを検出する。ピーク検出部でピークが検出されなかった場合は、以降の処理を中断する。ピーク時巻変化解析部は、ピーク周波数の時間変化を解析する。信号源特定部は、複数の周波数ピークが検出された場合に、同じ送信機から送信された信号の変調周波数がどの組み合わせであるのかを特定する。
 これにより、複数の送信機が近くに配置されている場合にも信号の混信を避けて受信を行うことができる。また、送信機からの光が床や壁や天井等から反射した光を受光する際は、複数の送信機からの光が混合されることが多いが、このような場合でも、信号の混信を避けて受信を行うことができる。
 例として、送信機Aの信号と送信機Bの信号が混じった光パターンを受信した場合、(b)のような周波数ピークが得られる。fA1が消えてfA2が現れるため、fA1とfA2は同じ送信機からの信号であることが特定できる。同様にして、fA1とfA2とfA3が同じ送信機からの信号であり、fB1とfB2とfB3が同じ送信機からの信号であることが特定できる。
 一つの送信機が変調周波数を変更する時間間隔を一定にすることで、同じ送信機からの信号を特定しやすくすることができる。
 複数の送信機の変調周波数が変化するタイミングが等しい時、上述の方法では同じ送信機からの信号を特定できない。そこで、送信機の変調周波数を変更する時間間隔を送信機の個体ごとに異ならせることで、複数の送信機の変調周波数が変化するタイミングが常に等しいという状況を避けることができ、同じ送信機からの信号を特定することができるようになる。
 (c)に示すように、送信機が変調周波数を変更してから次に変更するまでの時間を、現在の変調周波数と、変更前の変調周波数から求められる値とすることで、複数の送信機が同じタイミングで変調周波数を変化させた場合でも、いずれの変調周波数の信号が同じ送信機から送信されたかを特定できる。
 送信機が他の送信機の送信信号を認識し、変調周波数変化のタイミングが等しくならないように調整するとしてもよい。
 以上の方法は、一つの送信信号が一つの変調周波数で構成される周波数偏移変調の場合だけでなく、一つの送信信号が複数の変調周波数で構成される場合にも、同様の方法で同様の効果が得られる。
 (d1)に示すように、周波数多重変調方式で時間的に光パターンを変化させない場合は、同じ送信機からの信号を特定することができないが、(d2)に示すように、信号のない区間を含めたり、特定の変調周波数に変化させたりすることで、ピークの時間変化から、同じ送信機からの信号を特定することができるようになる。
 (可視光通信による照明を介した家電の操作)
 図578は、実施の形態21における可視光通信システムの一例を示す図である。
 例えば天井照明として構成される送信機は、Wi-FiやBluetooth(登録商標)等の無線通信機能を備える。送信機は、無線通信によって送信機に接続するための情報を可視光通信によって送信する。例えばスマートフォンとして構成される受信機Aは、受信した情報を基に、送信機と無線通信を行う。受信機Aは他の情報を用いて送信機と接続してもよく、その場合は受信機能を持たなくとも良い。受信機Bは、例えば電子レンジ等の電子機器として構成される。送信機は、ペアリングされた受信機Bの情報を受信機Aへ送信する。受信機Aは、操作可能な機器として受信機Bの情報を表示する。受信機Aは、受信機Bの操作命令を、無線通信を通じて送信機へ伝え、送信機は可視光通信を通じて操作命令を受信機Bへ伝える。これにより、ユーザは受信機Aを介して受信機Bを操作することができる。また、インターネット等を介して受信機Aと接続されている機器は、受信機Aを介して受信機Bを操作することができる。
 受信機Bが送信機能を備え、送信機が受信機能を備えることで、双方向通信を行うことができる。送信機能は発光による可視光として実現してもよいし、音による通信を行っても良い。例えば、送信機は集音部を備え、受信機Bの発する音を認識することで、受信機Bの状態を認識することができる。例えば、受信機Bの運転終了音を認識し、受信機Aに伝え、受信機Aは受信機Bの運転終了をディスプレイに表示することでユーザに通知することができる。
 受信機Aと受信機Bは、NFCを備える。受信機Aは、送信機からの信号を受信し、次に、NFCを介して受信機Bと通信を行い、直前に受信した信号を送信した送信機からの信号を受信機Bが受信可能であるということを、受信機Aと送信機に登録する。これを、送信機と受信機Bのペアリングと呼ぶ。受信機Aは、受信機Bが移動された場合等には、ペアリングの解除を送信機に登録する。受信機Bが別の送信機にペアリングされた場合には、新しくペアリングされた送信機は前にペアリングされていた送信機にその情報を伝え、前のペアリングを解除する。
 (干渉を排除した受信)
 図579は、実施の形態21における干渉を排除した受信方法を示すフローチャートである。
 まず、ステップ9001aでstartして、ステップ9001bで受光した光の強さに周期的な変化があるかどうかを確認して、YESの場合はステップ9001cへ進む。NOの場合はステップ9001dへ進み、受光部のレンズを広角にして広範囲の光を受光して、ステップ9001bへ戻る。ステップ9001cで信号を受信できるかどうかを確認して、YESの場合はステップ9001eへ進み、信号を受信して、ステップ9001gで終了する。NOの場合はステップ9001fへ進み、受光部のレンズを望遠にして狭い範囲の光を受光して、ステップ9001cへ戻る。
 この方法により、複数の送信機からの信号の干渉を排除しつつ、広い方向にある送信機からの信号を受信することができる。
 (送信機の方位の推定)
 図580は、実施の形態21における送信機の方位の推定方法を示すフローチャートである。
 まず、ステップ9002aでstartして、ステップ9002bで受光部のレンズを最大望遠にして、ステップ9002cで受光した光の強さに周期的な変化があるかどうかを確認して、YESの場合はステップ9002dへ進む。NOの場合はステップ9002eへ進み、受光部のレンズを広角にして広範囲の光を受光して、ステップ9002cへ戻る。ステップ9002dで信号を受信して、ステップ9002fで受光部のレンズを最大望遠とし、受光範囲の境界に沿うように受光方向を変化させ、受光強度が最大になる方向を検出し、送信機がその方向にあると推定して、ステップ9002dで終了する。
 この方法により、送信機が存在する方向を推定することができる。なお、最初に最大広角にして、次第に望遠にしてもよい。
 (受信の開始)
 図581は、実施の形態21における受信の開始方法を示すフローチャートである。
 まず、ステップ9003aでstartして、ステップ9003bでWi-FiやBluetooth(登録商標)やIMES等の基地局からの信号を受信したかどうかを確認して、YESの場合は、ステップ9003cへ進む。NOの場合はステップ9003bへ戻る。ステップ9003cで前記基地局が、受信開始のトリガとして受信機やサーバに登録されているかどうかを確認して、YESの場合はステップ9003dへ進み、信号の受信を開始して、ステップ9003eで終了する。NOの場合はステップ9003bへ戻る。
 この方法により、ユーザが受信開始の操作をしなくても受信を開始することができる。また、常に受信を行うよりも消費電力を抑えることが出来る。
 (他媒体の情報を併用したIDの生成)
 図582は、実施の形態21における他媒体の情報を併用したIDの生成方法を示すフローチャートである。
 まず、ステップ9004aでstartして、ステップ9004bで接続されているキャリア通信網やWi-FiやBluetooth等のID、または、上記IDから得た位置情報やGPS等から得た位置情報を上位ビットID索引サーバに送信する。ステップ9004cで上位ビットID索引サーバから可視光IDの上位ビットを受信して、ステップ9004dで送信機からの信号を可視光IDの下位ビットとして受信する。ステップ9004eで可視光IDの上位ビットと下位ビットを合わせてID解決サーバへ送信して、ステップ9004fで終了する。
 この方法により、受信機の付近の場所で共通的に用いられる上位ビットを得ることができ、送信機が送信するデータ量を少なくすることができる。また、受信機が受信する速度を上げることができる。
 なお、送信機は上位ビットと下位ビットの両方を送信しているとしてもよい。この場合は、この方法を用いている受信機は下位ビットを受信した時点でIDを合成することができ、この方法を用いていない受信機は送信機からID全体を受信することでIDを得る。
 (周波数分離による受信方式の選択)
 図583は、実施の形態21における周波数分離による受信方式の選択方法を示すフローチャートである。
 まず、ステップ9005aでstartして、ステップ9005bで受光した光信号を周波数フィルタ回路にかける、または、離散フーリエ級数展開を行い周波数分解を行う。ステップ9005cで低周波数成分が存在するかどうかを確認して、YESの場合はステップ9005dへ進み、周波数変調等の低周波数領域で表現された信号をデコードして、ステップ9005eへ進む。NOの場合はステップ9005eへ進む。ステップ9005eで前記基地局が、受信開始のトリガとして受信機やサーバに登録されているかどうかを確認して、YESの場合はステップ9005fへ進み、パルス位置変調等の高周波数領域で表現された信号をデコードして、ステップ9005gへ進む。NOの場合はステップ9005gへ進む。ステップ9005gで信号の受信を開始して、ステップ9005hで終了する。
 この方法により、複数の変調方式で変調された信号を受信することができる。
 (露光時間が長い場合の信号受信)
 図584は、実施の形態21における露光時間が長い場合の信号受信方法を示すフローチャートである。
 まず、ステップ9030aでstartして、ステップ9030bで感度が設定できる場合は感度を最高に設定する。ステップ9030cで露光時間が設定できる場合は通常撮影モードよりも短い時間に設定する。ステップ9030dで2枚の画像を撮像して輝度の差分を求める。2枚の画像を撮像する間に撮像部の位置や方向が変化した場合はその変化をキャンセルして同じ位置・方向から撮像したかのような画像を生成して差分を求める。ステップ9030eで差分画像、または、撮像画像の露光ラインに平行な方向の輝度値を平均した値を求める。ステップ9030fで前記平均した値を、露光ラインに垂直な方向に並べ離散フーリエ変換を行って、ステップ9030gで所定の周波数の付近にピークがあるかどうかを認識して、ステップ9030hで終了する。
 この方法により、露光時間が設定できない場合や通常画像を同時に撮像する場合等、露光時間が長い場合においても信号を受信することができる。
 露光時間を自動設定としている場合、カメラを照明として構成される送信機へ向けると、自動露出補正機能によって露光時間は60分の1秒から480分の1秒程度に設定される。露光時間の設定ができない場合には、この条件で信号を受信する。実験では、照明を周期的に点滅させた場合、1周期の時間が露光時間の約16分の1以上であれば、露光ラインに垂直な方向に縞が視認でき、画像処理によって点滅の周期を認識することができた。このとき、照明が写っている部分は輝度が高すぎて縞が確認しづらいため、照明光が反射している部分から信号の周期を求めるのが良い。
 周波数偏移変調方式や周波数多重変調方式のように、発光部を周期的に点灯・消灯させる方式を用いた場合は、パルス位置変調方式を用いた場合よりも、同じ変調周波数であっても人間にとってちらつきが視認しづらく、また、ビデオカメラで撮影した動画にもちらつきが現れにくい。そのため、低い周波数を変調周波数として用いることができる。人間の視覚の時間分解能は60Hz程度であるため、この周波数以上の周波数を変調周波数として用いることができる。
 なお、変調周波数が受信機の撮像フレームレートの整数倍のときは、2枚の画像の同じ位置の画素は送信機の光パターンが同じ位相の時点で撮像を行うため、差分画像に輝線があらわれず、受信が行いにくい。受信機の撮像フレームレートは通常30fpsであるため、変調周波数は30Hzの整数倍以外に設定すると受信が行い易い。また、受信機の撮像フレームレートは様々なものが存在するため、互いに素な二つの変調周波数を同じ信号に割り当て、送信機は、その二つの変調周波数を交互に用いて送信することで、受信機は、少なくとも一つの信号を受信することで、容易に信号を復元できる。
 以下、本発明の他の実施の形態について説明する。
 (実施の形態22)
 本実施の形態は、可視光通信の受光部切り替えを行う装置に関するものであり、スマートフォンのような携帯端末に搭載することを想定している。そこで、まず本装置を搭載した携帯端末を使用するときのシーンについて説明する。
 図585に示すように、本装置は天井に設置されたシーリングライトA1101から発光されるIDを受信し、さらに使用者の正面に設置されたベースライトA1103から発光されるIDを受信するものである。本装置の特徴は、これら複数のIDを受信する際に、IDを受信する複数の受光部から受光に最適な受光部を携帯端末の姿勢に応じて選択することである。例えば、図586に示すように、携帯端末A1201は前面に撮像部A1202を、背面に撮像部A1203を、前面にタッチパネル部A1204を備える。携帯端末A1201は図587に示すように、携帯端末A1201の表示面が天井と向かい合うよう持った場合、携帯端末A1201は自身に内蔵された加速度センサによって携帯端末A1201が天井に対して水平であることと判定し、撮像部A1202が稼動を始める。このとき撮像部A1203は稼動を中断し、電力消費を抑える。シーリングライトA1101は点灯している状況において、特定のパターンによって点灯の光量を変更し、稼動中の撮像部A1202がシーリングライトA1101の発光を検知すると、A1301に示すように、携帯端末A1201は発光パターンに関連付けられたIDを取得し、IDの種別に応じて振る舞いを変更する。
 一方、図588に示すように、携帯端末A1201を地面に対して垂直になるよう持った場合、携帯端末A1201は自身に内蔵された加速度センサによって携帯端末A1201が天井のシーリングライトには向けられておらず、壁や棚A1102などに設置されたベースライトA1103に向けられているものと判定し、撮像部A1203が稼動を始める。このとき、撮像部A1202は稼動を中断し、電力消費を抑える。ベースライトA1103は点灯している状況において、特定のパターンによって点灯の光量を変更し、稼働中の撮像部A1203がベースライトA1103の発光を検知すると、携帯端末A1201は発光パターンに関連付けられたIDを取得し、IDの種別に応じて振る舞いを変更する。
 続いて、前述したIDの種類に応じた振る舞いの例について説明する。図587のように携帯端末A1201が天井に対して水平であると判定された場合、携帯端末A1201は発光パターンに関連付けられたIDをサーバに送信し、サーバがIDに対応付けられた位置情報を検索すると、サーバは携帯端末A1201へ位置情報を通知する。携帯端末A1201はサーバから位置情報を取得すると、取得した位置情報を使用者の現在位置として、使用者のいる位置を示すマップ、例えば図589に示すような店内のマップを使用者に提示する。また、図588のように携帯端末A1201が地面に対して垂直になるように判定された場合、携帯端末A1201は取得したIDをサーバに送信し、サーバは取得したIDに関連付けられた商品棚の商品種別及び在庫をデータベースから検索し、商品種別及び在庫を反映した画像、例えば図590のように商品棚の画像に在庫で商品の画像の画像を在庫に合わせて重畳した画像を生成する。そして、サーバが生成された画像を携帯端末A1201に送信すると、携帯端末A1201は受信した画像、即ち商品の在庫量を示す画像を表示面に出力する。また、サーバから携帯端末A1201に画像データを送る際、サーバは携帯端末A1201に複数の画像を送信してもよい。例えば、図591に示すように、在庫量が少ない棚の画像A1701と、在庫量が多い棚の画像A1703とを順に送信する。そして、携帯端末A1701は使用者の画面操作にあわせて、在庫量が少ない棚の画像A1701から画像A1702のようなスクロール途中経過を示す画面A1702を経て、在庫量が多い棚の画像A1703を順に閲覧し、より直感的で分かりやすい商品在庫の確認が可能となる。
 以上の流れにより、携帯端末A1201は発光部から受信したIDに対応した商品在庫を使用者に提示する。このように、受信したIDによって定時内容を切り替えることが出来ることから、使用者が視認した例えば図592に示すように、使用者が携帯端末A1201を棚A1801から棚A1802に向けた場合、携帯端末A1201はベースライトA1803から受信したIDとベースライトA1804から受信したIDとをそれぞれ順に受信する。
 また、上記の携帯端末A1201のように前面と背面にそれぞれ撮像部が配置された様態だけでなく、例えばAA19のような腕時計型デバイスA1901として応用しても良い。腕時計型デバイスA1901は、上面部分に設置される受光部A1902と、側面部に設置される受光部A1903とを備える。腕時計型デバイスA1901は加速度センサを備えており、図593のように上面部が地面と水平な方向を向いている場合、受光部A1902と受光部A1903とを稼動させ、シーリングライトA1904から発せられた光を受光部A1902によって受光し、ベースライトA1905から発せられた光を受光部A1903によって受光する。
 以上が本装置を搭載した携帯端末を使用するときのシーンの一例である。続いて、本装置の構成について説明する。
 図594は本実施の形態における全体構成を示したものである。本実施の形態では最小構成要素として携帯端末A11001と、第1の照明機器A11002と、第2の照明機器A11003とを含む。第1の照明機器A11002は図585におけるシーリングライトA1101や図593におけるシーリングライトA1904、第2の照明機器A11003は図585におけるベースライトA1103や図593におけるベースライトA1905と考えてよい。
 第1の照明機器A11002は、第1のID格納部A11004と、第1のエンコード部A11005と、第1の照度パターン格納部A11006と、第1の発光部A11007とから構成される。同様に、第2の照明機器A11003は、第2のID格納部A11008と、第2のエンコード部A11009と、第2の照度パターン格納部A11010と、第2の発光部A11011と、サーバ装置A11015とから構成される。また、携帯端末A11001は、受光制御部A11012と、ID格納部A11013と、DB管理部A11014と、商品情報格納部A11016と、地図情報格納部A11017と、表示部A11018と、状態管理部A11019と、UI部A11020から構成される。これらの構成要素の関係について詳細に説明する。
 第1の照明機器A11002及び第1の照明機器A11002におけるID格納部A11004及び、第2の照明機器A11002における第2のID格納部A11008はメモリ領域であり、例えばMACアドレスのような、個体を一意に決定可能な識別子がそれぞれ予め書き込まれているものとする。続いて、第1の照明機器A11002に電力が供給されると、第1のエンコード部A11005は第1のID格納部A11004からIDを読み込み、当IDを照明の照度パターン、即ち各タイミングにおける照明の照度に変換し、当照度パターンを第1の照度パターン格納部A11006に格納する。以上の起動フェーズが完了すると、第1の発光部A11007は第1の照度パターン格納部A11006で示されるパターンに基づき、照度を高速に更新しながら発光制御を行う。これにより、第1の照明機器A11002はIDに基づいた照度制御を行う。
 第2の照度機器A11003についても同様で、即ち、第2の照明機器A11003に電力が供給されると、第2のエンコード部A11009は第2のID格納部A11008からIDを読み込み、当IDを照明の照度パターン、即ち各タイミングにおける照明の照度に変換し、当照度パターンを第2の照度パターン格納部A11010に格納する。以上の起動フェーズが完了すると、第2の発光部A11011は第2の照度パターン格納部A11010で示されるパターンに基づき、照度を高速に更新しながら発光制御を行う。これにより、第2の照明機器A11003はIDに基づいた照度制御を行う。
 続いて、携帯端末A11001の振る舞いについて説明する。携帯端末A11001の受光制御部A11012は第1の発光部A11007及び第2の発光部A11011の照度パターンを検知すると、検知したパターンをIDに変換し、ID格納部A11013へ格納する。本実施の形態の場合、第1の発光部A11007又は第2の発光部A11011の照度パターンを検知したものであるから、ID格納部A11013に格納されるIDは第1のID格納部A11004または第2のID格納部A11008のいずれかに格納されているIDと等しくなる。
 続いて、商品情報格納部A11016の構造について説明する。図595に示すように、商品情報格納部A11016は有効フラグA11101と、棚外観A11102と、棚内観A11103と、商品種別情報A11104と、商品在庫情報A11105とを含む。有効フラグA11101は商品在庫情報をレンダリングするか否かを示したものであり、TRUE又はFALSEのいずれかの値をとる。この値がTRUEの時に、商品在庫情報のレンダリング処理が表示部A11018によって行われる。棚外観A11102は描画する棚の外観を示したものであり、棚の実寸による高さ・幅が格納される。これらの実寸情報に基づいて、棚が画面内に治まるように表示部A11018はレンダリング処理を行う。たとえば、図596のようなレイアウトで棚の外枠がレンダリングされる。棚内観A11103は棚の数と、棚全体に対する各棚の高さ割合であり、図596に示すような間隔で棚の内板がレンダリングされる。商品種別情報A11104は商品のバリエーション数と各商品の画像データ本体とを格納する。本実施の形態ではサーバ装置A11015から受信する画像データのフォーマットはPNGデータとし、商品種別情報A11104の商品種画像データにはPNGデータそのものが配置される。表示部A11018はレンダリング直前にPNGデータを図示しないキャッシュ領域に展開し、本キャッシュ領域の内容をレンダリングし、商品の画像を使用者に提示する。商品在庫情報A11105は商品の在庫数及びその在庫をレンダリングすべき商品の種別、座標情報を格納する。座標情報のうちx座標は「商品棚の左から何番目か」、y座標は「商品棚のうち上から何番目の棚か」、z座標は「奥へと並ぶ棚のうち、手前から何番目の棚か」をそれぞれ示す。これらの座標情報と整合するような座標に、商品種別番号で示される商品画像を表示部A11018はレンダリング処理を行う。
 続いて、地図情報格納部A11017の構造について説明する。図597に示すように、地図情報格納部A11017は有効フラグA11301と、地図画像のデータ長A11302と、地図画像A11303とを含む。有効フラグA11301は地図情報をレンダリングするか否かを示したものであり、TRUE又はFALSEのいずれかの値をとる。この値がTRUEの時に、地図情報のレンダリング処理が表示部A11018によって行われる。地図画像A11303は地図の画像データ本体とを格納する。本実施の形態ではサーバ装置A11015から受信する画像データのフォーマットはPNGデータとし、地図画像A11303にはPNGデータそのものが配置される。また、地図画像のデータ長A11302は地図画像A11303のデータ長を示す。表示部A11018はレンダリング直前にPNGデータを図示しないキャッシュ領域に展開し、本キャッシュ領域の内容をレンダリングし、商品の画像を使用者に提示する。
 続いて、状態管理部A11019について説明する。図600に示すように、状態管理部A11019は異常フラグA11601、全フレーム描画種別A11602と、表示棚奥行きA11603と、地図オフセットXA11604と、地図オフセットYA11605と、前回取得IDA11606とを含む。前回取得IDA11606は初期値を無効値とする。本実施の形態では無効値=-1とする。異常フラグA11601はTRUEまたはFALSEの値を格納し、サーバ装置A11015へ送出したIDがいずれのシーリングライト・ベースライトにも関連しない無効なIDであった場合に、DB管理部A11014は異常フラグA11601をTRUEに設定する。異常フラグA11601がTRUEであった場合、表示部A11018は受信に失敗した旨ユーザに提示する。また、使用者がタッチパネル部A1204を操作した際に、UI部A11020によって表示棚奥行きA11603、地図オフセットXA11604、地図オフセットYA11605は更新される。
 続いて、DB管理部A11014の振る舞いについて説明する。DB管理部A11014はID格納部A11013からIDを読み込むと、サーバ装置A11015に対して問い合わせを行い、記録されたIDの照合を行う。照合の結果、IDが天井に設置されたいずれかのシーリングライトのIDであれば、DB管理部A11014は図589に示すような、該当するシーリングライトとその周辺の地図画像を送信するようサーバ装置A11015にリクエストを送り、図587に示す地図画像を取得して地図情報格納部A11017に格納し、地図情報格納部A11017の有効フラグA11301をTRUEに設定すると共に、商品情報格納部A11016の有効フラグをFALSEに、異常フラグA11601をFALSEに設定する。一方、照合の結果、IDが商品棚に設置されたいずれかのベースライトのIDであれば、DB管理部A11014はサーバ装置A11015に対して図595に示す商品情報をリクエストし、取得した商品情報を商品情報格納部A11016へ格納し、地図情報格納部A11017の有効フラグA11301をFALSEに設定すると共に、商品情報格納部A11016の有効フラグをTRUEに、異常フラグA11601をFALSEに設定する。一方、サーバ装置A11015へ送出したIDがいずれのシーリングライト・ベースライトにも関連しない無効なIDであった場合に、DB管理部A11014は地図情報格納部A11017の有効フラグA11301をFALSEに、商品情報格納部A11016の有効フラグをFALSEに、異常フラグA11601をTRUEに設定する。
 続いてUI部A11020について説明する。UI部A11020はタッチパネル部A1204と連動しており、商品情報格納部A11016の有効フラグ11101がTRUEの場合、使用者がタッチパネル部A1204に対してフリック操作をすると、UI部A11020によって地図オフセットXA11604、地図オフセットYA11605は更新される。具体的には、UI部A11020はタッチパネル部A1204が右方向にフリックされると地図オフセットXA11604をフリック量にあわせて増加させ、タッチパネル部A1204が左方向にフリックされると地図オフセットXA11604を減少させ、タッチパネル部A1204が上方向にフリックされると地図オフセットYA11605を減少させ、タッチパネル部A1204が下方向にフリックされると地図オフセットYA11605を増加させる。一方、地図情報格納A11017の有効フラグA11301がTRUEの場合、UI部A11020によって表示棚奥行きA11603は更新される。具体的には、UI部A11020はタッチパネル部A1204が右方向にフリックされると表示棚奥行きA11603を増加させ、タッチパネル部A1204が左方向にフリックされると表示棚奥行きA11603を減少させる。但し、表示棚奥行きA11603が(商品在庫情報A11105の商品のz座標のうち最大の値)より大きくなった場合は表示棚奥行きA11603を0に、表示棚奥行きA11603が0より小さくなった場合は表示棚奥行きA11603を(商品在庫情報A11105の商品のz座標のうち最大の値)に設定しなおす。
 以上の処理を踏まえて、表示部A11018は表示内容を更新する。更新処理を行う際、まず以下の表示更新前処理を実行する。商品情報格納部A11016の有効フラグA11101がTRUEかつ前フレーム描画種別A11602が商品情報以外の場合、表示する棚の状態を初期化する必要があると判断し、表示棚奥行きA11603を0に設定しなおす。また、地図情報格納部A11017の有効フラグA11301がTRUEかつ前フレーム描画種別A11602が地図情報以外の場合、表示する地図の状態を初期化する必要があると判断し、地図オフセットXA11604を0に、地図オフセットYA11605を0に設定しなおす。更に、状態管理部A11019の前回取得IDとID格納部A11013とが異なる値を保持している場合、表示状態を初期化する必要があると判断し、地図オフセットXA11604を0に、地図オフセットYA11605を0に、表示棚奥行きA11603を0に設定しなおす。そして、状態管理部A11019の前回取得IDにID格納部A11013の内容をコピーする。更に、商品情報格納部A11016の有効フラグA11101がTRUEの場合は前フレーム描画種別A11602を「商品情報」に、地図情報格納部A11017の有効フラグA11301がTRUEの場合は前フレーム描画種別A11602を「地図情報」に、異常フラグA11601がTRUEの場合は前フレーム描画種別A11602を「異常」に設定する。
 以上の表示更新前処理が完了したら、地図情報格納部A11017の有効フラグA11301と商品情報格納部A11016の有効フラグのうちいずれか一方がTRUEとなった場合に、表示部A11018は地図情報格納部A11017の有効フラグA11301がTRUEの場合は図589に示すような地図情報のレンダリング処理を実行し、商品情報格納部A11016の有効フラグがTRUEの場合は表示部A11018は図596に示すような商品在庫状況のレンダリング処理を実行する。一方、異常フラグA11601がTRUEの場合は、不正なIDを受信した旨、表示部A11018は表示を更新する。
 続いて、本実施の形態のフローについて説明する。
 まず、照明機器A11002のフローについて図598を用いて説明する。第1の照明機器A11002に電力が供給されると(SA11401)、第1のエンコード部A11005は第1のID格納部A11004からIDを読み込み(SA11402)、エンコード処理により当IDを照明の照度パターン、即ち各タイミングにおける照明の照度に変換し(SA11403)、当照度パターンを第1の照度パターン格納部A11006に格納する(SA11404)。以上の起動フェーズが完了すると、第1の発光部A11007は第1の照度パターン格納部A11006から照度パターンを読み込み(SA11405)、当照度パターンで示されるパターンに基づき、照度を高速に更新しながら発光制御を行う(SA11406)。これにより、第1の照明機器A11002はIDに基づいた照度制御を行う。
 照明機器A11003についても上記と同様で、第2の照明機器A11003に電力が供給されると(SA11401)、第2のエンコード部A11009は第2のID格納部A11008からIDを読み込み(SA11402)、エンコード処理により当IDを照明の照度パターン、即ち各タイミングにおける照明の照度に変換し(SA11403)、当照度パターンを第2の照度パターン格納部A11010に格納する(SA11404)。以上の起動フェーズが完了すると、第2の発光部A11011は第2の照度パターン格納部A11010から照度パターンを読み込み(SA11405)、当照度パターンで示されるパターンに基づき、照度を高速に更新しながら発光制御を行う(SA11406)。これにより、第2の照明機器A11003はIDに基づいた照度制御を行う。
 続いて、携帯端末A11001のフローについて、図599を用いて説明する。携帯端末A11001の受光制御部A11012は最初にシャッター速度を高速な設定に切り替え(SA11500)、第1の発光部A11007及び第2の発光部A11011の照度パターンを検知すると、デコード処理により検知したパターンをIDに変換し(SA11501)、ID格納部A11013へ格納する(SA11502)。DB管理部A11014はID格納部A11013からIDを読み込むと、サーバ装置A11015に対して問い合わせを行い、記録されたIDの照合を行う(SA11503)。照合の結果(SA11504)、IDが天井に設置されたいずれかのシーリングライトのIDであれば、シーリングライト関連の処理を実行する(SA11505)。一方、照合の結果、IDが商品棚に設置されたいずれかのベースライトのIDであれば、ベースライト関連の処理を実行する(SA11507)。一方、サーバ装置A11015へ送出したIDがいずれのシーリングライト・ベースライトにも関連しない無効なIDであった場合に、DB管理部A11014は地図情報格納部A11017の有効フラグA11301をFALSEに、商品情報格納部A11016の有効フラグをFALSEに、異常フラグA11601をTRUEに設定する(SA11508)。
 続いて、シーリングライト関連処理(SA11505)について図601を用いて詳細に説明する。DB管理部A11014は図589に示すような、該当するシーリングライトとその周辺の地図画像を送信するようサーバ装置A11015にリクエストを送り(SA11701)、図587に示す地図画像を取得して地図情報格納部A11017に格納し(SA11702)、地図情報格納部A11017の有効フラグA11301をTRUEに設定すると共に、商品情報格納部A11016の有効フラグをFALSEに設定する(SA11703)。
 続いて、ベースライト関連処理(SA11507)について図602を用いて詳細に説明する。DB管理部A11014はサーバ装置A11015に対して図595に示す商品情報をリクエストし(SA11801)、取得した商品情報を商品情報格納部A11016へ格納し(SA11802)、地図情報格納部A11017の有効フラグA11301をFALSEに設定すると共に、商品情報格納部A11016の有効フラグをTRUEに設定する(SA11803)。
 続いてUI部A11020について図603を用いて説明する。UI部A11020はタッチパネル部A1204と連動しており、地図情報格納A11017の有効フラグA11301がTRUEの場合(S11901)、地図情報向けUI処理を実行する(S11902)。一方、商品情報格納部A11016の有効フラグ11101がTRUEの場合(S11903)、商品情報向けUI処理を実行する(S11904)。
 続いて、地図情報向けUI処理(S11802)について図604を用いて詳細に説明する。使用者がタッチパネル部A1204に対してフリック操作をすると、UI部A11020によって地図オフセットXA11604、地図オフセットYA11605は更新される。具体的には、UI部A11020はタッチパネル部A1204が右方向にフリックされると(SA12001)地図オフセットXA11604をフリック量にあわせて増加させ(SA12002)、タッチパネル部A1204が左方向にフリックされると(SA12003)地図オフセットXA11604を減少させ(SA12004)、タッチパネル部A1204が上方向にフリックされると(SA12005)地図オフセットYA11605を減少させ(SA12006)、タッチパネル部A1204が下方向にフリックされると(SA12007)地図オフセットYA11605を増加させる(SA12008)。
 続いて、商品情報向けUI処理(S11804)について図605を用いて詳細に説明する。UI部A11020によって表示棚奥行きA11603は更新される。具体的には、UI部A11020はタッチパネル部A1204が右方向にフリックされると(SA12101)表示棚奥行きA11603を増加させ(SA12102)、タッチパネル部A1204が左方向にフリックされると(SA12103)表示棚奥行きA11603を減少させる(SA12104)。但し、表示棚奥行きA11603が(商品在庫情報A11105の商品のz座標のうち最大の値)より大きくなった場合は(SA12105)表示棚奥行きA11603を0に(SA12106)、表示棚奥行きA11603が0より小さくなった場合は(SA12107)表示棚奥行きA11603を(商品在庫情報A11105の商品のz座標のうち最大の値)に設定しなおす(SA12108)。
 続いて、表示部A11018の処理フローについて図606を用いて説明する。更新処理を行う際、まず表示更新前処理を実行する(SA12201)。続いて、表示更新処理を実行する(SA12202)。
 続いて、表示更新前処理(SA12201)について図607を用いて詳細に説明する。商品情報格納部A11016の有効フラグA11101がTRUE(SA12301)かつ前フレーム描画種別A11602が商品情報以外の場合(SA12302)、表示する棚の状態を初期化する必要があると判断し、表示棚奥行きA11603を0に設定しなおす(SA12303)。また、地図情報格納部A11017の有効フラグA11301がTRUE(SA12304)かつ前フレーム描画種別A11602が地図情報以外の場合(SA12305)、表示する地図の状態を初期化する必要があると判断し、地図オフセットXA11604を0に、地図オフセットYA11605を0に設定しなおす(SA12306)。更に、状態管理部A11019の前回取得IDとID格納部A11013とが異なる値を保持している場合(SA12307)、表示状態を初期化する必要があると判断し、地図オフセットXA11604を0に、地図オフセットYA11605を0に、表示棚奥行きA11603を0に設定しなおす(SA12308)。そして、状態管理部A11019の前回取得IDにID格納部A11013の内容をコピーすることで旧IDを更新する(SA12309)。更に、商品情報格納部A11016の有効フラグA11101がTRUEの場合は前フレーム描画種別A11602を「商品情報」に、地図情報格納部A11017の有効フラグA11301がTRUEの場合は前フレーム描画種別A11602を「地図情報」に、異常フラグA11601がTRUEの場合は前フレーム描画種別A11602を「異常」に設定する(SA12310)。
 続いて、表示更新処理について図608を用いて詳細に説明する。表示部A11018は地図情報格納部A11017の有効フラグA11301がTRUEの場合は(SA12401)、地図オフセットXA11604と地図オフセットYA11606とを読み込み(SA12402)、各オフセット分だけずらしながら図589に示すような地図情報のレンダリング処理を実行する(SA12403)。一方、商品情報格納部A11016の有効フラグがTRUEの場合は(SA12404)、表示部A11018は表示棚奥行きA11603を読み込み(SA12404)、表示棚奥行きA11603で示される棚の画像を提示するように、図596に示すような商品在庫状況のレンダリング処理を実行する(SA12406)。一方、異常フラグA11601がTRUEの場合は、不正なIDを受信した旨、表示部A11018は表示を更新する(SA12407)。
 (実施の形態23)
 本実施の形態は、実施の形態22に加えて、受光制御部の構成及びフローを明確にしたものである。
 まず、実施の形態23における受光制御部A11012の構成について図609を用いて説明する。実施の形態23における受光制御部A11012は、第1の受光部A12501と、第2の受光部A12502と、これら2つの受光部のどちらを稼動させるかを選択するためのセレクタA12503と、セレクタA12503における選択処理に必要な情報を供給する加速度検知部A12504と、セレクタA12503を経由して第1の受光部A12501又は第2の受光部A12502より得られた受光信号を格納する受光信号格納部A12505と、受光信号格納部A12505から受光信号を読み取り、デコード処理を行ってIDを生成し、生成したIDをID格納部A11013に格納するデコード部A12506と、セレクタA12503が取得した加速度から、受光制御部A11012を搭載した携帯端末A11011が地面に対して水平か否かを判定するための第1の閾値と第2の閾値が予め格納されている閾値格納部A12507とから構成される。
 続いて、実施の形態23における受光制御部A11012のフローについて図610を用いて説明する。受光制御部A11012は起動後、加速度検知部A12504より携帯端末A11011の背面方向に生じる加速度を検知する(SA12601)。続いて、取得した加速度と閾値格納部A12507に格納されている閾値とを比較し(SA12602)、加速度が第1の閾値よりも大きければ、より大きな加速度、即ち重力加速度が携帯端末A11011の背面方向に生じていることから、携帯端末A11011が地面に対して水平で、かつインカメラA1202が地面に対して上向きであると判定し、インカメラ、即ち第1の受光部A12501を稼動させる(SA12603)。一方、加速度が第2の閾値以下であれば、重力加速度が携帯端末A11011の背面方向に大きく生じていないことから、携帯端末A11011が地面に対して水平ではなく、アウトカメラA1203が壁や棚に向けられていると判定し、アウトカメラ、即ち第2の受光部A12502を稼動させる(SA12604)。以上の処理により、稼動した第1の受光部A12501又は第2の受光部A12502より撮影画像を取得し(SA12605)、撮影画像から照明の照度変化を取得、即ちデコード処理を実行し(SA12606)、デコード処理によって得られたIDをID格納部A11013に格納する(SA12607)。
 以上のようにして受光部の選択を行うことで、建物の見取り図を俯瞰する、即ち携帯端末を上から覗き込む場合と、正面にある棚やその他被写体を水平方向に覗き込む場合とにそれぞれ最適化するよう受光部の切り替えが可能となる。
 (実施の形態24)
 本実施の形態は、実施の形態22に加えて、受光制御部の構成及びフローを明確にしたものである。
 まず、実施の形態23における受光制御部A11012の構成について図611を用いて説明する。実施の形態23における受光制御部A11012は、第1の受光部A12701と、第2の受光部A12702と、これら2つの受光部のどちらを稼動させるかを選択するためのセレクタA12703と、セレクタA12703における選択処理に必要な情報を供給するタイマ制御部A12704と、セレクタA12503を経由して第1の受光部A12701又は第2の受光部受光部A12702より得られた受光信号を格納する受光信号格納部A12705と、受光信号格納部A12705から受光信号を読み取り、デコード処理を行ってIDを生成し、生成したIDをID格納部A11013に格納するデコード部A12706と、セレクタA12703が第1の受光部A12701から受光を始めて第2の受光部A12702の受光への切り替えに要する時間の閾値1を格納し、更にセレクタA12703が第2の受光部A12702から受光を始めて第1の受光部A12701の受光への切り替えに要する時間の閾値2とが予め格納されている閾値格納部A12707とから構成される。
 続いて、実施の形態24における受光制御部A11012のフローについて図612を用いて説明する。受光制御部A11012は起動後、タイマ制御部A12704が稼動していなければ(SA12801)、タイマ制御部A12704を稼動させるとともに、第1の受光部A12701を稼動させる(SA12802)。続いて、第1の受光部A12701が稼働中の場合(SA12803)、第1の受光部A12701が稼動し始めてから第1の閾値の時間が経過していれば(SA12804)、各受光部をバランスよく稼動させるため、第1の受光部A12701を停止すると共に、第2の受光部A12702を稼動させる(SA12806)。一方、第1の受光部A12701が停止中、即ち第2の受光部A12702が稼働中である場合(SA12803)、第2の受光部A12702が稼動してから第2の閾値の時間が経過していれば(SA12805)、各受光部をバランスよく稼動させるため、第2の受光部A12702を停止すると共に、第1の受光部A12701を稼動させる(SA12807)。以上の処理により、稼動した第1の受光部A12501又は第2の受光部A12502より撮影画像を取得し(SA12808)、撮影画像から照明の照度変化を取得、即ちデコード処理を実行し(SA12809)、デコード処理によって得られたIDをID格納部A11013に格納する(SA12810)。
 以上のようにして受光部の選択を行うことで、図593に示すような腕時計型デバイスを水平に構えた場合において、天井のシーリングライトA1904から得られるIDと、棚に設置されたベースライトA1905から得られるIDとをそれぞれバランスよく取得することが可能となる。
 なお、本実施の形態23に加速度検知部を更に付与し、腕時計型デバイスの表示面が地面に水平でない、即ち使用者が腕時計型デバイスの表示面を見ていないと予想される場合は、第1の受光部A12501と第2の受光部A12502を停止し、消費電力の削減を図るようにしても良い。
 (実施の形態25)
 本実施の形態は、実施の形態22をベースに、視線検出の技術を応用して、ユーザの意思をより的確に表示部A11018に反映させることを目的としたものである。
 図613は本実施の形態における携帯端末を使用する際のイメージ図である。図613に示すように、使用者が携帯端末A12901を手に持って、棚A12903に携帯端末A12901の背面部分を向けている場合、携帯端末A12901の表示部には棚A12903の情報が表示される。一方、この状態で使用者が棚A12901の右側を向いた場合、携帯端末A12901はユーザの視線を画像認識処理によって検知し、「ユーザが見ているものは棚A12901ではなく、棚A12901の右隣に設置されている棚A12905である」と判定し、携帯端末A12901の表示部に棚A12905に関する情報を表示する。このように、携帯端末A12901の正面に存在する照明に加え、ユーザの視線を考慮して表示する対象物を選択することで、よりユーザの意図を反映させた情報確認が可能となる。
 続いて、実施の形態25における携帯端末A12901の構成について、図614を用いて説明する。なお、実施の形態22と重複している構成要素については図594と図614とで同じ番号を使用するようにする。携帯端末A12901は、受光制御部A13002と、ID格納部A11013と、DB管理部A13003と、商品情報格納部A11016と、地図情報格納部A11017と、表示部A11018と、状態管理部A11019と、UI部A11020と、視線情報格納部A13001とから構成される。また、携帯端末A12901はサーバ装置A13004に無線通信により接続されている。
 続いて、携帯端末A12901の振る舞いについて説明する。携帯端末A12901の受光制御部A13002は第1の発光部A11007及び第2の発光部A11011の照度パターンを検知すると、検知したパターンをIDに変換し、ID格納部A11013へ格納する。本実施の形態の場合、第1の発光部A11007又は第2の発光部A11011の照度パターンを検知したものであるから、ID格納部A11013に格納されるIDは第1のID格納部A11004または第2のID格納部A11008のいずれかに格納されているIDと等しくなる。更に、受光制御部A13002は自身が内蔵している内受光機能により、使用者の視線が「正面・右・左」のどれに分類されるかを示す視線分類情報を検出し、検出した分類結果を視線情報格納部A13001に格納する。
 続いて、DB管理部A13003のフローについて説明する。本実施の形態は、実施の形態22に対して図602のSA11801が詳細化される。そこで、SA11801の詳細フローについて説明する。図616は、実施の形態25におけるサーバ問い合わせ時のフローチャートである。DB管理部A13003はID格納部A11013からIDを読み込み、更に視線情報格納部A13001から視線分類情報を読み込むと、サーバ装置A11015に対して商品情報をリクエストする。この時、ベースライトのIDをサーバ装置A11015に送出すると共に、視線情報格納部A13001に格納された視線分類情報もサーバ装置A11015に送出する(SA13201)。サーバ装置A11015は図615に示すようなDBを保持しており、まず受信したIDをA13102列から検索する(SA13202)。該当する行が検索された場合、その行から棚識別子を抽出する(SA13203)。この時、視線分類情報が正面の場合はA13101列を、視線分類情報が「左」の場合はA13103列を、視線分類情報が「右」の場合はA13104列を参照し(SA13203)、該当行の参照によって棚識別子を得る(SA13205)。そして、得られた棚識別子をA13101列から検索し、(SA13208)該当行の棚情報A13105を携帯端末A12901のDB管理部A13003に通知する(SA13209)。一方、受信したIDがA13102列から検出されたものの、IDと視線分類情報とから棚識別子を抽出できなかった場合(SA13206)、受信したIDが検索された行の棚情報A13105を携帯端末A12901のDB管理部A13003に通知する(SA13207)。また、受信したIDがA13102列から検出されなかった場合(SA13203)、サーバ装置A11015は該当ID無しの旨を携帯端末A12901のDB管理部A13003に通知する(SA13204)。例えば、IDの値が200、視線分類情報が「右」のものを受信した場合、IDが200のものを照明IDA13102から検索すると1行目に存在し、1行目の右隣の棚識別子A13104は101であるから、携帯端末A12901には棚識別子A13101が101である行における棚情報A13105、即ち棚情報2が送出される。
 ついで、携帯端末A12901のDB管理部A13003は取得した商品情報を商品情報格納部A11016へ格納し、地図情報格納部A11017の有効フラグA11301をFALSEに設定すると共に、商品情報格納部A11016の有効フラグをTRUEに、異常フラグA11601をFALSEに設定する。一方、サーバ装置A11015へ送出したIDがいずれのシーリングライト・ベースライトにも関連しない無効なIDであった場合に、DB管理部A13003は地図情報格納部A11017の有効フラグA11301をFALSEに、商品情報格納部A11016の有効フラグをFALSEに、異常フラグA11601をTRUEに設定する。
 (実施の形態26)
 本実施の形態は、実施の形態25をベースにしたものであって、受光制御部A11012の構成を明確化したものである。図617は、実施の形態26における受光制御部の構造図である。実施の形態26における受光制御部A11012は、第1の受光部A12501と、第2の受光部A12502と、これら2つの受光部のどちらを稼動させるかを選択するためのセレクタA12503と、セレクタA12503における選択処理に必要な情報を供給する加速度検知部A12504と、セレクタA12503を経由して第1の受光部A12501又は第2の受光部受光部A12502より得られた受光信号を格納する受光信号格納部A12505と、受光信号格納部A12505から受光信号を読み取り、デコード処理を行ってIDを生成し、生成したIDをID格納部A11013に格納するデコード部A12506と、セレクタA12503が取得した加速度から、受光制御部A11012を搭載した携帯端末A11011が地面に対して水平か否かを判定するための第1の閾値と第2の閾値が予め格納されている閾値格納部A12507とを備え、更に受光部A12501から映像信号を受け、ユーザの視線位置を検出し、視線分類情報を視線情報格納部A13001に格納する視線検出部A13301から構成される。なお、本実施の形態において、受光部A12501はカメラデバイスのような映像撮像装置とする。
 (実施の形態27)
 本実施の形態は、実施の形態25をベースにしたものであって、受光制御部A11012の構成を明確化したものである。図618は、実施の形態27における受光制御部の構造図である。実施の形態26における受光制御部A11012は、第1の受光部A12501と、第2の受光部A12502と、これら2つの受光部のどちらを稼動させるかを選択するためのセレクタA12503と、セレクタA12503における選択処理に必要な情報を供給する加速度検知部A12504と、セレクタA12503を経由して第1の受光部A12501又は第2の受光部受光部A12502より得られた受光信号を格納する受光信号格納部A12505と、受光信号格納部A12505から受光信号を読み取り、デコード処理を行ってIDを生成し、生成したIDをID格納部A11013に格納するデコード部A12506と、セレクタA12503が取得した加速度から、受光制御部A11012を搭載した携帯端末A11011が地面に対して水平か否かを判定するための第1の閾値と第2の閾値が予め格納されている閾値格納部A12507とを備え、更に撮像部A13401と、撮像部A13401から映像信号を受け、ユーザの視線位置を検出し、視線分類情報を視線情報格納部A13001に格納する視線検出部A13402から構成される。なお、本実施の形態において、撮像部A13401はカメラデバイスのような映像撮像装置とし、受光部A12501は照度センサのようなセンサデバイスとする。
 以上の実施の形態により、携帯端末の姿勢に応じて、使用者の現在位置及び意図をより反映した情報の提示が可能となる。
 (実施の形態28)
 図619は、実施の形態28におけるユースケースを説明するための図である。この図619を用いて、本発明のPPM方式もしくはFDM方式FSK方式もしくは周波数割り当て方式の変調方式を用いた受信部1028を用いた場合の実施の形態を述べる。
 まず発光機の発光動作を述べる。天井や壁に取り付けられた照明器具やTVモニタ等の発光機1003では、まず時間毎に変化する乱数発生部1012を用いて、認証ID発生部1010で、認証IDを発生させる。発光機のIDとこの認証ID1004は、割り込み処理(1011)がない場合、携帯端末1020より送られた「発信データ列」がないと判断して、(1)発光機IDと(2)認証IDと光送信と電子機器1040から携帯端末1003経由で送られてきた送信データ列1009があるかどうかを識別するための識別子つまり(3)送信データ列フラグ=0の3つをLED等の発光部1016から、連続的に、もしくは間欠的に外部に光信号を送る。
 送られた発光信号は、電子機器1040のフォトセンサ1041で受信され(1042)、ステップ1043で電子機器1040の機器ID、認証IDが正規のものであるか確認し、YESなら送信データ列フラグ=1かをチェックし(ステップ1051)、YESの場合のみ、送信データ列のデータ、例えば料理のレシピ実行等のユーザーコマンドを実行する(ステップ1045)。
 ここで電子機器1040の本発明の光変調方式を用いて光送信する仕組みを述べる。電子機器1040は、機器ID、機器を認証するための認証ID、そして、前述のように電子機器1040が受信した、つまり確実に受信が可能な発光機1003のIDを表示部1047のLEDバックライト部1050等を用いて送る(1046)。
 電子レンジやPOS機等の液晶等の表示部1047から、本発明の光信号がちらつきのない60Hz以上の変調周波数で、PPMもしくはFDMもしくはFSK方式で送られているため、一般消費者には光信号が送られていることはわからないため、表示部には、例えば電子レンジのメニュー等の独立した表示ができる。
 (電子機器1040が受信できる発光機1003のID検出方法)
 電子レンジ等を使用しようとする使用者は、携帯端末のインカメラ部1017で発光機1003からの光信号を受け取り、インカメラ処理部1026で、発光機IDと発光機認証IDを受信部1027で受信しておく。電子機器1040の受光可能な発光機IDは、3G等の携帯電話の電波やWi-Fiを用いた位置情報とクラウド1032や携帯端末内部に記録されている、その位置に存在する発光機IDを検出してもよい(1025)。
 さて、説明ステップを戻して、使用者は携帯端末1020のアウトカメラ1019を、例えば電子レンジ1040の表示部1047に向けると、本発明の光信号1048を、MOSカメラを用いて復調することができる。シャッター速度を速めると、より高速のデータを受信できる。受信部1028では、電子機機1040の機器ID、認証ID、サービスID、もしくは、サービスIDから変換した、サービス提供用のクラウドのURLや、機器の状況を受信する。
 ステップ1029では、3G Wi-Fi通信部1031を通して端末の内部にある、もしくは受信したURLを用いて外部にあるクラウド1032に接続し、サービスID、機器IDを送る。クラウド1032では、データベース1033にある、機器ID、サービスIDに各々対応したデータを検索し、携帯端末1020に送る。このデータを元にして携帯端末の画面にビデオデータやコマンドのボタン等を表示する。これを見た使用者は希望するコマンドを画面のボタンを押す等の入力方法により入力する(ステップ1030)。YES(入力)の場合、送信部1024で電子機器1040等の機器ID、機器認証ID、発光機ID、発光機認証ID、ステップ1030のユーザコマンド等からなる送信データ列をBTLE(Blue Tooth Low Energy)の送受信部1021を介して送信する。
 発光機1003はBTLE送受部1004の受信部1007で「送信データ列」を受信し、割り込み処理部1011で、「送信データ列」を受信したことを検出する(YES)と「送信データ列+ID+送信データフラグ=1」のデータを本発明の変調部で変調し、LED等の発光部1016から光送信する。Noの場合は発光機ID等を連続的に送る。
 前述のように、この電子機器1040は既に発光機1003からの信号を受信できることを実際に受信して確認しているので確実に受信できる。
 この場合、割り込み処理部1011では、送信データ列の中に発光機IDが含まれるため、そのIDの発光機の光照射範囲内に送信対象の電子機器が存在することがわかる。従って、他の発光機から信号を送ることなく、電子機器がある極めて狭い位置にある発光機のみから送られるため、電波空間を効率的に使うことができる。
 この方式を採用しない場合、ブルートゥース信号は遠くまで届くため、電子機器とは異なる他の位置にある発光機から光信号が送られてしまう。従って、ある発光機が発光期間中には、送信したい他の電子機器への光送信ができなくなる、もしくは妨害を与えるため、この方式による解決策は効果がある。
 次に電子機器の誤動作対策を述べる。
 フォトセンサ1041で、ステップ1042で光信号を受信する。まず、発光機IDをチェックするため、別の発光機IDの発光信号は除去できるため誤作動が減る。
 本発明では、送信データ列1009には受信すべき電子機器の機器IDと機器認証IDが含まれる。従ってステップ1043で機器認証IDと機器IDがこの電子機器1040のIDかをチェックするので、誤動作しない。別の電子機器1040aへ送信された信号を誤って処理し、電子レンジ等の誤作動を防止できるという効果がある。
 ユーザコマンドの実行の誤作動を防止する方法を述べる。
 ステップ1044で送信フラグ=1の時、ユーザコマンドがあると判断し、0の時は停止する。1の時、ユーザデータ列の機器ID、認証IDを認証してから、ユーザコマンド等の送信データ列を実行する、例えば、レシピを取り出し、画面に表示し、使用者がボタンを押せば、レシピすなわち600wを3分、200wを1分、スチーム調理を2分といった動作を誤動作することなく開始する。
 ユーザコマンドを実行すると、電子レンジの場合、2.4GHzの電磁ノイズを発生する。これを低減するため、スマートフォンを介して、ブルートゥースやWi-Fiで命令を受け、動作する場合、間欠駆動部1061により間欠的、例えば2秒間には100msの程度、電子レンジの出力を止める。この間にブルートゥースやWi-Fi802.11n等の通信が可能となる。例えばレンジを止めない時は、スマートフォンからBTLEで発光機1003に停止命令を妨害される。一方、本発明では妨害電波の影響を受けないで送れ、光発光信号によりレンジを停止したり、レンジのレシピの変更をすることができる。
 本実施の形態の特長が1つ数円位のコストのフォトセンサ1041を、表示部のついた電子機器に追加するだけで、クラウドと連携したスマートフォンと双方向の通信ができるため、低コストの白物家電に搭載しスマート家電化することができるという効果がある。ただし、実施の形態として白物家電を用いたが、表示部のついたPOS端末でもよいし、スーパーマーケットの電子値札板でもパソコンでも同様の効果が得られる。
 また、この実施の形態では電子機器の上部にある照明器からしか発光機IDを受信できない。受信領域が狭いため、発光機毎にWi-Fi等の小さいゾーンIDを規定し、各々のゾーンの中で位置の下記のIDを割り当てることにより、発光部のIDの桁数を減らすという効果もある。この場合、本発明の前述のPPMやFSK、FDMを用いて送信する発光機のIDの桁数が減ることにより、小さな光源から光信号を受信したり、早くIDを取得したり、遠くの光源のデータを受信できる等の効果がある。
 (実施の形態29)
 可視光発信機器から可視光IDを受信する際、可視光ID受信までに時間を要するため、ユーザは可視光ID受信を一定時間待たなければならず、また可視光ID受信に失敗する場合が生じることが課題である。前記課題は、ユニークに特定可能な可視光IDはビット列長が長いために生じる。特に、周波数変調方式を採用する可視光発信機器では頻繁に発生する。
 本実施の形態では、モバイル端末の現在いるエリアを特定して、予め可視光IDの一部分を先行して取得することで、可視光IDの受光時にユーザがモバイル端末に対して実施するモバイル端末の現在いるエリアを検知して、可視光IDの取得先発光機器をユーザの意図に応じた機器に限定することが可能となる手段を提供する。
 また、モバイル端末の現在いるエリアのような明示的なユーザ操作以外にも、モバイル端末の筐体姿勢を検知することで自動的に可視光IDの取得先発光機器の限定や、モバイル端末に複数搭載されるカメラのいずれかを利用するかを決定する等にも利用できるため、ユーザの暗示的な意図をくみ取ることも可能となる。
 以下、本実施の形態について詳細に説明する。
 図620は、本発明のシステム構成を示す図である。図620では、モバイル端末(B0101)内が備える前面カメラ(B0106)、または、背面カメラ(B0107)を用いて、可視光発信機器(B0120)が発光する可視光を受光して、可視光ID受光処理手段(B0105)で可視光IDへの変換処理を実施する。
 一方、可視光IDを選別するための情報として、モバイル端末(B0101)に対するユーザの持つモバイル端末が現在いるエリアを用いる。モバイル端末の現在いるエリアを取得するために、モバイル端末(B0101)が備えるセンシング手段(B0103)から取得したセンシングデータを用いる。センシング手段(B0103)から取得したセンシングデータを用いてエリア検出手段(B0102)がモバイル端末の現在いるエリアに関する情報を検出する。
 問合せID生成手段(B0104)は、エリア検出手段(B0102)にて特定されたユーザの持つモバイル端末が現在いるエリアのIDをエリアID情報サーバ(B0141)へ通信手段(B0108)を介して問合せる。エリアID情報サーバ(B0141)は、モバイル端末(B0101)から受信したエリアに関する情報を受信する。エリアに関する情報は、通信手段(B0142)を介して、エリア情報判定手段(B0143)へ渡される。エリア情報判定手段(B0143)は、エリアID情報保持手段(B0144)の保持情報とモバイル端末(B0101)から受信したエリアに関する情報を照合して、エリアIDを判定した後、通信手段(B0142)を介して、モバイル端末(B0101)へエリアIDを送信する。
 問合せID生成手段(B0104)は、前記エリアID情報サーバ(B0141)から受信したエリアIDと可視光ID受光処理手段(B0105)を用いて受光した可視光IDを合わせて問合せIDを生成した後、通信手段(B0108)へ可視光IDに対応する情報取得を依頼することで、公衆ネットワーク(B0130)を介して、ID対応情報変換サーバ(B0111)からIDに対応する情報を取得する。
 但し、問合せID生成手段(B0104)は、エリアIDと可視光IDを合わせたIDが、所定の問合せIDの条件を満たさない場合には、補間ID生成手段(B0110)を用いて、問合せIDの不足部分を補間するためのIDを生成する。補間ID生成手段(B0110)は、センシング手段(B0103)を用いたモバイル端末(B0101)の姿勢検出による補間ID生成や、ユーザ情報保持手段(B0151)を用いたユーザ属性に基づく補間ID生成を行う。
 ID対応情報変換サーバ(B0111)の通信手段(B0112)が、モバイル端末(B0101)の通信手段(B0108)から情報取得要求受付けた場合、変換情報判定手段(B0113)にて受信した可視光IDに対応する可視光ID対応情報をID対応情報保持手段(B0114)から取得する。
 ID対応情報保持手段(B0114)は、取得した可視光ID対応情報を通信手段(B0112)へ渡すことで、通信手段(B0112)が公衆ネットワーク(B0130)を介して、モバイル端末(B0101)へ可視光ID対応情報を送信する。
 図621は、モバイル端末(B0101)のエリア検出処理フローチャートである。
 ステップSB0201で開始して、ステップSB0202でエリア検出手段(B0102)を開始して、センシング手段(B0103)からの通知を監視することで、モバイル端末(B0101)がいるエリアを算出準備を行い、ステップSB0203でエリア検出手段(B0102)がモバイル端末がいるエリアを検知したかどうかを確認し、NOの場合は再度確認し、YESの場合はステップSB0204に進む。ステップSB0204でエリア検出手段(B0102)は、問合せID生成手段(B0104)に対して検出したモバイル端末のエリア情報を渡して、ステップSB0205で問合せID生成手段(B0104)は、エリア検出手段(B0102)から受取ったエリア情報をエリアID情報サーバ(B0141)へ送信して、ステップSB0206(1)に進む。
 図622は、モバイル端末(B0101)からエリアID情報を要求された場合のエリアID情報サーバ(B0411)内の処理フローチャートである。
 ステップSB0206(1)からステップSB0301へ進み、エリアID情報サーバ(B0411)の通信手段(B0412)がモバイル端末(B0101)の検出したエリア情報を受信したかどうかを確認して、NOの場合は再度確認し、YESの場合はステップSB0302へ進み、通信手段(B0412)が受信したエリア情報をエリア情報判定手段(B0413)へ渡して、ステップSB0303でエリア情報判定手段(B0413)が通知されたエリア情報に対応するIDをエリアID情報保持手段(B0414)へ問合せて、ステップSB0304でエリアID情報保持手段(B0414)の図637で示すテーブル内に通知されたエリア情報に合致する情報が存在するかどうかを確認して、YESの場合はステップSB0305に進み、ステップSB0305でエリアID情報保持手段(B0414)は図637で示すテーブル内から該当するエリアIDをエリア情報判定手段(B0413)へ通知して、ステップSB0306でエリア情報判定手段(B0413)はID対応情報通知を生成して、通信手段(B0412)へ渡して、ステップSB0307に進む。ステップSB0304でNOの場合はステップSB0308に進み、エリアID情報保持手段(B0414)はテーブル内に存在しない旨をエリア情報判定手段(B0413)へ通知して、ステップSB0309でエリア情報判定手段(B0413)はID対応情報無し通知を生成して、通信手段(B0412)へ渡して、ステップSB0307に進む。ステップSB0307で通信手段(B0412)はエリアID要求元のモバイル端末(B0101)へエリア情報判定手段(B0413)から受取ったID情報を返して、ステップSB0308(2)へ進む。
 図623は、モバイル端末(B0101)がエリアID情報サーバ(B0411)からエリアID情報を受信した際の処理フローチャートである。
 ステップSB0308(2)からステップSB0401へ進み、通信手段(B0108)は、エリアID情報サーバ(B0411)から受信したエリアID情報を問合せID生成手段(B0104)へ渡して、ステップSB0402で問合せID生成手段(B0104)は、エリア検出手段(B0102)から新たなエリア情報が提供されるまでの間、エリアID情報を保持して、ステップSB0403(3)へ進む。
 図624は、モバイル端末(B0101)が可視光発信機器(B0120)からID受光する際の処理フローチャートである。
 ステップSB0403(3)からステップSB0501へ進み、可視光ID受光処理手段(B0105)は可視光ID受光に用いるカメラのシャッタースピードを上げて、カメラからの入力を待って、ステップSB0502で問合せID生成手段(B0104)が可視光ID受光処理手段(B0105)から可視光ID受光の通知を受けたかどうかを確認して、NOの場合はステップSB0501へ戻る。YESの場合はステップSB0503へ進み、受光した可視光IDは全ビット(128ビット)揃っているかどうかを確認して、YESの場合はステップSB0506(4)へ進む。NOの場合はステップSB0504へ進み、受光した可視光IDとエリアID情報サーバ(B0141)から受信したエリアID情報を合わせると全ビット(128ビット)揃っているかどうかを確認して、NOの場合はステップSB0507(5)へ進む。YESの場合はステップSB0505へ進み、問合せID生成手段(B0104)は保持するエリアID情報と受光した可視光IDを合わせたIDを生成して、YESの場合はステップSB0506(4)へ進む。
 図625は、モバイル端末(B0101)が可視光ID対応情報を要求する際の処理フローチャートである。
 ステップSB0506(4)からステップSB0601へ進み、問合せID生成手段(B0104)は、通知された可視光IDに関する情報取得のために、通信手段(B0108)へ情報取得依頼をして、ステップSB0602で通信手段(B0108)が、公衆ネットワーク(B0130)を介してサーバへID対応情報取得を行い、ステップSB0603(6)に進む。
 図626は、ID対応情報サーバ(B0111)がモバイル端末(B0101)からID対応情報を要求された場合の処理フローチャートである。
 ステップSB0603(6)からステップSB0702へ進み、ID対応情報サーバ(B0111)の通信手段(B0112)がID対応情報要求を受信したかどうかを確認して、NOの場合は再度確認する。YESの場合はステップSB0703に進み、通信手段(B0112)が受信したIDを変換情報判定手段(B0113)へ通知して、ステップSB0704で変換情報判定手段(B0113)が通知されたIDの対応情報をID対応情報保持手段(B0114)へ問合せて、ステップSB0705でID対応情報保持手段(B0114)の図629で示すテーブル内に通知されたIDが存在するかどうかを確認して、YESの場合はステップSB0706に進み、ID対応情報保持手段(B0114)は図629で示すテーブル内から該当する列のデータを変換情報判定手段(B0113)へ通知してステップSB0707で変換情報判定手段(B0113)はID対応情報通知を生成して、通信手段(B0112)へ渡して、ステップSB0708へ進む。ステップSB0702でNOの場合はステップSB0709に進み、ID対応情報保持手段(B0114)はテーブル内に存在しない旨を変換情報判定手段(B0113)へ通知して、ステップSB0710で変換情報判定手段(B0113)はID対応情報無し通知を生成して、通信手段(B0112)へ渡して、ステップSB0708へ進む。ステップSB0708で通信手段(B0112)はID対応情報要求元のモバイル端末(B0101)へ変換情報判定手段(B0113)から受取った情報を返して、ステップSB0711(7)に進む。
 図627は、モバイル端末(B0101)が可視光発信機器(B0120)から短いIDを受光した際の処理フローチャートである。
 ステップSB0507(5)からステップSB0801へ進み、問合せID生成手段(B0104)は、可視光ID受光処理手段(B0105)に対して受光IDが前面カメラ(B0106)または背面カメラ(B0107)のいずれかで取得したIDかについて問合せて、ステップSB0802で可視光ID受光処理手段(B0105)は、問合せID生成手段(B0104)に対して、受光IDが前面カメラ(B0106)または背面カメラ(B0107)のいずれかについて応答して、ステップSB0803で問合せID生成手段(B0104)は、補間ID生成手段(B0110)に対して、受光IDに追加して付与する補間IDを要求して、ステップSB0804で補間ID生成手段(B0110)は、センシング手段(B0103)から受取るセンシングデータやユーザ情報保持手段(B0151)が保持する情報を用いて、補間IDを生成し、問合せID生成手段(B0104)へ渡して、ステップSB0805で問合せID生成手段(B0104)は、保持するエリアID情報と受光した可視光IDと補間IDとを合わせたIDを生成して、ステップSB0506(4)に進む。
 図628は、モバイル端末(B0101)の表示時の処理フローチャートである。
 ステップSB0711(7)から、ステップSB0901に進み、モバイル端末(B0101)の通信手段(B0108)が、公衆ネットワーク(B0130)を介してサーバからID対応情報を受信して、ステップSB0902でモバイル端末(B0101)の通信手段(B0108)は、問合せID生成手段(B0104)へ受信したID対応情報を渡して、ステップSB0903で問合せID生成手段(B0104)が表示手段(B0109)に対して、可視光IDを受光したことを通知して、ステップSB0904で表示手段(B0109)は、受け取った通知内容で可能な部分に関して表示を行い、ステップSB0905で終了する。
 図629は、補足ID生成手段(B0110)がユーザ属性に基づく補足IDを生成する処理フローチャートである。本処理フローチャートでは、図635で示すユーザ属性のテーブルと、図636で示す補間IDとユーザ属性の対応テーブルを用いる。
 ステップB1001で開始して、ステップB1002で補間ID生成手段(B0110)は、ユーザ情報保持手段(B0151)が保持するすべてのユーザ属性を読み込んで、ステップB1003で補間ID生成手段(B0110)は、補間IDを選定するために自らが保持する補間IDとユーザ属性の対応テーブルを取り出して(但し、上記テーブルを補間ID生成手段が保持していない場合は、ネットワークを介して外部サーバから読み込んでも良い)、ステップB1004でユーザ情報保持手段(B0151)から読み込んだ1つ以上のユーザ属性それぞれに対して、上記テーブルで定義された補間IDを対応させて、ステップB1005でユーザ属性保持手段(B0151)から読み込んだユーザ属性全てに対して、補間IDとの対応を確認したかどうかを確認して、NOの場合はステップB1004に戻る。YESの場合はステップB1006へ進み、対応するユーザ属性が最も多い補間IDを、本モバイル端末を利用するユーザに合った補間IDであると判定し、問合せID手段へ渡して、ステップB1007で終了する。
 図630は、補足ID生成手段(B0110)がセンシング手段と受信カメラに基づき可視光発信機器(B0120)の設置位置を特定する処理フローチャートである。本処理フローチャートは、図632で示す状況下での可視光発信機器の位置特定を想定している。
 ステップB1101で開始して、ステップB1102で補間ID生成手段(B0110)は、モバイル端末が可視光発信機器(B0120)からID受信した際のモバイル端末のX、Y、Z軸方向の傾きをセンシング手段から受け取る加速度センサやジャイロセンサ、地磁気センサの値から推定して、ステップB1103で補間ID生成手段(B0110)は、問合せID生成手段(B0104)から可視光IDを受け取る際に、本可視光IDがモバイル端末の前面カメラまたは背面カメラのいずれかで受信したIDかについての情報を取り出して、ステップB1104で、前記B1102で推定したモバイル端末の傾きと前記B1103で取り出したID受信を行ったカメラ情報とに基づき、可視光発信機器(B0120)の位置を特定して、ステップB1105(8)へ進む。
 図631は、補足ID生成手段が(B0110)可視光発信機器の設置位置に基づき補間IDを生成する処理フローチャートである。
 ステップB1105(8)からステップB1201へ進み、補間ID生成手段(B0110)は、可視光発信機器(B0120)の設置位置に応じた補間IDを選別するために、自らが保持する補間IDと可視光発信機器位置の対応テーブルを取り出して(但し、上記テーブルを補間ID生成手段が保持していない場合は、ネットワークを介して外部サーバ等から読み込んでも良い)、ステップB1202で特性した可視光発信機器(B0120)の設置位置に対応する補間IDを上記テーブルより取得して問合せID手段へ渡して、ステップB1203で終了する。
 図632と図633と図634は、図630と図631のフローチャートで示す補間ID生成手段(B0110)が可視光発信機器の設置位置に基づき補間ID生成を行う場合の詳細を示す。
 図632は、モバイル端末(B0101)を使用しているユーザを取り巻く可視光発信機器(B0120)を表す図である。
 B1302は天井に設置された照明等の可視光発信機器であり、B1303はユーザ前方に設置されたサイネージ等の可視光発信機器であり、B1304はユーザ後方に設置されたサイネージ等の可視光発信機器であり、B1305は床に設置された照明等の可視光発信機器である。
 モバイル端末(B0101)の傾き角度R(B1301)、かつ、可視光IDを受信したカメラが前面カメラ(B0106)や背面カメラ(B0107)のいずれかであるか、についての情報を用いてB1302、B1303、B1304、B1305のいずれの可視光発信機器から受信したIDであるかを特定する。
 図633は、補間ID生成手段(B0110)がセンシング手段(B0103)を用いて検知した筐体姿勢と可視光IDを受信したカメラが前面カメラ(B0106)や背面カメラ(B0107)のいずれかであるかの情報に基づき可視光発信機器(B0120)の位置を特定する例である。
 また、モバイル端末(B0101)はセンシング手段(B0103)より筐体姿勢を検知して、前面カメラ(B0106)や背面カメラ(B0107)でのみ可視光(B1101)の受光を行うことで、反射光等による不正動作の誘発を軽減することができ、また、電力消費を抑えることができる。例えば、モバイル端末(B0101)の筐体姿勢を角度B1102で示すように45度以上傾けた場合は前面カメラ(B0106)のみを起動し、角度(B1403)の示すように45度より小さな傾きの場合は背面カメラ(B0107)のみを起動するような制御を行う。
 図634は、補間ID生成手段(B0110)が機器位置に基づく補間IDを選定するために用いるテーブルの一例である。
 B1501は利用したカメラを表す列であり、B1502は図632で示すモバイル端末(B0101)の傾き角度R(B1301)である。B1503は、B1502及びB1503の情報に基づき推定される可視光発信機器(B1503)の位置である。
 例として、B1504の行を説明すると、前面カメラを利用して受信した可視光IDであり、モバイル端末の角度は315度から360度または0度から45度の範囲であるため、モバイル端末(B0101)を使用するユーザの後方に設置される図632で示すB1304の可視光発信機器であると判定できる。更に、この場合の補間IDは、1C1であると特定できる。
 図635は、ユーザ情報保持手段(B0151)の保持するユーザ属性テーブルの一例である。
 B1601はユーザ情報を表す氏名や性別等の属性名を示す列であり、B1602は属性名に対応する各ユーザの属性値を示す列である。
 図636は、補間ID生成手段(B0110)がユーザ属性に基づく補間IDを選定するために用いるテーブルの一例である。
 B1701は補間IDを示す列であり、B1702はB1701の補間IDを選択する際に用いるユーザ属性である。補間ID生成手段(B0110)は、図635に示すユーザ情報を用いて、B1702で示す条件に合致するか否かを確認して、補間IDを選択する。
 例えば、図635に示すユーザ情報は、B1603の性別が男であり、B1604の会員ランクがプレミアムであり、年齢が35歳であることから、図636の補間ID 1B1 が選択される。
 図637は、可視光ID対応情報データ保持手段(B0114)が保持するデータテーブルの一例である。B1801は、モバイル端末(B0101)の問合せID生成手段(B0110)で生成されたIDを示す列であり、モバイル端末(B0101)が可視光発信機器(B0120)から受信した可視光IDを含めた128ビットのビット列からなる。B1802は、可視光ID対応情報を示す列であり、B1801の問合せIDに対応するURL等の各可視光IDに対応する情報である。
 図638は、エリアID情報サーバ(B0141)が保持するエリアID情報テーブルの一例である。
 無線LANアクセスポイント識別子(B1103)には、例えば、無線LANアクセスポイントの識別には、アクセスポイントの識別子SSIDや特定の無線LANアクセスポイントを複数合わせて構成される識別子ESSID等を用いる。店舗情報は入店時に、店舗内に設置されたWi-FiアクセスポイントやBluetooth通信機器からモバイル端末(B0101)が受け取る情報である。
 図639は、本実施の形態で示すユースケース図である。
 1.でユーザが店舗へ来店し、2.で店舗内の特定の売り場でモバイル端末(B0101)を取り出し、3.でモバイル端末(B0101)の画面にID対応情報変換サーバから受取った情報を表示するまでを示している。
 図640は、モバイル端末(B0101)がID対応情報変換サーバ(B0111)への問合せIDの内部構成の例である。
 問合せIDは特定の情報へWEB経由でアクセスを行うための識別番号であり、本実施の形態では、問合せID全体のビット列長を128ビットとして説明する。
 問合せIDの内部構成は、B2101で示すエリアID情報サーバ(B0141)から提供されるID120ビットと、B2102で示す可視光発信機器からの受信やモバイル端末が保持するユーザ属性情報から生成されるID8ビットから構成される。B2101は店舗やエリア等を特定するために用いるビット列であり、B2102は店舗やエリア内の任意の場所を特定するために用いるビット列である。
 なお、問合せIDの内部構成は、上記以外の110ビットと18ビット等の組み合わせであっても良い、また、B2101で示すID120ビットはエリアID情報サーバ(B0141)を介さずに可視光発信機器からの受信やモバイル端末が保持するユーザ属性情報から生成されても良い。
 図641は、モバイル端末(B0101)が問合せIDの生成を行う例である。
 例1は、エリアID情報サーバ(B0141)を介さずに可視光発信機器(B0120)から問合せID128ビットすべてをモバイル端末(B0101)にて受信する場合を示す。
 例2は、エリアID情報サーバ(B0141)から図640のB2101で示すID128ビットを受信し、可視光発信機器(B0120)から残りの8ビットを受信する場合を示す。
 例3は、エリアID情報サーバ(B0141)から図640のB2101で示すID128ビットを受信し、可視光発信機器(B0120)から4ビットを受信し、残り4ビットをモバイル端末が保持するユーザ属性情報等から生成する場合を示す。
 図642は、図641の例2の詳細ユースケースである。
 1.はユーザが店舗へ来店した際に実施されるモバイル端末(B0101)の処理であり、モバイル端末(B0101)を用いて、店舗のGPS、Wi-Fi、Bluetooth、音等の通信を用いて特定し、エリアID情報サーバへ120ビットのIDを要求する。
 2.は店舗内の特定の売り場でモバイル端末を取出した際に実施されるモバイル端末(B0101)の処理であり、可視光発信機器(B0120)より8ビットの可視光IDを受信した後、1.で受信した120ビットと受信した可視光ID8ビットを合わせた128ビットを用いて、ID対応情報変換サーバ(B0111)へ情報を要求する。
 3.はID対応情報変換サーバ(B0111)がモバイル端末(B0101)から受取った128ビットの問合せIDから応答する情報を判別して通知する。モバイル端末(B0101)は、ID対応情報変換サーバ(B0111)から受取った情報を画面へ表示する。
 図643は、図641の例3の詳細ユースケースである。
 1.はユーザが店舗へ来店した際に実施されるモバイル端末(B0101)の処理であり、モバイル端末(B0101)を用いて、店舗のGPS、Wi-Fi、Bluetooth、音等の通信を用いて特定し、エリアID情報サーバへ120ビットのIDを要求する。
 2.は店舗内の特定の売り場でモバイル端末を取出した際に実施されるモバイル端末(B0101)の処理であり、可視光発信機器(B0120)より4ビットの可視光IDを受信した後、スマホの姿勢等から、可視光発信機器(B0120)の位置を特定し、機器位置を示す補間ID4ビットを生成する。
 1.で受信した120ビットと可視光ID4ビットと補間ID4ビットを合わせた128ビットを用いて、ID対応情報変換サーバ(B0111)へ情報を要求する。
 3.ではID対応情報変換サーバ(B0111)がモバイル端末(B0101)から受取った128ビットの問合せIDから応答する情報を判別して通知する。モバイル端末(B0101)は、ID対応情報変換サーバ(B0111)から受取った情報を画面へ表示する。
 本発明は、情報通信装置等に利用でき、特に、スマートフォン、タブレット、携帯電話、スマートウォッチ、ヘッドマウントディスプレイ等の携帯端末と、エアコン、照明機器、炊飯器、テレビ、レコーダ、プロジェクタなどの家電機器との通信方法に利用される情報通信装置等に利用することができる。
 1101 テレビ
 1105 スマートフォン
 1106 電子レンジ
 1107 空気清浄機
 1201 スマートフォン
 1301 送信側装置
 1309 送信速度判定部
 1401 受信側装置
 1404 画像取得部
 1406 点滅情報取得部
 3001a モバイル端末
 3001b ドアホン宅内器
 3001c ドアホン宅外器
 3001e 宅配注文サーバ
 3001f 宅配者モバイル端末
 4040a 電子レンジテーブル
 4040b 携帯テーブル
 4040c 携帯機種テーブル
 4040d ユーザ音声特性テーブル
 4040e ユーザキーワード音声テーブル
 4040f ユーザ所有機器位置テーブル
 4040h ユーザ位置テーブル
 A11001 携帯端末
 A11002 第1の照明機器
 A11003 第2の照明機器
 A11004 第1のID格納部
 A11005 第1のエンコード部
 A11006 第1の照度パターン格納部
 A11007 第1の発光部
 A11008 第2のID格納部
 A11009 第2のエンコード部
 A11010 第2の照度パターン格納部
 A11011 第2の発光部
 A11012 受光制御部
 A11013 ID格納部
 A11014 DB管理部
 A11015 サーバ装置
 A11016 商品情報格納部
 A11017 地図情報格納部
 A11018 表示部
 A11019 状態管理部
 A11020 UI部
 A12501 第1の受光部
 A12502 第2の受光部
 A12503 セレクタ
 A12504 加速度検知部
 A12505 受光信号格納部
 A12506 デコード部
 A12507 閾値格納部
 A12701 第1の受光部
 A12702 第2の受光部
 A12703 セレクタ
 A12704 タイマ制御部
 A12705 受光信号格納部
 A12706 デコード部
 A12707 閾値格納部
 A13001 視線情報格納部
 A13002 受光制御部
 A13003 DB管理部
 A13004 サーバ装置
 A13301 視線検出部
 A13401 撮像部
 A13402 視線検出部
 B0101 モバイル端末
 B0102 エリア検出手段
 B0103 センシング手段
 B0104 問合せID生成手段
 B0105 可視光ID受光処理手段
 B0106 前面カメラ
 B0107 背面カメラ
 B0108 通信手段
 B0109 表示手段
 B0110 補間ID生成手段
 B0111 ID対応情報変換サーバ
 B0112 通信手段
 B0113 変換情報判定手段
 B0114 ID対応情報保持手段
 B0120 可視光発信機器
 B0130 公衆ネットワーク、または、機器間で一時的に確立されるアドホックネットワーク
 B0141 エリアID情報サーバ
 B0142 通信手段
 B0143 エリア情報判定手段
 B0144 エリアID情報保持手段
 B0151 ユーザ情報保持手段
 B1301 モバイル端末角度
 B1302 天井に設置された照明等の可視光発信機器
 B1303 ユーザ前方に設置されたサイネージ等の可視光発信機器
 B1304 ユーザ後方に設置されたサイネージ等の可視光発信機器
 B1305 床に設置された照明等の可視光発信機器
 B1401 可視光発光機器からの発光
 B2101 エリアを示すIDビット列
 B2102 エリア内の特定の場所を示すIDビット列
 K10 情報通信装置
 K11 決定部
 K12 送信部
 K20 情報通信装置
 K21 露光時間設定部
 K22 輝線画像取得部
 K23 情報取得部
 K24 扉制御部

Claims (10)

  1.  輝度変化によって信号を送信する情報通信方法であって、
     送信対象の信号を変調することによって、輝度変化のパターンを決定する決定ステップと、
     決定された輝度変化のパターンにしたがって複数の発光体が輝度変化することによって、前記送信対象の信号を送信する送信ステップとを含み、
     前記複数の発光体が配置された面において、前記複数の発光体の外にあって輝度変化しない非輝度変化領域が、前記面の垂直方向および水平方向のうちの少なくとも一方に沿って前記複数の発光体の間を通って前記面を横断することがないように、前記複数の発光体が前記面上に配置されている
     情報通信方法。
  2.  前記送信ステップでは、
     前記複数の発光体のうちの少なくとも1つの発光体の明るさのレベルが、予め定められた明るさである基準レベルよりも小さいか、または前記基準レベル以下であるかを判定する明るさ判定ステップを含み、
     前記送信ステップでは、
     前記発光体の明るさのレベルが前記基準レベルよりも小さい、または前記基準レベル以下であると判定されたときには、前記発光体からの前記送信対象の信号の送信を停止する
     請求項1に記載の情報通信方法。
  3.  前記送信ステップでは、
     前記複数の発光体のうちの少なくとも1つの発光体の明るさのレベルが、予め定められた明るさである基準レベルよりも大きいか、または前記基準レベル以上であるかを判定する明るさ判定ステップを含み、
     前記送信ステップでは、
     前記発光体の明るさのレベルが前記基準レベルよりも大きい、または前記基準レベル以上であると判定されたときには、前記発光体からの前記送信対象の信号の送信を開始する
     請求項1または2に記載の情報通信方法。
  4.  前記決定ステップでは、
     前記送信対象の信号のうちの一部であるボディに対応する第1の輝度変化のパターンと、前記ボディを特定するためのヘッダを示す第2の輝度変化のパターンとを決定し、
     前記送信ステップでは、
     前記第1の輝度変化のパターン、前記第2の輝度変化のパターン、前記第1の輝度変化のパターンの順に、それぞれの前記パターンにしたがって輝度変化することによって、前記ヘッダおよび前記ボディを送信する
     請求項1~3の何れか1項に記載の情報通信方法。
  5.  前記決定ステップでは、
     さらに、前記ヘッダと異なる他のヘッダを示す第3の輝度変化のパターンを決定し、
     前記送信ステップでは、
     前記第1の輝度変化のパターン、前記第2の輝度変化のパターン、前記第1の輝度変化のパターン、前記第3の輝度変化のパターンの順に、それぞれの前記パターンにしたがって輝度変化することによって、前記ヘッダ、前記ボディおよび前記他のヘッダを送信する
     請求項4に記載の情報通信方法。
  6.  前記決定ステップでは、
     所定の輝度値が現れるタイミングが互いに隣接する2つの輝度変化のパターンが、同一のパリティの信号単位に割り当てられていないように、前記タイミングが互いに異なる輝度変化のパターンが、互いに異なる信号単位のそれぞれに対して予め割り当てられてあり、
     前記送信対象の信号に含まれる信号単位のそれぞれに対して、当該信号単位に割り当てられた輝度変化のパターンを決定する
     請求項1~5の何れか1項に記載の情報通信方法。
  7.  前記情報通信方法は、さらに、
     前記複数の発光体のうちの少なくとも1つの発光体をイメージセンサによって撮影することによって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記発光体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップと、
     前記イメージセンサが、輝度変化する前記発光体を、設定された前記露光時間で撮影することによって、前記輝線を含む画像である輝線画像を取得する輝線画像取得ステップと、
     取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップとを含み、
     前記情報取得ステップは、
     前記輝線のパターンのうち、前記第2の輝度変化のパターンに対応する第1の部分を、前記輝線に垂直な方向に挟む第2の部分と第3の部分とを特定する部分特定ステップと、
     前記第2および第3の部分によって特定されるデータを復調することにより前記ボディを取得するボディ取得ステップとを含み、
     前記部分特定ステップでは、
     前記輝線に垂直な方向の、前記第2の部分の長さと前記第3の部分の長さとの和が、前記ボディに対応付けられた長さとなるように、前記第2の部分と前記第3の部分とを特定する
     請求項4に記載の情報通信方法。
  8.  前記情報通信方法は、さらに、
     予め定められたリズムで光るフラッシュを受けたか否かを判定するフラッシュ判定ステップを含み、
     前記送信ステップでは、
     前記フラッシュを受けたと判定された場合には、前記複数の発光体は輝度を上げて輝度変化する
     請求項1~7の何れか1項に記載の情報通信方法。
  9.  前記情報通信方法は、さらに、
     前記複数の発光体のうちの少なくとも1つの発光体が、人の目で視認されるように点滅する点滅ステップを含み、
     前記発光体では、前記送信ステップと前記点滅ステップとが交互に繰り返し行なわれる
     請求項1~8の何れか1項に記載の情報通信方法。
  10.  輝度変化によって信号を送信する情報通信装置であって、
     送信対象の信号を変調することによって、輝度変化のパターンを決定する決定部と、
     決定された輝度変化のパターンにしたがって複数の発光体が輝度変化することによって、前記送信対象の信号を送信する送信部とを備え、
     前記複数の発光体が配置された面において、前記複数の発光体の外にあって輝度変化しない非輝度変化領域が、前記面の垂直方向および水平方向のうちの少なくとも一方に沿って前記複数の発光体の間を通って前記面を横断することがないように、前記複数の発光体が前記面上に配置されている
     情報通信装置。
PCT/JP2013/007708 2012-12-27 2013-12-27 情報通信方法 WO2014103340A1 (ja)

Priority Applications (13)

Application Number Priority Date Filing Date Title
BR112015014733A BR112015014733A2 (pt) 2012-12-27 2013-12-27 método de comunicação de informações
JP2014554163A JP6294235B2 (ja) 2012-12-27 2013-12-27 プログラム、制御方法および情報通信装置
AU2013367893A AU2013367893B2 (en) 2012-12-27 2013-12-27 Information communication method
CN201380067922.8A CN105874728B (zh) 2012-12-27 2013-12-27 信息通信方法及信息通信装置
EP13869275.1A EP2940902B1 (en) 2012-12-27 2013-12-27 Information communication method
SG11201505027UA SG11201505027UA (en) 2012-12-27 2013-12-27 Information communication method
MX2015008253A MX343578B (es) 2012-12-27 2013-12-27 Metodo de comunicacion de informacion.
CN201480056651.0A CN105637783B (zh) 2013-12-27 2014-12-25 信息处理方法、接收方法和信息处理装置
JP2015554573A JP6345697B2 (ja) 2013-12-27 2014-12-25 情報処理プログラム、受信プログラムおよび情報処理装置
AU2014371943A AU2014371943B2 (en) 2013-12-27 2014-12-25 Information processing program, receiving program and information processing device
CA2927809A CA2927809A1 (en) 2013-12-27 2014-12-25 Information processing program, receiving program and information processing device
EP14874981.5A EP3089381B1 (en) 2013-12-27 2014-12-25 Information processing program, receiving program and information processing device
PCT/JP2014/006448 WO2015098108A1 (ja) 2013-12-27 2014-12-25 情報処理プログラム、受信プログラムおよび情報処理装置

Applications Claiming Priority (36)

Application Number Priority Date Filing Date Title
US201261746315P 2012-12-27 2012-12-27
JP2012286339 2012-12-27
JP2012-286339 2012-12-27
US61/746,315 2012-12-27
US201361805978P 2013-03-28 2013-03-28
JP2013-070740 2013-03-28
JP2013070740 2013-03-28
US61/805,978 2013-03-28
US201361810291P 2013-04-10 2013-04-10
JP2013082546 2013-04-10
US61/810,291 2013-04-10
JP2013-082546 2013-04-10
JP2013110445 2013-05-24
JP2013-110445 2013-05-24
US201361859902P 2013-07-30 2013-07-30
JP2013158359 2013-07-30
US61/859,902 2013-07-30
JP2013-158359 2013-07-30
US201361872028P 2013-08-30 2013-08-30
JP2013180729 2013-08-30
JP2013-180729 2013-08-30
US61/872,028 2013-08-30
US201361895615P 2013-10-25 2013-10-25
JP2013222827 2013-10-25
US61/895,615 2013-10-25
JP2013-222827 2013-10-25
US201361896879P 2013-10-29 2013-10-29
JP2013-224805 2013-10-29
JP2013224805 2013-10-29
US61/896,879 2013-10-29
US201361904611P 2013-11-15 2013-11-15
JP2013-237460 2013-11-15
JP2013237460 2013-11-15
US61/904,611 2013-11-15
JP2013242407 2013-11-22
JP2013-242407 2013-11-22

Publications (1)

Publication Number Publication Date
WO2014103340A1 true WO2014103340A1 (ja) 2014-07-03

Family

ID=51020454

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2013/007708 WO2014103340A1 (ja) 2012-12-27 2013-12-27 情報通信方法
PCT/JP2013/007709 WO2014103341A1 (ja) 2012-12-27 2013-12-27 情報通信方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/007709 WO2014103341A1 (ja) 2012-12-27 2013-12-27 情報通信方法

Country Status (10)

Country Link
US (6) US9085927B2 (ja)
EP (2) EP2940902B1 (ja)
JP (3) JP5590431B1 (ja)
CN (2) CN105874728B (ja)
AU (1) AU2013367893B2 (ja)
BR (1) BR112015014733A2 (ja)
CL (1) CL2015001829A1 (ja)
MX (1) MX343578B (ja)
SG (2) SG11201505027UA (ja)
WO (2) WO2014103340A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017169066A1 (ja) * 2016-03-28 2017-10-05 ソニー株式会社 電子機器

Families Citing this family (159)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11265082B2 (en) 2007-05-24 2022-03-01 Federal Law Enforcement Development Services, Inc. LED light control assembly and system
US9414458B2 (en) 2007-05-24 2016-08-09 Federal Law Enforcement Development Services, Inc. LED light control assembly and system
US9100124B2 (en) 2007-05-24 2015-08-04 Federal Law Enforcement Development Services, Inc. LED Light Fixture
US9455783B2 (en) 2013-05-06 2016-09-27 Federal Law Enforcement Development Services, Inc. Network security and variable pulse wave form with continuous communication
US20080317475A1 (en) 2007-05-24 2008-12-25 Federal Law Enforcement Development Services, Inc. Led light interior room and building communication system
US8890773B1 (en) 2009-04-01 2014-11-18 Federal Law Enforcement Development Services, Inc. Visible light transceiver glasses
EP2538584B1 (en) * 2011-06-23 2018-12-05 Casio Computer Co., Ltd. Information Transmission System, and Information Transmission Method
JP5845462B2 (ja) * 2011-11-07 2016-01-20 パナソニックIpマネジメント株式会社 通信システムおよびそれに用いる伝送ユニット
US9166810B2 (en) 2012-05-24 2015-10-20 Panasonic Intellectual Property Corporation Of America Information communication device of obtaining information by demodulating a bright line pattern included in an image
US8988574B2 (en) 2012-12-27 2015-03-24 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using bright line image
US10523876B2 (en) 2012-12-27 2019-12-31 Panasonic Intellectual Property Corporation Of America Information communication method
US8913144B2 (en) 2012-12-27 2014-12-16 Panasonic Intellectual Property Corporation Of America Information communication method
JP5606655B1 (ja) 2012-12-27 2014-10-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報通信方法
US10303945B2 (en) 2012-12-27 2019-05-28 Panasonic Intellectual Property Corporation Of America Display method and display apparatus
US9608725B2 (en) 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Information processing program, reception program, and information processing apparatus
US10951310B2 (en) 2012-12-27 2021-03-16 Panasonic Intellectual Property Corporation Of America Communication method, communication device, and transmitter
WO2014103329A1 (ja) 2012-12-27 2014-07-03 パナソニック株式会社 可視光通信信号表示方法及び表示装置
US10530486B2 (en) 2012-12-27 2020-01-07 Panasonic Intellectual Property Corporation Of America Transmitting method, transmitting apparatus, and program
JP5608834B1 (ja) 2012-12-27 2014-10-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 映像表示方法
JP5590431B1 (ja) 2012-12-27 2014-09-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報通信方法
WO2014103333A1 (ja) 2012-12-27 2014-07-03 パナソニック株式会社 表示方法
US8922666B2 (en) 2012-12-27 2014-12-30 Panasonic Intellectual Property Corporation Of America Information communication method
US9088360B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9087349B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9560284B2 (en) 2012-12-27 2017-01-31 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information specified by striped pattern of bright lines
US9608727B2 (en) 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Switched pixel visible light transmitting method, apparatus and program
US9843386B2 (en) * 2013-04-19 2017-12-12 Philips Lighting Holding B.V. Receiving coded visible light in presence of interference
US10379551B2 (en) 2013-07-10 2019-08-13 Crowdcomfort, Inc. Systems and methods for providing augmented reality-like interface for the management and maintenance of building systems
US10070280B2 (en) 2016-02-12 2018-09-04 Crowdcomfort, Inc. Systems and methods for leveraging text messages in a mobile-based crowdsourcing platform
US10541751B2 (en) * 2015-11-18 2020-01-21 Crowdcomfort, Inc. Systems and methods for providing geolocation services in a mobile-based crowdsourcing platform
US11394462B2 (en) 2013-07-10 2022-07-19 Crowdcomfort, Inc. Systems and methods for collecting, managing, and leveraging crowdsourced data
US9625922B2 (en) 2013-07-10 2017-04-18 Crowdcomfort, Inc. System and method for crowd-sourced environmental system control and maintenance
US10796085B2 (en) * 2013-07-10 2020-10-06 Crowdcomfort, Inc. Systems and methods for providing cross-device native functionality in a mobile-based crowdsourcing platform
US10841741B2 (en) 2015-07-07 2020-11-17 Crowdcomfort, Inc. Systems and methods for providing error correction and management in a mobile-based crowdsourcing platform
CN103476169B (zh) * 2013-07-18 2016-08-24 浙江生辉照明有限公司 一种基于led照明装置的室内导航控制系统及方法
CN105408939B (zh) * 2013-07-23 2021-08-24 皇家飞利浦有限公司 用于配准成像设备与跟踪设备的配准系统
DE102013014536B4 (de) * 2013-09-03 2015-07-09 Sew-Eurodrive Gmbh & Co Kg Verfahren zur Übertragung von Information und Vorrichtung zur Durchführung des Verfahrens
CN103593340B (zh) * 2013-10-28 2017-08-29 余自立 自然表达信息处理方法、处理及回应方法、设备及系统
WO2015075937A1 (ja) 2013-11-22 2015-05-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理プログラム、受信プログラムおよび情報処理装置
CA2934784A1 (en) * 2013-12-27 2015-07-02 Panasonic Intellectual Property Corporation Of America Visible light communication method, identification signal, and receiver
US10024679B2 (en) 2014-01-14 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9915545B2 (en) 2014-01-14 2018-03-13 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10248856B2 (en) 2014-01-14 2019-04-02 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9578307B2 (en) 2014-01-14 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10360907B2 (en) 2014-01-14 2019-07-23 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9668294B2 (en) * 2014-01-14 2017-05-30 Qualcomm Incorporated Method and apparatus for bluetooth low energy suspend and resume
US9629774B2 (en) 2014-01-14 2017-04-25 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US20150198941A1 (en) 2014-01-15 2015-07-16 John C. Pederson Cyber Life Electronic Networking and Commerce Operating Exchange
WO2015112702A1 (en) * 2014-01-22 2015-07-30 Hamilton Christopher Chad Portable social communication client
KR102180236B1 (ko) * 2014-02-20 2020-11-18 삼성전자 주식회사 전자 장치의 입력 처리 방법 및 장치
CN105100633A (zh) * 2014-05-22 2015-11-25 宁波舜宇光电信息有限公司 虹膜识别应用中的补光方法及装置
US9479250B2 (en) * 2014-05-30 2016-10-25 Comcast Cable Communications, Llc Light based location system
US20150358079A1 (en) * 2014-06-04 2015-12-10 Grandios Technologies, Llc Visible light communication in a mobile electronic device
CN104038899B (zh) * 2014-06-11 2019-02-22 北京智谷睿拓技术服务有限公司 邻近关系确定方法及装置
EP2961157A1 (en) * 2014-06-23 2015-12-30 Thomson Licensing Message inserting method in a rendering of a video content by a display device, reading method, devices and programs associated
US9735868B2 (en) * 2014-07-23 2017-08-15 Qualcomm Incorporated Derivation of an identifier encoded in a visible light communication signal
JP6379811B2 (ja) * 2014-07-30 2018-08-29 カシオ計算機株式会社 表示装置、表示制御方法及び表示制御プログラム
US10024667B2 (en) 2014-08-01 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable earpiece for providing social and environmental awareness
JP6494214B2 (ja) * 2014-08-11 2019-04-03 キヤノン株式会社 固体撮像装置、撮像システム及び固体撮像装置の駆動方法
WO2016025488A2 (en) 2014-08-12 2016-02-18 Abl Ip Holding Llc System and method for estimating the position and orientation of a mobile communications device in a beacon-based positioning system
US9922236B2 (en) 2014-09-17 2018-03-20 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable eyeglasses for providing social and environmental awareness
US10024678B2 (en) 2014-09-17 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable clip for providing social and environmental awareness
JP6448121B2 (ja) * 2014-09-25 2019-01-09 池上通信機株式会社 光無線通信装置、光無線通信方法および光無線通信システム
JP6670996B2 (ja) * 2014-09-26 2020-03-25 パナソニックIpマネジメント株式会社 表示装置及び表示方法
KR101571719B1 (ko) * 2014-10-02 2015-11-25 엘지전자 주식회사 로봇 청소기
KR20160041147A (ko) * 2014-10-06 2016-04-18 삼성전자주식회사 제어 방법 및 그 방법을 처리하는 전자장치
EP3208779B1 (en) * 2014-10-15 2022-05-04 Sony Group Corporation System and device for secured communication of identification information between two devices
WO2016063730A1 (ja) * 2014-10-21 2016-04-28 ソニー株式会社 送信装置及び送信方法、受信装置及び受信方法、並びに、プログラム
US10798428B2 (en) * 2014-11-12 2020-10-06 Sony Corporation Method and system for providing coupon
WO2016075948A1 (ja) 2014-11-14 2016-05-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 再生方法、再生装置およびプログラム
EP3023807B1 (en) * 2014-11-18 2016-12-28 Siemens Aktiengesellschaft A method for determining a distance between an FMCW ranging device and a target
US20160171504A1 (en) * 2014-12-11 2016-06-16 Schneider Electric Industries Sas Blink code product registration
JP6357427B2 (ja) * 2015-01-16 2018-07-11 株式会社デンソー 車両用制御システム
US9576460B2 (en) 2015-01-21 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable smart device for hazard detection and warning based on image and audio data
US10490102B2 (en) 2015-02-10 2019-11-26 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for braille assistance
US10560188B2 (en) * 2015-02-17 2020-02-11 Kookmin University Industry Academy Cooperation Foundation Image sensor communication system and communication method using rolling shutter modulation
US9851091B2 (en) * 2015-02-18 2017-12-26 Lg Electronics Inc. Head mounted display
US9586318B2 (en) 2015-02-27 2017-03-07 Toyota Motor Engineering & Manufacturing North America, Inc. Modular robot with smart device
US9354318B1 (en) 2015-03-05 2016-05-31 Horizon Hobby, LLC Optical spread spectrum detection and ranging
JP6425173B2 (ja) 2015-03-06 2018-11-21 パナソニックIpマネジメント株式会社 照明装置及び照明システム
US9677901B2 (en) 2015-03-10 2017-06-13 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for providing navigation instructions at optimal times
US9811752B2 (en) 2015-03-10 2017-11-07 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable smart device and method for redundant object identification
US9972216B2 (en) 2015-03-20 2018-05-15 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for storing and playback of information for blind users
US20160316046A1 (en) * 2015-04-21 2016-10-27 Jianhui Zheng Mobile phone with integrated retractable image capturing device
US10412173B2 (en) 2015-04-22 2019-09-10 Panasonic Avionics Corporation Passenger seat pairing system
US9793987B2 (en) * 2015-07-02 2017-10-17 Nokia Technologies Oy Method and apparatus for recognizing a device
US10715653B2 (en) 2015-07-07 2020-07-14 Crowdcomfort, Inc. Systems and methods for providing geolocation services
US10171646B2 (en) 2015-07-07 2019-01-01 Crowdcomfort, Inc. Systems and methods for providing geolocation services
US9898039B2 (en) 2015-08-03 2018-02-20 Toyota Motor Engineering & Manufacturing North America, Inc. Modular smart necklace
WO2017025854A1 (en) * 2015-08-07 2017-02-16 Tridonic Gmbh & Co Kg Commissioning device for commissioning installed building technology devices
US20170046950A1 (en) * 2015-08-11 2017-02-16 Federal Law Enforcement Development Services, Inc. Function disabler device and system
JP6579884B2 (ja) * 2015-09-24 2019-09-25 キヤノン株式会社 通信装置、制御方法、及びプログラム
CN105243799B (zh) * 2015-09-30 2018-07-27 小米科技有限责任公司 安全提醒处理方法和装置
CN107113058B (zh) 2015-11-06 2020-12-18 松下电器(美国)知识产权公司 可见光信号的生成方法、信号生成装置以及介质
EP3376772B1 (en) * 2015-11-12 2023-01-25 Panasonic Intellectual Property Corporation of America Display method, program and display device
WO2017122924A1 (ko) * 2016-01-12 2017-07-20 국민대학교 산학협력단 S2-psk 광학 무선 통신 방법 및 장치
JP6240235B2 (ja) * 2016-02-19 2017-11-29 ヤフー株式会社 判定装置、判定方法および判定プログラム
US10024680B2 (en) 2016-03-11 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Step based guidance system
TWI564680B (zh) * 2016-03-23 2017-01-01 The control method of the scanning light source of the exposure machine and the computer program product
US20170323252A1 (en) * 2016-05-05 2017-11-09 Wal-Mart Stores, Inc. Rf permeability measure of product out of stocks
US9958275B2 (en) 2016-05-31 2018-05-01 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for wearable smart device communications
JP6792351B2 (ja) * 2016-06-01 2020-11-25 キヤノン株式会社 符号化装置、撮像装置、符号化方法、及びプログラム
JP2018000308A (ja) * 2016-06-28 2018-01-11 フォーブ インコーポレーテッド 映像表示装置システム、心拍特定方法、心拍特定プログラム
US20180012318A1 (en) * 2016-07-06 2018-01-11 Panasonic Intellectual Property Management Co., Ltd. Method and system for remote order submission via a light identifier
EP3486714B1 (en) * 2016-07-15 2021-03-10 Nec Corporation Transmitter and bias adjustment method
US10561519B2 (en) 2016-07-20 2020-02-18 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable computing device having a curved back to reduce pressure on vertebrae
CN108344988B (zh) * 2016-08-30 2022-05-10 李言飞 一种测距的方法、装置及系统
US10432851B2 (en) 2016-10-28 2019-10-01 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable computing device for detecting photography
CN110114988B (zh) 2016-11-10 2021-09-07 松下电器(美国)知识产权公司 发送方法、发送装置及记录介质
TWI736702B (zh) * 2016-11-10 2021-08-21 美商松下電器(美國)知識產權公司 資訊通訊方法、資訊通訊裝置及程式
US10012505B2 (en) 2016-11-11 2018-07-03 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable system for providing walking directions
US10521669B2 (en) 2016-11-14 2019-12-31 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for providing guidance or feedback to a user
US10218855B2 (en) 2016-11-14 2019-02-26 Alarm.Com Incorporated Doorbell call center
CA3043678A1 (en) * 2016-11-16 2018-05-24 Meir GOLAN System, methods and software for user authentication
EP3456154A1 (en) * 2016-12-20 2019-03-20 Wizconnected Company Limited A device, system and method for controlling operation of lighting units
KR102000067B1 (ko) * 2017-01-16 2019-09-17 엘지전자 주식회사 이동 로봇
US10172760B2 (en) 2017-01-19 2019-01-08 Jennifer Hendrix Responsive route guidance and identification system
CA3057002A1 (en) * 2017-03-20 2018-09-27 Telefonaktiebolaget Lm Ericsson (Publ) Secure network connection resume
US10484091B2 (en) * 2017-06-29 2019-11-19 Osram Sylvania Inc. Light-based fiducial communication
JP7213494B2 (ja) * 2017-07-11 2023-01-27 大学共同利用機関法人情報・システム研究機構 情報伝送システム
US20200211223A1 (en) * 2017-07-19 2020-07-02 Signify Holding B.V. System and method for providing spatial information of an object to a device
EP3658947B1 (en) 2017-07-26 2021-04-07 Signify Holding B.V. A system for communicating a presence of a device via a light source
US10242390B2 (en) 2017-07-31 2019-03-26 Bank Of America Corporation Digital data processing system for controlling automated exchange zone systems
JP2019036400A (ja) * 2017-08-10 2019-03-07 パナソニックIpマネジメント株式会社 照明システム、操作装置、および、照明システムのマッピング方法
CN109410891B (zh) * 2017-08-17 2021-01-01 群创光电股份有限公司 显示器以及其操作方法
US20190088108A1 (en) * 2017-09-18 2019-03-21 Qualcomm Incorporated Camera tampering detection
WO2019076596A1 (en) * 2017-10-19 2019-04-25 Telefonaktiebolaget Lm Ericsson (Publ) TRANSMITTER, NETWORK NODE, METHOD AND COMPUTER PROGRAM FOR TRANSMITTING BINARY INFORMATION
WO2019086178A1 (en) 2017-11-03 2019-05-09 Telefonaktiebolaget Lm Ericsson (Publ) Receiver, communication apparatus, method and computer program for receiving binary information
US10909830B1 (en) 2017-11-07 2021-02-02 Pica Product Development, Llc Personal emergency alert system, method and device
US10999560B2 (en) * 2017-11-07 2021-05-04 Readiness Systems, LLC Remote electronic monitoring infrastructure
US10694338B2 (en) 2017-11-07 2020-06-23 Pica Product Development, Llc Cellular automated external defibrillator (AED) tracker
US10798541B2 (en) 2017-11-07 2020-10-06 Pica Product Development, Llc Systems, methods and devices for remote trap monitoring
JP2019132673A (ja) * 2018-01-31 2019-08-08 沖電気工業株式会社 端末装置及び位置検出システム
JP6990819B2 (ja) * 2018-03-07 2022-01-12 富士フイルムヘルスケア株式会社 超音波撮像装置及び方法
CN109040423B (zh) * 2018-06-27 2021-06-25 努比亚技术有限公司 一种通知信息处理方法、设备及计算机可读存储介质
WO2020031260A1 (ja) * 2018-08-07 2020-02-13 三菱電機株式会社 制御装置、制御システム、報知方法及びプログラム
JP7006539B2 (ja) * 2018-08-23 2022-01-24 日本電信電話株式会社 受信装置、受信方法、およびプログラム
DE102018006988B3 (de) 2018-09-04 2019-08-14 Sew-Eurodrive Gmbh & Co Kg System und Verfahren zum Betreiben dieses Systems, aufweisend eine erste Kommunikationseinheit und eine zweite Kommunikationseinheit
CN109600771B (zh) * 2018-11-26 2020-09-08 清华大学 一种WiFi设备到ZigBee设备的跨协议通信方法及装置
CN109872241A (zh) * 2019-01-28 2019-06-11 太仓煜和网络科技有限公司 交友平台数据分销系统及分销方法
US10699576B1 (en) * 2019-01-30 2020-06-30 Po-Han Shih Travel smart collision avoidance warning system
US11552706B2 (en) 2019-03-29 2023-01-10 Advanced Functional Fabrics Of America, Inc. Optical communication methods and systems using motion blur
US11928682B2 (en) * 2019-05-15 2024-03-12 Worldpay, Llc Methods and systems for generating a unique signature based on user movements in a three-dimensional space
CN110146105B (zh) * 2019-05-29 2022-05-20 阿波罗智联(北京)科技有限公司 路线导航方法、智能家居设备、服务器、电子设备
JP7298329B2 (ja) * 2019-06-24 2023-06-27 オムロン株式会社 マスタモジュールおよび機器制御装置の制御プログラム
WO2021006433A1 (ko) 2019-07-08 2021-01-14 국민대학교산학협력단 광학 카메라 통신 시스템의 통신 방법 및 장치
JP7345100B2 (ja) * 2019-08-02 2023-09-15 パナソニックIpマネジメント株式会社 位置推定装置、位置推定システム、及び、位置推定方法
JP7475830B2 (ja) * 2019-09-17 2024-04-30 キヤノン株式会社 撮像制御装置および撮像制御方法
DE102019007311B3 (de) 2019-10-21 2020-09-24 SEW-EURODRlVE GmbH & Co. KG Empfänger für ein System zur Lichtübertragung, System zur Lichtübertragung und Verfahren zum Betrieb eines Systems zur Lichtübertragung
US11418956B2 (en) 2019-11-15 2022-08-16 Panasonic Avionics Corporation Passenger vehicle wireless access point security system
CN111240471B (zh) * 2019-12-31 2023-02-03 维沃移动通信有限公司 信息交互方法及穿戴式设备
US11445369B2 (en) * 2020-02-25 2022-09-13 International Business Machines Corporation System and method for credential generation for wireless infrastructure and security
WO2021190856A1 (de) * 2020-03-24 2021-09-30 Sew-Eurodrive Gmbh & Co. Kg Empfänger für ein system zur lichtübertragung, system zur lichtübertragung und verfahren zum betrieb eines systems zur lichtübertragung
CN114064963A (zh) * 2020-08-03 2022-02-18 北京字跳网络技术有限公司 信息显示方法及设备
CN112613117B (zh) * 2020-12-11 2022-08-12 成都飞机工业(集团)有限责任公司 一种航空口盖由展开尺寸向3d快速构建设计方法
US11907988B2 (en) * 2020-12-15 2024-02-20 Crowdcomfort, Inc. Systems and methods for providing geolocation services in a mobile-based crowdsourcing platform
US20230327853A1 (en) * 2022-04-07 2023-10-12 Bank Of America Corporation System and method for generating a block in a blockchain network using a voice-based hash value generated by a voice signature
DE102023002931A1 (de) 2022-08-10 2024-02-15 Sew-Eurodrive Gmbh & Co Kg Verfahren zur Bestimmung einer passenden Zeilenabtastfrequenz und System zur Lichtübertragung
WO2024137696A1 (en) * 2022-12-22 2024-06-27 Arizona Board Of Regents On Behalf Of The University Of Arizona Method and system for optical transmission and crosstalk reduction in lidar using polarized light

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002290335A (ja) 2001-03-28 2002-10-04 Sony Corp 光空間伝送装置
JP2006121466A (ja) * 2004-10-22 2006-05-11 Nec Corp 撮像素子、撮像モジュール及び携帯端末
JP2010226172A (ja) * 2009-03-19 2010-10-07 Casio Computer Co Ltd 情報復元装置及び情報復元方法
JP2012010269A (ja) * 2010-06-28 2012-01-12 Outstanding Technology:Kk 可視光通信送信機
JP2012169189A (ja) * 2011-02-15 2012-09-06 Koito Mfg Co Ltd 発光モジュールおよび車両用灯具
JP2013223047A (ja) * 2012-04-13 2013-10-28 Toshiba Corp 伝送システム、送信装置および受信装置

Family Cites Families (248)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4120171A (en) 1977-01-13 1978-10-17 Societe Nationale Elf Aquitaine (Production) Apparatus and method of connecting a flexible line to a subsea station
JPS5931477B2 (ja) 1977-01-27 1984-08-02 日本電気株式会社 印刷装置
JPS595896B2 (ja) 1977-06-15 1984-02-07 エプソン株式会社 残像効果型表示装置
JPS5521125A (en) 1978-08-02 1980-02-15 Hitachi Ltd Method of mounting semiconductor device
JPS5541153A (en) 1978-09-15 1980-03-22 Fujitsu Ltd Dc power supply system
US6062481A (en) 1986-04-18 2000-05-16 Cias, Inc. Optimal error-detecting, error-correcting and other coding and processing, particularly for bar codes, and applications therefor such as counterfeit detection
JPH087567B2 (ja) 1986-08-12 1996-01-29 株式会社日立製作所 画像表示装置
US4807031A (en) 1987-10-20 1989-02-21 Interactive Systems, Incorporated Interactive video method and apparatus
US6347163B2 (en) 1994-10-26 2002-02-12 Symbol Technologies, Inc. System for reading two-dimensional images using ambient and/or projected light
JPH08509582A (ja) 1993-05-03 1996-10-08 ピンジャロー プロプライエタリー リミテッド サブリミナル・メッセージ表示システム
US6345104B1 (en) 1994-03-17 2002-02-05 Digimarc Corporation Digital watermarks and methods for security documents
JPH07200428A (ja) 1993-12-28 1995-08-04 Canon Inc 通信装置
CN2187863Y (zh) 1994-02-03 1995-01-18 清华大学 用以观测快速运动物流的跟踪摄象-录象装置
US5484998A (en) 1994-03-16 1996-01-16 Decora Industries, Inc. Bar-coded card with coding and reading system
ATE418233T1 (de) 1995-05-08 2009-01-15 Digimarc Corp Verfahren zur einbettung von maschinenlesbarem steganographischen kode
JP3949679B2 (ja) 1995-05-08 2007-07-25 ディジマーク コーポレイション ステガノグラフィシステム
US5822310A (en) * 1995-12-27 1998-10-13 Ericsson Inc. High power short message service using broadcast control channel
US5765176A (en) 1996-09-06 1998-06-09 Xerox Corporation Performing document image management tasks using an iconic image having embedded encoded information
US5974348A (en) 1996-12-13 1999-10-26 Rocks; James K. System and method for performing mobile robotic work operations
US20050169643A1 (en) 1997-01-02 2005-08-04 Franklin Philip G. Method and apparatus for the zonal transmission of data using building lighting fixtures
WO1999044336A1 (fr) 1998-02-26 1999-09-02 Sony Corporation Appareil de traitement de donnees et support lisible par ordinateur
WO2001093473A2 (en) 2000-05-31 2001-12-06 Optinetix (Israel) Ltd. Systems and methods for distributing information through broadcast media
KR100434459B1 (ko) * 2000-06-27 2004-06-05 삼성전자주식회사 이동통신 시스템에서 패킷의 전송 제어방법 및 장치
JP2002144984A (ja) 2000-11-17 2002-05-22 Matsushita Electric Ind Co Ltd 車載用電子機器
US6831643B2 (en) 2001-04-16 2004-12-14 Lucent Technologies Inc. Method and system for reconstructing 3D interactive walkthroughs of real-world environments
US20020171639A1 (en) 2001-04-16 2002-11-21 Gal Ben-David Methods and apparatus for transmitting data over graphic displays
US20030026422A1 (en) 2001-06-19 2003-02-06 Usa Video Interactive Corporation Method and apparatus for digitally fingerprinting videos
JP3861113B2 (ja) 2001-08-30 2006-12-20 株式会社日立プラズマパテントライセンシング 画像表示方法
JP2003179556A (ja) 2001-09-21 2003-06-27 Casio Comput Co Ltd 情報伝送方式、情報伝送システム、撮像装置、および、情報伝送方法
EP1439649A4 (en) 2001-10-23 2008-03-19 Sony Corp DATA COMMUNICATION SYSTEM, DATA TRANSMITTER AND DATA RECEIVER
US8054357B2 (en) 2001-11-06 2011-11-08 Candela Microsystems, Inc. Image sensor with time overlapping image output
JP3829743B2 (ja) 2002-03-22 2006-10-04 株式会社デンソーウェーブ 光学的情報記録媒体及び光学的情報読取装置
JP4207490B2 (ja) 2002-08-06 2009-01-14 ソニー株式会社 光通信装置、光通信データ出力方法、および光通信データ解析方法、並びにコンピュータ・プログラム
JP4200435B2 (ja) 2002-09-10 2008-12-24 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
EP1564914B1 (en) 2002-10-24 2007-09-05 Nakagawa Laboratories, Inc. Illumination light communication device
JP3827082B2 (ja) 2002-10-24 2006-09-27 株式会社中川研究所 放送システム及び電球、照明装置
US20040101309A1 (en) 2002-11-27 2004-05-27 Beyette Fred R. Optical communication imager
JP4233371B2 (ja) 2003-04-10 2009-03-04 株式会社京三製作所 踏切障害物検知装置
JP2004334269A (ja) 2003-04-30 2004-11-25 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP4389871B2 (ja) 2003-06-27 2009-12-24 株式会社ニコン 基準パターン抽出方法とその装置、パターンマッチング方法とその装置、位置検出方法とその装置及び露光方法とその装置
JP3974629B2 (ja) 2003-11-19 2007-09-12 株式会社ナナオ 液晶表示装置の経年変化補償方法、液晶表示装置の経年変化補償装置、コンピュータプログラム及び液晶表示装置
JP4082689B2 (ja) 2004-01-23 2008-04-30 株式会社 日立ディスプレイズ 液晶表示装置
KR101110009B1 (ko) * 2004-02-27 2012-02-06 교세라 가부시키가이샤 촬상 장치 및 화상 생성 방법
DE112005000738T5 (de) 2004-03-29 2007-04-26 Evolution Robotics, Inc., Pasadena Verfahren und Vorrichtung zur Positionsbestimmung unter Verwendung von reflektierten Lichtquellen
US20050265731A1 (en) 2004-05-28 2005-12-01 Samsung Electronics Co.; Ltd Wireless terminal for carrying out visible light short-range communication using camera device
KR100617679B1 (ko) 2004-05-28 2006-08-28 삼성전자주식회사 카메라 장치를 이용하여 가시광선 근거리 통신을 수행하는무선 단말기
KR100818392B1 (ko) 2004-05-31 2008-04-02 가시오게산키 가부시키가이샤 정보수신장치, 정보전송장치, 정보수신방법 및 기록매체
US7706917B1 (en) 2004-07-07 2010-04-27 Irobot Corporation Celestial navigation system for an autonomous robot
US7830357B2 (en) 2004-07-28 2010-11-09 Panasonic Corporation Image display device and image display system
WO2006013755A1 (ja) 2004-08-05 2006-02-09 Japan Science And Technology Agency 空間光通信を用いた情報処理システム及び空間光通信システム
US20060044741A1 (en) 2004-08-31 2006-03-02 Motorola, Inc. Method and system for providing a dynamic window on a display
WO2006033263A1 (ja) * 2004-09-22 2006-03-30 Kyocera Corporation 光送信装置及び光通信システム
JP2006092486A (ja) 2004-09-27 2006-04-06 Nippon Signal Co Ltd:The Led信号灯器
US7728893B2 (en) 2004-11-02 2010-06-01 Japan Science And Technology Agency Imaging device and method for reading signals from such device
CN101099186B (zh) 2004-11-12 2012-01-18 Vfs技术有限公司 微粒探测器,系统与方法
US7787012B2 (en) 2004-12-02 2010-08-31 Science Applications International Corporation System and method for video image registration in a heads up display
CN101088295A (zh) 2004-12-22 2007-12-12 皇家飞利浦电子股份有限公司 可分级编码
CA2609877C (en) 2005-01-25 2015-05-26 Tir Technology Lp Method and apparatus for illumination and communication
KR20060087744A (ko) 2005-01-31 2006-08-03 삼성전자주식회사 이동통신 단말기에서 잔상효과를 이용한 데이터 표시장치및 방법
JP3939327B2 (ja) 2005-02-03 2007-07-04 三菱電機株式会社 データ送信及び受信方法、データ送信及び受信装置
JP4789481B2 (ja) 2005-02-16 2011-10-12 シャープ株式会社 画像表示装置及びデータ伝達システム
JP4506502B2 (ja) 2005-02-23 2010-07-21 パナソニック電工株式会社 照明光伝送システム
JP4627084B2 (ja) * 2005-04-12 2011-02-09 パイオニア株式会社 通信システム、通信装置及び方法、並びにコンピュータプログラム
JP2006319545A (ja) 2005-05-11 2006-11-24 Fuji Photo Film Co Ltd ディスプレイ装置および可視光送受信システム
JP4692991B2 (ja) 2005-05-20 2011-06-01 株式会社中川研究所 データ送信装置及びデータ受信装置
JP4660818B2 (ja) 2005-06-03 2011-03-30 清水建設株式会社 照明システム
US20080290988A1 (en) * 2005-06-18 2008-11-27 Crawford C S Lee Systems and methods for controlling access within a system of networked and non-networked processor-based systems
WO2007004530A1 (ja) 2005-06-30 2007-01-11 Pioneer Corporation 照明光通信装置および照明光通信方法
JP2007019936A (ja) 2005-07-08 2007-01-25 Fujifilm Holdings Corp 可視光通信システム、撮像装置、可視光通信準備方法及び可視光通信準備プログラム
JP2007036833A (ja) 2005-07-28 2007-02-08 Sharp Corp 電子透かし埋め込み方法及び埋め込み装置、電子透かし検出方法及び検出装置
JP4765027B2 (ja) 2005-07-29 2011-09-07 国立大学法人 奈良先端科学技術大学院大学 情報処理装置及び情報処理システム
US7570246B2 (en) 2005-08-01 2009-08-04 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Method and apparatus for communication using pulse-width-modulated visible light
JP2007049584A (ja) 2005-08-12 2007-02-22 Casio Comput Co Ltd 宣伝支援システム及びプログラム
JP4483744B2 (ja) 2005-08-26 2010-06-16 ソニー株式会社 撮像装置及び撮像制御方法
JP4643403B2 (ja) 2005-09-13 2011-03-02 株式会社東芝 可視光通信システム及びその方法
JP2007082098A (ja) 2005-09-16 2007-03-29 Nakagawa Kenkyusho:Kk 送信データ割り当て方法および光通信システム
JP4939024B2 (ja) 2005-09-27 2012-05-23 京セラ株式会社 光通信装置、及び光通信方法
JP4325604B2 (ja) 2005-09-30 2009-09-02 日本電気株式会社 可視光制御装置、可視光通信装置、可視光制御方法及びプログラム
JP4739914B2 (ja) 2005-10-28 2011-08-03 京セラ株式会社 通信装置、通信システム及び通信方法
JP2007150643A (ja) 2005-11-28 2007-06-14 Sony Corp 固体撮像素子、固体撮像素子の駆動方法および撮像装置
JP4371108B2 (ja) 2005-12-27 2009-11-25 ソニー株式会社 撮像装置および方法、記録媒体、並びにプログラム
JP4600297B2 (ja) 2006-01-11 2010-12-15 ソニー株式会社 オブジェクトの関連情報の記録システム,オブジェクトの関連情報の記録方法,テレビジョン受像機及び表示制御方法
JP4868217B2 (ja) 2006-01-25 2012-02-01 ソニー株式会社 撮像装置および方法、記録媒体、並びにプログラム
US20060242908A1 (en) * 2006-02-15 2006-11-02 Mckinney David R Electromagnetic door actuator system and method
JP2007221570A (ja) 2006-02-17 2007-08-30 Casio Comput Co Ltd 撮像装置及びそのプログラム
US7835649B2 (en) * 2006-02-24 2010-11-16 Cisco Technology, Inc. Optical data synchronization scheme
JP2007228512A (ja) 2006-02-27 2007-09-06 Kyocera Corp 可視光通信システムおよび情報処理装置
JP4980633B2 (ja) 2006-03-16 2012-07-18 エヌ・ティ・ティ・コミュニケーションズ株式会社 画像表示装置、受信装置、画像表示制御方法およびデータ受信方法
JP2007256496A (ja) 2006-03-22 2007-10-04 Fujifilm Corp 液晶表示装置
JP5045980B2 (ja) 2006-03-28 2012-10-10 カシオ計算機株式会社 情報伝送システム、移動体の制御装置、移動体の制御方法、及び、プログラム
JP4610511B2 (ja) 2006-03-30 2011-01-12 京セラ株式会社 可視光受信装置および可視光受信方法
JP2007274566A (ja) 2006-03-31 2007-10-18 Nakagawa Kenkyusho:Kk 照明光通信装置
JP4767747B2 (ja) 2006-04-27 2011-09-07 京セラ株式会社 可視光通信のための発光装置およびその制御方法
US7599789B2 (en) 2006-05-24 2009-10-06 Raytheon Company Beacon-augmented pose estimation
DE102006024421B3 (de) 2006-05-24 2007-10-25 Siemens Ag Verfahren und Anordnung zur Übertragung von Daten mit wenigstens zwei Strahlungsquellen
US9323055B2 (en) 2006-05-26 2016-04-26 Exelis, Inc. System and method to display maintenance and operational instructions of an apparatus using augmented reality
JP5162850B2 (ja) 2006-07-10 2013-03-13 セイコーエプソン株式会社 プロジェクタ及び画像表示システム
JP5256552B2 (ja) 2006-07-10 2013-08-07 Nltテクノロジー株式会社 液晶表示装置、該液晶表示装置に用いられる駆動制御回路及び駆動方法
JP4873623B2 (ja) 2006-07-28 2012-02-08 Kddi株式会社 カラー画像へのバーコード埋め込み方法および装置、およびコンピュータプログラム
EP1887526A1 (en) 2006-08-11 2008-02-13 Seac02 S.r.l. A digitally-augmented reality video system
WO2008023583A1 (fr) 2006-08-21 2008-02-28 Panasonic Corporation Dispositif de transmission spatiale optique utilisant un capteur d'image
US7965274B2 (en) 2006-08-23 2011-06-21 Ricoh Company, Ltd. Display apparatus using electrophoretic element
JP4996175B2 (ja) * 2006-08-29 2012-08-08 株式会社東芝 入室管理システムおよび入室管理方法
US7714892B2 (en) 2006-11-08 2010-05-11 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Systems, devices and methods for digital camera image stabilization
US20100020970A1 (en) 2006-11-13 2010-01-28 Xu Liu System And Method For Camera Imaging Data Channel
JP2008124922A (ja) 2006-11-14 2008-05-29 Matsushita Electric Works Ltd 照明装置、および照明システム
US20080122994A1 (en) * 2006-11-28 2008-05-29 Honeywell International Inc. LCD based communicator system
JP5288579B2 (ja) 2006-12-13 2013-09-11 ルネサスエレクトロニクス株式会社 表示装置及び、コントローラドライバ
JP2008187615A (ja) 2007-01-31 2008-08-14 Canon Inc 撮像素子、撮像装置、制御方法、及びプログラム
JP4265662B2 (ja) 2007-02-06 2009-05-20 株式会社デンソー 車両用通信装置
US20080205848A1 (en) 2007-02-28 2008-08-28 Victor Company Of Japan, Ltd. Imaging apparatus and reproducing apparatus
US8144990B2 (en) 2007-03-22 2012-03-27 Sony Ericsson Mobile Communications Ab Translation and display of text in picture
JP5031427B2 (ja) 2007-03-30 2012-09-19 三星電子株式会社 可視光送信装置、可視光受信装置、可視光通信システム、及び可視光通信方法
JP2008252466A (ja) 2007-03-30 2008-10-16 Nakagawa Kenkyusho:Kk 光通信システム、送信装置および受信装置
JP2008269486A (ja) 2007-04-24 2008-11-06 Olympus Corp 撮像機器及びその認証方法
JP4935492B2 (ja) 2007-05-11 2012-05-23 株式会社豊田中央研究所 光通信装置
JP2008292397A (ja) 2007-05-28 2008-12-04 Shimizu Corp 可視光通信を用いた位置情報提供システム
WO2009008418A1 (ja) 2007-07-11 2009-01-15 Sony Corporation 表示装置、映像信号処理方法、およびプログラム
JP2009033338A (ja) 2007-07-25 2009-02-12 Olympus Imaging Corp 撮像装置
JP2009036571A (ja) 2007-07-31 2009-02-19 Toshiba Corp 可視光通信システムを利用した位置測定システム、位置測定装置及び位置測定方法
JP4867874B2 (ja) 2007-09-12 2012-02-01 富士通株式会社 画像処理プログラム、画像処理装置、および画像処理方法
JP5048440B2 (ja) 2007-09-27 2012-10-17 株式会社豊田中央研究所 光通信システム
JP2009117892A (ja) 2007-11-01 2009-05-28 Toshiba Corp 可視光通信装置
JP4998232B2 (ja) 2007-11-27 2012-08-15 セイコーエプソン株式会社 撮像装置及び映像記録装置
US9058764B1 (en) 2007-11-30 2015-06-16 Sprint Communications Company L.P. Markers to implement augmented reality
JP5285301B2 (ja) 2008-02-26 2013-09-11 パナソニック株式会社 光伝送システム
JP2009212768A (ja) 2008-03-04 2009-09-17 Victor Co Of Japan Ltd 可視光通信光送信装置、情報提供装置、及び情報提供システム
US8587680B2 (en) 2008-03-10 2013-11-19 Nec Corporation Communication system, transmission device and reception device
WO2009113415A1 (ja) 2008-03-10 2009-09-17 日本電気株式会社 通信システム、制御装置及び受信装置
JP2009232083A (ja) 2008-03-21 2009-10-08 Mitsubishi Electric Engineering Co Ltd 可視光通信システム
US8542906B1 (en) 2008-05-21 2013-09-24 Sprint Communications Company L.P. Augmented reality image offset and overlay
JP5171393B2 (ja) 2008-05-27 2013-03-27 パナソニック株式会社 可視光通信システム
WO2009144853A1 (ja) 2008-05-30 2009-12-03 シャープ株式会社 照明装置、表示装置、並びに導光板
US20100107189A1 (en) 2008-06-12 2010-04-29 Ryan Steelberg Barcode advertising
US8731301B1 (en) 2008-09-25 2014-05-20 Sprint Communications Company L.P. Display adaptation based on captured image feedback
JP2010103746A (ja) 2008-10-23 2010-05-06 Hoya Corp 撮像装置
JP2010117871A (ja) 2008-11-13 2010-05-27 Sony Ericsson Mobile Communications Ab パターン画像の読み取り方法、パターン画像の読み取り装置、情報処理方法およびパターン画像の読み取りプログラム
US8690335B2 (en) 2008-11-17 2014-04-08 Nec Corporation Display apparatus which displays the first image and the synthesized image with circular polarizations having different senses of rotation from each other
JP5185087B2 (ja) 2008-11-25 2013-04-17 三星電子株式会社 可視光通信システム、及び信号伝送方法
KR20100059502A (ko) 2008-11-26 2010-06-04 삼성전자주식회사 가시광 통신 시스템에서 브로드캐스팅 서비스 방법 및 시스템
GB2465793A (en) 2008-11-28 2010-06-02 Sony Corp Estimating camera angle using extrapolated corner locations from a calibration pattern
JP5307527B2 (ja) 2008-12-16 2013-10-02 ルネサスエレクトロニクス株式会社 表示装置、表示パネルドライバ、及びバックライト駆動方法
JP5447391B2 (ja) 2008-12-18 2014-03-19 日本電気株式会社 ディスプレイシステム、制御装置、表示方法およびプログラム
JP2010152285A (ja) 2008-12-26 2010-07-08 Fujifilm Corp 撮像装置
JP2010232912A (ja) 2009-03-26 2010-10-14 Panasonic Electric Works Co Ltd 照明光伝送システム
JP5193124B2 (ja) 2009-04-23 2013-05-08 株式会社日立情報制御ソリューションズ 電子透かし埋め込み方法及び装置
JP2010268264A (ja) 2009-05-15 2010-11-25 Panasonic Corp 撮像素子及び撮像装置
JP2010278573A (ja) 2009-05-26 2010-12-09 Panasonic Electric Works Co Ltd 点灯制御装置、盗撮防止システム、映写機
KR20100133806A (ko) 2009-06-12 2010-12-22 삼성전자주식회사 이미지 디스플레이 방법 및 장치
JP5537841B2 (ja) 2009-06-15 2014-07-02 ビーコア株式会社 発光体及び受光体及び関連する方法
JP5515472B2 (ja) 2009-07-13 2014-06-11 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
CN101959016B (zh) 2009-07-14 2012-08-22 华晶科技股份有限公司 图像撷取装置的省电方法
US8879735B2 (en) 2012-01-20 2014-11-04 Digimarc Corporation Shared secret arrangements and optical data transfer
JP5414405B2 (ja) 2009-07-21 2014-02-12 キヤノン株式会社 画像処理装置、撮像装置及び画像処理方法
JP5394843B2 (ja) 2009-07-24 2014-01-22 三星電子株式会社 送信装置、受信装置、可視光通信システム、及び可視光通信方法
JP2011055288A (ja) 2009-09-02 2011-03-17 Toshiba Corp 可視光通信装置及びデータ受信方法
US8731406B2 (en) 2009-09-16 2014-05-20 Samsung Electronics Co., Ltd. Apparatus and method for generating high resolution frames for dimming and visibility support in visible light communication
KR101621095B1 (ko) 2009-09-16 2016-05-16 삼성전자주식회사 디스플레이를 통한 부가 정보 제공 방법 및 장치
KR101615762B1 (ko) * 2009-09-19 2016-04-27 삼성전자주식회사 다중 통신 모드를 제공하는 가시광 통신 시스템에서 가시 프레임을 출력하기 위한 방법 및 장치
TWI559763B (zh) 2009-10-01 2016-11-21 索尼半導體解決方案公司 影像取得裝置及照相機系統
JP2011097141A (ja) 2009-10-27 2011-05-12 Renesas Electronics Corp 撮像装置、撮像装置の制御方法、及びプログラム
US8831279B2 (en) 2011-03-04 2014-09-09 Digimarc Corporation Smartphone-based methods and systems
US8175617B2 (en) 2009-10-28 2012-05-08 Digimarc Corporation Sensor-based mobile search, related methods and systems
KR101654934B1 (ko) 2009-10-31 2016-09-23 삼성전자주식회사 가시광 통신 방법 및 장치
JP5246146B2 (ja) 2009-12-01 2013-07-24 コニカミノルタビジネステクノロジーズ株式会社 画像形成装置及び画像読取装置
US8848059B2 (en) 2009-12-02 2014-09-30 Apple Inc. Systems and methods for receiving infrared data with a camera designed to detect images based on visible light
US8798479B2 (en) 2009-12-03 2014-08-05 Samsung Electronics Co., Ltd. Controlling brightness of light sources used for data transmission
CN101710890B (zh) 2009-12-15 2013-01-02 华东理工大学 脉冲和ofdm双重数据调制方法
US8855496B2 (en) * 2010-01-05 2014-10-07 Samsung Electronics Co., Ltd. Optical clock rate negotiation for supporting asymmetric clock rates for visible light communication
JP5698764B2 (ja) 2010-01-15 2015-04-08 コーニンクレッカ フィリップス エヌ ヴェ 従来のカメラセンサを使用した可視光通信のためのデータ検出
US8964298B2 (en) 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US8217997B2 (en) 2010-03-16 2012-07-10 Interphase Corporation Interactive display system
JP5436311B2 (ja) 2010-04-02 2014-03-05 三菱電機株式会社 情報表示システム、情報コンテンツ配信サーバおよびディスプレイ装置
JP5802997B2 (ja) 2010-05-05 2015-11-04 ディジマーク コーポレイション 隠された画像のシグナリング
JP5750837B2 (ja) 2010-05-28 2015-07-22 カシオ計算機株式会社 情報伝送システム、情報伝送方法、受光装置、受光方法、及び、プログラム
US9183560B2 (en) 2010-05-28 2015-11-10 Daniel H. Abelow Reality alternate
JP2011254317A (ja) * 2010-06-02 2011-12-15 Sony Corp 送信装置、送信方法、受信装置、受信方法、通信システムおよび通信方法
CN102474570B (zh) 2010-06-08 2016-07-06 松下电器(美国)知识产权公司 信息显示装置、显示控制用集成电路及显示控制方法
US9183675B2 (en) 2010-08-06 2015-11-10 Bizmodeline Co., Ltd. Apparatus and method for augmented reality
JP5561860B2 (ja) 2010-08-19 2014-07-30 西日本電信電話株式会社 広告配信装置及び方法、ならびに、プログラム
WO2012026039A1 (ja) 2010-08-27 2012-03-01 富士通株式会社 電子透かし埋め込み装置、電子透かし埋め込み方法及び電子透かし埋め込み用コンピュータプログラムならびに電子透かし検出装置
US8682245B2 (en) * 2010-09-23 2014-03-25 Blackberry Limited Communications system providing personnel access based upon near-field communication and related methods
US8891977B2 (en) * 2010-09-29 2014-11-18 Supreme Architecture Ltd. Receiver chip and method for on-chip multi-node visible light communication
US8523075B2 (en) * 2010-09-30 2013-09-03 Apple Inc. Barcode recognition using data-driven classifier
US8634725B2 (en) 2010-10-07 2014-01-21 Electronics And Telecommunications Research Institute Method and apparatus for transmitting data using visible light communication
JP2012095214A (ja) 2010-10-28 2012-05-17 Canon Inc 撮像装置
JP5343995B2 (ja) 2010-11-25 2013-11-13 カシオ計算機株式会社 撮像装置、撮像制御方法及びプログラム
US9112606B2 (en) 2010-12-15 2015-08-18 Electronics And Telecommunications Research Institute Method and apparatus for transmitting and receiving data using visible light communication
TWM404929U (en) 2011-01-03 2011-06-01 Univ Kun Shan LED luminaries with lighting and communication functions
US8553146B2 (en) 2011-01-26 2013-10-08 Echostar Technologies L.L.C. Visually imperceptible matrix codes utilizing interlacing
US9571888B2 (en) 2011-02-15 2017-02-14 Echostar Technologies L.L.C. Selection graphics overlay of matrix code
CN102654400A (zh) 2011-03-01 2012-09-05 丁梅 应用于数字水准仪条码尺的伪随机条码
WO2012120853A1 (ja) 2011-03-04 2012-09-13 国立大学法人徳島大学 情報提供方法および情報提供装置
WO2012123572A1 (en) 2011-03-16 2012-09-20 Siemens Aktiengesellschaft A method and device for notification in a system for visible-light communication
JP2012195763A (ja) 2011-03-16 2012-10-11 Seiwa Electric Mfg Co Ltd 電子機器及びデータ収集システム
EP2503852A1 (en) * 2011-03-22 2012-09-26 Koninklijke Philips Electronics N.V. Light detection system and method
JP2012205168A (ja) 2011-03-28 2012-10-22 Toppan Printing Co Ltd 映像処理装置、映像処理方法及び映像処理プログラム
US9721388B2 (en) 2011-04-20 2017-08-01 Nec Corporation Individual identification character display system, terminal device, individual identification character display method, and computer program
US8256673B1 (en) 2011-05-12 2012-09-04 Kim Moon J Time-varying barcode in an active display
US9667823B2 (en) * 2011-05-12 2017-05-30 Moon J. Kim Time-varying barcode in an active display
JP2012244549A (ja) 2011-05-23 2012-12-10 Nec Commun Syst Ltd イメージセンサ通信装置と方法
JP2013029816A (ja) 2011-06-20 2013-02-07 Canon Inc 表示装置
EP2538584B1 (en) 2011-06-23 2018-12-05 Casio Computer Co., Ltd. Information Transmission System, and Information Transmission Method
US8866391B2 (en) 2011-07-26 2014-10-21 ByteLight, Inc. Self identifying modulated light source
US8334901B1 (en) * 2011-07-26 2012-12-18 ByteLight, Inc. Method and system for modulating a light source in a light based positioning system using a DC bias
US8964016B2 (en) * 2011-07-26 2015-02-24 ByteLight, Inc. Content delivery based on a light positioning system
JP2013042221A (ja) 2011-08-11 2013-02-28 Panasonic Corp 通信端末、通信方法、マーカ装置及び通信システム
US9337926B2 (en) 2011-10-31 2016-05-10 Nokia Technologies Oy Apparatus and method for providing dynamic fiducial markers for devices
GB2496379A (en) * 2011-11-04 2013-05-15 Univ Edinburgh A freespace optical communication system which exploits the rolling shutter mechanism of a CMOS camera
KR101961887B1 (ko) 2011-11-30 2019-03-25 삼성전자주식회사 무선 광통신 시스템 및 이를 이용한 무선 광통신 방법
KR20130093699A (ko) * 2011-12-23 2013-08-23 삼성전자주식회사 광정보 전송장치 및 광정보 수신장치
US20130169663A1 (en) 2011-12-30 2013-07-04 Samsung Electronics Co., Ltd. Apparatus and method for displaying images and apparatus and method for processing images
US20130212453A1 (en) 2012-02-10 2013-08-15 Jonathan Gudai Custom content display application with dynamic three dimensional augmented reality
JP2013197849A (ja) 2012-03-19 2013-09-30 Toshiba Corp 可視光通信送信装置、可視光通信受信装置および可視光通信システム
US9450671B2 (en) * 2012-03-20 2016-09-20 Industrial Technology Research Institute Transmitting and receiving apparatus and method for light communication, and the light communication system thereof
JP2013201541A (ja) * 2012-03-23 2013-10-03 Toshiba Corp 受信装置、送信装置、及び通信システム
KR101887548B1 (ko) 2012-03-23 2018-08-10 삼성전자주식회사 증강현실 서비스를 위한 미디어 파일의 처리 방법 및 장치
US8794529B2 (en) 2012-04-02 2014-08-05 Mobeam, Inc. Method and apparatus for communicating information via a display screen using light-simulated bar codes
JP2013223043A (ja) 2012-04-13 2013-10-28 Toshiba Corp 受光装置および伝送システム
JP2013223209A (ja) 2012-04-19 2013-10-28 Panasonic Corp 撮像処理装置
CN102684869B (zh) 2012-05-07 2016-04-27 深圳光启智能光子技术有限公司 基于可见光通信的解密方法和系统
WO2013166958A1 (zh) 2012-05-07 2013-11-14 深圳光启创新技术有限公司 基于可见光通信的加密、解密及加解密方法和系统
JP5902995B2 (ja) 2012-05-10 2016-04-13 株式会社フジクラ Ledチューブを用いた移動システム、移動方法及びledチューブ
WO2013171954A1 (ja) 2012-05-17 2013-11-21 パナソニック株式会社 撮像装置、半導体集積回路および撮像方法
US9166810B2 (en) 2012-05-24 2015-10-20 Panasonic Intellectual Property Corporation Of America Information communication device of obtaining information by demodulating a bright line pattern included in an image
CN102811284A (zh) 2012-06-26 2012-12-05 深圳市金立通信设备有限公司 一种语音输入自动翻译为目标语言的方法
KR101391128B1 (ko) 2012-07-06 2014-05-02 주식회사 아이디로 가시광 통신용 oled 표시 장치
US20140055420A1 (en) 2012-08-23 2014-02-27 Samsung Electronics Co., Ltd. Display identification system and display device
US20140079281A1 (en) 2012-09-17 2014-03-20 Gravity Jack, Inc. Augmented reality creation and consumption
CN104704535A (zh) 2012-10-02 2015-06-10 索尼公司 增强现实系统
WO2014057632A1 (ja) 2012-10-09 2014-04-17 パナソニック株式会社 照明器具及びそれを用いた可視光通信システム
US9667865B2 (en) 2012-11-03 2017-05-30 Apple Inc. Optical demodulation using an image sensor
US8988574B2 (en) 2012-12-27 2015-03-24 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using bright line image
US8922666B2 (en) 2012-12-27 2014-12-30 Panasonic Intellectual Property Corporation Of America Information communication method
JP5608834B1 (ja) 2012-12-27 2014-10-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 映像表示方法
US9088360B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9087349B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
WO2014103333A1 (ja) 2012-12-27 2014-07-03 パナソニック株式会社 表示方法
US8913144B2 (en) 2012-12-27 2014-12-16 Panasonic Intellectual Property Corporation Of America Information communication method
JP5590431B1 (ja) 2012-12-27 2014-09-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報通信方法
US9560284B2 (en) 2012-12-27 2017-01-31 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information specified by striped pattern of bright lines
JP5606655B1 (ja) 2012-12-27 2014-10-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報通信方法
US9608725B2 (en) 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Information processing program, reception program, and information processing apparatus
WO2014103329A1 (ja) 2012-12-27 2014-07-03 パナソニック株式会社 可視光通信信号表示方法及び表示装置
CN105027473B (zh) 2013-03-12 2017-12-08 飞利浦灯具控股公司 通信系统、照明系统以及发送信息的方法
US9705594B2 (en) 2013-03-15 2017-07-11 Cree, Inc. Optical communication for solid-state light sources
US9407367B2 (en) 2013-04-25 2016-08-02 Beijing Guo Cheng Wan Tong Information Co. Ltd Methods and devices for transmitting/obtaining information by visible light signals
JP6183802B2 (ja) * 2013-06-04 2017-08-23 ユニバーリンク株式会社 可視光受信方法及びその装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002290335A (ja) 2001-03-28 2002-10-04 Sony Corp 光空間伝送装置
JP2006121466A (ja) * 2004-10-22 2006-05-11 Nec Corp 撮像素子、撮像モジュール及び携帯端末
JP2010226172A (ja) * 2009-03-19 2010-10-07 Casio Computer Co Ltd 情報復元装置及び情報復元方法
JP2012010269A (ja) * 2010-06-28 2012-01-12 Outstanding Technology:Kk 可視光通信送信機
JP2012169189A (ja) * 2011-02-15 2012-09-06 Koito Mfg Co Ltd 発光モジュールおよび車両用灯具
JP2013223047A (ja) * 2012-04-13 2013-10-28 Toshiba Corp 伝送システム、送信装置および受信装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DAI YAMANAKA ET AL.: "An Investigation for the Adoption of Subcarrier Modulation to Wireless Visible Light Communication using Imaging Sensor", IEICE TECHNICAL REPORT TSUSHIN HOSHIKI, vol. 106, no. 450, 4 January 2007 (2007-01-04), pages 25 - 30, XP008177080 *
See also references of EP2940902A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017169066A1 (ja) * 2016-03-28 2017-10-05 ソニー株式会社 電子機器

Also Published As

Publication number Publication date
AU2013367893A1 (en) 2015-07-23
CN105874728B (zh) 2019-04-05
JP2018137744A (ja) 2018-08-30
JPWO2014103341A1 (ja) 2017-01-12
CN104956609B (zh) 2017-11-24
US10447390B2 (en) 2019-10-15
US9571191B2 (en) 2017-02-14
EP2940893A4 (en) 2015-12-09
JP6616440B2 (ja) 2019-12-04
SG11201505027UA (en) 2015-07-30
US9085927B2 (en) 2015-07-21
CN104956609A (zh) 2015-09-30
EP2940893A1 (en) 2015-11-04
WO2014103341A1 (ja) 2014-07-03
US20170099102A1 (en) 2017-04-06
EP2940902B1 (en) 2020-03-11
US9341014B2 (en) 2016-05-17
US9467225B2 (en) 2016-10-11
US20190052358A1 (en) 2019-02-14
JP6294235B2 (ja) 2018-03-14
US20140286644A1 (en) 2014-09-25
US10148354B2 (en) 2018-12-04
US20160191155A1 (en) 2016-06-30
CL2015001829A1 (es) 2015-09-11
AU2013367893A9 (en) 2016-03-24
EP2940902A4 (en) 2015-12-23
US20140290138A1 (en) 2014-10-02
BR112015014733A2 (pt) 2017-07-11
EP2940902A1 (en) 2015-11-04
CN105874728A (zh) 2016-08-17
JPWO2014103340A1 (ja) 2017-01-12
US20160352421A1 (en) 2016-12-01
SG10201610410WA (en) 2017-01-27
MX2015008253A (es) 2015-09-08
MX343578B (es) 2016-11-10
AU2013367893B2 (en) 2017-06-29
EP2940893B1 (en) 2021-05-19
JP5590431B1 (ja) 2014-09-17

Similar Documents

Publication Publication Date Title
JP6616440B2 (ja) プログラム、制御方法および情報通信装置
JP6524132B2 (ja) 情報通信方法、情報通信装置およびプログラム
JP5606653B1 (ja) 情報通信方法
JP6378511B2 (ja) 情報通信方法、情報通信装置およびプログラム
WO2014103156A1 (ja) 情報通信方法
JP5608307B1 (ja) 情報通信方法
JP5607277B1 (ja) 情報通信方法
JP6849773B2 (ja) プログラム、制御方法および制御装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13869275

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014554163

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: P815/2015

Country of ref document: AE

WWE Wipo information: entry into national phase

Ref document number: 2013869275

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: MX/A/2015/008253

Country of ref document: MX

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112015014733

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 2013367893

Country of ref document: AU

Date of ref document: 20131227

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 112015014733

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20150619