WO2016098355A1 - 送信方法、送信装置およびプログラム - Google Patents

送信方法、送信装置およびプログラム Download PDF

Info

Publication number
WO2016098355A1
WO2016098355A1 PCT/JP2015/006318 JP2015006318W WO2016098355A1 WO 2016098355 A1 WO2016098355 A1 WO 2016098355A1 JP 2015006318 W JP2015006318 W JP 2015006318W WO 2016098355 A1 WO2016098355 A1 WO 2016098355A1
Authority
WO
WIPO (PCT)
Prior art keywords
receiver
diagram illustrating
image
signal
information
Prior art date
Application number
PCT/JP2015/006318
Other languages
English (en)
French (fr)
Inventor
秀紀 青山
大嶋 光昭
幸司 中西
前田 敏行
亮裕 植木
健吾 三好
務 向井
Original Assignee
パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ filed Critical パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority to CN201580038826.XA priority Critical patent/CN106575998B/zh
Priority to EP15869564.3A priority patent/EP3236598B1/en
Publication of WO2016098355A1 publication Critical patent/WO2016098355A1/ja
Priority to HK17105226.6A priority patent/HK1231642A1/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114Indoor or close-range type systems
    • H04B10/116Visible light communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/50Transmitters
    • H04B10/516Details of coding or modulation
    • H04B10/54Intensity modulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/52Details of telephonic subscriber devices including functional features of a camera

Definitions

  • the present invention relates to a visible light signal transmission method, a transmission device, and a program.
  • Patent Literature 1 in an optical space transmission device that transmits information to free space using light, limited transmission is performed by performing communication using a plurality of monochromatic light sources of illumination light. A technology for efficiently realizing communication between devices is described in the apparatus.
  • the conventional method is limited to a case where a device to be applied has a three-color light source such as illumination.
  • the present invention solves such problems and provides a transmission method that enables communication between various devices including devices other than lighting.
  • a transmission method is a transmission method for transmitting a visible light signal according to a luminance change, and includes a determination step for determining a luminance change pattern by modulating the visible light signal, and a display.
  • a common switch control step of switching a common switch included in the light source group for commonly lighting a plurality of light sources for representing pixels in the video according to the luminance change pattern; and a plurality of light sources included in the light source group
  • the common switch is on and only during the period when the first pixel switch is on.
  • FIG. 1 is a diagram illustrating an example of an observation method of luminance of a light emitting unit in the first embodiment.
  • FIG. 2 is a diagram illustrating an example of a method of observing the luminance of the light emitting unit in the first embodiment.
  • FIG. 3 is a diagram illustrating an example of a method of observing the luminance of the light emitting unit in the first embodiment.
  • FIG. 4 is a diagram illustrating an example of a method of observing the luminance of the light emitting unit in the first embodiment.
  • FIG. 5A is a diagram illustrating an example of an observation method of luminance of a light emitting unit in Embodiment 1.
  • FIG. 5B is a diagram illustrating an example of an observation method of luminance of a light emitting unit in Embodiment 1.
  • FIG. 5A is a diagram illustrating an example of an observation method of luminance of a light emitting unit in Embodiment 1.
  • FIG. 5B is a diagram illustrating an example of an observation method of lumina
  • FIG. 5C is a diagram illustrating an example of an observation method of luminance of a light emitting unit in Embodiment 1.
  • FIG. 5D is a diagram illustrating an example of an observation method of luminance of a light emitting unit in Embodiment 1.
  • FIG. 5E is a diagram illustrating an example of an observation method of luminance of a light emitting unit in Embodiment 1.
  • FIG. 5F is a diagram illustrating an example of an observation method of luminance of a light emitting unit in Embodiment 1.
  • FIG. 5G is a diagram illustrating an example of an observation method of luminance of a light emitting unit in Embodiment 1.
  • FIG. 5H is a diagram illustrating an example of an observation method of luminance of a light emitting unit in Embodiment 1.
  • FIG. 6A is a flowchart of the information communication method in Embodiment 1.
  • FIG. 6B is a block diagram of the information communication apparatus according to Embodiment 1.
  • FIG. 7 is a diagram illustrating an example of each mode of the receiver in the second embodiment.
  • FIG. 8 is a diagram illustrating an example of a photographing operation of the receiver in the second embodiment.
  • FIG. 9 is a diagram illustrating another example of the photographing operation of the receiver in the second embodiment.
  • 10A is a diagram illustrating another example of imaging operation of a receiver in Embodiment 2.
  • FIG. 10B is a diagram illustrating another example of imaging operation of a receiver in Embodiment 2.
  • FIG. 10C is a diagram illustrating another example of imaging operation of a receiver in Embodiment 2.
  • FIG. 10A is a diagram illustrating another example of imaging operation of a receiver in Embodiment 2.
  • FIG. 10B is a diagram illustrating another example of imaging operation of a receiver in Embodiment 2.
  • FIG. 11A is a diagram illustrating an example of a camera arrangement of a receiver in Embodiment 2.
  • FIG. 11B is a diagram illustrating another example of camera arrangement of a receiver in Embodiment 2.
  • FIG. 12 is a diagram illustrating an example of display operation of the receiver in Embodiment 2.
  • FIG. 13 is a diagram illustrating an example of display operation of the receiver in Embodiment 2.
  • FIG. 14 is a diagram illustrating an example of operation of a receiver in Embodiment 2.
  • FIG. 15 is a diagram illustrating another example of operation of a receiver in Embodiment 2.
  • FIG. 16 is a diagram illustrating another example of operation of a receiver in Embodiment 2.
  • FIG. 17 is a diagram illustrating another example of operation of a receiver in Embodiment 2.
  • FIG. 12 is a diagram illustrating an example of display operation of the receiver in Embodiment 2.
  • FIG. 13 is a diagram illustrating an example of display operation of the receiver in Embodiment 2.
  • FIG. 18 is a diagram illustrating another example of operation of a receiver in Embodiment 2.
  • FIG. 19 is a diagram illustrating another example of operation of a receiver in Embodiment 2.
  • FIG. 20 is a diagram illustrating another example of operation of a receiver in Embodiment 2.
  • FIG. 21 is a diagram illustrating an example of operations of the receiver, the transmitter, and the server in the second embodiment.
  • FIG. 22 is a diagram illustrating another example of operation of a receiver in Embodiment 2.
  • FIG. 23 is a diagram illustrating another example of operation of a receiver in Embodiment 2.
  • FIG. 24 is a diagram illustrating an example of initial setting of a receiver in the second embodiment.
  • FIG. 25 is a diagram illustrating another example of operation of a receiver in Embodiment 2.
  • FIG. 25 is a diagram illustrating another example of operation of a receiver in Embodiment 2.
  • FIG. 26 is a diagram illustrating another example of operation of a receiver in Embodiment 2.
  • FIG. 27 is a diagram illustrating another example of operation of a receiver in Embodiment 2.
  • FIG. 28 is a diagram illustrating another example of operation of a receiver in Embodiment 2.
  • FIG. 29 is a diagram illustrating another example of operation of a receiver in Embodiment 2.
  • FIG. 30 is a diagram illustrating another example of operation of a receiver in Embodiment 2.
  • FIG. 31A is a diagram illustrating a pen used for operation of a receiver in Embodiment 2.
  • FIG. 31B is a diagram illustrating operation of a receiver using a pen in Embodiment 2.
  • FIG. 32 is a diagram illustrating an example of appearance of a receiver in Embodiment 2.
  • FIG. 31A is a diagram illustrating a pen used for operation of a receiver in Embodiment 2.
  • FIG. 31B is a diagram illustrating operation of a receiver using a pen in Em
  • FIG. 33 is a diagram illustrating another example of appearance of a receiver in Embodiment 2.
  • FIG. 34 is a diagram illustrating another example of operation of a receiver in Embodiment 2.
  • FIG. 35A is a diagram illustrating another example of operation of a receiver in Embodiment 2.
  • FIG. 35B is a diagram illustrating an application example using the receiver in Embodiment 2.
  • FIG. 36A is a diagram illustrating another example of operation of a receiver in Embodiment 2.
  • FIG. 36B is a diagram illustrating an application example using the receiver in Embodiment 2.
  • FIG. 37A is a diagram illustrating an example of operation of a transmitter in Embodiment 2.
  • FIG. 37B is a diagram illustrating another example of operation of a transmitter in Embodiment 2.
  • FIG. 37A is a diagram illustrating an example of operation of a transmitter in Embodiment 2.
  • FIG. 38 is a diagram illustrating another example of operation of a transmitter in Embodiment 2.
  • FIG. 39 is a diagram illustrating another example of operation of a transmitter in Embodiment 2.
  • FIG. 40 is a diagram illustrating an example of a communication form between the plurality of transmitters and the receiver in the second embodiment.
  • FIG. 41 is a diagram illustrating an example of operations of a plurality of transmitters in the second embodiment.
  • FIG. 42 is a diagram illustrating another example of a communication form between a plurality of transmitters and a receiver in the second embodiment.
  • FIG. 43 is a diagram illustrating another example of operation of a receiver in Embodiment 2.
  • FIG. 44 is a diagram illustrating an example of application of a receiver in Embodiment 2.
  • FIG. 44 is a diagram illustrating an example of application of a receiver in Embodiment 2.
  • FIG. 45 is a diagram illustrating an example of application of a receiver in Embodiment 2.
  • FIG. 46 is a diagram illustrating an example of application of a receiver in Embodiment 2.
  • FIG. 47 is a diagram illustrating an example of application of a transmitter in Embodiment 2.
  • FIG. 48 is a diagram illustrating an example of application of a transmitter in Embodiment 2.
  • FIG. 49 is a diagram illustrating an example of application of the reception method in Embodiment 2.
  • FIG. 50 is a diagram illustrating an example of application of a transmitter in Embodiment 2.
  • FIG. 51 is a diagram illustrating an example of application of a transmitter in Embodiment 2.
  • FIG. 52 is a diagram illustrating an example of application of a transmitter in Embodiment 2.
  • FIG. 53 is a diagram illustrating another example of operation of a receiver in Embodiment 2.
  • FIG. 54 is a flowchart illustrating an example of operation of the receiver in Embodiment 3.
  • FIG. 55 is a flowchart illustrating another example of operation of a receiver in Embodiment 3.
  • FIG. 56A is a block diagram illustrating an example of a transmitter in Embodiment 3.
  • FIG. 56B is a block diagram illustrating another example of the transmitter in Embodiment 3.
  • FIG. 57 is a diagram illustrating a configuration example of a system including a plurality of transmitters in the third embodiment.
  • FIG. 58 is a block diagram illustrating another example of the transmitter in the third embodiment.
  • FIG. 59A is a diagram illustrating an example of a transmitter in Embodiment 3.
  • FIG. 59B is a diagram illustrating an example of a transmitter in Embodiment 3.
  • FIG. 59C is a diagram illustrating an example of a transmitter in Embodiment 3.
  • 60A is a diagram illustrating an example of a transmitter in Embodiment 3.
  • FIG. 60B is a diagram illustrating an example of a transmitter in Embodiment 3.
  • FIG. 61 is a diagram illustrating an example of processing operations of a receiver, a transmitter, and a server in Embodiment 3.
  • FIG. 62 is a diagram illustrating an example of processing operations of a receiver, a transmitter, and a server in Embodiment 3.
  • FIG. 63 is a diagram illustrating an example of processing operations of the receiver, the transmitter, and the server in Embodiment 3.
  • FIG. 64A is an explanatory diagram for explaining synchronization of a plurality of transmitters in the third embodiment.
  • FIG. 64B is an explanatory diagram for explaining synchronization of a plurality of transmitters in the third embodiment.
  • FIG. 65 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 3.
  • FIG. 66 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 3.
  • FIG. 67 is a diagram illustrating an example of operation of a transmitter, a receiver, and a server in Embodiment 3.
  • FIG. 68 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 3.
  • FIG. 70 is a diagram illustrating an example of operation of a transmitter, a receiver, and a server in Embodiment 3.
  • 71 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 3.
  • FIG. 72 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 3.
  • FIG. 73 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 3.
  • FIG. 74 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 3.
  • FIG. 75A is a diagram illustrating an example of a structure of information transmitted by a transmitter in Embodiment 3.
  • FIG. 75B is a diagram illustrating another example of a structure of information transmitted by a transmitter in Embodiment 3.
  • FIG. 76 is a diagram illustrating an example of a 4-level PPM modulation scheme by a transmitter in Embodiment 3.
  • 77 is a diagram illustrating an example of a PPM modulation scheme by a transmitter in Embodiment 3.
  • FIG. FIG. 78 is a diagram illustrating an example of a PPM modulation scheme in a transmitter in Embodiment 3.
  • FIG. 79A is a diagram showing an example of a luminance change pattern corresponding to the header (preamble portion) in the third embodiment.
  • FIG. 80A is a diagram showing an example of a luminance change pattern in Embodiment 3.
  • FIG. 80B is a diagram showing an example of a luminance change pattern in Embodiment 3.
  • FIG. 81 is a diagram illustrating an example of operation of a receiver in a situation in front of a store in Embodiment 4.
  • FIG. 82 is a diagram illustrating another example of operation of a receiver in a situation in front of a store in Embodiment 4.
  • FIG. 83 is a diagram illustrating an example of next operation of the receiver in the situation in front of the store in the fourth embodiment.
  • FIG. 80A is a diagram showing an example of a luminance change pattern in Embodiment 3.
  • FIG. 80B is a diagram showing an example of a luminance change pattern in Embodiment 3.
  • FIG. 81 is a diagram illustrating an example of operation of a receiver in a situation in front of a store in Embodiment 4.
  • FIG. 82 is a diagram
  • FIG. 84 is a diagram illustrating an example of next operation of the receiver in the situation in front of the store in the fourth embodiment.
  • FIG. 85 is a diagram illustrating an example of next operation of the receiver in the situation in front of the store in the fourth embodiment.
  • FIG. 86 is a diagram illustrating an example of operation of the display device in the in-store situation according to Embodiment 4.
  • FIG. 87 is a diagram illustrating an example of next operation of the display device in the in-store situation in the fourth embodiment.
  • FIG. 88 is a diagram illustrating an example of next operation of the display device in the in-store situation in the fourth embodiment.
  • FIG. 89 is a diagram illustrating an example of next operation of the receiver in the in-store situation in the fourth embodiment.
  • FIG. 90 is a diagram illustrating an example of next operation of the receiver in the in-store situation in the fourth embodiment.
  • FIG. 91 is a diagram illustrating an example of next operation of the receiver in the in-store situation in the fourth embodiment.
  • FIG. 92 is a diagram illustrating an example of next operation of the receiver in the in-store situation in the fourth embodiment.
  • FIG. 93 is a diagram illustrating an example of next operation of the receiver in the in-store situation in the fourth embodiment.
  • FIG. 94 is a diagram illustrating an example of next operation of the receiver in the in-store situation in the fourth embodiment.
  • FIG. 95 is a diagram illustrating an example of operation of a receiver in a store search situation in the fourth embodiment.
  • FIG. 96 is a diagram illustrating an example of next operation of the receiver in the store search situation in the fourth embodiment.
  • FIG. 97 is a diagram illustrating an example of next operation of the receiver in the store search situation in the fourth embodiment.
  • FIG. 98 is a diagram illustrating an example of operation of a receiver in a movie advertisement situation in Embodiment 4.
  • FIG. 99 is a diagram illustrating an example of next operation of a receiver in a movie advertisement situation in the fourth embodiment.
  • FIG. 100 is a diagram illustrating an example of next operation of a receiver in a movie advertisement situation in Embodiment 4.
  • FIG. 101 is a diagram illustrating an example of next operation of a receiver in a movie advertisement situation in Embodiment 4.
  • FIG. 102 is a diagram illustrating an example of operation of a receiver in a museum situation in Embodiment 4.
  • FIG. 103 is a diagram illustrating an example of next operation of a receiver in a museum situation in Embodiment 4.
  • FIG. 104 is a diagram illustrating an example of next operation of a receiver in a museum situation in Embodiment 4.
  • FIG. 105 is a diagram illustrating an example of next operation of a receiver in a museum situation in Embodiment 4.
  • FIG. 106 is a diagram illustrating an example of next operation of a receiver in a museum situation in Embodiment 4.
  • FIG. 107 is a diagram illustrating an example of next operation of a receiver in a museum situation in Embodiment 4.
  • FIG. 106 is a diagram illustrating an example of next operation of a receiver in a museum situation in Embodiment 4.
  • FIG. 108 is a diagram illustrating an example of operation of a receiver in a bus stop situation in Embodiment 4.
  • FIG. 109 is a diagram illustrating an example of next operation of a receiver in a bus stop situation in the fourth embodiment.
  • FIG. 110 is a diagram for describing imaging in the fourth embodiment.
  • FIG. 111 is a diagram for explaining transmission and imaging in the fourth embodiment.
  • FIG. 112 is a diagram for explaining transmission in the fourth embodiment.
  • FIG. 113 is a diagram illustrating an example of operation of a transmitter in Embodiment 5.
  • 114 is a diagram illustrating an example of operation of a transmitter in Embodiment 5.
  • FIG. FIG. 115 is a diagram illustrating an example of operation of a transmitter in Embodiment 5.
  • FIG. 116 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 5.
  • FIG. 117 is a diagram illustrating an example of operation of a receiver in Embodiment 5.
  • FIG. 118 is a diagram illustrating an example of operation of a receiver in Embodiment 5.
  • FIG. 119 is a diagram illustrating an example of operation of a system including a transmitter, a receiver, and a server in Embodiment 5.
  • 120 is a block diagram illustrating a configuration of a transmitter in Embodiment 5.
  • FIG. FIG. 121 is a block diagram illustrating a configuration of a receiver in Embodiment 5.
  • FIG. 122 is a diagram illustrating an example of operation of a transmitter in Embodiment 5.
  • FIG. 123 is a diagram illustrating an example of operation of a transmitter in Embodiment 5.
  • 124 is a diagram illustrating an example of operation of a transmitter in Embodiment 5.
  • FIG. 125 is a diagram illustrating an example of operation of a transmitter in Embodiment 5.
  • FIG. 126 is a diagram illustrating an example of operation of a transmitter in Embodiment 5.
  • 127 is a diagram illustrating an example of operation of a transmitter in Embodiment 5.
  • FIG. 128 is a diagram illustrating an example of operation of a transmitter in Embodiment 5.
  • FIG. FIG. 129 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 5.
  • 130 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 5.
  • 131 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 5.
  • FIG. 132 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 5.
  • FIG. 133 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 5.
  • FIG. 134 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 5.
  • FIG. 135 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 5.
  • FIG. 136 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 5.
  • FIG. 137 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 5.
  • FIG. 138 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 5.
  • FIG. 139 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 5.
  • FIG. 140 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 5.
  • FIG. 141 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 5.
  • FIG. 142 is a diagram illustrating an encoding method according to the fifth embodiment.
  • FIG. 142 is a diagram illustrating an encoding method according to the fifth embodiment.
  • FIG. 143 is a diagram illustrating an encoding method capable of receiving light even when an image is captured from an oblique direction according to the fifth embodiment.
  • FIG. 144 is a diagram illustrating an encoding scheme in which the amount of information differs according to the distance in the fifth embodiment.
  • FIG. 145 is a diagram illustrating an encoding method in which the amount of information differs depending on the distance in the fifth embodiment.
  • FIG. 146 is a diagram illustrating a coding scheme obtained by dividing data according to the fifth embodiment.
  • FIG. 147 is a diagram illustrating the effect of inserting a reverse phase image in the fifth embodiment.
  • FIG. 148 is a diagram showing the effect of inserting a reverse phase image in the fifth embodiment.
  • FIG. 150 is a diagram illustrating a display indicating that it supports visible light communication in the fifth embodiment.
  • FIG. 151 is a diagram illustrating information acquisition using a visible light communication signal in Embodiment 5.
  • FIG. 152 is a diagram showing a data format in the fifth embodiment.
  • FIG. 153 is a diagram illustrating reception by estimating a three-dimensional shape according to Embodiment 5.
  • FIG. 154 is a diagram illustrating reception by estimating a three-dimensional shape according to Embodiment 5.
  • FIG. 155 is a diagram illustrating stereoscopic projection in the fifth embodiment.
  • FIG. 156 is a diagram illustrating stereoscopic projection in the fifth embodiment.
  • FIG. 157 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 5.
  • FIG. 158 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 5.
  • FIG. 159 is a diagram illustrating an example of a transmission signal according to the sixth embodiment.
  • FIG. 160 is a diagram illustrating an example of a transmission signal according to the sixth embodiment.
  • 161A is a diagram illustrating an example of an image (bright line image) captured by a receiver in Embodiment 6.
  • FIG. 161B is a diagram illustrating an example of an image (bright line image) captured by a receiver in Embodiment 6.
  • FIG. 161C is a diagram illustrating an example of an image (bright line image) captured by a receiver in Embodiment 6.
  • FIG. 162A is a diagram illustrating an example of an image (bright line image) captured by a receiver in Embodiment 6.
  • FIG. 162B is a diagram illustrating an example of an image (bright line image) captured by a receiver in Embodiment 6.
  • FIG. 163A is a diagram illustrating an example of an image (bright line image) captured by a receiver in Embodiment 6.
  • FIG. 163B is a diagram illustrating an example of an image (bright line image) captured by a receiver in Embodiment 6.
  • 163C is a diagram illustrating an example of an image (bright line image) captured by the receiver in Embodiment 6.
  • 164 is a diagram illustrating an example of a captured image (bright line image) of a receiver in Embodiment 6.
  • FIG. 165 is a diagram illustrating an example of a transmission signal in Embodiment 6.
  • FIG. 166 is a diagram illustrating an example of operation of a receiver in Embodiment 6.
  • FIG. 167 is a diagram illustrating an example of instructions to the user displayed on the receiver screen in the sixth embodiment.
  • FIG. 168 is a diagram illustrating an example of instructions to the user displayed on the receiver screen in the sixth embodiment.
  • FIG. 169 is a diagram illustrating an example of a signal transmission method in Embodiment 6.
  • FIG. 170 is a diagram illustrating an example of a signal transmission method in Embodiment 6.
  • FIG. FIG. 171 is a diagram illustrating an example of a signal transmission method in Embodiment 6.
  • FIG. 172 is a diagram illustrating an example of a signal transmission method in Embodiment 6.
  • FIG. 173 is a diagram for describing a use case in the sixth embodiment.
  • FIG. 174 is a diagram illustrating an information table transmitted to the server by the smartphone according to Embodiment 6.
  • FIG. 175 is a block diagram of the server in the sixth embodiment.
  • FIG. 176 is a flowchart showing overall processing of the system in the sixth embodiment.
  • FIG. 177 is a diagram illustrating an information table transmitted from the server according to the sixth embodiment to a smartphone.
  • FIG. 178 is a diagram illustrating a screen flow displayed on the wearable device from when the user receives information from the server in front of the store until when the user actually purchases the product in the sixth embodiment.
  • FIG. 179 is a diagram for explaining another use case in the sixth embodiment.
  • FIG. 180 is a diagram illustrating a service providing system using the reception method described in each embodiment.
  • FIG. 181 is a flowchart illustrating a service provision flow.
  • FIG. 182 is a flowchart showing service provision in another example.
  • FIG. 183 is a flowchart illustrating service provision in another example.
  • FIG. 184A is a diagram for describing a modulation scheme easily received in the eighth embodiment.
  • FIG. 184B is a diagram for explaining a modulation scheme easy to receive in the eighth embodiment.
  • FIG. 185 is a diagram for explaining a modulation scheme easy to receive in the eighth embodiment.
  • FIG. 186 is a diagram for describing the combination of bright line communication and image recognition in the eighth embodiment.
  • FIG. 187A is a diagram for describing a method of using an imaging element suitable for visible light signal reception in Embodiment 8.
  • FIG. 187B is a diagram for describing a method of using an imaging element suitable for visible light signal reception in Embodiment 8.
  • FIG. 187C is a diagram for describing a usage method of an imaging element suitable for visible light signal reception in Embodiment 8.
  • FIG. 187D is a diagram for describing a method of using an imaging element suitable for receiving visible light signals according to Embodiment 8.
  • FIG. 187A is a diagram for describing a method of using an imaging element suitable for visible light signal reception in Embodiment 8.
  • FIG. 187B is a diagram for describing a method of using an imaging element suitable for visible light signal reception in Embodiment
  • FIG. 187E is a flowchart for describing a method of using an imaging element suitable for visible light signal reception in Embodiment 8.
  • FIG. 188 is a diagram illustrating captured image sizes suitable for visible light signal reception in the eighth embodiment.
  • 189A is a diagram illustrating captured image sizes suitable for visible light signal reception in Embodiment 8.
  • FIG. 189B is a flowchart illustrating an operation for switching to a captured image size suitable for reception of a visible light signal in the eighth embodiment.
  • FIG. 189C is a flowchart illustrating an operation for switching to a captured image size suitable for visible light signal reception in the eighth embodiment.
  • FIG. 190 is a diagram for describing reception of a visible light signal using zoom according to the eighth embodiment.
  • FIG. 191 is a diagram for describing a compression method of an image data size suitable for visible light signal reception in the eighth embodiment.
  • FIG. 192 is a diagram for explaining a modulation scheme with high reception error detection accuracy in the eighth embodiment.
  • FIG. 193 is a diagram for describing a change in operation of the receiver due to a difference in situation in the eighth embodiment.
  • FIG. 194 is a diagram for describing notification of visible light communication to a human according to the eighth embodiment.
  • FIG. 195 is a diagram for explaining expansion of the reception range by the light diffusing plate in the eighth embodiment.
  • FIG. 196 is a diagram for describing a synchronization method of signal transmission from a plurality of projectors according to the eighth embodiment.
  • FIG. 197 is a diagram for describing a synchronization method of signal transmission from a plurality of displays in the eighth embodiment.
  • FIG. 198 is a diagram for describing reception of a visible light signal by the illuminance sensor and the image sensor in the eighth embodiment.
  • FIG. 199 is a diagram for describing a trigger to start reception in the eighth embodiment.
  • FIG. 200 is a diagram for describing a reception start gesture in the eighth embodiment.
  • FIG. 201 is a diagram for describing an application example to the car navigation system in the eighth embodiment.
  • FIG. 202 is a diagram for describing an example of application to car navigation in the eighth embodiment.
  • FIG. 203 is a diagram for describing an application example to content protection in the eighth embodiment.
  • FIG. 204A is a diagram for describing an application example as an electronic lock in Embodiment 8.
  • FIG. 204B is a flowchart of an information communication method in Embodiment 8.
  • FIG. 204C is a block diagram of an information communication device in Embodiment 8.
  • FIG. 205 is a diagram for explaining an application example as store visit information transmission in the eighth embodiment.
  • FIG. 206 is a diagram for describing an application example of order control according to a place in the eighth embodiment.
  • FIG. 207 is a diagram for describing an example of application to route guidance in the eighth embodiment.
  • FIG. 208 is a diagram for describing an example of application to location communication in the eighth embodiment.
  • FIG. 209 is a diagram for describing an application example to use log accumulation and analysis in the eighth embodiment.
  • FIG. 210 is a diagram for describing an example of application to screen sharing in the eighth embodiment.
  • FIG. 211 is a diagram for describing an example of application to screen sharing in the eighth embodiment.
  • FIG. 212 is a diagram for describing an application example of position estimation using a wireless access point in the eighth embodiment.
  • FIG. 213 is a diagram illustrating a configuration in which position estimation is performed by visible light communication and wireless communication in the eighth embodiment.
  • FIG. 214 is a diagram illustrating an example of application of the information communication method in Embodiment 8.
  • FIG. 215 is a flowchart illustrating an application example of the information communication method in the eighth embodiment.
  • FIG. 216 is a flowchart illustrating an application example of the information communication method in the eighth embodiment.
  • FIG. 217 is a diagram illustrating an example of application of a transmitter and a receiver in Embodiment 9.
  • FIG. 218 is a diagram illustrating an example of application of the transmitter in Embodiment 9.
  • FIG. 219 is a flowchart of the information communication method in the ninth embodiment.
  • FIG. 220 is a block diagram of an information communication device according to the ninth embodiment.
  • FIG. 221A is a diagram illustrating an example of application of a transmitter and a receiver in Embodiment 9.
  • FIG. 221B is a flowchart illustrating operation of the receiver in Embodiment 9.
  • FIG. 222 is a diagram illustrating an example of application of a transmitter and a receiver in Embodiment 9.
  • FIG. 223 is a diagram illustrating an example of application of the transmitter in Embodiment 9.
  • FIG. 224A is a diagram illustrating an example of application of the transmitter and the receiver in Embodiment 9.
  • FIG. 224B is a flowchart illustrating operation of the receiver in Embodiment 9.
  • 225 is a diagram illustrating operation of a receiver in Embodiment 9.
  • FIG. 226 is a diagram illustrating an example of application of a transmitter in Embodiment 9.
  • FIG. 227 is a diagram illustrating an example of application of the receiver in Embodiment 9.
  • FIG. 228A is a flowchart illustrating an example of operation of a transmitter in Embodiment 9.
  • FIG. 228B is a flowchart illustrating an example of operation of a transmitter in Embodiment 9.
  • FIG. 229 is a flowchart illustrating an example of operation of a transmitter in Embodiment 9.
  • FIG. 230 is a flowchart illustrating an example of operation of the imaging device according to the ninth embodiment.
  • FIG. 231 is a flowchart illustrating an example of operation of the imaging device according to the ninth embodiment.
  • FIG. 232 is a diagram illustrating an example of signals transmitted by the transmitter in Embodiment 9.
  • FIG. 233 is a diagram illustrating an example of signals transmitted by the transmitter in Embodiment 9.
  • 234 is a diagram illustrating an example of signals transmitted by a transmitter in Embodiment 9.
  • FIG. FIG. 235 is a diagram illustrating an example of signals transmitted by the transmitter in Embodiment 9.
  • FIG. 236 is a diagram illustrating an example of a system configuration including a transmitter and a receiver in Embodiment 9.
  • FIG. 237 is a diagram illustrating an example of a system configuration including a transmitter and a receiver in Embodiment 9.
  • 238 is a diagram illustrating an example of a system configuration including a transmitter and a receiver in Embodiment 9.
  • FIG. 239 is a diagram illustrating an example of operation of a transmitter in Embodiment 9.
  • FIG. 240 is a diagram illustrating an example of operation of a transmitter in Embodiment 9.
  • FIG. 241 is a diagram illustrating an example of a structure and operation of a transmitter in Embodiment 9.
  • FIG. 242 is a diagram illustrating an example of a structure and operation of a transmitter in Embodiment 9.
  • FIG. FIG. 243 is a diagram illustrating a timepiece including the optical sensor according to the tenth embodiment.
  • FIG. 244 is a diagram illustrating an example of a receiver in Embodiment 10.
  • FIG. 245 is a diagram illustrating an example of a receiver in Embodiment 10.
  • FIG. 246A is a flowchart of an information communication method according to an aspect of the present invention.
  • FIG. 246B is a block diagram of a mobile terminal according to one embodiment of the present invention.
  • FIG. 247 is a diagram illustrating an example of a reception system in Embodiment 10.
  • FIG. 248 is a diagram illustrating an example of a reception system in Embodiment 10.
  • FIG. 249A is a diagram illustrating an example of a modulation scheme in Embodiment 10.
  • FIG. 249B is a diagram illustrating an example of a modulation scheme in Embodiment 10.
  • FIG. 249C is a diagram illustrating an example of a modulation scheme in Embodiment 10.
  • FIG. 249D is a diagram illustrating an example of mixing signal separation in Embodiment 10.
  • FIG. 249E is a diagram illustrating an example of mixing signal separation in Embodiment 10.
  • FIG. 249F is a flowchart illustrating processing of the information processing program in the tenth embodiment.
  • FIG. 249G is a block diagram of an information processing device in Embodiment 10.
  • FIG. 10 is a block diagram of an information processing device in Embodiment 10.
  • 250A is a diagram illustrating an example of a visible light communication system in Embodiment 10.
  • FIG. 250B is a diagram for describing a use case in Embodiment 10.
  • FIG. 250C is a diagram illustrating an example of a signal transmission / reception system in Embodiment 10.
  • FIG. 251 is a flowchart illustrating a reception method in which interference is eliminated in the tenth embodiment.
  • FIG. 252 is a flowchart illustrating a transmitter direction estimation method according to the tenth embodiment.
  • FIG. 253 is a flowchart illustrating a reception start method in Embodiment 10.
  • FIG. 254 is a flowchart illustrating an ID generation method using information of another medium according to the tenth embodiment.
  • FIG. 255 is a flowchart illustrating a reception method selection method based on frequency separation in the tenth embodiment.
  • FIG. 256 is a flowchart showing a signal reception method when the exposure time is long in the tenth embodiment.
  • FIG. 257 is a diagram illustrating an example of a transmitter dimming (adjusting brightness) method in Embodiment 10.
  • 258 is a diagram illustrating an example of a method of configuring a dimming function of a transmitter in Embodiment 10.
  • FIG. 259A is a flowchart illustrating an example of operation of a receiver in Embodiment 11.
  • FIG. 259B is a flowchart illustrating an example of operation of a receiver in Embodiment 11.
  • FIG. 259C is a flowchart illustrating an example of operation of a receiver in Embodiment 11.
  • FIG. 259D is a flowchart illustrating an example of operation of a receiver in Embodiment 11.
  • FIG. 260 is a diagram for explaining the EX zoom.
  • FIG. 261A is a flowchart illustrating processing of a reception program in the tenth embodiment.
  • FIG. 261B is a block diagram of a receiving apparatus in Embodiment 10.
  • FIG. 262 is a diagram illustrating an example of a signal reception method in Embodiment 12.
  • FIG. 263 is a diagram illustrating an example of a signal reception method in Embodiment 12.
  • FIG. 264 is a diagram illustrating an example of a signal reception method in Embodiment 12.
  • FIG. 265 is a diagram illustrating an example of a screen display method of a receiver in Embodiment 12.
  • 266 is a diagram illustrating an example of a signal reception method in Embodiment 12.
  • FIG. 267 is a diagram illustrating an example of a signal reception method in Embodiment 12.
  • FIG. 268 is a flowchart illustrating an example of a signal reception method in Embodiment 12.
  • FIG. 269 is a diagram illustrating an example of a signal reception method in Embodiment 12.
  • FIG. 270A is a flowchart showing processing of a reception program in the twelfth embodiment.
  • FIG. 270B is a block diagram of a receiving apparatus in Embodiment 12.
  • FIG. 271 is a diagram illustrating an example of display on the receiver when a visible light signal is received.
  • FIG. 272 is a diagram illustrating an example of display on the receiver when a visible light signal is received.
  • FIG. 273 is a diagram illustrating an example of a display of the acquired data image.
  • FIG. 274 is a diagram illustrating an example of an operation for saving or discarding acquired data.
  • FIG. 275 is a diagram illustrating a display example when browsing acquired data.
  • FIG. 276 is a diagram illustrating an example of a transmitter in Embodiment 12.
  • FIG. 277 is a diagram illustrating an example of a reception method in Embodiment 12.
  • FIG. 278 is a diagram illustrating an example of a header pattern in the thirteenth embodiment.
  • FIG. 279 is a diagram for describing an example of the structure of a communication protocol packet in the thirteenth embodiment.
  • FIG. 280 is a flowchart illustrating an example of a reception method in Embodiment 13.
  • FIG. 281 is a flowchart illustrating an example of a reception method in Embodiment 13.
  • FIG. 282 is a flowchart illustrating an example of a reception method in Embodiment 13.
  • FIG. 283 is a diagram for illustrating a reception method in which the receiver in Embodiment 13 uses an exposure time longer than the period of the modulation frequency (modulation period).
  • FIG. 284 is a diagram for illustrating a reception method in which the receiver in Embodiment 13 uses an exposure time longer than the period of the modulation frequency (modulation period).
  • FIG. 280 is a flowchart illustrating an example of a reception method in Embodiment 13.
  • FIG. 281 is a flowchart illustrating an example of a reception method in Embodiment 13.
  • FIG. 285 is a diagram illustrating an efficient division number with respect to the size of transmission data in the thirteenth embodiment.
  • FIG. 286A is a diagram illustrating an example of a setting method in Embodiment 13.
  • FIG. 286B is a diagram illustrating another example of the setting method according to the thirteenth embodiment.
  • FIG. 287A is a flowchart illustrating processing of the information processing program in the thirteenth embodiment.
  • FIG. 287B is a block diagram of an information processing device in Embodiment 13.
  • FIG. 288 is a diagram for describing an example of application of the transmission and reception system in Embodiment 13.
  • FIG. 289 is a flowchart illustrating processing operations of the transmission and reception system in the thirteenth embodiment.
  • FIG. 290 is a diagram for describing an example of application of the transmission and reception system in Embodiment 13.
  • FIG. 291 is a flowchart showing processing operations of the transmission / reception system in the thirteenth embodiment.
  • FIG. 292 is a diagram for describing an example of application of the transmission and reception system in Embodiment 13.
  • FIG. 293 is a flowchart illustrating processing operations of the transmission and reception system in the thirteenth embodiment.
  • FIG. 294 is a diagram for describing an example of application of a transmitter in Embodiment 13.
  • FIG. 295 is a diagram for describing an example of application of the transmission and reception system in Embodiment 14.
  • FIG. 296 is a diagram for describing an example of application of the transmission and reception system in Embodiment 14.
  • FIG. 297 is a diagram for describing an example of application of the transmission and reception system in Embodiment 14.
  • FIG. 298 is a diagram for describing an example of application of the transmission and reception system in Embodiment 14.
  • 299 is a diagram for describing an example of application of a transmission and reception system in Embodiment 14.
  • FIG. 300 is a diagram for describing an example of application of a transmission and reception system in Embodiment 14.
  • FIG. 301 is a diagram for describing an application example of the transmission and reception system in Embodiment 14.
  • 302 is a diagram for describing an example of application of a transmission and reception system in Embodiment 14.
  • FIG. FIG. 303 is a diagram for describing an example of application of the transmission and reception system in Embodiment 14.
  • FIG. 304 is a diagram for describing an example of application of a transmission and reception system in Embodiment 14.
  • FIG. 305 is a diagram for describing an example of application of a transmission and reception system in Embodiment 14.
  • FIG. 306 is a diagram for describing an example of application of the transmission and reception system in Embodiment 14.
  • FIG. 307 is a diagram for describing an example of application of the transmission and reception system in Embodiment 14.
  • 308 is a diagram for describing an example of application of a transmission and reception system in Embodiment 14.
  • FIG. 309 is a diagram for describing operation of a receiver in Embodiment 15.
  • FIG. 310A is a diagram for describing another operation of the receiver in Embodiment 15.
  • FIG. 310B is a diagram illustrating an example of indicators displayed by the output unit 1215 in the fifteenth embodiment.
  • FIG. 310C is a diagram illustrating a display example of AR in the fifteenth embodiment.
  • FIG. 311A is a diagram for describing an example of a transmitter in Embodiment 15.
  • FIG. 311B is a diagram for describing another example of the transmitter in Embodiment 15.
  • FIG. 312A is a diagram for describing an example of synchronous transmission by a plurality of transmitters in Embodiment 15.
  • FIG. 312B is a diagram for describing another example of synchronous transmission by a plurality of transmitters in Embodiment 15.
  • FIG. 313 is a diagram for describing another example of synchronous transmission by a plurality of transmitters in Embodiment 15.
  • FIG. 314 is a diagram for describing signal processing of a transmitter in Embodiment 15.
  • FIG. 315 is a flowchart illustrating an example of a reception method in Embodiment 15.
  • 316 is an explanatory diagram for describing an example of a reception method in Embodiment 15.
  • FIG. 317 is a flowchart illustrating another example of the reception method in Embodiment 15.
  • FIG. 318 is a diagram illustrating an example in the case where the exposure time is three times the transmission period and the transmission signal is binary of 0 or 1 in the fifteenth embodiment.
  • FIG. 319 is a diagram illustrating state transition paths according to the fifteenth embodiment.
  • FIG. 320 is a diagram illustrating an image obtained by capturing an object blinking at high speed according to the sixteenth embodiment.
  • FIG. 321 is a diagram illustrating a reception period and a blind period when LSS is used in Embodiment 16.
  • FIG. 322 is a diagram illustrating cutout scanning that enables continuous reception according to the sixteenth embodiment.
  • FIG. 323 is a diagram illustrating an example of symbols by frequency modulation in Embodiment 16.
  • FIG. 324 is a diagram illustrating a frequency response by the LSS in the sixteenth embodiment.
  • FIG. 325 is a diagram illustrating an example of 4PPM symbols and V4PPM symbols in Embodiment 16.
  • FIG. 326 is a diagram illustrating an example of Manchester code symbols and VPPM symbols in Embodiment 16.
  • FIG. 327 is a diagram for comparing and explaining the efficiency of V4PPM and VPPM in the sixteenth embodiment.
  • FIG. 328 is a diagram illustrating frequency-domain signals and noise levels according to the sixteenth embodiment.
  • 329A is a diagram illustrating a difference between a transmission frequency and a reception frequency (maximum frequency component of a reception signal) in Embodiment 16.
  • FIG. 329B is a diagram illustrating an example of an error rate with respect to the frequency margin in Embodiment 16.
  • FIG. 329C is a diagram illustrating another example of the error rate with respect to the frequency margin in Embodiment 16.
  • FIG. 329D is a diagram illustrating another example of the error rate with respect to the frequency margin in Embodiment 16.
  • FIG. 329E is a diagram illustrating another example of the error rate with respect to the frequency margin in the sixteenth embodiment.
  • FIG. 329F is a diagram illustrating another example of the error rate with respect to the frequency margin in the sixteenth embodiment.
  • FIG. 330 is a diagram illustrating a packet reception error rate of the V4PPM symbol in the sixteenth embodiment.
  • FIG. 331 is a block diagram illustrating a configuration of the display system in the seventeenth embodiment.
  • FIG. 332 is a diagram illustrating a transmission / reception mode between the video standard signal transmission unit and the video standard signal reception unit according to the seventeenth embodiment.
  • FIG. 333 is a diagram illustrating an example of a specific transmission / reception form between the video standard signal transmission unit and the video standard signal reception unit according to the seventeenth embodiment.
  • FIG. 334 is a diagram illustrating another example of a specific transmission / reception form between the video standard signal transmission unit and the video standard signal reception unit in Embodiment 17.
  • FIG. 335 is a diagram illustrating another example of a specific transmission / reception form between the video standard signal transmission unit and the video standard signal reception unit in Embodiment 17.
  • FIG. 336A is a diagram illustrating an example of power transmitted in the power transmission transmission line in the seventeenth embodiment.
  • FIG. 336B is a diagram illustrating another example of power transmitted in the power transmission transmission line in the seventeenth embodiment.
  • FIG. 337 is a diagram illustrating another example of the specific transmission / reception form between the video standard signal transmission unit and the video standard signal reception unit in the seventeenth embodiment.
  • FIG. 338 is a diagram illustrating another example of the specific transmission / reception form between the video standard signal transmission unit and the video standard signal reception unit according to the seventeenth embodiment.
  • FIG. 339 is a schematic diagram illustrating an example of a visible light communication system according to the eighteenth embodiment.
  • FIG. 340 is a block diagram illustrating an example of a schematic configuration of the display apparatus according to the eighteenth embodiment.
  • FIG. 341A is a diagram illustrating B. It is a figure which shows an example of the state before superimposing a visible light communication signal on L control signal.
  • FIG. 341B is a diagram illustrating B.3 according to Example 1 of Embodiment 18.
  • FIG. It is a figure which shows an example of the state which superimposed the visible light communication signal on L control signal.
  • FIG. 342 is a timing chart for describing the first method in the second example of the eighteenth embodiment.
  • FIG. 343 is a timing chart for describing the first method in the second example of the eighteenth embodiment.
  • FIG. 344A is a timing chart for describing the second method in the second example of the eighteenth embodiment.
  • FIG. 344B is a timing chart for describing the second method in the second example of the eighteenth embodiment.
  • FIG. 344C is a timing chart for describing the second method in the second example of the eighteenth embodiment.
  • FIG. 344D is a timing chart for describing the second method in the second example of the eighteenth embodiment.
  • FIG. 345A is a timing chart for describing the second method in the second example of the eighteenth embodiment.
  • FIG. 345B is a timing chart for describing the second method in the second example of the eighteenth embodiment.
  • FIG. 345C is a timing chart for describing the second method in the second example of the eighteenth embodiment.
  • FIG. 345D is a timing chart for explaining the second method in the second example of the eighteenth embodiment.
  • FIG. 346 is a diagram illustrating B.3 in Example 3 of the eighteenth embodiment. It is a timing chart for demonstrating the method of superimposing a visible light communication signal on L control signal.
  • FIG. 347 is a flowchart for explaining the operation of the second processing unit in the nineteenth embodiment.
  • FIG. 348A is a diagram illustrating B.3 in the nineteenth embodiment.
  • FIG. 348B is a diagram illustrating B.3 in the nineteenth embodiment. It is a figure for demonstrating the specific method of superimposing an encoding signal on L control signal.
  • FIG. 348C is a diagram illustrating B.3 in the nineteenth embodiment. It is a figure for demonstrating the specific method of superimposing an encoding signal on L control signal.
  • FIG. 348D is a diagram illustrating B. in the nineteenth embodiment. It is a figure for demonstrating the specific method of superimposing an encoding signal on L control signal.
  • FIG. 349 is a diagram illustrating the process of B.E.
  • FIG. 350 is a flowchart for explaining the operation of the second processing unit in the twentieth embodiment.
  • FIG. 351 is a timing chart illustrating an example of group division of regions in the twentieth embodiment.
  • FIG. 352 is a timing chart illustrating another example of area group division according to the twentieth embodiment.
  • FIG. 353 is a timing chart illustrating another example of group division of regions in the twentieth embodiment.
  • FIG. 354 is a flowchart for describing operation of the second processing unit in the twenty-first embodiment.
  • FIG. 355A is a diagram illustrating B.3 in Embodiment 21.
  • FIG. It is a figure for demonstrating the relationship of the phase of L control signal and a visible light communication signal.
  • FIG. 355B is a diagram illustrating B.3 in Embodiment 21.
  • FIG. It is a figure for demonstrating the relationship of the phase of L control signal and a visible light communication signal.
  • FIG. 356A is a timing chart for explaining the operation of the second processing unit in the twenty-first embodiment.
  • FIG. 356B is a timing chart for explaining the operation of the second processing unit in the twenty-first embodiment.
  • FIG. 356C is a timing chart for explaining the operation of the second processing unit in the twenty-first embodiment.
  • FIG. 357A is a timing chart for explaining the operation of the second processing unit in the twenty-second embodiment.
  • FIG. 357B is a timing chart for explaining the operation of the second processing unit in the twenty-second embodiment.
  • FIG. 358 is a timing chart showing backlight control during local dimming adaptation in the twenty-third embodiment.
  • FIG. 359 is a flowchart for describing an example of operation of the second processing unit in the twenty-third embodiment.
  • FIG. 360 is a timing chart for explaining an example of the operation of the second processing unit in the twenty-third embodiment.
  • FIG. 361 is a flowchart for describing an example of operation of the second processing unit in the twenty-third embodiment.
  • FIG. 362 is a timing chart for explaining an example of the operation of the second processing unit in the twenty-third embodiment.
  • FIG. 363 is a timing chart for explaining an example of operation of the second processing unit in the twenty-third embodiment.
  • FIG. 364 is a schematic diagram of the visible light communication system according to the twenty-fourth embodiment.
  • FIG. 365 is a block diagram of the display device according to the twenty-fourth embodiment.
  • FIG. 366 is a diagram illustrating an example of generating a visible light communication signal according to the twenty-fourth embodiment.
  • FIG. 367 is a block diagram of the receiving apparatus according to the twenty-fourth embodiment.
  • FIG. 368 is a diagram illustrating a captured image of the reception device when the backlight of the display device according to the twenty-fourth embodiment is turned on / off.
  • FIG. 369 is a diagram for explaining a captured image of the reception device with respect to the transmission frame of the display device according to the twenty-fourth embodiment.
  • FIG. 370 is a diagram for explaining the relationship between the transmission clock frequency of the display device according to the twenty-fourth embodiment and the frame rate of the imaging unit of the reception device.
  • FIG. 371 is a diagram for explaining a first generation example of a transmission frame for one signal unit according to the twenty-fourth embodiment.
  • FIG. 372A is a diagram for explaining a second generation example of the transmission frame for one signal unit according to the twenty-fourth embodiment.
  • FIG. 372B is a diagram for explaining a third generation example of the transmission frame for one signal unit according to the twenty-fourth embodiment.
  • FIG. 372C is a diagram for explaining a fourth generation example of the transmission frame for one signal unit according to the twenty-fourth embodiment.
  • FIG. 372D is a diagram for explaining a fifth generation example of the transmission frame for one signal unit according to the twenty-fourth embodiment.
  • FIG. 372A is a diagram for explaining a second generation example of the transmission frame for one signal unit according to the twenty-fourth embodiment.
  • FIG. 372B is a diagram for explaining a third generation example of the transmission frame for one signal unit according to the twenty-fourth embodiment.
  • FIG. 372C is a diagram
  • FIG. 372E is a diagram for explaining a sixth generation example of the transmission frame for one signal unit according to the twenty-fourth embodiment.
  • FIG. 373 is a flowchart for explaining the operation of the visible light communication signal processing unit in the display apparatus according to the twenty-fourth embodiment.
  • FIG. 374 is a flowchart for explaining the operation of the visible light communication signal processing unit of the display device according to the twenty-fifth embodiment.
  • FIG. 375 is a diagram for explaining an example of a method for determining the number of transmissions of an arbitrary block of a transmission frame for one signal unit according to the twenty-fifth embodiment.
  • FIG. 376 is a diagram for explaining a generation example of a transmission frame for one signal unit according to the twenty-fifth embodiment.
  • FIG. 377 is a flowchart for explaining the operation of the visible light communication signal processing unit in the display apparatus according to the twenty-sixth embodiment.
  • FIG. 378 is a diagram for explaining an example of a method for determining the number of transmissions of an arbitrary block of a transmission frame for one signal unit according to the twenty-sixth embodiment.
  • FIG. 379 is a diagram for explaining a generation example of transmission frames for one signal unit output from the display apparatus according to the twenty-sixth embodiment.
  • FIG. 380 is a diagram illustrating another example of generating a transmission frame for one signal unit output from the display apparatus according to the twenty-sixth embodiment.
  • FIG. 381 is a diagram for explaining a first generation example of a transmission frame for one signal unit according to the twenty-seventh embodiment.
  • FIG. 382A is a diagram for explaining a second generation example of the transmission frame for one signal unit according to the twenty-seventh embodiment.
  • FIG. 382B is a diagram for explaining a third generation example of the transmission frame for one signal unit according to the twenty-seventh embodiment.
  • FIG. 382C is a diagram for explaining a fourth generation example of the transmission frame for one signal unit according to the twenty-seventh embodiment.
  • FIG. 383 is a flowchart for explaining the operation of the visible light communication signal processing unit of the display device according to the twenty-seventh embodiment.
  • FIG. 384 is a diagram for describing visible light communication switching control when the transmission device according to Embodiment 28 is a moving image display device such as a television set.
  • FIG. 385 is a diagram illustrating a procedure of transmitting logical data according to Embodiment 29 through visible light communication.
  • FIG. 386 is a diagram illustrating a procedure of transmitting logical data according to Embodiment 29 through visible light communication.
  • FIG. 387 is a diagram for explaining the dividing process by the logical data dividing unit according to the twenty-ninth embodiment.
  • FIG. 388 is a diagram for explaining the dividing process by the logical data dividing unit according to the twenty-ninth embodiment.
  • 389 is a diagram illustrating an example of a transmission signal in Embodiment 29.
  • FIG. 390 is a diagram illustrating another example of a transmission signal in Embodiment 29.
  • FIG. 391 is a diagram illustrating another example of a transmission signal in Embodiment 29.
  • FIG. 392A is a diagram for illustrating a transmitter in Embodiment 30.
  • FIG. 392B is a diagram illustrating a change in luminance of each of RGB in Embodiment 30.
  • FIG. 393 is a diagram illustrating the afterglow characteristics of the green fluorescent component and the red fluorescent component in the thirtieth embodiment.
  • FIG. 394 is a diagram for describing a problem newly generated in order to suppress occurrence of a barcode reading error in the thirtieth embodiment.
  • FIG. 395 is a diagram for describing downsampling performed by the receiver in Embodiment 30.
  • FIG. 392A is a diagram for illustrating a transmitter in Embodiment 30.
  • FIG. 392B is a diagram illustrating a change in luminance of each of RGB in Embodiment 30.
  • FIG. 393 is a diagram illustrating the afterglow characteristics of the green
  • FIG. 396 is a flowchart illustrating processing operations of a receiver in Embodiment 30.
  • FIG. 397 is a diagram illustrating processing operation of the reception device (imaging device) in Embodiment 31.
  • 398 is a diagram illustrating processing operation of a reception device (imaging device) in Embodiment 31.
  • FIG. 399 is a diagram illustrating processing operation of a reception device (imaging device) in Embodiment 31.
  • FIG. FIG. 400 is a diagram illustrating processing operation of a reception device (imaging device) in Embodiment 31.
  • FIG. 401 is a diagram illustrating an example of an application in the thirty-second embodiment.
  • FIG. 402 is a diagram illustrating an example of an application in the thirty-second embodiment.
  • FIG. 403 is a diagram illustrating an example of a transmission signal and an example of an audio synchronization method in Embodiment 32.
  • FIG. 404 is a diagram illustrating an example of a transmission signal in Embodiment 32.
  • FIG. 405 is a diagram illustrating an example of a process flow of a receiver in Embodiment 32.
  • FIG. 406 is a diagram illustrating an example of a user interface of a receiver in Embodiment 32.
  • FIG. 407 is a diagram illustrating an example of a process flow of a receiver in Embodiment 32.
  • FIG. 408 is a diagram illustrating another example of processing flow of a receiver in Embodiment 32.
  • FIG. 409A is a diagram for describing a specific method of synchronous playback in Embodiment 32.
  • FIG. 409B is a block diagram illustrating a configuration of a playback device (receiver) that performs synchronized playback according to Embodiment 32.
  • FIG. 409C is a flowchart illustrating a processing operation of a playback device (receiver) that performs synchronized playback according to Embodiment 32.
  • FIG. 410 is a diagram for describing preparations for synchronized playback in the thirty-second embodiment.
  • 411 is a diagram illustrating an example of application of a receiver in Embodiment 32.
  • FIG. FIG. 412A is a front view of a receiver held by a holder in Embodiment 32.
  • FIG. FIG. 412B is a rear view of a receiver held by a holder in Embodiment 32.
  • FIG. 413 is a diagram for describing a use case of a receiver held by a holder in Embodiment 32.
  • FIG. FIG. 414 is a flowchart illustrating processing operation of a receiver held by a holder in Embodiment 32.
  • 415 is a diagram illustrating an example of an image displayed by the receiver in Embodiment 32.
  • FIG. FIG. 416 is a diagram illustrating another example of the holder according to Embodiment 32.
  • FIG. 417A is a diagram illustrating an example of a visible light signal in Embodiment 33.
  • FIG. 417A is a diagram illustrating an example of a visible light signal in Embodiment 33.
  • FIG. 417B is a diagram illustrating an example of a visible light signal in Embodiment 33.
  • FIG. 417C is a diagram illustrating an example of a visible light signal in Embodiment 33.
  • FIG. 417D is a diagram illustrating an example of a visible light signal in Embodiment 33.
  • FIG. 418 is a diagram illustrating a structure of a visible light signal in Embodiment 33.
  • FIG. FIG. 419 is a diagram illustrating an example of bright line images obtained by imaging with a receiver in Embodiment 33.
  • FIG. 420 is a diagram illustrating another example of bright line images obtained by imaging by the receiver in Embodiment 33.
  • FIG. 421 is a diagram illustrating another example of a bright line image obtained by imaging by a receiver in Embodiment 33.
  • FIG. 422 is a diagram for describing adaptation of the receiver in Embodiment 33 to a camera system that performs HDR combining.
  • FIG. 423 is a diagram for describing a processing operation of the visible light communication system according to Embodiment 33.
  • FIG. 424A is a diagram illustrating an example of vehicle-to-vehicle communication using visible light in Embodiment 33.
  • FIG. 424B is a diagram illustrating another example of vehicle-to-vehicle communication using visible light according to Embodiment 33.
  • FIG. 425 is a diagram illustrating an example of a position determination method of a plurality of LEDs in Embodiment 33.
  • FIG. 426 is a diagram illustrating an example of bright line images obtained by capturing an image of the vehicle in Embodiment 33.
  • FIG. 427 is a diagram illustrating an example of application of a receiver and a transmitter in Embodiment 33.
  • FIG. FIG. 427 is a view of the automobile from the back.
  • FIG. 428 is a flowchart illustrating an example of processing operations of a receiver and a transmitter in Embodiment 33.
  • 429 is a diagram illustrating an example of application of a receiver and a transmitter in Embodiment 33.
  • FIG. 430 is a flowchart illustrating an example of processing operations of the receiver 7007a and the transmitter 7007b in Embodiment 33.
  • FIG. 431 is a diagram illustrating a configuration of a visible light communication system applied to the inside of a train according to Embodiment 33.
  • FIG. 432 is a diagram illustrating a configuration of a visible light communication system applied to a facility such as an amusement park in Embodiment 33.
  • FIG. 433 is a diagram illustrating an example of a visible light communication system including a playground device and a smartphone according to Embodiment 33.
  • 434 is a diagram illustrating an example of a transmission signal in Embodiment 34.
  • FIG. 435 is a diagram illustrating an example of a transmission signal in Embodiment 34.
  • FIG. 431 is a diagram illustrating a configuration of a visible light communication system applied to the inside of a train according to Embodiment 33.
  • FIG. 432 is a diagram illustrating a
  • FIG. 436 is a diagram illustrating an example of a transmission signal in Embodiment 34.
  • FIG. 437 is a diagram illustrating an example of a transmission signal in Embodiment 34.
  • FIG. 438 is a diagram illustrating an example of a transmission signal in Embodiment 34.
  • FIG. 439 is a diagram illustrating an example of a transmission signal in Embodiment 34.
  • FIG. 440 is a diagram illustrating an example of a transmission signal in Embodiment 34.
  • FIG. 441 is a diagram illustrating an example of a reception algorithm in Embodiment 34.
  • FIG. 442 is a diagram illustrating an example of a reception algorithm in Embodiment 34.
  • FIG. 443 is a diagram illustrating an example of a reception algorithm in Embodiment 34.
  • FIG. 441 is a diagram illustrating an example of a reception algorithm in Embodiment 34.
  • FIG. 444 is a diagram illustrating an example of a reception algorithm in Embodiment 34.
  • FIG. 445 is a diagram illustrating an example of a transmission signal in Embodiment 35.
  • FIG. 446 is a diagram illustrating an example of a transmission signal in Embodiment 35.
  • FIG. 447 is a diagram illustrating an example of a transmission signal in Embodiment 35.
  • FIG. 448 is a diagram illustrating an example of a transmission signal in Embodiment 35.
  • FIG. 449 is a diagram illustrating an example of a transmission signal in Embodiment 35.
  • FIG. FIG. 450 is a diagram illustrating an example of a transmission signal in Embodiment 35.
  • FIG. 450 is a diagram illustrating an example of a transmission signal in Embodiment 35.
  • FIG. 451 is a diagram illustrating an example of a transmission signal in Embodiment 35.
  • FIG. FIG. 452 is a diagram illustrating an example of a transmission signal in Embodiment 35.
  • 453 is a diagram illustrating an example of a transmission / reception system in Embodiment 35.
  • FIG. 454 is a flowchart illustrating an example of processing of the transmission / reception system in the thirty-fifth embodiment.
  • FIG. 455 is a flowchart showing the operation of the server in the thirty-fifth embodiment.
  • FIG. 456 is a flowchart illustrating an example of operation of a receiver in Embodiment 35.
  • FIG. 452 is a diagram illustrating an example of a transmission signal in Embodiment 35.
  • 453 is a diagram illustrating an example of a transmission / reception system in Embodiment 35.
  • FIG. 454 is a flowchart illustrating an example of processing of the transmission / reception system in the thirty-fifth
  • FIG. 457 is a flowchart illustrating a method for calculating the progress in the simple mode according to the thirty-fifth embodiment.
  • FIG. 458 is a flowchart showing a method for calculating the progress in the maximum likelihood estimation mode in the thirty-fifth embodiment.
  • FIG. 459 is a flowchart showing a display method in which the progress status does not decrease in the thirty-fifth embodiment.
  • FIG. 460 is a flowchart illustrating a progress display method when there are a plurality of packet lengths according to the thirty-fifth embodiment.
  • 461 is a diagram illustrating an example of an operation state of a receiver in Embodiment 35.
  • FIG. 462 is a diagram illustrating an example of a transmission signal in Embodiment 35.
  • FIG. 463 is a diagram illustrating an example of a transmission signal in Embodiment 35.
  • FIG. 464 is a diagram illustrating an example of a transmission signal in Embodiment 35.
  • FIG. 465 is a diagram illustrating an example of a transmission signal in Embodiment 35.
  • FIG. 466 is a block diagram illustrating an example of a transmitter in Embodiment 35.
  • FIG. 467 is a timing chart in the case where the LED display in Embodiment 35 is driven with the optical ID modulation signal of the present invention.
  • FIG. 468 is a diagram showing a timing chart in the case where the LED display in Embodiment 35 is driven by the optical ID modulation signal of the present invention.
  • FIG. 469 is a timing chart when the LED display in Embodiment 35 is driven with the optical ID modulation signal of the present invention.
  • FIG. 470A is a flowchart illustrating a transmission method according to one embodiment of the present invention.
  • FIG. 470B is a block diagram illustrating a functional configuration of the transmission device according to one embodiment of the present invention.
  • 471 is a diagram illustrating an example of a transmission signal in Embodiment 35.
  • FIG. 472 is a diagram illustrating an example of a transmission signal in Embodiment 35.
  • FIG. 473 is a diagram illustrating an example of a transmission signal in Embodiment 35.
  • FIG. 474 is a diagram illustrating an example of a transmission signal in Embodiment 35.
  • FIG. 475 is a diagram illustrating an example of a transmission signal in Embodiment 35.
  • FIG. 476 is a diagram illustrating an example of a transmission signal in Embodiment 35.
  • FIG. 476 is
  • a transmission method is a transmission method for transmitting a visible light signal by a luminance change, and includes a determination step of determining a luminance change pattern by modulating the visible light signal, and a display.
  • a common switch control step of switching a common switch included in the light source group for commonly lighting a plurality of light sources for representing pixels in the video according to the luminance change pattern; and a plurality of light sources included in the light source group
  • the common switch is on and only during the period when the first pixel switch is on.
  • a visible light signal can be appropriately transmitted from a display having a plurality of LEDs as light sources. Therefore, the communication between the apparatuses of the aspect containing apparatuses other than illumination is enabled.
  • the display is a display for displaying an image by controlling the common switch and the first pixel switch
  • a visible light signal may be transmitted using the common switch and the first pixel switch. it can. Therefore, a visible light signal can be easily transmitted without making a significant change to the configuration for displaying an image on a display.
  • the luminance change pattern may be determined for each symbol period, and in the first pixel switch control step, the first pixel switch may be switched in synchronization with the symbol period.
  • the first pixel switch control step when displaying an image on the display, the visible period of the lighting period for expressing the pixel value of the pixel in the image corresponding to the first light source is displayed.
  • the first pixel switch may be switched so as to compensate for the lighting period only during a period in which the first light source is turned off to transmit an optical signal.
  • the lighting period may be supplemented by changing pixel values of pixels in the video.
  • the pixel value may be changed at a cycle that is 1 ⁇ 2 of the symbol cycle.
  • the common switch is further turned on by turning on a second pixel switch included in the light source group for turning on a second light source around the first light source.
  • the first and second pixel switch control steps when the same symbol included in the visible light signal is simultaneously transmitted from each of the first and second light sources, the first and second pixel switches Among a plurality of timings at which each is turned on or off to transmit the same symbol, a timing at which a rise in luminance specific to the same symbol is obtained.
  • the same timing is used for each of the first and second pixel switches, and other timings are made different for each of the first and second pixel switches. You may make the average brightness
  • the rising edge can be made sharp only at the timing when the rising edge unique to the symbol is obtained, and the occurrence of a reception error can be prevented. Can be suppressed.
  • the first pixel switch control step when the same symbol included in the visible light signal is transmitted in the first period and the second period following the first period, In each of the second period and the second period, among the plurality of timings at which the first pixel switch is turned on or off to transmit the same symbol, a timing at which a rise in luminance specific to the same symbol is obtained.
  • the same brightness may be set at different timings so that the average brightness of the first light source in the whole of the first and second periods matches the predetermined brightness.
  • the rising edge can be made sharp only at the timing when the rising edge inherent in the symbol is obtained, and the occurrence of a reception error can be prevented. Can be suppressed.
  • the first pixel switch control step the first pixel switch is turned on during a signal transmission period in which the common switch is switched according to the luminance change pattern, and the transmission method further includes the signal During the video display period different from the transmission period, turning on the common switch, and turning on the first pixel switch according to the display target video in the video display period, and the common switch is on, and A video display step of displaying pixels in the video by turning on the first light source only during a period in which the first pixel switch is on may be included.
  • a recording medium such as an apparatus, a system, a method, an integrated circuit, a computer program, or a computer-readable CD-ROM. You may implement
  • FIG. 1 shows an example in which imaging devices arranged in one row are exposed simultaneously, and imaging is performed by shifting the exposure start time in the order of closer rows.
  • the exposure line of the image sensor that exposes simultaneously is called an exposure line
  • the pixel line on the image corresponding to the image sensor is called a bright line.
  • this image capturing method When this image capturing method is used to capture an image of a blinking light source on the entire surface of the image sensor, bright lines (light and dark lines of pixel values) along the exposure line appear on the captured image as shown in FIG. .
  • bright lines light and dark lines of pixel values
  • the imaging frame rate By recognizing the bright line pattern, it is possible to estimate the light source luminance change at a speed exceeding the imaging frame rate. Thereby, by transmitting a signal as a change in light source luminance, communication at a speed higher than the imaging frame rate can be performed.
  • LO lower luminance value
  • HI high
  • Low may be in a state where the light source is not shining, or may be shining weaker than high.
  • the imaging frame rate is 30 fps
  • a change in luminance with a period of 1.67 milliseconds can be recognized.
  • the exposure time is set shorter than 10 milliseconds, for example.
  • FIG. 2 shows a case where the exposure of the next exposure line is started after the exposure of one exposure line is completed.
  • the transmission speed is a maximum of flm bits per second.
  • the light emission time of the light emitting unit is controlled by a unit time shorter than the exposure time of each exposure line. More information can be transmitted.
  • information can be transmitted at a maximum rate of flElv bits per second.
  • the basic period of transmission can be recognized by causing the light emitting unit to emit light at a timing slightly different from the exposure timing of each exposure line.
  • FIG. 4 shows a case where the exposure of the next exposure line is started before the exposure of one exposure line is completed. That is, the exposure times of adjacent exposure lines are partially overlapped in time.
  • the S / N ratio can be improved.
  • the exposure time of adjacent exposure lines has a partial overlap in time, and a configuration in which some exposure lines have no partial overlap. It is also possible. By configuring a part of the exposure lines so as not to partially overlap in time, it is possible to suppress the generation of intermediate colors due to the overlap of exposure times on the imaging screen, and to detect bright lines more appropriately. .
  • the exposure time is calculated from the brightness of each exposure line, and the light emission state of the light emitting unit is recognized.
  • the brightness of each exposure line is determined by a binary value indicating whether the luminance is equal to or higher than a threshold value, in order to recognize the state where no light is emitted, the state where the light emitting unit does not emit light is indicated for each line. It must last longer than the exposure time.
  • FIG. 5A shows the influence of the difference in exposure time when the exposure start times of the exposure lines are equal.
  • 7500a is the case where the exposure end time of the previous exposure line is equal to the exposure start time of the next exposure line
  • 7500b is the case where the exposure time is longer than that.
  • the exposure time of adjacent exposure lines is partially overlapped in time, so that the exposure time can be increased. That is, the light incident on the image sensor increases and a bright image can be obtained.
  • the imaging sensitivity for capturing images with the same brightness can be suppressed to a low level, an image with less noise can be obtained, so that communication errors are suppressed.
  • FIG. 5B shows the influence of the difference in the exposure start time of each exposure line when the exposure times are equal.
  • 7501a is the case where the exposure end time of the previous exposure line is equal to the exposure start time of the next exposure line
  • 7501b is the case where the exposure of the next exposure line is started earlier than the end of exposure of the previous exposure line.
  • the sample interval ( difference in exposure start time) becomes dense, the change in the light source luminance can be estimated more accurately, the error rate can be reduced, and the change in the light source luminance in a shorter time is recognized. be able to.
  • the exposure time overlap it is possible to recognize blinking of the light source that is shorter than the exposure time by using the difference in exposure amount between adjacent exposure lines.
  • the exposure time is set to be longer than that in the normal shooting mode.
  • the communication speed can be dramatically improved.
  • the exposure time needs to be set as exposure time ⁇ 1/8 ⁇ f. Blanking that occurs during shooting is at most half the size of one frame. That is, since the blanking time is less than half of the shooting time, the actual shooting time is 1 / 2f at the shortest time.
  • the exposure time since it is necessary to receive quaternary information within a time of 1 / 2f, at least the exposure time needs to be shorter than 1 / (2f ⁇ 4). Since the normal frame rate is 60 frames / second or less, it is possible to generate an appropriate bright line pattern in the image data and perform high-speed signal transmission by setting the exposure time to 1/480 seconds or less. Become.
  • FIG. 5C shows an advantage when the exposure times are short when the exposure times of the exposure lines do not overlap.
  • the exposure time is long, even if the light source has a binary luminance change as in 7502a, the captured image has an intermediate color portion as in 7502e, and it becomes difficult to recognize the luminance change of the light source.
  • the free time (predetermined waiting time) t D2 not predetermined exposure start exposure of the next exposure line, the luminance variation of the light source Can be easily recognized. That is, a more appropriate bright line pattern such as 7502f can be detected.
  • an exposure time t E can be realized to be smaller than the time difference t D of the exposure start time of each exposure line.
  • the exposure time is set shorter than the normal shooting mode until a predetermined idle time occurs. This can be realized. Further, even when the normal photographing mode is the case where the exposure end time of the previous exposure line and the exposure start time of the next exposure line are equal, by setting the exposure time short until a predetermined non-exposure time occurs, Can be realized.
  • the exposure time of adjacent exposure lines has a partial overlap in time, and a configuration in which some exposure lines have no partial overlap. It is also possible. Further, in all exposure lines, it is not necessary to provide a configuration in which an idle time (predetermined waiting time) in which a predetermined exposure is not performed is provided after the exposure of one exposure line is completed until the exposure of the next exposure line is started. It is also possible to have a configuration in which the lines partially overlap in time. With such a configuration, it is possible to take advantage of the advantages of each configuration.
  • the same readout method is used in the normal shooting mode in which shooting is performed at a normal frame rate (30 fps, 60 fps) and in the visible light communication mode in which shooting is performed with an exposure time of 1/480 second or less in which visible light communication is performed.
  • a signal may be read by a circuit.
  • FIG. 5D shows the relationship between the minimum change time t S of the light source luminance, the exposure time t E , the time difference t D of the exposure start time of each exposure line, and the captured image.
  • Figure 5E the transition and time t T of the light source luminance, which shows the relationship between the time difference t D of the exposure start time of each exposure line.
  • t D is larger than the t T, exposure lines to be neutral is reduced, it is easy to estimate the light source luminance.
  • the exposure line of the intermediate color is continuously 2 or less, which is desirable.
  • t T the light source is less than 1 microsecond in the case of LED, light source for an approximately 5 microseconds in the case of organic EL, a t D by 5 or more microseconds, to facilitate estimation of the light source luminance be able to.
  • Figure 5F shows a high frequency noise t HT of light source luminance, the relationship between the exposure time t E.
  • t E is larger than t HT , the captured image is less affected by high frequency noise, and light source luminance is easily estimated.
  • t E is an integral multiple of t HT , the influence of high frequency noise is eliminated, and the light source luminance is most easily estimated.
  • t E > t HT .
  • the main cause of high frequency noise derived from the switching power supply circuit since many of the t HT in the switching power supply for the lamp is less than 20 microseconds, by the t E and 20 micro-seconds or more, the estimation of the light source luminance It can be done easily.
  • Figure 5G is the case t HT is 20 microseconds, which is a graph showing the relationship between the size of the exposure time t E and the high frequency noise.
  • t E is the value becomes equal to the value when the amount of noise takes a maximum, 15 microseconds or more, or, 35 microseconds or more, or, It can be confirmed that the efficiency is good when it is set to 54 microseconds or more, or 74 microseconds or more. From the viewpoint of reducing high-frequency noise, it is desirable that t E be large. However, as described above, there is a property that light source luminance can be easily estimated in that the smaller the t E , the more difficult the intermediate color portion is generated.
  • t E when the light source luminance change period is 15 to 35 microseconds, t E is 15 microseconds or more, and when the light source luminance change period is 35 to 54 microseconds, t E is 35 microseconds or more.
  • t E is 54 microseconds or more when the cycle is 54 to 74 microseconds of change, t E when the period of the change in light source luminance is 74 microseconds or more may be set as 74 microseconds or more.
  • Figure 5H shows the relationship between the exposure time t E and the recognition success rate. Since the exposure time t E has a relative meaning with respect to the time when the luminance of the light source is constant, the value (relative exposure time) obtained by dividing the period t S where the luminance of the light source changes by the exposure time t E is taken as the horizontal axis. Yes. From the graph, it can be seen that if the recognition success rate is desired to be almost 100%, the relative exposure time should be 1.2 or less. For example, when the transmission signal is 1 kHz, the exposure time may be about 0.83 milliseconds or less.
  • the relative exposure time may be set to 1.25 or less, and when the recognition success rate is set to 80% or more, the relative exposure time may be set to 1.4 or less. Recognize. Also, the recognition success rate drops sharply when the relative exposure time is around 1.5, and becomes almost 0% at 1.6, so it can be seen that the relative exposure time should not be set to exceed 1.5. . It can also be seen that after the recognition rate becomes 0 at 7507c, it rises again at 7507d, 7507e, and 7507f.
  • FIG. 6A is a flowchart of the information communication method in the present embodiment.
  • the information communication method in the present embodiment is an information communication method for acquiring information from a subject, and includes steps SK91 to SK93.
  • a plurality of bright lines corresponding to a plurality of exposure lines included in the image sensor are generated in an image obtained by photographing the subject by an image sensor according to a change in luminance of the subject.
  • a first exposure time setting step SK91 for setting a first exposure time of the image sensor; and the image sensor shoots the subject whose luminance changes with the set first exposure time
  • First image acquisition step SK92 for acquiring a bright line image including a plurality of bright lines, and information acquisition for acquiring information by demodulating data specified by the patterns of the plurality of bright lines included in the acquired bright line image Step SK93, and in the first image acquisition step SK92, the plurality of exposure lines Re starts exposure at successively different times, and the exposure of the adjacent exposure line after a predetermined idle time from the end, the exposure is started adjacent to the exposure line.
  • FIG. 6B is a block diagram of the information communication apparatus according to the present embodiment.
  • the information communication device K90 in the present embodiment is an information communication device that acquires information from a subject, and includes constituent elements K91 to K93.
  • the information communication apparatus K90 causes a plurality of bright lines corresponding to a plurality of exposure lines included in the image sensor to be generated in response to a change in luminance of the subject in an image obtained by photographing the subject by an image sensor.
  • an exposure time setting unit K91 for setting an exposure time of the image sensor, and the image sensor for acquiring a bright line image including the plurality of bright lines by photographing the subject whose luminance changes with the set exposure time.
  • an information acquisition unit K93 that acquires information by demodulating data specified by the patterns of the plurality of bright lines included in the acquired bright line image, and the plurality of exposure lines. Each of these starts exposure at different times sequentially and is adjacent to the exposure line. From the exposure of the down is completed after a predetermined idle time has elapsed, exposure is started.
  • each of the plurality of exposure lines is exposed to the adjacent exposure line adjacent to the exposure line. Since exposure is started after a lapse of a predetermined idle time after the end, it is possible to easily recognize a change in luminance of the subject. As a result, information can be appropriately acquired from the subject.
  • each component may be configured by dedicated hardware or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • the program causes the computer to execute the information communication method shown by the flowchart of FIG. 6A.
  • FIG. 7 is a diagram illustrating an example of each mode of the receiver in the present embodiment.
  • the receiver 8000 acquires a normal shot image by shooting at a shutter speed of 1/100 seconds, for example, and displays the normal shot image on the display.
  • the normal photographed image clearly shows a subject such as a streetlight or signage configured as a store signboard and its surroundings.
  • the receiver 8000 acquires a visible light communication image by shooting at a shutter speed of 1/10000 second, for example.
  • a location where the signal is transmitted in this visible light communication image One or a plurality of bright lines (hereinafter referred to as a bright line pattern) is projected, and nothing is projected except for the portions. That is, in this visible light communication image, only the bright line pattern is displayed, and the portion where the luminance of the subject is not changed and the periphery of the subject are not projected.
  • the receiver 8000 acquires an intermediate image by shooting at a shutter speed of 1/3000 seconds, for example.
  • this intermediate image a bright line pattern is displayed, and the above-described portion of the subject where the luminance is not changed and the periphery of the subject are also shown. Therefore, the receiver 8000 displays the intermediate image on the display, so that the user can know where or from where the signal is transmitted.
  • the bright line pattern, the subject, and the surrounding area displayed by the intermediate image are not clearer than the bright line pattern of the visible light communication image and the subject and the surrounding area of the normal captured image, respectively, but have a sharpness recognized by the user. .
  • shooting in the normal shooting mode or normal shooting mode is referred to as normal shooting
  • shooting in the visible light communication mode or visible light communication mode is referred to as visible light shooting (visible light communication).
  • shooting in an intermediate mode may be used, and an intermediate image may be used instead of a composite image described later.
  • FIG. 8 is a diagram illustrating an example of the photographing operation of the receiver in this embodiment.
  • the receiver 8000 switches the shooting mode to normal shooting, visible light communication, normal shooting, and so on. Then, the receiver 8000 generates a composite image in which the bright line pattern, the subject, and the surrounding area are clearly displayed by combining the normal captured image and the visible light communication image, and displays the composite image on the display. .
  • This composite image is an image generated by superimposing the bright line pattern of the visible light communication image on the portion where the signal in the normal captured image is transmitted. Further, the bright line pattern, the subject, and the surroundings displayed by the composite image are clear and have a sharpness sufficiently recognized by the user. By displaying such a composite image, the user can more clearly know from where or from where the signal is transmitted.
  • FIG. 9 is a diagram illustrating another example of the photographing operation of the receiver in this embodiment.
  • the receiver 8000 includes a camera Ca1 and a camera Ca2.
  • the camera Ca1 performs normal photographing
  • the camera Ca2 performs visible light photographing.
  • the camera Ca1 acquires the normal captured image as described above
  • the camera Ca2 acquires the visible light communication image as described above.
  • the receiver 8000 generates the above-described combined image by combining the normal captured image and the visible light communication image, and displays the combined image on the display.
  • FIG. 10A is a diagram illustrating another example of the photographing operation of the receiver in this embodiment.
  • the camera Ca1 switches the shooting mode to normal shooting, visible light communication, normal shooting, and so on.
  • the camera Ca2 continuously performs normal shooting.
  • the receiver 8000 receives from the normal shooting images acquired by these cameras using stereo vision (the principle of triangulation).
  • the distance from the machine 8000 to the subject (hereinafter referred to as subject distance) is estimated.
  • FIG. 10B is a diagram illustrating another example of the photographing operation of the receiver in this embodiment.
  • the receiver 8000 includes, for example, three cameras (camera Ca1, camera Ca2, and camera Ca3).
  • two cameras (camera Ca2 and camera Ca3) continue to perform normal imaging, and the remaining one camera (camera Ca1) continues to perform visible light communication. Accordingly, the subject distance can be estimated based on the normal captured images obtained by the two cameras that are normally capturing at any timing.
  • FIG. 10C is a diagram illustrating another example of the photographing operation of the receiver in this embodiment.
  • the receiver 8000 includes, for example, three cameras (camera Ca1, camera Ca2, and camera Ca3).
  • each camera switches the shooting mode to normal shooting, visible light communication, normal shooting, and so on.
  • any two of these cameras perform normal shooting, and the remaining one camera performs visible light communication so that the shooting mode of each camera is switched for each period. It is done.
  • the combination of cameras that are normally shooting changes periodically.
  • the subject distance can be estimated based on the normal captured images obtained by the two cameras that are normally capturing.
  • FIG. 11A is a diagram showing an example of the camera arrangement of the receiver in this embodiment.
  • the receiver 8000 includes two cameras Ca1 and Ca2, as shown in FIG. 11A, the two cameras Ca1 and Ca2 are arranged at positions separated from each other. As a result, the subject distance can be estimated with high accuracy. That is, the longer the distance between the two cameras, the more accurately the subject distance can be estimated.
  • FIG. 11B is a diagram showing another example of the camera arrangement of the receiver in the present embodiment.
  • the receiver 8000 includes three cameras Ca1, Camera Ca2, and Camera Ca3, as shown in FIG. 11B, the two cameras Ca1 and Ca2 for normal photographing are arranged at positions separated from each other. Moreover, the camera Ca3 for visible light communication is arrange
  • FIG. 12 is a diagram showing an example of the display operation of the receiver in this embodiment.
  • the receiver 8000 switches the photographing mode to visible light communication, normal photographing, visible light communication, and so on.
  • the receiver 8000 activates an application program when performing visible light communication for the first time.
  • the receiver 8000 estimates its own position based on the signal received by visible light communication.
  • the receiver 8000 displays AR (Augmented Reality) information on the normal shot image acquired by the normal shooting.
  • This AR information is acquired based on the position estimated as described above.
  • the receiver 8000 estimates the movement and direction change of the receiver 8000 based on the detection result of the 9-axis sensor and the motion detection of the normal captured image, and matches the estimated movement and direction change. To move the display position of the AR information.
  • the AR information can be made to follow the subject image of the normal captured image.
  • the receiver 8000 switches the shooting mode from the normal shooting to the visible light communication, the AR information is superimposed on the latest normal shooting image acquired at the time of the normal shooting immediately before the visible light communication.
  • the receiver 8000 displays a normal captured image on which the AR information is superimposed.
  • the receiver 8000 estimates the movement and direction change of the receiver 8000 on the basis of the detection result by the 9-axis sensor, and AR in accordance with the estimated movement and direction change.
  • Move information and normal captured images Thereby, AR information can be made to follow the subject image of the normal captured image in accordance with the movement of the receiver 8000 or the like in the case of visible light communication as in the case of normal imaging. Further, the normal image can be enlarged and reduced in accordance with the movement of the receiver 8000 or the like.
  • FIG. 13 is a diagram illustrating an example of the display operation of the receiver in this embodiment.
  • the receiver 8000 may display the composite image on which the bright line pattern is projected, as shown in FIG. Further, as shown in FIG. 13B, the receiver 8000 normally captures a signal explicit object that is an image having a predetermined color for notifying that a signal is transmitted instead of the bright line pattern.
  • a composite image may be generated by superimposing on the image, and the composite image may be displayed.
  • the receiver 8000 normally has a location where a signal is transmitted indicated by a dotted frame and an identifier (for example, ID: 101, ID: 102, etc.).
  • the captured image may be displayed as a composite image.
  • the receiver 8000 recognizes a signal that is an image having a predetermined color for notifying that a specific type of signal is transmitted instead of the bright line pattern.
  • a composite image may be generated by superimposing an object on a normal captured image, and the composite image may be displayed.
  • the color of the signal identification object differs depending on the type of signal output from the transmitter. For example, when the signal output from the transmitter is position information, a red signal identification object is superimposed, and when the signal output from the transmitter is a coupon, the green signal identification object is Superimposed.
  • FIG. 14 is a diagram illustrating an example of the operation of the receiver in this embodiment.
  • the receiver 8000 may display a normal captured image and output a sound for notifying the user that the transmitter has been found.
  • the receiver 8000 varies the type of output sound, the number of outputs, or the output time depending on the number of transmitters found, the type of received signal, or the type of information specified by the signal. It may be allowed.
  • FIG. 15 is a diagram illustrating another example of the operation of the receiver in this embodiment.
  • the receiver 8000 when the user touches the bright line pattern displayed in the composite image, the receiver 8000 generates an information notification image based on a signal transmitted from the subject corresponding to the touched bright line pattern, and the information notification Display an image.
  • This information notification image indicates, for example, a store coupon or a place.
  • the bright line pattern may be a signal explicit object, a signal identification object, a dotted line frame, or the like shown in FIG. The same applies to the bright line patterns described below.
  • FIG. 16 is a diagram illustrating another example of the operation of the receiver in this embodiment.
  • the receiver 8000 when the user touches the bright line pattern displayed in the composite image, the receiver 8000 generates an information notification image based on a signal transmitted from the subject corresponding to the touched bright line pattern, and the information notification Display an image.
  • the information notification image indicates the current location of the receiver 8000 by a map or the like.
  • FIG. 17 is a diagram illustrating another example of the operation of the receiver in this embodiment.
  • the receiver 8000 receives signals from two street lamps that are subjects configured as transmitters. Then, similarly to the above, the receiver 8000 estimates its current location based on these signals.
  • the receiver 8000 displays a normal captured image and displays an information notification image (an image indicating latitude and longitude) indicating the estimation result superimposed on the normal captured image.
  • the receiver 8000 may display the auxiliary information notification image superimposed on the normal captured image.
  • This auxiliary information notification image recommends to the user an operation for calibrating, for example, a 9-axis sensor (in particular, a geomagnetic sensor), that is, an operation for canceling drift. By performing such an operation, the current location is estimated with high accuracy.
  • the receiver 8000 may display a map indicating the estimated position instead of the normal captured image.
  • FIG. 18 is a diagram illustrating another example of the operation of the receiver in this embodiment.
  • the receiver 8000 when the user swipes the receiver 8000 displaying the composite image, the receiver 8000 performs normal shooting having a dotted frame and an identifier similar to the normal shot image illustrated in FIG. An image is displayed and a list of information is displayed so as to follow the swipe operation. In this list, information specified by a signal transmitted from a location (transmitter) indicated by each identifier is shown.
  • the swipe may be, for example, an operation of moving a finger from outside the right side of the display in the receiver 8000.
  • the swipe may be an operation of moving a finger from the upper side, the lower side, or the left side of the display.
  • the receiver 8000 may display an information notification image (for example, an image showing a coupon) showing the information in more detail.
  • an information notification image for example, an image showing a coupon
  • FIG. 19 is a diagram illustrating another example of the operation of the receiver in this embodiment.
  • the receiver 8000 displays the information notification image superimposed on the composite image so as to follow the swipe operation.
  • This information notification image shows the subject distance with an arrow in an easy-to-understand manner for the user.
  • the swipe may be, for example, an operation of moving a finger from outside the lower side of the display in the receiver 8000.
  • the swipe may be an operation of moving a finger from the left side of the display, from the upper side, or from the right side.
  • FIG. 20 is a diagram illustrating another example of the operation of the receiver in this embodiment.
  • the receiver 8000 images a transmitter, which is a signage indicating a plurality of stores, as a subject, and displays a normal captured image acquired by the imaging.
  • the receiver 8000 when the user taps the signage image of one store included in the subject displayed in the normal captured image, the receiver 8000 generates an information notification image based on a signal transmitted from the signage of the store Then, the information notification image 8001 is displayed.
  • This information notification image 8001 is an image showing, for example, a vacant seat situation in a store.
  • FIG. 21 is a diagram illustrating an example of operations of the receiver, the transmitter, and the server in the present embodiment.
  • the transmitter 8012 configured as a television transmits a signal to the receiver 8011 by a luminance change.
  • This signal includes, for example, information for prompting the user to purchase content related to the program being viewed.
  • the receiver 8011 displays an information notification image that prompts the user to purchase content based on the signal.
  • the receiver 8011 receives information included in a SIM (Subscriber Identity Module) card inserted into the receiver 8011, user ID, terminal ID, credit card information, billing At least one of the information, the password, and the transmitter ID is transmitted to the server 8013.
  • SIM Subscriber Identity Module
  • the server 8013 manages a user ID and payment information in association with each user.
  • the server 8013 identifies the user ID based on the information transmitted from the receiver 8011, and confirms the payment information associated with the user ID. By this confirmation, the server 8013 determines whether or not to allow the user to purchase content. If the server 8013 determines to permit, the server 8013 transmits permission information to the receiver 8011. When receiving the permission information, the receiver 8011 transmits the permission information to the transmitter 8012. The transmitter 8012 that has received the permission information acquires and reproduces the content via a network, for example.
  • the transmitter 8012 may transmit information including the ID of the transmitter 8012 to the receiver 8011 by changing the luminance.
  • the receiver 8011 transmits the information to the server 8013.
  • the server 8013 obtains the information, the server 8013 can determine that, for example, a television program is being viewed by the transmitter 8012, and can perform a viewing rate survey of the television program.
  • the receiver 8011 includes the content operated by the user (voting or the like) in the above information and transmits it to the server 8013, so that the server 8013 can reflect the content in the television program. That is, a viewer participation type program can be realized. Further, when the receiver 8011 accepts writing by the user, the contents of the writing are included in the above-described information and transmitted to the server 8013 so that the server 8013 can write the writing to the TV program or a bulletin board on the network. Etc. can be reflected.
  • the server 8013 can charge for viewing of a television program by pay broadcasting or an on-demand program. Further, the server 8013 displays an advertisement on the receiver 8011, displays detailed information of a TV program displayed on the transmitter 8012, and displays a URL of a site indicating the detailed information. Can do. Further, the server 8013 obtains the number of times the advertisement is displayed by the receiver 8011 or the amount of the product purchased by the advertisement, and thereby charges the advertiser according to the number or amount. be able to. Such billing can be made even if the user who saw the advertisement does not purchase the product immediately.
  • the server 8013 acquires information indicating the manufacturer of the transmitter 8012 from the transmitter 8012 via the receiver 8011, the server 8013 provides a service (for example, a reward for sales of the above-described product to the manufacturer indicated by the information). Payment).
  • a service for example, a reward for sales of the above-described product to the manufacturer indicated by the information.
  • FIG. 22 is a diagram illustrating another example of the operation of the receiver in this embodiment.
  • the user points the camera of the receiver 8021 toward a plurality of transmitters 8020a to 8020d configured as illumination.
  • the receiver 8021 is moved so that each of the transmitters 8020a to 8020d is photographed in order as a subject.
  • the receiver 8021 receives signals from the transmitters 8020a to 8020d by performing visible light communication while being moved. These signals include information indicating the position of the transmitter.
  • the receiver 8021 is based on the position indicated by the received signals from the transmitters 8020a to 8020d, the detection result of the 9-axis sensor provided in the receiver 8021, and the motion of the image obtained by photographing.
  • the position of the receiver 8021 is estimated using the principle of triangulation. In this case, since the receiver 8021 is moved, the drift of the 9-axis sensor (particularly, the geomagnetic sensor) is eliminated, so that a more accurate position can be estimated.
  • FIG. 23 is a diagram illustrating another example of the operation of the receiver in this embodiment.
  • the receiver 8030 is configured as a head mounted display including a camera, for example.
  • the receiver 8030 starts photographing in the visible light communication mode, that is, visible light communication when the start button is pressed.
  • the receiver 8030 notifies the user of information corresponding to the received signal. This notification is performed, for example, by outputting sound from a speaker provided in the receiver 8030 or by displaying an image.
  • the visible light communication is received by the receiver 8030 when an input of a voice instructing the start is received by the receiver 8030 or a signal instructing the start is received by wireless communication. It may be started when it is done.
  • visible light communication is started when the change width of the value obtained by the 9-axis sensor provided in the receiver 8030 exceeds a predetermined range or when a bright line pattern appears even in a normal photographed image. May be.
  • FIG. 24 is a diagram illustrating an example of initial setting of the receiver according to the present embodiment.
  • the receiver 8030 displays an alignment image 8031 at the time of initial setting.
  • This alignment image 8031 is for performing alignment between the position indicated by the user in the image obtained by photographing with the camera of the receiver 8030 and the image displayed by the receiver 8030.
  • the receiver 8030 performs alignment by associating the position of the fingertip with the position of the circle. That is, the position indicated by the user is calibrated.
  • FIG. 25 is a diagram illustrating another example of the operation of the receiver in this embodiment.
  • the receiver 8030 When the receiver 8030 identifies a location where a signal is transmitted by visible light communication, the receiver 8030 displays a composite image 8034 on which a bright line pattern is projected. The user performs an operation such as a tap or a double tap on the bright line pattern. Upon receiving this operation, the receiver 8030 identifies the bright line pattern that is the target of the operation, and displays an information notification image 8032 based on a signal transmitted from a location corresponding to the bright line pattern.
  • FIG. 26 is a diagram illustrating another example of the operation of the receiver in this embodiment.
  • the receiver 8030 displays the composite image 8034 as described above.
  • the user performs an operation of moving the fingertip so as to surround the bright line pattern in the composite image 8034.
  • the receiver 8030 identifies the bright line pattern that is the target of the operation, and displays an information notification image 8032 based on a signal transmitted from a location corresponding to the bright line pattern.
  • FIG. 27 is a diagram illustrating another example of the operation of the receiver in this embodiment.
  • the receiver 8030 displays the composite image 8034 as described above.
  • the user performs an operation of placing the fingertip on the bright line pattern in the composite image 8034 for a predetermined time or more.
  • the receiver 8030 identifies the bright line pattern that is the target of the operation, and displays an information notification image 8032 based on a signal transmitted from a location corresponding to the bright line pattern.
  • FIG. 28 is a diagram illustrating another example of the operation of the receiver in this embodiment.
  • the receiver 8030 displays the composite image 8034 as described above.
  • the user performs an operation of moving the fingertip toward the bright line pattern of the composite image 8034 by swiping.
  • the receiver 8030 identifies the bright line pattern that is the target of the operation, and displays an information notification image 8032 based on a signal transmitted from a location corresponding to the bright line pattern.
  • FIG. 29 is a diagram illustrating another example of operation of the receiver in this embodiment.
  • the receiver 8030 displays the composite image 8034 as described above.
  • the user performs an operation to keep the line of sight toward the bright line pattern of the composite image 8034 for a predetermined time or more.
  • the user performs an operation of blinking a predetermined number of times with the line of sight directed toward the bright line pattern.
  • the receiver 8030 identifies the bright line pattern that is the target of the operation, and displays an information notification image 8032 based on a signal transmitted from a location corresponding to the bright line pattern.
  • FIG. 30 is a diagram illustrating another example of the operation of the receiver in this embodiment.
  • the receiver 8030 displays the composite image 8034 as well as the above, and displays an arrow associated with each bright line pattern in the composite image 8034. These arrows point in different directions for each bright line pattern.
  • the user performs an operation of moving the head along any of the arrows.
  • the receiver 8030 specifies the bright line pattern associated with the arrow corresponding to the operation, that is, the arrow pointing in the direction in which the head is moved.
  • the receiver 8030 displays an information notification image 8032 based on a signal transmitted from a location corresponding to the bright line pattern.
  • FIG. 31A is a diagram showing a pen used for operating the receiver in the present embodiment.
  • the pen 8033 includes a transmitter 8033a that transmits a signal according to a change in luminance, a button 8033b, and a button 8033c.
  • the transmitter 8033a transmits a predetermined first signal
  • the button 8033c is pressed
  • the transmitter 8033a has a predetermined first signal different from the first signal. 2 signal is transmitted.
  • FIG. 31B is a diagram illustrating an operation of the receiver using the pen according to the present embodiment.
  • the pen 8033 is used in place of the above-described user's fingertip, and is used like a stylus pen. Further, by properly using the button 8033b and the button 8033c, the pen 8033 can be used as a normal pen or used like an eraser.
  • FIG. 32 is a diagram illustrating an example of the appearance of the receiver in the present embodiment.
  • the receiver 8030 includes a first touch sensor 8030a and a second touch sensor 8030b. These touch sensors are attached to the frame of the receiver 8030. For example, when the user moves the fingertip on the first touch sensor 8030a, the receiver 8030 moves the pointer in accordance with the movement of the fingertip on the image displayed to the user. Further, when the user touches the second touch sensor 8030b, the receiver 8030 performs a process of selecting an object to which the pointer is placed on an image displayed to the user.
  • FIG. 33 is a diagram illustrating another example of the appearance of the receiver according to the present embodiment.
  • the receiver 8030 includes a touch sensor 8030c.
  • the touch sensor 8030c is attached to the frame of the receiver 8030. For example, when the user touches and moves the touch sensor 8030c with the fingertip, the receiver 8030 moves the pointer in accordance with the movement of the fingertip on the image displayed to the user. When the user presses the touch sensor 8030c, the receiver 8030 performs a process of selecting an object to which the pointer is placed on an image displayed to the user. That is, the touch sensor 8030c is configured as a so-called clickable touch sensor.
  • FIG. 34 is a diagram illustrating another example of the operation of the receiver in this embodiment.
  • the receiver 8030 displays the composite image 8034 in the same manner as described above, and displays the pointer 8035 in the composite image 8034.
  • the receiver 8030 includes the first touch sensor 8030a and the second touch sensor 8030b
  • the user moves the pointer by moving the first touch sensor 8030a while placing the fingertip on the first touch sensor 8030a. Point the object at.
  • the user touches the second touch sensor 8030b to cause the receiver 8030 to select the bright line pattern.
  • the receiver 8030 selects a bright line pattern
  • the receiver 8030 displays an information notification image 8032 based on a signal transmitted from the portion of the bright line pattern.
  • the receiver 8030 includes the touch sensor 8030c
  • the user moves the pointer by placing the fingertip on the touch sensor 8030c and moves the pointer to the object having the bright line pattern. Then, the user causes the receiver 8030 to select the bright line pattern by pressing the touch sensor 8030c.
  • the receiver 8030 selects a bright line pattern
  • the receiver 8030 displays an information notification image 8032 based on a signal transmitted from the portion of the bright line pattern.
  • FIG. 35A is a diagram illustrating another example of operation of a receiver in this embodiment.
  • the receiver 8030 displays a gesture confirmation image 8036 based on a signal obtained by performing visible light communication.
  • This gesture confirmation image 8036 prompts the user for a predetermined gesture in order to provide a service to the user, for example.
  • FIG. 35B is a diagram illustrating an application example using the receiver in this embodiment.
  • User 8038 is wearing a receiver 8030 and is at a store, for example.
  • the receiver 8030 displays the above-described gesture confirmation image 8036 on the user 8038.
  • the user 8038 performs a predetermined gesture according to the gesture confirmation image 8036.
  • a clerk 8039 in the store is wearing a receiver 8037.
  • the receiver 8037 is configured as a head mounted display provided with a camera, and may have the same configuration as the receiver 8030.
  • the receiver 8037 also displays a gesture confirmation image 8036 based on a signal obtained by performing visible light communication.
  • the salesclerk 8039 determines whether or not the predetermined gesture indicated by the displayed gesture confirmation image 8036 matches the gesture performed by the user 8038. When the clerk 8039 determines that they match, the clerk 8039 provides the user 8038 with a service associated with the gesture confirmation image 8036.
  • FIG. 36A is a diagram illustrating another example of operation of a receiver in this embodiment.
  • the receiver 8030 displays a gesture confirmation image 8040 based on a signal obtained by performing visible light communication.
  • This gesture confirmation image 8040 prompts the user for a predetermined gesture in order to permit wireless communication, for example.
  • FIG. 36B is a diagram illustrating an application example using the receiver in this embodiment.
  • User 8038 is wearing receiver 8030.
  • the receiver 8030 displays the above-described gesture confirmation image 8040 on the user 8038.
  • the user 8038 performs a predetermined gesture according to the gesture confirmation image 8040.
  • a person 8041 around the user 8038 wears the receiver 8037.
  • the receiver 8037 is configured as a head mounted display provided with a camera, and may have the same configuration as the receiver 8030.
  • the receiver 8037 acquires authentication information such as a password included in the gesture by photographing a predetermined gesture performed by the user 8038.
  • the receiver 8037 determines that the authentication information matches the predetermined information, the receiver 8037 establishes a wireless connection with the receiver 8030. After the establishment, the receiver 8030 and the receiver 8037 can perform wireless communication with each other.
  • FIG. 37A is a diagram illustrating an example of operation of the transmitter in this embodiment.
  • the transmitter transmits the signal 1 and the signal 2 alternately at a predetermined cycle, for example. Transmission of the signal 1 and transmission of the signal 2 are performed by luminance changes such as blinking of visible light. Further, the luminance change pattern for transmitting the signal 1 and the luminance change pattern for transmitting the signal 2 are different from each other.
  • FIG. 37B is a diagram illustrating another example of operation of the transmitter in this embodiment.
  • the transmitter may transmit the signal 1 and the signal 2 intermittently with a buffer time without transmitting the signal 1 and the signal 2 continuously as described above.
  • the transmitter does not change the luminance during the buffer time.
  • the transmitter may transmit a signal indicating that it is a buffer time by a luminance change or a luminance change different from the luminance change for transmitting each of the signal 1 and the signal 2 during the buffer time. .
  • the receiver can appropriately receive the signal 1 and the signal 2 without interference.
  • FIG. 38 is a diagram illustrating another example of the operation of the transmitter in this embodiment.
  • the transmitter repeatedly transmits a signal string of a constituent unit including a preamble, block 1, block 2, block 3, and a check signal according to a change in luminance.
  • the block 1 has a preamble, an address 1, data 1 and a check signal.
  • Block 2 and block 3 are configured in the same manner as block 1. Further, specific information can be obtained by using data included in each of block 1, block 2 and block 3.
  • one data or information is stored in three blocks. Therefore, even if a receiver that requires a blanking period for imaging cannot receive all the data of block 1, block 2 and block 3 from one signal string, the remaining data from other signal strings Can be received. As a result, even a receiver that requires a blanking period can appropriately acquire specific information from at least one signal sequence.
  • a preamble and a check signal are arranged for a set of three blocks. Therefore, a receiver that can receive light without requiring a blanking period, for example, a receiver equipped with an illuminance sensor or the like, uses a preamble and a check signal that are arranged for the set, and thereby uses one signal sequence. It can be received at once and specific information can be acquired in a short time.
  • FIG. 39 is a diagram illustrating another example of operation of the transmitter in this embodiment.
  • each block is arranged in the order of block 1, block 2, and block 3 in the first signal sequence, and each block is arranged in the order of block 3, block 1, and block 2 in the next signal sequence.
  • FIG. 40 is a diagram illustrating an example of a communication form between a plurality of transmitters and receivers in the present embodiment.
  • the receiver 8050 may receive a signal (visible light) transmitted from the transmitter 8051a and the transmitter 8051b configured as illumination and reflected by the reflecting surface. Thereby, signals from many transmitters can be received together. In this case, the transmitter 8051a and the transmitter 8051b transmit signals of different frequencies or protocols. Thereby, the receiver 8050 can receive the signals from those transmitters without interference.
  • a signal visible light transmitted from the transmitter 8051a and the transmitter 8051b configured as illumination and reflected by the reflecting surface.
  • FIG. 41 is a diagram illustrating an example of operations of a plurality of transmitters in the present embodiment.
  • One of the transmitter 8051a and the transmitter 8051b may monitor the transmission status of a signal from the other and transmit a signal so as to prevent interference with the other signal. For example, one transmitter receives a signal transmitted from the other transmitter and transmits a signal of a protocol different from that signal. Alternatively, one transmitter detects a period during which no signal is transmitted from the other transmitter, and transmits a signal during that period.
  • FIG. 42 is a diagram illustrating another example of a communication form between a plurality of transmitters and receivers in the present embodiment.
  • the transmitter 8051a and the transmitter 8051b may each transmit a signal having the same frequency or protocol.
  • the receiver 8050 specifies the intensity of the signal transmitted from those transmitters, that is, the edge intensity of the bright line included in the image obtained by imaging. This intensity becomes weaker as the distance between the receiver 8050 and the transmitter is longer.
  • the receiver 8050 and each of the transmitter 8051a and the transmitter 8051b is different, such a difference in distance can be used. That is, the receiver 8050 can appropriately separate and receive the signals transmitted from the transmitter 8051a and the transmitter 8051b according to the specified strength.
  • FIG. 43 is a diagram illustrating another example of operation of the receiver in this embodiment.
  • the receiver 8050 receives a signal transmitted from the transmitter 8051a and reflected by the reflecting surface. At this time, the receiver 8050 may estimate the position of the transmitter 8051a based on the luminance intensity distribution (luminance difference at a plurality of positions) in an image obtained by photographing.
  • FIG. 44 is a diagram illustrating an application example of the receiver in this embodiment.
  • the receiver 7510a configured as a smartphone images the light source 7510b with a back camera (out camera) 7510c, receives a signal transmitted from the light source 7510b, and acquires the position and orientation of the light source 7510b from the received signal.
  • the receiver 7510a estimates the position and orientation of the receiver 7510a itself from how the light source 7510b is captured in the captured image and the sensor values of the 9-axis sensor provided in the receiver 7510a.
  • the receiver 7510a captures the user 7510e with a front camera (face camera, in-camera) 7510f, and estimates the position and orientation of the head of the 7510e and the line-of-sight direction (eyeball position and orientation) by image processing. .
  • the receiver 7510a transmits the estimation result to the server.
  • the receiver 7510a changes the behavior (display content and playback sound) according to the viewing direction of the user 7510e.
  • the imaging by the back camera 7510c and the imaging by the front camera 7510f may be performed simultaneously or alternately.
  • FIG. 45 is a diagram illustrating an example of application of a receiver in this embodiment.
  • the receivers 7511d and 7511i configured as smartphones receive signals from the light sources 7511b and 7511g, estimate their positions and orientations, and estimate the gaze directions of the users 7511e and 7511j.
  • the receivers 7511d and 7511i acquire information on the surrounding objects 7511a to 7511c and 7511f to 7511h from the server based on the received data.
  • the receivers 7511d and 7511i change the display on the display as if the object on the other side is seen through the receivers 7511d and 7511i when viewed from the user.
  • the receivers 7511d and 7511i display an AR (augmented reality) object such as 7511k in accordance with the content shown on the display.
  • the receiver 7511i displays that it is out of the range, such as 7511l.
  • the AR object and other information are displayed in an area outside the range.
  • the images obtained when the out-of-range region is captured in the past are connected and displayed.
  • FIG. 46 is a diagram illustrating an application example of the receiver in this embodiment.
  • the receiver 7512c configured as a smartphone receives a signal from the light source 7512a, estimates its own position and orientation, and estimates the line of sight of the user 7512d.
  • the receiver 7512c performs processing related to the object 7512b that is in the line-of-sight direction of the user 7512d. For example, information related to the object 7512b is displayed on the screen.
  • the receiver 7512g determines that the user 7512h is interested in the object 7512f, and continues processing related to the object 7512f. For example, information on the object 7512f is kept displayed on the screen.
  • FIG. 47 is a diagram illustrating an example of application of a transmitter in this embodiment.
  • the transmitter 7513a configured as an illumination has a high luminance, and when the luminance is high (high) or low (low) as a transmission signal, it exceeds the upper limit brightness when imaged by the receiver. , 7513b, no bright line appears. Therefore, as shown in 7513c, by providing a portion 7513d that diffuses or weakens light such as a diffuser plate or a prism to reduce the luminance, the receiver can image bright lines like 7513e. .
  • FIG. 48 is a diagram illustrating an application example of the transmitter according to the present embodiment.
  • the picked-up image has unevenness in brightness as in the case of 7514b and induces a reception error. Therefore, as shown by 7514c, a reception error can be suppressed by providing a portion 7514d for diffusing light such as a diffuser plate or a prism so that the luminance is uniform.
  • FIG. 49 is a diagram illustrating an application example of the reception method in the present embodiment.
  • the luminance of the central portion is high, and bright lines do not appear in the captured image of the receiver, but bright lines appear in the peripheral portions.
  • the receiver cannot receive a signal from the portion 7515d because the bright line is interrupted, but can receive a signal from the portion 7515c.
  • the receiver can receive signals from more bright lines than the part 7515c by reading the bright lines in the path 7515e.
  • FIG. 50 is a diagram illustrating an application example of the transmitter according to the present embodiment.
  • the transmitters 7516a, 7516b, 7516c, and 7516d configured as illumination have high luminance similarly to 7513a, and bright lines are not easily generated when imaged by the receiver. Therefore, the diffuser plate / prism 7516e, the reflector plate 7516f, the reflector plate / half mirror 7516g, the reflector plate 7516h, and the diffuser plate / prism 7516j are provided to diffuse the light and widen the portion where the bright line is generated. Can do. With these transmitters, the picked-up image is picked up in the form of bright lines around 7515a.
  • the receiver estimates the distance between the receiver and the transmitter using the size of the transmitter on the captured image
  • the part where the light is diffused is set as the size of the light source
  • the server is associated with the transmission ID.
  • FIG. 51 is a diagram illustrating an application example of the transmitter according to the present embodiment.
  • the transmitter 7517a configured as illumination has high luminance like the 7513a, and a bright line is not easily generated when imaged by the receiver. Therefore, by providing the reflecting plate 7517b, it is possible to diffuse light and widen a portion where a bright line is generated.
  • FIG. 52 is a diagram illustrating an application example of the transmitter according to the present embodiment.
  • the transmitter 7518a reflects the light from the light source at 7518c, so that the receiver can image the bright lines in a wide range.
  • the transmitter 7518d directs the light source toward the diffuser plate or the prism 7518e, so that the receiver can image the bright lines in a wide range.
  • FIG. 53 is a diagram illustrating another example of operation of the receiver in this embodiment.
  • the receiver displays the bright line pattern by the composite image or the intermediate image as described above. At this time, the receiver may not be able to receive a signal from the transmitter corresponding to the bright line pattern.
  • the receiver when the bright line pattern is selected by the user performing an operation (for example, tapping) on the bright line pattern, the receiver performs an optical zoom to enlarge the composite line image or the intermediate image in which the bright line pattern is enlarged. Display an image.
  • the receiver can appropriately receive a signal from the transmitter corresponding to the bright line pattern. That is, even if an image obtained by imaging is too small to acquire a signal, the signal can be appropriately received by performing optical zoom. Even when an image having a size capable of acquiring a signal is displayed, fast reception can be performed by performing optical zoom.
  • the information communication method is an information communication method for acquiring information from a subject, and an bright line corresponding to an exposure line included in the image sensor is included in an image obtained by photographing the subject with an image sensor.
  • a first exposure time setting step for setting an exposure time of the image sensor so as to occur in accordance with a change in luminance of the subject; and the image sensor photographs the subject whose luminance changes with the set exposure time.
  • the bright line image acquisition step of acquiring a bright line image that is an image including the bright line, and the spatial position of the portion where the bright line appears can be identified based on the bright line image, and the subject and the subject
  • An image display step for displaying a display image in which the surroundings of the subject are projected, and the image included in the acquired bright line image Including an information acquisition step of acquiring transmission information by demodulating the data identified by the pattern of lines.
  • a composite image or an intermediate image as shown in FIGS. 7 to 9 and FIG. 13 is displayed as a display image.
  • the spatial position of the part where the bright line appears is identified by a bright line pattern, a signal explicit object, a signal identification object, a dotted line frame, or the like. Therefore, the user can easily find a subject that is transmitting a signal due to a change in luminance by viewing such a display image.
  • the information communication method further includes a second exposure time setting step for setting an exposure time longer than the exposure time, and the image sensor photographs the subject and the surroundings of the subject with the long exposure time.
  • a composite step of generating a composite image by superimposing the captured image, and the composite image may be displayed as the display image in the image display step.
  • the signal object is a bright line pattern, a signal explicit object, a signal identification object, a dotted line frame, or the like, and a composite image is displayed as a display image as shown in FIGS.
  • the user can more easily find the subject that is transmitting the signal due to the luminance change.
  • an exposure time is set to 1/3000 sec.
  • the bright line image acquisition step the bright line image in which the periphery of the subject is projected is acquired, and in the image display step.
  • the bright line image may be displayed as the display image.
  • the bright line image is acquired and displayed as an intermediate image. Therefore, it is not necessary to perform processing such as acquiring and synthesizing the normal captured image and the visible light communication image, and the processing can be simplified.
  • the image sensor includes a first image sensor and a second image sensor.
  • the first image sensor captures the normal captured image, and the bright line is acquired.
  • the bright line image may be acquired by capturing the second image sensor simultaneously with the capturing of the first image sensor.
  • a normal photographed image and a visible light communication image that is a bright line image are acquired by each camera. Therefore, compared with the case where a normal captured image and a visible light communication image are acquired with one camera, those images can be acquired earlier, and the processing can be speeded up.
  • the information communication method when the part where the bright line appears in the display image is designated by a user operation, the information communication method further includes the transmission information acquired from the pattern of the bright line of the designated part.
  • An information presentation step of presenting presentation information based on the information may be included. For example, the operation by the user is shown in association with a tap, swipe, an operation of continuously applying a fingertip to the part for a predetermined time, an operation in which a line of sight is directed to the part for a predetermined time, or An operation of moving a part of the user's body to an arrow, an operation of applying a pen tip that changes in luminance to the part, or a touch sensor is touched, and a pointer displayed on the display image is applied to the part It is an operation.
  • the presentation information is displayed as an information notification image. Thereby, desired information can be presented to the user.
  • the image sensor may be provided in a head mounted display, and in the image display step, a projector mounted on the head mounted display may display the display image.
  • a bright line corresponding to an exposure line included in the image sensor is generated in an image obtained by photographing the subject by an image sensor according to a change in luminance of the subject.
  • the first exposure time setting step of setting the exposure time of the image sensor, and the image including the bright line by the image sensor photographing the subject whose luminance changes with the set exposure time.
  • the plurality of subjects are photographed during the period in which the image sensor is moved.
  • the information communication method By acquiring the bright line image including a plurality of parts where the bright lines appear, and in the information acquisition step, for each part, by demodulating data specified by the pattern of the bright lines of the parts, The information communication method further estimates the position of the image sensor based on the acquired positions of the plurality of subjects and the movement state of the image sensor. A position estimation step may be included.
  • the position of the receiver including the image sensor can be accurately estimated based on a luminance change caused by a subject such as a plurality of lights.
  • a bright line corresponding to an exposure line included in the image sensor is generated in an image obtained by photographing the subject by an image sensor according to a change in luminance of the subject.
  • the first exposure time setting step of setting the exposure time of the image sensor, and the image including the bright line by the image sensor photographing the subject whose luminance changes with the set exposure time is performed.
  • the user can be authenticated and the convenience can be improved.
  • a bright line corresponding to an exposure line included in the image sensor is generated in an image obtained by photographing the subject by an image sensor according to a change in luminance of the subject.
  • the exposure time setting step for setting the exposure time of the image sensor, and the image sensor captures the bright line image including the bright line by photographing the subject whose luminance changes at the set exposure time.
  • the image acquisition step the image is reflected on the reflection surface.
  • the bright line image is acquired by photographing a plurality of the subjects, and the information acquisition step is performed.
  • the bright line is separated into bright lines corresponding to each of the plurality of subjects according to the intensity of the bright lines included in the bright line image, and each subject is specified by a bright line pattern corresponding to the subject.
  • Information may be acquired by demodulating the data.
  • a bright line corresponding to an exposure line included in the image sensor is generated in an image obtained by photographing the subject by an image sensor according to a change in luminance of the subject.
  • the exposure time setting step for setting the exposure time of the image sensor and the image sensor captures the bright line image including the bright line by photographing the subject whose luminance changes at the set exposure time.
  • the image acquisition step the image is reflected on the reflection surface.
  • the bright line image is acquired by photographing the subject, and the information communication method includes: , Based on the luminance distribution in the emission line image may include position estimation step for estimating the position of the object.
  • an appropriate subject position can be estimated based on the luminance distribution.
  • An information communication method for transmitting a signal according to a luminance change wherein a first determination step of determining a first pattern of luminance change by modulating a first signal to be transmitted, A second determination step of determining a second pattern of luminance change by modulating the signal of 2; and a luminance change according to the first pattern determined by the light emitter; A transmission step of transmitting the first and second signals by alternately performing a luminance change according to the second pattern.
  • the first signal and the second signal can be transmitted without delay.
  • the luminance change when the luminance change is switched between the luminance change according to the first pattern and the luminance change according to the second pattern, it may be switched with a buffer time.
  • An information communication method for transmitting a signal according to a luminance change wherein a determination step of determining a luminance change pattern by modulating a signal to be transmitted, and the light emitter changes in luminance according to the determined pattern And transmitting the signal to be transmitted, the signal comprising a plurality of large blocks, each of the plurality of large blocks including first data and a preamble for the first data. And a check signal for the first data, wherein the first data is composed of a plurality of small blocks, and the small blocks include second data, a preamble for the second data, and the first data. And a check signal for the second data may be included.
  • An information communication method for transmitting a signal by luminance change wherein a plurality of transmitters each modulate a signal to be transmitted to determine a luminance change pattern, and for each transmitter, And a transmitting step in which a light emitter provided in the transmitter changes the luminance according to the determined pattern and transmits the signal to be transmitted.
  • signals having different frequencies or protocols are transmitted. May be.
  • An information communication method for transmitting a signal by luminance change wherein a plurality of transmitters each modulate a signal to be transmitted to determine a luminance change pattern, and for each transmitter, A transmitter in which a light emitter provided in the transmitter transmits a signal to be transmitted by changing in luminance according to the determined pattern, wherein in the transmitting step, one of the plurality of transmitters One transmitter may receive a signal transmitted from the other transmitter and transmit another signal in a manner that does not interfere with the received signal.
  • Embodiment 3 each application example using a receiver such as a smartphone in Embodiment 1 or 2 and a transmitter that transmits information as a blinking pattern such as an LED or an organic EL will be described.
  • FIG. 54 is a flowchart illustrating an example of operation of the receiver in the third embodiment.
  • the receiver receives a signal with the illuminance sensor (8101).
  • the receiver acquires information such as position information from the server based on the received signal (8102).
  • the receiver activates an image sensor that can capture the light receiving direction of the illuminance sensor (8103).
  • the receiver receives part or all of the signal by the image sensor, and checks whether part or all of the signal is the same as the signal received by the illuminance sensor (8104).
  • the receiver estimates the position of the receiver from the position of the transmitter in the captured image (captured image), the information from the 9-axis sensor provided in the receiver, and the position information of the transmitter. (8105).
  • the receiver activates the illuminance sensor with low power consumption, and activates the image sensor when a signal is received by the illuminance sensor. Then, the receiver performs position estimation using imaging by the image sensor. As a result, the position of the receiver can be accurately estimated while suppressing power consumption.
  • FIG. 55 is a flowchart illustrating another example of the operation of the receiver in the third embodiment.
  • the receiver recognizes a periodic change in luminance from the sensor value of the illuminance sensor (8111).
  • the receiver activates an image sensor that can capture the light receiving direction of the illuminance sensor, and receives a signal (8112). That is, similarly to the above, the receiver activates an illuminance sensor with low power consumption, and activates the image sensor when a periodic change in luminance is received by the illuminance sensor. And a receiver receives an exact signal by imaging with the image sensor. Thereby, it is possible to receive an accurate signal while suppressing power consumption.
  • FIG. 56A is a block diagram illustrating an example of a transmitter in the third embodiment.
  • the transmitter 8115 includes a power supply unit 8115a, a signal control unit 8115b, a light emitting unit 8115c, and a light emitting unit 8115d.
  • the power supply unit 8115a supplies power to the signal control unit 8115b.
  • the signal control unit 8115b distributes the power supplied from the power supply unit 8115a to the light emitting unit 8115c and the light emitting unit 8115d, and controls the luminance change of the light emitting unit 8115c and the light emitting unit 8115d.
  • FIG. 56B is a block diagram illustrating another example of the transmitter according to Embodiment 3.
  • the transmitter 8116 includes a power supply unit 8116a, a signal control unit 8116b, a light emitting unit 8116c, and a light emitting unit 8116d.
  • the power supply unit 8116a supplies power to the light emitting unit 8116c and the light emitting unit 8116d.
  • the signal control unit 8116b controls changes in luminance of the light emitting unit 8116c and the light emitting unit 8116d by controlling the power supplied from the power supply unit 8116a. In this manner, the power control unit 8116a that supplies power to each of the light emitting unit 8116c and the light emitting unit 8116d is controlled by the signal control unit 8116b, so that the power use efficiency can be increased.
  • FIG. 57 is a diagram illustrating a configuration example of a system including a plurality of transmitters according to the third embodiment.
  • This system includes a central control unit 8118, a transmitter 8117, and a transmitter 8120.
  • the central control unit 8118 controls transmission of signals due to luminance changes of the transmitter 8117 and the transmitter 8120, respectively.
  • the central control unit 8118 causes the transmitter 8117 and the transmitter 8120 to transmit the same signal at the same timing, or causes only one of the transmitters to transmit a unique signal to the transmitter.
  • the transmitter 8120 includes two transmission units 8121 and 8122, a signal change unit 8123, a signal storage unit 8124, a synchronization signal input unit 8125, a synchronization control unit 8126, and a light receiving unit 8127.
  • Each of the two transmission units 8121 and 8122 has a configuration similar to that of the transmitter 8115 shown in FIG. 56A, and transmits a signal by changing the luminance.
  • the transmission unit 8121 includes a power supply unit 8121a, a signal control unit 8121b, a light emitting unit 8121c, and a light emitting unit 8121d.
  • the transmission unit 8122 includes a power supply unit 8122a, a signal control unit 8122b, a light emitting unit 8122c, and a light emitting unit 8122d.
  • the signal changing unit 8123 modulates the transmission target signal into a signal indicating a luminance change pattern.
  • the signal storage unit 8124 stores a signal indicating the luminance change pattern.
  • the signal control unit 8121b of the transmission unit 8121 reads the signal stored in the signal storage unit 8124, and changes the luminance of the light emitting unit 8121c and the light emitting unit 8121d according to the signal.
  • the synchronization signal input unit 8125 acquires a synchronization signal according to control by the central control unit 8118.
  • the synchronization control unit 8126 synchronizes the luminance change between the transmission unit 8121 and the transmission unit 8122. That is, the synchronization control unit 8126 synchronizes the luminance change between the transmission unit 8121 and the transmission unit 8122 by controlling the signal control unit 8121b and the signal control unit 8122b.
  • the light receiving unit 8127 detects light emission from the transmission unit 8121 and the transmission unit 8122.
  • the synchronization control unit 8126 performs feedback control to the signal control unit 8121b and the signal control unit 8122b in accordance with the light detected by the light receiving unit 8127.
  • FIG. 58 is a block diagram illustrating another example of the transmitter according to the third embodiment.
  • the transmitter 8130 includes a transmission unit 8131 that transmits a signal according to a luminance change and a non-transmission unit 8132 that emits light without transmitting the signal.
  • the transmission unit 8131 has the same configuration as the transmitter 8115 shown in FIG. 56A, and includes a power supply unit 8131a, a signal control unit 8131b, and light emitting units 8131c to 8131f.
  • the non-transmission unit 8132 includes a power supply unit 8132a and light emitting units 8132c to 8132f, and does not include a signal control unit. In other words, when there are multiple units including a power supply and synchronization control of luminance change is not possible between these units, only one unit is provided with a signal control unit as shown in FIG. Change the brightness of only one unit.
  • the light emitting units 8131c to 8131f of the transmission unit 8131 are continuously arranged in a line. That is, any of the light emitting units 8132c to 8132f of the non-transmission unit 8132 is not mixed with the set of the light emitting units 8131c to 8131f. As a result, the size of the illuminant that changes in luminance increases, so that the receiver can easily receive a signal transmitted by the luminance change.
  • FIG. 59A is a diagram illustrating an example of a transmitter in Embodiment 3.
  • the transmitter 8134 is configured as a signage, for example, and includes three light emitting units (light emitting regions) 8134a to 8134c.
  • the light from these light emitting units 8134a to 8134c does not interfere with each other.
  • the light emitting unit 8134b at the center is connected as shown in (a) of FIG. 59A. It is desirable to change the brightness.
  • two of the light emitting units 8134a to 8134c can change in luminance, as shown in FIG.
  • the receiver can appropriately receive a signal transmitted by the luminance change.
  • FIG. 59B is a diagram illustrating an example of a transmitter in Embodiment 3.
  • the transmitter 8135 is configured as a signage, for example, and includes three light emitting units 8135a to 8135c. Note that light from the light emitting units adjacent to each other among these light emitting units 8135a to 8135c interferes with each other.
  • the light emitting units 8135a to 8135c can change the luminance and transmit the signal, as shown in (a) of FIG. 59B, the light emission arranged at the end. It is desirable to change the luminance of the portion 8135a or the light emitting portion 8135c. Thereby, it can suppress that the luminance change for transmitting a signal interferes with the light from another light emission part.
  • FIG. 59C is a diagram illustrating an example of a transmitter in Embodiment 3.
  • the transmitter 8134 can change the luminance of the light emitting units 8134a and 8134c at both ends as shown in FIG. 50C. Good.
  • the imaging range in which the part where the luminance changes is reflected can be expanded.
  • FIG. 60A is a diagram illustrating an example of a transmitter in Embodiment 3.
  • the transmitter 8137 is configured as a signage, for example, and transmits a signal when the character portion “A Shop” and the light emitting unit 8137a change in luminance.
  • the light emitting unit 8137a is formed in, for example, a rectangular shape that is long in the horizontal direction, and changes in luminance uniformly. When the light emitting unit 8137a uniformly changes in luminance, the receiver can appropriately receive a signal transmitted by the luminance change.
  • FIG. 60B is a diagram illustrating an example of a transmitter in Embodiment 3.
  • the transmitter 8138 is configured as a signage, for example, and transmits a signal when the character portion “A Shop” and the light emitting unit 8138a change in luminance.
  • the light emitting unit 8138a is formed in a frame shape along the edge of the signage, for example, and the luminance changes uniformly. That is, the light emitting portion 8138a is formed so that the length of the continuous projected portion is maximized when the light emitting portion is projected onto an arbitrary straight line.
  • the receiver can more appropriately receive a signal transmitted by the luminance change.
  • FIG. 61 is a diagram illustrating an example of processing operations of the receiver, the transmitter, and the server in the third embodiment.
  • the receiver 8142 configured as a smartphone acquires position information indicating its own position, and transmits the position information to the server 8141.
  • the receiver 8142 acquires position information when, for example, GPS is used or other signals are received.
  • the server 8141 transmits the ID list associated with the position indicated by the position information to the receiver 8142.
  • the ID list includes, for each ID such as “abcd”, the ID and information associated with the ID.
  • the receiver 8142 receives a signal from a transmitter 8143 configured as, for example, a lighting device. At this time, the receiver 8142 may receive only a part of the ID (for example, “b”) as the above signal. In this case, the receiver 8142 searches the ID list for an ID including a part of the ID. If the unique ID is not found, the receiver 8142 further receives a signal from the transmitter 8143 that includes another portion of that ID. As a result, the receiver 8142 acquires a larger part (for example, “bc”) of the ID. Then, the receiver 8142 searches the ID list again for an ID including a part of the ID (for example, “bc”).
  • a part of the ID for example, “b”
  • the receiver 8142 can specify all of the IDs even if only a part of the IDs can be acquired.
  • the receiver 8142 receives not only a part of the ID but also a check part such as CRC (Cyclic Redundancy Check).
  • FIG. 62 is a diagram illustrating an example of processing operations of the receiver, the transmitter, and the server in the third embodiment.
  • the receiver 8152 configured as a smartphone acquires position information indicating its own position.
  • the receiver 8152 acquires position information when, for example, GPS is used or other signals are received.
  • the receiver 8152 receives a signal from a transmitter 8153 configured as, for example, a lighting device. At this time, the signal includes only a part of the ID (for example, “b”).
  • the receiver 8152 transmits the position information and a part of the ID to the server 8151.
  • the server 8151 searches for an ID including a part of the ID from the ID list associated with the position indicated by the position information. If the unique ID is not found, the server 8151 notifies the receiver 8152 that the identification of the ID has failed.
  • the receiver 8152 receives a signal including another part of the ID from the transmitter 8153. As a result, the receiver 8152 acquires a larger part (for example, “be”) of the ID. Then, the receiver 8152 transmits a part of the ID (for example, “be”) and the position information to the server 8151.
  • a part of the ID for example, “be”
  • the server 8151 searches for an ID including a part of the ID from the ID list associated with the position indicated by the position information. When the unique ID is found, the server 8151 notifies the receiver 8152 that the ID (for example, “abef”) has been specified, and transmits information associated with the ID to the receiver 8152.
  • the ID for example, “abef”
  • FIG. 63 is a diagram illustrating an example of processing operations of the receiver, the transmitter, and the server in the third embodiment.
  • the receiver 8152 may transmit not only a part of the ID but also all of the ID to the server 8151 together with the position information. At this time, if the ID of the complete state (for example, “wxyz”) is not included in the ID list, the server 8151 notifies the receiver 8152 of an error.
  • the ID of the complete state for example, “wxyz”
  • FIG. 64A is an explanatory diagram for explaining synchronization of a plurality of transmitters in the third embodiment.
  • Transmitter 8155a and transmitter 8155b transmit signals by changing the luminance.
  • the transmitter 8155a transmits a synchronization signal to the transmitter 8155b, whereby the luminance changes in synchronization with the transmitter 8155b.
  • the transmitter 8155a and the transmitter 8155b each acquire a signal from the transmission source, and change the luminance according to the signal.
  • the time required for signal transmission from the transmission source to the transmitter 8155a may be different from the time required for signal transmission from the transmission source to the transmitter 8155b (second delay time). is there. Therefore, the round trip time of signals between the transmitters 8155a and 8155b and the transmission source is measured, and 1 ⁇ 2 of the round trip time is specified as the first or second delay time.
  • the transmitter 8155a performs a luminance change synchronized with the transmitter 8155b by transmitting a synchronization signal such that the difference between the first and second delay times is canceled.
  • FIG. 64B is an explanatory diagram for explaining synchronization of a plurality of transmitters in the third embodiment.
  • the light receiving sensor 8156 detects light from the transmitter 8155a and the transmitter 8155b, and outputs the result as a detection signal to the transmitter 8155a and the transmitter 8155b.
  • the transmitter 8155a and the transmitter 8155b receive the detection signal from the light receiving sensor 8156, the transmitter 8155a and the transmitter 8155b perform luminance changes synchronized with each other based on the detection signal and adjust the intensity of the signal.
  • FIG. 65 is a diagram illustrating an example of operations of the transmitter and the receiver in the third embodiment.
  • the transmitter 8165 configured as a television acquires an image and an ID (ID 1000) associated with the image from the control unit 8166.
  • the transmitter 8165 displays the image and transmits the ID (ID 1000) to the receiver 8167 by changing the luminance.
  • the receiver 8167 receives the ID (ID 1000) by imaging and displays information associated with the ID (ID 1000).
  • the control unit 8166 changes the image output to the transmitter 8165 to another image.
  • the control unit 8166 also changes the ID output to the transmitter 8165. That is, the control unit 8166 outputs the other ID (ID 1001) associated with the other image to the transmitter 8165 together with the other image.
  • the transmitter 8165 displays another image and transmits another ID (ID 1001) to the receiver 8167 by changing the luminance.
  • the receiver 8167 receives the other ID (ID 1001) by imaging, and displays information associated with the other ID (ID 1001).
  • FIG. 66 is a diagram illustrating an example of operations of the transmitter and the receiver in the third embodiment.
  • the transmitter 8170 is configured as a signage, for example, and switches and displays images. Then, when displaying the image, the transmitter 8170 transmits ID time information indicating the ID corresponding to the displayed image and the time when the image is displayed to the receiver 8171 by changing the luminance. For example, the transmitter 8170 displays an image showing a round graphic at time t1, and also displays an ID (ID: 1000) corresponding to the image and a time (TIME: t1) when the image is displayed. ID time information shown is transmitted.
  • the transmitter 8170 transmits not only the ID time information corresponding to the currently displayed image but also at least one ID time information corresponding to the image displayed in the past. For example, the transmitter 8170 displays an image showing a square graphic at time t2, and also displays an ID (ID: 1001) corresponding to the image and a time (TIME: t2) at which the image is displayed. ID time information shown is transmitted. Further, at this time, the transmitter 8170 transmits ID time information indicating the ID (ID: 1000) corresponding to the image showing the round graphic and the time (TIME: t1) when the image was displayed.
  • the transmitter 8170 displays an image showing a triangular figure, ID corresponding to the image (ID: 1002), and time (TIME: t3) when the image is displayed. ID time information indicating is transmitted. Further, at this time, the transmitter 8170 transmits ID time information indicating the ID (ID: 1001) corresponding to the image indicating the square graphic and the time (TIME: t2) when the image was displayed. That is, the transmitter 8170 transmits a plurality of ID time information at the same timing.
  • the user holds the image sensor of the receiver 8171 over the transmitter 8170 at time t2 when the image showing the square graphic is displayed. Imaging with 8171 is started.
  • the receiver 8171 even if the receiver 8171 starts imaging at time t2, the receiver 8171 cannot acquire ID time information corresponding to the image while the image indicating the square graphic is displayed on the transmitter 8170. There is a case. Even in such a case, as described above, since the ID time information corresponding to the image displayed in the past is also transmitted from the transmitter 8170, the receiver 8171 has a triangular shape at time t3. Not only ID time information (ID: 1002, TIME: t3) corresponding to an image showing a graphic but also ID time information (ID: 1001, TIME: t2) corresponding to an image showing a square graphic can be acquired.
  • ID time information ID: 1002, TIME: t3
  • ID time information ID: 1001, TIME: t2
  • the receiver 8171 selects ID time information (ID: 1001, TIME: t2) indicating the time (t2) held over the transmitter 8170 from the ID time information, and the ID time information indicates the ID time information.
  • ID time information (ID: 1001) is specified. Accordingly, the receiver 8171 can obtain information on an image showing a square graphic from a server or the like based on the specified ID (ID: 1001) at time t3.
  • the above-described time is not limited to an absolute time, and is a time between the time when the receiver 8171 is held over the transmitter 8170 and the time when the receiver 8171 acquires the ID time information (so-called relative time). It may be.
  • the transmitter 8170 has transmitted ID time information corresponding to an image displayed in the past, together with ID time information corresponding to the currently displayed image, but corresponds to an image scheduled to be displayed in the future. ID time information may be transmitted. Further, the transmitter 8170 may increase the number of past or future ID time information to be transmitted when reception by the receiver 8171 is difficult.
  • the transmitter 8170 may transmit information indicating a channel corresponding to the displayed image instead of the ID time information. That is, when an image of a broadcast television program is displayed on the transmitter 8170 in real time, the display time of the image displayed on the transmitter 8170 can be uniquely specified for each channel. Therefore, the receiver 8171 specifies the time when the receiver 8171 is held over the transmitter 8170, that is, the time when the receiver 8171 starts imaging, based on the image obtained by imaging and the channel. Can do. The receiver 8171 can obtain information on an image obtained by imaging from, for example, a server based on the channel and the time.
  • the transmitter 8170 may transmit information indicating the display time of the displayed image instead of the ID time information.
  • the receiver 8171 searches for the TV program including the image obtained by imaging from all the TV programs broadcast at that time, and sets the channel of the TV program and its display time. Based on this, information related to the image can be obtained from a server or the like.
  • FIG. 67 is a diagram illustrating an example of operations of the transmitter, the receiver, and the server in the third embodiment.
  • the receiver 8176 captures an image of the transmitter 8175, thereby acquiring an image including a bright line, and specifies (acquires) the ID of the transmitter 8175 from the image. Furthermore, the receiver 8176 transmits the ID to the server 8177, and acquires information associated with the ID from the server 8177.
  • the receiver 8176 may acquire an image including a bright line by capturing an image of the transmitter 8175, and transmit the image to the server 8177 as imaging data.
  • the receiver 8176 may perform preprocessing for an image including a bright line so that the amount of information of the image is reduced, and transmit the preprocessed image to the server 8177 as imaging data.
  • This preprocessing is, for example, image binarization processing.
  • the server 8177 acquires the imaging data
  • the server 8177 identifies (acquires) the ID of the transmitter 8175 from the image indicated by the imaging data. Furthermore, the server 8177 transmits information associated with the ID to the receiver 8176.
  • FIG. 68 is a diagram illustrating an example of operations of the transmitter and the receiver in the third embodiment.
  • the receiver 8183 identifies the position of the receiver 8183 by acquiring a signal transmitted from the transmitter 8181 that changes in luminance. As a result, the receiver 8183 displays the point 8183b indicating the specified position together with the error range 8183a of the position.
  • the receiver 8183 becomes unable to acquire a signal from the transmitter 8181.
  • the receiver 8183 estimates its own position by using a 9-axis sensor provided in the receiver 8183.
  • the receiver 8183 displays a point 8183b indicating the estimated position together with an error range 8183a of the position.
  • the error range 8183a is displayed widely.
  • receiver 8183 identifies the position of receiver 8183 by acquiring a signal transmitted from another transmitter 8182 whose luminance changes. As a result, the receiver 8183 displays the point 8183b indicating the specified position together with the error range 8183a of the position. Here, the receiver 8183 smoothly displays the point 8183b indicating the position estimated using the 9-axis sensor and the error range 8183a without immediately switching to the position and error range specified as described above and displaying them. Move them to switch. At this time, the error range 8183a becomes small.
  • FIG. 69 is a diagram illustrating an example of an appearance of a receiver in the third embodiment.
  • the receiver 8183 is configured as, for example, a smartphone (high-function mobile phone), and an image sensor 8183c, an illuminance sensor 8183d, and a display 8183e are arranged on the front surface of the receiver 8183, as shown in FIG. ing.
  • the image sensor 8183c acquires an image including a bright line by imaging the subject whose luminance changes as described above.
  • the illuminance sensor 8183d detects the change in luminance of the subject described above. Therefore, the illuminance sensor 8183d can be used in place of the image sensor 8183c depending on the state or situation of the subject.
  • the display 8183e displays an image or the like.
  • the receiver 8183 may have a function as a subject whose luminance changes. In this case, the receiver 8183 transmits a signal by changing the brightness of the display 8183e.
  • an image sensor 8183f, an illuminance sensor 8183g, and a flash light emitting unit 8183h are arranged on the back surface of the receiver 8183.
  • the image sensor 8183f is the same as the image sensor 8183c described above, and acquires an image including a bright line by imaging the subject whose luminance changes as described above.
  • the illuminance sensor 8183g is the same as the illuminance sensor 8183d described above, and detects a change in luminance of the subject. Therefore, the illuminance sensor 8183g can be used in place of the image sensor 8183f depending on the state or situation of the subject.
  • the flash light emitting unit 8183h emits a flash for imaging.
  • the receiver 8183 may have a function as a subject whose luminance changes. In this case, the receiver 8183 transmits a signal by changing the luminance of the flash light emitting unit 8183h.
  • FIG. 70 is a diagram illustrating an example of operations of the transmitter, the receiver, and the server in the third embodiment.
  • the transmitter 8185 configured as a smartphone displays information indicating “coupon 100 yen discount”, for example, by changing the luminance of the display 8185a excluding the barcode portion 8185b, that is, by visible light communication. Send.
  • the transmitter 8185 displays the barcode on the barcode portion 8185b without changing the luminance of the barcode portion 8185b.
  • This bar code indicates the same information as the information transmitted by the visible light communication described above.
  • the transmitter 8185 displays a character or a picture indicating information transmitted by visible light communication, for example, a character “coupon 100 yen discount” on a portion of the display 8185a excluding the barcode portion 8185b. By displaying such characters or pictures, the user of the transmitter 8185 can easily grasp what information is being transmitted.
  • the receiver 8186 acquires the information transmitted by visible light communication and the information indicated by the barcode by imaging, and transmits the information to the server 8187.
  • the server 8187 determines whether or not these pieces of information match or relate to each other. When it determines that these pieces of information match or relate to each other, the server 8187 executes processing according to the pieces of information. Alternatively, the server 8187 transmits the determination result to the receiver 8186, and causes the receiver 8186 to execute processing according to the information.
  • the transmitter 8185 may transmit a part of the information indicated by the barcode by visible light communication.
  • the barcode may indicate the URL of the server 8187.
  • the transmitter 8185 may acquire information associated with the ID by acquiring the ID as a receiver and transmitting the ID to the server 8187.
  • the information associated with this ID is the same as the information transmitted by the above visible light communication or the information indicated by the barcode.
  • the server 8187 may transmit an ID associated with information (visible light communication information or barcode information) transmitted from the transmitter 8185 via the receiver 8186 to the transmitter 8185.
  • FIG. 71 is a diagram illustrating an example of operations of the transmitter and the receiver in the third embodiment.
  • the transmitter 8185 configured as a smartphone transmits a signal by changing the brightness of the display 8185a.
  • the receiver 8188 includes a light-shielding cone-shaped container 8188b and an illuminance sensor 8188a.
  • the illuminance sensor 8188a is stored inside the container 8188b and is disposed near the tip of the container 8188b.
  • the opening (bottom) of the container 8188b in the receiver 8188 is directed to the display 8185a.
  • the illuminance sensor 8188a of the receiver 8188 appropriately receives the light from the display 8185a without being affected by noise light. It can receive light.
  • the receiver 8188 can appropriately receive the signal from the transmitter 8185.
  • FIG. 72 is a diagram illustrating an example of operations of the transmitter and the receiver in the third embodiment.
  • the transmitter 8190 is configured as a sign tower of a bus stop, for example, and transmits operation information indicating the bus operation status to the receiver 8183 by changing the luminance. For example, the destination of the bus, the time at which the destination bus arrives at the bus stop, and operation information indicating the current location of the bus are transmitted to the receiver 8183. When receiving the operation information, the receiver 8183 displays the content indicated by the operation information on the display.
  • the transmitter 8190 transmits operation information regarding the buses of those destinations.
  • the receiver 8183 selects the operation information of the destination bus frequently used by the user from the operation information, and displays the contents indicated by the operation information on the display.
  • the receiver 8183 specifies the destination of the bus used by the user by using, for example, GPS, and records the destination history. By referring to this history, the receiver 8183 selects operation information of a destination bus frequently used by the user.
  • the receiver 8183 may display the content indicated by the operation information selected by the user's operation from the operation information on the display.
  • the receiver 8183 may preferentially display the operation information of the destination bus that is frequently selected by the user's operation.
  • FIG. 73 is a diagram illustrating an example of operations of the transmitter and the receiver in the third embodiment.
  • the transmitter 8191 configured as a signage transmits information on a plurality of stores to the receiver 8183 by changing the luminance.
  • This information is a collection of information related to a plurality of stores, and is not unique to each store. Therefore, when the receiver 8183 receives the information by imaging, the receiver 8183 can display information on a plurality of stores as well as one store.
  • the receiver 8183 selects information on a store (for example, “B shop”) included in the imaging range from information on the plurality of stores, and displays the selected information.
  • the receiver 8183 translates a language for expressing the information into a pre-registered language, and displays the information in the translated language.
  • the transmitter 8191 may display a message prompting the user to take an image with the image sensor (camera) of the receiver 8183 in characters or the like. Specifically, when a dedicated application program is activated and imaging is performed with a camera, a message (for example, “GET information with camera”) indicating that information can be received is displayed on the transmitter 8191.
  • a message for example, “GET information with camera”
  • FIG. 74 is a diagram illustrating an example of operations of the transmitter and the receiver in the third embodiment.
  • the receiver 8183 images a subject including a plurality of persons 8197 and street lamps 8195.
  • the streetlight 8195 includes a transmitter 8195a that transmits information according to a change in luminance.
  • the receiver 8183 acquires an image in which the image of the transmitter 8195a appears as the bright line pattern described above.
  • the receiver 8183 acquires the AR object 8196a associated with the ID indicated by the bright line pattern from, for example, a server. Then, the receiver 8183 superimposes the AR object 8196a on a normal captured image 8196 obtained by normal imaging, and displays a normal captured image 8196 on which the AR object 8196a is superimposed.
  • FIG. 75A is a diagram illustrating an example of a configuration of information transmitted by a transmitter according to Embodiment 3.
  • information transmitted by the transmitter includes a preamble part, a fixed-length data part, and a check part.
  • the receiver checks the data part using the check part, and normally receives information including these parts.
  • the check using the check part is omitted. Even in the case where such a check is omitted, the receiver can normally receive the information composed of these parts.
  • FIG. 75B is a diagram illustrating another example of a configuration of information transmitted by the transmitter according to Embodiment 3.
  • information transmitted by the transmitter includes a preamble part, a check part, and a variable length data part.
  • the next information transmitted by the transmitter also includes a preamble part, a check part, and a variable length data part.
  • the receiver receives the preamble part during reception and further receives the next preamble part, the information from the previous preamble part to immediately before the next preamble part has one meaning. Recognize as information. Further, the receiver may specify the end of the data part received next to the check part by using the check part. In this case, even if the receiver cannot receive the above-described next preamble part (all or a part of the preamble part), it appropriately receives the information that makes one meaning transmitted immediately before. be able to.
  • FIG. 76 is a diagram illustrating an example of a four-value PPM modulation scheme by a transmitter according to the third embodiment.
  • the transmitter modulates a signal to be transmitted into a luminance change pattern by a four-value PPM modulation method. At this time, the transmitter can keep the brightness of the light whose luminance changes constant regardless of the signal to be transmitted.
  • the transmitter transmits each of the signals to be transmitted “00”, “01”, “10”, and “11” to any one of four consecutive slots.
  • One shows luminance L (Low), and the remaining three modulate to a luminance change pattern showing luminance H (High).
  • the transmitter transmits a signal “00” to be transmitted, a luminance change pattern (L, H, H, and L) in which the first slot indicates the luminance L and the second to fourth slots indicate the luminance H. H). That is, in this luminance change, there is a rise in luminance between the first slot and the second slot.
  • the transmitter transmits a signal “01” to be transmitted, a luminance change pattern (H, H) in which the second slot indicates luminance L, and the first, third, and fourth slots indicate luminance H. L, H, H). That is, in this luminance change, there is a rise in luminance between the second slot and the third slot.
  • H, H luminance change pattern
  • the transmitter transmits each of the signals to be transmitted “00”, “01”, “10”, and “11” to any two of the four slots.
  • the luminance L (Low) is indicated, and the remaining two are modulated into a luminance change pattern indicating luminance H (High).
  • the transmitter transmits a signal “00” to be transmitted, a luminance change pattern (L, L) in which the first and fourth slots indicate luminance L, and the second and third slots indicate luminance H. H, H, L). That is, in this luminance change, there is a rise in luminance between the first slot and the second slot.
  • the transmitter transmits a signal “01” to be transmitted, a luminance change pattern (L, L) in which the first and second slots indicate luminance L, and the third and fourth slots indicate luminance H. L, H, H).
  • the transmitter transmits a signal “01” to be transmitted, a luminance change pattern (H, L, H) in which the second and fourth slots indicate luminance L and the first and third slots indicate luminance H. , L). That is, in these luminance changes, there is a rise in luminance between the second slot and the third slot.
  • the transmitter transmits each of the signals to be transmitted “00”, “01”, “10”, and “11” to any three of the four slots.
  • the luminance L (Low) is indicated, and the remaining one is modulated into a luminance change pattern indicating the luminance H (High).
  • the transmitter transmits a signal “00” to be transmitted, a luminance change pattern (L, L) in which the first, third and fourth slots indicate luminance L, and the second slot indicates luminance H. H, L, L). That is, in this luminance change, there is a rise in luminance between the first slot and the second slot.
  • the transmitter transmits the signal “01” to be transmitted to a luminance change pattern (L, L, in which the first, second, and fourth slots indicate luminance L, and the third slot indicates luminance H).
  • L, H, L that is, in this luminance change, there is a rise in luminance between the second slot and the third slot.
  • the transmitter can suppress flickering and can easily adjust the brightness step by step by the four-value PPM modulation method as described above.
  • the receiver can appropriately demodulate the luminance change pattern by specifying the position where the luminance rises. Note that the receiver ignores the presence or absence of a rise in luminance at the boundary between the slot group consisting of four slots and the next slot group without using it for demodulating the luminance change pattern.
  • FIG. 77 is a diagram illustrating an example of the PPM modulation scheme by the transmitter in the third embodiment.
  • the transmitter modulates the signal to be transmitted into a luminance change pattern as in the 4-value PPM modulation method shown in FIG. 76, but performs PPM modulation without switching the luminance between L and H for each slot. Also good. That is, the transmitter performs PPM modulation by switching the rising edge of the luminance in the time width (hereinafter referred to as unit time width) of four consecutive slots shown in FIG. 76 according to the signal to be transmitted. For example, as shown in FIG. 77, the transmitter modulates the transmission target signal “00” into a luminance change pattern in which the luminance rises at a position of 25% of the unit time width. Similarly, as shown in FIG. 77, the transmitter modulates the signal to be transmitted “01” into a luminance change pattern in which the luminance rises at a position of 50% of the unit time width.
  • the transmitter signal “00” indicates the luminance L at the position of 0 to 25% in the above unit time width, and the position of 25 to 100%.
  • the transmission target signal “00” indicates the luminance L at the position of 24 to 25% in the above unit time width, and is 0 to 24%. Modulation is performed into a luminance change pattern indicating luminance H at a position and a position of 25 to 100%.
  • the transmitter sets the signal “00” to be transmitted to the luminance L at the position of 0 to 25% and the position of 26 to 100% in the above unit time width. It is modulated into a luminance change pattern indicating luminance H at a position of 25 to 26%.
  • the brightness can be continuously adjusted by switching the luminance to L and H at an arbitrary position in the unit time width without switching the luminance to L and H for each slot.
  • FIG. 78 is a diagram illustrating an example of the PPM modulation scheme in the transmitter according to the third embodiment.
  • the transmitter performs modulation in the same manner as the PPM modulation method shown in FIG. 77.
  • the transmitter regardless of the signal to be transmitted, the transmitter always indicates luminance H at the beginning of the unit time width, And at the end of the unit time width, it is always modulated into a luminance change pattern indicating the luminance L.
  • the receiver since a rise in luminance occurs at the boundary between the unit time width and the next unit time width, the receiver can appropriately specify the boundary. Therefore, the receiver and the transmitter can correct the clock shift.
  • FIG. 79A is a diagram showing an example of a luminance change pattern corresponding to the header (preamble portion) in the third embodiment.
  • the transmitter when transmitting the header (preamble part) shown in FIGS. 75A and 75B, the transmitter changes in luminance according to the pattern shown in FIG. 79A. That is, when the header is composed of 7 slots, the transmitter changes in luminance according to a pattern indicated by L, H, L, H, L, H, and H. When the header is composed of 8 slots, the transmitter changes in luminance according to a pattern indicated by H, L, H, L, H, L, H, and H. Since these patterns can be distinguished from the luminance change patterns shown in FIG. 76, it is possible to clearly notify the receiver that the signal indicated by these patterns is a header.
  • FIG. 79B is a diagram showing an example of a luminance change pattern in the third embodiment.
  • the transmitter when the signal “01” to be transmitted included in the data portion is modulated with the brightness maintained at 50%, the transmitter Is modulated into one of two patterns. That is, it modulates to the 1st pattern shown by L, L, H, and H, or the 2nd pattern shown by H, L, H, and L.
  • the transmitter uses the first transmission signal “01” indicated by L, L, H, and H as described above. It is desirable to modulate the pattern.
  • the transmission target signal “11, 01, 11” included in the above-described data portion is “H, H, L, L, L, L, H, H, H, when the first pattern is used. , H, H, L, L ".
  • the transmission target signals “11, 01, 11” included in the data portion are “H, H, L, L, H, L, H, L , H, H, L, L ".
  • the pattern “H, H, L, L, H, L, H, L, H, H, L, L” has the same pattern as the header pattern configured by 7 slots shown in FIG. 79A. Is included. Therefore, in order to clarify the distinction between the header and the data portion, it is desirable to modulate the above-described transmission target signal “01” into the first pattern.
  • FIG. 80A is a diagram showing an example of a luminance change pattern in the third embodiment.
  • the transmitter converts the signal to “H, H, H, so that no rise in luminance occurs.
  • the transmitter transmits the signal “11” to be transmitted to the pattern “H, H, H, H” or “L, L, L, L,” in order to adjust the brightness. May be modulated into a pattern.
  • FIG. 80B is a diagram showing an example of a luminance change pattern in the third embodiment.
  • the transmitter converts the signal to “H, H , H, L, L, H, H, H ”.
  • luminances other than the last luminance L among the continuous luminances L may be changed to H so that the luminance L does not continue.
  • the transmitter modulates the signal “11.00” into a pattern of “H, H, H, H, L, H, H, H”.
  • the luminance L is not continuous, the load on the transmitter can be suppressed. Moreover, the capacity
  • the information communication method is an information communication method for transmitting a signal according to a luminance change, wherein a determination step for determining a luminance change pattern by modulating a signal to be transmitted and a light emitter are determined.
  • the luminance change position that is the rising or falling position of the luminance in the time width is different for each of the different signals to be transmitted.
  • the integrated value of the luminance of the luminous body in the time width is the same according to the preset brightness As a value to determine the pattern of the luminance change.
  • the luminance rising position (luminance change position) is different from each other, and The luminance change so that the integrated value of the luminance of the light emitter in a predetermined time width (unit time width) becomes the same value according to a predetermined brightness (for example, 99% or 1%). Pattern is determined.
  • a predetermined brightness for example, 99% or 1%.
  • Pattern is determined.
  • the brightness of the illuminant can be kept constant for each signal to be transmitted, flicker can be suppressed, and the receiver that images the illuminant is based on the luminance change position.
  • the brightness change pattern can be demodulated appropriately.
  • the luminance change pattern is a pattern in which one of two different luminance values (luminance H (High) or luminance L (Low)) appears at any position in the unit time width. The brightness of the body can be changed continuously.
  • the information communication method further includes an image display step of sequentially switching and displaying each of the plurality of images.
  • the displayed image is displayed each time the image is displayed in the image display step.
  • the luminance change pattern for the identification information is determined by modulating the identification information corresponding to the signal to be transmitted.
  • the transmission step the image is displayed every time the image is displayed in the image display step.
  • the identification information may be transmitted by the luminance change of the light emitter according to the luminance change pattern determined with respect to the identification information corresponding to the existing image.
  • each time an image is displayed identification information corresponding to the displayed image is transmitted. Therefore, the user receives the received information on the receiver based on the displayed image.
  • the identification information to be made can be easily selected.
  • the light emitter is further radiated according to a luminance change pattern determined for identification information corresponding to an image displayed in the past.
  • the identification information may be transmitted by changing.
  • the identification information corresponding to the currently displayed image is displayed.
  • the identification information transmitted before the switching can be properly received again by the receiver.
  • each time an image is displayed in the image display step the identification information corresponding to the displayed image and the time when the image is displayed are modulated as the signal to be transmitted.
  • a pattern of luminance change with respect to the identification information and the time is determined, and in the transmission step, each time an image is displayed in the image display step, the identification information and time corresponding to the displayed image are determined.
  • the identification information and the time are transmitted when the luminous body changes in luminance according to the luminance change pattern determined in the above, and the identification information and the time corresponding to an image displayed in the past are further determined.
  • the identification information and the time are transmitted when the luminous body changes in luminance according to a luminance change pattern. Good.
  • each time an image is displayed a plurality of ID time information (information including identification information and time) is transmitted. From the information, an identification signal that has been transmitted in the past and cannot be received can be easily selected based on the time included in each of the ID time information.
  • each of the light emitters has a plurality of regions that emit light, light in regions adjacent to each other among the plurality of regions interfere with each other, and only one of the plurality of regions is determined.
  • the luminance change pattern in the transmission step, only the region arranged at the end of the plurality of regions may change in luminance according to the determined luminance change pattern.
  • the transmission step includes: a region disposed at an end of the plurality of regions; The area adjacent to the area arranged at the end may change in luminance according to the determined luminance change pattern.
  • the luminance changes between the region arranged at the end (light emitting portion) and the region adjacent to the region arranged at the end (light emitting portion).
  • the area of the range in which the luminance continuously changes can be kept large.
  • the receiver can appropriately capture the luminance change pattern by photographing.
  • the information communication method is an information communication method for acquiring information from a subject, a location information transmission step for transmitting location information indicating a location of an image sensor used for photographing the subject, and the location information.
  • a list receiving step for receiving an ID list including a plurality of pieces of identification information associated with the position indicated by, and an image obtained by photographing the subject by the image sensor corresponding to an exposure line included in the image sensor
  • An exposure time setting step for setting an exposure time of the image sensor so that a bright line to be generated is generated according to a change in luminance of the subject, and the subject in which the image sensor changes in luminance is photographed at the set exposure time.
  • An image acquisition step of acquiring a bright line image including the bright line and An information acquisition step of acquiring information by demodulating data specified by the bright line pattern included in the bright line image, and a search step of searching the ID list for identification information including the acquired information. Including.
  • the method may further include a re-search step of searching the ID list for identification information including the acquired information and the new information.
  • the information communication method is an information communication method for acquiring information from a subject, and an bright line corresponding to an exposure line included in the image sensor is included in an image obtained by photographing the subject with an image sensor.
  • An exposure time setting step for setting an exposure time of the image sensor so as to occur according to a change in luminance of the subject, and the image sensor photographing the subject whose luminance changes with the set exposure time,
  • An image acquisition step of acquiring a bright line image including the bright line an information acquisition step of acquiring identification information by demodulating data specified by the pattern of the bright line included in the acquired bright line image, and
  • a transmission step for transmitting the identification information and position information indicating the position of the image sensor.
  • an error that receives error notification information for notifying an error when there is no acquired identification information in an ID list that includes a plurality of identification information associated with the position indicated by the position information.
  • the error notification information is received, so that the user of the receiver that has received the error notification information has acquired the error notification information. It can be easily understood that information associated with the identification information cannot be obtained.
  • Embodiment 4 an application example for each situation using a receiver such as a smartphone in Embodiments 1 to 3 and a transmitter that transmits information as a blinking pattern such as an LED or an organic EL will be described.
  • FIG. 81 is a diagram illustrating an example of the operation of the receiver in the situation in front of the store.
  • the user finds a store sign 8301 when walking while carrying a receiver 8300 (terminal device) configured as a smartphone.
  • the sign 8301 is a transmitter (subject) that transmits a signal by luminance change like the transmitter of any of Embodiments 1 to 3.
  • the user operates the receiver 8300 to perform the visible light communication of the receiver 8300.
  • Application software hereinafter referred to as communication application.
  • FIG. 82 is a diagram showing another example of the operation of the receiver 8300 in the store front situation.
  • the receiver 8300 may automatically start the communication application without accepting an operation by the user. For example, the receiver 8300 detects its current location by using a GPS or a 9-axis sensor, and determines whether or not the current location has entered a specific area predetermined for the signboard 8301. This specific area is an area around the signboard 8301. When the receiver 8300 determines that the current location of the receiver 8300 has entered the specific area, the receiver 8300 activates the communication application. Further, the receiver 8300 may detect an operation of projecting the receiver 8300 or an operation of rotating the receiver 8300 by using a built-in 9-axis sensor or the like, and may activate a communication application. Thereby, a user's operation can be omitted and usability can be improved.
  • FIG. 83 is a diagram showing an example of the next operation of the receiver 8300 in the situation in front of the store.
  • the receiver 8300 that has activated the communication application as described above captures an image (visible light imaging) of the sign 8301 configured as a transmitter that transmits a signal according to a change in luminance. That is, the receiver 8300 performs visible light communication with the sign 8301.
  • FIG. 84 is a diagram illustrating an example of the next operation of the receiver 8300 in the store front situation.
  • the receiver 8300 acquires an image including a bright line by the above-described imaging. Then, the receiver 8300 acquires the device ID of the sign 8301 by demodulating the data specified by the bright line pattern. That is, the receiver 8300 acquires the device ID from the signboard 8301 by visible light imaging or visible light communication in Embodiments 1 to 3. Furthermore, the receiver 8300 transmits the device ID to the server, and acquires advertisement information (service information) associated with the device ID from the server.
  • advertisement information service information
  • the receiver 8300 may acquire advertisement information associated with the device ID from a plurality of advertisement information held in advance.
  • the receiver 8300 determines that the current location of the receiver 8300 has entered the specific area, the receiver 8300 notifies the server of the specific area or the current position, and all the device IDs corresponding to the specific area and The advertisement information associated with each of the device IDs is acquired in advance from the server and held (cached).
  • the receiver 8300 associates the advertisement information corresponding to the device ID with each device ID held in advance without requesting the server.
  • the advertisement information associated with the device ID of the sign 8301 can be quickly acquired from the advertisement information.
  • the receiver 8300 When the receiver 8300 acquires the advertisement information associated with the device ID of the signboard 8301, the receiver 8300 displays the advertisement information. For example, the receiver 8300 displays the coupon of the store indicated by the sign 8301, the vacant seat status, and a bar code indicating the same content as them.
  • the receiver 8300 may acquire not only the device ID but also the privilege data from the signboard 8301 by visible light communication.
  • the privilege data indicates, for example, a random ID (random number) or a time or a time zone when the privilege data is transmitted.
  • the receiver 8300 transmits the privilege data together with the device ID to the server.
  • the receiver 8300 acquires advertisement information associated with the device ID and privilege data from the server.
  • the receiver 8300 can receive different advertising information according to privilege data. For example, if the time zone when the signboard 8301 is imaged is early morning, the receiver 8300 can acquire and display advertisement information indicating an early morning discount coupon. That is, the advertisement according to the same signboard can be changed according to privilege data (such as time zone).
  • the user can receive a service suitable for a time zone.
  • presentation (display) of information such as service information to a user is referred to as service provision.
  • the receiver 8300 may acquire the three-dimensional information indicating the spatial arrangement of the signboard 8301 with high accuracy (within 1 m error) from the signboard 8301 together with the device ID by visible light communication.
  • the receiver 8300 may acquire three-dimensional information associated with the device ID from the server.
  • the receiver 8300 may acquire size information indicating the size of the sign 8301 instead of or together with the three-dimensional information.
  • the receiver 8300 receives the size information from the receiver 8300 based on the difference between the size of the sign 8301 indicated by the size information and the size of the sign 8301 displayed in the image obtained by imaging. A distance up to 8301 can be calculated.
  • the receiver 8300 may transmit the holding information (attached information) held in advance by itself to the server together with the device ID.
  • the retained information is personal information (such as gender or age) of the user of the receiver 8300 or a user ID.
  • the server that has received such retained information together with the device ID receives the advertisement information associated with the retained information (personal information or user ID) from at least one piece of advertisement information associated with the device ID. Send to. That is, the receiver 8300 can receive store advertisement information that matches personal information, store information corresponding to the user ID, and the like. As a result, the user can be provided with a more useful service.
  • the holding information indicates reception conditions set in advance in the receiver 8300.
  • This reception condition is, for example, the number of visitors when the store is a restaurant.
  • the server that has received such retained information together with the device ID transmits, to at least one piece of advertisement information associated with the device ID, advertisement information associated with the reception condition (number of visitors) to the receiver 8300.
  • the receiver 8300 can receive the advertisement information of the store that matches the number of visitors, specifically, information indicating the vacant seat status for the number of visitors.
  • the store can display the advertisement information with the discount rate changed according to the number of customers, the day of the week, and the time zone, thereby optimizing customer attraction and profit.
  • the holding information indicates the current location detected in advance by the receiver 8300.
  • the server that has received such retained information together with the device ID is not limited to the advertisement information associated with the device ID, but other device IDs corresponding to the current location (current location and its surroundings) indicated by the retained information,
  • the advertisement information associated with the device ID is transmitted to the receiver 8300.
  • the receiver 8300 can cache the other device ID and the advertisement information associated with the other device ID. Therefore, when the receiver 8300 performs visible light communication with another transmitter at the current location (current location and its surroundings), the advertisement associated with the device ID of the other transmitter without accessing the server. Information can be acquired quickly.
  • FIG. 85 is a diagram illustrating an example of the next operation of the receiver 8300 in the store front situation.
  • the receiver 8300 When the receiver 8300 acquires the advertisement information from the server as described above, for example, the receiver 8300 displays a button described as “available seats” as the seat availability indicated by the advertisement information.
  • the receiver 8300 when the user performs an operation of touching the button “available seat” with the finger, the receiver 8300 notifies the server of the operation result.
  • the server Upon receiving the notification, the server makes a temporary reservation for the store of the signboard 8301 and notifies the receiver 8300 that the temporary reservation has been completed.
  • the receiver 8300 Upon receiving the notification from the server, the receiver 8300 displays a character string “temporary reservation” indicating that the temporary reservation has been completed, instead of the button “vacant seats”.
  • the receiver 8300 stores, as a pre-acquired image, an image including a store coupon indicated by the signboard 8301, a character string “provisional reservation” certifying that the provisional reservation has been made, and a bar code indicating the same content as the pre-acquired image. Store it.
  • the server can log information related to visible light communication performed between the sign 8301 and the receiver 8300 by the operation described with reference to FIGS. 84 and 85. That is, the server provides privilege data indicating the device ID of the transmitter (signboard) that performed visible light communication, the location where visible light communication was performed (current location of the receiver 8300), the time zone during which visible light communication was performed, and the like. And personal information of the user of the receiver 8300 that performed visible light communication can be logged. The server can analyze the value of the sign 8301, that is, the degree of contribution of the sign 8301 to the advertisement and promotion of the store as an advertising effect using at least one of these pieces of logged information.
  • FIG. 86 is a diagram showing an example of the operation of the display device in the in-store situation.
  • the user of the receiver 8300 that has performed visible light communication with the above-described sign 8301 enters a store corresponding to the displayed advertisement information.
  • the receiver 8300 detects that the user has entered the store corresponding to the advertisement information displayed using visible light communication (entering the store).
  • the receiver 8300 acquires store information indicating the store location associated with the device ID of the sign 8301 from the server.
  • the receiver 8300 determines whether or not the current location of the receiver 8300 obtained by using a GPS or a 9-axis sensor has entered the store location indicated by the store information.
  • the receiver 8300 detects the above-mentioned entrance by determining that the current location has entered the store location.
  • the receiver 8300 detects the entry, the receiver 8300 notifies the display device 8300b of the entry via, for example, a server. Alternatively, the receiver 8300 notifies the display device 8300b that the store has entered by visible light communication or wireless communication. Upon receiving the notification, the display device 8300b acquires product service information indicating a product or service menu provided at the store, and displays the menu indicated by the product service information. Note that the display device 8300b may be a portable terminal carried by a user of the receiver 8300 or a store clerk, or a device provided in the store.
  • FIG. 87 is a diagram showing an example of the next operation of the display device 8300b in the in-store situation.
  • the user selects a desired product from the menu displayed on the display device 8300b.
  • the user performs an operation of touching a part of the menu where the name of the desired product is displayed.
  • the display device 8300b receives the operation result of the product selection.
  • FIG. 88 is a diagram showing an example of the next operation of the display device 8300b in the in-store situation.
  • the display device 8300b that has received the operation result of the product selection displays an image representing the selected product and the price of the product. As a result, the display device 8300b prompts the user to confirm the selected product.
  • the image showing the above-mentioned goods, the information which shows the price of goods, etc. are contained in the above-mentioned goods service information, for example.
  • FIG. 89 is a diagram illustrating an example of the next operation of the receiver 8300 in the in-store situation.
  • the user who is prompted for confirmation performs an operation for ordering the product.
  • the receiver 8300 notifies the payment information necessary for the electronic payment to the POS (Pint of Sale) system of the store via the display device 8300b or the server. Furthermore, the receiver 8300 determines whether or not there is the above-described pre-acquired image acquired and stored using visible light communication with the sign 8301 of the store. When the receiver 8300 determines that there is the pre-acquired image, the receiver 8300 displays the pre-acquired image.
  • the display device 8300b is used.
  • the receiver 8300 may perform processing by the display device 8300b instead of using the display device 8300b.
  • the receiver 8300 detects entry, the receiver 8300 acquires product service information indicating a product or service menu provided at the store from the server, and displays the menu indicated by the product service information.
  • the receiver 8300 notifies the POS system of the store of the ordered product and payment information necessary for electronic payment via the server.
  • FIG. 90 is a diagram illustrating an example of the next operation of the receiver 8300 in the in-store situation.
  • the store clerk applies the barcode scanner 8302 of the POS system to the barcode of the pre-acquired image displayed on the receiver 8300.
  • the barcode scanner 8302 reads the barcode of the pre-acquired image.
  • the POS system performs electronic settlement according to the coupon indicated by the barcode.
  • the barcode scanner 8302 of the POS system transmits payment completion information indicating that the electronic payment is completed to the receiver 8300 by the luminance change. That is, the barcode scanner 8302 also has a function as a transmitter for visible light communication.
  • the receiver 8300 displays the payment completion information.
  • This settlement completion information indicates, for example, a message “Thank you for your purchase” and the amount of the settlement.
  • the POS system, the server, and the receiver 8300 allow the service indicated by the advertisement information at the store corresponding to the advertisement information (service information) displayed in front of the store. It can be determined that it has been used.
  • the barcode scanner 8302 reads the barcode, but the barcode scanner 8302 may not be used.
  • the receiver 8300 may transmit information indicated by the barcode to the POS system via the server. Then, the receiver 8300 may acquire the payment completion information from the POS system via the server.
  • the display device 8300b and the receiver 8300 may exchange ordering and billing data by visible light communication, or the data may be exchanged by wireless communication using a key exchanged by visible light communication.
  • the sign 8301 may be provided by one of a plurality of stores belonging to the chain store.
  • the advertisement information acquired using visible light communication with the sign 8301 can be used at all stores belonging to the chain store.
  • the service received by the user may be different between a store (advertisement store) where the signboard 8301 is displayed and a store (non-advertisement store) where the signboard 8301 is not displayed.
  • a discount rate for example, 20%
  • the signboard 8301 is not displayed.
  • the receiver 8300 detects entering the advertising store, the receiver 8300 acquires additional service information indicating a further discount of 10% from the server, and a discount rate of 30% (20% + 10%). Is displayed instead of the pre-acquired image shown in FIG.
  • the receiver 8300 detects whether the user has entered an advertising store or a non-advertising store based on the above-described store information acquired from the server.
  • the store information indicates the location of each of a plurality of stores belonging to the chain store and whether the stores are advertising stores or non-advertising stores.
  • the service received by the user at each non-advertised store may be different.
  • a service corresponding to the distance from the current location of the receiver 8300 when performing visible light communication with the sign 8301 to the non-advertisement store is provided to the user who entered the non-advertisement store Is done.
  • a service corresponding to the difference (time difference) between the time when the receiver 8300 and the sign 8301 perform visible light communication and the time when the user enters the non-advertisement store is provided to the user who enters the non-advertisement store. Is done.
  • the receiver 8300 acquires additional service information indicating a further discount, which differs depending on the above-described distance (the position of the signboard 8301) and the time difference, from the server, and a discount rate (for example, 30) reflecting the further discount. %) Is displayed instead of the pre-acquired image shown in FIG.
  • a service is determined by the server or the POS system or by mutual cooperation.
  • such a service may be applied to all stores belonging to the chain store, regardless of whether the store is an advertisement store or a non-advertisement store.
  • the POS system at the non-notification store When a user enters a non-advertisement store and places an order using advertisement information, the POS system at the non-notification store returns a portion of the amount obtained by the order to the POS system at the advertisement store. May be.
  • the server can determine whether or not the advertisement information has been used, and analyze the advertisement effect of the sign 8301 by accumulating the determined results. Can do.
  • the server further includes at least one of the position of the sign 8301, the time when the advertisement information is displayed, the position of the store where the advertisement information is used, the time when the advertisement information is used, and the time when the user enters the store.
  • the receiver 8300 acquires additional service information indicating a further discount for the number of uses for which the advertisement information has been used for the product order from the server, and a discount rate that reflects the further discount for the number of uses ( For example, an image showing 30%) may be displayed instead of the pre-acquired image shown in FIG.
  • the server may provide a service for further increasing the discount rate in cooperation with the POS system if the number of uses is large.
  • the server receives the advertisement information associated with each of the device IDs of all the signboards 8301 provided by the store by the receiver 8300 (when acquisition of all advertisement information is completed).
  • the profitable service may be provided to the user who enters the store of the signboard 8301.
  • the profitable service is, for example, a service with a very high discount rate or a service that provides products other than ordered products for free. That is, when the receiver 8300 detects the user's entry, the server determines whether the receiver 8300 has performed processing including visible light communication or the like for each of all the signboards associated with the store. judge.
  • the receiver 8300 acquires additional service information indicating further discount from the server as the above-mentioned profitable service, and a discount rate that reflects the further discount ( For example, an image indicating 50%) is displayed instead of the pre-acquired image illustrated in FIG.
  • the receiver 8300 receives additional service information indicating a further discount rate that differs depending on the difference between the time when the advertisement information is displayed by performing visible light communication with the sign 8301 and the time when the user enters the store.
  • An image obtained from the server and showing a discount rate (for example, 30%) reflecting a further discount may be displayed instead of the pre-acquired image shown in FIG.
  • the receiver 8300 acquires additional service information indicating a higher discount rate as the difference is smaller from the server.
  • FIG. 91 is a diagram illustrating an example of the next operation of the receiver 8300 in the in-store situation.
  • the receiver 8300 that has completed the order and the electronic payment receives a signal transmitted by a luminance change from a transmitter configured as a lighting device in the store, and transmits the signal to the server, whereby the seat position of the user (for example, a guide map in a store indicating a black circle) is acquired. Furthermore, the receiver 8300 identifies the position of the receiver 8300 using the received signal, as in any of the first to third embodiments. Then, the receiver 8300 displays the specified position of the receiver 8300 (for example, an asterisk) in the guide map. Thereby, the user can easily grasp how the user can go to his / her seat in the store.
  • the receiver 8300 identifies the position of the receiver 8300 as described above by performing visible light communication with a nearby transmitter configured as a lighting device in the store even when the user is moving. Is going from time to time. Therefore, the receiver 8300 sequentially updates the position (for example, star) of the displayed receiver 8300. Thereby, a user can be appropriately guided to a seat.
  • FIG. 92 is a diagram illustrating an example of the next operation of the receiver 8300 in the in-store situation.
  • the receiver 8300 When the user arrives at the seat, the receiver 8300 identifies the position of the receiver 8300 by performing visible light communication with a transmitter 8303 configured as a lighting device, and determines that the position is at the seat position of the user. To do. Then, the receiver 8300 notifies the terminal in the store that the user has arrived at the seat together with the user name or nickname via the server. Thereby, the salesclerk can grasp which user is sitting in which seat.
  • FIG. 93 is a diagram showing an example of the next operation of the receiver 8300 in the in-store situation.
  • the transmitter 8303 transmits a signal including a customer ID and a message notifying that the ordered product has been made by changing the luminance.
  • the receiver 8300 acquires the above-described customer ID from the server and holds the product ID, for example, when acquiring the product service information indicating the menu of the product from the server.
  • the receiver 8300 receives the above-described signal by photographing the transmitter 8303 with visible light. Furthermore, the receiver 8300 determines whether or not the customer ID included in the signal matches a customer ID that is held in advance. Here, when the receiver 8300 determines that they match, the receiver 8300 displays a message (for example, “Product is ready”) included in the signal.
  • a message for example, “Product is ready
  • FIG. 94 is a diagram showing an example of the next operation of the receiver 8300 in the in-store situation.
  • the clerk who delivered the ordered product to the user's seat points the handy terminal 8302a to the receiver 8300 in order to prove that the ordered product has been delivered.
  • the handy terminal 8302a is configured as a transmitter, and transmits a signal indicating that the ordered product has been delivered to the receiver 8300 by a change in luminance.
  • the receiver 8300 receives the signal by imaging the handy terminal 8302a, and displays a message (for example, “Please enjoy your meal”) indicated by the signal.
  • FIG. 95 is a diagram illustrating an example of the operation of the receiver 8300 in the store search situation.
  • the user finds a signage 8304 where a restaurant of interest is posted. At this time, if the user determines that the signage 8304 is transmitting a signal due to a change in luminance, the communication application of the receiver 8300 is activated by operating the receiver 8300 as in the example shown in FIG. Let Note that, similarly to the example illustrated in FIG. 82, the receiver 8300 may automatically start the communication application.
  • FIG. 96 is a diagram illustrating an example of the next operation of the receiver 8300 in the store search situation.
  • the receiver 8300 obtains an ID for identifying the signage 8304 or the restaurant by imaging the entire signage 8304 or a portion of the signage 8304 where a restaurant in which the user is interested is posted. Receive.
  • FIG. 97 is a diagram showing an example of the next operation of the receiver 8300 in the store search situation.
  • the receiver 8300 Upon receiving the above ID, the receiver 8300 transmits the ID to the server, acquires advertisement information (service information) associated with the ID from the server, and displays it. At this time, the receiver 8300 may notify the server of the number of persons (attached information) scheduled to enter the restaurant together with the ID. Thereby, the receiver 8300 can acquire the advertisement information according to the number of people. For example, the receiver 8300 can acquire advertisement information indicating whether or not there are vacant seats for the notified number of people in the restaurant.
  • advertisement information service information
  • FIG. 98 is a diagram illustrating an example of the operation of the receiver 8300 in the movie advertisement situation.
  • the user finds a signage 8305 on which a movie advertisement of interest is posted and a signage 8306 configured as a liquid crystal display and displaying a moving image for movie advertisement, for example.
  • the signage 8305 includes, for example, a transparent film on which an image showing a movie advertisement is drawn, and a plurality of LEDs that are arranged on the back side of the film and illuminate the film. That is, the signage 8305 displays the image drawn on the film brightly as a still image by the light emission of the plurality of LEDs.
  • the signage 8305 is configured as a transmitter that transmits a signal by changing luminance.
  • the communication application of the receiver 8300 is activated by operating the receiver 8300 as in the example shown in FIG.
  • the receiver 8300 may automatically start the communication application.
  • FIG. 99 is a diagram illustrating an example of the next operation of the receiver 8300 in the movie advertisement situation.
  • the receiver 8300 acquires the ID of the signage 8305 by imaging the signage 8305. Then, the receiver 8300 transmits the ID to the server, downloads the moving image data for movie advertisement associated with the ID as service information from the server, and reproduces it.
  • FIG. 100 is a diagram illustrating an example of the next operation of the receiver 8300 in the movie advertisement situation.
  • the moving image displayed by reproducing the moving image data downloaded as described above is the same as the moving image displayed by the signage 8306, for example. Therefore, when the user wants to see a movie advertisement moving image, the user can view the moving image at an arbitrary place without stopping in front of the signage 8306.
  • FIG. 101 is a diagram illustrating an example of the next operation of the receiver 8300 in the movie advertisement situation.
  • the receiver 8300 may download not only the moving image data but also the moving image data together with the moving image data showing the screening information indicating the movie showing time as service information. Thus, the receiver 8300 can display the contents of the screening information and notify the user, and can share the screening information with other terminals (such as other smartphones).
  • FIG. 102 is a diagram illustrating an example of the operation of the receiver 8300 in a museum situation.
  • the user when a user tries to enter a museum, the user finds a guidance bulletin board 8307 hung at the entrance of the museum. At this time, if the user determines that the guidance bulletin board 8307 is transmitting a signal due to a change in luminance, the user operates the receiver 8300 to change the communication application of the receiver 8300 as in the example shown in FIG. Start. Note that, similarly to the example illustrated in FIG. 82, the receiver 8300 may automatically start the communication application.
  • FIG. 103 is a diagram illustrating an example of the next operation of the receiver 8300 in the museum situation.
  • the receiver 8300 acquires the ID of the guidance bulletin board 8307 by imaging the guidance bulletin board 8307. Then, the receiver 8300 transmits the ID to the server, downloads the museum guidance application program (hereinafter referred to as the museum application) from the server as service information associated with the ID, and activates it.
  • the museum application downloads the museum guidance application program (hereinafter referred to as the museum application) from the server as service information associated with the ID, and activates it.
  • FIG. 104 is a diagram illustrating an example of the next operation of the receiver 8300 in the museum situation.
  • the receiver 8300 When the museum app is activated, the receiver 8300 displays a guide map in the museum according to the museum app. Further, the receiver 8300 identifies the position of the receiver 8300 in the museum as in any of the first to third embodiments. Then, the receiver 8300 displays the specified position of the receiver 8300 (for example, an asterisk) in the guide map.
  • the receiver 8300 acquires form information indicating the size and shape of the guidance bulletin board 8307 from the server, for example, when downloading a museum application. The receiver 8300 then performs triangulation based on the size and shape of the guidance bulletin board 8307 indicated by the form information and the size and shape of the guidance bulletin board 8307 displayed on the image obtained by the above imaging. The relative position of the receiver 8300 with respect to the guidance bulletin board 8307 is specified in accordance with the above method.
  • FIG. 105 is a diagram showing an example of the next operation of the receiver 8300 in the museum situation.
  • the receiver 8300 that has activated the museum application performs visible light communication with a nearby transmitter configured as a lighting device in the museum, and thus the receiver 8300 The position is specified at any time.
  • the receiver 8300 acquires the ID of the transmitter 8308 from the transmitter 8308 by capturing an image of the transmitter 8308 configured as a lighting device.
  • the receiver 8300 acquires position information indicating the position of the transmitter 8308 and form information indicating the size and shape of the transmitter 8308 associated with the ID from the server.
  • the receiver 8300 then performs triangulation based on the size and shape of the transmitter 8308 indicated by the form information and the size and shape of the transmitter 8308 displayed in the image obtained by the above imaging.
  • the relative position of the receiver 8300 with respect to the transmitter 8308 is estimated according to the above method.
  • the receiver 8300 determines whether the receiver 8300 is in the museum based on the position of the transmitter 8308 indicated by the position information acquired from the server and the relative position of the receiver 8300 estimated as described above. Identify the location.
  • the receiver 8300 moves the displayed star symbol to the specified latest position.
  • a user in the museum can easily grasp where he / she is in the museum by looking at the guide map and the star displayed on the receiver 8300.
  • FIG. 106 is a diagram illustrating an example of the next operation of the receiver 8300 in the museum situation.
  • the exhibit 8309 is illuminated by light from the lighting device 8310.
  • the lighting device 8310 is used exclusively for the exhibit 8309, and is configured as a transmitter that transmits a signal according to a change in luminance. Therefore, the exhibit 8309 is illuminated by light that changes in luminance, and indirectly transmits a signal from the lighting device 8310.
  • the receiver 8300 When the receiver 8300 detects an operation of holding the receiver 8300 over the exhibit 8309 based on, for example, an output from a built-in 9-axis sensor, the receiver 8300 captures the signal from the lighting device 8310 by imaging the exhibit 8309. Receive. This signal indicates, for example, the ID of the exhibit 8309. Then, the receiver 8300 acquires the introduction information (service information) of the exhibit 8309 associated with the ID from the server.
  • This introduction information shows a diagram for introducing the exhibit 8309, and the introduction text is shown in the language of each country such as Japanese, English, and French.
  • the receiver 8300 When the receiver 8300 acquires the introduction information from the server, the receiver 8300 displays a figure and a text indicated by the introduction information.
  • the receiver 8300 when displaying a sentence, the receiver 8300 extracts a sentence in a language preset by the user from sentences in the language of each country, and displays only the sentence in that language.
  • the receiver 8300 may change the language by a selection operation by the user.
  • FIG. 107 is a diagram showing an example of the next operation of the receiver 8300 in the museum situation.
  • the receiver 8300 When the display of the introduction information figure and the text is terminated by the user's operation, the receiver 8300 again performs visible light communication with a nearby transmitter configured as a lighting device (for example, the lighting device 8311). Then, the position of the receiver 8300 is specified. Then, when the new position of the receiver 8300 is specified, the receiver 8300 moves the displayed star to the specified new position. Accordingly, the user who has viewed the exhibition 8309 can easily move to the next exhibition to view by viewing the guide map and the star displayed on the receiver 8300.
  • a nearby transmitter configured as a lighting device (for example, the lighting device 8311).
  • the position of the receiver 8300 is specified.
  • the receiver 8300 moves the displayed star to the specified new position. Accordingly, the user who has viewed the exhibition 8309 can easily move to the next exhibition to view by viewing the guide map and the star displayed on the receiver 8300.
  • FIG. 108 is a diagram illustrating an example of operation of the receiver 8300 in a bus stop situation.
  • the user goes to a bus stop to get on a bus, for example. Therefore, when the user determines that the sign tower 8312 at the bus stop is transmitting a signal due to a change in luminance, the user operates the receiver 8300 to perform the operation of the receiver 8300 as in the example shown in FIG. Start the communication application. Note that, similarly to the example illustrated in FIG. 82, the receiver 8300 may automatically start the communication application.
  • FIG. 109 is a diagram illustrating an example of the next operation of the receiver 8300 in the bus stop situation.
  • the receiver 8300 images the sign tower 8312 to obtain the ID of the bus stop where the sign tower 8312 is located. Then, the receiver 8300 transmits the ID to the server, and acquires operation status information associated with the ID from the server.
  • the operation status information is information indicating traffic conditions, and is service information indicating services provided to the user.
  • the server manages the operation status of these buses by collecting information from each bus operating in the area including the bus stop. Therefore, when the server acquires the ID of the bus stop from the receiver 8300, the server estimates the time until the bus arrives at the bus stop of that ID based on the managed operation status, and the estimated time Is transmitted to the receiver 8300.
  • the receiver 8300 that acquired the operation status information displays the time indicated by the operation status information, for example, “10 minutes after arrival”. Thereby, the user can grasp
  • FIG. 111 shows an example of an illuminating device in which a plurality of LEDs are arranged in the vertical direction and a driving signal thereof.
  • FIG. 111A shows an illumination device in which a plurality of LEDs are arranged in the vertical direction. It is assumed that each LED element corresponds to a minimum unit of horizontal stripes that encodes a visible light communication signal and corresponds to an encoded ON / OFF signal. In this way, by generating a white / black pattern, turning on / off each LED element, and illuminating, it is assumed that the scanning direction on the imaging side and the long side direction of the vertically long LED illumination device are parallel The white / black pattern of the LED element unit can be photographed.
  • 111 (c) and (d) show an example in which a white / black pattern is generated and each LED element is turned on / off for illumination.
  • the illumination device illuminates as a white / black pattern, the light may be uneven even for a short time. Therefore, an example in which an antiphase pattern is generated and alternately illuminated is shown in (c) and (d) of FIG. 111 (c), the element that was turned on is turned off in FIG. 111 (d), and the element that was turned off in FIG. 111 (c) is turned off in FIG. In d), it is ON.
  • FIG. 112 shows an example of sequentially illuminating four types of patterns.
  • the transmission / reception time of a predetermined data unit may blink in the whole LED illumination, and then illuminate a white / black pattern in LED element units in a short time.
  • the predetermined data unit refers to, for example, a data unit from the first header to the next second header.
  • this embodiment is not limited to the LED lighting device, and may be any element as long as the element can control ON / OFF in small element units, like the LED element.
  • the apparatus is not limited to a lighting device, and may be a device such as a television, a projector, or a signage.
  • a color may be used instead of the white / black pattern.
  • RGB may be always lit, and only B may be used and blinked.
  • B may be used and blinked.
  • ON / OFF is displayed by using colors (red and cyan patterns, green and magenta patterns, yellow and blue patterns, etc.) that are complementary colors in additive color mixing instead of white and black patterns. Also good. By using a complementary color in additive color mixing, flicker can be suppressed.
  • the LED elements are not arranged in one dimension but arranged in two dimensions and displayed like a two-dimensional barcode. May be performed.
  • the service providing method is a service providing method for providing a service to a user of the terminal device using a terminal device including an image sensor having a plurality of exposure lines, and each exposure line of the image sensor. Exposure times of 1/480 seconds or less so that the exposure times of the respective exposure lines are partially overlapped in time with adjacent exposure lines.
  • a service presentation step of presenting service information associated with the identification information of the subject to the user. .
  • service information related to the subject is presented to the user of the terminal device by utilizing the fact that the subject and the terminal device communicate with each other as a transmitter and a receiver, respectively. It can be provided to the user in various forms. For example, in the service presentation step, information indicating a store advertisement, availability or reservation status related to the subject, information indicating a discount rate of a product or service price, a moving image for movie advertisement, and a screening time , Information for guiding the inside of the building, information for introducing exhibits, and information indicating traffic conditions are presented as the service information.
  • the service providing method may further include an identification information transmitting step in which the terminal device transmits identification information of the subject to a server, and the terminal device transmits the service information associated with the identification information of the subject.
  • the terminal device may present the obtained service information to the user.
  • the accessory information is transmitted to the server together with the subject identification information, and in the service acquisition step, the service information associated with the subject identification information and the accessory information is acquired. May be.
  • the personal information of the user, the identification information of the user, the number information indicating the number of groups including the user, or Position information indicating the position of the terminal device is transmitted as the attached information.
  • the service providing method may further include a position transmission step in which the terminal apparatus transmits position information indicating the position of the terminal apparatus to a server, and at least one in a predetermined range including the position indicated by the position information.
  • the terminal device when the terminal device acquires the identification information of the subject as in the operation described with reference to FIG. 82, the terminal device does not communicate with the server or the like and then stores at least one service information held in advance. Therefore, the service information associated with the identification information of the subject can be acquired and presented. Therefore, the service provision can be speeded up.
  • the service providing method further includes a store entry determining step of determining whether or not the user has entered a store corresponding to the service information presented in the service presenting step by specifying the position of the user.
  • the terminal device acquires product service information related to the store product or service from the server and presents it to the user.
  • a presentation step is a step of determining whether or not the user has entered a store corresponding to the service information presented in the service presenting step by specifying the position of the user.
  • the store menu or the like can be automatically presented to the user as merchandise service information. Therefore, the store clerk does not need to present a menu or the like to the user, and the user can easily make an order to the store.
  • the service providing method further includes a store entry determining step of determining whether or not the user has entered a store corresponding to the service information presented in the service presenting step by specifying the position of the user. And when it is determined in the store entry step that the user has entered the store, the location of the subject and the time of the store that differs depending on at least one of the time when the service information was presented An additional service presenting step in which the terminal device presents the additional service information to the user may be included.
  • each of a plurality of stores belonging to the chain store is a store corresponding to the service information presented in the service presentation step, and a signboard that is a subject by one of the stores (advertisement store) May have been issued.
  • the advertising store among the plurality of stores belonging to the chain store is typically located closest to the subject (signboard).
  • the service providing method further includes a store entry determining step of determining whether or not the user has entered a store corresponding to the service information presented in the service presenting step by specifying the position of the user.
  • a store entry determining step of determining whether or not the user has entered a store corresponding to the service information presented in the service presenting step by specifying the position of the user.
  • service information that is more useful to the user can be presented to the user as additional service information as the service is used more frequently, as in the operation described with reference to FIGS. 86 to 90, for example. For example, if the usage count of service information indicating a 20% discount on the product price exceeds a threshold, additional service information indicating a further discount of 10% can be presented to the user.
  • the service providing method further includes a store entry determining step of determining whether or not the user has entered a store corresponding to the service information presented in the service presenting step by specifying the position of the user.
  • the entry determination step determines that the user has entered the store
  • the image acquisition step is performed for each of all other subjects associated with the store other than the subject.
  • a store puts out several subjects as signs, and an image acquisition step, a visible light communication step, and a service presentation for all of those signs
  • service information most useful to the user can be presented to the user as additional service information.
  • the service providing method further includes a store entry determining step of determining whether or not the user has entered a store corresponding to the service information presented in the service presenting step by specifying the position of the user. And when it is determined in the store entry determining step that the user has entered the store, the store differs according to a difference between a time at which the service information is presented and a time at which the user enters the store.
  • the additional service information step may be included in which the terminal device presents the additional service information to the user.
  • the difference between the time when the service information is presented (or the time when the subject is photographed) and the time when the user enters the store is The smaller the service information, the more useful service information for the user can be presented to the user as additional service information. That is, a more useful service can be additionally provided to a user who takes a short time from entering the store after receiving service information by imaging the subject.
  • the service providing method further includes a use determination step of determining whether or not the user has used the service indicated by the service information at a store corresponding to the service information presented in the service presentation step; Each time the service information is presented, the results determined in the use determination step may be accumulated, and an analysis step of analyzing the advertising effect of the subject based on the accumulated contents may be included.
  • a service such as a 20% discount on the product price
  • the service information as in the operation described with reference to FIGS. 86 to 90
  • every time a service is provided to the user at the time of imaging a subject it is determined whether or not that service has been used.
  • the advertising effect of the subject is high. That is, the advertising effect of the subject can be appropriately analyzed based on the use result.
  • the analyzing step together with the result determined in the use determining step, the position of the subject, the time when the service information is presented, the position of the store, and the time when the user enters the store
  • the advertisement effect of the subject may be analyzed based on the accumulated contents.
  • the advertising effect before and after the position change can be compared, and as a result, the subject can be placed at a position with a high advertising effect.
  • the service providing method further includes a use determination step of determining whether or not the user has used the service indicated by the service information at a store corresponding to the service information presented in the service presentation step; When it is determined that the service is used in the use determination step, a store determination step of determining whether a use store that is a store where the service is used is a specific store associated with the subject; When it is determined in the store determination step that the use store is not the specific store, at least a part of the amount settled using the service at the use store is returned to the specific store using electronic commerce. A reduction step.
  • the terminal device presents the service information for introducing the subject to the user when the subject illuminated by light whose luminance changes in the image acquisition step is photographed.
  • the terminal device presents the service information for guiding the inside of the building where the subject is arranged to the user. Also good.
  • a guide service in a museum or the like and an introduction service for an exhibit as a subject can be appropriately provided to the user.
  • the information communication method is an information communication method for acquiring information from a subject having a plurality of light emitting elements, and is included in the image sensor in an image obtained by photographing the subject with an image sensor.
  • the exposure time setting step for setting the exposure time of the image sensor so that the bright line corresponding to the exposure line is generated according to the luminance change of the subject, and the plurality of the luminance lines according to the luminance change pattern for indicating the first information.
  • the first information acquisition step for acquiring the first information and the subject in which each of the plurality of light emitting elements emits light with one of the two different luminance values is obtained by photographing.
  • the information communication method is an information communication method for transmitting a signal by a luminance change, and determining a pattern of the luminance change by modulating the first signal to be transmitted;
  • Each of the elements emits light with one of the two different brightness values, so that a light brightness / darkness array appears in the space in which the light emitters are arranged, whereby the second transmission target.
  • a second transmission step of transmitting the signal is an information communication method for transmitting a signal by a luminance change, and determining a pattern of the luminance change by modulating the first signal to be transmitted;
  • the receiver Regardless of the direction of shooting, information or signals from the lighting device can be appropriately acquired.
  • the exposure line the operation direction on the imaging side
  • the receiver detects information from the luminance change of the entire lighting device. Or a signal can be acquired appropriately.
  • the receiver can appropriately acquire information or a signal from the bright and dark arrangement of luminance along the direction parallel to the exposure line. it can. In other words, the dependence of the imaging direction on the reception of information can be suppressed.
  • Embodiment 5 an application example using a receiver such as a smartphone in Embodiments 1 to 4 and a transmitter that transmits information as a blinking pattern such as an LED or an organic EL will be described.
  • FIG. 113 is a diagram illustrating an example of operation of the transmitter in the fifth embodiment.
  • Each of transmitter 8321, transmitter 8322, and transmitter 8323 has the same function as the transmitter of any of Embodiments 1 to 4, and is configured as an illumination device that transmits a signal (visible light communication) by a change in luminance.
  • these transmitters 8321 to 8323 transmit signals by changing in luminance at mutually different frequencies.
  • the transmitter 8321 transmits the ID “1000” of the transmitter 8321 by changing the luminance at the frequency a (eg, 9200 Hz), and the transmitter 8322 changes the luminance at the frequency b (eg, 9600 Hz).
  • the transmitter 8322 transmits the ID “2000”, and the transmitter 8323 transmits the ID “3000” of the transmitter 8322 by changing the luminance at the frequency c (for example, 10000 Hz).
  • the receiver images the transmitters 8321 to 8323 in the same manner as in Embodiments 1 to 4 so that all of these transmitters 8321 to 8323 are included in the angle of view.
  • a bright line pattern corresponding to each transmitter appears. From the bright line pattern, the frequency of the luminance change of the transmitter corresponding to the bright line pattern can be specified.
  • the frequencies specified from the bright line patterns corresponding to the transmitters are also the same. Furthermore, when the bright line patterns are adjacent to each other, the frequencies specified from the bright line patterns are the same, so it is difficult to distinguish the bright line patterns.
  • the receiver can easily distinguish these bright line patterns, and the data specified by each bright line pattern can be identified.
  • the IDs of the transmitters 8321 to 8323 can be appropriately acquired. That is, the receiver can appropriately distinguish the signals from the transmitters 8321 to 8323.
  • the frequencies of the transmitters 8321 to 8323 may be set by a remote controller or may be set randomly. Further, each of the transmitters 8321 to 8323 may communicate with an adjacent transmitter and automatically set the frequency of its own transmitter so as to be different from the frequency of the adjacent communication device.
  • FIG. 114 is a diagram illustrating an example of operation of the transmitter in the fifth embodiment.
  • each of the transmitters changes in luminance at a different frequency.
  • the luminance does not need to change at different frequencies. That is, each of the five or more transmitters only needs to change in luminance at any one of the four types of frequencies.
  • the frequency types are the same as the number of transmitters. If there are four types (frequency a, b, c, d), the frequencies of the bright line patterns adjacent to each other can be reliably varied. This is reasoned by the four-color problem or the four-color theorem.
  • each of the plurality of transmitters changes in luminance at any one of at least four types of frequencies, and two or more light emitters of the plurality of transmitters are the same.
  • the luminance changes at the frequency of.
  • the luminance changes between all transmitters (bright line patterns that are images of the transmitter) adjacent to each other on the light receiving surface
  • Each of the plurality of transmitters changes in luminance so that their frequencies are different.
  • FIG. 115 is a diagram illustrating an example of operation of the transmitter in the fifth embodiment.
  • the transmitter changes the luminance by outputting high luminance light (H) or low luminance light (L) every predetermined time unit (slot), and transmits a signal by this luminance change.
  • the transmitter transmits a signal for each block including a header and a body.
  • the header is expressed as (L, H, L, H, L, H, H) using, for example, 7 slots as shown in FIG. 79A.
  • the body is composed of a plurality of symbols (00, 01, 10 or 11), and each symbol is expressed using 4 slots (4-value PPM).
  • a block is expressed using a predetermined number of slots (19 in the example of FIG. 115).
  • the ID is obtained by combining bodies included in each of four blocks, for example.
  • a block may be expressed using 33 slots.
  • the bright line pattern obtained by imaging of the receiver includes a pattern (header pattern) corresponding to the header and a pattern (data pattern) corresponding to the body.
  • the data pattern does not include the same pattern as the header pattern. Therefore, the receiver can easily find the header pattern from the bright line pattern, and can measure the number of pixels (the number of exposure lines corresponding to the block) between the header pattern and the next header pattern.
  • the number of slots in one block (19 in the example of FIG. 115) is set to a fixed number regardless of the frequency, and therefore the frequency of the transmitter (the time of one slot is determined according to the measured number of pixels.
  • the reciprocal of the width can be specified. That is, the receiver specifies a lower frequency as the number of pixels is larger, and identifies a higher frequency as the number of pixels is smaller.
  • the receiver can acquire the ID of the transmitter and specify the frequency of the transmitter by imaging the transmitter.
  • the receiver can determine whether or not the acquired ID is appropriate by using the frequency specified in this way, that is, can perform error detection of the ID.
  • the receiver calculates a hash value for the ID, and compares the hash value with the identified frequency. When the hash value and the frequency match, the receiver determines that the acquired ID is appropriate, and when it does not match, the acquired ID is inappropriate (error).
  • the receiver treats the remainder obtained by dividing the ID by a predetermined divisor as a hash value.
  • the transmitter transmits the ID of the transmission target by changing the luminance at the same frequency as the hash value for the transmission target ID (the reciprocal of the time width of one slot).
  • FIG. 116 is a diagram illustrating an example of operations of the transmitter and the receiver in the fifth embodiment.
  • the transmitter may use an arbitrary frequency instead of using the same frequency as the hash value as described above, and change the luminance at the arbitrary frequency.
  • the transmitter transmits a signal indicating a value different from the ID of the transmitter. For example, when the ID of the transmitter is “100” and the transmitter uses 2 kHz as an arbitrary frequency, the transmitter transmits a signal “1002” in which the ID and the frequency are combined. Similarly, when the ID of another transmitter is “110” and the other transmitter uses 1 kHz as an arbitrary frequency, the other transmitter uses a signal “1101” that is a combination of the ID and the frequency. Send.
  • the receiver uses the first digit of the signal transmitted and acquired from the transmitter for error detection, and extracts the remaining digits as the transmitter ID. Then, the receiver compares the frequency specified from the luminance pattern with the numerical value of the lower first digit included in the acquired signal. The receiver determines that the extracted ID is appropriate when the numerical value of the first digit matches the frequency, and determines that the extracted ID is inappropriate when the frequency does not match. (Error) is determined.
  • FIG. 117 is a diagram illustrating an example of operation of the receiver in the fifth embodiment.
  • the receiver does not demodulate data from the portion 8327c where the bright line pattern 8327a and the bright line pattern 8327b overlap, and demodulates data from portions other than the respective portions 8327c of the bright line pattern 8327a and the bright line pattern 8327b. Do. Thereby, the receiver can acquire an appropriate ID from each of the bright line pattern 8327a and the bright line pattern 8327b.
  • FIG. 118 is a diagram illustrating an example of operation of a receiver in the fifth embodiment.
  • the transmitter switches the frequency of the luminance change for transmitting the block, for example, for each block.
  • the receiver can more easily discriminate between the blocks.
  • the transmitter for example, changes the luminance change frequency for transmitting the block header and the luminance change frequency for transmitting the block body. Thereby, it can suppress that the same pattern as a header appears in a body. As a result, the receiver can more appropriately determine the distinction between the header and the body.
  • FIG. 119 is a diagram illustrating an example of operation of a system including a transmitter, a receiver, and a server in the fifth embodiment.
  • the system in this embodiment includes a transmitter 8331, a receiver 8332, and a server 8333.
  • the transmitter 8331 has the same function as the transmitter of any of Embodiments 1 to 4 described above, and is configured as an illumination device that transmits the ID of the transmitter 8331 by visible luminance change (visible light communication).
  • the receiver 8332 has the function as the receiver of any of Embodiments 1 to 4, and acquires the ID of the transmitter 8331 from the transmitter 8331 by imaging the transmitter 8331 (visible light imaging). To do.
  • the server 8333 communicates with the transmitter 8331 and the receiver 8332 via a network such as the Internet.
  • the ID of the transmitter 8331 is fixed without being changed.
  • the frequency used for the luminance change (visible light communication) of the transmitter 8331 can be arbitrarily changed by setting.
  • the transmitter 8331 first registers the frequency used in the luminance change (visible light communication) in the server 8333. Specifically, transmitter 8331 transmits its ID, registered frequency information indicating the frequency, and related information related to transmitter 8331 to server 8333.
  • the server 8333 receives the ID of the transmitter 8331, the registered frequency information, and the related information, the server 8333 records them in association with each other. That is, the ID of the transmitter 8331, the frequency used for the luminance change of the transmitter 8331, and the related information are recorded in association with each other. Thereby, the frequency used for the luminance change of the transmitter 8331 is registered.
  • the transmitter 8331 transmits the ID of the transmitter 8331 according to the luminance change of the registered frequency.
  • the receiver 8332 acquires the ID by imaging the transmitter 8331 and specifies the frequency of the luminance change of the transmitter 8331 as described above.
  • the receiver 8332 transmits the acquired ID and specific frequency information indicating the specified frequency to the server 8333.
  • the server 8333 receives the ID and specific frequency information transmitted by the receiver 8332, the server 8333 searches for a frequency (frequency indicated by the registered frequency information) recorded in association with the ID, and the recorded frequency and Then, it is determined whether or not the frequency indicated by the specific frequency information matches. If it is determined that they match, the server 8333 transmits related information (data) recorded in association with the ID and frequency to the receiver 8332.
  • the related information is not transmitted from the server 8333 to the receiver 8332. Therefore, if the receiver 8332 obtains the ID from the transmitter 8331 even once, the frequency registered in the server 8333 indicates that the receiver 8332 can receive related information from the server 8333 at any time. Can be prevented by changing from time to time. That is, the transmitter 8331 can prohibit the acquisition of related information by the receiver 8332 that has acquired the ID before the change by changing the frequency registered in the server 8333 (that is, the frequency used for the luminance change). . In other words, an expiration date can be set for acquisition of related information by changing the frequency.
  • the hotel administrator changes the frequency after staying. Accordingly, the receiver 8332 can acquire related information only on the day the user stays, and can prohibit the receiver 8332 from acquiring related information after staying.
  • the server 8333 may register a plurality of frequencies in association with one ID. For example, each time the server 8333 acquires the registered frequency information from the receiver 8332, the server 8333 always registers the frequency indicated by the latest four registered frequency information in association with the ID. Thereby, even if the receiver 8332 has acquired the ID in the past, the related information can be acquired from the server 8333 until the frequency is changed three times. Further, the server 8333 may manage the time or the time zone when the frequency is set in the transmitter 8331 for each registered frequency. In this case, when the server 8333 receives the ID and specific frequency information from the receiver 8332, the server 8333 confirms the time zone managed for the frequency indicated by the specific frequency information, and the receiver 8333 The time zone when 8332 acquired the ID can be specified.
  • FIG. 120 is a block diagram showing a configuration of the transmitter in the fifth embodiment.
  • the transmitter 8334 has the same function as the transmitter of any of Embodiments 1 to 4 above, and also includes a frequency storage unit 8335, an ID storage unit 8336, a check value storage unit 8337, a check value comparison unit 8338, a check value.
  • a calculation unit 8339, a frequency calculation unit 8340, a frequency comparison unit 8341, a transmission unit 8342, and an error notification unit 8343 are provided.
  • the frequency storage unit 8335 stores a frequency used for luminance change (visible light communication).
  • the ID storage unit 8336 stores the ID of the transmitter 8334.
  • the check value storage unit 8337 stores a check value for determining whether the ID stored in the ID storage unit 8336 is appropriate.
  • the check value calculation unit 8339 reads the ID stored in the ID storage unit 8336 and applies a predetermined function to the ID to calculate a check value (calculation check value) for the ID.
  • the check value comparison unit 8338 reads the check value stored in the check value storage unit 8337, and compares the check value with the calculated check value calculated by the check value calculation unit 8339. If the check value comparison unit 8338 determines that the calculated check value is different from the check value, the check value comparison unit 8338 notifies the error notification unit 8343 of an error. For example, the check value storage unit 8337 stores a value “0” indicating that the ID stored in the ID storage unit 8336 is an even number as a check value.
  • the check value calculation unit 8339 reads the ID stored in the ID storage unit 8336 and divides it by the value “2”, thereby calculating the remainder as a calculation check value. Then, the check value comparison unit 8338 compares the check value “0” with the calculated check value that is the remainder of the above division.
  • the frequency calculation unit 8340 reads the ID stored in the ID storage unit 8336 via the check value calculation unit 8339, and calculates the frequency (calculated frequency) from the ID. For example, the frequency calculation unit 8340 calculates the remainder as a frequency by dividing the ID by a predetermined value.
  • the frequency comparison unit 8341 compares the frequency (storage frequency) stored in the frequency storage unit 8335 with the calculated frequency. If the frequency comparison unit 8341 determines that the calculated frequency is different from the storage frequency, the frequency comparison unit 8341 notifies the error notification unit 8343 of an error.
  • the transmission unit 8342 transmits the ID stored in the ID storage unit 8336 by changing the luminance at the calculated frequency calculated by the frequency calculation unit 8340.
  • the error notification unit 8343 When the error is notified from at least one of the check value comparison unit 8338 and the frequency comparison unit 8341, the error notification unit 8343 notifies the error by a buzzer sound, blinking, or lighting. Specifically, the error notification unit 8343 includes a lamp for error notification, and notifies the error by lighting or blinking the lamp. Alternatively, when the power switch of the transmitter 8334 is turned ON, the error notification unit 8343 sets a light source that changes in luminance to transmit a signal such as an ID for a predetermined period (for example, 10 seconds). An error is notified by blinking at a recognizable cycle.
  • a signal such as an ID for a predetermined period (for example, 10 seconds).
  • FIG. 121 is a block diagram showing a configuration of a receiver in the fifth embodiment.
  • the receiver 8344 has the same function as that of any of the receivers of Embodiments 1 to 4, and also includes a light receiving unit 8345, a frequency detecting unit 8346, an ID detecting unit 8347, a frequency comparing unit 8348, and a frequency calculating unit 8349. It has.
  • the light receiving unit 8345 includes an image sensor, for example, and acquires an image including a bright line pattern by imaging (transmitting with visible light) a transmitter that changes in luminance.
  • the ID detection unit 8347 detects the transmitter ID from the image. That is, the ID detection unit 8347 acquires the ID of the transmitter by demodulating data specified by the bright line pattern included in the image.
  • the frequency detector 8346 detects the frequency of the luminance change of the transmitter from the image. That is, the frequency detection unit 8346 specifies the frequency of the transmitter from the bright line pattern included in the image as in the example described with reference to FIG.
  • the frequency calculation unit 8349 calculates the frequency of the transmitter by dividing the ID from the ID detected by the ID detection unit 8347, for example, as described above.
  • the frequency comparison unit 8348 compares the frequency detected by the frequency detection unit 8346 with the frequency calculated by the frequency calculation unit 8349. Here, if these frequencies are different, the frequency comparison unit 8348 determines that the detected ID is an error, and causes the ID detection unit 8347 to detect the ID again. Thereby, it can prevent acquiring wrong ID.
  • FIG. 122 is a diagram illustrating an example of operation of the transmitter in the fifth embodiment.
  • the transmitter may differentiate and transmit each of the symbols “00, 01, 10, 11” by changing the position where the luminance change occurs in a predetermined time unit.
  • the transmitter when transmitting the symbol “00”, the transmitter transmits the symbol “00” by changing the luminance only in the first interval which is the first interval in the time unit. Further, when transmitting the symbol “01”, the transmitter transmits the symbol “01” by changing the luminance only in the second interval which is the second interval in the time unit. Similarly, when transmitting the symbol “10”, the transmitter transmits the symbol “10” and transmits the symbol “11” by changing the luminance only in the third interval which is the third interval in the time unit. When transmitting, the transmitter transmits the symbol “11” by changing the luminance only in the fourth interval, which is the fourth interval in the time unit.
  • the luminance changes within one section, so that it is lower than the above-described transmitter that reduces the entire luminance of one section (slot). , Flicker can be suppressed.
  • FIG. 123 is a diagram illustrating an example of operation of the transmitter in the fifth embodiment.
  • the transmitter may distinguish and transmit each of the symbols “0, 1” by changing the presence or absence of a luminance change in a predetermined time unit. For example, when transmitting the symbol “0”, the transmitter transmits the symbol “0” by not changing the luminance in time units. Further, when transmitting the symbol “1”, the transmitter transmits the symbol “1” by changing the luminance in time units.
  • FIG. 124 is a diagram illustrating an example of operation of the transmitter in the fifth embodiment.
  • the transmitter may distinguish and transmit each of the symbols “00, 01, 10, 11” by changing the intensity (frequency) of the luminance change in a predetermined time unit. For example, when transmitting the symbol “00”, the transmitter transmits the symbol “00” by not changing the luminance in time units. Further, when transmitting the symbol “01”, the transmitter transmits the symbol “01” by changing the luminance in a time unit (changing the luminance at a low frequency). Further, when transmitting the symbol “10”, the transmitter transmits the symbol “10” when the luminance changes drastically in a time unit (luminance changes at a high frequency). Then, when transmitting the symbol “11”, the transmitter transmits the symbol “11” by changing the luminance more intensely in time units (by changing the luminance at a higher frequency).
  • FIG. 125 is a diagram illustrating an example of operation of the transmitter in the fifth embodiment.
  • the transmitter may distinguish and transmit each of the symbols “0, 1” by changing the phase of the luminance change in a predetermined time unit. For example, when transmitting the symbol “0”, the transmitter transmits the symbol “0” by changing the luminance at a predetermined phase in a time unit. Further, when transmitting the symbol “1”, the transmitter transmits the symbol “1” by changing the luminance in a phase opposite to the above phase in a time unit.
  • FIG. 126 is a diagram illustrating an example of operation of the transmitter in the fifth embodiment.
  • the transmitter may change in luminance for each color such as red, green, and blue.
  • the transmitter can transmit a signal having a larger amount of information to a receiver that can recognize a luminance change for each color.
  • the luminance change of any color may be used for clock adjustment.
  • a red luminance change may be used for clock adjustment.
  • the red luminance change serves as a header.
  • FIG. 127 is a diagram illustrating an example of operation of the transmitter in the fifth embodiment.
  • the transmitter may express the brightness of the combined color (for example, white) by combining a plurality of colors such as red, green, and blue. That is, the transmitter expresses the luminance change of the composite color by changing the luminance for each color such as red, green, and blue.
  • a signal to be transmitted is transmitted by the luminance change of the composite color, similarly to the above-described visible light communication.
  • the luminance of one or more of red, green, and blue may be used for adjustment for expressing a predetermined luminance of the composite color. Accordingly, a signal can be transmitted by a luminance change of the composite color, and a signal can be transmitted by a luminance change of any two colors of red, green, and blue.
  • the transmitter can transmit a signal to a receiver that can recognize only the luminance change of the composite color (for example, white) as described above, and can also recognize each color such as red, green, and blue. For such a receiver, more signals can be transmitted as incidental information, for example.
  • a receiver that can recognize only the luminance change of the composite color (for example, white) as described above, and can also recognize each color such as red, green, and blue.
  • more signals can be transmitted as incidental information, for example.
  • FIG. 128 is a diagram illustrating an example of operation of the transmitter in the fifth embodiment.
  • the transmitter has four light sources.
  • Each of these four light sources (for example, LED lamps) emits light of colors represented by different positions 8351a, 8351b, 8352a, and 8352b in the CIExy chromaticity diagram shown in FIG.
  • the transmitter transmits each signal by switching between the first lighting transmission and the second lighting transmission.
  • the first lighting transmission is a process of transmitting a signal “0” by turning on a light source that emits light of the color at position 8351a and a light source that emits light of the color at position 8351b among the four light sources.
  • the second lighting transmission is a process of transmitting the signal “1” by turning on the light source that emits the light of the color at the position 8352a and the light source that emits the light of the color at the position 8352b.
  • the image sensor of the receiver can identify the colors represented by each of the positions 8351a, 8351b, 8352a, 8352b, so that the receiver can properly receive the signal “0” and the signal “1”. it can.
  • the position between the positions 8351a and 8351b can be matched with the position between the positions 8352a and 8352b (to the position 8353).
  • the first lighting transmission and the second lighting transmission are switched, it appears to the human eye that the light emission color of the transmitter is fixed, so that it is possible to suppress the human from feeling flickering. .
  • FIG. 129 is a diagram illustrating an example of operation of a transmitter and a receiver in the fifth embodiment.
  • the transmitter includes an ID storage unit 8361, a random number generation unit 8362, an addition unit 8363, an encryption unit 8364, and a transmission unit 8365.
  • the ID storage unit 8361 stores the ID of the transmitter.
  • the random number generation unit 8362 generates different random numbers every certain time.
  • Adder 8363 combines the latest random number generated by random number generator 8362 with the ID stored in ID storage unit 8361, and outputs the result as an edit ID.
  • the encryption unit 8364 generates an encrypted edit ID by encrypting the edit ID.
  • the transmission unit 8365 transmits the encrypted edit ID to the receiver by changing the luminance.
  • the receiver includes a receiving unit 8366, a decoding unit 8367, and an ID acquisition unit 8368.
  • the receiving unit 8366 receives the encrypted edit ID from the transmitter by imaging the transmitter (visible light imaging).
  • the decryption unit 8367 restores the edit ID by decrypting the received encrypted edit ID.
  • the ID acquisition unit 8368 acquires the ID by extracting the ID from the restored editing ID.
  • the ID storage unit 8361 stores the ID “100”, and the random number generation unit 8362 generates the latest random number “817” (Example 1).
  • the adding unit 8363 generates and outputs the edit ID “100817” by combining the random number “817” with the ID “100”.
  • the encryption unit 8364 generates an encrypted edit ID “abced” by encrypting the edit ID “100817”.
  • the decryption unit 8367 of the receiver restores the edit ID “100817” by decrypting the encrypted edit ID “abced”.
  • the ID acquisition unit 8368 extracts the ID “100” from the restored editing ID “100817”. In other words, the ID acquisition unit 8368 acquires the ID “100” by deleting the last three digits of the edit ID.
  • the random number generation unit 8362 generates a new random number “619” (example 2).
  • the adding unit 8363 generates and outputs the edit ID “100619” by combining the random number “619” with the ID “100”.
  • the encryption unit 8364 generates an encrypted edit ID “diffia” by encrypting the edit ID “100619”.
  • the decryption unit 8367 of the transmitter restores the edit ID “100619” by decrypting the encrypted edit ID “diffia”.
  • the ID acquisition unit 8368 extracts the ID “100” from the restored editing ID “100619”. In other words, the ID acquisition unit 8368 acquires the ID “100” by deleting the last three digits of the edit ID.
  • the transmitter simply encrypts a combination of random numbers that change every fixed time without simply encrypting the ID, so the ID can be easily decrypted from the signal transmitted from the transmitter 8365. Can be prevented.
  • a simple encrypted ID is transmitted from the transmitter to the receiver several times, even if the ID is encrypted, if the ID is the same, the transmitter to the receiver. Since the transmitted signal is the same, the ID may be deciphered.
  • a random number that is changed at regular intervals is combined with the ID, and the ID combined with the random number is encrypted. Therefore, even when the same ID is transmitted to the receiver several times, the signals transmitted from the transmitter to the receiver can be made different if the transmission timings of these IDs are different. As a result, it is possible to prevent the ID from being easily decoded.
  • FIG. 130 is a diagram illustrating an example of operations of the transmitter and the receiver in the fifth embodiment.
  • the transmitter includes an ID storage unit 8371, a timing unit 8372, an addition unit 8373, an encryption unit 8374, and a transmission unit 8375.
  • the ID storage unit 8371 stores the ID of the transmitter.
  • the timer unit 8372 keeps time and outputs the current date and time (current date and time).
  • the adding unit 8373 combines the ID stored in the ID storage unit 8371 with the current date and time output from the time measuring unit 8372 as the transmission date and time, and outputs the result as the edit ID.
  • the encryption unit 8374 generates an encrypted edit ID by encrypting the edit ID.
  • the transmission unit 8375 transmits the encrypted edit ID to the receiver by changing the luminance.
  • the receiver includes a receiving unit 8376, a decoding unit 8377, a validity determining unit 8378, and a time measuring unit 8379.
  • the receiving unit 8376 receives the encrypted editing ID from the transmitter by imaging the transmitter (visible light imaging).
  • the decryption unit 8377 restores the edit ID by decrypting the received encrypted edit ID.
  • the timer unit 8379 measures time and outputs the current date and time (current date and time).
  • the validity determination unit 8378 acquires the ID by extracting the ID from the restored editing ID. Further, the validity determination unit 8378 extracts the transmission date / time from the restored edit ID, and compares the transmission date / time with the current date / time output from the time measuring unit 8379 to determine the validity of the ID. For example, the validity determination unit 8378 determines that the ID is invalid when the difference between the transmission date and time and the current date and time is longer than a predetermined time, or when the transmission date and time is newer than the current date and time
  • the ID storage unit 8371 stores the ID “100”, and the timing unit 8372 outputs the current date and time “201305011200” ( May 1, 2013 12:00) as the transmission date and time (Example 1).
  • the adding unit 8373 generates and outputs the edit ID “100201305011200” by combining the transmission date “2013030501200” with the ID “100”.
  • the encryption unit 8374 generates an encrypted edit ID “ei39ks” by encrypting the edit ID “100201305011200”.
  • the decryption unit 8377 of the receiver restores the edit ID “100201305011200” by decrypting the encrypted edit ID “ei39ks”.
  • the validity determination unit 8378 extracts the ID “100” from the restored edit ID “100201305011200”. In other words, the validity determination unit 8378 acquires the ID “100” by deleting the last 12 digits of the edit ID. Further, the validity determination unit 8378 extracts the transmission date and time “201305011200” from the restored editing ID “100201305011200”. If the transmission date and time “201305011200” is older than the current date and time output from the timing unit 8379 and the difference between the transmission date and time and the current date and time is within 10 minutes, for example, the validity determination unit 8378 has the ID “100 Is determined to be valid.
  • the ID storage unit 8371 stores the ID “100”, and the timing unit 8372 outputs the current date and time “201401101730” (January 1, 2014, 17:30) as the transmission date (Example 2).
  • the adding unit 8373 generates and outputs the edit ID “100201401101730” by combining the transmission date and time “201401101730” with the ID “100”.
  • the encryption unit 8374 generates the encrypted edit ID “002jflk” by encrypting the edit ID “100201401411730”.
  • the decryption unit 8377 of the receiver restores the edit ID “100201401101730” by decrypting the encrypted edit ID “002jflk”.
  • the validity determination unit 8378 extracts the ID “100” from the restored editing ID “1002014014101730”. In other words, the validity determination unit 8378 acquires the ID “100” by deleting the last 12 digits of the edit ID. Further, the validity determination unit 8378 extracts the transmission date and time “201401101730” from the restored editing ID “100201401101730”. Then, the validity determination unit 8378 determines that the ID “100” is invalid if the transmission date and time “201401101730” is newer than the current date and time output from the time measuring unit 8379.
  • the transmitter encrypts a combination of the current date and time that is changed at regular intervals without simply encrypting the ID, so that the ID can be easily obtained from the signal transmitted from the transmission unit 8375. It can be prevented from being deciphered.
  • a simple encrypted ID is transmitted from the transmitter to the receiver several times, even if the ID is encrypted, if the ID is the same, the transmitter to the receiver. Since the transmitted signal is the same, the ID may be deciphered.
  • the current date and time that are changed at regular intervals are combined with the ID, and the ID that is combined with the current date and time is encrypted. Therefore, even when the same ID is transmitted to the receiver several times, the signals transmitted from the transmitter to the receiver can be made different if the transmission timings of these IDs are different. As a result, it is possible to prevent the ID from being easily decoded.
  • the validity of the ID is managed based on the transmission and reception time. be able to.
  • the receiver shown in FIG. 129 and FIG. 130 may acquire the encrypted edit ID, transmit the encrypted edit ID to the server, and acquire the ID from the server.
  • FIG. 131 shows an example of a usage form of the present invention in a train platform.
  • the user holds the portable terminal over an electronic bulletin board or lighting, and obtains information displayed on the electronic bulletin board, train information of a station where the electronic bulletin board is installed, information on the premises of the station, or the like by visible light communication.
  • the information itself displayed on the electronic bulletin board may be transmitted to the portable terminal by visible light communication, or ID information corresponding to the electronic bulletin board is transmitted to the portable terminal, and the ID information acquired by the portable terminal
  • the information displayed on the electronic bulletin board may be acquired by inquiring the server.
  • the server transmits the content displayed on the electronic bulletin board to the mobile terminal based on the ID information.
  • the train ticket information stored in the memory of the mobile terminal is compared with the information displayed on the electronic bulletin board, and the ticket information corresponding to the user's ticket is displayed on the electronic bulletin board.
  • An arrow indicating the destination to the home where the user's scheduled train arrives is displayed on the display.
  • the route to the vehicle near the exit or the transfer route may be displayed. If a seat has been designated, the route to that seat may be displayed.
  • the arrow is displayed, it can be displayed more easily by displaying the arrow using the same color as the color of the train route in the map or the train guide information.
  • the user's reservation information (home number, vehicle number, departure time, seat number) can also be displayed. By displaying the user reservation information together, it is possible to prevent erroneous recognition.
  • the ticket information is stored in the server, query the server from the mobile terminal to obtain and compare the ticket information, or compare the ticket information with the information displayed on the electronic bulletin board on the server side.
  • the target route may be estimated from the history of the user performing a transfer search, and the route may be displayed. Further, not only the contents displayed on the electronic bulletin board but also the train information / premises information of the station where the electronic bulletin board is installed may be acquired and compared.
  • Information related to the user may be highlighted with respect to the display of the electronic bulletin board on the display, or may be rewritten and displayed.
  • an arrow for guiding to the boarding place on each route may be displayed.
  • an arrow for guiding to a store or restroom may be displayed on the display.
  • the user's behavior characteristics may be managed in advance by a server, and an arrow for guiding the user to a store / restroom may be displayed on the display when the user often stops at a store / restaurant in the station.
  • FIG. 132 shows an example in the case where information is acquired by visible light communication from an electronic guidance display board installed in an airport, a station premises, a sightseeing spot, a hospital, or the like.
  • Information on the display content is acquired from the electronic guidance display board by visible light communication, the display content information is translated into language information set in the mobile terminal, and then displayed on the display of the mobile terminal. Since it is translated into the user's language and displayed, the user can easily understand the information.
  • Language translation may be performed in the mobile terminal or in the server.
  • the display content information acquired by visible light communication and the language information of the portable terminal are transmitted to the server, the translation is performed in the server, the transmitted to the portable terminal, and the display on the portable terminal May be displayed.
  • the structure which transmits ID information to a server and acquires the display content information corresponding to ID information from a server may be sufficient. Furthermore, based on nationality information, ticket information, and baggage deposit information stored in the mobile terminal, an arrow that guides the user to the next place may be displayed.
  • FIG. 133 shows an example in which coupon information acquired by visible light communication is displayed or a popup is displayed on the display of the mobile terminal when the user approaches the store.
  • a user acquires coupon information of a store from an electronic bulletin board etc. by visible light communication using a portable terminal.
  • the coupon information of the store or a pop-up is displayed.
  • Whether or not the user has entered the predetermined range from the store is determined using the GPS information of the mobile terminal and the store information included in the coupon information. Not only coupon information but also ticket information may be used. Since it automatically alerts when a store where coupons and tickets can be used approaches, the user can use coupons and tickets appropriately.
  • FIG. 134 shows an example in which coupon information / ticket information or a pop-up is displayed on the display of the portable terminal at a cash register or a ticket gate.
  • Display is performed when position information is acquired from visible light communication from lighting installed in a cash register or ticket gate, and the acquired position information matches information included in coupon information / ticket information.
  • the barcode reader may have a light emitting unit, and the position information may be acquired by performing visible light communication with the light emitting unit, or the position information may be acquired from the GPS of the mobile terminal.
  • a transmitter is installed near the cash register, and the user may hold the receiver over the transmitter to display coupons and payment information on the display of the receiver, or the receiver communicates with the server. Payment processing may be performed.
  • the coupon information / ticket information includes Wi-Fi information installed in a store or the like
  • the user's mobile terminal acquires the same information as the Wi-Fi information included in the coupon information / ticket information.
  • display may be performed.
  • FIG. 135 illustrates an example in which a user acquires information from a home appliance by visible light communication using a mobile terminal.
  • ID information or information related to the home appliance is acquired from the home appliance by visible light communication
  • an application for operating the home appliance is automatically started.
  • FIG. 135 shows an example using a television. With such a configuration, it is possible to start an application for operating a home appliance simply by holding the portable terminal over the home appliance.
  • FIG. 136 shows an example in which data communication for visible light communication is stopped near the barcode reader 8405a when the barcode reader 8405a reads a barcode of a product.
  • the barcode reader 8405a transmits a transmission stop signal to the visible light signal transmitter 8405b when the barcode reading button is pressed.
  • a predetermined signal is transmitted.
  • a transmission resumption signal is transmitted to the visible light signal transmitter 8405b.
  • the transmission stop signal and the transmission restart signal are performed by wired / wireless communication, infrared communication, or sound wave communication.
  • the barcode reader 8405a transmits a transmission stop signal when it is estimated that the barcode reader 8405a is moved from the measurement value of the acceleration sensor provided in the barcode reader 8405a, and the barcode reader 8405a is not moved for a predetermined time.
  • a transmission resumption signal may be transmitted when estimated.
  • the barcode reader 8405a transmits a transmission stop signal when it is estimated that the barcode reader 8405a is grasped from the measured value of the electrostatic sensor or the illuminance sensor provided in the barcode reader 8405a, and when it is estimated that the hand is released.
  • a transmission resumption signal may be transmitted.
  • the barcode reader 8405a detects that the barcode reader 8405a has been lifted because the switch provided on the grounding surface of the barcode reader 8405a is released from the pressed state, and transmits a transmission stop signal. It may be detected that the barcode reader 8405a has been placed because it is pressed, and a transmission resumption signal may be transmitted.
  • the bar code reader 8405a detects that the bar code reader 8405a has been lifted from the measured values of the bar code reader storage switch and the infrared sensor, transmits a transmission stop signal, and detects that the bar code reader 8405a has been returned. Then, a transmission resumption signal may be transmitted.
  • the cash register 8405c may transmit a transmission stop signal when the operation is started, and may transmit a transmission restart signal when the settlement operation is performed.
  • the transmitter 8405b configured as illumination stops signal transmission when receiving a transmission stop signal, and operates so that a ripple (luminance change) of 100 Hz to 100 kHz becomes small.
  • signal transmission is continued by reducing the luminance change of the signal pattern.
  • the carrier period is set longer than the barcode reading time of the barcode reader 8405a, or the carrier period is set shorter than the exposure time of the barcode reader 8405a. Thereby, malfunction of the barcode reader 8405a can be prevented.
  • the transmitter 8406b configured as illumination detects that there is a person in the vicinity of the barcode reader 8406a with a human sensor or a camera, and stops signal transmission.
  • the transmitter 8405b performs the same operation as when a transmission stop signal is received.
  • the transmitter 8406b resumes signal transmission when detecting that there is no person in the vicinity of the barcode reader 8406a.
  • the transmitter 8406b may detect an operation sound of the barcode reader 8406a and stop signal transmission for a predetermined time.
  • FIG. 138 shows an example of a usage form of the present invention.
  • the transmitter 8407a configured as a personal computer transmits a visible light signal through a display device such as an installed display, a connected display, or a projector.
  • the transmitter 8407a transmits the URL of the website displayed by the browser, information on the clipboard, and information determined by the application having the focus. For example, coupon information acquired on a website is transmitted.
  • FIG. 139 shows an example of the configuration of a database held by a server that manages IDs transmitted by a transmitter.
  • the database has an ID-data table that holds data to be passed in response to an inquiry using the ID as a key, and an access log table that stores a record of the inquiry using the ID as a key.
  • ID-data table the ID sent by the transmitter, the data passed in response to an inquiry using the ID as a key, the conditions for passing the data, the number of times the access was made using the ID as a key, and the data are passed after clearing the conditions. Have the number of times.
  • the conditions for passing data include the date and time, the number of accesses, the number of successful accesses, the information of the terminal of the inquiry source (terminal model, the application that made the inquiry, the current location of the terminal, etc.), and the user information of the inquiry source ( Age, gender, occupation, nationality, language, religion, etc.).
  • a service method such as “1 yen per access, but 100 yen as the upper limit and no data returned thereafter” becomes possible.
  • ID the log table clears the ID, requested user ID, time, other incidental information, whether or not the data is passed, and the passed data Record the contents of.
  • FIG. 140 shows an example of a gesture operation for starting reception by this communication method.
  • the user pushes out a receiver configured as a smartphone, for example, and starts reception by an operation of rotating the wrist left and right.
  • the receiver detects this operation from the measurement value of the 9-axis sensor and starts reception.
  • the receiver may start reception when detecting at least one of these operations.
  • the operation of projecting the receiver has an effect that the transmitter is closer to the transmitter, so that the transmitter is imaged larger, and the reception speed and accuracy are improved.
  • the operation of rotating the wrist to the left and right has the effect of changing the angle of the receiver to eliminate the angle dependency of this method and enable stable reception.
  • This operation may be performed only when the home screen is in the foreground. Thereby, it is possible to prevent this communication from being performed against the user's intention while using another application.
  • the image sensor may be activated when detecting the movement of the receiver protruding, and the reception may be stopped if there is no movement of the wrist to the left or right. Since activation of the image sensor takes approximately several hundred milliseconds to 2 seconds, this can further improve the responsiveness.
  • FIG. 141 shows an example of the transmitter of the present invention.
  • the signal control unit 8410g controls the transmission state of the transmitter 8410a (the content of the signal to be transmitted, the presence / absence of transmission, the intensity of luminance change used for transmission, etc.).
  • the signal control unit 8410g sends the control content of the transmitter 8410a to the power distribution control unit 8410f.
  • the distribution control unit 8410f changes the voltage, current, and frequency supplied to the power supply unit 8410b of the transmitter 8410a, thereby transmitting the control contents in the form of the magnitude of change and the time of change.
  • the luminance control unit 8410d receives the content transmitted by the power distribution control unit 8410f in consideration of conversion by the power supply unit 8410b, and changes the luminance change pattern of the light emitting unit.
  • FIG. 142 is a diagram for explaining one of the visible light communication image encoding methods.
  • This coding method has the advantage that the ratio of white and black is approximately the same, so that the average luminance of the normal phase image and the reverse phase image is approximately the same, and it is difficult for humans to feel flicker.
  • FIG. 143 is a diagram for explaining one of the encoding methods of the visible light communication image.
  • the image 1001a is an image in which white and black lines are displayed with a uniform width.
  • this image 1001a is imaged obliquely, in the image 1001b obtained by the imaging, the left line appears thin and the right line appears thick.
  • the image 1001a is projected onto a curved surface, lines with different thicknesses appear in the image 1001i obtained by the imaging.
  • the visible light communication image 1001c includes, from the left, a white line, a black line that is three times as thick as the white line, and a white line that is one-third the thickness of the black line.
  • the preamble is encoded as an image in which a line three times as thick as the left adjacent line and a line one third as thick as the left adjacent line are continued.
  • a line having the same thickness as the left adjacent line is encoded as “0”.
  • a line that is twice as thick as the left adjacent line or half as thick as the left adjacent line is encoded as “1”.
  • the encoding target line is encoded as “1”.
  • a signal including “0101010001011” following the preamble is represented by an image such as a visible light communication image 1001h.
  • the line having the same thickness as the left adjacent line is encoded as “0”
  • the line having a different thickness from the left adjacent line is encoded as “1”
  • the line having the same thickness as the left adjacent line is encoded. May be encoded as “1”
  • a line having a different thickness from the left adjacent line may be encoded as “0”.
  • the comparison with the left adjacent line may be performed. That is, “1” and “0” may be encoded depending on whether the thickness of the encoding target line is the same as or different from the thickness of the line on the right. In this way, on the transmitter side, “0” is encoded by using a color different from that of the encoding target line and by making the thickness of the adjacent line and the encoding target line the same. By doing so, “1” is encoded.
  • the receiver side captures a visible light communication image, and detects the thickness of a white or black line in the captured visible light communication image.
  • the color is different from the line to be decoded, and the thickness of the line adjacent to the line to be decoded (left adjacent or right adjacent) is compared with the thickness of the line to be decoded.
  • the decoding target line is decoded as “0”, and when the thicknesses are different, the decoding target line is decoded as “1”. It may be decoded as “1” when the thickness is the same, and as “0” when the thickness is different. Based on the 1 and 0 data strings that have been decoded, the data is finally decoded.
  • This encoding method uses a local line thickness relationship. As seen in the image 1001b and the image 1001i, the ratio of the thicknesses of the neighboring lines does not change greatly. Therefore, even if the image is taken from an oblique direction or projected onto a curved surface, it is created by this encoding method. Visible light communication images can be correctly decoded.
  • This coding method has the advantage that the ratio of white and black is approximately the same, so that the average luminance of the normal phase image and the reverse phase image is approximately the same, and it is difficult for humans to feel flicker.
  • this encoding method is not different between black and white, there is an advantage that it can be decoded by the same algorithm for any visible light communication image of a normal phase signal and a reverse phase signal.
  • the visible light communication image 1001j is a combination of a four-times-thick line on the left and a quarter line on the left. In this way, there are many unique patterns such as “5x and 1/5 next to the left” and “3x and 2/3 next to the left”. It can be defined.
  • a visible light communication image can represent a single piece of data, but visible light can be used as a cancel signal to indicate that some of the data received so far has become invalid because the data to be transmitted has been changed. It is conceivable to use the communication image 1001j.
  • the color is not limited to white and black, and any color may be used as long as it is different. For example, complementary colors may be used.
  • the white portion of the visible light communication image created by the encoding method of FIG. 143 is represented by the image of (a-1) in FIG. 144, and the black portion is represented by the image of (a-2) of FIG. 144.
  • This visible light communication image represents a signal A encoded by the encoding method of FIG. 143 and a signal B encoded by (a-1) and (a-2) of FIG. 144.
  • the nearby receiver 1003b captures the visible light communication image 1003a
  • a fine image 1003d is obtained, and both the signal A and the signal B can be received.
  • the remote receiver 1003c captures the visible light communication image 1003a, a small image 1003e is obtained.
  • the detailed part cannot be confirmed, and the part (a-1) in FIG. 144 is white and the part (a-2) in FIG. 144 is black. Therefore, only the signal A can be received. . Thereby, as the distance between the visible light communication image and the receiver is shorter, more information can be transmitted.
  • a method for encoding the signal B a combination of (b-1) and (b-2) in FIG. 144 or a combination of (c-1) and (c-2) in FIG. 144 may be used.
  • the signal A can represent basic and important information
  • the signal B can represent additional information.
  • the receiver transmits the signals A and B as ID information to the server and the server transmits information corresponding to the ID information to the receiver
  • the information transmitted by the server may be changed depending on the presence or absence of the signal B. It becomes possible.
  • FIG. 146 is a diagram for explaining one of the coding methods of the visible light communication image.
  • the signal 1005a to be transmitted is divided into a plurality of data pieces 1005b, 1005c, and 1005d.
  • An address indicating the position of the data piece is added to each data piece, and further, a preamble, an error detection / correction code, a frame type description, and the like are added to form frame data 1005e, 1005f, and 1005g.
  • Visible light communication images 1005h, 1005i, and 1005j are generated by encoding the frame data and displayed. When the display area is sufficiently large, a visible light communication image 1005k obtained by connecting a plurality of visible light communication images is displayed.
  • a visible light communication signal image is normally displayed and only displayed.
  • a fixed light source is turned on, and a solid-state light source is turned off during other periods, thereby realizing a wide range of display devices, for example, projectors using DMD, projectors using liquid crystals such as LCOS, Of course, display devices using MEMS can be applied.
  • display devices using MEMS can be applied.
  • a display device that divides and displays an image display into subframes for example, a display device that does not use a light source such as a backlight such as a PDP or an EL, some subframes are converted into visible light communication images. Adaptation is possible by replacing.
  • a solid light source a semiconductor laser, an LED light source, etc. can be considered.
  • FIG. 147 and FIG. 148 are diagrams for explaining one of the visible light communication image encoding methods.
  • the transmitter inserts a black image between the video and the visible light communication image (normal phase image).
  • An image obtained by capturing the image with the receiver is as shown in (1006b) of FIG. Since it is easy for the receiver to search for a portion where the line of simultaneously exposed pixels is black, the position where the visible light communication image is captured is easily set as the position of the pixel exposed at the next timing. Can be specified.
  • the transmitter displays a visible light communication image (normal phase image), and then displays a reverse running visible light communication image with black and white reversed.
  • the receiver obtains a signal-to-noise ratio that is twice that obtained when only the normal phase image is used by obtaining the difference between the pixel values of the normal phase image and the reverse phase image.
  • the luminance difference between black and white can be halved, and flickering when viewed by humans can be suppressed.
  • the moving average of the expected value of the difference in luminance between the video and the visible light communication image is canceled for the normal phase image and the reverse phase image. Since the time resolution of human vision is about 1/60 second, it is possible to make humans feel that no visible light communication image is displayed by setting the time for displaying a visible light communication image to be less than this. .
  • the transmitter may further insert a black image between the normal phase image and the reverse phase image.
  • an image shown in (1006d) in FIG. 147 is obtained by imaging by the receiver.
  • pixel values may be averaged at the boundary portion. Such an issue does not occur in the image shown in FIG.
  • FIG. 149 is a diagram illustrating one method for encoding a visible light communication image.
  • FIG. 150 is a diagram illustrating one operation of the transmitter.
  • the transmitter 8500a superimposes and displays on the image to be projected or displayed that it is compatible with visible light communication. This display is displayed only for a predetermined time after starting the transmitter 8500a, for example.
  • the transmitter 8500a transmits to the connected device 8500c that it is compatible with visible light communication.
  • the device 8500c displays that the transmitter 8500a is compatible with visible light communication.
  • the display of the device 8500c displays that the transmitter 8500a is compatible with visible light communication.
  • the device 8500c transmits data for visible light communication to the transmitter 8500a.
  • the indication that the transmitter 8500a is compatible with visible light communication may be displayed when the device 8500c is connected to the transmitter 8500a, or the device 8500c may transmit visible light communication to the transmitter 8500a. It may be displayed when data is transmitted.
  • the transmitter 8500a acquires identification information indicating visible light communication from the data, and the identification information is included in the data. If it is included, it may be displayed that the transmitter 8500a is compatible with visible light communication.
  • the transmitter (illumination, projector, video display device) is compatible with visible light communication or whether it is compatible or not.
  • the user can easily grasp whether the transmitter is compatible with visible light communication. Therefore, it is possible to prevent a malfunction that the visible light communication cannot be performed even though the data for visible light communication is transmitted from the device to the transmitter.
  • FIG. 151 is a diagram illustrating one application example of visible light communication.
  • the transmitter 8501a receives video data and signal data from the device 8501c and displays a visible light communication image 8501b.
  • the receiver 8501d captures the visible light communication image 8501b and receives a signal included in the visible light communication image.
  • the receiver 8501d communicates with the device 8501c from information (address, password, etc.) included in the received signal, and the video itself displayed by the transmitter 8501a and its accompanying information (video ID, URL, password, SSID, Translation data, voice data, hash tags, product information, purchase information, coupons, vacancy information, etc.).
  • the device 8501c may transmit the transmission status to the transmitter 8501a to the server 8501e, and the receiver 8501d may obtain the information from the server 8501e.
  • FIG. 152 is a diagram illustrating one format of visible light communication data.
  • 152A has a video address table indicating the position of the video data in the storage area and a position address table indicating the position of the signal data transmitted by visible light communication.
  • a video display device that does not support visible light communication
  • only the video address table is referred to. Therefore, even if a signal address table and signal data are included in the input, video display is not affected. Thereby, the backward compatibility with respect to the video display apparatus which does not support visible light communication is maintained.
  • an identifier indicating that the following data is video data is arranged in front of the video data, and an identifier indicating that the subsequent data is signal data is included in the signal data. Arranged in front. By using the identifier, it is inserted into the data only when there is video data or signal data, so that the entire code amount can be reduced. Also, identification information indicating whether it is video data or signal data may be arranged. Further, the program information may include identification information indicating whether or not data for visible light communication is included. By including identification information indicating whether or not data for visible light communication is included in the program information, the user can determine whether or not visible light communication is possible when searching for a program.
  • the program information may include an identifier indicating that data for visible light communication is included. Furthermore, by adding an identifier / identification information for each data, it is possible to switch processing such as switching of luminance for each data and switching of super-resolution, thereby reducing the error rate during visible light communication. It becomes possible.
  • the data format shown in (a) of FIG. 152 is suitable for a situation in which data is read from a storage medium such as an optical disk, and the data format shown in (b) of FIG. 152 is suitable for streaming data such as television broadcasting.
  • the signal data includes the value of the signal transmitted by visible light communication, the transmission start time, the transmission end time, the location used for transmission on the display or projection surface, the brightness of the visible light communication image, the bar of the visible light communication image. Contains information such as code orientation.
  • FIG. 153 and FIG. 154 are diagrams illustrating one application example of visible light communication.
  • a transmitter 8503a configured as a projector projects a distance measurement image in addition to a video and a visible light communication image.
  • the dot pattern shown in the distance measurement image is a dot pattern in which the positional relationship between a predetermined number of dots in the vicinity of an arbitrary dot is different from the positional relationship between other arbitrary combinations of dots.
  • the receiver can identify a local dot pattern by capturing an image for distance measurement, and can estimate the three-dimensional shape of the projection plane 8503b.
  • the receiver restores the visible light communication image distorted by the three-dimensional shape of the projection surface to a flat image and receives a signal. Note that the distance measurement image and the visible light communication image may be projected with infrared rays that cannot be perceived by humans.
  • a transmitter 8504a configured as a projector includes an infrared projection device 8504b that projects a distance measurement image using infrared rays.
  • the receiver estimates the three-dimensional shape of the projection plane 8504c from the distance measurement image, restores the distortion of the visible light communication image, and receives the signal.
  • the transmitter 8504a may project an image with visible light and project a visible light communication image with infrared light.
  • the infrared projector 8504b may project the visible light communication image with infrared rays.
  • FIG. 155 and FIG. 156 are diagrams illustrating one method for displaying a visible light communication image.
  • visible light communication images 8505a to 8505f can be displayed as shown in FIG. 155 to enable reception from a wide angle. Become. By displaying the visible light communication images 8505a and 8505b, it is possible to receive from a wide angle in the horizontal direction. By combining the visible light communication images 8505a and 8505b, reception is possible even when the receiver is tilted.
  • the visible light communication image 8505a and the visible light communication image 8505b may be displayed alternately, or the visible light communication image 8505f that is an image obtained by combining these images may be displayed.
  • the visible light communication image 8505c and the visible light communication image 8505d it becomes possible to receive from a wide angle in the vertical direction.
  • the visible light communication image segment may be expressed by providing a portion that is projected with an intermediate color or a portion that is not projected.
  • the visible light communication images 8505a to 8505f it is possible to receive from a wider angle.
  • the visible light communication image is displayed on the cylindrical display surface.
  • the visible light communication image may be displayed on the cylindrical display surface.
  • visible light communication images 8506a to 8506d can be displayed as shown in FIG. 156 to enable reception from a wide angle.
  • the visible light communication image 8506a since the receivable area in the horizontal direction is wide but the receivable area in the vertical direction is narrow, the visible light communication image 8506a is displayed in combination with the visible light communication image 8506b having the opposite property.
  • the visible light communication image 8506a and the visible light communication image 8506b may be displayed alternately, or the visible light communication image 8506c, which is an image obtained by combining these images, may be displayed.
  • the portion where the barcode is concentrated such as the upper portion of the visible light communication image 8506a, is finely displayed, and there is a high possibility of receiving a signal in error. Therefore, a reception error can be prevented by displaying this portion in an intermediate color as in the visible light communication image 8506d or by projecting nothing.
  • FIG. 157 is a diagram illustrating an example of operation of a transmitter and a receiver in Embodiment 5.
  • the receiver 8420a receives zone information from the base station 8420h, recognizes in which zone it is located, and selects a reception protocol.
  • the base station 8420h is configured as, for example, a mobile phone communication base station, a Wi-Fi access point, an IMES transmitter, a speaker, or a wireless transmitter (Bluetooth (registered trademark), ZigBee, specific low power wireless station, etc.).
  • the receiver 8420a may specify a zone based on position information obtained from GPS or the like. As an example, it is assumed that communication is performed at a signal frequency of 9.6 kHz in zone A, and communication is performed at a signal frequency of 15 kHz for ceiling lighting and signage of 4.8 kHz in zone B.
  • the receiver 8420a recognizes that the current location is zone A from the information of the base station 8420h, performs reception at a signal frequency of 9.6 kHz, and receives signals transmitted from the transmitters 8420b and 8420c.
  • the receiver 8420a recognizes that the current location is zone B from the information of the base station 8420i at the position 8420l, and is further trying to receive a signal from the ceiling lighting because the in-camera is directed upward. Is received at a signal frequency of 15 kHz, and signals transmitted by the transmitters 8420e and 8420f are received.
  • the receiver 8420a recognizes that the current location is the zone B from above the base station 8420i, and further estimates that it is trying to receive a signal transmitted by the signage from the movement of the out camera. Receive at a signal frequency of .8 kHz and receive the signal transmitted by transmitter 8420g. The receiver 8420a receives the signals of both the base station 8420h and the base station 8420i at the position 8420k, and cannot determine whether the current location is the zone A or the zone B. Therefore, the reception process is performed at both 9.6 kHz and 15 kHz. I do.
  • the part where the protocol differs depending on the zone is not limited to the frequency, but may be the server that inquires about the modulation method, signal format, and ID of the transmission signal.
  • the base stations 8420h and 8420i may transmit the protocol in the zone to the receiver, or may transmit only the ID indicating the zone, and the receiver may acquire the protocol information from the server using the zone ID as a key. Good.
  • the transmitters 8420b to 8420f receive the zone ID and protocol information transmitted by the base stations 8420h and 8420i, and determine the signal transmission protocol.
  • a transmitter 8420d capable of receiving signals transmitted by both base station 8420h and base station 8420i utilizes a base station zone protocol with stronger signal strength, or alternately uses both protocols.
  • FIG. 158 is a diagram illustrating an example of operation of a receiver and a transmitter in Embodiment 5.
  • the receiver 8421a recognizes the zone to which it belongs from the received signal.
  • the receiver 8421a provides services (coupon distribution, point assignment, route guidance, etc.) determined for each zone.
  • the receiver 8421a receives a signal transmitted from the left side of the transmitter 8421b and recognizes that it is in the zone A.
  • the transmitter 8421b may transmit different signals depending on the transmission direction.
  • the transmitter 8421b may transmit a signal such that a different signal is received according to the distance to the receiver by using a signal having a light emission pattern such as 2217a.
  • the receiver 8421a may recognize the positional relationship with the transmitter 8421b from the direction and size in which the transmitter 8421b is imaged, and may recognize the zone in which the receiver 8421a is located.
  • a part of the signal indicating that it is located in the same zone may be shared. For example, IDs representing zone A transmitted from the transmitter 8421b and the transmitter 8421c are common to the first half. Accordingly, the receiver 8421a can recognize the zone where the receiver 8421a is located only by receiving the first half of the signal.
  • the information communication method in the present embodiment is an information communication method for transmitting a signal by a luminance change, and a determination step for determining a plurality of luminance change patterns by modulating each of a plurality of transmission target signals;
  • Each of the plurality of light emitters changes a luminance according to any one of the determined plurality of luminance change patterns, thereby transmitting a transmission target signal corresponding to any one of the patterns.
  • a transmission step wherein two or more of the plurality of light emitters each have two types of brightness different from each other for each time unit predetermined for the light emitter.
  • the time unit predetermined for each of the two or more light emitters is set so that either one of the two lights is output. Differently, luminance changes at different frequencies to.
  • each of two or more light emitters changes in luminance at a different frequency.
  • a receiver that receives signals to be transmitted can easily distinguish and acquire the signals to be transmitted.
  • each of the plurality of light emitters changes in luminance at any one of at least four frequencies, and two or more light emitters of the plurality of light emitters are:
  • the luminance may be changed at the same frequency.
  • the transmitting step when the plurality of light emitters are projected onto a light receiving surface of an image sensor for receiving the plurality of transmission target signals, all the light emitters adjacent to each other on the light receiving surface.
  • Each of the plurality of light emitters changes in luminance so that the frequency of the luminance change differs between them.
  • the luminance changes between all the light emitters adjacent to each other on the light receiving surface of the image sensor based on the four-color problem or the four-color theorem. It is possible to reliably vary the frequency of the. As a result, the receiver can easily distinguish and acquire each of the transmission target signals transmitted from the plurality of light emitters.
  • each of the plurality of light emitters may transmit the signal to be transmitted by changing in luminance at a frequency specified by a hash value of the signal to be transmitted.
  • each of the plurality of light emitters changes in luminance at a frequency specified by the hash value of the signal to be transmitted (for example, the ID of the light emitter).
  • the machine can determine whether the frequency specified from the actual luminance change matches the frequency specified by the hash value. That is, the receiver can determine whether or not there is an error in the received signal (for example, the ID of the light emitter).
  • the information communication method may further calculate a frequency corresponding to the transmission target signal as a first frequency from the transmission target signal stored in the signal storage unit according to a predetermined function.
  • a calculation step; a frequency determination step for determining whether or not the second frequency stored in the frequency storage unit matches the calculated first frequency; and the first frequency and the second frequency A frequency error notification step of notifying an error when it is determined that the frequency does not match, and a determination step when it is determined that the first frequency and the second frequency match.
  • a luminance change pattern is determined by modulating the transmission target signal stored in the signal storage unit, and in the transmission step, the plurality of light emitters are detected. Of any one of the light emitters according to the determined the pattern, by changing the luminance in the first frequency may transmit a signal of the transmission target stored in the signal storage unit.
  • the frequency stored in the frequency storage unit and the frequency calculated from the signal to be transmitted stored in the signal storage unit are It is determined whether or not they match, and when it is determined that they do not match, an error is notified, so that it is possible to easily detect abnormality of the signal transmission function by the light emitter.
  • the information communication method further includes a check value calculation step of calculating a first check value from a transmission target signal stored in the signal storage unit according to a predetermined function, and a check value storage unit.
  • a check value determination step for determining whether or not the stored second check value matches the calculated first check value; and the first check value and the second check value.
  • a check value error notification step of notifying an error when it is determined that they do not match, and a determination step when it is determined that the first check value and the second check value match
  • a luminance change pattern is determined by modulating the signal to be transmitted stored in the signal storage unit.
  • the plurality of light emitters are determined. Any one of the emitters of blood, by changing luminance in accordance with the determined the pattern, may transmit a signal of the transmission target stored in the signal storage unit.
  • the information communication method is an information communication method for acquiring information from a subject, and corresponds to a plurality of exposure lines included in the image sensor in an image obtained by photographing the subject by an image sensor.
  • An exposure time setting step for setting an exposure time of the image sensor so that a plurality of bright lines are generated according to a change in luminance of the subject, and the exposure time set for the subject whose luminance is changed by the image sensor.
  • a frequency specifying step of specifying the frequency of the luminance change of the subject For example, in the frequency specifying step, a plurality of header patterns, which are a plurality of predetermined patterns for indicating a header, are included in the plurality of bright line patterns, and the number of pixels between the plurality of header patterns is determined. Is determined as the frequency of luminance change of the subject.
  • the bright line image including a plurality of patterns each represented by a plurality of bright lines is acquired by photographing a plurality of subjects each changing in luminance, and the information acquisition step acquires the bright line image.
  • the plurality of patterns Information may be acquired from each of the patterns.
  • a plurality of bright line images are acquired by photographing the plurality of subjects a plurality of times at mutually different timings, and in the frequency specifying step, the bright line images are included in the bright line image.
  • a frequency for each of a plurality of patterns is specified, and in the information acquisition step, a plurality of patterns in which the same frequency is specified is searched from a plurality of previous bright line images, and the searched plurality of patterns are combined and combined.
  • the information may be obtained by demodulating data specified by the plurality of patterns.
  • a plurality of patterns in which the same frequency is specified are searched from a plurality of emission line images, the plurality of searched patterns are combined, and information is acquired from the combined patterns. Therefore, even when a plurality of subjects are moving, information from the plurality of subjects can be easily distinguished and acquired.
  • the information communication method may further include: identifying information on the subject included in the information acquired in the information acquisition step; and the frequency specification for a server in which frequencies are registered for each of the identification information.
  • the identification information (ID) acquired based on the luminance change of the subject (transmitter) and the related information associated with the frequency of the luminance change are acquired. Is done. Therefore, by changing the frequency of the luminance change of the subject and updating the frequency registered in the server to the frequency after the change, the receiver that acquired the identification information before the frequency change acquires the related information from the server. Can be prevented. That is, by changing the frequency registered in the server in accordance with the change in the luminance change frequency of the subject, the receiver that has acquired the subject identification information in the past can acquire the related information from the server indefinitely. It can prevent becoming a state.
  • the information communication method is further acquired in the identification information acquisition step of acquiring the identification information of the subject by extracting a part from the information acquired in the information acquisition step, and in the information acquisition step.
  • a setting frequency specifying step of specifying a number indicated by the remaining part other than the part of the information as a setting frequency of the luminance change set for the subject may be included.
  • the information obtained from the plurality of bright line patterns does not depend on the identification information of the subject and the set frequency of the luminance change set on the subject. Since it can be included, the degree of freedom between the identification information and the set frequency can be increased.
  • FIG. 159 is a diagram illustrating an example of a transmission signal according to the sixth embodiment.
  • a frame check sequence FCS2 for error detection / correction calculated from the original data and a header Hdr2 are added.
  • Data composed of Hdr, Dx, and FCS is configured to be received by the image sensor. Since the image sensor is suitable for receiving continuous data in a short time, Hdr, Dx, and FCS transmit continuously.
  • the data consisting of Hdr2, Dx, FCS2 is a configuration for receiving by the illuminance sensor.
  • the Hdr and FCS received by the image sensor can be short, the Hdr2 and FCS2 received by the illuminance sensor can be longer signal sequences. By using a long signal sequence for Hdr2, header detection accuracy can be increased. By making FCS2 longer, a code that can detect and correct many bit errors can be adopted, and the performance of error detection and correction can be improved. Note that Hdr2 and FCS2 may not be transmitted, and instead Hdr and FCS may be received by the illuminance sensor. The illuminance sensor may receive both Hdr and Hdr2, or both FCS and FCS2.
  • FIG. 160 is a diagram illustrating an example of a transmission signal according to the sixth embodiment.
  • FCS2 has a long signal length, and if it is frequently inserted, the reception efficiency of the image sensor deteriorates. Therefore, the insertion frequency of FCS2 is reduced, and a signal PoFCS2 indicating the location of FCS2 is inserted instead.
  • a signal PoFCS2 indicating the location of FCS2 is inserted instead.
  • 4PPM with 2 bits of information per unit time is used for signal representation
  • CRC32 is used for FCS2
  • 16 units of transmission time are required, but PoFCS2 with a range of 0 to 3 is 1 unit time Can be sent. Since the transmission time is shortened compared with the case where only the FCS 2 is inserted, the efficiency of image sensor reception can be improved.
  • the illuminance sensor receives PoFCS2 following the transmission signal D, specifies the transmission time of FCS2 from PoFCS2, and receives FCS2. Further, the PoFCS2 following the FCS2 is received, the transmission time of the next FCS2 is specified, and the next FCS2 is received. If the FCS2 received earlier and the FCS2 received later are the same, it is estimated that the receiver is receiving the same signal.
  • 161A to 161C are diagrams each illustrating an example of a captured image (bright line image) of the receiver in the sixth embodiment.
  • the captured image illustrated in FIG. 161B is an image captured using zoom and has a large number of bright lines because the captured image is large. Therefore, if imaging is performed using the zoom, a large amount of data can be received at one time. In addition, it can receive data from a distance and can receive signals from small transmitters.
  • a zoom method optical zoom or Ex zoom is used.
  • Optical zoom is zooming by increasing the focal length of a lens.
  • Ex zoom is a zoom method that enlarges a part of a captured image by capturing an image using only a part rather than the entire image sensor when the image is captured at a resolution lower than the capability of the image sensor.
  • the captured image illustrated in FIG. 161C is an image captured using electronic zoom (image enlargement). Although the image becomes larger, the bright line becomes thicker when enlarged by electronic zoom, and the number of bright lines is the same as before zooming, so the reception characteristics are the same as before zooming.
  • 162A and 162B are diagrams illustrating an example of a captured image (bright line image) of the receiver in Embodiment 6.
  • FIG. 162A and 162B are diagrams illustrating an example of a captured image (bright line image) of the receiver in Embodiment 6.
  • the captured image shown in FIG. 162A is an image captured with the subject focused
  • the captured image shown in FIG. 162B is an image captured with the focus out.
  • the captured image shown in FIG. 162B since the image is blurred, it is possible to observe bright lines up to the periphery of the actual transmitter, and more bright lines can be observed. Therefore, if the image is taken out of focus, a large amount of data can be received at one time, and data can be received from a greater distance.
  • An image similar to the captured image shown in FIG. 162B can also be captured by capturing using the macro mode.
  • 163A to 163C are diagrams illustrating an example of a captured image (bright line image) of the receiver in Embodiment 6.
  • FIG. 163A to 163C are diagrams illustrating an example of a captured image (bright line image) of the receiver in Embodiment 6.
  • an image as shown in FIG. 163A is obtained.
  • An imaging mode in which such an image is obtained is called a bright line detection mode (intermediate mode).
  • the bright line of the transmitter can be observed in the left center, and a dark normal captured image appears in the other part.
  • the bright line detection mode an image is captured darker than in the normal imaging mode. Therefore, by capturing an image in the high sensitivity mode, it is possible to capture an image that is close to the normal imaging mode and has a brightness that is easily visible to humans.
  • the receiver shifts to the visible light communication mode and receives the transmission signal of the transmitter that is imaged at a portion designated by means such as a user touching an image.
  • the receiver may automatically shift to the visible light communication mode and receive a signal when a bright line (transmission signal) is found in the captured image.
  • the receiver finds the transmission signal from the bright line in the captured image, and highlights and displays the portion as shown in FIG. 163B, so that the portion where the signal is transmitted can be presented to the user in an easy-to-understand manner.
  • the bright line may be observed not only by the transmission signal but also by the pattern of the subject. Therefore, instead of determining the presence or absence of a transmission signal from the bright line of one image, it may be determined that there is a transmission signal when the position of the bright line changes in a plurality of images.
  • FIG. 163C is an example of an image in which an edge is extracted to emphasize the boundary of the imaging target.
  • FIG. 164 is a diagram illustrating an example of a captured image (bright line image) of the receiver in the sixth embodiment.
  • FIG. 164 is a diagram in which a transmitter with a signal transmission period of 1/9600 seconds is imaged at the exposure time ratio shown in the lower part of the figure.
  • the exposure time is shorter than 1/9600 seconds, which is the transmission cycle, the captured images are almost the same and a clear bright line can be captured.
  • the outline of the bright line becomes blurred.
  • the bright line pattern can be observed and the signal can be received.
  • the bright line can be observed if the exposure time is up to about 20 times the transmission cycle, and the exposure time in this range can be used as the exposure time in the bright line detection mode.
  • the signal can be received depends on the signal representation method. If a signal expression rule in which the number of bright lines is small and the interval between the bright lines is long, the transmission efficiency is lowered, but the signal can be received even with a longer exposure time, and the bright lines can be observed even with a longer exposure time.
  • the exposure time in the intermediate imaging mode is preferably 1/10000 seconds or more.
  • this limitation can be relaxed by improving the sensitivity of the image sensor in the future.
  • FIG. 165 is a diagram illustrating an example of a transmission signal in the sixth embodiment.
  • the receiver Since the receiver integrates a plurality of received data pieces and receives a series of signals, if the transmission signal is suddenly changed, the data pieces before and after the change are mixed and the signals cannot be correctly integrated. . Therefore, as shown in FIG. 165 (a), when the transmission signal is changed, the transmitter performs normal lighting for a predetermined time as a buffer band and does not transmit a signal. When the receiver cannot receive a signal for a predetermined time T2 shorter than the predetermined time T1, the receiver discards the data pieces received so far to avoid mixing the data pieces before and after the change. can do. Alternatively, as shown in FIG. 165 (b), the transmitter repeatedly transmits a signal X for notifying it when the transmission signal is changed.
  • the transmitter repeatedly transmits the preamble when the transmission signal is changed.
  • the receiver receives a preamble with a period shorter than the period in which the preamble appears in a normal signal, the receiver discards data pieces received so far.
  • FIG. 166 is a diagram illustrating an example of operation of a receiver in Embodiment 6.
  • 166 (a) is an image obtained by capturing the transmitter with just focus.
  • the receiver can take an image as shown in FIG. 166 (b) by taking an image out of focus.
  • the captured image looks like the image shown in FIG. In FIG. 166 (c), the bright lines of a plurality of transmitters overlap, and the receiver cannot receive signals. Therefore, the receiver takes an image by adjusting the focus so that the bright lines of the plurality of transmitters do not overlap.
  • the receiver adjusts the focus so that the size of the transmitter is maximized in the captured image.
  • the receiver may compress the captured image in a direction parallel to the bright line, but does not compress the image in the direction perpendicular to the bright line. Alternatively, the receiver reduces the degree of compression in the vertical direction. Thereby, it is possible to prevent a reception error from occurring due to blurring of bright lines due to compression.
  • FIG. 167 and FIG. 168 are diagrams illustrating an example of an instruction to the user displayed on the screen of the receiver in the sixth embodiment.
  • the receiver can estimate the position of the receiver in the manner of triangulation from the position information of each transmitter and the position, size and angle of each transmitter in the captured image by imaging a plurality of transmitters. Therefore, when the image is captured in a form that only one transmitter can receive, the receiver changes the direction of the receiver or lowers the image to capture images of a plurality of transmitters. Indicates an imaging direction and a moving direction by displaying an image including an arrow or the like.
  • FIG. 167 (a) is a display example of an instruction to image the right transmitter with the receiver pointing to the right
  • FIG. 167 (b) is an instruction to image the transmitter in front in the back. It is a display example.
  • the 168 is a display example of an instruction for imaging the other transmitter by shaking the receiver or the like because the position of the other transmitter is unknown to the receiver.
  • the positional relationship of the transmitters in the plurality of images may be estimated using image processing or sensor values of a nine-axis sensor.
  • the receiver may use the ID received from one transmitter, inquire the position information of the surrounding transmitters from the server, and instruct the user to image the transmitter that is most easily imaged.
  • the receiver detects that the user has moved the receiver from the sensor value of the 9-axis sensor, and displays the screen based on the last received signal after the movement has ended and a predetermined time has elapsed.
  • a signal of another transmitter is received while the receiver is moving, and processing based on the transmission signal of the unintended transmitter is performed. Can be prevented.
  • the receiver may continue the reception process while moving, and may perform a process based on the received signal, for example, obtain information from the server using the received signal as a key.
  • the reception process is continued after the process, and the process based on the last received signal is defined as the final process.
  • the receiver may process the signal received a predetermined number of times or notify the user.
  • the receiver may process a signal that has been received the most times while being moved.
  • the receiver may be provided with notification means for notifying the user when the signal is successfully received or when the presence of the signal is detected in the captured image.
  • the notification means notifies by sound, vibration, display update (pop-up display, etc.), or the like. Thereby, the user can know the presence of the transmitter.
  • FIG. 169 is a diagram illustrating an example of a signal transmission method according to the sixth embodiment.
  • a plurality of transmitters configured as displays are arranged adjacent to each other.
  • the plurality of transmitters synchronize the timing of signal transmission and transmit signals from the entire surface as shown in FIG.
  • the receiver can receive signals at a higher speed and from a longer distance.
  • the plurality of transmitters transmit different signals, as shown in FIG. 169 (b)
  • the plurality of transmitters transmit signals by providing a buffer band (non-transmission area) in which signals are not transmitted.
  • the receiver can recognize that the plurality of transmitters are different from each other with a buffer band therebetween, and can receive different signals.
  • FIG. 170 is a diagram illustrating an example of a signal transmission method according to the sixth embodiment.
  • the liquid crystal display is provided with a backlight extinction period, and by changing the state of the liquid crystal while the backlight is extinguished, the image in the state change is made invisible and dynamic resolution is performed. A feeling can be heightened.
  • a signal is superimposed in accordance with the lighting cycle of the backlight, as shown in FIG.
  • Reception efficiency can be improved by continuously transmitting a set of data (Hdr, Data, FCS).
  • the light emitting portion is in a bright state (Hi) at the beginning and the end of the backlight lighting period. This is because if the light emitting unit is in a dark state (Lo) continuously with the backlight extinction period, the receiver cannot determine whether Lo is transmitted as a signal or whether the signal is in the dark state due to the backlight extinction period.
  • a signal with a low average luminance may be superimposed during the backlight off period.
  • the backlight lighting period is increased or decreased, and the luminance at the time of backlight lighting is increased or decreased to adjust the average luminance to be equal.
  • FIG. 171 is a diagram illustrating an example of a signal transmission method according to the sixth embodiment.
  • the liquid crystal display can reduce the brightness change of the entire screen by performing backlight control at different timings for each position. This is called backlight scanning.
  • the backlight scan is normally performed so that the backlight is turned on in order from the end as shown in FIG.
  • a captured image 8802a is obtained.
  • the portion where the bright line exists is divided, and it may not be estimated that the entire screen of the display is one transmitter. Therefore, as shown in FIG. 171 (b), all the portions that emit light (the signal is superimposed) are displayed when the vertical axis represents the spatial axis in the backlight scanning division direction and the horizontal axis represents the time axis.
  • a captured image 8802b can be obtained by setting the order of backlight scanning so as to be connected.
  • the captured image 8802b all the bright line portions are connected, and it can be easily estimated that the transmission signal is from one transmitter.
  • the number of bright lines that can be continuously received increases, signals can be received quickly and remotely.
  • the position of the receiver can be accurately estimated from the position, size, and angle of the transmitter in the captured image.
  • FIG. 172 is a diagram illustrating an example of a signal transmission method according to the sixth embodiment.
  • the backlight lighting period is short, and light is emitted on the graph with the vertical axis representing the spatial axis in the backlight scan division direction and the horizontal axis representing the time axis (the signal is superimposed).
  • a signal is superimposed on each light emitting portion in accordance with the light emission timing of the backlight as in the case of FIG. At this time, by controlling the backlight so that the distance from the other backlight lighting portion on the graph is maximized, it is possible to prevent the bright lines in the adjacent portions from being mixed.
  • FIG. 173 is a diagram for describing a use case in the sixth embodiment.
  • the system in this embodiment includes a lighting device 100 that performs visible light communication, a wearable device 101 having a visible light communication function, a smartphone 102, and a server 103.
  • the purpose of the present embodiment is to reduce the time required for shopping by eliminating a series of troubles when a user shop at a store using visible light communication.
  • Conventionally when purchasing a product at a store, it is necessary to search the store site in advance to obtain coupon information.
  • the lighting fixture 100 periodically transmits its own lighting ID information using visible light communication in front of a store (assuming a home appliance mass retailer as an example).
  • the wearable device 101 of the user transmits the illumination ID information to the smartphone 102 using short-range wireless communication.
  • the smartphone 102 transmits user information and lighting ID information to the server 103 using a mobile line or the like.
  • the smartphone 102 receives point information of a store in front of the user, coupon information, and the like from the server 103.
  • the user browses the information received from the server 103 with the wearable device 101 or the smartphone 102.
  • the user can purchase the product information of the displayed store on the spot or receive guidance to an exhibition place in the store.
  • it demonstrates in detail using figures.
  • FIG. 174 is a diagram illustrating an information table transmitted from the smartphone 102 to the server 103.
  • the store ID information, the transmission time, and the location information held in the smartphone 102 the user's preference information and biometric information, search history, and action history information stored in the smartphone 102 are displayed on the smartphone 102. Will send.
  • FIG. 175 is a block diagram of the server 103.
  • the transmission / reception unit 201 receives information transmitted from the smartphone 102.
  • the control unit 202 performs overall control.
  • the member information DB 203 stores a member number, the name and date of birth of the user of the member number, point information, purchase history, and the like.
  • the store DB 204 stores store information such as a store ID, product information sold at the store, store display information, and store map information.
  • the notification information generation unit 205 generates coupon information and recommended product information according to the user's preference.
  • FIG. 176 is a flowchart showing the overall processing of the system.
  • the wearable device 101 receives the illumination ID from the luminaire 100 (S301).
  • the wearable device 101 transmits the illumination ID to the smartphone 102 using close proximity wireless communication such as Bluetooth (registered trademark) (S302).
  • the smartphone 102 transmits the history information of the user, the membership number, and the lighting ID shown in FIG. 174 to the server 103 (S303).
  • the server 103 receives the data
  • the data is first transmitted to the control unit 202 (S304).
  • the control unit 202 refers to the member information DB 203 for the member number, and acquires member information (S305).
  • the control unit 202 inquires of the store DB 204 for the illumination ID and acquires store information (S306).
  • the store information includes product information in stock at the store, information on products that the store wants to promote, coupon information, store map information, and the like.
  • the control unit 202 transmits member information and store information to the notification information generation unit (S307).
  • the notification information generation unit 205 generates advertisement information suitable for the user from the member information and the store information, and transmits it to the control unit 202 (S308).
  • the control unit 202 transmits member information and advertisement information to the transmission / reception unit 201 (S309).
  • Member information includes user point information, expiration date information, and the like.
  • the transmission / reception unit 201 transmits member information and advertisement information to the smartphone 102 (S310).
  • the smartphone 102 displays the received information on the display screen (S311).
  • the smartphone 102 transfers the information received from the server 103 to the wearable device 101 (S312). If the notification setting of the wearable device 101 is ON, the wearable device 101 displays information (S314). In addition, when a wearable device displays information, it is desirable to urge the user to be alerted by vibration or the like. This is because the user does not necessarily enter the store, and therefore the user may not notice even if coupon information is transmitted.
  • FIG. 177 is a diagram illustrating an information table transmitted from the server 103 to the smartphone 102.
  • the store map DB is in-store guidance information such as which product is displayed at which position in the store.
  • the product information of a store includes information on products in stock at the store and price information of products.
  • the user member information includes user point information and membership card expiration date information.
  • FIG. 178 is a diagram showing a screen flow displayed on the wearable device 101 from when the user receives information from the server 103 in front of the store until when the user actually purchases the product.
  • points given when the user visits the store and coupon information are displayed.
  • the information transmitted from the server 103 is displayed according to the user's preference. For example, when the user taps the TV, recommended TV information is displayed.
  • the purchase button is pressed here, a receiving method selection screen is displayed, and it is possible to select delivery to home or receiving in the store. In this embodiment, since the store where the user is located is known, there is an advantage that it can be received at the store.
  • the wearable device 101 shifts to the Guide Mode. In this mode, the user is guided to a specific place using an arrow or the like, and the user can be guided to a place where the selected product is actually displayed.
  • the wearable device 101 transitions to a screen for inquiring whether purchase is necessary. The user can make a purchase decision after trying the size, color, and convenience by actually viewing the product.
  • the visible light communication in the present invention can specify the position of the user with high accuracy. For this reason, for example, as shown in FIG. 179, when the user is likely to enter a dangerous area in the factory, a warning can be given. Furthermore, since it is possible to determine whether or not to issue a warning on the wearable device side, it is possible to construct a warning system with a high degree of freedom, such as giving a warning to a child under a specific age, for example.
  • FIG. 180 is a diagram showing a service providing system using the reception method described in the embodiment already described.
  • the company A ex8000 managing the server ex8002 requests another company B or an individual ex8001 to distribute information to the mobile terminal.
  • the mobile terminal that has made visible light communication with signage is requested to distribute detailed advertisement information, coupon information, or map information.
  • the company A ex8000 that manages the server manages information distributed to the mobile terminal in correspondence with arbitrary ID information.
  • the portable terminal ex8003 acquires ID information from the subject ex8004 by visible light communication, and transmits the acquired ID information to the server ex8002.
  • the server ex8002 transmits information corresponding to the ID information to the portable terminal and counts the number of times the information corresponding to the ID information is transmitted.
  • the company A ex8000 managing the server charges the requested company B and the individual ex8001 for a charge corresponding to the counted number. For example, the larger the count number, the larger the amount to be charged.
  • FIG. 181 is a flowchart showing a service provision flow.
  • step ex8000 company A managing the server receives a request for information distribution from other company B.
  • Step ex8001 information received in the distribution request is associated with specific ID information in the server managed by company A.
  • the mobile terminal receives specific ID information from the subject by visible light communication, and transmits it to a server managed by the company A.
  • the details of the visible light communication method have already been described in other embodiments, and will be omitted.
  • the server transmits information corresponding to the specific ID information transmitted from the mobile terminal to the mobile terminal.
  • Step ex8003 the server counts the number of times information is distributed.
  • Step ex8004 the company B is charged a fee according to the count number of information distribution. In this way, by charging according to the count number, it becomes possible to charge Company B with an appropriate fee according to the advertising effect of information distribution.
  • FIG. 182 is a flowchart showing service provision in another example. The description of the same steps as those in FIG. 181 is omitted.
  • Step ex8008 it is determined whether or not a predetermined time has elapsed since the start of information distribution. If it is determined that the time is within the predetermined time period, the company B is not charged in Step ex8011. On the other hand, if it is determined that the predetermined period has elapsed, Step ex8009 counts the number of times the information has been distributed. In step ex8010, the company B is charged a fee corresponding to the information distribution count. Thus, since information is distributed free of charge within a predetermined period, company B can receive a billing service after confirming the advertising effect and the like.
  • FIG. 183 is a flowchart showing service provision in another example. The description of the same steps as those in FIG. 182 is omitted.
  • Step ex8014 the number of times information is distributed is counted. If it is determined in Step ex8015 that the predetermined period has not elapsed since the start of information distribution, charging is not performed in Step ex8016. On the other hand, if it is determined that the predetermined period has elapsed, in Step ex8017, it is determined whether or not the number of times the information has been distributed is greater than or equal to a predetermined value. When the number of times of distributing information is less than a predetermined value, the count number is reset and the number of times of distributing information is counted again. In this case, the company B is not charged for a predetermined period in which the number of times information is distributed is less than a predetermined value.
  • Step ex8017 if the count number is equal to or larger than the predetermined value, in Step ex8018, the count number is reset once and restarted again.
  • Step ex8019 the company B is charged a fee corresponding to the number of counts.
  • the company B can receive the billing service at an appropriate timing by providing a period of free distribution again.
  • the company A has a small number of counts, the information content is analyzed. For example, when the information does not correspond to the season, the company A may propose to the company B to change the information content. It becomes possible.
  • the burden on the company A can be reduced. Moreover, it is good also as a structure which provides a free delivery period again after a fixed period. For example, in the case of information affected by the season, a free delivery period can be provided again after a certain period until the season changes.
  • the billing fee may be changed according to the amount of data regardless of the number of times of information distribution.
  • a certain amount of data may be distributed free of charge, and a predetermined amount of data or more may be charged. Further, the billing fee may be increased as the amount of data increases.
  • a management fee may be charged when managing information in association with specific ID information. By charging as a management fee, it is possible to determine the fee when the information distribution is requested.
  • 184A, 184B, and 185 are diagrams illustrating an example of signal coding in Embodiment 8.
  • the transmission signal is composed of a header (H) and a body (Body).
  • the header includes a unique signal pattern.
  • the receiver finds this unique pattern from the received signal, recognizes which part of the received signal represents the header or body based on the position, and receives the data.
  • the receiver can receive data when the header and the subsequent body are continuously received.
  • the length of time that the receiver can continuously receive the signal is determined by the size of the transmitter shown in the captured image (captured image).
  • the time during which the receiver can continuously receive signals is short. If the time that the receiver can continuously receive a signal (continuous reception time) is the same as the transmission time of one block including the header and the body, it is received only when the transmission start time of the header is equal to the reception start time.
  • the machine can receive data.
  • 184A (a) shows a case where the continuous reception time is slightly longer than the transmission time of one block including the header and the body.
  • the arrow line represents the continuous reception time, and data can be received when a signal is received at the timing indicated by the thick line, but when a signal is received at the timing indicated by the thin line, Since the header and the body are not aligned, data cannot be received.
  • the transmitter transmits a modulated signal with “body, header, body” as a set.
  • body, header, body two bodies in the same set have the same signal.
  • the body can be restored by connecting the parts of the body before and after the header, so all the signals contained in the header are continuous.
  • Data can be received if it can be received.
  • the reception timing at which data can be received is indicated by a thick line. In the case of (b), it can be seen that data can be received at a wider reception timing than in the case of (a).
  • the receiver can restore the body if the signal length of the body is a fixed value. Alternatively, if the header includes the signal length information of the body, the receiver can restore the body.
  • the receiver first finds a header composed of a unique bright line pattern from a captured image (bright line image) including bright lines. Then, the receiver sequentially reads each signal of the body that follows the header (direction (1) in FIG. 184B). At this time, each time a signal is read, the receiver determines whether or not the signal of the body has been read by the amount corresponding to the signal length of the body. That is, it is determined whether all the signals included in the body have been read. When it is determined that the signal has not been read, the receiver reads the signal that follows the read signal. However, when there is no subsequent signal, the receiver sequentially reads each signal of the body that follows the front of the header (direction (2) in FIG. 184B).
  • the receiver holds the signal length in advance, and makes the above determination using the signal length.
  • the receiver specifies the signal length of the body from the header, and makes the above determination using the signal length.
  • the receiver can determine the signal length between the two headers.
  • the body can be restored by estimating the signal length of the body.
  • the modulation scheme shown in FIG. 185 the signal length of the body can be estimated only by receiving signals for two headers and one body. Note that in FIG. 185, the modulation scheme is a set of “body header header body header 2 (H2)”, and the receiver can receive data if it can continuously receive all the signals included in the header. is there.
  • the transmitter includes a second luminance change pattern corresponding to a body that is a part of a signal to be transmitted and a header for specifying the body.
  • the transmitter further determines a third luminance change pattern indicating another header different from the header, and the first luminance change pattern, the second luminance change pattern, and the first luminance change pattern.
  • the header, the body, and other headers may be transmitted by changing the luminance according to each pattern in the order of the third luminance change pattern.
  • FIG. 186 is a diagram illustrating an example of a captured image in the eighth embodiment.
  • the receiver can read the signal from the bright line in the captured image and analyze the part other than the bright line by image processing.
  • the receiver receives a signal from a transmitter configured as digital signage, for example, and even if the same signal is received, it varies depending on the image shown on the transmitter screen at that time An advertisement can be displayed.
  • image processing may be performed after interpolating the pixel values of the bright line portion from the left and right pixels of the bright line. Further, image processing may be performed on an image excluding the bright line portion.
  • 187A to 187C are diagrams illustrating an example of a structure and operation of a receiver in Embodiment 8.
  • 8910a is an image sensor of the receiver.
  • the imaging element includes an effective pixel that is a part that captures an image, an optical black for measuring noise such as dark current, and an invalid area 8910b.
  • Optical black further includes VOB for measuring noise in the vertical direction and HOB for measuring noise in the horizontal direction. Since the bright line is generated in the direction of 8910c (horizontal direction), the bright line cannot be obtained during the exposure time to the VOB or the invalid area 8910b, and a signal cannot be received. Therefore, at the time of visible light communication, the time during which a signal can be received can be increased by switching to an imaging mode in which the VOB and the invalid area 8910b are not used or used at a minimum.
  • the exposure time in the effective pixel area that is an area including the effective pixel.
  • FIG. 187B (a) at the time of normal photographing, one photographed image is acquired between time t0 to t10, time t10 to t20, and time t20 to t30.
  • the exposure time in the effective pixel area (the time during which charges are read out, the shaded portion in FIG. 187B) ) Are time t3 to t10, time t13 to t20, and time t23 to t30.
  • the effective pixel area is only used for the time during which the VOB and the invalid area 8910b are used.
  • the exposure time can be extended. That is, it is possible to increase the time that can be received by visible light communication. As a result, many signals can be received.
  • FIG. 187C (a) during normal photographing, exposure of each exposure line in the effective pixel region is started after a predetermined time m has elapsed since the exposure of the adjacent exposure line is started.
  • FIG. 187C (b) when the time of exposure in the effective pixel area is extended during visible light communication, the exposure of each exposure line in the effective pixel area is the exposure of the adjacent exposure line. Is started after a predetermined time n (n> m) has elapsed.
  • the receiver according to the present embodiment applies to each of the plurality of exposure lines in the area including the optical black of the image sensor with respect to the exposure line adjacent to the exposure line.
  • the charge is read after a predetermined time has elapsed since the charge was read.
  • the receiver does not use the optical black for reading out the electric charge, and for each of the plurality of exposure lines in the area other than the optical black in the image sensor, The charge is read after a time longer than the predetermined time from the time when the charge is read to the adjacent exposure line.
  • the exposure timings of the lower end of the captured image and the upper end of the captured image of the next frame are temporally continuous, and the signal is continuous Can be received automatically. Even when VOB or the like cannot be completely invalidated, the signal can be continuously received by modulating the transmission signal by a method capable of error correction.
  • a horizontal bright line appears because a horizontal photodiode is exposed simultaneously.
  • the horizontal and vertical emission lines can be obtained by alternately repeating this exposure mode and the exposure mode in which the vertical photodiodes are simultaneously exposed. Even if it exists, it can receive a signal stably.
  • FIG. 187D is a diagram illustrating an example of a signal reception method in Embodiment 8.
  • the image sensor includes an effective pixel that is a pixel that displays the intensity of received light as an image, and an invalid pixel that does not use the intensity of received light as an image but is used as a dark current intensity reference, for example.
  • an effective pixel that is a pixel that displays the intensity of received light as an image
  • an invalid pixel that does not use the intensity of received light as an image but is used as a dark current intensity reference, for example.
  • FIG. 187E is a flowchart illustrating an example of a signal reception method in Embodiment 8.
  • step 9000a a signal is received at step 9000b, and a header is detected at step 9000c.
  • step 9000d it is checked whether the data size of the body following the header is known. If YES, the process proceeds to step 9000f. If NO, the process proceeds to step 9000e, the data size of the body following the header is read from the header, and the process proceeds to step 9000f. In step 9000f, it is confirmed whether or not all the signals indicating the body have been received following the header. If YES, the process proceeds to step 9000g, the body part is read from the signal received following the header, and the process ends in step 9000p. To do.
  • step 9000h If NO, the process proceeds to step 9000h, and it is confirmed whether the data length of the body received after the header and the part received before the header is sufficient. If YES, the process proceeds to step 9000i. The body part is read out by connecting the received part following the header and the received part before the header, and the process ends at step 9000p. If NO, the process proceeds to step 9000j to check whether there is a means for imaging many bright lines from the transmitter. If YES, the process proceeds to step 9000n, where the setting is changed so that many bright lines can be imaged. Return to. If NO, proceed to step 9000k, notify that the transmitter is present but the image size is insufficient, notify the direction of the transmitter in step 9000m, and receive it when approaching there. This is notified, and the process ends at step 9000p.
  • This method enables stable signal reception even when there are few exposure lines passing through the transmitter in the captured image.
  • FIGS. 188 and 189A are diagrams illustrating an example of a reception method in Embodiment 8.
  • the effective pixel area of the image sensor is 4: 3, when the image is captured at 16: 9, the upper and lower portions of the image are clipped. When the bright line appears in the horizontal direction, the bright line is lost by this clipping, and the time during which the signal can be received is shortened.
  • the effective pixel area of the image sensor is 16: 9, if the image is captured at 4: 3, the left and right portions of the image are clipped, and the time for receiving a signal is shortened when the bright line appears in the vertical direction. Therefore, the aspect ratio at which clipping does not occur, that is, 4: 3 in FIG. 188 and 16: 9 in FIG. 189A is the imaging aspect ratio in the visible light communication mode. Thereby, the receivable time can be increased.
  • the receiver in the present embodiment further sets the ratio between the vertical width and the horizontal width of the image obtained by the image sensor. Then, when performing the visible light communication, the receiver determines whether or not the end of the image in the direction perpendicular to the exposure line (bright line) is clipped according to the set ratio, and the end is clipped. If it is determined, the set ratio is changed to a non-clipping ratio that is a ratio at which the end is not clipped. Then, the image sensor of the receiver acquires a bright line image of the non-clipping ratio by photographing the subject whose luminance changes.
  • FIG. 189B is a flowchart illustrating an example of a reception method in Embodiment 8.
  • This reception method extends the reception time and sets the imaging aspect ratio for receiving signals from a small transmitter.
  • step 8911Ba start is made at step 8911Ba, and the imaging mode is changed to the visible light communication mode at step 8911Bb.
  • step 8911Bc it is confirmed whether the aspect ratio setting of the captured image is the setting closest to the aspect ratio of the effective pixel.
  • the process proceeds to Step 8911Bd, and the aspect ratio setting of the captured image is set to the setting closest to the aspect ratio of the effective pixel.
  • the process ends at step 8911Be.
  • Step 8911Be ends.
  • FIG. 189C is a flowchart illustrating an example of a reception method in Embodiment 8.
  • the imaging aspect ratio is set to increase the number of samples per hour.
  • step 8911Ca start is made in step 8911Ca, and the imaging mode is changed to the visible light communication mode in step 8911Cb.
  • step 8911Cc the bright line of the exposure line can be confirmed, but it is confirmed whether the number of samples per time is small and signals cannot be received.
  • the process proceeds to Step 8911Cd, and the aspect ratio setting of the captured image is set to the setting most different from the aspect ratio of the effective pixel.
  • step 8911Ce the imaging frame rate is increased, and the process returns to step 8911Cc. If NO, the process proceeds to step 8911Cf, receives a signal, and ends.
  • (Reception of visible light signal using zoom) 190 is a diagram illustrating an example of a reception method in Embodiment 8.
  • FIG. 1 A diagram illustrating an example of a reception method in Embodiment 8.
  • the receiver finds a region where bright lines exist from the captured image 8913a, and performs zooming so that as many bright lines as possible are generated.
  • the number of bright lines can be maximized by enlarging the bright line region in the direction perpendicular to the bright line direction until the bright line region reaches the upper and lower ends of the screen.
  • the receiver may find an area where the bright line is clearly displayed, and perform zooming so that the portion is enlarged like 8913c.
  • the above processing may be sequentially performed for each bright line region. Further, the above processing may be performed for the bright line region designated by the user from the captured image.
  • FIG. 191 is a diagram illustrating an example of a reception method in Embodiment 8.
  • the image data size needs to be compressed when the captured image (a) is transmitted from the image capturing unit to the image processing unit or transmitted from the image capturing terminal (receiver) to the server, as shown in (c)
  • the reduction or pixel thinning is performed in a direction horizontal to the bright line, the data size can be compressed without reducing the information amount of the bright line.
  • reduction or pixel thinning is performed as in (b) or (d)
  • the number of bright lines is reduced or it is difficult to recognize bright lines.
  • reduction in reception efficiency can be prevented by not compressing in the direction perpendicular to the bright line, or by making the compression rate in the vertical direction smaller than the compression rate in the horizontal direction.
  • the moving average filter may be applied in both the vertical direction and the horizontal direction, and is effective for both data size reduction and noise reduction.
  • the receiver in the present embodiment further generates a compressed image by compressing the bright line image in a direction parallel to each of the multiple bright lines included in the bright line image, and transmits the compressed image.
  • FIG. 192 is a diagram illustrating an example of a signal modulation method in Embodiment 8.
  • two luminance change patterns whose timings at which a predetermined luminance value (for example, L) appears are assigned to the same parity signal unit (for example, “01” and “10”).
  • luminance change patterns having different timings are assigned in advance to signal units having different timings.
  • the transmitter according to the present embodiment determines a luminance change pattern assigned to each signal unit included in the signal to be transmitted.
  • FIG. 193 is a diagram illustrating an example of operation of a receiver in Embodiment 8.
  • FIG. 193 is a diagram illustrating an example of operation of a receiver in Embodiment 8.
  • the receiver 8920a operates differently depending on the situation where reception is started. For example, when activated in Japan, a signal modulated by a 60 kHz phase shift keying is received, and data is downloaded from the server 8920d using the received ID as a key. When activated in the United States, a signal modulated by a 50 kHz frequency shift keying is received, and data is downloaded from the server 8920e using the received ID as a key. In the situation where the operation of the receiver is changed, the location (country or building) where the receiver 8920a exists, the base station or the wireless access point (Wi-Fi, Bluetooth (registered trademark)) that communicates with the receiver 8920a. ), IMES, etc.) and time.
  • Wi-Fi Wireless Fidelity
  • the receiver 8920a uses the location information and the last accessed wireless base station (a base station such as a carrier communication network, Wi-Fi, Bluetooth (registered trademark), or IMES) or the last received ID by visible light communication.
  • a base station such as a carrier communication network, Wi-Fi, Bluetooth (registered trademark), or IMES
  • the server 8920f estimates the position of the receiver 8920a based on the received information, and receives the transmission algorithm of the transmitter near the position, and ID management that manages the ID of the transmitter near the position Send server information (URI, etc.).
  • the receiver 8920a receives signals from the transmitters 8920b and 8920c using the received algorithm, and makes an inquiry to the received ID management servers 8920d and 8920e using the ID as a key.
  • the receiver 8920a in this embodiment switches a server to be accessed or switches a reception algorithm in accordance with a frequency used for modulation of the signal, as illustrated in FIG.
  • the signal modulation method may be switched.
  • FIG. 194 is a diagram illustrating an example of operation of a transmitter in Embodiment 8.
  • FIG. 194 is a diagram illustrating an example of operation of a transmitter in Embodiment 8.
  • the light emitting unit of the transmitter 8921a repeats blinking visible light communication and visible light communication as shown in FIG. By performing blinking that is visible to humans, it is possible to inform humans that visible light communication is possible.
  • the user notices that visible light communication is possible because the transmitter 8921a is blinking, performs visible light communication with the receiver 8921b directed to the transmitter 8921a, and performs user registration of the transmitter 8921a.
  • the transmitter in the present embodiment alternately and repeatedly performs a step in which the light emitter transmits a signal due to a change in luminance and a step in which the light emitter blinks so as to be visually recognized by human eyes.
  • the transmitter may be provided with a visible light communication unit and a blinking unit (communication status display unit) separately as shown in FIG.
  • the transmitter operates as shown in (c) of FIG. 194 using the modulation method shown in FIG. 77 or 78, so that the light emitting unit blinks for humans while performing visible light communication.
  • FIG. 195 is a diagram illustrating an example of a receiver in Embodiment 8.
  • FIG. 195 (a) shows the normal mode of the receiver 8922a
  • FIG. 195 (b) shows the visible light communication mode of the receiver 8922a
  • the receiver 8922a includes a diffuser plate 8922b in front of the imaging unit.
  • the receiver 8922a moves the diffuser plate 8922b in front of the imaging unit in the visible light communication mode so that the light source spreads and images are taken.
  • the position of the light diffusing plate 8922b is adjusted so that light from a plurality of light sources does not overlap.
  • a macro lens or a zoom lens may be used instead of the diffuser plate 8922b. Thereby, the signal of a distant transmitter and a small transmitter can be received.
  • the area of the image sensor on which the diffuser plate 8922b is reflected may not be used in the normal imaging mode, but only in the visible light communication mode. As a result, the above-described effect can be obtained without moving the diffuser plate 8922b and the imaging unit.
  • Synchronization method of signal transmission from multiple transmitters 196 and 197 are diagrams illustrating an example of a transmission system according to the eighth embodiment.
  • FIG. 196 shows a mechanism for synchronization of transmission timing.
  • Projector A and projector B that project onto the same projection plane transmit signals as shown in FIG.
  • the receiver captures and receives this, calculates the time difference between the signal a and the signal b, and adjusts the signal transmission timing of each projector.
  • a time during which neither of the signals is transmitted (total pause time) is provided to prevent the signals a and b from being overlapped and cannot be received.
  • the signal transmitted by the projector may be changed.
  • the timing can be adjusted efficiently by increasing the total pause time at the start of the operation and shortening the total pause time as the timing adjustment proceeds.
  • the signal a and the signal b are included in one captured image.
  • the imaging frame rate of the receiver is often from 60 fps to 7.5 fps.
  • the signal transmission period is often from 60 fps to 7.5 fps.
  • the signal a and the signal b can be contained in an image captured at 7.5 fps.
  • the signal transmission cycle is set to 1/60 second or less, the signal a and the signal b can be reliably contained in an image captured at 30 fps.
  • FIG. 197 is a diagram illustrating a case where transmitters configured by a plurality of displays are synchronized. An image is captured so that the synchronized display fits in one image, and the timing is adjusted.
  • FIG. 198 is a diagram illustrating an example of operation of a receiver in Embodiment 8.
  • FIG. 198 is a diagram illustrating an example of operation of a receiver in Embodiment 8.
  • the receiver 8940a activates the image sensor 8940b to receive the signal when the illuminance sensor 8940c detects the signal. As shown in FIG. 198 (a), the receiver 8940a receives the signal transmitted from the transmitter 8940d by the illuminance sensor 8940c. Thereafter, the receiver 8940a activates the image sensor 8940b, receives the transmission signal of the transmitter 8940d by the image sensor, and recognizes the position of the transmitter 8940d.
  • the receiver 8940a temporarily determines that the same signal has been received. For example, display of the current position. The determination is completed when all the signals are received by the image sensor 8940b.
  • the display of the current position is made translucent, or the position error is displayed.
  • the part of the signal can be determined as, for example, 20% of the entire signal length, an error detection code part, or the like.
  • the illuminance sensor 8940c cannot receive the signal due to interference, but can recognize that the signal exists. For example, when the sensor value of the illuminance sensor 8940c is Fourier-transformed, if a peak appears in the modulation frequency of the transmission signal, it can be estimated that the signal exists.
  • the receiver 8940a estimates that a signal is present from the sensor value of the illuminance sensor 8940c, the receiver 8940a activates the image sensor 8940b and receives signals from the transmitters 8940e and 8940f.
  • (Reception start trigger) 199 is a diagram illustrating an example of operation of a receiver in Embodiment 8.
  • FIG. 1 A diagram illustrating an example of operation of a receiver in Embodiment 8.
  • a light receiving sensor Since power is consumed when an image sensor or illuminance sensor (hereinafter collectively referred to as a light receiving sensor) is activated, it is stopped when not needed and activated when necessary to improve power consumption efficiency. Can be improved. Since the power consumption of the illuminance sensor is less than that of the image sensor, the illuminance sensor may be always activated and control only the image sensor.
  • the receiver 8941a detects movement from the sensor value of the 9-axis sensor, activates the light receiving sensor, and starts reception.
  • the operation of tilting the receiver is detected from the sensor values of the 9-axis sensor, and the light receiving sensor on the side facing upward is activated to start reception.
  • the receiver in the present embodiment further determines whether or not the receiver (receiving device) has been moved in a predetermined manner, and determines that the receiver has been moved in a predetermined manner. Start the sensor.
  • FIG. 200 is a diagram illustrating an example of a gesture operation for starting reception according to the communication method.
  • the receiver 8942a configured as a smartphone detects, from the sensor value of the 9-axis sensor, an operation of standing the receiver and sliding it in the horizontal direction, or an operation of repeating the sliding in the horizontal direction. Thereafter, the receiver 8942a starts reception, and acquires the position of the transmitter 8942b based on the received ID. Thereafter, the receiver 8942a acquires its position from the relative positional relationship between the plurality of transmitters 8942b and itself. By sliding the receiver 8942a, the plurality of transmitters 8942b can be stably imaged, and the self-position can be estimated with high accuracy by the triangulation method.
  • This operation may be performed only when the home screen is in the foreground. Thereby, it is possible to prevent this communication from being performed against the user's intention while using another application.
  • 201 and 202 are diagrams illustrating an example of an application example of the transmission and reception system in the eighth embodiment.
  • the transmitter 8950b configured as a car navigation system transmits information for wireless connection to the transmitter 8950b, such as Bluetooth (registered trademark) pairing information, a Wi-Fi SSID and password, and an IP address.
  • the receiver 8950a configured as a smartphone establishes a wireless connection with the transmitter 8950b based on the received information, and subsequent exchanges are performed via this wireless connection.
  • the user inputs a destination or shop information to be searched for on the smartphone 8950a
  • the smartphone 8950a transmits the input information to the car navigation system 8950b via a wireless connection
  • the car navigation system 8950b displays the route information.
  • the smartphone 8950a operates as a controller of the car navigation 8950b, and controls music and video that the car navigation 8950b reproduces.
  • music and video held by the smartphone 8950a are reproduced by the car navigation system 8950b.
  • the car navigation system 8950b acquires peripheral store information and road congestion information and displays the information on the smartphone 8950a.
  • the smartphone 8950a when an incoming call is received, the smartphone 8950a performs a call process using a microphone and a speaker of the car navigation 8950b that are wirelessly connected. Note that the smartphone 8950a may perform the above operation by establishing a wireless connection when an incoming call is received.
  • the car navigation system 8950b automatically establishes a wireless connection with a registered terminal when the wireless connection automatic connection mode is set. When not in the automatic connection mode, the car navigation system 8950b transmits connection information using visible light communication and waits for a connection. Note that the car navigation system 8950b may also wait for a connection by transmitting connection information using visible light communication even in the automatic connection mode. When the car navigation system is manually connected, the automatic connection mode may be canceled, and further, the connection with the automatically connected terminal may be disconnected.
  • FIG. 203 is a diagram illustrating an example of application of the transmission / reception system in Embodiment 8.
  • the transmitter 8951b configured as a television transmits the content protection information held in itself or a connected device 8951c.
  • the receiver 8951a configured as a smartphone receives the content protection information, and after that, for a predetermined time, the content protection is performed so that the content protected by the content protection information of the transmitter 8951b or the device 8951c can be played back. I do. Thereby, the content held in another device owned by the user can be reproduced by the receiver.
  • the transmitter 8951b may store the content protection information in the server, and the receiver 8951a may acquire the content protection information from the server using the received ID of the transmitter 8951b as a key.
  • receiver 8951a may further transmit the acquired content protection information to another device.
  • FIG. 204A is a diagram illustrating an example of application of the transmission / reception system in Embodiment 8.
  • the receiver 8952a receives the ID transmitted from the transmitter 8952b and transmits it to the server 8952c.
  • the server 8952c unlocks the door 8952d, opens the automatic door, or moves to the floor registered in the receiver 8952a. Call to the floor with 8952a. Accordingly, the receiver 8952a serves as a key, and the user can perform unlocking or the like before reaching the door 8952d.
  • the receiver in the present embodiment acquires a first bright line image that is an image including a plurality of bright lines by photographing a subject whose luminance changes (for example, the above-described transmitter), and acquires the first bright line image acquired.
  • First transmission information (for example, subject ID) is acquired by demodulating data specified by a plurality of bright line patterns included in the bright line image. Then, after the first transmission information is acquired, the receiver causes the door opening / closing drive device to open the door by transmitting a control signal (for example, a subject ID).
  • the server 8952c may confirm that the communication partner is the receiver 8952a by using security protection such as a secure element of the receiver 8952a. Also, to confirm that the receiver 8952a is indeed near the transmitter 8952b, when the server 8952c receives the ID of the transmitter 8952b, it issues a command to send a different signal to the transmitter 8952b, The unlocking may be performed when the signal is sent from the receiver 8952a.
  • the receiver 8952a receives the ID from the transmitters 8952b, thereby receiving the receivers. It can be determined whether 8952a is approaching door 8952d. For example, when the values indicated by the IDs are reduced in the order in which the IDs are acquired, the receiver determines that the door is approaching. Or a receiver pinpoints the position of each transmitter 8952b based on those ID, Furthermore, based on the position of those transmitters 8952b, and the position of those transmitters 8952b reflected in a picked-up image Estimate your position.
  • the receiver determines whether or not the door 8952d is approaching by comparing the position of the door 8952d held in advance with the estimated position of the door 8952d as needed.
  • the receiver transmits one of the acquired IDs to the server 8952c.
  • the server 8952c performs processing for opening the door 8952d.
  • the receiver in the present embodiment acquires a second bright line image that is an image including a plurality of bright lines by photographing another subject whose luminance changes, and is included in the acquired second bright line image.
  • Second transmission information (for example, IDs of other subjects) is acquired by demodulating data specified by the plurality of bright line patterns.
  • the receiver determines whether or not the receiver is approaching the door based on the acquired first and second transmission information, and determines that the receiver is approaching the door. , ID of any subject).
  • FIG. 204B is a flowchart of the information communication method in the present embodiment.
  • the information communication method in the present embodiment is an information communication method for acquiring information from a subject, and includes steps SK21 to SK24.
  • a plurality of bright lines corresponding to each exposure line included in the image sensor are displayed on the image obtained by photographing the first subject, which is the subject, by the image sensor.
  • a first exposure time setting step SK21 for setting a first exposure time of the image sensor so as to occur according to a change, and the first subject for which the image sensor has changed in luminance is set as the first exposure time.
  • FIG. 204C is a block diagram of the information communication apparatus in the present embodiment.
  • the information communication device K20 in the present embodiment is an information communication device that transmits a signal by a change in luminance, and includes constituent elements K21 to K24.
  • the information communication device K20 is configured so that a plurality of bright lines corresponding to each exposure line included in the image sensor are generated according to a change in luminance of the subject in an image obtained by photographing the subject by an image sensor.
  • the exposure time setting unit K21 that sets the exposure time of the image sensor, and the bright-line image that is an image including the plurality of bright lines is acquired by photographing the subject that changes in brightness at the set exposure time.
  • a door control unit K24 to.
  • a receiver including an image sensor can be used like a door key, An electronic lock can be dispensed with. As a result, it is possible to perform communication between various devices including a device having a small computing power.
  • each component may be configured by dedicated hardware or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • the program causes the computer to execute the information communication method shown by the flowchart in FIG. 204B.
  • FIG. 205 is a diagram illustrating an example of application of the transmission and reception system in Embodiment 8.
  • the receiver 8953a transmits the ID transmitted from the transmitter 8953b to the server 8953c.
  • the server 8953c notifies the clerk 8953d of the order information associated with the receiver 8953a.
  • the store clerk 8953d prepares goods and the like based on the order information. Thereby, since an order is prepared when a user enters a store etc., the user can receive goods etc. quickly.
  • FIG. 206 is a diagram illustrating an example of application of the transmission / reception system in Embodiment 8.
  • the receiver 8954a displays a screen on which an order can be placed only when the transmission signal of the transmitter 8954b is received. Thereby, the store can avoid the order of the customer who is not near.
  • the receiver 8954a places an order by adding the ID of the transmitter 8954b to the order information.
  • the store can grasp the position of the orderer and grasp the position where the product is delivered.
  • the store can estimate the time until the orderer visits the store.
  • the receiver 8954a may add the travel time to the store calculated from the travel speed to the order information. Further, the receiver may not accept the purchase for an unnatural purchase (for example, purchase of a boarding pass that departs from other than the station at the current location) as judged from the current location.
  • FIG. 207 is a diagram illustrating an example of application of the transmission / reception system in Embodiment 8.
  • the receiver 8955a receives, for example, the transmission ID of the transmitter 8955b configured as a guide plate, acquires the map data displayed on the guide plate from the server, and displays the map data.
  • the server may transmit an advertisement suitable for the user of the receiver 8955a, and the receiver 8955a may also display this advertisement information.
  • the receiver 8955a displays a route from the current location to a location designated by the user.
  • FIG. 208 is a diagram illustrating an example of application of the transmission / reception system in Embodiment 8.
  • the receiver 8956a receives an ID transmitted from a transmitter 8956b configured as, for example, home or school lighting, and transmits the acquired position information to the terminal 8956c using the ID as a key.
  • the guardian with the terminal 8906c can know that the child with the receiver 8956a has gone home or has arrived at school. Further, the supervisor having the terminal 8956c can grasp the current position of the worker having the receiver 8956a.
  • FIG. 209 is a diagram illustrating an example of application of the transmission / reception system in Embodiment 8.
  • the receiver 8957a receives the ID transmitted from the transmitter 8957b configured as a signboard, for example, acquires coupon information from the server, and displays the coupon information.
  • the receiver 8957a stores subsequent user actions such as saving a coupon, moving to a store displayed on the coupon, shopping at the store, and leaving without saving the coupon. Save to 8957c.
  • the subsequent behavior of the user who has acquired information from the sign 8957b can be analyzed, and the advertising value of the sign 8957b can be estimated.
  • (Application example for screen sharing) 210 and 211 are diagrams illustrating an example of application examples of the transmission and reception system in the eighth embodiment.
  • the transmitter 8960b configured as a projector or a display transmits information (SSID, password for wireless connection, IP address, password for operating the transmitter) for wireless connection to itself.
  • information SSID, password for wireless connection, IP address, password for operating the transmitter
  • an ID serving as a key for accessing these pieces of information is transmitted.
  • the receiver 8960a configured as a smartphone, a tablet, a laptop computer, or a camera receives the signal transmitted from the transmitter 8960b, acquires the information, and establishes a wireless connection with the transmitter 8960b.
  • This wireless connection may be connected via a router, or may be directly connected by Wi-Fi Direct, Bluetooth (registered trademark), Wireless Home Digital Interface, or the like.
  • the receiver 8960a transmits a screen displayed by the transmitter 8960b. Thereby, the image of the receiver can be easily displayed on the transmitter.
  • the transmitter 8960b When the transmitter 8960b is connected to the receiver 8960a, the transmitter 8960b notifies the receiver 8960a that a password is required in addition to the information transmitted by the transmitter in order to display the screen. If is not sent, the transmitted screen may not be displayed. At this time, the receiver 8960a displays a password input screen such as 8960d and allows the user to input the password.
  • FIG. 211 is a diagram illustrating an example in which the screen of the transmitter 8961c is displayed on the transmitter 8960b via the receiver 8960a.
  • the transmitter 8961c configured as a notebook personal computer transmits information for connection to itself or an ID associated with the information.
  • the receiver 8960a receives the signal transmitted from the transmitter 8960b and the signal transmitted from the transmitter 8961c, establishes a connection with each transmitter, and displays an image to be displayed on the transmitter 8960b from the transmitter 8961c. Let it transmit.
  • the transmitter 8960b and the transmitter 8961c may directly communicate with each other, or may communicate with each other via the receiver 8960a or a router. Accordingly, even when the signal transmitted from the transmitter 8960b cannot be received by the transmitter 8961c, an image of the transmitter 8961c can be easily displayed on the transmitter 8960b.
  • the receiver 8960a may perform the above operation only when the difference between the time when the signal transmitted by the transmitter 8960b is received and the time when the signal transmitted by the transmitter 8961c is received is equal to or less than a predetermined time. Good.
  • the transmitter 8961c may transmit an image to the transmitter 8960b only when the correct password is received from the receiver 8960a.
  • FIG. 212 is a diagram illustrating an example of application of the transmission / reception system in Embodiment 8.
  • the receiver 8963a configured as a smartphone receives the ID transmitted by the transmitter 8963b.
  • the receiver 8963a acquires position information of the transmitter 8963b using the received ID as a key, and estimates its own position from the position and direction of the transmitter 8963b in the captured image.
  • the receiver 8963a receives a signal from a wireless transmitter 8963c configured as, for example, a Wi-Fi access point.
  • the receiver 8963a estimates its own position from the position information of the wireless transmitter 8963c and the radio wave transmission direction information included in the signal.
  • the receiver 8963a can estimate the self-position with high accuracy by estimating the self-position using a plurality of means.
  • the wireless transmitter 8963c transmits synchronized signals in different directions from a plurality of antennas.
  • the wireless transmitter 8963c sequentially changes the signal transmission direction.
  • the receiver 8963a estimates that the radio wave transmission direction when the radio wave intensity is the strongest is the direction from the radio transmitter 8963c to itself.
  • a path difference is calculated from a difference in arrival times of radio waves transmitted from different antennas and respectively passing through paths 8963d, 8963e, and 8963f. From each radio wave transmission angle difference ⁇ 12, ⁇ 13, and ⁇ 23, the radio transmitter 8963c and itself Calculate the distance. Further, by using the surrounding electric field information and radio wave reflector information, the self-position can be estimated with higher accuracy.
  • FIG. 213 is a diagram illustrating a configuration for performing position estimation using visible light communication and wireless communication. That is, FIG. 213 shows a configuration for performing terminal position estimation using visible light communication and wireless communication.
  • the mobile terminal (smart phone terminal) acquires the ID of the light emitting unit by performing visible light communication with the light emitting unit.
  • the server inquires of the acquired ID for the position information of the light emitting unit. Accordingly, the mobile terminal acquires an actual distance L1 and an actual distance L2, which are distances in the x direction and the y direction between the MIMO (multiple-inputpleand multiple-output) access point and the light emitting unit. Further, as already described in other embodiments, the mobile terminal detects the inclination ⁇ 1 of the mobile terminal using a gyro sensor or the like.
  • the beam form angle ⁇ 2 is set by the MIMO access point and is a known value. Therefore, the mobile terminal acquires the beam forming angle ⁇ 2 by wireless communication or the like.
  • the portable terminal uses the actual distance L1 and the actual distance L2, the inclination ⁇ 1 of the portable terminal, and the beam forming angle ⁇ 2 to determine the coordinate position (x1, y1) of the portable terminal relative to the MIMO access point. Can be calculated. Since a MIMO access point can form a plurality of beams, it is possible to estimate a position with higher accuracy by using a plurality of beam forming.
  • the information communication method according to one or more aspects has been described based on the embodiment.
  • the present invention is not limited to this embodiment. Unless it deviates from the gist of the present invention, various modifications conceived by those skilled in the art have been made in this embodiment, and forms constructed by combining components in different embodiments are also within the scope of one or more aspects. May be included.
  • an information communication method according to one embodiment of the present invention may be applied.
  • FIG. 214 is a diagram illustrating an example of application of the transmission / reception system in the eighth embodiment.
  • a camera configured as a receiver for visible light communication performs imaging in a normal imaging mode (Step 1).
  • the camera acquires an image file configured in a format such as EXIF (Exchangeable image file format).
  • the camera performs imaging in the visible light communication imaging mode (Step 2).
  • the camera acquires a signal (visible light communication information) transmitted by the visible light communication from the transmitter that is the subject (Step 3).
  • the camera obtains information corresponding to the key from the server by using the signal (reception information) as a key and accessing the server (Step 4).
  • the camera transmits a signal (visible light reception data) transmitted from the subject by visible light communication, information acquired from the server, and data indicating a position where the transmitter as the subject is projected in the image indicated by the image file. And the data indicating the time when the signal transmitted by the visible light communication is received (the time in the moving image) are stored as metadata in the above-described image file. Note that when a plurality of transmitters are projected as subjects in an image (image file) obtained by imaging, the camera stores, for each transmitter, some metadata corresponding to the transmitter. Save to file.
  • a display or projector configured as a transmitter for visible light communication displays an image indicated by the above-described image file
  • the display or projector transmits a signal corresponding to metadata included in the image file by visible light communication.
  • the display or the projector may transmit the metadata itself by visible light communication, or may transmit a signal associated with the transmitter displayed in the image as a key.
  • a portable terminal configured as a receiver for visible light communication receives a signal transmitted by visible light communication from the display or projector by capturing an image of the display or projector. If the received signal is the above-described key, the portable terminal uses the key to acquire the transmitter metadata associated with the key from the display, projector, or server. In addition, if the received signal is a signal (visible light reception data or visible light communication information) transmitted from an actual transmitter by visible light communication, the portable terminal receives the visible light from a display, a projector, or a server. Information corresponding to received light data or visible light communication information is acquired.
  • FIG. 215 is a flowchart showing the operation of the camera (receiver) of the transmission / reception system in the eighth embodiment.
  • the camera detects that the imaging button is pressed (step S901), it performs imaging in the normal imaging mode (step S902). Then, the camera performs imaging in the visible light imaging mode by increasing the shutter speed to a certain speed or higher, that is, by setting an exposure time shorter than that in the normal imaging mode (step S903). Thereby, the camera acquires a signal transmitted from the subject by visible light communication.
  • the camera acquires information associated with the key from the server by treating the signal (information) acquired by visible light communication as a key (step S905).
  • the camera stores the signal, each piece of information, and each piece of data in a metadata area (such as an area in which EXIF meter data is stored) of an image file obtained by imaging in the normal imaging mode (step S905).
  • the camera captures a signal acquired by visible light communication, information acquired from a server, and an image of a transmitter that is a subject that has transmitted the signal by visible light communication (an image obtained by imaging in a normal imaging mode).
  • step S906 the camera determines whether or not to capture a moving image. If it is determined to capture a moving image (Y in step S906), the process from step S902 is repeatedly executed. On the other hand, if the camera determines not to capture a moving image (N in step S906), the imaging process ends.
  • FIG. 216 is a flowchart showing the operation of the display (transmitter) of the transmission / reception system in the eighth embodiment.
  • the display checks the metadata area of the image file to determine whether there is one or more transmitters shown in the image indicated by the image file (step S911).
  • the display determines whether or not the split transmission mode is set as the visible light communication mode (step S912).
  • the display divides the display area (transmission portion) of the display and transmits a signal from each display area (step S914). Specifically, for each transmitter, the display treats the area in which the transmitter is projected, or the area in which the transmitter and its surroundings are projected, as a display area. A signal corresponding to the machine is transmitted by visible light communication.
  • step S912 when the display determines in step S912 that the divided transmission mode is not set (N in step S912), signals corresponding to each of the plurality of transmitters are transmitted by visible light communication from the entire display area of the display. Transmit (step S913). That is, the display transmits keys associated with a plurality of pieces of information from the entire screen.
  • step S911 When the display determines that there is one transmitter in step S911 (one of step S911), the display transmits a signal corresponding to the single transmitter from the entire display area of the display through visible light communication. (Step S915). That is, the display transmits from the entire screen.
  • the display accepts, for example, from a portable terminal (smartphone) an access that handles a signal (transmission information) transmitted by visible light communication as a key after any of steps S913 to S915, the display receives the key in the image file.
  • Corresponding metadata is passed to the mobile terminal that is the access source (step S916).
  • the information communication method in the present embodiment is an information communication method for acquiring information from a subject, and each exposure included in the image sensor is included in an image obtained by photographing the first subject that is the subject by an image sensor.
  • a first exposure time setting step for setting a first exposure time of the image sensor so that a plurality of bright lines corresponding to a line are generated according to a change in luminance of the first subject;
  • a first bright line image acquisition step of acquiring a first bright line image that is an image including the plurality of bright lines by photographing the first subject that changes with the set first exposure time;
  • the first transmission information is acquired by demodulating data specified by the pattern of the plurality of bright lines included in the acquired first bright line image.
  • An information obtaining step of, after said first transmission information is obtained by sending a control signal, and a door control steps to open the door against the opening and closing devices of the door.
  • a receiver including an image sensor can be used like a door key, and a special electronic lock can be dispensed with.
  • a special electronic lock can be dispensed with.
  • the information communication method may further include a second image in which the image sensor includes a plurality of bright lines by photographing the second subject whose luminance changes with the set first exposure time.
  • Second transmission information is acquired by demodulating data specified by a pattern of the plurality of bright lines included in the acquired second bright line image and a second bright line image acquiring step of acquiring a bright line image A second information acquisition step; and an approach determination step of determining whether or not a receiving device including the image sensor is approaching the door based on the acquired first and second transmission information.
  • the control signal may be transmitted when it is determined that the receiving device is approaching the door.
  • the door can be opened only when the receiving device (receiver) approaches the door, that is, only at an appropriate timing.
  • a second exposure time setting step for setting a second exposure time longer than the first exposure time and the image sensor sets a third subject.
  • the charge is read after a predetermined time has elapsed from the time when the charge is read for the exposure line adjacent to the exposure line, and the first bright line image obtaining step is performed. Then, without using the optical black for the charge readout, the optical black in the image sensor is different from the optical black.
  • the charge is read after a time longer than the predetermined time from when the charge is read for the exposure line adjacent to the exposure line. Also good.
  • the length in the direction perpendicular to each of the plurality of bright lines in the plurality of bright line patterns included in the first bright line image is less than a predetermined length.
  • the signal length indicated by the bright line pattern (bright line region) included in the first bright line image is less than one block of the transmitted signal, for example, The rate is lowered, and the bright line image is acquired again as the third bright line image.
  • the length of the bright line pattern included in the third bright line image can be increased, and the transmitted signal can be acquired for one block.
  • the information communication method further includes a ratio setting step for setting a ratio between a vertical width and a horizontal width of an image obtained by the image sensor, and the first bright line image acquisition step includes the set ratio.
  • a clipping determination step for determining whether or not an end in a direction perpendicular to each exposure line in the image is clipped, and when it is determined that the end is clipped, the ratio set in the ratio setting step Changing the ratio to a non-clipping ratio which is a ratio at which the edge is not clipped, and the image sensor captures the first bright line with the non-clipping ratio by photographing the first subject whose luminance changes.
  • the ratio of the horizontal width to the vertical width of the effective pixel area of the image sensor is 4: 3, and the ratio of the horizontal width to the vertical width of the image is 16:
  • the ratio of the image is changed to 4: 3, which is a ratio that is not clipped.
  • the information communication method further includes a compression step of generating a compressed image by compressing the first bright line image in a direction parallel to each of the plurality of bright lines included in the first bright line image. And a compressed image transmission step of transmitting the compressed image.
  • the first bright line image can be appropriately compressed without missing information indicated by a plurality of bright lines.
  • the information communication method further determines that the receiving device including the image sensor has been moved in a predetermined manner, and a gesture determination step for determining whether or not the receiving device has been moved in a predetermined manner.
  • a gesture determination step for determining whether or not the receiving device has been moved in a predetermined manner.
  • an activation step of activating the image sensor may be included.
  • the image sensor can be easily activated only when necessary, and the power consumption efficiency can be improved.
  • FIG. 217 is a diagram illustrating an example of application of the transmitter and the receiver in the ninth embodiment.
  • the robot 8970 has, for example, a function as a self-propelled cleaner and a function as a receiver in each of the above embodiments.
  • the lighting devices 8971a and 8971b each have a function as a transmitter in each of the above embodiments.
  • the robot 8970 performs cleaning while moving in the room and photographs the lighting device 8971a that illuminates the room.
  • the lighting device 8971a transmits the ID of the lighting device 8971a by changing the luminance.
  • the robot 8970 receives the ID from the lighting device 8971a and estimates its own position (self-position) based on the ID as in the above embodiments. That is, the robot 8970 moves itself based on the detection result by the 9-axis sensor, the relative position of the lighting device 8971a reflected in the image obtained by photographing, and the absolute position of the lighting device 8971a specified by the ID. Is estimated.
  • the robot 8970 when the robot 8970 moves away from the lighting device 8971a by moving, the robot 8970 transmits a signal to turn off the lighting device 8971a (turn-off command). For example, when the robot 8970 leaves the lighting device 8971a by a predetermined distance, the robot 8970 transmits a turn-off command. Alternatively, the robot 8970 transmits a turn-off command to the lighting device 8971a when the lighting device 8971a does not appear in the image obtained by shooting or when another lighting device appears in the image. When the lighting device 8971a receives a turn-off command from the robot 8970, the lighting device 8971a turns off according to the turn-off command.
  • turn-off command For example, when the robot 8970 leaves the lighting device 8971a by a predetermined distance, the robot 8970 transmits a turn-off command. Alternatively, the robot 8970 transmits a turn-off command to the lighting device 8971a when the lighting device 8971
  • the robot 8970 detects that it has approached the lighting device 8971b based on the estimated self-position while moving and cleaning. That is, the robot 8970 holds information indicating the position of the lighting device 8971b, and when the distance between the self position and the position of the lighting device 8971b is equal to or less than a predetermined distance, the lighting device 8971b. Detecting that you are approaching. Then, the robot 8970 transmits a signal (lighting command) for instructing lighting to the lighting device 8971b. When the lighting device 8971b receives the lighting command, the lighting device 8971b lights up in accordance with the lighting command.
  • the robot 8970 can brighten only the surroundings while moving and can easily perform cleaning.
  • FIG. 218 is a diagram illustrating an example of application of the transmitter in Embodiment 9.
  • a plurality of light emitting areas A to F are displayed side by side on the display, and a signal is transmitted by changing the luminance of each of the light emitting areas A to F.
  • the light emitting areas A to F are each rectangular and arranged along the horizontal direction and the vertical direction. In such a case, a non-luminance changing area that does not change in luminance crosses the display through the light emitting areas A, B, and C and the light emitting areas D, E, and F along the horizontal direction of the display. Yes.
  • another non-luminance changing area that does not change in luminance crosses the display along the vertical direction of the display, passing between the light emitting areas A and D and the light emitting areas B and E. Further, other non-luminance changing areas that do not change in luminance cross the display through the light emitting areas B and E and the light emitting areas C and F along the vertical direction of the display.
  • the receiver in each of the above embodiments photographs the display with the exposure line of the receiver oriented in the horizontal direction, the non-luminance change along the horizontal direction of the image (captured image) obtained by the imaging A bright line does not appear in the portion corresponding to the region. That is, in the captured image, the region where the bright line appears (bright line region) becomes discontinuous. Further, when the receiver captures the display with the exposure line oriented in the vertical direction, no bright line appears in the portion corresponding to the two non-luminance change regions along the vertical direction in the captured image. That is, even at this time, the bright line region becomes discontinuous in the captured image. When the bright line region becomes discontinuous in this way, it becomes difficult to receive a signal transmitted due to a change in luminance.
  • the display 8972 in this embodiment has a function as the transmitter in each of the above embodiments, and each of the light emitting areas A to F is arranged so as to be shifted so that the bright line areas are continuous.
  • the display 8972 arranges the upper light emitting areas A, B, and C and the lower light emitting areas D, E, and F so as to be shifted in the horizontal direction.
  • the display 8972 displays the light emission areas A to F of a parallelogram or rhombus, respectively. Accordingly, it is possible to eliminate the non-luminance changing region that crosses the display 8972 through the light emitting regions A to F along the vertical direction of the display 8972. As a result, even if the receiver captures the display 8972 with the exposure line oriented in the vertical direction, the bright line region can be continued in the captured image.
  • the display 8972 may be arranged by shifting each of the light emitting areas A to F in the vertical direction. Accordingly, it is possible to eliminate the non-luminance change region that crosses the display 8972 through the light emitting regions A to F along the horizontal direction of the display 8972. As a result, even if the receiver captures the display 8972 with the exposure line oriented in the horizontal direction, the bright line region can be continued in the captured image.
  • the display 8972 may display hexagonal light emitting areas A to F so that the sides of the respective areas are parallel to each other.
  • the non-luminance changing region that crosses the display 8972 through the light emitting regions A to F along the horizontal and vertical directions of the display 8972 can be eliminated in the same manner as described above.
  • the region can be continuous.
  • FIG. 219 is a flowchart of the information communication method in this embodiment.
  • the information communication method in the present embodiment is an information communication method for transmitting a signal according to a luminance change, and includes steps SK11 and SK12.
  • this information communication method by modulating the signal to be transmitted, a determination step SK11 for determining a luminance change pattern, and by changing the luminance of the plurality of light emitters according to the determined luminance change pattern, And a transmission step SK12 for transmitting the signal to be transmitted.
  • a non-luminance changing region that is outside the plurality of light emitters and does not change in luminance is along the at least one of the vertical direction and the horizontal direction of the surface.
  • the plurality of light emitters are disposed on the surface so as not to cross the surface through the plurality of light emitters.
  • FIG. 220 is a block diagram of the information communication apparatus in the present embodiment.
  • the information communication device K10 in the present embodiment is an information communication device that transmits a signal by a change in luminance, and includes constituent elements K11 and K12.

Abstract

照明以外の機器を含む多様な機器間の通信を可能とする送信方法を提供する。送信方法は、可視光信号を変調することにより、輝度変化パターンを決定するステップ(SC11)と、ディスプレイに備えられた光源群に含まれる、それぞれ映像中の画素を表すための複数の光源を共通に点灯させるための共通スイッチを、前記輝度変化パターンにしたがってスイッチングするステップ(SC12)と、その光源群に含まれる複数の光源のうちの第1の光源を点灯させるための第1の画素スイッチをオンにすることにより、共通スイッチがオンであり、かつ、第1の画素スイッチがオンである期間のみに、第1の光源を点灯させることによって、可視光信号を送信するステップ(SC13)とを含む。

Description

送信方法、送信装置およびプログラム
 本発明は、可視光信号の送信方法、送信装置およびプログラムに関する。
 近年のホームネットワークでは、Ethernet(登録商標)や無線LAN(Local Area Network)でのIP(Internet Protocol)接続によるAV家電の連携に加え、環境問題に対応した電力使用量の管理や、宅外からの電源ON/OFFといった機能を持つホームエネルギーマネジメントシステム(HEMS)によって、多様な家電機器がネットワークに接続される家電連携機能の導入が進んでいる。しかしながら、通信機能を有するには、演算力が十分ではない家電や、コスト面で通信機能の搭載が難しい家電などもある。
 このような問題を解決するため、特許文献1では、光を用いて自由空間に情報を伝達する光空間伝送装置において、照明光の単色光源を複数用いた通信を行うことで、限られた送信装置のなかで、効率的に機器間の通信を実現する技術が記載されている。
特開2002-290335号公報
 しかしながら、前記従来の方式では、適用される機器が照明のような3色光源を持つ場合に限定される。
 本発明は、このような課題を解決し、照明以外の機器を含む多様な機器間の通信を可能とする送信方法を提供する。
 本発明の一形態に係る送信方法は、輝度変化によって可視光信号を送信する送信方法であって、可視光信号を変調することにより、輝度変化パターンを決定する決定ステップと、ディスプレイに備えられた光源群に含まれる、それぞれ映像中の画素を表すための複数の光源を共通に点灯させるための共通スイッチを、前記輝度変化パターンにしたがってスイッチングする共通スイッチ制御ステップと、前記光源群に含まれる複数の光源のうちの第1の光源を点灯させるための第1の画素スイッチをオンにすることにより、前記共通スイッチがオンであり、かつ、前記第1の画素スイッチがオンである期間のみに、前記第1の光源を点灯させることによって、前記可視光信号を送信する第1の画素スイッチ制御ステップとを含む。
 なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
 本発明によれば、照明以外の機器を含む態様な機器間の通信を可能とする送信方法を実現できる。
図1は、実施の形態1における発光部の輝度の観測方法の一例を示す図である。 図2は、実施の形態1における発光部の輝度の観測方法の一例を示す図である。 図3は、実施の形態1における発光部の輝度の観測方法の一例を示す図である。 図4は、実施の形態1における発光部の輝度の観測方法の一例を示す図である。 図5Aは、実施の形態1における発光部の輝度の観測方法の一例を示す図である。 図5Bは、実施の形態1における発光部の輝度の観測方法の一例を示す図である。 図5Cは、実施の形態1における発光部の輝度の観測方法の一例を示す図である。 図5Dは、実施の形態1における発光部の輝度の観測方法の一例を示す図である。 図5Eは、実施の形態1における発光部の輝度の観測方法の一例を示す図である。 図5Fは、実施の形態1における発光部の輝度の観測方法の一例を示す図である。 図5Gは、実施の形態1における発光部の輝度の観測方法の一例を示す図である。 図5Hは、実施の形態1における発光部の輝度の観測方法の一例を示す図である。 図6Aは、実施の形態1における情報通信方法のフローチャートである。 図6Bは、実施の形態1における情報通信装置のブロック図である。 図7は、実施の形態2における受信機の各モードの一例を示す図である。 図8は、実施の形態2における受信機の撮影動作の一例を示す図である。 図9は、実施の形態2における受信機の撮影動作の他の例を示す図である。 図10Aは、実施の形態2における受信機の撮影動作の他の例を示す図である。 図10Bは、実施の形態2における受信機の撮影動作の他の例を示す図である。 図10Cは、実施の形態2における受信機の撮影動作の他の例を示す図である。 図11Aは、実施の形態2における受信機のカメラ配置の一例を示す図である。 図11Bは、実施の形態2における受信機のカメラ配置の他の例を示す図である。 図12は、実施の形態2における受信機の表示動作の一例を示す図である。 図13は、実施の形態2における受信機の表示動作の一例を示す図である。 図14は、実施の形態2における受信機の動作の一例を示す図である。 図15は、実施の形態2における受信機の動作の他の例を示す図である。 図16は、実施の形態2における受信機の動作の他の例を示す図である。 図17は、実施の形態2における受信機の動作の他の例を示す図である。 図18は、実施の形態2における受信機の動作の他の例を示す図である。 図19は、実施の形態2における受信機の動作の他の例を示す図である。 図20は、実施の形態2における受信機の動作の他の例を示す図である。 図21は、実施の形態2における受信機と送信機とサーバとの動作の一例を示す図である。 図22は、実施の形態2における受信機の動作の他の例を示す図である。 図23は、実施の形態2における受信機の動作の他の例を示す図である。 図24は、実施の形態2における受信機の初期設定の例を示す図である。 図25は、実施の形態2における受信機の動作の他の例を示す図である。 図26は、実施の形態2における受信機の動作の他の例を示す図である。 図27は、実施の形態2における受信機の動作の他の例を示す図である。 図28は、実施の形態2における受信機の動作の他の例を示す図である。 図29は、実施の形態2における受信機の動作の他の例を示す図である。 図30は、実施の形態2における受信機の動作の他の例を示す図である。 図31Aは、実施の形態2における受信機の操作に用いられるペンを示す図である。 図31Bは、実施の形態2におけるペンを用いた受信機の動作を示す図である。 図32は、実施の形態2における受信機の外観の一例を示す図である。 図33は、実施の形態2における受信機の外観の他の例を示す図である。 図34は、実施の形態2における受信機の動作の他の例を示す図である。 図35Aは、実施の形態2における受信機の動作の他の例を示す図である。 図35Bは、実施の形態2における受信機を用いた応用例を示す図である。 図36Aは、実施の形態2における受信機の動作の他の例を示す図である。 図36Bは、実施の形態2における受信機を用いた応用例を示す図である。 図37Aは、実施の形態2における送信機の動作の一例を示す図である。 図37Bは、実施の形態2における送信機の動作の他の例を示す図である。 図38は、実施の形態2における送信機の動作の他の例を示す図である。 図39は、実施の形態2における送信機の動作の他の例を示す図である。 図40は、実施の形態2における複数の送信機と受信機との間の通信形態の一例を示す図である。 図41は、実施の形態2における複数の送信機の動作の一例を示す図である。 図42は、実施の形態2における複数の送信機と受信機との間の通信形態の他の例を示す図である。 図43は、実施の形態2における受信機の動作の他の例を示す図である。 図44は、実施の形態2における受信機の応用例を示す図である。 図45は、実施の形態2における受信機の応用例を示す図である。 図46は、実施の形態2における受信機の応用例を示す図である。 図47は、実施の形態2における送信機の応用例を示す図である。 図48は、実施の形態2における送信機の応用例を示す図である。 図49は、実施の形態2における受信方法の応用例を示す図である。 図50は、実施の形態2における送信機の応用例を示す図である。 図51は、実施の形態2における送信機の応用例を示す図である。 図52は、実施の形態2における送信機の応用例を示す図である。 図53は、実施の形態2における受信機の動作の他の例を示す図である。 図54は、実施の形態3における受信機の動作の一例を示すフローチャートである。 図55は、実施の形態3における受信機の動作の他の例を示すフローチャートである。 図56Aは、実施の形態3における送信機の一例を示すブロック図である。 図56Bは、実施の形態3における送信機の他の例を示すブロック図である。 図57は、実施の形態3における複数の送信機を含むシステムの構成例を示す図である。 図58は、実施の形態3における送信機の他の例を示すブロック図である。 図59Aは、実施の形態3における送信機の一例を示す図である。 図59Bは、実施の形態3における送信機の一例を示す図である。 図59Cは、実施の形態3における送信機の一例を示す図である。 図60Aは、実施の形態3における送信機の一例を示す図である。 図60Bは、実施の形態3における送信機の一例を示す図である。 図61は、実施の形態3における受信機、送信機およびサーバの処理動作の一例を示す図である。 図62は、実施の形態3における受信機、送信機およびサーバの処理動作の一例を示す図である。 図63は、実施の形態3における受信機、送信機およびサーバの処理動作の一例を示す図である。 図64Aは、実施の形態3における複数の送信機の同期を説明するための説明図である。 図64Bは、実施の形態3における複数の送信機の同期を説明するための説明図である。 図65は、実施の形態3における送信機および受信機の動作の一例を示す図である。 図66は、実施の形態3における送信機および受信機の動作の一例を示す図である。 図67は、実施の形態3における送信機、受信機およびサーバの動作の一例を示す図である。 図68は、実施の形態3における送信機および受信機の動作の一例を示す図である。 図69は、実施の形態3における受信機の外観の一例を示す図である。 図70は、実施の形態3における送信機、受信機およびサーバの動作の一例を示す図である。 図71は、実施の形態3における送信機および受信機の動作の一例を示す図である。 図72は、実施の形態3における送信機および受信機の動作の一例を示す図である。 図73は、実施の形態3における送信機および受信機の動作の一例を示す図である。 図74は、実施の形態3における送信機および受信機の動作の一例を示す図である。 図75Aは、実施の形態3における送信機によって送信される情報の構成の一例を示す図である。 図75Bは、実施の形態3における送信機によって送信される情報の構成の他の例を示す図である。 図76は、実施の形態3における送信機による4値PPM変調方式の一例を示す図である。 図77は、実施の形態3における送信機によるPPM変調方式の一例を示す図である。 図78は、実施の形態3における送信機におけるPPM変調方式の一例を示す図である。 図79Aは、実施の形態3におけるヘッダ(プリアンブル部)に対応する輝度変化のパターンの一例を示す図である。 図79Bは、実施の形態3における輝度変化のパターンの一例を示す図である。 図80Aは、実施の形態3における輝度変化のパターンの一例を示す図である。 図80Bは、実施の形態3における輝度変化のパターンの一例を示す図である。 図81は、実施の形態4における、店前のシチュエーションでの受信機の動作の一例を示す図である。 図82は、実施の形態4における、店前のシチュエーションでの受信機の動作の他の例を示す図である。 図83は、実施の形態4における、店前のシチュエーションでの受信機の次の動作の一例を示す図である。 図84は、実施の形態4における、店前のシチュエーションでの受信機の次の動作の一例を示す図である。 図85は、実施の形態4における、店前のシチュエーションでの受信機の次の動作の一例を示す図である。 図86は、実施の形態4における、店内のシチュエーションでの表示装置の動作の一例を示す図である。 図87は、実施の形態4における、店内のシチュエーションでの表示装置の次の動作の一例を示す図である。 図88は、実施の形態4における、店内のシチュエーションでの表示装置の次の動作の一例を示す図である。 図89は、実施の形態4における、店内のシチュエーションでの受信機の次の動作の一例を示す図である。 図90は、実施の形態4における、店内のシチュエーションでの受信機の次の動作の一例を示す図である。 図91は、実施の形態4における、店内のシチュエーションでの受信機の次の動作の一例を示す図である。 図92は、実施の形態4における、店内のシチュエーションでの受信機の次の動作の一例を示す図である。 図93は、実施の形態4における、店内のシチュエーションでの受信機の次の動作の一例を示す図である。 図94は、実施の形態4における、店内のシチュエーションでの受信機の次の動作の一例を示す図である。 図95は、実施の形態4における、店探しのシチュエーションでの受信機の動作の一例を示す図である。 図96は、実施の形態4における、店探しのシチュエーションでの受信機の次の動作の一例を示す図である。 図97は、実施の形態4における、店探しのシチュエーションでの受信機の次の動作の一例を示す図である。 図98は、実施の形態4における、映画広告のシチュエーションでの受信機の動作の一例を示す図である。 図99は、実施の形態4における、映画広告のシチュエーションでの受信機の次の動作の一例を示す図である。 図100は、実施の形態4における、映画広告のシチュエーションでの受信機の次の動作の一例を示す図である。 図101は、実施の形態4における、映画広告のシチュエーションでの受信機の次の動作の一例を示す図である。 図102は、実施の形態4における、美術館のシチュエーションでの受信機の動作の一例を示す図である。 図103は、実施の形態4における、美術館のシチュエーションでの受信機の次の動作の一例を示す図である。 図104は、実施の形態4における、美術館のシチュエーションでの受信機の次の動作の一例を示す図である。 図105は、実施の形態4における、美術館のシチュエーションでの受信機の次の動作の一例を示す図である。 図106は、実施の形態4における、美術館のシチュエーションでの受信機の次の動作の一例を示す図である。 図107は、実施の形態4における、美術館のシチュエーションでの受信機の次の動作の一例を示す図である。 図108は、実施の形態4における、バス停留所のシチュエーションでの受信機の動作の一例を示す図である。 図109は、実施の形態4における、バス停留所のシチュエーションでの受信機の次の動作の一例を示す図である。 図110は、実施の形態4における撮像を説明するための図である。 図111は、実施の形態4における送信および撮像を説明するための図である。 図112は、実施の形態4における送信を説明するための図である。 図113は、実施の形態5における送信機の動作の一例を示す図である。 図114は、実施の形態5における送信機の動作の一例を示す図である。 図115は、実施の形態5における送信機の動作の一例を示す図である。 図116は、実施の形態5における送信機および受信機の動作の一例を示す図である。 図117は、実施の形態5における受信機の動作の一例を示す図である。 図118は、実施の形態5における受信機の動作の一例を示す図である。 図119は、実施の形態5における送信機、受信機およびサーバを有するシステムの動作の一例を示す図である。 図120は、実施の形態5における送信機の構成を示すブロック図である。 図121は、実施の形態5における受信機の構成を示すブロック図である。 図122は、実施の形態5における送信機の動作の一例を示す図である。 図123は、実施の形態5における送信機の動作の一例を示す図である。 図124は、実施の形態5における送信機の動作の一例を示す図である。 図125は、実施の形態5における送信機の動作の一例を示す図である。 図126は、実施の形態5における送信機の動作の一例を示す図である。 図127は、実施の形態5における送信機の動作の一例を示す図である。 図128は、実施の形態5における送信機の動作の一例を示す図である。 図129は、実施の形態5における送信機および受信機の動作の一例を示す図である。 図130は、実施の形態5における送信機および受信機の動作の一例を示す図である。 図131は、実施の形態5における送信機および受信機の動作の一例を示す図である。 図132は、実施の形態5における送信機および受信機の動作の一例を示す図である。 図133は、実施の形態5における送信機および受信機の動作の一例を示す図である。 図134は、実施の形態5における送信機および受信機の動作の一例を示す図である。 図135は、実施の形態5における送信機および受信機の動作の一例を示す図である。 図136は、実施の形態5における送信機および受信機の動作の一例を示す図である。 図137は、実施の形態5における送信機および受信機の動作の一例を示す図である。 図138は、実施の形態5における送信機および受信機の動作の一例を示す図である。 図139は、実施の形態5における送信機および受信機の動作の一例を示す図である。 図140は、実施の形態5における送信機および受信機の動作の一例を示す図である。 図141は、実施の形態5における送信機および受信機の動作の一例を示す図である。 図142は、実施の形態5における符号化方式を示す図である。 図143は、実施の形態5における斜方向から撮像した場合でも受光可能な符号化方式を示す図である。 図144は、実施の形態5における距離によって情報量が異なる符号化方式を示す図である。 図145は、実施の形態5における距離によって情報量が異なる符号化方式を示す図である。 図146は、実施の形態5におけるデータを分割した符号化方式を示す図である。 図147は、実施の形態5における逆相画像を挿入の効果を示す図である。 図148は、実施の形態5における逆相画像を挿入の効果を示す図である。 図149は、実施の形態5における超解像処理を示す図である。 図150は、実施の形態5における可視光通信に対応していることの表示を示す図である。 図151は、実施の形態5における可視光通信信号を用いた情報取得を示す図である。 図152は、実施の形態5におけるデータフォーマットを示す図である。 図153は、実施の形態5における立体形状を推定して受信を示す図である。 図154は、実施の形態5における立体形状を推定して受信を示す図である。 図155は、実施の形態5における立体投影を示す図である。 図156は、実施の形態5における立体投影を示す図である。 図157は、実施の形態5における送信機および受信機の動作の一例を示す図である。 図158は、実施の形態5における送信機および受信機の動作の一例を示す図である。 図159は、実施の形態6の送信信号の一例を示す図である。 図160は、実施の形態6の送信信号の一例を示す図である。 図161Aは、実施の形態6における受信機の撮像画像(輝線画像)の一例を示す図である。 図161Bは、実施の形態6における受信機の撮像画像(輝線画像)の一例を示す図である。 図161Cは、実施の形態6における受信機の撮像画像(輝線画像)の一例を示す図である。 図162Aは、実施の形態6における受信機の撮像画像(輝線画像)の一例を示す図である。 図162Bは、実施の形態6における受信機の撮像画像(輝線画像)の一例を示す図である。 図163Aは、実施の形態6における受信機の撮像画像(輝線画像)の一例を示す図である。 図163Bは、実施の形態6における受信機の撮像画像(輝線画像)の一例を示す図である。 図163Cは、実施の形態6における受信機の撮像画像(輝線画像)の一例を示す図である。 図164は、実施の形態6における受信機の撮像画像(輝線画像)の一例を示す図である。 図165は、実施の形態6における送信信号の一例を示す図である。 図166は、実施の形態6における受信機の動作の一例を示す図である。 図167は、実施の形態6における受信機のスクリーンに表示するユーザへの指示の一例を示す図である。 図168は、実施の形態6における受信機のスクリーンに表示するユーザへの指示の一例を示す図である。 図169は、実施の形態6における信号送信方法の一例を示す図である。 図170は、実施の形態6における信号送信方法の一例を示す図である。 図171は、実施の形態6における信号送信方法の一例を示す図である。 図172は、実施の形態6における信号送信方法の一例を示す図である。 図173は、実施の形態6におけるユースケースを説明するための図である。 図174は、実施の形態6におけるスマートフォンがサーバーに送信する情報テーブルを示す図である。 図175は、実施の形態6におけるサーバーのブロック図である。 図176は、実施の形態6におけるシステムの全体の処理を示すフローチャートである。 図177は、実施の形態6におけるサーバーがスマートフォンへ送信する情報テーブルを示す図である。 図178は、実施の形態6におけるユーザーが店舗前でサーバーから情報を受け取ってから実際に商品を購入するまでのウェアラブルデバイスに表示される画面フローを示す図である。 図179は、実施の形態6における他のユースケースを説明するための図である。 図180は、各実施の形態に記載の受信方法を用いたサービス提供システムを示す図である。 図181は、サービス提供のフローを示すフローチャートである。 図182は、他の例におけるサービス提供を示すフローチャートである。 図183は、他の例におけるサービス提供を示すフローチャートである。 図184Aは、実施の形態8における受信しやすい変調方式を説明するための図である。 図184Bは、実施の形態8における受信しやすい変調方式を説明するための図である。 図185は、実施の形態8における受信しやすい変調方式を説明するための図である。 図186は、実施の形態8における輝線による通信と画像認識の併用を説明するための図である。 図187Aは、実施の形態8における可視光信号の受信に適した撮像素子の利用方法を説明するための図である。 図187Bは、実施の形態8における可視光信号の受信に適した撮像素子の利用方法を説明するための図である。 図187Cは、実施の形態8における可視光信号の受信に適した撮像素子の利用方法を説明するための図である。 図187Dは、実施の形態8における可視光信号の受信に適した撮像素子の利用方法を説明するための図である。 図187Eは、実施の形態8における可視光信号の受信に適した撮像素子の利用方法を説明するためのフローチャートである。 図188は、実施の形態8における可視光信号の受信に適した撮像画像サイズを示す図である。 図189Aは、実施の形態8における可視光信号の受信に適した撮像画像サイズを示す図である。 図189Bは、実施の形態8における可視光信号の受信に適した撮像画像サイズに切り替えるための動作を示すフローチャートである。 図189Cは、実施の形態8における可視光信号の受信に適した撮像画像サイズに切り替えるための動作を示すフローチャートである。 図190は、実施の形態8におけるズームを利用した可視光信号の受信を説明するための図である。 図191は、実施の形態8における可視光信号の受信に適した画像データサイズの圧縮方法を説明するための図である。 図192は、実施の形態8における受信エラー検出精度が高い変調方式を説明するための図である。 図193は、実施の形態8における状況の違いによる受信機の動作の変更を説明するための図である。 図194は、実施の形態8における人間への可視光通信の通知を説明するための図である。 図195は、実施の形態8における散光板による受信範囲の拡大を説明するための図である。 図196は、実施の形態8における複数プロジェクタからの信号送信の同期方法を説明するための図である。 図197は、実施の形態8における複数ディスプレイからの信号送信の同期方法を説明するための図である。 図198は、実施の形態8における照度センサとイメージセンサによる可視光信号の受信を説明するための図である。 図199は、実施の形態8における受信開始のトリガを説明するための図である。 図200は、実施の形態8における受信開始のジェスチャを説明するための図である。 図201は、実施の形態8におけるカーナビへの応用例を説明するための図である。 図202は、実施の形態8におけるカーナビへの応用例を説明するための図である。 図203は、実施の形態8におけるコンテンツ保護への応用例を説明するための図である。 図204Aは、実施の形態8における電子錠としての応用例を説明するための図である。 図204Bは、実施の形態8における情報通信方法のフローチャートである。 図204Cは、実施の形態8における情報通信装置のブロック図である。 図205は、実施の形態8における来店情報伝達としての応用例を説明するための図である。 図206は、実施の形態8における場所に応じた注文制御の応用例を説明するための図である。 図207は、実施の形態8における道案内への応用例を説明するための図である。 図208は、実施の形態8における所在連絡への応用例を説明するための図である。 図209は、実施の形態8における利用ログ蓄積と解析への応用例を説明するための図である。 図210は、実施の形態8における画面共有への応用例を説明するための図である。 図211は、実施の形態8における画面共有への応用例を説明するための図である。 図212は、実施の形態8における無線アクセスポイントを利用した位置推定の応用例を説明するための図である。 図213は、実施の形態8における可視光通信と無線通信とによる位置推定を行う構成を示す図である。 図214は、実施の形態8における情報通信方法の応用例を示す図である。 図215は、実施の形態8における情報通信方法の応用例を示すフローチャートである。 図216は、実施の形態8における情報通信方法の応用例を示すフローチャートである。 図217は、実施の形態9における送信機と受信機の適用例を示す図である。 図218は、実施の形態9における送信機の適用例を示す図である。 図219は、実施の形態9における情報通信方法のフローチャートである。 図220は、実施の形態9における情報通信装置のブロック図である。 図221Aは、実施の形態9における送信機および受信機の適用例を示す図である。 図221Bは、実施の形態9における受信機の動作を示すフローチャートである。 図222は、実施の形態9における送信機および受信機の適用例を示す図である。 図223は、実施の形態9における送信機の適用例を示す図である。 図224Aは、実施の形態9における送信機および受信機の適用例を示す図である。 図224Bは、実施の形態9における受信機の動作を示すフローチャートである。 図225は、実施の形態9における受信機の動作を示す図である。 図226は、実施の形態9における送信機の適用例を示す図である。 図227は、実施の形態9における受信機の適用例を示す図である。 図228Aは、実施の形態9における送信機の動作の一例を示すフローチャートである。 図228Bは、実施の形態9における送信機の動作の一例を示すフローチャートである。 図229は、実施の形態9における送信機の動作の一例を示すフローチャートである。 図230は、実施の形態9における撮像機器の動作の一例を示すフローチャートである。 図231は、実施の形態9における撮像機器の動作の一例を示すフローチャートである。 図232は、実施の形態9における送信機によって送信される信号の一例を示す図である。 図233は、実施の形態9における送信機によって送信される信号の一例を示す図である。 図234は、実施の形態9における送信機によって送信される信号の一例を示す図である。 図235は、実施の形態9における送信機によって送信される信号の一例を示す図である。 図236は、実施の形態9における送信機と受信機とを含むシステム構成の一例を示す図である。 図237は、実施の形態9における送信機と受信機とを含むシステム構成の一例を示す図である。 図238は、実施の形態9における送信機と受信機とを含むシステム構成の一例を示す図である。 図239は、実施の形態9における送信機の動作の一例を示す図である。 図240は、実施の形態9における送信機の動作の一例を示す図である。 図241は、実施の形態9における送信機の構成および動作の一例を示す図である。 図242は、実施の形態9における送信機の構成および動作の一例を示す図である。 図243は、実施の形態10における光センサを搭載した時計を示す図である。 図244は、実施の形態10における受信機の一例を示す図である。 図245は、実施の形態10における受信機の一例を示す図である。 図246Aは、本発明の一態様に係る情報通信方法のフローチャートである。 図246Bは、本発明の一態様に係る携帯端末のブロック図である。 図247は、実施の形態10における受信システムの一例を示す図である。 図248は、実施の形態10における受信システムの一例を示す図である。 図249Aは、実施の形態10における変調方式の一例を示す図である。 図249Bは、実施の形態10における変調方式の一例を示す図である。 図249Cは、実施の形態10における変調方式の一例を示す図である。 図249Dは、実施の形態10における混合信号の分離の一例を示す図である。 図249Eは、実施の形態10における混合信号の分離の一例を示す図である。 図249Fは、実施の形態10における情報処理プログラムの処理を示すフローチャートである。 図249Gは、実施の形態10における情報処理装置のブロック図である。 図250Aは、実施の形態10における可視光通信システムの一例を示す図である。 図250Bは、実施の形態10におけるユースケースを説明するための図である。 図250Cは、実施の形態10における信号送受信システムの一例を示す図である。 図251は、実施の形態10における干渉を排除した受信方法を示すフローチャートである。 図252は、実施の形態10における送信機の方位の推定方法を示すフローチャートである。 図253は、実施の形態10における受信の開始方法を示すフローチャートである。 図254は、実施の形態10における他媒体の情報を併用したIDの生成方法を示すフローチャートである。 図255は、実施の形態10における周波数分離による受信方式の選択方法を示すフローチャートである。 図256は、実施の形態10における露光時間が長い場合の信号受信方法を示すフローチャートである。 図257は、実施の形態10における送信機の調光(明るさを調整すること)方法の一例を示す図である。 図258は、実施の形態10における送信機の調光機能を構成する方法の一例を示す図である。 図259Aは、実施の形態11における受信機の動作の一例を示すフローチャートである。 図259Bは、実施の形態11における受信機の動作の一例を示すフローチャートである。 図259Cは、実施の形態11における受信機の動作の一例を示すフローチャートである。 図259Dは、実施の形態11における受信機の動作の一例を示すフローチャートである。 図260は、EXズームを説明するための図である。 図261Aは、実施の形態10における受信プログラムの処理を示すフローチャートである。 図261Bは、実施の形態10における受信装置のブロック図である。 図262は、実施の形態12における信号受信方法の一例を示す図である。 図263は、実施の形態12における信号受信方法の一例を示す図である。 図264は、実施の形態12における信号受信方法の一例を示す図である。 図265は、実施の形態12における受信機の画面表示方法の一例を示す図である。 図266は、実施の形態12における信号受信方法の一例を示す図である。 図267は、実施の形態12における信号受信方法の一例を示す図である。 図268は、実施の形態12における信号受信方法の一例を示すフローチャートである。 図269は、実施の形態12における信号受信方法の一例を示す図である。 図270Aは、実施の形態12における受信プログラムの処理を示すフローチャートである。 図270Bは、実施の形態12における受信装置のブロック図である。 図271は、可視光信号を受信したときの受信機の表示の一例を示す図である。 図272は、可視光信号を受信したときの受信機の表示の一例を示す図である。 図273は、取得データ画像の表示の一例を示す図である。 図274は、取得データを保存する、または、破棄する場合の操作の一例を示す図である。 図275は、取得データを閲覧する際の表示例を示す図である。 図276は、実施の形態12における送信機の一例を示す図である。 図277は、実施の形態12における受信方法の一例を示す図である。 図278は、実施の形態13におけるヘッダパターンの例を示す図である。 図279は、実施の形態13における通信プロトコルのパケットの構成の例を説明するための図である。 図280は、実施の形態13における受信方法の一例を示すフローチャートである。 図281は、実施の形態13における受信方法の一例を示すフローチャートである。 図282は、実施の形態13における受信方法の一例を示すフローチャートである。 図283は、実施の形態13における受信機が、変調周波数の周期(変調周期)より長い露光時間を用いた受信方法を説明するための図である。 図284は、実施の形態13における受信機が、変調周波数の周期(変調周期)より長い露光時間を用いた受信方法を説明するための図である。 図285は、実施の形態13における送信データのサイズに対する効率的な分割数を示す図である。 図286Aは、実施の形態13における設定方法の一例を示す図である。 図286Bは、実施の形態13における設定方法の他の例を示す図である。 図287Aは、実施の形態13における情報処理プログラムの処理を示すフローチャートである。 図287Bは、実施の形態13における情報処理装置のブロック図である。 図288は、実施の形態13における送受信システムの応用例を説明するための図である。 図289は、実施の形態13における送受信システムの処理動作を示すフローチャートである。 図290は、実施の形態13における送受信システムの応用例を説明するための図である。 図291は、実施の形態13における送受信システムの処理動作を示すフローチャートである。 図292は、実施の形態13における送受信システムの応用例を説明するための図である。 図293は、実施の形態13における送受信システムの処理動作を示すフローチャートである。 図294は、実施の形態13における送信機の応用例を説明するための図である。 図295は、実施の形態14における送受信システムの応用例を説明するための図である。 図296は、実施の形態14における送受信システムの応用例を説明するための図である。 図297は、実施の形態14における送受信システムの応用例を説明するための図である。 図298は、実施の形態14における送受信システムの応用例を説明するための図である。 図299は、実施の形態14における送受信システムの応用例を説明するための図である。 図300は、実施の形態14における送受信システムの応用例を説明するための図である。 図301は、実施の形態14における送受信システムの応用例を説明するための図である。 図302は、実施の形態14における送受信システムの応用例を説明するための図である。 図303は、実施の形態14における送受信システムの応用例を説明するための図である。 図304は、実施の形態14における送受信システムの応用例を説明するための図である。 図305は、実施の形態14における送受信システムの応用例を説明するための図である。 図306は、実施の形態14における送受信システムの応用例を説明するための図である。 図307は、実施の形態14における送受信システムの応用例を説明するための図である。 図308は、実施の形態14における送受信システムの応用例を説明するための図である。 図309は、実施の形態15における受信機の動作を説明するための図である。 図310Aは、実施の形態15における受信機の他の動作を説明するための図である。 図310Bは、実施の形態15における出力部1215によって表示されるインジケータの例を示す図である。 図310Cは、実施の形態15におけるARの表示例を示す図である。 図311Aは、実施の形態15における送信機の一例を説明するための図である。 図311Bは、実施の形態15における送信機の他の例を説明するための図である。 図312Aは、実施の形態15における複数の送信機による同期送信の一例を説明するための図である。 図312Bは、実施の形態15における複数の送信機による同期送信の他の例を説明するための図である。 図313は、実施の形態15における複数の送信機による同期送信の他の例を説明するための図である。 図314は、実施の形態15における送信機の信号処理を説明するための図である。 図315は、実施の形態15における受信方法の一例を示すフローチャートである。 図316は、実施の形態15における受信方法の一例を説明するための説明図である。 図317は、実施の形態15における受信方法の他の例を示すフローチャートである。 図318は、実施の形態15における、露光時間が送信周期の3倍であり、送信信号が0か1の2値の場合の例を示す図である。 図319は、実施の形態15における状態遷移経路を示す図である。 図320は、実施の形態16における、高速で点滅する物体を撮像した画像を示す図である。 図321は、実施の形態16における、LSSを用いた場合の受信期間とブラインド期間を示す図である。 図322は、実施の形態16における連続受信を可能にするカットアウトスキャンを示す図である。 図323は、実施の形態16における周波数変調によるシンボルの例を示す図である。 図324は、実施の形態16におけるLSSによる周波数応答を示す図である。 図325は、実施の形態16における4PPMシンボルとV4PPMシンボルとの一例を示す図である。 図326は、実施の形態16におけるマンチェスタ符号シンボルとVPPMシンボルとの一例を示す図である。 図327は、実施の形態16におけるV4PPMとVPPMの効率を比較して説明するための図である。 図328は、実施の形態16における周波数領域の信号とノイズの大きさを示す図である。 図329Aは、実施の形態16における送信周波数と受信周波数(受信信号の最大周波数成分)の差を示す図である。 図329Bは、実施の形態16における周波数マージンに対するエラー率の一例を示す図である。 図329Cは、実施の形態16における周波数マージンに対するエラー率の他の例を示す図である。 図329Dは、実施の形態16における周波数マージンに対するエラー率の他の例を示す図である。 図329Eは、実施の形態16における周波数マージンに対するエラー率の他の例を示す図である。 図329Fは、実施の形態16における周波数マージンに対するエラー率の他の例を示す図である。 図330は、実施の形態16におけるV4PPMシンボルのパケット受信エラー率を示す図である。 図331は、実施の形態17における表示システムの構成を示すブロック図である。 図332は、実施の形態17における映像規格信号送出部と映像規格信号受信部との間の送受信形態を示す図である。 図333は、実施の形態17における映像規格信号送出部と映像規格信号受信部との間の具体的な送受信形態の一例を示す図である。 図334は、実施の形態17における映像規格信号送出部と映像規格信号受信部との間の具体的な送受信形態の他の例を示す図である。 図335は、実施の形態17における映像規格信号送出部と映像規格信号受信部との間の具体的な送受信形態の他の例を示す図である。 図336Aは、実施の形態17における電力送出用伝送路において送出される電力の一例を示す図である。 図336Bは、実施の形態17における電力送出用伝送路において送出される電力の他の例を示す図である。 図337は、実施の形態17における映像規格信号送出部と映像規格信号受信部との間の具体的な送受信形態の他の例を示す図である。 図338は、実施の形態17における映像規格信号送出部と映像規格信号受信部との間の具体的な送受信形態の他の例を示す図である。 図339は、実施の形態18にかかる可視光通信のシステムの一例を示す概略図である。 図340は、実施の形態18にかかる表示装置の概略構成の一例を示すブロック図である。 図341Aは、実施の形態18の実施例1にかかるB.L制御信号に、可視光通信信号を重畳する前の状態の一例を示す図である。 図341Bは、実施の形態18の実施例1にかかるB.L制御信号に、可視光通信信号を重畳した状態の一例を示す図である。 図342は、実施の形態18の実施例2における第1の方法を説明するためのタイミングチャートである。 図343は、実施の形態18の実施例2における第1の方法を説明するためのタイミングチャートである。 図344Aは、実施の形態18の実施例2における第2の方法を説明するためのタイミングチャートである。 図344Bは、実施の形態18の実施例2における第2の方法を説明するためのタイミングチャートである。 図344Cは、実施の形態18の実施例2における第2の方法を説明するためのタイミングチャートである。 図344Dは、実施の形態18の実施例2における第2の方法を説明するためのタイミングチャートである。 図345Aは、実施の形態18の実施例2における第2の方法を説明するためのタイミングチャートである。 図345Bは、実施の形態18の実施例2における第2の方法を説明するためのタイミングチャートである。 図345Cは、実施の形態18の実施例2における第2の方法を説明するためのタイミングチャートである。 図345Dは、実施の形態18の実施例2における第2の方法を説明するためのタイミングチャートである。 図346は、実施の形態18の実施例3におけるB.L制御信号に、可視光通信信号を重畳する方法を説明するためのタイミングチャートである。 図347は、実施の形態19における第2の処理部の動作を説明するためのフローチャートである。 図348Aは、実施の形態19におけるB.L制御信号に符号化信号を重畳する具体的方法を説明するための図である。 図348Bは、実施の形態19におけるB.L制御信号に符号化信号を重畳する具体的方法を説明するための図である。 図348Cは、実施の形態19におけるB.L制御信号に符号化信号を重畳する具体的方法を説明するための図である。 図348Dは、実施の形態19におけるB.L制御信号に符号化信号を重畳する具体的方法を説明するための図である。 図349は、実施の形態19におけるB.L制御信号に符号化信号を重畳する別の具体的方法を説明するための図である。 図350は、実施の形態20における第2の処理部の動作を説明するためのフローチャートである。 図351は、実施の形態20における領域のグループ分割の一例を示すタイミングチャートである。 図352は、実施の形態20における領域のグループ分割の他の一例を示すタイミングチャートである。 図353は、実施の形態20における領域のグループ分割の他の一例を示すタイミングチャートである。 図354は、実施の形態21における第2の処理部の動作を説明するためのフローチャートである。 図355Aは、実施の形態21におけるB.L制御信号と可視光通信信号との位相の関係について説明するための図である。 図355Bは、実施の形態21におけるB.L制御信号と可視光通信信号との位相の関係について説明するための図である。 図356Aは、実施の形態21における第2の処理部の動作を説明するためのタイミングチャートである。 図356Bは、実施の形態21における第2の処理部の動作を説明するためのタイミングチャートである。 図356Cは、実施の形態21における第2の処理部の動作を説明するためのタイミングチャートである。 図357Aは、実施の形態22における第2の処理部の動作を説明するためのタイミングチャートである。 図357Bは、実施の形態22における第2の処理部の動作を説明するためのタイミングチャートである。 図358は、実施の形態23におけるローカルディミング適応時のバックライト制御を示すタイミングチャートである。 図359は、実施の形態23における第2の処理部の動作の一例を説明するためのフローチャートである。 図360は、実施の形態23における第2の処理部の動作の一例を説明するためのタイミングチャートである。 図361は、実施の形態23における第2の処理部の動作の一例を説明するためのフローチャートである。 図362は、実施の形態23における第2の処理部の動作の一例を説明するためのタイミングチャートである。 図363は、実施の形態23における第2の処理部の動作の一例を説明するためのタイミングチャートである。 図364は、実施の形態24にかかる可視光通信システムの概略図である。 図365は、実施の形態24にかかる表示装置のブロック図である。 図366は、実施の形態24にかかる可視光通信信号の生成例を説明する図である。 図367は、実施の形態24にかかる受信装置のブロック図である。 図368は、実施の形態24にかかる表示装置のバックライトの点灯/消灯に対する受信装置の撮像画像を説明する図である。 図369は、実施の形態24にかかる表示装置の送信フレームに対する受信装置の撮像画像を説明する図である。 図370は、実施の形態24にかかる表示装置の送信クロックの周波数と受信装置の撮像部のフレームレートの関係を説明する図である。 図371は、実施の形態24にかかる1つの信号ユニットに対する送信フレームの第1の生成例を説明する図である。 図372Aは、実施の形態24にかかる1つの信号ユニットに対する送信フレームの第2の生成例を説明する図である。 図372Bは、実施の形態24にかかる1つの信号ユニットに対する送信フレームの第3の生成例を説明する図である。 図372Cは、実施の形態24にかかる1つの信号ユニットに対する送信フレームの第4の生成例を説明する図である。 図372Dは、実施の形態24にかかる1つの信号ユニットに対する送信フレームの第5の生成例を説明する図である。 図372Eは、実施の形態24にかかる1つの信号ユニットに対する送信フレームの第6の生成例を説明する図である。 図373は、実施の形態24にかかる表示装置の可視光通信信号処理部の動作を説明するフローチャートである。 図374は、実施の形態25にかかる表示装置の可視光通信信号処理部の動作を説明するフローチャートである。 図375は、実施の形態25にかかる1つの信号ユニットに対する送信フレームの任意のブロックの送信回数を決定する方法の一例を説明する図である。 図376は、実施の形態25かかる1つの信号ユニットに対する送信フレームの生成例を説明する図である。 図377は、実施の形態26にかかる表示装置の可視光通信信号処理部の動作を説明するフローチャートである。 図378は、実施の形態26にかかる1つの信号ユニットに対する送信フレームの任意のブロックの送信回数を決定する方法の一例を説明する図である。 図379は、実施の形態26にかかる表示装置から出力される1つの信号ユニットに対する送信フレームの生成例を説明する図である。 図380は、実施の形態26にかかる表示装置から出力される1つの信号ユニットに対する送信フレームの別の生成例を説明する図である。 図381は、実施の形態27にかかる1つの信号ユニットに対する送信フレームの第1の生成例を説明する図である。 図382Aは、実施の形態27にかかる1つの信号ユニットに対する送信フレームの第2の生成例を説明する図である。 図382Bは、実施の形態27にかかる1つの信号ユニットに対する送信フレームの第3の生成例を説明する図である。 図382Cは、実施の形態27にかかる1つの信号ユニットに対する送信フレームの第4の生成例を説明する図である。 図383は、実施の形態27にかかる表示装置の可視光通信信号処理部の動作を説明するフローチャートである。 図384は、実施の形態28に係る送信装置がテレビなどの動画表示装置である場合の可視光通信の切り替え制御について説明するための図である。 図385は、実施の形態29に係る論理データを可視光通信で送信する手順を示す図である。 図386は、実施の形態29に係る論理データを可視光通信で送信する手順を示す図である。 図387は、実施の形態29に係る論理データ分割部による分割処理を説明するための図である。 図388は、実施の形態29に係る論理データ分割部による分割処理を説明するための図である。 図389は、実施の形態29における送信信号の一例を示す図である。 図390は、実施の形態29における送信信号の他の例を示す図である。 図391は、実施の形態29における送信信号の他の例を示す図である。 図392Aは、実施の形態30における送信機を説明するための図である。 図392Bは、実施の形態30におけるRGBのそれぞれの輝度変化を示す図である。 図393は、実施の形態30における緑色蛍光成分および赤色蛍光成分の残光特性を示す図である。 図394は、実施の形態30における、バーコードの読み取りエラーの発生を抑制するために新たに発生する課題を説明するための図である。 図395は、実施の形態30における受信機で行われるダウンサンプリングを説明するための図である。 図396は、実施の形態30における受信機の処理動作を示すフローチャートである。 図397は、実施の形態31における受信装置(撮像装置)の処理動作を示す図である。 図398は、実施の形態31における受信装置(撮像装置)の処理動作を示す図である。 図399は、実施の形態31における受信装置(撮像装置)の処理動作を示す図である。 図400は、実施の形態31における受信装置(撮像装置)の処理動作を示す図である。 図401は、実施の形態32におけるアプリケーションの一例を示す図である。 図402は、実施の形態32におけるアプリケーションの一例を示す図である。 図403は、実施の形態32における送信信号の例と音声同期方法の例とを示す図である。 図404は、実施の形態32における送信信号の例を示す図である。 図405は、実施の形態32における受信機の処理フローの一例を示す図である。 図406は、実施の形態32における受信機のユーザインタフェースの一例を示す図である。 図407は、実施の形態32における受信機の処理フローの一例を示す図である。 図408は、実施の形態32における受信機の処理フローの他の例を示す図である。 図409Aは、実施の形態32における同期再生の具体的な方法を説明するための図である。 図409Bは、実施の形態32における同期再生を行う再生装置(受信機)の構成を示すブロック図である。 図409Cは、実施の形態32における同期再生を行う再生装置(受信機)の処理動作を示すフローチャートである。 図410は、実施の形態32における同期再生の事前準備を説明するための図である。 図411は、実施の形態32における受信機の応用例を示す図である。 図412Aは、実施の形態32における、ホルダーに保持された受信機の正面図である。 図412Bは、実施の形態32における、ホルダーに保持された受信機の背面図である。 図413は、実施の形態32における、ホルダーに保持された受信機のユースケースを説明するための図である。 図414は、実施の形態32における、ホルダーに保持された受信機の処理動作を示すフローチャートである。 図415は、実施の形態32における受信機によって表示される画像の一例を示す図である。 図416は、実施の形態32におけるホルダーの他の例を示す図である。 図417Aは、実施の形態33における可視光信号の一例を示す図である。 図417Bは、実施の形態33における可視光信号の一例を示す図である。 図417Cは、実施の形態33における可視光信号の一例を示す図である。 図417Dは、実施の形態33における可視光信号の一例を示す図である。 図418は、実施の形態33における可視光信号の構成を示す図である。 図419は、実施の形態33における受信機の撮像によって得られる輝線画像の一例を示す図である。 図420は、実施の形態33における受信機の撮像によって得られる輝線画像の他の例を示す図である。 図421は、実施の形態33における受信機の撮像によって得られる輝線画像の他の例を示す図である。 図422は、実施の形態33における受信機の、HDR合成を行うカメラシステムへの適応を説明するための図である。 図423は、実施の形態33における可視光通信システムの処理動作を説明するための図である。 図424Aは、実施の形態33における可視光を用いた車車間通信の一例を示す図である。 図424Bは、実施の形態33における可視光を用いた車車間通信の他の例を示す図である。 図425は、実施の形態33における複数のLEDの位置決定方法の一例を示す図である。 図426は、実施の形態33における、車両を撮像することによって得られる輝線画像の一例を示す図である。 図427は、実施の形態33における受信機と送信機の適用例を示す図である。なお、図427は自動車を後ろから見た図である。 図428は、実施の形態33における受信機と送信機の処理動作の一例を示すフローチャートである。 図429は、実施の形態33における受信機と送信機の適用例を示す図である。 図430は、実施の形態33における受信機7007aと送信機7007bの処理動作の一例を示すフローチャートである。 図431は、実施の形態33における、電車の車内に適用される可視光通信システムの構成を示す図である。 図432は、実施の形態33における、遊園地などの施設に適用される可視光通信システムの構成を示す図である。 図433は、実施の形態33における、遊具とスマートフォンとからなる可視光通信システムの一例を示す図である。 図434は、実施の形態34における送信信号の一例を示す図である。 図435は、実施の形態34における送信信号の一例を示す図である。 図436は、実施の形態34における送信信号の一例を示す図である。 図437は、実施の形態34における送信信号の一例を示す図である。 図438は、実施の形態34における送信信号の一例を示す図である。 図439は、実施の形態34における送信信号の一例を示す図である。 図440は、実施の形態34における送信信号の一例を示す図である。 図441は、実施の形態34における受信アルゴリズムの一例を示す図である。 図442は、実施の形態34における受信アルゴリズムの一例を示す図である。 図443は、実施の形態34における受信アルゴリズムの一例を示す図である。 図444は、実施の形態34における受信アルゴリズムの一例を示す図である。 図445は、実施の形態35における送信信号の一例を示す図である。 図446は、実施の形態35における送信信号の一例を示す図である。 図447は、実施の形態35における送信信号の一例を示す図である。 図448は、実施の形態35における送信信号の一例を示す図である。 図449は、実施の形態35における送信信号の一例を示す図である。 図450は、実施の形態35における送信信号の一例を示す図である。 図451は、実施の形態35における送信信号の一例を示す図である。 図452は、実施の形態35における送信信号の一例を示す図である。 図453は、実施の形態35における送受信システムの一例を示す図である。 図454は、実施の形態35における送受信システムの処理の一例を示すフローチャートである。 図455は、実施の形態35におけるサーバの動作を示すフローチャートである。 図456は、実施の形態35における受信機の動作の一例を示すフローチャートである。 図457は、実施の形態35における簡易モードでの進捗状況の計算方法を示すフローチャートである。 図458は、実施の形態35における最尤推定モードでの進捗状況の計算方法を示すフローチャートである。 図459は、実施の形態35における進捗状況が減少しない表示方法を示すフローチャートである。 図460は、実施の形態35における複数のパケット長がある場合の進捗状況の表示方法を示すフローチャートである。 図461は、実施の形態35における受信機の動作状態の一例を示す図である。 図462は、実施の形態35における送信信号の一例を示す図である。 図463は、実施の形態35における送信信号の一例を示す図である。 図464は、実施の形態35における送信信号の一例を示す図である。 図465は、実施の形態35における送信信号の一例を示す図である。 図466は、実施の形態35における送信機の一例を示すブロック図である。 図467は、実施の形態35におけるLEDディスプレイを本発明の光ID変調信号で駆動する場合のタイミングチャートを示す図である。 図468は、実施の形態35におけるLEDディスプレイを本発明の光ID変調信号で駆動する場合のタイミングチャートを示す図である。 図469は、実施の形態35におけるLEDディスプレイを本発明の光ID変調信号で駆動する場合のタイミングチャートを示す図である。 図470Aは、本発明の一態様に係る送信方法を示すフローチャートである。 図470Bは、本発明の一態様に係る送信装置の機能構成を示すブロック図である。 図471は、実施の形態35における送信信号の一例を示す図である。 図472は、実施の形態35における送信信号の一例を示す図である。 図473は、実施の形態35における送信信号の一例を示す図である。 図474は、実施の形態35における送信信号の一例を示す図である。 図475は、実施の形態35における送信信号の一例を示す図である。 図476は、実施の形態35における送信信号の一例を示す図である。
 本発明の一態様に係る送信方法は、輝度変化によって可視光信号を送信する送信方法であって、可視光信号を変調することにより、輝度変化パターンを決定する決定ステップと、ディスプレイに備えられた光源群に含まれる、それぞれ映像中の画素を表すための複数の光源を共通に点灯させるための共通スイッチを、前記輝度変化パターンにしたがってスイッチングする共通スイッチ制御ステップと、前記光源群に含まれる複数の光源のうちの第1の光源を点灯させるための第1の画素スイッチをオンにすることにより、前記共通スイッチがオンであり、かつ、前記第1の画素スイッチがオンである期間のみに、前記第1の光源を点灯させることによって、前記可視光信号を送信する第1の画素スイッチ制御ステップとを含む。
 これにより、例えば図463~図470Bに示すように、複数のLEDなどを光源として備えたディスプレイから可視光信号を適切に送信することができる。したがって、照明以外の機器を含む態様な機器間の通信を可能とする。また、そのディスプレイが、共通スイッチおよび第1の画素スイッチの制御によって映像を表示するためのディスプレイである場合、その共通スイッチおよび第1の画素スイッチを利用して、可視光信号を送信することができる。したがって、ディスプレイに映像表示するための構成に対して大幅な変更を行うことなく、簡単に可視光信号を送信することができる。
 また、前記決定ステップでは、前記輝度変化パターンをシンボル周期ごとに決定し、前記第1の画素スイッチ制御ステップでは、前記シンボル周期に同期させて、前記第1の画素スイッチをスイッチングしてもよい。
 これにより、例えば図463に示すように、シンボル周期が例えば1/2400秒であっても、そのシンボル周期にしたがって可視光信号を適切に送信することができる。
 また、前記第1の画素スイッチ制御ステップでは、前記ディスプレイに映像を表示させるときには、前記第1の光源に対応する、前記映像中の画素の画素値を表現するための点灯期間のうち、前記可視光信号の送信のために前記第1の光源が消灯される期間だけ、前記点灯期間を補うように、前記第1の画素スイッチをスイッチングしてもよい。例えば、前記映像中の画素の画素値を変更することによって、前記点灯期間を補ってもよい。
 これにより、例えば図463および図465に示すように、可視光信号の送信のために第1の光源が消灯される場合でも、点灯期間が補われるため、本来の映像を崩すことなく適切に表示することができる。
 また、前記シンボル周期の1/2の周期で前記画素値を変更してもよい。
 これにより、例えば図465に示すように、映像の表示と可視光信号の送信とを適切に行うことができる。
 また、前記送信方法は、さらに、前記光源群に含まれる、前記第1の光源の周囲にある第2の光源を点灯させるための第2の画素スイッチをオンにすることにより、前記共通スイッチがオンであり、かつ、前記第2の画素スイッチがオンである期間のみに、前記第2の光源を点灯させることによって、前記可視光信号を送信する第2の画素スイッチ制御ステップとを含み、前記第1および第2の画素スイッチ制御ステップでは、前記第1および第2の光源のそれぞれから、前記可視光信号に含まれる同一のシンボルを同時に送信するときには、前記第1および第2の画素スイッチのそれぞれが前記同一のシンボルを送信するためにオンまたはオフする複数のタイミングのうち、前記同一のシンボルに固有の輝度の立ち上がりが得られるタイミングを、前記第1および第2の画素スイッチのそれぞれで同一にし、他のタイミングを、前記第1および第2の画素スイッチのそれぞれで異ならせ、前記同一のシンボルが送信される期間における、前記第1および第2の光源の全体の平均輝度を、予め定められた輝度に一致させてもよい。
 これにより、例えば図464に示すように、空間的に平均化された輝度において、シンボルに固有の輝度の立ち上がりが得られるタイミングでのみ、その立ち上がりを急峻にすることができ、受信エラーの発生を抑えることができる。
 また、前記第1の画素スイッチ制御ステップでは、第1の期間と、前記第1の期間に続く第2の期間とで、前記可視光信号に含まれる同一のシンボルを送信するときには、前記第1および第2の期間のそれぞれにおいて、前記第1の画素スイッチが前記同一のシンボルを送信するためにオンまたはオフする複数のタイミングのうち、前記同一のシンボルに固有の輝度の立ち上がりが得られるタイミングを同一にし、他のタイミングを異ならせ、前記第1および第2の期間の全体における前記第1の光源の平均輝度を、予め定められた輝度に一致させてもよい。
 これにより、例えば図464に示すように、時間的に平均化された輝度において、シンボルに固有の輝度の立ち上がりが得られるタイミングでのみ、その立ち上がりを急峻にすることができ、受信エラーの発生を抑えることができる。
 また、前記第1の画素スイッチ制御ステップでは、前記共通スイッチが前記輝度変化パターンにしたがってスイッチングしている信号送信期間中、前記第1の画素スイッチをオンにし、前記送信方法は、さらに、前記信号送信期間と異なる映像表示期間中、前記共通スイッチをオンにし、前記映像表示期間において前記第1の画素スイッチを表示対象の映像にしたがってオンにすることにより、前記共通スイッチがオンであり、かつ、前記第1の画素スイッチがオンである期間のみに、前記第1の光源を点灯させることによって、前記映像中の画素を表示する映像表示ステップを含んでもよい。
 これにより、映像の表示と可視光信号の送信とが互いに異なる期間に行われるためその表示と送信を簡単に行うことができる。
 なお、これらの包括的または具体的な態様は、装置、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、装置、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
 以下、実施の形態について、図面を参照しながら具体的に説明する。
 なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
 (実施の形態1)
 以下、実施の形態1について説明する。
 (発光部の輝度の観測)
 1枚の画像を撮像するとき、全ての撮像素子を同一のタイミングで露光させるのではなく、撮像素子ごとに異なる時刻に露光を開始・終了する撮像方法を提案する。図1は、1列に並んだ撮像素子は同時に露光させ、列が近い順に露光開始時刻をずらして撮像する場合の例である。ここでは、同時に露光する撮像素子の露光ラインと呼び、その撮像素子に対応する画像上の画素のラインを輝線と呼ぶ。
 この撮像方法を用いて、点滅している光源を撮像素子の全面に写して撮像した場合、図2のように、撮像画像上に露光ラインに沿った輝線(画素値の明暗の線)が生じる。この輝線のパターンを認識することで、撮像フレームレートを上回る速度の光源輝度変化を推定することができる。これにより、信号を光源輝度の変化として送信することで、撮像フレームレート以上の速度での通信を行うことができる。光源が2種類の輝度値をとることで信号を表現する場合、低い方の輝度値をロー(LO),高い方の輝度値をハイ(HI)と呼ぶ。ローは光源が光っていない状態でも良いし、ハイよりも弱く光っていても良い。
 この方法によって、撮像フレームレートを超える速度で情報の伝送を行う。
 一枚の撮像画像中に、露光時間が重ならない露光ラインが20ラインあり、撮像のフレームレートが30fpsのときは、1.67ミリ秒周期の輝度変化を認識できる。露光時間が重ならない露光ラインが1000ラインある場合は、3万分の1秒(約33マイクロ秒)周期の輝度変化を認識できる。なお、露光時間は例えば10ミリ秒よりも短く設定される。
 図2は、一つの露光ラインの露光が完了してから次の露光ラインの露光が開始される場合を示している。
 この場合、1秒あたりのフレーム数(フレームレート)がf、1画像を構成する露光ライン数がlのとき、各露光ラインが一定以上の光を受光しているかどうかで情報を伝送すると、最大でflビット毎秒の速度で情報を伝送することができる。
 なお、ラインごとではなく、画素ごとに時間差で露光を行う場合は、さらに高速で通信が可能である。
 このとき、露光ラインあたりの画素数がm画素であり、各画素が一定以上の光を受光しているかどうかで情報を伝送する場合には、伝送速度は最大でflmビット毎秒となる。
 図3のように、発光部の発光による各露光ラインの露光状態を複数のレベルで認識可能であれば、発光部の発光時間を各露光ラインの露光時間より短い単位の時間で制御することで、より多くの情報を伝送することができる。
 露光状態をElv段階で認識可能である場合には、最大でflElvビット毎秒の速度で情報を伝送することができる。
 また、各露光ラインの露光のタイミングと少しずつずらしたタイミングで発光部を発光させることで、発信の基本周期を認識することができる。
 図4は、一つの露光ラインの露光が完了する前に次の露光ラインの露光が開始される場合を示している。即ち、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成となっている。このような構成により、(1)一つの露光ラインの露光時間の終了を待って次の露光ラインの露光を開始する場合に比べ、所定の時間内におけるサンプル数を多くすることができる。所定時間内におけるサンプル数が多くなることにより、被写体である光送信機が発生する光信号をより適切に検出することが可能となる。即ち、光信号を検出する際のエラー率を低減することが可能となる。更に、(2)一つの露光ラインの露光時間の終了を待って次の露光ラインの露光を開始する場合に比べ、各露光ラインの露光時間を長くすることができるため、被写体が暗い場合であっても、より明るい画像を取得することが可能となる。即ち、S/N比を向上させることが可能となる。なお、全ての露光ラインにおいて、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成となる必要はなく、一部の露光ラインについて部分的に時間的な重なりを持たない構成とすることも可能である。一部の露光ラインについて部分的に時間的な重なりを持たないように構成するにより、撮像画面上における露光時間の重なりによる中間色の発生を抑制でき、より適切に輝線を検出することが可能となる。
 この場合は、各露光ラインの明るさから露光時間を算出し、発光部の発光の状態を認識する。
 なお、各露光ラインの明るさを、輝度が閾値以上であるかどうかの2値で判別する場合には、発光していない状態を認識するために、発光部は発光していない状態を各ラインの露光時間以上の時間継続しなければならない。
 図5Aは、各露光ラインの露光開始時刻が等しい場合に、露光時間の違いによる影響を示している。7500aは前の露光ラインの露光終了時刻と次の露光ラインの露光開始時刻とが等しい場合であり、7500bはそれより露光時間を長くとった場合である。7500bのように、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成とすることにより、露光時間を長くとることが可能となる。即ち、撮像素子に入射する光が増大し、明るい画像を得ることができる。また、同一の明るさの画像を撮像するための撮像感度を低く抑えられることで、ノイズの少ない画像が得られるため、通信エラーが抑制される。
 図5Bは、露光時間が等しい場合に、各露光ラインの露光開始時刻の違いによる影響を示している。7501aは前の露光ラインの露光終了時刻と次の露光ラインの露光開始時刻とが等しい場合であり、7501bは前の露光ラインの露光終了より早く次の露光ラインの露光を開始する場合である。7501bのように、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成とすることにより、時間あたりに露光できるラインを増やすことが可能となる。これにより、より解像度が高くなり、多くの情報量が得られる。サンプル間隔(=露光開始時刻の差)が密になることで、より正確に光源輝度の変化を推定することができ、エラー率が低減でき、更に、より短い時間における光源輝度の変化を認識することができる。露光時間に重なりを持たせることで、隣接する露光ラインの露光量の差を利用して、露光時間よりも短い光源の点滅を認識することができる。
 図5A、図5Bで説明したように、隣接する露光ラインの露光時間が、部分的に時間的な重なりをもつように、各露光ラインを順次露光する構成において、露光時間を通常撮影モードよりも短く設定することにより発生する輝線パターンを信号伝送に用いることにより通信速度を飛躍的に向上させることが可能になる。ここで、可視光通信時における露光時間を1/480秒以下に設定することにより適切な輝線パターンを発生させることが可能となる。ここで、露光時間は、フレーム周波数=fとすると、露光時間<1/8×fと設定する必要がある。撮影の際に発生するブランキングは、最大で1フレームの半分の大きさになる。即ち、ブランキング時間は、撮影時間の半分以下であるため、実際の撮影時間は、最も短い時間で1/2fとなる。更に、1/2fの時間内において、4値の情報を受ける必要があるため、少なくとも露光時間は、1/(2f×4)よりも短くする必要が生じる。通常フレームレートは、60フレーム/秒以下であることから、1/480秒以下の露光時間に設定することにより、適切な輝線パターンを画像データに発生させ、高速の信号伝送を行うことが可能となる。
 図5Cは、各露光ラインの露光時間が重なっていない場合、露光時間が短い場合の利点を示している。露光時間が長い場合は、光源は7502aのように2値の輝度変化をしていたとしても、撮像画像では7502eのように中間色の部分ができ、光源の輝度変化を認識することが難しくなる傾向がある。しかし、7502dのように、一つの露光ラインの露光終了後、次の露光ラインの露光開始まで所定の露光しない空き時間(所定の待ち時間)tD2を設ける構成とすることにより、光源の輝度変化を認識しやすくすることが可能となる。即ち、7502fのような、より適切な輝線パターンを検出することが可能となる。7502dのように、所定の露光しない空き時間を設ける構成は、露光時間tを各露光ラインの露光開始時刻の時間差tよりも小さくすることにより実現することが可能となる。通常撮影モードが、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成である場合において、露光時間を通常撮影モード時よりも、所定の露光しない空き時間が生じるまで短く設定することにより、実現することができる。また、通常撮影モードが、前の露光ラインの露光終了時刻と次の露光ラインの露光開始時刻とが等しい場合であっても、所定の露光しない時間が生じるまで露光時間を短く設定することにより、実現することができる。また、7502gのように、各露光ラインの露光開始時刻の間隔tを大きくすることによっても、一つの露光ラインの露光終了後、次の露光ラインの露光開始まで所定の露光しない空き時間(所定の待ち時間)tD2を設ける構成をとることができる。この構成では、露光時間を長くすることができるため、明るい画像を撮像することができ、ノイズが少なくなることからエラー耐性が高い。一方で、この構成では、一定時間内に露光できる露光ラインが少なくなるため、7502hのように、サンプル数が少なくなるという欠点があるため、状況によって使い分けることが望ましい。例えば、撮像対象が明るい場合には前者の構成を用い、暗い場合には後者の構成を用いることで、光源輝度変化の推定誤差を低減することができる。
 なお、全ての露光ラインにおいて、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成となる必要はなく、一部の露光ラインについて部分的に時間的な重なりを持たない構成とすることも可能である。また、全ての露光ラインにおいて、一つの露光ラインの露光終了後、次の露光ラインの露光開始まで所定の露光しない空き時間(所定の待ち時間)を設ける構成となる必要はなく、一部の露光ラインについて部分的に時間的な重なりを持つ構成とすることも可能である。このような構成とすることにより、それぞれの構成における利点を生かすことが可能となる。また、通常のフレームレート(30fps、60fps)にて撮影を行う通常撮影モードと、可視光通信を行う1/480秒以下の露光時間にて撮影を行う可視光通信モードとにおいて、同一の読み出し方法または回路にて信号の読み出しを行ってもよい。同一の読み出し方法または回路にて信号を読み出すことにより、通常撮影モードと、可視光通信モードとに対して、それぞれ別の回路を用いる必要がなくなり、回路規模を小さくすることが可能となる。
 図5Dは、光源輝度の最小変化時間tと、露光時間tと、各露光ラインの露光開始時刻の時間差tと、撮像画像との関係を示している。t+t<tとした場合は、必ず一つ以上の露光ラインが露光の開始から終了まで光源が変化しない状態で撮像するため、7503dのように輝度がはっきりとした画像が得られ、光源の輝度変化を認識しやすい。2t>tとした場合は、光源の輝度変化とは異なるパターンの輝線が得られる場合があり、撮像画像から光源の輝度変化を認識することが難しくなる。
 図5Eは、光源輝度の遷移時間tと、各露光ラインの露光開始時刻の時間差tとの関係を示している。tに比べてtが大きいほど、中間色になる露光ラインが少なくなり、光源輝度の推定が容易になる。t>tのとき中間色の露光ラインは連続で2ライン以下になり、望ましい。tは、光源がLEDの場合は1マイクロ秒以下、光源が有機ELの場合は5マイクロ秒程度となるため、tを5マイクロ秒以上とすることで、光源輝度の推定を容易にすることができる。
 図5Fは、光源輝度の高周波ノイズtHTと、露光時間tとの関係を示している。tHTに比べてtが大きいほど、撮像画像は高周波ノイズの影響が少なくなり、光源輝度の推定が容易になる。tがtHTの整数倍のときは高周波ノイズの影響がなくなり、光源輝度の推定が最も容易になる。光源輝度の推定には、t>tHTであることが望ましい。高周波ノイズの主な原因はスイッチング電源回路に由来し、多くの電灯用のスイッチング電源ではtHTは20マイクロ秒以下であるため、tを20マイクロ秒以上とすることで、光源輝度の推定を容易に行うことができる。
 図5Gは、tHTが20マイクロ秒の場合の、露光時間tと高周波ノイズの大きさとの関係を表すグラフである。tHTは光源によってばらつきがあることを考慮すると、グラフより、tは、ノイズ量が極大をとるときの値と等しくなる値である、15マイクロ秒以上、または、35マイクロ秒以上、または、54マイクロ秒以上、または、74マイクロ秒以上として定めると効率が良いことが確認できる。高周波ノイズ低減の観点からはtは大きいほうが望ましいが、前述のとおり、tが小さいほど中間色部分が発生しづらくなるという点で光源輝度の推定が容易になるという性質もある。そのため、光源輝度の変化の周期が15~35マイクロ秒のときはtは15マイクロ秒以上、光源輝度の変化の周期が35~54マイクロ秒のときはtは35マイクロ秒以上、光源輝度の変化の周期が54~74マイクロ秒のときはtは54マイクロ秒以上、光源輝度の変化の周期が74マイクロ秒以上のときはtは74マイクロ秒以上として設定すると良い。
 図5Hは、露光時間tと認識成功率との関係を示す。露光時間tは光源の輝度が一定である時間に対して相対的な意味を持つため、光源輝度が変化する周期tを露光時間tで割った値(相対露光時間)を横軸としている。グラフより、認識成功率をほぼ100%としたい場合は、相対露光時間を1.2以下にすれば良いことがわかる。例えば、送信信号を1kHzとする場合は露光時間を約0.83ミリ秒以下とすれば良い。同様に、認識成功率を95%以上としたい場合は相対露光時間を1.25以下に、認識成功率を80%以上としたい場合は相対露光時間を1.4以下にすれば良いということがわかる。また、相対露光時間が1.5付近で認識成功率が急激に下がり、1.6でほぼ0%となるため、相対露光時間が1.5を超えないように設定すべきであることがわかる。また、認識率が7507cで0になった後、7507dや、7507e、7507fで、再度上昇していることがわかる。そのため、露光時間を長くして明るい画像を撮像したい場合などは、相対露光時間が1.9から2.2、2.4から2.6、2.8から3.0となる露光時間を利用すれば良い。例えば、図7の中間モードとして、これらの露光時間を使うと良い。
 図6Aは、本実施の形態における情報通信方法のフローチャートである。
 本実施の形態における情報通信方法は、被写体から情報を取得する情報通信方法であって、ステップSK91~SK93を含む。
 つまり、この情報通信方法は、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる複数の露光ラインに対応する複数の輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの第1の露光時間を設定する第1の露光時間設定ステップSK91と、前記イメージセンサが、輝度変化する前記被写体を、設定された前記第1の露光時間で撮影することによって、前記複数の輝線を含む輝線画像を取得する第1の画像取得ステップSK92と、取得された前記輝線画像に含まれる前記複数の輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップSK93とを含み、前記第1の画像取得ステップSK92では、前記複数の露光ラインのそれぞれは、順次異なる時刻で露光を開始し、かつ、当該露光ラインに隣接する隣接露光ラインの露光が終了してから所定の空き時間経過後に、露光を開始する。
 図6Bは、本実施の形態における情報通信装置のブロック図である。
 本実施の形態における情報通信装置K90は、被写体から情報を取得する情報通信装置であって、構成要素K91~K93を備える。
 つまり、この情報通信装置K90は、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる複数の露光ラインに対応する複数の輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定部K91と、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記複数の輝線を含む輝線画像を取得する前記イメージセンサを有する画像取得部K92と、取得された前記輝線画像に含まれる前記複数の輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得部K93とを備え、前記複数の露光ラインのそれぞれは、順次異なる時刻で露光を開始し、かつ、当該露光ラインに隣接する隣接露光ラインの露光が終了してから所定の空き時間経過後に、露光を開始する。
 このような図6Aおよび図6Bによって示される情報通信方法および情報通信装置K90では、例えば図5Cなどに示すように、複数の露光ラインのそれぞれは、その露光ラインに隣接する隣接露光ラインの露光が終了してから所定の空き時間経過後に、露光を開始するため、被写体の輝度変化を認識しやすくすることができる。その結果、被写体から情報を適切に取得することができる。
 なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。例えばプログラムは、図6Aのフローチャートによって示される情報通信方法をコンピュータに実行させる。
 (実施の形態2)
 本実施の形態では、上記実施の形態1における情報通信装置K90であるスマートフォンなどの受信機と、LEDや有機ELなどの光源の点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
 図7は、本実施の形態における受信機の各モードの一例を示す図である。
 受信機8000は、通常撮影モードでは、例えば1/100秒のシャッター速度で撮影することによって、通常撮影画像を取得し、その通常撮影画像をディスプレイに表示する。この場合、その通常撮影画像には、例えば街灯や、店舗の看板として構成されるサイネージなどの被写体とその周囲が鮮明に映し出されている。
 また、受信機8000は、可視光通信モードでは、例えば1/10000秒のシャッター速度で撮影することによって、可視光通信画像を取得する。例えば、上述の街灯やサイネージが、上記実施の形態1に示す光源、つまり送信機として、輝度変化によって信号を送信している場合には、この可視光通信画像において、信号が送信されている箇所には、1つまたは複数の輝線(以下、輝線模様という)が映し出されて、その箇所以外には、何も映し出されていない。つまり、この可視光通信画像では、輝線模様だけが映し出され、被写体の輝度変化をしていない部分および被写体の周囲は映し出されていない。
 また、受信機8000は、中間モードでは、例えば1/3000秒のシャッター速度で撮影することによって、中間画像を取得する。この中間画像では、輝線模様が映し出されているとともに、上述の被写体の輝度変化していない部分および被写体の周囲も映し出されている。したがって、受信機8000がその中間画像をディスプレイに表示することによって、ユーザは、どこから、またはどの位置から信号が送信されているかを知ることができる。なお、この中間画像によって映し出される輝線模様、被写体およびその周囲はそれぞれ、可視光通信画像の輝線模様と通常撮影画像の被写体およびその周囲よりも鮮明ではないが、ユーザによって認識される鮮明度を有する。
 なお、以下の説明では、通常撮影モード、または通常撮影モードによる撮影を通常撮影といい、可視光通信モード、または可視光通信モードによる撮影を可視光撮影(可視光通信)という。また、通常撮影および可視光撮影の代わりに、中間モードによる撮影を用いてもよく、後述の合成画像の代わりに中間画像を用いてもよい。
 図8は、本実施の形態における受信機の撮影動作の一例を示す図である。
 受信機8000は、撮影モードを通常撮影、可視光通信、通常撮影、・・・のように切り替える。そして、受信機8000は、通常撮影画像と可視光通信画像とを合成することによって、輝線模様と被写体およびその周囲とが鮮明に映し出された合成画像を生成し、その合成画像をディスプレイに表示する。この合成画像は、通常撮影画像における信号が送信されている箇所に、可視光通信画像の輝線模様を重畳することによって生成された画像である。また、この合成画像によって映し出される輝線模様、被写体およびその周囲はそれぞれ鮮明であって、ユーザによって十分に認識される鮮明度を有する。このような合成画像が表示されることによって、ユーザは、どこから、またはどの位置から信号が送信されているかをより明確に知ることができる。
 図9は、本実施の形態における受信機の撮影動作の他の例を示す図である。
 受信機8000は、カメラCa1およびカメラCa2を備える。このような受信機8000では、カメラCa1は通常撮影を行い、カメラCa2は可視光撮影を行う。これにより、カメラCa1は、上述のような通常撮影画像を取得し、カメラCa2は、上述のような可視光通信画像を取得する。そして、受信機8000は、通常撮影画像および可視光通信画像を合成することによって、上述の合成画像を生成してディスプレイに表示する。
 図10Aは、本実施の形態における受信機の撮影動作の他の例を示す図である。
 2つのカメラを有する上記受信機8000では、カメラCa1は、撮影モードを通常撮影、可視光通信、通常撮影、・・・のように切り替える。一方、カメラCa2は、通常撮影を継続して行う。そして、カメラCa1とカメラCa2とで同時に通常撮影が行われているときには、受信機8000は、それらのカメラによって取得された通常撮影画像から、ステレオ視(三角測量の原理)を利用して、受信機8000から被写体までの距離(以下、被写体距離という)を推定する。このように推定された被写体距離を用いることによって、受信機8000は、可視光通信画像の輝線模様を通常撮影画像の適切な位置に重畳することができる。つまり、適切な合成画像を生成することができる。
 図10Bは、本実施の形態における受信機の撮影動作の他の例を示す図である。
 受信機8000は、例えば3つのカメラ(カメラCa1、カメラCa2およびカメラCa3)を備える。このような受信機8000では、2つのカメラ(カメラCa2およびカメラCa3)は通常撮影を継続して行い、残りの1つのカメラ(カメラCa1)は可視光通信を継続して行う。これにより、どのようなタイミングでも、通常撮影している2つのカメラによって得られる通常撮影画像に基づいて、被写体距離を推定することができる。
 図10Cは、本実施の形態における受信機の撮影動作の他の例を示す図である。
 受信機8000は、例えば3つのカメラ(カメラCa1、カメラCa2およびカメラCa3)を備える。このような受信機8000では、それぞれのカメラは撮影モードを通常撮影、可視光通信、通常撮影、・・・のように切り替える。ここで、1つの期間では、これらのカメラのうちの何れか2つのカメラが通常撮影を行い、残りの1つのカメラが可視光通信を行うように、それぞれのカメラの撮影モードが期間ごとに切り替えられる。つまり、通常撮影しているカメラの組み合わせが周期的に変化する。これにより、何れの期間でも、通常撮影している2つのカメラによって得られる通常撮影画像に基づいて、被写体距離を推定することができる。
 図11Aは、本実施の形態における受信機のカメラ配置の一例を示す図である。
 受信機8000が2つのカメラCa1およびCa2を備える場合には、図11Aに示すように、2つのカメラCa1およびCa2は互いに離れた位置に配置される。これにより、被写体距離を精度よく推定することができる。つまり、2つのカメラの間の距離が長いほど、被写体距離を精度よく推定することができる。
 図11Bは、本実施の形態における受信機のカメラ配置の他の例を示す図である。
 受信機8000が3つのカメラCa1、カメラCa2およびカメラCa3を備える場合には、図11Bに示すように、通常撮影用の2つのカメラCa1およびCa2は互いに離れた位置に配置される。また、可視光通信用のカメラCa3は、例えばカメラCa1とカメラCa2との間に配置される。これにより、被写体距離を精度よく推定することができる。つまり、最も離れた2つのカメラを通常撮影に用いることによって、被写体距離を精度よく推定することができる。
 図12は、本実施の形態における受信機の表示動作の一例を示す図である。
 受信機8000は、上述のように、撮影モードを可視光通信、通常撮影、可視光通信、・・・のように切り替える。ここで、受信機8000は、最初に可視光通信を行うときに、アプリケーションプログラムを起動する。そして、受信機8000は、可視光通信によって受信した信号に基づいて、自らの位置を推定する。次に、受信機8000は、通常撮影を行うときには、その通常撮影によって取得された通常撮影画像に、AR(Augmented Reality)情報を表示する。このAR情報は、上述のように推定された位置などに基づいて取得されるものである。また、受信機8000は、9軸センサによる検出結果、および通常撮影画像の動き検出などに基づいて、受信機8000の移動および方向の変化を推定し、その推定された移動および方向の変化に合わせてAR情報の表示位置を移動させる。これにより、AR情報を通常撮影画像の被写体像に追随させることができる。
 また、受信機8000は、通常撮影から可視光通信に撮影モードを切り替えると、その可視光通信時には、直前の通常撮影時に取得された最新の通常撮影画像にAR情報を重畳する。そして、受信機8000は、AR情報が重畳された通常撮影画像を表示する。また、受信機8000は、通常撮影時と同様に、9軸センサによる検出結果に基づいて、受信機8000の移動および方向の変化を推定し、その推定された移動および方向の変化に合わせてAR情報および通常撮影画像を移動させる。これにより、可視光通信時にも、通常撮影時と同様に、受信機8000の移動などに合わせてAR情報を通常撮影画像の被写体像に追随させることができる。また、受信機8000の移動などに合わせて、その通常画像を拡大および縮小することができる。
 図13は、本実施の形態における受信機の表示動作の一例を示す図である。
 例えば、受信機8000は、図13の(a)に示すように、輝線模様が映し出された上記合成画像を表示してもよい。また、受信機8000は、図13の(b)に示すように、輝線模様の代わりに、信号が送信されていることを通知するための所定の色を有する画像である信号明示オブジェクトを通常撮影画像に重畳することによって合成画像を生成し、その合成画像を表示してもよい。
 また、受信機8000は、図13の(c)に示すように、信号が送信されている箇所が点線の枠と識別子(例えば、ID:101、ID:102など)とによって示されている通常撮影画像を合成画像として表示してもよい。また、受信機8000は、図13の(d)に示すように、輝線模様の代わりに、特定の種類の信号が送信されていることを通知するための所定の色を有する画像である信号識別オブジェクトを通常撮影画像に重畳することによって合成画像を生成し、その合成画像を表示してもよい。この場合、その信号識別オブジェクトの色は、送信機から出力されている信号の種類によって異なる。例えば、送信機から出力されている信号が位置情報である場合には、赤色の信号識別オブジェクトが重畳され、送信機から出力されている信号がクーポンである場合には、緑色の信号識別オブジェクトが重畳される。
 図14は、本実施の形態における受信機の動作の一例を示す図である。
 例えば、受信機8000は、可視光通信によって信号を受信した場合には、通常撮影画像を表示するとともに、送信機を発見したことをユーザに通知するための音を出力してもよい。この場合、受信機8000は、発見した送信機の個数、受信した信号の種類、または、その信号によって特定される情報の種類などによって、出力される音の種類、出力回数、または出力時間を異ならせてもよい。
 図15は、本実施の形態における受信機の動作の他の例を示す図である。
 例えば、合成画像に映し出された輝線模様にユーザがタッチすると、受信機8000は、そのタッチされた輝線模様に対応する被写体から送信された信号に基づいて、情報通知画像を生成し、その情報通知画像を表示する。この情報通知画像は、例えば、店舗のクーポンや場所などを示す。なお、輝線模様は、図13に示す信号明示オブジェクト、信号識別オブジェクト、または点線枠などであってもよい。以下に記載されている輝線模様についても同様である。
 図16は、本実施の形態における受信機の動作の他の例を示す図である。
 例えば、合成画像に映し出された輝線模様にユーザがタッチすると、受信機8000は、そのタッチされた輝線模様に対応する被写体から送信された信号に基づいて、情報通知画像を生成し、その情報通知画像を表示する。この情報通知画像は、例えば、受信機8000の現在地を地図などによって示す。
 図17は、本実施の形態における受信機の動作の他の例を示す図である。
 例えば、受信機8000は、送信機として構成された被写体である2つの街灯から信号を受信する。そして、受信機8000は、上述と同様に、これらの信号に基づいて自らの現在地を推定する。そして、受信機8000は、通常撮影画像を表示するとともに、その推定結果を示す情報通知画像(緯度および経度などを示す画像)を通常撮影画像に重畳して表示する。なお、受信機8000は、補助情報通知画像を通常撮影画像に重畳して表示してもよい。この補助情報通知画像は、例えば9軸センサ(特に、地磁気センサ)をキャリブレーションするための操作、つまりドリフトをキャンセルするための操作をユーザに勧めるものである。このような操作が行なわれることによって、上述の現在地が高い精度で推定される。
 また、表示された情報通知画像がユーザによってタッチされると、受信機8000は、通常撮影画像の代わりに、その推定された位置を示す地図を表示してもよい。
 図18は、本実施の形態における受信機の動作の他の例を示す図である。
 例えば、合成画像が表示されている受信機8000に対してユーザがスワイプを行うと、受信機8000は、図13の(c)に示す通常撮影画像と同様の、点線枠および識別子を有する通常撮影画像を表示するとともに、スワイプの操作に追随するように情報の一覧を表示する。この一覧には、各識別子によって示される箇所(送信機)から送信される信号によって特定される情報が示されている。また、スワイプは、例えば、受信機8000におけるディスプレイの右側の外から中に指を動かす操作であってもよい。なお、スワイプは、ディスプレイの上側から、下側から、または左側から中に指を動かす操作であってもよい。
 また、その一覧に含まれる情報がユーザによってタップされると、受信機8000は、その情報をより詳細に示す情報通知画像(例えばクーポンを示す画像)を表示してもよい。
 図19は、本実施の形態における受信機の動作の他の例を示す図である。
 例えば、合成画像が表示されている受信機8000に対してユーザがスワイプを行うと、受信機8000は、スワイプの操作に追随するように情報通知画像を合成画像に重畳して表示する。この情報通知画像は、被写体距離を矢印とともにユーザに分かり易く示すものである。また、スワイプは、例えば、受信機8000におけるディスプレイの下側の外から中に指を動かす操作であってもよい。なお、スワイプは、ディスプレイの左側から、上側から、または右側から中に指を動かす操作であってもよい。
 図20は、本実施の形態における受信機の動作の他の例を示す図である。
 例えば、受信機8000は、複数の店舗を示すサイネージである送信機を被写体として撮影し、その撮影によって取得された通常撮影画像を表示する。ここで、通常撮影画像に映し出された被写体に含まれる、1つの店舗のサイネージの画像をユーザがタップすると、受信機8000は、その店舗のサイネージから送信される信号に基づいて情報通知画像を生成し、その情報通知画像8001を表示する。この情報通知画像8001は、例えば店舗の空席状況などを示す画像である。
 図21は、本実施の形態における受信機と送信機とサーバとの動作の一例を示す図である。
 まず、テレビとして構成されている送信機8012は、輝度変化によって信号を受信機8011に送信する。この信号は、例えば、視聴されている番組に関連するコンテンツの購入をユーザに促すための情報を含む。受信機8011は、可視光通信によってその信号を受信すると、その信号に基づいて、コンテンツの購入をユーザに促す情報通知画像を表示する。ユーザがそのコンテンツを購入するための操作を行うと、受信機8011は、受信機8011に差し込まれているSIM(Subscriber Identity Module)カードに含まれる情報、ユーザID、端末ID、クレジットカード情報、課金のための情報、パスワード、および送信機IDのうちの少なくとも1つをサーバ8013に送信する。サーバ8013は、ユーザごとに、ユーザIDと支払い情報とを紐付けて管理している。そして、サーバ8013は、受信機8011から送信される情報に基づいて、ユーザIDを特定し、そのユーザIDに紐付けられた支払い情報を確認する。この確認によって、サーバ8013は、ユーザに対してコンテンツの購入を許可するか否かを判断する。そして、サーバ8013は、許可すると判断すると、許可情報を受信機8011に送信する。受信機8011は、許可情報を受信すると、その許可情報を送信機8012に送信する。許可情報を受信した送信機8012は、そのコンテンツを例えばネットワークを介して取得して再生する。
 また、送信機8012は、輝度変化することによって送信機8012のIDを含む情報を受信機8011に対して送信してもよい。この場合、受信機8011は、その情報をサーバ8013に送信する。サーバ8013は、その情報を取得すると、その送信機8012によって例えばテレビ番組が視聴されていると判断することができ、テレビ番組の視聴率調査を行うことができる。
 また、受信機8011は、ユーザによって操作された内容(投票など)を上述の情報に含めてサーバ8013に送信することによって、サーバ8013は、その内容をテレビ番組に反映することができる。つまり、視聴者参加型の番組を実現することができる。さらに、受信機8011は、ユーザによる書き込みを受け付けた場合には、その書き込みの内容を上述の情報に含めてサーバ8013に送信することによって、サーバ8013は、その書き込みをテレビ番組やネットワーク上の掲示板などに反映することができる。
 さらに、送信機8012が上述のような情報を送信することによって、サーバ8013は、有料放送またはオンデマンドプログラムによるテレビ番組の視聴に対して課金を行うことができる。また、サーバ8013は、受信機8011に対して広告を表示させたり、送信機8012に表示されるテレビ番組の詳細情報を表示させてり、その詳細情報を示すサイトのURLを表示させたりすることができる。さらに、サーバ8013は、受信機8011によって広告が表示された回数、または、その広告によって購入された商品の金額などを取得することによって、その回数または金額に応じた課金を広告主に対して行うことができる。このような金額による課金は、広告を見たユーザがその商品をすぐに購入しなくても行うことができる。また、サーバ8013は、送信機8012から受信機8011を介して送信機8012のメーカを示す情報を取得したときには、その情報によって示されるメーカに対してサービス(例えば、上述の商品の販売に対する報酬の支払い)を行うことができる。
 図22は、本実施の形態における受信機の動作の他の例を示す図である。
 例えば、ユーザは、受信機8021のカメラを、照明として構成された複数の送信機8020a~8020dに向ける。このとき、送信機8020a~8020dのそれぞれが順に被写体として撮影されるように受信機8021が動かされる。そして、受信機8021は、その動かされている間に可視光通信を行うことによって、各送信機8020a~8020dから信号を受信する。これらの信号には、送信機の位置を示す情報が含まれている。受信機8021は、その受信された送信機8020a~8020dからの信号によって示される位置と、受信機8021に備えられた9軸センサの検出結果と、撮影によって得られた画像の動きとに基づいて、三角測量の原理を用いて、受信機8021の位置を推定する。この場合には、受信機8021が動かされることによって、9軸センサ(特に、地磁気センサ)のドリフトが解消されため、より精度の高い位置を推定することができる。
 図23は、本実施の形態における受信機の動作の他の例を示す図である。
 受信機8030は、例えば、カメラを備えたヘッドマウントディスプレイとして構成されている。この受信機8030は、開始ボタンが押下されたときに、可視光通信モードによる撮影、つまり可視光通信を開始する。そして、可視光通信によって信号が受信された場合には、受信機8030は、その受信された信号に応じた情報をユーザに通知する。この通知は、例えば、受信機8030に備えられたスピーカから音声が出力されることによって行われたり、画像の表示によって行われる。また、可視光通信は、開始ボタンが押下されたとき以外にも、開始を指示する音声の入力が受信機8030に受け付けられたとき、または開始を指示する信号が無線通信で受信機8030に受信されたきに、開始されてもよい。また、受信機8030に備えられた9軸センサによって得られた値の変化幅が所定の範囲を超えたとき、または、通常撮影画像に輝線模様が少しでも現れたときに、可視光通信を開始してもよい。
 図24は、本実施の形態における受信機の初期設定の例を示す図である。
 受信機8030は、初期設定時には、位置合わせ画像8031を表示する。この位置合わせ画像8031は、受信機8030のカメラによる撮影によって得られる画像内においてユーザによって指し示される位置と、受信機8030によって表示される画像との位置合わせを行うためのものである。この位置合わせ画像8031によって示される円の位置にユーザが指先を合わせると、受信機8030は、その指先の位置と、円の位置とを関連付けて、位置合わせを行う。つまり、ユーザによって指し示される位置のキャリブレーションが行われる。
 図25は、本実施の形態における受信機の動作の他の例を示す図である。
 受信機8030は、可視光通信によって、信号が送信されている箇所を特定すると、その箇所に輝線模様が映し出された合成画像8034を表示する。ユーザは、その輝線模様に対してタップまたはダブルタップなどの操作を行う。受信機8030は、この操作を受け付けると、その操作の対象とされた輝線模様を特定し、その輝線模様に対応する箇所から送信されている信号に基づく情報通知画像8032を表示する。
 図26は、本実施の形態における受信機の動作の他の例を示す図である。
 受信機8030は、上述と同様に、合成画像8034を表示する。ここで、ユーザは、合成画像8034中の輝線模様を囲うように指先を動かす操作を行う。受信機8030は、この操作を受け付けると、その操作の対象とされた輝線模様を特定し、その輝線模様に対応する箇所から送信されている信号に基づく情報通知画像8032を表示する。
 図27は、本実施の形態における受信機の動作の他の例を示す図である。
 受信機8030は、上述と同様に、合成画像8034を表示する。ここで、ユーザは、合成画像8034中の輝線模様に指先を予め定められた時間以上あてる操作を行う。受信機8030は、この操作を受け付けると、その操作の対象とされた輝線模様を特定し、その輝線模様に対応する箇所から送信されている信号に基づく情報通知画像8032を表示する。
 図28は、本実施の形態における受信機の動作の他の例を示す図である。
 受信機8030は、上述と同様に、合成画像8034を表示する。ここで、ユーザは、スワイプによって指先を合成画像8034の輝線模様に向かって動かす操作を行う。受信機8030は、この操作を受け付けると、その操作の対象とされた輝線模様を特定し、その輝線模様に対応する箇所から送信されている信号に基づく情報通知画像8032を表示する。
 図29は、本実施の形態における受信機の動作の他の例を示す図である。
 受信機8030は、上述と同様に、合成画像8034を表示する。ここで、ユーザは、視線を合成画像8034の輝線模様に向けた状態を予め定められた時間以上継続する操作を行う。または、ユーザは、視線をその輝線模様に向けた状態で予め定めら回数だけ瞬きする操作を行う。受信機8030は、この操作を受け付けると、その操作の対象とされた輝線模様を特定し、その輝線模様に対応する箇所から送信されている信号に基づく情報通知画像8032を表示する。
 図30は、本実施の形態における受信機の動作の他の例を示す図である。
 受信機8030は、上述と同様に、合成画像8034を表示するとともに、合成画像8034中の輝線模様のそれぞれに関連付けられた矢印を表示する。これらの矢印は、輝線模様ごとに異なる方向に向いている。ここで、ユーザは、何れかの矢印に沿って頭を動かす操作を行う。受信機8030は、9軸センサによる検出結果に基づいてこの操作を受け付けると、その操作に対応する矢印、つまり頭を動かした方向に向いている矢印に関連付けられた輝線模様を特定する。そして、受信機8030は、その輝線模様に対応する箇所から送信されている信号に基づく情報通知画像8032を表示する。
 図31Aは、本実施の形態における受信機の操作に用いられるペンを示す図である。
 ペン8033は、輝度変化によって信号を送信する送信機8033aと、ボタン8033bと、ボタン8033cとを備える。ボタン8033bが押下されると、送信機8033aは、予め定められた第1の信号を送信し、ボタン8033cが押下されると、送信機8033aは、第1の信号とは異なる予め定められた第2の信号を送信する。
 図31Bは、本実施の形態におけるペンを用いた受信機の動作を示す図である。
 ペン8033は、上述のユーザの指先の代わりとして用いられ、スタイラスペンのように用いられる。また、ボタン8033bとボタン8033cとを使い分けることによって、ペン8033を通常のペンとして用いたり、消しゴムのように用いたりすることができる。
 図32は、本実施の形態における受信機の外観の一例を示す図である。
 受信機8030は、第1のタッチセンサ8030aと、第2のタッチセンサ8030bとを備えている。これらのタッチセンサは、受信機8030のフレームに取り付けられている。例えば、ユーザが第1のタッチセンサ8030aに指先を当てて動かすと、受信機8030は、ユーザに表示する画像上において、ポインタをその指先の動きに合わせて動かす。また、ユーザが第2のタッチセンサ8030bに触れると、受信機8030は、ユーザに表示する画像上においてポインタが当てられているオブジェクトを選択する処理を行う。
 図33は、本実施の形態における受信機の外観の他の例を示す図である。
 受信機8030は、タッチセンサ8030cを備えている。このタッチセンサ8030cは、受信機8030のフレームに取り付けられている。例えば、ユーザがタッチセンサ8030cに指先を当てて動かすと、受信機8030は、ユーザに表示する画像上において、ポインタをその指先の動きに合わせて動かす。また、ユーザがタッチセンサ8030cを押下すると、受信機8030は、ユーザに表示する画像上においてポインタが当てられているオブジェクトを選択する処理を行う。つまり、タッチセンサ8030cは、いわゆるクリッカブルタッチセンサとして構成されている。
 図34は、本実施の形態における受信機の動作の他の例を示す図である。
 受信機8030は、上述と同様に、合成画像8034を表示するとともに、合成画像8034中に上述のポインタ8035を表示する。受信機8030が第1のタッチセンサ8030aと、第2のタッチセンサ8030bとを備えている場合、ユーザは、第1のタッチセンサ8030aに指先を当てて動かすことによって、そのポインタを動かし、輝線模様であるオブジェクトにそのポインタを当てる。そして、ユーザは、第2のタッチセンサ8030bに触れることによって、その輝線模様を受信機8030に選択させる。受信機8030は、輝線模様を選択すると、その輝線模様の箇所から送信されている信号に基づく情報通知画像8032を表示する。
 また、受信機8030がタッチセンサ8030cを備えている場合、ユーザは、タッチセンサ8030cに指先を当てて動かすことによって、そのポインタを動かし、輝線模様であるオブジェクトにそのポインタを当てる。そして、ユーザは、タッチセンサ8030cを押下することによって、その輝線模様を受信機8030に選択させる。受信機8030は、輝線模様を選択すると、その輝線模様の箇所から送信されている信号に基づく情報通知画像8032を表示する。
 図35Aは、本実施の形態における受信機の動作の他の例を示す図である。
 受信機8030は、可視光通信を行うことによって得られた信号に基づいて、ジェスチャ確認画像8036を表示する。このジェスチャ確認画像8036は、例えばサービスをユーザに提供するために、そのユーザに所定のジェスチャを促すものである。
 図35Bは、本実施の形態における受信機を用いた応用例を示す図である。
 ユーザ8038は、受信機8030を装着して例えば店舗にいる。ここで、受信機8030は、ユーザ8038に上述のジェスチャ確認画像8036を表示する。ユーザ8038は、そのジェスチャ確認画像8036にしたがって所定のジェスチャを行う。ここで、店舗にいる店員8039は、受信機8037を装着している。受信機8037は、カメラを備えたヘッドマウントディスプレイとして構成されており、受信機8030と同一の構成を有していてもよい。受信機8037も、可視光通信を行うことによって得られた信号に基づいて、ジェスチャ確認画像8036を表示している。店員8039は、表示されているジェスチャ確認画像8036によって示される所定のジェスチャと、ユーザ8038によって行われているジェスチャとが一致していか否かを判断する。店員8039は、一致していると判断したときには、ユーザ8038に対して、ジェスチャ確認画像8036に関連付けられたサービスを提供する。
 図36Aは、本実施の形態における受信機の動作の他の例を示す図である。
 受信機8030は、可視光通信を行うことによって得られた信号に基づいて、ジェスチャ確認画像8040を表示する。このジェスチャ確認画像8040は、例えば無線通信を許可するために、ユーザに所定のジェスチャを促すものである。
 図36Bは、本実施の形態における受信機を用いた応用例を示す図である。
 ユーザ8038は、受信機8030を装着している。ここで、受信機8030は、ユーザ8038に上述のジェスチャ確認画像8040を表示する。ユーザ8038は、そのジェスチャ確認画像8040にしたがって所定のジェスチャを行う。ここで、ユーザ8038の周囲にいる人8041は、受信機8037を装着している。受信機8037は、カメラを備えたヘッドマウントディスプレイとして構成されており、受信機8030と同一の構成を有していてもよい。受信機8037は、ユーザ8038によって行われている所定のジェスチャを撮影することによって、そのジェスチャに含まれるパスワードなどの認証情報を取得する。そして、受信機8037は、その認証情報が予め定められた情報と一致すると判断すると、受信機8030との間の無線接続を確立する。この確立が行われた後には、受信機8030と受信機8037とは互いに無線通信を行うことができる。
 図37Aは、本実施の形態における送信機の動作の一例を示す図である。
 送信機は、例えば予め定められた周期で、信号1と信号2とを交互に送信する。信号1の送信と、信号2の送信とは、それぞれ可視光の点滅などの輝度変化によって行われる。また、信号1を送信するための輝度変化のパターンと、信号2を送信するための輝度変化のパターンとは互いに異なる。
 図37Bは、本実施の形態における送信機の動作の他の例を示す図である。
 送信機は、上述のように信号1と信号2とを連続して送信することなく、緩衝時間を空けて断続的に信号1と信号2とを送信してもよい。ここで、送信機は、緩衝時間には輝度変化を行わない。または、送信機は、緩衝時間には、緩衝時間であることを示す信号を輝度変化によって送信したり、信号1および信号2のそれぞれを送信するための輝度変化と異なる輝度変化を行ってもよい。これにより、受信機は信号1と信号2とを混信することなく適切に受信することができる。
 図38は、本実施の形態における送信機の動作の他の例を示す図である。
 送信機は、プリアンブル、ブロック1、ブロック2、ブロック3およびチェック信号からなる構成単位の信号列を、輝度変化によって繰り返し送信する。ここで、ブロック1は、プリアンブル、アドレス1、データ1およびチェック信号を有する。ブロック2およびブロック3もブロック1と同様に構成されている。また、ブロック1、ブロック2およびブロック3のそれぞれに含まれるデータを用いることによって、特定の情報が得られる。
 つまり、上述のような信号列では、1つのデータまたは情報が3つのブロックに分けて格納されている。したがって、撮影にブランキング期間が必要である受信機は、1つの信号列からブロック1、ブロック2およびブロック3の全てのデータを受信することができなくても、他の信号列から残りのデータを受信することができる。その結果、ブランキング期間を要する受信機であっても、少なくとも1つの信号列から特定の情報を適切に取得することができる。
 また、上述のような信号列では、3つのブロックの集合に対してプリアンブルとチェック信号とが配置されている。したがって、ブランキング期間を要することなく受光可能な受信機、例えば、照度センサなどを備えた受信機は、その集合に対して配置されたプリアンブルとチェック信号とを用いることによって、1つの信号列を一度に受信することができ、特定の情報を短期間に取得することができる。
 図39は、本実施の形態における送信機の動作の他の例を示す図である。
 送信機は、上述のように、ブロック1、ブロック2およびブロック3を含む構成単位の信号列を繰り返し送信する際には、信号列ごとに、その信号列に含まれるブロックの配置を変更してもよい。例えば、最初の信号列には、ブロック1、ブロック2、ブロック3の順に各ブロックが配置され、次の信号列には、ブロック3、ブロック1、ブロック2の順に各ブロックが配置される。これにより、周期的なブランキング期間を要する受信機によって同じブロックだけが取得されることを避けることができる。
 図40は、本実施の形態における複数の送信機と受信機との間の通信形態の一例を示す図である。
 受信機8050は、照明として構成される送信機8051aおよび送信機8051bから送信されて反射面で反射された信号(可視光)を受信してもよい。これにより、多くの送信機からの信号を纏めて受信することができる。また、この場合には、送信機8051aおよび送信機8051bはそれぞれ互いに異なる周波数またはプロトコルの信号を送信する。これにより、受信機8050はそれらの送信機からの信号を混信せずに受信することができる。
 図41は、本実施の形態における複数の送信機の動作の一例を示す図である。
 送信機8051aおよび送信機8051bのうちの一方は、他方からの信号の送信状況を監視し、他方の信号との混信を防ぐように、信号を送信してもよい。例えば、一方の送信機は、他方の送信機から送信された信号を受信し、その信号と異なるプロトコルの信号を送信する。または、一方の送信機は、他方の送信機から信号が送信されていない期間を検出し、その期間に信号を送信する。
 図42は、本実施の形態における複数の送信機と受信機との間の通信形態の他の例を示す図である。
 送信機8051aおよび送信機8051bは、それぞれ同じ周波数またはプロトコルの信号を送信してもよい。この場合、受信機8050は、それらの送信機から送信される信号の強度、すなわち、撮影によって得られた画像に含まれる輝線のエッジ強度を特定する。この強度は、受信機8050と送信機との間の距離が長いほど弱くなる。受信機8050と送信機8051aおよび送信機8051bのそれぞれとの間の距離が異なる場合には、このような距離の違いを利用することができる。つまり、受信機8050は、その特定された強度によって、送信機8051aおよび送信機8051bのそれぞれから送信された信号を適切に分離して受信することができる。
 図43は、本実施の形態における受信機の動作の他の例を示す図である。
 受信機8050は、送信機8051aから送信されて反射面で反射された信号を受信する。このとき、受信機8050は、撮影によって得られた画像内における輝度の強度分布(複数の位置での輝度の差)に基づいて送信機8051aの位置を推定してもよい。
 図44は、本実施の形態における受信機の応用例を示す図である。
 例えばスマートフォンとして構成される受信機7510aは、バックカメラ(アウトカメラ)7510cで光源7510bを撮像し、光源7510bから送信された信号を受信し、受信した信号から光源7510bの位置と向きを取得する。受信機7510aは、光源7510bの撮像画像中における写り方や、受信機7510aに備えた9軸センサのセンサ値から、受信機7510a自身の位置と向きを推定する。受信機7510aは、フロントカメラ(フェイスカメラ、インカメラ)7510fで、ユーザ7510eを撮像し、画像処理によって、7510eの頭部の位置と向き、及び、視線方向(眼球の位置と向き)を推定する。受信機7510aは、推定結果をサーバに送信する。受信機7510aは、ユーザ7510eの視線方向に応じて挙動(ディスプレイの表示内容や再生音)を変更する。バックカメラ7510cによる撮像と、フロントカメラ7510fによる撮像は、同時に行なっても良いし、交互に行なっても良い。
 図45は、本実施の形態における受信機の応用例を示す図である。
 例えばスマートフォンとして構成される受信機7511d、7511iは、前述と同様に、光源7511b、7511gからの信号を受信し、自身の位置と向きを推定し、ユーザ7511e、7511jの視線方向を推定する。また、受信機7511d、7511iは、受信したデータを基に、周辺の物体7511a~7511c、7511f~7511hの情報をサーバから取得する。受信機7511d、7511iは、ユーザから見て受信機7511d、7511iを透過して向こう側の物体が見えているかのように、ディスプレイの表示を変化させる。受信機7511d、7511iは、ディスプレイに写っている内容に応じて、7511kのようなAR(拡張現実)オブジェクトを表示する。受信機7511iは、ユーザ7511jの視線がカメラの撮像の撮像範囲を超えているときは、7511lのように、範囲外であることを表示する。または、範囲外の領域にARオブジェクトや他の情報を表示する。または、範囲外領域を過去に撮像した際の画像をつなぎあわせて表示する。
 図46は、本実施の形態における受信機の応用例を示す図である。
 例えばスマートフォンとして構成される受信機7512cは、前述と同様に、光源7512aからの信号を受信し、自身の位置と向きを推定し、ユーザ7512dの視線方向を推定する。受信機7512cは、ユーザ7512dの視線方向にある物体7512bに関する処理を行う。例えば、物体7512bに関する情報を画面に表示する。ユーザ7512hの視線方向が、物体7512fから受信機7512gへ移動したときは、受信機7512gは、ユーザ7512hの興味が物体7512fにあると判断し、物体7512fに関する処理を継続する。例えば、物体7512fの情報を画面に表示したままにする。
 図47は、本実施の形態における送信機の応用例を示す図である。
 例えば、照明として構成される送信機7513aは、輝度が高く、送信信号として輝度が高い(ハイ)ときも、輝度が低い(ロー)ときも、受信機で撮像した場合に上限の明るさを超え、7513bのように輝線が現れない。そこで、7513cに示すように、散光板やプリズムのように光を拡散したり弱めたりする部分7513dを備えて輝度を低下させることで、受信機は、7513eのように輝線を撮像することができる。
 図48は、本実施の形態における送信機の応用例を示す図である。
 例えば、照明として構成される送信機7514aは、光源が一様ではないため、撮像画像は7514bのように、輝度にムラが発生し、受信エラーを誘発する。そこで、7514cに示すように、散光板やプリズムのように光を拡散させる部分7514dを備えて輝度が一様になるようにすることで、受信エラーを抑制することができる。
 図49は、本実施の形態における受信方法の応用例を示す図である。
 送信機7515a、7515bは、中心部分の輝度が高く受信機の撮像画像に輝線が現れず、周辺部分には輝線が現れる。受信機は、輝線が途切れるため7515dの部分からは信号を受信できないが、7515cの部分から信号を受信できる。受信機は、7515eの経路で輝線を読み取ることで、7515cの部分よりも多くの輝線から信号を受信できる。
 図50は、本実施の形態における送信機の応用例を示す図である。
 例えば、照明として構成される送信機7516a、7516b、7516c、7516dは、7513aと同様に輝度が高く、受信機で撮像した際に輝線が生じにくい。そこで、散光板・プリズム7516eや、反射板7516fや、反射板・ハーフミラー7516gや、反射板7516hや、散光板・プリズム7516jを備えることで、光を拡散させ、輝線が生じる部分を広くすることができる。これらの送信機は、撮像画像は7515aのように周囲に輝線が生じる形で撮像される。受信機は、撮像画像上の送信機の大きさを用いて受信機と送信機の間の距離を推定するため、光が拡散される部分を光源の大きさとして、送信IDと関連付けてサーバ等に記憶させておくことで、受信機は、送信機までの距離を正確に推定できる。
 図51は、本実施の形態における送信機の応用例を示す図である。
 例えば、照明として構成される送信機7517aは、7513aと同様に輝度が高く、受信機で撮像した際に輝線が生じにくい。そこで、反射板7517bを備えることで、光を拡散させ、輝線が生じる部分を広くすることができる。
 図52は、本実施の形態における送信機の応用例を示す図である。
 送信機7518aは、光源からの光を7518cで反射させることで、受信機は輝線を広範囲で撮像できる。送信機7518dは、光源を散光板やプリズム7518eへ向けることで、受信機は輝線を広範囲で撮像できる。
 図53は、本実施の形態における受信機の動作の他の例を示す図である。
 受信機は、上述のような合成画像または中間画像などによって、輝線模様を表示する。このとき、受信機は、この輝線模様に対応する送信機からの信号を受信することができなくてもよい。ここで、ユーザが輝線模様に対する操作(例えばタップ)を行うことによってその輝線模様が選択されると、受信機は、光学ズームを行うことによって、その輝線模様の箇所が拡大された合成画像または中間画像を表示する。このような光学ズームが行われることによって、受信機は、その輝線模様に対応する送信機からの信号を適切に受信することができる。つまり、撮像によって得られる画像が小さすぎて、信号を取得することができなくても、光学ズームを行うことによって、その信号を適切に受信することができる。また、信号を取得可能な大きさの画像が表示されている場合であっても、光学ズームを行うことによって、速い受信を行うことができる。
 (本実施の形態のまとめ)
 本実施の形態における情報通信方法は、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する第1の露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記輝線を含む画像である輝線画像を取得する輝線画像取得ステップと、前記輝線画像に基づいて、前記輝線が現われた部位の空間的な位置が識別し得る態様で、前記被写体と当該被写体の周囲とが映し出された表示用画像を表示する画像表示ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより送信情報を取得する情報取得ステップとを含む。
 例えば、図7~図9および図13に示すような合成画像または中間画像が表示用画像として表示される。また、被写体と当該被写体の周囲とが映し出された表示用画像において、輝線が現われた部位の空間的な位置は、輝線模様、信号明示オブジェクト、信号識別オブジェクト、または点線枠などによって識別される。したがって、ユーザは、このような表示画像を見ることによって、輝度変化によって信号を送信している被写体を容易に見つけることができる。
 また、前記情報通信方法は、さらに、前記露光時間よりも長い露光時間を設定する第2の露光時間設定ステップと、前記イメージセンサが、前記被写体と当該被写体の周囲とを前記長い露光時間で撮影することによって、通常撮影画像を取得する通常画像取得ステップと、前記通常撮影画像において前記輝線が現われた部位を、前記輝線画像に基づいて特定し、前記部位を指し示す画像である信号オブジェクトを前記通常撮影画像に重畳することによって、合成画像を生成する合成ステップとを含み、前記画像表示ステップでは、前記合成画像を前記表示用画像として表示してもよい。
 例えば、信号オブジェクトは、輝線模様、信号明示オブジェクト、信号識別オブジェクト、または点線枠などであって、図8、図9および図13に示すように、合成画像が表示用画像として表示される。これにより、ユーザは、輝度変化によって信号を送信している被写体をさらに容易に見つけることができる。
 また、前記第1の露光時間設定ステップでは、露光時間を1/3000秒に設定し、前記輝線画像取得ステップでは、前記被写体の周囲が映し出された前記輝線画像を取得し、前記画像表示ステップでは、前記輝線画像を前記表示用画像として表示してもよい。
 例えば、図7に示すように、輝線画像は中間画像として取得されて表示される。したがって、通常撮影画像と可視光通信画像とを取得して合成するなどの処理を行う必要がなく、処理の簡略化を図ることができる。
 また、前記イメージセンサは、第1のイメージセンサと第2のイメージセンサを含み、前記通常画像取得ステップでは、前記第1のイメージセンサが撮影することによって、前記通常撮影画像を取得し、前記輝線画像取得ステップでは、前記第2のイメージセンサが前記第1のイメージセンサの撮影と同時に撮影することによって、前記輝線画像を取得してもよい。
 例えば、図9に示すように、通常撮影画像と輝線画像である可視光通信画像とがそれぞれのカメラで取得される。したがって、1つのカメラで通常撮影画像と可視光通信画像とを取得する場合と比べて、それらの画像を早く取得することができ、処理を高速化することができる。
 また、前記情報通信方法は、さらに、前記表示用画像における前記輝線が現われた部位がユーザによる操作によって指定された場合には、指定された部位の前記輝線のパターンから取得された前記送信情報に基づく提示情報を提示する情報提示ステップを含んでもよい。例えば、前記ユーザによる操作は、タップ、スワイプ、前記部位に指先を所定の時間以上継続して当てる操作、前記部位に視線を向けた状態を所定の時間以上継続する操作、前記部位に関連付けて示される矢印に前記ユーザの身体の一部を動かす操作、輝度変化するペン先を前記部位に当てる操作、または、タッチセンサに触れることによって、前記表示用画像に表示されているポインタを前記部位に当てる操作である。
 例えば、図15~図20、図25~図34に示すように、提示情報が情報通知画像として表示される。これにより、ユーザに所望の情報を提示することができる。
 また、前記イメージセンサはヘッドマウントディスプレイに備えられ、前記画像表示ステップでは、前記ヘッドマウントディスプレイに搭載されたプロジェクタが前記表示用画像を表示してもよい。
 これにより、例えば、図23~図30に示すように、簡単に情報をユーザに提示することができる。
 また、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する第1の露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記輝線を含む画像である輝線画像を取得する輝線画像取得ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップとを含み、前記輝線画像取得ステップでは、前記イメージセンサが移動されている期間に、複数の前記被写体を撮影することによって、前記輝線が現われた部位を複数含む前記輝線画像を取得し、前記情報取得ステップでは、前記部位ごとに、当該部位の前記輝線のパターンによって特定されるデータを復調することによって、複数の前記被写体のそれぞれの位置を取得し、前記情報通信方法は、さらに、取得された複数の前記被写体のそれぞれの位置、および前記イメージセンサの移動状態に基づいて、前記イメージセンサの位置を推定する位置推定ステップを含んでもよい。
 これにより、例えば、図22に示すように、複数の照明などの被写体による輝度変化によって、イメージセンサを含む受信機の位置を正確に推定することができる。
 また、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する第1の露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記輝線を含む画像である輝線画像を取得する輝線画像取得ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップと、取得された前記情報を提示する情報提示ステップとを含み、前記情報提示ステップでは、前記イメージセンサのユーザに対して、予め定められたジェスチャを促す画像を前記情報として提示してもよい。
 これにより、例えば、図35A~図36Bに示すように、ユーザが、促されたとおりのジェスチャを行うか否かによって、そのユーザに対する認証などを行うことができ、利便性を高めることができる。
 また、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記輝線を含む輝線画像を取得する画像取得ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップとを含み、前記画像取得ステップでは、反射面に映る複数の前記被写体を撮影することによって前記輝線画像を取得し、前記情報取得ステップでは、前記輝線画像に含まれる輝線の強度に応じて、前記輝線を、複数の前記被写体のそれぞれに対応する輝線に分離し、前記被写体ごとに、当該被写体に対応する輝線のパターンによって特定されるデータを復調することにより情報を取得してもよい。
 これにより、例えば、図42に示すように、複数の照明などの被写体がそれぞれ輝度変化する場合でも、被写体のそれぞれから適切な情報を取得することができる。
 また、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記輝線を含む輝線画像を取得する画像取得ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップとを含み、前記画像取得ステップでは、反射面に映る前記被写体を撮影することによって前記輝線画像を取得し、前記情報通信方法は、さらに、前記輝線画像内における輝度分布に基づいて、前記被写体の位置を推定する位置推定ステップを含んでもよい。
 これにより、例えば、図43に示すように、輝度分布に基づいて適切な被写体の位置を推定することができる。
 また、輝度変化によって信号を送信する情報通信方法であって、送信対象の第1の信号を変調することによって、輝度変化の第1のパターンを決定する第1の決定ステップと、送信対象の第2の信号を変調することによって、輝度変化の第2のパターンを決定する第2の決定ステップと、発光体が、決定された前記第1のパターンにしたがった輝度変化と、決定された前記第2のパターンにしたがった輝度変化とを、交互に行うことによって、前記第1および第2の信号を送信する送信ステップとを含んでもよい。
 これにより、例えば、図37Aに示すように、第1の信号と第2の信号とをそれぞれ遅滞なく送信することができる。
 また、前記送信ステップでは、輝度変化を、前記第1のパターンにしたがった輝度変化と、前記第2のパターンにしたがった輝度変化とで切り替えるときには、緩衝時間を空けて切り替えてもよい。
 これにより、例えば、図37Bに示すように、第1の信号と第2の信号との混信を抑えることができる。
 また、輝度変化によって信号を送信する情報通信方法であって、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定ステップと、発光体が、決定された前記パターンにしたがって輝度変化することによって前記送信対象の信号を送信する送信ステップとを含み、前記信号は、複数の大ブロックからなり、前記複数の大ブロックのそれぞれは、第1のデータと、前記第1のデータに対するプリアンブルと、前記第1のデータに対するチェック信号とを含み、前記第1のデータは、複数の小ブロックからなり、前記小ブロックは、第2のデータと、前記第2のデータに対するプリアンブルと、前記第2のデータに対するチェック信号とを含んでもよい。
 これにより、例えば、図38に示すように、ブランキング期間を要する受信機でも、ブランキング期間を必要としない受信機でも、適切にデータを取得することができる。
 また、輝度変化によって信号を送信する情報通信方法であって、複数の送信機がそれぞれ、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定ステップと、送信機ごとに、当該送信機に備えられた発光体が、決定された前記パターンにしたがって輝度変化することによって前記送信対象の信号を送信する送信ステップとを含み、前記送信ステップでは、互いに周波数またはプロトコルが異なる信号を送信してもよい。
 これにより、例えば、図40に示すように、複数の送信機からの信号の混信を抑えることができる。
 また、輝度変化によって信号を送信する情報通信方法であって、複数の送信機がそれぞれ、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定ステップと、送信機ごとに、当該送信機に備えられた発光体が、決定された前記パターンにしたがって輝度変化することによって前記送信対象の信号を送信する送信ステップとを含み、前記送信ステップでは、前記複数の送信機のうちの1つの送信機は、他方の送信機から送信される信号を受信し、受信された信号と混信しない態様で、他の信号を送信してもよい。
 これにより、例えば、図41に示すように、複数の送信機からの信号の混信を抑えることができる。
 (実施の形態3)
 本実施の形態では、上記実施の形態1または2におけるスマートフォンなどの受信機と、LEDや有機ELなどの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
 図54は、実施の形態3における受信機の動作の一例を示すフローチャートである。
 まず、受信機は、照度センサで信号を受信する(8101)。次に、受信機は、受信した信号を基に、サーバから位置情報などの情報を取得する(8102)。次に、受信機は、照度センサの受光方向を撮像可能なイメージセンサを起動する(8103)。次に、受信機は、イメージセンサで信号の一部または全部を受信し、その一部または全部が、照度センサで受信した信号と同一の信号であるかどうかを確認する(8104)。次に、受信機は、撮像画像(撮影画像)中の送信機の位置と、受信機に備えられた9軸センサからの情報と、送信機の位置情報とから、受信機の位置を推定する(8105)。このように、受信機は、消費電力の少ない照度センサを起動しておき、その照度センサによって信号が受信された場合に、イメージセンサを起動する。そして、受信機は、そのイメージセンサによる撮像を利用した位置推定を行う。これによって、消費電力を抑えながら、受信機の位置を精度よく推定することができる。
 図55は、実施の形態3における受信機の動作の他の例を示すフローチャートである。
 受信機は、照度センサのセンサ値から、輝度の周期的な変化を認識する(8111)。次に、受信機は、照度センサの受光方向を撮像可能なイメージセンサを起動し、信号を受信する(8112)。つまり、上述と同様に、受信機は、消費電力の少ない照度センサを起動しておき、その照度センサによって輝度の周期的な変化が受信された場合に、イメージセンサを起動する。そして、受信機は、そのイメージセンサによる撮像によって、正確な信号を受信する。これにより、消費電力を抑えながら、正確な信号を受信することができる。
 図56Aは、実施の形態3における送信機の一例を示すブロック図である。
 送信機8115は、電源部8115aと、信号制御部8115bと、発光部8115cと、発光部8115dとを備える。電源部8115aは、信号制御部8115bに電力を供給する。信号制御部8115bは、その電源部8115aから供給される電力を、発光部8115cおよび発光部8115dに振り分け、発光部8115cおよび発光部8115dの輝度変化を制御する。
 図56Bは、実施の形態3における送信機の他の例を示すブロック図である。
 送信機8116は、電源部8116aと、信号制御部8116bと、発光部8116cと、発光部8116dとを備える。電源部8116aは、発光部8116cおよび発光部8116dに電力を供給する。ここで、信号制御部8116bは、電源部8116aから供給される電力を制御することによって、発光部8116cおよび発光部8116dの輝度変化を制御する。このように、発光部8116cおよび発光部8116dのそれぞれに電力を供給する電源部8116aが信号制御部8116bに制御されることによって、電力の使用効率を高めることができる。
 図57は、実施の形態3における複数の送信機を含むシステムの構成例を示す図である。
 このシステムは、集中制御部8118、送信機8117および送信機8120を備える。集中制御部8118は、送信機8117および送信機8120のそれぞれの輝度変化による信号の送信を制御する。例えば、集中制御部8118は、送信機8117および送信機8120のそれぞれから同じタイミングで同じ信号を送信させたり、何れか一方の送信機のみに、その送信機に固有の信号を送信させたりする。
 送信機8120は、2つの送信ユニット8121および8122と、信号変更部8123と、信号記憶部8124と、同期信号入力部8125と、同期制御部8126と、受光部8127とを備える。
 2つの送信ユニット8121および8122は、それぞれ図56Aに示す送信機8115と同様の構成を有し、輝度変化することによって信号を送信する。具体的には、送信ユニット8121は、電源部8121a、信号制御部8121b、発光部8121cおよび発光部8121dを備える。送信ユニット8122は、電源部8122a、信号制御部8122b、発光部8122cおよび発光部8122dを備える。
 信号変更部8123は、送信対象の信号を輝度変化のパターンを示す信号に変調する。信号記憶部8124は、その輝度変化のパターンを示す信号を記憶している。送信ユニット8121の信号制御部8121bは、信号記憶部8124に格納されている信号を読み出して、その信号に応じて発光部8121cおよび発光部8121dを輝度変化させる。
 同期信号入力部8125は、集中制御部8118による制御に応じて同期信号を取得する。同期制御部8126は、その同期信号が取得されると、送信ユニット8121と送信ユニット8122との輝度変化を同期させる。つまり、同期制御部8126は、信号制御部8121bおよび信号制御部8122bを制御することによって、送信ユニット8121と送信ユニット8122との輝度変化を同期させる。ここで、受光部8127は、送信ユニット8121と送信ユニット8122からの発光を検出する。同期制御部8126は、その受光部8127によって検出された光に応じて、信号制御部8121bおよび信号制御部8122bへのフィードバック制御を行う。
 図58は、実施の形態3における送信機の他の例を示すブロック図である。
 送信機8130は、輝度変化によって信号を送信する送信ユニット8131と、信号の送信を行わずに発光する非送信ユニット8132とを備える。
 送信ユニット8131は、図56Aに示す送信機8115と同様の構成を有し、電源部8131a、信号制御部8131b、および発光部8131c~8131fを備える。また、非送信ユニット8132は、電源部8132aおよび発光部8132c~8132fを備え、信号制御部を備えていない。つまり、電源を含むユニットが複数あって、それらのユニット間で輝度変化の同期制御ができない場合には、図58に示す構成のように、何れか1つのユニットにのみ信号制御部を備え、その1つのユニットだけを輝度変化させる。
 ここで、このような送信機8130では、送信ユニット8131の発光部8131c~8131fは一列に連続的に配置される。つまり、発光部8131c~8131fの集合に、非送信ユニット8132の発光部8132c~8132fの何れかが混じることはない。これにより、輝度変化する発光体のサイズが大きくなるため、受信機は、その輝度変化によって送信される信号を容易に受信することができる。
 図59Aは、実施の形態3における送信機の一例を示す図である。
 送信機8134は、例えばサイネージとして構成され、3つの発光部(発光領域)8134a~8134cを備える。なお、これらの発光部8134a~8134cからの光は互いに干渉することはない。ここで、発光部8134a~8134cのうちの何れか1つだけを輝度変化させて信号を送信させることができる場合には、図59Aの(a)に示すように、中央にある発光部8134bを輝度変化させることが望ましい。また、発光部8134a~8134cのうちの2つを輝度変化させることができる場合には、図59Aの(b)に示すように、中央にある発光部8134bと、端にある発光部8134aまたは発光部8134cとを輝度変化させることが望ましい。このような位置にある発光部を輝度変化させることによって、受信機は、輝度変化によって送信される信号を適切に受信することができる。
 図59Bは、実施の形態3における送信機の一例を示す図である。
 送信機8135は、例えばサイネージとして構成され、3つの発光部8135a~8135cを備える。なお、これらの発光部8135a~8135cのうちの互いに隣接する発光部からの光は相互に干渉する。ここで、発光部8135a~8135cのうちの何れか1つだけを輝度変化させて信号を送信させることができる場合には、図59Bの(a)に示すように、端に配置されている発光部8135aまたは発光部8135cを輝度変化させることが望ましい。これにより、信号を送信するための輝度変化が他の発光部からの光に干渉されることを抑えることができる。また、発光部8135a~8135cのうちの2つを輝度変化させることができる場合には、図59Bの(b)に示すように、中央にある発光部8135bと、端にある発光部8135aまたは発光部8135cとを輝度変化させることが望ましい。このような位置にある発光部を輝度変化させることによって、輝度変化の面積が大きくなるため、受信機は、輝度変化によって送信される信号を適切に受信することができる。
 図59Cは、実施の形態3における送信機の一例を示す図である。
 送信機8134は、3つの発光部8134a~8134cのうち2つを輝度変化させることがきる場合には、図50Cに示すように、両端にある発光部8134aおよび発光部8134cを輝度変化させてもよい。この場合には、受信機による撮像において、輝度変化する部位が映る撮像範囲を広げることができる。
 図60Aは、実施の形態3における送信機の一例を示す図である。
 送信機8137は例えばサイネージとして構成され、文字部分「A Shop」と発光部8137aとが輝度変化することによって信号を送信する。発光部8137aは例えば水平方向に長い矩形状に形成されて一様に輝度変化する。この発光部8137aが一様に輝度変化することによって、受信機は、輝度変化によって送信される信号を適切に受信することができる。
 図60Bは、実施の形態3における送信機の一例を示す図である。
 送信機8138は例えばサイネージとして構成され、文字部分「A Shop」と発光部8138aとが輝度変化することによって信号を送信する。発光部8138aは例えばサイネージの縁に沿うように枠状に形成されて一様に輝度変化する。つまり、発光部を任意の直線に射影したときに連続した射影部分の長さが最大になるように、その発光部8138aは形成されている。この発光部8138aが一様に輝度変化することによって、受信機は、輝度変化によって送信される信号をより適切に受信することができる。
 図61は、実施の形態3における受信機、送信機およびサーバの処理動作の一例を示す図である。
 例えばスマートフォンとして構成される受信機8142は、自らの位置を示す位置情報を取得し、その位置情報をサーバ8141に送信する。なお、受信機8142は、例えばGPSなどを利用したり、他の信号を受信したときにその位置情報を取得する。サーバ8141は、その位置情報によって示される位置に対応付けられたIDリストを受信機8142に送信する。IDリストには、「abcd」などのIDごとに、そのIDと、そのIDに対応付けられた情報とが含まれている。
 受信機8142は、例えば照明機器として構成される送信機8143から信号を受信する。このとき、受信機8142は、IDの一部(例えば「 b  」)しか上述の信号として受信できない場合がある。この場合、受信機8142は、そのIDの一部を含むIDをIDリストから検索する。一意のIDが見つからない場合には、受信機8142は、さらに、送信機8143から、そのIDの他の部分を含む信号を受信する。これにより、受信機8142は、そのIDのうちのより多くの部分(例えば「 bc  」)を取得する。そして、受信機8142は、そのIDの一部(例えば「 bc  」)を含むIDをIDリストから再び検索する。このような検索を行うことによって、受信機8142は、IDの一部しか取得することができなくても、IDの全てを特定することができる。なお、受信機8142は、送信機8143から信号を受信するときには、IDの一部だけでなく、CRC(Cyclic Redundancy Check)などのチェック部分なども受信する。
 図62は、実施の形態3における受信機、送信機およびサーバの処理動作の一例を示す図である。
 例えばスマートフォンとして構成される受信機8152は、自らの位置を示す位置情報を取得する。なお、受信機8152は、例えばGPSなどを利用したり、他の信号を受信したときにその位置情報を取得する。さらに、受信機8152は、例えば照明機器として構成される送信機8153から信号を受信する。このとき、その信号には、IDのうち、そのIDの一部(例えば「 b  」)だけが含まれている。ここで、受信機8152は、その位置情報とIDの一部とをサーバ8151に送信する。
 サーバ8151は、その位置情報によって示される位置に対応付けられたIDリストから、そのIDの一部を含むIDを検索する。一意のIDが見つからない場合には、サーバ8151はIDの特定が失敗したことを受信機8152に通知する。
 次に、受信機8152は、送信機8153から、そのIDの他の部分を含む信号を受信する。これにより、受信機8152は、そのIDのうちのより多くの部分(例えば「 be  」)を取得する。そして、受信機8152は、そのIDの一部(例えば「 be 」)と位置情報とをサーバ8151に送信する。
 サーバ8151は、その位置情報によって示される位置に対応付けられたIDリストから、そのIDの一部を含むIDを検索する。一意のIDが見つかると、サーバ8151は、そのID(例えば「abef」)が特定されたことを受信機8152に通知するとともに、そのIDに対応付けられた情報を受信機8152に送信する。
 図63は、実施の形態3における受信機、送信機およびサーバの処理動作の一例を示す図である。
 受信機8152は、IDのうちの一部だけでなくその全てを、位置情報とともにサーバ8151に送信してもよい。このとき、その完全な状態のID(例えば「wxyz」)がIDリストに含まれていない場合には、サーバ8151は、受信機8152にエラーを通知する。
 図64Aは、実施の形態3における複数の送信機の同期を説明するための説明図である。
 送信機8155aおよび送信機8155bは輝度変化することによって信号を送信する。ここで、送信機8155aは、同期信号を送信機8155bに送信することによって、その送信機8155bと同期して輝度変化する。また、送信機8155aと送信機8155bとは、それぞれ発信源から信号を取得して、その信号に応じた輝度変化を行う。こで、発信源から送信機8155aへの信号送信にかかる時間(第1の遅延時間)と、発信源から送信機8155bへの信号送信にかかる時間(第2の遅延時間)とが異なる場合がある。そこで、それらの送信機8155a,8155bと発信源との間における信号の往復時間が測定され、それらの往復時間の1/2が上述の第1または第2の遅延時間として特定される。送信機8155aは、それらの第1または第2の遅延時間の差がキャンセルされるように同期信号を送信することによって、送信機8155bと同期した輝度変化を行う。
 図64Bは、実施の形態3における複数の送信機の同期を説明するための説明図である。
 受光センサ8156は、送信機8155aおよび送信機8155bからの光を検出して、その結果を検出信号として送信機8155aおよび送信機8155bに出力する。送信機8155aおよび送信機8155bは、その受光センサ8156からの検出信号を受信すると、その検出信号に基づいて互いに同期した輝度変化を行ったり、信号の強度の調整を行う。
 図65は、実施の形態3における送信機および受信機の動作の一例を示す図である。
 例えばテレビとして構成される送信機8165は、画像と、その画像に対応付けられたID(ID 1000)とを制御部8166から取得する。そして、送信機8165は、その画像を表示するとともに、輝度変化することによって、そのID(ID 1000)を受信機8167に送信する。受信機8167は、撮像することによって、そのID(ID 1000)を受信するとともに、そのID(ID 1000)に対応付けられた情報を表示する。ここで、制御部8166は、送信機8165に出力される画像を他の画像に変更する。このとき、制御部8166は、送信機8165に出力されるIDも変更する。つまり、制御部8166は、その他の画像とともに、他の画像に対応付けられた他のID(ID 1001)を送信機8165に出力する。これにより、送信機8165は、その他の画像を表示するとともに、輝度変化することによって、他のID(ID 1001)を受信機8167に送信する。受信機8167は、撮像することによって、その他のID(ID 1001)を受信するとともに、その他のID(ID 1001)に対応付けられた情報を表示する。
 図66は、実施の形態3における送信機および受信機の動作の一例を示す図である。
 送信機8170は、例えばサイネージとして構成されており、画像を切り替えて表示する。そして、送信機8170は、画像を表示するときには、表示される画像に対応するIDと、その画像が表示される時刻とを示すID時刻情報を、輝度変化することによって受信機8171に送信する。例えば、送信機8170は、時刻t1には、丸い図形を示す画像を表示するとともに、その画像に対応するID(ID:1000)と、その画像が表示されている時刻(TIME:t1)とを示すID時刻情報を送信する。
 ここで、送信機8170は、現在表示されている画像に対応するID時刻情報だけでなく、過去に表示されていた画像に対応するID時刻情報を少なくとも1つ送信する。例えば、送信機8170は、時刻t2には、四角い図形を示す画像を表示するとともに、その画像に対応するID(ID:1001)と、その画像が表示されている時刻(TIME:t2)とを示すID時刻情報を送信する。さらに、このとき、送信機8170は、丸い図形を示す画像に対応するID(ID:1000)と、その画像が表示されていた時刻(TIME:t1)とを示すID時刻情報を送信する。同様に、時刻t3では、送信機8170は、三角形の図形を示す画像を表示するとともに、その画像に対応するID(ID:1002)と、その画像が表示されている時刻(TIME:t3)とを示すID時刻情報を送信する。さらに、このとき、送信機8170は、四角い図形を示す画像に対応するID(ID:1001)と、その画像が表示されていた時刻(TIME:t2)とを示すID時刻情報を送信する。つまり、送信機8170は、複数のID時刻情報を同じタイミングに送信する。
 例えば、ユーザは、四角い図形を示す画像に関連する情報を得るために、その四角い図形を示す画像が表示されている時刻t2に、受信機8171のイメージセンサを送信機8170にかざして、受信機8171による撮像を開始する。
 ここで、受信機8171は、時刻t2に撮像を開始しても、その四角い図形を示す画像が送信機8170に表示されている間に、その画像に対応するID時刻情報を取得することができない場合がある。このような場合であっても、上述のように、過去に表示されていた画像に対応するID時刻情報も送信機8170から送信されているため、受信機8171は、時刻t3には、三角形の図形を示す画像に対応するID時刻情報(ID:1002,TIME:t3)だけでなく、四角い図形を示す画像に対応するID時刻情報(ID:1001,TIME:t2)も取得することができる。そして、受信機8171は、それらのID時刻情報の中から、送信機8170にかざされた時刻(t2)を示すID時刻情報(ID:1001,TIME:t2)を選択し、そのID時刻情報によって示されるID(ID:1001)を特定する。これにより、受信機8171は、時刻t3に、その特定されたID(ID:1001)に基づいて、四角い図形を示す画像に関する情報を例えばサーバなどから得ることができる。
 なお、上述の時刻は、絶対的な時刻に限らず、受信機8171が送信機8170にかざされた時刻と、受信機8171がID時刻情報を取得した時刻との間の時間(いわゆる相対時刻)であってもよい。また、送信機8170は、現在表示されている画像に対応するID時刻情報とともに、過去に表示されていた画像に対応するID時刻情報を送信したが、未来に表示される予定の画像に対応するID時刻情報を送信してもよい。また、送信機8170は、受信機8171による受信が困難な状況にある場合には、送信される過去または未来のID時刻情報の数を増やしてもよい。
 また、送信機8170がサイネージではなくテレビとして構成される場合には、送信機8170は、ID時刻情報の代わりに、表示されている画像に対応するチャンネルを示す情報を送信してもよい。つまり、放送されているテレビ番組の画像がリアルタイムに送信機8170で表示されている場合には、送信機8170で表示された画像の表示時刻は、チャンネルごとに一意に特定することができる。したがって、受信機8171は、撮像によって得られた画像と、そのチャンネルとに基づいて、受信機8171が送信機8170にかざされた時刻、つまり、受信機8171が撮像を開始した時刻を特定することができる。そして、受信機8171は、チャンネルとその時刻とに基づいて、撮像によって得られた画像に関する情報を例えばサーバなどから得ることができる。なお、送信機8170は、ID時刻情報の代わりに、表示されている画像の表示時刻を示す情報を送信してもよい。この場合には、受信機8171は、そのときに放送されている全てのテレビ番組の中から、撮像によって得られた画像を含むテレビ番組を検索し、そのテレビ番組のチャンネルとその表示時刻とに基づいて、その画像に関連する情報をサーバなどから得ることができる。
 図67は、実施の形態3における送信機、受信機およびサーバの動作の一例を示す図である。
 図67の(a)に示すように、受信機8176は、送信機8175を撮像することによって、輝線を含む画像を取得し、その画像から送信機8175のIDを特定(取得)する。さらに、受信機8176は、そのIDをサーバ8177に送信し、そのIDに関連付けられた情報をサーバ8177から取得する。
 一方、図67の(b)に示すように、受信機8176は、送信機8175を撮像することによって、輝線を含む画像を取得し、その画像を撮像データとしてサーバ8177に送信してもよい。また、受信機8176は、輝線を含む画像に対して、画像の情報量が少なくなるような前処理を行い、前処理が行われた画像を撮像データとしてサーバ8177に送信してもよい。この前処理は例えば画像の二値化処理などである。サーバ8177は、その撮像データを取得すると、その撮像データによって示される画像から送信機8175のIDを特定(取得)する。さらに、サーバ8177は、そのIDに関連付けられた情報を受信機8176に送信する。
 図68は、実施の形態3における送信機および受信機の動作の一例を示す図である。
 ユーザが位置Aにいるときには、受信機8183は、輝度変化する送信機8181から送信される信号を取得することによって、受信機8183の位置を特定する。その結果、受信機8183は、その特定された位置を示す点8183bを、その位置の誤差範囲8183aととともに表示する。
 次に、ユーザが位置Aから移動して位置Bに着くと、受信機8183は、送信機8181から信号を取得することができない状態になる。このとき、受信機8183は、自らに備えられている9軸センサなどを用いることによって、自らの位置を推定する。そして、受信機8183は、その推定された位置を示す点8183bを、その位置の誤差範囲8183aととともに表示する。このとき、その位置は、9軸センサによって推定されたものであるため、誤差範囲8183aは広く表示される。
 次に、ユーザが位置Bから移動して位置Cに着くと、受信機8183は、輝度変化する他の送信機8182から送信される信号を取得することによって、受信機8183の位置を特定する。その結果、受信機8183は、その特定された位置を示す点8183bを、その位置の誤差範囲8183aととともに表示する。ここで、受信機8183は、9軸センサを用いて推定された位置を示す点8183bおよび誤差範囲8183aを、上述のように特定された位置および誤差範囲に直ぐに切り替えて表示することなく、滑らかにそれらを移動させて切り替える。また、このときには、誤差範囲8183aは小さくなる。
 図69は、実施の形態3における受信機の外観の一例を示す図である。
 受信機8183は、例えばスマートフォン(高機能携帯電話)として構成され、図69の(a)に示すように、受信機8183の前面には、イメージセンサ8183c、照度センサ8183d、およびディスプレイ8183eが配置されている。イメージセンサ8183cは、上述のように輝度変化する被写体を撮像することによって、輝線を含む画像を取得する。照度センサ8183dは、上述の被写体の輝度変化を検出する。したがって、照度センサ8183dは、被写体の状態または状況によっては、イメージセンサ8183cの代わりとして用いることができる。ディスプレイ8183eは、画像などを表示する。ここで、受信機8183は、輝度変化する被写体としての機能を備えていてもよい。この場合には、受信機8183は、ディスプレイ8183eを輝度変化させることによって信号を送信する。
 また、図69の(b)に示すように、受信機8183の背面には、イメージセンサ8183f、照度センサ8183g、およびフラッシュ発光部8183hが配置されている。イメージセンサ8183fは、上述のイメージセンサ8183cと同じものであって、上述のように輝度変化する被写体を撮像することによって、輝線を含む画像を取得する。照度センサ8183gは、上述の照度センサ8183dと同じものであって、被写体の輝度変化を検出する。したがって、照度センサ8183gは、被写体の状態または状況によっては、イメージセンサ8183fの代わりとして用いることができる。フラッシュ発光部8183hは、撮像のためにフラッシュを発する。ここで、受信機8183は、輝度変化する被写体としての機能を備えていてもよく、この場合には、フラッシュ発光部8183hを輝度変化させることによって信号を送信する。
 図70は、実施の形態3における送信機、受信機およびサーバの動作の一例を示す図である。
 例えばスマートフォントして構成される送信機8185は、ディスプレイ8185aのうちのバーコード部分8185bを除く部分を輝度変化させることによって、すなわち、可視光通信によって、例えば「クーポン 100円引き」を示す情報を送信する。また、送信機8185は、バーコード部分8185bを輝度変化させずに、そのバーコード部分8185bにバーコードを表示させる。このバーコードは、上述の可視光通信によって送信される情報と同じ情報を示す。さらに、送信機8185は、ディスプレイ8185aのうちのバーコード部分8185bを除く部分に、可視光通信によって送信される情報を示す文字または絵、例えば文字「クーポン 100円引き」を表示する。このような文字または絵が表示されることによって、送信機8185のユーザは、どのような情報が送信されているかを容易に把握することができる。
 受信機8186は、撮像することによって、可視光通信によって送信された情報と、バーコードによって示される情報とを取得し、これらの情報をサーバ8187に送信する。サーバ8187は、これらの情報が一致または関連するか否かを判定し、一致または関連すると判定したときには、それらの情報にしたがった処理を実行する。または、サーバ8187は、その判定結果を受信機8186に送信し、受信機8186にそれらの情報にしたがった処理を実行させる。
 なお、送信機8185は、バーコードによって示される情報のうちの一部を可視光通信によって送信してもよい。また、バーコードには、サーバ8187のURLが示されていてもよい。また、送信機8185は、受信機としてIDを取得して、そのIDをサーバ8187に送信することによって、そのIDに対応付けられている情報を取得してもよい。このIDに対応付けられている情報は、上述の可視光通信によって送信される情報、または、バーコードによって示される情報と同一である。また、サーバ8187は、受信機8186を介して送信機8185から送信される情報(可視光通信の情報またはバーコードの情報)に対応付けられたIDを、送信機8185に送信してもよい。
 図71は、実施の形態3における送信機および受信機の動作の一例を示す図である。
 例えばスマートフォントして構成される送信機8185は、ディスプレイ8185aを輝度変化させることによって信号を送信する。受信機8188は、遮光性を有するコーン状の容器8188bと、照度センサ8188aとを備える。照度センサ8188aは、容器8188bの内部に格納され、その容器8188bの先端付近に配置されている。送信機8185から可視光通信によって信号が送信される場合には、受信機8188における容器8188bの開口部(底部)がディスプレイ8185aに向けられる。これにより、容器8188b内には、ディスプレイ8185aからの光以外の光が入り込まないため、受信機8188の照度センサ8188aは、ノイズとなる光の影響を受けることなく、ディスプレイ8185aからの光を適切に受光することができる。その結果、受信機8188は、送信機8185からの信号を適切に受信することができる。
 図72は、実施の形態3における送信機および受信機の動作の一例を示す図である。
 送信機8190は、例えばバス停留所の標識塔として構成されており、輝度変化することによって、バスの運行状況などを示す運行情報を受信機8183に送信する。例えば、バスの行き先と、その行き先のバスがバス停留所に到着する時刻と、そのバスの現在地などを示す運行情報が受信機8183に送信される。受信機8183は、その運行情報を受信すると、その運行情報によって示される内容をディスプレイに表示する。
 ここで、例えば、互いに異なる行き先のバスがそのバス停留所に止まる場合には、送信機8190は、それらの行き先のバスに関する運行情報を送信する。受信機8183は、それらの運行情報を受信すると、それらの運行情報の中から、ユーザによって利用される頻度の多い行き先のバスの運行情報を選択し、その運行情報によって示される内容をディスプレイに表示する。具体的には、受信機8183は、例えばGPSなどを用いることによって、ユーザによって利用されたバスの行き先を特定し、その行き先の履歴を記録している。受信機8183は、この履歴を参照することによって、ユーザによって利用される頻度の多い行き先のバスの運行情報を選択する。または、受信機8183は、それらの運行情報の中から、ユーザの操作によって選択された運行情報によって示される内容をディスプレイに表示してもよい。または、受信機8183は、ユーザの操作によって選択された頻度の多い行き先のバスの運行情報を優先的に表示してもよい。
 図73は、実施の形態3における送信機および受信機の動作の一例を示す図である。
 例えばサイネージとして構成されている送信機8191は、輝度変化することによって、複数の店舗の情報を受信機8183に送信する。この情報は、複数の店舗に関する情報を纏めたものであって、各店舗に固有の情報ではない。したがって、受信機8183は、撮像によってその情報を受信すると、1つの店舗だけでなく複数の店舗に関する情報を表示することができる。ここで、受信機8183は、それらの複数の店舗に関する情報のうち、撮像範囲に含まれている店舗(例えば、「B shop」)に関する情報を選択し、その選択された情報を表示する。また、受信機8183は、その情報を表示する際には、その情報を表すための言語を、予め登録されている言語に翻訳し、その翻訳された言語でその情報を表示する。また、送信機8191には、受信機8183のイメージセンサ(カメラ)による撮像を促すメッセージが文字などによって表示されていてもよい。具体的には、専用のアプリケーションプログラムを起動させて、カメラで撮像を行えば、情報の提供を受けることができることを知らせるメッセージ(例えば「カメラで情報をGET」など)が送信機8191に表示される。
 図74は、実施の形態3における送信機および受信機の動作の一例を示す図である。
 例えば、受信機8183は、複数の人物8197および街灯8195を含む被写体を撮像する。街灯8195は、輝度変化によって情報を送信する送信機8195aを備えている。この撮像によって、受信機8183は、送信機8195aの像が上述の輝線模様として表れた画像を取得する。さらに、受信機8183は、その輝線模様によって示されるIDに関連付けられているARオブジェクト8196aを例えばサーバなどから取得する。そして、受信機8183は、通常撮影によって得られる通常撮影画像8196にそのARオブジェクト8196aを重畳し、そのARオブジェクト8196aが重畳された通常撮影画像8196を表示する。
 図75Aは、実施の形態3における送信機によって送信される情報の構成の一例を示す図である。
 例えば、送信機によって送信される情報は、プリアンブル部と、固定長のデータ部と、チェック部とからなる。受信機は、チェック部を用いてデータ部のチェックを行い、これらの各部分からなる情報を正常に受信する。ここで、受信機は、プリアンブル部とデータ部とを受信し、チェック部を受信することができなかったときには、そのチェック部を用いたチェックを省略する。このようなチェックが省略される場合であっても、受信機は、それらの各部分からなる情報を正常に受信することができる。
 図75Bは、実施の形態3における送信機によって送信される情報の構成の他の例を示す図である。
 例えば、送信機によって送信される情報は、プリアンブル部と、チェック部と、可変長のデータ部とからなる。送信機によって送信される次の情報も、プリアンブル部と、チェック部と、可変長のデータ部とからなる。ここで、受信機は、受信中に、プリアンブル部を受信して、さらに次のプリアンブル部を受信したときに、先のプリアンブル部から次のプリアンブル部の直前までの情報を、1つの意味を成す情報として認識する。また、受信機は、チェック部を用いることによって、そのチェック部の次に受信されるデータ部の終端を特定してもよい。この場合には、受信機は、上述の次のプリアンブル部(プリアンブル部の全てまたは一部)を受信することができなくても、直前に送信された1つの意味を成す情報を適切に受信することができる。
 図76は、実施の形態3における送信機による4値PPM変調方式の一例を示す図である。
 送信機は、4値PPM変調方式によって、送信対象の信号を輝度変化のパターンに変調する。このとき、送信機は、送信対象の信号がどのような信号であっても、輝度変化する光の明るさを一定に保つことができる。
 例えば、明るさを75%に保つ場合には、送信機は、送信対象の信号「00」、「01」、「10」および「11」のそれぞれを、連続する4つのスロットのうちの何れか1つが輝度L(Low)を示し、残りの3つが輝度H(High)を示す輝度変化のパターンに変調する。具体的には、送信機は、送信対象の信号「00」を、1番目のスロットが輝度Lを示し、2~4番目のスロットが輝度Hを示す輝度変化のパターン(L、H、H、H)に変調する。つまり、この輝度変化では、1番目のスロットと2番目のスロットとの間に輝度の立ち上がりがある。これと同様に、送信機は、送信対象の信号「01」を、2番目のスロットが輝度Lを示し、1番目、3番目および4番目のスロットが輝度Hを示す輝度変化のパターン(H、L、H、H)に変調する。つまり、この輝度変化では、2番目のスロットと3番目のスロットとの間に輝度の立ち上がりがある。
 また、明るさを50%に保つ場合には、送信機は、送信対象の信号「00」、「01」、「10」および「11」のそれぞれを、4つのスロットのうちの何れか2つが輝度L(Low)を示し、残りの2つが輝度H(High)を示す輝度変化のパターンに変調する。具体的には、送信機は、送信対象の信号「00」を、1番目および4番目のスロットが輝度Lを示し、2番目および3番目のスロットが輝度Hを示す輝度変化のパターン(L、H、H、L)に変調する。つまり、この輝度変化では、1番目のスロットと2番目のスロットとの間に輝度の立ち上がりがある。これと同様に、送信機は、送信対象の信号「01」を、1番目および2番目のスロットが輝度Lを示し、3番目および4番目のスロットが輝度Hを示す輝度変化のパターン(L、L、H、H)に変調する。または、送信機は、送信対象の信号「01」を、2番目および4番目のスロットが輝度Lを示し、1番目および3番目のスロットが輝度Hを示す輝度変化のパターン(H、L、H、L)に変調する。つまり、これらの輝度変化では、2番目のスロットと3番目のスロットとの間に輝度の立ち上がりがある。
 また、明るさを25%に保つ場合には、送信機は、送信対象の信号「00」、「01」、「10」および「11」のそれぞれを、4つのスロットのうちの何れか3つが輝度L(Low)を示し、残りの1つが輝度H(High)を示す輝度変化のパターンに変調する。具体的には、送信機は、送信対象の信号「00」を、1番目、3番目および4番目のスロットが輝度Lを示し、2番目のスロットが輝度Hを示す輝度変化のパターン(L、H、L、L)に変調する。つまり、この輝度変化では、1番目のスロットと2番目のスロットとの間に輝度の立ち上がりがある。これと同様に、送信機は、送信対象の信号「01」を、1番目、2番目および4番目のスロットが輝度Lを示し、3番目のスロットが輝度Hを示す輝度変化のパターン(L、L、H、L)に変調する。つまり、この輝度変化では、2番目のスロットと3番目のスロットとの間に輝度の立ち上がりがある。
 送信機は、上述のような4値PPM変調方式によって、ちらつきを抑えることができるとともに、明るさを段階的に容易に調節することができる。また、受信機は、輝度の立ち上がりの位置を特定することによって、その輝度変化のパターンを適切に復調することができる。なお、受信機は、4つのスロットからなるスロット群と、次のスロット群との間の境界における輝度の立ち上がりの有無を、輝度変化のパターンの復調に利用することなく無視する。
 図77は、実施の形態3における送信機によるPPM変調方式の一例を示す図である。
 送信機は、図76に示す4値PPM変調方式と同様に、送信対象の信号を輝度変化のパターンに変調するが、スロットごとに輝度をLとHとに切り替えることなく、PPM変調を行ってもよい。つまり、送信機は、図76に示す連続する4つのスロットの時間幅(以下、単位時間幅という)における輝度の立ち上がり位置を、送信対象の信号に応じて切り替えることによって、PPM変調を行う。例えば、送信機は、図77に示すように、送信対象の信号「00」を、単位時間幅のうちの25%の位置で輝度が立ち上がるような輝度変化のパターンに変調する。これと同様に、送信機は、図77に示すように、送信対象の信号「01」を、単位時間幅のうちの50%の位置で輝度が立ち上がるような輝度変化のパターンに変調する。
 また、送信機は、明るさを75%に保つ場合には、送信対象の信号「00」を、上述の単位時間幅における0~25%の位置で輝度Lを示し、25~100%の位置で輝度Hを示す輝度変化のパターンに変調する。ここで、送信機は、明るさを99%に保つ場合には、送信対象の信号「00」を、上述の単位時間幅における24~25%の位置で輝度Lを示し、0~24%の位置および25~100%の位置で輝度Hを示す輝度変化のパターンに変調する。同様に、送信機は、明るさを1%に保つ場合には、送信対象の信号「00」を、上述の単位時間幅における0~25%の位置および26~100%の位置で輝度Lを示し、25~26%の位置で輝度Hを示す輝度変化のパターンに変調する。
 このように、スロットごとに輝度をLとHとに切り替えることなく、単位時間幅の任意の位置で輝度をLとHとに切り替えることによって、明るさを連続的に調節することができる。
 図78は、実施の形態3における送信機におけるPPM変調方式の一例を示す図である。
 送信機は、図77に示すPPM変調方式と同様に変調を行うが、送信対象の信号がどのような信号であっても、その信号を、単位時間幅の最初には必ず輝度Hを示し、且つ単位時間幅の最後には必ず輝度Lを示す輝度変化のパターンに変調する。これにより、単位時間幅と次の単位時間幅との境界には輝度の立ち上がりが発生するため、受信機は、その境界を適切に特定することができる。したがって、受信機および送信機はクロックのズレを補正することができる。
 図79Aは、実施の形態3におけるヘッダ(プリアンブル部)に対応する輝度変化のパターンの一例を示す図である。
 送信機は、例えば図75Aおよび図75Bに示すヘッダ(プリアンブル部)を送信する場合には、図79Aに示すパターンにしたがって輝度変化する。つまり、ヘッダが7スロットで構成される場合には、送信機は、L、H、L、H、L、H、Hによって示されるパターンにしたがって輝度変化する。また、ヘッダが8スロットで構成される場合には、送信機は、H、L、H、L、H、L、H、Hによって示されるパターンにしたがって輝度変化する。これらのパターンは、図76に示す輝度変化のパターンと区別できるため、これらのパターンによって示される信号がヘッダであることを受信機に明確に知らせることができる。
 図79Bは、実施の形態3における輝度変化のパターンの一例を示す図である。
 図76に示すように、4値PPM変調方式では、明るさを50%に保った状態で、データ部に含まれる送信対象の信号「01」を変調する場合には、送信機は、その信号を、2つのパターンのうちのいずれかのパターンに変調する。つまり、L、L、H、Hによって示される第1のパターン、または、H、L、H、Lによって示される第2のパターンに変調する。
 ここで、ヘッダに対応する輝度変化のパターンが図79Aに示すようなパターンである場合、送信機は、上述の送信対象の信号「01」を、L、L、H、Hによって示される第1のパターンに変調することが望ましい。例えば、上述のデータ部に含まれる送信対象の信号「11,01,11」は、上記第1のパターンを用いた場合には、「H、H、L、L、L、L、H、H、H、H、L、L」のパターンに変調される。一方、上記第2のパターンを用いた場合には、上述のデータ部に含まれる送信対象の信号「11,01,11」は、「H、H、L、L、H、L、H、L、H、H、L、L」のパターンに変調される。この場合、そのパターン「H、H、L、L、H、L、H、L、H、H、L、L」には、図79Aに示す、7スロットによって構成されるヘッダのパターンと同じパターンが含まれる。したがって、ヘッダとデータ部との区別を明確にするために、上述の送信対象の信号「01」を第1のパターンに変調することが望ましい。
 図80Aは、実施の形態3における輝度変化のパターンの一例を示す図である。
 図76に示すように、4値PPM変調方式では、送信対象の信号「11」を変調する場合には、送信機は、輝度の立ち上がりが生じないように、その信号を「H、H、H、L」のパターン、「H、H、L、L」のパターン、または「H、L、L、L」のパターンに変調する。しかし、図80Aに示すように、送信機は、明るさを調整するために、送信対象の信号「11」を、「H、H、H、H」のパターンまたは「L、L、L、L」のパターンに変調してもよい。
 図80Bは、実施の形態3における輝度変化のパターンの一例を示す図である。
 図76に示すように、4値PPM変調方式では、明るさを75%に保って、送信対象の信号「11,00」を変調する場合には、送信機は、その信号を「H、H、H、L、L、H、H、H」のパターンに変調する。しかし、輝度Lが連続して発生しようとする場合には、輝度Lが連続しないように、連続する輝度Lのうち、最後の輝度L以外の輝度をHに変更してもよい。この場合、送信機は、その信号「11,00」を「H、H、H、H、L、H、H、H」のパターンに変調する。
 これにより、輝度Lが連続しないため、送信機の負荷を抑えることができる。また、送信機に備えられるコンデンサの容量を小さくすることができ、制御回路の容積を小さくすることができる。さらに、送信機の光源の負荷が小さいため、光源を作りやすくすることができる。さらに、送信機の電力効率を高めることができる。また、輝度Lが連続しないことが保証されるため、受信機はその輝度変化のパターンを容易に復調することができる。
 (本実施の形態のまとめ)
 本実施の形態における情報通信方法は、輝度変化によって信号を送信する情報通信方法であって、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定ステップと、発光体が、決定された前記パターンにしたがって輝度変化することによって前記送信対象の信号を送信する送信ステップとを含み、前記輝度変化のパターンは、予め定められた時間幅における任意の各位置に、互いに異なる2つの輝度値のうちの一方が出現するパターンであって、前記決定ステップでは、送信対象の互いに異なる信号のそれぞれに対して、前記時間幅における輝度の立ち上がり位置または立ち下がり位置である輝度変化位置が互いに異なり、且つ、前記時間幅における前記発光体の輝度の積分値が、予め設定された明るさに応じた同一の値となるように、前記輝度変化のパターンを決定する。
 例えば、図77に示すように、送信対象の互いに異なる信号「00」、「01」、「10」および「11」のそれぞれに対して、輝度の立ち上がり位置(輝度変化位置)が互いに異なり、且つ、予め定められた時間幅(単位時間幅)における発光体の輝度の積分値が、予め定められた明るさ(例えば99%または1%など)に応じた同一の値となるように、輝度変化のパターンが決定される。これにより、送信対象の信号のそれぞれに対して、発光体の明るさを一定に保つことができ、ちらつきを抑えることができるとともに、その発光体を撮像する受信機は、輝度変化位置に基づいて、その輝度変化のパターンを適切に復調することができる。また、輝度変化のパターンは、単位時間幅における任意の各位置に、互いに異なる2つの輝度値(輝度H(High)または輝度L(Low))のうちの一方が出現するパターンであるため、発光体の明るさを連続的に変化させることができる。
 また、前記情報通信方法は、さらに、複数の画像のそれぞれを順に切り替えて表示する画像表示ステップを含み、前記決定ステップでは、前記画像表示ステップで画像が表示されるごとに、表示されている画像に対応する識別情報を前記送信対象の信号として変調することによって、前記識別情報に対する輝度変化のパターンを決定し、前記送信ステップでは、前記画像表示ステップで画像が表示されるごとに、表示されている画像に対応する識別情報に対して決定された輝度変化のパターンにしたがって前記発光体が輝度変化することによって前記識別情報を送信してもよい。
 これにより、例えば図65に示すように、画像が表示されるごとに、表示されている画像に対応する識別情報が送信されるため、ユーザは、表示される画像に基づいて、受信機に受信させる識別情報を容易に選択することができる。
 また、前記送信ステップでは、前記画像表示ステップで画像が表示されるごとに、さらに、過去に表示された画像に対応する識別情報に対して決定された輝度変化のパターンにしたがって前記発光体が輝度変化することによって前記識別情報を送信してもよい。
 これにより、例えば図66に示すように、表示される画像が切り替わったために、切り替わり前に送信された識別信号を受信機が受信できなかった場合でも、現在表示されている画像に対応する識別情報とともに、過去に表示された画像に対応する識別情報も送信されるため、切り替わり前に送信された識別情報を、改めて受信機で適切に受信することができる。
 また、前記決定ステップでは、前記画像表示ステップで画像が表示されるごとに、表示されている画像に対応する識別情報と、前記画像が表示されている時刻とを前記送信対象の信号として変調することによって、前記識別情報および前記時刻に対する輝度変化のパターンを決定し、前記送信ステップでは、前記画像表示ステップで画像が表示されるごとに、表示されている画像に対応する識別情報および時刻に対して決定された輝度変化のパターンにしたがって前記発光体が輝度変化することによって前記識別情報および前記時刻を送信し、さらに、過去に表示された画像に対応する識別情報および時刻に対して決定された輝度変化のパターンにしたがって前記発光体が輝度変化することによって前記識別情報および前記時刻を送信してもよい。
 これにより、例えば図66に示すように、画像が表示されるごとに、複数のID時刻情報(識別情報および時刻からなる情報)が送信されるため、受信機は、受信された複数のID時刻情報の中から、過去に送信されて受信できなかった識別信号を、そのID時刻情報のそれぞれに含まれる時刻に基づいて容易に選択することができる。
 また、前記発光体は、それぞれ発光する複数の領域を有し、前記複数の領域のうち互いに隣接する領域の光が相互に干渉し、前記複数の領域のうちの1つだけが、決定された前記輝度変化のパターンにしたがって輝度変化する場合、前記送信ステップでは、前記複数の領域のうちの端に配置された領域だけが、決定された前記輝度変化のパターンにしたがって輝度変化してもよい。
 これにより、例えば図59Bの(a)に示すように、端に配置された領域(発光部)だけが輝度変化するため、端以外に配置された領域だけが輝度変化する場合と比べて、他の領域からの光によるその輝度変化への影響を抑えることができる。その結果、受信機は、撮影によって、その輝度変化のパターンを適切に捉えることができる。
 また、前記複数の領域のうちの2つだけが、決定された前記輝度変化のパターンにしたがって輝度変化する場合、前記送信ステップでは、前記複数の領域のうちの端に配置された領域と、前記端に配置された領域に隣接する領域とが、決定された前記輝度変化のパターンにしたがって輝度変化してもよい。
 これにより、例えば図59Bの(b)に示すように、端に配置された領域(発光部)と、その端に配置された領域に隣接する領域(発光部)とが輝度変化するため、互いに離れた領域が輝度変化する場合と比べて、空間的に連続して輝度変化する範囲の面積を広く保つことができる。その結果、受信機は、撮影によって、その輝度変化のパターンを適切に捉えることができる。
 本実施の形態における情報通信方法は、被写体から情報を取得する情報通信方法であって、前記被写体の撮影に用いられるイメージセンサの位置を示す位置情報を送信する位置情報送信ステップと、前記位置情報によって示される位置に対応付けられた、複数の識別情報を含むIDリストを受信するリスト受信ステップと、前記イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記輝線を含む輝線画像を取得する画像取得ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップと、取得された前記情報を含む識別情報を前記IDリストから検索する検索ステップとを含む。
 これにより、例えば図61に示すように、予めIDリストが受信されているため、取得された情報「 bc 」が識別情報の一部だけであっても、IDリストに基づいて適切な識別情報「abcd」を特定することができる。
 また、前記検索ステップにおいて、取得された前記情報を含む識別情報が一意に特定されない場合には、前記画像取得ステップおよび前記情報取得ステップを繰り返し行うことによって、新たな情報を取得し、前記情報通信方法は、さらに、取得された前記情報と、前記新たな情報とを含む識別情報を前記IDリストから検索する再検索ステップを含んでもよい。
 これにより、例えば図61に示すように、取得された情報「 b  」が識別情報の一部だけであって、その情報だけでは識別情報が一意に特定されない場合であっても、新たな情報「  c 」が取得されるため、その新たな情報とIDリストに基づいて適切な識別情報「abcd」を特定することができる。
 本実施の形態における情報通信方法は、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記輝線を含む輝線画像を取得する画像取得ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより識別情報を取得する情報取得ステップと、取得された前記識別情報と、前記イメージセンサの位置を示す位置情報とを送信する送信ステップと、前記位置情報によって示される位置に対応付けられた、複数の識別情報を含むIDリストに、取得された前記識別情報がない場合には、エラーを通知するためのエラー通知情報を受信するエラー受信ステップとを含む。
 これにより、例えば図63に示すように、取得された識別情報がIDリストにない場合には、エラー通知情報を受信するため、そのエラー通知情報を受信した受信機のユーザは、その取得された識別情報に関連付けられた情報を得ることができないことを容易に把握することができる。
 (実施の形態4)
 本実施の形態では、上記実施の形態1~3におけるスマートフォンなどの受信機と、LEDや有機ELなどの点滅パターンとして情報を送信する送信機とを用いた、シチュエーションごとの適用例について説明する。
 <シチュエーション:店前>
 まず、送信機として構成されている広告用の看板を掲げている店舗の前に、受信機を携帯したユーザがいるシチュエーションでの適用例について、図81~図85を用いて説明する。
 図81は、店前のシチュエーションでの受信機の動作の一例を示す図である。
 例えば、ユーザは、スマートフォンとして構成される受信機8300(端末装置)を携帯しながら歩いているときに、店舗の看板8301を見つける。この看板8301は、上記実施の形態1~3の何れかの送信機のように輝度変化によって信号を送信する送信機(被写体)である。ここで、ユーザは、その店舗に興味があり、且つ、その看板8301が輝度変化によって信号を送信していると判断すると、受信機8300を操作することによって、その受信機8300の可視光通信用のアプリケーションソフトウェア(以下、通信アプリケーションという)を起動させる。
 図82は、店前のシチュエーションでの受信機8300の動作の他の例を示す図である。
 受信機8300は、ユーザによる操作を受け付けることなく、通信アプリケーションを自動的に起動させてもよい。例えば、受信機8300は、GPSまたは9軸センサなどを利用することによって自らの現在地を検出し、看板8301に対して予め定められた特定領域にその現在地が入ったか否かを判断する。なお、この特定領域は看板8301の周辺の領域である。そして、受信機8300は、受信機8300の現在地がその特定領域に入ったと判断すると、通信アプリケーションを起動させる。また、受信機8300は、その受信機8300を突き出する動作、または受信機8300を回転させる動作を、内蔵された9軸センサなどを利用することによって検出し、通信アプリケーションを起動させてもよい。これにより、ユーザの操作を省くことができ、使い勝手を向上することができる。
 図83は、店前のシチュエーションでの受信機8300の次の動作の一例を示す図である。
 上述のように通信アプリケーションを起動させた受信機8300は、輝度変化によって信号を送信する送信機として構成された看板8301を撮像(可視光撮影)する。つまり、受信機8300は看板8301と可視光通信を行う。
 図84は、店前のシチュエーションでの受信機8300の次の動作の一例を示す図である。
 受信機8300は、上述の撮像によって、輝線を含む画像を取得する。そして、受信機8300は、その輝線のパターンによって特定されるデータを復調することにより、看板8301の機器IDを取得する。つまり、受信機8300は、実施の形態1~3における可視光撮影または可視光通信によって、看板8301から機器IDを取得する。さらに、受信機8300は、その機器IDをサーバに送信し、その機器IDに関連付けられた広告情報(サービス情報)をサーバから取得する。
 なお、受信機8300は、事前に保持している複数の広告情報の中から、その機器IDに関連付けられた広告情報を取得してもよい。この場合には、受信機8300は、受信機8300の現在地が上述の特定領域に入ったと判断したときに、その特定領域または現在地をサーバに通知し、その特定領域に対応する全ての機器IDと、その機器IDの各々に関連付けられた広告情報とをサーバから事前に取得してこれらを保持(キャッシュ)しておく。これにより、受信機8300は、その特定領域内において看板8301の機器IDを取得したときには、その機器IDに対応する広告情報をわざわざサーバに要求することなく、予め保持している各機器IDに関連付けられた広告情報の中から、その看板8301の機器IDに関連付けられた広告情報を迅速に取得することができる。
 受信機8300は、看板8301の機器IDに関連付けられた広告情報を取得すると、その広告情報を表示する。例えば、受信機8300は、看板8301によって示される店舗のクーポンと、空席状況と、それらと同一の内容を示すバーコードとを表示する。
 ここで、受信機8300は、可視光通信によって、機器IDだけでなく特典データもその看板8301から取得してもよい。この特典データは、例えばランダムID(乱数)、あるいは、その特典データが送信される時刻または時間帯などを示す。受信機8300は、特典データを取得したときには、機器IDとともにその特典データもサーバに送信する。そして、受信機8300は、その機器IDおよび特典データに関連付けられた広告情報をサーバから取得する。これにより、受信機8300は、特典データに応じて異なる広告情報を受けることができる。例えば、受信機8300は、看板8301を撮像したときの時間帯が早朝であれば、早朝割引のクーポンを示す広告情報を取得して表示することができる。つまり、同じ看板による広告に、特典データ(時間帯など)に応じた変化を付けることができる。その結果、ユーザは、時間帯などに適したサービスの提供を受けることができる。なお、本実施の形態では、サービス情報などの情報のユーザへの提示(表示)をサービスの提供という。
 また、受信機8300は、可視光通信によって、看板8301の空間的な配置を高精度(誤差1m以内)に示す3次元情報を機器IDとともにその看板8301から取得してもよい。あるいは、受信機8300は、その機器IDに関連付けられた3次元情報をサーバから取得してもよい。また、受信機8300は、3次元情報の代わりに、または、3次元情報とともに、看板8301の大きさを示すサイズ情報を取得してもよい。受信機8300は、そのサイズ情報を取得すると、そのサイズ情報によって示される看板8301の大きさと、撮像によって得られた画像に映し出された看板8301の大きさとの差に基づいて、受信機8300から看板8301までの距離を算出することができる。
 また、受信機8300は、可視光通信によって取得した機器IDをサーバに送信する際には、自らに予め保持されている保持情報(付属情報)を機器IDとともにサーバに送信してもよい。例えば、保持情報は、受信機8300のユーザの個人情報(性別または年齢など)またはユーザIDである。このような保持情報を機器IDとともに受信したサーバは、その機器IDに関連付けられた少なくとも1つの広告情報のうち、その保持情報(個人情報またはユーザID)に対応付けられた広告情報を受信機8300に送信する。つまり、受信機8300は、個人情報などに合った店舗の広告情報、または、ユーザIDに対応する店舗の広告情報などを受け取ることができる。その結果、ユーザは、より有益なサービスの提供を受けることができる。
 あるいは、保持情報は、受信機8300に事前に設定された受信条件を示す。この受信条件は、例えば店舗が飲食店の場合には来客人数である。このような保持情報を機器IDとともに受信したサーバは、その機器IDに関連付けられた少なくとも1つの広告情報のうち、その受信条件(来客人数)に対応付けられた広告情報を受信機8300に送信する。つまり、受信機8300は、来客人数に合った店舗の広告情報、具体的には、その来客人数に対する空席状況を示す情報を受け取ることができる。また、店舗は、来店人数や曜日・時間帯に応じて割引率を変更した広告情報を表示させることで、集客と利益の最適化を図ることができる。
 あるいは、保持情報は、受信機8300で事前に検出された現在地を示す。このような保持情報を機器IDとともに受信したサーバは、その機器IDに関連付けられた広告情報だけでなく、その保持情報によって示される現在地(現在地とその周辺)に対応する他の機器IDと、他の機器IDに関連付けられた広告情報とを受信機8300に送信する。これにより、受信機8300は、他の機器IDと、他の機器IDに関連付けられた広告情報とをキャッシュしておくことができる。したがって、受信機8300がその現在地(現在地とその周辺)において他の送信機との間で可視光通信を行ったときには、サーバにアクセスすることなく、他の送信機の機器IDに関連付けられた広告情報を素早く取得することができる。
 図85は、店前のシチュエーションでの受信機8300の次の動作の一例を示す図である。
 受信機8300は、上述のようにサーバから広告情報を取得すると、例えば、その広告情報によって示される空席状況として、「空席有り」と記述されたボタンを表示する。ここで、ユーザがボタン「空席有り」に指を触れる操作を行うと、受信機8300は、その操作結果をサーバに通知する。サーバは、その通知を受けると、看板8301の店舗に対する仮予約を行い、その仮予約が完了したことを受信機8300に通知する。受信機8300は、サーバからその通知を受けると、ボタン「空席有り」の代わりに、仮予約が完了したことを示す文字列「仮予約」を表示する。受信機8300は、看板8301によって示される店舗のクーポンと、仮予約したことを証明する文字列「仮予約」と、それらと同一の内容を示すバーコードとを含む画像を事前取得画像としてメモリに格納しておく。
 ここで、サーバは、図84および図85を用いて説明した動作によって、看板8301と受信機8300との間で行われた可視光通信に関する情報をロギングすることができる。つまり、サーバは、可視光通信を行った送信機(看板)の機器ID、可視光通信が行われた場所(受信機8300の現在地)、可視光通信が行われた時間帯などを示す特典データ、および、可視光通信を行った受信機8300のユーザの個人情報などをロギングすることができる。サーバは、ロギングされたこれらの情報のうちの少なくとも1つを用いて、看板8301の価値、つまり店舗の広告および宣伝に対する看板8301の寄与の度合いを広告効果として解析することができる。
 <シチュエーション:店内>
 次に、受信機8300を携帯したユーザが、表示された広告情報(サービス情報)に対応する店舗に入ったシチュエーションでの適用例について、図86~図94を用いて説明する。
 図86は、店内のシチュエーションでの表示装置の動作の一例を示す図である。
 例えば、上述の看板8301と可視光通信を行った受信機8300のユーザは、表示された広告情報に対応する店舗に入る。このとき、受信機8300は、可視光通信を用いて表示された広告情報に対応する店舗にユーザが入ったこと(入店)を検知する。例えば、受信機8300は、看板8301と可視光通信を行った後に、看板8301の機器IDに関連付けられた店舗の所在地を示す店舗情報をサーバから取得する。そして、受信機8300は、GPSまたは9軸センサなどを利用して得られる受信機8300の現在地がその店舗情報によって示される店舗の所在地に入ったか否かを判断する。ここで、受信機8300は、現在地が店舗の所在地に入ったと判断することによって、上述の入店を検知する。
 そして、受信機8300は、入店を検知すると、例えばサーバなどを介して表示装置8300bに入店を通知する。あるいは、受信機8300は可視光通信または無線通信によって入店を表示装置8300bに通知する。表示装置8300bは、その通知を受けると、その店舗で提供される商品または役務のメニューなどを示す商品役務情報を取得し、その商品役務情報によって示される上記メニューを表示する。なお、表示装置8300bは、受信機8300のユーザまたは店舗の店員によって携帯される携帯端末であっても、店舗に備えられている装置であってもよい。
 図87は、店内のシチュエーションでの表示装置8300bの次の動作の一例を示す図である。
 ユーザは、表示装置8300bに表示されているメニューの中から、所望の商品を選択する。つまり、ユーザは、メニューの中の、所望の商品の名称が表示されている部分に指を触れる操作を行う。これにより、表示装置8300bは商品選択の操作結果を受け付ける。
 図88は、店内のシチュエーションでの表示装置8300bの次の動作の一例を示す図である。
 商品選択の操作結果を受け付けた表示装置8300bは、選択された商品を表す画像およびその商品の値段を表示する。これにより、表示装置8300bは、選択された商品のユーザへの確認を促す。なお、上述の商品を表す画像、および商品の値段を示す情報などは、例えば上述の商品役務情報に含まれている。
 図89は、店内のシチュエーションでの受信機8300の次の動作の一例を示す図である。
 確認を促されたユーザは、その商品を注文するための操作を行う。受信機8300は、その操作が行なわれると、電子決済に必要な決済情報を、表示装置8300bまたはサーバを介して店舗のPOS(Pint of Sale)システムに通知する。さらに、受信機8300は、その店舗の看板8301との可視光通信を利用して取得されて格納されている上述の事前取得画像があるか否かを判断する。受信機8300は、その事前取得画像があると判断すると、その事前取得画像を表示する。
 なお、本シチュエーションでは、表示装置8300bを用いたが、表示装置8300bを用いることなく、受信機8300が表示装置8300bによる処理を代わりに行ってもよい。この場合、受信機8300は、入店を検知すると、その店舗で提供される商品または役務のメニューなどを示す商品役務情報をサーバから取得し、その商品役務情報によって示される上記メニューを表示する。また、受信機8300は、商品を注文するための操作を受け付けると、注文された商品と、電子決済に必要な決済情報とを、サーバを介して店舗のPOSシステムに通知する。
 図90は、店内のシチュエーションでの受信機8300の次の動作の一例を示す図である。
 店舗の店員は、その受信機8300に表示されている事前取得画像のバーコードに、POSシステムのバーコードスキャナ8302を当てる。バーコードスキャナ8302は、その事前取得画像のバーコードを読み込む。その結果、POSシステムは、そのバーコードによって示されるクーポンに応じた電子決済を行う。そして、POSシステムのバーコードスキャナ8302は、電子決済が完了したことを示す決済完了情報を輝度変化によって受信機8300に送信する。つまり、バーコードスキャナ8302は、可視光通信の送信機としての機能も有する。受信機8300は、可視光通信によって決済完了情報を取得すると、その決済完了情報を表示する。この決済完了情報は、例えば「お買い上げありがとうございます」というメッセージと、決済された金額とを示す。このような電子決済が行われることによって、POSシステム、サーバおよび受信機8300は、店舗の前で表示された広告情報(サービス情報)に対応する店舗で、ユーザがその広告情報によって示されるサービスを利用したと判定することができる。
 以上のように、図86~図90に示すような受信機8300およびPOSシステムなどの動作によって、店内における商品の注文が行われる。したがって、ユーザは、店舗に入れば、表示装置8300bまたは受信機8300に自動的に表示されるその店舗のメニューから商品の注文を行うことできる。つまり、店舗の店員は、メニューをユーザに見せて、ユーザから商品の注文を直接受け付ける必要がない。その結果、店員の負担を大幅に削減することができる。また、上述の例では、バーコードスキャナ8302がバーコードを読み込んだが、バーコードスキャナ8302を用いなくてもよい。例えば、受信機8300は、バーコードに示される情報を、サーバを介してPOSシステムに送信してもよい。そして、受信機8300は、決済完了情報をそのPOSシステムからサーバを介して取得してもよい。これにより、店員による作業をさらに削減することができ、ユーザは店員を通さずに商品の注文を行うことができる。あるいは、表示装置8300bと受信機8300が可視光通信で注文や課金のデータをやりとりしたり、可視光通信によって交換した鍵を用いた無線通信で前記データをやりとりしてもよい。
 また、看板8301は、チェーンストアに属する複数の店舗のうちの1つの店舗によって出されている場合がある。このような場合、看板8301との可視光通信を用いて取得される広告情報は、チェーンストアに属する全ての店舗で利用可能である。しかし、同じチェーンストアの中でも、看板8301を出している店舗(広告店舗)と、出していない店舗(非広告店舗)とで、ユーザが受けるサービスに違いを設けてもよい。例えば、ユーザが非広告店舗に入った場合には、ユーザは、事前取得画像に示されるクーポンどおりの割引率(例えば20%)のサービスを受け、ユーザが広告店舗に入った場合には、そのクーポンの割引率よりも高い割引率(例えば30%)のサービスを受ける。つまり、受信機8300は、広告店舗への入店を検知した場合には、10%のさらなる割引を示す付加的なサービス情報をサーバから取得して、30%(20%+10%)の割引率を示す画像を、図89に示す事前取得画像の代わりに表示する。なお、受信機8300は、サーバから取得された上述の店舗情報に基づいて、ユーザが広告店舗に入店したか、非広告店舗に入店したかを検知する。店舗情報には、チェーンストアに属する複数の店舗のそれぞれの所在地とともに、それらの店舗が広告店舗であるか非広告店舗であるかが示されている。
 また、同じチェーンストアの中に複数の非広告店舗がある場合には、非広告店舗のそれぞれでユーザが受けるサービスに違いを設けてもよい。例えば、看板8301の位置から、または、看板8301と可視光通信を行ったときの受信機8300の現在地から、非広告店舗までの距離に応じたサービスが、その非広告店舗に入ったユーザに提供される。あるいは、受信機8300と看板8301とが可視光通信を行った時刻と、ユーザが非広告店舗に入った時刻との差(時間差)に応じたサービスが、その非広告店舗に入ったユーザに提供される。つまり、受信機8300は、上述の距離(看板8301の位置)と時間差に応じて異なる、さらなる割引を示す付加的なサービス情報をサーバから取得して、さらなる割引が反映された割引率(例えば30%)を示す画像を、図89に示す事前取得画像の代わりに表示する。なお、このようなサービスは、サーバまたはPOSシステムによって、あるいは、これらが相互に連携することによって決定される。また、このようなサービスは、広告店舗および非広告店舗の区別なく、チェーンストアに属する全ての店舗に対して適用してもよい。
 また、ユーザが非広告店舗に入って、広告情報を利用した注文を行った場合には、非公告店舗のPOSシステムは、注文によって得られた金額の一部を、広告店舗のPOSシステムに還元してもよい。
 さらに、サーバは、広告情報が表示されるごとに、その広告情報が利用されたか否かを判定することができ、その判定された結果を集積することによって、看板8301の広告効果を解析することができる。また、サーバは、さらに、看板8301の位置、広告情報が表示された時刻、広告情報が利用された店舗の位置、広告情報が利用された時刻、およびユーザの入店の時刻のうち、少なくとも1つを集積することによって、看板8301の広告効果の解析精度の向上を図ることができるとともに、広告効果が最も高い看板8301の位置を見つけることができる。
 また、受信機8300は、広告情報が商品注文に利用された利用回数分のさらなる割引を示す付加的なサービス情報をサーバから取得して、その利用回数分のさらなる割引が反映された割引率(例えば30%)を示す画像を、図89に示す事前取得画像の代わりに表示してもよい。例えば、サーバは、利用回数が多ければ、割引率をさらに高くするようなサービスをPOSシステムと連携して行ってもよい。
 また、サーバは、店舗によって出されている全ての看板8301の機器IDのそれぞれに関連付けられた広告情報が受信機8300によって受信された場合(全ての広告情報の取得がコンプリートされた場合)には、得得サービスを、その看板8301の店舗に入ったユーザに提供してもよい。得得サービスは、例えば、割引率が極めて高いサービスや、注文商品以外の商品を無料で提供するサービスである。つまり、受信機8300がユーザの入店を検知すると、サーバは、その店舗に関連付けられている全ての看板のそれぞれに対しても受信機8300が可視光通信などを含む処理を行ったか否かを判定する。そして、その処理を行ったと判定された場合には、受信機8300は、さらなる割引を示す付加的なサービス情報を上述の得得サービスとしてサーバから取得して、さらなる割引が反映された割引率(例えば50%)を示す画像を、図89に示す事前取得画像の代わりに表示する。
 また、受信機8300は、看板8301と可視光通信を行って広告情報を表示した時刻と、ユーザが店舗に入った時刻との差に応じて異なる、さらなる割引率を示す付加的なサービス情報をサーバから取得して、さらなる割引が反映された割引率(例えば30%)を示す画像を、図89に示す事前取得画像の代わりに表示してもよい。例えば、受信機8300は、その差が小さいほど高い割引率を示す付加的なサービス情報をサーバから取得する。
 図91は、店内のシチュエーションでの受信機8300の次の動作の一例を示す図である。
 注文および電子決済を終えた受信機8300は、店舗内の照明機器として構成される送信機から輝度変化によって送信される信号を受信し、その信号をサーバに送信することによって、ユーザの座席位置(例えば黒丸)を示す店舗内の案内図を取得する。さらに、受信機8300は、上記実施の形態1~3の何れかと同様に、その受信された信号を用いて受信機8300の位置を特定する。そして、受信機8300は、特定された受信機8300の位置(例えば星印)を案内図中に表示する。これにより、ユーザは、店舗内をどのように進めば自らの座席に行けるかを容易に把握することができる。
 また、受信機8300は、ユーザが移動しているときにも、店舗内の照明機器として構成される近くの送信機と可視光通信を行うことによって、上述のような受信機8300の位置の特定を随時行っている。したがって、受信機8300は、表示されている受信機8300の位置(例えば星印)を逐次更新する。これにより、ユーザを座席まで適切に案内することができる。
 図92は、店内のシチュエーションでの受信機8300の次の動作の一例を示す図である。
 受信機8300は、ユーザが座席に着くと、照明機器として構成される送信機8303と可視光通信を行うことによって、受信機8300の位置を特定し、その位置がユーザの座席位置にあると判断する。そして、受信機8300は、ユーザ名またはニックネームとともに、座席に着いたことを、サーバを介して店舗内の端末に通知する。これにより、店員は、どの座席にどのユーザが座っているかを把握することができる。
 図93は、店内のシチュエーションでの受信機8300の次の動作の一例を示す図である。
 送信機8303は、輝度変化することによって、顧客IDと、注文商品ができたことを知らせるメッセージとを含む信号を送信する。なお、受信機8300は、例えば、商品のメニューなどを示す商品役務情報をサーバから取得するときに、上述の顧客IDもサーバから取得して保持している。受信機8300は、送信機8303を可視光撮影することによって上述の信号を受信する。さらに、受信機8300は、その信号に含まれる顧客IDが、予め保持している顧客IDと一致するか否かを判定する。ここで、受信機8300は、一致すると判定すると、その信号に含まれるメッセージ(例えば「商品ができました」)を表示する。
 図94は、店内のシチュエーションでの受信機8300の次の動作の一例を示す図である。
 注文商品をユーザの座席に届けた店員は、その注文商品を届けたことを証明するために、ハンディーターミナル8302aを受信機8300に向ける。ハンディーターミナル8302aは、送信機として構成されており、注文商品を届けたことを示す信号を受信機8300に輝度変化によって送信する。受信機8300は、ハンディーターミナル8302aを撮像することによって、その信号を受信し、その信号によって示されるメッセージ(例えば、「お食事をお楽しみください」)を表示する。
 <シチュエーション:店探し>
 次に、受信機8300を携帯したユーザが興味のある店舗を探しているシチュエーションでの適用例について、図95~図97を用いて説明する。
 図95は、店探しのシチュエーションでの受信機8300の動作の一例を示す図である。
 ユーザは、興味のある飲食店が掲載されたサイネージ8304を見つける。このとき、ユーザは、そのサイネージ8304が輝度変化によって信号を送信していると判断すると、図81に示す例と同様に、受信機8300を操作することによって、その受信機8300の通信アプリケーションを起動させる。なお、図82に示す例と同様に、受信機8300は通信アプリケーションを自動的に起動させてもよい。
 図96は、店探しのシチュエーションでの受信機8300の次の動作の一例を示す図である。
 受信機8300は、サイネージ8304の全体、または、サイネージ8304のうち、ユーザが興味をもつ飲食店が掲載されている部分を撮像することによって、そのサイネージ8304またはその飲食店を識別するためのIDを受信する。
 図97は、店探しのシチュエーションでの受信機8300の次の動作の一例を示す図である。
 受信機8300は、上述のIDを受信すると、そのIDをサーバに送信し、そのIDに関連付けられた広告情報(サービス情報)をサーバから取得して表示する。このとき、受信機8300は、そのIDとともに、飲食店に入る予定の人数(付属情報)をサーバに通知してもよい。これにより、受信機8300は、その人数に応じた広告情報を取得することができる。例えば、受信機8300は、その通知された人数分の空席がその飲食店にあるか否かを示す広告情報を取得することができる。
 <シチュエーション:映画広告>
 次に、受信機8300を携帯したユーザが、興味のある映画広告が掲載されたサイネージの前にいるシチュエーションでの適用例について、図98~図101を用いて説明する。
 図98は、映画広告のシチュエーションでの受信機8300の動作の一例を示す図である。
 ユーザは、興味のある映画広告が掲載されたサイネージ8305と、例えば液晶ディスプレイとして構成され、映画広告用の動画像を表示するサイネージ8306とを見つける。サイネージ8305は、例えば、映画広告を示す画像が描かれた透過性のフィルムと、そのフィルムの背面側に配置されてそのフィルムを照らす複数のLEDとを備えている。つまり、このサイネージ8305は、複数のLEDの発光によって、フィルムに描かれた画像を静止画像として明るく表示する。また、このサイネージ8305は、輝度変化することによって信号を送信する送信機として構成されている。
 ここで、ユーザは、そのサイネージ8305が輝度変化によって信号を送信していると判断すると、図81に示す例と同様に、受信機8300を操作することによって、その受信機8300の通信アプリケーションを起動させる。なお、図82に示す例と同様に、受信機8300は通信アプリケーションを自動的に起動させてもよい。
 図99は、映画広告のシチュエーションでの受信機8300の次の動作の一例を示す図である。
 受信機8300は、サイネージ8305を撮像することによって、そのサイネージ8305のIDを取得する。そして、受信機8300は、そのIDをサーバに送信し、そのIDに関連付けられた映画広告用の動画像データをサービス情報としてサーバからダウンロードして再生する。
 図100は、映画広告のシチュエーションでの受信機8300の次の動作の一例を示す図である。
 上述のようにダウンロードされた動画像データの再生によって表示される動画像は、例えばサイネージ8306によって表示される動画像と同一である。したがって、ユーザは、映画広告用の動画像を見たい場合には、サイネージ8306の前に立ち止まっていることなく、任意の場所でその動画像を見ることができる。
 図101は、映画広告のシチュエーションでの受信機8300の次の動作の一例を示す図である。
 受信機8300は、動画像データだけでなく、その動画像データとともに映画の上映時間などを示す上映情報もサービス情報としてダウンロードしてもよい。これにより、受信機8300は、上映情報の内容を表示してユーザに通知することができるとともに、その上映情報を他の端末(他のスマートフォンなど)と共有することができる。
 <シチュエーション:美術館>
 次に、受信機8300を携帯したユーザが美術館に入って館内の各展示物を鑑賞するシチュエーションでの適用例について、図102~図107を用いて説明する。
 図102は、美術館のシチュエーションでの受信機8300の動作の一例を示す図である。
 ユーザは、例えば美術館に入館しようとしたときに、その美術館の入口に掛けられた案内掲示板8307を見つける。このとき、ユーザは、その案内掲示板8307が輝度変化によって信号を送信していると判断すると、図81に示す例と同様に、受信機8300を操作することによって、その受信機8300の通信アプリケーションを起動させる。なお、図82に示す例と同様に、受信機8300は通信アプリケーションを自動的に起動させてもよい。
 図103は、美術館のシチュエーションでの受信機8300の次の動作の一例を示す図である。
 受信機8300は、案内掲示板8307を撮像することによって、その案内掲示板8307のIDを取得する。そして、受信機8300は、そのIDをサーバに送信し、そのIDに関連付けられたサービス情報として、その美術館の案内用アプリケーションプログラム(以下、美術館アプリという)をサーバからダウンロードして起動させる。
 図104は、美術館のシチュエーションでの受信機8300の次の動作の一例を示す図である。
 受信機8300は、美術館アプリが起動すると、その美術館アプリにしたがって、美術館内の案内図を表示する。さらに、受信機8300は、上記実施の形態1~3の何れかと同様に、受信機8300の美術館における位置を特定する。そして、受信機8300は、特定された受信機8300の位置(例えば星印)を案内図中に表示する。
 受信機8300は、上述のように位置を特定するためには、例えば、美術館アプリをダウンロードする際に、案内掲示板8307の大きさおよび形状などを示す形態情報をサーバから取得しておく。そして、受信機8300は、その形態情報によって示される案内掲示板8307の大きさおよび形状と、上述の撮像によって得られた画像に映し出された案内掲示板8307の大きさおよび形状とに基づいて、三角測量の方法などにしたがって、案内掲示板8307に対する受信機8300の相対的な位置を特定する。
 図105は、美術館のシチュエーションでの受信機8300の次の動作の一例を示す図である。
 上述のように美術館アプリを起動させた受信機8300は、美術館内にユーザが入ると、美術館内にある照明機器として構成される近くの送信機と可視光通信を行うことによって、受信機8300の位置の特定を随時行う。例えば、受信機8300は、照明機器として構成された送信機8308を撮像することによって、その送信機8308から送信機8308のIDを取得する。そして、受信機8300は、そのIDに関連付けられた、送信機8308の位置を示す位置情報と、送信機8308の大きさおよび形状などを示す形態情報をサーバから取得する。そして、受信機8300は、その形態情報によって示される送信機8308の大きさおよび形状と、上述の撮像によって得られた画像に映し出された送信機8308の大きさおよび形状とに基づいて、三角測量の方法などにしたがって、送信機8308に対する受信機8300の相対的な位置を推定する。また、受信機8300は、サーバから取得された位置情報によって示される送信機8308の位置と、上述のように推定された受信機8300の相対的な位置とに基づいて、受信機8300の美術館における位置を特定する。
 そして、受信機8300は、受信機8300の位置の特定が行われるごとに、特定された最新の位置に、表示されている星印を移動させる。これによって、美術館に入っているユーザは、受信機8300に表示されている案内図と星印とを見れば、自分が美術館のどこにいるのかを容易に把握することができる。
 図106は、美術館のシチュエーションでの受信機8300の次の動作の一例を示す図である。
 美術館内に入ったユーザは、興味のある展示物8309を見つけると、受信機8300がその展示物8309を撮像することができるように、その受信機8300を展示物8309にかざす動作を行う。ここで、展示物8309は、照明機器8310による光によって照らし出されている。また、照明機器8310は、展示物8309に対して専用に用いられるものであり、輝度変化によって信号を送信する送信機として構成されている。したがって、展示物8309は、輝度変化する光によって照らし出され、照明機器8310からの信号を間接的に送信している。
 受信機8300は、例えば内蔵された9軸センサからの出力に基づいて、受信機8300を展示物8309にかざす動作を検出すると、その展示物8309を撮像することによって、照明機器8310からの信号を受信する。この信号は、例えば展示物8309のIDなどを示す。そして、受信機8300は、そのIDに関連付けられた展示物8309の紹介情報(サービス情報)をサーバから取得する。この紹介情報は、展示物8309を紹介するための図を示すとともに、その紹介のための文章を、日本語、英語、およびフランス語などの各国の言語によって示す。
 受信機8300は、紹介情報をサーバから取得すると、その紹介情報によって示される図と文章とを表示する。ここで、受信機8300は、文章を表示するときには、各国の言語の文章の中から、ユーザによって予め設定されている言語の文章を抽出し、その言語の文章のみを表示する。また、受信機8300は、ユーザによる選択操作によって、その言語を変更してもよい。
 図107は、美術館のシチュエーションでの受信機8300の次の動作の一例を示す図である。
 受信機8300は、紹介情報の図および文章の表示がユーザの操作によって終了されると、再び、照明機器として構成された近くの送信機(例えば、照明機器8311)と可視光通信を行うことによって、受信機8300の位置の特定を行う。そして、受信機8300は、受信機8300の新たな位置が特定されると、その特定された新たな位置に、表示されている星印を移動させる。これによって、展示物8309を鑑賞したユーザは、受信機8300に表示されている案内図と星印とを見ることによって、次に鑑賞したい展示物へ容易に移動することができる。
 <シチュエーション:バス停留所>
 次に、受信機8300を携帯したユーザがバス停留所にいるシチュエーションでの適用例について、図108~図109を用いて説明する。
 図108は、バス停留所のシチュエーションでの受信機8300の動作の一例を示す図である。
 ユーザは、例えば、バスに乗車するためにバス停留所に行く。そこで、ユーザは、そのバス停留所にある標識塔8312が輝度変化によって信号を送信していると判断すると、図81に示す例と同様に、受信機8300を操作することによって、その受信機8300の通信アプリケーションを起動させる。なお、図82に示す例と同様に、受信機8300は通信アプリケーションを自動的に起動させてもよい。
 図109は、バス停留所のシチュエーションでの受信機8300の次の動作の一例を示す図である。
 受信機8300は、標識塔8312を撮像することによって、その標識塔8312があるバス停留所のIDを取得する。そして、受信機8300は、そのIDをサーバに送信し、そのIDに関連付けられた運行状況情報をサーバから取得する。なお、この運行状況情報は交通状況を示す情報であって、ユーザに提供されるサービスを示すサービス情報である。
 ここで、サーバは、そのバス停留所を含む地域において運行している各バスから情報を収集することによって、それらのバスの運行状況を管理している。したがって、サーバは、受信機8300からバス停留所のIDを取得したときには、管理されている運行状況に基づいて、そのIDのバス停留所にバスが到着するまでの時間を推定し、その推定された時間を示す運行状況情報を受信機8300に送信する。
 運行状況情報を取得した受信機8300は、その運行状況情報によって示される時間を、例えば「到着まで後10分」のように表示する。これにより、ユーザはバスの運行状況を容易に把握することができる。
 (補足)
 撮像側の走査方向が携帯端末の垂直方向(上下方向)である場合に、露光時間を短くして撮像すると、LEDの照明装置全体のON/OFFに対して、図110の(a)のように、走査方向と同じ方向に白・黒のパターンである輝線を撮像することができる。図110の(a)では、縦長のLED照明装置の長辺方向を、撮像側の走査方向に対して垂直になるように撮像しているため(携帯端末の左右方向)、走査方向と同じ方向に、多数の白・黒パターンの輝線を撮像することができる。即ち、送受信可能な情報量を大きくすることができる。一方、図110の(b)のように、縦長のLED照明装置を、撮像側の走査方向に対して平行になるように撮像した場合(携帯端末の上下方向)、撮像できる白・黒パターンの輝線は少なくなる。即ち、送信可能な情報量が小さくなる。
 このように、撮像側の走査方向に対するLED照明装置の向きによって、多数の白・黒パターンの輝線が撮像できる場合(縦長のLED照明装置の長辺方向を、撮像側の走査方向に対して垂直になるように撮像した場合)と、少数の白・黒パターンの輝線の撮像しかできない場合(縦長のLED照明装置の長辺方向を、撮像側の走査方向に対して平行にした場合)とが生じる。
 本実施の形態では、少数の白・黒パターンの輝線しか撮像できない場合であっても、多数の輝線を撮像可能な照明装置の制御方法について説明する。
 図111に縦方向に複数のLEDを配した照明装置と、その駆動信号の一例を示す。図111の(a)は、縦方向に複数のLEDを配した照明装置である。各LED素子が可視光通信信号を符号化した横縞の最小単位に相当するものとし、符号化したON/OFF信号に相当するものとする。このように、白・黒のパターンを生成し、各LED素子をON/OFFして、照明することにより、撮像側の走査方向と、縦長のLED照明装置の長辺方向が並行であったとして、LED素子単位の白・黒パターンを撮影することが可能となる。
 図111の(c)および(d)は、白・黒のパターンを生成し、各LED素子をON/OFFして照明する例を示している。照明装置において、白・黒のパターンとして照明すると、短時間であっても、明かりにムラが生じる場合がある。そのため、逆位相のパターンを生成し、交互に照明する例を示したものが、図111の(c)および(d)になる。図111の(c)において、ONになっていた素子は、図111の(d)において、OFFとなっており、図111の(c)において、OFFになっていた素子は、図111の(d)において、ONとなっている。このように、白・黒のパターンを、正位相のパターンと、逆位相のパターンを順次交互に、照明することにより、明かりのムラを生じさせることなく、かつ、撮像側の走査方向と、照明装置の向きとの関係に影響を受けず、可視光通信において多くの情報を送受信することが可能となる。また、正位相のパターン、逆位相のパターンの2種類のパターンを交互に生成し、照明する場合に限らず、3種類以上のパターンを生成し、照明することも考えられる。図112は、4種類のパターンを順次照明する例を示している。
 通常は、LED照明全体で点滅を行い(図111の(b))、所定時間だけ、白・黒パターンを生成し、LED素子単位で照明する構成も考えられる。例えば、所定のデータ単位の送受信の時間は、LED照明全体で点滅を行い、その後、短時間で、LED素子単位で白・黒パターンを照明する構成が考えられる。ここで、所定のデータ単位は、例えば、第1のヘッダから、次の第2のヘッダのまでのデータ単位をいう。このとき、図110の(a)の方向で撮像した場合はLED照明全体での点滅を撮像した輝線から信号を受信し、図110の(b)の方向で受信した場合はLED素子単位での発光パターンから信号を受信する。
 なお、本実施の形態は、LED照明装置に限定するものではなく、LED素子と同じように、小さな素子単位でON/OFFを制御できる素子であればどのような素子であってもよい。また、照明装置に限らず、テレビや、プロジェクターや、サイネージなどの装置であってもよい。
 また、本実施の形態では、白・黒パターンで照明する例について説明したが、白・黒パターンではなく色を用いても良い。例えば、RGBのうち、RGは常時点灯させ、Bだけ使って点滅させてもよい。RやGよりもBだけ使うほうが人間に認識されにくく、ちらつきを抑制することが可能となる。他の例として、白・黒パターンの代わりに加法混色において補色になる色(赤とシアンのパターン、緑とマゼンタのパターン、黄と青のパターンなど)を使って、ON/OFFを表示させてもよい。加法混色において補色になる色を用いることにより、ちらつきを抑制することが可能となる。
 また、本実施の形態では、LED素子を1次元に配置する例を用いて説明したが、LED素子を1次元に並べるのではなく、2次元に配置して、2次元バーコードのように表示を行ってもよい。
 (本実施の形態のまとめ)
 本実施の形態におけるサービス提供方法は、複数の露光ラインを有するイメージセンサを備える端末装置を用いて、前記端末装置のユーザにサービスを提供するサービス提供方法であって、前記イメージセンサの各露光ラインの露光を順次異なる時刻で開始し、かつ、前記各露光ラインの露光時間が、隣接する露光ラインとの間で、部分的に時間的な重なりを持つように、1/480秒以下の露光時間で被写体の撮影を行うことにより画像データを取得する画像取得ステップと、前記画像データに現れる、前記各露光ラインに対応する輝線パターンを復調することにより、前記被写体の識別情報を取得する可視光通信ステップと、前記被写体の識別情報に関連付けられているサービス情報を前記ユーザに提示するサービス提示ステップとを含む。
 これにより、被写体および端末装置がそれぞれ送信機および受信機として互いに通信することを利用して、端末装置のユーザに被写体に関連したサービス情報が提示されるため、ユーザにとって有益な情報をサービスとしてそのユーザに多様な形態で提供することができる。例えば、前記サービス提示ステップでは、前記被写体に関連する店舗の広告、空席状況または予約状況を示す情報と、商品または役務の価格の割引率を示す情報と、映画広告用の動画像と、上映時間を示す情報と、建物内部を案内するための情報と、展示物を紹介するための情報と、交通状況を示す情報とのうちの少なくも1つを、前記サービス情報として提示する。
 また、前記サービス提供方法は、さらに、前記端末装置が前記被写体の識別情報をサーバに送信する識別情報送信ステップと、前記被写体の識別情報に関連付けられている前記サービス情報を前記端末装置が前記サーバから取得するサービス取得ステップとを含み、前記サービス提示ステップでは、取得された前記サービス情報を前記端末装置が前記ユーザに提示してもよい。
 これにより、サービス情報を被写体の識別情報に関連付けてサーバに管理させることができるため、サービス情報の更新などのメンテナンスを容易にすることができる。
 また、前記識別情報送信ステップでは、前記被写体の識別情報とともに付属情報を前記サーバに送信し、前記サービス取得ステップでは、前記被写体の識別情報と前記付属情報とに関連付けられている前記サービス情報を取得してもよい。
 これにより、付属情報に応じた、ユーザにとってより適切なサービスを提供することができる。例えば、図84および図97を用いて説明した動作のように、前記識別情報送信ステップでは、前記ユーザの個人情報、前記ユーザの識別情報、前記ユーザを含むグループの人数を示す人数情報、または、前記端末装置の位置を示す位置情報を、前記付属情報として送信する。
 また、前記サービス提供方法は、さらに、前記端末装置の位置を示す位置情報を前記端末装置がサーバに送信する位置送信ステップと、前記位置情報によって示される位置を含む所定の範囲にある少なくとも1つの機器の識別情報と、前記識別情報のそれぞれに関連付けられている少なくとも1つのサービス情報とを、前記端末装置が前記サーバから取得して保持する事前取得ステップとを含み、前記サービス提示ステップでは、前記事前取得ステップで保持された前記少なくとも1つのサービス情報の中から、前記被写体の前記識別情報に関連付けられているサービス情報を前記端末装置が選択して、当該サービス情報を前記ユーザに提示してもよい。
 これにより、例えば図82を用いて説明した動作のように、端末装置が被写体の識別情報を取得したときには、その後にサーバなどと通信することなく、予め保持されている少なくとも1つのサービス情報の中から、その被写体の識別情報に関連付けられているサービス情報を取得して提示することができる。したがって、サービスの提供を高速化することができる。
 また、前記サービス提供方法は、さらに、前記ユーザの位置を特定することによって、前記サービス提示ステップで提示されたサービス情報に対応する店舗に、前記ユーザが入ったか否かを判別する入店判別ステップと、前記入店判別ステップで、前記ユーザが前記店舗に入ったと判別されたときには、前記店舗の商品または役務に関する商品役務情報を、前記端末装置がサーバから取得して前記ユーザに提示する商品役務提示ステップとを含んでもよい。
 これにより、例えば図86~図90を用いて説明した動作のように、ユーザが店舗に入れば、店舗のメニューなどを商品役務情報としてユーザに自動的に提示することができる。したがって、店舗の店員はメニューなどをユーザに提示する必要がなく、ユーザは店舗に対して簡単に注文を行うことができる。
 また、前記サービス提供方法は、さらに、前記ユーザの位置を特定することによって、前記サービス提示ステップで提示されたサービス情報に対応する店舗に、前記ユーザが入ったか否かを判別する入店判別ステップと、前記入店判別ステップで、前記ユーザが前記店舗に入ったと判別されたときには、前記被写体の位置、および、前記サービス情報が提示された時刻のうちの、少なくとも一方に応じて異なる前記店舗の付加的なサービス情報を、前記端末装置が前記ユーザに提示する付加サービス提示ステップとを含んでもよい。
 これにより、例えば図86~図90を用いて説明した処理のように、ユーザが入った店舗から被写体が近いほど、あるいは、ユーザが店舗に入った時刻と、サービス情報が提示された時刻(または被写体の撮影が行われた時刻)とが近いほど、ユーザにとってより有益なサービス情報を付加的なサービス情報としてそのユーザに提示することができる。具体的には、チェーンストアに属する複数の店舗のそれぞれが、サービス提示ステップで提示されたサービス情報に対応する店舗であり、それらの店舗のうちの1つの店舗(広告店舗)によって被写体である看板が出されている場合がある。このような場合には、上記チェーンストアに属する複数の店舗のうち広告店舗は、典型的には、その被写体(看板)に最も近い位置にある。したがって、ユーザが入った店舗から被写体が近いほど、あるいは、ユーザが店舗に入った時刻と、サービス情報が提示された時刻とが近いほど、ユーザが入った店舗が広告店舗である可能性が高い。そこで、ユーザが広告店舗に入った可能性が高い場合には、ユーザにとってより有益なサービス情報を付加的なサービス情報としてそのユーザに提示することができる。
 また、前記サービス提供方法は、さらに、前記ユーザの位置を特定することによって、前記サービス提示ステップで提示されたサービス情報に対応する店舗に、前記ユーザが入ったか否かを判別する入店判別ステップと、前記入店判別ステップで、前記ユーザが前記店舗に入ったと判別されたときには、前記ユーザが前記サービス情報によって示されるサービスを前記店舗で利用した回数に応じて異なる前記店舗の付加的なサービス情報を、前記端末装置が前記ユーザに提示する付加サービス提示ステップとを含んでもよい。
 これにより、例えば図86~図90を用いて説明した動作のように、サービスの利用回数が多いほど、ユーザにとってより有益なサービス情報を付加的なサービス情報としてそのユーザに提示することができる。例えば、商品価格の20%割引を示すサービス情報の利用回数が閾値を超えると、10%のさらなる割引を示す付加的なサービス情報をユーザに提示することができる。
 また、前記サービス提供方法は、さらに、前記ユーザの位置を特定することによって、前記サービス提示ステップで提示されたサービス情報に対応する店舗に、前記ユーザが入ったか否かを判別する入店判別ステップと、前記入店判別ステップで、前記ユーザが前記店舗に入ったと判別されたときには、前記店舗に関連付けられている、前記被写体以外の全ての他の被写体のそれぞれに対しても、前記画像取得ステップ、前記可視光通信ステップおよび前記サービス提示ステップを含む処理が行われたか否かを判定するコンプリート判定ステップと、前記コンプリート判定ステップで前記処理が行われたと判定されたときには、前記店舗の付加的なサービス情報を、前記端末装置が前記ユーザに提示する付加サービス提示ステップとを含んでもよい。
 これにより、例えば図86~図90を用いて説明した動作のように、例えば店舗が幾つかの被写体を看板として出し、それらの看板の全てに対して画像取得ステップ、可視光通信ステップおよびサービス提示ステップが行なわれている場合には、ユーザにとって最も有益なサービス情報を付加的なサービス情報としてそのユーザに提示することができる。
 また、前記サービス提供方法は、さらに、前記ユーザの位置を特定することによって、前記サービス提示ステップで提示されたサービス情報に対応する店舗に、前記ユーザが入ったか否かを判別する入店判別ステップと、前記入店判別ステップで、前記ユーザが前記店舗に入ったと判別されたときには、前記サービス情報が提示された時刻と、前記ユーザが前記店舗に入った時刻との差分に応じて異なる前記店舗の付加的なサービス情報を、前記端末装置が前記ユーザに提示する付加サービス提示ステップとを含んでもよい。
 これにより、例えば図86~図90を用いて説明した動作のように、サービス情報が提示された時刻(または被写体の撮影が行われた時刻)と、ユーザが店舗に入った時刻との差分が小さいほど、ユーザにとってより有益なサービス情報を付加的なサービス情報としてそのユーザに提示することができる。つまり、被写体の撮像によってサービス情報の提示を受けてから入店までの時間が短いユーザに対しては、より有益なサービスを付加的に提供することができる。
 また、前記サービス提供方法は、さらに、前記サービス提示ステップで提示されたサービス情報に対応する店舗で、前記ユーザが前記サービス情報によって示されるサービスを利用したか否かを判定する利用判定ステップと、前記サービス情報が提示されるごとに、前記利用判定ステップにおいて判定された結果を集積し、集積された内容に基づいて前記被写体の広告効果を解析する解析ステップとを含んでもよい。
 例えば図86~図90を用いて説明した動作のように、商品価格の20%割引などのサービスがサービス情報に示されている場合に、そのサービスが例えば電子決済によって利用されたか否かが判定される。つまり、被写体の撮像時にユーザにサービスが提供されるごとに、そのサービスが利用されたか否かが判定される。その結果、例えば、利用されたと判定されることが多い場合には、被写体の広告効果は高いと解析することができる。つまり、被写体の広告効果を利用結果に基づいて適切に解析することができる。
 また、前記解析ステップでは、前記利用判定ステップにおいて判定された結果とともに、前記被写体の位置、前記サービス情報が提示された時刻、前記店舗の位置、および、前記店舗に前記ユーザが入った時刻のうちの、少なくとも1つを集積し、集積された内容に基づいて前記被写体の広告効果を解析してもよい。
 これにより、被写体の広告効果をより詳細に解析することができる。例えば、被写体の位置を変えた場合には、位置を変える前と後とでの広告効果を比較することができ、その結果、広告効果の高い位置に被写体を出すことができる。
 また、前記サービス提供方法は、さらに、前記サービス提示ステップで提示されたサービス情報に対応する店舗で、前記ユーザが前記サービス情報によって示されるサービスを利用したか否かを判定する利用判定ステップと、前記利用判定ステップで前記サービスを利用したと判定されたときには、前記サービスが利用された店舗である利用店舗が、前記被写体に関連付けられた特定店舗であるか否かを判定する店舗判定ステップと、前記店舗判定ステップで前記利用店舗が前記特定店舗でないと判定されたときには、前記利用店舗において前記サービスを利用して決済された金額の少なくとも一部を、電子商取引を用いて、前記特定店舗に還元する還元ステップとを含んでもよい。
 これにより、例えば図86~図90を用いて説明した動作のように、特定店舗(例えば、被写体である看板を出している広告店舗)でサービスが利用されない場合であっても、特定店舗は、例えば被写体である看板の設置に対する代償として、利益を得ることができる。
 また、前記サービス提示ステップでは、前記画像取得ステップにおいて輝度変化する光に照らされた前記被写体が撮影された場合には、前記被写体を紹介するための前記サービス情報を前記端末装置が前記ユーザに提示し、前記画像取得ステップにおいて輝度変化する照明機器が前記被写体として撮影された場合には、前記被写体が配置された建物内部を案内するための前記サービス情報を前記端末装置が前記ユーザに提示してもよい。
 これにより、例えば図105および図106を用いて説明した動作のように、例えば美術館などの館内の案内サービスと、被写体である展示物の紹介サービスとを適切にユーザに提供することができる。
 また、本実施の形態における情報通信方法は、複数の発光素子を有する被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップと、第1の情報を示すための輝度変化のパターンにしたがって前記複数の発光素子の全てが同じ態様で輝度変化する前記被写体を、設定された前記露光時間で前記イメージセンサが撮影することによって、前記輝線を含む画像である輝線画像を取得する画像取得ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより前記第1の情報を取得する第1の情報取得ステップと、前記複数の発光素子のそれぞれが、互いに異なる2つの輝度値のうちの一方の輝度値で発光する前記被写体を撮影し、撮影によって得られる画像に示される、前記露光ラインに平行な方向に沿う輝度の明暗の配列によって特定されるデータを復調することにより第2の情報を取得する第2の情報取得ステップとを含む。
 または、本実施の形態における情報通信方法は、輝度変化によって信号を送信する情報通信方法であって、送信対象の第1の信号を変調することによって、輝度変化のパターンを決定する決定ステップと、決定された前記輝度変化のパターンにしたがって、発光体が有する複数の発光素子の全てが同じ態様で輝度変化することによって、前記第1の信号を送信する第1の送信ステップと、前記複数の発光素子のそれぞれが、互いに異なる2つの輝度値のうちの一方の輝度値で発光することにより、前記発光体が配置された空間上に、輝度の明暗の配列を現すことによって、送信対象の第2の信号を送信する第2の送信ステップとを含む。
 これにより、例えば図110~図112を用いて説明した動作のように、被写体または発光体である照明装置が、一列に配列された複数のLEDを備えた細長いものであっても、受信機は、撮影の向きに関わらず、その照明装置からの情報または信号を適切に取得することができる。つまり、受信機に備えられているイメージセンサの露光ライン(撮像側の操作方向)と、複数のLEDの配列方向とが平行でない場合には、受信機は、照明装置の全体の輝度変化から情報または信号を適切に取得することができる。さらに、受信機は、露光ラインと上述の配列方向とが平行である場合でも、受信機は、露光ラインに平行な方向に沿う輝度の明暗の配列から、情報または信号を適切に取得することができる。言い換えれば、情報の受信に対する、撮像の向きの依存性を抑えることができる。
 (実施の形態5)
 本実施の形態では、上記実施の形態1~4におけるスマートフォンなどの受信機と、LEDや有機ELなどの点滅パターンとして情報を送信する送信機とを用いた適用例について説明する。
 図113は、実施の形態5における送信機の動作の一例を示す図である。
 送信機8321、送信機8322および送信機8323はそれぞれ、上記実施の形態1~4の何れかの送信機と同様の機能を備え、輝度変化によって信号を送信(可視光通信)する照明機器として構成されている。また、これらの送信機8321~8323はそれぞれ互いに異なる周波数で輝度変化することによって信号を送信する。例えば、送信機8321は、周波数a(例えば9200Hz)で輝度変化することによって、その送信機8321のID「1000」を送信し、送信機8322は、周波数b(例えば9600Hz)で輝度変化することによって、その送信機8322のID「2000」を送信し、送信機8323は、周波数c(例えば10000Hz)で輝度変化することによって、その送信機8322のID「3000」を送信する。
 受信機は、これらの送信機8321~8323が全て画角に含まれるように、送信機8321~8323を上記実施の形態1~4と同様に撮像(可視光撮影)する。その撮像によって得られる画像には、各送信機に対応する輝線パターンが現れている。なお、輝線パターンからは、その輝線パターンに対応する送信機の輝度変化の周波数を特定することができる。
 ここで、仮に、送信機8321~8323のそれぞれの周波数が同一である場合には、送信機のそれぞれに対応する輝線パターンから特定される周波数も同一となる。さらに、それらの輝線パターンが互いに隣接している場合には、それらの輝線パターンから特定される周波数が同一であるため、それらの輝線パターンを区別することが難しくなる。
 そこで、上述のように、送信機8321~8323が互いに異なる周波数で輝度変化することによって、受信機は、それらの輝線パターンを容易に区別することができ、それぞれの輝線パターンによって特定されるデータを復調することによって、送信機8321~8323のそれぞれのIDを適切に取得することができる。つまり、受信機は、送信機8321~8323からの信号を適切に区別することができる。
 なお、送信機8321~8323のそれぞれの周波数は、リモートコントローラによって設定されてもよく、ランダムに設定されてもよい。また、送信機8321~8323のそれぞれは、隣の送信機と通信し、隣の通信機の周波数と異なるように、自らの送信機の周波数を自動的に設定してもよい。
 図114は、実施の形態5における送信機の動作の一例を示す図である。
 上述の例では、送信機のそれぞれが異なる周波数で輝度変化するが、5つ以上の送信機がある場合には、それぞれが異なる周波数で輝度変化しなくてもよい。つまり、5つ以上の送信機のそれぞれは、4種類の周波数のうちの何れか1つの周波数で輝度変化すればよい。
 例えば、図114に示すように、5つ以上の送信機のそれぞれに対応する輝線パターン(図114中の矩形領域)が隣接している状況であっても、周波数の種類は送信機の数だけ必要ではなく、4種類(周波数a,b,c,d)あれば、互いに隣接する輝線パターンの周波数を確実に異ならせることができる。このことは、四色問題または四色定理によって理由付けられる。
 つまり、本実施の形態では、複数の送信機のそれぞれは、少なくとも4種類の周波数のうちの何れか1つの周波数で輝度変化し、複数の送信機のうちの2つ以上の発光体は、同一の周波数で輝度変化する。また、受信機のイメージセンサの受光面に、その複数の送信機が投影される場合に、その受光面上で互いに隣接する全ての送信機(送信機の像である輝線パターン)間で輝度変化の周波数が異なるように、その複数の送信機のそれぞれは輝度変化する。
 図115は、実施の形態5における送信機の動作の一例を示す図である。
 送信機は、予め定められた時間単位(スロット)ごとに、高い輝度の光(H)または低い輝度の光(L)を出力することによって輝度変化し、この輝度変化によって信号を送信する。ここで、送信機は、ヘッダとボディとからなるブロックごとに信号を送信する。ヘッダは、例えば図79Aに示すように7スロットを用いて(L,H,L,H,L,H,H)として表現される。そして、ボディは、複数のシンボル(00,01,10または11)からなり、各シンボルは4スロット(4値PPM)を用いて表現される。また、ブロックは、予め定められた数(図115の例では19)のスロットを用いて表現される。また、IDは、例えば4つのブロックのそれぞれに含まれるボディを結合することによって得られるものである。なお、ブロックは33個のスロットを用いて表現されてもよい。
 受信機の撮像によって得られる輝線パターンは、そのヘッダに対応するパターン(ヘッダパターン)と、ボディに対応するパターン(データパターン)とを含む。データパターンには、ヘッダパターンと同じパターンが含まれていない。したがって、受信機は、輝線パターンからヘッダパターンを容易に見つけることができ、ヘッダパターンと次のヘッダパターンとの間の画素数(ブロックに対応する露光ラインの数)を計測することができる。受信機は、1ブロックのスロット数(図115の例では19)は周波数に関わらず固定の数に定められているため、この計測された画素数に応じて送信機の周波数(1スロットの時間幅の逆数)を特定することができる。つまり、受信機は、画素数が多いほど低い周波数を特定し、画素数が少ないほど高い周波数を特定する。
 このように、受信機は、送信機の撮像によって、その送信機のIDを取得することができるとともに、その送信機の周波数を特定することができる。ここで、受信機は、このように特定される周波数を利用して、取得されたIDが適切なものであるか否かを判定すること、つまり、IDのエラー検出を行うことができる。具体的には、受信機は、IDに対するハッシュ値を算出し、そのハッシュ値と、特定された周波数とを比較する。受信機は、そのハッシュ値と周波数とが一致する場合には、取得されたIDが適切なものであると判定し、一致しない場合には、取得されたIDが不適切なもの(エラー)であると判定する。例えば、受信機は、IDを予め定められた除数で除算した余りをハッシュ値として扱う。逆に言えば、送信機は、送信対象のIDに対するハッシュ値と同じ値の周波数(1スロットの時間幅の逆数)で輝度変化することによって、その送信対象のIDを送信する。
 図116は、実施の形態5における送信機および受信機の動作の一例を示す図である。
 送信機は、上述のようにハッシュ値と同じ値の周波数を用いるのではなく、任意の周波数を用い、その任意の周波数で輝度変化してもよい。この場合、送信機は、その送信機のIDと異なる値を示す信号を送信する。例えば、送信機のIDが「100」であって、その送信機が任意の周波数として2kHzを用いる場合には、送信機は、IDと周波数とを組み合せた信号「1002」を送信する。同様に、他の送信機のIDが「110」であって、他の送信機が任意の周波数として1kHzを用いる場合には、他の送信機は、IDと周波数とを組み合せた信号「1101」を送信する。
 この場合には、受信機は、送信機から送信されて取得された信号のうちの下一桁目の数値を、エラー検出に利用し、残りの桁の数値を送信機のIDとして抽出する。そして、受信機は、輝度パターンから特定された周波数と、取得された信号に含まれる上記下一桁目の数値とを比較する。受信機は、その下一桁目の数値と周波数とが一致する場合には、抽出されたIDが適切なものであると判定し、一致しない場合には、抽出されたIDが不適切なもの(エラー)であると判定する。
 これにより、受信機においてエラー検出を可能としながらも、送信機における輝度変化の周波数の設定の自由度を増すことができる。
 図117は、実施の形態5における受信機の動作の一例を示す図である。
 図117に示すように、受信機による撮像(可視光撮影)によって得られる画像において、輝線パターン8327aと輝線パターン8327bのそれぞれの一部が重なる場合がある。このような場合、受信機は、輝線パターン8327aと輝線パターン8327bとが重なる部分8327cからはデータの復調を行わず、輝線パターン8327aと輝線パターン8327bのそれぞれの部分8327c以外の部分からデータの復調を行う。これにより、受信機は、輝線パターン8327aと輝線パターン8327bのそれぞれから適切なIDを取得することができる。
 図118は、実施の形態5における受信機の動作の一例を示す図である。
 送信機は、図118の(a)に示すように、例えばブロックごとに、そのブロックを送信するための輝度変化の周波数を切り替える。これにより、受信機は、ブロックとブロックの区切りをさらに容易に判別することができる。
 また、送信機は、図118の(b)に示すように、例えばブロックのヘッダを送信するための輝度変化の周波数と、そのブロックのボディを送信するための輝度変化の周波数とを異ならせる。これにより、ボディにヘッダと同じパターンが出現することを抑えることができる。その結果、受信機は、ヘッダとボディの区別をさらに適切に判定することができる。
 図119は、実施の形態5における送信機、受信機およびサーバを有するシステムの動作の一例を示す図である。
 本実施の形態におけるシステムは、送信機8331と、受信機8332と、サーバ8333とを備える。送信機8331は、上記実施の形態1~4の何れかの送信機と同様の機能を備え、送信機8331のIDを輝度変化によって送信(可視光通信)する照明機器として構成されている。受信機8332は、上記実施の形態1~4の何れかの受信機としての機能を備え、送信機8331を撮像(可視光撮影)することによって、その送信機8331から送信機8331のIDを取得する。サーバ8333は、送信機8331および受信機8332と例えばインターネットなどのネットワークを介して通信する。
 なお、本実施の形態では、送信機8331のIDは変更されることがなく、固定されている。一方、送信機8331の輝度変化(可視光通信)に用いられる周波数は、設定によって任意に変更可能である。
 このようなシステムでは、送信機8331は、まず、輝度変化(可視光通信)に用いられ周波数をサーバ8333に登録する。具体的には、送信機8331は、自らのIDと、その周波数を示す登録周波数情報と、送信機8331に関連する関連情報とをサーバ8333に送信する。サーバ8333は、送信機8331のIDと登録周波数情報と関連情報とを受信すると、これらを関連付けて記録する。つまり、送信機8331のIDと、送信機8331の輝度変化に用いられる周波数と、関連情報とが互いに関連付けられて記録される。これにより、送信機8331の輝度変化に用いられる周波数が登録される。
 次に、送信機8331は、その登録された周波数の輝度変化によって、送信機8331のIDを送信する。受信機8332は、送信機8331を撮像することによって、そのIDを取得するとともに、上述と同様に、その送信機8331の輝度変化の周波数を特定する。
 次に、受信機8332は、その取得されたIDと、特定された周波数を示す特定周波数情報とをサーバ8333に送信する。サーバ8333は、受信機8332によって送信されたIDおよび特定周波数情報を受信すると、そのIDに関連付けて記録されている周波数(登録周波数情報によって示される周波数)を検索し、その記録されている周波数と、特定周波数情報によって示される周波数とが一致するか否かを判定する。ここで、一致すると判定すると、サーバ8333は、そのIDおよび周波数に関連付けて記録されている関連情報(データ)を受信機8332に送信する。
 これにより、受信機8332によって特定される周波数が、サーバ8333に登録された周波数に一致しなければ、サーバ8333から受信機8332に関連情報が送信されることはない。したがって、受信機8332が送信機8331からIDを一度だけでも取得してしまえば、受信機8332がサーバ8333から関連情報をいつでも受け取り可能な状態になってしまうことを、サーバ8333に登録される周波数を随時変更することによって防ぐことができる。つまり、送信機8331は、サーバ8333に登録される周波数(つまり輝度変化に用いられる周波数)を変更することによって、変更前にIDを取得した受信機8332による関連情報の取得を禁止することができる。言い換えれば、周波数の変更によって、関連情報の取得に対して有効期限を設定することができる。例えば、受信機8332のユーザが、送信機8331が設置されたホテルに宿泊した場合、宿泊後にホテルの管理者が周波数を変更する。これによって、受信機8332は、そのユーザが宿泊した日だけ関連情報を取得することができ、宿泊後にその受信機8332が関連情報を取得することを禁止することができる。
 なお、サーバ8333は、1つのIDに複数の周波数を関連付けて登録しておいてもよい。例えば、サーバ8333は、登録周波数情報を受信機8332から取得するごとに、常に最新の4つの登録周波数情報によって示される周波数をIDに関連付けて登録する。これにより、過去にIDを取得した受信機8332であっても、周波数が3回変更されるまでは、関連情報をサーバ8333から取得することができる。また、サーバ8333は、登録されている周波数ごとに、その周波数が送信機8331に設定されていた時刻または時間帯を管理しておいてもよい。この場合には、サーバ8333は、IDおよび特定周波数情報を受信機8332から受けたときには、その特定周波数情報によって示される周波数に対して管理されている時間帯などを確認することによって、その受信機8332がIDを取得した時間帯を特定することができる。
 図120は、実施の形態5における送信機の構成を示すブロック図である。
 送信機8334は、上記実施の形態1~4の何れかの送信機と同様の機能を備えるとともに、周波数記憶部8335、ID記憶部8336、チェック値記憶部8337、チェック値比較部8338、チェック値算出部8339、周波数算出部8340、周波数比較部8341、送信部8342、およびエラー報知部8343を備えている。
 周波数記憶部8335は、輝度変化(可視光通信)に用いられる周波数を記憶している。ID記憶部8336は、送信機8334のIDを記憶している。チェック値記憶部8337は、ID記憶部8336に記憶されているIDが適切なものであるかを判定するためのチェック値を記憶している。
 チェック値算出部8339は、ID記憶部8336に記憶されているIDを読み出し、そのIDに対して所定の関数を適用することによって、そのIDに対するチェック値(算出チェック値)を算出する。チェック値比較部8338は、チェック値記憶部8337に記憶されているチェック値を読み出し、そのチェック値と、チェック値算出部8339によって算出された算出チェック値とを比較する。チェック値比較部8338は、算出チェック値がチェック値と異なると判定すると、エラーをエラー報知部8343に通知する。例えば、チェック値記憶部8337は、ID記憶部8336に記憶されているIDが偶数であることを示す値「0」をチェック値として記憶している。チェック値算出部8339は、ID記憶部8336に記憶されているIDを読み出して値「2」で除算することによって、その余りを算出チェック値として算出する。そして、チェック値比較部8338は、チェック値「0」と、上述の除算の余りである算出チェック値とを比較する。
 周波数算出部8340は、ID記憶部8336に記憶されているIDを、チェック値算出部8339を介して読み出し、そのIDから周波数(算出周波数)を算出する。例えば、周波数算出部8340は、IDを予め定められた値で除算することによって、その余りを周波数として算出する。周波数比較部8341は、周波数記憶部8335に記憶されている周波数(記憶周波数)と、算出周波数とを比較する。周波数比較部8341は、算出周波数が記憶周波数と異なると判定すると、エラーをエラー報知部8343に通知する。
 送信部8342は、周波数算出部8340によって算出された算出周波数で輝度変化することによって、ID記憶部8336に記憶されているIDを送信する。
 エラー報知部8343は、チェック値比較部8338および周波数比較部8341のうちの少なくとも一方からエラーが通知されたときには、ブザー音、点滅または点灯などによってエラーを報知する。具体的には、エラー報知部8343は、エラーの報知用にランプを備え、そのランプを点灯または点滅させることによってエラーを報知する。または、エラー報知部8343は、送信機8334の電源スイッチがONに切り替えられたときに、IDなどの信号を送信するために輝度変化する光源を、所定の期間(例えば10秒)だけ、人間が認知し得る周期で点滅させることによってエラーを報知する。
 これにより、ID記憶部8336に記憶されているIDと、そのIDから算出される周波数が適切なものであるかがチェックされるため、誤ったIDの送信と、誤った周波数での輝度変化とを防ぐことができる。
 図121は、実施の形態5における受信機の構成を示すブロック図である。
 受信機8344は、上記実施の形態1~4の何れかの受信機と同様の機能を備えるとともに、受光部8345、周波数検出部8346、ID検出部8347、周波数比較部8348、および周波数算出部8349を備えている。
 受光部8345は、例えばイメージセンサを備え、輝度変化する送信機を撮像(可視光撮影)することによって、輝線パターンを含む画像を取得する。ID検出部8347は、送信機のIDをその画像から検出する。つまり、ID検出部8347は、その画像に含まれる輝線パターンによって特定されるデータを復調することによって、送信機のIDを取得する。周波数検出部8346は、送信機の輝度変化の周波数をその画像から検出する。つまり、周波数検出部8346は、図115を用いて説明した例のように、その画像に含まれる輝線パターンから送信機の周波数を特定する。
 周波数算出部8349は、ID検出部8347によって検出されたIDから、例えば上述のようにIDに対して除算を行うことによって、送信機の周波数を算出する。周波数比較部8348は、周波数検出部8346によって検出された周波数と、周波数算出部8349によって算出された周波数とを比較する。ここで、周波数比較部8348は、これらの周波数が異なる場合には、検出されたIDが誤りであると判断し、ID検出部8347に対してIDの検出をやり直させる。これにより、誤ったIDを取得することを防ぐことができる。
 図122は、実施の形態5における送信機の動作の一例を示す図である。
 送信機は、予め定められた時間単位において輝度変化がある位置を異ならせることによって、シンボル「00,01,10,11」のそれぞれを区別して送信してもよい。
 例えば、シンボル「00」を送信するときには、送信機は、時間単位における最初の区間である第1区間だけ輝度変化することによって、そのシンボル「00」を送信する。また、シンボル「01」を送信するときには、送信機は、時間単位における二番目の区間である第2区間だけ輝度変化することによって、そのシンボル「01」を送信する。同様に、シンボル「10」を送信するときには、送信機は、時間単位における三番目の区間である第3区間だけ輝度変化することによって、そのシンボル「10」を送信し、シンボル「11」を送信するときには、送信機は、時間単位における四番目の区間である第4区間だけ輝度変化することによって、そのシンボル「11」を送信する。
 このように本実施の形態では、何れのシンボルを送信するときにも、1つの区間内では輝度変化するため、1つの区間(スロット)の全体を低い輝度にしてしまう上述の送信機と比べて、ちらつきを抑えることができる。
 図123は、実施の形態5における送信機の動作の一例を示す図である。
 送信機は、予め定められた時間単位において輝度変化の有無を異ならせることによって、シンボル「0,1」のそれぞれを区別して送信してもよい。例えば、シンボル「0」を送信するときには、送信機は、時間単位において輝度変化しないことによって、そのシンボル「0」を送信する。また、シンボル「1」を送信するときには、送信機は、時間単位において輝度変化することによって、そのシンボル「1」を送信する。
 図124は、実施の形態5における送信機の動作の一例を示す図である。
 送信機は、予め定められた時間単位における輝度変化の激しさ(周波数)を異ならせることによって、シンボル「00,01,10,11」のそれぞれを区別して送信してもよい。例えば、シンボル「00」を送信するときには、送信機は、時間単位において輝度変化しないことによって、そのシンボル「00」を送信する。また、シンボル「01」を送信するときには、送信機は、時間単位において輝度変化すること(低い周波数で輝度変化すること)によって、そのシンボル「01」を送信する。また、シンボル「10」を送信するときには、送信機は、時間単位において激しく輝度変化すること(高い周波数で輝度変化すること)によって、そのシンボル「10」を送信する。そして、シンボル「11」を送信するときには、送信機は、時間単位においてさらに激しく輝度変化すること(より高い周波数で輝度変化すること)によって、そのシンボル「11」を送信する。
 図125は、実施の形態5における送信機の動作の一例を示す図である。
 送信機は、予め定められた時間単位における輝度変化の位相を異ならせることによって、シンボル「0,1」のそれぞれを区別して送信してもよい。例えば、シンボル「0」を送信するときには、送信機は、時間単位において予め定められた位相で輝度変化することによって、そのシンボル「0」を送信する。また、シンボル「1」を送信するときには、送信機は、時間単位において、上記位相と逆の位相で輝度変化することによって、そのシンボル「1」を送信する。
 図126は、実施の形態5における送信機の動作の一例を示す図である。
 送信機は、IDなどの信号を送信する際には、例えば赤色、緑色、および青色などの色ごとに輝度変化してもよい。これにより、色ごとの輝度変化を認識することができる受信機に対しては、送信機はより多くの情報量の信号を送信することができる。また、何れかの色の輝度変化をクロック合わせに使用してもよい。例えば、赤色の輝度変化をクロック合わせに使用してもよい。この場合、赤色の輝度変化がヘッダとして役割を果たす。その結果、赤色以外の色(緑色および青色)の輝度変化には、ヘッダを用いる必要がなく、冗長なデータの送信を抑えることができる。
 図127は、実施の形態5における送信機の動作の一例を示す図である。
 送信機は、例えば赤色、緑色および青色などの複数の色を合成することで合成色(例えば白色)の輝度を表現してもよい。つまり、送信機は、赤色、緑色、および青色などの色ごとに輝度変化することによって、合成色の輝度変化を表現する。この合成色の輝度変化によって、上述の可視光通信と同様に、送信対象の信号が送信される。ここで、赤色、緑色および青色のうちの何れか1つ以上の色の輝度を、合成色の予め定められた輝度を表現するための調整用に用いてもよい。これにより、合成色の輝度変化によって信号を送信することができるとともに、赤色、緑色および青色のうちの何れか2つの色の輝度変化によって信号を送信することができる。つまり、送信機は、上述のような合成色(例えば白色)の輝度変化のみ認識可能な受信機に対しても、信号を送信することができるとともに、赤色、緑色および青色などの各色も認識可能な受信機に対しては、より多くの信号を例えば付帯情報として送信することができる。
 図128は、実施の形態5における送信機の動作の一例を示す図である。
 送信機は4つの光源を備えている。これらの4つの光源(例えばLED電灯)はそれぞれ、図128に示されるCIExy色度図において互いに異なる位置8351a,8351b,8352a,8352bによって表される色の光を発する。
 送信機は、第1点灯送信と第2点灯送信とを切り替えることによって、各信号を送信する。ここで、第1点灯送信は、4つの光源のうち、位置8351aの色の光を発する光源と、位置8351bの色の光を発する光源とを点灯させることによって、信号「0」を送信する処理である。また、第2点灯送信は、位置8352aの色の光を発する光源と、位置8352bの色の光を発する光源とを点灯させることによって、信号「1」を送信する処理である。受信機のイメージセンサは、位置8351a,8351b,8352a,8352bのそれぞれによって表される色を識別することができるため、受信機は信号「0」と信号「1」とを適切に受信することができる。
 ここで、第1点灯送信が行われているときには、CIExy色度図において位置8351a,8351bの中間にある位置によって表される色が人間の目に映る。同様に、第2点灯送信が行われているときには、CIExy色度図において位置8352a,8352bの中間にある位置によって表される色が人間の目に映る。したがって、4つの光源の色および輝度を適切に調整することによって、位置8351a,8351bの中間にある位置と、位置8352a,8352bの中間にある位置とを(位置8353に)一致させることができる。これにより、第1点灯送信と第2点灯送信とが切り替えられても、人間の目には、送信機の発光色が固定されていように映るため、人間がちらつきを感じることを抑えることができる。
 図129は、実施の形態5における送信機および受信機の動作の一例を示す図である。
 送信機は、ID記憶部8361、乱数生成部8362、加算部8363、暗号部8364、および送信部8365を備えている。ID記憶部8361は、送信機のIDを記憶している。乱数生成部8362は、一定時間ごとに異なる乱数を生成する。加算部8363は、ID記憶部8361に記憶されているIDに対して、乱数生成部8362によって生成された最新の乱数を組み合わせ、その結果を編集IDとして出力する。暗号部8364は、その編集IDに対して暗号化を行うことによって暗号化編集IDを生成する。送信部8365は輝度変化することによって、その暗号化編集IDを受信機に送信する。
 受信機は、受信部8366、復号部8367およびID取得部8368を備えている。受信部8366は、送信機を撮像(可視光撮影)することによって、暗号化編集IDを送信機から受信する。復号部8367は、その受信された暗号化編集IDを復号することによって編集IDを復元する。ID取得部8368は、復元された編集IDからIDを抽出することによってそのIDを取得する。
 例えば、ID記憶部8361はID「100」を記憶しており、乱数生成部8362は最新の乱数「817」を生成する(例1)。この場合、加算部8363は、ID「100」に対して乱数「817」を組み合わせることによって、編集ID「100817」を生成して出力する。暗号部8364は、その編集ID「100817」に対して暗号化を行うことによって、暗号化編集ID「abced」を生成する。受信機の復号部8367は、その暗号化編集ID「abced」を復号することによって、編集ID「100817」を復元する。そして、ID取得部8368は、復元された編集ID「100817」からID「100」を抽出する。言い換えれば、ID取得部8368は、編集IDの下3桁を削除することによって、ID「100」を取得する。
 次に、乱数生成部8362は新たな乱数「619」を生成する(例2)。この場合、加算部8363は、ID「100」に対して乱数「619」を組み合わせることによって、編集ID「100619」を生成して出力する。暗号部8364は、その編集ID「100619」に対して暗号化を行うことによって、暗号化編集ID「difia」を生成する。送信機の復号部8367は、その暗号化編集ID「difia」を復号することによって、編集ID「100619」を復元する。そして、ID取得部8368は、復元された編集ID「100619」からID「100」を抽出する。言い換えれば、ID取得部8368は、編集IDの下3桁を削除することによって、ID「100」を取得する。
 このように、送信機はIDを単純に暗号化することなく、一定時間ごとに変更される乱数が組み合わされたものを暗号化するため、送信部8365から送信される信号から簡単にIDが解読されることを防ぐことができる。つまり、単純に暗号化されたIDが送信機から受信機に何度か送信される場合には、そのIDが暗号化されていても、そのIDが同じであれば、送信機から受信機に送信される信号も同じであるため、そのIDが解読される可能性がある。しかし、図129に示す例では、一定時間ごとに変更される乱数がIDに組み合わされて、その乱数が組み合わされたIDが暗号化される。したがって、同じIDが受信機に何度か送信される場合でも、それらのIDの送信のタイミングが異なれば、送信機から受信機へ送信される信号を異ならせることができる。その結果、IDが容易に解読されるのを防ぐことができる。
 図130は、実施の形態5における送信機および受信機の動作の一例を示す図である。
 送信機は、ID記憶部8371、計時部8372、加算部8373、暗号部8374、および送信部8375を備えている。ID記憶部8371は、送信機のIDを記憶している。計時部8372は計時し、現在日時(現在の年月日および時刻)を出力する。加算部8373は、ID記憶部8371に記憶されているIDに対して、計時部8372から出力された現在日時を送信日時として組み合わせ、その結果を編集IDとして出力する。暗号部8374は、その編集IDに対して暗号化を行うことによって暗号化編集IDを生成する。送信部8375は輝度変化することによって、その暗号化編集IDを受信機に送信する。
 受信機は、受信部8376、復号部8377、有効判定部8378、および計時部8379を備えている。受信部8376は、送信機を撮像(可視光撮影)することによって、暗号化編集IDを送信機から受信する。復号部8377は、その受信された暗号化編集IDを復号することによって編集IDを復元する。計時部8379は計時し、現在日時(現在の年月日および時刻)を出力する。有効判定部8378は、復元された編集IDからIDを抽出することによってそのIDを取得する。さらに、有効判定部8378は、復元された編集IDから送信日時を抽出し、その送信日時と、計時部8379から出力された現在日時とを比較することによって、そのIDの有効性を判定する。例えば、有効判定部8378は、送信日時と現在日時との差が予め定められた時間よりも長い場合、または、送信日時が現在日時よりも新しい場合には、そのIDが無効であると判定する。
 例えば、ID記憶部8371はID「100」を記憶しており、計時部8372は現在日時「201305011200」(2013年5月1日12時0分)を送信日時として出力する(例1)。この場合、加算部8373は、ID「100」に対して送信日時「201305011200」を組み合わせることによって、編集ID「100201305011200」を生成して出力する。暗号部8374は、その編集ID「100201305011200」に対して暗号化を行うことによって、暗号化編集ID「ei39ks」を生成する。受信機の復号部8377は、その暗号化編集ID「ei39ks」を復号することによって、編集ID「100201305011200」を復元する。そして、有効判定部8378は、復元された編集ID「100201305011200」からID「100」を抽出する。言い換えれば、有効判定部8378は、編集IDの下12桁を削除することによって、ID「100」を取得する。さらに、有効判定部8378は、復元された編集ID「100201305011200」から送信日時「201305011200」を抽出する。そして、有効判定部8378は、送信日時「201305011200」が、計時部8379から出力された現在日時よりも古く、その送信日時と現在日時との差が例えば10分以内であれば、そのID「100」が有効であると判定する。
 一方、ID記憶部8371はID「100」を記憶しており、計時部8372は現在日時「201401011730」(2014年1月1日17時30分)を送信日時として出力する(例2)。この場合、加算部8373は、ID「100」に対して送信日時「201401011730」を組み合わせることによって、編集ID「100201401011730」を生成して出力する。暗号部8374は、その編集ID「100201401011730」に対して暗号化を行うことによって、暗号化編集ID「002jflk」を生成する。受信機の復号部8377は、その暗号化編集ID「002jflk」を復号することによって、編集ID「100201401011730」を復元する。そして、有効判定部8378は、復元された編集ID「100201401011730」からID「100」を抽出する。言い換えれば、有効判定部8378は、編集IDの下12桁を削除することによって、ID「100」を取得する。さらに、有効判定部8378は、復元された編集ID「100201401011730」から送信日時「201401011730」を抽出する。そして、有効判定部8378は、送信日時「201401011730」が、計時部8379から出力された現在日時よりも新しければ、そのID「100」が無効であると判定する。
 このように、送信機はIDを単純に暗号化することなく、一定時間ごとに変更される現在日時が組み合わされたものを暗号化するため、送信部8375から送信される信号から簡単にIDが解読されることを防ぐことができる。つまり、単純に暗号化されたIDが送信機から受信機に何度か送信される場合には、そのIDが暗号化されていても、そのIDが同じであれば、送信機から受信機に送信される信号も同じであるため、そのIDが解読される可能性がある。しかし、図130に示す例では、一定時間ごとに変更される現在日時がIDに組み合わされて、その現在日時が組み合わされたIDが暗号化される。したがって、同じIDが受信機に何度か送信される場合でも、それらのIDの送信のタイミングが異なれば、送信機から受信機へ送信される信号を異ならせることができる。その結果、IDが容易に解読されるのを防ぐことができる。
 さらに、暗号化編集IDが送信された送信日時と現在日時とを比較することによって、取得されたIDが有効か否かが判定されるため、IDの有効性を送受信の時間に基づいて管理することができる。
 なお、図129および図130に示す受信機は、暗号化編集IDを取得すると、その暗号化編集IDをサーバに送信し、そのサーバからIDを取得してもよい。
 (駅での案内)
 図131は、電車のホームにおける本発明の利用形態の一例を示したものである。ユーザが、携帯端末を電子掲示板や照明にかざし、可視光通信により、電子掲示板に表示されている情報、または、電子掲示板の設置されている駅の電車情報・駅の構内情報などを取得する。ここでは、電子掲示板に表示されている情報自体が、可視光通信により、携帯端末に送信されてもよいし、電子掲示板に対応するID情報が携帯端末に送信され、携帯端末が取得したID情報をサーバに問い合わせることにより、電子掲示板に表示されている情報を取得してもよい。サーバは、携帯端末からID情報が送信されてきた場合に、ID情報に基づき、電子掲示板に表示されている内容を携帯端末に送信する。携帯端末のメモリに保存されている電車のチケット情報と、電子掲示板に表示されている情報とを対比し、ユーザのチケットに対応するチケット情報が電子掲示板に表示されている場合に、携帯端末のディスプレイに、ユーザの乗車予定の電車が到着するホームへの行き先を示す矢印を表示する。降車時に出口や乗り換え経路に近い車両までの経路を表示するとしてもよい。座席指定がされている場合は、その座席までの経路を表示するとしてもよい。矢印を表示する際には、地図や、電車案内情報における電車の路線の色と同じ色を用いて矢印を表示することにより、より分かりやすく表示することができる。また、矢印の表示とともに、ユーザの予約情報(ホーム番号、車両番号、発車時刻、座席番号)を表示することもできる。ユーザの予約情報を併せて表示することにより、誤認識を防ぐことが可能となる。チケット情報がサーバに保存されている場合には、携帯端末からサーバに問い合わせてチケット情報を取得し対比するか、または、サーバ側でチケット情報と電子掲示板に表示されている情報とを対比することにより、チケット情報に関連する情報を取得することができる。ユーザが乗換検索を行った履歴から目的の路線を推定し、経路を表示してもよい。また、電子掲示板に表示されている内容だけでなく、電子掲示板が設置されている駅の電車情報・構内情報を取得し、対比を行ってもよい。ディスプレイ上の電子掲示板の表示に対してユーザに関連する情報を強調表示してもよいし、書き換えて表示してもよい。ユーザの乗車予定が不明である場合には、各路線の乗り場への案内の矢印を表示してもよい。駅の構内情報を取得した場合には、売店・お手洗いへなどの案内する矢印をディスプレイに表示してもよい。ユーザの行動特性を予めサーバで管理しておき、ユーザが駅構内で売店・お手洗いに立ち寄ることが多い場合に、売店・お手洗いなどへ案内する矢印をディスプレイに表示する構成にしてもよい。売店・お手洗いに立ち寄る行動特性を有するユーザに対してのみ、売店・お手洗いなどへ案内する矢印を表示し、その他のユーザに対しては表示を行わないため処理量を減らすことが可能となる。売店・お手洗いなどへ案内する矢印の色を、ホームへの行き先を案内する矢印と異なる色としてもよい。両方の矢印を同時に表示する際には、異なる色とすることにより、誤認識を防ぐことが可能となる。尚、図131では電車の例を示したが、飛行機やバスなどでも同様の構成で表示を行うことが可能である。
 (案内看板の翻訳)
 図132は、空港や駅構内、観光地や病院などに設置された電子案内表示板から可視光通信により情報を取得する場合における一例を示したものである。可視光通信により、電子案内表示板から表示内容の情報を取得し、表示内容の情報を携帯端末に設定されている言語情報に翻訳をした上で、携帯端末のディスプレイ上に表示を行う。ユーザの言語に翻訳されて表示されるため、ユーザは容易に情報を理解することができる。言語の翻訳は、携帯端末内で行ってもよいし、サーバにおいて行ってもよい。サーバにおいて翻訳を行う場合には、可視光通信により取得した表示内容の情報と、携帯端末の言語情報をサーバに送信し、サーバにおいて翻訳を行い、携帯端末に送信を行い、携帯端末のディスプレイ上に表示を行ってもよい。また、電子案内表示板からID情報を取得した場合には、ID情報をサーバに送信し、ID情報に対応する表示内容情報をサーバから取得する構成でもよい。更に、携帯端末に保存されている国籍情報やチケット情報や手荷物預入情報に基づき、ユーザが次に向かうべき場所へ案内する矢印を表示してもよい。
 (クーポンのポップアップ)
 図133は、ユーザが店舗に近づくと、可視光通信により取得したクーポン情報が表示される、または、ポップアップが携帯端末のディスプレイに表示される一例を示したものである。ユーザは、携帯端末を用いて、可視光通信により、電子掲示板などから店舗のクーポン情報を取得する。次に、店舗から所定の範囲内にユーザが入ると、店舗のクーポン情報、または、ポップアップが表示される。ユーザが、店舗から所定の範囲内に入ったか否かは、携帯端末のGPS情報と、クーポン情報に含まれる店舗情報とを用いて判断される。クーポン情報に限らず、チケット情報でもよい。クーポンやチケットが利用できる店舗などが近づくと自動的にアラートしてくれるため、ユーザはクーポンやチケットを適切に利用することが可能となる。
 図134は、レジや改札などでクーポン情報・チケット情報、または、ポップアップが携帯端末のディスプレイに表示される一例を示したものである。レジや改札に設置された照明から、可視光通信により、位置情報を取得し、取得した位置情報がクーポン情報・チケット情報に含まれる情報と一致した場合に、表示が行われる。なお、バーコードリーダが発光部を有し、発光部と可視光通信を行うことにより、位置情報を取得してもよいし、携帯端末のGPSから位置情報を取得してもよい。レジ付近に送信機が設置されており、ユーザが受信機をその送信機にかざすことで、受信機のディスプレイにクーポンや支払情報が表示されるとしてもよいし、受信機がサーバと通信して支払い処理を行うとしてもよい。また、クーポン情報・チケット情報に店舗などに設置されているWi-Fi情報が含まれており、ユーザの携帯端末がクーポン情報・チケット情報に含まれるWi-Fi情報と同一の情報を取得した場合に、表示を行ってもよい。
 (操作用アプリケーションの起動)
 図135は、ユーザが携帯端末を用いて、可視光通信により、家電より情報を取得する一例を示したものである。可視光通信により、家電からID情報、または、当該家電に関する情報を取得した場合に、当該家電を操作するためのアプリケーションが自動的に立ち上がる。図135では、テレビを用いた例を示している。このような構成により、携帯端末を家電にかざすだけで、家電を操作するためのアプリケーションを起動することが可能となる。
 (バーコードリーダの動作中に送信を停止する)
 図136は、バーコードリーダ8405aが商品のバーコードを読み取る際に、バーコードリーダ8405aの付近で可視光通信用のデータ通信を中止する一例を示したものである。バーコード読み取り時に可視光通信を停止することで、バーコードリーダ8405aがバーコードを誤認識することを防ぐことができる。バーコードリーダ8405aは、バーコード読み取りボタンが押されたときに送信停止信号を可視光信号送信機8405bへ送信し、ボタンから指が離されたとき、あるいは、ボタンから指が離されて所定の時間経過したときに送信再開信号を可視光信号送信機8405bへ送信する。送信停止信号や送信再開信号は、有線/無線通信や赤外線通信や音波による通信で行う。バーコードリーダ8405aは、バーコードリーダ8405aに備えた加速度センサの計測値からバーコードリーダ8405aが動かされたと推定したときに送信停止信号を送信し、バーコードリーダ8405aが所定の時間動かされなかったと推定したときに送信再開信号を送信してもよい。バーコードリーダ8405aは、バーコードリーダ8405aに備えた静電センサや照度センサの計測値からバーコードリーダ8405aが握られたと推定したときに送信停止信号を送信し、手が離されたと推定した時に送信再開信号を送信してもよい。バーコードリーダ8405aは、バーコードリーダ8405aの接地面に設けられたスイッチが押下状態から開放されることからバーコードリーダ8405aが持ち上げられたことを検知して送信停止信号を送信し、前記ボタンが押されることからバーコードリーダ8405aが置かれたことを検知して送信再開信号を送信してもよい。バーコードリーダ8405aは、バーコードリーダ置き場のスイッチや赤外線センサの計測値からバーコードリーダ8405aが持ち上げられたことを検出して送信停止信号を送信し、バーコードリーダ8405aが戻されたことを検出して送信再開信号を送信してもよい。レジ8405cは、操作が開始されたときに送信停止信号を送信し、精算操作が行われた時に送信再開信号を送信してもよい。
 例えば照明として構成される送信機8405bは、送信停止信号を受信したとき、信号送信を停止し、また、100Hz~100kHzのリップル(輝度変化)が小さくなるように動作する。または、信号パターンの輝度変化を小さくして信号送信を継続する。または、搬送波の周期をバーコードリーダ8405aのバーコードの読み取り時間より長くする、または、搬送波の周期をバーコードリーダ8405aの露光時間より短くする。これにより、バーコードリーダ8405aの誤動作を防ぐことができる。
 図137に示すように、例えば照明として構成される送信機8406bは、人感センサやカメラでバーコードリーダ8406aの付近に人がいることを検知し、信号送信を停止する。あるいは、前記送信機8405bが送信停止信号を受信したときと同様の動作を行う。送信機8406bは、バーコードリーダ8406aの付近に人がいなくなったことを検知したときに信号送信を再開する。送信機8406bは、バーコードリーダ8406aの動作音を検出し、所定の時間、信号送信を停止するとしてもよい。
 (パソコンからの情報送信)
 図138は、本発明の利用形態の一例を示したものである。
 例えばパソコンとして構成される送信機8407aは、備え付けられたディスプレイや接続されたディスプレイやプロジェクタなどの表示装置を通して可視光信号を送信する。送信機8407aは、ブラウザが表示しているウェブサイトのURLや、クリップボードの情報や、フォーカスを持つアプリケーションが定めた情報を送信する。例えば、ウェブサイトで取得したクーポン情報を送信する。
 (データベース)
 図139は、送信機が送信するIDを管理するサーバの保持するデータベースの構成の一例を示したものである。
 データベースは、IDをキーとした問い合わせに対して渡すデータを保持するID-データテーブルと、IDをキーとした問い合わせの記録を保存するアクセスログテーブルを持つ。ID-データテーブルは、送信機が送信するID、IDをキーとした問い合わせに対して渡すデータ、データを渡す条件、IDをキーとしたアクセスがあった回数、条件をクリアしてデータが渡された回数を持つ。データを渡す条件には、日時や、アクセス回数や、アクセス成功回数や、問い合わせ元の端末の情報(端末の機種、問い合わせを行ったアプリケーション、端末の現在位置など)や、問い合わせ元のユーザ情報(年齢、性別、職業、国籍、使用言語、信教など)がある。アクセス成功回数を条件とすることで、「アクセス1回あたり1円、ただし100円を上限としてそれ以降はデータを返さない」といったサービスの方法が可能となる。ログテーブルは、IDをキーとしたアクセスがあったとき、そのIDや、要求したユーザのIDや、時刻や、その他の付帯情報や、条件をクリアしてデータを渡したかどうかや、渡したデータの内容を記録する。
 (受信開始のジェスチャ)
 図140は、本通信方式による受信を開始するジェスチャ動作の一例を示したものである。
 ユーザは、例えばスマートフォンとして構成される受信機を突き出し、手首を左右に回転させる動作により、受信を開始させる。受信機は、9軸センサの計測値からこの動作を検出し、受信を開始する。受信機は、この動作の少なくともどちらか一方を検出した場合に受信を開始するとしてもよい。受信機を突き出す動作には、受信機が送信機へ近づくことで、送信機がより大きく撮像され、受信速度や精度が向上するという効果がある。手首を左右に回転させる動作には、受信機の角度を変化させることで、本方式の角度依存性を解消し、安定して受信が可能になるという効果がある。
 なお、この動作は、ホーム画面がフォアグラウンドになっているときのみ行うとしてもよい。これにより、他のアプリを使用中にユーザの意図に反して本通信が行われることを防ぐことができる。
 なお、受信機が突出される動作の検出時にイメージセンサを起動し、手首を左右に振る動作がなければ受信をやめるとしてもよい。イメージセンサの起動には数百ミリ秒から2秒程度の時間がかかるため、これにより、より応答性を高めることができる。
 (電力線による送信機の制御)
 図141は、本発明の送信機の一例を示したものである。
 信号制御部8410gは、送信機8410aの送信状態(送信する信号の内容や送信の有無や送信に用いる輝度変化の強さなど)を制御する。信号制御部8410gは、送信機8410aの制御内容を配電制御部8410fに送る。配電制御部8410fは、送信機8410aの電源部8410bへ供給する電圧や電流や周波数を変化させることで、変化の大きさや変化の時刻の形で制御内容を伝える。電源部8410bは電圧や電流や周波数の多少の変化には影響されず一定の出力を行うため、電源部8410bの安定化能力を超えた変化、例えば、電力供給をカットするタイミングや時間幅によって信号を表現することによって信号を伝達する。輝度制御部8410dは、電源部8410bによる変換を考慮して、配電制御部8410fの送信した内容を受け取り、発光部の輝度変化パターンを変化させる。
 (符号化方式)
 図142は、可視光通信画像の符号化方式の一つを説明する図である。
 この符号化方式では、白と黒の割合が同程度となるため、正相画像と逆相画像の平均輝度が同程度となり、人間がちらつきを感じにくいという利点がある。
 (斜方向から撮像した場合でも受光可能な符号化方式)
 図143は、可視光通信画像の符号化方式の一つを説明する図である。
 画像1001aは白と黒のラインを均一な幅で表示した画像である。この画像1001aを斜めから撮像すると、その撮像によって得られる画像1001bでは、左方のラインは細く、右方のラインは太く表れる。また、画像1001aを曲面に投影した場合は、その撮像によって得られる画像1001iでは、異なる太さのラインが表れる。
 そこで、以下の符号化方式によって可視光通信画像を作成する。可視光通信画像1001cは、左から、白のライン、白のラインの3倍の太さの黒のライン、その黒のラインの3分の1の太さの白のラインで構成されている。このように、左隣のラインの3倍の太さのライン、左隣のラインの3分の1の太さのラインが続いた画像としてプリアンブルを符号化する。可視光通信画像1001d、1001eのように、左隣のラインと同じ太さのラインを「0」として符号化する。可視光通信画像1001f、1001gのように、左隣のラインの2倍の太さ、あるいは、左隣のラインの半分の太さのラインを「1」として符号化する。即ち、符号化対象ラインの太さを左隣のラインの太さと異ならせる場合に、その符号化対象ラインを「1」として符号化する。この符号化方式を用いた例として、プリアンブルに続いて「010110001011」を含む信号は、可視光通信画像1001hのような画像によって表現される。なお、ここでは、左隣のラインと同じ太さのラインを「0」、左隣のラインと異なる太さのラインを「1」として符号化したが、左隣のラインと同じ太さのラインを「1」、左隣のラインと異なる太さのラインを「0」として符号化しても構わない。また、左隣のラインとの対比に限らず、右隣のラインとの対比を行ってもよい。つまり、符号化対象ラインの太さと右隣のラインの太さとの対比において、太さが同じか異なるかによって、「1」、「0」を符号化しても構わない。このように、送信機側では、符号化対象ラインと異なる色であり、かつ、隣接するラインの太さと符号化対象ラインの太さを同じにすることで、「0」を符号化し、異なる太さとすることで、「1」を符号化する。
 受信機側では、可視光通信画像を撮像し、撮像した可視光通信画像において、白または黒のラインの太さを検出する。復号対象のラインとは異なる色であり、かつ、復号対象のラインに隣接する(左隣、または、右隣)ラインの太さと、復号対象のラインの太さとを比較し、太さが同じ場合には、復号対象ラインを「0」として復号し、太さが異なる場合には、復号対象ラインを「1」として復号する。太さが同じ場合に「1」、太さが異なる場合に「0」として復号してもよい。復号を行った、1、0のデータ列に基づいて、最終的にデータの復号を行う。
 この符号化方式は局所的なラインの太さの関係を用いている。画像1001bや画像1001iに見られるように、近傍のラインの太さの比は大きくは変化しないため、斜め方向から撮像された場合や、曲面に投影された場合でも、この符号方式で作成された可視光通信画像は正しく復号できる。
 この符号化方式では、白と黒の割合が同程度になるため、正相画像と逆相画像の平均輝度が同程度となり、人間がちらつきを感じにくいという利点がある。また、この符号化方式は、白黒の別はないため、正相信号と逆相信号のどちらの可視光通信画像であっても、同じアルゴリズムで復号可能であるという利点がある。
 また、符号の追加が容易であるという利点がある。例えば、可視光通信画像1001jは、左隣の4倍の太さのラインと左隣の4分の1のラインの組み合わせである。このように、「左隣の5倍と5分の1」「左隣の3倍と3分の2」のように、多くのユニークなパターンが存在しており、特別な意味を持つ信号として定義可能である。例えば、可視光通信画像は複数枚で一つのデータを表すことができるが、送信するデータが変更されたためこれまでに受信したデータの一部が無効になったことを表示するキャンセル信号として可視光通信画像1001jを用いることが考えられる。なお、色については、白、黒に限らず、異なる色であれば、どのような色であってもよい。例えば、補完色を用いても構わない。
 (距離によって情報量が異なる符号化方式)
 図144、図145は、可視光通信画像の符号化方式の一つを説明する図である。
 図144の(a-1)のように、四つに区切った画像のうち一つの部分を黒、残りの部分を白とすることで2ビットの信号を表現すると、この画像の平均輝度は、白を100%、黒を0%とした場合、75%となる。図144の(a-2)のように、白と黒の部分を逆にすると、平均輝度は25%となる。
 画像1003aは、図143の符号化方式で作成した可視光通信画像の白の部分を図144の(a-1)の画像で、黒の部分を図144の(a-2)の画像で表現した可視光通信画像である。この可視光通信画像は、図143の符号化方式で符号化した信号Aと、図144の(a-1)および(a-2)で符号化した信号Bを表している。近くの受信機1003bが可視光通信画像1003aを撮像すると、精細な画像1003dが得られ、信号Aと信号Bの両方が受信できる。遠くの受信機1003cが可視光通信画像1003aを撮像すると、小さな画像1003eが得られる。画像1003eでは、詳細な部分は確認できず、図144の(a-1)の部分が白く、図144の(a-2)の部分が黒くなった画像となるため、信号Aのみが受信できる。これにより、可視光通信画像と受信機の距離が近いほど多くの情報を伝達することができる。信号Bを符号化する方式としては、図144の(b-1)と(b-2)の組み合わせや、図144の(c-1)と(c-2)の組み合わせを用いてもよい。
 信号Aと信号Bを用いることにより、信号Aで基本的で重要な情報を表し、信号Bで付加的な情報を表すことが可能となる。また、受信機が信号A・BをID情報としてサーバに送信し、サーバがID情報に対応する情報を受信機に送信する場合は、信号Bの有無によってサーバが送信する情報を変化させることが可能となる。
 (データを分割した符号化方式)
 図146は、可視光通信画像の符号化方式の一つを説明する図である。
 送信する信号1005aを、複数のデータ片1005b、1005c、1005dに分割する。各データ片にそのデータ片の位置を示すアドレスを付加し、さらに、プリアンブルや誤り検出・訂正符号やフレームタイプ記述等を付加し、フレームデータ1005e、1005f、1005gを構成する。フレームデータを符号化して可視光通信画像1005h、1005i、1005jを作成して表示する。表示領域が十分大きい場合は、複数の可視光通信画像を連結した可視光通信画像1005kを表示する。
 尚、図146のように、映像中に可視光通信画像を挿入する方法として、固体光源を用いた表示機器の場合には、通常に可視光通信信号画像を表示しておき、表示する期間のみに固定光源を点灯させ、それ以外の期間は固体光源を消灯する方法で実現することにより、幅広い表示装置、たとえば、DMDを用いたプロジェクターを始め、LCOSをはじめとする液晶を用いたプロジェクターや、MEMSをもちいた表示装置類はもちろん適応可能となる。また、画像表示をサブフレームに分割して表示するタイプの表示装置、たとえば、PDPや、ELなどのバックライトなどの光源を用いない表示機器においても、一部のサブフレームを可視光通信画像に置き換えることで適応が可能となる。なお、固体光源としては、半導体レーザ、LED光源などが考えられる。
 (逆相画像を挿入する効果)
 図147と図148は、可視光通信画像の符号化方式の一つを説明する図である。
 図147の(1006a)のように、送信機は、映像と可視光通信画像(正相画像)の間に黒画像を挿入する。これを受信機で撮像した画像は、図147の(1006b)に示す画像のようになる。受信機は、同時に露光される画素のラインが黒一色である部分の探索は容易であるため、可視光通信画像が撮像されている位置を、その次のタイミングで露光される画素の位置として容易に特定できる。
 図147の(1006a)のように、送信機は、可視光通信画像(正相画像)を表示した後に、白黒を反転させた逆走の可視光通信画像を表示させる。受信機は、正相画像と逆相画像の画素値の差を求めることで、正相画像のみを利用した場合の2倍のSN比が得られる。逆に、同じSN比を確保する場合は、白黒の輝度差を半分に抑えることができ、人間が見た際のちらつきを抑えることができる。また、図148の(1007a)および(1007b)のように、映像と可視光通信画像の輝度の差の期待値の移動平均は、正相画像と逆相画像でキャンセルされる。人間の視覚の時間分解能は1/60秒程度であるため、可視光通信画像を表示する時間をこれ以下にすることで、人間にとって可視光通信画像が表示されていないように感じさせることができる。
 図147の(1006c)に示すように、送信機は、さらに、正相画像と逆相画像の間にも黒画像を挿入してもよい。この場合、受信機による撮像によって、図147の(1006d)に示す画像が得られる。図147の(1006b)に示す画像では、正相画像のパターンと逆相画像のパターンが隣接しているため境界部分で画素値が平均化されてしまうことがあったが、図147の(1006d)に示す画像ではそのような問題が発生しない。
 (超解像)
 図149は、可視光通信画像の符号化方法の一つを説明する図である。
 図149の(a)のように、映像データと可視光通信で送信する信号データが分離されている場合は、映像データに超解像処理を行い、得られた超解像画像に可視光通信画像を重畳する。即ち、可視光通信画像には超解像処理を行わない。図149の(b)のように、映像データにすでに可視光通信画像が重畳されている場合には、(1)可視光通信画像のエッジ(白・黒など色の違いによりデータを示している部分)を急峻なまま保つ、(2)可視光通信画像の正相画像と逆相画像の平均画像が一様輝度となるように超解像処理を行う。このように、映像データに可視光通信画像が重畳されているか否かにより、可視光通信画像に対する処理を変更することにより、可視光通信をより適切に行う(エラー率を低下させる)ことが可能となる。
 (可視光通信に対応していることの表示)
 図150は、送信機の動作の一つを説明する図である。
 送信機8500aは、可視光通信に対応していることを、投影または表示する画像に重畳して表示する。この表示は、例えば、送信機8500aを起動してから所定の時間の間のみ表示される。
 送信機8500aは、自身が可視光通信に対応していることを、接続された機器8500cへ送信する。機器8500cは、送信機8500aが可視光通信に対応していることを表示する。例えば、機器8500cのディスプレイに、送信機8500aが可視光通信に対応していることを表示する。機器8500cは、接続された送信機8500aが可視光通信に対応している場合に、可視光通信用のデータを送信機8500aへ送信する。送信機8500aが可視光通信に対応している旨の表示は、機器8500cが送信機8500aに接続された際に表示されてもよいし、機器8500cから送信機8500aに対して可視光通信用のデータが送信された場合に表示されてもよい。機器8500cから可視光通信用のデータが送信された際に表示する場合は、送信機8500aは、データから可視光通信を示す識別情報を取得し、識別情報がデータに可視光通信用のデータが含まれていることを示している場合に、送信機8500aが可視光通信に対応していることを表示してもよい。
 このように、投影画面、または、機器のディスプレイに送信機(照明、プロジェクタ、映像表示機器)が可視光通信に対応している旨、または、対応しているか否かを示す表示を行うことにより、ユーザは送信機が可視光通信に対応しているか容易に把握することができる。従って、機器から、送信機に対して可視光通信用のデータを送信しているにも関わらず、可視光通信を行うことができなくなるという誤動作を防ぐことが可能となる。
 (可視光通信信号を用いた情報取得)
 図151は、可視光通信の応用例の一つを説明する図である。
 送信機8501aは、機器8501cから映像データと信号データを受信し、可視光通信画像8501bを表示する。受信機8501dは、可視光通信画像8501bを撮像し、可視光通信画像に含まれた信号を受信する。受信機8501dは、受信信号に含まれた情報(アドレスやパスワード等)から機器8501cと通信を行い、送信機8501aが表示している映像そのものやその付帯情報(映像ID、URL、パスワード、SSID、翻訳データ、音声データ、ハッシュタグ、商品情報、購買情報、クーポン、空席情報等)を受信する。機器8501cは送信機8501aへの送信状況をサーバ8501eへ送信し、受信機8501dはサーバ8501eから前記情報を得るとしても良い。
 (データフォーマット)
 図152は、可視光通信データのフォーマットの一つを説明する図である。
 図152の(a)に示すデータは、記憶域中に映像データの位置を示す映像アドレステーブルと、可視光通信により送信する信号データの位置を示す位置アドレステーブルとを持つ。可視光通信に対応していない映像表示装置では、映像アドレステーブルのみが参照されるため、入力に信号アドレステーブルと信号データが含まれていても映像表示には影響しない。これにより、可視光通信に対応していない映像表示装置に対する後方互換性が保たれる。
 図152の(b)に示すデータのフォーマットでは、後に続くデータが映像データであることを示す識別子を映像データの前に配し、後に続くデータが信号データであることを示す識別子を信号データの前に配している。識別子とすることにより、映像データ、または、信号データのある場合にのみ、データに挿入されるため、全体の符号量を小さくすることができる。また、映像データであるか、信号データであるかを示す識別情報を配してもよい。更に、番組情報において、可視光通信用のデータを含むか否かを示す識別情報を含んでいてもよい。番組情報に可視光通信用のデータを含むか否かを示す識別情報が含まれることにより、ユーザは、番組検索の際に、可視光通信可能か否か判断することが可能となる。なお、番組情報に含まれるのは、可視光通信用のデータを含むことを示す識別子であってもよい。更に、データ毎に識別子・識別情報を付加することにより、データ毎の輝度の切り替えや、超解像の切り替えなど処理の切り替えを行うことができ、可視光通信時におけるエラー率を低減させることが可能となる。
 図152の(a)に示すデータのフォーマットは、光ディスク等の蓄積型メディアからデータを読み出す状況に適し、図152の(b)に示すデータのフォーマットは、テレビ放送などストリーミング型のデータに適している。なお、信号データには、可視光通信によって送信する信号の値、送信開始時刻、送信終了時刻、ディスプレイや投影面上の送信に利用する場所、可視光通信画像の輝度、可視光通信画像のバーコードの向き等の情報を含む。
 (立体形状を推定して受信する)
 図153と図154は、可視光通信の応用例の一つを説明する図である。
 図153に示すように、例えばプロジェクタとして構成される送信機8503aは、映像と可視光通信画像に加え、測距用画像を投影する。測距用画像に示されるドットパターンは、任意のドットの近傍の所定数のドットの位置関係が、他の任意の組み合わせのドットの位置関係と異なるドットパターンである。受信機は、測距用画像を撮像することで、局所的なドットパターンを特定し、投影面8503bの立体形状を推定することができる。受信機は、投影面の立体形状によって歪んだ可視光通信画像を平面画像へ復元して信号を受信する。なお、測距用画像や可視光通信画像は、人間には知覚できない赤外線で投影されてもよい。
 図154に示すように、例えばプロジェクタとして構成される送信機8504aは、赤外線で測距用画像を投影する赤外線投影装置8504bを備える。受信機は、測距用画像から投影面8504cの立体形状を推定し、可視光通信画像の歪みを復元して信号を受信する。なお、送信機8504aは、映像を可視光で投影し、可視光通信画像を赤外線で投影してもよい。なお、赤外線投影装置8504bは、可視光通信画像を赤外線で投影してもよい。
 (立体投影)
 図155と図156は、可視光通信画像の表示方法の一つを説明する図である。
 立体投影を行う場合や円筒状の表示面に可視光通信画像を表示する場合は、図155に示すように、可視光通信画像8505a~8505fを表示させることで、広い角度からの受信が可能になる。可視光通信画像8505a、8505bを表示させることで、水平方向に広い角度から受信が可能になる。可視光通信画像8505aと8505bを組み合わせることで、受信機を傾けても受信可能となる。可視光通信画像8505aと可視光通信画像8505bを交代で表示させてもよいし、それらの画像を合成した画像である可視光通信画像8505fを表示してもよい。さらに、可視光通信画像8505cと可視光通信画像8505dを加えることで、垂直方向に広い角度から受信が可能となる。可視光通信画像8505eのように、中間色で投影する部分や投影しない部分を設けることで、可視光通信画像の区切りを表現してもよい。可視光通信画像8505a~8505fを回転させることで、さらに広い角度から受信可能とすることができる。なお、図155では、円筒状の表示面に可視光通信画像を表示させたが、円柱の表示面に可視光通信画像を表示させてもよい。
 立体投影を行う場合や、球状の表示面に可視光通信画像を表示する場合は、図156に示すように、可視光通信画像8506a~8506dを表示させることで、広い角度からの受信が可能となる。可視光通信画像8506aでは、水平方向における受信可能領域は広いが、垂直方向における受信可能領域が狭いため、逆の性質を持つ可視光通信画像8506bと組み合わせて可視光通信画像8506aを表示させる。可視光通信画像8506aと可視光通信画像8506bを交代で表示させても良いし、それらの画像を合成した画像である可視光通信画像8506cを表示してもよい。可視光通信画像8506aの上部のようにバーコードが集中する部分は表示が細かく、信号を誤って受信する可能性が高い。そこで、可視光通信画像8506dのようにこの部分を中間色で表示する、あるいは、何も投影しないことで、受信誤りを防ぐことができる。
 (ゾーン毎に異なる通信プロトコル)
 図157は、実施の形態5における送信機と受信機の動作の一例を示す図である。
 受信機8420aは、基地局8420hからゾーン情報を受け取り、自身がどのゾーンに位置しているかを認識し、受信プロトコルを選択する。基地局8420hは、例えば携帯電話の通信基地局やWi-FiアクセスポイントやIMES送信機やスピーカーや無線送信機(Bluetooth(登録商標)、ZigBee、特定小電力無線局等)として構成される。なお、受信機8420aは、GPS等から得た位置情報をもとにゾーンを特定してもよい。例として、ゾーンAでは9.6kHzの信号周波数で通信し、ゾーンBでは、天井照明は15kHz、サイネージは4.8kHzの信号周波数で通信すると定めるとする。受信機8420aは、位置8420jでは、基地局8420hの情報から現在地がゾーンAであることを認識し、9.6kHzの信号周波数で受信を行い、送信機8420b・8420cの送信した信号を受信する。受信機8420aは、位置8420lでは、基地局8420iの情報から現在地がゾーンBであることを認識し、さらに、インカメラが上方に向けられていることから天井照明からの信号を受信しようとしていることを推定し、15kHzの信号周波数で受信を行い、送信機8420e・8420fの送信した信号を受信する。受信機8420aは、位置8420mでは、基地局8420iの上方から現在地がゾーンBであることを認識し、さらに、アウトカメラを突き出す動きからサイネージの送信する信号を受信しようとしていることを推定し、4.8kHzの信号周波数で受信を行い、送信機8420gの送信する信号を受信する。受信機8420aは、位置8420kでは、基地局8420hと基地局8420iの両方の信号が受信され、現在地がゾーンAとゾーンBのどちらであるか判断できないため、9.6kHzと15kHzの両方で受信処理を行う。なお、ゾーンによってプロトコルが異なる部分は周波数だけではなく、送信信号の変調方式や信号フォーマットやIDを問い合わせるサーバが異なるとしても良い。なお、基地局8420h・8420iは、ゾーン内のプロトコルを受信機に送信してもよいし、ゾーンを示すIDのみを送信し、受信機がゾーンIDをキーにサーバからプロトコル情報を獲得するとしてもよい。
 送信機8420b~8420fは、基地局8420h・8420iの送信するゾーンIDやプロトコル情報を受信し、信号送信プロトコルを決定する。基地局8420hと基地局8420iの両方の送信する信号を受信可能な送信機8420dは、より信号強度強い基地局のゾーンのプロトコルを利用する、または、両方のプロトコルを交互に用いる。
 (ゾーンの認識とゾーン毎のサービス)
 図158は、実施の形態5における受信機と送信機の動作の一例を示す図である。
 受信機8421aは、受信した信号から、自身の位置の属するゾーンを認識する。受信機8421aは、ゾーン毎に定められたサービス(クーポンの配布、ポイントの付与、道案内等)を提供する。一例として、受信機8421aは、送信機8421bの左側から送信する信号を受信し、ゾーンAに居ることを認識する。ここで、送信機8421bは、送信方向によって異なる信号を送信するとしてもよい。また、送信機8421bは、2217aのような発光パターンの信号を用いることで、受信機までの距離に応じて異なる信号が受信されるように信号を送信してもよい。また、受信機8421aは、送信機8421bの撮像される方向と大きさから、送信機8421bとの位置関係を認識し、自身の位置するゾーンを認識してもよい。
 同じゾーンに位置することを示す信号の一部を共通としてもよい。例えば、送信機8421bと送信機8421cから送信される、ゾーンAを表すIDは前半を共通とする。これにより、受信機8421aは、信号の前半を受信するだけで自身の位置するゾーンを認識可能となる。
 (本実施の形態のまとめ)
 本実施の形態における情報通信方法は、輝度変化によって信号を送信する情報通信方法であって、複数の送信対象の信号のそれぞれを変調することによって、複数の輝度変化のパターンを決定する決定ステップと、複数の発光体のそれぞれが、決定された複数の輝度変化のパターンのうちの何れか1つのパターンにしたがって輝度変化することによって、前記何れか1つのパターンに対応する送信対象の信号を送信する送信ステップとを含み、前記送信ステップでは、前記複数の発光体のうちの2つ以上の発光体のそれぞれは、当該発光体に対して予め定められた時間単位ごとに、互いに輝度の異なる2種類の光のうちの何れか一方の光が出力されるように、且つ、前記2つ以上の発光体のそれぞれに対して予め定められた前記時間単位が互いに異なるように、互いに異なる周波数で輝度変化する。
 これにより、図113を用いて説明した動作のように、2つ以上の発光体(例えば、照明機器として構成された送信機)のそれぞれが互いに異なる周波数で輝度変化するため、それらの発光体から送信対象の信号(例えば、発光体のID)を受信する受信機は、それらの送信対象の信号を容易に区別して取得することができる。
 また、前記送信ステップでは、前記複数の発光体のそれぞれは、少なくとも4種類の周波数のうちの何れか1つの周波数で輝度変化し、前記複数の発光体のうちの2つ以上の発光体は、同一の周波数で輝度変化してもよい。例えば、前記送信ステップでは、前記複数の送信対象の信号を受信するためのイメージセンサの受光面に、前記複数の発光体が投影される場合に、前記受光面上で互いに隣接する全ての発光体間で輝度変化の周波数が異なるように、前記複数の発光体のそれぞれは輝度変化する。
 これにより、図114を用いて説明した動作のように、輝度変化に用いられる周波数が少なくとも4種類あれば、同一の周波数で輝度変化する発光体が2つ以上ある場合であっても、つまり、周波数の種類の数が複数の発光体の数よりも少ない場合であっても、四色問題または四色定理に基づいて、イメージセンサの受光面上で互いに隣接する全ての発光体間で輝度変化の周波数を確実に異なるせることができる。その結果、受信機は、複数の発光体から送信される送信対象の信号のそれぞれを容易に区別して取得することができる。
 また、前記送信ステップでは、前記複数の発光体のそれぞれは、送信対象の信号のハッシュ値によって特定される周波数で輝度変化することによって、前記送信対象の信号を送信してもよい。
 これにより、図113を用いて説明した動作のように、複数の発光体のそれぞれは、送信対象の信号(例えば、発光体のID)のハッシュ値によって特定される周波数で輝度変化するため、受信機は、送信対象の信号を受信したときには、実際の輝度変化から特定される周波数と、ハッシュ値によって特定される周波数とが一致するか否かを判定することができる。つまり、受信機は、受信された信号(例えば、発光体のID)にエラーがあったか否かを判定することができる。
 また、前記情報通信方法は、さらに、信号記憶部に記憶されている送信対象の信号から、予め定められた関数にしたがって、当該送信対象の信号に対応する周波数を第1の周波数として算出する周波数算出ステップと、周波数記憶部に記憶されている第2の周波数と、算出された前記1の周波数とが一致するか否かを判定する周波数判定ステップと、前記第1の周波数と前記第2の周波数とが一致しないと判定された場合には、エラーを報知する周波数エラー報知ステップとを含み、前記第1の周波数と前記第2の周波数とが一致すると判定された場合には、前記決定ステップでは、前記信号記憶部に記憶されている前記送信対象の信号を変調することによって輝度変化のパターンを決定し、前記送信ステップでは、前記複数の発光体のうちの何れか1つの発光体が、決定された前記パターンにしたがって、前記第1の周波数で輝度変化することによって、前記信号記憶部に記憶されている前記送信対象の信号を送信してもよい。
 これにより、図120を用いて説明した動作のように、周波数記憶部に記憶されている周波数と、信号記憶部(ID記憶部)に記憶されている送信対象の信号から算出された周波数とが一致するか否かが判定され、一致しないと判定された場合にはエラーが報知されるため、発光体による信号送信機能の異常検出を容易に行うことができる。
 また、前記情報通信方法は、さらに、信号記憶部に記憶されている送信対象の信号から、予め定められた関数にしたがって第1のチェック値を算出するチェック値算出ステップと、チェック値記憶部に記憶されている第2のチェック値と、算出された前記1のチェック値とが一致するか否かを判定するチェック値判定ステップと、前記第1のチェック値と前記第2のチェック値とが一致しないと判定された場合には、エラーを報知するチェック値エラー報知ステップとを含み、前記第1のチェック値と前記第2のチェック値とが一致すると判定された場合には、前記決定ステップでは、前記信号記憶部に記憶されている前記送信対象の信号を変調することによって輝度変化のパターンを決定し、前記送信ステップでは、前記複数の発光体のうちの何れか1つの発光体が、決定された前記パターンにしたがって輝度変化することによって、前記信号記憶部に記憶されている前記送信対象の信号を送信してもよい。
 これにより、図120を用いて説明した動作のように、チェック値記憶部に記憶されているチェック値と、信号記憶部(ID記憶部)に記憶されている送信対象の信号から算出されたチェック値とが一致するか否かが判定され、一致しないと判定された場合にはエラーが報知されるため、発光体による信号送信機能の異常検出を容易に行うことができる。
 また、本実施の形態における情報通信方法は、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる複数の露光ラインに対応する複数の輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記複数の輝線を含む輝線画像を取得する画像取得ステップと、取得された前記輝線画像に含まれる前記複数の輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップと、取得された前記輝線画像に含まれる前記複数の輝線のパターンに基づいて、前記被写体の輝度変化の周波数を特定する周波数特定ステップとを含む。例えば、前記周波数特定ステップでは、前記複数の輝線のパターンに含まれる、それぞれヘッダを示すために予め定められた複数のパターンである複数のヘッダパターンを特定し、前記複数のヘッダパターン間の画素数に応じた周波数を、前記被写体の輝度変化の周波数として特定する。
 これにより、図115を用いて説明した動作のように、被写体の輝度変化の周波数が特定されるため、輝度変化の周波数が異なる複数の被写体が撮影される場合には、それらの被写体からの情報を容易に区別して取得することができる。
 また、前記画像取得ステップでは、それぞれ輝度変化する複数の被写体を撮影することによって、それぞれ複数の輝線によって表される複数のパターンを含む前記輝線画像を取得し、前記情報取得ステップでは、取得された前記輝線画像に含まれる前記複数のパターンのそれぞれの一部が重なっている場合には、前記複数のパターンのそれぞれから前記一部を除く部分によって特定されるデータを復調することにより、前記複数のパターンのそれぞれから情報を取得してもよい。
 これにより、図117を用いて説明した動作のように、複数のパターン(複数の輝線パターン)が重なっている部分からはデータの復調が行われないため、誤った情報を取得してしまうことを防ぐことができる。
 また、前記画像取得ステップでは、前記複数の被写体を互いに異なるタイミングで複数回撮影することによって、複数の輝線画像を取得し、前記周波数特定ステップでは、輝線画像ごとに、当該輝線画像に含まれる前記複数のパターンのそれぞれに対する周波数を特定し、前記情報取得ステップでは、前複数の輝線画像から、同一の周波数が特定された複数のパターンを検索し、検索された前記複数のパターンを結合し、結合された前記複数のパターンによって特定さるデータを復調することにより情報を取得してもよい。
 これにより、複数の輝線画像から、同一の周波数が特定された複数のパターン(複数の輝線パターン)が検索され、検索された複数のパターンが結合され、結合された複数のパターンから情報が取得されるため、複数の被写体が移動している場合であっても、それらの複数の被写体からの情報を容易に区別して取得することができる。
 また、前記情報通信方法は、さらに、識別情報のそれぞれに対して周波数が登録されているサーバに対して、前記情報取得ステップで取得された情報に含まれる前記被写体の識別情報と、前記周波数特定ステップで特定された周波数を示す特定周波数情報とを送信する送信ステップと、前記識別情報と、前記特定周波数情報によって示される周波数とに関連付けられた関連情報を前記サーバから取得する関連情報取得ステップとを含んでもよい。
 これにより、図119を用いて説明した動作のように、被写体(送信機)の輝度変化に基づいて取得された識別情報(ID)と、その輝度変化の周波数とに関連付けられた関連情報が取得される。したがって、被写体の輝度変化の周波数を変更し、サーバに登録されている周波数を変更後の周波数に更新することによって、周波数の変更前に識別情報を取得した受信機がサーバから関連情報を取得することを防ぐことができる。つまり、被写体の輝度変化の周波数の変更に合わせて、サーバに登録されている周波数も変更することによって、被写体の識別情報を過去に取得した受信機が無期限にサーバから関連情報を取得し得る状態になってしまうことを防ぐことができる。
 また、前記情報通信方法は、さらに、前記情報取得ステップで取得された前記情報から一部を抽出することによって、前記被写体の識別情報を取得する識別情報取得ステップと、前記情報取得ステップで取得された前記情報のうち、前記一部以外の残りの部分によって示される数を、前記被写体に対して設定されている輝度変化の設定周波数として特定する設定周波数特定ステップとを含んでもよい。
 これにより、図116を用いて説明した動作のように、複数の輝線のパターンから得られる情報に、被写体の識別情報と、被写体に設定されている輝度変化の設定周波数とを互いに依存することなく含めることができるため、識別情報と設定周波数との自由度を高めることができる。
 (実施の形態6)
 本実施の形態では、上記実施の形態1~5におけるスマートフォンなどの受信機と、LEDの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
 図159は、実施の形態6の送信信号の一例を示す図である。
 送信信号Dを所定の大きさのデータ片Dx(例えば、Dx=D1,D2,D3)に分割し、各データ片から計算した誤り検出・訂正用のフレームチェックシーケンスFCSとヘッダHdrを各データ片に付加する。さらに、元のデータから計算した誤り検出・訂正用のフレームチェックシーケンスFCS2とヘッダHdr2を付加する。Hdr、Dx、FCSからなるデータは、イメージセンサで受信されるための構成である。イメージセンサは短時間に連続したデータを受信することに適しているため、Hdr、Dx、FCSは連続的に送信する。Hdr2, Dx, FCS2からなるデータは、照度センサで受信されるための構成である。イメージセンサで受信されるHdrとFCSは短いほうが望ましいが、照度センサで受信されるHdr2とFCS2はより長い信号列とすることができる。Hdr2に長い信号系列を用いることで、ヘッダ検出精度を高めることができる。FCS2を長くすることで、多くのビット誤りを検出・訂正できる符号を採用することができ、誤り検出・訂正の性能を向上させることができる。なお、Hdr2とFCS2を送信せず、代わりにHdrやFCSを照度センサで受信するとしてもよい。照度センサは、HdrとHdr2の両方、または、FCSとFCS2の両方を受信するとしてもよい。
 図160は、実施の形態6の送信信号の一例を示す図である。
 FCS2は信号長が長く、頻繁に挿入されているとイメージセンサでの受信効率が悪化する。そこで、FCS2の挿入頻度を減らし、代わりにFCS2の場所を示す信号PoFCS2を挿入する。例として、信号表現に単位時間あたり2ビットの情報量を持つ4PPMを用いた場合、FCS2にCRC32を用いると16単位の送信時間が必要になるが、値域が0~3のPoFCS2は1単位時間で送信できる。FCS2のみを挿入する場合よりも送信時間が短縮されることで、イメージセンサ受信の効率を向上させることができる。照度センサは、送信信号Dに続くPoFCS2を受信し、PoFCS2からFCS2の送信時刻を特定してFCS2を受信する。さらに、FCS2に続くPoFCS2を受信し、次のFCS2の送信時刻を特定して次のFCS2を受信する。先に受信したFCS2と後に受信したFCS2が同じであれば、受信機は同じ信号を受信していると推定する。
 図161A~図161Cは、実施の形態6における受信機の撮像画像(輝線画像)の一例を示す図である。
 図161Aに示す撮像画像では、写りが小さいため、輝線の数が少ない。したがって、この撮像画像からは、一度に少量のデータしか受信できない。図161Bに示す撮像画像は、ズームを用いて撮像した画像であり、写りが大きいため、輝線の数が多い。したがって、ズームを用いて撮像すれば、一度に多量のデータを受信できる。また、遠くからデータを受信可能で、小さな送信機の信号も受信できる。ズーム方法には、光学ズーム、または、Exズームを用いる。光学ズームはレンズの焦点距離を長くすることによるズームである。Exズームは、撮像素子の能力より低い解像度で撮像している場合に、撮像素子の全部ではなく一部だけを用いて撮像することで撮像画像の一部を拡大するズーム方法である。図161Cに示す撮像画像は、電子ズーム(画像の拡大)を用いて撮像した画像である。写りは大きくなるが、電子ズームによる拡大では輝線が太くなり、ズーム前と輝線の数が変わらないため、受信特性はズーム前と変わらない。
 図162Aおよび図162Bは、実施の形態6における受信機の撮像画像(輝線画像)の一例を示す図である。
 図162Aに示す撮像画像は、被写体にフォーカスを合わせて撮像した画像であり、図162Bに示す撮像画像は、フォーカスを外して撮像した画像である。図162Bに示す撮像画像では、ぼかして撮像したため実際の送信機の周囲まで輝線が観察でき、より多くの輝線が観察できる。したがって、フォーカスを外して撮像すれば、一度に多くのデータを受信でき、また、より遠くからデータを受信することができる。マクロモードを用いて撮像することでも、図162Bに示す撮像画像と同様の画像を撮像することができる。
 図163A~図163Cは、実施の形態6における受信機の撮像画像(輝線画像)の一例を示す図である。
 露光時間を、可視光通信モードよりも長く、通常撮像モードよりも短く設定して撮像することで、図163Aに示すような画像が得られる。このような画像が得られる撮像モードを輝線検出モード(中間モード)と呼ぶ。図163Aに示す画像では、左中央では送信機の輝線が観察でき、それ以外の部分では暗めの通常の撮像画像が現れている。この画像を受信機に表示することで、ユーザが受信機を目当ての送信機に向けて撮像することを容易にすることができる。輝線検出モードでは、通常撮像モードよりも暗く撮像されるため、高感度モードで撮像することで、通常撮像モードに近い、人間が視認しやすい明るさの画像を撮像することができる。感度を高く設定しすぎると輝線の暗い部分が明るくなってしまうため、感度は輝線が観察できる程度に設定する。受信機は、ユーザが画像をタッチする等の手段で指定した部分に撮像されている送信機の送信信号を、可視光通信モードに移行して受信する。受信機は、撮像画像中に輝線(送信信号)が見つかった場合に、自動的に可視光通信モードに移行して信号を受信するとしてもよい。
 受信機は撮像画像中の輝線から送信信号を見つけ出し、その部分を図163Bに示すように強調して表示することで、信号が送信されている部分をユーザにわかりやすく提示することができる。輝線は、送信信号だけではなく、被写体の模様によっても観察されることがある。そこで、1枚の画像の輝線から送信信号の有無を判断するのではなく、複数の画像において輝線の位置が変化している場合に送信信号があると判断してもよい。
 輝線検出モードで撮像した画像は通常撮像モードで撮像した画像よりも暗く視認性が悪いため、画像処理によって視認性を高めた画像を表示してもよい。図163Cに示す画像は、エッジを抽出して被撮像物の境界を強調した画像の一例である。
 図164は、実施の形態6における受信機の撮像画像(輝線画像)の一例を示す図である。具体的には、図164は、信号送信の周期を1/9600秒とした送信機を、図の下部に示した露光時間の比で撮像した図である。送信周期である1/9600秒より短い露光時間では、撮像画像はほぼ同等で、鮮明な輝線が撮像できる。露光時間が長くなると輝線の輪郭がぼやけるが、この信号表現の例では、送信周期の約1.5倍までの露光時間であれば輝線のパターンが観察可能であり、信号を受信可能である。また、この信号表現の例では、送信周期の約20倍までの露光時間であれば輝線を観察可能であり、この範囲の露光時間を輝線検出モードの露光時間として用いることができる。
 どの程度の露光時間まで信号が受信できるかは、信号表現の方法によって異なる。輝線が少なく、輝線間の間隔が長くなる信号表現規則を用いれば、伝送効率は落ちるが、より長い露光時間でも信号を受信可能とし、また、より長い露光時間でも輝線を観察することができる。
 (中間撮像モードの露光時間)
 図164より、露光時間が変調周期の3倍程度までであればはっきりとした輝線が観察できる。変調周波数は480Hz以上であるため、中間撮像モード(中間モード)の露光時間は、1/160秒以下とすることが望ましい。
 また、露光時間が1/10000秒以下では、照明光下では高感度モードで撮像しても非発光物は見えにくいため、中間撮像モードの露光時間は1/10000秒以上であることが望ましい。ただし、今後撮像素子の感度が向上することで、この制限は緩和することができる。
 図165は、実施の形態6における送信信号の一例を示す図である。
 受信機は、受信した複数のデータ片を統合して一連の信号を受信するため、送信信号が急に変更されると、変更前後のデータ片が混じってしまい、信号を正しく統合することができない。そこで、図165の(a)のように、送信機は、送信信号変更時に、緩衝帯として所定の時間のあいだ通常点灯を行い、信号を送信しない。受信機は、前記所定の時間T1より短い所定の時間T2の間、信号を受信することができない場合に、それまでに受信したデータ片を破棄することで、変更前後のデータ片の混合を回避することができる。または、図165の(b)のように、送信機は、送信信号変更時に、それを通知する信号Xを繰り返し送信する。繰り返し送信することで、送信信号変更通知Xの受信漏れを防ぐ。または、図165の(c)のように、送信機は、送信信号変更時に、プリアンブルを繰り返し送信する。受信機は、通常の信号においてプリアンブルが現れる周期よりも短い周期でプリアンブルを受信した場合に、それまでに受信したデータ片を破棄する。
 図166は、実施の形態6における受信機の動作の一例を示す図である。
 図166の(a)に示す画像は、ジャストフォーカスで送信機を撮像した画像である。受信機は、フォーカスを外して撮像することで、図166の(b)のような画像を撮像することができる。さらにフォーカスを外すと、撮像画像は図166の(c)に示す画像のようになる。図166の(c)では、複数の送信機の輝線が重なってしまい、受信機は信号を受信することができない。そのため、受信機は、複数の送信機の輝線が重ならないようにフォーカスを調整して撮像する。撮像範囲に一つの送信機だけが存在する場合は、受信機は、撮像画像中で送信機の大きさが最大となるようにフォーカスを調整する。
 受信機は、撮像画像を輝線と平行な方向に圧縮してもよいが、輝線と垂直な方向には画像圧縮を行わない。または、受信機は、垂直な方向の圧縮の程度を低くする。これにより、圧縮によって輝線がぼやけて受信誤りが発生することを防ぐことができる。
 図167および図168は、実施の形態6における受信機のスクリーンに表示するユーザへの指示の一例を示す図である。
 受信機は、複数の送信機を撮像することで、各送信機の位置情報と、撮像画像中の各送信機の位置と大きさと角度から、三角測量の要領で受信機の位置を推定できる。そこで、一つの送信機のみが受信可能な形で撮像されている場合に、ユーザが受信機の方向を変えたり後方に下がって撮像したりすることで複数の送信機を撮像させるため、受信機は、矢印などを含む画像を表示することによって、撮像方向や移動方向の指示を行う。図167の(a)は、受信機を右へ向けて右側の送信機を撮像させる指示の表示例であり、図167の(b)は、後ろに下がって手前の送信機を撮像させる指示の表示例である。図168は、受信機にとって他の送信機の位置が不明であるため、受信機を振るなどして他の送信機を撮像させる指示の表示例である。一枚の撮像画像中に複数の送信機が撮影されるほうが望ましいが、画像処理や9軸センサのセンサ値を用いて複数枚の画像中の送信機の位置関係を推定してもよい。受信機は、一つの送信機から受信したIDを用い、周辺の送信機の位置情報をサーバに問い合わせ、最も撮像しやすい送信機を撮像するようにユーザへ指示を行ってもよい。
 受信機は、9軸センサのセンサ値からユーザが受信機を移動させていることを検知し、移動が終了して所定の時間経過後に、最後に受信した信号に基づいた画面の表示を行う。これにより、ユーザが意図した送信機へ受信機を向ける際に、受信機の移動中に他の送信機の信号を受信してしまい、意図しない送信機の送信信号に基づいた処理を行ってしまうことを防ぐことができる。
 受信機は、移動されている間も受信処理を続け、受信した信号に基づいた処理、例えば、受信信号をキーとしたサーバからの情報取得等を行ってもよい。この場合、その処理の後も受信処理を続け、最後に受信した信号に基づいた処理を最終的な処理とする。
 受信機は、所定の回数受信した信号を処理したり、ユーザへ通知したりするとしてもよい。受信機は、移動されている間に最も多い回数受信できた信号を処理するとしてもよい。
 受信機は、信号の受信に成功したときや、撮像画像中に信号の存在を検知したときに、ユーザに通知する通知手段を備えていてもよい。通知手段は、音、バイブレーション、またはディスプレイの更新(ポップアップ表示等)などによって通知する。これにより、ユーザは、送信機の存在を知ることができる。
 図169は、実施の形態6における信号送信方法の一例を示す図である。
 例えばディスプレイとして構成される複数の送信機が隣接して配置されている。複数の送信機は、同一の信号を送信する場合、信号送信のタイミングを同期させ、図169の(a)のように全面から信号を送信する。この構成により、受信機には複数のディスプレイが一つの大きな送信機として観察されるため、受信機はより高速に、また、より遠距離から信号を受信できる。複数の送信機が異なる信号を送信する場合は、図169の(b)のように、複数の送信機は、信号を送信しない緩衝帯(非送信領域)を設けて信号を送信する。この構成により、受信機は、複数の送信機が緩衝帯を隔てた互いに別の送信機であると認識し、別々の信号を受信することができる。
 図170は、実施の形態6における信号送信方法の一例を示す図である。
 図170の(a)に示すように、液晶ディスプレイは、バックライト消灯期間を設け、バックライトの消灯中に液晶の状態を変化させることで、状態変化中の画像を不可視とし、動的解像感を高めることができる。このようなバックライト制御を行っている液晶ディスプレイに対しては、図170の(b)に示すように、バックライトの点灯周期に合わせて信号を重畳する。一揃いのデータ(Hdr、Data、FCS)を連続して送信することで、受信効率を高めることができる。また、バックライトの点灯期間の最初と最後では発光部は明るい状態(Hi)となる。発光部が暗い状態(Lo)がバックライト消灯期間と連続すると、信号としてLoが送信されているのか、バックライト消灯期間のため暗い状態にあるのかの判断が受信機にはできないためである。
 バックライト消灯期間は、平均輝度を低くした信号を重畳してもよい。
 信号を重畳することで、重畳しない場合と比べて平均輝度が変化するため、バックライト点灯期間を増減したり、バックライト点灯時の輝度を上下させて、平均輝度が等しくなるように調整する。
 図171は、実施の形態6における信号送信方法の一例を示す図である。
 液晶ディスプレイは、バックライト制御を位置ごとに異なるタイミングで行うことで、画面全体の輝度変化を低減させることができる。これをバックライトスキャンと呼ぶ。バックライトスキャンは通常は図171の(a)のように端から順にバックライトを点灯するように行われる。このとき、撮像画像8802aが得られる。しかし、撮像画像8802aでは、輝線が存在している部分が分断されており、ディスプレイの画面全体がひとつの送信機であることを推定できない場合がある。そこで、図171の(b)のように、縦軸をバックライトスキャンの分割方向の空間軸、横軸を時間軸として表示したときに発光している(信号を重畳している)部分が全てつながるようにバックライトスキャンの順序を設定することで、撮像画像8802bを得ることができる。撮像画像8802bでは、輝線部分が全て連結しており、一つの送信機からの送信信号であることが容易に推定できる。また、連続して受信可能な輝線の数が増えるため、速く、遠くから信号を受信できる。また、送信機の大きさの推定も容易となるため、撮像画像中の送信機の位置、大きさ、角度から受信機の位置を精度よく推定することができる。
 図172は、実施の形態6における信号送信方法の一例を示す図である。
 時分割バックライトスキャンにおいて、バックライトの点灯期間が短く、縦軸をバックライトスキャンの分割方向の空間軸、横軸を時間軸とするグラフ上において、発光している(信号を重畳している)部分をつなぐことができない場合は、それぞれの発光部分において図170の場合と同様にバックライトの発光タイミングに合わせて信号を重畳する。このとき、グラフ上の他のバックライト点灯部分との距離が最大になるようにバックライトを制御することで、隣接部分の輝線が混じることを防ぐことができる。
 図173は、実施の形態6におけるユースケースを説明するための図である。本実施の形態におけるシステムは、可視光通信を行う照明器具100、可視光通信機能を持つウェアラブルデバイス101、スマートフォン102、およびサーバー103から構成される。
 本実施の形態の目的は、可視光通信を用いて、ユーザーが店舗で買い物をする場合の、一連の手間を省き、買い物にかかる時間を短縮することにある。従来、店舗で商品を購入する際は、予めその店舗のサイトを検索してクーポン情報を取得する必要があった。また店内でそのクーポン対象になっている商品を探す場合に時間がかかってしまうという課題があった。
 図173に示すように、照明器具100は、店舗(例として家電量販店を想定する)の前で、定期的に可視光通信を用いて、自機の照明ID情報を送信している。ユーザーのウェアラブルデバイス101は、この照明ID情報を受信すると、近距離無線通信を用いて、スマートフォン102に照明ID情報を送信する。スマートフォン102は携帯回線などを用いてサーバー103にユーザーの情報と照明ID情報を送信する。スマートフォン102は、サーバー103よりユーザーの目の前にある店舗のポイント情報や、クーポン情報等を受け取る。ユーザーは、サーバー103より受け取った情報を、ウェアラブルデバイス101やスマートフォン102で閲覧する。ユーザーは表示された店舗の商品情報をその場で購入したり、店舗内の展示場所まで誘導を受けることが可能となる。以下、図を用いて詳細に説明する。
 図174は、スマートフォン102がサーバー103に送信する情報テーブルを示す図である。スマートフォン102に保持されているその店舗の会員番号、店舗のID情報、送信時刻、位置情報に加え、スマートフォン102に蓄えられているユーザーの趣向情報や生体情報、検索履歴や行動履歴情報をスマートフォン102は送信する。
 図175は、サーバー103のブロック図である。送受信部201は、スマートフォン102から送信された情報を受信する。制御部202は、全体の制御を行う。会員情報DB203には、会員番号やその会員番号のユーザーの氏名や生年月日、ポイント情報、購入履歴等が保存されている。店舗DB204には、店舗IDと、その店舗で販売している商品情報、店舗の陳列情報、店舗の地図情報など、店舗内の情報が保存されている。通知情報生成部205は、ユーザーの趣向に沿ったクーポン情報やおすすめ商品情報を生成する。
 図176は、上記システムの全体の処理を示すフローチャートである。ウェアラブルデバイス101は照明器具100から照明IDを受信する(S301)。次にウェアラブルデバイス101は照明IDをBluetooth(登録商標)等の近接無線通信等を用いて、スマートフォン102に送信する(S302)。次にスマートフォン102は、図174で示した、自身の持つユーザーの履歴情報と、会員番号と、照明IDをサーバー103に送信する(S303)。サーバー103はデータを受信すると、データは、まず制御部202へ送信される(S304)。次に制御部202は会員番号を会員情報DB203に照会し、会員情報を取得する(S305)。次に制御部202は照明IDを店舗DB204に照会し、店舗情報を取得する(S306)。店舗情報には、店舗に在庫がある商品情報、店舗として販売を促進したい商品の情報、クーポン情報や、店舗の店内地図情報等が含まれる。制御部202は会員情報と、店舗情報を通知情報生成部に送信する(S307)。通知情報生成部205は、会員情報と、店舗情報から、ユーザーに適した広告情報を生成し、制御部202へ送信する(S308)。制御部202は会員情報と広告情報を送受信部201へ送信する(S309)。会員情報には、ユーザーのポイント情報や有効期限情報などが含まれる。送受信部201は会員情報と広告情報をスマートフォン102に送信する(S310)。スマートフォン102は受信した情報を表示画面に表示する(S311)。
 さらに、スマートフォン102はサーバー103から受けた情報をウェアラブルデバイス101へ転送する(S312)。ウェアラブルデバイス101の通知設定がONであるならば、ウェアラブルデバイス101は情報を表示する(S314)。なお、ウェアラブルデバイスは情報を表示する際は、ヴァイブレーション等でユーザーに注意喚起を促すことが望ましい。これは、ユーザーは必ずしもその店舗に入るわけではないため、クーポン情報などを送信していても、ユーザーが気づかない場合があるためである。
 図177は、サーバー103がスマートフォン102へ送信する情報テーブルを示す図である。店舗地図DBとは、店内のどの位置にどの商品が陳列されているかといった店内の案内情報である。店舗の商品情報とは、その店舗に在庫がある商品の情報や商品の価格情報などである。ユーザー会員情報とはユーザーのポイント情報や、会員カードの有効期限情報などである。
 図178は、ユーザーが店舗前でサーバー103から情報を受け取ってから実際に商品を購入するまでのウェアラブルデバイス101に表示される画面フローを示す図である。店舗前では、ユーザーが来店した場合に付与されるポイントと、クーポン情報が表示されている。ユーザーがクーポン情報をタップすると、サーバー103から送信された、ユーザーの趣向に沿った情報が表示される。例えばユーザーがテレビをタップすると、おすすめのテレビの情報が表示される。ここで購入ボタンを押すと、受取方法の選択画面が表示され、自宅への配送か、店内での受取かを選ぶこととができる。本実施の形態では、ユーザーがどの店舗にいるかが分かっているため、店舗で受け取ることができるというメリットがある。フロー403で売り場へ誘導するを選択すると、ウェアラブルデバイス101はGuideModeへ移行する。このモードは矢印等を用いてユーザーを特定の場所へ誘導するモードであり、選択した商品が実際に陳列されている場所へとユーザーを誘導することができる。商品棚の前に案内されると、ウェアラブルデバイス101は購入の要否を問い合わせる画面に遷移する。ユーザーは該当商品を実際に見ることでサイズや色、使い勝手などを試してから商品の購入判断をすることが可能となる。
 なお、本発明における可視光通信は、精度よくユーザーの位置を特定することが可能である。このため、例えば図179のように工場内の危険地域にユーザーが入りそうな場合には警告を与えることも可能である。さらに、警告を発するかどうかは、ウェアラブルデバイス側で決定することが可能であるため、例えば特定の年齢以下の子供には警告を出すといった自由度の高い警告システムを構築することができる。
 (実施の形態7)
 図180は、既に説明した実施の形態に記載の受信方法を用いたサービス提供システムを示す図である。
 まず、サーバex8002を管理する企業A ex8000に対して、他の企業Bや個人ex8001が、携帯端末への情報の配信を依頼する。例えば、サイネージと可視光通信した携帯端末に対して、詳細な広告情報や、クーポン情報、または、地図情報などの配信を依頼する。サーバを管理する企業A ex8000は、任意のID情報に対応させて携帯端末へ配信する情報を管理する。携帯端末ex8003は、可視光通信により被写体ex8004からID情報を取得し、取得したID情報をサーバex8002へ送信する。サーバex8002は、ID情報に対応する情報を携帯端末へ送信するとともに、ID情報に対応する情報を送信した回数をカウントする。サーバを管理する企業A ex8000は、カウントした回数に応じた料金を、依頼した企業Bや個人ex8001に対して課金する。例えば、カウント数が大きい程、課金する額を大きくする。
 図181は、サービス提供のフローを示すフローチャートである。
 Step ex8000において、サーバを管理する企業Aが、他企業Bより情報配信の依頼を受ける。次に、Step ex8001において、企業Aが管理するサーバにおいて、配信依頼を受けた情報を、特定のID情報と関連付ける。Step ex8002では、携帯端末が、可視光通信により、被写体から特定のID情報を受信し、企業Aが管理するサーバへ送信する。可視光通信方法の詳細については、他の実施の形態において既に説明しているため省略する。サーバは、携帯端末から送信された特定のID情報に対応する情報を携帯端末に対して送信する。Step ex8003では、サーバにおいて、情報配信した回数をカウントする。最後に、Step ex8004において、情報配信したカウント数に応じた料金を企業Bに対して課金する。このように、カウント数に応じて、課金を行うことにより、情報配信の宣伝効果に応じた適切な料金を企業Bに課金することが可能となる。
 図182は、他の例におけるサービス提供を示すフローチャートである。図181と重複するステップについては説明を省略する。
 Step ex8008において、情報配信の開始から所定時間が経過したか否か判断する。所定時間内と判断されれば、Step ex8011において、企業Bに対しての課金は行わない。一方、所定期間が経過していると判断された場合には、Step ex8009において、情報を配信した回数をカウントする。そして、Step ex8010において、情報配信したカウントに応じた料金を企業Bに対して課金する。このように、所定期間内は無料で情報配信を行うことから、企業Bは宣伝効果などを確認した上で、課金サービスを受けることができる。
 図183は、他の例におけるサービス提供を示すフローチャートである。図182と重複するステップについては説明を省略する。
 Step ex8014において、情報を配信した回数をカウントする。Step ex8015において、情報配信開始から所定期間が経過していないと判断された場合には、Step ex8016において課金は行わない。一方、所定期間が経過していると判断された場合には、Step ex8017において、情報を配信した回数が所定値以上か否か判断を行う。情報を配信した回数が所定値に満たない場合には、カウント数をリセットし、再度、情報を配信した回数をカウントする。この場合、情報を配信した回数が所定値未満だった、所定期間については企業Bに対して課金は行わない。Step ex8017において、カウント数が所定値以上であれば、Step ex8018においてカウント数を一度リセットし、再度カウントを再開する。Step ex8019において、カウント数に応じた料金を企業Bに対して課金する。このように、無料で配信を行った期間内におけるカウント数が少なかった場合に、再度、無料配信の期間を設けることで、企業Bは適切なタイミングで課金サービスを受けることができる。また、企業Aもカウント数が少なかった場合に、情報内容を分析し、例えば、季節と対応しない情報になっているような場合に、情報内容を変更するように企業Bに対し提案することが可能となる。なお、再度、無料の情報配信期間を設ける場合には、初回の所定の期間よりも短い期間としてもよい。初回の所定の期間よりも短くすることにより、企業Aに対する負担を小さくすることができる。また、一定期間を空けて、無料の配信期間を再度設ける構成としてもよい。例えば、季節の影響を受ける情報であれば、季節が変わるまで一定期間を空けて、再度、無料の配信期間を設けることができる。
 なお、情報の配信回数によらず、データ量に応じて、課金料金を変更するとしてもよい。一定のデータ量の配信は無料として、所定のデータ量以上は、課金する構成としてもよい。また、データ量が大きくなるにつれて、課金料金も大きくしてもよい。また、情報を特定のID情報に対応付けて管理する際に、管理料を課金してもよい。管理料として課金することにより、情報配信を依頼した時点で、料金を決定することが可能となる。
 (実施の形態8)
 本実施の形態では、上記各実施の形態におけるスマートフォンなどの受信機と、LEDや有機ELの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
 (受信しやすい変調方式)
 図184A、図184Bおよび図185は、実施の形態8における信号の符号化の一例を示す図である。
 送信信号はヘッダ(H)とボディ(Body)で構成される。ヘッダには、ユニークな信号パターンが含まれている。受信機は、受信信号中からこのユニークなパターンを見つけ出し、その位置を基準にして受信信号のどの部分がヘッダまたはボディを表しているかを認識し、データを受信する。
 送信信号が図184Aの(a)のパターンで変調されるとき、受信機は、ヘッダとそれに続くボディを連続で受信したときにデータを受信できる。受信機が連続で信号を受信できる時間的な長さは、撮像画像(撮影画像)に映る送信機の大きさによって決定される。送信機が小さい場合や、送信機を遠くから撮像した場合には、受信機が連続で信号を受信できる時間は短い。受信機が連続で信号を受信できる時間(連続受信時間)が、ヘッダとボディを含む1ブロックの送信時間と同じである場合は、ヘッダの送信開始時点と受信開始時点が等しい場合にのみ、受信機はデータを受信できる。図184Aの(a)は、連続受信時間がヘッダとボディを含む1ブロックの送信時間より少し長い場合を示す。矢印線は連続受信時間を表しており、太線で表したタイミングで信号を受信した場合にはデータを受信可能であるが、細線で表したタイミングで信号を受信した場合には、受信信号中にヘッダとボディが揃っていないため、データを受信することはできない。
 そこで、送信信号を図184Aの(b)のパターンで変調することで、より広い受信タイミングでデータの受信を可能とすることができる。送信機は、「ボディ・ヘッダ・ボディ」を一組として変調された信号を送信する。ここで、同じ組にある2つのボディは同じ信号である。受信機は、ボディに含まれる全ての信号を連続で受信しなくても、ヘッダの前後のそれぞれにあるボディの部分をつなぎ合わせることでボディを復元できるため、ヘッダに含まれる全ての信号を連続で受信できればデータを受信可能である。図184Aでは、データを受信可能な受信タイミングを太線で表しており、(b)の場合は(a)の場合に比べてより広い受信タイミングでデータの受信が可能であることがわかる。
 図184Aの(b)の変調方式の場合、ボディの信号長が固定値であれば、受信機はボディを復元できる。または、ヘッダにボディの信号長の情報が含まれていれば、受信機はボディを復元できる。
 つまり、図184Bに示すように、受信機は、まず、輝線が含まれる撮影画像(輝線画像)から、ユニークな輝線のパターンからなるヘッダを見つける。そして、受信機は、そのヘッダの後(図184B中の(1)の方向)に続くボディの各信号を順次読み出す。このとき、受信機は、信号を読み出すごとに、ボディの信号長の分だけ、そのボディの信号を読み出したか否かを判断する。つまり、ボディに含まれる全ての信号を読み出したか否かを判断する。読み出していないと判断したときには、受信機は、読み出された信号の後に続く信号を読み出す。しかし、その後に続く信号がない場合には、受信機は、ヘッダの前(図184B中の(2)の方向)に続くボディの各信号を順次読み出す。これにより、ボディに含まれる全ての信号が読み出される。ここで、ボディの信号長が固定長であれば、受信機は、その信号長を予め保持しており、その信号長を用いて上述の判断を行う。または、受信機は、ヘッダからボディの信号長を特定し、その信号長を用いて上述の判断を行う。
 また、ボディの信号長が可変長である場合でも、同一の送信機が変調したボディは同一の信号長となるように変調方式を定めることで、受信機は、二つのヘッダ間の信号長からボディの信号長を推定してボディを復元できる。このとき、図184Aの(b)の変調方式では、ヘッダ二つとボディ二つ分の信号を一度に受信しなければならない。しかし、図185に示す変調方式であれば、ヘッダ二つとボディ一つ分の信号を受信するだけで、ボディの信号長を推定できる。なお、図185では、「ボディ・ヘッダ・ボディ・ヘッダ2(H2)」を一組とした変調方式であり、受信機は、ヘッダに含まれる全ての信号を連続で受信できればデータを受信可能である。
 このように、本実施の形態における送信機は、送信対象の信号のうちの一部であるボディに対応する第1の輝度変化のパターンと、そのボディを特定するためのヘッダを示す第2の輝度変化のパターンとを決定し、第1の輝度変化のパターン、第2の輝度変化のパターン、その第1の輝度変化のパターンの順に、それぞれのパターンにしたがって輝度変化することによって、ヘッダおよびボディを送信する。また、送信機は、さらに、ヘッダと異なる他のヘッダを示す第3の輝度変化のパターンを決定し、第1の輝度変化のパターン、第2の輝度変化のパターン、第1の輝度変化のパターン、第3の輝度変化のパターンの順に、それぞれのパターンにしたがって輝度変化することによって、ヘッダ、ボディおよび他のヘッダを送信してもよい。
 (輝線による通信と画像認識の併用)
 図186は、実施の形態8における撮像画像の一例を示す図である。
 受信機は、撮像画像中の輝線から信号を読み取るとともに、輝線以外の部分を画像処理によって解析することができる。これにより、例として、受信機は、例えばデジタルサイネージとして構成される送信機から信号を受信し、同じ信号を受信した場合であってもそのときに送信機の画面上に写っている画像によって異なる広告を表示すること等が可能となる。
 輝線は画像処理においてノイズとなるため、輝線の左右の画素から輝線部分の画素値を補間してから画像処理を行うとしてもよい。また、輝線部分を除いた画像に対して画像処理を行ってもよい。
 (可視光信号の受信に適した撮像素子の利用方法)
 図187A~図187Cは、実施の形態8における受信機の構成および動作の一例を示す図である。
 図187Aに示すように、8910aは、受信機の撮像素子である。撮像素子は、画像を撮像する部分である有効画素と、暗電流等のノイズ測定のためのオプティカルブラックと、無効領域8910bで構成される。オプティカルブラックには、さらに、垂直方向のノイズを測定するVOBと、水平方向のノイズを測定するHOBがある。輝線は8910cの向き(水平方向)に発生するため、VOBや無効領域8910bに露光している時間は輝線が得られず、信号を受信することができない。そのため、可視光通信時には、VOBと無効領域8910bを利用しないか最小限の利用とする撮像モードに切り替えることで、信号を受信可能な時間を増やすことができる。
 図187Bに示すように、VOBと無効領域8910bを利用しないようにすることによって、有効画素を含む領域である有効画素領域において露光されている時間を延ばすことができる。具体的には、図187Bの(a)に示すように、通常撮影時には、時刻t0~t10、時刻t10~t20、および時刻t20~t30のそれぞれの間で1枚の撮影画像が取得される。また、それぞれの撮影画像を取得するためには、VOBと無効領域8910bも利用されるため、有効画素領域において露光されている時間(電荷が読み出される時間であって、図187B中の網掛け部分)は、時刻t3~t10、時刻t13~t20、および時刻t23~t30である。
 一方、可視光通信時において、VOBと無効領域8910bを利用しないようにすることによって、図187Bの(b)に示すように、VOBと無効領域8910bを利用していた時間だけ、有効画素領域において露光されている時間を延ばすことができる。つまり、可視光通信で受信可能な時間を増やすことができる。その結果、多くの信号を受信することができる。
 なお、図187Cの(a)に示すように、通常撮影時には、有効画素領域の各露光ラインの露光は、隣の露光ラインの露光が開始されてから、所定時間m経過した後に開始される。一方、図187Cの(b)に示すように、可視光通信時において、有効画素領域において露光されている時間が延ばされると、有効画素領域の各露光ラインの露光は、隣の露光ラインの露光が開始されてから、所定時間n(n>m)経過した後に開始される。
 このように、本実施の形態における受信機は、通常撮影を行う際には、イメージセンサのオプティカルブラックを含む領域にある複数の露光ラインのそれぞれに対して、その露光ラインの隣の露光ラインに対する電荷の読み出しが行われた時点から所定の時間経過後に、電荷の読み出しを行う。そして、受信機は、可視光通信を行う際には、オプティカルブラックを電荷の読み出しに用いることなく、イメージセンサにおけるオプティカルブラック以外の領域にある複数の露光ラインのそれぞれに対して、その露光ラインの隣の露光ラインに対する電荷の読み出しが行われた時点から、上記所定の時間よりも長い時間経過後に、電荷の読み出しを行う。
 また、可視光通信時には、デモザイキングやクリッピング等の処理で縦の画素数が減らないような撮像モードとすることで、信号を受信可能な時間をさらに増やすことができる。
 VOBや無効領域8910bを利用せず、縦の画素を減らさないモードで撮像すると、撮像画像の下端と次のフレームの撮像画像の上端の露光タイミングが時間的に連続することになり、信号を連続的に受信することができる。また、VOB等を完全に無効にできない場合でも、誤り訂正が可能な方式で送信信号を変調することで、信号を連続的に受信することができる。
 図187Aでは、水平方向のフォトダイオードを同時に露光するため水平方向の輝線があらわれる。可視光通信時には、この露光モードと、垂直方向のフォトダイオードを同時に露光する露光モードを交互に繰り返すことで、水平の輝線と垂直の輝線を得ることができるため、送信機がどのような形状であっても安定して信号を受信できる。
 (連続的な信号受信)
 図187Dは、実施の形態8における信号受信方法の一例を示す図である。
 撮像素子には、受光した光の強度を画像にする画素である有効画素と、受光した光の強度を画像にせず、例えば暗電流の強度の基準として用いる無効画素がある。そのため、通常撮像モードでは、(a)に示すように、無効画素のみが受光している時間が存在し、その間は信号を受信することができない。そこで、可視光通信モードでは、(b)のように無効画素のみが受光する時間を最小限にしたり、(c)のように常に有効画素が受光するように設定したりすることで,受信可能な時間を長くとることができる。また、これにより、連続的な受信を可能とすることができる。(b)の場合は、受信ができない時間が存在するが、送信データに誤り訂正符号を用いることで、一部の信号が受信できない場合でも全体の信号を推定することができる。
 (小さく撮像された送信機からの信号の受信方法)
 図187Eは、実施の形態8における信号受信方法の一例を示すフローチャートである。
 図187Eに示すように、ステップ9000aでstartし、ステップ9000bで信号を受信して、ステップ9000cでヘッダを検出する。ステップ9000dでヘッダに続くボディのデータサイズは既知かどうかを確認して、YESの場合はステップ9000fに進む。NOの場合はステップ9000eへ進み、ヘッダに続くボディのデータサイズをヘッダから読み出して、ステップ9000fに進む。ステップ9000fでヘッダに続いてボディを意味する信号を全て受信できたかどうかを確認して、YESの場合はステップ9000gへ進み、ヘッダに続いて受信した信号からボディ部分を読み出して、ステップ9000pで終了する。NOの場合はステップ9000hへ進み、ヘッダに続いて受信した部分とヘッダの前に受信した部分のデータ長を合わせるとボディのデータ長に足りるかどうかを確認して、YESの場合はステップ9000iへ進み、ヘッダに続いて受信した部分とヘッダの前に受信した部分を連結することでボディ部分を読み出して、ステップ9000pで終了する。NOの場合はステップ9000jへ進み、送信機から多くの輝線を撮像する手段があるかどうかを確認して、YESの場合はステップ9000nへ進み、輝線を多く撮像できる設定に変更して、ステップ9000bへ戻る。NOの場合はステップ9000kへ進み、送信機が存在するが撮像される大きさが不十分であることを通知して、ステップ9000mで送信機の方向を通知し、そちらへ近づけば受信可能となることを通知して、ステップ9000pで終了する。
 この方法により、撮像画像中の送信機を通る露光ラインが少ない場合でも、安定して信号を受信することができる。
 (可視光信号の受信に適した撮像画像サイズ)
 図188および図189Aは、実施の形態8における受信方法の一例を示す図である。
 撮像素子の有効画素領域が4:3である場合は、16:9で撮像すると、画像の上下の部分がクリッピングされる。輝線が水平方向に現れる場合は、このクリッピングで輝線が失われ、信号を受信可能な時間が短くなる。同様に、撮像素子の有効画素領域が16:9の場合に4:3で撮像すると、画像の左右の部分がクリッピングされ、輝線が垂直方向に現れる場合に信号を受信可能な時間が短くなる。そこで、クリッピングが発生しない縦横比、すなわち、図188では4:3を、図189Aでは16:9を、可視光通信モードでの撮像縦横比とする。これにより、受信可能な時間を長くとることができる。
 つまり、本実施の形態における受信機は、さらに、イメージセンサによって得られる画像の縦幅と横幅の比率を設定する。そして、受信機は、可視光通信を行う際には、設定された比率によって、画像における露光ライン(輝線)と垂直な方向の端がクリッピングされるか否かを判定し、端がクリッピングされると判定したときには、設定された比率を、その端がクリッピングされない比率である非クリッピング比率に変更する。そして、受信機のイメージセンサは、輝度変化する被写体を撮影することによって、その非クリッピング比率の輝線画像を取得する。
 図189Bは、実施の形態8における受信方法の一例を示すフローチャートである。
 この受信方法では、受信時間を伸ばし、小さな送信機からの信号を受信するための撮像アスペクト比を設定する。
 つまり、図189Bに示すように、ステップ8911Baでstartして、ステップ8911Bbで可視光通信モードへ撮像モードを変更する。ステップ8911Bcで撮像画像のアスペクト比設定は有効画素のアスペクト比と最も近い設定になっているかどうかを確認する。YESの場合はステップ8911Bdへ進み、撮像画像のアスペクト比設定を有効画素のアスペクト比と最も近い設定にする。ステップ8911Beで終了する。NOの場合はステップ8911Beへ進み、終了する。可視光通信モードにおいてこのようにアスペクト比を設定することで、受信できない時間を減らすことができる。また、小さい送信機や遠くの送信機からの信号を受信できるようになる。
 図189Cは、実施の形態8における受信方法の一例を示すフローチャートである。
 この受信方法では、時間あたりのサンプル数を増やすための撮像アスペクト比を設定する。
 つまり、図189Cに示すように、ステップ8911Caでstartして、ステップ8911Cbで可視光通信モードへ撮像モードを変更する。ステップ8911Ccで露光ラインの輝線が確認できるが時間あたりのサンプル数が少なく信号が受信できないかを確認する。YESの場合はステップ8911Cdへ進み、撮像画像のアスペクト比設定を有効画素のアスペクト比と最も異なる設定にする。ステップ8911Ceで撮像フレームレートを上げて、ステップ8911Ccへ戻る。NOの場合はステップ8911Cfへ進み、信号を受信して、終了する。
 可視光通信モードにおいてこのようにアスペクト比を設定することで、周波数の高い信号を受信することができる。また、ノイズの大きな環境でも受信できるようになる。
 (ズームを利用した可視光信号の受信)
 図190は、実施の形態8における受信方法の一例を示す図である。
 受信機は、撮像画像8913aの中から輝線が存在する領域を見つけ出し、できるだけ多くの輝線が発生するようにズームを行う。撮像画像8913bのように、輝線の方向に垂直な方向に、輝線領域が画面の上端下端にかかるまで拡大することで、輝線の数を最大にすることができる。
 また、受信機は、輝線がはっきりと表示される領域を見つけ出し、8913cのように、その部分が大きく映るようにズームを行うとしてもよい。
 なお、撮像画像中に複数の輝線領域が存在する場合は、それぞれの輝線領域について順次上記の処理を行うとしてもよい。また、撮像画像中からユーザが指定した輝線領域について上記の処理を行うとしてもよい。
 (可視光信号の受信に適した画像データサイズの圧縮方法)
 図191は、実施の形態8における受信方法の一例を示す図である。
 撮像画像(a)を、撮像部から画像処理部へ伝送する際や、撮像端末(受信機)からサーバへ送信する際に、画像データサイズの圧縮が必要な場合は、(c)のように、輝線に水平な方向に縮小や画素間引きを行うと輝線の情報量を減じることなくデータサイズを圧縮することができる。(b)や(d)のような縮小や画素間引きを行うと、輝線の数が減ってしまったり、輝線の認識が難しくなる。画像圧縮の際も、輝線に垂直な方向には圧縮しない、または、垂直方向の圧縮率を水平方向の圧縮率より小さくすることで、受信効率の低減を防ぐことができる。なお、移動平均フィルタは垂直方向と水平方向のいずれにも適用してもよく、データサイズ縮小とノイズ低減の両方に有効である。
 つまり、本実施の形態における受信機は、さらに、輝線画像に含まれる複数の輝線のそれぞれに平行な方向に、その輝線画像を圧縮することによって、圧縮画像を生成し、その圧縮画像を送信する。
 (受信エラー検出精度が高い変調方式)
 図192は、実施の形態8における信号変調方法の一例を示す図である。
 パリティビットによる誤り検出は1ビットの受信誤りを検出するため、「01」と「10」の取り違えと「00」と「11」の取り違えは検出できない。(a)の変調方式では、「01」と「10」はLの位置が一つ異なるだけであるので取り違えやすいが、(b)の変調方式では「01」と「10」、「00」と「11」のLの位置がそれぞれ二つ異なっている。(b)の変調方式を用いることで、高い精度で受信誤りを検出できる。これは、図76から図78における変調方式においても同様である。
 つまり、本実施の形態では、所定の輝度値(例えばL)が現れるタイミングが互いに隣接する2つの輝度変化のパターンが、同一のパリティの信号単位(例えば、「01」と「10」)に割り当てられていないように、そのタイミングが互いに異なる輝度変化のパターンが、互いに異なる信号単位のそれぞれに対して予め割り当てられている。そして、本実施の形態における送信機は、送信対象の信号に含まれる信号単位のそれぞれに対して、その信号単位に割り当てられた輝度変化のパターンを決定する。
 (状況の違いによる受信機の動作の変更)
 図193は、実施の形態8における受信機の動作の一例を示す図である。
 受信機8920aは、受信が開始された状況によって異なる動作をする。例えば、日本で起動された場合は、60kHzの位相偏移変調方式で変調された信号を受信し、受信したIDをキーにサーバ8920dからデータをダウンロードする。アメリカで起動された場合には、50kHzの周波数偏移変調方式で変調された信号を受信し、受信したIDをキーにサーバ8920eからデータをダウンロードする。受信機の動作を変更させる前記状況には、受信機8920aが存在している場所(国や建物)、受信機8920aと通信している基地局や無線アクセスポイント(Wi-Fi、Bluetooth(登録商標)、IMES等)、時刻等がある。
 例えば、受信機8920aは、位置情報や最後にアクセスした無線基地局(キャリア通信網やWi-FiやBluetooh(登録商標)やIMES等の基地局)や可視光通信によって最後に受信したIDを、サーバ8920fに送信する。サーバ8920fは、受信した情報を基に受信機8920aの位置を推定し、その位置付近の送信機の送信信号を受信できる受信アルゴリズムと、その位置付近の送信機のIDを管理しているID管理サーバの情報(URI等)を送信する。受信機8920aは、受信したアルゴリズムを用いて送信機8920bや8920cの信号を受信し、受信したID管理サーバ8920d、8920eへIDをキーとした問い合わせを行う。
 この方法により、国や地域や建物といった単位で異なる方式の通信を行うことができる。また、本実施の形態における受信機8920aは、信号を受信したときには、その信号の変調に利用された周波数に応じて、アクセス対象となるサーバを切り替えたり、受信アルゴリズムを切り替えたり、図192に示す信号変調方法を切り替えてもよい。
 (人間への可視光通信の周知)
 図194は、実施の形態8における送信機の動作の一例を示す図である。
 送信機8921aの発光部は、図194の(a)に示すように、人間が視認可能な点滅と可視光通信とを繰り返す。人間に視認可能な点滅を行うことで、可視光通信が可能であることを人間に知らせることができる。ユーザは送信機8921aが点滅していることで可視光通信が可能であることに気づき、受信機8921bを送信機8921aに向けて可視光通信を行い、送信機8921aのユーザ登録を行う。
 つまり、本実施の形態における送信機は、発光体が輝度変化によって信号を送信するステップと、発光体が人の目で視認されるように点滅するステップとを交互に繰り返し行う。
 送信機は、図194の(b)のように、可視光通信部と点滅部(通信状況表示部)とを別に設けてもよい。
 送信機は、図77または図78の変調方式を用いて、図194の(c)のように、動作することで、可視光通信を行いながら、人間には発光部が点滅しているように見せることができる。つまり、送信機は、例えば明るさ75%の高輝度可視光通信と、明るさ1%の低輝度可視光通信とを交互に繰り返し行う。例えば、送信機に異常等が発生して普段とは異なる信号を送信しているときに図194の(c)に示す動作をすることで、可視光通信をやめることなくユーザに注意を促すことができる。
 (散光板による受信範囲の拡大)
 図195は、実施の形態8における受信機の一例を示す図である。
 図195の(a)は、受信機8922aの通常モードの様子を示し、図195の(b)は、受信機8922aの可視光通信モードの様子を示す。受信機8922aは、撮像部の前に散光板8922bを備える。受信機8922aは、可視光通信モード時に散光板8922bを撮像部の前に移動させ、光源が広がって撮像されるようにする。このとき、複数の光源からの光が重ならないように、散光板8922bの位置を調整する。なお、散光板8922bに代わり、マクロレンズやズームレンズを用いてもよい。これにより、遠くの送信機や小さい送信機の信号を受信することができる。
 なお、散光板8922bを移動させる代わりに、撮像部の撮像方向を移動させてもよい。
 なお、散光板8922bが映るイメージセンサの領域は通常撮像モードでは利用せず、可視光通信モードでのみ利用するとしてもよい。これにより、散光板8922bも撮像部も移動させることなく、上記の効果が得られる。
 (複数の送信機からの信号送信の同期方法)
 図196と図197は、実施の形態8における送信システムの一例を示す図である。
 プロジェクションマッピング等のために複数のプロジェクタを用いる場合は、混信をさけるため、一箇所の投影には一つのプロジェクタのみが信号を送信するか、複数のプロジェクタの信号送信タイミングを同期する必要がある。図196は、送信タイミングの同期のための仕組みを示す。
 同じ投影面に投影を行うプロジェクタAとプロジェクタBが、図196のように信号を送信する。受信機がこれを撮像して受信し、信号aと信号bの時間差を計算し、各プロジェクタの信号送信タイミングを調整する。
 動作開始時にはプロジェクタAとプロジェクタBは同期していないため、どちらも信号を送信しない時間(全休止時間)を設けることで、信号aと信号bが重なって受信できなくなることを防ぐ。プロジェクタのタイミング調整が進むに連れてプロジェクタが送信する信号を変化させても良い。例えば、動作開始時には全休止時間を長くとり、タイミング調整が進むにつれて全休止時間を短くすることで、効率よくタイミング調整が可能となる。
 正確にタイミングを調整するためには、1枚の撮像画像中に信号aと信号bが含まれていることが望ましい。受信機の撮像フレームレートは60fpsから7.5fpsのものが多い。信号送信の周期を7.5分の1秒以下にすることで、7.5fpsで撮像された画像中に信号aと信号bを収めることができる。また、信号送信の周期を60分の1秒以下とすることで、30fpsで撮像された画像中に確実に信号aと信号bを収めることができる。
 図197は、複数のディスプレイから構成される送信機を同期する場合を示す図である。同期するディスプレイが1枚の画像中に収まるように撮像し、タイミング調整を行う。
 (照度センサとイメージセンサによる可視光信号の受信)
 図198は、実施の形態8における受信機の動作の一例を示す図である。
 イメージセンサは、照度センサに比べて消費電力が高いため、受信機8940aは、照度センサ8940cで信号を検知した際にイメージセンサ8940bを起動して信号を受信する。図198の(a)に示すように、受信機8940aは、送信機8940dが送信した信号を、照度センサ8940cで受信する。その後、受信機8940aは、イメージセンサ8940bを起動し、イメージセンサで送信機8940dの送信信号を受信し、送信機8940dの位置を認識する。このとき、イメージセンサ8940bは信号の一部を受信した時点で、その一部が照度センサ8940cで受信した信号と同一であれば、受信機8940aは同一の信号を受信したと仮に判断し、後段の処理、例えば現在位置の表示等、を行う。イメージセンサ8940bで全部の信号が受信できた時点で、判断を完了する。
 なお、仮判断時には、判断が完了していないことを表示してもよい。例えば、現在位置の表示を半透明にしたり、位置の誤差を表示する。
 なお、前記信号の一部とは、例えば、全体の信号長の20%や、誤り検出符号部分等として定めることができる。
 図198の(b)に示す状況では、照度センサ8940cでは、信号が混信して受信することができないが、信号が存在することは認識できる。例えば、照度センサ8940cのセンサ値をフーリエ変換したとき、送信信号の変調周波数にピークが現れた場合、信号が存在していると推定できる。受信機8940aは、照度センサ8940cのセンサ値から信号が存在していると推定したときは、イメージセンサ8940bを起動し、送信機8940e、8940fからの信号を受信する。
 (受信開始のトリガ)
 図199は、実施の形態8における受信機の動作の一例を示す図である。
 イメージセンサや照度センサ(以下では、これらを総称して受光センサと呼ぶ)を起動していると電力を消費するため、不要時には停止させておき、必要なときに起動することで消費電力効率を向上させることができる。なお、照度センサの消費電力はイメージセンサと比べて少ないため、以下では、照度センサは常時起動し、イメージセンサのみを制御するとしてもよい。
 図199の(a)では、受信機8941aは、9軸センサのセンサ値から移動を検出し、受光センサを起動して受信を開始する。
 図199の(b)では、9軸センサのセンサ値から、受信機を倒す動作を検出し、上に向けられた側の受光センサを起動して受信を開始する。
 図199の(c)では、9軸センサのセンサ値から、受信機を突き出す動作を検出し、突き出される方向の受光センサを起動して受信を開始する。
 図199の(d)では、9軸センサのセンサ値から、受信機を上に向ける動作や振る動作を検出し、上に向けられた側の受光センサを起動して受信を開始する。
 つまり、本実施の形態における受信機は、さらに、受信機(受信装置)が、予め定められた態様で動かされたか否かを判定し、予め定められた態様で動かされたと判定したときには、イメージセンサを起動する。
 (受信開始のジェスチャ)
 図200は、本通信方式による受信を開始するジェスチャ動作の一例を示す図である。
 例えばスマートフォンとして構成される受信機8942aは、9軸センサのセンサ値から、受信機を立てて横方向にスライドさせる動作、または、横方向へのスライドを繰り返す動作を検出する。その後、受信機8942aは、受信を開始し、受信したIDをもとに送信機8942bの位置を取得する。その後、受信機8942aは、複数の送信機8942bと自身の相対位置関係から、自身の位置を取得する。受信機8942aは、スライドされることで、安定して複数の送信機8942bを撮像することができ、三角測量の方法で、自己位置を高精度に推定することができる。
 なお、この動作は、ホーム画面がフォアグラウンドになっているときのみ行うとしてもよい。これにより、他のアプリを使用中にユーザの意図に反して本通信が行われることを防ぐことができる。
 (カーナビへの応用例)
 図201と図202は、実施の形態8における送受信システムの応用例の一例を示す図である。
 例えばカーナビとして構成される送信機8950bは、Bluetooth(登録商標)のペアリング情報や、Wi-FiのSSIDとパスワードや、IPアドレス等、送信機8950bに無線接続するための情報を送信する。例えばスマートフォンとして構成される受信機8950aは、受信した情報をもとに送信機8950bと無線接続を確立し、以降のやりとりはこの無線接続を介して行う。
 例えば、ユーザはスマートフォン8950aに目的地や探索する店舗情報などを入力し、スマートフォン8950aは、無線接続を介してカーナビ8950bに、入力された情報を伝達し、カーナビ8950bは経路情報を表示する。また、例えば、スマートフォン8950aは、カーナビ8950bのコントローラとして動作し、カーナビ8950bが再生する音楽や映像をコントロールする。また、例えば、スマートフォン8950aが保持する音楽や映像をカーナビ8950bで再生する。また、例えば、カーナビ8950bが周辺の店舗情報や道路の混雑情報を取得し、スマートフォン8950aに表示させる。また、例えば、スマートフォン8950aは、着信があったとき、無線接続されたカーナビ8950bのマイクとスピーカーを使って通話処理を行う。なお、スマートフォン8950aは、着信があったときに無線接続を確立して上記の動作を行うとしてもよい。
 カーナビ8950bは、無線接続された自動接続モードに設定されているときは、登録された端末に自動で無線接続する。カーナビ8950bは、自動接続モードではないとき、可視光通信を用いて接続情報を送信して接続を待ち受ける。なお、カーナビ8950bは、自動接続モードの際も可視光通信を用いて接続情報を送信して接続を待ち受けてもよい。なお、カーナビは、手動で接続された場合には、自動接続モードを解除するとしてもよく、さらに、自動で接続された端末との接続を切断するとしてもよい。
 (コンテンツ保護への応用例)
 図203は、実施の形態8における送受信システムの応用例の一例を示す図である。
 例えば、テレビとして構成される送信機8951bは、自身や接続された機器8951cに保持されたコンテンツ保護情報を送信する。例えばスマートフォンとして構成される受信機8951aは、前記コンテンツ保護情報を受信し、その後所定の時間の間は、送信機8951bや機器8951cのコンテンツ保護情報で保護されたコンテンツを再生できるように、コンテンツ保護を行う。これにより、ユーザが所有する別の機器に保持しているコンテンツを受信機で再生することができる。
 なお、送信機8951bはコンテンツ保護情報をサーバに格納し、受信機8951aは、受信した送信機8951bのIDをキーにサーバからコンテンツ保護情報を取得してもよい。
 なお、受信機8951aは、取得したコンテンツ保護情報をさらに他の機器に送信するとしてもよい。
 (電子錠としての応用例)
 図204Aは、実施の形態8における送受信システムの応用例の一例を示す図である。
 受信機8952aは、送信機8952bの送信したIDを受信し、サーバ8952cへ送信する。サーバ8952cは、受信機8952aから送信機8952bのIDが送られてきた場合に、扉8952dを解錠したり、自動ドアを開けたり、受信機8952aに登録された階に移動するエレベータを受信機8952aの居るフロアへ呼ぶ。これにより、受信機8952aが鍵の役割を果たし、ユーザは扉8952dに着く前に解錠等を行うことができる。
 つまり、本実施の形態における受信機は、輝度変化する被写体(例えば上述の送信機)を撮影することによって、複数の輝線を含む画像である第1の輝線画像を取得し、取得された第1の輝線画像に含まれる複数の輝線のパターンによって特定されるデータを復調することにより第1の送信情報(例えば、被写体のID)を取得する。そして、受信機は、第1の送信情報が取得された後に、制御信号(例えば、被写体のID)を送信することによって、扉の開閉駆動機器に対してその扉を開かせる。
 悪意のある操作を防ぐため、サーバ8952cは、受信機8952aのセキュアエレメント等のセキュリティ保護を利用して、通信相手が受信機8952aであることを確認してもよい。また、受信機8952aが確かに送信機8952bの近くに居るということを確認するため、サーバ8952cは、送信機8952bのIDを受信した際に、送信機8952bに異なる信号を送信する命令を発し、受信機8952aから前記信号が送られてきた場合に解錠を行うとしてもよい。
 また、照明機器として構成される送信機8952bが、扉8952dに向かう通路に沿って複数個並んでいる場合には、受信機8952aは、それらの送信機8952bからIDを受信することによって、受信機8952aが扉8952dに近づいているか否かを判定することができる。例えば、それらのIDが取得された順に、それらのIDによって示される値が小さくなる場合には、受信機は、扉に近づいていると判定する。または、受信機は、それらのIDに基づいて、それぞれの送信機8952bの位置を特定し、さらに、それらの送信機8952bの位置と、撮影画像に映るそれらの送信機8952bの位置とに基づいて、自らの位置を推定する。そして、受信機は、予め保持されている扉8952dの位置と、推定された自らの位置とを随時比較することによって、扉8952dに近づいているか否かを判定する。そして、受信機は、扉8952dに近づいていると判定したときに、取得された何れかのIDをサーバ8952cに対して送信する。その結果、サーバ8952cは、扉8952dを開くための処理などを行う。
 つまり、本実施の形態における受信機は、輝度変化する他の被写体を撮影することによって、複数の輝線を含む画像である第2の輝線画像を取得し、取得された第2の輝線画像に含まれる複数の輝線のパターンによって特定されるデータを復調することにより第2の送信情報(例えば、他の被写体のID)を取得する。そして、受信機は、取得された第1および第2の送信情報に基づいて、受信機が扉に近づいているか否かを判定し、扉に近づいていると判定したときに、制御信号(例えば、何れかの被写体のID)を送信する。
 図204Bは、本実施の形態における情報通信方法のフローチャートである。
 本実施の形態における情報通信方法は、被写体から情報を取得する情報通信方法であって、ステップSK21~SK24を含む。
 つまり、この情報通信方法は、イメージセンサによる前記被写体である第1の被写体の撮影によって得られる画像に、前記イメージセンサに含まれる各露光ラインに対応する複数の輝線が前記第1の被写体の輝度変化に応じて生じるように、前記イメージセンサの第1の露光時間を設定する第1の露光時間設定ステップSK21と、前記イメージセンサが、輝度変化する前記第1の被写体を、設定された前記第1の露光時間で撮影することによって、前記複数の輝線を含む画像である第1の輝線画像を取得する第1の輝線画像取得ステップSK22と、取得された前記第1の輝線画像に含まれる前記複数の輝線のパターンによって特定されるデータを復調することにより第1の送信情報を取得する第1の情報取得ステップSK23と、前記第1の送信情報が取得された後に、制御信号を送信することによって、扉の開閉駆動機器に対して前記扉を開かせる扉制御ステップSK24とを含む。
 図204Cは、本実施の形態における情報通信装置のブロック図である。
 本実施の形態における情報通信装置K20は、輝度変化によって信号を送信する情報通信装置であって、構成要素K21~K24を備える。
 つまり、この情報通信装置K20は、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる各露光ラインに対応する複数の輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定部K21と、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記複数の輝線を含む画像である輝線画像を取得する前記イメージセンサを有する輝線画像取得部K22と、取得された前記輝線画像に含まれる前記複数の輝線のパターンによって特定されるデータを復調することにより送信情報を取得する情報取得部K23と、前記送信情報が取得された後に、制御信号を送信することによって、扉の開閉駆動機器に対して前記扉を開かせる扉制御部K24とを備える。
 このような図204Bおよび図204Cによって示される情報通信方法および情報通信装置K20では、例えば図204Aに示すように、イメージセンサを備えた受信機を扉の鍵のように用いることができ、特別な電子錠を不要にすることができる。その結果、演算力が少ないような機器を含む多様な機器間で通信を行うことができる。
 なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。例えばプログラムは、図204Bのフローチャートによって示される情報通信方法をコンピュータに実行させる。
 (来店情報伝達としての応用例)
 図205は、実施の形態8における送受信システムの応用例の一例を示す図である。
 受信機8953aは、送信機8953bの送信したIDをサーバ8953cへ送信する。サーバ8953cは、受信機8953aに関連付けられた注文情報を店員8953dへ通知する。店員8953dは、前記注文情報に基いて商品等を準備する。これにより、ユーザが店舗等に入った時点で注文が準備されるため、ユーザは迅速に商品等を受け取ることができる。
 (場所に応じた注文制御の応用例)
 図206は、実施の形態8における送受信システムの応用例の一例を示す図である。
 受信機8954aは、送信機8954bの送信信号を受信したときにのみ注文が行える画面を表示する。これにより、店舗は、付近にいない顧客の注文を回避することができる。
 または、受信機8954aは、送信機8954bのIDを注文情報に加えて注文を行う。これにより、店舗は、注文主の位置を把握し、商品を届ける位置を把握することができる。あるいは、店舗は、注文主が来店するまでの時間を推定することができる。なお、受信機8954aは、移動速度から計算した店舗までの移動時間を注文情報に加えてもよい。また、受信機は、現在位置から判断して不自然な購買(例えば、現在位置の駅以外から出発する搭乗券の購入)に対して、その購買を受け付けないようにしてもよい。
 (道案内への応用例)
 図207は、実施の形態8における送受信システムの応用例の一例を示す図である。
 受信機8955aは、例えば案内板として構成される送信機8955bの送信IDを受信し、案内板に表示された地図のデータをサーバから取得して表示する。このとき、サーバは受信機8955aのユーザに適した広告を送信し、受信機8955aはこの広告情報も表示するとしてもよい。受信機8955aは、現在地から、ユーザが指定した場所までの経路を表示する。
 (所在連絡への応用例)
 図208は、実施の形態8における送受信システムの応用例の一例を示す図である。
 受信機8956aは、例えば家庭や学校の照明として構成される送信機8956bの送信するIDを受信し、そのIDをキーとして取得した位置情報を端末8956cへ送信する。これにより、端末8956cを持つ保護者は、受信機8956aを持つ児童が家に帰ったことや学校に着いたことを知ることができる。また、端末8956cを持つ監督者は、受信機8956aを持つ作業者の現在位置を把握することができる。
 (利用ログ蓄積と解析への応用例)
 図209は、実施の形態8における送受信システムの応用例の一例を示す図である。
 受信機8957aは、例えば看板として構成される送信機8957bの送信するIDを受信し、サーバからクーポン情報を取得して表示する。受信機8957aは、その後のユーザの行動、例えば、クーポンを保存したり、クーポンに表示された店舗に移動したり、その店舗で買い物を行ったり、クーポンを保存せずに立ち去ったりといった行動をサーバ8957cに保存する。これにより、看板8957bから情報を取得したユーザのその後の行動を解析することができ、看板8957bの広告価値を見積もることができる。
 (画面共有への応用例)
 図210と図211は、実施の形態8における送受信システムの応用例の一例を示す図である。
 例えばプロジェクタやディスプレイとして構成される送信機8960bは、自身へ無線接続するための情報(SSID、無線接続用パスワード、IPアドレス、送信機を操作するためのパスワード)を送信する。または、これらの情報にアクセスするためのキーとなるIDを送信する。例えばスマートフォンやタブレットやノートパソコンやカメラとして構成される受信機8960aは、送信機8960bから送信された信号を受信して前記情報を取得し、送信機8960bとの無線接続を確立する。この無線接続は、ルータを介して接続してもよいし、Wi-FiダイレクトやBluetooth(登録商標)やWireless Home Digital Interface等によって直接接続してもよい。受信機8960aは、送信機8960bによって表示される画面を送信する。これにより、手軽に受信機の画像を送信機に表示することができる。
 なお、送信機8960bは、受信機8960aと接続されたときに、画面表示のためには、送信機が送信している情報の他にパスワードが必要であることを受信機8960aに伝え、正しいパスワードが送られない場合は送信された画面を表示しないとしてもよい。このとき、受信機8960aは、8960dのような、パスワード入力画面を表示し、ユーザにパスワードを入力させる。
 図211は、受信機8960aを介して送信機8961cの画面を送信機8960bに表示させる例を示す図である。例えばノートパソコンとして構成される送信機8961cは、自身へ接続するための情報、または、その情報に関連付けられたIDを送信する。受信機8960aは、送信機8960bから送信された信号と送信機8961cから送信された信号を受信し、各送信機との接続を確立させ、送信機8960bに表示するための画像を送信機8961cから伝送させる。送信機8960bと送信機8961cは直接通信するとしてもよいし、受信機8960aやルータを介して通信するとしてもよい。これにより、送信機8960bの送信した信号を送信機8961cが受信できない場合でも、手軽に送信機8961cの画像を送信機8960bに表示させることができる。
 なお、受信機8960aが、送信機8960bの送信した信号を受信した時刻と、送信機8961cの送信した信号を受信した時刻の差が所定の時間以下であったときのみ前記の動作を行うとしてもよい。
 なお、送信機8961cは、受信機8960aから正しいパスワードを受信した場合にのみ画像を送信機8960bに送信するとしてもよい。
 (無線アクセスポイントを利用した位置推定の応用例)
 図212は、実施の形態8における送受信システムの応用例の一例を示す図である。
 例えばスマートフォンとして構成される受信機8963aは、送信機8963bの送信するIDを受信する。受信機8963aは、受信したIDをキーとして送信機8963bの位置情報を取得し、撮像画像中の送信機8963bの位置と方向から、自身の位置を推定する。また、受信機8963aは、例えばWi-Fiアクセスポイントとして構成される無線発信機8963cからの信号を受信する。受信機8963aは、信号に含まれた無線発信機8963cの位置情報と電波発信方向情報から自身の位置を推定する。受信機8963aは、複数の手段で自己位置を推定することで、高精度に自己位置を推定することができる。
 無線発信機8963cの情報を利用して自己位置を推定する手法について説明する。無線発信機8963cは、複数のアンテナから、異なる方向に、同期した信号を送信している。また、無線発信機8963cは、信号送信の方向を順次変更している。受信機8963aは、電波強度が最も強くなったときの電波発信方向が無線発信機8963cから自身への方向であると推測する。また、別のアンテナから発信され、それぞれ経路8963d、8963e、8963fを通った電波の到達時間の差から経路差を計算し、各電波発信角度差θ12、θ13、θ23から、無線発信機8963cと自身の距離を計算する。さらに、周囲の電界情報、電波反射物情報を利用することで、より高精度に自己位置を推定することができる。
 (可視光通信と無線通信による位置推定)
 図213は、可視光通信と無線通信とによる位置推定を行う構成を示す図である。つまり、図213は、可視光通信と無線通信とを用いて端末の位置推定を行う構成を示している。
 携帯端末(スマートフォン端末)は、発光部と可視光通信を行うことにより、発光部のIDを取得する。取得したIDをサーバに問い合わせ、発光部の位置情報を取得する。これにより、携帯端末は、MIMO(multiple-input and multiple-output)アクセスポイントと発光部との間のx方向およびy方向のそれぞれの距離である、実距離L1および実距離L2を取得する。また、既に他の実施の形態において説明しているように、携帯端末は、その携帯端末の傾きθ1をジャイロセンサなどを用いて検出する。
 一方、MIMOアクセスポイントから携帯端末に向けてビームフォーミングがなされている場合には、ビームフォームの角度θ2は、MIMOアクセスポイントが設定するものであり既知の値となる。従って、携帯端末は、無線通信などにより、ビームフォーミングの角度θ2を取得する。
 その結果、携帯端末は、実距離L1および実距離L2と、携帯端末の傾きθ1およびビームフォーミングの角度θ2とを用いて、MIMOアクセスポイントを基準とする携帯端末の座標位置(x1,y1)を算出することができる。なお、MIMOアクセスポイントは複数のビームを形成することが可能であることから、複数のビームフォーミングを利用することにより、より精度の高い位置推定を行うことも可能である。
 このように、本実施の形態によれば、可視光通信による位置推定と、無線通信による位置推定との両方を用いることにより、位置推定の精度をより高めることが可能となる。
 以上、一つまたは複数の態様に係る情報通信方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
 また、図214、図215および図216に示すように、本発明の一態様に係る情報通信方法を応用してもよい。
 図214は、実施の形態8における送受信システムの応用例の一例を示す図である。
 可視光通信の受信機として構成されるカメラは、通常撮像モードで撮像を行う(Step1)。この撮像によって、カメラは、例えばEXIF(Exchangeable image file format)等のフォーマットによって構成される画像ファイルを取得する。次に、カメラは、可視光通信撮像モードで撮像を行う(Step2)。カメラは、この撮像によって得られる画像中の輝線のパターンに基づいて、被写体である送信機から可視光通信によって送信された信号(可視光通信情報)を取得する(Step3)。さらに、カメラは、その信号(受信情報)をキーとして扱ってサーバにアクセスすることにより、サーバからそのキーに対応する情報を取得する(Step4)。そしてカメラは、被写体から可視光通信によって送信された信号(可視光受信データ)、サーバから取得された情報、画像ファイルによって示される画像中の、被写体である送信機が映し出された位置を示すデータと、可視光通信によって送信された信号を受信した時刻(動画中における時刻)を示すデータなどをそれぞれ、上述の画像ファイル中のメタデータとして保存する。なお、カメラは、撮像によって得られる画像(画像ファイル)に複数の送信機が被写体として映し出されている場合には、送信機ごとに、その送信機に対応する幾つかのメタデータを、その画像ファイルに保存する。
 可視光通信の送信機として構成されるディスプレイまたはプロジェクタは、上述の画像ファイルによって示される画像を表示するときには、その画像ファイルに含まれるメタデータに応じた信号を可視光通信によって送信する。例えば、ディスプレイまたはプロジェクタは、メタデータそのものを可視光通信によって送信してもよく、画像に映し出された送信機に関連付けられた信号をキーとして送信してもよい。
 可視光通信の受信機として構成される携帯端末(スマートフォン)は、ディスプレイまたはプロジェクタの画像を撮像することによって、ディスプレイまたはプロジェクタから可視光通信によって送信される信号を受信する。携帯端末は、その受信した信号が上述のキーであれば、そのキーを用いて、ディスプレイ、プロジェクタまたはサーバから、そのキーに関連付けられた送信機のメタデータを取得する。また、携帯端末は、その受信した信号が、実在する送信機から可視光通信によって送信された信号(可視光受信データまたは可視光通信情報)であれば、ディスプレイ、プロジェクタまたはサーバから、その可視光受光データまたは可視光通信情報に対応する情報を取得する。
 図215は、実施の形態8における送受信システムのカメラ(受信機)の動作を示すフローチャートである。
 まず、カメラは、撮像ボタンの押下を検出すると(ステップS901)、通常撮像モードで撮像を行う(ステップS902)。そして、カメラは、シャッター速度を一定の速度以上に上げることにより、つまり、通常撮像モードよりも短い露光時間を設定することにより、可視光撮像モードでの撮像を行う(ステップS903)。これにより、カメラは、被写体から可視光通信によって送信される信号を取得する。
 その後、カメラは、可視光通信によって取得された信号(情報)をキーとして扱うことにより、サーバからそのキーに対応付けられた情報を取得する(ステップS905)。次に、カメラは、通常撮像モードによる撮像によって得られた画像ファイルのメタデータ領域(EXIFのメータデータが格納される領域等)に、その信号、各情報および各データを保存する(ステップS905)。つまり、カメラは、可視光通信によって取得された信号と、サーバから取得された情報と、可視光通信によって信号を送信した被写体である送信機の画像(通常撮像モードによる撮像によって得られた画像)中の位置を示す位置データなどを保存する。
 そして、カメラは、動画の撮像を行うか否かを判断し(ステップS906)、動画の撮像を行うと判断した場合には(ステップS906のY)、ステップS902からの処理を繰り返し実行する。一方、カメラは、動画の撮像を行わないと判断した場合には(ステップS906のN)、撮像の処理を終了する。
 図216は、実施の形態8における送受信システムのディスプレイ(送信機)の動作を示すフローチャートである。
 まず、ディスプレイは、画像ファイルのメタデータ領域を確認することにより、その画像ファイルによって示される画像中に映し出されている送信機が1つであるか複数であるかを判断する(ステップS911)。ここで、ディスプレイは、送信機が複数であると判断すると(ステップS911の複数)、さらに、可視光通信のモードとして分割送信モードが設定されているか否かを判断する(ステップS912)。そして、ディスプレイは、分割送信モードが設定されていると判断すると(ステップS912のY)、ディスプレイの表示領域(送信部分)を分割して、それぞれの表示領域から信号を送信する(ステップS914)。具体的には、ディスプレイは、送信機ごとに、その送信機が映し出されている領域、または、その送信機とその周辺とが映し出された領域を表示領域として扱い、その表示領域から、その送信機に対応する信号を可視光通信によって送信する。
 一方、ディスプレイは、ステップS912で、分割送信モードに設定されていないと判断すると(ステップS912のN)、ディスプレイの表示領域の全体から、複数の送信機のそれぞれに対応する信号を可視光通信によって送信する(ステップS913)。つまり、ディスプレイは、複数の情報に関連付けられたキーを画面全体から送信する。
 また、ディスプレイは、ステップS911で、送信機が1つであると判断すると(ステップS911の1つ)、ディスプレイの表示領域の全体から、その1つの送信機に対応する信号を可視光通信によって送信する(ステップS915)。つまり、ディスプレイは、画面全体から送信を行う。
 さらに、ディスプレイは、ステップS913~S915の何れかの後、可視光通信によって送信された信号(送信情報)をキーとして扱うアクセスを例えば携帯端末(スマートフォン)から受け付けると、画像ファイル中のそのキーに対応するメタデータを、アクセス元である携帯端末に渡す(ステップS916)。
 (本実施の形態等のまとめ)
 本実施の形態における情報通信方法は、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体である第1の被写体の撮影によって得られる画像に、前記イメージセンサに含まれる各露光ラインに対応する複数の輝線が前記第1の被写体の輝度変化に応じて生じるように、前記イメージセンサの第1の露光時間を設定する第1の露光時間設定ステップと、前記イメージセンサが、輝度変化する前記第1の被写体を、設定された前記第1の露光時間で撮影することによって、前記複数の輝線を含む画像である第1の輝線画像を取得する第1の輝線画像取得ステップと、取得された前記第1の輝線画像に含まれる前記複数の輝線のパターンによって特定されるデータを復調することにより第1の送信情報を取得する第1の情報取得ステップと、前記第1の送信情報が取得された後に、制御信号を送信することによって、扉の開閉駆動機器に対して前記扉を開かせる扉制御ステップとを含む。
 これにより、例えば図204Aに示すように、イメージセンサを備えた受信機を扉の鍵のように用いることができ、特別な電子錠を不要にすることができる。その結果、演算力が少ないような機器を含む多様な機器間で通信を行うことができる。
 また、前記情報通信方法は、さらに、前記イメージセンサが、輝度変化する第2の被写体を、設定された前記第1の露光時間で撮影することによって、複数の輝線を含む画像である第2の輝線画像を取得する第2の輝線画像取得ステップと、取得された前記第2の輝線画像に含まれる前記複数の輝線のパターンによって特定されるデータを復調することにより第2の送信情報を取得する第2の情報取得ステップと、取得された前記第1および第2の送信情報に基づいて、前記イメージセンサを備えた受信装置が前記扉に近づいているか否かを判定する接近判定ステップとを含み、前記扉制御ステップでは、前記受信装置が前記扉に近づいていると判定されたときに、前記制御信号を送信してもよい。
 これにより、例えば図204Aに示すように、受信装置(受信機)が扉に近づいたときにのみ、つまり、適切なタイミングにのみ、その扉を開かせることができる。
 また、前記情報通信方法は、さらに、前記第1の露光時間よりも長い第2の露光時間を設定する第2の露光時間設定ステップと、前記イメージセンサが、第3の被写体を、設定された前記第2の露光時間で撮影することによって、前記第3の被写体が映し出された通常画像を取得する通常画像取得ステップとを含み、前記通常画像取得ステップでは、前記イメージセンサのオプティカルブラックを含む領域にある複数の露光ラインのそれぞれに対して、当該露光ラインの隣の露光ラインに対する電荷の読み出しが行われた時点から所定の時間経過後に、電荷の読み出しを行い、前記第1の輝線画像取得ステップでは、前記オプティカルブラックを電荷の読み出しに用いることなく、前記イメージセンサにおける前記オプティカルブラック以外の領域にある複数の露光ラインのそれぞれに対して、当該露光ラインの隣の露光ラインに対する電荷の読み出しが行われた時点から、前記所定の時間よりも長い時間経過後に、電荷の読み出しを行ってもよい。
 これにより、例えば図187A~図187Eに示すように、第1の輝線画像が取得されるときには、オプティカルブラックに対する電荷の読み出し(露光)は行われないため、イメージセンサにおけるオプティカルブラック以外の領域である有効画素領域に対する電荷の読み出し(露光)にかかる時間を長くすることができる。その結果、その有効画素領域において信号を受信する時間を長くすることができ、多くの信号を取得することができる。
 また、前記情報通信方法は、さらに、前記第1の輝線画像に含まれる前記複数の輝線のパターンにおける、当該複数の輝線のそれぞれに垂直な方向の長さが、予め定められた長さ未満であるか否かを判定する長さ判定ステップと、前記パターンの長さが前記予め定められた長さ未満であると判定された場合には、前記イメージセンサのフレームレートを、前記第1の輝線画像を取得したときの第1のフレームレートよりも遅い第2のフレームレートに変更するフレームレート変更ステップと、前記イメージセンサが、輝度変化する前記第1の被写体を、前記第2のフレームレートで、且つ、設定された前記第1の露光時間で撮影することによって、複数の輝線を含む画像である第3の輝線画像を取得する第3の輝線画像取得ステップと、取得された前記第3の輝線画像に含まれる前記複数の輝線のパターンによって特定されるデータを復調することにより前記第1の送信情報を取得する第3の情報取得ステップとを含んでもよい。
 これにより、例えば図224Aに示すように、第1の輝線画像に含まれる輝線のパターン(輝線領域)によって示される信号長が、送信された信号の例えば1ブロック分に満たない場合には、フレームレートが落とされて、改めて輝線画像が第3の輝線画像として取得される。その結果、第3の輝線画像に含まれる輝線のパターンの長さを長くすることができ、送信された信号を1ブロック分取得することができる。
 また、前記情報通信方法は、さらに、前記イメージセンサによって得られる画像の縦幅と横幅の比率を設定する比率設定ステップを含み、前記第1の輝線画像取得ステップは、設定された前記比率によって、前記画像における前記各露光ラインと垂直な方向の端がクリッピングされるか否かを判定するクリッピング判定ステップと、前記端がクリッピングされると判定されたときには、前記比率設定ステップで設定された前記比率を、前記端がクリッピングされない比率である非クリッピング比率に変更する比率変更ステップと、前記イメージセンサが、輝度変化する前記第1の被写体を撮影することによって、前記非クリッピング比率の前記第1の輝線画像を取得する取得ステップとを含んでもよい。
 これにより、例えば図188および図189A~図189Cに示すように、例えばイメージセンサの有効画素領域の横幅と縦幅の比率が4:3であって、画像の横幅と縦幅の比率が16:9に設定され、水平方向に沿う輝線が表れる場合、つまり、露光ラインが水平方向に沿っている場合には、上述の画像の上端および下端がクリッピングされると判定される。つまり、第1の輝線画像の端が欠落してしまうと判定される。この場合には、その画像の比率が、クリッピングされない比率である例えば4:3に変更される。その結果、第1の輝線画像の端の欠落を防ぐことができ、第1の輝線画像から多くの情報を取得することができる。
 また、前記情報通信方法は、さらに、前記第1の輝線画像に含まれる前記複数の輝線のそれぞれに平行な方向に、前記第1の輝線画像を圧縮することによって、圧縮画像を生成する圧縮ステップと、前記圧縮画像を送信する圧縮画像送信ステップとを含んでもよい。
 これにより、例えば図191に示すように、複数の輝線によって示される情報を欠落させることなく適切に第1の輝線画像を圧縮することができる。
 また、前記情報通信方法は、さらに、前記イメージセンサを備える受信装置が、予め定められた態様で動かされたか否かを判定するジェスチャ判定ステップと、前記予め定められた態様で動かされたと判定したときには、前記イメージセンサを起動する起動ステップとを含んでもよい。
 これにより、例えば図199に示すように、必要なときにのみイメージセンサを簡単に起動させることができ、消費電力効率の向上を図ることができる。
 (実施の形態9)
 本実施の形態では、上記各実施の形態におけるスマートフォンなどの受信機と、LEDや有機ELの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
 図217は、実施の形態9における送信機と受信機の適用例を示す図である。
 ロボット8970は、例えば自走式の掃除機としての機能と、上記各実施の形態における受信機としての機能とを有する。照明機器8971a,8971bは、それぞれ上記各実施の形態における送信機としての機能を有する。
 例えば、ロボット8970は、室内を移動しながら、掃除を行うとともに、その室内を照らす照明機器8971aを撮影する。この照明機器8971aは、輝度変化することによって照明機器8971aのIDを送信している。その結果、ロボット8970は、上記各実施の形態と同様に、照明機器8971aからそのIDを受信し、そのIDに基づいて自らの位置(自己位置)を推定する。つまり、ロボット8970は、9軸センサによる検出結果と、撮影によって得られる画像に映る照明機器8971aの相対位置と、IDによって特定される照明機器8971aの絶対位置とに基づいて、移動しながら自己位置を推定している。
 さらに、ロボット8970は、移動することによって照明機器8971aから離れると、照明機器8971aに対して消灯を命令する信号(消灯命令)を送信する。例えば、ロボット8970は、予め定められた距離だけ照明機器8971aから離れると、消灯命令を送信する。または、ロボット8970は、撮影によって得られる画像にその照明機器8971aが映らなくなったときに、あるいは、その画像に他の照明機器が映ると、消灯命令を照明機器8971aに送信する。照明機器8971aは、消灯命令をロボット8970から受信すると、その消灯命令に応じて消灯する。
 次に、ロボット8970は、移動して掃除を行っている途中で、推定された自己位置に基づいて、照明機器8971bに近づいたことを検知する。つまり、ロボット8970は、照明機器8971bの位置を示す情報を保持しており、自己位置とその照明機器8971bの位置との間の距離が予め定められた距離以下になったときに、照明機器8971bに近づいたことを検知する。そして、ロボット8970は、その照明機器8971bに対して点灯を命令する信号(点灯命令)を送信する。照明機器8971bは、点灯命令を受けると、その点灯命令に応じて点灯する。
 これにより、ロボット8970は、移動しながら自らの周りだけを明るくして、掃除を容易に行うことができる。
 図218は、実施の形態9における送信機の適用例を示す図である。
 例えば、図218の(a)に示すように、ディスプレイには、複数の発光領域A~Fが並べて表示され、その発光領域A~Fがそれぞれ輝度変化することによって信号を送信する。ここで、図218の(a)に示す例では、発光領域A~Fはそれぞれ矩形状であり、水平方向および垂直方向に沿って配列されている。このような場合、輝度変化しない非輝度変化領域が、ディスプレイの水平方向に沿って、発光領域A,B,Cと、発光領域D,E,Fとの間を通ってそのディスプレイを横断している。さらに、輝度変化しない他の非輝度変化領域が、ディスプレイの垂直方向に沿って、発光領域A,Dと、発光領域B,Eとの間を通ってそのディスプレイを横断している。さらに、輝度変化しない他の非輝度変化領域が、ディスプレイの垂直方向に沿って、発光領域B,Eと、発光領域C,Fとの間を通ってそのディスプレイを横断している。
 したがって、上記各実施の形態における受信機が、受信機の露光ラインを水平方向に向けた状態でそのディスプレイを撮影すると、その撮影によって得られる画像(撮影画像)の、水平方向に沿う非輝度変化領域に対応する部分には、輝線が表れない。つまり、その撮影画像では、輝線が表れている領域(輝線領域)が不連続になってしまう。また、受信機が、その露光ラインを垂直方向に向けた状態でそのディスプレイを撮影すると、撮影画像における、垂直方向に沿う2つの非輝度変化領域に対応する部分には、輝線が表れない。つまり、このときにも、その撮影画像では輝線領域が不連続になってしまう。このように輝線領域が不連続になってしまうと、輝度変化によって送信される信号を受信し難くなってしまう。
 そこで、本実施の形態におけるディスプレイ8972は、上記各実施の形態における送信機としての機能を有し、輝線領域が連続するように、複数の発光領域A~Fのそれぞれをずらして配置する。
 例えば、図218の(b)に示すように、ディスプレイ8972は、上段の発光領域A,B,Cと、下段の発光領域D,E,Fとを互いに水平方向にずらして配置する。または、図218の(c)に示すように、ディスプレイ8972は、それぞれ平行四辺形あるいは菱形の発光領域A~Fを表示する。これにより、ディスプレイ8972の垂直方向に沿って、発光領域A~Fの間を通ってディスプレイ8972を横断する非輝度変化領域をなくすることができる。その結果、受信機が、その露光ラインを垂直方向に向けた状態でディスプレイ8972を撮影しても、撮影画像において、輝線領域を連続させることができる。
 さらに、図218の(d)および(e)に示すように、ディスプレイ8972は、発光領域A~Fのそれぞれを垂直方向にずらして配置してもよい。これにより、ディスプレイ8972の水平方向に沿って、発光領域A~Fの間を通ってディスプレイ8972を横断する非輝度変化領域もなくすることができる。その結果、受信機が、その露光ラインを水平方向に向けた状態でディスプレイ8972を撮影しても、撮影画像において、輝線領域を連続させることができる。
 また、図218の(f)に示すように、ディスプレイ8972は、それぞれ六角形の発光領域A~Fを、それぞれの領域の辺が互いに平行になるように表示してもよい。このような場合にも、上述と同様に、ディスプレイ8972の水平方向および垂直方向に沿って、発光領域A~Fの間を通ってディスプレイ8972を横断する非輝度変化領域をなくすることができる。その結果、受信機が、その露光ラインを水平方向に向けた状態でディスプレイ8972を撮影しても、その露光ラインを垂直方向に向けた状態でディスプレイ8972を撮影しても、撮影画像において、輝線領域を連続させることができる。
 図219は、本実施の形態における情報通信方法のフローチャートである。
 本実施の形態における情報通信方法は、輝度変化によって信号を送信する情報通信方法であって、ステップSK11およびSK12を含む。
 つまり、この情報通信方法は、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定ステップSK11と、決定された輝度変化のパターンにしたがって複数の発光体が輝度変化することによって、前記送信対象の信号を送信する送信ステップSK12とを含む。そして、前記複数の発光体が配置された面において、前記複数の発光体の外にあって輝度変化しない非輝度変化領域が、前記面の垂直方向および水平方向のうちの少なくとも一方に沿って前記複数の発光体の間を通って前記面を横断することがないように、前記複数の発光体が前記面上に配置されている。
 図220は、本実施の形態における情報通信装置のブロック図である。
 本実施の形態における情報通信装置K10は、輝度変化によって信号を送信する情報通信装置であって、構成要素K11およびK12を備える。
 つまり、この情報通信装置K10は、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定部K11と、決定された輝度変化のパターンにしたがって複数の発光体が輝度変化することによって、前記送信対象の信号を送信する送信部K12とを備える。そして、前記複数の発光体が配置された面において、前記複数の発光体の外にあって輝度変化しない非輝度変化領域が、前記面の垂直方向および水平方向のうちの少なくとも一方に沿って前記複数の発光体の間を通って前記面を横断することがないように、前記複数の発光体が前記面上に配置されている。
 このような図219および図220によって示される情報通信方法および情報通信装置K10では、例えば図218に示すように、受信機に備えられたイメージセンサによる上述の面(ディスプレイ)の撮影によって取得される撮影画像において、輝線領域を連続させることができる。その結果、送信対象の信号を受信し易くすることができ、演算力が少ないような機器を含む多様な機器間で通信を行うことができる。
 なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。例えばプログラムは、図219のフローチャートによって示される情報通信方法をコンピュータに実行させる。
 図221Aは、実施の形態9における送信機および受信機の適用例を示す図である。
 受信機8973は、上記各実施の形態における受信機としての機能を有するスマートフォントして構成されている。この受信機8973は、図221Aの(a)に示すように、ディスプレイ8972を撮影し、撮影画像に表れる輝線を読み取ろうとする。ここで、ディスプレイ8972が暗い場合には、受信機8973は、その輝線を読み取れず、ディスプレイ8972からの信号を受信することができないことがある。このとき、受信機8973は、図221Aの(b)に示すように、予め定められたリズムでフラッシュを放つ。ディスプレイ8972は、そのフラッシュを受けると、図221Aの(c)に示すように、輝度を上げて明るい表示を行う。その結果、受信機8973は、撮影画像に表れる輝線を読み取ることができ、ディスプレイ8972からの信号を受信することができる。
 図221Bは、実施の形態9における受信機8973の動作を示すフローチャートである。
 受信機8973は、まず、受信開始のためのユーザによる操作またはジェスチャを受け付けたか否かを判定する(ステップS831)。ここで、受信機8973は、受け付けたと判定すると(ステップS831のY)、イメージセンサを用いた撮影による受信を開始する(ステップS832)。次に、受信機8973は、受信が完了することなく受信開始から所定の時間が経過したか否かを判定する(ステップS833)。ここで、受信機8973は、所定の時間が経過したと判定すると(ステップS833のY)、予め定められたリズムでフラッシュを点滅させ(ステップS834)、ステップS833からの処理を繰り返し実行する。なお、ステップS833の処理が繰り返される場合には、受信機8973は、受信が完了することなくフラッシュを点滅させてから所定の時間が経過したか否かを判定する。また、ステップS834では、受信機8973は、フラッシュを点滅させる代わりに、人間に聞こえ難い周波数の予め定められた音を発生したり、受信待ちであることを知らせるための信号をディスプレイ8972である送信機に送信してもよい。
 図222は、実施の形態9における送信機および受信機の適用例を示す図である。
 照明機器8974は、上記各実施の形態における送信機としての機能を有する。この照明機器8974は、輝度変化しながら例えば鉄道の駅にある路線掲示板8975を照らす。ユーザによってその路線掲示板8975に向けられた受信機8973は、その路線掲示板8975を撮影する。これにより、受信機8973は、その路線掲示板8975のIDを取得し、そのIDに関連付けられている情報であって、その路線掲示板8975に記載されている各路線についての詳細な情報を取得する。そして、受信機8973は、その詳細な情報を示す案内画像8973aを表示する。例えば、案内画像8973aは、路線掲示板8975に記載されている路線までの距離と、その路線に向かう方向と、その路線において次に電車が到着する時刻とを示す。
 ここで、受信機8973は、その案内画像8973aがユーザによってタッチされると、補足案内画像8973bを表示する。この補足案内画像8973bは、例えば、鉄道の時刻表、案内画像8973aによって示される路線とは異なる別の路線に関する情報、および、その駅に関する詳細な情報、のうちの何れかをユーザによる選択操作に応じて表示するための画像である。
 図223は、実施の形態9における送信機の適用例を示す図である。
 照明機器8976a~8976cはそれぞれ、上記各実施の形態における送信機としての機能を有し、店舗の看板8977を照らす。ここで、図223の(a)に示すように、照明機器8976a~8976cはそれぞれ、同期して輝度変化することによって同じIDを送信してもよい。また、図223の(b)に示すように、両端に配置された照明機器8976aと照明機器8976cだけが、同期して輝度変化することによって同じIDを送信し、それらの照明機器の間に配置された照明機器8976bは、輝度変化によってIDを送信することなく、看板8977を照らしてもよい。また、図223の(c)に示すように、その照明機器8976bがIDを送信しない状態において、両端に配置された照明機器8976aと照明機器8976cは、輝度変化することによって互いに異なるIDを送信してもよい。この場合には、照明機器8976aと照明機器8976cとの間にある照明機器8976bは、IDの送信のための輝度変化を行わないため、照明機器8976aと照明機器8976cのそれぞれからの信号が混信してしまうことを防ぐことができる。なお、照明機器8976aによって送信されるIDと、照明機器8976cによって送信されるIDとは、互いに異なっていているが、これらのIDに対して同じ情報が関連付けられていてもよい。
 図224Aは、実施の形態9における送信機および受信機の適用例を示す図である。
 照明機器8978は、上記各実施の形態における送信機としての機能を有し、図224Aの(1)に示すように、常時、輝度変化することによって信号を送信している。
 本実施の形態における受信機は、その照明機器8978を撮影する。このとき、図224Aに示すように、受信機の撮影範囲8979には、照明機器8978と、その照明機器8978以外の部分とが含まれる。つまり、この撮影範囲8979における上側の範囲aと下側の範囲cのそれぞれには、照明機器8978以外の部分が含まれ、撮影範囲8979における中央の範囲bには、照明機器8978が含まれる。
 受信機は、図224Aの(2)および(3)に示すように、照明機器8978の撮影によって、照明機器8978の輝度変化によって生じる複数の輝線を含む撮影画像(輝線画像)を取得する。この輝線画像において、上述の上側の範囲aおよび下側の範囲cに対応する部分には輝線が表れず、中央の範囲bに対応する部分にのみ輝線が表れる。
 ここで、受信機が例えば30fpsのフレームレートで照明機器8978を撮影する場合には、図224Aの(2)に示すように、輝線画像における輝線領域の長さbは短く、受信機が例えば15fpsのフレームレートで照明機器8978を撮影する場合には、図224の(3)に示すように、輝線画像における輝線領域の長さbは長い。なお、輝線領域(輝線のパターン)の長さは、その輝線領域に含まれる各輝線に垂直な方向の長さである。
 したがって、本実施の形態における受信機は、例えば30fpsのフレームレートで照明機器8978を撮影し、輝線画像における輝線領域の長さbが予め定められた長さ未満であるか否かを判定する。予め定められた長さは、例えば、照明機器8978の輝度変化によって送信される信号の1ブロック分に相当する長さである。そして、受信機は、予め定められた長さ未満であると判定すると、そのフレームレートを例えば15fpsに変更する。これにより、受信機は、1ブロック分の信号を照明機器8978からまとめて受信することができる。
 図224Bは、実施の形態9における受信機の動作を示すフローチャートである。
 受信機は、まず、撮影画像に輝線が含まれているか、つまり、露光ラインによる縞が撮影されているか否かを判定する(ステップS841)。ここで、受信機は、撮影されていると判定すると(ステップS841のY)、どの撮像モード(撮影モード)に設定されているかを判断する(ステップS842)。受信機は、撮像モードが中間撮像モード(中間モード)または通常撮像モード(通常撮影モード)であると判断すると、その撮像モードを可視光撮像モード(可視光通信モード)に変更する(ステップS843)。
 次に、受信機は、輝線領域(輝線のパターン)における輝線に垂直な方向の長さが所定の長さ以上であるか否かを判定する(ステップS844)。つまり、受信機は、露光ラインに垂直な方向に所定の大きさ以上の縞の領域があるか否かを判定する。ここで、所定の長さ以上ではないと判定すると(ステップS844のN)、受信機は、光学ズームが利用可能か否かを判定する(ステップS845)。ここで、光学ズームが利用可能であると判定すると(ステップS845のY)、受信機は、輝線領域が長くなるように、つまり、縞の領域が拡大するように、光学ズームを行う(ステップS846)。一方、光学ズームが利用できないと判定すると(ステップS845のN)、受信機は、Exズーム(Ex光学ズーム)が利用可能か否かを判定する(ステップS847)。ここで、Exズームが利用可能であると判定すると(ステップS847のY)、輝線領域が長くなるように、つまり、縞の領域が拡大するように、Exズームを行う(ステップS848)。一方、Exズームが利用できないと判定すると(ステップS847のN)、受信機は、撮像フレームレートを低くする(ステップS849)。そして、受信機は、設定されたフレームレートで照明機器8978を撮影することによって、信号を受信する(ステップS850)。
 なお、図224Bに示す例では、光学ズームおよびExズームが利用できない場合にフレームレートを落としていが、それらのズームが利用できる場合に、フレームレートを落としてもよい。また、Exズームとは、イメージセンサの使用領域を限定し、撮影画角をせばめ、見かけ上の焦点距離を望遠にする機能である。
 図225は、実施の形態9における受信機の動作を示す図である。
 受信機は、撮影画像8980aに送信機である照明機器8978が小さく映っている場合には、光学ズームまたはExズームを用いることによって、照明機器8978が大きく映し出された撮影画像8980bを取得することができる。つまり、受信機は、光学ズームまたはExズームを用いることによって、輝線に垂直な方向に長い輝線領域を有する輝線画像(撮影画像)を取得することができる。
 図226は、実施の形態9における送信機の適用例を示す図である。
 送信機8981は、上記各実施の形態における送信機としての機能を有し、例えば、操作パネル8982と通信する。操作パネル8982は、送信スイッチ8982aと電源スイッチ8982bとを備えている。
 送信スイッチ8982aがオンにされると、操作パネル8982は、可視光通信を行うように送信機8981に指示する。送信機8981は、その指示を受け付けると、輝度変化することによって信号を送信する。また、送信スイッチ8982aがオフにされると、操作パネル8982は、可視光通信を停止するように送信機8981に指示する。送信機8981は、その指示を受け付けると、輝度変化を行わず、信号の送信を停止する。
 電源スイッチ8982bがオンにされると、操作パネル8982は、送信機8981の電源をオンにするように送信機8981に指示する。送信機8981は、その指示を受け付けると、自らの電源をオンにする。例えば、送信機8981が照明機器として構成されている場合には、送信機8981は電源オンによって周辺を照らし、送信機8981がテレビとして構成されている場合には、送信機8981は電源オンによって映像などを表示する。また、電源スイッチ8982bがオフにされると、操作パネル8982は、送信機8981の電源をオフするように送信機8981に指示する。送信機8981は、その指示を受け付けると、自らの電源をオフにして待機状態になる。
 図227は、実施の形態9における受信機の適用例を示す図である。
 スマートフォンとして構成される受信機8973は、例えば上記各実施の形態における送信機としての機能を有し、サーバ8983から認証IDおよび有効期限を取得する。受信機8973は、現時点がその有効期限内であれば、例えばディスプレイを輝度変化させることによって、その認証IDを周辺機器8984に送信する。周辺機器8984は、例えばカメラ、バーコードリーダまたはパーソナルコンピュータである。
 周辺機器8984は、受信機8973からその認証IDを受信すると、その認証IDをサーバ8983に送信して照合を依頼する。サーバ8983は、周辺機器8984から送信された認証IDと、自らが保持し、受信機8973へ送信された認証IDとを照合し、一致すれば、一致したことを周辺機器8984に通知する。周辺機器8984は、一致したという通知をサーバ8983から受けると、自らに設定されているロックを解除したり、電子決済の支払い処理を行ったり、ログインなどの処理を行う。
 図228Aは、実施の形態9における送信機の動作の一例を示すフローチャートである。
 本実施の形態における送信機は、上記各実施の形態における送信機としての機能を有し、例えば照明機器またはディスプレイとして構成されている。このような送信機は、例えば、調光レベル(明るさのレベル)が所定のレベルよりも下回っているか否かを判定する(ステップS861a)。ここで、送信機は、所定のレベルよりも下回っていると判定すると(ステップS861aのY)、輝度変化によって信号を送信することを停止する(ステップS861b)。
 図228Bは、実施の形態9における送信機の動作の一例を示すフローチャートである。
 本実施の形態における送信機は、調光レベル(明るさのレベル)が所定のレベルを上回っているか否かを判定する(ステップS862a)。ここで、送信機は、所定のレベルを上回っていると判定すると(ステップS862aのY)、輝度変化によって信号を送信することを開始する(ステップS862b)。
 図229は、本実施の形態における送信機の動作の一例を示すフローチャートである。
 本実施の形態における送信機は、所定のモードが選択されているか否かを判定する(ステップS863a)。例えば、所定のモードは、エコモードまたは省電力モードなどである。ここで、送信機は、所定のモードが選択されていると判定すると(ステップS863aのY)、輝度変化によって信号を送信することを停止する(ステップS863b)。一方、送信機は、所定のモードが選択されていないと判定すると(ステップS863aのN)、輝度変化によって信号を送信することを開始する(ステップS863c)。
 図230は、実施の形態9における撮像機器の動作の一例を示すフローチャートである。
 本実施の形態における撮像機器は、例えばビデオカメラであって、録画中であるか否かを判定する(ステップS864a)。ここで、撮像機器は、録画中であると判定すると(ステップS864aのY)、輝度変化によって信号を送信する送信機に対して、可視光送信停止命令を送信する(ステップS864b)。この可視光送信停止命令を受けた送信機は、輝度変化による信号の送信(可視光送信)を停止する。一方、撮像機器は、録画中でないと判定すると(ステップS864aのN)、さらに、録画を停止したか否か、つまり、録画の直後であるか否かを判定する(ステップS864c)。ここで、撮像機器は、録画を停止したと判定すると(ステップS864cのY)、上述の送信機に対して、可視光送信開始命令を送信する(ステップS864d)。この可視光送信開始命令を受けた送信機は、輝度変化による信号の送信(可視光送信)を開始する。
 図231は、実施の形態9における撮像機器の動作の一例を示すフローチャートである。
 本実施の形態における撮像機器は、例えばデジタルスチルカメラであって、撮像ボタン(シャッターボタン)が半押しされているか否か、または、ピント合わせが行われているか否かを判定する(ステップS865a)。次に、撮像機器は、その撮像機器に備えられているイメージセンサの露光ラインに沿う方向に濃淡が現れているか否かを判定する(ステップS865b)。ここで、濃淡が表れていると判定されると(ステップS865bのY)、輝度変化によって信号を送信している送信機が撮像機器の近くにある可能性がある。そこで、撮像機器は、その送信機に対して、可視光送信停止命令を送信する(ステップS865c)。次に、撮像機器は、撮像を行うことによって撮影画像を取得する(ステップS865d)。そして、撮像機器は、上述の送信機に対して、可視光送信開始命令を送信する(ステップS865e)。これにより、撮像機器は、送信機による輝度変化の影響を受けることなく撮影画像を取得することができる。また、輝度変化による信号の送信が停止されている期間は、撮像機器によって撮像が行われている極わずかな期間に限られるため、可視光通信ができない期間を抑えることができる。
 図232は、実施の形態9における送信機によって送信される信号の一例を示す図である。
 本実施の形態における送信機は、上記各実施の形態における送信機としての機能を有し、スロットごとに高い輝度の光(Hi)または低い輝度の光(Lo)を出力ことによって、信号を送信する。具体的には、スロットは104.2μsの時間単位である。また、送信機は、Hiを出力することによって、1を示す信号を送信し、Loを出力することによって、0を示す信号を送信する。
 図233は、実施の形態9における送信機によって送信される信号の一例を示す図である。
 上述の送信機は、スロットごとにHiまたはLoを出力することによって、信号単位であるPHY(physical layer)フレームを順次送信する。PHYフレームは、8スロットからなるプリアンブルと、2スロットからなるFCS(Frame Check Sequence)と、20スロットからなるボディとを含む。なお、PHYフレームに含まれる各部分は、プリアンブル、FCS、ボディの順に送信される。
 プリアンブルは、PHYフレームのヘッダに相当し、例えば「01010111」を含む。なお、プリアンブルは、7スロットから構成されていてもよい。この場合、プリアンブルは「0101011」を含む。FCSは、ボディに含まれる1の数が偶数の場合には「01」を含み、ボディに含まれる1の数が奇数の場合には「11」を含む。ボディは、4スロットからなるシンボルを5つ含む。シンボルは、4PPM変調の場合、「0111」、「1011」、「1101」、または「1110」を含む。
 図234は、実施の形態9における送信機によって送信される信号の一例を示す図である。
 上述のシンボルは受信機によって2ビットの値に変換される。例えば、シンボル「0111」、「1011」、「1101」および「1110」は、それぞれ「00」、「01」、「10」および「11」に変換される。したがって、PHYフレームのボディ(20スロット)は、10ビットの信号に変換される。この10ビットのボディは、PHYフレームの種別を示す3ビットからなるTYPEと、PHYフレームまたはボディのアドレスを示す2ビットからなるADDRと、データの実体を示す5ビットからなるDATAとを含む。例えば、PHYフレームの種別がTYPE1の場合には、TYPEは「000」を示す。ADDRは、「00」、「01」、「10」または「11」を示す。
 受信機では、4つのPHYフレームのそれぞれのボディに含まれるDATAが結合される。この結合に、上述ADDRが利用される。つまり、受信機は、ADDR「00」を有するPHYフレームのボディに含まれるDATAと、ADDR「01」を有するPHYフレームのボディに含まれるDATAと、ADDR「10」を有するPHYフレームのボディに含まれるDATAと、ADDR「11」を有するPHYフレームのボディに含まれるDATAとを結合することによって、20ビットからなるデータを生成する。これにより、4つのPHYフレームがデコードされる。この生成されたデータは、16ビットからなる有効DATAと、4ビットからなるCRC(Cyclic Redundancy Check)とを含む。
 図235は、実施の形態9における送信機によって送信される信号の一例を示す図である。
 上述のPHYフレームの種別には、TYPE1、TYPE2、TYPE3およびTYPE4がある。これらの種別ごとに、ボディの長さ、ADDRの長さ、DATAの長さ、連結されるDATAの数(連結数)、有効DATAの長さ、およびCRCの種別が異なる。
 例えば、TYPE1の場合には、TYPE(TYPEBIT)は「000」を示し、ボディの長さは20スロットであり、ADDRの長さは2ビットであり、DATAの長さは5ビットであり、連結数は4個であり、有効DATAの長さは16ビットであり、CRCの種別はCRC-4である。一方、TYPE2の場合には、TYPE(TYPEBIT)は「001」を示し、ボディの長さは24スロットであり、ADDRの長さは4ビットであり、DATAの長さは5ビットであり、連結数は8個であり、有効DATAの長さは32ビットであり、CRCの種別はCRC-8である。
 このような図232~図235に示す信号によって、適切に可視光通信を行うことができる。
 図236は、実施の形態9における送信機と受信機とを含むシステム構成の一例を示す図である。
 本実施の形態におけるシステムは、上記各実施の形態における送信機と同様の機能を有する送信機8991と、例えばスマートフォントして構成される受信機8973と、コンテンツ共有サーバ8992と、ID管理サーバ8993とを備える。
 例えば、コンテンツクリエイターは、商品を紹介するための静止画または動画を示すオーディオビデオデータなどのコンテンツと、その商品についてのメーカ、産地、原料または仕様などを示す商品情報とをコンテンツ共有サーバ8992にアップロードする。そして、コンテンツ共有サーバ8992は、そのコンテンツを識別するためのコンテンツIDに関連付けて商品情報をID管理サーバ8993に登録する。
 次に、送信機8991は、ユーザによる操作に応じて、コンテンツ共有サーバ8992からコンテンツとコンテンツIDとをダウンロードし、コンテンツを表示するとともに、輝度変化することによって、つまり可視光通信によって、コンテンツIDを送信する。ユーザは、そのコンテンツを視聴し、そのコンテンツで紹介される商品に興味がある場合には、受信機8973を送信機8991に向けて撮影を行う。受信機8973は、送信機8991に表示されているコンテンツを撮影することによって、コンテンツIDを受信する。
 次に、受信機8973は、ID管理サーバ8993にアクセスし、そのコンテンツIDについての問い合わせをID管理サーバ8993に行う。これにより、受信機8973は、ID管理サーバ8993から、そのコンテンツIDに関連付けられている商品情報を取得し、その商品情報を表示する。ここで、受信機8973は、その商品情報に対応する商品の購入を促す操作を受け付けると、その商品のメーカにアクセスして商品を購入するための処理を実行する。
 次に、ID管理サーバは、コンテンツIDに対して行われた問い合わせの数、またはアクセスの数などを示す問い合わせ情報を、そのコンテンツIDに関連付けられている商品情報によって示されるメーカに通知する。メーカは、問い合わせ情報を受けると、その問い合わせ情報によって示される問い合わせの数などに応じたアフィリエイト報奨金を、コンテンツIDによって特定されるコンテンツクリエイターに、ID管理サーバ8993およびコンテンツ共有サーバ8992を介して電子決済によって支払う。
 図237は、実施の形態9における送信機と受信機とを含むシステム構成の一例を示す図である。
 図236に示す例の場合には、コンテンツ共有サーバ8992は、コンテンツと商品情報のアップロードが行われると、コンテンツIDに関連付けて商品情報をID管理サーバ8993に登録したが、このような登録を行わなくてもよい。例えば、図237に示すように、コンテンツ共有サーバ8992は、アップロードされた商品情報の商品を識別するための商品IDをID管理サーバから検索し、その商品IDをアップロードされたコンテンツに埋め込む。
 次に、送信機8991は、ユーザによる操作に応じて、コンテンツ共有サーバ8992から、商品IDが埋め込まれたコンテンツとコンテンツIDをダウンロードし、コンテンツを表示するとともに、輝度変化することによって、つまり可視光通信によって、コンテンツIDおよび商品IDを送信する。ユーザは、そのコンテンツを視聴し、そのコンテンツで紹介される商品に興味がある場合には、受信機8973を送信機8991に向けて撮影を行う。受信機8973は、送信機8991に表示されているコンテンツを撮影することによって、コンテンツIDおよび商品IDを受信する。
 次に、受信機8973は、ID管理サーバ8993にアクセスし、そのコンテンツIDおよび商品IDについての問い合わせをID管理サーバ8993に行う。これにより、受信機8973は、ID管理サーバ8993から、その商品IDに関連付けられている商品情報を取得し、その商品情報を表示する。ここで、受信機8973は、その商品情報に対応する商品の購入を促す操作を受け付けると、その商品のメーカにアクセスして商品を購入するための処理を実行する。
 次に、ID管理サーバは、コンテンツIDおよび商品IDに対して行われた問い合わせの数、またはアクセスの数などを示す問い合わせ情報を、その商品IDに関連付けられている商品情報によって示されるメーカに通知する。メーカは、問い合わせ情報を受けると、その問い合わせ情報によって示される問い合わせの数などに応じたアフィリエイト報奨金を、コンテンツIDによって特定されるコンテンツクリエイターに、ID管理サーバ8993およびコンテンツ共有サーバ8992を介して電子決済によって支払う。
 図238は、実施の形態9における送信機と受信機とを含むシステム構成の一例を示す図である。
 本実施の形態におけるシステムは、図237に示すコンテンツ共有サーバ8992の代わりにコンテンツ共有サーバ8992aを備え、さらに、SNSサーバ8994を備える。このSNSサーバ8994は、ソーシャル・ネットワーキング・サービスを行うサーバであって、図237に示すコンテンツ共有サーバ8992によって行われる処理の一部を行う。
 具体的には、SNSサーバ8994は、コンテンツクリエイターからアップロードされたコンテンツと商品情報とを取得し、その商品情報に対応する商品IDの検索を行い、そのコンテンツに商品IDを埋め込む。そして、SNSサーバ8994は、その商品IDが埋め込まれたコンテンツをコンテンツ共有サーバ8992aに転送する。コンテンツ共有サーバ8992aは、SNSサーバ8994から転送されたコンテンツを受け取り、その商品IDが埋め込まれたコンテンツとコンテンツIDとを送信機8991に送信する。
 つまり、図238に示す例では、SNSサーバ8994とコンテンツ共有サーバ8992aとを含むユニットが、図237に示すコンテンツ共有サーバ8992としての役割を果たす。
 このような図236~図238に示すシステムでは、可視光通信を用いて問い合わせが行われた広告(コンテンツ)に対して、適切なアフィリエイト報奨金を適切に支払うことができる。
 以上、一つまたは複数の態様に係る情報通信方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
 以下、本実施の形態について補足する。
 (混合変調方式)
 図239と図240は、実施の形態9における送信機の動作の一例を示す図である。
 図239のように、送信機は、送信信号を複数の変調方式で変調し、変調された信号を交互に、または、同時に送信する。
 同じ信号を複数の変調方式で変調して送信することで、いずれかの変調方式にしか対応していない受信機でも受信することができる。また、例えば、伝送速度が速い変調方式やノイズに強い変調方式や通信距離が長い変調方式を併用することで、受信側の環境に合わせて最適な方法で受信を行うことが出来る。
 受信機が複数の変調方式の受信に対応している場合は、受信機は複数の方法で変調された信号を受信する。送信機は、同一の信号を変調する場合は同一の信号IDを付与して変調信号を送信する。これにより、受信機は、信号IDを確認することで、同じ信号が異なる変調方式で変調されていることを認識することができ、複数の種類の変調信号から同じ信号IDを持つ信号を合成することで、速く正確に信号を受信することができる。
 例えば、送信機は、信号分割部と変調部1~3とを備える。信号分割部は、送信信号を部分信号1と部分信号2と分割するとともに、その部分信号1に信号IDを付随させ、部分信号2に他の信号IDを付随させる。変調部1は、信号IDが付随された部分信号1に対して、周波数変調を行うことにより正弦波を示す信号を生成する。変調部2は、信号IDが付随された部分信号1に対して、変調部1と異なる周波数変調を行うことにより矩形波を示す信号を生成する。一方、変調部3は、他の信号IDが付随された部分信号2に対して、パルス位置変調を行うことにより矩形波を示す信号を生成する。
 図240のように、送信機は、複数の変調方式で変調された信号を合わせて送信する。図240の例では、受信機は、露光時間を長く設定することで、低い周波数を用いた周波数変調方式で変調された信号のみを受信できる。また、受信機は、露光時間を短く設定することで、高い周波数帯を用いたパルス位置変調方式を受信することができる。このとき、受信機は、輝線に垂直な方向に輝度の平均をとることで、受光した光の強さを時間的に平均化することになり、露光時間が長い場合の信号を得ることが出来る。
 (送信信号の検証とデジタル変調)
 図241と図242は、実施の形態9における送信機の構成および動作の一例を示す図である。
 図241に示すように、送信機は、信号記憶部、信号検証部、信号変調部、発光部、異常報知部、原鍵記憶部、および鍵生成部を備える。信号記憶部は、送信信号と、後述する検証鍵を用いて送信信号を変換した信号変換値を記憶する。この変換には一方向関数を用いる。原鍵記憶部は、例えば抵抗値や時定数等の回路定数等として鍵の元となる値である原鍵を記憶する。鍵生成部は、原鍵から検証鍵を生成する。
 信号検証部は、検証鍵を用いて信号記憶部に記憶された送信信号を変換することで、信号変換値を得る。ここで得られた信号変換値と、信号記憶部に記憶された信号変換値が等しいかどうかによって、信号に改ざんがないかどうかを検証する。これにより、単純に信号記憶部の信号を他の送信機にコピーしただけでは、他の送信機では検証鍵が異なるため、信号を送信することができず、送信機の偽造防止を行うことが出来る。
 信号に改ざんがあった場合には、異常報知部は、その旨を表示する。その方法としては、例えば、人間に視認できる周期で発光部を点滅させる、音を鳴らす、といった方法がある。異常報知を電源投入直後の所定の時間だけに限ることで、信号に異常があった場合でも、送信機を送信以外の用途に使用することができる。
 信号に改ざんがなかった場合には、信号変調部は、信号を発光パターンへ変調する。この変調方式には、様々な変調方式を使うことが出来る。ここで用いることができる変調方式には、例えば、振幅偏移変調(ASK)、位相偏移変調(PSK)、周波数偏移変調(FSK)、直角位相振幅変調(QAM)、デルタ変調(DM)、最小偏位変調(MSK)、相補型符号変調(CCK)、直交周波数分割多重方式(OFDM)、振幅変調(AM)、周波数変調(FM)、位相変調(PM)、パルス幅変調(PWM)、パルス振幅変調(PAM)、パルス密度変調(PDM)、パルス位置変調(PPM)、パルス符号変調(PCM)、周波数ホッピングスペクトラム拡散(FHSS)、直接シーケンススペクトラム拡散(DSSS)等があり、送信信号の性質(アナログかデジタルか。連続データ送信かどうか等)や要求される性質(伝送速度や耐ノイズ性や伝送距離)に合わせて選択する。さらに、これらを組み合わせた変調方式を用いることができる。
 なお、実施の形態1から9は、ここで述べた変調方式で変調した信号を用いた場合でも同様の効果が得られる。
 図242に示すように、送信機は、信号検証部の代わりに信号復調部を備えてもよい。この場合、信号記憶部は、鍵生成部で生成する復号鍵とペアとなる暗号鍵を用いて送信信号を暗号化した、暗号化送信信号を保持する。信号復調部では、復号鍵を用いて暗号化送信信号を復号する。この構成により、送信機の偽造、すなわち、任意の信号を送信する送信機の作成を困難にすることができる。
 (実施の形態10)
 本実施の形態では、上記各実施の形態におけるスマートフォンなどの受信機と、LEDや有機ELの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
 (複数の受光部による複数の方向からの信号の受信)
 図243は、光センサを搭載した時計を示す図である。
 この時計は、可視光通信の受信機として構成され、複数の光センサと、複数の光センサのそれぞれに対応する集光レンズとを備える。具体的には、図243の横断面図に示されているように、光センサの上面に集光レンズが配置されている。図243では、集光レンズは、所定の傾きを有して配置されている。集光レンズの形状は、これに限らず、集光可能な形状であれば、他の形状であってもよい。このような構成により、光センサは、レンズにより外界の光源からの光を集光して受光することが可能となる。従って、時計に搭載されているような小さな光センサであっても、可視光通信を行うことが可能となる。図243では、12個の領域に分割して、12個の光センサを搭載し、各光センサの上面に集光レンズを配置する構成となっている。このように、時計内を複数の領域に分け、複数の光センサを配置することにより、複数の光源からの情報を取得することが可能となる。例えば、図243では、光源1からの光を、第1光センサで受光し、光源2からの光を、第2光センサで受光することができる。また、光センサとして、太陽光発電池を用いることも可能である。光センサとして太陽光発電池を用いることにより、単一の光センサで太陽光発電を行うと同時に、可視光通信を行うことができるため、コストを削減し、かつ、コンパクトな形状とすることが可能となる。更に、複数の光センサを配置する場合には、複数の光源からの情報を同時に取得することができるため、位置推定精度を向上させることが可能となる。本実施の形態では、時計において光センサを設ける構成としたが、これに限らず、携帯電話や、携帯端末など移動可能な端末であれば、他の装置に光センサを設けてもよい。
 図244は、実施の形態10における受信機の一例を示す図である。
 例えば腕時計として構成される受信機9020aは、複数の受光部を備える。例えば、受信機9020aは、図244に示すように、腕時計の長針および短針を支持する回転軸の上端部に配置された受光部9020bと、腕時計の周縁部における、12時を示す文字付近に配置された受光部9020cとを備える。受光部9020bは、上述の回転軸の方向に沿って受光部9020bに向かう光を受け、受光部9020cは、その回転軸と12時を示す文字とを結ぶ方向に沿って受光部9020cに向かう光を受ける。これにより、ユーザが時刻を確認するときのように胸の前に受信機9020aを構えた時に、受光部9020bは、上方向からの光を受光できる。その結果、受信機9020aは天井照明からの信号を受信できる。さらに、ユーザが時刻を確認するときのように胸の前に受信機9020aを構えた時に、受光部9020cは、正面方向からの光を受光できる。その結果、受信機9020aは、正面にあるサイネージ等からの信号を受信することが出来る。
 これらの受光部9020bおよび9020cは指向性を持たせることで、近い位置に複数の送信機がある場合でも混信することなく信号を受信することができる。
 図245は、実施の形態10における受信機の一例を示す図である。
 例えば、図245の(a)に示すように、腕時計として構成される受信機9021は、17個の受光素子(受光部)を備える。これらの受光素子は文字盤上に配置されている。また、これらの受光素子のうちの12個の受光素子は、文字盤上の1~12時のそれぞれに対応する位置に配置され、残りの5個は、文字盤上の中央部分に配置されている。また、これらの17個の受光素子はそれぞれ互いに異なる指向性を有し、それぞれに対応付けられた方向の光(信号)を受ける。このように、指向性を持った受光素子を複数配置することで、受信機9021は、受信した信号の方向を推定することができる。また、図245の(b)に示すように、受光素子の手前に、光を受光素子に導くプリズムを配置してもよい。つまり、受信機9021は、文字盤上の周縁部に等間隔に配置された8つの受光素子と、それらの受光素子のうちの少なくとも1つに光を導く複数のプリズムとを備える。このようなプリズムを備えることにより、少ない数の受光素子でも、送信機の細かい方向を推定することができる。例えば、8個の受光素子のうち受光素子9021dのみが受光した場合は、受信機9021は、文字盤の中心とプリズム9021aとを結ぶ方向に送信機があると推定でき、受光素子9021dと受光素子9021eとが同一の信号を受信した場合は、文字盤の中心とプリズム9021bとを結ぶ方向に送信機があると推定できる。なお、腕時計の風防ガラスに指向性の機能やプリズムの機能を仕込んでもよい。
 図246Aは、本発明の一態様に係る情報通信方法のフローチャートである。
 本発明の一態様に係る情報通信方法は、携帯端末が情報を取得する情報通信方法であって、ステップSE11およびSE12を含む。
 つまり、この情報通信方法は、携帯端末に備えられた、それぞれ指向性を有する複数の太陽光発電池のうちの少なくとも1つの太陽光発電池が、当該太陽光発電池の指向性に応じた方向に沿って放たれる可視光を受光する受光ステップ(SE11)と、受光された可視光によって特定される信号を復調することにより情報を取得する情報取得ステップ(SE12)とを含む。
 図246Bは、本発明の一態様に係る携帯端末のブロック図である。
 本発明の一態様に係る携帯端末E10は、情報を取得する携帯端末であって、それぞれ指向性を有する複数の太陽光発電池E11と情報取得部E12とを備える。情報取得部E12は、複数の太陽光発電池E11のうちの少なくとも1つの太陽光発電池E11が、その太陽光発電池E11の指向性に応じた方向に沿って放たれる可視光を受光した場合に、受光された可視光によって特定される信号を復調することにより情報を取得する。
 このような図246Aおよび図246Bによって示される情報通信方法および携帯端末E10では、太陽光発電池E11を可視光通信のための光センサとして用いながら、発電にも利用することができるため、情報を取得する携帯端末E10のコストを抑えることができるとともに、携帯端末E10のコンパクト化を図ることができる。また、複数の太陽光発電池E11はそれぞれ指向性を有するため、可視光を受光した太陽光発電池E11の指向性に基づいて、その可視光を放つ送信機がある方向を推定することができる。さらに、複数の太陽光発電池E11はそれぞれ指向性を有するため、複数の送信機から放たれる可視光をそれぞれ区別して受光することができ、複数の送信機のそれぞれから情報を適切に取得することができる。
 さらに、前記受光ステップ(SE11)では、図245の(b)に示すように、太陽光発電池E11(9021d,9021e)は、携帯端末E10(9021)に備えられたプリズム(9021a、9021bまたは9021c)を透過した可視光を受光してもよい。これにより、携帯端末E10に備えられる太陽光発電池E11の数を抑えながら、可視光を放つ送信機がある方向を高い精度で推定することができる。さらに、図245に示すように、携帯端末E10は腕時計であって、複数の太陽光発電池E11(受光素子)はそれぞれ腕時計の文字盤の周縁に沿って配置され、複数の太陽光発電池E11のそれぞれによって受光される可視光の向きは互いに異なっていてもよい。これにより、腕時計によって適切に情報を取得することができる。
 (腕時計型受信機とスマートフォンの連携)
 図247は、実施の形態10における受信システムの一例を示す図である。
 例えば腕時計として構成される受信機9022bは、Bluetooth(登録商標)等の無線通信を介してスマートフォン9022aやメガネ型ディスプレイ9022cと接続される。受信機9022bは、信号を受信した場合や、信号が存在することが確認できた場合には、その信号を受信したことなどを示す情報をディスプレイ9022cへ表示する。受信機9022bは、受信した信号(受信信号)をスマートフォン9022aに伝える。スマートフォン9022aは、サーバ9022dから受信信号に紐付けられたデータを取得し、取得したデータをメガネ型ディスプレイ9022cへ表示する。
 (腕時計型ディスプレイによる道案内)
 図248は、実施の形態10における受信システムの一例を示す図である。
 例えば腕時計として構成される受信機9023bは、Bluetooth(登録商標)等の無線通信を介してスマートフォン9022aと接続される。受信機9023bは、文字盤が液晶等のディスプレイで構成されており、時刻以外の情報を表示することができる。受信機9023bが受信した信号からスマートフォン9022aは現在地を認識し、目的地までの経路や距離を受信機9023bの表示面に表示する。
 (周波数偏移変調と周波数多重変調)
 図249Aと図249Bと図249Cは、実施の形態10における変調方式の一例を示す図である。
 図249Aの(a)は、特定の信号を特定の変調周波数として表現する。受信側は、光パターン(光源の輝度変化のパターン)の周波数解析を行って支配的な変調周波数を求め、信号を復元する。
 図249Cの(a)のように、変調周波数を時間的に変化させることで、多くの値を表現することができる。一般的なイメージセンサの撮像フレームレートは30fpsであるため、一つの変調周波数を30分の1秒以上続けることで、確実に受信させることができる。また、図249Cの(b)のように、周波数を変化させる際に、間に信号を重畳しない時間を設けることで、受信機が変調周波数の変化を認識しやすくすることができる。信号を重畳しない時間の光パターンは、明るさを一定にしたり、特定の変調周波数とすることで、信号重畳部分と区別することができる。ここで用いる特定の変調周波数として、30Hzの整数倍の周波数として定めると、差分画像にはあらわれにくく、受信処理の妨げになりにくい。信号を重畳しない時間の長さは、信号に使う光パターンの中でもっとも長い周期の信号と同じ長さ以上にすることで、受信が容易になる。例として、最も低い変調周波数の光パターンが100Hzであれば、信号を重畳しない時間の長さを100分の1秒以上とする。
 図249Aの(b)は、特定のビットと特定の変調周波数を対応付け、対応するビットが1である変調周波数を重ねあわせた波形として光パターンを表現した例(1)である。具体的には、第1ビットが1の情報を送信する場合には、送信機は、周波数f1=1000Hzの光パターンで輝度変化する。また、第2ビットが1の情報を送信する場合には、送信機は、周波数f2=1100Hzの光パターンで輝度変化する。また、第3ビットが1の情報を送信する場合には、送信機は、周波数f3=1200Hzの光パターンで輝度変化する。したがって、例えば「110」のビット列からなる情報を送信する場合には、送信機は、時間T2において周波数f2の光パターンで輝度変化し、時間T2よりも長い時間T1において周波数f1の光パターンで輝度変化する。また、例えば「111」のビット列からなる情報を送信する場合には、送信機は、時間T2において周波数f2の光パターンで輝度変化し、時間T2よりも短い時間T3において周波数f3の光パターンで輝度変化し、さらに、時間T1において周波数f1の光パターンで輝度変化する。この場合、(a)の変調方式と比較して、高いCN比(Carrier to Noise Ratio)が必要となるが、より多くの値を表現することができる。例(1)では、オンとなるビットの数が多い場合、すなわち、多くの周波数が含まれた波形となった場合には、一つの周波数あたりのエネルギーが少なくなり、より高いCN比が必要となる問題がある。
 そこで、光パターンを表現した例(2)では、波形に含まれる周波数の数を所定の数以下に限定する、即ち、周波数の数を所定の数以下で変動可能とする。または、光パターンを表現した例(3)では、波形に含まれる周波数の数を所定の数に限定する。これにより、上述の問題を回避することが出来る。例(3)では、含まれる周波数の数が決まっているため、信号とノイズの分離が例(1)および例(2)よりも容易に行うことができ、ノイズに最も耐性がある方法となっている。
 n種類の周波数を用いて信号を表現する場合、例(1)では、2-1通りの信号を表現することができる。さらに、周波数の種類をm種類までに限定すると例(2)では、(Σ(k=1~m))-1通り、例(3)では、通りの信号を表現することができる。
 複数の変調周波数を重ねあわせる方法としては、(i)各々の波形を単純に足し合わせる方法、(ii)各々の波形に重みを付けた加重平均を行う方法、(iii)各々の周波数の波形を順番に繰り返す方法がある。受信側で離散コサイン級数展開等の周波数解析を行う場合、高周波数ほどピークが小さくなる傾向があるため、(ii)では、各周波数のピークが同程度の大きさになるように調節して加重平均を行うと良い。即ち、高周波数程、重みを付けるとよい。(iii)では、各周波数の波形を1回ずつ(1サイクルずつ)出力するのを繰り返すのではなく、出力回数(サイクル数)の比率を調整することで、受信時の周波数ピークの大きさを調整することができる。高周波数ほど出力するサイクル数を増やしてもよいし、高周波数ほど出力している時間を長くするとしてもよい。この調整により、周波数ピークの大きさを揃えて受信処理を行い易くすることもでき、周波数ピークの大きさの違いに意味を持たせることで、付加的な情報を表現することもできる。例えば、周波数ピークの大きさの順序に意味をもたせた場合、含まれる周波数がn種類であれば、log(n!)ビットの情報量を付加することができる。1周期毎に周波数を変更してもよいし、1周期、または、半周期毎に周波数を変更してもよいし、半周期の定数倍ごとに周波数を変更してもよいし、一定時間毎に周波数を変更してもよい。周波数を変更するタイミングは、輝度が一番高くなったときでも良いし、一番低くなったときでもよいし、任意の値になったときでもよい。周波数を変更する前後の輝度を等しくする(=連続的に輝度を変更する)ことで、ちらつきを抑えることができる。そのためには、送信する各々の周波数の半波長の整数倍の長さの時間その周波数を出力すればよい。このとき、各々の周波数を出力している時間は異なる。また、ある周波数の信号を半周期の整数倍の長さの時間出力することで、デジタル出力の場合でも、受信側でその周波数が信号に含まれていることを周波数解析によって容易に認識することができる。同じ周波数を連続で送出するよりも、非連続で出力するほうが、ちらつきが人間の目やカメラに捉えられにくくてよい。例えば、周期Tを2回、Tを2回、Tを1回の割合で出力する場合は、Tよりも、Tのほうが良い。所定の順番での出力を繰り返すのではなく、順番を変更しながら出力するとしてもよい。この順番に意味を持たせることで、付加的な情報を表現することもできる。周波数ピークにはこの順番は現れないが、周波数の順序の解析を行うことで、この情報を取得することができる。周波数ピークの解析よりも周波数の順序の解析を行う場合のほうが、露光時間を短く設定する必要があるため、付加情報が必要な場合のみ露光時間を短く設定するとしてもよいし、露光時間を短く設定できる受信機のみがこの付加情報を取得できるとしてもよい。
 図249Bは、図249Aの信号を2値の光パターンで表現した場合を示す。周波数を重ねあわせる方式として、(i)(ii)の方法は、アナログ波形が複雑な形になり、そのアナログ波形を2値化しても、複雑な形状を表現できない。そのため、受信機が正確な周波数ピークを得ることが出来ず、受信エラーが増加する。(iii)の方法は、アナログ波形が複雑な形状にならないため、2値化による影響が少なく、比較的正確な周波数ピークを得ることができる。そのため、2値や少数の値でデジタル化された光パターンの用いる場合は(iii)の方法が優れる。この変調方法は、光パターンの周波数で信号を表現しているという点に着目すると周波数変調の一種であると解釈できるし、パルスの時間幅の長短を調整することで信号を表現しているという点に着目するとPWM変調の一種であるとも解釈できる。
 輝度が変化する時間の単位を離散値とすることで、パルス変調と同様に送受信することができる。送信する周波数の周期の長さに限らず、輝度が低い区間を最短の時間単位にすることで、平均輝度を高くすることができる。このとき、送信周波数の周期が長いほうが平均輝度は高くなるため、この周期が長い周波数の出力回数を多くすることで、平均輝度を高くすることができる。輝度が低い区間が同じ長さであっても、輝度が高い区間の長さを、送信周波数の周期から輝度が低い区間の長さを引いた長さにすることで、周波数解析を行った際には、送信周波数に周波数ピークが現れる。したがって、受信機の露光時間をそれほど短く設定しなくても、離散コサイン変換などの周波数解析手法を用いることで、信号を受信することができる。
 図249Cの(c)に示すように、図249Cの(a)と同様に変調周波数の重ねあわせを時間的に変化させることで、多くの値を表現することができる。
 高い変調周波数の信号は露光時間を短く設定しなければ受信できないが、ある程度の高さの変調周波数までは露光時間の設定なしに利用することができる。低い変調周波数から高い変調周波数までの周波数を用いて変調した信号を送信することで、全ての端末は低い変調周波数で表現された信号を受信することができ、露光時間を短く設定できる端末の場合は、高い変調周波数まで信号を受信することで、同一の送信機から、より多くの情報を速く受信することができる。あるいは、通常撮像モードで低い周波数の変調信号を見つけた場合に、可視光通信モードで高い周波数の変調信号を含んだ全体の送信信号を受信するとしてもよい。
 周波数偏移変調方式や周波数多重変調方式は、パルス位置によって信号を表現するよりも低い変調周波数を使った場合でも人間の目にちらつきを感じさせないという効果があるため、多くの周波数帯域を用いることができる。
 なお、実施の形態1から10は、ここで述べた受信方式・変調方式で変調した信号を用いた場合でも同様の効果が得られる。
 (混合信号の分離)
 図249Dと図249Eは、実施の形態10における混合信号の分離の一例を示す図である。
 受信機は、図249Dの(a)の機能を備える。受光部は光パターンを受光する。周波数解析部は、光パターンをフーリエ変換することで周波数領域に信号を写像する。ピーク検出部は、光パターンの周波数成分のピークを検出する。ピーク検出部でピークが検出されなかった場合は、以降の処理を中断する。ピーク時間変化解析部は、ピーク周波数の時間変化を解析する。信号源特定部は、複数の周波数ピークが検出された場合に、同じ送信機から送信された信号の変調周波数がどの組み合わせであるのかを特定する。
 これにより、複数の送信機が近くに配置されている場合にも信号の混信を避けて受信を行うことができる。また、送信機からの光が床や壁や天井等から反射した光を受光する際は、複数の送信機からの光が混合されることが多いが、このような場合でも、信号の混信を避けて受信を行うことができる。
 例として、受信機が送信機Aの信号と送信機Bの信号が混じった光パターンを受信した場合、図249Dの(b)のような周波数ピークが得られる。fA1が消えてfA2が現れるため、fA1とfA2は同じ送信機からの信号であることが特定できる。同様にして、fA1とfA2とfA3が同じ送信機からの信号であり、fB1とfB2とfB3が同じ送信機からの信号であることが特定できる。
 一つの送信機が変調周波数を変更する時間間隔を一定にすることで、同じ送信機からの信号を特定しやすくすることができる。
 複数の送信機の変調周波数が変化するタイミングが等しい時、上述の方法では同じ送信機からの信号を特定できない。そこで、送信機の変調周波数を変更する時間間隔を送信機の個体ごとに異ならせることで、複数の送信機の変調周波数が変化するタイミングが常に等しいという状況を避けることができ、同じ送信機からの信号を特定することができるようになる。
 図249Dの(c)に示すように、送信機が変調周波数を変更してから次に変更するまでの時間を、現在の変調周波数と、変更前の変調周波数から求められる値とすることで、複数の送信機が同じタイミングで変調周波数を変化させた場合でも、いずれの変調周波数の信号が同じ送信機から送信されたかを特定できる。
 送信機が他の送信機の送信信号を認識し、変調周波数変化のタイミングが等しくならないように調整するとしてもよい。
 以上の方法は、一つの送信信号が一つの変調周波数で構成される周波数偏移変調の場合だけでなく、一つの送信信号が複数の変調周波数で構成される場合にも、同様の方法で同様の効果が得られる。
 図249Eの(a)に示すように、周波数多重変調方式で時間的に光パターンを変化させない場合は、同じ送信機からの信号を特定することができないが、図249Eの(b)に示すように、信号のない区間を含めたり、特定の変調周波数に変化させたりすることで、ピークの時間変化から、同じ送信機からの信号を特定することができるようになる。
 図249Fは、実施の形態10における情報処理プログラムの処理を示すフローチャートである。
 この情報処理プログラムは、上述の送信機の発光体(または発光部)を図249Aの(b)または図249Bの(b)に示す光パターンで輝度変化させるためのプログラムである。
 つまり、この情報処理プログラムは、送信対象の情報を輝度変化によって送信するために、その送信対象の情報をコンピュータに処理させる情報処理プログラムである。具体的には、この情報処理プログラムは、送信対象の情報を符号化することによって、輝度変化の周波数を決定する決定ステップSA11と、発光体が決定された輝度変化の周波数にしたがって輝度変化することにより送信対象の情報を送信するように、決定された輝度変化の周波数を示す信号を出力する出力ステップSA12とをコンピュータに実行させる。決定ステップSA11では、第1の周波数(例えば周波数f1)と、第1の周波数と異なる第2の周波数(例えば周波数f2)とを、それぞれ輝度変化の周波数として決定する。出力ステップSA12では、発光体が、第1の時間(例えば時間T1)において第1の周波数にしたがって輝度変化し、第1の時間の経過後に、第1の時間と異なる第2の時間(例えば時間T2)において第2の周波数にしたがって輝度変化するように、第1および第2の周波数を示す信号を、決定された輝度変化の周波数を示す信号として出力する。
 これにより、送信対象の情報を、第1および第2の周波数の可視光信号によって適切に送信することができる。また、第1の時間と第2の時間とを異ならせることによって、多様な状況に合わせた送信を行うことができる。その結果、多様な機器間の通信を可能にすることができる。
 例えば、図249Aおよび図249Bに示すように、第1の時間は、第1の周波数の一周期分に相当する時間である。また、第2の時間は、第2の周波数の一周期分に相当する時間である。
 また、出力ステップSA12では、第1の周波数を示す信号と、第2の周波数を示す信号とのそれぞれの出力回数が異なるように、第1の周波数を示す信号と、第2の周波数を示す信号とのうちの少なくも一方を繰り返し出力してもよい。これにより、多様な状況に合わせた送信を行うことができる。
 また、出力ステップSA12では、第1および第2の周波数を示す信号のうち、低い周波数の信号の出力回数が、高い周波数の信号の出力回数よりも多くなるように、第1の周波数を示す信号と、第2の周波数を示す信号とのうちの少なくも一方を繰り返し出力してもよい。
 これにより、出力される各信号によって示される周波数にしたがって発光体が輝度変化する場合には、発光体は明るい輝度で送信対象の情報を送信することができる。例えば、低い周波数である第1の周波数にしたがった輝度変化と、高い周波数である第2の周波数にしたがった輝度変化とで、暗い輝度が継続する時間が同じであると仮定する。この場合、第1の周波数(つまり低い周波数)にしたがった輝度変化では、第2の周波数(つまり高いの周波数)にしたがった輝度変化よりも、明るい輝度が継続する時間が長い。したがって、第1の周波数を示す信号が多く出力されることによって、発光体は明るい輝度で送信対象の情報を送信することができる。
 また、出力ステップSA12では、第1および第2の周波数を示す信号のうち、高い周波数の信号の出力回数が、低い周波数の信号の出力回数よりも多くなるように、第1の周波数を示す信号と、第2の周波数を示す信号とのうちの少なくも一方を繰り返し出力してもよい。例えば、図249Aおよび図249Bに示すように、周波数f2の信号の出力回数が、周波数f1の信号の出力回数よりも多くなる。
 これにより、出力される各信号によって示される周波数にしたがって発光体が輝度変化する場合には、その輝度変化によって送信される情報の受信効率を高めることができる。例えば、複数の周波数によって表現される可視光信号によって送信対象の情報が受信機に送信される場合には、受信機は、撮像によって得られる画像に対してフーリエ変換などの周波数解析を行うことにより、その可視光信号に含まれる周波数のピークを検出する。このとき、高い周波数ほどピーク検出が難しい。そこで、上述のように、第1および第2の周波数を示す信号のうち、高い周波数の信号の出力回数が、低い周波数の信号の出力回数よりも多くなるように、各信号が出力されるため、高い周波数のピーク検出を容易にすることができる。その結果、受信効率を向上することができる。
 また、出力ステップSA12では、同じ周波数を示す信号が連続して出力されないように、第1の周波数を示す信号と、第2の周波数を示す信号とのうちの少なくも一方を繰り返し出力してもよい。例えば、図249Aおよび図249Bに示すように、周波数f1を示す信号は連続して出力されず、周波数f2を示す信号も連続して出力されない。
 これにより、出力される各信号によって示される周波数にしたがって発光体が輝度変化する場合には、その発光体からの光のちらつきが人間の目やカメラに捉えられ難くすることができる。
 図249Gは、実施の形態10における情報処理装置のブロック図である。
 この情報処理装置A10は、上述の送信機の発光体を図249Aの(b)または図249Bの(b)に示す光パターンで輝度変化させるための装置である。
 つまり、この情報処理装置A10は、送信対象の情報を輝度変化によって送信するために、送信対象の情報を処理する装置である。具体的には、情報処理装置A10は、送信対象の情報を符号化することによって、輝度変化の周波数を決定する周波数決定部A11と、発光体が決定された輝度変化の周波数にしたがって輝度変化することにより送信対象の情報を送信するように、決定された輝度変化の周波数を示す信号を出力する出力部A12とを備える。ここで、周波数決定部A11は、第1の周波数と、第1の周波数と異なる第2の周波数とを、それぞれ輝度変化の周波数として決定する。出力部A12は、発光体が、第1の時間において第1の周波数にしたがって輝度変化し、第1の時間の経過後に、第1の時間と異なる第2の時間において第2の周波数にしたがって輝度変化するように、第1および第2の周波数を示す信号を、決定された輝度変化の周波数を示す信号として出力する。このような情報処理装置A10では、上述の情報処理プログラムと同様の効果を奏することができる。
 (可視光通信による照明を介した家電の操作)
 図250Aは、実施の形態10における可視光通信システムの一例を示す図である。
 例えば天井照明(照明機器)として構成される送信機は、Wi-FiやBluetooth(登録商標)等の無線通信機能を備える。送信機は、無線通信によって送信機に接続するための情報(発光機IDおよび認証IDなど)を可視光通信によって送信する。例えばスマートフォン(携帯端末)として構成される受信機Aは、受信した情報を基に、送信機と無線通信を行う。受信機Aは他の情報を用いて送信機と接続してもよく、その場合は受信機能を持たなくとも良い。受信機Bは、例えば電子レンジ等の電子機器(制御対象機器)として構成される。送信機は、ペアリングされた受信機Bの情報を受信機Aへ送信する。受信機Aは、操作可能な機器として受信機Bの情報を表示する。受信機Aは、受信機Bの操作命令(制御信号)を、無線通信を通じて送信機へ伝え、送信機は可視光通信を通じて操作命令を受信機Bへ伝える。これにより、ユーザは受信機Aを介して受信機Bを操作することができる。また、インターネット等を介して受信機Aと接続されている機器は、受信機Aを介して受信機Bを操作することができる。
 受信機Bが送信機能を備え、送信機が受信機能を備えることで、双方向通信を行うことができる。送信機能は発光による可視光として実現してもよいし、音による通信を行っても良い。例えば、送信機は集音部を備え、受信機Bの発する音を認識することで、受信機Bの状態を認識することができる。例えば、受信機Bの運転終了音を認識し、受信機Aに伝え、受信機Aは受信機Bの運転終了をディスプレイに表示することでユーザに通知することができる。
 受信機Aと受信機Bは、NFCを備える。受信機Aは、送信機からの信号を受信し、次に、NFCを介して受信機Bと通信を行い、直前に受信した信号を送信した送信機からの信号を受信機Bが受信可能であるということを、受信機Aと送信機に登録する。これを、送信機と受信機Bのペアリングと呼ぶ。受信機Aは、受信機Bが移動された場合等には、ペアリングの解除を送信機に登録する。受信機Bが別の送信機にペアリングされた場合には、新しくペアリングされた送信機は前にペアリングされていた送信機にその情報を伝え、前のペアリングを解除する。
 図250Bは、実施の形態10におけるユースケースを説明するための図である。この図250Bを用いて、本発明のPPM方式もしくはFDM方式FSK方式もしくは周波数割り当て方式の変調方式を用いた受信部1028を用いた場合の実施の形態を述べる。
 まず、照明機器である発光機1003の発光動作を述べる。天井や壁に取り付けられた照明器具やTVモニタ等の発光機1003では、まず時間毎に変化する乱数発生部1012を用いて、認証ID発生部1010で、認証IDを発生させる。発光機1003のIDとこの認証ID1004については、割り込み処理(ステップ1011)がない場合、発光機1003は、携帯端末1020より送られた「送信データ列」がないと判断して、(1)発光機IDと、(2)認証IDと、制御対象機器である電子機器1040から携帯端末1020経由で送られてきた送信データ列1009があるかどうかを識別するための識別子つまり(3)送信データ列フラグ=0の、3つをLED等の発光部1016から、連続的に、もしくは間欠的に外部に光信号を送る。
 送られた光信号は、電子機器1040のフォトセンサ1041で受信され(ステップ1042)、電子機器1040は、ステップ1043で、電子機器1040の機器IDおよび認証ID(機器認証IDおよび発光機ID)が正規のものであるか確認する。確認の結果がYES(正規のもの)なら、電子機器1040は、送信データ列フラグ=1かをチェックする(ステップ1051)。チェックの結果がYESの場合(送信データ列フラグ=1)のみ、電子機器1040は、送信データ列のデータ、例えば料理のレシピ実行等のユーザーコマンドを実行する(ステップ1045)。
 ここで電子機器1040の本発明の光変調方式を用いて光送信する仕組みを述べる。電子機器1040は、機器ID、機器を認証するための認証ID、および、前述のように電子機器1040が受信した、つまり確実に受信が可能な発光機1003の発光機IDを、表示部1047のLEDバックライト部1050等を用いて送る(ステップ1046)。
 電子レンジやPOS機等の液晶等の表示部1047から、本発明の光信号がちらつきのない60Hz以上の変調周波数で、PPMもしくはFDMもしくはFSK方式で送られているため、一般消費者には光信号が送られていることはわからない。そのため、表示部1047には、例えば電子レンジのメニュー等の独立した表示ができる。
 (電子機器1040が受信できる発光機1003のID検出方法)
 電子レンジ等を使用しようとする使用者は、携帯端末1020のインカメラ部1017で発光機1003からの光信号を受け取り、インカメラ処理部1026で、発光機IDと発光機認証IDを受信しておく(ステップ1027)。電子機器1040の受光可能な発光機IDは、3G等の携帯電話の電波やWi-Fiを用いた位置情報とクラウド1032や携帯端末内部に記録されている、その位置に存在する発光機IDを検出してもよい(ステップ1025)。
 使用者は携帯端末1020のアウトカメラ1019を、例えば電子レンジ(電子機器)1040の表示部1047に向けると、本発明の光信号1048を、MOSカメラを用いて復調することができる。シャッター速度を速めると、より高速のデータを受信できる。受信部1028では、電子機器1040の機器ID、認証ID、サービスID、もしくは、サービスIDから変換した、サービス提供用のクラウドのURLや、機器の状況を受信する。
 ステップ1029では、3G Wi-Fi通信部1031を通して端末の内部にある、もしくは受信したURLを用いて外部にあるクラウド1032に接続し、サービスID、機器IDを送る。クラウド1032では、データベース1033にある、機器ID、サービスIDに各々対応したデータを検索し、携帯端末1020に送る。このデータを元にして携帯端末の画面にビデオデータやコマンドのボタン等を表示する。これを見た使用者は希望するコマンドを画面のボタンを押す等の入力方法により入力する(ステップ1030)。YES(入力)の場合、BTLE(Blue Tooth(登録商標) Low Energy)送受信部1021の送信機1022は、電子機器1040等の機器ID、機器認証ID、発光機ID、発光機認証ID、およびステップ1030のユーザコマンド等からなる送信データ列を送信する。
 発光機1003は、BTLE送受信部1004の受信部1007で「送信データ列」を受信し、割り込み処理部1011で、「送信データ列」を受信したことを検出する(ステップ1013のYES)と、「送信データ列+ID+送信データフラグ=1」のデータを本発明の変調部で変調し、LED等の発光部1016から光送信する。「送信データ列」を受信したことを検出しない場合(ステップ1013のNOの場合)は、発光機1003は発光機ID等を連続的に送る。
 前述のように、この電子機器1040は既に発光機1003からの信号を受信できることを実際に受信して確認しているので確実に受信できる。
 この場合、割り込み処理部1011では、送信データ列の中に発光機IDが含まれるため、そのIDの発光機の光照射範囲内に送信対象の電子機器が存在することがわかる。従って、他の発光機から信号を送ることなく、電子機器がある極めて狭い位置にある発光機のみから送られるため、電波空間を効率的に使うことができる。
 この方式を採用しない場合、ブルートゥース信号は遠くまで届くため、電子機器とは異なる他の位置にある発光機から光信号が送られてしまう。従って、ある発光機が発光期間中には、送信したい他の電子機器への光送信ができなくなる、もしくは妨害を与えるため、この方式による解決策は効果がある。
 次に電子機器の誤動作対策を述べる。
 フォトセンサ1041は、ステップ1042で光信号を受信する。まず、発光機IDをチェックするため、別の発光機IDの発光信号は除去できるため誤作動が減る。
 本発明では、送信データ列1009には受信すべき電子機器の機器IDと機器認証IDが含まれる。従ってステップ1043で機器認証IDと機器IDがこの電子機器1040のIDかをチェックするので、誤動作しない。電子機器1040が別の電子機器へ送信された信号を誤って処理することによる電子レンジ等の誤作動を、防止できるという効果がある。
 ユーザコマンドの実行の誤作動を防止する方法を述べる。
 ステップ1044で送信データフラグ=1の時、ユーザコマンドがあると判断し、送信データフラグ=0の時は停止する。送信データフラグ=1の時、ユーザデータ列の機器ID、認証IDを認証してから、ユーザコマンド等の送信データ列を実行する、例えば、電子機器1040は、レシピを取り出し、画面に表示し、使用者がボタンを押せば、レシピすなわち600wを3分、200wを1分、スチーム調理を2分といった動作を誤動作することなく開始する。
 ユーザコマンドを実行すると、電子レンジの場合、2.4GHzの電磁ノイズを発生する。これを低減するため、スマートフォンを介して、ブルートゥースやWi-Fiで命令を受け、動作する場合、間欠駆動部1061により間欠的、例えば2秒間には100msの程度、電子レンジの出力を止める。この間にブルートゥースやWi-Fi802.11n等の通信が可能となる。例えばレンジを止めない時は、スマートフォンからBTLEで発光機1003に停止命令を送ることが妨害される。一方、本発明では妨害電波の影響を受けないで送れ、光信号によりレンジを停止したり、レンジのレシピの変更をすることができる。
 本実施の形態の特長が1つ数円位のコストのフォトセンサ1041を、表示部のついた電子機器に追加するだけで、クラウドと連携したスマートフォンと双方向の通信ができるため、低コストの白物家電に搭載しスマート家電化することができるという効果がある。ただし、実施の形態として白物家電を用いたが、表示部のついたPOS端末でもよいし、スーパーマーケットの電子値札板でもパソコンでも同様の効果が得られる。
 また、この実施の形態では電子機器の上部にある照明器からしか発光機IDを受信できない。受信領域が狭いため、発光機毎にWi-Fi等の小さいゾーンIDを規定し、各々のゾーンの中で位置の下記のIDを割り当てることにより、発光部のIDの桁数を減らすという効果もある。この場合、本発明の前述のPPMやFSK、FDMを用いて送信する発光機のIDの桁数が減ることにより、小さな光源から光信号を受信したり、早くIDを取得したり、遠くの光源のデータを受信できる等の効果がある。
 図250Cは、実施の形態10における信号送受信システムの一例を示す図である。
 信号送受信システムは、多機能携帯電話であるスマートフォン(スマホ)と、照明機器であるLED発光機と、冷蔵庫などの家電機器と、サーバとを備えている。LED発光機は、BTLE(Bluetooth(登録商標) Low Energy)を用いた通信を行うとともに、LED(Light Emitting Diode)を用いた可視光通信を行う。例えば、LED発光機は、BTLEによって、冷蔵庫を制御したり、エアコンと通信する。また、LED発光機は、可視光通信によって、電子レンジ、空気清浄機またはテレビ(TV)などの電源を制御する。
 テレビは、例えば太陽光発電素子を備え、この太陽光発電素子を光センサとして利用する。つまり、LED発光機が輝度変化することによって信号を送信すると、テレビは、太陽光発電素子によって発電される電力の変化によって、そのLED発光機の輝度変化を検出する。そして、テレビは、その検出された輝度変化によって示される信号を復調することによって、LED発光機から送信された信号を取得する。テレビは、その信号が電源ONを示す命令である場合には、自らの主電源をONに切り替え、その信号が電源OFFを示す命令である場合には、自らの主電源をOFFに切り替える。
 また、サーバは、ルータおよび特定小電力無線局(特小)を介してエアコンと通信することができる。さらに、エアコンはBTLEを介してLED発光機と通信することができるため、サーバはLED発光機と通信することができる。したがって、サーバは、LED発光機を介してTVの電源をONとOFFとに切り替えることができる。また、スマートフォンは、サーバと例えばWi-Fi(Wireless Fidelity)などを介して通信することによって、サーバを介してTVの電源を制御することができる。
 図250A~図250Cに示すように、本実施の形態における情報通信方法は、携帯端末(スマートフォン)が、可視光通信と異なる無線通信(BTLEまたはWi-Fiなど)によって、制御信号(送信データ列またはユーザコマンド)を照明機器(発光機)に送信する無線通信ステップと、照明機器が、その制御信号に応じて輝度変化することによって可視光通信を行う可視光通信ステップと、制御対象機器(電子レンジなど)が、その照明機器の輝度変化を検出し、検出された輝度変化によって特定される信号を復調することにより制御信号を取得し、その制御信号に応じた処理を実行する実行ステップとを含む。これにより、携帯端末は、可視光通信のための輝度変化を行うことができなくても、無線通信によって、照明機器を携帯端末の代わりに輝度変化させることができ、制御対象機器を適切に制御することができる。なお、携帯端末はスマートフォンではなく腕時計であってもよい。
 (干渉を排除した受信)
 図251は、実施の形態10における干渉を排除した受信方法を示すフローチャートである。
 まず、ステップ9001aでstartして、ステップ9001bで受光した光の強さに周期的な変化があるかどうかを確認して、YESの場合はステップ9001cへ進む。NOの場合はステップ9001dへ進み、受光部のレンズを広角にして広範囲の光を受光して、ステップ9001bへ戻る。ステップ9001cで信号を受信できるかどうかを確認して、YESの場合はステップ9001eへ進み、信号を受信して、ステップ9001gで終了する。NOの場合はステップ9001fへ進み、受光部のレンズを望遠にして狭い範囲の光を受光して、ステップ9001cへ戻る。
 この方法により、複数の送信機からの信号の干渉を排除しつつ、広い方向にある送信機からの信号を受信することができる。
 (送信機の方位の推定)
 図252は、実施の形態10における送信機の方位の推定方法を示すフローチャートである。
 まず、ステップ9002aでstartして、ステップ9002bで受光部のレンズを最大望遠にして、ステップ9002cで受光した光の強さに周期的な変化があるかどうかを確認して、YESの場合はステップ9002dへ進む。NOの場合はステップ9002eへ進み、受光部のレンズを広角にして広範囲の光を受光して、ステップ9002cへ戻る。ステップ9002dで信号を受信して、ステップ9002fで受光部のレンズを最大望遠とし、受光範囲の境界に沿うように受光方向を変化させ、受光強度が最大になる方向を検出し、送信機がその方向にあると推定して、ステップ9002dで終了する。
 この方法により、送信機が存在する方向を推定することができる。なお、最初に最大広角にして、次第に望遠にしてもよい。
 (受信の開始)
 図253は、実施の形態10における受信の開始方法を示すフローチャートである。
 まず、ステップ9003aでstartして、ステップ9003bでWi-FiやBluetooth(登録商標)やIMES等の基地局からの信号を受信したかどうかを確認して、YESの場合は、ステップ9003cへ進む。NOの場合はステップ9003bへ戻る。ステップ9003cで前記基地局が、受信開始のトリガとして受信機やサーバに登録されているかどうかを確認して、YESの場合はステップ9003dへ進み、信号の受信を開始して、ステップ9003eで終了する。NOの場合はステップ9003bへ戻る。
 この方法により、ユーザが受信開始の操作をしなくても受信を開始することができる。また、常に受信を行うよりも消費電力を抑えることが出来る。
 (他媒体の情報を併用したIDの生成)
 図254は、実施の形態10における他媒体の情報を併用したIDの生成方法を示すフローチャートである。
 まず、ステップ9004aでstartして、ステップ9004bで接続されているキャリア通信網やWi-FiやBluetooth(登録商標)等のID、または、上記IDから得た位置情報やGPS等から得た位置情報を上位ビットID索引サーバに送信する。ステップ9004cで上位ビットID索引サーバから可視光IDの上位ビットを受信して、ステップ9004dで送信機からの信号を可視光IDの下位ビットとして受信する。ステップ9004eで可視光IDの上位ビットと下位ビットを合わせてID解決サーバへ送信して、ステップ9004fで終了する。
 この方法により、受信機の付近の場所で共通的に用いられる上位ビットを得ることができ、送信機が送信するデータ量を少なくすることができる。また、受信機が受信する速度を上げることができる。
 なお、送信機は上位ビットと下位ビットの両方を送信しているとしてもよい。この場合は、この方法を用いている受信機は下位ビットを受信した時点でIDを合成することができ、この方法を用いていない受信機は送信機からID全体を受信することでIDを得る。
 (周波数分離による受信方式の選択)
 図255は、実施の形態10における周波数分離による受信方式の選択方法を示すフローチャートである。
 まず、ステップ9005aでstartして、ステップ9005bで受光した光信号を周波数フィルタ回路にかける、または、離散フーリエ級数展開を行い周波数分解を行う。ステップ9005cで低周波数成分が存在するかどうかを確認して、YESの場合はステップ9005dへ進み、周波数変調等の低周波数領域で表現された信号をデコードして、ステップ9005eへ進む。NOの場合はステップ9005eへ進む。ステップ9005eで前記基地局が、受信開始のトリガとして受信機やサーバに登録されているかどうかを確認して、YESの場合はステップ9005fへ進み、パルス位置変調等の高周波数領域で表現された信号をデコードして、ステップ9005gへ進む。NOの場合はステップ9005gへ進む。ステップ9005gで信号の受信を開始して、ステップ9005hで終了する。
 この方法により、複数の変調方式で変調された信号を受信することができる。
 (露光時間が長い場合の信号受信)
 図256は、実施の形態10における露光時間が長い場合の信号受信方法を示すフローチャートである。
 まず、ステップ9030aでstartして、ステップ9030bで感度が設定できる場合は感度を最高に設定する。ステップ9030cで露光時間が設定できる場合は通常撮影モードよりも短い時間に設定する。ステップ9030dで2枚の画像を撮像して輝度の差分を求める。2枚の画像を撮像する間に撮像部の位置や方向が変化した場合はその変化をキャンセルして同じ位置・方向から撮像したかのような画像を生成して差分を求める。ステップ9030eで差分画像、または、撮像画像の露光ラインに平行な方向の輝度値を平均した値を求める。ステップ9030fで前記平均した値を、露光ラインに垂直な方向に並べ離散フーリエ変換を行って、ステップ9030gで所定の周波数の付近にピークがあるかどうかを認識して、ステップ9030hで終了する。
 この方法により、露光時間が設定できない場合や通常画像を同時に撮像する場合等、露光時間が長い場合においても信号を受信することができる。
 露光時間を自動設定としている場合、カメラを照明として構成される送信機へ向けると、自動露出補正機能によって露光時間は60分の1秒から480分の1秒程度に設定される。露光時間の設定ができない場合には、この条件で信号を受信する。実験では、照明を周期的に点滅させた場合、1周期の時間が露光時間の約16分の1以上であれば、露光ラインに垂直な方向に縞が視認でき、画像処理によって点滅の周期を認識することができた。このとき、照明が写っている部分は輝度が高すぎて縞が確認しづらいため、照明光が反射している部分から信号の周期を求めるのが良い。
 周波数偏移変調方式や周波数多重変調方式のように、発光部を周期的に点灯・消灯させる方式を用いた場合は、パルス位置変調方式を用いた場合よりも、同じ変調周波数であっても人間にとってちらつきが視認しづらく、また、ビデオカメラで撮影した動画にもちらつきが現れにくい。そのため、低い周波数を変調周波数として用いることができる。人間の視覚の時間分解能は60Hz程度であるため、この周波数以上の周波数を変調周波数として用いることができる。
 なお、変調周波数が受信機の撮像フレームレートの整数倍のときは、2枚の画像の同じ位置の画素は送信機の光パターンが同じ位相の時点で撮像を行うため、差分画像に輝線があらわれず、受信が行いにくい。受信機の撮像フレームレートは通常30fpsであるため、変調周波数は30Hzの整数倍以外に設定すると受信が行い易い。また、受信機の撮像フレームレートは様々なものが存在するため、互いに素な二つの変調周波数を同じ信号に割り当て、送信機は、その二つの変調周波数を交互に用いて送信することで、受信機は、少なくとも一つの信号を受信することで、容易に信号を復元できる。
 図257は、送信機の調光(明るさを調整すること)方法の一例を示す図である。
 輝度が高い区間と輝度が低い区間の割合を調整することで、平均輝度が変化し、明るさを調整することができる。このとき、輝度の高低を繰り返す周期Tを一定に保つことで、周波数ピークを一定に保つことが出来る。例えば、図257の(a)、(b)、(c)のいずれも、平均輝度よりも明るくなる第1の輝度変化と、第2の輝度変化の間の時間T1は一定に保ちながら、送信機を暗く調光する際には、平均輝度よりも明るく照明する時間を短くする。一方、送信機を明るく調光する際には、平均輝度よりも明るく照明する時間を長くする。図257の(b)、(c)は、(a)よりも暗く調光されており、図257の(c)は、最も暗く調光されている。これにより、同一の意味を持った信号を送信しながら調光を行うことが出来る。
 輝度の高い区間の輝度、または、輝度が低い区間の輝度、または、その両方の輝度の値を変化させることで、平均輝度を変化させるとしてもよい。
 図258は、送信機の調光機能を構成する方法の一例を示す図である。
 構成部品の精度には限界があるため、同じ調光設定を行ったとしても、別の送信機とは明るさが微妙に異なる。しかし、送信機を並べて配置する場合には、隣接する送信機の明るさが異なっていると、不自然さが感じられる。そこで、ユーザは、調光補正操作部を操作することで、送信機の明るさを調整する。調光補正部は、補正値を保持し、調光制御部は、補正値に従って発光部の明るさを制御する。ユーザが調光操作部を操作することによって調光の程度が変化された場合には、調光制御部は、変化された調光設定値と調光補正部に保持された補正値をもとに、発光部の明るさを制御する。また、調光制御部は、連動調光部を通して、他の送信機に調光設定値を伝える。他の機器から連動調光部を通して調光設定値が伝えられた場合には、調光制御部は、その調光設定値と調光補正部に保持された補正値をもとに、発光部の明るさを制御する。
 本発明の一つの実施形態によれば、発光体を輝度変化させることによって信号を送信する情報通信装置を制御する制御方法であって、情報通信装置のコンピュータに対して、複数の異なる信号を含む、送信対象の信号を変調させることによって、異なる信号毎に、異なる周波数の輝度変化のパターンを決定させる決定ステップと、単一の周波数に該当する時間に、単一の信号を変調した輝度変化のパターンのみを含むように、発光体を輝度変化させることによって送信対象の信号を送信させる送信ステップと、を有する、制御方法であってもよい。
 例えば、単一の周波数に該当する時間に、複数の信号を変調した輝度変化のパターンを含む場合、時間経過による輝度変化の波形が複雑になり、適切に受信することが困難となる。しかしながら、単一の周波数に該当する時間に、単一の信号を変調した輝度変化のパターンのみを含むように制御することにより、受信する際により適切に受信を行うことが可能となる。
 本発明の一つの実施の形態によれば、決定ステップは、所定の時間内において、複数の異なる信号のうちの一つの信号を送信させる送信回数が、他の信号を送信させる送信回数と異なるように、送信回数を決定させてもよい。
 一つの信号を送信させる送信回数が、他の信号を送信させる送信回数と異なることにより、送信する際のちらつきを防ぐことが可能となる。
 本発明の一つの実施の形態によれば、決定ステップは、所定の時間内において、高い周波数に該当する信号の送信回数を、他の信号の送信回数よりも多くさせもよい。
 受信側において周波数変換を行う際に、高い周波数に該当する信号は、輝度が小さくなるが、送信回数を多くすることにより、周波数変換を行う際の輝度値を大きくすることが可能となる。
 本発明の一つの実施の形態によれば、輝度変化のパターンは、時間経過による輝度変化の波形が、矩形波、三角波、鋸波のいずれかとなるパターンであってもよい。
 矩形波などにすることにより、より適切に受信を行うことが可能となる。
 本発明の一つの実施の形態によれば、発光体の平均輝度の値を大きくする場合に、単一の周波数に該当する時間において、発光体の輝度が所定の値よりも大きくなる時間を、前記発光体の平均輝度の値を小さくする場合に対して、長くしてもよい。
 単一の周波数に該当する時間において、発光体の輝度が所定の値よりも大きくなる時間を調整することにより、信号を送信し、かつ、発光体の平均輝度を調整することが可能となる。例えば、発光体を照明として使用する場合には、全体の明るさを暗くしたり、明るくしたりしながら、信号を送信することが可能となる。
 受信機は,露光時間を設定するAPI(アプリケーション・プログラミング・インタフェースの略で、OSの機能を利用するための手段を指す)を利用することで、露光時間を所定の値に設定することができ、可視光信号を安定して受信することができる。また、受信機は、感度を設定するAPIを利用することで、感度を所定の値に設定することができ、送信信号の明るさが暗い場合や明るい場合でも可視光信号を安定して受信することができる。
 (実施の形態11)
 本実施の形態では、上記各実施の形態におけるスマートフォンなどの受信機と、LEDや有機ELの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
 (露光時間の設定)
 図259A~図259Dは、実施の形態11における受信機の動作の一例を示すフローチャートである。
 本発明の方式を用いてイメージセンサで可視光信号を受信するためには、露光時間を所定の時間より短い時間に設定する必要がある。所定の時間は可視光信号の変調方式と変調周波数によって決定される。一般に、変調周波数が高いほど露光時間を短くする必要がある。
 露光時間を短くするにつれて輝線がはっきりと観察できるようになる一方で、露光時間が短くなると受光量が減るために撮像画像全体が暗くなる。すなわち、信号強度が減衰する。そのため、可視光信号の存在が検知できる範囲で露光時間を短くすることで、受信性能(受信速度や誤り率)を向上させることができる。
 図259Aに示すように、受信機は、まず、撮像モードを可視光撮像モードにする(ステップS9201)。このときに、受信機は、モノクロ撮像機能があり、かつ、輝度情報のみで変調された信号を受信するか否かを判定する(ステップS9202)。ここで、モノクロ撮像機能があり、かつ、輝度情報のみで変調された信号を受信すると判定したときには(ステップS9202のY)、受信機は、撮像モードのうちの色に関するモードを、そのモノクロ撮像機能を用いるモノクロ撮像モードに設定する(ステップS9203)。これにより、輝度情報のみで変調された信号を受信する場合、つまり、輝度変化のみによって情報を表す可視光信号を受信する場合には、カラー情報を扱わないことで処理速度の向上を図ることができる。一方、ステップS9202において、モノクロ撮像機能があり、かつ、輝度情報のみで変調された信号を受信する、ことはないと判定したときには(ステップ9202のN)、つまり、色情報を利用して可視光信号が表現されている場合には、受信機は、撮像モードのうちの色に関するモードを、カラー撮像モードに設定する(ステップS9204)。
 次に、受信機は、露光時間を指定する機能が、上述のイメージセンサを含む撮像部に備わっているか否かを判定する(ステップS9205)。ここで、備わっていると判定すると(ステップS9205のY)、受信機は、撮像画像に輝線が現れるように、その機能を用いて、露光時間を上述の所定の時間よりも短い時間に設定する(ステップS9206)。なお、受信機は、撮像画像中で、可視光信号を送信している送信機が見える範囲でできるだけ露光時間が短くなるように、その露光時間を設定してもよい。
 一方、ステップS9205において、露光時間を指定する機能が備わっていないと判定すると(ステップS9205のN)、受信機は、さらに、感度を設定する機能が撮像部に備わっているか否かを判定する(ステップS9207)。ここで、感度を設定する機能が備わっていると判定すると(ステップS9207のY)、受信機は、その機能により、感度を最大に設定する(ステップS9208)。その結果、その最大にされた感度で撮像が行われることにより撮像画像が得られると、その撮像画像は明るくなる。そこで、受信機では、自動露出が有効に設定されていれば、その自動露出によって、露出が一定の範囲に収まるように、露光時間が短く設定される。なお、自動露出では、撮像が行われるごとに、その撮像により得られた撮像画像が自動露出の入力に用いられ、その撮像画像に基づいて、露出が一定の範囲に収まるように、露光時間が随時調整される。自動露出の詳細については後述する。
 さらに、受信機は、F値(絞り)を設定する機能が撮像部に備わっているか否かを判定する(ステップS9209)。ここで、F値を設定する機能が備わっていると判定すると(ステップS9209のY)、受信機は、その機能により、F値を最小(絞りを開放)に設定する(ステップS9210)。その結果、その最小にされたF値で撮像が行われることにより撮像画像が得られると、その撮像画像は明るくなる。そこで、受信機では、自動露出が有効に設定されていれば、その自動露出によって、露出が一定の範囲に収まるように、露光時間が短く設定される。
 さらに、受信機は、露出補正の値を指定する機能が撮像部に備わっているか否かを判定する(ステップS9211)。ここで、露出補正の値を指定する機能が備わっていると判定すると(ステップS9211のY)、受信機は、その機能により、露出補正の値を最小に設定する(ステップS9212)。その結果、受信機では、自動露出が有効に設定されていれば、その自動露出によって、露出を低くするために露光時間が短く設定される。
 また、高速で運動する被写体を撮像するためのシーンモード(高速シーンモード)は一般に「スポーツ」や「アクション」の名称で定義されている。
 図259Bに示すように、受信機は、ステップS9211またはステップS9212の後、高速シーンモードに設定する機能が撮像部に備わっており、かつ、高速シーンモードに設定することで、感度がシーンモード設定前よりも低く設定されたり、F値がシーンモード設定前よりも高く設定されたり、露出補正の値がシーンモード設定前よりも高く設定されたりすることがないという条件を満たすか否かを判定する(ステップS9213)。ここで、上記条件を満たすと判定すると(ステップS9213のY)、受信機は、シーンモードを高速シーンモードに設定する(ステップS9214)。その結果、受信機では、自動露出が有効に設定されていれば、高速で運動する被写体をぶれさせずに撮像するために、その自動露出によって、露光時間が短く設定される。
 次に、受信機は、自動露出を有効に設定し(ステップS9215)、被写体を撮像する(ステップS9216)。
 図259Cに示すように、受信機は、ステップS9215の後、ズーム機能が撮像部に備わっているか否かを判定する(ステップS9217)。ここで、ズーム機能が備わっていると判定すると(ステップS9217のY)、受信機は、さらに、ズームの中心位置を指定することができるか否か、つまり、その中心位置を撮像画像内の任意の位置にすることができるか否かを判定する(ステップS9218)。中心位置を指定することができると判定すると(ステップS9218のY)、受信機は、ズームの中心位置を撮像画像内の明るい部分に指定することにより、その明るい部分に対応する被写体が中央で大きく撮像されるようにズームする(ステップS9219)。一方、中心位置を指定することができないと判定すると(ステップS9218のN)、受信機は、撮像画像の中心が所定の値の明るさよりも明るいか否か、または、撮像画像中の所定の各箇所における明るさの平均よりも明るいか否かを判定する(ステップS9220)。ここで、明るいと判定すると(ステップS9220のY)、受信機はズームを行う(ステップS9221)。つまり、このときにも、明るい部分に対応する被写体が中央で大きく撮像される。
 一般的に、撮像部を備える装置の多くでは、測光方式に中央重点測光が用いられているため、撮像画像内で明るい部分が中央あると、測光位置を他の位置に指定しない場合でも明るい部分を基準として露出が調整される。これにより、露光時間が短く設定される。また、ズームによって明るい部分の面積が増え、より明るい画面を基準に露出が調整されるため、露光時間が短く設定される。
 次に、受信機は、測光位置またはフォーカス位置を指定する機能があるか否かを判定する(ステップS9222)。ここで、その機能があると判定すると(ステップS9222のY)、受信機は、撮像画像の中で明るい場所を見つけ出すための処理を行う。つまり、受信機は、撮像画像の中から、所定の明るさよりも明るい、所定の形状および大きさを有する領域の場所を見つけ出すための処理を行う。具体的には、受信機は、まず、自動露出のための露出評価の計算式が既知であるか否かを判定する(ステップS9224)。既知であると判定した場合には(ステップS9224のY)、受信機は、その既知の計算式と同じ計算式を用いて、撮像画像中の各領域の明るさを評価することにより、上述の明るい領域の場所を見つける(ステップS9226)。一方、露出評価の計算式が未知であると判定した場合には(ステップS9224のN)、受信機は、所定の形状および大きさの領域における各画素の明るさの平均値を算出する所定の計算式を用いて、撮像画像中の各領域の明るさを評価することにより、上述の明るい領域の場所を見つける(ステップS9225)。なお、所定の形状は、例えば、矩形、円形、または十字形状などである。また、その領域は非連続の複数の領域から構成されていてもよい。また、上述の平均値の算出には、単純な平均ではなく、中心部ほど大きい重みがつけられる加重平均を用いてもよい。
 受信機は、見つけられた全ての明るい領域の合計の面積が所定の面積より小さいか否かを判定する(ステップS9227)。ここで、小さいと判定すると(ステップS9227のY)、受信機は、この明るい領域の合計の面積が所定の面積以上の大きさで撮像されるようにズームを行う(ステップS9228)。次に、受信機は、測光位置を指定できるか否かを判定する(ステップS9229)。測光位置を指定できると判定した場合には(ステップS9229のY)、受信機は、最も明るい領域の場所を測光位置として指定する(ステップS9230)。自動露出では、測光位置の明るさで露出が調整されるため、最も明るい領域の場所を測光位置として指定することで、自動露出によって露光時間が短く設定される。一方、ステップS9229において、測光位置を指定できないと判定した場合(ステップS9229のN)、つまり、フォーカス位置が指定できる場合には、受信機は、最も明るい領域の場所をフォーカス位置として指定する。受信機には各種の撮像部が搭載可能であって、その各種の撮像部のうちの一部の撮像部の自動露出では、フォーカス位置の明るさで露出が調整される。したがって、最も明るい領域の場所をフォーカス位置として指定することで、自動露出によって露光時間が短く設定される。ここで指定される場所は、明るさの評価または計算に用いた領域の場所と異なっていてもよく、撮像部の設定方式に合わせて設定される。例として、指定の形式が中心点を指定する形式であれば、受信機は、最も明るい領域の中心を指定し、指定の形式が、矩形領域を指定する形式であれば、受信機は、最も明るい領域の中心を含む矩形領域を指定する。
 次に、受信機は、撮像画像中に、測光位置またはフォーカス位置として指定された場所の領域よりも明るい領域があるか否かを判定する(ステップS9232)。ここで、その領域があると判定すると(ステップS9232のY)、受信機は、ステップS9217からの処理を繰り返し実行する。一方、その領域がないと判定すると(ステップS9232のN)、受信機は、被写体を撮像する(ステップS9233)。
 次に、受信機は、ステップS9233の撮像によって得られた撮像画像に基づいて自動露出を終了すべきか否か、または、自動露出を有効に設定してから一定時間が経過したか否かを判定する(ステップS9234)。ここで、例えば自動露出を終了すべきでないと判定した場合(ステップS9234のN)、受信機は、さらに、ステップS9233の撮像によって得られた撮像画像に基づいて、撮像部の位置または撮像方向が変化したか否かを判定する(ステップS9235)。撮像部の位置または撮像方向が変化したと判定した場合は(ステップS9235のY)、受信機は、再度、ステップS9217からの処理を行う。これにより、測光位置やフォーカス位置として指定した場所が撮像画像中で移動した場合であっても、その時点で最も明るい領域の場所を指定し直すことができる。一方、ステップS9235において、撮像部の位置または撮像方向が変化していないと判定した場合は(ステップS9235のN)、受信機は、ステップS9232からの処理を繰り返し行う。なお、受信機は、撮像によって1枚の撮像画像を取得する度に最も明るい領域を検索し、測光位置やフォーカス位置を指定し直してもよい。
 また、ステップS9234において、自動露出を終了すべきと判定した場合、露光時間が変化しなくなった場合、または、一定時間が経過したと判定した場合(ステップS9234のY)、あるいは、ステップS9206において露光時間が設定された場合、受信機は、自動露出を無効に設定し(ステップS9236)、被写体を撮像する(ステップS9237)。そして、受信機は、その撮像によって可視光信号を受信したか否かを判定する(ステップS9238)。ここで、可視光信号を受信していないと判定した場合には(ステップS9238のN)、受信機は、さらに、所定の時間が経過したか否かを判定する(ステップS9239)。所定の時間が経過していないと判定した場合には(ステップS9239のN)、受信機は、ステップS9237からの処理を繰り返し実行する。一方、所定の時間が経過したと判定した場合には(ステップS9239のY)、つまり、所定の時間が経過しても可視光信号を受信することができなかった場合には、受信機は、ステップS9232からの処理を繰り返し実行することにより、最も明るい領域の検索をやり直す。
 なお、受信機は、ズーム機能を利用している場合には、ズームを任意のタイミングでオフにしてもよい。つまり、受信機は、ズームがオフのときに、ズーム中には撮像されないがズームをしなければ撮像される範囲に、明るい被写体があるかどうかを検出してもよい。なお、この明るい被写体は、輝度変化によって可視光信号を送信する送信機である可能性が高い。これにより、広い範囲に存在する送信機からの信号を受信することができる。
 ここで、自動露出および測光方法について説明する。
 以下、図259A~図259Dにおける自動露出について説明する。自動露出は、受信機の撮像部が、露光時間と感度と絞りとを調節し、測光結果を所定の値に自動的に調整する動作、処理または機能である。
 測光結果を得るための測光方法には、平均測光(全面測光)、中央重点測光、スポット測光(部分測光)、および分割測光等の方式がある。平均測光では、撮像により得られる画像全体の平均の明るさを算出する。中央重点測光では、画像の中央(または指定部分)に近いほど重みを重くした明るさの加重平均値を算出する。スポット測光では、画像の中央または指定部分を中心として定義された所定の一箇所(または数カ所)の範囲の明るさの平均値(または加重平均値)を算出する。分割測光では、画像を複数の部分に分けてそれぞれの部分で測光を行い、総合的な明るさの値を算出する。
 自動露出の機能を有する撮像部では、直接的に露光時間を短くする設定することができなくても、その自動露光の機能によって、間接的に露光時間を設定することができる。例えば、感度を高く(例えば最大値に)設定すると、他の条件が同じであれば、撮像により得られる画像が明るくなってしまうため、自動露出によって露光時間を短く設定することができる。また、絞りを開くように(つまり開放に)設定すると、同様に、露光時間を短く設定することができる。また、露出補正のレベルを示す値を低く(例えば最小値に)設定すると、自動露出によって、撮像により得られる画像は暗くなる。つまり、露光時間が短く設定される。画像内の最も明るい場所を測光位置に指定することで、露光時間を短く設定することができる。また、測光方法の指定が可能であれば、スポット測光を指定することで、露光時間を短く設定することができる。測光範囲の指定が可能であれば、測光範囲を最小に指定することで、露光時間を短く設定することができる。画像内の明るい部分の面積が大きい場合は、その部分を超えないようになるべく大きく測光範囲を指定することで、露光時間を短く設定することができる。測光位置を複数指定することが可能であれば、同じ場所を測光位置として複数回指定することで、露光時間を短く設定することができる。画像内の明るい場所をズームで大きく写し、その場所を測光位置として指定することで、露光時間を短く設定することができる。
 ここで、EXズームについて説明する。
 図260は、EXズームを説明するための図である。
 図259Cにおけるズーム、つまり、大きな像を得る方法には、レンズの焦点距離を調整して撮像素子に写る像の大きさを変化させる光学ズームと、撮像素子に写った像をデジタル処理で補間して大きな像を得るデジタルズームと、撮像に用いられる複数の撮像素子を変更することで大きな像を得るEXズームとがある。EXズームは、撮像画像の解像度に比べてイメージセンサに含まれる撮像素子の数が多い場合に利用できる。
 例えば、図260に示すイメージセンサ10080aでは、32×24個の撮像素子がマトリックス状に配列されている。つまり、撮像素子が横に32個、縦に24個配置されている。このイメージセンサ10080aによる撮像によって、横16×縦12の解像度の画像を得る場合、図260の(a)に示すように、イメージセンサ10080aに含まれる32×24個の撮像素子のうち、イメージセンサ10080aにおいて全体的に均等に分散して配置された16×12個の撮像素子(例えば、図260の(a)におけるイメージセンサ1080a中の黒四角によって示される撮像素子)だけが撮像に用いられる。つまり、縦方向および横方向のそれぞれに配列される複数の撮像素子のうち、奇数番目または偶数番目の撮像素子だけが撮像に用いられる。これにより、所望の解像度の画像10080bが得られる。なお、図260において、イメージセンサ1008aに被写体が現れているが、これは、各撮像素子と、撮像によって得られる画像との対応関係を分かりやすくするためである。
 このイメージセンサ10080aを備えた受信機は、広い範囲を撮像することで、送信機を探索したり、多くの送信機からの情報を受信したりする場合は、イメージセンサ10080aにおいて全体的に均等に分散して配置された一部の撮像素子のみを用いて撮像する。
 また、受信機は、EXズームを行うときには、図260の(b)に示すように、イメージセンサ10080aにおいて、局所的に密に配置された一部の撮像素子(例えば、図260の(b)におけるイメージセンサ1080a中の黒四角によって示される16×12個の撮像素子)のみを撮像に用いる。これにより、画像10080bのうち、その一部の撮像素子に対応する部分がズームされることになり、画像10080dが得られる。このようなEXズームによって、送信機を大きく撮像することで、可視光信号を長時間受信できるようになり、受信速度が向上し、また、遠くから可視光信号を受信できる。
 デジタルズームでは、可視光信号を受ける露光ラインの数を増やすことはできず、可視光信号の受信時間も増加しないため、可能な限り他のズームを用いるほうがよい。光学ズームは、レンズやイメージセンサの物理的な移動時間が必要であるが、EXズームは電子的な設定変更のみで行われるため、ズームにかかる時間が短いという利点がある。この観点から、各ズームの優先順位は、(1)EXズーム、(2)光学ズーム、(3)デジタルズームである。受信機は、この優先順位と、ズーム倍率の必要性とに応じて、いずれか1つまたは複数のズームを選択して用いてもよい。なお、図260の(a)および(b)に示す撮像方法では、使用していない撮像素子を用いることで、画像ノイズを抑えることが可能である。
 図261Aは、実施の形態10における受信プログラムの処理を示すフローチャートである。
 この受信プログラムは、受信機に備えられたコンピュータに例えば図259A~図260に示す処理を実行させるプログラムである。
 つまり、この受信プログラムは、発光体から情報を受信するための受信プログラムである。具体的には、この受信プログラムは、イメージセンサの露光時間を自動露出を用いて設定する露光時間設定ステップSA21と、輝度変化する発光体を、設定された露光時間でイメージセンサに撮像させることによって、イメージセンサに含まれる複数の露光ラインのそれぞれに対応する輝線を含む画像である輝線画像を取得する輝線画像取得ステップSA22と、取得された輝線画像に含まれる複数の輝線のパターンを復号することにより情報を取得する情報取得ステップSA23とをコンピュータに実行させる。また、露光時間設定ステップSA21では、図259AのステップS9208のように、イメージセンサの感度を、そのイメージセンサに対して予め定められた範囲のうちの最大値に設定し、最大値の感度に応じた露光時間を自動露出によって設定する。
 これにより、イメージセンサの露光時間を直接設定することができなくても、一般的なカメラに搭載されている自動露出の機能を利用して、適切な輝線画像を取得し得る程度の短い露光時間を設定することができる。つまり、自動露出では、イメージセンサによる撮像によって取得された画像の明るさに基づいて露出が調整される。そこで、イメージセンサの感度が大きな値に設定されれば、その画像が明るくなるため、露出を抑えるために、イメージセンサの露光時間が短く設定される。イメージセンサの感度を最大値に設定すれば、露光時間をより短く設定することができ、適切な輝線画像を取得することができる。つまり、発光体からの情報を適切に受信することができる。その結果、多様な機器間の通信を可能にすることができる。なお、感度は例えばISO感度である。
 また、露光時間設定ステップSA21では、図259AのステップS9212のように、イメージセンサの露出補正のレベルを示す値を、そのイメージセンサに対して予め設定された範囲のうちの最小値に設定し、最大値の感度および最小値のレベルの露出補正に応じた露光時間を自動露出によって設定する。
 これにより、露出補正のレベルを示す値が最小値に設定されるため、露出を抑えようとする自動露出の処理によって、露光時間をより短く設定することができ、より適切な輝線画像を取得することができる。なお、露出補正のレベルを示す値の単位は例えばEVである。
 また、露光時間設定ステップSA21では、図259Cに示すように、発光体を含む被写体のイメージセンサによる撮像によって取得される第1の画像において他の部分より明るい部分を特定する。そして、その明るい部分に対応する被写体の一部を光学ズームによって拡大する。さらに、イメージセンサによる、拡大された被写体の一部の撮像によって取得される第2の画像を、自動露出の入力に用いることによって、露光時間を設定する。また、輝線画像取得ステップSA22では、拡大された被写体の一部を、設定された露光時間でイメージセンサに撮像させることによって、輝線画像を取得する。
 これにより、第1の画像の明るい部分に対応する被写体の一部が光学ズームによって拡大されるため、つまり、明るい発光体が光学ズームによって拡大されるため、第2の画像を第1の画像よりも全体的に明るくすることができる。そして、その明るい第2の画像が自動露出の入力に用いられるため、露出を抑えようとする自動露出の処理によって、露光時間をより短く設定することができ、適切な輝線画像を取得することができる。
 また、露光時間設定ステップSA21では、図259Cに示すように、発光体を含む被写体のイメージセンサによる撮像によって取得される第1の画像の中央部分が、第1の画像における複数の位置の明るさの平均よりも明るいか否かを判定する。そして、中央部分が明るいと判定された場合には、中央部分に対応する被写体の一部を光学ズームによって拡大する。さらに、イメージセンサによる、拡大された被写体の一部の撮像によって取得される第2の画像を、自動露出の入力に用いることによって、露光時間を設定する。また、輝線画像取得ステップSA22では、拡大された被写体の一部を、設定された露光時間でイメージセンサに撮像させることによって、輝線画像を取得する。
 これにより、第1の画像の明るい中央部分に対応する被写体の一部が光学ズームによって拡大されるため、つまり、明るい発光体が光学ズームによって拡大されるため、第2の画像を第1の画像よりも全体的に明るくすることができる。そして、その明るい第2の画像が自動露出の入力に用いられるため、露出を抑えようとする自動露出の処理によって、露光時間をより短く設定することができ、適切な輝線画像を取得することができる。また、光学ズームは、拡大の中心位置を任意に設定することができなければ、画角または画像の中央部分を拡大する。したがって、その中心位置を任意に設定することができない場合であっても、第1の画像の中央部分が明るければ、光学ズームを利用することによって、第2の画像を全体的に明るくすることができる。さらに、第1の画像の中央部分が暗い場合にも、光学ズームによる拡大が行われると、第2の画像が暗くなり、露光時間が長くなってしまう。そこで、上述のように、中央部分が明るいと判定された場合に限って、光学ズームによる拡大を行うことによって、露光時間が長くなることを防ぐことができる。
 また、露光時間設定ステップSA21では、図260に示すように、イメージセンサに含まれるK個(Kは3以上の整数)の撮像素子のうち、イメージセンサ内で均等に分散して配置されたN個(NはK未満2以上の整数)の撮像素子のみによる、発光体を含む被写体の撮像によって取得される第1の画像において、他の部分より明るい部分を特定する。さらに、イメージセンサに含まれるK個の撮像素子のうち、明るい部分に対応する密集したN個の撮像素子のみによる撮像によって取得される第2の画像を、自動露出の入力に用いることによって、露光時間を設定する。また、輝線画像取得ステップSA22では、イメージセンサに含まれる密集したN個の撮像素子のみに、設定された露光時間で撮像させるとによって、輝線画像を取得する。
 これにより、いわゆるEXズームによって、第1の画像における明るい部分が中央になくても、第2の画像を全体的に明るくすることができ、露光時間をより短く設定することができる。
 また、露光時間設定ステップSA21では、図259Cに示すように、イメージセンサが被写体を撮像することによって取得される画像内における測光位置を設定し、設定された測光位置の明るさに応じた露光時間を自動露出によって設定する。
 これにより、撮像によって取得される画像内において明るい部分が測光位置に設定されれば、露出を抑えようとする自動露出の処理によって、露光時間をより短く設定することができ、適切な輝線画像を取得することができる。
 また、受信プログラムは、さらに、イメージセンサの撮像モードを、撮影によってカラーの画像を取得するためのカラー撮像モードから、撮影によってモノクロの画像を取得するためのモノクロ撮像モードに切り替える撮像モード設定ステップをコンピュータに実行させてもよい。この場合、露光時間設定ステップSA21では、モノクロ撮像モードによって取得される画像を自動露出の入力に用いることによって、露光時間を設定する。
 これにより、モノクロ撮像モードによって取得される画像が自動露出の入力に用いられるため、色の情報に影響されることなく、適切な露光時間を設定することができる。また、モノクロ撮像モードによって露光時間が設定される場合には、そのモードにしたがった撮像によって輝線画像が取得される。したがって、発光体から輝度変化だけで情報が送信されている場合には、その情報を適切に取得することができる。
 また、露光時間設定ステップSA21では、イメージセンサによる発光体の撮像によって画像が取得されるたびに、取得された画像を自動露出の入力に用いることによって、イメージセンサの露光時間を更新する。ここで、例えば図259DのステップS9234に示すように、随時更新される露光時間の変動幅が所定の範囲以下になったときに、自動露出による露光時間の更新を終了することにより、露光時間を設定する。
 これにより、露光時間の変動が安定したときに、つまり、撮像によって取得される画像の明るさが自動露出によって目標とされている明るさに収まったときに、そのときの露光時間が、輝線画像の取得のための撮像に用いられる。したがって、適切な輝線画像を取得することができる。
 図261Bは、実施の形態10における受信装置のブロック図である。
 この受信装置A20は、例えば図259A~図260に示す処理を実行する上述の受信機である。
 つまり、この受信装置A20は、発光体から情報を受信するための装置であって、イメージセンサの露光時間を自動露出を用いて設定する露光時間設定部A21と、輝度変化する発光体を、設定された露光時間でイメージセンサに撮像させることによって、イメージセンサに含まれる複数の露光ラインのそれぞれに対応する輝線を含む画像である輝線画像を取得する撮像部A22と、取得された輝線画像に含まれる複数の輝線のパターンを復号することにより情報を取得する復号部A23とを備える。露光時間設定部A21は、イメージセンサの感度を、そのイメージセンサに対して予め定められた範囲のうちの最大値に設定し、最大値の感度に応じた露光時間を自動露出によって設定する。この受信装置A20では、上述の受信プログラムと同様の効果を奏することができる。
 本発明の一態様に係る受信プログラムは、上記の情報処理プログラムによって出力された信号にしたがって輝度変化する発光体から、情報を受信するための受信プログラムであって、イメージセンサの露光時間を自動露出を用いて設定する露光時間設定ステップと、輝度変化する前記発光体を含む被写体を、設定された前記露光時間で前記イメージセンサに撮像させることによって、前記イメージセンサに含まれる複数の露光ラインのそれぞれに対応する輝線を含む画像である輝線画像を取得する輝線画像取得ステップと、取得された前記輝線画像に含まれる前記複数の輝線のパターンを復号することにより情報を取得する情報取得ステップとをコンピュータに実行させ、前記露光時間設定ステップでは、前記イメージセンサの感度を、当該イメージセンサに対して予め定められた範囲のうちの最大値に設定し、前記最大値の感度に応じた前記露光時間を前記自動露出によって設定する。
 これにより、図259A~図261Bに示すように、イメージセンサの露光時間を直接設定することができなくても、一般的なカメラに搭載されている自動露出の機能を利用して、適切な輝線画像を取得し得る程度の短い露光時間を設定することができる。つまり、自動露出では、イメージセンサによる撮像によって取得された画像の明るさに基づいて露出が調整される。そこで、イメージセンサの感度が大きな値に設定されれば、その画像が明るくなるため、露出を抑えるために、イメージセンサの露光時間が短く設定される。イメージセンサの感度を最大値に設定すれば、露光時間をより短く設定することができ、適切な輝線画像を取得することができる。つまり、発光体からの情報を適切に受信することができる。その結果、多様な機器間の通信を可能にすることができる。なお、感度は例えばISO感度である。
 また、前記露光時間設定ステップでは、前記イメージセンサの露出補正のレベルを示す値を、当該イメージセンサに対して予め設定された範囲のうちの最小値に設定し、前記最大値の感度および前記最小値のレベルの露出補正に応じた前記露光時間を前記自動露出によって設定してもよい。
 これにより、露出補正のレベルを示す値が最小値に設定されるため、露出を抑えようとする自動露出の処理によって、露光時間をより短く設定することができ、より適切な輝線画像を取得することができる。なお、露出補正のレベルを示す値の単位は例えばEVである。
 また、前記露光時間設定ステップでは、前記発光体を含む被写体の前記イメージセンサによる撮像によって取得される第1の画像において他の部分より明るい部分を特定し、前記明るい部分に対応する前記被写体の一部を光学ズームによって拡大し、前記イメージセンサによる、拡大された前記被写体の一部の撮像によって取得される第2の画像を、前記自動露出の入力に用いることによって、前記露光時間を設定し、前記輝線画像取得ステップでは、拡大された前記被写体の一部を、設定された前記露光時間で前記イメージセンサに撮像させることによって、前記輝線画像を取得してもよい。
 これにより、第1の画像の明るい部分に対応する被写体の一部が光学ズームによって拡大されるため、つまり、明るい発光体が光学ズームによって拡大されるため、第2の画像を第1の画像よりも全体的に明るくすることができる。そして、その明るい第2の画像が自動露出の入力に用いられるため、露出を抑えようとする自動露出の処理によって、露光時間をより短く設定することができ、適切な輝線画像を取得することができる。
 また、前記露光時間設定ステップでは、前記発光体を含む被写体の前記イメージセンサによる撮像によって取得される第1の画像の中央部分が、前記第1の画像における複数の位置の明るさの平均よりも明るいか否かを判定し、前記中央部分が明るいと判定された場合には、前記中央部分に対応する前記被写体の一部を光学ズームによって拡大し、前記イメージセンサによる、拡大された前記被写体の一部の撮像によって取得される第2の画像を、前記自動露出の入力に用いることによって、前記露光時間を設定し、前記輝線画像取得ステップでは、拡大された前記被写体の一部を、設定された前記露光時間で前記イメージセンサに撮像させることによって、前記輝線画像を取得してもよい。
 これにより、第1の画像の明るい中央部分に対応する被写体の一部が光学ズームによって拡大されるため、つまり、明るい発光体が光学ズームによって拡大されるため、第2の画像を第1の画像よりも全体的に明るくすることができる。そして、その明るい第2の画像が自動露出の入力に用いられるため、露出を抑えようとする自動露出の処理によって、露光時間をより短く設定することができ、適切な輝線画像を取得することができる。また、光学ズームは、拡大の中心位置を任意に設定することができなければ、画角または画像の中央部分を拡大する。したがって、その中心位置を任意に設定することができない場合であっても、第1の画像の中央部分が明るければ、光学ズームを利用することによって、第2の画像を全体的に明るくすることができる。さらに、第1の画像の中央部分が暗い場合にも、光学ズームによる拡大が行われると、第2の画像が暗くなり、露光時間が長くなってしまう。そこで、上述のように、中央部分が明るいと判定された場合に限って、光学ズームによる拡大を行うことによって、露光時間が長くなることを防ぐことができる。
 また、前記露光時間設定ステップでは、前記イメージセンサに含まれるK個(Kは3以上の整数)の撮像素子のうち、前記イメージセンサ内で均等に分散して配置されたN個(NはK未満2以上の整数)の撮像素子のみによる、前記発光体を含む被写体の撮像によって取得される第1の画像において、他の部分より明るい部分を特定し、前記イメージセンサに含まれるK個の撮像素子のうち、前記明るい部分に対応する密集したN個の撮像素子のみによる撮像によって取得される第2の画像を、前記自動露出の入力に用いることによって、前記露光時間を設定し、前記輝線画像取得ステップでは、前記イメージセンサに含まれる前記密集したN個の撮像素子のみに、設定された前記露光時間で撮像させることによって、前記輝線画像を取得してもよい。
 これにより、いわゆるEXズームによって、第1の画像における明るい部分が中央になくても、第2の画像を全体的に明るくすることができ、露光時間をより短く設定することができる。
 また、前記露光時間設定ステップでは、前記イメージセンサが前記被写体を撮像することによって取得される画像内における測光位置を設定し、設定された前記測光位置の明るさに応じた前記露光時間を前記自動露出によって設定してもよい。
 これにより、撮像によって取得される画像内において明るい部分を測光位置に設定すれば、露出を抑えようとする自動露出の処理によって、露光時間をより短く設定することができ、適切な輝線画像を取得することができる。
 また、前記受信プログラムは、さらに、前記イメージセンサの撮像モードを、撮影によってカラーの画像を取得するためのカラー撮像モードから、撮影によってモノクロの画像を取得するためのモノクロ撮像モードに切り替える撮像モード設定ステップを前記コンピュータに実行させ、前記露光時間設定ステップでは、前記モノクロ撮像モードによって取得される画像を前記自動露出の入力に用いることによって、前記露光時間を設定してもよい。
 これにより、モノクロ撮像モードによって取得される画像が自動露出の入力に用いられるため、色の情報に影響されることなく、適切な露光時間を設定することができる。また、モノクロ撮像モードによって露光時間が設定される場合には、そのモードにしたがった撮像によって輝線画像が取得される。したがって、発光体から輝度変化だけで情報が送信されている場合には、その情報を適切に取得することができる。
 また、前記露光時間設定ステップでは、前記イメージセンサによる前記発光体の撮像によって画像が取得されるたびに、取得された画像を前記自動露出の入力に用いることによって、前記イメージセンサの露光時間を更新し、随時更新される前記露光時間の変動幅が所定の範囲以下になったときに、前記自動露出による前記露光時間の更新を終了することにより、前記露光時間を設定してもよい。
 これにより、露光時間の変動が安定したときに、つまり、撮像によって取得される画像の明るさが自動露出によって目標とされている明るさに収まったときに、そのときの露光時間が、輝線画像の取得のための撮像に用いられる。したがって、適切な輝線画像を取得することができる。
 (実施の形態12)
 本実施の形態では、上記各実施の形態におけるスマートフォンなどの受信機と、LEDや有機ELの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
 本実施の形態では、露光ライン毎または撮像素子毎に露光時間を設定する。
 図262、図263、図264は、実施の形態12における信号受信方法の一例を示す図である。
 図262に示すように、受信機に備えられている撮像部であるイメージセンサ10010aでは、露光ライン毎に露光時間が設定される。即ち、所定の露光ライン(図262中における白い露光ライン)には、通常撮像用の長い露光時間が設定され、他の露光ライン(図262中における黒い露光ライン)には、可視光撮像用の短い露光時間が設定されている。例えば、垂直方向に配列されている各露光ラインに対して、長い露光時間と短い露光時間とが交互に設定されている。これにより、輝度変化によって可視光信号を送信する送信機を撮像する際に、通常撮像と可視光撮像(可視光通信)とをほぼ同時に行うことができる。なお、二つの露光時間は1ライン毎に交互に設定されてもよいし、数ライン毎に設定されてもよいし、イメージセンサ10010aの上部と下部で別々の露光時間が設定されてもよい。このように2つの露光時間を用いることにより、同じ露光時間に設定された複数の露光ラインの撮像によって得られたデータをそれぞれまとめると、通常撮像画像10010bと、複数の輝線のパターンを示す輝線画像である可視光撮像画像10010cとが得られる。通常撮像画像10010bでは、長い露光時間で撮像していない部分(つまり、短い露光時間に設定された複数の露光ラインに対応する画像)が欠けているため、その部分を補間することで、プレビュー画像10010dを表示することができる。ここで、プレビュー画像10010dには、可視光通信によって得られた情報を重畳することができる。この情報は、可視光撮像画像10010cに含まれる複数の輝線のパターンを復号することによって得られた可視光信号に関連付けられた情報である。なお、受信機は、通常撮像画像10010b、またはその通常撮像画像10010bに対して補間が行われた画像を撮像画像として保存し、受信した可視光信号、またはその可視光信号に関連付けられた情報を付加情報として、保存される撮像画像に付加することもできる。
 図263に示すように、イメージセンサ10010aの代わりにイメージセンサ10011aを用いてもよい。イメージセンサ1011aでは、露光ラインごとにではなく、露光ラインと垂直な方向に沿って配列された複数の撮像素子からなる列(以下、垂直ラインという)ごとに、露光時間が設定される。即ち、所定の垂直ライン(図263中における白い垂直ライン)には、通常撮像用の長い露光時間が設定され、他の垂直ライン(図263中における黒い垂直ライン)には、可視光撮像用の短い露光時間が設定されている。この場合、イメージセンサ10011aでは、イメージセンサ10010aと同様に、露光ラインごとに互いに異なるタイミングで露光が開始されるが、露光ラインのそれぞれで、その露光ラインに含まれる各撮像素子の露光時間が異なる。受信機は、このイメージセンサ10011aによる撮像によって、通常撮像画像10011bと、可視光撮像画像10011cとを得る。さらに、受信機は、この通常撮像画像10011bと、可視光撮像画像10011cから得られた可視光信号に関連付けられた情報とに基づいて、プレビュー画像10011dを生成して表示する。
 このイメージセンサ10011aでは、イメージセンサ10010aとは異なり、可視光撮像に全ての露光ラインを用いることができる。その結果、イメージセンサ10011aによって得られる可視光撮像画像10011cには、可視光撮像画像10010cと比べて輝線が多く含まれているため、可視光信号の受信精度を高くすることができる。
 また、図264に示すように、イメージセンサ10010aの代わりにイメージセンサ10012aを用いてもよい。イメージセンサ10012aでは、水平方向および垂直方向に沿って各撮像素子に対して連続して同じ露光時間が設定されないように、撮像素子ごとに露光時間が設定される。つまり、長い露光時間が設定される複数の撮像素子と、短い露光時間が設定される複数の撮像素子とが、格子状または市松模様のように分布するように、各撮像素子に対して露光時間が設定される。この場合も、イメージセンサ10010aと同様に、露光ラインごとに互いに異なるタイミングで露光が開始されるが、露光ラインのそれぞれで、その露光ラインに含まれる各撮像素子の露光時間が異なる。受信機は、このイメージセンサ10012aによる撮像によって、通常撮像画像10012bと、可視光撮像画像10012cとを得る。さらに、受信機は、この通常撮像画像10012bと、可視光撮像画像10012cから得られた可視光信号に関連付けられた情報とに基づいて、プレビュー画像10012dを生成して表示する。
 イメージセンサ10012aによって得られる通常撮像画像10012bは、格子状に配置された、または均一に配置された複数の撮像素子のデータを持つため、通常撮像画像10010bと通常撮像画像10011bよりも正確に補間やリサイズをすることができる。また、可視光撮像画像10012cは、イメージセンサ10012aの全ての露光ラインを用いた撮像によって生成されている。つまり、このイメージセンサ10012aでは、イメージセンサ10010aとは異なり、可視光撮像に全ての露光ラインを用いることができる。その結果、イメージセンサ10012aによって得られる可視光撮像画像10012cには、可視光撮像画像10011cと同様に、可視光撮像画像10010cと比べて輝線が多く含まれているため、可視光信号の受信を高精度に行うことができる。
 ここで、プレビュー画像のインタレース表示について説明する。
 図265は、実施の形態12における受信機の画面表示方法の一例を示す図である。
 上述の図262に示すイメージセンサ10010aを備える受信機は、奇数番目の露光ライン(以下、奇数ラインという)に設定される露光時間と、偶数番目の露光ライン(以下、偶数ラインという)に設定される露光時間とを所定の時間ごとに入れ替える。例えば、図265に示すように、受信機は、時刻t1で、奇数ラインの各撮像素子に対して長い露光時間を設定し、偶数ラインの各撮像素子に対して短い露光時間を設定し、それらの設定された露光時間を用いた撮像を行う。さらに、受信機は、時刻t2で、奇数ラインの各撮像素子に対して短い露光時間を設定し、偶数ラインの各撮像素子に対して長い露光時間を設定し、それらの設定された露光時間を用いた撮像を行う。そして、受信機は、時刻t3で、時刻t1のときと同様に設定された各露光時間を用いた撮像を行い、時刻t4で、時刻t2のときと同様に設定された各露光時間を用いた撮像を行う。
 また、受信機は、時刻t1では、撮像によって複数の奇数ラインのそれぞれから得られる画像(以下、奇数ライン像という)と、撮像によって複数の偶数ラインのそれぞれから得られる画像(以下、偶数ライン像という)とを含むImage1を取得する。このときには、複数の偶数ラインのそれぞれでは露光時間が短いため、偶数ライン像のそれぞれには、被写体が鮮明に映し出されていない。したがって、受信機は、複数の奇数ライン像に対して画素値の補間を行うことによって、複数の補間ライン像を生成する。そして、受信機は、複数の偶数ライン像の代わりに複数の補間ライン像を含むプレビュー画像を表示する。つまり、プレビュー画像には、奇数ライン像と補間ライン像とが交互に配列されている。
 受信機は、時刻t2では、撮像によって複数の奇数ライン像と偶数ライン像とを含むImage2を取得する。このときには、複数の奇数ラインのそれぞれでは、露光時間が短いため、奇数ライン像のそれぞれには、被写体が鮮明に映し出されていない。したがって、受信機は、Image2の奇数ライン像の代わりに、Image1の奇数ライン像を含むプレビュー画像を表示する。つまり、プレビュー画像には、Image1の奇数ライン像とImage2の偶数ライン像とが交互に配列されている。
 さらに、受信機は、時刻t3では、撮像によって複数の奇数ライン像と偶数ライン像とを含むImage3を取得する。このときには、時刻t1のときと同様に、複数の偶数ラインのそれぞれでは、露光時間が短いため、偶数ライン像のそれぞれには、被写体が鮮明に映し出されていない。したがって、受信機は、Image3の偶数ライン像の代わりに、Image2の偶数ライン像を含むプレビュー画像を表示する。つまり、プレビュー画像には、Image2の偶数ライン像とImage3の奇数ライン像とが交互に配列されている。そして、受信機は、時刻t4では、撮像によって複数の奇数ライン像と偶数ライン像とを含むImage4を取得する。このときには、時刻t2のときと同様に、複数の奇数ラインのそれぞれでは、露光時間が短いため、奇数ライン像のそれぞれには、被写体が鮮明に映し出されていない。したがって、受信機は、Image4の奇数ライン像の代わりに、Image3の奇数ライン像を含むプレビュー画像を表示する。つまり、プレビュー画像には、Image3の奇数ライン像とImage4の偶数ライン像とが交互に配列されている。
 このように、受信機は、取得されたタイミングが互いに異なる偶数ライン像と奇数ライン像とを含むImageを表示する、いわゆるインタレース表示を行う。
 これのような受信機は、可視光撮像を行いながら精細なプレビュー画像を表示することができる。なお、同じ露光時間が設定される複数の撮像素子は、イメージセンサ10010aのように露光ラインに水平な方向に沿って配列されている複数の撮像素子でもよいし、イメージセンサ10011aのように露光ラインに垂直な方向に沿って配列されている複数の撮像素子でもよいし、イメージセンサ10012aのように市松模様にしたがって配列されている複数の撮像素子であってもよい。また、受信機は、プレビュー画像を撮像データとして保存してもよい。
 次に、通常撮像と可視光撮像の空間比率について説明する。
 図266は、実施の形態12における信号受信方法の一例を示す図である。
 受信機に備えられるイメージセンサ10014bでは、上述のイメージセンサ10010aと同様に、露光ラインごとに長い露光時間または短い露光時間が設定される。このイメージセンサ10014bでは、長い露光時間が設定される撮像素子の数と、短い露光時間が設定される撮像素子の数との比は、1:1である。なお、この比は、通常撮像と可視光撮像との比であって、以下、空間比率という。
 しかし、本実施の形態では、その空間比率は1:1である必要はない。例えば、受信機は、イメージセンサ10014aを備えていてもよい。このイメージセンサ10014aでは、短い露光時間の撮像素子の方が、長い露光時間の撮像素子よりも多く、空間比率は、1:N(N>1)である。また、受信機は、イメージセンサ10014cを備えていてもよい。このイメージセンサ10014cでは、短い露光時間の撮像素子の方が、長い露光時間の撮像素子よりも少なく、空間比率は、N(N>1):1である。また、受信機は、イメージセンサ10014a~10014cの代わりに、上述の垂直ラインごとに露光時間が設定され、それぞれ1:N、1:1、またはN:1の空間比率を有するイメージセンサ10015a~10015cの何れかを備えてもよい。
 このようなイメージセンサ10014a,10015aでは、短い露光時間の撮像素子が多いため、可視光信号の受信精度または受信速度を高めることができる。一方、イメージセンサ10014c,10015cでは、長い露光時間の撮像素子が多いため、精細なプレビュー画像を表示することができる。
 また、受信機は、イメージセンサ10014a,10014c,10015a,10015cを用いて、図265に示すように、インタレース表示を行ってもよい。
 次に、通常撮像と可視光撮像の時間比率について説明する。
 図267は、実施の形態12における信号受信方法の一例を示す図である。
 受信機は、図267の(a)に示すように、撮像モードを1フレーム毎に通常撮像モードと可視光撮像モードとに切り替えてもよい。通常撮像モードは、受信機のイメージセンサの全ての撮像素子に対して、通常撮像用の長い露光時間が設定される撮像モードである。可視光撮像モードは、受信機のイメージセンサの全ての撮像素子に対して、可視光撮像用の短い露光時間が設定される撮像モードである。このように、露光時間の長い/短いを切り替えることで、短い露光時間での撮像によって可視光信号を受信しながら、長い露光時間での撮像によってプレビュー画像を表示することができる。
 なお、受信機は、長い露光時間を自動露出によって決定する場合には、短い露光時間での撮像によって得られた画像を無視し、長い露光時間での撮像によって得られた画像の明るさのみを基準に自動露出を行ってもよい。これにより、長い露光時間を適切な時間に決定することができる。
 また、受信機は、図267の(b)に示すように、撮像モードを複数フレームのセットごとに通常撮像モードと可視光撮像モードとに切り替えてもよい。露光時間の切替に時間がかかる場合や、露光時間が安定するまでに時間がかかる場合には、図267の(b)に示すように、複数フレームのセットごとに露光時間を変化させることで、可視光撮像(可視光信号の受信)と通常撮像とを両立させることができる。また、セットに含まれるフレームの数が多いほど、露光時間の切替の回数が少なくなるため、受信機における電力消費、及び、発熱を抑えることができる。
 ここで、通常撮像モードでの長い露光時間の撮像によって連続して生成される少なくとも1つのフレームの数と、可視光撮像モードでの短い露光時間の撮像によって連続して生成される少なくとも1つのフレームの数との比(以下、時間比率という)は、1:1でなくてもよい。つまり、図267の(a)および(b)に示す場合では、時間比率は1:1であるが、その時間比率は1:1でなくてもよい。
 例えば、受信機は、図267の(c)に示すように、可視光撮像モードのフレームを、通常撮像モードのフレームより多くしてもよい。これにより、可視光信号の受信速度を速くすることができる。プレビュー画像のフレームレートが所定のレート以上であれば、フレームレートによるプレビュー画像の違いは人間の目には認識されない。撮像のフレームレートが十分高い場合、例えば、そのフレームレートが120fpsの場合には、受信機は、連続する3フレームに対して可視光撮像モードを設定し、次く1フレームに対して可視光撮像モードを設定する。これにより、受信機は、上述の所定のレートよりも十分に高い30fpsのフレームレートでプレビュー画像を表示しながら、高速に可視光信号を受信することができる。また、切替の回数が少なくなるため、図267の(b)で説明した効果も得られる。
 また、受信機は、図267の(d)に示すように、通常撮像モードのフレームを、可視光撮像モードのフレームより多くしてもよい。このように、通常撮像モードのフレーム、つまり、長い露光時間での撮像によって得られるフレームを多くすることで、プレビュー画像を滑らかに表示することができる。また、可視光信号の受信処理を行う回数が減るため、省電力効果がある。また、切替の回数が少なくなるため、図267の(b)で説明した効果も得られる。
 また、受信機は、図267の(e)に示すように、まず、図267の(a)に示す場合と同様に、1フレームごとに撮像モードを切り替え、次に、可視光信号の受信が完了すると、図267の(d)に示す場合と同様に、通常撮像モードのフレームを多くしてもよい。これにより、可視光信号の受信完了後には、プレビュー画像を滑らかに表示しつつ、新たな可視光信号が存在しないかの探索を続けることができる。また、切替の回数が少なくなるため、図267の(b)で説明した効果も得られる。
 図268は、実施の形態12における信号受信方法の一例を示すフローチャートである。
 受信機は、可視光信号を受信する処理である可視光受信を開始し(ステップS10017a)、露光時間長短設定比を、ユーザが指定した値に設定する(ステップS10017b)。露光時間長短設定比は、上述の空間比率と時間比率のうちの少なくとも1つである。ユーザは、空間比率のみ、時間比率のみ、または、その空間比率および時間比率の双方の値を指定してもよいし、受信機がユーザによる指定に関わらず自動で設定してもよい。
 次に、受信機は、受信性能が所定の値以下であるか否かを判定する(ステップS10017c)。所定の値以下であると判定すると(ステップS10017cのY)、受信機は、短い露光時間の比率を高く設定する(ステップS10017d)。これにより、受信性能を高めることができる。なお、短い露光時間の比率は、空間比率の場合、長い露光時間が設定される撮像素子の数に対する、短い露光時間が設定される撮像素子の数の比率であり、時間比率の場合、通常撮像モードで連続して生成されるフレームの数に対する、可視光撮像モードで連続して生成されるフレームの数の比率である。
 次に、受信機は、可視光信号の少なくとも一部を受信し、その受信された可視光信号の少なくとも一部(以下、受信信号という)に優先度が設定されているか否かを判定する(ステップS10017e)。なお、優先度が設定されている場合には、優先度を示す識別子が受信信号に含まれている。受信機は、優先度が設定されていると判定すると(ステップS10017eのY)、その優先度にしたがって露光時間長短比を設定する(ステップS10017f)。すなわち、優先度が高ければ、受信機は、短い露光時間の比率を高く設定する。例えば、送信機として構成された非常灯が輝度変化することによって、高い優先度を示す識別子を発している。この場合、受信機は、短い露光時間の比率を高くすることで受信速度を上げ、速やかに避難経路などを表示することができる。
 次に、受信機は、可視光信号の全ての受信が完了したか否かを判定する(ステップS10017g)。ここで、完了していないと判定したときには(ステップS10017gのN)、受信機はステップS10017cからの処理を繰り返し実行する。一方、完了したと判定したときには(ステップS10017gのY)、受信機は、長い露光時間の比率を高く設定し、省電力モードに移行する(ステップS10017h)。なお、長い露光時間の比率は、空間比率の場合、短い露光時間が設定される撮像素子の数に対する、長い露光時間が設定される撮像素子の数の比率であり、時間比率の場合、可視光撮像モードで連続して生成されるフレームの数に対する、通常撮像モードで連続して生成されるフレームの数の比率である。これにより、不要な可視光受信を行わず、プレビュー画像を滑らかに表示することができる。
 次に、受信機は、別の可視光信号を発見したか否かを判定する(ステップS10017i)。ここで、発見したと判定したときには(ステップS10017iのY)、受信機は、ステップS10017bからの処理を繰り返し実行する。
 次に、可視光撮像と通常撮像との同時実行について説明する。
 図269は、実施の形態12における信号受信方法の一例を示す図である。
 受信機は、イメージセンサに2以上の露光時間を設定してもよい。つまり、図269の(a)に示すように、イメージセンサに含まれる露光ラインのそれぞれは、設定された2以上の露光時間のうち、最も長い露光時間だけ連続して露光される。受信機は、露光ラインごとに、上述の設定された2以上の露光時間がそれぞれ経過した時点で、その露光ラインの露光によって得られた撮像データを読み出す。ここで、受信機は、最も長い露光時間が経過するまでは、読み出された撮像データをリセットしない。したがって、受信機は、読み出された撮像データの累積値を記録しておくことで、最も長い露光時間の露光だけで、複数の露光時間での撮像データを得ることができる。なお、イメージセンサは、撮像データの累積値の記録を行ってもよいし、行わなくてもよい。イメージセンサが行わない場合には、イメージセンサからデータを読み出す受信機の構成要素が、累積の計算、つまり撮像データの累積値の記録を行う。
 例えば、露光時間が2つ設定されている場合には、図269の(a)に示すように、受信機は、短い露光時間の露光によって生成された、可視光信号を含む可視光撮像データを読み出し、続けて、長い露光時間の露光によって生成された通常撮像データを読み出す。
 これにより、可視光信号を受信するための撮像である可視光撮像と、通常撮像とを同時に行うことができ、可視光信号を受信しながら通常の撮像を行うことができる。また、複数の露光時間のデータを用いることで、サンプリング定理以上の信号周波数を認識することができ、高周波信号や高密度変調信号の受信を行うことができる。
 さらに、受信機は、撮像データを出力する際、図269(b)に示すように、その撮像データを撮像データボディとして含むデータ列を出力する。つまり、受信機は、撮像モード(可視光撮像または通常撮像)を示す撮像モード識別子と、撮像素子または撮像素子が属する露光ラインを特定するための撮像素子識別子と、撮像データボディが何番目の露光時間の撮像データであるかを示す撮像データ番号と、撮像データボディのサイズを示す撮像データ長とを含む付加情報を、撮像データボディに付加することによって、上述のデータ列を生成して出力する。図269の(a)を用いて説明した撮像データの読み出し方法では、それぞれの撮像データが露光ラインの順番に出力されるとは限らない。そこで、図269の(b)に示す付加情報を付加することで、撮像データがどの露光ラインの撮像データであるかを特定することができる。
 図270Aは、実施の形態12における受信プログラムの処理を示すフローチャートである。
 この受信プログラムは、受信機に備えられたコンピュータに例えば図262~図269に示す処理を実行させるプログラムである。
 つまり、この受信プログラムは、輝度変化する発光体から、情報を受信するための受信プログラムである。具体的には、この受信プログラムは、ステップSA31、ステップSA32およびステップSA33をコンピュータに実行させる。ステップSA31では、イメージセンサに含まれるK個(Kは4以上の整数)の撮像素子のうちの一部の複数の撮像素子に対して第1の露光時間を設定し、K個の撮像素子のうちの残りの複数の撮像素子に対して、第1の露光時間よりも短い第2の露光時間を設定する。ステップSA32では、輝度変化する発光体である被写体を、設定された第1および第2の露光時間でイメージセンサに撮像させることによって、第1の露光時間が設定された複数の撮像素子からの出力に応じた通常画像を取得するとともに、第2の露光時間が設定された複数の撮像素子からの出力に応じた画像であって、イメージセンサに含まれる複数の露光ラインのそれぞれに対応する輝線を含む画像である輝線画像を取得する。ステップSA33では、取得された輝線画像に含まれる複数の輝線のパターンを復号することにより情報を取得する。
 これにより、第1の露光時間が設定される複数の撮像素子と、第2の露光時間が設定される複数の撮像素子とによって撮像が行われるため、イメージセンサによる1回の撮像で、通常画像と輝線画像とを取得することができる。つまり、通常画像の撮像と、可視光通信による情報の取得とを同時に行うことができる。
 また、露光時間設定ステップSA31では、イメージセンサに含まれるL個(Lは4以上の整数)の撮像素子列のうちの一部の複数の撮像素子列に対して、第1の露光時間を設定し、L個の撮像素子列のうちの残りの複数の撮像素子列に対して、第2の露光時間を設定する。ここで、L個の撮像素子列のそれぞれは、イメージセンサに含まれる、一列に配列された複数の撮像素子からなる。
 これにより、小さな単位である撮像素子のそれぞれに対して個別に露光時間を設定することなく、大きな単位である撮像素子列ごとに露光時間を設定することができ、処理負担を軽減することができる。
 例えば、L個の撮像素子列のそれぞれは、図262に示すように、イメージセンサに含まれる露光ラインである。または、L個の撮像素子列のそれぞれは、図263に示すように、イメージセンサに含まれる露光ラインに垂直な方向に沿って配列された複数の撮像素子からなる。
 また、図265に示すように、露光時間設定ステップSA31では、イメージセンサに含まれるL個の撮像素子列のうちの奇数番目にある撮像素子列のそれぞれに対して同一の露光時間である、第1および第2の露光時間のうちの一方を設定し、L個の撮像素子列のうちの偶数番目にある撮像素子列のそれぞれに対して同一の露光時間である、第1および第2の露光時間のうちの他方を設定してもよい。そして、露光時間設定ステップSA31、画像取得ステップSA32および情報取得ステップSA33を繰り返す場合、繰り返される露光時間設定ステップSA31では、直前の露光時間設定ステップSA31で、奇数番目の撮像素子列のそれぞれに設定されていた露光時間と、偶数番目の撮像素子列のそれぞれに設定されていた露光時間とを入れ替えてもよい。
 これにより、通常画像の取得が行われるごとに、その取得に用いられる複数の撮像素子列を、奇数番目の複数の撮像素子列と、偶数番目の複数の撮像素子列とに切り替えることができる。その結果、順次取得される通常画像のそれぞれをインタレースによって表示することができる。また、連続して取得された2つの通常画像を互いに補完することによって、奇数番目の複数の撮像素子列による画像と、偶数番目の複数の撮像素子列による画像と含む新たな通常画像を生成することができる。
 また、図266に示すように、露光時間設定ステップSA31では、設定モードを通常優先モードと可視光優先モードとに切り替え、通常優先モードに切り替えられる場合には、第1の露光時間が設定される撮像素子の数を、第2の露光時間が設定される撮像素子の数よりも多くしてもよい。また、可視光優先モードに切り替えられる場合には、第1の露光時間が設定される撮像素子の数を、第2の露光時間が設定される撮像素子の数よりも少なくしてもよい。
 これにより、設定モードが通常優先モードに切り替えられた場合には、通常画像の画質を向上することができ、可視光優先モードに切り替えられた場合には、発光体からの情報の受信効率を向上することができる。
 また、図264に示すように、露光時間設定ステップSA31では、第1の露光時間が設定される複数の撮像素子と、第2の露光時間が設定される複数の撮像素子とが、市松模様(Checkered pattern)のように分布するように、イメージセンサに含まれる撮像素子ごとに、その撮像素子の露光時間を設定してもよい。
 これにより、第1の露光時間が設定される複数の撮像素子と、第2の露光時間が設定される複数の撮像素子とがそれぞれ均一に分布するため、水平方向および垂直方向に画質の偏りのない通常画像および輝線画像を取得することができる。
 図270Bは、実施の形態12における受信装置のブロック図である。
 この受信装置A30は、例えば図262~図269に示す処理を実行する上述の受信機である。
 つまり、この受信装置A30は、輝度変化する発光体から情報を受信する受信装置であって、複数露光時間設定部A31と、撮像部A32と、復号部A33とを備える。複数露光時間設定部A31は、イメージセンサに含まれるK個(Kは4以上の整数)の撮像素子のうちの一部の複数の撮像素子に対して第1の露光時間を設定し、K個の撮像素子のうちの残りの複数の撮像素子に対して、第1の露光時間よりも短い第2の露光時間を設定する。撮像部A32は、輝度変化する発光体である被写体を、設定された第1および第2の露光時間でイメージセンサに撮像させることによって、第1の露光時間が設定された複数の撮像素子からの出力に応じた通常画像を取得するとともに、第2の露光時間が設定された複数の撮像素子からの出力に応じた画像であって、イメージセンサに含まれる複数の露光ラインのそれぞれに対応する輝線を含む画像である輝線画像を取得する。復号部A33は、取得された輝線画像に含まれる複数の輝線のパターンを復号することにより情報を取得する。このような受信装置A30では、上述の受信プログラムと同様の効果を奏することができる。
 次に、受信された可視光信号に関する内容の表示について説明する。
 図271および図272は、可視光信号を受信したときの受信機の表示の一例を示す図である。
 図271の(a)に示すように、受信機は、送信機10020dを撮像すると、その送信機10020dが映し出された画像10020aを表示する。さらに、受信機は、画像10020aにオブジェクト10020eを重畳することによって、画像10020bを生成して表示する。オブジェクト10020eは、その送信機10020dの像がある場所と、その送信機10020dからの可視光信号を受信していることとを示す画像である。オブジェクト10020eは、可視光信号の受信状態(受信中の状態、送信機を探索している状態、受信の進行の程度、受信速度、またはエラー率等)によって異なる画像であってもよい。例えば、受信機は、オブジェクト1020eの色、線の太さ、線の種類(単線、2重線、または点線等)、または点線の間隔などを変化させる。これにより、ユーザに受信状態を認識させることができる。次に、受信機は、取得データの内容を示す画像を取得データ画像10020fとして画像10020aに重畳することによって、画像10020cを生成して表示する。取得データは、受信した可視光信号、または、受信した可視光信号によって示されるIDに関連付けられたデータである。
 受信機は、この取得データ画像10020fを表示する際には、図271の(a)に示すように、送信機10020dからの吹き出しのように取得データ画像10020fを表示したり、送信機10020dの近くに取得データ画像10020fを表示する。また、受信機は、図271の(b)に示すように、取得データ画像10020fが送信機10020dから受信機側に徐々に近づくように、その取得データ画像10020fを表示してもよい。これにより、取得データ画像10020fが、どの送信機から受信された可視光信号に基づくものであるのかを、ユーザに認識させることができる。また、受信機は、図272に示すように、取得データ画像10020fが受信機のディスプレイの端から徐々に出てくるように、その取得データ画像10020fを表示してもよい。これにより、そのときに可視光信号を取得したということをユーザにわかりやすく認識させることができる。
 次に、AR(Augmented Reality)について説明する。
 図273は、取得データ画像10020fの表示の一例を示す図である。
 受信機は、ディスプレイ内で送信機の像が移動した場合には、取得データ画像10020fを送信機の像の移動に合わせて移動させる。これにより、取得データ画像10020fがその送信機に対応しているということをユーザに認識させることができる。また、受信機は、取得データ画像10020fを、その送信機の像ではなく別のものに対応付けて表示してもよい。これにより、AR表示を行うことができる。
 次に、取得データの保存および破棄について説明する。
 図274は、取得データを保存する、または、破棄する場合の操作の一例を示す図である。
 例えば、受信機は、図274の(a)に示すように、取得データ画像10020fに対して、下側へのスワイプがユーザによって行われると、その取得データ画像10020fによって示される取得データを保存する。受信機は、保存した取得データを示す取得データ画像10020fを、他の既に保存されている1つまたは複数の取得データを示す取得データ画像の一番端に配置させる。これにより、取得データ画像10020fによって示される取得データが最後に保存された取得データであることを、ユーザに認識させることができる。例えば、受信機は、図274の(a)に示すように、複数の取得データ画像の中で一番手前に取得データ画像10020fを配置する。
 また、受信機は、図274の(b)に示すように、取得データ画像10020fに対して、右側へのスワイプがユーザによって行われると、その取得データ画像10020fによって示される取得データを破棄する。または、受信機は、ユーザが受信機を移動させることによって送信機の像がディスプレイからフレームアウトすると、取得データ画像10020fによって示される取得データを破棄してもよい。なお、スワイプする方向は、上下左右のどちらでも、上述と同様の効果が得られる。受信機は、保存または破棄に対応したスワイプの方向を表示してもよい。これにより、その操作によって保存または破棄ができることをユーザに認識させることができる。
 次に、取得データの閲覧について説明する。
 図275は、取得データを閲覧する際の表示例を示す図である。
 受信機は、図275の(a)に示すように、保存されている複数の取得データの取得データ画像を、ディスプレイの下端に重ねて小さく表示している。このときに、ユーザが表示されている取得データ画像の一部をタップすると、受信機は、図275の(b)に示すように、複数の取得データ画像のそれぞれを大きく表示する。これにより、各取得データの閲覧が必要なときにのみ、それらの取得データ画像を大きく表示し、不要なときは、他の表示のためにディスプレイを有効に利用することができる。
 図275の(b)に示す状態で、ユーザが表示したい取得データ画像をタップすると、受信機は、図275の(c)に示すように、そのタップされた取得データ画像をさらに大きく表示し、その取得データ画像の中で多くの情報を表示する。また、裏面表示ボタン10024aをユーザがタップすると、受信機は、取得データ画像の裏面を表示し、その取得データに関連する別のデータを表示する。
 次に、事故位置推定時の手ぶれ補正をオフにすることについて説明する。
 受信機は、手ぶれ補正を無効(オフ)にする、または、手ぶれ補正の補正方向と補正量に対応して撮像画像を変換することで、正確な撮像方向を取得し、正確に自己位置推定を行うことが出来る。なお、撮像画像は、受信機の撮像部による撮像によって得られる画像である。また、自己位置推定は、受信機が自らの位置を推定することである。自己位置推定では、具体的には、受信機は、受信された可視光信号に基づいて送信機の位置を特定し、撮像画像に映る送信機の大きさ、位置または形状などに基づいて、受信機と送信機との間の相対的な位置関係を特定する。そして、受信機は、送信機の位置と、受信機と送信機との間の相対的な位置関係とに基づいて、受信機の位置を推定する。
 また、図262などに示す、一部の露光ラインのみを用いて撮像を行う部分読み出し時には、つまり、図262などに示す撮像が行われるときには、受信機の少しのブレで送信機がフレームアウトしてしまう。このような場合、受信機は、手ぶれ補正を有効にすることで、継続して信号を受信することができる。
 次に、非対称形の発光部を用いた自己位置推定について説明する。
 図276は、実施の形態12における送信機の一例を示す図である。
 上述の送信機は発光部を備え、その発光部を輝度変化させることによって可視光信号を送信する。上述の自己位置推定では、受信機は、撮像画像中の送信機(具体的には発光部)の形状に基づいて、受信機と送信機との間の相対的な位置関係として、受信機と送信機との間の相対角度を求める。ここで、例えば図276に示すように、送信機が回転対称の形状の発光部10090aを備えている場合には、上述のように、撮像画像中の送信機の形状に基づいて、送信機と受信機との間の相対角度を正確に求めることができない。そこで、送信機は、回転対称ではない形状の発光部を備えていることが望ましい。これにより、受信機は上述の相対角度を正確に求めることができる。つまり、角度を取得するための方位センサでは計測結果の誤差が大きいため、受信機は、上述の方法で求めた相対角度を用いることで、正確な自己位置推定を行うことができる。
 ここで、送信機は、図276に示すように、完全な回転対称の形状ではない発光部10090bを備えていてもよい。この発光部10090bの形状は、90°の回転に対しては対称形ではあるが、完全な回転対称ではない。この場合は、受信機は、おおまかな角度を方位センサで求め、さらに、撮像画像中の送信機の形状を用いることで、受信機と送信機との間の相対角度を一意に限定することができ、正確な自己位置推定を行うことができる。
 また、送信機は、図276に示す発光部10090cを備えていてもよい。この発光部10090cの形状は、基本的には回転対称の形状である。しかし、その発光部10090cの一部分に導光板などが設置されていることで、発光部10090cの形状は、回転対称ではない形状にされている。
 また、送信機は、図276に示す発光部10090dを備えてもよい。この発光部10090dは、それぞれ回転対称の形状の照明を具備している。しかし、それらを組み合わせて配置されることによって構成される発光部10090dの全体の形状は、回転対称の形状ではない。したがって、受信機は、その送信機を撮像することにより、正確な自己位置推定を行うことができる。また、発光部10090dに含まれる全ての照明が、可視光信号を送信するために輝度変化する可視光通信用の照明である必要はなく、一部の照明のみが可視光通信用の照明であってもよい。
 また、送信機は、図276に示す発光部10090eおよび物体10090fを備えてもよい。ここで、物体10090fは、発光部10090eとの間の位置関係が変化しないように構成されている物体(例えば、火災報知機や配管等)である。発光部10090eと物体10090fとの組み合わせの形状は回転対称の形状ではないため、受信機は、発光部10090eと物体10090fと撮像することにより、正確に自己位置推定を行うことができる。
 次に、自己位置推定の時系列処理について説明する。
 受信機は、撮像するごとに、撮像画像中の送信機の位置と形状から、自己位置推定を行うことができる。その結果、受信機は、撮像中の受信機の移動方向と距離を推定することができる。また、受信機は、複数のフレームまたは画像を用いた三角測量を行うことで、より正確な自己位置推定を行うことができる。複数の画像を用いた推定結果や、異なる組み合わせの複数の画像を用いた推定結果を総合することで、受信機は、より正確に自己位置推定を行うことができる。この際、受信機は、最近の撮像画像から推定した結果を重要視して総合することで、より正確に自己位置推定を行うことができる。
 次に、オプティカルブラックの読み飛ばしについて説明する。
 図277は、実施の形態12における受信方法の一例を示す図である。なお、図277に示すグラフの横軸は、時刻を示し、縦軸は、イメージセンサ内の各露光ラインの位置を示す。さらに、そのグラフの実線矢印は、イメージセンサ内の各露光ラインの露光が開始される時刻(露光タイミング)を示す。
 受信機は、通常撮像時には、図277の(a)に示すように、イメージセンサにおける水平オプティカルブラックの信号を読み出すが、図277の(b)に示すように、水平オプティカルブラックの信号を読み飛ばしてもよい。これにより、連続的な可視光信号を受信することが出来る。
 水平オプティカルブラックは、露光ラインに水平方向のオプティカルブラックである。また、垂直オプティカルブラックは、オプティカルブラックのうち水平オプティカルブラック以外の部分である。
 受信機は、オプティカルブラックから読み出される信号によって黒レベルの調整を行うため、可視光撮像開始時には通常撮像時と同様にオプティカルブラックを用いて、黒レベルを調整することができる。垂直オプティカルブラックが利用できる場合は、受信機は、垂直オプティカルブラックのみを用いて黒レベル調整を行うとすることで、連続受信と黒レベル調整が可能である。可視光撮像継続時は、受信機は、所定の時間毎に水平オプティカルブラックを用いて黒レベルを調整してもよい。受信機は、通常撮像と可視光撮像を交互に行う場合において、可視光撮像を連続して行うときには、水平オプティカルブラックの信号を読み飛ばし、それ以外のときには、水平オプティカルブラックの信号を読み出す。そして、受信機は、その読み出された信号に基づいて黒レベルの調整を行うことで、連続的に可視光信号を受信しつつ、黒レベルの調整を行うことができる。受信機は、可視光撮像画像の最も暗い部分を黒として黒レベルの調整を行うとしてもよい。
 このように、信号が読み出されるオプティカルブラックを垂直オプティカルブラックのみとすることで、連続的な可視光信号の受信が可能である。また、水平オプティカルブラックの信号を読み飛ばすモードを備えることで、通常撮像時には黒レベル調整を行い、可視光撮像時には必要に応じて連続通信を行うことができる。また、水平オプティカルブラックの信号を読み飛ばすことで、露光ライン間の露光を開始するタイミングの差が大きくなるため、小さくしか写っていない送信機からの可視光信号も受信できる。
 次に、送信機の種類を示す識別子について説明する。
 送信機は、送信機の種類を示す送信機識別子を可視光信号に付加して送信してもよい。この場合、受信機は、送信機識別子を受信した時点で、その送信機の種類に応じた受信動作を行うことができる。例えば、送信機識別子がデジタルサイネージを示す場合は、送信機は、送信機の個体識別を行うための送信機IDの他に、現在どのコンテンツを表示しているのかを示すコンテンツIDを可視光信号として送信している。受信機は、送信機識別子に基づいて、これらのIDを分けて扱うことで、送信機が現在表示しているコンテンツに合わせた情報を表示することができる。また、例えば、送信機識別子がデジタルサイネージや非常灯を示す場合は、受信機は、感度を上げて撮像することで、受信エラーを低減することができる。
 (実施の形態13)
 本実施の形態では、上記各実施の形態におけるスマートフォンなどの受信機と、LEDや有機ELの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
 まず、本実施の形態におけるヘッダパターンについて説明する。
 図278は、本実施の形態におけるヘッダパターンの例を示す図である。
 送信機は、送信するデータをパケットに分割して送信する。パケットは、例えば、ヘッダとボディとから構成される。ヘッダの輝度変化のパターン、つまりヘッダパターンは、ボディには存在しない輝度変化のパターンである必要がある。これにより、連続して送信されるデータ中でパケットの位置を特定することができる。
 例えば、送信されるデータは4PPMの変調方式によって変調される。具体的には、この4PPMでは、送信されるデータは、4スロットのうちの1スロットが「0」を示し、残りの3スロットが「1」を示す輝度変化のパターンに変調される。したがって、連続して送信されるデータが変調されると、「0」を示すスロットが連続する数は2以下であり、4スロットと次の4スロットの中では、「0」を示すスロットの数は2以下である。
 そこで、本実施の形態では、ヘッダパターンは、図278の(a)に示す「111111111000」、(b)に示す「111111110001」、(c)に示す「111111101001」、または(d)に示す「111111100101」として表現される。これにより、ヘッダと、連続して送信されるデータ(つまりボディ)とを識別することができる。つまり、図278の(a)に示すヘッダパターンでは、ヘッダパターンの後ろの4スロット「1000」だけを見れば、その4スロットがヘッダの一部であることを識別することができる。この場合、ヘッダにおいて「0」を示すスロットの数が3であり、「0」を示すスロットが連続する最大の数が4であるため、受信機は、その輝度変化を認識しやすい。つまり、受信機は、小さい送信機、または遠い送信機からのデータを容易に受信することができる。
 また、図278の(b)に示すヘッダパターンでは、ヘッダパターンの後ろの5スロット「10001」だけを見れば、その5スロットがヘッダの一部であることを識別することができる。この場合、「0」を示すスロットが連続する最大の数が3であって、図278の(a)の場合よりも少ないため、その輝度変化によるちらつきを抑えることができる。その結果、送信機の回路への負担または設計要求を抑えることができる。つまり、キャパシタを小さくすることができ、消費電力、発熱量、または電源への負担を抑えることができる。
 また、図278の(c)または(d)に示すヘッダパターンでは、ヘッダパターンの後ろの6スロット「101001」または「100101」だけを見れば、その6スロットがヘッダの一部であることを識別することができる。この場合、「0」を示すスロットが連続する最大の数が2であって、図278の(b)の場合よりもさらに少ないため、その輝度変化によるちらつきをさらに抑えることができる。
 図279は、本実施の形態における通信プロトコルのパケットの構成の例を説明するための図である。
 送信機は、送信するデータをパケットに分割して送信する。パケットは、ヘッダ、アドレス部、データ部、および誤り訂正符号部で構成される。ヘッダの輝度変化のパターンを、他の部分には存在しない輝度変化のパターンとすることで、連続データ中のパケットの位置を特定することができる。データ部には、分割したデータの一部が格納され、アドレス部は、データ部のデータが全体のどの部分であるかを示すアドレスが格納される。誤り訂正符号部は、パケットの一部または全部の受信誤りを検出または訂正するための符号(具体的には図279に示すECC1、ECC2またはECC3であって、これらを合わせて誤り訂正符号と呼ぶ)が格納される。
 ECC1は、アドレス部の誤り訂正符号である。パケット全体の誤り訂正符号ではなく、アドレス部の誤り訂正符号を設けることで、アドレス部の信頼性を全体の信頼性よりも上げることができる。これにより、複数のパケットを受信した際に、同じアドレスのパケットのデータ部を比較することで、データ部の検証を行うことができ、受信エラー率を下げることができる。アドレス部の誤り訂正符号をデータ部の誤り訂正符号より長くするとしても同様の効果が得られる。
 ECC2とECC3はデータ部の誤り訂正符号である。誤り訂正符号部の数は、2以外でもよい。データ部の誤り訂正符号を複数に分けることで、受信できたところまでの誤り訂正符号を用いて誤り訂正を行うことができ、パケット全体を受信しなくても信頼性の高いデータを受信することができる。
 送信機は、規定された数以下の数の誤り訂正符号を送信するとしてもよい。これにより、受信機は、高速にデータを受信することができる。この送信方法は、例えばダウンライトのように、発光部の大きさが小さく、輝度が高い送信機に有効である。輝度が高い場合、誤り発生確率は低いため、多くの誤り訂正符号は必要ないためである。ECC3が送られなかった場合、ECC2から次のヘッダが送信されるため、輝度が高い状態が4スロット以上続くことになり、受信機は、その部分はECC3ではないことを認識することができる。
 なお、図279の(b)に示すように、ヘッダ、アドレス部およびECC1は、データ部、ECC2およびECC3よりも低い周波数で送信される。逆に言えば、データ部、ECC2およびECC3は、ヘッダ、アドレス部およびECC1よりも高い周波数で送信される。これにより、ヘッダなどのデータに対する受信エラー率を下げることができるとともに、データ部の大きなデータを速く送信することができる。
 このように本実施の形態では、パケットは、データ部に対する第1の誤り訂正符号(ECC2、ECC3)と、アドレス部に対する第2の誤り訂正符号(ECC1)とを含む。そして、受信機は、そのパケットを受信するときには、送信機から、第2の周波数にしたがった輝度変化によって送信されるアドレス部および第2の誤り訂正符号を受信する。さらに、受信機は、送信機から、第2の周波数よりも高い第1の周波数にしたがった輝度変化によって送信されるデータ部および第1の誤り訂正符号を受信する。
 ここで、同じアドレスのデータ部を比較する受信方法について説明する。
 図280は、本実施の形態における受信方法の一例を示すフローチャートである。
 受信機は、パケットを受信し(ステップS10101)、誤り訂正を行う(ステップS10102)。そして、受信機は、受信したパケットのアドレスと同じアドレスのパケットを既に受信しているか否かを判定する(ステップS10103)。ここで、受信していると判定した場合は(ステップ10103のY)、受信機は、それらのデータを比較する。つまり、受信機は、データ部が等しいか否かを判定する(ステップS10104)。ここで、等しくないと判定した場合(ステップS10104のN)、受信機は、さらに、複数のデータ部における差異が所定の数以上であるか、具体的には、異なるビットの数、または、輝度状態が異なるスロットの数が所定の数以上である否かを判定する(ステップS10105)。ここで、所定の数以上であると判定すると(ステップS10105のN)、受信機は、既に受信していたパケットを破棄する(ステップS10106)。これにより、別の送信機からパケットを受信し始めたときに、以前の送信機から受信したパケットとの混信を避ける事ができる。一方、所定の数以上ではないと判定すると(ステップS10105のN)、受信機は、等しいデータ部を持つパケットが最も多いデータ部のデータをそのアドレスのデータとする(ステップS10107)。または、受信機は、等しいビットの最も多いビットを、そのアドレスのそのビットの値とする。または、受信機は、等しい輝度状態が最も多い輝度状態をそのアドレスのそのスロットの輝度状態とし、そのアドレスのデータを復調する。
 このように、本実施の形態では、受信機は、まず、複数の輝線のパターンから、データ部およびアドレス部を含む第1のパケットを取得する。次に、受信機は、第1のパケットよりも前に既に取得されている少なくとも1つのパケットのうち、その第1のパケットのアドレス部と同一のアドレス部を含むパケットである少なくとも1つの第2のパケットが存在するか否かを判定する。次に、受信機は、その少なくとも1つの第2のパケットが存在すると判定した場合には、その少なくとも1つの第2のパケットと第1のパケットとのそれぞれのデータ部が全て等しいか否かを判定する。それぞれのデータ部が全て等しくないと判定した場合には、受信機は、その少なくとも1つの第2のパケットのそれぞれにおいて、第2のパケットのデータ部に含まれる各部分のうち、第1のパケットのデータ部に含まれる各部分と異なる部分の数が、所定の数以上存在するか否かを判定する。ここで、受信機は、その少なくとも1つの第2のパケットのうち、異なる部分の数が所定の数以上存在すると判定された第2のパケットがある場合には、その少なくとも1つの第2のパケットを破棄する。一方、その少なくとも1つの第2のパケットのうち、異なる部分の数が所定の数以上存在すると判定された第2パケットがない場合には、受信機は、第1のパケットおよび少なくとも1つの第2のパケットのうち、同一のデータ部を有するパケットの数が最も多い複数のパケットを特定する。そして、受信機は、その複数のパケットのそれぞれに含まれるデータ部を、第1のパケットに含まれるアドレス部に対応するデータ部として復号することによって、可視光識別子(ID)の少なくとも一部を取得する。
 これにより、同一のアドレス部を有する複数のパケットが受信されたときに、それらのパケットのデータ部が異なっていても、適切なデータ部を復号することができ、可視光識別子の少なくとも一部を正しく取得することができる。つまり、同一の送信機から送信される同一のアドレス部を有する複数のパケットは、基本的に同一のデータ部を有する。しかし、受信機が、パケットの送信元となる送信機を切り替える場合には、受信機は、同一のアドレス部を有していても互いに異なるデータ部を有する複数のパケットを受信することがある。このような場合には、本実施の形態では、図280のステップS10106のように、既に受信されているパケット(第2のパケット)が破棄され、最新のパケット(第1のパケット)のデータ部を、そのアドレス部に対応する正しいデータ部として復号することができる。さらに、上述のような送信機の切り替えがない場合であっても、可視光信号の送受信状況に応じて、同一のアドレス部を有する複数のパケットのデータ部が少し異なることがある。このような場合には、本実施の形態では、図280のステップS10107のように、いわゆる多数決によって、適切なデータ部を復号することができる。
 ここで、複数のパケットからデータ部のデータを復調する受信方法について説明する。
 図281は、本実施の形態における受信方法の一例を示すフローチャートである。
 まず、受信機は、パケットを受信し(ステップS10111)、アドレス部の誤り訂正を行う(ステップS10112)。このとき、受信機は、データ部の復調を行わず、撮像によって得られる画素値をそのまま保持する。そして、受信機は、既に受信された複数のパケットにおいて、同じアドレスのパケットが所定の数以上存在するか否かを判定する(ステップS10113)。ここで、存在すると判定すると(ステップS10113のY)、受信機は、同じアドレスを持つ複数のパケットのデータ部に相当する部分の画素値を合わせて復調処理を行う(ステップS10114)。
 このように本実施の形態における受信方法では、複数の輝線のパターンから、データ部およびアドレス部を含む第1のパケットを取得する。そして、第1のパケットよりも前に既に取得されている少なくとも1つのパケットのうち、第1のパケットのアドレス部と同一のアドレス部を含むパケットである第2のパケットが所定の数以上存在するか否かを判定する。第2のパケットがその所定の数以上存在すると判定した場合には、その所定の数以上の第2のパケットのそれぞれのデータ部に対応する輝線画像の一部の領域の画素値と、第1のパケットのデータ部に対応する輝線画像の一部の領域の画素値とを合わせる。つまり、画素値を加算する。その加算によって、合成画素値を算出し、その合成画素値を含むデータ部を復号することによって、可視光識別子(ID)の少なくとも一部を取得する。
 複数のパケットが受信されたタイミングはそれぞれ異なるため、データ部の画素値はそれぞれ微妙に異なる時点の送信機の輝度を反映した値となっている。したがって、上述のように復調処理される部分は、単一のパケットのデータ部よりも多くのデータ量(サンプル数)を含むことになる。これにより、より正確にデータ部を復調することができる。また、サンプル数の増加により、より高い変調周波数で変調された信号を復調することができる。
 図279の(b)に示すように、データ部とその誤り訂正符号部は、ヘッダ部、アドレス部およびアドレス部の誤り訂正符号部よりも、高い周波数で変調されている。上記の復調方法により、データ部以降は高い変調周波数で変調されていても復調可能であるため、この構成により、パケット全体の送信時間を短くすることができ、より遠くからでも、より小さい光源からでも、より速く可視光信号を受信することができる。
 次に、可変長アドレスのデータを受信する受信方法について説明する。
 図282は、本実施の形態における受信方法の一例を示すフローチャートである。
 受信機は、パケットを受信し(ステップS10121)、データ部の全てのビットが0となっているパケット(以下、0終端パケットという)を受信したか否かを判定する(ステップS10122)。ここで、受信したと判定すると、つまり、0終端パケットが存在すると判定すると(ステップS10122のY)、受信機は、その0終端パケットのアドレス以下のアドレスのパケットが全て揃っているか否か、つまり受信しているか否かを判定する(ステップS10123)。なお、アドレスは、送信されるデータを分割することによって生成されたパケットのそれぞれに対して、それらのパケットの送信順にしたがって大きくなる値に設定されている。受信機は、全て揃っていると判定すると(ステップS10123のY)、0終端パケットのアドレスが、送信機から送信されるパケットの最後のアドレスであると判断する。そして、受信機は、0終端パケットまでの各アドレスのパケットのデータをつなげることで、データを復元する(ステップS10124)。さらに、受信機は、復元されたデータのエラーチェックを行う(ステップS10125)。これにより、送信されるデータがいくつに分割されているか分からない場合、つまり、アドレスが固定長ではなく可変長である場合にも、可変長アドレスのデータを送受信することでき、固定長アドレスのデータよりも多くのIDを、高い効率で送受信することができる。
 このように、本実施の形態では、受信機は、複数の輝線のパターンから、それぞれデータ部およびアドレス部を含む複数のパケットを取得する。そして、受信機は、取得された複数のパケットのうち、データ部に含まれる全てのビットが0を示すパケットである0終端パケットが存在するか否かを判定する。0終端パケットが存在すると判定した場合には、受信機は、複数のパケットのうち、その0終端パケットのアドレス部に関連付けられているアドレス部を含むパケットであるN個(Nは1以上の整数)の関連パケットが全て存在するか否かを判定する。次に、受信機は、N個の関連パケットが全て存在すると判定した場合には、N個の関連パケットのそれぞれのデータ部を並べて復号することによって、可視光識別子(ID)を取得する。ここで、0終端パケットのアドレス部に関連付けられているアドレス部は、0終端パケットのアドレス部に示されるアドレスよりも小さく0以上のアドレスを示すアドレス部である。
 次に、変調周波数の周期より長い露光時間を用いた受信方法について説明する。
 図283と図284は、本実施の形態における受信機が、変調周波数の周期(変調周期)より長い露光時間を用いた受信方法を説明するための図である。
 例えば図283の(a)に示すように、露光時間が変調周期と等しい時間に設定されと、可視光信号を正しく受信することができない場合がある。なお、変調周期は、上述の1つのスロットの時間である。つまり、このような場合には、あるスロットの輝度の状態を反映している露光ライン(図283中の黒で示している露光ライン)が少ない。その結果、これらの露光ラインの画素値にノイズが偶然多く含まれた場合には、送信機の輝度を推定することは難しい。
 一方、例えば図283の(b)に示すように、露光時間が変調周期よりも長い時間に設定されと、可視光信号を正しく受信することができる。つまり、このような場合には、有るスロットの輝度を反映している露光ラインが多いため、多くの露光ラインの画素値から送信機の輝度を推定することができ、ノイズに強い。
 また、露光時間が長すぎると、逆に、可視光信号を正しく受信することができない。
 例えば、図284の(a)に示すように、露光時間が変調周期と等しい場合には、受信機で受信される輝度変化(つまり、各露光ラインの画素値の変化)は、送信に用いられる輝度変化に追従する。しかし、図284の(b)に示すように、露光時間が変調周期の3倍である場合には、受信機で受信される輝度変化は、送信に用いられる輝度変化に十分に追従することができない。また、図284の(c)に示すように、露光時間が変調周期の10倍である場合には、受信機で受信される輝度変化は、送信に用いられる輝度変化に全く追従するができない。つまり、露光時間が長いほうが、多くの露光ラインから輝度を推定できるためノイズ耐性が高くなるが、露光時間が長くなると、識別マージンが下がる、あるいは識別マージンが小さくなることでノイズ耐性が低くなる。これらのバランスにより、露光時間を変調周期の2~5倍程度とすることで、最もノイズ耐性を高くすることができる。
 次に、パケットの分割数について説明する。
 図285は、送信データのサイズに対する効率的な分割数を示す図である。
 送信機がデータを輝度変化によって送信する場合、送信される全てのデータ(送信データ)を1つのパケットに含めると、そのパケットのデータサイズは大きい。しかし、図279を用いて説明したように、その送信データを複数の部分データに分割して、それらの部分データを各パケットに含めると、それぞれのパケットのデータサイズは小さくなる。ここで、受信機は、撮像によって、そのパケットを受信する。しかし、パケットのデータサイズが大きいほど、受信機はそのパケットを1回の撮像によって受信することが難しくなり、撮像を繰り返す必要がある。
 したがって、送信機は、図285の(a)および(b)に示すように、送信データのデータサイズが大きいほど、その送信データの分割数を多くする方が望ましい。しかし、分割数が多すぎると、それらの部分データを全て受信しなければ送信データを復元することができないため、逆に、受信効率が低下する。
 したがって、図285の(a)に示すように、アドレスのデータサイズ(アドレスサイズ)が可変であり、送信データのデータサイズが、2-16ビット、16-24ビット、24-64ビット、66-78ビット、78-128ビット、128ビット以上の場合には、それぞれ、1-2個、2-4個、4個、4-6個、6-8個、7個以上の部分データに送信データを分割すると、送信データを効率よく可視光信号によって送信することができる。また、図285の(b)に示すように、アドレスのデータサイズ(アドレスサイズ)が4ビットに固定され、送信データのデータサイズが、2-8ビット、8-16ビット、16-30ビット、30-64ビット、66-80ビット、80-96ビット、96-132ビット、132ビット以上の場合には、それぞれ、1-2個、2-3個、2-4個、4-5個、4-7個、6個、6-8個、7個以上の部分データに送信データを分割すると、送信データを効率よく可視光信号によって送信することができる。
 また、送信機は、複数の部分データのそれぞれを含む各パケットに基づく輝度変化を順次行う。例えば、送信機は、各パケットのアドレス順に、そのパケットに基づく輝度変化を行う。さらに、送信機は、アドレス順と異なる順序で、その複数の部分データに基づく輝度変化を再度行ってもよい。これにより、各部分データを確実に受信機に受信させることができる。
 次に、受信機による通知動作の設定方法について説明する。
 図286Aは、本実施の形態における設定方法の一例を示す図である。
 まず、受信機は、通知動作を識別するための通知動作識別子と、その通知動作識別子の優先度(具体的には、優先度を示す識別子)とを、受信機の近くにあるサーバから取得する(ステップS10131)。ここで、通知動作は、複数の部分データのそれぞれを含む各パケットが輝度変化によって送信されて受信機に受信されたときに、それらのパケットが受信されたことを受信機のユーザに通知する受信機の動作である。例えば、その動作は、音の鳴動、バイブレーション、または画面表示などである。
 次に、受信機は、パケット化された可視光信号、つまり複数の部分データのそれぞれを含む各パケットを受信する(ステップS10132)。ここで、受信機は、その可視光信号に含まれている、通知動作識別子と、その通知動作識別子の優先度(具体的には、優先度を示す識別子)とを取得する(ステップS10133)。
 さらに、受信機は、受信機の現在の通知動作の設定内容、つまり、受信機に予め設定されている通知動作識別子と、その通知動作識別子の優先度(具体的には、優先度を示す識別子)とを読み出す(ステップS10134)。なお、受信機に予め設定されている通知動作識別子は、例えば、ユーザの操作によって設定されている。
 そして、受信機は、予め設定されている通知動作識別子と、ステップS10131およびステップS10133のそれぞれで取得された通知動作識別子とのうち、優先度が最も高い識別子を選択する(ステップS10135)。次に、受信機は、選択した通知動作識別子を改めて自らに設定し直すことにより、選択した通知動作識別子によって示される動作を行い、可視光信号の受信をユーザに通知する(ステップS10136)。
 なお、受信機は、ステップS10131およびステップS10133の何れか一方を行わず、2つの通知動作識別子の中から優先度の高い通知動作識別子を選択してもよい。
 なお、劇場または美術館などに設置されているサーバから送信される通知動作識別子の優先度、または、それらの施設内で送信される可視光信号に含まれる通知動作識別子の優先度は高く設定されてもよい。これにより、ユーザの設定に関わらず、その施設内では、受信通知のための音を鳴らさないようにすることができる。また、その他の施設では、通知動作識別子の優先度を低くしておくことにより、受信機は、ユーザの設定に応じた動作によって受信を通知することができる。
 図286Bは、本実施の形態における設定方法の他の例を示す図である。
 まず、受信機は、通知動作を識別するための通知動作識別子と、その通知動作識別子の優先度(具体的には、優先度を示す識別子)とを、受信機の近くにあるサーバから取得する(ステップS10141)。次に、受信機は、パケット化された可視光信号、つまり複数の部分データのそれぞれを含む各パケットを受信する(ステップS10142)。ここで、受信機は、その可視光信号に含まれている、通知動作識別子と、その通知動作識別子の優先度(具体的には、優先度を示す識別子)とを取得する(ステップS10143)。
 さらに、受信機は、受信機の現在の通知動作の設定内容、つまり、受信機に予め設定されている通知動作識別子と、その通知動作識別子の優先度(具体的には、優先度を示す識別子)とを読み出す(ステップS10144)。
 そして、受信機は、予め設定されている通知動作識別子と、ステップS10141およびステップS10143のそれぞれで取得された通知動作識別子との中に、通知音の発生を禁止する動作を示す動作通知識別子が含まれているか否かを判定する(ステップS10145)。ここで、含まれていると判定すると(ステップS10145のY)、受信機は、受信完了を通知するための通知音を鳴らす(ステップS10146)。一方、含まれていないと判定すると(ステップS10145のN)、受信機は、例えばバイブレーションなどによって、受信完了をユーザに通知する(ステップS10147)。
 なお、受信機は、ステップS10141およびステップS10143の何れか一方を行わず、2つの通知動作識別子の中に、通知音の発生を禁止する動作を示す動作通知識別子が含まれているか否かを判定してもよい。
 また、受信機は、撮像によって得られる画像に基づいて自己位置推定を行い、推定された位置、またはその位置にある施設に対応付けられた動作によって、受信をユーザに通知してもよい。
 図287Aは、実施の形態13における情報処理プログラムの処理を示すフローチャートである。
 この情報処理プログラムは、上述の送信機の発光体を図285に示す分割数にしたがって輝度変化させるためのプログラムである。
 つまり、この情報処理プログラムは、送信対象の情報を輝度変化によって送信するために、送信対象の情報をコンピュータに処理させる情報処理プログラムである。具体的には、この情報処理プログラムは、送信対象の情報を符号化することによって符号化信号を生成する符号化ステップSA41と、生成された符号化信号のビット数が24~64ビットの範囲にある場合、符号化信号を4つの部分信号に分割する分割ステップSA42と、4つの部分信号を順次出力する出力ステップSA43とを、コンピュータに実行させる。なお、これらの部分信号は、図279の(a)に示すパケットとして出力される。また、情報処理プログラムは、符号化信号のビット数を特定し、その特定されたビット数に基づいて、部分信号の数を決定することをコンピュータにさせてもよい。この場合、情報処理プログラムは、符号化信号を分割することによって、その決定された数の部分信号を生成することをコンピュータにさせる。
 これにより、符号化信号のビット数が24~64ビットの範囲にある場合には、符号化信号が4つの部分信号に分割されて出力される。その結果、出力される4つの部分信号にしたがって発光体が輝度変化すると、その4つの部分信号はそれぞれ可視光信号として送信されて受信機によって受信される。ここで、出力される信号のビット数が多いほど、受信機は撮像によってその信号を適切に受信することが難しくなり、受信効率が低下する。そこで、その信号をビット数の少ない信号、つまり小さい信号に分割しておくことが望ましい。しかし、信号を多くの小さい信号に細かく分割しすぎると、受信機は、全ての小さい信号のそれぞれを個別に受信しなければ元の信号を受信することができないため、受信効率が低下する。したがって、上述のように、符号化信号のビット数が24~64ビットの範囲にある場合には、符号化信号を4つの部分信号に分割して順次出力することによって、送信対象の情報を示す符号化信号を最もよい受信効率で可視光信号として送信することができる。その結果、多様な機器間の通信を可能にすることができる。
 また、出力ステップSA43では、第1の順序にしたがって4つの部分信号を出力し、さらに、第1の順序と異なる第2の順序にしたがって4つの部分信号を再び出力してもよい。
 これにより、それらの4つの部分信号が順番を変えて繰り返し出力されるため、出力される各信号が可視光信号として受信機に送信される場合には、それらの4つの部分信号の受信効率をさらに高めることができる。つまり、4つの部分信号を同じ順番で繰り返し出力しても、同じ部分信号が受信機に受信されない場合が生じるが、その順番を変えることによって、そのような場合が生じるのを抑えることができる。
 また、図286Aおよび図286Bに示すように、出力ステップSA43では、さらに、4つの部分信号に通知動作識別子を付随させて出力してもよい。通知動作識別子は、4つの部分信号が輝度変化によって送信されて受信機に受信されたときに、4つの部分信号が受信されたことを受信機のユーザに通知する受信機の動作を識別するための識別子である。
 これにより、その通知動作識別子が可視光信号として送信されて受信機に受信される場合には、受信機は、その通知動作識別子によって識別される動作にしたがって、4つの部分信号の受信をユーザに通知することができる。つまり、送信対象の情報を送信する側で、受信機による通知動作を設定することができる。
 また、図286Aおよび図286Bに示すように、出力ステップSA43では、さらに、通知動作識別子の優先度を識別するための優先度識別子を4つの部分信号に付随させて出力してもよい。
 これにより、その優先度識別子および通知動作識別子が可視光信号として送信されて受信機に受信される場合には、受信機は、その優先度識別子によって識別される優先度にしたがって通知動作識別子を扱うことができる。つまり、受信機が他の通知動作識別子を取得している場合には、受信機は、可視光信号として送信された通知動作識別子によって識別される通知動作と、他の通知動作識別子によって識別される通知動作とのうちの一方を、その優先度に基づいて選択することができる。
 図287Bは、実施の形態13における情報処理装置のブロック図である。
 この情報処理装置A40は、上述の送信機の発光体(発光部)を図285に示す分割数にしたがって輝度変化させるための装置である。
 つまり、この情報処理装置A40は、送信対象の情報を輝度変化によって送信するために、送信対象の情報を処理する装置である。具体的には、この情報処理装置A40は、送信対象の情報を符号化することによって符号化信号を生成する符号化部A41と、生成された符号化信号のビット数が24~64ビットの範囲にある場合、符号化信号を4つの部分信号に分割する分割部A42と、4つの部分信号を順次出力する出力部A43とを備える。このような情報処理装置A40では、上述の情報処理プログラムと同様の効果を奏することができる。
 本発明の一態様に係る情報処理プログラムは、送信対象の情報を輝度変化によって送信するために、前記送信対象の情報をコンピュータに処理させる情報処理プログラムであって、前記送信対象の情報を符号化することによって符号化信号を生成する符号化ステップと、生成された前記符号化信号のビット数が24~64ビットの範囲にある場合、前記符号化信号を4つの部分信号に分割する分割ステップと、前記4つの部分信号を順次出力する出力ステップとを、前記コンピュータに実行させる。
 これにより、図284~図287Bに示すように、符号化信号のビット数が24~64ビットの範囲にある場合には、符号化信号が4つの部分信号に分割されて出力される。その結果、出力される4つの部分信号にしたがって発光体が輝度変化すると、その4つの部分信号はそれぞれ可視光信号として送信されて受信機によって受信される。ここで、出力される信号のビット数が多いほど、受信機は撮像によってその信号を適切に受信することが難しくなり、受信効率が低下する。そこで、その信号をビット数の少ない信号、つまり小さい信号に分割しておくことが望ましい。しかし、信号を多くの小さい信号に細かく分割しすぎると、受信機は、全ての小さい信号のそれぞれを個別に受信しなければ元の信号を受信することができないため、受信効率が低下する。したがって、上述のように、符号化信号のビット数が24~64ビットの範囲にある場合には、符号化信号を4つの部分信号に分割して順次出力することによって、送信対象の情報を示す符号化信号を最もよい受信効率で可視光信号として送信することができる。その結果、多様な機器間の通信を可能にすることができる。
 また、前記出力ステップでは、第1の順序にしたがって前記4つの部分信号を出力し、さらに、前記第1の順序と異なる第2の順序にしたがって前記4つの部分信号を再び出力してもよい。
 これにより、それらの4つの部分信号が順番を変えて繰り返し出力されるため、出力される各信号が可視光信号として受信機に送信される場合には、それらの4つの部分信号の受信効率をさらに高めることができる。つまり、4つの部分信号を同じ順番で繰り返し出力しても、同じ部分信号が受信機に受信されない場合が生じるが、その順番を変えることによって、そのような場合が生じるのを抑えることができる。
 また、前記出力ステップでは、さらに、前記4つの部分信号に通知動作識別子を付随させて出力し、前記通知動作識別子は、前記4つの部分信号が輝度変化によって送信されて受信機に受信されたときに、前記4つの部分信号が受信されたことを前記受信機のユーザに通知する前記受信機の動作を識別するための識別子であってもよい。
 これにより、その通知動作識別子が可視光信号として送信されて受信機に受信される場合には、受信機は、その通知動作識別子によって識別される動作にしたがって、4つの部分信号の受信をユーザに通知することができる。つまり、送信対象の情報を送信する側で、受信機による通知動作を設定することができる。
 また、前記出力ステップでは、さらに、前記通知動作識別子の優先度を識別するための優先度識別子を前記4つの部分信号に付随させて出力してもよい。
 これにより、その優先度識別子および通知動作識別子が可視光信号として送信されて受信機に受信される場合には、受信機は、その優先度識別子によって識別される優先度にしたがって通知動作識別子を扱うことができる。つまり、受信機が他の通知動作識別子を取得している場合には、受信機は、可視光信号として送信された通知動作識別子によって識別される通知動作と、他の通知動作識別子によって識別される通知動作とのうちの一方を、その優先度に基づいて選択することができる。
 次に、電子機器のネットワーク接続の登録について説明する。
 図288は、本実施の形態における送受信システムの応用例を説明するための図である。
 この送受信システムは、例えば洗濯機等の電子機器として構成される送信機10131bと、例えばスマートフォンとして構成される受信機10131aと、アクセスポイントまたはルータとして構成される通信装置10131cとを備える。
 図289は、本実施の形態における送受信システムの処理動作を示すフローチャートである。
 送信機10131bは、開始ボタンが押下されると(ステップS10165)、SSID、パスワード、IPアドレス、MACアドレス、または暗号鍵等の、自身に接続するための情報を、Wi-Fi、Bluetooth(登録商標)、またはイーサネット(登録商標)などを介して送信し(ステップS10166)、接続を待ち受ける。送信機10131bは、これらの情報を、直接的に送信してもよいし、間接的に送信してもよい。間接に送信する場合、送信機10131bは、それらの情報に関連付けられたIDを送信する。そのIDを受信した受信機10131aは、例えば、そのIDに関連付けられている情報をサーバ等からダウンロードする。
 受信機10131aは、その情報を受信し(ステップS10151)、送信機10131bへ接続し、アクセスポイントやルータとして構成される通信装置10131cへ接続するための情報(SSID、パスワード、IPアドレス、MACアドレス、または暗号鍵等)を送信機10131bへ送信する(ステップS10152)。受信機10131aは、送信機10131bが通信装置10131cへ接続するための情報(MACアドレス、IPアドレスまたは暗号鍵等)を通信装置10131cへ登録し、通信装置10131cに接続を待ち受けさせる。さらに、受信機10131aは、送信機10131bから通信装置10131cへの接続準備が完了したことを送信機10131bへ通知する(ステップS10153)。
 送信機10131bは、受信機10131aとの接続を切断し(ステップS10168)、通信装置10131cへ接続する(ステップS10169)。接続が成功すれば(ステップS10170のY)、送信機10131bは、通信装置10131cを介して受信機10131aへ接続成功を通知し、画面表示やLEDの状態や音声等でユーザへ接続成功を通知する(ステップS10171)。接続が失敗すれば(ステップS10170のN)、送信機10131bは、可視光通信で受信機10131aに接続失敗を通知し、成功時と同様にユーザへ通知する(ステップS10172)。なお、接続成功を可視光通信で通知してもよい。
 受信機10131aは、通信装置10131cに接続し(ステップS10154)、接続成功や失敗の通知がなければ(ステップS10155のN、且つステップS10156のN)、通信装置10131c経由で送信機10131bへアクセスが可能かどうか確認する(ステップS10157)。できなければ(ステップS10157のN)、受信機10131aは、送信機10131bから受信した情報を用いた送信機10131bへ接続が所定の回数以上行われたか否かを判定する(ステップS10158)。ここで、所定の回数以上行われていないと判定すると(ステップS10158のN)、受信機10131aは、ステップS10152からの処理を繰り返す。一方、所定の回数以上行われたと判定すると(ステップS10158のY)、受信機10131aは、処理失敗をユーザに通知する(ステップS10159)。また、受信機10131aは、ステップS10156で、接続成功の通知があったと判定すると(ステップS10156のY)、処理成功をユーザに通知する(ステップS10160)。つまり、受信機10131aは、送信機10131bが通信装置10131cへ接続することができたかどうかを、画面表示や音声等でユーザへ通知する。これにより、ユーザに複雑な入力をさせなくても、送信機10131bを通信装置10131cへ接続させることができる。
 次に、電子機器のネットワーク接続の登録(別の電子機器を介して接続する場合)について説明する。
 図290は、本実施の形態における送受信システムの応用例を説明するための図である。
 この送受信システムは、エアコン10133bと、エアコン10133bに接続された無線アダプタ等の電子機器として構成される送信機10133cと、例えばスマートフォンとして構成される受信機10133a、アクセスポイントまたはルータとして構成される通信装置10133dと、例えば無線アダプタ、無線アクセスポイントまたはルータ等として構成される別の電子機器10133eとを備える。
 図291は、本実施の形態における送受信システムの処理動作を示すフローチャートである。なお、以下、エアコン10133bまたは送信機10133cを電子機器Aと称し、電子機器10133eを電子機器Bと称する。
 まず、電子機器Aは、開始ボタンが押下されると(ステップS10188)、自身に接続するための情報(個体ID、パスワード、IPアドレス、MACアドレス、または暗号鍵等)を送信し(ステップS10189)、接続を待ち受ける(ステップS10190)。電子機器Aは、これらの情報を、上述と同様に、直接的に送信してもよいし、間接的に送信してもよい。
 受信機10133aは、その情報を電子機器Aから受信し(ステップS10181)、電子機器Bへその情報を送信する(ステップS10182)。電子機器Bは、その情報を受信すると(ステップS10196)、その受信した情報にしたがって電子機器Aへ接続する(ステップS10197)。そして、電子機器Bは、電子機器Aとの接続が成されたか否かを判定し(ステップS10198)、その成否を受信機10133aへ通知する(ステップS10199またはステップS101200)。
 電子機器Aは、所定の時間の間に電子機器Bと接続されれば(ステップS10191のY)、電子機器B経由で受信機10133aへ接続成功を通知し(ステップS10192)、接続されなければ(ステップS10191のN)、可視光通信で受信機10133aに接続失敗を通知する(ステップS10193)。また、電子機器Aは、画面表示、発光状態または音声等によって、接続の成否をユーザへ通知する。これにより、ユーザに複雑な入力をさせなくても、電子機器A(送信機10133c)を電子機器B(電子機器10133e)へ接続させることができる。なお、図290に示すエアコン10133bと送信機10133cとは一体に構成されていてもよく、同様に、通信装置10133dと電子機器10133eとも一体に構成されていてもよい。
 次に、適切な撮像情報の送信について説明する。
 図292は、本実施の形態における送受信システムの応用例を説明するための図である。
 この送受信システムは、例えばデジタルスチルカメラやデジタルビデオカメラとして構成される受信機10135aと、例えば照明として構成される送信機10135bとを備える。
 図293は、本実施の形態における送受信システムの処理動作を示すフローチャートである。
 まず、受信機10135aは、送信機10135bへ、撮像情報送信命令を送る(ステップS10211)。次に、送信機10135bは、撮像情報送信命令を受信した場合、撮像情報送信ボタンが押下された場合、撮像情報送信スイッチがオンとなっている場合、電源が入れられた場合に(ステップS10221のY)、撮像情報を送信する(ステップS10222)。撮像情報送信命令は、撮像情報を送信させるための命令であって、撮像情報は、例えば照明の色温度、スペクトル分布、照度または配光を示す。送信機10135bは、撮像情報を、上述と同様に、直接的に送信してもよいし、間接的に送信してもよい。間接に送信する場合、送信機10135bは、撮像情報に関連付けられたIDを送信する。そのIDを受信した受信機10135aは、例えば、そのIDに関連付けられている撮像情報をサーバ等からダウンロードする。このとき、送信機10135bは、自身へ送信停止命令を送信するための方法(送信停止命令を伝送する電波、赤外線、または音波の周波数、あるいは、自信へ接続するためのSSID、パスワードまたはIPアドレス等)を送信してもよい。
 受信機10135aは、撮像情報を受信すると(ステップS10212)、送信停止命令を送信機10135bに送信する(ステップS10213)。ここで、送信機10135bは、受信機10135aから送信停止命令を受信すると(ステップS10223の)、撮像情報の送信を停止し、一様に発光する(ステップS10224)。
 さらに、受信機10135aは、ステップS10212で受信した撮像情報に従って撮像パラメータを設定する(ステップS10214)、あるいは、撮像情報をユーザへ通知する。撮像パラメータは、例えばホワイトバランス、露光時間、焦点距離、感度またはシーンモードである。これにより、照明に合わせて最適な設定で撮像することができる。次に、受信機10135aは、送信機10135bからの撮像情報の送信が停止されてから(ステップS10215のY)、撮像する(ステップS10216)。これにより、信号送信による被写体の明るさの変化をなくして撮像を行うことができる。なお、受信機10135aは、ステップS10216の後、撮像情報の送信開始を促す送信開始命令を送信機10135bに送信してもよい(ステップS10217)。
 次に、充電状態の表示について説明する。
 図294は、本実施の形態における送信機の応用例を説明するための図である。
 例えば充電器として構成される送信機10137bは、発光部を備え、バッテリーの充電状態を示す可視光信号を発光部から送信する。これにより、高価な表示装置を備えなくても、バッテリーの充電状態を通知することができる。なお、発光部として小さなLEDを用いた場合には、近くからそのLEDを撮像しないと可視光信号を受信することはできない。また、そのLEDの近くに突起部がある送信機10137cでは、突起部が邪魔でLEDを接写しづらい。したがって、送信機10137cからの可視光信号よりも、LEDの付近に突起部がない送信機10137bからの可視光信号の方が、容易に受信することができる。
 (実施の形態14)
 本実施の形態では、上記各実施の形態におけるスマートフォンなどの受信機と、LEDや有機ELの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
 まず、デモモード時と故障時の送信について説明する。
 図295は、本実施の形態における送信機の動作の一例を説明する図である。
 送信機は、エラーが発生している場合には、エラーが発生していることを示す信号、または、エラーコードに対応する信号を送信することで、受信機にエラーが発生していることやエラー内容を伝えることができる。受信機は、エラー内容に合わせて適切な対応を示すことで、エラーを修復したり、サービスセンターにエラー内容を適切に報告したりすることができる。
 送信機は、デモモードになっている場合は、デモコードを送信する。これにより、例えば店頭で商品である送信機のデモを行っている場合に、来店者がデモコードを受信し、デモコードに関連付けられた商品説明を取得することができる。デモモードであるかどうかの判断は、送信機の動作設定がデモモードになっている、店頭用CASカードが挿入されている、CASカードが挿入されていない、記録用メディアが挿入されていないといった点から判断することができる。
 次に、リモコンからの信号送信について説明する。
 図296は、本実施の形態における送信機の動作の一例を説明する図である。
 例えばエアコンのリモコンとして構成される送信機が、本体情報を受信した際に、送信機が本体情報を送信することで、受信機は、遠くの本体の情報を近くにある送信機から情報を受信することができる。受信機は、ネットワーク越しなど、可視光通信が不可能な場所に存在する本体からの情報を受信することもできる。
 次に、明るい場所にあるときだけ送信する処理について説明する。
 図297は、本実施の形態における送信機の動作の一例を説明する図である。
 送信機は、周囲の明るさが一定以上であれば送信を行い、一定以下になれば送信を停止する。これにより、例えば電車の広告として構成される送信機は、車両が車庫入りした際に自動で動作を停止することができ、電池の消耗を抑えることができる。
 次に、送信機の表示に合わせたコンテンツ配信(関連付けの変更・スケジューリング)について説明する。
 図298は、本実施の形態における送信機の動作の一例を説明する図である。
 送信機は、表示するコンテンツの表示タイミングに合わせて、受信機に取得させたいコンテンツを送信IDに関連付ける。表示コンテンツが変更される度に、関連付けの変更をサーバへ登録する。
 送信機は、表示コンテンツの表示タイミングが既知である場合は、表示コンテンツの変化タイミングに合わせて別のコンテンツが受信機に渡されるように、サーバに設定する。サーバは、受信機から送信IDに関連付けられたコンテンツの要求が合った際には、設定されたスケジュールに合わせたコンテンツを受信機へ送信する。
 これにより、例えばデジタルサイネージとして構成される送信機が表示内容を次々と変更している場合に、受信機は、送信機が表示しているコンテンツに合わせたコンテンツを取得することができる。
 次に、送信機の表示に合わせたコンテンツ配信(時刻による同期)について説明する。
 図299は、本実施の形態における送信機の動作の一例を説明する図である。
 所定のIDに関連付けられたコンテンツ取得の要求に対し、時刻に応じて異なるコンテンツを渡すように、あらかじめサーバへ登録しておく。
 送信機は、サーバと時刻を同期し、所定の時刻に所定の部分が表示されるようにタイミングを調整してコンテンツを表示する。
 これにより、例えばデジタルサイネージとして構成される送信機が表示内容を次々と変更している場合に、受信機は、送信機が表示しているコンテンツに合わせたコンテンツを取得することができる。
 次に、送信機の表示に合わせたコンテンツ配信(表示時刻の送信)について説明する。
 図300は、本実施の形態における送信機と受信機の動作の一例を説明する図である。
 送信機は、送信機のIDに加え、表示中のコンテンツの表示時刻を送信する。コンテンツ表示時刻は、現在表示しているコンテンツを特定できる情報であり、例えばコンテンツの開始時点からの経過時刻などで表現できる。
 受信機は、受信したIDに関連付けられたコンテンツをサーバから取得し、受信した表示時刻に合わせてコンテンツを表示する。これにより、例えばデジタルサイネージとして構成される送信機が表示内容を次々と変更している場合に、受信機は、送信機が表示しているコンテンツに合わせたコンテンツを取得することができる。
 また、受信機は、時間の経過に従って、表示するコンテンツを変更する。これにより、送信機の表示コンテンツが変化した際に再度信号を受信しなくても、表示コンテンツに合わせたコンテンツが表示される。
 次に、ユーザの許諾状況に合わせたデータのアップロードについて説明する。
 図301は、本実施の形態における受信機の動作の一例を説明する図である。
 受信機は、ユーザがアカウント登録をしている場合には、アカウント登録の際等にユーザがアクセス許可を行っている情報(受信機の位置や電話番号やIDやインストールされているアプリやユーザの年齢や性別や職業や嗜好等)を受信したIDと合わせてサーバへ送信する。
 アカウント登録がされていない場合には、ユーザが前記のような情報のアップロードを許可していれば、同様にサーバへ送信し、許可していない場合には、受信したIDのみをサーバへ送信する。
 これにより、ユーザは受信時の状況や自身のパーソナリティに合わせたコンテンツを受信することができ、また、サーバはユーザの情報を得ることでデータ解析に役立てることが出来る。
 次に、コンテンツ再生アプリの起動について説明する。
 図302は、本実施の形態における受信機の動作の一例を説明する図である。
 受信機は、受信したIDに関連付けられたコンテンツをサーバから取得する。起動中のアプリが取得コンテンツを扱える(表示したり再生したりすることができる)場合には、起動中のアプリで取得コンテンツを表示・再生する。扱えない場合は、扱えるアプリが受信機にインストールされているかどうかを確認し、インストールされている場合は、そのアプリを起動して取得コンテンツの表示・再生を行う。インストールされていない場合は、自動でインストールしたり、インストールを促す表示をしたり、ダウンロード画面を表示させたりし、インストール後に取得コンテンツの表示・再生を行う。
 これにより、取得コンテンツを適切に扱う(表示・再生等を行う)ことができる。
 次に、指定アプリの起動について説明する。
 図303は、本実施の形態における受信機の動作の一例を説明する図である。
 受信機は、受信したIDに関連付けられたコンテンツと、起動すべきアプリを指定する情報(アプリID)をサーバから取得する。起動中のアプリが指定アプリである場合は、取得したコンテンツを表示・再生する。指定アプリが受信機にインストールされている場合は、指定アプリを起動して取得コンテンツの表示・再生を行う。インストールされていない場合は、自動でインストールしたり、インストールを促す表示をしたり、ダウンロード画面を表示させたりし、インストール後に取得コンテンツの表示・再生を行う。
 受信機は、アプリIDのみをサーバから取得し、指定アプリを起動するとしてもよい。
 受信機は、指定された設定を行うとしてもよい。受信機は、指定されたパラメータを設定して、指定されたアプリを起動するとしてもよい。
 次に、ストリーミング受信と通常受信の選択について説明する。
 図304は、本実施の形態における受信機の動作の一例を説明する図である。
 受信機は、受信したデータの所定のアドレスの値が所定の値である場合や、受信したデータが所定の識別子を含む場合は、信号がストリーミング配信されていると判断し、ストリーミングデータの受信方法で受信を行う。そうでない場合は、通常の受信方法で受信する。
 これにより、ストリーミング配信と通常配信のどちらの方法で信号が送信されていても受信を行うことができる。
 次に、プライベートデータについて説明する。
 図305は、本実施の形態における受信機の動作の一例を説明する図である。
 受信機は、受信したIDの値が所定の範囲内である場合や、所定の識別子を含む場合には、アプリ内にテーブルを参照し、受信IDがテーブルに存在すれば、そのテーブルで指定されたコンテンツを取得する。そうでない場合には、サーバから受信IDにしていされたコンテンツを取得する。
 これにより、サーバに登録を行わなくてもコンテンツを受信することができる。また、サーバとの通信を行わないため、素早いレスポンスが得られる。
 次に、周波数に合わせた露光時間の設定について説明する。
 図306は、本実施の形態における受信機の動作の一例を説明する図である。
 受信機は、信号を検知し、信号の変調周波数を認識する。受信機は、変調周波数の周期(変調周期)に合わせて露光時間を設定する。例えば、変調周期と同程度の露光時間にすることで、信号を受信しやすくすることができる。また、例えば、変調周期の整数倍、または、それに近い値(概ね±30%程度)に露光時間を設定することで、畳み込み復号によって信号を受信しやすくすることができる。
 次に、送信機の最適パラメータ設定について説明する。
 図307は、本実施の形態における受信機の動作の一例を説明する図である。
 受信機は、送信機から受信したデータに加え、現在位置情報やユーザに関連する情報(住所や性別や年齢や嗜好等)をサーバへ送信する。サーバは、受信した情報に合わせて、送信機が最適に動作するためのパラメータを受信機へ送信する。受信機は、受信したパラメータを送信機へ設定できる場合には設定する。設定できない場合には、パラメータを表示し、ユーザが送信機へそのパラメータを設定するように促す。
 これにより、例えば、送信機が使われている地域の水の性質に最適化して洗濯機を動作させたり、ユーザの使用している米の種類に最適な方法で炊飯するように炊飯器を動作させたりすることができる。
 次に、データの構成を示す識別子について説明する。
 図308は、本実施の形態における送信データの構成の一例を説明する図である。
 送信される情報は識別子を含み、受信機は、その値によって後続する部分の構成を知ることができる。例えば、データの長さ、エラー訂正符号の種類や長さ、データの分割点などを特定することができる。
 これにより、送信機は、送信機や通信路の性質に応じてデータ本体やエラー訂正符号の種類や長さを変更することができる。また、送信機は、送信機のIDに加えて、コンテンツIDを送信することで、受信機にコンテンツIDに応じたIDを取得させることができる。
 (実施の形態15)
 本実施の形態では、上記各実施の形態におけるスマートフォンなどの受信機と、LEDや有機ELの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
 図309は、本実施の形態における受信機の動作を説明するための図である。
 本実施の形態における受信機1210aは、イメージセンサによる連続した撮影を行う際に、例えばフレーム単位でシャッター速度を高速と低速とに切り替える。さらに、受信機1210aは、その撮影によって得られるフレームに基づいて、そのフレームに対する処理を、バーコード認識処理と可視光認識処理とに切り替える。ここで、バーコード認識処理とは、低速のシャッター速度によって得られるフレームに映っているバーコードをデコードする処理である。可視光認識処理とは、高速のシャッター速度によって得られるフレームに映っている上述の輝線のパターンをデコードする処理である。
 このような受信機1210aは、映像入力部1211と、バーコード・可視光識別部1212と、バーコード認識部1212aと、可視光認識部1212bと、出力部1213とを備えている。
 映像入力部1211は、イメージセンサを備え、イメージセンサによる撮影のシャッター速度を切り替える。つまり、映像入力部1211は、例えばフレーム単位でシャッター速度を低速と高速とに交互に切り替える。より具体的には、映像入力部1211は、奇数番目のフレームに対してはシャッター速度を高速に切り替え、偶数番目のフレームに対してはシャッター速度を低速に切り替える。低速のシャッター速度の撮影は、上述の通常撮影モードによる撮影であって、高速のシャッター速度の撮影は、上述の可視光通信モードによる撮影である。つまり、シャッター速度が低速の場合には、イメージセンサに含まれる各露光ラインの露光時間は長く、被写体が映し出された通常撮影画像がフレームとして得られる。また、シャッター速度が高速の場合には、イメージセンサに含まれる各露光ラインの露光時間は短く、上述の輝線が映し出された可視光通信画像がフレームとして得られる。
 バーコード・可視光識別部1212は、映像入力部1211によって得られる画像に、バーコードが現れているか否か、または輝線が現れているか否かを判別することによって、その画像に対する処理を切り替える。例えば、バーコード・可視光識別部1212は、低速のシャッター速度の撮影によって得られたフレームにバーコードが現れていれば、その画像に対する処理をバーコード認識部1212aに実行させる。一方、バーコード・可視光識別部1212は、高速のシャッター速度の撮影によって得られた画像に輝線が現れていれば、その画像に対する処理を可視光認識部1212bに実行させる。
 バーコード認識部1212aは、低速のシャッター速度の撮影によって得られたフレームに現れているバーコードをデコードする。バーコード認識部1212aは、そのデコードによって、バーコードのデータ(例えばバーコード識別子)を取得し、そのバーコード識別子を出力部1213に出力する。なお、バーコードは、一次元のコードであっても、二次元のコード(例えば、QRコード(登録商標))であってもよい。
 可視光認識部1212bは、高速のシャッター速度の撮影によって得られたフレームに現れている輝線のパターンをデコードする。可視光認識部1212bは、そのデコードによって、可視光のデータ(例えば可視光識別子)を取得し、その可視光識別子を出力部1213に出力する。なお、可視光のデータは上述の可視光信号である。
 出力部1213は、低速のシャッター速度の撮影によって得られたフレームのみを表示する。したがって、映像入力部1211による撮影の被写体がバーコードである場合には、出力部1213はバーコードを表示する。また、映像入力部1211による撮影の被写体が、可視光信号を送信するデジタルサイネージなどである場合には、出力部1213は、輝線のパターンを表示することなく、そのデジタルサイネージの像を表示する。そして、出力部1213は、バーコード識別子を取得した場合には、そのバーコード識別子に対応付けられている情報を例えばサーバなどから取得し、その情報を表示する。また、出力部1213は、可視光識別子を取得した場合には、その可視光識別子に対応付けられている情報を例えばサーバなどから取得し、その情報を表示する。
 つまり、端末装置である受信機1210aは、イメージセンサを備え、イメージセンサのシャッター速度を、第1の速度と、第1の速度よりも高速の第2の速度とに交互に切り替えながら、イメージセンサによる連続した撮影を行う。そして、(a)イメージセンサによる撮影の被写体がバーコードである場合には、受信機1210aは、シャッター速度が第1の速度であるときの撮影によって、バーコードが映っている画像を取得し、その画像に映っているバーコードをデコードすることによって、バーコード識別子を取得する。また、(b)イメージセンサによる撮影の被写体が光源(例えばデジタルサイネージなど)である場合には、受信機1210aは、シャッター速度が第2の速度であるときの撮影によって、イメージセンサに含まれる複数の露光ラインのそれぞれに対応する輝線を含む画像である輝線画像を取得する。そして、受信機1210aは、取得された輝線画像に含まれる複数の輝線のパターンをデコードすることによって可視光信号を可視光識別子として取得する。さらに、この受信機1210aは、シャッター速度が第1の速度であるときの撮影によって得られる画像を表示する。
 このような本実施の形態における受信機1210aでは、バーコード認識処理と可視光認識処理とを切り替えて行うことによって、バーコードのデコードを行うとともに、可視光信号を受信することができる。さらに、切り替えによって、消費電力を抑えることができる。
 本実施の形態における受信機は、バーコード認識処理の代わりに画像認識処理を可視光処理と同時に行ってもよい。
 図310Aは、本実施の形態における受信機の他の動作を説明するための図である。
 本実施の形態における受信機1210bは、イメージセンサによる連続した撮影を行う際に、例えばフレーム単位でシャッター速度を高速と低速とに切り替える。さらに、受信機1210bは、その撮影によって得られる画像(フレーム)に対して、画像認識処理と上述の可視光認識処理とを同時に実行する。画像認識処理は、低速のシャッター速度によって得られるフレームに映っている被写体を認識する処理である。
 このような受信機1210bは、映像入力部1211と、画像認識部1212cと、可視光認識部1212bと、出力部1215とを備えている。
 映像入力部1211は、イメージセンサを備え、イメージセンサによる撮影のシャッター速度を切り替える。つまり、映像入力部1211は、例えばフレームン単位でシャッター速度を低速と高速とに交互に切り替える。より具体的には、映像入力部1211は、奇数番目のフレームに対してはシャッター速度を高速に切り替え、偶数番目のフレームに対してはシャッター速度を低速に切り替える。低速のシャッター速度の撮影は、上述の通常撮影モードによる撮影であって、高速のシャッター速度の撮影は、上述の可視光通信モードによる撮影である。つまり、シャッター速度が低速の場合には、イメージセンサに含まれる各露光ラインの露光時間は長く、被写体が映し出された通常撮影画像がフレームとして得られる。また、シャッター速度が高速の場合には、イメージセンサに含まれる各露光ラインの露光時間は短く、上述の輝線が映し出された可視光通信画像がフレームとして得られる。
 画像認識部1212cは、低速のシャッター速度の撮影によって得られたフレームに現れている被写体を認識するとともに、その被写体のフレーム内の位置を特定する。画像認識部1212cは、認識の結果、その被写体がAR(Augmented Reality)の対象とされるもの(以下、AR対象物という)か否かを判断する。そして、画像認識部1212cは、被写体がAR対象物であると判断すると、その被写体に関する情報を表示するためのデータ(例えば、被写体の位置およびARマーカーなど)である画像認識データを生成し、そのARマーカーを出力部1215に出力する。
 出力部1215は、上述の出力部1213と同様に、低速のシャッター速度の撮影によって得られたフレームのみを表示する。したがって、映像入力部1211による撮影の被写体が、可視光信号を送信するデジタルサイネージなどである場合には、出力部1213は、輝線のパターンを表示することなく、そのデジタルサイネージの像を表示する。さらに、出力部1215は、画像認識部1212cから画像認識データを取得すると、画像認識データによって示されるフレーム内の被写体の位置に基づいて、その被写体を囲む白い枠状のインジケータをそのフレームに重畳する。
 図310Bは、出力部1215によって表示されるインジケータの例を示す図である。
 出力部1215は、例えばデジタルサイネージとして構成された被写体の像1215aを囲む白い枠状のインジケータ1215bをフレームに重畳する。つまり、出力部1215は、画像認識された被写体を示すインジケータ1215bを表示する。さらに、出力部1215は、可視光認識部1212bから可視光識別子を取得すると、そのインジケータ1215bの色を例えば白から赤色に変更する。
 図310Cは、ARの表示例を示す図である。
 出力部1215は、さらに、その可視光識別子に対応付けられている、被写体に関する情報を関連情報として例えばサーバなどから取得する。出力部1215は、画像認識データによって示されるARマーカー1215cに関連情報を記載し、関連情報が記載されたARマーカー1215cを、フレーム内の被写体の像1215aに関連付けて表示する。
 このような本実施の形態における受信機1210bでは、画像認識処理と可視光認識処理とを同時に行うことによって、可視光通信を利用したARを実現することができる。なお、図310Aに示す受信機1210aも、受信機1210bと同様に、図310Bに示すインジケータ1215bを表示してもよい。この場合、受信機1210aは、低速のシャッター速度の撮影によって得られたフレームにおいてバーコードが認識されると、そのバーコードを囲む白い枠状のインジケータ1215bを表示する。そして、受信機1210aは、そのバーコードがデコードされると、そのインジケータ1215bの色を白色から赤色に変更する。同様に、受信機1210aは、高速のシャッター速度の撮影によって得られたフレームにおいて輝線のパターンが認識されると、その輝線のパターンがある部位に対応する、低速フレーム内の部位を特定する。例えば、デジタルサイネージが可視光信号を送信している場合には、低速フレーム内のデジタルサイネージの像が特定される。なお、低速フレームとは、低速のシャッター速度の撮影によって得られたフレームである。そして、受信機1210aは、低速フレーム内における特定された部位(例えば、上述のデジタルサイネージの像)を囲む白い枠状のインジケータ1215bを低速フレームに重畳して表示する。そして、受信機1210aは、その輝線のパターンがデコードされると、そのインジケータ1215bの色を白色から赤色に変更する。
 図311Aは、本実施の形態における送信機の一例を説明するための図である。
 本実施の形態における送信機1220aは、送信機1230と同期して可視光信号を送信する。つまり、送信機1220aは、送信機1230が可視光信号を送信するタイミングで、その可視光信号と同一の可視光信号を送信する。なお、送信機1230は、発光部1231を備え、その発光部1231が輝度変化することによって、可視光信号を送信する。
 このような送信機1220aは、受光部1221と、信号解析部1222と、送信クロック調整部1223aと、発光部1224とを備える。発光部1224は、送信機1230から送信される可視光信号と同一の可視光信号を輝度変化によって送信する。受光部1221は、送信機1230からの可視光を受光することによって、送信機1230から可視光信号を受信する。信号解析部1222は、受光部1221によって受信された可視光信号を解析し、その解析結果を送信クロック調整部1223aに送信する。送信クロック調整部1223aは、その解析結果に基づいて、発光部1224から送信される可視光信号のタイミングを調整する。つまり、送信クロック調整部1223aは、送信機1230の発光部1231から可視光信号が送信されるタイミングと、発光部1224から可視光信号が送信されるタイミングとが一致するように、発光部1224による輝度変化のタイミングを調整する。
 これにより、送信機1220aによって送信される可視光信号の波形と、送信機1230によって送信される可視光信号の波形とをタイミング的に一致させることができる。
 図311Bは、本実施の形態における送信機の他の例を説明するための図である。
 本実施の形態における送信機1220bは、送信機1220aと同様に、送信機1230と同期して可視光信号を送信する。つまり、送信機1200bは、送信機1230が可視光信号を送信するタイミングで、その可視光信号と同一の可視光信号を送信する。
 このような送信機1220bは、第1の受光部1221aと、第2の受光部1221bと、比較部1225と、送信クロック調整部1223bと、発光部1224とを備える。
 第1の受光部1221aは、受光部1221と同様に、送信機1230からの可視光を受光することによって、その送信機1230から可視光信号を受信する。第2の受光部1221bは、発光部1224からの可視光を受光する。比較部1225は、第1の受光部1221aによって可視光が受光された第1のタイミングと、第2の受光部1221bによって可視光が受光された第2のタイミングとを比較する。そして、比較部1225は、その第1のタイミングと第2のタイミングとの差(つまり遅延時間)を送信クロック調整部1223bに出力する。送信クロック調整部1223bは、その遅延時間が縮まるように、発光部1224から送信される可視光信号のタイミングを調整する。
 これにより、送信機1220bによって送信される可視光信号の波形と、送信機1230によって送信される可視光信号の波形とをタイミング的により正確に一致させることができる。
 なお、図311Aおよび図311Bに示す例では、2つの送信機が同じ可視光信号を送信したが、異なる可視光信号を送信してもよい。つまり、2つの送信機は、同じ可視光信号を送信するときには、上述のように同期をとって送信する。そして、2つの送信機は、異なる可視光信号を送信するときには、2つの送信機のうちの一方の送信機のみが可視光信号を送信し、その間、他方の送信機は一様に点灯または消灯する。その後、一方の送信機は一様に点灯または消灯し、その間、他方の送信機のみが可視光信号を送信する。なお、2つの送信機が、互いに異なる可視光信号を同時に送信してもよい。
 図312Aは、本実施の形態における複数の送信機による同期送信の一例を説明するための図である。
 本実施の形態における複数の送信機1220は、図312Aに示すように、例えば一列に配列される。なお、これらの送信機1220は、図311Aに示す送信機1220aまたは図311Bに示す送信機1220bと同一の構成を有する。このような複数の送信機1220のそれぞれは、両隣の送信機1220のうちの一方の送信機1220と同期して可視光信号を送信する。
 これにより、多くの送信機が可視光信号を同期して送信することができる。
 図312Bは、本実施の形態における複数の送信機による同期送信の一例を説明するための図である。
 本実施の形態における複数の送信機1220のうちの1つの送信機1220は、可視光信号の同期をとるための基準となり、残りの複数の送信機1220は、その基準に合わせるように可視光信号を送信する。
 これにより、多くの送信機が可視光信号をより正確に同期して送信することができる。
 図313は、本実施の形態における複数の送信機による同期送信の他の例を説明するための図である。
 本実施の形態における複数の送信機1240のそれぞれは、同期信号を受信し、その同期信号に応じて可視光信号を送信する。これにより、複数の送信機1240のそれぞれから可視光信号が同期して送信される。
 具体的には、複数の送信機1240のそれぞれは、制御部1241と、同期制御部1242と、フォトカプラ1243と、LEDドライブ回路1244と、LED1245と、フォトダイオード1246とを備える。
 制御部1241は、同期信号を受信し、その同期信号を同期制御部1242に出力する。
 LED1245は、可視光を放出する光源であって、LEDドライブ回路1244による制御に応じて明滅(つまり輝度変化)する。これにより、可視光信号がLED1245から送信機1240の外に送信される。
 フォトカプラ1243は、同期制御部1242とLEDドライブ回路1244との間を電気的に絶縁しながら、その間で信号を伝達する。具体的には、フォトカプラ1243は、同期制御部1242から送信される後述の送信開始信号をLEDドライブ回路1244に伝達する。
 LEDドライブ回路1244は、同期制御部1242からフォトカプラ1243を介して送信開始信号を受信すると、その送信開始信号を受信したタイミングで、可視光信号の送信をLED1245に開始させる。
 フォトダイオード1246は、LED1245から放たれる可視光を検出し、可視光を検出したことを示す検出信号を同期制御部1242に出力する。
 同期制御部1242は、同期信号を制御部1241から受信すると、送信開始信号を、フォトカプラ1243を介してLEDドライブ回路1244に送信する。この送信開始信号が送信されることによって、可視光信号の送信が開始される。また、同期制御部1242は、その可視光信号の送信によってフォトダイオード1246から検出信号を受信すると、その検出信号を受信したタイミングと、制御部1241から同期信号を受信したタイミングとの差である遅延時間を算出する。同期制御部1242は、次の同期信号を制御部1241から受信すると、その算出された遅延時間に基づいて、次の送信開始信号を送信するタイミングを調整する。つまり、同期制御部1242は、次の同期信号に対する遅延時間が予め定められた設定遅延時間になるように、次の送信開始信号を送信するタイミングを調整する。これにより、同期制御部1242は、その調整されたタイミングで、次の送信開始信号を送信する。
 図314は、送信機1240における信号処理を説明するための図である。
 同期制御部1242は、同期信号を受信すると、所定のタイミングに遅延時間設定パルスが発生する遅延時間設定信号を生成する。なお、同期信号を受信するとは、具体的には同期パルスを受信することである。つまり、同期制御部1242は、同期パルスの立ち下がりから、上述の設定遅延時間だけ経過したタイミングに遅延時間設定パルスが立ち上がるように遅延時間設定信号を生成する。
 そして、同期制御部1242は、同期パルスの立ち下がりから、前回に得られた補正値Nだけ遅れたタイミングで送信開始信号を、フォトカプラ1243を介してLEDドライブ回路1244に送信する。その結果、LEDドライブ回路1244によってLED1245から可視光信号が送信される。ここで、同期制御部1242は、同期パルスの立ち下がりから、固有遅延時間と補正値Nとの和だけ遅れたタイミングで、フォトダイオード1246から検出信号を受信する。つまり、そのタイミングから可視光信号の送信が開始される。以下、そのタイミングを送信開始タイミングという。なお、上述の固有遅延時間は、フォトカプラ1243などの回路に起因する遅延時間であり、同期制御部1242が同期信号を受信してすぐに送信開始信号を送信しても発生する遅延時間である。
 同期制御部1242は、送信開始タイミングから遅延時間設定パルスの立ち上がりまでの時間差を、修正補正値Nとして特定する。そして、同期制御部1242は、補正値(N+1)を、補正値(N+1)=補正値N+修正補正値Nによって算出して保持しておく。これにより、同期制御部1242は、次の同期信号(同期パルス)を受信したときには、その同期パルスの立ち下がりから、補正値(N+1)だけ遅れたタイミングで送信開始信号をLEDドライブ回路1244に送信する。なお、修正補正値Nは正の値だけでなく負の値にも成り得る。
 これにより、複数の送信機1240のそれぞれは、同期信号(同期パルス)を受信してから、設定遅延時間経過後に可視光信号を送信するため、正確に同期して可視光信号を送信することができる。つまり、複数の送信機1240のそれぞれで、フォトカプラ1243などの回路に起因する固有遅延時間にばらつきがあったとしても、そのばらつきに影響を受けることなく、複数の送信機1240のそれぞれからの可視光信号の送信を正確に同期させることができる。
 なお、LEDドライブ回路は、大きな電力を消費するものであり、同期信号を扱う制御回路からはフォトカプラなどを用いて電気的に絶縁される。したがって、このようなフォトカプラが用いられる場合には、上述の固有遅延時間のばらつきによって、複数の送信機からの可視光信号の送信を同期させることが難しい。しかし、本実施の形態における複数の送信機1240では、フォトダイオード1246によってLED1245の発光タイミングが検知され、同期制御部1242によって同期信号からの遅延時間が検知され、その遅延時間が予め設定された遅延時間(上述の設定遅延時間)になるように調整される。これにより、それぞれ例えばLED照明として構成される複数の送信機に備えられるフォトカプラに、個体ばらつきがあっても、複数のLED照明から可視光信号(例えば可視光ID)を高精度に同期した状態で送信させることができる。
 なお、可視光信号送信期間以外はLED照明を点灯させても、消灯させても良い。前期可視光信号送信期間以外を点灯させる場合は、可視光信号の最初の立下りエッジを検出すればよい。前記可視光信号送信期間以外を消灯させる場合は、可視光信号の最初の立ち上がりエッジを検出すればよい。
 なお、上述の例では、送信機1240は、同期信号を受信するたびに、可視光信号を送信するが、同期信号を受信しなくても、可視光信号を送信してもよい。つまり、送信機1240は、同期信号の受信に応じて可視光信号を一度送信すれば、同期信号を受信しなくても可視光信号を順次送信してもよい。具体的には、送信機1240は、同期信号の一度の受信に対して、可視光信号の送信を2~数千回、順次行ってもよい。また、送信機1240は、100m秒に1回の割合または数秒に1回の割合で、同期信号に応じた可視光信号の送信を行ってもよい。
 また、同期信号に応じた可視光信号の送信が繰り返し行われるときには、上述の設定遅延時間によってLED1245の発光の連続性が失われる可能性がある。つまり、少し長いブランキング期間が発生する可能性がある。その結果、LED1245の点滅が人に視認されてしまい、いわゆるフリッカが発生する可能性がある。そこで、送信機1240は、60Hz以上の周期で、同期信号に応じた可視光信号の送信を行ってもよい。これにより、点滅が高速に行われ、その点滅は人に視認され難くなる。その結果、フリッカの発生を抑えることができる。または、送信機1240は、例えば数分に1回の周期などの十分に長い周期で、同期信号に応じた可視光信号の送信を行ってもよい。これにより、点滅が人に視認されてしまうが、点滅が繰り返し連続して視認されることを防止することができ、フリッカが人に与える不快感を軽減することができる。
 (受信方法の前処理)
 図315は、本実施の形態における受信方法の一例を示すフローチャートである。また、図316は、本実施の形態における受信方法の一例を説明するための説明図である。
 まず、受信機は、露光ラインに平行な方向に配列されている複数の画素のそれぞれの画素値の平均値を計算する(ステップS1211)。中心極限定理により、N個の画素の画素値を平均すると、ノイズ量の期待値はNのマイナス1/2乗になり、SN比が改善する。
 次に、受信機は、全ての色のそれぞれで、画素値が垂直方向に同じ変化をしている部分のみ残し、異なる変化をしている部分では画素値の変化を取り除く(ステップS1212)。送信機に備えられている発光部の輝度によって送信信号(可視光信号)が表現される場合、送信機である照明やディスプレイのバックライトの輝度が変化する。この際には、図316の(b)の部分のように、全ての色のそれぞれで画素値が同じ方向に変化する。図316の(a)および(c)の部分では、各色で画素値が異なる変化をしている。これらの部分では、受信ノイズあるいは、ディスプレイまたはサイネージの絵によって画素値が変動しているため、これらの変動を取り除くことで、SN比を改善することができる。
 次に、受信機は、輝度値を求める(ステップS1213)。輝度は色による変化を受けづらいため、ディスプレイまたはサイネージの絵による影響を排除することができ、SN比を改善することができる。
 次に、受信機は、輝度値をローパスフィルタにかける(ステップS1214)。本実施の形態における受信方法では、露光時間の長さによる移動平均フィルタがかけられているため、高周波数領域にはほとんど信号は含まれておらず、ノイズが支配的となる。そのため、高周波数領域をカットするローパスフィルタを用いることで、SN比を改善することができる。露光時間の逆数までの周波数までは信号成分が多いため、それ以上の周波数を遮断することで、SN比の改善の効果を大きくすることができる。信号に含まれている周波数成分が有限である場合は、その周波数より高い周波数を遮断することで、SN比を改善することができる。ローパスフィルタには、周波数振動成分を含まないフィルタ(バタワースフィルタ等)が適している。
 (畳み込み最尤復号による受信方法)
 図317は、本実施の形態における受信方法の他の例を示すフローチャートである。また、図318および図319は、本実施の形態における受信方法の他の例を説明するための図である。以下、これらの図を用いて、露光時間が送信周期より長い場合の受信方法について説明する。
 露光時間が送信周期の整数倍である場合に、最も精度よく受信を行うことができる。整数倍でない場合であっても、(N±0.33)倍(Nは整数)程度の範囲であれば受信を行うことができる。
 まず、受信機は、送受信オフセットを0に設定する(ステップS1221)。送受信オフセットとは、送信のタイミングと受信のタイミングのズレを修正するための値である。このズレは不明であるため、受信機は、その送受信オフセットの候補となる値を少しずつ変化させて、最も辻褄が合う値を送受信オフセットに採用する。
 次に、受信機は、送受信オフセットが送信周期未満であるか否かを判定する(ステップS1222)。ここで、受信の周期と送信周期は同期していないため、送信周期に合わせた受信値が得られているとは限らない。そのため、受信機は、ステップS1222で、送信周期未満であると判定すると(ステップS1222のY)、その近辺の受信値を用いて、送信周期ごとに、送信周期に合わせた受信値(例えば画素値)を補間によって計算する(ステップS1223)。補間方法には、線形補間、最近傍値、またはスプライン補間等を用いることができる。次に、受信機は、送信周期毎に求めた受信値の差分を求める(ステップS1224)。
 図318には、露光時間が送信周期の3倍であり、送信信号が0か1の2値の場合の例が示されている。ある時点の受信値は、3つの送信信号を加算した値となっている。次の時点の受信値との差を求めることで、新しく受信した信号の値を求めることができる。このとき、受信値の差にはノイズが含まれるため、どちらの信号を受信したのかははっきりとはわからない。そこで、受信機は、どちらの信号であったのかの確率(推定尤度)を計算する(ステップS1225)。送信信号をx、受信値の差をyとすると、この確率は条件付き確率P(x|y)で現すことができる。ただし、P(x|y)は求めづらいため、受信機は、ベイズの法則を用いてP(x|y)∝P(y|x)P(x)の右辺の値を用いて計算を行う。
 全ての受信値に対してこの計算を行うことが考えられる。受信値の数がN個のとき、畳み込み状態の遷移のパターンは2のN乗とおり存在し、NP困難であるが、ビタビアルゴリズムを用いて計算することで、効率的に計算することができる。
 図319の状態遷移経路のうちのほとんどは、送信フォーマットに適合しない経路となっている。そのため、状態遷移を行うたびにフォーマットチェックを行い、送信フォーマットに適合しない経路である場合は、その経路である尤度を0とすることで、正しい受信信号を推定できる精度を向上させることができる。
 受信機は、送受信オフセットに所定の値を加え(ステップS1226)、ステップS1222からの処理を繰り返し実行する。また、受信機は、ステップS1222で、送信周期未満でないと判定すると(ステップS1222のN)、各送受信オフセットに対して計算された受信信号の尤度のうち最も高い尤度を特定する。そして、受信機は、その最も高い尤度が所定の値以上か否かを判定する(ステップS1227)。所定の値以上と判定すると(ステップS1227のY)、受信機は、最も尤度が高かった受信信号を最終的な推定結果として用いる。または、受信機は、最も高かった尤度から所定の値を引いた値以上の尤度を持つ受信信号を受信信号候補として用いる(ステップS1228)。一方、ステップS1227において、最も高い尤度が所定の値未満と判定すると(ステップS1227のN)、受信機は、推定結果を破棄する(ステップS1229)。
 ノイズが多すぎる場合には受信信号の推定が適切にできないことが多く、同時に尤度が低くなる。したがって、尤度が低い場合には推定結果を破棄することで、受信信号の信頼性を向上させることができる。また、入力画像に有効な信号が含まれていない場合でも、最尤復号では有効な信号を推定結果として出力してしまうという問題がある。しかし、この場合も尤度が低くなるため、尤度が低い場合は推定結果を破棄することで、この問題を回避することもできる。
 (実施の形態16)
 [1 はじめに]
 従来の可視光通信方式には、受光デバイスとして汎用のイメージセンサを用いる方式と、フォトセンサまたは特殊な高速イメージセンサを用いる方式がある。前者の方式には、例えば、カシオ計算機株式会社の「ピカピカメラ(登録商標)」がある。多くの汎用イメージセンサの撮像フレームレートは30fpsが上限であるため、送信する光源の輝度変化はこれ以下の周波数である必要がある。このような遅い周波数の輝度変化は人間の目にも見えてしまうため、照明を送信機にすることはできず、専用の送信機を用いる必要がある。後者の方式には、IEEE802.15.7や、CP1223がある。これらの方式で用いられる変調周波数は9.6kHz以上と高く、人間の目には一様に点灯しているように見えるため、照明を送信機として用いることが可能である。しかし、専用の受信デバイスが必要であるため、スマートフォンで受信することができないという点が、普及の妨げとなっている。
 我々は、今日のスマートフォンに搭載されている汎用のイメージセンサを受信デバイスとして用い、人間の目に映らない速さで変調された信号を受信可能な方式を開発した。CMOS型イメージセンサは、CCD型イメージセンサと比べ、高速応答性、高集積、低消費電力、低電圧駆動といった面で優れており、ほぼすべてのスマートフォンやデジタルカメラに採用されている。CMOS型イメージセンサの撮像方式は、画像の1ライン毎に順々に露光していくラインスキャン方式であり、移動物体を撮像した際に画像に歪みを生じさせる原因として知られている。我々は、このラインスキャン方式の特性を利用し、露光時間を適切に設定することで、従来の1000倍である30kHz以上の頻度でサンプリングを行う方法(Line Scan Sampling,LSS)を開発した。また、この方式に適した変調方式を考案して照明やディスプレイに実装した。市販されているスマートフォンにLSSによる受信方式を実装し、10kHz以上で変調された信号が受信可能であることを確認した。
 [2 ラインスキャンサンプリング]
 CMOSイメージセンサは、以下の手順で、受光した光を画素値に変換し、1次元のデータとして読み出される。
 1. 画素内のフォトダイオードが露光されることで、露光量に応じた電荷が生じ、この電荷は増幅器で電圧に変換される。
 2. 電圧は行選択スイッチによって垂直信号線に送られる。ここで、固定パターンノイズが取り除かれ、一時的に保存される。
 3. 列選択スイッチによって水平信号線に順に送られ、1次元のデータとして読み出される。
 今日スマートフォンやデジタルカメラに用いられているイメージセンサは高度に微細化されており、各画素はメモリを搭載していない。そのため、1での露光はすべての画素で同時に行われるのではなく、行ごとに順々に行われる2のタイミングに合わせ、順々にて行われる。すなわち、露光の開始・終了は、行ごとに少しずつ異なるタイミングで行われるため、CMOSイメージセンサで撮像した画像は、行ごとに異なる時刻の像を写している。この仕組を利用することで、撮像フレーム毎のサンプリングよりもはるかに高速に送信機の輝度の変化をサンプリングすることができる。同時に露光する画素のラインを、露光ラインと呼ぶ。
 図320は、10kHzの変調周波数で変調された信号を、露光時間を1/100、1/1,000、1/10,000と変えて撮像した図である。撮像画像の画素値は、露光時間内の撮像対象の輝度の積分値に、レンズの明るさや感度設定値によって定まる値を乗じた値として得られる。通常、室内で撮影を行う場合は、1/30~1/200程度の露光時間が用いられる。露光時間Teが変調周期Tsと比べて十分長い場合は、最も明るい期間をとらえた露光ラインと最も暗い期間をとらえた露光ラインとの輝度の差は、Ts/Teと近似することができる。Te=1/100秒、Ts=1/10,000秒(10kHz)のとき、画素値の差はわずか1%になる。そのため、通常の条件で撮影された写真ではこの点滅は認識されない。しかし、図320の(c)のように、露光時間を短くすると点滅の様子が露光ラインの画素値としてはっきりと現れる。露光時間を短くすることで、高い周波数の輝度変化を捉えることができる。
 CMOSイメージセンサの全てのフォトダイオードが撮像に直接用いられるわけではない。オプティカルブラック部分は遮光されており、有効画素の出力電位からこの部分の出力電位を減算することで、熱雑音による暗電流をキャンセルするという働きをする。また、設計上の都合で存在する無効部分も存在する。また、有効画素は4:3に近い縦横比で構成されることが多いが、撮像画像の大きさを16:9に設定した場合は、有効画素部分の上下が切り取られるため、結果的に無効部分と同様の扱いになる。イメージセンサは、有効画素だけではなく、オプティカルブラック、無効部分も含めて行ごとに順次読み出しを行うため、画像のボトムラインを撮像してから次の画像のトップラインを撮像するまでの間には、オプティカルブラックと無効部分を露光する時間分の時間差が存在する。この時間をブランキングタイムと呼ぶ。
 LSSで光源の輝度変化をサンプルできる時間は、光源が撮像されているExposure lineが露光している時間だけである。この様子を図321に示す。また、仮に光源が画面いっぱいに写されていたとしても、前述のブランキングタイムが存在するため、サンプルは非連続となる。そのため、信号受信は非連続となることを前提に、LSSに適したプロトコルで信号送信を行う必要がある。なお、今日のスマートフォンにはこのような機能はないが、図322に示すように、光源位置を特定してその部分のみを撮像するように設定することができれば、連続受信が可能となり、通信効率を飛躍的に増加させることが出来る。
 サンプリング周波数撮像周波数を30fps、画像の縦サイズを1080ピクセルとすると、LSSによるサンプル回数は毎秒30×1,080=32,400回となるが、ブランキングタイムによりサンプルができない期間が存在するため、サンプリング周波数はこれより速くなる。ブランキングタイムは、機種ごとの設定や、フレームレートや画像解像度等の撮像条件によって異なるが、概ね1~10ミリ秒の間であるため、サンプリング周波数は、約33~46kHzとなる。
 [3 送信機の条件]
 照明光を可視光通信の光源として利用するためには、信号表現のための輝度変化が人間に知覚できないレベルである必要がある。そのためには、送信する信号にかかわらず平均輝度(実効輝度)が一定である必要がある。また、輝度変化の周波数が十分高速であるか、変化の割合が十分少ない必要がある。人間の知覚限界周波数はCritical Flicker Frequency(CFF)と呼ばれ、条件によって違いはあるものの、60Hz程度であるとされている。ただし、これは周期的な点滅における限界であり、信号表現のための不規則変化においては、より高い変調周波数が必要になる。また、カメラやビデオカメラで撮像した際にも、輝度変化による影響が出てはならない。前述の通り、通常の撮影で用いられる範囲の露光時間設定では、輝度変化による影響は小さく、静止画では問題にならない。しかし、動画撮影の場合は、CFFよりも高い周波数の輝度変化であっても、走査線のような影が知覚されることがある。これは、動画撮影のフレーム周波数と信号周波数のズレのエイリアスが原因であり、この影響を取り除くためには、CFFよりかなり高い周波数を用いるか、変化の割合を少なくする必要がある。
 照明の調光には、光源に流す電流量による制御(電流制御)と、発光している時間の長短による制御(PWM制御)がある。信号表現のために輝度の変化を利用するため、PWM制御は用いることができない。しかし、ディスプレイのバックライト等、従来PWM制御を行っていたものを電流制御に変更するためには大幅な回路変更が必要となり、可視光通信の導入への障壁となってしまう。そのため、変調方式として、平均輝度を調整できる機能が含んでいることが望ましい。
 照明本来の機能として、輝度が高いほうが望ましい。光源となるLEDの個数や耐圧は最高輝度によって決定されるため、最高輝度に対する実効輝度の割合(実効輝度レート、Effective Luminance Rate(ELR))が高くなる変調方式が望ましい。
 ディスプレイのバックライトの輝度を制御することで、ディスプレイから信号を送信することができる。ただし、照明を送信機とする場合に比べ、以下の点に注意する必要がある。光源の輝度が低いため、SN比が低い。スクリーンの絵がノイズとなる、また、絵が暗い場合はSN比がさらに低下する動画の解像感の向上のため、液晶の透過率を変更している間はバックライトをオフにする必要がある。画面のリフレッシュレートは、グレードの高い製品ほど高く、現在の製品では最高240Hzである。この場合、1/240秒単位で断続的に信号は送信される。
 [4 LSSに適した変調方式]
 LSSの最も大きな特徴は、受信が非連続であることである。非連続受信に対応した変調方法には、small symbol方式とlarge symbol方式がある。
 [4.1 Large symbol方式]
 Large symbol方式では、シンボルの送信時間が画像撮像周期よりも長い、一様なシンボルを用いる。なお、一様なシンボルとは、周波数変調シンボルのように、シンボルのどの部分でも一部を受信すれば信号を復号可能なシンボルを指す。受信機は、一枚の画像あたり一つのシンボルを受信し、複数の画像から受信したシンボルを連結することで、通信データを復元する。1画像あたり1シンボルを受信する方法は、従来のイメージセンサ受信方式と類似しているが、この方式は、1シンボルあたりの情報量がはるかに多いことと、人間には光源の点滅が視認できない点に違いが有る。受信データを受信した順に繋げることで通信データを復元するとすることも可能であるが、例えば、受信機の処理負荷等の影響で撮像フレームの処理がドロップした場合には正常に復元することができず、信頼性に欠ける。信号の一部をアドレスの表現に用いることで、上記のような場合でも正常にデータを受信することが出来る。
 周波数変調による符号化信号は、信号が一様であり、また、シンボルあたりの情報量が多く、Large symbol方式の符号として適している。オンオフ制御による周波数変調の例を図323の(b)に示す。単純な周波数変調では、実効輝度レートは50%であるが、1周期の時間を固定し、輝度が高い時間を多くとることで、実効輝度レートを上げることができる。図323の(b)および(c)は、同一周波数で異なるELRの信号を周波数解析した例であり、基本周波数から信号の表す周波数を認識できることがわかる。
 LSSによる信号のサンプリングは、露光期間中の輝度の平均値となるため、露光時間の長さの移動平均フィルタがかかることになる。このフィルタの周波数特性を図324に示す。そのため、受信機の露光時間は一定に保つ必要画あり、かつ、ここで遮断される周波数は使用できないことに注意する必要がある。
 [4.2 Small symbol方式]
 Small symbol方式では、受信機は、一連の受信時間の間に複数のシンボルを受信し、複数の画像フレームで受信した部分をつなぎ合わせることで、通信データを復元する。送信信号の繰り返し周期が一定であれば、撮像フレームレートから非受信期間の時間の長さを計算して、受信部分を連結することもできるが、今日のスマートフォンの多くは、プロセッサの処理負荷や温度によって撮像フレームレートが変動させるという制御を行っているため、この方法は信頼性が低い。そこで、通信データを複数のパケットに分割し、パケットの境界を示すヘッダとパケット番号を示すアドレスを付加することで、非受信期間の長短に関わらず、受信したデータをつなぎ合わせることができる。また、前者の方法では、受信周期(撮像フレームレート)と送信周期の比が小さな整数で表される場合には、通信データの同じ部分しか受信できないという状況が発生するが、後者の方法では、パケットの送信順序をランダムにすることで、この問題を解決することができる。
 パルス位置変調や周波数変調はシンボル送信時間が短く、ELRを高くできるため、Small symbol方式に適している。
 パルス位置変調の中で輝度を一定に保つ符号化方式には、マンチェスタ符号とfour pulse-position modu-lation(4PPM)符号がある(図325および図326)。いずれも符号化効率は50%であるが、実効輝度レートはマンチェスタ符号が50%、4PPM符号が75%であり、4PPM符号が優れている。図325は、4PPM符号をベースとし、輝度調整に対応した符号化方式(variable 4PPM,V4PPM)である。この符号化方式により、実効輝度レートを25%から75%まで連続的に変化させることができる。また、信号の立ち上がり位置は輝度に関わらず一定であるため、受信側は、輝度設定値を意識せずに受信することが可能であるという特徴がある。マンチェスタ符号をベースにした輝度調整対応符号化方式として、variable PPM(VPPM)方式があるが、VPPM方式で実効輝度レートを25%~75%で変更可能とした場合、認識可能な最短パルス幅を基準に考えると、図327に示す通り、シンボル長の25%のパルス幅が4PPMの1パルスの幅と同じ幅になる。このとき、V4PPMの符号化効率はVPPMの2倍となり、V4PPMが優れているといえる。
 離散コサイン変換などの周波数解析を行うことで、周波数変調されたシンボルを受信することができる。この方法は長い露光時間でも受信できるという利点がある。ただし、シンボルの順序の情報は失われるため、高調波を考慮した利用できる周波数の組み合わせは限られている。以下の実験では、Small symbol方式のシンボル変調方式としてV4PPMを用いる。
 [4.3 性能評価]
 二つの変調方式の性能評価を行う。スマートフォンP-03Eを受信機、液晶テレビTH-L47DT5を送信機とする。液晶の書換え時にはバックライトがオフにされる。液晶の書換え周波数は240Hzであり、スタンダードモードでは75%の期間バックライトが点灯するため、連続して信号を送信する時間は1,000,000/240×0.75=3,125マイクロ秒となる。露光時間を1/10,000とし、ディスプリのスクリーンに50%グレーの画面を表示し、1kHzのオンオフ信号を送信した場合に、上記の送信機と受信機で計測したシグナルノイズパワーを図328の(a)に示す。以下の実験は、このSN比を模したシミュレーション信号(図328の(b))を用いて行った。また、受信信号は、露光ラインに水平な方向に256ピクセルの画素値を平均した値を用いた。以下の結果は、各条件における1,000回の試行の結果である。
 Large symbol方式のシンボルとして、単一周波数のシンボルを用いる。実効輝度レートは50%に近いほど受信誤りが低くなるが、Small symbol方式の実験で用いるELRと同じ75%とする。受信信号は、露光ラインに垂直な方向の画素値の離散コサイン変換によって計算する。受信誤差(送信信号周波数と受信信号周波数の差)を図329Aに示す。受信誤差は9kHzのあたりで急激に大きくなった。これは、図324に示したLSSの移動平均フィルタにより、信号パワーが小さくなり、ノイズに埋もれてしまうためである。低い周波数領域で受信誤差が大きくなっているのは、送信期間中に少ない周期の信号しか送れないためである。各周波数マージンにおける受信エラー率を図329B~図329Fに示す。例えば、許容エラー率を5%とすると、1.6kHzから8kHzまでの範囲の周波数を50Hzステップで値を割り当てることができるため、(8,000-1,600)/50=128=7ビットの情報を表現することができる。例えば、2bitをアドレス、5bitをデータとすると、20bitの情報を表現することができる。最速で4フレームの画像から通信データを復号できるため、30fpsで撮像した場合の実効通信速度は150bpsになる。実際の用途では、受信エラーを検出するため、エラーチェックコードを含める必要がある。
 Small symbol方式のシンボルとして、V4PPMを用いた。各シンボルレートにおける受信成功率を図330に示す。ただし、この受信成功率は、1パケット中の全てのシンボルを正しく受信できた割合を示す。また、ここでいう変調周波数とは、1秒間に含まれる輝度変化の時間スロット数を示す。すなわち、10kHzの変調周波数では、2,500のV4PPMシンボルを含む。許容エラー率を5%とすると、変調周波数は10kHzとすることができる。連続送信期間全体を1パケットとすると、送信期間の最初がオン状態(輝度が高い状態)であればその境界が判断できるため、パケットの境界を示すヘッダは1スロットで示すことができる。そのため、1パケットには、以下の(式1)に示す数のV4PPMシンボルを含む。
Figure JPOXMLDOC01-appb-M000001
 すなわち、14ビットの情報を含む。2ビットをアドレス、12ビットをデータに割り当てると、48ビットの情報を表現することができる。撮像画像中の送信機が十分大きければ複数のパケットを受信できるため、全てのパケットが1画像から受信できた場合に実効通信速度は最大になり、30fpsで撮像する場合は1,440bpsとなる。
 Small symbol方式のほうが表現できるビット数が大きいため、こちらを実装し、動作確認を行った。パケットの構成は前述の例の通りで、合成した48ビットのデータ中に4ビットのCRCコードを含めた。また、同じアドレスで異なるデータのパケットを受信した場合には、同じデータのパケットを受信した回数が多いデータを採用した。また、同じデータのパケットが同数の場合は、いずれかのデータが単独で最大数となるまで受信を続けた。CRCによるエラー検出がされた場合には、受信された全てのパケットを破棄するとした。送受信機間の距離は4mとした。この距離では、1画像内に少なくとも一つのパケットの画像が含まれる。200回の試行において、平均受信時間が351ミリ秒であり、CRCエラーチェック後に残るエラーは発生しなかった。N種類のパケットを収集するために必要となるパケット受信回数の期待値は、以下の(式2)によって計算できる。
Figure JPOXMLDOC01-appb-M000002
 したがって、N=4のとき、期待値は8.33となる。そのため、受信がエラーがなく、1画像から1パケットの受信がなされるときの期待受信時間は8,33×33=275ミリ秒となる。平均受信時間がこれより遅いのは、受信エラーのため複数のパケットの受信が必要になったためであり、パケット中にエラー検出コードを含める等の対策により受信エラーを減らすことで、受信時間を向上させることができる。
 [5 結論]
 可視光通信とは、人間の目に見える可視光帯域の電磁波を用いた無線通信の一種である。照明が通信インフラになるという社会応用面から注目を帯びている。特徴として、電波法の認証が不要、生体に影響がなく安全、電磁波で他の機器に影響を与えない、発信源・通信経路が目に見えるため通信範囲が一目でわかる、不正な通信を防ぎやすい、遮蔽が容易、指向性が高く特定の相手とだけ通信できる、通信のエネルギーを照明と共用できる。また、WiFi等に代表される従来の無線通信と同様の双方向通信としての利用に加え、片方向通信を用いた標識としての利用方法が考えられている。例えば、天井照明から位置情報を発信することで、GPSが届かない屋内で位置を特定するといった応用が期待されている。
 本稿では、CMOS型イメージセンサのラインスキャン特性を利用した高速サンプリングを提案し、現行のスマートフォンで10kHzの変調周波数で変調された信号を受信可能であることを確認した。
 照明を送信機とした可視光信号をスマートフォンで受信できることで、様々な応用が考えられる。例えば、天井照明から位置情報を発信し、GPSが届かない屋内で位置を特定するといった応用が期待できる。また、看板を送信機とし、スマートフォンでクーポンを取得したり、空席情報を確認するといった応用が考えられる。
 本稿で提案した可視光通信方式は、照度センサ受信方式と比べ、スマートフォンを受信機とできることに加え、以下の様な優位性を持つ。受光する光を空間的に分離可能であるため、複数の送信機が近くに存在する場合でも、混信することなく、個別に信号を受信することができる。また、受光方向が特定できるため、光源との相対位置を計算することができる。すなわち、受信信号によって光源の絶対位置を取得することで、受信機の絶対位置を数cmの精度で求めることができる。また、ディスプレイや看板を送信機とした通信を行うことができる。ディスプレイや看板は照明に比べて輝度・照度が低いため、フォトセンサで受信することは難しいが、イメージセンサ受信方式では、環境照度にかかわらず信号を受信することができる。また、ディスプレイは画面の動きがノイズ源となるが、イメージセンサ受信方式では、ノイズの少ない平坦な部分を選んでその部分から信号を受信することができる。
 今後は、受信アルゴリズムを改良し、さらなる通信性能向上について検討する予定である。また、本可視光通信方式の応用例を検討し、産業利用面での利用について実証していく予定である。
 (実施の形態17)
 本実施の形態では、上記各実施の形態における送信機として構成されるシステムであって、映像を表示するとともに可視光信号を送信する表示システムについて説明する。
 図331は、本実施の形態における表示システムの構成を示すブロック図である。
 本実施の形態における表示システムは、映像信号を生成して送出する映像信号送出器1250と、映像を表示するとともに可視光信号を送信する映像表示器1270とを備える。
 映像信号送出器1250は、映像信号生成部1251と、可視光信号生成部1252と、可視光同期信号生成部1253と、映像規格信号送出部1254とを備えている。
 映像信号生成部1251は、映像信号を生成して映像規格信号送出部1254に出力する。可視光信号生成部1252は、可視光信号を電気信号として生成して映像規格信号送出部1254に出力する。可視光同期信号生成部1253は、可視光同期信号を生成して映像規格信号送出部1254に出力する。
 映像規格信号送出部1254は、上述のように生成された映像信号、可視光信号、および可視光同期信号を、映像規格伝送路群1260を介して映像表示器1270に出力する。
 映像表示器1270は、映像規格信号受信部1271と、映像表示部1272と、可視光信号発信部1273とを備えている。
 映像規格信号受信部1271は、映像規格信号送出部1254から映像規格伝送路群1260を介して、映像信号、可視光信号および可視光同期信号を受信する。そして、映像規格信号受信部1271は、その映像信号を映像表示部1272に出力し、可視光信号および可視光同期信号を可視光信号発信部1273に出力する。
 映像表示部1272は、例えば液晶ディスプレイ、有機ELディスプレイ、またはプラズマディスプレイなどを備え、映像規格信号受信部1271から映像信号を受信すると、その映像信号に応じた映像を表示する。また、映像表示器1270がプロジェクタなどである場合には、映像表示部1272は、光源および光学系を備えた投光機構からなり、映像規格信号受信部1271から映像信号を受信すると、その映像信号に応じた映像をスクリーンに投射する。
 可視光信号発信部1273は、映像規格信号受信部1271から可視光信号および可視光同期信号を取得する。また、可視光信号発信部1273は、可視光同期信号を受信すると、その受信したタイミングで、既に取得されている可視光信号に応じた明滅を映像表示部1272に開始させる。これにより、映像表示部1272は、映像を表示するとともに、輝度変化することによって可視光信号を光の信号として送信する。なお、可視光信号発信部1273は、LEDなどの光源を備えて、その光源を輝度変化させてもよい。
 図332は、映像規格信号送出部1254と映像規格信号受信部1271との間の送受信形態を示す図である。
 映像規格信号送出部1254は、映像規格伝送路群1260に含まれる複数の映像規格伝送路を使って、映像信号、可視光信号および可視光同期信号を、映像規格信号受信部1271に送出する。
 映像規格信号受信部1271は、映像信号、可視光信号および可視光同期信号を受信すると、映像信号および可視光信号の解釈よりも優先して、可視光同期信号を可視光信号発信部1273に出力する。これにより、映像信号および可視光信号の解釈によって可視光同期信号の出力が遅延してしまうことを抑えることができる。
 図333は、映像規格信号送出部1254と映像規格信号受信部1271との間の具体的な送受信形態の一例を示す図である。
 映像規格信号送出部1254は、映像規格伝送路群1260に含まれる複数の映像規格伝送路を使って、映像信号、可視光信号および可視光同期信号を、映像規格信号受信部1271に送出する。このとき、映像規格信号送出部1254は、映像規格伝送路群1260に含まれる複数の映像規格伝送路のうち、映像規格で利用されている映像規格伝送路を介して映像信号および可視光信号を映像規格信号受信部1271に送出する。また、映像規格信号送出部1254は、映像規格伝送路群1260に含まれる複数の映像規格伝送路のうち、映像規格で利用されていない映像規格伝送路を介して可視光同期信号を映像規格信号受信部1271に送出する。
 図334は、映像規格信号送出部1254と映像規格信号受信部1271との間の具体的な送受信形態の他の例を示す図である。
 映像規格信号送出部1254は、上述と同様に、映像規格で利用されている映像規格伝送路を介して映像信号および可視光信号を映像規格信号受信部1271に送出する。一方、可視光同期信号については、映像規格信号送出部1254は、将来拡張用の映像規格伝送路を介してその可視光同期信号を映像規格信号受信部1271に送出してもよい。なお、将来拡張用の映像規格伝送路は、規格上将来拡張用に備えられている映像規格伝送路である。
 図335は、映像規格信号送出部1254と映像規格信号受信部1271との間の具体的な送受信形態の他の例を示す図である。
 映像規格信号送出部1254は、上述と同様に、映像規格で利用されている映像規格伝送路を介して映像信号および可視光信号を映像規格信号受信部1271に送出する。一方、可視光同期信号については、映像規格信号送出部1254は、映像表示器1270に消費される電力の送出に用いられている映像規格伝送路(以下、電力送出用伝送路という)を介してその可視光同期信号を映像規格信号受信部1271に送出してもよい。これにより、可視光同期信号は電力とともに送出される。つまり、映像規格信号送出部1254は、可視光同期信号を電力に重畳させて送出する。
 図336Aおよび図336Bは、電力送出用伝送路において送出される電力を示す図である。
 電力送出用伝送路を介して可視光同期信号が送出されていない場合には、図336Aに示すように、その電力送出用伝送路には、映像規格で定められた電圧が継続して印加される。一方、電力送出用伝送路を介して可視光同期信号が送出される場合には、図336Bに示すように、その電力送出用伝送路には、映像規格で定められた電圧に可視光同期信号の電圧が重畳される。この場合、可視光同期信号の最大電圧が、映像規格伝送路の定格電圧上限以下となり、可視光同期信号の最小電圧が、映像規格伝送路の定格電圧下限以上となるように、可視光同期信号が電力に重畳される。また、この場合には、可視光同期信号が重畳されている期間における電圧の平均値が、映像規格で定められている電圧と同等となるように、可視光同期信号が電力に重畳される。
 図337は、映像規格信号送出部1254と映像規格信号受信部1271との間の具体的な送受信形態の他の例を示す図である。
 映像規格信号送出部1254は、上述と同様に、映像規格で利用されている映像規格伝送路を介して映像信号および可視光信号を映像規格信号受信部1271に送出する。一方、可視光同期信号については、映像規格信号送出部1254は、映像規格で垂直同期信号の送出に利用されている映像規格伝送路を介してその可視光同期信号を映像規格信号受信部1271に送出してもよい。垂直同期信号は、映像の垂直方向の同期をとるための信号である。映像規格信号送出部1254は、垂直同期信号として可視光同期信号を送出する。
 図338は、映像規格信号送出部1254と映像規格信号受信部1271との間の具体的な送受信形態の他の例を示す図である。
 映像規格信号送出部1254は、上述と同様に、映像規格で利用されている映像規格伝送路を介して映像信号および可視光信号を映像規格信号受信部1271に送出する。一方、可視光同期信号については、映像規格信号送出部1254は、映像規格で映像信号、制御信号および垂直同期信号の送出に利用されている映像規格伝送路(以下、混合伝送路という)を介してその可視光同期信号を映像規格信号受信部1271に送出してもよい。映像規格信号送出部1254は、垂直同期信号として可視光同期信号を送出する。
 この場合、映像規格信号受信部1271は、その混合伝送路を介して送出されて受信された信号から、映像信号および制御信号の解釈よりも優先して、可視光同期信号を抽出して、その可視光同期信号を可視光信号発信部1273に出力する。
 このように本実施の形態では、映像信号および可視光信号の解釈よりも優先して、可視光同期信号の抽出が行われるため、映像信号および可視光信号の解釈によって可視光同期信号の出力が遅延してしまうことを抑えることができる。
 (実施の形態18)
 本開示は、可視光通信信号を出力可能な表示装置およびその制御方法に関する。
 例えば特開2007-43706号公報および特開2009-212768号公報は、可視光を用いた通信技術を開示する。特開2007-43706号公報および2特開2009-212768号公報では、ディスプレイ、プロジェクターなどを含めた映像表示装置において、通常の映像表示の中に可視光による通信情報を重畳して表示を行う通信技術が開示されている。
 本開示は、表示画像の画質を大きく劣化させることなく可視光通信信号を出力すること、かつ、出力した可視光通信信号の受信ミスを低減することができる表示装置およびその制御方法を提供する。
 本開示にかかる表示装置は、可視光通信信号を出力可能な表示装置であって、映像を表示する表示面を有する表示パネルと、映像信号に基づいて前記表示パネルの表示面に映像を表示するよう前記表示パネルを制御する表示制御部と、前記表示パネルの前記表示面を背面から照明する発光面を有するバックライトと、前記可視光通信信号を前記映像信号に基づいて生成されたバックライト制御信号に重畳する信号処理部と、前記バックライトの発光面を複数の領域に分割し、前記信号処理部により出力されたバックライト制御信号に従って、前記複数の領域それぞれにおいて発光の制御を行い、かつ、前記複数の領域それぞれにおいて異なるタイミングで消灯の制御を行う期間を設けるバックライト制御部とを備え、前記信号処理部は、前記可視光通信信号を前記バックライト制御信号に重畳する際に、前記バックライト制御信号のうち前記バックライトの消灯を示す信号に対しては、前記可視光通信信号を重畳しない。
 本開示における表示装置は、表示画像の画質を大きく劣化させることなく可視光通信信号を出力すること、かつ、出力した可視光通信信号の受信ミスを低減することができる。
 [本開示の基礎となった知見]
 近年の表示装置、特に液晶ディスプレイ、及び、液晶を用いたプロジェクターなどの分野においては、画質改善のためにバックライトスキャンと呼ばれる技術が採用されている。ここで、バックライトスキャンとは、液晶の反応速度の遅さと、ホールド型による動画ボケを改善するバックライト制御方法であり、表示画面をいくつかの領域(バックライト領域)に分割し、その領域毎に定期的に順次点灯するようバックライトの発光を制御する。より具体的には、バックライトスキャンとは、バックライト消灯期間を設け、各バックライト領域において、周期的に行う消灯期間(ブランキング期間)のタイミングを異なるようにした制御方法である。一般的にブランキング期間のタイミングを液晶の走査タイミングに合うように制御されることが多い。
 しかしながら、特開2007-43706号公報に開示されるように、可視光通信では、バックライトの点滅により可視光通信信号を重畳する方法をとる。そのため、バックライトの消灯時間中は可視光通信信号の送信ができず、また、この停止期間が信号の伝達ミスの要因となるため、バックライトスキャンをやめて画質を低下した状態で通信を行うしかなかった。
 そこで、本開示は、表示画像の画質を大きく劣化させることなく可視光通信信号を出力すること、かつ、出力した可視光通信信号の受信ミスを低減することができる表示装置を提供する。
 以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
 なお、出願人は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
 以下、図339~図346を用いて、実施の形態18を説明する。
 [1.構成]
 図339は、実施の形態18にかかる可視光通信のシステムの一例を示す概略図である。
 [1.1.可視光通信システムの構成]
 図339に示す可視光通信システム1300は、表示装置1400と、スマートフォン1350とを備える。
 表示装置1400は、例えばテレビであり、表示面1410に映像を表示することができる。また、表示装置1400は、この表示面1410には、可視光通信信号を重畳することもできる。
 スマートフォン1350は、可視光通信信号を受信する電子機器の一例であり、表示装置1400から送信された可視光通信信号を受信することができる。これより、スマートフォン1350のユーザーは、表示装置1400に表示されている映像に関連する情報などを受け取ることができる。
 なお、本実施形態では、表示装置1400は、テレビやディスプレイなど映像を表示するモニターを例に挙げて説明するが、それに限らない。表示装置1400は、プロジェクターのように映像を投影すること機器であってもよい。また、表示装置1400が出力した可視光通信信号を受信する電子機器としてスマートフォン1350を例に挙げているが、可視光通信信号を受信できる電子機器であればスマートフォンには限られない。例えば、電子機器は、JEITA-CP1222に準拠した受信装置であってもよい。また、この電子機器は、スマートフォンに限らず一般的な携帯端末であってもよい。また、電子機器は、可視光通信信号を受信し、受信した可視光通信信号をデコードすることで情報を得るとしてもよい。
 また、可視光通信信号を伝達する情報伝達方式は、現在国際規格へ展開中のJEITA-CP-1223、或いは作成済みのIEEE-P802.15などの規格に準拠するとしてもよい。換言すると、電子機器は、これらの規格に対応した受信装置を用いて構成されるとしてもよい。
 [1.2.表示装置の構成]
 図340は、実施の形態18にかかる表示装置の概略構成の一例を示すブロック図である。
 図340に示す表示装置1400は、可視光通信信号を出力可能な表示装置であって、第1の入力部1420と、第1の処理部1430と、第1の制御部1440と、表示パネル1450と、第2の入力部1460と、第2の処理部1470と、第2の制御部1480と、バックライト1490と、を有する。
 第1の入力部1420は、表示パネル1450に表示される映像に関する映像信号が入力される。映像信号は、例えば放送電波、映像録画機同再生機またはPCなどから、例えばアンテナケーブル、映像信号線、コンポジットケーブル、HDMI(登録商標)ケーブル、PJLinkケーブルまたはLANケーブルなどを通じて第1の入力部1420に入力される。ここで、映像信号は、映像録画機または再生機などを用いて種々の記録媒体に保存されたものであってもよい。
 第1の処理部1430は、第1の入力部1420より映像信号が入力される。第1の処理部1430は、映像信号に対して画質の処理などの一般的な画像処理を施す。第1の処理部1430は、画像処理を施した映像信号を、第1の制御部1440に送信する。また、第1の処理部1430は、サブフレームや映像信号の大きさ、表示タイミング、明るさなどを示す情報を第1の制御部1440および第2の処理部1470に送信する。
 なお、第1の処理部1430は、映像信号に基づいて計算したデューティ比や各領域に対するバックライト制御信号(以下、B.L制御信号と記載する)を第2の処理部に出力するとしてもよい。
 表示パネル1450は、例えば液晶パネルであり、映像を表示する表示面1410を有する。
 第1の制御部1440は、表示制御部の一例であり、映像信号に基づいて表示パネル1450の表示面1410に映像を表示するよう表示パネル1450を制御する。本実施の形態では、第1の制御部1440は、第1の処理部1430から送信された映像信号に基づいて表示パネル1450に映像を表示するよう制御する。より具体的には、第1の制御部1440は、第1の処理部1430から送信された映像信号に基づいて表示パネル1450の液晶の開口制御等を行う。
 第2の入力部1460は、可視光通信に用いられる信号(以下、可視光通信信号と称す)が入力され、入力された可視光通信信号を、第2の処理部1470に送信する。本実施の形態では、第2の入力部1460には、例えばPCなどで作成された可視光通信用信号が専用のケーブルまたはLANケーブルなどを通じて可視光通信信号が入力される。
 なお、可視光通信用信号は、放送電波の一部に重畳されて、アンテナケーブルを通じて第2の入力部1460に入力されるとしてよい。また、映像録画機または再生機により種々の記録媒体に保存された可視光通信信号が第2の入力部1460に入力されるとしてよい。例えば、可視光通信信号を録画した映像録画機からHDMI(登録商標)ケーブルやPJLinkケーブル等の一部のラインに載せられて、第2の入力部1460に入力されるとしてもよい。また、別途PCなどで作成された可視光通信用信号が映像信号に重畳されて、映像録画機または再生機から第2の入力部1460に入力されるとしてもよい。
 なお、第2の入力部1460は、外部から受信する以外にも、表示装置のIDなど、表示装置に内蔵された情報を利用し、インターネットなどを通じてサーバ情報を読み込むことで、可視光通信信号を取得するとしてもよい。
 第2の処理部1470は、第2の入力部1460より入力された可視光通信信号を符号化して符号化信号の生成、映像信号および/または可視光通信信号に基づくデューティの計算などを行う。また、第2の処理部1470は、第1の処理部1430から入力されるB.L制御信号に符号化信号を重畳する。
 本実施の形態では、符号化信号は、ある割合でON期間と、OFF期間が混在している信号であるとして説明する。また、符号化信号は、原則I-4PPM方式による符号化されているとして説明する。なお、符号化信号は、マンチェスター方式などにより符号化されるとしてもよい。また、変調された信号は、変調率100%のON/OFFとして記載しているが、それに限らない。変調率は100%でない、High/Lowの変調を用いた際には、以下の記載におけるON/OFFは、High/Lowなどのように読み替えて実施してもよい。可視光通信信号のデューティも、ON期間を信号送信期間全体で規格化した値として取り扱うだけでなく、(Highレベル×High期間+Lowレベル×Low期間)/(信号送信期間×Highレベル)と呼応して読み替えて実施してもよい。
 より具体的には、第2の処理部1470は、信号処理部の一例であり、可視光通信信号を映像信号に基づいて生成されたバックライト制御信号に重畳する処理を行う。ただし、第2の処理部1470は、可視光通信信号をバックライト制御信号に重畳する際に、バックライト制御信号のうちバックライトの消灯を示す信号に対しては、可視光通信信号を重畳しない。なお、符号化された可視光通信信号(符号化信号)も可視光通信信号と記載する場合もある。
 第2の制御部1480は、バックライト制御部の一例であり、バックライト1490の発光面を複数の領域に分割し、第2の処理部1470により出力されたバックライト制御信号(B.L制御信号)に従って、複数の領域それぞれにおいて発光の制御を行い、かつ、複数の領域それぞれにおいて異なるタイミングで消灯の制御を行う期間を設ける制御を行う。本実施の形態では、第2の制御部1480は、第2の処理部1470から送信されるバックライト制御信号(B.L制御信号)に基づいて、バックライト1490の輝度やタイミングを制御する。
 バックライト1490は、表示パネル1450に対して背面側から光を照射する。より具体的には、バックライト1490は、表示パネル1450の表示面1410を背面から照明する発光面を有する。これにより、視聴者は、表示パネル1450に表示されている映像を視認することができる。
 本実施の形態では、バックライト1490の発光面は複数の領域に分割されており、その領域毎に順次発光制御を行うことでバックライトスキャンを実現することができる。なお、バックライト1490の発光面の複数の領域は、表示面1410の複数の領域に対応する。
 [2.表示装置の動作]
 次に、以上のように構成された表示装置1400の動作について説明する。
 表示装置1400では、バックライトで表示パネル1450の画面全体を順次走査しながら、映像信号の書き込みに合わせて順次消灯するバックライトスキャンを行う。
 一般的に、液晶で構成される表示パネルでは、液晶の相変化の速度が遅く、異なる階調を表示するため映像信号を切り替えても、映像が切り替わるまでに時間がかかる。そのため、表示パネルのバックライトを走査しながら一時的に消灯することで、切り替わり中の映像が表示されることによる滲みなどの動画特性を改善するためにバックライトスキャンが行われる。一方、スイッチングのための走査速度は年々向上しており、通常の1秒間に60フレームの走査速度から1秒間に60フレームの2倍、4倍などの速い走査速度まで可能になっている。速い速度で走査する場合、通常のフレーム間のフレーム補完を行って画像を僅かずつ切り替えることで、滑らかな動画特性を得ることができる。
 このため、バックライトを走査しながら消灯するバックライトスキャンは動画特性を向上させるためには非常に重要で、可視光通信信号もバックライトスキャンによる消灯時には、信号を出さない方が動画特性にはよい。
 以上の理由から、表示装置1400では、バックライトスキャンによる消灯期間(以下、ブランキング期間と記載する)において、可視光通信信号を出力しない。
 以下では、表示装置1400がバックライト制御信号(B.L制御信号)のブランキング期間に可視光通信信号を出力しない場合でも、例えばスマートフォン1350などの受信機側では、可視光通信信号を高い確率で受信できる方法(動作)について説明する。
 (実施例1)
 [2.1.1.第2の処理部の動作の一例]
 図341Aは実施の形態18の実施例1にかかるB.L制御信号に、可視光通信信号を重畳する前の状態の一例を示す図であり、図341Bは実施の形態18の実施例1にかかるB.L制御信号に、可視光通信信号を重畳した状態の一例を示す図である。
 図341Aおよび図341Bには、分割された表示面1410の表示領域である8つの領域A~H毎に、バックライト1490の制御を行うため、各々対応するB.L制御信号A~Hが入力されている例が示されている。ハッチング部分は符号化信号(可視光通信信号)が存在している領域を示している。
 図341Aに示す符号化信号をB.L制御信号A~Hにそれぞれ異なる位相で重畳し、受信機側で受信する範囲内に異なる位相の符号化信号が混在している場合には、受信機側でデコードするときにエラー(可視光通信信号の受信エラー)が発生してしまう。
 そこで、本実施例では、図341Bに示すように、表示領域の一定の領域において、符号化信号(可視光通信信号)の位相を合わせて重畳する。
 ここで、位相を合わせるという表現については、立ち上がりのタイミングを同期させるという一例を挙げて説明しているが、それに限らない。立ち上がり開始前の状態から立ち上がり完了の状態のどの時刻をもって立ち上がり時刻とするかを決定すれば、どこでもよい。また、制御信号電圧経路での遅延時間などが発生するため、タイミングが一致することのみが同期を取るという意味ではなく、一定の、あるいは一定の範囲内の遅延時間が存在する場合も、位相を合わせるという表現の中に含まれる。以下の実施の形態(実施の形態18~23)中も同様である。
 ここで、順次走査によりバックライトが順次領域毎に消灯されるので、消灯期間(ブランキング期間)を全く含まずに符号化信号を重畳することは困難である。そのため、本実施例では、分割された表示領域のうちの特定の領域(以下、基準領域と称する)において、消灯期間(ブランキング期間)の直後にタイミングを合わせて符号化信号を重畳する。なお、特定の領域(基準領域)以外の他の領域においても、基準領域の符号化信号と同位相にて符号化信号を重畳するが、バックライト消灯時である消灯期間(ブランキング期間)には符号化信号は重畳されない。
 図341Bに示す例では、第2の処理部1470は、B.L制御信号Cが入力される領域Cを基準領域に設定し、図341Aに示すB.L制御信号Cの立ち上がりタイミングP1に符号化信号の先頭(立ち上がりタイミング)P2がくるように、符号化信号の重畳タイミングを調整した上で、符号化信号をB.L制御信号A~Hに同位相で重畳する。そして、第2の処理部1470は、B.L制御信号A~Hに符号化信号を重畳させる際、B.L制御信号のON期間には符号信号を重畳するが、OFF期間には重畳しない。
 なお、基準領域は、上記の領域Cに限らない。以下、本実施例において設定可能な基準領域の例について説明する。例えば、基準領域は、分割された表示領域のうち最も明るい領域(ブランキング期間が短い領域あるいは、表示パネルの透過率が最も高い領域)に設定されるとしてもよい。
 なお、最も明るい領域を基準領域に設定する場合でも、基準領域の位置をフレーム毎に変化させるときには、さらなる対策が必要である。フレーム毎に重畳される符号化信号の位置が変わってしまい、フレーム毎に極端に映像重心が変化し、ちらつきの原因になることが考えられるからである。または、重畳される符号化信号の期間が領域間で重なり合い、重なり合う符号化信号のうちの一方を途中で打ち切るもしくは最初の所定期間では重畳しないなどの対策を施さないと、受信側で受信エラーが発生することも考えられるからである。したがって、基準領域の位置をフレーム毎に変化させる場合には、少なくとも1フレームの期間、符号化信号を重畳させない期間を設けるとしてもよい。
 また、明るい領域を基準領域に設定する場合には、フレーム毎での表示領域の明るさを基準に明るい領域を判断するのではなく、第1の処理部1430により映像信号に基づいて画像の明るさの中心の推移を基準に明るい領域を判断するとしてもよい。
 また、場面の切り替わりが一定時間ないなどの表示領域全体の明るさに一定以上の変化がない場合には、一定時間の映像信号の平均に基づいて表示領域で最も明るい場所を含む領域を基準領域として設定するとしてもよい。なお、基準領域は、事前に決定しておいてもよい。
 [2.1.2.効果等]
 以上のように、本実施例において、表示装置は、可視光通信信号を出力可能な表示装置(1400)であって、映像を表示する表示面を有する表示パネル(1450)と、映像信号に基づいて前記表示パネルの表示面に映像を表示するよう前記表示パネルを制御する表示制御部(第1の制御部1440)と、前記表示パネル(1450)の前記表示面を背面から照明する発光面を有するバックライト(1490)と、前記可視光通信信号を前記映像信号に基づいて生成されたバックライト制御信号に重畳する信号処理部(第2の処理部1470)と、前記バックライト(1490)の発光面を複数の領域に分割し、前記信号処理部(第2の処理部1470)により出力されたバックライト制御信号に従って、前記複数の領域それぞれにおいて発光の制御を行い、かつ、前記複数の領域それぞれにおいて異なるタイミングで消灯の制御を行う期間を設けるバックライト制御部(第2の制御部1480)とを備え、前記信号処理部(第2の処理部1470)は、前記可視光通信信号を前記バックライト制御信号に重畳する際に、前記バックライト制御信号のうち前記バックライト(1490)の消灯を示す信号に対しては、前記符号化信号を重畳しない。
 この構成により、表示画像の画質を大きく劣化させることなく可視光通信信号を出力すること、かつ、出力した可視光通信信号の受信ミスを低減することができる表示装置を提供することができる。
 また、前記信号処理部(第2の処理部1470)は、前記複数の領域それぞれの前記バックライト制御信号に対して、前記可視光通信信号をそれぞれ重畳し、前記複数の領域それぞれに重畳される前記可視光通信信号は互いに同位相であるとしてもよい。
 これにより、可視光通信信号の受信エラーを抑制することができる。
 ここで、例えば、前記信号処理部は、前記複数の領域のうち所定の領域の前記バックライト制御信号を基準に、前記複数の領域それぞれに重畳される前記可視光通信信号の位相を合わせるとしてもよい。
 これにより、ブランキング期間に重畳されない可視光通信信号の期間を最小にすることができる。
 また、前記所定の領域は、前記複数の領域のうち最も明るい領域であるとしてもよいし、前記所定の領域は、前記複数の領域のうち前記表示面の端部に対応する領域であるとしてもよい。
 これにより、可視光通信信号によるバックライトの消灯による輝度の低下の影響を抑制することができる。
 (実施例2)
 以下、ブランキング期間の時間長が、表示領域の各領域で同じとして説明する。
 バックライト1490が消灯される時間の合計(総消灯期間)は、B.L制御信号のOFF期間であるブランキング期間と符号化信号のOFF期間とを足し合わせた期間となる。
 そのため、基準領域においてブランキング期間終了直後に符号化信号を重畳し、かつ、このブランキング期間から次のブランキング期間までに符号化信号が完全に含まれるとしても、B.L制御信号に重畳された符号化信号のOFF期間分だけ、バックライト1490は消灯されている期間が増える。つまり、基準領域では、符号化信号が重畳された場合には、符号化信号が重畳される前より暗くなる。
 一方、例えば基準領域以外の他の領域では、ブランキング期間に符号化信号は重畳されないため、ブランキング期間と重なり符号化信号が重畳されない符号化信号期間のうちOFF期間だけ、基準領域より、バックライト1490が消灯される時間が短くなる。つまり、例えば基準領域以外の他の領域では、符号化信号が重畳された場合に、基準領域より明るくなってしまうこともある。
 これを改善するために、バックライト1490を点灯または消灯する調整期間を設ける二つの方法が考えられる。すなわち、第1の方法は、基準領域の総消灯期間が最も長くなるため、他の領域の総消灯期間を基準領域の総消灯期間に合わせる方法がある。第2の方法は、元々の映像信号に基づいて決められた総消灯期間に全ての領域の総消灯期間を合わせこむ方法がある。
 [2.2.1.第1の方法による第2の処理部の動作の一例]
 まず、図342および図343を用いて、第1の方法による第2の処理部1470の動作について説明する。
 図342および図343は、実施の形態18の実施例2における第1の方法を説明するタイミングチャートである。図342の(a)には符号化信号が重畳される前の基準領域のB.L制御信号が示されており、図342の(b)には、符号化信号が重畳された後の基準領域のB.L制御信号が示されている。図343の(a)には符号化信号が重畳される前の他の領域のB.L制御信号が示されており、図343の(b)には、符号化信号が重畳された後の他の領域のB.L制御信号が示されている。
 より具体的には、図342には、第2の処理部1470が、基準領域のB.L制御信号の立ち上がりタイミング(時刻t12)に符号化信号の先頭(立ち上がりタイミング)に調整した上で、符号化信号をB.L制御信号に重畳した例が示されている。図343には、第2の処理部1470が、基準領域に重畳した符号化信号と同位相の符号化信号を、他の領域のB.L制御信号に重畳した例が示されている。
 つまり、図342および図343には、第2の処理部1470が、各領域のB.L制御信号に対して、基準領域のブランキング期間の終了と同時に、他の領域と同位相で符号化信号を重畳する場合の例が示されている。なお、各領域のブランキング期間は優先するのは、実施例1と同様であり、ブランキング期間には、符号化信号は重畳されない。
 図342の(b)に示すように、基準領域においては、例えば時刻t11~時刻t12の期間として示されるブランキング期間B1以外に、例えば時刻t12~時刻t14の期間として示される符号化信号期間C1中における符号化信号のOFF期間を合計した符号化信号消灯期間T1が存在する。
 従って、図342の(b)に示す基準領域において、例えば時刻t11~時刻t13の期間として示される1フレーム内の符号化信号のOFF期間の合計(符号化信号消灯期間)は、符号化信号のデューティ(Duty)を用いると、符号化信号消灯期間T1=符号化信号期間C1×(1-Duty)と表すことができる。
 図342の(b)に示すように、基準領域においては、符号化信号期間C1と、ブランキング期間B1とが重なり合う期間は基本的にないため、1フレームの総消灯期間T2=ブランキング期間B1+符号化信号消灯期間T1となる。つまり、他の領域と比較して基準領域の総消灯期間が最も長くなる。
 一方、基準領域以外の他の領域においては、符号化信号期間とブランキング期間が重なり合う可能性がある。上述したように、ブランキング期間はB.L制御信号が符号化信号より優先されるため、符号化信号は重畳されない。
 そのため、図343の(b)に示すように、基準領域以外の他の領域においては、例えば時刻t21~時刻t24の期間として示される符号化信号期間C1のうち、時刻t22~時刻t23の期間として示されるブランキング期間B2と重なり合った符号化信号期間C1の符号化信号のOFF期間分だけ、基準領域よりも総消灯期間が短くなる。
 ここで、符号化信号期間C1中の符号化信号のOFF期間の合計(符号化信号消灯期間)は、符号化信号とブランキング期間の重なる期間をB2とすると、(符号化信号消灯期間)=(符号化信号期間C1-ブランキング期間B2)×(1-Duty)と表せる。
 ところで、上述したように、画面(表示領域)の領域毎に総消灯期間が異なると、領域による輝度のばらつきが発生するので、画質が低下する。
 そこで、第2の処理部1470は、バックライト1490を点灯または消灯する調整期間を設ける第1の方法により動作することで、画面内で各領域の総消灯期間を一致させる。
 より具体的には、第2の処理部1470は、他の領域の総消灯期間を基準領域の総消灯期間に合わせる第1の方法に従って、他の領域において、基準領域の1フレームあたりの総消灯期間との差を調整する調整期間を設ける。なお、上述したように、本実施例では、前提として、各領域のブランキング期間の時間長が同じである。
 ここで、図343の(b)において、時刻t24~時刻t26の期間として示される調整期間A1は、ブランキング期間B2×(1-Duty)と表わせる。つまり、基準領域以外の各領域における調整期間は、基準領域を含む各領域のブランキング期間、符号化信号期間、および、符号化信号の位相により、算出することができる。図343の(b)では、調整期間が時刻t21~時刻t25の期間として示される1フレームに配置された場合の一例が示されている。
 このように、本実施例における表示装置1400は、第2の処理部1470に第1の方法により調整期間を設けさせる。それにより、表示装置1400は、符号化信号をB.L制御信号に重畳することで画面全体(表示領域)の明るさを一定量低下させてしまうものの、画質自体を大きく変化させずに符号化信号を出力することができる。
 なお、第2の処理部1470は、調整期間を符号化信号期間の直後に設ける場合、表示パネル1450の液晶の相変化が大きいブランキング期間にできるだけ近い場所に安定的に配置できるため好ましいが、この場合に限らない。第2の処理部1470は、調整期間を、次の符号化信号が重畳される時刻までに設けるとしてもよい。
 [2.2.2.第2の方法による第2の処理部の動作の一例]
 次に、第2の方法による第2の処理部1470の動作について説明する。
 総消灯期間を調整するためにバックライト1490を点灯または消灯する調整期間は、一般的には、例えば次のように定義することができる。すなわち、映像信号に基づいている元々のバックライト1490の消灯期間(ブランキング期間と黒映像期間)をT4、符号化信号期間のうちブランキング期間と重なっていない符号化信号期間における符号化信号のOFF期間の合計をT5、可視光通信信号を重畳した後のブランキング期間をT6とすると、調整期間は、T4-T5-T6と表せる。なお、前述したとおり、調整期間はブランキング期間にできるだけ近いところに設置するのが望ましい。
 例えば、基準領域において、T5は、まず、符号化信号期間における符号化信号のOFF期間の合計を計算し、次に、ブランキング期間と重なっている符号化信号期間のOFF期間の合計を減算することで算出できる。
 以下、図344A~図345Dを用いて第2の方法よる第2の処理部1470の動作の具体例について説明する。
 図344A~図345Dは、実施の形態18の実施例2における第2の方法を説明するためのタイミングチャートである。
 まず、図344A~図344Dを用いて、符号化信号期間とブランキング期間とが重ならない場合に、第2の処理部1470が第2の方法により調整期間を設ける動作について説明する。
 図344A~図344Dにおいて、上段の(a)には符号化信号が重畳される前のB.L制御信号が示されており、下段の(b)から(e)には符号化信号が重畳されたB.L制御信号と第2の方法により調整されたB.L制御信号とが示されている。図において、ブランキング期間をB1、符号化信号期間をC1として示す。
 第2の方法により符号化信号が重畳されたB.L制御信号を調整する方法は、調整期間と符号化信号期間とブランキング期間との和(時間和)と、調整期間の正負の関係とにより、図344A~図344Dに示す4通りの場合に分けられる。以下、それぞれの場合について説明する。
 [符号化信号期間とブランキング期間とが重ならない場合の調整方法(ケース1)]
 図344Aには、調整期間が0以上で、(調整期間+符号化信号期間+ブランキング期間)が1フレームの長さ以下である場合の一例が示されている。
 図344Aの(b)の上段に示すように、調整期間の一部をブランキング期間B1の終了時刻P2を起点として符号化信号期間C1の開始時刻P3までの期間に配置し、調整期間の残りを符号化信号期間後、望ましくは直後(時刻P5)に配置する。
 第2の処理部1470は、図344Aの(b)の上段に示す調整期間を設けることにより、図344Aの(b)の下段に示すように、符号化信号が重畳されたB.L制御信号を調整する。
 このようにして、第2の制御部1480は、調整後のB.L制御信号に従って、ブランキング期間B1後も符号化信号期間C1の開始前までバックライト1490を消灯し、さらに、符号化信号期間C1および、符号化信号期間C1終了後、調整期間からP2-P3間の期間を減じた期間まで消灯する。
 なお、調整期間がP2-P3間の期間よりも短い場合には、P2-P3間のみに調整期間を設ければよい。またP2=P3である場合には、調整期間すべてを符号化信号期間C終了後に設けるとしてもよい。
 [符号化信号期間とブランキング期間とが重ならない場合の調整方法(ケース2)]
 図344Bには、調整期間が0以上で、(調整期間+符号化信号期間+ブランキング期間)が1フレームの長さより長い場合の一例が示されている。
 図344Bの(c)の上段に示すように、調整期間の一部をブランキング期間B1の終了時刻P2を起点として符号化信号期間C1が始まる時刻P3までの期間に配置し、調整期間の残りを1フレームの終了時刻P4を起点にさかのぼって配置する。
 第2の処理部1470は、図344Bの(c)の上段に示す調整期間を設けることにより、図344Bの(c)の下段に示すように、符号化信号が重畳されたB.L制御信号を調整する。
 このようにして、第2の制御部1480は、調整後のB.L制御信号に従って、ブランキング期間B1後、符号化信号期間C1の開始時刻P3までバックライト1490を消灯すると共に、符号化信号期間C1の終了前の時刻P5から時刻P4までの期間も消灯する。つまり、調整期間の残りと、符号化信号期間C1と重なっている時刻P5から符号化信号期間C1の終了時刻P10には、符号化信号は送信されないように調整後のB.L制御信号には重畳されていない(もしくは信号がOFFにされている)。
 なお、P2=P3(同時刻)である場合には、調整期間すべてを符号化信号期間後に設ける。
 [符号化信号期間とブランキング期間とが重ならない場合の調整方法(ケース3)]
 図344Cには、調整期間が0より小さく、(調整期間+符号化信号期間+ブランキング期間)が1フレームの長さ以下の場合の一例が示されている。ここで、0より小さい調整期間とは、バックライト1490を点灯する調整期間を意味する。
 図344Cの(d)の上段に示すように、調整期間をブランキング期間B1の終了時刻P2を起点として、調整期間の絶対値に相当する時間分をさかのぼった期間(時刻P6~時刻P2の期間)に配置する。
 第2の処理部1470は、図344Cの(d)の上段に示す調整期間を設けることにより、図344Cの(d)の下段に示すように、符号化信号が重畳されたB.L制御信号を調整する。
 このようにして、第2の制御部1480は、調整後のB.L制御信号に従って、ブランキング期間B1中の時刻P6から時刻P2までの期間にバックライト1490を点灯する。
 なお、P2=P3である場合には、調整期間すべてを符号化信号期間C1後に配置すればよい。また、調整期間がブランキング期間より長い場合には、符号化信号のデューティ比を考え、不足分の点灯時間が確保できるまで符号化期間C1の終了時刻より遡って符号化信号を重畳せずに消灯期間とするとしても良い。
 [符号化信号期間とブランキング期間とが重ならない場合の調整方法(ケース4)]
 図344Dには、調整期間が0より小さく、(調整期間+符号化信号期間+ブランキング期間)が1フレームの長さより長い場合の一例が示されている。
 図344Dの(e)の上段に示すように、調整期間をブランキング期間B1が終了する時刻P2を起点に、調整期間の絶対値に相当する時間分をさかのぼった期間(時刻P7~時刻P2の期間)に配置する。これにより、ブランキング期間B1中の時刻P7から時刻P2までの期間のバックライト1490が点灯される。
 なお、ブランキング期間と、符号化信号期間とが重ならないにも関わらず、しかも、調整期間が負であることを鑑みると、調整期間の絶対値が、ブランキング期間よりも長い場合も考えられる。この場合、調整期間のすべてをブランキング期間B1が終了する時刻P2を起点に配置すると、時刻P7は、時刻P1または時刻P1より先の時刻となり、ブランキング期間が存在しなくなる。ブランキング期間中すべて点灯するだけでなく、さらに、まだバックライト1490を点灯する(領域を明るくする)必要があるときには、調整期間のうちブランキング期間分を除いた残りの期間として、符号化信号期間の符号化信号のOFF期間を点灯させればよい。つまり、調整期間の残りの期間を時刻P9から遡った期間(時刻P8)までに配置し、符号化信号の重畳をやめて点灯を続ければよい。
 ここで、時刻P8は、元々のブランキング期間B1が、符号化信号期間C1から時刻P8-P9間の期間を引いた間のOFF期間の合計に等しいことから決める必要がある。具体的には、ブランキング期間B1=(符号化信号期間C1-(時刻P9-時刻P8))×(1-Duty)の関係に基づいて、時刻P8を算出することができる。
 これにより、第2の処理部1470は、第2の制御部1480がブランキング期間B1に加えて、時刻P8から以降、次のブランキング期間の開始までバックライト1490の点灯を続けるように、B.L制御信号を調整することができる。
 なお、P2=P3である場合には、調整期間すべてを符号化信号期間C1後に配置するとすればよい。
 次に、図345A~図344Dを用いて、符号化信号期間とブランキング期間とが重なる場合に、第2の処理部1470が第2の方法により調整期間を設ける動作について説明する。
 図345A~図345Dにおいて、上段の(a)には符号化信号が重畳される前のB.L制御信号が示されており、下段の(b)から(e)には、符号化信号が重畳されたB.L制御信号と第2の方法により調整されたB.L制御信号とが示されている。図において、ブランキング期間をB1、符号化信号期間をC1、時刻Q1から時刻Q6を1フレーム期間として示す。
 第2の方法により符号化信号が重畳されたB.L制御信号を調整する方法は、調整期間と符号化信号期間とブランキング期間の和と、調整期間の正負の関係とにより、図345A~図345Dに示す4通りの方法に分けられる。以下、それぞれの場合について説明する。
 [符号化信号期間とブランキング期間とが重なる場合の調整方法(ケース1)]
 図345Aには、調整期間が0以上であり、(調整期間+符号化信号期間+ブランキング期間)が1フレームの長さ以下である場合の一例が示されている。
 図7Aの(b)の上段に示すように、調整期間を符号化信号期間C1が終了する時刻Q4を起点として配置する。
 第2の処理部1470は、図344Aの(b)の上段に示す調整期間を設けることにより、図345Aの(b)の下段に示すように、調整期間である時刻Q4から時刻Q5までの期間と、かつ、ブランキング期間B1と重なっている時刻Q2から時刻Q3の期間とにおいて符号化信号を重畳しないようにB.L制御信号を調整する。
 このようにして、第2の制御部1480は、調整後のB.L制御信号に従って、ブランキング期間B1と重なっている時刻Q2から時刻Q3の期間とともに、時刻Q4から時刻Q5までの期間において、バックライト1490を消灯する。なお、時刻Q4から時刻Q5までの期間は、バックライト1490が消灯されるとともに、符号化信号の送信は行われない。
 [符号化信号期間とブランキング期間とが重なる場合の調整方法(ケース2)]
 図345Bには、調整期間が0以上で、(調整期間+符号化信号期間+ブランキング期間)が1フレームの長さ以上である場合の一例が示されている。
 図345Bの(c)の上段に示すように、調整期間を次のフレームの符号化信号が開始する時刻Q6を起点に遡って、調整期間分である時刻Q8から時刻Q6までの期間に配置する。
 第2の処理部1470は、図345Bの(c)の上段に示す調整期間を設けることにより、図345Bの(c)の下段に示すように、調整期間である時刻Q8から時刻Q6までの期間と、かつ、ブランキング期間B1と重なっている時刻Q2から時刻Q3の期間とにおいて符号化信号を重畳しないようにB.L制御信号を調整する。
 このようにして、第2の制御部1480は、調整後のB.L制御信号に従って、ブランキング期間B1と重なっている時刻Q2から時刻Q3の期間とともに、時刻Q8から時刻Q6までの期間において、バックライト1490を消灯する。なお、時刻Q8から時刻Q6までの期間は、バックライト1490が消灯されるとともに、符号化信号の送信は行われない。
 [符号化信号期間とブランキング期間とが重なる場合の調整方法(ケース3)]
 図345Cには、調整期間が0より小さく、(調整期間+符号化信号期間+ブランキング期間)が1フレームの長さ以上である場合の一例が示されている。
 図345Cの(d)の上段に示すように、調整期間をブランキング期間B1の終了時刻Q3で起点として、調整期間の絶対値に相当する時間分をさかのぼった期間に配置する。
 第2の処理部1470は、図345Cの(d)の上段に示す調整期間を設けることにより、図345Cの(d)の下段に示すように、調整期間である時刻Q9から時刻Q3までの期間においてバックライト1490を点灯するようにB.L制御信号を調整し、かつ、ランキング期間B1には符号化信号を重畳しないようにB.L制御信号を調整する。
 このようにして、第2の制御部1480は、調整後のB.L制御信号に従って、時刻Q9から時刻Q3までの期間においてバックライト1490を点灯する。
 なお、調整期間に符号化信号を重畳するとしてもよい。この場合、調整期間を符号化信号のOFF期間の合計の分だけ長くするとよい。さらに、調整期間がブランキング期間より長い場合には、符号化信号のデューティ比に基づき、調整期間での点灯時間の不足分を、符号化期間C1の終了時刻より遡った所定の期間において符号化信号を重畳しないことでバックライト1490を点灯させるとしてもよい。
 [符号化信号期間とブランキング期間とが重なる場合の調整方法(ケース4)]
 図345Dには、調整期間が0より小さく、(調整期間+符号化信号期間+ブランキング期間)が1フレームの長さより長い場合の一例が示されている。
 図345Dの(e)の上段に示すように、調整期間を、ブランキングB1の終了時刻Q3を起点として、調整期間の絶対値に相当する時間分をさかのぼった時刻Q10までの期間に配置する。
 これにより、ブランキング期間B1と重なっている時刻Q10から時刻Q3の期間のバックライト1490が点灯される。
 なお、この調整期間を、符号化信号のOFF期間の合計の分だけ長くし、調整期間に符号化信号を重畳するとしてもよい。
 また、図344Dの(e)での説明と同様に、調整期間が非常に長く、その絶対値がブランキング期間B1よりも大きい場合には、調整期間のうちブランキング期間B1分を除いた残りの期間として、符号化信号期間の符号化信号のOFF期間を点灯させればよい。
 ここで、時刻Q11は、元々のブランキング期間B1が、符号化信号期間C1から時刻Q11-Q12間の期間を引いた間のOFF期間の合計に等しくなることから決める必要がある。具体的には、ブランキング期間B1=(符号化信号期間C1-(時刻Q12-時刻Q11))×(1-Duty)の関係に基づいて、時刻Q11を算出することができる。
 これにより、第2の処理部1470は、第2の制御部1480がブランキング期間B1に加えて、時刻Q11~次のブランキング期間の開始時刻Q7まで点灯を続けるように、B.L制御信号を調整することができる。
 [2.2.3.効果等]
 以上のように、本実施例によれば、バックライトスキャンなどの動画特性向上のためのバックライト制御法とバックライトを用いた可視光通信信号の送信を、可視光通信の符号化信号による消灯期間を均一化或いは元の映像信号と同等に戻す調整を行うことで両立することができる。
 ここで、例えば、本実施例の表示装置において、前記信号処理部(第2の処理部1470)は、前記可視光通信信号を前記バックライト制御信号に重畳する際に、前記バックライト制御信号のうち前記バックライトの消灯を示す信号の期間と、重畳される前記可視光通信信号の期間とが重複する領域であって前記複数の領域のうちの領域がある場合、前記重複する領域に、前記重複する領域の輝度を調整するための点灯調整期間を設け、前記点灯調整期間において、前記バックライト制御信号のオン・オフを調整するとしてもよい。
 それにより、可視光通信信号期間と、バックライトの消灯期間とが重なる領域では、調整期間を設けることで、B.L制御信号に可視光通信信号(符号化信号)を重畳させた場合には、表示領域内での輝度の差が目立ちにくくすることができる。
 なお、本実施例では、基準領域を、明るい領域として説明したが、表示パネル1450の開口が大きく設定された領域であると読み替えてもよい。
 (実施例3)
 [2.3.1.第2の方法による第2の処理部の動作の一例]
 実施例2では、バックライト1490を点灯または消灯する調整期間を設けることにより、表示パネル1450の表示面1410(表示領域)の輝度を均一化したが、これに限らない。
 本実施例では、調整期間を設けない方法について、図346を用いて説明する。
 図346は、実施の形態18の実施例3におけるB.L制御信号に、可視光通信信号を重畳する方法を説明するためのタイミングチャートである。ここで、図346の(a)には、所定領域のB.L制御信号が示されている。なお、本実施例では、波形の立ち上がり信号のみで信号検出するとして説明する。
 図346に示すように、調整期間を設けずに、調整期間に相当する分だけ、可視光通信信号のデューティ比、即ち、信号のHigh期間を変化させることで、領域の輝度を調整するとしてもよい。
 具体的には、例えば実施例2における調整期間が正数の場合、すなわち、バックライト1490を消灯する調整を行う場合には、図346の(b)のようにB.L制御信号のHigh期間を短くすればよい。
 また、例えば実施例2における調整期間が負数の場合、すなわち、バックライト1490を点灯する調整を行う場合には、図346の(c)のようにB.L制御信号のHigh期間を長くすればよい。
 なお、表示領域の領域毎にB.L制御信号のデューティ比が変化する場合も考えられる。この場合には、B.L制御信号を面内で一定のデューティ比で駆動させるために、デューティ比の変化を含んで計算をやり直して算出した実施例2における調整期間と、本実施例のように可視光通信信号のHigh期間を変化させる方法とを組み合わせて用いてもよい。
 さらに、上記では、バックライト1490のHigh期間の制御(PWM制御:Pulse Width Modulation)を利用した輝度の制御を行うことで、面内の均一性、画質の劣化防止を説明してきたが、これに限らない。バックライト制御する第二の制御部180は、各領域のバックライト1490に供給する電流を制御することで、可視光通信領域における輝度を可視光通信領域以外の領域における輝度に近づけてもよい。さらに、バックライト1490のPWM制御と、電流制御の組合せによって可視光通信領域における輝度を可視光通信領域以外の領域における輝度に近づけてもよい。
 [2.3.2.効果等]
 以上のように、本実施例によれば、バックライトスキャンなどの動画特性向上のためのバックライト制御法とバックライトを用いた可視光通信信号の送信を、可視光通信の符号化信号による消灯期間を均一化或いは元の映像信号と同等に戻す調整を行うことで両立することができる。
 なお、本実施例では、立ち上がり信号のみで信号検出するとして説明したが、それに限らない。立ち下がり部分の位置を保持し、立ち上がりの位置を変更するB.L制御信号の場合には、立ち下り信号で信号検出するとしてもよい。本実施の形態では、B.L制御信号の立ち上がりを基準に符号化信号を重畳しているが、立ち下がりなどのほかのB.L制御信号の特徴的なタイミングを基準にしてもよいし、映像信号そのものの同期信号を基準にしてもよい。また、映像の同期信号から一定の時間遅延した信号を作成し、その信号を基準にしてもよい。
 [3.効果]
 以上、本実施の形態によれば、表示画像の画質を大きく劣化させることなく可視光通信信号を出力すること、かつ、出力した可視光通信信号の受信ミスを低減することができる表示装置を実現することができる。
 (実施の形態19)
 実施の形態18では、B.L制御信号のON期間より、符号化信号期間の方が短い場合の表示装置1400の動作について説明した。本実施の形態では、B.L制御信号のON期間より、符号化信号期間の方が長い場合の表示装置1400の動作について説明する。
 [1.表示装置の動作]
 以下、第2の処理部1470の動作を中心に説明する。
 図347は、実施の形態19における第2の処理部の動作を説明するためのフローチャートである。
 まず、ステップS1301において、第2の処理部1470は、可視光通信信号を再符号化する。より具体的には、第2の処理部1470は、可視光通信信号を符号化した後、ヘッダーなどを付加した符号化信号を生成(再符号化)する。また、第2の処理部1470は、符号化信号の搬送周波数に基づいて、符号化信号の送信時間を計算する。
 次に、ステップS1302において、第2の処理部1470は、符号化信号長がB.L制御信号のON期間(点灯時間)よりも大きいか否かを判断する。
 より具体的には、第2の処理部1470は、第1の処理部1430が計算したB.L制御信号のデューティ比からバックライト1490が点灯している時間(点灯時間)と、符号化信号の送信時間長(符号化信号長)とを比較する。第2の処理部1470は、符号化信号の送信時間長の方が短いと判断した場合は(S1302でNo)、ステップS1306に進み、符号化信号の送信時間長の方が長いと判断した場合は(S1302でYes)、ステップS1303に進む。
 次に、ステップS1303において、第2の処理部1470は、可視光通信を行うかどうかを判断する。第2の処理部1470は、可視光通信を行うと判断した場合は(S1303でYes)、ステップS1304に進み、可視光通信を行わないと判断した場合は(S1303でNo)、ステップS1309進む。
 次に、ステップS1304において、第2の処理部1470は、可視光通信信号を再符号化する。具体的には、第2の処理部1470は、ヘッダー部分が通常データとしてあり得ない信号配列で符号化されている場合、ヘッダー部分の信号のデューティ比がほぼOFFの状態で構成されるように作成しなおす(再符号化する)。その後、第2の処理部1470は、ヘッダー部分の最後の信号(最後端に存在するON状態を示す信号)をB.L制御信号の立ち上がりタイミングに合うように、符号化信号の送信開始時間を早める処理を行う。なお、詳細について、後述する。
 次に、ステップS1305において、第2の処理部1470は、符号化信号長がB.L制御信号のON期間(点灯時間)よりも大きいか否かを判定する。
 より具体的には、第2の処理部1470は、B.L制御信号のデューティ比によるバックライト1490の点灯時間と、符号化信号の送信時間長とを比較する。そして、第2の処理部1470は、符号化信号の送信時間長の方が短いと判断した場合には(S1305でNo)、ステップS1306、符号化信号の送信時間長の方が長いと判断した場合には(S1305でYes)、ステップS1307に進む。
 ここで、ステップS1306において、第2の処理部1470は、B.L制御信号のブランキング期間以外の部分(つまり、B.L制御信号のON期間)に符号化信号を重畳して第2の制御部1480に出力し、処理を終了する。
 一方、ステップS1307において、第2の処理部1470は、符号化信号を分割するかを判断する。より具体的には、まず、第2の処理部1470は、再符号化した符号化信号の送信時間長と、バックライト1490の点灯時間とを比較する。そして、第2の処理部1470は、符号化信号の送信時間長の方が長い場合は、符号化信号を分割すると判断し(S1307でYes)、ステップS1308に進み、符号化信号の送信時間長の方が短い場合は、符号化信号を分割しないと判断し(S1307でNo)、ステップS1309に進む。
 次に、ステップS1308において、第2の処理部1470は、バックライト点灯期間に収まるデータ長に収まる長さになるように符号化信号を分割する。そして、第2の処理部1470は、バックライト制御信号のブランキング期間以外の部分(B.L制御信号のON期間)に重畳するよう符号化信号を調整し、処理を終了する。
 なお、ステップS1309では、第2の処理部1470は、符号化信号を第2の制御部1480に送信しない。すなわち、可視光通信信号の送信を取りやめる。
 [2.動作の詳細]
 次に、図348A~図348Dおよび図349を用いて、実施の形態19の表示装置1400の動作の詳細(具体例)について説明する。
 [2.1.具体例1]
 図348A~図348Dは、実施の形態19におけるB.L制御信号に、符号化信号を重畳する具体的方法を説明するための図である。
 本実施の形態では、第2の処理部1470は、4PPMや、I-4PPMなどの符号化方法を用いて可視光通信信号の符号化を行う。4PPMや、I-4PPMなどで符号化すると、輝度が信号によって大きく変化することが比較的緩和することができ、輝度が不安定になることを避けることができるからである。なお、マンチェスター式など符号化方法を用いて可視光通信信号の符号化を行ってもよい。
 例えば図348Aに示すように、符号化信号は、ヘッダー1310と符号語などを格納したデータ部1311とで構成される。ヘッダー1310には、データ信号としては、あり得ない信号配列が用いられているとする。ここで、I-4PPMを用いて符号化する場合には、その信号期間はHigh期間の割合は、原則として75%と決まっている。また、ヘッダーにはON状態を3slot(符号化信号の最小単位)以上継続する形で入れることが一般的である。ヘッダーの区切りに、ヘッダーの最後をOFF状態にすることも多い。
 図348Bには、B.L制御信号のON期間より、符号化信号期間の方が短い場合が示されている。つまり、図348Bに示すように、ヘッダーも含めた符号化信号全体がB.L制御信号の1フレーム内のブランキング期間を除く期間(つまり、B.L制御信号のON期間)よりも短い場合には、B.L制御信号のON期間に符号化信号を問題なく重畳できる。
 それに対して、B.L制御信号のON期間より、符号化信号期間の方が長い場合には、ヘッダーも含めた符号化信号全体をB.L制御信号のON期間に含めることができないため、上記のステップS1307で説明したように、符号化信号を分割して含める。
 図348Cには、ヘッダーも含めた符号化信号全体がB.L制御信号の1フレームの長さを超えるため、B.L制御信号のON期間に符号化信号を分割して重畳する場合の例が示されている。具体的には、符号化信号のデータ部1311をデータ部1311-1とデータ部1311-2とに分割してそれぞれヘッダー1310とヘッダー92とを含めてB.L制御信号のON期間に重畳させる。ヘッダー92には、データ部1311-2が分割されたデータ部1311であり、データ部1311-1の続きのデータであることを示す判別信号を含める。
 なお、B.L制御信号のON期間より、符号化信号期間の方が長い場合には、図348Dに示すように、ヘッダー1310の部分のみをB.L制御信号のブランキング期間に重畳し、データ部1311をB.L制御信号のON期間に重畳するとしてもよい。
 [2.2.具体例2]
 次に、図348Dとは別の態様について説明する。すなわち、B.L制御信号のON期間より、符号化信号期間の方が長い場合に、符号化信号のヘッダー部分のみをB.L制御信号のブランキング期間に重畳する場合の具体例について説明する。
 図349は、実施の形態19におけるB.L制御信号に、符号化信号を重畳する別の具体的方法を説明するための図である。
 図349の(a)には、I-4PRMで符号化した符号化信号が示されている。
 図349の(b)に示すように、図349の(a)のヘッダー部分だけを、I-4PPMから4PPMに符号化方式を変更して、再符号化するとしてもよい。この場合、図349の(b)に示すように、ON状態を続け最後にOFF状態に遷移していたヘッダーが、OFF状態を続け最後にON状態に遷移するヘッダーに変更される。
 そして、図349の(c)に示すように、図349の(b)に示す符号化信号をB.L制御信号に重畳する。図349の(c)に示す例では、OFF状態の信号であるヘッダー1330と、ON状態の信号であるヘッダー1321とデータ1322とで構成される符号化信号がB.L制御信号に重畳される。
 より具体的には、第2の処理部1470は、可視光通信信号を符号化して符号化信号を生成し、可視光通信信号として符号化信号をバックライト制御信号に重畳し、符号化信号をバックライト制御信号に重畳する際に、バックライト制御信号のうちバックライトの消灯を示す信号の期間と、重畳される前記符号化信号の期間とが重複する領域であって複数の領域のうちの領域がある場合、符号化信号のうちヘッダー部分を、バックライト1490の消灯を示す信号の期間のバックライト制御信号に重畳し、符号化信号のうちのヘッダー部分以外の部分を、バックライトの消灯を示す信号の期間以外の期間のバックライト制御信号に重畳する。
 これにより、B.L制御信号のON期間より、符号化信号期間の方が長い場合でも、B.L制御信号のON期間に符号化信号のうちのデータ部分を重畳させることができる。
 つまり、例えば図349の(c)に示すように、OFF状態の信号であるヘッダー1330をB.L制御信号のブランキング期間に重畳させることで、符号化時間長を節約(短く)することができる。
 なお、実施の形態18で説明した調整期間を設ける場合には、例えば図348Dの符号化信号のヘッダー1310をB.L制御信号のブランキング期間に重畳させてブランキング期間で点灯を行うことになる期間は調整期間から引き算する必要がある。
 しかし、例えば図349の(c)に示すように、符号化信号のヘッダー1330の最後時刻(最後にON状態になる時刻)をブランキング期間の終了時刻にあわせて位相を決定する場合には、ブランキング期間には点灯されないので、調整期間から引き算する必要はない。
 [3.効果等]
 以上、本実施の形態によれば、表示画像の画質を大きく劣化させることなく可視光通信信号を出力すること、かつ、出力した可視光通信信号の受信ミスを低減することができる表示装置を実現することができる。
 なお、本実施の形態では、一般的な4PPMの符号化方式を用いて符号化した符号化信号のヘッダーを用いた例について説明したが、これに限られない。例えば、符号化信号のヘッダーの平均的なデューティ比が高い場合には、ON信号とOFF信号とを逆転させたヘッダーをブランキング期間に頂上するとしてもよい。この場合、前述したとおり、ブランキング期間の消灯期間の減少分を調整期間に入れて調整することが望ましい。
 また、B.L制御信号のON期間(バックライト1490の点灯期間)にヘッダーを含めた符号化信号全体を重畳できる場合には、デューティ比の高いヘッダーとなるように符号化してもよい。
 また、ヘッダーをブランキング期間に重畳させる場合でも、ブランキング期間の長さによっては入りきらない場合もある。その場合には、ブランキング期間の長さに応じて何種類かのヘッダーを用意して使い分けるとしてもよい。
 (実施の形態20)
 本実施の形態では、B.L制御信号のON期間に符号化信号期間すべての符号化信号を重畳できるように、表示領域の複数の領域を幾つかのグループに分割した上で符号化信号を重畳する方法について説明する。
 [1.第2の処理の動作]
 以下では、領域の明るさを基にして、最も明るい領域を中心に、符号化信号を重畳するタイミングを決定する方法を例に挙げて説明する。
 図350は、実施の形態20における第2の処理の動作を説明するためのフローチャートである。
 まず、ステップS1311において、第2の処理部1470は、可視光通信信号を符号化する。より具体的には、第2の処理部1470は、可視光通信信号を符号化した後、ヘッダーなどを付加した符号化信号を生成する。また、第2の処理部1470は、符号化信号の搬送周波数に基づいて、符号化信号の送信時間を計算する。
 次に、ステップS1312において、第2の処理部1470は、表示領域を複数の領域に分割する。
 次に、ステップS1313において、第2の処理部1470は、表示の明るい領域を検出する。より具体的には、第2の処理部1470は、分割した領域それぞれの明るさを検出し、これに基づいて、表示として最も明るい領域を選択する。ここで、表示として明るいとは、B.L制御信号のデューティ比が大きいところではなく、画像の発光エネルギーを示す信号レベルとして最も明るいところを意味する。明るいところの検出については、後で詳述する。
 次に、ステップS1314において、第2の処理部1470は、表示の明るい領域に符号化信号の位相を合わせる。より具体的には、第2の処理部1470は、最も明るい領域のB.L制御信号のタイミングに合わせて全ての領域または、選択された一部の領域(選択された複数の領域)のB.L制御信号に、同一位相の符号化信号を重畳する。
 ただし、他の実施の形態と同様に、B.L制御信号のブランキング期間には、符号化信号を重畳しない。これは、各B.L制御信号と、符号化信号とのANDを計算する操作と等しい。なお、必要に応じて、図347のステップS1301~S1309の動作を行っても構わない。
 次に、ステップS1315において、第2の処理部1470は、符号化信号とブランキング期間とが重なっているかを判断する。より具体的には、第2の処理部1470は、領域毎に、符号化信号期間とB.L制御信号のブランキング期間とで重なった部分があるかを判断し、符号化信号期間とB.L制御信号のブランキング期間とが重なっていない場合は(S1315でYes)、ステップS1316に進み、第2の処理部1470は、符号化信号をB.L制御信号に重畳させ、処理を終了する。一方、重なっている部分がある場合は(S1315でNo)、S1317に進む。
 一方、ステップS1317において、第2の処理部1470は、可視光通信信号を行うかどうかを判断する。可視光通信を行なわない場合は(S1317でNo)、ステップS1318へ進む。可視光通信信号を行う場合は(S1317でYes)、ステップS1320に進み、第2の処理部1470は、符号化信号を送信しないようにデューティ比の調整を行って処理を終了する。
 次に、ステップS1318において、第2の処理部1470は、符号化信号の位相を変え、位相を変えた符号化信号をB.L制御信号に重畳させる。
 次に、ステップS1319、第2の処理部1470は、明るい領域にブランキング期間が重なっているかを判断する。重なっていない場合は(S1319でNo)、ステップS1320に進む。重なっている場合は(S1319でYes)、S1321に進む。
 次に、ステップS1321において、第2の処理部1470は、各領域に対して処理を終了しているかどうかを判断する。処理が終了していない場合は(S1321でNo)、S1315へ戻る。処理が終了している場合は(S1321でYes)、ステップS1322に進む。
 次に、ステップS1322において、第2の処理部1470は、符号化信号が重畳されていない領域があるかどうかを判断する。重畳されていない領域がある場合は(S1322でNo)、ステップS1313へ進む。重畳されている領域がない場合は(S1322でYes)、処理を終了する。
 [2.動作の詳細]
 次に、図351および図352を用いて、実施の形態20の表示装置1400の詳細(具体例)について説明する。
 図351は実施の形態20における領域のグループ分割の一例を示すタイミングチャートであり、図352は実施の形態20における領域のグループ分割の他の一例を示すタイミングチャートである。図351および図352において、網掛け部分(ハッチング部分)は符号化信号が重畳されている期間(符号化信号期間)を示す。
 例えば図351に示すように、表示領域の複数の領域を3つのグループに分割する。具体的には、領域A、領域Bおよび領域CをグループG1、領域F、領域Gおよび領域HをグループG2、ならびに、領域Dおよび領域EをグループG3に分割する。そして、図351に示すように、各グループにおいては、同じ期間内に同じタイミングで符号化信号を重畳する。例えば、グループG1では、最も明るい領域Cを基準に重畳しており、グループG2では、このグループで最も明るい領域Eを基準に重畳している。
 なお、図352に示すように、表示領域の複数の領域を2つのグループに分割するとしてもよい。すなわち、領域A、領域B、領域Cおよび領域DをグループG1、領域E、領域F、領域Gおよび領域HをグループG2に分割するとしてもよい。そして、各グループにおいて、同じ期間内に同じタイミングで符号化信号を重畳する。
 [3.効果等]
 このように、本実施の形態の表示装置によれば、前記信号処理部(第2の処理部1470)は、前記複数の領域のうち近傍の複数の領域を含む複数のグループそれぞれの前記バックライト制御信号に対して、前記可視光通信信号をそれぞれ重畳し、前記複数のグループそれぞれに重畳される前記可視光通信信号は互いに同位相であり、前記複数のグループそれぞれの前記バックライト制御信号の前記バックライト(1490)の発光の制御を行う期間に、対応する前記可視光通信信号のすべてが重畳されている。
 それにより、本表示装置は、B.L制御信号のON期間に符号化信号期間すべての符号化信号を重畳できるので、出力した可視光通信信号の受信ミスを低減することができる。換言すると、B.L制御信号のON期間に、可視光通信信号を欠落させないで重畳することができるので、出力した可視光通信信号の受信ミスを低減することができる。
 また、前記信号処理部(第2の処理部1470)は、前記複数のグループに含まれる複数の領域のうち所定の領域の前記バックライト制御信号を基準に、前記複数のグループそれぞれに重畳される前記可視光通信信号の位相を合わせるとしてもよい。
 それにより、本表示装置は、選択した複数のグループ毎に、可視光通信信号をより欠落させないで出力することができる。
 ここで、前記所定の領域は、前記複数の領域のうち最も明るい領域である。
 これより、表示装置1400は、表示領域内での輝度の差が目立ちにくくすることができる。
 また、前記複数のグループの一に重畳される前記可視光通信信号の位相と、前記複数のグループの他に重畳される前記可視光通信信号の位相とは、異なる。
 これにより、表示装置1400は、選択した複数のグループ毎ごとに、可視光通信信号をより欠落させないで出力することができる。
 なお、上記のように領域のグループ分割を行うことができない場合がある。つまり、領域をグループに分割しても、同一位相の符号化信号が入らない領域がある場合がある。この場合について動作について以下説明する。
 図353は、実施の形態20における領域のグループ分割の他の一例を示すタイミングチャートである。図353において、網掛け部分(ハッチング部分)は符号化信号が重畳されている期間(符号化信号期間)を示す。
 例えば図353に示す例は、図351および図352の特殊な例である。図353に示すように、領域をグループに分割した段階で、同一位相の符号化信号が入らない場所では符号化信号を送信しないとすればよい。
 具体的には、領域A、領域B、領域Cおよび領域Dとそれ以外の領域に分割し、領域A、領域B、領域Cおよび領域Dに同じ位相の符号化信号を重畳する。ここで、領域Dにおいて、符号化信号がブランキング期間と重なる期間では、符号化信号を重畳しない。さらに、図353に示す例では、領域D以降の領域(領域E~領域H)には、符号化信号を重畳しない。
 なお、領域をグループに分割しても、同一位相の符号化信号の入らない領域がある場合、単純に、基準領域を定めて、その領域の周辺(近傍の領域)だけに符号化信号を重畳させるとしてもよい。この際に、符号化信号を重畳する範囲については、前述したフローチャートに基づいても良いし、事前に決めておいた範囲に限定しても良い。
 また、上述した調整期間を設けて、符号化信号を重畳する領域および符号化信号を重畳しない領域、並びに、重畳する領域内での輝度の差を発生させないとしてもよい。
 なお、本実施の形態では、B.L制御信号の立ち上がりを基準に重畳しているが、立ち下がりなどのほかのB.L制御信号の特徴的なタイミングを基準にしてもよいし、映像信号そのものの同期信号を基準にしてもよい。また、映像の同期信号から一定の時間遅延した信号を作成し、その信号を基準にしてもよい。
 表示領域の複数の領域すべてにおいて、ブランキング期間でない期間を探すことは非常に困難であり、たとえこのような期間があっても、非常に短い。本開示においては、符号化信号をB.L制御信号に重畳する場合でも、ブランキング期間をできる限り優先することで、ブランキング期間中の点灯を抑制することで画質の劣化を避けようとしている。
 しかし、ある領域でブランキング期間と符号化信号期間とが重ならいとしても、他の領域ではブランキング期間と符号化信号期間とが重なることが多い。
 そのため、本実施の形態では、表示領域の複数の領域のうちできるだけ多くの領域において、ブランキング期間と符号化信号期間との重なり合いを避けるための方法を開示している。すなわち、本実施の形態では、複数の領域をいくつかのグループに分割し、各グループ内で符号化信号を一定の位相で重畳させる。それにより、該当グループ内におけるブランキング期間と符号化信号の重なりを低減することができる。
 なお、本実施の形態においては、複数の領域を2つのグループまたは3つのグループに分割する場合の例について説明したが、これに限定するものではない。
 また、複数の領域をグループ分けする方法は、予めいくつかのグループに領域を分けておくとし、位相をどうずらすかなども予め設定しておくとしてもよい。
 また、本実施の形態では、明るい領域を基準に符号化信号長(符号化信号期間のすべて)を重畳できるように、複数の領域をグループ分けしているが、これに限らない。この基準によって分けられるグループ数が非常に多くなる場合なども考えられるため、グループ数を限定的にしてもよい。グループに分けられる領域は、必ずしも符号化信号期間すべてが重畳可能である必要もない。
 また、各グループ内の領域に重畳する符号化信号は同じでもよいし、異なっていてもよい。なお、受信機側で得られる符号化信号に2つ以上の信号が混じっていると、誤認識或いはエラー発生の確率が高くなる。そのため、2つ以上の信号とは、異なる符号化信号が、同じ時刻に同じ受信機で受信できる場合、同じ符号化信号でも位相が異なる2つ以上の信号が、同じ受信機で同じ時刻に受信できる場合、または、これら組合せの場合を意味する。これにより、誤認識或いはエラー発生の確率を低くすることができる。
 また、何らかの基準を持って分割するグループは、上記の例に限らず、第2の処理部1470が映像信号と符号化信号との関係により行った信号処理結果に基づきグループに分割するとしてもよい。
 また、LEDなどを用いたバックライトでは、その光源が、点光源に近い非常に小さい物であるので、LCDのように面発光させるためには、導光板や拡散板などを用いて、領域を広げている。そのため、各領域におけるLEDを制御する際には、隣接する領域はオーバーラップするように設計されており、漏れ光が一定以上存在する。
 したがって、LEDなどを用いたバックライトでは、いくつかのグループに分割する場合でも、少なくとも隣接する領域からの漏れ光により、別の信号がノイズとして入ってしまうため、隣接するブロックを含む領域の符号化信号が時間的に重なることは避ける必要がある。そこで、例えば、該当箇所で該当フレームにおいては符号化信号を発信しない、または、離れた場所の領域で、時間的に連続したもしくは重なり合った符号化信号を発信するとしてもよい。
 該当箇所で該当フレームにおいては符号化信号を発信しないとする場合においては、フレーム毎にどの領域から符号化信号を出力するかを決定し分離しても良いし、特定の箇所(映像信号にリンクしても良い)の符号化信号を優先的に発信するとしてもよい。
 また、異なる領域における異なる位相の符号化信号の送信期間が重なる場合でも、領域が連続しなければ、或いは一定の間隔があいていればよい。領域を限定して信号を受信する場合などについては、受信可能であるからである。なお、異なる位相間を持つ領域の間隔はバックライトの漏れ光がどの程度の範囲まで及ぶかにより判断する必要があるため、使用する表示装置の性能に基づく数値となる。
 また、各領域を複数のブロックに分けてそれぞれに上記方法を適応しても良い。
 (実施の形態21)
 符号化信号を受信する際に、フォトダイオードなどの応答速度の非常に速い光強度センサーを用いた場合には、画像と符号化信号の位相差は大きな問題にはならない。
 一方で、スマートフォンや携帯電話に付属しているカメラやデジタルスチルカメラなどのイメージセンサーを用いて符号化信号を撮像して取得する場合には、位相の僅かな差により、露光タイミングが信号のON-OFFのエッジ部分または、一連の符号化信号期間の開始もしくは/および終了のタイミングと非常に短い時間差で若しくは同時にかかってしまうことで、有効な信号として取得できないことがある。つまり、イメージセンサーの撮像周期は一般的に30FPSであり、例えば60FPSの映像信号と符号化信号とが同期している場合には、イメージセンサーの撮像時にタイミングが合わない場合には、いつまでたってもイメージセンサーの撮像周期と符号化信号の周期とのタイミングが合わないということも考えられる。
 そこで、本実施の形態では、これを避けるために、符号化信号の位相をずらす方法について説明する。
 [1.表示装置の動作]
 以下、第2の処理部1470の動作を中心に説明する。
 図354は、実施の形態21における第2の処理部の動作を説明するためのフローチャートである。
 まず、ステップS1331において、第2の処理部1470は、信号の同期をずらす。より具体的には、第2の処理部1470は、表示パネル1450とバックライト1490との同期が固定でない場合、符号化信号の同期をずらす。これは、スマートフォン1350の撮像の確率をあげるのに有効である。
 次に、ステップS1332において、第2の処理部1470は、第1の処理部1430より出力される映像信号に基づくデューティ比より、B.L制御信号と符号化信号のANDを計算する。
 次に、ステップS1333において、第2の処理部1470は、映像信号および/または可視光通信信号に基づくデューティ比の調整を行う。
 より具体的には、第2の処理部1470は、実施の形態18で説明したように、符号化信号期間とブランキング期間とが重なっているかどうかを調べ、場合分けをして調整期間を設ける。第2の処理部1470は、調整期間の分だけ、該当フレームのB.L制御信号のデューティ比が本来の映像信号に基づくB.L制御信号のデューティ比と異なる場合には、符号化信号の送信が休止している期間などを利用してデューティ比の調整を行う。ここで、例えば、第2の処理部1470は、ブランキング期間とは別の期間にバックライト1490をOFFする期間(B.L制御信号のOFF期間)を設定することでデューティ比の調整を行う。そして、第2の処理部1470は、調整期間を設けて調整した符号化信号が重畳されたB.L制御信号を第2の制御部1480に出力する。
 なお、一定の期間で、符号化信号と映像信号との位相の関係が元に戻った場合、これらを予め定められた位相差に補正するとしてもよい。
 さらに、映像信号の周波数と異なる周波数で、符号化信号の位相と映像信号の位相が時間的に変化する関係、即ち、どちらか一方がもう一方の略整数倍になっていない関係であれば、位相合わせの制御を特にしなくともよい。なぜなら、特に双方の位相を合わせることがなくとも、ある時間が経過することで両者の位相の関係が元に戻り、信号の受信が困難な時間帯と、容易に受信できる時間帯が必ずどこかに存在することになるからである。
 図355Aおよび図355Bは、実施の形態21におけるB.L制御信号と可視光通信信号との位相の関係について説明するための図である。
 例えば、図355Aでは、B.L制御信号Xを基準にして、可視光通信信号に基づく符号化信号とB.L制御信号Xとが一定の周期で同じ位相になることを示している。尚、図中の斜線部分が実際に符号化信号を送信している期間を示しており、一例として、B.L制御信号よりも長い周期で、短い期間出力する表示になっているが、信号長の関係は前述したとおり、どちらが長くてもかまわない。また、実際の符号化信号送信期間とB.L制御信号との長さは、どちらが長くなくてはならないということはないものの、符号化送信期間がB.L制御信号よりも短いことが望ましい。ここでは、B.L制御信号Xが12回繰り返す間に、符号化信号は7回繰り返すことになっており、例えば、B.L制御信号が60fpsであった場合には、0.2秒間隔で両者の位相が同じ関係になっている。一方、図355Bにおいては、特に、B.L制御信号Xと符号化信号の間に関連はないが、f1では、B.L制御信号の前半部分、f2では、後半部分、f3ではほぼ中間位置と、フレームごとに符号化信号送信期間の開始と、B.L制御信号の開始の位相の関係が変化している。しかしながら、特に両者が最小公倍数を持って位相の関係が元に戻ることはないものの、位相が順次ずれていくことで、撮像のタイミングによる不具合はどこかで解消できることになる。また、B.L制御信号の切れ目に当たる期間に符号化信号を送信しているf2や、f5から始まる時刻においても、領域Xでは、符号化信号が途切れることなるものの、どこか別の領域では必ず符号化信号を送信することができているため問題はない。映像と通信情報との関連については、バッファなどにメモリしておき、直前のメモリを引き出して通信信号として符号化して利用してもよい。また、両者の位相の関係が元に戻るまでの時間が非常に長い期間、例えば、数秒以上かかる場合には、位相の関係を強制的に元に戻すなどしてもよい。例えば、図355Bのf8で符号化信号が完了した後、f9のタイミングまで時間を置いてB.L制御信号と、符号化信号の位相を改めて合わせてもよいし、合わせなくともよい。また、タイミングを合わせる周期を例えば1秒ごとに行うなど行ってもよいし、全く行わなくともよい。
 [2.動作の詳細]
 次に、図356Aおよび図356B、図356Cを用いて、実施の形態20の表示装置1400の動作の詳細(具体例)について説明する。
 図356Aおよび図356B、図356Cは、実施の形態21における第2の処理部の動作を説明するためのタイミングチャートである。網掛け部分(ハッチング部分)は符号化信号が存在している領域を示す。図356Aは符号化信号を重畳する前のB.L制御信号のタイミングチャートを示しており、図356Bは符号化信号が重畳された後のB.L制御信号のタイミングチャートを示している。図356Cは、符号化信号を基準となるバックライト制御信号の立ち上がりあるいは立下りのタイミングからの遅延時間を設定することにより、結果的にバックライト制御信号の位相と、可視光通信信号の位相との関係を、時間的に変化させた例を示している。
 例えば図356Aに示すように、符号化信号とB.L制御信号との同期をずらしている。これにより、スマートフォン1350などの受信機側で符号化信号を受信できるタイミングを確実に発生させることができる。ここで、上述した調整期間を各フレームにおける位相差毎に計算して設けるとしてもよい。
 なお、図356Cのように、例えば、領域Aを基準に取り、バックライト制御信号の立ち上がりU2と可視光通信信号の開始V2の時間差β1を遅延時間として予め設定して、重畳してもよい。また、次のフレームの立ち上がりU3と可視光通信信号の開始V3の時間差β2については、β1と同じでもよいし、異なっていてもよい。また、図356Cに示す例では、βは、遅延で正の数値(時間)を示しているが、負の数値(時間)を持って先んじてもよい。
 また、さらに、βが0であるフレームを混在させてもよい。基準となる領域はどこでもよいし、前述した基準により選択してもよい。基準の時間はバックライト制御信号の立ち上がりとしたが、これを立下りなど、信号の波形の特徴的なほかの基準を用いてもよい。基準の時間は、予め決められた領域におけるバックライト制御信号の特徴的な部分以外にも、映像信号そのものの同期信号を基準にしてもよいし、映像の同期信号から一定の時間遅延した信号を作成し、その信号を基準にしてもよい。
 また、本実施の形態では、映像信号と符号化信号とが一対一対応しないため、いくつかの符号化データおよび画像データを予め表示装置1400内のメモリ(不図示)などにバッファリングし、上記処理を行うとよい。
 なお、映像信号の周期(1フレーム長)と符号化信号を重畳する周期とは、望ましくは1秒以内、更に望ましくは0.5秒以内に最小公倍数をもたせるのがよい。また、これら二つの周期が同期するときと、これら二つの周期が同期したタイミングから前記最小公倍数の期間もしくはその整数倍の時間毎とにトラッキングを行い、各々に生じる誤差によって発生する微小な時間のずれ(位相差)を補正するとしてもよい。
 また、前述したように、映像信号の周期または/および周波数と符号化信号の周期または/および周波数が、時間的に位相の関係を変化させる関係にある場合においては、各周期が1秒以内に最小公倍数を持たなくとも、変化の割合が早い場合、例えば、同じ位相の関係を繰り返す以上の変化を1秒以内に起こす場合には、特に二つの位相の関係を制御せずにおいてもよい。変化の割合は、前記の例のような関係が望ましいが、必ずしもこれに限らない。
 [3.効果等]
 以上のように、本実施の形態の表示装置において、前記信号処理部は、前記複数の領域それぞれのバックライト制御信号に対して、前記複数の領域のいずれか一つのバックライト制御信号を基準に、可視光通信信号を符号化する遅延時間を時間的に変化させる、前記信号処理部(第2の処理部1470)は、前記複数の領域それぞれの前記バックライト制御信号に対して、前記複数の領域のいずれか一つの前記バックライト制御信号を基準に、前記可視光通信信号(符号化信号)を符号化する遅延時間を時間的に変化させる。
 この構成により、スマートフォン1350などの受信機側で符号化信号を受信できるタイミングを確実に発生させることができる。
 なお、前記信号処理部(第2の処理部1470)は、前記複数のバックライト制御信号に対して、バックライト制御信号の周期と異なる周期で可視光通信信号(符号化信号)を重畳し、前記複数の領域それぞれにおいて、前記バックライト制御信号の位相と、前記可視光通信信号の位相との関係がフレームとともに変化するとしてもよい。
 ここで、前記バックライト制御信号の周期と異なる可視光通信信号を重畳する周期が、時間的に変化するとしてもよい。
 また、前記複数のバックライト制御信号に対して重畳する可視光通信信号の位相が、可視光通信信号を重畳するすべての領域で同じ位相であるとしてもよい。
 また、前記複数の領域それぞれに重畳される前記可視光通信信号の位相ずれの周期と、前記バックライト制御信号の1フレーム周期とは、1sec以内に最小公倍数を有するとしてもよい。
 それにより、スマートフォン1350などの受信機側で符号化信号を受信できるタイミングが比較的短期間の中に確実に発生させることができる。
 また、前記信号処理部(第2の処理部1470)は、前記複数の領域それぞれに重畳される前記可視光通信信号(符号化信号)の位相ずれの周期と、前記バックライト制御信号の1フレーム周期との最小公倍数または整数倍の時間毎に、前記複数の領域それぞれに重畳される前記可視光通信信号(符号化信号)の位相ずれの周期の始点を前記バックライト制御信号の1フレーム周期に補正するとしてもよい。
 それにより、位相のずれを補正することで、スマートフォン1350などの受信機側で符号化信号を受信できるタイミングが長期にわたることを防止することができる。
 ここで、前記二種類の周期の最小公倍数の示す時間は、通常、通信信号を受信できる位置関係、環境であれば、少なくともこの時間以内に受信できるという数字(時間)であって、受信をしようと思う人が受信機をかざしてじっと待てる時間以内になければならない。通常のNFCなどでも、待てる時間の目安として1秒間かざすことを推奨しており、同等以下であることが望ましい。さらに、心理的に負担にならない時間として、さらに望ましくは0.5秒以内に最小公倍数を持つとした。
 (実施の形態22)
 実施の形態18~21では、通常速度で駆動する走査速度にて各領域を順次制御して画像信号を表示する場合について説明したが、通常速度よりも速い倍速駆動の走査速度にて各領域を順次制御して画像信号を表示するとしてもよい。
 本実施の形態では、2倍速の画像信号を4倍速駆動の走査速度にて各領域を順次制御して表示した場合を例に挙げて説明する。以下では、ブランキング期間は2倍速駆動の時間を基本に説明する。
 [1.表示装置の動作]
 以下、第2の処理部1470の動作を中心に説明する。
 図357Aおよび図357Bは、実施の形態22のおける第2の処理部の動作を説明するためのタイミングチャートである。網掛け部分(ハッチング部分)は符号化信号の存在している領域を示す。図357Aは符号化信号を重畳する前のB.L制御信号のタイミングチャートを示しており、図357Bは符号化信号が重畳された後のB.L制御信号のタイミングチャートを示している。
 例えば図357Aに示すように、B.L制御信号A~B.L制御信号Hには同時に点灯している期間がない。つまり、表示領域の全ての領域に対して同時に符号化信号が重畳できないことを示している。
 そこで、本実施の形態では、例えば図357Bに示すように、ブランキング期間の領域間の走査の期間を通常の半分に設定する。そして、複数の領域(全領域でも良い)の中で最もB.L制御信号のブランキング期間の開始が遅い領域である領域Hを選択する。
 第2の処理部1470は、領域Hでのブランキング期間が終了し、バックライト1490の点灯が開始されるタイミング(B.L制御信号HがONになる時刻)に合わせて、選択した領域Hに符号化信号を重畳する。
 図357Bに示す例では、第2の処理部1470は、表示領域の全領域に対して、B.L制御信号Hでのブランキング期間が終了し、B.L制御信号HがONになるタイミングに符号化信号を重畳している。
 それにより、第2の処理部1470は、表示領域のどの領域においても符号化信号が重畳されている期間を最大で2分の1フレーム分の期間、設定することができる。
 [2.効果等]
 以上のように、本実施の形態の表示装置において、前記表示制御部(第1の制御部1440)は、前記映像信号に示される走査速度よりも高速化した高速走査速度に従って、前記表示パネルの表示面に映像を表示するよう前記表示パネル(1450)を制御する。
 それにより、表示装置は、符号化信号を出力できる期間をより長く取ることができる。
 なお、符号化信号長(符号化信号期間)が長く、B.L制御信号のON期間(ブランキング期間以外の期間)だけに重畳できず、ブランキング期間と重なる領域がある場合には、該当領域では、ブランキング期間に符号化信号を重畳させない。
 また、B.L制御信号のON期間に重畳された符号化信号による消灯時間分を、ブランキング期間でバックライト1490を点灯させる調整期間を設けるとしてもよい。その際、上記の実施の形態で述べた方法で、調整期間を作成してもよいし、符号化信号のヘッダーをブランキング期間に重畳させてもよい。また、表示領域の複数の領域をいくつかのグループに分解して符号化信号を重畳するなどしてもよい。
 また、上記該当領域以外の領域(他の領域)でも同様の作業行っても良いし、信号を全く出さなくてもよい。この場合、上記実施の形態で述べた方法で、可視光通信信号あるいは/および映像信号に基づくデューティ比が全画面で同じになるように消灯時間の調整期間を設ければよい。また、実施の形態20と同様に、もっとも明るい領域を選択して、その領域に合わせたタイミングで符号化信号を重畳するとしてもよい。また、本実施の形態では、B.L制御信号の立ち上がりを基準に重畳しているが、立ち下がりなどのほかのB.L制御信号の特徴的なタイミングを基準にしてもよいし、映像信号そのものの同期信号を基準にしてもよい。また、映像の同期信号から一定の時間遅延した信号を作成し、その信号を基準にしてもよい。
 なお、本実施の形態では、2倍速の走査速度を4倍速の走査速度にした例について説明したが、これに限定するものではない。フレーム数をそのままにして、走査速度のみを上げるとしてもよい。
 また、本実施の形態では、事前にこのような形態をとって信号を送信する場合を想定しているが、第2の処理部が映像信号と符号化信号との関係から、本実施の形態の信号を送信する方法を取るとしてもよい。この場合には、図340における第2の処理部1470から第1の処理部1430への信号の伝送が入るため、この二つのブロックをつなぐ矢印は双方向を向くようになる。
 (実施の形態23)
 実施の形態18~22では、複数の領域それぞれにおいて異なるタイミングで消灯の制御を行う期間を設ける制御方法がバックライトスキャンであるとして説明したがそれに限らない。ローカルディミングであってもよい。
 本実施の形態では、ローカルディミング適応時の動作について説明する。
 ここで、ローカルディミングは、表示領域(画面)を幾つかの領域に分割し、その領域内の液晶の透過率を通常より高くし、その分だけバックライトの輝度を下げる(デューティを下げる)ことにより、電力を下げるバックライト制御方法である。該当領域内でもっとも高い輝度の画素において、透過率を上げる余裕があるとき(最も高い輝度が比較的低い値を持つとき)に上記制御による電力削減が可能である。また、バックライトのデューティを下げることにより、点灯期間が減少し、結果としてコントラストが向上する効果も奏する。
 [1.ローカルディミングによるバックライト制御]
 次に、ローカルディミングにより制御されたB.L制御信号について説明する。
 図358は、実施の形態23におけるローカルディミング適応時のバックライト制御を示すタイミングチャートである。
 ローカルディミングを適用してバックライト制御を行う時は、例えば図358に示すように、隣接する領域同士では、ブランキング期間の開始タイミングの間隔Tは均一であるが、ブランキング期間の長さは均一ではない。
 そのため、本実施の表示装置1400は、表示領域の各領域において、事前に示された映像信号に基づいて定められたB.L制御信号のブランキング期間をメモリした上で、以下に説明する処理(動作)を行うとよい。
 [2.表示装置の動作]
 以下、第2の処理部1470の動作を中心に説明する。なお、本実施の形態では表示領域の各領域の1フレームあたりのOFF期間を揃えた場合の信号制御を示す。
 [2.1.第2の処理部の動作の一例]
 図359は、実施の形態23における第2の処理部の動作の一例を説明するためのフローチャートである。
 まず、ステップS1341において、第2の処理部1470は、調整期間を計算する。具体的には、符号化信号における消灯時間をN1、第1の処理部より入力されたB.L制御信号の消灯時間をN2とすると、調整期間N=N2-N1の関係式と表せる。これにより、第2の処理部1470は、調整期間を計算(算出)することができる。
 次に、ステップS1342において、第2の処理部1470は、調整期間Nと符号化信号期間Cの和(N+C)が1フレーム期間以下であるかどうかを判断する。
 第2の処理部1470は、(N+C)が1フレーム期間以下と判断した場合は(S1342でYes)、S1343へ進む。一方、第2の処理部1470は、(N+C)が1フレーム期間より大きいと判断した場合は(S1342でNo)、S1346に進み、符号化信号を出力することをやめ、処理を終了する。
 次に、ステップS1343において、第2の処理部1470は、調整期間Nが0以上であるかどうか判断する。
 第2の処理部1470は、Nが0以上の場合は(S1343でYes)、S1344へ進み、次の符号化信号の開始から調整期間分遡って消灯期間を設ける。また、この期間は符号化信号を出さないようにし、処理を終了する。
 一方、第2の処理部1470は、Nが0より小さい場合は(S1343でNo)S1345へ進み、B.L制御信号のブランキング期間の終了時を起点として、遡ってB.L制御信号のブランキング期間に調整期間分の点灯期間(ON期間)を設ける。また、この調整期間は符号化信号を出さないようにする。
 図360は、実施の形態23における第2の処理部の動作の一例を説明するためのタイミングチャートである。ここで、太線は、B.L制御信号のON期間およびOFF期間を示しており、以下では領域Aを基準領域として説明する。なお、各図中のB.L制御信号X(Xは、A~H)で制御される領域を領域Xと呼称する。
 例えば図360に示すように、第2の処理部1470は、基準領域である領域Aのフレームの開始タイミングから同位相の符号化信号を各領域に重畳するとともに、調整期間を設ける。なお、調整期間は、実施の形態18の第2の方法に従って設ければよいが、第2の方法については上述したためここでの説明を省略する。
 本実施の形態では、実施の形態18~22と同様に、B.L制御信号がOFF期間(ブランキング期間)の時には符号化信号を重畳せず、B.L制御信号がON期間の時には、符号化信号を重畳することを基本とする。なお、調整期間は、符号化信号のデューティ比を考慮して変換してもよく、その場合には、調整期間であって符号化信号を出す期間であれば符号化信号を重畳して出力するとしてもよい。
 [2.2.第2の処理部の動作の一例]
 ローカルディミング時においても、通常のバックライトスキャン制御時と同様に順次ブランキング期間を持つことを優先してもよい。この場合の処理について以下説明する。
 図361は、実施の形態23における第2の処理部の動作の一例を説明するためのフローチャートである。
 まず、ステップS2101において、第2の処理部1470は、調整期間を計算する。具体的には、所定の領域のブランキング期間をN1、符号化信号における消灯時間をN2、該当領域のブランキング期間をN3とすると、調整期間N=N1-N2-N3の関係式と表せる。これにより、第2の処理部1470は、調整期間を計算(算出)することができる。
 次に、ステップS2102において、第2の処理部1470は、調整期間N、符号化信号期間C、該当領域のブランキング期間N3の和(N+C+N3)が1フレーム期間以下であるかどうかを判断し、判断結果を記憶する。
 次に、ステップS2103において、第2の処理部1470は、調整期間Nが0以上であるかどうか判断し、判断結果を記憶する。
 以上のようにステップを踏んだうえで、第2の処理部1470は、領域毎に記憶したN1~N3、S2102およびS2103の判断結果を元に、調整期間を設けて、調整期間などを設けて、可視光通信信号を映像表示と同時に行う。
 なお、調整期間は、実施の形態18の第2の方法や実施の形態19~22等で説明した方法との組合せにより作成すればよい。
 図362は、実施の形態23における第2の処理部の動作一例を説明するためのタイミングチャートである。図362には、実施の形態18で説明した第2の方法によって調整期間が設けたられている。太線は、B.L制御信号のON期間およびOFF期間を示しており、以下では領域Aを基準領域として説明する。
 例えば図362に示すように、第2の処理部1470は、基準領域である領域Aのフレームの開始タイミングから所定期間経過後の時刻P~時刻Qの期間において、同位相の符号化信号を各領域に重畳するとともに、調整期間を設ける。なお、調整期間については実施の形態18の第2の方法に従って設ければよいが、第2の方法については上述したためここでの説明を省略する。
 本実施の形態では、実施の形態18~22と同様に、B.L制御信号がOFF期間(ブランキング期間)の時には符号化信号を重畳せず、B.L制御信号がON期間の時には、符号化信号を重畳することを基本とする。そのため、例えば領域Aでは、時刻Pから一定期間は、B.L制御信号AがOFFとなるブランキング期間であるので、符号化信号は重畳されない。そして、符号化信号期間C後に調整期間が設けられる。
 なお、調整期間は、符号化信号のデューティ比を考慮して変換してもよく、その場合には、調整期間であって符号化信号を出す期間であれば符号化信号を重畳して出力するとしてもよい。
 [2.3.第2の処理部の動作の一例]
 図363は、実施の形態23における第2の処理部の動作の一例を説明するためタイミングチャートである。
 ローカルディミングを適用してバックライト制御を行うと、基本的にB.L制御信号のブランキング期間がフレーム毎、領域毎に異なる。そのため、計算の便宜のため仮のブランキング期間(規定ブランキング期間と記載)を定める。すると、規定ブランキング期間と、符号化信号期間と、それらの位相差と、元々のブランキング期間とから、実施の形態19の第2の方法に従って、調整期間を算出することができる。以下、この場合の一例について図363を用いて説明する。図363中の太線は、元々のブランキング期間を示した波形を示している。
 規定ブランキング期間は、画面中のブランキング期間の平均的な長さ、また最も短い期間に基づいて定める。ここで、規定ブランキング期間は、符号化信号を重畳しない消灯期間であるとする。符号化信号期間は符号化信号を重畳する期間である。
 また、調整期間は、実施の形態18の第2の方法を用いて設ければよい。調整期間が正であればこの期間中はバックライト1490を消灯するようB.L制御信号を調整すればよいし、調整期間が負であれば、バックライト1490を点灯するように、B.L制御信号を調整すればよい。調整期間がブランキング期間を遡って設けられた場合には、ブランキング期間でもバックライト1490を点灯するようにB.L制御信号を調整すればよい。なお、調整期間が負の場合、調整期間のB.L制御信号に符号化信号を重畳させる場合には、調整期間をデューティ比に基づく補正を行えばよい。
 [3.効果等]
 以上のように、本実施の形態の表示装置において、前記バックライト制御部(第2の制御部1480)は、前記信号処理部(第2の処理部1470)により出力されたバックライト制御信号に従って、前記複数の領域それぞれにおいて各々の映像信号に基づく前記バックライトの発光量に従って発光の制御を行い、前記複数の領域それぞれにおいて異なるタイミングで消灯の制御を行う期間を設け、前記複数の領域それぞれにおいて前記映像信号および前記可視光通信信号に基づく前記バックライトのデューティも変化させる。
 なお、本実施の形態では、B.L制御信号の立ち上がりを基準に重畳しているが、立ち下がりなどのほかのB.L制御信号の特徴的なタイミングを基準にしてもよいし、映像信号そのものの同期信号を基準にしてもよい。また、映像の同期信号から一定の時間遅延した信号を作成し、その信号を基準にしてもよい。
 以上、本実施の形態では、ローカルディミングを適応する場合について説明したが、ローカルディミングは、二次元的に領域を分割し、ある方向は同時に映像信号を走査書き込みする場合もあるため、ブランキング期間の位相は同じでブランキング期間が異なる領域の組合せも発生するが、本実施の形態で説明した内容で適応可能である。
 以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
 したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
 また、上述の実施の形態は、本開示における技術を例示するためのものであるから、本開示における技術は、これに限定されず、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
 例えば、上述の実施の形態では、B.L制御信号の立ち上がりを基準に重畳する場合を例に挙げて説明しているがそれに限らない。立ち下がりなどのほかのB.L制御信号の特徴的なタイミングを基準にしてもよいし、映像信号そのものの同期信号を基準にしてもよい。また、映像の同期信号から一定の時間遅延した信号を作成し、その信号を基準にしてもよい。
 本開示は、表示画像の画質を大きく劣化させることなく可視光通信信号を出力すること、かつ、出力した可視光通信信号の受信ミスを低減することができる表示装置に適用可能である。具体的には、本開示にかかる表示装置は、画像以外の情報を安全にしかも能動的に取得できるため、家庭でのテレビ或いはPC、タブレットなどの機器は勿論のこと、外出先でのサイネージや、情報端末、情報表示機器においてもその能動性ゆえに安全に必要な情報を必要なだけ得られるという意味で、あらゆる場面での画像付帯情報の転送、情報発信などのさまざまな用途に適用可能である。
 また、例えば、実施の形態18~23における表示装置は、可視光通信信号を出力可能な表示装置であって、映像を表示する表示面を有する表示パネルと、映像信号に基づいて前記表示パネルの表示面に映像を表示するよう前記表示パネルを制御する表示制御部と、前記表示パネルの前記表示面を背面から照明する発光面を有するバックライトと、前記可視光通信信号を前記映像信号に基づいて生成されたバックライト制御信号に重畳する信号処理部と、前記バックライトの発光面を複数の領域に分割し、前記信号処理部により出力されたバックライト制御信号に従って、前記複数の領域それぞれにおいて発光の制御を行い、かつ、前記複数の領域それぞれにおいて異なるタイミングで消灯の制御を行う期間を設けるバックライト制御部とを備え、前記信号処理部は、前記可視光通信信号を前記バックライト制御信号に重畳する際に、前記バックライト制御信号のうち前記バックライトの消灯を示す信号に対しては、前記可視光通信信号を重畳しないとしてもよい。
 また、例えば、前記信号処理部は、前記複数の領域それぞれの前記バックライト制御信号に対して、前記可視光通信信号をそれぞれ重畳し、前記複数の領域それぞれに重畳される前記可視光通信信号は互いに同位相であるとしてもよい。ここで、例えば、実施の形態18~23における表示装置では、前記信号処理部は、前記複数の領域のうち所定の領域の前記バックライト制御信号を基準に、前記複数の領域それぞれに重畳される前記可視光通信信号の位相を合わせるとしてもよい。
 また、例えば、前記所定の領域は、前記複数の領域のうち最も明るい領域であるとしてもよいし、前記所定の領域は、前記複数の領域のうち前記表示面の端部に対応する領域であるとしてもよい。
 また、例えば、前記信号処理部は、前記複数の領域のうち近傍の複数の領域を含む複数のグループそれぞれの前記バックライト制御信号に対して、前記可視光通信信号をそれぞれ重畳し、前記複数のグループそれぞれに重畳される前記可視光通信信号は互いに同位相であり、前記複数のグループそれぞれの前記バックライト制御信号の前記バックライトの発光の制御を行う期間に、対応する前記可視光通信信号のすべてが重畳されているとしてもよい。
 ここで、例えば、前記信号処理部は、前記複数のグループに含まれる複数の領域のうち所定の領域の前記バックライト制御信号を基準に、前記複数のグループそれぞれに重畳される前記可視光通信信号の位相を合わせるとしてもよい。または、前記所定の領域は、前記複数の領域のうち最も明るい領域であるとしてもよい。
 また、例えば、前記複数のグループの一に重畳される前記可視光通信信号の位相と、前記複数のグループの他に重畳される前記可視光通信信号の位相とは、異なるとしてもよい。
 また、例えば、前記信号処理部は、前記可視光通信信号を前記バックライト制御信号に重畳する際に、前記バックライト制御信号のうち前記バックライトの消灯を示す信号の期間と、重畳される前記可視光通信信号の期間とが重複する領域であって前記複数の領域のうちの領域がある場合、前記重複する領域に、前記重複する領域の輝度を調整するための点灯調整期間を設け、前記点灯調整期間において、前記バックライト制御信号のオン・オフを調整するとしてもよい。
 また、例えば、前記信号処理部は、前記可視光通信信号を符号化して符号化信号を生成し、前記可視光通信信号として前記符号化信号を前記バックライト制御信号に重畳し、前記符号化信号を前記バックライト制御信号に重畳する際に、前記バックライト制御信号のうち前記バックライトの消灯を示す信号の期間と、重畳される前記符号化信号の期間とが重複する領域であって前記複数の領域のうちの領域がある場合、前記符号化信号のうちヘッダー部分を、前記バックライトの消灯を示す信号の期間の前記バックライト制御信号に重畳し、前記符号化信号のうちの前記ヘッダー部分以外の部分を、前記バックライトの消灯を示す信号の期間以外の期間の前記バックライト制御信号に重畳するとしてもよい。
 また、例えば、前記信号処理部は、前記複数のバックライト制御信号に対して、バックライト制御信号の周期と異なる周期で可視光通信信号を重畳し、前記複数の領域それぞれにおいて、前記バックライト制御信号の位相と、前記可視光通信信号の位相との関係がフレームとともに変化するとしてもよい。ここで、前記バックライト制御信号の周期と異なる可視光通信信号を重畳する周期が、時間的に変化するとしてもよい。
 また、例えば、前記信号処理部は、前記複数の領域それぞれのバックライト制御信号に対して、前記複数の領域のいずれか一つのバックライト制御信号を基準に、可視光通信信号を符号化する遅延時間を時間的に変化させるとしてもよい。
 また、例えば、前記複数のバックライト制御信号に対して重畳する可視光通信信号の位相が、可視光通信信号を重畳するすべての領域で同じ位相であるとしてもよい。
 また、例えば、前記複数の領域それぞれに重畳される前記可視光通信信号の位相ずれの周期と、前記バックライト制御信号の1フレーム周期とは、1sec以内に最小公倍数を有するとしてもよい。
 また、例えば、前記信号処理部は、前記複数の領域それぞれに重畳される前記可視光通信信号の位相ずれの周期と、前記バックライト制御信号の1フレーム周期との最小公倍数または整数倍の時間毎に、前記複数の領域それぞれに重畳される前記可視光通信信号の位相ずれの周期の始点を前記バックライト制御信号の1フレーム周期に補正するとしてもよい。
 なお、例えば、前記表示制御部は、前記映像信号に示される走査速度よりも高速化した高速走査速度に従って、前記表示パネルの表示面に映像を表示するよう前記表示パネルを制御するとしてもよい。
 また、前記バックライト制御部は、前記信号処理部により出力されたバックライト制御信号に従って、前記複数の領域それぞれにおいて発光の制御を行い、前記複数の領域それぞれにおいて各々の映像信号に基づく前記バックライトの発光量に従って異なるタイミングで消灯の制御を行う期間を設け、前記複数の領域それぞれにおいて、前記映像信号および前記可視光通信信号に基づく前記バックライトのデューティも変化させるとしてもよい。
 また、実施の形態18~23における表示装置の制御方法は、可視光通信信号を出力可能な表示装置の制御方法であって、前記表示装置は、映像を表示する表示面を有する表示パネルと、前記表示パネルの前記表示面を背面から照明する発光面を有するバックライトとを備え、前記制御方法は、映像信号に基づいて前記表示パネルの表示面に映像を表示するよう前記表示パネルを制御する表示制御ステップと、前記可視光通信信号を前記映像信号に基づいて生成されたバックライト制御信号に重畳する信号処理ステップと、前記バックライトの発光面を複数の領域に分割し、前記信号処理ステップにおいて出力されたバックライト制御信号に従って、前記複数の領域それぞれにおいて発光の制御を行い、かつ、前記複数の領域それぞれにおいて異なるタイミングで消灯の制御を行う期間を設けるバックライト制御ステップとを含み、前記信号処理ステップでは、前記可視光通信信号を前記バックライト制御信号に重畳する際に、前記バックライト制御信号のうち前記バックライトの消灯を示す信号に対しては、前記可視光通信信号を重畳しない。
 なお、実施の形態18~23によれば、表示画像の画質を大きく劣化させることなく可視光通信信号を出力すること、かつ、出力した可視光通信信号の受信ミスを低減することができる表示装置に適用可能である。具体的には、実施の形態18~23にかかる表示装置は、画像以外の情報を安全にしかも能動的に取得できるため、家庭でのテレビ或いはPC、タブレットなどの機器は勿論のこと、外出先でのサイネージや、情報端末、情報表示機器においてもその能動性ゆえに安全に必要な情報を必要なだけ得られるという意味で、あらゆる場面での画像付帯情報の転送、情報発信などのさまざまな用途に適用可能である。
 (実施の形態24)
 本開示は、可視光通信信号を出力可能な表示装置及び表示方法に関する。
 ディスプレイのバックライトを用いた可視光通信技術に関する特開2007-43706号公報および特開2009-212768号公報では、映像信号の中に可視光による通信情報を重畳して表示する表示装置が開示されている。
 本開示は、受信装置で復元可能な可視光通信信号を出力する表示装置を提供する。
 本開示における表示装置は、複数の信号ユニットで構成される可視光通信信号をカルーセル方式で出力可能な表示装置であって、映像信号を表示する表示パネルと、信号ユニットを符号化し、複数のブロックに分割し、複数のブロックを用いて送信フレームを複数生成してバックライト制御信号とする可視光通信処理部と、バックライト制御信号に基づいて、表示パネルを背面から発光するバックライトと、を備える。可視光通信処理部で生成された1つの信号ユニットに対する複数の送信フレームは、少なくとも2つの送信フレームの複数のブロックの順序が異なる。
 本開示の表示装置は、受信装置で復元可能な可視光通信信号を出力することできる。
 以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
 なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
 以下、図364~372Eを用いて、実施の形態24を説明する。
 [1-1.可視光通信システムの構成]
 図364は、実施の形態24にかかる可視光通信システムの概略図である。図364において、可視光通信システム1500Sは、表示装置1500と、受信装置1520とから構成される。
 表示装置1500は、例えば、ディスプレイであり、表示面1510に映像を表示する。また表示面1510に表示されている映像には、表示されている映像に関連する情報として可視光通信信号が挿入または重畳されている。
 表示装置1500の表示面1510に表示されることによって出力された可視光通信信号を、受信装置1520は表示面1510に表示された映像を撮像することで受信する。受信装置1520は、例えば、順次露光型のイメージセンサーが内蔵されているスマートフォンとして構成される。これにより、受信装置1520のユーザーは、表示装置1500に表示されている映像に関連する情報などを受け取ることができる。
 なお、本実施の形態では、表示装置1500としてディスプレイを例に挙げているが、これに限らない。表示装置1500は、プロジェクターのように投影型の表示装置であってもよい。
 また、受信装置1520としてスマートフォンを例に挙げているが、可視光通信信号を受信可能な電子機器であればよい。例えば、電子機器は、電子機器情報産業協会(JEITA:Japan Electronics and Information Technology Industries Assosiation)で規定された「JEITA-CP1222 可視光IDシステム(Visible Light ID System)」に準拠する受信装置であってもよい。さらに、電子機器は、一般的な通信端末であってもよい。
 また、「可視光通信信号を受信可能」とは、可視光通信信号を受信し、受信した可視光通信信号をデコードして情報を得ることができるということである。
 また、可視光通信信号の通信方式は、例えば、JEITAで規定された「JEITA-CP-1223 可視光ビーコンシステム(Visible Light Beacon System)」に準拠する通信方式、或いはIEEE(The Institute of Electrial and Electronics Engineers, Inc.)で標準化されたWPAN(Wireless Personal Area Network)の規定であるIEEE-P802.15に準拠する通信方式等であってもよい。
 換言すると、受信装置1520は、これらの通信方式で通信可能であり、さらに可視光通信信号を受信可能な電子機器であればよい。
 [1-2.表示装置の構成]
 図365は、実施の形態24にかかる表示装置のブロック図である。図365において、表示装置1500は、映像信号入力部1501と、映像信号処理部1502と、表示制御部1503と、表示パネル1504と、可視光通信信号入力部1505と、可視光通信信号処理部1506と、バックライト制御部1507と、バックライト1508と、を有する。
 映像信号入力部1501は、アンテナケーブル、コンポジットケーブル、HDMI(登録商標)(High-Definition Multimedia Interface:)ケーブル、PJLinkケーブル、LAN(Local Area Network)ケーブルなどを通じて、表示パネル1504に表示される映像に関する映像信号が入力される。映像信号入力部1501は、入力された映像信号を、映像信号処理部1502に出力する。
 なお、映像信号は、記録媒体に保存した映像信号を用いてもよい。
 映像信号処理部1502は、入力された映像信号に対して復号処理などの一般的な画像処理を施す。映像信号処理部1502は、画像処理を施した映像信号を表示制御部1503およびバックライト制御部1507に送信する。映像信号には、映像の明るさ等に関する情報が含まれている。
 表示制御部1503は、入力された映像信号に基づいて、表示パネル1504の表示面1510に映像を表示するように表示パネル1504を制御する。より具体的には、表示制御部1503は、映像信号処理部1502から入力された映像信号に基づいて表示パネル1504の液晶の開口制御等を行う。
 表示パネル1504は、例えば液晶パネルであり、映像を表示する表示面1510を有する。
 可視光通信信号入力部1505は、可視光通信信号専用ケーブルやLANケーブルなどを通じて、可視光通信信号が入力される。
 なお、可視光通信信号は、記録媒体に保存した可視光通信信号を用いてもよい。さらに、可視光通信信号は、映像信号と重畳していてもよい。
 可視光通信信号入力部1505は、入力された可視光通信信号を、可視光通信信号処理部1506に出力する。
 可視光通信信号処理部1506は、入力された可視光通信信号を所定の符号化方法で符号化し、さらに可視光通信信号の送信順序を決定する処理などを行う。可視光通信信号処理部1506は、符号化された可視光通信信号をバックライト制御用信号に変換する。可視光通信信号処理部1506は、生成したバックライト制御用信号を、バックライト制御部1507に出力する。
 バックライト制御部1507は、バックライト1508の発光面を複数の領域に分割し、複数の領域それぞれにおいて発光の制御を行い、発光面の複数の領域それぞれにおいて異なるタイミングで消灯の期間を設ける制御を行う。
 バックライト制御部1507は、入力された映像信号に含まれる映像の明るさ等に関する情報に基づいてバックライト1508の輝度やタイミングを制御する。また、バックライト制御部1507は、入力されたバックライト制御用信号に基づいて、バックライト1508の発光を制御する。
 バックライト1508は、表示パネル1504の背面に設置され、表示パネル1504の表示面1510を背面から照明する発光面を有している。バックライト1508は、表示パネル1504の背面から光を照射する。視聴者は、表示パネル1504に表示される映像を視認できる。
 本実施の形態において、表示面1510全体を可視光通信領域とする。
 図366は、可視光通信信号の生成例を説明する図である。図366に示すように、可視光通信信号入力部1505に入力される可視光通信信号は、複数の所定長の信号ユニットで構成されている。可視光通信信号処理部1506は、信号ユニットを所定数のデータに分割する。図366において、1つの信号ユニットは、データ長の同じ4つのデータで構成されている。すなわち、1つの信号ユニットは、データ1、データ2、データ3、データ4に分割される。1つの信号ユニットの分割は、表示装置1500から出力する可視光通信信号の搬送周波数、可視光通信信号の信号ユニットのデータ長に基づいて、更には、バックライト1508の発光しない期間等に基づいて決定すればよい。
 なお、図366において、1つの信号ユニットを分割するデータのデータ長は同じであるとして説明したが、1つの信号ユニットを分割するデータのデータ長は互いに異なっていても良いし、1つの信号ユニットを分割するデータのうち、一つのデータのデータ長が残りのデータのデータ長と異なっていても良い。
 次に、可視光通信信号処理部1506は、分割されたデータを符号化し、各データに対してヘッダー部を付加し、送信順序を決定し、ブロックを生成する。具体的には、データ1、データ2、データ3、データ4から、ブロック1、ブロック2、ブロック3、ブロック4を生成する。可視光通信信号処理部1506は、バックライト制御用信号として、生成したブロックをブロック1、ブロック2、ブロック3、ブロック4の順でバックライト制御部1507へ送信する。
 ブロックのヘッダー部は、「プリアンブル」、「アドレス」、「パリティ」で構成される。プリアンブルは、ブロックの始まりを示すパターンであり、データが可視光通信信号であることを示す識別子を含む。例えば、4値パルス位置変調(4PPM:4 Pulse Position Modulation)あるいはi-4PPM(Inverted 4PPM)などの符号化規則から外れた信号を用いる。パリティは、データの誤りを検出するために使用される。アドレスは、信号ユニットにおけるブロックの送信順序を示す。
 1つの信号ユニットから生成された4つのブロックを、送信フレームと呼ぶ。
 [1-3.受信装置の構成]
 図367は、実施の形態24にかかる受信装置のブロック図である。図367において、受信装置1520は、撮像部1521と、撮像画像生成部1522と、撮像画像処理部1523と、を有する。
 撮像部1521は、表示装置1500の可視光通信領域に表示されている映像を撮像する。撮像部1521は、例えば、順次露光型のイメージセンサーである。イメージセンサーは撮像を開始すると、順次露光を行い、露光データを撮像画像生成部1522へ送る。
 撮像画像生成部1522は、撮像部1521から送られた露光データを内蔵するメモリに一時記憶する。メモリに格納されている露光データに基づいて、撮像画像を生成する。
 撮像画像処理部1523は、撮像画像生成部1522で生成した撮像画像から、可視光通信信号を復元する。
 [1-4.可視光通信信号の出力と受信]
 次に、表示装置1500の可視光通信領域から出力された送信フレームを、受信装置1520にて受信する基本的な動作を説明する。
 [1-4-1.バックライトの点灯/消灯に対する撮像画像]
 図368は、表示装置1500のバックライト1508の点灯/消灯に対する受信装置1520の撮像画像を説明する図である。
 撮像部1521は、順次露光型のイメージセンサーであり、1ライン毎に時間的にスキャンしながら露光する。本実施の形態では説明を簡略化するために、イメージセンサーの露光素子が8ラインであるとして説明する。露光ラインは受信装置1520の縦長の帯状に構成されているものとする。
 図368に示すように、時間経過とともに、表示装置1500のバックライト1508の点灯と消灯が行われる。イメージセンサーは、1ライン目から8ライン目まで順次露光していき、8ライン目まで順次露光が行われると、受信装置1520の撮像画像生成部1522は8ラインの露光データに基づいて撮像画像を生成する。ここで、イメージセンサーの順次露光の期間を撮像期間とし、この撮像期間中にイメージセンサーにより順次露光された露光データに基づいて生成された撮像画像を受信フレームLとする。イメージセンサーの露光は、8ライン目まで行われると、1ライン目に戻り、1ライン目から次の露光が開始される。次に生成された撮像画像を受信フレームL+1とする。8ライン目まので露光の終了から、次の1ライン目の露光が開始するまでの間に、露光データをメモリに格納する時間等のブランキング期間が存在し、この時間は、露光していない。
 受信フレームLは、受信装置1520のイメージセンサーの露光の1ライン目、2ライン目、5ライン目、6ライン目と8ライン目は、表示装置1500のバックライト1508の点灯時で、各ラインは明るい。受信装置1520のイメージセンサーの露光の3ライン目と4ライン目は、表示装置1500のバックライト1508の消灯時であり、各ラインは暗い。受信フレームLに基づいて可視光通信信号が復元される。
 受信フレームL+1は、受信装置1520のイメージセンサーの露光の1ライン目、2ライン目、3ライン目、7ライン目と8ライン目は、表示装置1500のバックライト1508の点灯時で、各ラインは明るい。受信装置1520のイメージセンサーの露光の4ライン目、5ライン目と6ライン目は、表示装置1500のバックライト1508の消灯時であり、各ラインは暗い。受信フレームL+1に基づいて可視光通信信号が復元される。
 [1-4-2.送信フレームに対する撮像画像]
 図369は、表示装置1500の送信フレームに対する受信装置1520の撮像画像を説明する概略図である。
 図366で説明したように、可視光通信信号は複数の信号ユニットで構成され、1つの信号ユニットは4つのデータに分割され、符号化し、4つのブロックに分割される。
 表示装置1500の表示面1510である可視光通信領域において、映像信号の内容によってバックライト1508の点灯/消灯を判別できない期間が発生する場合がある。この期間中に表示装置1500から出力される送信フレームを受信装置1520は受信できない可能性がある。
 そこで、表示装置1500のバックライト1508から出力される送信フレームは、1つの信号ユニットから生成される送信フレームを複数回繰り返して出力するカルーセル方式を用いる。図369において、表示装置1500は、可視光通信信号を1つの信号ユニットとして、送信フレームを2回連続して出力している。
 図369に示すように、時間経過とともに、表示装置1500のバックライト1508の点灯/消灯により送信フレームが出力される。受信装置1520のイメージセンサーの露光は、1ライン目から8ライン目まで順次露光していく。イメージセンサーの露光が8ライン目まで行われると、受信装置1520の撮像画像生成部1522は、8ラインの露光データに基づいて撮像画像を生成する。撮像画像である受信フレームLは、受信装置1520のイメージセンサーの露光の1ライン目と2ライン目でブロック1を受信し、3ライン目と4ライン目でブロック2を受信し、5ライン目と6ライン目でブロック3を受信し、7ライン目と8ライン目でブロック4を受信する。受信フレームLは、表示装置1500から出力される1つの信号ユニットの1回目の送信フレームに対応する。
 また、図369において、撮像画像である受信フレームL+1は、受信装置1520のイメージセンサーの露光の1ライン目と2ライン目でブロック1を受信し、3ライン目と4ライン目でブロック2を受信し、5ライン目と6ライン目でブロック3を受信し、7ライン目と8ライン目でブロック4を受信する。受信フレームL+1は、表示装置1500から出力される1つの信号ユニットの2回目の送信フレームに対応する。
 このように、1つの信号ユニットから生成される送信フレームをカルーセル方式で連続して出力することで、1回目の送信フレームの送信に対し受信障害が発生しても、2回目の送信フレームで、1回目の送信フレームで受信できなかったブロックを受信できる。2回分の送信フレームに対し、全てのブロック、すなわち4つのブロックを受信することで、1つの信号ユニットが復元できる。
 また、送信フレームをカルーセル方式で連続して出力する場合、表示装置1500は、次の信号ユニットの送信フレームを出力する前に、現在の信号ユニットから次の信号ユニットに切り替わったことを示すリセット信号を出力しても良い。
 このリセット信号は、送信フレームのブロックのプリアンブルやデータに含めても良い。
 [1-5.可視光通信信号の出力と受信における課題]
 次に、可視光通信信号の出力と受信における課題について説明する。図370は、表示装置1500の送信クロックの周波数と受信装置1520の撮像部1521のフレームレートの関係を説明する図である。
 本実施の形態における表示装置1500の表示パネル1504である液晶パネルの駆動周波数は120Hzである。
 なお、液晶パネルの種類によっては、駆動周波数が60Hzで動作するものや、駆動周波数が240Hzで動作するものもある。
 また、本実施の形態における受信装置1520の撮像部1521のイメージセンサーのフレームレートは30fps(frame per second)で動作する。
 このとき、液晶パネルの駆動周波数とイメージセンサーのフレームレートの関係は、互いに整数倍または整数分の一の関係になる。さらに、表示装置1500のバックライト制御部1507における輝度制御や動画解像度などの制御のために、表示装置1500のバックライト1508の点灯と消灯のタイミングが液晶パネルの駆動周波数と同期する場合がある。すなわち、図370に示すように、液晶パネルの駆動周波数に同期して、表示装置1500の送信フレームが出力されることになる。図370は、このような状況で表示装置1500から出力される1つの信号ユニットから生成される送信フレームをカルーセル方式で3回出力する場合を示している。
 表示装置1500から出力される1回目の送信フレームに対し、1フレームレートの撮像期間にイメージセンサーの露光を行う。受信装置1520は、露光データに基づいて撮像画像である受信フレームLを生成する。受信装置1520は、受信フレームLから可視光通信信号を復元する。受信フレームLにデータが全て含まれるブロック2、ブロック3のみが可視光通信信号として復元できる。
 表示装置1500から出力される2回目の送信フレームに対し、1フレームレートの撮像期間にイメージセンサーの露光を行う。受信装置1520は、露光データに基づいて撮像画像である受信フレームL+1を生成する。受信装置1520は、受信フレームL+1から可視光通信信号を復元する。受信フレームL+1にデータが全て含まれるブロック2、ブロック3のみが可視光通信信号として復元できる。
 表示装置1500から出力される3回目の送信フレームに対し、1フレームレートの撮像期間にイメージセンサーの露光を行う。受信装置1520は、露光データに基づいて撮像画像である受信フレームL+2を生成する。受信装置1520は、受信フレームL+2から可視光通信信号を復元する。受信フレームL+2にデータが全て含まれるブロック2、ブロック3のみが可視光通信信号として復元できる。
 このように、液晶パネルの駆動周波数とイメージセンサーのフレームレートの関係が、互いに整数倍または整数分の一の関係であり、表示装置1500から出力される1つの信号ユニットに対する送信フレームを液晶パネルの駆動周波数に同期して出力する場合、カルーセル方式で同じ送信フレームを3回出力したとしても、ブロック1、ブロック2、ブロック3、ブロック4のうち、可視光通信信号として復元できるのは、ブロック2、ブロック3のみである。ブロック1とブロック4は可視光通信信号として復元できない。
 [1-6.送信フレームの生成方法]
 上記課題を解決するために、表示装置1500から出力される1つの信号ユニットに含まれる4つのブロックを受信装置1520で全て可視光通信信号として復元するために、1つの信号ユニットに対してカルーセル方式で複数回出力する送信フレームを毎回同じ送信フレームを用いるのではなく、毎回異なる送信フレームを生成して出力する。すなわち、1つの信号ユニットに対してカルーセル方式で複数回出力する送信フレームを、1つの信号ユニットに対する送信フレームのブロックの送信順序が毎回同じにならないように送信フレームを生成する。
 図371は実施の形態24にかかる1つの信号ユニットに対する送信フレームの第1の生成例を説明する図である。図371は、図370の場合と同様、表示装置1500から出力される1つの信号ユニットをカルーセル方式で3回出力する場合を示している。図370と異なる点は、表示装置1500から出力される3回の送信フレームのブロックの送信順序が同じではなく、毎回異なっている点である。
 表示装置1500から出力される1回目の送信フレームのブロックの順序は、ブロック1、ブロック2、ブロック3、ブロック4である。表示装置1500から出力される1回目の送信フレームに対し、受信装置1520は1フレームレートの撮像期間にイメージセンサーの露光を行う。受信装置1520は、露光データに基づいて撮像画像である受信フレームLを生成する。受信装置1520は、受信フレームLから可視光通信信号を復元する。受信フレームLにデータが全て含まれるブロック2、ブロック3のみが可視光通信信号として復元できる。
 表示装置1500から出力される2回目の送信フレームのブロックの順は、ブロック2、ブロック3、ブロック4、ブロック1である。表示装置1500から出力される2回目の信号ユニットに対し、1フレームレートの撮像期間にイメージセンサーの露光を行う。受信装置1520は、露光データに基づいて撮像画像である受信フレームL+1を生成する。受信装置1520は、受信フレームL+1から可視光通信信号を復元する。受信フレームL+1にデータが全て含まれるブロック3、ブロック4のみが可視光通信信号として復元できる。
 表示装置1500から出力される3回目の送信フレームのブロックの順は、ブロック3、ブロック4、ブロック1、ブロック2である。表示装置1500から出力される3回目の送信フレームに対し、1フレームレートの撮像期間にイメージセンサーの露光を行う。受信装置1520は、露光データに基づいて撮像画像である受信フレームL+2を生成する。受信装置1520は、受信フレームL+2から可視光通信信号を復元する。受信フレームL+2にデータが全て含まれるブロック4、ブロック1のみが可視光通信信号として復元できる。
 液晶パネルの駆動周波数とイメージセンサーのフレームレートの関係が、互いに整数倍または整数分の一の関係であり、表示装置1500から送信フレームが液晶パネルの駆動周波数に同期して出力される場合、1つの信号ユニットに対する送信フレームを、ブロックの送信順序を毎回変更してカルーセル方式で3回出力すると、1つの信号ユニットのブロック1、ブロック2、ブロック3、ブロック4の全てを、可視光通信信号として復元できる。
 図371の生成例では、表示装置1500から出力される送信フレームの2番目と3番目のブロックが可視光通信信号として復元できるブロックであるので、3回の出力で全てのブロックが2番目と3番目に出力するように信号ユニットのブロックの送信順序を変更している。
 なお、図371の生成例では、1つの信号ユニットに対してカルーセル方式で複数回出力する送信フレームを、1つの信号ユニットに対する送信フレームのブロックの送信順序が毎回同じにならないように変更したが、これに限らない。1つの信号ユニットに対してカルーセル方式で複数回出力する送信フレームを、1つの信号ユニットに対する隣り合う2つの送信フレームのブロックの送信順序が異なるようにブロックの送信順序を変更するとしてもよい。
 さらに、表示装置1500から出力される送信フレームの生成例はこれに限らない。
 図372Aは、実施の形態24にかかる1つの信号ユニットに対する送信フレームの第2の生成例を説明する図である。
 図372Aは、送信フレームのブロックの送信順序を昇順、すなわち、ブロック1、ブロック2、ブロック3、ブロック4の順、と降順、すなわち、ブロック4、ブロック3、ブロック2、ブロック1の順、を繰り返す。
 受信装置1520の生成する受信フレームが送信フレームの前半部分または後半部分で構成される場合、第2の生成例のような送信フレームをカルーセル方式で複数回出力することで、1つの信号ユニットのブロック1、ブロック2、ブロック3、ブロック4の全てを、可視光通信信号として復元できる。
 図372Bは、実施の形態24にかかる1つの信号ユニットに対する送信フレームの第3の生成例を説明する図である。図372Bは、信号ユニットの4つのブロックのうち、1つのブロックを省きかつ送信フレームごとに送信順序を変更する。表示装置1500から出力される1回目の送信フレームのブロックの順序は、ブロック4を省き、ブロック1、ブロック2、ブロック3、ブロック2である。表示装置1500から出力される2回目の送信フレームのブロックの順序は、ブロック2を省き、ブロック3、ブロック4、ブロック1、ブロック3である。表示装置1500から出力される3回目の送信フレームのブロックの順序は、ブロック3を省き、ブロック4、ブロック1、ブロック2、ブロック4である。このような送信順序に変更し、すべてのブロックを同じ回数送信することができる。
 図372Cは、実施の形態24にかかる1つの信号ユニットに対する送信フレームの第4の生成例を説明する図である。図372Cは、信号ユニットのブロックをブロック1、ブロック2、ブロック3、ブロック4の順に並べ、その中に1つのブロックを追加する。表示装置1500から出力される1回目の送信フレームのブロックの順序は、ブロック1を追加し、ブロック1、ブロック1、ブロック2、ブロック3である。表示装置1500から出力される2回目の送信フレームのブロックの順序は、1回目に含まれなかったブロック4から始め、ブロック2を追加し、ブロック4、ブロック1、ブロック2、ブロック2の順である。表示装置1500から出力される3回目の送信フレームのブロックの順序は、2回目に含まれなかったブロック3から始め、ブロック3、ブロック4、ブロック1、ブロック2の順である。
 このように、第4の生成例のような送信フレームをカルーセル方式で複数回出力するうちに、1つの信号ユニットのブロック1、ブロック2、ブロック3、ブロック4の全てを、可視光通信信号として復元できる。
 図372Dは、実施の形態24にかかる1つの信号ユニットに対する送信フレームの第5の生成例を説明する図である。図372Dは、信号ユニットのブロックの順序をランダム変更する。表示装置1500から出力される1回目の送信フレームのブロックの順は、ブロック1、ブロック3、ブロック2、ブロック4である。表示装置1500から出力される2回目の送信フレームのブロックの順は、ブロック3、ブロック1、ブロック2、ブロック4である。表示装置1500から出力される3回目の送信フレームのブロックの順は、ブロック2、ブロック3、ブロック1、ブロック4である。1つの信号ユニットに対する送信フレームのブロックの順序をランダムに変更してカルーセル方式で複数回出力するうちに、1つの信号ユニットのブロック1、ブロック2、ブロック3、ブロック4の全てを、可視光通信信号として復元できる。
 図372Eは、実施の形態24にかかる1つの信号ユニットに対する送信フレームの第6の生成例を説明する図である。図372Eは、1つの送信フレームにおいて、同一ブロックを2回連続する。表示装置1500から出力される1回目の送信フレームのブロックの順は、ブロック1、ブロック1、ブロック2、ブロック2である。表示装置1500から出力される2回目の送信フレームのブロックの順は、ブロック3、ブロック3、ブロック4、ブロック4である。表示装置1500から出力される3回目の送信フレームのブロックの順は、ブロック1、ブロック1、ブロック2、ブロック2である。
 [1-7.可視光通信信号処理部の動作]
 次に、表示装置1500の可視光通信信号処理部1506の動作を説明する。図373は、表示装置1500の可視光通信信号処理部1506の動作を説明するフローチャートである。
 (ステップS1501)可視光通信信号処理部1506は、可視光通信信号入力部1505から可視光通信信号の入力の有無を判定する。可視光通信信号の入力が「有り」と判断された場合(Yesの場合)、ステップS1502へ処理を進める。可視光通信信号の入力が「無し」と判断された場合(Noの場合)、ステップS1501の処理を繰り返す。
 (ステップS1502)入力された可視光通信信号は複数の信号ユニットで構成されている。可視光通信信号処理部1506は、1つの信号ユニットを読み込む。
 (ステップS1503)可視光通信信号処理部1506は、読み込んだ1つの信号ユニットに対し、所定数のデータに分割し、各データを符号化し、各データに対しヘッダー部を付加し、ブロックを生成する。
 (ステップS1504)可視光通信信号処理部1506は、生成したブロックに基づいて、カルーセル方式で送信する複数の送信フレームのそれぞれの送信フレームに含めるブロックの送信順序を決定する。
 (ステップS1505)可視光通信信号処理部1506は、複数の送信フレームを生成し、バックライト制御部1507に出力する。
 (ステップS1506)可視光通信信号処理部1506は、残りの信号ユニットの有無を判定する。残りの信号ユニットが「有り」と判定された場合(Yesの場合)は、ステップS1501に戻る。残りの信号ユニットが「無し」と判定された場合(Noの場合)は、処理を終了する。
 [1-8.効果等]
 以上のように、本実施の形態における表示装置は、複数の信号ユニットで構成される可視光通信信号をカルーセル方式で出力可能な表示装置であって、映像信号を表示する表示パネルと、信号ユニットを符号化し、複数のブロックに分割し、複数のブロックを用いて送信フレームを複数生成してバックライト制御信号とする可視光通信処理部と、バックライト制御信号に基づいて、表示パネルを背面から発光するバックライトと、を備える。可視光通信処理部で生成された1つの信号ユニットに対する複数の送信フレームは、少なくとも2つの送信フレームの複数のブロックの順序が異なる。
 これにより、表示装置1500は、1つの信号ユニットに対しブロックの送信順序の異なる複数の送信フレームを出力することで、受信装置1520は可視光通信信号を復元できる。
 また、本実施の形態における表示装置は、可視光通信処理部で生成された1つの信号ユニットに対する複数の送信フレームは、少なくとも隣接する2つの送信フレームに同一のブロックを含む。
 これにより、表示装置1500は、1つの信号ユニットに対し少なくとも隣接する2つの送信フレームに同一のブロックを含めることで、受信装置1520は可視光通信信号を復元できる。
 また、本実施の形態における表示装置は、可視光通信処理部で生成された1つの信号ユニットに対する複数の送信フレームは、少なくとも1つの送信フレームに、同一のブロックを複数個含み、複数の送信フレームで複数のブロックを全て含む。
 これにより、表示装置1500は、1つの送信フレームに同一のブロックを複数項含め、複数の送信フレームでブロックを全て含めることで、受信装置1520は可視光通信信号を復元できる。
 また、本実施の形態における表示装置は、可視光通信信号処理部は、隣接する2つの信号ユニットの間にリセット信号を挿入する。
 これにより、表示装置1500は、現在の信号ユニットから次の信号ユニットに切り替わったことを示すことができる。
 本実施の形態の表示装置1500は、液晶パネルの駆動周波数とイメージセンサーのフレームレートの関係が、互いに整数倍または整数分の一の関係であり、表示装置1500から送信フレームが液晶パネルの駆動周波数に同期して出力される場合に、特に有効である。
 なお、本実施の形態において、表示装置1500からカルーセル方式で出力する送信フレームの送信回数を3回として説明したが、これに限らない。カルーセル方式で出力する送信フレームの送信回数は、複数回であれば、何回でもよい。
 (実施の形態25)
 以下、実施の形態25について、図374~図376を用いて説明する。
 [2-1.可視光通信システムの構成]
 本実施の形態における可視光通信システムは、実施の形態24で説明した可視光通信システム1500Sと同じ構成である。本実施の形態における可視光通信システムにおいて異なる点を中心に説明する。
 [2-2.映像の明暗と可視光通信信号の出力の関係]
 本実施の形態における表示装置1500の表示パネル1504は、液晶パネルである。液晶パネルは、映像を表示する際に、表示面1510の液晶のシャッターを開閉する、或いは階調性の制御とバックライト1508の制御を行うことで、映像として視認する。
 そのため、バックライト1508が非常に明るい設定であっても、映像信号が暗い場合、可視光通信領域に暗い領域ができる。映像信号の暗い領域は、表示パネル1504の液晶のシャッターによってバックライト1508の光が遮蔽される。暗い領域に可視光通信信号を出力する場合は、受信装置1520の撮像部1521で撮像された撮像画像から可視光通信信号を復元できないことがある。
 そこで、本実施の形態では、表示装置1500の表示面1510全体である可視光通信領域に対して、所定以上の明るさを有する領域である高輝度領域の割合が小さい場合は、1つの信号ユニットに含まれるブロックの送信回数を複数回出力することで、可視光通信信号を復元できるようにする。逆に、可視光通信領域に対して、高輝度領域の割合が大きい場合は、高輝度領域の割合が小さい場合に比べて1つの信号ユニットに含まれるブロックの送信回数を減らす、または1つの信号ユニットに含まれるブロックの送信回数は1回にする。
 [2-3.可視光通信信号処理部の動作]
 実施の形態25の実施の形態24と異なる点は主に可視光通信信号処理部1506の動作である。次に、可視光通信信号処理部1506の動作を説明する。図374は、実施の形態25にかかる表示装置1500の可視光通信信号処理部1506の動作を説明するフローチャートである。
 ステップS1501~ステップS1503までの動作は、実施の形態24の動作と同じである。
 (ステップS1511)可視光通信信号処理部1506は、可視光通信領域の高輝度領域を、映像信号処理部1502より入力された映像信号から検出する。可視光通信信号処理部は、可視光通信領域における高輝度領域の割合に基づいて送信ユニットの各ブロックの送信回数を決定する。送信回数の決定方法は、後述する。
 (ステップS1512)可視光通信信号処理部1506は、信号ユニットの各ブロックの送信回数に基づいて、ブロックの送信順序を決定する。ブロックの送信順序の決定方法は後述する。
 ステップS1505、ステップS1506の動作は、実施の形態24の動作と同じである。
 [2-4.ブロックの送信回数の決定方法]
 次に、ブロックの送信回数の決定方法について説明する。図375は、1つの信号ユニットに対する送信フレームの任意のブロックの送信回数を決定する方法の一例を説明する図である。
 図375において、横軸は、可視光通信領域の高輝度領域の割合であり、縦軸は、信号ユニットにおける任意のブロックの送信回数を示している。
 図375は、可視光通信領域のうち、高輝度領域が約80%以上であれば、信号ユニットにおける任意のブロックの送信回数は1回で、受信装置1520で可視光通信信号を復元できると想定し、可視光通信領域のうち、高輝度領域の割合が小さくなるに従って、信号ユニットにおける任意のブロックの送信回数を増やすことで、受信装置1520で可視光通信信号を復元できると想定する。具体的には、可視光通信領域のうち、高輝度領域が90%(A点)であれば、信号ユニットにおける任意のブロックの送信回数は1回、可視光通信領域のうち、高輝度領域が50%(B点)であれば、信号ユニットにおける任意のブロックの送信回数は3回、可視光通信領域のうち、高輝度領域が10%(C点)であれば、信号ユニットにおける任意のブロックの送信回数は6回とする。図375において、信号ユニットにおける任意のブロックの送信回数は、可視光通信領域のうち、高輝度領域の割合が80%から約15%の割合で、信号ユニットにおける任意のブロックの送信回数を1回ずつ増やしている。
 なお、送信回数の割合は、これに限らず適宜変更してもよい。
 [2-5.ブロックの送信順序の決定方法]
 次に、1つの信号ユニットに対するブロックの送信順序の決定方法について説明する。図376は、実施の形態25にかかる1つの信号ユニットに対する送信フレームの生成例を説明する図である。本実施の形態における表示装置1500の表示パネル1504である液晶パネルの駆動周波数は120Hzであり、受信装置1520の撮像部1521のイメージセンサーのフレームレートは30fpsで動作する。さらに、液晶パネルの駆動周波数に同期して、表示装置1500の送信フレームが出力される。図376において、表示装置1500から出力される可視光通信信号の1つの信号ユニットをカルーセル方式で3回出力する場合を示している。1つの信号ユニットは、データ長の同じ6つのデータで構成され、符号化され6つのブロックが生成されるものとする。
 図376において、1つの信号ユニットに対する3回の送信フレームに含むブロックの送信回数を可視光通信領域の高輝度領域の割合に応じて、決定している。
 表示装置1500から出力される1回目の送信フレームは、高輝度領域の割合が80%であることから、信号ユニットの任意のブロックの送信回数は1回である。従って、表示装置1500から出力される1回目の送信フレームのブロックの順序は、ブロック1、ブロック2、ブロック3、ブロック4、ブロック5、ブロック6である。表示装置1500から出力される1回目の送信フレームに対し、受信装置1520は1フレームレートの撮像期間にイメージセンサーの露光を行う。受信装置1520は、露光データに基づいて撮像画像である受信フレームLを生成する。受信装置1520は、受信フレームLから可視光通信信号を復元する。受信フレームLにデータが全て含まれるブロック2、ブロック3、ブロック4、ブロック5が可視光通信信号として復元できる。
 次に、表示装置1500から出力される2回目の送信フレームは、高輝度領域の割合が50%であることから、信号ユニットの任意のブロックの送信回数は、3回である。従って、表示装置1500から出力される2回目の送信フレームのブロックの順序は、ブロック1、ブロック2を順に3回繰り返している。表示装置1500から出力される2回目の送信フレームに対し、受信装置1520は1フレームレートの撮像期間にイメージセンサーの露光を行う。受信装置1520は、露光データに基づいて撮像画像である受信フレームL+1を生成する。受信フレームL+1のうち、高輝度領域でない領域のブロックは、復元できない。受信装置1520は、受信フレームL+1から可視光通信信号を復元する。受信フレームL+1にデータが全て含まれるブロック1、ブロック2が可視光通信信号として復元できる。
 次に、表示装置1500から出力される3回目の送信フレームは、高輝度領域の割合が10%であることから、信号ユニットの任意のブロックの送信回数は6回である。表示装置1500から出力される3回目の送信フレームのブロックの順序は、ブロック6を連続して6回繰り返す。表示装置1500から出力される3回目の送信フレームに対し、受信装置1520は1フレームレートの撮像期間にイメージセンサーの露光を行う。受信装置1520は、露光データに基づいて撮像画像である受信フレームL+2を生成する。受信フレームL+2のうち、高輝度領域でない領域のブロックは、復元できない。受信装置1520は、受信フレームL+2から可視光通信信号を復元する。受信フレームL+2にデータが全て含まれるブロック6が可視光通信信号として復元できる。
 1つの信号ユニットに対する送信フレームを、高輝度領域の割合に基づいてブロックの送信順序を決定してカルーセル方式で3回出力すると、1つの信号ユニットのブロック1、ブロック2、ブロック3、ブロック4、ブロック5、ブロック6の全てを、可視光通信信号として復元できる。
 [2-6.効果等]
 以上のように、本実施の形態の表示装置は、可視光通信処理部は、表示パネルの所定以上の輝度を有する領域を検出し、領域の大きさに応じて、送信フレームに含める同一のブロックの個数を決定し、信号ユニットに対する複数の送信フレームを生成する。
 これにより、表示装置1500は、1つの信号ユニットに対し高輝度領域の割合に応じてブロックの送信回数を変更して複数の送信フレームを出力することで、受信装置1520は可視光通信信号を復元できる。
 なお、本実施の形態では表示装置1500から出力する1つの信号ユニットに対して、カルーセル方式で3回の送信フレームを出力したが、これに限らない。例えば、カルーセル方式で3回以上の送信フレームを出力し、その組み合わせとして2回目の送信フレームのブロックの順序として、ブロック1、ブロック2を3回繰り返す組み合わせを変更した送信フレームを用いてもよい。
 本実施の形態の表示装置1500は、液晶パネルの駆動周波数とイメージセンサーのフレームレートの関係が、互いに整数倍または整数分の一の関係であり、表示装置1500から送信フレームが液晶パネルの駆動周波数に同期して出力される場合に、特に有効である。
 (実施の形態26)
 以下、実施の形態26について、図377~図380を用いて説明する。
 [3-1.可視光通信システムの構成]
 本実施の形態における可視光通信システムは、実施の形態24で説明した可視光通信システム1500Sと同じ構成である。本実施の形態における可視光通信システムにおいて異なる点を中心に説明する。
 [3-2.表示装置からの距離との可視光通信信号の送信の関係]
 表示装置1500と受信装置1520の距離が相対的に近い場合と遠い場合を比較する。表示装置1500と受信装置1520の距離が相対的に近い場合は、表示装置1500と受信装置1520の距離が相対的に遠い場合に比べて、受信装置1520で撮像した撮像画像に含まれるブロックが多くなる。
 これは、表示装置1500と受信装置1520の距離が相対的に近い場合、受信装置1520の撮像部1521で生成できる撮像画像は相対的に大きくなり、表示装置1500と受信装置1520の距離が相対的に遠い場合、受信装置1520の撮像部1521で生成できる撮像画像は相対的に小さくなるためである。
 そこで、本実施の形態における表示装置1500は、受信装置1520との距離に応じて、1つの信号ユニットの送信フレームの任意のブロックの送信回数を変更する。
 [3-3.可視光通信信号処理部の動作]
 実施の形態26の実施の形態24と異なる点は主に可視光通信信号処理部1506の動作である。可視光通信信号処理部1506の動作を説明する。図377は、実施の形態26にかかる表示装置1500の可視光通信信号処理部1506の動作を説明するフローチャートである。
 ステップS1501~ステップS1503までの動作は、実施の形態24の動作と同じである。
 (ステップ1401)可視光通信信号処理部1506は、受信装置1520との距離に応じて、送信ユニットの各ブロックの送信回数を決定する。送信回数の決定方法は、後述する。
 (ステップ1402)可視光通信信号処理部1506は、信号ユニットの各ブロック送信回数に基づいて、ブロックの送信順序を決定する。送信順序の決定方法は、後述する。
 ステップS1505、ステップS1506の動作は、実施の形態24の動作と同じである。
 [3-4.ブロックの送信回数の決定方法]
 次に、ブロックの送信回数の決定方法について説明する。図378は、1つの信号ユニットに対する送信フレームの任意のブロックの送信回数を決定する方法の一例を説明する図である。
 図378において、横軸は、表示装置1500と受信装置1520の距離であり、縦軸は、信号ユニットにおける任意のブロックの送信回数を示している。距離が近い場合は、信号ユニットの各ブロックの送信回数を少なくする。図378において、距離が3m以下であれば信号ユニットの各ブロックの送信回数を1回にする。
 距離が遠い場合は、信号ユニットの各ブロック送信回数を多くする。図378において、距離が3m以上より2mの割合で1回ずつ信号ユニットの各ブロックの送信回数を増やしている。
 なお、この割合は適宜変更してもよい。
 [3-5.ブロックの送信順序の決定方法]
 次に、1つの信号ユニットに対するブロックの送信順序の決定方法について説明する。図379は、実施の形態26にかかる表示装置1500から出力される1つの信号ユニットに対する送信フレームの生成例を説明する図である。図379は、距離が3mの場合である。本実施の形態における表示装置1500の表示パネル1504である液晶パネルの駆動周波数が、120Hzであり、受信装置1520の撮像部1521のイメージセンサーのフレームレートは30fpsで動作する。さらに、液晶パネルの駆動周波数に同期して、表示装置1500の送信フレームが出力される。図379において、表示装置1500から出力される可視光通信信号の1つの信号ユニットをカルーセル方式で4回送信する場合を示している。1つの信号ユニットは、データ長の同じ4つのデータで構成され、符号化され4つのブロックが生成されるものとする。
 図378において、距離が3mの場合は、信号ユニットの1つの送信フレームの任意のブロックの送信回数は2回である。従って、図379に示すように、1つの送信フレームに任意のブロックを2回ずつ送信する。
 表示装置1500から出力される1回目の送信フレームのブロックの順序は、ブロック1、ブロック2がそれぞれ2回出力されるように、ブロック1、ブロック1、ブロック2、ブロック2である。表示装置1500から出力される1回目の送信フレームに対し、受信装置1520は1フレームレートの撮像期間にイメージセンサーの露光を行う。受信装置1520は、露光データに基づいて撮像画像である受信フレームLを生成する。受信装置1520は、受信フレームLから可視光通信信号を復元する。受信フレームLにデータが全て含まれるブロック1、ブロック2が可視光通信信号として復元できる。
 表示装置1500から出力される2回目の送信フレームのブロックの順序は、ブロック3、ブロック4がそれぞれ2回出力されるように、ブロック3、ブロック3、ブロック4、ブロック4である。表示装置1500から出力される2回目の送信フレームに対し、受信装置1520は1フレームレートの撮像期間にイメージセンサーの露光を行う。受信装置1520は、露光データに基づいて撮像画像である受信フレームL+1を生成する。受信装置1520は、受信フレームL+1から可視光通信信号を復元する。受信フレームL+1にデータが全て含まれるブロック3、ブロック4が可視光通信信号として復元できる。
 表示装置1500から出力される3回目の送信フレームのブロックの順序は、ブロック1、ブロック2がそれぞれ2回出力されるように、ブロック1、ブロック1、ブロック2、ブロック2である。表示装置1500から出力される3回目の送信フレームに対し、受信装置1520は1フレームレートの撮像期間にイメージセンサーの露光を行う。受信装置1520は、露光データに基づいて撮像画像である受信フレームL+2を生成する。受信装置1520は、受信フレームL+2から可視光通信信号を復元する。受信フレームL+2にデータが全て含まれるブロック1、ブロック2が可視光通信信号として復元できる。
 表示装置1500から出力される4回目の送信フレームのブロックの順序は、ブロック3、ブロック4がそれぞれ2回出力されるように、ブロック3、ブロック3、ブロック4、ブロック4である。表示装置1500から出力される4回目の送信フレームに対し、受信装置1520は1フレームレートの撮像期間にイメージセンサーの露光を行う。受信装置1520は、露光データに基づいて撮像画像である受信フレームL+3を生成する。受信装置1520は、受信フレームL+3から可視光通信信号を復元する。受信フレームL+3にデータが全て含まれるブロック3、ブロック4が可視光通信信号として復元できる。
 以上のように、各受信フレームは、送信フレームに含まれる任意のブロックが2回出力される内の1つのブロックを受信できる。すなわち、各受信フレームから異なる2個のブロックを受信できる。
 図380は、実施の形態26にかかる表示装置から出力される1つの信号ユニットに対する送信フレームの別の生成例を説明する図である。図380は、距離が8mの場合である。本実施の形態における表示装置1500の表示パネル1504である液晶パネルの駆動周波数が、120Hzであり、受信装置1520の撮像部1521のイメージセンサーのフレームレートは30fpsで動作する。さらに、液晶パネルの駆動周波数に同期して、表示装置1500の送信フレームが出力される。図380において、表示装置1500から出力される可視光通信信号の1つの信号ユニットをカルーセル方式で4回送信する場合を示している。1つの信号ユニットは、データ長の同じ4つのデータで構成され、符号化され4つのブロックが生成されるものとする。
 図378において、距離が8mの場合は、信号ユニットの1つの送信フレームの任意のブロックの送信回数は4回である。従って、図380に示すように、1つの送信フレームに任意のブロックを4回ずつ送信する。
 表示装置1500から出力される1回目の送信フレームのブロックの順序は、ブロック1を4回出力する。表示装置1500から出力される1回目の送信フレームに対し、受信装置1520は1フレームレートの撮像期間にイメージセンサーの露光を行う。受信装置1520は、露光データに基づいて撮像画像である受信フレームLを生成する。受信装置1520は、受信フレームLから可視光通信信号を復元する。受信フレームLにデータが全て含まれるブロック1が可視光通信信号として復元できる。
 表示装置1500から出力される2回目の送信フレームのブロックの順序は、ブロック2を4回出力する。表示装置1500から出力される2回目の送信フレームに対し、受信装置1520は1フレームレートの撮像期間にイメージセンサーの露光を行う。受信装置1520は、露光データに基づいて撮像画像である受信フレームL+1を生成する。受信装置1520は、受信フレームL+1から可視光通信信号を復元する。受信フレームL+1にデータが全て含まれるブロック2が可視光通信信号として復元できる。
 表示装置1500から出力される3回目の送信フレームのブロックの順序は、ブロック3を4回出力する。表示装置1500から出力される3回目の送信フレームに対し、受信装置1520は1フレームレートの撮像期間にイメージセンサーの露光を行う。受信装置1520は、露光データに基づいて撮像画像である受信フレームL+2を生成する。受信装置1520は、受信フレームL+2から可視光通信信号を復元する。受信フレームL+2にデータが全て含まれるブロック3が可視光通信信号として復元できる。
 表示装置1500から出力される4回目の送信フレームのブロックの順序は、ブロック4を4回出力する。表示装置1500から出力される4回目の送信フレームに対し、受信装置1520は1フレームレートの撮像期間にイメージセンサーの露光を行う。受信装置1520は、露光データに基づいて撮像画像である受信フレームL+3を生成する。受信装置1520は、受信フレームL+3から可視光通信信号を復元する。受信フレームL+3にデータが全て含まれるブロック2が可視光通信信号として復元できる。
 以上のように、各受信フレームは、送信フレームに含まれる任意のブロックが4回出力される内の1つのブロックを受信できる。すなわち、各受信フレームから1個のブロックを受信できる。
 [3-6.効果等]
 以上のように、本実施の形態において、可視光通信処理部は、表示装置と出力された可視光通信信号を受信可能な受信装置との距離に応じて、送信フレームに含める同一ブロックの個数を決定し、信号ユニットに対する複数の送信フレームを生成する。
 これにより、表示装置1500は、表示装置1500と受信装置1520の距離に応じて、ブロックの送信回数を変更して複数の送信フレームを出力することで、受信装置1520は可視光通信信号を復元できる。
 本実施の形態の表示装置1500は、液晶パネルの駆動周波数とイメージセンサーのフレームレートの関係が、互いに整数倍または整数分の一の関係であり、表示装置1500から送信フレームが液晶パネルの駆動周波数に同期して出力される場合に、特に有効である。
 なお、表示装置1500と受信装置1520の距離は、表示装置1500であらかじめ設定でき、さらに、用途や、表示装置1500の設置状況によって適宜変更することが望ましい。
 受信装置1520は、距離の指定を、Wi-Fi(Wireless Fidelity)、Bluetooth(登録商標)、LTE(Long Yerm Evolution)などの無線通信を通して表示装置1500に設定の要求をしてもよい。
 さらに、距離は、表示装置1500または受信装置1520のいずれか一方で、センサーやカメラを用いて推定してもよい。
 また、本実施の形態では、生成した送信フレームは一例であり、これに限定されない。
 また、本実施の形態においては、送信フレームに2つのブロックを複数回出力する場合、同じ回数にしたが、同じ回数にしなくてもよい。
 (実施の形態27)
 以下、実施の形態27について、図381~図383を用いて説明する。
 [4-1.可視光通信システムの構成]
 本実施の形態における可視光通信システムは、実施の形態24で説明した可視光通信システム1500Sと同じ構成である。本実施の形態における可視光通信システムにおいて異なる点を中心に説明する。
 [4-2.ブランクの挿入]
 図381は、実施の形態27にかかる1つの信号ユニットに対する送信フレームの生成例を説明する図である。本実施の形態における表示装置1500の表示パネル1504である液晶パネルの駆動周波数は120Hzであり、受信装置1520の撮像部1521のイメージセンサーのフレームレートは30fpsで動作する。さらに、液晶パネルの駆動周波数に同期して、表示装置1500の送信フレームが出力される。表示装置1500から出力される可視光通信信号の1つの信号ユニットをカルーセル方式で4回出力する。1つの信号ユニットは、データ長の同じ4つのデータで構成され、符号化され4つのブロックが生成される。
 本実施の形態において、同じブロックが同じ位置にならないように、送信フレームに、ブロックと同じサイズのブランクを挿入する。
 図381において、表示装置1500から出力される1回目の送信フレームは、ブロック1、ブロック2、ブロック3、ブロック4、ブランクの順である。表示装置1500から出力される1回目の送信フレームに対し、受信装置1520は1フレームレートの撮像期間にイメージセンサーの露光を行う。受信装置1520は、露光データに基づいて撮像画像である受信フレームLを生成する。受信装置1520は、受信フレームLから可視光通信信号を復元する。受信フレームLにデータが全て含まれるブロック2、ブロック3のみが可視光通信信号として復元できる。
 表示装置1500から出力される2回目の送信フレームは、ブロック1、ブロック2、ブロック3、ブロック4、ブランクの順である。表示装置1500から出力される2回目の信号ユニットに対し、1フレームレートの撮像期間にイメージセンサーの露光を行う。受信装置1520は、露光データに基づいて撮像画像である受信フレームL+1を生成する。受信装置1520は、受信フレームL+1から可視光通信信号を復元する。受信フレームL+1にデータが全て含まれるブロック1、ブロック2のみが可視光通信信号として復元できる。
 表示装置1500から出力される3回目の送信フレームは、ブロック1、ブロック2、ブロック3、ブロック4、ブランクの順である。表示装置1500から出力される3回目の送信フレームに対し、1フレームレートの撮像期間にイメージセンサーの露光を行う。受信装置1520は、露光データに基づいて撮像画像である受信フレームL+2を生成する。受信装置1520は、受信フレームL+2から可視光通信信号を復元する。受信フレームL+2にデータが全て含まれるブロック1のみが可視光通信信号として復元できる。
 表示装置1500から出力される4回目の送信フレームは、ブロック1、ブロック2、ブロック3、ブロック4、ブランクの順である。表示装置1500から出力される4回目の送信フレームに対し、1フレームレートの撮像期間にイメージセンサーの露光を行う。受信装置1520は、露光データに基づいて撮像画像である受信フレームL+3を生成する。受信装置1520は、受信フレームL+3から可視光通信信号を復元する。受信フレームL+3にデータが全て含まれるブロック4のみが可視光通信信号として復元できる。
 なお、挿入するブランクの信号パターンは、信号ユニットに含まれるデータと異なるパターンであれば、何でもよい。
 以上のように、液晶パネルの駆動周波数とイメージセンサーのフレームレートの関係が、互いに整数倍または整数分の一の関係であり、表示装置1500から送信フレームが液晶パネルの駆動周波数に同期して出力される場合、1つの信号ユニットに対する送信フレームにブランクを挿入することで表示装置1500のバックライト1508の点灯と消灯のタイミングが液晶パネルの駆動周波数と同期することを避け、4回とも同じ送信フレームを出力しても、1つの信号ユニットのブロック1、ブロック2、ブロック3、ブロック4の全てを、可視光通信信号として復元できる。
 また、挿入するブランクのサイズをブロックのサイズと同じにすることで、映像信号の輝度の揺れを防ぐことができる上、輝度調整期間としても有効である。
 なお、挿入するブランクのサイズをブロックのサイズと同じにする、として説明したが、これに限らない。表示装置1500のバックライト1508の点灯と消灯のタイミングが液晶パネルの駆動周波数と同期しないように、挿入するブランクのサイズを決定すればよい。
 なお、挿入するブランクのサイズは、常に同じサイズでなくてもよい。
 さらに、ブランクが挿入された送信フレームの生成例はこれに限らない。
 図382Aは、実施の形態27にかかる1つの信号ユニットに対する送信フレームの第2の生成例を説明する図である。
 図382Aは、送信フレームの一番後ろにブランクを挿入し、かつ送信フレームのブロックの送信順序を実施の形態24で説明したように、毎回異ならせている。すなわち、表示装置1500から出力される1回目の送信フレームのブロックの順序は、ブロック1、ブロック2、ブロック3、ブロック3、ブランクである。表示装置1500から出力される2回目の送信フレームは、ブロック4、ブロック3、ブロック2、ブロック1、ブランクの順である。表示装置1500から出力される3回目の送信フレームは、ブロック2、ブロック3、ブロック4、ブロック1、ブランクの順である。
 図382Bは、実施の形態27にかかる1つの信号ユニットに対する送信フレームの第3の生成例を説明する図である。
 図382Bは、送信フレームの各ブロックの後にブランクを挿入する。すなわち、表示装置1500から出力される送信フレームは、ブロック1、ブランク、ブロック2、ブランク、ブロック3、ブランク、ブロック4、ブランクの順である。挿入するブランクのサイズは、ブロック長×α(0<α≦1の小数)であり、表示装置1500のバックライト1508の点灯と消灯のタイミングが液晶パネルの駆動周波数と同期しないようにαを決定する。
 図382Cは、実施の形態27にかかる1つの信号ユニットに対する送信フレームの第4の生成例を説明する図である。
 図382Cは、送信フレームの任意のブロックの後にブランクを挿入する。すなわち、表示装置1500から出力される送信フレームは、ブロック1、ブランク、ブロック2、ブランク、ブロック3、ブロック4の順である。
 [4-3.可視光通信信号処理部の動作]
 実施の形態27の実施の形態24と異なる点は主に可視光通信信号処理部1506の動作である。次に、可視光通信信号処理部1506の動作を説明する。図383は、実施の形態27にかかる表示装置1500の可視光通信信号処理部1506の動作を説明するフローチャートである。
 ステップS1501~ステップS1502までの動作は、実施の形態24の動作と同じである。
 (ステップS1531)可視光通信信号処理部1506は、送信ユニットのブランクを挿入する位置を決定する。
 (ステップS1532)可視光通信信号処理部1506は、ブランクのサイズを決定する。
 ステップS1503~ステップS1506の動作は、実施の形態24の動作と同じである。
 [4-4.効果等]
 以上のように、本実施の形態の表示装置は、可視光通信処理部は、1つの信号ユニットに対する複数の送信フレームのうち少なくとも1つの送信フレームにブランクを挿入する。
 これにより、1つの信号ユニットに対する送信フレームにブランクを挿入することで表示装置1500のバックライト1508の点灯と消灯のタイミングが液晶パネルの駆動周波数と同期することを避け、受信装置1520は可視光通信信号を復元できる。
 本実施の形態の表示装置1500は、液晶パネルの駆動周波数とイメージセンサーのフレームレートの関係が、互いに整数倍または整数分の一の関係であり、表示装置1500から送信フレームが液晶パネルの駆動周波数に同期して出力される場合に、特に有効である。
 (他の実施の形態)
 以上のように、本開示の技術の例示として、実施の形態24~27を説明した。本開示の技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態24~27で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
 なお、本開示の表示装置は、液晶パネルの駆動周波数に同期して送信フレームが出力される場合の送信フレームの生成例を示したが、これに限定されない。
 例えば、表示装置から液晶パネルの駆動周波数に同期しないで送信フレームが出力される場合でも、送信フレームが出力される搬送周波数がイメージセンサーの周波数の整数倍となる場合は、本実施の形態が有効である。
 また、表示装置の表示パネルが液晶パネルである場合について説明したが、これに限定されない。
 例えば、表示装置が、画像フィルムが背面からLEDなどの照明で照らされるような看板であっても、表示装置から出力される送信フレームの搬送周波数が受信装置のイメージセンサーの周波数の整数倍となった場合は、本実施の形態が有効である。
 本開示にかかる表示装置は、可視光通信信号を出力可能な表示装置、例えば、家庭におけるテレビ、パーソナルコンピュータ、タブレット端末などの機器、外出先でのサイネージ端末や、情報端末、情報表示機器に適用可能である。
 (まとめ)
 本開示における第1の態様に係る表示装置は、複数の信号ユニットで構成される可視光通信信号をカルーセル方式で出力可能な表示装置であって、映像信号を表示する表示パネルと、前記信号ユニットを符号化し、複数のブロックに分割し、前記複数のブロックを用いて送信フレームを複数生成してバックライト制御信号とする可視光通信処理部と、前記バックライト制御信号に基づいて、前記表示パネルを背面から発光するバックライトと、を備え、前記可視光通信処理部で生成された1つの前記信号ユニットに対する複数の前記送信フレームは、少なくとも2つの前記送信フレームの前記複数のブロックの順序が異なる。
 本開示における第2の態様に係る表示装置は、前記可視光通信処理部で生成された1つの前記信号ユニットに対する複数の前記送信フレームは、少なくとも隣接する2つの前記送信フレームに同一のブロックを含む、第1の態様に係る表示装置である。
 本開示における第3の態様に係る表示装置は、前記可視光通信処理部で生成された1つの前記信号ユニットに対する複数の前記送信フレームは、少なくとも1つの前記送信フレームに、同一のブロックを複数個含み、複数の前記送信フレームで前記複数のブロックを全て含む、第1の態様に係る表示装置である。
 本開示における第4の態様に係る表示装置は、前記可視光通信処理部は、前記表示パネルの所定以上の輝度を有する領域を検出し、前記領域の大きさに応じて、前記送信フレームに含める同一のブロックの個数を決定し、前記信号ユニットに対する複数の前記送信フレームを生成する、第3の態様に係る表示装置である。
 本開示における第5の態様に係る表示装置は、前記可視光通信処理部は、前記表示装置と出力された前記可視光通信信号を受信可能な受信装置との距離に応じて、前記送信フレームに含める同一ブロックの個数を決定し、前記信号ユニットに対する複数の前記送信フレームを生成する、第3の態様に係る表示装置である。
 本開示における第6の態様に係る表示装置は、前記可視光通信信号処理部は、隣接する2つの前記信号ユニットの間にリセット信号を挿入する、第1の態様に係る表示装置である。
 本開示における第7の態様に係る表示装置は、前記可視光通信処理部は、1つの前記信号ユニットに対する複数の前記送信フレームのうち少なくとも1つの前記送信フレームにブランクを挿入する、第1の態様に係る表示装置である。
 本開示における第8の態様に係る表示方法は、複数の信号ユニットで構成される可視光通信信号をカルーセル方式で出力可能な表示方法であって、前記信号ユニットを符号化し、複数のブロックに分割し、前記複数のブロックを用いてカルーセル方式で出力するための送信フレームを複数生成し、バックライト制御信号として出力する第1のステップと、前記バックライト制御信号に基づいてバックライトを制御する第2のステップと、前記第1のステップで生成された1つの前記信号ユニットに対する複数の前記送信フレームは、少なくとも2つの前記送信フレームの前記複数のブロックの順序が異なる、表示方法である。
 (実施の形態28)
 図384は、送信装置がテレビなどの動画表示装置である場合の可視光通信(VLC:Visible light communication)の切り替え制御について説明するための図である。
 具体的には、図384の(a)は、複数のピクチャからなる動画像を示す図であり、図384の(b)は、可視光通信がOFFである場合の動画像表示装置のバックライトのON/OFF制御を示す図であり、図384の(c)は、可視光通信がONである場合の動画表示装置のバックライトのON/OFF制御を示す図である。
 図384の(a)に示すように、複数のピクチャP1601、P1602、P1603、P1604、P1605、P1606、・・・から構成される動画像1600を再生する場合、複数のピクチャP1601、P1602、P1603、P1604、P1605、P1606、・・・は、それぞれ時刻t1601、t1603、t1605、t1607、t1609、t1611、・・・で動画像表示装置に表示されるものとする。なお、時刻t1は、動画像1600の表示開始時刻であり、絶対的な時刻であってもよいし、ユーザにより指定された時刻であってもよい。また、時刻t1603、t1605、t1607、t1609、t1601、・・・は、時刻t1から所定時間間隔Δt1600おきの時刻である。つまり、時刻t1603、t1605、t1607、t1609、t1611、・・・は、一定の周期(所定時間間隔Δt1600)で決定される時刻である。
 このような動画像1600を再生する場合、特に液晶ディスプレイでは、動画像1600がぼけて再生されるのを低減するために、隣接するピクチャ間に真っ黒なピクチャを挿入する制御を行うものがある。このような動画像表示装置の場合、図384の(b)のように、複数のピクチャP1601、P1602、P1603、P1604、P1605、P1606、・・・が表示される時刻t1601、t1603、t1605、t1607、t1609、t1611、・・・の間の時刻t1602、t1604、t1606、t1608、t1610、t1612、・・・において、真っ黒なピクチャを挿入するために動画像表示装置のバックライトをOFFにする制御を行っている。つまり、複数のピクチャP1601、P1602、P1603、P1604、P1605、P1606、・・・が表示される時刻t1601、t1603、t1605、t1607、t1609、t1611、・・・においては、バックライトをONにし、時刻t1602、t1604、t1606、t1608、t1610、t1612、・・・においてはバックライトをOFFにする制御を行う。
 しかしながら、可視光通信を行っている間に、バックライトをOFFにしてしまうと、バックライトがOFFの期間中は通信が途切れてしまうことになる。このため、図384の(c)に示すように、可視光通信を行っている場合(つまり、VLCがONの場合)には、動画像1600の再生中であってもバックライトをONにし続ける制御を行う。このように、この場合の送信装置では、可視光通信を行っている場合には、図384の(c)のようにバックライトをONにし続け、可視光通信を行っていない場合には、図384の(b)のようにバックライトのON及びOFFを繰り返す制御を切り替える。これにより、可視光通信を行っている場合には、通信が途切れることを抑制でき、可視光通信を行っていない場合には、動画像1600がぼけて再生されることを低減できる。
 (実施の形態29)
 本実施の形態では、可視光通信のプロトコル送出方式について説明する。
 図385及び図386は、アプリ層で利用する論理データ(例えばIDなど)を、可視光通信で送信する場合の手順を示す図である。
 まず、論理データエラー訂正符号付与部1701は、アプリ層で利用する論理データ1711にエラー訂正符号である論理データ訂正符号1712を付与する。
 次に、論理データ分割部1702は、論理データ1711及び論理データ訂正符号1712を、送信が可能なデータサイズへ分割することで複数の分割論理データ1713を生成する。また、論理データ分割部1702は、各分割論理データ1713に分割種別1714及びアドレス1715を付与する。
 データ変調部1703は、論理データ分割部1702により生成されたデータを、送信が可能なデータ列へ変換することで、送信するための物理データ1716を生成する。
 なお、論理データエラー訂正符号付与部1701は、論理データのサイズ又は伝送路の状況に応じて、CRC又はリードソロモン符号などの符合化を利用する。また、論理データ訂正符号1712が、論理データ1711の先頭に付与される場合、末尾に付与される場合、論理データ1711の特定位置に挿入される場合がある。
 なお、論理データ分割部1702は、分割後のサイズを変動させることにより可視光通信で受信可能な限界距離と受信スピードを決定することができる。また、論理データ分割部1702は、分割方法を変動させることにより、論理データ訂正符号1712及び物理データ訂正符号1717によるエラー耐性に加えて、バーストエラーへの耐性を向上できるとともに、データ復号時の秘匿性を向上できる。
 なお、データ変調部1703は、PPM変調又はマンチェスター変調などの変調種別を問わず、可視光通信発信部の装置特性(例えば、照明の場合はできる限り明るさを保つ必要がある、ディスプレイの場合は動画や静止画と共存する必要があるなど)によって、論理データの1ビット当たりに該当する量子化数又は標本値を変動させることにより、明るさ制御又は変調率制御を実現できる。例えば、データ変調部1703は、発光している場合を物理データの「1」、発光していない場合を物理データの「0」というように2値を用いる場合と、発光時の明るさを100%とした場合を「2」、発光時の明るさを50%した場合を「1」、発光時の明るさを0%とした場合を「0」というよう設定する場合とを切り替えることで、明るさの制御を実現できる。また、データ変調部1703は、発光している場合を物理データの「1」、発光していない場合を物理データの「0」としたうえで、論理データ「01」を、物理データ「0100」に変調したり、「11001111」に変調したりすることを切り替えることで、物理データ送信サイズにおける平均の明るさを制御できる。
 次に、物理データエラー訂正符号付与部1704は、データ変調部1703により生成された物理データ1716にエラー訂正符号である物理データ訂正符号1717を付与する。
 次に、物理データヘッダ挿入部1705は、物理データ1716の開始位置を示すためのヘッダ1718を、物理データ1716に付与する。得られたデータは、可視光通信発信部により可視光通信データとして発信される。
 なお、物理データエラー訂正符号付与部1704は、物理データ1716のサイズ又は伝送路の状況に応じて、CRC又はリードソロモン符号などの符合化を利用する。また、物理データ訂正符号1717が、物理データ1716の付与される場合、末尾に付与される場合、物理データ1716の特定位置に挿入される場合がある。
 なお、物理データヘッダ挿入部1705は、可視光通信受信部が可視光通信データの物理データの先頭を識別可能なプリアンブルデータをヘッダとして挿入する。挿入されるプリアンブルデータは、送信する物理データ1716と物理データ訂正符号1717を合わせたデータに現れることのないデータ列である。物理データヘッダ挿入部1705は、プリアンブルデータのサイズとプリアンブルデータ列を変えることで、可視光通信発信部のちらつき具合及び必要な明るさを制御できる。さらに、プリアンブルデータは、可視光通信受信部での装置種別の識別などにも利用することができる。例えば、物理データ1716と物理データ訂正符号1717を合わせたデータの送信中の明るさと、プリアンブルデータの送信中の明るさとの差が極小となるようにプリアンブルデータを設定することでちらつきを低減できる。また、プリアンブル中の発光期間を少なくすることで、プリアンブルデータの明るさを小さく調整できる。
 また、論理データ分割部1702での分割には一般的なインタリーブ方式を利用することができる。図387は、論理データ分割部1702による分割処理を説明するための図である。
 図387は、論理データが「010011000111010」であり、分割数が3である場合の分割例を示す図である。例えば、図387の(a)に示すように、論理データ分割部1702は、論理データ1711及び論理データ訂正符号1712を先頭から5BITずつに区切ることで、複数の分割論理データ1713を生成する。または、図387の(b)に示すように、論理データ分割部1702は、論理データ1711及び論理データ訂正符号1712を、先頭から1BITずつを各分割論理データ1713に割振ることで、複数の分割論理データ1713を生成する。
 また、図388に示すように、論理データ分割部1702は、論理データの分割に必要なSKIP数を定義し、論理データ1711及び論理データ訂正符号1712を先頭からSKIP数分のBITずつ各分割論理データ1713に割振ることで、複数の分割論理データ1713を生成してもよい。
 この場合、論理データ分割部1702は、SKIP数を任意に指定することで、設定されたSKIP数を知らない可視光通信受信部では論理データの復元ができないように秘匿性を持たせることが可能となる。なお、論理データ分割部1702は、任意値を元にハッシュ関数を適用して出力されるハッシュ値を利用して分割を行ってもよいし、分割指定BITを任意値によりユニークに特定する任意の演算式を用いてもよい。
 さらに、論理データ分割部1702は、時間を任意値として用いることで、特定の時間でしか受信できないように秘匿性を確保することもでる。また、論理データ分割部1702は、テレビチャンネル番号を任意値に用いることで特定チャンネルしか受信できないようなサービスに展開することもできる。また、論理データ分割部1702は、場所に関する数値を任意値に用いることで、そのデータをその場所でしか利用できないようにできる。
 なお、本発明は以下の態様を含んでいてもよい。
 送信機は、可視光送信部と人センサ部を備える。人センサ部により人がいることを検知し、送信を開始する。人センサ部によって人が居ると検知した方向に送信を行う。これにより、消費電力を抑えることができる。
 受信機は、送信機のIDを受信し、住所情報、または、現在位置情報を付加してサーバに送信する。サーバは、受信された住所または位置に最適な設定を行うためのコードを受信機に送信する。受信機はサーバから受信したコードを画面に表示し、送信機に設定するようにユーザに示す。これにより、例えば、炊飯器や洗濯機の設定を居住地域の水質に最適な設定にすることができる。
 受信機は、露光時間の設定を撮像フレーム毎に変更し、露光時間が短いフレームでは可視光信号を受信し、露光時間が長いフレームでは、その他の信号やマーカー、例えば、2次元バーコードを受信したり、物体認識や画像認識を行う。これにより、可視光受信とその他の信号やマーカーの受信を同時に行うことができる。
 受信機は、フレーム毎に露光時間を少しずつ変更して撮像を行う。これにより、送信信号の変調周波数が不明であっても、いずれかのフレームの画像は適切な露光時間で撮像されており、信号を復調することができる。また、同じ信号を複数の露光時間で撮像することで、より効率的に受信信号を復調することができる。
 受信機は、所定の範囲のIDを受信した場合は、サーバに問い合わせず、受信したIDをそのまま別の処理部に渡す。これにより、素早いレスポンスが得られる。また、サーバに接続できない状態であっても、処理を行うことができる。また、サーバにコンテンツを設定する前に動作を確認することができる。
 送信機は、振幅変調により送信信号を表現する。このとき、異なる信号を表す複数のシンボルにおいて、輝度が低い状態、または、輝度が高い状態のどちらかの持続時間を等しくする。これにより、低い制御クロックでも信号を表現することができる。
 送信機は、起動時に送信IDとコンテンツをサーバに登録する。これにより、所望のコンテンツをサーバから受信機に送信することができる。
 IDの一部は、送信機が自由に設定することができるものとする。これにより、送信機の状態を示すコードをIDに含めることができる。受信機やサーバは、この部分によって表示コンテンツを変えてもよいし、無視してもよい。
 (多値振幅パルス信号)
 図389、図390および図391は、本実施の形態における送信信号の一例を示す図である。
 パルスの振幅に意味を持たせることで、単位時間あたりにより多くの情報を表現することができる。例えば、振幅を3段階に分類すると、図389のように、平均輝度は50%に保ったまま、2スロットの送信時間で3値を表現することができる。ただし、図389の(c)を連続で送信すると輝度変化がないため、信号の存在がわかりにくい。また、デジタル処理では3値は少し扱いにくい。
 そこで、図390の(a)から(d)の4種類のシンボルを用いることで、平均輝度は50%に保ったまま、平均3スロットの送信時間で4値を表現することができる。シンボルによって送信時間が異なるが、シンボルの最後の状態を輝度が低い状態とすることで、シンボルの終了時点を認識することができる。輝度が高い状態と低い状態を入れ替えても同様の効果が得られる。図390の(e)は、(a)を2回送信することと区別がつかないため、適さない。図390の(f)と(g)は、中間輝度が連続するため、やや認識しづらいが、利用することはできる。
 図391の(a)や(b)のパターンをヘッダとして利用することを考える。これらのパターンは周波数解析において特定の周波数成分を強く持つため、これらのパターンをヘッダとすることで、周波数解析によって信号検出を行うことができる。
 図391の(c)のように、(a)や(b)のパターンを用いて送信パケットを構成する。特定の長さのパターンをパケット全体のヘッダとし、異なる長さのパターンをセパレータとして用いることで、データを区切ることができる。また、途中の箇所にこのパターンを含むことで、信号検出を容易にすることができる。これにより、1パケットが1フレームの画像の撮像時間よりも長い場合であっても、受信機は、データをつなぎあわせて復号することができる。また、これにより、セパレータの数を調整することで、パケットの長さを可変とすることができる。パケットヘッダのパターンの長さでパケット全体の長さを表現するとしてもよい。また、セパレータをパケットヘッダとし、セパレータの長さをデータのアドレスとすることで、受信機は、部分的に受信したデータを合成することができる。
 送信機は、このように構成したパケットを繰り返し送信する。図391の(c)のパケット1~4の内容は全て同じでも良いし、異なるデータとして受信側で合成するとしてもよい。
 (実施の形態30)
 本実施の形態では、上記各実施の形態におけるスマートフォンなどの受信機と、LEDや有機ELの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
 図392Aは、本実施の形態における送信機を説明するための図である。
 本実施の形態における送信機は、例えば液晶ディスプレイのバックライトとして構成され、青色LED2303と、緑色蛍光成分2304および赤色蛍光成分2305からなる蛍光体2310とを備える。
 青色LED2303は、青色(B)の光を放つ。蛍光体2310は、青色LED2303から放たれた青色の光を励起光として受けると黄色(Y)に発光する。つまり、蛍光体2310は、黄色の光を放つ。詳細には、蛍光体2130は、緑色蛍光成分2304および赤色蛍光成分2305からなるため、これらの蛍光成分の発光によって黄色の光を放つ。それらの2つの蛍光成分のうち緑色蛍光成分2304は、青色LED2303から放たれた青色の光を励起光として受けると緑色に発光する。つまり、緑色蛍光成分2304は、緑色(G)の光を放つ。上述の2つの蛍光成分のうち赤色蛍光成分2305は、青色LED2303から放たれた青色の光を励起光として受けると赤色に発光する。つまり、赤色蛍光成分2305は、赤色(R)の光を放つ。これにより、RGBまたはY(RG)Bのそれぞれの光が放たれるため、送信機はバックライトとして白色光を出力する。
 この送信機は、青色LED2303を上記各実施の形態と同様に輝度変化させることによって、白色光の可視光信号を送信する。このとき、白色光の輝度が変化することによって所定の搬送周波数を有する可視光信号が出力される。
 ここで、バーコードリーダは、赤色レーザ光をバーコードに照射し、バーコードから反射される赤色レーザ光の輝度変化に基づいて、そのバーコードを読み取る。この赤色レーザ光におけるバーコードの読み取り周波数は、現在実用化されている一般的な送信機から出力される可視光信号の搬送周波数と一致または近似している場合がある。したがって、このような場合に、バーコードリーダが、その一般的な送信機からの可視光信号である白色光に照らされたバーコードを読み取ろうとすると、その白色光に含まれる赤色の光の輝度変化によって、その読み取りに失敗してしまうことがある。つまり、可視光信号(特に赤色の光)の搬送周波数と、バーコードの読み取り周波数との干渉によって、バーコードの読み取りエラーが発生する。
 そこで本実施の形態における、赤色蛍光成分2305には、緑色蛍光成分2304よりも、残光の継続時間が長い蛍光材料が用いられる。つまり、本実施の形態における赤色蛍光成分2305は、青色LED2303および緑色蛍光成分2304の輝度変化の周波数よりも十分に低い周波数で輝度変化する。言い換えれば、赤色蛍光成分2305は、可視光信号に含まれる赤色の輝度変化の周波数をなまらせる。
 図392Bは、RGBのそれぞれの輝度変化を示す図である。
 青色LED2303からの青色の光は、図392Bの(a)に示すように、可視光信号に含まれて出力される。緑色蛍光成分2304は、図392Bの(b)に示すように、青色LED2303からの青色の光を受けると、緑色に発光する。この緑色蛍光成分2304における残光の継続時間は短い。したがって、その青色LED2303が輝度変化していると、緑色蛍光成分2304は、その青色LED2303の輝度変化の周波数(つまり可視光信号の搬送周波数)と略同一の周波数で輝度変化する緑色の光を放つ。
 赤色蛍光成分2305は、図392Bの(c)に示すように、青色LED2303からの青色の光を受けると、赤色に発光する。この赤色蛍光成分2305における残光の継続時間は長い。したがって、その青色LED2303が輝度変化していると、赤色蛍光成分2305は、その青色LED2303の輝度変化の周波数(つまり可視光信号の搬送周波数)よりも、低い周波数で輝度変化する赤色の光を放つ。
 図393は、本実施の形態における緑色蛍光成分2304および赤色蛍光成分2305の残光特性を示す図である。
 緑色蛍光成分2304は、例えば、青色LED2303が輝度変化することなく点灯している場合、強度I=I0の緑色の光を輝度変化させることなく(つまり輝度変化の周波数f=0の光を)放つ。また、青色LED2303が低い周波数で輝度変化しても、緑色蛍光成分2304は、その低い周波数と略同じ周波数fで輝度変化する、強度I=I0の緑色の光を放つ。しかし、青色LED2303が高い周波数で輝度変化すると、その高い周波数と略同じ周波数fで輝度変化する、緑色蛍光成分2304から放たれる緑色の光の強度Iは、緑色蛍光成分2304における残光の影響によって、強度I0よりも小さくなる。その結果、緑色蛍光成分2304から放たれる緑色の光の強度Iは、図393の点線に示すように、その光の輝度変化の周波数fが閾値fb未満の場合には、I=I0に保たれるが、周波数fが閾値fbを超えて高くなると、次第に小さくなる。
 また、本実施の形態における赤色蛍光成分2305の残光の継続時間は、緑色蛍光成分2304の残光の継続時間よりも長い。したがって、赤色蛍光成分2305から放たれる赤色の光の強度Iは、図393の実線に示すように、その光の輝度変化の周波数fが、上記閾値fbよりも低い閾値fa未満まで、I=I0に保たれるが、周波数fが閾値fbを超えて高くなると、次第に小さくなる。言い換えれば、赤色蛍光成分2305から放たれる赤色の光は、緑色蛍光成分2304から放たれる緑色の光の周波数帯域のうちの、高周波領域には存在せず、低周波領域にのみ存在する。
 より具体的には、本実施の形態における赤色蛍光成分2305には、可視光信号の搬送周波数f1と同一の周波数fで放たれる赤色の光の強度IがI=I1となる蛍光材料が用いられる。搬送周波数f1は、送信機に備えられている青色LED2303による輝度変化の搬送周波数である。また、上述の強度I1は、強度I0の1/3の強度、または、強度I0の-10dBの強度である。例えば、搬送周波数f1は10kHz、または5~100kHzである。
 つまり、本実施の形態における送信機は、可視光信号を送信する送信機であって、輝度変化する青色の光を前記可視光信号に含まれる光として放つ青色LEDと、前記青色の光を受けることによって緑色の光を前記可視光信号に含まれる光として放つ緑色蛍光成分と、前記青色の光を受けることによって赤色の光を前記可視光信号に含まれる光として放つ赤色蛍光成分とを備える。そして、前記赤色蛍光成分における残光の継続時間は、緑色蛍光成分における残光の継続時間よりも長い。なお、前記緑色蛍光成分および前記赤色蛍光成分は、前記青色の光を受けることによって黄色の光を前記可視光信号に含まれる光として放つ単一の蛍光体に含まれていてもよい。あるいは、前記緑色蛍光成分は、緑色蛍光体に含まれ、且つ、前記赤色蛍光成分は、前記緑色蛍光体とは別体の赤色蛍光体に含まれていてもよい。
 これにより、赤色蛍光成分における残光の継続時間が長いため、青色および緑色の光の輝度変化における周波数よりも低い周波数で赤色の光を輝度変化させることができる。したがって、白色光の可視光信号に含まれる青色および緑色の光の輝度変化における周波数が、赤色レーザ光におけるバーコードの読み取り周波数と同一または近似していても、白色光の可視光信号に含まれる赤色の光の周波数を、バーコードの読み取り周波数から大きく異ならせることができる。その結果、バーコードの読み取りエラーの発生を抑制することができる。
 ここで、前記赤色蛍光成分は、青色LEDから放たれる光の輝度変化の周波数よりも低い周波数で輝度変化する赤色の光を放ってもよい。
 また、前記赤色蛍光成分は、青色の光を受けることによって赤色の光を放つ赤色蛍光材料と、所定の周波数帯域の光のみを透過ささるローパスフィルタとを備えてもよい。例えば、前記ローパスフィルタは、前記青色LEDから放たれる青色の光のうち、低域の周波数帯域の光のみを透過させて前記赤色蛍光材料に当てる。なお、前記赤色蛍光材料は、前記緑色蛍光成分と同じ残光特性を有するものであってもよい。または、前記ローパスフィルタは、前記青色LEDから放たれた青色の光が前記赤色蛍光材料に当たることによって、前記赤色蛍光材料から放たれる赤色の光のうち、低域の周波数帯域の光のみを透過させる。このようなローパスフィルタを用いる場合であっても、上述と同様に、バーコードの読み取りエラーの発生を抑制することができる。
 また、前記赤色蛍光成分は、予め定められた残光特性を有する蛍光材料からなってもよい。例えば、予め定められた残光特性は、(a)前記赤色蛍光成分から放たれる赤色の光の輝度変化の周波数fが0である場合における前記赤色の光の強度をI0とし、(b)前記青色LEDから放たれる光の輝度変化における搬送周波数をf1とする場合、前記赤色の光の周波数fがf=f1のときに、前記赤色の光の強度が、前記I0の1/3以下、または-10dB以下となる、特性である。
 これにより、可視光信号に含まれる赤色の光の周波数を、バーコードの読み取り周波数から確実に大きく異ならせることができる。その結果、バーコードの読み取りエラーの発生を確実に抑制することができる。
 また、前記搬送周波数f1は略10kHzであってもよい。
 これにより、現在実用化されている、可視光信号の送信に用いられる搬送周波数は9.6kHzであるため、この実用化されている可視光信号の送信において、バーコードの読み取りエラーの発生を有効に抑制することができる。
 また、前記搬送周波数f1は略5~100kHzであってもよい。
 可視光信号を受信する受信機のイメージセンサ(撮像素子)の進歩により、今後の可視光通信において、20kHz、40kHz、80kHzまたは100kHzなどの搬送周波数が用いられることが想定される。したがって、上述の搬送周波数f1を略5~100kHzとすることにより、今後の可視光通信においても、バーコードの読み取りエラーの発生を有効に抑制することができる。
 なお、本実施の形態では、緑色蛍光成分および赤色蛍光成分が単一の蛍光体に含まれているか、それらの2つの蛍光成分のそれぞれが別体の蛍光体に含まれているかに関わらず、上記各効果を奏することができる。つまり、単一の蛍光体が用いられる場合であっても、その蛍光体から放たれる赤色の光および緑色の光のそれぞれの残光特性、すなわち周波数特性は異なる。したがって、赤色の光における残光特性または周波数特性が劣り、緑色の光における残光特性または周波数特性が勝る単一蛍光体を用いることによっても、上記各効果を奏することができる。なお、残光特性または周波数特性が劣るとは、残光の継続時間が長い、または、高周波数帯域における光の強度が弱いということであり、残光特性または周波数特性が勝るとは、残光の継続時間が短い、または、高周波数帯域における光の強度が強いということである。
 ここで、図392A~図393に示す例では、可視光信号に含まれる赤色の輝度変化の周波数をなまらせることによって、バーコードの読み取りエラーの発生を抑制したが、可視光信号の搬送周波数を高くすることによって、その読み取りエラーの発生を抑制してもよい。
 図394は、バーコードの読み取りエラーの発生を抑制するために新たに発生する課題を説明するための図である。
 図394に示すように、可視光信号の搬送周波数fcが約10kHzである場合、バーコードの読み取りに用いられる赤色レーザ光の読み取り周波数も約10~20kHzであるため、互いの周波数が干渉し、バーコードの読み取りエラーが発生する。
 そこで、可視光信号の搬送周波数fcを約10kHzから例えば40kHzに上げることにより、バーコードの読み取りエラーの発生を抑制することができる。
 しかし、可視光信号の搬送周波数fcが約40kHzであれば、受信機が撮影によって可視光信号をサンプリングするためのサンプリング周波数fsは、80kHz以上である必要がある。
 つまり、受信機において必要とされるサンプリング周波数fsが高いために、受信機の処理負担が増大するという新たな課題が生じる。そこで、この新たな課題を解決するために、本実施の形態における受信機はダウンサンプリングを行う。
 図395は、本実施の形態における受信機で行われるダウンサンプリングを説明するための図である。
 本実施の形態における送信機2301は、例えば液晶ディスプレイ、デジタルサイネージまたは照明機器として構成されている。そして、送信機2301は、周波数変調された可視光信号を出力する。このとき、送信機2301は、その可視光信号の搬送周波数fcを例えば40kHzと45kHzとに切り替える。
 本実施の形態における受信機2302は、その送信機2301を例えば30fpsのフレームレートで撮影する。このとき、受信機2302は、上記各実施の形態における受信機と同様に、撮影によって得られる各画像(具体的には各フレーム)に輝線が生じるように、短い露光時間で撮影を行う。また、受信機2302の撮影に用いられるイメージセンサには、例えば1000本の露光ラインがある。したがって、1フレームの撮影では、1000本の露光ラインがそれぞれ異なるタイミングに露光を開始することによって、可視光信号がサンプリングされる。その結果、1秒間では、30fps×1000本=30000回のサンプリング(30ks/秒)が行われる。言い換えれば、可視光信号のサンプリング周波数fsは30kHzとなる。
 一般的なサンプリング定理にしたがえば、サンプリング周波数fs=30kHzでは、15kHz以下の搬送周波数の可視光信号しか復調することができない。
 しかし、本実施の形態における受信機2302は、サンプリング周波数fs=30kHzで、搬送周波数fc=40kHzまたは45kHzの可視光信号をダウンサンプリングする。このダウンサンプリングによって、フレームにはエイリアスが発生するが、本実施の形態における受信機2302は、そのエイリアスを観察および分析することによって、可視光信号の搬送周波数fcを推定する。
 図396は、本実施の形態における受信機2302の処理動作を示すフローチャートである。
 まず、受信機2302は、被写体を撮影することにより、搬送周波数fc=40kHzまたは45kHzの可視光信号に対して、サンプリング周波数fs=30kHzのダウンサンプリングを行う(ステップS2310)。
 次に、受信機2302は、そのダウンサンプリングによって得られるフレームに発生するエイリアスを観察および分析する(ステップS2311)。これにより、受信機2302は、そのエイリアスの周波数を例えば5.1kHzまたは5.5kHzとして特定する。
 そして、受信機2302は、その特定されたエイリアスの周波数に基づいて、可視光信号の搬送周波数fcを推定する(ステップS2311)。つまり、受信機2302は、エイリアスから元の周波数を復元する。これにより、受信機2302は、可視光信号の搬送周波数fcを例えば40kHzまたは45kHzとして推定する。
 このように、本実施の形態における受信機2302は、ダウンサンプリングと、エイリアスに基づく周波数の復元とを行うことによって、高い搬送周波数の可視光信号を適切に受信することができる。例えば、受信機2302は、サンプリング周波数がfs=30kHzであっても、30kHz~60kHzの搬送周波数の可視光信号を受信することができる。したがって、可視光信号の搬送周波数を、現在実用化されている周波数(約10kHz)から30kHz~60kHzに上げることができる。その結果、可視光信号の搬送周波数とバーコードの読み取り周波数(10~20kHz)とを大きく異ならせることができ、互いの周波数の干渉を抑えることができる。その結果、バーコードの読み取りエラーの発生を抑制することができる。
 このような本実施の形態における受信方法は、被写体から情報を取得する受信方法であって、イメージセンサによる前記被写体の撮影によって得られるフレームに、前記イメージセンサに含まれる複数の露光ラインに対応する複数の輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップと、前記イメージセンサに含まれる前記複数の露光ラインのそれぞれが順次異なる時刻で露光を開始することを繰り返すことにより、前記イメージセンサが、所定のフレームレートで、且つ、設定された前記露光時間で、輝度変化する前記被写体を撮影する撮影ステップと、前記撮影によって得られるフレームごとに、当該フレームに含まれる前記複数の輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップとを含む。そして、前記撮影ステップでは、前記複数の露光ラインのそれぞれが順次異なる時刻で露光を開始することを繰り返すことによって、前記被写体の輝度変化によって送信される可視光信号の搬送周波数よりも低いサンプリング周波数で、前記可視光信号をダウンサンプリングし、前記情報取得ステップでは、前記撮影によって得られるフレームごとに、当該フレームに含まれる前記複数の輝線のパターンによって特定されるエイリアスの周波数を特定し、特定された前記エイリアスの周波数から前記可視光信号の周波数を推定し、推定された前記可視光信号の周波数を復調することによって前記情報を取得する。
 このような受信方法では、ダウンサンプリングと、エイリアスに基づく周波数の復元とを行うことによって、高い搬送周波数の可視光信号を適切に受信することができる。
 また、前記ダウンサンプリングでは、30kHzよりも高い搬送周波数の可視光信号をダウンサンプリングしてもよい。これにより、可視光信号の搬送周波数とバーコードの読み取り周波数(10~20kHz)との干渉を避けることができ、バーコードの読み取りエラーをより効果的に抑制することができる。
 (実施の形態31)
 図397は、受信装置(撮像装置)の処理動作を示す図である。具体的には、図397は、可視光通信を受信する場合における、通常撮像モードとマクロ撮像モードとの切り替え処理の一例について説明するための図である。
 ここで、受信装置1610は、複数の光源(図397では、4つの光源)から構成される送信装置が発光している可視光を受信する。
 まず、受信装置1610は、可視光通信を行うモードに遷移した場合、通常撮像モードで撮像部を起動する(S1601)。なお、受信装置1610は、可視光通信を行うモードに遷移した場合、光源を撮像する枠1611を画面に表示する。
 所定時間後に、受信装置1610は、撮像部の撮像モードをマクロ撮像モードに切り替える(S1602)。なお、ステップS1601からステップS1602への切り替えのタイミングは、ステップS1601から所定時間後ではなく、受信装置1610が枠1611内に光源が収まるように撮像されたことを判断したときとしてもよい。このようにマクロ撮像モードに切り替えれば、ユーザは、マクロ撮像モードにより画像がぼける前の通常撮像モードでのクリアな画像で光源を枠1611内に収めればよいので、容易に光源を枠1611内に収めることをできる。
 次に、受信装置1610は、光源からの信号を受信したか否かを判定する(S1603)。光源からの信号を受信したと判定すれば(S1603でYes)、ステップS1601の通常撮像モードに戻り、光源からの信号を受信していないと判定すれば(S1603でNo)、ステップ1602のマクロ撮像モードを継続する。なお、ステップS1603でYesの場合には、受信した信号に基づいた処理(例えば、受信した信号に示される画像を表示する処理)を行ってもよい。
 この受信装置1610によれば、ユーザーがスマートフォンの光源1611の表示部を指でタッチすることにより通常撮像モードからマクロ撮像モードに切り替えることにより、複数の光源をぼけた状態で撮像することができる。このため、マクロ撮像モードで撮像した画像には、通常撮像モードで撮像した場合の画像よりも明るい領域を多く含む。特に、複数の光源のうちの隣接する2つの光源の間では、2つの光源からの光が重なり合うため、図397の(a)の左図に示すようにストライプ状の映像が離れていたため、連続信号として受信できないという課題を、右図のように連続したストライプになるための連続受信信号として、復調することができる。一度に長い符号を受信できるため、レスポンス時間が短くなるという効果がある。図397の(b)のように、撮影画像をまず通常シャッターと通常焦点で撮影すると美しい通常の画像が得られる。しかし文字のように光源が離れているとシャッターを高速化しても連続データがとれないため復調できない。次にシャッターを高速化するとともにレンズの焦点用駆動部を近距離(マクロ)にすると光源がぼけて拡がるため、4つの光源が、つながるため、データが受信できる。次に焦点を戻して、シャッター速度を通常に戻すと元の美しい画像が得られる。(c)のように表示部には、美しい画像をメモリーに記録し、表示することにより、表示部には美しい画像だけが表示されるという効果がある。通常撮像モードで撮像した画像よりもマクロ撮像モードで撮像した画像の方が所定の明るさより明るい領域を多く含む。よって、マクロ撮像モードでは、その被写体に対して輝線を生成することが可能な露光ラインの数を増やすことができる。
 図398は、受信装置(撮像装置)の処理動作を示す図である。具体的には、図398は、可視光通信を受信する場合における、通常撮像モードとマクロ撮像モードとの切り替え処理の別の一例について説明するための図である。
 ここで、受信装置1620は、複数の光源(図398では、4つの光源)から構成される送信装置が発光している可視光を受信する。
 まず、受信装置1620は、可視光通信を行うモードに遷移した場合、通常撮像モードで撮像部を起動し、受信装置1620の画面に表示されている画像1622よりも広い範囲の画像1623を撮像する。そして、撮像した画像1623を示す画像データと、当該画像1623を撮像したときの受信装置1620のジャイロセンサ、地磁気センサ及び加速度センサにより検出された受信装置1620の姿勢を示す姿勢情報とをメモリに保持する(S1611)。なお、撮像した画像1623は、受信装置1620の画面に表示されている画像1622を基準として上下方向及び左右方向に所定の幅だけ広い範囲の画像である。また、受信装置1620は、可視光通信を行うモードに遷移した場合、光源を撮像する枠1621を画面に表示する。
 所定時間後に、受信装置1620は、撮像部の撮像モードをマクロ撮像モードに切り替える(S1612)。なお、ステップS1611からステップS1612への切り替えのタイミングは、ステップS1611から所定時間後ではなく、画像1623を撮像し、撮像した画像1623を示す画像データがメモリに保持されたことを判断したときとしてもよい。このとき、受信装置1620は、メモリに保持された画像データに基づいて画像1623のうちの受信装置1620の画面サイズに対応するサイズの画像1624を表示する。
 なお、このとき受信装置1620に表示される画像1624は、画像1623のうちの一部の画像であって、ステップS1611で取得された姿勢情報で示される受信装置1620の姿勢(白破線で示される位置)と、現在の受信装置1620の姿勢との差分から現在の受信装置1620により撮像されていると予測される領域の画像である。つまり、画像1624は、画像1623のうちの一部の画像であって、実際にマクロ撮像モードで撮像されている画像1625の撮像対象に対応する領域の画像である。つまり、ステップS1612では、ステップS1611の時点から変化した姿勢(撮像方向)を取得し、取得した現在の姿勢(撮像方向)から現在撮像されていると推測される撮像対象を特定し、予め撮像した画像1623から現在の姿勢(撮像方向)に応じた画像1624を特定し、画像1624を表示する処理を行っている。このため、受信装置1620は、図398の画像1623で示すように、白破線で示す位置から白抜き矢印の方向に受信装置1620が移動した場合に、当該移動量に応じて画像1623から切り出す画像1624の領域を決定し、決定された領域における画像1623である画像1624を表示できる。
 これにより、受信装置1620は、マクロ撮像モードで撮像している場合であっても、マクロ撮像モードで撮像されている画像1625を表示せずに、よりクリアな通常撮像モードで撮像した画像1623から、現在の受信装置1620の姿勢に応じて切り出した画像1624を表示できる。焦点をぼかした画像から距離が離れた複数の光源から、連続した可視光情報を得ると同時に、記憶した通常面像を表示部に表示させる本発明の方式においては、ユーザがスマートフォンを用いて撮影する時、手振れが発生して、実際の撮影画像とメモリから表示する静止画像の方向がずれて、目標とする光源にユーザーが方向を合わせることができないという課題が発生することが予想される。この場合、光源からのデータを受信できなくなるため対策が必要である。しかし、改良した本発明により、手振れしても、画像揺動検知手段や振動ジャイロ当の揺動検出手段により、手振れを検知して、静止画像の中の目標画像が所定の方向にシフトされカメラの方向とのずれがユーザーにわかる。この表示により、ユーザーが目標とする光源にカメラを向けることが可能となるため、通常画像を表示しながら分割された複数の光源を、光学的に連結させて撮影でき、連続的に信号を受信することができる。これにより、通常画像を表示させるから複数に分割された光源を受信することができる。この場合、複数の光源が枠1621に合うように受信装置1620の姿勢を調整することが容易にできる。なお、焦点をボケさせる場合、光源が分散されるため、等価的に輝度がおちるため、カメラのISO等の感度を上げることにより、より確実に可視光データを受信できるという効果がある。
 次に、受信装置1620は、光源からの信号を受信したか否かを判定する(S1613)。光源からの信号を受信したと判定すれば(S1613でYes)、ステップS1611の通常撮像モードに戻り、光源からの信号を受信していないと判定すれば(S1613でNo)、ステップ1612のマクロ撮像モードを継続する。なお、ステップS1613でYesの場合には、受信した信号に基づいた処理(例えば、受信した信号に示される画像を表示する処理)を行ってもよい。
 この受信装置1620においても受信装置1610と同様に、マクロ撮像モードにおいてより明るい領域を含む画像を撮像できる。このため、マクロ撮像モードでは、その被写体に対して輝線を生成することが可能な露光ラインの数を増やすことができる。
 図399は、受信装置(撮像装置)の処理動作を示す図である。
 ここで、送信装置1630は、例えば、テレビなどの表示装置であり、所定時間間隔Δ1630で可視光通信により異なる送信IDを送信している。具体的には、時刻t1631、t1632、t1633、t1634において、それぞれ表示される画像1631、1632、1633、1634に対応するデータにそれぞれ紐付けられた送信IDであるID1631、ID1632、ID1633、ID1634を送信する。つまり、送信装置1630からは、ID1631~ID1634が所定時間間隔Δt1630で次々に送信される。
 受信装置1640は、可視光通信により受信した送信IDに基づいてサーバ1650に、各送信IDに紐付けられたデータを要求し、サーバからデータを受信し、当該データに対応した画像を表示する。具体的には、ID1631、ID1632、ID1633、ID1634にそれぞれ対応した、画像1641、1642、1643、1644を、それぞれ時刻t1631、t1632、t1633、t1634において表示する。
 受信装置1640は、時刻t1631で受信したID1631を取得した場合、サーバ1650から、その後の時刻t1632~t1634で送信装置1630から送信される予定の送信IDを示すID情報を取得してもよい。この場合、受信装置1640は、取得したID情報を用いることで、送信装置1630から送信IDをその都度受信しなくても、時刻t1632~t1634でのID1632~ID1634に紐付けられたデータをサーバ1650に要求し、受信したデータを各時刻t1632~t1634で表示することができる。
 また、受信装置1640は、サーバ1650からその後の時刻t1632~t1634で送信装置1630から送信される予定の送信IDを示す情報を取得しなくても、時刻t1631においてID1631に対応するデータを要求すれば、サーバ1650からその後の時刻t1632~t1634に対応する送信IDに紐付けられたデータを受信し、受信したデータを各時刻t1632~t1634で表示するようにしてもよい。つまり、サーバ1650は、受信装置1640から時刻t1631に送信されたID1631に紐付けられたデータの要求を受信した場合、その後の時刻t1632~t1634に対応する送信IDに紐付けられたデータを受信装置1640からの要求がなくても受信装置1640に対して各時刻t1632~t1634において送信する。つまり、この場合、サーバ1650は、各時刻t1631~1634と、各時刻t1631~1634に対応する送信IDに紐付けられたデータとが関連付けられた関連付け情報を保持しており、関連付け情報に基づいて所定の時刻で当該所定の時刻に関連付けられた所定のデータを送信する。
 このように、受信装置1640は、時刻t1631において送信ID1631を可視光通信により取得できれば、その後の時刻t1632~t1634では、可視光通信を行わなくてもサーバ1650から各時刻t1632~t1634に対応するデータを受信できる。このため、ユーザは、可視光通信により送信IDを取得するために送信装置1630に受信装置1640を向け続ける必要がなくなり、容易に受信装置1640にサーバ1650から取得したデータを表示させることができる。この場合、受信装置1640は、サーバーからIDに対応するデータを毎回取得すると、サーバーからの時間遅れが生じてレスポンス時間が長くなる。従って、レスポンスを早くするためには、サーバー等から予め、IDに対応したデータを受信機の記憶部に記憶しておき、記憶部の中のIDに対応するデータを表示することにより、レスポンス時間をはやくすることができる。この方式においては、可視光送信機からの送信信号に次のIDを出力する時間情報を入れておけば、受信機側は、連続的に可視光信号を受信しなくても、その時間になれば、次のIDの送信時間を知ることができるため、受信装置を光源の方にずーっと、向けておく必要がなくなるという効果がある。この方式は、可視光を受信したときに、送信機側の時間情報(時計)を受信機側の時間情報(時計)の同期をとるだけで、同期後は、送信機のデータを受け取らなくても、送信機と同期した画面を連続的に表示できるという効果がある。
 また、上述の例では、受信装置1640は、時刻t1631、t1632、t1633、およびt1634のそれぞれにおいて、送信IDであるID1631、ID1632、ID1633およびID1634のそれぞれ対応した、画像1641、1642、1643、1644をそれぞれ表示した。ここで、受信装置1640は、図400に示すように、上記各時刻において画像だけでなく他の情報を提示してもよい。つまり、受信装置1640は、時刻t1631において、ID1631に対応した画像1641を表示するとともに、そのID1631に対応した音または音声を出力する。このときさらに、受信装置1640は、その画像に映し出されている例えば商品の購入サイトを表示してもよい。このような音の出力および購入サイトの表示は、時刻t1631以外の時刻t1632、t1633、およびt1634のそれぞれにおいても、同様に行われる。
 次に図397の(b)のように立体用の左右2つのカメラを搭載したスマートフォンの場合は、左眼用で通常のシャッター速度、通常の焦点で通常の画質の画像を表示する。同時に右眼用カメラでは、左眼より高速のシャッターで、かつ/もしくは、短い距離の焦点やマクロに設定し、本発明のストライプ状の輝線を得て、データを復調する。これにより、表示部には通常の画質の画像が表示されるとともに、右眼カメラにより、距離的に分割された複数の光源の光通信データを受信できるという効果が得られる。
 (実施の形態32)
 ここで、音声同期再生の応用例について以下に説明する。
 図401は、実施の形態32におけるアプリケーションの一例を示す図である。
 例えばスマートフォンとして構成される受信機1800aは、例えば街頭デジタルサイネージとして構成される送信機1800bから送信された信号(可視光信号)を受信する。つまり、受信機1800aは、送信機1800bによる画像再生のタイミングを受信する。受信機1800aは、その画像再生と同じタイミングで、音声を再生する。言い換えれば、受信機1800aは、送信機1800bによって再生される画像と音声とが同期するように、その音声の同期再生を行う。なお、受信機1800aは、送信機1800bによって再生される画像(再生画像)と同一の画像、または、その再生画像に関連する関連画像を、音声とともに再生してもよい。また、受信機1800aは、受信機1800aに接続された機器に、音声などの再生をさせてもよい。また、受信機1800aは、可視光信号を受信した後には、その可視光信号に対応付けられている音声または関連画像などのコンテンツをサーバからダウンロードしてもよい。受信機1800aは、そのダウンロード後に同期再生を行う。
 これにより、送信機1800bからの音声が聞こえない場合や、街頭音声再生が禁止されているため送信機1800bからの音声が再生されていない場合でも、ユーザは、送信機1800bの表示に合わせた音声を聞くことができる。また、音声到達までに時間がかかるような距離がある場合でも、表示に合わせた音声を聞くことが出来る。
 ここで、音声同期再生による多言語対応について以下に説明する。
 図402は、実施の形態32におけるアプリケーションの一例を示す図である。
 受信機1800aおよび受信機1800cのそれぞれは、その受信機に設定された言語の音声であって、送信機1800dに表示されている例えば映画などの映像に対応する音声を、サーバから取得して再生する。具体的には、送信機1800dは、表示されている映像を識別するためのIDを示す可視光信号を受信機に送信する。受信機は、その可視光信号を受信すると、その可視光信号に示されるIDと、自らに設定されている言語とを含む要求信号をサーバに送信する。受信機は、その要求信号に対応する音声をサーバから取得して再生する。これにより、ユーザは、自分の設定した言語で送信機1800dに表示された作品を楽しむことが出来る。
 ここで、音声同期方法について以下に説明する。
 図403および図404は、実施の形態32における送信信号の例と音声同期方法の例とを示す図である。
 それぞれ異なるデータ(例えば図403に示すデータ:1~6など)は、一定時間(N秒)ごとの時刻に関連付けられている。これらのデータは、例えば、時間を識別するためのIDであってもよく、時間であってもよく、音声データ(例えば64Kbpsのデータ)であってもよい。以下、データがIDであることを前提に説明する。それぞれ異なるIDは、IDに付随する付加情報部分が異なったものであるとしても良い。
 IDを構成するパケットは異なっているほうが望ましい。そのためIDは連続していないほうが望ましい。もしくは、IDをパケット化する際に、非連続な部分を一つのパケットとして構成するパケット化方法が望ましい。誤り訂正信号は、連続したIDであっても異なるパターンとなる傾向が高いため、誤り訂正信号を一つのパケットにまとめるのではなく、複数のパケットに分散させて構成するとしても良い。
 送信機1800dは、例えば表示している画像の再生時刻に合わせてIDを送信する。受信機は、IDが変更されたタイミングを検出することで、送信機1800dの画像の再生時刻(同期時刻)を認識することができる。
 (a)の場合は、ID:1とID:2の変化時点を受信しているため、正確に同期時刻を認識することができる。
 IDが送信されている時間Nが長い場合は、このような機会が少なく、(b)のようにIDが受信されることがある。この場合でも、以下の方法で同期時刻を認識することができる。
 (b1)IDが変化した受信区間の中点をID変化点と想定する。また、過去に推定したID変化点から時間Nの整数倍後の時刻もID変化点と推定し、複数のID変化点の中点をより正確なID変化点と推定する。このような推定のアルゴリズムにより、徐々に正確なID変化点を推定することができる。
 (b2)上記に加え、IDが変化しなかった受信区間、及び、その時間Nの整数倍後の時刻はID変化点が含まれないと推定することで、徐々にID変化点である可能性のある区間が減り、正確なID変化点を推定することができる。
 Nを0.5秒以下に設定することで、正確に同期させることができる。
 Nを2秒以下に設定することで、ユーザに遅延を感じさせずに同期させることができる。
 Nを10秒以下に設定することで、IDの浪費を抑えて同期させることができる。
 図404は、実施の形態32における送信信号の例を示す図である。
 図404では、時間パケットによって同期を行うことで、IDの浪費を避けることができる。時間パケットは、送信された時刻を保持しているパケットである。長い時間を表現する必要がある場合は、細かい時間を表す時間パケット1と粗い時間を表す時間パケット2に分割して時間パケットを構成する。例えば、時間パケット2は、時刻のうちの時および分を示し、時間パケット1は、時刻のうちの秒のみを示す。時刻を示すパケットを3以上の時間パケットに分割するとしても良い。粗い時間は必要性が薄いため、細かい時間パケットを荒い時間パケットより多く送信することで、受信機は、素早く正確に同期時刻を認識することができる。
 つまり、本実施の形態では、可視光信号は、時刻のうちの時および分を示す第2の情報(時間パケット2)と、時刻のうちの秒を示す第1の情報(時間パケット1)とを含むことによって、可視光信号が送信機1800dから送信される時刻を示す。そして、受信機1800aは、第2の情報を受信するとともに、その第2の情報を受信する回数よりも多くの回数だけ第1の情報を受信する。
 ここで、同期時刻調整について以下に説明する。
 図405は、実施の形態32における受信機1800aの処理フローの一例を示す図である。
 信号が送信されてから受信機1800aで処理され、音声または動画が再生されるまでにはある程度の時間がかかるため、この処理時間を見越して音声または動画を再生する処理を行うことで、正確に同期再生を行うことができる。
 まず、受信機1800aには、処理遅延時間が指定される(ステップS1801)。これは、処理プログラム中に保持されていてもよいし、ユーザが指定してもよい。ユーザが補正を行うことで、受信機個体に合わせたより正確な同期が実現可能となる。この処理遅延時間は、受信機のモデル毎、受信機の温度やCPU使用割合によって変化させることで、より正確に同期を行うことが出来る。
 受信機1800aは、時間パケットを受信したか否か、または、音声同期用として関連付けられたIDを受信したか否かを判定する(ステップS1802)。ここで、受信機1800aは、受信したと判定すると(ステップS1802のY)、さらに、処理待ち画像があるか否かを判定する(ステップS1804)。処理待ち画像があると判定すると(ステップS1804のY)、受信機1800aは、その処理待ち画像を廃棄し、または、処理待ち画像の処理を後に回して、取得された最新の画像からの受信処理を行う(ステップS1805)。これにより、処理待ち量による不測の遅延を回避することができる。
 受信機1800aは、可視光信号(具体的には輝線)が画像中のどの位置にあるのかを計測する(ステップS1806)。つまり、イメージセンサにおける最初の露光ラインから、露光ラインに垂直な方向のどの位置に信号が現れているかを計測することで、画像取得開始時刻から信号受信時刻までの時間差(画像内遅延時間)を計算することができる。
 受信機1800aは、認識した同期時刻に、処理遅延時間と画像内遅延時間を加えた時刻の音声または動画を再生することで、正確に同期再生を行うことができる(ステップS1807)。
 一方、ステップS1802において、受信機1800aは、時間パケットまたは音声同期用IDを受信していないと判定すると、撮像によって得られた画像から信号を受信する(ステップS1803)。
 図406は、実施の形態32における受信機1800aのユーザインタフェースの一例を示す図である。
 ユーザは、図406の(a)に示すように、受信機1800aに表示されたボタンBt1~Bt4の何れかを押すことで、上述の処理遅延時間を調整することができる。また、図406の(b)のようにスワイプ動作で処理遅延時間を設定できるとしてもよい。これにより、ユーザの感覚に基づいてより正確に同期再生を行うことができる。
 ここで、イヤホン限定再生について以下に説明する。
 図407は、実施の形態32における受信機1800aの処理フローの一例を示す図である。
 この処理フローによって示されるイヤホン限定再生によって、周囲に迷惑をかけずに音声再生を行うことができる。
 受信機1800aは、イヤホン限定の設定が行われているかどうかを確認する(ステップS1811)。イヤホン限定の設定が行われている場合には、例えば、受信機1800aにイヤホン限定の設定がなされている。あるいは、受信された信号(可視光信号)中にイヤホン限定である設定がされている。または、イヤホン限定であることが、受信された信号に関連付けられてサーバまたは受信機1800aに記録されている。
 受信機1800aは、イヤホン限定されていることを確認すると(ステップS1811のY)、イヤホンが受信機1800aに接続されているか否かを判定する(ステップS1813)。
 受信機1800aは、イヤホン限定がされていないことを確認すると(ステップS1811のN)、または、イヤホンが接続されていると判定すると(ステップS1813のY)、音声を再生する(ステップS1812)。音声を再生するときには、受信機1800aは、音量が設定範囲内となるようにその音量を調整する。この設定範囲は、イヤホン限定の設定と同様に設定されている。
 受信機1800aは、イヤホンが接続されていないと判定すると(ステップS1813のN)、イヤホンの接続をユーザに促す通知を行う(ステップS1814)。この通知は、例えば、画面表示、音声出力または振動によって行われる。
 また、受信機1800aは、強制的に音声再生を行うことを禁じる設定がされていない場合には、強制再生のためのインタフェース用意し、ユーザが強制再生の操作を行ったか否かを判定する(ステップS1815)。ここで、強制再生の操作を行ったと判定すると(ステップS1815のY)、受信機1800aは、イヤホンが接続されていない場合でも音声を再生する(ステップS1812)。
 一方、強制再生の操作を行っていないと判定すると(ステップS1815のN)、受信機1800aは、あらかじめ受信した音声データ、および解析した同期時刻を保持しておくことで、イヤホンが接続された際に速やかに音声の同期再生を行う。
 図408は、実施の形態32における受信機1800aの処理フローの他の例を示す図である。
 受信機1800aは、まず、送信機1800dからIDを受信する(ステップS1821)。つまり、受信機1800aは、送信機1800dのID、または、送信機1800dに表示されているコンテンツのID、を示す可視光信号を受信する。
 次に、受信機1800aは、その受信したIDに関連付けられている情報(コンテンツ)を、サーバからダウンロードする(ステップS1822)。または、受信機1800aは、受信機1800aの内部にあるデータ保持部からその情報を読み出す。以下、この情報を関連情報という。
 次に、受信機1800aは、その関連情報に含まれている同期再生フラグがONを示しているか否かを判定する(ステップS1823)。ここで、同期再生フラグがONを示していないと判定すると(ステップS1823のN)、受信機1800aは、その関連情報によって示される内容を出力する(ステップS1824)。つまり、その内容が画像である場合には、受信機1800aは画像を表示し、その内容が音声である場合には、受信機1800aは音声を出力する。
 一方、受信機1800aは、同期再生フラグがONを示していると判定すると(ステップS1823のY)、さらに、その関連情報に含まれている時刻合わせモードが、送信機基準モードに設定されているか、絶対時刻モードに設定されているかを判定する(ステップS1825)。絶対時刻モードに設定されていると判定すると、受信機1800aは、最後の時刻合わせが現在時刻から一定時間以内に行われたか否かを判定する(ステップS1826)。このときの時刻合わせは、所定の方法によって時刻情報を入手し、その時刻情報を用いて、受信機1800aに備えられている時計の時刻を、基準クロックの絶対時刻に合わせる処理である。所定の方法は、例えばGPS(Global Positioning System)電波またはNTP(Network Time Protocol)電波を用いた方法である。なお、上述の現在時刻は、端末装置である受信機1800aが可視光信号を受信した時刻であってもよい。
 受信機1800aは、最後の時刻合わせが一定時間以内に行われたと判定すると(ステップS1826のY)、受信機1800aの時計の時刻に基づいて関連情報を出力することにより、送信機1800dに表示されるコンテンツと関連情報とを同期させる(ステップS1827)。関連情報によって示される内容が例えば動画像である場合には、受信機1800aは、送信機1800dに表示されるコンテンツに同期するように、その動画像を表示する。関連情報によって示される内容が例えば音声である場合には、受信機1800aは、送信機1800dに表示されるコンテンツに同期するように、その音声を出力する。例えば、関連情報が音声を示す場合には、関連情報は、音声を構成する各フレームを含み、それらのフレームにはタイムスタンプが付けられている。受信機1800aは、自らの時計の時刻に該当するタイプスタンプが付けられているフレームを再生することによって、送信機1800dのコンテンツに同期された音声を出力する。
 受信機1800aは、最後の時刻合わせが一定時間以内に行われていないと判定すると(ステップS1826のN)、所定の方法で時刻情報の入手を試み、その時刻情報を入手することができたか否かを判定する(ステップS1828)。ここで、時刻情報を入手することができたと判定すると(ステップS1828のY)、受信機1800aは、その時刻情報を用いて、受信機1800aの時計の時刻を更新する(ステップS1829)。そして、受信機1800aは、上述のステップS1827の処理を実行する。
 また、ステップS1825において、時刻合わせモードが送信機基準モードであると判定したとき、または、ステップS1828において、時刻情報を入手することができなかったと判定すると(ステップS1828のN)、受信機1800aは、送信機1800dから時刻情報を取得する(ステップS1830)。つまり、受信機1800aは、可視光通信によって同期信号である時刻情報を送信機1800dから取得する。例えば、同期信号は、図404に示す時間パケット1および時間パケット2である。または、受信機1800aは、Bluetooth(登録商標)またはWi-Fiなどの電波によって時刻情報を送信機1800dから取得する。そして、受信機1800aは、上述のステップS1829およびS1827の処理を実行する。
 本実施の形態では、ステップS1829,S1830のように、GPS電波またはNTP電波によって、受信機1800aである端末装置の時計と基準クロックとの間で同期をとるための処理(時刻合わせ)が行われた時刻が、端末装置が可視光信号を受信した時刻から所定の時間より前である場合、送信機1800dから送信された可視光信号が示す時刻により、端末装置の時計と、送信機の時計との間で同期をとる。これにより、端末装置は、送信機1800dで再生される送信機側コンテンツと同期するタイミングに、コンテンツ(動画または音声)を再生することができる。
 図409Aは、実施の形態32における同期再生の具体的な方法を説明するための図である。同期再生の方法には、図409に示す方法a~eがある。
 (方法a)
 方法aでは、送信機1800dは、上記各実施の形態と同様に、ディスプレイを輝度変化させることよって、コンテンツIDおよびコンテンツ再生中時刻を示す可視光信号を出力する。コンテンツ再生中時刻は、コンテンツIDが送信機1800dから送信されたときに送信機1800dによって再生されている、コンテンツの一部であるデータの再生時刻である。データは、コンテンツが動画像であれば、その動画像を構成するピクチャまたはシーケンスなどであり、コンテンツが音声であれば、その音声を構成するフレームなどである。再生時刻は、例えば、コンテンツの先頭からの再生時間を時刻として示す。コンテンツが動画像であれば、再生時刻はPTS(Presentation Time Stamp)としてコンテンツに含まれている。つまり、コンテンツには、そのコンテンツを構成するデータごとに、そのデータの再生時刻(表示時刻)が含まれている。
 受信機1800aは、上記各実施の形態と同様に送信機1800dを撮影することによって、その可視光信号を受信する。そして、受信機1800aは、可視光信号によって示されるコンテンツIDを含む要求信号をサーバ1800fに送信する。サーバ1800fは、その要求信号を受信し、要求信号に含まれるコンテンツIDに対応付けられているコンテンツを受信機1800aに送信する。
 受信機1800aは、そのコンテンツを受信すると、そのコンテンツを、(コンテンツ再生中時刻+ID受信からの経過時間)の時点から再生する。ID受信からの経過時間は、コンテンツIDが受信機1800aによって受信されたときからの経過時間である。
 (方法b)
 方法bでは、送信機1800dは、上記各実施の形態と同様に、ディスプレイを輝度変化させることよって、コンテンツIDおよびコンテンツ再生中時刻を示す可視光信号を出力する。受信機1800aは、上記各実施の形態と同様に送信機1800dを撮影することによって、その可視光信号を受信する。そして、受信機1800aは、可視光信号によって示されるコンテンツIDおよびコンテンツ再生中時刻を含む要求信号をサーバ1800fに送信する。サーバ1800fは、その要求信号を受信し、要求信号に含まれるコンテンツIDに対応付けられているコンテンツのうち、コンテンツ再生中時刻以降の一部のコンテンツのみを受信機1800aに送信する。
 受信機1800aは、その一部のコンテンツを受信すると、その一部のコンテンツを、(ID受信からの経過時間)の時点から再生する。
 (方法c)
 方法cでは、送信機1800dは、上記各実施の形態と同様に、ディスプレイを輝度変化させることよって、送信機IDおよびコンテンツ再生中時刻を示す可視光信号を出力する。送信機IDは、送信機を識別するための情報である。
 受信機1800aは、上記各実施の形態と同様に送信機1800dを撮影することによって、その可視光信号を受信する。そして、受信機1800aは、可視光信号によって示される送信機IDを含む要求信号をサーバ1800fに送信する。
 サーバ1800fは、送信機IDごとに、その送信機IDの送信機によって再生されるコンテンツのタイムテーブルである再生予定表を保持している。さらに、サーバ1800fは時計を備えている。このようなサーバ1800fは、その要求信号を受信すると、その要求信号に含まれる送信機IDと、サーバ1800fの時計の時刻(サーバ時刻)とに対応付けられているコンテンツを、再生中のコンテンツとして、再生予定表から特定する。そして、サーバ1800fは、そのコンテンツを受信機1800aに送信する。
 受信機1800aは、そのコンテンツを受信すると、そのコンテンツを、(コンテンツ再生中時刻+ID受信からの経過時間)の時点から再生する。
 (方法d)
 方法dでは、送信機1800dは、上記各実施の形態と同様に、ディスプレイを輝度変化させることよって、送信機IDおよび送信機時刻を示す可視光信号を出力する。送信機時刻は、送信機1800dに備えられている時計によって示される時刻である。
 受信機1800aは、上記各実施の形態と同様に送信機1800dを撮影することによって、その可視光信号を受信する。そして、受信機1800aは、可視光信号によって示される送信機IDおよび送信機時刻を含む要求信号をサーバ1800fに送信する。
 サーバ1800fは、上述の再生予定表を保持している。このようなサーバ1800fは、その要求信号を受信すると、その要求信号に含まれる送信機IDと送信機時刻とに対応付けられているコンテンツを、再生中のコンテンツとして、再生予定表から特定する。さらに、サーバ1800fは、送信機時刻からコンテンツ再生中時刻を特定する。つまり、サーバ1800fは、特定されたコンテンツの再生開始時刻を再生予定表から見つけ出し、送信機時刻と再生開始時刻との間の時間をコンテンツ再生中時刻として特定する。そして、サーバ1800fは、そのコンテンツおよびコンテンツ再生中時刻を受信機1800aに送信する。
 受信機1800aは、そのコンテンツおよびコンテンツ再生中時刻を受信すると、そのコンテンツを、(コンテンツ再生中時刻+ID受信からの経過時間)の時点から再生する。
 このように、本実施の形態では、可視光信号は、その可視光信号が送信機1800dから送信される時刻を示す。したがって、端末装置である受信機1800aは、可視光信号が送信機1800dから送信される時刻(送信機時刻)に対応付けられたコンテンツを受信することができる。例えば、送信機時刻が5時43分であれば、5時43分に再生されるコンテンツを受信することができる。
 また、本実施の形態では、サーバ1800fは、それぞれ時刻に関連付けられている複数のコンテンツを有している。しかし、可視光信号が示す時刻に関連付けられたコンテンツがサーバ1800fに存在しない場合がある。このような場合には、端末装置である受信機1800aは、その複数のコンテンツのうち、可視光信号が示す時刻に最も近く、かつ、可視光信号が示す時刻の後の時刻に関連付けられているコンテンツを受信してもよい。これにより、可視光信号が示す時刻に関連付けられたコンテンツがサーバ1800fに存在しなくても、そのサーバ1800fにある複数のコンテンツの中から、適切なコンテンツを受信することができる。
 また、本実施の形態における再生方法は、光源の輝度変化により可視光信号を送信する送信機1800dから、可視光信号を受信機1800a(端末装置)のセンサにより受信する信号受信ステップと、受信機1800aから、可視光信号に対応付けられたコンテンツを要求するための要求信号をサーバ1800fに送信する送信ステップと、受信機1800aが、サーバ1800fからコンテンツを受信するコンテンツ受信ステップと、コンテンツを再生する再生ステップとを含む。可視光信号は、送信機IDと送信機時刻とを示す。送信機IDはID情報である。また、送信機時刻は、送信機1800dの時計によって示される時刻であり、その可視光信号が送信機1800dから送信される時刻である。そして、コンテンツ受信ステップでは、受信機1800aは、可視光信号によって示される送信機IDおよび送信機時刻に対応付けられたコンテンツを受信する。これにより、受信機1800aは、送信機IDおよび送信機時刻に対して適切なコンテンツを再生することができる。
 (方法e)
 方法eでは、送信機1800dは、上記各実施の形態と同様に、ディスプレイを輝度変化させることよって、送信機IDを示す可視光信号を出力する。
 受信機1800aは、上記各実施の形態と同様に送信機1800dを撮影することによって、その可視光信号を受信する。そして、受信機1800aは、可視光信号によって示される送信機IDを含む要求信号をサーバ1800fに送信する。
 サーバ1800fは、上述の再生予定表を保持し、さらに、時計を備えている。このようなサーバ1800fは、その要求信号を受信すると、その要求信号に含まれる送信機IDとサーバ時刻とに対応付けられているコンテンツを、再生中のコンテンツとして、再生予定表から特定する。なお、サーバ時刻は、サーバ1800fの時計によって示される時刻である。さらに、サーバ1800fは、特定されたコンテンツの再生開始時刻も再生予定表から見つけ出す。そして、サーバ1800fは、そのコンテンツおよびコンテンツ再生開始時刻を受信機1800aに送信する。
 受信機1800aは、そのコンテンツおよびコンテンツ再生開始時刻を受信すると、そのコンテンツを、(受信機時刻-コンテンツ再生開始時刻)の時点から再生する。なお、受信機時刻は、受信機1800aに備えられている時計によって示される時刻である。
 このように、本実施の形態における再生方法は、光源の輝度変化により可視光信号を送信する送信機1800dから、可視光信号を受信機1800a(端末装置)のセンサにより受信する信号受信ステップと、受信機1800aから、可視光信号に対応付けられたコンテンツを要求するための要求信号をサーバ1800fに送信する送信ステップと、受信機1800aが、各時刻と、各時刻に再生されるデータとを含むコンテンツを、サーバ1800fから受信するコンテンツ受信ステップと、そのコンテンツのうち、受信機1800aに備えられている時計の時刻に該当するデータを再生する再生ステップとを含む。したがって、受信機1800aは、そのコンテンツにおけるデータを、間違った時刻に再生してしまうことなく、そのコンテンツに示される正しい時刻に、適切に再生することができる。また、送信機1800dにおいても、そのコンテンツに関連するコンテンツ(送信機側コンテンツ)が再生されていれば、受信機1800aは、コンテンツをその送信機側コンテンツに適切に同期させて再生することができる。
 なお、上記方法c~eであっても、方法bのように、サーバ1800fは、コンテンツのうち、コンテンツ再生中時刻以降の一部のコンテンツのみを受信機1800aに送信してもよい。
 また、上記方法a~eでは、受信機1800aは、サーバ1800fに要求信号を送信して、サーバ1800fから必要なデータを受信するが、このよう送受信をすることなく、サーバ1800fにあるデータを予め保持しておいてもよい。
 図409Bは、上述の方法eによって同期再生を行う再生装置の構成を示すブロック図である。
 再生装置B10は、上述の方法eによって同期再生を行う受信機1800aまたは端末装置であって、センサB11と、要求信号送信部B12と、コンテンツ受信部B13と、時計B14と、再生部B15とを備えている。
 センサB11は、例えばイメージセンサであって、光源の輝度変化により可視光信号を送信する送信機1800dから、その可視光信号を受信する。要求信号送信部B12は、可視光信号に対応付けられたコンテンツを要求するための要求信号をサーバ1800fに送信する。コンテンツ受信部B13は、各時刻と、各時刻に再生されるデータとを含むコンテンツを、サーバ1800fから受信する。再生部B15は、そのコンテンツのうち、時計B14の時刻に該当するデータを再生する。
 図409Cは、上述の方法eによって同期再生を行う端末装置の処理動作を示すフローチャートである。
 再生装置B10は、上述の方法eによって同期再生を行う受信機1800aまたは端末装置であって、ステップSB11~SB15の各処理を実行する。
 ステップSB11では、光源の輝度変化により可視光信号を送信する送信機1800dから、その可視光信号を受信する。ステップSB12では、可視光信号に対応付けられたコンテンツを要求するための要求信号をサーバ1800fに送信する。ステップSB13では、各時刻と、各時刻に再生されるデータとを含むコンテンツを、サーバ1800fから受信する。ステップSB15では、そのコンテンツのうち、時計B14の時刻に該当するデータを再生する。
 このように、本実施の形態における再生装置B10および再生方法では、コンテンツにおけるデータを、間違った時刻に再生してしまうことなく、そのコンテンツに示される正しい時刻に、適切に再生することができる。
 なお、本実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、本実施の形態の再生装置B10などを実現するソフトウェアは、図409Cに示すフローチャートに含まれる各ステップをコンピュータに実行させるプログラムである。
 図410は、実施の形態32における同期再生の事前準備を説明するための図である。
 受信機1800aは、同期再生を行うために、受信機1800aに備えられている時計の時刻を基準クロックの時刻に合わせる時刻合わせを行う。この時刻合わせのために、受信機1800aは、以下の(1)~(5)の処理を行う。
 (1)受信機1800aは、信号を受信する。この信号は、送信機1800dのディスプレイの輝度変化によって送信される可視光信号であっても、無線機器からのWi-FiまたはBluetooth(登録商標)に基づく電波信号であってもよい。または、受信機1800aは、このような信号を受信する代わりに、受信機1800aの位置を示す位置情報を例えばGPSなどによって取得する。そして、受信機1800aは、その位置情報によって、受信機1800aが予め定められた場所または建物に入ったことを認識する。
 (2)受信機1800aは、上記信号を受信すると、または、予め定められた場所に入ったことを認識すると、その信号または場所などに関連付けられているデータ(関連情報)を要求する要求信号をサーバ(可視光ID解決サーバ)1800fに送信する。
 (3)サーバ1800fは、上述のデータと、受信機1800aに時刻合わせをさせるための時刻合わせ要求とを受信機1800aに送信する。
 (4)受信機1800aは、データと時刻合わせ要求とを受信すると、時刻合わせ要求をGPSタイムサーバ、NTPサーバまたは、電気通信事業者(キャリア)の基地局に送信する。
 (5)上記サーバまたは基地局は、その時刻合わせ要求を受信すると、現在時刻(基準クロックの時刻または絶対時刻)を示す時刻データ(時刻情報)を受信機1800aに送信する。受信機1800aは、自らに備えられている時計の時刻を、その時刻データに示される現在時刻に合わせることによって、時刻合わせを行う。
 このように本実施の形態では、受信機1800a(端末装置)に備えられている時計と、基準クロックとの間では、GPS(Global Positioning System)電波、または、NTP(Network Time Protocol)電波によって、同期がとられている。したがって、受信機1800aは、基準クロックにしたがった適切な時刻に、その時刻に該当するデータを再生することができる。
 図411は、実施の形態32における受信機1800aの応用例を示す図である。
 受信機1800aは、上述のようにスマートフォンとして構成されて、例えば、透光性を有する樹脂またはガラスなどの部材で構成されたホルダー1810に保持されて利用される。このホルダー1810は、背板部1810aと、背板部1810aに立設された係止部1810bとを有する。受信機1800aは、背板部1810aと係止部1810bとの間に、その背板部1810aに沿わせるように挿入される。
 図412Aは、実施の形態32における、ホルダー1810に保持された受信機1800aの正面図である。
 受信機1800aは、上述のように挿入された状態でホルダー1810に保持される。このとき、係止部1810bは、受信機1800aの下部と係止し、その下部を背板部1810aと挟持する。また、受信機1800aの背面は、背板部1810aと対向し、受信機1800aのディスプレイ1801は露出した状態となる。
 図412Bは、実施の形態32における、ホルダー1810に保持された受信機1800aの背面図である。
 また、背板部1810aには、通孔1811が形成され、その通孔1811の近くに可変フィルタ1812が取り付けられている。受信機1800aがホルダー1810に保持されると、受信機1800aのカメラ1802は、背板部1810aから通孔1811を介して露出する。また、受信機1800aのフラッシュライト1803は、可変フィルタ1812に対向する。
 可変フィルタ1812は、例えば円盤状に形成され、それぞれ扇状で同じサイズの3つの色フィルタ(赤色フィルタ、黄色フィルタ、および緑色フィルタ)を有する。また、可変フィルタ1812は、可変フィルタ1812の中心を軸にして回転自在に背板部1810aに取り付けられている。また、赤色フィルタは、赤色の透光性を有するフィルタであって、黄色フィルタは、黄色の透光性を有するフィルタであって、緑色フィルタは、緑色の透光性を有するフィルタである。
 したがって、可変フィルタ1812が回転されて、例えば、赤色フィルタがフラッシュライト1803aに対向する位置に配置される。この場合、フラッシュライト1803aから放たれる光は、赤色フィルタを透過することによって、赤色の光としてホルダー1810の内部で拡散する。その結果、ホルダー1810の略全体が赤色に発光する。
 同様に、可変フィルタ1812が回転されて、例えば、黄色フィルタがフラッシュライト1803aに対向する位置に配置される。この場合、フラッシュライト1803aから放たれる光は、黄色フィルタを透過することによって、黄色の光としてホルダー1810の内部で拡散する。その結果、ホルダー1810の略全体が黄色に発光する。
 同様に、可変フィルタ1812が回転されて、例えば、緑色フィルタがフラッシュライト1803aに対向する位置に配置される。この場合、フラッシュライト1803aから放たれる光は、緑色フィルタを透過することによって、緑色の光としてホルダー1810の内部で拡散する。その結果、ホルダー1810の略全体が緑色に発光する。
 つまり、ホルダー1810は、ペンライトのように、赤色、黄色または緑色に点灯する。
 図413は、実施の形態32における、ホルダー1810に保持された受信機1800aのユースケースを説明するための図である。
 例えば、ホルダー1810に保持された受信機1800aであるホルダー付受信機は、遊園地などで利用される。つまり、遊園地において移動するフロートに向けられた複数のホルダー付受信機は、そのフロートから流れる音楽に合わせて、同期しながら点滅する。つまり、フロートは、上記各実施の形態における送信機として構成され、フロートに取り付けられている光源の輝度変化によって可視光信号を送信する。例えば、フロートは、フロートのIDを示す可視光信号を送信する。そして、ホルダー付受信機は、上記各実施の形態と同様に、受信機1800aのカメラ1802の撮影によって、その可視光信号、つまりIDを受信する。IDを受信した受信機1800aは、そのIDに対応付けられたプログラムを例えばサーバから取得する。このプログラムは、所定の各時刻において受信機1800aのフラッシュライト1803を点灯させる命令からなる。この所定の各時刻は、フロートから流れる音楽に合わせて(同期するように)設定されている。そして、受信機1800aは、そのプログラムにしたがって、フラッシュライト1803aを点滅させる。
 これにより、そのIDを受信した各受信機1800aのホルダー1810は、そのIDのフロートから流れる音楽に合わせて同じタイミングで点灯することを繰り返す。
 ここで、各受信機1800aは、設定されている色フィルタ(以下、設定フィルタという)に応じてフラッシュライト1803の点滅を行う。設定フィルタとは、受信機1800aのフラッシュライト1803に対向している色フィルタである。また、各受信機1800aは、ユーザによる操作に基づいて、現在の設定フィルタを認識している。または、各受信機1800aは、カメラ1802の撮影によって得られる画像の色などに基づいて、現在の設定フィルタを認識している。
 つまり、IDを受信した複数の受信機1800aのうち、所定の時刻では、設定フィルタが赤色フィルタであることを認識している複数の受信機1800aのホルダー1810のみが同時に点灯する。次の時刻では、設定フィルタが緑色フィルタであることを認識している複数の受信機1800aのホルダー1810のみが同時に点灯する。さらに次の時刻では、設定フィルタが黄色フィルタであることを認識している複数の受信機1800aのホルダー1810のみが同時に点灯する。
 このように、ホルダー1810に保持される受信機1800aは、上述の図401~図407に示す同期再生と同様に、フロートの音楽と、他のホルダー1810に保持される受信機1800aとに同期して、フラッシュライト1803、すなわちホルダー1810を点滅させる。
 図414は、実施の形態32における、ホルダー1810に保持された受信機1800aの処理動作を示すフローチャートである。
 受信機1800aは、フロートからの可視光信号によって示されるフロートのIDを受信する(ステップS1831)。次に、受信機1800aは、そのIDに対応付けられているプログラムをサーバから取得する(ステップS1832)。次に、受信機1800aは、そのプログラムを実行することにより、設定フィルタに応じた所定の各時刻にフラッシュライト1803を点灯させる(ステップS1833)。
 ここで、受信機1800aは、受信したIDまたは取得したプログラムに応じた画像をディスプレイ1801に表示させてもよい。
 図415は、実施の形態32における受信機1800aによって表示される画像の一例を示す図である。
 受信機1800aは、例えばサンタクロースのフロートからIDを受信すると、図415の(a)に示すように、サンタクロースの画像を表示させる。さらに、受信機1800aは、図415の(b)に示すように、フラッシュライト1803の点灯と同時に、そのサンタクロースの画像の背景色を、設定フィルタの色に変更してもよい。例えば、設定フィルタの色が赤色の場合には、フラッシュライト1803の点灯によって、ホルダー1810が赤色に点灯すると同時に、赤色の背景色を有するサンタクロースの画像がディスプレイ1801に表示される。つまり、ホルダー1810の点滅と、ディスプレイ1801の表示とが同期する。
 図416は、実施の形態32におけるホルダーの他の例を示す図である。
 ホルダー1820は、上述のホルダー1810と同様に構成されているが、通孔1811および可変フィルタ1812がない。このようなホルダー1820は、背板部1820aに受信機1800aのディスプレイ1801が向けられた状態で、その受信機1800aを保持する。この場合、受信機1800aは、フラッシュライト1803の代わりに、ディスプレイ1801を発光させる。これにより、ディスプレイ1801からの光がホルダー1820の略全体に拡散する。したがって、受信機1800aが、上述のプログラムに応じて、赤色の光でディスプレイ1801を発光させると、ホルダー1820は赤色に点灯する。同様に、受信機1800aが、上述のプログラムに応じて、黄色の光でディスプレイ1801を発光させると、ホルダー1820は黄色に点灯する。受信機1800aが、上述のプログラムに応じて、緑色の光でディスプレイ1801を発光させると、ホルダー1820は緑色に点灯する。このようなホルダー1820を用いれば、可変フィルタ1812の設定を省くことができる。
 (実施の形態33)
 (可視光信号)
 図417A~図417Dは、実施の形態33における可視光信号の一例を示す図である。
 送信機は、上述と同様、例えば図417Aに示すように、4PPMの可視光信号を生成し、この可視光信号にしたがって輝度変化する。具体的には、送信機は、4スロットを一信号単位に割り当て、複数の信号単位からなる可視光信号を生成する。信号単位は、スロットごとにHigh(H)またはLow(L)を示す。そして、送信機は、Hのスロットにおいて明るく発光し、Lのスロットにおいて暗く発光または消灯する。例えば、1スロットは、1/9600秒の時間に相当する期間である。
 また、送信機は、例えば図417Bに示すように、一信号単位に割り当てられるスロット数が可変となる可視光信号を生成してもよい。この場合、信号単位では、1つ以上の連続するスロットにおいてHを示す信号と、そのHの信号に続く1つのスロットにおいてLを示す信号とからなる。Hのスロット数が可変であるため、信号単位の全体のスロット数が可変となる。例えば図417Bに示すように、送信機は、3スロットの信号単位、4スロットの信号単位、6スロットの信号単位の順に、それらの信号単位を含む可視光信号を生成する。そして、送信機は、この場合にも、Hのスロットにおいて明るく発光し、Lのスロットにおいて暗く発光または消灯する。
 また、送信機は、例えば図417Cに示すように、複数のスロットを一信号単位に割り当てることなく、任意の期間(信号単位期間)を一信号単位に割り当ててもよい。この信号単位期間は、Hの期間と、そのHの期間に続くLの期間とからなる。Hの期間は、変調前の信号に応じて調整される。Lの期間は、固定であって、上記スロットに相当する期間であってもよい。また、Hの期間およびLの期間はそれぞれ例えば100μs以上の期間である。例えば図417Cに示すように、送信機は、信号単位期間が210μsの信号単位、信号単位期間が220μsの信号単位、信号単位期間が230μsの信号単位の順に、それらの信号単位を含む可視光信号を送信する。そして、送信機は、この場合にも、Hの期間において明るく発光し、Lの期間において暗く発光または消灯する。
 また、送信機は、例えば図417Dに示すように、LとHとを交互に示す信号を可視光信号として生成してもよい。この場合、可視光信号においてLの期間と、Hの期間とは、それぞれ変調前の信号に応じて調整される。例えば図417Dに示すように、送信機は、100μsの期間においてHを示し、次に、120μsの期間においてLを示し、次に、110μsの期間においてHを示し、さらに、200μsの期間においてLを示す可視光信号を送信する。そして、送信機は、この場合にも、Hの期間において明るく発光し、Lの期間において暗く発光または消灯する。
 図418は、実施の形態33における可視光信号の構成を示す図である。
 可視光信号は、例えば、信号1と、その信号1に対応する明るさ調整信号と、信号2と、その信号2に対応する明るさ調整信号とを含む。送信機は、変調前の信号を変調することによって信号1および信号2を生成すると、それらの信号に対する明るさ調整信号を生成し、上述の可視光信号を生成する。
 信号1に対応する明るさ調整信号は、信号1にしたがった輝度変化による明るさの増減を補う信号である。信号2に対応する明るさ調整信号は、信号2にしたがった輝度変化による明るさの増減を補う信号である。ここで、信号1と、その信号1の明るさ調整信号とにしたがった輝度変化によって、明るさB1が表現され、信号2と、その信号2の明るさ調整信号とにしたがった輝度変化によって、明るさB2が表現される。本実施の形態における送信機は、その明るさB1と明るさB2とが等しくなるように、信号1および信号2のそれぞれの明るさ調整信号を可視光信号の一部として生成する。これにより、明るさが一定に保たれ、ちらつきを抑えることができる。
 また、送信機は、上述の信号1を生成するときには、データ1と、そのデータ1に続くプリアンブル(ヘッダ)と、そのプリンブルに続くデータ1とを含む信号1を生成する。ここで、プリアンブルは、その前後に配置されているデータ1に対応する信号である。例えば、このプリアンブルは、データ1を読み出すための識別子となる信号である。このように、2つのデータ1と、それらの間に配置されるプリアンブルとから信号1が構成されているため、受信機は、前にあるデータ1の途中から可視光信号を読み出しても、そのデータ1(すなわち信号1)を正しく復調することができる。
 (輝線画像)
 図419は、実施の形態33における受信機の撮像によって得られる輝線画像の一例を示す図である。
 受信機は、上述のように、輝度変化する送信機を撮像することによって、その送信機から送信される可視光信号を輝線パターンとして含む輝線画像を取得する。このような撮像によって、可視光信号が受信機に受信される。
 例えば、図419に示すように、受信機は、イメージセンサに含まれるN個の露光ラインを用いて、時刻t1に撮像することによって、それぞれ輝線パターンが現れている領域aおよび領域bを含む輝線画像を取得する。領域aおよび領域bはそれぞれ、被写体である送信機が輝度変化することによって輝線パターンが現れる領域である。
 ここで、受信機は、領域aおよび領域bの輝線パターンから可視光信号を復調する。しかし、受信機は、復調された可視光信号だけでは不十分と判定すると、そのN個の露光ラインのうち、領域aに該当するM(M<N)個の連続する露光ラインのみを用いて、時刻t2に撮像する。これにより、受信機は、領域aおよび領域bのうち領域aのみを含む輝線画像を取得する。受信機は、このような撮像を、時刻t3~t5においても繰り返し実施する。その結果、領域aに対応する被写体からの十分なデータ量の可視光信号を高速に受信することができる。さらに、受信機は、そのN個の露光ラインのうち、領域bに該当するL(L<N)個の連続する露光ラインのみを用いて、時刻t6に撮像する。これにより、受信機は、領域aおよび領域bのうち領域bのみを含む輝線画像を取得する。受信機は、このような撮像を、時刻t7~t9においても繰り返し実施する。その結果、領域bに対応する被写体からの十分なデータ量の可視光信号を高速に受信することができる。
 また、受信機は、時刻t10およびt11において、時刻t2~t5と同様の撮像を行うことによって、領域aのみを含む輝線画像を取得してもよい。さらに、受信機は、時刻t12およびt13において、時刻t6~t9と同様の撮像を行うことによって、領域bのみを含む輝線画像を取得してもよい。
 また、上述の例では、受信機は、可視光信号が不十分であると判定したときに、時刻t2~t5において、領域aのみを含む輝線画像の連写を行ったが、時刻t1の撮像によって得られた画像に輝線が現れていれば、上述の連写を行ってもよい。同様に、受信機は、可視光信号が不十分であると判定したときに、時刻t6~t9において、領域bのみを含む輝線画像の連写を行ったが、時刻t1の撮像によって得られた画像に輝線が現れていれば、上述の連写を行ってもよい。また、受信機は、領域aのみを含む輝線画像の取得と、領域bのみを含む輝線画像の取得とを交互に行ってもよい。
 なお、上記の領域aに該当するM個の連続する露光ラインは、領域aの生成に寄与する露光ラインであり、上記の領域bに該当するL個の連続する露光ラインは、領域bの生成に寄与する露光ラインである。
 図420は、実施の形態33における受信機の撮像によって得られる輝線画像の他の例を示す図である。
 例えば、図420に示すように、受信機は、イメージセンサに含まれるN個の露光ラインを用いて、時刻t1に撮像することによって、それぞれ輝線パターンが現れている領域aおよび領域bを含む輝線画像を取得する。領域aおよび領域bはそれぞれ、上述と同様に、被写体である送信機が輝度変化することによって輝線パターンが現れる領域である。また、領域aおよび領域bはそれぞれ、輝線または露光ラインの方向に沿って互いに重なる領域(以下、重なり領域という)を有する。
 ここで、受信機は、その領域aおよび領域bの輝線パターンから復調された可視光信号が不十分と判定すると、そのN個の露光ラインのうち、重なり領域に該当するP(P<N)個の連続する露光ラインのみを用いて、時刻t2に撮像する。これにより、受信機は、領域aおよび領域bのそれぞれの重なり領域のみを含む輝線画像を取得する。受信機は、このような撮像を、時刻t3およびt4においても繰り返し実施する。その結果、領域aおよび領域bのそれぞれに対応する被写体からの十分なデータ量の可視光信号を、略同時に、且つ高速に受信することができる。
 図421は、実施の形態33における受信機の撮像によって得られる輝線画像の他の例を示す図である。
 例えば、図421に示すように、受信機は、イメージセンサに含まれるN個の露光ラインを用いて、時刻t1に撮像することによって、輝線パターンが不明瞭に現れている部分aと、明瞭に現れている部分bとからなる領域を含む輝線画像を取得する。この領域は、上述と同様に、被写体である送信機が輝度変化することによって輝線パターンが現れる領域である。
 このような場合、受信機は、上述の領域の輝線パターンから復調された可視光信号が不十分と判定すると、そのN個の露光ラインのうち、部分bに該当するQ(Q<N)個の連続する露光ラインのみを用いて、時刻t2に撮像する。これにより、受信機は、上述の領域のうち部分bのみを含む輝線画像を取得する。受信機は、このような撮像を、時刻t3およびt4においても繰り返し実施する。その結果、上述の領域に対応する被写体からの十分なデータ量の可視光信号を、高速に受信することができる。
 また、受信機は、部分bのみを含む輝線画像の連写が行われた後に、さらに、部分aのみを含む輝線画像の連写を行ってもよい。
 上述のように、輝線画像において輝線パターンが現れている領域(または部分)が複数含まれている場合には、受信機は、それぞれの領域に順番を付けて、その順番にしたがって、その領域のみを含む輝線画像の連写を行う。この場合、その順番は、信号の大きさ(領域または部分の広さ)に応じた順番であっても、輝線の明瞭度に応じた順番であってもよい。また、その順番は、それらの領域に対応する被写体からの光の色に応じた順番であってもよい。例えば、最初の連写は、赤色の光に対応する領域に対して行われ、次の連写では、白色の光に対応する領域に対して行われる。また、赤色の光に対する領域の連写だけが行われてもよい。
 (HDR合成)
 図422は、実施の形態33における受信機の、HDR合成を行うカメラシステムへの適応を説明するための図である。
 車両には、衝突防止などのためにカメラシステムが搭載されている。このカメラシステムは、カメラの撮像によって得られた画像を用いてHDR(High Dynamic Range)合成を行う。このHDR合成によって、輝度のダイナミックレンジが広い画像が得られる。カメラシステムは、この広いダイナミックレンジの画像に基づいて、周辺の車両、障害物または人などの認識を行う。
 例えば、カメラシステムは、設定モードとして通常設定モードおよび通信設定モードとを有する。設定モードが通常設定モードの場合、例えば図422に示すように、カメラシステムは、時刻t1~t4において、それぞれ同じ1/100秒のシャッタースピードで、且つそれぞれ異なる感度で、4回の撮像を行う。カメラシステムは、この4回の撮像によって得られた4枚の画像を用いてHDR合成を行う。
 一方、設定モードが通信設定モードの場合、例えば図422に示すように、カメラシステムは、時刻t5~t7において、それぞれ同じ1/100秒のシャッタースピードで、且つそれぞれ異なる感度で、3回の撮像を行う。さらに、カメラシステムは、時刻t8において、1/10000秒のシャッタースピードで、且つ、最大の感度(例えばISO=1600)で撮像を行う。カメラシステムは、この4回の撮像のうちの、最初の3回の撮像によって得られた3枚の画像を用いてHDR合成を行う。さらに、カメラシステムは、上述の4回の撮像のうちの最後の撮像によって可視光信号を受信し、その撮像によって得られた画像に現れている輝線パターンを復調する。
 また、設定モードが通信設定モードの場合には、カメラシステムは、HDR合成を行わなくてもよい。例えば図422に示すように、カメラシステムは、時刻t9において、1/100秒のシャッタースピードで、且つ低い感度(例えば、ISO=200)で、撮像を行う。さらに、カメラシステムは、時刻t10~t12において、1/10000秒のシャッタースピードで、且つ、互いに異なる感度で3回の撮像を行う。カメラシステムは、この4回の撮像のうちの、最初の1回の撮像によって得られた画像から、周辺の車両、障害物または人などの認識を行う。さらに、カメラシステムは、上述の4回の撮像のうちの最後の3回の撮像によって可視光信号を受信し、その撮像によって得られた画像に現れている輝線パターンを復調する。
 なお、図422に示す例では、時刻t10~t12のそれぞれにおいて、互いに異なる感度で撮像が行われているが、同じ感度で撮像を行ってもよい。
 このようなカメラシステムでは、HDR合成を行うことができるとともに、可視光信号の受信も行うことができる。
 (セキュリティ)
 図423は、実施の形態33における可視光通信システムの処理動作を説明するための図である。
 この可視光通信システムは、例えばレジに配置される送信機と、受信機であるスマートフォンと、サーバとからなる。なお、スマートフォンとサーバとの間の通信と、送信機とサーバとの間の通信とは、それぞれセキュアな通信回線を介して行われる。また、送信機とスマートフォンとの間の通信は、可視光通信によって行われる。本実施の形態における可視光通信システムは、送信機からの可視光信号が正確にスマートフォンに受信されているか否かを判定することにより、セキュリティを確保する。
 具体的には、送信機は、時刻t1において輝度変化することによって、例えば値「100」を示す可視光信号をスマートフォンに送信する。スマートフォンは、時刻t2に、その可視光信号を受信すると、その値「100」を示す電波信号をサーバに送信する。サーバは、時刻t3に、スマートフォンからその電波信号を受信する。このとき、サーバは、その電波信号によって示される値「100」が、送信機からスマートフォンに受信された可視光信号の値であるか否かを判定するための処理を行う。すなわち、サーバは、例えば値「200」を示す電波信号を送信機に送信する。その電波信号を受信した送信機は、時刻t4において輝度変化することによって、その値「200」を示す可視光信号をスマートフォンに送信する。スマートフォンは、時刻t5に、その可視光信号を受信すると、その値「200」を示す電波信号をサーバに送信する。サーバは、時刻t6に、スマートフォンからその電波信号を受信する。サーバは、この受信した電波信号の示す値が、時刻t3において送信した電波信号の示す値と同一であるか否かを判別する。同一であれば、サーバは、時刻t3において受信した可視光信号によって示される値「100」が、送信機からスマートフォンに送信されて受信された可視光信号の値であると判定する。一方、同一でなければ、サーバは、時刻t3において受信した可視光信号によって示される値「100」が、送信機からスマートフォンに送信されて受信された可視光信号の値として疑わしいと判定する。
 これにより、サーバは、スマートフォンが送信機から可視光信号を確かに受信したか否かを判定することができる。つまり、スマートフォンが、送信機から可視光信号を受信していないにも関わらず、その可視光信号を受信したかのように見せかけて、信号をサーバに送信するのを防ぐことができる。
 なお、上述の例では、スマートフォンとサーバと送信機の間では、電波信号を用いた通信が行われているが、可視光信号以外の光信号による通信、または電気信号による通信が行われてもよい。また、送信機からスマートフォンに送信される可視光信号は、例えば、課金の値、クーポンの値、モンスターの値、またはビンゴの値などを示す。
 (車両関係)
 図424Aは、実施の形態33における可視光を用いた車車間通信の一例を示す図である。
 例えば、先頭の車両は、その車両に搭載されているセンサ(カメラなど)によって、進行方向に事故があることを認識する。このように事故を認識すると、先頭の車両は、テールランプを輝度変化させることによって、可視光信号を送信する。例えば、先頭の車両は、後続車両に対して減速を促す可視光信号を送信する。後続車両は、その車両に搭載されているカメラによる撮像によって、その可視光信号を受信すると、その可視光信号にしたがって、減速するとともに、さらに後続の車両に対して減速を促す可視光信号を送信する。
 このように、減速を促す可視光信号は、一列に並んで走行する複数の車両に先頭から順次送信され、その可視光信号を受信した車両は減速する。各車両への可視光信号の送信は早く行われるため、それらの複数の車両は略同時に同じように減速を行うことができる。したがって、事故による渋滞を緩和することができる。
 図424Bは、実施の形態33における可視光を用いた車車間通信の他の例を示す図である。
 例えば、前の車両は、テールランプを輝度変化させることによって、後の車両に対するメッセージ(例えば「ありがとう」)を示す可視光信号を送信してもよい。このメッセージは、例えばユーザによるスマートフォンへの操作によって生成される。そして、スマートフォンは、そのメッセージを示す信号を上述の前の車両に送信する。その結果、前の車両は、そのメッセージを示す可視光信号を後の車両に送信することができる。
 図425は、実施の形態33における複数のLEDの位置決定方法の一例を示す図である。
 例えば、車両のヘッドライトは、複数のLED(Light Emitting Diode)を有する。この車両の送信機は、ヘッドライトの複数のLEDのそれぞれを個別に輝度変化させることによって、それぞれのLEDから可視光信号を送信する。他の車両の受信機は、そのヘッドライトを有する車両を撮像することによって、それらの複数のLEDからの可視光信号を受信する。
 このとき、受信機は、受信された可視光信号が何れのLEDから送信された信号であるかを認識するために、その撮像によって得られた画像から、複数のLEDのそれぞれの位置を決定する。具体的には、受信機は、その受信機と同じ車両に取り付けられている加速度センサを利用し、その加速度センサによって示される重力の方向(例えば図425中の下向き矢印)を基準に、複数のLEDのそれぞれの位置を決定する。
 なお、上述の例では、輝度変化する発光体の一例としてLEDをあげたが、LED以外の発光体であってもよい。
 図426は、実施の形態33における、車両を撮像することによって得られる輝線画像の一例を示す図である。
 例えば、走行する車両に搭載された受信機は、後の車両(後続車両)を撮像することにより、図426に示す輝線画像を取得する。後続車両に搭載された送信機は、車両の2つのヘッドライトを輝度変化させることによって、可視光信号を前の車両に送信する。前の車両の後部またはサイドミラーなどには、後方を撮像するカメラが取り付けられている。受信機は、後続車両を被写体としたそのカメラによる撮像によって、輝線画像を取得し、その輝線画像に含まれる輝線パターン(可視光信号)を復調する。これにより、後続車両の送信機から送信された可視光信号は、前の車両の受信機に受信される。
 ここで、受信機は、2つのヘッドライトから送信されて復調された可視光信号のそれぞれから、そのヘッドライトを有する車両のIDと、その車両の速度と、その車両の車種を取得する。受信機は、2つの可視光信号のそれぞれのIDが同じであれば、その2つの可視光信号が同じ車両から送信された信号であると判断する。そして、受信機は、その車両の車種から、その車両が有する2つのヘッドライトの間の長さ(ライト間距離)を特定する。さらに、受信機は、輝線画像に含まれている、輝線パターンが現れている2つの領域の間の距離L1を計測する。そして、受信機は、その距離L1と、ライト間距離とを用いた三角測量によって、その受信機を搭載する車両から、後続車両までの距離(車間距離)を算出する。受信機は、その車間距離と、可視光信号から取得された車両の速度とに基づいて、衝突の危険性を判断し、その判断結果に応じた警告を、車両の運転者に報知する。これにより、車両の衝突を回避することができる。
 なお、上述の例では、受信機は、可視光信号に含まれる車種からライト間距離を特定したが、車種以外の情報からライト間距離を特定してもよい。また、上述の例では、受信機は、衝突の危険性があると判断したときには、警告を発するが、その危険性を回避する動作を車両に実行させるための制御信号を車両に出力してもよい。例えば、その制御信号は、車両を加速させるための信号、または、車両に車線変更させるための信号である。
 また、上述の例では、カメラは後続車両を撮像するが、対向車両を撮像してもよい。また、受信機は、カメラによる撮像によって得られる画像から、受信機(つまり受信機を備えた車両)周辺に霧が立ち込めていると判断すると、上述のような可視光信号を受信するモードとなってもよい。これにより、車両の受信機は、周辺に霧が立ち込めていても、対向車両のヘッドライトから送信される可視光信号を受信することによって、その対向車両の位置および速度を特定することができる。
 図427は、実施の形態33における受信機と送信機の適用例を示す図である。なお、図427は自動車を後ろから見た図である。
 例えば車の2つのテールランプ(発光部またはライト)を有する送信機(車)7006aは、送信機7006aの識別情報(ID)を例えばスマートフォンとして構成される受信機に送信する。受信機は、そのIDを受信すると、そのIDに対応付けられた情報をサーバから取得する。例えば、その情報は、その車または送信機のID、発光部間の距離、発光部の大きさ、車の大きさ、車の形状、車の重さ、車のナンバー、前方の様子、または危険の有無を示す情報である。また、受信機はこれらの情報を送信機7006aから直接取得してもよい。
 図428は、実施の形態33における受信機と送信機7006aの処理動作の一例を示すフローチャートである。
 送信機7006aのIDと、IDを受信した受信機に渡す情報とを関連付けてサーバに記憶する(7106a)。受信機に渡す情報には、送信機7006aとなる発光部の大きさや、発光部間の距離や、送信機7006aを構成要素の一部とする物体の形状や、重量や、車体ナンバー等の識別番号や、受信機から観察しづらい場所の様子や危険の有無などの情報を含めても良い。
 送信機7006aは、IDを送信する(7106b)。送信内容には、前記サーバのURLや、前記サーバに記憶させるとした情報を含めても良い。
 受信機は、送信されたID等の情報を受信する(7106c)。受信機は、受信したIDに紐付いた情報をサーバから取得する(7106d)。受信機は、受信した情報やサーバから取得した情報を表示する(7106e)。
 受信機は、発光部の大きさ情報と撮像した発光部の見えの大きさから、または、発光部間の距離情報と撮像した発光部間の距離から三角測量の要領で、受信機と発光部との距離を計算する(7106f)。受信機は、受信機から観察しづらい場所の様子や危険の有無などの情報を基に、危険の警告などを行う(7106g)。
 図429は、実施の形態33における受信機と送信機の適用例を示す図である。
 例えば車の2つのテールランプ(発光部またはライト)を有する送信機(車)7007bは、送信機7007bの情報を例えば駐車場の送受信装置として構成される受信機7007aに送信する。送信機7007bの情報は、送信機7007bの識別情報(ID)、車のナンバー、車の大きさ、車の形状、または車の重さを示す。受信機7007aは、その情報を受信すると、駐車の可否、課金情報、または駐車位置を送信する。なお、受信機7007aは、IDを受信して、ID以外の情報をサーバから取得してもよい。
 図430は、実施の形態33における受信機7007aと送信機7007bの処理動作の一例を示すフローチャートである。なお、送信機7007bは、送信だけでなく受信も行なうとため、車載送信機と車載受信機とを備える。
 送信機7007bのIDと、IDを受信した受信機7007aに渡す情報とを関連付けてサーバ(駐車場管理サーバ)に記憶する(7107a)。受信機7007aに渡す情報には、送信機7007bを構成要素の一部とする物体の形状や、重量や、車体ナンバー等の識別番号や、送信機7007bのユーザの識別番号や支払いのための情報を含めても良い。
 送信機7007b(車載送信機)は、IDを送信する(7107b)。送信内容には、前記サーバのURLや、前記サーバに記憶させる情報を含めても良い。駐車場の受信機7007a(駐車場の送受信装置)は、受信した情報を、駐車場を管理するサーバ(駐車場管理サーバ)に送信する(7107c)。駐車場管理サーバは、送信機7007bのIDをキーに、IDに紐付けられた情報を取得する(7107d)。駐車場管理サーバは、駐車場の空き状況を調査する(7107e)。
 駐車場の受信機7007a(駐車場の送受信装置)は、駐車の可否や、駐車位置情報、または、これらの情報を保持するサーバのアドレスを送信する(7107f)。または、駐車場管理サーバは、これらの情報を別のサーバに送信する。送信機(車載受信機)7007bは、上記で送信された情報を受信する(7107g)。または、車載システムは、別のサーバからこれらの情報を取得する。
 駐車場管理サーバは、駐車を行いやすいように駐車場の制御を行う(7107h)。例えば、立体駐車場の制御を行う。駐車場の送受信装置は、IDを送信する(7107i)。車載受信機(送信機7007b)は、車載受信機のユーザ情報と受信したIDとを基に、駐車場管理サーバに問い合わせを行う(7107j)。
 駐車場管理サーバは、駐車時間等に応じて課金を行う(7107k)。駐車場管理サーバは、駐車された車両にアクセスしやすいように駐車場の制御を行う(7107m)。例えば、立体駐車場の制御を行う。車載受信機(送信機7007b)は、駐車位置への地図を表示し、現在地からのナビゲーションを行う(7107n)。
 (電車内)
 図431は、実施の形態33における、電車の車内に適用される可視光通信システムの構成を示す図である。
 可視光通信システムは、例えば、電車内に配置された複数の照明装置1905と、ユーザが保持するスマートフォン1906と、サーバ1904と、電車内に配置されたカメラ1903とを備える。
 複数の照明装置1905のそれぞれは、上述の送信機として構成され、明かりを照らすとともに、輝度変化することによって可視光信号を送信する。この可視光信号は、その可視光信号を送信する照明装置1905のIDを示す。
 スマートフォン1906は、上述の受信機として構成され、照明装置1905を撮像することによって、その照明装置1905から送信される可視光信号を受信する。例えば、ユーザは、電車内でトラブル(例えば痴漢または喧嘩など)に巻き込まれた場合、スマートフォン1906にその可視光信号を受信させる。スマートフォン1906は、可視光信号を受信すると、その可視光信号によって示されるIDをサーバ1904に通知する。
 サーバ1904は、そのIDの通知を受けると、そのIDによって識別される照明装置1905によって照らし出される範囲を撮像範囲とするカメラ1903を特定する。そして、サーバ1904は、その特定されたカメラ1903に、照明装置1905によって照らし出される範囲を撮像させる。
 カメラ1903は、サーバ1904からの指示に応じて撮像し、その撮像によって得られた画像をサーバ1904に送信する。
 これにより、電車内でのトラブルの状況を示す画像を取得することができる。この画像は、トラブルの証拠として利用することができる。
 また、ユーザは、スマートフォン1906を操作することにより、カメラ1903の撮像によって得られた画像をサーバ1904からスマートフォン1906に送信させもよい。
 また、スマートフォン1906は、画面に撮像ボタンを表示し、その撮像ボタンがユーザによってタッチされると、撮像を促す信号をサーバ1904に送信してもよい。これにより、ユーザは、撮像のタイミングを自ら決定することができる。
 図432は、実施の形態33における、遊園地などの施設に適用される可視光通信システムの構成を示す図である。
 可視光通信システムは、例えば、施設に配置された複数のカメラ1903と、人に取り付けられる装身具1907とを備える。
 装身具1907は、例えば複数のLEDが取り付けられたリボンを有するカチューシャなどである。また、この装身具1907は、上述の送信機として構成され、複数のLEDを輝度変化させることによって、可視光信号を送信する。
 複数のカメラ1903のそれぞれは、上述の受信機として構成され、可視光通信モードと通常撮像モードとを有する。また、これらの複数のカメラ1903のそれぞれは、施設内の通り道における互いに異なる箇所に配置されている。
 具体的には、カメラ1903は、可視光通信モードに設定されているときに、装身具1907が被写体として撮像されると、その装身具1907から可視光信号を受信する。カメラ1903は、その可視光信号を受信すると、設定されているモードを可視光通信モードから通常撮像モードに切り替える。その結果、カメラ1903は、装身具1907を身につけている人を被写体として撮像する。
 したがって、装身具1907を付けた人が施設内の通り道を歩いていると、その人の近くにあるカメラ1903が次々にその人を撮像することになる。これにより、その人が施設で楽しんでいる様子を映す画像を自動的に取得して保存することができる。
 なお、カメラ1903は、可視光信号を受信すると直ちに通常撮像モードによる撮像を行うのではなく、例えばスマートフォンから撮像開始の指示を受けたときに、通常撮像モードによる撮像を行ってもよい。これにより、ユーザは、スマートフォンの画面に表示される撮像開始ボタンに触れるタイミングで、自らをカメラ1903に撮像させることができる。
 図433は、実施の形態33における、遊具とスマートフォンとからなる可視光通信システムの一例を示す図である。
 遊具1901は、例えば複数のLEDを備えた上述の送信機として構成されている。つまり、遊具1901は、その複数のLEDを輝度変化させることによって、可視光信号を送信する。
 スマートフォン1902は、その遊具1901を撮像することによって、その遊具1901から送信される可視光信号を受信する。そして、図433の(a)に示すように、スマートフォン1902は、その可視光信号を1回目に受信したときには、その可視光信号と1回目とに対応付けられている動画1を例えばサーバなどからダウンロードして再生する。一方、スマートフォン1902は、その可視光信号を2回目に受信したときには、図433の(b)に示すように、その可視光信号と2回目とに対応付けられている動画2を例えばサーバなどからダウンロードして再生する。
 つまり、スマートフォン1902は、同じ可視光信号を受信しても、その可視光信号を受信した回数に応じて、再生される動画を切り替える。可視光信号を受信した回数は、スマートフォン1902によってカウントされてもよく、サーバによってカウントされてもよい。または、スマートフォン1902は、複数回、同一の可視光信号を受信しても、連続して同じ動画を再生することはしない。または、スマートフォン1902は、同一の可視光信号に対応付けられている複数の動画のうち、既に再生された動画の出現確率を低下させて、出現確率の高い動画を優先的にダウンロードして再生してもよい。
 また、スマートフォン1902は、複数の店舗を有する施設の案内所に備えられているタッチパネルから送信される可視光信号を受信し、その可視光信号に応じた画像を表示してもよい。例えば、タッチパネルは、施設の概要を示す初期画面を表示しているときには、その施設の概要を示す可視光信号を輝度変化によって送信している。したがって、スマートフォンは、その初期画面を表示しているタッチパネルを撮像することによって、その可視光信号を受信すると、施設の概要を示す画像を自らのディスプレイに表示することができる。ここで、ユーザによってタッチパネルが操作されると、タッチパネルは、例えば特定の店舗の情報を示す店舗画像を表示する。このとき、タッチパネルは、その特定の店舗の情報を示す可視光信号を送信している。したがって、スマートフォンは、その店舗画像を表示しているタッチパネルを撮像することによって、その可視光信号を受信すると、特定の店舗の情報を示す店舗画像を表示することができる。このように、スマートフォンは、タッチパネルと同期した画像を表示することができる。
 (上記実施の形態のまとめ)
 本発明の一態様に係る再生方法は、光源の輝度変化により可視光信号を送信する送信機から、前記可視光信号を端末装置のセンサにより受信する信号受信ステップと、前記端末装置から、前記可視光信号に対応付けられたコンテンツを要求するための要求信号をサーバに送信する送信ステップと、前記端末装置が、各時刻と、前記各時刻に再生されるデータとを含むコンテンツを、前記サーバから受信するコンテンツ受信ステップと、前記コンテンツのうち、前記端末装置に備えられている時計の時刻に該当するデータを再生する再生ステップとを含む。
 これにより、図409Cに示すように、各時刻と、その各時刻に再生されるデータとを含むコンテンツが端末装置に受信され、端末装置の時計の時刻に該当するデータが再生される。したがって、端末装置は、そのコンテンツにおけるデータを、間違った時刻に再生してしまうことなく、そのコンテンツに示される正しい時刻に、適切に再生することができる。具体的には、図409Aの方法eのように、端末装置である受信機は、コンテンツを(受信機時刻-コンテンツ再生開始時刻)の時点から再生する。上述の端末装置の時計の時刻に該当するデータは、コンテンツのうちの(受信機時刻-コンテンツ再生開始時刻)の時点にあるデータである。また、送信機においても、そのコンテンツに関連するコンテンツ(送信機側コンテンツ)が再生されていれば、端末装置は、コンテンツをその送信機側コンテンツに適切に同期させて再生することができる。なお、コンテンツは音声または画像である。
 また、前記端末装置に備えられている時計と、基準クロックとの間では、GPS(Global Positioning System)電波、または、NTP(Network Time Protocol)電波によって、同期がとられていてもよい。
 これにより、図408および図410に示すように、端末装置(受信機)の時計と基準クロックとの間で同期がとられているため、基準クロックにしたがった適切な時刻に、その時刻に該当するデータを再生することができる。
 また、前記可視光信号は、前記可視光信号が前記送信機から送信される時刻を示してもよい。
 これにより、図409Aの方法dに示すように、端末装置(受信機)は、可視光信号が送信機から送信される時刻(送信機時刻)に対応付けられたコンテンツを受信することができる。例えば、送信機時刻が5時43分であれば、5時43分に再生されるコンテンツを受信することができる。
 また、前記再生方法では、さらに、前記GPS電波または前記NTP電波によって、前記端末装置の時計と前記基準クロックとの間で同期をとるための処理が行われた時刻が、前記端末装置が前記可視光信号を受信した時刻から所定の時間より前である場合、前記送信機から送信された前記可視光信号が示す時刻により、前記端末装置の時計と、前記送信機の時計との間で同期をとってもよい。
 例えば、端末装置の時計と基準クロックとの間で同期をとるための処理が行われてから所定の時間が経過してしまうと、その同期が適切に保たれていない場合がある。このような場合には、端末装置は、送信機で再生される送信機側コンテンツと同期する時刻に、コンテンツを再生することできない可能性がある。そこで、上記本発明の一態様に係る再生方法では、図408のステップS1829,S1830のように、所定の時間が経過したときには、端末装置(受信機)の時計と送信機の時計との間で同期がとられる。したがって、端末装置は、送信機で再生される送信機側コンテンツと同期する時刻に、コンテンツを再生することができる。
 また、前記サーバは、それぞれ時刻に関連付けられている複数のコンテンツを有しており、前記コンテンツ受信ステップでは、前記可視光信号が示す時刻に関連付けられたコンテンツが前記サーバに存在しない場合には、前記複数のコンテンツのうち、前記可視光信号が示す時刻に最も近く、かつ、前記可視光信号が示す時刻の後の時刻に関連付けられているコンテンツを受信してもよい。
 これにより、図409Aの方法dに示すように、可視光信号が示す時刻に関連付けられたコンテンツがサーバに存在しなくても、そのサーバにある複数のコンテンツの中から、適切なコンテンツを受信することができる。
 また、光源の輝度変化により可視光信号を送信する送信機から、前記可視光信号を端末装置のセンサにより受信する信号受信ステップと、前記端末装置から、前記可視光信号に対応付けられたコンテンツを要求するための要求信号をサーバに送信する送信ステップと、前記端末装置が、前記サーバからコンテンツを受信するコンテンツ受信ステップと、前記コンテンツを再生する再生ステップと、を含み、前記可視光信号は、ID情報と、前記可視光信号が前記送信機から送信される時刻とを示し、前記コンテンツ受信ステップでは、前記可視光信号によって示されるID情報および時刻に対応付けられた前記コンテンツを受信してもよい。
 これにより、図409Aの方法dのように、ID情報(送信機ID)に関連付けられている複数のコンテンツの中から、可視光信号が送信機から送信される時刻(送信機時刻)に対応付けられたコンテンツが受信されて再生される。したがって、その送信機IDおよび送信機時刻に対して適切なコンテンツを再生することができる。
 また、前記可視光信号は、時刻のうちの時および分を示す第2の情報と、時刻のうちの秒を示す第1の情報とを含むことによって、前記可視光信号が前記送信機から送信される時刻を示し、前記信号受信ステップでは、前記第2の情報を受信するとともに、前記第2の情報を受信する回数よりも多くの回数だけ前記第1の情報を受信してもよい。
 これにより、例えば、可視光信号に含まれる各パケットが送信される時刻を秒単位で端末装置に通知する場合には、時、分および秒の全てを用いて表現される現時点の時刻を示すパケットを、1秒経過ごとに端末装置に送信する手間を軽減することができる。つまり、図404に示すように、パケットが送信される時刻のうちの時および分が、前に送信されたパケットに示される時および分から更新されていなければ、秒のみを示すパケット(時間パケット1)である第1の情報だけを送信すればよい。したがって、送信機によって送信される、秒を示すパケット(時間パケット1)である第1の情報よりも、時および分を示すパケット(時間パケット2)である第2の情報を少なくすることによって、冗長な内容を含むパケットの送信を抑えることができる。
 また、前記端末装置のセンサは、イメージセンサであって、前記信号受信ステップでは、前記イメージセンサのシャッター速度を、第1の速度と、前記第1の速度よりも高速の第2の速度とに交互に切り替えながら、前記イメージセンサによる連続した撮影を行い、(a)前記イメージセンサによる撮影の被写体がバーコードである場合には、前記シャッター速度が前記第1の速度であるときの撮影によって、バーコードが映っている画像を取得し、前記画像に映っているバーコードをデコードすることによって、バーコード識別子を取得し、(b)前記イメージセンサによる撮影の被写体が前記光源である場合には、前記シャッター速度が前記第2の速度であるときの撮影によって、前記イメージセンサに含まれる複数の露光ラインのそれぞれに対応する輝線を含む画像である輝線画像を取得し、取得された輝線画像に含まれる複数の輝線のパターンをデコードすることによって前記可視光信号を可視光識別子として取得し、前記再生方法では、さらに、前記シャッター速度が前記第1の速度であるときの撮影によって得られる画像を表示してもよい。
 これにより、図309に示すように、バーコードからでも可視光信号からでも、それらに応じた識別子を適切に取得することができるとともに、被写体とされているバーコードまたは光源が映し出された画像を表示することができる。
 また、前記可視光識別子の取得では、前記複数の輝線のパターンから、データ部およびアドレス部を含む第1のパケットを取得し、前記第1のパケットよりも前に既に取得されている少なくとも1つのパケットのうち、前記第1のパケットのアドレス部と同一のアドレス部を含むパケットである第2のパケットが所定の数以上存在するか否かを判定し、前記第2のパケットが前記所定の数以上存在すると判定した場合には、前記所定の数以上の前記第2のパケットのそれぞれのデータ部に対応する前記輝線画像の一部の領域の画素値と、前記第1のパケットのデータ部に対応する前記輝線画像の一部の領域の画素値とを合わせることによって、合成画素値を算出し、前記合成画素値を含むデータ部を復号することによって、前記可視光識別子の少なくとも一部を取得してもよい。
 これにより、図281に示すように、同一のアドレス部を含む複数のパケットのそれぞれでデータ部が少し異なっていても、それらのパケットのデータ部の画素値を合わせることによって、適切なデータ部を復号することができ、可視光識別子の少なくとも一部を正しく取得することができる。
 また、前記第1のパケットは、さらに、前記データ部に対する第1の誤り訂正符号と、前記アドレス部に対する第2の誤り訂正符号とを含み、前記信号受信ステップでは、前記送信機から、第2の周波数にしたがった輝度変化によって送信される前記アドレス部および前記第2の誤り訂正符号を受信し、前記第2の周波数よりも高い第1の周波数にしたがった輝度変化によって送信される前記データ部および前記第1の誤り訂正符号を受信してもよい。
 これにより、図279に示すように、アドレス部を誤って受信することを抑えるとともに、データ量の多いデータ部を迅速に取得することができる。
 また、前記可視光識別子の取得では、前記複数の輝線のパターンから、データ部およびアドレス部を含む第1のパケットを取得し、前記第1のパケットよりも前に既に取得されている少なくとも1つのパケットのうち、前記第1のパケットのアドレス部と同一のアドレス部を含むパケットである少なくとも1つの第2のパケットが存在するか否かを判定し、前記少なくとも1つの第2のパケットが存在すると判定した場合には、前記少なくとも1つの第2のパケットと前記第1のパケットとのそれぞれのデータ部が全て等しいか否かを判定し、それぞれの前記データ部が全て等しくないと判定した場合には、前記少なくとも1つの第2のパケットのそれぞれにおいて、当該第2のパケットのデータ部に含まれる各部分のうち、前記第1のパケットのデータ部に含まれる各部分と異なる部分の数が、所定の数以上存在するか否かを判定し、前記少なくとも1つの第2のパケットのうち、異なる部分の数が前記所定の数以上存在すると判定された第2のパケットがある場合には、前記少なくとも1つの第2のパケットを破棄し、前記少なくとも1つの第2のパケットのうち、異なる部分の数が前記所定の数以上存在すると判定された第2パケットがない場合には、前記第1のパケットおよび前記少なくとも1つの第2のパケットのうち、同一のデータ部を有するパケットの数が最も多い複数のパケットを特定し、当該複数のパケットのそれぞれに含まれるデータ部を、前記第1のパケットに含まれるアドレス部に対応するデータ部として復号することによって、前記可視光識別子の少なくとも一部を取得してもよい。
 これにより、図280に示すように、同一のアドレス部を有する複数のパケットが受信されたときに、それらのパケットのデータ部が異なっていても、適切なデータ部を復号することができ、可視光識別子の少なくとも一部を正しく取得することができる。つまり、同一の送信機から送信される同一のアドレス部を有する複数のパケットは、基本的に同一のデータ部を有する。しかし、端末装置が、パケットの送信元となる送信機を切り替える場合には、端末装置は、同一のアドレス部を有していても互いに異なるデータ部を有する複数のパケットを受信することがある。このような場合には、上記本発明の一態様に係る再生方法では、図280のステップS10106のように、既に受信されているパケット(第2のパケット)が破棄され、最新のパケット(第1のパケット)のデータ部を、そのアドレス部に対応する正しいデータ部として復号することができる。さらに、上述のような送信機の切り替えがない場合であっても、可視光信号の送受信状況に応じて、同一のアドレス部を有する複数のパケットのデータ部が少し異なることがある。このような場合には、上記本発明の一態様に係る再生方法では、図280のステップS10107のように、いわゆる多数決によって、適切なデータ部を復号することができる。
 また、前記可視光識別子の取得では、前記複数の輝線のパターンから、それぞれデータ部およびアドレス部を含む複数のパケットを取得し、取得された前記複数のパケットのうち、前記データ部に含まれる全てのビットが0を示すパケットである0終端パケットが存在するか否かを判定し、前記0終端パケットが存在すると判定した場合には、前記複数のパケットのうち、前記0終端パケットのアドレス部に関連付けられているアドレス部を含むパケットであるN個(Nは1以上の整数)の関連パケットが全て存在するか否かを判定し、前記N個の関連パケットが全て存在すると判定した場合には、前記N個の関連パケットのそれぞれのデータ部を並べて復号することによって、前記可視光識別子を取得してもよい。例えば、前記0終端パケットのアドレス部に関連付けられている前記アドレス部は、前記0終端パケットのアドレス部に示されるアドレスよりも小さく0以上のアドレスを示すアドレス部である。
 具体的には、図282に示すように、0終端パケットのアドレス以下のアドレスを有するパケットが関連パケットとして全て揃っているか否かが判定され、揃っていると判定された場合に、それらの関連パケットのそれぞれのデータ部が復号される。これにより、端末装置は、可視光識別子を取得するために、何個の関連パケットが必要であることを事前に知っていなくても、さらに、それらの関連パケットのアドレスを事前に知っていなくても、0終端パケットを取得した時点で、容易に知ることができる。その結果、端末装置は、N個の関連パケットのそれぞれのデータ部を並べて復号することによって、適切な可視光識別子を取得することができる。
 (実施の形態34)
 以下、可変長・可変分割数対応プロトコルについて説明する。
 図434から図438は、本実施の形態における送信信号の一例を示す図である。
 送信パケットは、プリアンブル、TYPE、ペイロード、およびチェック部で構成される。パケットは連続で送信されても良いし、断続的に送信されても良い。パケットを送信しない期間を設けることで、バックライト消灯時に液晶の状態を変化させ、液晶ディスプレイの動解像感を向上させることが出来る。パケット送信間隔をランダムにすることで、混信を回避することができる。
 プリアンブルには、4PPMに出現しないパターンを用いる。短い基本パターンを用いることで、受信処理を簡単にすることができる。図436の(b)および(c)のように、基本パターンを後ろに配置したほうが、短い区間を受信した場合でもパケットを受信することができる。図436の(c)のように、プリアンブルの最初と最後を1(輝度が高い状態)とすることで、正確にプリアンブルを受信することができる。
 プリアンブルの種類によってデータの分割数を表現することで、余計な送信スロットを用いることなくデータ分割数を可変にすることができる。
 TYPEの値によってペイロード長を変化させることで、送信データを可変長にすることができる。TYPEでは、ペイロード長を表現してもよいし、分割する前のデータ長を表現してもよい。TYPEの値によって、パケットのアドレスを表現することで、受信機は受信したパケットを正しく並べることができる。必要なアドレスの長さは分割数によって異なるため、図437の(c)のように、TYPEの長さは分割数によって変化させるとしてもよい。また、プリアンブルの種類または分割数によって、TYPEの値が表現するペイロード長(データ長)を変化させてもよい。
 ペイロード長によってチェック部の長さを変化させることによって、効率的な誤り訂正(検出)ができる。チェック部の最短の長さを2ビットとすることで、効率的に4PPMに変換できる。また、ペイロード長によって誤り訂正(検出)符号の種類を変化させることで、効率的に誤り訂正(検出)ができる。プリアンブルの種類またはTYPEの値によってチェック部の長さまた誤り訂正(検出)符号の種類を変化させるとしてもよい。
 ペイロードと分割数の異なる組み合わせで同じデータ長となる組み合わせが存在する。このような場合は、同じデータ値であっても組み合わせごとに異なる意味を持たせることで、より多くの値を表現することができる。
 以下、高速送信・輝度変調プロトコルについて説明する。
 図439および図440は、本実施の形態における送信信号の一例を示す図である。
 送信パケットは、プリアンブル部とボディ部と輝度調整部で構成される。ボディには、アドレス部とデータ部と誤り訂正(検出)符号部を含む。断続的な送信を許可することで、前記と同様の効果が得られる。
 図440に示すように、2種類の平均輝度のプリアンブル部と、3種類の平均輝度のボディ部と、連続的に平均輝度を変化させることができる輝度調整部との輝度変化を組み合わせることで、全体として連続的に平均輝度を変化させることが出来る。輝度調整部の連続的な輝度変化は、最大輝度を変化させるか、明るい期間と暗い期間の時間の比を変化させるかによって、実現できる。輝度50%付近は2種類の表現方法があるため、50%を境界にして使い分けても良いし、2種類の表現方法に別々のデータを意味させることで、より多くの値を表現することができる。
 受信の際には、プリアンブル部とボディ部の4通りの組み合わせを仮定して最尤復号を行い、最も尤度が高いパターンを受信信号とすることで、調光状態が不明であっても信号を受信することができる。
 プリアンブル部は輝度変化が2種類と少なく、また、信号検出の開始部分であるため、この部分で輝度の基準を定めることで、効率的に信号を受信することができる。
 以下、4PPMの畳み込み復号パターンについて説明する。
 図441から図444は、本実施の形態における受信アルゴリズムの一例を示す図である。
 畳み込み長さが3のとき、図440のプリアンブルを用いると、1と0が3連続しているため、畳み込み復号を行わなくてもそのままプリアンブルを検出することができる。
 4PPMのそれぞれの輝度において、畳み込み状態は図441から図444のように遷移する。このそれぞれのパターンにおいて最尤推定を行うことで、畳み込み復号を行いながら信号を受信することができる。図444の開始状態「000」「111」は終了状態には存在しないが、プリアンブルの終了状態はこのいずれかの状態であるため、ボディ部の最初の4スロットの最尤復号ではこちらのパターンを用いることで、正確に最尤復号を行うことができる。
 ここで、感度を高く設定するほど、または、露光時間を短く設定するほど、撮像に伴うノイズが多くなるため、露光ライン内で平均輝度を求めるために用いる画素数を増やすことで、ノイズを低減することができる。感度をN倍にした場合は、平均する画素数をNの2乗倍とすることで、ノイズ量を同等に抑えることができる。逆に、感度を低く、露光時間を長く設定した場合は、平均する画素数を減らすことで、計算負荷を減らすことができる。
 最尤復号を行った際の最大尤度パスの尤度をパスの長さで割った値が所定の値よりも低い場合には、復号結果が信頼出来ないため、復号した信号を廃棄する。これにより、受信誤りを減らすことができる。
 最尤復号を行った際の尤度が低い場合や、誤り検出がなされた場合には、平均する画素数を増やしてノイズを低減した状態で再度復号処理を行うことで、正しく受信できることがある。また、同様の場合で、かつ、画素値が高い場合は、感度を低くしたり、露光時間を短くしたりすることで、正しく受信できることがあり、また、画素値が低い場合には、感度を高くしたり、露光時間を長くしたりすることで、正しく受信できることがある。
 受信機のサンプリングレート(=隣接露光ライン間の露光タイミングの時間差の逆数)をfヘルツとしたとき、送信周波数をNf/2+kヘルツとする。ただし、Nは整数、k<f/2とする。このとき、受信信号を周波数解析すると、高周波成分は観察されず、kヘルツがエイリアスとして求められる。そのため、例えば4値を表す場合は、k={0, f/4, f/2, f×3/4}と割り当てることで、受信機はそれぞれの信号を識別することができる。このとき、単に送信信号としてkヘルツを用いるよりも周波数が高くなるため、ちらつきを抑える等の効果が得られる。例えば、数キロヘルツ~数十キロヘルツ程度の周波数ではバーコードリーダの読み取りエラーを誘発するが、それ以上の周波数を用いることで、この問題を回避することができる。
 バーコードリーダは赤の光線の反射光を読み取るため、可視光通信信号から赤の成分を取り除くことで、バーコードリーダの読み取りへの悪影響を取り除くことができる。可視光通信信号から赤の成分を取り除くためには、信号と逆位相の赤の光を出す、波長の長い成分の残光が大きくなるようなフィルタや蛍光体を用いるといった方法がある。受信機は、緑や青の成分の光の輝度から信号を受信することで、正しく信号を受信することができる。
 送信機に対してユーザが最後に行った動作に応じて、送信機は送信する信号を変化させる。これにより、その操作の結果生じた現象の情報を送信したり、ユーザが送信させたい信号を指示することができる。
 送信機は、ユーザが最後に操作を行ってから所定の時間だけ信号を送信する。これにより、消費電力を抑えたり、マイコンのタイマーを別の機能に割り当てることができる。
 送信機は、マイコンのタイマーが別の機能に使用されていないときにだけ信号を送信する。または、送信機は、信号送信を含めたマイコンのタイマーを利用する機能を交互に実行する。これにより、少ないタイマーで送信機を構成することができる。
 受信機は、可視光通信によって所定のデータを受信してから所定の時間の間だけ、異なる動作を行う。例えば、宣伝看板からIDを受信してから1時間以内であれば、商品やサービスが割引されたり、ゲームに用いるキャンペーンアイテムをダウンロードすることができる。これにより、オフライン・トゥ・オンラインサービス、またはオフライン・トゥ・オンライン・トゥ・オフラインサービスを実現することができる。
 受信機は、送信機から設定情報を受信し、送信機の識別情報と関連付けて受信機内のストレージに保存する。受信機は、同じ、あるいは、別の送信機から識別情報を受信し、関連付けられた設定情報を送信機に設定する。設定情報は、送信機から受信したもの以外、例えば、受信機の言語設定、でもよい。これにより、送信機の設定を素早く復元することができる。また、ユーザが入力することなく、ユーザに適した設定を送信機に行うことができる。
 受信機は、受信処理の継続中は、通常撮像を行い、プレビュー画面に表示する。これにより、受信性能を落とさずにより滑らかなプレビューを表示させることができる。
 受信機は、所定の枚数の可視光画像を連続して、あるいは、断続的に撮像しておき、前のフレームの撮像画像の処理が終わるまでメモリに保存しておき、順次受信処理を行う。これにより、受信機が送信機に向けられている時間が短い場合でも、受信を完了することができる。
 (実施の形態35)
 (Single frame transmissionのフレーム構成)
 図445と図446は、本実施の形態における送信信号の一例を示す図である。
 送信フレームは、プリアンブル(PRE)、フレーム長(FLEN)、IDタイプ(IDTYPE)、コンテンツ(ID/DATA)、および検査符号(CRC)とで構成され、コンテンツタイプ(CONTENTTYPE)を含んでもよい。各領域のビット数は一例である。
 FLENでID/DATAの長さを指定することで、可変長のコンテンツを送信することができる。
 CRCは、PRE以外の部分の誤りを訂正、または、検出する検査符号である。検査領域の長さに応じてCRC長を変化させることで、検査能力を一定以上に保つことが出来る。また、検査領域の長さに応じて異なる検査符号を用いることで、CRC長あたりの検査能力を向上させることができる。
 図446の(e)のように、CONTENTTYPEが所定のビットのときは、ID/DATAはIDであることを示し、前記所定のビットでないときは、ID/DATAはデータであることを示す。また、CONTENTTYPEが前記所定のビットでないときは、IDTYPEの領域もID/DATAの領域とすることで、より多くのデータ容量を送信することができる。
 図446の(f)および(g)のように、IDTYPE長をID/DATA長によって変化させることで、ID/DATAの長さに応じて適切な量のIDの種類を定義することができる。例えば、IDの種類が多い長さのID/DATA長のときは、IDTYPE長を長くすることで、多くのIDを定義することができる。あるいは、短く使いやすいID/DATA長ではIDTYPE長を長くすることで、多くのID体系を定義することができる。あるいは、特定のID/DATA長ではIDTYPE長を0とすることで、フレーム全体の長さを短くすることができ、素早い送受信や遠距離通信を行うことができる。
 (Multiple frame transmissionのフレーム構成)
 図447は、本実施の形態における送信信号の一例を示す図である。
 送信フレームは、プリアンブル(PRE)とアドレス(ADDR)と分割されたデータの一部(DATAPART)から構成され、分割数(PARTNUM)とアドレスフラグ(ADDRFRAG)のそれぞれを含んでもよい。各領域のビット数は一例である。
 コンテンツを複数の部分に分割して送信することで、遠距離通信を行うことが出来る。
 分割する大きさを等分とすることで、最大フレーム長を小さくすることができ、安定して通信を行うことができる。
 等分割ができない場合には、一部の分割部分を他の分割部分より小さくすることで、ちょうどよいサイズのデータを送信することができる。
 分割する大きさを異なる大きさとし、分割サイズの組み合わせに意味を持たせることで、より多くの情報を送信することができる。例えば、32bitの同じ値のデータであったとしても、8bitが4回で送信された場合と、16bitが2回で送信された場合と、15bitが1回と17が1回で送信された場合では異なる情報として扱うことで、より多くの情報量を表現することができる。
 PARTNUMで分割数を示すことで、受信機は分割数を即座に知ることができ、受信の進捗を正確に表示することができる。
 ADDRFRAGが0の場合は最後のアドレスではなく、1の場合は最後のアドレスであるとすることで、分割数を示す領域が不要となり、より短い時間で送信することができる。
 CRCは、前記と同様に、PRE以外の部分の誤りを訂正、または、検出する検査符号である。この検査により、複数の送信元からの送信フレームを受信した際に、混信を検出することができる。CRC長をDATAPART長の整数倍とすることで、最も効率よく混信を検出することができる。
 分割されたフレーム(図447の(a)、(b)または(c)によって示されるフレーム)の末尾に、各フレームのPRE以外の部分を検査する検査符号を加えるとしても良い。
 図447の(d)によって示されるIDTYPEは、図445の(a)~(d)と同様に、4bitまたは5bitなどの固定長としてもよいし、図446の(f)および(g)のように、IDTYPE長をID/DATA長によって変化させるとしてもよい。これにより、前記と同様の効果が得られる。
 (ID/DATA長の指定)
 図448と図449は、本実施の形態における送信信号の一例を示す図である。
 図445の(a)~(d)の場合に、それぞれ図448に示す表(a)および(b)と図449に示す表(a)および(b)のように設定することで、128bitのときにucodeを表すことができる。
 (CRC長と生成多項式)
 図450は、本実施の形態における送信信号の一例を示す図である。
 このようにCRC長を設定することで、検査対象の長さに依らず検査能力を保つことができる。
 生成多項式は一例であり、別の生成多項式を用いても良い。また、CRC以外の検査符号を用いるとしても良い。これらにより、検査能力を向上することができる。
 (プリアンブルの種類によるDATAPART長の指定と最後のアドレスの指定)
 図451は、本実施の形態における送信信号の一例を示す図である。
 プリアンブルの種類でDATAPART長を示すことで、DATAPART長を示す領域が必要なくなり、より短い送信時間で情報を送信することができる。また、最後のアドレスであるかどうかを示すことで、分割の個数を示す領域が必要なくなり、より短い送信時間で情報を送信することができる。また、図451の(b)の場合は、最後のアドレスの場合はDATAPART長がわからないため、そのフレーム受信の直前または直後に受信した最後のアドレスではないフレームのDATAPART長と同一であると推定して受信処理を行うことで、正常に受信することができる。
 プリアンブルの種類によってアドレス長が異なるとしても良い。これにより、送信情報の長さの組み合わせを多くしたり、短い時間で送信したりすることができる。
 図451の(c)の場合は、プリアンブルで分割数を規定し、DATAPART長を示す領域を加える。
 (アドレスの指定)
 図452は、本実施の形態における送信信号の一例を示す図である。
 ADDRの値でそのフレームのアドレスを示すことで、受信機は、正しく送信された情報を再構成することができる。
 PARTNUMの値で分割数を示すことで、受信機は最初のフレームを受信した時点で必ず分割数を知ることができ、受信の進捗を正確に表示することができる。
 (分割数の違いによる混信の防止)
 図453と図454は、本実施の形態における送受信システムの一例を示す図とフローチャートである。
 送信情報を等分割して分割送信する場合、図453の送信機Aと送信機Bからの信号は、プリアンブルが異なるため、これらの信号を同時に受信した場合でも、受信機は送信元を混同することなく、送信情報を再構成することができる。
 送信機A、Bは、分割数設定部を備えることで、ユーザは、近くに設置した送信機の分割数が異なるように設定することができ、混信を防ぐことができる。
 受信機は、受信した信号の分割数をサーバに登録することで、サーバは送信機の設定されている分割数を知ることができ、他の受信機はその情報をサーバから取得することで、受信の進捗状況を正確に表示することができる。
 受信機は、付近の、または、対応する送信機からの信号は等長分割であるかどうかをサーバから、あるいは、受信機の記憶部から取得する。前記取得した情報が等長分割である場合は、同じDATAPART長のフレームのみから信号を復元する。そうでない場合や、同じDATAPART長のフレームで全てのアドレスが揃わない状況が所定の時間以上継続した場合は、異なるDATAPART長のフレームを合わせて信号を復元する。
 (分割数の違いによる混信の防止)
 図455は、本実施の形態におけるサーバの動作を示すフローチャートである。
 サーバは、受信機が受信したIDと分割構成(どのようなDATAPART長の組み合わせで信号を受信したか)を受信機から受け取る。前記IDが、分割構成による拡張の対象である場合は、分割構成のパターンを数値化したものを補助IDとし、前記IDと前記補助IDを合わせた拡張IDをキーとして関連付けられた情報を受信機へ渡す。
 分割構成による拡張の対象でない場合は、IDに関連付けられた分割構成が記憶部に存在するかどうか確認し、受信した分割構成と同じであるかどうか確認する。異なる場合は再確認命令を受信機へ送信する。これにより、受信機の受信エラーによって誤った情報が提示されることを防ぐことができる。
 再確認命令を送信後、所定の時間以内に同じIDで同じ分割構成を受信した場合には、分割構成が変更されたと判断し、IDに関連付けられた分割構成を更新する。これにより、図453の説明として記述したように、分割構成が変更された場合に対応することができる。
 分割構成が記憶されていない場合、受信した分割構成と記憶されている分割構成が一致した場合、または、分割構成を更新する場合には、IDをキーとして関連付けられた情報を受信機へ渡し、分割構成をIDと関連付けて記憶部へ記憶する。
 (受信の進捗状況の表示)
 図456~図461は、本実施の形態における受信機の動作の一例を示すフローチャートと図である。
 受信機は、受信機が対応している送信機、または、受信機の付近にある送信機の分割数の種類と割合を、サーバや受信機の記憶領域から取得する。また、一部の分割データを既に受信している場合は、その一部に一致する情報を送信している送信機の分割数の種類と割合を取得する。
 受信機は、分割されたフレームを受信する。
 最後のアドレスを既に受信している場合、前記取得した分割数が1種類だけである場合、または、実行中の受信アプリの対応している分割数が1種類だけである場合は、分割数が既知であるため、その分割数を基準に進捗状況を表示する。
 そうでない場合であって、利用可能な処理リソースが少ない、または省エネモードである場合には、受信機は、簡易モードで進捗状況を計算して表示する。一方、利用可能な処理リソースが多い、または省エネモードではない場合には、最尤推定モードで進捗状況を計算して表示する。
 図457は、簡易モードでの進捗状況の計算方法を示すフローチャートである。
 まず、受信機は、標準分割数Nsを、サーバから取得する。または、受信機は、自らの内部のデータ保持部から標準分割数Nsを読み出す。なお、標準分割数は、(a)その分割数で送信する送信機数の最頻値または期待値、(b)パケット長ごとに定められた分割数、(c)アプリケーションごとに定められた分割数、または、(d)受信機がある場所であって、識別可能な範囲ごとに定められた分割数である。
 次に、受信機は、最終アドレスであることを示すパケットを受信しているか否かを判定する。受信していると判定すると、最終パケットのアドレスをNとする。一方、受信していないと判定すると、受信済みの最大アドレスAmaxに1または2以上の数を加えた数をNeとする。ここで、受信機は、Ne>Nsか否かを判定する。Ne>Nsであると判定すると、受信機は、N=Neとする。一方、Ne>Nsではないと判定すると、受信機は、N=Nsとする。
 そして、受信機は、受信中の信号の分割数がNであるとして、信号全体の受信に必要なパケットのうち、受信済みパケット数の割合を計算する。
 このような簡易モードでは、最尤推定モードよりも単純な計算で進捗状況を計算することができ、処理時間または消費エネルギーの点で有利である。
 図458は、最尤推定モードでの進捗状況の計算方法を示すフローチャートである。
 まず、受信機は、分割数の事前分布を、サーバから取得する。または、受信機は、自らの内部のデータ保持部から事前分布を読み出す。なお、事前分布は、(a)その分割数で送信する送信機数の分布として定められている、(b)パケット長ごとに定められている、(c)アプリケーションごとに定められている、または、(d)受信機がある場所であって、識別可能な範囲ごとに定められている。
 次に、受信機は、パケットxを受信し、分割数がyのときにパケットxを受信する確率P(x|y)を計算する。そして、受信機は、パケットxを受信した場合に送信信号の分割数がyである確率P(y|x)を、P(x|y)×P(y)÷Aとして求める(なお、Aは正規化乗数である)。さらに、受信機は、P(y)=P(y|x)とする。
 ここで、受信機は、分割数推定モードが最尤モードであるか、尤度平均モードであるか否かを判定する。最尤モードである場合、受信機は、P(y)が最大となるyを分割数として受信済みのパケット数の割合を算出する。一方、尤度平均モードである場合、受信機は、y×P(y)の総和を分割数として受信済みのパケット数の割合を計算する。
 このような最尤推定モードでは、簡易モードよりも正確な進捗度合いを計算することができる。
 また、分割数推定モードが最尤モードの場合は、これまでに受信したアドレスから最後のアドレスが何番であるかの尤度を計算し、最尤のものを分割数であると推定して受信の進捗を表示する。この表示方法は、実際の進捗状況に最も近い進捗状況を表示できる。
 図459は、進捗状況が減少しない表示方法を示すフローチャートである。
 まず、受信機は、信号全体の受信に必要なパケットのうち、受信済みパケット数の割合を計算する。そして、受信機は、計算した割合が、表示中の割合よりも小さいか否かを判定する。表示中の割合よりも小さいと判定すると、受信機は、さらに、表示中の割合が所定の時間以上前の計算結果か否かを判定する。所定の時間以上前の計算結果であると判定すると、受信機は、計算した割合を表示する。一方、所定の時間以上前の計算結果ではないと判定すると、受信機は、表示中の割合を表示し続ける。
 また、受信機は、計算した割合が、表示中の割合以上であると判定すると、受信済みの最大アドレスAmaxに1または2以上の数を加えた数をNeとする。そして、受信機は、その計算した割合を表示する。
 最終パケットを受信したときなどに、進捗状況の計算結果がそれまでよりも小さくなること、つまり、表示される進捗状況(進捗度合い)が下がることは、不自然である。しかし、上述の表示方法では、このような不自然な表示を抑えることができる。
 図460は、複数のパケット長がある場合の進捗状況の表示方法を示すフローチャートである。
 まず、受信機は、受信済みパケット数の割合Pを、パケット長ごとに計算する。ここで、受信機は、表示モードが最大モード、全表示モードおよび最新モードのうちの何れであるかを判定する。最大モードであると判定すると、受信機は、複数のパケット長のそれぞれの割合Pのうちの最大の割合を表示する。全表示モードであると判定すると、受信機は、全ての割合Pを表示する。最新モードであると判定すると、受信機は、最後に受信したパケットのパケット長の割合Pを表示する。
 図461で、(a)は前記簡易モードとして計算した進捗状況、(b)は前記最尤モードとして計算した進捗状況、(c)は取得した分割数のうち最小のものを分割数として計算した場合の進捗状況である。(a)(b)(c)の順で進捗状況は大きくなるため、このように(a)(b)(c)を重ねて表示することで、全ての進捗状況を同時に表示することができる。
 (分割送信)
 図462は、本実施の形態における送信信号の一例を示す図である。
 このフレーム構成で用いる検査符号には、図445~図447に示した二つのCRCがある。それぞれ、チェックする部分のビット長が長くなるほど、CRC長を長くさせることで、検査能力の低下を防ぐことができる。
 図462の表(a)は、CRC長を4の倍数とした場合であり、図462の表(b)は、CRC長を2の倍数とした場合である。4PPMでは、2ビットずつ符号化するため、2の倍数とすると無駄なく割り当てることができる。検査対象ビット長をNとしたとき、CRC長が2log(N)を下回らないように定義している。なお、logは2を底とした対数である。これにより、一定の検査能力を下回らないように設定することができる。表の数値は一例であり、別のCRC長を割り当てたり、2や4の倍数以外のCRC長としても良い。
 表の生成多項式は一例であり、別の生成多項式を用いても良い。また、CRCではなく別の検査符号を用いても良い。
 検査符号を分割することで、フレームを最後まで受信できなかった場合でも、ある程度の検査を行うことができ、エラー率を下げることが出来る。
 (共通スイッチと画素スイッチによる発光制御)
 本実施の形態における送信方法では、例えば、映像表示用のLEDディスプレイに含まれる各LEDを、共通スイッチおよび画素スイッチのスイッチングに応じて、輝度変化させることにより、可視光信号(可視光通信信号ともいう)を送信する。
 LEDディスプレイは、例えば屋外に配設される大型ディスプレイとして構成されている。また、LEDディスプレイは、マトリクス状に配列された複数のLEDを備え、映像信号に応じて、これらのLEDを明滅させることにより映像を表示する。このようなLEDディスプレイは、複数の共通ライン(COMライン)からなるとともに、複数の画素ライン(SEGライン)からなる。各共通ラインは、水平方向に一列に配列された複数のLEDからなり、各画素ラインは、垂直方向に一列に配列された複数のLEDからなる。また、複数の共通ラインのそれぞれは、その共通ラインに対応する共通スイッチに接続される。共通スイッチは例えばトランジスタである。複数の画素ラインのそれぞれは、その画素ラインに対応する画素スイッチに接続される。複数の画素ラインに対応する複数の画素スイッチは、例えばLEDドライバ回路(定電流回路)に備えられている。なお、このLEDドライバ回路は、複数の画素スイッチをスイッチングする画素スイッチ制御部として構成されている。
 より具体的には、共通ラインに含まれる各LEDのアノードおよびカソードのうちの一方が、その共通ラインに対応するトランジスタのコレクタなどの端子に接続される。また、画素ラインに含まれる各LEDのアノードおよびカソードのうちの他方が、上記LEDドライバ回路における、その画素ラインに対応する端子(画素スイッチ)に接続される。
 このようなLEDディスプレイが映像を表示するときには、複数の共通スイッチを制御する共通スイッチ制御部が、それらの共通スイッチを時分割でオンにする。例えば、共通スイッチ制御部は、第1の期間中、複数の共通スイッチのうちの第1の共通スイッチのみをオンにし、次の第2の期間中、複数の共通スイッチのうちの第2の共通スイッチのみをオンにする。そして、LEDドライバ回路は、何れかの共通スイッチがオンにされている期間に、映像信号に応じて各画素スイッチをオンにする。これにより、共通スイッチがオンであり、かつ、画素スイッチがオンである期間だけ、その共通スイッチおよび画素スイッチに対応するLEDが点灯する。この点灯する期間によって、映像中の画素の輝度が表現される。つまり、映像の画素の輝度はPWM制御される。
 本実施の形態における送信方法では、このようなLEDディスプレイと、共通スイッチおよび画素スイッチと、共通スイッチ制御部および画素スイッチ制御部とを利用して、可視光信号を送信する。また、このような送信方法によって可視光信号を送信する本実施の形態における送信装置(送信機ともいう)は、その共通スイッチ制御部および画素スイッチ制御部を備える。
 図463は、本実施の形態における送信信号の一例を示す図である。
 送信機は、予め定められたシンボル周期にしたがって、可視光信号に含まれる各シンボルを送信する。例えば、送信機は、シンボル「00」を4PPMによって送信するときには、4スロットからなるシンボル周期において、そのシンボル(「00」の輝度変化パターン)にしたがって共通スイッチをスイッチングする。そして、送信機は、映像信号などによって示される平均輝度に応じて、画素スイッチをスイッチングする。
 より具体的には、シンボル周期における平均輝度を75%にする場合(図463の(a))、送信機は、第1スロットの期間中、共通スイッチをオフにして、第2スロット~第4スロットまでの期間中、共通スイッチをオンにする。さらに、送信機は、第1スロットの期間中、画素スイッチをオフにして、第2スロット~第4スロットまでの期間中、画素スイッチをオンにする。これにより、共通スイッチがオンであり、かつ、画素スイッチがオンである期間だけ、その共通スイッチおよび画素スイッチに対応するLEDが点灯する。つまり、LEDは、4スロットのそれぞれにおいてLO(Low)、HI(High)、HI、HIの輝度で点灯することによって輝度変化する。その結果、シンボル「00」が送信される。
 また、シンボル周期における平均輝度が25%の場合(図463の(e))、送信機は、第1スロットの期間中、共通スイッチをオフにして、第2スロット~第4スロットまでの期間中、共通スイッチをオンにする。さらに、送信機は、第1スロット、第3スロットおよび第4スロットの期間中、画素スイッチをオフにして、第2スロットの期間中、画素スイッチをオンにする。これにより、共通スイッチがオンであり、かつ、画素スイッチがオンである期間だけ、その共通スイッチおよび画素スイッチに対応するLEDが点灯する。つまり、LEDは、4スロットのそれぞれにおいてLO(Low)、HI(High)、LO、LOのように点灯することによって輝度変化する。その結果、シンボル「00」が送信される。なお、本実施の形態における送信機は、上述のV4PPM(variable 4PPM)に近い可視光信号を送信するため、同じシンボルを送信する場合でも、平均輝度を可変とすることができる。つまり、互いに異なる平均輝度で同じシンボル(例えば「00」)を送信するときには、送信機は、図463の(a)~(e)に示すように、そのシンボルに固有の輝度の立ち上がり位置(タイミング)を平均輝度に関わらず一定にしている。これにより、受信機は、輝度を意識することなく可視光信号を受信することができる。
 なお、共通スイッチは、上述の共通スイッチ制御部によってスイッチングされ、画素スイッチは、上述の画素スイッチ制御部によってスイッチングされる。
 このように、本実施の形態における送信方法は、輝度変化によって可視光信号を送信する送信方法であって、決定ステップと、共通スイッチ制御ステップと、第1の画素スイッチ制御ステップとを含む。決定ステップでは、可視光信号を変調することにより、輝度変化パターンを決定する。共通スイッチ制御ステップでは、ディスプレイに備えられた光源群(共通ライン)に含まれる、それぞれ映像中の画素を表すための複数の光源(LED)を、共通に点灯させるための共通スイッチを、その輝度変化パターンにしたがってスイッチングする。第1の画素スイッチ制御ステップでは、その光源群に含まれる複数の光源のうちの第1の光源を点灯させるための第1の画素スイッチをオンにすることにより、共通スイッチがオンであり、かつ、第1の画素スイッチがオンである期間のみに、第1の光源を点灯させることによって、可視光信号を送信する。
 これにより、複数のLEDなどを光源として備えたディスプレイから可視光信号を適切に送信することができる。したがって、照明以外の機器を含む態様な機器間の通信を可能とする。また、そのディスプレイが、共通スイッチおよび第1の画素スイッチの制御によって映像を表示するためのディスプレイである場合、その共通スイッチおよび第1の画素スイッチを利用して、可視光信号を送信することができる。したがって、ディスプレイに映像表示するための構成に対して大幅な変更を行うことなく、簡単に可視光信号を送信することができる。
 また、画素スイッチの制御タイミングを送信シンボル(4PPM1回分)と一致させ、図463のように制御することで、ちらつきなくLEDディスプレイから可視光信号を送信することができる。画像信号(すなわち映像信号)は通常1/30秒や1/60秒周期で変化するが、シンボル送信周期(シンボル周期)に合わせて画像信号を変化させることで、回路に変更を加えることなく実現することができる。
 このように、本実施の形態における送信方法の上記決定ステップでは、輝度変化パターンをシンボル周期ごとに決定する。また、上記第1の画素スイッチ制御ステップでは、シンボル周期に同期させて、画素スイッチをスイッチングする。これにより、シンボル周期が例えば1/2400秒であっても、そのシンボル周期にしたがって可視光信号を適切に送信することができる。
 信号(シンボル)が「10」で平均輝度が50%付近のときは、輝度変化パターンが0101に近くなり、輝度の立ち上がり箇所が2箇所となる。しかし、その場合は、後の立ち上がり箇所を優先することで、受信機は正しく信号を受信することができる。すなわち、後の立ち上がり箇所は、シンボル「10」に固有の輝度の立ち上がりが得られるタイミングである。
 平均輝度が高いほど、4PPMで変調された信号に近い信号を出力することができる。したがって、画面全体、あるいは、電源ラインが共通な部分の輝度が低い場合は、電流を少なくして輝度の瞬時値を下げることで、HI区間を長くすることができ、エラーを低減させることができる。この場合、画面の最高輝度が下がるが、屋内での用途など、そもそも高い輝度が必要ない場合、または可視光通信を優先する場合などは、これを有効にするスイッチを有効にすることで、通信品質と画質のバランスを最適に設定することができる。
 また、本実施の形態における送信方法の上記第1の画素スイッチ制御ステップでは、ディスプレイ(LEDディスプレイ)に映像を表示させるときには、上記第1の光源に対応する、映像中の画素の画素値を表現するための点灯期間のうち、可視光信号の送信のために第1の光源が消灯される期間だけ、その点灯期間を補うように、第1の画素スイッチをスイッチングする。つまり、本実施の形態における送信方法では、LEDディスプレイに映像が表示されているときに、可視光信号を送信する。したがって、映像信号によって示される画素値(具体的には輝度値)を表現するためにLEDが点灯すべき期間において、可視光信号の送信のためにそのLEDが消灯されることがある。このような場合には、本実施の形態における送信方法では、そのLEDが消灯される期間だけ、その点灯期間を補うように、第1の画素スイッチをスイッチングする。
 例えば、可視光信号を送信せずに映像信号によって示される映像を表示するときは、1つのシンボル周期中、共通スイッチはオンになり、画素スイッチは、その映像信号によって示される画素値である平均輝度に応じた期間だけオンになる。平均輝度が75%である場合、共通スイッチは、シンボル周期の第1スロット~第4スロットにおいてオンになる。さらに、画素スイッチは、シンボル周期の第1スロット~第3スロットにおいてオンになる。これにより、シンボル周期中、LEDは第1スロット~第3スロットにおいて点灯するため、上述の画素値を表現することができる。しかし、シンボル「01」の送信のためには、第2スロットが消灯される。そこで、本実施の形態における送信方法では、そのLEDが消灯される第2スロットだけ、そのLEDの点灯期間を補うように、つまり、第4スロットにおいてLEDが点灯するように、画素スイッチをスイッチングする。
 また、本実施の形態における送信方法では、映像中の画素の画素値を変更することによって、その点灯期間を補う。例えば、上述のような場合には、平均輝度75%の画素値を、平均輝度100%の画素値に変更する。平均輝度100%の場合、LEDは第1スロット~第4スロットで点灯しようとするが、シンボル「01」の送信のためには、第1スロットは消灯される。したがって、可視光信号を送信する場合でも、本来の画素値(平均輝度75%)でLEDを点灯させることができる。
 これにより、可視光信号の送信によって映像が崩れてしまうことを抑えることができる。
 (画素毎にずらした発光制御)
 図464は、本実施の形態における送信信号の一例を示す図である。
 本実施の形態における送信機は、図464のように、同じシンボル(例えば「10」)を画素Aと、その画素Aの付近の画素(例えば、画素Bおよび画素C)から送信するときには、それらの画素の発光タイミングをずらす。ただし、送信機は、そのシンボルに固有の輝度の立ち上がりのタイミングを、それらの画素間でずらすことなく、それらの画素を発光させる。なお、画素A~画素Cはそれぞれ、光源(具体的にはLED)に相当する。また、シンボルに固有の輝度の立ち上がりのタイミングは、そのシンボルが「10」であれば、第3スロットと第4スロットとの境界のタイミングである。また、このようなタイミングを、以下、シンボル固有タイミングという。受信機は、このシンボル固有タイミングを特定することによって、そのタイミングに応じたシンボルを受信することができる。
 このように発光タイミングをずらすことによって、画素間の平均輝度推移を示す波形は、図464に示すように、シンボル固有タイミングにおける立ち上がりを除いて、緩やかな立ち上がりまたは立下りを有する。つまり、シンボル固有タイミングのける立ち上がりは、他のタイミングの立ち上がりよりも急峻である。したがって、受信機は、複数の立ち上がりのうち、最も急峻な立ち上がりを優先して受信することで、適切なシンボル固有タイミングを特定することができ、その結果、受信誤りを抑えることができる。
 つまり、所定の画素からシンボル「10」を送信する場合で、その所定の画素の輝度が25%から75%の中間値の場合は、送信機は、その所定の画素に対応する画素スイッチの開区間を短く、あるいは、長く設定する。さらに、送信機は、その所定の画素の付近の画素に対応する画素スイッチの開区間を逆に調整する。このように、その所定の画素と付近の画素とを含む全体の輝度が変わらないように、各画素スイッチの開区間を設定することでも、エラーを抑えることができる。なお、開区間とは、画素スイッチがオンしている区間である。
 このように、本実施の形態における送信方法は、さらに、第2の画素スイッチ制御ステップを含む。この第2の画素スイッチ制御ステップでは、上述の光源群(共通ライン)に含まれる、第1の光源の周囲にある第2の光源を点灯させるための第2の画素スイッチをオンにすることにより、共通スイッチがオンであり、かつ、第2の画素スイッチがオンである期間のみに、その第2の光源を点灯させることによって、可視光信号を送信する。なお、第2の光源は、例えば第1の光源の隣にある光源である。
 そして、その第1および第2の画素スイッチ制御ステップでは、第1および第2の光源のそれぞれから、可視光信号に含まれる同一のシンボルを同時に送信するときには、第1および第2の画素スイッチのそれぞれが同一のシンボルを送信するためにオンまたはオフする複数のタイミングのうち、その同一のシンボルに固有の輝度の立ち上がりが得られるタイミングを、第1および第2の画素スイッチのそれぞれで同一にし、他のタイミングを、第1および第2の画素スイッチのそれぞれで異ならせ、その同一のシンボルが送信される期間における、第1および第2の光源の全体の平均輝度を、予め定められた輝度に一致させる。
 これにより、図464に示す画素間平均輝度推移のように、空間的に平均された輝度において、シンボルに固有の輝度の立ち上がりが得られるタイミングでのみ、その立ち上がりを急峻にすることができ、受信エラーの発生を抑えることができる。つまり、受信機による可視光信号の受信エラーを抑えることができる。
 また、所定の画素からシンボル「10」を送信する場合で、その所定の画素の輝度が25%から75%の中間値の場合は、送信機は、第1の期間における、その所定の画素に対応する画素スイッチの開区間を短く、あるいは、長く設定する。さらに、送信機は、第1の期間と時間的に前または後の第2の期間(例えばフレーム)において、その画素スイッチの開区間を逆に調整する。このように、所定の画素における、第1の期間と第2の期間を含む全体の時間平均輝度が変わらないように、画素スイッチの開区間を設定することでも、エラーを抑えることができる。
 すなわち、本実施の形態における送信方法における、上述の第1の画素スイッチ制御ステップでは、例えば、第1の期間と、その第1の期間に続く第2の期間とで、可視光信号に含まれる同一のシンボルを送信する。このとき、その第1および第2の期間のそれぞれにおいて、第1の画素スイッチがその同一のシンボルを送信するためにオンまたはオフする複数のタイミングのうち、同一のシンボルに固有の輝度の立ち上がりが得られるタイミングを同一にし、他のタイミングを異ならせる。そして、その第1および第2の期間の全体における第1の光源の平均輝度を、予め定められた輝度に一致させる。この第1の期間および第2の期間はそれぞれ、フレームを表示するための期間とその次のフレームを表示するための期間であってもよい。また、第1の期間および第2の期間はそれそれシンボル周期であってもよい。つまり、第1の期間および第2の期間はそれそれ、1つのシンボルを送信するための期間と次のシンボルを送信するための期間であってもよい。
 これにより、図464に示す画素間平均輝度推移と同じように、時間的に平均化された輝度において、シンボルに固有の輝度の立ち上がりが得られるタイミングでのみ、その立ち上がりを急峻にすることができ、受信エラーの発生を抑えることができる。つまり、受信機による可視光信号の受信エラーを抑えることができる。
 (画素スイッチが倍速駆動可能な場合の発光制御)
 図465は、本実施の形態における送信信号の一例を示す図である。
 画素スイッチを、送信シンボル周期の半分の周期で開閉できる場合、つまり、画素スイッチが倍速駆動可能な場合は、図465に示すとおり、V4PPM(図325参照)と同じ発光パターンとすることができる。
 言い換えれば、シンボル周期(シンボルが送信される期間)が4スロットからなる場合、画素スイッチを制御するLEDドライバ回路などの画素スイッチ制御部は、2スロットごとに、画素スイッチを制御することができる。つまり、画素スイッチ制御部は、そのシンボル周期の最初の時点から2スロット分の期間において、画素スイッチを任意の時間だけオンすることができる。さらに、画素スイッチ制御部は、そのシンボル周期の3スロット目の最初の時点から2スロット分の期間において、画素スイッチを任意の時間だけオンすることができる。
 つまり、本実施の形態における送信方法では、上述のシンボル周期の1/2の周期で画素値を変更してもよい。
 この場合、画素スイッチの開閉の1回あたりの細かさが減ってしまう(精度が低下してしまう)可能性がある。そこで、送信優先スイッチが有効のときのみこれを行うことで、画質と送信品質のバランスを最適に設定することができる。
 (画素値調整による発光制御のブロック)
 図466は、本実施の形態における送信機の一例を示すブロック図である。
 図466の(a)は、可視光信号の送信を行わず、映像の表示のみを行う装置、すなわち、上述のLEDディスプレイに映像を表示する表示装置の構成を示すブロック図である。この表示装置は、図466の(a)に示すように、画像・映像入力部1911と、N倍速化部1912と、共通スイッチ制御部1913と、画素スイッチ制御部1914とを備える。
 画像・映像入力部1911は、画像または映像を例えば60Hzのフレームレートで示す映像信号をN倍速化部1912に出力する。
 N倍速化部1912は、画像・映像入力部1911から入力される映像信号のフレームレートをN(N>1)倍に上げ、その映像信号を出力する。例えば、N倍速化部1912は、フレームレートを10倍(N=10)に、すなわち600Hzのフレームレートに上げる。
 共通スイッチ制御部1913は、その600Hzのフレームレートの映像に基づいて共通スイッチをスイッチングする。同様に、画素スイッチ制御部1914は、その600Hzのフレームレートの映像に基づいて画素スイッチをスイッチングする。このように、N倍速化部1912によってフレームレートが上がることによって、共通スイッチまたは画素スイッチなどのスイッチの開閉によるチラつきを回避することができる。また、撮像装置によってLEDディスプレイが高速シャッターで撮像される場合にも、画素抜け、またはチラつきのない画像をその撮像装置に撮像させることができる。
 図466の(b)は、映像の表示だけでなく、上述の可視光信号の送信を行う表示装置、すなわち送信機(送信装置)の構成を示すブロック図である。この送信機は、画像・映像入力部1911と、共通スイッチ制御部1913と、画素スイッチ制御部1914と、信号入力部1915と、画素値調整部1916とを備える。信号入力部1915は、複数のシンボルからなる可視光信号を、2400シンボル/秒のシンボルレート(周波数)で画素値調整部1916に出力する。
 画素値調整部1916は、その可視光信号のシンボルレートに合わせて、画像・映像入力部1911から入力された画像を複製し,上述の方法にしたがって画素値を調整する。これにより、画素値調整部1916から後段の共通スイッチ制御部1913および画素スイッチ制御部1914は、画像または映像の輝度を変えることなく、可視光信号を出力することができる。
 例えば、図466に示す例の場合、可視光信号のシンボルレートが2400シンボル/秒であれば、画素値調整部1916は、映像信号のフレームレート60Hzが4800Hzになるように、映像信号に含まれる画像を複製する。例えば、可視光信号に含まれるシンボルの値が「00」で、複製前の1枚目の画像に含まれる画素の画素値(輝度値)は50%である。この場合、画素値調整部1916は、その画素値を複製後の1枚目の画像では100%に調整し、2枚目の画像では50%に調整する。これにより、図465の(c)に示す、シンボル「00」の場合の輝度変化のように、共通スイッチと画素スイッチのアンドによって、輝度は50%となる。その結果、元の画像の輝度と等しく保ちつつ、可視光信号を送信することができる。なお、共通スイッチと画素スイッチのアンドとは、共通スイッチがオンであり、かつ画素スイッチがオンである期間でのみ、その共通スイッチおよび画素スイッチに対応する光源(すなわちLED)が点灯することである。
 また、本実施の形態における送信方法では、映像の表示と可視光信号の送信とを同時に行うことなく、それらを信号送信期間と映像表示時間とで分けて行ってもよい。
 つまり、本実施の形態における上述の第1の画素スイッチ制御ステップでは、共通スイッチが輝度変化パターンにしたがってスイッチングしている信号送信期間中、第1の画素スイッチをオンにする。そして、本実施の形態における送信方法は、さらに、その信号送信期間と異なる映像表示期間中、その共通スイッチをオンにし、映像表示期間において第1の画素スイッチを表示対象の映像にしたがってオンにすることにより、共通スイッチがオンであり、かつ、第1の画素スイッチがオンである期間のみに、第1の光源を点灯させることによって、その映像中の画素を表示する映像表示ステップを含んでもよい。
 これにより、映像の表示と可視光信号の送信とが互いに異なる期間に行われるためその表示と送信を簡単に行うことができる。
 (電源変更のタイミング)
 電源ライン変更時には、信号オフの区間が発生してしまうが、4PPMの最後の部分は発光していなくても受信には影響しないため、4PPMシンボルの送信周期に合わせて電源ラインを変更することで、受信品質に影響を与えずに電源ラインを変更することができる。
 また、4PPMのLO期間に電源ラインを変更することでも、受信品質に影響を与えずに電源ラインを変更することができる。この場合は、さらに、最大輝度を高く保ったまま送信することができる。
 (駆動タイミング)
 また、本実施の形態では、図467~図469に示すタイミングでLEDディスプレイを駆動してもよい。
 図467~図469は、LEDディスプレイを本発明の光ID変調信号で駆動する場合のタイミングチャートである。
 例えば、図468に示すように、可視光信号(光ID)を送信するために、共通スイッチ(COM1)がオフにされるとき(期間t1)には、映像信号の示す輝度でLEDを点灯させることができないため、その期間t1以降に、そのLEDを点灯させる。これにより、可視光信号を適切に送信しながら、映像信号によって示される映像を崩すことなく、その映像を適切に表示することができる。
 (まとめ)
 図470Aは、本発明の一態様に係る送信方法を示すフローチャートである。
 本発明の一態様に係る送信方法は、輝度変化によって可視光信号を送信する送信方法であって、ステップSC11~SC13を含む。
 ステップSC11では、上述の各実施の形態と同様に、可視光信号を変調することにより、輝度変化パターンを決定する。
 ステップSC12では、ディスプレイに備えられた光源群に含まれる、それぞれ映像中の画素を表すための複数の光源を、共通に点灯させるための共通スイッチを、その輝度変化パターンにしたがってスイッチングする。
 ステップS13では、その光源群に含まれる複数の光源のうちの第1の光源を点灯させるための第1の画素スイッチ(すなわち画素スイッチ)をオンにすることにより、共通スイッチがオンであり、かつ、第1の画素スイッチがオンである期間のみに、第1の光源を点灯させることによって、可視光信号を送信する。
 図470Bは、本発明の一態様に係る送信装置の機能構成を示すブロック図である。
 本発明の一態様に係る送信装置C10は、輝度変化によって可視光信号を送信する送信装置(または送信機)であって、決定部C11と、共通スイッチ制御部C12と、画素スイッチ制御部C13とを備える。決定部C11は、上述の各実施の形態と同様に、可視光信号を変調することにより、輝度変化パターンを決定する。なお、この決定部C11は、例えば、図466に示す信号入力部1915に備えられる。
 共通スイッチ制御部C12は、共通スイッチをその輝度変化パターンにしたがってスイッチングする。この共通スイッチは、ディスプレイに備えられた光源群に含まれる、それぞれ映像中の画素を表すための複数の光源を、共通に点灯させるためスイッチである。
 画素スイッチ制御部C13は、光源群に含まれる複数の光源のうちの制御対象の光源を点灯させるための画素スイッチをオンにすることにより、共通スイッチがオンであり、かつ、画素スイッチがオンである期間のみに、制御対象の光源を点灯させることによって、可視光信号を送信する。なお、制御対象の光源は、上述の第1の光源である。
 これにより、複数のLEDなどを光源として備えたディスプレイから可視光信号を適切に送信することができる。したがって、照明以外の機器を含む態様な機器間の通信を可能とする。また、そのディスプレイが、共通スイッチおよび画素スイッチの制御によって映像を表示するためのディスプレイである場合、その共通スイッチおよび画素スイッチを利用して、可視光信号を送信することができる。したがって、ディスプレイに映像表示するための構成(すなわち表示装置)に対して大幅な変更を行うことなく、簡単に可視光信号を送信することができる。
 (Single frame transmissionのフレーム構成)
 図471は、本実施の形態における送信信号の一例を示す図である。
 送信フレームは、図471の(a)に示すように、プリアンブル(PRE)、ID長(IDLEN)、IDタイプ(IDTYPE)、コンテンツ(ID/DATA)、および検査符号(CRC)で構成される。各領域のビット数は一例である。
 図471の(b)に示すようなプリアンブルを用いることで、受信機は、4PPM、I-4PPMまたはV4PPMでエンコードされている他の部分と区別することができ、信号の区切りを見つけることができる。
 図471の(c)に示すように、IDLENでID/DATAの長さを指定することで、可変長のコンテンツを送信することができる。
 CRCは、PRE以外の部分の誤りを訂正、または、検出する検査符号である。検査領域の長さに応じてCRC長を変化させることで、検査能力を一定以上に保つことが出来る。また、検査領域の長さに応じて異なる検査符号を用いることで、CRC長あたりの検査能力を向上させることができる。
 (Multiple frame transmissionのフレーム構成)
 図472と図473は、本実施の形態における送信信号の一例を示す図である。
 送信データ(BODY)には、パーティションタイプ(PTYPE)と検査符号(CRC)が付加され、Joined dataとなる。Joined dataは、いくつかのDATAPARTに分割され、プリアンブル(PRE)とアドレス(ADDR)が付加されて送信される。
 PTYPE(または、パーティションモード(PMODE))は、BODYの分割方法または意味を示す。図472の(a)に示すように2bitとすることで、4PPMでちょうどよく符号化することができる。図472の(b)に示すように1bitとすることで、送信時間を短くすることができる。
 CRCはPTYPEとBODYを検査する検査符号である。図450で定めるように、検査される部分の長さによってCRCの符号長を変化させることで、検査能力を一定以上に保つことができる。
 プリアンブルは、図451のように定めることで、分割パターンのバリエーションを確保しつつ、送信時間を短くすることができる。
 アドレスは、図452のように定めることで、受信機は、フレームを受信した順序に関わらず、データを復元することができる。
 図473は、可能なJoined data長とフレーム数との組み合わせである。下線が引かれた組み合わせは、後述のPTYPEがSingle frame compatibleのときに用いられる組み合わせである。
 (BODYフィールドの構成)
 図474は、本実施の形態における送信信号の一例を示す図である。
 BODYを図のようなフィールド構成とすることで、シングルフレーム送信と同様のIDを送信することができる。
 同じIDTYPEで同じIDの場合は、シングルフレーム送信かマルチフレーム送信か、また、パケット送信の組み合わせにかかわらず、同じ意味を表すとすることで、連続送信・受信時間が短い場合などに柔軟に信号を送信することができる。
 IDLENでIDの長さを指定し、余った部分はPADDINGを送信する。この部分は全て0または1としてもよいし、IDを拡張するデータを送信してもよいし、検査符号としてもよい。PADDINGは左詰めであっても良い。
 図474の(b)、(c)または(d)では、図474の(a)よりも送信時間を短くすることができる。このときIDの長さは、IDとして取れる長さのうち最大のものであるとする。
 図474の(b)または(c)の場合は、IDTYPEのビット数が奇数となるが、図472の(b)に示す1bitのPTYPEと組み合わせることで、偶数となり、4PPMで効率よくエンコードすることができる。
 図474の(c)では、より長いIDを送信することができる。
 図474の(d)では、より多くのIDTYPEを表現することができる。
 (PTYPE)
 図475は、本実施の形態における送信信号の一例を示す図である。
 PTYPEが所定のビットであるときは、BODYがSingle frame compatibleモードであることを示す。これにより、シングルフレーム送信の場合と同じIDを送信することができる。
 例えば、PTYPE=00のときには、そのPTYPEに対応するIDまたはIDタイプを、シングルフレーム送信で送信されたIDまたはIDタイプと同様に扱うことができ、IDまたはIDタイプの管理を簡単にすることができる。
 PTYPEが所定のビットであるときは、BODYはData streamモードであることを示す。このとき、送信フレーム数とDATAPART長は全ての組み合わせを用いることができ、異なる組み合わせのデータは異なる意味を持つとすることができる。PTYPEのビットによって、前記異なる組み合わせが同じ意味を持つ場合と、異なる意味を保つ場合としてもよい。これにより、送信方法を柔軟に選択することができる。
 例えば、PTYPE=01のときには、シングルフレーム送信に定義されていないサイズのIDを送信することができる。また、そのPTYPEに対応するIDがシングルフレーム送信のIDと同一であっても、そのPTYPEに対応するIDを、そのシングルフレーム送信のIDとは別のIDとして扱うことができる。その結果、表現可能なIDの数を多くすることができる。
 (Single frame compatible モードのフィールド構成)
 図476は、本実施の形態における送信信号の一例を示す図である。
 図474の(a)を用いる場合、Single frame compatibleモードでは、図476に示す表の組み合わせで送信する場合が最も効率が良い。
 図474の(b)、(c)または(d)を用いる場合は、IDが32bitの場合は、フレーム数13でDATAPART長4bitの組み合わせが効率が良い。また、IDが64bitの場合は、フレーム数が11でDATAPART長が8bitの組み合わせが効率が良い。
 表の組み合わせのみで送信されるとすることで、異なる組み合わせは受信エラーと判断することができるようになり、受信エラー率を下げることができる。
 本発明は、例えばディスプレイなどから可視光信号を送信する送信装置等に利用でき、特に、例えば大型LEDディスプレイなどから可視光信号を送信する送信装置などに利用することができる。
 C10 送信装置(送信機)
 C11 決定部
 C12 共通スイッチ制御部
 C13 画素スイッチ制御部

Claims (10)

  1.  輝度変化によって可視光信号を送信する送信方法であって、
     可視光信号を変調することにより、輝度変化パターンを決定する決定ステップと、
     ディスプレイに備えられた光源群に含まれる、それぞれ映像中の画素を表すための複数の光源を共通に点灯させるための共通スイッチを、前記輝度変化パターンにしたがってスイッチングする共通スイッチ制御ステップと、
     前記光源群に含まれる複数の光源のうちの第1の光源を点灯させるための第1の画素スイッチをオンにすることにより、前記共通スイッチがオンであり、かつ、前記第1の画素スイッチがオンである期間のみに、前記第1の光源を点灯させることによって、前記可視光信号を送信する第1の画素スイッチ制御ステップと
     を含む送信方法。
  2.  前記決定ステップでは、
     前記輝度変化パターンをシンボル周期ごとに決定し、
     前記第1の画素スイッチ制御ステップでは、
     前記シンボル周期に同期させて、前記第1の画素スイッチをスイッチングする
     請求項1に記載の送信方法。
  3.  前記第1の画素スイッチ制御ステップでは、
     前記ディスプレイに映像を表示させるときには、前記第1の光源に対応する、前記映像中の画素の画素値を表現するための点灯期間のうち、前記可視光信号の送信のために前記第1の光源が消灯される期間だけ、前記点灯期間を補うように、前記第1の画素スイッチをスイッチングする
     請求項2に記載の送信方法。
  4.  前記映像中の画素の画素値を変更することによって、前記点灯期間を補う
     請求項3に記載の送信方法。
  5.  前記シンボル周期の1/2の周期で前記画素値を変更する
     請求項4に記載の送信方法。
  6.  前記送信方法は、さらに、
     前記光源群に含まれる、前記第1の光源の周囲にある第2の光源を点灯させるための第2の画素スイッチをオンにすることにより、前記共通スイッチがオンであり、かつ、前記第2の画素スイッチがオンである期間のみに、前記第2の光源を点灯させることによって、前記可視光信号を送信する第2の画素スイッチ制御ステップとを含み、
     前記第1および第2の画素スイッチ制御ステップでは、
     前記第1および第2の光源のそれぞれから、前記可視光信号に含まれる同一のシンボルを同時に送信するときには、
     前記第1および第2の画素スイッチのそれぞれが前記同一のシンボルを送信するためにオンまたはオフする複数のタイミングのうち、前記同一のシンボルに固有の輝度の立ち上がりが得られるタイミングを、前記第1および第2の画素スイッチのそれぞれで同一にし、他のタイミングを、前記第1および第2の画素スイッチのそれぞれで異ならせ、
     前記同一のシンボルが送信される期間における、前記第1および第2の光源の全体の平均輝度を、予め定められた輝度に一致させる
     請求項3に記載の送信方法。
  7.  前記第1の画素スイッチ制御ステップでは、
     第1の期間と、前記第1の期間に続く第2の期間とで、前記可視光信号に含まれる同一のシンボルを送信するときには、
     前記第1および第2の期間のそれぞれにおいて、前記第1の画素スイッチが前記同一のシンボルを送信するためにオンまたはオフする複数のタイミングのうち、前記同一のシンボルに固有の輝度の立ち上がりが得られるタイミングを同一にし、他のタイミングを異ならせ、
     前記第1および第2の期間の全体における前記第1の光源の平均輝度を、予め定められた輝度に一致させる
     請求項3に記載の送信方法。
  8.  前記第1の画素スイッチ制御ステップでは、
     前記共通スイッチが前記輝度変化パターンにしたがってスイッチングしている信号送信期間中、前記第1の画素スイッチをオンにし、
     前記送信方法は、さらに、
     前記信号送信期間と異なる映像表示期間中、前記共通スイッチをオンにし、前記映像表示期間において前記第1の画素スイッチを表示対象の映像にしたがってオンにすることにより、前記共通スイッチがオンであり、かつ、前記第1の画素スイッチがオンである期間のみに、前記第1の光源を点灯させることによって、前記映像中の画素を表示する映像表示ステップを含む
     請求項1に記載の送信方法。
  9.  輝度変化によって可視光信号を送信する送信装置であって、
     可視光信号を変調することにより、輝度変化パターンを決定する決定部と、
     ディスプレイに備えられた光源群に含まれる、それぞれ映像中の画素を表すための複数の光源を共通に点灯させるための共通スイッチを、前記輝度変化パターンにしたがってスイッチングする共通スイッチ制御部と、
     前記光源群に含まれる複数の光源のうちの制御対象の光源を点灯させるための画素スイッチをオンにすることにより、前記共通スイッチがオンであり、かつ、前記画素スイッチがオンである期間のみに、前記制御対象の光源を点灯させることによって、前記可視光信号を送信する画素スイッチ制御部と
     を備える送信装置。
  10.  輝度変化によって可視光信号を送信するためのプログラムであって、
     可視光信号を変調することにより、輝度変化パターンを決定する決定ステップと、
     ディスプレイに備えられた光源群に含まれる、それぞれ映像中の画素を表すための複数の光源を共通に点灯させるための共通スイッチを、前記輝度変化パターンにしたがってスイッチングする共通スイッチ制御ステップと、
     前記光源群に含まれる複数の光源のうちの制御対象の光源を点灯させるための画素スイッチをオンにすることにより、前記共通スイッチがオンであり、かつ、前記画素スイッチがオンである期間のみに、前記制御対象の光源を点灯させることによって、前記可視光信号を送信する画素スイッチ制御ステップと
     をコンピュータに実行させるプログラム。
PCT/JP2015/006318 2014-12-19 2015-12-18 送信方法、送信装置およびプログラム WO2016098355A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201580038826.XA CN106575998B (zh) 2014-12-19 2015-12-18 发送方法、发送装置以及程序
EP15869564.3A EP3236598B1 (en) 2014-12-19 2015-12-18 Transmission method, transmission device and program
HK17105226.6A HK1231642A1 (zh) 2014-12-19 2017-05-23 發送方法、發送裝置以及程序

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP2014-258111 2014-12-19
JP2014258111 2014-12-19
JP2015-029096 2015-02-17
JP2015-029104 2015-02-17
JP2015029104 2015-02-17
JP2015029096 2015-02-17
JP2015218984 2015-11-06
JP2015-218984 2015-11-06

Publications (1)

Publication Number Publication Date
WO2016098355A1 true WO2016098355A1 (ja) 2016-06-23

Family

ID=56126262

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/006318 WO2016098355A1 (ja) 2014-12-19 2015-12-18 送信方法、送信装置およびプログラム

Country Status (4)

Country Link
EP (1) EP3236598B1 (ja)
CN (1) CN106575998B (ja)
HK (1) HK1231642A1 (ja)
WO (1) WO2016098355A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106534369A (zh) * 2016-12-19 2017-03-22 浙江宇视科技有限公司 通信方法及装置
US20210132192A1 (en) * 2018-07-11 2021-05-06 Denso Corporation Signal processing apparatus

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109327366A (zh) * 2018-10-17 2019-02-12 西安微电子技术研究所 一种高速1553b总线信号解码器设计方法
CN111554239A (zh) * 2020-05-22 2020-08-18 Tcl华星光电技术有限公司 背光控制方法、装置以及存储介质
CN113327544B (zh) * 2021-08-04 2021-10-19 卡莱特云科技股份有限公司 一种基于对角显示的led显示屏对比度提升方法及led显示屏

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001203078A (ja) * 2000-01-19 2001-07-27 Tdk Corp 発光受光素子の駆動装置、発光受光装置、通信システムおよび表示装置
JP2004064465A (ja) * 2002-07-30 2004-02-26 Sony Corp 光通信装置、光通信データ出力方法、および光通信データ解析方法、並びにコンピュータ・プログラム
JP2005151015A (ja) * 2003-11-13 2005-06-09 Sony Corp 表示装置およびその駆動方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1971706A (zh) * 2005-11-24 2007-05-30 研华股份有限公司 显示屏亮度自动调整方法及装置
JP4949806B2 (ja) * 2006-11-10 2012-06-13 オンセミコンダクター・トレーディング・リミテッド 撮像装置及び画像信号処理装置
CN101707031B (zh) * 2009-12-01 2012-05-02 利亚德光电股份有限公司 Led电视机显示面板装置
US9087349B2 (en) * 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
EP2940901B1 (en) * 2012-12-27 2019-08-07 Panasonic Intellectual Property Corporation of America Display method
CN203616972U (zh) * 2013-10-28 2014-05-28 宸鸿光电科技股份有限公司 像素电路

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001203078A (ja) * 2000-01-19 2001-07-27 Tdk Corp 発光受光素子の駆動装置、発光受光装置、通信システムおよび表示装置
JP2004064465A (ja) * 2002-07-30 2004-02-26 Sony Corp 光通信装置、光通信データ出力方法、および光通信データ解析方法、並びにコンピュータ・プログラム
JP2005151015A (ja) * 2003-11-13 2005-06-09 Sony Corp 表示装置およびその駆動方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3236598A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106534369A (zh) * 2016-12-19 2017-03-22 浙江宇视科技有限公司 通信方法及装置
CN106534369B (zh) * 2016-12-19 2019-10-18 浙江宇视科技有限公司 通信方法及装置
US20210132192A1 (en) * 2018-07-11 2021-05-06 Denso Corporation Signal processing apparatus

Also Published As

Publication number Publication date
CN106575998A (zh) 2017-04-19
HK1231642A1 (zh) 2017-12-22
CN106575998B (zh) 2019-12-20
EP3236598A1 (en) 2017-10-25
EP3236598A4 (en) 2017-12-06
EP3236598B1 (en) 2021-05-26

Similar Documents

Publication Publication Date Title
JP6591262B2 (ja) 再生方法、再生装置およびプログラム
JP6649120B2 (ja) 信号生成方法、信号生成装置およびプログラム
JP6842413B2 (ja) 信号復号方法、信号復号装置およびプログラム
US9998220B2 (en) Transmitting method, transmitting apparatus, and program
WO2015075937A1 (ja) 情報処理プログラム、受信プログラムおよび情報処理装置
JP6345697B2 (ja) 情報処理プログラム、受信プログラムおよび情報処理装置
JPWO2017081870A1 (ja) 表示方法、プログラムおよび表示装置
WO2014103340A1 (ja) 情報通信方法
WO2014103160A1 (ja) 情報通信方法
WO2016098355A1 (ja) 送信方法、送信装置およびプログラム
JP2018032885A (ja) 情報処理プログラム、受信プログラムおよび情報処理装置
JP6707342B2 (ja) 送信方法、送信装置およびプログラム
JP6849773B2 (ja) プログラム、制御方法および制御装置
JP2018032884A (ja) 受信プログラムおよび受信装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15869564

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2015869564

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015869564

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE