WO2015097924A1 - 通信方法 - Google Patents

通信方法 Download PDF

Info

Publication number
WO2015097924A1
WO2015097924A1 PCT/JP2014/002327 JP2014002327W WO2015097924A1 WO 2015097924 A1 WO2015097924 A1 WO 2015097924A1 JP 2014002327 W JP2014002327 W JP 2014002327W WO 2015097924 A1 WO2015097924 A1 WO 2015097924A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
camera
unit
visible light
exposure
Prior art date
Application number
PCT/JP2014/002327
Other languages
English (en)
French (fr)
Inventor
大嶋　光昭
幸司 中西
秀紀 青山
伸輔 緒方
Original Assignee
パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ filed Critical パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority to JP2015554491A priority Critical patent/JP6298831B2/ja
Priority to CN201480070122.6A priority patent/CN105850061B/zh
Publication of WO2015097924A1 publication Critical patent/WO2015097924A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H04B10/116—Visible light communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Definitions

  • the present invention relates to a communication method between a mobile terminal such as a smartphone, a tablet, and a mobile phone and home appliances such as an air conditioner, a lighting device, and a rice cooker.
  • Patent Literature 1 in an optical space transmission device that transmits information to free space using light, limited transmission is performed by performing communication using a plurality of monochromatic light sources of illumination light. A technology for efficiently realizing communication between devices is described in the apparatus.
  • the conventional method is limited to a case where a device to be applied has a three-color light source such as illumination.
  • the present invention solves such problems and provides an information communication method that enables communication between various devices including a device having a small computing power.
  • a communication method is a communication method for a terminal including an in-camera that is a first imaging unit and an out-camera that is a second imaging unit, and the in-camera and the out-camera are connected to the terminal. And a visible light communication step of performing visible light communication using the in-camera or the out-camera switched in the switching step.
  • FIG. 1 is an image diagram showing a usage scene of the mobile terminal in the first embodiment.
  • FIG. 2 is a diagram illustrating an example of an overview of the mobile terminal according to the first embodiment.
  • FIG. 3 is an image diagram when the mobile terminal according to Embodiment 1 is held horizontally.
  • FIG. 4 is an image diagram when the portable terminal according to Embodiment 1 is held vertically.
  • FIG. 5 is a diagram illustrating an example of an in-store map presented by the mobile terminal according to the first embodiment.
  • FIG. 6 is an image diagram of a product UI presented by the mobile terminal according to the first embodiment.
  • FIG. 7 is an image diagram when the product UI presented by the mobile terminal in the first embodiment is operated.
  • FIG. 1 is an image diagram showing a usage scene of the mobile terminal in the first embodiment.
  • FIG. 2 is a diagram illustrating an example of an overview of the mobile terminal according to the first embodiment.
  • FIG. 3 is an image diagram when the mobile terminal according to Embodiment 1 is held horizontally.
  • FIG. 8 is a diagram illustrating an operation in which the user swings the portable terminal from right to left in the first embodiment.
  • FIG. 9 is an image diagram showing a usage scene of the watch-type device in the first embodiment.
  • FIG. 10 is a diagram showing an overall configuration of the communication system in the first embodiment.
  • FIG. 11 is a diagram illustrating an example of a structure of information stored in the product information storage unit according to the first embodiment.
  • FIG. 12 is a diagram illustrating an example of a layout image of the product UI presented by the mobile terminal according to the first embodiment.
  • FIG. 13 is a diagram illustrating an example of a structure of information stored in the map information storage unit in the first embodiment.
  • FIG. 14 is a diagram illustrating an example of a structure of information managed by the state management unit according to the first embodiment.
  • FIG. 15 is a flowchart illustrating the operation of the lighting device according to the first embodiment.
  • FIG. 16 is a flowchart showing the operation of the mobile terminal in the first embodiment.
  • FIG. 17 is a flowchart showing ceiling light related processing in the first embodiment.
  • FIG. 18 is a flowchart showing the base light related processing in the first embodiment.
  • FIG. 19 is a flowchart showing UI-related processing in the first embodiment.
  • FIG. 20 is a flowchart showing a map information UI process according to the first embodiment.
  • FIG. 21 is a flowchart showing the product information UI process according to the first embodiment.
  • FIG. 22 is a flowchart showing the entire display process in the first embodiment.
  • FIG. 23 is a flowchart showing display update pre-processing in the first embodiment.
  • FIG. 24 is a flowchart showing display update processing according to the first embodiment.
  • FIG. 25 is a diagram illustrating a detailed configuration of the light reception control unit according to the second embodiment.
  • FIG. 26 is a flowchart showing the illuminance pattern detection process of the light reception control unit in the second embodiment.
  • FIG. 27 is a diagram illustrating a detailed configuration of the light reception control unit according to the third embodiment.
  • FIG. 28 is a flowchart showing the illuminance pattern detection process of the light reception control unit in the third embodiment.
  • FIG. 29 is an image diagram when using the mobile terminal that detects the movement of the line of sight according to the fourth embodiment.
  • FIG. 30 is a diagram illustrating an example of a configuration of a mobile terminal in Embodiment 4.
  • FIG. 30 is a diagram illustrating an example of a configuration of a mobile terminal in Embodiment 4.
  • FIG. 31 is a flowchart at the time of a server inquiry in the fourth embodiment.
  • FIG. 32 is a diagram illustrating an example of a structure of information managed by the shelf identifier DB according to the fourth embodiment.
  • FIG. 33 is a diagram illustrating a detailed configuration of the light reception control unit according to the fifth embodiment.
  • FIG. 34 is a diagram illustrating a detailed configuration of the light reception control unit according to the sixth embodiment.
  • FIG. 35 is a diagram illustrating an example in which the imaging devices arranged in one row in the seventh embodiment are exposed at the same time and the exposure start time is shifted in the order of closer rows.
  • FIG. 36 is a diagram showing a case where the exposure of the next exposure line is started after the exposure of one exposure line in the seventh embodiment is completed.
  • FIG. 37 is a diagram showing a case where the exposure of the next exposure line is started after the exposure of one exposure line in the seventh embodiment is completed.
  • FIG. 38 is a diagram showing a case where the exposure of the next exposure line is started before the exposure of one exposure line in the seventh embodiment is completed.
  • FIG. 39 is a diagram showing the influence of the difference in exposure time when the exposure start times of the exposure lines in the seventh embodiment are equal.
  • FIG. 40 is a diagram illustrating an influence due to a difference in exposure start time of each exposure line when the exposure times in the seventh embodiment are equal.
  • FIG. 41 is a diagram showing an advantage when the exposure time is short when the exposure times of the exposure lines in Embodiment 7 do not overlap.
  • FIG. 42 is a diagram showing the relationship between the minimum change time of the light source luminance, the exposure time, the time difference between the exposure start times of the exposure lines, and the captured image in the seventh embodiment.
  • FIG. 43 is a diagram showing the relationship between the transition time of the light source luminance and the time difference between the exposure start times of the exposure lines in the seventh embodiment.
  • FIG. 44 is a diagram showing the relationship between the high frequency noise of the light source luminance and the exposure time in the seventh embodiment.
  • FIG. 45 is a graph showing the relationship between the exposure time and the magnitude of the high frequency noise when the high frequency noise of the light source luminance in the seventh embodiment is 20 microseconds.
  • FIG. 46 is a diagram showing the relationship between the exposure time t E and the recognition success rate in the seventh embodiment.
  • FIG. 47 is a diagram illustrating an example of an observation method of luminance of a light emitting unit in Embodiment 7.
  • FIG. 48 is a diagram illustrating an example of each mode of the reception device in the seventh embodiment.
  • FIG. 49 is a diagram showing a service providing system according to the eighth embodiment.
  • FIG. 50 is a flowchart of service provision in the eighth embodiment.
  • FIG. 51 is a flowchart of service provision in another example of the eighth embodiment.
  • FIG. 52 is a service provision flowchart in another example of the eighth embodiment.
  • a communication method is a communication method for a terminal including an in-camera that is a first imaging unit and an out-camera that is a second imaging unit, and the in-camera and the out-camera are connected to the terminal. And a visible light communication step of performing visible light communication using the in-camera or the out-camera switched in the switching step.
  • a communication method of a terminal having an in-camera that is a first imaging unit and an out-camera that is a second imaging unit, the switching step of switching the in-camera and the out-camera at predetermined time intervals, and the switching And a visible light communication step of performing visible light communication using the in-camera or the out-camera switched in the step.
  • the first device when the orientation of the terminal is substantially perpendicular to the ground, the first device is located in front of the user using the out camera switched in the switching step.
  • product information of a product shelf in which the first device is installed is acquired, and the acquired product information is displayed on a display unit of the terminal.
  • the second device located above the user using the in-camera switched in the switching step is visible light.
  • the position information where the second device is installed is acquired, and the acquired position information is used as the current position of the user before Together with the map information of the area the user is present is displayed on the display unit of the terminal.
  • the terminal is mounted on a wristwatch
  • the in-camera is mounted on a front surface of the wristwatch having a display unit for displaying the time of the wristwatch
  • the out-camera is mounted on a side surface of the wristwatch
  • the visible In the optical communication step when the display unit of the wristwatch is substantially horizontal with respect to the ground, a second device that emits visible light using the in-camera is located above the user.
  • position information where the second device is installed is acquired, and using the out-camera, the first device located in front of the user emits visible light.
  • product information of a product shelf in which the first device is installed is acquired, and the acquired position information is set as the current position of the user by the user's selection.
  • the map information of the area the user is present is displayed on the display unit of the terminal, or displays the acquired the item information to the display unit of the terminal.
  • the device associated with the identifier is obtained by inquiring a server about an identifier uniquely given to the device obtained by performing visible light communication with a device that emits visible light.
  • the visible light communication step if there is no information associated with the identifier by querying the server, an error notification indicating that there is no information on the device is sent to the terminal. Display on the display.
  • the method further includes a change step of changing the product information displayed on the display unit of the terminal.
  • the change step the product is displayed on the display unit by flicking the display unit.
  • Product information is changed.
  • the method further includes a change step of changing the map information displayed on the display unit of the terminal.
  • the map information is displayed on the display unit when the user performs a flick operation on the display unit. Map information is changed.
  • the product shelf in which the first device is installed When acquiring product information, the offset given to the map information is initialized, and in the visible light communication step, the product information is displayed on the display unit of the terminal, and then the input switched in the switching step.
  • the position information is acquired as the current position of the user using a camera, an offset given to the product information is initialized.
  • it further includes a line-of-sight detection step for detecting the line of sight of the user.
  • a line-of-sight detection step for detecting the line of sight of the user.
  • the switching step when the orientation of the terminal is substantially perpendicular to the ground, the camera is switched to the out-camera.
  • the visual line of the user is detected using an in-camera, and in the visible light communication step, the first device located in front of the user is visible using the out-camera switched in the switching step.
  • the product information of the first product shelf on which the first device is installed is obtained, and the point of view of the user detected in the detection step is obtained.
  • the product information of the second product shelf is displayed instead of the product information of the first product shelf.
  • the terminal includes an image sensor having a plurality of exposure lines, and the communication method further starts exposure of each exposure line of the image sensor sequentially at different times, and the exposure time of each exposure line.
  • the visible light communication step of acquiring the identification information of the subject by demodulating the bright line pattern corresponding to each exposure line that appears in the image data, and the service information associated with the identification information of the subject A service presentation step to be presented to the user.
  • the communication method further includes a request receiving step for performing a process of receiving a request for information distribution from a requester, and the information requested by the requester as information corresponding to the data obtained by the visible light.
  • the communication device is a communication device including an in-camera that is a first imaging unit and an out-camera that is a second imaging unit, and the in-camera and the out-camera are connected to the terminal. And a visible light communication unit that performs visible light communication using the in-camera or the out-camera switched in the switching step.
  • the communication device in the present embodiment is mounted on a mobile terminal such as a smartphone.
  • FIG. 1 is an image diagram showing a usage scene of the mobile terminal in the first embodiment.
  • FIG. 2 is a diagram illustrating an example of an overview of the mobile terminal according to the first embodiment.
  • the communication device used by the user receives visible light communication with the ceiling light A1101 installed on the ceiling, thereby receiving the ID emitted by the ceiling light A1101, or visible with the baselight A1103 installed in front of the user. By receiving optical communication, an ID emitted from the base light A1103 is received.
  • This communication apparatus has a plurality of light receiving units (imaging units) that receive visible light, and receives a plurality of IDs through visible light communication with a plurality of devices having different arrangement positions such as the ceiling light A1101 and the base light A1103.
  • imaging units that receive visible light
  • IDs through visible light communication
  • devices having different arrangement positions such as the ceiling light A1101 and the base light A1103.
  • the most suitable light receiving unit for light reception among the plurality of light receiving units is selected according to the attitude of the mobile terminal.
  • the communication apparatus includes an in camera that is a first imaging unit and an out camera that is a second imaging unit. More specifically, for example, as shown in FIG. 2, a portable terminal A1201 in which the communication apparatus is mounted has an in-camera A1202 (first imaging unit) on the front and an out-camera A1203 (second imaging unit) on the back.
  • the touch panel unit A1204 is provided on the front surface.
  • the in-camera A 1202 (first image capturing unit) and the out-camera A 1203 (second image capturing unit) are switched according to the orientation of the terminal (mobile terminal) on which the communication apparatus is mounted, and the switched in-camera A 1202 is switched. Visible light communication is performed using the (first imaging unit) or the out-camera A 1203 (second imaging unit).
  • FIG. 3 is an image diagram when the mobile terminal in Embodiment 1 is held horizontally.
  • FIG. 4 is an image diagram when the portable terminal according to Embodiment 1 is held vertically.
  • the mobile terminal A1201 when the display surface of the mobile terminal A1201 is held by the user so as to face the ceiling (substantially parallel to the ground), the mobile terminal A1201 is connected to the mobile terminal A1201 by an acceleration sensor built in itself. Is horizontal with respect to the ceiling (ground), and the in-camera A 1202 is activated. At this time, the operation of the out camera A 1203 may be interrupted in order to reduce power consumption.
  • visible light communication is performed by changing the light amount of the lighting according to a specific pattern (light emission pattern). For example, as shown in a region A1301, when the in-camera A1202 in operation detects light emission of the ceiling light A1101, visible light communication is performed by imaging. That is, the portable terminal A 1201 acquires the ID associated with the light emission pattern of the ceiling light A 1101 by performing visible light communication with the ceiling light A 1101, and changes the operation (behavior) according to the type of ID.
  • the mobile terminal A 1201 when the mobile terminal A 1201 is held by a user so as to be perpendicular to the ground, the mobile terminal A 1201 is connected to the ceiling by an acceleration sensor built in the mobile terminal A 1201. It is determined that the light is not directed to the ceiling light and is directed to the base light A1103 installed on the wall or shelf A1102, and the out camera A1203 is activated. At this time, the operation of the in-camera A 1202 may be interrupted in order to reduce power consumption.
  • visible light communication is performed by changing the light amount of the lighting according to a specific pattern (light emission pattern).
  • visible light communication is performed by imaging. That is, the mobile terminal A 1201 obtains an ID associated with the light emission pattern of the base light A 1103 by performing visible light communication with the base light A 1103, and changes the behavior according to the type of ID.
  • FIG. 5 is a diagram illustrating an example of an in-store map presented by the mobile terminal according to the first embodiment.
  • the mobile terminal A 1201 determines that the mobile terminal A 1201 is horizontal with respect to the ceiling (ground) as shown in FIG. 3, the mobile terminal A 1201 is associated with the light emission pattern acquired by performing visible light communication using the in-camera A 1202. Send the ID to the server.
  • the server searches the location information associated with the ID and notifies the mobile terminal A 1201 of the searched location information.
  • the mobile terminal A 1201 acquires the position information from the server, the acquired position information is used as the current position of the user, and a map (map information) indicating the position where the user is present, for example, a map in the store as illustrated in FIG. 5 is used. Present to the person.
  • the ceiling light A1101 (second device) that emits visible light that is positioned above the user is used with the in-camera A1202.
  • position information where the ceiling light A1101 (second device) is installed is acquired.
  • the portable terminal A 1201 displays the acquired position information as the current position of the user on the display unit of the portable terminal A 1201 together with the map information of the area where the user exists.
  • the map information displayed on the display unit of the mobile terminal A 1201 can be changed by a flick operation. For example, when the user performs a flick operation on the display unit of the mobile terminal A 1201, the offset position of the map information displayed on the display unit is changed.
  • FIG. 6 is an image diagram of the product UI presented by the mobile terminal according to the first embodiment.
  • FIG. 7 is an image diagram when the product UI presented by the mobile terminal in the first embodiment is operated.
  • the mobile terminal A1201 transmits the ID acquired by performing visible light communication using the in-camera A1202 to the server. .
  • the server searches the database for the product type and stock of the product shelf associated with the ID, and generates an image indicating the stock amount of the product from the searched product type and stock.
  • the server generates an image in which an image of a product in stock is superimposed on an image of a product displayed on the product shelf. Then, the server transmits the generated image to the mobile terminal A1201.
  • the mobile terminal A 1201 presents an image received from the server, that is, an image indicating the stock amount of the product on the display unit.
  • the visible light communication is performed with the base light A1103 (first device) that emits visible light that is located in front of the user using the out camera A1203.
  • the product information of the product shelf in which the base light A1103 (first device) is installed is acquired.
  • the mobile terminal A 1201 displays the acquired product information on the display unit of the mobile terminal A 1201.
  • the image indicating the stock quantity of the product displayed on the display unit of the mobile terminal A 1201 can be changed by a flick operation.
  • the offset of the image indicating the inventory amount of the product displayed on the display unit is changed, or the inventory of the product displayed on the display unit
  • the product information displayed on the display unit is changed.
  • the server may transmit a plurality of images (a plurality of image data) to the mobile terminal A 1201 when sending the generated image (image data) to the mobile terminal A 1201.
  • the server sequentially transmits a shelf image A1701 with a small stock amount and a shelf image A1703 with a large stock amount
  • the portable terminal A1201 displays a shelf image A1701 with a small stock amount.
  • the portable terminal A1201 displays a shelf image A1703 with a large inventory amount from a shelf image A1701 with a small inventory amount through an image A1702 indicating the progress of scrolling such as an image A1702 in accordance with a user's screen operation such as a flick operation. Are displayed in order. In this way, the user can check the product inventory more intuitively and easily.
  • FIG. 8 is a diagram illustrating an operation in which the user swings the mobile terminal from right to left in the first embodiment.
  • the mobile terminal A 1201 can switch the presentation content according to the received ID as described above, for example, as shown in FIG. 8, the product information of the shelf A 1801 and the shelf A 1802 visually recognized by the user can be switched. That is, when the user points the portable terminal A 1201 from the shelf A 1801 to the shelf A 1802, the portable terminal A 1201 receives the ID received from the base light A 1803 and the ID received from the base light A 1804 in order. Therefore, the mobile terminal A 1201 can sequentially display the product information corresponding to the ID received from the base light A 1803 and the ID received from the base light A 1804.
  • the mobile terminal A 1201 can present the user with information corresponding to the ID acquired through visible light communication with the device selected according to its own posture.
  • the terminal on which the communication terminal is mounted is not limited to the portable terminal A 1201 in which the imaging units are arranged on the front surface and the back surface, but may be a wristwatch.
  • the terminal on which the communication terminal is mounted is a wristwatch (a wristwatch type device) will be described with reference to FIG.
  • FIG. 9 is an image diagram showing a usage scene of the watch-type device in the first embodiment.
  • the wristwatch type device A1901 shown in FIG. 9 includes a light receiving portion A1902 installed on the upper surface portion and a light receiving portion A1903 installed on the side surface portion.
  • the light receiving unit A1902 corresponds to the in-camera A1202 (first imaging unit), and the light receiving unit A1903 corresponds to the out-camera A1203 (second imaging unit).
  • the wristwatch type device A 1901 includes an acceleration sensor.
  • the wristwatch-type device A1901 operates the light-receiving unit A1902 and the light-receiving unit A1903, for example, when the upper surface portion is parallel to the ground, and receives the light emitted from the ceiling light A1904.
  • Light received by A1902 and light emitted from the base light A1905 is received by the light receiving unit A1903.
  • the wristwatch-type device A1901 uses the light receiving unit A1902 to perform visible light communication with a ceiling light A1904 (second device) that is positioned above the user and emits visible light, whereby the ceiling light A1904 is obtained.
  • the position information where the (second device) is installed is acquired.
  • the wristwatch-type device A 1901 uses the light receiving unit A 1903 to perform visible light communication with a base light A 1905 (first device) that is positioned in front of the user and emits visible light, whereby the base light A 1905 (first device). ) Is acquired. Then, by the user's selection, the acquired position information is displayed on the display unit together with the map information of the area where the user exists as the current position of the user, or the acquired product information is displayed on the display unit.
  • the wristwatch type device A1901 may switch between the light receiving unit A1902 and the light receiving unit A1903 every predetermined time, and perform visible light communication using the switched light receiving unit A1902 or the light receiving unit A1903.
  • a portable terminal or wristwatch equipped with this communication device is used.
  • FIG. 10 is a diagram showing an overall configuration of the communication system in the first embodiment.
  • a mobile terminal A11001, an illumination device A11002, an illumination device A11003, and a server device A11015 are provided.
  • the illumination device A11002 includes an ID storage unit A11004, an encoding unit A11005, an illuminance pattern storage unit A11006, and a light emitting unit A11007.
  • the illumination device A11002 corresponds to a second device such as the ceiling light A1101 shown in FIG. 1 or the ceiling light A1904 shown in FIG.
  • the ID storage unit A11004 is a memory area, in which an identifier such as a MAC address that can uniquely determine an individual is written in advance.
  • the encoding unit A11005 When power is supplied to the lighting device A11002, the encoding unit A11005 reads the ID from the ID storage unit A11004, converts the ID into an illumination illuminance pattern, that is, an illumination illuminance at each timing, and converts the illumination pattern to the illuminance pattern. Store in the storage unit A11006.
  • the light emitting unit A11007 performs light emission control while updating the illuminance at high speed based on the pattern indicated by the illuminance pattern storage unit A11006. Accordingly, the illumination device A11002 performs illuminance control (visible light communication) based on the ID.
  • the illumination device A11003 includes an ID storage unit A11008, an encoding unit A11009, an illuminance pattern storage unit A11010, and a light emitting unit A11011.
  • the illumination device A11003 corresponds to a first device such as the baselight A1103 shown in FIG. 1 or the baselight A1905 shown in FIG.
  • the ID storage unit A11008 is a memory area in which an identifier such as a MAC address that can uniquely determine an individual is written in advance.
  • the encoding unit A11009 When power is supplied to the lighting device A11003, the encoding unit A11009 reads the ID from the ID storage unit A11008, converts the ID into an illumination illuminance pattern, that is, an illumination illuminance at each timing, and the illumination pattern is converted into an illuminance pattern. Store in the storage unit A11010.
  • the light emitting unit A11011 When the activation phase is completed, the light emitting unit A11011 performs light emission control while updating the illuminance at high speed based on the pattern indicated by the illuminance pattern storage unit A11010. Thereby, the illumination device A11003 performs illuminance control based on the ID (visible light communication).
  • the mobile terminal A11001 includes a light reception control unit A11012, an ID storage unit A11013, a DB management unit A11014, a product information storage unit A11016, a map information storage unit A11017, a display unit A11018, a state management unit A11019, UI unit A11020.
  • the portable terminal A11001 corresponds to a terminal such as the portable terminal A1201 shown in FIG. 2 or the wristwatch type device shown in FIG.
  • the light reception control unit A11012 When detecting the illuminance pattern of the light emitting unit A11007 and the light emitting unit A11011, the light reception control unit A11012 converts the detected pattern into an ID and stores it in the ID storage unit A11013. In the present embodiment, since the illuminance pattern of the light emitting unit A11007 or the light emitting unit A11011 is detected, the ID stored in the ID storage unit A11013 is stored in either the ID storage unit A11004 or the ID storage unit A11008. Is equal to the ID.
  • FIG. 11 is a diagram illustrating an example of a structure of information stored in the product information storage unit according to the first embodiment.
  • FIG. 12 is a diagram illustrating an example of a layout image of the product UI presented by the mobile terminal according to the first embodiment.
  • the product information storage unit A11016 stores information including a valid flag A11101, a shelf appearance A11102, a shelf interior A11103, product type information A11104, and product inventory information A11105, for example, as shown in FIG.
  • the valid flag A11101 indicates whether or not the merchandise inventory information is to be rendered, and takes a value of either TRUE or FALSE. When this value is TRUE, the product inventory information rendering process is performed by the display unit A11018.
  • the shelf appearance A11102 indicates the appearance of the shelf to be drawn, and stores the height and width of the actual size of the shelf. Based on the actual size information, the display unit A11018 performs a rendering process so that the shelf is settled in the screen. For example, the display unit A11018 renders the outer frame of the shelf with a layout as shown in FIG.
  • Shelf interior A11103 indicates the number of shelves and the height ratio of each shelf to the entire shelf.
  • the display unit A11018 renders the inner plate of the shelf at intervals as shown in FIG. 12 based on these pieces of information.
  • the product type information A11104 stores information on the number of product variations and the image data body of each product. For example, when the format of the image data received from the server apparatus A11015 is PNG data, the PNG data itself is arranged in the product type image data corresponding to the product type information A11104.
  • the display unit A11018 expands the PNG data in a cache area (not shown) immediately before rendering, renders the contents of the cache area, and presents the product image to the user.
  • the product inventory information A11105 stores information on the number of products in stock, the type of product for which the stock should be rendered, and coordinates.
  • the x-coordinate is “the number from the left of the product shelf”
  • the y-coordinate is “the number of the shelf from the top of the product shelf”
  • the z-coordinate is “of the shelves arranged in the back , And what number shelf from the front.
  • the display unit A11018 performs a rendering process on the product image indicated by the product type number at coordinates that match the coordinate information.
  • map information storage unit A11017 Next, the map information storage unit A11017 will be described.
  • FIG. 13 is a diagram illustrating an example of a structure of information stored in the map information storage unit A11017 in the first embodiment.
  • the map information storage unit A11017 stores information including a valid flag A11301, a map image data length A11302, and a map image A11303 as shown in FIG.
  • the valid flag A11301 indicates whether or not map information is to be rendered, and takes either TRUE or FALSE value. When this value is TRUE, map information rendering processing is performed by the display unit A11018.
  • the map image A11303 stores information on the image data body of the map. For example, when the format of the image data received from the server apparatus A11015 is PNG data, the PNG data itself is stored in the map image A11303.
  • the map image data length A 11302 indicates the data length of the map image A 11303.
  • the display unit A11018 expands the PNG data in a cache area (not shown) immediately before rendering, renders the contents of the cache area, and displays the product image. Present to the user.
  • FIG. 14 is a diagram illustrating an example of a structure of information managed by the state management unit according to the first embodiment.
  • the state management unit A11019 manages information including an abnormality flag A11601, a previous frame drawing type A11602, a display shelf depth A11603, a map offset XA11604, a map offset YA11605, and a previously acquired IDA11606. .
  • the previous acquisition IDA 11606 sets the initial value as an invalid value.
  • invalid value ⁇ 1.
  • the abnormal flag A11601 stores a value of TRUE or FALSE.
  • the state management unit A11019 sets the abnormality flag A11601 to TRUE when the ID sent to the server device A11015 is an invalid ID that is not related to any lighting device (lighting device A11002, lighting device A11003).
  • the display unit A11018 presents to the user (user) that reception has failed.
  • the values managed by the display shelf depth A11603, the map offset XA11604, and the map offset YA11605 are updated by the UI unit A11020 when the user operates the touch panel unit A1204.
  • the DB management unit A11014 When the DB management unit A11014 reads the ID from the ID storage unit A11013, the DB management unit A11014 inquires the server apparatus A11015 and collates the recorded ID.
  • the DB management unit A11014 displays the map information as shown in FIG. 5, that is, the corresponding ceiling light and the surrounding map image.
  • a request is sent to server apparatus A 11015 to transmit.
  • the DB management unit A11014 acquires a map image (map information method) as shown in FIG. 5 and stores it in the map information storage unit A11017.
  • the DB management unit A11014 sets the validity flag A11301 of the map information storage unit A11017 to TRUE, sets the validity flag of the product information storage unit A11016 to FALSE, and sets the abnormality flag A11601 to FALSE.
  • the DB management unit A11014 transmits the product information shown in FIG. 11 to the server device A11015 if the ID that has been read can be verified as, for example, the ID of any baselight installed on the product shelf as a result of the verification.
  • the DB management unit A11014 stores the acquired product information in the product information storage unit A11016.
  • the DB management unit A11014 sets the validity flag A11301 of the map information storage unit A11017 to FALSE, sets the validity flag of the product information storage unit A11016 to TRUE, and sets the abnormality flag A11601 to FALSE.
  • the DB management unit A 11014 sets the validity flag A 11301 of the map information storage unit A 11017. Is set to FALSE, the validity flag of the product information storage unit A11016 is set to FALSE, and the abnormality flag A11601 is set to TRUE.
  • UI unit A11020 is linked with touch panel unit A1204.
  • the UI unit A11020 updates the values managed by the map offset XA11604 and the map offset YA11605.
  • the UI unit A11020 increases the value of the map offset XA11604 according to the flick amount, and the touch panel unit A1204 is flicked to the left. And the value of the map offset XA11604 is decreased.
  • the UI unit A11020 decreases the value of the map offset YA11605 when the touch panel unit A1204 is flicked up by the user, and the value of the map offset YA11605 when the touch panel unit A1204 is flicked down. Increase.
  • UI part A11020 updates the value of display shelf depth A11603, for example, when effective flag A11301 of map information storage part A11017 is TRUE.
  • the UI unit A11020 for example, increases the value of the display shelf depth A11603 when the touch panel unit A1204 is flicked rightward by the user, and the display shelf depth A11603 is operated when the touch panel unit A1204 is flicked leftward. Decrease the value of.
  • the UI unit A11020 resets the value of the display shelf depth A11603 to 0 when the value of the display shelf depth A11603 becomes larger than the maximum value among the z coordinates of the products in the product inventory information A11105. In addition, when the value of the display shelf depth A11603 becomes smaller than 0, the UI unit A11020 resets the display shelf depth A11603 to (the maximum value among the z coordinates of the products in the product inventory information A11105).
  • Display A11018 The display unit A11018 renders and displays the above map information or product information. In addition, the display unit A11018 updates the display content based on the above-described processing.
  • the display unit A11018 determines that the state of the shelf to be displayed needs to be initialized once, and the display shelf depth A11603. Set the value of to 0 again.
  • product information is displayed on the display unit A11018 of the mobile terminal A11001, and the position information is acquired as the current position of the user using the switched first imaging unit (for example, the in-camera A1202), product information Initialize the offset given to.
  • switched first imaging unit for example, the in-camera A1202
  • the display unit A11018 determines that the state of the map to be displayed needs to be initialized once when the validity flag A11301 of the map information storage unit A11017 is TRUE and the previous frame drawing type A11602 is other than map information.
  • the values of the offset XA 11604 and the map offset YA 11605 are reset to 0. That is, after the map information is displayed on the display unit A11018 of the mobile terminal A11001, the product shelf in which the first device (the lighting device A11003) is installed using the switched second imaging unit (for example, the out camera A1203). When the product information is acquired, the offset given to the map information is initialized.
  • the display unit A11018 determines that the display state needs to be initialized when the previous acquisition ID of the state management unit A11019 and the ID storage unit A11013 hold different values, and the map offset XA11604 and the map offset YA11605 and display shelf depth A11603 may be set to 0 again. In this case, the contents of the ID storage unit A11013 are copied to the previous acquisition ID of the state management unit A11019.
  • the previous frame drawing type A11602 is set to “product information”, and the validity flag A11301 of the map information storage unit A11017 is set.
  • the previous frame drawing type A11602 is set to “map information”.
  • the abnormality flag A11601 is TRUE, the previous frame drawing type A11602 is set to “abnormal”.
  • the display unit A11018 executes a rendering process for displaying map information as shown in FIG. 5 when the valid flag A11301 of the map information storage unit A11017 is TRUE. Further, the display unit A11018 executes a rendering process for displaying the product inventory status as shown in FIG. 12 when the validity flag of the product information storage unit A11016 is TRUE. On the other hand, when the abnormality flag A11601 is TRUE, the display unit A11018 updates the display content to indicate that an illegal ID has been received.
  • FIG. 15 is a flowchart illustrating the operation of the lighting device according to the first embodiment.
  • the encoding unit A11005 reads the ID from the ID storage unit A11004 (SA11402).
  • the encoding unit A11005 converts the ID into an illumination illuminance pattern, that is, an illumination illuminance at each timing by an encoding process (SA11403).
  • the encoding unit A11005 stores the illuminance pattern in the first illuminance pattern storage unit A11006 (SA11404).
  • the light emitting unit A11007 reads the illuminance pattern from the illuminance pattern storage unit A11006 (SA11405), and performs light emission control while updating the illuminance at high speed based on the pattern indicated by the illuminance pattern. (SA11406).
  • the lighting device A11002 performs illuminance control (visible light communication) based on the ID.
  • the encoding unit A11009 reads the ID from the ID storage unit A11008 (SA11402), converts the ID into the illumination illuminance pattern, that is, the illumination illuminance at each timing by the encoding process (SA11403), and converts the illumination pattern into the illuminance pattern storage unit. It stores in A11010 (SA11404).
  • the light emitting unit A11011 reads the illuminance pattern from the illuminance pattern storage unit A11010 (SA11405), and performs light emission control while updating the illuminance at high speed based on the pattern indicated by the illuminance pattern (SA11406). .
  • the lighting device A11003 performs illuminance control based on the ID.
  • FIG. 16 is a flowchart showing the operation of the mobile terminal in the first embodiment.
  • the light reception control unit A11012 first switches the shutter speed to a high speed setting (SA11500).
  • the light receiving control unit A11012 converts the pattern detected by the decoding process into an ID (SA11501) and stores it in the ID storage unit A11013 (SA11502).
  • the DB management unit A11014 reads the ID from the ID storage unit A11013, it makes an inquiry to the server device A11015 (SA11503) and collates the recorded ID (SA11504, SA11506).
  • the DB management unit A11014 executes processing related to the ceiling light (SA11505).
  • SA11506 if the ID is one of the baselight IDs installed on the product shelf as a result of the collation (Yes in SA11506), the DB management unit A11014 executes baselight-related processing (SA11507). .
  • the DB management unit A11014 sets the valid flag A11301 of the map information storage unit A11017 to FALSE.
  • the validity flag of the information storage unit A11016 is set to FALSE, and the abnormality flag A11601 is set to TRUE.
  • the display unit A11018 displays an error notification indicating that there is no information regarding the lighting device (SA11508). That is, the portable terminal A11001 inquires of the server device A11015 for an identifier uniquely given to the illumination device acquired by performing visible light communication with the illumination device that emits visible light, thereby associating the illumination device associated with the identifier. Get information about. However, the portable terminal A11001 displays on the display unit A11018 an error notification indicating that there is no information regarding the lighting device when there is no information associated with the identifier even when the server apparatus A11015 is inquired.
  • FIG. 17 is a flowchart showing ceiling light related processing in the first embodiment.
  • the DB management unit A11014 sends a request to the server apparatus A11015 to transmit a corresponding ceiling light and its surrounding map image as shown in FIG. 5 (SA11701).
  • the DB management unit A11014 acquires the map image shown in FIG. 5 and stores it in the map information storage unit A11017 (SA11702).
  • the DB management unit A11014 sets the validity flag A11301 of the map information storage unit A11017 to TRUE, and sets the validity flag of the product information storage unit A11016 to FALSE (SA11703).
  • FIG. 18 is a flowchart showing the base light related processing in the first embodiment.
  • the DB management unit A11014 requests the product information shown in FIG. 11 from the server apparatus A11015 (SA11801).
  • the DB management unit A11014 stores the acquired product information in the product information storage unit A11016 (SA11802).
  • the DB management unit A11014 sets the validity flag A11301 of the map information storage unit A11017 to FALSE and sets the validity flag of the product information storage unit A11016 to TRUE (SA11803).
  • FIG. 19 is a flowchart showing UI related processing in the first embodiment.
  • the UI unit A11020 is linked to the touch panel unit A1204 as described above.
  • the UI unit A11020 executes a UI process for product information (S11904).
  • FIG. 20 is a flowchart showing the UI process for map information in the first embodiment.
  • the UI unit A11020 determines whether or not the touch panel unit A1204 is flicked rightward by the user (SA12001). In SA12001, the UI unit A11020 increases the value of the map offset XA11604 in accordance with the flick amount when the user touches the touch panel unit A1204 in the right direction (Yes in SA12001) (SA12002).
  • SA12003 if the touch panel A1204 is flicked leftward by the user (yes in SA12003), the UI unit A11020 decreases the value of the map offset XA11604 (SA12004).
  • the UI unit A11020 reduces the value of the map offset YA11605 (SA12006) when the touch panel unit A1204 is flicked upward by the user (yes in SA1205).
  • the UI unit A11020 increases the value of the map offset YA11605 (SA12008) when the touch panel unit A1204 is flicked downward by the user (yes in SA12007).
  • the UI unit A11020 updates the values of the map offset XA11604 and the map offset YA11605.
  • FIG. 21 is a flowchart showing the product information UI process in the first embodiment.
  • the UI unit A11020 determines whether the touch panel unit A1204 is flicked rightward by the user (SA12101). In SA12101, when the touch panel unit A1204 is flicked to the right by the user (Yes in SA12101), the UI unit A11020 increases the value of the display shelf depth A11603 (SA12102).
  • SA12103 when the touch panel unit A1204 is flicked leftward by the user (yes in SA12103), the UI unit A11020 decreases the value of the display shelf depth A11603 (SA12104).
  • the UI unit A11020 sets the display shelf depth A11603 to 0 when the value of the display shelf depth A11603 is larger than the maximum value among the z coordinates of the products in the product inventory information A11105 (Yes in SA12105).
  • the setting is reset (SA12106).
  • the UI unit A11020 sets the value of the display shelf depth A11603 to the largest z coordinate of the product in the product inventory information A11105.
  • the value is reset (SA12108).
  • the UI unit A11020 updates the display shelf depth A11603.
  • FIG. 22 is a flowchart showing the entire display process in the first embodiment.
  • FIG. 23 is a flowchart showing display update pre-processing in the first embodiment, and
  • FIG. 24 is a flowchart showing display update processing in the first embodiment.
  • the display unit A11018 executes a display update pre-process before performing the display update process (SA12201). Then, the display unit A11018 executes the display update process after executing the display update pre-process (SA12202).
  • the display unit A11018 confirms whether or not the product information is valid as shown in FIG. 23 (SA12301).
  • the display unit A11018 needs to initialize the state of the shelf to be displayed. It is determined that there is, and the value of the display shelf depth A11603 is reset to 0 (SA12303).
  • the display unit A11018 confirms whether the map information is valid (SA12304).
  • the display unit A11018 needs to initialize the state of the map to be displayed when the validity flag A11301 of the map information storage unit A11017 is TRUE (yes in SA12304) and the previous frame drawing type A11602 is other than map information (no in SA12305). It is determined that there is a map offset XA11604 and map offset YA11605 are reset to 0 (SA12306).
  • the display unit A11018 confirms whether or not the ID has been updated (SA12307).
  • the display unit A11018 determines that the display state needs to be initialized, and the map The values of the offset XA11604, map offset YA11605, and display shelf depth A11603 are reset to 0 (SA12308).
  • the display unit A11018 updates the old ID by copying the content of the ID storage unit A11013 to the previous acquisition ID of the state management unit A11019 (SA12309).
  • the display unit A11018 updates the previous frame drawing type (SA12310). Specifically, when the validity flag A11101 of the product information storage unit A11016 is TRUE, the display unit A11018 displays the previous frame drawing type A11602 as “product information”, and when the validity flag A11301 of the map information storage unit A11017 is TRUE. The previous frame drawing type A 11602 is set to “map information”. Also, the display unit A11018 sets the previous frame drawing type A11602 to “abnormal” when the abnormality flag A11601 is TRUE.
  • the display unit A11018 confirms whether the map information is valid as shown in FIG. 24 (SA12301).
  • the display unit A11018 reads the value of the map offset XA11604 and the value of the map offset YA11606 (SA12402), and shifts by the value of each offset.
  • the map information rendering process as shown in FIG. 5 is executed (SA12403).
  • the display unit A11018 reads the value of the display shelf depth A11603 (SA12404) and presents the shelf image indicated by the display shelf depth A11603. Then, the rendering process of the commodity inventory status as shown in FIG. 12 is executed (SA12406).
  • the display unit A11018 updates the display content to display that an invalid ID has been received when the validity flag of the product information is invalid (no in SA12404) and when the abnormality flag A11601 is TRUE. (SA12407).
  • FIG. 25 is a diagram illustrating a detailed configuration of the light reception control unit according to the second embodiment.
  • the light reception control unit A11012 in the second embodiment includes a light reception unit A12501, a light reception unit A12502, a selector A12503, an acceleration detection unit A12504, a light reception signal storage unit A12505, a decoding unit A12506, And a threshold storage unit A12507.
  • the light receiving unit A12501 corresponds to, for example, the in-camera A 1202 (first imaging unit) of the first embodiment
  • the light receiving unit A 12502 corresponds to, for example, the out-camera A 1203 (second imaging unit) of the first embodiment.
  • the selector A12503 is a selector for selecting which of the two light receiving units is to be operated.
  • the acceleration detection unit A12504 supplies information necessary for the selection process in the selector A12503 by detecting the acceleration of the mobile terminal A11011.
  • the light reception signal storage unit A12505 stores the light reception signal obtained from the light reception unit A12501 or the light reception unit A12502 via the selector A12503.
  • the decoding unit A12506 reads the received light signal from the received light signal storage unit A12505, performs decoding processing to generate an ID, and stores the generated ID in the ID storage unit A11013.
  • the threshold storage unit A12507 stores in advance a first threshold and a second threshold for determining whether or not the mobile terminal A11011 equipped with the light reception control unit A11012 is horizontal with respect to the acceleration acquired by the selector A12503. To do.
  • FIG. 26 is a flowchart showing the illuminance pattern detection process of the light reception control unit in the second embodiment.
  • the light reception control unit A11012 detects acceleration generated in the back direction of the mobile terminal A11011 from the acceleration detection unit A12504 (SA12601).
  • the light reception control unit A11012 compares the acquired acceleration with the threshold value stored in the threshold value storage unit A12507, and checks whether the light reception unit A12501 (in-camera) is facing upward (SA12602).
  • the light reception control unit A11012 determines that the light reception unit A12501 (in camera) is upward with respect to the ground (yes in SA12602), and the light reception unit A12501 (in camera). (SA12603). If the acceleration is greater than the first threshold value, the light reception control unit A11012 has a greater acceleration, that is, a gravitational acceleration, in the back direction of the mobile terminal A11011. Therefore, the mobile terminal A11011 is horizontal to the ground, and It can be determined that the light receiving unit A12501 (in-camera) is facing upward with respect to the ground. Then, the light reception control unit A11012 switches to or operates the light reception unit A12501.
  • the light reception control unit A11012 determines that the light reception unit A12501 (in-camera) is not upward with respect to the ground (no in SA12602) and the light reception unit A12502 (out) even if the acceleration is equal to or less than the second threshold value. Switch to (camera) (SA12604). If the acceleration is equal to or less than the second threshold value, the light reception control unit A11012 does not generate a large gravitational acceleration in the back direction of the mobile terminal A11011. Therefore, the mobile terminal A11011 is not horizontal with respect to the ground, and the light reception unit A12502 ( It is determined that the (out-camera) is facing the wall or shelf. Then, the light reception control unit A11012 switches to or operates the light reception unit A12502 (out camera).
  • the light reception control unit A11012 acquires a still image capture (SA12605). Specifically, the light reception control unit A11012 acquires a photographed image from the light receiving unit A12501 (in camera) or the light receiving unit A12502 (out camera) by the above processing.
  • the light reception control unit A11012 acquires a change in illumination illuminance from the captured image, that is, executes a decoding process (SA12606).
  • the light reception control unit A11012 stores the ID obtained by the decoding process in the ID storage unit A11013 (SA12607).
  • the light reception control unit A11012 can select the light reception unit (imaging unit) according to the attitude of the mobile terminal A11011. This makes it ideal for lighting equipment that looks into the mobile device from the top (overlooking the floor plan of the building) and selects the light receiving unit (in-camera) that best suits the lighting equipment, and to look into the front shelf and other subjects horizontally. It is possible to select a light receiving unit (out camera).
  • FIG. 27 is a diagram illustrating a detailed configuration of the light reception control unit according to the third embodiment.
  • the light reception control unit A11012 in the third embodiment includes a first light reception unit A12701, a second light reception unit A12702, a selector A12703, a timer control unit A12704, a light reception signal storage unit A12705, a decoding unit A12706, and a threshold value.
  • the light receiving unit A12701 corresponds to, for example, the in-camera A 1202 (first imaging unit) of the first embodiment
  • the light receiving unit A12702 corresponds to, for example, the out-camera A 1203 (second imaging unit) of the first embodiment.
  • the selector A12703 is a selector for selecting which of these two light receiving units is to be operated.
  • Timer control unit A12704 supplies information necessary for selection processing in selector A12703.
  • the light reception signal storage unit A12705 stores the light reception signal obtained from the first light reception unit A12701 or the second light reception unit A12702 via the selector A12703.
  • the decoding unit A12706 reads the received light signal from the received light signal storage unit A12705, performs decoding processing to generate an ID, and stores the generated ID in the ID storage unit A11013.
  • the threshold storage unit A12707 stores in advance a threshold value 1 of a time required for the selector A12703 to start receiving light from the first light receiving unit A12701 and to switch to the light receiving of the second light receiving unit A12702.
  • the threshold value storage unit A12507 further stores in advance a threshold value 2 of a time required for the selector A12703 to start receiving light from the second light receiving unit A12702 and switch to the light reception of the first light receiving unit A12701.
  • FIG. 28 is a flowchart showing the illuminance pattern detection process of the light reception control unit in the third embodiment.
  • the light reception control unit A11012 confirms whether the timer control unit A12704 is stopped (SA12801).
  • SA12801 if the timer control unit A12704 is not in operation (Yes in SA12801), the light reception control unit A11012 operates the timer control unit A12704 and operates the first light reception unit A12701 (SA12802).
  • SA12803 if the first light receiving unit A12701 is in operation (Yes in SA12803), the light reception control unit A11012 has passed the first threshold time since the first light receiving unit A12701 started to operate. If this is the case (Yes in SA12804), the first light receiving unit A12701 is stopped and the second light receiving unit A12702 is operated in order to operate each light receiving unit with good balance (SA12806).
  • the second threshold time elapses after the second light receiving unit A12702 is operated. If so (Yes in SA12805), the second light receiving unit A12702 is stopped and the first light receiving unit A12701 is operated in order to operate each light receiving unit with good balance (SA12807).
  • the light reception control unit A11012 acquires a still image capture (SA12608). Specifically, the light reception control unit A11012 acquires a captured image from the activated first light receiving unit A12501 or the second light receiving unit A12502 by the above processing.
  • the light reception control unit A11012 obtains a change in illumination illuminance from the captured image, that is, executes a decoding process (SA12609).
  • the light reception control unit A11012 stores the ID obtained by the decoding process in the ID storage unit A11013 (SA12610).
  • the light reception control unit A11012 performs selection of the light reception unit (imaging unit) at predetermined time intervals, for example, when a wristwatch type device as shown in FIG.
  • the ID obtained from A1904 and the ID obtained from the base light A1905 installed on the shelf can be acquired in a balanced manner.
  • the light reception control unit A11012 may further include an acceleration detection unit. In this case, if the display surface of the wristwatch-type device is not horizontal with respect to the ground, that is, if it is expected that the user is not looking at the display surface of the wristwatch-type device, the light reception control unit A11012 and the first light reception unit A12501 The second light receiving unit A 12502 may be stopped to reduce power consumption.
  • FIG. 29 is an image diagram when using the mobile terminal that detects the movement of the line of sight according to the fourth embodiment.
  • the mobile terminal A12901 can detect the user's line of sight by image recognition processing. Then, it is determined that “the user is looking at the shelf A12905 installed on the right side of the shelf A12901, not the shelf A12901”, and information on the shelf A12905 is displayed on the display unit of the portable terminal A12901.
  • the intention of a user is reflected more by selecting the display object in consideration of a user's (user's) gaze.
  • the confirmed information can be confirmed.
  • FIG. 30 is a diagram illustrating an example of the configuration of the mobile terminal according to the fourth embodiment.
  • the same reference numerals are used for components that are the same as those in the first embodiment, that is, the same components as those shown in FIG.
  • the mobile terminal A12901 is connected to the server device A13004 by wireless communication.
  • the light reception control unit A13002 When the light reception control unit A13002 detects the illuminance pattern of the light emitting unit A11007 and the light emitting unit A11011, it converts the detected pattern into an ID and stores it in the ID storage unit A11013. In the case of the present embodiment, since the light reception control unit A13002 detects the illuminance pattern of the light emitting unit A11007 or the light emitting unit A11011, the ID stored in the ID storage unit A11013 is either the ID storage unit A11004 or the ID storage unit A11008. Is equal to the ID stored in.
  • the light reception control unit A13002 detects line-of-sight classification information indicating whether the user's line of sight is classified as “front, right, left” or not by the internal light reception function incorporated therein. The result is stored in the line-of-sight information storage unit A13001.
  • FIG. 31 is a flowchart showing inquiry processing of the DB management unit in the fourth embodiment.
  • FIG. 32 is a diagram illustrating an example of a structure of information managed by the DB of the server device in the fourth embodiment.
  • the DB management unit A13003 starts processing for making a product image transmission request to the server device A11015 (SA11801).
  • the DB management unit A13003 inquires of the server device about the ID and the line-of-sight classification information (SA13201). Specifically, the DB management unit A13003 reads the ID from the ID storage unit A11013, and further reads the line-of-sight classification information from the line-of-sight information storage unit A13001. In addition, the DB management unit A13003 requests product information from the server device A11015. At this time, the base light ID is transmitted to the server apparatus A11015, and the line-of-sight classification information stored in the line-of-sight information storage unit A13001 is also transmitted to the server apparatus A11015.
  • the server device A 11015 searches for the ID from the held DB (SA 13202). Specifically, the server apparatus A11015 holds a DB as shown in FIG. 32, and searches from the A13102 column of the DB holding the received ID.
  • the server apparatus A11015 searches the DB row corresponding to the ID and the line-of-sight classification information (SA13205) when the ID corresponding to the held DB exists (YES in SA13203), and the shelf corresponding to the line-of-sight classification information. It is confirmed whether the identifier exists (SA13206). Specifically, when a row corresponding to the A13102 column of the stored DB is retrieved, the server device A11015 extracts a shelf identifier from the row.
  • the A13101 column is referred to, when the line-of-sight classification information is “left”, the A13103 column is referred to, and when the line-of-sight classification information is “right”, the A13104 column is referred to.
  • Get shelf identifier when the line-of-sight classification information is the front, the A13101 column is referred to, when the line-of-sight classification information is “left”, the A13103 column is referred to, and when the line-of-sight classification information is “right”, the A13104 column is referred to.
  • the server device A11015 searches for the line corresponding to the obtained shelf identifier (SA13208), and notifies the shelf information of the corresponding line (SA13209). Specifically, the server device A11015 searches the obtained shelf identifier from the A13101 column, and notifies the DB management unit A13003 of the portable terminal A12901 of the shelf information A13105 of the corresponding row. For example, when the ID value 200 is received and the line-of-sight classification information is “right”, when the ID 200 is searched from the illumination IDA 13102, it exists in the first row and the shelf identifier A13104 on the right in the first row. Is 101, shelf information A13105 in the row where the shelf identifier A13101 is 101, that is, shelf information 2, is sent to the portable terminal A12901.
  • the DB management unit A13003 of the mobile terminal A12901 stores the acquired product information in the product information storage unit A11016, sets the validity flag A11301 of the map information storage unit A11017 to FALSE, and also sets the validity flag of the product information storage unit A11016. Is set to TRUE and the abnormality flag A11601 is set to FALSE.
  • SA13206 if the received ID is detected from the A13102 column but the shelf identifier cannot be extracted from the ID and line-of-sight classification information (no in SA13206), the server apparatus A11015 has searched the received ID.
  • the row shelf information A13105 is notified to the DB management unit A13003 of the portable terminal A12901 (SA13207).
  • the server apparatus A11015 In SA13203, if the received ID cannot be detected from the A13102 column (no in SA13203), the server apparatus A11015 notifies the DB management unit A13003 of the portable terminal A12901 that there is no corresponding ID (SA13204).
  • the DB management unit A13003 sets the validity flag A11301 of the map information storage unit A11017 to FALSE.
  • the validity flag of the product information storage unit A11016 is set to FALSE, and the abnormality flag A11601 is set to TRUE.
  • the mobile terminal equipped with the communication device can further detect the user's line of sight. More specifically, when the orientation of the mobile terminal is substantially perpendicular to the ground, the user switches to the out camera, performs visible light communication with the first device that emits visible light with the out camera, and uses the inner camera to perform the user. Detect gaze of
  • the product information of the first product shelf in which the first device is installed is obtained by performing visible light communication with the first device that is located in front of the user and emits visible light. If the second product shelf at the tip of the detected user's line of sight is different from the first product shelf, the product information on the second product shelf is displayed instead of the product information on the first product shelf. Can do.
  • the present embodiment is based on the fourth embodiment and clarifies the configuration of the light reception control unit A11012.
  • FIG. 33 is a diagram illustrating a detailed configuration of a light reception control unit according to the fifth embodiment.
  • the light reception control unit A11012 in the fifth embodiment includes a light reception unit A12501, a light reception unit A12502, a selector A12503, an acceleration detection unit A12504, a light reception signal storage unit A12505, a decoding unit A12506, A threshold storage unit A12507 and a line-of-sight detection unit A13301 are provided. Elements similar to those in FIG. 25 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the light receiving unit A12501 corresponds to, for example, the in-camera A 1202 (first imaging unit) of the first embodiment, and the light receiving unit A 12502 corresponds to, for example, the out-camera A 1203 (second imaging unit) of the first embodiment.
  • the light receiving unit A12501 is a video imaging device such as a camera device.
  • the selector A12503 is a selector for selecting which of the two light receiving units is to be operated.
  • the acceleration detection unit A12504 supplies information necessary for the selection process in the selector A12503 by detecting the acceleration of the mobile terminal A12901.
  • the light reception signal storage unit A12505 stores the light reception signal obtained from the light reception unit A12501 or the light reception unit A12502 via the selector A12503.
  • the decoding unit A12506 reads the received light signal from the received light signal storage unit A12505, performs decoding processing to generate an ID, and stores the generated ID in the ID storage unit A11013.
  • the threshold storage unit A12507 stores in advance a first threshold value and a second threshold value for determining whether or not the mobile terminal A12901 equipped with the light reception control unit A11012 is level with respect to the ground from the acceleration acquired by the selector A12503. To do.
  • the line-of-sight detection unit A13301 receives the video signal from the light receiving unit A12501, detects the user's line-of-sight position, and stores the line-of-sight classification information in the line-of-sight information storage unit A13001.
  • the present embodiment is based on the fourth embodiment and clarifies the configuration of the light reception control unit A11012.
  • FIG. 34 is a diagram illustrating a detailed configuration of the light reception control unit according to the sixth embodiment.
  • the light reception control unit A11012 in the sixth embodiment includes a light reception unit A12501, a light reception unit A12502, a selector A12503, an acceleration detection unit A12504, a light reception signal storage unit A12505, a decoding unit A12506, A threshold storage unit A12507, an imaging unit A13401, and a line-of-sight detection unit A13402 are provided. Elements similar to those in FIG. 25 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the light receiving unit A12501 is a sensor device such as an illuminance sensor.
  • the light receiving unit A12502 corresponds to, for example, the out camera A1203 (second imaging unit) of the first embodiment.
  • the selector A12503 is for selecting which of these two light receiving units is to be operated.
  • the acceleration detection unit A12504 supplies information necessary for the selection process in the selector A12503 by detecting the acceleration of the mobile terminal A12901.
  • the light reception signal storage unit A12505 stores the light reception signal obtained from the light reception unit A12501 or the light reception unit A12502 via the selector A12503.
  • the decoding unit A12506 reads the received light signal from the received light signal storage unit A12505, performs decoding processing to generate an ID, and stores the generated ID in the ID storage unit A11013.
  • the threshold storage unit A12507 stores in advance a first threshold value and a second threshold value for determining whether or not the mobile terminal A12901 equipped with the light reception control unit A11012 is level with respect to the ground from the acceleration acquired by the selector A12503. To do.
  • the imaging unit A 1401 is a video imaging device such as a camera device.
  • the line-of-sight detection unit A13402 receives the video signal from the imaging unit A13401, detects the user's line-of-sight position, and stores the line-of-sight classification information in the line-of-sight information storage unit A13001.
  • FIG. 35 shows an example in which imaging devices arranged in one row are exposed simultaneously, and imaging is performed by shifting the exposure start time in the order of closer rows.
  • the exposure line of the image sensor that exposes simultaneously is called an exposure line
  • the pixel line on the image corresponding to the image sensor is called a bright line.
  • this image capturing method When this image capturing method is used to capture an image of a blinking light source on the entire surface of the image sensor, bright lines (light and dark lines of pixel values) along the exposure line are generated on the captured image as shown in FIG. .
  • bright lines light and dark lines of pixel values
  • the light source luminance change By recognizing the bright line pattern, it is possible to estimate the light source luminance change at a speed exceeding the imaging frame rate. Thereby, by transmitting a signal as a change in light source luminance, communication at a speed higher than the imaging frame rate can be performed.
  • LO low
  • HI high
  • Low may be in a state where the light source is not shining, or may be shining weaker than high.
  • the imaging frame rate is 30 fps
  • a change in luminance with a period of 1.67 milliseconds can be recognized.
  • the exposure time is set shorter than 10 milliseconds, for example.
  • FIG. 36 shows a case where the exposure of the next exposure line is started after the exposure of one exposure line is completed.
  • the transmission speed is a maximum of flm bits per second.
  • the light emission time of the light emitting unit is controlled by a unit time shorter than the exposure time of each exposure line. More information can be transmitted.
  • information can be transmitted at a maximum rate of flElv bits per second.
  • the basic period of transmission can be recognized by causing the light emitting unit to emit light at a timing slightly different from the exposure timing of each exposure line.
  • FIG. 38 shows a case where the exposure of the next exposure line is started before the exposure of one exposure line is completed. That is, the exposure times of adjacent exposure lines are partially overlapped in time.
  • the S / N ratio can be improved.
  • the exposure time of adjacent exposure lines has a partial overlap in time, and a configuration in which some exposure lines have no partial overlap. It is also possible. By configuring a part of the exposure lines so as not to partially overlap in time, it is possible to suppress the generation of intermediate colors due to the overlap of exposure times on the imaging screen, and to detect bright lines more appropriately. .
  • the exposure time is calculated from the brightness of each exposure line, and the light emission state of the light emitting unit is recognized.
  • the brightness of each exposure line is determined by a binary value indicating whether the luminance is equal to or higher than a threshold value, in order to recognize the state where no light is emitted, the state where the light emitting unit does not emit light is indicated for each line. It must last longer than the exposure time.
  • FIG. 39 shows the influence of the difference in exposure time when the exposure start times of the exposure lines are equal.
  • 7500a is the case where the exposure end time of the previous exposure line is equal to the exposure start time of the next exposure line
  • 7500b is the case where the exposure time is longer than that.
  • the exposure time of adjacent exposure lines is partially overlapped in time, so that the exposure time can be increased. That is, the light incident on the image sensor increases and a bright image can be obtained.
  • the imaging sensitivity for capturing images with the same brightness can be suppressed to a low level, an image with less noise can be obtained, so that communication errors are suppressed.
  • FIG. 40 shows the influence due to the difference in the exposure start time of each exposure line when the exposure times are equal.
  • 7501a is the case where the exposure end time of the previous exposure line is equal to the exposure start time of the next exposure line
  • 7501b is the case where the exposure of the next exposure line is started earlier than the end of exposure of the previous exposure line.
  • the sample interval ( difference in exposure start time) becomes dense, the change in the light source luminance can be estimated more accurately, the error rate can be reduced, and the change in the light source luminance in a shorter time is recognized. be able to.
  • the exposure time overlap it is possible to recognize blinking of the light source that is shorter than the exposure time by using the difference in exposure amount between adjacent exposure lines.
  • the exposure time is set to be longer than that in the normal photographing mode.
  • the communication speed can be dramatically improved.
  • the exposure time needs to be set as exposure time ⁇ 1/8 ⁇ f. Blanking that occurs during shooting is at most half the size of one frame. That is, since the blanking time is less than half of the shooting time, the actual shooting time is 1 / 2f at the shortest time.
  • the exposure time since it is necessary to receive quaternary information within a time of 1 / 2f, at least the exposure time needs to be shorter than 1 / (2f ⁇ 4). Since the normal frame rate is 60 frames / second or less, it is possible to generate an appropriate bright line pattern in the image data and perform high-speed signal transmission by setting the exposure time to 1/480 seconds or less. Become.
  • FIG. 41 shows an advantage when the exposure times are short when the exposure times of the exposure lines do not overlap.
  • the exposure time is long, even if the light source has a binary luminance change as in 7502a, the captured image has an intermediate color portion as in 7502e, and it becomes difficult to recognize the luminance change of the light source.
  • the free time (predetermined waiting time) t D2 not predetermined exposure start exposure of the next exposure line, the luminance variation of the light source Can be easily recognized. That is, a more appropriate bright line pattern such as 7502f can be detected.
  • an exposure time t E can be realized to be smaller than the time difference t D of the exposure start time of each exposure line.
  • the exposure time is set shorter than the normal shooting mode until a predetermined idle time occurs. This can be realized. Further, even when the normal photographing mode is the case where the exposure end time of the previous exposure line and the exposure start time of the next exposure line are equal, by setting the exposure time short until a predetermined non-exposure time occurs, Can be realized.
  • the exposure time of adjacent exposure lines has a partial overlap in time, and a configuration in which some exposure lines have no partial overlap. It is also possible. Further, in all exposure lines, it is not necessary to provide a configuration in which an idle time (predetermined waiting time) in which a predetermined exposure is not performed is provided after the exposure of one exposure line is completed until the exposure of the next exposure line is started. It is also possible to have a configuration in which the lines partially overlap in time. With such a configuration, it is possible to take advantage of the advantages of each configuration.
  • the same readout method is used in the normal shooting mode in which shooting is performed at a normal frame rate (30 fps, 60 fps) and in the visible light communication mode in which shooting is performed with an exposure time of 1/480 second or less in which visible light communication is performed.
  • a signal may be read by a circuit.
  • FIG. 42 shows the relationship between the minimum change time t S of the light source luminance, the exposure time t E , the time difference t D of the exposure start time of each exposure line, and the captured image.
  • Figure 43 is a transition and time t T of the light source luminance, which shows the relationship between the time difference t D of the exposure start time of each exposure line.
  • t D is larger than the t T, exposure lines to be neutral is reduced, it is easy to estimate the light source luminance.
  • the exposure line of the intermediate color is continuously 2 or less, which is desirable.
  • t T the light source is less than 1 microsecond in the case of LED, light source for an approximately 5 microseconds in the case of organic EL, a t D by 5 or more microseconds, to facilitate estimation of the light source luminance be able to.
  • Figure 44 shows a high frequency noise t HT of light source luminance, the relationship between the exposure time t E.
  • t E is larger than t HT , the captured image is less affected by high frequency noise, and light source luminance is easily estimated.
  • t E is an integral multiple of t HT , the influence of high frequency noise is eliminated, and the light source luminance is most easily estimated.
  • t E > t HT .
  • the main cause of high frequency noise derived from the switching power supply circuit since many of the t HT in the switching power supply for the lamp is less than 20 microseconds, by the t E and 20 micro-seconds or more, the estimation of the light source luminance It can be done easily.
  • Figure 45 is when t HT is 20 microseconds, which is a graph showing the relationship between the size of the exposure time t E and the high frequency noise.
  • t HT is considered that there is variation by the light source
  • t E is the value becomes equal to the value when the amount of noise takes a maximum, 15 microseconds or more, or, 35 microseconds or more, or, It can be confirmed that the efficiency is good when it is set to 54 microseconds or more, or 74 microseconds or more. From the viewpoint of reducing high-frequency noise, it is desirable that t E be large.
  • t E when the light source luminance change period is 15 to 35 microseconds, t E is 15 microseconds or more, and when the light source luminance change period is 35 to 54 microseconds, t E is 35 microseconds or more.
  • t E is 54 microseconds or more when the cycle is 54 to 74 microseconds of change, t E when the period of the change in light source luminance is 74 microseconds or more may be set as 74 microseconds or more.
  • FIG. 46 shows the relationship between the exposure time t E and the recognition success rate. Since the exposure time t E has a relative meaning with respect to the time when the luminance of the light source is constant, the value (relative exposure time) obtained by dividing the period t S in which the light source luminance changes by the exposure time t E is taken as the horizontal axis. Yes. From the graph, it can be seen that if the recognition success rate is desired to be almost 100%, the relative exposure time should be 1.2 or less. For example, when the transmission signal is 1 kHz, the exposure time may be about 0.83 milliseconds or less.
  • the relative exposure time may be set to 1.25 or less, and when the recognition success rate is set to 80% or more, the relative exposure time may be set to 1.4 or less. Recognize. Also, the recognition success rate drops sharply when the relative exposure time is around 1.5, and becomes almost 0% at 1.6, so it can be seen that the relative exposure time should not be set to exceed 1.5. . It can also be seen that after the recognition rate becomes 0 at 7507c, it rises again at 7507d, 7507e, and 7507f.
  • the transmission loss due to blanking can be prevented by repeatedly transmitting the same signal twice or more, or adding an error correction code.
  • the light emitting unit transmits a signal with a period that is relatively prime to the period for capturing an image or a period shorter than the period for capturing an image.
  • FIG. 49 is a diagram showing a service providing system using the reception method described in the embodiment already described.
  • the company A ex8000 managing the server ex8002 requests another company B or an individual ex8001 to distribute information to the mobile terminal.
  • the mobile terminal that has made visible light communication with signage is requested to distribute detailed advertisement information, coupon information, or map information.
  • the company A ex8000 that manages the server manages information distributed to the mobile terminal in correspondence with arbitrary ID information.
  • the portable terminal ex8003 acquires ID information from the subject ex8004 by visible light communication, and transmits the acquired ID information to the server ex8002.
  • the server ex8002 transmits information corresponding to the ID information to the portable terminal and counts the number of times the information corresponding to the ID information is transmitted.
  • the company A ex8000 managing the server charges the requested company B and the individual ex8001 for a charge corresponding to the counted number. For example, the larger the count number, the larger the amount to be charged.
  • FIG. 50 is a flowchart showing a service provision flow.
  • step ex8000 company A managing the server receives a request for information distribution from other company B.
  • Step ex8001 information received in the distribution request is associated with specific ID information in the server managed by company A.
  • the mobile terminal receives specific ID information from the subject by visible light communication, and transmits it to a server managed by the company A.
  • the details of the visible light communication method have already been described in other embodiments, and will be omitted.
  • the server transmits information corresponding to the specific ID information transmitted from the mobile terminal to the mobile terminal.
  • Step ex8003 the server counts the number of times information is distributed.
  • Step ex8004 the company B is charged a fee according to the count number of information distribution. In this way, by charging according to the count number, it becomes possible to charge Company B with an appropriate fee according to the advertising effect of information distribution.
  • FIG. 51 is a flowchart showing service provision in another example. The description of the same steps as those in FIG. 50 is omitted.
  • Step ex8008 it is determined whether or not a predetermined time has elapsed since the start of information distribution. If it is determined that the time is within the predetermined time period, the company B is not charged in Step ex8011. On the other hand, if it is determined that the predetermined period has elapsed, Step ex8009 counts the number of times the information has been distributed. In step ex8010, the company B is charged a fee corresponding to the information distribution count. Thus, since information is distributed free of charge within a predetermined period, company B can receive a billing service after confirming the advertising effect and the like.
  • FIG. 52 is a flowchart showing service provision in another example. The description of the same steps as those in FIG. 51 is omitted.
  • Step ex8014 the number of times information is distributed is counted. If it is determined in Step ex8015 that the predetermined period has not elapsed since the start of information distribution, charging is not performed in Step ex8016. On the other hand, if it is determined that the predetermined period has elapsed, in Step ex8017, it is determined whether or not the number of times information has been distributed is equal to or greater than a predetermined value. When the number of times of distributing information is less than a predetermined value, the count number is reset and the number of times of distributing information is counted again. In this case, the company B is not charged for a predetermined period in which the number of times information is distributed is less than a predetermined value.
  • Step ex8017 if the count number is equal to or larger than the predetermined value, in Step ex8018, the count number is reset once and restarted again.
  • Step ex8019 the company B is charged a fee corresponding to the number of counts.
  • the company B can receive the billing service at an appropriate timing by providing a period of free distribution again.
  • the company A has a small number of counts, the information content is analyzed. For example, when the information does not correspond to the season, the company A may propose to the company B to change the information content. It becomes possible.
  • the burden on the company A can be reduced. Moreover, it is good also as a structure which provides a free delivery period again after a fixed period. For example, in the case of information affected by the season, a free delivery period can be provided again after a certain period until the season changes.
  • the billing fee may be changed according to the amount of data regardless of the number of times of information distribution.
  • a certain amount of data may be distributed free of charge, and a predetermined amount of data or more may be charged. Further, the billing fee may be increased as the amount of data increases.
  • a management fee may be charged when managing information in association with specific ID information. By charging as a management fee, it is possible to determine the fee when the information distribution is requested.
  • the communication method according to the present invention can safely and actively acquire information other than images, not only devices such as televisions, PCs, and tablets at home, but also signage on the go, information terminals,
  • the information display device can be applied to various uses such as transfer of image-accompanying information and information transmission in every scene in the sense that necessary information can be obtained safely because of its activeness.

Abstract

　本開示の通信方法は、第１撮像部であるインカメラと第２撮像部であるアウトカメラとを有する端末の通信方法であって、前記インカメラと前記アウトカメラとを前記端末の向きに応じて切り替える切り替えステップと、前記切り替えステップにおいて切り替えられた前記インカメラまたは前記アウトカメラを用いて、可視光通信を行う可視光通信ステップと、を含む。

Description

通信方法
　本発明は、スマートフォン、タブレット、携帯電話等の携帯端末と、エアコン、照明機器、炊飯器などの家電機器との通信方法に関する。
　近年のホームネットワークでは、Ｅｔｈｅｒｎｅｔ（登録商標）や無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）でのＩＰ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ）接続によるＡＶ家電の連携に加え、環境問題に対応した電力使用量の管理や、宅外からの電源ＯＮ／ＯＦＦといった機能を持つホームエネルギーマネジメントシステム（ＨＥＭＳ）によって、多様な家電機器がネットワークに接続される家電連携機能の導入が進んでいる。しかしながら、通信機能を有するには、演算力が十分ではない家電や、コスト面で通信機能の搭載が難しい家電などもある。
　このような問題を解決するため、特許文献１では、光を用いて自由空間に情報を伝達する光空間伝送装置において、照明光の単色光源を複数用いた通信を行うことで、限られた送信装置のなかで、効率的に機器間の通信を実現する技術が記載されている。
特開２００２－２９０３３５号公報
　しかしながら、前記従来の方式では、適用される機器が照明のような３色光源を持つ場合に限定される。本発明は、このような課題を解決し、演算力が少ないような機器を含む多様な機器間の通信を可能とする情報通信方法を提供する。
　本発明の一態様に係る通信方法は、第１撮像部であるインカメラと第２撮像部であるアウトカメラとを有する端末の通信方法であって、前記インカメラと前記アウトカメラとを前記端末の向きに応じて切り替える切り替えステップと、前記切り替えステップにおいて切り替えられた前記インカメラまたは前記アウトカメラを用いて、可視光通信を行う可視光通信ステップと、を含む。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　本発明によれば、演算力が少ないような機器を含む多様な機器間の通信を可能とする情報通信方法を実現できる。
図１は、実施の形態１における携帯端末の使用風景を示したイメージ図である。 図２は、実施の形態１における携帯端末の概観の一例を示す図である。 図３は、実施の形態１における携帯端末を水平に持ったときのイメージ図である。 図４は、実施の形態１における携帯端末を垂直に持ったときのイメージ図である。 図５は、実施の形態１における携帯端末が提示する店内マップの一例を示す図である。 図６は、実施の形態１における携帯端末が提示する商品ＵＩのイメージ図である。 図７は、実施の形態１における携帯端末の提示する商品ＵＩが操作されたときのイメージ図である。 図８は、実施の形態１における使用者が携帯端末を右から左に振りかざす動作を示す図である。 図９は、実施の形態１におけるウォッチ型デバイスの使用風景を示すイメージ図である。 図１０は、実施の形態１における通信システムの全体構成を示す図である。 図１１は、実施の形態１における商品情報格納部が格納する情報の構造の一例を示す図である。 図１２は、実施の形態１における携帯端末の提示する商品ＵＩのレイアウトイメージの一例を示す図である。 図１３は、実施の形態１における地図情報格納部が格納する情報の構造の一例を示す図である。 図１４は、実施の形態１における状態管理部が管理する情報の構造の一例を示す図である。 図１５は、実施の形態１における照明機器の動作を示すフローチャートである。 図１６は、実施の形態１における携帯端末の動作を示すフローチャートである。 図１７は、実施の形態１におけるシーリングライト関連処理を示すフローチャートである。 図１８は、実施の形態１におけるベースライト関連処理を示すフローチャートである。 図１９は、実施の形態１におけるＵＩ関連処理を示すフローチャートである。 図２０は、実施の形態１における地図情報向けＵＩ処理を示すフローチャートである。 図２１は、実施の形態１における商品情報向けＵＩ処理を示すフローチャートである。 図２２は、実施の形態１における表示処理全体を示すフローチャートである。 図２３は、実施の形態１における表示更新前処理を示すフローチャートである。 図２４は、実施の形態１における表示更新処理を示すフローチャートである。 図２５は、実施の形態２における受光制御部の詳細構成を示す図である。 図２６は、実施の形態２における受光制御部の照度パターン検知処理を示すフローチャートである。 図２７は、実施の形態３における受光制御部の詳細構成を示す図である。 図２８は、実施の形態３における受光制御部の照度パターン検知処理を示すフローチャートである。 図２９は、実施の形態４における視線の動きを検出する携帯端末を使用する際のイメージ図である。 図３０は、実施の形態４における携帯端末の構成の一例を示す図である。 図３１は、実施の形態４におけるサーバ問い合わせ時のフローチャートである。 図３２は、実施の形態４における棚識別子のＤＢが管理する情報の構造の一例を示す図である。 図３３は、実施の形態５における受光制御部の詳細構成を示す図である。 図３４は、実施の形態６における受光制御部の詳細構成を示す図である。 図３５は、実施の形態７における１列に並んだ撮像素子は同時に露光させ、列が近い順に露光開始時刻をずらして撮像する場合の例を示す図である。 図３６は、実施の形態７における一つの露光ラインの露光が完了してから次の露光ラインの露光が開始される場合を示す図である。 図３７は、実施の形態７における一つの露光ラインの露光が完了してから次の露光ラインの露光が開始される場合を示す図である。 図３８は、実施の形態７における一つの露光ラインの露光が完了する前に次の露光ラインの露光が開始される場合を示す図である。 図３９は、実施の形態７における各露光ラインの露光開始時刻が等しい場合に、露光時間の違いによる影響を示す図である。 図４０は、実施の形態７における露光時間が等しい場合に、各露光ラインの露光開始時刻の違いによる影響を示す図である。 図４１は、実施の形態７における各露光ラインの露光時間が重なっていない場合に、露光時間が短い場合の利点を示す図である。 図４２は、実施の形態７における光源輝度の最小変化時間と、露光時間と、各露光ラインの露光開始時刻の時間差と、撮像画像との関係を示す図である。 図４３は、実施の形態７における光源輝度の遷移時間と、各露光ラインの露光開始時刻の時間差との関係を示す図である。 図４４は、実施の形態７における光源輝度の高周波ノイズと、露光時間との関係を示す図である。 図４５は、実施の形態７における光源輝度の高周波ノイズが２０マイクロ秒の場合の、露光時間と高周波ノイズの大きさとの関係を表すグラフである。 図４６は、実施の形態７における露光時間ｔＥと認識成功率との関係を示す図である。 図４７は、実施の形態７における発光部の輝度の観測方法の一例を示す図である。 図４８は、実施の形態７における受信装置の各モードの一例を示す図である。 図４９は、実施の形態８におけるサービス提供システムを示す図である。 図５０は、実施の形態８におけるサービス提供のフローチャートである。 図５１は、実施の形態８における他の例におけるサービス提供のフローチャートである。 図５２は、実施の形態８における他の例におけるサービス提供のフローチャートである。
　本発明の一態様に係る通信方法は、第１撮像部であるインカメラと第２撮像部であるアウトカメラとを有する端末の通信方法であって、前記インカメラと前記アウトカメラとを前記端末の向きに応じて切り替える切り替えステップと、前記切り替えステップにおいて切り替えられた前記インカメラまたは前記アウトカメラを用いて、可視光通信を行う可視光通信ステップと、を含む。
　例えば、第１撮像部であるインカメラと第２撮像部であるアウトカメラとを有する端末の通信方法であって、前記インカメラと前記アウトカメラとを所定時間ごとに切り替える切り替えステップと、前記切り替えステップにおいて切り替えられた前記インカメラまたは前記アウトカメラを用いて、可視光通信を行う可視光通信ステップと、を含む。
　例えば、前記可視光通信ステップでは、前記端末の向きが地面に対して略垂直の場合、前記切り替えステップにおいて切り替えられた前記アウトカメラを用いて、使用者の前方に位置する第１機器であって可視光を発する第１機器と可視光通信を行うことにより、前記第１機器が設置されている商品棚の商品情報を取得し、取得した前記商品情報を前記端末の表示部に表示し、前記可視光通信ステップでは、前記端末の向きが地面に対して略水平の場合、前記切り替えステップにおいて切り替えられた前記インカメラを用いて、前記使用者の上方に位置する第２機器であって可視光を発する第２機器と可視光通信を行うことにより、前記第２機器が設置されている位置情報を取得し、取得した前記位置情報を前記使用者の現在位置として前記使用者が存在するエリアの地図情報とともに前記端末の表示部に表示する。
　例えば、前記端末は、腕時計に実装され、前記インカメラは、前記腕時計の時間を表示する表示部を有する前記腕時計の前面に搭載され、前記アウトカメラは、前記腕時計の側面に搭載され、前記可視光通信ステップでは、前記腕時計の前記表示部が地面に対して略水平の場合、前記インカメラを用いて、前記使用者の上方に位置する第２機器であって可視光を発する第２機器と可視光通信を行うことにより、前記第２機器が設置されている位置情報を取得し、かつ、前記アウトカメラを用いて、前記使用者の前方に位置する第１機器であって可視光を発する第１機器と可視光通信を行うことにより、前記第１機器が設置されている商品棚の商品情報を取得し、前記使用者の選択により、取得した前記位置情報を前記使用者の現在位置として前記使用者が存在するエリアの地図情報とともに前記端末の表示部に表示し、または、取得した前記商品情報を前記端末の表示部に表示する。
　例えば、前記可視光通信ステップでは、可視光を発する機器と可視光通信を行うことにより取得した前記機器に一意に与えられた識別子を、サーバに問い合わせることで、前記識別子に対応付けられた前記機器に関する情報を取得し、前記可視光通信ステップでは、さらに、前記サーバに問い合わせて前記識別子に対応付けられた情報がない場合には、前記機器に関する情報がない旨を示すエラー通知を、前記端末の表示部に表示する。
　例えば、さらに、前記端末の表示部に表示した前記商品情報を変更する変更ステップを含み、前記変更ステップでは、前記使用者が前記表示部に対してフリック操作することにより、前記表示部に表示される商品情報が変更される。
　例えば、さらに、前記端末の表示部に表示した前記地図情報を変更する変更ステップを含み、前記変更ステップでは、前記使用者が前記表示部に対してフリック操作することにより、前記表示部に表示される地図情報が変更される。
　例えば、前記可視光通信ステップでは、前記端末の表示部に前記地図情報が表示された後、前記切り替えステップにおいて切り替えられた前記アウトカメラを用いて、前記第１機器が設置されている商品棚の商品情報を取得する場合、前記地図情報に付与されたオフセットを初期化し、前記可視光通信ステップでは、前記端末の表示部に前記商品情報が表示された後、前記切り替えステップにおいて切り替えられた前記インカメラを用いて、前記位置情報を前記使用者の現在位置として取得する場合、前記商品情報に付与されたオフセットを初期化する。
　例えば、さらに、前記使用者の視線を検知する視線検知ステップを含み、前記切り替えステップにおいて、前記端末の向きが地面に対して略垂直の場合、前記アウトカメラに切り替え、前記視線検知ステップにおいて、前記インカメラを用いて前記使用者の視線を検知し、前記可視光通信ステップでは、前記切り替えステップにおいて切り替えられた前記アウトカメラを用いて、前記使用者の前方に位置する第１機器であって可視光を発する第１機器と可視光通信を行うことにより、前記第１機器が設置されている第１商品棚の商品情報を取得し、前記検知ステップで検知された前記使用者の視線の先にある第２商品棚が前記第１商品棚と異なる場合には、前記第１商品棚の商品情報に代えて前記第２商品棚の商品情報を表示する。
　例えば、前記端末は、複数の露光ラインを有するイメージセンサを備え、前記通信方法は、さらに、前記イメージセンサの各露光ラインの露光を順次異なる時刻で開始し、かつ、前記各露光ラインの露光時間が、隣接する露光ラインとの間で、部分的に時間的な重なりを持つように、１／４８０秒以下の露光時間で被写体の撮影を行うことにより画像データを取得する画像取得ステップと、前記画像データに現れる、前記各露光ラインに対応する輝線パターンを復調することにより、前記被写体の識別情報を取得する可視光通信ステップと、前記被写体の識別情報に関連付けられているサービス情報を前記端末の使用者に提示するサービス提示ステップと、を含む。
　例えば、前記通信方法は、さらに、依頼者から情報の配信の依頼を受け付ける処理を行う依頼受け付けステップと、前記可視光で得たデータに対応する情報として、前記依頼者より依頼された前記情報を配信する配信ステップと、前記情報の配信に応じて、前記依頼者に課金するための情報処理を行う課金ステップとを含む。
　また、本発明の一態様に係る通信装置は、第１撮像部であるインカメラと第２撮像部であるアウトカメラとを有する通信装置であって、前記インカメラと前記アウトカメラとを前記端末の向きに応じて切り替える切り替え部と、前記切り替えステップにおいて切り替えられた前記インカメラまたは前記アウトカメラを用いて、可視光通信を行う可視光通信部と、を備える。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　また、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　（実施の形態１）
　本実施の形態では、可視光通信の受光部切り替えを行う通信装置について説明する。
　本実施の形態における通信装置は例えばスマートフォンのような携帯端末に搭載することを想定している。
　以下、本実施の形態における通信装置を搭載した携帯端末を使用するときのシーンについて説明する。
　図１は、実施の形態１における携帯端末の使用風景を示したイメージ図である。図２は、実施の形態１における携帯端末の概観の一例を示す図である。
　使用者が使用する本通信装置は、天井に設置されたシーリングライトＡ１１０１と可視光通信することで、シーリングライトＡ１１０１の発するＩＤを受信したり、使用者の正面に設置されたベースライトＡ１１０３と可視光通信することで、ベースライトＡ１１０３の発するＩＤを受信したりする。
　本通信装置は、可視光を受光する受光部（撮像部）を複数有し、上記シーリングライトＡ１１０１およびベースライトＡ１１０３のように配置位置の異なる複数の機器と可視光通信して複数のＩＤを受信するときに、複数の受光部のうち受光に最適な受光部を携帯端末の姿勢に応じて選択することに特徴がある。
　本実施の形態では、本通信装置は、第１撮像部であるインカメラと第２撮像部であるアウトカメラとを有する。より具体的には、例えば、図２に示すように、本通信装置が搭載される携帯端末Ａ１２０１は前面にインカメラＡ１２０２（第１撮像部）を、背面にアウトカメラＡ１２０３（第２撮像部）を、前面にタッチパネル部Ａ１２０４を備える。本通信装置は、インカメラＡ１２０２（第１撮像部）とアウトカメラＡ１２０３（第２撮像部）とを通信装置が搭載される端末（携帯端末）の向きに応じて切り替え、切り替えられたインカメラＡ１２０２（第１撮像部）またはアウトカメラＡ１２０３（第２撮像部）を用いて、可視光通信を行う。
　以下、本通信装置が搭載される携帯端末の向きに応じて撮像部を切り替えて可視光通信を行うシーンについて説明する。
　図３は、実施の形態１における携帯端末を水平に持ったときのイメージ図である。図４は、実施の形態１における携帯端末を垂直に持ったときのイメージ図である。
　例えば図３に示すように、使用者により携帯端末Ａ１２０１の表示面が天井と向かい合うように（地面と略平行に）持たれた場合、携帯端末Ａ１２０１は自身に内蔵された加速度センサによって携帯端末Ａ１２０１が天井（地面）に対して水平であることを判定し、インカメラＡ１２０２を稼動する。このとき、電力消費を抑えるためにアウトカメラＡ１２０３の稼動を中断させるとよい。
　シーリングライトＡ１１０１は点灯している状況において、特定のパターンによって点灯の光量を変更すること（発光パターン）で可視光通信を行う。例えば領域Ａ１３０１に示すように、稼動中のインカメラＡ１２０２がシーリングライトＡ１１０１の発光を検知すると、撮像することで可視光通信を行う。つまり、携帯端末Ａ１２０１は、シーリングライトＡ１１０１と可視光通信することでシーリングライトＡ１１０１の発光パターンに関連付けられたＩＤを取得し、ＩＤの種別に応じて動作（振る舞い）を変更する。
　また、例えば図４に示すように、使用者により携帯端末Ａ１２０１が地面に対して垂直になるように持たれた場合、携帯端末Ａ１２０１は、自身に内蔵された加速度センサによって携帯端末Ａ１２０１が天井のシーリングライトには向けられておらず、壁や棚Ａ１１０２などに設置されたベースライトＡ１１０３に向けられているものと判定し、アウトカメラＡ１２０３を稼動する。このとき、電力消費を抑えるためにインカメラＡ１２０２の稼動を中断させるとよい。
　ベースライトＡ１１０３は点灯している状況において、特定のパターンによって点灯の光量を変更すること（発光パターン）で可視光通信を行う。稼働中のアウトカメラＡ１２０３がベースライトＡ１１０３の発光を検知すると、撮像することで可視光通信を行う。つまり、携帯端末Ａ１２０１は、ベースライトＡ１１０３と可視光通信することでベースライトＡ１１０３の発光パターンに関連付けられたＩＤを取得し、ＩＤの種別に応じて振る舞いを変更する。
　次に、ＩＤの種類に応じた動作（振る舞い）の例について説明する。
　図５は、実施の形態１における携帯端末が提示する店内マップの一例を示す図である。
　携帯端末Ａ１２０１は、図３に示すように携帯端末Ａ１２０１が天井（地面）に対して水平であると判定した場合、インカメラＡ１２０２を用いて可視光通信することで取得した発光パターンに関連付けられたＩＤをサーバに送信する。サーバは、そのＩＤに対応付けられた位置情報を検索し、携帯端末Ａ１２０１に検索した位置情報を通知する。
　携帯端末Ａ１２０１は、サーバから位置情報を取得すると、取得した位置情報を使用者の現在位置として、使用者のいる位置を示すマップ（地図情報）、例えば図５に示すような店内のマップを使用者に提示する。
　このようにして、携帯端末Ａ１２０１の向きが天井（地面）に対して略水平の場合、インカメラＡ１２０２を用いて、使用者の上方に位置し可視光を発するシーリングライトＡ１１０１（第２機器）と可視光通信を行うことにより、シーリングライトＡ１１０１（第２機器）が設置されている位置情報を取得する。携帯端末Ａ１２０１は、取得した当該位置情報を使用者の現在位置として使用者が存在するエリアの地図情報とともに携帯端末Ａ１２０１の表示部に表示する。
　なお、携帯端末Ａ１２０１の表示部に表示された地図情報はフリック操作により変更可能である。例えば、使用者が携帯端末Ａ１２０１の表示部に対してフリック操作することにより、当該表示部に表示される地図情報のオフセット位置が変更される。
　図６は、実施の形態１における携帯端末が提示する商品ＵＩのイメージ図である。図７は、実施の形態１における携帯端末の提示する商品ＵＩが操作されたるときのイメージ図である。
　また、携帯端末Ａ１２０１は、図４に示すように携帯端末Ａ１２０１が地面に対して垂直になるように判定した場合、インカメラＡ１２０２を用いて可視光通信することで取得したＩＤをサーバに送信する。サーバは、そのＩＤに関連付けられた商品棚の商品種別及び在庫をデータベースから検索し、検索した商品種別及び在庫から、商品の在庫量を示す画像を生成する。ここで、サーバは例えば図６に示すように商品棚に陳列されている商品の画像に在庫の商品の画像を重畳した画像を生成する。そして、サーバは、生成された画像を携帯端末Ａ１２０１に送信する。
　携帯端末Ａ１２０１は、サーバから受信した画像、即ち商品の在庫量を示す画像を表示部で提示する。
　このようにして、携帯端末Ａ１２０１の向きが地面に対して略垂直の場合、アウトカメラＡ１２０３を用いて、使用者の前方に位置し可視光を発するベースライトＡ１１０３（第１機器）と可視光通信を行うことにより、ベースライトＡ１１０３（第１機器）が設置されている商品棚の商品情報を取得する。携帯端末Ａ１２０１は、取得した前記商品情報を携帯端末Ａ１２０１の表示部に表示する。
　なお、携帯端末Ａ１２０１の表示部に表示された商品の在庫量を示す画像はフリック操作により変更可能である。例えば、使用者が携帯端末Ａ１２０１の表示部に対してフリック操作することにより、当該表示部に表示される商品の在庫量を示す画像のオフセットが変更されたり、表示部に表示される商品の在庫量を示す画像が変更されたりと、表示部に表示される商品情報が変更される。
　また、サーバは、携帯端末Ａ１２０１に生成した画像（画像データ）を送る際、携帯端末Ａ１２０１に複数の画像（複数の画像データ）を送信するとしてもよい。例えばサーバは、例えば図７に示すように、在庫量が少ない棚の画像Ａ１７０１と在庫量が多い棚の画像Ａ１７０３とを順に送信し、携帯端末Ａ１２０１は在庫量が少ない棚の画像Ａ１７０１を表示しているとする。携帯端末Ａ１２０１は、フリック操作など使用者の画面操作にあわせて、在庫量が少ない棚の画像Ａ１７０１から、画像Ａ１７０２のようなスクロール途中経過を示す画像Ａ１７０２を経て、在庫量が多い棚の画像Ａ１７０３を順に表示する。このようにして、使用者は、より直感的で分かりやすい商品在庫の確認が可能となる。
　図８は、実施の形態１における使用者が携帯端末を右から左に振りかざす動作を示す図である。
　携帯端末Ａ１２０１は、上記のように、受信したＩＤによって提示内容を切り替えることができることから、例えば図８に示すように、使用者が視認した棚Ａ１８０１および棚Ａ１８０２の商品情報を切り替えることができる。つまり、使用者が携帯端末Ａ１２０１を棚Ａ１８０１から棚Ａ１８０２に向けた場合、携帯端末Ａ１２０１はベースライトＡ１８０３から受信したＩＤとベースライトＡ１８０４から受信したＩＤとをそれぞれ順に受信する。そのため、携帯端末Ａ１２０１は、ベースライトＡ１８０３から受信したＩＤとベースライトＡ１８０４から受信したＩＤとに対応する商品情報を順に表示することができる。
　以上のようにして、携帯端末Ａ１２０１は、自身の姿勢に応じて選択した機器と可視光通信して取得したＩＤに対応する情報を使用者に提示することができる。
　なお、本通信端末が搭載される端末としては、前面と背面にそれぞれ撮像部が配置される携帯端末Ａ１２０１に限らない、腕時計であってもよい。以下、本通信端末が搭載される端末が腕時計（腕時計型デバイス）である場合の例を、図９を用いて説明する。
　図９は、実施の形態１におけるウォッチ型デバイスの使用風景を示したイメージ図である。
　図９に示す腕時計型デバイスＡ１９０１は、上面部分に設置される受光部Ａ１９０２と、側面部に設置される受光部Ａ１９０３とを備える。受光部Ａ１９０２は、上記のインカメラＡ１２０２（第１撮像部）に対応し、受光部Ａ１９０３は、上記のアウトカメラＡ１２０３（第２撮像部）に対応する。
　また、腕時計型デバイスＡ１９０１は、加速度センサを備えている。
　腕時計型デバイスＡ１９０１は、図９に示すように例えば上面部が地面と水平な方向を向いている場合、受光部Ａ１９０２と受光部Ａ１９０３とを稼動させ、シーリングライトＡ１９０４から発せられた光を受光部Ａ１９０２によって受光し、ベースライトＡ１９０５から発せられた光を受光部Ａ１９０３によって受光する。
　より具体的には、腕時計型デバイスＡ１９０１は、受光部Ａ１９０２を用いて、使用者の上方に位置し可視光を発するシーリングライトＡ１９０４（第２機器）と可視光通信を行うことにより、シーリングライトＡ１９０４（第２機器）が設置されている位置情報を取得する。また、腕時計型デバイスＡ１９０１は、受光部Ａ１９０３を用いて、使用者の前方に位置し可視光を発するベースライトＡ１９０５（第１機器）と可視光通信を行うことにより、ベースライトＡ１９０５（第１機器）が設置されている商品棚の商品情報を取得する。そして、使用者の選択により、取得した位置情報を使用者の現在位置として使用者が存在するエリアの地図情報とともに表示部に表示し、または、取得した商品情報を表示部に表示する。
　なお、腕時計型デバイスＡ１９０１は、受光部Ａ１９０２と受光部Ａ１９０３とを所定時間ごとに切り替え、切り替えられた受光部Ａ１９０２または受光部Ａ１９０３を用いて、可視光通信を行うとしてもよい。
　以上のようにして本通信装置を搭載した携帯端末または腕時計は使用される。
　続いて、本通信装置の構成について説明する。
　図１０は、実施の形態１における通信システムの全体構成を示す図である。
　本実施の形態における通信システムの最小構成要素として、携帯端末Ａ１１００１と、照明機器Ａ１１００２と、照明機器Ａ１１００３と、サーバ装置Ａ１１０１５とを備える。
　［照明機器Ａ１１００２の構成］
　照明機器Ａ１１００２は、ＩＤ格納部Ａ１１００４と、エンコード部Ａ１１００５と、照度パターン格納部Ａ１１００６と、発光部Ａ１１００７とを備える。照明機器Ａ１１００２は、図１に示すシーリングライトＡ１１０１や図９に示すシーリングライトＡ１９０４など第２機器に対応する。
　ＩＤ格納部Ａ１１００４は、メモリ領域であり、例えばＭＡＣアドレスのような、個体を一意に決定可能な識別子がそれぞれ予め書き込まれているものである。
　エンコード部Ａ１１００５は、照明機器Ａ１１００２に電力が供給されると、ＩＤ格納部Ａ１１００４からＩＤを読み込み、当ＩＤを照明の照度パターン、即ち各タイミングにおける照明の照度に変換し、当照度パターンを照度パターン格納部Ａ１１００６に格納する。
　発光部Ａ１１００７は、上記の起動フェーズが完了すると、照度パターン格納部Ａ１１００６で示されるパターンに基づき、照度を高速に更新しながら発光制御を行う。これにより、照明機器Ａ１１００２はＩＤに基づいた照度制御（可視光通信）を行う。
　［照明機器Ａ１１００３の構成］
　同様に、照明機器Ａ１１００３は、ＩＤ格納部Ａ１１００８と、エンコード部Ａ１１００９と、照度パターン格納部Ａ１１０１０と、発光部Ａ１１０１１とを備える。照明機器Ａ１１００３は、図１に示すベースライトＡ１１０３や図９に示すベースライトＡ１９０５などの第１機器に対応する。
　ＩＤ格納部Ａ１１００８は、メモリ領域であり、例えばＭＡＣアドレスのような、個体を一意に決定可能な識別子がそれぞれ予め書き込まれているものである。
　エンコード部Ａ１１００９は、照明機器Ａ１１００３に電力が供給されると、ＩＤ格納部Ａ１１００８からＩＤを読み込み、当ＩＤを照明の照度パターン、即ち各タイミングにおける照明の照度に変換し、当照度パターンを照度パターン格納部Ａ１１０１０に格納する。
　発光部Ａ１１０１１は、上記の起動フェーズが完了すると、照度パターン格納部Ａ１１０１０で示されるパターンに基づき、照度を高速に更新しながら発光制御を行う。これにより、照明機器Ａ１１００３はＩＤに基づいた照度制御を行う（可視光通信）。
　［携帯端末Ａ１１００１の構成］
　続いて、携帯端末Ａ１１００１の構成について説明する。
　また、携帯端末Ａ１１００１は、受光制御部Ａ１１０１２と、ＩＤ格納部Ａ１１０１３と、ＤＢ管理部Ａ１１０１４と、商品情報格納部Ａ１１０１６と、地図情報格納部Ａ１１０１７と、表示部Ａ１１０１８と、状態管理部Ａ１１０１９と、ＵＩ部Ａ１１０２０とを備える。携帯端末Ａ１１００１は、図２に示す携帯端末Ａ１２０１や図９に示す腕時計型デバイスなどの端末に対応する。
　［受光制御部Ａ１１０１２］
　受光制御部Ａ１１０１２は、発光部Ａ１１００７及び発光部Ａ１１０１１の照度パターンを検知すると、検知したパターンをＩＤに変換し、ＩＤ格納部Ａ１１０１３へ格納する。本実施の形態の場合、発光部Ａ１１００７又は発光部Ａ１１０１１の照度パターンを検知したものであるから、ＩＤ格納部Ａ１１０１３に格納されるＩＤはＩＤ格納部Ａ１１００４またはＩＤ格納部Ａ１１００８のいずれかに格納されているＩＤと等しくなる。
　［商品情報格納部Ａ１１０１６］
　続いて、商品情報格納部Ａ１１０１６について説明する。
　図１１は、実施の形態１における商品情報格納部が格納する情報の構造の一例を示す図である。図１２は、実施の形態１における携帯端末の提示する商品ＵＩのレイアウトイメージの一例を示す図である。
　商品情報格納部Ａ１１０１６は、例えば図１１に示すように、有効フラグＡ１１１０１と、棚外観Ａ１１１０２と、棚内観Ａ１１１０３と、商品種別情報Ａ１１１０４と、商品在庫情報Ａ１１１０５とを含む情報を格納する。
　有効フラグＡ１１１０１は、商品在庫情報をレンダリングするか否かを示したものであり、ＴＲＵＥ又はＦＡＬＳＥのいずれかの値をとる。この値がＴＲＵＥの時に、商品在庫情報のレンダリング処理が表示部Ａ１１０１８によって行われる。
　棚外観Ａ１１１０２は、描画する棚の外観を示したものであり、棚の実寸による高さ・幅が格納される。これらの実寸情報に基づいて、棚が画面内に治まるように表示部Ａ１１０１８はレンダリング処理を行う。例えば、表示部Ａ１１０１８は、図１２のようなレイアウトで棚の外枠をレンダリングする。
　棚内観Ａ１１１０３は、棚の数と、棚全体に対する各棚の高さ割合とを示したものである。表示部Ａ１１０１８は、これらの情報に基づいて、図１２に示すような間隔で棚の内板をレンダリングする。
　商品種別情報Ａ１１１０４は、商品のバリエーション数と各商品の画像データ本体とについての情報を格納する。例えば、サーバ装置Ａ１１０１５から受信する画像データのフォーマットをＰＮＧデータとした場合、商品種別情報Ａ１１１０４に対応する商品種画像データにはＰＮＧデータそのものが配置される。そして、表示部Ａ１１０１８はレンダリング直前にＰＮＧデータを図示しないキャッシュ領域に展開し、本キャッシュ領域の内容をレンダリングし、商品の画像を使用者に提示する。
　商品在庫情報Ａ１１１０５は、商品の在庫数及びその在庫をレンダリングすべき商品の種別、座標の情報を格納する。図１１における座標の情報のうちｘ座標は「商品棚の左から何番目か」、ｙ座標は「商品棚のうち上から何番目の棚か」、ｚ座標は「奥へと並ぶ棚のうち、手前から何番目の棚か」をそれぞれ示す。表示部Ａ１１０１８は、これらの座標情報と整合するような座標に、商品種別番号で示される商品画像をレンダリング処理を行う。
　［地図情報格納部Ａ１１０１７］
　続いて、地図情報格納部Ａ１１０１７について説明する。
　図１３は、実施の形態１における地図情報格納部Ａ１１０１７が格納する情報の構造の一例を示す図である。
　地図情報格納部Ａ１１０１７は、例えば図１３に示すように、有効フラグＡ１１３０１と、地図画像のデータ長Ａ１１３０２と、地図画像Ａ１１３０３とを含む情報を格納する。
　有効フラグＡ１１３０１は、地図情報をレンダリングするか否かを示したものであり、ＴＲＵＥ又はＦＡＬＳＥのいずれかの値をとる。この値がＴＲＵＥの時に、地図情報のレンダリング処理が表示部Ａ１１０１８によって行われる。
　地図画像Ａ１１３０３は、地図の画像データ本体の情報を格納する。例えば、サーバ装置Ａ１１０１５から受信する画像データのフォーマットをＰＮＧデータとした場合、地図画像Ａ１１３０３にはＰＮＧデータそのものが格納される。
　地図画像のデータ長Ａ１１３０２は、地図画像Ａ１１３０３のデータ長を示す。例えば、サーバ装置Ａ１１０１５から受信する画像データのフォーマットをＰＮＧデータとした場合、表示部Ａ１１０１８はレンダリング直前にＰＮＧデータを図示しないキャッシュ領域に展開し、本キャッシュ領域の内容をレンダリングし、商品の画像を使用者に提示する。
　［状態管理部Ａ１１０１９］
　続いて、状態管理部Ａ１１０１９について説明する。
　図１４は、実施の形態１における状態管理部が管理する情報の構造の一例を示す図である。
　状態管理部Ａ１１０１９は、図１４に示すように、異常フラグＡ１１６０１、前フレーム描画種別Ａ１１６０２と、表示棚奥行きＡ１１６０３と、地図オフセットＸＡ１１６０４と、地図オフセットＹＡ１１６０５と、前回取得ＩＤＡ１１６０６とを含む情報を管理する。
　前回取得ＩＤＡ１１６０６は、初期値を無効値とする。本実施の形態では、無効値＝－１としている。
　異常フラグＡ１１６０１は、ＴＲＵＥまたはＦＡＬＳＥの値を格納する。状態管理部Ａ１１０１９は、例えば、サーバ装置Ａ１１０１５へ送出したＩＤがいずれの照明機器（照明機器Ａ１１００２、照明機器Ａ１１００３）にも関連しない無効なＩＤであった場合に、異常フラグＡ１１６０１をＴＲＵＥに設定する。また、例えば異常フラグＡ１１６０１がＴＲＵＥであった場合、表示部Ａ１１０１８は受信に失敗した旨使用者（ユーザ）に提示する。
　表示棚奥行きＡ１１６０３、地図オフセットＸＡ１１６０４、地図オフセットＹＡ１１６０５で管理される値は、使用者がタッチパネル部Ａ１２０４を操作した際に、ＵＩ部Ａ１１０２０によって更新される。
　［ＤＢ管理部Ａ１１０１４］
　続いて、ＤＢ管理部Ａ１１０１４について説明する。
　ＤＢ管理部Ａ１１０１４は、ＩＤ格納部Ａ１１０１３からＩＤを読み込むと、サーバ装置Ａ１１０１５に対して問い合わせを行い、記録されたＩＤの照合を行う。
　ＤＢ管理部Ａ１１０１４は、照合の結果、読み込んだＩＤが例えば天井に設置されたシーリングライトのＩＤであると照合できれば、図５に示すような地図情報すなわち該当するシーリングライトとその周辺の地図画像を送信するようサーバ装置Ａ１１０１５にリクエストを送る。ＤＢ管理部Ａ１１０１４は、リクエストの結果、図５に示すような地図画像（地図情法）を取得して地図情報格納部Ａ１１０１７に格納する。そして、ＤＢ管理部Ａ１１０１４は、地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１をＴＲＵＥに設定すると共に、商品情報格納部Ａ１１０１６の有効フラグをＦＡＬＳＥに、異常フラグＡ１１６０１をＦＡＬＳＥに設定する。
　一方、ＤＢ管理部Ａ１１０１４は、照合の結果、読み込んだＩＤが例えば商品棚に設置されたいずれかのベースライトのＩＤであると照合できれば、サーバ装置Ａ１１０１５に対して図１１に示す商品情報を送信するようリクエストを送る。ＤＢ管理部Ａ１１０１４は、リクエストの結果、取得した商品情報を商品情報格納部Ａ１１０１６へ格納する。そして、ＤＢ管理部Ａ１１０１４は、地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１をＦＡＬＳＥに設定すると共に、商品情報格納部Ａ１１０１６の有効フラグをＴＲＵＥに、異常フラグＡ１１６０１をＦＡＬＳＥに設定する。
　なお、ＤＢ管理部Ａ１１０１４は、サーバ装置Ａ１１０１５へ送出したＩＤがいずれのシーリングライト・ベースライトにも関連しない無効なＩＤであった場合に、ＤＢ管理部Ａ１１０１４は地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１をＦＡＬＳＥに、商品情報格納部Ａ１１０１６の有効フラグをＦＡＬＳＥに、異常フラグＡ１１６０１をＴＲＵＥに設定する。
　［ＵＩ部Ａ１１０２０］
　続いてＵＩ部Ａ１１０２０について説明する。
　ＵＩ部Ａ１１０２０は、タッチパネル部Ａ１２０４と連動している。
　ＵＩ部Ａ１１０２０は、例えば商品情報格納部Ａ１１０１６の有効フラグＡ１１１０１がＴＲＵＥであり、使用者がタッチパネル部Ａ１２０４に対してフリック操作をした場合、地図オフセットＸＡ１１６０４、地図オフセットＹＡ１１６０５で管理される値を更新する。ここで、ＵＩ部Ａ１１０２０は、例えば使用者によりタッチパネル部Ａ１２０４が右方向にフリック操作されると、地図オフセットＸＡ１１６０４の値をフリック量にあわせて増加させ、タッチパネル部Ａ１２０４が左方向にフリック操作されると地図オフセットＸＡ１１６０４の値を減少させる。また、例えば、ＵＩ部Ａ１１０２０は、使用者によりタッチパネル部Ａ１２０４が上方向にフリック操作されると地図オフセットＹＡ１１６０５の値を減少させ、タッチパネル部Ａ１２０４が下方向にフリック操作されると地図オフセットＹＡ１１６０５の値を増加させる。
　一方、ＵＩ部Ａ１１０２０は、例えば地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１がＴＲＵＥの場合、表示棚奥行きＡ１１６０３の値を更新する。ここで、ＵＩ部Ａ１１０２０は、例えば使用者によりタッチパネル部Ａ１２０４が右方向にフリック操作されると表示棚奥行きＡ１１６０３の値を増加させ、タッチパネル部Ａ１２０４が左方向にフリック操作されると表示棚奥行きＡ１１６０３の値を減少させる。
　なお、ＵＩ部Ａ１１０２０は、表示棚奥行きＡ１１６０３の値が商品在庫情報Ａ１１１０５の商品のｚ座標のうち最大の値より大きくなった場合には表示棚奥行きＡ１１６０３の値を０に設定しなおす。また、ＵＩ部Ａ１１０２０は、表示棚奥行きＡ１１６０３の値が０より小さくなった場合には表示棚奥行きＡ１１６０３を（商品在庫情報Ａ１１１０５の商品のｚ座標のうち最大の値）に設定しなおす。
　［表示部Ａ１１０１８］
　表示部Ａ１１０１８は、上記の地図情報または商品情報をレンダリング処理して表示する。また、表示部Ａ１１０１８は、上述した処理を踏まえて表示内容を更新する。
　表示部Ａ１１０１８は、表示内容を更新する処理（更新処理）を行う際、まず次に説明する表示更新前処理を実行する。
　表示部Ａ１１０１８は、商品情報格納部Ａ１１０１６の有効フラグＡ１１１０１がＴＲＵＥかつ前フレーム描画種別Ａ１１６０２が商品情報以外の場合、表示する棚の状態を一旦初期化する必要があると判断し、表示棚奥行きＡ１１６０３の値を０に設定しなおす。
　つまり、携帯端末Ａ１１００１の表示部Ａ１１０１８に商品情報が表示された後、切り替えられた第１撮像部（例えばインカメラＡ１２０２）を用いて、位置情報を使用者の現在位置として取得する場合、商品情報に付与されたオフセットを初期化する。
　同様に、表示部Ａ１１０１８は、地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１がＴＲＵＥかつ前フレーム描画種別Ａ１１６０２が地図情報以外の場合、表示する地図の状態を一旦初期化する必要があると判断し、地図オフセットＸＡ１１６０４と地図オフセットＹＡ１１６０５との値を０に設定しなおす。つまり、携帯端末Ａ１１００１の表示部Ａ１１０１８に地図情報が表示された後、切り替えられた第２撮像部（例えばアウトカメラＡ１２０３）を用いて、第１機器（照明機器Ａ１１００３）が設置されている商品棚の商品情報を取得する場合、上記地図情報に付与されたオフセットを初期化する。
　また、表示部Ａ１１０１８は、状態管理部Ａ１１０１９の前回取得ＩＤとＩＤ格納部Ａ１１０１３とが異なる値を保持している場合、表示状態を初期化する必要があると判断し、地図オフセットＸＡ１１６０４と地図オフセットＹＡ１１６０５と表示棚奥行きＡ１１６０３と０に設定しなおすとしてもよい。この場合、状態管理部Ａ１１０１９の前回取得ＩＤにＩＤ格納部Ａ１１０１３の内容がコピーされる。
　更に、表示更新前処理として、状態管理部Ａ１１０１９において、商品情報格納部Ａ１１０１６の有効フラグＡ１１１０１がＴＲＵＥの場合は前フレーム描画種別Ａ１１６０２を「商品情報」に、地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１がＴＲＵＥの場合は前フレーム描画種別Ａ１１６０２を「地図情報」に設定される。異常フラグＡ１１６０１がＴＲＵＥの場合は前フレーム描画種別Ａ１１６０２を「異常」に設定される。
　以上の表示更新前処理が完了し、地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１と商品情報格納部Ａ１１０１６の有効フラグのうちいずれか一方がＴＲＵＥとなったとする。
　この場合、表示部Ａ１１０１８は、地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１がＴＲＵＥのとき、図５に示すような地図情報を表示するためのレンダリング処理を実行する。また、表示部Ａ１１０１８は、商品情報格納部Ａ１１０１６の有効フラグがＴＲＵＥのとき、図１２に示すような商品在庫状況を表示するためのレンダリング処理を実行する。一方、表示部Ａ１１０１８は、異常フラグＡ１１６０１がＴＲＵＥであるときは、不正なＩＤを受信した旨を示すように表示内容を更新する。
　［通信システムの動作フロー］
　続いて、本実施の形態の通信システムの動作フローについて説明する。
　［照明機器の動作フロー］
　図１５は、実施の形態１における照明機器の動作を示すフローチャートである。
　以下、照明機器Ａ１１００２の動作フローについて図１５を用いて説明する。
　まず、照明機器Ａ１１００２に電力が供給され、動作フローが開始するとする（ＳＡ１１４０１）。
　次に、エンコード部Ａ１１００５は、ＩＤ格納部Ａ１１００４からＩＤを読み込む（ＳＡ１１４０２）。
　次に、エンコード部Ａ１１００５は、エンコード処理により当ＩＤを照明の照度パターン、即ち各タイミングにおける照明の照度に変換する（ＳＡ１１４０３）。
　次に、エンコード部Ａ１１００５は、当該照度パターンを第１の照度パターン格納部Ａ１１００６に格納する（ＳＡ１１４０４）。
　次に、発光部Ａ１１００７は、以上の起動フェーズが完了したため、照度パターン格納部Ａ１１００６から照度パターンを読み込み（ＳＡ１１４０５）、当照度パターンで示されるパターンに基づき、照度を高速に更新しながら発光制御を行う（ＳＡ１１４０６）。
　以上の動作フローにより、照明機器Ａ１１００２はＩＤに基づいた照度制御（可視光通信）を行う。
　次に、照明機器Ａ１１００３についても説明する。
　まず、照明機器Ａ１１００３に電力が供給され、動作フローが開始するとする（ＳＡ１１４０１）。エンコード部Ａ１１００９は、ＩＤ格納部Ａ１１００８からＩＤを読み込み（ＳＡ１１４０２）、エンコード処理により当ＩＤを照明の照度パターン、即ち各タイミングにおける照明の照度に変換し（ＳＡ１１４０３）、当照度パターンを照度パターン格納部Ａ１１０１０に格納する（ＳＡ１１４０４）。
　以上の起動フェーズが完了すると、発光部Ａ１１０１１は照度パターン格納部Ａ１１０１０から照度パターンを読み込み（ＳＡ１１４０５）、当照度パターンで示されるパターンに基づき、照度を高速に更新しながら発光制御を行う（ＳＡ１１４０６）。
　以上の動作フローにより、照明機器Ａ１１００３はＩＤに基づいた照度制御を行う。
　［携帯端末Ａ１１００１の動作フロー］
　続いて、携帯端末Ａ１１００１のフローについて、図１６を用いて説明する。
　図１６は、実施の形態１における携帯端末の動作を示すフローチャートである。
　まず、受光制御部Ａ１１０１２は、最初にシャッター速度を高速な設定に切り替える（ＳＡ１１５００）。
　次に、受光制御部Ａ１１０１２は、発光部Ａ１１００７または発光部Ａ１１０１１の照度パターンを検知すると、デコード処理により検知したパターンをＩＤに変換し（ＳＡ１１５０１）、ＩＤ格納部Ａ１１０１３へ格納する（ＳＡ１１５０２）。
　次に、ＤＢ管理部Ａ１１０１４は、ＩＤ格納部Ａ１１０１３からＩＤを読み込むと、サーバ装置Ａ１１０１５に対して問い合わせを行い（ＳＡ１１５０３）、記録されたＩＤの照合を行う（ＳＡ１１５０４、ＳＡ１１５０６）。
　ＳＡ１１５０４において、ＤＢ管理部Ａ１１０１４は、照合の結果、読み込んだＩＤが天井に設置されたいずれかのシーリングライトのＩＤであれば（ＳＡ１１５０４でＹｅｓ）、シーリングライト関連の処理を実行する（ＳＡ１１５０５）。
　一方、ＳＡ１１５０６において、ＤＢ管理部Ａ１１０１４は、照合の結果、ＩＤが商品棚に設置されたいずれかのベースライトのＩＤであれば（ＳＡ１１５０６でＹｅｓ）、ベースライト関連の処理を実行する（ＳＡ１１５０７）。
　なお、ＤＢ管理部Ａ１１０１４は、サーバ装置Ａ１１０１５へ送出したＩＤがシーリングライトにもベースライトにも関連しない無効なＩＤであった場合には、地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１をＦＡＬＳＥに、商品情報格納部Ａ１１０１６の有効フラグをＦＡＬＳＥに、異常フラグＡ１１６０１をＴＲＵＥに設定する。表示部Ａ１１０１８は、照明機器に関する情報がない旨を示すエラー通知を表示する（ＳＡ１１５０８）。つまり、携帯端末Ａ１１００１は、可視光を発する照明機器と可視光通信を行うことにより取得した照明機器に一意に与えられた識別子を、サーバ装置Ａ１１０１５に問い合わせることで、識別子に対応付けられた照明機器に関する情報を取得する。しかし、携帯端末Ａ１１００１は、サーバ装置Ａ１１０１５に問い合わせても当該識別子に対応付けられた情報がない場合には照明機器に関する情報がない旨を示すエラー通知を、表示部Ａ１１０１８に表示する。
　［シーリングライト関連処理のフロー］
　続いて、シーリングライト関連処理（ＳＡ１１５０５）について説明する。
　図１７は、実施の形態１におけるシーリングライト関連処理を示すフローチャートである。
　まず、ＤＢ管理部Ａ１１０１４は、図５に示すような、該当するシーリングライトとその周辺の地図画像を送信するようサーバ装置Ａ１１０１５にリクエストを送る（ＳＡ１１７０１）。
　次に、ＤＢ管理部Ａ１１０１４は、図５に示す地図画像を取得して地図情報格納部Ａ１１０１７に格納する（ＳＡ１１７０２）。
　次に、ＤＢ管理部Ａ１１０１４は、地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１をＴＲＵＥに設定すると共に、商品情報格納部Ａ１１０１６の有効フラグをＦＡＬＳＥに設定する（ＳＡ１１７０３）。
　［ベースライト関連処理のフロー］
　続いて、ベースライト関連処理（ＳＡ１１５０７）について説明する。
　図１８は、実施の形態１におけるベースライト関連処理を示すフローチャートである。
　まず、ＤＢ管理部Ａ１１０１４は、サーバ装置Ａ１１０１５に対して図１１に示す商品情報をリクエストする（ＳＡ１１８０１）。
　次に、ＤＢ管理部Ａ１１０１４は、取得した商品情報を商品情報格納部Ａ１１０１６へ格納する（ＳＡ１１８０２）。
　次に、ＤＢ管理部Ａ１１０１４は、地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１をＦＡＬＳＥに設定すると共に、商品情報格納部Ａ１１０１６の有効フラグをＴＲＵＥに設定する（ＳＡ１１８０３）。
　［ＵＩ部Ａ１１０２０の動作フロー］
　続いてＵＩ部Ａ１１０２０について図１９を用いて説明する。
　図１９は、実施の形態１におけるＵＩ関連処理を示すフローチャートである。
　ＵＩ部Ａ１１０２０は、上述したようにタッチパネル部Ａ１２０４と連動している。
　ＳＡ１１９００１において、ＵＩ部Ａ１１０２０は、地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１がＴＲＵＥの場合（Ｓ１１９０１でｙｅｓ）、地図情報向けＵＩ処理を実行する（Ｓ１１９０２）。
　一方、ＳＡ１１９００３において、ＵＩ部Ａ１１０２０は、商品情報格納部Ａ１１０１６の有効フラグＡ１１１０１がＴＲＵＥの場合（Ｓ１１９０３でｙｅｓ）、商品情報向けＵＩ処理を実行する（Ｓ１１９０４）。
　［地図情報向けＵＩ処理のフロー］
　続いて、地図情報向けＵＩ処理（Ｓ１１８０２）について説明する。
　図２０は、実施の形態１における地図情報向けＵＩ処理を示すフローチャートである。
　まず、地図情報向けＵＩ処理を開始すると（ＳＡ１１９０２）、ＵＩ部Ａ１１０２０は、使用者によりタッチパネル部Ａ１２０４が右方向にフリック操作されたか否かを判断する（ＳＡ１２００１）
　ＳＡ１２００１において、ＵＩ部Ａ１１０２０は、使用者によりタッチパネル部Ａ１２０４が右方向にフリック操作されると（ＳＡ１２００１でｙｅｓ）地図オフセットＸＡ１１６０４の値をフリック量にあわせて増加させ（ＳＡ１２００２）る。
　ＳＡ１２００３において、ＵＩ部Ａ１１０２０は、使用者によりタッチパネル部Ａ１２０４が左方向にフリック操作されると（ＳＡ１２００３でｙｅｓ）、地図オフセットＸＡ１１６０４の値を減少させる（ＳＡ１２００４）。
　ＳＡ１２００５において、ＵＩ部Ａ１１０２０は、使用者によりタッチパネル部Ａ１２０４が上方向にフリック操作されると（ＳＡ１２００５でｙｅｓ）、地図オフセットＹＡ１１６０５の値を減少させる（ＳＡ１２００６）。
　ＳＡ１２００７において、ＵＩ部Ａ１１０２０は、使用者によりタッチパネル部Ａ１２０４が下方向にフリック操作されると（ＳＡ１２００７でｙｅｓ）、地図オフセットＹＡ１１６０５の値を増加させる（ＳＡ１２００８）。
　このように、使用者がタッチパネル部Ａ１２０４に対してフリック操作をすると、ＵＩ部Ａ１１０２０によって地図オフセットＸＡ１１６０４および地図オフセットＹＡ１１６０５の値が更新される。
　［商品情報向けＵＩ処理のフロー］
　続いて、商品情報向けＵＩ処理（Ｓ１１８０４）について説明する。
　図２１、実施の形態１における商品情報向けＵＩ処理を示すフローチャートである。
　まず、商品情報向けＵＩ処理を開始すると（ＳＡ１１９０４）、ＵＩ部Ａ１１０２０は、使用者によりタッチパネル部Ａ１２０４が右方向にフリック操作されたか否かを判断する（ＳＡ１２１０１）
　ＳＡ１２１０１において、ＵＩ部Ａ１１０２０は、使用者によりタッチパネル部Ａ１２０４が右方向にフリック操作されると（ＳＡ１２１０１でｙｅｓ）、表示棚奥行きＡ１１６０３の値を増加させる（ＳＡ１２１０２）。
　ＳＡ１２１０３において、ＵＩ部Ａ１１０２０は、使用者によりタッチパネル部Ａ１２０４が左方向にフリック操作されると（ＳＡ１２１０３でｙｅｓ）、表示棚奥行きＡ１１６０３の値を減少させる（ＳＡ１２１０４）。
　なお、ＳＡ１２１０５において、ＵＩ部Ａ１１０２０は、表示棚奥行きＡ１１６０３の値が商品在庫情報Ａ１１１０５の商品のｚ座標のうち最大の値より大きくなった場合は（ＳＡ１２１０５でｙｅｓ）、表示棚奥行きＡ１１６０３を０に設定しなおす（ＳＡ１２１０６）。
　また、ＳＡ１２１０７において、ＵＩ部Ａ１１０２０は、表示棚奥行きＡ１１６０３の値が０より小さくなった場合は（ＳＡ１２１０７でｙｅｓ）、表示棚奥行きＡ１１６０３の値を商品在庫情報Ａ１１１０５の商品のｚ座標のうち最大の値に設定しなおす（ＳＡ１２１０８）。
　このようにして、ＵＩ部Ａ１１０２０は、表示棚奥行きＡ１１６０３を更新する。
　［表示部Ａ１１０１８の処理フロー］
　続いて、表示部Ａ１１０１８の処理フローについて説明する。
　図２２は、実施の形態１における表示処理全体を示すフローチャートである。図２３は実施の形態１における表示更新前処理を示すフローチャートであり、図２４は実施の形態１における表示更新処理を示すフローチャートである。
　表示部Ａ１１０１８は、図２２に示すように、表示処理を開始すると、表示更新処理を行う前に表示更新前処理を実行する（ＳＡ１２２０１）。そして、表示部Ａ１１０１８は、表示更新前処理を実行後に表示更新処理を実行する（ＳＡ１２２０２）。
　ここで、表示更新前処理（ＳＡ１２２０１）について図２３を用いて詳細に説明する。
　表示部Ａ１１０１８は、表示更新前処理を開始すると、図２３に示すように、商品情報が有効か否かを確認する（ＳＡ１２３０１）。
　表示部Ａ１１０１８は、商品情報格納部Ａ１１０１６の有効フラグＡ１１１０１がＴＲＵＥ（ＳＡ１２３０１でｙｅｓ）かつ前フレーム描画種別Ａ１１６０２が商品情報以外の場合（ＳＡ１２３０２でｎｏ）、表示する棚の状態を初期化する必要があると判断し、表示棚奥行きＡ１１６０３の値を０に設定しなおす（ＳＡ１２３０３）。
　次に、ＳＡ１２３０４において、表示部Ａ１１０１８は、地図情報が有効か否かを確認する（ＳＡ１２３０４）。
　表示部Ａ１１０１８は、地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１がＴＲＵＥ（ＳＡ１２３０４でｙｅｓ）かつ前フレーム描画種別Ａ１１６０２が地図情報以外の場合（ＳＡ１２３０５でｎｏ）、表示する地図の状態を初期化する必要があると判断し、地図オフセットＸＡ１１６０４および地図オフセットＹＡ１１６０５の値を０に設定しなおす（ＳＡ１２３０６）。
　次に、ＳＡ１２３０７において、表示部Ａ１１０１８は、ＩＤが更新されたか否かを確認する（ＳＡ１２３０７）。
　表示部Ａ１１０１８は、状態管理部Ａ１１０１９の前回取得ＩＤとＩＤ格納部Ａ１１０１３のＩＤとが異なる値を保持している場合（ＳＡ１２３０７でｙｅｓ）、表示状態を初期化する必要があると判断し、地図オフセットＸＡ１１６０４、地図オフセットＹＡ１１６０５および表示棚奥行きＡ１１６０３の値を０に設定しなおす（ＳＡ１２３０８）。
　次に、ＳＡ１２３０９において、表示部Ａ１１０１８は、状態管理部Ａ１１０１９の前回取得ＩＤにＩＤ格納部Ａ１１０１３の内容をコピーすることで旧ＩＤを更新する（ＳＡ１２３０９）。
　次に、表示部Ａ１１０１８は、前フレーム描画種別を更新する（ＳＡ１２３１０）。具体的には、表示部Ａ１１０１８は、商品情報格納部Ａ１１０１６の有効フラグＡ１１１０１がＴＲＵＥの場合は前フレーム描画種別Ａ１１６０２を「商品情報」に、地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１がＴＲＵＥの場合は前フレーム描画種別Ａ１１６０２を「地図情報」に設定する。また、表示部Ａ１１０１８は、異常フラグＡ１１６０１がＴＲＵＥの場合は前フレーム描画種別Ａ１１６０２を「異常」に設定する。
　続いて、表示更新処理（ＳＡ１２２０２）について図２４を用いて説明する。
　表示部Ａ１１０１８は、表示更新処理を開始すると、図２４に示すように、地図情報が有効か否かを確認する（ＳＡ１２３０１）。
　表示部Ａ１１０１８は、地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１がＴＲＵＥの場合は（ＳＡ１２４０１でｙｅｓ）、地図オフセットＸＡ１１６０４の値と地図オフセットＹＡ１１６０６の値とを読み込み（ＳＡ１２４０２）、各オフセットの値分だけずらしながら図５に示すような地図情報のレンダリング処理を実行する（ＳＡ１２４０３）。
　Ｓ１２４０１において、表示部Ａ１１０１８は、地図情報の有効フラグが無効の場合、商品情報が有効か否かを確認する（ＳＡ１２３０４）。
　表示部Ａ１１０１８は、商品情報格納部Ａ１１０１６の有効フラグがＴＲＵＥの場合は（ＳＡ１２４０４でｙｅｓ）、表示棚奥行きＡ１１６０３の値を読み込み（ＳＡ１２４０４）、表示棚奥行きＡ１１６０３で示される棚の画像を提示するように、図１２に示すような商品在庫状況のレンダリング処理を実行する（ＳＡ１２４０６）。
　Ｓ１２４０４において、表示部Ａ１１０１８は、商品情報の有効フラグが無効の場合（ＳＡ１２４０４でｎｏ）で、さらに異常フラグＡ１１６０１がＴＲＵＥの場合は、不正なＩＤを受信した旨を表示するように表示内容を更新する（ＳＡ１２４０７）。
　（実施の形態２）
　本実施の形態では、受光制御部Ａ１１０１２の構成及びフローの詳細について説明する。その他の構成については実施の形態１と同じであるため説明を省略する。
　［受光制御部Ａ１１０１２の詳細構成］
　まず、実施の形態２における受光制御部Ａ１１０１２の詳細構成について説明する。
　図２５は、実施の形態２における受光制御部の詳細構成を示す図である。
　実施の形態２における受光制御部Ａ１１０１２は、図２５に示すように、受光部Ａ１２５０１と、受光部Ａ１２５０２と、セレクタＡ１２５０３と、加速度検知部Ａ１２５０４と、受光信号格納部Ａ１２５０５と、デコード部Ａ１２５０６と、閾値格納部Ａ１２５０７とを備える。
　受光部Ａ１２５０１は、例えば実施の形態１のインカメラＡ１２０２（第１撮像部）に対応し、受光部Ａ１２５０２は、例えば実施の形態１のアウトカメラＡ１２０３（第２撮像部）に対応する。
　セレクタＡ１２５０３は、２つの受光部のどちらを稼動させるかを選択するためのセレクタである。
　加速度検知部Ａ１２５０４は、携帯端末Ａ１１０１１の加速度を検知することで、セレクタＡ１２５０３における選択処理に必要な情報を供給する。
　受光信号格納部Ａ１２５０５は、セレクタＡ１２５０３を経由して受光部Ａ１２５０１又は受光部Ａ１２５０２より得られた受光信号を格納する。
　デコード部Ａ１２５０６は、受光信号格納部Ａ１２５０５から受光信号を読み取り、デコード処理を行ってＩＤを生成し、生成したＩＤをＩＤ格納部Ａ１１０１３に格納する。
　閾値格納部Ａ１２５０７は、セレクタＡ１２５０３が取得した加速度から、受光制御部Ａ１１０１２を搭載した携帯端末Ａ１１０１１が地面に対して水平か否かを判定するための第１の閾値と第２の閾値を予め格納する。
　［受光制御部の処理］
　続いて、実施の形態２における受光制御部Ａ１１０１２の処理フローについて説明する。
　図２６は、実施の形態２における受光制御部の照度パターン検知処理を示すフローチャートである。
　まず、受光制御部Ａ１１０１２は、起動後（ＳＡ１１５０１）、加速度検知部Ａ１２５０４より携帯端末Ａ１１０１１の背面方向に生じる加速度を検知する（ＳＡ１２６０１）。
　次に、受光制御部Ａ１１０１２は、取得した加速度と閾値格納部Ａ１２５０７に格納されている閾値とを比較し、受光部Ａ１２５０１（インカメラ）が上向きか否かを確認する（ＳＡ１２６０２）。
　ＳＡ１２６０２において、受光制御部Ａ１１０１２は、加速度が第１の閾値よりも大きければ、受光部Ａ１２５０１（インカメラ）が地面に対して上向きであると判定し（ＳＡ１２６０２でｙｅｓ）、受光部Ａ１２５０１（インカメラ）に切り替える（ＳＡ１２６０３）。受光制御部Ａ１１０１２は、加速度が第１の閾値よりも大きければ、より大きな加速度、即ち重力加速度が携帯端末Ａ１１０１１の背面方向に生じていることから、携帯端末Ａ１１０１１が地面に対して水平で、かつ受光部Ａ１２５０１（インカメラ）が地面に対して上向きであると判定できる。そして、受光制御部Ａ１１０１２は、受光部Ａ１２５０１に切り替えるまたはを稼動させる。
　一方、ＳＡ１２６０２において、受光制御部Ａ１１０１２は、加速度が第２の閾値以下であれ、受光部Ａ１２５０１（インカメラ）が地面に対して上向きではないと判定し（ＳＡ１２６０２でｎｏ）、受光部Ａ１２５０２（アウトカメラ）に切り替える（ＳＡ１２６０４）。受光制御部Ａ１１０１２は、加速度が第２の閾値以下であれば、重力加速度が携帯端末Ａ１１０１１の背面方向に大きく生じていないことから、携帯端末Ａ１１０１１が地面に対して水平ではなく、受光部Ａ１２５０２（アウトカメラ）が壁や棚に向けられていると判定する。そして、受光制御部Ａ１１０１２は、受光部Ａ１２５０２（アウトカメラ）に切り替えるまたはを稼動させる。
　次に、受光制御部Ａ１１０１２は、静止画キャプチャを取得する（ＳＡ１２６０５）。具体的には、受光制御部Ａ１１０１２は、上記の処理により、受光部Ａ１２５０１（インカメラ）又は受光部Ａ１２５０２（アウトカメラ）より撮影画像を取得する。
　次に、受光制御部Ａ１１０１２は、撮影画像から照明の照度変化を取得、即ちデコード処理を実行する（ＳＡ１２６０６）。
　次に、受光制御部Ａ１１０１２は、デコード処理によって得られたＩＤをＩＤ格納部Ａ１１０１３に格納する（ＳＡ１２６０７）。
　以上のように、受光制御部Ａ１１０１２は、携帯端末Ａ１１０１１の姿勢に応じて受光部（撮像部）の選択を行うことができる。それにより、携帯端末を上から覗き込む（建物の見取り図を俯瞰する）照明機器に最適な受光部（インカメラ）の選択や、正面にある棚やその他被写体を水平方向に覗き込む照明機器に最適な受光部（アウトカメラ）の選択をすることができる。
　（実施の形態３）
　受光制御部Ａ１１０１２の構成及びフローの詳細は、実施の形態２で説明したものに限らない。本実施の形態では、実施の形態２と異なる受光制御部Ａ１１０１２の構成及びフローの詳細について説明する。その他の構成については実施の形態１と同じであるため説明を省略する。
　［受光制御部Ａ１１０１２の詳細構成］
　まず、実施の形態３における受光制御部Ａ１１０１２の詳細構成について説明する。
　図２７は、実施の形態３における受光制御部の詳細構成を示す図である。
　実施の形態３における受光制御部Ａ１１０１２は、第１の受光部Ａ１２７０１と、第２の受光部Ａ１２７０２と、セレクタＡ１２７０３と、タイマ制御部Ａ１２７０４と、受光信号格納部Ａ１２７０５と、デコード部Ａ１２７０６と、閾値格納部Ａ１２７０７とを備える。
　受光部Ａ１２７０１は、例えば実施の形態１のインカメラＡ１２０２（第１撮像部）に対応し、受光部Ａ１２７０２は、例えば実施の形態１のアウトカメラＡ１２０３（第２撮像部）に対応する。
　セレクタＡ１２７０３は、これら２つの受光部のどちらを稼動させるかを選択するためのセレクタである。
　タイマ制御部Ａ１２７０４は、セレクタＡ１２７０３における選択処理に必要な情報を供給する。
　受光信号格納部Ａ１２７０５は、セレクタＡ１２７０３を経由して第１の受光部Ａ１２７０１又は第２の受光部Ａ１２７０２より得られた受光信号を格納する。
　デコード部Ａ１２７０６は、受光信号格納部Ａ１２７０５から受光信号を読み取り、デコード処理を行ってＩＤを生成し、生成したＩＤをＩＤ格納部Ａ１１０１３に格納する。
　閾値格納部Ａ１２７０７は、セレクタＡ１２７０３が第１の受光部Ａ１２７０１から受光を始めて第２の受光部Ａ１２７０２の受光への切り替えに要する時間の閾値１を予め格納する。閾値格納部Ａ１２５０７は、更にセレクタＡ１２７０３が第２の受光部Ａ１２７０２から受光を始めて第１の受光部Ａ１２７０１の受光への切り替えに要する時間の閾値２を予め格納する。
　［受光制御部の処理］
　続いて、実施の形態３における受光制御部Ａ１１０１２の処理フローについて説明する。
　図２８は、実施の形態３における受光制御部の照度パターン検知処理を示すフローチャートである。
　まず、受光制御部Ａ１１０１２は、起動後（ＳＡ１１５０１）、タイマ制御部Ａ１２７０４が停止しているか確認する（ＳＡ１２８０１）。
　ＳＡ１２８０１において、受光制御部Ａ１１０１２は、タイマ制御部Ａ１２７０４が稼動していなければ（ＳＡ１２８０１のｙｅｓ）、タイマ制御部Ａ１２７０４を稼動させるとともに、第１の受光部Ａ１２７０１を稼動させる（ＳＡ１２８０２）。
　次に、ＳＡ１２８０３において、受光制御部Ａ１１０１２は、第１の受光部Ａ１２７０１が稼働中の場合（ＳＡ１２８０３のｙｅｓ）、第１の受光部Ａ１２７０１が稼動し始めてから第１の閾値の時間が経過していれば（ＳＡ１２８０４のｙｅｓ）、各受光部をバランスよく稼動させるため、第１の受光部Ａ１２７０１を停止すると共に、第２の受光部Ａ１２７０２を稼動させる（ＳＡ１２８０６）。
　一方、第１の受光部Ａ１２７０１が停止中、即ち第２の受光部Ａ１２７０２が稼働中である場合（ＳＡ１２８０３でｎｏ）、第２の受光部Ａ１２７０２が稼動してから第２の閾値の時間が経過していれば（ＳＡ１２８０５のｙｅｓ）、各受光部をバランスよく稼動させるため、第２の受光部Ａ１２７０２を停止すると共に、第１の受光部Ａ１２７０１を稼動させる（ＳＡ１２８０７）。
　次に、受光制御部Ａ１１０１２は、静止画キャプチャを取得する（ＳＡ１２６０８）。具体的には、受光制御部Ａ１１０１２は、上記の処理により、稼動した第１の受光部Ａ１２５０１又は第２の受光部Ａ１２５０２より撮影画像を取得する。
　次に、受光制御部Ａ１１０１２は、撮影画像から照明の照度変化を取得、即ちデコード処理を実行する（ＳＡ１２６０９）。
　次に、受光制御部Ａ１１０１２は、デコード処理によって得られたＩＤをＩＤ格納部Ａ１１０１３に格納する（ＳＡ１２６１０）。
　以上のように、受光制御部Ａ１１０１２は、所定時間ごとに受光部（撮像部）の選択を行うことで、例えば図９に示すような腕時計型デバイスを水平に構えた場合において、天井のシーリングライトＡ１９０４から得られるＩＤと、棚に設置されたベースライトＡ１９０５から得られるＩＤとをそれぞれバランスよく取得することが可能となる。
　なお、本実施の形態では、受光制御部Ａ１１０１２は加速度検知部を更に有するとしてもよい。この場合、受光制御部Ａ１１０１２は、腕時計型デバイスの表示面が地面に水平でない、即ち使用者が腕時計型デバイスの表示面を見ていないと予想される場合は、第１の受光部Ａ１２５０１と第２の受光部Ａ１２５０２を停止し、消費電力の削減を図るようにしても良い。
　（実施の形態４）
　本実施の形態では、実施の形態１をベースに、視線検出の技術を応用して、使用者（ユーザ）の意思をより的確に表示部Ａ１１０１８に反映させる場合の例について説明する。
　図２９は、実施の形態４における視線の動きを検出する携帯端末を使用する際のイメージ図である。
　図２９に示すように、使用者が携帯端末Ａ１２９０１を手に持って、棚Ａ１２９０３に携帯端末Ａ１２９０１の背面部分を向けている場合、携帯端末Ａ１２９０１の表示部には棚Ａ１２９０３の情報が表示される。本実施の形態では、この状態で使用者の視線が棚Ａ１２９０１の右側を向いた場合、携帯端末Ａ１２９０１は使用者の視線を画像認識処理によって検知することができる。そして、「使用者が見ているものは棚Ａ１２９０１ではなく、棚Ａ１２９０１の右隣に設置されている棚Ａ１２９０５である」と判定し、携帯端末Ａ１２９０１の表示部に棚Ａ１２９０５に関する情報を表示する。
　このように、本実施の形態では、携帯端末Ａ１２９０１の正面に存在する照明に加え、使用者（ユーザ）の視線を考慮して表示する対象物を選択することで、より使用者の意図を反映させた情報確認が可能となる。
　［携帯端末Ａ１２９０１の構成］
　続いて、実施の形態２５における携帯端末Ａ１２９０１の構成について、説明する。
　図３０は、実施の形態４における携帯端末の構成の一例を示す図である。なお、図３０では、実施の形態１と重複している構成要素、すなわち図１０に示す構成要素と同様の構成には同じ番号を使用する。
　図３０に示す携帯端末Ａ１２９０１は、受光制御部Ａ１３００２と、ＩＤ格納部Ａ１１０１３と、ＤＢ管理部Ａ１３００３と、商品情報格納部Ａ１１０１６と、地図情報格納部Ａ１１０１７と、表示部Ａ１１０１８と、状態管理部Ａ１１０１９と、ＵＩ部Ａ１１０２０と、視線情報格納部Ａ１３００１とを備える。また、携帯端末Ａ１２９０１は、サーバ装置Ａ１３００４に無線通信により接続されている。
　受光制御部Ａ１３００２は、発光部Ａ１１００７及び発光部Ａ１１０１１の照度パターンを検知すると、検知したパターンをＩＤに変換し、ＩＤ格納部Ａ１１０１３へ格納する。本実施の形態の場合、受光制御部Ａ１３００２は、発光部Ａ１１００７又は発光部Ａ１１０１１の照度パターンを検知するため、ＩＤ格納部Ａ１１０１３に格納されるＩＤはＩＤ格納部Ａ１１００４またはＩＤ格納部Ａ１１００８のいずれかに格納されているＩＤと等しくなる。
　更に、受光制御部Ａ１３００２は、自身が内蔵している内受光機能により、使用者の視線が「正面・右・左」のどれに分類されるかを示す視線分類情報を検出し、検出した分類結果を視線情報格納部Ａ１３００１に格納する。
　その他の構成については、図１０で説明したものと同様であるため、詳細な説明は省略する。
　［ＤＢ管理部Ａ１３００３の動作フロー］
　続いて、ＤＢ管理部Ａ１３００３のフローについて説明する。本実施の形態では、実施の形態１における図１８のＳＡ１１８０１が詳細化され、その他の動作は同様であるため、以下ではＳＡ１１８０１の詳細フローについて主に説明する。
　図３１は、実施の形態４におけるＤＢ管理部の問い合わせ処理を示すフローチャートである。図３２は、実施の形態４におけるサーバ装置のＤＢが管理する情報の構造の一例を示す図である。
　まず、ＤＢ管理部Ａ１３００３は、サーバ装置Ａ１１０１５に対して商品画像送信要求を行う処理を開始する（ＳＡ１１８０１）。
　すると、ＤＢ管理部Ａ１３００３は、ＩＤおよび視線分類情報をサーバ装置に問い合わせる（ＳＡ１３２０１）。具体的には、ＤＢ管理部Ａ１３００３は、ＩＤ格納部Ａ１１０１３からＩＤを読み込み、更に視線情報格納部Ａ１３００１から視線分類情報を読み込む。また、ＤＢ管理部Ａ１３００３は、サーバ装置Ａ１１０１５に対して商品情報をリクエストする。この時、ベースライトのＩＤをサーバ装置Ａ１１０１５に送出すると共に、視線情報格納部Ａ１３００１に格納された視線分類情報もサーバ装置Ａ１１０１５に送出する。
　次に、サーバ装置Ａ１１０１５は、保持するＤＢからＩＤを検索する（ＳＡ１３２０２）。具体的には、サーバ装置Ａ１１０１５は、図３２に示すようなＤＢを保持しており、受信したＩＤを保持するＤＢのＡ１３１０２列から検索する。
　ＳＡ１３２０２において、サーバ装置Ａ１１０１５は、保持するＤＢに該当するＩＤが存在した場合（ＳＡ１３２０３でｙｅｓ）、ＩＤおよび視線分類情報に対応するＤＢの行を検索し（ＳＡ１３２０５）、視線分類情報に対応する棚識別子が存在するか確認する（ＳＡ１３２０６）。具体的には、サーバ装置Ａ１１０１５は、保持するＤＢのＡ１３１０２列に該当する行が検索された場合、その行から棚識別子を抽出する。この時、視線分類情報が正面の場合はＡ１３１０１列を、視線分類情報が「左」の場合はＡ１３１０３列を、視線分類情報が「右」の場合はＡ１３１０４列を参照し、該当行の参照によって棚識別子を得る。
　次に、サーバ装置Ａ１１０１５は、得られた棚識別子に対応する行を検索し（ＳＡ１３２０８）、該当行の棚情報を通知する（ＳＡ１３２０９）。具体的には、サーバ装置Ａ１１０１５は、得られた棚識別子をＡ１３１０１列から検索し、該当行の棚情報Ａ１３１０５を携帯端末Ａ１２９０１のＤＢ管理部Ａ１３００３に通知する。例えば、ＩＤの値が２００、視線分類情報が「右」のものを受信した場合、ＩＤが２００のものを照明ＩＤＡ１３１０２から検索すると１行目に存在し、１行目の右隣の棚識別子Ａ１３１０４は１０１であるから、携帯端末Ａ１２９０１には棚識別子Ａ１３１０１が１０１である行における棚情報Ａ１３１０５、即ち棚情報２が送出される。
　そして、携帯端末Ａ１２９０１のＤＢ管理部Ａ１３００３は、取得した商品情報を商品情報格納部Ａ１１０１６へ格納し、地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１をＦＡＬＳＥに設定すると共に、商品情報格納部Ａ１１０１６の有効フラグをＴＲＵＥに、異常フラグＡ１１６０１をＦＡＬＳＥに設定する。
　なお、ＳＡ１３２０６において、サーバ装置Ａ１１０１５は、受信したＩＤがＡ１３１０２列から検出されたものの、ＩＤと視線分類情報とから棚識別子を抽出できなかった場合（ＳＡ１３２０６でｎｏ）、受信したＩＤが検索された行の棚情報Ａ１３１０５を携帯端末Ａ１２９０１のＤＢ管理部Ａ１３００３に通知する（ＳＡ１３２０７）。
　また、ＳＡ１３２０３において、サーバ装置Ａ１１０１５は、受信したＩＤをＡ１３１０２列から検出できなかった場合（ＳＡ１３２０３でｎｏ）、該当ＩＤ無しの旨を携帯端末Ａ１２９０１のＤＢ管理部Ａ１３００３に通知する（ＳＡ１３２０４）。ここで、例えばサーバ装置Ａ１１０１５へ送出したＩＤがいずれのシーリングライト・ベースライトにも関連しない無効なＩＤであった場合、ＤＢ管理部Ａ１３００３は、地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１をＦＡＬＳＥに、商品情報格納部Ａ１１０１６の有効フラグをＦＡＬＳＥに、異常フラグＡ１１６０１をＴＲＵＥに設定する。
　以上のように、本実施の形態によれば、通信装置を搭載する携帯端末はさらに使用者の視線を検知することができる。より具体的には、携帯端末の向きが地面に対して略垂直の場合、アウトカメラに切り替え、アウトカメラで可視光を発する第１機器と可視光通信を行うとともに、インナーカメラを用いて使用者の視線を検知する。
　それにより、アウトカメラを用いて、使用者の前方に位置し可視光を発する第１機器と可視光通信を行うことにより、第１機器が設置されている第１商品棚の商品情報を取得し、検知された使用者の視線の先にある第２商品棚が当該第１商品棚と異なる場合には、当該第１商品棚の商品情報に代えて第２商品棚の商品情報を表示することができる。
　（実施の形態５）
　本実施の形態は、実施の形態４をベースにしたものであって、受光制御部Ａ１１０１２の構成を明確化したものである。
　図３３は、実施の形態５における受光制御部の詳細構成を示す図である。
　実施の形態５における受光制御部Ａ１１０１２は、図３３に示すように、受光部Ａ１２５０１と、受光部Ａ１２５０２と、セレクタＡ１２５０３と、加速度検知部Ａ１２５０４と、受光信号格納部Ａ１２５０５と、デコード部Ａ１２５０６と、閾値格納部Ａ１２５０７と、視線検出部Ａ１３３０１とを備える。なお、図２５と同様の要素には同一の符号を付しており、詳細な説明は省略する。
　受光部Ａ１２５０１は、例えば実施の形態１のインカメラＡ１２０２（第１撮像部）に対応し、受光部Ａ１２５０２は、例えば実施の形態１のアウトカメラＡ１２０３（第２撮像部）に対応する。なお、本実施の形態において、受光部Ａ１２５０１はカメラデバイスのような映像撮像装置とする。
　セレクタＡ１２５０３は、２つの受光部のどちらを稼動させるかを選択するためのセレクタである。
　加速度検知部Ａ１２５０４は、携帯端末Ａ１２９０１の加速度を検知することで、セレクタＡ１２５０３における選択処理に必要な情報を供給する。
　受光信号格納部Ａ１２５０５は、セレクタＡ１２５０３を経由して受光部Ａ１２５０１又は受光部Ａ１２５０２より得られた受光信号を格納する。
　デコード部Ａ１２５０６は、受光信号格納部Ａ１２５０５から受光信号を読み取り、デコード処理を行ってＩＤを生成し、生成したＩＤをＩＤ格納部Ａ１１０１３に格納する。
　閾値格納部Ａ１２５０７は、セレクタＡ１２５０３が取得した加速度から、受光制御部Ａ１１０１２を搭載した携帯端末Ａ１２９０１が地面に対して水平か否かを判定するための第１の閾値と第２の閾値を予め格納する。
　視線検出部Ａ１３３０１は、受光部Ａ１２５０１から映像信号を受け、使用者の視線位置を検出し、視線分類情報を視線情報格納部Ａ１３００１に格納する。
　（実施の形態６）
　本実施の形態は、実施の形態４をベースにしたものであって、受光制御部Ａ１１０１２の構成を明確化したものである。
　図３４は、実施の形態６における受光制御部の詳細構成を示す図である。
　実施の形態６における受光制御部Ａ１１０１２は、図３４に示すように、受光部Ａ１２５０１と、受光部Ａ１２５０２と、セレクタＡ１２５０３と、加速度検知部Ａ１２５０４と、受光信号格納部Ａ１２５０５と、デコード部Ａ１２５０６と、閾値格納部Ａ１２５０７と、撮像部Ａ１３４０１と、視線検出部Ａ１３４０２とを備える。なお、図２５と同様の要素には同一の符号を付しており、詳細な説明は省略する。
　受光部Ａ１２５０１は、本実施の形態において、受光部Ａ１２５０１は照度センサのようなセンサデバイスとする。受光部Ａ１２５０２は、例えば実施の形態１のアウトカメラＡ１２０３（第２撮像部）に対応する。
　セレクタＡ１２５０３は、これら２つの受光部のどちらを稼動させるかを選択するためのである。
　加速度検知部Ａ１２５０４は、携帯端末Ａ１２９０１の加速度を検知することで、セレクタＡ１２５０３における選択処理に必要な情報を供給する。
　受光信号格納部Ａ１２５０５は、セレクタＡ１２５０３を経由して受光部Ａ１２５０１又は受光部Ａ１２５０２より得られた受光信号を格納する。
　デコード部Ａ１２５０６は、受光信号格納部Ａ１２５０５から受光信号を読み取り、デコード処理を行ってＩＤを生成し、生成したＩＤをＩＤ格納部Ａ１１０１３に格納する。
　閾値格納部Ａ１２５０７は、セレクタＡ１２５０３が取得した加速度から、受光制御部Ａ１１０１２を搭載した携帯端末Ａ１２９０１が地面に対して水平か否かを判定するための第１の閾値と第２の閾値を予め格納する。
　撮像部Ａ１３４０１は、カメラデバイスのような映像撮像装置である。
　視線検出部Ａ１３４０２は、撮像部Ａ１３４０１から映像信号を受け、使用者の視線位置を検出し、視線分類情報を視線情報格納部Ａ１３００１に格納する。
　以上のように、本実施の形態によれば、携帯端末の姿勢に応じて、使用者の現在位置及び意図をより反映した情報の提示が可能となる通信端末および通信方法を実現できる。
　（実施の形態７）
　以下、実施の形態７について説明する。
　（発光部の輝度の観測）
　１枚の画像を撮像するとき、全ての撮像素子を同一のタイミングで露光させるのではなく、撮像素子ごとに異なる時刻に露光を開始・終了する撮像方法を提案する。図３５は、１列に並んだ撮像素子は同時に露光させ、列が近い順に露光開始時刻をずらして撮像する場合の例である。ここでは、同時に露光する撮像素子の露光ラインと呼び、その撮像素子に対応する画像上の画素のラインを輝線と呼ぶ。
　この撮像方法を用いて、点滅している光源を撮像素子の全面に写して撮像した場合、図３６のように、撮像画像上に露光ラインに沿った輝線（画素値の明暗の線）が生じる。この輝線のパターンを認識することで、撮像フレームレートを上回る速度の光源輝度変化を推定することができる。これにより、信号を光源輝度の変化として送信することで、撮像フレームレート以上の速度での通信を行うことができる。光源が２種類の輝度値をとることで信号を表現する場合、低い方の輝度値をロー（ＬＯ），高い方の輝度値をハイ（ＨＩ）と呼ぶ。ローは光源が光っていない状態でも良いし、ハイよりも弱く光っていても良い。
　この方法によって、撮像フレームレートを超える速度で情報の伝送を行う。
　一枚の撮像画像中に、露光時間が重ならない露光ラインが２０ラインあり、撮像のフレームレートが３０ｆｐｓのときは、１．６７ミリ秒周期の輝度変化を認識できる。露光時間が重ならない露光ラインが１０００ラインある場合は、３万分の１秒（約３３マイクロ秒）周期の輝度変化を認識できる。なお、露光時間は例えば１０ミリ秒よりも短く設定される。
　図３６は、一つの露光ラインの露光が完了してから次の露光ラインの露光が開始される場合を示している。
　この場合、１秒あたりのフレーム数（フレームレート）がｆ、１画像を構成する露光ライン数がｌのとき、各露光ラインが一定以上の光を受光しているかどうかで情報を伝送すると、最大でｆｌビット毎秒の速度で情報を伝送することができる。
　なお、ラインごとではなく、画素ごとに時間差で露光を行う場合は、さらに高速で通信が可能である。
　このとき、露光ラインあたりの画素数がｍ画素であり、各画素が一定以上の光を受光しているかどうかで情報を伝送する場合には、伝送速度は最大でｆｌｍビット毎秒となる。
　図３７のように、発光部の発光による各露光ラインの露光状態を複数のレベルで認識可能であれば、発光部の発光時間を各露光ラインの露光時間より短い単位の時間で制御することで、より多くの情報を伝送することができる。
　露光状態をＥｌｖ段階で認識可能である場合には、最大でｆｌＥｌｖビット毎秒の速度で情報を伝送することができる。
　また、各露光ラインの露光のタイミングと少しずつずらしたタイミングで発光部を発光させることで、発信の基本周期を認識することができる。
　図３８は、一つの露光ラインの露光が完了する前に次の露光ラインの露光が開始される場合を示している。即ち、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成となっている。このような構成により、（１）一つの露光ラインの露光時間の終了を待って次の露光ラインの露光を開始する場合に比べ、所定の時間内におけるサンプル数を多くすることができる。所定時間内におけるサンプル数が多くなることにより、被写体である光送信機が発生する光信号をより適切に検出することが可能となる。即ち、光信号を検出する際のエラー率を低減することが可能となる。更に、（２）一つの露光ラインの露光時間の終了を待って次の露光ラインの露光を開始する場合に比べ、各露光ラインの露光時間を長くすることができるため、被写体が暗い場合であっても、より明るい画像を取得することが可能となる。即ち、Ｓ／Ｎ比を向上させることが可能となる。なお、全ての露光ラインにおいて、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成となる必要はなく、一部の露光ラインについて部分的に時間的な重なりを持たない構成とすることも可能である。一部の露光ラインについて部分的に時間的な重なりを持たないように構成するにより、撮像画面上における露光時間の重なりによる中間色の発生を抑制でき、より適切に輝線を検出することが可能となる。
　この場合は、各露光ラインの明るさから露光時間を算出し、発光部の発光の状態を認識する。
　なお、各露光ラインの明るさを、輝度が閾値以上であるかどうかの２値で判別する場合には、発光していない状態を認識するために、発光部は発光していない状態を各ラインの露光時間以上の時間継続しなければならない。
　図３９は、各露光ラインの露光開始時刻が等しい場合に、露光時間の違いによる影響を示している。７５００ａは前の露光ラインの露光終了時刻と次の露光ラインの露光開始時刻とが等しい場合であり、７５００ｂはそれより露光時間を長くとった場合である。７５００ｂのように、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成とすることにより、露光時間を長くとることが可能となる。即ち、撮像素子に入射する光が増大し、明るい画像を得ることができる。また、同一の明るさの画像を撮像するための撮像感度を低く抑えられることで、ノイズの少ない画像が得られるため、通信エラーが抑制される。
　図４０は、露光時間が等しい場合に、各露光ラインの露光開始時刻の違いによる影響を示している。７５０１ａは前の露光ラインの露光終了時刻と次の露光ラインの露光開始時刻とが等しい場合であり、７５０１ｂは前の露光ラインの露光終了より早く次の露光ラインの露光を開始する場合である。７５０１ｂのように、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成とすることにより、時間あたりに露光できるラインを増やすことが可能となる。これにより、より解像度が高くなり、多くの情報量が得られる。サンプル間隔（＝露光開始時刻の差）が密になることで、より正確に光源輝度の変化を推定することができ、エラー率が低減でき、更に、より短い時間における光源輝度の変化を認識することができる。露光時間に重なりを持たせることで、隣接する露光ラインの露光量の差を利用して、露光時間よりも短い光源の点滅を認識することができる。
　図３９、図４０で説明したように、隣接する露光ラインの露光時間が、部分的に時間的な重なりをもつように、各露光ラインを順次露光する構成において、露光時間を通常撮影モードよりも短く設定することにより発生する輝線パターンを信号伝送に用いることにより通信速度を飛躍的に向上させることが可能になる。ここで、可視光通信時における露光時間を１／４８０秒以下に設定することにより適切な輝線パターンを発生させることが可能となる。ここで、露光時間は、フレーム周波数＝ｆとすると、露光時間＜１／８×ｆと設定する必要がある。撮影の際に発生するブランキングは、最大で１フレームの半分の大きさになる。即ち、ブランキング時間は、撮影時間の半分以下であるため、実際の撮影時間は、最も短い時間で１／２ｆとなる。更に、１／２ｆの時間内において、４値の情報を受ける必要があるため、少なくとも露光時間は、１／（２ｆ×４）よりも短くする必要が生じる。通常フレームレートは、６０フレーム／秒以下であることから、１／４８０秒以下の露光時間に設定することにより、適切な輝線パターンを画像データに発生させ、高速の信号伝送を行うことが可能となる。
　図４１は、各露光ラインの露光時間が重なっていない場合、露光時間が短い場合の利点を示している。露光時間が長い場合は、光源は７５０２ａのように２値の輝度変化をしていたとしても、撮像画像では７５０２ｅのように中間色の部分ができ、光源の輝度変化を認識することが難しくなる傾向がある。しかし、７５０２ｄのように、一つの露光ラインの露光終了後、次の露光ラインの露光開始まで所定の露光しない空き時間（所定の待ち時間）ｔＤ２を設ける構成とすることにより、光源の輝度変化を認識しやすくすることが可能となる。即ち、７５０２ｆのような、より適切な輝線パターンを検出することが可能となる。７５０２ｄのように、所定の露光しない空き時間を設ける構成は、露光時間ｔＥを各露光ラインの露光開始時刻の時間差ｔＤよりも小さくすることにより実現することが可能となる。通常撮影モードが、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成である場合において、露光時間を通常撮影モード時よりも、所定の露光しない空き時間が生じるまで短く設定することにより、実現することができる。また、通常撮影モードが、前の露光ラインの露光終了時刻と次の露光ラインの露光開始時刻とが等しい場合であっても、所定の露光しない時間が生じるまで露光時間を短く設定することにより、実現することができる。また、７５０２ｇのように、各露光ラインの露光開始時刻の間隔ｔＤを大きくすることによっても、一つの露光ラインの露光終了後、次の露光ラインの露光開始まで所定の露光しない空き時間（所定の待ち時間）ｔＤ２を設ける構成をとることができる。この構成では、露光時間を長くすることができるため、明るい画像を撮像することができ、ノイズが少なくなることからエラー耐性が高い。一方で、この構成では、一定時間内に露光できる露光ラインが少なくなるため、７５０２ｈのように、サンプル数が少なくなるという欠点があるため、状況によって使い分けることが望ましい。例えば、撮像対象が明るい場合には前者の構成を用い、暗い場合には後者の構成を用いることで、光源輝度変化の推定誤差を低減することができる。
　なお、全ての露光ラインにおいて、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成となる必要はなく、一部の露光ラインについて部分的に時間的な重なりを持たない構成とすることも可能である。また、全ての露光ラインにおいて、一つの露光ラインの露光終了後、次の露光ラインの露光開始まで所定の露光しない空き時間（所定の待ち時間）を設ける構成となる必要はなく、一部の露光ラインについて部分的に時間的な重なりを持つ構成とすることも可能である。このような構成とすることにより、それぞれの構成における利点を生かすことが可能となる。また、通常のフレームレート（３０ｆｐｓ、６０ｆｐｓ）にて撮影を行う通常撮影モードと、可視光通信を行う１／４８０秒以下の露光時間にて撮影を行う可視光通信モードとにおいて、同一の読み出し方法または回路にて信号の読み出しを行ってもよい。同一の読み出し方法または回路にて信号を読み出すことにより、通常撮影モードと、可視光通信モードとに対して、それぞれ別の回路を用いる必要がなくなり、回路規模を小さくすることが可能となる。
　図４２は、光源輝度の最小変化時間ｔＳと、露光時間ｔＥと、各露光ラインの露光開始時刻の時間差ｔＤと、撮像画像との関係を示している。ｔＥ＋ｔＤ＜ｔＳとした場合は、必ず一つ以上の露光ラインが露光の開始から終了まで光源が変化しない状態で撮像するため、７５０３ｄのように輝度がはっきりとした画像が得られ、光源の輝度変化を認識しやすい。２ｔＥ＞ｔＳとした場合は、光源の輝度変化とは異なるパターンの輝線が得られる場合があり、撮像画像から光源の輝度変化を認識することが難しくなる。
　図４３は、光源輝度の遷移時間ｔＴと、各露光ラインの露光開始時刻の時間差ｔＤとの関係を示している。ｔＴに比べてｔＤが大きいほど、中間色になる露光ラインが少なくなり、光源輝度の推定が容易になる。ｔＤ＞ｔＴのとき中間色の露光ラインは連続で２ライン以下になり、望ましい。ｔＴは、光源がＬＥＤの場合は１マイクロ秒以下、光源が有機ＥＬの場合は５マイクロ秒程度となるため、ｔＤを５マイクロ秒以上とすることで、光源輝度の推定を容易にすることができる。
　図４４は、光源輝度の高周波ノイズｔＨＴと、露光時間ｔＥとの関係を示している。ｔＨＴに比べてｔＥが大きいほど、撮像画像は高周波ノイズの影響が少なくなり、光源輝度の推定が容易になる。ｔＥがｔＨＴの整数倍のときは高周波ノイズの影響がなくなり、光源輝度の推定が最も容易になる。光源輝度の推定には、ｔＥ＞ｔＨＴであることが望ましい。高周波ノイズの主な原因はスイッチング電源回路に由来し、多くの電灯用のスイッチング電源ではｔＨＴは２０マイクロ秒以下であるため、ｔＥを２０マイクロ秒以上とすることで、光源輝度の推定を容易に行うことができる。
　図４５は、ｔＨＴが２０マイクロ秒の場合の、露光時間ｔＥと高周波ノイズの大きさとの関係を表すグラフである。ｔＨＴは光源によってばらつきがあることを考慮すると、グラフより、ｔＥは、ノイズ量が極大をとるときの値と等しくなる値である、１５マイクロ秒以上、または、３５マイクロ秒以上、または、５４マイクロ秒以上、または、７４マイクロ秒以上として定めると効率が良いことが確認できる。高周波ノイズ低減の観点からはｔＥは大きいほうが望ましいが、前述のとおり、ｔＥが小さいほど中間色部分が発生しづらくなるという点で光源輝度の推定が容易になるという性質もある。そのため、光源輝度の変化の周期が１５～３５マイクロ秒のときはｔＥは１５マイクロ秒以上、光源輝度の変化の周期が３５～５４マイクロ秒のときはｔＥは３５マイクロ秒以上、光源輝度の変化の周期が５４～７４マイクロ秒のときはｔＥは５４マイクロ秒以上、光源輝度の変化の周期が７４マイクロ秒以上のときはｔＥは７４マイクロ秒以上として設定すると良い。
　図４６は、露光時間ｔＥと認識成功率との関係を示す。露光時間ｔＥは光源の輝度が一定である時間に対して相対的な意味を持つため、光源輝度が変化する周期ｔＳを露光時間ｔＥで割った値（相対露光時間）を横軸としている。グラフより、認識成功率をほぼ１００％としたい場合は、相対露光時間を１．２以下にすれば良いことがわかる。例えば、送信信号を１ｋＨｚとする場合は露光時間を約０．８３ミリ秒以下とすれば良い。同様に、認識成功率を９５％以上としたい場合は相対露光時間を１．２５以下に、認識成功率を８０％以上としたい場合は相対露光時間を１．４以下にすれば良いということがわかる。また、相対露光時間が１．５付近で認識成功率が急激に下がり、１．６でほぼ０％となるため、相対露光時間が１．５を超えないように設定すべきであることがわかる。また、認識率が７５０７ｃで０になった後、７５０７ｄや、７５０７ｅ、７５０７ｆで、再度上昇していることがわかる。そのため、露光時間を長くして明るい画像を撮像したい場合などは、相対露光時間が１．９から２．２、２．４から２．６、２．８から３．０となる露光時間を利用すれば良い。例えば、図４８の中間モードとして、これらの露光時間を使うと良い。
　図４７のように、撮像装置によっては、露光を行わない時間（ブランキング）が存在することがある。
　ブランキングが存在する場合には、その時間の発光部の輝度は観察できない。
　発光部が同じ信号を２回以上繰り返して送信する、または、誤り訂正符号を付加することで、ブランキングによる伝送損失を防ぐことができる。
　発光部は、同じ信号が常にブランキングの間に送信されることを防ぐために、画像を撮像する周期と互いに素となる周期、または、画像を撮像する周期より短い周期で信号を送信する。
　（実施の形態８）
　図４９は、既に説明した実施の形態に記載の受信方法を用いたサービス提供システムを示す図である。
　まず、サーバｅｘ８００２を管理する企業Ａ　ｅｘ８０００に対して、他の企業Ｂや個人ｅｘ８００１が、携帯端末への情報の配信を依頼する。例えば、サイネージと可視光通信した携帯端末に対して、詳細な広告情報や、クーポン情報、または、地図情報などの配信を依頼する。サーバを管理する企業Ａ　ｅｘ８０００は、任意のＩＤ情報に対応させて携帯端末へ配信する情報を管理する。携帯端末ｅｘ８００３は、可視光通信により被写体ｅｘ８００４からＩＤ情報を取得し、取得したＩＤ情報をサーバｅｘ８００２へ送信する。サーバｅｘ８００２は、ＩＤ情報に対応する情報を携帯端末へ送信するとともに、ＩＤ情報に対応する情報を送信した回数をカウントする。サーバを管理する企業Ａ　ｅｘ８０００は、カウントした回数に応じた料金を、依頼した企業Ｂや個人ｅｘ８００１に対して課金する。例えば、カウント数が大きい程、課金する額を大きくする。
　図５０は、サービス提供のフローを示すフローチャートである。
　Ｓｔｅｐ　ｅｘ８０００において、サーバを管理する企業Ａが、他企業Ｂより情報配信の依頼を受ける。次に、Ｓｔｅｐ　ｅｘ８００１において、企業Ａが管理するサーバにおいて、配信依頼を受けた情報を、特定のＩＤ情報と関連付ける。Ｓｔｅｐ　ｅｘ８００２では、携帯端末が、可視光通信により、被写体から特定のＩＤ情報を受信し、企業Ａが管理するサーバへ送信する。可視光通信方法の詳細については、他の実施の形態において既に説明しているため省略する。サーバは、携帯端末から送信された特定のＩＤ情報に対応する情報を携帯端末に対して送信する。Ｓｔｅｐ　ｅｘ８００３では、サーバにおいて、情報配信した回数をカウントする。最後に、Ｓｔｅｐ　ｅｘ８００４において、情報配信したカウント数に応じた料金を企業Ｂに対して課金する。このように、カウント数に応じて、課金を行うことにより、情報配信の宣伝効果に応じた適切な料金を企業Ｂに課金することが可能となる。
　図５１は、他の例におけるサービス提供を示すフローチャートである。図５０と重複するステップについては説明を省略する。
　Ｓｔｅｐ　ｅｘ８００８において、情報配信の開始から所定時間が経過したか否か判断する。所定時間内と判断されれば、Ｓｔｅｐ　ｅｘ８０１１において、企業Ｂに対しての課金は行わない。一方、所定期間が経過していると判断された場合には、Ｓｔｅｐ　ｅｘ８００９において、情報を配信した回数をカウントする。そして、Ｓｔｅｐ　ｅｘ８０１０において、情報配信したカウントに応じた料金を企業Ｂに対して課金する。このように、所定期間内は無料で情報配信を行うことから、企業Ｂは宣伝効果などを確認した上で、課金サービスを受けることができる。
　図５２は、他の例におけるサービス提供を示すフローチャートである。図５１と重複するステップについては説明を省略する。
　Ｓｔｅｐ　ｅｘ８０１４において、情報を配信した回数をカウントする。Ｓｔｅｐ　ｅｘ８０１５において、情報配信開始から所定期間が経過していないと判断された場合には、Ｓｔｅｐ　ｅｘ８０１６において課金は行わない。一方、所定期間が経過していると判断された場合には、Ｓｔｅｐ　ｅｘ８０１７において、情報を配信した回数が所定値以上か否か判断を行う。情報を配信した回数が所定値に満たない場合には、カウント数をリセットし、再度、情報を配信した回数をカウントする。この場合、情報を配信した回数が所定値未満だった、所定期間については企業Ｂに対して課金は行わない。Ｓｔｅｐ　ｅｘ８０１７において、カウント数が所定値以上であれば、Ｓｔｅｐ　ｅｘ８０１８においてカウント数を一度リセットし、再度カウントを再開する。Ｓｔｅｐ　ｅｘ８０１９において、カウント数に応じた料金を企業Ｂに対して課金する。このように、無料で配信を行った期間内におけるカウント数が少なかった場合に、再度、無料配信の期間を設けることで、企業Ｂは適切なタイミングで課金サービスを受けることができる。また、企業Ａもカウント数が少なかった場合に、情報内容を分析し、例えば、季節と対応しない情報になっているような場合に、情報内容を変更するように企業Ｂに対し提案することが可能となる。なお、再度、無料の情報配信期間を設ける場合には、初回の所定の期間よりも短い期間としてもよい。初回の所定の期間よりも短くすることにより、企業Ａに対する負担を小さくすることができる。また、一定期間を空けて、無料の配信期間を再度設ける構成としてもよい。例えば、季節の影響を受ける情報であれば、季節が変わるまで一定期間を空けて、再度、無料の配信期間を設けることができる。
　なお、情報の配信回数によらず、データ量に応じて、課金料金を変更するとしてもよい。一定のデータ量の配信は無料として、所定のデータ量以上は、課金する構成としてもよい。また、データ量が大きくなるにつれて、課金料金も大きくしてもよい。また、情報を特定のＩＤ情報に対応付けて管理する際に、管理料を課金してもよい。管理料として課金することにより、情報配信を依頼した時点で、料金を決定することが可能となる。
　本発明にかかる通信方法等は、画像以外の情報を安全にしかも能動的に取得できるため、家庭でのテレビ、ＰＣ、及びタブレットなどの機器は勿論のこと、外出先でのサイネージ、情報端末、及び情報表示機器においてもその能動性ゆえに安全に必要な情報を必要なだけ得られるという意味で、あらゆる場面での画像付帯情報の転送、及び情報発信などのさまざまな用途に適用可能である。
　Ａ１１０１、Ａ１９０４　シーリングライト
　Ａ１１０２、Ａ１８０１、Ａ１８０２　棚
　Ａ１１０３、Ａ１８０３、Ａ１８０４、Ａ１９０５　ベースライト
　Ａ１２０１、Ａ１１００１、Ａ１２９０１　携帯端末
　Ａ１２０２　インカメラ
　Ａ１２０３　アウトカメラ
　Ａ１２０４　タッチパネル部
　Ａ１３０１　領域
　Ａ１７０１、Ａ１７０２、Ａ１７０３　画像
　Ａ１９０１　腕時計型デバイス
　Ａ１９０２、Ａ１９０３　受光部
　Ａ１１００２、Ａ１１００３　照明機器
　Ａ１１００４、Ａ１１００８　ＩＤ格納部
　Ａ１１００５、Ａ１１００９　エンコード部
　Ａ１１００６、Ａ１１０１０　照度パターン格納部
　Ａ１１００７、Ａ１１０１１　発光部
　Ａ１１０１２、Ａ１３００２　受光制御部
　Ａ１１０１３　ＩＤ格納部
　Ａ１１０１４、Ａ１３００３　ＤＢ管理部
　Ａ１１０１５、Ａ１３００４　サーバ装置
　Ａ１１０１６　商品情報格納部
　Ａ１１０１７　地図情報格納部
　Ａ１１０１８　表示部
　Ａ１１０１９　状態管理部
　Ａ１１０２０　ＵＩ部
　Ａ１１１０１、Ａ１１３０１　有効フラグ
　Ａ１１１０２　棚外観
　Ａ１１１０３　棚内観
　Ａ１１１０４　商品種別情報
　Ａ１１１０５　商品在庫情報
　Ａ１１３０２　データ長
　Ａ１１３０３　地図画像
　Ａ１１６０１　異常フラグ
　Ａ１１６０２　前フレーム描画種別
　Ａ１２５０１、Ａ１２５０２、Ａ１２７０１、Ａ１２７０２　受光部
　Ａ１２５０３、Ａ１２７０３　セレクタ
　Ａ１２５０４　加速度検知部
　Ａ１２５０５、Ａ１２７０５　受光信号格納部
　Ａ１２５０６、Ａ１２７０６　デコード部
　Ａ１２５０７、Ａ１２７０７　閾値格納部
　Ａ１２７０４　タイマ制御部
　Ａ１３００１　視線情報格納部
　Ａ１３１０１、Ａ１３１０４　棚識別子
　Ａ１３１０５　棚情報
　Ａ１３３０１、Ａ１３４０２　視線検出部
　Ａ１３４０１　撮像部

Claims (13)

  1. 　第１撮像部であるインカメラと第２撮像部であるアウトカメラとを有する端末の通信方法であって、
    　前記インカメラと前記アウトカメラとを前記端末の向きに応じて切り替える切り替えステップと、
    　前記切り替えステップにおいて切り替えられた前記インカメラまたは前記アウトカメラを用いて、可視光通信を行う可視光通信ステップと、を含む
    　通信方法。
  2. 　第１撮像部であるインカメラと第２撮像部であるアウトカメラとを有する端末の通信方法であって、
    　前記インカメラと前記アウトカメラとを所定時間ごとに切り替える切り替えステップと、
    　前記切り替えステップにおいて切り替えられた前記インカメラまたは前記アウトカメラを用いて、可視光通信を行う可視光通信ステップと、を含む
    　通信方法。
  3. 　前記可視光通信ステップでは、前記端末の向きが地面に対して略垂直の場合、前記切り替えステップにおいて切り替えられた前記アウトカメラを用いて、使用者の前方に位置する第１機器であって可視光を発する第１機器と可視光通信を行うことにより、前記第１機器が設置されている商品棚の商品情報を取得し、取得した前記商品情報を前記端末の表示部に表示し、
    　前記可視光通信ステップでは、前記端末の向きが地面に対して略水平の場合、前記切り替えステップにおいて切り替えられた前記インカメラを用いて、前記使用者の上方に位置する第２機器であって可視光を発する第２機器と可視光通信を行うことにより、前記第２機器が設置されている位置情報を取得し、取得した前記位置情報を前記使用者の現在位置として前記使用者が存在するエリアの地図情報とともに前記端末の表示部に表示する
    　請求項１に記載の通信方法。
  4. 　前記端末は、腕時計に実装され、
    　前記インカメラは、前記腕時計の時間を表示する表示部を有する前記腕時計の前面に搭載され、前記アウトカメラは、前記腕時計の側面に搭載され、
    　前記可視光通信ステップでは、前記腕時計の前記表示部が地面に対して略水平の場合、前記インカメラを用いて、前記使用者の上方に位置する第２機器であって可視光を発する第２機器と可視光通信を行うことにより、前記第２機器が設置されている位置情報を取得し、かつ、前記アウトカメラを用いて、前記使用者の前方に位置する第１機器であって可視光を発する第１機器と可視光通信を行うことにより、前記第１機器が設置されている商品棚の商品情報を取得し、前記使用者の選択により、取得した前記位置情報を前記使用者の現在位置として前記使用者が存在するエリアの地図情報とともに前記端末の表示部に表示し、または、取得した前記商品情報を前記端末の表示部に表示する
    　請求項２に記載の通信方法。
  5. 　前記可視光通信ステップでは、可視光を発する機器と可視光通信を行うことにより取得した前記機器に一意に与えられた識別子を、サーバに問い合わせることで、前記識別子に対応付けられた前記機器に関する情報を取得し、
    　前記可視光通信ステップでは、さらに、前記サーバに問い合わせて前記識別子に対応付けられた情報がない場合には、前記機器に関する情報がない旨を示すエラー通知を、前記端末の表示部に表示する
    　請求項１～４のいずれか１項に記載の通信方法。
  6. 　さらに、前記端末の表示部に表示した前記商品情報を変更する変更ステップを含み、
    　前記変更ステップでは、前記使用者が前記表示部に対してフリック操作することにより、前記表示部に表示される商品情報が変更される
    　請求項３に記載の通信方法。
  7. 　さらに、前記端末の表示部に表示した前記地図情報を変更する変更ステップを含み、
    　前記変更ステップでは、前記使用者が前記表示部に対してフリック操作することにより、前記表示部に表示される地図情報が変更される
    　請求項３に記載の通信方法。
  8. 　前記可視光通信ステップでは、前記端末の表示部に前記地図情報が表示された後、前記切り替えステップにおいて切り替えられた前記アウトカメラを用いて、前記第１機器が設置されている商品棚の商品情報を取得する場合、前記地図情報に付与されたオフセットを初期化し、
    　前記可視光通信ステップでは、前記端末の表示部に前記商品情報が表示された後、前記切り替えステップにおいて切り替えられた前記インカメラを用いて、前記位置情報を前記使用者の現在位置として取得する場合、前記商品情報に付与されたオフセットを初期化する
    　請求項３に記載の通信方法。
  9. 　さらに、前記使用者の視線を検知する視線検知ステップを含み、
    　前記切り替えステップにおいて、前記端末の向きが地面に対して略垂直の場合、前記アウトカメラに切り替え、
    　前記視線検知ステップにおいて、前記インカメラを用いて前記使用者の視線を検知し、
    　前記可視光通信ステップでは、前記切り替えステップにおいて切り替えられた前記アウトカメラを用いて、前記使用者の前方に位置する第１機器であって可視光を発する第１機器と可視光通信を行うことにより、前記第１機器が設置されている第１商品棚の商品情報を取得し、前記検知ステップで検知された前記使用者の視線の先にある第２商品棚が前記第１商品棚と異なる場合には、前記第１商品棚の商品情報に代えて前記第２商品棚の商品情報を表示する
    　請求項３に記載の通信方法。
  10. 　前記端末は、複数の露光ラインを有するイメージセンサを備え、
    　前記通信方法は、さらに、
    　前記イメージセンサの各露光ラインの露光を順次異なる時刻で開始し、かつ、前記各露光ラインの露光時間が、隣接する露光ラインとの間で、部分的に時間的な重なりを持つように、１／４８０秒以下の露光時間で被写体の撮影を行うことにより画像データを取得する画像取得ステップと、
    　前記画像データに現れる、前記各露光ラインに対応する輝線パターンを復調することにより、前記被写体の識別情報を取得する可視光通信ステップと、
    　前記被写体の識別情報に関連付けられているサービス情報を前記端末の使用者に提示するサービス提示ステップと、を含む
    　請求項１～９のいずれか１項に記載の通信方法。
  11. 　前記通信方法は、さらに、
    　依頼者から情報の配信の依頼を受け付ける処理を行う依頼受け付けステップと、
    　前記可視光で得たデータに対応する情報として、前記依頼者より依頼された前記情報を配信する配信ステップと、
    　前記情報の配信に応じて、前記依頼者に課金するための情報処理を行う課金ステップと、を含む
    　請求項１～１０のいずれか１項に記載の通信方法。
  12. 　請求項１～１１のいずれか１項に記載の通信方法をコンピュータに実行させる
    　プログラム。
  13. 　第１撮像部であるインカメラと第２撮像部であるアウトカメラとを有する通信装置であって、
    　前記インカメラと前記アウトカメラとを前記端末の向きに応じて切り替える切り替え部と、
    　前記切り替え部において切り替えられた前記インカメラまたは前記アウトカメラを用いて、可視光通信を行う可視光通信部と、を備える
    　通信装置。
PCT/JP2014/002327 2013-12-27 2014-04-25 通信方法 WO2015097924A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015554491A JP6298831B2 (ja) 2013-12-27 2014-04-25 通信方法
CN201480070122.6A CN105850061B (zh) 2013-12-27 2014-04-25 通信方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361921132P 2013-12-27 2013-12-27
US61/921,132 2013-12-27

Publications (1)

Publication Number Publication Date
WO2015097924A1 true WO2015097924A1 (ja) 2015-07-02

Family

ID=53477849

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/002327 WO2015097924A1 (ja) 2013-12-27 2014-04-25 通信方法

Country Status (4)

Country Link
US (2) US9294666B2 (ja)
JP (2) JP6298831B2 (ja)
CN (1) CN105850061B (ja)
WO (1) WO2015097924A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105635591A (zh) * 2016-03-11 2016-06-01 深圳还是威健康科技有限公司 一种基于可穿戴设备的拍照控制方法及终端

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2957555C (en) 2014-08-12 2019-12-03 Abl Ip Holding Llc System and method for estimating the position and orientation of a mobile communications device in a beacon-based positioning system
JP6485767B2 (ja) * 2014-12-26 2019-03-20 パナソニックＩｐマネジメント株式会社 照明器具及び可視光通信システム
US10412173B2 (en) 2015-04-22 2019-09-10 Panasonic Avionics Corporation Passenger seat pairing system
WO2017026555A1 (ko) * 2015-08-12 2017-02-16 엘지전자 주식회사 이동 단말기
WO2017026554A1 (ko) * 2015-08-12 2017-02-16 엘지전자 주식회사 이동 단말기
KR102521805B1 (ko) 2015-11-10 2023-04-14 삼성전자주식회사 카메라 전환 방법 및 이를 지원하는 전자 장치
US10270528B1 (en) * 2016-06-30 2019-04-23 Google Llc Serial communication to device through lighting control
US11418956B2 (en) 2019-11-15 2022-08-16 Panasonic Avionics Corporation Passenger vehicle wireless access point security system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08242205A (ja) * 1995-03-06 1996-09-17 Nec Corp 赤外線通信機能付携帯型電子機器
JPH09305277A (ja) * 1996-05-14 1997-11-28 Toshiba Corp ポータブルコンピュータ
WO2005086375A1 (ja) * 2004-03-03 2005-09-15 Nec Corporation 測位システム、即位方法、及びそのプログラム
JP2011254317A (ja) * 2010-06-02 2011-12-15 Sony Corp 送信装置、送信方法、受信装置、受信方法、通信システムおよび通信方法
WO2013175804A1 (ja) * 2012-05-24 2013-11-28 パナソニック株式会社 情報通信方法
WO2013187494A1 (ja) * 2012-06-15 2013-12-19 シャープ株式会社 情報配信方法、コンピュータプログラム、情報配信装置及び携帯通信機

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002290335A (ja) 2001-03-28 2002-10-04 Sony Corp 光空間伝送装置
JP3979090B2 (ja) * 2001-12-28 2007-09-19 日本電気株式会社 カメラ付き携帯型電子機器
US7671916B2 (en) * 2004-06-04 2010-03-02 Electronic Arts Inc. Motion sensor using dual camera inputs
US7711200B2 (en) * 2005-09-29 2010-05-04 Apple Inc. Video acquisition with integrated GPU processing
KR20110088914A (ko) * 2010-01-29 2011-08-04 삼성전자주식회사 휴대용 단말기에서 카메라 기능을 제공하기 위한 장치 및 방법
US20120281129A1 (en) * 2011-05-06 2012-11-08 Nokia Corporation Camera control
FR2993997B1 (fr) * 2012-07-26 2014-08-22 Acep France Systeme d'eclairage photographique pour tablette tactile
US8988574B2 (en) 2012-12-27 2015-03-24 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using bright line image
WO2014103157A1 (ja) 2012-12-27 2014-07-03 パナソニック株式会社 映像表示方法
US8922666B2 (en) 2012-12-27 2014-12-30 Panasonic Intellectual Property Corporation Of America Information communication method
CN104885382B (zh) 2012-12-27 2017-08-22 松下电器（美国）知识产权公司 可视光通信信号显示方法以及显示装置
CN104871452B (zh) 2012-12-27 2018-04-27 松下电器（美国）知识产权公司 可视光通信方法及可视光通信装置
US9088360B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
CN103116846A (zh) * 2012-12-27 2013-05-22 重庆濯晖科技有限公司 基于可见光通信的移动支付
US9252878B2 (en) 2012-12-27 2016-02-02 Panasonic Intellectual Property Corporation Of America Information communication method
US9087349B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
SG10201609857SA (en) 2012-12-27 2017-01-27 Panasonic Ip Corp America Information communication method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08242205A (ja) * 1995-03-06 1996-09-17 Nec Corp 赤外線通信機能付携帯型電子機器
JPH09305277A (ja) * 1996-05-14 1997-11-28 Toshiba Corp ポータブルコンピュータ
WO2005086375A1 (ja) * 2004-03-03 2005-09-15 Nec Corporation 測位システム、即位方法、及びそのプログラム
JP2011254317A (ja) * 2010-06-02 2011-12-15 Sony Corp 送信装置、送信方法、受信装置、受信方法、通信システムおよび通信方法
WO2013175804A1 (ja) * 2012-05-24 2013-11-28 パナソニック株式会社 情報通信方法
WO2013187494A1 (ja) * 2012-06-15 2013-12-19 シャープ株式会社 情報配信方法、コンピュータプログラム、情報配信装置及び携帯通信機

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105635591A (zh) * 2016-03-11 2016-06-01 深圳还是威健康科技有限公司 一种基于可穿戴设备的拍照控制方法及终端

Also Published As

Publication number Publication date
CN105850061B (zh) 2019-02-19
JPWO2015097924A1 (ja) 2017-03-23
JP6622828B2 (ja) 2019-12-18
JP2018117368A (ja) 2018-07-26
US20160149641A1 (en) 2016-05-26
US9294666B2 (en) 2016-03-22
US9413460B2 (en) 2016-08-09
US20150189149A1 (en) 2015-07-02
CN105850061A (zh) 2016-08-10
JP6298831B2 (ja) 2018-03-20

Similar Documents

Publication Publication Date Title
JP6622828B2 (ja) 通信方法、通信装置およびプログラム
JP6483879B2 (ja) 情報通信方法、情報通信装置、およびプログラム
JP6345697B2 (ja) 情報処理プログラム、受信プログラムおよび情報処理装置
EP2748950B1 (en) Coded light detector
JP6429288B2 (ja) 送信機、送信方法およびプログラム
US9569892B2 (en) Image capture input and projection output
CN105830367B (zh) 可见光通信方法、识别信号及接收装置
US9438340B2 (en) Communication method
JP6434724B2 (ja) 情報通信方法
US20160371859A1 (en) Image display system and image display method
US10677448B2 (en) Lighting device
JP2018032885A (ja) 情報処理プログラム、受信プログラムおよび情報処理装置
CN101542550A (zh) 遥控指向技术
JP2018032884A (ja) 受信プログラムおよび受信装置
KR20140067484A (ko) 디지털 이미지 필터를 이용한 조명장치 및 그 조명 방법
CN107592987B (zh) 照明控制设备及其方法
US20100162145A1 (en) Object information providing apparatus, object awareness apparatus, and object awareness system
JP2015219547A (ja) 機器制御システム、機器制御プログラムおよび機器制御装置
KR20150089736A (ko) 동작인식 센서가 구비된 디아이디 장치
JP2015219546A (ja) 機器制御システム、機器制御プログラムおよび機器制御装置
JP2011237678A (ja) プロジェクターおよび投写方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14875477

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015554491

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14875477

Country of ref document: EP

Kind code of ref document: A1