WO2015075847A1 - 情報通信方法 - Google Patents

情報通信方法 Download PDF

Info

Publication number
WO2015075847A1
WO2015075847A1 PCT/JP2014/001542 JP2014001542W WO2015075847A1 WO 2015075847 A1 WO2015075847 A1 WO 2015075847A1 JP 2014001542 W JP2014001542 W JP 2014001542W WO 2015075847 A1 WO2015075847 A1 WO 2015075847A1
Authority
WO
WIPO (PCT)
Prior art keywords
program
receiving unit
light receiving
information
visible light
Prior art date
Application number
PCT/JP2014/001542
Other languages
English (en)
French (fr)
Inventor
大嶋 光昭
幸司 中西
秀紀 青山
吉田 力
恵大 飯田
伸輔 緒方
健吾 三好
Original Assignee
パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ filed Critical パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority to CN201480062146.7A priority Critical patent/CN105723632B/zh
Priority to JP2015548962A priority patent/JP6285954B2/ja
Publication of WO2015075847A1 publication Critical patent/WO2015075847A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114Indoor or close-range type systems
    • H04B10/116Visible light communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Definitions

  • the present invention relates to a communication method between a mobile terminal such as a smartphone, a tablet, and a mobile phone and home appliances such as an air conditioner, a lighting device, and a rice cooker.
  • Patent Literature 1 in an optical space transmission device that transmits information to free space using light, limited transmission is performed by performing communication using a plurality of monochromatic light sources of illumination light. A technology for efficiently realizing communication between devices is described in the apparatus.
  • the user interface is insufficient, and there is a problem that the user of the terminal that receives light causes an extra operation.
  • the present invention provides an information communication method capable of improving the user interface and reducing the burden on the user.
  • An information communication method is an information communication method for performing visible light communication, and includes a first program for performing visible light communication using a light receiving unit that detects light, and the light receiving unit.
  • a determination step for determining whether or not there is a conflict in use of the light receiving unit by using a second program for performing processing different from the visible light communication, and when it is determined that a conflict occurs,
  • a notifying step for notifying the user of the light receiving unit that a conflict occurs, and a conflict resolving step for allowing one of the first and second programs to use the light receiving unit in response to an operation by the user.
  • Visible light communication that causes the first program to execute visible light communication according to light detected by the light receiving unit when the first program permits use And a step.
  • an information communication method capable of improving the user interface and reducing the burden on the user can be realized.
  • FIG. 1 is a diagram illustrating a system configuration according to the first embodiment.
  • FIG. 2 is a flowchart showing the processing operation of the terminal that starts the program in the first embodiment.
  • FIG. 3 is a diagram illustrating an example of light receiving unit usage information in the first exemplary embodiment.
  • FIG. 4 is a diagram showing an example of a light receiving unit busy program list held in the light receiving unit busy program information holding unit in the first embodiment.
  • FIG. 5 is a diagram illustrating an example of the light-receiving-part competition information in the first embodiment.
  • FIG. 6 is a diagram illustrating an example of a notification image based on the light receiving unit competition information displayed on the display unit in the first embodiment.
  • FIG. 7 is a flowchart showing a detailed processing operation of step SC0112 of FIG.
  • FIG. 8 is a diagram illustrating an example of light receiving unit usage information of a program according to the first modification of the first embodiment.
  • FIG. 9 is a diagram showing an example of the light receiving unit in-use program list according to the first modification of the first embodiment.
  • FIG. 10 is a diagram illustrating an example of light-receiving-part competition information according to the first modification of the first embodiment.
  • FIG. 11 is a diagram illustrating an example of a notification image according to the first modification of the first embodiment.
  • FIG. 12 is a flowchart illustrating an example of a processing operation in which a terminal capable of simultaneously using a plurality of light receiving units activates a light receiving unit use program according to the second modification of the first embodiment.
  • FIG. 13 is a diagram illustrating an example of a light receiving unit list held by the light receiving control unit according to the second modification of the first embodiment.
  • FIG. 14 is a diagram illustrating an example of a notification image displayed in step SC0211 of FIG. 12 according to the second modification of the first embodiment.
  • FIG. 15 is a flowchart showing a detailed processing operation of step SC0213 of FIG. 12 according to the second modification of the first embodiment.
  • FIG. 16 is a flowchart showing a processing operation of the terminal according to the third modification of the first embodiment.
  • FIG. 17 is a diagram illustrating an example of a notification image displayed on the display unit according to the third modification of the first embodiment.
  • FIG. 18 is a diagram illustrating a usage example of the receiver in Embodiment 2.
  • FIG. 19 is a diagram illustrating a usage example of the receiver in Embodiment 2.
  • FIG. 20 is a diagram illustrating an example of an image obtained by imaging in the second embodiment.
  • FIG. 21 is a diagram illustrating a state when the mark enters the frame line in the second embodiment.
  • FIG. 22 is a diagram illustrating another example of use of the receiver in Embodiment 2.
  • FIG. 23 is a diagram illustrating another example of use of the receiver in Embodiment 2.
  • FIG. 24 is a diagram illustrating another example of an image obtained by imaging in the second embodiment.
  • FIG. 25 is a diagram showing a state when the mark enters the frame line in the second embodiment.
  • FIG. 26 is a flowchart showing processing operations of the terminal in the second embodiment.
  • FIG. 20 is a diagram illustrating an example of an image obtained by imaging in the second embodiment.
  • FIG. 21 is a diagram illustrating a state when the mark enters the frame line in the second embodiment.
  • FIG. 22 is a diagram
  • FIG. 27 is a diagram showing a system configuration in the third embodiment.
  • FIG. 28 is a flowchart illustrating a processing operation in which the terminal according to Embodiment 3 receives visible light of visible light communication and notifies a user of an available application.
  • FIG. 29 is a diagram illustrating a usage example in the third embodiment.
  • FIG. 30 is a diagram illustrating an example of the decoded data in the third embodiment.
  • FIG. 31 is a diagram illustrating an example of an available application list according to the third embodiment.
  • FIG. 32 is a diagram illustrating an example of information (installed application list) held by the installed application DB according to the third embodiment.
  • FIG. 33 is a diagram showing an example of a list of available applications displayed on the display unit in the third embodiment.
  • FIG. 34 is a flowchart showing a processing operation in which the server in the third embodiment searches for an application that can use the decoded data.
  • FIG. 35 is a diagram illustrating an example of information stored in the data / application correspondence DB according to the third embodiment.
  • FIG. 36 is a diagram showing a system configuration according to a modification of the third embodiment.
  • FIG. 37 is a flowchart illustrating a processing operation in which a terminal according to a modification of the third embodiment receives visible light of visible light communication and notifies a user of an available application.
  • FIG. 38 is a diagram showing an example of an available application list according to the modification of the third embodiment.
  • FIG. 39 is a diagram illustrating an example of information (installed application list) held by the installed application DB according to the modification of the third embodiment.
  • FIG. 40 is a diagram showing an example of a list of installable applications displayed on the display unit according to the modification of the third embodiment.
  • FIG. 41 is a diagram showing an example of information held in the data / application correspondence DB according to the modification of the third embodiment.
  • FIG. 42 is a diagram showing a system configuration in the fourth embodiment.
  • FIG. 43 is a flowchart showing processing operations of the mobile terminal in the fourth embodiment.
  • FIG. 44 is a flowchart showing a processing operation for performing display on the mobile terminal in the fourth embodiment.
  • FIG. 45 is a flowchart showing the processing operation of the ID corresponding information conversion server when an information acquisition request is received from the mobile terminal in the fourth embodiment.
  • FIG. 46 is a flowchart illustrating a processing operation in which the mobile terminal according to the fourth embodiment detects a user's gesture operation.
  • FIG. 47 is a diagram for explaining an operation in which the mobile terminal according to Embodiment 4 selects a visible light ID by a gesture operation.
  • FIG. 48 is a diagram illustrating an example of a processing operation for selecting detailed information displayed by a gesture operation in the fourth embodiment.
  • FIG. 49 is a diagram showing an example of a gesture / mode correspondence table held by the light reception ID selection unit according to the fourth embodiment.
  • FIG. 50 is a diagram illustrating an example of an ID handling table held by the received light ID selection unit according to the fourth embodiment.
  • FIG. 51 is a diagram illustrating an example of an ID / correspondence information table held by the ID correspondence information data holding unit according to the fourth embodiment.
  • FIG. 52 is a diagram for describing processing for determining the light reception mode according to the attitude of the mobile terminal in the fourth embodiment.
  • FIG. 53A is a flowchart of an information communication method according to an aspect of the present invention.
  • FIG. 53B is a block diagram of an information communication device according to one embodiment of the present invention.
  • FIG. 54 is a diagram illustrating an example of an observation method of luminance of a light emitting unit in Embodiment 5.
  • FIG. 55 is a diagram illustrating an example of an observation method of luminance of a light emitting unit in Embodiment 5.
  • FIG. 56 is a diagram illustrating an example of an observation method of luminance of a light emitting unit in Embodiment 5.
  • FIG. 57A is a diagram illustrating an example of a luminance observation method of a light emitting unit in Embodiment 5.
  • FIG. 57B is a diagram illustrating an example of an observation method of luminance of a light emitting unit in Embodiment 5.
  • FIG. 57C is a diagram illustrating an example of an observation method of luminance of a light emitting unit in Embodiment 5.
  • FIG. 57D is a diagram illustrating an example of an observation method of luminance of a light emitting unit in Embodiment 5.
  • FIG. 57A is a diagram illustrating an example of a luminance observation method of a light emitting unit in Embodiment 5.
  • FIG. 57B is a diagram illustrating an example of an observation method of luminance of a light emitting unit in Embodiment 5.
  • FIG. 57C is a diagram illustrating
  • FIG. 57E is a diagram illustrating an example of an observation method of luminance of a light emitting unit in Embodiment 5.
  • FIG. 57F is a diagram illustrating an example of an observation method of luminance of a light emitting unit in Embodiment 5.
  • FIG. 57G is a diagram illustrating an example of an observation method of luminance of a light emitting unit in Embodiment 5.
  • FIG. 57H is a diagram illustrating an example of an observation method of luminance of a light emitting unit in Embodiment 5.
  • FIG. 57I is a diagram illustrating an example of an observation method of luminance of a light emitting unit in Embodiment 5.
  • FIG. 57E is a diagram illustrating an example of an observation method of luminance of a light emitting unit in Embodiment 5.
  • FIG. 57F is a diagram illustrating an example of an observation method of luminance of a light emitting unit in Embodiment 5.
  • FIG. 57G is a diagram
  • FIG. 58 is a diagram illustrating an example of an observation method of luminance of a light emitting unit in Embodiment 5.
  • FIG. 59 is a diagram illustrating an example of each mode of a receiver in Embodiment 5.
  • FIG. 60 is a diagram showing a service providing system using the receiving method described in each embodiment.
  • FIG. 61 is a flowchart showing a service provision flow.
  • FIG. 62 is a flowchart showing service provision in another example.
  • FIG. 63 is a flowchart showing service provision in another example.
  • visible light communication using a terminal such as a smartphone
  • data is received using a light receiving unit such as a camera attached to the terminal.
  • a light receiving unit such as a camera attached to the terminal.
  • a program that performs processing using the light receiving unit is hereinafter referred to as a light receiving unit use program.
  • the visible light communication program is a kind of light receiving unit use program, and is a program for performing visible light communication using the light receiving unit.
  • the use of the light receiving unit is caused by these programs.
  • the light receiving unit use program started thereafter may not be able to secure the light receiving unit already secured by the visible light communication program and may be forcibly terminated. That is, if the user does not notice the visible light communication program running in the background and starts another light receiving unit usage program that he / she likes later, the other light receiving unit usage program is forcibly terminated, so the terminal I think that an unexplained problem has occurred in the terminal and perform various operations on the terminal.
  • the user interface is insufficient, and the user is caused to perform an extra operation.
  • an information communication method is an information communication method that performs visible light communication, and performs visible light communication using a light receiving unit that detects light.
  • the first program copies the visible light communication according to the light detected by the light receiving unit when the use is permitted by the first program. It is executed by a computer and a visible light communication step.
  • the first program is a visible light communication program
  • the second program is a light receiving unit use program.
  • a selection screen for selecting any one of the first and second programs using the light receiving unit is further displayed.
  • the user performs the selection by the user.
  • the selected program may be permitted to use the light receiving unit.
  • the user can select a program that is permitted to use the light receiving unit by his / her own operation, so the light receiving unit can be placed in a desired program regardless of the activation order of a plurality of programs using the light receiving unit. Can be used.
  • the user in order for the program activated later to use the light receiving unit, the user does not have to perform an operation for ending the program that was activated first and used the light receiving unit. Further reduction can be achieved.
  • the present invention may be the following information providing method.
  • this information providing method when a program that secures the light receiving unit is being executed and another program that uses the light receiving unit is activated, the user can select a program that permits the use of the light receiving unit.
  • the selection screen including information indicating whether each of the first and second programs operates in the background may be displayed.
  • another light receiving unit is assigned to one of the first and second programs according to an operation by the user, and in the visible light communication step, the first program is assigned to the first program.
  • the first program may cause the computer to execute visible light communication according to light detected by the other light receiving unit.
  • the visible light communication step data is acquired by executing the visible light communication, and the information communication method further includes any of a plurality of application programs that can use the acquired data.
  • An application display step for displaying an application selection screen for selecting the application program, and when any one of the application programs is selected in response to an operation on the application selection screen by the user, the selected application program is selected.
  • the program may include an application execution step that causes a computer to execute processing using the data.
  • the data acquired by visible light communication can be processed by an appropriate application program.
  • the information communication method further includes an imaging step of continuously imaging a subject to which a signal is transmitted by a luminance change by an image sensor that is the light receiving unit, a subject image and a frame line for identifying the subject.
  • a captured image display step for displaying a captured image including the image sensor while continuously updating a position of the subject image on the captured image in accordance with a positional relationship between the image sensor and the subject at the time of imaging;
  • a subject determination step for determining whether or not an image fits within the frame line.
  • the visible light communication step the image is transmitted from the subject when it is determined that the subject image fits within the frame line.
  • the first program may cause the computer to execute reception of a signal.
  • the information communication method further includes an imaging step of imaging a plurality of subjects transmitting signals by luminance change by an image sensor as the light receiving unit, and images of the plurality of subjects obtained by imaging.
  • the first program causes the computer to receive a signal to be generated, and the display step generates a signal according to a signal from any one of the signals transmitted and received from each of the plurality of subjects.
  • a content notification image which is an image showing content related to the subject
  • the image is generated in response to a signal from another subject in the shake direction.
  • Another content notification image which is an image showing the content related to the subject, may be superimposed on the captured image in a state of being associated with the image of the other subject.
  • the content notification image in which the content (detailed information) about the subject is described in the balloon is displayed in a state associated with the image of the subject. Can grasp. Further, by shaking the terminal device, it is possible to easily switch the subject on which the content notification image is displayed. Furthermore, since the object can be switched to a subject in the direction in which the terminal device is swung, the user can intuitively switch the object, and the user interface can be further improved.
  • the display step for each of the remaining subject images excluding the subject image associated with the content notification image or the other content notification image among the plurality of subject images. May superimpose a presentable notification image for notifying that it is possible to present content related to the remaining subject on the captured image.
  • the presentable notification image in the form of a small balloon with no detailed information is displayed on the image of the subject on which the content notification image (other content notification image) is not displayed.
  • the content notification image other content notification image
  • the information communication method may further start exposure of each exposure line of an image sensor having a plurality of exposure lines sequentially at different times, and the exposure time of each exposure line is between adjacent exposure lines.
  • each exposure line includes a normal photographing step of obtaining first image data by photographing at a first exposure time so as to partially overlap in time. The exposure is sequentially started at different times, and the exposure time of each exposure line is partially greater than the first exposure time so as to partially overlap with the adjacent exposure lines.
  • the second image data is obtained by photographing with a short second exposure time, and the information is obtained by demodulating the bright line pattern corresponding to each exposure line appearing in the second image data. Tokushi, the visible light communication step, the second exposure time, by setting to less than 1/480 seconds, the bright line pattern may be generated in the second image data.
  • the second exposure time is set to 1/480 seconds or less, thereby generating an appropriate bright line pattern in the image data and performing high-speed signal transmission. Is possible.
  • the information communication method further includes a request reception step for performing a process of receiving a request for information distribution from a requester, and correspondence information corresponding to a signal received by the visible light communication by the first program, A distribution step of distributing the requested information and a charging step of performing information processing for charging the requester according to the distribution of the information may be included.
  • Embodiment 6 As a result, as shown in Embodiment 6 described later, it is possible to perform an appropriate accounting process in providing information with visible light communication.
  • a visible light communication program which is a kind of a light receiving unit use program, is already started, and another light receiving unit use program is started, thereby competing for use of the light receiving unit.
  • This is a method for allowing the user to select a program that is permitted to use the light receiving unit when the error occurs.
  • FIG. 1 is a diagram showing a system configuration in the present embodiment.
  • Data transmission lighting C0100 transmits data using light. That is, the data transmission illumination is an illumination device that performs visible light communication, and transmits a signal according to a luminance change.
  • the terminal C0200 has a hardware part C0203, a platform part C0202, and an application part C0201.
  • the hardware unit C0203 receives (detects) the light emitted from the data transmission illumination C0100, and can change the shutter speed (exposure time) at the time of light reception, and a display for displaying information to the user Part C0203b and an input part C0203c for receiving input from the user.
  • a plurality of light receiving units C0203a may be provided in the terminal C0200.
  • the platform unit C0202 includes a light receiving control unit C0202a having a function of controlling the start and end of light reception of the light receiving unit C0203a and the shutter speed of the light receiving unit C0203a, a display control unit C0202b that controls the display unit C0203b, and an input unit C0203c. It includes an input control unit C0202c for controlling, a program control unit C0202d for controlling a program of the application unit C0201, and a light receiving unit in-use program information holding unit C0202e for holding information on a program using the light receiving unit C0203a.
  • the application unit C0201 has a visible light communication program C0201a and a light receiving unit use program C0201b different from the visible light communication program C0201a.
  • the visible light communication program C0201a has a function of changing the shutter speed of the light receiving unit C0203a using the light receiving control unit C0202a. Further, the visible light communication program C0201a has a function of acquiring data corresponding to light emitted from the data transmission illumination C0100 from the light receiving unit C0203a via the light reception control unit C0202a.
  • the visible light communication program C0201a may have a function of making an inquiry to the Web server based on the data acquired from the data transmission illumination C0100 and acquiring additional information from the Web server. Further, a plurality of visible light communication programs C0201a and light receiving unit use programs C0201b may be provided in the terminal C0200, respectively.
  • FIG. 2 is a flowchart showing the processing operation of the terminal C0200 that starts the program.
  • the input unit C0203c of the terminal C0200 receives an instruction (start instruction or program start instruction) for starting the visible light communication program C0201a or the light receiver use program C0201b (step SC0102).
  • the program control unit C0202d receives a user activation instruction via the input control unit C0202c, and activates the program instructed to activate (step SC0103).
  • the program control unit C0202d determines whether the activated program uses the light receiving unit C0203a based on information indicating whether or not the light receiving unit is used, which is included in the light receiving unit use information of the program ( Step SC0104).
  • FIG. 3 is a diagram showing an example of light receiving unit usage information.
  • the program light receiving unit usage information includes a program ID_ID 0501, a program name C0502 which is the name of the program identified by the program ID_ID 0501, and whether or not the program uses the light receiving unit. Includes information C0503 indicating whether or not the light receiving unit is used and a light receiving unit ID_C 0504 for identifying the light receiving unit used by the program.
  • the light receiving unit usage information of another program includes a program ID_ID0505, a program name C0506 that is the name of the program identified by the program ID_ID0505, and the program identifies the light receiving unit. It includes information C0507 indicating whether or not it is used (whether or not the light receiving unit is used) and a light receiving unit ID_C0508 for identifying the light receiving unit used by the program.
  • program IDs (C0501, C0505) shown in FIG. 3 are not only combinations of characters and numbers, but also numbers only, characters only, symbols only, numbers and symbols, characters and symbols, or numbers and characters. It may be expressed by a combination of symbols.
  • program names (C0502 and C0506) shown in FIG. 3 include characters only, combinations of characters and numbers, numbers only, symbols only, combinations of numbers and symbols, combinations of characters and symbols, or numbers, characters and symbols. It may be expressed in combination.
  • the light receiving unit IDs (C0504, C0508) shown in FIG. 3 are not only numbers but only letters, symbols only, combinations of letters and numbers, combinations of numbers and symbols, combinations of letters and symbols, or numbers, letters and symbols May be expressed in combination.
  • step SC0104 When it is determined in step SC0104 shown in FIG. 2 that the activated program uses the light receiving unit C0203a, that is, when the light receiving unit use information of the activated program clearly indicates that the light receiving unit is used (
  • the program control unit C0202d determines whether there is a program that currently uses the light receiving unit C0203a. In other words, the program control unit C0202d determines whether or not there is a competition for use of the light receiving unit C0203a.
  • the light receiving unit in-use program list held by the light receiving unit in-use program information holding unit C0202e is checked (step SC0105).
  • the program control unit C0202d performs a different process from the visible light communication using the visible light communication program C0201a for performing visible light communication using the light receiving unit C0203a for detecting light and the light receiving unit C0203a. It is determined whether or not there is a competition for use of the light receiving unit C0203a based on the light receiving unit use program C0201b for execution (step SC0106). Here, when it is determined that no competition occurs, that is, when it is determined that there is no program using the light receiving unit C0203a (YES in step SC0106), the program control unit C0202d passes through the light receiving control unit C0202a. Thus, the light receiving unit C0203a is secured (step SC0107). Thereafter, the program control unit C0202d registers the information of the activated program in the light receiving unit busy program list held by the light receiving unit busy program information holding unit C0202e.
  • FIG. 4 is a diagram showing an example of a light receiving unit busy program list held in the light receiving unit busy program information holding unit C0202e.
  • the light receiving unit in-use program list includes a program ID_C 1701 for identifying a program using the light receiving unit C0203a, a program name C1702 which is the name of the program, and a light receiving unit used. Used light receiving part ID_C1703 for identifying C0203a.
  • the program ID_C 1701 shown in FIG. 4 is expressed not only by a combination of numbers and characters, but only by numbers, only characters, only symbols, a combination of numbers and symbols, a combination of characters and symbols, or a combination of numbers, characters, and symbols. May be.
  • step SC0106 If it is determined in step SC0106 shown in FIG. 2 that a conflict occurs, that is, if a program using the light receiving unit C0203a is registered in the light receiving unit in-use program list (NO in step SC0106), program control The unit C0202d creates light receiving unit competition information using the light receiving unit in-use program list (step SC0109). Further, the program control unit C0202d causes the display unit C0203b to display a notification image based on the light receiving unit competition information via the display control unit C0202b (step SC0110).
  • FIG. 5 is a diagram illustrating an example of the light receiving unit competition information.
  • the light receiving unit competition information includes, for each program that uses the light receiving unit C0203a, the program ID_C0301 of the program, the program name C0302 of the program, and the usage status of the light receiving unit C0203a by the program.
  • the program ID_C0301 shown in FIG. 5 is expressed not only by the combination of numbers and characters but also by numbers only, characters only, symbols only, numbers and symbols, characters and symbols, or numbers, characters and symbols. May be.
  • the information C0303 indicating the usage status of the light receiving unit shown in FIG. 5 includes, in addition to characters, only numbers, only symbols, combinations of numbers and characters, combinations of numbers and symbols, combinations of characters and symbols, or numbers and characters. It may be expressed by a combination of symbols.
  • the light receiving unit IDC0304 shown in FIG. 5 is not only numbers but also only letters, symbols only, combinations of numbers and characters, combinations of numbers and symbols, combinations of characters and symbols, or combinations of numbers, characters and symbols. It may be expressed.
  • FIG. 6 is a diagram illustrating an example of a notification image based on the light receiving unit competition information displayed on the display unit C0203b.
  • the display unit C0203b displays, as a notification image, an image C0401 for allowing the user to select a program that uses the light receiving unit because a plurality of programs (application programs) use the light receiving unit (for example, a camera).
  • a notification image By displaying such a notification image, the user of the terminal C0200 provided with the light receiving unit C0203a is notified that a competition occurs.
  • This notification image is a selection screen for selecting one of the visible light communication program C0201a and the light receiving unit use program C0201b that use the light receiving unit C0203a.
  • step SC0110 when the selection result of the program to be used is input from the user to the input unit C0203c (YES in step SC0111), the program control unit C0202d receives the user control via the input control unit C0202c. The selection result is received, the program that was not selected is terminated, and the light receiving unit is secured in the selected program (step SC01112).
  • FIG. 7 is a flowchart showing the detailed processing operation of step SC0112 shown in FIG.
  • the program control unit C0202d first determines whether or not a program activated later is selected by the user (step SC0112b). If the program control unit C0202d determines that the previously activated program is selected (NO in step SC0112b), the program activated later is terminated (step SC0112h). On the other hand, if it is determined that the program activated later is selected (YES in step SC0112b), the program control unit C0202d releases the light receiving unit C0203a secured by the previously activated program (step SC0112c). The light receiving unit in-use program list of the unit in-use program information holding unit C0202e is cleared (step SC0112d). Then, the program control unit C0202d ends the program that has not been selected (step SC0112e).
  • the program control unit C0202d secures the light receiving unit C0203a through the light receiving control unit C0202a (step SC0112f). Finally, the program control unit C0202d registers the program selected by the user in the light receiving unit in-use program list of the light receiving unit in-use program information holding unit C0202e (step SC0112g).
  • the program control unit C0202d permits the visible light communication program C0201a to use the light receiving unit C0203a in step SC0112.
  • the visible light communication program C0201a permitted to use the light receiving unit C0203a causes the computer of the terminal C0200 to execute visible light communication corresponding to the light detected by the light receiving unit C0203a secured by itself.
  • the user of the light receiving unit C0203a when there is a competition for use of the light receiving unit C0203a, the user of the light receiving unit C0203a is notified of the occurrence of the competition, and any program receives the light by the user's operation. Since use of the unit C0203a is permitted, the user can easily grasp the situation occurring in the terminal C0200 including the light receiving unit C0203a. Furthermore, since the user can operate the terminal C0200 after grasping the situation, the use conflict of the light receiving unit C0203a can be easily solved without extra operation. As a result, the user interface can be improved and the burden on the user can be reduced.
  • Modification 1 The information communication method according to this modification uses information indicating whether the light receiving unit use program operates in the background or the foreground when the use of the light receiving unit conflicts. This is a method for allowing a user to select an allowed program. In addition, in the figure already demonstrated in Embodiment 1, it does not demonstrate redundantly.
  • FIG. 8 is a diagram showing an example of light receiving unit usage information of a program according to the present modification. This light receiving unit usage information is used to determine whether or not to use the light receiving unit C0203a in step SC0104 of the flowchart shown in FIG. 2 in the same manner as the light receiving unit usage information shown in FIG.
  • the light receiving unit usage information according to the present modification includes information (C0605, C0610) indicating the operation format, as shown in FIGS. 8A and 8B, unlike the light receiving unit usage information shown in FIG.
  • the information indicating the operation format is that the target light receiving unit use program operates in the foreground in which the screen corresponding to the program is always displayed on the display unit C0203b, or the screen is displayed on the display unit C0203b. This is information indicating whether to operate in the background that is not performed (the screen cannot be seen from the user of the terminal C0200).
  • the program IDs (C0601, C0606) shown in FIG. 8 are not only combinations of letters and numbers, but only numbers, letters only, symbols only, numbers and symbols, letters and symbols, or numbers and letters. It may be expressed by a combination of symbols.
  • the program names (C0602 and C0607) shown in FIG. 8 include only characters, combinations of characters and numbers, only numbers, only symbols, combinations of numbers and symbols, combinations of characters and symbols, or numbers, characters and symbols. It may be expressed in combination.
  • the light receiving unit IDs (C0604, C0609) shown in FIG. 8 are not only numbers but only letters, symbols only, combinations of letters and numbers, combinations of numbers and symbols, combinations of letters and symbols, or numbers, letters and symbols May be expressed in combination.
  • the information (C0605, C0610) indicating the operation format shown in FIG. 8 includes, in addition to characters, numbers, symbols, combinations of numbers and characters, combinations of numbers and symbols, combinations of characters and symbols, or numbers and characters, It may be expressed by a combination of symbols.
  • FIG. 9 is a diagram showing an example of a program list in use of the light receiving unit according to the present modification.
  • the program control unit C0202d uses the light receiving unit usage information in the format shown in FIG. 8, and in step SC0108 of the flowchart shown in FIG. 2, the light receiving unit in-use program information holding unit C0202e has the configuration shown in FIG. Register the program list in use of the receiver.
  • the light receiving unit in-use program list includes information C0704 indicating the operation format.
  • the information C0704 indicating the operation format indicates that the light receiving unit use program that secures the light receiving unit C0203a operates in the foreground in which a screen corresponding to the program is always displayed on the display unit C0203b, or the screen is displayed on the display unit. This is information indicating whether to operate in the background, which is not displayed on C0203b (the screen cannot be seen from the user of terminal C0200).
  • the program ID_C0701 shown in FIG. 9 is expressed not only by a combination of letters and numbers but also by numbers only, letters only, symbols only, numbers and symbols, letters and symbols, or numbers, letters and symbols. May be.
  • the program name C0702 shown in FIG. 9 includes only letters or a combination of letters and numbers, only numbers, only symbols, combinations of numbers and symbols, combinations of letters and symbols, or numbers, letters, and symbols. It may be expressed in combination.
  • the light receiving unit ID_C0703 shown in FIG. 9 is expressed not only by numbers but also by characters only, symbols only, combinations of characters and numbers, combinations of numbers and symbols, combinations of characters and symbols, or combinations of numbers, characters and symbols. May be.
  • the information C0704 indicating the operation format shown in FIG. 9 includes, in addition to characters, numbers, symbols, combinations of numbers and characters, combinations of numbers and symbols, combinations of characters and symbols, or combinations of numbers, characters, and symbols. It may be expressed.
  • FIG. 10 is a diagram showing an example of light-receiving-part competition information according to this modification.
  • the program control unit C0202d uses the light receiving unit in-use program list of the format shown in FIG. 9, and creates light receiving unit competition information shown in FIG. 10 in step SC0109 of the flowchart shown in FIG.
  • the light-receiving-part conflict information includes information C0805 indicating the operation format.
  • the information C0805 indicating the operation format is information indicating whether a program that competes in using the light receiving unit C0203a operates in the foreground or the background.
  • the program ID_C0801 shown in FIG. 10 is expressed not only by a combination of numbers and characters but also by numbers only, characters only, symbols only, numbers and symbols, characters and symbols, or numbers, characters and symbols. May be.
  • the information C0803 indicating the usage status of the light receiving unit shown in FIG. 10 includes, in addition to characters, only numbers, only symbols, combinations of numbers and characters, combinations of numbers and symbols, combinations of characters and symbols, or numbers and characters. It may be expressed by a combination of symbols.
  • the light receiving unit ID_C0804 shown in FIG. 10 is not only numbers but also letters only, symbols only, numbers and characters, numbers and symbols, letters and symbols, or numbers, characters and symbols. It may be expressed.
  • the information C0805 indicating the operation format shown in FIG. 10 includes, in addition to characters, numbers, symbols, combinations of numbers and characters, combinations of numbers and symbols, combinations of characters and symbols, or combinations of numbers, characters, and symbols. It may be expressed.
  • FIG. 11 is a diagram illustrating an example of a notification image according to this modification.
  • the display unit C0203b displays the notification image C0901 shown in FIG.
  • the word “operating in the background” is specified for the light receiving unit use program that operates in the background. Since the wording is specified for the light receiving unit use program operating in the background, the user determines which light receiving unit use program can be executed simultaneously with the program not using the light receiving unit C0203a. The user can select which light receiving unit usage program to use.
  • the notification image C0901 shown in FIG. 11 is an example displayed using the light receiving unit competition information shown in FIG.
  • the notification image C0901 may indicate that it operates in the foreground with respect to the light receiving unit use program operating in the foreground, not the light receiving unit use program operating in the background. Further, the notification image C0901 may indicate that the light receiving unit use program operating in the foreground cannot be executed simultaneously with other programs that do not use the light receiving unit C0203a.
  • the text color of the program name In order to tell the user whether the program can be executed simultaneously with other programs that do not use the light receiving unit C0203a, the text color of the program name, the background color of the location describing the program name, Alternatively, it may be possible to use a mark attached to a place where a program name is described.
  • Modification 2 In the information communication method according to this modified example, when there is a competition for the use of the light receiving unit in a terminal that can use the plurality of light receiving units simultaneously by one or a plurality of programs, which program uses which light receiving unit. This is a method for allowing the user to select whether to permit or not. Note that, in the drawings already described in the first embodiment and the modification example 1, the description is not repeated.
  • the terminal C0200 according to this modification includes, for example, two light receiving units C0203a, one light receiving unit C0203a is disposed on the front surface of the terminal C0200, and the other light receiving unit C0203a is disposed on the back surface of the terminal C0200. Yes.
  • FIG. 12 is a flowchart showing an example of a processing operation in which a terminal C0200 that can use a plurality of light receiving units simultaneously activates a light receiving unit use program.
  • the processing operation of the terminal C0200 according to this modification is different from the processing operation shown in FIG. 2 in the following points.
  • the differences are described in the point that the light receiving unit to be used is specified from the light receiving unit usage information of the activated program (step SC0205) and the light receiving unit in-use program list held by the light receiving unit in-use program information holding unit C0202e.
  • step SC0207 In order to confirm whether the light receiving unit in use matches the light receiving unit listed in the light receiving unit usage information of the program started later (step SC0207),
  • the light receiving unit in-use program list there are two types: a point using the light receiving unit list (step SC0210), the type of input from the user, selection of the light receiving unit assigned to each program, and an instruction to end the program. It is a certain point (steps SC0212, SC0213, SC0214).
  • step SC0207 in FIG. 12 the program control unit C0202d is activated later with the light receiving unit in use (used light receiving unit ID) described in the light receiving unit in-use program list of the light receiving unit in-use program information holding unit C0202e. It is determined whether or not the light receiving part (use light receiving part ID) listed in the light receiving part use information of the program does not match. That is, the program control unit C0202d determines whether or not a competition for use of the light receiving unit occurs. Here, when it is determined that they do not match (YES in step SC0207), that is, when it is determined that no conflict occurs, the program started later is indicated by the used light receiving unit ID described in the light receiving unit usage information. Can be used.
  • the program control unit C0202d secures the light receiving unit indicated by the used light receiving unit ID described in the light receiving unit usage information (step SC0208), and the information of the activated program is stored in the light receiving unit in-use program information holding unit. Register in C0202e (step SC0209).
  • the program control unit C0202d uses the light receiving unit list held by the light receiving control unit C0202a and the light receiving unit busy program list registered in the light receiving unit busy program information holding unit C0202e to create light receiving unit competition information. (Step SC0210). Further, the program control unit C0202d causes the display unit C0203b to display a notification image based on the light receiving unit competition information via the display control unit C0202b (step SC0211).
  • FIG. 13 is a diagram illustrating an example of a light receiving unit list held by the light receiving control unit C0202a.
  • the light receiving unit list includes, for each light receiving unit provided in the terminal C0200, a light receiving unit ID_C1001 for identifying the light receiving unit, information C1002 indicating the surface of the terminal C0200 with the light receiving unit, and the current light reception.
  • Information C1003 indicating the usage status of the part.
  • the light receiving unit ID_C1001 shown in FIG. 13 is expressed by not only numbers but also only characters, symbols only, combinations of characters and numbers, combinations of numbers and symbols, combinations of characters and symbols, or combinations of numbers, characters and symbols. May be.
  • 13 includes only characters representing the surface of the terminal, only symbols representing the surface of the terminal, characters and numbers representing the surface of the terminal. It may be expressed by a combination, a combination of numbers and symbols representing the surface of the terminal, a combination of characters and symbols representing the surface of the terminal, or a combination of numbers, characters and symbols representing the surface of the terminal. Further, the information C1003 indicating the usage status of the light receiving unit shown in FIG.
  • 13 includes, in addition to characters, only numbers indicating the usage status of the light receiving unit, only symbols indicating the usage status of the light receiving unit, Expressed as a combination of numbers, a combination of numbers and symbols indicating the usage status of the light receiver, a combination of characters and symbols indicating the usage status of the light receiver, or a combination of numbers, characters and symbols indicating the usage status of the light receiver Also good.
  • FIG. 14 is a diagram showing an example of a notification image displayed in step SC0211 shown in FIG.
  • This notification image C1101 notifies the user that there are a plurality of programs that intend to use the light receiving unit C0203a, and selects the light receiving unit C0203a (front or back) to be used for the target program, or the program ( The user is prompted to end the application program.
  • step SC0211 of FIG. 12 When notification image C1101 is displayed in step SC0211 of FIG. 12, the user of terminal C0200 contends which light receiving unit C0203a is assigned to a program competing for use of light receiving unit C0203a or uses of light receiving unit C0203a. Select whether to end the current program. Thereby, the selection result is input to the input unit C0203c.
  • the program control unit C0202d determines whether a user selection result has been input via the input control unit C0202c (step SC0212).
  • the program control unit C0202d receives the selection result, and selects the light receiving unit to be used in accordance with the selection result (step SC0213).
  • FIG. 15 is a flowchart showing the detailed processing operation of step SC0213 shown in FIG.
  • the program control unit C0202d first determines what has been selected by the user for the target program (step SC0213b). Here, when it is determined that the light receiving unit used in another program is selected for the target program, the program control unit C0202d releases the light receiving unit C0203a in which another program has been secured. (Step SC0213c), the information of other programs registered in the light receiving unit in-use program information holding unit C0202e is cleared from the light receiving unit in-use program list (step SC0213d). Then, the program control unit C0202d adds information on the program (other program) in which the secured light receiving unit is released to the light receiving unit competition information (step SC0213e).
  • the program control unit C0202d secures a light receiving unit for the target program via the light receiving control unit C0202a (step SC0213f). Finally, the program control unit C0202d registers the target program information in the light receiving unit busy program list of the light receiving unit busy program information holding unit C0202e (step SC0213g).
  • step SC0213b when it is determined in step SC0213b that the end of the program has been selected by the user, the program control unit C0202d ends the target program (step SC0213h). If it is determined in step SC0213b that the user has selected the light receiving unit for which the target program has been secured, the program control unit C0202d does nothing and exits the process.
  • the program control unit C0202d deletes from the light receiving unit competition information the information on the program that selected the light receiving unit C0203a or the terminated program (step SC0213i).
  • step SC0214 shown in FIG. 12 the program control unit C0202d determines whether all information included in the light receiving unit conflict information has been deleted (step SC0214).
  • the program control unit C0202d executes the processing from step SC0211 shown in FIG. 12 for the remaining information. . That is, the program control unit C0202d changes the target program and executes the processing from step SC0211.
  • the program control unit C0202d ends the process.
  • the visible light communication program C0201a for example, either the visible light communication program C0201a or the light receiving unit usage program C0201b competing for the use of the light receiving unit C0203a on the front surface of the terminal C0200, By assigning the light receiving unit C0203a on the back of the terminal C0200, the conflict is resolved.
  • the visible light communication program C0201a causes the computer to execute visible light communication according to the light detected by the rear light receiving unit C0203a.
  • the visible light communication program C0201a and the light receiving unit usage program C0201b are permitted to use the rear light receiving unit C0203a or the front light receiving unit C0203a, respectively. It can be activated. Therefore, visible light communication and processing different from visible light communication can be executed in parallel, and the processing time can be shortened.
  • Modification 3 In the information communication method according to this modification, in the event of a conflict in use of the light receiving unit, the user is notified that the conflict has occurred, and after receiving the user's confirmation, the light reception activated later. This is a method of ending the part use program. In the drawings already described in the first embodiment and the modifications 1 and 2, the description will not be repeated.
  • FIG. 16 is a flowchart showing the processing operation of the terminal C0200 in this modification.
  • the processing operation of the terminal C0200 according to the present modified example is whether or not the light receiving unit competition information is confirmed as an input from the user to the notification image displayed on the display unit C0203b, not which program is permitted to use the light receiving unit. 2 is different from the processing operation shown in FIG. 2 in that such information is received (step SC0311).
  • step SC0306 shown in FIG. 16 when the competition of the light receiving unit C0203a is confirmed, the program control unit C0202d creates light receiving unit competition information based on the light receiving unit in-use program list (step SC0309). Further, the program control unit C0202d causes the display unit C0203b to display a notification image corresponding to the light receiving unit competition information via the display control unit C0202b.
  • FIG. 17 is a diagram illustrating an example of a notification image displayed on the display unit C0203b according to the present modification.
  • This notification image C1201 notifies the user that there are a plurality of programs that are going to use the light receiving unit C0203a, and prompts the user to confirm the end of the program started later. By displaying such a notification image, the user of the terminal C0200 provided with the light receiving unit C0203a is notified that a competition occurs.
  • the program control unit C0202d receives an input indicating user confirmation via the input unit C0203c and the input control unit C0202c, and then ends the program started in step SC0303 (the program started later) (step SC0312).
  • the user of the light receiving unit C0203a when competition for use of the light receiving unit C0203a occurs, the user of the light receiving unit C0203a is notified that the competition occurs, Since the use of the light receiving unit is permitted for the previously activated program, the user can easily grasp the situation occurring in the terminal C0200 provided with the light receiving unit C0203a. Furthermore, since the user can operate the terminal C0200 after grasping the situation, the use conflict of the light receiving unit C0203a can be easily solved without extra operation. As a result, the user interface can be improved and the burden on the user can be reduced.
  • a receiver configured as a smartphone (multi-function mobile phone) captures information indicated by luminance change based on an image obtained by imaging a subject whose luminance changes. How to get.
  • the receiver acquires information indicated by the luminance change of the subject.
  • FIG. 18 and FIG. 19 are diagrams illustrating examples of using the receiver in this embodiment.
  • the user of receiver C1300 configured as a smartphone finds signboard C1320 that he is interested in.
  • the sign C1320 is an example of the data transmission illumination C0100, and transmits a signal by a change in luminance.
  • the user points the camera (light receiving unit) of the receiver C1300 toward the sign C1320 and images the sign C1320 as a subject.
  • the receiver C1300 in the present embodiment has the same configuration as that of the terminal C0200 in Embodiment 1, and may perform visible light communication using the visible light communication program C0201a.
  • FIG. 20 is a diagram illustrating an example of an image obtained by imaging.
  • the receiver C1300 displays the frame line C1302 and the mark C1301 indicating the position of the signboard C1320 on the display of the receiver C1300 by imaging the signboard C1320. That is, a captured image including the mark C1301 and the frame line C1302 is displayed on the display of the receiver C1300.
  • a mark C1301 is a subject image for identifying the signboard C1320 that is a subject, and a frame line C1302 is displayed at a predetermined position on the display.
  • imaging is repeatedly performed continuously at a predetermined cycle. Therefore, when the user moves the receiver C1300, the position of the frame line C1302 on the display does not change, but the mark C1301 moves.
  • the receiver C1300 displays a captured image including a mark C1301 for identifying the signboard C1320 and a frame line C1302 according to the positional relationship between the image sensor of the camera and the signboard C1320 at the time of imaging.
  • the display is performed while continuously updating the position of C1301.
  • the receiver C1300 in the present embodiment receives and demodulates a signal transmitted by the luminance change from the signboard C1320, so that the signboard C1320 Get information.
  • FIG. 21 is a diagram illustrating a state when the mark C1301 enters the frame line C1302.
  • the receiver C1300 determines that the mark C1301 has entered the frame line C1302, the receiver C1300 changes the color of the frame line C1302 or displays the frame line C1302 so that the frame line C1302 is emphasized, for example. Then, the receiver C1300 obtains information from the sign C1320 by receiving and demodulating a signal transmitted by the luminance change from the sign C1320 corresponding to the mark C1301 entering the frame C1302.
  • 22 and 23 are diagrams showing another example of use of the receiver in this embodiment.
  • the user of receiver C1300 configured as a smartphone finds signboard C1320 that he is interested in.
  • the sign C1320 transmits a signal due to a change in luminance.
  • the user points the camera (light receiving unit) of the receiver C1300 toward the sign C1320 and images the sign C1320 as a subject.
  • the signboard C1321 is also an example of the data transmission illumination C0100 like the signboard C1320, and transmits a signal by a change in luminance. Therefore, the sign C1321 may be included in the imaging range of the camera of the receiver C1300 directed to the sign C1320.
  • FIG. 24 is a diagram illustrating another example of an image obtained by imaging.
  • the receiver C1300 displays the frame line C1302 and the mark C1301 indicating the position of the signboard C1320 on the display of the receiver C1300 by imaging the signboard C1320. Since the signboard C1321 is also included in the imaging range of the camera of the receiver C1300, a mark C1303 indicating the position of the signboard C1321 is displayed on the display together with the mark C1301.
  • the mark C1303 is a subject image for identifying the signboard C1321 that is a subject, and the frame line C1302 is displayed at a predetermined position on the display as described above. Further, the imaging is continuously performed repeatedly at a predetermined cycle. Therefore, when the user moves the receiver C1300, the position of the frame line C1302 on the display does not change, but the mark C1301 and the mark C1303 move. That is, the receiver C1300 captures captured images including the marks C1301 and C1303 and the frame line C1302 for identifying the signboard C1320 and the signboard C1321, respectively, and positions of the image sensor of the camera, the signboard C1320, and the signboard C1321 at the time of imaging. The positions of the mark C1301 and the mark C1303 on the captured image are displayed while being continuously updated according to the relationship.
  • receiver C1300 in the present embodiment transmits a change in luminance from the signboard corresponding to the mark in frame C1302.
  • Information from the sign is obtained by receiving and demodulating the signal.
  • FIG. 25 is a diagram illustrating a state when the mark C1301 enters the frame line C1302.
  • the receiver C1300 determines that the mark C1301 has entered the frame line C1302, the receiver C1300 changes the color of the frame line C1302 or displays the frame line C1302 so that the frame line C1302 is emphasized, for example.
  • the receiver C1300 receives and demodulates only the signal transmitted by the luminance change from the sign C1320 corresponding to the mark C1301 included in the frame line C1302 among the marks C1301 and C1303, and demodulates the sign. Only information from C1320 is acquired.
  • the visible light communication program operating in the background allows the user to easily select from which subject (data transmission illumination such as a signboard) the data is received. Make it possible.
  • FIG. 26 is a flowchart showing a processing operation of terminal C0200 configured as receiver C1300 in the present embodiment.
  • the visible light communication program C0201a uses the light reception control unit C0202a to perform imaging using the light reception unit C0203a via the light reception control unit C0202a with the shutter speed of the light reception unit C0203a being increased (step SC0401). .
  • the visible light communication program C0201a acquires an image captured by the light receiving unit C0203a via the light reception control unit C0202a (step SC0402).
  • the imaging in step SC0401 and the acquisition of the captured image in step SC0402 are repeatedly performed at a constant cycle.
  • the visible light communication program C0201a obtains a region in which the luminance exceeds a certain threshold value, its center coordinates, Is specified (step SC0403).
  • the visible light communication program C0201a specifies the center coordinates by, for example, the center coordinate specifying method described below.
  • the center coordinate specifying method when the width direction of the captured image is the x-axis and the height direction of the captured image is the y-axis, among the pixels whose luminance exceeds a certain threshold, the x of the leftmost pixel The x coordinate between the coordinate and the x coordinate of the rightmost pixel is set as the x coordinate of the center of the region where the luminance exceeds a certain threshold. Further, among the pixels whose luminance exceeds a certain threshold, the y coordinate between the y coordinate of the pixel at the uppermost end and the y coordinate of the pixel at the lowermost end is set to the region where the luminance exceeds the certain threshold. The center y coordinate is used.
  • the visible light communication program C0201a determines a position (hereinafter referred to as a mark position) on the display unit C0203b (display) corresponding to the center coordinates of the region where the luminance exceeds a certain threshold value via the display control unit C0202b.
  • the mark is specified and displayed at the mark position on the display unit C0203b (step SC0404).
  • the visible light communication program C0201a once erases the mark displayed so far, and then displays the mark at the newly calculated mark position.
  • the visible light communication program C0201a associates the center of the captured image with the center of the display unit C0203b, associates the upper end of the captured image with the upper end of the display unit C0203b, and associates the lower end of the captured image with the lower end of the display unit C0203b.
  • the left end of the captured image is associated with the left end of the display unit C0203b
  • the right end of the captured image is associated with the right end of the display unit C0203b
  • the ratio of the length of each side of the captured image and the display unit C0203b is Find the mark position.
  • the visible light communication program C0201a uses coordinates (mark position) as a position (mark position) on the display unit C0203b corresponding to the center coordinates (100, 200) of the region on the captured image. 200, 400). The mark is displayed at the mark position each time the visible light communication program C0201a acquires a captured image from the light receiving unit C0203a via the light receiving control unit C0202a.
  • the visible light communication program C0201a displays a frame line C1302 shown in FIG. 20 on the display unit C0203b (step SC0405).
  • the visible light communication program C0201a compares the coordinates on the display unit C0203b of the frame line C1302 displayed on the display unit C0203b with the mark position, and determines whether the mark position is within the frame line C1302 ( Step SC0406).
  • the display portion C0203b has a width of 960 pixels and a height of 1280 pixels. In the coordinate system of the display unit C0203b, the upper left is the origin, the lower left coordinates are (0,1280), and the upper right coordinates are (960,0).
  • the upper left coordinate of the displayed frame line C1302 is (450, 610), the lower left coordinate is (450, 670), the upper right coordinate is (510, 610), and the lower right coordinate. Is (510,670).
  • the mark position is (x, y)
  • the visible light communication program C0201a determines that the mark position is within the frame line C1302 (YES in step SC0406)
  • the data transmission illumination corresponding to the region whose luminance exceeds a certain threshold A signal transmitted by a signboard or the like is acquired (step SC0407).
  • the visible light communication program C0201a does not receive the signal transmitted by the data transmission illumination corresponding to the mark C1301.
  • the visible light communication program C0201a receives the signal transmitted by the data transmission illumination corresponding to the mark C1301.
  • FIG. 22 there are a plurality of data transmission illuminations such as signboards, and as shown in FIG. At this time, as shown in FIG.
  • the visible light communication program C0201a when the center coordinates of all the marks C1301 and C1303 are outside the frame line C1302, the visible light communication program C0201a does not receive a signal from any data transmission illumination.
  • the visible light communication program C0201a when the mark C1301 exists in the frame line C1302 with the center coordinates, the visible light communication program C0201a receives a signal from the data transmission illumination corresponding to the mark C1301.
  • marks are displayed at mark positions corresponding to the respective data transmission illuminations.
  • the mark is different for each data transmission illumination.
  • the difference in marks is expressed by, for example, a difference in shape, a difference in color, a difference in text, or a difference in illustration.
  • a signal transmitted from the data transmission illumination that is determined to have the mark position within the frame line C1302 among the plurality of data transmission illuminations is received.
  • the visible light communication program C0201a selects any one and receives a signal transmitted from the data transmission illumination corresponding to the selected mark position. .
  • the visible light communication program C0201a receives a signal transmitted from the data transmission illumination corresponding to the mark position previously entered in the frame line C1302.
  • the visible light communication program C0201a receives a signal transmitted from a data transmission illumination having a large area where the luminance exceeds a certain threshold.
  • the data transmission illumination as the signal acquisition source is selected by comparing the coordinates of the frame line displayed on the display unit C0203b with the mark position, but the frame line is not displayed. Also good. For example, the coordinates on the display unit C0203b of the point specified by the user with respect to the input unit C0203c are compared with the mark position, and the data transmission illumination corresponding to the mark position where the distance between them is within a certain range is determined. Select as the data transmission lighting to be acquired.
  • the mark indicating the region where the luminance exceeds a certain threshold value may not be displayed on the display unit C0203b.
  • the signal from only the subject can be obtained by simply placing the subject image of the desired subject within the frame. Can be easily received.
  • this problem is solved, and automatic activation of usable applications and automatic access to an application installation site are realized without bringing a terminal close to a photographing target and simultaneously with a plurality of terminals.
  • the information communication method includes a light receiving step for receiving visible light, a decoding step for extracting data from the received light, an inquiry step for inquiring the server about information about the acquired data, and obtaining a result.
  • Specific steps to identify applications that can be used or installed using the query results display steps to display to the user available or installable applications depending on the specific results, and notification And launching or installing an application selected by the user.
  • a terminal that performs such an information communication method can acquire information on an application that can be used or installed without approaching a subject to be imaged.
  • a plurality of terminals that perform such an information communication method can simultaneously obtain information on applications that can be used or installed.
  • This embodiment is an information communication method for displaying a list of applications installed on a terminal that can use data received from the data transmission lighting by the terminal and starting an application selected by the user.
  • FIG. 27 is a diagram showing a system configuration in the present embodiment.
  • the data transmission illumination C5100 transmits data using light, similar to the data transmission illumination C0100 of the first embodiment.
  • the terminal C5200 includes a light receiving unit C5201 that captures light emitted from the data transmission illumination C5100, a decoding unit C5205 that extracts data as decoded data from the light received by the light receiving unit C5201, and the decoded data extracted by the decoding unit C5205 to the server C5300. It is installed in the terminal C5200 from the communication unit C5202 that receives from the server C5300 a list of applications that can transmit and use the decoded data (available application list), and the available application list received from the server C5300.
  • An available application search unit C5203 that identifies an application, and an installed application DB_C that holds information about an application installed in the terminal C5200 Has a 206, a display unit C5204 for displaying information to a user, an input section C5208 for receiving input from a user, and an application activation unit C5207 to launch the application that the user has instructed to the input unit C5208.
  • the light receiving unit C5201 has a function of changing the shutter speed during light reception.
  • a plurality of light receiving units C5201 may be provided in the terminal C5200.
  • Server C5300 receives decoded data from terminal C5200, transmits a list of applications that can use the decoded data, and specifies an application that can use the decoded data received from terminal C5200.
  • Unit C5302 data transmitted by the data transmission illumination (decoded data), and a data / application correspondence DB_C 5303 that holds a correspondence relationship between applications that can use the data.
  • FIG. 28 is a flowchart showing a processing operation in which the terminal C 5200 receives visible light of visible light communication and notifies a user of an available application.
  • terminal C5200 uses light receiving unit C5201 to receive visible light of visible light communication emitted from data transmission illumination C5100. (Step SC5102). Next, terminal C5200 determines whether or not visible light has been received (step SC5103). If it is determined that light is received (YES in step SC5103), terminal C5200 uses decode unit C5205 to perform processing for obtaining decoded data from light received by light receiving unit C5201 (step SC5104). .
  • FIG. 30 is a diagram showing an example of the acquired decoded data.
  • the acquired decode data is “1000”.
  • terminal C5200 determines whether or not decoded data has been acquired (step SC5105).
  • terminal C 5200 uses communication unit C5202 to transmit the acquired decoded data to server C 5300 and can use the acquired decoded data. Whether there is any (step SC5106).
  • terminal C5200 receives from communication server C5202 a list of applications that can use the acquired decoded data (a list of available applications).
  • FIG. 31 is a diagram showing an example of a list of available applications to be received.
  • This usable application list includes, as shown in FIG. 31, decoded data C5501 and an available application ID_C5502 for identifying the application for each available application associated with the decoded data.
  • terminal C5200 determines whether or not there is one or more applications that can use the decoded data acquired in step SC5104, based on the list of available applications received from server C5300. (Step SC5107). If it is determined that there is one or more (YES in step SC5107), terminal C5200 uses each available application ID in the available application list received from server 5300 using available application search unit C5203. Are compared with each application ID in the installed application list held by the installed application DB_C 5206. As a result, terminal C5200 specifies an installed application from at least one application (available application) indicated by the available application list (step SC5108).
  • FIG. 32 is a diagram illustrating an example of information (installed application list) held by the installed application DB_C 5206.
  • This installed application list includes, as shown in FIG. 32, for each application installed in the terminal C5200, an application ID_C5601 for identifying the application and a name (application name) C5602 of the application.
  • terminal C5200 determines whether or not one or more usable applications are installed (step SC5109). If it is determined that one or more are installed (YES in step SC5109), terminal C5200 displays a list of installed available applications on display unit C5204 (step SC5110).
  • FIG. 33 is a diagram showing an example of a list of available applications displayed on the display unit C5204.
  • Display unit C5204 displays the name of each installed available application, for example, as shown in FIG. In this way, the screen displayed on the display unit C5204 is an application selection screen for selecting any application program from a plurality of application programs that can use the acquired decoded data.
  • step SC5111 the terminal C5200 uses the input unit C5208 to determine whether or not an application to be used has been selected from at least one available application displayed on the display unit C5204 (step S5111). Step SC5111). If it is determined that terminal C 5200 has been selected (YES in step SC5111), terminal C 5200 uses application activation unit C5207 to activate the application selected by the user (step SC5112).
  • step SC5107 If it is determined in step SC5107 that one or more applications that can use the decoded data acquired in step SC5104 does not exist, or in step SC5109, one or more available applications are not installed. If it is determined, terminal C5200 displays on display unit 5204 that there is no usable application (step SC5113).
  • FIG. 34 is a flowchart showing a processing operation in which the server C 5300 searches for an application that can use the decoded data.
  • server C5300 receives decode data from terminal C5200 using communication unit C5301 (step SC5302).
  • the server C 5300 uses the available application specifying unit C 5302 to search for an application (usable application) that can use the decoded data from the information held in the data / application correspondence DB_C 5303 (step SC 5303).
  • FIG. 35 is a diagram showing an example of information held in the data / application correspondence DB_C 5303.
  • This information includes, for each application, an application ID_C5401 for identifying the application and at least one decode data C5402 that can be used by the application.
  • step SC5303 shown in FIG. 34 the available application specifying unit C5302 of the server C5300 searches for the decoded data received from the terminal C5200 from the information held in the data / application correspondence DB_C5303, and uses the decoded data as the decoded data.
  • An application identified by the associated application ID is specified as an available application.
  • the server C 5300 determines whether there is an available application (step SC5304). If it is determined that there is an available application (YES in step SC5304), server C5300 transmits an available application list indicating the available application to terminal C5200 (step SC5305). On the other hand, if it is determined that there is no usable application (NO in step SC5304), server C5300 transmits information for notifying that there is no usable application to terminal C5200 (step SC5306).
  • the application selection screen shown in FIG. 33 for selecting any application program from a plurality of application programs that can use the acquired decoded data is displayed.
  • the selected application program causes the computer to execute processing using the decoded data.
  • the data acquired by visible light communication can be processed by an appropriate application program.
  • This modification is an information communication method that displays a list of applications that are not installed in the terminal among applications that can use data received from the data transmission lighting by the terminal, and installs the application selected by the user.
  • FIG. 36 is a diagram showing a system configuration according to this modification.
  • the data transmission illumination C7100 transmits data using light, like the data transmission illumination C0100 of the first embodiment.
  • the terminal C7200 includes a light receiving unit C7201 that captures light emitted from the data transmission illumination C7100, a decoding unit C7205 that extracts data from the light received by the light receiving unit C7201 as decoded data, and the decoded data extracted by the decoding unit C7205 to the server C7300.
  • a communication unit C7202 that receives from the server C7300 a list of applications that can transmit and use the decoded data (a list of available applications), and an application that can be installed in the terminal C7200 from the list of available applications received from the server C7300
  • Installable application identification unit C7203 for identifying the application, and an installed application DB that holds information on the application installed in the terminal C7200
  • the light receiving unit C7201 has a function of changing the shutter speed during light reception.
  • a plurality of light receiving units C7201 may be provided in the terminal C7200.
  • the server C7300 receives the decoded data from the terminal C7200, transmits a list of applications that can use the decoded data, and specifies an application that can use the decoded data received from the terminal C7200.
  • FIG. 37 is a flowchart illustrating a processing operation in which the terminal C 7200 receives visible light of visible light communication and notifies a user of an available application.
  • terminal C7200 uses light receiving unit C7201 to perform processing for receiving visible light of visible light communication emitted from data transmission illumination C7100 (step SC7102). .
  • terminal C7200 determines whether or not visible light has been received (step SC7103).
  • terminal C7200 performs processing for acquiring the decoded data shown in FIG. 30 from the light received by light receiving unit C7201 using decoding unit C7205. (Step SC7104).
  • terminal C7200 determines whether or not decode data has been acquired (step SC7105).
  • terminal C7200 transmits the acquired decoded data to server C7300 using communication unit C7202, and is there an application that can use the acquired decoded data? (Step SC7106). After that, the terminal C7200 receives, from the server C7300, a list of applications that can use the acquired decoded data (a list of available applications) by the communication unit C7202.
  • FIG. 38 is a diagram illustrating an example of a list of available applications to be received.
  • this list of available applications includes decoded data C7501, application ID_C7502 for identifying each available application associated with the decoded data, and the name of the application.
  • a certain application name C7503 is included.
  • step SC7107 shown in FIG. 37 terminal C5200 determines based on the available application list received from server C7300 whether there is one or more applications that can use the decoded data acquired in step SC7104. (Step SC7107). If it is determined that one or more exist (YES in step SC7107), the terminal C7200 uses each installable application identification unit C7203 to use each available application ID in the available application list received from the server C7300. And each application ID in the installed application list held by the installed application DB_C 7206 is compared. As a result, the terminal C7200 specifies an application that is not installed in the terminal C7200 at that time and can be installed in the terminal C7200 from at least one application (available application) indicated by the available application list ( Step SC7108).
  • FIG. 39 is a diagram illustrating an example of information (installed application list) held by the installed application DB_C 7206.
  • this installed application list includes, for each application installed in the terminal C7200, an application ID_C7601 for identifying the application and a name (application name) C7602 of the application.
  • step SC7109 shown in FIG. 37 terminal C7200 determines whether or not one or more installable applications exist (step SC7109). For example, if there is an application ID that is not in the installed application list among at least one application ID shown in the available application list, the terminal C7200 determines that one or more installable applications (installable applications) exist. To do. If it is determined that there is one or more (YES in step SC7109), terminal C7200 displays a list of installable applications on display unit C7204 (step SC7110).
  • FIG. 40 is a diagram illustrating an example of a list of installable applications displayed on the display unit C7204.
  • Display unit C7204 displays the name of each application that can be installed, for example, as shown in FIG.
  • step SC7111 shown in FIG. 37 the terminal C7200 uses the input unit C7208 to determine whether or not an application to be installed has been selected by the user from at least one installable application displayed on the display unit C7204 ( Step SC7111). If it is determined that terminal C 5200 has been selected (YES in step SC7111), terminal C7200 uses application installation unit C7207 to install the application selected by the user (step SC7112).
  • step SC7107 If it is determined in step SC7107 that one or more applications that can use the decoded data acquired in step SC7104 do not exist, or in step SC7109, it is determined that one or more installable applications do not exist. If there is no such application, terminal C7200 displays on display unit 7204 that there is no installable application (step SC7113).
  • the server C 7300 performs the same processing operation as the processing operation shown in FIG. 34, but as shown in FIG. 38, generates a list of available applications including an application name C7503 that is the name of an available application, and the terminal C 7200 Send to.
  • FIG. 41 is a diagram showing an example of information held in the data / application correspondence DB_C 7303.
  • This information includes, for each application, an application ID_C7401 for identifying the application, an application name C7402 that is the name of the application, and at least one decode data C7403 that can be used by the application.
  • the available application specifying unit C7302 of the server C7300 specifies applications that can use the received decoded data based on the information stored in the data / application correspondence DB_C7303, and is a list of the specified applications. Generate a list of available applications as shown in That is, the available application specifying unit C7302 searches the received decoded data from the information held in the data / application correspondence DB_C 7303, and specifies the application ID_C7401 and the application name C7402 associated with the decoded data. Then, the available application specifying unit C7302 generates an available application list including the specified application ID_C7401 and the application name C7402.
  • application ID_C7502 shown in FIG. 38, application ID_C7601 shown in FIG. 39, and application ID_C7401 shown in FIG. 41 may be package names of applications.
  • Embodiment 4 Light emitting devices such as street lamps, electric signboards, signage, and car lights in the city emit different visible light IDs by emitting light as visible light transmitting devices. In such a case, there is a problem that the visible light ID cannot be easily acquired only from the visible light transmitter intended by the user. This problem is solved by using a camera attached to a mobile terminal such as a smartphone or a tablet to receive light indicating a visible light ID, and transmitting a visible light intended by a user from a plurality of visible light transmitting devices reflected on the camera. This occurs because there is no method for acquiring a visible light ID limited to only the device.
  • a mobile terminal such as a smartphone or a tablet
  • the association between the user's gesture operation on the mobile terminal and the visible light transmitting device from which the visible light ID is acquired is defined in advance.
  • the visible light transmitting device from which the visible light ID is acquired can be determined by referring to the definition. It becomes possible to limit to the visible light transmission equipment according to.
  • FIG. 42 is a diagram showing a system configuration in the present embodiment.
  • the front camera B0106 or the rear camera B0107 provided in the mobile terminal B0101 receives visible light emitted from the visible light transmitter B0120, and the visible light ID light reception processing unit B0105 receives the visible light. Convert to visible light ID.
  • the visible light ID is an identifier for identifying detailed information associated with the visible light ID.
  • the user's gesture operation on the mobile terminal B0101 is used to select the visible light ID.
  • the sensing data acquired by the sensing unit B0103 included in the mobile terminal B0101 is used.
  • the sensing unit B0103 is configured by a nine-axis sensor or the like.
  • the gesture detection unit B0102 detects (determines) a gesture operation based on the accumulated sensing data. The process in which the gesture detection unit B0102 detects the user's gesture operation will be described in detail with reference to FIG.
  • the light reception ID selection unit B0104 Based on the user's gesture operation detected (determined) by the gesture detection unit B0102, the light reception ID selection unit B0104 has detailed information corresponding to the visible light ID obtained by the conversion by the visible light ID light reception processing unit B0105. It is selected whether or not the user wants to know the current status.
  • the received light ID screening unit B0104 requests the communication unit B0108 to obtain an information acquisition request corresponding to the visible light ID. Accordingly, the communication unit B0108 transmits an information acquisition request with a visible light ID to the ID correspondence information conversion server B0111 via the public network B0130, and the visible light for detailed information is transmitted from the ID correspondence information conversion server B0111. ID correspondence information (for example, URL) is acquired.
  • the received light ID selection unit B0104. Requests the display unit B0109 to display in accordance with those cases.
  • the communication unit B0112 of the ID correspondence information conversion server B0111 receives an information acquisition request with a visible light ID from the communication unit B0108 of the mobile terminal B0101.
  • the conversion information determination unit B0113 acquires visible light ID correspondence information corresponding to the visible light ID from the ID correspondence information holding unit B0114.
  • the conversion information determination unit B0113 passes the acquired visible light ID correspondence information to the communication unit B0112.
  • the communication unit B0112 transmits visible light ID correspondence information to the mobile terminal B0101 via the public network B0130.
  • FIG. 43 is a flowchart showing the processing operation of the mobile terminal B0101, particularly a processing operation for detecting the user's gesture operation and selecting the received visible light ID.
  • the gesture detection unit B0102 detects the user's gesture operation on the mobile terminal B0101 by monitoring the notification of the sensing data from the sensing unit B0103. Is performed (step SB0202). Next, gesture detection unit B0102 determines whether or not a user's gesture operation has been detected (step SB0203). If it is determined that it has been detected (YES in step SB0203), the process of step SB0204 is performed. If it is determined that it has not been detected (NO in step SB0203), the process of step SB0202 is repeated. The operation of the gesture detection unit B0102 will be described in detail with reference to FIG.
  • step SB0204 the gesture detection unit B0102 notifies the detected gesture operation of the user to the light reception ID selection unit B0104 (step SB0204).
  • the light reception ID selection unit B0104 determines a light reception mode with reference to a gesture mode correspondence table held by itself shown in FIG. 49 described later, and the visible light ID light reception processing unit B0105 performs light indicating the visible light ID.
  • the shutter speed of the camera (front camera B0106 or rear camera B0107) that receives light is increased (step SB0205).
  • the light reception ID selection unit B0104 determines whether a visible light ID notification has been received from the visible light ID light reception processing unit B0105 (step SB0206). If it is determined that the notification has been received (YES in step SB0206), the process of step SB0207 is performed. If it is determined that the notification has not been received (NO in step SB0206), the process of step SB0202 is repeated.
  • the received light ID selection unit B0104 refers to an ID handling table shown in FIG. 50, which will be described later, in order to determine the handling of the visible light ID according to the received light mode determined in step SB0205 (step SB0207). ). That is, for each of the notified visible light IDs, the received-light ID sorting unit B0104 determines whether the visible light ID is a visible light ID that requires detailed information or a visible light ID that does not require detailed information. Sort out.
  • FIG. 44 is a flowchart showing the processing operation of the mobile terminal B0101, particularly the processing operation for displaying.
  • the received light ID sorting unit B0104 requests the communication unit B0108 to obtain an information acquisition request for the visible light ID for each notified visible light ID based on the result of the sorting described above. Is determined (step SB0302). If it is determined that the request is made (YES in step SB0302), the process in step SB0303 is performed. If it is determined that the request is not made (NO in step SB0302), the process in step SB0306 is performed. In step SB0303, the received light ID selection unit B0104 requests the communication unit B0108 to obtain visible light ID correspondence information corresponding to the visible light ID from the ID correspondence information conversion server B0111 (step SB0303).
  • the communication unit B0108 makes an information acquisition request to the ID correspondence information conversion server B0111 via the public network B0130 (step SB0304). That is, the communication unit B0108 transmits to the ID correspondence information conversion server B0111 a request (information acquisition request with a visible light ID) requesting to transmit the visible light ID correspondence information corresponding to the visible light ID to itself.
  • the communication unit B0108 receives the notification information from the ID correspondence information conversion server B0111 via the public network B0130 (step SB0311). ).
  • the received-light ID sorting unit B0104 details each of the notified visible light IDs corresponding to the visible light ID. It is determined whether or not to display information on the display unit B0109 (step SB0306). For example, when the visible light ID is selected as the visible light ID for which detailed information is required, the light reception ID selecting unit B0104 determines to display the detailed information corresponding to the visible light ID on the display unit B0109. To do. Conversely, when the visible light ID is selected as a visible light ID that does not require detailed information, the received-light ID sorting unit B0104 must not display the detailed information corresponding to the visible light ID on the display unit B0109. judge. Further, when the notification information corresponding to the visible light ID is received in step SB03111, the light reception ID selection unit B0104 determines to display the detailed information corresponding to the visible light ID on the display unit B0109.
  • step SB0307 If it is determined that the detailed information corresponding to the visible light ID is displayed on the display unit B0109 (YES in step SB0306), the process in step SB0307 is performed, and if it is determined that it is not displayed (NO in step SB0306).
  • the mobile terminal B0101 ends the process of displaying the detailed information corresponding to the visible light ID.
  • the received light ID selection unit B0104 passes notification information for the visible light ID to the display unit B0109 (step SB0307). Then, the display unit B0109 displays detailed information (visible light ID correspondence information) that can be displayed for the visible light ID based on the received notification information, and ends the process. Specifically, when the visible light ID correspondence information is included in the notification information and the visible light ID correspondence information is a URL (Uniform Resource Locator), the mobile terminal B0101 acquires detailed information from the location indicated by the URL. Then, the detailed information is displayed on the display unit B0109.
  • the visible light ID correspondence information is included in the notification information and the visible light ID correspondence information is a URL (Uniform Resource Locator)
  • URL Uniform Resource Locator
  • FIG. 45 is a flowchart showing the processing operation of the ID correspondence information conversion server B0111 when an information acquisition request is received from the mobile terminal B0101.
  • the communication unit B0112 of the ID correspondence information conversion server B0111 determines whether an information acquisition request is received from the mobile terminal B0101 (step SB0402). Here, if it is determined that it has been received (YES in step SB0402), the process of step SB0403 is performed, and if it is determined that it has not been received (NO in step SB0402), the process of step SB0402 is repeatedly performed.
  • step SB0403 the communication unit B0112 notifies the conversion information determination unit B0113 of the visible light ID accompanying the received information acquisition request (step SB0403).
  • the conversion information determination unit B0113 inquires the ID correspondence information holding unit B0114 about the visible light ID correspondence information corresponding to the notified visible light ID (step SB0404).
  • the ID correspondence information holding unit B0114 determines whether or not the notified visible light ID exists in the ID / correspondence information table held by itself (step SB0405). If it is determined that the visible light ID exists (YES in step SB0405), the process of step SB0406 is performed. If it is determined that the visible light ID does not exist (NO in step SB0405), the process of step SB0409 is performed. Is done.
  • step SB0406 the ID correspondence information holding unit B0114 notifies the conversion information determination unit B0113 of the visible light ID correspondence information associated with the visible light ID from the ID / correspondence information table shown in FIG. (Step SB0406).
  • the conversion information determination unit B0113 generates notification information including the visible light ID correspondence information and passes the notification information to the communication unit B0112 (step SB0407).
  • step SB0409 the ID correspondence information holding unit B0114 notifies the conversion information determination unit B0113 that the visible light ID does not exist in the ID / correspondence information table shown in FIG. 51 described later (step SB0409).
  • the conversion information determination unit B0113 generates notification information indicating that there is no visible light ID correspondence information, and passes the notification information to the communication unit B0112 (step SB0410).
  • the communication unit B0112 After step SB0407 or step SB0410, the communication unit B0112 returns the notification information received from the conversion information determination unit B0113 to the mobile terminal B0101 that is the information acquisition request source (step SB0408).
  • FIG. 46 is a flowchart showing a processing operation in which the mobile terminal B0101 detects a user's gesture operation.
  • the gesture operation detected by this processing operation is a gesture generated when the user operates the mobile terminal B0101, and is used for selecting a visible light ID obtained by light reception by the mobile terminal B0101.
  • the gesture detection unit B0102 When the detection of the user's gesture operation by the gesture detection unit B0102 is started, the gesture detection unit B0102 initializes the sensing data reception count to 0 (step SB0502). Then, gesture detection unit B0102 enters a state of waiting for sensing data from sensing unit B0103 (data reception waiting state) (step SB0503). Next, gesture detection unit B0102 determines whether or not sensing data is received from sensing unit B0103 (step SB0504). Here, if it is determined that it has been received (YES in step SB0504), the process of step SB0505 is performed. If it is determined that it has not been received (NO in step SB0504), the process of step SB0503 is repeatedly performed.
  • step SB0505 the gesture detection unit B0102 temporarily holds the sensing data and adds 1 to the number of times the sensing data is received (step SB0505). Then, gesture detection unit B0102 determines whether or not the sensing data reception count is equal to or greater than a predetermined count (step SB0506). In step SB0502, instead of initializing the sensing data reception count to 0, the gesture detection unit B0102 initializes the sensing data reception elapsed time, which is the elapsed time since the start of waiting for sensing data, to 0. Also good. In this case, in step SB0506, gesture detection unit B0102 determines whether or not the sensing data reception elapsed time is equal to or longer than a predetermined time.
  • step SB0506 If it is determined that the sensing data reception count is greater than or equal to the predetermined count, or if it is determined that the sensing data reception elapsed time is greater than or equal to the predetermined time (YES in step SB0506), processing in step SB0507 is performed, and sensing is performed. When it is determined that the number of data receptions is less than the predetermined number, or when it is determined that the sensing data reception elapsed time is less than the predetermined time (NO in step SB0506), the process of step SB0503 is repeated.
  • the gesture detection unit B0102 detects the current gesture operation using at least one temporarily stored sensing data (step SB0507). At this time, the gesture detection unit B0102 holds the detected gesture operation as the current gesture operation. Then, gesture detection unit B0102 deletes at least one piece of sensing data temporarily held (step SB0508).
  • the gesture detection unit B0102 determines whether or not a signal (detection stop request signal) requesting to stop detecting the gesture operation is received from the light receiving ID selection unit B0104 (step SB0509). If it is determined that the signal has been received (YES in step SB0509), gesture detection unit B0102 ends the processing operation for detecting a gesture operation. On the other hand, if it is determined that it has not been received (NO in step SB0509), gesture detection unit B0102 repeatedly executes the processing from step SB0502. The processing operation for detecting the gesture operation shown in FIG. 46 is started again from the processing of step SB0502 after a certain time has elapsed or triggered by an interrupt processing or the like generated from the sensing unit B0103.
  • FIG. 47 is a diagram for explaining an operation in which the mobile terminal B0101 selects a visible light ID by a gesture operation.
  • street lights B0605 to B0608 and taxis B0601 to B0603 each have a visible light transmitter B0120, and transmit visible light IDs by emitting visible light.
  • a terminal equipped with a general conventional camera acquires detailed information corresponding to each of the visible light IDs from all visible light transmitting devices that exist in the direction in which the camera shoots.
  • the user wants to acquire only detailed information of taxis B0601 to B0603, for example, and the gesture operation that the user moves the mobile terminal B0101 upward (in the arrow direction in FIG. 47), for example.
  • the mobile terminal B0101 restricts the detailed information to be acquired only to the detailed information of taxis B0601 to B0603.
  • the cameras perform processing for switching the shutter speed to a high speed when receiving the visible light ID.
  • FIG. 48 is a diagram illustrating an example of a processing operation for selecting detailed information displayed by a gesture operation.
  • the mobile terminal B0101 detects a gesture operation to move the mobile terminal B0101 upward, only the detailed information of the taxis B0601 to B0603 is acquired. Then, the mobile terminal B0101 displays a captured image obtained by photographing with the cameras (front camera B0106 and rear camera B0107). At this time, the mobile terminal B0101 is displayed in a state in which each of the balloon images (presentation notification images) B0702 to B0704 indicating that the detailed information has been acquired is associated with the images of the taxis B0601 to B0603. Superimposed on the captured image. Furthermore, the mobile terminal B0101 displays only the detailed information of any one of the taxi B0601 to B0603 on the balloon image of the taxi.
  • the balloon image including such detailed information is an image generated according to the visible light ID from the taxi that is the subject, and is a content notification image indicating the content related to the taxi.
  • the presentable notification image (a balloon image that does not include detailed information) is an image for notifying that detailed information can be shown.
  • the gesture detection unit B0102 of the mobile terminal B0101 detects the gesture operation of shaking in the upper right direction.
  • the mobile terminal B0101 hides the detailed information displayed in the balloon image B0702.
  • the mobile terminal B0101 adds the detailed information “Long-distance discounting” of the taxi B0602 of the image associated with the balloon image B0702 to the balloon image B0703 closest to the balloon image B0702 on the captured image. "Is displayed.
  • the user can easily change the detailed information to be displayed by performing a gesture operation of shaking the mobile terminal B0101.
  • FIG. 49 is a diagram showing an example of a gesture / mode correspondence table held by the received-light ID sorting unit B0104.
  • the gesture mode correspondence table indicates the gesture operation B0801 and the light receiving mode B0802 associated with the gesture operation for each gesture operation. For example, for a gesture operation called hold-up that is an operation of holding the mobile terminal in front of the user (or an operation of raising the mobile terminal upward), a light reception mode “taxi” for displaying detailed taxi information is provided. It is associated. In addition, a gesture operation called “shake” which is an operation of shaking the mobile terminal to the left and right is associated with a light reception mode “cancel” for canceling the currently set light reception mode.
  • FIG. 50 is a diagram showing an example of an ID handling table held by the received light ID sorting unit B0104.
  • This ID handling table includes, for each light reception mode, the light reception mode B0901, the first group ID_B0902 for identifying the light reception mode, and the visible light transmission device that transmits the visible light ID that is a candidate in the light reception mode.
  • the first group ID “TAXIAA1” is associated with the names of the visible light transmitting devices “row lights” and “headlights”. Yes. Then, for the name of the visible light transmitting device “line lamp”, “required” indicating that the second group ID “XX001” and detailed information based on the line lamp should be displayed on the display unit B0109. , “Necessary” indicating that the detailed information should be acquired from the ID correspondence information conversion server B 0111 is associated with the information.
  • FIG. 51 is a diagram showing an example of an ID / correspondence information table held by the ID correspondence information holding unit B0114.
  • the ID / correspondence information table includes, for each visible light ID, visible light ID_B 1001 and visible light ID correspondence information B 1002 associated with the visible light ID.
  • the visible light ID is composed of three alphanumeric character strings linked by a hyphen (-). Of these alphanumeric strings, the first alphanumeric string corresponds to the first group ID_B0902 shown in FIG. 50, and the middle alphanumeric string corresponds to the second group ID_B0904 shown in FIG.
  • the column is an ID for identifying visible light ID correspondence information.
  • the visible light ID correspondence information is indicated by, for example, a URL.
  • the mobile terminal B0101 acquires detailed information from the location indicated by the URL. Also, among the visible light ID_B1001 included in the ID / correspondence information table shown in FIG. 51, “TAXIAA1-XX001-0001”, “TAXIAA1-XX001-0002”, “TAXIAA1-XX001-0003”, and “TAXIAA1-XX001-0004” "Is a visible light ID transmitted by visible light from a taxi lamp. Of the visible light ID_B1001 included in the ID / correspondence information table shown in FIG. 51, “TAXIAA1-HR001-0001” and “TAXIAA1-HR001-0002” are visible light transmitted from the taxi headlight by visible light. ID.
  • the light reception mode is determined by the user's gesture operation, but the light reception mode may be determined by other factors.
  • the light reception mode may be determined according to the attitude of the mobile terminal B0101.
  • FIG. 52 is a diagram for explaining processing for determining the light reception mode according to the attitude of the mobile terminal B0101.
  • the sensing unit B0103 of the mobile terminal B0101 detects the attitude of the casing of the mobile terminal B0101. Based on the result, the mobile terminal B0101 determines the camera that receives the visible light B1101 from the visible light transmitter B0120 as one of the front camera B0106 and the rear camera B0107. Thus, only one of the front camera B0106 and the rear camera B0107 receives the visible light B1101. Therefore, the visible light ID corresponding to the detailed information required for the user can be easily selected from the visible light IDs obtained by the front camera B0106 and the rear camera B0107 according to the attitude of the mobile terminal B0101. it can. Further, it is possible to reduce the induction of illegal operation due to reflected light or the like, and to suppress power consumption.
  • the casing is inclined 45 degrees or more with respect to the vertical direction with the front side facing up (for example, 60 degrees).
  • the mobile terminal B0101 activates only the front camera B0106.
  • the casing is inclined to be smaller than 45 degrees with respect to the vertical direction with the front side facing the user (for example, 10).
  • Mobile terminal B0101 activates only rear camera B0107.
  • an image generated according to a signal from any one of the signals (visible light ID) transmitted and received from each of a plurality of subjects (such as a taxi) is an image.
  • a content notification image (a balloon image including detailed information) that is an image indicating the content related to the subject is superimposed on the captured image in a state in which the content notification image is associated with the image of the subject.
  • the image is generated in response to a signal from another subject in the shake direction, and is an image showing the contents relating to the other subject.
  • a certain other content notification image is superimposed on the captured image in a state of being associated with the image of the other subject.
  • a content notification image in which detailed information about a subject is described in a balloon is displayed in a state associated with the image of the subject, so that the user appropriately grasps information about the subject. Can do. Further, by shaking the terminal device, it is possible to easily switch the subject on which the content notification image is displayed. Furthermore, since the object can be switched to a subject in the direction in which the terminal device is swung, the user can intuitively switch the object, and the user interface can be further improved.
  • the contents (details) about the remaining subject are described.
  • a presentation possible notification image for notifying that it is possible to present information is superimposed on the captured image. Therefore, for example, a presentable notification image in the form of a small balloon in which detailed information is not described is displayed in the image of the subject on which the content notification image is not displayed. It can be determined that the content (detailed information) about the subject can be displayed as a content notification image.
  • FIG. 53A is a flowchart of an information communication method according to an aspect of the present invention.
  • the information communication method according to an aspect of the present invention is an information communication method that performs visible light communication, and includes steps S11, S12, S13, and S14.
  • this information communication method includes a first program for performing visible light communication using a light receiving unit that detects light, and a second program for performing processing different from the visible light communication using the light receiving unit.
  • a determination step (S11) for determining whether or not a competition for use of the light receiving unit occurs according to a program, and when it is determined that a conflict occurs, the user of the light receiving unit is notified that the competition occurs.
  • a visible light communication step (S14) that causes the first program to execute a visible light communication according to the light detected by the light receiving unit. Including the door.
  • FIG. 53B is a block diagram of an information communication device according to one embodiment of the present invention.
  • the information communication apparatus 10 is an information communication apparatus that performs visible light communication, and includes constituent elements 11, 12, 13, and 14.
  • the information communication apparatus 10 includes a first program for performing visible light communication using a light receiving unit that detects light, and a second program for performing processing different from the visible light communication using the light receiving unit. And a determination unit 11 that determines whether or not a competition for use of the light receiving unit occurs, and a notification that notifies the user of the light receiving unit that the competition occurs when it is determined that a conflict occurs.
  • Unit 12 the contention resolution unit 13 that permits the use of the light receiving unit to one of the first program and the second program in accordance with the operation by the user, and the use of the first program is permitted.
  • a visible light communication unit 14 that executes visible light communication according to the light detected by the light receiving unit according to the first program.
  • each component may be configured by dedicated hardware, or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • the program causes the computer to execute the information communication method shown by the flowchart of FIG. 53A.
  • FIG. 54 shows an example in which the image sensors arranged in one row are exposed at the same time, and the exposure start time is shifted in order from the closest row.
  • the exposure line of the image sensor that exposes simultaneously is called an exposure line
  • the pixel line on the image corresponding to the image sensor is called a bright line.
  • the imaging frame rate is 30 fps
  • a change in luminance with a period of 1.67 milliseconds can be recognized.
  • the exposure time is set shorter than 10 milliseconds, for example.
  • FIG. 55 shows a case where the exposure of the next exposure line is started after the exposure of one exposure line is completed.
  • the transmission speed is a maximum of flm bits per second.
  • the light emission time of the light emitting unit is controlled by a unit time shorter than the exposure time of each exposure line. More information can be transmitted.
  • information can be transmitted at a maximum rate of flElv bits per second.
  • the basic period of transmission can be recognized by causing the light emitting unit to emit light at a timing slightly different from the exposure timing of each exposure line.
  • FIG. 57A shows a case where the exposure of the next exposure line is started before the exposure of one exposure line is completed. That is, the exposure times of adjacent exposure lines are partially overlapped in time.
  • the S / N ratio can be improved.
  • the exposure time of adjacent exposure lines has a partial overlap in time, and a configuration in which some exposure lines have no partial overlap. It is also possible. By configuring a part of the exposure lines so as not to partially overlap in time, it is possible to suppress the generation of intermediate colors due to the overlap of exposure times on the imaging screen, and to detect bright lines more appropriately. .
  • the exposure time is calculated from the brightness of each exposure line, and the light emission state of the light emitting unit is recognized.
  • the brightness of each exposure line is determined by a binary value indicating whether the luminance is equal to or higher than a threshold value, in order to recognize the state where no light is emitted, the state where the light emitting unit does not emit light is indicated for each line. It must last longer than the exposure time.
  • FIG. 57B shows the influence of the difference in exposure time when the exposure start times of the exposure lines are equal.
  • 7500a is the case where the exposure end time of the previous exposure line is equal to the exposure start time of the next exposure line
  • 7500b is the case where the exposure time is longer than that.
  • the exposure time of adjacent exposure lines is partially overlapped in time, so that the exposure time can be increased. That is, the light incident on the image sensor increases and a bright image can be obtained.
  • the imaging sensitivity for capturing images with the same brightness can be suppressed to a low level, an image with less noise can be obtained, so that communication errors are suppressed.
  • FIG. 57C shows the influence of the difference in the exposure start time of each exposure line when the exposure times are equal.
  • 7501a is the case where the exposure end time of the previous exposure line is equal to the exposure start time of the next exposure line
  • 7501b is the case where the exposure of the next exposure line is started earlier than the end of exposure of the previous exposure line.
  • the sample interval ( difference in exposure start time) becomes dense, the change in the light source luminance can be estimated more accurately, the error rate can be reduced, and the change in the light source luminance in a shorter time is recognized. be able to.
  • the exposure time overlap it is possible to recognize blinking of the light source that is shorter than the exposure time by using the difference in exposure amount between adjacent exposure lines.
  • the exposure time is set to be longer than that in the normal shooting mode.
  • the communication speed can be dramatically improved.
  • the exposure time needs to be set as exposure time ⁇ 1/8 ⁇ f. Blanking that occurs during shooting is at most half the size of one frame. That is, since the blanking time is less than half of the shooting time, the actual shooting time is 1 / 2f at the shortest time.
  • the exposure time since it is necessary to receive quaternary information within a time of 1 / 2f, at least the exposure time needs to be shorter than 1 / (2f ⁇ 4). Since the normal frame rate is 60 frames / second or less, it is possible to generate an appropriate bright line pattern in the image data and perform high-speed signal transmission by setting the exposure time to 1/480 seconds or less. Become.
  • FIG. 57D shows an advantage when the exposure times are short when the exposure times of the exposure lines do not overlap.
  • the exposure time is long, even if the light source has a binary luminance change as in 7502a, the captured image has an intermediate color portion as in 7502e, and it becomes difficult to recognize the luminance change of the light source.
  • the free time (predetermined waiting time) t D2 not predetermined exposure start exposure of the next exposure line, the luminance variation of the light source Can be easily recognized. That is, a more appropriate bright line pattern such as 7502f can be detected.
  • an exposure time t E can be realized to be smaller than the time difference t D of the exposure start time of each exposure line.
  • the exposure time is set shorter than the normal shooting mode until a predetermined idle time occurs. This can be realized. Further, even when the normal photographing mode is the case where the exposure end time of the previous exposure line and the exposure start time of the next exposure line are equal, by setting the exposure time short until a predetermined non-exposure time occurs, Can be realized.
  • the exposure time of adjacent exposure lines has a partial overlap in time, and a configuration in which some exposure lines have no partial overlap. It is also possible. Further, in all exposure lines, it is not necessary to provide a configuration in which an idle time (predetermined waiting time) in which a predetermined exposure is not performed is provided after the exposure of one exposure line is completed until the exposure of the next exposure line is started. It is also possible to have a configuration in which the lines partially overlap in time. With such a configuration, it is possible to take advantage of the advantages of each configuration.
  • the same readout method is used in the normal shooting mode in which shooting is performed at a normal frame rate (30 fps, 60 fps) and in the visible light communication mode in which shooting is performed with an exposure time of 1/480 second or less in which visible light communication is performed.
  • a signal may be read by a circuit.
  • FIG. 57E shows the relationship between the minimum change time t S of the light source luminance, the exposure time t E , the time difference t D of the exposure start time of each exposure line, and the captured image.
  • FIG. 57F shows the relationship between the transition time t T of the light source luminance and the time difference t D of the exposure start time of each exposure line.
  • t D is larger than the t T, exposure lines to be neutral is reduced, it is easy to estimate the light source luminance.
  • the exposure line of the intermediate color is continuously 2 or less, which is desirable.
  • t T the light source is less than 1 microsecond in the case of LED, light source for an approximately 5 microseconds in the case of organic EL, a t D by 5 or more microseconds, to facilitate estimation of the light source luminance be able to.
  • Figure 57G shows a high frequency noise t HT of light source luminance, the relationship between the exposure time t E.
  • t E is larger than t HT , the captured image is less affected by high frequency noise, and light source luminance is easily estimated.
  • t E is an integral multiple of t HT , the influence of high frequency noise is eliminated, and the light source luminance is most easily estimated.
  • t E > t HT .
  • the main cause of high frequency noise derived from the switching power supply circuit since many of the t HT in the switching power supply for the lamp is less than 20 microseconds, by the t E and 20 micro-seconds or more, the estimation of the light source luminance It can be done easily.
  • Figure 57H is the case t HT is 20 microseconds, which is a graph showing the relationship between the size of the exposure time t E and the high frequency noise.
  • t E is the value becomes equal to the value when the amount of noise takes a maximum, 15 microseconds or more, or, 35 microseconds or more, or, It can be confirmed that the efficiency is good when it is set to 54 microseconds or more, or 74 microseconds or more. From the viewpoint of reducing high-frequency noise, it is desirable that t E be large. However, as described above, there is a property that light source luminance can be easily estimated in that the smaller the t E , the more difficult the intermediate color portion is generated.
  • t E when the light source luminance change period is 15 to 35 microseconds, t E is 15 microseconds or more, and when the light source luminance change period is 35 to 54 microseconds, t E is 35 microseconds or more.
  • t E is 54 microseconds or more when the cycle is 54 to 74 microseconds of change, t E when the period of the change in light source luminance is 74 microseconds or more may be set as 74 microseconds or more.
  • Figure 57I illustrates the relationship between the exposure time t E and the recognition success rate. Since the exposure time t E has a relative meaning with respect to the time when the luminance of the light source is constant, the value (relative exposure time) obtained by dividing the period t S in which the light source luminance changes by the exposure time t E is taken as the horizontal axis. Yes. From the graph, it can be seen that if the recognition success rate is desired to be almost 100%, the relative exposure time should be 1.2 or less. For example, when the transmission signal is 1 kHz, the exposure time may be about 0.83 milliseconds or less.
  • the relative exposure time may be set to 1.25 or less, and when the recognition success rate is set to 80% or more, the relative exposure time may be set to 1.4 or less. Recognize. Also, the recognition success rate drops sharply when the relative exposure time is around 1.5, and becomes almost 0% at 1.6, so it can be seen that the relative exposure time should not be set to exceed 1.5. . It can also be seen that after the recognition rate becomes 0 at 7507c, it rises again at 7507d, 7507e, and 7507f.
  • the transmission loss due to blanking can be prevented by repeatedly transmitting the same signal twice or more, or adding an error correction code.
  • the light emitting unit transmits a signal with a period that is relatively prime to the period for capturing an image or a period shorter than the period for capturing an image.
  • FIG. 60 is a diagram showing a service providing system using the reception method described in the embodiment already described.
  • the company A ex8000 managing the server ex8002 requests another company B or an individual ex8001 to distribute information to the mobile terminal.
  • the mobile terminal that has made visible light communication with signage is requested to distribute detailed advertisement information, coupon information, or map information.
  • the company A ex8000 that manages the server manages information distributed to the mobile terminal in correspondence with arbitrary ID information.
  • the portable terminal ex8003 acquires ID information from the subject ex8004 by visible light communication, and transmits the acquired ID information to the server ex8002.
  • the server ex8002 transmits information corresponding to the ID information to the portable terminal and counts the number of times the information corresponding to the ID information is transmitted.
  • the company A ex8000 managing the server charges the requested company B and the individual ex8001 for a charge corresponding to the counted number. For example, the larger the count number, the larger the amount to be charged.
  • FIG. 61 is a flowchart showing a service provision flow.
  • step ex8000 company A managing the server receives a request for information distribution from other company B.
  • Step ex8001 information received in the distribution request is associated with specific ID information in the server managed by company A.
  • the mobile terminal receives specific ID information from the subject by visible light communication, and transmits it to a server managed by the company A.
  • the details of the visible light communication method have already been described in other embodiments, and will be omitted.
  • the server transmits information corresponding to the specific ID information transmitted from the mobile terminal to the mobile terminal.
  • Step ex8003 the server counts the number of times information is distributed.
  • Step ex8004 the company B is charged a fee according to the count number of information distribution. In this way, by charging according to the count number, it becomes possible to charge Company B with an appropriate fee according to the advertising effect of information distribution.
  • FIG. 62 is a flowchart showing service provision in another example. The description of the same steps as those in FIG. 61 is omitted.
  • Step ex8008 it is determined whether or not a predetermined time has elapsed since the start of information distribution. If it is determined that the time is within the predetermined time period, the company B is not charged in Step ex8011. On the other hand, if it is determined that the predetermined period has elapsed, Step ex8009 counts the number of times the information has been distributed. In step ex8010, the company B is charged a fee corresponding to the information distribution count. Thus, since information is distributed free of charge within a predetermined period, company B can receive a billing service after confirming the advertising effect and the like.
  • FIG. 63 is a flowchart showing service provision in another example. The description of the same steps as those in FIG. 62 is omitted.
  • Step ex8014 the number of times information is distributed is counted. If it is determined in Step ex8015 that the predetermined period has not elapsed since the start of information distribution, charging is not performed in Step ex8016. On the other hand, if it is determined that the predetermined period has elapsed, in Step ex8017, it is determined whether or not the number of times information has been distributed is equal to or greater than a predetermined value. When the number of times of distributing information is less than a predetermined value, the count number is reset and the number of times of distributing information is counted again. In this case, the company B is not charged for a predetermined period in which the number of times information is distributed is less than a predetermined value.
  • Step ex8017 if the count number is equal to or larger than the predetermined value, in Step ex8018, the count number is reset once and restarted again.
  • Step ex8019 the company B is charged a fee corresponding to the number of counts.
  • the company B can receive the billing service at an appropriate timing by providing a period of free distribution again.
  • the company A has a small number of counts, the information content is analyzed. For example, when the information does not correspond to the season, the company A may propose to the company B to change the information content. It becomes possible.
  • the burden on the company A can be reduced. Moreover, it is good also as a structure which provides a free delivery period again after a fixed period. For example, in the case of information affected by the season, a free delivery period can be provided again after a certain period until the season changes.
  • the billing fee may be changed according to the amount of data regardless of the number of times of information distribution.
  • a certain amount of data may be distributed free of charge, and a predetermined amount of data or more may be charged. Further, the billing fee may be increased as the amount of data increases.
  • a management fee may be charged when managing information in association with specific ID information. By charging as a management fee, it is possible to determine the fee when the information distribution is requested.
  • the information communication method and the information communication apparatus have been described based on the embodiments and the modifications thereof, but the present invention is limited to the embodiments and the modifications. Is not to be done. Unless it deviates from the gist of the present invention, one or more of the present invention may be applied to various modifications that can be conceived by those skilled in the art, or forms constructed by combining components in different embodiments. It may be included within the scope of the embodiments.
  • Each of the above devices is specifically a computer system including a microprocessor, a ROM, a RAM, a hard disk unit, a display unit, a keyboard, a mouse, and the like.
  • a computer program is stored in the RAM or hard disk unit.
  • Each device achieves its functions by the microprocessor operating according to the computer program.
  • the computer program is configured by combining a plurality of instruction codes indicating instructions for the computer in order to achieve a predetermined function.
  • a part or all of the components constituting each of the above devices may be configured by one system LSI (Large Scale Integration).
  • the system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on a single chip, and specifically, a computer system including a microprocessor, ROM, RAM, and the like. .
  • a computer program is stored in the RAM.
  • the system LSI achieves its functions by the microprocessor operating according to the computer program.
  • a part or all of the constituent elements constituting each of the above devices may be constituted by an IC card or a single module that can be attached to and detached from each device.
  • the IC card or the module is a computer system including a microprocessor, a ROM, a RAM, and the like.
  • the IC card or the module may include the super multifunctional LSI described above.
  • the IC card or the module achieves its function by the microprocessor operating according to the computer program. This IC card or this module may have tamper resistance.
  • the present invention may be the method described above. Further, the present invention may be a computer program that realizes these methods by a computer, or may be a digital signal composed of the computer program.
  • the present invention also provides a computer-readable recording medium such as a flexible disk, hard disk, CD-ROM, MO, DVD, DVD-ROM, DVD-RAM, BD (Blu-ray ( (Registered trademark) Disc), or recorded in a semiconductor memory or the like.
  • the digital signal may be recorded on these recording media.
  • the computer program or the digital signal may be transmitted via an electric communication line, a wireless or wired communication line, a network represented by the Internet, a data broadcast, or the like.
  • the present invention may be a computer system including a microprocessor and a memory, the memory storing the computer program, and the microprocessor operating according to the computer program.
  • the program or the digital signal is recorded on the recording medium and transferred, or the program or the digital signal is transferred via the network or the like, and executed by another independent computer system. It is good.
  • the present invention can be used for information communication devices and the like, and in particular, portable terminals such as smartphones, tablets, mobile phones, smart watches, and head mounted displays, and home appliances such as air conditioners, lighting devices, rice cookers, TVs, recorders, projectors It can be used for an information communication device or the like used for a communication method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optical Communication System (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)
  • Studio Devices (AREA)

Abstract

 ユーザ・インターフェースの向上を図り、ユーザへの負担を軽減することができる情報通信方法は、可視光通信を行うための第1のプログラムと、可視光通信と異なる処理を行うための第2のプログラムとによって、その受光部の使用の競合が発生するか否かを判定し(ステップS11)、競合が発生すると判定されたときには、その競合が生じることをユーザに通知し(ステップS12)、ユーザによる操作に応じて、第1および第2のプログラムの何れか一方にその受光部の使用を許可し(ステップS13)、第1のプログラムに使用が許可された場合に、受光部によって検出される光に応じた可視光通信を第1のプログラムがコンピュータに実行させる(ステップS14)。

Description

情報通信方法
 本発明は、スマートフォン、タブレット、携帯電話等の携帯端末と、エアコン、照明機器、炊飯器などの家電機器との通信方法に関する。
 近年のホームネットワークでは、Ethernet(登録商標)や無線LAN(Local Area Network)でのIP(Internet Protocol)接続によるAV家電の連携に加え、環境問題に対応した電力使用量の管理や、宅外からの電源ON/OFFといった機能を持つホームエネルギーマネジメントシステム(HEMS)によって、多様な家電機器がネットワークに接続される家電連携機能の導入が進んでいる。しかしながら、通信機能を有するには、演算力が十分ではない家電や、コスト面で通信機能の搭載が難しい家電などもある。
 このような問題を解決するため、特許文献1では、光を用いて自由空間に情報を伝達する光空間伝送装置において、照明光の単色光源を複数用いた通信を行うことで、限られた送信装置のなかで、効率的に機器間の通信を実現する技術が記載されている。
特開2002-290335号公報
 しかしながら、従来の光を用いた情報通信方法では、ユーザ・インターフェースが不十分であり、光を受信する端末のユーザに余計な操作をさせてしまうとう問題がある。
 そこで、本発明は、ユーザ・インターフェースの向上を図り、ユーザへの負担を軽減することができる情報通信方法を提供する。
 本発明の一形態に係る情報通信方法は、可視光通信を行う情報通信方法であって、光を検出する受光部を用いて可視光通信を行うための第1のプログラムと、前記受光部を用いて前記可視光通信と異なる処理を行うための第2のプログラムとによって、前記受光部の使用の競合が発生するか否かを判定する判定ステップと、競合が発生すると判定されたときには、前記競合が生じることを前記受光部のユーザに通知する通知ステップと、前記ユーザによる操作に応じて、前記第1および第2のプログラムの何れか一方に前記受光部の使用を許可する競合解決ステップと、前記第1のプログラムに使用が許可された場合に、前記受光部によって検出される光に応じた可視光通信を前記第1のプログラムがコンピュータに実行させる可視光通信ステップとを含む。
 なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
 本発明によれば、ユーザ・インターフェースの向上を図り、ユーザへの負担を軽減することができる情報通信方法を実現できる。
図1は、実施の形態1におけるシステム構成を示す図である。 図2は、実施の形態1における、プログラムを起動する端末の処理動作を示すフローチャートである。 図3は、実施の形態1における受光部使用情報の一例を示す図である。 図4は、実施の形態1における受光部使用中プログラム情報保持部に保持される受光部使用中プログラムリストの一例を示す図である。 図5は、実施の形態1における受光部競合情報の一例を示す図である。 図6は、実施の形態1における表示部に表示される、受光部競合情報に基づく通知画像の一例を示す図である。 図7は、実施の形態1における、図2のステップSC0112の詳細な処理動作を示すフローチャートである。 図8は、実施の形態1の変形例1に係るプログラムの受光部使用情報の一例を示す図である。 図9は、実施の形態1の変形例1に係る受光部使用中プログラムリストの一例を示す図である。 図10は、実施の形態1の変形例1に係る受光部競合情報の一例を示す図である。 図11は、実施の形態1の変形例1に係る通知画像の一例を示す図である。 図12は、実施の形態1の変形例2に係る、複数の受光部を同時に使用可能な端末が受光部使用プログラムを起動する処理動作の一例を示すフローチャートである。 図13は、実施の形態1の変形例2に係る受光制御部が保持する受光部リストの一例を示す図である。 図14は、実施の形態1の変形例2に係る、図12のステップSC0211において表示される通知画像の一例を示す図である。 図15は、実施の形態1の変形例2に係る、図12のステップSC0213の詳細な処理動作を示すフローチャートである。 図16は、実施の形態1の変形例3に係る端末の処理動作を示すフローチャートである。 図17は、実施の形態1の変形例3に係る表示部に表示される通知画像の一例を示す図である。 図18は、実施の形態2における受信機の使用例を示す図である。 図19は、実施の形態2における受信機の使用例を示す図である。 図20は、実施の形態2における、撮像によって得られる画像の一例を示す図である。 図21は、実施の形態2における、マークが枠線内に入ったときの様子を示す図である。 図22は、実施の形態2における受信機の他の使用例を示す図である。 図23は、実施の形態2における受信機の他の使用例を示す図である。 図24は、実施の形態2における、撮像によって得られる画像の他の例を示す図である。 図25は、実施の形態2における、マークが枠線内に入ったときの様子を示す図である。 図26は、実施の形態2における端末の処理動作を示すフローチャートである。 図27は、実施の形態3におけるシステム構成を示す図である。 図28は、実施の形態3における端末が可視光通信の可視光を受光して、利用可能なアプリケーションをユーザに通知する処理動作を示すフローチャートである。 図29は、実施の形態3における使用例を示す図である。 図30は、実施の形態3におけるデコードデータの一例を示す図である。 図31は、実施の形態3における利用可能アプリケーション一覧の一例を示す図である。 図32は、実施の形態3におけるインストール済みアプリケーションDBが保持する情報(インストール済みアプリケーション一覧)の一例を示す図である。 図33は、実施の形態3における表示部に表示される利用可能アプリケーションの一覧の一例を示す図である。 図34は、実施の形態3におけるサーバが、デコードデータを利用可能なアプリケーションを検索する処理動作を示すフローチャートである。 図35は、実施の形態3におけるデータ・アプリケーション対応DBが保持する情報の一例を示す図である。 図36は、実施の形態3の変形例に係るシステム構成を示す図である。 図37は、実施の形態3の変形例に係る端末が可視光通信の可視光を受光して、利用可能なアプリケーションをユーザに通知する処理動作を示すフローチャートである。 図38は、実施の形態3の変形例に係る利用可能アプリケーション一覧の一例を示す図である。 図39は、実施の形態3の変形例に係るインストール済みアプリケーションDBが保持する情報(インストール済みアプリケーション一覧)の一例を示す図である。 図40は、実施の形態3の変形例に係る表示部に表示されるインストール可能アプリケーションの一覧の一例を示す図である。 図41は、実施の形態3の変形例に係るデータ・アプリケーション対応DBが保持する情報の一例を示す図である。 図42は、実施の形態4におけるシステム構成を示す図である。 図43は、実施の形態4におけるモバイル端末の処理動作を示すフローチャートである。 図44は、実施の形態4におけるモバイル端末の表示を行う処理動作を示すフローチャートである。 図45は、実施の形態4におけるモバイル端末から情報取得要求を受けた場合のID対応情報変換サーバの処理動作を示すフローチャートである。 図46は、実施の形態4におけるモバイル端末がユーザのジェスチャー操作を検知する処理動作を示すフローチャートである。 図47は、実施の形態4におけるモバイル端末がジェスチャー操作によって可視光IDを選別する動作を説明するための図である。 図48は、実施の形態4におけるジャスチャー操作によって表示される詳細情報の選択を行う処理動作の一例を示す図である。 図49は、実施の形態4における受光ID選別部が保持するジェスチャー・モード対応テーブルの一例を示す図である。 図50は、実施の形態4における受光ID選別部が保持するID取り扱いテーブルの一例を示す図である。 図51は、実施の形態4におけるID対応情報データ保持部が保持するID・対応情報テーブルの一例を示す図である。 図52は、実施の形態4におけるモバイル端末の姿勢によって受光モードを決定する処理を説明するための図である。 図53Aは、本発明の一態様に係る情報通信方法のフローチャートである。 図53Bは、本発明の一態様に係る情報通信装置のブロック図である。 図54は、実施の形態5における発光部の輝度の観測方法の一例を示す図である。 図55は、実施の形態5における発光部の輝度の観測方法の一例を示す図である。 図56は、実施の形態5における発光部の輝度の観測方法の一例を示す図である。 図57Aは、実施の形態5における発光部の輝度の観測方法の一例を示す図である。 図57Bは、実施の形態5における発光部の輝度の観測方法の一例を示す図である。 図57Cは、実施の形態5における発光部の輝度の観測方法の一例を示す図である。 図57Dは、実施の形態5における発光部の輝度の観測方法の一例を示す図である。 図57Eは、実施の形態5における発光部の輝度の観測方法の一例を示す図である。 図57Fは、実施の形態5における発光部の輝度の観測方法の一例を示す図である。 図57Gは、実施の形態5における発光部の輝度の観測方法の一例を示す図である。 図57Hは、実施の形態5における発光部の輝度の観測方法の一例を示す図である。 図57Iは、実施の形態5における発光部の輝度の観測方法の一例を示す図である。 図58は、実施の形態5における発光部の輝度の観測方法の一例を示す図である。 図59は、実施の形態5における受信機の各モードの一例を示す図である。 図60は、各実施の形態に記載の受信方法を用いたサービス提供システムを示す図である。 図61は、サービス提供のフローを示すフローチャートである。 図62は、他の例におけるサービス提供を示すフローチャートである。 図63は、他の例におけるサービス提供を示すフローチャートである。
 スマートフォン等の端末を用いた可視光通信では、端末に付属するカメラ等の受光部を用いてデータが受信される。ここで、受光部が捉えた画像を端末のユーザに見せる必要はないため、受光部が捉えた画像をユーザに見せず、可視光通信プログラムをバックグラウンドで動かす、というケースが考えられる。なお、受光部を用いて処理を行うプログラムを、以下、受光部使用プログラムという。可視光通信プログラムは、受光部使用プログラムの一種であって、受光部を用いて可視光通信を行うプログラムである。
 ここで、可視光通信プログラムをバックグラウンドで動かしたまま、別の受光部使用プログラム(例えば撮影アプリケーションプログラム)が後から起動された場合、それらのプログラムによって受光部の使用の競合が生じる。このとき、その後から起動された受光部使用プログラムは、可視光通信プログラムによって既に確保されている受光部を確保することができず、強制終了されてしまうことがある。つまり、ユーザは、バックグラウンドで動いている可視光通信プログラムに気付かずに、自らが好む別の受光部使用プログラムを後から起動すると、その別の受光部使用プログラムが強制終了されるため、端末に原因不明の不具合が生じたと考え、端末に対していろいろな操作をしてしまう。このように、従来の情報通信方法では、ユーザ・インターフェースが不十分であり、余計な操作をユーザにさせてしまう。
 このような問題を解決するために、本発明の一態様に係る情報通信方法は、可視光通信を行う情報通信方法であって、光を検出する受光部を用いて可視光通信を行うための第1のプログラムと、前記受光部を用いて前記可視光通信と異なる処理を行うための第2のプログラムとによって、前記受光部の使用の競合が発生するか否かを判定する判定ステップと、競合が発生すると判定されたときには、前記競合が生じることを前記受光部のユーザに通知する通知ステップと、前記ユーザによる操作に応じて、前記第1および第2のプログラムの何れか一方に前記受光部の使用を許可する競合解決ステップと、前記第1のプログラムに使用が許可された場合に、前記受光部によって検出される光に応じた可視光通信を前記第1のプログラムがコンピュータに実行させる可視光通信ステップとを含む。
 例えば、第1のプログラムは可視光通信プログラムであり、第2のプログラムは受光部使用プログラムである。これにより、受光部の使用の競合が発生する場合には、その競合が生じることが受光部のユーザに通知され、ユーザの操作によって、何れかのプログラムに受光部の使用が許可されため、ユーザは、その受光部を備えた端末において生じている状況を容易に把握することができる。さらに、その状況を把握したうえで、ユーザは端末を操作することができるため、余計な操作をすることなく、受光部の使用の競合を簡単に解決することができる。その結果、ユーザ・インターフェースの向上を図り、ユーザへの負担を軽減することができる。
 また、前記通知ステップでは、さらに、前記受光部を使用する前記第1および第2のプログラムのうちの何れか一方を選択するための選択画面を表示し、前記競合解決ステップでは、前記ユーザによる前記選択画面に対する操作に応じて、前記第1および第2のプログラムのうちの何れか一方が選択された場合には、選択されたプログラムに前記受光部の使用を許可してもよい。
 これにより、ユーザは、受光部の使用が許可されるプログラムを自らの操作によって選択することができるため、受光部を使用する複数のプログラムの起動の順番に関わらず、所望のプログラムに受光部を使用させることができる。また、後から起動されたプログラムに受光部を使用させるために、先に起動されて受光部を使用していたプログラムを終了させるための操作をユーザがわざわざする必要がないため、ユーザの操作をさらに軽減することができる。
 なお、本発明は、次のような情報提供方法であってもよい。つまり、この情報提供方法は、受光部を確保したプログラムが実行中の状態で、受光部を使用する別のプログラムを起動した場合に、ユーザが受光部の使用を許可するプログラムを選択可能な情報を表示部に提供する情報提供方法であって、ユーザから指示を受けたプログラムを起動する起動ステップと、受光部を使用中のプログラムが存在するか否かを確認する確認ステップと、受光部が使用可能な場合に受光部を確保する確保ステップと、受光部を確保したことを記録する記録ステップと、受光部が確保できなかった場合にユーザに提示する受光部使用の競合情報を作成する競合情報作成ステップと、作成した競合情報を表示する表示ステップと、表示した競合情報からユーザが選択したプログラムを起動し、選択されなかったプログラムを終了する実行プログラム更新ステップと、を有する、情報提供方法である。
 また、前記通知ステップでは、前記第1および第2のプログラムのそれぞれがバックグラウンドで動作するか否かを示す情報を含む前記選択画面を表示してもよい。
 これにより、受光部を使用しようとするプログラムのそれぞれがバックグラウンドで動作するか否かがユーザに知らされるため、ユーザは、適切なプログラムに受光部を使用させることができる。
 また、前記競合解決ステップでは、前記ユーザによる操作に応じて、前記第1および第2のプログラムの何れか一方に他の受光部を割り当て、前記可視光通信ステップでは、前記第1のプログラムに前記他の受光部が割り当てられた場合には、前記他の受光部によって検出される光に応じた可視光通信を前記第1のプログラムが前記コンピュータに実行させてもよい。
 これにより、第1および第2のプログラムのそれぞれに受光部または他の受光部の使用が許可されるため、それらのプログラムの一方を終了させることなく、それぞれを同時に起動させておくことができる。したがって、可視光通信と、可視光通信と異なる処理とを並列に実行することができ、処理時間を短くすることができる。
 また、前記可視光通信ステップでは、前記可視光通信が実行されることによってデータを取得し、前記情報通信方法は、さらに、取得された前記データを利用することが可能な複数のアプリケーションプログラムから何れかのアプリケーションプログラムを選択するためのアプリケーション選択画面を表示するアプリケーション表示ステップと、前記ユーザによる前記アプリケーション選択画面に対する操作に応じて、何れかのアプリケーションプログラムが選択された場合には、選択されたアプリケーションプログラムが、前記データを用いた処理をコンピュータに実行させるアプリケーション実行ステップとを含んでもよい。
 これにより、可視光通信によって取得されたデータを適切なアプリケーションプログラムに処理させることができる。
 また、前記情報通信方法は、さらに、輝度変化により信号を送信する被写体を、前記受光部であるイメージセンサによって継続的に撮像する撮像ステップと、前記被写体を識別するための被写体像と枠線とを含む撮像画像を、撮像時における前記イメージセンサと前記被写体との位置関係に応じて前記撮像画像上の前記被写体像の位置を継続的に更新しながら、表示する撮像画像表示ステップと、前記被写体像が前記枠線内に収まるか否かを判定する被写体判定ステップとを含み、前記可視光通信ステップでは、前記枠線内に前記被写体像が収まると判定されたときに、前記被写体から送信される信号の受信を前記第1のプログラムが前記コンピュータに実行させてもよい。
 これにより、輝度変化により信号を送信する複数の被写体が寄り集まって存在する場合でも、所望の被写体の被写体像を枠線内に収めるだけで、その被写体のみからの信号を簡単に受信することができる。
 また、前記情報通信方法は、さらに、輝度変化により信号を送信する複数の被写体を、前記受光部であるイメージセンサによって撮像する撮像ステップと、撮像によって得られる、前記複数の被写体のそれぞれの像を含む撮像画像を表示する表示ステップと、前記イメージセンサを備えた端末装置が振られたか否かを判定するジェスチャー判定ステップとを含み、前記可視光通信ステップでは、前記複数の被写体のそれぞれから送信される信号の受信を前記第1のプログラムが前記コンピュータに実行させ、前記表示ステップでは、前記複数の被写体のそれぞれから送信されて受信された信号のうち、何れかの被写体からの信号に応じて生成される画像であって、当該被写体に関する内容を示す画像である内容通知画像を、当該被写体の像に対応付けた状態で前記撮像画像に重畳し、前記端末装置が振られたと判定されたときには、振られた方向にある他の被写体からの信号に応じて生成される画像であって、当該他の被写体に関する内容を示す画像である他の内容通知画像を、当該他の被写体の像に対応付けた状態で前記撮像画像に重畳してもよい。
 これにより、例えば、被写体に関する内容(詳細情報)が吹き出しの中に記述された内容通知画像が、その被写体の像に対応付けられた状態で表示されるため、ユーザは、その被写体に関する内容を適切に把握することができる。また、端末装置を振ることによって、内容通知画像が表示される対象となる被写体を簡単に切り替えることができる。さらに、その対象は、端末装置が振られた方向にある被写体に切り替えられるため、ユーザに直感的にその切り替えをさせることができ、ユーザ・インターフェースをさらに向上することができる。
 また、前記表示ステップでは、さらに、前記複数の被写体の像のうち、前記内容通知画像または前記他の内容通知画像が対応付けられた被写体の像を除く、残りの被写体の像のそれぞれに対しては、当該残りの被写体に関する内容を提示することが可能であることを通知するための提示可能通知画像を前記撮像画像に重畳してもよい。
 これにより、内容通知画像(他の内容通知画像)が表示されていない被写体の像には、例えば詳細情報が記述されていない小さい吹き出しの形をした提示可能通知画像が表示されるため、ユーザは、端末装置を振ることによって、その被写体に関する内容(詳細情報)を内容通知画像として表示させることができると判断することができる。
 また、前記情報通信方法は、さらに、複数の露光ラインを有するイメージセンサの各露光ラインの露光を順次異なる時刻で開始し、かつ、前記各露光ラインの露光時間が、隣接する露光ラインとの間で、部分的に時間的な重なりを持つように、第1の露光時間で撮影を行うことにより第1の画像データを取得する通常撮影ステップを含み、前記可視光通信ステップでは、前記各露光ラインの露光を順次異なる時刻で開始し、かつ、前記各露光ラインの露光時間が、隣接する露光ラインとの間で、部分的に時間的な重なりを持つように、前記第1の露光時間よりも短い第2の露光時間で撮影を行うことにより第2の画像データを取得し、前記第2の画像データに現れる、前記各露光ラインに対応する輝線パターンを復調することにより情報を取得し、前記可視光通信ステップは、前記第2の露光時間を、1/480秒以下に設定することにより、前記輝線パターンを前記第2の画像データに発生させてもよい。
 これにより、後述の実施の形態5に示すように、1/480秒以下に第2の露光時間が設定されることにより、適切な輝線パターンを画像データに発生させ、高速の信号伝送を行うことが可能となる。
 また、前記情報通信方法は、さらに、情報の配信の依頼を依頼者から受け付ける処理を行う依頼受け付けステップと、前記第1のプログラムによる前記可視光通信によって受信された信号に対応する対応情報として、依頼された前記情報を配信する配信ステップと、前記情報の配信に応じて、前記依頼者に課金するための情報処理を行う課金ステップとを含んでもよい。
 これにより、後述の実施の形態6に示すように、可視光通信を伴う情報提供において適切な課金処理を行うことができる。
 なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
 以下、実施の形態について、図面を参照しながら具体的に説明する。
 なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
 (実施の形態1)
 本実施の形態における情報通信方法は、受光部使用プログラムの一種である可視光通信プログラムが既に起動している状態で、別の受光部使用プログラムが起動されることによって、受光部の使用の競合が発生した場合に、受光部の使用が許可されるプログラムをユーザに選択させる方法である。
 図1は、本実施の形態におけるシステム構成を示す図である。
 データ送信照明C0100は、光を使ってデータを送信する。つまり、データ送信照明は、可視光通信を行う照明機器であって、輝度変化によって信号を送信する。
 端末C0200は、ハードウェア部C0203、プラットフォーム部C0202、およびアプリケーション部C0201を有する。ハードウェア部C0203は、データ送信照明C0100が発する光を受光(検出)するとともに、受光時のシャッター速度(露光時間)を変更することが可能である受光部C0203aと、ユーザに情報を表示する表示部C0203bと、ユーザからの入力を受け取る入力部C0203cとを有する。受光部C0203aは、端末C0200に複数備えられてもよい。プラットフォーム部C0202は、受光部C0203aの受光の開始と終了、および受光部C0203aのシャッター速度を制御する機能を有する受光制御部C0202aと、表示部C0203bを制御する表示制御部C0202bと、入力部C0203cを制御する入力制御部C0202cと、アプリケーション部C0201が持つプログラムを制御するプログラム制御部C0202dと、受光部C0203aを使用しているプログラムの情報を保持する受光部使用中プログラム情報保持部C0202eとを有する。
 アプリケーション部C0201は、可視光通信プログラムC0201aと、可視光通信プログラムC0201aとは異なる受光部使用プログラムC0201bとを有する。可視光通信プログラムC0201aは、受光制御部C0202aを用いて、受光部C0203aのシャッター速度を変更する機能を有する。また、可視光通信プログラムC0201aは、受光制御部C0202aを介して、受光部C0203aから、データ送信照明C0100が発する光に応じたデータを取得する機能を有する。また、可視光通信プログラムC0201aは、データ送信照明C0100から取得したデータを基に、Webサーバへの問い合わせを行い、Webサーバから更に付加的な情報を取得する機能を有する場合がある。また、可視光通信プログラムC0201aと受光部使用プログラムC0201bとは、それぞれ端末C0200に複数備えられてもよい。
 図2は、プログラムを起動する端末C0200の処理動作を示すフローチャートである。
 まず、端末C0200の入力部C0203cは、可視光通信プログラムC0201aまたは受光部使用プログラムC0201bを起動する指示(起動指示またはプログラム起動指示)を受ける(ステップSC0102)。プログラム制御部C0202dは、入力制御部C0202cを介して、ユーザの起動指示を受け取り、起動が指示されたプログラムを起動する(ステップSC0103)。その次に、プログラム制御部C0202dは、起動されたプログラムが受光部C0203aを使用するか否かを、そのプログラムの受光部使用情報に含まれる、受光部使用有無を示す情報に基づいて判定する(ステップSC0104)。
 図3は、受光部使用情報の一例を示す図である。
 プログラムの受光部使用情報は、図3の(a)に示すように、プログラムID_ID0501と、そのプログラムID_ID0501によって識別されるプログラムの名称であるプログラム名C0502と、そのプログラムが受光部を使用するか否か(受光部使用有無)を示す情報C0503と、そのプログラムによって使用される受光部を識別するための使用受光部ID_C0504とを含む。また、他のプログラムの受光部使用情報は、図3の(b)に示すように、プログラムID_ID0505と、そのプログラムID_ID0505によって識別されるプログラムの名称であるプログラム名C0506と、そのプログラムが受光部を使用するか否か(受光部使用有無)を示す情報C0507と、そのプログラムによって使用される受光部を識別するための使用受光部ID_C0508とを含む。
 なお、図3に示すプログラムID(C0501、C0505)は、文字と数字の組合せ以外に、数字のみ、文字のみ、記号のみ、数字と記号の組合せ、文字と記号の組合せ、または、数字と文字と記号の組合せで表現されても良い。また、図3に示すプログラム名(C0502、C0506)は、文字のみ、文字と数字の組合せ、数字のみ、記号のみ、数字と記号の組合せ、文字と記号の組合せ、または、数字と文字と記号の組合せで表現されても良い。図3に示す受光部使用有無を示す情報(C0503、C0507)は、文字以外に、数字のみ、記号のみ、文字と数字の組合せ、数字と記号の組合せ、文字と記号の組合せ、または、数字と文字と記号の組合せで表現されても良い。図3に示す使用受光部ID(C0504、C0508)は、数字以外に、文字のみ、記号のみ、文字と数字の組合せ、数字と記号の組合せ、文字と記号の組合せ、または、数字と文字と記号の組合せで表現されても良い。
 図2に示すステップSC0104において、起動されたプログラムが受光部C0203aを使用すると判定された場合、つまり、起動されたプログラムの受光部使用情報に、受光部を使用することが明記されている場合(ステップSC0104のYES)、プログラム制御部C0202dは、受光部C0203aを現在使用しているプログラムがあるか否かを判定するために、言い換えれば、受光部C0203aの使用の競合が発生するか否かを判定するために、受光部使用中プログラム情報保持部C0202eが保持する受光部使用中プログラムリストを確認する(ステップSC0105)。プログラム制御部C0202dは、その確認結果に基づいて、光を検出する受光部C0203aを用いて可視光通信を行うための可視光通信プログラムC0201aと、受光部C0203aを用いて可視光通信と異なる処理を行うための受光部使用プログラムC0201bとによって、受光部C0203aの使用の競合が発生するか否かを判定する(ステップSC0106)。ここで、競合が発生しないと判定される場合、つまり、受光部C0203aを使用しているプログラムがないと判定された場合(ステップSC0106のYES)、プログラム制御部C0202dは、受光制御部C0202aを介して、受光部C0203aを確保する(ステップSC0107)。その後、プログラム制御部C0202dは、起動したプログラムの情報を、受光部使用中プログラム情報保持部C0202eが保持する受光部使用中プログラムリストに登録する。
 図4は、受光部使用中プログラム情報保持部C0202eに保持される受光部使用中プログラムリストの一例を示す図である。
 受光部使用中プログラムリストは、図4に示すように、受光部C0203aを使用しているプログラムを識別するためのプログラムID_C1701と、そのプログラムの名称であるプログラム名C1702と、使用されている受光部C0203aを識別するための使用受光部ID_C1703とを含む。なお、図4に示すプログラムID_C1701は、数字と文字の組合せ以外に、数字のみ、文字のみ、記号のみ、数字と記号の組合せ、文字と記号の組合せ、または、数字と文字と記号の組合せで表現されても良い。また、図4に示すプログラム名C1702は、数字と文字の組合せ以外に、数字のみ、文字のみ、記号のみ、数字と記号の組合せ、文字と記号の組合せ、または、数字と文字と記号の組合せで表現されてもよい。また、図4に示す使用受光部ID_C1703は、数字以外に、文字のみ、記号のみ、数字と文字の組合せ、数字と記号の組合せ、または、数字と文字と記号の組合せで表現されてもよい。
 図2に示すステップSC0106において、競合が発生すると判定された場合、つまり、受光部使用中プログラムリストに受光部C0203aを使用しているプログラムが登録されている場合(ステップSC0106のNO)、プログラム制御部C0202dは、その受光部使用中プログラムリストを使って、受光部競合情報を作成する(ステップSC0109)。さらに、プログラム制御部C0202dは、表示制御部C0202bを介して、その受光部競合情報に基づく通知画像を表示部C0203bに表示させる(ステップSC0110)。
 図5は、受光部競合情報の一例を示す図である。
 受光部競合情報は、図5に示すように、受光部C0203aを使用しようとするプログラムごとに、そのプログラムのプログラムID_C0301と、そのプログラムのプログラム名C0302と、そのプログラムによる受光部C0203aの使用状況を示す情報C0303と、そのプログラムが使用しようとする受光部C0203aを識別するための使用受光部ID_C0304とを含む。なお、図5に示すプログラムID_C0301は、数字と文字の組合せ以外に、数字のみ、文字のみ、記号のみ、数字と記号の組合せ、文字と記号の組合せ、または、数字と文字と記号の組合せで表現されても良い。また、図5に示すプログラム名C0302は、数字と文字の組合せ以外に、数字のみ、文字のみ、記号のみ、数字と記号の組合せ、文字と記号の組合せ、または、数字と文字と記号の組合せで表現されても良い。また、図5に示す受光部使用状況を示す情報C0303は、文字以外に、数字のみ、記号のみ、数字と文字の組合せ、数字と記号の組合せ、文字と記号の組合せ、または、数字と文字と記号の組合せで表現されても良い。また、図5に示す使用受光部IDC0304は、数字以外に、文字のみ、記号のみ、数字と文字の組合せ、数字と記号の組合せ、文字と記号の組合せ、または、数字と文字と記号の組合せで表現されても良い。
 図6は、表示部C0203bに表示される、受光部競合情報に基づく通知画像の一例を示す図である。
 表示部C0203bは、受光部(例えばカメラ)を複数のプログラム(アプリケーションプログラム)が使用しているため、受光部を使用するプログラムをユーザに選択させるための画像C0401を通知画像として表示する。このような通知画像が表示されることによって、受光部C0203aを具備する端末C0200のユーザに、競合が生じることが通知される。また、この通知画像は、受光部C0203aを使用する可視光通信プログラムC0201aおよび受光部使用プログラムC0201bのうちの何れか一方を選択するための選択画面である。
 図2に示すステップSC0110の後、ユーザから入力部C0203cに、使用するプログラムの選択結果が入力されると(ステップSC0111のYES)、プログラム制御部C0202dは、入力制御部C0202cを介して、ユーザの選択結果を受け取り、選択されなかったプログラムを終了し、選択されたプログラムに受光部を確保させる(ステップSC01112)。
 図7は、図2に示すステップSC0112の詳細な処理動作を示すフローチャートである。
 プログラム制御部C0202dは、まず、後から起動されたプログラムがユーザによって選択されたか否かを判定する(ステップSC0112b)。ここで、プログラム制御部C0202dは、先に起動されたプログラムが選択されたと判定すると(ステップSC0112bのNO)、後から起動されたプログラムを終了する(ステップSC0112h)。一方、後から起動されたプログラムが選択されたと判定すると(ステップSC0112bのYES)、プログラム制御部C0202dは、先に起動されたプログラムによって確保されている受光部C0203aを解放し(ステップSC0112c)、受光部使用中プログラム情報保持部C0202eの受光部使用中プログラムリストをクリアする(ステップSC0112d)。そして、プログラム制御部C0202dは、選択されなかったプログラムを終了する(ステップSC0112e)。そして、プログラム制御部C0202dは、受光制御部C0202aを介して、受光部C0203aを確保する(ステップSC0112f)。最後に、プログラム制御部C0202dは、ユーザが選択したプログラムを、受光部使用中プログラム情報保持部C0202eの受光部使用中プログラムリストに登録する(ステップSC0112g)。
 なお、図2に示すステップSC0111によって、可視光通信プログラムC0201aが選択された場合には、ステップSC0112では、プログラム制御部C0202dは、可視光通信プログラムC0201aに受光部C0203aの使用を許可する。受光部C0203aの使用が許可された可視光通信プログラムC0201aは、自らに確保された受光部C0203aによって検出される光に応じた可視光通信を端末C0200のコンピュータに実行させる。
 このように、本実施の形態では、受光部C0203aの使用の競合が発生する場合には、その競合が生じることが受光部C0203aのユーザに通知され、ユーザの操作によって、何れかのプログラムに受光部C0203aの使用が許可されため、ユーザは、その受光部C0203aを備えた端末C0200において生じている状況を容易に把握することができる。さらに、その状況を把握したうえで、ユーザは端末C0200を操作することができるため、余計な操作をすることなく、受光部C0203aの使用の競合を簡単に解決することができる。その結果、ユーザ・インターフェースの向上を図り、ユーザへの負担を軽減することができる。
 (変形例1)
 本変形例に係る情報通信方法は、受光部の使用の競合が発生した場合に、受光部使用プログラムがバックグラウンドで動作するかフォアグラウンドで動作するかを示す情報を用いて、受光部の使用が許可されるプログラムをユーザに選択させる方法である。なお、実施の形態1で既に説明された図においては、重複して説明しない。
 図8は、本変形例に係るプログラムの受光部使用情報の一例を示す図である。なお、この受光部使用情報は、図3に示す受光部使用情報と同様、図2に示すフローチャートのステップSC0104において、受光部C0203aを使用するか否かの判定に使用される。
 本変形例に係る受光部使用情報は、図8の(a)および(b)に示すように、図3に示す受光部使用情報と異なり、動作形式を示す情報(C0605、C0610)を含む。この動作形式を示す情報は、対象とされる受光部使用プログラムが、そのプログラムに応じた画面が表示部C0203bに常に表示される態様であるフォアグラウンドで動作するか、その画面が表示部C0203bに表示されない(端末C0200のユーザからはその画面が見えない)態様であるバックグラウンドで動作するかを示す情報である。
 なお、図8に示すプログラムID(C0601、C0606)は、文字と数字の組合せ以外に、数字のみ、文字のみ、記号のみ、数字と記号の組合せ、文字と記号の組合せ、または、数字と文字と記号の組合せで表現されても良い。また、図8に示すプログラム名(C0602、C0607)は、文字のみ、文字と数字の組合せ、数字のみ、記号のみ、数字と記号の組合せ、文字と記号の組合せ、または、数字と文字と記号の組合せで表現されても良い。図8に示す受光部使用有無を示す情報(C0603、C0608)は、文字以外に、数字のみ、記号のみ、文字と数字の組合せ、数字と記号の組合せ、文字と記号の組合せ、または、数字と文字と記号の組合せで表現されても良い。図8に示す使用受光部ID(C0604、C0609)は、数字以外に、文字のみ、記号のみ、文字と数字の組合せ、数字と記号の組合せ、文字と記号の組合せ、または、数字と文字と記号の組合せで表現されても良い。また、図8に示す動作形式を示す情報(C0605、C0610)は、文字以外に、数字、記号、数字と文字の組合せ、数字と記号の組合せ、文字と記号の組合せ、または、数字と文字と記号の組合せで表現されても良い。
 図9は、本変形例に係る受光部使用中プログラムリストの一例を示す図である。
 本変形例に係るプログラム制御部C0202dは、図8に示す形式の受光部使用情報を使用し、図2に示すフローチャートのステップSC0108において、受光部使用中プログラム情報保持部C0202eに、図9に示す受光部使用中プログラムリストを登録する。
 本変形例に係る受光部使用中プログラムリストは、図4に示す受光部使用中プログラムリストと異なり、動作形式を示す情報C0704を含む。この動作形式を示す情報C0704は、受光部C0203aを確保した受光部使用プログラムが、そのプログラムに応じた画面が表示部C0203bに常に表示される態様であるフォアグラウンドで動作するか、その画面が表示部C0203bに表示されない(端末C0200のユーザからはその画面が見えない)態様であるバックグラウンドで動作するかを示す情報である。
 なお、図9に示すプログラムID_C0701は、文字と数字の組合せ以外に、数字のみ、文字のみ、記号のみ、数字と記号の組合せ、文字と記号の組合せ、または、数字と文字と記号の組合せで表現されても良い。また、図9に示すプログラム名C0702は、文字のみ、または、文字と数字の組合せ以外に、数字のみ、記号のみ、数字と記号の組合せ、文字と記号の組合せ、または、数字と文字と記号の組合せで表現されても良い。図9に示す使用受光部ID_C0703は、数字以外に、文字のみ、記号のみ、文字と数字の組合せ、数字と記号の組合せ、文字と記号の組合せ、または、数字と文字と記号の組合せで表現されても良い。また、図9に示す動作形式を示す情報C0704は、文字以外に、数字、記号、数字と文字の組合せ、数字と記号の組合せ、文字と記号の組合せ、または、数字と文字と記号の組合せで表現されても良い。
 図10は、本変形例に係る受光部競合情報の一例を示す図である。
 本変形例に係るプログラム制御部C0202dは、図9に示す形式の受光部使用中プログラムリストを使用し、図2に示すフローチャートのステップSC0109において、図10に示す受光部競合情報を作成する。
 本変形例に係る受光部競合情報は、図5に示す受光部競合情報と異なり、動作形式を示す情報C0805を含む。この動作形式を示す情報C0805は、受光部C0203aの使用において競合したプログラムがフォアグラウンドで動作するか、バックグラウンドで動作するかを示す情報である。なお、図10に示すプログラムID_C0801は、数字と文字の組合せ以外に、数字のみ、文字のみ、記号のみ、数字と記号の組合せ、文字と記号の組合せ、または、数字と文字と記号の組合せで表現されても良い。また、図10に示すプログラム名C0802は、数字と文字の組合せ以外に、数字のみ、文字のみ、記号のみ、数字と記号の組合せ、文字と記号の組合せ、または、数字と文字と記号の組合せで表現されても良い。また、図10に示す受光部使用状況を示す情報C0803は、文字以外に、数字のみ、記号のみ、数字と文字の組合せ、数字と記号の組合せ、文字と記号の組合せ、または、数字と文字と記号の組合せで表現されても良い。また、図10に示す使用受光部ID_C0804は、数字以外に、文字のみ、記号のみ、数字と文字の組合せ、数字と記号の組合せ、文字と記号の組合せ、または、数字と文字と記号の組合せで表現されても良い。また、図10に示す動作形式を示す情報C0805は、文字以外に、数字、記号、数字と文字の組合せ、数字と記号の組合せ、文字と記号の組合せ、または、数字と文字と記号の組合せで表現されても良い。
 図11は、本変形例に係る通知画像の一例を示す図である。
 図10に示す受光部競合情報が使われる場合、図2に示すフローチャートのステップSC0110では、表示部C0203bは、図11に示す通知画像C0901を表示する。この通知画像C0901には、図6に示す通知画像C0401と違い、バックグラウンドで動作する受光部使用プログラムに対して、「バックグラウンドで動作」という文言が明記されている。バックグラウンドで動作する受光部使用プログラムに対してその文言が明記されていることで、ユーザは、どの受光部使用プログラムであれば、受光部C0203aを使用しないプログラムと同時に実行できるかを判断した上で、どの受光部使用プログラムを使用するかを選択できる。なお、図11に示す通知画像C0901は、図10に示す受光部競合情報を用いて表示される一例であり、バックグラウンドで動作するか否かを示す代わりに、受光部C0203aを使用しないプログラムと同時に実行できるか否かを示していても良い。また、通知画像C0901は、バックグラウンドで動作する受光部使用プログラムではなく、フォアグラウンドで動作する受光部使用プログラムに対して、フォアグラウンドで動作することを示していても良い。また、通知画像C0901は、フォアグラウンドで動作する受光部使用プログラムに対して、受光部C0203aを使用しない他のプログラムと同時に実行できないことを示していても良い。また、受光部C0203aを使用しない他のプログラムと同時に実行可能か否かをユーザに伝えるためには、文章による説明以外に、プログラム名のテキストの文字色、プログラム名を記載した箇所の背景色、または、プログラム名の記載箇所へのマークの付与を利用しても良い。
 このように、本変形例では、受光部C0203aを使用しようとするプログラムのそれぞれがバックグラウンドで動作するか否かがユーザに知らされるため、ユーザは、適切なプログラムに受光部C0203aを使用させることができる。
 (変形例2)
 本変形例における情報通信方法は、複数の受光部を1つまたは複数のプログラムが同時に使用できる端末において、受光部の使用の競合が発生した場合に、何れのプログラムに何れの受光部の使用を許可するかをユーザに選択させる方法である。なお、実施の形態1およびその変形例1ですでに説明された図においては、重複して説明しない。また、本変形例に係る端末C0200は、例えば2つの受光部C0203aを備え、一方の受光部C0203aは端末C0200の前面に配設され、他方の受光部C0203aは端末C0200の背面に配設されている。
 図12は、複数の受光部を同時に使用可能な端末C0200が受光部使用プログラムを起動する処理動作の一例を示すフローチャートである。
 本変形例に係る端末C0200の処理動作は、以下の点で図2に示す処理動作と異なる。その異なる点は、起動されたプログラムの受光部使用情報から使用する受光部を特定する点(ステップSC0205)と、受光部使用中プログラム情報保持部C0202eが保持する受光部使用中プログラムリストに記載されている使用中の受光部と、後に起動されたプログラムの受光部使用情報に掲載されている受光部が一致するか否かを確認する点(ステップSC0207)と、受光部競合情報の作成に、受光部使用中プログラムリストに加え、受光部リストを使う点(ステップSC0210)と、ユーザからの入力の種類に、各プログラムに割り当てられる受光部の選択と、プログラムの終了の指示との2種類がある点(ステップSC0212、SC0213、SC0214)である。
 図12のステップSC0207において、プログラム制御部C0202dは、受光部使用中プログラム情報保持部C0202eの受光部使用中プログラムリストに記載されている使用中の受光部(使用受光部ID)と、後に起動されたプログラムの受光部使用情報に掲載されている受光部(使用受光部ID)とが一致しないか否かを判定する。つまり、プログラム制御部C0202dは、受光部の使用の競合が発生するか否かを判定する。ここで、一致しないと判定される場合(ステップSC0207のYES)、つまり、競合が発生しないと判定される場合、後から起動されたプログラムは、受光部使用情報に記載の使用受光部IDによって示される受光部を使用できる。このため、プログラム制御部C0202dは、受光部使用情報に記載されている使用受光部IDによって示される受光部を確保し(ステップSC0208)、起動されたプログラムの情報を受光部使用中プログラム情報保持部C0202eに登録する(ステップSC0209)。
 一方、受光部使用中プログラム情報保持部C0202eの受光部使用中プログラムリストに記載されている使用中の受光部(使用受光部ID)と、後に起動されたプログラムの受光部使用情報に掲載されている受光部(使用受光部ID)が一致すると判定される場合(ステップSC0207のNO)、つまり、競合が発生すると判定される場合、後から起動されたプログラムは、その受光部使用情報に掲載されている使用受光部IDによって示される受光部を使用できない。したがって、プログラム制御部C0202dは、受光制御部C0202aが保持する受光部リストと、受光部使用中プログラム情報保持部C0202eに登録されている受光部使用中プログラムリストを使って、受光部競合情報を作成する(ステップSC0210)。さらに、プログラム制御部C0202dは、表示制御部C0202bを介して、その受光部競合情報に基づく通知画像を表示部C0203bに表示させる(ステップSC0211)。
 図13は、受光制御部C0202aが保持する受光部リストの一例を示す図である。受光部リストは、端末C0200に備えられている受光部ごとに、受光部を識別するための受光部ID_C1001と、その受光部が付いている端末C0200の面を示す情報C1002と、現時点のその受光部の使用状況を示す情報C1003とを含む。なお、図13に示す受光部ID_C1001は、数字以外に、文字のみ、記号のみ、文字と数字の組合せ、数字と記号の組合せ、文字と記号の組合せ、または、数字と文字と記号の組合せで表現されても良い。また、図13の、受光部が付いている端末の面を示す情報C1002は、文字以外に、端末の面を表す文字のみ、端末の面を表す記号のみ、端末の面を表す文字と数字の組合せ、端末の面を表す数字と記号の組合せ、端末の面を表す文字と記号の組合せ、または、端末の面を表す数字と文字と記号の組合せで表現されても良い。また、図13に示す受光部の使用状況を示す情報C1003は、文字以外に、受光部の使用状況を表す数字のみ、受光部の使用状況を表す記号のみ、受光部の使用状況を表す文字と数字の組合せ、受光部の使用状況を表す数字と記号の組合せ、受光部の使用状況を表す文字と記号の組合せ、または、受光部の使用状況を表す数字と文字と記号の組合せで表現されても良い。
 図14は、図12に示すステップSC0211において表示される通知画像の一例を示す図である。この通知画像C1101は、受光部C0203aを使用しようとしているプログラムが複数あることをユーザに通知するとともに、対象とされるプログラムに使用させる受光部C0203a(前面または背面)の選択、または、そのプログラム(アプリケーションプログラム)の終了をユーザに促す。
 図12のステップSC0211において通知画像C1101が表示されると、端末C0200のユーザは、受光部C0203aの使用を競合しているプログラムにどの受光部C0203aを割り当てるか、または受光部C0203aの使用を競合しているプログラムを終了するかを選択する。これにより、その選択結果が入力部C0203cに対して入力される。プログラム制御部C0202dは、入力制御部C0202cを介して、ユーザの選択結果が入力されたか否かを判定する(ステップSC0212)。ここで、プログラム制御部C0202dは、入力されたと判定したときには(ステップSC0212のYES)、その選択結果を受け取り、その選択結果に応じて、使用する受光部を選択する(ステップSC0213)。
 図15は、図12に示すステップSC0213の詳細な処理動作を示すフローチャートである。プログラム制御部C0202dは、まず、対象とされているプログラムに対して、ユーザによって何が選択されたかを判定する(ステップSC0213b)。ここで、他のプログラムで使用されている受光部が、対象とされているプログラムに対して選択されたと判定された場合、プログラム制御部C0202dは、他のプログラムが確保済みの受光部C0203aを解放し(ステップSC0213c)、受光部使用中プログラム情報保持部C0202eに登録されている、他のプログラムの情報を受光部使用中プログラムリストからクリアする(ステップSC0213d)。そして、プログラム制御部C0202dは、確保済みの受光部が解放されたプログラム(他のプログラム)の情報を、受光部競合情報に追加する(ステップSC0213e)。そして、プログラム制御部C0202dは、受光制御部C0202aを介して、対象とされているプログラムに対して受光部を確保する(ステップSC0213f)。最後に、プログラム制御部C0202dは、対象とされているプログラムの情報を、受光部使用中プログラム情報保持部C0202eの受光部使用中プログラムリストに登録する(ステップSC0213g)。
 一方、ステップSC0213bにおいて、ユーザによってプログラムの終了が選択されたと判定された場合、プログラム制御部C0202dは、対象とされているプログラムを終了する(ステップSC0213h)。また、ステップSC0213bにおいて、対象とされているプログラムが確保済みの受光部がユーザによって選択されたと判定された場合、プログラム制御部C0202dは何もせず処理を抜ける。
 以上の処理を実行後、プログラム制御部C0202dは、受光部競合情報から、受光部C0203aを選択したプログラム、または終了されたプログラムに関する情報を削除する(ステップSC0213i)。
 そして、図12に示すステップSC0214において、プログラム制御部C0202dは、受光部競合情報に含まれる全ての情報が削除されたか否かを判定する(ステップSC0214)。ここで、受光部競合情報に、受光部C0203aの使用が競合している情報が残っている場合、プログラム制御部C0202dは、残っている情報について、図12に示すステップSC0211からの処理を実行する。つまり、プログラム制御部C0202dは、対象とされるプログラムを変えて、ステップSC0211からの処理を実行する。一方、受光部競合情報に含まれる全ての情報が削除された場合、プログラム制御部C0202dは、処理を終了する。
 このように、本変形例では、ユーザによる操作に応じて、例えば端末C0200の前面にある受光部C0203aの使用を競合する可視光通信プログラムC0201aおよび受光部使用プログラムC0201bのうちの何れか一方に、端末C0200の背面にある受光部C0203aを割り当てることによって、その競合を解決する。そして、可視光通信プログラムC0201aに背面の受光部C0203aが割り当てられた場合には、背面の受光部C0203aによって検出される光に応じた可視光通信を可視光通信プログラムC0201aがコンピュータに実行させる。
 これにより、可視光通信プログラムC0201aおよび受光部使用プログラムC0201bのそれぞれに背面の受光部C0203aまたは前面の受光部C0203aの使用が許可されるため、それらのプログラムの一方を終了させることなく、それぞれを同時に起動させておくことができる。したがって、可視光通信と、可視光通信と異なる処理とを並列に実行することができ、処理時間を短くすることができる。
 (変形例3)
 本変形例に係る情報通信方法は、受光部の使用の競合が発生した場合に、その競合が発生したことをユーザに通知するとともに、ユーザの確認が得られた後に、後から起動された受光部使用プログラムを終了させる方法である。なお、実施の形態1とその変形例1および2ですでに説明された図においては、重複して説明しない。
 図16は、本変形例における端末C0200の処理動作を示すフローチャートである。
 本変形例に係る端末C0200の処理動作は、表示部C0203bに表示した通知画像に対するユーザからの入力として、どのプログラムに受光部の使用を許可するかではなく、受光部競合情報を確認したか否かの情報を受け取る点(ステップSC0311)で、図2に示す処理動作と異なる。
 図16に示すステップSC0306において、受光部C0203aの競合が確認された場合、プログラム制御部C0202dは、受光部使用中プログラムリストを基に、受光部競合情報を作成する(ステップSC0309)。さらに、プログラム制御部C0202dは、表示制御部C0202bを介して、その受光部競合情報に応じた通知画像を表示部C0203bに表示させる。
 図17は、本変形例に係る表示部C0203bに表示される通知画像の一例を示す図である。この通知画像C1201は、受光部C0203aを使用しようとしているプログラムが複数あることをユーザに通知するとともに、後から起動されたプログラムの終了の確認をユーザに促す。このような通知画像が表示されることによって、受光部C0203aを具備する端末C0200のユーザに、競合が生じることが通知される。
 プログラム制御部C0202dは、入力部C0203cおよび入力制御部C0202cを介して、ユーザの確認を意味する入力を受け取った後、ステップSC0303で起動されたプログラム(後から起動されたプログラム)を終了する(ステップSC0312)。
 このような本変形例においても、実施の形態1と同様、受光部C0203aの使用の競合が発生する場合には、その競合が生じることが受光部C0203aのユーザに通知され、ユーザの操作によって、先に起動されているプログラムに受光部の使用が許可されため、ユーザは、その受光部C0203aを備えた端末C0200において生じている状況を容易に把握することができる。さらに、その状況を把握したうえで、ユーザは端末C0200を操作することができるため、余計な操作をすることなく、受光部C0203aの使用の競合を簡単に解決することができる。その結果、ユーザ・インターフェースの向上を図り、ユーザへの負担を軽減することができる。
 (実施の形態2)
 本実施の形態における情報通信方法は、例えばスマートフォン(多機能携帯電話)として構成される受信機が、輝度変化する被写体を撮像することによって得られる画像に基づいて、その輝度変化によって示される情報を取得する方法である。ここで、受信機は、撮像によって得られる画像において、予め定められた枠線内に、被写体の位置を示すマークが収まる場合に、その被写体の輝度変化によって示される情報を取得する。
 図18および図19は、本実施の形態における受信機の使用例を示す図である。
 スマートフォンとして構成される受信機C1300のユーザは、自らが興味を持つ看板C1320を見つける。この看板C1320は、データ送信照明C0100の一例であって、輝度変化によって信号を送信している。ユーザは、受信機C1300のカメラ(受光部)を看板C1320に向け、その看板C1320を被写体として撮像する。なお、本実施の形態における受信機C1300は、実施の形態1の端末C0200と同一の構成を有し、可視光通信プログラムC0201aを用いて可視光通信を行ってもよい。
 図20は、撮像によって得られる画像の一例を示す図である。
 受信機C1300は、看板C1320を撮像することによって、受信機C1300のディスプレイ上に、枠線C1302と、看板C1320の位置を示すマークC1301とを表示する。つまり、マークC1301と枠線C1302とを含む撮像画像が、受信機C1300のディスプレイに表示される。また、マークC1301は、被写体である看板C1320を識別するための被写体像であり、枠線C1302は、ディスプレイの予め定められた位置に表示される。ここで、撮像は、予め定められた周期で繰り返し継続的に行われる。したがって、ユーザが受信機C1300を動かすと、枠線C1302のディスプレイ上における位置は変わらないが、マークC1301は移動する。つまり、受信機C1300は、看板C1320を識別するためのマークC1301と枠線C1302とを含む撮像画像を、撮像時におけるカメラのイメージセンサと看板C1320との位置関係に応じてその撮像画像上のマークC1301の位置を継続的に更新しながら、表示する。
 そして、本実施の形態における受信機C1300は、このマークC1301が枠線C1302内に入ったときに、看板C1320から輝度変化によって送信される信号を受信して復調することによって、その看板C1320からの情報を取得する。
 図21は、マークC1301が枠線C1302内に入ったときの様子を示す図である。
 受信機C1300は、マークC1301が枠線C1302内に入ったと判定すると、例えばその枠線C1302が強調されるように、その枠線C1302の色を変えたり、枠線C1302を太く表示する。そして、受信機C1300は、枠線C1302内に入ったマークC1301に対応する看板C1320から輝度変化によって送信される信号を受信して復調することによって、その看板C1320からの情報を取得する。
 図22および図23は、本実施の形態における受信機の他の使用例を示す図である。
 スマートフォンとして構成される受信機C1300のユーザは、自らが興味を持つ看板C1320を見つける。この看板C1320は輝度変化によって信号を送信している。ユーザは、受信機C1300のカメラ(受光部)を看板C1320に向け、その看板C1320を被写体として撮像する。ここで、看板C1320の近くには、看板C1321がある。この看板C1321も、看板C1320と同様にデータ送信照明C0100の一例であって、輝度変化によって信号を送信している。したがって、看板C1320に向けられた受信機C1300のカメラの撮像範囲には、看板C1321も含まれることがある。
 図24は、撮像によって得られる画像の他の例を示す図である。
 受信機C1300は、看板C1320を撮像することによって、受信機C1300のディスプレイ上に、枠線C1302と、看板C1320の位置を示すマークC1301とを表示する。また、看板C1321も受信機C1300のカメラの撮像範囲に含まれているため、そのディスプレイ上には、看板C1321の位置を示すマークC1303が、マークC1301とともに表示される。
 ここで、マークC1303は、被写体である看板C1321を識別するための被写体像であり、枠線C1302は、上述と同様に、ディスプレイの予め定められた位置に表示される。また、撮像は、予め定められた周期で繰り返し継続的に行われる。したがって、ユーザが受信機C1300を動かすと、枠線C1302のディスプレイ上における位置は変わらないが、マークC1301およびマークC1303は移動する。つまり、受信機C1300は、看板C1320および看板C1321をそれぞれ識別するためのマークC1301およびマークC1303と枠線C1302とを含む撮像画像を、撮像時におけるカメラのイメージセンサと看板C1320および看板C1321との位置関係に応じてその撮像画像上のマークC1301およびマークC1303の位置を継続的に更新しながら、表示する。
 本実施の形態における受信機C1300は、このマークC1301およびマークC1303のうちの何れかが枠線C1302内に入ったときに、その枠線C1302内のマークに対応する看板から輝度変化によって送信される信号を受信して復調することによって、その看板からの情報を取得する。
 図25は、マークC1301が枠線C1302内に入ったときの様子を示す図である。
 受信機C1300は、マークC1301が枠線C1302内に入ったと判定すると、例えばその枠線C1302が強調されるように、その枠線C1302の色を変えたり、枠線C1302を太く表示する。そして、受信機C1300は、マークC1301およびマークC1303のうち、その枠線C1302内に入ったマークC1301に対応する看板C1320から輝度変化によって送信される信号のみを受信して復調することによって、その看板C1320からの情報のみを取得する。
 このように、本実施の形態における情報通信方法では、例えばバックグラウンドで動作する可視光通信プログラムが、どの被写体(看板などのデータ送信照明)からのデータを受信するかをユーザに簡単に選択させることを可能にする。
 図26は、本実施の形態における受信機C1300として構成される端末C0200の処理動作を示すフローチャートである。
 まず、可視光通信プログラムC0201aは、受光制御部C0202aを用いて、受光部C0203aのシャッター速度を速くした状態で、受光制御部C0202aを介して、受光部C0203aを用いた撮像を行う(ステップSC0401)。次に、可視光通信プログラムC0201aは、受光制御部C0202aを介して、受光部C0203aが撮像した画像を取得する(ステップSC0402)。このステップSC0401における撮像と、ステップSC0402における撮像した画像の取得とは、一定周期で繰り返し実施される。
 次に可視光通信プログラムC0201aは、受光部C0203aが撮像した画像(以下、撮像画像という)を新たに取得する度に、撮像画像における、輝度が一定の閾値を超えた領域と、その中心座標とを特定する(ステップSC0403)。可視光通信プログラムC0201aは、例えば以下に示す中心座標の特定方法によって、その中心座標を特定する。その中心座標の特定方法では、撮像画像の幅方向をx軸、撮像画像の高さ方向をy軸とした場合に、輝度が一定の閾値を超えた画素のうち、最も左端にある画素のx座標と、最も右端にある画素のx座標との中間のx座標を、輝度が一定の閾値を超えた領域の中心のx座標とする。さらに、輝度が一定の閾値を超えた画素のうち、最も上端にある画素のy座標と、最も下端にある画素のy座標との中間のy座標を、輝度が一定の閾値を超えた領域の中心のy座標とする。
 次に、可視光通信プログラムC0201aは、表示制御部C0202bを介して、輝度が一定の閾値を超えた領域の中心座標に対応する表示部C0203b(ディスプレイ)上の位置(以下、マーク位置という)を特定し、表示部C0203bのそのマーク位置にマークを表示する(ステップSC0404)。表示部C0203bに既にマークが表示されている場合は、可視光通信プログラムC0201aは、それまで表示されていたマークを一旦消した後で、新たに計算したマーク位置に、マークを表示する。例えば、可視光通信プログラムC0201aは、撮像画像の中心と表示部C0203bの中心とを対応付け、撮像画像の上端と表示部C0203bの上端とを対応付け、撮像画像の下端と表示部C0203bの下端とを対応付け、撮像画像の左端と表示部C0203bの左端とを対応付け、撮像画像の右端と表示部C0203bの右端とを対応付け、撮像画像および表示部C0203bの各辺の長さの比から、マーク位置を求める。具体的には、撮像画像の幅は480ピクセル、高さは640ピクセルで、左上を原点、左下の座標を(0,640)、右上の座標を(480,0)と仮定する。また、表示部C0203b(ディスプレイ)の大きさは幅が960ピクセル、高さは1280ピクセル、左上を原点、左下の座標を(0,1280)、右上の座標を(960,0)と仮定する。この条件において前述の対応付けを用いた場合、可視光通信プログラムC0201aは、撮像画像上の上記領域の中心座標(100,200)に対応する表示部C0203b上の位置(マーク位置)として、座標(200,400)を特定する。マーク位置へのマークの表示は、可視光通信プログラムC0201aが受光制御部C0202aを介して受光部C0203aから撮像画像を取得する度に行われる。
 また、可視光通信プログラムC0201aは、表示部C0203bに、図20に示す枠線C1302を表示する(ステップSC0405)。可視光通信プログラムC0201aは、表示部C0203bに表示した枠線C1302の表示部C0203b上の座標と、マーク位置とを比較し、そのマーク位置が枠線C1302の中にあるか否かを判定する(ステップSC0406)。例えば、表示部C0203bの幅は960ピクセル、高さは1280ピクセルである。そして、表示部C0203bの座標系では、左上が原点であり、左下の座標が(0,1280)であり、右上の座標が(960,0)である。また、表示している枠線C1302の左上の座標が(450,610)であり、左下の座標が(450,670)であり、右上の座標が(510,610)であり、右下の座標が(510,670)である。この時、マーク位置を(x,y)とすると、「450≦x≦510かつ610≦y≦670」である場合に、マーク位置が枠線C1302の中にあると判定される。
 ここで、可視光通信プログラムC0201aは、マーク位置が枠線C1302の中にあると判定された場合に(ステップSC0406のYES)、その輝度が一定の閾値を超えた領域に対応するデータ送信照明(看板など)が送信する信号を取得する(ステップSC0407)。
 例えば、図20に示す状態では、マークC1301の中心座標は枠線C1302の外にあるため、可視光通信プログラムC0201aは、マークC1301に対応するデータ送信照明が送信する信号を受信しない。一方、図21に示す状態では、マークC1301の中心座標は枠線C1302の中にあるため、可視光通信プログラムC0201aは、マークC1301に対応するデータ送信照明が送信する信号を受信する。また、図22に示すように、看板などのデータ送信照明が複数あり、図23に示すように、複数のデータ送信照明を受光部C0203aが同時に撮像する。このとき、図24に示すように、全てのマークC1301、C1303の中心座標が枠線C1302の外にある場合は、可視光通信プログラムC0201aは、どのデータ送信照明からも信号を受信しない。一方、図25に示すように、中心座標が枠線C1302の中にマークC1301が存在する場合は、可視光通信プログラムC0201aは、そのマークC1301に対応するデータ送信照明から信号を受信する。
 本実施の形態では、複数のデータ送信照明が受光部C0203aで撮像された場合、それぞれのデータ送信照明に対応するマーク位置にマークが表示される。マークはデータ送信照明毎に異なる。マークの違いは、例えば、形の違い、色の違い、テキストの違い、またはイラストの違いによって表現される。そして、複数のデータ送信照明のうち、マーク位置が枠線C1302の中にあると判定されたデータ送信照明から送信される信号が受信される。マーク位置が枠線C1302の中に複数存在する場合には、可視光通信プログラムC0201aは、いずれか1つを選択して、選択したマーク位置に対応するデータ送信照明から送信される信号を受信する。例えば、可視光通信プログラムC0201aは、先に枠線C1302の中に入ったマーク位置に対応するデータ送信照明から送信される信号を受信する。または、可視光通信プログラムC0201aは、輝度が一定の閾値を超えた領域が大きいデータ送信照明から送信される信号を受信する。
 なお、本実施の形態では、表示部C0203bに表示された枠線の座標とマーク位置とを比較することによって、信号の取得先となるデータ送信照明を選択したが、枠線を表示しなくてもよい。例えば、ユーザが入力部C0203cに対して指定した点の表示部C0203b上の座標とマーク位置とを比較し、それら間の距離が一定範囲以内であるマーク位置に対応するデータ送信照明を、信号の取得先となるデータ送信照明として選択する。
 なお、受光部C0203aが撮像した画像をそのまま表示部C0203bに表示する場合は、輝度が一定の閾値を超えた領域を表すマークを表示部C0203bに表示しなくてもよい。
 このように、本実施の形態では、輝度変化により信号を送信する複数の被写体が寄り集まって存在する場合でも、所望の被写体の被写体像を枠線内に収めるだけで、その被写体のみからの信号を簡単に受信することができる。
 (実施の形態3)
 従来、スマートフォン等の端末における、使用可能なアプリケーション(アプリケーションプログラム)の自動起動や、アプリケーションインストールサイトへのアクセスには、カメラでのQRコード(登録商標)の読み取りが使われていた。しかしながら、従来の方法では、読み取りのためにQRコードを接写する必要があり、離れた場所からの読み取りや、複数端末での同時読み取りは困難であった。
 本実施の形態では、かかる課題を解決するもので、端末を撮影対象に近づけることなく、また複数端末同時に、使用可能なアプリケーションの自動起動や、アプリケーションインストールサイトへの自動アクセスを実現する。
 つまり、本実施の形態における情報通信方法は、可視光を受光する受光ステップと、受光した光からデータを取り出すデコードステップと、取得したデータに関する情報をサーバに問い合わせて結果を得る問合せステップと、得られた問合せ結果を使って使用可能なアプリケーション、またはインストール可能なアプリケーションを特定する特定ステップと、特定結果に応じて使用可能またはインストール可能なアプリケーションをユーザに対して表示する表示ステップと、通知を受けたユーザが選択したアプリケーションを起動またはインストールする実行ステップとを含む。これにより、このような情報通信方法を行う端末は、撮影対象に近づくことなく、使用可能またはインストール可能なアプリケーションの情報を取得することができる。また、このような情報通信方法を行う複数の端末は、同時に、使用可能またはインストール可能なアプリケーションの情報を取得することができる。
 以下、本実施の形態について詳細に説明する。
 本実施の形態は、端末がデータ送信照明から受信したデータを利用できる、端末にインストールされたアプリケーションの一覧を表示し、ユーザの選択したアプリケーションを起動させる、情報通信方法である。
 図27は、本実施の形態におけるシステム構成を示す図である。
 データ送信照明C5100は、実施の形態1のデータ送信照明C0100と同様、光を使ってデータを送信する。端末C5200は、データ送信照明C5100が発する光を撮影する受光部C5201と、受光部C5201が受光した光からデータをデコードデータとして取り出すデコード部C5205と、デコード部C5205が取り出したデコードデータをサーバC5300に送信し、そのデコードデータを利用可能なアプリケーションの一覧(利用可能アプリケーション一覧)をサーバC5300から受信する通信部C5202と、サーバC5300から受信した利用可能アプリケーション一覧の中から、端末C5200にインストールされているアプリケーションを特定する利用可能アプリケーション検索部C5203と、端末C5200にインストールされているアプリケーションの情報を保持するインストール済みアプリケーションDB_C5206と、ユーザに情報を表示する表示部C5204と、ユーザからの入力を受け付ける入力部C5208と、ユーザが入力部C5208に対して指示したアプリケーションを起動するアプリケーション起動部C5207とを有する。受光部C5201は、受光時のシャッター速度を変更する機能を有する。また受光部C5201は、端末C5200に複数備えられてもよい。
 サーバC5300は、端末C5200からデコードデータを受信し、そのデコードデータを利用可能なアプリケーションの一覧を送信する通信部C5301と、端末C5200から受信したデコードデータを利用可能なアプリケーションを特定する利用可能アプリケーション特定部C5302と、データ送信照明が送信するデータ(デコードデータ)と、そのデータを利用可能なアプリケーションとの対応関係を保持するデータ・アプリケーション対応DB_C5303とを有する。
 図28は、端末C5200が可視光通信の可視光を受光して、利用可能なアプリケーションをユーザに通知する処理動作を示すフローチャートである。
 ユーザが図29に示すように端末C5200をデータ送信照明C5100に向けると、端末C5200は、受光部C5201を用いて、そのデータ送信照明C5100から発せられる可視光通信の可視光を受光するための処理を行う(ステップSC5102)。次に、端末C5200は、可視光が受光されたか否かを判定する(ステップSC5103)。ここで、受光されたと判定しときには(ステップSC5103のYES)、端末C5200は、デコード部C5205を用いて、受光部C5201が受光した光から、デコードデータを取得するための処理を行う(ステップSC5104)。
 図30は、取得されるデコードデータの一例を示す図である。例えば、取得されるデコードデータは「1000」である。
 図28に示すステップSC5104の後、端末C5200は、デコードデータが取得されたか否かを判定する(ステップSC5105)。ここで、デコードデータが取得されたと判定したときには(ステップSC5105のYES)、端末C5200は、通信部C5202を用いて、取得したデコードデータをサーバC5300に送信し、取得したデコードデータを利用可能なアプリケーションがあるかを問い合せる(ステップSC5106)。その後、端末C5200は、サーバC5300から、取得したデコードデータを利用可能なアプリケーションの一覧(利用可能アプリケーション一覧)を通信部C5202で受信する。
 図31は、受信する利用可能アプリケーション一覧の一例を示す図である。
 この利用可能アプリケーション一覧は、図31に示すように、デコードデータC5501と、そのデコードデータに対応付けられた利用可能なアプリケーションごとに、そのアプリケーションを識別するための利用可能アプリケーションID_C5502とを含む。
 図28に示すステップSC5107では、端末C5200は、サーバC5300から受信した利用可能アプリケーション一覧に基づいて、ステップSC5104で取得されたデコードデータを利用可能なアプリケーションが1つ以上存在するか否かを判定する(ステップSC5107)。ここで、1つ以上存在すると判定された場合(ステップSC5107のYES)、端末C5200は、利用可能アプリケーション検索部C5203を用いて、サーバ5300から受信した利用可能アプリケーション一覧の中の各利用可能アプリケーションIDと、インストール済みアプリケーションDB_C5206が保持するインストール済みアプリケーション一覧の中の各アプリケーションIDとを比較する。その結果、端末C5200は、利用可能アプリケーション一覧によって示される少なくとも1つのアプリケーション(利用可能アプリケーション)の中から、インストール済みのアプリケーションを特定する(ステップSC5108)。
 図32は、インストール済みアプリケーションDB_C5206が保持する情報(インストール済みアプリケーション一覧)の一例を示す図である。
 このインストール済みアプリケーション一覧は、図32に示すように、端末C5200にインストールされているアプリケーションごとに、そのアプリケーションを識別するためのアプリケーションID_C5601と、そのアプリケーションの名称(アプリケーション名)C5602とを含む。
 図28に示すステップSC5109において、端末C5200は、利用可能なアプリケーションが1つ以上インストールされているか否かを判定する(ステップSC5109)。そして、1つ以上インストールされていると判定した場合(ステップSC5109のYES)、端末C5200は、インストールされている利用可能アプリケーションを一覧にして表示部C5204に表示する(ステップSC5110)。
 図33は、表示部C5204に表示される利用可能アプリケーションの一覧の一例を示す図である。
 表示部C5204は、例えば図33に示すように、インストールされている利用可能アプリケーションごとに、その名称を表示する。このように表示部C5204に表示される画面は、取得されたデコードデータを利用することが可能な複数のアプリケーションプログラムから何れかのアプリケーションプログラムを選択するためのアプリケーション選択画面である。
 図28に示すステップSC5111では、端末C5200は、入力部C5208を用いて、表示部C5204に表示された少なくとも1つの利用可能アプリケーションの中から利用するアプリケーションがユーザによって選択されたか否かを判定する(ステップSC5111)。ここで、端末C5200は、選択されたと判定すると(ステップSC5111のYES)、端末C5200は、アプリケーション起動部C5207を用いて、ユーザが選択したアプリケーションを起動する(ステップSC5112)。
 なお、ステップSC5107において、ステップSC5104で取得されたデコードデータを利用可能なアプリケーションが1つ以上存在しないと判定された場合、または、ステップSC5109において、利用可能なアプリケーションが1つ以上インストールされていないと判定された場合には、端末C5200は、利用可能アプリケーションがないことを表示部5204に表示する(ステップSC5113)。
 図34は、サーバC5300が、デコードデータを利用可能なアプリケーションを検索する処理動作を示すフローチャートである。
 まず、サーバC5300は、通信部C5301を用いて端末C5200からデコードデータを受信する(ステップSC5302)。次に、サーバC5300は、利用可能アプリケーション特定部C5302を用いて、データ・アプリケーション対応DB_C5303が保持する情報から、そのデコードデータを利用可能なアプリケーション(利用可能アプリケーション)を検索する(ステップSC5303)。
 図35は、データ・アプリケーション対応DB_C5303が保持する情報の一例を示す図である。
 この情報は、アプリケーションごとに、そのアプリケーションを識別するためのアプリケーションID_C5401と、そのアプリケーションが利用可能な少なくとも1つのデコードデータC5402とを含む。
 つまり、図34に示すステップSC5303では、サーバC5300の利用可能アプリケーション特定部C5302は、データ・アプリケーション対応DB_C5303が保持する情報の中から、端末C5200から受信されたデコードデータを検索し、そのデコードデータに対応付けられたアプリケーションIDによって識別されるアプリケーションを、利用可能アプリケーションとして特定する。
 その結果、サーバC5300は、利用可能アプリケーションがあるか否かを判定する(ステップSC5304)。ここで、利用可能アプリケーションがあると判定すると(ステップSC5304のYES)、サーバC5300は、その利用可能アプリケーションを示す利用可能アプリケーション一覧を端末C5200に送信する(ステップSC5305)。一方、利用可能アプリケーションがないと判定すると(ステップSC5304のNO)、サーバC5300は、その利用可能アプリケーションがないこと通知するための情報を端末C5200に送信する(ステップSC5306)。
 このように本実施の形態では、取得されたデコードデータを利用することが可能な複数のアプリケーションプログラムから何れかのアプリケーションプログラムを選択するための図33に示すアプリケーション選択画面が表示される。そして、ユーザによるそのアプリケーション選択画面に対する操作に応じて、何れかのアプリケーションプログラムが選択された場合には、選択されたアプリケーションプログラムが、デコードデータを用いた処理をコンピュータに実行させる。これにより、可視光通信によって取得されたデータを適切なアプリケーションプログラムに処理させることができる。
 (変形例)
 本変形例は、端末がデータ送信照明から受信したデータを利用可能なアプリケーションのうち、端末にインストールされていないアプリケーションの一覧を表示し、ユーザの選択したアプリケーションをインストールする、情報通信方法である。
 図36は、本変形例に係るシステム構成を示す図である。
 データ送信照明C7100は、実施の形態1のデータ送信照明C0100と同様、光を使ってデータを送信する。端末C7200は、データ送信照明C7100が発する光を撮影する受光部C7201と、受光部C7201が受光した光からデータをデコードデータとして取り出すデコード部C7205と、デコード部C7205が取り出したデコードデータをサーバC7300に送信し、そのデコードデータを利用可能なアプリケーションの一覧(利用可能アプリケーション一覧)をサーバC7300から受信する通信部C7202と、サーバC7300から受信した利用可能アプリケーション一覧の中から、端末C7200にインストール可能なアプリケーションを特定するインストール可能アプリケーション特定部C7203と、端末C7200にインストールされているアプリケーションの情報を保持するインストール済みアプリケーションDB_C7206と、ユーザに情報を表示する表示部C7204と、ユーザからの入力を受け付ける入力部C7208と、ユーザが入力部C7208に対して指示したアプリケーションをインストールするアプリケーションインストール部C7207とを有する。受光部C7201は、受光時のシャッター速度を変更する機能を有する。また受光部C7201は、端末C7200に複数備えられてもよい。
 サーバC7300は、端末C7200からデコードデータを受信し、そのデコードデータを利用可能なアプリケーションの一覧を送信する通信部C7301と、端末C7200から受信したデコードデータを利用可能なアプリケーションを特定する利用可能アプリケーション特定部C7302と、データ送信照明が送信するデータ(デコードデータ)と、そのデータを利用可能なアプリケーションとの対応関係を保持するデータ・アプリケーション対応DB_C7303とを有する。
 図37は、端末C7200が可視光通信の可視光を受光して、利用可能なアプリケーションをユーザに通知する処理動作を示すフローチャートである。
 ユーザが端末C7200をデータ送信照明C7100に向けると、端末C7200は、受光部C7201を用いて、そのデータ送信照明C7100から発せられる可視光通信の可視光を受光するための処理を行う(ステップSC7102)。次に、端末C7200は、可視光が受光されたか否かを判定する(ステップSC7103)。ここで、受光されたと判定したときには(ステップSC7103のYES)、端末C7200は、デコード部C7205を用いて、受光部C7201が受光した光から、図30に示すデコードデータを取得するための処理を行う(ステップSC7104)。ここで、端末C7200は、デコードデータが取得されたか否かを判定する(ステップSC7105)。
 デコードデータが取得されたと判定したときには(ステップSC7105のYES)、端末C7200は、通信部C7202を用いて、取得したデコードデータをサーバC7300に送信し、取得したデコードデータを利用可能なアプリケーションがあるかを問い合せる(ステップSC7106)。その後、端末C7200は、サーバC7300から、取得したデコードデータを利用可能なアプリケーションの一覧(利用可能アプリケーション一覧)を通信部C7202で受信する。
 図38は、受信する利用可能アプリケーション一覧の一例を示す図である。
 この利用可能アプリケーション一覧は、図38に示すように、デコードデータC7501と、そのデコードデータに対応付けられた利用可能なアプリケーションごとに、そのアプリケーションを識別するためのアプリケーションID_C7502と、そのアプリケーションの名称であるアプリケーション名C7503とを含む。
 図37に示すステップSC7107では、端末C5200は、サーバC7300から受信した利用可能アプリケーション一覧に基づいて、ステップSC7104で取得されたデコードデータを利用可能なアプリケーションが1つ以上存在するか否かを判定する(ステップSC7107)。ここで、1つ以上存在すると判定された場合(ステップSC7107のYES)、端末C7200は、インストール可能アプリケーション特定部C7203を用いて、サーバC7300から受信した利用可能アプリケーション一覧の中の各利用可能アプリケーションIDと、インストール済みアプリケーションDB_C7206が保持するインストール済みアプリケーション一覧の中の各アプリケーションIDとを比較する。その結果、端末C7200は、利用可能アプリケーション一覧によって示される少なくとも1つのアプリケーション(利用可能アプリケーション)の中から、その時点で端末C7200にインストールされておらず、端末C7200にインストール可能なアプリケーションを特定する(ステップSC7108)。
 図39は、インストール済みアプリケーションDB_C7206が保持する情報(インストール済みアプリケーション一覧)の一例を示す図である。
 このインストール済みアプリケーション一覧は、図39に示すように、端末C7200にインストールされているアプリケーションごとに、そのアプリケーションを識別するためのアプリケーションID_C7601と、そのアプリケーションの名称(アプリケーション名)C7602とを含む。
 図37に示すステップSC7109において、端末C7200は、インストール可能なアプリケーションが1つ以上存在するか否かを判定する(ステップSC7109)。例えば、端末C7200は、利用可能アプリケーション一覧に示される少なくとも1つのアプリケーションIDのうち、インストール済みアプリケーション一覧にはないアプリケーションIDがあれば、インストール可能なアプリケーション(インストール可能アプリケーション)が1つ以上存在すると判定する。そして、1つ以上存在すると判定した場合(ステップSC7109のYES)、端末C7200は、インストール可能アプリケーションを一覧にして表示部C7204に表示する(ステップSC7110)。
 図40は、表示部C7204に表示されるインストール可能アプリケーションの一覧の一例を示す図である。
 表示部C7204は、例えば図40に示すように、インストールすることが可能なアプリケーションごとに、その名称を表示する。
 図37に示すステップSC7111では、端末C7200は、入力部C7208を用いて、表示部C7204に表示された少なくとも1つのインストール可能アプリケーションの中からインストールするアプリケーションがユーザによって選択されたか否かを判定する(ステップSC7111)。ここで、端末C5200は、選択されたと判定すると(ステップSC7111のYES)、端末C7200は、アプリケーションインストール部C7207を用いて、ユーザが選択したアプリケーションをインストールする(ステップSC7112)。
 なお、ステップSC7107において、ステップSC7104で取得されたデコードデータを利用可能なアプリケーションが1つ以上存在しないと判定された場合、または、ステップSC7109において、インストール可能なアプリケーションが1つ以上存在しないと判定された場合には、端末C7200は、インストール可能アプリケーションがないことを表示部7204に表示する(ステップSC7113)。
 サーバC7300は、図34に示す処理動作と同様の処理動作を行うが、図38に示すように、利用可能なアプリケーションの名称であるアプリケーション名C7503を含む利用可能アプリケーション一覧を生成して、端末C7200に送信する。
 図41は、データ・アプリケーション対応DB_C7303が保持する情報の一例を示す図である。
 この情報は、アプリケーションごとに、そのアプリケーションを識別するためのアプリケーションID_C7401と、そのアプリケーションの名称であるアプリケーション名C7402と、そのアプリケーションが利用可能な少なくとも1つのデコードデータC7403とを含む。サーバC7300の利用可能アプリケーション特定部C7302は、データ・アプリケーション対応DB_C7303が保持する情報に基づいて、受信したデコードデータを利用可能なアプリケーションを特定し、その特定されたアプリーションの一覧である、図38に示すような利用可能アプリケーション一覧を生成する。つまり、利用可能アプリケーション特定部C7302は、データ・アプリケーション対応DB_C7303が保持する情報の中から、受信したデコードデータを検索し、そのデコードデータに対応付けられたアプリケーションID_C7401およびアプリケーション名C7402を特定する。そして、利用可能アプリケーション特定部C7302は、特定されたアプリケーションID_C7401およびアプリケーション名C7402を含む利用可能アプリケーション一覧を生成する。
 なお、図38に示すアプリケーションID_C7502、図39に示すアプリケーションID_C7601、および図41に示すアプリケーションID_C7401は、アプリケーションのパッケージ名であってもよい。
 このように本変形例では、可視光通信によって取得されたデータを利用可能な幾つかのアプリケーションプログラムが端末にインストールされていなくても、それらのアプリケーションプログラムからユーザの操作に応じて選択されたアプリケーションプログラムがインストールされる。したがたって、上記実施の形態3と同様に、可視光通信によって取得されたデータを適切なアプリケーションプログラムに処理させることができる。
 (実施の形態4)
 街中にある街灯や電光看板、サイネージ、および車のライト等の発光機器はそれぞれ、可視光発信機器として発光することにより、それぞれ異なる可視光IDを送信する。このような場合に、ユーザが意図する可視光発信機器からのみ容易に可視光IDを取得できないという課題がある。この課題は、可視光IDを示す光を受光するためにスマートフォンやタブレット等のモバイル端末に付属するカメラを用いて、カメラに映る複数の可視光発信機器の中から、ユーザが意図する可視光発信機器のみに限定した可視光IDを取得する方法がないために生じる。また、室内にある家電機器や照明機器等の発光可能な機器が可視光発信機器として構成されている場合においても、特定の可視光発信機器のみから可視光IDを取得する必要が生じることがあるため、同様の課題が生じる。
 そこで、本実施の形態では、モバイル端末へのユーザのジェスチャー操作と、可視光IDの取得先となる可視光発信機器との対応付けを予め定義しておく。これにより、可視光IDの受光時にユーザがモバイル端末に対して実施するジェスチャー操作を検知すれば、その定義を参照することによって、可視光IDの取得先となる可視光発信機器を、ユーザの意図に応じた可視光発信機器に限定することが可能となる。
 また、ジェスチャー操作のような明示的なユーザ操作以外にも、モバイル端末の筐体姿勢を検知することで、自動的に可視光IDの取得先となる可視光発信機器を限定したり、モバイル端末に複数搭載されているカメラのいずれを利用するかを決定したりすることができるため、ユーザの暗示的な意図をくみ取ることも可能となる。
 以下、本実施の形態における情報通信方法、つまり、モバイル端末B0101へのジェスチャー動作に応じて可視光IDを選別する方法について、詳細に説明する。
 図42は、本実施の形態におけるシステム構成を示す図である。
 図42に示すシステムでは、モバイル端末B0101内が備える前面カメラB0106または背面カメラB0107は、可視光発信機器B0120が発光する可視光を受光して、可視光ID受光処理部B0105は、その可視光を可視光IDへ変換する。なお、可視光IDは、その可視光IDに対応付けられた詳細情報を識別するための識別子である。
 一方、可視光IDを選別するために、モバイル端末B0101に対するユーザのジェスチャー操作が用いられる。ジェスチャー操作を取得するために、モバイル端末B0101が備えるセンシング部B0103によって取得されたセンシングデータが用いられる。なお、センシング部B0103は、9軸センサなどによって構成されている。センシング部B0103によって取得されたセンシングデータが一定時間、または、一定回数蓄積された後、ジェスチャー検知部B0102は、蓄積されたセンシングデータに基づいてジェスチャー操作を検知(判定)する。ジェスチャー検知部B0102がユーザのジェスチャー操作を検知する処理については、後述する図46を用いて詳細に説明する。
 受光ID選別部B0104は、ジェスチャー検知部B0102にて検知(判定)されたユーザのジェスチャー操作に基づいて、可視光ID受光処理部B0105による変換によって得られた可視光IDに対応する詳細情報が、ユーザが現状知りたい情報であるか否かを選別する。この選別によって、可視光IDに対応する詳細情報が必要とされる場合、受光ID選別部B0104は、可視光IDに対応する情報取得要求を通信部B0108へ依頼する。これにより、通信部B0108は、公衆ネットワークB0130を介して、ID対応情報変換サーバB0111へ、可視光IDを伴う情報取得要求を送信し、ID対応情報変換サーバB0111から、詳細情報のための可視光ID対応情報(例えばURL)を取得する。
 一方、可視光IDに対応する詳細情報が不要とされる場合、または、通信部B0108によるID対応情報変換サーバB0111からの可視光ID対応情報の取得が完了した場合には、受光ID選別部B0104は、表示部B0109に対して、それらの場合に応じた表示の依頼を行う。
 ID対応情報変換サーバB0111の通信部B0112は、モバイル端末B0101の通信部B0108から、可視光IDを伴う情報取得要求を受け付ける。この場合、変換情報判定部B0113は、その可視光IDに対応する可視光ID対応情報をID対応情報保持部B0114から取得する。変換情報判定部B0113は、取得した可視光ID対応情報を通信部B0112へ渡す。その結果、通信部B0112は、公衆ネットワークB0130を介して、モバイル端末B0101へ可視光ID対応情報を送信する。
 図43は、モバイル端末B0101の処理動作を示すフローチャートであって、特に、ユーザのジェスチャー操作の検知と、受光した可視光IDの選別とを行う処理動作を示すフローチャートである。
 モバイル端末B0101が可視光IDを受光するための処理を開始すると、ジェスチャー検知部B0102は、センシング部B0103からのセンシングデータの通知を監視することで、モバイル端末B0101に対するユーザのジェスチャー操作を検知するための処理を行う(ステップSB0202)。次に、ジェスチャー検知部B0102は、ユーザのジェスチャー操作が検知されたか否かを判定する(ステップSB0203)。検知されたと判定されると(ステップSB0203のYES)、ステップSB0204の処理が行われ、検知されていないと判定されると(ステップSB0203のNO)、ステップSB0202の処理が繰り返し行われる。ジェスチャー検知部B0102の動作については、後述の図46を用いて詳細に説明する。
 次に、ステップSB0204では、ジェスチャー検知部B0102は、受光ID選別部B0104に対して検知されたユーザのジェスチャー操作を通知する(ステップSB0204)。次に、受光ID選別部B0104は、後述の図49に示す自らが保持するジェスチャー・モード対応テーブルを参照して受光モードを決定し、可視光ID受光処理部B0105は、可視光IDを示す光を受光するカメラ(前面カメラB0106または背面カメラB0107)のシャッタースピードを上げる(ステップSB0205)。
 受光ID選別部B0104は、可視光ID受光処理部B0105から可視光IDの通知を受けたか否かを判定する(ステップSB0206)。通知を受けたと判定されると(ステップSB0206のYES)、ステップSB0207の処理が行われ、通知を受けていないと判定されると(ステップSB0206のNO)、ステップSB0202の処理が繰り返し行われる。ステップSB0207では、受光ID選別部B0104は、ステップSB0205で決定された受光モードに応じた可視光IDの取り扱いを決めるため、自らが保持する後述の図50に示すID取り扱いテーブルを参照する(ステップSB0207)。つまり、受光ID選別部B0104は、通知された可視光IDごとに、その可視光IDが、詳細情報が必要とされる可視光IDであるか、詳細情報が必要とされない可視光IDであるかを選別する。
 図44は、モバイル端末B0101の処理動作を示すフローチャートであって、特に、表示を行う処理動作を示すフローチャートである。
 図43に示すステップSB0207の後、受光ID選別部B0104は、上述の選別の結果に基づいて、通知された可視光IDごとに、その可視光IDに対する情報取得要求を通信部B0108に依頼をするか否かを判定する(ステップSB0302)。ここで、依頼すると判定されると(ステップSB0302のYES)、ステップSB0303の処理が行われ、依頼しないと判定されると(ステップSB0302のNO)、ステップSB0306の処理が行われる。ステップSB0303では、受光ID選別部B0104は、通信部B0108に対して、可視光IDに対応する可視光ID対応情報をID対応情報変換サーバB0111から取得するように依頼する(ステップSB0303)。通信部B0108は、公衆ネットワークB0130を介して、ID対応情報変換サーバB0111へ情報取得要求を行う(ステップSB0304)。つまり、通信部B0108は、可視光IDに対応する可視光ID対応情報を自らに送信するように要求する命令(可視光IDを伴う情報取得要求)をID対応情報変換サーバB0111に送信する。
 次に、ID対応情報変換サーバB0111からその情報取得要求に対する通知情報が送信されると、通信部B0108は、公衆ネットワークB0130を介してID対応情報変換サーバB0111からその通知情報を受信する(ステップSB0311)。
 そして、ステップSB0311の後、または、ステップSB0302で依頼しないと判定されると(ステップSB0302のNO)、受光ID選別部B0104は、通知された可視光IDごとに、その可視光IDに対応する詳細情報を表示部B0109に表示するか否かを判定する(ステップSB0306)。例えば、受光ID選別部B0104は、可視光IDが、詳細情報が必要とされる可視光IDであると選別されているときには、その可視光IDに対応する詳細情報を表示部B0109に表示すると判定する。逆に、受光ID選別部B0104は、可視光IDが、詳細情報が必要とされない可視光IDであると選別されているときには、その可視光IDに対応する詳細情報を表示部B0109に表示させないと判定する。また、受光ID選別部B0104は、ステップSB03111において可視光IDに対応する通知情報が受信されている場合には、その可視光IDに対応する詳細情報を表示部B0109に表示すると判定する。
 ここで、可視光IDに対応する詳細情報を表示部B0109に表示すると判定されると(ステップSB0306のYES)、ステップSB0307の処理が行われ、表示されないと判定されると(ステップSB0306のNO)、モバイル端末B0101は可視光IDに対応する詳細情報の表示の処理を終了する。
 ステップSB0307では、受光ID選別部B0104は、表示部B0109に対して、可視光IDに対する通知情報を渡す(ステップSB0307)。そして、表示部B0109は、受け取った通知情報に基づいて、可視光IDに対して表示可能な詳細情報(可視光ID対応情報)を表示して処理を終了する。具体的には、通知情報に可視光ID対応情報が含まれ、その可視光ID対応情報がURL(Uniform Resource Locator)である場合、モバイル端末B0101は、そのURLによって示される場所から詳細情報を取得して、その詳細情報を表示部B0109に表示する。
 図45は、モバイル端末B0101から情報取得要求を受けた場合のID対応情報変換サーバB0111の処理動作を示すフローチャートである。
 ID対応情報変換サーバB0111の通信部B0112は、モバイル端末B0101から情報取得要求を受信したか否かを判定する(ステップSB0402)。ここで、受信したと判定されると(ステップSB0402のYES)、ステップSB0403の処理が行われ、受信しなかったと判定される(ステップSB0402のNO)と、ステップSB0402の処理が繰り返し行われる。
 ステップSB0403では、通信部B0112は、受信した情報取得要求に付随する可視光IDを変換情報判定部B0113へ通知する(ステップSB0403)。次に、変換情報判定部B0113は、通知された可視光IDに対応する可視光ID対応情報をID対応情報保持部B0114へ問い合せる(ステップSB0404)。ここで、ID対応情報保持部B0114は、自らが保持するID・対応情報テーブル内に、通知された可視光IDが存在するか否かを判定する(ステップSB0405)。ここで、可視光IDが存在すると判定されると(ステップSB0405のYES)、ステップSB0406の処理が行われ、可視光IDが存在しないと判定されると(ステップSB0405のNO)、ステップSB0409の処理が行われる。
 ステップSB0406では、ID対応情報保持部B0114は、後述する図51によって示されるID・対応情報テーブル内から、その可視光IDに対応付けられた可視光ID対応情報を変換情報判定部B0113へ通知する(ステップSB0406)。次に、変換情報判定部B0113は、その可視光ID対応情報を含む通知情報を生成して、通信部B0112へ渡す(ステップSB0407)。
 ステップSB0409では、ID対応情報保持部B0114は、後述する図51によって示されるID・対応情報テーブルには、その可視光IDが存在しないことを変換情報判定部B0113へ通知する(ステップSB0409)。次に、変換情報判定部B0113は、その可視光ID対応情報がないことを示す通知情報を生成して、通信部B0112へ渡す(ステップSB0410)。
 ステップSB0407またはステップSB0410の後、通信部B0112は情報取得要求元のモバイル端末B0101へ、変換情報判定部B0113から受け取った通知情報を返す(ステップSB0408)。
 図46は、モバイル端末B0101がユーザのジェスチャー操作を検知する処理動作を示すフローチャートである。この処理動作によって検知されたジェスチャー操作は、ユーザがモバイル端末B0101を操作した際に生じたジェスチャーであり、モバイル端末B0101による受光によって得られる可視光IDを選別するために用いられる。
 ジェスチャー検知部B0102によるユーザのジェスチャー操作の検知が開始されると、ジェスチャー検知部B0102は、センシングデータ受信回数を0に初期化する(ステップSB0502)。そして、ジェスチャー検知部B0102は、センシング部B0103からのセンシングデータを待ち受ける状態(データ受信待ち状態)になる(ステップSB0503)。次に、ジェスチャー検知部B0102は、センシング部B0103からセンシングデータを受信したか否かを判定する(ステップSB0504)。ここで、受信したと判定すると(ステップSB0504のYES)、ステップSB0505の処理が行われ、受信していないと判定すると(ステップSB0504のNO)、ステップSB0503の処理が繰り返し行われる。
 ステップSB0505では、ジェスチャー検知部B0102は、センシングデータを一時的に保持するとともに、センシングデータ受信回数に1を加算する(ステップSB0505)。そして、ジェスチャー検知部B0102は、センシングデータ受信回数が所定回数以上であるか否かを判定する(ステップSB0506)。なお、ステップSB0502において、ジェスチャー検知部B0102が、センシングデータ受信回数を0に初期化する代わりに、センシングデータの待ち受けを開始してからの経過時間であるセンシングデータ受信経過時間を0に初期化してもよい。この場合、ステップSB0506では、ジェスチャー検知部B0102は、センシングデータ受信経過時間が所定時間以上であるか否かを判定する。センシングデータ受信回数が所定回数以上であると判定されると、または、センシングデータ受信経過時間が所定時間以上であると判定されると(ステップSB0506のYES)、ステップSB0507の処理が行われ、センシングデータ受信回数が所定回数未満であると判定されると、または、センシングデータ受信経過時間が所定時間未満であると判定されると(ステップSB0506のNO)、ステップSB0503の処理が繰り返し行われる。
 次に、ジェスチャー検知部B0102は、一時的に保持されている少なくとも1つのセンシングデータを用いて現在のジェスチャー操作を検知する(ステップSB0507)。このとき、ジェスチャー検知部B0102は、その検知されたジェスチャー操作を現状のジェスチャー操作として保持する。そして、ジェスチャー検知部B0102は、一時的に保持されている少なくとも1つのセンシングデータを削除する(ステップSB0508)。
 ここで、ジェスチャー検知部B0102は、受光ID選別部B0104から、ジェスチャー操作の検知を停止することを要求する信号(検知停止要求信号)を受信したか否かを判定する(ステップSB0509)。ここで、受信したと判定されると(ステップSB0509のYES)、ジェスチャー検知部B0102は、ジェスチャー操作を検知する処理動作を終了する。一方、受信していないと判定されると(ステップSB0509のNO)、ジェスチャー検知部B0102は、ステップSB0502からの処理を繰り返し実行する。なお、図46に示すジェスチャー操作を検知する処理動作は、一定時間経過後、または、センシング部B0103から生じる割り込み処理等を契機に、再度、ステップSB0502の処理から開始される。
 図47は、モバイル端末B0101がジェスチャー操作によって可視光IDを選別する動作を説明するための図である。
 例えば、街灯B0605~B0608およびタクシーB0601~B0603は、それぞれ可視光発信機器B0120を有し、可視光を発することによって可視光IDを送信している。ここで、一般的な従来のカメラを備えた端末は、カメラが撮影する方向に存在するすべて可視光発信機器からの可視光IDのそれぞれに対応する詳細情報を取得することとなる。しかし、例えば、本実施の形態では、ユーザが例えばタクシーB0601~B0603の詳細情報のみを取得したいという意図と、ユーザが例えば上方向(図47中の矢印方向)にモバイル端末B0101を動かすジェスチャー操作とを連動させることで、モバイル端末B0101は、取得する詳細情報を、タクシーB0601~B0603の詳細情報のみに制限する。
 これにより、ユーザにとって不要な詳細情報の取得を制限できる。つまり、表示部B0109上に表示される詳細情報(可視光ID対応情報)を選別できることにより、ユーザ・インターフェースの見易さ向上や、可視光ID対応情報のネットワークを介した取得を制限することができる等の効果が得られる。なお、カメラ(前面カメラB0106および背面カメラB0107)は、可視光IDを受光する際はシャッタースピードを高速に切り替える処理を行う。
 図48は、ジャスチャー操作によって表示される詳細情報の選択を行う処理動作の一例を示す図である。
 モバイル端末B0101は、上述のように、上方向にモバイル端末B0101を動かすジェスチャー操作を検知すると、タクシーB0601~B0603の詳細情報のみを取得する。そして、モバイル端末B0101は、カメラ(前面カメラB0106および背面カメラB0107)による撮影によって得られた撮像画像を表示する。このとき、モバイル端末B0101は、詳細情報が取得されていることを示す吹き出し画像(提示可能通知画像)B0702~B0704のそれぞれを、タクシーB0601~B0603のそれぞれの像に対応付けた状態で、表示される撮像画像に重畳する。さらに、モバイル端末B0101は、タクシーB0601~B0603の詳細情報のうち、何れか1つのタクシーの詳細情報だけを、そのタクシーの吹き出し画像に表示させる。例えば、タクシーB0601の詳細情報「10%割引中」だけが、吹き出し画像B0702に表示される。このような詳細情報を含む吹き出し画像は、被写体であるタクシーからの可視光IDに応じて生成される画像であって、そのタクシーに関する内容を示す内容通知画像である。また、上述の提示可能通知画像(詳細情報を含まない吹き出し画像)は、詳細情報を示すことが可能であることを通知するための画像である。
 ここで、ユーザがモバイル端末B0101を右上方向(図48中の矢印方向)に振ると、モバイル端末B0101のジェスチャー検知部B0102は、その右上方向に振るというジェスチャー操作を検知する。その結果、モバイル端末B0101は、吹き出し画像B0702に表示されている詳細情報を隠す。さらに、このとき、モバイル端末B0101は、撮像画像上の吹き出し画像B0702に最も近い右上方向にある吹き出し画像B0703に、その吹き出し画像B0702に対応付けられた像のタクシーB0602の詳細情報「長距離割引中」を表示させる。
 このように、本実施の形態では、ユーザは、モバイル端末B0101を振るジェスチャー操作をすることで、表示させる詳細情報を簡単に変更することができる。
 図49は、受光ID選別部B0104が保持するジェスチャー・モード対応テーブルの一例を示す図である。
 ジェスチャー・モード対応テーブルは、ジェスチャー操作ごとに、そのジェスチャー操作B0801と、そのジェスチャー操作に対応付けられた受光モードB0802とを示す。例えば、モバイル端末をユーザの目前にかざす操作(または、モバイル端末を上に掲げる操作)であるホールド・アップというジェスチャー操作に対しては、タクシーの詳細情報を表示するための受光モード「タクシー」が対応付けられている。また、モバイル端末を左右に振る操作であるシェイクというジェスチャー操作に対しては、現在設定されている受光モードを解除する受光モード「解除」が対応付けられている。
 図50は、受光ID選別部B0104が保持するID取り扱いテーブルの一例を示す図である。
 このID取り扱いテーブルは、受光モードごとに、その受光モードB0901と、その受光モードを識別するための第1グループID_B0902と、その受光モードにおいて候補とされる可視光IDを送信する可視光発信機器の名称B0903と、その可視光発信機器を識別するための第2グループID_B0904と、その可視光発信機器に基づく詳細情報を表示部B0109に表示される対象とすべきか否かを示す情報B0905と、その詳細情報をID対応情報変換サーバB0111から取得するべきか否かを示す情報B0906とを含む。例えば、タクシーの詳細情報を表示するための受光モード(タクシー)に対しては、第1グループID「TAXIAA1」と、可視光発信機器の名称「行灯」および「ヘッドライト」とが対応付けられている。そして、可視光発信機器の名称「行灯」に対しては、第2グループID「XX001」と、その行灯に基づく詳細情報を表示部B0109に表示される対象とすべきことを示す「要」と、その詳細情報をID対応情報変換サーバB0111から取得すべきことを示す「要」とが対応付けられている。
 図51は、ID対応情報保持部B0114が保持するID・対応情報テーブルの一例を示す図である。
 このID・対応情報テーブルは、可視光IDごとに、その可視光ID_B1001と、その可視光IDに対応付けられた可視光ID対応情報B1002とを含む。このID・対応情報テーブルに示すように、可視光IDは、ハイフン(―)で結びつけられた、三つの文字数字列から成る。これらの文字数字列のうちのはじめの文字数字列は、図50に示す第1グループID_B0902に該当し、真ん中の文字数字列は、図50に示す第2グループID_B0904に該当し、最後の文字数字列は、可視光ID対応情報を識別するためのIDである。可視光ID対応情報は、例えばURLなどによって示される。モバイル端末B0101は、通知情報に含まれる可視光ID対応情報がURLの場合には、そのURLによって示される場所から詳細情報を取得する。また、図51に示すID・対応情報テーブルに含まれる可視光ID_B1001のうち、「TAXIAA1-XX001-0001」、「TAXIAA1-XX001-0002」、「TAXIAA1-XX001-0003」および「TAXIAA1-XX001-0004」は、タクシーの行灯から可視光によって送信される可視光IDである。また、図51に示すID・対応情報テーブルに含まれる可視光ID_B1001のうち、「TAXIAA1-HR001-0001」および「TAXIAA1-HR001-0002」は、タクシーのヘッドライトから可視光によって送信される可視光IDである。
 なお、上記実施の形態では、ユーザのジェスチャー操作によって受光モードを決定したが、他の要因によって受光モードを決定してもよい。例えば、モバイル端末B0101の姿勢によって受光モードを決定してもよい。
 図52は、モバイル端末B0101の姿勢によって受光モードを決定する処理を説明するための図である。
 モバイル端末B0101のセンシング部B0103は、モバイル端末B0101の筐体の姿勢を検知する。モバイル端末B0101は、その結果に基づいて、可視光発信機器B0120からの可視光B1101の受光を行うカメラを、前面カメラB0106および背面カメラB0107のうちの一方に決定する。これにより、前面カメラB0106および背面カメラB0107のうちの一方でのみ、可視光B1101の受光を行う。したがって、前面カメラB0106および背面カメラB0107のそれぞれによって得られる可視光IDの中から、ユーザにとって必要とされる詳細情報に対応する可視光IDを、そのモバイル端末B0101の姿勢によって簡単に選別することができる。さらに、反射光等による不正動作の誘発を軽減することができ、また、電力消費を抑えることができる。
 例えば、図52の(a)に示すように、モバイル端末B0101の筐体の姿勢として、その筐体が前面側を上に向けて鉛直方向に対して45度以上傾いている状態(例えば60度傾いている状態)が検知されると、モバイル端末B0101は、前面カメラB0106のみを起動する。一方、図52の(b)に示すように、モバイル端末B0101の筐体の姿勢として、その筐体が前面側をユーザに向けて鉛直方向に対して45度より小さく傾いている状態(例えば10度傾いている状態)が検知されると、モバイル端末B0101は、背面カメラB0107のみを起動する。
 なお、本実施の形態では、タクシーが可視光によって送信する可視光IDに対応する詳細情報のみを取得する場合について説明した。しかし、このような詳細情報以外にも、街中にある店舗看板やサイネージが可視光によって送信する可視光IDに対応する詳細情報のみを取得したり、室内にある家電等(例えばLEDランプやテレビ映像)が可視光によって送信する可視光IDに対応する詳細情報のみを取得したりしてもよい。
 このように本実施の形態では、複数の被写体(タクシーなど)のそれぞれから送信されて受信された信号(可視光ID)のうち、何れかの被写体からの信号に応じて生成される画像であって、その被写体に関する内容を示す画像である内容通知画像(詳細情報を含む吹き出し画像)が、その被写体の像に対応付けられた状態で撮像画像に重畳される。さらに、端末装置(モバイル端末)が振られたと判定されたときには、振られた方向にある他の被写体からの信号に応じて生成される画像であって、当該他の被写体に関する内容を示す画像である他の内容通知画像が、当該他の被写体の像に対応付けられた状態で撮像画像に重畳される。したがって、例えば、被写体に関する詳細情報が吹き出しの中に記述された内容通知画像が、その被写体の像に対応付けられた状態で表示されるため、ユーザは、その被写体に関する情報を適切に把握することができる。また、端末装置を振ることによって、内容通知画像が表示される対象となる被写体を簡単に切り替えることができる。さらに、その対象は、端末装置が振られた方向にある被写体に切り替えられるため、ユーザに直感的にその切り替えをさせることができ、ユーザ・インターフェースをさらに向上することができる。
 さらに、本実施の形態では、複数の被写体の像のうち、内容通知画像が対応付けられた被写体の像を除く、残りの被写体の像のそれぞれに対しては、その残りの被写体に関する内容(詳細情報)を提示することが可能であることを通知するための提示可能通知画像が撮像画像に重畳される。したがって、内容通知画像が表示されていない被写体の像には、例えば詳細情報が記述されていない小さい吹き出しの形をした提示可能通知画像が表示されるため、ユーザは、端末装置を振ることによって、その被写体に関する内容(詳細情報)を内容通知画像として表示させることができると判断することができる。
 図53Aは、本発明の一態様に係る情報通信方法のフローチャートである。
 本発明の一態様に係る情報通信方法は、可視光通信を行う情報通信方法であって、ステップS11、S12、S13およびS14を含む。
 つまり、この情報通信方法は、光を検出する受光部を用いて可視光通信を行うための第1のプログラムと、前記受光部を用いて前記可視光通信と異なる処理を行うための第2のプログラムとによって、前記受光部の使用の競合が発生するか否かを判定する判定ステップ(S11)と、競合が発生すると判定されたときには、前記競合が生じることを前記受光部のユーザに通知する通知ステップ(S12)と、前記ユーザによる操作に応じて、前記第1および第2のプログラムの何れか一方に前記受光部の使用を許可する競合解決ステップ(S13)と、前記第1のプログラムに使用が許可された場合に、前記受光部によって検出される光に応じた可視光通信を前記第1のプログラムがコンピュータに実行させる可視光通信ステップ(S14)とを含む。
 図53Bは、本発明の一態様に係る情報通信装置のブロック図である。
 本発明の一態様に係る情報通信装置10は、可視光通信を行う情報通信装置であって、構成要素11、12、13および14を備える。
 つまり、この情報通信装置10は、光を検出する受光部を用いて可視光通信を行うための第1のプログラムと、前記受光部を用いて前記可視光通信と異なる処理を行うための第2のプログラムとによって、前記受光部の使用の競合が発生するか否かを判定する判定部11と、競合が発生すると判定されたときには、前記競合が生じることを前記受光部のユーザに通知する通知部12と、前記ユーザによる操作に応じて、前記第1および第2のプログラムの何れか一方に前記受光部の使用を許可する競合解決部13と、前記第1のプログラムに使用が許可された場合に、前記受光部によって検出される光に応じた可視光通信を前記第1のプログラムにしたがって実行する可視光通信部14とを備える。
 このような図53Aおよび図53Bによって示される情報通信方法および情報通信装置10では、受光部の使用の競合が発生する場合には、その競合が生じることが受光部のユーザに通知され、ユーザの操作によって、何れかのプログラムに受光部の使用が許可されため、ユーザは、その受光部を備えた端末において生じている状況を容易に把握することができる。さらに、その状況を把握したうえで、ユーザは端末を操作することができるため、余計な操作をすることなく、受光部の使用の競合を簡単に解決することができる。その結果、ユーザ・インターフェースの向上を図り、ユーザへの負担を軽減することができる。
 なお、上記各実施の形態および変形例において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。例えばプログラムは、図53Aのフローチャートによって示される情報通信方法をコンピュータに実行させる。
 (実施の形態5)
 以下、実施の形態5について説明する。
 (発光部の輝度の観測)
 1枚の画像を撮像するとき、全ての撮像素子を同一のタイミングで露光させるのではなく、撮像素子ごとに異なる時刻に露光を開始・終了する撮像方法を提案する。図54は、1列に並んだ撮像素子は同時に露光させ、列が近い順に露光開始時刻をずらして撮像する場合の例である。ここでは、同時に露光する撮像素子の露光ラインと呼び、その撮像素子に対応する画像上の画素のラインを輝線と呼ぶ。
 この撮像方法を用いて、点滅している光源を撮像素子の全面に写して撮像した場合、図55のように、撮像画像上に露光ラインに沿った輝線(画素値の明暗の線)が生じる。この輝線のパターンを認識することで、撮像フレームレートを上回る速度の光源輝度変化を推定することができる。これにより、信号を光源輝度の変化として送信することで、撮像フレームレート以上の速度での通信を行うことができる。光源が2種類の輝度値をとることで信号を表現する場合、低い方の輝度値をロー(LO),高い方の輝度値をハイ(HI)と呼ぶ。ローは光源が光っていない状態でも良いし、ハイよりも弱く光っていても良い。
 この方法によって、撮像フレームレートを超える速度で情報の伝送を行う。
 一枚の撮像画像中に、露光時間が重ならない露光ラインが20ラインあり、撮像のフレームレートが30fpsのときは、1.67ミリ秒周期の輝度変化を認識できる。露光時間が重ならない露光ラインが1000ラインある場合は、3万分の1秒(約33マイクロ秒)周期の輝度変化を認識できる。なお、露光時間は例えば10ミリ秒よりも短く設定される。
 図55は、一つの露光ラインの露光が完了してから次の露光ラインの露光が開始される場合を示している。
 この場合、1秒あたりのフレーム数(フレームレート)がf、1画像を構成する露光ライン数がlのとき、各露光ラインが一定以上の光を受光しているかどうかで情報を伝送すると、最大でflビット毎秒の速度で情報を伝送することができる。
 なお、ラインごとではなく、画素ごとに時間差で露光を行う場合は、さらに高速で通信が可能である。
 このとき、露光ラインあたりの画素数がm画素であり、各画素が一定以上の光を受光しているかどうかで情報を伝送する場合には、伝送速度は最大でflmビット毎秒となる。
 図56のように、発光部の発光による各露光ラインの露光状態を複数のレベルで認識可能であれば、発光部の発光時間を各露光ラインの露光時間より短い単位の時間で制御することで、より多くの情報を伝送することができる。
 露光状態をElv段階で認識可能である場合には、最大でflElvビット毎秒の速度で情報を伝送することができる。
 また、各露光ラインの露光のタイミングと少しずつずらしたタイミングで発光部を発光させることで、発信の基本周期を認識することができる。
 図57Aは、一つの露光ラインの露光が完了する前に次の露光ラインの露光が開始される場合を示している。即ち、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成となっている。このような構成により、(1)一つの露光ラインの露光時間の終了を待って次の露光ラインの露光を開始する場合に比べ、所定の時間内におけるサンプル数を多くすることができる。所定時間内におけるサンプル数が多くなることにより、被写体である光送信機が発生する光信号をより適切に検出することが可能となる。即ち、光信号を検出する際のエラー率を低減することが可能となる。更に、(2)一つの露光ラインの露光時間の終了を待って次の露光ラインの露光を開始する場合に比べ、各露光ラインの露光時間を長くすることができるため、被写体が暗い場合であっても、より明るい画像を取得することが可能となる。即ち、S/N比を向上させることが可能となる。なお、全ての露光ラインにおいて、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成となる必要はなく、一部の露光ラインについて部分的に時間的な重なりを持たない構成とすることも可能である。一部の露光ラインについて部分的に時間的な重なりを持たないように構成するにより、撮像画面上における露光時間の重なりによる中間色の発生を抑制でき、より適切に輝線を検出することが可能となる。
 この場合は、各露光ラインの明るさから露光時間を算出し、発光部の発光の状態を認識する。
 なお、各露光ラインの明るさを、輝度が閾値以上であるかどうかの2値で判別する場合には、発光していない状態を認識するために、発光部は発光していない状態を各ラインの露光時間以上の時間継続しなければならない。
 図57Bは、各露光ラインの露光開始時刻が等しい場合に、露光時間の違いによる影響を示している。7500aは前の露光ラインの露光終了時刻と次の露光ラインの露光開始時刻とが等しい場合であり、7500bはそれより露光時間を長くとった場合である。7500bのように、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成とすることにより、露光時間を長くとることが可能となる。即ち、撮像素子に入射する光が増大し、明るい画像を得ることができる。また、同一の明るさの画像を撮像するための撮像感度を低く抑えられることで、ノイズの少ない画像が得られるため、通信エラーが抑制される。
 図57Cは、露光時間が等しい場合に、各露光ラインの露光開始時刻の違いによる影響を示している。7501aは前の露光ラインの露光終了時刻と次の露光ラインの露光開始時刻とが等しい場合であり、7501bは前の露光ラインの露光終了より早く次の露光ラインの露光を開始する場合である。7501bのように、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成とすることにより、時間あたりに露光できるラインを増やすことが可能となる。これにより、より解像度が高くなり、多くの情報量が得られる。サンプル間隔(=露光開始時刻の差)が密になることで、より正確に光源輝度の変化を推定することができ、エラー率が低減でき、更に、より短い時間における光源輝度の変化を認識することができる。露光時間に重なりを持たせることで、隣接する露光ラインの露光量の差を利用して、露光時間よりも短い光源の点滅を認識することができる。
 図57B、図57Cで説明したように、隣接する露光ラインの露光時間が、部分的に時間的な重なりをもつように、各露光ラインを順次露光する構成において、露光時間を通常撮影モードよりも短く設定することにより発生する輝線パターンを信号伝送に用いることにより通信速度を飛躍的に向上させることが可能になる。ここで、可視光通信時における露光時間を1/480秒以下に設定することにより適切な輝線パターンを発生させることが可能となる。ここで、露光時間は、フレーム周波数=fとすると、露光時間<1/8×fと設定する必要がある。撮影の際に発生するブランキングは、最大で1フレームの半分の大きさになる。即ち、ブランキング時間は、撮影時間の半分以下であるため、実際の撮影時間は、最も短い時間で1/2fとなる。更に、1/2fの時間内において、4値の情報を受ける必要があるため、少なくとも露光時間は、1/(2f×4)よりも短くする必要が生じる。通常フレームレートは、60フレーム/秒以下であることから、1/480秒以下の露光時間に設定することにより、適切な輝線パターンを画像データに発生させ、高速の信号伝送を行うことが可能となる。
 図57Dは、各露光ラインの露光時間が重なっていない場合、露光時間が短い場合の利点を示している。露光時間が長い場合は、光源は7502aのように2値の輝度変化をしていたとしても、撮像画像では7502eのように中間色の部分ができ、光源の輝度変化を認識することが難しくなる傾向がある。しかし、7502dのように、一つの露光ラインの露光終了後、次の露光ラインの露光開始まで所定の露光しない空き時間(所定の待ち時間)tD2を設ける構成とすることにより、光源の輝度変化を認識しやすくすることが可能となる。即ち、7502fのような、より適切な輝線パターンを検出することが可能となる。7502dのように、所定の露光しない空き時間を設ける構成は、露光時間tを各露光ラインの露光開始時刻の時間差tよりも小さくすることにより実現することが可能となる。通常撮影モードが、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成である場合において、露光時間を通常撮影モード時よりも、所定の露光しない空き時間が生じるまで短く設定することにより、実現することができる。また、通常撮影モードが、前の露光ラインの露光終了時刻と次の露光ラインの露光開始時刻とが等しい場合であっても、所定の露光しない時間が生じるまで露光時間を短く設定することにより、実現することができる。また、7502gのように、各露光ラインの露光開始時刻の間隔tを大きくすることによっても、一つの露光ラインの露光終了後、次の露光ラインの露光開始まで所定の露光しない空き時間(所定の待ち時間)tD2を設ける構成をとることができる。この構成では、露光時間を長くすることができるため、明るい画像を撮像することができ、ノイズが少なくなることからエラー耐性が高い。一方で、この構成では、一定時間内に露光できる露光ラインが少なくなるため、7502hのように、サンプル数が少なくなるという欠点があるため、状況によって使い分けることが望ましい。例えば、撮像対象が明るい場合には前者の構成を用い、暗い場合には後者の構成を用いることで、光源輝度変化の推定誤差を低減することができる。
 なお、全ての露光ラインにおいて、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成となる必要はなく、一部の露光ラインについて部分的に時間的な重なりを持たない構成とすることも可能である。また、全ての露光ラインにおいて、一つの露光ラインの露光終了後、次の露光ラインの露光開始まで所定の露光しない空き時間(所定の待ち時間)を設ける構成となる必要はなく、一部の露光ラインについて部分的に時間的な重なりを持つ構成とすることも可能である。このような構成とすることにより、それぞれの構成における利点を生かすことが可能となる。また、通常のフレームレート(30fps、60fps)にて撮影を行う通常撮影モードと、可視光通信を行う1/480秒以下の露光時間にて撮影を行う可視光通信モードとにおいて、同一の読み出し方法または回路にて信号の読み出しを行ってもよい。同一の読み出し方法または回路にて信号を読み出すことにより、通常撮影モードと、可視光通信モードとに対して、それぞれ別の回路を用いる必要がなくなり、回路規模を小さくすることが可能となる。
 図57Eは、光源輝度の最小変化時間tと、露光時間tと、各露光ラインの露光開始時刻の時間差tと、撮像画像との関係を示している。t+t<tとした場合は、必ず一つ以上の露光ラインが露光の開始から終了まで光源が変化しない状態で撮像するため、7503dのように輝度がはっきりとした画像が得られ、光源の輝度変化を認識しやすい。2t>tとした場合は、光源の輝度変化とは異なるパターンの輝線が得られる場合があり、撮像画像から光源の輝度変化を認識することが難しくなる。
 図57Fは、光源輝度の遷移時間tと、各露光ラインの露光開始時刻の時間差tとの関係を示している。tに比べてtが大きいほど、中間色になる露光ラインが少なくなり、光源輝度の推定が容易になる。t>tのとき中間色の露光ラインは連続で2ライン以下になり、望ましい。tは、光源がLEDの場合は1マイクロ秒以下、光源が有機ELの場合は5マイクロ秒程度となるため、tを5マイクロ秒以上とすることで、光源輝度の推定を容易にすることができる。
 図57Gは、光源輝度の高周波ノイズtHTと、露光時間tとの関係を示している。tHTに比べてtが大きいほど、撮像画像は高周波ノイズの影響が少なくなり、光源輝度の推定が容易になる。tがtHTの整数倍のときは高周波ノイズの影響がなくなり、光源輝度の推定が最も容易になる。光源輝度の推定には、t>tHTであることが望ましい。高周波ノイズの主な原因はスイッチング電源回路に由来し、多くの電灯用のスイッチング電源ではtHTは20マイクロ秒以下であるため、tを20マイクロ秒以上とすることで、光源輝度の推定を容易に行うことができる。
 図57Hは、tHTが20マイクロ秒の場合の、露光時間tと高周波ノイズの大きさとの関係を表すグラフである。tHTは光源によってばらつきがあることを考慮すると、グラフより、tは、ノイズ量が極大をとるときの値と等しくなる値である、15マイクロ秒以上、または、35マイクロ秒以上、または、54マイクロ秒以上、または、74マイクロ秒以上として定めると効率が良いことが確認できる。高周波ノイズ低減の観点からはtは大きいほうが望ましいが、前述のとおり、tが小さいほど中間色部分が発生しづらくなるという点で光源輝度の推定が容易になるという性質もある。そのため、光源輝度の変化の周期が15~35マイクロ秒のときはtは15マイクロ秒以上、光源輝度の変化の周期が35~54マイクロ秒のときはtは35マイクロ秒以上、光源輝度の変化の周期が54~74マイクロ秒のときはtは54マイクロ秒以上、光源輝度の変化の周期が74マイクロ秒以上のときはtは74マイクロ秒以上として設定すると良い。
 図57Iは、露光時間tと認識成功率との関係を示す。露光時間tは光源の輝度が一定である時間に対して相対的な意味を持つため、光源輝度が変化する周期tを露光時間tで割った値(相対露光時間)を横軸としている。グラフより、認識成功率をほぼ100%としたい場合は、相対露光時間を1.2以下にすれば良いことがわかる。例えば、送信信号を1kHzとする場合は露光時間を約0.83ミリ秒以下とすれば良い。同様に、認識成功率を95%以上としたい場合は相対露光時間を1.25以下に、認識成功率を80%以上としたい場合は相対露光時間を1.4以下にすれば良いということがわかる。また、相対露光時間が1.5付近で認識成功率が急激に下がり、1.6でほぼ0%となるため、相対露光時間が1.5を超えないように設定すべきであることがわかる。また、認識率が7507cで0になった後、7507dや、7507e、7507fで、再度上昇していることがわかる。そのため、露光時間を長くして明るい画像を撮像したい場合などは、相対露光時間が1.9から2.2、2.4から2.6、2.8から3.0となる露光時間を利用すれば良い。例えば、図59の中間モードとして、これらの露光時間を使うと良い。
 図58のように、撮像装置によっては、露光を行わない時間(ブランキング)が存在することがある。
 ブランキングが存在する場合には、その時間の発光部の輝度は観察できない。
 発光部が同じ信号を2回以上繰り返して送信する、または、誤り訂正符号を付加することで、ブランキングによる伝送損失を防ぐことができる。
 発光部は、同じ信号が常にブランキングの間に送信されることを防ぐために、画像を撮像する周期と互いに素となる周期、または、画像を撮像する周期より短い周期で信号を送信する。
 (実施の形態6)
 図60は、既に説明した実施の形態に記載の受信方法を用いたサービス提供システムを示す図である。
 まず、サーバex8002を管理する企業A ex8000に対して、他の企業Bや個人ex8001が、携帯端末への情報の配信を依頼する。例えば、サイネージと可視光通信した携帯端末に対して、詳細な広告情報や、クーポン情報、または、地図情報などの配信を依頼する。サーバを管理する企業A ex8000は、任意のID情報に対応させて携帯端末へ配信する情報を管理する。携帯端末ex8003は、可視光通信により被写体ex8004からID情報を取得し、取得したID情報をサーバex8002へ送信する。サーバex8002は、ID情報に対応する情報を携帯端末へ送信するとともに、ID情報に対応する情報を送信した回数をカウントする。サーバを管理する企業A ex8000は、カウントした回数に応じた料金を、依頼した企業Bや個人ex8001に対して課金する。例えば、カウント数が大きい程、課金する額を大きくする。
 図61は、サービス提供のフローを示すフローチャートである。
 Step ex8000において、サーバを管理する企業Aが、他企業Bより情報配信の依頼を受ける。次に、Step ex8001において、企業Aが管理するサーバにおいて、配信依頼を受けた情報を、特定のID情報と関連付ける。Step ex8002では、携帯端末が、可視光通信により、被写体から特定のID情報を受信し、企業Aが管理するサーバへ送信する。可視光通信方法の詳細については、他の実施の形態において既に説明しているため省略する。サーバは、携帯端末から送信された特定のID情報に対応する情報を携帯端末に対して送信する。Step ex8003では、サーバにおいて、情報配信した回数をカウントする。最後に、Step ex8004において、情報配信したカウント数に応じた料金を企業Bに対して課金する。このように、カウント数に応じて、課金を行うことにより、情報配信の宣伝効果に応じた適切な料金を企業Bに課金することが可能となる。
 図62は、他の例におけるサービス提供を示すフローチャートである。図61と重複するステップについては説明を省略する。
 Step ex8008において、情報配信の開始から所定時間が経過したか否か判断する。所定時間内と判断されれば、Step ex8011において、企業Bに対しての課金は行わない。一方、所定期間が経過していると判断された場合には、Step ex8009において、情報を配信した回数をカウントする。そして、Step ex8010において、情報配信したカウントに応じた料金を企業Bに対して課金する。このように、所定期間内は無料で情報配信を行うことから、企業Bは宣伝効果などを確認した上で、課金サービスを受けることができる。
 図63は、他の例におけるサービス提供を示すフローチャートである。図62と重複するステップについては説明を省略する。
 Step ex8014において、情報を配信した回数をカウントする。Step ex8015において、情報配信開始から所定期間が経過していないと判断された場合には、Step ex8016において課金は行わない。一方、所定期間が経過していると判断された場合には、Step ex8017において、情報を配信した回数が所定値以上か否か判断を行う。情報を配信した回数が所定値に満たない場合には、カウント数をリセットし、再度、情報を配信した回数をカウントする。この場合、情報を配信した回数が所定値未満だった、所定期間については企業Bに対して課金は行わない。Step ex8017において、カウント数が所定値以上であれば、Step ex8018においてカウント数を一度リセットし、再度カウントを再開する。Step ex8019において、カウント数に応じた料金を企業Bに対して課金する。このように、無料で配信を行った期間内におけるカウント数が少なかった場合に、再度、無料配信の期間を設けることで、企業Bは適切なタイミングで課金サービスを受けることができる。また、企業Aもカウント数が少なかった場合に、情報内容を分析し、例えば、季節と対応しない情報になっているような場合に、情報内容を変更するように企業Bに対し提案することが可能となる。なお、再度、無料の情報配信期間を設ける場合には、初回の所定の期間よりも短い期間としてもよい。初回の所定の期間よりも短くすることにより、企業Aに対する負担を小さくすることができる。また、一定期間を空けて、無料の配信期間を再度設ける構成としてもよい。例えば、季節の影響を受ける情報であれば、季節が変わるまで一定期間を空けて、再度、無料の配信期間を設けることができる。
 なお、情報の配信回数によらず、データ量に応じて、課金料金を変更するとしてもよい。一定のデータ量の配信は無料として、所定のデータ量以上は、課金する構成としてもよい。また、データ量が大きくなるにつれて、課金料金も大きくしてもよい。また、情報を特定のID情報に対応付けて管理する際に、管理料を課金してもよい。管理料として課金することにより、情報配信を依頼した時点で、料金を決定することが可能となる。
 以上、本発明の一つまたは複数の態様に係る情報通信方法および情報通信装置について、実施の形態およびその変形例に基づいて説明したが、本発明は、この実施の形態及びその変形例に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。
 なお、以下のような場合も本発明に含まれる。
 (1)上記の各装置は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記RAMまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
 (2)上記の各装置を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。
 (3)上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なICカードまたは単体のモジュールから構成されているとしてもよい。前記ICカードまたは前記モジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。前記ICカードまたは前記モジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ICカードまたは前記モジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
 (4)本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
 また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray(登録商標) Disc)、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
 また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
 また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
 また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
 (5)上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
 本発明は、情報通信装置等に利用でき、特に、スマートフォン、タブレット、携帯電話、スマートウォッチ、ヘッドマウントディスプレイ等の携帯端末と、エアコン、照明機器、炊飯器、テレビ、レコーダ、プロジェクタなどの家電機器との通信方法に利用される情報通信装置等に利用することができる。
 10  情報通信装置
 11  判定部
 12  通知部
 13  競合解決部
 14  可視光通信部
 B0101  モバイル端末
 B0102  ジェスチャー検知部
 B0103  センシング部
 B0104  受光ID選別部
 B0105  可視光ID受光処理部
 B0106  前面カメラ
 B0107  背面カメラ
 B0108  通信部
 B0109  表示部
 B0111  ID対応情報変換サーバ
 B0112  通信部
 B0113  変換情報判定部
 B0114  ID対応情報保持部
 B0120  可視光発信機器
 B0130  公衆ネットワーク
 C0100  データ送信照明
 C0200  端末
 C0201  アプリケーション部
 C0201a  可視光通信プログラム
 C0201b  受光部使用プログラム
 C0202  プラットフォーム部
 C0202a  受光制御部
 C0202b  表示制御部
 C0202c  入力制御部
 C0202d  プログラム制御部
 C0202e  受光部使用中プログラム情報保持部
 C0203  ハードウェア部
 C0203a  受光部
 C0203b  表示部
 C0203c  入力部

Claims (12)

  1.  可視光通信を行う情報通信方法であって、
     光を検出する受光部を用いて可視光通信を行うための第1のプログラムと、前記受光部を用いて前記可視光通信と異なる処理を行うための第2のプログラムとによって、前記受光部の使用の競合が発生するか否かを判定する判定ステップと、
     競合が発生すると判定されたときには、前記競合が生じることを前記受光部のユーザに通知する通知ステップと、
     前記ユーザによる操作に応じて、前記第1および第2のプログラムの何れか一方に前記受光部の使用を許可する競合解決ステップと、
     前記第1のプログラムに使用が許可された場合に、前記受光部によって検出される光に応じた可視光通信を前記第1のプログラムがコンピュータに実行させる可視光通信ステップとを含む
     情報通信方法。
  2.  前記通知ステップでは、さらに、前記受光部を使用する前記第1および第2のプログラムのうちの何れか一方を選択するための選択画面を表示し、
     前記競合解決ステップでは、前記ユーザによる前記選択画面に対する操作に応じて、前記第1および第2のプログラムのうちの何れか一方が選択された場合には、選択されたプログラムに前記受光部の使用を許可する
     請求項1に記載の情報通信方法。
  3.  前記通知ステップでは、
     前記第1および第2のプログラムのそれぞれがバックグラウンドで動作するか否かを示す情報を含む前記選択画面を表示する
     請求項2に記載の情報通信方法。
  4.  前記競合解決ステップでは、
     前記ユーザによる操作に応じて、前記第1および第2のプログラムの何れか一方に他の受光部を割り当て、
     前記可視光通信ステップでは、
     前記第1のプログラムに前記他の受光部が割り当てられた場合には、前記他の受光部によって検出される光に応じた可視光通信を前記第1のプログラムが前記コンピュータに実行させる
     請求項1~3の何れか1項に記載の情報通信方法。
  5.  前記可視光通信ステップでは、
     前記可視光通信が実行されることによってデータを取得し、
     前記情報通信方法は、さらに、
     取得された前記データを利用することが可能な複数のアプリケーションプログラムから何れかのアプリケーションプログラムを選択するためのアプリケーション選択画面を表示するアプリケーション表示ステップと、
     前記ユーザによる前記アプリケーション選択画面に対する操作に応じて、何れかのアプリケーションプログラムが選択された場合には、選択されたアプリケーションプログラムが、前記データを用いた処理をコンピュータに実行させるアプリケーション実行ステップとを含む
     請求項1~4の何れか1項に記載の情報通信方法。
  6.  前記情報通信方法は、さらに、
     輝度変化により信号を送信する被写体を、前記受光部であるイメージセンサによって継続的に撮像する撮像ステップと、
     前記被写体を識別するための被写体像と枠線とを含む撮像画像を、撮像時における前記イメージセンサと前記被写体との位置関係に応じて前記撮像画像上の前記被写体像の位置を継続的に更新しながら、表示する撮像画像表示ステップと、
     前記被写体像が前記枠線内に収まるか否かを判定する被写体判定ステップとを含み、
     前記可視光通信ステップでは、
     前記枠線内に前記被写体像が収まると判定されたときに、前記被写体から送信される信号の受信を前記第1のプログラムが前記コンピュータに実行させる
     請求項1~5の何れか1項に記載の情報通信方法。
  7.  前記情報通信方法は、さらに、
     輝度変化により信号を送信する複数の被写体を、前記受光部であるイメージセンサによって撮像する撮像ステップと、
     撮像によって得られる、前記複数の被写体のそれぞれの像を含む撮像画像を表示する表示ステップと、
     前記イメージセンサを備えた端末装置が振られたか否かを判定するジェスチャー判定ステップとを含み、
     前記可視光通信ステップでは、
     前記複数の被写体のそれぞれから送信される信号の受信を前記第1のプログラムが前記コンピュータに実行させ、
     前記表示ステップでは、
     前記複数の被写体のそれぞれから送信されて受信された信号のうち、何れかの被写体からの信号に応じて生成される画像であって、当該被写体に関する内容を示す画像である内容通知画像を、当該被写体の像に対応付けた状態で前記撮像画像に重畳し、
     前記端末装置が振られたと判定されたときには、振られた方向にある他の被写体からの信号に応じて生成される画像であって、当該他の被写体に関する内容を示す画像である他の内容通知画像を、当該他の被写体の像に対応付けた状態で前記撮像画像に重畳する
     請求項1~5の何れか1項に記載の情報通信方法。
  8.  前記表示ステップでは、さらに、
     前記複数の被写体の像のうち、前記内容通知画像または前記他の内容通知画像が対応付けられた被写体の像を除く、残りの被写体の像のそれぞれに対しては、当該残りの被写体に関する内容を提示することが可能であることを通知するための提示可能通知画像を前記撮像画像に重畳する
     請求項7に記載の情報通信方法。
  9.  前記情報通信方法は、さらに、
     複数の露光ラインを有するイメージセンサの各露光ラインの露光を順次異なる時刻で開始し、かつ、前記各露光ラインの露光時間が、隣接する露光ラインとの間で、部分的に時間的な重なりを持つように、第1の露光時間で撮影を行うことにより第1の画像データを取得する通常撮影ステップを含み、
     前記可視光通信ステップでは、
     前記各露光ラインの露光を順次異なる時刻で開始し、かつ、前記各露光ラインの露光時間が、隣接する露光ラインとの間で、部分的に時間的な重なりを持つように、前記第1の露光時間よりも短い第2の露光時間で撮影を行うことにより第2の画像データを取得し、前記第2の画像データに現れる、前記各露光ラインに対応する輝線パターンを復調することにより情報を取得し、
     前記可視光通信ステップは、前記第2の露光時間を、1/480秒以下に設定することにより、前記輝線パターンを前記第2の画像データに発生させる、
     請求項1~8の何れか1項に記載の情報通信方法。
  10.  前記情報通信方法は、さらに、
     情報の配信の依頼を依頼者から受け付ける処理を行う依頼受け付けステップと、
     前記第1のプログラムによる前記可視光通信によって受信された信号に対応する対応情報として、依頼された前記情報を配信する配信ステップと、
     前記情報の配信に応じて、前記依頼者に課金するための情報処理を行う課金ステップとを含む
     請求項1~9の何れか1項に記載の情報通信方法。
  11.  可視光通信を行う情報通信装置であって、
     光を検出する受光部を用いて可視光通信を行うための第1のプログラムと、前記受光部を用いて前記可視光通信と異なる処理を行うための第2のプログラムとによって、前記受光部の使用の競合が発生するか否かを判定する判定部と、
     競合が発生すると判定されたときには、前記競合が生じることを前記受光部のユーザに通知する通知部と、
     前記ユーザによる操作に応じて、前記第1および第2のプログラムの何れか一方に前記受光部の使用を許可する競合解決部と、
     前記第1のプログラムに使用が許可された場合に、前記受光部によって検出される光に応じた可視光通信を前記第1のプログラムにしたがって実行する可視光通信部とを備える
     情報通信装置。
  12.  可視光通信を行うための通信制御プログラムであって、
     光を検出する受光部を用いて可視光通信を行うための第1のプログラムと、前記受光部を用いて前記可視光通信と異なる処理を行うための第2のプログラムとによって、前記受光部の使用の競合が発生するか否かを判定する判定ステップと、
     競合が発生すると判定されたときには、前記競合が生じることを前記受光部のユーザに通知する通知ステップと、
     前記ユーザによる操作に応じて、前記第1および第2のプログラムの何れか一方に前記受光部の使用を許可する競合解決ステップとを、コンピュータに実行させ、
     前記第1のプログラムに使用が許可された場合には、前記受光部によって検出される光に応じた可視光通信を前記第1のプログラムがコンピュータに実行させる
     通信制御プログラム。
PCT/JP2014/001542 2013-11-21 2014-03-18 情報通信方法 WO2015075847A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201480062146.7A CN105723632B (zh) 2013-11-21 2014-03-18 信息通信方法、装置及计算机可读存储介质
JP2015548962A JP6285954B2 (ja) 2013-11-21 2014-03-18 情報通信方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361907026P 2013-11-21 2013-11-21
US61/907,026 2013-11-21

Publications (1)

Publication Number Publication Date
WO2015075847A1 true WO2015075847A1 (ja) 2015-05-28

Family

ID=53173428

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/001542 WO2015075847A1 (ja) 2013-11-21 2014-03-18 情報通信方法

Country Status (4)

Country Link
US (3) US9294188B2 (ja)
JP (2) JP6285954B2 (ja)
CN (1) CN105723632B (ja)
WO (1) WO2015075847A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10075234B2 (en) * 2014-03-25 2018-09-11 Osram Sylvania Inc. Techniques for emitting position information from luminaires
JP6452223B2 (ja) * 2014-06-30 2019-01-16 カシオ計算機株式会社 端末装置、端末制御方法及び端末制御プログラム
EP3169063A4 (en) * 2014-07-09 2018-01-24 Sony Corporation Information processing device, storage medium, and control method
US9735868B2 (en) * 2014-07-23 2017-08-15 Qualcomm Incorporated Derivation of an identifier encoded in a visible light communication signal
US10412173B2 (en) 2015-04-22 2019-09-10 Panasonic Avionics Corporation Passenger seat pairing system
EP3332392B1 (en) * 2015-08-07 2019-01-02 Tridonic GmbH & Co. KG Commissioning device for commissioning installed building technology devices
US10015400B2 (en) * 2015-12-17 2018-07-03 Lg Electronics Inc. Mobile terminal for capturing an image and associated image capturing method
JP6739056B2 (ja) * 2016-06-15 2020-08-12 パナソニックIpマネジメント株式会社 制御機器及び識別番号の割り当て方法
KR102576159B1 (ko) * 2016-10-25 2023-09-08 삼성디스플레이 주식회사 표시 장치 및 이의 구동 방법
CN108289110B (zh) 2017-01-09 2021-10-08 斑马智行网络(香港)有限公司 设备关联方法、装置、终端设备和操作系统
CN108289111B (zh) * 2017-01-09 2021-10-08 斑马智行网络(香港)有限公司 服务提供方法、装置、终端设备和操作系统
US10511771B2 (en) * 2017-04-21 2019-12-17 Qualcomm Incorporated Dynamic sensor mode optimization for visible light communication
US10876853B2 (en) * 2018-07-06 2020-12-29 Honda Motor Co., Ltd. Information presentation device, information presentation method, and storage medium
CN108964762B (zh) * 2018-07-23 2020-05-29 京东方科技集团股份有限公司 可见光通信装置及其驱动方法、门锁和可见光通信方法
CN109709814B (zh) * 2018-12-26 2020-05-01 北京蓦然认知科技有限公司 一种智能家居中动态构建冲突校验规则表的方法、装置
CN110418003B (zh) * 2019-07-30 2020-09-18 Oppo广东移动通信有限公司 一种亮度调节方法、亮度调节装置及移动终端
US11418956B2 (en) 2019-11-15 2022-08-16 Panasonic Avionics Corporation Passenger vehicle wireless access point security system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006012369A (ja) * 2004-06-29 2006-01-12 Matsushita Electric Ind Co Ltd 情報記録媒体、及びその再生装置
JP2008139914A (ja) * 2006-11-29 2008-06-19 Kyocera Corp 無線通信端末装置
JP2010147993A (ja) * 2008-12-22 2010-07-01 Kyocera Corp 携帯端末および電子カメラ
JP2010217962A (ja) * 2009-03-13 2010-09-30 Omron Corp カメラ付き携帯端末装置用のプログラムおよびカメラ付き携帯端末装置
JP2010278573A (ja) * 2009-05-26 2010-12-09 Panasonic Electric Works Co Ltd 点灯制御装置、盗撮防止システム、映写機
JP2011250231A (ja) * 2010-05-28 2011-12-08 Casio Comput Co Ltd 情報伝送システムおよび情報伝送方法
WO2013161732A1 (ja) * 2012-04-25 2013-10-31 株式会社コナミデジタルエンタテインメント ゲーム制御装置、ゲーム制御方法、プログラム、記録媒体、ゲームシステム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08334832A (ja) * 1995-04-07 1996-12-17 Seiko Epson Corp 映像投射システム及びその位置マーク表示制御方法
CN1277389C (zh) * 1999-07-05 2006-09-27 三洋电机株式会社 信息传送系统、传送服务器、便携式通信终端及其传送方法
JP2002290335A (ja) 2001-03-28 2002-10-04 Sony Corp 光空間伝送装置
JP4258491B2 (ja) * 2004-05-31 2009-04-30 カシオ計算機株式会社 情報受信装置、情報伝送システム、情報受信方法、及び、情報受信プログラム
JP4797415B2 (ja) * 2005-03-25 2011-10-19 株式会社ニコン 照明装置、撮影装置および撮影システム
JP5282899B2 (ja) * 2009-03-19 2013-09-04 カシオ計算機株式会社 情報復元装置及び情報復元方法
US8620154B2 (en) * 2009-07-31 2013-12-31 Samsung Electronics Co., Ltd. Methods and apparatus for fast and energy-efficient light recovery in a visible light communication (VLC) system
RU2557802C2 (ru) * 2010-01-15 2015-07-27 Конинклейке Филипс Электроникс Н.В. Детектирование данных для передачи данных в видимом свете, используя датчик обычной камеры
JP5099180B2 (ja) * 2010-06-23 2012-12-12 カシオ計算機株式会社 情報復号装置、情報復号方法、及び、プログラム
JP2012039387A (ja) * 2010-08-06 2012-02-23 Nippon Telegr & Teleph Corp <Ntt> 情報交換システム及び情報交換方法
JP5615646B2 (ja) * 2010-09-22 2014-10-29 京セラ株式会社 通信システム及び通信機器
CN102148641A (zh) * 2011-02-25 2011-08-10 中兴通讯股份有限公司 一种用户设备之间的数据传输方法及系统
JP5294096B2 (ja) * 2011-06-23 2013-09-18 カシオ計算機株式会社 情報伝送システム、受光装置、情報伝送方法、及び、プログラム
CN102412953B (zh) * 2011-11-03 2015-01-07 北京邮电大学 可见光局域网双工通信方法
JP6044079B2 (ja) * 2012-02-06 2016-12-14 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
LT2858269T (lt) * 2012-05-24 2018-05-10 Panasonic Intellectual Property Corporation Of America Informacinio ryšio būdas
JP2014056670A (ja) * 2012-09-11 2014-03-27 Panasonic Corp 照明制御システム
US9354721B2 (en) * 2012-09-28 2016-05-31 Apple Inc. Movement based image transformation
US8699887B1 (en) * 2013-03-14 2014-04-15 Bret Rothenberg Methods and systems for encoding and decoding visible light with data and illumination capability

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006012369A (ja) * 2004-06-29 2006-01-12 Matsushita Electric Ind Co Ltd 情報記録媒体、及びその再生装置
JP2008139914A (ja) * 2006-11-29 2008-06-19 Kyocera Corp 無線通信端末装置
JP2010147993A (ja) * 2008-12-22 2010-07-01 Kyocera Corp 携帯端末および電子カメラ
JP2010217962A (ja) * 2009-03-13 2010-09-30 Omron Corp カメラ付き携帯端末装置用のプログラムおよびカメラ付き携帯端末装置
JP2010278573A (ja) * 2009-05-26 2010-12-09 Panasonic Electric Works Co Ltd 点灯制御装置、盗撮防止システム、映写機
JP2011250231A (ja) * 2010-05-28 2011-12-08 Casio Comput Co Ltd 情報伝送システムおよび情報伝送方法
WO2013161732A1 (ja) * 2012-04-25 2013-10-31 株式会社コナミデジタルエンタテインメント ゲーム制御装置、ゲーム制御方法、プログラム、記録媒体、ゲームシステム

Also Published As

Publication number Publication date
US9680572B2 (en) 2017-06-13
US20170244483A1 (en) 2017-08-24
JP6285954B2 (ja) 2018-02-28
US10177847B2 (en) 2019-01-08
US20150139659A1 (en) 2015-05-21
CN105723632B (zh) 2019-03-22
JP6483879B2 (ja) 2019-03-13
US9294188B2 (en) 2016-03-22
US20160134371A1 (en) 2016-05-12
JPWO2015075847A1 (ja) 2017-03-16
JP2018078655A (ja) 2018-05-17
CN105723632A (zh) 2016-06-29

Similar Documents

Publication Publication Date Title
JP6483879B2 (ja) 情報通信方法、情報通信装置、およびプログラム
JP6377077B2 (ja) 可視光通信方法及び受信装置
JP6622828B2 (ja) 通信方法、通信装置およびプログラム
CN107466477B (zh) 显示方法、计算机可读取记录介质以及显示装置
CN107343392B (zh) 显示方法以及显示装置
CN110114988B (zh) 发送方法、发送装置及记录介质
JP6345697B2 (ja) 情報処理プログラム、受信プログラムおよび情報処理装置
JP6429288B2 (ja) 送信機、送信方法およびプログラム
TWI736702B (zh) 資訊通訊方法、資訊通訊裝置及程式
JP6434724B2 (ja) 情報通信方法
WO2015075849A1 (ja) 通信方法
CN110073612B (zh) 发送方法、发送装置及记录介质
KR102224247B1 (ko) 다이렉트 주차유도 카메라 장치
JP2018032885A (ja) 情報処理プログラム、受信プログラムおよび情報処理装置
JP2018032884A (ja) 受信プログラムおよび受信装置
TW201830891A (zh) 資訊通訊方法、資訊通訊裝置及電腦程式

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14864103

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015548962

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14864103

Country of ref document: EP

Kind code of ref document: A1