WO2012023253A1 - 受信表示装置、情報発信装置、光無線通信システム、受信表示用集積回路、情報発信用集積回路、受信表示プログラム、情報発信プログラム、及び光無線通信方法 - Google Patents

受信表示装置、情報発信装置、光無線通信システム、受信表示用集積回路、情報発信用集積回路、受信表示プログラム、情報発信プログラム、及び光無線通信方法 Download PDF

Info

Publication number
WO2012023253A1
WO2012023253A1 PCT/JP2011/004444 JP2011004444W WO2012023253A1 WO 2012023253 A1 WO2012023253 A1 WO 2012023253A1 JP 2011004444 W JP2011004444 W JP 2011004444W WO 2012023253 A1 WO2012023253 A1 WO 2012023253A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
display
transmission
relative position
transmission device
Prior art date
Application number
PCT/JP2011/004444
Other languages
English (en)
French (fr)
Inventor
松井 典弘
山田 和範
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2012507532A priority Critical patent/JP5619140B2/ja
Priority to CN201180003457.2A priority patent/CN102484678B/zh
Priority to US13/391,680 priority patent/US9374159B2/en
Publication of WO2012023253A1 publication Critical patent/WO2012023253A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/112Line-of-sight transmission over an extended range
    • H04B10/1121One-way transmission
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39Control of the bit-mapped memory
    • G09G5/395Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet

Definitions

  • the present invention relates to an optical wireless communication apparatus that transmits and receives data using light such as visible light, infrared light, and laser, and more specifically, on an image displaying an image captured by a camera,
  • the present invention relates to a technique for displaying data acquired from a light source device in association with the light source device.
  • AR augmented reality
  • Patent Document 1 discloses a new type of navigation system using optical wireless communication.
  • an information processing device such as a mobile phone performs position measurement using GPS or the like, transmits position information and a search condition to a server, and transmits data to a light emitting device that matches the position information and the search condition received by the server.
  • the information processing device detects a light emitting device that emits light with a predetermined blinking pattern from the subject image, decodes and acquires the data, and associates the acquired data with the position of the light emitting device. Display on the subject image.
  • optical wireless communication has a problem that communication cannot be performed at all if there is a small shield on a straight line connecting the transmission side and the reception side.
  • Patent Document 1 when a light emitting device that matches position information and a search condition is shielded and the information processing device cannot acquire data, the data is transmitted to another unshielded light emitting device via a server, The above-mentioned problem is solved by acquiring data of a light emitting device whose processing device is shielded from another light emitting device.
  • the position of the information transmission device or the transmission direction of the information transmission device can be obtained even if the content of the information itself can be received and displayed on the reception display device side. Therefore, the user using the reception display device cannot intuitively grasp where this information originated from.
  • other public communication means such as a public network
  • a separate communication fee is incurred, and a problem that it cannot be used in an environment outside the service area where public communication means cannot be used.
  • Patent Document 1 a configuration in which a matching light emitting device emits light by individually superimposing data according to position information and search conditions of each information processing device is disclosed.
  • controlling individual light-emitting devices so that information suitable for each of many information processing devices flows can be complicated due to traffic congestion and complicated processing.
  • the display information related to the information transmission device is It solves the above-mentioned problem that it cannot be displayed in correspondence with the installation position of the information transmission device on the image displaying the captured image.
  • a reception display device On the image displaying the image captured by the camera, a reception display device, an information transmission device, an optical wireless communication system, which can display information related to an information transmission device blocked by an obstacle such as a building in association with the position of the information transmission device,
  • An object is to provide a reception display integrated circuit, an information transmission integrated circuit, a reception display program, an information transmission program, and an optical wireless communication method.
  • the present invention is directed to a reception display device, an information transmission device, an optical wireless communication system, a reception display integrated circuit, an information transmission integrated circuit, a reception display program, an information transmission program, and an optical wireless communication method.
  • the reception display device of the present invention receives display information using a light emission pattern, and superimposes the received display information on an image captured in time series.
  • An apparatus for displaying on a display device includes a receiving unit, a measuring unit, and an information processing unit.
  • the receiving unit captures images in time series, and is transmitted from one information transmission device using a light emission pattern, and includes direct transmission information including display information regarding the one information transmission device, and Display information regarding two information transmission devices different from the one information transmission device, and one or a plurality of relative position information indicating a relative position of the two information transmission devices with respect to the one information transmission device Transfer information including is received.
  • the measurement unit measures a relative position of the one information transmission device with respect to the own device.
  • the information processing unit relates to the one piece of information included in the direct transmission information received by the receiving unit in association with a light emission position corresponding to the position of the one information transmitting device on the image captured by the receiving unit.
  • the display information of the second information transmission device is superimposed and displayed on the display device.
  • the one or more relative position information included in the transfer information received by the reception unit is represented by a vector, and the relative information of the one information transmission device measured by the measurement unit is measured.
  • the position is represented by a vector
  • the information processing unit includes a vector representing one or a plurality of relative position information included in the transfer information received by the receiving unit, and the one information measured by the measuring unit. It is preferable to calculate the relative position of the two information transmitting devices with respect to the own device as one vector by adding the vector representing the relative position of the transmitting device to the vector.
  • the measurement unit may measure the relative distance and angle of the one information transmission device with respect to the device itself.
  • the information transmission device of the present invention transmits information for display, which is displayed superimposed on an image captured in time series in the reception device, using a light emission pattern.
  • a storage unit stores in advance at least display information related to the own device.
  • the receiving unit receives direct transmission information including information for display related to the one information transmission device, which is transmitted using a light emission pattern from one information transmission device different from the own device.
  • the measurement unit measures a relative position of the one information transmission device with respect to a transmission position in the own device.
  • the information processing unit generates direct transmission information including display information related to the own device stored in advance in the storage unit, and indicates a relative position of the one information transmission device measured by the measurement unit Transfer information including relative position information and display information related to the one information transmission device included in the direct transmission information received by the receiving unit is generated.
  • the transmission unit transmits the direct transmission information and the transfer information generated by the information processing unit using a light emission pattern.
  • the receiving unit further displays the second information transmission device different from the one information transmission device, which is transmitted from the one information transmission device using a light emission pattern.
  • Transfer information including the information for information and the relative position information indicating the relative position of the second information transmission device with respect to the one information transmission device, and the information processing unit is further measured by the measurement unit Based on the relative position information indicating the relative position and the relative position information on the second information transmission device included in the transfer information received by the reception unit, the second information transmission device with respect to its own device Relative position information indicating a relative position is generated, and the relative position information generated here and display information related to the second information transmission device included in the transfer information received by the receiving unit Generates a hierarchical forwarding information including the transmission unit is further hierarchical forwarding information generated by the information generation unit, it may be transmitted using the light emission pattern.
  • the display information regarding the one information transmission device included in the direct transmission information and the display information regarding the second information transmission device included in the transfer information are respectively information Unique identification information is attached to each transmitting device, and the information processing unit includes duplicate identification information in the direct transmission information and the identification information attached to the display information included in the transfer information.
  • the information processing unit includes duplicate identification information in the direct transmission information and the identification information attached to the display information included in the transfer information.
  • each of the transfer information is attached with an alternative number indicating how many information transmitting devices have passed, and the information processing unit generates the hierarchical transfer information As the number of hierarchies increases, the number of alternative vias may be updated, and the hierarchical transfer information attached with the number of alternative vias exceeding a predetermined number permitted in advance may be discarded.
  • the information processing unit may set an upper limit on the data amount in the alternative transmission, or set an upper limit on the number of transfer information, and may not generate transfer information that exceeds a predetermined upper limit.
  • the information processing unit may not generate transfer information that does not satisfy a predetermined condition.
  • the optical wireless communication system of the present invention receives display information using a light emission pattern, and superimposes the received display information on an image captured in time series.
  • the receiving display device to be displayed on the display device, and a plurality of information transmitting devices that transmit the display information using a light emission pattern.
  • One information transmission device among the plurality of information transmission devices includes a storage unit, a first reception unit, a first measurement unit, a first information processing unit, and a transmission unit.
  • the storage unit stores in advance at least display information related to the own device.
  • the first receiving unit is a display for the two information transmission devices, which is transmitted using a light emission pattern from two information transmission devices different from the own device among the plurality of information transmission devices. Receive direct information including information.
  • the first measuring unit measures a relative position of the second information transmission device with respect to a transmission position in the own device.
  • the first information processing unit generates direct transmission information including display information related to the own device stored in advance in the storage unit, and relative to the two information transmission devices measured by the first measurement unit. Transfer information including relative position information indicating a correct position and display information related to the second information transmission device included in the direct transmission information received by the first reception unit is generated.
  • the transmission unit transmits the direct transmission information and the transfer information generated by the first information processing unit using a light emission pattern.
  • the reception display device includes a second reception unit, a second measurement unit, and a second information processing unit.
  • the second receiving unit picks up images in time series and transmits directly from the one information transmission device using the light emission pattern and includes display information regarding the one information transmission device. Transfer information including information, display information regarding the second information transmission device, and one or a plurality of relative position information indicating a relative position of the second information transmission device with respect to the one information transmission device. Receive.
  • the second measuring unit measures a relative position of the one information transmission device with respect to the own device.
  • the second information processing unit is included in the direct transmission information received by the second reception unit in association with a light emission position corresponding to the position of the one information transmission device on the image captured by the reception unit.
  • the reception display program of the present invention in the display device causes the reception display device to execute a reception step, a measurement step, and an information processing step.
  • the receiving step captures images in time series, and is transmitted from one information transmission device using a light emission pattern, and includes direct transmission information including display information regarding the one information transmission device, and Display information regarding two information transmission devices different from the one information transmission device, and one or a plurality of relative position information indicating a relative position of the two information transmission devices with respect to the one information transmission device Transfer information including is received.
  • the relative position of the one information transmitting device with respect to the own device is measured.
  • the one piece of information included in the direct transmission information received in the reception step in association with a light emission position corresponding to the position of the one information transmission device on the image captured in the reception step.
  • the coordinate position of the second information transmission device on the image captured in the reception step is calculated, and is associated with the coordinate position and included in the transfer information.
  • the display information of the second information transmission device is superimposed and displayed on the display device.
  • the information transmission device of the present invention in which information for display that is displayed superimposed on an image captured in time series in a reception display device is transmitted using a light emission pattern.
  • the information transmission program causes the information transmission device to execute a reception step, a measurement step, an information processing step, and a transmission step.
  • the information transmission device includes a storage unit that stores at least display information regarding the device itself.
  • the reception step receives direct transmission information including information for display related to the one information transmission device, which is transmitted from one information transmission device different from the own device using a light emission pattern.
  • the measuring step the relative position of the one information transmitting apparatus with respect to the transmission position in the own apparatus is measured.
  • the information processing step generates direct transmission information including display information related to the own device stored in advance in the storage unit, and indicates a relative position of the one information transmission device measured in the measurement step Transfer information including relative position information and display information regarding the one information transmission device included in the direct transmission information received in the reception step is generated.
  • the direct transmission information and the transfer information generated in the information processing step are transmitted using a light emission pattern.
  • information for display is received using a light emission pattern, and the received display information is superimposed on an image captured in time series and received on a display device.
  • the reception display integrated circuit of the present invention used in the display device integrates all or a part of the receiving unit, the measuring unit, and the information processing unit that can be constructed by the electric circuit.
  • the receiving unit captures images in time series, and is transmitted from one information transmission device using a light emission pattern, and includes direct transmission information including display information regarding the one information transmission device, and Display information regarding two information transmission devices different from the one information transmission device, and one or a plurality of relative position information indicating a relative position of the two information transmission devices with respect to the one information transmission device Transfer information including is received.
  • the measurement unit measures a relative position of the one information transmission device with respect to the own device.
  • the information processing unit relates to the one piece of information included in the direct transmission information received by the receiving unit in association with a light emission position corresponding to the position of the one information transmitting device on the image captured by the receiving unit. While superimposing information for display of the transmitting device, the light emission position, one or more relative position information included in the transfer information received by the receiving unit, and the one information measured by the measuring unit Based on the relative position of the transmitting device, the coordinate position of the second information transmitting device on the image captured by the receiving unit is calculated and associated with the coordinate position and included in the transfer information. The display information of the second information transmission device is superimposed and displayed on the display device.
  • the present invention is used in an information transmission apparatus that transmits display information that is displayed superimposed on an image captured in time series in a reception apparatus using a light emission pattern.
  • the information transmission integrated circuit integrates all or a part of the storage unit, the reception unit, the measurement unit, the information processing unit, and the transmission unit that can be constructed by the electric circuit.
  • the storage unit stores in advance at least display information related to the own device.
  • the receiving unit receives direct transmission information including information for display related to the one information transmission device, which is transmitted using a light emission pattern from one information transmission device different from the own device.
  • the measurement unit measures a relative position of the one information transmission device with respect to a transmission position in the own device.
  • the information processing unit generates direct transmission information including display information related to the own device stored in advance in the storage unit, and indicates a relative position of the one information transmission device measured by the measurement unit Transfer information including relative position information and display information related to the one information transmission device included in the direct transmission information received by the receiving unit is generated.
  • the transmission unit transmits the direct transmission information and the transfer information generated by the information processing unit using a light emission pattern.
  • the optical wireless communication method of the present invention is a reception display device that receives display information using a light emission pattern, and displays the received display information in time series.
  • a method of transmitting a display information using a light emission pattern in a plurality of information transmission devices, overlaid on an image to be captured and displayed on a display device, the first reception step, 1 measurement step, 1st information processing step, transmission step, 2nd reception step, 2nd measurement step, and 2nd information processing step are included.
  • One information transmission device among the plurality of information transmission devices includes a storage unit that stores at least information for display related to the device in advance.
  • the first information transmitting device in the one information transmitting device, two information transmitting devices different from the own device among the plurality of information transmitting devices are transmitted using a light emission pattern.
  • Direct transmission information including display information related to the information transmission apparatus is received.
  • the first measurement step in the one information transmission device, a relative position of the second information transmission device with respect to a transmission position in the own device is measured.
  • the first information processing step generates direct transmission information including information for display related to the own device stored in advance in the storage unit in the one information transmission device, and the first measurement step is measured by the first measurement step.
  • Transfer information including relative position information indicating a relative position of the second information transmission device and display information regarding the second information transmission device included in the direct transmission information received by the first reception step is generated. .
  • the direct transmission information and the transfer information generated in the first information processing step are transmitted using the light emission pattern in the one information transmission device.
  • images are taken in time series, and the display related to the one information transmission device is transmitted from the one information transmission device using a light emission pattern.
  • Direct information including information for information, display information regarding the second information transmission device, and one or more relative position information indicating the relative position of the second information transmission device with respect to the one information transmission device Transfer information including and is received.
  • the relative position of the one information transmission device with respect to its own device is measured in the reception display device.
  • the second information processing step is received by the second reception step in the reception display device in association with the light emission position corresponding to the position of the one information transmission device on the image captured by the second reception step.
  • the information for display of the one information transmission device included in the directly sent information is superimposed, and the light emission position and one or more relative positions included in the transfer information received in the second reception step Based on the information and the relative position of the one information transmission device measured by the second measurement step, the coordinate position of the second information transmission device on the image captured by the second reception step And the display information of the second information transmission device included in the transfer information is superimposed on the display device in association with the coordinate position. Make.
  • the reception display device acquires the installation position of the information transmission device and the display information that cannot be visually recognized from another information transmission device that can be directly visually recognized using optical wireless communication. Can do.
  • the reception display device there is a small shielding object on a straight line connecting the transmission side and the reception side, or an information transmission device that is installed on the back side of a building such as a building and cannot be directly seen
  • the display information related to the information can be displayed in association with the installation position of the information transmission device on the image displaying the video imaged by the camera.
  • FIG. 8 is a diagram illustrating an example of an image displayed on the display device 240 held by the user 10 in the usage example illustrated in FIGS. 7A to 7C, and FIG. ) Indicates a case where there is an alternative transmission.
  • the first embodiment uses information transmission by optical space transmission to superimpose information on a captured image and displays the information on one of the two information transmission devices in the captured image.
  • the display information to be displayed in association with the position is transmitted together with the relative position information indicating the relative position between the information transmission devices, and the reception display device receives the display information from the two information transmission devices from the change in luminance.
  • the transmission information and the relative position information of the second information transmission device received from the one information transmission device are used to superimpose the transmission information on the image position of the second information transmission device. Is.
  • FIG. 1 is a diagram showing an overview of an optical wireless communication system 1 according to a first embodiment of the present invention.
  • the optical wireless communication system 1 shown in FIG. 1 includes information transmission devices 100a to 100c, input devices 160a to 160c, a reception display device 200, and a display device 240.
  • the information transmission devices 100a to 100c are stationary electronic devices that are provided on, for example, display shelves of products arranged in stores or advertisement billboards in the city, and are images captured in time series by the reception display device 200. It has a function of transmitting information for display that is displayed in an overlapping manner using a light emission pattern.
  • the information transmitting devices 100a to 100c have functions of not only transmitting display information related to their own devices but also receiving display information from other devices and transmitting display information related to other devices. Have.
  • FIG. 1 shows three information transmission devices 100a to 100c, in reality, many units are installed in a wide range.
  • the input devices 160a to 160c include input devices such as a keyboard and an external interface, for example.
  • the input devices 160a to 160c have a function of accepting an input from an operator, acquiring data from an external device or an external memory, and passing it to the information transmitting devices 100a to 100c. Have.
  • the input devices 160a to 160c may be always installed, or may be installed only when necessary at the time of initial setting or maintenance.
  • the reception display device 200 is a mobile terminal that is used mainly by the individual outdoors in the state where the display device 240 is connected, for example, a mobile phone or a car navigation system, and uses the light emission pattern to provide information. Display information is received from the transmitting devices 100a to 100c, and the received display information is superimposed on an image captured in time series and displayed on the display device 240. In general, a plurality of reception display devices 200 are used at the same time.
  • the display device 240 includes an output device such as a liquid crystal display, for example, and outputs the video signal generated by the reception display device 200 on the screen.
  • the information transmission device 100a among the information transmission devices 100a to 100c is included in the imaging area of the reception display device 200, and only the information transmission device 100b is included in the imaging region of the information transmission device 100a.
  • the following description will be made on the assumption that only 100c is included in the imaging region of information transmitting apparatus 100b.
  • FIG. 2 is a diagram illustrating a schematic functional configuration of the information transmission device 100a according to the embodiment of the present invention.
  • the information transmission device 100a is a device that transmits information for display, which is displayed superimposed on an image captured in time series in the reception display device 200, using a light emission pattern, and is shown in FIG.
  • the storage unit 110, the reception unit 120, the measurement unit 130, the information processing unit 140, and the transmission unit 150 are provided.
  • the storage unit 110 stores its own device setting information in advance.
  • the own device setting information is information including at least one of the following (1) to (3).
  • Information for display related to the own device to be displayed on the reception display device 200 such as a place name indicating a place where the information transmission device 100a is installed, a facility name, and the like.
  • Information indicating the direction in which the information transmitting apparatus 100a transmits optical radio waves, and when the transmitted light is diffused in a certain range, the direction at the center position may be indicated.
  • the operator may newly set own device setting information in the storage unit 110 or update the own device setting information stored in the storage unit 110 using the input device 160a.
  • the receiving unit 120 obtains a video signal in units of frames to generate image information, and extracts necessary information transmitted from the image information using a light emission pattern. Specifically, the receiving unit 120 receives direct transmission information including information for display related to the information transmitting apparatus 100b from the information transmitting apparatus 100b different from the own apparatus. Further, the receiving unit 120 uses the light emission pattern to transmit information from the information transmitting apparatus 100b and displays information related to the information transmitting apparatus 100c that is different from the information transmitting apparatus 100b, and transmits information to the information transmitting apparatus 100b. Transfer information including relative position information indicating the relative position of the device 100c is received.
  • the receiving unit 120 includes a light receiving element 121, a transmission source detecting unit 122, and a communication information demodulating unit 123, and detailed description of functions by each component will be given below.
  • the light receiving element 121 includes, for example, an image sensor, a camera, and the like, picks up images in time series, generates a video signal, and acquires it as image information in units of frames.
  • the transmission source detection unit 122 analyzes the image information acquired by the light receiving element 121 and detects the light emission position of the other information transmission device 100b included in the captured area. In addition, in the transmission source detection unit 122, the analysis of the image information takes time for processing, and a certain amount of cost is required to satisfy the specifications required for the apparatus. Therefore, after the image information is filtered and converted into a binary image Pre-processing for obtaining the same effect at low cost, such as comparison, may be performed.
  • the communication information demodulation unit 123 Based on the light emission position detected by the transmission source detection unit 122 and the image information acquired by the light receiving element 121, the communication information demodulation unit 123 acquires a modulation pulse signal at the position of the transmission source from the image information. Then, it is demodulated into communication data that is data in a format that can be used in the transmission information generation unit 142.
  • an optical wireless signal at the position of each transmission source is extracted, demodulated into communication data, and each transmission source is associated with the demodulated communication data.
  • the measurement unit 130 measures the linear distance to the transmission source, the orientation of the transmission source, and the altitude difference from the transmission source, and detects the relative position between the own device and the transmission source.
  • the measurement unit 130 includes a distance measurement unit 131, an azimuth measurement unit 132, and an altitude measurement unit 133, and detailed description of functions by each component will be given below.
  • the distance measurement unit 131 includes a distance measurement sensor such as a light wave range finder, specifies the direction of the transmission source based on the light emission position detected by the transmission source detection unit 122, and determines the linear distance to the transmission source in that direction. taking measurement.
  • a distance measurement sensor such as a light wave range finder
  • the linear distances to the respective transmission sources are measured, and each transmission source is associated with the measured linear distance.
  • the distance measuring unit 131 may include a second receiving unit instead of the distance measuring sensor and obtain the distance by triangulation. Further, if the receiving unit has a structure having an autofocus lens, the distance may be measured by the focal length.
  • the azimuth measuring unit 132 includes a sensor for detecting the direction of the transmission source, and senses the north direction with, for example, an electronic compass to detect the angle between the north direction and the direction of the transmission source.
  • the angle detected by the azimuth measuring unit 132 may be represented by a numerical value that takes a positive value in the clockwise direction and a negative value in the counterclockwise direction, with the north direction being 0 degrees.
  • the altitude measurement unit 133 includes a sensor for measuring an altitude difference from the transmission source.
  • the altitude measurement unit 133 detects the direction of gravity, detects the angle formed by the horizontal plane and the direction of the transmission source, and measures by the distance measurement unit 131. The altitude difference is calculated using the calculated straight line distance. Note that the angle detected by the altitude measuring unit 133 may be expressed by a numerical value having a positive value in the upward direction and a negative value in the downward direction.
  • the measurement unit 130 uses the angle formed by the detected horizontal plane and the direction of the transmission source and the linear distance to the transmission source, and the distance between the horizontal component and the vertical component to the transmission source. (Elevation difference) is calculated, and the distance between the north-south direction component and the east-west direction component are calculated using the angle between the north direction and the source direction and the detected horizontal distance of the source component. Is calculated. Specifically, when the angle between the horizontal plane and the direction of the transmission source is “ ⁇ ” and the linear distance from the own device to the transmission source is “D”, the distance of the horizontal component from the own device to the transmission source Is “Dcos ⁇ ”, and the altitude difference between the own apparatus and the transmission source is “Dsin ⁇ ”.
  • the measurement unit 130 may output a combination of the vertical component distance, the north-south direction component distance, and the east-west direction component distance in detecting the relative position between the own device and the transmission source, You may output by the vector notation which combined the straight line distance, the angle "phi” between the horizontal surface and the direction of a transmission source, and the angle "theta” between the north direction and the direction of a transmission source.
  • the information processing unit 140 generates direct transmission information including display information related to the own device stored in advance in the storage unit 110, and indicates the relative position of the information transmission device 100b measured by the measurement unit 130. Transfer information including the relative position information and display information regarding the information transmission device 100b included in the direct transmission information received by the receiving unit 120 is generated. Further, the information processing unit 140 includes relative position information indicating the relative position of the information transmission device 100b measured by the measurement unit 130, and relative position information regarding the information transmission device 100c included in the transfer information received by the reception unit 120.
  • the relative position information indicating the relative position of the information transmitting apparatus 100b with respect to the own apparatus is generated based on the information, and the relative position information generated here and the information transmitting apparatus included in the transfer information received by the receiving unit 120 Chain transfer information including display information regarding 100c is generated.
  • a unique device ID is assigned to each information transmitting device, and the information with the same device ID is assigned. If a plurality of display information related to the transmission device are found, for example, even if the number of information transmission devices via which alternative transmission is performed (the number of alternative transmissions) is left, the other may be deleted. Good.
  • an upper limit is set for the data amount in alternative transmission, and transfer information for exceeding the upper limit May not be generated.
  • the data for alternative transmission may be temporarily stored in a predetermined data area in the order of reception, and the data for alternative transmission received thereafter may be discarded when the data area is full.
  • priority may be given to the data for alternative transmission according to the importance, and when the data amount reaches the upper limit, the data with the lower priority may be discarded.
  • an upper limit may be provided on the number of alternative vias indicating how many information transmission devices are routed. Specifically, the number of alternative vias is attached to each piece of transfer information, and the information processing unit 140 generates chained transfer information and updates the number of alternative vias every time the number of transfers increases. Discards the chained transfer information attached with the number of alternatives exceeding.
  • an upper limit may be set for the number of transfer information, and transfer information exceeding the upper limit may not be generated.
  • a value obtained by dividing an effective bit rate communicable in optical wireless communication by a drawing refresh rate in the reception display device 200 is set as an information update rate.
  • the effective bit rate of optical wireless communication is 300 Mbps and the drawing refresh rate in the reception display device 200 is 30 fps, 10 Mbit per frame ( ⁇ 1280 KBytes).
  • transfer information that does not satisfy a predetermined condition may not be generated.
  • the information of the information transmission apparatus that is too far is less likely to be used, the information whose relative distance is farther than a specified value (for example, 100 m) is deleted. Also, for example, if an error occurs, the time required for reception is wasted, so that the light intensity when receiving light is less than a specified value is deleted. Further, for example, display information related to the information transmission device existing in a direction different from the direction in which the image is taken (for example, a range of about 35 mm wide angle) is deleted.
  • a specified value for example, 100 m
  • display information related to the information transmission device existing in a direction different from the direction in which the image is taken for example, a range of about 35 mm wide angle
  • an event ID for identifying an event limited to a region is assigned to display information, and the display information with a specific event ID is sent to the information transmission device in a specified region as an alternative transmission.
  • the information processing unit 140 that can also be permitted includes a relative position information generation unit 141 and a transmission information generation unit 142, and a detailed function description of each component will be described below.
  • the relative position information generation unit 141 is based on the direct transmission information acquired by the reception unit 120 and the relative position between the own device and the transmission source detected by the measurement unit 130, and the relative position of the transmission source with respect to the transmission position in the own device. Relative position information indicating a specific position is generated. Further, the relative position information generation unit 141 is based on the transfer information acquired by the reception unit 120 and the relative position between the own device and the transmission source detected by the measurement unit 130. Chain-related relative position information indicating the relative position is generated.
  • the transmission information generation unit 142 generates transmission information to be transmitted using the relative position information generated by the relative position information generation unit 141 and the chained relative position information.
  • the data structure of outgoing information will be described in detail below.
  • the transmission unit 150 includes a light emitting element such as a light emitting diode (LED) or an infrared laser light emitting element that transmits a signal by blinking infrared light, laser light, or visible light, for example, and the transmission generated by the transmission information generation unit 142.
  • Information is modulated into an optical wireless signal and transmitted.
  • all or some of the parts that can be constructed by an electric circuit such as a logic circuit or a memory are combined into one or a plurality of semiconductor elements.
  • An integrated circuit may be formed.
  • the configuration of the receiving unit 120 and the measuring unit 130 that can be configured with logic circuits, excluding independent devices such as the light receiving element 121 in the receiving unit 120 and each sensor in the measuring unit 130, and the information processing unit 140
  • the configuration may be integrated into an integrated circuit.
  • the transmission source detection unit 122, the communication information demodulation unit 123, the relative position information generation unit 141, and the transmission information generation unit 142 surrounded by a dotted line can be integrated circuits.
  • FIG. 3 is a diagram illustrating a functional configuration of the reception display device 200 according to the present embodiment.
  • the reception display device 200 is a device that receives display information using a light emission pattern, and displays the received display information on a display device by superimposing the received display information on an image captured in time series.
  • a receiving unit 210, a measuring unit 220, and an information processing unit 230 are provided.
  • the receiving unit 210 obtains a video signal for each frame to generate image information, and extracts necessary information transmitted from the image information using a light emission pattern. Specifically, the receiving unit 210 receives direct transmission information including information for display related to the information transmitting apparatus 100a from the information transmitting apparatus 100a. Furthermore, the receiving unit 210 includes, from the information transmission device 100a, transfer information including display information regarding the information transmission device 100b and one piece of relative position information indicating the relative position of the information transmission device 100b with respect to the information transmission device 100a. Receive. Furthermore, the receiving unit 210 includes, from the information transmission device 100a, transfer information including display information regarding the information transmission device 100c and a plurality of relative position information indicating a relative position of the information transmission device 100c with respect to the information transmission device 100a. Receive. The receiving unit 210 includes a light receiving element 211, a transmission source detecting unit 212, and a communication information demodulating unit 213, and a detailed description of functions by each component will be given below.
  • the light receiving element 211 includes, for example, an image sensor, a camera, and the like, picks up images in time series, generates a video signal, and acquires it as image information in units of frames.
  • the transmission source detection unit 212 analyzes the image information acquired by the light receiving element 211 and detects the light emission position of the information transmission device 100a included in the captured area. Based on the light emission position detected by the transmission source detection unit 212 and the image information acquired by the reception unit 210, the communication information demodulation unit 213 acquires a modulation pulse signal at the position of the transmission source from the image information.
  • the display information generation unit 232 demodulates the data into a usable format.
  • the modulation pulse signal of the optical wireless communication at the position of each transmission source is extracted, and each transmission source is associated with the demodulated data.
  • the measuring unit 220 measures the linear distance to the transmission source, the orientation of the transmission source, and the altitude difference from the transmission source, detects the relative position between the own device and the transmission source, and further detects the photographing state.
  • the measurement unit 220 includes a distance measurement unit 221, an azimuth measurement unit 222, an altitude measurement unit 223, and an imaging state detection unit 224, and detailed description of functions by each component will be given below.
  • the distance measurement unit 221 includes a distance measurement sensor such as a light wave range finder, specifies the direction of the transmission source based on the light emission position detected by the transmission source detection unit 212, and determines the linear distance to the transmission source in that direction. taking measurement.
  • the linear distances to the respective transmission sources are measured, and each transmission source is associated with the measured linear distance.
  • the azimuth measuring unit 222 includes a sensor for detecting the direction of the transmission source, and senses the north direction with, for example, an electronic compass to detect the angle between the north direction and the direction of the transmission source.
  • the angle detected by the azimuth measuring unit 222 may be expressed by a numerical value that takes a north direction as 0 degrees and takes a positive value clockwise and a negative value counterclockwise with reference to this.
  • the altitude measuring unit 223 is a sensor for measuring an altitude difference from the transmission source. For example, the altitude measuring unit 223 detects the direction of gravity and detects the angle formed by the horizontal plane and the direction of the transmitting source. The altitude difference is calculated using the measured linear distance.
  • the angle detected by the altitude measuring unit 223 may be expressed by a numerical value that takes a positive value in the upward direction and a negative value in the downward direction.
  • the shooting state detection unit 224 detects the shooting state such as the direction of shooting, the vertical tilt, the horizontal tilt, and the shooting magnification, and the position of each pixel in the image information acquired by the light receiving element 211 is detected. , Which direction corresponds to each.
  • the measurement unit 220 uses the angle formed between the detected horizontal plane and the direction of the transmission source and the linear distance to the transmission source, and the distance between the horizontal component and the vertical component to the transmission source. (Elevation difference) is calculated, and further, the distance in the north-south direction and the distance in the east-west direction are calculated using the detected horizontal component distance of the source and the angle between the north direction and the source direction. And calculate.
  • a specific calculation method is the same as that of the measurement unit 130 of the information transmission device 100a.
  • the information processing unit 230 displays the information transmission device 100a included in the direct transmission information received by the reception unit 210 in association with the light emission position corresponding to the position of the information transmission device 100a on the image captured by the reception unit 210.
  • Information for superimposing, the light emission position, one or more relative position information included in the transfer information received by the receiving unit 210, and the relative position of the information transmitting device 100a measured by the measuring unit 220 Based on the information, the coordinate position of the information transmitting device 100b on the image captured by the receiving unit 210 is calculated, and the display information of the information transmitting device 100b included in the transfer information is associated with the coordinate position.
  • the images are superimposed and displayed on the display device 240.
  • the information processing unit 230 includes a transmission source display position calculation unit 231 and a display information generation unit 232, and detailed functions of the components will be described below.
  • the transmission source display position calculation unit 231 calculates the display position of each transmission source in the screen area displayed on the display device 240. Specifically, for each source, calculate the total vertical component distance to each source, the total north-south distance, and the total east-west distance, if necessary, and combine these. From the above, by performing a calculation opposite to the calculation performed in the measurement unit 130 or the measurement unit 220, the linear distance, the angle “ ⁇ ” between the horizontal plane and the direction of the transmission source, and the north direction and the direction of the transmission source The combination of the angle “ ⁇ ” is calculated, and then, based on the correspondence between the position and direction of each pixel determined by the shooting state detection unit 224, the angle “ ⁇ ” and the angle “ ⁇ ” are equivalent.
  • the position of the pixel to be determined is determined.
  • the relative position information included in the transfer information and the relative position detected by the measurement unit 220 are both represented by vectors
  • the relative addition of the transmission source to the own device is performed by adding these vectors. Can be calculated as one vector.
  • the display information generation unit 232 is demodulated by the communication information demodulation unit 213 in association with the display position calculated by the transmission source display position calculation unit 231 of the image displayed by the image information acquired by the reception unit 210. Display information is generated by superimposing data and converted into a video signal. The video signal converted by the display information generation unit 232 is output to the display device 240.
  • all or a part of the components that can be constructed by an electric circuit such as a logic circuit or a memory are combined into one or a plurality of semiconductor elements. An integrated circuit may be formed.
  • the configuration of the reception unit 210 and the measurement unit 220 that can be configured by a logic circuit, excluding independent devices such as the light receiving element 211 in the reception unit 210 and each sensor in the measurement unit 220, and the configuration of the information processing unit 230 May be integrated into an integrated circuit.
  • the transmission source detection unit 212, the communication information demodulation unit 213, the transmission source display position calculation unit 231 and the display information generation unit 232 surrounded by a dotted line can be integrated circuits.
  • FIG. 4 is a diagram illustrating an example of a data structure of transmission information transmitted and received by the information transmission apparatuses 100a to 100c according to the embodiment of the present invention.
  • the transmission information 300 includes a preamble signal 301 for identifying the start position of data, and data 302 that follows.
  • the communication information demodulator 123 of the information transmitting device 100a detects the preamble signal 301, it identifies the transmission information start position and demodulates the subsequent data 302.
  • the data 302 includes a start identifier 303, a data size 304, own device information 305, and other device alternative transmission information 306.
  • the start identifier 303 is information for identifying the start position of the data 302.
  • the data size 304 is a parameter indicating the total value of the data size of the subsequent device information 305 and the data size of the other device alternative transmission information 306 that follows.
  • the own device information 305 is information for transmitting direct transmission information related to the information transmission device main body that is the own device.
  • the other device alternative transmission information 306 is information for transmitting alternative information related to other information transmission devices installed in a different place from the own device, and the position information detected by the other information transmission devices, Or it produces
  • the header 307a is attribute information common to the information transmission device such as the device ID of the information transmission device and the installation direction.
  • the attribute information entering the area of the header 307a includes an information identifier for determining what attribute information is indicated, and a parameter indicating the value of the attribute information itself.
  • the header 307a indicates the device ID of the information transmission device (in the case of 310 in FIG. 4)
  • the information identifier indicating the device ID and the device ID enter the area of the header 307a.
  • the header 307a indicates a relative position (in the case of 311 in FIG. 4)
  • the information identifier indicating the relative position and the relative position information enter the area of the header 307a.
  • the information identifier indicating the installation direction and the installation direction information enter the area of the header 307a.
  • the header 307a indicates the number of alternative vias (in the case of 313 in FIG. 4)
  • the information identifier indicating the number of alternative vias and the number of alternative vias enter the area of the header 307a.
  • the display data 308a is data for display in association with the position where the information transmission device is installed on the display screen of the reception display device 200. Information for every display such as the address of the place where the information transmission device is installed, the name of the shop, and information on the campaign can be transmitted. More specifically, the display data 308a includes an information identifier 314 that indicates display data, a data size 315 that is a value indicating the data size of the display data content itself, and the display data content itself. It consists of a certain payload 316.
  • the other device alternative transmission information 306 includes the number of alternative transmission devices 309, a header 307b corresponding to the information transmission device to be alternatively transmitted, and display data 308b.
  • the number of information transmission devices installed in different places different from the own device, which are the targets of alternative transmission is entered. More specifically, an information identifier 317 indicating the start of information indicating alternative transmission and indicating that the value of the number of alternative transmission devices continues is entered, followed by the number of alternative transmission devices 318.
  • the header 307b and the display data 308b are attribute information and display data corresponding to an information transmission device installed in a different place from the own device, which is an alternative transmission target.
  • the subsequent header 307b and the display data 308b are repeated by the number of values indicated by the number of alternative transmission devices 309.
  • the configuration of the header 307b is the same as the header 307a.
  • the relative position information 311 indicating the relative position between the information transmission device and the information transmission device that is the target of the alternative transmission, and the number of alternative transmissions indicating the number of information transmission devices through which alternative transmission has been performed 313 is also a target of information entering the header 307b.
  • FIG. 5 is a diagram illustrating a procedure of an information transmission method in the information transmission apparatus 100a according to the present embodiment.
  • the receiving unit 120 shoots images in time series in frame rate units to generate video signals, and stores them in an internal buffer as image information in frame units (step S1).
  • the transmission source detection unit 122 performs one frame of the newly stored image information and the previous frame stored in the internal buffer. One frame of image information is compared, and a position where there is a change and the luminance at that position are detected.
  • step S2 a position where there is a change in luminance indicating “1” and luminance indicating “0” in a modulated pulse signal used in optical wireless communication is detected, and a change in luminance at the detected position is detected as a signal. Corresponding to the position, it is recorded inside (step S2).
  • the transmission source detection unit 122 determines whether or not the change in luminance at the position extracted in step S2 matches the preamble signal of the modulation pulse signal used for optical wireless communication (step S3). If they do not match (step S3: NO), steps S1 to S3 are repeated until they match. (4) If they match (step S3: YES), the extracted position is detected as a transmission source, and is estimated to be the installation point of the information transmission device. Furthermore, the transmission source detection unit 122 continuously acquires a change in luminance at the detected transmission source, and acquires it as a modulated pulse signal transmitted from the transmission source (step S4). (5) The measurement unit 130 measures the linear distance to the transmission source detected in step S4, the orientation of the transmission source, and the altitude difference from the transmission source to detect the relative position between the own device and the transmission source ( Step S5).
  • step S6 It is determined whether or not the display information related to the detected transmission source is to be transmitted in a substitute manner.
  • the determination as to whether or not the alternative transmission should be performed is based on, for example, whether or not the display information transferred via another transmission source includes the same device ID duplicated. This is performed depending on whether the number of vias does not exceed a predetermined number permitted in advance, the amount of data or the number of transfer information does not exceed a predetermined upper limit, and a predetermined condition is satisfied.
  • step S6 NO
  • the display information regarding the corresponding transmission source is discarded, and the subsequent transmission processing for the corresponding transmission source is prohibited ( Step S7).
  • the relative position information generation unit 141 is detected by the transfer information acquired by the reception unit 120 and the measurement unit 130. Based on the relative position between the own device and the transmission source, relative position information indicating the relative position of the transmission source is generated (step S8). (9) Based on the light emission position detected by the transmission source detection unit 122 and the image information acquired by the light receiving element 121, the communication information demodulation unit 123 uses the modulated pulse signal at the position of the transmission source from the image information. Is demodulated into communication data, which is data in a format that can be used in subsequent processing (step S9).
  • the transmission information generation unit 142 generates transmission information to be transmitted from the information transmission device 100a (step S10). Specifically, the transmission information generation unit 142 first extracts at least the device ID and display data to be used by the reception display device 200 from the content of the own device setting information stored in the storage unit 110, Direct transmission information is generated so as to fit within the structure of the own device information 305 in the transmission information 300 shown in FIG. Further, at least the device ID and display data for use in the receiving display device 200 are extracted from the content of the communication data of the transmission source demodulated by the communication information demodulator 123, and the transmission information 300 shown in FIG. The transfer information is generated so as to fit within the structure of the other device alternative transmission information 306.
  • chain transfer information is generated so as to fit in the structure of the other device alternative transmission information 306. If there are a plurality of detected transmission sources, the transmission information of the respective transmission sources is generated and connected, and the value of the number of alternative transmission devices 318 is replaced with the number of information transmission devices that perform alternative transmission.
  • the alternative transmission information corresponding to the device ID is not used. By doing in this way, it can prevent transmitting the information of a self-apparatus redundantly.
  • Transmitting section 150 modulates the transmission information generated in step S10 into a modulated pulse signal for transmitting using optical wireless communication, and transmits the modulated information using a light emitting element (step S11).
  • the information transmitting apparatus 100a transmits the communication data of the information transmitting apparatuses (information transmitting apparatus 100b and information transmitting apparatus 100c in FIG. 1) installed in other places together with the transmission information of the own apparatus. Alternative transmission can be performed.
  • FIG. 6 is a diagram illustrating a procedure of a reception display method in the reception display device 200 according to the present embodiment.
  • the receiving unit 210 shoots images in time series in units of frame rates to generate video signals, and stores them in the internal buffer as image information in units of frames (step S11).
  • the transmission source detecting unit 212 detects that one frame of the newly stored image information and the previous frame stored in the internal buffer. One frame of image information is compared, and a position where there is a change and the luminance at that position are detected.
  • step S12 a position where there is a change in luminance indicating “1” and luminance indicating “0” in a modulated pulse signal used in optical wireless communication is detected, and a change in luminance at the detected position is detected as a signal. Corresponding to the position, it is recorded inside (step S12).
  • the transmission source detection unit 212 determines whether or not the change in luminance at the position extracted in step S12 matches the preamble signal of the modulation pulse signal used for optical wireless communication (step S13). If they do not match (step S13: NO), steps S11 to S13 are repeated until a timeout occurs. (4) The transmission source detection unit 212 determines whether or not the scheduled time has elapsed without detecting the transmission source (step S14). If no transmission source is detected within the scheduled time (step S13: NO, step S14: YES), the subsequent processing from step S15 to step S20 is skipped. (5) If they match (step S13: YES), the extracted position is detected as a transmission source, and is estimated to be the installation point of the information transmission device. Further, the transmission source detection unit 212 continuously acquires a change in luminance at the detected transmission source and acquires it as a modulated pulse signal transmitted from the transmission source (step S15).
  • the measuring unit 220 measures the linear distance to the transmission source detected in step S15, the azimuth of the transmission source, and the altitude difference from the transmission source to detect the relative position between the own apparatus and the transmission source (Ste S16).
  • the communication information demodulation unit 213 uses the modulated pulse signal at the position of the transmission source from the image information. Is demodulated into communication data, which is data in a format that can be used in subsequent processing (step S17).
  • the transmission source display position calculation unit 231 calculates the display position of each transmission source in the screen area displayed on the display device 240 (step S18).
  • the transmission source display position calculating unit 231 refers to the communication data demodulated by the communication information demodulating unit 213 and determines whether or not the information transmitted by alternative transmission is included (step S19). If the alternative transmission information is not included, the process of step S20 is skipped. (10) The transmission source display position calculation unit 231 calculates a display position when displaying the display information of the information transmission apparatus that is alternatively transmitted on the display apparatus 240 (step S20).
  • the communication information demodulating unit 213 causes the display information generating unit 232 to associate the image displayed by the image information acquired by the receiving unit 210 with the display position calculated by the transmission source display position calculating unit 231.
  • Display information is generated by superimposing the demodulated data and converted into a video signal (step S21).
  • the display information generation unit 232 superimposes a detected transmission source and a display object such as a marker or a balloon indicating an alternative information transmission device on the acquired image information, and associates these with display objects corresponding to them.
  • the display information is appropriately generated by displaying the data as the content of the balloon or associating it with the content that is displayed in detail when the user selects the marker.
  • the video signal converted by the display information generation unit 232 is output to the display device 240 and displayed (step S22).
  • FIGS. 7A to 7C are diagrams showing examples of use of the optical wireless communication system according to the present embodiment.
  • (a) of FIG. 7 is a view of the object viewed from directly above, and here, the upward direction of the drawing is the north.
  • (b) of FIG. 7 is the figure which looked at the target object from the south side sky.
  • (c) of FIG. 7 is the figure which looked at the target object from the southeast direction.
  • FIGS. 7A to 7C the user 10 holding the reception display device 200 to which the display device 240 is connected, and the buildings 11 to 14 assuming a building and the like are respectively as shown in the figure. It is assumed that the building is oriented in the direction shown in the figure.
  • an information transmitting device 100a and an information transmitting device 100a ' are installed at positions where they can be received from the reception display device 200 as shown in the figure, and the building 12 has an information transmitting device.
  • 100b and the information transmission device 100b ′ are installed at a position where transmission / reception can be performed from the information transmission device 100a and the information transmission device 100a ′ and where reception from the reception display device 200 is impossible, as illustrated.
  • the information transmitting device 100c is installed in the building 13 at a position where transmission and reception is possible only from the information transmitting device 100b as shown in the figure.
  • the information transmitting device 100d is installed in the building 14 at a position where transmission / reception can be performed only from the information transmitting device 100c as shown in the figure.
  • all the information transmission devices in FIGS. 7A to 7C are set to have a hemispherical transmission / reception range of less than 180 degrees, and the upper limit of the number of alternative vias is set to 2. It shall be.
  • the information transmitting apparatus 100a receives information from the information transmitting apparatus 100b from (1) direct transmission information A including display information regarding the information transmitting apparatus 100b, and (2) display information regarding the information transmitting apparatus 100c, and information for the information transmitting apparatus 100b.
  • Transfer information B including one relative position information indicating the relative position of the transmitting device 100c, (3) information for display related to the information transmitting device 100d, and the relative position of the information transmitting device 100d with respect to the information transmitting device 100b (4) information for display related to the information transmitting device 100a, and one relative position information indicating the relative position of the information transmitting device 100a with respect to the information transmitting device 100b (5) Information for display related to the information transmission device 100b ′ and information transmission for the information transmission device 100b.
  • Transfer information E including two pieces of relative position information indicating the relative position of the transmission device 100b ′, and (6) information for display related to the information transmission device 100a ′ and the information transmission device 100a ′ for the information transmission device 100b.
  • Transfer information F including one piece of relative position information indicating a relative position is received.
  • the information transmitting apparatus 100a is configured to transmit information from the information transmitting apparatus 100b ′ to (7) direct transmission information G including display information regarding the information transmitting apparatus 100b ′, (8) display information regarding the information transmitting apparatus 100a, and an information transmitting apparatus.
  • Transfer information H including one relative position information indicating the relative position of the information transmission device 100a with respect to 100b ′, (9) information for display regarding the information transmission device 100b, and information transmission device 100b with respect to the information transmission device 100b ′
  • Transfer information I including two relative position information indicating the relative positions of the information transmission device 100 and (10) information for display related to the information transmission device 100a ′, and the relative information of the information transmission device 100a ′ to the information transmission device 100b ′.
  • Transfer information J including one piece of relative position information indicating the position is received.
  • the transfer information B is generated in the information transmission device 100b based on the direct transmission information K including the display information regarding the information transmission device 100c received from the information transmission device 100c.
  • C represents information for display related to the information transmission device 100d received from the information transmission device 100c in the information transmission device 100b, and one piece of relative position information indicating the relative position of the information transmission device 100d with respect to the information transmission device 100c. It is generated based on the transfer information L including Also, here, the transfer information L is generated based on the direct transmission information M including the information for display related to the information transmission device 100d received from the information transmission device 100d in the information transmission device 100c.
  • the transfer information D is generated based on the direct transmission information N including the display information regarding the information transmission device 100a received from the information transmission device 100a in the information transmission device 100b.
  • E is information 1 indicating the display information related to the information transmission device 100b ′ received from the information transmission device 100a or a ′ in the information transmission device 100b and the relative position of the information transmission device 100b ′ with respect to the information transmission device 100a. It is generated based on transfer information O including two pieces of relative position information. Further, here, the transfer information O is generated in the information transmission device 100a or a ′ based on the direct transmission information P including the display information regarding the information transmission device 100b ′ received from the information transmission device 100b ′. It is.
  • the transfer information F is generated based on the direct transmission information Q including information for display related to the information transmission device 100a ′ received from the information transmission device 100a ′ in the information transmission device 100b.
  • the transfer information H is generated based on the direct transmission information R including the display information related to the information transmission device 100a received from the information transmission device 100a in the information transmission device 100b ′.
  • Information I is information 1 indicating the display information related to the information transmission device 100b received from the information transmission device 100a or a ′ and the relative position of the information transmission device 100b with respect to the information transmission device 100a in the information transmission device 100b ′. It is generated based on transfer information S including two pieces of relative position information.
  • the transfer information S is generated based on the direct transmission information T including the information for display related to the information transmission device 100b received from the information transmission device 100b in the information transmission device 100a or a ′.
  • the transfer information J is generated based on the direct transmission information U including the display information regarding the information transmission device 100a ′ received from the information transmission device 100a ′ in the information transmission device 100b ′.
  • the information transmitting apparatus 100a detects the relative position H between the own apparatus and the information transmitting apparatus 100b and the relative position H ′ between the own apparatus and the information transmitting apparatus 100b ′, and (1) relates to the information transmitting apparatus 100a.
  • Direct transmission information V including information for display, (2) Display information related to information transmission device 100b generated based on relative position H and direct transmission information A, and relative of information transmission device 100b to information transmission device 100a Transfer information W including one relative position information indicating a correct position, (3) display information related to the information transmission device 100c generated based on the relative position H and the transfer information B, and the information transmission device 100a Transfer information X including two relative position information indicating the relative position of the information transmission device 100c, and (4) generated based on the relative position H ′ and the direct transmission information G
  • Transfer information Y including display information regarding the information transmission device 100b ′ and one relative position information indicating the relative position of the information transmission device 100b ′ with respect to the information transmission device 100a, and (5) relative position H and transfer information.
  • Transfer information Z including position information is transmitted.
  • the information transmission device 100a indicates the display information regarding the information transmission device 100d and the relative position of the information transmission device 100d with respect to the information transmission device 100a.
  • transfer information including two pieces of relative position information
  • this transfer information is not discarded and transmitted.
  • the upper limit of the number of alternative vias is set to 3 or more, this transfer information is transmitted without being discarded.
  • the information transmission apparatuses when there are a plurality of pieces of information for display related to the information transmission apparatuses having the same apparatus ID, one of the ones with a small number of alternative vias is left and the others are deleted.
  • FIG. 8 is a diagram illustrating an example of the content of transmission information transmitted by the information transmission device 100a.
  • the transmission information in FIG. 8 corresponds to the data 302 in FIG.
  • the transmission information transmitted from the information transmission device 100a starts with a start identifier and a data size, and subsequently includes information related to the main body of the information transmission device 100a.
  • the information regarding the other information transmission apparatuses 100b, 100c, 100b ′, 100a ′ to be transmitted by alternative transmission is included.
  • the number of alternative transmission apparatuses is 4, and thus the value of the number of alternative transmission apparatuses is 4.
  • FIGS. 9A and 9B are diagrams showing examples of images displayed on the display device 240 held by the user 10 in the usage example shown in FIGS. 7A to 7C.
  • (a) in FIG. 9 is an image on which an image obtained by capturing only the data directly acquired from the information transmitting apparatuses 100a and 100a ′ by the reception display apparatus 200 without performing alternative transmission is displayed by the camera.
  • This is an example (13 and 14 in the figure) displayed in association with the position of the transmission source of each device, which is the same as an image by a conventional device.
  • FIG. 9 is an image on which an image obtained by capturing only the data directly acquired from the information transmitting apparatuses 100a and 100a ′ by the reception display apparatus 200 without performing alternative transmission is displayed by the camera.
  • This is an example (13 and 14 in the figure) displayed in association with the position of the transmission source of each device, which is the same as an image by a conventional device.
  • the location and transmission information of a hidden information transmission device that cannot be directly detected are received and used without using another wireless communication medium such as a wireless LAN. Is possible. Further, since the display position is specified by the relative position, it is not necessary to provide the information transmitting apparatus itself with a function of measuring the absolute position such as GPS. It is also possible to deal with a three-dimensional position display including the height relative to the field of view as seen from the user.
  • optical wireless communication transmitting device and optical wireless communication receiving device described in the embodiments of the present invention are typically integrated circuits such as LSIs (depending on the degree of integration, (Referred to as system LSI, super LSI, or ultra LSI). These may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
  • LSIs depending on the degree of integration, (Referred to as system LSI, super LSI, or ultra LSI). These may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
  • the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible.
  • an FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • integrated circuit technology comes out to replace LSI's as a result of the advancement of semiconductor technology or a derivative other technology, it is naturally also possible to carry out function block integration using this technology. There is a possibility of adaptation of biotechnology.
  • Each function of the optical wireless communication transmitting device and the optical wireless communication receiving device described in the embodiment of the present invention is a predetermined function that can execute the above-described processing procedure stored in a storage device (ROM, RAM, hard disk, etc.).
  • the program data may be realized by being interpreted and executed by the CPU. In this case, the program data may be introduced into the storage device via the recording medium, or may be directly executed from the recording medium.
  • the recording medium refers to a recording medium such as a semiconductor memory such as a ROM, a RAM and a flash memory, a magnetic disk memory such as a flexible disk and a hard disk, an optical disk such as a CD-ROM, DVD and BD, and a memory card.
  • the recording medium is a concept including a communication medium such as a telephone line or a conveyance path.
  • the optical wireless communication system of the present invention transmits information about the transmission source that cannot be directly received by the receiving device and the installation position to the receiving device by alternative transmission without using a communication means other than optical wireless communication, and images the image with the camera Since information about the transmission source can be displayed in association with the position of the transmission source on the image displaying the image, it is not necessary to provide a function for detecting the absolute position such as GPS, and public communication means can be used. Since it can be used even in environments outside the service area, its industrial utility value is extremely high. Moreover, in this embodiment, although the example which installs an information transmission apparatus in buildings, such as a building, is used, Application to household appliances is possible using the same structure, for example.
  • a position where music file information held by the music player cannot be received directly if transmitted by including the transmission information in the transmission information can be received as an alternative from a stationary device such as a television or a recorder.
  • Optical wireless communication system 100a-c, 100a'-b 'Information transmission apparatus 110 Memory
  • storage part 120 Reception part 121
  • Light receiving element 122 Transmission source detection part 123 Communication information demodulation part 130 Measurement part 131 Distance measurement part 132 Direction measurement part 133 Altitude measurement Unit 140 information processing unit 141 transmission information generation unit 142 transmission information generation unit 150 transmission unit 160a to c input device 200 reception display device 210 reception unit 211 light receiving element 212 transmission source detection unit 213 communication information demodulation unit 220 measurement unit 221 distance measurement unit 222 azimuth measurement unit 223 altitude measurement unit 224 imaging state detection unit 230 information processing unit 231 transmission source display position calculation unit 232 display information generation unit 240 display device

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Optical Communication System (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Telephone Function (AREA)

Abstract

 撮像した映像を表示している画像上に、障害物に遮られた情報発信装置に関する表示用の情報を、情報発信装置の位置に対応付けて表示する受信表示装置等を提供する。受信部は、画像を時系列的に撮像し、装置(100a)から装置(100a)に関する情報を含む直送情報、及び、装置(100b)に関する情報と装置(100a)に対する装置(100b)の相対的な位置を示す相対位置情報とを含む転送情報を受信する。測定部は、自装置(200)に対する装置(100a)の相対的な位置を測定する。情報処理部は、撮像された画像上における、装置(100a)の位置に関連付けて、直送情報に含まれる装置(100a)の情報を重畳するとともに、発光位置と、転送情報に含まれる相対位置情報と、装置(100a)の相対的な位置とに基づいて、撮像された画像上における、装置(100b)の座標位置を算出して、座標位置に関連付けて、転送情報に含まれる装置(100b)の情報を表示させる。

Description

受信表示装置、情報発信装置、光無線通信システム、受信表示用集積回路、情報発信用集積回路、受信表示プログラム、情報発信プログラム、及び光無線通信方法
 本発明は、可視光、赤外光、及びレーザ等の光を利用してデータを送受信する光無線通信装置に関し、より特定的には、カメラで撮像した映像を表示している画像上に、光源装置から取得したデータを、光源装置に対応付けて表示する技術に関する。
 近年、携帯電話などのモバイル端末において、精度の高いカメラを搭載した機種が一般的になり、当該カメラを利用するアプリケーションやサービスが増加している。例えば、カメラで撮像した映像をリアルタイムで表示している画面上に、そこに映っている建造物の名称や詳細情報、及び、そこに映っている看板の広告に関する詳細情報やキャンペーン情報等を、個々の対象物の映像に重畳する形で表示する新たな形態のナビゲーションシステムが注目されている。このような新たな形態のナビゲーションシステムを実現する技術は、強化現実(AR:Augumented Reality)と呼ばれる。
 一方、安全性の向上や高速化の観点から、光無線通信を利用した通信技術が注目されている。
 光無線通信を利用した通信技術は、設置した位置からそのまま情報発信することができ、発信源の相対的な位置を比較的容易に特定できるため、前述した新たな形態のナビゲーションシステムを実現させる際に有用な技術である。
 ここで、光無線通信を利用した新たな形態のナビゲーションシステムが特許文献1に開示されている。特許文献1では、携帯電話等の情報処理装置がGPSなどにより位置測定を行い、位置情報および検索条件をサーバに送信し、サーバが受信した位置情報および検索条件に合致した発光装置に対してデータを重畳した発光を指示し、情報処理装置が被写体の画像の中から所定の点滅パターンで発光する発光装置を検出しデータを復号して取得し、取得したデータを発光装置の位置に対応付けて、被写体の画像上に表示する。
 また光無線通信には、送信側と受信側とを結ぶ直線上に小さな遮蔽物があるだけで、全く通信ができなくなるという問題がある。
 特許文献1では、位置情報および検索条件に合致する発光装置が遮蔽されて情報処理装置がデータを取得できない場合に、遮蔽されていない他の発光装置にサーバを経由してデータを送信し、情報処理装置が遮蔽された発光装置のデータを他の発光装置から取得することにより上記問題を解決している。
日本国公開特許公報「特開2007-228512号公報」
 しかしながら、上記特許文献1では、受信表示装置において、情報発信装置と受信表示装置とを結ぶ直線上に遮蔽物があって情報発信装置を直接視認できない場合に、情報発信装置に関する表示用の情報を、カメラで撮像した映像を表示している画像上に、情報発信装置の設置位置に対応付けて表示することができない。
 例えばビルAの5階にある喫茶店Bに設置された情報発信装置から送信された情報が「喫茶店Bでランチサービス実施中」であり、受信表示装置と情報発信装置との間に遮蔽物がある等で直接情報を受信できない場合に、上記特許文献1では、その情報の内容自体を受信表示装置側で受信して表示することができても、情報発信装置の位置または情報発信装置の発信方向が特定できないため、受信表示装置を使用している使用者はこの情報がどこから発せられたものなのかを直感的に把握することができない。
 尚、上記特許文献1は、光無線通信を利用するものではあるが、情報処理装置とサーバとの間、及び、サーバと発光装置との間の通信に、公衆網などの他の公共通信手段を用いなければならず、別途通信料が発生してしまうという問題や、公共通信手段が使えない圏外などの環境下においては利用できないという問題等もある。
 さらに、上記特許文献1では、個々の情報処理装置の位置情報及び検索条件に合わせて、合致する発光装置が個別にデータを重畳した発光を行う構成を開示しているが、多くの情報処理装置が同時に利用される状況において、多くの情報処理装置の全てに対してそれぞれに適した情報を流すように個々の発光装置を制御するのは、トラフィックが混雑する上処理が複雑になり、光無線通信の帯域から考えて通信に時間が掛かりすぎるので甚だ現実的ではないという問題もある。
 また、上記特許文献1では、発光装置が遮蔽されている場合に、遮蔽されていない他の発光装置にサーバを経由してデータを送信し、他の発光装置が、遮蔽された発光装置のデータを重畳した発光を行う構成を開示しているが、このような構成は上記と同様に、トラフィックの混雑を招き、通信に時間が掛かりすぎるため現実的ではないという問題もある。
 本発明は、「受信表示装置において、情報発信装置と受信表示装置とを結ぶ直線上に遮蔽物があって情報発信装置を直接視認できない場合に、情報発信装置に関する表示用の情報を、カメラで撮像した映像を表示している画像上に、情報発信装置の設置位置に対応付けて表示することができない」という上記課題を解決するものであり、カメラで撮像した映像を表示している画像上に、建造物などの障害物に遮られた情報発信装置に関する表示用の情報を、当該情報発信装置の位置に対応付けて表示することができる受信表示装置、情報発信装置、光無線通信システム、受信表示用集積回路、情報発信用集積回路、受信表示プログラム、情報発信プログラム、及び光無線通信方法を提供することを目的とする。
 本発明は、受信表示装置、情報発信装置、光無線通信システム、受信表示用集積回路、情報発信用集積回路、受信表示プログラム、情報発信プログラム、及び光無線通信方法に向けられている。
 そして上記課題を解決するために、本発明の受信表示装置は、光の発光パターンを利用して表示用の情報を受信し、受信した表示用の情報を時系列的に撮像される画像に重ねて、表示デバイスに表示させる装置であって、受信部と、測定部と、情報処理部とを備える。受信部は、画像を時系列的に撮像するとともに、一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報、及び、当該一の情報発信装置とは異なる二の情報発信装置に関する表示用の情報と、当該一の情報発信装置に対する当該二の情報発信装置の相対的な位置を示す1又は複数の相対位置情報とを含む転送情報を受信する。測定部は、自装置に対する前記一の情報発信装置の相対的な位置を測定する。情報処理部は、前記受信部により撮像された画像上における、前記一の情報発信装置の位置に相当する発光位置に関連付けて、前記受信部により受信された前記直送情報に含まれる前記一の情報発信装置の表示用の情報を重畳するとともに、当該発光位置と、前記受信部により受信された前記転送情報に含まれる1又は複数の相対位置情報と、前記測定部により測定された前記一の情報発信装置の相対的な位置とに基づいて、前記受信部により撮像された画像上における、前記二の情報発信装置の座標位置を算出して、当該座標位置に関連付けて、当該転送情報に含まれる前記二の情報発信装置の表示用の情報を重畳して、前記表示デバイスに表示させる。
 また、受信表示装置において、前記受信部により受信される転送情報に含まれる1又は複数の相対位置情報は、ベクトルにより表され、前記測定部により測定される前記一の情報発信装置の相対的な位置は、ベクトルにより表され、前記情報処理部は、前記受信部により受信された前記転送情報に含まれる1又は複数の相対位置情報を表すベクトルと、前記測定部により測定された前記一の情報発信装置の相対的な位置を表すベクトルとを、ベクトル加算することにより、自装置に対する前記二の情報発信装置の相対的な位置を、1個のベクトルとして算出するとよい。
 また、受信表示装置において、前記測定部は、自装置に対する前記一の情報発信装置の相対的な距離と角度とを実測するとよい。
 また、上記課題を解決するために、本発明の情報発信装置は、受信装置において時系列的に撮像される画像に重ねて表示される表示用の情報を、光の発光パターンを利用して発信する装置であって、記憶部と、受信部と、測定部と、情報処理部と、送信部とを備える。記憶部は、予め、少なくとも自装置に関する表示用の情報を記憶する。受信部は、自装置とは異なる一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報を受信する。測定部は、自装置における送信位置に対する前記一の情報発信装置の相対的な位置を測定する。情報処理部は、前記記憶部に予め記憶されている自装置に関する表示用の情報を含む直送情報を生成するとともに、前記測定部により測定された前記一の情報発信装置の相対的な位置を示す相対位置情報と、前記受信部により受信された直送情報に含まれる前記一の情報発信装置に関する表示用の情報とを含む転送情報を生成する。送信部は、前記情報処理部により生成された直送情報と転送情報とを、光の発光パターンを利用して送信する。
 また、情報発信装置において、前記受信部は、さらに、前記一の情報発信装置から、光の発光パターンを利用して発信される、前記一の情報発信装置とは異なる二の情報発信装置に関する表示用の情報と、当該一の情報発信装置に対する当該二の情報発信装置の相対的な位置を示す相対位置情報とを含む転送情報を受信し、前記情報処理部は、さらに、前記測定部により測定された相対的な位置を示す相対位置情報と、前記受信部により受信された転送情報に含まれる前記二の情報発信装置に関する相対位置情報とに基づいて、自装置に対する前記二の情報発信装置の相対的な位置を示す相対位置情報を生成し、ここで生成した相対位置情報と、前記受信部により受信された転送情報に含まれる前記二の情報発信装置に関する表示用の情報とを含む階層的な転送情報を生成し、前記送信部は、さらに、前記情報生成部により生成された階層的な転送情報を、光の発光パターンを利用して送信するとよい。
 また、情報発信装置において、前記直送情報に含まれる前記一の情報発信装置に関する表示用の情報、及び、前記転送情報に含まれる前記二の情報発信装置に関する表示用の情報には、それぞれ、情報発信装置毎に固有の識別情報が添付されており、前記情報処理部は、前記直送情報、及び前記転送情報に含まれる表示用の情報に添付された識別情報の中に、重複する識別情報が有るか否かを判断し、重複する識別情報が有る場合には、重複する識別情報が添付された表示用の情報を含む転送情報を生成しないとよい。
 また、情報発信装置において、前記転送情報には、それぞれ、何台の情報発信装置を経由したかを示す代替経由数が添付されており、前記情報処理部は、前記階層的な転送情報を生成して階層が増える度に、前記代替経由数を更新し、予め許可された所定数を越える代替経由数が添付された階層的な転送情報を破棄するとよい。
 また、情報発信装置において、前記情報処理部は、代替送信におけるデータ量に上限を設けるか、又は、転送情報の数に上限を設け、所定の上限を超える分の転送情報を生成しないとよい。
 また、情報発信装置において、前記情報処理部は、所定の条件を満たさない転送情報を生成しないとよい。
 上記課題を解決するために、本発明の光無線通信システムは、光の発光パターンを利用して表示用の情報を受信し、受信した表示用の情報を時系列的に撮像される画像に重ねて、表示デバイスに表示させる受信表示装置と、当該表示用の情報を、光の発光パターンを利用して送信する複数の情報発信装置とから構成される。前記複数の情報発信装置の中の一の情報発信装置は、記憶部と、第1受信部と、第1測定部と、第1情報処理部と、送信部とを備える。記憶部は、予め、少なくとも自装置に関する表示用の情報を記憶する。第1受信部は、前記複数の情報発信装置の中の、自装置とは異なる二の情報発信装置から、光の発光パターンを利用して発信される、当該二の情報発信装置に関する表示用の情報を含む直送情報を受信する。第1測定部は、自装置における送信位置に対する前記二の情報発信装置の相対的な位置を測定する。第1情報処理部は、前記記憶部に予め記憶されている自装置に関する表示用の情報を含む直送情報を生成するとともに、前記第1測定部により測定された前記二の情報発信装置の相対的な位置を示す相対位置情報と、前記第1受信部により受信された直送情報に含まれる前記二の情報発信装置に関する表示用の情報とを含む転送情報を生成する。送信部は、前記第1情報処理部により生成された直送情報と転送情報とを、光の発光パターンを利用して送信する。前記受信表示装置は、第2受信部と、第2測定部と、第2情報処理部とを備える。第2受信部は、画像を時系列的に撮像するとともに、前記一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報、及び、前記二の情報発信装置に関する表示用の情報と、当該一の情報発信装置に対する当該二の情報発信装置の相対的な位置を示す1又は複数の相対位置情報とを含む転送情報を受信する。第2測定部は、自装置に対する前記一の情報発信装置の相対的な位置を測定する。第2情報処理部は、前記受信部により撮像された画像上における、前記一の情報発信装置の位置に相当する発光位置に関連付けて、前記第2受信部により受信された前記直送情報に含まれる前記一の情報発信装置の表示用の情報を重畳するとともに、当該発光位置と、前記第2受信部により受信された前記転送情報に含まれる1又は複数の相対位置情報と、前記第2測定部により測定された前記一の情報発信装置の相対的な位置とに基づいて、前記第2受信部により撮像された画像上における、前記二の情報発信装置の座標位置を算出して、当該座標位置に関連付けて、当該転送情報に含まれる前記二の情報発信装置の表示用の情報を重畳して、前記表示デバイスに表示させる。
 また上記課題を解決するために、光の発光パターンを利用して表示用の情報を受信し、受信した表示用の情報を時系列的に撮像される画像に重ねて、表示デバイスに表示させる受信表示装置における本発明の受信表示プログラムは、前記受信表示装置に、受信ステップと、測定ステップと、情報処理ステップとを実行させる。受信ステップは、画像を時系列的に撮像するとともに、一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報、及び、当該一の情報発信装置とは異なる二の情報発信装置に関する表示用の情報と、当該一の情報発信装置に対する当該二の情報発信装置の相対的な位置を示す1又は複数の相対位置情報とを含む転送情報を受信する。測定ステップは、自装置に対する前記一の情報発信装置の相対的な位置を測定する。情報処理ステップは、前記受信ステップにより撮像された画像上における、前記一の情報発信装置の位置に相当する発光位置に関連付けて、前記受信ステップにより受信された前記直送情報に含まれる前記一の情報発信装置の表示用の情報を重畳するとともに、当該発光位置と、前記受信ステップにより受信された前記転送情報に含まれる1又は複数の相対位置情報と、前記測定ステップにより測定された前記一の情報発信装置の相対的な位置とに基づいて、前記受信ステップにより撮像された画像上における、前記二の情報発信装置の座標位置を算出して、当該座標位置に関連付けて、当該転送情報に含まれる前記二の情報発信装置の表示用の情報を重畳して、前記表示デバイスに表示させる。
 また上記課題を解決するために、受信表示装置において時系列的に撮像される画像に重ねて表示される表示用の情報を、光の発光パターンを利用して発信する情報発信装置における本発明の情報発信プログラムは、前記情報発信装置に、受信ステップと、測定ステップと、情報処理ステップと、送信ステップとを実行させる。前記情報発信装置は、予め、少なくとも自装置に関する表示用の情報を記憶する記憶部を備える。受信ステップは、自装置とは異なる一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報を受信する。測定ステップは、自装置における送信位置に対する前記一の情報発信装置の相対的な位置を測定する。情報処理ステップは、前記記憶部に予め記憶されている自装置に関する表示用の情報を含む直送情報を生成するとともに、前記測定ステップにより測定された前記一の情報発信装置の相対的な位置を示す相対位置情報と、前記受信ステップにより受信された直送情報に含まれる前記一の情報発信装置に関する表示用の情報とを含む転送情報を生成する。送信ステップは、前記情報処理ステップにより生成された直送情報と転送情報とを、光の発光パターンを利用して送信する。
 また上記課題を解決するために、光の発光パターンを利用して表示用の情報を受信し、受信した表示用の情報を時系列的に撮像される画像に重ねて、表示デバイスに表示させる受信表示装置に用いられる本発明の受信表示用集積回路は、受信部と、測定部と、情報処理部とのうちの、電気回路により構築が可能な部分の全部又は一部を集積する。受信部は、画像を時系列的に撮像するとともに、一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報、及び、当該一の情報発信装置とは異なる二の情報発信装置に関する表示用の情報と、当該一の情報発信装置に対する当該二の情報発信装置の相対的な位置を示す1又は複数の相対位置情報とを含む転送情報を受信する。測定部は、自装置に対する前記一の情報発信装置の相対的な位置を測定する。情報処理部は、前記受信部により撮像された画像上における、前記一の情報発信装置の位置に相当する発光位置に関連付けて、前記受信部により受信された前記直送情報に含まれる前記一の情報発信装置の表示用の情報を重畳するとともに、当該発光位置と、前記受信部により受信された前記転送情報に含まれる1又は複数の相対位置情報と、前記測定部により測定された前記一の情報発信装置の相対的な位置とに基づいて、前記受信部により撮像された画像上における、前記二の情報発信装置の座標位置を算出して、当該座標位置に関連付けて、当該転送情報に含まれる前記二の情報発信装置の表示用の情報を重畳して、前記表示デバイスに表示させる。
 また上記課題を解決するために、受信装置において時系列的に撮像される画像に重ねて表示される表示用の情報を、光の発光パターンを利用して発信する情報発信装置に用いられる本発明の情報発信用集積回路は、記憶部と、受信部と、測定部と、情報処理部と、送信部とのうちの、電気回路により構築が可能な部分の全部又は一部を集積する。記憶部は、予め、少なくとも自装置に関する表示用の情報を記憶する。受信部は、自装置とは異なる一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報を受信する。測定部は、自装置における送信位置に対する前記一の情報発信装置の相対的な位置を測定する。情報処理部は、前記記憶部に予め記憶されている自装置に関する表示用の情報を含む直送情報を生成するとともに、前記測定部により測定された前記一の情報発信装置の相対的な位置を示す相対位置情報と、前記受信部により受信された直送情報に含まれる前記一の情報発信装置に関する表示用の情報とを含む転送情報を生成する。送信部は、前記情報処理部により生成された直送情報と転送情報とを、光の発光パターンを利用して送信する。
 また上記課題を解決するために、本発明の光無線通信方法は、受信表示装置において、光の発光パターンを利用して表示用の情報を受信し、受信した表示用の情報を時系列的に撮像される画像に重ねて、表示デバイスに表示させ、複数の情報発信装置において、当該表示用の情報を、光の発光パターンを利用して送信する方法であって、第1受信ステップと、第1測定ステップと、第1情報処理ステップと、送信ステップと、第2受信ステップと、第2測定ステップと、第2情報処理ステップとを含む。前記複数の情報発信装置の中の一の情報発信装置は、予め、少なくとも自装置に関する表示用の情報を記憶する記憶部を備える。第1受信ステップは、前記一の情報発信装置において、前記複数の情報発信装置の中の、自装置とは異なる二の情報発信装置から、光の発光パターンを利用して発信される、当該二の情報発信装置に関する表示用の情報を含む直送情報を受信する。第1測定ステップは、前記一の情報発信装置において、自装置における送信位置に対する前記二の情報発信装置の相対的な位置を測定する。第1情報処理ステップは、前記一の情報発信装置において、前記記憶部に予め記憶されている自装置に関する表示用の情報を含む直送情報を生成するとともに、前記第1測定ステップにより測定された前記二の情報発信装置の相対的な位置を示す相対位置情報と、前記第1受信ステップにより受信された直送情報に含まれる前記二の情報発信装置に関する表示用の情報とを含む転送情報を生成する。送信ステップは、前記一の情報発信装置において、前記第1情報処理ステップにより生成された直送情報と転送情報とを、光の発光パターンを利用して送信する。第2受信ステップは、前記受信表示装置において、画像を時系列的に撮像するとともに、前記一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報、及び、前記二の情報発信装置に関する表示用の情報と、当該一の情報発信装置に対する当該二の情報発信装置の相対的な位置を示す1又は複数の相対位置情報とを含む転送情報を受信する。第2測定ステップは、前記受信表示装置において、自装置に対する前記一の情報発信装置の相対的な位置を測定する。第2情報処理ステップは、前記受信表示装置において、前記第2受信ステップにより撮像された画像上における、前記一の情報発信装置の位置に相当する発光位置に関連付けて、前記第2受信ステップにより受信された前記直送情報に含まれる前記一の情報発信装置の表示用の情報を重畳するとともに、当該発光位置と、前記第2受信ステップにより受信された前記転送情報に含まれる1又は複数の相対位置情報と、前記第2測定ステップにより測定された前記一の情報発信装置の相対的な位置とに基づいて、前記第2受信ステップにより撮像された画像上における、前記二の情報発信装置の座標位置を算出して、当該座標位置に関連付けて、当該転送情報に含まれる前記二の情報発信装置の表示用の情報を重畳して、前記表示デバイスに表示させる。
 本発明の構成によれば、受信表示装置が、直接には視認できない情報発信装置の設置位置と表示用の情報とを、直接視認できる他の情報発信装置から光無線通信を用いて取得することができる。
 このような構成によれば、受信表示装置において、送信側と受信側とを結ぶ直線上に小さな遮蔽物があったり、ビルなどの建造物の裏側に設置されて直接には視認できない情報発信装置に関する表示用の情報を、カメラで撮像した映像を表示している画像上に、情報発信装置の設置位置に対応付けて表示することができる。
本発明に係る第1の実施形態の光無線通信システム1の概要を示す図である。 本発明の実施形態に係る情報発信装置100aの概略的な機能構成を示す図である。 本実施形態に係る受信表示装置200の機能的な構成を示す図である。 本発明の実施形態に係る情報発信装置100a~cが発信及び受信する送信情報のデータ構造の一例を示す図である。 本実施形態に係る情報発信装置100aにおける情報発信方法の手順を示す図である。 本実施形態に係る受信表示装置200における受信表示方法の手順を示す図である。 本実施形態に係る光無線通信システムの利用例を示す図であり、(a)は対象物を真上から見た図、(b)は対象物を南側の上空から見た図、(c)は対象物を南東方向から見た図をそれぞれ示す。 情報発信装置100aが発信する送信情報の内容の一例を示す図である。 図7の(a)~(c)で示した利用例における、ユーザ10が保持する表示装置240に表示される画像の一例を示す図であり、(a)は代替送信の無い場合、(b)は代替送信のある場合をそれぞれ示す。
 [第1の実施形態]
  <概要>
 第1の実施形態は、光空間伝送による情報伝送を利用して、撮像した画像に情報を重畳して表示するシステムにおいて、一の情報発信装置が、前記撮像した画像における二の情報発信装置の位置に対応付けて表示すべき表示用情報を、情報発信装置間の相対的な位置を示す相対位置情報と共に発信し、受信表示装置が、二の情報発信装置から表示用情報を輝度の変化から捉えることができない場合に、一の情報発信装置から受信した二の情報発信装置の伝送情報と相対位置情報とを用いて、二の情報発信装置の画像の位置に伝送情報を重畳して表示するものである。
  <全体構成>
 図1は、本発明に係る第1の実施形態の光無線通信システム1の概要を示す図である。
 図1に示す光無線通信システム1は、情報発信装置100a~c、入力装置160a~c、受信表示装置200、及び表示装置240から構成されている。
 情報発信装置100a~cは、例えば店頭に並べられた商品の陳列棚や市中の広告看板などに併設された据え置き型の電子機器であり、受信表示装置200において時系列的に撮像される画像に重ねて表示される表示用の情報を、光の発光パターンを利用して発信する機能を有する。ここで情報発信装置100a~cは、自装置に関する表示用の情報を発信するだけでなく、互いに他の装置から表示用の情報を受信し、他の装置に関する表示用の情報を発信する機能を有する。
 図1には、3台の情報発信装置100a~cを記載しているが、実際には多くの台数が広い範囲に分散して設置される。
 入力装置160a~cは、例えばキーボードや外部インタフェース等の入力デバイスを含み、操作者からの入力を受け付けたり、外部デバイスや外部メモリからデータを取得して、情報発信装置100a~cに渡す機能を有する。また入力装置160a~cは、常時設置されてもよいし、初期設定時やメンテナンス時等の必要なときにだけ設置されてもよい。
 受信表示装置200は、表示装置240が接続された状態において、個人が主に野外で使用する、例えば携帯電話やカーナビ等と一体となった移動端末であり、光の発光パターンを利用して情報発信装置100a~cから表示用の情報を受信し、受信した表示用の情報を時系列的に撮像される画像に重ねて、表示装置240に表示させる。なお、受信表示装置200は、通常複数台が同時に使用されるものである。
 表示装置240は、例えば液晶ディスプレイ等の出力デバイスを含み、受信表示装置200により生成された映像信号を画面上に出力する。
 ここで情報発信装置100a~cのうちの情報発信装置100aのみが受信表示装置200の撮像領域内に含まれ、情報発信装置100bのみが情報発信装置100aの撮像領域内に含まれ、情報発信装置100cのみが情報発信装置100bの撮像領域内に含まれる場合を想定して、以下の説明を行なう。
  <情報発信装置の構成>
 図2は、本発明の実施形態に係る情報発信装置100aの概略的な機能構成を示す図である。ここで情報発信装置100b~cの機能構成は情報発信装置100aと同じなので説明を省略する。
 情報発信装置100aは、受信表示装置200において時系列的に撮像される画像に重ねて表示される表示用の情報を、光の発光パターンを利用して発信する装置であって、図2に示すように、記憶部110、受信部120、測定部130、情報処理部140、及び発信部150を備える。
 記憶部110は、予め自装置設定情報を記憶している。
 ここで自装置設定情報とは、下記の(1)~(3)のうちの少なくともいずれか1つを含む情報である。
(1)受信表示装置200に表示させるための自装置に関する表示用の情報であり、例えば情報発信装置100aが設置されている場所を示す地名や施設の名称等である。
(2)情報発信装置100aが光無線を発信している方位を示す情報であり、発信する光を一定の範囲に拡散させる場合には、その中心位置における方位を示すものであっても良い。
(3)情報発信装置100aが設置されている場所の高さを示す情報であり、例えば標高のように、すべての情報発信装置100a~cを同一の基準で表現することができる情報が望ましい。
 ここで操作者は入力装置160aを用いて、記憶部110に自装置設定情報を新たに設定したり、記憶部110に記憶された自装置設定情報を更新してもよい。
 受信部120は、映像信号をフレーム単位で取得して画像情報を生成し、画像情報から光の発光パターンを利用して発信される必要な情報を抽出する。詳細には受信部120は、自装置とは異なる情報発信装置100bから、情報発信装置100bに関する表示用の情報を含む直送情報を受信する。さらに、受信部120は、情報発信装置100bから、光の発光パターンを利用して発信される、情報発信装置100bとは異なる情報発信装置100cに関する表示用の情報と、情報発信装置100bに対する情報発信装置100cの相対的な位置を示す相対位置情報とを含む転送情報を受信する。
 受信部120は、受光素子121、発信源検出部122、及び通信情報復調部123を含み、各構成要素による詳細な機能の説明を以下に示す。
 受光素子121は、例えばイメージセンサやカメラ等を含み、画像を時系列的に撮像して映像信号を生成し、フレーム単位で画像情報として取得する。
 発信源検出部122は、受光素子121により取得された画像情報を解析し、撮像した領域内に含まれる他の情報発信装置100bの発光位置を検出する。
 なお、発信源検出部122において、画像情報の解析には、処理に時間を要し、装置として必要なスペックを満たすためにそれなりのコストを要するため、画像情報を2値画像にフィルタ変換した後に比較する等、低コストで同様の効果を得るための前処理を行なっても良い。
 通信情報復調部123は、発信源検出部122により検出された発光位置と、受光素子121により取得された画像情報とに基づいて、当該画像情報から当該発信源の位置における変調パルス信号を取得し、発信情報生成部142において利用可能な形式のデータである通信データに復調する。ここで発信源が複数個存在する場合には、それぞれの発信源の位置における光無線信号を抽出し、通信データに復調して、各発信源と復調した通信データとを対応付けておく。
 測定部130は、発信源までの直線距離、発信源の方位、及び発信源との高度差を測定して、自装置と発信源との相対位置を検出する。
 測定部130は、距離測定部131、方位測定部132、及び高度測定部133を含み、各構成要素による詳細な機能の説明を以下に示す。
 距離測定部131は、光波測距儀などの距離測定センサを含み、発信源検出部122により検出された発光位置に基づいて発信源の方向を特定し、その方向における発信源までの直線距離を測定する。ここで発信源が複数個検出された場合には、それぞれの発信源までの直線距離を測定し、各発信源と測定した直線距離とを対応付けておく。
 なお、距離測定部131において、距離測定センサの代わりに、第2の受信部を備えて、三角測量法により距離を求めてもよい。また、受信部がオートフォーカスレンズを持つ構造であれば、焦点距離により距離を測定してもよい。このような場合には、オートフォーカス機能自体が距離測定部に相当するため、受信部120と距離測定部131とは同一の構成とみなすことができる。
 方位測定部132は、発信源の方角を検出するためのセンサを含み、例えば電子コンパス等により北方向を感知して、北方向と発信源の方向とが為す角度を検出する。なお方位測定部132で検出する角度を、北の方角を0度とし、時計周りに正の値、反時計回りに負の値をとる数値で表してもよい。
 高度測定部133は、発信源との高度差を測定するためのセンサを含み、例えば重力の方向を検知して、水平面と発信源の方向とが為す角度を検出し、距離測定部131により測定された直線距離を用いて、高度差を算出する。なお高度測定部133で検出する角度を、上方向に正の値、下方向に負の値をとる数値で表現してもよい。
 詳細には測定部130は、検出された水平面と発信源の方向とが為す角度と、発信源までの直線距離とを用いて、発信源までの水平方向成分の距離と、垂直方向成分の距離(標高差)とを算出し、さらに、北方向と発信源の方向とが為す角度と、検出された発信源の水平方向成分の距離とを用いて、南北方向成分の距離と、東西方向成分の距離とを算出する。具体的には、水平面と発信源の方向との間の角度を“φ”とし、自装置から発信源までの直線距離を“D”とすると、自装置から発信源までの水平方向成分の距離は“Dcosφ”であり、自装置と発信源との標高差は“Dsinφ”である。さらに北方向と発信源の方向との間の角度を“θ”とすると、南北方向成分の距離は“(Dcosφ)cosθ”であり、と東西方向成分の距離は“(Dcosφ)sinθ” である。ここで、測定部130は、自装置と発信源との相対位置を検出するにあたり、垂直方向成分の距離、南北方向成分の距離、及び東西方向成分の距離の組み合わせを出力してもよいし、直線距離、水平面と発信源の方向との間の角度“φ”、及び北方向と発信源の方向との間の角度“θ”の組み合わせたベクトル表記により出力してもよい。
 情報処理部140は、記憶部110に予め記憶されている自装置に関する表示用の情報を含む、直送情報を生成するとともに、測定部130により測定された情報発信装置100bの相対的な位置を示す相対位置情報と、受信部120により受信された直送情報に含まれる情報発信装置100bに関する表示用の情報とを含む転送情報を生成する。さらに情報処理部140は、測定部130により測定された情報発信装置100bの相対的な位置を示す相対位置情報と、受信部120により受信された転送情報に含まれる情報発信装置100cに関する相対位置情報とに基づいて、自装置に対する情報発信装置100bの相対的な位置を示す相対位置情報を生成し、ここで生成した相対位置情報と、受信部120により受信された転送情報に含まれる情報発信装置100cに関する表示用の情報とを含む連鎖的な転送情報を生成する。
 ここで、同一の情報発信装置に関する表示用の情報を重複して無駄に代替送信することを防止するために、情報発信装置毎に固有の装置IDを付与しておき、装置IDが同一の情報発信装置に関する表示用の情報が複数見付かった場合には、例えば代替送信する際の経由する情報発信装置の数(代替経由数)が最も少ないものの1つを残す等して他を削除してもよい。
 また、連鎖的な転送が際限なく続くことにより、処理の遅延や過剰な負荷が発生すること等を防止するために、代替送信におけるデータ量に上限を設けておき、上限を超える分の転送情報は生成しないようにしてもよい。例えば、代替送信用のデータを受信した順番に所定のデータ領域に一次保存し、データ領域に空きがなくなった際には、以後に受信した代替送信用のデータは破棄してもよい。また例えば、代替送信用のデータに重要度に応じて優先度を付けておき、データ量が上限に達した際には優先度の低いものから破棄してもよい。あるいはデータ量に上限を設けるのではなく、何台の情報発信装置を経由したかを示す代替経由数に上限を設けてもよい。詳しくは、各転送情報に代替経由数を添付しておき、情報処理部140が、連鎖的な転送情報を生成して転送回数が増える度に代替経由数を更新し、予め許可された所定数を越える代替経由数が添付された連鎖的な転送情報を破棄する。また、転送情報の数に上限を設け、上限を超える分の転送情報を生成しないようにしてもよい。
 ここでデータ量の上限値の設定方法の一例を挙げると、光無線通信において通信可能な有効ビットレートを受信表示装置200における描画のリフレッシュレートで除算した値を、情報の更新レートとして設定することができる。例えば光無線通信の有効ビットレートを300Mbpsとし、受信表示装置200における描画のリフレッシュレートを30fpsとすると、1フレームあたり10Mbit(≒1280KByte)となる。
 また、利用される可能性が少ない等の代替送信するに値しない情報を送信することを防止するために、所定の条件を満たさない転送情報を生成しないようにしてもよい。例えば、あまり遠い情報発信装置の情報は利用される可能性が少ないので、相対距離が規定値(例えば100m)よりも遠いものは削除する。また例えば、エラーが発生すると受信に要した時間が無駄になってしまうので、受光した際の光強度が規定値以下のものは削除する。また例えば、撮影している方向(例えば35mm広角程度の範囲)と異なる方向に存在する情報発信装置に関する表示用の情報は削除する。
 また、特定の目的に合致するもののみを選択的に代替送信してもよい。例えば、地域限定のイベントを識別するイベントIDを表示用の情報に付与しておき、指定された地域内の情報発信装置にのみ、特定のイベントIDが付与された表示用の情報の代替送信を許可することもできる
 情報処理部140は、相対位置情報生成部141、及び発信情報生成部142を含み、各構成要素による詳細な機能の説明を以下に示す。
 相対位置情報生成部141は、受信部120により取得された直送情報、及び、測定部130により検出された自装置と発信源との相対位置に基づいて、自装置における発信位置に対する発信源の相対的な位置を示す相対位置情報を生成する。
 さらに相対位置情報生成部141は、受信部120により取得された転送情報、及び、測定部130により検出された自装置と発信源との相対位置に基づいて、自装置における発信位置に対する発信源の相対的な位置を示す連鎖的な相対位置情報を生成する。
 発信情報生成部142は、相対位置情報生成部141により生成された相対位置情報、及び連鎖的な相対位置情報を用いて、発信すべき発信情報を生成する。発信情報のデータ構造については、以下に詳細に記す。
 発信部150は、例えば赤外光やレーザ光、可視光の点滅によって信号を送信する発光ダイオード(LED)や赤外レーザ発光素子などの発光素子を含み、発信情報生成部142により生成された発信情報を光無線信号に変調して発信する。
 なお、情報発信装置100aにおける各構成要素のうちの、論理回路やメモリ等の電気回路により構築が可能な部分の全部又は一部をまとめて、1個あるいは複数個の半導体素子にするなどして集積回路化してもよい。詳細には、受信部120における受光素子121や測定部130における各センサ等の独立したデバイスを除く、論理回路で構成が可能な受信部120、及び測定部130の構成と、情報処理部140の構成とをまとめて集積回路化してもよい。例えば図2においては、点線で囲った発信源検出部122、通信情報復調部123、相対位置情報生成部141、及び発信情報生成部142を集積回路にすることができる。
  <受信表示装置の構成>
 図3は、本実施形態に係る受信表示装置200の機能的な構成を示す図である。
 受信表示装置200は、光の発光パターンを利用して表示用の情報を受信し、受信した表示用の情報を時系列的に撮像される画像に重ねて、表示デバイスに表示させる装置であって、図3に示すように、受信部210、測定部220、及び情報処理部230を備える。
 受信部210は、映像信号をフレーム単位で取得して画像情報を生成し、画像情報から光の発光パターンを利用して発信される必要な情報を抽出する。詳細には受信部210は、情報発信装置100aから、情報発信装置100aに関する表示用の情報を含む直送情報を受信する。さらに、受信部210は、情報発信装置100aから、情報発信装置100bに関する表示用の情報と、情報発信装置100aに対する情報発信装置100bの相対的な位置を示す1つの相対位置情報とを含む転送情報を受信する。さらに、受信部210は、情報発信装置100aから、情報発信装置100cに関する表示用の情報と、情報発信装置100aに対する情報発信装置100cの相対的な位置を示す複数の相対位置情報とを含む転送情報を受信する。
 受信部210は、受光素子211、発信源検出部212、及び通信情報復調部213を含み、各構成要素による詳細な機能の説明を以下に示す。
 受光素子211は、例えばイメージセンサやカメラ等を含み、画像を時系列的に撮像して映像信号を生成し、フレーム単位で画像情報として取得する。
 発信源検出部212は、受光素子211により取得された画像情報を解析し、撮像した領域内に含まれる情報発信装置100aの発光位置を検出する。
 通信情報復調部213は、発信源検出部212により検出された発光位置と、受信部210により取得された画像情報とに基づいて、当該画像情報から当該発信源の位置における変調パルス信号を取得し、表示情報生成部232において利用可能な形式のデータに復調する。ここで発信源が複数個存在する場合には、それぞれの発信源の位置における光無線通信の変調パルス信号を抽出して、各発信源と復調したデータとを対応付けておく。
 測定部220は、発信源までの直線距離、発信源の方位、発信源との高度差を測定して、自装置と発信源との相対位置を検出し、さらに、撮影状態を検出する。
 測定部220は、距離測定部221、方位測定部222、高度測定部223、及び撮影状態検出部224を含み、各構成要素による詳細な機能の説明を以下に示す。
 距離測定部221は、光波測距儀などの距離測定センサを含み、発信源検出部212により検出された発光位置に基づいて発信源の方向を特定し、その方向における発信源までの直線距離を測定する。ここで発信源が複数個検出された場合には、それぞれの発信源までの直線距離を測定し、各発信源と測定した直線距離とを対応付けておく。
 方位測定部222は、発信源の方角を検出するためのセンサを含み、例えば電子コンパス等により北方向を感知して、北方向と発信源の方向とが為す角度を検出する。なお方位測定部222で検出する角度は、北の方角を0度とし、これを基準に時計周りに正の値、反時計回りに負の値をとる数値で表してもよい。
 高度測定部223は、発信源との高度差を測定するためのセンサであり、例えば重力の方向を検知して、水平面と発信源の方向とが為す角度を検出して、距離測定部221により測定された直線距離を用いて、高度差を算出する。なお高度測定部223で検出する角度を、上方向に正の値、下方向に負の値をとる数値で表現してもよい。
 撮影状態検出部224は、撮影している方角、上下方向の傾き、左右方向の傾き、及び撮影の倍率等の撮影状態を検出し、受光素子211により取得された画像情報における各画素の位置が、それぞれどの方向に相当するかを決定する。
 詳細には測定部220は、検出された水平面と発信源の方向とが為す角度と、発信源までの直線距離とを用いて、発信源までの水平方向成分の距離と、垂直方向成分の距離(標高差)とを算出し、さらに、検出された発信源の水平方向成分の距離と、北方向と発信源の方向とが為す角度とを用いて、南北方向の距離と、東西方向の距離とを算出する。具体的な算出方法は、情報発信装置100aの測定部130と同様である。
 情報処理部230は、受信部210により撮像された画像上における、情報発信装置100aの位置に相当する発光位置に関連付けて、受信部210により受信された直送情報に含まれる情報発信装置100aの表示用の情報を重畳するとともに、発光位置と、受信部210により受信された転送情報に含まれる1又は複数の相対位置情報と、測定部220により測定された情報発信装置100aの相対的な位置とに基づいて、受信部210により撮像された画像上における、情報発信装置100bの座標位置を算出して、当該座標位置に関連付けて、当該転送情報に含まれる情報発信装置100bの表示用の情報を重畳して、表示装置240に表示させる。
 情報処理部230は、発信源表示位置算出部231、及び表示情報生成部232を含み、各構成要素による詳細な機能の説明を以下に示す。
 発信源表示位置算出部231は、表示装置240に表示する画面領域における各発信源の表示位置を算出する。詳細には、発信源ごとに、必要に応じて各発信源までの垂直方向成分の距離の合計と、南北方向の距離の合計と、東西方向の距離の合計とをそれぞれ算出し、これらの組み合わせから、測定部130や測定部220において行なった計算と逆の計算を施すことにより、直線距離、水平面と発信源の方向との間の角度“φ”、及び北方向と発信源の方向との間の角度“θ”の組み合わせを算出し、続いて、撮影状態検出部224により決定された各画素の位置と方向との対応関係に基づいて、角度“φ”、及び角度“θ”に相当する画素の位置を決定する。
 なお、転送情報に含まれる相対位置情報と、測定部220により検出される相対位置とが、共にベクトルにより表される場合には、これらをベクトル加算することにより、自装置に対する発信源の相対的な位置を、1個のベクトルとして算出することができる。
 表示情報生成部232は、受信部210により取得された画像情報により表示される画像の、発信源表示位置算出部231により算出された表示位置に対応付けて、通信情報復調部213により復調されたデータを重畳して表示情報を生成し、映像信号に変換する。
 表示情報生成部232により変換された映像信号が表示装置240へ出力される。
 なお、受信表示装置200における各構成要素のうちの、論理回路やメモリ等の電気回路により構築が可能な部分の全部又は一部をまとめて、1個あるいは複数個の半導体素子にするなどして集積回路化してもよい。詳細には、受信部210における受光素子211や測定部220における各センサ等の独立したデバイスを除く、論理回路で構成が可能な受信部210及び測定部220の構成と、情報処理部230の構成とをまとめて集積回路化してもよい。例えば図3においては、点線で囲った発信源検出部212、通信情報復調部213、発信源表示位置算出部231、及び表示情報生成部232を集積回路にすることができる。
  <発信情報のデータ構造>
 図4は、本発明の実施形態に係る情報発信装置100a~cが発信及び受信する送信情報のデータ構造の一例を示す図である。以下に、図4を用いて、発信情報生成部142により生成される送信情報について説明する。
 送信情報300は、データの開始位置を識別するためのプリアンブル信号301と、その後に続くデータ302とからなる。情報発信装置100aの通信情報復調部123がプリアンブル信号301を検出すると、送信情報の開始位置と識別して以降に続くデータ302を復調する。
 データ302は、開始識別子303、データサイズ304、自装置情報305、及び他装置代替送信情報306からなる。
 開始識別子303は、データ302の開始位置を識別するための情報である。情報発信装置100aの通信情報復調部123が開始識別子303を検出すると、以降にデータサイズ304、自装置情報305、他装置代替送信情報306のデータ構造が続くと識別して、その後の処理を続行する。
 データサイズ304は、以降に続く自装置情報305のデータサイズと、他装置代替送信情報306のデータサイズの合計値を示すパラメータである。
 自装置情報305は、自装置である情報発信装置本体に関する直送情報を送信するための情報である。
 他装置代替送信情報306は、自装置とは異なる別の場所に設置されている他の情報発信装置に関する転送情報を代替送信するための情報であり、他の情報発信装置を検出した位置情報、または他の情報発信装置から送信された送信情報に基づいて生成される。
 より詳細には、自装置情報305は、ヘッダ307aと表示用データ308aとからなる。
 ヘッダ307aは、情報発信装置の装置IDや、設置方向など、情報発信装置に共通する属性情報である。ヘッダ307aの領域に入る属性情報は、何の属性情報を示すのかを判別するための情報識別子と、属性情報の値そのものを示すパラメータとで構成される。例えば、ヘッダ307aが情報発信装置の装置IDを示す場合(図4における310の場合)には、装置IDを示す情報識別子と装置IDとがヘッダ307aの領域に入る。また例えば、ヘッダ307aが相対位置を示す場合(図4における311の場合)には、相対位置を示す情報識別子と相対位置情報とがヘッダ307aの領域に入る。また例えば、ヘッダ307aが設置方向を示す場合(図4における312の場合)には、設置方向を示す情報識別子と設置方向情報とがヘッダ307aの領域に入る。また例えば、ヘッダ307aが代替経由数を示す場合(図4における313の場合)には、代替経由数を示す情報識別子と代替経由数とがヘッダ307aの領域に入る。
 表示用データ308aは、受信表示装置200の表示画面において、情報発信装置が設置される位置に関連付けて表示するためのデータである。情報発信装置が設置されている場所の住所やお店の名称、キャンペーンの情報等のあらゆる表示のための情報を発信することができる。より詳細には、表示用データ308aは、表示用データであることを示す情報識別子314、表示用データの内容そのもののデータサイズを示す値であるデータサイズ315、及び表示用のデータの内容そのものであるペイロード316からなる。
 他装置代替送信情報306は、より詳細には、代替送信装置数309、代替送信される情報発信装置に対応するヘッダ307b、及び表示用データ308bからなる。
 代替送信装置数309の領域には、代替送信の対象となる、自装置とは異なる別の場所に設置された情報発信装置の数が入る。より詳細には、代替送信を示す情報の開始を示し、また代替送信装置数の値が続くことを示す情報識別子317が入り、続いて代替送信装置数318が入る。
 ヘッダ307b、及び表示用データ308bは、それぞれ代替送信の対象となる、自装置とは異なる別の場所に設置された情報発信装置に対応する属性情報、及び表示用データである。代替送信装置数309で示す値の数だけ、後続するヘッダ307bと表示用データ308bが繰り返されたデータ構造となる。
 ヘッダ307bの構成は、ヘッダ307aと同様である。代替送信の場合には、情報発信装置と代替送信の対象となる情報発信装置との相対位置を示す相対位置情報311や、いくつの情報発信装置を介して代替送信されたのかを示す代替経由数313も、ヘッダ307bに入る情報の対象となる。
 このような送信情報300を利用することによって、自装置とは異なる別の場所に設置された情報発信装置との相対位置と送信された送信情報とを、代替送信することが可能となる。
  <情報発信装置の動作>
 図5は、本実施形態に係る情報発信装置100aにおける情報発信方法の手順を示す図である。
 (1)受信部120が、フレームレートの単位で、画像を時系列的に撮像して映像信号を生成し、フレーム単位で画像情報として内部のバッファに格納する(ステップS1)。
 (2)受信部120により次のフレームの画像情報が格納された時点において、発信源検出部122が、新たに格納された画像情報の1フレームと、内部のバッファに格納された1つ前の画像情報の1フレームとを比較し、変化がある位置とその位置の輝度とを検出する。より詳細には、光無線通信で用いられる変調パルス信号における「1」を示す輝度と「0」を示す輝度の変化がある位置を検出し、検出した位置における輝度の変化を信号として、検出した位置と対応づけて内部に記録する(ステップS2)。
 (3)発信源検出部122が、ステップS2において抽出した位置における輝度の変化が、光無線通信に利用する変調パルス信号のプリアンブル信号と一致するか否かを判断する(ステップS3)。一致しない場合は(ステップS3:NO)、一致するまでステップS1~S3を繰り返す。
 (4)一致する場合は(ステップS3:YES)、抽出した位置を発信源として検出し、情報発信装置の設置点であると推定する。さらに、発信源検出部122が、検出した発信源における輝度の変化を継続して取得し、発信源から送信された変調パルス信号として取得する(ステップS4)。
 (5)測定部130が、ステップS4において検出した発信源までの直線距離、発信源の方位、及び発信源との高度差を測定して、自装置と発信源との相対位置を検出する(ステップS5)。
 (6)検出された発信源に関する表示用の情報が、代替送信すべきものであるか否かを判断する(ステップS6)。ここで、代替送信すべきものであるか否の判断は、例えば他の発信源を経由して転送された表示用の情報の中に、装置IDが重複している同一のものがないか、代替経由数が予め許可された所定数を越えていないか、データ量や転送情報の数が所定の上限を超えていないか、及び予め定めた所定の条件を満たしているか等により行なう。
 (7)代替送信すべきものでないと判断された場合には(ステップS6:NO)、対応する発信源に関する表示用の情報を破棄し、該当する発信源に対する以後の代替送信の処理を禁止する(ステップS7)。
 (8)代替送信すべきものであると判断された場合には(ステップS6:YES)、相対位置情報生成部141が、受信部120により取得された転送情報、及び、測定部130により検出された自装置と発信源との相対位置に基づいて、発信源の相対的な位置を示す相対位置情報を生成する(ステップS8)。
 (9)通信情報復調部123が、発信源検出部122により検出された発光位置と、受光素子121により取得された画像情報とに基づいて、当該画像情報から当該発信源の位置における変調パルス信号を取得して、以降の処理において利用可能な形式のデータである通信データに復調する(ステップS9)。
 (10)発信情報生成部142が、情報発信装置100aから発信すべき送信情報を生成する(ステップS10)。
 具体的には、まず発信情報生成部142は、記憶部110に記憶された自装置設定情報の内容から、少なくとも装置IDと、受信表示装置200で利用されるための表示用データとを取り出し、図4に示した送信情報300の中の自装置情報305の構造に納まるよう直送情報を生成する。
 さらに、通信情報復調部123により復調された発信源の通信データの内容から、少なくとも装置IDと、受信表示装置200で利用されるための表示用データを取り出し、図4に示した送信情報300の他装置代替送信情報306の構造に納まるよう転送情報を生成する。
 さらに、相対位置情報生成部141により生成された、発信源に対応する相対位置情報に基づいて、同じく他装置代替送信情報306の構造に納まるよう連鎖的な転送情報を生成する。
 また検出した発信源が複数ある場合には、それぞれの発信源の送信情報を生成して連結し、代替送信装置数318の値を、代替送信する情報発信装置の数に置き換える。
 なお、このとき、取得した装置IDが自装置を示す装置IDと同一である場合には、その装置IDに対応する代替送信情報は使用しないこととする。このようにすることにより、自装置の情報を重複して送信することを防止することができる。
 また、発信源Aから受信した通信データに含まれる発信源自体の装置ID(B)と、別の位置に設置された発信源Cから受信した通信データに含まれる代替送信された発信源の第二の装置ID(D)が同じである場合は、送信源Cから代替送信された装置ID(D)に対応する代替送信情報は使用しないこととする。これにより、同一発信源の代替送信情報を重複して送信することを防止することができる。
 (11)発信部150が、ステップS10において生成された送信情報を、光無線通信を用いて発信するための変調パルス信号に変調して、発光素子を用いて発信する(ステップS11)。
 以上の処理を繰り返すことにより、情報発信装置100aは、自装置の送信情報とともに、他の場所に設置されている情報発信装置(図1における情報発信装置100b、情報発信装置100c)の通信データを代替送信することができる。
  <受信表示装置の動作>
 図6は、本実施形態に係る受信表示装置200における受信表示方法の手順を示す図である。
 (1)受信部210が、フレームレートの単位で、画像を時系列的に撮像して映像信号を生成し、フレーム単位で画像情報として内部のバッファに格納する(ステップS11)。
 (2)受信部210により次のフレームの画像情報が格納された時点において、発信源検出部212が、新たに格納された画像情報の1フレームと、内部のバッファに格納された1つ前の画像情報の1フレームとを比較し、変化がある位置とその位置の輝度とを検出する。より詳細には、光無線通信で用いられる変調パルス信号における「1」を示す輝度と「0」を示す輝度の変化がある位置を検出し、検出した位置における輝度の変化を信号として、検出した位置と対応づけて内部に記録する(ステップS12)。
 (3)発信源検出部212が、ステップS12において抽出した位置における輝度の変化が、光無線通信に利用する変調パルス信号のプリアンブル信号と一致するか否かを判断する(ステップS13)。一致しない場合は(ステップS13:NO)、タイムアウトするまでステップS11~S13を繰り返す。
 (4)発信源検出部212が、送信源を検出しないまま予定時間を経過したか否かを判断する(ステップS14)。予定時間内に送信源を1つも検出しなかった場合には(ステップS13:NO、ステップS14:YES)、以降のステップS15~ステップS20までの処理をスキップする。
 (5)一致する場合は(ステップS13:YES)、抽出した位置を発信源として検出し、情報発信装置の設置点であると推定する。さらに、発信源検出部212が、検出した発信源における輝度の変化を継続して取得し、発信源から送信された変調パルス信号として取得する(ステップS15)。
 (6)測定部220が、ステップS15において検出した発信源までの直線距離、発信源の方位、及び発信源との高度差を測定して、自装置と発信源との相対位置を検出する(ステップS16)。
 (7)通信情報復調部213が、発信源検出部212により検出された発光位置と、受光素子211により取得された画像情報とに基づいて、当該画像情報から当該発信源の位置における変調パルス信号を取得して、以降の処理において利用可能な形式のデータである通信データに復調する(ステップS17)。
 (8)発信源表示位置算出部231が、表示装置240に表示する画面領域における各発信源の表示位置を算出する(ステップS18)。
 (9)発信源表示位置算出部231が、通信情報復調部213により復調された通信データを参照して、代替送信された情報が含まれているか否かを判断する(ステップS19)。代替送信された情報が含まれていない場合には、ステップS20の処理をスキップする。
 (10)発信源表示位置算出部231が、代替送信された情報発信装置の表示用の情報を、表示装置240へ表示する際の表示位置を算出する(ステップS20)。
 (11)表示情報生成部232が、受信部210により取得された画像情報により表示される画像の、発信源表示位置算出部231により算出された表示位置に対応付けて、通信情報復調部213により復調されたデータを重畳して表示情報を生成し、映像信号に変換する(ステップS21)。例えば、表示情報生成部232は、取得した画像情報上に、検出した発信源、及び代替送信された情報発信装置を示すマーカーや吹き出しなどの表示オブジェクトを重畳し、これらに関連付けて対応する表示用のデータを、吹き出しの内容として表示したり、マーカーをユーザが選択した場合に詳細表示される内容として対応づけたりすることにより、適宜表示情報を生成する。
 (12)表示情報生成部232により変換された映像信号が表示装置240へ出力され表示される(ステップS22)。
  <光無線通信システムの利用例>
 図7の(a)~(c)は、本実施形態に係る光無線通信システムの利用例を示す図である。ここで図7の(a)は、対象物を真上から見た図であり、ここでは図の上方向を北とする。また図7の(b)は、対象物を南側の上空から見た図である。また図7の(c)は、対象物を南東方向から見た図である。
 図7の(a)~(c)に示すように、表示装置240が接続された受信表示装置200を保持するユーザ10、及びビルなどを想定した建造物11~14が、それぞれ図のような配置で、図のような方向を向いて建っているものとする。
 また建造物11には、情報発信装置100a及び情報発信装置100a’が図のように、受信表示装置200から受信可能な位置に設置されているものとし、また建造物12には、情報発信装置100b及び情報発信装置100b’が図のように、情報発信装置100a及び情報発信装置100a’から送受信可能な位置、かつ受信表示装置200から受信不可能な位置に設置されているものとする。また建造物13には、図のように情報発信装置100cが、情報発信装置100bからのみ送受信可能な位置に設置されているものとする。また建造物14には、図のように情報発信装置100dが、情報発信装置100cからのみ送受信可能な位置に設置されているものとする。
 ここで、図7の(a)~(c)中の全ての情報発信装置は、180度未満の半球状の送受信可能範囲を持つように設定され、代替経由数の上限は2に設定されているものとする。
 以下に、情報発信装置100aに着目して、光無線通信システムによる光無線通信方法の利用例を示す。
 情報発信装置100aは、情報発信装置100bから、(1)情報発信装置100bに関する表示用の情報を含む直送情報A、(2)情報発信装置100cに関する表示用の情報と、情報発信装置100bに対する情報発信装置100cの相対的な位置を示す1つの相対位置情報とを含む転送情報B、(3)情報発信装置100dに関する表示用の情報と、情報発信装置100bに対する情報発信装置100dの相対的な位置を示す2つの相対位置情報とを含む転送情報C、(4)情報発信装置100aに関する表示用の情報と、情報発信装置100bに対する情報発信装置100aの相対的な位置を示す1つの相対位置情報とを含む転送情報D、(5)情報発信装置100b’に関する表示用の情報と、情報発信装置100bに対する情報発信装置100b’の相対的な位置を示す2つの相対位置情報とを含む転送情報E、及び(6)情報発信装置100a’に関する表示用の情報と、情報発信装置100bに対する情報発信装置100a’の相対的な位置を示す1つの相対位置情報とを含む転送情報Fを受信する。
 さらに情報発信装置100aは、情報発信装置100b’から、(7)情報発信装置100b’に関する表示用の情報を含む直送情報G、(8)情報発信装置100aに関する表示用の情報と、情報発信装置100b’に対する情報発信装置100aの相対的な位置を示す1つの相対位置情報とを含む転送情報H、(9)情報発信装置100bに関する表示用の情報と、情報発信装置100b’に対する情報発信装置100bの相対的な位置を示す2つの相対位置情報とを含む転送情報I、及び(10)情報発信装置100a’に関する表示用の情報と、情報発信装置100b’に対する情報発信装置100a’の相対的な位置を示す1つの相対位置情報とを含む転送情報Jを受信する。
 ここで、上記転送情報Bは、情報発信装置100bにおいて、情報発信装置100cから受信した、情報発信装置100cに関する表示用の情報を含む直送情報Kに基づいて生成されたものであり、上記転送情報Cは、情報発信装置100bにおいて、情報発信装置100cから受信した、情報発信装置100dに関する表示用の情報と、情報発信装置100cに対する情報発信装置100dの相対的な位置を示す1つの相対位置情報とを含む転送情報Lに基づいて生成されたものである。
 またここで、上記転送情報Lは、情報発信装置100cにおいて、情報発信装置100dから受信した、情報発信装置100dに関する表示用の情報を含む直送情報Mに基づいて生成されたものである。
 ここで、上記転送情報Dは、情報発信装置100bにおいて、情報発信装置100aから受信した、情報発信装置100aに関する表示用の情報を含む直送情報Nに基づいて生成されたものであり、上記転送情報Eは、情報発信装置100bにおいて、情報発信装置100a又はa’から受信した、情報発信装置100b’に関する表示用の情報と、情報発信装置100aに対する情報発信装置100b’の相対的な位置を示す1つの相対位置情報とを含む転送情報Oに基づいて生成されたものである。
 またここで、上記転送情報Oは、情報発信装置100a又はa’において、情報発信装置100b’から受信した、情報発信装置100b’に関する表示用の情報を含む直送情報Pに基づいて生成されたものである。
 ここで、上記転送情報Fは、情報発信装置100bにおいて、情報発信装置100a’から受信した、情報発信装置100a’に関する表示用の情報を含む直送情報Qに基づいて生成されたものである。
 ここで、上記転送情報Hは、情報発信装置100b’において、情報発信装置100aから受信した、情報発信装置100aに関する表示用の情報を含む直送情報Rに基づいて生成されたものであり、上記転送情報Iは、情報発信装置100b’において、情報発信装置100a又はa’から受信した、情報発信装置100bに関する表示用の情報と、情報発信装置100aに対する情報発信装置100bの相対的な位置を示す1つの相対位置情報とを含む転送情報Sに基づいて生成されたものである。
 またここで、上記転送情報Sは、情報発信装置100a又はa’において、情報発信装置100bから受信した、情報発信装置100bに関する表示用の情報を含む直送情報Tに基づいて生成されたものである。
 ここで、上記転送情報Jは、情報発信装置100b’において、情報発信装置100a’から受信した、情報発信装置100a’に関する表示用の情報を含む直送情報Uに基づいて生成されたものである。
 続いて、情報発信装置100aは、自装置と情報発信装置100bとの相対位置Hと、自装置と情報発信装置100b’との相対位置H’とを検出し、(1)情報発信装置100aに関する表示用の情報を含む直送情報V、(2)相対位置Hと上記直送情報Aとに基づいて生成した、情報発信装置100bに関する表示用の情報と情報発信装置100aに対する情報発信装置100bの相対的な位置を示す1つの相対位置情報とを含む転送情報W、(3)相対位置Hと上記転送情報Bとに基づいて生成した、情報発信装置100cに関する表示用の情報と、情報発信装置100aに対する情報発信装置100cの相対的な位置を示す2つの相対位置情報とを含む転送情報X、及び(4)相対位置H’と上記直送情報Gとに基づいて生成した、情報発信装置100b’に関する表示用の情報と情報発信装置100aに対する情報発信装置100b’の相対的な位置を示す1つの相対位置情報とを含む転送情報Y、及び(5)相対位置Hと転送情報F、又は相対位置H’と転送情報Jとに基づいて生成した、情報発信装置100a’に関する表示用の情報と、情報発信装置100aに対する情報発信装置100a’の相対的な位置を示す1つの相対位置情報とを含む転送情報Zを発信する。
 ここで、情報発信装置100aは、相対位置Hと上記転送情報Cとに基づいて、情報発信装置100dに関する表示用の情報と、情報発信装置100aに対する情報発信装置100dの相対的な位置を示す3つの相対位置情報とを含む転送情報を生成することは可能であるが、代替経由数の上限が2に設定されているので、この転送情報は破棄されて発信されることはない。なお、代替経由数の上限が3以上に設定されている場合には、この転送情報は破棄されることなく発信される。
 また、全ての情報発信装置において、装置IDが一致する情報発信装置に関する表示用の情報が複数ある場合には、代替経由数が少ないものの1つを残して他を削除している。
 図8は、情報発信装置100aが発信する送信情報の内容の一例を示す図である。なお、図8の送信情報は、図4のデータ302の部分に相当する。
 図8に示すように、情報発信装置100aから発信する送信情報は、開始識別子とデータサイズに始まり、続いて情報発信装置100a本体に関する情報を含む。続いて、代替送信する他の情報発信装置100b、100c、100b’、100a’に関する情報を含む。図7の(a)~(c)で示した利用例においては、代替送信する装置の数は4であるため、代替送信装置数の値は4となる。
 図9の(a)、(b)は、図7の(a)~(c)で示した利用例における、ユーザ10が保持する表示装置240に表示される画像の一例を示す図である。
 ここで図9の(a)は、代替送信をせずに、受信表示装置200が情報発信装置100a、100a’から直接取得したデータのみを、カメラで撮像した映像を表示している画像上の各装置の発信源の位置に対応付けて表示している(図中13、14)例であり、従来の装置による画像と同様のものである。
 これに対して図9の(b)は、受信表示装置200が直接取得した情報発信装置100a、100a’のデータの表示に加えて、受信表示装置200では直接受信できない情報発信装置100b、100b’、100cのデータを、代替送信により受信し、各装置の発信源の位置に対応付けて表示している例である。
  <まとめ>
 本実施形態の光無線通信システムによれば、直接検出することのできない隠れた情報発信装置の位置および送信情報を、無線LAN等の他の無線通信媒体を利用することなく受信し、利用することが可能となる。また、相対位置により表示位置の特定を行なうため、情報発信装置自体にGPSなどの絶対位置を測定する機能を備える必要がない。また、ユーザから見た視野に対する高さを含めた立体的な位置表示にも対応することができる。
 なお、本発明の実施形態で説明した光無線通信送信装置および光無線通信受信装置を構成する全て又は一部の機能ブロックは、典型的には集積回路であるLSI(集積度の違いにより、IC、システムLSI、スーパーLSI、又はウルトラLSI等と称される)として実現される。これらは、個別に1チップ化されてもよいし、一部又は全部を含むように1チップ化されてもよい。
 また、集積回路化の手法は、LSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。また、LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
 さらには、半導体技術の進歩又は派生する別の技術により、LSIに置き換わる集積回路化の技術が登場すれば、当然その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてあり得る。
 また、本発明の実施形態で説明した光無線通信送信装置および光無線通信受信装置の各機能は、記憶装置(ROM、RAM、ハードディスク等)に格納された上述した処理手順を実行可能な所定のプログラムデータが、CPUによって解釈実行されることで実現してもよい。この場合、プログラムデータは、記録媒体を介して記憶装置内に導入されてもよいし、記録媒体上から直接実行されてもよい。ここで、記録媒体とは、ROM、RAM、フラッシュメモリ等の半導体メモリ、フレキシブルディスクやハードディスク等の磁気ディスクメモリ、CD-ROMやDVD、BD等の光ディスク、メモリカード等の記録媒体をいう。また、記録媒体は、電話回線や搬送路等の通信媒体も含む概念である。
 本発明の光無線通信システムは、受信装置が直接受信できない発信源に関する情報と設置位置とを、光無線通信以外の通信手段を用いることなく、代替送信によって受信装置に送信し、カメラで撮像した映像を表示している画像上の発信源の位置に関連付けて、発信源に関する情報を表示することができるので、GPS等の絶対位置を検出する機能を備える必要がなく、公共通信手段等が使えない圏外などの環境下においても利用できるので、その産業的利用価値は極めて高い。
 また、本実施形態においては、ビル等の建造物に情報発信装置を設置する例を用いているが、同様の構成を用いて、例えば家電機器への応用が可能である。例えば、本実施形態のような情報発信装置と同様の機能を備える音楽プレイヤーを想定すると、音楽プレイヤーが保有している音楽ファイルの情報を送信情報に含めて発信すれば、直接受信できないような位置に置かれた音楽プレイヤーからの音楽ファイルの情報を、例えばテレビやレコーダ等の据置き機器から代替受信することが可能である。
 1    光無線通信システム
 100a~c、100a’~b’ 情報発信装置
 110  記憶部
 120  受信部
 121  受光素子
 122  発信源検出部
 123  通信情報復調部
 130  測定部
 131  距離測定部
 132  方位測定部
 133  高度測定部
 140  情報処理部
 141  発信情報生成部
 142  発信情報生成部
 150  発信部
 160a~c  入力装置
 200  受信表示装置
 210  受信部
 211  受光素子
 212  発信源検出部
 213  通信情報復調部
 220  測定部
 221  距離測定部
 222  方位測定部
 223  高度測定部
 224  撮影状態検出部
 230  情報処理部
 231  発信源表示位置算出部
 232  表示情報生成部
 240  表示装置

Claims (15)

  1.  光の発光パターンを利用して表示用の情報を受信し、受信した表示用の情報を時系列的に撮像される画像に重ねて、表示デバイスに表示させる受信表示装置であって、
     画像を時系列的に撮像するとともに、一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報、及び、当該一の情報発信装置とは異なる二の情報発信装置に関する表示用の情報と、当該一の情報発信装置に対する当該二の情報発信装置の相対的な位置を示す1又は複数の相対位置情報とを含む転送情報を受信する受信部と、
     自装置に対する前記一の情報発信装置の相対的な位置を測定する測定部と、
     前記受信部により撮像された画像上における、前記一の情報発信装置の位置に相当する発光位置に関連付けて、前記受信部により受信された前記直送情報に含まれる前記一の情報発信装置の表示用の情報を重畳するとともに、当該発光位置と、前記受信部により受信された前記転送情報に含まれる1又は複数の相対位置情報と、前記測定部により測定された前記一の情報発信装置の相対的な位置とに基づいて、前記受信部により撮像された画像上における、前記二の情報発信装置の座標位置を算出して、当該座標位置に関連付けて、当該転送情報に含まれる前記二の情報発信装置の表示用の情報を重畳して、前記表示デバイスに表示させる情報処理部とを備えることを特徴とする受信表示装置。
  2.  前記受信部により受信される転送情報に含まれる1又は複数の相対位置情報は、ベクトルにより表され、
     前記測定部により測定される前記一の情報発信装置の相対的な位置は、ベクトルにより表され、
     前記情報処理部は、
     前記受信部により受信された前記転送情報に含まれる1又は複数の相対位置情報を表すベクトルと、前記測定部により測定された前記一の情報発信装置の相対的な位置を表すベクトルとを、ベクトル加算することにより、自装置に対する前記二の情報発信装置の相対的な位置を、1個のベクトルとして算出することを特徴とする請求項1に記載の受信表示装置。
  3.  前記測定部は、
     自装置に対する前記一の情報発信装置の相対的な距離と角度とを実測することを特徴とする請求項1に記載の受信表示装置。
  4.  受信装置において時系列的に撮像される画像に重ねて表示される表示用の情報を、光の発光パターンを利用して発信する情報発信装置であって、
     予め、少なくとも自装置に関する表示用の情報を記憶する記憶部と、
     自装置とは異なる一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報を受信する受信部と、
     自装置における送信位置に対する前記一の情報発信装置の相対的な位置を測定する測定部と、
     前記記憶部に予め記憶されている自装置に関する表示用の情報を含む直送情報を生成するとともに、前記測定部により測定された前記一の情報発信装置の相対的な位置を示す相対位置情報と、前記受信部により受信された直送情報に含まれる前記一の情報発信装置に関する表示用の情報とを含む転送情報を生成する情報処理部と、
     前記情報処理部により生成された直送情報と転送情報とを、光の発光パターンを利用して送信する送信部とを備えることを特徴とする情報発信装置。
  5.  前記受信部は、さらに、
     前記一の情報発信装置から、光の発光パターンを利用して発信される、前記一の情報発信装置とは異なる二の情報発信装置に関する表示用の情報と、当該一の情報発信装置に対する当該二の情報発信装置の相対的な位置を示す相対位置情報とを含む転送情報を受信し、
     前記情報処理部は、さらに、
     前記測定部により測定された相対的な位置を示す相対位置情報と、前記受信部により受信された転送情報に含まれる前記二の情報発信装置に関する相対位置情報とに基づいて、自装置に対する前記二の情報発信装置の相対的な位置を示す相対位置情報を生成し、ここで生成した相対位置情報と、前記受信部により受信された転送情報に含まれる前記二の情報発信装置に関する表示用の情報とを含む階層的な転送情報を生成し、
     前記送信部は、さらに、
     前記情報生成部により生成された階層的な転送情報を、光の発光パターンを利用して送信することを特徴とする請求項4に記載の情報発信装置。
  6.  前記直送情報に含まれる前記一の情報発信装置に関する表示用の情報、及び、前記転送情報に含まれる前記二の情報発信装置に関する表示用の情報には、それぞれ、情報発信装置毎に固有の識別情報が添付されており、
     前記情報処理部は、
     前記直送情報、及び前記転送情報に含まれる表示用の情報に添付された識別情報の中に、重複する識別情報が有るか否かを判断し、重複する識別情報が有る場合には、重複する識別情報が添付された表示用の情報を含む転送情報を生成しないことを特徴とする請求項5に記載の情報発信装置。
  7.  前記転送情報には、それぞれ、何台の情報発信装置を経由したかを示す代替経由数が添付されており、
     前記情報処理部は、
     前記階層的な転送情報を生成して階層が増える度に、前記代替経由数を更新し、予め許可された所定数を越える代替経由数が添付された階層的な転送情報を破棄することを特徴とする請求項5に記載の情報発信装置。
  8.  前記情報処理部は、
     代替送信におけるデータ量に上限を設けるか、又は、転送情報の数に上限を設け、所定の上限を超える分の転送情報を生成しないことを特徴とする請求項5に記載の情報発信装置。
  9.  前記情報処理部は、
     所定の条件を満たさない転送情報を生成しないことを特徴とする請求項5に記載の情報発信装置。
  10.  光の発光パターンを利用して表示用の情報を受信し、受信した表示用の情報を時系列的に撮像される画像に重ねて、表示デバイスに表示させる受信表示装置と、当該表示用の情報を、光の発光パターンを利用して送信する複数の情報発信装置とから構成される光無線通信システムであって、
     前記複数の情報発信装置の中の一の情報発信装置は、
     予め、少なくとも自装置に関する表示用の情報を記憶する記憶部と、
     前記複数の情報発信装置の中の、自装置とは異なる二の情報発信装置から、光の発光パターンを利用して発信される、当該二の情報発信装置に関する表示用の情報を含む直送情報を受信する第1受信部と、
     自装置における送信位置に対する前記二の情報発信装置の相対的な位置を測定する第1測定部と、
     前記記憶部に予め記憶されている自装置に関する表示用の情報を含む直送情報を生成するとともに、前記第1測定部により測定された前記二の情報発信装置の相対的な位置を示す相対位置情報と、前記第1受信部により受信された直送情報に含まれる前記二の情報発信装置に関する表示用の情報とを含む転送情報を生成する第1情報処理部と、
     前記第1情報処理部により生成された直送情報と転送情報とを、光の発光パターンを利用して送信する送信部とを備え、
     前記受信表示装置は、
     画像を時系列的に撮像するとともに、前記一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報、及び、前記二の情報発信装置に関する表示用の情報と、当該一の情報発信装置に対する当該二の情報発信装置の相対的な位置を示す1又は複数の相対位置情報とを含む転送情報を受信する第2受信部と、
     自装置に対する前記一の情報発信装置の相対的な位置を測定する第2測定部と、
     前記第2受信部により撮像された画像上における、前記一の情報発信装置の位置に相当する発光位置に関連付けて、前記第2受信部により受信された前記直送情報に含まれる前記一の情報発信装置の表示用の情報を重畳するとともに、当該発光位置と、前記第2受信部により受信された前記転送情報に含まれる1又は複数の相対位置情報と、前記第2測定部により測定された前記一の情報発信装置の相対的な位置とに基づいて、前記第2受信部により撮像された画像上における、前記二の情報発信装置の座標位置を算出して、当該座標位置に関連付けて、当該転送情報に含まれる前記二の情報発信装置の表示用の情報を重畳して、前記表示デバイスに表示させる第2情報処理部とを備えることを特徴とする光無線通信システム。
  11.  光の発光パターンを利用して表示用の情報を受信し、受信した表示用の情報を時系列的に撮像される画像に重ねて、表示デバイスに表示させる受信表示装置における受信表示プログラムであって、
     前記受信表示装置に、
     画像を時系列的に撮像するとともに、一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報、及び、当該一の情報発信装置とは異なる二の情報発信装置に関する表示用の情報と、当該一の情報発信装置に対する当該二の情報発信装置の相対的な位置を示す1又は複数の相対位置情報とを含む転送情報を受信する受信ステップと、
     自装置に対する前記一の情報発信装置の相対的な位置を測定する測定ステップと、
     前記受信ステップにより撮像された画像上における、前記一の情報発信装置の位置に相当する発光位置に関連付けて、前記受信ステップにより受信された前記直送情報に含まれる前記一の情報発信装置の表示用の情報を重畳するとともに、当該発光位置と、前記受信ステップにより受信された前記転送情報に含まれる1又は複数の相対位置情報と、前記測定ステップにより測定された前記一の情報発信装置の相対的な位置とに基づいて、前記受信ステップにより撮像された画像上における、前記二の情報発信装置の座標位置を算出して、当該座標位置に関連付けて、当該転送情報に含まれる前記二の情報発信装置の表示用の情報を重畳して、前記表示デバイスに表示させる情報処理ステップとを実行させることを特徴とする受信表示プログラム。
  12.  受信表示装置において時系列的に撮像される画像に重ねて表示される表示用の情報を、光の発光パターンを利用して発信する情報発信装置における情報発信プログラムであって、
     前記情報発信装置は、
     予め、少なくとも自装置に関する表示用の情報を記憶する記憶部を備え、
     前記情報発信装置に、
     自装置とは異なる一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報を受信する受信ステップと、
     自装置における送信位置に対する前記一の情報発信装置の相対的な位置を測定する測定ステップと、
     前記記憶部に予め記憶されている自装置に関する表示用の情報を含む直送情報を生成するとともに、前記測定ステップにより測定された前記一の情報発信装置の相対的な位置を示す相対位置情報と、前記受信ステップにより受信された直送情報に含まれる前記一の情報発信装置に関する表示用の情報とを含む転送情報を生成する情報処理ステップと、
     前記情報処理ステップにより生成された直送情報と転送情報とを、光の発光パターンを利用して送信する送信ステップとを実行させることを特徴とする情報発信プログラム。
  13.  光の発光パターンを利用して表示用の情報を受信し、受信した表示用の情報を時系列的に撮像される画像に重ねて、表示デバイスに表示させる受信表示装置に用いられる受信表示用集積回路であって、
     画像を時系列的に撮像するとともに、一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報、及び、当該一の情報発信装置とは異なる二の情報発信装置に関する表示用の情報と、当該一の情報発信装置に対する当該二の情報発信装置の相対的な位置を示す1又は複数の相対位置情報とを含む転送情報を受信する受信部と、
     自装置に対する前記一の情報発信装置の相対的な位置を測定する測定部と、
     前記受信部により撮像された画像上における、前記一の情報発信装置の位置に相当する発光位置に関連付けて、前記受信部により受信された前記直送情報に含まれる前記一の情報発信装置の表示用の情報を重畳するとともに、当該発光位置と、前記受信部により受信された前記転送情報に含まれる1又は複数の相対位置情報と、前記測定部により測定された前記一の情報発信装置の相対的な位置とに基づいて、前記受信部により撮像された画像上における、前記二の情報発信装置の座標位置を算出して、当該座標位置に関連付けて、当該転送情報に含まれる前記二の情報発信装置の表示用の情報を重畳して、前記表示デバイスに表示させる情報処理部とのうちの、全部又は一部を集積する受信表示用集積回路。
  14.  受信装置において時系列的に撮像される画像に重ねて表示される表示用の情報を、光の発光パターンを利用して発信する情報発信装置に用いられる情報発信用集積回路であって、
     予め、少なくとも自装置に関する表示用の情報を記憶する記憶部と、
     自装置とは異なる一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報を受信する受信部と、
     自装置における送信位置に対する前記一の情報発信装置の相対的な位置を測定する測定部と、
     前記記憶部に予め記憶されている自装置に関する表示用の情報を含む直送情報を生成するとともに、前記測定部により測定された前記一の情報発信装置の相対的な位置を示す相対位置情報と、前記受信部により受信された直送情報に含まれる前記一の情報発信装置に関する表示用の情報とを含む転送情報を生成する情報処理部と、
     前記情報処理部により生成された直送情報と転送情報とを、光の発光パターンを利用して送信する送信部とのうちの、全部又は一部を集積する情報発信用集積回路。
  15.  受信表示装置において、光の発光パターンを利用して表示用の情報を受信し、受信した表示用の情報を時系列的に撮像される画像に重ねて、表示デバイスに表示させ、複数の情報発信装置において、当該表示用の情報を、光の発光パターンを利用して送信する光無線通信方法であって、
     前記複数の情報発信装置の中の一の情報発信装置は、
     予め、少なくとも自装置に関する表示用の情報を記憶する記憶部を備え、
     前記一の情報発信装置において、前記複数の情報発信装置の中の、自装置とは異なる二の情報発信装置から、光の発光パターンを利用して発信される、当該二の情報発信装置に関する表示用の情報を含む直送情報を受信する第1受信ステップと、
     前記一の情報発信装置において、自装置における送信位置に対する前記二の情報発信装置の相対的な位置を測定する第1測定ステップと、
     前記一の情報発信装置において、前記記憶部に予め記憶されている自装置に関する表示用の情報を含む直送情報を生成するとともに、前記第1測定ステップにより測定された前記二の情報発信装置の相対的な位置を示す相対位置情報と、前記第1受信ステップにより受信された直送情報に含まれる前記二の情報発信装置に関する表示用の情報とを含む転送情報を生成する第1情報処理ステップと、
     前記一の情報発信装置において、前記第1情報処理ステップにより生成された直送情報と転送情報とを、光の発光パターンを利用して送信する送信ステップと、
     前記受信表示装置において、画像を時系列的に撮像するとともに、前記一の情報発信装置から、光の発光パターンを利用して発信される、当該一の情報発信装置に関する表示用の情報を含む直送情報、及び、前記二の情報発信装置に関する表示用の情報と、当該一の情報発信装置に対する当該二の情報発信装置の相対的な位置を示す1又は複数の相対位置情報とを含む転送情報を受信する第2受信ステップと、
     前記受信表示装置において、自装置に対する前記一の情報発信装置の相対的な位置を測定する第2測定ステップと、
     前記受信表示装置において、前記第2受信ステップにより撮像された画像上における、前記一の情報発信装置の位置に相当する発光位置に関連付けて、前記第2受信ステップにより受信された前記直送情報に含まれる前記一の情報発信装置の表示用の情報を重畳するとともに、当該発光位置と、前記第2受信ステップにより受信された前記転送情報に含まれる1又は複数の相対位置情報と、前記第2測定ステップにより測定された前記一の情報発信装置の相対的な位置とに基づいて、前記第2受信ステップにより撮像された画像上における、前記二の情報発信装置の座標位置を算出して、当該座標位置に関連付けて、当該転送情報に含まれる前記二の情報発信装置の表示用の情報を重畳して、前記表示デバイスに表示させる第2情報処理ステップとを含むことを特徴とする光無線通信方法。
PCT/JP2011/004444 2010-08-20 2011-08-04 受信表示装置、情報発信装置、光無線通信システム、受信表示用集積回路、情報発信用集積回路、受信表示プログラム、情報発信プログラム、及び光無線通信方法 WO2012023253A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012507532A JP5619140B2 (ja) 2010-08-20 2011-08-04 受信表示装置、情報発信装置、光無線通信システム、受信表示用集積回路、情報発信用集積回路、受信表示プログラム、情報発信プログラム、及び光無線通信方法
CN201180003457.2A CN102484678B (zh) 2010-08-20 2011-08-04 接收显示装置、信息发送装置、光无线通信系统、接收显示用集成电路、信息发送用集成电路、接收显示程序、信息发送程序及光无线通信方法
US13/391,680 US9374159B2 (en) 2010-08-20 2011-08-04 Reception display apparatus, information transmission apparatus, optical wireless communication system, reception display integrated circuit, information transmission integrated circuit, reception display program, information transmission program, and optical wireless communication method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010185008 2010-08-20
JP2010-185008 2010-08-20

Publications (1)

Publication Number Publication Date
WO2012023253A1 true WO2012023253A1 (ja) 2012-02-23

Family

ID=45604924

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/004444 WO2012023253A1 (ja) 2010-08-20 2011-08-04 受信表示装置、情報発信装置、光無線通信システム、受信表示用集積回路、情報発信用集積回路、受信表示プログラム、情報発信プログラム、及び光無線通信方法

Country Status (4)

Country Link
US (1) US9374159B2 (ja)
JP (1) JP5619140B2 (ja)
CN (1) CN102484678B (ja)
WO (1) WO2012023253A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9847835B2 (en) 2015-03-06 2017-12-19 Panasonic Intellectual Property Management Co., Ltd. Lighting device and lighting system
US10422626B2 (en) 2015-06-23 2019-09-24 Fujitsu Limited Position measuring apparatus, position measuring method, and non-transitory computer readable recording medium
WO2022208882A1 (ja) * 2021-04-02 2022-10-06 日本電信電話株式会社 光空間通信装置及び光空間通信方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5891843B2 (ja) * 2012-02-24 2016-03-23 ソニー株式会社 クライアント端末、サーバ、およびプログラム
EP2858269B1 (en) * 2012-05-24 2018-02-28 Panasonic Intellectual Property Corporation of America Information communication method
US9395875B2 (en) * 2012-06-27 2016-07-19 Ebay, Inc. Systems, methods, and computer program products for navigating through a virtual/augmented reality
US9987184B2 (en) * 2013-02-05 2018-06-05 Valentin Borovinov Systems, methods, and media for providing video of a burial memorial
CN105406986B (zh) * 2015-10-23 2018-11-02 北京邮电大学 一种内容分发控制方法和一种中心控制器
CN105407141B (zh) * 2015-10-23 2019-06-18 北京邮电大学 一种内容分发方法和系统以及一种FiWi节点设备
CN105890597B (zh) * 2016-04-07 2019-01-01 浙江漫思网络科技有限公司 一种基于图像分析的辅助定位方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0340616A (ja) * 1989-07-07 1991-02-21 Matsushita Electric Ind Co Ltd 光空間伝送装置
JP2003323239A (ja) * 2002-05-08 2003-11-14 Sony Corp 情報処理装置及び情報処理方法、記憶媒体、並びにコンピュータ・プログラム
JP2005080116A (ja) * 2003-09-02 2005-03-24 Fuji Photo Film Co Ltd 撮像装置および情報伝達システム
JP2007228512A (ja) * 2006-02-27 2007-09-06 Kyocera Corp 可視光通信システムおよび情報処理装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5673252A (en) * 1990-02-15 1997-09-30 Itron, Inc. Communications protocol for remote data generating stations
US6631018B1 (en) * 1997-08-27 2003-10-07 Nortel Networks Limited WDM optical network with passive pass-through at each node
JP2004275412A (ja) * 2003-03-14 2004-10-07 Mitsumi Electric Co Ltd 通信ゲームシステム及び通信システム及び通信装置並びに通信状態表示方法
KR100818228B1 (ko) * 2006-03-28 2008-04-01 삼성전자주식회사 무선 애드 혹 네트워크에서 파워 및 전송지연을 고려한경로 설정 방법 및 이를 적용한 단말장치
EP1884798B1 (en) * 2006-08-03 2012-01-18 Casio Computer Co., Ltd. Method for measuring distance to object
DE102006056338A1 (de) * 2006-11-29 2008-06-05 Rohde & Schwarz Gmbh & Co. Kg Verfahren und Vorrichtung zur Bestimmung der Position eines Endgeräts in einem Mobilfunknetz
JP5328810B2 (ja) * 2008-12-25 2013-10-30 パナソニック株式会社 情報表示装置および情報表示方法
US8958291B2 (en) * 2009-10-09 2015-02-17 At&T Intellectual Property I, L.P. Data routing in hybrid wireless communication networks
JP5449401B2 (ja) * 2009-12-18 2014-03-19 パナソニック株式会社 情報表示装置、表示制御用集積回路、表示制御プログラム、及び表示制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0340616A (ja) * 1989-07-07 1991-02-21 Matsushita Electric Ind Co Ltd 光空間伝送装置
JP2003323239A (ja) * 2002-05-08 2003-11-14 Sony Corp 情報処理装置及び情報処理方法、記憶媒体、並びにコンピュータ・プログラム
JP2005080116A (ja) * 2003-09-02 2005-03-24 Fuji Photo Film Co Ltd 撮像装置および情報伝達システム
JP2007228512A (ja) * 2006-02-27 2007-09-06 Kyocera Corp 可視光通信システムおよび情報処理装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9847835B2 (en) 2015-03-06 2017-12-19 Panasonic Intellectual Property Management Co., Ltd. Lighting device and lighting system
US10422626B2 (en) 2015-06-23 2019-09-24 Fujitsu Limited Position measuring apparatus, position measuring method, and non-transitory computer readable recording medium
WO2022208882A1 (ja) * 2021-04-02 2022-10-06 日本電信電話株式会社 光空間通信装置及び光空間通信方法

Also Published As

Publication number Publication date
US20120154443A1 (en) 2012-06-21
US9374159B2 (en) 2016-06-21
JPWO2012023253A1 (ja) 2013-10-28
JP5619140B2 (ja) 2014-11-05
CN102484678B (zh) 2017-03-01
CN102484678A (zh) 2012-05-30

Similar Documents

Publication Publication Date Title
JP5619140B2 (ja) 受信表示装置、情報発信装置、光無線通信システム、受信表示用集積回路、情報発信用集積回路、受信表示プログラム、情報発信プログラム、及び光無線通信方法
CN102737227B (zh) 终端装置、信息处理装置、对象识别方法以及系统
JP4750859B2 (ja) データ処理装置、方法、記録媒体
JPWO2003036829A1 (ja) データ通信システム、データ送信装置、並びにデータ受信装置
JP5532026B2 (ja) 表示装置、表示方法及びプログラム
JP2014138324A (ja) 情報提供システム、サーバシステム、端末装置、情報提供方法及びプログラム
US20180212793A1 (en) Commissioning device for commissioning installed building technology devices
JP2016048856A (ja) 画像表示システム、画像表示装置、画像表示方法、およびプログラム
CN107710736A (zh) 辅助用户捕获图像或视频的方法和系统
CN105723631A (zh) 通信方法
CN104487982A (zh) 基于用户穿戴的可穿戴物的光学检测提供服务
JP6699518B2 (ja) 画像認識処理方法、画像認識処理プログラム、データ提供方法、データ提供システム、データ提供プログラム、記録媒体、プロセッサ及び電子機器
CN105917329B (zh) 信息显示装置和信息显示程序
CN111754564A (zh) 视频展示方法、装置、设备及存储介质
CN105933651A (zh) 基于目标路线跳接视频的方法与装置
JP5578719B2 (ja) 情報システム、端末装置、広告出力方法、およびプログラム
CN112087719B (zh) 地图区域确定方法、装置、设备及存储介质
CN108012141A (zh) 显示装置、显示系统和显示装置的控制方法
JP2019109174A (ja) 位置算出システム、位置算出装置、位置算出方法及びプログラム
CN104798365A (zh) 摄像装置、摄像系统、摄像方法和摄像程序
WO2018079043A1 (ja) 情報処理装置、撮像装置、情報処理システム、情報処理方法、およびプログラム
KR102272757B1 (ko) 파노라믹 영상 컨텐츠 제작 시스템 및 방법
CN108225259A (zh) 测距群机器人及系统
JP2019074649A (ja) 情報処理装置及びプログラム
JP5670092B2 (ja) 地形表示システム、携帯端末、地形表示方法およびプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180003457.2

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2012507532

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13391680

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11817904

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11817904

Country of ref document: EP

Kind code of ref document: A1