WO2016046862A1 - 再生装置、再生方法、プログラム、及び、システム - Google Patents

再生装置、再生方法、プログラム、及び、システム Download PDF

Info

Publication number
WO2016046862A1
WO2016046862A1 PCT/JP2014/004858 JP2014004858W WO2016046862A1 WO 2016046862 A1 WO2016046862 A1 WO 2016046862A1 JP 2014004858 W JP2014004858 W JP 2014004858W WO 2016046862 A1 WO2016046862 A1 WO 2016046862A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
signals
information
light
specific
Prior art date
Application number
PCT/JP2014/004858
Other languages
English (en)
French (fr)
Inventor
圭造 加藤
健介 倉木
田中 竜太
中川 章
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to CN201480082074.2A priority Critical patent/CN106716875B/zh
Priority to JP2016549660A priority patent/JP6455518B2/ja
Priority to PCT/JP2014/004858 priority patent/WO2016046862A1/ja
Priority to EP14902690.8A priority patent/EP3200362B1/en
Publication of WO2016046862A1 publication Critical patent/WO2016046862A1/ja
Priority to US15/461,845 priority patent/US10075239B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114Indoor or close-range type systems
    • H04B10/116Visible light communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611Correction of chromatic aberration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/50Transmitters
    • H04B10/501Structural aspects
    • H04B10/502LED transmitters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits

Definitions

  • the present application relates to a playback device, a playback method, a program, and a system.
  • Light emitting diodes are widely used as illumination light sources.
  • the LED has a feature that its response speed is faster than that of an incandescent bulb or a fluorescent lamp. Utilizing this feature, a visible light communication technique for performing communication by superimposing information on illumination light emitted from an LED by blinking the LED at a speed that cannot be recognized by human eyes has been studied. Visible light communication is considered to be used in communication applications where use of radio waves is restricted, information distribution limited to light such as indoors, or Intelligent Transport Systems (ITS). (For example, Non-Patent Document 1).
  • an information transmission system including a light emitting unit that transmits information by shining a predetermined region and a light receiving unit that decodes information from an image obtained by imaging the predetermined region in time series has been proposed.
  • the predetermined area emits light that has been multi-valued into at least three values according to the information and is color-modulated, and the light receiving means receives information based on the multi-valued color modulation information in the predetermined area.
  • Patent Document 1 there has been proposed an optical module that includes at least two primary light sources that emit primary color light, and that incorporates data into the light by modulating the color coordinates of the light emitted from the primary light source in accordance with data to be embedded. 2).
  • various proposals using features of visible light communication have been made.
  • This application aims at providing the reproducing
  • the disclosed reproduction apparatus includes at least a plurality of signals having a specific amplitude in a specific color space, receives light emitted based on the plurality of signals on which information is superimposed, and superimposes the information
  • a generation unit that generates a plurality of signals in the specific color space from received light, a correction unit that corrects the generated plurality of signals based on the specific amplitude, And an acquisition unit that acquires the information based on the corrected plurality of signals.
  • the disclosed reproduction apparatus can reproduce the information well from the light on which the information is superimposed.
  • An information distribution system The example of the light with which specific information is superimposed in embodiment.
  • An example of processing in the playback apparatus of the embodiment. An example of color space conversion.
  • 1st Embodiment. The functional block of 1st Embodiment. Processing in the first embodiment.
  • Second embodiment. The functional block of 2nd Embodiment. Processing of the second embodiment.
  • Third embodiment. The functional block of 3rd Embodiment.
  • the functional block of 5th Embodiment. Processing of the fifth embodiment. 2 is a hardware configuration of a reproduction apparatus and an illumination apparatus according to an embodiment.
  • FIG. 1 shows an information distribution system according to an embodiment.
  • the information distribution system 100 shown in FIG. 1 includes a lighting device 110, an object 130, a playback device 150, and a server device 170.
  • the illumination device 110 includes, for example, light emitting elements (for example, LEDs) corresponding to RGB components.
  • Specific information 125 is superimposed as a watermark signal on the illumination light 115 (solid line) emitted from the illumination device 110 by controlling the light emission amount and phase of the light emitting element.
  • At least a part of the illumination light 115 is irradiated to the object 130 as irradiation light 120 (dotted line), and the reflected light 140 (one-dot chain line) resulting from the reflection of the irradiation light 120 by the object 130 is received by the reproducing device 150.
  • the playback device 150 has an imaging unit (camera), and the object 130 and the like are imaged according to the received light received by the imaging unit. As will be described in detail later, the reproducing device 150 reproduces the specific information 125 from the information 135 included in the reflected light 130 from the received light along with the imaging of the object 130.
  • an imaging unit camera
  • the reproducing device 150 reproduces the specific information 125 from the information 135 included in the reflected light 130 from the received light along with the imaging of the object 130.
  • the received light received by the reproducing apparatus 150 includes not only the reflected light 140 from the object 130 but also the illumination light 115 itself emitted by the illumination apparatus 110 or the light. Reflected light reflected by other than 130 is also included.
  • the specific information 125 superimposed on the illumination light 115 emitted from the illumination device 110 may be information related to the object 130 irradiated with the illumination light 115 or irrelevant to the object 130. This is information that is desired to be acquired via the received light when the reproducing apparatus 150 receives the reflected light 140 corresponding to the object 130.
  • the object 130 when the object 130 is a product or an advertisement, it is information or a coupon related to a product or an advertisement, is an explanation content for explaining information about the object 130, or is scheduled to be performed in connection with the object 130.
  • Various pieces of information such as explanation contents and instruction contents concerning operations and the like are applicable.
  • the specific information may be displayed on the display unit of the playback device 150, or may be projected onto the object 130 or another object by the projection unit of the playback device 150.
  • the specific information 125 may be information for specifying other information desired to be acquired by the playback device 150.
  • it may be an ID for specifying the other information, or information for specifying a URL for acquiring the other information.
  • the server device 170 holds the other information, and the playback device 150 obtains an ID, a URL, or the like corresponding to the specific information 125 acquired by playing back the information 135 via a wired or wireless network.
  • the server device 170 is specified and accessed, and the other information is acquired as a response from the server device 170 to this access.
  • the specific information 125 superimposed on the illumination light 115 emitted from the illumination device 110 is information for specifying other information that the reproduction device 150 wants to acquire, finally, the desired information 125 Although the information can be acquired by the reproduction device 150, the amount of information to be superimposed on the illumination light 115 in the illumination device 110 can be reduced.
  • the information distribution system 100 may be used to provide a service such as charging when information is displayed on the playback device 150 or other information is acquired from the server device 170.
  • the object 130 has a specific spectral reflectance.
  • the reflected light 140 of the light by the object 130 is affected by the spectral reflectance of the object 130.
  • the component of the wavelength region corresponding to red in the visible light region is reduced compared to the irradiation light 120.
  • the irradiation light 120 is reflected under the influence of the different spectral reflectance, so the proportion of each component of the RGB color space included in the reflection light 140 is the irradiation light.
  • the ratio at 120 varies.
  • the specific information 125 superimposed on the illumination light 115 reaches the reproduction apparatus 150 via the object 130, the reflected light affected by the spectral reflectance of the object 130 is reflected.
  • the inventors have found that the specific information 125 cannot be properly reproduced from the information 135 unless the reproduction device 150 receives the light 140.
  • FIG. 2 shows an example of light on which specific information is superimposed in the embodiment.
  • the U component and the V component in the YUV color space are modulated according to the specific information 125 so that the specific information 125 is superimposed on each component, and then the YUV color
  • the illumination light 115 when the value of each component in the space is generated by being converted into each component in the RGB color space by substituting into the conversion equations (1) to (3) described later
  • An example of the relationship between the temporal change (A) of the value of each component in the YUV color space and the temporal change (B) of the value of each component in the RGB color space is shown.
  • the example shown by FIG. 2 is an example relevant to each embodiment mentioned later.
  • the waveform included in each of the sections separated by the dotted lines in the graphs 220, 230, 240, 250, and 260 is a symbol (for example, “0” and “1”) that is the minimum unit of information superimposed on the signal.
  • the corresponding waveform is illustrated.
  • FIG. 2A shows the values of the respective components in the YUV color space according to the specific information 125.
  • FIG. As shown in the top graph 210, the Y component, that is, the luminance component, is kept constant regardless of the passage of time.
  • the value of the U component which is one of the color difference components, is phase-modulated according to the specific information 125 and changes with time.
  • the value of the V component which is the other color difference component is also phase-modulated according to the specific information 125 and changes with time.
  • FIG. 2B shows the value of each component in the RGB color space corresponding to FIG. Graphs 240, 250, and 260 show temporal changes of the red component, the green component, and the blue component, respectively.
  • the temporal changes of each color component indicate a plurality of color difference signals in the YUV color space on which specific information 125 is superimposed. Obtained by performing conversion to RGB color space.
  • the illumination device 110 causes the light emitting element corresponding to the color component to emit light with the light emission amount per unit time corresponding to the value at each sampling point in the time change of each color component.
  • the invention is not limited to this.
  • it may be a color space that expresses a color with a luminance component and other components, and may be an HLS color space that is interchangeable with the RGB color space by a specific conversion formula.
  • the Y component in the YUV color space is not modulated, but the invention is not limited to this.
  • the light is modulated according to the information.
  • the sensitivity to a color change in the color of the human eye is lower than the sensitivity to a change in brightness. Therefore, by making the luminance component constant and modulating the U component and V component, which are color difference components, it is possible to embed information in the emitted light without degrading the function as illumination.
  • the fluctuation range of the light emission amount per unit time of each light emitting element in the illumination device 110 is about several percent with respect to the time average value over the period corresponding to one symbol of the light emission amount per unit time of the light emitting element.
  • the characteristic of light that changes in time series according to the specific information 125 is the amount of light per unit time, for example, a plurality of sampling points (for example, 10 to 20 points) in one cycle of the specific information 125 ) And the light emission amount per unit time of the light emitting element at each sampling point may be determined according to the specific information 125.
  • the light emission amount may be determined in accordance with the information to be superimposed in consideration of the variation in characteristics of the actual light emitting element.
  • the influence of variation in characteristics of the light-emitting element is small and the difference between the assumed light emission amount and the actual light emission amount is negligible, these may be treated as matching.
  • BPSK Binary Phase Shift Keying
  • QPSK Quadrature Phase Shift Keying
  • QAM Modulation to amplitude
  • Any modulation method may be used as long as it is a modulation method used in radio wave communication or the like.
  • information may be multiplexed using a plurality of frequencies.
  • a plurality of frequencies orthogonal to each other such as OFDM (Orthogonal Frequency Division Multiplexing)
  • the playback device 150 calculates the amplitude and phase for each frequency by Fourier transform, and detects embedded information.
  • the spectrum used in the CDMA (Code Division Multiple Access) method Using spreading one piece of information may be spread and embedded in a plurality of frequencies.
  • the reproducing apparatus 150 shown in FIG. 1 receives the received light corresponding to the light according to the time conversion shown in FIG. Then, the playback device 150 converts the received light into a YUV color space to generate a plurality of color difference signals, and plays back specific information 125 based on the generated plurality of color difference signals.
  • FIG. 3 shows an example of processing in the playback apparatus of the embodiment.
  • FIG. 3 shows an outline of processing when specific information 125 is reproduced from an image acquired by the imaging unit (camera) of the reproduction apparatus 150 shown in FIG.
  • the example shown by FIG. 3 is an example relevant to each embodiment mentioned later.
  • the reproduction apparatus 150 captures an image of the object 130 based on the received light including the reflected light 140 resulting from the reflected illumination light 120 reflected by the object 130, and the color difference signal generated from the received light will be described later.
  • the specific information 125 is reproduced by performing correction or the like.
  • an image at each time acquired by the imaging unit is used as sampling data, and the color difference signal is reproduced based on a physical quantity such as a received light intensity based on each sampling data. . That is, the accuracy of the color difference signal to be reproduced depends on the frame rate when the imaging unit captures the object 130 as a moving image.
  • the specific information 125 is superimposed on the illumination light 115 at a data rate that allows information to be reproduced even if sampling is performed at that frame rate.
  • the data rate in this case is, for example, that one period of a signal representing the specific information 125 is 100 milliseconds to 1 second.
  • the luminance component is constant in the YUV color space and the specific information 125 is superimposed on the illumination light 115 by modulating the color difference component, the color difference is relatively low. Even if the signal is modulated, it is difficult for the human eye to see the change.
  • the illumination device 110 can be used as a distribution source that distributes the illumination device and information.
  • the invention is not limited to the example of modulating the color difference component in the YUV color space.
  • the specific information 125 is superimposed on the illumination light 115 by modulating at a higher frequency than the human eye feels flickering, and imaging can be performed even at this frequency May be provided in the playback device 150.
  • FIG. 4 shows an example of color space conversion. A problem that occurs when the color space is converted by the spectral reflectance of the object will be described with reference to FIG.
  • the illumination device 110 converts the color difference signal modulated based on the specific information 125 according to the conversion formulas (1) to (3), and causes the corresponding light emitting element to emit light according to the RGB signal obtained by the conversion.
  • R 1.000Y + 1.402V (1)
  • G 1.000Y-0.344U-0.714V (2)
  • B 1.000Y + 1.772U (3)
  • conversion equations (4) to (6) from the RGB color space to the YUV color space are shown below.
  • the reproduction device 150 converts the RGB signal included in the received light according to the conversion equations (4) to (6), and the reproduction device 150 tries to reproduce the specific information 125 superimposed on the light by the YUV signal obtained by the conversion.
  • Y 0.299R + 0.587G + 0.114B (4)
  • U -0.169R-0.331G + 0.500B (5)
  • V 0.500R-0.419G-0.081B (6)
  • each term in the conversion equations (1) to (6) is, for example, when the range of values that each component can take is a gradation from 0 to 255, the measured physical quantity is the gradation. This is the value when normalized.
  • the reproducing device 150 directly receives only the illumination light 115 emitted from the illumination device 110, it is only necessary to extract the YUV signal from the received light using the equations (4) to (6).
  • the specific information 125 superimposed on the illumination light 115 can be reproduced.
  • the received light received by the reproduction apparatus 150 includes the reflected light 140 resulting from the irradiation light 120 being reflected by the specific object 130
  • the YUV signal obtained by the equations (4) to (6) May be reduced depending on the spectral reflectance of the object 130.
  • the U component and the V component in the YUV color space are modulated based on the specific information 115 and generated.
  • U-component and Y-component color difference signals are shown as transmission signals.
  • the color difference signal and the luminance signal of the U component and the Y component are subjected to RGB conversion, and light including the RGB signal based on this conversion is emitted from the illumination device 110 to the object 130.
  • the RGB signal included in the irradiation light 120 applied to the object 130 has a specific wavelength absorbed by the spectral reflectance of the object 130. Then, the light including the RGB signal whose specific wavelength component is reduced in the absorption is reflected light 140. Then, the light including the reflected light 140 is received by the reproducing device 150 as received light.
  • the RGB signal of the reflected light 140 reaching the reproducing device 150 due to absorption of a specific wavelength component according to the spectral reflectance of the object 130 is different from the RGB signal of the illumination light 115 emitted from the lighting device 110.
  • the reproducing apparatus 150 uses the above conversion equations (4) to (6) to reproduce the specific information 125 from the received light, but the YUV is based on the R′G′B ′ signal of the reflected light 140. The signal will be calculated. That is, since the specific wavelength component is lost due to the absorption according to the spectral reflectance of the object 130, the YUV component generated by the reproducing apparatus 150 is different from the YUV signal generated by the illumination apparatus 110. It becomes a signal.
  • Such a phenomenon found by the inventors is, in other words, light caused by spectral reflectance of an object when information is superimposed on light on the assumption that color space conversion is performed in visible light communication. It can be said that the color space conversion symmetry is lost due to the absorption of the color space, and the color difference signal in the transmission signal interferes with other color difference signals in the reception signal via the conversion equations (1) to (6).
  • the symmetry of color space conversion is not maintained due to the influence of the spectral reflectance of an object, and the influence of the first component in the transmission signal on the second component in the reception signal is referred to as interference.
  • the inventors have newly found that information cannot be reproduced well unless this interference is taken into account in visible light communication.
  • the color difference signal in the received light is converted into a plurality of color differences with known amplitudes.
  • FIG. 5 shows the first embodiment.
  • the outline of the first embodiment will be described with reference to FIG.
  • FIG. 5 shows a transmission side 500 and a reception side 510.
  • the transmission side 500 is the illumination device 110, for example.
  • the receiving side 510 is the playback device 150, for example.
  • the specific information is superimposed on the light emitted from the transmission side 500.
  • Color component 1 is, for example, a U component in the YUV color space.
  • the color component 1 signal x is a U component color difference signal.
  • the color component 2 is, for example, a V component in the YUV color space, and the signal y of the color component 2 is a V component color difference signal.
  • a color space component that expresses a color by luminance and a color component, such as a color component of the HLS color space may be applied to the color component 1 and the color component 2.
  • phase modulation is described as an example of the modulation method, but the invention is not limited to this.
  • Various modulation schemes exemplified along FIG. 2 are applicable.
  • the amplitude ratio of the signal x and the signal y is 1: 1
  • the invention is not limited to this, and the amplitude ratio of the signal x and the signal y is 1: n (n is an integer), and the contribution of the amplitude ratio of 1: n to the corresponding component in the interference matrix described later. Can be generalized. Further, the signal on which information is superimposed may be either the signal x or the signal y.
  • the phase of the signal x and the phase of the signal y are in phase.
  • a symbol “0” for representing information is assigned to the phase of section a.
  • the phase of the signal x is opposite to that of the signal y.
  • the symbol “1” for representing information is assigned to the phase of the signal y in the section b.
  • the color component 1 on the receiving side 510 is, for example, the U component in the YUV color space.
  • the color component 1 signal x ′ is a U component color difference signal.
  • the color component 2 is, for example, a V component in the YUV color space, and the signal y ′ of the color component 2 is a color difference signal of the V component.
  • the signal x ′ and the signal y ′ are emitted as light by converting the signal x and the signal y in the YUV color space into RGB signals, for example.
  • the signal x and the signal y in the YUV color space By being reflected by an object having reflectivity, it becomes an R′G′B ′ signal having a different color component configuration from the RGB signal before reflection, and the R′G′B ′ signal received on the receiving side is converted. Is obtained based on the Y′U′V ′ signal having a different configuration from the original YUV signal.
  • the signal x and the signal y may be embedded in the preamble portion by the transmission side 500 by applying the example described in the second embodiment to be described later, and the signal x ′ and the signal y ′ are detected.
  • the subsequent data portion may be detected by detecting the preamble portion embedded in the signal.
  • phase of the color component 1 signal x ′ in the section b ′ on the receiving side 510 is inverted compared to the phase of the color component 1 signal x in the section b on the transmitting side 500. It is that you are. This is because a specific wavelength component is absorbed upon reflection by an object having a specific spectral reflectance, and thus the color component 2 signal y is applied when the above conversion equations (4) to (6) are applied. Due to interference. It can be seen that the desired information cannot be reproduced unless information is reproduced from the signal x ′ in consideration of this interference.
  • the above-described interference can be obtained by expressing the color difference signal in the received light as a linear combination of a plurality of color difference signals with known amplitudes.
  • information is reproduced satisfactorily by correcting the color difference signal in the received light according to the coefficient in the linear combination.
  • the amplitude ratio of the signal x and the signal y on the transmission side 500 is 1: 1.
  • the amplitude in the section a ′ (peak value in the section a ′) of the signal x ′ received on the receiving side 510 is 0.35.
  • the amplitude in the section b ′ (peak value in the section b ′) of the signal x ′ received on the receiving side 510 is 0.13.
  • the amplitude in the section a ′ (the peak value in the section a ′) of the signal y ′ received by the receiving side 510 is 0.44. Further, it is assumed that the amplitude in the section b ′ (peak value in the section b ′) of the signal y ′ received on the receiving side 510 is 0.16. Similarly, since the phase of the signal y ′ may be reversed due to light absorption in the object, attention is first paid to the amplitude.
  • the signal x ′ has a contribution from the signal x and a contribution from the signal y.
  • it represents the contribution from signal x H 11, representing the contribution from the signal y and H 12.
  • the amplitude in the section a ′ is larger. Since information is represented by two phases on the transmission side 500, in consideration of the combination of these phases, the signal x ′ in the section a ′ is a signal obtained by strengthening the signal x and the signal y, and in the section b ′. It can be said that the signal x ′ is a signal due to the weakening of the signal x and the signal y.
  • the signal x ′ in the section a ′ is a signal obtained by summing H 11 and H 12
  • the signal x ′ in the section b ′ is H 11 and H 12
  • equation (7) is obtained. Since the amplitude (peak value) is used, the difference between H 11 and H 12 is an absolute value. H 11 + H 12 :
  • 0.35: 0.13 (7)
  • the signal y ′ is examined. Similar to the signal x ′, the signal y ′ has a contribution from the signal x and a contribution from the signal y.
  • the contribution from the signal x is represented as H 21, and the contribution from the signal y is represented as H 22 .
  • H 21 and H 22 Since both the signal x and the signal y have wave characteristics, the superposition of H 21 and H 22 is considered. If the signal x and the signal y are in phase, the signal x and the signal y are in a mutually reinforcing relationship, so that H 21 and H 22 are connected by a sum. On the other hand, if the signal x and the signal y are reverse phase, since the signal x and the signal y are in a relationship weaken each other, H 21 and H 22 is a relation tied by the difference.
  • the amplitude in the section a ′ is larger. Since information is represented by two phases on the transmission side 500, in consideration of the combination of these phases, the signal y ′ in the section a ′ is a signal obtained by strengthening the signal x and the signal y, and in the section b ′. It can be said that the signal y ′ is a signal due to the weakening of the signal x and the signal y.
  • the signal y ′ in the section a ′ is a signal obtained by summing H 21 and H 22
  • the signal y ′ in the section b ′ is H 21 and H 22
  • equation (8) is obtained. Since the amplitude (peak value) is used, the difference between H 21 and H 22 is an absolute value. H 21 + H 22 :
  • 0.44: 0.16 (8)
  • the signal x ′ and the signal y ′ can be expressed as a linear combination of the signal x and the signal y as shown in Expression (9).
  • a matrix having H 11 , H 12 , H 21 , and H 22 as components is referred to as an interference matrix.
  • equation (10) represents the signal x and signal y as a linear combination of signal x ′ and signal y ′.
  • Equation (10) makes it possible to estimate the amplitude of each of the signal x ′ and the signal y ′ acquired on the reception side 510.
  • the amplitude 0.35 of the signal x ′ and the amplitude 0.44 of the signal y ′ in the section a ′ on the receiving side 510 are substituted into x ′ and y ′ in Expression (10).
  • the amplitudes of the signal x and the signal y in the section a on the transmission side are both 1, and the assumed amplitude ratio matches the phase modulation setting of 1: 1.
  • the amplitude 0.13 of the signal x ′ and the amplitude 0.16 of the signal y ′ in the section b ′ on the receiving side 510 are substituted into x ′ and y ′ in Expression (10).
  • the amplitude of the signal x in the section b on the transmission side is 0.37.
  • the amplitude of the signal y in the section b on the transmission side is 0.35. That is, the assumed amplitude ratio is contrary to the phase modulation setting of 1: 1.
  • H 11 , H 12 obtained by solving the equations (7) and (8) based on whether or not the assumed amplitude ratio matches the setting of the phase modulation of 1: 1. A combination of the values of H 21 and H 22 is verified.
  • the case of Expression (11) and Expression (12) is an interference matrix that matches the assumed phase modulation setting with the amplitude ratio of 1: 1. It becomes.
  • the signal x ′ and the signal y ′ are decoded for the two cases of Expression (11) and Expression (12).
  • error detection is performed based on an error correction code added in addition to specific information transmitted in the transmission signal.
  • Equation (11) or Equation (12) is selected.
  • the contribution from the signal y in the signal x ′ is in phase with the signal y
  • the contribution from the signal x in the signal y ′ is also in phase with the signal x.
  • the contribution from the signal y in the signal x ′ may be out of phase with the signal y, or the contribution from the signal x in the signal y ′ may be out of phase with the signal x. That is, H 12 and H 21 may be negative coefficients.
  • the following equations (7) ′ and (8) ′, in which the magnitude relations in the equations (7) and (8) are exchanged, are solved by combining the equations (7) and (8) and interference. What is necessary is just to estimate the pattern of a matrix.
  • Light may be emitted by modulating the amplitude of the signal x and the signal y.
  • the symmetry of color space conversion is caused by light absorption caused by the spectral reflectance of the object. Even if the image has collapsed, the information superimposed on the light can be improved by correcting the signal (for example, color difference signal) in the received light based on the linear combination of a plurality of signals having a known amplitude (for example, color difference signal on the transmission side). Can be played.
  • the signal for example, color difference signal
  • FIG. 6 shows functional blocks of the first embodiment.
  • a program loaded into the RAM of the playback device 150 used as a working memory is executed by the CPU of the playback device 150.
  • the generation unit 600, the correction unit 610, the decoding unit 620, and the acquisition unit 630 function.
  • These functional units are functional blocks for realizing the first embodiment described with reference to FIG. Processing executed by these functional units will be described later with reference to FIG. 7, and a hardware configuration for realizing these functional units will be described later with reference to FIG.
  • FIG. 7 shows processing in the first embodiment.
  • the process shown in FIG. 7 is a process executed by the reproduction apparatus 150 shown in FIG. 1, and realizes the first embodiment described with reference to FIG. This is a process for reproducing the specific information well.
  • the process illustrated in FIG. 7 is started by process 700.
  • the generation unit 600 executes a process 702 for generating a reception signal for each color component from the received light.
  • the intensity of each of the RGB components of the light received by the reproduction apparatus 150 is sampled in time series, and the sampled intensity is normalized to, for example, a gradation of 0 to 255.
  • the illumination device 110 is a signal on which information is superimposed, for example, the U component of the YUV component And a V-component color difference signal are generated as the received signal.
  • the correction unit 610 executes processing 704 for acquiring candidate interference matrix components based on the amplitude ratio of the large and small sections of the generated received signal and the known amplitude ratio. In the process 704, as described above with reference to FIG. 5, candidate components of the interference matrix are acquired.
  • the peak value in one modulation period is set as the amplitude.
  • peak values are acquired for other modulation periods, and each peak value for each modulation period is compared with each other to determine an amplitude ratio between a section with a large amplitude and a section with a small amplitude.
  • the amplitude ratio between the section with the large amplitude and the section with the small amplitude is determined.
  • a relational expression corresponding to the above-described equations (7) and (8) is established according to each of the determined amplitude ratios and the acquired peak values. Then, by solving the relational expression, one or more combination candidates of combinations composed of candidates for the values of H 11 , H 12 , H 21 , and H 22 that are components of the interference matrix are acquired.
  • the correction unit 610 executes a process 706 of selecting an unselected set for the interference matrix component candidates.
  • process 706 an unselected combination is selected from one or more combination candidates of combinations of H 11 , H 12 , H 21 , and H 22 values acquired in process 704.
  • the correction unit 610 executes processing 708 for correcting the reception signal of each color component based on the inverse matrix of the interference matrix based on the candidate components included in the selected set.
  • processing 708 the inverse matrix of the interference matrix consisting of the candidate values of H 11 , H 12 , H 21 , and H 22 selected by process 706 is calculated. Then, in order to estimate the color difference signal when information is superimposed on the transmission side, each of the U component and V component color difference signals in the received light is corrected based on the inverse matrix.
  • the U-component and V-component color difference signals on the transmission side are converted into the U-component and V-component in the received light based on the inverse matrix, as in the equation (10) described above with reference to FIG. Expressed as a linear combination with each of the component color difference signals. Then, correction is performed by applying an inverse matrix to the U-component and V-component color difference signals in the received light, and each of the U-component and V-component color difference signals on the transmission side is estimated.
  • the correction unit 610 executes a process 710 for determining whether or not the amplitude of the corrected received signal corresponds to a known amplitude. In process 710, it is determined whether or not the amplitude of the received signal corrected in process 708 corresponds to the known amplitude ratio referred to in process 704.
  • this processing 710 will be described. If the candidates for the values of H 11 , H 12 , H 21 , and H 22 selected in the processing 706 are reasonable and the U-component and V-component color difference signals in the received light are well corrected, this correction is performed. Thus, the U-component and V-component color difference signals on the transmission side should be reproduced. In addition, in view of the fact that the U-component and V-component color difference signals on the transmission side are modulated in accordance with the known amplitude ratio, it is determined whether or not the amplitude of the corrected received signal matches the known amplitude.
  • the correction unit 610 executes a process 718 for determining whether all combinations of candidate components have been selected. The If it is determined that all combinations of component candidates have not been selected, the process proceeds to process 706, and if it is determined that all combinations of candidate components have been selected, the process proceeds to process 720 and illustrated in FIG. Finish the process.
  • the decoding unit 620 executes a processing 712 for decoding the corrected reception signal.
  • the color difference signal corrected in process 708 is decoded in accordance with a modulation scheme used when information is superimposed on light.
  • the decryption unit 620 executes a process 714 for determining whether or not the decryption is successful.
  • process 714 error detection is performed on the color difference signal decoded in process 712 based on an error correction code or the like embedded in a specific location of the signal, and it is determined whether or not the decoding is successful according to the result of this error detection. To do.
  • step 714 If it is not determined in step 714 that the decoding has succeeded, the process proceeds to step 718.
  • the acquisition unit 630 executes a process 716 for acquiring specific information based on the decoded signal. If the decoding succeeds in the process 714, it can be said that the interference matrix component candidate selected in the process 706 is a valid component. Therefore, the information acquired by decoding the color difference signal corrected by the interference matrix by this selection is acquired as specific information superimposed on light on the transmission side.
  • the acquired specific information is information for specifying other information to be acquired by the playback device 150 as described above with reference to FIG.
  • the server device 170 holding the other information The acquisition unit 630 may execute a process of accessing the specific information 125 by specifying an ID, a URL, or the like corresponding to the specific information 125 and acquiring the other information as a response from the server device 170 for the access. Furthermore, a fee may be charged when other information is acquired from the server device 170.
  • the chrominance signal in the received light is expressed as a linear combination of a plurality of chrominance signals with known amplitudes, and the chrominance signal in the received light is corrected based on the components of the interference matrix when expressed in this linear combination.
  • FIG. 8 shows a second embodiment.
  • the outline of the second embodiment will be described with reference to FIG.
  • FIG. 8A shows an example of a preamble embedded in a signal. Although the invention is not limited to this, a preamble as exemplified here may be embedded in signals in other embodiments.
  • FIG. 8B shows a transmission side 800 and a reception side 810.
  • the transmission side 800 is the illumination device 110, for example.
  • the receiving side 810 is, for example, the playback device 150.
  • a specific pattern to be recognized as a preamble is superimposed on a signal of a certain color component in addition to specific information to be superimposed on light.
  • the specific pattern is a known pattern and has a time characteristic different from the modulation time characteristic applied when specific information is superimposed.
  • the transmission signal from the transmission side 800 and the reception signal at the reception side 810 have at least a preamble portion based on a specific pattern and a data portion based on specific information. Since the specific pattern is a known pattern, it can be said that a predetermined reference signal is inserted in the transmission signal and the reception signal.
  • the receiving side 810 generates a color difference signal from the received light, and then calculates a cross-correlation function between the signal in each section and a specific pattern while sliding the signal section to be calculated for the color difference signal in the time direction. . Then, as a result of this calculation, the signal section in which the cross-correlation function with the specific pattern is maximized is specified as the preamble portion.
  • the signal x of the color component 1 and the signal y of the color component 2 are modulated on the transmission side 800 based on specific information, so that the light emitted from the transmission side 800 is identified. Is superimposed.
  • a preamble portion having a specific pattern for recognizing the signal as a preamble is provided prior to the data portion.
  • the color component 1 is, for example, a U component in the YUV color space.
  • the color component 1 signal x is a U component color difference signal.
  • the color component 2 is, for example, a V component in the YUV color space, and the signal y of the color component 2 is a V component color difference signal.
  • a color space component that expresses a color by luminance and a color component, such as a color component of the HLS color space may be applied to the color component 1 and the color component 2.
  • FIG. 8 is an example in which phase modulation is adopted as the modulation method, but the invention is not limited to this.
  • Various modulation schemes exemplified along FIG. 2 are applicable.
  • the amplitude ratio of the signal x and the signal y is 1: 1 will be described as an example.
  • the invention is not limited to this, and the amplitude ratio of the signal x and the signal y may be 1: n (n is an integer).
  • the signal on which information is superimposed may be either the signal x or the signal y.
  • the color component 1 on the receiving side 810 is, for example, a U component in the YUV color space.
  • the color component 1 signal x ′ is a U component color difference signal.
  • the color component 2 is, for example, a V component in the YUV color space, and the signal y ′ of the color component 2 is a color difference signal of the V component.
  • the signal x ′ and the signal y ′ have a preamble part and a data part as illustrated in FIG.
  • the signal x ′ and the signal y ′ are emitted as light by converting the signal x and the signal y in the YUV color space into RGB signals, for example. Is reflected by an object having a spectral reflectance of R′G′B ′, which has a different color component from the RGB signal before reflection, and the R′G′B ′ signal received on the receiving side is converted. This is based on the Y′U′V ′ signal having a different configuration from the original YUV signal.
  • the weighting matrix W represented by the equation (13) is estimated, and the signal x and the signal y are respectively converted to the signal x ′ and the signal y via the weighting matrix W as represented by the equation (14). It can be expressed as a linear combination of ′. Then, the signal x ′ and the signal y ′ are corrected using the inverse matrix of the weight matrix W.
  • each color component in the YUV color space is regarded as a plurality of channels in MIMO (Multiple-Input and Multiple-Output) communication, and for example, a MMSE (Minimum Mean Square Error) algorithm may be used.
  • BLAST Basic Local Alignment Search Tool
  • MLD Maximum Likelihood Detection
  • SD Serial Method
  • QRM-MLD ComplexityReduce
  • FIG. 9 shows functional blocks of the second embodiment.
  • a program loaded into the RAM of the playback device 150 used as a working memory is executed by the CPU of the playback device 150.
  • the generation unit 900, the detection unit 910, the acquisition unit 920, and the correction unit 930 function.
  • These functional units are functional blocks for realizing the second embodiment described with reference to FIG. Processing executed by these functional units will be described later with reference to FIG. 10, and a hardware configuration for realizing these functional units will be described later with reference to FIG.
  • FIG. 10 shows the processing of the second embodiment.
  • the process shown in FIG. 10 is a process executed by the reproduction apparatus 150 shown in FIG. 1, and the received light received by the reproduction apparatus 150 by realizing the second embodiment described with reference to FIG. 8. This is a process for reproducing the specific information well.
  • the process illustrated in FIG. 10 is started by process 1000.
  • the generation unit 900 executes a process 1002 for generating a reception signal of each color component from the received light.
  • the intensity of each of the RGB components of the light received by the reproduction apparatus 150 is sampled in time series, and the sampled intensity is normalized to, for example, a gradation of 0 to 255.
  • the illumination device 110 is a signal on which information is superimposed, for example, the U component of the YUV component And a V-component color difference signal are generated as the received signal.
  • Processing 1004 for detecting the preamble part in the generated received signal is executed by the detection part 910.
  • the cross-correlation function between the signal in each section and a specific pattern corresponding to the preamble is calculated while sliding the U-component and V-component color difference signals generated in process 1002 in the time direction. Then, as a result of this calculation, a signal interval in which the cross-correlation function with the specific pattern is maximized is detected as a preamble part.
  • a process 1006 for acquiring a weight matrix by comparing the detected preamble part with a specific pattern is executed by the acquisition part 920.
  • the preamble part of each of the U-component and V-component color difference signals detected by the process 1004 is regarded as a plurality of channels in the MIMO communication, and the above equation (13) is used by using, for example, the MMSE algorithm. Is obtained by estimating the weighting matrix W represented by
  • Processing 1008 for correcting the received signal by applying the acquired weight matrix to the received signal is executed by the correcting unit 930.
  • the above-described equation (14) is calculated using the weight matrix W acquired in process 1006, thereby correcting the U-component and V-component color difference signals on the reception side 810.
  • the U-component and V-component color difference signals when the transmission side 800 transmits are reproduced.
  • Processing 1010 for acquiring specific information based on the corrected received signal is executed by the acquisition unit 920.
  • the transmitting side 800 acquires specific information superimposed on the light.
  • the acquired specific information is information for specifying other information that the playback apparatus 150 wants to acquire as described above with reference to FIG.
  • the server device 170 holding the other information
  • the acquisition unit 920 may execute processing for accessing the specific information 125 by specifying an ID or URL corresponding to the specific information 125 and acquiring the other information as a response from the server device 170 for this access. Furthermore, a fee may be charged when other information is acquired from the server device 170.
  • processing 1012 ends the processing shown in FIG.
  • the symmetry of the color space conversion is not maintained due to the influence of the spectral reflectance of the object, and the first component in the transmission signal interferes with the second component in the reception signal.
  • FIG. 11 shows a third embodiment.
  • the reproduction device 150 determines the spectral reflectance of an object irradiated with light emitted from the illumination device 110 and uses the interference matrix corresponding to the estimated spectral reflectance so that the reproduction device 150 can detect the received light from the received light. In this embodiment, specific information can be reproduced well.
  • the interference matrix used in the third embodiment corresponds to various spectral reflectances prepared in advance on the assumption that various objects are irradiated with light emitted from the illumination device 110.
  • An interference matrix corresponding to the estimated spectral reflectance may be selected from the plurality of interference matrices. And in this case, if there is no interference matrix associated with the spectral reflectance that matches the estimated spectral reflectance, the interference matrix associated with the spectral reflectance most similar to the estimated spectral reflectance You may choose. Even if the interference matrix is not prepared in advance, the interference matrix may be calculated based on the spectral reflectance when the spectral reflectance of the object is estimated.
  • the signal x of the color component 1 and the signal y of the color component 2 which are transmission signals are sine waves having an amplitude ratio of 1: 1, and the color component 1 is a U component in the YUV color space.
  • the color component 2 is exemplified as the V component in the YUV color space, it should be noted here that the invention is not limited to these examples as in the above-described embodiment.
  • the color component 1 signal x ′ is, for example, a U component color difference signal in the YUV color space
  • the color component 2 signal y ′ is, for example, a V component color difference signal in the YUV color space.
  • the signal x ′ and the signal y ′ are emitted as light by converting the signal x and the signal y in the YUV color space into RGB signals, for example.
  • the signal x and the signal y in the YUV color space By being reflected by an object having reflectivity, it becomes an R′G′B ′ signal having a different color component configuration from the RGB signal before reflection, and the R′G′B ′ signal received on the receiving side is converted. Is obtained based on the Y′U′V ′ signal having a different content from the original YUV signal.
  • the example described in the second embodiment described above may be applied to the signal x and the signal y, and the preamble part may be embedded on the transmission side.
  • the subsequent data portion may be detected by detecting the preamble portion embedded in the signal.
  • FIG. 11A light including a U component signal x having an amplitude of 1 as a transmission signal is reflected by an object, and as a result, is affected by the spectral reflectance of the object.
  • 11 indicates that it contributes to the U component signal x ′ that is the received signal
  • H 12 indicates that it contributes to the V component signal y ′ that is the received signal.
  • the spectral reflectance of the object is a specific reflection coefficient ⁇ , ⁇ , ⁇ (0 ⁇ ⁇ ⁇ ) with respect to the conversion coefficient when the RGB signal constituting the reflected light of the object is converted into a YUV signal on the receiving side. 1, 0 ⁇ ⁇ ⁇ 1, 0 ⁇ ⁇ ⁇ 1).
  • ⁇ R obtained by multiplying R by ⁇ is R ′ described above
  • ⁇ G obtained by multiplying G by ⁇ is G ′ described above
  • ⁇ B obtained by multiplying B by ⁇ is B ′ described above.
  • FIG. 11B as a result of reflection of light including a V component signal y having an amplitude of 1 as a transmission signal reflected on an object, the light is affected by the spectral reflectance of the object, and a part thereof. It is shown that H 21 contributes to the U component signal x ′ that is the received signal, and H 22 contributes to the V component signal y ′ that is the received signal.
  • the H 21 component that contributes to 0.10 is 0.10.
  • the H 11 component contributing from the signal y to the signal y ′ is 0.88.
  • the amplitude of the signal x'detecting the receiving side the sum of H 21 components of the signal x'shown in H 11 components and 11 of the signal x'(B) shown in Figure 11 (A).
  • the amplitude of the signal y'detecting the receiving side the sum of H 22 components of the signal y'shown in H 12 components and 11 of the signal y'(B) shown in Figure 11 (A).
  • phase of the signal x on the transmission side is It means that it is reversed on the receiving side.
  • phase information cannot be correctly reproduced if such phase inversion occurs.
  • an interference matrix assuming various spectral reflectances is prepared in advance.
  • the interference matrix prepared in advance is expressed by equation (18), and the relationship between the signal x and signal y and the signal x ′ and signal y ′ is expressed by equation (19). .
  • Equation (18) the sign of H 21 is negative because it reflects the fact that the phase is inverted as shown in FIG. 11B.
  • the interference matrix represented by the equation (18) or its inverse matrix is obtained for each of the assumed spectral reflectances, and each of the interference matrix or its inverse matrix is set at the time of obtaining them. It is stored in advance in a storage device in association with the reflectance.
  • a spectral distribution of light for superimposing specific information is determined in advance, and reflection coefficients ⁇ , ⁇ and ⁇ are estimated from the received light and the predetermined spectral distribution of light.
  • the interference matrix or the inverse matrix thereof is prepared in advance in association with the corresponding reflection coefficient, for example, the interference matrix associated with the estimated reflection coefficient or the inverse thereof is prepared. Select a matrix. Then, the signal x ′ and the signal y ′ generated from the received light are corrected based on the inverse matrix obtained from the selected interference matrix or the selected inverse matrix, thereby estimating the signal x and the signal y on the transmission side. Then, the specific information superimposed is reproduced and acquired.
  • the interference matrix may be expressed by Equation (20). .
  • an interference matrix according to Equation (20) or its inverse matrix may be prepared in advance in association with the reflection coefficient.
  • FIG. 12 shows functional blocks of the third embodiment.
  • the playback device 150 shown in FIG. 1 uses, for example, a program loaded into the RAM of the playback device 150 used as a working memory by the CPU of the playback device 150.
  • the generation unit 1200, the estimation unit 1210, the selection unit 1220, the correction unit 1230, and the acquisition unit 1240 function.
  • These functional units are functional blocks for realizing the third embodiment described with reference to FIG. Processing executed by these function units will be described later with reference to FIGS. 13 and 14, and a hardware configuration for realizing these function units will be described later with reference to FIG.
  • FIG. 13 shows an example of processing according to the third embodiment.
  • the process shown in FIG. 13 is a process executed by the reproduction device 150 shown in FIG. 1, and the received light received by the reproduction device 150 by realizing the third embodiment described along FIG. 11. This is a process for reproducing the specific information well.
  • the process illustrated in FIG. 13 is started by process 1300.
  • Processing 1302 for generating a reception signal of each color component from the received light is executed by the generation unit 1200.
  • the intensity of each of the RGB components of the light received by the reproduction apparatus 150 is sampled in time series, and the sampled intensity is normalized to, for example, a gradation of 0 to 255.
  • the illumination device 110 is a signal on which information is superimposed, for example, the U component of the YUV component And a V-component color difference signal are generated as the received signal.
  • a process 1304 for estimating the spectral reflectance of the object is executed by the estimation unit 1210.
  • the conversion formulas (15) to (17) are converted from the known spectral distribution (for example, transmission light or white light having a predetermined spectral distribution) and the received light.
  • the spectral reflectance of the object is estimated by obtaining the reflection coefficients ⁇ , ⁇ , and ⁇ .
  • the values normalized to the gradation of 0 to 255 for each component in the RGB color space representing the spectral distribution of the light Is RGB (255, 255, 255).
  • the normalized value of each component of the RGB color space in the received light is compared with the spectral distribution of the light, thereby reflecting the reflection coefficient. Can be requested.
  • the spectral distribution of the light can be determined by using, for example, a spectrometer.
  • a spectrometer in order to consider an error caused by the difference between the characteristics of the spectrometer and the characteristics of the light receiving element that receives the received light, for example, RGB when the light that is to be irradiated on the object is directly received by the light receiving element.
  • the error may be corrected by measuring the value of each component in the color space.
  • the influence of variations in characteristics of the light receiving element is small and the deviation between the assumed spectroscopic measurement and the spectral distribution upon actual light reception is negligible, these may be treated as matching.
  • the selection unit 1220 executes a process 1306 for selecting an interference matrix corresponding to the estimated spectral reflectance from a plurality of interference matrices prepared in advance.
  • the plurality of interference matrices prepared in advance are a plurality of interference matrices obtained by assuming various spectral reflectances according to the method described with reference to FIG. In association with the spectral reflectance (reflection coefficient) to be stored in advance in the storage device.
  • an interference matrix corresponding to the spectral reflectance (reflection coefficient) estimated in process 1304 is selected from a plurality of interference matrices prepared in advance.
  • an interference matrix corresponding to the spectral reflectance (reflection coefficient) estimated in the processing 1304 is not found, it is associated with the spectral reflectance most similar to the estimated spectral reflectance.
  • An interference matrix may be selected, or specific information may be reproduced by applying the first embodiment.
  • ( ⁇ ′, ⁇ ′, ⁇ ′) is a value normalized so that ⁇ is 1 in the reflection coefficients ( ⁇ , ⁇ , ⁇ ) estimated by the processing 1304, and the light or object irradiated on the object (R ′, g ′, b ′) are values obtained by normalizing the spectral reflectance of the light to be irradiated onto the component so that r becomes 1 in the values (r, g, b) of the respective components in the RGB color space.
  • the similarity ⁇ is expressed by equation (21).
  • Equation (21) since the reciprocal of the distance between two spectral reflectances to be compared is considered as the similarity ⁇ , the spectral reflectance is more similar as ⁇ is larger (that is, the distance is shorter). Become.
  • the invention is not limited to this method, and other methods for evaluating the similarity ⁇ between ( ⁇ , ⁇ , ⁇ ) and (r, g, b) may be used.
  • the correction unit 1230 executes processing 1308 for correcting the selected interference matrix based on a predetermined amplitude ratio.
  • the plurality of interference matrices prepared in advance that are handled in the processing shown in FIG. 13 are not the formula (20), but the setting of each spectral reflectance when the amplitude ratio of the color difference signal on the transmission side is 1: 1.
  • the interference matrix obtained according to is assumed. Therefore, when the specific information is actually reproduced from the received light, if the amplitude ratio of the color difference signal in the transmission light is not set to 1: 1, according to the amplitude ratio of the color difference signal in the transmission light, The interference matrix component selected by the process 1306 will be modified.
  • the interference matrix component selected in processing 1306 is corrected based on the amplitude ratio applied to the color difference signal in the actual transmission light and Expression (20).
  • Processing 1310 for correcting the received signal based on the corrected interference matrix is executed by the correction unit 1230.
  • each color difference signal in the received light is corrected based on the interference matrix component corrected in process 1308.
  • each color difference signal in the transmitted light can be estimated.
  • Processing 1312 for acquiring specific information based on the corrected received signal is executed by the acquisition unit 1240.
  • the specific information superimposed on the transmission light is reproduced and acquired by decoding each color difference signal corrected in the process 1310.
  • the acquired specific information is information for specifying other information to be acquired by the playback device 150 as described above with reference to FIG.
  • the server device 170 holding the other information The acquisition unit 1240 may execute a process of accessing the specific information 125 by specifying an ID, a URL, or the like corresponding to the specific information 125 and acquiring the other information as a response from the server device 170 for the access. Furthermore, a fee may be charged when other information is acquired from the server device 170.
  • an interference matrix is not prepared in advance or when an interference matrix corresponding to the spectral reflectance (reflection coefficient) estimated by the processing 1304 is not prepared, although a plurality of interference matrices are prepared in advance, FIG.
  • an interference matrix may be calculated based on the spectral reflectance, and the received signal may be corrected according to the calculated interference matrix.
  • FIG. 14 shows another example of the process according to the third embodiment.
  • the process shown in FIG. 14 is a process executed by the reproduction apparatus 150 shown in FIG. 1, and the received light received by the reproduction apparatus 150 by realizing the third embodiment described along FIG. 11. This is another process for reproducing specific information from the above.
  • the difference between the processing shown in FIG. 14 and the processing shown in FIG. 13 is that the processing shown in FIG. 13 has a transmission side color difference signal amplitude ratio of 1: 1 as a plurality of interference matrices prepared in advance.
  • the processing shown in FIG. 14 shows n candidates when the amplitude ratio of the color difference signal on the transmission side is 1: n. It is assumed that an interference matrix obtained in accordance with the setting of each spectral reflectance is assumed.
  • the processing 1308 includes processing for correcting the components of the interference matrix based on the actual amplitude ratio, interference in the case where the amplitude ratio of the color difference signal on the transmission side is 1: 1.
  • the interference matrix prepared in advance is an n candidate when the amplitude ratio of the color difference signal on the transmission side is 1: n. As many as are prepared, the process of correcting the interference matrix is omitted.
  • the generation unit 1200 executes a process 1402 for generating a reception signal of each color component from the received light.
  • the intensity of each of the RGB components of the light received by the reproduction apparatus 150 is sampled in time series, and the sampled intensity is normalized to, for example, a gradation of 0 to 255.
  • the illumination device 110 is a signal on which information is superimposed, for example, the U component of the YUV component And a V-component color difference signal are generated as the received signal.
  • Processing 1404 for estimating the spectral reflectance of the object is executed by the estimation unit 1210.
  • the processing 1404 as described above with reference to FIG. 11, from the known spectral distribution (for example, transmission light or white light having a predetermined spectral distribution) and the spectral distribution of the received light, the conversion formulas (15) to (15) By obtaining the reflection coefficients ⁇ , ⁇ , and ⁇ in (17), the spectral reflectance of the object is estimated.
  • the selection unit 1220 executes a process 1406 for selecting an interference matrix corresponding to the estimated spectral reflectance and a predetermined amplitude ratio among a plurality of interference matrices prepared in advance.
  • process 1406 an interference matrix corresponding to the spectral reflectance (reflection coefficient) estimated in process 1404 and a predetermined amplitude ratio of the transmission signal is selected from a plurality of interference matrices prepared in advance.
  • the specific information may be reproduced by applying the first embodiment.
  • Processing 1408 for correcting the received signal based on the selected interference matrix is executed by the correction unit 1230.
  • each color difference signal in the received light is corrected based on the interference matrix component selected in process 1406. By this correction, each color difference signal in the transmitted light can be estimated.
  • Processing 1410 for acquiring specific information based on the corrected received signal is executed by the acquisition unit 1240.
  • the specific information superimposed on the transmission light is reproduced and acquired by decoding each color difference signal corrected in process 1408.
  • an interference matrix assuming various spectral reflectances is prepared in advance on the assumption that various objects are irradiated with light on which specific information is superimposed.
  • the specific information can be reproduced well from the received light.
  • FIG. 15 shows a fourth embodiment.
  • the outline of the fourth embodiment will be described with reference to FIG.
  • the fourth embodiment is an embodiment for estimating the spectral reflectance of an object from received light including light reflected by the object when the object is irradiated with light in visible light communication.
  • the spectral distribution of the transmission light is determined in advance, and the reflection coefficient ⁇ in the equations (15) to (17) is compared by comparing the reception light with the transmission light according to the predetermined spectral distribution. , ⁇ , and ⁇ are estimated, and the reciprocal of the reflection coefficient is applied to the RGB value of the received light to prevent interference due to asymmetry in color space conversion.
  • the number of reflection systems may be estimated in the same manner as the method described in the description of the third embodiment, for example.
  • the inverse ratio of each coefficient may be multiplied.
  • the intensity of the received light changes with time, so that the value of the received light and the spectral distribution are known at each sampling point when the received light is sampled.
  • the reflection coefficients ⁇ , ⁇ , and ⁇ obtained by comparing with light are used, there is a possibility that specific information superimposed on the transmitted light may be lost when correcting the received light.
  • the reflection coefficients ⁇ , ⁇ , and ⁇ are set to the average value and spectral distribution of n (0 ⁇ n) periods in the received light. Determined by comparison with transmitted light.
  • the spectral distribution is estimated with high accuracy by performing the averaging process in synchronization with this signal. It becomes possible to do.
  • the spectral reflectance (reflection coefficient) is estimated by the same method, and the interference matrix described in the third embodiment is prepared in advance using the estimated spectral reflectance (reflection coefficient), or on the spot. Applications such as calculation are possible.
  • the reception signal is corrected using the interference matrix after generating the reception signal in the YUV space, but the reception signal generated using the reciprocal of the estimated reflection coefficient instead of using the interference matrix. May be corrected.
  • 1 / ⁇ , 1 / ⁇ , and 1 / ⁇ are respectively applied to the R term, the G term, and the B term in the equations (15) to (17).
  • the expressions are the same as (22) to (24).
  • the invention is not limited to this.
  • the spectral reflectance and the correction value are estimated using the first sampling point at which the signal is received, and the correction value similar to the correction value estimated from the first sampling point at the subsequent sampling point. If the received light is converted using, the watermark signal will not disappear.
  • FIG. 16 shows functional blocks of the fourth embodiment.
  • a program loaded into the RAM of the playback device 150 used as a working memory is executed by the CPU of the playback device 150.
  • it functions as an estimation unit 1600, a correction unit 1610, a generation unit 1620, and an acquisition unit 1630.
  • These functional units are functional blocks for realizing the fourth embodiment described with reference to FIG. Processing executed by these functional units will be described later with reference to FIG. 17, and a hardware configuration for realizing these functional units will be described later with reference to FIG.
  • FIG. 17 shows the processing of the fourth embodiment.
  • the process shown in FIG. 17 is a process executed by the playback device 150 shown in FIG. 1, and realizes the fourth embodiment described along FIG. This is a process for estimating the spectral reflectance of the object from the received light including the reflected light from the object when irradiated.
  • the process illustrated in FIG. 17 is started by process 1700.
  • Processing 1702 for averaging received light over a period of n cycles is executed by the estimation unit 1600.
  • n cycles For the received light received by the reproducing apparatus 150, for example, for the received light in which information is embedded in the color difference signals of the U component and V component in the YUV color space, n cycles The average of the received values at each sampling point in the time of is calculated.
  • the processing 1704 for estimating the reflection coefficient by comparing the averaged spectral distribution of the received light and the transmitted light is executed by the estimation unit 1600.
  • the received light averaged in the processing 1702 is compared with the transmission light having a known spectral distribution, thereby converting the RGB color space to the YUV color space.
  • the reflection coefficients ⁇ , ⁇ and ⁇ for correcting the conversion coefficient in the conversion formula are estimated.
  • Processing 1706 for correcting the received light based on the estimated reflection coefficient is executed by the correction unit 1610.
  • the values of the components in the RGB color space of the received light are corrected using the reciprocals of the reflection coefficients ⁇ , ⁇ , and ⁇ estimated in process 1704.
  • processing 1708 for generating a signal in the YUV color space from the corrected received light is performed by the generation unit 1620.
  • the acquisition unit 1630 executes processing 1710 for acquiring specific information based on the generated signal.
  • the acquired specific information is information for specifying other information to be acquired by the playback device 150 as described above with reference to FIG.
  • the server device 170 holding the other information The acquisition unit 1640 may execute a process of accessing the specific information 125 by specifying an ID, a URL, or the like corresponding to the specific information 125 and acquiring the other information as a response from the server device 170 for this access. Furthermore, a fee may be charged when other information is acquired from the server device 170.
  • processing 1712 ends the processing shown in FIG.
  • the fourth embodiment described above in the visible light communication, it is possible to estimate the reflection coefficient for correcting the conversion coefficient in the conversion formula from the RGB color space to the YUV color space. Note that the method of the fourth embodiment may be applied to the processing 1304 and the processing 1404 of the third embodiment.
  • the example which averages received light in the time for n period was shown in FIG. 17, invention is not limited to this.
  • the spectral reflectance and the correction value are estimated using the first sampling point at which the signal is received, and the correction value similar to the correction value estimated from the first sampling point at the subsequent sampling point. May be used to convert the received light.
  • FIG. 18 shows a fifth embodiment.
  • the outline of the fifth embodiment will be described with reference to FIG.
  • the illumination device 110 specific information is embedded in light having a known spectral distribution (for example, white). Then, as shown in FIG. 18, the specific object 130 is irradiated with the light emitted from the illumination device 110.
  • the reproducing apparatus 150 that receives light including light reflected by the object 130 captures the object 130 with a camera based on the received light, the image 1800 including the object is divided into a plurality of regions.
  • the reception light and the transmission light for each of the plurality of regions are compared, and the reception light having a spectral distribution closer to the spectral distribution of the transmission light is obtained.
  • the obtained area is selected with priority, and the received light is analyzed. Further, the received light is analyzed by giving a higher weight to the region where the received light having a spectral distribution closer to the spectral distribution of the transmitted light is obtained.
  • the specific information can be reproduced using received light that is less influenced by the spectral reflectance of the object, the accuracy of the reproduced information is improved.
  • the accuracy of the reproduced information is improved.
  • FIG. 19 shows functional blocks of the fifth embodiment.
  • the playback device 150 shown in FIG. 1 uses, for example, a program loaded into the RAM of the playback device 150 used as a working memory by the CPU of the playback device 150. Thus, it functions as the acquisition unit 1900 and the analysis unit 1910.
  • These functional units are functional blocks for realizing the fifth embodiment described with reference to FIG. Processing executed by these functional units will be described later with reference to FIGS. 20 and 21, and a hardware configuration for realizing these functional units will be described later with reference to FIG. 21.
  • FIG. 20 shows the processing of the fifth embodiment.
  • the process shown in FIG. 20 is a process executed by the playback device 150 shown in FIG. 1, and realizes the fifth embodiment described along FIG. 18, and is affected by the spectral reflectance of the object. This is a process for reproducing the specific information so as to be less.
  • the process illustrated in FIG. 20 is started by process 2000.
  • Processing 2002 for acquiring an image based on received light is executed by the acquisition unit 1900.
  • received light is received by an imaging unit (camera) included in the playback device 150, and an image captured by the received light is acquired.
  • an imaging unit camera
  • Processing 2004 for dividing the acquired image into a plurality of areas is executed by the analysis unit 1910.
  • the image acquired by the process 2002 is divided into a plurality of areas as described above with reference to FIG.
  • Processing 2006 for evaluating the received light for each region based on the known spectral distribution in the transmitted light is executed by the analysis unit 1910.
  • each received light received in the area is compared with a known spectral distribution in the transmitted light, thereby obtaining each spectral distribution of the received light in each area.
  • the degree of similarity between the known spectral distributions In obtaining the spectral distribution for each region, for example, it is conceivable to use an average pixel value in the region.
  • an example of a similarity evaluation method is shown.
  • ( ⁇ ′, ⁇ ′, ⁇ ′) is a value normalized so that ⁇ is 1 in the estimated reflection coefficients ( ⁇ , ⁇ , ⁇ ), and the light or the object is irradiated.
  • (R ′, g ′, b ′) is a value obtained by normalizing the spectral distribution of light to be measured so that r is 1 in the values (r, g, b) of the respective components in the RGB color space.
  • the degree of similarity ⁇ is expressed by equation (25).
  • the invention is not limited to this method, and other methods for evaluating the similarity ⁇ between ( ⁇ , ⁇ , ⁇ ) and (r, g, b) may be used.
  • Processing 2008 for analyzing the received light according to the evaluation result is executed by the analysis unit 1910.
  • the town area is weighted according to the similarity for each area evaluated in the process 2006. For example, a region where the similarity is larger than a threshold value is given a large weight for preferential consideration. On the other hand, a small weight is given to a region where the similarity is smaller than the threshold value. Note that if the weight for a region with a low similarity is set to 0, only a region with a high similarity can be selected.
  • Processing 2010 for analyzing the received light based on the weighting is executed by the analysis unit 1910.
  • an interference matrix is obtained in the same manner as in each of the above-described embodiments in accordance with the received light in the plurality of areas weighted in processing 2008, and the received light is analyzed by correcting the received light using the interference matrix. Specific information is reproduced and acquired from the received light.
  • the acquired specific information is information for specifying other information to be acquired by the playback device 150 as described above with reference to FIG.
  • the server device 170 holding the other information The analysis unit 1910 may execute a process of accessing the specific information 125 by specifying an ID, a URL, or the like corresponding to the specific information 125 and acquiring the other information as a response from the server device 170 for this access. Furthermore, a fee may be charged when other information is acquired from the server device 170.
  • Processing 2012 ends the processing shown in FIG.
  • the specific information can be reproduced so as to be less affected by the spectral reflectance of the object, so that the probability of the reproduced information is improved.
  • FIG. 21 shows a hardware configuration of the reproduction apparatus and the illumination apparatus of the example.
  • the playback device 150 and the illumination device 110 shown in FIG. 1 have the configuration of a general computer 2100 shown in FIG.
  • the reproducing device 150 and the lighting device 110 will be described together with reference to FIG.
  • the reproduction apparatus 150 and the illumination apparatus 110 will be described using the same reference numerals (for example, the CPU 2102) even if they are separate. Further, as will be described later, it should be noted here that even a configuration included in only one of the playback device 150 and the lighting device 110 is collectively shown in FIG.
  • the computer 2100 includes a Central Processing Unit (CPU) 2102, a Read Only Memory (ROM) 2104, and a Random Access Memory (RAM) 2106.
  • the computer 2100 further includes a hard disk device 2108, an input device 2110, an output device 2112, an interface device 2114, and a recording medium drive device 2116.
  • the playback device 150 may include an imaging device 2122, and may include a projection device (projector) 2124.
  • the lighting device 110 includes the light emitting device 2126 having a plurality of light emitting elements (LEDs) that emit light in visible light communication in which information is superimposed on light as described above.
  • LEDs light emitting elements
  • the CPU 2102 is an arithmetic processing unit that controls the overall operation of the computer 2100, and functions as a control processing unit of the computer 2100.
  • the ROM 2104 is a read-only semiconductor memory in which a predetermined basic control program is recorded in advance.
  • the CPU 2102 reads out and executes this basic control program when the computer 2100 is activated, thereby enabling operation control of each component of the computer 2100.
  • the RAM 2106 is a semiconductor memory that can be written and read at any time and used as a working storage area as necessary when the CPU 2102 executes various control programs.
  • the playback apparatus 150 In the case of the playback apparatus 150, a program for executing the processing shown in FIGS. 7, 10, 13, 14, 17, and 20 is read into the RAM 2106, and the CPU 2102 executes the program. Thus, the playback device 150 realizes the functions shown in FIGS. 6, 9, 12, 16, and 19 according to each process.
  • the hard disk device 2108 is a storage device that stores various control programs executed by the CPU 2102 and various data.
  • the CPU 2102 reads out and executes a predetermined control program stored in the hard disk device 2108, thereby enabling various control processes to be described later.
  • the input device 2110 is, for example, a mouse device or a keyboard device. When operated by a user of the computer 2100, the input device 2110 acquires input of various information associated with the operation content, and sends the acquired input information to the CPU 2102. .
  • the output device 2112 is, for example, a liquid crystal display, and displays various texts and images according to display data sent from the CPU 2102.
  • the interface device 2114 manages the exchange of various information with various devices connected to the computer 2100.
  • the interface device 2114 is, for example, a NIC (Network Interface Card).
  • the recording medium driving device 2116 is a device that reads various control programs and data recorded on the portable recording medium 2118.
  • the CPU 2102 can read out and execute a predetermined control program recorded on the portable recording medium 2118 via the recording medium driving device 2116 to perform various control processes described later.
  • the portable recording medium 2118 for example, a flash memory equipped with a USB (Universal Serial Bus) standard connector, a CD-ROM (Compact Disc Only Only Memory), a DVD-ROM (Digital Versatile Disc Read Only Only). Etc.
  • the imaging device 2122 forms an image of the imaging range on an image sensor formed by a two-dimensional array of solid-state imaging devices having sensitivity to light emitted from the illumination device 110, such as a CCD or a CMOS, for example.
  • An imaging optical system When the imaging device 2122 receives an imaging instruction during a period in which the received light is received, the imaging device 2122 performs imaging at a predetermined imaging rate (for example, 30 frames / second), and generates an image every time imaging is performed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optical Communication System (AREA)
  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

 開示の再生装置は、少なくとも、特定の色空間において特定の振幅を有する複数の信号からなり、情報が重畳された前記複数の信号に基づいて発光された光を受光して、重畳された前記情報を再生する再生装置であって、受信光から前記特定の色空間における複数の信号を生成する生成部と、生成された前記複数の信号を、前記特定の振幅に基づいて補正する補正部と、補正された前記複数の信号に基づいて前記情報を取得する取得部とを有する。

Description

再生装置、再生方法、プログラム、及び、システム
 本願は、再生装置、再生方法、プログラム、及び、システムに関する。
 照明光源として発光ダイオード(Light Emitting Diode、 LED)が広く利用されている。LEDは、白熱電球または蛍光灯と比較して、応答速度が速いという特徴を有する。この特徴を利用して、人の目では認識できない速さでLEDを明滅させることでLEDから発する照明光に情報を重畳して通信を行う可視光通信技術が研究されている。そして、可視光通信は、電波の使用が制限されている場所での通信用途、室内等光が届く範囲に限定した情報配布、または、Intelligent Transport Systems(ITS)等で利用されることが検討されている(例えば、非特許文献1)。
 ところで、所定の領域を光らせて情報を送信する発光手段と、所定の領域を時系列的に撮像した画像から情報を復号する受光手段とを含む情報送信システムが提案されている。この情報伝送システムでは、所定の領域は情報に応じて少なくとも三値に多値化して色変調された光を発し、受光手段は、所定の領域の多値化された色変調情報に基づいて情報を復号する(例えば、特許文献1)。また、原色光を発する少なくとも二つの一次光源を含み、一次光源から発する光の色座標を埋め込むデータに応じて変調することで、光にデータを組み込む光モジュールが提案されている(例えば、特許文献2)。その他、可視光通信の特徴を利用した種々の提案がされている。
特開平03‐10483号公報 国際公開第2009/136312号 特開2011‐114634号公報 特開2010‐98574号公報 特開2011‐29871号公報
春山 真一郎、「可視光通信」、電子情報通信学会論文誌、Vol.J86‐A、No.12 pp.1284‐1291、2003年12月 富士通株式会社、「テレビ映像を携帯電話で撮影するだけで情報の取得を可能にする新しい通信技術を開発」、[online]、2012年6月4日、[2014年9月8日検索]、インターネット<URL:http://pr.fujitsu.com/jp/news/2012/06/4-1.html>
 情報が重畳された光から当該情報を再生する際に良好に再生できない場合がある。
 本願は、情報が重畳された光から当該情報を良好に再生できる再生装置を提供することを目的とする。
 開示の再生装置は、少なくとも、特定の色空間において特定の振幅を有する複数の信号からなり、情報が重畳された前記複数の信号に基づいて発光された光を受光して、重畳された前記情報を再生する再生装置であって、受信光から前記特定の色空間における複数の信号を生成する生成部と、生成された前記複数の信号を、前記特定の振幅に基づいて補正する補正部と、補正された前記複数の信号に基づいて前記情報を取得する取得部とを有する。
 開示の再生装置は、情報が重畳された光から当該情報を良好に再生できる。
実施形態の情報配信システム。 実施形態において特定の情報が重畳される光の例。 実施形態の再生装置における処理の例。 色空間の変換の例。 第1実施形態。 第1実施形態の機能ブロック。 第1実施形態における処理。 第2実施形態。 第2実施形態の機能ブロック。 第2実施形態の処理。 第3実施形態。 第3実施形態の機能ブロック。 第3実施形態の処理の例。 第3実施形態の処理の他の例。 第4実施形態。 第4実施形態の機能ブロック。 第4実施形態の処理。 第5実施形態。 第5実施形態の機能ブロック。 第5実施形態の処理。 実施例の再生装置及び照明装置のハードウェア構成。
 図1に、実施形態の情報配信システムが示される。図1に示される情報配信システム100は、照明装置110、物体130、再生装置150、サーバ装置170を含む。
 照明装置110は例えばRGBの各成分に対応する発光素子(例えばLED)を含む。この発光素子の発光量や位相が制御されることによって照明装置110から発光される照明光115(実線)には、特定の情報125が透かし信号として重畳されている。
 照明光115の少なくとも一部が照射光120(点線)として物体130に照射されおり、この物体130によって当該照射光120が反射されたことによる反射光140(一点鎖線)が再生装置150によって受光される。
 再生装置150は撮像部(カメラ)を有し、この撮像部によって受光した受信光に従って物体130等が撮像される。そして、再生装置150は、詳細は後述するが、物体130の撮像と共に、受信光から当該反射光130に含まれている情報135から当該特定の情報125を再生する。
 なお、説明のため省略しているが、再生装置150が受光する受信光には、一般には、物体130による反射光140だけでなく、照明装置110が発光した照明光115そのものや当該光が物体130以外によって反射された反射光等も含んでいる。
 ここで、照明装置110から発光される照明光115に重畳される特定の情報125とは、当該照明光115が照射される物体130に関連する情報や、物体130とは無関係であったとしても再生装置150が物体130に応じた反射光140を受光した場合の受信光を介して取得させたい情報等である。
 例えば、物体130が商品や広告等である場合には商品や広告に関する情報やクーポンであったり、物体130に関する情報を説明するための説明内容であったり、物体130に関連して行われる予定の操作等に関する説明内容や指示内容であったり等、種々の情報が該当する。
 そして、この特定の情報は、再生装置150の表示部に表示される場合もあれば、再生装置150の投影部によって物体130や他の物体に投影される場合もある。
 また、当該特定の情報125は、再生装置150に取得させたい他の情報を特定するための情報であってもよい。例えば、当該他の情報を特定するためのIDであったり、当該他の情報を取得させるためのURLを特定するための情報等であったりしてもよい。
 サーバ装置170は当該他の情報を保持しており、再生装置150は、有線又は無線のネットワークを介して、情報135を再生することで取得した当該特定の情報125に対応するIDやURL等を指定してサーバ装置170にアクセスし、このアクセスに対するサーバ装置170からの応答として当該他の情報を取得する。
 このように、照明装置110から発光される照明光115に重畳される特定の情報125が、再生装置150に取得させたい他の情報を特定するための情報である場合、最終的には所望の情報を再生装置150に取得させられるものの、照明装置110において照明光115に重畳させる情報の情報量が少なくすることができる。
 なお、情報配信システム100を利用して、再生装置150に情報が表示されたり、サーバ装置170から他の情報が取得されたりした場合に課金する等のサービスを実施してもよい。
 ところで、一般に、物体130は特定の分光反射率を有している。例えば、物体130が可視光領域の赤色に該当する波長領域を吸収する特性を有している場合には、この物体130による当該光の反射光140は、物体130の分光反射率の影響を受けて、可視光領域の赤色に該当する波長領域の成分が当該照射光120に比べて減少する。
 すなわち、照射光120を反射する物体が異なれば、この異なる分光反射率の影響を受けて当該照射光120が反射されるため、反射光140に含まれるRGB色空間の各成分の割合が照射光120における割合とは変わってくる。
 従って、照明装置110から発光された照射光120に重畳されている情報が仮に同じであっても、つまり、照射光120に含まれるRGB色空間の各成分の割合が仮に同じであっても、照射光120を反射する物体が異なれば、反射光140に含まれるRGB色空間の各成分の割合が変わってしまうことによって、反射光140に重畳される情報が所望の情報ではなくなってしまうことがある。
 詳細は後述するが、照明光115に重畳された特定の情報125が物体130を介して再生装置150に到達している場合には、物体130の分光反射率に応じた影響を受けた反射光140を再生装置150が受光していることを考慮しないと、情報135から当該特定の情報125を良好に再生できないことを発明者らは見出した。
 図2に、実施形態において特定の情報が重畳される光の例が示される。図2には、照明装置110において、YUV色空間におけるU成分及びV成分が特定の情報125に応じて変調されることで当該各成分に特定の情報125が重畳され、その上で、YUV色空間における当該各成分の値が後述の変換式(1)~(3)に代入されることでRGB色空間の各成分に変換されることで生成される場合の照明光115を説明するために、YUV色空間における各成分の値の時間変化(A)と、RGB色空間における各成分の値の時間変化(B)の関係の例が示される。なお、図2に示される例は、後述される各実施形態に関連する例である。なお、グラフ220、230、240、250及び260における点線によって区切られる区間の各々に含まれる波形が、信号に重畳される情報の最小単位であるシンボル(例えば、“0”及び“1”)に対応する波形として例示されている。
 図2の(A)には、特定の情報125に応じたYUV色空間での各成分の値が示される。一番上のグラフ210に示されるように、Y成分、すなわち、輝度成分は、時間経過によらず一定に保たれている。一方、中央のグラフ220に示されるように、色差成分の1つであるU成分の値は、特定の情報125に応じて位相変調されて時間経過とともに変化する。同様に、一番下のグラフ230に示されるように、他方の色差成分であるV成分の値も、特定の情報125に応じて位相変調されて時間経過とともに変化する。
 一方、図2の(B)には、図2の(A)に対応する、RGB色空間での各成分の値が示される。グラフ240、250及び260に、それぞれ、赤色成分、緑色成分、青色成分の時間変化が示されており、各色成分の時間変化は、特定の情報125が重畳されたYUV色空間における複数の色差信号に対してRGB色空間への変換が施されることによって得られる。照明装置110は、各色成分の時間変化における各サンプリング点での値に応じた単位時間当たりの発光光量で、色成分に対応する発光素子を発光させる。
 なお、図2では、YUV色空間に沿って例示したが発明はこれに限定されない。例えば、輝度成分と他の成分とで色を表現する色空間であって、RGB色空間と特定の変換式によって互いに可換な例えばHLS色空間であってもよい。
 また、図2では、YUV色空間におけるY成分を変調しない場合を例示したが発明はこれにも限定されない。光に情報を重畳させる場合に光を当該情報に従って変調することとなるが、人間の目の色における色の変化に対する感知性は、明るさの変化に対する感知性よりも低い。そこで、輝度成分を一定とし、色差成分であるU成分やV成分を変調することで、照明としての機能を低下させることなく、発光する光へ情報を埋め込むことを可能にしている。
 また、照明装置110における各発光素子の単位時間当たりの発光光量の変動幅が、その発光素子の単位時間当たりの発光光量の一つのシンボルに対応する期間にわたる時間平均値に対して数%程度となるように、U成分及びV成分の値を決定することが好ましい。これにより、特定の情報125に応じた光の特性の時間変化が、人に対してより知覚され難くなる。
 また、特定の情報125に従って時系列に沿って変化する光の特性が、単位時間当たりの光量である場合も、例えば、特定の情報125の1周期に複数のサンプリング点(例えば、10~20点)を設定し、特定の情報125に従って各サンプリング点での発光素子の単位時間当たりの発光量を決定すればよい。
 なお、発光素子が有する特性のばらつきによって、YUV色空間の各成分に情報を重畳させる際に想定していた発光量と、実際の発光量とにずれが生じる場合がある。このような場合には、実際の発光素子が有する特性のばらつきを考慮した上で、重畳させる情報に応じた発光量を決定すればよい。または、発光素子が有する特性のばらつきによる影響が小さく、想定する発光量と実際の発光量とのずれが無視できる程度であれば、これらを一致するものとして扱ってもよい。
 なお、図2に示される例では、YUV色空間における位相変調によって特定の情報125を照明光115に重畳させる場合を例示しているが、発明はこれに限定されない。
 例えば、BPSK(Binary Phase Shift Keying)等の変調方式を使用した通信を行ってもよく、また、四つの異なる位相を使用したQPSK(Quadrature Phase Shift Keying)や、振幅への変調も加えたQAM(Quadrature Amplitude Modulation)等を使用してもよい。変調方式に関しては、電波による通信等で利用されている変調方式であれば何でもよい。
 さらに、複数の周波数を用いて情報を多重化してもよく、その場合はOFDM(Orthogonal Frequency Division Multiplexing)のように互いに直交する複数の周波数を変調して情報を多重化して送信する場合には、再生装置150ではフーリエ変換によって周波数毎の振幅と位相を算出し、埋め込まれている情報を検出することになる。
 また、照明装置110の周囲に設置されている他の照明装置からの光がノイズとなって情報の送受信に影響する場合も考えられるため、CDMA(Code Division Multiple Access)方式で利用されているスペクトラム拡散を利用して、一つの情報を複数の周波数に拡散して埋め込んでもよい。
 ところで、図1に示される再生装置150は、図2の(B)に示される時間変換に従った光に応じた受信光を受光することとなる。そして、再生装置150は、受信光に対してYUV色空間への変換を施して複数の色差信号を生成し、生成された複数の色差信号に基づいて特定の情報125を再生することとなる。
 図3に、実施形態の再生装置における処理の例が示される。図3には、図1に示される再生装置150の撮像部(カメラ)によって取得された画像から特定の情報125を再生する場合の処理の概要が示される。なお、図3に示される例は、後述される各実施形態に関連する例である。
 再生装置150は、物体130によって照射光120が反射されたことによる反射光140を含む受信光に基づいて物体130の画像を撮像すると共に、受信光から生成する色差信号に対して、後述される補正等を施すことによって特定の情報125を再生する。
 なお、受信光から色差信号を生成する場合には、撮像部によって取得された各時間の画像をサンプリングデータとし、各サンプリングデータに基づく受光強度等の物理量に基づいて色差信号を再生することとなる。すなわち、再生する色差信号の精度は、撮像部が物体130を動画として撮像している場合のフレームレートに依存する。
 例えば、撮像部のフレームレートが毎秒30フレームの場合には、そのフレームレートでサンプリングしたとしても情報を再生できる程度のデータレートで、特定の情報125を照明光115に重畳させることになる。発明はこれに限定されないが、この場合のデータレートは、例えば、特定の情報125を表す信号の1周期が100ミリ秒~1秒である。
 図2に沿って上述したように、YUV色空間において輝度成分を一定とし、色差成分を変調することで特定の情報125を照明光115に重畳させた場合には、比較的低レートで当該色差信号を変調させたとしても、人間の目にはその変化が認められにくい。
 つまり、照明光115に重畳された特定の情報125が比較的低フレームレートの装置によって再生されることを想定した場合には、照明装置かつ情報を配信する配信元として照明装置110を両立させるために、RGB色空間の色成分を直接変調するのではなく、YUV色空間における色差成分を変調する方がよい。
 ただし、発明は、YUV色空間における色差成分を変調させる例に限定されない。RGB色空間の色成分を直接変調した場合に人間の目がちらつきを感じるよりも高い周波数で変調をすることで照明光115に特定の情報125を重畳し、この周波数であってもサンプリングできる撮像部を再生装置150に備えていればよい。
 図4に、色空間の変換の例が示される。図4に沿って、物体の分光反射率によって色空間を変換する場合に生じる問題点を説明する。
 まず、YUV色空間からRGB色空間への変換式(1)~(3)を以下に示す。照明装置110は、特定の情報125に基づいて変調した色差信号を変換式(1)~(3)に従って変換し、当該変換によって得たRGB信号に従って該当する発光素子を発光させる。
R=1.000Y+1.402V (1)
G=1.000Y-0.344U-0.714V (2)
B=1.000Y+1.772U (3)
 次いで、RGB色空間からYUV色空間への変換式(4)~(6)を以下に示す。再生装置150は受信光に含まれるRGB信号を変換式(4)~(6)に従って変換し、当該変換によって得たYUV信号によって照明装置110が光に重畳した特定の情報125の再生を試みる。
Y=0.299R+0.587G+0.114B (4)
U=-0.169R-0.331G+0.500B (5)
V=0.500R-0.419G-0.081B (6)
 なお、変換式(1)~(6)の各項の値は、例えば、各成分が取りうる値の範囲を0から255までの階調とした場合に、測定される物理量を当該階調に正規化した場合の値である。
 仮に、照明装置110から発光された照明光115のみを再生装置150が直接受光するのであれば、変換式(4)~(6)の式を用いて受信光からYUV信号を抽出するだけで、照明光115に重畳されていた特定の情報125を再生することができる。
 しかし、再生装置150が受光する受信光に、特定の物体130によって照射光120が反射されたことによる反射光140が含まれる場合、変換式(4)~(6)の式によって求められるYUV信号の再生精度が、物体130の分光反射率に依存して低下してしまうことがある。
 図4には、照明装置110によって発光される照明光115に特定の情報125を重畳させるために、YUV色空間におけるU成分とV成分を当該特定の情報115に基づいて変調して生成した、U成分及びY成分の色差信号が送信信号として示される。そして、U成分及びY成分の色差信号及び輝度信号がRGB変換されて、この変換に基づくRGB信号を含む光が照明装置110から物体130に対して照射される。
 物体130に照射された照射光120に含まれるRGB信号は、物体130の分光反射率によって特定の波長が吸収される。そして、この吸収に特定の波長成分が減少したRGB信号を含んだ光が反射光140となる。そして、この反射光140を含む光が受信光として再生装置150によって受光される。
 すなわち、物体130の分光反射率に従う特定の波長成分の吸収によって、再生装置150に到達する反射光140のRGB信号は、照明装置110が発光した照明光115のRGB信号とは異なるR´G´B´信号となってしまう。
 そして、再生装置150は、受信光から特定の情報125を再生するにあたって、上記の変換式(4)~(6)を使用するが、反射光140のR´G´B´信号に基づいてYUV信号を算出することになってしまう。つまり、物体130の分光反射率に従う吸収によって特定の波長成分が失われているが故に、再生装置150が生成するYUV成分は、照明装置110が生成したYUV信号とは異なるY´U´V´信号となってしまう。
 発明者らによって見出されたこのような現象は、言い換えれば、可視光通信において色空間の変換を施すことを前提として情報を光に重畳させた場合に、物体の分光反射率に起因する光の吸収によって色空間の変換の対称性が崩れ、送信信号における色差信号が受信信号における他の色差信号に対して変換式(1)~(6)を介して干渉した結果ともいえる。
 本願では、物体の分光反射率の影響によって色空間の変換の対称性が保たれず、送信信号おける第1成分が受信信号における第2成分に対して影響することを干渉とよぶこととする。そして、発明者らは、可視光通信においてこの干渉を考慮しないと、情報が良好に再生されないことを新たに見出した。
 後述の実施例によれば、情報が重畳された光が再生装置に到達するまでに特定の分光反射率を有する物体による反射があっても、受信光における色差信号を既知の振幅の複数の色差信号の線形結合に基づき補正することで、光に重畳された情報を良好に再生する。
 図5に、第1実施形態が示される。図5に沿って、第1実施形態の概要を説明する。図5には、送信側500及び受信側510が示される。送信側500は例えば照明装置110である。受信側510は例えば再生装置150である。
 送信側500において色成分1の信号x及び色成分2の信号yが特定の情報に基づいて変調されることによって、送信側500で発光される光に当該特定の情報が重畳される。
 色成分1は例えばYUV色空間におけるU成分である。当該色成分1の信号xはU成分の色差信号である。また、色成分2は例えばYUV色空間におけるV成分であって、当該色成分2の信号yはV成分の色差信号である。なお、HLS色空間の色成分等、輝度と色成分とで色を表現する色空間の成分を色成分1及び色成分2に適用してもよい。
 なお、図5に示される例では、変調方法として位相変調を例に説明するが、発明はこれに限定されない。図2に沿って例示した各種変調方式が適用可能である。
 加えて、図5に示される例では、信号x及び信号yの振幅比が1:1である場合を例に説明する。ただし、発明はこれに限定されず、信号x及び信号yの振幅比を1:n(nは整数)として、後述される干渉マトリックスにおける該当する成分に対して1:nの振幅比の寄与分を考慮することで一般化できる。また、情報が重畳される信号は信号x及び信号yの何れか一方であってもよい。
 さて、図5に示されるように、区間aにおいては、信号xの位相と信号yの位相が同相である。例えば、情報を表すためのシンボル“0”が区間aの位相に割り当てられている。他方、区間bにおいては、信号xの位相と信号yの位相が逆相である。例えば、情報を表すためのシンボル“1”が区間bにおける信号yの位相に割り当てられている。
 他方、受信側510における色成分1は例えばYUV色空間におけるU成分である。当該色成分1の信号x´はU成分の色差信号である。また、色成分2は例えばYUV色空間におけるV成分であって、当該色成分2の信号y´はV成分の色差信号である。
 これら信号x´及び信号y´は、図4に沿っても説明したように、例えばYUV色空間における信号x及び信号yがRGB信号に変換されて光として発光され、このRGB信号が特定の分光反射率を有する物体によって反射されることによって反射前のRGB信号とは色成分の構成が異なるR´G´B´信号となり、受信側で受信したR´G´B´信号が変換されることで取得した、元のYUV信号とは構成の異なるY´U´V´信号に基づいている。
 なお、信号x及び信号yには、後述する第2実施形態で説明される例を適用して、送信側500によってプリアンブル部を埋め込んでおいてもよく、信号x´及び信号y´を検出の際には、信号に埋め込まれたプリアンブル部を検出することによって、その後に続くデータ部を検出してもよい。
 ここで注目すべきは、受信側510における区間b´の色成分1の信号x´の位相が、送信側500における区間bの色成分1の信号xの位相と比較して反転してしまっていることである。これは、特定の分光反射率を有する物体による反射の際に、特定の波長成分が吸収されることで、上述した変換式(4)~(6)を施す際に色成分2の信号yの干渉を受けたことによる。そして、この干渉を考慮して信号x´から情報を再生しないと、所望の情報が再生されないことが分かる。
 そこで、第1実施形態では、光の伝搬経路において特定の波長の吸収が発生していたとしても、受信光における色差信号を既知の振幅の複数の色差信号の線形結合として表わすことで上記の干渉の影響を考慮し、当該線形結合における係数に従って受信光における色差信号を補正することで情報を良好に再生する。具体例を以下に説明する。
 送信側500における信号x及び信号yの振幅比については、1:1であるとする。
 他方、受信側510で受信した信号x´の、区間a´における振幅(区間a´におけるピーク値)が0.35であったとする。また、受信側510で受信した信号x´の、区間b´における振幅(区間b´におけるピーク値)が0.13であったとする。このように、信号x´の位相は、物体における光の吸収によって反転しているかもしれないため、まずは振幅に着目する。
 また、受信側510で受信した信号y´の、区間a´における振幅(区間a´におけるピーク値)が0.44であったとする。また、受信側510で受信した信号y´の、区間b´における振幅(区間b´におけるピーク値)が0.16であったとする。同様に、信号y´の位相は、物体における光の吸収によって反転しているかもしれないため、まずは振幅に着目する。
 まず、信号x´について検討する。図4に沿って説明したのと同様の理由で、信号x´は、信号xからの寄与分と信号yからの寄与分がある。ここで、信号xからの寄与分をH11と表し、信号yからの寄与分をH12と表す。
 次に、信号x及び信号yは共に波の性質を有するため、H11及びH12の重ね合わせを考える。仮に、信号x及び信号yが同相であれば、信号x及び信号yは互いに強め合う関係にあるため、H11及びH12は和によって結ばれる関係になる。他方、信号x及び信号yが逆相であれば、信号x及び信号yは互いに弱め合う関係にあるため、H11及びH12は差によって結ばれる関係になる。
 信号x´の、区間a´における振幅0.35及び区間b´における振幅0.13を比較した場合、区間a´の振幅の方が大きい。送信側500では2つの位相によって情報を表しているため、それら位相の組み合わせを鑑みると、区間a´における信号x´は信号x及び信号yが互いに強め合うことによる信号であり、区間b´における信号x´は信号x及び信号yが互いに弱め合うことによる信号であるといえる。
 つまり、信号x及び信号yの振幅比を1:1と設定しているので、区間a´における信号x´はH11及びH12は和による信号であり、区間b´における信号x´はH11及びH12は差による信号であると表すことができる。これらを式に表すと、式(7)となる。なお、振幅(ピーク値)を使用しているため、H11及びH12の差については絶対値としている。
11+H12:|H11-H12|=0.35:0.13 (7)
 次に、信号y´について検討する。信号x´と同様に、信号y´は、信号xからの寄与分と信号yからの寄与分がある。ここで、信号xからの寄与分をH21と表し、信号yからの寄与分をH22と表す。
 そして、信号x及び信号yは共に波の性質を有するため、H21及びH22の重ね合わせを考える。仮に、信号x及び信号yが同相であれば、信号x及び信号yは互いに強め合う関係にあるため、H21及びH22は和によって結ばれる関係になる。他方、信号x及び信号yが逆相であれば、信号x及び信号yは互いに弱め合う関係にあるため、H21及びH22は差によって結ばれる関係になる。
 信号y´の、区間a´における振幅0.44及び区間b´における振幅0.16を比較した場合、区間a´の振幅の方が大きい。送信側500では2つの位相によって情報を表しているため、それら位相の組み合わせを鑑みると、区間a´における信号y´は信号x及び信号yが互いに強め合うことによる信号であり、区間b´における信号y´は信号x及び信号yが互いに弱め合うことによる信号であるといえる。
 つまり、信号x及び信号yの振幅比を1:1と設定しているので、区間a´における信号y´はH21及びH22は和による信号であり、区間b´における信号y´はH21及びH22は差による信号であると表すことができる。これらを式に表すと、式(8)となる。なお、振幅(ピーク値)を使用しているため、H21及びH22の差については絶対値としている。
21+H22:|H21-H22|=0.44:0.16 (8)
 式(7)を解くと、H11=0.24かつH12=0.11の組み合わせ、及び、H11=0.11かつH12=0.24の組み合わせの2通りの解を得る。
 式(8)を解くと、H21=0.14かつH22=0.30の組み合わせ、及び、H21=0.30かつH22=0.14の組み合わせの2通りの解を得る。
 ここで、送信側500において情報が重畳された光が受信側510に到達するまでに特定の分光反射率を有する物体による反射があったとしても、これを、上述のように、色成分どうしの干渉とすれば、信号x´及び信号y´を、信号x及び信号yの線形結合として式(9)のように表わすことができる。なお、本願では、H11、H12、H21、及びH22を成分として有するマトリックスを干渉マトリックスとよぶ。
Figure JPOXMLDOC01-appb-I000001
 ここで、H11=0.24かつH12=0.11、及び、H21=0.14かつH22=0.30であると仮定する。これらを式(9)の干渉マトリックスに代入し、その逆行列を求め、信号x及び信号yを、信号x´及び信号y´の線形結合として表わしたのが式(10)である。
Figure JPOXMLDOC01-appb-I000002
 式(10)によって、受信側510において取得した信号x´及び信号y´の各々振幅を推定することができる。
 ところで、式(10)におけるx´及びy´に、受信側510の区間a´における信号x´の振幅0.35と信号y´の振幅0.44を代入する。この場合、送信側の区間aにおける信号x及び信号yの振幅が共に1となり、仮定した振幅比が1:1の位相変調の設定に合致する。
 一方で、式(10)におけるx´及びy´に、受信側510の区間b´における信号x´の振幅0.13と信号y´の振幅0.16を代入する。この場合、送信側の区間bにおける信号xの振幅が0.37となる。また、送信側の区間bにおける信号yの振幅0.35となる。つまり、仮定した振幅比が1:1の位相変調の設定に反する。このようにして、仮定した振幅比が1:1の位相変調の設定に合致するか否かに基づいて、式(7)及び式(8)を解くことで得られたH11、H12、H21、及びH22の値の組み合わせを検算する。
 この検算の結果、図5に例示される場合については、干渉マトリックスとして、式(11)及び式(12)の場合が、仮定した振幅比が1:1の位相変調の設定に合致する干渉マトリックスとなる。
Figure JPOXMLDOC01-appb-I000003
Figure JPOXMLDOC01-appb-I000004
 次いで、式(11)及び式(12)の場合の2通りについて、信号x´及び信号y´の復号を行う。そして、復号が成功したか否かの判定においては、送信信号において送信する特定の情報に加えて付加されている誤り訂正符号等に基づく誤り検出を行う。この誤り検出の結果に従って、式(11)又は式(12)の何れかを選択する。
また、この例は信号x´における信号yからの寄与が信号yと同相であり、信号y´における信号xからの寄与もまた信号xと同相だった場合についてであるが、第3実施形態の説明で例示する様に信号x´における信号yからの寄与が信号yと逆相になったり、信号y´における信号xからの寄与が信号xと逆相になったりすることも有り得る。即ち、H12、H21が負の係数となる場合がある。その場合、式(7)や式(8)における大小関係を入れ替えた下記の様な式(7)’、式(8)’と、式(7)と式(8)を組み合わせて解き、干渉マトリクスのパターンを推定すれば良い。
|H11+H12|:H11-H12=0.13:0.35(7)’
|H21+H22|:H21-H22=0.16:0.44(8)’
 そして、信号x´及び信号y´におけるサンプリング点の振幅の各々を対して、選択された干渉マトリックスの逆行行列を用いて、信号x及び信号yの対応するサンプリング点を求めていく。こうすることで、たとえ、区間b´における信号x´の位相が所望の位相とは反転してしまっていたとしても、信号x及び信号yを良好に再生することができ、信号x及び信号yに重畳された特定の情報を再生することができる。
 なお、送信側500において位相変調によって特定の情報を光に重畳させるものの、受信側510で受け取った信号x´及び信号y´が所望の位相になるように、選択された干渉マトリックスに基づいて、信号x及び信号yの振幅を変調して光を発光してもよい。
 以上に述べたように、可視光通信において色空間の変換を施すことを前提として情報を光に重畳させた場合に、物体の分光反射率に起因する光の吸収によって色空間の変換の対称性が崩れたとしても、受信光における信号(例えば色差信号)を既知の振幅の複数の信号(例えば送信側の色差信号)の線形結合に基づき補正することで、光に重畳された情報を良好に再生することができる。
 図6に、第1実施形態の機能ブロックが示される。図6に示されるように、図1に示された再生装置150は、例えば、ワーキングメモリとして使用される、再生装置150のRAMにロードされたプログラムが、再生装置150のCPUによって実行されることにより、生成部600、補正部610、復号部620、及び、取得部630として機能する。なお、これらの機能部は、図5に沿って説明された第1実施形態を実現するための機能ブロックである。これらの機能部によって実行される処理については図7に沿って後述し、これらの機能部を実現するハードウェア構成については図21に沿って後述する。
 図7に、第1実施形態における処理が示される。図7に示される処理は、図1に示される再生装置150によって実行される処理であって、図5に沿って説明された第1実施形態を実現して、再生装置150が受光した受信光から特定の情報を良好に再生するための処理である。図7に示される処理は、処理700によって開始される。
 処理700に次いで、受信光から各色成分の受信信号を生成する処理702が、生成部600によって実行される。処理702では、再生装置150が受光した光のRGB成分の各々の強度を時系列的にサンプリングし、このサンプリングされた強度を例えば0~255の階調に正規化する。そして、RGB成分の各々の正規化された値を上述した変換式(4)~(6)に代入することにより、照明装置110が情報を重畳した信号である、例えばYUV成分の内のU成分及びV成分の色差信号を当該受信信号として生成する。
 生成された受信信号について振幅が大きい区間及び小さい区間の振幅比、及び既知の振幅比に基づき、干渉マトリクスの成分の候補を取得する処理704が、補正部610によって実行される。処理704では、図5に沿って上述したように、干渉マトリックスの成分の候補を取得する。
 処理704では、例えば、処理702によって生成されたU成分の色差信号について、処理702で算出された各サンプリング点での値に基づき、1つの変調周期のうちのピーク値を当該振幅とする。次いで、他の変調周期についてもピーク値を取得し、変調周期毎のピーク値の各々を互いに比較することによって、当該振幅が大きい区間及び小さい区間の振幅比を決定する。
 同様にして、処理702によって生成されたV成分の色差信号についても、該振幅が大きい区間及び小さい区間の振幅比を決定する。
 そして、U成分の色差信号及びV成分の色差信号について、決定された振幅比の各々と、取得した各ピーク値に従って、上述した式(7)及び式(8)に相当する関係式をたて、当該関係式を解くことで、干渉マトリックスの成分であるH11、H12、H21、及びH22の値の候補からなる組み合わせの1以上の組み合わせ候補を取得する。
 干渉マトリクスの成分の候補について未選択の組を選択する処理706が、補正部610によって実行される。処理706では、処理704によって取得された、H11、H12、H21、及びH22の値の候補からなる組み合わせの1以上の組み合わせ候補のうち、選択されていない組み合わせを選択する。
 選択された組に含まれる成分の候補による干渉マトリクスの逆行列に基づき、各色成分の受信信号を補正する処理708が、補正部610によって実行される。処理708では、処理706によって選択された、H11、H12、H21、及びH22の値の候補からなる干渉マトリックスの逆行列を計算する。そして、送信側で情報が重畳された際の色差信号を推定するために、受信光におけるU成分及びV成分の色差信号の各々を、当該逆行列に基づいて補正する。
 より具体的には、図5に沿って上述した式(10)のように、送信側におけるU成分及びV成分の色差信号の各々を、当該逆行列に基づいて、受信光におけるU成分及びV成分の色差信号の各々による線形結合として表わす。そして、受信光におけるU成分及びV成分の色差信号に対して逆行列を施すことによって補正し、送信側におけるU成分及びV成分の色差信号の各々を推定する。
 処理708に次いで、補正された受信信号の振幅が既知の振幅に対応するか否かを判定する処理710が、補正部610によって実行される。処理710では、処理708によって補正された受信信号の振幅が、処理704においても参照した既知の振幅比に対応する否かを判定する。
 ここで、この処理710の意義を説明する。処理706で選んだH11、H12、H21、及びH22の値の候補が仮に妥当であって、受信光におけるU成分及びV成分の色差信号が良好に補正されていれば、この補正によって送信側におけるU成分及びV成分の色差信号が再生されているはずである。加えて、送信側におけるU成分及びV成分の色差信号が当該既知の振幅比に従って変調されていることを鑑みれば、補正された受信信号の振幅が当該既知の振幅と合致するか否かを判定することによって、処理706で選んだH11、H12、H21、及びH22の値の候補が妥当であったかどうかを確認できるといえる。この処理704では、処理706で選んだH11、H12、H21、及びH22の値の候補が妥当性を判定している。
 処理710において補正された受信信号の振幅が既知の振幅に対応すると判定されなかった場合に、成分の候補の全ての組み合わせが選択済みか否かを判定する処理718が、補正部610によって実行される。成分の候補の全ての組み合わせを選択済みでないと判定された場合には処理706に移り、成分の候補の全ての組み合わせを選択済みあると判定された場合には処理720に移って図7に示される処理を終える。
 処理710において補正された受信信号の振幅が既知の振幅に対応すると判定された場合に、補正された受信信号を復号する処理712が、復号部620によって実行される。処理712では、特定の情報を取得するために、処理708によって補正された色差信号を、情報を光に重畳する際の変調方式に従って復号する。
 処理712に次いで、復号が成功したか否かを判定する処理714が、復号部620によって実行される。処理714では、処理712によって復号された色差信号について、信号の特定の場所に埋め込まれている誤り訂正符号等に基づく誤り検出を行い、この誤り検出の結果に従って復号が成功したか否かを判定する。
 処理714において復号が成功したと判定されなかった場合には処理718に移る。
 処理714において復号が成功したと判定された場合には、復号された信号に基づき特定の情報を取得する処理716を、取得部630が実行する。処理714において復号が成功したということは、処理706で選択した干渉マトリックスの成分の候補が妥当な成分であったといえる。そのため、この選択による干渉マトリックスによって補正された色差信号を復号することで取得された情報を、送信側で光に重畳した特定の情報であるとして取得する。
 なお、処理716に次いで、取得された特定の情報が、図1に沿って上述したように、再生装置150に取得させたい他の情報を特定するための情報であって、例えば、当該他の情報を特定するためのIDであったり、当該他の情報を取得させるためのURLを特定するための情報等であったりする場合には、当該他の情報を保持しているサーバ装置170に、当該特定の情報125に対応するIDやURL等を指定してアクセスし、このアクセスに対するサーバ装置170からの応答として当該他の情報を取得する処理が、取得部630によって実行されてもよい。さらに、サーバ装置170から他の情報が取得されたりした場合に課金してもよい。
 受信光を継続して受光し、特定された干渉マトリックスを用いて、当該受信光から特定の情報を再生する処理を継続する場合には処理702~718を繰り返し、図7に示される処理を終える場合には処理720に移り処理を終える。
 上述した第1実施形態によれば、受信光における色差信号を既知の振幅の複数の色差信号の線形結合として表わし、この線形結合に表す際の干渉マトリックスの成分に基づき受信光における色差信号を補正することで、送信側において光に重畳された情報を良好に再生することができる。
 図8に、第2実施形態が示される。図8に沿って、第2実施形態の概要を説明する。図8(A)には、信号に埋め込まれているプリアンブルの例が示される。なお、発明はこれに限定されないが、ここで例示されるようなプリアンブルを他の実施形態における信号にも埋め込んでおいてもよい。図8(B)には、送信側800及び受信側810が示される。送信側800は例えば照明装置110である。受信側810は例えば再生装置150である。
 図8(A)に示されるように、ある色成分の信号には、光に重畳させる特定の情報以外に、プリアンブルとして認識させる特定のパターンが重畳されている。この特定のパターンは、既知のパターンであって、特定の情報を重畳させる際に適用する変調の時間特性とは異なる時間特性のパターンとしておく。
 こうして、送信側800からの送信信号、及び受信側810における受信信号は、少なくとも、特定のパターンに基づくプリアンブル部、及び、特定の情報に基づくデータ部を有する。なお、当該特定のパターンは既知のパターンであるため、送信信号及び受信信号には、予め定められた参照信号が挿入されているともいえる。
 受信側810では、受信光から色差信号を生成した後、この色差信号の演算対象となる信号区間を時間方向にスライドさせながら、各区間における信号と、特定のパターンとの相互相関関数を計算する。そして、この計算の結果、当該特定のパターンとの相互相関関数が最大となる信号区間をプリアンブル部として特定する。
 なお、YUV色空間におけるU成分及びV成分の色差信号に埋め込む参照信号の各々を直交関係にあるようにしておけば、上記の受信光から生成した色差信号と特定のパターンとの相互相関関数の計算において、U成分及びV成分の間の干渉は起きない。
 また、YUV色空間におけるU成分及びV成分の色差信号に同一の参照信号S(t)を埋め込んでいる場合、U成分の受信信号のプリアンブル部Su(t)及びV成分の受信信号のプリアンブル部Sv(t)はいずれも参照信号S(t)の線形変換信号となるため、たとえ、U成分及びV成分の干渉によってプリアンブル部の信号の正負が逆転したとしても、S(t)又は-S(t)との相互相関関数のピークを容易に検出できる。
 さて、図8(B)では、送信側800において色成分1の信号x及び色成分2の信号yが特定の情報に基づいて変調されることによって、送信側800で発光される光に当該特定の情報が重畳される。そして、信号x及び信号yにおいて、特定の情報が重畳されたデータ部に加えて、信号のプリアンブルとして認識させるための特定のパターンを有するプリアンブル部が当該データ部に先立って設けられている。
 なお、色成分1は例えばYUV色空間におけるU成分である。当該色成分1の信号xはU成分の色差信号である。また、色成分2は例えばYUV色空間におけるV成分であって、当該色成分2の信号yはV成分の色差信号である。なお、HLS色空間の色成分等、輝度と色成分とで色を表現する色空間の成分を色成分1及び色成分2に適用してもよい。
 なお、図8に示される例では、変調方法として位相変調を採用した例であるが、発明はこれに限定されない。図2に沿って例示した各種変調方式が適用可能である。
 加えて、図8に示される例では、信号x及び信号yの振幅比が1:1である場合を例に説明する。ただし、発明はこれに限定されず、信号x及び信号yの振幅比を1:n(nは整数)としてもよい。また、情報が重畳される信号は信号x及び信号yの何れか一方であってもよい。
 他方、受信側810における色成分1は例えばYUV色空間におけるU成分である。当該色成分1の信号x´はU成分の色差信号である。また、色成分2は例えばYUV色空間におけるV成分であって、当該色成分2の信号y´はV成分の色差信号である。信号x´及び信号y´は、図8に例示されるように、プリアンブル部とデータ部を有する。
 そして、これら信号x´及び信号y´は、図4に沿っても説明したように、例えばYUV色空間における信号x及び信号yがRGB信号に変換されて光として発光され、このRGB信号が特定の分光反射率を有する物体によって反射されることによって反射前のRGB信号とは色成分の構成が異なるR´G´B´信号となり、受信側で受信したR´G´B´信号が変換されることで取得した、元のYUV信号とは構成の異なるY´U´V´信号に基づいている。
 第2実施形態では、式(13)で表わされる重み行列Wを推定し、式(14)で表わされるように、重み行列Wを介して信号x及び信号yの各々を信号x´及び信号y´の線形結合として表すことができる。そして、重み行列Wの逆行列を用いて信号x´及び信号y´を補正することとなる。
Figure JPOXMLDOC01-appb-I000005
Figure JPOXMLDOC01-appb-I000006
 なお、重み行列Wの推定には、例えば、YUV色空間における各色成分を、MIMO(Multiple-Input and Multiple-Output)通信における複数チャンネルとみなし、例えばMMSE(Minimum Mean Square Error)アルゴリズムを用いればよい。また、プリアンブル部に基づいて受信した信号を補正する方法として、BLAST(Basic Local Alignment Search Tool)法、MLD(Maximum Likelihood Detection)法、SD法、QRM‐MLD(Comprexity‐reduced Maximum Likelihood Detection with QR decomposition and M‐algolithm)法等、種々の方法を適用してもよい。このようなアルゴリズムを適用することで、色成分の間の干渉やそれ以外の雑音の影響を高精度に推定して抑制することができる。その結果、受信信号の劣化を高精度に抑制することが可能である
 図9に、第2実施形態の機能ブロックが示される。図9に示されるように、図1に示された再生装置150は、例えば、ワーキングメモリとして使用される、再生装置150のRAMにロードされたプログラムが、再生装置150のCPUによって実行されることにより、生成部900、検出部910、取得部920、及び、補正部930として機能する。なお、これらの機能部は、図8に沿って説明された第2実施形態を実現するための機能ブロックである。これらの機能部によって実行される処理については図10に沿って後述し、これらの機能部を実現するハードウェア構成については図21に沿って後述する。
 図10に、第2実施形態の処理が示される。図10に示される処理は、図1に示される再生装置150によって実行される処理であって、図8に沿って説明された第2実施形態を実現して、再生装置150が受光した受信光から特定の情報を良好に再生するための処理である。図10に示される処理は、処理1000によって開始される。
 処理1000に次いで、受信光から各色成分の受信信号を生成する処理1002が、生成部900によって実行される。処理1002では、再生装置150が受光した光のRGB成分の各々の強度を時系列的にサンプリングし、このサンプリングされた強度を例えば0~255の階調に正規化する。そして、RGB成分の各々の正規化された値を上述した変換式(4)~(6)に代入することにより、照明装置110が情報を重畳した信号である、例えばYUV成分の内のU成分及びV成分の色差信号を当該受信信号として生成する。
 生成された受信信号におけるプリアンブル部を検出する処理1004が、検出部910によって実行される。処理1004では、処理1002によって生成されたU成分及びV成分の色差信号を時間方向にスライドさせながら、各区間における信号とプリアンブルに対応する特定のパターンとの相互相関関数を計算する。そして、この計算の結果、当該特定のパターンとの相互相関関数が最大となる信号区間をプリアンブル部として検出する。
 検出されたプリアンブル部と特定のパターンとを比較することで重み行列を取得する処理1006が、取得部920によって実行される。処理1006では、処理1004によって検出された、例えばU成分及びV成分の色差信号の各々のプリアンブル部を、MIMO通信における複数チャンネルとみなして、例えばMMSEアルゴリズムを用いることで、上述の式(13)に表わされる重み行列Wを推定することで、重み行列Wを取得する。
 取得された重み行列を受信信号に施して受信信号を補正する処理1008が、補正部930によって実行される。処理1008では、処理1006によって取得された重み行列Wを用いて上述の式(14)を計算する事により、受信側810におけるU成分及びV成分の色差信号を補正する。処理1008によって、送信側800が送信した際のU成分及びV成分の色差信号が再生される。
 補正された受信信号に基づき特定の情報を取得する処理1010が、取得部920によって実行される。処理1010では、処理1008によって補正されたU成分及びV成分の色差信号に基づいて、送信側800が光に重畳した特定の情報を取得する。
 なお、処理1010に次いで、取得された特定の情報が、図1に沿って上述したように、再生装置150に取得させたい他の情報を特定するための情報であって、例えば、当該他の情報を特定するためのIDであったり、当該他の情報を取得させるためのURLを特定するための情報等であったりする場合には、当該他の情報を保持しているサーバ装置170に、当該特定の情報125に対応するIDやURL等を指定してアクセスし、このアクセスに対するサーバ装置170からの応答として当該他の情報を取得する処理が、取得部920によって実行されてもよい。さらに、サーバ装置170から他の情報が取得されたりした場合に課金してもよい。
 そして、処理1012により、図10に示される処理を終える。
 上述の第2実施形態によれば、物体の分光反射率の影響によって色空間の変換の対称性が保たれず、送信信号おける第1成分が受信信号における第2成分に対して干渉していたとしても、予めプリアンブルのパターンを定めておき、受信信号における各色成分をMIMO通信の複数チャンネルとみなすことによって取得した重み行列を利用することで、光に重畳された特定の情報を良好に再生することができる。
 図11に、第3実施形態が示される。図11に沿って、第3実施形態の概要を説明する。第3実施形態では、照明装置110が発光する光が照射される物体の分光反射率を推定し、推定された分光反射率に対応する干渉マトリックスを使用することで、再生装置150が受信光から特定の情報を良好に再生できるようにする実施形態である。
 なお、後述するが、第3実施形態で使用する干渉マトリックスとしては、照明装置110が発光する光が種々の物体に照射されることを想定して予め準備された、種々の分光反射率に対応する複数の干渉マトリックスから、推定された分光反射率に対応する干渉マトリックスが選ばれてもよい。そして、この場合に、推定された分光反射率と合致する分光反射率に関連付けられた干渉マトリックスがなければ、推定された分光反射率に最も類似している分光反射率に関連付けられている干渉マトリックス選んでもよい。また、干渉マトリックスを予め準備しておかなくても、物体の分光反射率が推定された時に、当該分光反射率に基づいて干渉マトリックスを計算してもよい。
 はじめに、第3実施形態について、送信信号である色成分1の信号x及び色成分2の信号yが、振幅比が1:1の正弦波であり、色成分1がYUV色空間におけるU成分であって色成分2がYUV色空間におけるV成分として例示するが、上述した実施形態と同様に、発明がこれらの例示に限定されないことをここに述べておく。
 なお、色成分1の信号x´は例えばYUV色空間におけるU成分の色差信号であり、色成分2の信号y´は例えばYUV色空間におけるV成分の色差信号である。
 これら信号x´及び信号y´は、図4に沿っても説明したように、例えばYUV色空間における信号x及び信号yがRGB信号に変換されて光として発光され、このRGB信号が特定の分光反射率を有する物体によって反射されることによって反射前のRGB信号とは色成分の構成が異なるR´G´B´信号となり、受信側で受信したR´G´B´信号が変換されることで取得した、元のYUV信号とは内容が異なるY´U´V´信号に基づいている。
 なお、信号x及び信号yには、上述した第2実施形態で説明される例を適用して、送信側によってプリアンブル部を埋め込んでおいてもよく、信号x´及び信号y´を検出の際には、信号に埋め込まれたプリアンブル部を検出することによって、その後に続くデータ部を検出してもよい。
 図11(A)には、振幅が1であるU成分の信号xを送信信号として含む光が物体に反射された結果、当該物体の分光反射率の影響を受けてしまい、その一部がH11として受信信号であるU成分の信号x´に寄与し、他の一部がH12として受信信号であるV成分の信号y´に寄与することが示されている。
 ところで、当該物体の分光反射率は、物体の反射光を構成するRGB信号を受信側でYUV信号に変換する際の変換係数に対して、特定の反射係数α、β、γ(0≦α≦1、0≦β≦1、0≦γ≦1)を乗算したものとして扱うことができる。これを式(15)~(17)に示す。なお、式(15)~(17)において、Rにαを乗算したαRが上述のR´であり、Gにβを乗算したβGが上述のG´であり、Bにγを乗算したγBが上述のB´である。
Y´=α×0.299R+β×0.587G+γ×0.114B (15)
U´=α×(-0.169)R+β×(-0.331)G+γ×0.500B (16)
V´=α×0.500R+β×(-0.419)G+γ×(-0.081)B (17)
 ここで、物体の分光反射率として、例えば、α=1.0、β=0.6、γ=0.0であると設定すると、輝度信号であるY成分が一定とし、かつ信号x及び信号yの振幅が各々1であるとしているので、式(1)~(3)及び式(15)~(17)を用いた計算により、信号xから信号x´に寄与するH11成分が0.07となる。同様にして、信号yから信号y´に寄与するH12成分は0.09となる。
 他方、図11(B)には、振幅が1であるV成分の信号yを送信信号として含む光が物体に反射された結果、当該物体の分光反射率の影響を受けてしまい、その一部がH21として受信信号であるU成分の信号x´に寄与し、他の一部がH22として受信信号であるV成分の信号y´に寄与することが示されている。
 ここで、物体の分光反射率として、図11(A)の場合と同様に、α=1.0、β=0.6、γ=0.0であると設定すると、輝度信号であるY成分が一定とし、かつ信号x及び信号yの振幅が各々1であるとしているので、式(1)~(3)及び式(15)~(17)を用いた計算により、信号yから信号x´に寄与するH21成分が0.10となる。同様にして、信号yから信号y´に寄与するH11成分は0.88となる。
 なお、受信側で検出する信号x´の振幅は、図11(A)に示される信号x´のH11成分と図11(B)に示される信号x´のH21成分の和となる。他方、受信側で検出する信号y´の振幅は、図11(A)に示される信号y´のH12成分と図11(B)に示される信号y´のH22成分の和となる。
 ここで、留意すべきは、物体の分光反射率に基づいてα=1.0、β=0.6、γ=0.0が設定された場合には、送信側の信号xの位相が、受信側では反転しているということである。位相情報を使って光に情報を重畳させた場合に、このような位相反転が生じていると情報を正しく再生できない。
 そこで、第3実施形態では、例えば、照明装置110が発光する光が種々の物体に照射されることを想定して、種々の分光反射率を想定した干渉マトリックスを予め準備しておく。上述の分光反射率の例であれば、予め準備しておく干渉マトリックスは、式(18)となり、信号x及び信号yと、信号x´及び信号y´の関係は式(19)で表わされる。なお、式(18)において、H21の符号をマイナスとしているのは、図11(B)に示されるように、位相が反転していることを反映させているからである。
Figure JPOXMLDOC01-appb-I000007
Figure JPOXMLDOC01-appb-I000008
 第3実施形態では、想定される分光反射率の各々について、式(18)で表わされる干渉マトリックス又はその逆行列を求め、干渉マトリックス又はその逆行列の各々を、それらを求める際に設定した分光反射率に関連付けて記憶装置に予め格納しておく。
 そして、特定の情報を重畳するための光の分光分布を予め定めておき、受信光と当該予め定められた光の分光分布から、反射係数α、β及びγを推定する。
 上述したように、第3実施形態では、干渉マトリックス又はその逆行列が、例えば、対応する反射係数と関連付けられて予め準備されているので、推定された反射係数に関連付けられた干渉マトリックス又はその逆行列を選択する。そして、受信光から生成した信号x´及び信号y´を、選択された干渉マトリックスから求めた逆行列又は選択された逆行列に基づいて補正することで、送信側における信号x及び信号yを推定し、重畳された特定の情報を再生して取得する。
 なお、送信側のU成分とY成分の振幅比を1:1として上述したが、U成分とV成分の振幅比が1:nの場合には、干渉マトリックスを式(20)とすればよい。そして、式(20)に従った干渉マトリックス又はその逆行列を反射係数に関連付けて予め準備しておけばよい。
Figure JPOXMLDOC01-appb-I000009
 図12に、第3実施形態の機能ブロックが示される。図12に示されるように、図1に示された再生装置150は、例えば、ワーキングメモリとして使用される、再生装置150のRAMにロードされたプログラムが、再生装置150のCPUによって実行されることにより、生成部1200、推定部1210、選択部1220、補正部1230、及び、取得部1240として機能する。なお、これらの機能部は、図11に沿って説明された第3実施形態を実現するための機能ブロックである。これらの機能部によって実行される処理については図13及び14沿って後述し、これらの機能部を実現するハードウェア構成については図21に沿って後述する。
 図13に、第3実施形態の処理の例が示される。図13に示される処理は、図1に示される再生装置150によって実行される処理であって、図11に沿って説明された第3実施形態を実現して、再生装置150が受光した受信光から特定の情報を良好に再生するための処理である。図13に示される処理は、処理1300によって開始される。
 受信光から各色成分の受信信号を生成する処理1302が、生成部1200によって実行される。処理1302では、再生装置150が受光した光のRGB成分の各々の強度を時系列的にサンプリングし、このサンプリングされた強度を例えば0~255の階調に正規化する。そして、RGB成分の各々の正規化された値を上述した変換式(4)~(6)に代入することにより、照明装置110が情報を重畳した信号である、例えばYUV成分の内のU成分及びV成分の色差信号を当該受信信号として生成する。
 物体の分光反射率を推定する処理1304が、推定部1210によって実行される。処理1304では、図11に沿って上述したように、既知の分光分布(例えば、分光分布が予め定められた送信光や白色光など)と受信光とから、変換式(15)~(17)における反射係数α、β及びγを求めることで、物体の分光反射率を推定する。
 例えば、物体に照射される光又は物体に照射される予定の光が白色であった場合、当該光の分光分布を表すRGB色空間における各成分について、0~255の階調に正規化した値は、RGB=(255、255、255)となる。このような光が物体によって反射され、そして、この反射光を受光した場合に、受信光におけるRGB色空間の各成分の正規化された値を当該光の分光分布と比較することで、反射係数を求めることができる。
 例えば、受信光のRGB色空間における各成分の値が(100、150、60)であった場合、反射係数は、α=0.39(=100/255)、β=0.59(=150/255)、γ=0.26(=60/255)となる。
 ここで、当該光の分光分布は、例えば分光測定器を用いることにより定めることもできる。ただし、分光測定器の特性と、受信光を受信する受光素子の特性との差によって生じる誤差を考慮するために、例えば、物体に照射される予定の光を受光素子によって直接受光した場合のRGB色空間における各成分の値を測定することで、誤差に対する補正をかけてもよい。または、受光素子が有する特性のばらつきによる影響が小さく、想定した分光測定と実際に受光した際の分光分布とのずれが無視できる程度であれば、これらを一致するものとして扱ってもよい。
 予め準備された複数の干渉マトリクスのうち、推定された分光反射率に対応する干渉マトリックスを選択する処理1306が、選択部1220によって実行される。
 処理1306において、予め準備された複数の干渉マトリクスとは、図11に沿って説明した方法に従って種々の分光反射率を想定して求められた複数の干渉マトリックス又はそれらの逆行列であって、対応する分光反射率(反射係数)と関連付けられて予め記憶装置に記憶されているものである。処理1306では、処理1304によって推定された分光反射率(反射係数)に対応する干渉マトリックスを、予め準備された複数の干渉マトリクスから選択する。
 また、処理1306において、仮に、処理1304によって推定された分光反射率(反射係数)対応する干渉マトリックスがみつからなければ、推定された分光反射率に最も類似している分光反射率に関連付けられている干渉マトリックス選んでもよいし、第1実施形態を適用して特定の情報を再生してもよい。
 ここで、最も類似した分光反射率をどのようにして求めるかを例示するために、類似度の評価の方法の例を以下に示す。
 例えば、処理1304によって推定された反射係数(α、β、γ)においてαが1となるように正規化した値を(α´、β´、γ´)とし、物体に照射される光又は物体に照射される予定の光の分光反射率をRGB色空間における各成分の値(r、g、b)においてrが1となるように正規化した値を(r´、g´、b´)とする。この場合、類似度μを式(21)で表わす。
Figure JPOXMLDOC01-appb-I000010
 式(21)では、比較される2つの分光反射率の距離の逆数を類似度μとして考えているので、μが大きいほど(すなわち、距離が短いほど)分光反射率が類似していることになる。なお、発明はこの方法に限定されず、(α、β、γ)と(r、g、b)の類似度μを評価する他の手法を用いてもよい。
 選択された干渉マトリクスを予め定められた振幅比に基づいて修正する処理1308が、補正部1230によって実行される。
 図13に示された処理において取り扱われる、予め準備された複数の干渉マトリクスは、式(20)ではなく、送信側の色差信号の振幅比が1:1である場合について各分光反射率の設定に従って求めた干渉マトリックスを想定している。そのため、実際に受信光から特定の情報を再生する場合に、仮に送信光における色差信号の振幅比が1:1に設定されていないのであれば、送信光における色差信号の振幅比に合わせて、処理1306によって選択された干渉マトリックスの成分を修正することになる。
 そこで、処理1308では、実際の送信光における色差信号に適用された振幅比と式(20)に基づいて、処理1306によって選択された干渉マトリックスの成分を修正する。
 修正された干渉マトリクスに基づいて受信信号を補正する処理1310が、補正部1230によって実行される。処理1310では、処理1308によって修正された干渉マトリックスの成分に基づいて、受信光における各色差信号を補正する。この補正によって、送信光における各色差信号を推定することができる。
 補正された受信信号に基づき特定の情報を取得する処理1312が、取得部1240によって実行される。処理1312では、処理1310によって補正された各色差信号を復号することによって、送信光に重畳された特定の情報を再生して取得する。
 なお、処理1312に次いで、取得された特定の情報が、図1に沿って上述したように、再生装置150に取得させたい他の情報を特定するための情報であって、例えば、当該他の情報を特定するためのIDであったり、当該他の情報を取得させるためのURLを特定するための情報等であったりする場合には、当該他の情報を保持しているサーバ装置170に、当該特定の情報125に対応するIDやURL等を指定してアクセスし、このアクセスに対するサーバ装置170からの応答として当該他の情報を取得する処理が、取得部1240によって実行されてもよい。さらに、サーバ装置170から他の情報が取得されたりした場合に課金してもよい。
 そして、処理1314により、図13に示される処理を終える。
 なお、図13に示される処理については、複数の干渉マトリックスを予め準備しておく場合に沿って例示したが、発明はこれに限定されない。
 干渉マトリックスを予め準備していない場合、または、複数の干渉マトリックスを予め準備しておくものの処理1304によって推定された分光反射率(反射係数)に対応する干渉マトリックスがみつからない場合に、図11に沿って例示した方法に従い、処理1304によって物体の分光反射率が推定された時点で、当該分光反射率に基づいて干渉マトリックスを計算して、計算された干渉マトリックスに従って受信信号を補正してもよい。
 図14に、第3実施形態の処理の他の例が示される。図14に示される処理は、図1に示される再生装置150によって実行される処理であって、図11に沿って説明された第3実施形態を実現して、再生装置150が受光した受信光から特定の情報を良好に再生するための他の処理である。
 図14に示される処理と図13に示される処理との違いは、図13に示される処理が、予め準備された複数の干渉マトリクスとして、送信側の色差信号の振幅比が1:1である場合について各分光反射率の設定に従って求めた干渉マトリックスを想定しているのに対して、図14に示される処理では、信側の色差信号の振幅比が1:nである場合のnの候補の各々について各分光反射率の設定に従って求めた干渉マトリックスを想定していることである。
 つまり、図13に示される例では、処理1308によって干渉マトリックスの成分を実際の振幅比に基づいて修正する処理を有するが故に、送信側の色差信号の振幅比が1:1の場合についての干渉マトリックスを予め準備しておけばよいのに対して、図14に支援される例では、予め準備しておく干渉マトリックスを、送信側の色差信号の振幅比が1:nの場合のnの候補分だけ多く準備しておき、干渉マトリックスを修正する処理を省いている。
 処理1400によって処理が開始されると、受信光から各色成分の受信信号を生成する処理1402が、生成部1200によって実行される。再生装置150が受光した光のRGB成分の各々の強度を時系列的にサンプリングし、このサンプリングされた強度を例えば0~255の階調に正規化する。そして、RGB成分の各々の正規化された値を上述した変換式(4)~(6)に代入することにより、照明装置110が情報を重畳した信号である、例えばYUV成分の内のU成分及びV成分の色差信号を当該受信信号として生成する。
 物体の分光反射率を推定する処理1404が、推定部1210によって実行される。処理1404では、図11に沿って上述したように、既知の分光分布(例えば、分光分布が予め定められた送信光や白色光など)と受信光の分光分布とから、変換式(15)~(17)における反射係数α、β及びγを求めることで、物体の分光反射率を推定する。
 予め準備しておいた複数の干渉マトリクスのうち、推定された分光反射率及び予め定められた振幅比に対応する干渉マトリックスを選択する処理1406が、選択部1220によって実行される。処理1406では、予め準備された複数の干渉マトリックスから、処理1404によって推定された分光反射率(反射係数)と予め定められた送信信号の振幅比に対応する干渉マトリックス選択する。
 なお、処理1404において、仮に、対応する干渉マトリックスがみつからなければ、第1実施形態を適用して特定の情報を再生すればよい。
 選択された干渉マトリクスに基づいて受信信号を補正する処理1408が、補正部1230によって実行される。処理1408では、処理1406によって選択された干渉マトリックスの成分に基づいて、受信光における各色差信号を補正する。この補正によって、送信光における各色差信号を推定することができる。
 補正された受信信号に基づき特定の情報を取得する処理1410が、取得部1240によって実行される。処理1410では、処理1408によって補正された各色差信号を復号することによって、送信光に重畳された特定の情報を再生して取得する。
 そして、処理1412により、図14に示される処理を終える。
 上述の第3実施形態によれば、特定の情報が重畳された光が種々の物体に照射されることを想定して、種々の分光反射率を想定した干渉マトリックスを予め準備しておくことで、受信光から当該特定の情報を良好に再生できる。
 図15に、第4実施形態が示される。図15に沿って、第4実施形態の概要を説明する。第4実施形態では、可視光通信における光が物体に照射された場合に、物体による反射光を含む受信光から当該物体の分光反射率を推定するための実施形態である。
 さて、この第4実施形態では、送信光の分光分布を予め定めておき、受信光と予め定められている分光分布に従う送信光との比較によって、式(15)~(17)における反射係数α、β、及びγを推定し、反射係数の逆数を受信光のRGB値にかけることで、色空間の変換における非対称性による干渉を防ぐ。なお、反射系数の推定は、例えば、第3実施形態の説明で述べた方法と同様にして行えばよい。
 受光した光のRGB値がR´(=α×R),G´(=β×G)、B´(=γ×B)であった場合、これらの値に推定した反射係数の逆数をかけることで再変換する。再変換した値をそれぞれR’’,G’’、B’’とする。てYUV空間に変換された受信信号Y´U´V´はR’’=R,G’’=G、B’’=Bであるので、
Y´=0.299R’’+0.587G’’+0.114B’’=Y (22)
U´=-0.169R’’+(-0.331)G’’+0.500B’’=U (23)
V´=0.500R’’+(-0.419)G’’+(-0.081)B’’=V (24)
となり、受信側では送信信号を干渉の影響なく復元できる。
 なお、受信側の受光素子の特性により、α、β、γの推定誤差が生じることもある。この場合、厳密にR’’=R,G’’=G、B’’=Bとなるわけではないが、送信信号の復元において影響のない範囲であれば、同一とみなしてもよい。また、受光素子の特定を加味して補正をかけてもよい。
 また、再変換において、α、β、γの逆数をかけるのではなく、それぞれの係数の逆比をかけても良い。
 例えば、α=0.125、β=0.25、γ=0.50であった場合、それぞれの係数の逆数は1/α=8、1/β=4、1/γ=2である。一方、α:β:γの逆比は4:2:1である。
 逆数による変換R’’=R´×8、G’’=G’’=G´×4、B’’=2×B´を用いてY´ U´V´を生成する場合に対し、逆比による変換R’’=R´×4、G’’=G’’=G´×2、B’’=1×B´を用いて生成されたY´ U´V´はY´=1/2Y、U´=1/2U、V´=1/2Vとなる。すなわち、送信信号を線形変換しただけの信号が生成されることになり、容易に情報の復号が可能となる。
 また、ここで推定した反射係数のいずれかが0になってしまった場合に関しては、例えば係数の逆数を無限とする代わりに、実装しうる最大値にしてもよい。
 ただし、図15(A)に示されるように、受信光の強度は時間的に変化しているため、受信光をサンプリングした場合のサンプリング点毎に、受信光の値と分光分布が既知の送信光とを比較して求めた反射係数α、β、及びγを使用すると、受信光を補正する際に、送信光に重畳させた特定の情報が失われてしまう可能性がある。
 そこで、この第4実施形態では、図15(B)に示されるように、反射係数α、β、及びγを、受信光におけるn(0<n)周期分の平均値と分光分布が既知の送信光との比較によって決定する。この第4実施形態によれば、信号周期に従って平均すると分光分布が一定になるように透かし信号を埋め込んでおけば、この信号に同期させて平均化処理を行うことで高精度に分光分布を推定することが可能となる。
 また、同様の方法で分光反射率(反射係数)を推定して、推定された分光反射率(反射係数)を用いて、第3実施形態において説明した干渉マトリックスを予め準備したり、その場で計算する等の応用が可能である。また、第3実施形態においては、YUV空間における受信信号を生成してから干渉マトリクスを用いて受信信号を補正したが、干渉マトリクスを用いる代わりに推定した反射係数の逆数を用いて生成した受信信号を補正してもよい。実際の処理としては、式(15)~(17)のRの項、Gの項、Bの項にそれぞれ1/α、1/β、1/γをかけることになり、最終的には式(22)~(24)と同様の式になる。
 なお、高精度な推定のために、n(0<n)周期分の平均値を用いることを示したが、発明はこれに限定されない。例えば、図15(A)において、信号を受信した最初のサンプリング点を用いて分光反射率及び補正値を推定し、後のサンプリング点においても最初のサンプリング点から推定した補正値と同様の補正値を用いて受信光を変換すれば、透かし信号が消えてしまうことはない。
 図16に、第4実施形態の機能ブロックが示される。図16に示されるように、図1に示された再生装置150は、例えば、ワーキングメモリとして使用される、再生装置150のRAMにロードされたプログラムが、再生装置150のCPUによって実行されることにより、推定部1600、補正部1610、生成部1620、及び、取得部1630として機能する。なお、これらの機能部は、図15に沿って説明された第4実施形態を実現するための機能ブロックである。これらの機能部によって実行される処理については図17に沿って後述し、これらの機能部を実現するハードウェア構成については図21に沿って後述する。
 図17に、第4実施形態の処理が示される。図17に示される処理は、図1に示される再生装置150によって実行される処理であって、図15に沿って説明された第4実施形態を実現して、可視光通信における光が物体に照射された場合に、物体による反射光を含む受信光から当該物体の分光反射率を推定するための処理である。図17に示される処理は、処理1700によって開始される。
 受信光をn周期分の時間で平均する処理1702が、推定部1600によって実行される。処理1702では、図15に沿って説明したのと同様に、再生装置150が受光した、例えば、YUV色空間のU成分及びV成分の色差信号に情報が埋め込まれた受信光について、n周期分の時間における各サンプリング点での受信値の平均を算出する。
 平均された受信光と送信光の分光分布を比較することで、反射係数を推定する処理1704が、推定部1600によって実行される。処理1704では、図15に沿って説明したのと同様に、処理1702によって平均された受信光と分光分布が既知の送信光を比較することで、RGB色空間からYUV色空間へ変換する際の変換式おける変換係数を補正するための反射係数α、β及びγを推定する。
 推定された反射係数に基づき受信光を補正する処理1706が、補正部1610によって実行される。処理1706では、処理1704によって推定され反射係数α、β及びγの逆数を使用して、受信光のRGB色空間の各成分の値を補正する。
 次いで、補正された受信光からYUV色空間における信号を生成する処理1708が、生成部1620により行われる。そして、生成された信号に基づき特定の情報を取得する処理1710が、取得部1630によって実行される。
 なお、処理1710に次いで、取得された特定の情報が、図1に沿って上述したように、再生装置150に取得させたい他の情報を特定するための情報であって、例えば、当該他の情報を特定するためのIDであったり、当該他の情報を取得させるためのURLを特定するための情報等であったりする場合には、当該他の情報を保持しているサーバ装置170に、当該特定の情報125に対応するIDやURL等を指定してアクセスし、このアクセスに対するサーバ装置170からの応答として当該他の情報を取得する処理が、取得部1640によって実行されてもよい。さらに、サーバ装置170から他の情報が取得されたりした場合に課金してもよい。
 そして、処理1712により、図17に示される処理を終える。
 上述の第4実施形態によれば、可視光通信において、RGB色空間からYUV色空間への変換式における変換係数を補正するための反射係数を推定することができる。なお、第4実施形態の方法を、第3実施形態の処理1304や処理1404に適用してもよい。
 なお、図17では受信光をn周期分の時間で平均する例を示したが、発明はこれに限定されない。例えば、図15(A)において、信号を受信した最初のサンプリング点を用いて分光反射率及び補正値を推定し、後のサンプリング点においても最初のサンプリング点から推定した補正値と同様の補正値を用いて受信光を変換してもよい。
 図18に、第5実施形態が示される。図18に沿って、第5実施形態の概要を説明する。第5実施形態では、照明装置110において、分光分布が既知の光(例えば白色)に特定の情報を埋め込む。そして、図18に示されるように、照明装置110から発光されたこの光が特定の物体130に照射される。
 この物体130による反射光を含む光を受光する再生装置150において、受信光に基づいて当該物体130をカメラで撮像した場合に、当該物体を含む画像1800を複数の領域に分割する。
 ここで、送信光として分光分布が既知の光を使用していることから、複数の領域毎の受信光と送信光とを比較し、送信光の分光分布とより近い分光分布を有する受信光が得られた領域を優先して選択して、受信光を解析する。また、送信光の分光分布とより近い分光分布を有する受信光が得られた領域に対するに対してより大きな重み付けをすることによって、受信光を解析する。
 第5実施形態によれば、物体の分光反射率による影響がより少ない受信光を使用して、当該特定の情報を再生できるため、この再生される情報を確からしさが向上する。また、撮像した画角内に異なる分光反射率を有する物体が複数ある場合であっても、お互いの成分に干渉を起こす分光反射率を有する物体どうしによる反射の影響を抑制することが可能となる。
 図19に、第5実施形態の機能ブロックが示される。図19に示されるように、図1に示された再生装置150は、例えば、ワーキングメモリとして使用される、再生装置150のRAMにロードされたプログラムが、再生装置150のCPUによって実行されることにより、取得部1900、及び、解析部1910として機能する。なお、これらの機能部は、図18に沿って説明された第5実施形態を実現するための機能ブロックである。これらの機能部によって実行される処理については図20及び21に沿って後述し、これらの機能部を実現するハードウェア構成については図21に沿って後述する。
 図20に、第5実施形態の処理が示される。図20に示される処理は、図1に示される再生装置150によって実行される処理であって、図18に沿って説明された第5実施形態を実現して、物体の分光反射率による影響がより少なくなるようにして当該特定の情報を再生するための処理である。図20に示される処理は、処理2000によって開始される。
 受信光に基づき画像を取得する処理2002が、取得部1900によって実行される。処理2002では、例えば、再生装置150に含まれる撮像部(カメラ)によって受信光を受光し、この受光によって撮像された画像を取得する。
 取得された画像を複数の領域に分割する処理2004が、解析部1910によって実行される。処理2004では、処理2002によって取得された画像を、図18に沿って上述したように、複数の領域に分割する。
 送信光における既知の分光分布に基づき、領域毎に受信光を評価する処理2006が、解析部1910によって実行される。処理2006では、処理2004によって生成された複数の領域毎に、当該領域で受光した受信光の各々を、送信光における既知の分光分布と比較することによって、領域毎の受信光の各々の分光分布と当該既知の分光分布の類似度を評価する。領域毎の分光分布を求めるにあたり、例えば領域内の平均画素値を用いることが考えられる。また、実施形態3と同様に、類似度の評価の方法の例を示す。
 例えば、推定された反射係数(α、β、γ)においてαが1となるように正規化した値を(α´、β´、γ´)とし、物体に照射される光又は物体に照射される予定の光の分光分布をRGB色空間における各成分の値(r、g、b)においてrが1となるように正規化した値を(r´、g´、b´)とする。この場合、類似度μを式(25)で表わす。
Figure JPOXMLDOC01-appb-I000011
 なお、発明はこの方法に限定されず、(α、β、γ)と(r、g、b)の類似度μを評価する他の手法を用いてもよい。
 評価結果に従って受信光を解析する処理2008が、解析部1910によって実行される。処理2008では、処理2006によって評価された、領域毎の類似度に従って、町域に重み付けをする。例えば、類似度が閾値よりも大きい領域については、優先的に考慮するために大きな重み付けをする。他方で、類似度が閾値よりも小さい領域については小さな重み付けをする。なお、類似度が小さい領域に対する重みを0とすれば、類似度が大きい領域だけを選択することができる。
 重み付けに基づいて受信光を解析する処理2010が、解析部1910によって実行される。処理2010では、処理2008によって重み付けされた複数の領域における受信光に従って、上述の各実施形態と同様にして干渉マトリックスを求め、干渉マトリックスによって受信光を補正することで当該受信光を解析し、補正された受信光から特定の情報を再生して取得する。
 なお、処理2010に次いで、取得された特定の情報が、図1に沿って上述したように、再生装置150に取得させたい他の情報を特定するための情報であって、例えば、当該他の情報を特定するためのIDであったり、当該他の情報を取得させるためのURLを特定するための情報等であったりする場合には、当該他の情報を保持しているサーバ装置170に、当該特定の情報125に対応するIDやURL等を指定してアクセスし、このアクセスに対するサーバ装置170からの応答として当該他の情報を取得する処理が、解析部1910によって実行されてもよい。さらに、サーバ装置170から他の情報が取得されたりした場合に課金してもよい。
 処理2012によって、図20に示される処理を終える。
 上述の第5実施形態によれば、物体の分光反射率による影響がより少なくなるようにして当該特定の情報を再生することができるので、再生された情報の確からしさが向上する。
 図21に、実施例の再生装置及び照明装置のハードウェア構成が示される。図1に示される再生装置150、及び照明装置110は、図21に図示される一般的なコンピュータ2100の構成を有する。なお、実施例では説明を簡略化するために、再生装置150、及び照明装置110をまとめて図21に沿って説明する。そのため再生装置150、及び照明装置110の各々は別々であっても同じ符号(例えばCPU2102など)を用いて説明する。さらに、後述するように、再生装置150、又は照明装置110何れか一方のみに含まれる構成であっても、図21にまとめて示していることをここに述べておく。
 コンピュータ2100は、Central Processing Unit(CPU)2102、Read Only Memory(ROM)2104、及びRandom Access Memory(RAM)2106を含む。このコンピュータ2100は、さらに、ハードディスク装置2108、入力装置2110、出力装置2112、インタフェース装置2114、及び記録媒体駆動装置2116を含む。そして、再生装置150の場合には、撮像装置2122を含み、投影装置(プロジェクタ)2124を含んでいてもよい。他方、照明装置110の場合には、上述したように光に情報を重畳させる可視光通信において光を発光させる複数の発光素子(LED)を有する発光装置2126を有している。
 なお、上述の各構成要素はバス2120を介して互いに接続されており、CPU2102の管理の下で各種のデータを相互に授受する。
 CPU2102は、このコンピュータ2100全体の動作を制御する演算処理装置であり、コンピュータ2100の制御処理部として機能する。
 ROM2104は、所定の基本制御プログラムが予め記録されている読み出し専用半導体メモリである。CPU2102は、この基本制御プログラムをコンピュータ2100の起動時に読み出して実行することにより、このコンピュータ2100の各構成要素の動作制御が可能になる。
 RAM2106は、CPU2102が各種の制御プログラムを実行する際に、必要に応じて作業用記憶領域として使用する、随時書き込み読み出し可能な半導体メモリである。
 再生装置150の場合には、上述した図7、図10、図13、図14、図17及び図20に示される処理を実行するためのプログラムがRAM2106に読み出され、CPU2102がこのプログラムを実行することによって、再生装置150は、各処理に応じて、図6、図9、図12、図16、及び図19に示される機能を実現する。
 ハードディスク装置2108は、CPU2102によって実行される各種の制御プログラムや各種のデータを記憶しておく記憶装置である。CPU2102は、ハードディスク装置2108に記憶されている所定の制御プログラムを読み出して実行することにより、後述する各種の制御処理を行えるようになる。
 入力装置2110は、例えばマウス装置やキーボード装置であり、コンピュータ2100のユーザにより操作されると、その操作内容に対応付けられている各種情報の入力を取得し、取得した入力情報をCPU2102に送付する。
 出力装置2112は例えば液晶ディスプレイであり、CPU2102から送付される表示データに応じて各種のテキストや画像を表示する。
 インタフェース装置2114は、このコンピュータ2100に接続される各種機器との間での各種情報の授受の管理を行う。インタフェース装置2114は、例えば、NIC(Network Interface Card)である。
 記録媒体駆動装置2116は、可搬型記録媒体2118に記録されている各種の制御プログラムやデータの読み出しを行う装置である。CPU2102は、可搬型記録媒体2118に記録されている所定の制御プログラムを、記録媒体駆動装置2116を介して読み出して実行することによって、後述する各種の制御処理を行うようにすることもできる。なお、可搬型記録媒体2118としては、例えばUSB(Universal Serial Bus)規格のコネクタが備えられているフラッシュメモリ、CD-ROM(Compact Disc Read Only Memory)、DVD-ROM(Digital Versatile Disc Read Only Memory)等がある。
 撮像装置2122は、例えば、CCDあるいはCMOSといった、照明装置110が発する光に感度を有する固体撮像素子の2次元アレイにより形成されるイメージセンサと、そのイメージセンサ上に、撮影範囲の像を結像する結像光学系を有する。撮像装置2122は、受信光を受光している期間に撮像指示を受け取ると、所定の撮影レート(例えば、30フレーム/秒)で撮像を実行し、撮像を行う度に画像を生成する。
 100 情報配信システム
 110 照明装置
 115 照明光
 120 照射光
 125 特定の情報
 130 物体
 135 情報
 140 反射光
 150 再生装置
 170 サーバ装置
 500、800 送信側
 510、810 受信側
 600、900、1200、1620 生成部
 610、930、1230、1610 補正部
 620 復号部
 630、920、1240、1630、1900 取得部
 910 検出部
 1210、1600 推定部
 1220 選択部
 1600 受光部
 1800 画像
 1910 解析部
 2100 コンピュータ
 2102 CPU
 2104 ROM
 2106 RAM
 2108 ハードディスク装置
 2110 入力装置
 2112 出力装置
 2114 インタフェース装置
 2116 記録媒体駆動装置
 2118 可搬型記録媒体
 2120 バス
 2122 撮像装置
 2124 投影装置
 2126 発光装置

Claims (32)

  1.  少なくとも、特定の色空間において特定の振幅を有する複数の信号からなり、情報が重畳された前記複数の信号に基づいて発光された光を受光して、重畳された前記情報を再生する再生装置であって、
     受信光から前記特定の色空間における複数の信号を生成する生成部と、
     生成された前記複数の信号を、前記特定の振幅に基づいて補正する補正部と、
     補正された前記複数の信号に基づいて前記情報を取得する取得部と
    を有することを特徴とする再生装置。
  2.  前記補正部は、前記生成された前記複数の信号の振幅の各々を前記特定の振幅に従い前記特定の色空間における複数の色成分を特定の割合で組み合わせることによって定めた場合の前記特定の割合に従って、前記生成された前記複数の信号の振幅を補正する
    ことを特徴とする請求項1に記載の再生装置。
  3.  前記補正部は、
     前記特定の割合を、前記生成された前記複数の信号の振幅の各々を前記特定の振幅に従い前記特定の色空間における前記複数の色成分の線形結合で表わした場合の、前記線形結合における係数を各成分として含む行列の逆行列を前記生成された前記複数の信号の振幅に乗算することによって、前記生成された前記複数の信号の振幅を補正する
    ことを特徴とする請求項2に記載の再生装置。
  4.  前記生成された前記複数の信号は、前記特定の振幅を有しかつ予め定められた特定の参照信号を有するプリアンブルを有し、
     前記補正部は、前記プリアンブルと前記特定の参照信号との比較に基づいて取得される行列に基づいて、前記生成された複数の信号を補正する
    ことを特徴とする請求項1に記載の再生装置。
  5.  前記特定の参照信号は、色の時系列変化を用いた信号パターンであって、
     前記補正部は、MMSE法、BLAST法、MLD法、SD法、QRM‐MLD法の少なくとも何れか1つに方法によって、前記生成された前記複数の信号を補正する
    ことを特徴とする請求項4に記載の再生装置。
  6.  前記複数の信号の各々が有する前記特定の参照信号の各々は、互いに直交関係にある、又は、同一である
    ことを特徴とする請求項4又は5に記載の再生装置。
  7.  前記生成された前記複数の信号に対して、前記予め定められた特定の信号パターンを時間方向にずらしながら計算された相関に基づいて、前記プリアンブルを検出する検出部
    を有することを特徴とする請求項4~6の何れか1項に記載の再生装置。
  8.  少なくとも、特定の色空間における複数の信号からなり、情報が重畳された前記複数の信号に基づいて発光された光を受光して、重畳された前記情報を再生する再生装置であって、
     受信光の分光分布と既知の分光分布とを比較することによって、前記発光された光を反射する物体の分光反射率を推定する推定部と、
     推定された前記物体の分光反射率に基づいて前記受信光を補正する補正部と、
     補正された前記受信光に基づいて前記情報を取得する取得部と
    を有する
    ことを特徴とする再生装置。
  9.  前記再生装置は、前記受信光から前記特定の色空間における複数の信号を生成する生成部を有し、
     前記補正部は、生成された前記複数の信号を前記推定された前記物体の分光反射率に基づいて補正することで、前記受信光を補正する
    ことを特徴とする請求項8に記載の再生装置。
  10.  前記生成された前記複数の信号を補正するための、複数の分光反射率の各々に対応する行列が予め準備されており、
     前記再生装置は、前記推定された前記物体の分光反射率に対応する行列を前記予め準備された複数の行列から選択する選択部を有し、
     前記補正部は、選択された前記行列に基づいて、前記生成された前記複数の信号を補正する
    ことを特徴とする請求項9に記載の再生装置。
  11.  前記選択部は、前記推定された前記物体の分光反射率に最も類似する分光反射率に関連付けられた行列を、前記予め準備された前記複数の行列から選択する
    ことを特徴とする請求項10に記載の再生装置。
  12.  前記補正部は、前記物体の分光反射率が前記推定部によって推定された場合に、前記推定された前記物体の分光反射率に対応する行列を計算し、計算された前記行列に基づいて、前記生成された前記複数の信号を補正する
    ことを特徴とする請求項9に記載の再生装置。
  13.  前記補正部は、前記受信光を他の色空間によってあらわした場合の各成分を、前記推定された前記物体の分光反射率に基づいて補正することによって、前記受信光を補正し、
     前記再生装置は、
     補正された前記各成分から前記特定の色空間における複数の信号を生成する生成部と、
     生成された前記複数の信号に基づいて前記情報を取得する取得部と
    を有する
    ことを特徴とする請求項8に記載の再生装置。
  14.  前記推定部は、前記既知の分光分布を他の色空間によってあらわした場合の前記他の色空間における各成分と、前記受信光を前記他の色空間によってあらわした場合の前記他の色空間における各成分とを比較することにより、前記受信光の分光分布と前記既知の分光分布とを比較して、前記物体の分光反射率を推定する
    ことを特徴とする請求項9又は13に記載の再生装置。
  15.  前記推定部は、前記受信光における特定の期間の分光分布の平均値と、分光分布が予め定められている前記発光された光の前記分光分布とを比較することによって、前記物体の分光反射率として、前記他の色空間における前記各成分についての反射係数を推定する
    ことを特徴とする請求項9又は13に記載の再生装置。
  16.  前記補正部は、推定された前記反射係数の逆数、または、推定された前記反射係数の逆比に基づいて、前記生成された前記複数の信号を補正する
    ことを特徴とする請求項15に記載の再生装置。
  17.  前記補正部は、推定された前記反射係数の逆数、または、推定された前記反射係数の逆比に基づいて、前記受信光を前記他の色空間によってあらわした場合の前記各成分を補正する
    ことを特徴とする請求項15に記載の再生装置。
  18.  前記装置は、前記受信光により前記物体を撮像する撮像部を有し、
     前記補正部は、前記物体の撮像に伴って受信する前記受信光から生成された前記複数の信号を補正する
    ことを特徴とする請求項1~17の何れか1項に記載の再生装置。
  19.  撮像された前記物体の画像を複数の領域に分割し、前記複数の領域毎の受信光の各々の、分光分布が予め定められている前記発光された光の前記分光分布に対する所定の類似度に応じて、前記複数の領域に重み付けをする解析部
    を有することを特徴とする請求項18に記載の再生装置。
  20.  前記解析部は、前記所定の類似度が閾値以下となる領域に0の重み付けをする
    ことを特徴とする請求項19に記載の再生装置。
  21.  前記受信光は、前記発光された前記光を特定の分光反射率を有する物体に照射した場合の反射光を含む
    ことを特徴とする請求項1~20の何れか1項に記載の再生装置。
  22.  前記取得部によって取得される前記情報は、前記発光された前記光が照射される特定の分光反射率を有する物体に関連する情報であって、
     前記装置は、前記物体に関連する情報によって特定される情報を表示する表示部を有する
    ことを特徴とする請求項1~21の何れか1項に記載の再生装置。
  23.  前記表示部は、撮像された前記物体の画像に前記特定される情報を重畳して表示する
    ことを特徴とする請求項22に記載の再生装置。
  24.  前記取得部によって取得される前記情報は、前記発光された前記光が照射される特定の分光反射率を有する物体に関連する情報であって、
     前記装置は、前記物体に関連する情報によって特定される情報を投影する投影部を有する
    ことを特徴とする請求項1~23の何れか1項に記載の再生装置。
  25.  前記情報は、前記特定の振幅を有する前記複数の信号の位相を変調することによって、前記複数の信号に重畳されている
    ことを特徴とする請求項1~24の何れか1項に記載の再生装置。
  26.  前記再生装置が受光する前記光は、前記情報が重畳された前記複数の信号に特定の変換が施されたことで生成される複数の色成分を含む
    ことを特徴とする請求項1~25の何れか1項に記載の再生装置。
  27.  前記複数の信号はYUV成分のうち少なくとも2つの成分を含み、前記複数の色成分はRGB成分を含む
    ことを特徴とする請求項26に記載の再生装置。
  28.  情報が重畳された前記複数の信号は、前記特定の色空間における複数の色差信号であって、
     前記生成部は、前記受信光から前記特定の色空間における複数の色差信号を生成し、
     前記補正部は、生成された前記複数の色差信号を前記特定の振幅に基づいて補正し、
     前記補正部は、補正された前記複数の色差信号に基づいて前記情報を取得する
    ことを特徴とする請求項1~27の何れか1項に記載の再生装置。
  29.  前記物体に関連する情報によって特定される前記情報の取得状況に応じて課金が発生する
    ことを特徴とする請求22~28に記載の再生装置。
  30.  少なくとも、特定の色空間において特定の振幅を有する複数の信号からなり、情報が重畳された前記複数の信号に基づいて発光された光を受光して、重畳された前記情報を再生する再生方法であって、
     受信光から前記特定の色空間における複数の信号を生成し、
     生成された前記複数の信号を、前記特定の振幅に基づいて補正し、
     補正された前記複数の信号に基づいて前記情報を取得する
    を有することを特徴とする再生方法。
  31.  少なくとも、特定の色空間において特定の振幅を有する複数の信号からなり、情報が重畳された前記複数の信号に基づいて発光された光を受光して、コンピュータに、重畳された前記情報を再生させるプログラムであって、
     前記コンピュータに、
     受信光から前記特定の色空間における複数の信号を生成すること、
     生成された前記複数の信号を、前記特定の振幅に基づいて補正すること、
     補正された前記複数の信号に基づいて前記情報を取得すること
    を実行させることを特徴とするプログラム。
  32.  少なくとも、特定の色空間において特定の振幅を有する複数の信号からなり、情報が重畳された前記複数の信号に基づいて光を発光する照明装置と、
     前記発光された光を受光して、重畳された前記情報を再生する再生装置と
    を有し、
     前記再生装置は、
     受信光から前記特定の色空間における複数の信号を生成する生成部と、
     生成された前記複数の信号を、前記特定の振幅に基づいて補正する補正部と、
     補正された前記複数の信号に基づいて前記情報を取得する取得部と
    を有し、
     取得された前記情報に応じた関連情報を提供する装置
    を有することを特徴とするシステム。
PCT/JP2014/004858 2014-09-22 2014-09-22 再生装置、再生方法、プログラム、及び、システム WO2016046862A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201480082074.2A CN106716875B (zh) 2014-09-22 2014-09-22 再生装置、再生方法以及系统
JP2016549660A JP6455518B2 (ja) 2014-09-22 2014-09-22 再生装置、再生方法、プログラム、及び、システム
PCT/JP2014/004858 WO2016046862A1 (ja) 2014-09-22 2014-09-22 再生装置、再生方法、プログラム、及び、システム
EP14902690.8A EP3200362B1 (en) 2014-09-22 2014-09-22 Reproduction apparatus, reproduction method, program, and system
US15/461,845 US10075239B2 (en) 2014-09-22 2017-03-17 Reproduction device, method, storage medium, and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/004858 WO2016046862A1 (ja) 2014-09-22 2014-09-22 再生装置、再生方法、プログラム、及び、システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/461,845 Continuation US10075239B2 (en) 2014-09-22 2017-03-17 Reproduction device, method, storage medium, and system

Publications (1)

Publication Number Publication Date
WO2016046862A1 true WO2016046862A1 (ja) 2016-03-31

Family

ID=55580428

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/004858 WO2016046862A1 (ja) 2014-09-22 2014-09-22 再生装置、再生方法、プログラム、及び、システム

Country Status (5)

Country Link
US (1) US10075239B2 (ja)
EP (1) EP3200362B1 (ja)
JP (1) JP6455518B2 (ja)
CN (1) CN106716875B (ja)
WO (1) WO2016046862A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019165309A (ja) * 2018-03-19 2019-09-26 富士通株式会社 受信装置、通信システム、受信方法、及び受信プログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10348403B2 (en) * 2015-07-27 2019-07-09 Signify Holding B.V. Light emitting device for generating light with embedded information
JP6897389B2 (ja) * 2017-07-25 2021-06-30 富士通株式会社 判別用コンピュータプログラム、判別装置及び判別方法ならびに通信システム
CN108134629A (zh) * 2017-12-20 2018-06-08 成都光享科技有限公司 一种基于可见光的无线通信方法
JP2019190927A (ja) * 2018-04-23 2019-10-31 キヤノン株式会社 解析システム、撮像装置、および、プログラム
CN109067466A (zh) * 2018-09-30 2018-12-21 京东方科技集团股份有限公司 一种光通信发射器和接收器、发射方法和接收方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008252570A (ja) * 2007-03-30 2008-10-16 Samsung Yokohama Research Institute Co Ltd 可視光送信装置、可視光受信装置、可視光通信システム、及び可視光通信方法
JP2009538071A (ja) * 2006-05-24 2009-10-29 オスラム ゲゼルシャフト ミット ベシュレンクテル ハフツング 少なくとも2つの放射源によるデータ伝送方法および少なくとも2つの放射源によるデータ伝送装置
JP2010098574A (ja) * 2008-10-17 2010-04-30 Samsung Electronics Co Ltd 可視光通信システム、及び可視光通信方法
JP2011254317A (ja) * 2010-06-02 2011-12-15 Sony Corp 送信装置、送信方法、受信装置、受信方法、通信システムおよび通信方法
JP2012114911A (ja) * 2010-11-22 2012-06-14 Pantech Co Ltd 可視光通信システムにおいてクロミナンス情報を用いて通信を行う装置及び方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0310483A (ja) 1989-06-07 1991-01-18 Toshiba Corp 付加信号多重装置および付加信号分離装置
JP4326657B2 (ja) * 2000-01-21 2009-09-09 株式会社日立国際電気 振幅歪み補償方法及び無線通信システム
JP5052286B2 (ja) * 2007-10-19 2012-10-17 オリンパス株式会社 分光特性補正装置、分光特性補正方法
EP2289179B1 (en) 2008-05-06 2017-01-04 Philips Lighting Holding B.V. Light module, illumination system and method incorporating data in light emitted
JP5394843B2 (ja) 2009-07-24 2014-01-22 三星電子株式会社 送信装置、受信装置、可視光通信システム、及び可視光通信方法
JP5410933B2 (ja) 2009-11-27 2014-02-05 三星電子株式会社 可視光通信システム、及び可視光通信方法
WO2011070473A1 (en) * 2009-12-09 2011-06-16 Koninklijke Philips Electronics N.V. Light system for emphasizing objects

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009538071A (ja) * 2006-05-24 2009-10-29 オスラム ゲゼルシャフト ミット ベシュレンクテル ハフツング 少なくとも2つの放射源によるデータ伝送方法および少なくとも2つの放射源によるデータ伝送装置
JP2008252570A (ja) * 2007-03-30 2008-10-16 Samsung Yokohama Research Institute Co Ltd 可視光送信装置、可視光受信装置、可視光通信システム、及び可視光通信方法
JP2010098574A (ja) * 2008-10-17 2010-04-30 Samsung Electronics Co Ltd 可視光通信システム、及び可視光通信方法
JP2011254317A (ja) * 2010-06-02 2011-12-15 Sony Corp 送信装置、送信方法、受信装置、受信方法、通信システムおよび通信方法
JP2012114911A (ja) * 2010-11-22 2012-06-14 Pantech Co Ltd 可視光通信システムにおいてクロミナンス情報を用いて通信を行う装置及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3200362A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019165309A (ja) * 2018-03-19 2019-09-26 富士通株式会社 受信装置、通信システム、受信方法、及び受信プログラム
JP7071626B2 (ja) 2018-03-19 2022-05-19 富士通株式会社 受信装置、通信システム、受信方法、及び受信プログラム

Also Published As

Publication number Publication date
EP3200362B1 (en) 2019-08-21
EP3200362A1 (en) 2017-08-02
CN106716875B (zh) 2019-03-19
CN106716875A (zh) 2017-05-24
JP6455518B2 (ja) 2019-01-23
US10075239B2 (en) 2018-09-11
EP3200362A4 (en) 2017-10-04
US20170195047A1 (en) 2017-07-06
JPWO2016046862A1 (ja) 2017-08-03

Similar Documents

Publication Publication Date Title
JP6455518B2 (ja) 再生装置、再生方法、プログラム、及び、システム
Lee et al. Rollinglight: Enabling line-of-sight light-to-camera communications
US10396894B2 (en) Communication apparatus and method
CN104620519B (zh) 光检测系统和方法
US9203514B2 (en) Transmission system, transmitter and receiver
JP6370777B2 (ja) 能動奥行き検知のためのアフィン不変空間マスクの受信
Hao et al. COBRA: Color barcode streaming for smartphone systems
KR20070117840A (ko) 콘트라스트 개선을 위한 영상 처리 장치 및 영상 처리 방법
CN106464365B (zh) 发送装置、接收装置、通信系统以及发送方法和接收方法
KR102404416B1 (ko) 홀로그램 영상의 특성 측정 장치 및 방법
Yang et al. ARTcode: preserve art and code in any image
US20160112125A1 (en) Apparatus and method for transmitting and receiving visible light data
Shi et al. Reading between lines: High-rate, non-intrusive visual codes within regular videos via implicitcode
JP4917959B2 (ja) 知覚的な鏡面・拡散反射画像推定方法とその装置、及びプログラムと記憶媒体
Yuan et al. Spatially varying radiometric calibration for camera-display messaging
CN105493515B (zh) 在分段之前给内容加水印的方法和系统
Jung et al. Implementation of two-dimensional display field communications for enhancing the achievable data rate in smart-contents transmission
US9865028B2 (en) Information detecting device, information detecting system, and information detecting method
US9210338B2 (en) Image processing device and image processing method, and program
US11228369B2 (en) Receiving apparatus, receiving method, and program
Banik et al. LED color prediction using a boosting neural network model for a visual-MIMO system
Garcia et al. Selection of temporally dithered codes for increasing virtual depth of field in structured light systems
EP3430472B1 (en) Method of producing video images that are independent of the background lighting
Yokar et al. Performance evaluation technique for screen‐to‐camera‐based optical camera communications
Tamang et al. Spectral Domain Based Data-Embedding Mechanisms for Display to Camera Communications. Electronics 2021, 10, 468

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14902690

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016549660

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2014902690

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014902690

Country of ref document: EP