WO2016133285A1 - 롤링 셔터 변조를 이용한 이미지 센서 통신 시스템 및 통신 방법 - Google Patents

롤링 셔터 변조를 이용한 이미지 센서 통신 시스템 및 통신 방법 Download PDF

Info

Publication number
WO2016133285A1
WO2016133285A1 PCT/KR2016/000482 KR2016000482W WO2016133285A1 WO 2016133285 A1 WO2016133285 A1 WO 2016133285A1 KR 2016000482 W KR2016000482 W KR 2016000482W WO 2016133285 A1 WO2016133285 A1 WO 2016133285A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
led
image
frame
rolling shutter
Prior art date
Application number
PCT/KR2016/000482
Other languages
English (en)
French (fr)
Inventor
장영민
뉴엔 트랑반
홍창현
Original Assignee
국민대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020150024036A external-priority patent/KR101625534B1/ko
Priority claimed from KR1020150140416A external-priority patent/KR101651584B1/ko
Priority claimed from KR1020160003125A external-priority patent/KR101952994B1/ko
Priority claimed from KR1020160003128A external-priority patent/KR102020095B1/ko
Priority claimed from KR1020160003866A external-priority patent/KR20170084615A/ko
Priority to US15/551,561 priority Critical patent/US10560188B2/en
Application filed by 국민대학교산학협력단 filed Critical 국민대학교산학협력단
Publication of WO2016133285A1 publication Critical patent/WO2016133285A1/ko
Priority to KR1020187022767A priority patent/KR102092496B1/ko
Priority to US16/069,844 priority patent/US10560193B2/en
Priority to KR1020187022765A priority patent/KR102095668B1/ko
Priority to US16/069,822 priority patent/US10742318B2/en
Priority to PCT/KR2016/013778 priority patent/WO2017122925A2/ko
Priority to PCT/KR2016/013776 priority patent/WO2017122924A1/ko
Priority to KR1020160182991A priority patent/KR101982911B1/ko
Priority to KR1020160183655A priority patent/KR102163977B1/ko
Priority to KR1020170003585A priority patent/KR102041011B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/50—Transmitters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/50—Transmitters
    • H04B10/516—Details of coding or modulation
    • H04B10/548—Phase or frequency modulation
    • H04B10/556—Digital modulation, e.g. differential phase shift keying [DPSK] or frequency shift keying [FSK]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L27/00—Modulated-carrier systems
    • H04L27/10—Frequency-modulated carrier systems, i.e. using frequency-shift keying
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/22—Adaptations for optical transmission

Definitions

  • the present invention relates to an image sensor communication system and method, and more particularly, to an image sensor communication system and an image sensor communication method for performing data communication between an LED sensor as a data transmitter and a rolling shutter type image sensor as a data receiver. will be.
  • Visible light communication a representative lighting communication convergence technology
  • PD photo diode
  • This technology detects digital data 1 or 0 according to (on / off) and delivers the information in a combination thereof.
  • a visible light communication system for photographing a plurality of LEDs using a camera instead of a photodiode and extracting data corresponding to on / off of LEDs acquired for each frame of the camera.
  • visible light communication using a camera is also called an optical camera communication (OCC) system in that it uses a camera instead of a photodiode as an optical receiver, and work for standardization is attempted in the IEEE 802.15.7a research group. have.
  • OCC optical camera communication
  • the rolling shutter camera is an electronic shutter employed in an image sensor, and acquires an image for each frame by combining images captured for each row of the image sensor combined in a plurality of rows.
  • ISC Image Sensor Communication
  • the frame rate of the conventional rolling shutter camera is fixed at 30 fps, the range varies from 20 to 35 fps depending on the actual product.
  • the LED's pulse rate is constant, changes in the camera's frame rate can cause data loss.
  • the rolling shutter camera's frame rate is unstable or changes, or if the camera operates in a situation where the frame rate is not expected to change, data loss occurs because the camera fails to capture an image when the LED is turned on / off between two image frames. There is a problem.
  • the rolling shutter camera starts shooting at an arbitrary time point
  • the on / off timing of the frame and the light source of the rolling shutter camera is asynchronous, which makes it difficult to extract accurate data, as well as the transmitter and the LED and the receiver. If the distance between in-rolling shutter cameras is far, the strength of the transmitted signal is weak, so that the on / off image of the LED cannot be clearly distinguished, so the image signal strength of the pixels of the LED is difficult to use for long distance transmission.
  • An object of the present invention is to provide an image sensor communication system using a light source and a rolling shutter camera which extracts data from an on / off image of a light source by photographing a light source using a rolling shutter camera.
  • Another object of the present invention is to provide an image sensor communication method using an LED and a rolling shutter camera that can prevent loss of transmitted data even when the frame rate of the rolling shutter camera changes.
  • the LED and the rolling shutter camera can improve the accuracy of data transmission by preventing the drop of the frame due to asynchronous between the frame of the rolling shutter camera and the on / off of the LED. It is another object to provide an image sensor communication method using.
  • the present invention modulates a brightness signal for an on / off image of an LED into a frequency domain in an image sensor communication (ISC) system using an LED and a rolling shutter camera between the LED and the rolling shutter camera using a frequency modulated signal. It is an additional object of the present invention to provide an image sensor communication method using a frequency division modulation (FDM) method based on an LED and a rolling shutter camera that enables accurate image sensor communication even in a long distance transmission.
  • FDM frequency division modulation
  • the image sensor communication system a data coding unit for coding the transmission data to be transmitted; An LED turned on / off according to the transmission data coded by the data coding unit; A rolling shutter camera that continuously photographs the on / off image according to the on / off of the LEDs in a plurality of rows by a rolling shutter method; An image processor for generating a brightness signal according to a brightness value of an on / off image of the LED photographed for every row in the rolling shutter camera; And a data extraction unit for extracting the transmission data from the brightness signal of the on / off image of the light source generated by the image processing unit.
  • a packet splitting unit for dividing the input transmission data into a plurality of identical packets
  • SF insertion unit for inserting a start frame (SF) in each of the divided data packets
  • ID inserting unit for inserting identification information (ID) of LED into each data packet inserted with start frame (SF)
  • clock signal generating unit for generating a clock signal, the start frame (SF) and identification information (ID) are inserted
  • An asynchronous symbol inserter for inserting an asynchronous symbol according to the clock signal into each data packet
  • M-FSK coding for allocating a frequency corresponding to the data packet using a predetermined multi-frequency shift modulation (M-FSK) coding table
  • a data coding unit comprising a unit; At least one LED turned on / off according to the allocated frequency in response to a data packet received from the data coding unit; And an image sensor for capturing the on / off image of the LED by a rolling shutter method, and extracting a data packet corresponding to the allocated frequency from
  • An image sensor communication method includes: a coding step of coding a transmission data to be transmitted by a data coding unit and configuring a data frame including the coded transmission data; A driving step of turning on / off the LED to correspond to the data frame according to the pulse frequency in the LED driver; A capturing step of capturing the on / off image of the LED as a continuous shutter image for each of a plurality of rows by a rolling shutter method according to a frame rate in the rolling shutter camera; Generating a brightness signal according to a brightness value of an on / off image of the LED captured by the image processing unit as a continuous frame image for each row; And an extraction step of extracting the transmission data from the brightness signal by an image extractor.
  • the data frame includes a plurality of consecutive superframes divided by the transmission data, and each of the superframes includes N data subframes (N) that are sequentially repeated.
  • Each of the data subframes may include a data packet DP including the coded transmission data, an asynchronous bit Ab added to the front and rear ends of the data packet, and a start frame added to the front end of the front asynchronous bit. SF).
  • a rolling shutter camera may be applied to an image sensor communication system to extract data corresponding to an on / off image according to on / off of a light source.
  • the reliability of data transmission can be improved by accurately detecting the start frame when the image is captured at an arbitrary time point.
  • the present invention since it is possible to set the modulation frequency range for driving the LED suitable for the image sensor communication (ISC) using the LED and the rolling shutter camera, and to efficiently recover the data, even if the frame rate of the rolling shutter camera changes, Data loss can be prevented.
  • ISC image sensor communication
  • the brightness signal of the on / off image of the LED is divided into frequency division modulation (FDM), phase shift modulation (PSK) and frequency shift modulation (FSK).
  • FDM frequency division modulation
  • PSK phase shift modulation
  • FSK frequency shift modulation
  • FIG. 1 is a view for explaining a process of capturing an on / off image of a light source in a rolling shutter camera according to the present invention
  • FIG. 2 is an exemplary view of an on / off image of a light source captured by a rolling shutter camera according to the present invention
  • FIG. 3 is a configuration diagram of an image sensor communication system using a rolling shutter camera according to an embodiment of the present invention
  • FIG. 4 is a view for explaining the principle of generating a brightness signal in the image processing unit according to an embodiment of the present invention
  • FIG. 5 is a diagram illustrating a process of extracting transmission data from a brightness signal for an on / off image of a light source according to an embodiment of the present invention
  • FIG. 6 is a diagram illustrating a process of extracting transmission data from a brightness signal for an on / off image of a light source according to another embodiment of the present invention.
  • FIG. 7 is a structural diagram of a data frame according to transmission data in an image sensor communication (ISC) system according to an embodiment of the present invention.
  • ISC image sensor communication
  • FIG. 8 is a schematic diagram illustrating a process of extracting transmission data from a rolling shutter camera of an image sensor communication (ISC) system according to an embodiment of the present invention
  • FIG. 10 is a flowchart showing an image sensor communication method using an LED and a rolling shutter camera according to an embodiment of the present invention
  • FIG. 11 is a flowchart illustrating a process of extracting transmission data from a data extracting unit during image sensor communication using an LED and a rolling shutter camera according to an embodiment of the present invention
  • FIG. 12 is a flowchart illustrating a process of extracting transmission data during image sensor communication using an LED and a rolling shutter camera according to another embodiment of the present invention
  • FIG. 13 is a configuration diagram of an image sensor communication system between an LED and a rolling shutter camera using multi-frequency shift modulation (M-FSK) according to another embodiment of the present invention.
  • M-FSK multi-frequency shift modulation
  • FIG. 14 is a structural diagram of a data frame according to an embodiment of the present invention.
  • 15 is an exemplary view of an image frame captured by a rolling shutter camera according to an embodiment of the present invention.
  • 16 is an exemplary diagram of a data packet having an asynchronous symbol inserted according to an embodiment of the present invention.
  • 17 is an exemplary diagram of a frequency allocated according to an asynchronous symbol of a data subframe and a bit value of a data packet according to an embodiment of the present invention
  • FIG. 20 is an exemplary diagram of frequencies allocated according to asynchronous symbols of a data subframe and bit values of a data packet according to FIG. 19;
  • 21 is a graph showing an interval of an FFT peak according to another embodiment of the present invention.
  • 22 is an exemplary diagram of frequencies allocated according to asynchronous symbols of a data subframe and bit values of a data packet according to FIG. 21;
  • 23 is a conceptual diagram schematically illustrating a data transmission and reception process in an image sensor communication system according to an embodiment of the present invention.
  • 24 is a flowchart illustrating an image sensor communication method according to an embodiment of the present invention.
  • 25 and 26 is a design and layout structure of an LED according to an embodiment of the present invention.
  • 27 is a view for explaining the identification process of the LED connected in the rolling shutter camera according to the present invention.
  • 29 is a block diagram of a symbol of compatible M-FSK coding according to the present invention.
  • FIG. 30 is an ID broadcasting frame structure diagram having compatibility support subframes according to the present invention.
  • 31 is a view illustrating a plurality of LED arrangements according to the present invention.
  • 32 is a structure diagram of an ID broadcasting frame having an ID for each zone
  • 34 is a data frame structure diagram having compatibility support subframes according to an embodiment of the present invention.
  • 35 is a mapping process for generating a discrete waveform and detecting phase and dimming level according to an embodiment of the present invention
  • 36 is a graph illustrating delay differences between dimming signals for controlling LEDs according to the present invention.
  • FIG. 37 is a diagram illustrating a design of an LED tube for M-PSK according to an embodiment of the present invention.
  • 38 is a diagram illustrating a design of an LED lighting system of 2-PSK and M-FSK using a dual LED tube according to an embodiment of the present invention
  • 39 is a structural diagram of an LED group receiver using a complex modulation technique of 2-PSK and M-FSK according to an embodiment of the present invention.
  • FIG. 40 is a diagram illustrating a design of an LED lighting system for 2-PSK and M-FSK using a 3-LED tube set according to another embodiment of the present invention.
  • FIG. 41 is a diagram showing that one of the LEDs in 2-PSK using 3-LEDs in FIG. 40 is for reference for mitigating a rolling effect
  • FIG. 42 is a structural diagram of an LED group receiver using a complex modulation technique of 2-PSK and M-FSK according to an embodiment of the present invention
  • FIG. 43 is a diagram illustrating a design of an LED lighting system for 4-PSK and M-FSK using a 4-LED tube set according to another embodiment of the present invention.
  • FIG. 44 shows that one of the LEDs in 2-PSK using 4-LEDs in FIG. 43 is for reference to mitigate the rolling effect.
  • first, second, A, B, (a), and (b) may be used. These terms are only to distinguish the components from other components, and the nature, order, order, etc. of the components are not limited by the terms. If a component is described as being “connected”, “coupled” or “connected” to another component, that component may be directly connected or connected to that other component, but there may be another component between each component. It will be understood that may be “connected”, “coupled” or “connected”.
  • 1 is a view for explaining the process of capturing the on / off image of the LED in the rolling shutter camera according to the present invention.
  • the rolling shutter camera captures and captures an image for each of a plurality of rows during one capture time 10.
  • row-by-row image capturing is performed using a non-linear scan method with a predetermined time interval. This exposes each row of an image sensor (not shown) provided inside the camera for a predetermined integration time 11, but exposes a predetermined time interval for each row.
  • the last exposure time of the first row and the last exposure time of the last row are called frame time 12 and the exposure time and the frame time become the capturing time 10.
  • Figure 2 is an exemplary view of the on / off image of the LED captured by the rolling shutter camera according to the present invention.
  • the rolling shutter camera photographs the LED while the LED according to the present invention is turned on / off.
  • the figure shows an example of capturing an on / off image every multiple rows in a rolling shutter camera while one LED is on and off as an example.
  • the image captured during the capture time is shown as white (W) when the LED is on (on) and black (B) when off.
  • the brightness values of the white (W) and the black (B) may be different in the process of turning on or off the LED.
  • the brightness value may be halfway between white (W) and black (B) when capturing while the LED is turned off.
  • the captured image is as shown in (b) of FIG.
  • FIG. 3 is a block diagram of an image sensor communication (ISC) system using a rolling shutter camera according to an embodiment of the present invention.
  • ISC image sensor communication
  • the image sensor communication system 100 using the rolling shutter camera includes a data coding unit 110, an LED 120, a rolling shutter camera 130, an image processing unit 140, and data extraction. It is configured to include a portion 150.
  • the data coding unit 110 codes transmission data to be transmitted in an image sensor communication (ISC) system.
  • ISC image sensor communication
  • Such coding can be implemented in a variety of ways. For example, when the transmission data to be transmitted is 1, the LED 120 may be turned on, and when the transmission data is 0, the LED 120 may be turned off. This example may be set differently according to the frequency pulse of the LED 120. For example, when the transmission data is 1, the LED may correspond to on-on, and when the transmission data is 0, the LED may correspond to off-off. As such, in the present invention, the data coding unit 110 matches the on / off states of the LEDs corresponding to the transmission data with each other so that the transmission data is transmitted through the on / off of the LEDs in the future.
  • LED 120 serves as a transmitter in an image sensor communication system. At least one LED 120 is provided and is turned on or off at a predetermined pulse rate according to the transmission data coded by the data coding unit 110. According to an embodiment, when the LED 120 is provided in plural numbers, the LEDs 120 may be arranged in 1 ⁇ N, may be arranged in M ⁇ 1, and may be preferably arranged in M ⁇ N. Of course, it can be arranged in a variety of forms, such as circular, radial, oval. When the pulse rate at which the LED 110 is turned on / off is 110 times or more per second, the LED 110 does not distinguish the on / off state with a human eye and recognizes that the state is on. This pulse rate can of course be adjusted.
  • the rolling shutter camera 130 serves as a receiver in the image sensor communication system.
  • the rolling shutter camera 130 captures an on / off image of the LEDs for each of a plurality of rows by the rolling shutter method of the LEDs 120 that are turned on / off.
  • an image sensor for capturing an image by a rolling shutter method is provided therein, and each row of the image sensor is sequentially exposed.
  • the white band and the black band are set to represent 1 and 0 as data, respectively. In this way, multiple data reception is possible in one frame.
  • the image sensor for example, a CMOS sensor can be used.
  • the rolling shutter camera 130 may start photographing at any time while the LED 120 is turned on or off. In this case, it is necessary to distinguish the start frame from the data frame from the captured image. This will be described in detail below.
  • the rolling shutter camera 130 may include a camera mounted on a digital camera, a mobile phone or a smart device.
  • the image processor 140 generates a brightness signal according to the brightness value of the on / off image of the LED 120 photographed by each row in the rolling shutter camera 130.
  • the LED 120 is displayed as a white band and a black band in the process of being turned on or off, and the brightness value of each band may be different. That is, the color that appears according to the on / off of the LED 120 may be displayed as a brightness value of 0 ⁇ 255, for example.
  • the white band may represent a brightness value of 255 and the black band may represent a brightness value of 0.
  • the range of these brightness values can be changed.
  • the brightness value is white band and black band when capturing while the LED 120 is turned from the off state to the on state. It can be a medium band of. This can be represented by a brightness value between 0 and 255. Accordingly, the image processor 140 generates a brightness signal corresponding to each brightness level of each band according to the on / off image of the LED 120 photographed for each row. At this time, since the LED 120 is continuously turned on or off according to a preset frequency pulse, the brightness signal of the on / off image has a continuous value for each row.
  • the data extractor 150 extracts transmission data from the brightness signal of the on / off image of the LED 120 generated by the image processor 140. This is to restore the transmission data coded in the on / off image of the LED 120 in the data coding unit 110.
  • the transmission data to be transmitted by the data coding unit 110 is 1, the LED 120 corresponds to on, and when the transmission data is 0, the LED 120 corresponds to off.
  • the data extraction unit 150 extracts 1 from the on image of the LED 120 and 0 from the off image.
  • the transmission data is extracted using the brightness value from the brightness signal of the on / off image of the LED 120. Specifically, the gradient of the brightness signal, that is, the combination of the rising and falling of the brightness signal is extracted.
  • FIG. 4 is a view for explaining the principle of generating a brightness signal in the image processing unit according to an embodiment of the present invention.
  • the rolling shutter camera 130 captures an image with a white band (W) and a black band (B) every multiple rows while the LED 10 is on or off.
  • W white band
  • B black band
  • the drawing shows five columns as an example, and shows an example in which the bands of W, B, W, W, and B are captured, respectively.
  • W is a white band
  • B is the black band
  • the brightness value is, for example, 0.
  • These brightness values may be set differently.
  • a brightness signal with respect to the brightness value as shown on the right side can be generated.
  • the brightness signal shown on the right has described an ideal example, and the brightness value has an arbitrary value between 0 and 255 while the LED 120 is on and off.
  • the brightness value when photographing in any row while the LED 120 changes from the on state to the off state, it may have a brightness value of 175, for example. It appears in a color halfway between white and black.
  • the brightness signal according to the brightness value may be represented as shown in FIGS. 5 and 6 when each row is represented.
  • FIG. 5 is a view illustrating a process of extracting transmission data from a brightness signal for an on / off image of an LED according to an embodiment of the present invention
  • FIG. 6 is an on / off LED according to another embodiment of the present invention. A process of extracting transmission data from a brightness signal for an image is shown.
  • the horizontal axis represents a row and the vertical axis represents a relative value of the brightness value.
  • the vertical axis represents a relative value of the brightness value.
  • the white band is set to 255 and the black band is set to 0
  • the larger the relative value is on the vertical axis, the closer to the white band, that is, the 255, and the smaller the relative value, the closer the black band, that is, the zero.
  • the image processor 140 displays the brightness signal according to each row from the brightness value as shown in FIGS. 5 and 6. To generate. In FIG.
  • the LED 120 of the start frame is distinguished by using the on / off time of the LED 120 to distinguish the start frame (SF) from the transmission data.
  • the on or off time interval and the on or off time interval of the LED 120 for transmission data are set differently.
  • the start frame A implements a relatively long time to turn on
  • the transmission data B implements a relatively short time to turn on.
  • these relative time lengths may be reversed.
  • the difference in time interval between the start frame A and the transmission data B is for distinguishing from which part the transmission data starts while the LED 120 is continuously turned on or off. Accordingly, in FIG.
  • the data extractor 140 extracts the transmission data using the slope of the brightness signal at the same brightness value preset for each of the rows from the brightness signals generated for each of the plurality of rows. Specifically, the transmission data is extracted by a combination of rising and falling of the brightness signal at the same brightness value which is preset. For example, in FIG. 5, the brightness value at which the red dot and the green dot are located is set, and the slope of the brightness signal at the corresponding brightness value, that is, the slope value has a positive value at the red point, and the slope value at the green point is ( ⁇ ). ) Value.
  • the combination of the (+) gradient value at the red point at the predetermined brightness value and the (-) slope value at the next green point can be used to extract transmission data in some rows.
  • the brightness signal at B has a white band formed at about 140 to 160th column. It can be seen that the LED 120 is turned on in the 140th to 160th columns. In addition, in the about 160 to 175th column, since the brightness signal falls, the LED 120 is photographed in the corresponding column while the LED 120 is changed from on to off. As such, in the data extracting unit 150, if the slope of the brightness signal at the predetermined brightness value rises in the brightness signal of the on / off image of the LED 120, and if there is a falling portion following the rising part, these two parts are present.
  • the predetermined brightness value is determined as the brightness value from the brightness signal. That is, if the brightness value is set too high or too low, there may be a portion where the brightness value exists.
  • the red and green dots shown in FIG. 5 correspond to the brightness signals, it is preferable to set the brightness values corresponding to all the brightness signals.
  • the data extracting unit 150 transmits data by combining a maximum brightness value Max and a minimum brightness value Min for each row in the brightness signals generated for each row. Extract That is, the transmission data may be extracted by combining a portion of the brightness signal appearing after the start frame with the maximum brightness value Max and a portion with the minimum brightness value appearing later. This may allow the transmission data 1 to be extracted from these two values if the maximum value Max of the brightness value and the minimum value Min thereafter appear. On the contrary, if the maximum value Max appears after the minimum value Min of the brightness value, the transmission data 0 may be extracted.
  • FIG. 7 is a structural diagram of a data frame according to transmission data in an image sensor communication (ISC) system according to an embodiment of the present invention.
  • ISC image sensor communication
  • each superframe 20 includes each of the transmission data in each superframe 20 when the transmission data is different, for example, when the LED 130 wants to transmit other transmission data. Therefore, each superframe 20 includes different transmission data.
  • the data subframe (DS) 21 includes transmission data to be transmitted by the ISC system 100.
  • N natural number
  • the data subframe (DS) 21 includes transmission data to be transmitted by the ISC system 100.
  • the frame rate of the shutter camera 130 is variable so that the entire data can be extracted even if the entire transmission data is not captured at once in the captured frame image.
  • each data subframe 21 includes a start frame (SF), two asynchronous bits (Ab), and a data packet (DP).
  • the start frame SF and the asynchronous bit Ab are preferably 1 bit in consideration of the capacity of the data frame.
  • the asynchronous bit Ab serves to distinguish the superframe 20 and to distinguish the data packet DP in the data subframe 21.
  • the data packet DP includes transmission data to be transmitted by the ISC system 100.
  • the asynchronous bit Ab is alternately inserted into 1 and 0, which are 1 bit.
  • the asynchronous bit Ab serves as an identifier for distinguishing between neighboring superframes 20.
  • the transmission data to be transmitted is included in the data subframe (DS) 21, and the data subframe 21 is repeatedly arranged N times in succession to form one superframe 20. Do it.
  • the superframe is repeated N times for each transmission data, and each superframe includes different transmission data.
  • the structure of such a data frame is to code the transmission data to be transmitted by the data coding unit 110 into a data frame. That is, the data coding unit 110 uses the data packet DP, the start frame SF, and the asynchronous bit Ab to transmit the transmission data to be transmitted according to the data frame structure proposed in the present embodiment. Is to code a frame. This is proposed to efficiently extract transmission data from the on / off image of the LED 130 photographed by the rolling shutter camera 140. A process of extracting transmission data from the data extractor using the data frame structure will be described in detail with reference to FIG. 3.
  • FIG. 8 is a schematic diagram illustrating a process of extracting transmission data from a rolling shutter camera of an image sensor communication (ISC) system according to an embodiment of the present invention.
  • ISC image sensor communication
  • two superframes 20a, 20b, and 20c are shown as examples for convenience of description, and two data subframes 21a, 21b, and 21c are respectively shown in each of the superframes 20a, 20b, and 20c.
  • FIG. 8 is a continuous shutter in the first to third frame images (image # 1 to image # 3) of the rolling shutter camera 140 to explain the data subframe extraction process by combining two frame images.
  • An example of capturing a data subframe DS is shown. Specifically, the first data subframe 201a of the first superframe 20a is captured in the first frame image image # 1, and the first superframe 20a is captured in the second frame image image # 2. Captures the second data subframe 202a and the first data subframe 201b of the second superframe 20b, and the second of the second superframe 20b in the third frame image (image # 3). An example of capturing the data subframe 202b and the first data subframe 201c of the third superframe 20c is shown.
  • the data extractor 160 checks the start frame SF and the asynchronous bit Ab in the data subframe of the superframe, in order to extract the data packets included in each of the superframes 20a, 20b, and 20c. do.
  • the rolling shutter camera 140 acquires a frame image at an arbitrary time point, it may occur that the start frame and the asynchronous bit Ab of the data subframe cannot be identified in one frame image.
  • the start frame SF, the asynchronous bit Ab of the front end, and the first superframe 20a are captured in the first frame image (image # 1).
  • the second data subframe 201b of the first superframe 20a is combined to determine the first superframe 20a.
  • the data subframe 21a is extracted.
  • the data subframe 21a may be identified as the asynchronous bit Ab of the rear end of the data packet DP.
  • the second superframe 20b is similarly applied. That is, after confirming the start frame SF and the asynchronous bit Ab at the front end of the captured second frame image (image # 2), the second data subframe 21b of the second superframe 20b and subsequent capturing are captured. The data subframe 21b of the second superframe 20b is extracted by combining the first data subframe 21c of the second superframe 20b in the third frame image image # 3. Of course, this data subframe 21b is also confirmed by the asynchronous bit Ab added to the rear end of the data packet DP.
  • FIG. 8A illustrates an example in which the rolling shutter camera 140 captures the LED 130 at an arbitrary point in time to capture an on / off image from a frame image.
  • data subframes can be extracted. That is, the data subframe can be extracted by combining two frame images according to the photographing time point and the frame rate.
  • the rolling shutter camera 140 captures the first data subframe 201a and the second data subframe 202a of the first superframe 20a from the first frame image (image # 1), and the second An example of capturing the first data subframe 201b and the second data subframe 202b of the second superframe 20b in the frame image # 2 is illustrated.
  • the data extractor 160 first checks the start frame SF and the asynchronous bit Ab in the data subframe of the superframe captured in the first frame image image # 1. That is, the start frame SF of the data subframe 201a of the first superframe 20a captured in the first frame image image # 1 and the asynchronous bit Ab of the previous stage are checked, and this start frame ( The data subframe 21a of the first superframe 20a is extracted by combining the data subframe 201a at the front end of the SF and the data subframe 202a after the asynchronous bit Ab at the front end. In this case, the data subframe 21a may be identified by the asynchronous bit Ab of the rear end of the data packet DP.
  • the transmission data is extracted from the data packet DP located between them. Just do it.
  • the data packet DP and the non-aeration bit of the front end thereof in one frame image There is a high probability that neither (Ab) nor the asynchronous bit (Ab) at the rear end exist.
  • the data packet inside the data may be extracted by combining the data subframes of the data frames captured by the rolling shutter camera 140 in each frame image, thereby extracting the transmission data.
  • Such data extraction may be performed by extracting data by two frame images as shown in FIG. 8A and by extracting one frame image as shown in FIG. 8B.
  • at least one data subframe must be captured for each frame image in the present invention.
  • the number Nrepeats of capturing data subframes per frame image must satisfy the following equation.
  • tcap is a capture time when one frame image is exposed in a rolling shutter camera
  • N is the number of data subframes (DS) repeated in a superframe
  • DSlength is the length of a data subframe.
  • FIG. 9 is an amplitude response pattern of a rolling shutter camera with respect to the pulse frequency of the LED in the image sensor communication (ISC) system according to an embodiment of the present invention.
  • the LED 130 is driven according to the pulse frequency set by the LED driver 120 in the ISC system according to the present invention.
  • the on / off driving of the LED 130 should be avoided to flicker (safe to the human eye).
  • the pulse frequency for the on / off of the LED 130 should be high enough.
  • the pulse frequency of the LED 130 should be at least 100 Hz.
  • the frame rate of the rolling shutter camera 140 applied to the ISC system is approximately 30 fps, which is a considerably lower speed than the pulse frequency of the LED 130 in kHz. As such, the frame rate of the rolling shutter camera 140, which is a receiver, is very low compared to the on / off flickering speed of the LED 130.
  • the sampling rate of the captured frame image is set to the shutter speed, not the frame rate. That is, the shutter speed of the rolling shutter camera 140 is in units of kHz, and is high enough to easily record the change of state of the LED 130 according to data transmission.
  • FIG. 9 is a graph of an experimental result of how the rolling shutter camera 140 reacts to the blinking LED 130 to extract a pulse frequency range suitable for the rolling shutter camera 140 as a receiver.
  • the amplitude response pattern according to the pulse frequency is shown in a state where the distance d to the rolling shutter camera 140 is kept constant. It can be seen from FIG. 10 that the response of the rolling shutter camera 140 is small at a high pulse frequency, and the rolling shutter camera 140 cannot record a signal at a pulse frequency higher than the shutter speed. Therefore, it is preferable to set the on / off pulse frequency of the LED 130 according to the present invention within a shutter speed of the rolling shutter camera 140.
  • the general rolling shutter camera 140 has a shutter speed of 4 s, it is preferable to set the range of 100 s to 4 s in this embodiment.
  • this is only an example, and in the case of the rolling shutter camera 140 having a shutter speed higher than that, the pulse frequency of the LED 130 may be further extended.
  • FIG. 10 is a flowchart illustrating an image sensor communication method using an LED and a rolling shutter camera according to an exemplary embodiment of the present invention.
  • the data coding unit 110 codes transmission data to be transmitted and configures a data frame including the coded transmission data (S101). ).
  • N natural numbers
  • DS data subframes 21.
  • each data subframe 21 includes a data packet DP including the transmission data coded as described above, an asynchronous bit Ab added to the front and rear ends of the data packet DP, and a front asynchronous bit. It consists of a starting frame (SF) added to the front end.
  • SF starting frame
  • the LED 130 is turned on / off to correspond to the data frame according to the pulse frequency set by the LED driver 120 (S103).
  • the LED 130 is turned on / off to correspond to the data frame including the transmission data.
  • the first subframe 21 is turned on / off to correspond to the start frame SF, the front asynchronous bit Ab, the data packet DP, and the rear asynchronous bit Ab.
  • the data subframe 21 is turned on / off to be repeated N preset times, and further, it is turned on / off to be classified by superframe.
  • the on / off image of the LED 130 is captured as a continuous frame image for each row in a rolling shutter method (S105).
  • the rolling shutter camera 140 captures and captures an image every multiple rows during one capture time 10.
  • row-by-row image capturing is performed using a non-linear scan method with a predetermined time interval. This exposes each row of an image sensor (not shown) provided inside the camera sequentially for a predetermined integration time, but exposes each row at a predetermined time interval.
  • the last exposure time of the first row and the last exposure time of the last row are called the frame time, and the exposure time and the frame time become the capturing time.
  • the image processing unit 150 generates a brightness signal according to the brightness value of the on / off image of the LED 130 captured as a continuous frame image for each row (S107), and the data extracting unit 160 The transmission data is extracted from the brightness signal (S109).
  • FIG. 11 is a flowchart illustrating a process of extracting transmission data from a data extracting unit during image sensor communication using an LED and a rolling shutter camera according to an embodiment of the present invention.
  • a start bit SF and an asynchronous bit Ab in front of one first frame image captured by the data extractor 160 are extracted. It is extracted (S201). Subsequently, the data packet DP located at the rear end of the asynchronous bit Ab at the front end is extracted (S203). Subsequently, it is determined whether there is a trailing asynchronous bit Ab at the rear end of the data packet DP in the first frame image (S205), and if there is, the transmission data is extracted from the data packet DP (S207). The asynchronous bit Ab of the next stage is extracted from the second frame image of the neighbor captured successively in one frame image (S209).
  • the transmission data is extracted by combining the data packet DP extracted from the first frame image and the data packet DP extracted from the second frame image (S215). As a result, the transmission data is extracted from two neighboring frame images.
  • FIG. 12 is a flowchart illustrating a process of extracting transmission data during image sensor communication using an LED and a rolling shutter camera according to another embodiment of the present invention.
  • the start frame SF and the asynchronous bit Ab of the front end are extracted from one first frame image captured by the data extractor 160 (S301).
  • step S303 the data packet DP located at the rear end of the asynchronous bit Ab in front is extracted.
  • step S305 it is determined whether there is a trailing asynchronous bit Ab at the rear end of the data packet DP (S305). If so, the transmission data is extracted from the data packet DP (S307). It is determined whether there is a trailing asynchronous bit Ab at the front end of the start frame SF (S309).
  • the transmission data is extracted by combining the data packets DP extracted in step S303 (S311). It checks the start frame (SF) and the asynchronous bit (Ab) at the front of one frame image so that the data packet at the front of the start frame (SF) and the data packet at the rear of the asynchronous bit (Ab) at the front By extracting the transmission data from the DP, the transmission data is extracted by one frame image.
  • FIG. 13 is a configuration diagram of an image sensor communication system between an LED and a rolling shutter camera using multi-frequency shift modulation (M-FSK) according to another embodiment of the present invention.
  • M-FSK multi-frequency shift modulation
  • an image sensor communication system (hereinafter, referred to as an image sensor communication system) 100 between an LED and a rolling shutter camera using multiple frequency shift keying (M-FSK) according to the present invention is large.
  • the data coding unit 110 includes at least one LED 120 and a rolling shutter camera 130.
  • the data coding unit 110 may include a packet splitting unit 111 for dividing input transmission data into a plurality of identical packets, an SF inserting unit 112 for inserting a start frame (SF) into each divided data packet, ID inserting unit 113 for inserting identification information (ID) for distinguishing LED into each data packet into which start frame SF is inserted, clock signal generator 114 for generating a clock signal, and start frame SF And an asynchronous symbol inserting unit 115 for inserting an asynchronous symbol according to a clock signal generated in each data packet into which identification information (ID) is inserted, and using a preset M-FSK coding table.
  • M-FSK coding unit 116 for assigning a frequency corresponding to the data packet.
  • the data coding unit 110 functions to code data to correspond to transmission data to be transmitted through on / off of the LED 120.
  • the packet splitting unit 111 divides the transmission data input from the outside into a plurality of identical packets. This is to divide serially input data into packets of the same size in order to transmit a packet unit.
  • the SF insertion unit 112 inserts a start frame of a predetermined bit into each packet of the divided data. It may be used as an index for identifying the start of the data packet of the start frame 112. In order to reduce the capacity of the data packet, it is preferable to insert a start frame of 1 bit.
  • ID insertion unit 113 is to insert the identification information (ID) of the corresponding LED to distinguish which of the at least one LED data packet corresponding to the LED.
  • Identification information (ID) is also preferably inserted in 1 bit in consideration of the capacity of the data packet. If one LED is applied, identification information ID may or may not be inserted.
  • the clock signal generator 114 generates a clock signal. This is used to separately insert asynchronous symbols because the frame rate of the image sensor 131 of the rolling shutter camera 130 according to the present invention changes. That is, an asynchronous symbol is inserted corresponding to the clock signal and is inserted with a different value for each clock signal adjacent to each other.
  • the asynchronous symbol inserting unit 115 applies an asynchronous symbol to each data packet into which the start frame SF and the identification information ID are inserted as described above according to the clock signal generated by the clock signal generating unit 114. Insert it.
  • This asynchronous symbol can be an important index for determining the image frame when the frame rate of the image sensor changes. This is described in detail below.
  • a plurality of frequencies are set according to the asynchronous symbol and the bit value of the data packet. This assumes that the LED according to the invention is on / off at a number of multiple frequencies. That is, the corresponding data is transmitted by turning on / off at a plurality of frequencies.
  • the bit values of the asynchronous symbol and the data packet are preset in the M-FSK coding table for each frequency. Accordingly, in the present invention, the M-FSK coding unit 116 allocates a frequency corresponding to the data packet to be transmitted using the M-FSK coding table.
  • the LED 120 is provided with at least one.
  • the LED 120 serves as a transmitter in the image sensor communication system 100 according to the present invention.
  • the LED 120 is turned on or off at a pulse rate of the frequency allocated above in response to the transmission data coded by the data coding unit 110. Data is transmitted according to this on / off.
  • the LEDs 120 may be arranged in 1 ⁇ N, may be arranged in M ⁇ 1, and may be preferably arranged in M ⁇ N. Of course, it can be arranged in a variety of forms, such as circular, radial, oval.
  • the LED 120 recognizes that when the pulse rate being turned on / off is 110 times or more per second, the human eye does not distinguish the on / off state and continues to be on. This pulse rate can of course be adjusted.
  • the LED 120 is representatively described as a transmitter for transmitting data by irradiating light, but the present invention is not limited thereto, and any light source capable of transmitting data through on / off is within the scope of the present invention. Incidentally, in the present invention, it is apparent that all of these light sources are represented by LED.
  • Rolling shutter camera 130 is the image sensor 131 for capturing the on / off image of the LED 120 by the rolling shutter method, the preset M-FSK coding table from the on / off image captured by the image sensor 131
  • the M-FSK decoding unit 132 extracts a data packet corresponding to the allocated frequency by using the transmission data extractor 133, which extracts transmission data from the extracted data packet.
  • the rolling shutter camera 130 may include a camera mounted on a digital camera, a mobile phone, or a smart device.
  • the rolling shutter camera 130 basically captures and captures an image every multiple rows during one capture time. At this time, row-by-row image capturing is performed using a non-linear scan method with a predetermined time interval. This exposes each row of the rolling shutter type image sensor 131 provided inside the camera for a predetermined integration time sequentially, and exposes each row at a predetermined time interval. In this case, the last exposure time of the first row and the last exposure time of the last row are called frame time, and the exposure time and the frame time become the capturing time.
  • the rolling shutter camera 130 photographs the LED 120 while the LED 120 is turned on / off. That is, while the LED 120 is on and off, the rolling shutter camera captures an on / off image every multiple rows.
  • the rolling shutter camera 130 serves as a receiver in the image sensor communication system 100.
  • Rolling shutter camera 130 is provided with an image sensor 131 for capturing the image in a rolling shutter method in order to capture the on / off image of the LED 120, each row of the image sensor (row) sequentially Exposed to shoot the LED (120).
  • the image sensor 131 for example, a CMOS semiconductor sensor may be used.
  • the M-FSK decoding unit 132 uses the preset M-FSK coding table from the on / off image of the LED 120 captured by the image sensor 131 as described above to obtain a data packet corresponding to the assigned frequency. Extract. Specifically, after extracting the asynchronous symbol and the data packet corresponding to the clock signal by checking and excluding the start frame SF and the identification information ID from the transmitted data frame, only the data packet except the asynchronous symbol is extracted. The extraction of the data packet is to confirm the frequencies assigned to each LED 120, and to extract the asynchronous symbols and data packets corresponding to these frequencies from the preset M-FSK coding table. This will be described in detail below.
  • the transmission data extraction unit 133 extracts transmission data from the extracted data packet as described above.
  • the transmission data extractor 133 may include a white band and a black band that appear when the rolling shutter method of the image sensor 131 captures an image of the LED 120 on or off. Extract the transmission data from the brightness values that appear differently for each (black band). That is, the color that appears according to the on / off of the LED 120 may be displayed as a brightness value of 0 ⁇ 255, for example.
  • the white band may represent a brightness value of 255 and the black band may represent a brightness value of 0.
  • the range of these brightness values can be changed.
  • the LED 120 may change from the off state to the on state or the off state from the on state when the image is captured at an arbitrary time point.
  • the value can be the halftone band of the white and black bands. This can be represented by a brightness value between 0 and 255. Since the LED 120 is continuously turned on or off according to the assigned frequency, the brightness signal of the on / off image has a continuous value for each row.
  • the transmission data extraction unit 133 is to extract the transmission data from the brightness signal of the on / off image of the LED (120).
  • each LED 120 may further include a dimming control unit (not shown) for performing dimming control by adjusting a duty ratio between on and off.
  • a dimming control unit for performing dimming control by adjusting a duty ratio between on and off.
  • dimming control may also be performed by selectively adjusting the duty ratio.
  • FIG. 14 is a structural diagram of a data frame according to an embodiment of the present invention.
  • the data frame structure according to the present invention includes a start frame SF and identification information ID of the LED 120.
  • the start frame SF and the identification information ID are preferably 1 bit in consideration of the capacity of the data frame. This is followed by a number of data subframes. Each data subframe contains asynchronous symbols and data packets. These asynchronous symbols are inserted in accordance with the clock signal. For example, in the present invention, it is preferable to alternately insert 1 bit and 1 bit according to the clock signal.
  • 15 is an exemplary view of an image frame captured by a rolling shutter camera according to an embodiment of the present invention.
  • a plurality of image frames are captured in response to a clock signal.
  • the image sensor 131 according to the present invention since the image sensor 131 according to the present invention has a variable frame rate, two image frames are captured at the first clock and three image frames are captured at the second clock. Can be.
  • the frame rate of the image sensor 131 is fixed, the same number of image frames are captured for each clock.
  • the frame rate of the image sensor 131 varies, the image frames are captured for each clock. The number of can vary. Therefore, in the present invention, it is important to accurately map the captured image frame at each clock. This is because the extracted data differs depending on which image frame is captured at which clock.
  • the present invention solves this problem by alternately inserting bits 1 and 0 into the data packet for each clock as shown in FIG.
  • 16 is an exemplary diagram of a data packet with an asynchronous symbol inserted according to an embodiment of the present invention.
  • the asynchronous symbols 1 and 0 of 1 bit are alternately allocated to each clock signal.
  • an asynchronous symbol 1 is allocated to an image frame to be captured at the first clock signal
  • an asynchronous symbol 0 is allocated to an image frame to be captured at the next second clock signal. Therefore, in the first clock signal, 1 is assigned to the front end of the transmission data 010 and the data packet is 1010. In the second clock signal, 0 is assigned to the front end of the transmission data 011 and the data packet is 0011.
  • 1 and 0 are alternately assigned to each clock signal to solve a synchronization problem when the number of image frames is captured differently for each clock signal.
  • 17 is an exemplary diagram of a frequency allocated according to an asynchronous symbol of a data subframe and a bit value of a data packet according to an embodiment of the present invention.
  • the M-FSK coding unit 115 uses bit values of asynchronous symbols and data packets constituting a data subframe using a preset M-FSK coding table. Assign frequency accordingly.
  • a data subframe includes a 1-bit asynchronous symbol and a 4-bit data packet
  • different frequencies are allocated according to each bit value of the asynchronous symbol and the data packet. For example, when the data subframe is the start frame SF, the frequency of f0 is allocated, and when the asynchronous symbol and the data packet of the data subframe are 00000 (that is, the asynchronous symbol 0 + data packet 0000) is f1, 00001 If f2, 00010, f3 is allocated.
  • the M-FSK coding unit 115 uses an M-FSK coding table when allocating frequencies according to data subframes.
  • the M-FSK coding table is set in advance, and the data coding unit 110 and the receiving side of the transmitting side are stored in advance in the rolling shutter camera 130, respectively.
  • FIG. 18 is an exemplary graph showing an FFT peak by FFT transforming a frequency according to an embodiment of the present invention.
  • the frequency allocation according to the present invention depends on a scanning rate, which is an inherent characteristic of the rolling shutter camera 130. That is, the peak value of each band among the frequency bands captured by the rolling shutter camera 130 should be determined according to the response of the specific camera.
  • the resolution of the USB camera used for the experiment is 640 ⁇ 480
  • a fixed capturing time (tcap) is 31.326 msec
  • a pixel sampling interval is 1.
  • / 480 x tcap 0.06526 msec
  • the camera is also used to determine several parameters (exposure time) as follows.
  • the correlation with the FFT peak value (integer) through the fast Fourier transform (FFT) for the frequency band of this particular USB camera is shown in FIG. 6.
  • different pixel sampling rates can be calculated as follows.
  • the pixel sampling rate is calculated by the width of the image resolution divided by the capturing time of the image of the rolling shutter camera. For example, at 640x480 resolution the width of the image is 480 pixels.
  • the distance of at least one or more FFT peak (peak) ( ⁇ FFT peak) can be determined when the frequency assignment is determined.
  • the minimum value ⁇ f min of the minimum required frequency interval to avoid mutual interference is 32.192 Hz, and when the ⁇ FFT peak is determined, the M-FSK coding unit 115 may determine the assigned frequency.
  • the maximum number Nf (integer) is determined, and specifically, Nf ⁇ ⁇ (capturing frequency of the image sensor of the rolling shutter camera) / ( ⁇ FFT peak ⁇ ⁇ f min ) is determined as an integer that satisfies. An example thereof will be described with reference to FIGS. 7 to 10.
  • 19 is a graph illustrating an interval of an FFT peak according to an embodiment of the present invention.
  • the capturing frequency of the specific rolling shutter camera 130 according to the present invention is 2.3 kHz.
  • the minimum value ⁇ f min of the frequency interval is 32.192 kHz, where ⁇ FFT peak In the case of 3, the maximum number Nf of frequency allocation channels is calculated as in the following equation.
  • the maximum number of frequencies allocated is 23.
  • FIG. 20 is an exemplary diagram of frequencies allocated according to asynchronous symbols of a data subframe and bit values of a data packet according to FIG. 19.
  • FIG. 20 shows an example of selecting 16 frequencies from 23 frequency channels and allocating frequencies using a coding table. That is, in the example of FIG. 20, frequencies are allocated to f1 to f16 according to the asynchronous symbols constituting the data subframe and the bit values of the data packet.
  • the M-FSK coding table shown in FIG. 7 is predetermined and stored.
  • FIG. 21 is a graph illustrating an interval of an FFT peak according to another embodiment of the present invention
  • FIG. 22 is an exemplary diagram of frequencies allocated according to bit values of an asynchronous symbol and a data packet of a data subframe according to FIG. 21.
  • the ⁇ FFT peak is obtained as in the example of FIGS. 19 and 20.
  • 21 and 22 show an example where the ⁇ FFT peak is 1.
  • the maximum number Nf of frequency allocation channels is 71.
  • the M-FSK coding unit 115 selects up to 71 frequencies according to the asynchronous symbols and the bit values of the data packet constituting the data subframe, and according to the preset M-FSK coding table as shown in FIG. The frequency is assigned to f64.
  • the data packet is 5 bits, a total of 6 bits are allocated to the asynchronous symbol, thereby allocating 64 frequencies.
  • FIG. 23 is a conceptual diagram schematically illustrating a data transmission / reception process in an image sensor communication system according to an exemplary embodiment of the present disclosure.
  • a data packet is formed by inserting an asynchronous symbol in front of transmission data to be transmitted.
  • the LED 120 is turned on / off according to the data packet, and the on / off image of the LED 120 is extracted from the image sensor 131 included in the rolling shutter camera 130.
  • the frame rate of the image sensor 131 is variable, the number of captured image frames may be different as shown in FIG. 11 for each clock. Therefore, the asynchronous symbols 1 and 0 are alternately assigned to each clock.
  • the data packet is decoded from the image frame. This extracts the data packet corresponding to each image frame. Thereafter, data packets are extracted for each clock, and transmission data is extracted except for an asynchronous symbol pre-inserted for each data packet.
  • the LED 120 when the LED 120 is turned on / off, different frequencies are allocated according to bit values of the data packet to be transmitted and the asynchronous symbol inserted in the front end thereof. This allows an appropriate number to be determined and assigned as described above with reference to a preset M-FSK coding table.
  • 24 is a flowchart illustrating an image sensor communication method according to an exemplary embodiment of the present invention.
  • FFT conversion is performed on a frequency band of the rolling shutter camera 130 for frequency allocation corresponding to a data packet in the frequency modulator 111 of the LED driver 110.
  • the minimum value ⁇ f min of the frequency interval is calculated through S401.
  • the minimum value ⁇ f min calculated as described above becomes the minimum value of frequency allocation.
  • frequency assignment is determined to determine the minimum separation of one or more FFT peak (peak) ( ⁇ FFT peak) (S403).
  • the frequency converter 111 determines the maximum number of frequencies (Nf, integer) to be allocated (S405).
  • Nf ⁇ capturing frequency of the image sensor of the rolling shutter camera
  • ⁇ FFT peak ⁇ ⁇ f min is determined as an integer that satisfies, and is calculated as shown in Equation (4).
  • the number of frequencies is determined using the number of bits of the data packet and the maximum number of frequencies Nf (S407), and the data packet is matched to the number of allocated frequencies using the predetermined frequency division modulation coding table.
  • a corresponding frequency is allocated (S409).
  • the LED driver 110 turns on / off the LED 120 to correspond to the data packet according to the allocated frequency (S411), and the rolling shutter camera 130 captures the on / off image of the LED 120. (S113).
  • the data processor 140 extracts a data packet corresponding to each allocated frequency by using a preset frequency division modulation coding table (S415).
  • 25 and 26 illustrate a design and layout structure of LEDs in an image sensor communication system compatible with various rolling shutter cameras according to an exemplary embodiment of the present invention.
  • the LED 120 according to the present invention is arranged along a path along which the rolling shutter camera 130 moves. At this time, the LED 120 is attached to the ceiling along the passage of the rolling shutter camera 130 to obtain the maximum height of the LED 120 on the image.
  • the rolling shutter camera 130 sequentially photographs the on / off image of the LED 120 along each row.
  • the distance L between the LEDs 130 for the movement of the user having the rolling shutter camera 130 is as follows.
  • the distance (L) between) 2.7m.
  • the moving speed of the user having the rolling shutter camera 130 that is, the moving speed of the rolling shutter camera 130 is limited by the connection switching algorithm between the LEDs 120.
  • FIG. 27 is a view illustrating an identification process of the LED connected in the rolling shutter camera according to the present invention.
  • the rolling shutter camera 130 communicates with the plurality of LEDs 120 while moving along the movement path.
  • the LED 120 is preferably installed in the electric hall on the moving passage.
  • a method for identifying the LEDs 120 continuously connected when the rolling shutter camera 130 communicates while moving is required.
  • a new reference group of a new LED tube is detected, and when a plurality of new LED tubes are detected, priority is given to the LEDs according to the moving direction, and the length of the new LED tube is changed to the previous LED. If it is larger than the length of the tube, switch the connection to a new LED. As a result, the switching to the LED of the new LED tube.
  • FIG. 28 is a structural diagram of an M-FSK data frame for compatibility with a rolling shutter camera according to an embodiment of the present invention.
  • an M-FSK data frame includes a compatibility-supporting-packets 31 and a data packet 32.
  • Rolling shutter camera 130 has a different frame rate and sampling rate. Accordingly, in the present invention, compatibility is provided by using a data frame structure having frames that are compatible with the various rolling shutter cameras 130. All LEDs 120 transmit several packets to support various rolling shutter cameras 130 when data is decoded. These packets support compatibility and have the following characteristics.
  • the compatibility support packet 31 enables the rolling shutter camera 130 as a receiver to identify its own sampling rate (kHz). The identification value of the sampling rate is stored and used for decoding the next data packets. Second, the compatibility support packet 31 enables the rolling shutter camera 130 to check whether its variable frame rate satisfies the communication condition. If not satisfied, the user is notified and an error is generated.
  • 29 is a block diagram of a symbol of compatible M-FSK coding according to the present invention.
  • clock information and a data packet are set to one symbol.
  • the data packet having its clock information is set to 1 symbol before encoding.
  • the clock information is composed of asynchronous bits.
  • one symbol is output when data packet + clock information (asynchronous bit) is input.
  • the number of bits per symbol (Number_of_bits_symbol) is expressed as follows.
  • Number_of_bits_symbol log2 (Bandwidth / Frequency Serpatation)
  • the bandwidth is 200 kHz to 2.3 kHz
  • the frequency separation is 32.192 kHz
  • the number of bits per symbol is six
  • the frequency separation is 96.576
  • the period of the symbol should be long enough to perform the majority voting scheme to minimize errors, and second, the period of the frame composed of a plurality of symbols may be used by the moving user to decode the data and localize the LED 120 for localization. It should be short enough to be identified as shown in the table below.
  • the LED 120 when the LED 120 according to the present invention is distributed in various regions, it is necessary to check the identification information (ID) for identifying the region in order to communicate with the LED 120 in the rolling shutter camera 130 There is. At this time, the LED 120 transmits the data packet in a broadcast (broadcasting) method.
  • ID identification information
  • the user must download in advance a map of a building in which a plurality of LEDs 120 are defined with different identification information (ID).
  • ID identification information
  • the rolling shutter camera 130 recognizes the identification information (ID) of the LOS-LED, and these LEDs 120 map to a previously downloaded map and finally calculate the location of the user.
  • a map is downloaded from a door using a wireless communication method and user registration is performed.
  • the identification information ID is transmitted from the LED 120 to the rolling shutter camera 130 through broadcasting communication.
  • compatibility with various types of rolling shutter cameras 130 is supported through the frame structure described above.
  • the LED 120 is mapped to a virtual map and the location of the user is calculated using a location based service (LBS) algorithm.
  • LBS location based service
  • FIG. 30 is a structure diagram of an ID broadcasting frame with a compatibility support subframe according to the present invention.
  • the compatibility support subframe enables the rolling shutter camera 140 to identify its sampling rate (kHz). The identification value of the sampling rate is stored and used for decoding the next data packets.
  • the compatibility support sub-frame enables the rolling shutter camera 130 to determine whether its variable frame rate satisfies the communication conditions. If not satisfied, the user is notified and an error is generated.
  • 2 symbols 1 byte (a symbol is defined as 5 bits including the asynchronous bit due to the bandwidth limitation), and the number of LEDs in the building is determined depending on how many bytes are used for the ID packet. For example, when one byte is used for the ID 255 and the LED support, when two bytes are used for ID and supports the 65535-LED, if four bytes are used for ID 2 32 - it is supported by a single LED.
  • 31 is a diagram illustrating a plurality of LED arrangements according to the present invention.
  • a plurality of LEDs 120 in accordance with the present invention are arranged in a plurality of zones.
  • Zone 1 and zone 2 are assigned zone IDs that are distinct from each other. Therefore, each LED is assigned an ID for each zone and an ID of the corresponding LED.
  • 32 and 33 when there are a large number of LEDs in a building, an ID frame structure representing an ID for each LED includes an ID of a zone and an ID of a specific LED.
  • 32 is an ID broadcasting frame structure diagram with zone IDs
  • FIG. 33 is an example of an ID frame structure diagram for two zones. The length ratio of zone ID to LED ID depends on the number of zones and the number of LEDs. If there are fewer zones, the zone ID should be shorter.
  • 34 is a structure diagram of a data frame having a compatibility support subframe according to an embodiment of the present invention.
  • a data frame having a compatibility support subframe includes a plurality of subframes, and a first subframe Sbu-Frame 1 includes a start frame, an LED-ID, Length, compatibility support frame, and Stop Frame, and the second subframe after the start of the Frame, LED-ID, Length, data frame, Stop Frame.
  • 2 symbol 1 byte ID for 125 LEDs.
  • the length of the subframe should be determined in consideration of the user's movement. If the length is too long, not only the user's speed, but also the time taken to replace the LEDs is an important factor in determining the length of the data subframe.
  • dimmable M-PSK technique will be described using a dimmable 8-PSK according to an example of the present invention.
  • MIMO LED transmitters consist of many LED groups. Each LED group consists of 8-LEDs together. Assume there are two types of LED groups. One transmits a reference signal as a reference group, and the other transmits data. Because the LEDs in each group are synchronized with each other, if the first LED is delayed by T / 8 cycles, the other LEDs are also delayed by T / 8 cycles.
  • the signals from the LEDs change together with time and are referred to as phase_shift values.
  • the signal for controlling the LED is a dimmed square signal. In other words, it is a dimmed OOK signal.
  • the phase_shift value of the reference group does not change from zero.
  • the phase_shift value of the data group is changed to transmit data.
  • Equation 5 The signal transmission of the group according to the time variable t is represented by Equation 5, and the received state of the LED is represented by Equation 6 at a specific time value t0.
  • the received 8-states of the 8-LEDs in the group create a discrete waveform and detect the phase of the group.
  • This discrete waveform is shown as an example as shown in FIG. 2.
  • 35 illustrates a mapping process for generating discrete waveforms and detecting phase and dimming levels according to an embodiment of the present invention.
  • 36 is a graph illustrating delay differences between dimming signals for controlling LEDs according to the present invention.
  • the dimmable M-PSK technique uses M LEDs to transmit the phase of the LED group.
  • M M LEDs to transmit the phase of the LED group.
  • N 8 phases, 3 bits can be transmitted at each time.
  • the dimming step is 0.125.
  • dimming level AB% ( ⁇ "1") / 8.
  • the encoding table through phase comparison and the decoding table from D (phase) are shown in the following table.
  • a dimmed M-PSK decoding algorithm is as follows.
  • Dimming level AB% ( ⁇ "1") / 8.
  • the eight groups of reference LEDs are decoded to provide one reference phase.
  • the eight groups of data LEDs are decoded to provide one data phase.
  • phase D decodes from phase D using a decoding table.
  • This phase D may be determined by subtracting the reference phase from the data phase.
  • phase decoding table according to the T / 8 dimmed signal is shown in the following table.
  • FIG. 37 is a diagram illustrating a design of an LED tube for M-PSK according to an embodiment of the present invention.
  • a plurality of LEDs according to the present invention constitute one LED tube.
  • This LED tube is implemented as shown for the M-PSK.
  • FIG. 37A a left side shows an example of a design of an 8x8 LED transmitter for a dimmable 8-PSK, and a right side shows an example of a design of a dimmable 2-PSK LED transmitter.
  • 4 (b) and 4 (c) are exemplary views of the LED tube design for the dimmable 2-PSK
  • FIG. 37 (d) is a two-line LED tube design example for the dimmable 2-PSK. It is also.
  • green represents a data LED and red represents a reference LED.
  • 38 is a diagram illustrating a design of an LED lighting system of 2-PSK and M-FSK using a dual LED tube according to an embodiment of the present invention.
  • the M-FSK may support a plurality of transmitters (LEDs), and since the frequency allocation is based on the M-FSK to share the bands of all the LEDs, the M-FSK technology effectively prevents interference. There are advantages to avoiding it.
  • the M-FSK is effectively supported by a rolling shutter receiver, and frequency detection is much easier with the rolling effect.
  • Mitigation of rolling effects is complex. This is because the receiver has many steps as follows. First, the LED position is detected to identify the correct state of the LED. Second, the reference waveform is compared to detect the reception phase. Third, the transmission phase is estimated from the reception phase. In the present invention, a new M-PSK design of a transmitter considering a combination of M-PSK and M-FSK is proposed to make the rolling shutter ISC system simpler.
  • one bit per 2-LED group set may be transmitted by a 2-PSK technique. It can be set to bit 1 if the two LED groups are in phase or bit 0 if the phase is reversed.
  • the M-FSK scheme allows log 2 M (bits) to be transmitted in each cycle.
  • 39 is a structural diagram of an LED group receiver using a complex modulation technique of 2-PSK and M-FSK according to an embodiment of the present invention.
  • LED 1 and LED 2 transmit time information of a data packet together through a phase using 2-PSK technology, and also transmit data through a frequency encoder using M-FSK technology.
  • the decoding algorithm of 2-PSK and M-FSK is as follows.
  • the phases of the two LEDs in the tube are compared. If the phases are the same, the asynchronous bit is set to 1; otherwise, the asynchronous bit is set to 0. At this time, the asynchronous bit is time information of the data packet. Thereafter, the common frequency of the dual LEDs is detected. Data is decrypted using M-FSK.
  • FIG. 40 is a diagram illustrating a design of an LED lighting system for 2-PSK and M-FSK using a 3-LED tube set according to another embodiment of the present invention.
  • two bits per set of 3-LED groups are transmitted using the 2-PSK technique.
  • One LED is for reference and the other two are for data (see FIG. 42). If the LED is in phase with the reference LED, it sends bit 1; otherwise, it sends bit 0.
  • the M-FSK scheme allows the transmission of log 2 M bits in each period.
  • LED 42 is a structural diagram of an LED group receiver using a complex modulation technique of 2-PSK and M-FSK according to an embodiment of the present invention.
  • LED 1, LED 2 or LED 3 carry the time information of the data packet.
  • LED 2 and LED 3 are data LEDs that convey information in the phase and frequency of the signal.
  • FIG. 43 is a diagram illustrating a design of an LED lighting system for 4-PSK and M-FSK using a 4-LED tube set according to another embodiment of the present invention.
  • three bits per set of 4-LED groups are transmitted using the 2-PSK technique by using 2-PSK and M-FSK with 4-LED tube groups in the present invention.
  • one LED is for reference and the other three are for data. If the LED is in phase with the reference LED, it sends bit 1; otherwise, it sends bit 0.

Abstract

본 발명은 롤링셔터 변조방식을 이용하여 LED와 롤링셔터카메라 간에 통신을 수행하도록 하는 이미지 센서 통신(ISC) 시스템 및 방법에 관한 것이다. 본 발명의 실시 예에 따른 이미지 센서 통신 시스템은, 전송할 전송데이터를 코딩하는 코딩부; 상기 코딩부에서 코딩된 전송데이터에 따라 온/오프(on/off)되는 LED; 상기 LED의 온/오프에 따른 온/오프 이미지를 롤링 셔터 방식으로 다수의 열(row)마다 연속적으로 촬영하는 롤링 셔터 카메라; 상기 롤링 셔터 카메라에서 다수의 열(row)마다 촬영된 상기 LED의 온/오프 이미지의 밝기값에 따른 밝기신호를 생성하는 이미지처리부; 및 상기 이미지처리부에서 생성된 LED의 온/오프 이미지의 밝기신호로부터 상기 전송데이터를 추출하는 데이터추출부; 를 포함한다.

Description

롤링 셔터 변조를 이용한 이미지 센서 통신 시스템 및 통신 방법
본 발명은 이미지 센서 통신 시스템 및 방법에 관한 것으로서, 보다 상세하게는 데이터 송신기로서 LED와 데이터 수신기로서 롤링 셔터 방식의 이미지센서 간에 데이터 통신을 수행하도록 하는 이미지 센서 통신 시스템 및 그 이미지 센서 통신 방법에 관한 것이다.
대표적인 조명통신융합기술인 가시광통신(VLC:Visible Light Communication)은 광원의 조명에 정보를 실어 무선통신하는 기술로서, 종래에서는 광원의 빛을 포토다이오드(PD:photo diode)로 수신하여 광원의 온/오프(on/off)에 따라 디지털 데이터 1 또는 0을 검출하여 이들의 조합으로 정보를 전달하는 기술이다.
종래에는 포토다이오드 대신에 카메라를 이용하여 다수의 LED를 촬영하고 그 카메라의 프레임별로 획득된 LED의 온/오프에 대응하는 데이터를 추출하는 가시광통신시스템이 제시되고 있다. 이와 같이 카메라를 이용한 가시광통신은 광수신기로서 포토다이오드가 아니라 카메라를 이용한다는 점에서 광학 카메라 통신(Optical Camera Communication; OCC) 시스템으로도 불리며, IEEE 802.15.7a 연구그룹에서 표준화를 위한 작업이 시도되고 있다.
최근 이러한 광학 카메라 통신 시스템(OCC)에 롤링 셔터 카메라를 적용하려는 시도가 있다. 롤링 셔터 카메라는 이미지센서(image sensor)에 채용되는 전자식 셔터로서, 다수의 열(row)로 조합된 이미지센서의 각 열(row)마다 캡쳐되는 이미지를 조합하여 프레임별로 이미지를 획득하게 된다. 이와 같이 LED에서 전송할 데이터에 대응하여 온/오프하고 이미지센서에서 캡쳐된 이미지를 분석 및 처리하여 데이터를 복원함으로써 데이터 전송이 가능하도록 하기 때문에 이미지 센서 통신(Image Sensor Communication; ISC)로 명명되고 있다.
하지만, 종래기술에서는 아직까지 롤링 셔터 카메라에서 각 열(row)에 대한 광원의 온/오프 이미지에 대응하는 데이터를 추출하는 기술이 명확하게 제시되지 않고 있으며 이미지 센서 통신 시스템에서 롤링 셔터 카메라를 이용하여 광원의 온/오프 이미지를 촬영하는 경우 임의의 시점에 촬영을 시작하므로 롤링 셔터 카메라의 프레임이 광원의 온/오프 타이밍에 정확하게 맞추지 못하는 경우가 발생한다. 이러한 경우 정확한 데이터의 추출이 어렵다는 문제점이 있다.
또한, 종래의 일반적인 롤링 셔터 카메라의 프레임 속도(frame rate)는 30fps로 고정되어 있지만 실제 제품에 따라 20~35fps의 범위로 변한다. 이로써 LED의 펄스속도(pulse rate)가 일정할 때 카메라의 프레임 속도의 변화는 데이터 손실을 초래할 수 있다. 예컨대, 롤링 셔터 카메라의 프레임속도가 불안정하여 변하거나 프레임 속도의 변화를 예상하지 못한 상황에서 카메라가 동작하면 두 이미지 프레임 사이에 LED가 온/오프할 때 카메라가 이미지를 촬영하지 못해 데이터 손실이 발생하는 문제점이 있다.
또한, 종래기술에서는 롤링 셔터 카메라가 임의의 시점에 촬영을 시작하므로 롤링 셔터 카메라의 프레임과 광원의 온/오프 타이밍이 비동기화로 인해 정확한 데이터의 추출이 어렵다는 문제점이 있으며, 뿐만 아니라 송신기인 LED와 수신기인 롤링셔터카메라 간의 거리가 먼 경우 전송되는 신호의 강도가 약해서 LED의 온/오프(on/off) 이미지를 명확하게 구분하지 못하기 때문에 LED의 픽셀들의 이미지 신호세기는 장거리 전송에 사용하기 어렵다.
나아가, 종래에는 서로 다른 프레임속도와 샘플링속도를 갖는 다수의 다양한 롤링 셔터 카메라가 이미지센서통신을 수행할 때 동일한 LED에 대하여 여러 롤링 셔터 카메라가 동일한 데이터를 수신하지 못하는 발생한다.
본 발명은 롤링셔터카메라를 이용하여 광원을 촬영하여 광원의 온/오프 이미지로부터 데이터를 추출하는 광원 및 롤링셔터카메라를 이용한 이미지 센서 통신 시스템을 제공하는데 그 목적이 있다.
본 발명은 롤링셔터카메라의 프레임 속도가 변하더라도 전송되는 데이터의 손실을 방지할 수 있는 LED와 롤링셔터카메라를 이용한 이미지 센서 통신방법을 제공하는데 다른 목적이 있다.
또한, 본 발명은 롤링셔터카메라가 임의의 시점에 촬영을 시작되더라도 롤링셔터카메라의 프레임과 LED의 온/오프 간의 비동기로 인한 프레임 누락을 방지하여 데이터 전송의 정확성을 높일 수 있는 LED와 롤링셔터카메라를 이용한 이미지 센서 통신방법을 제공하는데 또 다른 목적이 있다.
나아가, 본 발명은 LED와 롤링셔터카메라를 이용하여 이미지센서통신(ISC)시스템에서 LED의 온/오프 이미지에 대한 밝기신호를 주파수 영역으로 변조하여 주파수변조된 신호를 사용하여 LED와 롤링셔터카메라 간의 장거리 전송에서도 정확한 이미지센서통신이 가능하도록 하는 LED와 롤링셔터카메라 기반의 주파수분할변조(FDM) 방식의 이미지센서통신 방법을 제공하는데 추가적인 목적이 있다.
본 발명의 일 실시 예에 따른 이미지센서통신 시스템은, 전송할 전송데이터를 코딩하는 데이터코딩부; 상기 데이터코딩부에서 코딩된 전송데이터에 따라 온/오프(on/off)되는 LED; 상기 LED의 온/오프에 따른 온/오프 이미지를 롤링 셔터 방식으로 다수의 열(row)마다 연속적으로 촬영하는 롤링 셔터 카메라; 상기 롤링 셔터 카메라에서 다수의 열(row)마다 촬영된 상기 LED의 온/오프 이미지의 밝기값에 따른 밝기신호를 생성하는 이미지처리부; 및 상기 이미지처리부에서 생성된 광원의 온/오프 이미지의 밝기신호로부터 상기 전송데이터를 추출하는 데이터추출부를 포함한다.
본 발명의 다른 실시 예에 따른 이미지센서통신 시스템은, 입력된 전송데이터를 복수의 동일한 패킷으로 분할하는 패킷분할부, 상기 분할된 각 데이터 패킷에 시작프레임(SF)을 삽입하는 SF삽입부, 상기 시작프레임(SF)이 삽입된 각 데이터 패킷에 LED의 식별정보(ID)를 삽입하는 ID삽입부, 클록신호를 발생시키는 클록신호발생부, 상기 시작프레임(SF) 및 식별정보(ID)가 삽입된 각 데이터 패킷에 상기 클록신호에 따라 비동기심볼을 삽입하는 비동기심볼 삽입부, 기설정된 다중 주파수 편이 변조(M-FSK) 코딩 테이블을 이용하여 상기 데이터 패킷에 대응하는 주파수를 할당하는 M-FSK 코딩부를 포함하는 데이터코딩부; 상기 데이터코딩부로부터 수신된 데이터 패킷에 대응하여 상기 할당된 주파수에 따라 온/오프(on/off)되는 적어도 하나의 LED; 및 상기 LED의 온/오프 이미지를 롤링셔터 방식으로 캡쳐하는 이미지센서, 상기 이미지센서에서 캡쳐한 온/오프 이미지로부터 상기 M-FSK 코딩테이블을 이용하여 상기 할당된 주파수에 대응하는 데이터 패킷을 추출하는 M-FSK 디코딩부, 상기 추출된 데이터 패킷으로부터 전송데이터를 추출하는 전송데이터 추출부를 포함하는 롤링 셔터 카메라로 구성된다.
본 발명의 실시 예에 따른 이미지센서통신 방법은, 데이터코딩부에서 전송할 전송데이터를 코딩하고 상기 코딩된 전송데이터를 포함하는 데이터 프레임을 구성하는 코딩단계; LED구동부에서 펄스주파수에 따라 상기 데이터 프레임에 대응하도록 LED를 온/오프시키는 구동단계; 상기 롤링셔터카메라에서 프레임속도에 따라 상기 LED의 온/오프 이미지를 롤링셔터방식으로 다수의 열(row)마다 연속 프레임 이미지로 캡쳐하는 캡쳐단계; 이미지처리부에서 상기 열(row)마다 연속 프레임 이미지로 캡쳐된 상기 LED의 온/오프 이미지의 밝기값에 따른 밝기신호를 생성하는 생성단계; 및 이미지추출부에서 상기 밝기신호로부터 상기 전송데이터를 추출하는 추출단계; 를 포함하고, 상기 데이터 프레임은 상기 전송데이터별로 구분되는 슈퍼프레임이 다수 개가 연속적으로 배열되고, 상기 각 슈퍼프레임은 연속적으로 반복되는 N개(N=자연수)의 데이터 서브 프레임(DS)을 포함하고, 상기 각 데이터 서브 프레임은 상기 코딩된 전송데이터를 포함하는 데이터패킷(DP), 상기 데이터패킷의 전단과 후단에 각각 추가된 비동기비트(Ab), 상기 전단 비동기비트의 전단에 추가된 시작프레임(SF)으로 구성된다.
본 발명에 의하면 롤링셔터카메라를 이미지 센서 통신 시스템에 적용하여 광원의 온/오프에 따른 온/오프 이미지에 대응하는 데이터를 추출할 수 있다.
또한, 본 발명에 의하면 롤링셔터카메라를 이용하여 데이터를 전송하는 경우 임의의 시점에 촬영되는 경우 시작프레임을 정확히 검출함으로써 데이터 전송의 신뢰성을 향상시킬 수 있다.
또한, 본 발명에 의하면 LED와 롤링셔터카메라를 이용한 이미지센서통신(ISC)에 적합한 LED의 구동을 위한 변조 주파수의 범위를 설정하고 효율적인 데이터 복구가 가능하므로 롤링셔터카메라의 프레임속도가 변하더라도 전송되는 데이터의 손실을 방지할 수 있다.
또한, 본 발명에 의하면 LED와 롤링셔터카메라를 이용한 이미지센서통신(ISC) 시스템에서 LED의 온/오프 이미지의 밝기신호를 주파수분할변조(FDM), 위상편이변조(PSK) 및 주파수편이변조(FSK) 방식을 통해 주파수, 위상 영역으로 변조하여 데이터를 전송하므로 LED와 롤링셔터카메라 간 거리가 멀더라도 데이터의 손실 없이 전송이 가능하다.
나아가, 본 발명에 의하면 롤링 셔터 카메라의 프레임 속도가 변하는 경우에도 LED와 롤링 셔터 카메라 간에 정확한 데이터 전송이 가능하다.
도 1은 본 발명에 따른 롤링 셔터 카메라에서 광원의 온/오프 이미지의 캡쳐과정을 설명하기 위한 도면,
도 2는 본 발명에 따른 롤링 셔터 카메라에서 캡쳐한 광원의 온/오프 이미지의 예시도,
도 3을 본 발명의 실시 예에 따른 롤링 셔터 카메라를 이용한 이미지 센서 통신 시스템의 구성도,
도 4는 본 발명의 실시 예에 따른 이미지처리부에서 밝기신호를 생성하는 원리를 설명하기 위한 도면,
도 5는 본 발명의 일 실시 예에 따른 광원의 온/오프 이미지에 대한 밝기신호로부터 전송데이터를 추출하는 과정을 설명하는 도면,
도 6은 본 발명의 다른 실시 예에 따른 광원의 온/오프 이미지에 대한 밝기신호로부터 전송데이터를 추출하는 과정을 도면,
도 7은 본 발명의 실시 예에 따른 이미지센서통신(ISC) 시스템에서 전송데이터에 따른 데이터 프레임의 구조도이다.
도 8은 본 발명의 실시 예에 따른 이미지센서통신(ISC) 시스템의 롤링셔터카메라에서 전송데이터를 추출하는 과정을 설명하는 개요도,
도 9는 본 발명의 실시 예에 따른 이미지센서통신(ISC) 시스템에서 LED의 펄스주파수에 대한 롤링셔터카메라의 진폭응답 패턴,
도 10은 본 발명의 실시 예에 따른 LED와 롤링셔터카메라를 이용한 이미지센서통신방법을 보이는 흐름도,
도 11은 본 발명의 일 실시 예에 따른 LED와 롤링셔터카메라를 이용한 이미지센서통신 시 데이터추출부에서 전송데이터를 추출하는 과정을 보이는 흐름도,
도 12는 본 발명의 다른 실시 예에 따른 LED와 롤링셔터카메라를 이용한 이미지센서통신 시 전송데이터를 추출하는 과정을 보이는 흐름도,
도 13은 본 발명의 또 다른 실시 예에 따른 다중 주파수 편이 변조(M-FSK)를 이용한 LED와 롤링 셔터 카메라 간의 이미지 센서 통신 시스템의 구성도이다.
도 14는 본 발명의 실시 예에 따른 데이터 프레임의 구조도,
도 15는 본 발명의 실시 예에 따른 롤링 셔터 카메라에서 캡쳐된 이미지 프레임의 예시도,
도 16은 본 발명의 실시 예에 따른 비동기 심볼이 삽입된 데이터 패킷의 예시도,
도 17은 본 발명의 실시 예에 따른 데이터 서브 프레임의 비동기 심볼 및 데이터 패킷의 비트 값에 따라 할당된 주파수의 예시도,
도 18은 본 발명의 실시 예에 따른 주파수를 FFT 변환하여 FFT 피크를 표시한 예시적인 그래프,
도 19는 본 발명의 일 실시 예에 따른 FFT 피크의 간격을 도시한 그래프,
도 20은 도 19에 따른 데이터 서브 프레임의 비동기 심볼 및 데이터 패킷의 비트 값에 따라 할당된 주파수의 예시도,
도 21은 본 발명의 다른 실시 예에 따른 FFT 피크의 간격을 도시한 그래프,
도 22는 도 21에 따른 데이터 서브 프레임의 비동기 심볼 및 데이터 패킷의 비트 값에 따라 할당된 주파수의 예시도,
도 23은 본 발명의 실시 예에 따른 이미지 센서 통신 시스템에서 데이터 송수신 과정을 개략적으로 도시한 개념도,
도 24는 본 발명의 실시 예에 따른 이미지센서통신 방법을 보이는 흐름도.
도 25 및 도 26은 본 발명의 실시 예에 따른 LED의 설계 및 배치 구조도,
도 27은 본 발명에 따른 롤링셔터카메라에서 연결된 LED의 식별과정을 설명하는 도면,
도 28은 본 발명의 실시 예에 따른 롤링셔터카메라에 호환성을 위한 M-FSK 데이터 프레임의 구조도,
도 29는 본 발명에 따른 호환가능한 M-FSK 코딩의 심볼의 구성도,
도 30은 본 발명에 따른 호환성 지원 서브 프레임을 갖는 ID 브로드캐스팅 프레임 구조도,
도 31은 본 발명에 따른 다수의 LED 배치 예시도,
도 32는 구역별 ID를 갖는 ID 브로드캐스팅 프레임 구조도,
도 33은 2개의 구역에 대한 ID 프레임 구조도의 예시,
도 34는 본 발명의 실시 예에 따른 호환성 지원 서브 프레임을 갖는 데이터 프레임 구조도.
도 35는 본 발명의 실시 예에 따른 이산 파형을 생성하고 위상과 디밍 레벨을 검출하기 위한 매핑과정,
도 36은 본 발명에 따른 LED를 제어하기 위한 디밍 신호간의 지연 차이를 나타낸 그래프,
도 37은 본 발명의 실시 예에 따른 M-PSK를 위한 LED 튜브의 설계 예시도.
도 38은 본 발명의 일 실시 예에 따른 듀얼 LED 튜브를 이용한 2-PSK와 M-FSK의 LED 조명 시스템의 설계 예시도,
도 39는 본 발명의 실시 예에 따른 2-PSK와 M-FSK의 복합 변조기법을 이용한 LED 그룹 수신기의 구조도,
도 40은 본 발명의 다른 실시 예에 따른 3-LED 튜브 세트를 이용한 2-PSK와 M-FSK를 위한 LED 조명 시스템의 설계 예시도,
도 41은 도 40에서 3-LED를 이용한 2-PSK에서 LED 중 하나는 롤링 영향을 완화하기 위한 기준용임을 나타내는 도면,
도 42는 본 발명의 실시 예에 따른 2-PSK와 M-FSK의 복합 변조 기법을 이용한 LED 그룹 수신기의 구조도,
도 43은 본 발명의 또 다른 실시 예에 따른 4-LED 튜브 세트를 이용한 4-PSK와 M-FSK를 위한 LED 조명 시스템의 설계 예시도,
도 44는 도 43에서 4-LED를 이용한 2-PSK에서 LED 중 하나는 롤링 영향을 완화하기 위한 기준용임을 나타내는 도면.
이하, 본 발명의 일부 실시 예들을 예시적인 도면을 통해 상세히 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시 예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 실시 예의 구성요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성요소 사이에 또 다른 구성요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 본 발명에 따른 롤링 셔터 카메라에서 LED의 온/오프 이미지의 캡쳐과정을 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명에 따른 롤링 셔터 카메라는 하나의 캡쳐타임(10) 동안 다수의 열(row)마다 이미지를 촬영하여 캡쳐한다. 이때, 열(row)별 이미지 촬영은 기설정된 일정한 시간간격을 두고 비선형 스캔방식으로 이루어진다. 이는 카메라 내부에 마련된 이미지센서(미도시)의 각 열(row)을 순차적으로 기설정된 노출시간(integration time)(11) 동안 노출시키되, 각 열(row)마다 일정한 시간간격을 노출시키는 것이다. 첫 번째 열(row)의 마지막 노출시간과 마지막 열(row)의 마지막 노출시간을 프레임 시간(frame time)(12)이라 하며 노출시간과 프레임시간이 캡쳐타임(capturing time)(10)이 된다.
도 2는 본 발명에 따른 롤링 셔터 카메라에서 캡쳐한 LED의 온/오프 이미지의 예시도이다.
도 2를 참조하면, 본 발명에 따른 LED가 온/오프(on/off)되는 동안 롤링 셔터 카메라는 LED를 촬영한다. 도면에는 일례로 하나의 LED가 온 및 오프되는 동안 롤링 셔터 카메라에서 다수의 열(row)마다 온/오프 이미지를 캡쳐하는 예시를 도시하고 있다. 도면을 참조하면, 캡쳐타임 동안 캡쳐된 이미지는 LED가 온(on)인 경우에는 흰색(W)으로 나타나고 오프(off)된 경우에는 검정색(B)으로 나타난다. 이때, 주의할 것은 LED가 온(on) 또는 오프(off)되는 과정에서 흰색(W)과 검정색(B)의 밝기값은 다를 수 있다. 예컨대, 롤링 셔터 카메라는 임의의 시점에 촬영하기 때문에 LED가 오프된 상태에서 온 상태로 변하는 동안에 캡쳐하는 경우에는 밝기값이 흰색(W)과 검정색(B)의 중간색이 될 수 있는 것이다. 이와 같이 캡쳐된 이미지는 도 2의 (b)와 같이 나타난다.
도 3을 본 발명의 실시 예에 따른 롤링 셔터 카메라를 이용한 이미지 센서 통신(ISC) 시스템의 구성도이다.
도 3을 참조하면, 본 발명에 따른 롤링 셔터 카메라를 이용한 이미지 센서 통신 시스템(100)은 데이터코딩부(110), LED(120), 롤링 셔터 카메라(130), 이미지처리부(140) 및 데이터추출부(150)를 포함하여 구성된다.
데이터코딩부(110)는 이미지 센서 통신(ISC) 시스템에서 전송하고자 하는 전송데이터를 코딩한다. 이러한 코딩은 다양한 방법으로 구현될 수 있다. 예컨대, 전송하고자 하는 전송데이터가 1인 경우 LED(120)를 온(on)에 대응시키고 전송데이터가 0인 경우에는 LED(120)를 오프(off)에 대응시킬 수 있다. 이러한 예시는 LED(120)의 주파수 펄스에 따라 다르게 설정할 수 있다. 예컨대, 전송데이터가 1인 경우 LED를 온-온에 대응시키고 전송데이터가 0인 경우 LED를 오프-오프에 대응시킬 수 있다. 이와 같이, 본 발명에서 데이터코딩부(110)은 전송데이터에 대응하는 LED의 온/오프 상태를 서로 매칭시켜 향후 LED의 온/오프를 통해 전송데이터가 전송되도록 한다.
LED(120)는 이미지 센서 통신 시스템에서 송신기(transmitter)의 역할을 한다. 이러한 LED(120)는 적어도 하나 이상 구비되며 데이터코딩부(110)에서 코딩된 전송데이터에 따라 기설정된 펄스속도(pulse rate)로 온(on) 또는 오프(off)된다. 실시 예에 따라 LED(120)가 다수 개로 구비되는 경우 1×N으로 배열될 수 있고, M×1으로 배열될 수도 있으며, 바람직하게는 M×N으로 배열될 수도 있다. 물론, 원형, 방사형, 타원형 등 다양한 형태로 배열될 수 있다. LED(110)가 온/오프되는 펄스속도가 초당 110회 이상이면 사람의 눈으로 그 온/오프를 구분하지 못하고 계속 온 상태인 것으로 인식한다. 이러한 펄스속도는 물론 조정이 가능하다.
롤링 셔터 카메라(130)는 이미지 센서 통신 시스템에서 수신기(receiver)의 역할을 한다. 이러한 롤링 셔터 카메라(130)는 온/오프 되는 LED(120)를 롤링 셔터 방식으로 다수의 열(row)마다 LED의 온/오프 이미지를 캡쳐한다. 이를 위해 내부에 롤링 셔터 방식으로 이미지를 캡쳐하는 이미지센서가 구비되며, 이미지센서의 각 열(row)을 순차적으로 노출시킨다. LED(120)가 온(on)된 경우 노출된 열(row)의 출력은 흰색의 밴드(white band) 형상으로 나타나고, LED이 오프(off)된 경우는 검정색이 밴드(black band) 형상으로 나타난다. 이때, 흰색 밴드와 검정색 밴드는 각각 데이터로서 1과 0을 나타내도록 설정된다. 이와 같이 하나의 프레임 내에서 다중 데이터 수신이 가능하게 된다. 상기한 이미지센서로는 예컨대 CMOS 센서를 사용할 수 있다. 이때, 롤링 셔터 카메라(130)는 LED(120)가 온 또는 오프되는 중에 임의의 시점에 촬영을 시작할 수 있다. 이 경우에는 캡쳐된 이미지로부터 시작프레임과 데이터 프레임을 구분할 필요가 있다. 이에 대해서는 하기에서 구체적으로 설명한다. 본 실시 예에서 롤링 셔터 카메라(130)는 디지털 카메라, 휴대폰이나 스마트기기 등에 탑재된 카메라를 포함할 수 있다.
이미지처리부(140)는 롤링 셔터 카메라(130)에서 다수의 열(row)마다 촬영된 LED(120)의 온/오프 이미지의 밝기값에 따른 밝기신호를 생성한다. 구체적으로, 상술한 바와 같이 LED(120)가 온(on) 또는 오프(off)되는 과정에서 흰색 밴드와 검정 밴드로 나타나는데, 이러한 각 밴드의 밝기값은 다르게 나타날 수 있다. 즉, LED(120)의 온/오프에 따라 나타나는 색상은 일례로 0~255의 밝기값으로 표시될 수 있다. 예컨대, 흰색 밴드는 255의 밝기값, 검정 밴드는 0의 밝기값을 나타낼 수 있는 것이다. 물론 이러한 밝기값의 범위는 변경이 가능하다. 또한, 상기에서 설명한 바와 같이 롤링 셔터 카메라(130)는 임의의 시점에서 촬영을 할 수 있기 때문에 LED(120)가 오프된 상태에서 온 상태로 변하는 동안에 캡쳐하는 경우에는 밝기값이 흰색 밴드와 검정 밴드의 중간색의 밴드가 될 수 있는 것이다. 이는 0~255사이의 밝기값으로 나타날 수 있다는 것이다. 이에, 이미지처리부(140)는 각 열(row)마다 촬영된 LED(120)의 온/오프 이미지에 따른 각 밴드의 밝기값에 대응하는 밝기신호를 각 열(row)마다 생성하는 것이다. 이때, LED(120)는 기설정된 주파수 펄스에 따라 연속적으로 온 또는 오프되므로 온/오프 이미지의 밝기신호는 각각의 열(row)에 대하여 연속적인 값을 가진다.
데이터추출부(150)는 이미지처리부(140)에서 생성된 LED(120)의 온/오프 이미지의 밝기신호로부터 전송데이터를 추출한다. 이는 데이터코딩부(110)에서 LED(120)의 온/오프 이미지에 코딩된 전송데이터를 복원하는 것이다. 예컨대, 데이터코딩부(110)에서 전송하고자 하는 전송데이터가 1인 경우 LED(120)를 온(on)에 대응시키고 전송데이터가 0인 경우에는 LED(120)를 오프(off)에 대응시킨 경우, 데이터추출부(150)에서는 LED(120)의 온 이미지에서는 1을 추출하고, 오프 이미지에서는 0을 추출하는 것이다. 이때, 본 발명에서는 LED(120)의 온/오프 이미지의 밝기신호에서 밝기값을 이용하여 전송데이터를 추출하도록 한다. 구체적으로 밝기신호의 기울기, 즉 밝기신호의 상승 및 하강을 조합하여 추출하도록 한다.
도 4는 본 발명의 실시 예에 따른 이미지처리부에서 밝기신호를 생성하는 원리를 설명하기 위한 도면이다.
도 4는 롤링 셔터 카메라(130)의 전체 화면(20)이 LED(120)보다 작은 경우의 예시도이다. 물론 전체 화면(20)이 LED(120)보다 클 수도 있음은 당연하다. 도 4에 도시된 일례에서 LED(10)가 온 또는 오프되는 동안 롤링 셔터 카메라(130)는 다수의 열(row)마다 흰색밴드(W)와 검정밴드(B)로 이미지를 캡쳐한다. 도면에는 일례로 5개의 열을 도시하고 있으며, 각각 W,B,W,W,B의 밴드를 캡쳐한 예를 도시한다. 이때, W는 흰색밴드이므로 밝기값이 예컨대 255이고, B는 검정밴드이므로 밝기값이 예컨대 0이다. 이러한 밝기값은 다르게 설정할 수도 있다. 따라서, 우측에 도시된 형태와 같은 밝기값에 대한 밝기신호가 생성될 수 있다. 여기서, 우측에 도시된 밝기신호는 이상적인 예를 설명하고 있으며, LED(120)가 온 및 오프되는 동안 밝기값은 0~255 사이에서 임의의 값을 가진다. 예컨대, LED(120)가 온 상태에서 오프 상태로 변하는 동안에 임의의 열에서 촬영을 하는 경우, 일례로 175의 밝기값을 가질 수도 있다. 이는 흰색과 검정색의 중간 정도의 색상으로 나타난다. 이와 같이 밝기값에 따른 밝기신호는 각 열(row)별로 나타내면 도 5 및 도 6과 같이 나타날 수 있다.
도 5는 본 발명의 일 실시 예에 따른 LED의 온/오프 이미지에 대한 밝기신호로부터 전송데이터를 추출하는 과정을 설명하는 도면이고, 도 6은 본 발명의 다른 실시 예에 따른 LED의 온/오프 이미지에 대한 밝기신호로부터 전송데이터를 추출하는 과정을 도면이다.
도 5 및 도 6에 도시된 밝기신호는 가로축이 열(row)을 나타내고 세로축이 밝기값의 상대값을 나타낸다. 예컨대, 흰색밴드를 255로, 검정밴드를 0으로 설정한 경우, 세로축에서 상대값이 클수록 흰색밴드, 즉 255에 가깝고, 상대값이 작을수록 검정밴드, 즉 0에 가깝다. 이와 같이 각 열(row)별로 LED(120)의 온/오프 이미지에 대한 밝기값이 결정되면 이미지처리부(140)에서 밝기값으로부터 각 열(row)에 따른 밝기신호를 도 5 및 도 6와 같이 생성하는 것이다. 도 5에서는 LED(120)가 온/오프되는 동안 그 LED(120)의 온/오프 시간을 이용하여 시작프레임(SF:start frame)과 전송데이터를 구분하기 위하여 시작프레임에 대한 LED(120)의 온 또는 오프 시간간격과 전송데이터에 대한 LED(120)의 온 또는 오프 시간간격을 서로 다르게 설정한다. 예컨대, 도 5에서 시작프레임(A)은 온되는 시간을 상대적으로 길게 구현하고, 전송데이터(B)는 온되는 시간을 상대적으로 짧게 구현한다. 물론, 이러한 상대적인 시간길이는 서로 반대로 할 수도 있다. 이러한 시작프레임(A)과 전송데이터(B)의 시간간격의 차이는 LED(120)가 연속적으로 온 또는 오프되는 동안 어느 부분부터 전송데이터인지를 구분하기 위한 것이다. 따라서, 도 5에서는 제1시작프레임(A)와 다음의 제2시작프레임(A') 사이에 있는 밝기신호가 전송데이터에 대응하는 것으로 판단하여 해당 밝기신호로부터 전송데이터를 추출하도록 한다. 이때, 데이터추출부(140)는 다수의 열(row)별로 생성된 밝기신호에서 다수의 열(row)별로 기설정된 같은 밝기값에서의 밝기신호의 기울기를 이용하여 전송데이터를 추출한다. 구체적으로, 기설정된 같은 밝기값에서 밝기신호의 상승 및 하강의 조합으로 전송데이터를 추출한다. 예컨대, 도 5에서 빨간색 점(dot)과 초록색 점이 위치한 밝기값을 설정하고 해당 밝기값에서의 밝기신호의 기울기, 즉 빨간색 점에서는 기울기값이 (+)값을 가지고 초록색 점에서는 기울기값이 (-)값을 가진다. 이때, 기설정된 밝기값에서의 빨간색 점에서의 (+)기울기값과 다음에 이어지는 초록색 점에서의 (-)기울기값을 조합하면 일부 열(row)에서의 전송데이터를 추출할 수 있는 것이다. 예컨대, B에서의 밝기신호는 약 140~160번째 열에서 흰색밴드가 형성된다. 이는 140~160번째 열에서 LED(120)가 온(on)되었음을 알 수 있다. 또한, 약 160~175번째 열에서는 밝기신호가 하강하는 구간이므로 LED(120)가 온(on)에서 오프(off)로 변하는 동안 해당 열에서 촬영한 것이다. 이와 같이, 데이터추출부(150)에서는 LED(120)의 온/오프 이미지의 밝기신호에서 기설정된 밝기값에서의 밝기신호의 기울기가 상승하는 부분과 그 상승부분 이후에 이어지는 하강부분이 있다면 이들 두 부분을 조합함으로써 LED(120)가 온(on)된 경우가 존재함을 알 수 있게 되고, 이를 통해 전송데이터를 추출하도록 하는 것이다. 이때, 상기 기설정된 밝기값은 밝기신호에서 밝기값으로 결정한다. 즉, 밝기값을 너무 높거나 너무 낮게 설정하게 되면 밝기값이 존재하는 부분이 있을 수 있다. 도 5에 도시된 빨간색 점과 초록색 점이 밝기신호에 대응될 때 모든 밝기신호에 대응될 수 있는 밝기값을 설정함이 바람직하다.
또한, 도 6에서는 데이터추출부(150)가 다수의 열(row)별로 생성된 밝기신호에서 다수의 열(row)마다의 최대 밝기값(Max)과 최소 밝기값(Min)의 조합으로 전송데이터를 추출한다. 즉, 시작프레임 이후에 나타나는 밝기신호 중 밝기값이 최대인 부분(Max)과 이후 나타나는 밝기값이 최소인 부분(Min)을 조합하여 전송데이터를 추출할 수도 있다. 이는 밝기값의 최대값(Max)과 그 이후에 최소값(Min)이 나타나면 이들 두 개의 값으로부터 예컨대 전송데이터 1을 추출하도록 할 수 있다. 반대로 밝기값의 최소값(Min) 이후에 최대값(Max)이 나타나면 전송데이터 0을 추출하도록 할 수 있다.
도 7은 본 발명의 실시 예에 따른 이미지센서통신(ISC) 시스템에서 전송데이터에 따른 데이터 프레임의 구조도이다.
도 7을 참조하면, 본 발명에 따른 전송데이터의 데이터 프레임은 전송하고자 하는 전송데이터별로 구분되는 슈퍼프레임(Super-frame)(20)이 다수 개가 연속적으로 구현된다. 즉, 각 슈퍼프레임(20)은 전송데이터가 다른 경우, 예컨대 LED(130)에서 다른 전송데이터를 전송하고자 하는 경우에 이들 각 전송데이터를 각 슈퍼프레임(20)에 포함하여 구성한다. 따라서, 각각의 슈퍼프레임(20)에는 서로 다른 전송데이터가 포함되는 것이다.
또한, 이들 각각의 슈퍼프레임(20)은 N번(N=자연수)씩 반복되는 데이터 서브 프레임(DS:Data Sbuframe)(21)으로 포함하여 구성된다. 여기서, 이러한 데이터 서브 프레임(DS)(21)에 ISC 시스템(100)에서 전송하고자 하는 전송데이터가 포함된다. 이와 같이 본 발명에서는 전송하고자 하는 전송데이터를 포함하는 각 데이터 서브 프레임(21)이 N번씩 반복하여 전송되므로 롤링셔터카메라(130)가 임의의 시점에 촬영을 한다고 하더라도 데이터를 추출할 수 있고, 롤링셔터카메라(130)의 프레임 속도가 가변되어 촬영되는 프레임 이미지에 전송데이터 전체가 한번으로 캡쳐되지 않는다 하더라도 전체 데이터를 추출할 수 있도록 한다.
또한, 각각의 데이터 서브 프레임(21)은 시작프레임(SF:Start Frame), 2개의 비동기비트(Ab:Asynchorous bit) 및 데이터패킷(DP:Data Packet)을 포함한다. 시작프레임(SF)과 비동기비트(Ab)는 데이터 프레임의 용량을 고려하여 1 비트(bit)로 하는 것이 바람직하다. 비동기비트(Ab)는 슈퍼프레임(20)을 구분하는 역할과 함께 데이터 서브 프레임(21)에서 데이터패킷(DP)을 구분하는 역할을 한다. 또한, 데이터패킷(DP)에는 ISC 시스템(100)에서 전송하고자 하는 전송데이터가 포함된다. 본 실시 예에서 비동기비트(Ab)는 1 bit인 1과 0으로 교대로 삽입됨이 바람직하다. 예컨대, 전송데이터별로 구분되는 슈퍼프레임(20)의 인덱스가 홀수인 경우 비동기비트를 1로 설정하여 삽입하고 짝수인 경우 비동기비트를 0으로 설정하여 삽입한다. 물론, 반대로 0과 1을 교대로 삽입하는 것도 가능하다. 이로써, 비동기비트(Ab)는 서로 이웃하는 슈퍼프레임(20) 간에 구별하는 식별자 역할을 하도록 한다.
이와 같이, 본 발명에서는 전송하고자 하는 전송데이터를 데이터 서브 프레임(DS)(21)에 포함시키고, 이러한 데이터 서브 프레임(21)을 N회 반복해서 연속적으로 배열하여 하나의 슈퍼프레임(20)을 구성하도록 한다. 이로써, 전송데이터별로 N번씩 반복하여 슈퍼프레임을 구성하게 되며, 각 슈퍼프레임에는 서로 다른 전송데이터가 포함되도록 한다.
이러한 데이터 프레임의 구조는 데이터코딩부(110)에서 전송하고자 하는 전송데이터를 데이터 프레임으로 코딩하는 것이다. 즉, 데이터코딩부(110)는 상기와 같이 본 실시 예에서 제안된 데이터 프레임 구조에 따라 전송하고자 하는 전송데이터를 데이터패킷(DP), 시작프레임(SF), 비동기비트(Ab)를 이용하여 슈퍼프레임으로 코딩하는 것이다. 이는 롤링셔터카메라(140)에서 촬영된 LED(130)의 온/오프 이미지로부터 전송데이터를 효율적으로 추출하기 위해 제안된다. 상기 데이터 프레임 구조를 이용하여 데이터추출부에서 전송데이터를 추출하는 과정은 도 3에서 구체적으로 설명한다.
도 8은 본 발명의 실시 예에 따른 이미지센서통신(ISC) 시스템의 롤링셔터카메라에서 전송데이터를 추출하는 과정을 설명하는 개요도이다.
도 8에서는 설명의 편의상 일례로 2개의 슈퍼프레임(20a,20b,20c)이 도시되고 각 슈퍼프레임(20a,20b,20c)에는 각각 2개의 데이터 서브 프레임(21a,21b,21c)가 도시된다. 또한, 데이터 서브 프레임(21a,21b,21c)은 슈퍼프레임(20a,20b,20c) 내에서 2번씩(즉, N=2) 반복되는 예를 도시하고 있다. 이러한 도 9의 예시는 본 발명을 설명하기 위한 일례에 불과하며 본 발명은 이에 한정되지 않는다.
도 8의 (a) 및 (b)에는 LED구동부(120)가 전송하고자 하는 전송데이터에 따라 코딩된 슈퍼프레임(20a,20b,20c)의 구조에 대응하여 LED(130)를 온/오프시키는 동안 롤링셔터카메라(140)가 프레임속도에 따라 프레임 이미지를 임의의 시점에 촬영하는 예를 각각 도시하고 있다.
먼저, 도 8의 (a)는 두 프레임 이미지의 조합에 의한 데이터 서브 프레임 추출과정을 설명하기 위해 롤링셔터카메라(140)에서 제1~ 제3 프레임 이미지(image #1~image #3)에서 연속적으로 데이터 서브 프레임(DS)를 캡쳐하는 예를 도시한다. 구체적으로, 제1 프레임 이미지(image #1)에서 제1 슈퍼프레임(20a)의 첫 번째 데이터 서브 프레임(201a)을 캡쳐하고, 제2 프레임 이미지(image #2)에서 제1 슈퍼프레임(20a)의 두 번째 데이터 서브 프레임(202a)과 제2 슈퍼프레임(20b)의 첫 번째 데이터 서브 프레임(201b)을 캡쳐하며, 제3 프레임 이미지(image #3)에서는 제2 슈퍼프레임(20b)의 두 번째 데이터 서브 프레임(202b)과 제3 슈퍼프레임(20c)의 첫 번째 데이터 서브 프레임(201c)을 캡쳐하는 예를 도시하고 있다.
이때, 데이터추출부(160)는 각 슈퍼프레임(20a,20b,20c)에 포함된 데이터패킷을 추출하기 위해, 먼저 슈퍼프레임의 데이터 서브 프레임에서 시작프레임(SF)과 비동기비트(Ab)를 확인한다. 하나의 슈퍼프레임 내에서 N번(N=2) 반복되는 데이터 서브 프레임은 1개의 시작프레임(SF)과 2의 비동기비트(Ab)가 추가되어 있으므로 시작프레임(SF)과 데이터패킷(DP)의 전단과 후단에 각각 추가된 비동기비트(Ab)를 확인하게 되면 데이터패킷(DP)을 추출할 수 있게 된다. 여기서, 본 실시 예에서는 롤링셔터카메라(140)가 임의의 시점에서 프레임 이미지를 획득하므로 하나의 프레임 이미지에서 데이터 서브 프레임의 시작프레임과 비동기비트(Ab)를 확인할 수 없는 경우가 발생할 수 있다.
이를 해결하기 위해 본 실시 예에서는 도 8의 (a)와 같이 캡쳐된 제1 프레임 이미지(image #1)에서 시작프레임(SF)과 전단의 비동기비트(Ab)와 제1 슈퍼프레임(20a)의 첫 번째 데이터 서브 프레임(201a)과 이후에 캡쳐된 제2 프레임 이미지(image #2)에서 제1 슈퍼프레임(20a)의 두 번째 데이터 서브 프레임(201b)을 조합하여 제1 슈퍼프레임(20a)의 데이터 서브 프레임(21a)를 추출하도록 한다. 이때, 이러한 데이터 서브 프레임(21a)은 데이터패킷(DP)의 후단의 비동기비트(Ab)로 확인할 수 있다. 즉, 제1 슈퍼프레임(20a)에 포함된 다수의 데이터 서브 프레임(21a)의 전단과 후단에는 동일한 비동기비트(Ab)가 삽입되어 있으므로, 동일한 비동기비트(Ab)인지를 확인하면 각 프레임 이미지에서 캡쳐된 슈퍼프레임과 데이터 서브 프레임은 동일한 전송데이터를 포함하고 있다는 것을 의미한다. 따라서, 각 프레임 이미지에서 캡쳐된 비동기비트(Ab)의 확인을 통해 서로 동일한 데이터패킷인지를 확인할 수 있게 된다.
또한, 제2 슈퍼프레임(20b)도 동일하게 적용된다. 즉, 캡쳐된 제2 프레임 이미지(image #2)에서 시작프레임(SF)과 전단의 비동기비트(Ab)를 확인한 후 제2 슈퍼프레임(20b)의 두 번째 데이터 서브 프레임(21b)과 이후에 캡쳐된 제3 프레임 이미지(image #3)에서 제2 슈퍼프레임(20b)의 첫 번째 데이터 서브 프레임(21c)을 조합하여 제2 슈퍼프레임(20b)의 데이터 서브 프레임(21b)를 추출하도록 한다. 물론, 여기에서도 이러한 데이터 서브 프레임(21b)은 해당 데이터패킷(DP)의 후단에 추가된 비동기비트(Ab)에 의해 확인된다.
도 8의 (a)는 롤링셔터카메라(140)가 임의의 시점에 LED(130)를 촬영하여 온/오프 이미지를 프레임 이미지에서 캡쳐하는 예를 설명하는 것으로서, 촬영하는 시점이 변경되더라도 상기와 같은 원리로 데이터 서브 프레임을 추출할 수 있다. 즉, 촬영시점에 따라 또한 프레임속도에 따라 두 개의 프레임 이미지의 조합에 의해 데이터 서브 프레임을 추출할 수 있는 것이다.
도 8의 (b)는 하나의 프레임 이미지에 의한 데이터 서브 프레임 추출과정을 설명한다. 구체적으로 롤링셔터카메라(140)에서 제1 프레임 이미지(image #1)에서 제1 슈퍼프레임(20a)의 첫 번째 데이터 서브 프레임(201a)과 두 번째 데이터 서브 프레임(202a)을 캡쳐하고, 제2 프레임 이미지(image #2)에서 제2 슈퍼프레임(20b)의 첫 번째 데이터 서브 프레임(201b)과 두 번째 데이터 서브 프레임(202b)을 캡쳐하는 예를 도시하고 있다.
이때, 데이터추출부(160)는 먼저 제1 프레임 이미지(image #1)에서 캡쳐된 슈퍼프레임의 데이터 서브 프레임에서 시작프레임(SF)과 비동기비트(Ab)를 확인한다. 즉, 제1 프레임 이미지(image #1)에서 캡쳐된 제1 슈퍼프레임(20a)의 데이터 서브 프레임(201a)의 시작프레임(SF)과 전단의 비동기비트(Ab)를 확인하고, 이러한 시작프레임(SF)의 전단에 있는 데이터 서브 프레임(201a)와 전단의 비동기비트(Ab) 이후의 데이터 서브 프레임(202a)를 조합하여 제1 슈퍼프레임(20a)의 데이터 서브 프레임(21a)를 추출하도록 한다. 이때, 이러한 데이터 서브 프레임(21a)은 데이터패킷(DP)의 후단의 비동기비트(Ab)에 의해 확인될 수 있다.
만약, 도 8의 (a)와 (b)에서 동일한 하나의 프레임 이미지에서 전단의 비동기비트(Ab)와 후단의 비동기비트(Ab)가 있다면 그 사이에 위치한 데이터패킷(DP)으로부터 전송데이터를 추출하면 된다. 하지만, 본 발명에서는 롤링셔터카메라(140)의 촬영시점이 임의로 결정되고 롤링셔터카메라(140)의 프레임속도가 가변하는 상황에느는 하나의 프레임 이미지에 데이터패킷(DP)과 그 전단의 비통기비트(Ab) 및 후단의 비동기비트(Ab)가 모두 존재하지 못하는 확률이 높다. 이러한 문제를 해결하기 위해 도 8의 (a)와 같이 2개의 프레임 이미지에서 두 개의 데이터패킷을 조합하여 전송데이터를 추출하는 방법과, 도 8의 (b)와 같이 하나의 프레임 이미지에서 두 개의 데이터패킷을 조합하여 전송데이터를 추출하는 방법을 제시하는 것이다.
이와 같이, 본 발명에서는 롤링셔터카메라(140)에서 각각의 프레임 이미지에서 캡쳐된 데이터 프레임의 데이터 서브 프레임을 조합하여 그 내부의 데이터패킷을 추출할 수 있고, 이에 따라 전송데이터를 추출할 수 있게 된다. 이러한 데이터 추출은 도 8의 (a)와 같이 두 개의 프레임 이미지에 의한 데이터 추출과 도 8의 (b)와 같이 하나의 프레임 이미지에 의한 데이터 추출이 가능하다. 이러한 방식의 데이터 추출을 위해 본 발명에서는 각각의 프레임 이미지별로 반드시 하나 이상의 데이터 서브 프레임이 캡쳐되어야 한다. 이를 위해 프레임 이미지당 데이터 서브 프레임이 캡쳐되는 개수(Nrepeats)는 하기 수학식을 만족해야 한다.
수학식 1
Figure PCTKR2016000482-appb-M000001
tcap은 롤링셔터카메라에서 하나의 프레임 이미지가 노출되는 캡쳐타임이고, N은 슈퍼프레임에서 데이터 서브 프레임(DS)이 반복되는 개수이고, DSlength는 데이터 서브 프레임의 길이이다. 여기서, Nrepeats=1일 때, 단방향 통신에서 데이터 속도(data rate)가 최대 성능을 발휘하게 된다.
도 9는 본 발명의 실시 예에 따른 이미지센서통신(ISC) 시스템에서 LED의 펄스주파수에 대한 롤링셔터카메라의 진폭응답 패턴이다.
도 9를 참조하면, 본 발명에 따른 ISC 시스템에서 LED구동부(120)에서 설정된 펄스주파수에 따라 LED(130)를 구동한다. 이때, LED(130)의 온/오프 구동은 인간의 눈에 안전하도록 깜박임(flicker)을 피해야 한다. 이를 위해 LED(130)의 온/오프를 위한 펄스주파수는 충분히 높아야 한다. 예컨대, LED(130)의 펄스주파수는 적어도 100㎐ 이상이 되어야 한다. 그러나, ISC 시스템에 적용되는 롤링셔터카메라(140)의 프레임 속도는 ㎑ 단위인 LED(130)의 펄스주파수에 비해 상당히 낮은 속도인 대략 30fps이다. 이와 같이 LED(130)의 온/오프 깜박임의 속도에 비해 수신기인 롤링셔터카메라(140)의 프레임 속도는 매우 낮으므로 이러한 속도 차이에 의해 프레임 이미지에서 LED(130)의 온/오프 이미지를 캡쳐 시 데이터 손실을 초래할 수 있다. 이에, 본 발명에서는 롤링셔터카메라(140)를 적용할 때 캡쳐되는 프레임 이미지의 샘플링 속도를 프레임 속도가 아닌 셔터 속도가 되도록 한다. 즉, 롤링셔터카메라(140)의 셔터 속도는 ㎑ 단위이며, 데이터 전송에 따라 LED(130)의 상태변화에도 쉽게 기록할 수 있을 정도로 높은 속도이다.
도 9은 수신기로서의 롤링셔터카메라(140)에 적합한 펄스주파수 범위를 추출하기 위해 깜박이는 LED(130)에 대해 롤링셔터카메라(140)가 어떻게 반응하는지에 대한 실험결과 그래프로서, LED(130)에서 롤링셔터카메라(140)까지의 거리 d를 일정하게 유지한 상태에서 펄스주파수에 따른 진폭응답 패턴을 도시한다. 도 10에서 높은 펄스주파수에서 롤링셔터카메라(140)의 반응이 작다는 것을 알 수 있으며, 셔터 속도보다 높은 펄스주파수에서 롤링셔터카메라(140)는 신호를 기록하지 못한다는 것을 알 수 있다. 따라서, 본 발명에 따른 LED(130)의 온/오프 펄스주파수는 롤링셔터카메라(140)의 셔터 속도 이내의 범위로 설정하는 것이 바람직하다. 일반적인 롤링셔터카메라(140)의 경우 4㎑의 셔터속도를 가지므로 본 실시 예에서는 100㎐~4㎑의 범위로 설정함이 바람직하다. 물론, 이는 일례에 불과하며 그 이상의 셔터 속도를 갖는 롤링셔터카메라(140)의 경우 LED(130)의 펄스주파수는 더 확장할 수 있음은 당연하다.
도 10은 본 발명의 실시 예에 따른 LED와 롤링셔터카메라를 이용한 이미지센서통신방법을 보이는 흐름도이다.
도 10을 참조하면, 본 발명에 따른 LED와 롤링셔터카메라를 이용한 이미지센서통신방법에서는 데이터코딩부(110)에서 전송할 전송데이터를 코딩하고 상기 코딩된 전송데이터를 포함하는 데이터 프레임을 구성한다(S101). 본 실시 예에서 데이터 프레임은 전송하고자 하는 다수의 전송데이터별로 각각 구분되는 다수의 슈퍼프레임(20)이 연속적으로 배열되고, 이들 각 슈퍼프레임(20)은 연속적으로 반복되는 N개(N=자연수)의 데이터 서브 프레임(DS)(21)을 포함한다. 또한, 각각의 데이터 서브 프레임(21)은 상기와 같이 코딩된 전송데이터를 포함하는 데이터패킷(DP), 데이터패킷(DP)의 전단 및 후단에 각각 추가된 비동기비트(Ab), 전단 비동기비트의 전단에 추가된 시작프레임(SF)으로 구성된다.
이어, LED구동부(120)에서 설정된 펄스주파수에 따라 데이터 프레임에 대응하도록 LED(130)를 온/오프시킨다(S103). 이로써, LED(130)는 전송데이터를 포함하는 데이터 프레임에 대응하도록 온/오프된다. 구체적으로, 데이터 서브 프레임(21)에 포함된 시작프레임(SF), 전단 비동기비트(Ab), 데이터패킷(DP), 후단 비동기비트(Ab)에 대응하도록 온/오프된다. 물론, 이러한 데이터 서브 프레임(21)이 기설정된 N회 반복되도록 온/오프되며, 나아가 슈퍼프레임별로 구분되도록 온/오프되는 것이다.
계속해서, 롤링셔터카메라(140)에서 설정된 프레임속도에 따라 LED(130)의 온/오프 이미지를 롤링셔터방식으로 다수의 열(row)마다 연속적인 프레임 이미지로 캡쳐한다(S105). 롤링셔터카메라(140)는 한 캡쳐타임(10) 동안 다수의 열(row)마다 이미지를 촬영하여 캡쳐한다. 이때, 열(row)별 이미지 촬영은 기설정된 일정한 시간간격을 두고 비선형 스캔방식으로 이루어진다. 이는 카메라 내부에 마련된 이미지센서(미도시)의 각 열(row)을 순차적으로 기설정된 노출시간(integration time) 동안 노출시키되, 각각의 열(row)마다 일정한 시간간격으로 노출시키는 것이다. 첫 번째 열(row)의 마지막 노출시간과 마지막 열(row)의 마지막 노출시간을 프레임 시간(frame time)이라 하며 노출시간과 프레임시간이 캡쳐타임(capturing time)이 된다.
이후, 이미지처리부(150)에서 각 열(row)마다 연속 프레임 이미지로 캡쳐된 LED(130)의 온/오프 이미지의 밝기값에 따른 밝기신호를 생성하고(S107), 데이터추출부(160)에서 상기 밝기신호로부터 전송데이터를 추출한다(S109).
도 11은 본 발명의 일 실시 예에 따른 LED와 롤링셔터카메라를 이용한 이미지센서통신 시 데이터추출부에서 전송데이터를 추출하는 과정을 보이는 흐름도이다.
도 11을 참조하면, 본 발명의 일 실시 예에 따른 전송데이터 추출을 위해서, 먼저 데이터추출부(160)에서 캡쳐된 하나의 제1 프레임 이미지에서 시작프레임(SF)과 전단의 비동기비트(Ab)를 추출한다(S201). 이어, 전단의 비동기비트(Ab)의 후단에 위치한 데이터패킷(DP)을 추출한다(S203). 계속해서 제1 프레임 이미지에서 데이터패킷(DP)의 후단에 있는 후단 비동기비트(Ab)가 있는지 판단하여(S205), 있으면 상기 데이터패킷(DP)으로부터 전송데이터를 추출하고(S207), 없으면 상기 제1 프레임 이미지에 연속으로 캡쳐된 이웃의 제2 프레임 이미지에서 후단의 비동기비트(Ab)를 추출한다(S209). 이와 같이, 제2 프레임 이미지에서 추출된 후단의 비동기비트(Ab)가 제1 프레임 이미지에서 추출된 전단의 비동기비트(Ab)와 일치하는지를 판단한다(S211). 일치하면 후단의 비동기비트(Ab)의 전단에 위치하는 데이터패킷(DP)을 추출한다(S213). 이는 동일한 전송데이터가 같은 경우 슈퍼프레임 내에서 연속되는 데이터 서브 프레임(DS)에 삽입된 비동기비트(Ab)는 모두 동일하기 때문에 데이터패킷(DP)의 전단 비동기비트(Ab)와 후단 비동기비트(Ab)가 같다면 그 내부에 포함된 데이터패킷(DP), 즉 전송데이터가 같다는 것을 의미하기 때문이다. 이어서, 제1 프레임 이미지에서 추출된 데이터패킷(DP)과 제2 프레임 이미지에서 추출된 데이터패킷(DP)을 조합하여 전송데이터를 추출한다(S215). 이로써, 2개의 이웃한 프레임 이미지로부터 전송데이터를 추출하게 된다.
도 12는 본 발명의 다른 실시 예에 따른 LED와 롤링셔터카메라를 이용한 이미지센서통신 시 전송데이터를 추출하는 과정을 보이는 흐름도이다.
도 12를 참조하면, 본 발명의 다른 실시 예에서 데이터추출부(160)에서 캡쳐된 하나의 제1 프레임 이미지에서 시작프레임(SF)과 전단의 비동기비트(Ab)를 추출하고(S301), 이어, 전단의 비동기비트(Ab)의 후단에 위치한 데이터패킷(DP)을 추출한다(S303). 계속해서, 제1 프레임 이미지에서 데이터패킷(DP)의 후단에 후단 비동기비트(Ab)가 있는지 판단하여(S305), 있으면 상기 데이터패킷(DP)으로부터 전송데이터를 추출하고(S307), 없으면 그 추출된 시작프레임(SF)의 전단에 후단 비동기비트(Ab)가 있는지 판단한다(S309), 후단 비동기비트(Ab)가 있으면, 이러한 후단의 비동기비트(Ab)의 전단에 있는 데이터패킷(DP)과 상기의 S303 단계에서 추출된 데이터패킷(DP)을 조합하여 전송데이터를 추출한다(S311). 이는 하나의 프레임 이미지에 시작프레임(SF)과 전단의 비동기비트(Ab)를 확인하여 시작프레임(SF)의 전단에 있는 데이터패킷(DP)과 전단의 비동기비트(Ab)의 후단에 있는 데이터패킷(DP)으로부터 전송데이터를 추출하는 것으로서, 하나의 프레임 이미지에 의해 전송데이터를 추출하는 것이다.
도 13은 본 발명의 또 다른 실시 예에 따른 다중 주파수 편이 변조(M-FSK)를 이용한 LED와 롤링 셔터 카메라 간의 이미지 센서 통신 시스템의 구성도이다.
도 13을 참조하면, 본 발명에 따른 다중 주파수 편이 변조(M-FSK:Multiple-Frequency Shift Keying)를 이용한 LED와 롤링 셔터 카메라 간 이미지 센서 통신 시스템(이하, 이미지 센서 통신 시스템)(100)은 크게 데이터코딩부(110), 적어도 하나의 LED(120) 및 롤링 셔터 카메라(130)를 포함하여 구성된다.
데이터코딩부(110)는 입력되는 전송데이터를 복수의 동일한 패킷으로 분할하는 패킷분할부(111), 분할된 각 데이터 패킷에 시작프레임(SF:Start Frame)을 삽입하는 SF삽입부(112), 시작프레임(SF)이 삽입된 각 데이터 패킷에 LED를 구분하기 위한 식별정보(ID)를 삽입하는 ID삽입부(113), 클럭신호를 발생시키는 클럭신호발생부(114), 시작프레임(SF) 및 식별정보(ID)가 삽입된 각 데이터 패킷에 발생된 클럭신호에 따라 비동기심볼(asynchronous)을 삽입하는 비동기심볼 삽입부(115), 기설정된 다중 주파수 편이 변조(M-FSK) 코딩테이블을 이용하여 데이터 패킷에 대응하는 주파수를 할당하는 M-FSK 코딩부(116)를 포함한다.
이러한 데이터코딩부(110)는 LED(120)의 온/오프(on/off)를 통해 전송하고자 하는 전송데이터에 대응하도록 데이터를 코딩하는 역할을 한다. 이를 위해 패킷분할부(111)는 외부로부터 입력되는 전송데이터를 복수의 동일한 패킷으로 분할한다. 이는 직렬로 연속해서 입력되는 데이터를 패킷 단위를 전송하기 위해 동일한 크기의 패킷으로 구분하기 위한 것이다. SF삽입부(112)는 이와 같이 분할된 데이터의 각 패킷에 기설정된 비트(bit)의 시작프레임을 삽입한다. 시작프레임(112)의 데이터 패킷의 시작을 구분하기 위한 인덱스로 사용될 수 있다. 데이터 패킷의 용량을 줄이기 위해 바람직하게는 1비트(bit)의 시작프레임을 삽입하는 것이 좋다. ID삽입부(113)는 적어도 하나의 LED 중 어느 LED에 대응하는 데이터 패킷인지를 구분하기 위해 해당 LED의 식별정보(ID)를 삽입하는 것이다. 식별정보(ID) 역시 데이터 패킷의 용량을 고려하여 바람직하게는 1비트로 삽입하는 것이 좋다. 만약, 하나의 LED를 적용하는 경우에는 식별정보(ID)를 삽입해도 되고 안해도 된다. 본 발명에서는 클럭신호발생부(114)에서 클럭신호를 발생시킨다. 이는 본 발명에 따른 롤링 셔터 카메라(130)의 이미지센서(131)의 프레임 속도가 변하기 때문에 비동기 심볼을 구분하여 삽입하기 위해 사용된다. 즉, 비동기 심볼을 클럭신호에 대응하여 삽입되며 서로 이웃한 클럭신호별로 다른 값으로 삽입된다. 비동기심볼 삽입부(115)는 클럭신호발생부(114)에서 발생되는 클럭신호에 따라 상기와 같이 시작프레임(SF) 및 식별정보(ID)가 삽입된 각 데이터 패킷에 비동기심볼(asynchronous symbol)을 삽입한다. 이러한 비동기 심볼을 이미지 센서의 프레임 속도가 변하는 경우에 이미지 프레임을 결정하는데 중요한 인덱스가 될 수 있다. 이는 하기에서 상세하게 설명한다. 기설정된 다중 주파수 편이 변조(M-FSK) 코딩테이블에는 비동기심볼과 데이터 패킷의 비트 값에 따라 복수의 주파수가 설정되어 있다. 이는 본 발명에 따른 LED가 다수의 다중 주파수로 온/오프(on/off)한다는 것을 전제로 한다. 즉, 다수의 주파수로 온/오프하여 대응하는 데이터를 전송하는 것이다. 이때, 각각의 주파수마다 비동기심볼과 데이터 패킷의 비트값이 M-FSK 코딩테이블에 미리 설정되어 있는 것이다. 따라서, 본 발명에서는 M-FSK 코딩부(116)가 M-FSK 코딩테이블을 이용하여 전송하고자 하는 데이터 패킷에 대응하는 주파수를 할당하도록 한다.
LED(120)는 적어도 하나 이상 구비된다. 이러한 LED(120)는 본 발명에 따른 이미지 센서 통신 시스템(100)에서 송신기(transmitter)의 역할을 한다. 본 실시 예에서 LED(120)는 데이터코딩부(110)에서 코딩된 전송데이터에 대응하여 상기에서 할당된 주파수의 펄스속도(pulse rate)로 온(on) 또는 오프(off)된다. 이러한 온/오프에 따라 데이터가 전송되는 것이다. 본 실시 예에 따라 LED(120)는 복수 개로 구비되는 경우 1×N으로 배열될 수 있고, M×1으로 배열될 수도 있으며, 바람직하게는 M×N으로 배열될 수도 있다. 물론, 원형, 방사형, 타원형 등 다양한 형태로 배열될 수 있다. LED(120)는 온/오프되는 펄스속도가 초당 110회 이상이면 사람의 눈으로 그 온/오프를 구분하지 못하고 계속 온 상태인 것으로 인식한다. 이러한 펄스속도는 물론 조정이 가능하다. 본 발명에서는 광을 조사하여 데이터를 전송하는 송신기로서 대표적으로 LED(120)를 기재하고 있지만, 본 발명은 이에 한정되는 것은 아니며, 온/오프를 통해 데이터를 전송할 수 있는 광원이라면 본 발명의 범위에 포함되며, 본 발명에서는 이러한 모든 광원을 대표하여 LED로 표현함을 밝혀둔다.
롤링 셔터 카메라(130)는 LED(120)의 온/오프 이미지를 롤링 셔터 방식으로 캡쳐하는 이미지센서(131), 이미지센서(131)에서 캡쳐한 온/오프 이미지로부터 상기 기설정된 M-FSK 코딩테이블을 이용하여 해당 할당 주파수에 대응하는 데이터 패킷을 추출하는 M-FSK 디코딩부(132), 추출된 데이터 패킷으로부터 전송데이터를 추출하는 전송데이터 추출부(133)을 포함한다. 일례로 롤링 셔터 카메라(130)는 디지털 카메라, 휴대폰이나 스마트기기 등에 탑재된 카메라를 포함할 수 있다.
이러한 롤링 셔터 카메라(130)는 기본적으로 하나의 캡쳐타임(capture time) 동안 다수의 열(row)마다 이미지를 촬영하여 캡쳐한다. 이때, 열(row)별 이미지 촬영은 기설정된 일정한 시간간격을 두고 비선형 스캔방식으로 이루어진다. 이는 카메라 내부에 마련된 롤링 셔터 방식의 이미지센서(131)의 각 열(row)을 순차적으로 기설정된 노출시간(integration time) 동안 노출시키되, 각 열(row)마다 일정한 시간간격으로 노출시키는 것이다. 이때, 첫 번째 열(row)의 마지막 노출시간과 마지막 열(row)의 마지막 노출시간을 프레임 시간(frame time)이라 하며 노출시간과 프레임시간이 캡쳐타임(capturing time)이 된다. 본 발명에서 롤링 셔터 카메라(130)는 LED(120)가 온/오프(on/off)되는 동안 LED(120)를 촬영한다. 즉, LED(120)가 온 및 오프되는 동안 롤링 셔터 카메라에서 다수의 열(row)마다 온/오프 이미지를 캡쳐하는 것이다. 예컨대, 캡쳐타임 동안 캡쳐된 이미지는 LED(120)가 온(on)인 경우에는 흰색(W)으로 나타나고 오프(off)된 경우에는 검정색(B)으로 나타난다. 물론, LED(120)가 온(on) 또는 오프(off)되는 과정에서 흰색(W)과 검정색(B)의 밝기값은 다르다. 이러한 롤링 셔터 카메라(130)는 이미지 센서 통신 시스템(100)에서 수신기(receiver)의 역할을 한다. 롤링 셔터 카메라(130)는 LED(120)의 온/오프 이미지를 캡쳐하기 위해 내부에 롤링 셔터 방식으로 이미지를 캡쳐하는 이미지센서(131)가 구비되며, 이미지센서의 각 열(row)을 순차적으로 노출시켜 LED(120)를 촬영한다. 이미지센서(131)로는 예컨대 CMOS 반도체 센서를 사용할 수 있다. M-FSK 디코딩부(132)는 상기와 같이 이미지센서(131)에서 캡쳐한 LED(120)의 온/오프 이미지로부터 상기 기설정된 M-FSK 코딩테이블을 이용하여 해당 할당 주파수에 대응하는 데이터 패킷을 추출한다. 구체적으로, 전송된 데이터 프레임에서 시작프레임(SF)과 식별정보(ID)를 확인하여 제외하고 클럭신호에 대응되는 비동기심볼과 데이터패킷을 추출한 후, 비동기심볼을 제외한 데이터 패킷만을 추출하는 것이다. 이러한 데이터 패킷의 추출은 각 LED(120)에 할당된 주파수를 확인하고, 기설정된 M-FSK 코딩테이블에서 이들 해당 주파수에 대응하는 비동기심볼과 데이터패킷을 추출하도록 하는 것이다. 이를 하기에서 구체적으로 설명한다. 또한, 전송데이터 추출부(133)는 상기와 같이 추출된 데이터 패킷으로부터 전송데이터를 추출한다. 이를 위해 전송데이터 추출부(133)는 롤링 셔터 방식의 이미지센서(131)가 LED(120)의 온(on) 또는 오프(off)의 이미지를 캡쳐할 때 나타나는 흰색 밴드(white band)와 검정 밴드(black band)별로 다르게 나타나는 밝기값으로부터 전송데이터를 추출한다. 즉, LED(120)의 온/오프에 따라 나타나는 색상은 일례로 0~255의 밝기값으로 표시될 수 있다. 예컨대, 흰색 밴드는 255의 밝기값, 검정 밴드는 0의 밝기값을 나타낼 수 있는 것이다. 물론 이러한 밝기값의 범위는 변경이 가능하다. 또한, 상기에서 설명한 바와 같이 이미지센서(131)의 프레임 속도가 변하기 때문에 임의의 시점에서 촬영하는 경우 LED(120)가 오프 상태에서 온 상태로 변하거나 온 상태에서 오프 상태로 변할 수 있어 캡쳐시 밝기값이 흰색 밴드와 검정 밴드의 중간색의 밴드가 될 수 있는 것이다. 이는 0~255사이의 밝기값으로 나타날 수 있다는 것이다. LED(120)는 할당된 주파수에 따라 연속적으로 온 또는 오프되므로 온/오프 이미지의 밝기신호는 각각의 열(row)에 대하여 연속적인 값을 가진다. 이에 전송데이터 추출부(133)는 LED(120)의 온/오프 이미지의 밝기신호로부터 전송데이터를 추출하는 것이다.
한편, 도면에는 도시하지 않았으나, 각 LED(120)에서는 온(on)과 오프(off)의 듀티 비(duty ratio)를 조절하여 디밍제어를 수행하는 디밍제어부(미도시)를 더 포함할 수 있다. 이는 발생된 클럭신호에 따라 온/오프를 반복할 때 온(on) 대비 오프(off)의 시간길이로 디밍제어가 가능하다는 것이다. 예컨대, 임의의 주파수로 온/오프되는 경우 온:오프=1:9로 설정하는 경우 듀티 비는 10%가 된다. 다른 예로서 온:오프=5:5로 설정하는 경우에는 50%가 된다. 이와 같이 본 발명에서는 선택적으로 듀티비를 조정함으로써 디밍제어도 함께 수행될 수도 있다.
도 14는 본 발명의 실시 예에 따른 데이터 프레임의 구조도이다.
도 14를 참조하면, 본 발명에 따른 데이터 프레임 구조는 시작프레임(SF)와 LED(120)의 식별정보(ID)가 포함된다. 이들 시작프레임(SF)과 식별정보(ID)는 데이터 프레임의 용량을 고려하여 각각 1 비트(bit)로 하는 것이 좋다. 계속해서 다수의 데이터 서브프레임이 이어진다. 각각의 데이터 서브프레임은 비동기심볼과 데이터패킷을 포함한다. 이러한 비동기심볼은 클럭신호에 따라 삽입된다. 예컨대, 본 발명에서는 클럭신호에 따라 1 bit인 1과 0으로 교대로 삽입됨이 바람직하다.
도 15는 본 발명의 실시 예에 따른 롤링 셔터 카메라에서 캡쳐된 이미지 프레임의 예시도이다.
도 15에 도시된 예시와 같이, 클럭신호에 대응하여 다수의 이미지 프레임이 캡쳐된다. 그런데, 도면에서와 같이 본 발명에 따른 이미지센서(131)는 프레임 속도(frame rate)가 가변되기 때문에 첫 번째 클럭에서는 2개의 이미지 프레임이 캡쳐되고 두 번째 클럭에서는 3개의 이미지 프레임이 캡쳐된 것을 알 수 있다. 다시 말하면, 이미지센서(131)의 프레임 속도가 고정되어 있다면 각 클럭마다 동일한 개수의 이미지 프레임이 캡쳐되지만, 본 발명에서와 같이 이미지센서(131)의 프레임 속도가 가변되는 경우 클럭마다 캡쳐되는 이미지 프레임의 개수가 달라질 수 있다. 따라서, 본 발명에서는 캡쳐되는 이미지 프레임을 각 클럭마다 정확하게 매핑하는 것이 중요하다. 왜냐하면, 어느 클럭에서 어떤 이미지 프레임이 캡쳐되었는지에 따라 추출되는 데이터가 다르기 때문이다. 이에, 본 발명에서는 도 17과 같이 각 클럭마다 1과 0의 비트를 교대로 데이터 패킷에 삽입함으로써 이러한 문제를 해결한다.
도 16은 본 발명의 실시 예에 따른 비동기 심볼이 삽입된 데이터 패킷의 예시도이다.
도 16의 일 예시를 참조하면, 본 발명에서는 클럭신호마다 1 bit의 비동기 심볼 1과 0을 교대로 할당한다. 예컨대, 도 16의 예시에서는 첫 번째 클럭신호에서 캡쳐될 이미지 프레임에는 비동기 심볼 1을 할당하고, 다음 두 번째 클럭신호에서 캡쳐될 이미지 프레임에는 비동기 심볼 0를 할당하도록 한다. 따라서, 첫 번째 클럭신호에서는 전송데이터 010의 앞단에 1이 할당되어 데이터패킷은 1010이 되고, 두 번째 클럭신호에서는 전송데이터 011의 앞단에 0이 할당되어 데이터패킷은 0011이 되는 것이다. 이와 같이 이미지센서(131)의 프레임 속도가 가변되기 때문에 클럭신호마다 이미지 프레임의 개수가 다르게 캡쳐될 때의 동기화 문제를 해결하기 위해 각 클럭신호마다 1과 0을 교대로 할당하도록 한다.
도 17은 본 발명의 실시 예에 따른 데이터 서브 프레임의 비동기 심볼 및 데이터 패킷의 비트 값에 따라 할당된 주파수의 예시도이다.
도 17을 참조하면, 본 발명에 따른 M-FSK 코딩부(115)에서는 기설정된 다중 주파수 편이 변조(M-FSK) 코딩 테이블을 이용하여 데이터 서브 프레임을 구성하는 비동기 심볼 및 데이터 패킷의 비트 값에 따라 주파수를 할당한다. 도 5에 도시된 예시와 같이 데이터 서브 프레임이 1 bit의 비동기 심볼과 4 bit의 데이터패킷으로 구성된 경우, 비동기 심볼과 데이터 패킷의 각 비트 값에 따라 서로 다른 주파수를 할당한다. 예컨대, 데이터 서브 프레임이 시작 프레임(SF)인 경우 f0의 주파수를 할당하고, 데이터 서브 프레임의 비동기 심볼과 데이터 패킷이 00000인 경우(즉, 비동기 심볼 0 + 데이터 패킷 0000)는 f1, 00001인 경우 f2, 00010인 경우 f3를 할당한다. 도 4와 같이 할당하여 11111인 경우 f32를 할당하도록 한다. 이때, M-FSK 코딩부(115)에서는 데이터 서브 프레임에 따라 주파수를 할당할 때 M-FSK 코딩 테이블을 이용한다. 이러한 M-FSK 코딩 테이블을 미리 설정되어 있으며, 전송측인 데이터코딩부(110)와 수신측이 롤링 셔터 카메라(130)에 각각 미리 저장되어 있다. 여기서, 데이터 서브 프레임에 따라 주파수를 할당할 때 주파수의 개수를 결정하는 것이 중요하다. 이는 하기에 설명된다.
도 18은 본 발명의 실시 예에 따른 주파수를 FFT 변환하여 FFT 피크를 표시한 예시적인 그래프이다.
도 18을 참조하면, 본 발명에 따른 주파수 할당은 롤링 셔터 카메라(130)의 고유특성인 스캔속도(scanning rate)에 의존한다. 즉, 롤링 셔터 카메라(130)에서 캡쳐하는 주파수 밴드 중 각 밴드의 피크(peak)값은 특정 카메라의 반응에 따라 결정되어야 한다. 예컨대, 본 실시 예에서 실험을 위해 사용된 USB 카메라의 해상도(resolution)는 640×480, 고정된 캡쳐링 시간(tcap)(constant capturing time)을 31.326msec, 픽셀 샘플링 간격(pixel sampling interval)을 1/480×tcap = 0.06526msec, 샘플링 속도(sampling rate)를 1000/0.06526msec = 15.323㎑라 가정한다. 또한, 상기 카메라를 사용하여 하기와 같이 몇 가지 파라미터(노출시간:exposure time)를 결정한다.
수학식 2
Figure PCTKR2016000482-appb-M000002
Figure PCTKR2016000482-appb-I000001
이러한 특정 USB 카메라의 주파수 밴드에 대해 고속 푸리에 변환(FFT:fast Fourier transform)를 통해 FFT 피크값(정수)과의 상관관계는 도 6과 같이 나타난다. 이때, FFT 피크값은 최소 1 이상이어야 한다. 즉, FFT 피크(peak)의 간격(△FFTpeak)≥≥1이어야 하고, 이때, 주파수 간격의 최소값(△fmin)≥≥32.192㎐가 된다. 따라서, 상기한 특정 USB 카메라의 경우 주파수와 FFT 피크값간에는 직선으로의 비례관계가 형성되며, 할당되는 주파수는 32.192 × FFT 피크값이 된다. 즉, 도 18에서 나타난 예의 경우 32.129는 주파수 할당의 최소값이 된다. 따라서, 주파수 할당(f)과 FFT 피크값(L) 간의 관계는 f=32.192×L이 된다. 이를 일반화하여 다른 카메라의 경우에는 다른 픽셀 샘플링 속도는 다음과 같이 계산될 수 있다.
수학식 3
Figure PCTKR2016000482-appb-M000003
여기서, 픽셀 샘플링 속도(pixel sampling rate)는 롤링 셔터 카메라의 이미지의 캡쳐링 시간에 의해 분할된 이미지 해상도의 폭에 의해 계산된다. 예컨대, 640×480 해상도에서 이미지의 폭은 480 픽섹이다. 이로써, 주파수 할당이 결정되면 최소 1 이상인 FFT 피크(peak)의 간격(△FFTpeak)이 결정될 수 있다. 이때, 도 6의 예시에서 상호 간섭을 피하기 위한 최소로 요구되는 주파수 간격의 최소값(△fmin)은 32.192㎐이고, △FFTpeak이 결정되면, M-FSK 코딩부(115)는 할당되는 주파수의 최대 개수(Nf, 정수)를 결정하되, 구체적으로 Nf ≤≤ (롤링 셔터 카메라의 이미지 센서의 캡쳐링 주파수)/ (△FFTpeak × △fmin)를 만족하는 정수로 결정한다. 이에 대한 예시는 도 7 내지 도 10에서 설명한다.
도 19는 본 발명의 일 실시 예에 따른 FFT 피크의 간격을 도시한 그래프이다.
도 19를 참조하면, 본 발명에 따른 특정 롤링 셔터 카메라(130)의 캡쳐링 주파수는 2.3㎑라고 가정하고, 도 18과 같이 주파수 간격의 최소값(△fmin)은 32.192㎐이고, 이때 △FFTpeak는 3인 예의 경우 주파수 할당 채널의 최대 개수(Nf)는 하기 수식과 같이 계산된다.
수학식 4
Figure PCTKR2016000482-appb-M000004
따라서, 상기 예의 경우 할당되는 주파수의 개수는 최대 23개가 된다.
도 20은 도 19에 따른 데이터 서브 프레임의 비동기 심볼 및 데이터 패킷의 비트 값에 따라 할당된 주파수의 예시도이다.
도 20에서는 일례로 23개의 주파수 채널에서 16개를 선택하여 코딩 테이블을 이용하여 주파수를 할당하는 예를 도시한다. 즉, 도 20의 예시에서 데이터 서브 ㅍ프레임을 구성하는 비동기 심볼 및 데이터 패킷의 비트 값에 따라 f1~f16으로 주파수를 할당하게 된다. 여기서, 도 7에 도시된 M-FSK 코딩 테이블은 미리 결정되어 저장되어 있다.
도 21는 본 발명의 다른 실시 예에 따른 FFT 피크의 간격을 도시한 그래프이고, 도 22는 도 21에 따른 데이터 서브 프레임의 비동기 심볼 및 데이터 패킷의 비트 값에 따라 할당된 주파수의 예시도이다.
도 21 및 도 22의 다른 실시 예에서도 도 19 및 도 20의 일례와 같이, △FFTpeak를 구한다. 도 21 및 도 22에서는 △FFTpeak는 1인 예를 도시한다. 같은 원리로 주파수 할당 채널의 최대 개수(Nf)를 구하면 71개가 된다. 따라서, M-FSK 코딩부(115)에서는 데이터 서브 프레임을 구성하는 비동기 심볼 및 데이터 패킷의 비트 값에 따라 71개 이내의 주파수를 선택하여 도 23과 같이 미리 설정된 M-FSK 코딩 테이블에 따라 f1~f64로 주파수를 할당하게 된다. 도 22의 예시에서는 데이터 패킷은 5비트이므로, 비동기 심볼까지 총 6비트가 되므로 64개의 주파수를 할당하게 되는 것이다.
도 23은 본 발명의 실시 예에 따른 이미지 센서 통신 시스템에서 데이터 송수신 과정을 개략적으로 도시한 개념도이다.
도 23을 참조하면, 본 발명에 따른 이미지 센서 통신 시스템(100)에서는 먼저 전송하고자 하는 전송데이터의 전단에 비동기 심볼을 삽입하여 데이터 패킷을 구성한다. 이러한 데이터 패킷에 따라 LED(120)를 온/오프시키고, 롤링 셔터 카메라(130)에 포함된 이미지 센서(131)에서 LED(120)의 온/오프 이미지를 추출한다. 이때, 이미지 센서(131)의 프레임 속도는 가변되므로 캡쳐된 이미지 프레임은 클럭마다 도 11의 예시와 같이 다른 개수가 될 수 있다. 따라서, 각 클럭마다 비동기 심볼 1 및 0을 교대로 할당하는 것이다.
이에, 이미지 프레임으로부터 데이터 패킷을 디코딩한다. 이는 각 이미지 프레임에 대응하는 데이터 패킷을 추출하는 것이다. 이후, 각 클럭별로 데이터 패킷을 추출하고, 각 데이터 패킷마다 미리 삽입된 비동기 심볼을 제외하여 전송데이터를 추출하도록 한다.
여기서, 본 발명에서는 LED(120)를 온/오프 시킬 때, 전송하고자 하는 데이터 패킷과 그 전단에 삽입되는 비동기 심볼의 비트 값에 따라 서로 다른 주파수를 할당하도록 한다. 이는 미리 설정된 M-FSK 코딩 테이블을 참조하여 상기에서 설명한 바와 같이 적절한 개수를 결정하여 할당하도록 한다.
도 24는 본 발명의 실시 예에 따른 이미지센서통신 방법을 보이는 흐름도이다.
도 24를 참조하면, 본 발명에 따른 이미지센서통신 방법은 LED구동부(110)의 주파수변조부(111)에서 데이터 패킷에 대응하는 주파수 할당을 위해 롤링셔터카메라(130)의 주파수 밴드에 대해 FFT 변환을 통해 주파수 간격의 최소값(△fmin)을 계산한다(S401). 이와 같이 계산된 최소값(△fmin)은 주파수 할당의 최소값이 된다. 이와 같이 주파수 할당이 결정되면 최소 1 이상인 FFT 피크(peak)의 간격(△FFTpeak)을 결정한다(S403). 이후에 △FFTpeak이 결정되면, 주파수변환부(111)는 할당되는 주파수의 최대 개수(Nf, 정수)를 결정한다(S405). 이때, Nf ≤ (롤링셔터카메라의 이미지 센서의 캡쳐링 주파수)/ (△FFTpeak × △fmin)를 만족하는 정수로 결정하며, 상기 수학식 4와 같이 계산된다.
이후, 데이터 패킷의 비트수와 주파수의 최대 개수(Nf)를 이용하여 주파수의 개수를 결정하고(S407), 상기 기설정된 주파수분할변조 코딩테이블을 이용하여 상기 할당된 주파수의 개수에 맞게 데이터 패킷에 대응하는 주파수를 할당하도록 한다(S409). LED구동부(110)는 이와 같이 할당된 주파수에 따라 데이터 패킷에 대응하도록 LED(120)를 온/오프시키고(S411), 롤링셔터카메라(130)는 LED(120)의 온/오프 이미지를 캡쳐한다(S113). 데이터처리부(140)는 기설정된 주파수분할변조 코딩테이블을 이용하여 각 할당된 주파수에 대응하는 데이터 패킷을 추출한다(S415).
도 25 및 도 26은 본 발명의 실시 예에 따른 다양한 롤링 셔터 카메라에 호환되는 이미지 센서 통신 시스템에서 LED의 설계 및 배치 구조도이다.
도 25 및 도 26을 참조하면, 본 발명에 따른 LED(120)는 롤링셔터카메라(130)가 이동하는 경로를 따라 배열된다. 이때, 이미지 상에서 LED(120)의 최대 높이를 얻기 위해 LED(120)는 롤링셔터카메라(130)의 통행로를 따라 천장에 부착된다. 롤링셔터카메라(130)는 각 열을 따라 순차적으로 LED(120)의 온/오프 이미지를 촬영한다.
도 25에서 롤링셔터카메라(130)를 보유한 사용자의 이동을 위한 LED(130) 간의 간격(L)은 하기와 같다.
L ≤≤ 2H ×(FOV/2)
길이 d는 길수록 통신에는 좋지만 전력 소모량이 많아진다.
예컨대, LED(120)가 설치된 천장 높이(H) = 2m, 롤링셔터카메라(130)의 촬영각도(FOV) = 680, LED(120)의 길이(d) = 1.2m일 때, LED(120) 간의 간격(L)= 2.7m가 된다. 이때, 롤링셔터카메라(130)를 보유한 사용자의 이동속도, 즉 롤링셔터카메라(130)의 이동속도는 LED(120) 간의 연결 스위칭 알고리즘에 의해 제한된다.
도 27은 본 발명에 따른 롤링셔터카메라에서 연결된 LED의 식별과정을 설명하는 도면이다.
도 27을 참조하면, 본 발명에서는 롤링셔터카메라(130)가 이동통로를 따라 이동하면서 다수의 LED(120)와 통신을 수행한다. 이때, LED(120)는 이동통로 상의 전청에 설치됨이 바람직하다. 이때, 다수의 LED(120)가 연속적으로 이어질 때 롤링셔터카메라(130)가 이동하면서 통신할 때 연속적으로 이어진 LED(120)를 식별하기 위한 방안이 요구된다. 이 경우 롤링셔터카메라(130)가 이동함에 따라 새로운 LED튜브의 새로운 기준그룹이 검출되고, 다수의 새로운 LED 튜브가 검출되면 이동방향에 따라 LED에 우선권을 부여하고, 새로운 LED 튜브의 길이가 이전 LED 튜브의 길이보다 큰 경우 새로운 LED로 연결을 스위칭한다. 이로써, 새로운 LED 튜브의 LED로 스위칭을 진행하게 되는 것이다.
도 28은 본 발명의 실시 예에 따른 롤링셔터카메라에 호환성을 위한 M-FSK 데이터 프레임의 구조도이다.
도 28을 참조하면, 본 발명에 따른 M-FSK 데이터 프레임은 호환성 지원 프레임(Compatibility-supporting-packets)(31)과 데이터 패킷(Data-packets)(32)으로 구성된다. 롤링셔터카메라(130)는 각기 다른 프레임속도와 샘플링속도를 갖는다. 이에, 본 발명에서는 이들 다양한 롤링셔터카메라(130)에 호환성이 지원되는 프레임을 가지는 데이터 프레임 구조를 이용하여 호환성 제공한다. 모든 LED(120)는 데이터의 복호화 시 다양한 롤링셔터카메라(130)를 지원하기 위한 몇 개의 패킷을 전송한다. 이러한 패킷은 호환성을 지원하며 다음과 같은 특징을 가진다.
첫째, 호환성 지원 패킷(31)은 수신기인 롤링셔터카메라(130)가 그 자신의 샘플링속도(kHz)를 식별할 수 있게 한다. 샘플링속도의 식별 값은 저장되어 다음 데이터 패킷들을 복호화할 때 사용된다. 둘째, 호환성 지원 패킷(31)은 롤링셔터카메라(130)가 자신의 가변 프레임속도가 통신조건을 만족하는지에 대한 여부를 확인할 수 있게 한다. 만약, 만족하지 못하면 이를 사용자에게 알리고 오류를 생성한다.
도 29는 본 발명에 따른 호환가능한 M-FSK 코딩의 심볼의 구성도이다.
도 29를 참조하면, 본 발명의 실시 예에 따른 M-FSK 엔코딩의 경우 클럭정보(clock information)와 데이터 패킷을 하나의 심볼(1 symbol)로 설정한다. 즉, 엔코딩되기 이전에 자신의 클럭정보를 갖는 데이터 패킷을 1 심볼로 설정하는 것이다. 여기서, 클럭정보는 비동기 비트로 구성된다. 이에, 데이터 패킷 + 클럭정보(비동기 비트)를 입력으로 할 때 1 심볼이 출력이 된다. 여기서, 1 심볼 당 비트의 개수(Number_of_bits_symbol)는 다음과 같이 나타난다.
Number_of_bits_symbol = log2(대역폭(Bandwidth)/주파수 분리(Frequency Serpatation))
예컨대, 대역폭이 200㎐ ~ 2.3㎑이고, 주파수 분리는 32.192㎐인 경우 1 심볼 당 비트의 개수는 6개이고, 주파수 분리가 96.576인 경우는 1심볼 당 비트의 개수는 4개가 된다.
본 발명에 따른 심볼의 주시는 반드시 다음과 같이 정의되어야 한다.
첫째, 심볼의 주기는 오류를 최소화하기 위해 다수결 방식을 수행하기에 충분하도록 길어야 하고, 둘째, 다수의 심볼들로 구성된 프레임의 주기는 이동하는 사용자가 데이터를 복호화하고 지역화를 위한 LED(120)의 식별이 가능하도록 아래 표와 같이 충분히 짧아야 한다.
표 1
1 symbol > 3 이미지
1 second < 30 이미지
1 second < 10 심볼
0.675s (2m/s) 1.35s (1m/s)
6.75 심볼 13.5 심볼
한편, 본 발명에 따른 LED(120)가 여러 지역별로 분산설치되어 있는 경우 롤링셔터카메라(130)에서 LED(120)와 통신을 수행하기 위해 해당 지역을 식별하기 위한 식별정보(ID)를 확인할 필요가 있다. 이때, LED(120)는 데이터 패킷을 브로드캐스팅(broadcasting) 방식으로 전송한다.
이때, 사용자는 다수의 LED(120)가 각기 다른 식별정보(ID)로 정의된 건물의 지도를 미리 다운로드 받아야 한다. 또한, 사용자가 이동하는 동안 롤링셔터카메라(130)는 LOS-LED의 식별정보(ID)를 인식하고 이러한 LED(120)들은 미리 다운로드한 지도에 맵핑한 후 마지막으로 사용자의 위치를 계산한다.
구체적으로 살펴보면, 먼저 출입문에서 무선통신 방식을 이용하여 지도를 다운로드하고 사용자 등록을 수행한다. 이어, LED(120)로부터 롤링셔터카메라(130)로 브로드캐스팅 통신을 통해 식별정보(ID)를 전송한다. 이때, 다양한 종류의 롤링셔터카메라(130)에 대한 호환성은 상기한 프레임 구조를 통해 지원된다. 계속해서, LED(120)의 ID를 식별한 후 LED(120)를 가상 맵에 맵핑하고 위치기반서비스(LBS) 알고리즘을 이용하여 사용자의 위치를 계산한다.
도 30은 본 발명에 따른 호환성 지원 서브 프레임을 갖는 ID 브로드캐스팅 프레임 구조도이다.
도 30을 참조하면, 본 발명에 따른 호환성 지원 서브 프레임은 롤링셔터카메라(140)가 자신의 샘플링속도(kHz)를 식별할 수 있게 해준다. 샘플링속도의 식별값은 저장되어 다음 데이터 패킷들의 복호화에 이용된다. 또한, 호환성 지원 서브-프레임은 롤링셔터카메라(130)가 자신의 가변 프레임속도가 통신조건을 만족하는지 여부를 확인할 수 있게 한다. 만약 만족하지 못하면 이를 사용자에게 알리고 오류를 생성한다.
본 발명에서, 2 심볼 = 1바이트(대역폭 제한때문에 심볼은 비동기 비트를 포함하여 5비트로 정의함)로 가정하고, 빌딩의 LED 개수는 ID 패킷을 위해 얼마나 많은 바이트가 사용되는지에 따라 결정한다. 예컨대, ID에 1바이트가 사용되면 255개의 LED가 지원되고, ID에 2바이트가 사용되면 65535개의 LED가 지원되며, ID에 4바이트가 사용되면 232　-　1개의 LED가 지원된다.
도 31은 본 발명에 따른 다수의 LED 배치 예시도이다.
도 31을 참조하면, 본 발명에 따른 다수의 LED(120)는 다수의 구역(zone)에 배열된다. 제1구역(zone 1)과 제2구역(zone 2)은 서로 구별되는 구역(zone)별 ID가 할당된다. 따라서, 각 LED에는 구역별 ID와 해당 LED의 ID가 할당된다. 이는 도 32 및 도 33과 같이 건물 내의 LED가 매우 많은 경우 각각의 LED별로 ID를 표현하는 ID 프레임 구조가 구역의 ID와 특정 LED의 ID를 포함하여 구성되는 것이다. 도 32는 구역별 ID를 갖는 ID 브로드캐스팅 프레임 구조도이고, 도 33는 2개의 구역에 대한 ID 프레임 구조도의 예시이다. 구역 ID와 LED ID의 길이 비율은 구역의 개수와 LED의 개수에 따라 결정된다. 만약 구역의 개수가 더 적다면 구역 ID의 길이가 더 짧아야 한다.
도 34는 본 발명의 실시 예에 따른 호환성 지원 서브 프레임을 갖는 데이터 프레임 구조도이다.
도 34를 참조하면, 본 발명에 따른 호환성 지원 서브 프레임을 갖는 데이터 프레임은 다수의 서브 프레임으로 구성되며, 제1 서브프레임(Sbu-Frame 1)은 시작프레임(Start of Frame), LED-ID, Length, 호환성 지원 프레임, Stop Frame으로 구성되며, 이후의 제2 서브프레임부터는 Start of Frame, LED-ID, Length, 데이터 프레임, Stop Frame으로 구성된다. 이때, 2 symbol = 125개의 LED에 대한 1byte ID이다. 서브 프레임의 길이는 사용자의 이동을 고려하여 정해야 한다. 만약 길이가 너무 길면 사용자의 속도뿐 아니라 LED 간의 교체 과정에 소요되는 시간이 데이터 서브 프레임의 길이를 결정하는 중요한 요소가 된다.
이하, 본 발명의 일례에 따른 디머블 8-PSK를 이용하여 디머블 M-PSK 기법을 설명한다.
MIMO LED-송신기는 많은 LED 그룹으로 구성된다. 각 LED 그룹은 8-LED로 함께 이루어진다. 2종류의 LED 그룹이 있다고 가정한다. 하나는 기준그룹(reference group)으로서 기준신호(reference signal)를 전송하고, 다른 하나는 데이터 그룹(data group)은 데이터를 전송한다. 각 그룹의 LED는 서로 간에 동기화되어 있기 때문에 만약 첫 번째 LED가 T/8주기만큼 지연되면 나머지 다른 LED도 마찬가지로 T/8주기로 지연된다. LED로부터의 신호는 시간에 의해 함께 변화되며 이를 위상_편이 값(Phase_Shift value)이라 칭한다. LED를 제어하기 위한 신호는 디밍된 사각 신호(dimmed square signal)이다. 즉, 디밍된(dimmed) OOK 신호이다. 기준그룹의 위상_편이 값은 0에서 바뀌지 않는다. 데이터 그룹의 위상_편이 값은 데이터를 전송하기 위해 바뀐다.
시간 변수 t에 따른 그룹의 신호 전송은 수학식 5와 같이 나타나고, 특정 시간 값 t0에서 LED의 수신된 상태는 수학식 6과 같이 나타난다.
수학식 5
Figure PCTKR2016000482-appb-M000005
수학식 6
Figure PCTKR2016000482-appb-M000006
이와 같이, 그룹 내의 8-LED의 수신된 8-상태를 통해 불연속 파형을 만들고 그룹의 위상을 검출한다. 이러한 이산 파형(descrete waveform)은 도 2와 같은 일례로 도시된다.
도 35는 본 발명의 실시 예에 따른 이산 파형을 생성하고 위상과 디밍 레벨을 검출하기 위한 매핑과정을 도시한다.
도 35를 참조하면, 이산 파형을 생성하기 위해 그룹에서 4-LED의 샘플링된 상태를 획득한 후 LED 그룹에서의 위상을 찾기 위해 상기 이산 파형을 디코딩 테이블에 매핑하는 과정을 수행한다.
도 36은 본 발명에 따른 LED를 제어하기 위한 디밍 신호간의 지연 차이를 나타낸 그래프이다.
도 36을 참조하면, 디머블 M-PSK 기술은 LED 그룹의 위상을 전송하기 위해 M LED를 이용한다. 예컨대, 8-PSK의 경우, 도 3과 같이 그룹에서 8 LED가 함께 존재한다. 예컨대, 8 LED의 그룹을 이용하는 경우, N=8 위상이며, 각 시간에 3비트가 전송가능하다. 이때, 디밍 단계는 0.125이다. 여기서, 디밍 레벨 AB% = (Σ"1")/8이다. LED의 8상태는 10000011이 되고, 디밍 레벨 AB% = 3/8 = 37.5%가 된다.
위상 비교를 통한 엔코딩 테이블(Encoding Table)과 D(위상)로부터의 디코딩 테이블(Decoding Table)은 하기 표와 같다.
표 2
엔코딩 테이블
3-bits 입력 위상출력
000 1
001 2
010 3
011 4
100 5
101 6
110 7
111 8
표 3
디코딩 테이블
D (위상) 3-bits 출력
1 0001
2 012
3 103
4 114
5 005
6 016
7 107
8 118
본 발명의 실시 예에 따른 디밍된 M-PSK 디코딩 알고리즘은 다음과 같다.
첫째, 디밍 레벨을 검출한다. 디밍 레벨 AB% = (Σ"1")/8이다.
둘째, 위상 엔코딩 테이블의 하나와 매핑한다. 이는 디밍 레벨에 따라 결정된다. 8 그룹의 참고 LED는 하나의 참고 위상을 제공하기 위해 복호화된다. 8 그룹의 데이터 LED는 하나의 데이터 위상을 제공하기 위해 복호화된다.
마지막으로 위상 D로부터 디코딩 테이블을 이용하여 복호화한다. 이러한 위상 D는 데이터 위상에서 기준위상을 뺀 값으로 결정될 수 있다.
T/8 디밍 신호(dimmed signal)에 따른 위상 디코딩 테이블은 하기 표와 같다.
표 4
1/8 Dimmed Signal 2/8 Dimmed Signal 3/8 Dimmed Signal 4/8 Dimmed Signal
8-States Input Phase Output 8-States Input Phase Output 8-States Input Phase Output 8-States Input Phase Output
1000 0000 1 1000 0001 1 1000 0011 1 1000 0111 1
0100 0000 2 1100 0000 2 1100 0001 2 1100 0011 2
0010 0000 3 0110 0000 3 1110 0000 3 1110 0001 3
0001 0000 4 0011 0000 4 0111 0000 4 1111 0000 4
0000 1000 5 0001 1000 5 0011 1000 5 0111 1000 5
0000 0100 6 0000 1100 6 0001 1100 6 0011 1100 6
0000 0010 7 0000 0110 7 0000 1110 7 0001 1110 7
0000 0001 8 0000 0011 8 0000 0111 8 0000 1111 8
표 5
5/8 Dimmed Signal 6/8 Dimmed Signal 7/8 Dimmed Signal
8-States Input Phase Output 8-States Input Phase Output 8-States Input Phase Output
1000 1111 1 1001 1111 1 1011 1111 1
1100 0111 2 1100 1111 2 1101 1111 2
1110 0011 3 1110 0111 3 1110 1111 3
1111 0001 4 1111 0011 4 1111 0111 4
1111 1000 5 1111 1001 5 1111 1011 5
0111 1100 6 1111 1100 6 1111 1101 6
0011 1110 7 0111 1110 7 1111 1110 7
0001 1111 8 0011 1111 8 0111 1111 8
도 37은 본 발명의 실시 예에 따른 M-PSK를 위한 LED 튜브의 설계 예시도이다.
도 37을 참조하면, 본 발명에 따른 다수의 LED는 하나의 LED 튜브(tube)를 구성한다. 이러한 LED 튜브는 M-PSK를 위해 도면과 같이 구현된다.
도 37의 (a)에서 좌측은 디머블 8-PSK를 위한 8x8 LED 전송기의 설계 예시도이고, 우측은 디머블 2-PSK LED 전송기의 설계 예시도이다. 또한, 도 4의 (b)와 (c)는 디머블 2-PSK를 위한 LED-튜브 설계의 예시도이고, 도 37의 (d)는 디머블 2-PSK를 위한 2줄 LED-튜브 설계 예시도이다. 도면에서 녹색은 데이터 LED를 나타내고, 적색은 기준 LED를 나타낸다.
도 38은 본 발명의 일 실시 예에 따른 듀얼 LED 튜브를 이용한 2-PSK와 M-FSK의 LED 조명 시스템의 설계 예시도이다.
도 38을 참조하면, 본 발명에서 M-FSK는 다수의 송신기(LED)를 지원할 수 있고, 주파수 할당은 모든 LED의 대역을 공유하기 위해 M-FSK를 기반으로 하므로 M-FSK 기술은 간섭을 효과적으로 피할 수 있도록 있는 장점이 있다. 또한, M-FSK는 롤링 셔터 수신기에 효과적으로 지원되며, 주파수 검출은 롤링 영향과 함께 훨씬 쉽다는 장점도 있다.
또한, M-PSK가 M-FSK와 복합적으로 사용되는 경우 M-FSK만 있을 때보다 몇 배 더 좋은 데이터속도(data rate)를 얻을 수 있으며, 클로벌 셔터 수신기를 추가적으로 지원할 수 있다는 장점이 있다.
롤링 영향의 완화는 복잡하다. 이는 수신기가 다음과 같은 많은 단계를 가지기 때문이다. 첫째, LED 위치를 검출하여 LED의 정확한 상태를 식별하고, 둘째, 기준 파형을 비교하여 수신_위상을 검출하며, 세째, 수신_위상으로부터 송신_위상을 추정하도록 한다. 본 발명에서는 롤링 셔터 ISC 시스템에서 좀 더 간단하도록 하기 위해 M-PSK와 M-FSK의 조합이 고려된 송신기의 새로운 M-PSK 설계안이 제시된다.
도 38을 참조하면, 2-LED 그룹 세트별 하나의 비트가 2-PSK 기법에 의해 전송될 수 있다. 두 LED 그룹이 같은 위상이면 비트1, 만약 위상이 반대라면 비트 0로 설정할 수 있다. M-FSK 기법은 각 주기에서 log2 M (bits)가 전송 되도록 한다.
도 39는 본 발명의 실시 예에 따른 2-PSK와 M-FSK의 복합 변조기법을 이용한 LED 그룹 수신기의 구조도이다.
도 39를 참조하면, LED 1과 LED 2는 2-PSK 기술을 이용하여 데이터 패킷의 시간 정보를 위상을 통해 함께 전송하고, 또한 M-FSK 기술을 이용하여 주파수 엔코더를 통해 데이터를 전송하도록 한다.
2-PSK와 M-FSK의 복호화 알고리즘은 다음과 같다.
먼저, 듀얼 LED 튜브가 검출되면, 튜브의 두 개의 LED의 위상을 비교한다. 만약, 위상이 같으면 비동기 비트를 1로 하고, 다르면 비동기 비트를 0으로 한다. 이때, 비동기 비트는 데이터 패킷의 시간 정보이다. 이후에, 듀얼 LED의 공통 주파수를 검출한다. 데이터는 M-FSK를 이용하여 복호화된다.
도 40은 본 발명의 다른 실시 예에 따른 3-LED 튜브 세트를 이용한 2-PSK와 M-FSK를 위한 LED 조명 시스템의 설계 예시도이다.
도 40을 참조하면, 3-LED 그룹의 세트 당 두 개의 비트가 2-PSK 기법을 이용하여 전송된다. 하나의 LED는 기준용이고 다른 두 개는 데이터용이다(도 42를 참조). 만약 LED 가 기준 LED와 동일한 위상이라면 비트 1을 전송하고, 다르면 비트 0을 전송한다. M-FSK 기법은 각 주기에 log2 M 비트를 전송할 수 있도록 한다.
도 42는 본 발명의 실시 예에 따른 2-PSK와 M-FSK의 복합 변조 기법을 이용한 LED 그룹 수신기의 구조도이다. LED 1, LED 2 또는 LED 3는 데이터 패킷의 시간 정보를 전송한다. 기준 LED인 LED 1은 수신기가 2-PSK 기술에서 롤링 영향을 완화할 수 있도록 기준 위상(항상 위상=0)를 전송한다. 또한 다른 두 LED 와 같이 주파수를 통해 데이터를 전송한다. LED 2와 LED 3은 데이터 LED로서 신호의 위상과 주파수로 정보를 전달한다.
도 43은 본 발명의 또 다른 실시 예에 따른 4-LED 튜브 세트를 이용한 4-PSK와 M-FSK를 위한 LED 조명 시스템의 설계 예시도이다.
도면에서와 같이, 본 발명에서 4-LED 튜브 그룹과 함께 2-PSK와 M-FSK 를 이용함으로써 4-LED 그룹의 세트당 세 개의 비트가 2-PSK 기법을 이용하여 전송된다. 이때, 도 44와 같이 하나의 LED는 기준용이고 다른 세 개는 데이터용이다. 만약 LED 가 기준 LED와 동일한 위상이라면 비트 1을 전송하고, 다르면 비트 0을 전송한다. M-FSK 기법은 각 주기에 log2 M 비트를 전송할 수 있도록 한다. 이와 같이 4-PSK는 2bits/LED를 전송하며, 기준 LED는 수신기의 롤링 영향 완화를 돕는다. 다른 세 개의 LED는 모두 2 X 3 = 6 비트를 전송한다.
이상에서, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (26)

  1. 전송할 전송데이터를 코딩하는 데이터코딩부;
    상기 데이터코딩부에서 코딩된 전송데이터에 따라 온/오프(on/off)되는 LED;
    상기 LED의 온/오프에 따른 온/오프 이미지를 롤링 셔터 방식으로 다수의 열(row)마다 연속적으로 촬영하는 롤링 셔터 카메라;
    상기 롤링 셔터 카메라에서 다수의 열(row)마다 촬영된 상기 LED의 온/오프 이미지의 밝기값에 따른 밝기신호를 생성하는 이미지처리부; 및
    상기 이미지처리부에서 생성된 LED의 온/오프 이미지의 밝기신호로부터 상기 전송데이터를 추출하는 데이터추출부; 를 포함하는 이미지 센서 통신 시스템.
  2. 제1항에 있어서,
    상기 LED는 시작프레임(SF:start frame)을 나타내기 위한 온 또는 오프의 시간간격과 전송데이터를 나타내기 위한 온 또는 오프의 시간간격을 서로 다르게 설정하는 이미지 센서 통신 시스템.
  3. 제1항에 있어서,
    상기 데이터추출부는 상기 온 또는 오프의 시간간격으로부터 시작프레임 및 전송데이터를 구분하고, 두 시작프레임의 밝기신호 사이에 존재하는 전송데이터의 밝기신호로부터 전송데이터를 추출하는 이미지 센서 통신 시스템.
  4. 제1항에 있어서,
    상기 데이터추출부는 상기 다수의 열(row)별로 생성된 밝기신호에서 상기 다수의 열(row)별로 기설정된 밝기값에서의 밝기신호의 기울기를 이용하여 상기 전송데이터를 추출하는 이미지 센서 통신 시스템.
  5. 제4항에 있어서,
    상기 데이터추출부는 상기 기설정된 밝기값에서 밝기신호가 상승하는 부분과 상기 상승하는 부분에 이어서 나타나는 하강하는 부분의 조합으로 상기 전송데이터를 추출하는 이미지 센서 통신 시스템.
  6. 제1항에 있어서,
    상기 데이터추출부는 상기 다수의 열(row)별로 생성된 상기 밝기신호에서 상기 다수의 열(row)마다의 최대 밝기값과 최소 밝기값의 조합으로 상기 전송데이터를 추출하는 이미지 센서 통신 시스템.
  7. 데이터코딩부에서 전송할 전송데이터를 코딩하고 상기 코딩된 전송데이터를 포함하는 데이터 프레임을 구성하는 코딩단계;
    LED구동부에서 펄스주파수에 따라 상기 데이터 프레임에 대응하도록 LED를 온/오프시키는 구동단계;
    상기 롤링셔터카메라에서 프레임속도에 따라 상기 LED의 온/오프 이미지를 롤링셔터방식으로 다수의 열(row)마다 연속 프레임 이미지로 캡쳐하는 캡쳐단계;
    이미지처리부에서 상기 열(row)마다 연속 프레임 이미지로 캡쳐된 상기 LED의 온/오프 이미지의 밝기값에 따른 밝기신호를 생성하는 생성단계; 및
    이미지추출부에서 상기 밝기신호로부터 상기 전송데이터를 추출하는 추출단계; 를 포함하고,
    상기 데이터 프레임은 상기 전송데이터별로 구분되는 슈퍼프레임이 다수 개가 연속적으로 배열되고, 상기 각 슈퍼프레임은 연속적으로 반복되는 N개(N=자연수)의 데이터 서브 프레임(DS)을 포함하고, 상기 각 데이터 서브 프레임은 상기 코딩된 전송데이터를 포함하는 데이터패킷(DP), 상기 데이터패킷의 전단과 후단에 각각 추가된 비동기비트(Ab), 상기 전단 비동기비트의 전단에 추가된 시작프레임(SF)으로 구성되는 이미지 센서 통신 방법.
  8. 제7항에 있어서,
    상기 각 프레임 이미지별로 적어도 하나 이상의 데이터 서브 프레임을 캡쳐하는 이미지 센서 통신 방법.
  9. 제8항에 있어서,
    상기 각 프레임 이미지당 캡쳐된 데이터 서브 프레임의 개수(Nrepeats)는 하기 수학식을 만족하는 이미지 센서 통신 방법.
    Figure PCTKR2016000482-appb-I000002
    (tcap은 롤링셔터카메라에서 하나의 프레임 이미지가 노출되는 캡쳐타임, N은 슈퍼프레임에서 데이터 서브 프레임(DS)이 반복되는 개수, DSlength는 데이터 서브 프레임의 길이)
  10. 제7항에 있어서,
    상기 비동기비트(Ab)는 연속적으로 이웃하는 슈퍼프레임을 구분하는 식별자로서 상기 전송데이터별로 구분된 슈퍼프레임이 연속적으로 배열된 상태에서 인덱스가 홀수인 경우와 짝수인 경우 1과 0의 서로 다른 1비트(bit)가 교대로 상기 데이터 서브 프레임에 각각 추가되는 이미지 센서 통신 방법.
  11. 제10항에 있어서, 상기 추출단계는,
    상기 데이터추출부에서 캡쳐된 제1 프레임 이미지에서 시작프레임(SF)과 전단의 비동기비트(Ab)를 추출하고 상기 전단의 비동기비트(Ab)의 후단에 위치한 데이터패킷(DP)을 추출하는 제1단계;
    상기 제1 프레임 이미지에서 데이터패킷(DP)의 후단에 있는 후단의 비동기비트(Ab)가 있으면 상기 데이터패킷(DP)으로부터 전송데이터를 추출하고, 없으면 상기 제1 프레임 이미지에 연속으로 캡쳐된 이웃의 제2 프레임 이미지에서 후단의 비동기비트(Ab)를 추출하는 제2단계;
    상기 제2 프레임 이미지에서 추출된 후단의 비동기비트(Ab)가 제1 프레임 이미지에서 추출된 전단의 비동기비트(Ab)와 일치하는지 판단하는 제3단계;
    일치하면 상기 후단의 비동기비트(Ab)의 전단에 위치하는 데이터패킷(DP)을 추출하는 제4단계;
    상기 제1 프레임 이미지에서 추출된 데이터패킷(DP)과 상기 제2 프레임 이미지에서 추출된 데이터패킷(DP)을 조합하여 전송데이터를 추출하는 제5단계; 를 포함하는 이미지 센서 통신 방법.
  12. 제10항에 있어서, 상기 추출단계는,
    상기 데이터추출부에서 캡쳐된 제1 프레임 이미지에서 시작프레임(SF)과 전단의 비동기비트(Ab)를 추출하고, 상기 전단의 비동기비트(Ab)의 후단에 위치한 데이터패킷(DP)을 추출하는 제1단계;
    상기 제1 프레임 이미지에서 추출된 데이터패킷(DP)의 후단에 후단 비동기비트(Ab)가 있으면 상기 데이터패킷(DP)으로부터 전송데이터를 추출하고, 없으면 상기 추출된 시작프레임(SF)의 전단에 후단 비동기비트(Ab)가 있는지 판단하는 제2단계;
    상기 후단 비동기비트(Ab)가 있으면 상기 후단의 비동기비트(Ab)의 전단에 있는 데이터패킷(DP)을 추출하는 제3단계; 및
    상기 제1단계에서 추출된 데이터패킷(DP)과 제3단계에서 추출된 데이터패킷(DP)을 조합하여 전송데이터를 추출하는 제4단계; 를 포함하는 이미지 센서 통신 방법.
  13. 제7항에 있어서,
    상기 펄스주파수는 상기 롤링셔터카메라의 셔터속도 이내의 범위에서 설정되는 이미지 센서 통신 방법.
  14. 제13항에 있어서,
    상기 펄스주파수는 100㎐ ~ 8㎑의 범위 내에서 설정되는 이미지 센서 통신 방법.
  15. 입력된 전송데이터를 복수의 동일한 패킷으로 분할하는 패킷분할부, 상기 분할된 각 데이터 패킷에 시작프레임(SF)을 삽입하는 SF삽입부, 상기 시작프레임(SF)이 삽입된 각 데이터 패킷에 LED의 식별정보(ID)를 삽입하는 ID삽입부, 클록신호를 발생시키는 클록신호발생부, 상기 시작프레임(SF) 및 식별정보(ID)가 삽입된 각 데이터 패킷에 상기 클록신호에 따라 비동기심볼을 삽입하는 비동기심볼 삽입부, 기설정된 다중 주파수 편이 변조(M-FSK) 코딩 테이블을 이용하여 상기 데이터 패킷에 대응하는 주파수를 할당하는 M-FSK 코딩부를 포함하는 데이터코딩부;
    상기 데이터코딩부로부터 수신된 데이터 패킷에 대응하여 상기 할당된 주파수에 따라 온/오프(on/off)되는 적어도 하나의 LED; 및
    상기 LED의 온/오프 이미지를 롤링셔터 방식으로 캡쳐하는 이미지센서, 상기 이미지센서에서 캡쳐한 온/오프 이미지로부터 상기 M-FSK 코딩테이블을 이용하여 상기 할당된 주파수에 대응하는 데이터 패킷을 추출하는 M-FSK 디코딩부, 상기 추출된 데이터 패킷으로부터 전송데이터를 추출하는 전송데이터 추출부를 포함하는 롤링 셔터 카메라로 구성된 이미지 센서 통신 시스템.
  16. 제15항에 있어서, 상기 LED의 온/오프의 간격을 제어하는 디밍제어부를 더 포함하는 이미지 센서 통신 시스템.
  17. 제15항에 있어서, 상기 이미지 센서는 상기 LED에 할당된 주파수의 크기에 따라 캡쳐하는 온/오프 이미지의 개수가 다르게 결정되는 이미지 센서 통신 시스템.
  18. 제17항에 있어서, 상기 비동기심볼 삽입부는 상기 동일한 주파수에는 동일한 비동기 심볼을 삽입하는 이미지 센서 통신 시스템.
  19. 제15항에 있어서, 상기 비동기심볼 삽입부에서 출력되는 데이터 패킷은 시작프레임(SF), LED의 식별정보(ID) 및 복수의 데이터 서브프레임의 순으로 구성되고, 상기 데이터 서브프레임 각각은 비동기 심볼 및 데이터 패킷의 쌍이 복수 개로 구성되는 이미지 센서 통신 시스템.
  20. 제19항에 있어서, 서로 이웃하는 각 데이터 서브프레임 간에는 1비트(bit)의 서로 다른 비동기 심볼이 삽입되는 이미지 센서 통신 시스템.
  21. 제19항에 있어서, 상기 비동기 심볼 및 데이터 패킷의 쌍의 비트(bit)값에 따라 상기 LED의 온/오프 주파수를 할당하는 이미지 센서 통신 시스템.
  22. 제21항에 있어서, 상기 M-FSK 코딩부는 상기 비동기 심볼 및 데이터 패킷의 쌍의 비트(bit)값에 따라 할당되는 주파수를 FFT 변환하여 FFT 피크(peak)의 간격(△FFTpeak)이 최소 1이 되는 주파수 간격의 최소값(△fmin)을 결정하고, 상기 할당되는 주파수의 최대 개수(Nf, 정수)는, Nf ≤≤ (상기 이미지 센서의 캡쳐링 주파수)/ (△FFTpeak × △fmin)를 만족하는 정수로 계산되는 이미지 센서 통신 시스템.
  23. 제22항에 있어서, 상기 M-FSK 코딩부는 상기 계산된 주파수 할당의 최대 개수 내에서 상기 비동기 심볼 및 데이터 패킷의 비트 값에 따라 주파수 할당 개수를 선택하고 상기 주파수 할당 개수에 따라 상기 기설정된 M-FSK 코딩 테이블을 이용하여 주파수를 각각 할당하는 이미지 센서 통신 시스템.
  24. 제15항에 있어서,
    상기 LED는 N개로 구성되고 상기 롤링셔터카메라의 이동경로를 따라 서로 일정한 간격으로 일렬로 배열되고, 상기 데이터 패킷은 호환성 지원 패킷을 포함하는 이미지 센서 통신 시스템.
  25. 제24항에 있어서,
    상기 N개의 LED의 온/오프는 각각 순차적으로 T/N(T는 N개의 LED의 샘플링 주기)의 시간지연을 갖는 것을 특징으로 하는 이미지 센서 통신 시스템.
  26. 제25항에 있어서,
    상기 N개의 LED 중 적어도 하나는 기준 패킷을 전송하고, 나머지는 데이터 패킷을 전송하며, 상기 LED의 그룹세트 당 1 비트가 M-PSK 기법에 의해 전송되고, 상기 1비트는 상기 LED 그룹의 위상이 같으면 비트 1로, 다르면 비트 0으로 설정되며, M-FSK 기법을 이용하여 각 주기에서 log2 M 비트가 전송되는 이미지 센서 통신 시스템.
PCT/KR2016/000482 2015-02-17 2016-01-15 롤링 셔터 변조를 이용한 이미지 센서 통신 시스템 및 통신 방법 WO2016133285A1 (ko)

Priority Applications (10)

Application Number Priority Date Filing Date Title
US15/551,561 US10560188B2 (en) 2015-02-17 2016-01-15 Image sensor communication system and communication method using rolling shutter modulation
PCT/KR2016/013776 WO2017122924A1 (ko) 2016-01-12 2016-11-28 S2-psk 광학 무선 통신 방법 및 장치
PCT/KR2016/013778 WO2017122925A2 (ko) 2016-01-12 2016-11-28 Dsm-psk 광학 무선 송신 방법 및 장치
KR1020187022767A KR102092496B1 (ko) 2016-01-12 2016-11-28 S2-psk 광학 무선 통신 방법 및 장치
US16/069,822 US10742318B2 (en) 2016-01-12 2016-11-28 S2-PSK optical wireless communication method and apparatus
KR1020187022765A KR102095668B1 (ko) 2016-01-12 2016-11-28 Dsm-psk 광학 무선 송신 방법 및 장치
US16/069,844 US10560193B2 (en) 2016-01-12 2016-11-28 DSM-PSK optical wireless transmission method and device
KR1020160182991A KR101982911B1 (ko) 2016-01-15 2016-12-29 C-ook 광학 무선 통신 방법 및 장치
KR1020160183655A KR102163977B1 (ko) 2016-01-15 2016-12-30 2d 컬러 코드 광학 무선 통신 방법 및 장치
KR1020170003585A KR102041011B1 (ko) 2016-01-15 2017-01-10 Sm-psk 광학 무선 송신 방법 및 장치

Applications Claiming Priority (18)

Application Number Priority Date Filing Date Title
KR10-2015-0024036 2015-02-17
KR1020150024036A KR101625534B1 (ko) 2015-02-17 2015-02-17 롤링 셔터 카메라를 이용한 광학 카메라 통신시스템
KR20150070608 2015-05-20
KR10-2015-0070608 2015-05-20
KR20150071109 2015-05-21
KR10-2015-0071109 2015-05-21
KR1020150140416A KR101651584B1 (ko) 2015-10-06 2015-10-06 다중 주파수 편이 변조를 이용한 ｌｅｄ와 롤링 셔터 카메라 간 이미지 센서 통신 시스템
KR10-2015-0140416 2015-10-06
KR1020160003128A KR102020095B1 (ko) 2015-05-21 2016-01-11 Ｌｅｄ와 롤링셔터카메라 기반의 주파수분할변조(ｆｄｍ) 방식의 광학카메라통신 방법
KR10-2016-0003128 2016-01-11
KR1020160003125A KR101952994B1 (ko) 2015-05-20 2016-01-11 Ｌｅｄ와 롤링셔터카메라를 이용한 광학 카메라 통신 방법
KR10-2016-0003125 2016-01-11
KR1020160003866A KR20170084615A (ko) 2016-01-12 2016-01-12 다양한 롤링 셔터 카메라에 호환되는 이미지 센서 통신 시스템
KR10-2016-0003866 2016-01-12
KR10-2016-0003871 2016-01-12
KR1020160003874 2016-01-12
KR1020160003871 2016-01-12
KR10-2016-0003874 2016-01-12

Publications (1)

Publication Number Publication Date
WO2016133285A1 true WO2016133285A1 (ko) 2016-08-25

Family

ID=56689283

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/000482 WO2016133285A1 (ko) 2015-02-17 2016-01-15 롤링 셔터 변조를 이용한 이미지 센서 통신 시스템 및 통신 방법

Country Status (1)

Country Link
WO (1) WO2016133285A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019134176A1 (zh) * 2018-01-08 2019-07-11 华为技术有限公司 一种相机通信方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140270796A1 (en) * 2013-03-14 2014-09-18 Qualcomm Incorporated Method and apparatus of decoding low-rate visible light communication signals
JP2014220791A (ja) * 2012-05-24 2014-11-20 パナソニック株式会社 情報通信方法および情報通信装置
KR101472583B1 (ko) * 2014-01-28 2014-12-16 국민대학교산학협력단 카메라 통신 시스템, 카메라 통신 방법 및 이를 위한 카메라장치
US20150002731A1 (en) * 2013-06-28 2015-01-01 Nokia Corporation Optical Field Communication
US20150028763A1 (en) * 2012-01-17 2015-01-29 Koninklijke Philips N.V. Modulation of light emitted by a lighting device, using plurality of different modulation periods

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150028763A1 (en) * 2012-01-17 2015-01-29 Koninklijke Philips N.V. Modulation of light emitted by a lighting device, using plurality of different modulation periods
JP2014220791A (ja) * 2012-05-24 2014-11-20 パナソニック株式会社 情報通信方法および情報通信装置
US20140270796A1 (en) * 2013-03-14 2014-09-18 Qualcomm Incorporated Method and apparatus of decoding low-rate visible light communication signals
US20150002731A1 (en) * 2013-06-28 2015-01-01 Nokia Corporation Optical Field Communication
KR101472583B1 (ko) * 2014-01-28 2014-12-16 국민대학교산학협력단 카메라 통신 시스템, 카메라 통신 방법 및 이를 위한 카메라장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019134176A1 (zh) * 2018-01-08 2019-07-11 华为技术有限公司 一种相机通信方法及装置
CN111492598A (zh) * 2018-01-08 2020-08-04 华为技术有限公司 一种相机通信方法及装置
US11025342B2 (en) 2018-01-08 2021-06-01 Huawei Technologies Co., Ltd. Camera communication method and apparatus
CN111492598B (zh) * 2018-01-08 2021-07-09 华为技术有限公司 一种相机通信方法及装置

Similar Documents

Publication Publication Date Title
WO2021010717A1 (en) Method and apparatus for transmitting and receiving signal in a communication system
WO2018212618A1 (en) Method and apparatus for initial access of terminal in wireless communication system
WO2018199461A1 (ko) 무선 중계 장치 및 그 동작 방법
WO2020256379A1 (en) Method and apparatus for ss/pbch block repetition
WO2017213393A1 (en) Method and user equipment for transmitting uplink signals
WO2020060360A1 (ko) 무선 통신 시스템에서 신호를 송수신하는 방법 및 장치
WO2020027472A1 (ko) 공통 자원 블록 그리드에 관계 없는 기준점을 설정하는 방법 및 이를 위한 장치
EP3251433A1 (en) Method, user equipment and base station for transmitting uplink signals
WO2021071332A1 (ko) 무선통신시스템에서 사이드링크 신호를 송신하는 방법
WO2014035127A1 (en) Apparatus for generating depth image
WO2011034346A2 (en) Apparatus and method for generating high resolution frames for dimming and visibility support in visible light communication
WO2020167102A1 (ko) 무선 통신 시스템에서 사전 설정된 상향링크 자원을 통한 상향링크 데이터 전송 방법 및 이에 대한 장치
WO2020226394A1 (ko) 무선 통신 시스템에서 사전 설정된 상향링크 자원을 통한 검색 공간 모니터링 방법 및 이에 대한 장치
WO2019031864A1 (ko) 랜덤 접속 과정을 수행하는 방법 및 이를 위한 장치
WO2020067820A1 (ko) 협대역 무선 통신 시스템에서 데이터를 송수신하는 방법 및 시스템
WO2020145799A1 (ko) 무선 통신 시스템에서 액세스 절차 및 데이터를 송수신하는 방법 및 이에 대한 장치
JP2007096548A (ja) 光通信装置、光通信方法及び光通信システム
WO2020032703A1 (ko) 무선 통신 시스템에서 비면허 대역 내에서 이니셜 액세스 절차 수행 방법 및 상기 방법을 이용하는 단말
WO2017119619A1 (ko) 디스플레이의 표출 컬러 및 패턴 형태를 이용한 가시광 통신 방법
WO2017176033A1 (ko) 무선 통신 시스템에서 랜덤 액세스 응답 메시지를 디코딩하는 방법 및 장치
EP3949662A1 (en) Method and apparatus for resource determination
WO2020060358A1 (ko) 무선 통신 시스템에서 신호를 송수신하는 방법 및 장치
WO2017122925A2 (ko) Dsm-psk 광학 무선 송신 방법 및 장치
WO2021034176A1 (ko) 무선 통신 시스템에서 신호를 송수신 하는 방법 및 이를 지원하는 장치
WO2020167100A1 (ko) 무선 통신 시스템에서 사전 설정된 상향링크 자원을 통한 상향링크 데이터 전송 방법 및 이에 대한 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16752615

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 15551561

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 16752615

Country of ref document: EP

Kind code of ref document: A1