KR101472583B1 - 카메라 통신 시스템, 카메라 통신 방법 및 이를 위한 카메라장치 - Google Patents

카메라 통신 시스템, 카메라 통신 방법 및 이를 위한 카메라장치 Download PDF

Info

Publication number
KR101472583B1
KR101472583B1 KR20140010948A KR20140010948A KR101472583B1 KR 101472583 B1 KR101472583 B1 KR 101472583B1 KR 20140010948 A KR20140010948 A KR 20140010948A KR 20140010948 A KR20140010948 A KR 20140010948A KR 101472583 B1 KR101472583 B1 KR 101472583B1
Authority
KR
South Korea
Prior art keywords
light source
frame
camera
image
frames
Prior art date
Application number
KR20140010948A
Other languages
English (en)
Inventor
장영민
반 뉴엔 트랑
Original Assignee
국민대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국민대학교산학협력단 filed Critical 국민대학교산학협력단
Priority to KR20140010948A priority Critical patent/KR101472583B1/ko
Application granted granted Critical
Publication of KR101472583B1 publication Critical patent/KR101472583B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B14/00—Transmission systems not characterised by the medium used for transmission
    • H04B14/02—Transmission systems not characterised by the medium used for transmission characterised by the use of pulse modulation
    • H04B14/026—Transmission systems not characterised by the medium used for transmission characterised by the use of pulse modulation using pulse time characteristics modulation, e.g. width, position, interval
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L7/00—Arrangements for synchronising receiver with transmitter
    • H04L7/0075—Arrangements for synchronising receiver with transmitter with photonic or optical means

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Optical Communication System (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 카메라로 광원을 촬영하여 광원의 온/오프 이미지로부터 데이터를 추출하도록 하는 카메라 통신 시스템 및 통신방법을 제공한다.
본 발명에 따른 카메라 통신 시스템은, 기설정된 펄스속도(pps)에 따라 전송하고자 하는 데이터에 대응하도록 온/오프(on/off)되는 광원; 및 기설정된 프레임속도(fps)에 따라 상기 광원의 온/오프 이미지를 연속 프레임으로 촬영하고 상기 촬영된 광원의 온/오프 이미지로부터 데이터를 추출하는 카메라를 포함하고, 상기 카메라는, 상기 광원의 온/오프 이미지를 촬영한 적어도 하나의 프레임 중 상기 각 온/오프별로 각각 하나의 프레임을 선택하고 상기 선택된 온/오프별 하나의 프레임에 대응하는 데이터를 추출한다.

Description

카메라 통신 시스템, 카메라 통신 방법 및 이를 위한 카메라장치{CAMERA COMMUNICATION SYSTEM, CAMERA COMMUNICATION METHOD AND CAMERA DEVICE THEREFOR}
본 발명은 카메라 통신(Camera Communication) 시스템 및 방법에 관한 것으로서, 특히 카메라로 광원을 촬영하여 광원의 온/오프 이미지로부터 데이터를 추출하도록 하는 카메라 통신 시스템, 카메라 통신방법, 그리고 이에 적용되는 카메라장치에 관한 것이다.
대표적인 조명통신융합기술인 가시광통신(VLC:Visible Light Communication)은 광원의 조명에 정보를 실어 무선통신하는 기술로서, 종래에서는 광원의 빛을 포토다이오드(PD:photo diode)로 수신하여 광원의 온/오프(on/off)에 따라 디지털 데이터 1 또는 0을 검출하여 이들의 조합으로 정보를 전달하는 기술이다.
하지만, 이러한 가시광통신은 광을 수신하기 위한 포토다이오드가 반드시 필요하며 다수의 광원을 사용하는 경우 각 광원을 수신하기 위해서는 포토다이오드의 수가 많아지므로 비용이 증가하고 신호처리가 복잡해지는 문제점이 있다.
이러한 문제점을 해결하기 위하여 본 출원인은 포토다이오드 대신에 카메라를 이용하여 다수의 LED를 촬영하고 그 카메라의 프레임별로 획득된 LED의 온/오프에 대응하는 데이터를 추출하는 LED 가시광통신 시스템을 제안한 바 있다. 예컨대, 현재 특허출원 제2013-0083137호가 출원 중에 있다.
이와 같이 카메라를 이용한 가시광통신은 광수신기로서 포토다이오드가 아니라 카메라를 이용한다는 점에서 카메라 통신(Camera Communication: Camcom)시스템으로도 명명되고 있으며, 최근 이러한 카메라 통신 기술은 IEEE P802.15 Camcom 표준화를 구축하기 위한 방향으로 연구되고 있다.
도 1은 카메라 통신 시스템에서의 카메라에서의 데이터 처리과정을 설명하기 위한 예시도이다. 도 1의 일례에는 광원이 기설정된 펄스에 따라 온/오프되는 동안 카메라가 각각의 프레임별로 이미지를 촬영할 때 제1프레임(10a)과 제3프레임(10c)은 광원이 온(on)된 상태를 촬영하고 제2프레임(10b)과 제4프레임(10d)에서는 광원이 오프(off)된 상태를 촬영한 예를 도시하고 있다. 카메라는 광원의 온(on)은 디지털 데이터 1로, 오프(off)는 디지털 데이터 0으로 처리하여 각 프레임(10a~10d)의 순서대로 1010의 데이터를 얻게 된다.
하지만, 카메라는 임의의 시점에 촬영을 시작하므로 카메라 프레임이 광원의 온/오프에 정확하게 맞추지 못하는 경우가 발생한다. 즉, 도 1의 예시와 같이 온/오프에 카메라 프레임이 대응할 수도 있지만, 도 2의 (a)와 (b)와 같이 온/오프의 전환시점에 프레임이 맞춰질 수도 있다. 도 2의 일례와 같이 광원이 온(on)에서 오프(off)로 전환되거나 오프(off)에서 온(on)으로 전환되는 순간에서의 프레임(20b 또는 30a~30c)에는 정확한 데이터의 추출이 어렵다는 문제점이 있다.
공개특허공보 제2009-0016176호 (공개일:2009.02.13) 공개특허공보 제2009-0047615호 (공개일:2009.05.13)
본 발명은 상기한 종래기술의 문제점을 해결하기 위해 제안된 것으로서, 카메라가 임의의 시점에 촬영을 시작하더라도 광원의 온/오프(on/off)에 대응하는 카메라 프레임을 선택하여 그 선택된 카메라 프레임에서의 온/오프 이미지로부터 데이터를 추출함으로써 카메라 통신을 수행할 수 있도록 하는 카메라 통신시스템 및 통신방법을 제공하는데 목적이 있다.
또한, 본 발명은 이러한 광원의 온/오프에 카메라 프레임의 동기화를 구현하고 각 프레임별 온/오프 이미지로부터 데이터를 추출하도록 하는 카메라장치를 제공하는데 추가적인 목적이 있다.
본 발명의 일 실시 예에 따른 카메라 통신 시스템은,
기설정된 펄스속도(pps)에 따라 전송하고자 하는 데이터에 대응하도록 온/오프(on/off)되는 광원; 및 기설정된 프레임속도(fps)에 따라 상기 광원의 온/오프 이미지를 연속 프레임으로 촬영하고 상기 촬영된 광원의 온/오프 이미지로부터 데이터를 추출하는 카메라; 를 포함하고, 상기 카메라는, 상기 광원의 온/오프 이미지를 촬영한 적어도 하나의 프레임 중 상기 각 온/오프별로 각각 하나의 프레임을 선택하고 상기 선택된 온/오프별 하나의 프레임에 대응하는 데이터를 추출한다.
본 발명에서, 상기 카메라는, 상기 광원의 온/오프 시간으로부터 하기 수학식을 만족하는 정수 k를 구하고,
Figure 112014009508359-pat00001
(Tbit는 온 또는 오프의 1비트 지속시간(one bit duration)이고, ts는 온과 오프 간의 1비트 스위칭시간(switching time), te는 카메라 노출시간,
Figure 112014009508359-pat00002
는 x보다 작은 가장 큰 정수)
상기 구해진 k에 대하여 하기 수학식을 만족하는 경우,
Figure 112014009508359-pat00003
상기 온/오프에 대응하는 k개의 프레임 중에서 k-1개의 프레임을 선택한다.
본 발명에서, 상기 선택되는 k-1개의 프레임은 k개의 프레임 중 상기 연속 프레임으로 촬영된 광원의 온/오프 이미지에 대하여 동일한 패턴을 갖는다.
본 발명에서, 상기 카메라는 상기 동일한 패턴을 갖는 프레임을 상기 연속 프레임에 대하여 반복적으로 선택한다.
본 발명에서, 상기 광원의 온(on)은 이진 데이터 1 또는 0 중 하나에 대응되고 오프(off)는 나머지 하나에 대응된다.
또한, 본 발명에 따른 카메라 통신 방법은,
광원을 기설정된 펄스속도(pulse rate)에 따라 온/오프(on/off)시키되, 전송하고자 하는 데이터에 대응하도록 상기 광원을 온/오프시키는 제1단계; 카메라에서 기설정된 프레임속도(frame rate)에 따라 상기 광원의 온/오프 이미지를 연속 프레임으로 획득하는 제2단계; 상기 카메라에서 상기 광원의 온/오프 이미지를 촬영한 적어도 하나의 프레임 중 상기 각 온/오프별로 각각 하나의 프레임을 선택하는 제3단계; 및 상기 선택된 온/오프별 하나의 프레임에 대응하는 데이터를 추출하는 제4단계; 를 포함한다.
본 발명에서, 상기 제4단계는, 상기 광원의 온/오프 시간으로부터 하기 수학식을 만족하는 정수 k를 구하고,
Figure 112014009508359-pat00004
(Tbit는 온 또는 오프의 1비트 지속시간(one bit duration)이고, ts는 온과 오프 간의 1비트 스위칭시간(switching time), te는 카메라 노출시간,
Figure 112014009508359-pat00005
는 x보다 작은 가장 큰 정수)
상기 구해진 k에 대하여 하기 수학식을 만족하는 경우,
Figure 112014009508359-pat00006
상기 온/오프에 대응하는 k개의 프레임 중에서 k-1개의 프레임을 선택한다.
본 발명에서, 상기 선택되는 k-1개의 프레임은 k개의 프레임 중 상기 연속 프레임으로 촬영된 광원의 온/오프 이미지에 대하여 동일한 패턴을 갖는다.
또한, 본 발명에 따른 카메라 통신에 적용되는 카메라장치는,
기설정된 프레임속도(fps)에 따라 광원의 온/오프 이미지를 연속 프레임으로 획득하는 이미지센서; 상기 획득된 광원의 온/오프 이미지에 대응하는 적어도 하나의 프레임 중 상기 각 온/오프별로 각각 하나의 프레임을 선택하는 동기화부; 및 상기 선택된 온/오프별 하나의 프레임에 대응하는 데이터를 추출하는 데이터추출부; 를 포함하고, 상기 광원은 기설정된 펄스속도(pulse rate)에 따라 전송하고자 하는 데이터에 대응하도록 온/오프(on/off)된다.
본 발명에서, 상기 동기화부는, 상기 광원의 온/오프 시간으로부터 하기 수학식을 만족하는 정수 k를 구하고
Figure 112014009508359-pat00007
(Tbit는 온 또는 오프의 1비트 지속시간(one bit duration)이고, ts는 온과 오프 간의 1비트 스위칭시간(switching time), te는 카메라 노출시간,
Figure 112014009508359-pat00008
는 x보다 작은 가장 큰 정수)
상기 구해진 k에 대하여 하기 수학식을 만족하는 경우,
Figure 112014009508359-pat00009
상기 온/오프에 대응하는 k개의 프레임 중에서 k-1개의 프레임을 선택한다.
본 발명에 따르면 동기화 패턴이나 신호가 없는 카메라 통신 시스템에서 광원의 펄스와 카메라의 프레임의 동기화를 구현함으로써 각 온/오프 펄스에 하나의 프레임이 대응하도록 하여 정확한 데이터 추출이 가능하도록 한다.
도 1은 종래의 카메라 통신 시스템의 데이터 처리과정을 보이는 예시도.
도 2는 종래의 카메라 통신 시스템에서 광원의 온/오프 펄스와 카메라의 프레임 간의 동기화가 이루어지지 않은 예시도.
도 3은 본 발명의 실시 예에 따른 카메라 통신 시스템의 구성도.
도 4는 본 발명의 실시 예에 따른 카메라 통신 시스템에 적용되는 카메라의 구성블럭도.
도 5는 본 발명의 일 실시 예에 따른 카메라 통신 시스템에서의 광원의 온/오프 펄스와 카메라 프레임 간의 동기화를 구현한 예시도.
도 6은 본 발명의 실시 예에 따른 카메라 통신 시스템에서의 카메라 프레임의 동기화 구현방법을 보이는 흐름도.
도 7은 본 발명의 다른 실시 예에 따른 카메라 통신 시스템에서의 광원의 온/오프 펄스와 카메라 프레임 간의 동기화를 구현한 예시도.
이하에서, 본 발명의 바람직한 실시 예가 첨부된 도면들을 참조하여 설명할 것이다. 또한, 본 발명을 설명함에 있어서 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
도 3은 본 발명의 실시 예에 따른 카메라 통신 시스템의 구성도이다.
도 3을 참조하면, 본 발명의 실시 예에 따른 카메라 통신 시스템은 적어도 하나의 광원(110) 및 카메라(120)를 포함하여 구성된다.
광원(110)는 카메라 통신 시스템에서 송신기(transmitter)의 역할을 한다. 이러한 광원(110)은 적어도 하나 이상 구비되며 기설정된 펄스속도(pulse rate)에 따라 온(on) 또는 오프(off)된다. 온/오프되는 펄스속도가 초(sec)단 110회 이상이면 사람의 눈으로 그 온/오프를 구분하지 못하고 계속 온(on) 상태인 것으로 인식한다. 이러한 펄스속도는 물론 조정이 가능하다. 경우에 따라서는 깜빡임(flicker)를 감수하더라도 낮은 펄스속도의 광원을 카메라 통신 시스템에 적용할 수도 있다.
본 실시 예에서 광원(110)은 전송하고자 하는 데이터에 따라 온/오프가 결정된다. 예컨대, 서로 다른 이진 데이터에 온(on)과 오프(off)를 대응시키도록 할 수 있다. 다수의 광원(110)을 구비하는 경우 1×N으로 배열될 수 있고, M×1으로 배열될 수도 있으며, 바람직하게는 M×N으로 배열될 수도 있다. 물론, 매트릭스 형태가 아니라 원형, 방사형, 타원형 등 다양한 형태로 배열될 수 있음은 당연하다.
카메라(120)는 카메라 통신 시스템에서 수신기(receiver)의 역할을 한다. 이러한 카메라(120)는 광원(110)을 촬영하고 광원(110)의 온/오프에 대응하는 데이터를 추출하도록 하는 장치로서 구체적으로 기설정된 프레임속도(frame rate)에 따라 광원(110)의 온/오프 이미지를 연속 프레임으로 촬영하고 그 촬영된 온/오프 이미지로부터 데이터를 추출한다. 이때, 카메라(120)의 프레임속도는 광원(110)의 펄스속도와 같을 수도 있고 다를 수도 있다. 특히, 카메라(120)는 광원(110)이 온/오프되는 중에 임의의 시점에 촬영을 시작하기 때문에 그 온/오프 이미지를 정확하게 측정하지 못할 수도 있다. 이를 위하여 본 발명에 따른 카메라(120)는 광원(110)의 온/오프 이미지를 촬영한 적어도 하나의 프레임 중 각 온/오프별로 각각 하나의 프레임을 선택하도록 한다. 이와 같이 선택된 온/오프별 하나의 프레임의 온/오프 이미지에 대응하는 데이터를 추출하도록 한다. 본 실시 예에 따른 카메라(120)는 초당 수 내지 수백 프레임으로 이미지를 연속으로 촬영할 수 있다. 예컨대 디지털 카메라, 휴대폰이나 스마트기기 등에 탑재된 카메라를 포함할 수 있다.
도 4는 본 발명의 실시 예에 따른 카메라 통신 시스템에 적용되는 카메라의 구성블럭도이다.
도 4를 참조하면, 본 발명에 따른 카메라(120)는 이미지센서(121), 동기화부(122) 및 데이터추출부(123)를 포함하여 구성된다.
이미지센서(121)는 기설정된 펄스속도로 온/오프(on/off)되는 광원(110)을 연속프레임으로 촬영하여 광원(110)의 온/오프 이미지를 획득한다. 동기화부(122)는 이미지센서(121)에서 각 프레임별로 획득한 광원(110)의 온/오프 이미지를 분석하여 각 온/오프별로 각각 하나의 프레임이 대응되도록 프레임을 선택한다. 이는 이미지센서(121)에서 임의의 시점에 촬영을 시작하고 광원(110)의 펄스속도와 이미지센서(121)의 프레임속도가 서로 다른 경우 온(on) 및 오프(off)될 때의 이미지를 촬영하지 못하는 경우도 발생하는데, 이 경우를 제외하고 온/오프 이미지에 대응하는 각각 하나의 프레임만을 선택하도록 함으로써 온/오프될 때의 이미지를 정확하게 획득하도록 한다. 또한, 데이터추출부(123)은 동기화부(122)에서 선택된 온/오프별 하나의 프레임에 나타난 온/오프 이미지를 이용하여 해당 온/오프에 대응하는 데이터를 추출하도록 한다. 이러한 과정을 통해 광원(110)의 온/오프 펄스에 대응하는 데이터를 추출함으로써 카메라(120)는 광원(110)으로부터 전송되는 데이터를 수신할 수 있게 되어 카메라 통신이 가능하게 된다.
도 5는 본 발명의 일 실시 예에 따른 광원의 온/오프에 대응하는 카메라 프레임의 예시도이다.
도 5를 참조하면, 본 발명에 따른 카메라 프레임(51a~51d)은 광원(110)이 온/오프되는 중에 임의의 시점에서 획득된다. 카메라(120)는 셔터시간(shutter time)이라고 불리는 노출시간(exposure time)(te)이 존재한다. 이러한 노출시간(te)은 매우 짧은 시간이며 카메라의 종류 및 특성에 따라 다르게 설정될 수 있다. 또한, 광원(110)의 온/오프 시 온(on)에서 오프(off)로 전환되거나 오프(off)에서 온(on)으로 전활될 때 일정한 스위칭시간(ts)이 존재한다. 이러한 스위칭시간(ts)는 광원(110)의 종류 및 특성에 따라 결정된다. 이때, 상기한 바와 같이 카메라(110)는 임의의 시점에 촬영을 시작하거나 광원(110)의 펄스속도와 카메라(120)의 프레임속도가 서로 다르기 때문에 도 5의 일례에서 제2프레임(51b)와 같이 광원(110)의 스위칭시간(ts)에 프레임이 대응하는 경우가 발생한다. 본 발명에서는 이러한 경우의 프레임을 'bad frame'으로 명명한다. 이에 반해 온 또는 오프에 정확하게 대응하는 프레임을 'good frame'으로 명명한다. 여기서, bad frame이 발생할 확률 P(bf)는 광원(110)의 온/오프 시간을 이용하여 하기 수학식 1과 같이 계산될 수 있다.
Figure 112014009508359-pat00010
여기서, Tbit는 온 또는 오프의 1비트 지속시간(one bit duration)이고, ts는 온에서 오프로 또는 오프에서 온으로의 1비트의 스위칭시간(switching time), te는 카메라의 노출시간이다. 이때, 카메라의 노출시간은 이미지를 획득하는 시간으로서 프레임의 길이를 결정한다.
상기 bad frame의 발생확률 P(bf)을 이용하면 광원(110)의 온/오프에 대응하는 프레임의 개수를 구할 수 있다. 이는 하기 수학식 2를 이용한다.
Figure 112014009508359-pat00011
여기서,
Figure 112014009508359-pat00012
는 x보다 작은 가장 큰 정수이며, k는 1이상의 정수이다.
상기 수학식 2는 x가 1 이상의 정수이므로 모든 프레임이 bad frame일 수는 없으며 good frame이 존재한다는 것을 의미한다.
이때, 카메라(120)에서 기설정된 프레임속도(fps:frame per second)로 기설정된 펄스속도(pps:pulse per second)로 온/오프되는 광원(110)을 연속 프레임으로 촬영하는 경우, 상기 광원(110)의 온/오프 이미지를 촬영한 적어도 하나의 프레임 중 각각의 온/오프별로 하나의 프레임만을 선택하고 그 선택된 온/오프별 하나의 프레임에 대응하는 데이터를 추출하도록 한다. 여기서, 펄스속도에 대한 프레임속도의 비는 하기 수학식 3과 같은 관계를 가진다.
Figure 112014009508359-pat00013
여기서, k는 상기 수학식 2에서 구해진다.
즉, 수학식 3은 카메라(120)의 프레임속도와 광원(110)의 펄스속도가 서로 다르고 이들 간의 동기화가 이루어지지 않은 상태에서 카메라(120)가 임의의 시점에 광원(110)을 촬영하는 경우, 광원(110)의 데이터 전송을 위한 펄스의 개수가 k-1일 때, 그 펄스에 대응되는 프레임의 개수는 k보다 크다는 것을 의미한다. 다시 말하면, 광원(110)의 온/오프 이미지를 촬영한 적어도 하나의 프레임 중 각 온/오프별로 각각 하나의 프레임을 선택하기 위해서는 특정 구간에서 k-1개의 펄스에 대응하는 프레임 수가 k이상이어야 하고, 그 k개의 프레임 중에서 온/오프 이미지에 대응하는 프레임을 선택하도록 하는 것이다. 이는 상기 수학식 3을 만족하는 k에 대하여 카메라(120)는 k-1개의 펄스에 대응하는 k-1개의 good frame을 선택하도록 하는 것이다. 이때, k-1개의 good frame을 선택할 때에도 일정한 규칙이 적용된다. 이는 k개의 전체 프레임 중 일정한 규칙의 패턴을 갖는 k-1개의 good frame을 선택하도록 한다. 이에 대해서는 하기에서 예를 들어 설명하기로 한다.
도 6은 본 발명의 일 실시 예에 따른 카메라 통신 시스템에서의 광원의 온/오프 펄스와 카메라 프레임 간의 동기화를 구현한 예시도이다.
도 6을 참조하면, 본 발명의 일 실시 예에 따라 기설정된 펄스속도(pps)로 온/오프되는 광원(110)의 온/오프 이미지를 기설정된 프레임속도(fps)로 연속 프레임으로 촬영하는 카메라(120)에 대한 온/오프 펄스와 프레임 간의 동기화에 대한 예시를 도시하고 있다. 본 실시 예에서는 설명의 편의상 k는 3미만의 정수, 펄스속도는 20pps로, 프레임속도는 30fps로 설정하여 설명하기로 한다. 물론, 이러한 k의 값과, 광원(110)의 펄스속도, 카메라(120)의 프레임속도는 그 종류 및 특성에 따라 달라질 수 있다. 예컨대, 다른 상업적인 카메라의 프레임속도는 60fps, 120fps 등으로 다양하다. 본 발명은 이러한 다른 펄스속도 및 프레임속도에도 적용됨은 당연하다.
도 6의 일례를 참조하면, 펄스속도가 20pps이고 프레임속도가 30fps인 경우 도 6의 (a) 내지 (d)는 모든 프레임이 good frame인 예시도이고 (e)와 (f)는 일부 bad frame이 존재하는 예시도이다. 이 경우 펄스속도와 프레임속도 pps/fps의 비 2/3이므로 k=3일 때 위 수학식 3을 만족하게 된다. 이는 도면에서와 같이 온-오프의 2비트에 대응하는 프레임의 개수는 3개가 됨을 의미한다.
이에, 카메라(120)의 동기화부(122)에서는 광원(110)의 온/오프 이미지에 대응하는 적어도 하나의 프레임 중 각 온/오프별로 각각 하나의 프레임을 선택하도록 한다. 다시 말하면, 도 6의 (a)에서 첫 번째 온-오프(x1,x2)에 대응하는 3개의 프레임(b1,b2,b3) 중 온(x1)와 오프(x2)에 각각 대응하는 하나의 프레임(b2,b3)를 선택하는 것이다. 물론, 다른 프레임(b1,b3)를 선택할 수도 있다. 하지만, b1과 b2를 선택하지는 않는다. 왜냐하면 b1,b2는 모두 온(x1)에 대응하는 프레임이기 때문에 온/오프별로 하나씩의 프레임을 선택하는 것에 위배되기 때문이다. 따라서, b1,b3를 선택하거나 b2,b3를 선택함으로써 온/오프별로 각각 하나씩의 프레임을 선택하게 된다. 이는 도 6의 (b) 내지 (d)에도 동일하게 적용된다. 도 6의 (e)와 (f)의 경우에는 3개의 프레임 중에 하나는 bad frame이므로 나머지 2개의 good frame을 선택하도록 한다.
여기서, 도 6의 예시를 살펴보면, 3개의 프레임 중 선택되는 2개의 프레임은 일정한 패턴을 가지는 것을 알 수 있다. 즉, (a) 및 (c)의 경우 3개의 프레임 중 마지막 2개의 프레임을 선택하는 예시이고, (b) 및 (d)는 처음 2개의 프레임을 선택하는 예시이다. 이러한 패턴은 다음 온/오프 펄스에도 계속 적용되므로 프레임을 선택하기 위한 제어가 복잡하지 않게 한다.
만약, 본 발명의 다른 예로서 펄스속도가 30pps이고 프레임속도가 60fps인 경우에도 pps/fps = 1/2이므로 k=2일 때 위 수학식 3을 만족하고, 이는 온 또는 오프의 1비트에 대응하는 프레임의 개수는 2개가 됨을 의미한다. 따라서, 1비트(온 또는 오프)에 2개 모두 good frame이거나, 2개 중 하나가 bad frame이더라도 나머지 하나는 good frame이 된다. 이에, 온/오프별로 good frame의 프레임을 선택함으로써 온/오프별로 대응하는 데이터를 정확하게 추출할 수 있게 된다.
본 실시 예에서는 카메라(120)의 동기화부(122)가 광원(110)의 펄스속도를 인지하고 있어야 한다. 이는 사용자에 의해 입력되거나 광원(110)을 제어하는 프로세서(미도시)로부터 전송받는 등의 과정이 필요하다. 그 외에도, 물론 광원(110)의 온/오프 이미지와 자신의 프레임속도를 이용하여 광원(110)의 펄스속도를 구하도록 설정할 수도 있다.
도 7은 본 발명의 실시 예에 따른 카메라 통신 방법을 보이는 흐름도이다.
도 7을 참조하면, 본 발명에 따른 카메라 통신 방법에서는, 전송하고자 하는 데이터를 광원(110)의 온/오프 펄스에 대응시켜 기설정된 펄스속도(pulse rate)에 따라 광원(110)을 온/오프(on/off)시킨다(S101). 이는 광원(110)의 온/오프를 제어하는 문제로서, 광원(110)을 제어하기 위한 제어부(미도시)의 설정에 따라 결정될 수 있다. 고정된 전송 데이터 뿐만 아니라 연속해서 입력되거나 변경되는 송신 데이터를 광원(110)에 일대 일로 대응시켜 온/오프되도록 한다. 이때, 전송 데이터는 이진 데이터로서 '1'과 '0'으로 구성됨이 바람직하다.
이후, 카메라(120)에서 기설정된 프레임속도(frame rate)에 따라 광원(110)의 온/오프 이미지를 연속 프레임으로 촬영한다(S103). 이러한 프레임 이미지 획득은 내부의 이미지센서(121)를 이용하여 광원(110)을 촬영함으로써 구현되며, 다수의 광원(110)이 존재하는 경우 전체를 동시에 연속 프레임으로 촬영할 수도 있다.
계속해서, 카메라(120)는 광원(110)의 온/오프 이미지를 촬영한 적어도 하나의 프레임 중 각 온/오프별로 각각 하나의 프레임을 선택한다(S105). 이는 pps 및 fps가 결정되면 pps/fps에 대한 수학식 3을 만족하는 k를 구하고, 상기 예와 같이 이를 통해 온/오프에 대응하는 하나의 프레임을 선택할 수 있다..
이후에, 카메라(120)는 이와 같이 선택된 프레임의 온/오프 이미지에 대응하는 데이터를 추출한다(S107).
여기서, 도면에는 도시하지 않았으나, 상기 S107 단계는 획득된 광원(110)의 온/오프에 대한 프레임별 이미지로부터 온/오프별로 하나의 프레임이 대응되도록 하는 프레임의 패턴을 추출하고, 그 추출된 프레임 패턴으로부터 해당 온/오프별 데이터를 추출할 수 있다.
이상에서 설명한 바와 같이, 본 발명에서는 전송하고자 하는 데이터에 따라 적어도 하나의 광원(110)를 온/오프시키되, 각 광원(110)이 온 또는 오프되는 시점에 대응하는 카메라 프레임을 하나씩 선택하고, 그 선택된 프레임의 온/오프에 대응하는 데이터를 추출함으로써 데이터 송수신이 가능하도록 한다. 이러한 과정을 통해 광원과 카메라 간의 카메라 통신이 가능하게 된다.
상술한 본 발명은 바람직한 실시 예들을 통하여 상세하게 설명되었지만, 본 발명은 이러한 실시 예들의 내용에 한정되는 것이 아님을 밝혀둔다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면, 비록 실시 예에 제시되지 않았지만 첨부된 청구항의 기재 범위 내에서 다양한 본 발명에 대한 모조나 개량이 가능하며, 이들 모두 본 발명의 기술적 범위에 속함은 너무나 자명하다 할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
110 : 광원 120 : 카메라
121 : 이미지센서 122 : 동기화부
123 : 데이터추출부

Claims (10)

  1. 기설정된 펄스속도(pps)에 따라 전송하고자 하는 데이터에 대응하도록 온/오프(on/off)되는 광원; 및
    기설정된 프레임속도(fps)에 따라 상기 광원의 온/오프 이미지를 연속 프레임으로 촬영하고 상기 촬영된 광원의 온/오프 이미지로부터 데이터를 추출하는 카메라; 를 포함하고,
    상기 카메라는, 상기 광원의 온/오프 이미지를 촬영한 적어도 하나의 프레임 중 상기 각 온/오프별로 각각 하나의 프레임을 선택하고 상기 선택된 온/오프별 하나의 프레임에 대응하는 데이터를 추출하는 카메라 통신 시스템.
  2. 제1항에 있어서, 상기 카메라는,
    상기 광원의 온/오프 시간으로부터 하기 수학식을 만족하는 정수 k를 구하고
    Figure 112014009508359-pat00014

    (Tbit는 온 또는 오프의 1비트 지속시간(one bit duration)이고, ts는 온과 오프 간의 1비트 스위칭시간(switching time), te는 카메라 노출시간,
    Figure 112014009508359-pat00015
    는 x보다 작은 가장 큰 정수)
    상기 구해진 k에 대하여 하기 수학식을 만족하는 경우,
    Figure 112014009508359-pat00016

    상기 온/오프에 대응하는 k개의 프레임 중에서 k-1개의 프레임을 선택하는 카메라 통신 시스템.
  3. 제2항에 있어서,
    상기 선택되는 k-1개의 프레임은 k개의 프레임 중 상기 연속 프레임으로 촬영된 광원의 온/오프 이미지에 대하여 동일한 패턴을 갖는 카메라 통신 시스템.
  4. 제3항에 있어서,
    상기 카메라는 상기 동일한 패턴을 갖는 프레임을 상기 연속 프레임에 대하여 반복적으로 선택하는 카메라 통신 시스템.
  5. 제1항에 있어서,
    상기 광원의 온(on)은 이진 데이터 1 또는 0 중 하나에 대응되고 오프(off)는 나머지 하나에 대응되는 카메라 통신 시스템.
  6. 광원을 기설정된 펄스속도(pulse rate)에 따라 온/오프(on/off)시키되, 전송하고자 하는 데이터에 대응하도록 상기 광원을 온/오프시키는 제1단계;
    카메라에서 기설정된 프레임속도(frame rate)에 따라 상기 광원의 온/오프 이미지를 연속 프레임으로 획득하는 제2단계;
    상기 카메라에서 상기 광원의 온/오프 이미지를 촬영한 적어도 하나의 프레임 중 상기 각 온/오프별로 각각 하나의 프레임을 선택하는 제3단계; 및
    상기 선택된 온/오프별 하나의 프레임에 대응하는 데이터를 추출하는 제4단계; 를 포함하는 카메라 통신 방법.
  7. 제6항에 있어서, 상기 제4단계는,
    상기 광원의 온/오프 시간으로부터 하기 수학식을 만족하는 정수 k를 구하고
    Figure 112014009508359-pat00017

    (Tbit는 온 또는 오프의 1비트 지속시간(one bit duration)이고, ts는 온과 오프 간의 1비트 스위칭시간(switching time), te는 카메라 노출시간,
    Figure 112014009508359-pat00018
    는 x보다 작은 가장 큰 정수)
    상기 구해진 k에 대하여 하기 수학식을 만족하는 경우,
    Figure 112014009508359-pat00019

    상기 온/오프에 대응하는 k개의 프레임 중에서 k-1개의 프레임을 선택하는 카메라 통신 방법.
  8. 제7항에 있어서,
    상기 선택되는 k-1개의 프레임은 k개의 프레임 중 상기 연속 프레임으로 촬영된 광원의 온/오프 이미지에 대하여 동일한 패턴을 갖는 카메라 통신 방법.
  9. 기설정된 프레임속도(fps)에 따라 광원의 온/오프 이미지를 연속 프레임으로 획득하는 이미지센서;
    상기 획득된 광원의 온/오프 이미지에 대응하는 적어도 하나의 프레임 중 상기 각 온/오프별로 각각 하나의 프레임을 선택하는 동기화부; 및
    상기 선택된 온/오프별 하나의 프레임에 대응하는 데이터를 추출하는 데이터추출부; 를 포함하고,
    상기 광원은 기설정된 펄스속도(pulse rate)에 따라 전송하고자 하는 데이터에 대응하도록 온/오프(on/off)되는 카메라장치.
  10. 제9항에 있어서, 상기 동기화부는,
    상기 광원의 온/오프 시간으로부터 하기 수학식을 만족하는 정수 k를 구하고
    Figure 112014009508359-pat00020

    (Tbit는 온 또는 오프의 1비트 지속시간(one bit duration)이고, ts는 온과 오프 간의 1비트 스위칭시간(switching time), te는 카메라 노출시간,
    Figure 112014009508359-pat00021
    는 x보다 작은 가장 큰 정수)
    상기 구해진 k에 대하여 하기 수학식을 만족하는 경우,
    Figure 112014009508359-pat00022

    상기 온/오프에 대응하는 k개의 프레임 중에서 k-1개의 프레임을 선택하는 카메라장치.
KR20140010948A 2014-01-28 2014-01-28 카메라 통신 시스템, 카메라 통신 방법 및 이를 위한 카메라장치 KR101472583B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20140010948A KR101472583B1 (ko) 2014-01-28 2014-01-28 카메라 통신 시스템, 카메라 통신 방법 및 이를 위한 카메라장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20140010948A KR101472583B1 (ko) 2014-01-28 2014-01-28 카메라 통신 시스템, 카메라 통신 방법 및 이를 위한 카메라장치

Publications (1)

Publication Number Publication Date
KR101472583B1 true KR101472583B1 (ko) 2014-12-16

Family

ID=52678845

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20140010948A KR101472583B1 (ko) 2014-01-28 2014-01-28 카메라 통신 시스템, 카메라 통신 방법 및 이를 위한 카메라장치

Country Status (1)

Country Link
KR (1) KR101472583B1 (ko)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101625534B1 (ko) 2015-02-17 2016-05-30 국민대학교산학협력단 롤링 셔터 카메라를 이용한 광학 카메라 통신시스템
WO2016133285A1 (ko) * 2015-02-17 2016-08-25 국민대학교산학협력단 롤링 셔터 변조를 이용한 이미지 센서 통신 시스템 및 통신 방법
KR101651584B1 (ko) 2015-10-06 2016-09-05 국민대학교산학협력단 다중 주파수 편이 변조를 이용한 ｌｅｄ와 롤링 셔터 카메라 간 이미지 센서 통신 시스템
KR20160137343A (ko) 2015-05-21 2016-11-30 국민대학교산학협력단 Ｌｅｄ와 롤링셔터카메라 기반의 주파수분할변조(ｆｄｍ) 방식의 광학카메라통신 방법
KR20160137342A (ko) 2015-05-20 2016-11-30 국민대학교산학협력단 Ｌｅｄ와 롤링셔터카메라를 이용한 광학 카메라 통신 방법
KR101712447B1 (ko) * 2016-04-22 2017-03-06 (주) 씨엠디코리아 송신광원의 감지효율을 개선하기 위한 카메라의 감지효율 개선방법 및 그 장치
KR20170085952A (ko) 2016-01-15 2017-07-25 국민대학교산학협력단 C-ook 광학 무선 통신 방법 및 장치
KR20180100212A (ko) 2016-01-12 2018-09-07 국민대학교산학협력단 Dsm-psk 광학 무선 송신 방법 및 장치
KR20180100213A (ko) 2016-01-12 2018-09-07 국민대학교산학협력단 S2-psk 광학 무선 통신 방법 및 장치
US10560188B2 (en) 2015-02-17 2020-02-11 Kookmin University Industry Academy Cooperation Foundation Image sensor communication system and communication method using rolling shutter modulation
US11496224B2 (en) 2020-11-25 2022-11-08 Kookmin University Industry Academy Cooperation Foundation Communication device for adjusting communication channel depending on optical communication environment and communication method using the same
US11700461B2 (en) 2020-12-28 2023-07-11 Kookmin University Industry Academy Cooperation Foundation Method and apparatus for processing image based on optical communication, and computer-readable recording medium with program therefor

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002527917A (ja) 1998-03-20 2002-08-27 バーシテック リミテッド Ｌｅｄを用いた同時表示およびデータ通信
JP2011139115A (ja) 2009-12-25 2011-07-14 Saitama Univ 高速度カメラ装置とその画像処理方法
KR101307610B1 (ko) 2007-08-10 2013-09-12 삼성전자주식회사 가시광 통신 시스템에서 수광소자의 신호 처리 방법 및장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002527917A (ja) 1998-03-20 2002-08-27 バーシテック リミテッド Ｌｅｄを用いた同時表示およびデータ通信
KR101307610B1 (ko) 2007-08-10 2013-09-12 삼성전자주식회사 가시광 통신 시스템에서 수광소자의 신호 처리 방법 및장치
JP2011139115A (ja) 2009-12-25 2011-07-14 Saitama Univ 高速度カメラ装置とその画像処理方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10560188B2 (en) 2015-02-17 2020-02-11 Kookmin University Industry Academy Cooperation Foundation Image sensor communication system and communication method using rolling shutter modulation
WO2016133285A1 (ko) * 2015-02-17 2016-08-25 국민대학교산학협력단 롤링 셔터 변조를 이용한 이미지 센서 통신 시스템 및 통신 방법
KR101625534B1 (ko) 2015-02-17 2016-05-30 국민대학교산학협력단 롤링 셔터 카메라를 이용한 광학 카메라 통신시스템
KR20160137342A (ko) 2015-05-20 2016-11-30 국민대학교산학협력단 Ｌｅｄ와 롤링셔터카메라를 이용한 광학 카메라 통신 방법
KR20160137343A (ko) 2015-05-21 2016-11-30 국민대학교산학협력단 Ｌｅｄ와 롤링셔터카메라 기반의 주파수분할변조(ｆｄｍ) 방식의 광학카메라통신 방법
KR101651584B1 (ko) 2015-10-06 2016-09-05 국민대학교산학협력단 다중 주파수 편이 변조를 이용한 ｌｅｄ와 롤링 셔터 카메라 간 이미지 센서 통신 시스템
US10560193B2 (en) 2016-01-12 2020-02-11 Kookmin University Industry Academy Cooperation Foundation DSM-PSK optical wireless transmission method and device
KR20180100212A (ko) 2016-01-12 2018-09-07 국민대학교산학협력단 Dsm-psk 광학 무선 송신 방법 및 장치
KR20180100213A (ko) 2016-01-12 2018-09-07 국민대학교산학협력단 S2-psk 광학 무선 통신 방법 및 장치
US10742318B2 (en) 2016-01-12 2020-08-11 Kookmin University Industry Academy Cooperation Foundation S2-PSK optical wireless communication method and apparatus
KR20170085953A (ko) 2016-01-15 2017-07-25 국민대학교산학협력단 2d 컬러 코드 광학 무선 통신 방법 및 장치
KR20170085968A (ko) 2016-01-15 2017-07-25 국민대학교산학협력단 Sm-psk 광학 무선 송신 방법 및 장치
KR20170085952A (ko) 2016-01-15 2017-07-25 국민대학교산학협력단 C-ook 광학 무선 통신 방법 및 장치
KR101712447B1 (ko) * 2016-04-22 2017-03-06 (주) 씨엠디코리아 송신광원의 감지효율을 개선하기 위한 카메라의 감지효율 개선방법 및 그 장치
US11496224B2 (en) 2020-11-25 2022-11-08 Kookmin University Industry Academy Cooperation Foundation Communication device for adjusting communication channel depending on optical communication environment and communication method using the same
US11700461B2 (en) 2020-12-28 2023-07-11 Kookmin University Industry Academy Cooperation Foundation Method and apparatus for processing image based on optical communication, and computer-readable recording medium with program therefor

Similar Documents

Publication Publication Date Title
KR101472583B1 (ko) 카메라 통신 시스템, 카메라 통신 방법 및 이를 위한 카메라장치
JP5936902B2 (ja) 伝送システム、送信装置および受信装置
JP6175587B2 (ja) 撮像装置、フリッカ検出方法、及びフリッカ検出プログラム
JP5800249B2 (ja) 撮像装置、撮影条件設定方法、及びプログラム
US10194074B2 (en) Imaging system, warning generation device and method, imaging device and method, and program
JP5802846B2 (ja) 撮像装置
JP6171116B2 (ja) 撮像装置、フリッカ検出方法、及びフリッカ検出プログラム
KR20170060498A (ko) 영상 촬영 장치 및 영상 촬영 장치의 제어 방법
KR102375688B1 (ko) 촬상 장치, 촬영 시스템 및 촬영 방법
KR101952994B1 (ko) Ｌｅｄ와 롤링셔터카메라를 이용한 광학 카메라 통신 방법
JP2014203041A5 (ko)
US10284767B2 (en) Shooting device, shooting method, and non-transitory computer readable recording medium storing program
US9584714B2 (en) Imaging apparatus, client apparatus, imaging system, method for controlling imaging apparatus, method for controlling client apparatus, and method for controlling imaging system for controlling sensitivity using the insertion and retraction of an infrared cut filter into and from an optical path
KR101466954B1 (ko) Ｌｅｄ 가시광 통신 시스템 및 그 통신방법
US20170064128A1 (en) Imaging apparatus, recording instruction apparatus, image recording method and recording instruction method
WO2017165061A1 (en) System to synchronize flashes between mobile devices
US10952597B2 (en) Endoscope apparatus and method of detecting edge
KR101550375B1 (ko) 광학 카메라 통신 시스템
JP2007324705A (ja) 可視光受信装置および可視光通信光源の位置検出方法
KR101625534B1 (ko) 롤링 셔터 카메라를 이용한 광학 카메라 통신시스템
Nguyen et al. Challenges issues for OCC based android camera 2 API
CN108668089B (zh) 信息处理装置、信息处理方法以及记录介质
JP2023059952A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム及び記録媒体
KR101524277B1 (ko) 카메라 통신 시스템 및 방법, 그리고 이에 적용되는 카메라장치
KR101524278B1 (ko) 기준광원을 이용한 카메라 통신 시스템 및 통신 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170921

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181001

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190923

Year of fee payment: 6