KR20210089037A - 광 카메라 통신 방법 및 광 카메라 통신 수신 장치 - Google Patents

광 카메라 통신 방법 및 광 카메라 통신 수신 장치 Download PDF

Info

Publication number
KR20210089037A
KR20210089037A KR1020200002254A KR20200002254A KR20210089037A KR 20210089037 A KR20210089037 A KR 20210089037A KR 1020200002254 A KR1020200002254 A KR 1020200002254A KR 20200002254 A KR20200002254 A KR 20200002254A KR 20210089037 A KR20210089037 A KR 20210089037A
Authority
KR
South Korea
Prior art keywords
optical
image
transmission source
signal
setting
Prior art date
Application number
KR1020200002254A
Other languages
English (en)
Other versions
KR102653943B1 (ko
Inventor
한상국
이준우
Original Assignee
한국전력공사
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전력공사, 연세대학교 산학협력단 filed Critical 한국전력공사
Priority to KR1020200002254A priority Critical patent/KR102653943B1/ko
Publication of KR20210089037A publication Critical patent/KR20210089037A/ko
Application granted granted Critical
Publication of KR102653943B1 publication Critical patent/KR102653943B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H04B10/116—Visible light communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/50—Transmitters
    • H04B10/501—Structural aspects
    • H04B10/502—LED transmitters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/60—Receivers
    • H04B10/66—Non-coherent receivers, e.g. using direct detection
    • H04B10/69—Electrical arrangements in the receiver
    • H04B10/697—Arrangements for reducing noise and distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N5/217—
    • H04N5/23216—
    • H04N5/2329—

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Optical Communication System (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 광 카메라 통신 방법은, 광 송신 속도에 따라 카메라 장치의 촬영 파라미터를 설정하는 단계; 상기 카메라에서 촬영된 영상의 잡음을 제어하는 단계; 잡음 제어된 상기 촬영된 영상의 한 프레임에서 신호 송신원 영역을 설정하는 단계; 및 설정된 상기 신호 송신원 영역에서 복수개의 신호를 추출하는 단계를 포함할 수 있다.
여기서, 상기 촬영 파라미터를 설정하는 단계에서는, 상기 광 신호 송신원에서 하나의 프레임에서 수신하도록 연속 전송되는 신호들의 첫 신호 발광 시점 이전에, 하나의 프레임에 대한 상기 이미지 센서의 라인 스캐닝이 시작되고, 상기 연속 전송되는 신호들의 마지막 신호 발광 시점 이후, 상기 라인 스캐닝이 종료되도록 설정할 수 있다.

Description

광 카메라 통신 방법 및 광 카메라 통신 수신 장치{Optical Camera Communication Method and Receiver of there}
본 발명은 광 신호의 전송 거리를 확장하기 위한 광 카메라 통신 방법 및 시스템에 관한 것으로, 탈초점 기반으로 간이하게 광 신호의 전송 거리를 확장하기 위한 광 카메라 통신 방법 및 시스템에 관한 것이다.
광학 카메라 통신(Optical Camera Communication; Optical Camcom)은 카메라 센서를 기초로 하여 LED(Light Emitting Diode) 등 송신용 발광 장치에서 출력된 광 데이터를 수신하는 컨셉의 기술이다.
적어도 하나의 LED로부터 생성된 LED 광 데이터는 카메라 센서에 의해 검출될 수 있다. 포토 다이오드를 리시버 컴포넌트로서 사용하는 종래의 가시 광선 통신(Visible Light Communications; VLC)과는 다르게, 광학 카메라 통신은 휴대폰, CCTV와 같은 전자 기기 등에 장착되어 있는 카메라에 적용하는 데 있어 추가적인 비용이 들지 않는 이점이 있다. 이는 광 카메라 통신 기법은, 송신기로 LED 조명, 수신기로 카메라를 이용하는 통신기법이기 때문이다.
그런데, 일반적인 카메라는 프레임 레이트(frame rate)가 30fps 수준에 불과하며 한 프레임(frame)이 하나의 데이터 심볼을 포함한다면, 높은 전송 속도를 기대하기 힘들다. 이는 기존의 카메라 통신의 경우, 피사체인 광원의 크기와 한 프레임이 포함시킬 수 있는 데이터 심볼의 수가 비례하며, 이로 인하여 통신 거리가 증가하여 피사체 크기가 작아지면 전송 가능한 심볼의 수도 줄어들게 되기 때문이다.
그 결과, 근접 송수신 조건(~10cm)에서 10kbps에 가까운 전송 속도의 구현이 가능하지만, 송수신기간의 거리가 1m만 떨어지게 되더라도 기하급수적으로 전송속도가 줄어들게 된다. 특히, 라인 스캐닝 방식의 CMOS 이미지 센서를 사용하는 카메라의 경우, 스트라이프 노이즈로 인해 더욱 전송 속도가 악화되었다.
대한민국 등록특허 10-2024163호
본 발명은 추가 비용 없이 비교적 긴 거리에서도 광 카메라 통신 시스템의 통신 속도를 확보할 수 있는 광 카메라 통신 방법 및/또는 시스템을 제안하고자 한다.
본 발명은 기존 광 카메라 통신에서 치명적인 단점으로 작용하였던 전송 거리 이슈를 해결할 수 있는 광 카메라 통신 방법 및/또는 시스템을 제안하고자 한다.
본 발명의 일 측면에 따른 광 카메라 통신 방법은, 광 송신 속도에 따라 카메라 장치의 촬영 파라미터를 설정하는 단계; 상기 카메라에서 촬영된 영상의 잡음을 제어하는 단계; 잡음 제어된 상기 촬영된 영상의 한 프레임에서 신호 송신원 영역을 설정하는 단계; 및 설정된 상기 신호 송신원 영역에서 복수개의 신호를 추출하는 단계를 포함할 수 있다.
여기서, 상기 촬영 파라미터를 설정하는 단계에서는, 상기 광 신호 송신원에서 하나의 프레임에서 수신하도록 연속 전송되는 신호들의 첫 신호 발광 시점 이전에, 하나의 프레임에 대한 상기 이미지 센서의 라인 스캐닝이 시작되고, 상기 연속 전송되는 신호들의 마지막 신호 발광 시점 이후, 상기 라인 스캐닝이 종료되도록 설정할 수 있다.
여기서, 상기 잡음을 제어하는 단계에서는, 롤링 셔터에 수직하는 방향으로 모션 블러를 적용할 수 있다.
여기서, 상기 신호 송신원 영역을 설정하는 단계에서는, 상기 모션 블러가 적용된 프레임 이미지에서 2D-크로스 코렐레이션(cross correlation)을 취하여 피크 영역을 설정할 수 있다.
여기서, 상기 복수개의 신호를 추출하는 단계에서는, 촬영 주파수 및 송신 주파수 차이에 따라 결정되는 개수로 상기 신호 송신원 영역을 분할하고, 분할된 각 구역의 모든 픽셀의 평균값으로부터 해당 구역이 수신한 신호를 추출할 수 있다.
본 발명의 다른 측면에 따른 광 카메라 통신 수신 장치는, 라인 스캐닝 방식의 이미지 센서를 이용하여 광 신호 송신원을 촬영하는 카메라; 광 송신 속도에 따라 상기 카메라의 촬영 파라미터를 설정하는 촬영 파라미터 설정부; 상기 카메라가 촬영한 영상에서 광 통신을 위해 잡음을 제어하는 잡음 제어부; 상기 카메라가 촬영한 영상에서 촬영 영상의 한 프레임에서 신호 송신원 영역을 설정하는 영역 설정부; 및 상기 신호 송신원 영역에서 복수개의 신호를 추출하는 신호 추출부를 포함할 수 있다.
여기서, 상기 촬영 파라미터 설정부는, 상기 광 신호 송신원에서 하나의 프레임에서 수신하도록 연속 전송되는 신호들의 첫 신호 발광 시점 이전에, 하나의 프레임에 대한 상기 이미지 센서의 라인 스캐닝이 시작되고, 상기 연속 전송되는 신호들의 마지막 신호 발광 시점 이후, 상기 라인 스캐닝이 종료되도록 설정할 수 있다.
여기서, 상기 잡음 제어부는, 상기 카메라가 촬영한 영상에 롤링 셔터에 수직하는 방향으로 모션 블러를 적용할 수 있다.
여기서, 상기 영역 설정부는, 상기 모션 블러가 적용된 프레임 이미지에서 2D-크로스 코렐레이션(cross correlation)을 취하여 피크 영역을 설정할 수 있다.
여기서, 상기 신호 추출부는, 촬영 주파수 및 송신 주파수 차이에 따라 결정되는 개수로 상기 신호 송신원 영역을 분할하고, 분할된 각 구역의 모든 픽셀의 평균값으로부터 해당 구역이 수신한 신호를 추출할 수 있다.
상술한 구성에 따른 본 발명의 광 카메라 통신 방법 및/또는 시스템을 실시하면, 추가 비용 없이 비교적 긴 거리에서도 광 카메라 통신 시스템의 통신 속도를 확보할 수 있는 이점이 있다.
본 발명의 광 카메라 통신 방법 및/또는 시스템은, 잡음 제어 알고리즘을 통하여 신호 광원 외의 기타 광원이 존재하는 실내공간에서도 이미지 내 신호 광원 위치의 도출 및 신호 추출 가능한 이점이 있다.
도 1은 광 카메라 통신 방법에 있어서 탈초점 조건으로 광신호를 수신할 경우 얻을 수 있는 이점을 설명하기 위한 이미지.
도 2는 일반적인 광 카메라 통신 시스템의 기본적인 구성을 도시한 블록도.
도 3은 본 발명의 일 실시예에 따른 광 카메라 통신 방법을 도시한 흐름도.
도 4는 초점 거리를 7cm로 설정했을 때, 촬영된 프레임 영상에서 LED 이미지의 크기를 나타낸 그래프.
도 5는 도 3의 광 카메라 통신 방법 중 잡음을 제어하는 단계의 상세 과정을 도시한 흐름도.
도 6은 LED 영역설정을 통해 도출된 전체 이미지 내의 LED 이미지 위치 잡음 제어 알고리즘을 적용한 경우(좌)와 적용하지 않은 경우(우)를 비교한 이미지.
도 7은 본 발명의 사상에 따른 광 카메라 통신 방법에 대한 모사 실험 결과에 대한 거리에 따른 BER 그래프.
도 8은 상술한 본 발명의 사상에 따른 광 카메라 통신 방법을 수행하는 광 카메라 통신 수신 장치를 도시한 블록도.
도 9는 라인 스캐닝 방식의 CMOS 이미지 센서에서 적용되는 롤링 셔터(rolling shutter)의 캡쳐와 타이밍 차트를 나타낸 그래프.
도 10은 라인 스캐닝 방식의 CMOS 이미지 센서에서 촬영된 1 프레임에 4개의 송신 신호를 수신할 수 있음을 나타낸 개념도.
본 발명을 설명함에 있어서 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되지 않을 수 있다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 연결되어 있다거나 접속되어 있다고 언급되는 경우는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해될 수 있다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
본 명세서에서, 포함하다 또는 구비하다 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로서, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해될 수 있다.
또한, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
본 발명은 광 카메라 통신 방법에 있어서 탈초점 조건에서 촬영하여, LED로부터의 광신호를 넓은 면적에 수신하는 방안을 제시한다.
도 1은 이러한 방식을 통해 광신호를 수신할 경우, 얻을 수 있는 이점을 설명하기 위한 것이다.
초점이 맞는 인포커스 상황에서 촬영하게 될 경우, 좌측 이미지와 같이 촬상면의 좁은 부분에 LED 이미지가 맺히게 된다. 실질적으로 데이터 심볼이 이용하는 촬영면은 전체 촬영면(즉, 촬상면)에서 극히 일부에 지나지 않음을 알 수 있다. 반면, 도 1의 오른쪽 이미지와 같이 아웃오브포커스(탈초점) 방식으로 촬영을 하게 되면, LED 이미지가 퍼져서 촬상면에 맺히게 되고, 실질적으로 데이터 심볼은 전체 촬영면을 이용할 수 있게 된다.
또한, 최근의 대부분의 범용 카메라는 CMOS 이미지 센서를 사용하며, 이 센서는 촬상면을 동시에 촬영하지 않고 줄별로 촬영하며(라인 스캐닝), 이로 인하여 빠른 속도의 대상을 촬영한 이미지는 기울여지는 왜곡이 발생하고, 모니터 화면이나 형광등 처럼 특정 주파수를 가지는 광원의 경우 줄무늬 잡음이 발생하게 된다. 반면, 상기 라인 스캐닝을 역으로 고려하면, 한 프레임(frame)에 실질적으로 여러 시간대의 정보가 부분적으로 나누어지 구역들에 함께 포함되게 된다.
본 발명에서는 이러한 특징을 역으로 이용하여 한 프레임(frame)에 여러 데이터 심볼을 수신하는 방안을 제시한다.
도 2는 일반적인 광 카메라 통신 시스템의 기본적인 구성을 도시한 블록도이다. 본 발명의 사상에 따른 광 카메라 통신 방법도 도시한 기본적인 구성의 광 카메라 통신 시스템에 적용될 수 있다. 다만, 본 발명의 사상에 따른 기능 구현을 위해 SW 모듈들이 변경될 수 있다.
도 3은 본 발명의 일 실시예에 따른 광 카메라 통신 방법을 도시한 흐름도이다.
도시한 광 카메라 통신 방법은, 광 송신 속도에 따라 카메라의 촬영 파라미터를 설정하는 단계(S100); 상기 카메라에서 촬영된 영상의 잡음을 제어하는 단계(S200); 상기 촬영된 영상의 한 프레임에서 신호 송신원 영역을 설정하는 단계(S300); 및 상기 설정된 신호 송신원 영역에서 복수개의 신호를 추출하는 단계(S400)를 포함할 수 있다.
이하, 도시한 광 카메라 통신 방법을 세부 과정들을 설명하는데 있어, 이해의 편의를 위해, 휴대폰 카메라를 이용한 광 카메라 통신 모사 실험을 구체적으로 대비하겠다.
하기 표 1은 상기 광 카메라 통신 모사 실험에 적용한 카메라 옵션 및 파라미터를 나타낸다.
Figure pat00001
상기 촬영 파라미터를 설정하는 단계(S100)에서는, 상기 광 신호 송신원에서 하나의 프레임에서 수신하도록 연속 전송되는 신호들의 첫 신호 발광 시점 이전에, 하나의 프레임에 대한 상기 카메라(보다 구체적으로는 이미지 센서)의 라인 스캐닝이 시작되고, 상기 연속 전송되는 신호들의 마지막 신호 발광 시점 이후, 상기 라인 스캐닝이 종료되도록 설정한다.
상기 설정 단계에서, 카메라의 노출 시간(Exposure time)이 짧아지면 인접 라인(line)과의 간섭이 줄어들게 된다. 따라서 통상적으로 이미지 센서를 통하여 데이터를 수신할 때, 한 프레임(frame) 내에 최대한 많은 데이터를 포함시키기 위한 목적으로는 노출 시간(exposure time)을 짧게 설정한다.
예컨대, 실험 카메라로서 상용 핸드폰인 Galaxy S6의 최소 노출 시간(exposure time)은 1/24000 sec이며, 본 조건에서 신호를 수신할 경우 인접한 하나의 라인(line)과 간섭이 발생하게 된다. 물론 타임 싱크(timing sync)가 완벽하게 일치하게 되면, 라인(line) 간 간섭이 발생하지 않을 수도 있겠지만, 타임 싱크(timing sync)가 맞지 않는 상황이 일반적인 바, 이를 기본적인 상황으로 가정하여, 모사 실험하였다.
상기 상용 핸드폰을 이용한 시험에 따르면, FHD(1920X1080) 해상도 및 1/24000sec의 노출 시간(exposure time) 조건에서 10,000 baud-rate 이하의 신호는 error free 하게 수신할 수 있음을 확인할 수 있다. UHD (3840X2160) 해상도에서 신호를 수신하면 FHD에 비하여 sampling frequency가 2배인 효과가 생기기 때문에, 보다 안정적인 수신이 가능하다. 본 발명에서는 line 간의 간섭으로 인한 수신 성능 열화가 없는 조건에서 기술을 구현하기 위하여 전송 속도는 최대 10,000 baud-rate 이하로 제한하였다. Frequency shift keying과 같은 주파수 변조 전송 기법을 사용할 경우에는, 최대 5 kHz 까지의 주파수 수신이 가능할 것으로 예상된다.
도 4는 초점 거리를 7cm로 설정했을 때, LED 이미지의 크기를 나타낸 그래프이다.
본 발명의 사상에 따라 탈초점 조건에서 광신호 수신을 하게 될 경우, 촬상면의 LED 이미지 크기는 다음과 같이 결정된다. 인포커스 상태에서 촬상면의 LED 조명 이미지의 직경은 도 4의 파란색 선을 따른다. 탈초점 상태에서 촬영을 할 경우, 착란원의 크기는 빨간색 선과 같으며, 탈초점 상태에서 촬상면의 LED 조명 이미지의 직경은 검정 선과 같다. 결과적으로 거리가 증가할수록 0에 수렴하는 LED 조명 이미지의 직경은 탈초점 상태에서 촬영할 경우, 0이 아닌 특정 값으로 수렴한다. 이 값은 하기 수학식 1과 같이 결정된다.
Figure pat00002
상기 수학식에서,
Figure pat00003
는 focal length,
Figure pat00004
은 f-number,
Figure pat00005
는 LED와 렌즈 사이의 거리,
Figure pat00006
는 LED가 인포커스 상태로 촬상면에 맺힐 수 있는 거리이며, 이를 통하여 착란원의 직경인
Figure pat00007
가 결정된다. 또한
Figure pat00008
는 도 4의 그래프에서 검정색, 빨간색 선이 수렴하는 값과 같다.
본 발명에서 카메라의 설정 등 SW 모듈 변경 부분들을 제외한 하드웨어 대한 구조는 일반적인 광 카메라 통신의 구조와 동일할 수 있다. 즉, 생성한 신호를 LED에 인가하고, 본 신호를 카메라를 통하여 수신하게 된다. 일반적으로 카메라는 촬영하고자 하는 대상에 자동적으로 초점을 맞춘다. 하지만 제안하는 기법에서는 탈초점 조건에서 광 신호 수신을 하기 위하여 초점 거리를 수동으로 설정하게 되며, 모사 실험에서는 초점 거리를 스마트폰(Galaxy S6)의 최소 초점 거리인 7cm로 설정하였다. 이와 더불어 CMOS 이미지 센서의 Rolling shutter 과정에서 scanline 간 시간 중첩을 최소화하기 위하여 exposure time은 1/24000s로 설정하였다.
상기 잡음을 제어하는 단계(S200)에서는, 라인 스캐닝으로 인한 줄무늬 잡음을 제거하기 위해 롤링 셔터에 수직하는 방향으로 모션 블러를 적용할 수 있다. 즉, 촬영된 이미지 내에서 광원의 위치를 확인하기 위한 잡음 제어 알고리즘이 수행된다. 상기 알고리즘을 구체적으로 표현하면 도 5와 같다.
신호가 포함된 LED 이미지는 CMOS 이미지 센서의 rolling shutter 방향으로 줄무늬가 생성된다. rolling shutter에 수직하는 방향으로 motion blur를 적용하게 되면, 줄무늬 패턴이 사라진(신호 이외 부분은 거의 변화가 없다) 잡음 제어용 이미지를 획득할 수 있다(S260). 다음, 줄무늬 잡음이 섞인 이미지에서 motion blur를 적용한 잡음 제어용 이미지를 빼주게 되면, 통신 신호에 해당하는 줄무늬 패턴만 남게 된다.
다른 구현에서는 도 5에 도시한 바와 같이, 상기 S260 단계 이전에, 촬영 이미지에 대하여 일반적인 노이즈 제거 과정을 수행할 수 있다. 예컨대, 저조도 영상의 증폭 과정에서 발생되는 감도 노이즈를 제거할 수 있다.
상기 신호 송신원 영역을 설정하는 단계(S300)에서는, 상기 모션 블러가 적용된 프레임 이미지에서 2D-크로스 코렐레이션(cross correlation)을 취하여 피크 영역을 설정할 수 있다.
도 6은 LED 영역설정을 통해 도출된 전체 이미지 내의 LED 이미지 위치 잡음 제어 알고리즘을 적용한 경우(좌)와 적용하지 않은 경우(우)를 비교한다.
도 4의 그래프에서 확인할 수 있다시피 LED 이미지의 크기는
Figure pat00009
로 수렴한다. 따라서, 직경이
Figure pat00010
인 원을 형성하여(reference image), 잡음 제어 알고리즘을 통해 획득한 이미지와 2D-크로스 코렐레이션(cross correlation)을 취해주게 되면, 조명에 해당하는 부분에 피크(peak)가 뜨는 것을 확인할 수 있는데, 그 결과는 도 6에서 확인할 수 있다. 도 6의 좌측 부분은 2988×5312 해상도의 사진과 114×114 레퍼런스 이미지(reference image)의 2D-크로스 코렐레이션(cross correlation) 결과이다. 본 결과는 형광등이 켜져있는 실내 환경에서 실시되었으며, 빨간 점선 부분이 신호를 전송 중인 LED 위치이다.
상기 복수개의 신호를 추출하는 단계(S400)에서는, 촬영 주파수 및 송신 주파수 차이에 따라 결정되는 개수로 상기 신호 송신원 영역을 분할하고, 분할된 각 구역의 모든 픽셀의 평균값으로부터 해당 구역이 수신한 신호를 추출한다.
도 7은 본 발명의 사상에 따른 광 카메라 통신 방법에 대한 상술한 모사 실험 결과에 대한 거리에 따른 BER 그래프이다. 즉, 본 발명의 사상에 따라 탈초점 조건에서 광신호 수신을 위한 송신부의 신호 수신 알고리즘을 통한 최종적인 실험 결과는 도 7과 같다.
상술한 모사 실험은 단일 LED를 사용하여 수행되었으며, 1.2kBd(보-레이트) 신호 수신에 대한 BER 그래프이다. 1m가 넘어가면서 1kbps 이하로 전송속도가 떨어지게 되는 기존 기법과 달리, 본 기법의 경우에는 LED 크기가 특정 값으로 수렴하게 되면서 거리에 따른 전송 속도 열화 없이 1.2kBd를 유지하는 것을 확인할 수 있다. 이를 통해 단일 LED를 사용할 경우, 7m 수준에서 1.2kBd의 전송 성능 구현이 가능함을 확인하였다. 단일 LED가 아니라 다중 LED로 구성된 조명 혹은 더 강한 파워를 갖는 조명을 사용한다면 7m 이상의 거리에서도 통신이 가능할 것으로 기대된다.
도 8은 상술한 본 발명의 사상에 따른 광 카메라 통신 방법을 수행하는 광 카메라 통신 수신 장치를 도시한 블록도이다.
도시한 광 카메라 통신 수신 장치는, 라인 스캐닝 방식의 이미지 센서를 이용하여 광 신호 송신원을 촬영하는 카메라(115); 광 송신 속도에 따라 상기 카메라의 촬영 파라미터를 설정하는 촬영 파라미터 설정부(110); 상기 카메라(115)가 촬영한 영상에서 광 통신을 위해 잡음을 제어하는 잡음 제어부(120); 상기 카메라가 촬영한 영상에서 촬영 영상의 한 프레임에서 신호 송신원 영역을 설정하는 영역 설정부(130); 및 상기 신호 송신원 영역에서 복수개의 신호를 추출하는 신호 추출부(140)를 포함할 수 있다.
앞서 상술한 바와 같이, 도 8의 광 카메라 통신 수신 장치도 도 2의 일반적인 광 카메라 통신 시스템과 유사한 하드웨어 구성을 따를 수 있으며, 도 8에 도시한 블록들은 카메라(115)를 제외하고는 소프트웨어 모듈로 구현될 수 있다.
상기 촬영 파라미터 설정부(110)는 도 3의 흐름도의 광 카메라 통신 방법 중 상기 촬영 파라미터를 설정하는 단계(S100)를 수행할 수 있다.
예컨대, 상기 촬영 파라미터 설정부(110)는, 상기 광 신호 송신원에서 하나의 프레임에서 수신하도록 연속 전송되는 신호들의 첫 신호 발광 시점 이전에, 하나의 프레임에 대한 상기 이미지 센서의 라인 스캐닝이 시작되고, 상기 연속 전송되는 신호들의 마지막 신호 발광 시점 이후, 상기 라인 스캐닝이 종료되도록 설정할 수 있다.
상기 잡음 제어부(120)는 도 3의 흐름도의 광 카메라 통신 방법 중 상기 잡음을 제어하는 단계(S200)를 수행할 수 있다.
예컨대, 상기 잡음 제어부(120)는, 상기 카메라(115)가 촬영한 영상에 롤링 셔터에 수직하는 방향으로 모션 블러를 적용할 수 있다.
상기 영역 설정부(130)는 도 3의 흐름도의 광 카메라 통신 방법 중 상기 신호 송신원 영역을 설정하는 단계(S300)를 수행할 수 있다.
예컨대, 상기 영역 설정부(130)는, 상기 모션 블러가 적용된 프레임 이미지에서 2D-크로스 코렐레이션(cross correlation)을 취하여 피크 영역을 설정할 수 있다.
상기 신호 추출부(140)는 도 3의 흐름도의 광 카메라 통신 방법 중 상기 복수개의 신호를 추출하는 단계(S400)를 수행할 수 있다.
예컨대, 상기 신호 추출부(140)는, 촬영 주파수 및 송신 주파수 차이에 따라 결정되는 개수로 상기 신호 송신원 영역을 분할하고, 분할된 각 구역의 모든 픽셀의 평균값으로부터 해당 구역이 수신한 신호를 추출할 수 있다.
도 9는 라인 스캐닝 방식의 CMOS 이미지 센서에서 적용되는 글로벌 셔터(Global Shutter)의 캡쳐와 타이밍 차트를 나타낸 그래프이다.
도 10은 라인 스캐닝 방식의 CMOS 이미지 센서에서 촬영된 1 프레임에 4개의 송신 신호를 수신할 수 있음을 나타낸 개념도이다.
도시한 바와 같이 상술한 본 발명의 사상에 따라 도 9의 라인 스캐닝 방식의 CMOS 이미지 센서의 롤링 셔터(rolling shutter)의 캡쳐시 발생하는 각 라인간의 시차를 이용하여, 도 10과 같이 다수의 광 카메라 송신 신호를 하나의 프레임에 수신할 수 있음을 알 수 있다.
본 발명이 속하는 기술 분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
110 : 촬영 파라미터 설정부
115 : 카메라
120 : 잡음 제어부
130 : 영역 설정부
140 : 신호 추출부

Claims (10)

  1. 광 송신 속도에 따라 카메라 장치의 촬영 파라미터를 설정하는 단계;
    상기 카메라에서 촬영된 영상의 잡음을 제어하는 단계;
    잡음 제어된 상기 촬영된 영상의 한 프레임에서 신호 송신원 영역을 설정하는 단계; 및
    설정된 상기 신호 송신원 영역에서 복수개의 신호를 추출하는 단계
    를 포함하는 광 카메라 통신 방법.
  2. 제1항에 있어서,
    상기 촬영 파라미터를 설정하는 단계에서는,
    상기 광 신호 송신원에서 하나의 프레임에서 수신하도록 연속 전송되는 신호들의 첫 신호 발광 시점 이전에, 하나의 프레임에 대한 상기 이미지 센서의 라인 스캐닝이 시작되고, 상기 연속 전송되는 신호들의 마지막 신호 발광 시점 이후, 상기 라인 스캐닝이 종료되도록 설정하는 광 카메라 통신 방법.
  3. 제1항에 있어서,
    상기 잡음을 제어하는 단계에서는,
    롤링 셔터에 수직하는 방향으로 모션 블러를 적용하는 광 카메라 통신 방법.
  4. 제3항에 있어서,
    상기 신호 송신원 영역을 설정하는 단계에서는,
    상기 모션 블러가 적용된 프레임 이미지에서 2D-크로스 코렐레이션(cross correlation)을 취하여 피크 영역을 설정하는 광 카메라 통신 방법.
  5. 제1항에 있어서,
    상기 복수개의 신호를 추출하는 단계에서는,
    촬영 주파수 및 송신 주파수 차이에 따라 결정되는 개수로 상기 신호 송신원 영역을 분할하고,
    분할된 각 구역의 모든 픽셀의 평균값으로부터 해당 구역이 수신한 신호를 추출하는 광 카메라 통신 방법.
  6. 라인 스캐닝 방식의 이미지 센서를 이용하여 광 신호 송신원을 촬영하는 카메라;
    광 송신 속도에 따라 상기 카메라의 촬영 파라미터를 설정하는 촬영 파라미터 설정부;
    상기 카메라가 촬영한 영상에서 광 통신을 위해 잡음을 제어하는 잡음 제어부;
    상기 카메라가 촬영한 영상에서 촬영 영상의 한 프레임에서 신호 송신원 영역을 설정하는 영역 설정부; 및
    상기 신호 송신원 영역에서 복수개의 신호를 추출하는 신호 추출부
    를 포함하는 광 카메라 통신 수신 장치.
  7. 제6항에 있어서,
    상기 촬영 파라미터 설정부는,
    상기 광 신호 송신원에서 하나의 프레임에서 수신하도록 연속 전송되는 신호들의 첫 신호 발광 시점 이전에, 하나의 프레임에 대한 상기 이미지 센서의 라인 스캐닝이 시작되고, 상기 연속 전송되는 신호들의 마지막 신호 발광 시점 이후, 상기 라인 스캐닝이 종료되도록 설정하는 광 카메라 통신 수신 장치.
  8. 제6항에 있어서,
    상기 잡음 제어부는,
    상기 카메라가 촬영한 영상에 롤링 셔터에 수직하는 방향으로 모션 블러를 적용하는 광 카메라 통신 수신 장치.
  9. 제7항에 있어서,
    상기 영역 설정부는,
    상기 모션 블러가 적용된 프레임 이미지에서 2D-크로스 코렐레이션(cross correlation)을 취하여 피크 영역을 설정하는 광 카메라 통신 수신 장치.
  10. 제6항에 있어서,
    상기 신호 추출부는,
    촬영 주파수 및 송신 주파수 차이에 따라 결정되는 개수로 상기 신호 송신원 영역을 분할하고, 분할된 각 구역의 모든 픽셀의 평균값으로부터 해당 구역이 수신한 신호를 추출하는 광 카메라 통신 수신 장치.

KR1020200002254A 2020-01-07 2020-01-07 광 카메라 통신 방법 및 광 카메라 통신 수신 장치 KR102653943B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200002254A KR102653943B1 (ko) 2020-01-07 2020-01-07 광 카메라 통신 방법 및 광 카메라 통신 수신 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200002254A KR102653943B1 (ko) 2020-01-07 2020-01-07 광 카메라 통신 방법 및 광 카메라 통신 수신 장치

Publications (2)

Publication Number Publication Date
KR20210089037A true KR20210089037A (ko) 2021-07-15
KR102653943B1 KR102653943B1 (ko) 2024-04-03

Family

ID=76890206

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200002254A KR102653943B1 (ko) 2020-01-07 2020-01-07 광 카메라 통신 방법 및 광 카메라 통신 수신 장치

Country Status (1)

Country Link
KR (1) KR102653943B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101550375B1 (ko) * 2014-09-04 2015-09-04 국민대학교산학협력단 광학 카메라 통신 시스템
KR20190032837A (ko) * 2017-09-20 2019-03-28 영남대학교 산학협력단 광 카메라 통신 시스템에서 관심 영역을 설정하는 방법 및 이를 위한 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101550375B1 (ko) * 2014-09-04 2015-09-04 국민대학교산학협력단 광학 카메라 통신 시스템
KR20190032837A (ko) * 2017-09-20 2019-03-28 영남대학교 산학협력단 광 카메라 통신 시스템에서 관심 영역을 설정하는 방법 및 이를 위한 장치
KR102024163B1 (ko) 2017-09-20 2019-11-04 영남대학교 산학협력단 광 카메라 통신 시스템에서 관심 영역을 설정하는 방법 및 이를 위한 장치

Also Published As

Publication number Publication date
KR102653943B1 (ko) 2024-04-03

Similar Documents

Publication Publication Date Title
KR100736482B1 (ko) 이미지 검출장치, 이미지 검출방법 및 촬영방법을 기록한기록매체
JP5515472B2 (ja) 撮像装置、撮像方法及びプログラム
AU2010276689B2 (en) Laser aiming spot distinguishing methods and apparatus
KR20140142646A (ko) 가시광 수신 방법 및 그 장치
WO2018191070A2 (en) Optical flow and sensor input based background subtraction in video content
JP4944393B2 (ja) 撮像装置
US8199247B2 (en) Method for using flash to assist in focal length detection
US9130674B2 (en) Coded-light detection system including a camera, light sensor and augmented information display
US9503650B2 (en) Zoom-tracking method performed by imaging apparatus
KR102653943B1 (ko) 광 카메라 통신 방법 및 광 카메라 통신 수신 장치
US6507367B2 (en) Image pickup apparatus for varying filter characteristics for focus adjustment
JP2007324705A (ja) 可視光受信装置および可視光通信光源の位置検出方法
CN102004370B (zh) 利用闪光灯辅助检测焦距的方法
JP2007072095A (ja) 撮像方法および撮像装置
US9922410B2 (en) Image processing apparatus and image processing method
JP4170194B2 (ja) 撮影装置
JP4524711B2 (ja) ビデオ信号処理装置、ビデオ信号処理方法、プログラム
KR101625534B1 (ko) 롤링 셔터 카메라를 이용한 광학 카메라 통신시스템
KR101737260B1 (ko) 영상간 피사계 심도 차이에서 깊이를 추출하는 카메라 시스템 및 그 동작 방법
JP2009047735A (ja) 撮像装置及び画像処理プログラム
KR100741791B1 (ko) 이동 통신 단말기에서의 렌즈 초점 조정 방법 및 장치
JP2016051011A (ja) 撮像装置及び撮像方法
JP3961161B2 (ja) デジタルスチルビデオカメラおよびその合焦制御方法
JP5546381B2 (ja) 撮像装置及びその制御方法
KR20160139304A (ko) 줌 트래킹 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right