KR102593590B1 - 다중 진폭 컬러 ook 및 회색조 영상에 기반한 광학 무선 수신 방법 및 장치 - Google Patents

다중 진폭 컬러 ook 및 회색조 영상에 기반한 광학 무선 수신 방법 및 장치 Download PDF

Info

Publication number
KR102593590B1
KR102593590B1 KR1020210191778A KR20210191778A KR102593590B1 KR 102593590 B1 KR102593590 B1 KR 102593590B1 KR 1020210191778 A KR1020210191778 A KR 1020210191778A KR 20210191778 A KR20210191778 A KR 20210191778A KR 102593590 B1 KR102593590 B1 KR 102593590B1
Authority
KR
South Korea
Prior art keywords
signal
grayscale
amplitude
ook
level
Prior art date
Application number
KR1020210191778A
Other languages
English (en)
Other versions
KR20230101571A (ko
Inventor
장영민
응웬위이응옥
Original Assignee
국민대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국민대학교산학협력단 filed Critical 국민대학교산학협력단
Priority to KR1020210191778A priority Critical patent/KR102593590B1/ko
Publication of KR20230101571A publication Critical patent/KR20230101571A/ko
Application granted granted Critical
Publication of KR102593590B1 publication Critical patent/KR102593590B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H04B10/116—Visible light communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/50—Transmitters
    • H04B10/501—Structural aspects
    • H04B10/502—LED transmitters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/50—Transmitters
    • H04B10/516—Details of coding or modulation
    • H04B10/54—Intensity modulation
    • H04B10/541—Digital intensity or amplitude modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L27/00—Modulated-carrier systems
    • H04L27/02—Amplitude-modulated carrier systems, e.g. using on-off keying; Single sideband or vestigial sideband modulation
    • H04L27/04—Modulator circuits; Transmitter circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/22—Adaptations for optical transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Optical Communication System (AREA)

Abstract

본 개시의 일 실시 예에 따른 광학 신호 수신 장치는 광 신호를 수신하여 영상을 생성하는 롤링 회색조 카메라, 적어도 하나의 프로세서 및 프로세서와 전기적으로 연결되고, 프로세서에서 수행되는 적어도 하나의 코드(code)가 저장되는 메모리를 포함하고, 메모리는 프로세서를 통해 실행될 때 프로세서가, 서로 다른 컬러광을 발산하는 복수의 컬러 LED를 포함하는 광원을 촬영한 카메라의 센서 신호에 기반하여 회색조(grayscale) 이미지 프레임을 생성하고, 회색조 이미지 프레임에서 광원이 촬영된 영역의 일부로부터 프리앰블 신호를 추출하고, 회색조 이미지 프레임에서 광원이 촬영된 영역의 일부로부터 회색조 레벨 정보를 추출하여 다중 진폭 OOK(On-Off Shift Keying) 변조 신호를 생성하고, 프리앰블 신호 및 회색조 레벨 정보의 회색조 레벨에 기반하여 다중 진폭 OOK 변조 신호를 복조하여 데이터 스트림을 생성하도록 야기하는 코드를 저장할 수 있다.

Description

다중 진폭 컬러 OOK 및 회색조 영상에 기반한 광학 무선 수신 방법 및 장치{APPARATUS AND METHOD FOR OPTICAL WIRELESS RECEIVING BASED ON MULTI-AMPLITUDE COLOR ON-OFF KEYING AND GRAYSCALE IMAGE}
본 개시는 신호를 다중 진폭을 갖는 컬러 OOK(On-Off Keying) 및 회색조 영상(grayscale image)에 기반한 광학 무선 통신으로 전송하는 장치 및 방법에 관한 것이다.
이하에서 기술되는 내용은 본 발명의 실시 예와 관련되는 배경 정보를 제공할 목적으로 기재된 것일 뿐이고, 기술되는 내용들이 당연하게 종래기술을 구성하는 것은 아니다.
최근 백열전구와 형광등과 같은 조명이 반도체 LED(Light Emitting Diode) 조명으로 교체되는 인프라를 이용하여 가시광 파장에 통신기능을 부가한 무선 통신 기술인 가시광 통신(Visible Light Communication; VLC) 기술이 활발히 연구되고 있다.
또한, 일반 스마트 폰, 자동차 카메라 등의 사용자 디바이스에 장착된 카메라를 이용하여 수신한 가시광 통신 신호를 복조하는 광학 카메라 통신(Optical Camera Communication: OCC) 기술도 개발되고 있다.
사용자 디바이스에 장착된 카메라는 글로벌 셔터(Global shutter) 방식 또는 롤링 셔터(Rolling shutter) 방식으로 광원을 촬영할 수 있다.
선행기술 1은 컬러 LED를 통해서 신호를 전송하는 기술을 개시하고 있으나, 롤링 카메라가 아닌 일반 카메라로 수신함으로써 프레임 레이트를 고려하여 카메라를 설정해야 하므로 경제적인 단점이 있다. 또한, 선행기술 1은 서로 다른 컬러 LED를 동일한 진폭을 이용한 OOK로 변조함으로써 수신 장치에서 컬러 카메라를 사용해야 하고, 복조가 용이하지 않은 문제점이 있다. 또한, 1비트 수신을 위해서 수신 장치에서 2장의 프레임을 필요로 하므로 전송 효율성 또한 높지 않다.
선행기술 2는 컬러 광원에 기반하여 CSK(Color Shift Keying) 방식에 의해 통신하는 기술을 개시하고 있으나, 수신 장치에서 수신 환경에 의존적인 색상의 인식에 따라 에러의 확률이 높고, 이를 복구할 별도의 기술이 필요한 문제점이 있다. 또한, 포토 디텍터(Photo Detector)에 기반한 CSK 신호 수신 장치는 송신 장치와의 거리가 멀어지는 경우 환경광의 영향으로 신호를 인식하기 어려운 문제점이 있다.
선행기술 2: 한국 등록특허공보 제10-1728518호(2017.04.13. 등록)
본 개시의 일 실시 예는 카메라에 기반한 가시광 통신에 있어서 고속으로 데이터를 전송 또는 수신 가능한 장치 및 방법을 제공한다.
본 개시의 다른 실시 예는 가시광 통신 기술을 통해 변조된 다중 진폭 OOK 변조 및 다중 진폭 OOK 변조에 기반하여 전송 환경에도 불구하고 강건하게 고속으로 데이터를 전송 또는 수신 가능한 장치 및 방법을 제공한다.
본 개시의 다른 실시 예는 가시광 통신 기술을 통해 다중 진폭 OOK 변조에 기반한 광 신호를 경제적이고 용이한 구성으로 복조 가능한 전송 또는 수신 가능한 장치 및 방법을 제공한다.
본 발명의 목적은 이상에서 언급한 과제에 한정되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시 예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 알 수 있을 것이다.
본 개시의 일 실시 예에 따른 광학 신호 전송 방법은 프로세서가 각 단계의 적어도 일부를 수행하는 광학 신호 전송 방법으로서, 데이터 스트림을 입력받는 단계, 데이터 스트림의 적어도 일부를 3개의 채널로 분리하고, 분리된 데이터 스트림을 각각 OOK(On-Off Keying) 방식으로 변조하여 복수의 OOK 변조 신호를 생성하는 단계, 3개의 채널에서 각각 변조한 복수의 OOK 변조 신호를 서로 진폭이 다른 컬러 OOK 진폭 변조 신호로 변환하는 단계 및 서로 진폭이 다른 복수의 컬러 OOK 진폭 변조 신호에 기반하여 컬러 LED 광원을 제어하여 서로 진폭이 다른 복수의 상기 컬러 OOK 진폭 변조 신호를 전송하는 단계를 포함할 수 있다.
본 개시의 일 실시 예에 따른 광학 신호 전송 장치는 컬러 LED를 포함하는 광원부, 입력되는 신호를 변조하는 변조부 및 광원부를 제어해 변조된 전송 신호를 송신하는 제어부를 포함하고, 변조부는 입력 받은 데이터 스트림의 적어도 일부를 3개의 채널로 분리하고, 분리된 데이터 스트림을 각각 OOK(On-Off Keying) 방식으로 변조하여 복수의 OOK 변조 신호를 생성하고, 3개의 채널에서 각각 변조한 복수의 OOK 변조 신호를 서로 진폭이 다른 컬러 OOK 진폭 변조 신호로 변환하고, 서로 진폭이 다른 복수의 컬러 OOK 진폭 변조 신호에 기반하여 컬러 LED 광원을 제어하여 서로 진폭이 다른 복수의 상기 컬러 OOK 진폭 변조 신호를 전송하도록 구성될 수 있다.
본 개시의 일 실시 예에 따른 광학 신호 수신 방법은 회색조 롤링 카메라를 포함하는 신호 수신 장치의 프로세서가 각 단계의 적어도 일부를 수행하는 광학 신호 수신 방법으로서, 서로 다른 컬러광을 발산하는 복수의 컬러 LED를 포함하는 광원을 촬영한 카메라의 센서 신호에 기반하여 회색조(grayscale) 이미지 프레임을 생성하는 단계, 회색조 이미지 프레임에서 광원이 촬영된 영역의 일부로부터 프리앰블 신호를 추출하는 단계, 회색조 이미지 프레임에서 상기 광원이 촬영된 영역의 일부로부터 회색조 레벨 정보를 추출하여 다중 진폭 OOK(On-Off Shift Keying) 변조 신호를 생성하는 단계 및 프리앰블 신호 및 회색조 레벨 정보의 회색조 레벨에 기반하여 다중 진폭 OOK 변조 신호를 복조하여 데이터 스트림을 생성하는 단계를 포함할 수 있다.
본 개시의 일 실시 예에 따른 광학 신호 수신 장치는 광 신호를 수신하여 영상을 생성하는 롤링 회색조 카메라, 적어도 하나의 프로세서 및 프로세서와 전기적으로 연결되고, 프로세서에서 수행되는 적어도 하나의 코드(code)가 저장되는 메모리를 포함하고, 메모리는 프로세서를 통해 실행될 때 프로세서가, 서로 다른 컬러광을 발산하는 복수의 컬러 LED를 포함하는 광원을 촬영한 카메라의 센서 신호에 기반하여 회색조(grayscale) 이미지 프레임을 생성하고, 회색조 이미지 프레임에서 광원이 촬영된 영역의 일부로부터 프리앰블 신호를 추출하고, 회색조 이미지 프레임에서 광원이 촬영된 영역의 일부로부터 회색조 레벨 정보를 추출하여 다중 진폭 OOK(On-Off Shift Keying) 변조 신호를 생성하고, 프리앰블 신호 및 회색조 레벨 정보의 회색조 레벨에 기반하여 다중 진폭 OOK 변조 신호를 복조하여 데이터 스트림을 생성하도록 야기하는 코드를 저장할 수 있다.
본 개시의 일 실시 예에 따른 광학 신호 수신 방법은 회색조 롤링 카메라를 포함하는 신호 수신 장치의 프로세서가 각 단계의 적어도 일부를 수행하는 광학 신호 수신 방법으로서, 서로 다른 컬러광을 발산하는 복수의 컬러 LED를 포함하는 광원을 촬영한 카메라의 센서 신호에 기반하여 회색조(grayscale) 이미지 프레임을 생성하는 단계, 회색조 이미지 프레임에서 광원이 촬영된 영역의 일부로부터 회색조 레벨 정보를 추출하여 다중 진폭 OOK(On-Off Shift Keying) 변조 신호를 생성하는 단계, 조도 센서에서 출력된 주변 조도, 카메라의 영상에 기반하여 결정된 광원까지의 거리, 광원에서 전송되는 광 신호의 신호대잡음비(SNR) 중 적어도 하나를 머신 러닝 기반의 학습 모델에 입력하여 획득한 출력에 기반하여 복수의 임계값들로 구성된 임계값 리스트를 생성하는 단계 및 임계값 리스트 및 회색조 레벨 정보의 회색조 레벨에 기반하여 다중 진폭 OOK 변조 신호를 복조하여 데이터 스트림을 생성하는 단계를 포함할 수 있다.
본 개시의 일 실시 예에 따른 광학 신호 수신 장치는 광 신호를 수신하여 영상을 생성하는 롤링 회색조 카메라, 적어도 하나의 프로세서 및 상기 프로세서와 전기적으로 연결되고, 프로세서에서 수행되는 적어도 하나의 코드(code)가 저장되는 메모리를 포함하고, 메모리는 프로세서를 통해 실행될 때 프로세서가, 서로 다른 컬러광을 발산하는 복수의 컬러 LED를 포함하는 광원을 촬영한 카메라의 센서 신호에 기반하여 회색조(grayscale) 이미지 프레임을 생성하고, 회색조 이미지 프레임에서 광원이 촬영된 영역의 일부로부터 회색조 레벨 정보를 추출하여 다중 진폭 OOK(On-Off Shift Keying) 변조 신호를 생성하고, 조도 센서에서 출력된 주변 조도, 카메라의 영상에 기반하여 결정된 광원까지의 거리, 광원에서 전송되는 광 신호의 신호대잡음비(SNR) 중 적어도 하나를 머신 러닝 기반의 학습 모델에 입력하여 획득한 출력에 기반하여 복수의 임계값들로 구성된 임계값 리스트를 생성하고, 임계값 리스트 및 회색조 레벨 정보의 회색조 레벨에 기반하여 다중 진폭 OOK 변조 신호를 복조하여 데이터 스트림을 생성하도록 야기하는 코드를 저장할 수 있다.
본 개시의 실시 예에 따른 신호 전송 또는 수신 가능한 장치 및 방법은 데이터 스트림을 복수의 채널로 분리한 후 다중 진폭 변조된 OOK(On-Off Keying) 신호로 변조하여 전송함으로써, 가시광 통신에서 데이터 전송 속도를 향상시킬 수 있다.
본 개시의 실시 예에 따른 신호 전송 또는 수신 가능한 장치 및 방법은 회색조 카메라에 기반함으로써 용이하고 경제적인 광학 신호 통신 기술을 제공할 수 있다.
본 개시의 실시 예에 따른 신호 수신 장치 및 방법은 프리 앰블에 기반하여 수신한 변조 신호를 복조함으로써 용이하고 경제적인 광학 신호 통신 기술을 제공할 수 있다.
본 개시의 실시 예에 따른 신호 수신 장치 및 방법은 머신 러닝 기반의 학습 모델에 기반하여 수신한 변조 신호를 복조함으로써 이동 환경 또는 날씨의 변화에 무관하게 강건한 광학 신호 통신 기술을 제공할 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 일 실시 예에 따른 신호 전송 장치 및 신호 수신 장치의 통신을 개략적으로 나타낸 도면이다.
도 2는 본 개시의 일 실시 예에 따른 신호 전송 장치의 구성을 나타낸 블록도이다.
도 3은 본 개시의 일 실시 예에 따른 데이터 스트림의 패킷의 일 실시예를 설명하는 도면이다.
도 4는 본 개시의 일 실시 예에 따른 다중 진폭 OOK 변조 방법을 설명하기 위한 도면이다.
도 5는 본 개시의 본 개시의 일 실시 예에 따른 다중 진폭 OOK 변조 신호의 복조 방법을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시 예에 따른 신호 송신 방법을 도시한 흐름도이다.
도 7은 본 개시의 일 실시 예에 따른 신호 수신 장치의 구성을 나타낸 블록도이다.
도 8은 본 개시의 일 실시 예에 따른 수신한 광 신호를 복조하는 방법을 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시 예에 따른 신호 수신 장치의 구성을 나타낸 블록도이다.
도 10은 본 개시의 일 실시 예에 따른 수신한 광 신호를 복조하는 방법을 설명하기 위한 도면이다.
도 11은 본 개시의 일 실시 예에 따른 수신한 광 신호를 신호대잡음비(signal to noise ratio: SNR)에 기반하여 복조하는 방법을 설명하기 위한 도면이다.
도 12는 신호 전송 장치와 신호 수신 장치의 거리 변화에 따른 신호대잡음비를 측정한 실험 결과를 설명하는 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
도 1을 참조하여 본 개시의 일 실시 예에 따른 신호 송신 장치 및 신호 수신 장치 사이의 통신을 설명한다.
도 1을 참조하면, 신호 송신 장치(100)는 데이터를 입력 받아 다중 진폭 컬러 OOK(On-Off Keying)에 기반하여 변조한 전송 신호를 서로 다른 색상의 빛을 발산하는 복수의 컬러 LED를 포함하는 광원부(130)를 통하여 가시광 신호로 전송하도록 구성될 수 있다. 복수의 컬러 LED는 컬러 별로 구동 전류 또는 구동 전압이 서로 다를 수 있다. 예를 들어, 레드 LED는 20v의 구동 전압으로 구동되어 10v의 구동 전압으로 구동되는 블루 LED나 5v의 구동 전압으로 구동되는 그린 LED 보다 더 높은 광도로 빛을 발산할 수 있다.
신호 수신 장치(200)는 카메라(210, 롤링 카메라 또는 글로벌 카메라)를 통해서 컬러 LED를 포함하는 광원부(130)를 촬영한 카메라의 센서 신호에 기반하여 생성한 회색조(grayscale) 영상으로부터 회색조 영상 정보를 추출하여 다중 진폭 컬러 OOK 변조 신호를 생성하고(220), 다중 진폭 컬러 OOK 디코더(230)가 다중 진폭 컬러 OOK 변조 신호를 다중 진폭 컬러 OOK에 기반하여 복조함으로써 스트림 데이터를 생성할 수 있다.
신호 전송 장치(100)는 데이터를 다중 진폭 컬러 OOK 방식으로 변조하기 위하여, 데이터를 3개의 채널로 분리한 후, 채널별 데이터를 각각 OOK 방식으로 변조할 수 있다.
신호 전송 장치(100)는 3개의 채널에서 각각 변조한 복수의 OOK 변조 신호를 다중 진폭 컬러 OOK 변조기(amplitude modulation based on color)에서 각각 서로 다른 크기의 진폭을 갖는 도4와 같은 다중 진폭 컬러 OOK 변조 신호로 변환할 수 있다. 아래에서 도 4에 기반하여 자세히 설명한다.
신호 전송 장치(100)는 다중 진폭 컬러 OOK 변조 신호에 따라 발광하도록 각 다중 진폭 컬러 OOK 변조 신호에 대응하는 색상의 빛을 발산하는 각 컬러 LED를 포함하는 광원부(130)를 제어함으로써 다중 진폭 컬러 OOK 변조 신호를 가시광 신호로 전송할 수 있다.
신호 수신 장치(200)는 컬러 LED를 포함하는 신호 전송 장치(100)의 광원을 촬영하여 이미지 프레임을 생성할 수 있다.
신호 수신 장치(200)는 이미지 프레임에서 광원 영역을 결정하고 광원 영역의 이미지 프레임에서 회색조 레벨 정보를 추출할 수 있다.
신호 수신 장치(200)는 추출한 회색조 레벨 정보에 기반해 다중 진폭 컬러 OOK 변조 신호를 생성하고, 다중 진폭 컬러 OOK 변조 신호의 페이로드(payload)에 해당하는 부분을 추출하여 도 5를 참조하여 설명할 다중 진폭 컬러 OOK 복조 방법으로 복조하여 데이터 스트림을 생성할 수 있다. 신호 수신 장치(200)는 회색조 레벨 정보의 각 회색조 레벨을 임계값 리스트의 복수의 임계값들과 비교하여 데이터 스트림을 생성할 수 있다.
도 2를 참조하여 본 개시의 일 실시 예에 따른 신호 전송 장치의 구성을 설명한다.
도 2를 참조하면, 신호 전송 장치(100)는 다중 진폭 컬러 OOK 인코더(110)를 포함하고, 다중 진폭 컬러 OOK 인코더(110)는 시리얼 투 패러럴(S2P) 변환부, 프리앰블 삽입부, 복수의 채널별 OOK 변조부(OOK encoder), 다중 진폭 컬러 OOK 변조기(amplitude modulation based on color) 및 복수의 컬러별 LED 광원을 포함하는 통신 채널인 광원부(130)를 제어하는 제어부(120)을 포함할 수 있고, 클럭(clock) 신호를 발생시키는 클럭 제너레이터를 포함할 수 있다.
일 실시 예에서, 데이터 스트림은 전송하고자 하는 신호를 변조부에서 바이너리 신호로 변조한 패킷일 수 있다. 변조부는 FEC(Forward Error Correction) 인코더 및 입력 데이터를 바이너리 신호로 변조하는 바이너리 변조부를 포함할 수 있다.
일 실시 예에서, 다중 진폭 컬러 OOK 인코더(110)는 바이너리 신호가 패킷 형태로 구성된 데이터 스트림을 다중 진폭 컬러 OOK 변조 신호로 변조할 수 있다. 아래에서는, 다중 진폭 컬러 OOK 인코더(110)가 바이너리 신호인 데이터 스트림을 다중 진폭 컬러 OOK 변조 신호로 변조하는 것으로 전제하여 설명한다.
일 실시 예에서, 다중 진폭 컬러 OOK 인코더(110)는 바이너리 신호를 라인 코딩(Line Coding)하여 이진 데이터 신호를 생성할 수 있다. 라인 코딩은 입력 비트 0을 00으로 출력하고, 입력 비트 1을 01로 출력하는 변조일 수 있다.
데이터 스트림은 전송하고자 하는 데이터에 해당하는 페이로드(payload), 헤더에 해당하는 프리앰블(preamble)을 포함한 패킷일 수 있다. 아래에서 설명할 일 실시 예에서, 프리앰블은 신호 전송 장치(100)의 복수의 컬러 LED 광원이 모두 온(On)인 경우와 모두 오프(Off)인 신호를 포함할 수 있다. 이 경우, 프리앰블에 해당하는 바이너리 신호는 컬러 LED광원이 3가지의 색상으로 구성된 경우 (1, 1, 1) 및 (0, 0, 0)일 수 있다.
일 실시 예에서, 신호 전송 장치(100)는 패킷에 시퀀스 넘버(Sequence Number)를 포함할 수 있으며, 시퀀스 넘버는 연속한 데이터 패킷에 대해 연속한 번호로 할당될 수 있고, 시퀀스 넘버는 일정한 번호(비트들일 수 있다)를 순서대로 반복하여 사용될 수 있다. 예를 들어, 시퀀스 넘버는 첫 패킷은 00, 두 번째 패킷은 01, 세번째 패킷은 다시 00일 수 있다. 신호 수신 장치(200)는 시퀀스 넘버를 통해 패킷의 중복 여부를 판단할 수 있다.
도 3을 참조하여 본 개시의 일 실시 예에 따른 다중 진폭 컬러 OOK 인코더(110)에 입력되는 패킷 구조의 일 부분을 설명한다. 다른 실시 예에서, 다중 진폭 컬러 OOK 인코더(110)는 입력된 데이터를 도 3과 같은 패킷의 일부로 변환하여 변조할 수 있다.
입력 데이터를 변환한 패킷들은 복수의 데이터 패킷들(i-1, i, i+1)을 포함할 수 있다.
복수의 데이터 패킷들(i-1, i, i+1)은 각각 복수의 데이터 서브 패킷들(예를 들어, 데이터 패킷(i)는 데이터 서브 패킷들(i1, i2, i3)을 포함하고, 각 데이터 서브 패킷은 입력 데이터의 부분에 대응하는 정보 비트들로 구성된 페이로드를 포함할 수 있다.
일 실시 예에서, 수신 측 카메라의 가변적인 프레임 레이트(frame rate)로 인한 패킷 누락을 방지하기 위해, 하나의 데이터 패킷에 포함된 복수의 데이터 서브 패킷들은 동일한 정보 비트들로 구성된 동일한 페이로드를 포함할 수 있다. 즉, 동일한 페이로드가 중복하여 신호 수신 장치(200)로 전송될 수 있다.
신호 수신 장치(200)의 롤링 카메라는 LED 광원의 점멸을 서로 다른 시간에 연속적으로 복수 회 촬영하고, 각 촬영한 신호를 이미지 센서의 한 칼럼 또는 로우에 저장하여 이미지 프레임을 생성한다. 이 때, 카메라의 프레임 레이트는 디바이스의 설정 등에 따라 가변적이거나 또는 데이터 패킷 전송률에 비해 낮을 수 있다. 따라서, 신호 송신 장치(100)는 롤링 카메라의 프레임 레이트 한계로 인한 패킷 수신의 누락을 방지하기 위해 동일한 페이로드를 포함하는 데이터 서브 패킷을 중복으로 포함하도록 데이터 패킷을 구성할 수 있다. 즉, 데이터 서브 패킷들(i1, i2, i3)는 동일한 페이로드를 포함할 수 있다.
일 실시 예에서, 신호 수신 장치(200)에서 패킷 누락을 감지하거나 중복된 패킷의 구분을 위해서 신호 전송 장치(100)는 각각의 데이터 패킷 또는 데이터 서브 패킷에 시퀀스 넘버(Sequence Number)를 부여할 수 있으며, 시퀀스 넘버는 연속한 데이터 패킷에 대해 연속한 번호로 할당될 수 있다.
일 실시 예에서, 각각의 데이터 서브 패킷(i1, i2, i3)은 해당 데이터 패킷(i)의 시퀀스 넘버 및 해당 데이터 패킷(i)에 할당된 정보 비트들인 동일한 페이로드를 포함할 수 있다.
일 실시 예에서, 시퀀스 넘버는 패킷의 전단에 삽입되거나, 다른 실시 예에서 패킷의 전단 및 후단 양쪽에 삽입될 수 있다. 시퀀스 넘버가 패킷의 전단 및 후단 양쪽에 삽입되는 경우, 신호 수신 장치(200)는 촬영한 이미지 프레임 한 장에서 프리앰블 한 개를 발견하는 경우 프리앰블 전 후의 시퀀스 넘버를 고려하여 포워드 디코딩(forward decoding) 및 백워드 디코딩(backward decoding)으로 패킷을 구성할 수 있다.
일 실시 예에서, 변조된 패킷 또는 데이터 서브 패킷은 패킷의 사이즈 등의 메타 정보를 포함하는 헤더부를 프리앰블에 포함될 수 있다.
일 실시 예에서, 프리앰블은 패킷의 시작(Start Frame: SF)을 알리는 비트 코드로서 신호 전송 장치 및 신호 수신 장치에 미리 알려진 비트 코드일 수 있다.
일 실시 예에서, 신호 전송 장치(100)는 FEC(Forward Error Correction) 인코더, Ab 비트(asynchronous bits) 삽입부를 포함할 수 있다. 프리앰블은 Ab 비트를 포함할 수 있다.
신호 전송 장치(100)의 다중 진폭 컬러 OOK 인코더(110)는 시리얼(serial) 형태의 패킷 또는 프리앰블이 삽입된 패킷의 적어도 일부를 3개의 채널로 분리한 후 각각 OOK 방식으로 변조할 수 있다.
예를 들어, 패킷의 페이로드의 비트 코드가 '010'인 경우 신호 전송 장치(100)는 페이로드의 비트 코드 '010'을 비트 마다 3개의 채널로 분리하여 각각 '0', '1', '0'으로 분리한 후 각 분리된 비트 코드를 OOK 방식으로 변조하여 펄스파를 생성할 수 있다.
일 실시 예에서, 프리앰블은 페이로드와 유사하게 3개의 채널로 분리하여 각 채널에서 OOK 변조될 수 있다.
일 실시 예에서, 프리앰블의 일부는 3개의 채널로 분리되지 않고 중복하여 각 채널에서 OOK 변조될 수 있다. 예를 들어, 복수의 컬러 LED 광원을 모두 켠(On) 상태의 최대 광도 및 모두 꺼진(Off) 상태의 최소 광도를 포함하는 프리앰블 신호는 각각 컬러 채널 별로 동일하게 '1' 및 '0'을 펄스파로 생성할 수 있다. 따라서, 제어부(120)는 서로 구동 전압 또는 구동 전류가 다른 복수의 컬러 LED 광원을 모두 켠(On) 상태의 최대 광도 및 모두 꺼진(Off) 상태의 최소 광도를 포함하는 프리앰블 신호를 전송할 수 있다.
도 4 및 도 5를 참조하여 본 개시의 일 실시 예에 따른 다중 진폭 컬러 OOK 인코더(110)가 각 채널별로 OOK 변조된 펄스파를 다중 진폭 컬러 OOK 변조 신호로 변환하는 방법을 설명한다.
다중 진폭 컬러 OOK 인코더(110)는 각 채널별로 출력된 펄스파를 도 4와 같이 서로 구동 전압 또는 구동 전류가 다른 펄스파로 변환할 수 있다. 예를 들어, 레드 채널의 출력은 비트 '1'에 해당하는 펄스파의 하이 신호를 구동 전압 20v에서 레드 LED를 구동하도록 진폭값이 20v에 해당하는 펄스파로 변환하고, 비트 '0'에 해당하는 펄스파의 로우 신호를 구동 전압 0v에서 레드 LED를 구동하도록(레드 LED를 오프(Off) 시키도록) 진폭값이 0v에 해당하는 펄스파로 변환할 수 있다. 유사하게, 비트 '1'에 해당하는 펄스파의 하이 신호를 그린 채널의 출력은 10v의 구동 전압으로 그린 LED를 구동하도록 펄스파를 변환하고, 블루 채널의 출력은 5v의 구동 전압으로 블루 LED를 구동하도록 펄스파를 변환할 수 있다. 즉, 색상별 채널의 출력이 동일한 펄스파의 하이 신호라 하더라도 서로 다른 진폭을 갖는 구동 전압에서 각 컬러별 LED를 구동하도록 펄스파를 변환할 수 있다.
따라서, 데이터 스트림의 '1, 1, 1'이 각 채널별로 분리되어 OOK 변조된 후 각각 다중 진폭 컬러 OOK 변조 신호로 변환된 후 각 컬러별 LED는 도 5의 I7과 같이 서로 다른 구동 전압에서 구동되고, 데이터 스트림의 '0, 1, 0'은 도 5의 I2와 같이 10v의 구동 전압으로 그린 LED만 구동하도록 펄스파를 변환할 수 있다.
일 실시 예에서, 신호 전송 장치(100)는 데이터를 변조한 컬러 광 신호를 전송할 때, 프리앰블을 변환한 광 신호를 먼저 전송할 수 있고, 프리앰블은 복수의 컬러 LED 광원을 모두 켠(On) 상태의 최대 광도 및 모두 꺼진(Off) 상태의 최소 광도를 포함하는 프리앰블 신호를 전송할 수 있다.
따라서, 신호 수신 장치(200)는 수신한 광 신호로부터 프리앰블을 복조하여 최대 광도에 해당하는 픽셀 인텐시티로부터 최대 회색조 레벨 값을 결정하고, 최소 광도에 해당하는 픽셀 인텐시티로부터 최소 회색조 레벨 값을 결정할 수 있다. 이후, 일 실시 예에서, 신호 수신 장치(200)는 최대 회색조 레벨과 최소 회색조 레벨의 차이를 미리 설정된 단계로 나누어 복수의 임계값들을 결정하여 임계값 리스트를 생성할 수 있다. 아래에서 자세히 설명한다.
즉, 신호 전송 장치(100)는 가장 낮은 레벨의 광도 및 가장 높은 레벨의 광도의 프리앰블을 전송한 후, 페이로드에 기반하여 변조된 다중 진폭 컬러 OOK 변조 신호를 전송함으로써, 신호 수신 장치(200)는 주변 환경이 바뀌는 경우에도 변경된 주변 환경에서 수신된 프리앰블로부터 결정된 임계값 리스트에 기반해 다중 진폭 컬러 OOK 변조 신호를 복조할 수 있다. 따라서, 아래에서 다른 실시 예로 설명할 머신 러닝 기반의 학습 모델에 기반하지 않은 경우에도 비교적으로 날씨, 주변 조도의 변화, 신호 전송 장치 또는 신호 수신 장치의 이동으로 인한 환경 변화에 강건하게 수신한 신호를 복조할 수 있다.
일 실시 예에서, 프리앰블 신호는 각 컬러별 LED를 동시에 켜는 온 상태와, 이후 동시에 끄는 오프 상태로서 전송할 수 있다.
다른 실시 예에서, 프리앰블 신호는 각 컬러별 LED를 동시에 켜는 온 상태와, 이후 동시에 끄는 오프 상태로서 전송한 후, 다시 복수의 컬러 LED 광원을 한가지 컬러마다 서로 다른 시간에 번갈아 켜는 온 상태의 상기 프리앰블 신호를 전송할 수 있다. 즉, 각 컬러 채널별로 전송되는 프리앰블의 펄스파 하이 신호를 '1', 로우 신호를 '0'이라고 하면, 동시에 '1,1,1'을 전송한 후, '0,0,0'을 전송하고, 다시 차례대로 '1, 0, 0', '0, 1, 0', '0, 0, 1'을 전송할 수 있다. 이 경우 앞에서 설명한 것처럼 각 컬러별 LED의 구동 전압 또는 구동 전류가 다르므로, 신호 전송 장치(100)는 총 5개의 임계값에 해당하는 광도를 신호 수신 장치(200)에 전송할 수 있다. 따라서, 신호 수신 장치(200)는 보다 정확하고 환경 변화에 강건하게 수신된 신호를 복조할 수 있다.
도 6을 참조하여 본 개시의 일 실시 예에 따른 신호 전송 장치의 신호 전송 방법을 설명한다.
신호 전송 장치는 바이너리 신호 형태의 패킷을 입력 받거나 또는 전송 신호를 입력 받아 이를 바이너리 신호 형태의 패킷으로 변환하고 이를 데이터 스트림으로 다중 진폭 컬러 OOK 컬러 인코더에 입력할 수 있다(S110).
신호 전송 장치는 패킷의 적어도 일부를 정해진 비트 개수만큼 분리하여 복수의 채널로 입력하고, 각 채널 별로 입력된 비트 코드들을 OOK 변조 방식에 기반하여 펄스파(OOK 변조 신호)를 생성할 수 있다(S120).
신호 전송 장치는 각 채널 별로 생성한 펄스파를 각 채널별로 하이 신호를 구동하는 구동 전압 또는 구동 전류가 다른 진폭을 갖는 다중 진폭 컬러 OOK 변조 신호를 생성할 수 있다(S130).
다중 진폭 컬러 OOK 변조 신호는 서로 구동 전압 또는 구동 전류가 다른 컬러별 LED를 원하는 색상으로 발광할 수 있도록 제어하기 위한 전기적인 신호 또는 명령일 수 있고, 신호 전송 장치는 생성된 다중 진폭 컬러 OOK 변조 신호에 따라 컬러 LED를 제어하여 가시광 신호를 전송할 수 있다(S140).
도 7을 참조하여 본 개시의 일 실시 예에 따른 신호 수신 장치(200)의 구성을 설명한다.
신호 수신 장치(200)는 광 신호를 수신하는 롤링 셔터(rolling-shutter) 방식으로 이미지 센서에서 획득한 신호에 기반하여 이미지 프레임을 생성하는 롤링 카메라(210), 이미지 프레임에서 컬러 LED가 촬영된 영역을 결정한 후 해당 영역의 영상에 기반하여 회색조 레벨(grayscale level) 정보를 추출하여 다중 진폭 OOK 변조 신호를 생성하는 회색조 정보 추출부(220), 회색조 레벨 정보에서 프리앰블을 분리하는 프리앰블 검출부(240) 및 프리앰블에 기반하여 다중 진폭 OOK 변조 신호의 회색조 레벨을 임계값 리스트의 임계값들과 비교하여 OOK 방식으로 복조하여 데이터 스트림의 페이로드를 생성하는 다중 진폭 컬러 OOK 디코더(230)를 포함할 수 있다. 신호 수신 장치(200)는 하나의 회색조 레벨에서 페이로드의 비트코드 3 비트를 생성할 수 있다.
도 8을 참조하여 본 개시의 일 실시 예에 따른 신호 수신 장치(200)의 신호 수신 방법을 설명한다.
롤링 카메라는 LED 광원의 점멸을 서로 다른 시간에 연속적으로 복수 회 촬영하고, 각 촬영한 신호를 이미지 센서의 한 칼럼 또는 로우에 저장하여 이미지 프레임을 생성한다(S210). 롤링 카메라는 이미지 센서의 각 로우 또는 칼럼을 순차적으로 노출시킴으로써, 롤링 카메라의 이미지 센서의 한 칼럼 또는 로우에서 LED 광원의 점멸에 따라 LED 광원의 색상에 대응하는 신호 값이 획득될 수 있다. 롤링 카메라는 회색조 영상(복수의 이미지 프레임)을 생성하는 회색조(모노크롬, monochrome) 카메라일 수 있다.
신호 수신 장치(200)는 컬러 LED를 촬영한 센서의 신호에 기반하여 복수의 회색조 이미지 프레임을 생성할 수 있다(S210). 회색조 카메라는 바로 회색조 영상을 구성 가능한 신호들이 카메라 센서로부터 출력할 수 있다.
롤링 카메라는 LED 광원의 점멸을 서로 다른 시간에 연속적으로 복수 회 촬영하고, 각 촬영한 신호를 이미지 센서의 한 칼럼 또는 로우에 저장하여 이미지 프레임을 생성한다. 롤링 카메라는 이미지센서의 각 로우 또는 칼럼을 순차적으로 노출시킴으로써, 롤링 카메라의 이미지 센서의 한 칼럼 또는 로우에서 LED 광원의 점멸에 따라 LED 광원의 색상 또는 밝기에 대응하는 신호 값이 획득될 수 있다. 롤링 카메라는 복수의 이미지 프레임들을 생성할 수 있다. 아래의 설명에서는 롤링 카메라가 이미지 센서의 각 로우를 순차적으로 노출시키는 것으로 가정하고 설명한다.
신호 수신 장치(200)는 컬러 LED 가 촬영된 영역으로부터 회색조 레벨 정보를 추출할 수 있다 회색조 레벨 정보는 컬러 LED 가 촬영된 영역의 각 로우 또는 컬럼으로부터 추출한 회색조 픽셀 인텐시티(intensity) 값들일 수 있다. 신호 수신 장치(200)는 회색조 레벨 정보를 추출하여 일부는 프리앰블 신호로서 추출하고(S220), 일부는 다중 진폭(멀티 레빌) OOK 변조 신호로 생성할 수 있다(S230).
신호 수신 장치(200)는 프리앰블로부터 수신한 신호의 회색조 레벨의 최대 레벨 및 최소 레벨을 결정하고, 최대 레벨 및 최소 레벨 사이를 미리 설정된 복수의 구간으로 분할하여 임계값들을 생성하고, 복수의 임계값들로 구성된 임계값 리스트를 생성할 수 있다.
일 실시 예에서, 신호 수신 장치(200)는 프리앰블로부터 수신한 신호의 회색조 레벨의 최대 레벨 및 최소 레벨뿐만 아니라, 각 컬러별 LED가 차례대로 번갈아 켜지는 상태의 이미지 프레임에 대응되는 회색조 레벨로부터 3개의 임계값을 추가로 결정할 수 있다.
일 실시 예에서, 신호 수신 장치(200)는 최대 레벨 및 최소 레벨 사이를 분할하여 최대 레벨 및 최소 레벨에 해당하는 임계값을 포함하여 총 8개의 임계값을 생성할 수 있다.
이 경우, 신호 수신 장치(200)는 회색조 레벨의 최대 레벨을 Po(4+2+1)/3로 맵핑하고, 최소 레벨을 Po(0+0+0)/3으로 맵핑하고 그 사이를 <표 1>과 같이 분할하여 맵핑함으로써 임계값 리스트를 생성할 수 있다.
신호 수신 장치(200)는 다중 진폭 OOK 변조 신호를 임계값 리스트와 비교하여 복조함으로써 각각의 회색조 레벨마다 3 비트씩 페이로드를 생성하여 데이터 스트림을 생성할 수 있다(S240). 각각의 회색조 레벨은 복수의 임계값과 비교하여 <표 1>과 같은 8가지 비트코드 중 어느 하나로 복조될 수 있다.
일 실시 예에서, 신호 수신 장치(200)는 복수의 임계값과 회색조 레벨을 비교하기 위하여 임계값 리스트의 임계값들을 바이너리 서치(binary search)로 비교 대상 임계값을 결정할 수 있다. 예를 들어, 임계값이 L0~L7인 경우, 회색조 레벨을 L3 또는 L4 임계값과 비교하고, L3보다 작은 경우 다시 L1 또는 L2와 비교할 수 있다. 바이너리 서치를 통하여 임계값 비교 회수를 감소시킬 수 있다.
신호 전송 장치(100)가 전송하는 신호는 각 패킷마다 프리앰블을 포함할 수 있다. 따라서, 신호 수신 장치(200)가 패킷을 수신할 때마다 주변의 조도가 변경되거나, 신호 수신 장치(200)가 장착된 차량 등의 이동 속도가 변경되거나, 날씨가 변경되는 경우에도 도 11의 서로 다른 속도에서 수신된 프리앰블들(1120, 1130)의 서로 다른 회색조 레벨에 기반하여 임계값 리스트를 생성함으로써 수신 신호를 강건하고 정확하게 복조할 수 있다.
도 9을 참조하여 본 개시의 다른 실시 예에 따른 신호 수신 장치(300)의 구성을 설명한다. 앞서 설명한 부분과 중복되는 부분은 자세한 설명을 생략한다.
신호 수신 장치(300)는 광 신호를 수신하여 이미지 프레임을 생성하는 롤링 카메라(310), 이미지 프레임에서 회색조 레벨 정보를 추출하여 다중 진폭 OOK 변조 신호를 생성하는 회색조 정보 추출부(320), 회색조 레벨 정보에서 프리앰블을 분리하는 프리앰블 검출부(340) 및 프리앰블에 기반하여 다중 진폭(멀티 레벨) OOK 변조 신호의 회색조 레벨을 임계값 리스트의 임계값들과 비교하여 OOK 방식으로 복조하여 데이터 스트림의 페이로드를 생성하는 다중 진폭 컬러 OOK 디코더(330)를 포함할 수 있다. 신호 수신 장치(300)는 하나의 회색조 레벨에서 페이로드의 비트코드 3 비트를 생성할 수 있다. 신호 수신 장치(300)의 디코더(330)는 머신 러닝 기반의 학습 모델에 기반하여 복수의 임계값들로 구성된 임계값 리스트를 생성할 수 있다.
도 10을 참조하여 본 개시의 일 실시 예에 따른 신호 수신 장치(300)의 신호 수신 방법을 설명한다. 앞서 설명한 부분과 중복되는 부분은 자세한 설명을 생략한다.
롤링 카메라는 LED 광원의 점멸을 서로 다른 시간에 연속적으로 복수 회 촬영하고, 각 촬영한 신호를 이미지 센서의 한 칼럼 또는 로우에 저장하여 이미지 프레임을 생성한다(S310). 롤링 카메라는 이미지 센서의 각 로우 또는 칼럼을 순차적으로 노출시킴으로써, 롤링 카메라의 이미지 센서의 한 칼럼 또는 로우에서 LED 광원의 점멸에 따라 LED 광원의 색상에 대응하는 신호 값이 획득될 수 있다.
신호 수신 장치(300)는 컬러 LED를 촬영한 센서의 신호에 기반하여 복수의 회색조 이미지 프레임을 생성할 수 있다(S310).
롤링 카메라의 이미지 센서의 한 칼럼 또는 로우에서 LED 광원의 점멸에 따라 LED 광원의 색상 또는 밝기에 대응하는 신호 값이 획득될 수 있다. 롤링 카메라는 복수의 이미지 프레임들을 생성할 수 있다.
신호 수신 장치(300)는 컬러 LED 가 촬영된 영역으로부터 회색조 레벨 정보를 추출할 수 있다(S310). 신호 수신 장치(300)는 회색조 레벨 정보를 추출하여 일부는 프리앰블 신호로서 추출하고(S320), 일부는 다중 진폭(멀티 레빌) OOK 변조 신호로 생성할 수 있다(S330).
신호 수신 장치(300)는 조도 센서에서 출력된 주변 조도, 롤링 카메라의 영상에 기반하여 결정된 광원까지의 거리, 광원에서 전송되는 광 신호의 신호대잡음비(SNR) 중 적어도 하나를 머신 러닝 기반의 학습 모델에 입력하여 획득한 출력에 기반하여 복수의 임계값들로 구성된 임계값 리스트를 생성할 수 있다.
신호 수신 장치(300)가 차량에 구현되고, 카메라가 차량의 특정 위치에 고정된 경우 광원이 포함된 객체의 크기는 광원과의 거리에 반비례한다. 따라서, 객체 인식용 머신 러닝 기반의 학습 모델에 기반하여 인식된 객체의 크기(또는 광원의 크기)를 미리 저장된 기준과 비교하여 광원과의 거리를 결정할 수 있다. 또는, 레이더, 라이더 등의 다른 거리 인식용 센싱 장치를 통해서 광원과의 거리를 결정할 수 있다.
학습 모델은 주변 조도, 광원까지의 거리, 광원에서 전송되는 광 신호의 신호대잡음비 중 적어도 하나를 최대 임계값으로 레이블링(labeling)한 훈련 데이터로 훈련된 학습 모델일 수 있다.
각 환경마다 신호 전송 장치의 구동 전압 또는 구동 전류가 서로 다른 컬러 LED를 모두 온 상태로 한 후 촬영한 카메라의 센서에서 출력되는 픽셀 인텐시티는 다를 수 있다. 따라서, 환경에 따라 동일한 상태의 광원을 촬영한 픽셀 인텐시티는 다른 회색조 레벨을 가질 수 있으므로, 환경 변화에 무관하게 강건한 복조 방식이 필요하다. 학습 모델은 주변 조도, 광원까지의 거리, 신호대잡음비를 변경시킨 다양한 환경에서 측정된(또는 시뮬레이션된) 최대 광원의 픽셀 인텐시티로 레이블링하여 훈련 데이터로 구성함으로써 환경 변화에 강건하게 임계값 리스트를 생성할 수 있다.
신호 수신 장치(300)는 학습 모델의 출력인 최대 임계값을 기준으로 미리 설정된 단계로 분할하여 설정한 임계값들의 리스트를 생성할 수 있다(S340).
신호 수신 장치(300)는 프리앰블에 기반하여 신호대잡음비를 결정할 수 있다.
예를 들어, 특정 속도에서 수신한 프리앰블(1110)로부터 결정된 회색조 레벨 정보(1120)의 하이 신호에 해당하는 회색조 레벨(Ai, 신호 세기)과 로우 신호에 해당하는 회색조 레벨(Bi, 배경 잡음)을 <수학식 1>에 적용하여 신호대잡음비를 결정할 수 있다. n은 프리앰블이 복수개 연속되어 수신되는 경우 수신된 프리앰블의 개수일 수 있다.
도 12의 실험 결과에서 확인 가능한 것처럼, 신호대잡음비는 수신 장치 또는 전송 장치의 속도(상대 속도일 수 있다)에 따라 달라질 수 있고, 이에 따라 동일한 광원을 촬영한 경우에도 카메라의 픽셀 인텐시티는 다를 수 있다. 따라서, 신호대잡음비를 고려하여 임계값 리스트를 생성함으로써 이동 속도에 무관하게 수신 신호를 강건하게 복조할 수 있다.
다른 실시 예에서, 신호 수신 장치(300)는 프리앰블 신호 중 광원이 온(On)인 상태 및 오프(Off)인 상태의 이미지 프레임의 영역(1120, 1130)을 입력 이미지로 생성하고, 입력 이미지를 학습 모델에 입력하여 획득한 출력 값에 기반하여 임계값 리스트를 생성할 수 있다. 이 경우, 학습 모델은 다양한 환경에서 생성된 프리앰블 이미지를 해당 환경에서 측정된(시뮬레이션된) 최대 광원의 픽셀 인텐시티로 레이블링하여 훈련 데이터로 훈련된 학습 모델일 수 있다. 따라서, 카메라 영상으로부터 회색조 레벨 정보를 생성하고 다시 신호대잡음비를 결정하고 신호대잡음비를 학습 모델에 입력하는 방식이 아닌, 카메라 영상의 일부를 바로 학습 모델에 입력하여 임계값 리스트의 최대 임계값을 결정할 수 있다.
신호 수신 장치(200)는 다중 진폭 OOK 변조 신호를 임계값 리스트와 비교하여 복조함으로써 각각의 회색조 레벨마다 3 비트씩 페이로드를 생성하여 데이터 스트림을 생성할 수 있다(S350). 각각의 회색조 레벨은 복수의 임계값과 비교하여 <표 1>과 같은 8가지 비트코드 중 어느 하나로 복조될 수 있다.
전술한 본 개시는, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽힐 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 상기 컴퓨터는 각 장치의 프로세서를 포함할 수도 있다.
한편, 상기 프로그램은 본 개시를 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수 있다. 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.
본 개시의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 개시에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.
본 개시에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 개시가 한정되는 것은 아니다. 본 개시에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 개시를 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 개시의 범위가 한정되는 것은 아니다. 또한, 통상의 기술자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 인자(factor)에 따라 구성될 수 있음을 알 수 있다.
따라서, 본 개시의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 개시의 사상의 범주에 속한다고 할 것이다.
100: 신호 전송 장치 200, 300: 신호 수신 장치
1110: 프리앰블 신호
1120, 1130: 회색조 레벨 정보

Claims (16)

  1. 회색조 롤링 카메라를 포함하는 신호 수신 장치의 프로세서에 의해 수행되는 광학 신호 수신 방법에 있어서,
    서로 다른 컬러광을 발산하는 복수의 컬러 LED를 포함하는 광원을 촬영한 상기 카메라의 센서 신호에 기반하여 회색조(grayscale) 이미지 프레임을 생성하는 단계;
    상기 회색조 이미지 프레임에서 상기 광원이 촬영된 영역의 일부로부터 프리앰블 신호를 추출하는 단계;
    상기 회색조 이미지 프레임에서 상기 광원이 촬영된 영역의 일부로부터 회색조 레벨 정보를 추출하여 다중 진폭 OOK(On-Off Shift Keying) 변조 신호를 생성하는 단계; 및
    상기 프리앰블 신호 및 상기 회색조 레벨 정보의 회색조 레벨에 기반하여 상기 다중 진폭 OOK 변조 신호를 복조하여 데이터 스트림을 생성하는 단계를 포함하며,
    상기 데이터 스트림을 생성하는 단계는, 상기 회색조 레벨 정보의 상기 회색조 레벨에 대응하는 상기 다중 진폭 OOK 변조 신호를 복수의 임계값들로 구성된 임계값 리스트와 비교하여 상기 데이터 스트림의 페이로드(payload)의 비트코드를 생성하는 단계를 포함하는,
    광학 신호 수신 방법.
  2. 제1 항에 있어서,
    상기 데이터 스트림을 생성하는 단계는,
    상기 회색조 레벨 정보의 상기 회색조 레벨에 대응하는 상기 다중 진폭 OOK 변조 신호를 복조하여 상기 데이터 스트림의 페이로드(payload)의 비트코드 중 3 비트를 생성하는 단계를 포함하는,
    광학 신호 수신 방법.
  3. 제1 항에 있어서,
    상기 데이터 스트림을 생성하는 단계는,
    상기 회색조 레벨 정보의 상기 회색조 레벨에 대응하는 상기 다중 진폭 OOK 변조 신호를 상기 데이터 스트림의 페이로드(payload)의 8가지 비트코드 중 어느 하나로 복조하는 단계를 포함하는,
    광학 신호 수신 방법.
  4. 삭제
  5. 제1 항에 있어서,
    상기 비트코드를 생성하는 단계는 바이너리 서치(binary search)에 기반하여 상기 회색조 레벨 정보의 상기 회색조 레벨에 대응하는 상기 다중 진폭 OOK 변조 신호를 상기 임계값 리스트의 복수의 상기 임계값들과 비교하는 단계를 포함하는,
    광학 신호 수신 방법.
  6. 제1 항에 있어서,
    상기 프리앰블에 신호에 기반하여 상기 임계값 리스트의 복수의 상기 임계값들을 생성하는 단계를 더 포함하는,
    광학 신호 수신 방법.
  7. 제6 항에 있어서,
    상기 임계값들을 생성하는 단계는,
    상기 프리앰블에 신호에 기반하여 상기 회색조 레벨의 최대 레벨 및 최소 레벨을 결정하는 단계; 및
    상기 최대 레벨 및 상기 최소 레벨 사이를 미리 설정된 복수의 구간으로 분할하여 상기 임계값들을 생성하는 단계를 포함하는,
    광학 신호 수신 방법.
  8. 제7 항에 있어서,
    상기 임계값들을 생성하는 단계는,
    상기 프리앰블에 신호에 기반하여 3개의 레벨을 더 결정하는 단계; 및
    상기 최대 레벨, 상기 최소 레벨 및 상기 3개의 레벨에 기반하여 상기 임계값들 중 5개의 상기 임계값들을 직접적으로 생성하는 단계를 포함하는,
    광학 신호 수신 방법.
  9. 광 신호를 수신하여 영상을 생성하는 롤링 회색조 카메라;
    적어도 하나의 프로세서; 및
    상기 프로세서와 전기적으로 연결되고, 상기 프로세서에서 수행되는 적어도 하나의 코드(code)가 저장되는 메모리를 포함하고,
    상기 메모리는 상기 프로세서를 통해 실행될 때 상기 프로세서가,
    서로 다른 컬러광을 발산하는 복수의 컬러 LED를 포함하는 광원을 촬영한 상기 카메라의 센서 신호에 기반하여 회색조(grayscale) 이미지 프레임을 생성하고, 상기 회색조 이미지 프레임에서 상기 광원이 촬영된 영역의 일부로부터 프리앰블 신호를 추출하고, 상기 회색조 이미지 프레임에서 상기 광원이 촬영된 영역의 일부로부터 회색조 레벨 정보를 추출하여 다중 진폭 OOK(On-Off Shift Keying) 변조 신호를 생성하고, 상기 프리앰블 신호 및 상기 회색조 레벨 정보의 회색조 레벨에 기반하여 상기 다중 진폭 OOK 변조 신호를 복조하여 데이터 스트림을 생성하도록 야기하는 코드를 저장하며,
    상기 메모리는 상기 프로세서로 하여금, 상기 회색조 레벨 정보의 상기 회색조 레벨에 대응하는 상기 다중 진폭 OOK 변조 신호를 복수의 임계값들로 구성된 임계값 리스트와 비교하여 상기 데이터 스트림의 페이로드(payload)의 비트코드를 생성하도록 야기하는 코드를 더 저장하는,
    광학 신호 수신 장치.
  10. 제9 항에 있어서,
    상기 메모리는 상기 프로세서로 하여금,
    상기 회색조 레벨 정보의 상기 회색조 레벨에 대응하는 상기 다중 진폭 OOK 변조 신호를 복조하여 상기 데이터 스트림의 페이로드(payload)의 비트코드 중 3 비트를 생성하도록 야기하는 코드를 더 저장하는,
    광학 신호 수신 장치.
  11. 제9 항에 있어서,
    상기 메모리는 상기 프로세서로 하여금,
    상기 회색조 레벨 정보의 상기 회색조 레벨에 대응하는 상기 다중 진폭 OOK 변조 신호를 상기 데이터 스트림의 페이로드(payload)의 8가지 비트코드 중 어느 하나로 복조하도록 야기하는 코드를 더 저장하는,
    광학 신호 수신 장치.
  12. 삭제
  13. 제9 항에 있어서,
    상기 메모리는 상기 프로세서로 하여금,
    바이너리 서치(binary search)에 기반하여 상기 회색조 레벨 정보의 상기 회색조 레벨에 대응하는 상기 다중 진폭 OOK 변조 신호를 상기 임계값 리스트의 복수의 상기 임계값들과 비교하도록 야기하는 코드를 더 저장하는,
    광학 신호 수신 장치.
  14. 제9 항에 있어서,
    상기 메모리는 상기 프로세서로 하여금,
    상기 프리앰블에 신호에 기반하여 상기 임계값 리스트의 복수의 상기 임계값들을 생성하도록 야기하는 코드를 더 저장하는,
    광학 신호 수신 장치.
  15. 제14 항에 있어서,
    상기 메모리는 상기 프로세서로 하여금,
    상기 프리앰블에 신호에 기반하여 상기 회색조 레벨의 최대 레벨 및 최소 레벨을 결정하고, 상기 최대 레벨 및 상기 최소 레벨 사이를 미리 설정된 복수의 구간으로 분할하여 상기 임계값들을 생성하도록 야기하는 코드를 더 저장하는,
    광학 신호 수신 장치.
  16. 제15 항에 있어서,
    상기 메모리는 상기 프로세서로 하여금,
    상기 프리앰블에 신호에 기반하여 3개의 레벨을 더 결정하고, 상기 최대 레벨, 상기 최소 레벨 및 상기 3개의 레벨에 기반하여 상기 임계값들 중 5개의 상기 임계값들을 직접적으로 생성하도록 야기하는 코드를 더 저장하는,
    광학 신호 수신 장치.

KR1020210191778A 2021-12-29 2021-12-29 다중 진폭 컬러 ook 및 회색조 영상에 기반한 광학 무선 수신 방법 및 장치 KR102593590B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210191778A KR102593590B1 (ko) 2021-12-29 2021-12-29 다중 진폭 컬러 ook 및 회색조 영상에 기반한 광학 무선 수신 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210191778A KR102593590B1 (ko) 2021-12-29 2021-12-29 다중 진폭 컬러 ook 및 회색조 영상에 기반한 광학 무선 수신 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20230101571A KR20230101571A (ko) 2023-07-06
KR102593590B1 true KR102593590B1 (ko) 2023-10-23

Family

ID=87185700

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210191778A KR102593590B1 (ko) 2021-12-29 2021-12-29 다중 진폭 컬러 ook 및 회색조 영상에 기반한 광학 무선 수신 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102593590B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102327442B1 (ko) * 2021-05-20 2021-11-16 국민대학교산학협력단 컬러 m-fsk 및 회색조 영상에 기반한 광학 무선 통신 방법 및 장치
KR102327431B1 (ko) * 2021-04-08 2021-11-16 국민대학교산학협력단 C-ook 및 ofdm에 기반한 하이브리드 파형의 신호를 수신하고 필터를 이용하여 변조 신호를 분리하는 장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101302190B1 (ko) * 2011-04-07 2013-08-30 한국생산기술연구원 펄스 진폭 변조를 이용한 데이터 신호 인터리빙 시스템 및 방법
KR101728518B1 (ko) 2016-11-03 2017-05-02 공대원 가시광 통신 기반 차량간 통신 방법 및 이를 지원하는 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102327431B1 (ko) * 2021-04-08 2021-11-16 국민대학교산학협력단 C-ook 및 ofdm에 기반한 하이브리드 파형의 신호를 수신하고 필터를 이용하여 변조 신호를 분리하는 장치 및 방법
KR102327442B1 (ko) * 2021-05-20 2021-11-16 국민대학교산학협력단 컬러 m-fsk 및 회색조 영상에 기반한 광학 무선 통신 방법 및 장치

Also Published As

Publication number Publication date
KR20230101571A (ko) 2023-07-06

Similar Documents

Publication Publication Date Title
JP5936902B2 (ja) 伝送システム、送信装置および受信装置
JP5048440B2 (ja) 光通信システム
KR102095668B1 (ko) Dsm-psk 광학 무선 송신 방법 및 장치
US10560188B2 (en) Image sensor communication system and communication method using rolling shutter modulation
US10236979B2 (en) Transmitter, receiver, communication system, and transmission and reception methods
Luo et al. Undersampled-PAM with subcarrier modulation for camera communications
KR101937607B1 (ko) 하이브리드 통신 시스템을 위한 디밍이 가능한 광학 무선 송신 방법 및 장치
KR102568759B1 (ko) 신호 환경을 고려한 2d 컬러 코드 광학 무선 통신 방법 및 장치
JP2008015970A (ja) 光通信システム
CN109784119B (zh) 光学码生成装置、解码装置、编码、解码方法和系统
KR101706849B1 (ko) 가시광 통신 시스템을 이용한 데이터 송수신 방법 및 장치
KR102593590B1 (ko) 다중 진폭 컬러 ook 및 회색조 영상에 기반한 광학 무선 수신 방법 및 장치
KR102593594B1 (ko) 다중 진폭 컬러 ook, 회색조 영상 및 ai 모델에 기반한 광학 무선 수신 방법 및 장치
KR102612533B1 (ko) 다중 진폭 컬러 ook 및 회색조 영상에 기반한 광학 무선 송신 방법 및 장치
US12074645B2 (en) Apparatus and method for optical wireless communication based on color M-ary frequency shift keying
KR102179127B1 (ko) RoI 기반 광학 무선 통신 방법 및 장치
CN109586791B (zh) 一种可见光通信方法及装置
KR102327442B1 (ko) 컬러 m-fsk 및 회색조 영상에 기반한 광학 무선 통신 방법 및 장치
KR102327449B1 (ko) 컬러 m-fsk에 기반한 광학 무선 통신 방법 및 장치
US20080219676A1 (en) Transmitting device, receiving device, and optical communication method
KR102294629B1 (ko) 컬러 s2-psk에 기반한 광학 무선 통신 방법 및 장치
US10951312B2 (en) Transmitting device, transmission control device, and transmission method
JP2006279747A (ja) 光送信機、光受信機及び光通信システム
KR20230103993A (ko) 이동 환경에서 딥러닝에 기반하여 c-ook 광학 신호를 수신하는 방법 및 장치
KR102327440B1 (ko) Bppm 기반 하이브리드 파형 신호 수신 방법 및 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant