KR102568759B1 - 신호 환경을 고려한 2d 컬러 코드 광학 무선 통신 방법 및 장치 - Google Patents

신호 환경을 고려한 2d 컬러 코드 광학 무선 통신 방법 및 장치 Download PDF

Info

Publication number
KR102568759B1
KR102568759B1 KR1020210140361A KR20210140361A KR102568759B1 KR 102568759 B1 KR102568759 B1 KR 102568759B1 KR 1020210140361 A KR1020210140361 A KR 1020210140361A KR 20210140361 A KR20210140361 A KR 20210140361A KR 102568759 B1 KR102568759 B1 KR 102568759B1
Authority
KR
South Korea
Prior art keywords
color
signal
code data
color code
light source
Prior art date
Application number
KR1020210140361A
Other languages
English (en)
Other versions
KR20220131806A (ko
Inventor
장영민
응웬위이응옥
Original Assignee
국민대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국민대학교산학협력단 filed Critical 국민대학교산학협력단
Priority to KR1020210140361A priority Critical patent/KR102568759B1/ko
Publication of KR20220131806A publication Critical patent/KR20220131806A/ko
Application granted granted Critical
Publication of KR102568759B1 publication Critical patent/KR102568759B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/50—Transmitters
    • H04B10/516—Details of coding or modulation
    • H04B10/548—Phase or frequency modulation
    • H04B10/556—Digital modulation, e.g. differential phase shift keying [DPSK] or frequency shift keying [FSK]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H04B10/116—Visible light communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/50—Transmitters
    • H04B10/501—Structural aspects
    • H04B10/502—LED transmitters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L27/00—Modulated-carrier systems
    • H04L27/18—Phase-modulated carrier systems, i.e. using phase-shift keying
    • H04L27/183—Multiresolution systems
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Optical Communication System (AREA)

Abstract

본 개시의 일 실시 예에 따른 2차원 컬러 코드 광학 신호 전송 방법 은 프로세서가 각 단계의 적어도 일부를 수행하여 2차원 컬러 코드를 전송하는 광학 신호 전송 방법으로서, 데이터 스트림을 입력받는 단계, 데이터 스트림에 기초하여 생성된 컬러 코드 데이터 신호 및 컬러 코드 데이터 신호를 디코딩하기 위한 기준 컬러 신호를 생성하는 단계 및 컬러 코드 데이터 신호 및 기준 컬러 신호에 따라 2차원 컬러 광원 패널의 광원들을 조절하는 단계를 포함하며, 2차원 컬러 광원 패널의 광원들 중 기준 컬러 신호에 따라 조절되는 광원은 미리 설정된 비트-컬러 맵핑 테이블의 컬러 수에 기반할 수 있다.

Description

신호 환경을 고려한 2D 컬러 코드 광학 무선 통신 방법 및 장치{APPARATUS AND METHOD FOR 2D COLOR CODE OPTICAL WIRELESS COMMUNICATION CONSIDERING SIGNAL CIRCUMSTANCES}
본 개시는 2D 컬러 코드를 광학 무선 통신에 기반하여 전송하는 장치 및 방법에 관한 것으로서, 더욱 상세하게는 신호 수신 시 주변 조도 또는 신호 수신 장치의 이동을 고려하여 2D 컬러 코드를 정확하게 전송하는 장치 및 방법에 관한 것이다.
이하에서 기술되는 내용은 본 발명의 실시 예와 관련되는 배경 정보를 제공할 목적으로 기재된 것일 뿐이고, 기술되는 내용들이 당연하게 종래기술을 구성하는 것은 아니다.
최근 백열전구와 형광등과 같은 조명이 반도체 LED(Light Emitting Diode) 조명으로 교체되는 인프라를 이용하여 가시광 파장에 통신기능을 부가한 무선 통신 기술인 가시광 통신(Visible Light Communication; VLC) 기술이 활발히 연구되고 있다.
또한, 일반 스마트 폰, 자동차 카메라 등의 사용자 디바이스에 장착된 카메라를 이용하여 수신한 가시광 통신 신호를 복조하는 광학 카메라 통신(Optical Camera Communication: OCC) 기술도 개발되고 있다.
사용자 디바이스에 장착된 카메라는 글로벌 셔터(Global shutter) 방식 또는 롤링 셔터(Rolling shutter) 방식으로 대상을 촬영할 수 있다.
종래 2차원 컬러 코드를 2차원 광원 패널로 전송하고 이를 수신하여 복조하는 기술이 존재한다(선행기술 1).
하지만, 사용자 디바이스가 이동 중이거나 밝은 환경에서 광학 신호, 특히 2차원 컬러 코드를 수신하여 복조(디코딩, decoding)할 때, 촬영된 영상의 컬러 픽셀 값 및 기 설정된 임계값에 단순히 기반하여 복조하는 경우 복조된 값은 오류를 가질 확률이 높다. 이는, 주변 환경(속도 포함)의 영향으로 인해 촬영된 영상의 컬러 픽셀 값이 원래의 픽셀 값보다 밝거나 어둡게 촬영될 가능성이 높기 때문이다. 따라서, 주변 환경에 무관하게 정확하게 2차원 컬러 코드를 복조할 수 있는 기술이 필요하다.
선행기술 1: 한국 등록특허공보 제 10-2163977호(2020.10.12. 공고)
본 개시의 일 실시 예는 2차원 컬러 코드의 광학 카메라 통신에 있어서 신호 수신 장치의 이동 또는 주변 조도로 인해 2차원 컬러 코드 신호의 오 인식 가능성을 고려하여 복조 가능한 장치 및 방법을 제공한다.
본 개시의 일 실시 예는 광학 카메라 통신에 있어서 신호 수신 장치의 이동 또는 주변 조도에 따라 2차원 컬러 코드 신호의 복조 방법을 서로 다르게 적용하는 장치 및 방법을 제공한다.
본 발명의 목적은 이상에서 언급한 과제에 한정되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시 예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 알 수 있을 것이다.
본 개시의 일 실시 예에 따른 2차원 컬러 코드 광학 신호 전송 방법 은 프로세서가 각 단계의 적어도 일부를 수행하여 2차원 컬러 코드를 전송하는 광학 신호 전송 방법으로서, 데이터 스트림을 입력받는 단계, 데이터 스트림에 기초하여 생성된 컬러 코드 데이터 신호 및 컬러 코드 데이터 신호를 디코딩하기 위한 기준 컬러 신호를 생성하는 단계 및 컬러 코드 데이터 신호 및 기준 컬러 신호에 따라 2차원 컬러 광원 패널의 광원들을 조절하는 단계를 포함하며, 2차원 컬러 광원 패널의 광원들 중 기준 컬러 신호에 따라 조절되는 광원은 미리 설정된 비트-컬러 맵핑 테이블의 컬러 수에 기반할 수 있다.
본 개시의 일 실시 예에 따른 2차원 컬러 코드 광학 신호 전송 장치는 2차원 컬러 코드를 전송하는 광학 신호 전송 장치로서, 입력되는 신호를 변조하는 변조부 및 2차원 컬러 광원 패널의 광원들을 통해 변조된 전송 신호를 송신하는 제어부를 포함하고, 변조부는 입력 받은 데이터 스트림에 기초하여 컬러 코드 데이터 신호를 생성하고, 컬러 코드 데이터 신호를 디코딩하기 위한 기준 컬러 신호를 생성하도록 구성되고, 제어부는 컬러 코드 데이터 신호 및 기준 컬러 신호에 따라 2차원 컬러 광원 패널의 광원들을 조절하도록 구성되고, 2차원 컬러 광원 패널의 광원들 중 기준 컬러 신호에 따라 조절되는 광원은 미리 설정된 비트-컬러 맵핑 테이블의 컬러 수에 기반할 수 있다.
본 개시의 일 실시 예에 따른 2차원 컬러 코드 광학 신호 수신 방법은 카메라를 포함하는 신호 수신 장치의 프로세서가 각 단계의 적어도 일부를 수행하여 2차원 컬러 코드를 수신하는 광학 신호 수신 방법으로서, 카메라가 2차원 컬러 광원 패널을 촬영한 이미지 프레임을 생성하는 단계, 이미지 프레임에서 수신 데이터와 관련된 컬러 코드 데이터 블록 및 컬러 코드 데이터 블록을 디코딩하기 위한 기준 컬러 블록을 확인하는 단계 및 기준 컬러 블록 및 미리 설정된 비트-컬러 맵핑 테이블에 기반하여 컬러 코드 데이터 블록을 디코딩하는 단계를 포함하고, 기준 컬러 블록은 미리 설정된 비트-컬러 맵핑 테이블의 컬러 수에 기반할 수 있다.
본 개시의 일 실시 예에 따른 2차원 컬러 코드 광학 신호 수신 장치는 광 신호를 수신하여 영상을 생성하는 카메라, 적어도 하나의 프로세서 및 프로세서와 전기적으로 연결되고, 프로세서에서 수행되는 적어도 하나의 코드(code)가 저장되는 메모리를 포함하고, 메모리는 프로세서를 통해 실행될 때 프로세서가, 카메라를 제어하여 2차원 컬러 광원 패널을 촬영한 이미지 프레임을 생성하고, 이미지 프레임에서 수신 데이터와 관련된 컬러 코드 데이터 블록 및 컬러 코드 데이터 블록을 디코딩하기 위한 기준 컬러 블록을 확인하고, 기준 컬러 블록 및 미리 설정된 비트-컬러 맵핑 테이블에 기반하여 컬러 코드 데이터 블록을 디코딩하도록 야기하는 코드를 저장하고, 기준 컬러 블록은 미리 설정된 비트-컬러 맵핑 테이블의 컬러 수에 기반할 수 있다.
본 개시의 실시 예에 따른 신호 송수신 장치 및 방법은 신호 수신 장치의 주변 환경을 고려하여 복조를 수행함으로써, 수신 신호를 오류 없이 복조 가능하다.
본 개시의 실시 예에 따른 신호 송수신 장치 및 방법은 신호 수신 장치의 이동 또는 주변 조도를 고려하여 복조를 수행함으로써, 수신 신호를 오류 없이 복조 가능하고 정확성을 향상시킬 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 일 실시 예에 따른 신호 전송 장치 및 신호 수신 장치의 통신을 개략적으로 나타낸 도면이다.
도 2는 본 개시의 일 실시 예에 따른 신호 전송 장치의 구성을 나타낸 블록도이다.
도 3은 본 개시의 일 실시 예에 따른 2D 컬러 코드 신호의 패킷 구조를 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시 예에 따른 신호 수신 장치의 구성을 나타낸 블록도이다.
도 5는 본 개시의 일 실시 예에 따른 서로 다른 환경의 페이로드 셀을 설명하는 도면이다.
도 6은 본 개시의 일 실시 예에 따른 신호 수신 장치가 기준 컬러 블록에 기반하여 디코딩하는 방법을 설명하는 도면이다.
도 7은 본 개시의 일 실시 예에 따른 신호 수신 장치가 RNN 시퀀스 모델에 기반하여 디코딩하는 방법을 설명하는 도면이다.
도 8은 본 개시의 일 실시 예에 따른 신호 수신 장치가 LSTM 시퀀스 모델에 기반하여 디코딩하는 방법을 설명하는 도면이다.
도 9는 본 개시의 일 실시 예에 따른 신호 전송 방법을 도시한 흐름도이다.
도 10은 본 개시의 일 실시 예에 따른 신호 수신 방법을 도시한 흐름도이다.
도 11은 본 개시의 일 실시 예에 따른 신호 수신 방법을 도시한 흐름도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
도 1을 참조하여 본 개시의 일 실시 예에 따른 신호 전송 장치 및 신호 수신 장치 사이의 통신을 설명한다.
도 1을 참조하면, 신호 송신 장치(100)는 입력된 데이터를 2D 컬러 코드 맵핑에 기반하여 변조하고 이를 제어기(120)에서 변조된 신호에 따라 2차원 광원 패널(130)의 광원들을 제어하여 전송 신호를 전송하도록 구성될 수 있다.
본 개시의 실시 예들에 있어서, 전송 신호는 광학 카메라 통신(Optical Camera Communication, OCC) 기술에 따라 입력된 데이터 스트림을 표 1과 같은 비트-컬러 맵핑 테이블에 기반하여 2D 컬러 코드 맵핑 방식으로 변조한 후, 각 광원들을 비트 코드에 적합한 컬러로 ON/OFF 제어하여 전송되는 신호이다.
광원은 반드시 하나의 개별 광원뿐만 아니라, 복수의 광원들의 집합일 수도 있다. 예를 들면, LCD 또는 LED 디스플레이 장치를 광원 패널로 사용하는 경우, 화면을 일정 픽셀들 또는 일정 광원들의 집합으로 구성된 블록으로 나누어 각 블록을 하나의 광원으로 사용할 수 있다.
또한, 디스플레이 장치 또는 광원 패널의 해상도 설정에 따라 블록을 구성하는 일정 픽셀들 또는 일정 광원들의 수는 변경될 수 있다.
본 개시의 실시 예들에 있어서, 2차원 광원 패널에 한번에 표시되는 광 신호들을 패킷으로 지칭한다.
도 2를 참조하여 본 개시의 일 실시 예에 따른 신호 전송 장치(100)의 구성을 설명한다.
신호 전송 장치(100)는 인코더(110), 제어기(120) 및 2차원 광원 패널(130)을 포함할 수 있고, 클럭(clock) 신호를 발생시키는 클럭 제너레이터를 포함할 수 있다.
인코더(110)는 FEC(Forward Error Correction) 인코더, 프리앰블 삽입부, 기준 컬러 블록(Color Reference Block) 삽입부 및 변조된 데이터의 정보 비트를 미리 설정된 비트-컬러 맵핑 테이블을 이용하여 각 정보 비트에 대응하는 컬러를 할당하는 비트-컬러 맵핑부(bits-color mapping)를 포함할 수 있다.
인코더(110)는 이진 데이터 신호를 입력 받고(또는 일반 데이터를 입력 받은 후 이진 데이터 신호로 변조할 수 있다), 입력받은 이진 데이터 신호에 기초하여 컬러 코드 데이터 신호(페이로드)를 생성하고, 프리앰블 및 기준 컬러 블록을 삽입하여 패킷을 생성할 수 있다. 제어기(120)는 생성된 패킷에 따라 2차원 광원 패널(130)의 각 광원들을 패킷의 비트 코드에 적합한 컬러로 ON/OFF 제어한다.
일 실시 예에서, 신호 전송 장치(100)는 컬러 코드 데이터 신호를 디코딩하기 위한 기준 컬러 신호를 생성할 수 있고, 기준 컬러 신호는 비트-컬러 맵핑 테이블의 컬러 수에 기반할 수 있다.
예를 들어, 표 1과 같이 8개의 컬러를 이용하여 2차원 컬러 신호를 전송하는 경우, 기준 컬러 신호는 8개의 컬러의 ON/OFF를 판별하기 위한 임계값일 수 있다.
신호 전송 장치는 헤더에 해당하는 프리앰블(preamble), 데이터에 해당하는 페이로드(payload)를 패킷에 포함할 수 있다.
일 실시 예에서, 신호 전송 장치는 패킷에 시퀀스 넘버(Sequence Number)를 포함할 수 있으며, 시퀀스 넘버는 연속한 데이터 패킷에 대해 연속한 번호로 할당될 수 있고, 시퀀스 넘버는 일정한 번호(비트들일 수 있다)를 순서대로 반복하여 사용될 수 있다. 예를 들어, 시퀀스 넘버는 첫 패킷은 00, 두 번째 패킷은 01, 세번째 패킷은 다시 00일 수 있다. 신호 수신 장치는 시퀀스 넘버를 통해 패킷의 중복 여부를 판단할 수 있다.
도 3을 참조하여 본 개시의 일 실시 예에 따른 신호 전송 장치(100)가 2차원 광원 패널을 통해 전송하는 패킷의 구성을 설명한다.
신호 전송 장치(100)가 생성한 패킷은 도 3과 같은 구조일 수 있다.
일 실시 예에서, 패킷은 컬러 코드 데이터 신호의 클럭을 나타내는 클럭 심볼을 포함할 수 있다. 클럭 심볼은 2차원 패킷의 네 모서리에 표시되도록 구성할 수 있다.
일 실시 예에서, 패킷은 신호 수신 장치(200)의 360도 회전 복호화를 지원하기 위해 4개의 클럭 심볼 중 하나를 나머지와 반대 위상으로 점멸시킴으로써 클럭 심볼을 송신할 수 있다.
패킷은 프리앰블, 기준 컬러 블록, 시퀀스 넘버 및 컬러 코드 데이터 신호(페이로드)를 포함할 수 있고, 이들은 모든 패킷에 포함될 수 있다.
기준 컬러 블록의 기준 컬러 신호는 비트-컬러 맵핑 테이블의 컬러 수에 기반할 수 있고, 비트-컬러 맵핑 테이블에 검정색과 흰색이 포함되어 있는 경우 시퀀스 넘버를 해당 컬러의 기준 컬러 신호로 활용할 수 있다.
예를 들어, 표 1과 같은 비트-컬러 맵핑 테이블을 이용하여 변조하고 2개의 시퀀스 넘버를 이용하여 검정색과 흰색의 기준 컬러 신호로 사용하는 경우, 기준 컬러 블록의 기준 컬러 신호는 나머지 6개 컬러의 심볼을 표시할 수 있다. 제어기(120)는 6개 컬러의 심볼을 표시하도록 6개의 광원들을 제어할 수 있다. 시퀀스 넘버를 기준 컬러 신호의 일부로서 활용하지 않는 경우 제어기(120)는 표 1과 같은 비트-컬러 맵핑 테이블인 경우 8개 컬러의 심볼을 표시하도록 8개의 광원들을 제어할 수 있다.
일 실시예에서, 제어기(120)는 2차원 광원 패널(130)을 제어하여 컬러 코드 데이터 신호와 프리앰블(또는 기준 컬러 블록)을 서로 다른 해상도로 전송할 수도 있다.
도 4를 참조하여 본 개시의 일 실시 예에 따른 신호 수신 장치(200)의 구성을 설명한다.
신호 수신 장치(200)는 롤링 셔터 카메라 또는 글로벌 셔터 카메라(210)의 이미지 센서에서 획득한 영상으로부터 2차원 컬러 코드 신호 영역을 검출하는 영역 검출부(area detection)(220), 검출된 영역으로부터 데이터 스트림을 복조하는 2차원 컬러 코드 디코더(230)를 포함한다.
신호 수신 장치(200)는 주변의 조도를 측정하거나 신호 수신 장치(200)의 이동 속도를 측정하는 센서(240)를 포함할 수 있다.
센서(240)가 조도를 측정하는 경우, 조도 센서일 수 있고, 속도를 측정하는 경우 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), GPS 센서 중 어느 하나일 수 있다.
신호 수신 장치(200)는 카메라(210)의 이미지 센서에서 획득한 이미지 프레임으로부터 CNN(Convolution Neural Network)에 기반한 머신 러닝 학습 모델(220)을 이용하여 2차원 컬러 코드 신호 영역을 검출할 수 있다.
CNN(Convolution Neural Network)에 기반한 머신 러닝 학습 모델(220)은 입력된 영상으로부터 2차원 컬러 광원 패널의 영역을 인식하도록 훈련된 컨볼루션 뉴럴 네트워크 기반의 학습 모델일 수 있다.
머신 러닝 기반의 학습 모델은 학습 모델은 CNN 또는 R-CNN(Region based CNN), C-RNN(Convolutional Recursive Neural Network), Fast R-CNN, Faster R-CNN, R-FCN(Region based Fully Convolutional Network), YOLO(You Only Look Once) 또는 SSD(Single Shot Multibox Detector)구조의 신경망을 포함할 수 있다.
학습 모델은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있으며, 학습 모델의 일부 또는 전부가 소프트웨어로 구현되는 경우 학습 모델을 구성하는 하나 이상의 명령어는 메모리에 저장될 수 있다.
2차원 컬러 코드 디코더(230)는 2차원 컬러 코드 신호 영역에서 프리앰블, 수신 데이터(페이로드)와 관련된 컬러 코드 데이터 블록 및 컬러 코드 데이터 블록을 디코딩하기 위한 기준 컬러 블록을 확인할 수 있다.
신호 수신 장치(200)는 기준 컬러 블록 및 미리 설정된 표 1과 같은 비트-컬러 맵핑 테이블에 기반하여 컬러 코드 데이터 블록을 복조할 수 있다. 앞서 신호 전송 장치(100)의 기준 컬러 블록을 설명한 것처럼 신호 수신 장치(200)가 확인한 기준 컬러 블록은 표 1과 같은 비트-컬러 맵핑 데이블의 컬러 수와 같은 기준 컬러 신호를 포함하거나 시퀀스 넘버를 기준 컬러 신호의 일부로 활용하는 경우 그 나머지 컬러 수와 같은 기준 컬러 신호를 포함할 수 있다.
신호 수신 장치(200)는 주변의 조도 또는 신호 수신 장치(200)의 이동 속도에 따라 컬러 코드 데이터 블록의 복조 방법을 다르게 적용할 수 있다.
신호 수신 장치(200)가 이동 중이거나 밝은 환경에서 촬영한 이미지 프레임의 2차원 컬러 코드 데이터 블록은 신호 전송 장치(100)가 전송한 신호와 다른 컬러로 신호 수신 장치(200)가 인식할 가능성이 있다.
예를 들어, 신호 전송 장치(100)가 도 5의 제1 컬러(510)를 표시하도록 광원을 제어했으나, 주변 조도 또는 광원으로부터의 거리 또는 이동으로 인해 신호 수신 장치(200)는 해당 광원으로부터 도 5의 제2 컬러(520)로 인식할 수 있고, 이를 복조하는 경우 오류가 발생할 수 있다.
신호 수신 장치(200)는 주변 조도가 낮거나 정지한 상태에서 2차원 컬러 코드 신호를 수신하는 경우, 기준 컬러 블록에 기반하여 판단된 컬러 임계값과 컬러 코드 데이터 블록을 비교하여 컬러 코드 데이터 블록을 복조할 수 있다.
예를 들어, 기준 컬러 블록 중 블루 컬러의 기준 컬러 신호(610)를 인식한 값을 임계값으로 설정하고 컬러 코드 데이터 블록의 블루 채널 값을 비교하여 이보다 높은 값(620)은 해당 컬러 코드 데이터 블록의 블루 채널로부터 1을 복조하고, 낮은 값(630)은 해당 컬러 코드 데이터 블록의 블루 채널로부터 0을 복조할 수 있다.
2차원 컬러 코드 디코더(230)는 컬러 코드 데이터 블록의 각 컬러 채널 값을 인식하기 위하여 컬러 코드 데이터 블록에 블루, 그린, 레드 필터를 적용하여 채널 값을 확인할 수 있다.
기준 컬러 블록이 8개(시퀀스 넘버 블록을 포함할 수 있다)인 경우, 각 기준 컬러 블록에 블루, 그린, 레드 필터를 적용하여 블루, 그린, 레드의 ON 상태에 대한 4개의 임계값 및 OFF 상태에 대한 4개의 임계값을 획득할 수 있다. 신호 수신 장치(200)는 각 컬러 별 ON 상태 또는 OFF 상태의 임계값들을 평균하여 비교할 수 있다. 또한, 도 7과 같은 RNN(Recurrent Neural Networks) 기반의 시퀀스 모델(Sequence Model) 또는 도 8과 같은 LSTM(Long Short Term Memory) 기반의 시퀀스 모델에 블루, 그린, 레드의 ON 상태에 대한 4개의 임계값 및 OFF 상태에 대한 4개의 임계값을 입력할 수 있다.
신호 수신 장치(200)는 주변 조도가 높거나 이동 중인 상태에서 2차원 컬러 코드 신호를 수신하는 경우, 이전에 생성된 이전 이미지 프레임의 이전 기준 컬러 블록의 컬러 임계값 및 현재 이미지 프레임의 기준 컬러 블록에 기반하여 판단된 컬러 임계값을 도 7과 같은 RNN기반의 시퀀스 모델 또는 도 8과 같은 LSTM 기반의 시퀀스 모델에 입력하여 현재 컬러 임계값을 획득할 수 있다.
신호 수신 장치(200)는 이동 속도에 따라 이동 속도가 더 높은 경우에는 2차원 컬러 코드 디코더(230)가 LSTM 기반의 시퀀스 모델에 기반하여 컬러 코드 데이터 블록을 복조하도록 제어할 수 있다. 따라서, RNN기반 시퀀스 모델의 한 레이어 안에서 반복으로 인한 기울기 소실 문제가 발생하지 않으므로 이동 속도가 더 높은 상황에서도 더욱 정확하게 컬러 코드 데이터 블록을 복조할 수 있다.
시퀀스 모델에 기반하여 컬러 코드 데이터 블록을 복조하는 경우, 신호 수신 장치(200)는 현재 복조 중인 2차원 컬러 코드 신호의 기준 컬러 블록으로부터 획득한 레드, 블루, 그린 채널 별 ON 상태에 대한 4개의 임계값 및 OFF 상태에 대한 4개의 임계값 뿐만 아니라, 이전 이미지 프레임의 기준 컬러 블록으로부터 획득한 레드, 블루, 그린 채널 별 ON 상태에 대한 임계값 및 OFF 상태에 대한 임계값을 시퀀스 모델에 입력하여 현재 컬러 임계값을 획득할 수 있다.
도 9를 참조하여 본 개시의 실시 예에 따른 신호 전송 장치의 신호 전송 방법을 설명한다.
신호 전송 장치는 데이터 스트림을 입력 받아 이진 데이터 신호를 생성하거나, 이진 데이터 신호로 구성된 데이터 스트림을 입력 받는다(S110).
신호 전송 장치는 이진 데이터 신호에 기초하여 컬러 코드 데이터 신호(페이로드)를 생성하고, 프리앰블 및 기준 컬러 신호들로 구성된 기준 컬러 블록을 삽입하여 패킷을 생성한다(S120).
신호 전송 장치는 생성된 패킷에 따라 2차원 광원 패널의 각 광원들을 패킷의 비트 코드에 적합한 컬러로 ON/OFF 제어한다(S130).
기준 컬러 신호는 비트-컬러 맵핑 테이블의 컬러 수에 기반할 수 있고, 표 1과 같이 8개의 컬러를 이용하여 2차원 컬러 신호를 전송하는 경우, 기준 컬러 신호는 8개의 컬러의 ON/OFF를 판별하기 위한 임계값일 수 있다.
신호 전송 장치는 패킷에 시퀀스 넘버를 포함할 수 있으며, 비트-컬러 맵핑 테이블에 검정색과 흰색이 포함되어 있는 경우 시퀀스 넘버를 해당 컬러의 기준 컬러 신호로 활용할 수 있다.
도 10 및 도 11을 참조하여 본 개시의 실시 예에 따른 신호 수신 장치의 신호 수신 방법을 설명한다.
신호 수신 장치는 2차원 광원 패널을 촬영한 카메라가 생성한 이미지 프레임을 획득한다(S210).
신호 수신 장치는 이미지 프레임으로부터 CNN에 기반한 머신 러닝 학습 모델을 이용하여 2차원 컬러 코드 신호 영역을 검출하고, 검출된 영역에서 프리앰블, 수신 데이터(페이로드)와 관련된 컬러 코드 데이터 블록 및 컬러 코드 데이터 블록을 디코딩하기 위한 기준 컬러 블록을 확인한다(S220).
신호 수신 장치는 기준 컬러 블록 및 미리 설정된 표 1과 같은 비트-컬러 맵핑 테이블에 기반하여 컬러 코드 데이터 블록을 복조하고(S230), 주변의 조도 또는 신호 수신 장치의 이동 속도에 따라 컬러 코드 데이터 블록의 복조 방법을 다르게 적용할 수 있다.
신호 수신 장치는 센서의 출력 값에 기반하여 신호 수신 장치의 이동 속도 또는 주변 조도를 판단할 수 있다(S231).
일 실시 예에서, 신호 수신 장치는 정지한 상태에서 2차원 컬러 코드 신호를 수신하는 경우, 기준 컬러 블록에 기반하여 판단된 컬러 임계값과 컬러 코드 데이터 블록을 비교하여 컬러 코드 데이터 블록을 복조하고(S234), 이동 중인 것으로 판단하면 저속 이동 상태인 경우 RNN 기반 시퀀스 모델에 기반하여 이전 이미지 프레임의 이전 기준 컬러 블록의 컬러 임계값 및 현재 이미지 프레임의 기준 컬러 블록에 기반하여 판단된 컬러 임계값으로부터 현재 컬러 임계값을 획득하고(S235), 고속 이동 상태인 경우 LSTM 기반 시퀀스 모델에 기반하여 이전 이미지 프레임의 이전 기준 컬러 블록의 컬러 임계값 및 현재 이미지 프레임의 기준 컬러 블록에 기반하여 판단된 컬러 임계값으로부터 현재 컬러 임계값을 획득할 수 있다(S236).
전술한 본 개시는, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 상기 컴퓨터는 각 장치의 프로세서를 포함할 수도 있다.
한편, 상기 프로그램은 본 개시를 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수 있다. 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.
본 개시의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 개시에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.
본 개시에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 개시가 한정되는 것은 아니다. 본 개시에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 개시를 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 개시의 범위가 한정되는 것은 아니다. 또한, 통상의 기술자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 인자(factor)에 따라 구성될 수 있음을 알 수 있다.
따라서, 본 개시의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 개시의 사상의 범주에 속한다고 할 것이다.
100: 신호 송신 장치
200: 신호 수신 장치
510: 제1 컬러
520: 제2 컬러
610: 기준 컬러 신호

Claims (8)

  1. 프로세서가 각 단계의 적어도 일부를 수행하여 2차원 컬러 코드를 전송하는 광학 신호 전송 방법으로서,
    신호 수신 장치로 전송하기 위한 데이터 스트림을 입력받는 단계;
    상기 데이터 스트림에 기초하여 생성된 컬러 코드 데이터 신호 및 상기 컬러 코드 데이터 신호의 디코딩에 사용되는 기준 컬러 신호를 생성하는 단계; 및
    상기 컬러 코드 데이터 신호 및 상기 기준 컬러 신호에 따라 2차원 컬러 광원 패널의 광원들을 조절하여 상기 컬러 코드 데이터 신호 및 상기 기준 컬러 신호를 전송하는 단계를 포함하며,
    상기 컬러 코드 데이터 신호 및 상기 기준 컬러 신호를 전송하는 단계는,
    상기 광원들 중 2개의 광원들을 전송 패킷의 순서를 나타내는 시퀀스 넘버에 따라 각각 검정색 또는 흰색으로 표시하는,
    2차원 컬러 코드 광학 신호 전송 방법.
  2. 제1 항에 있어서,
    상기 2차원 컬러 광원 패널의 광원들 중 상기 기준 컬러 신호에 따라 제어되는 광원의 수는 비트-컬러 맵핑 테이블에 설정된 컬러의 수에 기반하며,
    상기 컬러 코드 데이터 신호 및 상기 기준 컬러 신호를 전송하는 단계는,
    상기 컬러 코드 데이터 신호 및 상기 기준 컬러 신호를 서로 다른 해상도로 전송하는
    2차원 컬러 코드 광학 신호 전송 방법.
  3. 2차원 컬러 코드를 전송하는 광학 신호 전송 장치로서,
    입력되는 신호를 변조하는 변조부; 및
    2차원 컬러 광원 패널의 광원들을 통해 변조된 전송 신호를 송신하는 제어부를 포함하고,
    상기 변조부는 입력 받은 데이터 스트림에 기초하여 컬러 코드 데이터 신호를 생성하고, 상기 컬러 코드 데이터 신호의 디코딩에 사용되는 기준 컬러 신호를 생성하도록 구성되고,
    상기 제어부는 상기 컬러 코드 데이터 신호 및 상기 기준 컬러 신호에 따라 상기 2차원 컬러 광원 패널의 광원들을 조절하여 상기 컬러 코드 데이터 신호 및 상기 기준 컬러 신호를 전송하도록 구성되며,
    상기 광원들 중 2개의 광원들을 전송 패킷의 순서를 나타내는 시퀀스 넘버에 따라 각각 검정색 또는 흰색으로 표시하는,
    2차원 컬러 코드 광학 신호 전송 장치.
  4. 제3 항에 있어서,
    상기 제어부는,
    상기 2차원 컬러 광원 패널의 광원들 중 상기 기준 컬러 신호에 따라 제어되는 광원의 수는 비트-컬러 맵핑 테이블에 설정된 컬러의 수에 기반하며,
    상기 컬러 코드 데이터 신호 및 상기 기준 컬러 신호를 서로 다른 해상도로 전송하는,
    2차원 컬러 코드 광학 신호 전송 장치.
  5. 카메라를 포함하는 신호 수신 장치의 프로세서가 각 단계의 적어도 일부를 수행하여 2차원 컬러 코드를 수신하는 광학 신호 수신 방법으로서,
    카메라가 2차원 컬러 광원 패널을 촬영한 이미지 프레임을 생성하는 단계;
    상기 이미지 프레임에서 수신 데이터와 관련된 컬러 코드 데이터 블록 및 상기 컬러 코드 데이터 블록을 디코딩하기 위한 기준 컬러 블록을 확인하는 단계; 및
    상기 2차원 컬러 광원 패널로부터 수신한 정보인 상기 기준 컬러 블록 및 상기 신호 수신 장치에 미리 설정된 비트-컬러 맵핑 테이블에 기반하여 상기 컬러 코드 데이터 블록을 디코딩하는 단계를 포함하고,
    상기 컬러 코드 데이터 블록을 디코딩하는 단계는,
    상기 신호 수신 장치의 속도 또는 주변 조도에 따라 서로 다른 디코딩 방법으로 상기 컬러 코드 데이터 블록을 디코딩하며,
    상기 컬러 코드 데이터 블록 및 상기 기준 컬러 블록은 상기 2차원 컬러 광원 패널의 서로 다른 광원으로부터 촬영되어 상기 이미지 프레임에 기록된 것인,
    2차원 컬러 코드 광학 신호 수신 방법.
  6. 제5 항에 있어서,
    상기 기준 컬러 블록의 수는 상기 신호 수신 장치에 미리 설정된 상기 비트-컬러 맵핑 테이블의 컬러 수에 기반하는,
    2차원 컬러 코드 광학 신호 수신 방법.
  7. 광 신호를 수신하여 영상을 생성하는 카메라;
    적어도 하나의 프로세서; 및
    상기 프로세서와 전기적으로 연결되고, 상기 프로세서에서 수행되는 적어도 하나의 코드(code)가 저장되는 메모리를 포함하고,
    상기 메모리는 상기 프로세서를 통해 실행될 때 상기 프로세서가,
    카메라를 제어하여 2차원 컬러 광원 패널을 촬영한 이미지 프레임을 생성하고, 상기 이미지 프레임에서 수신 데이터와 관련된 컬러 코드 데이터 블록 및 상기 컬러 코드 데이터 블록을 디코딩하기 위한 기준 컬러 블록을 확인하고, 상기 2차원 컬러 광원 패널로부터 전송된 정보인 상기 기준 컬러 블록 및 상기 메모리에 미리 설정된 비트-컬러 맵핑 테이블에 기반하여 상기 컬러 코드 데이터 블록을 디코딩하고, 신호 수신 장치의 속도 또는 주변 조도에 따라 서로 다른 디코딩 방법으로 상기 컬러 코드 데이터 블록을 디코딩하도록 야기하는 코드를 저장하고,
    상기 컬러 코드 데이터 블록 및 상기 기준 컬러 블록은 상기 2차원 컬러 광원 패널의 서로 다른 광원으로부터 촬영되어 상기 이미지 프레임에 기록된 것인,
    2차원 컬러 코드 광학 신호 수신 장치.
  8. 제7 항에 있어서,
    상기 기준 컬러 블록의 수는 상기 메모리에 미리 설정된 상기 비트-컬러 맵핑 테이블의 컬러 수에 기반하는,
    2차원 컬러 코드 광학 신호 수신 장치.
KR1020210140361A 2021-03-22 2021-10-20 신호 환경을 고려한 2d 컬러 코드 광학 무선 통신 방법 및 장치 KR102568759B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210140361A KR102568759B1 (ko) 2021-03-22 2021-10-20 신호 환경을 고려한 2d 컬러 코드 광학 무선 통신 방법 및 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210036654A KR102324926B1 (ko) 2021-03-22 2021-03-22 신호 환경을 고려한 2d 컬러 코드 광학 무선 통신 방법 및 장치
KR1020210140361A KR102568759B1 (ko) 2021-03-22 2021-10-20 신호 환경을 고려한 2d 컬러 코드 광학 무선 통신 방법 및 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020210036654A Division KR102324926B1 (ko) 2021-03-22 2021-03-22 신호 환경을 고려한 2d 컬러 코드 광학 무선 통신 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20220131806A KR20220131806A (ko) 2022-09-29
KR102568759B1 true KR102568759B1 (ko) 2023-08-18

Family

ID=78500121

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020210036654A KR102324926B1 (ko) 2021-03-22 2021-03-22 신호 환경을 고려한 2d 컬러 코드 광학 무선 통신 방법 및 장치
KR1020210140361A KR102568759B1 (ko) 2021-03-22 2021-10-20 신호 환경을 고려한 2d 컬러 코드 광학 무선 통신 방법 및 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020210036654A KR102324926B1 (ko) 2021-03-22 2021-03-22 신호 환경을 고려한 2d 컬러 코드 광학 무선 통신 방법 및 장치

Country Status (1)

Country Link
KR (2) KR102324926B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102593594B1 (ko) * 2021-12-29 2023-10-23 국민대학교산학협력단 다중 진폭 컬러 ook, 회색조 영상 및 ai 모델에 기반한 광학 무선 수신 방법 및 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150146055A (ko) * 2014-06-20 2015-12-31 (주)모이텍 Rgb 색상을 이용한 영상 부가정보 제공 시스템 및 방법
KR101982911B1 (ko) 2016-01-15 2019-05-27 국민대학교산학협력단 C-ook 광학 무선 통신 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Alberto Pepe et al., "Data-Aided Color Shift Keying Transmission for LCD-to-Smartphone Optical Camera Communication Links," ICCBN 2020, p. 29, (2020.4)*

Also Published As

Publication number Publication date
KR20220131806A (ko) 2022-09-29
KR102324926B1 (ko) 2021-11-10

Similar Documents

Publication Publication Date Title
Ji et al. Vehicular visible light communications with LED taillight and rolling shutter camera
TWI532331B (zh) 光通訊傳送和接收裝置與方法及光通訊系統與方法
US10218440B2 (en) Method for visible light communication using display colors and pattern types of display
Aoyama et al. Visible light communication using a conventional image sensor
US20130272717A1 (en) Transmission system, transmitter and receiver
KR102095668B1 (ko) Dsm-psk 광학 무선 송신 방법 및 장치
KR102163977B1 (ko) 2d 컬러 코드 광학 무선 통신 방법 및 장치
JP2007295490A (ja) 可視光通信装置および可視光受信方法
KR102568759B1 (ko) 신호 환경을 고려한 2d 컬러 코드 광학 무선 통신 방법 및 장치
KR102345777B1 (ko) 광학 카메라 통신(occ) 기반 차량 위치 판단 방법 및 장치
KR101586938B1 (ko) 색 공간 기반 영상 처리를 이용한 색상에 무관한 비주얼-mimo 통신 시스템 및 그 동작 방법
Schmid et al. Using smartphones as continuous receivers in a visible light communication system
CN114285472A (zh) 一种基于手机摄像头具有前向纠错的upsook调制方法
Stafford et al. Tetris: Smartphone-to-smartphone screen-based visible light communication
US20180006724A1 (en) Multi-transmitter vlc positioning system for rolling-shutter receivers
CN106301555A (zh) 一种用于光定位的信号发射方法及发射机
CN110663203B (zh) 接收装置以及接收方法
KR102294629B1 (ko) 컬러 s2-psk에 기반한 광학 무선 통신 방법 및 장치
KR102063418B1 (ko) 통신 시스템에서 신호 변조 및 복조 방법 및 장치
KR102294624B1 (ko) 단일 카메라에 기반하여 하이브리드 s2-psk 및 dsm-psk 신호를 수신하는 광학 무선 통신 장치 및 방법
Yokar et al. Performance evaluation technique for screen‐to‐camera‐based optical camera communications
CN110008781B (zh) 一种二维多帧调制解调方法
JP6827598B1 (ja) 画像ベースのサービスのためのデバイス
KR102593590B1 (ko) 다중 진폭 컬러 ook 및 회색조 영상에 기반한 광학 무선 수신 방법 및 장치
KR102593594B1 (ko) 다중 진폭 컬러 ook, 회색조 영상 및 ai 모델에 기반한 광학 무선 수신 방법 및 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant