KR20190032837A - 광 카메라 통신 시스템에서 관심 영역을 설정하는 방법 및 이를 위한 장치 - Google Patents

Abstract

본 발명에서는 광 카메라 통신(Optical Camera Communication) 시스템에서 ROI를 설정하는 방법 및 이를 위한 장치가 개시된다. 구체적으로, 상기 방법은, 특정 코드(specific code)가 적용된 데이터에 대한 가시광 신호를 전송하는 표적(target)을 포함하는 세 개 이상의 연속적인 프레임들(consecutive frames)을 수신하는 과정과, 상기 수신된 세 개 이상의 연속적인 프레임들을 이용하여, 두 개 이상의 차등 프레임(differential frame)들을 생성하는 과정과, 상기 생성된 두 개 이상의 차등 프레임들을 누적하여 상기 표적(target)을 식별하는 과정과, 상기 식별된 표적의 중심 좌표(center coordinate)를 기준으로 하는 일정 영역(certain region)을 상기 표적에 대한 관심 영역으로 설정하는 과정을 포함하고, 상기 특정 코드를 구성하는 값들 각각은, 상기 세 개 이상의 연속적인 프레임들의 수(number)보다 작은 수까지만 연속되도록 설정될 수 있다.

Description

광 카메라 통신 시스템에서 관심 영역을 설정하는 방법 및 이를 위한 장치{METHOD AND APPARATUS FOR CONFIGURING REGION OF INTEREST IN AN OPTICAL CAMERA COMMUNICATION}

본 발명은 광 카메라 통신 시스템에서 관심 영역(Region Of Interest, ROI)을 설정하는 방법 및 이를 지원하는 장치에 관한 것이다.

광 카메라 통신(Optical Camera Communication, OCC)은 카메라 센서를 기초로 하여 LED(Light Emitting Diode) 광 데이터를 수신하는 새로운 컨셉의 기술이다.

적어도 하나의 LED로부터 생성된 LED 광 데이터는 카메라 센서에 의해 검출될 수 있다. 포토 다이오드를 리시버 컴포넌트로서 이용하는 종래의 가시 광선 통신(Visible Light Communication, VLC)과는 다르게, 본 명세서의 OCC는 휴대폰, CCTV와 같은 전자 기기 등에 장착되어 있는 카메라에 적용하는데 있어 추가적이 비용이 발생되지 않는다.

LED 광에 기반한 데이터 통신에 있어서, 송신 장치는 데이터 변조를 위해 보다 넓은 범위의 디밍 레벨(dimming level)을 제공해야 하며, 플리커(flicker) 현상이 없어야 한다.

여기에서, 플리커 현상은 빛의 깜박거림 현상을 나타내는 것으로, LED 광의 깜박거림(플리커링(flickering))이 사람의 육안으로 인식되는 현상을 의미한다. 일반적으로, 100Hz 이하의 주파수로 LED가 플리커링되는 경우, 상기 플리커링은 사람의 육안으로 인식될 수 있다. 따라서, 이러한 플리커링 현상을 방지하기 위해 OCC의 LED는 100Hz를 초과하는 주파수로 플리커링될 수 있다.

본 발명은, 광 카메라 통신(Optical Camera Communication, OCC)에서 관심 영역(Region Of Interest, ROI)을 설정하는 방법을 제안한다.

구체적으로, 본 발명은, 특정 코드가 적용된 데이터에 대한 가시광 신호를 전송하는 표적을 검출하여 관심 영역을 설정 및 갱신하는 방법을 제안한다.

또한, 본 발명은, 상기 관심 영역에서 검출되는 객체들에 대해 각각 라벨을 생성하고, 라벨링된 객체를 추적(tracking)하는 방법을 제안한다.

또한, 본 발명은, 일정 수의 프레임들에 대해 ROI 설정 및 데이터 검출을 수행한 경우, 생성된 라벨을 초기화하는 방법을 제안한다.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 실시 예의 광 카메라 통신(Optical Camera Communication) 시스템에서 관심 영역(Region Of Interest, ROI)을 설정하는 방법에 있어서, 상기 방법은, 특정 코드(specific code)가 적용된 데이터에 대한 가시광 신호를 전송하는 표적(target)을 포함하는 세 개 이상의 연속적인 프레임들(consecutive frames)을 수신하는 과정과, 상기 수신된 세 개 이상의 연속적인 프레임들을 이용하여, 두 개 이상의 차등 프레임(differential frame)들을 생성하는 과정과, 상기 생성된 두 개 이상의 차등 프레임들을 누적하여 상기 표적(target)을 식별하는 과정과, 상기 식별된 표적의 중심 좌표(center coordinate)를 기준으로 하는 일정 영역(certain region)을 상기 표적에 대한 관심 영역으로 설정하는 과정을 포함하고, 상기 특정 코드를 구성하는 값들 각각은, 상기 세 개 이상의 연속적인 프레임들의 수(number)보다 작은 수까지만 연속되도록 설정된다.

또한, 본 발명의 일 실시 예에서, 상기 방법은, 상기 식별된 표적에 대한 라벨(label)을 생성하는 과정을 더 포함하고, 상기 라벨은, 상기 특정 코드가 적용된 데이터에 대한 가시광 신호를 전송하는 표적의 후보군(candidates)에 포함될 수 있다.

또한, 본 발명의 일 실시 예에서, 상기 방법은, 상기 수신된 세 개 이상의 연속적인 프레임들에 연속하는 다음 프레임(next frame)을 수신하는 과정과, 상기 수신된 세 개 이상의 연속적인 프레임들 중 최초에 수신된 프레임을 제외한 프레임들과 상기 수신된 다음 프레임을 이용하여 두 개 이상의 다른 차등 프레임들을 생성하는 과정과, 상기 두 개 이상의 다른 차등 프레임들은 상기 관심 영역에 해당하는 부분에 기반하여 생성되고, 상기 생성된 두 개 이상의 다른 차등 프레임들을 누적하여 하나 이상의 표적들을 식별하는 과정과, 상기 식별된 하나 이상의 표적들에 대한 하나 이상의 관심 영역들을 설정하는 과정을 더 포함할 수 있다.

또한, 본 발명의 일 실시 예에서, 상기 방법은, 상기 식별된 표적이 상기 하나 이상의 표적들에 포함되는 경우, 상기 생성된 라벨의 좌표(coordinate)를 상기 다음 프레임에 포함된 상기 식별된 표적에 해당하는 좌표로 갱신(update)하는 과정을 더 포함할 수 있다.

또한, 본 발명의 일 실시 예에서, 상기 방법은, 상기 하나 이상의 표적들에 상기 식별된 표적을 제외한 다른 표적이 존재하는 경우, 상기 다른 표적에 대한 라벨을 생성하는 과정을 더 포함하고, 상기 다른 표적에 대한 라벨은, 상기 후보군에 포함될 수 있다.

또한, 본 발명의 일 실시 예에서, 상기 방법은, 상기 하나 이상의 관심 영역들을 이용하여, 상기 식별된 하나 이상의 표적들에 대한 데이터를 검출하는 과정과, 상기 데이터가 검출된 경우, 카운터(counter)를 증가시키는 과정과, 상기 카운터의 값이 미리 설정된 임계 값(threshold value)보다 큰 경우, 상기 후보군 및 상기 카운터를 초기화하는 과정을 더 포함할 수 있다.

본 발명의 다른 실시 예의 광 카메라 통신(Optical Camera Communication) 시스템에서 신호를 수신하여 관심 영역(Region Of Interest, ROI)을 설정하는 장치에 있어서, 상기 장치는, 특정 코드(specific code)가 적용된 데이터에 대한 가시광 신호를 전송하는 표적(target)을 포함하는 세 개 이상의 연속적인 프레임들(consecutive frames)을 수신하는 카메라 모듈, 및 상기 수신된 세 개 이상의 연속적인 프레임들을 이용하여, 두 개 이상의 차등 프레임(differential frame)들을 생성하고, 상기 생성된 두 개 이상의 차등 프레임들을 누적하여 상기 표적(target)을 식별하고, 상기 식별된 표적의 중심 좌표(center coordinate)를 기준으로 하는 일정 영역(certain region)을 상기 표적에 대한 관심 영역으로 설정하는 관심 영역 추출 모듈을 포함하고, 상기 특정 코드를 구성하는 값들 각각은, 상기 세 개 이상의 연속적인 프레임들의 수(number)보다 작은 수까지만 연속되도록 설정된다.

본 발명의 또 다른 실시 예의 광 카메라 통신(Optical Camera Communication) 시스템에 있어서, 상기 시스템은, 특정 코드(specific code)가 적용된 데이터에 대한 가시광 신호를 전송하는 송신 장치; 및 상기 가시광 신호를 수신하는 수신 장치를 포함하되, 상기 송신 장치는, 상기 특정 코드를 변조된 신호에 맵핑하여 상기 데이터를 생성하는 매핑 모듈, 상기 데이터에 따라 적어도 하나의 LED(Light Emitting Diode)의 온(On) 또는 오프(Off) 상태를 제어하는 구동 신호를 생성하는 LED 구동 모듈, 및 상기 구동 신호에 따라 상기 적어도 하나의 LED를 통해 상기 데이터에 대한 가시광 신호를 전송하는 LED 모듈을 포함하며, 상기 수신 장치는, 상기 가시광 신호를 전송하는 표적(target)을 포함하는 세 개 이상의 연속적인 프레임들(consecutive frames)을 수신하는 카메라 모듈, 및 상기 수신된 세 개 이상의 연속적인 프레임들을 이용하여, 두 개 이상의 차등 프레임(differential frame)들을 생성하고, 상기 생성된 두 개 이상의 차등 프레임들을 누적하여 상기 표적(target)을 식별하고, 상기 식별된 표적의 중심 좌표(center coordinate)를 기준으로 하는 일정 영역(certain region)을 상기 표적에 대한 관심 영역으로 설정하는 관심 영역 추출 모듈을 포함하고, 상기 특정 코드를 구성하는 값들 각각은, 상기 세 개 이상의 연속적인 프레임들의 수(number)보다 작은 수까지만 연속되도록 설정된다.

본 발명의 실시 예에 따르면, 광 카메라 통신 시스템에서, 기존의 패턴 매칭(pattern matching) 방식 등의 영상 처리 기법이 아닌, 데이터의 전송 여부를 이용하여 관심 영역(Region Of Interest, ROI)이 설정될 수 있다.

또한, 본 발명의 실시 예에 따르면, 조명으로 이용 가능한 광원(예: LED)이 위치 정보, 식별 정보 등을 전송하는 데이터 전송 장치로 동시에 이용될 수 있다.

또한, 본 발명의 실시 예에 따르면, 수신되는 이미지들 간의 차등(differential) 연산을 이용하여 관심 영역이 설정되므로, 해당 이미지의 각 픽셀들에 대한 패턴 매칭을 수행하여 관심 영역을 설정하는 방법에 비해, 관심 영역 설정에 대한 오버헤드가 감소될 수 있다.

영상 처리 중에 발생 가능한 클러터(clutter)가 데이터를 전송하는 표적과 구분되어 효율적으로 제거될 수 있다.

또한, 본 발명의 실시 예에 따르면, 영상 처리 중에 발생 가능한 클러터(clutter)가 데이터를 전송하는 표적과 구분되어 효율적으로 제거될 수 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 발명에 대한 실시 예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 특징을 설명한다.
도 1은 본 발명이 적용될 수 있는 광 카메라 통신(Optical Camera Communication, OCC)의 시스템을 나타낸다.
도 2는 본 발명이 적용될 수 있는 광 카메라 통신(OCC)에서 동작하는 송신 장치(transmitter)의 구성도를 나타낸다.
도 3은 본 발명이 적용될 수 있는 광 카메라 통신(OCC)에서 동작하는 수신 장치(receiver)의 구성도를 나타낸다.
도 4는 본 명세서에서 제안하는 방법이 적용될 수 있는 광 카메라 통신 시스템에서 수신 장치가 표적을 검출(detection) 및 추적(tracking)하는 동작 순서도를 나타낸다.
도 5는 본 명세서에서 제안하는 방법이 적용될 수 있는 연속하는 프레임들을 이용하는 이미지 차등 기법(image differential scheme)을 나타낸다.
도 6은 본 명세서에서 제안하는 방법이 적용될 수 있는 표적에 대한 관심 영역(ROI) 및 마진(margin)의 일 예를 나타낸다.
도 7은 본 명세서에서 제안하는 방법이 적용될 수 있는 ROI 갱신을 위한 ROI 기반의 이미지 차등 기법의 일 예를 나타낸다.
도 8은 본 명세서에서 제안하는 방법이 적용될 수 있는 광 카메라 통신(Optical Camera Communication) 시스템에서 관심 영역(Region Of Interest, ROI)을 설정하는 수신 장치의 동작 순서도를 나타낸다.

이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 이하의 상세한 설명은 본 발명의 완전한 이해를 제공하기 위해서 구체적 세부사항을 포함한다. 그러나, 통상의 기술자는 본 발명이 이러한 구체적 세부사항 없이도 실시될 수 있음을 안다.

몇몇 경우, 본 발명의 개념이 모호해지는 것을 피하기 위하여 공지의 구조 및 장치는 생략되거나, 각 구조 및 장치의 핵심기능을 중심으로 한 블록도 형식으로 도시될 수 있다.

또한, 이하 첨부된 도면들 및 첨부된 도면들에 대해 기재된 내용들을 참조하여 본 발명의 실시 예를 상세하게 설명하지만, 실시 예들에 의해 본 발명이 제한되거나 한정되는 것은 아니다.

LED(Light Emitting Diode)는 친환경적이면서도 긴 수명을 가지는 장점으로 인하여, 일상 생활에서 널리 이용되고 있다. 이러한 LED의 다양한 장점 중 고속 플리커 제어 기술(high-speed flicker control technology)은 가시광 채널을 통해 무선 환경 데이터를 통신하는데 이용될 수 있다.

이러한 LED의 고속 플리커 제어 기술을 이용하여 통신하는 시스템은, 광 카메라 통신(Optical Camera Communication, OCC)으로 지칭될 수 있다. 즉, 광 카메라 통신의 경우, 송신 신호(transmission signal)는 광원을 이용하여 전송되고, 수신 신호(reception signal)은 카메라(예: CMOS(Complementary Metal Oxide Semiconductor) 카메라 또는 CCD(Charge-Coupled Device) 카메라)를 이용하여 수신된다.

또한, 기존의 가시광 통신과 같은 광을 매개체로 하는 통신은 포토 다이오드(Photo Diode, PD)를 이용하는 반면, 광 카메라 통신(OCC)는 영상 센서를 수신기로 사용하여 LED와 통신을 수행한다. 이에 따라, 광 카메라 통신의 경우, 기존의 포토 다이오드를 이용하는 방식과 비교하여, 주변 광원의 간섭에 대한 영향을 덜 받을 수 있다. 또한, 광 카메라 통신의 경우, LOS(Light-Of-Sight)를 맞출 필요가 없다는 장점이 있다.

광 카메라 통신 시스템(Optical Camera Communication)

도 1은 본 발명이 적용될 수 있는 광 카메라 통신(Optical Camera Communication, OCC)의 시스템을 나타낸다. 도 1은 단지 설명의 편의를 위한 것일 뿐, 본 발명의 범위를 제한하는 것이 아니다.

도 1을 참고하면, 본 발명이 적용될 수 있는 OCC 시스템 100은 적어도 하나의 송신 장치 110과 수신 장치 120으로 구성된다.

여기에서, 상기 송신 장치 110은 도 2에 나타난 구성 요소(들)로 구현될 수 있다. 또한, 상기 수신 장치 120은 도 3에 나타난 구성 요소(들)로 구현될 수 있다.

상기 OCC 시스템 100에서, 송신 장치 110은 전송 데이터에 대해 다양한 변조 방식(modulation scheme)을 적용하여 변조 신호를 생성하고, 상기 변조 신호를 상기 변조 신호의 특성에 맞는 파장 대역을 통해 광원(light source)을 이용하여 전송한다.

상기 송신 장치 110은 광원을 포함한다. 여기에서, 상기 광원은 미리 설정된 속도(예: 펄스 속도(pulse rate))에 따라 온(on) 또는 오프(off)될 수 있다. 이 때, 상기 미리 설정된 속도는 사용자 또는 시스템으로 제어될 수 있다. 상기 온 또는 오프를 이용하여 상기 송신 장치 110은 수신 장치 120으로 데이터를 전송할 수 있다. 예를 들어, 이진 데이터의 경우, '1'은 온(on)을 이용하여 나타내고, '0'은 오프(off)를 이용하여 나타내는 방식이 이용될 수 있다. 여기에서, 상기 광원은 LED(Light Emitting Diode)로 구성될 수 있다.

상기 송신 장치 110은 특정 식별자(identifier) 및/또는 특정 데이터(data)를 지속적으로 전송하는 장치(예: 마커(marker) 등를 포함할 수 있다.

또한, 상기 OCC 시스템 100에서, 수신 장치 120은 광원을 통해 전송되는 데이터를 수신하며, 상기 수신된 데이터에 대해 다양한 변조 방식에 대응하는 복조 방식(demodulation scheme)을 적용하여 데이터를 복조함으로써, 전송 데이터를 획득한다. 상기 수신 장치 120은 카메라 장치를 포함한다. 여기에서, 상기 수신 장치 120은 상기 카메라 장치를 이용하여 송신 장치 110에 포함된 광원에 대한 영상을 생성하고, 상기 영상에서 데이터를 추출할 수 있다.

여기에서, 상기 수신 장치 120은 미리 설정된 속도(예: 프레임 속도(frame rate))에 따라 상기 광원에 대한 영상을 연속적인 프레임으로 생성할 수 있다. 이 때, 상기 수신 장치 120에 대해 미리 설정된 속도는 상기 송신 장치 110에 대해 미리 설정된 속도와 같거나, 또는 다를 수도 있다.

상기 수신 장치 120은 디지털 카메라, CCTV(Closed Circuit Television), 네트워크 카메라(예: IP 카메라(Internet Protocol camera)), 스마트폰(smartphone) 등과 같이 카메라가 장착된 장치일 수 있다.

이하, 광 카메라 통신(OCC)에서 이용되는 송신 장치(예: 송신 장치 110) 및 수신 장치(예: 수신 장치 120)의 동작 방법 및 이를 지원하기 위한 구성이 구체적으로 설명된다.

도 2는 본 발명이 적용될 수 있는 광 카메라 통신(OCC)에서 동작하는 송신 장치(transmitter)의 구성도를 나타낸다. 도 2는 단지 설명의 편의를 위한 것일 뿐, 본 발명의 범위를 제한하는 것이 아니다.

도 2를 참고하면, 본 발명이 적용될 수 있는 송신 장치 110은 신호 변조 모듈(signal modulation module) 201, 코드 생성 모듈(code generation module) 202, 매핑 모듈(mapping module) 203, LED 구동 모듈(LED driver module) 204, 및 LED 모듈 205를 포함한다. 도 2에 나타난 송신 장치 110의 구성 요소들은 일 예로서, 상기 송신 장치 110은 그보다 많거나 또는 적은 구성 요소들로 구성될 수도 있다.

상기 송신 장치 110은 신호 변조 및 특정 코드(specific code)를 이용하여 특정 신호를 생성하고 적어도 하나의 LED를 통해 출력되는 가시광 신호를 (채널을 통해) 외부로 전송한다.

상기 신호 변조 모듈 201은 입력 신호를 변조(modulation) 한다. 이 때, 상기 입력 신호는 입력 데이터, 입력 비트, 소스 데이터 등으로 표현될 수 있다. 이 경우, 온-오프 키잉(On-Off Keying, OOK) 변조 방식이 이용될 수 있다. OOK 변조 방식은 LED의 온(On) 및 오프(Off)를 이용하는 변조 방식으로, LED는 데이터 '1'을 전송할 때 온(On) 상태가 되고, 데이터 '0'을 전송할 때 오프(Off)가 된다.

상기 코드 생성 모듈 202는 상기 변조된 신호를 이미지 차등(image differential) 기법에 기반하는 ROI 검출(detection)(또는 추출(extract) 및 추적(tracking)을 가능하게 하는 신호로 변환하기 위한 특정 코드(specific code)를 생성한다. 이 경우, 상기 생성된 특정 코드는, 상기 송신 장치 110에서 전송되는 송신 데이터(또는 송신 프레임 데이터)를 인코딩(encoding)하기 위해 이용된다.

여기에서, 상기 특정 코드는 이진 코드(binary code)로 구성될 수 있다. 이 경우, 상기 이진 코드는 '0' 및 '1'이 각각 특정 수 이상으로 연속되지 않도록 배치될 수 있다. 여기에서, 상기 특정 수는 ROI 검출을 위해 이용하는 차등 프레임(differential frame)(또는 차 프레임)의 수에 따라 설정될 수 있다.

예를 들어, 연속하는 3 개의 프레임들을 이용하여 ROI를 검출하기 위해서, 상기 특정 코드의 '0' 및 '1' 각각은 3 개 이상 연속하여 배치되지 않도록 설정될 수 있다. 다른 예를 들어, 연속하는 4 개의 프레임들을 이용하여 ROI를 검출하기 위해서는, 상기 특정 코드의 '0' 및 '1' 각각은 4 개 이상 연속하여 배치되지 않도록 설정될 수 있다.

이 때, '0' 또는 '1'이 3개 이상 연속하여 배치되지 않도록(즉, 2 개까지만 연속하여 배치되도록) 코드를 설정하는 경우, 맨체스터 코드(Manchester code)가 이용될 수 있다. 상기 맨체스터 코드는 '0'을 '01'로 변환하고, '1'을 '10'으로 변환하는 코드를 의미한다. 즉, '0010'이라는 데이터 비트는, 맨체스터 코딩 기법을 적용하여 '01011001'로 인코딩될 수 있다. 맨체스터 코딩 기법의 경우, '0'이 3 번 연속하여 배치되는 경우(즉, '000') 및 '1'이 3번 연속하여 배치되는 경우(즉, '111')가 발생되지 않으므로, 오류가 발생하는 경우에 처리가 쉽다는 장점이 있다. 또한, 맨체스터 코드의 경우 '0'와 '1' 의 빈도 수가 같으므로 디밍(dimming)의 변화가 없다. 이에 따라, 맨체스터 코딩 기법을 이용하여 인코딩된 데이터를 송신하는 광원(예: LED)은 조명 역할을 수행할 수도 있다.

또한, 상기 맨체스터 코드뿐만 아니라, '0' 및 '1'이 일정 수 이상으로 반복되지 않도록 설정된 PN 코드 등이 이용될 수도 있다. 즉, 본 명세서에서 제안하는 ROI 검출 방법에 대해, '0' 및 '1'이 일정 수 이상으로 반복되지 않도록 설정된 코드는 코드의 종류(즉, 유형)에 관계 없이 이용될 수 있다. 또한, 설명의 편의를 위하여, 본 명세서에서 이용되는 코드는 이진 코드(binary code)로 설명되지만, 4진 코드(quaternary code)가 이용될 수도 있다.

상술한 바와 같이 코드 생성 모듈 202에서 생성된 특정 코드는, 매핑 모듈 203을 통해, 신호 변조 모듈 201에서 생성된 변조 심볼들에 매핑된다. 일례로, 앞서 설명된 맨체스터 코드(Manchester Code)가 적용되는 경우, 변조 심볼들에 대해 맨체스터 코드를 적용한 송신 데이터(16 비트로 구성)는 표 1과 같이 설정될 수 있다.

표 1에서, 제1 정보 내지 제5 정보는 해당 데이터가 나타내는 정보를 의미한다. 예를 들어, 제1 정보 내지 제 5 정보는 제1 마커 내지 제5 마커에 대한 식별 정보(예: ID)를 의미할 수 있다. 구체적으로, 제1 정보가 제1 마커의 식별 정보에 해당하는 경우, 수신 장치는 '0101100110011001'을 수신하고, 이를 디코딩하여 해당 송신 장치가 제1 마커임을 식별(또는 인지)할 수 있다.

상술한 바와 같이 상기 매핑 모듈 203을 통해 생성되는 전송 신호는 LED 구동 모듈 204로 입력된다. 상기 LED 구동 모듈 204는 LED를 제어하여 LED 모듈 205에서 이에 따른 광 신호를 출력할 수 있도록 한다. 즉, 상기 LED 구동 모듈 204는 특정 코드가 적용된 신호에 따라 적어도 하나의 LED의 온(on) 또는 오프(off) 상태를 제어하는 구동 신호를 생성한 후, 이를 LED 모듈에 입력할 수 있다. 예를 들어, 상기 LED 구동 모듈 204는 적어도 하나의 LED 광의 세기, 광 주파수(또는 플리커링 주파수(flickering frequency)) 등을 제어하여 LED 모듈 205에서 광 신호를 출력할 수 있도록 할 수 있다.

상기 LED 모듈 205는 상기 LED 구동 모듈 204의 구동 신호에 따라 점등되며, 상기 LED 모듈 205에 포함된 적어도 하나의 LED로부터 발광되는 빛을 이용하여 가시광 변조 신호를 생성하고, 이를 외부로 전송한다. 여기에서, LED 구동 모듈 204와 LED 모듈 205는 하나의 광원 발광 모듈로 구현될 수도 있다.

또한, 본 발명의 다양한 실시 예들에서, 본 발명의 송신 장치는 특정 식별자(ID) 및/또는 특정 데이터를 일정한 주기로 전송할 수 있다. 예를 들어, 본 발명의 송신 장치는 특정 ID를 주기적으로 반복하여 전송하는 마커(marker)로 동작할 수 있다. 또는, 본 발명의 송신 장치는 해당 송신 장치의 위치 좌표(position coordinate)를 주기적으로 반복하여 전송하는 마커로 동작할 수도 있다.

광 카메라 통신에서, 수신 장치는 상기 수신 장치에 장착된 카메라를 이용하여 송신 장치로부터 전송되는 광 신호(light signal, optical signal)를 수신할 수 있다.

도 3은 본 발명이 적용될 수 있는 광 카메라 통신(OCC)에서 동작하는 수신 장치(receiver)의 구성도를 나타낸다. 도 3은 단지 설명의 편의를 위한 것일 뿐, 본 발명의 범위를 제한하는 것이 아니다.

도 3을 참고하면, 본 발명이 적용될 수 있는 수신 장치 120은 카메라 모듈(camera module) 301, ROI 추출 모듈(ROI extraction module) 302, 데이터 추출 모듈(data extraction module) 303, 매칭 필터 모듈(matching filter module) 304, 및 신호 검출 모듈(signal detection module) 305를 포함한다. 도 3에 나타난 수신 장치 120의 구성 요소들은 일 예로서, 상기 수신 장치 120은 그보다 많거나 또는 적은 구성 요소들로 구성될 수도 있다.

상기 카메라 모듈 301은 송신 장치(예: 송신 장치 110)에서 전송되는 가시광 신호(즉, 송신 장치의 광학 속도에 따라 설정된 가시광 신호)를 수신한다. 여기에서, 상기 카메라 모듈 301은 CCD(Charge-Coupled Device) 모듈일 수 있다. 상기 수신된 가시광 신호는 상기 카메라 모듈 301의 프레임 속도(frame rate)(또는 캡쳐 속도(capture rate))로 샘플링(sampling)될 수 있다.

또한, 상기 ROI 추출 모듈 302는 상기 카메라 모듈 301을 통해 수신되는 프레임 영역 중 광 카메라 통신(OCC) 수행을 위한 가시광 신호가 전송되는 영역 즉, ROI를 추출한다.

또한, 상기 데이터 추출 모듈 303은 상기 추출된 ROI에서 특정 데이터를 추출한다. 이 경우, 데이터 추출 모듈 303은 광원(예: LED)이 온(On)인 경우에는 해당 신호를 '1'로 인식하고, 광원이 오프(Off)인 경우에는 해당 신호를 '0'으로 인식한다.

또한, 상기 매칭 필터 모듈 304는 상기 추출된 특정 데이터와 미리 설정된 코드 간의 매칭(matching) 동작을 수행할 수 있다. 여기에서, 상기 미리 설정된 코드에 대한 정보는 상기 송신 장치에서 이용되는 특정 코드에 대한 정보와 함께 시스템 상에서 미리 설정되거나, 시그널링을 통해 송신 장치와 수신 장치 간에 공유될 수도 있다.

또한, 상기 매칭 필터 모듈 305는 변조 방식(modulation scheme)에 대응하는 복조 방식(demodulation scheme)을 이용하여 입력 신호를 복원 또는 검출한다. 이 경우, 상기 매칭 동작을 통해 산출된 매칭 값들 중 가장 큰 매칭 값이 미리 설정된 임계 값 이상인 경우에 상기 매칭 필터 모듈 305는 신호를 검출할 수도 있다.

이하, 본 명세서에서, 상기 수신 장치 120의 동작이 구체적으로 설명된다. 구체적으로, 본 명세서는, 상기 ROI 추출 모듈 302가 카메라 모듈 301에 의해 수신된 프레임에서 관심 영역(Region Of Interest, ROI)을 검출(detection) 및 갱신(update)하는 방법을 제안한다.

도 4는 본 명세서에서 제안하는 방법이 적용될 수 있는 광 카메라 통신 시스템에서 수신 장치가 표적을 검출(detection) 및 추적(tracking)하는 동작 순서도를 나타낸다. 도 4는 단지 설명의 편의를 위한 것일 뿐, 본 발명의 범위를 제한하는 것이 아니다.

도 4를 참고하면, 수신 장치는 카메라 모듈을 이용하여 특정 코드(예: 맨체스터 코드)가 적용된 데이터를 전송하는 표적을 포함하는 프레임(frame)들을 전송 장치로부터 연속적으로 수신하는 경우가 가정된다. 여기에서, 상기 표적은 상기 데이터에 대한 가시광 신호(visible light signal)를 전송하는 객체를 의미한다. 예를 들어, 상기 표적은 LED를 통해 식별 정보(identification)에 해당하는 데이터를 전송하는 마커(marker)를 포함할 수 있다.

또한, 상기 특정 코드는, 앞서 설명된 바와 같이, 이미지 차등(image differential) 기법에 기반하는 ROI 검출(detection)(또는 추출(extract) 및 추적(tracking)을 가능하게 하는 신호로 변환하기 위한 특정 코드를 의미할 수 있다.

다시 말해, 본 명세서에서 제안하는 방법은 표적의 데이터 전송 여부에 따라 ROI를 설정하고, 설정된 ROI를 갱신하며 표적을 검출 및 추적하는 방법이다. 패턴 매칭(pattern matching) 방식 기반의 영상 처리 기법을 이용하는 기존의 ROI 설정 방법과 달리, 본 명세서에서 제안하는 방법은 표적을 통한 데이터의 전송 여부를 이용한다는 점에서 차이가 있다.

이하, 설명의 편의를 위하여, 본 명세서에서 제안하는 방법의 단계들은, 상기 특정 코드가 '0' 및 '1' 각각이 3 개 이상 연속하여 배치되지 않도록 설정된 이진 코드(binary code)(예: 맨체스터 코딩 기법이 적용된 코드)인 경우를 가정하여 설명된다. 다만, 앞서 설명된 바와 같이, 상기 '0' 및 '1'이 연속되어 배치되는 수는 3에 한정되지 않고, 다양하게 설정될 수 있다.

도 4의 경우, 광 카메라 통신 시스템에서 수신 장치가 표적(예: LED 표식자)을 검출 및 추적하는 방법은 표적에 대한 ROI를 설정하는 단계(410), 설정된 ROI를 갱신(update)하는 단계(420), 표적에 대해 설정된 라벨(label)을 리셋(reset)하는 단계(430)를 포함할 수 있다. 여기에서, 상기 단계들은 설명의 편의를 위해 구분된 것일 뿐, 특정 단계에 포함된 동작이 다른 단계에서 수행될 수 있으며, 또는 생략될 수도 있다.

이하, 본 명세서에서, 각 단계에서의 수신 장치의 동작들에 대한 내용이 구체적으로 설명된다.

1) 표적에 대한 ROI를 설정하는 단계

앞서 설명된 바와 같이, 광 카메라 통신 시스템에서, 수신 장치는 송신 장치로부터 상기 표적을 포함하는 프레임들을 수신할 수 있다. 이 경우, 상기 표적에 대한 ROI를 설정하기 위하여, 상기 수신된 연속적인 프레임들을 이용하여 차등 프레임(differential frame)들을 생성하고, 생성된 차등 프레임들을 이용하여 표적을 식별하는 방법이 고려될 수 있다. 이에 대한 구체적인 내용들이 이하 설명된다.

먼저, S411 단계에서, 수신 장치는 라벨 목록(Label_List)에 라벨(Label)이 존재하는지 여부를 판단할 수 있다. 여기에서, 라벨은 ROI 설정이 요구되는 객체에 대해 설정된 표식(mark)/태그(tag)를 의미할 수 있다. 즉, 수신 장치는 라벨을 이용하여 검출되는 객체들을 관리할 수 있으며, 라벨링된 객체들을 추적할 수 있다. 이 경우, 라벨링된 객체들은 송신 데이터를 전송하는 표적의 후보들(candidates)을 의미할 수도 있다.

라벨이 존재하는 경우(즉, Label_List가 0이 아닌 경우), 라벨 생성 없이 바로 S419 단계로 진행하여, 수신 장치는 해당 라벨이 지시하는 객체에 대한 관심 영역(ROI)을 설정할 수 있다. 이 때, 수신 장치는 해당 라벨이 지시하는 객체의 좌표(coordinate)를 출력 및/또는 저장할 수 있다.

반면, 라벨이 존재하지 않는 경우(즉, Label_List가 0인 경우), S413 단계에서, 수신 장치는 수신된 연속하는 프레임들을 이용하여 이미지 차등 기법(image differential scheme)을 수행한다. 3 개의 연속하는 프레임들을 이용하는 이미지 차등 기법은 도 5와 같이 수행될 수 있다.

도 5는 본 명세서에서 제안하는 방법이 적용될 수 있는 연속하는 프레임들을 이용하는 이미지 차등 기법(image differential scheme)을 나타낸다. 도 5는 단지 설명의 편의를 위한 것일 뿐, 본 발명의 범위를 제한하는 것이 아니다.

도 5를 참고하면, 수신 장치가 연속하여 수신된 3 개의 프레임들(즉, 제1 프레임, 제2 프레임, 및 제3 프레임)을 이용하여 이미지 차등 기법을 수행하며, 각 프레임은 '0' 및 '1'이 3 번 이상 연속하여 배치되지 않은 코드(또는 데이터)를 광원을 통해 전송하는 표적을 포함하는 경우가 가정된다. 다시 말해, 상기 연속하여 수신된 3 개의 프레임들에서 상기 표적이 모두 온(On) 또는 (Off) 상태로 존재하는 경우는 존재하지 않는다. 일례로, 도 5와 같이, 상기 표적은 제1 프레임 및 제2 프레임에서 오프(Off) 상태이고, 제 3프레임에서 온(On) 상태일 수 있다.

도 5의 (a) 및 (b)와 같이, 수신 장치는 제1 프레임과 제2 프레임의 차등(differential)을 이용하여 제1 차등 프레임(differential frame)을 생성하고, 제2 프레임과 제3 프레임의 차등을 이용하여 제2 차등 프레임을 생성할 수 있다. 여기에서, 제1 프레임, 제2 프레임, 및 제3 프레임은 연속적으로 수신된 3 개의 프레임들을 의미할 수 있으며, 수신된 순서에는 관계 없이 이용될 수 있다. 예를 들어, 제1 프레임은 3 개의 프레임들 중 첫 번째로 수신된 프레임이고, 제2 프레임은 3 개의 프레임들 중 마지막으로 수신된 프레임일 수도 있다. 또한, 상기 차등 프레임들은 프레임들 간의 차이의 절대 값(absolute value)을 의미할 수 있다.

이 경우, 상기 이미지 차등 기법은, 표적이 전송하는 데이터가 n 번 이상 연속적으로 동일하게 설정되지 않는 경우에 n 개의 연속하여 수신되는 프레임들을 이용하여 n-1 개의 차등 프레임을 생성하는 것으로 일반화될 수 있다. 여기에서, 상기 n 은 2 보다 큰 정수(integer)를 의미할 수 있다.

수신 장치가 두 개의 차등 프레임(differential frame)들을 생성한 후, 도 5의 (c)와 같이, 수신 장치는 상기 두 개의 차등 프레임들을 누적(또는 합산)하여 누적 차등 프레임(또는 누적 프레임, 누적 이미지)을 생성할 수 있다. 이 경우, 누적 레임은 온(On) 상태의 표적 영상(또는 이미지(image))를 포함한다. 도 5의 (c)와 달리, 제1 차등 프레임 및 제2 차등 프레임 모두에 온(On) 상태의 표적 영상이 포함된 경우에는, 누적 차등 프레임의 온(On) 사태의 표적 영상은 더 명확하게 표시될 수 있다. 이에 따라, 수신 장치는 이미지 차등 기법을 이용하여 연속적으로 수신된 프레임들에서 특정 코드가 적용된 데이터를 전송하는 표적을 식별할 수 있다.

수신 장치가 이미지 차등 기법을 수행하여 누적 차등 프레임(또는 누적 프레임, 누적 이미지)를 생성한 후, S415 단계에서, 수신 장치는 생성된 누적 차등 프레임에 대해 잡음 처리(noise processing)을 수행할 수 있다. 예를 들어, 수신 장치는 표적(예: LED 표식자, 즉 LED를 이용하여 데이터를 전송하는 객체)을 제외한 주변의 잡음을 처리하기 위하여 이진화(binarization) 기법 및 모폴로지(morphology) 기법과 같은 영상 처리(image processing) 기법(들)을 이용할 수 있다. 다른 예를 들어, 상기 잡음 처리를 위하여, 수신 장치는 메디안 필터(median filter), 저역 필터(low-pass filter) 등을 이용할 수도 있다.

상기 잡음 처리(noise processing) 이후, S417 단계에서, 수신 장치는 식별된 표적에 대해 라벨(label)을 생성할 수 있다. 이 경우, 수신 장치는 상기 라벨을 생성하면서 상기 표적의 이미지 상의 좌표(coordinate)를 출력 및/또는 저장할 수 있다. 수신 장치가 상기 라벨을 생성함에 따라, 라벨 목록(Label_List)에 새로운 라벨이 추가된다. 앞서 언급된 바와 같이, 해당 라벨은 데이터를 전송하는 표적에 대한 후보군(candidate)을 의미할 수도 있다. 즉, 라벨링된 객체(또는 표적)는 (광원을 통해) 데이터를 전송하는 표적일 수도 있고, 처리되지 않은 잡음(예: 클러터(clutter))일 수도 있다. 수신 장치는 라벨링된 객체에 대해 지속적인 추적 및 데이터 검출을 수행한다.

이 때, 라벨 생성(즉, 라벨링(labeling))은 표적의 윤곽선 경계를 이용하는 방법으로 수행될 수 있다. 또는, 프레임(또는 이미지)의 픽셀 값들을 x 축 및 y 축으로 투영(projection)하여 피크 값을 검출하는 방법으로 라벨 생성이 수행될 수도 있다. 이 경우, 수신 장치는 투영된 값들 중 피크 값(peak value)들을 검출하여 상기 피크 값이 검출된 좌표를 기준으로 라벨링을 수행할 수 있다.

이 후, S419 단계에서, 수신 장치는 표적에 대한 관심 영역(ROI)를 설정할 수 있다. 이 경우, ROI는 표적에 대한 라벨이 생성된 이후에 설정되거나, 또는 표적이 식별된 경우에 바로 설정될 수도 있다. ROI 설정 시에, 수신 장치는 표적의 이동성(mobility)(예: 표적이 빠른 속도로 이동하는 경우)을 고려하여 ROI 영역에 대한 마진(margin)을 고려할 수 있다.

도 6은 본 명세서에서 제안하는 방법이 적용될 수 있는 표적에 대한 관심 영역(ROI) 및 마진(margin)의 일 예를 나타낸다. 도 6은 단지 설명의 편의를 위한 것일 뿐, 본 발명의 범위를 제한하는 것이 아니다.

도 6을 참고하면, 수신 장치는 데이터를 전송하는 표적에 대한 ROI를 설정하고, 해당 ROI에 대한 마진(margin) 값을 추가적으로 적용하는 경우가 가정된다. 이 때, 상기 마진은, 표적이 이동하는 최소 1 개 내지 2 개의 프레임들 동안 ROI 내에서 해당 표적(또는, 해당 표적에 대한 라벨)을 검출하기 위해 설정될 수 있다. 이 경우, 상기 마진은 도 6에 나타난 것과 같이 사각형의 형태로 설정될 수 있으며, 또는, 다양한 형태(예: 원형, 타원형 등)로 설정될 수도 있다.

상술한 절차들을 통해, 수신 장치는 데이터를 전송하는 표적을 이용하여 수신된 프레임들에서 해당 표적에 대한 ROI를 설정하고, 해당 표적에 대한 라벨을 생성할 수 있다.

2) 설정된 ROI를 갱신하는 단계

상술한 바와 같이 (광원을 통해) 데이터를 전송하는 표적(예: LED 표식자)에 대한 ROI가 설정된 경우, 수신 장치는 해당 표적을 지속적으로 관찰하고, 해당 표적으로부터 데이터를 검출하기 위하여 해당 표적에 대한 ROI를 갱신(update)할 필요가 있다.

S421 단계에서, 수신 장치는 앞서 수신된 3 개의 연속하는 프레임들 이후에 연속하여 다음 프레임(즉, 새로운 프레임)을 수신한다. 새롭게 수신된 프레임에서 해당 표적의 위치는 이전과 비교하여 변경될 수 있다. 따라서, 새롭게 수신된 프레임에서 해당 표적을 식별한 후, 해당 표적에 대한 ROI를 갱신(또는 재설정)할 필요가 있다.

이를 위해, S423 단계에서, 수신 장치는 설정된 ROI에 기반한 이미지 차등 기법을 수행한다. 여기에서, ROI에 기반한 이미지 차등 기법은, 수신된 전체 프레임 영역이 아닌 설정된 ROI 영역에 대해서만 수행하는 이미지 차등 기법을 의미한다. 즉, 수신 장치는 앞서 설명된 ROI 설정 단계(410)에 따라 설정된 ROI 영역에 대해서만 이미지 차등 기법을 수행한다. 이를 통해, 수신 장치는 이미지 차등 기법 수행에 요구되는 전력(예: 컴퓨팅 전력(computing power))을 줄일 수 있는 장점이 있다. ROI 기반 이미지 차등 기법은 도 7을 통해 설명된다.

도 7은 본 명세서에서 제안하는 방법이 적용될 수 있는 ROI 갱신을 위한 ROI 기반의 이미지 차등 기법의 일 예를 나타낸다. 도 7은 단지 설명의 편의를 위한 것일 뿐, 본 발명의 범위를 제한하는 것이 아니다.

도 7을 참고하면, 수신 장치는 이미지 차등 기법을 수행하기 위하여 3 개의 연속하는 프레임들을 이용하며, 각 프레임에는 (광원을 통해) 데이터를 전송하는 표적에 대한 영상이 포함되는 경우가 가정된다.

구체적으로, 수신 장치는 3 개의 연속하는 프레임들(즉, 제1 프레임, 제2 프레임, 및 제3 프레임)을 이용하여 초기 이미지 차등 기법(즉, 초기 ROI를 설정할 때 이용되는 이미지 차등 기법)을 수행한다. 이를 통해, 수신 장치는 전체 프레임에서 해당 표적에 대한 관심 영역 710을 설정할 수 있다.

이 후, 수신 장치는 상기 3 개의 연속하는 프레임들을 수신하여 관심 영역 710을 설정한 후, 새로운 프레임(즉, 제4 프레임)을 수신할 수 있다. 이 경우, 수신 장치는 해당 표적을 추적하여 ROI를 갱신(또는 재설정)할 필요가 있다. 다만, 이 경우, 수신 장치는, 앞서 수행된 초기 이미지 차등 기법과는 달리(즉, 전체 프레임 영역이 아닌) 앞서 설정된 관심 영역 710에 해당하는 이미지에 대해서만 이미지 차등 기법을 수행할 수 있다. 이 경우, 수신 장치는 새로운 프레임을 포함하는 3 개의 연속하는 프레임들(예: 제2 프레임, 제3 프레임, 및 제4 프레임)을 이용하여 ROI 기반 이미지 차등 기법을 수행한다. 또한, 이 경우에도 생성된 누적 차등 프레임(또는 누적 프레임, 누적 이미지)에 대해 잡음 처리(noise processing)를 수행할 수 있다.

이 때, 표적 705와 같이, 해당 표적이 기존에 설정된 ROI에서 검출되는 경우, S425 단계에서, 수신 장치는 해당 표적에 대한 ROI 및 라벨을 갱신할 수 있다. 즉, 이 경우, 수신 장치는 이동된 표적에 대한 ROI 및 마진(margin)을 재설정하고, 라벨의 좌표도 갱신할 수 있다.

반면, 표적 715와 같이, 해당 표적은 기존에 설정된 ROI에서 검출되지 않을 수도 있다. 즉, 해당 표적의 이동성으로 인하여 해당 표적이 설정된 ROI를 벗어나는 상황이 발생될 수 있다. 이 경우, 수신 장치는 해당 표적이 사라진 것으로 간주하고, 해당 표적에 대응하는 라벨이 소멸된 것으로 인식할 수 있다. 즉, ROI 영역에서 어떠한 표적(또는 라벨)도 검출되지 않은 경우, 수신 장치는 라벨 목록에 라벨이 존재하지 않는 것으로 판단할 수 있다. 이 때, 수신 장치는 사라진 표적을 검출하기 위하여 ROI가 아닌 전체 프레임 영역에 대한 이미지 차등 기법을 다시 수행할 수 있다.

또는, 표적 725와 같이, 초기 ROI 설정 시에 검출되지 않은 표적(예: 클러터(clutter))이 새롭게 검출되는 경우, 수신 장치는 해당 표적에 대해 라벨을 생성하고, ROI(즉, ROI 및 마진(margin))를 설정할 수 있다. 즉, 기존에 검출된 표적 이외에 다른 표적(들)이 검출되는 경우, 수신 장치는 라벨 목록에 해당 표적(들)에 대한 라벨을 추가할 수 있다. 이에 따라, 수신 장치는 이 후 동작에서 해당 표적들에 대한 추적(tracking) 및 검출(detection)을 수행할 수 있다.

상술한 바와 같이, ROI 내에서 해당 표적이 검출되어 수신 장치가 ROI 및 라벨의 좌표를 갱신한 경우, S427 단계에서, 수신 장치는 새롭게 수신된 프레임(즉, S421에서 수신된 프레임)에서 갱신된 ROI에 해당하는 부분을 통해 데이터(data)를 검출할 수 있다. 이 경우, 수신 장치는 라벨 목록에 포함된 라벨(즉, 표적)들에 대한 ROI를 이용하여 데이터를 검출할 수 있다. 이 때, ROI에 대해 설정된 마진(margin)은 데이터 검출에서 고려되지 않는다. 수신 장치는 데이터를 검출하기 위하여 ROI의 픽셀(pixel)들의 평균(average) 값을 산출한다. 상기 픽셀들의 평균 값이 미리 설정된 임계 값보다 큰 경우에는 '1'의 데이터가 검출 및 저장(예: 데이터 목록(Data_List)에 저장)되고, 미리 설정된 임계 값보다 작은 경우에는 '0'의 데이터가 검출 및 저장될 수 있다. 이에 따라, 수신 장치는 프레임을 수신할 때마다 ROI가 설정된 표적들에 대한 데이터를 검출 및 저장할 수 있다.

이 때, 특정 코드(예: '0' 및 '1'이 3 개 이상 연속하여 배치되지 않는 코드)가 적용된 데이터를 전송하는 표적에 대한 데이터는 '0' 및 '1'이 일정 수(예: 3 개) 이상으로 연속하여 검출되지 않는다. 반면, 이미지 차등 기법 중에 발생 가능한 클러터(clutter)(예: 도 7의 표적 725)의 경우, '0' 또는 '1'이 일정 수 이상으로 연속하여 검출될 수 있다. 즉, 클러터는 특정 코드가 적용된 데이터를 전송하는 표적이 아니므로, 클러터는 갱신되는 ROI 상에서 지속적으로 동일한 상태(즉, 밝은 상태(예: 온(On)) 또는 어두운 상태(예: 오프(Off)))로 존재한다. 이 경우, 수신 장치는 특정 데이터(예: '0' 또는 '1')가 일정 수 이상 연속하여 검출(예: '000', '111')되는 표적을 클러터로 인지하여, 해당 표적에 대한 라벨 및 ROI를 제거할 수 있다.

결과적으로, 본 명세서에서 제안하는 방법을 통해 ROI를 설정하고 데이터를 검출하는 수신 장치는, 데이터를 전송하는 표적과 클러터를 구분할 수 있는 장점이 있다. 이에 따라, 본 명세서에서 제안하는 수신 장치는 클러터 제거를 위한 별도의 영상 처리를 수행할 필요가 없으므로, 잡음 처리(noise processing)에 대한 오버헤드(overhead)가 줄어들 수 있다.

또한, 본 발명의 다양한 실시 예들에서, 특정 코드가 적용된 데이터를 전송하는 표적이 기존에 설정된 ROI가 아닌, 다른 표적에 대해 설정된 ROI에서 검출될 수도 있다. 이 경우, 기존의 ROI에서는 해당 표적이 사라진 것으로 인식되고, 다른 ROI에서는 새로운 표적이 검출된 것으로 인식되어 새로운 라벨이 생성되고 ROI가 설정될 수 있다. 이 경우, 수신 장치는 새롭게 검출된 표적이 기존의 ROI에서 사라진 표적임을 즉시 인지할 수는 없으나, 각각의 표적에 대해 검출된 데이터를 비교하여 동일한 표적임을 차후에 알 수 있다.

상술한 절차들을 통해, 수신 장치는 데이터를 전송하는 표적을 추적(tracking) 및 검출하여 ROI를 갱신할 수 있으며, 갱신된 ROI를 통해 표적으로부터 데이터를 검출할 수 있다.

3) 표적에 대해 설정된 라벨을 리셋하는 단계

앞서 설명된 ROI를 설정하는 단계(410) 및 ROI를 갱신하는 단계(420)를 통해, 수신 장치는 특정 코드가 적용된 데이터를 전송하는 표적을 검출 및 추적할 수 있다. 다만, 해당 표적이 빠르게 이동하는 경우(즉, 표적의 이동성이 큰 경우)에는 설정된 ROI에서 사라지는 경우가 빈번하게 발생될 수 있으므로, 해당 표적의 검출에 대한 불확실성이 증가될 수 있다. 이에 따라, 상기 불확실성을 낮추기 위하여, 설정된 라벨(들)을 주기적으로 리셋(reset)(또는, 초기화)하는 방법이 고려될 수 있다. 여기에서, 설정된 라벨들이 리셋되는 주기(period)는 데이터를 검출하는(또는, ROI 및/또는 라벨을 갱신하는) 프레임의 수를 기준으로 설정될 수 있다.

이 경우, 도 4의 S431 단계와 같이, 수신 장치는 초기에 카운터의 값을 '0'으로 설정할 수 있다(즉, Counter == 0). 여기에서, 상기 카운터는 데이터의 검출이 수행되는 프레임의 수에 대한 카운터를 포함한다.

초기에 상기 카운터가 '0'으로 설정된 후, 수신 장치가 ROI 설정 및 갱신을 통해 데이터를 검출한 경우, S433 단계에서, 수신 장치는 카운터의 값을 1만큼 증가시킨다(즉, Counter ++). 즉, 해당 카운터는 데이터가 검출되는 프레임의 수를 카운트한다.

이 후, S435 단계에서, 수신 장치는 해당 카운터의 값이 N 보다 큰 값인지 여부를 판단한다. 여기에서, 상기 N 은 시스템 상으로 미리 설정된 값을 의미할 수 있으며, 이는 해당 표적의 이동성 및 카메라의 성능 등을 고려하여 설정될 수 있다. 예를 들어, 상기 N 은 '30'으로 설정될 수 있으며, 이는, 표적에 대해 설정된 라벨이 30 개의 프레임을 주기로 하여 리셋되는 경우를 의미한다.

수신 장치가 해당 카운터의 값이 N 보다 크지 않은 것으로 판단하는 경우, 수신 장치는 ROI를 설정하는 단계(410) 및 ROI를 갱신하는 단계(420)를 다시 수행할 수 있다.

반면, 수신 장치가 해당 카운터의 값이 N 보다 큰 것으로 판단하는 경우, 수신 장치는, S437 단계에서 라벨 목록(Label_List)을 초기화(즉, Label_List == 0)하고, S439 단계에서 카운터를 초기화(즉, Counter == 0)할 수 있다. 즉, 일정 수의 프레임들에서 데이터가 검출된 경우, 수신 장치는 표적에 대해 설정된 라벨(들)을 초기화하고, 라벨의 리셋을 위한 카운터의 값을 초기화할 수 있다. 이 후, 수신 장치는 ROI를 설정하는 단계(410) 및 ROI를 갱신하는 단계(420)를 다시 수행할 수 있다.

도 8은 본 명세서에서 제안하는 방법이 적용될 수 있는 광 카메라 통신(Optical Camera Communication) 시스템에서 관심 영역(Region Of Interest, ROI)을 설정하는(또는 검출하는) 수신 장치의 동작 순서도를 나타낸다. 도 8은 단지 설명의 편의를 위한 것일 뿐, 본 발명의 범위를 제한하는 것이 아니다.

도 8을 참고하면, 수신 장치가 수신된 3 개 이상의 연속하는 프레임들(즉, 3 개의 연속하는 이미지들)을 이용하여 이미지 차등 기법(image differential scheme)을 수행하고, 각 프레임에는 (광원을 통해) 데이터를 전송하는 표적에 대한 영상이 포함되는 경우가 가정된다. 또한, 상기 데이터는, 특정 코드(specific code)를 구성하는 값들 각각이 이미지 차등 기법에 이용되는 프레임들의 수보다 작은 수까지만 연속하여 배치되도록 설정된 코딩 기법에 기반하여 생성된다. 다시 말해, 상기 수신 장치는, 앞서 도 4에서 설명된 동작들을 수행하는 수신 장치를 의미할 수 있다.

S805 단계에서, 수신 장치는 송신 장치로부터 연속적인 프레임들을 수신한다. 이 경우, 수신 장치는, 상기 특정 코드가 적용된 데이터에 대한 가시광 신호를 전송하는 표적(target)을 포함하는 3 개 이상의 연속적인 프레임들을 수신한다.

이 후, S810 단계에서, 수신 장치는, 수신된 3 개 이상의 연속적인 프레임들을 이용하여, 2 개 이상의 차등 프레임(differential frame)들을 생성한다. 이 때, 차등 프레임들은 프레임들 간 차이의 절대 값을 의미할 수 있다. 여기에서, 차등 프레임들을 생성하는 방법은 도 5에서 설명된 방법과 유사하다.

이 후, S815 단계에서, 수신 장치는, 생성된 두 개 이상의 차등 프레임들을 누적하여 상기 표적을 식별한다. 즉, 수신 장치는 이미지 차등 기법을 이용하여 특정 코드가 적용된 데이터(또는 데이터에 대한 가시광 신호)를 전송하는 표적을 식별할 수 있다.

이 후, S820 단계에서, 수신 장치는, 식별된 표적의 중심 좌표(center coordinate)를 기준으로 하는 일정 영역(certain region)을 상기 표적에 대한 관심 영역(ROI)로 설정한다. 이 때, 수신 장치는, 앞서 설명된 도 6에 나타난 것과 같이 ROI에 대한 마진(margin)을 추가적으로 설정할 수 있다.

이 경우, 앞서 설명된 바와 같이, 수신 장치는, 상기 식별된 표적에 대한 라벨을 생성할 수 있다. 여기에서, 상기 라벨은 상기 특정 코드가 적용된 데이터에 대한 가시광 신호를 전송하는 표적의 후보군(candidates)(즉, 라벨 목록)에 포함될 수 있다. 또한, 수신 장치는, 상기 라벨의 좌표 값을 출력 및/또는 저장할 수도 있다.

또한, 앞서 설명된 바와 같이 상기 표적에 대한 ROI 값을 갱신하기 위하여, 수신 장치는, 상기 수신된 3 개 이상의 연속적인 프레임들에 연속하는 다음 프레임(next frame)을 수신하고, 상기 수신된 3 개 이상의 연속적인 프레임들 중 최초에 수신된 프레임을 제외한 프레임들과 상기 수신된 다음 프레임을 이용하여 2 개 이상의 다른 차등 프레임들을 생성할 수 있다. 여기에서, 상기 두 개 이상의 다른 차등 프레임들은 상기 관심 영역에 해당하는 부분에 기반하여 생성된다. 이 후, 생성된 2 개 이상의 다른 차등 프레임들을 누적하여 하나 이상의 표적들을 식별하고, 식별된 하나 이상의 표적들에 대한 하나 이상의 관심 영역들을 설정할 수 있다.

즉, 수신 장치는, 새롭게 수신되는 프레임 및 이전에 수신된 일부 프레임들을 이용하여 앞서 설명된 ROI 기반의 이미지 차등 기법을 수행할 수 있다. 여기에서, 상기 식별된 하나 이상의 표적들은, 앞서 초기 이미지 차등 기법(즉, 수신된 3 개 이상의 연속적인 프레임들을 이용하는 이미지 차등 기법)을 통해 식별된 표적 및/또는 영상 처리에 따라 생성된 클러터(clutter)를 포함할 수 있다. 이 때, 상기 식별된 표적이 상기 하나 이상의 표적들에 포함되는 경우, 수신 장치는, 상기 생성된 라벨의 좌표를 상기 다음 프레임에 포함된 상기 식별된 표적에 해당하는 좌표로 갱신할 수 있다. 또한, 상기 하나 이상의 표적들에 상기 식별된 표적을 제외한 다른 표적(예: 클러터)이 존재하는 경우, 수신 장치는, 상기 다른 표적에 대한 라벨을 생성할 수 있으며, 해당 라벨은 상기 후보군(candidate)에 포함될 수 있다.

또한, 본 발명의 다양한 실시 예들에서, 앞서 설명된 것과 같이, 수신 장치가 카운터(counter)를 이용하여 생성된 라벨 목록(즉, 후보군)을 초기화하는 방법이 고려될 수 있다. 즉, 수신 장치는, 상기 하나 이상의 관심 영역들을 이용하여, 상기 식별된 하나 이상의 표적들에 대한 데이터를 검출하고, 상기 데이터가 검출된 경우 카운터를 증가시킬 수 있다. 이 때, 상기 카운터의 값이 미리 설정된 임계 값(예: 30 frames)보다 큰 경우, 수신 장치는 라벨 목록(즉, 후보군) 및 상기 카운터를 초기화할 수 있다.

이상에서 설명된 실시 예들은 본 발명의 구성요소들과 특징들이 소정 형태로 결합된 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려되어야 한다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시 예를 구성하는 것도 가능하다. 본 발명의 실시 예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시 예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다. 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시 예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함시킬 수 있음은 자명하다.

본 발명에 따른 실시 예는 다양한 수단, 예를 들어, 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 본 발명의 일 실시 예는 하나 또는 그 이상의 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.

펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 일 실시 예는 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차, 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리는 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.

본 발명은 본 발명의 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 통상의 기술자에게 자명하다. 따라서, 상술한 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (8)

1. 광 카메라 통신(Optical Camera Communication) 시스템에서 관심 영역(Region Of Interest, ROI)을 설정하는 방법에 있어서,
   특정 코드(specific code)가 적용된 데이터에 대한 가시광 신호를 전송하는 표적(target)을 포함하는 세 개 이상의 연속적인 프레임들(consecutive frames)을 수신하는 과정과,
   상기 수신된 세 개 이상의 연속적인 프레임들을 이용하여, 두 개 이상의 차등 프레임(differential frame)들을 생성하는 과정과,
   상기 생성된 두 개 이상의 차등 프레임들을 누적하여 상기 표적(target)을 식별하는 과정과,
   상기 식별된 표적의 중심 좌표(center coordinate)를 기준으로 하는 일정 영역(certain region)을 상기 표적에 대한 관심 영역으로 설정하는 과정을 포함하고,
   상기 특정 코드를 구성하는 값들 각각은, 상기 세 개 이상의 연속적인 프레임들의 수(number)보다 작은 수까지만 연속되도록 설정되는 방법.
   
2. 제 1항에 있어서,
   상기 식별된 표적에 대한 라벨(label)을 생성하는 과정을 더 포함하고,
   상기 라벨은, 상기 특정 코드가 적용된 데이터에 대한 가시광 신호를 전송하는 표적의 후보군(candidates)에 포함되는 방법.
   
3. 제 2항에 있어서,
   상기 수신된 세 개 이상의 연속적인 프레임들에 연속하는 다음 프레임(next frame)을 수신하는 과정과,
   상기 수신된 세 개 이상의 연속적인 프레임들 중 최초에 수신된 프레임을 제외한 프레임들과 상기 수신된 다음 프레임을 이용하여 두 개 이상의 다른 차등 프레임들을 생성하는 과정과, 상기 두 개 이상의 다른 차등 프레임들은 상기 관심 영역에 해당하는 부분에 기반하여 생성되고,
   상기 생성된 두 개 이상의 다른 차등 프레임들을 누적하여 하나 이상의 표적들을 식별하는 과정과,
   상기 식별된 하나 이상의 표적들에 대한 하나 이상의 관심 영역들을 설정하는 과정을 더 포함하는 방법.
   
4. 제 3항에 있어서,
   상기 식별된 표적이 상기 하나 이상의 표적들에 포함되는 경우, 상기 생성된 라벨의 좌표(coordinate)를 상기 다음 프레임에 포함된 상기 식별된 표적에 해당하는 좌표로 갱신(update)하는 과정을 더 포함하는 방법.
   
5. 제 4항에 있어서,
   상기 하나 이상의 표적들에 상기 식별된 표적을 제외한 다른 표적이 존재하는 경우, 상기 다른 표적에 대한 라벨을 생성하는 과정을 더 포함하고,
   상기 다른 표적에 대한 라벨은, 상기 후보군에 포함되는 방법.
   
6. 제 3항에 있어서,
   상기 하나 이상의 관심 영역들을 이용하여, 상기 식별된 하나 이상의 표적들에 대한 데이터를 검출하는 과정과,
   상기 데이터가 검출된 경우, 카운터(counter)를 증가시키는 과정과,
   상기 카운터의 값이 미리 설정된 임계 값(threshold value)보다 큰 경우, 상기 후보군 및 상기 카운터를 초기화하는 과정을 더 포함하는 방법.
   
7. 광 카메라 통신(Optical Camera Communication) 시스템에서 신호를 수신하여 관심 영역(Region Of Interest, ROI)을 설정하는 장치에 있어서,
   특정 코드(specific code)가 적용된 데이터에 대한 가시광 신호를 전송하는 표적(target)을 포함하는 세 개 이상의 연속적인 프레임들(consecutive frames)을 수신하는 카메라 모듈, 및
   상기 수신된 세 개 이상의 연속적인 프레임들을 이용하여, 두 개 이상의 차등 프레임(differential frame)들을 생성하고, 상기 생성된 두 개 이상의 차등 프레임들을 누적하여 상기 표적(target)을 식별하고, 상기 식별된 표적의 중심 좌표(center coordinate)를 기준으로 하는 일정 영역(certain region)을 상기 표적에 대한 관심 영역으로 설정하는 관심 영역 추출 모듈을 포함하고,
   상기 특정 코드를 구성하는 값들 각각은, 상기 세 개 이상의 연속적인 프레임들의 수(number)보다 작은 수까지만 연속되도록 설정되는 장치.
   
8. 광 카메라 통신(Optical Camera Communication) 시스템에 있어서,
   특정 코드(specific code)가 적용된 데이터에 대한 가시광 신호를 전송하는 송신 장치; 및
   상기 가시광 신호를 수신하는 수신 장치를 포함하되,
   상기 송신 장치는,
   상기 특정 코드를 변조된 신호에 맵핑하여 상기 데이터를 생성하는 매핑 모듈,
   상기 데이터에 따라 적어도 하나의 LED(Light Emitting Diode)의 온(On) 또는 오프(Off) 상태를 제어하는 구동 신호를 생성하는 LED 구동 모듈, 및
   상기 구동 신호에 따라 상기 적어도 하나의 LED를 통해 상기 데이터에 대한 가시광 신호를 전송하는 LED 모듈을 포함하며,
   상기 수신 장치는,
   상기 가시광 신호를 전송하는 표적(target)을 포함하는 세 개 이상의 연속적인 프레임들(consecutive frames)을 수신하는 카메라 모듈, 및
   상기 수신된 세 개 이상의 연속적인 프레임들을 이용하여, 두 개 이상의 차등 프레임(differential frame)들을 생성하고, 상기 생성된 두 개 이상의 차등 프레임들을 누적하여 상기 표적(target)을 식별하고, 상기 식별된 표적의 중심 좌표(center coordinate)를 기준으로 하는 일정 영역(certain region)을 상기 표적에 대한 관심 영역으로 설정하는 관심 영역 추출 모듈을 포함하고,
   상기 특정 코드를 구성하는 값들 각각은, 상기 세 개 이상의 연속적인 프레임들의 수(number)보다 작은 수까지만 연속되도록 설정되는 시스템.

Images