KR102223316B1 - 그라디언트 벡터들의 비교 결과에 기초한 차량 led 조명 상태 판단 방법 및 장치 - Google Patents

Abstract

LED 조명의 그라디언트 벡터를 통해 차량간 LED 조명 상태를 판단하는 방법 및 장치에 관한 기술이 제공된다.

Description

그라디언트 벡터들의 비교 결과에 기초한 차량 LED 조명 상태 판단 방법 및 장치{Apparatus and method for determining status of vehicle LED lighting based on comparison of gradient vectors}

이하, 차량간 LED 조명 상태를 판단하는 방법 및 장치에 관한 기술이 제공된다.

차량 통신(Vehicle communication)은 차량 간의 안전 경고 및 교통 정보를 교환할 수 있는 단거리 내지 중거리 통신 시스템에 관련될 수 있다. 예를 들어, 차량은 차선 변경을 요구하는 신호를 보내고 다른 차량에서 확인 신호를 기다릴 수 있다. 비상 제동의 경우 비상 제동 신호가 다른 차량으로 보내질 수 있다. 차량이 속도를 높이거나 낮추면 차량 통신을 통해 다른 차량에도 경고 신호가 전송된다. 또한, 차량 추적 기능을 사용하면 차량의 ID를 다른 차량으로 보내, 차도에 주행중인 차량의 지도를 만들 수 있다. 차량 추적, 차선 탐지, 보행자 감지 등과 같은 차량 추적 및 기타 감지 기술과 함께 차량 통신은 보다 안전하고 조정된 운송 네트워크를 가져오고 궁극적으로 지능형 교통 시스템 및 자율 차량 네트워크를 가능하게 한다. 이 때문에, 차량 통신은 집중적으로 연구되어 왔으며, 최근에는 광학 카메라 통신(OCC)이라는 새로운 기술은 많은 이점 때문에 차량 통신을 위한 유망한 후보 기술로 부상했다.

대한민국 특허등록공보 제10-0736356호(등록일: 2007년 06월 29일) 대한민국 특허공개공보 제 10-2014-0096880호(공개일: 2014년 08월 06일)

일실시예에 따른 LED 조명 상태 판단 방법은 외부 LED 가시광 신호의 수신에 기초하여, LED 이미지 프레임을 생성하는 단계, 상기 LED 이미지 프레임을 복수 개의 LED 단위 영역들로 분할하는 단계, 상기 분할된 단위 영역들 중 대상 영역을 선택하는 단계, 상기 대상 영역 내 미리 지정된 복수 개의 픽셀 위치들에서의 그라디언트 벡터를 계산하는 단계, 상기 복수 개의 픽셀 위치들에서 개별적으로 미리 지정된 방향을 가지는 비교 벡터들을 설정하는 단계, 상기 비교 벡터들과 상기 그라디언트 벡터들을 개별적으로 상기 복수 개의 픽셀 위치들마다 비교하는 단계, 상기 비교 벡터들과 상기 그라디언트 벡터들의 비교 결과에 기초하여, 상기 대상 영역의 LED 조명 상태를 판단하는 단계를 포함할 수 있다.

또한, 상기 대상 영역을 선택하는 단계는 상기 분할된 단위 영역들의 각각을 순차적으로 상기 대상 영역으로 선택하는 단계를 포함할 수 있다.

다른 일실시예에 따른 상기 비교하는 단계는 대응되는 상기 비교 벡터와 상기 그라디언트 벡터의 방향을 비교하는 단계를 포함할 수 있다.

일측에 따른 상기 벡터의 방향을 비교하는 단계는 대응되는 상기 비교 벡터와 상기 그라디언트 벡터를 내적시키는 단계, 및 상기 비교 벡터와 상기 그라디언트 벡터의 내적 값을 합산하는 단계를 포함하고, 상기 판단하는 단계는 상기 합산된 벡터의 내적 값의 부호에 따라 상기 대상 영역의 조명 상태를 판단하는 단계를 포함할 수 있다.

일실시예에 따르면, 상기 조명 상태를 판단하는 단계는 상기 내적 값의 부호가 제1 부호이면, 상기 대상 영역의 조명은 켜진 상태이고, 상기 내적 값의 부호가 상기 제1 부호와 구별되는 제2 부호이면, 상기 대상 영역의 조명은 꺼진 상태라고 판단하는 단계를 더 포함할 수 있다.

또한, 상기 비교하는 단계는 상기 픽셀 위치에 인접한 상기 대상 영역의 경계로부터 상기 대상 영역 내 내부점을 향하는 방향을 가지는 비교 벡터들과 상기 그라디언트 벡터들을 비교하는 단계를 포함할 수 있다.

도 1은 일실시예에 따른 차량 간 LED 통신의 방법을 도시한 흐름도이다.
도 2는 일실시예에 따른 LED 패널과 LED 비트를 감지하는 것에 관한 도면이다.
도 3은 일실시예에 따른 그레이스케일 레벨에 기초하여 LED 비트를 감지하는 것을 도시한 도면이다.
도 4는 일실시예에 따라 LED 패널의 그레이스케일 레벨이 차이를 보이는 것을 나타낸 도면이다.
도 5는 일실시예에 따라 LED 패널에서 빛 번짐 효과(Blooming effect)가 나타나는 것을 도시한 도면이다.
도 6은 일실시예에 따라 LED의 조명 상태를 판단하기 위한 방법을 나타낸 도면이다.
도 7은 일실시예에 따라 LED의 조명 상태를 판단하기 위한 방법의 흐름도를 도시한 도면이다.
도 8은 일실시예에 따라 복수 개의 그라디언트 벡터들과 비교 벡터들을 비교하는 것을 도시한 도면이다.
도 9는 일실시예에 따라 LED 조명 상태를 판단한 결과값을 나타낸 도면이다.
도 10은 일실시예에 따라 결과값들을 분류하는 방법을 도시한 도면이다.
도 11은 일실시예에 따라 복수 개의 LED 조명 상태 판단 결과값을 도시한 그래프이다.
도 12는 일실시예에 따라 LED 조명 상태를 판단하는 장치의 구성을 나타낸 블록도이다.

실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 1은 일실시예에 따른 차량 간 LED 통신의 방법을 도시한 흐름도이다.

일실시예에 따른 VOCC(Vehicle optical camera communication) 시스템의 시스템 구조가 도 1에 제시 되어있다. 송신 측에서는 오류 정정 부호화 및 변조 후에 LED 패널 내 LED 칩의 On 및 Off 상태에 따라 디지털 비트 1과 0이 전달될 수 있다. 수신 측에서는 LED 패널의 이미지를 처리하여 내장된 데이터를 추출한 다음, 이를 디코딩하여 원본 데이터를 얻을 수 있다. 도 1에 도시된 바와 같이, 이미지 처리 컴포넌트는 LED 패널 검출 및 LED 비트 검출의 두 개의 컴포넌트를 포함한다. 상기 LED 패널 검출 및 LED 비트 검출은 서로 다른 목적을 가지고 있으며, 알고리즘은 다른 클래스를 사용할 수 있다. LED 패널 검출은 LED 비트 검출과 별도로 처리해야할 수 있다. LED 패널 검출과 LED 비트 검출은 도 2를 통해 설명하도록 한다.

도 2는 일실시예에 따른 LED 패널과 LED 비트를 감지하는 것에 관한 도면이다.

도 2는 LED 패널과 LED 비트 검출 간의 차이점을 보여준다. 도 2의 왼쪽 도면은 LED 패널 검출에서 전체 이미지가 처리되어 이미지의 LED 패널 좌표를 감지하는 것을 도시한 것이다. 도 2의 오른쪽 도면은 LED 비트 검출에서 감지 된 LED 패널을 면밀히 검사하여 패널의 각 LED 칩의 켜짐 또는 꺼짐 상태를 찾는 것을 도시한 도면이다. LED 칩의 켜짐 또는 꺼짐 상태는 논리 비트 1 및 0으로 변환될 수 있다. 그 후, 오류를 수정하는 디코딩을 할 수 있고, 원본 전송 데이터가 획득될 수 있다. 후술하는 실시예들은 VOCC에서 높은 BER(Bit error rate)을 달성하는데 필요한 LED 비트 검출 알고리즘에 관한 실시예들이다. 후술하는 실시예들에서는 LED 패널의 좌표는 미리 얻어 졌다고 가정한다. 시뮬레이션에서 LED 패널의 좌표는 간단한 LED 패널 감지 알고리즘을 사용하여 얻을 수 있다.

도 3은 일실시예에 따른 그레이스케일 레벨에 기초하여 LED 비트를 감지하는 것을 도시한 도면이다.

원칙적으로, LED 패널이 위치한 후에는 선명한 이미지에서 LED의 켜짐 및 꺼짐 상태를 쉽게 감지할 수 있다. 도 3에서 설명한 바와 같이, 각 LED 칩의 상태는 각 LED 칩의 그레이스케일 레벨을 임계 값과 비교함으로써 간단히 결정될 수 있다. 이미지 센서 및 비교기 회로에 의해, LED 패널 이미지는 2진화될 수 있다. 이미지는 LED가 켜진 상태가 흰색이고, LED가 꺼진 상태는 검은색인 흑백 이미지로 구성될 수 있다. LED의 휘도는 배경에서 다른 물체의 휘도보다 훨씬 높아야, 이미지가 흑과 백으로 2진화될 수 있다.

출력된 그레이스케일 이미지는 미리 결정된 임계 값을 사용하여 2 진화될 수 있다. 임계 값은 테스트 이미지에서 LED가 켜졌다고 판단되는 가장 낮은 그레이스케일 값일 수 있다. 프레임 간의 그레이스케일 레벨 변화의 영향을 줄이기 위해 0부터 255까지의 범위에 있는 LED의 그레이스케일 레벨은 고정된 표준값을 사용하여 -1에서 1까지의 범위로 정규화될 수 있다. 이 표준값은 모든 LED가 켜져있는 테스트 백색 LED 패널의 최대 그레이스케일 레벨로 결정될 수 있다. 그레이 스케일은 -1에서 1까지의 범위로 조정되므로 켜기 및 끄기 LED를 구분하기위한 임계값은 0이 될 수 있다. 프레임 사이 그레이스케일 변화의 영향은 프리앰블 프레임을 통해 온 및 오프 LED의 그레이 스케일을 반복적으로 측정함으로써 효과적으로 제거될 수 있다. 따라서 임계 값은 1000 프레임마다 업데이트 될 수 있다.

도 4는 일실시예에 따라 LED 패널의 그레이스케일 레벨이 차이를 보이는 것을 나타낸 도면이다.

카메라에 의해 설정된 주어진 ISO 속도 S에서 이미지 센서 내의 픽셀에서 그레이 스케일 값 G가 수학식 1에 따라 결정될 수 있다.

여기서, H는 화소에 도달하는 빛의 양에 대응하는 발광 노광량이고,

는 그레이스케일 레벨을 얻기 위해 ISO 속도 S에서 요구되는 표시된 노광량일 수 있다.

Off LED에서 이미지 센서로 들어오는 빛은 LED 표면에서 반사되는 주변 광일 수 있다. 따라서, Off LED 픽셀의 발광 노광은 수학식 2를 통해 계산될 수 있다.

여기서, Ev는 주변 광의 조도, R은 LED 표면의 반사율, t는 카메라의 노광 시간, N은 렌즈의 F- 넘버, K는에 의해 결정되는 반사광 측정기 보정 상수이다.

On LED에서 이미지 센서로 들어오는 빛은 LED에 의해 방출 된 빛과 LED 표면에서 반사 된 주변 광선의 조합일 수 있다. 따라서, On LED 픽셀의 발광 노광은 수학식 3을 통해 계산될 수 있다.

Lv는 LED의 조도일 수 있다.

수학식 1, 2, 3로부터 계산되는 On 및 Off LED의 그레이스케일 레벨은 차량 및 상황 등의 다양한 요인에 의해 결정될 수 있다. 도 4에 도시 된 바와 같이, 도 4a의 온 LED의 그레이 스케일은 도 4b의 오프 LED의 그레이 스케일보다 훨씬 낮다. 따라서 모든 상황에서 모든 차량의 LED 상태를 정확하게 구별하는 데 사용할 수 있는 고정 임계 값은 없고, 상황에 따라 적응적으로(adaptably) 사용할 수 있는 변동 임계 값을 설정해야 한다.

도 5는 일실시예에 따라 LED 패널에서 빛 번짐 효과(Blooming effect)가 나타나는 것을 도시한 도면이다.

이미지 획득시 많은 결함으로 인해 캡처 된 LED 이미지에 흐려짐이 생겨 그레이 스케일이 무효화 될 수 있다. 두 가지 주요 결점은 Airy 회절(Airy diffraction pattern)과 광학 수차(Optical aberrations)이다. Airy 회절은 빛의 휘몰아치는 본질에 의해 야기되는 피할 수 없는 현상이다. Airy 회절은 캡쳐된 이미지에서 물체의 경계로부터 연장되는 빛의 스트라이프 패턴을 생성한다. 그 효과는 도 5에서 볼 수 있듯이 들어오는 이미지를 Airy 디스크 회절 패턴으로 컨볼빙(convolving)하는 것으로 수학적으로 설명 될 수 있다. 광학 수차는 렌즈 생산에서 결함으로 형성된 이미지의 왜곡이다. Airy 회절과 마찬가지로 광학 수차는 점으로 초점을 맞추기보다는 영역 위로 빛을 분산시켜 이미지 흐리게 만든다.

이미지가 흐려져 것에 따라 도래되는 결과는 도 6에서 도시된 LED 블루밍 간섭(Blooming interference)이다. 간섭 때문에 LED의 그레이 스케일 레벨은 주변 LED에 의해 심각하게 변경될 수 있다. 예를 들어, 선술한 도 4b는 이웃 LED로부터의 간섭에 의해 심각한 영향을 받으므로, 정확한 LED 조명 상태 판단이 어려울 수 있다.

도 6은 일실시예에 따라 LED의 조명 상태를 판단하기 위한 방법을 나타낸 도면이다.

먼저 LED 패널 감지 알고리즘을 사용하여 이미지의 전체 LED 패널 위치를 결정할 수 있다. 이 알고리즘에 따른 출력은 볼록 선체(Convex hull)이며, 전체 LED 패널 영역을 포함하는 최소 볼록 다각형(Convex polygon)으로 구성될 수 있다. 일실시예에 따르면, LED 패널은 직사각형 형태일 수 있다. 따라서 얻어진 볼록 선체는 사각형이거나 대부분의 경우 직사각형일 수 있다.

어레이의 LED 수가 제공되면, LED 패널의 전체 영역은 같은 수의 동등한 하위 영역으로 나뉠 수 있다. 도 6에 도시된 실시예에 따르면, LED 패널은 8 x 8 개의 LED를 포함하고, LED 패널은 64개의 동일한 부분 영역으로 분할된다.

이러한 각 하위 영역은 어레이의 LED 단위 영역으로 간주된다. 일단 LED의 영역이 결정되면, LED 단위 영역 및 이웃하는 LED 단위 영역 내부의 픽셀로부터 그 LED의 특징을 얻을 수 있다. 위에 설명된 절차에 관해 두 가지 측면에서 설명이 필요할 수 있다.

첫째, LED 단위 영역은 크기가 작기 때문에 이미지의 단일 LED를 직접 감지하기가 어려울 수 있다. 또한 LED가 꺼지면 LED를 직접 감지하는 것이 거의 불가능할 수 있다. 그러나, 더 크고 높은 휘도를 가진 패널 내부의 On LED의 존재로 인해, 패널은 이미지의 배경에 비해 더 쉽게 감지될 수 있다. 따라서, LED 단위 영역을 직접 감지하는 것 보다 전체 LED 패널을 감지하는 것이 더 쉬울 수 있다. 이에 따라, 각 LED의 영역은 도 6과 같이 감지된 LED 패널을 나누어 간접적으로 얻을 수 있습니다. 또한, 각 LED 단위 영역의 면적은 LED 패널의 크기에 비례할 수 있다. 결과적으로 LED 패널이 감지되면, 하나의 패널의 LED 단위 영역은 LED의 크기에 관계없이 결정될 수 있다.

둘째, 영역 분할을 위한 어레이의 LED 수를 알아야 한다. 일실시예에 따르면, LED 수는 VOCC 표준에 지정된 고정 번호이어야 한다. 또한,LED 수는 두 차량 간의 통신 채널 설정에 필요한 프리앰블 프레임을 통해 쉽게 얻을 수 있다.

LED의 조명 상태를 정확하게 검출하기 위해, LED on과 off 상태의 차이점을 구분할 수 있는 특징을 결정 해야한다. 선택된 특징은 또한 LED 그레이 스케일 변화 및 LED 블루밍 간섭과 같은 문제를 극복 해야한다. 이러한 기준에 기초하여, 평균 그레이스케일 비 (AGR), 그라디언트 내측 경도 (GRI) 및 인접 그레이스케일 비 (NGR)의 3 가지 특징이 제안된다.

평균 그레이스케일 비(AGR) 특징을 이용하여 조명 상태를 검출하는 것은 전체 LED 패널에 대한 LED 단위 영역의 비율을 이용하여 LED 조명 상태를 검출하는 것이다. 그라디언트 내측 경도(GRI) 특징을 이용하여 조명 상태를 검출하는 것은 LED 단위 영역 내의 복수개의 그라디언트의 방향성을 이용하여 LED 조명 상태를 검출하는 것이다. 인접 그레이스케일 비(NGR) 특징을 이용하여 조명 상태를 검출하는 것은 대상 LED 단위 영역 주변의 이웃 영역들의 그레이스케일 레벨을 이용하여 LED 조명 상태를 검출하는 것이다. 일실시예에 따르면, 3가지 중 적어도 하나의 특징을 이용하여 LED 조명 상태를 검출할 수 있는데, 복수개의 특징을 이용하는 경우, 후술하는 도 10 및 도 11에 기초하여 결과값들이 분류될 수 있다.

도 7은 일실시예에 따라 LED의 조명 상태를 판단하기 위한 방법의 흐름도를 도시한 도면이다.

단계(710)에서, 프로세서는 외부 LED 가시광 신호의 수신에 기초하여, LED 이미지 프레임을 생성할 수 있다. 외부 LED 가시광 신호는 LED 가시광이 매질을 통해 전파되어 입력 장치에 수신되는 신호일 수 있다. 예시적으로, 외부 LED 가시광 신호는 외부 LED의 가시광이 전파되어 광학 센서 또는 카메라에 의해 검출되는 신호일 수 있다. 프로세서는 수신된 가시광 신호를 LED 이미지 프레임으로 변환시켜 생성할 수 있다.

단계(720)에서, 프로세서는 LED 이미지 프레임을 복수개의 LED 단위 영역들로 분할할 수 있다. 프로세서는 LED 단위 영역을 사용자가 미리 지정하거나 표준에 의해 정해진 개수에 따라 분할할 수 있다. 예시적으로, 프로세서는 이미지 프레임을 8 x 8의 LED 단위 영역으로 분할할 수 있다. 프로세서는 분할된 단위 영역들 중 대상 영역을 선택할 수 있다.

일실시예에 따르면, 프로세서는 분할된 단위 영역들의 각각을 순차적으로 대상 영역으로 선택할 수 있다. 프로세서가 순차적으로 대상 영역을 선택하고, 각각의 대상 영역에 대해 후술하는 단계들을 수행하므로, 분할된 단위 영역들 모두에 대해 LED 조명 상태를 판단할 수 있다.

단계(730)에서, 프로세서는 대상 영역 내 미리 지정된 복수개의 픽셀 위치들에서의 그라디언트 벡터를 계산할 수 있다. 그라디언트 벡터는 픽셀 위치로부터 픽셀 위치 주변의 픽셀들의 데이터와의 차이를 표현하는 벡터일 수 있다. 데이터는 픽셀들의 조명 값 또는 그레이스케일일 수 있다. 벡터는 크기와 방향을 포함하고 있으므로, 픽셀 위치와 주변 픽셀 위치에서의 데이터 중 어느 것이 더 높은 값을 갖는 데이터인지 표현할 수 있다. 예시적으로 픽셀 위치가 주변 픽셀 위치보다 높은 밝기 값을 갖는 경우, 벡터의 방향은 주변 픽셀 위치로부터 픽셀 위치로 향할 수 있다.

단계(740)에서, 프로세서는 복수 개의 픽셀 위치들에서 개별적으로 미리 지정된 방향을 가지는 비교 벡터들을 설정할 수 있다. 비교 벡터들은 단계(730)에서 그라디언트 벡터가 계산된 픽셀 위치에 대응되는 위치에 설정될 수 있다.

단계(750)에서, 프로세서는 비교 벡터들과 그라디언트 벡터들을 개별적으로 복수 개의 픽셀 위치들마다 비교할 수 있다. 프로세서가 비교 벡터들과 그라디언트 벡터들을 비교하는 방법은 도 8을 통해 상세히 후술한다.

단계(760)에서, 프로세서는 비교 벡터들과 그라디언트 벡터들의 비교 결과에 기초하여, 대상 영역의 LED 조명 상태를 판단할 수 있다. LED 조명 상태는 on 및 off 중 적어도 하나일 수 있다.

도 8은 일실시예에 따라 복수 개의 그라디언트 벡터들과 비교 벡터들을 비교하는 것을 도시한 도면이다.

일실시예에 따른 프로세서는 LED 단위 영역 내 복수개의 픽셀 위치에 그라디언트 벡터를 계산할 수 있다. 그라디언트 벡터의 방향을 계산하는 것은 도 7에서 선술하였으므로, 자세한 과정은 생략한다.

일실시예에 따르면, 프로세서는 그라디언트 벡터들과 비교 벡터들의 방향을 비교할 수 있다. 벡터들의 방향을 비교하는 것은 픽셀 위치에 대응되는 비교 벡터와 그라디언트 벡터를 내적하고, 복수개의 픽셀 위치에서 계산된 비교 벡터들과 그라디언트 벡터들의 내적 값을 합산하여 비교하는 것일 수 있다.

비교 벡터들과 그라디언트 벡터들을 내적한 결과는 수학식 4로 계산될 수 있다.

여기서,

는 그라디언트 벡터이고, r(x,y)는 비교 벡터이다. 비교 벡터인 r(x,y)는 방향을 갖는 단위 벡터로 수학식 5로 계산될 수 있다.

는 비교하고자 하는 픽셀 위치이다.

프로세서는 합산된 벡터의 내적 값의 부호에 따라 대상 영역의 조명 상태를 판단할 수 있다. 내적 값의 부호가 제1 부호이면, 프로세서는 대상 영역의 LED 조명은 켜진 상태이고, 내적 값의 부호가 제1 부호와 구별되는 제 2 부호이면, 대상 영역의 조명은 꺼진 상태라고 판단할 수 있다. 제1 부호와 제2 부호는 비교 벡터들의 방향에 따라 결정될 수 있다.

예시적으로, LED 단위 영역들 중 대상 영역(810, 811)의 조명 상태에 따라 그라디언트 벡터들의 방향은 달라질 수 있다. 대상 영역(810)의 조명이 on인 경우, 대상 영역의 중심을 향할수록 휘도가 높아질 수 있고, 그라디언트 벡터들의 방향은 중심을 향할 수 있다. 대상 영역(811)의 조명이 off인 경우, 대상 영역의 중심을 향할수록 휘도가 낮아질 수 있고, 그라디언트 벡터들의 방향은 대상영역의 경계를 향할 수 있다.

대상 영역에 대응하는 영역(820) 내 비교 벡터들의 방향은 예시적으로, 픽셀 위치에 인접한 영역(820)의 경계로부터 영역(820) 내 내부점을 향하는 방향일 수 있다. 영역(820) 내 내부점은 영역(820)의 중심일 수 있다.

프로세서는 그라디언트 벡터들과 비교 벡터들의 방향을 비교할 수 있는데, 선술하였듯이, 내적하여 계산된 결과 값의 합산에 기초하여 LED 단위 영역의 조명 상태를 판단할 수 있다. 복수 개의 픽셀 위치에서 그라디언트 벡터들과 비교 벡터들이 같은 방향으로 배열된 경우(830), 합산된 벡터 내적 값은 양의 부호를 가질 수 있다. 반면, 복수 개의 픽셀 위치에서 그라디언트 벡터들과 비교 벡터들이 다른 방향으로 배열된 경우(631), 합산된 벡터 내적 값은 음의 부호를 가질 수 있다. 도 8에 도시된 일실시예에 따르면, 비교 벡터들의 방향은 LED가 on 상태인 경우의 이상적인 그라디언트 벡터들과 같은 방향이므로, 프로세서는 합산된 벡터 내적 값이 양수인 경우(630), 대상 영역의 LED 조명은 켜진 상태라고 판단할 수 있다. 반면, 프로세서는 합산된 벡터의 내적 값이 음수인 경우(631), 대상 영역의 LED 조명은 꺼진 상태라고 판단할 수 있다.

도 9는 일실시예에 따라 LED 조명 상태를 판단한 결과값을 나타낸 도면이다.

결과 그래프(910)는 LED 단위 영역들의 평균 그레이스케일 레벨에 따라 LED 조명 상태를 판단한 결과 그래프이다. LED status가 on인 상태와 off인 상태의 평균 그레이스케일 레벨이 오버랩된 부분이 많아, LED 평균 그레이스케일 레벨 만으로는 LED 조명 상태를 쉽게 판단할 수 없다.

반면, 일실시예에 따른 결과 그래프(920)는 도 7 내지 도 8을 통해 선술하였던 방법으로 LED 조명 상태를 판단한 결과 그래프이다. LED status가 on인 상태와 off인 상태의 LED GRI(Gradient radial inwardness) 값은 0을 기준으로 구별되고, 오버랩된 부분은 결과 그래프(910)보다 적은 것을 알 수 있다. 따라서, LED 평균 그레이스케일 값으로 조명 상태를 판단하는 것 보다 그라디언트 벡터와 비교 벡터를 비교하여 조명 상태를 판단하는 것이 더 정확하다.

도 10은 일실시예에 따라 결과값들을 분류하는 방법을 도시한 도면이다.

도 10에 따라 결과값들을 분류하는 방법은 모든 오브젝트가 도 10a에 표시된 것 처럼 두개 이상의 클래스로 분류되는 training data set을 필요로 한다. 임의의 n차원 벡터 w가 주어지면, n은 각 객체의 특징(feature)의 수이고, w로 설정된 트레이닝 내의 모든 객체 x의 투영은 수학식6으로 주어질 수 있다.

수학식 6을 통해 w와 x를 내적한 결과값을 추출할 수 있다.

과

은 각각 w벡터에 투영되는 클래스 0과 1의 평균값일 수 있고,

과

은 각각 w벡터에 투영되는 클래스 0과 1의 표준편차값일 수 있다.

일실시예에 따라 결과값들을 분류하는 방법은 도 10b에 설명된 것처럼 클래스 간의 투영된 결과값들의 분산이 최대이고 클래스 내의 투영된 결과값들의 분산이 최소가 되도록 하는 판별 벡터w를 찾을 수 있다. 즉, 결과값들을 분류하는 방법은 수학식 8의 비율을 최대화하는 판별 벡터 w를 찾을 수 있다.

여기서,

는 클래스들 간의 분산이고,

는 클래스 내 분산이다.

수학식 9에 기초하여,

가 최대가 되는 판별 벡터 w를 계산할 수 있다.

여기서, 수학식 10를 이용하여 클래스 내 공분산 행렬 을 구할 수 있다.

도 11은 일실시예에 따라 복수 개의 LED 조명 상태 판단 결과값을 도시한 그래프이다.

LED 비트 검출에 도 10에 선술한 방법을 적용하기 위해 복수개의 LED 패널 프레임 집합을 이용할 수 있다. 각 프레임의 전송된 비트는 알려져 있고, 각 프레임의 LED의 실제 상태도 알려져 있다. LED 패널 검출 및 LED 특징 추출을 수행 한 후, 모든 프레임에서 3 차원 LED 특징 벡터의 훈련 세트

를 얻을 수 있다.

각 LED의 알려진 상태에 따라 두 세트의 LED 특성 벡터

,

가 얻어질 수 있다. 그 후, 두 집합 S0 및 S1의 평균 벡터 m0 및 m1이 각각 계산된다.

공분산 행렬

은 수학식 9에 기초하여 계산될 수 있다.

여기서,

는 모든 LED 특징 벡터들로부터 계산된 3 x 3 공분산 행렬이다.

여기서,

는 특징

와

사이의 분산이다.

도 10에서 선술한 방법으로, 판별 벡터 w를 구하고, 입력 프레임에서 추출한 특징 벡터 u에 기초하여 LED 조명 상태 판단할 수 있다.

여기서, thres는 세트S의 모든 특징 벡터가 투영된 값의 평균이다.

예시적으로, 도 11에 도시된 바와 같이 100개의 샘플 프레임을 이용하여, LED의 on과 off 상태를 구별할 수 있는 판별 벡터 w를 찾을 수 있다.

도 12는 일실시예에 따라 LED 조명 상태를 판단하는 장치(1200)의 구성을 나타낸 블록도이다.

장치(1200)는 이미지 생성부(1210), 메모리(1220), 프로세서(1230)를 포함할 수 있다. 이미지 생성부(1210)는 외부 LED 가시광 신호의 수신에 기초하여, LED 이미지 프레임을 생성할 수 있다. 이미지 생성부(1210)는 프로세서(1230)와 별개의 물리적 모듈로서, 이미지 프레임을 생성할 수 도 있으나, 프로세서(1230)의 물리적 모듈에 포함되고 프로세서(1230)의 연산을 처리하는 알고리즘과 구별되는 알고리즘으로 이미지 프레임을 생성할 수 도 있다.

프로세서(1230)는 LED 이미지 프레임을 전달받아, LED 이미지 프레임을 복수 개의 LED 단위 영역들로 분할시킬 수 있다. 프로세서(1230)는 분할된 단위 영역들 중 대상 영역을 선택할 수 있고, 대상 영역 내 미리 지정된 복수 개의 픽셀 위치들에서의 그라디언트 벡터를 계산할 수 있다. 그 후, 프로세서(1230)는 복수 개의 픽셀 위치들에서 개별적으로 미리 지정된 방향을 가지는 비교 벡터들을 설정하고, 비교 벡터들과 그라디언트 벡터들을 개별적으로 복수 개의 픽셀 위치들마다 비교할 수 있다. 프로세서(1230)는 비교 벡터들과 그라디언트 벡터들의 비교 결과에 기초하여, 대상 영역의 LED 조명 상태를 판단할 수 있다. 프로세서(1230)가 수행하는 각 단계는 선술하였으므로 자세한 설명은 생략한다.

메모리(1220)는 LED 이미지 프레임, 대상 영역 내 픽셀 위치, 비교 벡터들의 그룹, 및 비교 결과들 중 적어도 하나를 적어도 일시적으로 저장할 수 있다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (10)

1. 외부 LED 가시광 신호의 수신에 기초하여, LED 이미지 프레임을 생성하는 단계;
   상기 LED 이미지 프레임을 복수 개의 LED 단위 영역들로 분할하는 단계;
   상기 분할된 단위 영역들 중 대상 영역을 선택하는 단계;
   상기 대상 영역 내 미리 지정된 복수 개의 픽셀 위치들에서의 그라디언트 벡터를 계산하는 단계;
   상기 복수 개의 픽셀 위치들에서 개별적으로 미리 지정된 방향을 가지는 비교 벡터들을 설정하는 단계;
   상기 비교 벡터들과 상기 그라디언트 벡터들을 개별적으로 상기 복수 개의 픽셀 위치들마다 비교하는 단계;
   상기 비교 벡터들과 상기 그라디언트 벡터들의 비교 결과에 기초하여, 상기 대상 영역의 LED 조명 상태를 판단하는 단계
   를 포함하고,
   상기 비교하는 단계는,
   대응되는 상기 비교 벡터와 상기 그라디언트 벡터를 내적시키는 단계; 및
   상기 비교 벡터와 상기 그라디언트 벡터의 내적 값을 합산하는 단계
   를 포함하고,
   상기 판단하는 단계는,
   상기 합산된 벡터의 내적 값의 부호에 따라 상기 대상 영역의 조명 상태를 판단하는 단계를 포함하는,
   LED 조명 상태 판단 방법.
2. 제1항에서,
   상기 대상 영역을 선택하는 단계는,
   상기 분할된 단위 영역들의 각각을 순차적으로 상기 대상 영역으로 선택하는 단계
   를 포함하는 LED 조명 상태 판단 방법.
3. 삭제
4. 삭제
5. 제1항에 있어서,
   상기 조명 상태를 판단하는 단계는,
   상기 내적 값의 부호가 제1 부호이면, 상기 대상 영역의 조명은 켜진 상태이고, 상기 내적 값의 부호가 상기 제1 부호와 구별되는 제2 부호이면, 상기 대상 영역의 조명은 꺼진 상태라고 판단하는 단계
   를 더 포함하는 LED 조명 상태 판단 방법.
6. 제1항에 있어서,
   상기 비교하는 단계는,
   상기 픽셀 위치에 인접한 상기 대상 영역의 경계로부터 상기 대상 영역 내 내부점을 향하는 방향을 가지는 비교 벡터들과 상기 그라디언트 벡터들을 비교하는 단계
   를 포함하는 LED 조명 상태 판단 방법.
7. 제1항, 제2항, 제5항, 및 제6항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는 하나 이상의 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능 기록 매체.
8. 외부 LED 가시광 신호의 수신에 기초하여, 복수 개의 LED 단위 영역들을 포함하는 LED 이미지 프레임을 생성하는 이미지 생성부;
   상기 LED 이미지 프레임에서 상기 단위 영역들 중 대상 영역을 추출하고,
   상기 대상 영역 내 미리 지정된 복수 개의 픽셀 위치에서의 그라디언트 벡터를 계산하는 프로세서; 및
   상기 픽셀 위치에서 미리 지정된 방향으로 배열된 비교 벡터들을 저장하는 메모리
   를 포함하고,
   상기 프로세서는,
   상기 비교 벡터들과 상기 그라디언트 벡터들을 상기 픽셀 위치에서 하나씩 대응시키고, 대응되는 상기 비교 벡터와 상기 그라디언트 벡터를 내적시키며, 상기 비교 벡터와 상기 그라디언트 벡터의 내적 값을 합산하며, 상기 합산된 벡터의 내적 값의 부호에 따라 상기 대상 영역의 동작 상태를 판단하는,
   LED 조명 상태 판단 장치.
9. 삭제
10. 삭제

Images