KR102169885B1 - 열에너지 정보를 표시하는 나이트 비전 시스템 및 그 제어방법 - Google Patents

Abstract

본 발명은 야간 운전 시 전조등에 의해 확보되는 운전자의 시야범위를 벗어나 운전자의 눈으로 볼 수 없는 전방의 차량, 보행자 및 동물 등을 감지하여 운전자에게 더 많은 전방 영상 정보를 제공하기 위한 나이트 비전 방법 및 시스템에 관한 것이다. 본 발명의 일 양상인 내비게이션 정보를 수신하는 통신부; 및 상기 내비게이션 정보를 저장하는 메모리 중 적어도 하나를 포함하는 나이트 비전 정보 표시 장치에 있어서, 제어부; 적어도 하나의 객체에 대한 열에너지 정보를 획득하는 FIR(Far Infra-Red) 카메라; 및 상기 제어부의 제어에 따라 상기 내비게이션 정보와 상기 열에너지 정보와 내비게이션 정보를 함께 표시하는 디스플레이부;를 포함할 수 있다.

Description

열에너지 정보를 표시하는 나이트 비전 시스템 및 그 제어방법

본 발명은 야간 운전 시 전조등에 의해 확보되는 운전자의 시야범위를 벗어나 운전자의 눈으로 볼 수 없는 전방의 차량, 보행자 및 동물 등을 감지하여 운전자에게 더 많은 전방 영상 정보를 제공하기 위한 나이트 비전 방법 및 시스템에 관한 것이다.

구체적으로 본 발명은 차량에 설치된 FIR(Far Infra-Red) 카메라가 물체의 열에너지를 감지하면, 디지털 영상 신호로 변환하고, 변환된 영상 신호를 특정 알고리즘(Algorithm)을 통해 분석, 수정 및 보완하여 디스플레이에 표시하거나 알람을 출력하여 운전자가 사전에 전방 상황을 알 수 있도록 지원하는 열에너지 정보를 표시하는 나이트 비전 시스템 및 그 제어방법에 관한 것이다.

일반적으로 원 적외선(Far Infra-Red: FIR)을 이용한 열 화상 카메라(Thermal Imaging Camera)는 가시광 영역을 감지하는 것이 아니라 원적외선 영역을 감지한다.

즉, 열 화상 카메라는 피사체에서 발산하는 적외선 열에너지를 감지하고, 감지된 결과를 열 화상 이미지로 획득한다.

이러한 특성으로 인해 열 화상 카메라는 체온을 갖는 사람을 감지하는데 활용될 수 있다.

한편, 최근 FIR 카메라를 이용한 보행자 감지 장치가 차량에 적용되고 있다.

이러한 차량에 적용된 FIR 카메라는 현재 차량이 주행 환경에 무관하게 일관된 검출 성능을 제공해야 한다.

, 차량에 적용된 FIR 카메라는 주변 광원들로 인해 난반사가 심한 도심이나 상기 주변 광원들로 인한 난반사가 심하지 않은 도심 외관지역에서도 일관된 보행자 검출 성능을 제공해야 한다.

따라서, 종래의 차량에 적용된 FIR 카메라에는 일관된 검출 성능을 제공하기 위해 기본적으로 감도를 조절하는 기능이 부가된다.

이러한 감도 조절은 촬영된 열화상의 대상체 간의 복사 온도차 설정을 조정하여 감도를 조절할 수 있다.

그러나, 주변 건물에서 방출하는 광원, 주변 건물에 부착된 간판에서 방출하는 광원 등의 난반사(scattered reflection), 특히, 전,후방 차량의 조명등의 난반사가 극심한 도심에서는 감도 조절에 한계가 있다.

더욱이, FIR 카메라는 고가의 장비로서, 상기와 같이 난반사가 극심한 도심에서는 사용자가 요구하는 가격 대비 검출 성능을 만족시키지 못하고 있는 실정이다.

물론, FIR 카메라에 비해 상대적으로 저가인 CMOS 카메라를 이용한 보행자 검출도 가능하다. 그러나 CMOS 카메라는 피사체에서 발산하는 적외선 열에너지를 감지하는 방식으로 피사체의 이미지를 획득하는 방식이 아니기 때문에 피사체의 복사 온도차를 이용한 감도 조절 기능이 없다.

즉, 난반사가 극심한 도심에서, 특히 야간 보행자의 검출은 불가능하며, FIR 카메라와 같이, 대상체가 보행자 인지 동물인지 뚜렷이 구분하지 못한다.

한편, 최근에는 교통 사고 중 보행자(자전거 탑승자 포함) 사고가 상당 부분을 차지하며, 이러한 보행자 사고는 일단 사고가 나면 사망 등의 큰 인명 사고로 이어진다는 점에서 반드시 방지해야만 하는 사고이다.

따라서, 보행자(자전거 탑승자 포함) 보호에 대한 많은 연구들이 진행되고 있는 상황이다.

그럼에도 불구하고, 종래의 보행자 보호 장치에서는, 보행자를 정확하게 인식하기 위해서 배제되어야 할 주변 건물, 주변 물체 등의 배경을 보행자와 정확히 구별하지 못하는 문제점이 여전히 있으며, 이로 인해, 제대로 된 보행자 보호를 하지 못하고 있는 실정이다.

또한, 종래의 FIR 카메라를 이용한 보행자 검출 장치는 보행자 검출에 적용 시 온도가 높게 나타나는 영역을 관심영역으로 설정하여 보행자 감지를 수행하였다.

그러나, FIR 카메라를 이용한 보행자 검출 장치는 주/야간 등 환경에 따라 상대적으로 온도가 일정하지 않으므로, 온도가 높게 나타나는 영역에서는 일관된 성능을 기대하기가 어려웠다.

또한, FIR 카메라를 이용한 보행자 검출 장치 외에도 다양한 보행자 검출 장치들이 제안되었으나, 주로 차량의 범퍼나 펜더(Fender)의 안과 같은 차량의 전방에 장착된 센서들을 포함한다.

이러한 센서를 포함하는 보행자 검출 장치들은 쉽사리 오류의 출력신호를 제공할 수 있어서, 예를 들면 도로의 원뿔체나 동물과 같은 타격에 타격되었을 때 안전 장치가 부적절하게 전개될 수도 있다.

따라서 상기 문제점을 해소하고, 야간 운전 시 전조등에 의해 확보되는 운전자의 시야범위를 벗어나 운전자의 눈으로 볼 수 없는 전방의 차량, 보행자 및 동물 등을 감지하여 운전자에게 더 많은 전방 영상 정보를 제공하기 위한 나이트 비전 방법 및 시스템에 대한 필요성이 대두되고 있다.

1. 대한민국 특허청 등록번호 제 10-1410215호 2. 대한민국 특허청 등록번호 제 10-1284892호

본 발명은 야간 운전 시 전조등에 의해 확보되는 운전자의 시야범위를 벗어나 운전자의 눈으로 볼 수 없는 전방의 차량, 보행자 및 동물 등을 감지하여 운전자에게 더 많은 전방 영상 정보를 제공하기 위한 나이트 비전 방법 및 시스템을 제공하고자 한다.

구체적으로 본 발명은 차량에 설치된 FIR(Far Infra-Red) 카메라가 물체의 열에너지를 감지하면, 디지털 영상 신호로 변환하고, 변환된 영상 신호를 특정 알고리즘(Algorithm)을 통해 분석, 수정 및 보완하여 디스플레이에 표시하거나 알람을 출력하여 운전자가 사전에 전방 상황을 알 수 있도록 지원하는 열에너지 정보를 표시하는 나이트 비전 시스템 및 그 제어방법을 사용자에게 제공하고자 한다.

다만, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기의 기술적 과제를 달성하기 위한 본 발명의 일 양상인 내비게이션 정보를 수신하는 통신부; 및 상기 내비게이션 정보를 저장하는 메모리 중 적어도 하나를 포함하는 나이트 비전 정보 표시 장치에 있어서, 제어부; 적어도 하나의 객체에 대한 열에너지 정보를 획득하는 FIR(Far Infra-Red) 카메라; 및 상기 제어부의 제어에 따라 상기 내비게이션 정보와 상기 열에너지 정보를 함께 표시하는 디스플레이부;를 포함할 수 있다.

또한, 상기 제어부는, 상기 디스플레이부의 전체 영역에 상기 열에너지 정보가 표시되고, 상기 디스플레이부의 일부 영역에 상기 내비게이션 정보가 턴 바이 턴(turn by turn) 방식으로 표시되도록 제어할 수 있다.

또한, 상기 제어부는, 상기 디스플레이부의 전체 영역에 상기 내비게이션 정보가 표시되고, 상기 열에너지 정보는 미리 설정된 조건이 만족되는 경우에만 상기 디스플레이부의 적어도 일부에 표시되도록 제어할 수 있다.

또한, 상기 디스플레이부는, 상기 제어부의 제어에 따라 가상의 입체 공간 상에 3차원 깊이(3D depth)를 갖고 소정 형태로 배치된 복수의 3차원 레이어(layer)를 겹쳐서 표시하고, 상기 복수의 3차원 레이어는 투명하게 표시 가능하며, 상기 복수의 3차원 레이어 중 제 1 레이어는 상기 내비게이션 정보를 표시하고, 상기 복수의 3차원 레이어 중 제 2 레이어는 상기 열에너지 정보를 표시하며, 미리 설정된 조건이 만족되는지 여부에 따라 상기 제 1 레이어와 상기 제 2 레이어의 투명도가 조절될 수 있다.

또한, 상기 미리 설정된 조건이 만족되는지 않는 경우에는 상기 제 1 레이어는 불투명 레이어이고, 상기 제 2 레이어는 투명 레이어이며, 상기 미리 설정된 조건이 만족되는 경우에는 상기 제 1 레이어는 투명 레이어이고, 상기 제 2 레이어는 불투명 레이어 일 수 있다.

또한, 상기 미리 설정된 조건은, 상기 나이트 비전 정보 표시 장치와 상기 적어도 하나의 객체 간의 이격거리가 미리 설정된 거리 이내인 조건, 상기 나이트 비전 정보 표시 장치의 속도가 미리 설정된 속도 이상인 조건, 상기 적어도 하나의 객체의 이동속도가 미리 설정된 이동속도 이상인 조건, 상기 적어도 하나의 객체가 상기 열에너지 정보 내에서 미리 설정된 시간 이내로 소멸하는 조건을 포함할 수 있다.

또한, 상기 통신부는 상기 열에너지 정보를 외부 단말로 전송하고, 상기 외부 단말의 디스플레이부 상에 상기 열에너지 정보와 상기 내비게이션 정보가 함께 표시될 수 있다.

또한, 상기 적어도 하나의 객체가 상기 열에너지 정보 내에서 미리 설정된 시간 이내로 소멸하는 경우, 상기 제어부는 상기 소멸한 객체가 상기 나이트 비전 정보 표시 장치로부터 미리 설정된 이격 거리 이상 벗어난 객체인지 여부를 판단하고, 상기 소멸한 객체가 벗어난 객체가 아닌 경우, 상기 제어부는 상기 디스플레이부가 상기 소멸한 객체 주변의 적어도 일부에 시각적 효과를 표시하도록 제어할 수 있다.

또한, 상기 제어부는, 상기 소멸한 객체 주변의 장애물의 온도가 미리 설정된 온도 이상인지 여부를 판단하고, 상기 장애물의 온도가 상기 미리 설정된 온도 이상인 경우에는 상기 디스플레이부가 상기 장애물에 시각적 효과를 표시하도록 제어하고, 상기 장애물의 온도가 상기 미리 설정된 온도 미만인 경우에는 상기 디스플레이부가 상기 소멸한 객체가 사라진 지점을 알리는 아이콘을 표시하도록 제어할 수 있다.

또한, 상기 제어부는, 상기 열에너지 정보 중 미리 설정된 조건을 만족하는 제 1 열에너지 정보를 추출하고, 상기 열에너지 정보에서 버티컬 에지(Vertical Edgy)를 추출하며, 상기 제 1 열에너지 정보 중 상기 추출된 버티컬 에지에 매핑(mapping) 되는 제 2 열에너지 정보를 추출하고, 상기 제 2 열에너지 정보에 포함된 객체의 버티컬 일단과 타단 포인트를 추출하며, 상기 일단과 타단 포인트를 이용하여 ROI(Region of Interest)를 생성하고, 식별하고자 하는 제 1 객체와 관련된 복수의 분류자(classifier)와 상기 ROI에 포함된 객체를 비교하며, 상기 ROI에서 상기 복수의 분류자 중 적어도 하나에 대응되는 ROI를 추출하고, 상기 디스플레이부가 상기 추출한 ROI를 표시하도록 제어할 수 있다.

본 발명은 야간 운전 시 전조등에 의해 확보되는 운전자의 시야범위를 벗어나 운전자의 눈으로 볼 수 없는 전방의 차량, 보행자 및 동물 등을 감지하여 운전자에게 더 많은 전방 영상 정보를 제공하기 위한 나이트 비전 방법 및 시스템을 제공할 수 있다.

구체적으로 본 발명은 차량에 설치된 FIR(Far Infra-Red) 카메라가 물체의 열에너지를 감지하면, 디지털 영상 신호로 변환하고, 변환된 영상 신호를 특정 알고리즘(Algorithm)을 통해 분석, 수정 및 보완하여 디스플레이에 표시하거나 알람을 출력하여 운전자가 사전에 전방 상황을 알 수 있도록 지원하는 열에너지 정보를 표시하는 나이트 비전 시스템 및 그 제어방법을 사용자에게 제공할 수 있다.

다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1a 및 도 1b는 본 발명과 관련하여 나이트 비전 시스템과 헤드램프 시스템의 야간 식별 거리를 비교하기 위한 도면이다.
도 2a 및 도 2b는 본 발명과 관련하여, 차량에 나이트 비전 시스템을 탑재한 구체적인 모습을 도시하는 도면이다.
도 3은 본 발명이 제안하는 나이트 비전 시스템의 블록 구성도를 도시한 것이다.
도 4는 도 3에서 설명한 본 발명에 따른 나이트 비전 시스템의 구체화된 블록 구성도의 일례를 도시한 것이다.
도 5는 본 발명에 따른 나이트 비전 시스템과 외부 단말이 근거리 통신 또는 원거리 통신을 이용하여 열에너지 정보를 공유하는 블록 구성도의 일례를 도시한 것이다.
도 6은 본 발명에 따른 나이트 비전 시스템에서 획득된 열에너지 정보를 표시함과 동시에 내비게이션 정보를 턴 바이 턴(turn by turn) 방식으로 표시하는 구체적인 일례를 도시한 것이다.
도 7a는 본 발명의 나이트 비전 시스템에서 특정 조건이 만족될 때에만 열에너지 정보를 표시하는 방법에 대한 순서도이고, 도 7b는 이에 대한 구체적인 일례를 도시한 것이다.
도 8a 내지 도8c는 본 발명의 나이트 비전 시스템에서 구현될 수 있는 입체 사용자 인터페이스의 디스플레이 상태도를 나타낸 것이다.
도 9a 및 도 9b는 본 발명의 나이트 비전 시스템에 구현될 수 있는 입체 사용자 인터페이스를 통해 투명도를 조절하여 열에너지 정보와 내비게이션 정보를 선택적으로 표시하는 일례를 나타내는 디스플레이 개념도이다.
도 10은 본 발명의 나이트 비전 시스템에서 특정 조건에 따라 투명도를 조절하여 열에너지 정보와 내비게이션 정보를 선택적으로 표시하는 방법을 설명하는 순서도이다.
도 11은 본 발명의 나이트 비전 시스템에서 외부 단말과 에너지 정보를 공유하는 구체적인 일례를 도시한 것이다.
도 12는 본 발명의 나이트 비전 시스템에서 객체가 사라지는 이벤트가 발생하는 경우에 시각적 효과를 부여하는 구체적인 방법을 설명하는 순서도이다.
도 13은 도 12에서 설명한 방법에서 사라진 객체 주변의 장애물의 온도에 따라 다른 시각적 효과를 부여하는 구체적인 방법을 설명하는 순서도이다.
도 14는 도 13에서 설명한 사라진 객체 주변의 장애물의 온도에 따라 다른 시각적 효과를 부여하는 구체적인 일례를 도시한 것이다.
도 15는 본 발명에 따른 나이트 비전 시스템을 통해, FIR 카메라가 물체의 열에너지를 감지하여 특정 알고리즘(Algorithm)에 따라 정보를 디스플레이 하는 구체적인 과정을 설명하는 순서도이다.

일반적으로, 차량에서는 내비게이션 시스템(Navigation system)을 이용하여 원하는 목적지까지의 경로 정보를 확인하고, 내비게이션을 통해 안내되는 경로 정보에 따라 편리하게 목적지를 찾아가게 된다.

이러한 내비게이션 시스템은 경로 안내, 텔레비전 시청, 차량 속도 정보 표시 등과 같은 정보는 제공해주나, 도루 주행 중 보행자 또는 동물을 감지하여 이를 경고해주는 것은 불가능하다.

차량의 주행 중 운전자는 육안으로 보행자나 동물들의 출현 등을 직접 확인하고, 육안으로 식별한 감지 정보에 근거해 차량 운행을 제어하게 된다.

여기서 낮에는 인간의 육안으로 대부분의 보행자나 동물의 식별이 가능하나, 인간의 눈은 조도가 낮은 밤에는 보행자나 동물의 식별이 거의 불가능하다.

따라서 조도가 낮은 야간에 보행자 또는 동물의 식별이 어려워 빈번하게 보행자 또는 동물과 차량이 충돌하는 사고가 발생하고 있다.

최근에는 FIR 카메라를 이용한 보행자 감지 장치가 차량에 적용되고 있다.

그러나 종래의 FIR 카메라를 이용한 보행자 감지 장치는 주변 건물에서 방출하는 광원, 주변 건물에 부착된 간판에서 방출하는 광원 등의 난반사(scattered reflection), 특히, 전, 후방 차량의 조명등의 난반사가 극심한 도심에서는 감도 조절에 한계가 있다.

더욱이, FIR 카메라는 고가의 장비로서, 상기와 같이 난반사가 극심한 도심에서는 사용자가 요구하는 가격 대비 검출 성능을 만족시키지 못하고 있다.

즉, 난반사가 극심한 도심에서, 특히 야간 보행자의 검출은 불가능하며, FIR 카메라와 같이, 대상체가 보행자 인지 동물인지 뚜렷이 구분하지 못하고 있다.

또한, 종래의 FIR 카메라를 이용한 보행자 보호 장치에서는, 보행자를 정확하게 인식하기 위해서 배제되어야 할 주변 건물, 주변 물체 등의 배경을 보행자와 정확히 구별하지 못하는 문제점이 여전히 있으며, 이로 인해, 제대로 된 보행자 보호를 하지 못하고 있다.

또한, 종래의 FIR 카메라를 이용한 보행자 검출 장치는 주/야간 등 환경에 따라 상대적으로 온도가 일정하지 않으므로, 온도가 높게 나타나는 영역에서는 일관된 성능을 기대하기가 어렵다는 문제점이 있다.

따라서 본 명세서에서는 상기 문제점을 해소하는 나이트 비전 방법 및 시스템을 제공하고자 한다.

본 발명이 제안하는 나이트 비전 시스템(Night Vision System, NVS)은 야간 운전 시 전조등에 의해 확보되는 운전자의 시야범위를 벗어나 운전자의 눈으로 볼 수 없는 전방의 차량, 보행자 및 동물 등을 감지하여 운전자에게 더 많은 전방 영상 정보를 제공하기 위한 운전자 보조 시스템이다.

도 1a 및 도 1b는 본 발명과 관련하여 나이트 비전 시스템과 헤드램프 시스템의 야간 식별 거리를 비교하기 위한 도면이다.

도 1a를 참조하면, 본 발명에 따른 나이트 비전 시스템은 일반 Head Lamp의 하향등을 켰을 때보다 3~5배 더 넓은 시야 확보가 가능하다.

또한, 도 1b를 참조하면, 전조등을 조사하여 육안으로 식별할 수 있는 거리는 60m 이내로 제한되는 반면, 본 발명에 따른 나이트 비전 시스템을 통한 전방 보행자 인지는 130m까지 가능하여 전방 시야 확보에 더욱 효과적이다.

한편, 도 2a 및 도 2b는 본 발명과 관련하여, 차량에 나이트 비전 시스템을 탑재한 구체적인 모습을 도시하는 도면이다.

도 2a에 도시된 것과 같이, 차량 그릴 안쪽에 설치된 FIR(Far Infra-Red) 카메라가 물체의 열에너지를 감지하면, 통합 ECU에서 디지털 영상 신호로 변환하게 된다.

이후, 변환된 영상 신호는 영상 알고리즘(Algorithm)을 통해 분석, 수정 및 보완되고, 상기 처리가 완료된 영상 신호가 Display에 표시되거나 경고음이 출력됨으로써, 운전자가 사전에 전방 상황을 알 수 있게 해준다.

도 2b는 FIR(Far Infra-Red) 카메라를 통해 감지된 보행자가 디스플레이부를 통해 표시되는 구체적인 모습을 도시한 것이다.

본 발명의 구체적인 동작을 설명하기에 앞서, 본 발명이 제안하는 나이트 비전 시스템의 구성에 대해 선결적으로 설명한다.

도 3은 본 발명이 제안하는 나이트 비전 시스템의 블록 구성도를 도시한 것이다.

도 3을 참조하면, 본 발명이 제안하는 나이트 비전 시스템(100)은 원적외선 카메라(122), 제어부(180) 및 디스플레이부(151)를 포함할 수 있다.

여기서 원적외선 카메라(122)는 원적외선(Far Infrared, LongWave Infrared, FIR)을 이용하여 적어도 하나의 객체를 촬영하는 카메라이다.

원적외선은 통상 파장이 8㎛ 이상인 적외선을 의미하고, 가시광선보다 파장이 길어서 눈에 보이지 않고 열작용이 크며 침투력이 강하다.

본 발명에 따른 원적외선 카메라(122)의 특성을 설명한다.

일반 CCD, CMOS 소자를 사용하는 카메라는 가시광 영역의 빛을 감지하여 투영하는 역할을 하기 때문에 사람의 눈으로 보는 것과 비슷한 영상을 획득할 수 있다.

반면, 원적외선 카메라(122)는 사람이 보지 못하는 적외선 대역의 빛을 투영한다.

적외선은 빛의 파장 중 750nm에서 1mm의 대역의 빛을 말하는 것으로서, 이러한 적외선 대역 중에서도 NIR(Near Infra-Red)의 빛은 700nm에서 1400nm의 파장을 말하며, NIR 대역의 빛은 사람의 눈에는 보이지 않지만 CCD나 CMOS 소자로도 감지가 가능하며 필터를 이용하면 NIR 대역의 빛만을 감지할 수 있다.

이에 비해, FIR의 빛은 LWIR(Long Wavelength Infra-Red)라고도 하며 적외선은 빛의 파장 중 8μm에서 15μm의 대역을 나타낸다.

특히, FIR 대역은 온도에 따라 파장이 변하기 때문에 온도를 구별할 수 있는 장점이 있다.

원적외선 카메라(122)의 대상인 사람(보행자)의 체온은 10μm의 파장을 가진다.

또한, 제어부(180)는 나이트 비전 시스템(100)의 전반적인 동작을 제어한다.

특히, 원적외선 카메라(122)를 통해 획득된 정보를 디지털 영상 신호로 변환하고, 변환된 영상 신호를 특정 알고리즘(Algorithm)을 통해 분석, 수정 및 보완하며, 상기 처리가 완료된 영상 신호가 디스플레이부(151)를 통해 출력되도록 제어할 수 있다.

제어부(180)는 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.

하드웨어적인 구현에 의하면, 제어부(180)는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다.

소프트웨어적인 구현에 의하면, 제어부(180)는 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 후술하는 메모리(160)에 저장될 수 있다.

또한, 디스플레이부(151)는 제어부(180)에 의해 처리된 정도를 외부로 출력하는 기능을 제공한다.

여기서, 디스플레이부(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.

이하에서는 도 4를 이용하여 도 3에서 설명한 본 발명이 제안하는 나이트 비전 시스템(100)의 구체적인 구성에 대해 설명한다.

도 4를 참조하면, 나이트 비전 시스템(100)은 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 센싱부(140), 출력부(150), 메모리(160), 인터페이스부(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다.

단, 도 4에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 나이트 비전 시스템이 구현될 수도 있다.

이하, 상기 구성요소들에 대해 차례로 살펴본다.

통신부(110)는 나이트 비전 시스템과 무선 통신 시스템 사이 또는 기기와 기기가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다.

예를 들어, 통신부(110)는 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114) 및 위치정보 모듈(115) 등을 포함할 수 있다.

또한, 통신부(110)는 유선 통신을 통해 외부 기기와 통신할 수 있고, 본 발명의 내용은 무선 통신 및 유선 통신 방식을 모두 포함한다.

이동통신 모듈(112)은, 이동 통신망 상에서 기지국, 외부의 기기, 서버 중 적어도 하나와 무선 신호를 송수신한다.

문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.

무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 나이트 비전 시스템에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.

근거리 통신 모듈(114)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신(short range communication) 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra-WideBand), ZigBee, 와이파이(Wireless Fidelity, Wi-Fi) 등이 이용될 수 있다.

위치정보 모듈(115)은 나이트 비전 시스템의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈이 있다.

도 4를 참조하면, A/V(Audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(121)와 마이크(122) 등이 포함될 수 있다. 카메라(121)는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다.

카메라(121)에서 처리된 화상 프레임은 메모리(160)에 저장되거나 통신부(110)를 통하여 외부로 전송될 수 있다. 카메라(121)는 사용 환경에 따라 2개 이상이 구비될 수도 있다.

마이크(122)는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 이동통신 모듈(112)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크(122)에는 외부의 음향 신호를 입력받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.

다음으로, 원적외선 카메라(122)는 사람이 보지 못하는 적외선 대역의 빛을 투영하여 촬영한다.

FIR의 빛은 LWIR(Long Wavelength Infra Red)라고도 하며 적외선은 빛의 파장 중 8μm에서 15μm의 대역을 나타내고, FIR 대역은 온도에 따라 파장이 변하기 때문에 온도를 구별할 수 있다.

원적외선 카메라(122)의 대상인 사람(보행자)의 체온은 10μm의 파장을 가지고, 원적외선 카메라(122)를 통해, 야간에서도 특정 객체에 대한 이미지, 동영상 등을 촬영하는 것이 가능하다.

다음으로, 사용자 입력부(130)는 사용자가 나이트 비전 시스템의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(130)는 키 패드(key pad) 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.

센싱부(140)는 나이트 비전 시스템의 개폐 상태, 나이트 비전 시스템의 위치, 사용자 접촉 유무, 나이트 비전 시스템의 방위, 나이트 비전 시스템의 가속/감속 등과 같이 나이트 비전 시스템의 현 상태를 감지하여 나이트 비전 시스템의 동작을 제어하기 위한 센싱 신호를 발생시킨다.

센싱부(140)는 전원 공급부(190)의 전원 공급 여부, 인터페이스부(170)의 외부 기기 결합 여부 등을 센싱할 수도 있다.

출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(151), 음향 출력 모듈(152), 알람부(153), 햅틱 모듈(154) 및 프로젝터 모듈(155), 헤드업 디스플레이(head-up display, HUD), 헤드 마운티드 디스플레이(head mounted display, HMD) 등이 포함될 수 있다.

디스플레이부(151)는 나이트 비전 시스템에서 처리되는 정보를 표시(출력)한다.

디스플레이부(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.

이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 TOLED(Transparant OLED) 등이 있다. 디스플레이부(151)의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. 이러한 구조에 의하여, 사용자는 나이트 비전 시스템 바디의 디스플레이부(151)가 차지하는 영역을 통해 나이트 비전 시스템 바디의 후방에 위치한 사물을 볼 수 있다.

나이트 비전 시스템의 구현 형태에 따라 디스플레이부(151)이 2개 이상 존재할 수 있다. 예를 들어, 나이트 비전 시스템에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.

디스플레이부(151)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 디스플레이부(151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.

터치 센서는 디스플레이부(151)의 특정 부위에 가해진 압력 또는 디스플레이부(151)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다.

터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(180)로 전송한다. 이로써, 제어부(180)는 디스플레이부(151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.

상기 근접 센서(141)는 상기 터치스크린에 의해 감싸지는 나이트 비전 시스템의 내부 영역 또는 상기 터치 스크린의 근처에 배치될 수 있다. 상기 근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서는 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다.

상기 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 상기 터치스크린이 정전식인 경우에는 상기 포인터의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다. 이 경우 상기 터치 스크린(터치 센서)은 근접 센서로 분류될 수도 있다.

이하에서는 설명의 편의를 위해, 상기 터치스크린 상에 포인터가 접촉되지 않으면서 근접되어 상기 포인터가 상기 터치스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(proximity touch)"라고 칭하고, 상기 터치스크린 상에 포인터가 실제로 접촉되는 행위를 "접촉 터치(contact touch)"라고 칭한다. 상기 터치스크린 상에서 포인터로 근접 터치가 되는 위치라 함은, 상기 포인터가 근접 터치될 때 상기 포인터가 상기 터치스크린에 대해 수직으로 대응되는 위치를 의미한다.

상기 근접센서는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 상기 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 정보는 터치 스크린상에 출력될 수 있다.

음향 출력 모듈(152)은 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력 모듈(152)은 나이트 비전 시스템에서 수행되는 기능과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력 모듈(152)에는 리시버(Receiver), 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.

알람부(153)는 나이트 비전 시스템의 이벤트 발생을 알리기 위한 신호를 출력한다.

알람부(153)는 비디오 신호나 오디오 신호 이외에 다른 형태, 예를 들어 진동으로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다.

상기 비디오 신호나 오디오 신호는 디스플레이부(151)나 음성 출력 모듈(152)을 통해서도 출력될 수 있어서, 그들(151,152)은 알람부(153)의 일부로 분류될 수도 있다.

햅틱 모듈(haptic module)(154)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(154)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 있다. 햅택 모듈(154)이 발생하는 진동의 세기와 패턴 등은 제어 가능하다.

예를 들어, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.

햅틱 모듈(154)은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(eletrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.

햅틱 모듈(154)은 직접적인 접촉을 통해 촉각 효과의 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱 모듈(154)은 나이트 비전 시스템의 구성 태양에 따라 2개 이상이 구비될 수 있다.

프로젝터 모듈(155)은, 나이트 비전 시스템을 이용하여 이미지 프로젝트(project) 기능을 수행하기 위한 구성요소로서, 제어부(180)의 제어 신호에 따라 디스플레이부(151)상에 디스플레이되는 영상과 동일하거나 적어도 일부가 다른 영상을 외부 스크린 또는 벽에 디스플레이할 수 있다.

구체적으로, 프로젝터 모듈(155)은, 영상을 외부로 출력하기 위한 빛(일 예로서, 레이저 광)을 발생시키는 광원(미도시), 광원에 의해 발생한 빛을 이용하여 외부로 출력할 영상을 생성하기 위한 영상 생성 수단 (미도시), 및 영상을 일정 초점 거리에서 외부로 확대 출력하기 위한 렌즈(미도시)를 포함할 수 있다. 또한, 프로젝터 모듈(155)은, 렌즈 또는 모듈 전체를 기계적으로 움직여 영상 투사 방향을 조절할 수 있는 장치(미도시)를 포함할 수 있다.

프로젝터 모듈(155)은 디스플레이 수단의 소자 종류에 따라 CRT(Cathode Ray Tube) 모듈, LCD(Liquid Crystal Display) 모듈 및 DLP(Digital Light Processing) 모듈 등으로 나뉠 수 있다. 특히, DLP 모듈은, 광원에서 발생한 빛이 DMD(Digital Micromirror Device) 칩에 반사됨으로써 생성된 영상을 확대 투사하는 방식으로 프로젝터 모듈(151)의 소형화에 유리할 수 있다.

바람직하게, 프로젝터 모듈(155)은, 나이트 비전 시스템의 측면, 정면 또는 배면에 길이 방향으로 구비될 수 있다. 물론, 프로젝터 모듈(155)은, 필요에 따라 나이트 비전 시스템의 어느 위치에라도 구비될 수 있음은 당연하다.

또한, 헤드업 디스플레이(head-up display, HUD, 156)는 차량 등에서 차량 현재 속도, 연료 잔량, 내비게이션 길안내 정보 등을 운전자 바로 앞 유리창 부분에 그래픽 이미지로 투영해주는 장치를 의미한다.

원적외선 카메라(122)를 통해 획득된 정보는 상기 헤드업 디스플레이(156)를 통해 출력되는 것도 가능하다.

또한, 헤드 마운티드 디스플레이(head mounted display, HMD, 157)는 가상 현실(Virtual reality) 정보를 출력할 수 있는 대표적인 장치이다.

가상 현실(Virtual reality)이란 컴퓨터를 통해 어떤 특정한 환경이나 상황을 입체감있는 3D 컨텐츠로 제작하여, 그 3D 컨텐츠를 사용하는 사람이 마치 실제 주변 상황, 환경과 상호작용하고 있는 것처럼 만들어 주는 인간-컴퓨터 사이의 인터페이스 등을 총칭한다.

일반적으로 사람이 지각하는 입체감은 관찰하는 물체의 위치에 따른 수정체의 두께 변화 정도, 양쪽 눈과 대상물과의 각도 차이, 그리고 좌우 눈에 보이는 대상물의 위치 및 형태의 차이, 대상물의 운동에 따라 생기는 시차, 그 밖에 각종 심리 및 기억에 의한 효과 등이 복합적으로 작용하여 생긴다.

그 중 사람이 입체감을 느끼는 가장 중요한 요인은, 사람의 두 눈이 가로 방향으로 약 6.5㎝가량 떨어져 있음으로써, 나타나게 되는 양안 시차(binocular disparity)이다. 즉, 양안 시차에 의해 대상물에 대한 각도 차이를 가지고 바라보게 되고, 이 차이로 인해 각각의 눈에 들어오는 이미지가 서로 다른 상을 갖게 되며 이 두 영상이 망막을 통해 뇌로 전달되면 뇌는 이 두 개의 정보를 정확히 서로 융합하여 본래의 3D 입체 영상을 느낄 수 있는 것이다.

이러한 입체감있는 3D 컨텐츠들은 이미 여러 미디어 분야에 두루 이용되어 소비자들로부터 호평을 받아오고 있다. 예를 들어 3D 영화, 3D 게임 및 체험 디스플레이와 같은 것들이 대표적이다.

이와 같이 가상 현실 기술 3D 컨텐츠들의 보편화와 더불어, 더욱 몰입도 높은 가상 현실 서비스를 제공할 수 있는 기술의 개발이 다각적으로 요구되고 있다.

일반적으로 이미지 디스플레이 장치는 눈과 매우 근접한 위치에서 발생하는 영상광을 정밀한 광학 장치를 이용하여 먼 거리에 가상의 대형화면이 구성될 수 있도록 초점을 형성함으로써 사용자로 하여금 확대된 허상을 볼 수 있도록 하는 화상 표시 장치를 말한다.

또한, 이미지 디스플레이 장치는, 주위 환경은 볼 수 없고 디스플레이 소자에서 발산된 영상광만을 볼 수 있는 밀폐형(See-close)과, 윈도우를 통해 주위 환경을 볼 수 있으면서도 디스플레이 소자에서 발산된 영상광을 동시에 볼 수 있는 투과식(See-through)으로 나뉠 수 있다.

본 발명에 따른 헤드 마운티드 디스플레이(head mounted display, HMD, 157)란 안경처럼 머리에 착용하여 멀티미디어 컨텐츠를 제공받을 수 있도록 하는 각종디지털 디바이스를 말한다. 디지털 디바이스의 경량화 및 소량화 추세에 따라, 다양한 웨어러블 컴퓨터(Wearable Computer)가 개발되고 있으며, HMD 또한 널리 사용되고 있다. HMD(157)는 단순한 디스플레이 기능을 넘어 증강 현실 기술, N 스크린 기술 등과 조합되어 유저에게 다양한 편의를 제공할 수 있다.

예를 들어, HMD(157)에 마이크와 스피커가 장착되는 경우, 유저는 HMD(157)를 착용한 상태에서, 전화 통화를 수행할 수 있다. 또한, 예를 들어, HMD(157)에 원적외선 카메라(122)가 장착되는 경우, 유저는 HMD(157)를 착용한 상태에서, 유저가 원하는 방향의 이미지를 캡쳐할 수 있다.

또한, 메모리부(160)는 제어부(180)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입/출력되는 데이터들(예를 들어, 메시지, 오디오, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다. 상기 메모리부(160)에는 상기 데이터들 각각에 대한 사용 빈도도 함께 저장될 수 있다. 또한, 상기 메모리부(160)에는 상기 터치스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.

메모리(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 나이트 비전 시스템은 인터넷(internet)상에서 상기 메모리(160)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.

인터페이스부(170)는 나이트 비전 시스템에 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스부(170)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 나이트 비전 시스템 내부의 각 구성 요소에 전달하거나, 나이트 비전 시스템 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 인터페이스부(170)에 포함될 수 있다.

식별 모듈은 나이트 비전 시스템의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(User Identify Module, UIM), 가입자 인증 모듈(Subscriber Identify Module, SIM), 범용 사용자 인증 모듈(Universal Subscriber Identity Module, USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 포트를 통하여 나이트 비전 시스템과 연결될 수 있다.

상기 인터페이스부는 나이트 비전 시스템이 외부 크래들(cradle)과 연결될 때 상기 크래들로부터의 전원이 상기 나이트 비전 시스템에 공급되는 통로가 되거나, 사용자에 의해 상기 크래들에서 입력되는 각종 명령 신호가 상기 이동기기로 전달되는 통로가 될 수 있다. 상기 크래들로부터 입력되는 각종 명령 신호 또는 상기 전원은 상기 이동기기가 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수도 있다.

제어부(controller, 180)는 통상적으로 나이트 비전 시스템의 전반적인 동작을 제어한다.

전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가 받아 각 구성요소들의 동작에 필요한 전원을 공급한다.

여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.

하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어부(180) 자체로 구현될 수 있다.

소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리(160)에 저장되고, 제어부(180)에 의해 실행될 수 있다.

또한, 본 발명에 따른 열화상 나이트 비전 시스템(100)은 무선통신부(110)를 통해 근거리 통신 또는 원거리 통신하여 획득한 에너지 정보를 공유하는 것이 가능하다.

도 5는 본 발명에 따른 나이트 비전 시스템과 외부 단말이 근거리 통신 또는 원거리 통신을 이용하여 열에너지 정보를 공유하는 블록 구성도의 일례를 도시한 것이다.

도 5를 참조하면, 차량의 사용자가 이용하는 외부 단말(200)과 근거리 통신 또는 원거리 통신하여 열화상 나이트 비전 시스템(100)은 무선통신부(110)를 통해 획득한 에너지 정보를 공유할 수 있다.

여기서 근거리 통신은 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee, Wi-Fi (Wireless Fidelity) 기술을 포함할 수 있다.

또한, 원거리 통신은 CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access) 기술을 포함할 수 있다.

한편, 차량을 운전하는 사용자는 차량의 디스플레이를 통해 다양한 컨텐츠(텍스트, 이미지, 동영상 등)를 제공받을 수 있다.

대표적으로 사용자는 센터페시아(center fascia), 클러스터(cluster) 등에 구비된 디스플레이를 통해 컨텐츠 정보를 제공받을 수도 있고, 최근에는 헤드 마운트 디스플레이(Head mounted display) 등을 통해 속도, 내비게이션 등의 정보를 제공받는 것도 가능하다.

대표적으로 사용자는 차량의 센터페시아(center fascia), 클러스터(cluster) 또는 헤드 마운트 디스플레이(Head mounted display) 등을 통해 내비게이션 정보를 제공받을 수 있다.

이때, 차량의 사용자가 내비게이션 정보를 제공받으면서, 본 발명이 제안하는 열화상 나이트 비전 시스템(100)으로부터 열화상 정보를 함께 제공받는 방법에 대한 문제가 발생될 수 있다.

단, 내비게이션 정보는 본 발명에 적용되기 위한 컨텐츠 정보의 일례에 불과하고, 보다 다양한 컨텐츠 정보가 사용자에게 제공되면서 열화상 정보가 제공되는 방법에 대해서도 본 발명의 내용이 적용될 수 있다.

이하에서는 전술한 본 발명의 구성을 기초로, 내비게이션 정보와 열화상 정보를 차량의 운전자에게 함께 제공하는 구체적인 실시예에 대해 설명한다.

제 1 표시 방법

본 발명의 일 실시예에 따른 제 1 표시 방법은 턴 바이 턴(turn by turn) 방식으로 내비게이션 정보와 열화상 정보를 함께 표시하는 것이다.

기본적으로 본 발명의 나이트 비전 시스템(100)의 디스플레이부(151) 등을 통해 열화상 정보가 표시될 수 있다.

이때, 디스플레이부(151)의 일부 영역에 네이게이션 정보가 턴 바이 턴(turn by turn) 방식으로 표현될 수 있다.

턴 바이 턴(turn by turn) 방식은 수집된 교통정보가 시각적 지시로 목적지에 이를 때까지 계속해서 방향을 안내하는 방식을 말한다.

도 6은 본 발명에 따른 나이트 비전 시스템에서 획득된 열에너지 정보를 표시함과 동시에 내비게이션 정보를 턴 바이 턴(turn by turn) 방식으로 표시하는 구체적인 일례를 도시한 것이다.

도 6을 참조하면, 기본적으로 디스플레이부(151)를 통해 열화상 정보(1100)가 화면에 표시된다.

이때, 내비게이션 정보(1200)는 디스플레이부(151)의 전체 영역 중 일부 영역에 턴 바이 턴(turn by turn) 방식으로 표시될 수 있다.

제 2 표시 방법

본 발명의 다른 실시예에 따른 제 2 표시 방법은 열화상 정보와 내비게이션 정보를 동적으로 변화시키는 방법이다.

즉, 기본적으로 열화상 정보를 디스플레이부(151)를 통해 표시하다가 특정 조건이 만족되는 경우에 내비게이션 정보가 열화상 정보를 대신하여 디스플레이부(151) 상에 표시되도록 할 수 있다.

이때, 내비게이션 정보가 열화상 정보를 완전히 대신하여 디스플레이부(151) 상에 표시되는 것이 아니라 디스플레이부(151)의 일부 영역에만 표시됨으로써, 내비게이션 정보가 열화상 정보와 함께 표시되도록 할 수도 있다.

반대로 기본적으로 내비게이션 정보를 디스플레이부(151)를 통해 표시하다가 특정 조건이 만족되는 경우에 열화상 정보가 내비게이션 정보를 대신하여 디스플레이부(151) 상에 표시되도록 할 수 있다.

이때, 열화상 정보가 내비게이션 정보를 완전히 대신하여 디스플레이부(151) 상에 표시되는 것이 아니라 디스플레이부(151)의 일부 영역에만 표시됨으로써, 내비게이션 정보가 열화상 정보와 함께 표시되도록 할 수도 있다.

제 2 표시 방법에서 적용되는 조건은 미리 설정된 거리 이내로 열 에너지를 가진 객체가 존재하는 조건, 차량의 속도가 특정 속도 이상인 조건, 차량으로부터 이격된 객체가 특정 속도 이상으로 이동하는 조건, 열화상 이미지에 존재하던 객체가 갑자기 사라지는 조건 등이 될 수 있다.

도 7a는 본 발명의 나이트 비전 시스템에서 특정 조건이 만족될 때에만 열에너지 정보를 표시하는 방법에 대한 순서도이고, 도 7b는 이에 대한 구체적인 일례를 도시한 것이다.

도 7a를 참조하면, 가장 먼저, 디스플레이부(151)를 통해 내비게이션 정보가 표시되는 단계(S110)가 진행된다.

이때, 미리 설정된 거리 이내로 열 에너지를 가진 객체가 존재하는 이벤트, 차량의 속도가 특정 속도 이상인 이벤트, 차량으로부터 이격된 객체가 특정 속도 이상으로 이동하는 이벤트, 열화상 이미지에 존재하던 객체가 갑자기 사라지는 이벤트 등이 발생하여 미리 설정된 조건이 만족되는 단계(S120)가 진행된다.

S120 단계가 진행되면, 제어부(180)의 제어에 따라 디스플레이부(151)에 내비게이션 정보를 대신하여 열화상 정보가 표시된다(S130).

이후, S120 단계에서 발생된 이벤트가 소멸하여, 미리 설정된 조건을 만족하지 않는 단계(S140)가 되면, 디스플레이부(151)에 열화상 정보를 대신하여 다시 내비게이션이 표시되는 단계(S150)가 진행된다.

도 7b의 (a)는 디스플레이부(151)를 통해 내비게이션 정보가 표시되는 일례를 도시한 것이고, 이때, 특정 이벤트가 발생하여 조건을 만족하는 경우에는 도 7b의 (b)에 도시된 것과 같이, 디스플레이부(151)에 내비게이션 정보를 대신하여 열화상 정보가 표시된다.

단, 발생된 이벤트가 소멸하여, 미리 설정된 조건을 만족하지 않게 되면, 디스플레이부(151)에 열화상 정보를 대신하여 다시 도 7b의 (a)의 내비게이션 정보가 표시된다.

제 3 표시 방법

본 발명의 또 다른 실시예에 따른 제 3 표시 방법은 깊이를 갖는 레이어를 기초로 레이어의 투명도를 조절함으로써, 열화상 정보와 내비게이션 정보를 선택적으로 표시하는 방법에 대한 것이다.

레이어는 소정 크기를 갖는 평면으로, 그 모양과 크기는 다양하게 구현될 수 있다. 예를 들어, 직사각형, 원형, 마름모형 등의 모양으로 구현될 수 있고, 크기는 디스플레이부의 전체 크기에 대응하여 일부 또는 전체 영역에 구현될 수 있다.

복수의 레이어들이 3차원으로 표시되는 것에 대해 도 8a 내지 도 9b를 참조하여 구체적으로 설명한다.

도 8a 내지 도8c는 본 발명의 나이트 비전 시스템에서 구현될 수 있는 입체 사용자 인터페이스의 디스플레이 상태도를 나타낸 것이고, 도 9a 및 도 9b는 본 발명의 나이트 비전 시스템에 구현될 수 있는 입체 사용자 인터페이스를 통해 투명도를 조절하여 열에너지 정보와 내비게이션 정보를 선택적으로 표시하는 일례를 나타내는 디스플레이 개념도이다.

도 8a 내지 도8c을 포함한 이하의 디스플레이 상태도들은 도면의 표현 한계로 평면 영상으로 도시되나, 상술한 3차원 입체영상 구현 방식으로 사용자에게 제공되는 입체영상을 나타내는 것으로 가정한다.

도 8a를 참조하면 레이어 1부터 레이어 3까지 총 3개의 레이어들이 입체 공간상에서 소정 간격을 두고 적층된 형태로 배치될 수 있다.

이러한 레이어들은 터치스크린(디스플레이부(151))을 통하여 3차원 입체영상으로 구현될 때, 사용자에게는 레이어 1이 가장 상부에 있으며 사용자에게 가깝게 느껴지도록 낮은 3차원 깊이(depth)를 가진다.

또한, 레이어 2를 거쳐 레이어 3으로 갈수록 점차적으로 배치 높이가 낮아지며 사용자로부터 멀게 느껴지도록 깊은 3차원 깊이를 가지게 된다.

이러한 레이어들은 사용자 입력부를 통한 소정의 명령 입력을 통하여 배치 위치 및/또는 3차원 깊이가 변경될 수 있다. 레이어들을 조작하기 위한 명령 입력은 터치스크린(151)을 통한 접촉 터치 및 근접 터치로 수행될 수 있다.

상술한 레이어들의 3차원 깊이 변경의 예로, 사용자 조작을 통한 3차원 깊이 변경이 가능하다.

보다 구체적으로, 도 8a와 같은 레이어들의 배치 상태에서 레이어 1의 위치에 해당하는 3차원 깊이의 레이어의 표면만이 선명하게 표시된다고 가정한다.

또한, 레이어 1의 위치보다 깊은 3차원 깊이에 위치한 레이어(즉, 레이어 2 및 레이어 3)들의 표면은 그보다 낮은 3차원 깊이에 위치한 레이어(즉, 레이어 1)에 가려지는 것으로 가정한다.

이와 같은 가정하에서, 도 8b와 같이 터치스크린을 통한 소정의 조작으로 모든 레이어들을 사용자에게 보다 가까운 위치에 있는 것으로 느껴지도록 3차원 깊이를 낮출 수 있다.

이렇게 되면, 레이어 2가 도 8a에서의 레이어 1에 해당하는 3차원 깊이를 갖게 되며, 레이어 3은 도 8a에서 레이어 2에 해당하는 3차원 깊이를 갖게된다. 여기서, 가정과 같이 도 8a의 레이어 1의 깊이에 위치한 레이어의 표면만이 선명하게 표시되므로, 도 6b에서는 레이어 2의 표면이 가장 선명하게 표시되고, 레이어 3의 표면은 레이어 2의 표면에 가려지게 된다.

한편, 레이어 1은 도 8b에서의 자신의 위치보다 낮은 3차원 깊이를 갖게 되는데, 이러한 경우 제어부(180)는 레이어 1을 레이어 2의 3차원 깊이에서 멀어질 수록 투명 또는 반투명하게 만들 수 있다.

상술한 이동 단말기의 동작을 통하여 사용자는 레이어 2의 표면을 레이어 1의 방해 없이 선명하게 볼 수 있다.

만일, 사용자가 다시 모든 레이어들의 3차원 깊이가 깊어지도록 하면 다시 도 8a와 같은 상태가 될 것이며, 모든 레이어들의 3차원 깊이가 더 낮아지도록 하면 레이어 1 및 레이어 2 모두가 투명 또는 반투명해지면서 레이어 3의 표면이 선명하게 표시될 수 있다.

이하, 본 명세서에서는 도 8a에서 레이어 1의 3차원 깊이와 같이 해당 깊이에 위치하는 레이어의 표면이 다른 선명한 레이어에 가리지 않고 선명하게 나타나도록 하는 3차원 깊이를 편의상 "기준깊이 "라 호칭한다.

한편, 도 8c는 도 8b에서 레이어 1이 아닌 레이어 2를 투명 레이어로 표현한 구체적인 일례를 도시한 것이다.

또한, 도 9a 및 도 9b의 기본 가정은 도 8a와 유사하므로 명세서의 간명함을 위하여 중복되는 설명은 생략한다.

다만, 각 레이어들의 표면에는 내비게이션 정보와 열화상 정보가 별도로 표시된다.

도 9a를 참조하면, 레이어 1이 기준깊이에 위치하여 레이어 1에 매핑된 내비게이션 정보가 선명하게 표시되며, 레이어 2 및 레이어 3은 레이어 1에 가려 그 표면이 보이지 않는 상태이다.

여기서, 사용자는 소정의 조작을 통하여 전체 레이어들의 3차원 깊이가 낮아지도록(즉, 사용자에게 가까이 있는 것으로 보이도록) 하여 레이어 2를 기준깊이로 배치할 수 있다.

그에 따라, 도 9b와 같이 레이어 1은 기준깊이보다 깊이가 낮아져 반투명하게 되고, 레이어 2가 기준깊이에 위치하게 됨에 따라 레이어 2에 매핑된 열화상 정보가 선명하게 표시될 수 있다. 레이어 3의 표면은 레이어 2에 가려져 여전히 보이지 않을 수 있다.

전술한 3차원의 입체 레이어 구조는 전체가 터치스크린 상으로 표시될 수도 있으나, 하나의 레이어가 터치스크린 전체 영역에 표시될 수 있다.

이러한 투명도를 조절할 수 있는 레이어들을 이용하여 본 발명에 따른 나이트 비전 시스템(100)은 내비게이션 정보가 열화상 정보를 함께 표시할 수 있다.

도 10은 본 발명의 나이트 비전 시스템에서 특정 조건에 따라 투명도를 조절하여 열에너지 정보와 내비게이션 정보를 선택적으로 표시하는 방법을 설명하는 순서도이다.

도 10을 참조하면, 가장 먼저, 가상의 입체 공간 상에 3차원 깊이(3D depth)를 갖고 소정 형태로 배치된 복수의 3차원 레이어(layer)가 디스플레이부 상에 표시되는 단계(S210)가 진행된다.

여기서, 복수의 3차원 레이어 중 제 1 레이어를 통해 내비게이션이 출력되고, 제 2 레이어를 통해 열화상 정보가 중첩되어 표시되는 단계(S220)가 진행된다.

S220 단계에서는 열화상 정보가 표시되는 제 2 레이어는 투명하게 표시되므로, 제 1 레이어를 통해 출력되는 내비게이션 정보만 사용자에게 표시된다.

이후, 미리 설정된 조건에 대응하여 제 1 레이어 또는 제 2 레이어의 투명도가 조절되는 단계(S230)가 진행될 수 있다.

여기서 미리 설정된 조건은 미리 설정된 거리 이내로 열 에너지를 가진 객체가 존재하는 조건, 차량의 속도가 특정 속도 이상인 조건, 차량으로부터 이격된 객체가 특정 속도 이상으로 이동하는 조건, 열화상 이미지에 존재하던 객체가 갑자기 사라지는 조건 등이 될 수 있다.

이때, 미리 설정된 이벤트가 발생되는 경우, 제 1 레이어는 투명하게 표시되어 내비게이션 정보를 투명하게 처리되고, 제 2 레이어는 불투명하게 됨으로써, 열화상 정보가 사용자에게 표시될 수 있다.

이후, S120 단계에서 발생된 이벤트가 소멸하여, 미리 설정된 조건을 만족하지 않게 되면, 디스플레이부(151)에 제 2 레이어는 다시 투명해지고, 제 1 레이어는 불투명해짐으로써, 열화상 정보는 표시되지 않고, 내비게이션 정보만이 사용자에게 제공되는 것이 가능하다.

제 4 표시 방법

본 발명의 일 실시예에 따른 제 4 표시 방법은 나이트 비전 시스템(100)에서 처리된 열 화상 정보를 외부 단말(200)로 공유하고, 단말(200)에서 내비게이션 정보와 나이트 비전 시스템(100)으로부터 획득된 열 화상 정보를 표시하는 방식이다.

즉, 차량의 사용자가 이용하는 외부 단말(200)과 근거리 통신 또는 원거리 통신하여 열화상 나이트 비전 시스템(100)은 무선통신부(110)를 통해 획득한 에너지 정보를 공유할 수 있다.

여기서 근거리 통신은 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee, Wi-Fi (Wireless Fidelity) 기술을 포함할 수 있다.

또한, 원거리 통신은 CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access) 기술을 포함할 수 있다.

도 11은 본 발명의 나이트 비전 시스템에서 외부 단말과 에너지 정보를 공유하는 구체적인 일례를 도시한 것이다.

도 11을 참조하면, 근거리 통신 또는 원거리 통신을 통해 외부 단말(200)로 나이트 비전 시스템(100)에서 처리된 열 화상 정보가 송신될 수 있고, 외부 단말(200)에서는 수신한 열 화상 정보를 표시할 수 있다.

또한, 도시하지는 않았지만 외부 단말(200)에서는 단말(200)을 통해 실행가능한 내비게이션 정보와 수신한 열 화상 정보를 함께 표시하는 것도 가능하다.

내비게이션 정보와 열 화상 정보를 함께 표시하는 방법은 나이트 비전 시스템(100) 자체에서 표시할 수 있었던 전술한 제 1 방법 내지 제 3 방법을 그대로 적용할 수 있다.

즉, 외부 단말(200)에서도 턴 바이 턴 방식을 이용하거나 특정 이벤트가 발생된 경우에만 어느 하나의 정보를 표시하거나 복수의 레이어를 이용하여 투명도를 조절함으로써, 내비게이션 정보와 열 화상 정보를 함께 표시할 수 있다.

제 5 표시 방법

한편, 본 발명에 따른 나이트 비전 시스템에서 열 화상 정보를 표시함에 있어서, 특정 객체가 사라지는 이벤트가 발생될 수 있다.

열 화상 정보 내에서 특정 객체가 사라지는 이벤트에서 상기 특정 객체는 1)차량이 이미 지나쳐버려 고려할 필요가 없는 불필요 객체와 2)다른 객체로 인해 가려져 보이지 않는 필요 객체로 구분될 수 있다.

불필요 객체의 경우에는 차량의 사용자가 고려할 대상이 되지 않으나 필요 객체의 경우에는 열 화상 영상 내에서 사라졌다가 다시 등장함으로써, 차량 사고를 유발시킬 수 있어 문제가 될 수 있다.

따라서 본 발명에서는 우선적으로 사라진 객체가 불필요 객체인지 필요 객체인지 구분한 이후에, 필요 객체라고 판단되는 경우에는 사라진 객체 주변의 적어도 일부에 시각적 효과를 부여함으로써, 차량 운전자에게 정보를 표시하는 방법을 제안하고자 한다.

본 발명이 제안하는 방법에 대해 도 12를 참조하여 구체적으로 설명한다.

도 12는 본 발명의 나이트 비전 시스템에서 객체가 사라지는 이벤트가 발생하는 경우에 시각적 효과를 부여하는 구체적인 방법을 설명하는 순서도이다.

도 12를 참조하면, 나이트 비전 시스템(100)의 열 화상 정보에서 적어도 하나의 객체가 사라지는 이벤트가 발생하는 단계(S310)가 진행된다.

즉, S310 단계에서는 이전 프레임에서 특정 영역에 포함되었던 열 화상 객체가 다음 프레임에서 갑자기 손실되는 이벤트가 발생된다.

이때, 본 발명에서는 사라진 객체가 차량으로부터 벗어난 객체인지 여부를 판단한다(S320).

즉, 열 화상 정보 내에서 특정 객체가 사라지는 이벤트에서 상기 특정 객체는 1)차량이 이미 지나쳐버려 고려할 필요가 없는 불필요 객체와 2)다른 객체로 인해 가려져 보이지 않는 필요 객체로 구분될 수 있고, S320 단계에서는 사라진 객체가 불필요 객체인지 필요 객체인지 여부를 판별하게 된다.

S320 단계에서 불필요 객체인지 여부를 판단하는 방법은, 객체의 크기, 위치 및 이동속도를 이용하는 방법이 될 수 있다.

즉, 차량으로부터 가까운 객체일수록 열화상 이미지도 크게 표현되고, 위치가 디스플레이부(151)의 사이드(side)에 위치한다.

또한, 이전 프레임들의 위치에서 추정된 객체의 이동속도가 빠른 경우에는 차량이 이미 지나쳐버린 불필요 객체일 확률이 높아진다.

따라서 제어부(180)는 열화상 이미지 내에 객체의 크기, 디스플레이부(151)의 사이드(side)에 가깝게 위치하는 정도 및 객체의 속도에 따라 사라진 객체가 불필요 객체인지 필요 객체인지 여부를 판별하게 된다.

불필요 객체의 경우에는 차량의 사용자가 고려할 대상이 되지 않으므로, 본 과정에서는 바로 종료의 단계로 진행되나 필요 객체의 경우에는 열 화상 영상 내에서 사라졌다가 다시 등장함으로써, 차량 사고를 유발시킬 수 있어 문제가 되므로, S330 단계가 진행된다.

즉, 사라진 객체 주변의 적어도 일부를 시각적 효과로 표시하는 단계(330)가 진행될 수 있다.

S330 단계에서 시각적 효과는 특정 아이콘의 생성, 색상의 변경, 점멸 등의 효과가 될 수 있다.

따라서 사용자는 사고를 유발할 수 있는 필요객체의 존재를 시각적 효과를 통해 인지할 수 있다.

또한, 미리 설정된 시간이 경과하면 제어부(180)는 시각적 효과를 제거하게 된다(S340).

한편, 본 발명의 또 다른 실시예에 따르면, 사라진 객체 주변의 적어도 일부를 시각적 효과로 표시하는 단계(330)는 사라진 객체 주변의 장애물이 고온인지 또는 저온인지 여부에 따라 다른 방식을 적용할 수 있다.

즉, 사라진 객체 주변의 장애물이 고온인 경우에는 보행자와의 구분이 어려우므로, 주변의 장애물 자체에 시각적 효과를 부여하여 표시하는 방법이 적용될 수 있다.

또한, 사라진 객체 주변의 장애물이 저온인 경우에는, 객체가 사라진 지점만을 위험을 알리는 특정 아이콘을 표시하는 방법이 적용될 수 있다.

도 13은 도 12에서 설명한 방법에서 사라진 객체 주변의 장애물의 온도에 따라 다른 시각적 효과를 부여하는 구체적인 방법을 설명하는 순서도이다.

도 13에서 S310 단계 및 S320 단계는 도 12에서와 동일하므로 명세서의 간명화를 위해 반복된 설명을 생략한다.

S320 단계에서 사라진 객체가 차량으로부터 벗어난 객체인지 여부를 판단하여 필요객체라고 판단한 경우, 제어부(180)는 사라진 객체 주변의 장애물이 미리 설정된 온도 이상인지 여부를 판단한다(S331).

만약, 사라진 객체 주변의 장애물이 미리 설정된 온도 이상의 고온의 장애물인 경우에는, 장애물과 보행자와의 구분이 어려우므로 제어부(180)는 장애물 자체에 시각적 효과를 부여한다(S332).

이와 반대로, 사라진 객체 주변의 장애물이 미리 설정된 온도 미만의 저온의 장애물인 경우에는, 제어부(180)는 객체가 사라진 지점만을 위험을 알리는 특정 아이콘을 표시한다(S333).

또한, 본 실시예에서는 미리 설정된 시간이 경과하면 시각적 효과를 제거하는 단계(S340)에서도 보다 효율적인 방법을 제안한다.

도 13을 참조하면, S332 단계 또는 S333 단계 이후에, 제어부(180)가 미리 설정된 시간을 카운트 다운(count down) 하는 단계(S341)가 진행된다.

이때, 차량의 속도가 빠른 경우에는 주변의 사라진 객체도 차량으로부터 빠르게 지나칠 확률이 높기 때문에, 제어부(180)는 차량의 속도에 대응하여 카운트 다운의 인터벌을 변화시킨다(S342).

즉, 차량의 속도가 빠를수록 카운트 다운을 더 빠르게 진행한다.

이후, 카운트 다운이 완료되면 시각적 효과를 제거하는 단계(S343)가 진행된다.

도 14는 도 13에서 설명한 사라진 객체 주변의 장애물의 온도에 따라 다른 시각적 효과를 부여하는 구체적인 일례를 도시한 것이다.

도 14의 (a)는 사라진 객체 주변의 장애물이 미리 설정된 온도 미만의 저온의 장애물인 경우, 제어부(180)가 객체가 사라진 지점만을 위험을 알리는 특정 아이콘을 표시하는 일례를 도시한 것이다.

도 14의 (b)는 사라진 객체 주변의 장애물이 미리 설정된 온도 이상의 고온의 장애물인 경우, 장애물과 보행자와의 구분이 어려우므로 제어부(180)가 장애물 자체에 시각적 효과를 부여하는 일례를 도시한 것이다.

열화상 정보 처리 및 표시 방법

상기에서는 전술한 본 발명의 구성을 기초로, 내비게이션 정보와 열화상 정보를 차량의 운전자에게 함께 제공하는 구체적인 실시예에 대해 설명하였다.

이하에서는 본 발명이 제안하는 열화상 나이트 비전 시스템(100)이 열화상 정보를 획득하고 표시하는 방법에 대해 보다 구체적으로 설명한다.

즉, 원적외선 카메라(122)가 열에너지를 통해 획득한 객체 관련 컨텐츠(문서, 이미지, 동영상 등)를 제어부(180)가 디지털 영상 신호로 변환하고, 변환된 영상 신호를 특정 알고리즘(Algorithm)을 통해 분석, 수정 및 보완하며, 디스플레이(151)가 처리된 컨텐츠를 표시하도록 제어하는 구체적인 동작에 대해 설명한다.

도 15는 본 발명에 따른 나이트 비전 시스템을 통해, FIR 카메라가 물체의 열에너지를 감지하여 특정 알고리즘(Algorithm)에 따라 정보를 디스플레이 하는 구체적인 과정을 설명하는 순서도이다.

도 15를 참조하면, 가장 먼저, 원적외선 카메라(122)를 통해 적어도 하나의 객체의 열에너지에 대한 이미지를 획득하는 단계(S400)가 진행된다.

S400 단계가 진행되면, 제어부(180)는 인풋된 이미지 중 기 설정된 수치 이상의 밝기 값을 갖는 높은 스레숄드(Threshold)의 이미지를 추출하는 단계(S410)를 수행한다.

여기서 스레숄드 값(임계값)은 영상의 평균, 표준편차, 히스토그램 등을 이용하여 통계적으로 추정하거나, 사용자가 임의의 값을 입력하는 것으로 설정 가능하다.

이는 보통 사람(보행자)의 밝기 값은 주변 배경보다 밝다는 사실을 근거로 1차적으로 보행자를 추출하기 위한 방법을 적용한 것이다.

그러나 원적외서 카메라(122)로부터 인접한 보행자와 멀리 떨어진 보행자의 획득되는 이미지 특성이 다르고, 하나의 보행자가 아닌 복수의 보행자가 인접해 있거나 날씨가 매우 춥거나 매우 더운 경우에는 S410 단계에서의 하나의 스레숄드(Threshold)로는 모든 보행자를 놓치지 않고 촬영하는 것이 어려울 수 있다.

따라서 S410 단계와 달리 밝기 값을 낮춰서 낮은 스레숄드(Threshold) 상에 밝게 올라오는 객체 이미지를 모두 추출하는 단계(S420)를 병렬적으로 수행한다.

여기서 스레숄드 값(임계값)은 영상의 평균, 표준편차, 히스토그램 등을 이용하여 통계적으로 추정하거나, 사용자가 임의의 값을 입력하는 것으로 설정 가능하다.

단, S420 단계에서는 타겟팅하는 보행자 등 이외에 불필요한 노이즈들이 빈번하게 포함되어 추출될 수 있다.

따라서 이러한 문제점을 해소하기 위해, S400 단계에서 인풋된 이미지를 에지(edge)를 기준으로 추출하는 S430 단계를 함께 수행한다.

이는, 사람(보행자)의 경우, 신체 특성상 버티컬(VERTICAL) 에지 외곽성분 즉, 세로의 에지 외곽 성분이 강하게 나타나므로, 이를 이용하여 S420 단계에서 획득된 불필요한 노이즈를 제거하기 위한 것이다.

에지(edge) 영상은 sobel filter, canny edge detector, laplacian filter로부터 추정할 수 있다.

제어부(180)는 S420 단계에서 낮은 스레숄드(Threshold) 상에 밝게 올라오는 객체 이미지를 모두 추출하고, S430 단계에서의 에지(edge)를 기준으로 추출된 이미지를 서로 곱하게 된다.

따라서 S420 단계에서 낮은 스레숄드(Threshold)를 넘겨 객체로 추출이 되더라도 버티컬 에지 성분이 없는 객체는 사라지게 된다.

예를 들어, 보행자가 도로 위에 서있는 경우, 보행자와 도로가 하나의 객체로 취급되어 S420 단계에서 이미지로 추출될 수 있다.

그러나 S430 단계에 의해, 도로는 버티컬 에지 성분이 없으므로, 결국 도로 위에 위치한 보행자의 이미지 요소만 남게 된다.

또한, S420 단계와 S430 단계를 곱하는 것은 버티컬 에지 성분을 가진 객체를 추출하는 것 이외에 완전하게 추출되지 못한 객체를 보완하는 마스킹 기능이 수행될 수도 있다.

즉, S420 단계에서 보행자가 완전하게 하나의 연결된 밝은 열 이미지로 추출되는 것이 아니라 중간이 끊긴 형상으로 추출될 수 있다.

이때, S430 단계에서의 에지 성분이 추출된 요소를 S420 단계에 적용함으로써, 상기 끊어진 공간이 채워지는 마스킹이 수행될 수 있다.

제어부는 S410 단계와 S420 단계 및 S430 단계를 순차적으로 수행할 수도 있고, 각각의 단계를 병렬적으로 동시에 수행하는 것도 가능하다.

S410 단계와 S420 및 S430 단계에서는 전술한 마스킹 작업과 유사하게, 레이블링(Labeling) 작업을 추가적으로 수행할 수 있다.

레이블링(Labeling) 작업은 근접하게 이격되어 떨어져 있는 덩어리, 세그먼트들을 붙여주는 작업으로서, 같은 객체이나 열에너지의 명확한 획득 실패로 인해 분리되어 있는 객체를 묶어주는 작업으로 볼 수 있다.

S410 단계 내지 S430 단계 이후에 헤드 포인트 정보를 추출하는 단계(S440)가 수행된다.

S440 단계에서는 S410 단계에서 추출된 이미지와 S420 및 S430 단계가 동시에 적용되어 추출된 이미지에서 객체의 머리(헤드) 포인트를 추출하게 된다.

즉, 추출한 이미지 중 밝은 부분이 끝나는 최상단 영역을 헤드 포인트 영역으로 결정할 수 있다.

여기서 Head 포인트 추출은 skeletonization(세선화), local maximum 추출, 학습을 통한 head 인식 등에 의해 수행될 수 있다.

또한, S440 단계와 동시에 또는 S440 단계와 순차적으로 객체의 풋(foot) 라인을 추출하는 단계(S450)가 수행될 수 있다.

S450 단계는 S420 단계와 S430 단계가 함께 적용되어 추출된 이미지를 이용하는 것이 아니라 단순하게 에지 성분만을 가지고 에지 맵을 추출하는 S430 단계에서의 정보를 통해 수행된다.

S450 단계에서는 획득된 이미지의 최 하단에서 세로 방향으로 올라오다가 추출된 각 이미지와 만나는 지점을 찾고, 만나는 지점을 해당 객체의 풋라인으로 결정하게 된다.

여기서, 풋 라인(발끝) 정보 추출은 입력된 영상 중 dilation을 수행하여 변환하고, 세로 방향으로의 미분값에 기반하여 추출할 수 있다(예를 들면 255-> 0로 변하는 위치).

S420, S430, S440 및 S450 단계 등을 수행하는 이유는 제어부(180)가 열화상 이미지를 획득함에 있어 계산 처리량을 줄이기 위함이다.

여기서 획득된 모든 이미지 상에 존재하는 객체를 확인하여 보행자를 최종적으로 검출해내는 것이 아니라 S420, S430, S440 및 S450 단계 등을 통해 노이즈로 명확히 판별될 수 있는 요소들은 작업의 전반부에서 미리 제거하고 과정을 진행하기 위한 것이다.

결국, 열화상 나이트 비전 시스템(100)의 보행자 인식률을 위해 보행자를 놓치지 않으면서 계절이나 날씨에 변화에 민감하지 않은 ROI 생성 방법을 제안하는 것이다.

상기 S420 단계 내지 S450 단계를 거치더라도 원하지 않는 노이즈는 포함될 수 있는데, 이는 S460 단계 내지 S480 단계를 통해 제거될 수 있다.

S440 단계 및 S450 단계를 통해, 헤드 포인트와 풋 라인을 검출하게 되면, 이를 통해 ROI(Region of Interest)를 생성할 수 있다(S460).

S460 단계에서 생성되는 ROI 영역은 head 후보와 대응하는 발끝 후보의 길이에 기반하여 특정 비율(예를 들면 2:1)의 박스로 결정될 수 있다.

결과적으로 S410 단계 내지 S460 단계는 입력 열화상 영상을 획득하는 단계, 입력영상에 기반하여 적어도 하나 이상의 임계값을 추정하는 단계, 추정된 임계값에 의해 영상을 분할하는 제 1 분할 영상을 생성하는 단계, 입력영상에 대해 edge영상을 계산하는 단계, 계산된 edge영상에 기반하여 임계값을 추정하는 단계, edge 영상으로부터 추정된 임계값에 의해 상기 edge 영상을 분할 하는 제 2 분할 영상을 생성하는 단계, 제 1분할 영상과 상기 제 2 분할 영상에 대해 곱연산을 수행하여 제 3 분할 영상을 생성하는 단계, 제 3 분할 영상을 Labeling하는 단계, Label 각각에 대해 head 후보를 추출하는 단계, 제 1, 2, 3 분할 영상으로부터 풋 라인(발끝 후보)을 추출하는 단계, head 후보점과 상기 풋 라인(발끝 후보)을 조합하여 ROI영역을 생성하는 단계로 구성될 수 있다.

한편, S460 단계에서 ROI를 생성함에 있어, 베니싱 라인(Vanishing line)을 추가적으로 이용할 수 있다.

베니싱 라인(Vanishing line)은 후술하는 S480 단계에서 오인지를 줄이는 역할을 할 수도 있고, S460 단계에서 ROI 자체를 생성하기 위한 기준으로 이용될 수도 있다.

베니싱 라인(Vanishing line)은 보이지 않는 가상의 공간 상의 라인으로서, 보행자의 세로축 중심은 거리와 관계없이 Vanishing line을 지나간다는 가정을 기초로 이용된다.

즉, 보행자의 크기가 다르고, 보행자와 카메라 간의 거리가 다르다는 점에서 유도되는 문제점을 해소하기 위해, 보행자의 세로축 중심은 크기 및 거리와 관계없이 Vanishing line을 지나간다는 가정을 이용하는 것이다.

S400 단계를 통해 획득된 적어도 1 frame 이상의 입력 영상으로부터 보행자 인식을 수행하는 경우, S460 단계에서는 상기 인식된 보행자 영역의 세로축 중심 좌표로부터 기준 vanishing line을 추정할 수 있다.

또한, 제어부(180)는 ROI를 생성하기 이전에, 상기 기준 vanishing line을 기반으로 vanishing region을 설정하고, vanishing region에 기반하여 현재 frame의 보행자 인식을 수행할 수 있다.

이때, 미리 제어부(180)는 메모리(160)에 저장된 보행자들의 세로축 중심 좌표에 대해 vanishing region 통계치를 로딩하고, 상기 인식된 보행자들의 세로축 중심 좌표에 대해 vanishing region과의 통계치의 차를 계산하게 된다.

제어부(180)는 상기 통계치의 차에 기반하여 미리 정해진 임계값보다 차 값이 클 경우, 보행자에 대한 객체가 아니라고 판단하여 ROI 자체를 생성하지 않을 수 있다.

예를 들어, 이전의 보행자들로부터 감지(디텍트)된 객체들의 포인트를 누적하여 가우시안 분포의 통계치를 계속적으로 누적할 수 있고, 누적된 정보는 확률모델로서 메모리(160)에 저장될 수 있다.

ROI는 사람(보행자)을 둘러싸는 박스로 취급할 수 있는데, 박스의 센터가 상기 확률모델과의 관계에서 미리 설정된 차이인 0.5 이하인 경우에만 ROI로 생성하게 되는 것이다.

S460 단계에서 베니싱 라인(Vanishing line)을 통해 생성하는 ROI의 개수가 적어지게 되면, 결국 제어부(180)가 분산처리하는 과정을 효율적으로 줄일 수 있게 된다.

S460 단계에서 ROI 생성에 있어, 이전 프레임에서 추출된 헤드 포인트 정보를 이용하는 방법도 적용될 수 있다.

즉, 이전 프레임에서 헤드 포인트로 추출된 경우, 다음 프레임에서의 헤드 포인트 위치는 제어부(180)에 의해 예상될 수 있다.

따라서 다음 프레임에서는 예상된 헤드 포인트 지점과 대응되는 특정 영역을 헤드 포인트로 인정하고, 나머지는 이용하지 않고, 기존의 정보를 이용함으로써, ROI 생성에 이용되는 계산과정을 축소시키는 것도 가능하다.

S460 단계가 진행되면, N개의 ROI가 생성될 수 있다.

제어부(180)는 생성된 N개의 ROI를 병렬처리를 위해 모으고, 기계학습(Machine Learning)에 따라 보행자 분류를 수행한다.

즉, 제어부(180)는 보행자에 대응되는 복수의 분류자(classifier)를 메모리(160)에 미리 저장하고, 상기 N개의 ROI에 포함된 보행자 후보 객체 중 저장된 복수의 분류자(classifier)에 대응되는 객체 이미지만을 추출하게 된다.

S470 단계에서 서로 다른 기준의 복수의 분류자(classifier)를 이용하여 오인지를 제거할 수도 있다.

여기서는 서로 다른 분류자(classifier)를 적용하면 오인지의 양상이 서로 다르다는 것을 확인할 수 있고, 서로 다른 복수의 분류자(classifier)를 적용하여 누락되는 부분을 상호 보완하는 것이 가능하다.

S470 단계 이후, 제어부(180)는 헤드 포인트 기반 트래킹(Tracking) 단계를 수행한다(S480).

S480 단계에서 제어부(180)는 Particle Filter, Mean Shift, Kalman Filter 등을 이용할 수 있다.

이후, 제어부(180)는 Tracking 후보에 대해서 Histogram을 비교하는 단계(S482)를 수행한다.

S482 단계 이후에 제어부(180)는 Best Matching을 결정(S483)하고, 최종적으로 Tracking 여부를 판단하게 된다(S484).

이러한 헤드 포인트 기초 트래킹을 통해, 제어부(180)가 수행하는 계산량을 획기적으로 줄일 수 있다.

S480 단계에서의 트래킹은 2개의 목적을 달성하기 위함일 수 있다.

먼저, 트래킹은 디스플레이부(151)를 통해 표시되는 영상이 끊김이 없이 표시되기 위해 이용된다.

즉, 제어부(180)를 통한 보행자의 인식이 연속적으로 이루어지지 못하는 경우, 보행자는 특정 프레임에서는 등장하고, 다름 프레임에서는 등장하지 못하여 깜빡거리는 현상이 나타날 수 있다.

따라서 S480 단계에서의 트래킹을 통해 특정 프레임에서 보행자가 인식되지 않더라도 이전 프레임에서의 보행자의 내용을 추적하여 디스플레이부(151) 상에 표시함으로써, 스무스(smooth)한 영상을 구현해 낼 수 있다.

이때, 원하는 객체가 아닌 오인지의 경우에는 특정 프레임에서만 유일하게 존재하고 다름 프레임들에서는 계속적으로 등장하지 않게 된다.

따라서 이러한 대상은 트래킹을 통해 오인지로 취급하고, 디스플레이부(151) 상에 표시하지 않는다.

원하는 객체인 보행자는 몇 개의 프레임에서는 감지가 되지 않을 수 있으나 대부분의 프레임에서는 감지가 되므로, 제어부(180)는 이 경우에는 트래킹을 통해 디스플레이부(151) 상에 연속적으로 객체가 표시되도록 제어할 수 있다.

다음으로, S480 단계의 목적은 오인지 제거를 위한 것이다.

S460 단계와 마찬가지로 S480 단계에서도 오인지 제거를 위해 베니싱 라인(Vanishing line)을 이용할 수 있다.

전술한 것과 같이, 베니싱 라인(Vanishing line)은 보이지 않는 가상의 공간 상의 라인으로서, 보행자의 세로축 중심은 거리와 관계없이 Vanishing line을 지나간다는 가정을 기초로 이용된다. 즉, 보행자의 크기가 다르고, 보행자와 카메라 간의 거리가 다르다는 점에서 유도되는 문제점을 해소하기 위해, 보행자의 세로축 중심은 크기 및 거리와 관계없이 Vanishing line을 지나간다는 가정을 이용한다.

획득된 적어도 1 frame 이상의 입력 영상으로부터 보행자 인식을 수행하는 경우, S480 단계에서는 상기 인식된 보행자 영역의 세로축 중심 좌표로부터 기준 vanishing line을 추정할 수 있다.

또한, 제어부(180)는 기준 vanishing line을 기반으로 vanishing region을 설정하고, vanishing region에 기반하여 현재 frame의 보행자 인식을 수행할 수 있다.

이때, 미리 제어부(180)는 메모리(160)에 저장된 보행자들의 세로축 중심 좌표에 대해 vanishing region 통계치를 로딩하고, 상기 인식된 보행자들의 세로축 중심 좌표에 대해 vanishing region과의 통계치의 차를 계산하게 된다.

제어부(180)는 상기 통계치의 차에 기반하여 미리 정해진 임계값보다 차 값이 클 경우, 보행자에 대한 객체가 아니라고 판단하여 오인지로 취급하고 당해 객체 정보는 버리게 된다.

S480 단계의 오인지 제거 목적을 위해 추가적으로 S450 단계에서 획득한 풋 라인 정보를 이용할 수도 있다.

즉, ROI로 인식된 박스를 기준으로 풋 라인을 잡고, 보행자가 아닌 경우에는 박스를 기준으로 풋라인의 형태 변화가 크므로, 이를 통해 당해 ROI를 오인지로 취급하고 제거할 수도 있다.

이후, 제어부(180)는 최종적으로 추출된 열화상 정보가 디스플레이부(151)를 통해 출력되도록 제어할 수 있다(S490).

전술한 본 발명의 구성 및 방법이 적용되는 경우, 야간 운전 시 전조등에 의해 확보되는 운전자의 시야범위를 벗어나 운전자의 눈으로 볼 수 없는 전방의 차량, 보행자 및 동물 등을 감지하여 운전자에게 더 많은 전방 영상 정보를 제공하기 위한 나이트 비전 방법 및 시스템이 사용자에게 제공될 수 있다.

즉, 본 발명은 차량에 설치된 FIR(Far Infra-Red) 카메라가 물체의 열에너지를 감지하면, 디지털 영상 신호로 변환하고, 변환된 영상 신호를 특정 알고리즘(Algorithm)을 통해 분석, 수정 및 보완하여 디스플레이에 표시하거나 알람을 출력하여 운전자가 사전에 전방 상황을 알 수 있도록 지원하는 나이트 비전 방법 및 시스템을 사용자에게 제공할 수 있다.

상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.

하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.

펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.

상술한 바와 같이 개시된 본 발명의 바람직한 실시예들에 대한 상세한 설명은 당업자가 본 발명을 구현하고 실시할 수 있도록 제공되었다. 상기에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 본 발명의 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 예를 들어, 당업자는 상술한 실시예들에 기재된 각 구성을 서로 조합하는 방식으로 이용할 수 있다. 따라서, 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다.

본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다. 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다. 또한, 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함할 수 있다.

Claims (10)

1. 내비게이션 정보를 수신하는 통신부; 및 상기 내비게이션 정보를 저장하는 메모리 중 적어도 하나를 포함하는 나이트 비전 정보 표시 장치에 있어서,
   제어부;
   적어도 하나의 객체에 대한 열에너지 정보를 획득하는 FIR(Far Infra-Red) 카메라; 및
   상기 제어부의 제어에 따라 상기 내비게이션 정보와 상기 열에너지 정보를 함께 표시하고,
   상기 적어도 하나의 객체가 상기 열에너지 정보 내에서 미리 설정된 시간 이내로 소멸하는 경우,
   상기 제어부는 상기 소멸한 객체가 상기 나이트 비전 정보 표시 장치로부터 미리 설정된 이격 거리 이상 벗어난 객체인지 여부를 판단하고,
   상기 소멸한 객체가 벗어난 객체가 아닌 경우,
   상기 제어부는 디스플레이부가 상기 소멸한 객체 주변의 적어도 일부에 시각적 효과를 표시하도록 제어하는 것을 특징으로 하는 나이트 비전 정보 표시 장치.
   
2. 제 1항에 있어서,
   상기 제어부는,
   상기 디스플레이부의 전체 영역에 상기 열에너지 정보가 표시되고,
   상기 디스플레이부의 일부 영역에 상기 내비게이션 정보가 턴 바이 턴(turn by turn) 방식으로 표시되도록 제어하는 것을 특징으로 하는 나이트 비전 정보 표시 장치.
   
3. 제 1항에 있어서,
   상기 제어부는,
   상기 디스플레이부의 전체 영역에 상기 내비게이션 정보가 표시되고,
   상기 열에너지 정보는 미리 설정된 조건이 만족되는 경우에만 상기 디스플레이부의 적어도 일부에 표시되도록 제어하는 것을 특징으로 하는 나이트 비전 정보 표시 장치.
   
4. 제 1항에 있어서,
   상기 디스플레이부는,제 1항에 있어서,
   상기 디스플레이부는, 상기 제어부의 제어에 따라 가상의 입체 공간 상에 3차원 깊이(3D depth)를 갖고 소정 형태로 배치된 복수의 3차원 레이어(layer)를 겹쳐서 표시하고,
   상기 복수의 3차원 레이어는 투명하게 표시 가능하며,
   상기 복수의 3차원 레이어 중 제 1 레이어는 상기 내비게이션 정보를 표시하고,
   상기 복수의 3차원 레이어 중 제 2 레이어는 상기 열에너지 정보를 표시하며,
   미리 설정된 조건이 만족되는지 여부에 따라 상기 제 1 레이어와 상기 제 2 레이어의 투명도가 조절되는 것을 특징으로 하는 나이트 비전 정보 표시 장치.
   
5. 제 4항에 있어서,
   상기 미리 설정된 조건이 만족되는지 않는 경우에는 상기 제 1 레이어는 불투명 레이어이고, 상기 제 2 레이어는 투명 레이어이며,
   상기 미리 설정된 조건이 만족되는 경우에는 상기 제 1 레이어는 투명 레이어이고, 상기 제 2 레이어는 불투명 레이어인 것을 특징으로 하는 나이트 비전 정보 표시 장치.
   
6. 제 3항 또는 제 4항에 있어서,
   상기 미리 설정된 조건은,
   나이트 비전 정보 표시 장치와 상기 적어도 하나의 객체 간의 이격거리가 미리 설정된 거리 이내인 조건, 상기 나이트 비전 정보 표시 장치의 속도가 미리 설정된 속도 이상인 조건, 상기 적어도 하나의 객체의 이동속도가 미리 설정된 이동속도 이상인 조건, 상기 적어도 하나의 객체가 상기 열에너지 정보 내에서 미리 설정된 시간 이내로 소멸하는 조건을 포함하는 것을 특징으로 하는 나이트 비전 정보 표시 장치.
   
7. 제 1항에 있어서,
   상기 통신부는 상기 열에너지 정보를 외부 단말로 전송하고,
   상기 외부 단말의 디스플레이부 상에 상기 열에너지 정보와 상기 내비게이션 정보가 함께 표시되는 것을 특징으로 하는 나이트 비전 정보 표시 장치.
   
8. 삭제
9. 제 1항에 있어서,
   상기 제어부는,
   상기 소멸한 객체 주변의 장애물의 온도가 미리 설정된 온도 이상인지 여부를 판단하고,
   상기 장애물의 온도가 상기 미리 설정된 온도 이상인 경우에는 상기 디스플레이부가 상기 장애물에 시각적 효과를 표시하도록 제어하고,
   상기 장애물의 온도가 상기 미리 설정된 온도 미만인 경우에는 상기 디스플레이부가 상기 소멸한 객체가 사라진 지점을 알리는 아이콘을 표시하도록 제어하는 것을 특징으로 하는 나이트 비전 정보 표시 장치.
   
10. 제 1항에 있어서,
    상기 제어부는,
    상기 열에너지 정보 중 미리 설정된 조건을 만족하는 제 1 열에너지 정보를 추출하고,
    상기 열에너지 정보에서 버티컬 에지(Vertical Edgy)를 추출하며,
    상기 제 1 열에너지 정보 중 상기 추출된 버티컬 에지에 매핑(mapping) 되는 제 2 열에너지 정보를 추출하고,
    상기 제 2 열에너지 정보에 포함된 객체의 버티컬 일단과 타단 포인트를 추출하며,
    상기 일단과 타단 포인트를 이용하여 ROI(Region of Interest)를 생성하고,
    식별하고자 하는 제 1 객체와 관련된 복수의 분류자(classifier)와 상기 ROI에 포함된 객체를 비교하며,
    상기 ROI에서 상기 복수의 분류자 중 적어도 하나에 대응되는 ROI를 추출하고,
    상기 디스플레이부가 상기 추출한 ROI를 표시하도록 제어하는 것을 특징으로 하는 나이트 비전 정보 표시 장치.

Images