KR102592431B1 - 거리 정보를 포함하는 열화상 이미지 생성 방법 - Google Patents

Abstract

거리 정보를 포함하는 화상 이미지 생성 방법이 제공 된다. 본 발명의 일 실시예에 따르면 스마트 글래스를 착용한 사용자의 시선 방향에 대응하는 위치 좌표에 대한 정보를 획득하는 단계와, 사용자의 시선 전방에 대한 열화상 이미지를 센싱하는 단계와, 사용자의 위치로부터 장애물까지의 거리를 산출하는 단계와, 위치 좌표에 대한 정보와 장애물까지의 거리에 대한 정보를 포함하는 3차원 맵을 생성하는 단계와, 열화상 이미지와 3차원 맵을 매핑(mapping)하여 거리 정보를 포함하는 열화상 이미지를 생성하는 단계를 포함하되, 3차원 맵은 미리 설정된 크기의 블록을 이용하여 장애물의 형태를 결정하고, 미리 설정된 크기는 화재 진압 상황이 실외에서 이루어지는 경우 제1 크기이며, 화재 진압 상황이 실내에서 이루어지는 경우 제1 크기 보다 작은 제2 크기일 수 있다.

Description

거리 정보를 포함하는 열화상 이미지 생성 방법{METHOD FOR GENERATING INFRARED THERMAL IMAGE INCLUDING DEPTH INFORMATION}

본 발명은 거리 정보를 포함하는 열화상 이미지 생성 방법에 관한 것이다. 보다 자세하게는, 깊이 정보가 포함된 3차원 맵을 열화상 센서가 센싱한 데이터에 매핑한 열화상 이미지를 생성할 수 있는 방법에 관한 것이다.

소방용 헬멧은 화재 진압 현장에서 소방관의 안면과 머리를 보호하고, 소방 활동에 최적의 능률과 안전을 유지시켜 주는데 사용된다. 이러한 소방 헬멧은 통상 외피는 내충격용 폴리카보네이트로 제조되고. 헬멧 전면에는 상, 하로 위치 조절이 가능한 안면 보호 커버가 설치되어 있다. 그러나, 이와 같은 종래의 소방용 헬멧은 단순히 외부 충격으로부터 소방관을 보호할 뿐, 실제 화재 현장에서 필요한 다양한 요구사항들은 지원해주지 못하고 있다. 예를 들어, 화재 현장에 사람이나 동물이 존재하는지 등과 같은 정보는 실제 소방관이 화재 현장에 깊숙이 침투하여 눈으로 확인하고 이를 별도의 통신 수단을 통해 외부로 알려야만 한다.

이를 해결하기 위해 소방용 열화상 카메라가 개발되었다. 열화상 카메라는 사람이나 동물의 신체에서 복사되는 적외선을 특수 센서로 센싱하여 화상으로 출력하는바, 도 1에서 열화상 카메라가 센싱하여 출력한 화상을 확인할 수 있다. 실제 소방관이 화재 현장에 깊숙이 침투하여 눈으로 확인하지 않더라도 사람이나 동물의 존재를 확인할 수 있다는 장점이 있다. 그러나 소방용 열화상 카메라는 가격이 매우 비싸며, 부피가 크고 중량이 무겁기 때문에 소방관이 화재 현장에 들고 침투하기가 매우 불편하며, 손으로 직접 들고 센싱해야 하기 때문에 손이 자유롭지 않아 작업 능률이 떨어지는 문제점이 있다. 따라서 최근의 화재 현장에는 화재 진압을 하는 소방관과 별개로 소방용 열화상 카메라만을 들고 침투하는 별도의 인력이 함께 투입되고 있다.

아울러, 소방용 열화상 카메라는 단순히 열화상을 통해 사람이나 동물이 화재 현장에 존재하는지에 대해서만 출력할 수 있으며, 소방관의 현재 위치로부터 사람이나 동물까지의 구체적인 거리에 대한 깊이 정보(Depth Information)는 다루지 않기 때문에 소방관은 구조 활동에 어려움을 겪을 수 있으며, 충분하지 않은 소방 장비를 가지고 화재 현장에 진입하는 위험에 빠질 수도 있다.

따라서, 부피와 중량의 문제를 해결함과 동시에 소방관의 머리에 착용하는 형태로 제작함으로써 소방관의 손이 자유로워져 별도의 인력이 투입될 필요가 없고, 소방관의 현재 위치로부터 사람이나 동물까지의 구체적인 거리에 대한 깊이 정보까지 모두 다룰 수 있는 새롭고 진보적인 소방용 열화상 카메라 그리고 거리 정보를 포함하는 열화상 이미지 생성 방법이 요구된다. 본 발명은 이와 관련된 것이다.

대한민국 공개특허공보 제10-2016-0015089호(2016.02.12)

본 발명이 해결하고자 하는 기술적 과제는 부피와 중량의 문제를 해결함과 동시에 소방관의 머리에 착용하는 형태로 제작함으로써 소방관의 손이 자유로워져 별도의 인력이 투입될 필요가 없는 거리 정보를 포함하는 열화상 이미지 생성 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 다른 기술적 과제는 소방관의 현재 위치로부터 사람이나 동물까지의 구체적인 거리에 대한 깊이 정보까지 출력할 수 있는 거리 정보를 포함하는 열화상 이미지 생성 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 또 다른 기술적 과제는 화재 환경에 따라 효율적으로 정보를 제공할 수 있는 방법으로 열화상 이미지의 생성 방법을 전환할 수 있는 열화상 이미지 생성 방법을 제공하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.

상기 기술적 과제를 해결하기 위한, 본 발명의 일 실시예에 따른 거리 정보를 포함하는 열화상 이미지 생성 방법은 스마트 글래스를 착용한 사용자의 시선 방향에 대응하는 위치 좌표에 대한 정보를 획득하는 단계, 상기 사용자의 시선 전방에 대한 열화상 이미지를 센싱하는 단계, 상기 사용자의 시선 전방에 존재하는 장애물을 센싱하여 상기 사용자의 현재 위치로부터 상기 장애물까지의 거리에 대한 정보를 산출하는 단계, 상기 위치 좌표에 대한 정보와 상기 장애물까지의 거리에 대한 정보를 포함하는 3차원 맵을 생성하는 단계, 화상 생성부가 상기 열화상 이미지와 상기 3차원 맵을 매핑(mapping)하여 거리 정보를 포함하는 열화상 이미지를 생성하는 단계를 포함하되, 상기 3차원 맵은 미리 설정된 크기의 블록을 이용하여 상기 장애물의 형태를 결정하고, 상기 미리 설정된 크기는 화재 진압 상황이 실외에서 이루어지는 경우 제1 크기이고, 화재 진압 상황이 실내에서 이루어지는 경우 제1 크기 보다 작은 제2 크기일 수 있다.

일 실시예에서, 상기 열화상 이미지 내에서 상기 블록으로 생성된 객체의 선명도는, 상기 스마트 글래스로부터 상기 장애물까지의 거리에 따라 상기 거리가 짧을수록 높게 변경되는 것일 수 있다.

일 실시예에서, 상기 화상 생성부가 상기 열화상 이미지와 상기 3차원 맵을 매핑하여 거리 정보를 포함하는 열화상 이미지를 생성하는 단계는, 상기 열화상 이미지 상에 블록을 표시하되, 상기 블록 각각에 대한 온도를 표시하는 단계를 포함할 수 있다.

일 실시예에서, 상기 화상 생성부가 상기 열화상 이미지와 상기 3차원 맵을 매핑하여 거리 정보를 포함하는 열화상 이미지를 생성하는 단계는, 상기 열화상 이미지 상에 블록을 표시하되, 상기 블록 각각에 대한 거리 정보를 표시하는 단계를 포함할 수 있다.

일 실시예에서, 상기 장애물의 형태를 결정하는 단계는, 인접하게 위치하는 블록의 거리 정보가 동일한 경우 하나의 객체로 판단하는 단계, 상기 블록의 좌표를 이용하여 상기 하나의 객체로 판단된 상기 장애물의 형태를 결정하는 단계를 포함할 수 잇다.

일 실시예에서, 상기 블록의 좌표를 이용하여 상기 하나의 객체로 판단된 상기 장애물의 형태를 결정하는 단계는, 인접하게 위치하며 블록의 거리 정보가 동일한 모든 블록들의 테두리 선을 연결하는 단계, 상기 모든 블록들의 테두리 선으로 연결된 형태를 장애물의 형태로 결정하는 단계를 포함할 수 있다.

일 실시예에서, 상기 블록의 좌표를 이용하여 상기 하나의 객체로 판단된 상기 장애물의 형태를 결정하는 단계는, 인접하게 위치하며 블록의 거리 정보가 동일한 모든 블록들의 가장 테두리에 있는 중심점끼리 연결하는 단계, 상기 모든 블록들의 가장 테두리에 있는 중심점끼리 연결된 형태를 장애물의 형태로 결정하는 단계를 포함할 수 있다.

도 1은 열화상 카메라가 센싱하여 출력한 화상의 예시적인 모습을 나타낸 도면이다.
도 2는 본 발명의 일 실시 예에 따른 스마트 글라스의 외관을 나타낸 도면이다.
도 3은 디스플레이부가 사용자의 시야로부터 소정 거리 이격 배치된 모습을 나타낸 도면이다.
도 4는 스마트 글라스의 본체를 별도로 나타낸 도면이다.
도 5 내지 도 7은 제2 센서가 제1 초음파 센서 및 제2 초음파 센서를 이용하여 정보를 처리하는 방법에 대해 나타낸 도면이다.
도 8은 소방용 헬맷 위에 장착된 스마트 글라스의 예시를 나타낸 도면이다.
도 9는 본 발명의 또 다른 실시 예에 따른 스마트 글라스를 이용한 거리 정보를 포함하는 열화상 이미지 생성 방법의 순서도를 나타낸 도면이다.
도 10은 도 9의 단계 S950을 구체적으로 설명하기 위한 도면이다.
도 11은 도 9의 단계 S930을 구체적으로 설명하기 위한 도면이다.
도 12는 도 11의 단계 S933을 구체적으로 설명하기 위한 도면이다.
도 13은 본 발명의 또 다른 실시예에 따른 스마트 글래스의 하드웨어 구성도이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.

이하, 도면들을 참조하여 본 발명의 몇몇 실시예들을 설명한다.

도 2는 본 발명의 일 실시 예에 따른 스마트 글라스(100)의 외관을 나타낸 도면이다.

본 실시 예에 따른 스마트 글라스(100)는 도 2에 도시된 바와 같이 디스플레이부(10), 제1 센서(20), 제2 센서(30) 및 제3 센서(40)를 포함할 수 있으며, 도면에는 도시되지 않았지만 스마트 글라스(100)의 내부에 형성된 3차원 맵 생성부(미도시) 및 화상 생성부(미도시)를 더 포함할 수 있다. 뿐만 아니라 스마트 글라스(100)을 형성함에 있어 필요한 부가적인 구성들 모두가 포함될 수 있음은 물론이다.

디스플레이부(10)는 사용자의 시야로부터 소정 거리 이격 배치되어 소정 화상을 출력한다.

디스플레이부(10)는 화상이 출력되는 모니터와 같은 역할을 수행하기 때문에 예를 들어, 일반적인 LCD용 렌즈에 반투명 필름을 부착하거나 OLED(Organic Light Emitting Diode) 패널을 렌즈 내부에 표시하여 형성할 수 있으며, 뿐만 아니라 공지된 어떠한 재료를 사용하여 구성하여도 무방하다. 예를 들어, 디스플레이부(10)는 시판된 스마트 글라스의 디스플레이부와 동일한 재질의 것을 사용하여도 무방하다.

이와 더불어 디스플레이부(10)에는 별도의 디스플레이 수단(미도시)을 더 포함할 수 있다. 상기 설명한 디스플레이부(10)가 모니터와 같은 역할을 수행한다면 모니터에 화상을 출력해줄 수 있는 별도의 수단이 필요하기 때문이다. 이러한 디스플레이 수단(미도시)은 스마트 글라스가 사용자의 머리에 착용하는 형태이기 때문에 디스플레이부(10)로부터 별도로 떨어진 위치에 형성되는 것보다는 디스플레이부(10) 내부에 형성되어 화상을 그대로 출력할 수 있도록 함이 바람직하다.

도 3은 디스플레이부(10)가 사용자의 시야로부터 소정 거리 이격 배치된 모습을 나타내고 있는바, 디스플레이부(10)가 사용자의 시야로부터 너무 가깝게 배치되어 있다면 눈은 화상 식별을 위한 초점을 잡기가 어려운바, 화상 식별 자체가 불가능할 수 있다. 따라서 디스플레이부(10)는 사용자의 시야로부터 최소 3cm이상은 이격되는 것이 바람직하며, 이격된 소정 거리는 후술할 제1 연결부(20)를 통해 조절 가능하다.

한편, 도 2에 도시된 디스플레이부(10)는 가로가 긴 직사각형 형태로 되어 있는바, 이 경우 디스플레이부(100)의 세로 길이는 최소한 사용자의 눈의 세로 길이를 이상이 되도록 구현하는 것이 바람직하다. 예를 들어, 사용자의 눈의 세로 길이가 2cm라 할 경우, 디스플레이부(100)의 세로 길이가 이보다 짧은 1.5cm라면 눈 기능의 한계로 인해 화상 식별이 어려워질 수 있기 때문이다. 아울러, 디스플레이부(100)의 세로 길이가 지나치게 짧은 경우 출력되는 화상 자체도 작아질 수밖에 없을 것이므로 화상 식별이 가능한 정도의 세로 길이를 갖는 것이 바람직할 것이다.

이러한 직사각형 형태의 디스플레이부(10)는 하나의 실시 예일뿐이며, 디스플레이부(10)를 일반적인 안경과 같이 원형의 형상으로 구현하거나 사용자의 얼굴을 감싸는 고글 형상으로 구현할 수 있음은 물론이다. 즉, 디스플레이부(10)의 형상은 제한이 없다.

본체는 제1 센서(20), 제2 센서(30) 및 제3 센서(40)와 화상 생성부(미도시)를 포함한다. 우선, 제1 센서(20) 내지 제3 센서(40)에 대하여 설명하도록 한다.

제1 센서(20)는 자이로 센서일 수 있다. 자이로 센서는 사용자의 시야 방향에 대응하는 위치 좌표에 대한 정보를 획득할 수 있는바, 중력가속도를 기준으로 x 축에 대한 회전, y축에 대한 회전, z축에 대한 회전을 나타내는 좌표를 획득할 수 있으며, 9축 자이로 센서를 사용하는 것이 바람직하다.

제2 센서(30)는 초음파 센서일 수 있다. 구체적으로 제2 센서(30)는 제1 초음파 센서와 제2 초음파 센서를 포함할 수 있으며, 사람이나 동물을 포함하는 장애물과의 거리에 대한 깊이 정보를 획득할 수 있는바, 초음파 송신부와 수신부를 구비하여 전방으로 초음파를 송신하고, 송신한 초음파가 장애물에 의해 반사되는 반사파를 수신부가 수신하며, 초음파를 송신한 시간으로부터 반사파를 수신할 때까지 걸리는 시간으로부터 장애물까지의 거리를 감지할 수 있다.

제3 센서(40)는 열화상 센서일 수 있다. 열화상 센서는 사람이나 동물의 신체에서 복사되는 적외선을 특수 센서로 센싱하여 화상으로 출력하며, 사용자의 시선 전방에 대한 열화상 이미지를 센싱한다. 도 1에서 열화상 카메라가 센싱하여 출력한 화상을 확인할 수 있다.

이러한 제2 센서(30) 내지 제3 센서(40)는 스마트 글라스(100)의 전면에 형성되어 사용자가 스마트 글라스(100)를 착용한 상태에서 사용자의 시야가 향하는 방향과 동일한 방향을 센싱할 수 있도록 함이 바람직하다. 즉, 제2 센서(30) 내지 제3 센서(40)는 사용자가 스마트 글라스(100)를 착용하였을 때, 전방을 바라볼 수 있는 위치에 형성되어야 한다. 아울러, 전방을 촬영하는 카메라 센서(45) 역시 동일 선상에 형성될 수 있다.

도 4는 스마트 글라스(100)의 본체를 별도로 나타낸 도면인바, 전면에 4개의 홀(Hole)이 형성된 것을 확인할 수 있으며, 중간에 형성된 홀 내부에 배치된 카메라 센서(45)를 생략하고 나머지 센서들에 대하여 설명하도록 한다. 이러한 홀 내부에 제2 센서(30) 내지 제3 센서(40)가 형성될 수 있는바, 제2 센서(30)를 가장 위의 홀 내부에, 제3 센서(40)를 그 아래 홀 내부에 배치할 수 있으며, 제2 센서(30)가 제1 초음파 센서 및 제2 초음파 센서를 포함하는 경우에는 제3 센서(40)를 중간에 두고 제1 초음파 센서가 위에, 제2 초음파 센서가 아래 배치될 수 있다. 여기서 제1 초음파 센서와 제2 초음파 센서를 제3 센서(40)의 위와 아래에 각각 배치하는 것은 초음파 센서가 거리를 탐지하는 역할을 수행하기 때문이며, 사용자가 고개를 위 아래로 움직이는 경우까지 모두 포함하여 거리를 탐지하게 하기 위함이다.

여기서 센서들을 홀 내부에 배치하는 것은 비교적 고가의 부품인 센서를 외부로부터 보호하기 위함이며, 일부가 노출되어 있는 것은 센싱의 정확도 향상을 위함이다. 예를 들어, 제1 초음파 센서와 제2 초음파 센서가 홀 내부에 배치되어 센싱하는 것이 아니라 본체의 내부에 배치된다면 정확한 센싱이 어려울 것이다. 그러나 홀 내부에 배치된다면 노출된 부분으로 초음파를 송수신할 수 있으므로 센싱의 정확도가 현저하게 상승할 수 있을 것이다.

한편, 제1 센서(20)인 자이로 센서의 경우 다른 센서들과 마찬가지로 본체의 전면 홀 내부에 배치할 수도 있을 것이나, 자이로 센서는 방위 변화인 각속도를 센싱하는 센서이기 때문에 굳이 본체 외부로 노출될 필요는 없을 것이다. 이 경우 자이로 센서는 본체 내부에 형성될 수 있다.

한편, 상기 설명한 센서들의 배치는 정확한 센싱을 위한 하나의 실시예일 뿐이며, 다른 순서로 배치될 수 있음은 물론이다. 예를 들어, 제1 초음파 센서를 가장 위의 홀 내부에, 열화상 센서를 그 아래 홀 내부에, 제2 초음파 센서를 맨 아래 홀 내부에 배치할 수도 있다.

3차원 맵 생성부(미도시)는 제1 센서(20)가 획득한 좌표에 대한 정보와 제2 센서(30)가 산출한 장애물까지의 거리에 대한 정보를 포함하는 3차원 맵을 생성한다.

이하, 도 5 내지 도 7을 참조하며, 제2 센서(30)가 제1 초음파 센서 및 제2 초음파 센서를 포함하는 경우에 제1 센서(20) 내지 제2 센서(30)가 정보를 처리하는 방법에 대해 설명하도록 한다.

도 5는 제1 센서(20)인 자이로 센서가 센싱한 데이터를 도시한 도면이다. 자이로 센서에 의하면 사용자의 시야 방향에 대응하는 위치 좌표는 중간에 굵은 네모로 표시한 (1, 4, 0)으로 추출될 수 있다.

또한, 도 5를 참조하면 제2 센서(30)인 제1 초음파 센서가 감지하는 장애물의 위치는 (1, 0~10, 0)으로, 제2 초음파 센서가 감지하는 장애물의 위치는 (1, -10~0, 0)으로 추출할 수 있다.

도 6을 참조하면, 제2 센서(30)인 제1 초음파 센서는 장애물까지의 거리를 산출하여 (1, 0~10, 0)의 픽셀 값으로 추출하고, 제2 초음파 센서는 장애물까지의 거리를 산출하여 (1, -10~0, 0)의 픽셀 값으로 추출할 수 있다. 한편, 사용자가 본 발명의 일 실시 예에 따른 스마트 글라스를 착용한 상태에서 고개를 좌우로 저으면 보다 넓은 범위의 전방의 장애물 정보를 획득할 수 있다.

마지막으로 도 7을 참조하면, 장애물의 위치 좌표의 y값이 0~10, -10~0인 경우 장애물까지의 거리는 200cm로 가정하면, 장애물까지의 거리인 200cm를 반영한 크기로 출력할 수 있다.

화상 생성부(미도시)는 제3 센서(40)가 센싱한 열화상 이미지와 3차원 맵 생성부(미도시)가 생성한 3차원 맵을 매핑(Mapping)하여 거리 정보를 포함하는 열화상 이미지를 생성할 수 있으며, 이를 디스플레이부(10)에 출력할 수 있다.

이 경우 도면에 따로 도시하지는 않았지만, 디스플레이부(10)에 출력되는 화상은 사용자가 스마트 글라스(100)를 착용한 상태에서 도 6에 도시된 풍경을 열화상 센서를 통해 센싱한 화상에 상기 도 8에 도시된 3차원 맵이 겹쳐진 형태가 될 것이다.

이를 통해 사용자, 보다 구체적으로 화재 현장의 소방관은 현재 위치로부터 사람이나 동물까지의 구체적인 거리를 직접 확인할 필요가 없어지므로, 구조 활동의 편의성을 향상시킬 수 있으며, 충분하지 않은 소방 장비를 가지고 화재 현장에 진입하는 위험을 방지할 수 있을 것이다.

이상, 본체가 포함하는 제1 센서(20) 내지 제3 센서(40), 3차원 맵 생성부(미도시)와 화상 생성부(미도시)에 대하여 설명하였다. 이하, 본체가 포함하는 부가적인 구성에 대하여 설명하도록 한다.

본체는 사용자가 스마트 글라스(100)를 착용한 상태에서 머리와 맞닿게 되는 저면에 스피커부(미도시)를 더 포함할 수 있다. 스피커부(미도시)는 본체 내부에 설치된 블루투스 모듈 또는 통신 모듈을 통해 다른 소방관이 착용한 스마트 글라스(100) 또는 화재 현장을 관장하는 중앙 관리 부서 등과 통신하는 내용이 음향으로 출력될 수 잇다.

더 나아가, 열화상 센서가 OFF된 경우, 상기 설명한 3차원 맵에 포함된 깊이 정보를 음향으로 출력할 수 있다. 예를 들어, "전방 10m 앞에 장애물 존재", "우측 전방 15m 앞에 사람 발견" 등과 같이 3차원 맵에 포함된 깊이 정보가 음향으로 출력될 수 있다. 이 경우 사용자는 굳이 디스플레이부(10)에 출력된 화상을 확인하지 않더라도 스피커부(미도시)에서 출력되는 음향을 통해 장애물의 위치를 확인할 수 있을 것이며, 스마트 글라스(100)는 배터리를 통해 구동되기 때문에 열화상 센서가 OFF되어 보다 긴 시간 동안 구동이 가능해질 수 있을 것이다.

지금까지 본 발명의 일 실시 예에 따른 스마트 글라스(100)에 대하여 설명하였다. 스마트 글라스(100)에 의하여 화재 현장에 진입하는 소방관은 이를 착용한 채, 디스플레이부(10)에 출력되는 화상 또는 스피커부(미도시)에서 출력되는 음향만 확인하면서 화재 진압을 하면 충분하므로 두 손이 자유로워져 열화상 촬영을 위한 별도의 인력이 투입될 필요가 없다. 또한, 소방관의 현재 위치로부터 사람이나 동물까지의 구체적인 거리에 대한 깊이 정보까지 출력할 수 있으므로 소방관이 직접 구체적인 거리를 확인할 필요가 없는바, 구조 활동의 편의성을 향상시킬 수 있으며, 충분하지 않은 소방 장비를 가지고 화재 현장에 진입하는 위험을 방지할 수 있다.

한편, 이러한 스마트 글라스(100)는 도 8에 도시된 바와 같이 소방용 헬멧 위에 착용할 수 있으며, 소방용 헬멧과 일체로 제작될 수도 있다. 이 경우 디스플레이부(10)는 보호용 헬맷의 안면 보호 커버로 대체될 것이다. 즉, 안면 보호 커버에 화상이 출력될 것이다. 아울러, 본 발명의 일 실시 예에 따른 소방용 스마트 글라스(100)가 소방용 헬멧과 일체로 제작되는 경우 중복 서술을 방지하기 위해 자세한 설명은 생략하지만 상기 설명한 기술적 특징은 모두 포함할 수 있다.

이하, 도 9 내지 도 12를 참조하여 상기 설명한 스마트 글라스(100)를 이용한 거리 정보를 포함하는 열화상 이미지 생성 방법에 대하여 설명하도록 한다.

우선, 제1 센서(20)가 스마트 글라스(100)를 착용한 사용자의 시선 방향에 대응하는 위치 좌표에 대한 정보를 획득한다(S910).

여기서 제1 센서(20)는 자이로 센서이며, 획득한 위치 좌표는 상기 도 5에 대하여 설명한 것과 동일하다.

이후, 제2 센서(30)가 사용자의 시선 전방에 존재하는 장애물을 센싱하여 사용자의 현재 위치로부터 장애물까지의 거리에 대한 깊이 정보를 산출한다(S920).

삭제

여기서 제2 센서(30)는 초음파 센서이며, 산출한 장애물까지의 거리에 대한 깊이 정보는 상기 도 5 내지 도 6에 대하여 설명한 것과 동일하다.

다음으로 3차원 맵 생성부(미도시)가 상기 S910 단계에서 획득한 좌표에 대한 정보와 상기 S920 단계에서 산출한 장애물까지의 거리에 대한 정보를 포함하는 3차원 맵을 생성한다(S930).

여기서 3차원 맵은 상기 도 7에 대하여 설명한 것과 동일하다.

3차원 맵이 생성되었다면, 제3 센서(40)인 열화상 센서가 사용자의 시선 전방에 대한 열화상 이미지가 센싱되며(S940), 화상 생성부(미도시)가 열화상 이미지와 3차원 맵을 매핑하여 거리 정보를 포함하는 열화상 이미지가 생성된다(S950).

생성된 거리 정보를 포함하는 열화상 이미지는 도 5에 도시된 풍경을 열화상 센서를 통해 센싱한 화상에 상기 도 7에 도시된 3차원 맵이 겹쳐진 형태가 될 것이다.

한편, 상기 S940 단계는 반드시 S930 단계 이후에 수행되어야 하는 것은 아니다. 3차원 맵의 생성과 열화상 이미지의 센싱은 어느 것이 먼저 수행되어도 무방한 상호 독립적인 단계이기 때문이다. 따라서 S940 단계는 상기 S910 단계 이전에 수행될 수도 있으며, 상기 S910 단계 내지 S930 단계가 수행되고 있는 것과 동시에 병렬적으로 수행될 수도 있다.

이하, 도 10 내지 12를 참조하여 본 발명을 몇몇 실시예에 따른 거리 정보를 포함하는 열화상 이미지 생성 방법에 적용될 수 있는 다양한 실시예를 설명하도록 한다.

도 10은 도 9의 단계 S950을 구체적으로 설명하기 위한 도면이다.

도 10을 참조하면, 단계 S950에서 열화상 이미지가 생성될 때, 단계 S951이 수행될 수 있다. 단계 S951에서, 거리 정보가 우선적으로 표시되는 깊이맵 우선 모드와 상기 열화상 이미지의 온도에 대한 정보가 우선적으로 표시되는 열화상 우선 모드 중에서 선택된 모드에 따라 거리 정보를 표시하는 방법이 전환될 수 있다. 깊이맵 우선 모드와 열화상 우선 모드의 전환은 자동 또는 수동으로 이루어질 수 있다.

깊이맵 우선 모드는 거리 정보가 우선적으로 표시되는 모드이고, 열화상 우선 모드는 열화상 이미지의 온도에 대한 정보가 우선적으로 표시되는 모드이다. 깊이맵 우선 모드는 깊이맵을 기초로하여 온도에 대한 정보가 부가적으로 표시되며, 열화상 우선 모드는 열화상 이미지를 기초로하여 거리 정보가 부가적으로 표시될 수 있다.

깊이맵 우선 모드에 따라 거리 정보를 포함하는 열화상 이미지가 생성되는 경우, 3차원 맵 상에 블록을 표시하되, 블록 각각에 대한 온도가 표시될 수 있다. 예를 들어, 3차원 맵은 도 7과 같이 여러 개의 블록으로 이루어질 수 있는데, 각각의 블록내에 블록에 대한 온도가 표시될 수 있다. 각각의 블록에 해당되는 평균 온도가 산출되어 각 블록 내에 표시될 수 있다.

또한, 열화상 우선 모드에 따라 거리 정보를 포함하는 열화상 이미지가 생성되는 경우, 열화상 이미지 상에 블록을 표시하되, 블록 각각에 대한 거리 정보가 표시될 수 있다. 예를 들어, 열화상 이미지는 도 1과 같이 온도에 따라 상이한 색상으로 표시될 수 있으며, 여기에 도 7과 같은 블록이 함께 표시될 수 있다. 각각의 블록에는 각 블록에 해당되는 객체의 거리 정보가 표시될 수 있다. 구체적으로 각 블록의 평균적인 거리 정보가 산출되어 각 블록 내에 표시될 수 있다.

만약, 열화상 이미지를 센싱하는 동작에 오류가 발생된 것으로 판단되는 경우, 상기 깊이맵 우선 모드로 자동 전환될 수 있다. 또한, 깊이맵 이미지를 센싱하는 동작에 오류가 발생된 것으로 판단되는 경우, 상기 열화상 우선 모드로 자동 전될 수도 있다.

화재 장소에 투입되는 장치의 경우 화재 온도와 연기에 의해 오작동 되는 경우가 많은데, 본 발명의 일 실시예에 따른 거리 정보를 포함하는 열화상 이미지 생성 방법은 어느 하나의 센서가 고장나는 경우 거리 정보와 온도에 대한 정보를 효율적으로 표시할 수 있는 모드로 자동으로 전환하기 때문에, 화재 진압 작업에 도움을 줄 수 있다.

본 발명을 일 실시예에 따른 거리 정보를 포함하는 열화상 이미지 생성 방법은 상기와 같은 깊이맵 우선 모드 또는 열화상 우선 모드가 가능함에 따라 온도에 대한 정보와 거리에 대한 정보를 함께 표시할 수 있다.

또한, 본 발명은 깊이맵 우선 모드 또는 열화상 우선 모드가 선택됨에 따라 온도에 대한 정보와 거리 정보를 효율적으로 식별할 수 있는 방법이 선택될 수 있다.

이하, 도 11 및 도 12를 참조하여 거리 정보를 포함하는 열화상 이미지를 생성하는 다양한 실시예를 설명하도록 한다.

도 11과 같이 단계 S930에서 3차원 맵이 생성될 때, 단계 S931 내지 S935가 수행될 수 있다. 구체적으로, 단계 S931에서 3차원 맵이 미리 설정된 크기의 블록으로 구분될 수 있다. 이러한 블록의 크기는 수동으로 또는 화재 진압상황 별로 상이하게 자동 변경될 수 있다. 예를 들어 화재 진압 상황이 매우 넓은 공간에서 이루어지는 경우 구체적인 정보 보다는 간략화된 추상적인 정보가 유용할 수 있기 때문에, 화재 진압 상황이 들판, 산, 공터 등 넓은 공간으로 파악되는 경우 블록의 크기가 상대적으로 크게 구분될 수 있으며, 화재 진압 상황이 건물 안, 집 안, 차 안 등의 실내인 것으로 파악되는 경우 블록의 크기가 상대적으로 작게 구분될 수 있다.

단계 S933에서 블록을 이용하여 장애물의 형태가 식별될 수 있다. 즉, 블록을 이용하여 장애물의 형태가 사람인지, 건물인지, 또는 장애물인지 등이 식별될 수 있다.

이때 도 12와 같이 단계 S9331에서 인접하게 위치하는 블록의 거리 정보가 동일한 경우 하나의 객체로 판단될 수 있다. 예를 들어, A블록의 거리 정보와 B블록의 거리 정보가 동일한 경우 같은 객체로 판단될 수 있다. 물론 같은 객체라고 하더라도 바닥에 수평으로 놓여있는 물체와 같이 하나의 객체 내에서 거리 정보가 각각 상이할 수도 있다. 그러나, 이러한 경우 30cm, 50cm, 등등 상황에 맞는 오차범위를 설정하여 30cm, 50cm 차이의 거리 정보는 동일한 거리라고 판단될 수 있다.

단계 S9332에서 하나의 객체에 대한 블록의 좌표를 장애물의 형태가 식별될 수 있다. 예를 들어 하나의 객체라고 판단된 블록들의 좌표를 전부 연결하면 장애물의 형태가 식별될 수 있다. 이때, 블록들의 테두리 선을 이용하여 장애물의 형태가 식별되거나, 각각의 블록들의 가장 테두리에 있는 중심점끼리 연결하여 장애물의 형태가 결정될 수 있다.

상기와 같이 단계 S933을 거쳐 장애물의 형태가 식별될 수 있다. 다시 도 11로 돌아와서 단계 935에서 장애물의 형태 별로 구별된 장애물까지의 거리가 산정될 수 있다.

또한, 단계 S950에서 열화상 이미지가 생성될 때, 장애물까지의 거리에 따라 장애물이 가까울수록 블록에 해당되는 열화상 이미지 내의 객체의 선명도가 높게 변경될 수 있다. 반대로 장애물이 멀수록 블록에 해당되는 열화상 이미지 내의 객체의 선명도가 낮게 변경될 수 있다.

이러한 실시예를 통해 구조자는 선명도가 낮은 이미지 보다 선명도가 높은 이미지에 집중하기 때문에 가까운 장애물을 더욱 쉽게 인식할 수 있고, 거리 정보를 직관적으로 인식할 수 있는 장점이 있다.

본 발명의 거리 정보를 포함하는 열화상 이미지 생성 방법은 화재 현장의 소방관이 현재 위치로부터 사람이나 동물까지의 구체적인 거리를 직접 확인할 필요가 없어지므로, 구조 활동의 편의성을 향상시킬 수 있으며, 충분하지 않은 소방 장비를 가지고 화재 현장에 진입하는 위험을 방지할 수 있을 것이다.

도 13은 컴퓨팅 장치(500)를 나타내는 예시적인 하드웨어 구성도이다.

도 13에 도시된 바와 같이, 컴퓨팅 장치(500)는 하나 이상의 프로세서(510), 버스(550), 통신 인터페이스(570), 프로세서(510)에 의하여 수행되는 컴퓨터 프로그램(591)을 로드(load)하는 메모리(530)와, 컴퓨터 프로그램(591)를 저장하는 스토리지(590)를 포함할 수 있다. 다만, 도 13에는 본 발명의 실시예와 관련 있는 구성요소들 만이 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 13에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.

프로세서(510)는 컴퓨팅 장치(500)의 각 구성의 전반적인 동작을 제어한다. 프로세서(510)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서 중 적어도 하나를 포함하여 구성될 수 있다. 또한, 프로세서(510)는 본 발명의 다양한 실시예들에 따른 방법/동작을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 컴퓨팅 장치(500)는 하나 이상의 프로세서를 구비할 수 있다.

메모리(530)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(530)는 본 발명의 다양한 실시예들에 따른 방법/동작들을 실행하기 위하여 스토리지(590)로부터 하나 이상의 프로그램(591)을 로드(load) 할 수 있다. 예를 들어, 컴퓨터 프로그램(591)이 메모리(530)에 로드 되면, 도 4에 도시된 바와 같은 로직(또는 모듈)이 메모리(530) 상에 구현될 수 있다. 메모리(530)의 예시는 RAM이 될 수 있으나, 이에 한정되는 것은 아니다.

버스(550)는 컴퓨팅 장치(500)의 구성 요소 간 통신 기능을 제공한다. 버스(550)는 주소 버스(Address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.

통신 인터페이스(570)는 컴퓨팅 장치(500)의 유무선 인터넷 통신을 지원한다. 통신 인터페이스(570)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(570)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.

삭제

스토리지(590)는 하나 이상의 컴퓨터 프로그램(591)을 비임시적으로 저장할 수 있다. 스토리지(590)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.

컴퓨터 프로그램(591)은 본 발명의 다양한 실시예들에 따른 방법/동작들이 구현된 하나 이상의 인스트럭션들을 포함할 수 있다. 컴퓨터 프로그램(591)이 메모리(530)에 로드 되면, 프로세서(510)는 상기 하나 이상의 인스트럭션들을 실행시킴으로써 본 발명의 다양한 실시예들에 따른 방법/동작들을 수행할 수 있다.

지금까지 설명된 본 발명의 실시예에 따른 방법들은 컴퓨터가 읽을 수 있는 코드로 구현된 컴퓨터프로그램의 실행에 의하여 수행될 수 있다. 상기 컴퓨터프로그램은 인터넷 등의 네트워크를 통하여 제1 컴퓨팅 장치로부터 제2 컴퓨팅 장치에 전송되어 상기 제2 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 제2 컴퓨팅 장치에서 사용될 수 있다. 상기 제1 컴퓨팅 장치 및 상기 제2 컴퓨팅 장치는, 서버 장치, 클라우드 서비스를 위한 서버 풀에 속한 물리 서버, 데스크탑 피씨와 같은 고정식 컴퓨팅 장치를 모두 포함한다.

상기 컴퓨터프로그램은 DVD-ROM, 플래시 메모리 장치 등의 기록매체에 저장된 것일 수도 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다.

Claims (7)

1. 컴퓨팅 장치에 의해 수행되는 방법에 있어서,
   스마트 글래스를 착용한 사용자의 시선 방향에 대응하는 위치 좌표에 대한 정보를 획득하는 단계;
   상기 사용자의 시선 전방에 대한 열화상 이미지를 센싱하는 단계;
   상기 사용자의 시선 전방에 존재하는 장애물을 센싱하여 상기 사용자의 현재 위치로부터 상기 장애물까지의 거리에 대한 정보를 산출하는 단계;
   상기 위치 좌표에 대한 정보와 상기 장애물까지의 거리에 대한 정보를 포함하는 3차원 맵을 생성하는 단계; 및
   화상 생성부가 상기 열화상 이미지와 상기 3차원 맵을 매핑(mapping)하여 거리 정보를 포함하는 열화상 이미지를 생성하는 단계를 포함하되,
   상기 3차원 맵은 미리 설정된 크기의 블록으로 구분되고, 상기 블록을 이용하여 상기 장애물의 형태가 결정되고, 상기 미리 설정된 크기는 화재 진압 상황이 실외에서 이루어지는 경우 제1 크기이고, 화재 진압 상황이 실내에서 이루어지는 경우 제1 크기 보다 작은 제2 크기인,
   거리 정보를 포함하는 열화상 이미지 생성 방법.
2. 제1 항에 있어서,
   상기 열화상 이미지 내에서 상기 블록으로 생성된 객체의 선명도는, 상기 스마트 글래스로부터 상기 장애물까지의 거리에 따라 상기 거리가 짧을수록 높게 변경되는,
   거리 정보를 포함하는 열화상 이미지 생성 방법.
3. 제1 항에 있어서,
   상기 화상 생성부가 상기 열화상 이미지와 상기 3차원 맵을 매핑하여 거리 정보를 포함하는 열화상 이미지를 생성하는 단계는,
   상기 열화상 이미지 상에 블록을 표시하되, 상기 블록 각각에 대한 온도를 표시하는 단계를 포함하는,
   거리 정보를 포함하는 열화상 이미지 생성 방법.
4. 제1 항에 있어서,
   상기 화상 생성부가 상기 열화상 이미지와 상기 3차원 맵을 매핑하여 거리 정보를 포함하는 열화상 이미지를 생성하는 단계는,
   상기 열화상 이미지 상에 블록을 표시하되, 상기 블록 각각에 대한 거리 정보를 표시하는 단계를 포함하는,
   거리 정보를 포함하는 열화상 이미지 생성 방법.
5. 제1 항에 있어서,
   상기 장애물의 형태를 결정하는 단계는,
   인접하게 위치하는 블록의 거리 정보가 동일한 경우 하나의 객체로 판단하는 단계;
   상기 블록의 좌표를 이용하여 상기 하나의 객체로 판단된 상기 장애물의 형태를 결정하는 단계를 포함하는,
   거리 정보를 포함하는 열화상 이미지 생성 방법.
6. 제5 항에 있어서,
   상기 블록의 좌표를 이용하여 상기 하나의 객체로 판단된 상기 장애물의 형태를 결정하는 단계는,
   인접하게 위치하며 블록의 거리 정보가 동일한 모든 블록들의 테두리 선을 연결하는 단계; 및
   상기 모든 블록들의 테두리 선으로 연결된 형태를 장애물의 형태로 결정하는 단계를 포함하는,
   거리 정보를 포함하는 열화상 이미지 생성 방법.
7. 제5 항에 있어서,
   상기 블록의 좌표를 이용하여 상기 하나의 객체로 판단된 상기 장애물의 형태를 결정하는 단계는,
   인접하게 위치하며 블록의 거리 정보가 동일한 모든 블록들의 가장 테두리에 있는 중심점끼리 연결하는 단계; 및
   상기 모든 블록들의 가장 테두리에 있는 중심점끼리 연결된 형태를 장애물의 형태로 결정하는 단계를 포함하는,
   거리 정보를 포함하는 열화상 이미지 생성 방법

Images