KR102649720B1 - 정보안내장치 및 그 동작 방법 - Google Patents

Abstract

본 발명은 비 가시 영역을 감지한 감지데이터로부터 물체를 확인하여, 확인된 물체를 회피한 비 가시 영역에서의 안정적인 이동을 지원할 수 있는 정보안내장치 및 그 동작 방법을 제안한다.

Description

정보안내장치 및 그 동작 방법{APPARATUS FOR INFORMATION INDICATOR, AND CONTROL METHOD THEREOF}

본 발명은 비 가시 영역을 감지한 감지데이터로부터 물체를 확인하여, 확인된 물체를 회피한 비 가시 영역에서의 안정적인 이동을 지원하기 위한 방안에 관한 것이다.

일반적으로, 시각장애인들은 혼자 힘으로는 목적지를 찾아가기 어렵다. 때문에 맹도견이나 타인의 힘을 빌리게 되는데, 육체적으로나 심적으로 매우 불편한 일이다.

특히 언제라도 외출하고 싶을 때 동반자 없이 혼자 자유롭게 외출할 수 있는 환경을 만들어 주는 것이 무엇보다도 중요하다.

기존에는 초음파 센서를 이용한 보행 보조기기가 개발되었으나 이러한 보행 보조기기 지팡이만을 의지하여 동반자 없이 원하는 목적지까지 가는 것은 쉽지 않다.

즉 초음파 센서를 이용하여 장애물은 감지하지만 이동경로를 알려주지 못하는 결정적 한계가 있다.

또한 GPS 시스템은 전체적인 이동경로 정보를 제공해 주지만 보도와 같이 좁은 공간에서 정확한 보행지점을 알려줄 정도로 해상도가 높지 않은 결정적 단점이 있다.

최근에는 RFID 태그를 점자 블록 등에 설치하고, RFID 리더기를 이용하여 그 정보를 읽어 들여 위치를 확인하여 정보를 전달하는 보행안내 장치들도 개발되고 있는 추세이다.

그러나 인식 범위가 상이한 각각의 장치만으로는 시각장애인의 이동 경로를 안전하고 정확하게 안내할 수 없다.

이에, 본 발명에서는 시각장애인의 이동 경로를 비롯한 화재 시 플래시 오버 발생 영역에 해당할 수 있는 비 가시 영역에서의 이동을 효과적으로 지원할 수 있는 새로운 방안을 제안하고자 한다.
한편, 본 발명의 배경이 되는 기술은 '대한민국 공개특허공보 10-2013-0086861(2013.08.05)'에 개시되어 있다.

본 발명은 상기한 사정을 감안하여 창출된 것으로서, 본 발명에서 도달하고자 하는 목적은 비 가시 영역을 감지한 감지데이터로부터 물체를 확인하여, 확인된 물체를 회피한 비 가시 영역에서의 안정적인 이동을 지원하는데 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 정보안내장치는 비 가시 영역에 존재하는 물체를 회피하는 것과 관련된 연산을 수행하는 프로세서; 및 상기 프로세서를 통해 실행되는 적어도 하나의 명령이 저장된 메모리를 포함하며, 상기 적어도 하나의 명령은, 상기 비 가시 영역을 감지한 감지데이터가 수신되면, 상기 감지데이터를 기초로 상기 비 가시 영역 내에 상기 물체가 존재하는지 여부를 확인하도록 하는 확인명령; 상기 비 가시 영역에 상기 물체가 존재하는 것으로 확인된 경우 상기 물체에 대한 이미지를 회득하도록 하는 획득명령; 및 상기 이미지에 대한 인식 결과를 포함하는 회피안내정보를 제공하도록 하는 제공명령을 포함하는 것을 특징으로 한다.

보다 구체적으로, 상기 감지데이터는 상기 비 가시 영역에서 상기 정보안내장치와 특정 거리에 위치한 상기 물체의 단면을 감지하는 깊이(Depth) 센서로부터 수신되는 것을 특징으로 한다.

보다 구체적으로, 상기 이미지는, 상기 물체의 존재가 확인된 시점에 촬영된 카메라의 촬영이미지로부터 상기 물체의 단면에 해당하는 영역을 크롭(crop)하여 획득되는 것을 특징으로 한다.

보다 구체적으로, 상기 회피안내정보에는, 상기 물체의 존재가 확인된 시점에 상기 정보안내장치의 방향정보를 기초로 결정되는 회피방향정보가 더 포함되는 것을 특징으로 한다.

보다 구체적으로, 상기 이미지에 대한 인식 결과는, 상기 물체 인식과 관련된 기 학습된 학습 값을 이용하여 상기 이미지로부터 상기 물체에 대한 인식을 처리하는 인식처리서버로부터 획득되며, 상기 제공명령은, 상기 인식처리서버로부터 상기 이미지에 대한 인식 결과가 임계 시간 동안 수신되지 않는 경우, 상기 물체의 외곽선을 상기 회피안내정보로서 제공하도록 한다.

상기 목적을 달성하기 위한 본 발명의 일 실시예 따른 정보안내장치의 동작 방법은, 비 가시 영역을 감지한 감지데이터가 수신되면 상기 감지데이터를 기초로 상기 비 가시 영역 내에 물체가 존재하는지 여부를 확인하는 확인단계; 상기 비 가시 영역에 상기 물체가 존재하는 것으로 확인된 경우 상기 물체에 대한 이미지를 회득하는 획득단계; 및 상기 이미지에 대한 인식 결과를 포함하는 회피안내정보를 제공하는 제공단계를 포함하는 것을 특징으로 한다.

보다 구체적으로, 상기 감지데이터는 상기 비 가시 영역에서 상기 정보안내장치와 특정 거리에 위치한 상기 물체의 단면을 감지하는 깊이(Depth) 센서로부터 수신되는 것을 특징으로 한다.

보다 구체적으로, 상기 이미지는, 상기 물체의 존재가 확인된 시점에 촬영된 카메라의 촬영이미지로부터 상기 물체의 단면에 해당하는 영역을 크롭(crop)하여 획득되는 것을 특징으로 한다.

보다 구체적으로, 상기 회피안내정보에는, 상기 물체의 존재가 확인된 시점에 상기 정보안내장치의 방향정보를 기초로 결정되는 회피방향정보가 더 포함되는 것을 특징으로 한다.

보다 구체적으로, 상기 이미지에 대한 인식 결과는, 상기 물체 인식과 관련된 기 학습된 학습 값을 이용하여 상기 이미지로부터 상기 물체에 대한 인식을 처리하는 인식처리서버로부터 획득되며, 상기 제공단계는, 상기 인식처리서버로부터 상기 이미지에 대한 인식 결과가 임계 시간 동안 수신되지 않는 경우, 상기 물체의 외곽선을 상기 회피안내정보로서 제공하는 것을 특징으로 한다.

본 발명의 일 실시예에 따른 정보안내장치의 동작 방법은, 전술한 방법의 각 단계를 실행시키도록 구현되어 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램의 형태를 가지는 것을 특징으로 한다.

본 발명의 일 실시예에 따른 정보안내장치의 동작 방법은, 전술한 방법의 각 단계를 실행시키기 위한 명령어를 포함하는 컴퓨터 판독 가능한 기록매체의 형태를 가지는 것을 특징으로 한다.

이에, 본 발명의 정보안내장치 및 그 동작 방법에 의하면, 비 가시 영역을 감지한 감지데이터로부터 물체를 확인하여, 확인된 물체의 회피 이동을 위한 회피안내정보를 제공함으로써, 비 가시 영역에서의 안정적인 이동을 가능하게 하는 효과가 성취된다.

도 1은 본 발명의 제 1 실시예에 따른 피사체 촬영 시스템의 개략적인 구성도.
도 2는 본 발명의 제 1 실시예에 따른 정보안내장치의 개략적인 구성도.
도 3은 본 발명의 제 1 실시예에 따른 정보안내장치를 구현하기 위한 하드웨어 시스템의 개략적인 구성도.
도 4는 본 발명의 제 1 실시예에 따른 정보안내장치에서의 동작 흐름을 설명하기 위한 순서도.
도 5는 본 발명의 제 2 실시예에 따른 피사체 촬영 시스템의 개략적인 구성도.
도 6은 본 발명의 제 2 실시예에 따른 정보안내장치를 구현하기 위한 하드웨어 시스템에서의 동작 흐름을 설명하기 위한 순서도.
도 7은 본 발명의 제 2 실시예에 따른 정보안내장치의 개략적인 구성도.
도 8은 본 발명의 제 2 실시예에 따른 정보안내장치를 구현하기 위한 하드웨어 시스템의 개략적인 구성도.
도 9은 본 발명의 제 2 실시예에 따른 정보안내장치에서의 동작 흐름을 설명하기 위한 순서도.
도 10은 본 발명의 제 2 실시예에 따른 정보안내장치를 구현하기 위한 하드웨어 시스템에서의 동작 흐름을 설명하기 위한 순서도.

본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 명세서에 개시된 기술의 사상을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 명세서에 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 명세서에 개시된 기술의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 명세서에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.

또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

또한, 본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예들을 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

또한, 본 명세서에 개시된 기술을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 기술의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 기술의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 그 기술의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.

이하, 첨부된 도면을 참조하여 본 발명의 제 1 실시예에 대하여 설명한다.

도 1은 본 발명의 제 1 실시예에 따른 정보 제공 시스템을 도시한 도면이다.

도 1에 도시된 바와 같이, 본 발명의 제 1 실시예에 따른 정보 제공 시스템은 비 가시 영역에서의 이동을 지원하는 정보안내장치(100)를 포함하는 구성을 가질 수 있다.

여기서, 비 가시 영역이란 시각장애인의 이동 경로를 비롯한 화재 시 플래시 오버 발생 영역과 같이 일상 생활 또는 위급 상황 시 시야가 확보되지 않는 영역으로 이해될 수 있다.

정보안내장치(100)는 비 가시 영역에 존재하는 물체를 확인하고, 확인된 물체를 회피하여 안정적으로 이동하는 것을 지원할 수 있는 회피안내정보를 제공하는 장치를 일컫는 것으로서, 예컨대, 웨어러블 디바이스(예: 스마트 글라스) 및 스마트 폰 등을 포함한 모바일 디바이스가 해당될 수 있다.

이러한, 정보안내장치(100)에서는 비 가시 영역을 감지한 감지데이터로부터 비 가시 영역에 존재하는 물체를 확인하는 방식을 통해서 회피안내정보를 제공할 수 있는데, 이하에서는 이를 실현하기 위한 정보안내장치(100)의 구성에 대해 보다 구체적으로 설명하기로 한다.

도 2에는 본 발명의 제 1 실시예에 따른 정보안내장치(100)의 개략적인 구성을 보여주고 있다.

도 2에 도시된 바와 같이, 본 발명의 제 1 실시예에 따른 정보안내장치(100)는 비 가시 영역 내 물체를 확인하는 확인부(110), 물체에 대한 이미지를 회득하는 획득부(120), 및 회피안내정보를 제공하는 제공부(140)를 포함하는 구성을 갖는다.

이상의 확인부(110), 획득부(120), 및 제공부(140)를 포함하는 본 발명의 제 1 실시예 따른 정보안내장치(100)의 구성 전체 내지는 적어도 일부는, 프로세서에 의해 실행되는 소프트웨어 모듈 형태 또는 하드웨어 모듈 형태로 구현되거나, 소프트웨어 모듈과 하드웨어 모듈이 조합된 형태로도 구현될 수 있다.

여기서, 소프트웨어 모듈이란, 예컨대, 정보안내장치(100) 내에서 연산을 수행하는 프로세서에 의해 실행되는 명령어로 이해될 수 있으며, 이러한 명령어는 정보안내장치(100) 내 메모리에 저장된 형태를 가질 수 있다.

결국, 본 발명의 제 1 실시예에 따른 정보안내장치(100)는 위 구성들을 통해 비 가시 영역을 감지한 감지데이터로부터 물체를 확인하여 회피안내정보를 제공할 수 있게 되는데, 이하에서는 이를 구현하기 위한 정보안내장치(100) 내 각 구성에 대해 보다 구체적으로 설명하기로 한다.

확인부(210)는 비 가시 영역 내 물체를 확인하는 기능을 수행한다.

보다 구체적으로, 확인부(210)는 비 가시 영역을 감지한 감지데이터가 수신되면, 수신된 감지데이터로부터 비 가시 영역 내에 물체가 존재하는지 여부를 확인하게 된다.

여기서, 감지데이터는, 정보안내장치(100)와 특정 거리에 위치한 물체의 단면을 감지한 감지 결과를 일컫는 것으로서, 정보안내장치(100)에 장착된 별도의 깊이(Depth) 센서로부터 수신된다.

결국, 확인부(210)는 깊이(Depth) 센서로부터 수신되는 감지데이터를 이용하여 비 가시 영역 내 정보안내장치(100)와 특정 거리에 위치한 물체의 단면을 확인할 수 있는 것이다.

획득부(220)는 물체의 이미지를 획득하는 기능을 수행한다.

보다 구체적으로, 획득부(220)는 비 가시 영역에 존재하는 물체가 확인되면 확인된 물체의 이미지를 획득하게 된다.

이때, 획득부(220)는 물체의 존재가 확인된 시점에 촬영된 카메라의 촬영이미지로부터 물체의 단면에 해당하는 영역만을 크롭(crop)하는 방식을 통해서 물체의 이미지를 획득하게 된다

이처럼, 물체의 단면에 해당하는 영역만을 크롭하여 물체의 이미지를 획득하는 것은, 촬영이미지 내 배경이미지를 삭제하는 방식을 통해서 이하에서 이어질 물체에 대한 인식 결과의 정확도를 향상시키기 위함이다.

제공부(140)는 회피안내정보를 제공하는 기능을 수행한다.

보다 구체적으로, 제공부(140)는 비 가시 영역에 존재하는 물체의 이미지가 획득되면, 예컨대, 머신러닝 기법 등을 통해 획득된 이미지로부터 비 가시 영역에 존재하는 물체의 종류(명칭)를 인식하여, 해당 인식 결과를 포함하는 회피안내정보를 예컨대, 음성 안내 또는 디스플레이 안내를 통하여 제공함으로써, 비 가시 영역에서 물체를 회피하여 이동하는 것을 안내하게 된다.

이처럼, 비 가시 영역에서 물체를 회피하여 이동하는 것을 안내하기 위해 제공되는 회피안내정보에는 회피 방향을 안내하기 위한 회피방향정보가 더 포함될 수 있는데, 이러한 회피방향정보는 물체의 존재가 확인된 시점에 해당하는 정보안내장치(100)의 방향정보를 기초로 결정될 수 있다.

여기서, 정보안내장치(100)의 방향정보는 물체의 존재가 확인된 시점에 정보안내장치(100)를 소지한 사용자의 비 가시 영역 내 이동방향으로 이해될 수 있다.

한편, 물체의 이미지에 대한 인식이 임계 시간이 경과한 이후에도 완료되지 않거나, 인식에 실패한 경우를 가정할 수 있는데, 이 경우 제공부(140)는 물체에 대한 인식 결과에 대한 안내 대신 물체의 외곽선만을 디스플레이하는 방식으로 회피안내정보를 제공할 수 있다.

이상 설명한 본 발명의 제 1 실시예에 따른 정보안내장치(100) 내 각 구성의 경우 프로세서에 의해 실행되는 소프트웨어 모듈 또는 하드웨어 모듈 형태로 구현되거나, 내지는 소프트웨어 모듈과 하드웨어 모듈이 조합된 형태로도 구현될 수 있음을 언급한 바 있다.

이처럼, 프로세서에 의해 실행되는 소프트웨어 모듈, 하드웨어 모듈, 내지는 소프트웨어 모듈과 하드웨어 모듈이 조합된 형태는 하드웨어 시스템(예: 컴퓨터 시스템)으로 구현될 수 있을 것이다.

따라서 이하에서는 본 발명의 제 1 실시예에 따른 정보안내장치(100)를 구현하기 위한 하드웨어 시스템에 대해서 설명하기로 한다.

참고로, 이하에서 서술된 내용은 하드웨어 시스템 내에서 앞서 설명한 정보안내장치(100) 내 각 구성을 구현하기 위한 일 예인 것으로서, 각 구성과 그에 따른 동작이 실제 시스템과 상이할 수 있음은 염두 해 두어야 할 것이다.

도 3은 본 발명의 제 1 실시예에 따른 따른 하드웨어 시스템(1000)의 구조를 도시한 도면이다.

도 3에 도시된 바와 같이, 본 발명의 제 1 실시예에 따른 하드웨어 시스템(1000)은, 프로세서(1100), 메모리 인터페이스(1200), 및 주변장치 인터페이스(1300)를 포함하는 구성을 가질 수 있다.

이러한, 하드웨어 시스템(1000) 내 각 구성은, 개별 부품이거나 하나 이상의 집적 회로에 집적될 수 있으며, 이러한 각 구성들은 버스 시스템(도시안됨)에 결합될 수 있다.

여기서, 버스 시스템의 경우, 적절한 브리지들, 어댑터들, 및/또는 제어기들에 의해 연결된 임의의 하나 이상의 개별적인 물리 버스들, 통신 라인들/인터페이스들, 및/또는 멀티 드롭(multi-drop) 또는 포인트 투 포인트(point-to-point) 연결들을 나타내는 추상화(abstraction)이다.

프로세서(1100)는 하드웨어 시스템에서 다양한 기능들을 수행하기 위해 메모리 인터페이스(1200)를 통해 메모리(1210)와 통신함으로써, 메모리(1210)에 저장된 다양한 소프트웨어 모듈들을 실행하는 역할을 수행하게 된다.

여기서, 메모리(1210)에는 도 2를 참조하여 설명한 정보안내장치(100) 내 각 구성인 확인부(110), 획득부(120), 및 제공부(140)가 소프트웨어 모듈 형태로 저장될 수 있으며, 그 외 운영 체계가 추가 저장될 수 있다.

위 운영 체계(예: I-OS, Android, Darwin, RTXC, LINUX, UNIX, OS X, WINDOWS, 또는 VxWorks와 같은 임베디드 운영 체계)의 경우, 일반적인 시스템 작업들(예를 들어, 메모리 관리, 저장 장치 제어, 전력 관리 등)을 제어 및 관리하는 다양한 절차, 명령어 세트, 소프트웨어 컴포넌트 및/또는 드라이버를 포함하고 있으며 다양한 하드웨어 모듈과 소프트웨어 모듈 간의 통신을 용이하게 하는 역할을 수행하게 된다.

참고로, 메모리(1210)는 캐쉬, 메인 메모리 및 보조 기억장치(secondary memory)를 포함하지만 이에 제한되지 않는 메모리 계층구조가 포함할 수 있는데, 위 메모리 계층구조의 경우 예컨대 RAM(예: SRAM, DRAM, DDRAM), ROM, FLASH, 자기 및/또는 광 저장 장치[예: 디스크 드라이브, 자기 테이프, CD(compact disk) 및 DVD(digital video disc) 등]의 임의의 조합을 통해서 구현될 수 있다.

주변장치 인터페이스(1300)는 프로세서(1100)와 주변장치 간에 사이에 통신을 가능하게 하는 역할을 수행한다.

위 주변장치의 경우, 컴퓨터 시스템에 상이한 기능을 제공하기 위한 것으로서, 본 발명의 제 1 실시예에서는, 예컨대, 입출력장치(1310)가 포함될 수 있다.

여기서, 입출력장치(1310)는 기타 하드웨어 시스템과 연동되는 I/O 장치를 제어하기 위한 컨트롤러 역할 수행하게 되는데, 본 발명의 일 실시예에서는 깊이 센서(1311), 카메라(1312), 및 자이로스코프 센서(1313)의 제어를 담당할 수 있다.

결국, 메모리(1210)에 소프트웨어 모듈 형태로 저장되어 있는 정보안내장치(100) 내 각 구성은, 프로세서(1100)에 의해 실행되는 경우에 메모리 인터페이스(1100)와 주변장치 인터페이스(1300)를 매개로 입출력장치(1310)와의 통신을 수행함으로써, 비 가시 영역과 관련된 회피안내정보를 제공할 수 있다.

이하에서는, 본 발명의 제 1 실시예에 따른 정보안내장치(100)를 구현하기 위한 하드웨어 시스템(1000) 내 각 구성에 대해 보다 구체적으로 설명하기로 한다.

설명의 편의를 위해 메모리(1210)에 소프트웨어 모듈 형태로 저장되어 있는 정보안내장치(100) 내 각 구성인 확인부(110), 획득부(120), 및 제공부(140)는 프로세서(1100)에 의해 실행된 상태임을 전제하기로 한다.

확인부(210)는 비 가시 영역 내 물체를 확인하는 기능을 수행한다.

보다 구체적으로, 확인부(210)는 입출력장치(1310)를 통해 깊이 센서(1311)로부터 감지데이터가 수신되면, 수신된 감지데이터로부터 비 가시 영역 내에 물체가 존재하는지 여부를 확인하고, 확인 결과를 회득부(120)로 전달하게 된다.

이때, 확인부(210)는 깊이 센서(1311)로부터 수신되는 감지데이터를 이용하여 비 가시 영역 내 정보안내장치(100)와 특정 거리에 위치한 물체의 단면을 확인할 수 있다.

획득부(220)는 물체의 이미지를 획득하는 기능을 수행한다.

보다 구체적으로, 획득부(220)는 비 가시 영역에 존재하는 물체에 대한 확인 결과가 수신되면, 입출력장치(1310)를 통해 카메라(1312)를 제어함으로써 물체의 존재가 확인된 시점에 촬영이미지를 생성하고, 생성된 촬영이미지로부터 물체의 단면에 해당하는 영역만을 크롭(crop)하는 방식을 통해서 물체의 이미지를 획득하여 제공부(140)로 전달하게 된다.

이처럼, 물체의 단면에 해당하는 영역만을 크롭하여 물체의 이미지를 획득하는 것은, 촬영이미지 내 배경이미지를 삭제하는 방식을 통해서 이하에서 이어질 물체에 대한 인식 결과의 정확도를 향상시키기 위함이다.

제공부(140)는 회피안내정보를 제공하는 기능을 수행한다.

보다 구체적으로, 제공부(140)는 비 가시 영역에 존재하는 물체의 이미지가 수신되면, 예컨대, 머신러닝 기법 등을 통해 획득된 이미지로부터 비 가시 영역에 존재하는 물체의 종류(명칭)를 인식하여, 해당 인식 결과를 포함하는 회피안내정보를 생성하게 되며, 입출력장치(1310)를 통해 스피커(도시안됨) 및 디스플레이장치(도시안됨)를 제어함으로써, 생성된 회피안내정보를 예컨대, 음성 안내 또는 디스플레이 안내를 통하여 제공하게 된다.

이때, 회피안내정보에는 회피 방향을 안내하기 위한 회피방향정보가 더 포함될 수 있는데, 이러한 회피방향정보는 물체의 존재가 확인된 시점에 입출력장치(1310)를 통해 자이로스크프 센서(1313)로부터 수신되는 정보안내장치(100)의 방향정보를 기초로 결정될 수 있다.

여기서, 정보안내장치(100)의 방향정보는 물체의 존재가 확인된 시점에 정보안내장치(100)를 소지한 사용자의 비 가시 영역 내 이동방향으로 이해될 수 있다.

한편, 물체의 이미지에 대한 인식이 임계 시간이 경과한 이후에도 완료되지 않거나, 인식에 실패한 경우를 가정할 수 있는데, 이 경우 제공부(140)는 물체에 대한 인식 결과에 대한 안내 대신 물체의 외곽선만을 디스플레이하는 방식으로 회피안내정보를 제공할 수 있다.

이상에서 살펴본 바와 같이, 본 발명의 제 1 실시예에 따른 정보안내장치(100)의 구성에 따르면, 비 가시 영역을 감지한 감지데이터로부터 물체를 확인하여, 확인된 물체의 회피 이동을 위한 회피안내정보를 제공함으로써, 비 가시 영역에서의 안정적인 이동을 가능하게 하는 효과가 성취됨을 알 수 있다.

이하에서는, 도 4 및 도 5를 참조하여 본 발명의 제 1 실시예에 따른 정보안내장치(100) 및 이를 구현하기 위한 하드웨어 시스템(1000)에서의 동작 흐름을 설명하기로 한다.

설명의 편의를 위해 전술한 도 1 내지 도 3에 도시된 구성은 해당 참조번호를 언급하여 설명하겠다.

우선, 도 4를 참조하여 본 발명의 제 1 실시예에 따른 정보안내장치(100)에서의 동작 흐름을 살펴보면 다음과 같다.

먼저, 확인부(210)는 단계 'S11' 및 'S12'에 따라 비 가시 영역을 감지한 감지데이터가 수신되면, 수신된 감지데이터로부터 비 가시 영역 내에 물체가 존재하는지 여부를 확인한다.

여기서, 감지데이터는, 정보안내장치(100)와 특정 거리에 위치한 물체의 단면을 감지한 감지 결과를 일컫는 것으로서, 정보안내장치(100)에 장착된 별도의 깊이(Depth) 센서로부터 수신된다.

결국, 확인부(210)는 깊이(Depth) 센서로부터 수신되는 감지데이터를 이용하여 비 가시 영역 내 정보안내장치(100)와 특정 거리에 위치한 물체의 단면을 확인할 수 있는 것이다.

이어서, 획득부(220)는 비 가시 영역에 존재하는 물체가 확인되면 단계 'S13' 및 'S14'에 따라 확인된 물체의 이미지를 획득한다.

이때, 획득부(220)는 물체의 존재가 확인된 시점에 촬영된 카메라의 촬영이미지로부터 물체의 단면에 해당하는 영역만을 크롭(crop)하는 방식을 통해서 물체의 이미지를 획득하게 된다

이처럼, 물체의 단면에 해당하는 영역만을 크롭하여 물체의 이미지를 획득하는 것은, 촬영이미지 내 배경이미지를 삭제하는 방식을 통해서 이하에서 이어질 물체에 대한 인식 결과의 정확도를 향상시키기 위함이다.

이후, 제공부(140)는 비 가시 영역에 존재하는 물체의 이미지가 획득되면, 단계 'S15' 및 'S16'에 따라 예컨대, 머신러닝 기법 등을 통해 획득된 이미지로부터 비 가시 영역에 존재하는 물체의 종류(명칭)를 인식하여, 해당 인식 결과를 포함하는 회피안내정보를 생성하여 예컨대, 음성 안내 또는 디스플레이 안내를 통하여 제공함으로써, 비 가시 영역에서 물체를 회피하여 이동하는 것을 안내하게 된다.

이처럼, 비 가시 영역에서 물체를 회피하여 이동하는 것을 안내하기 위해 제공되는 회피안내정보에는 회피 방향을 안내하기 위한 회피방향정보가 더 포함될 수 있는데, 이러한 회피방향정보는 물체의 존재가 확인된 시점에 해당하는 정보안내장치(100)의 방향정보를 기초로 결정될 수 있다.

여기서, 정보안내장치(100)의 방향정보는 물체의 존재가 확인된 시점에 정보안내장치(100)를 소지한 사용자의 비 가시 영역 내 이동방향으로 이해될 수 있다.

한편, 물체의 이미지에 대한 인식이 임계 시간이 경과한 이후에도 완료되지 않거나, 인식에 실패한 경우를 가정할 수 있는데, 이 경우 제공부(140)는 물체에 대한 인식 결과에 대한 안내 대신 물체의 외곽선만을 디스플레이하는 방식으로 회피안내정보를 제공할 수 있다.

이하에서는, 도 5를 참조하여 본 발명의 제 1 실시예에 따른 정보안내장치(100)를 구현하기 위한 하드웨어 시스템(1000) 내 각 구성의 동작 흐름에 대해 구체적으로 설명하기로 한다.

설명의 편의를 위해 메모리(1210)에 소프트웨어 모듈 형태로 저장되어 있는 정보안내장치(100)의 각 구성인 확인부(110), 획득부(120), 및 제공부(140)는 프로세서(1100)에 의해 실행된 상태임을 전제하기로 한다.

먼저, 확인부(210)는 단계 'S110' 내지 'S130'에 따라 입출력장치(1310)를 통해 깊이 센서(1311)로부터 감지데이터가 수신되면, 수신된 감지데이터로부터 비 가시 영역 내에 물체가 존재하는지 여부를 확인하고, 확인 결과를 회득부(120)로 전달한다.

이때, 확인부(210)는 깊이 센서(1311)로부터 수신되는 감지데이터를 이용하여 비 가시 영역 내 정보안내장치(100)와 특정 거리에 위치한 물체의 단면을 확인할 수 있다.

이어서, 획득부(220)는 비 가시 영역에 존재하는 물체에 대한 확인 결과가 수신되면, 단계 'S140' 내지 'S160'에 따라 입출력장치(1310)를 통해 카메라(1312)를 제어함으로써 물체의 존재가 확인된 시점에 촬영이미지를 생성하고, 생성된 촬영이미지로부터 물체의 단면에 해당하는 영역만을 크롭(crop)하는 방식을 통해서 물체의 이미지를 획득하여 제공부(140)로 전달한다.

이처럼, 물체의 단면에 해당하는 영역만을 크롭하여 물체의 이미지를 획득하는 것은, 촬영이미지 내 배경이미지를 삭제하는 방식을 통해서 이하에서 이어질 물체에 대한 인식 결과의 정확도를 향상시키기 위함이다.

이후, 제공부(140)는 비 가시 영역에 존재하는 물체의 이미지가 수신되면, 단계 'S170' 내지 'S200'에 따라 예컨대, 머신러닝 기법 등을 통해 획득된 이미지로부터 비 가시 영역에 존재하는 물체의 종류(명칭)를 인식하여, 해당 인식 결과를 포함하는 회피안내정보를 생성하게 되며, 입출력장치(1310)를 통해 스피커(도시안됨) 및 디스플레이장치(도시안됨)를 제어함으로써, 생성된 회피안내정보를 예컨대, 음성 안내 또는 디스플레이 안내를 통하여 제공하게 된다.

이때, 회피안내정보에는 회피 방향을 안내하기 위한 회피방향정보가 더 포함될 수 있는데, 이러한 회피방향정보는 물체의 존재가 확인된 시점에 입출력장치(1310)를 통해 자이로스크프 센서(1313)로부터 수신되는 정보안내장치(100)의 방향정보를 기초로 결정될 수 있다.

여기서, 정보안내장치(100)의 방향정보는 물체의 존재가 확인된 시점에 정보안내장치(100)를 소지한 사용자의 비 가시 영역 내 이동방향으로 이해될 수 있다.

한편, 물체의 이미지에 대한 인식이 임계 시간이 경과한 이후에도 완료되지 않거나, 인식에 실패한 경우를 가정할 수 있는데, 이 경우 제공부(140)는 물체에 대한 인식 결과에 대한 안내 대신 물체의 외곽선만을 디스플레이하는 방식으로 회피안내정보를 제공할 수 있다.

이상에서 살펴본 바와 같이, 본 발명의 제 1 실시예에 따른 정보안내장치(100) 및 하드웨어 시스템(1000)에서의 동작 흐름에 따르면, 비 가시 영역을 감지한 감지데이터로부터 물체를 확인하여, 확인된 물체의 회피 이동을 위한 회피안내정보를 제공함으로써, 비 가시 영역에서의 안정적인 이동을 가능하게 하는 효과가 성취됨을 알 수 있다.

이상 본 발명의 제 1 실시예에 따른 정보안내장치(20) 및 하드웨어 시스템(1000)의 구성 및 동작 흐름에 대한 설명을 마치고 이하에서는 본 발명의 제 2 실시예에 대한 설명을 이어 가기로 한다.

도 6은 본 발명의 제 2 실시예에 따른 정보 제공 시스템을 도시한 도면이다.

도 6에 도시된 바와 같이, 본 발명의 제 2 실시예에 따른 정보 제공 시스템은 도 1을 참조하여 설명한 제 1 실시예에 따른 시스템 구성 이외에, 인식처리서버(200)가 더 포함된 구성을 가질 수 있다.

여기서, 인식처리서버(200)는 물체 인식과 관련된 기 학습된 학습 값을 이용하여 물체의 이미지로부터 물체에 대한 인식을 처리하기 위한 서버를 일컫는다.

이처럼, 본 발명의 제 2 실시예에서 인식처리서버(200)를 정보안내장치(100)와는 별도의 구성으로 구현하는 것은, 물체 인식만을 위한 별도의 서버 구축을 통해서 방대한 량의 학습 데이터를 기반으로 인식 결과의 정확도를 향상시키기 위함이다.

한편, 본 발명의 제 2 실시예에 따른 정보안내장치(100)에서는 제 1 실시예와 마찬가지로 비 가시 영역을 감지한 감지데이터로부터 비 가시 영역에 존재하는 물체를 확인하는 방식을 통해서 회피안내정보를 제공할 수 있는데, 이하에서는 이를 실현하기 위한 정보안내장치(100)의 구성에 대해 보다 구체적으로 설명하기로 한다.

도 7에는 본 발명의 제 2 실시예에 따른 정보안내장치(100)의 개략적인 구성을 보여주고 있다.

도 2에 도시된 바와 같이, 본 발명의 제 2 실시예에 따른 정보안내장치(100)는 비 가시 영역 내 물체를 확인하는 확인부(110), 물체에 대한 이미지를 회득하는 획득부(120), 인식처리서버(200)와 연동하는 연동부(130), 회피안내정보를 제공하는 제공부(140)를 포함하는 구성을 갖는다.

이상의 확인부(110), 획득부(120), 연동부(130) 및 제공부(140)를 포함하는 본 발명의 제 2 실시예 따른 정보안내장치(100)의 구성 전체 내지는 적어도 일부는, 프로세서에 의해 실행되는 소프트웨어 모듈 형태 또는 하드웨어 모듈 형태로 구현되거나, 소프트웨어 모듈과 하드웨어 모듈이 조합된 형태로도 구현될 수 있다.

여기서, 소프트웨어 모듈이란, 예컨대, 정보안내장치(100) 내에서 연산을 수행하는 프로세서에 의해 실행되는 명령어로 이해될 수 있으며, 이러한 명령어는 정보안내장치(100) 내 메모리에 저장된 형태를 가질 수 있다.

결국, 본 발명의 제 1 실시예에 따른 정보안내장치(100)는 위 구성들을 통해 비 가시 영역을 감지한 감지데이터로부터 물체를 확인하여 회피안내정보를 제공할 수 있게 되는데, 이하에서는 이를 구현하기 위한 정보안내장치(100) 내 각 구성에 대해 보다 구체적으로 설명하기로 한다.

확인부(210)는 비 가시 영역 내 물체를 확인하는 기능을 수행한다.

보다 구체적으로, 확인부(210)는 비 가시 영역을 감지한 감지데이터가 수신되면, 수신된 감지데이터로부터 비 가시 영역 내에 물체가 존재하는지 여부를 확인하게 된다.

여기서, 감지데이터는, 정보안내장치(100)와 특정 거리에 위치한 물체의 단면을 감지한 감지 결과를 일컫는 것으로서, 정보안내장치(100)에 장착된 별도의 깊이(Depth) 센서로부터 수신된다.

결국, 확인부(210)는 깊이(Depth) 센서로부터 수신되는 감지데이터를 이용하여 비 가시 영역 내 정보안내장치(100)와 특정 거리에 위치한 물체의 단면을 확인할 수 있는 것이다.

획득부(220)는 물체의 이미지를 획득하는 기능을 수행한다.

보다 구체적으로, 획득부(220)는 비 가시 영역에 존재하는 물체가 확인되면 확인된 물체의 이미지를 획득하게 된다.

이때, 획득부(220)는 물체의 존재가 확인된 시점에 촬영된 카메라의 촬영이미지로부터 물체의 단면에 해당하는 영역만을 크롭(crop)하는 방식을 통해서 물체의 이미지를 획득하게 된다

이처럼, 물체의 단면에 해당하는 영역만을 크롭하여 물체의 이미지를 획득하는 것은, 촬영이미지 내 배경이미지를 삭제하는 방식을 통해서 이하에서 이어질 물체에 대한 인식 결과의 정확도를 향상시키기 위함이다.

연동부(130)는 물체에 대한 인식 결과를 수신하는 기능을 수행한다.

보다 구체적으로, 연동부(130)는 비 가시 영역에 존재하는 물체의 이미지가 획득되면, 획득된 이미지를 인식처리서버(200)에 전송하여 인식처리서버(200)로부터 물체에 대한 인식 결과를 수신하게 된다.

제공부(140)는 회피안내정보를 제공하는 기능을 수행한다.

보다 구체적으로, 제공부(140)는 인식처리서버(200)로부터 물체에 대한 인식 결과를 수신되면, 해당 인식 결과를 포함하는 회피안내정보를 예컨대, 음성 안내 또는 디스플레이 안내를 통하여 제공함으로써, 비 가시 영역에서 물체를 회피하여 이동하는 것을 안내하게 된다.

이처럼, 비 가시 영역에서 물체를 회피하여 이동하는 것을 안내하기 위해 제공되는 회피안내정보에는 회피 방향을 안내하기 위한 회피방향정보가 더 포함될 수 있는데, 이러한 회피방향정보는 물체의 존재가 확인된 시점에 해당하는 정보안내장치(100)의 방향정보를 기초로 결정될 수 있다.

여기서, 정보안내장치(100)의 방향정보는 물체의 존재가 확인된 시점에 정보안내장치(100)를 소지한 사용자의 비 가시 영역 내 이동방향으로 이해될 수 있다.

한편, 물체의 이미지에 대한 인식이 임계 시간이 경과한 이후에도 인식처리서버(200)로부터 수신되지 않거나, 인식에 실패한 경우를 가정할 수 있는데, 이 경우 제공부(140)는 물체에 대한 인식 결과에 대한 안내 대신 물체의 외곽선만을 디스플레이하는 방식으로 회피안내정보를 제공할 수 있다.

이상 설명한 본 발명의 제 2 실시예에 따른 정보안내장치(100) 내 각 구성의 경우 프로세서에 의해 실행되는 소프트웨어 모듈 또는 하드웨어 모듈 형태로 구현되거나, 내지는 소프트웨어 모듈과 하드웨어 모듈이 조합된 형태로도 구현될 수 있음을 언급한 바 있다.

이처럼, 프로세서에 의해 실행되는 소프트웨어 모듈, 하드웨어 모듈, 내지는 소프트웨어 모듈과 하드웨어 모듈이 조합된 형태는 하드웨어 시스템(예: 컴퓨터 시스템)으로 구현될 수 있을 것이다.

따라서 이하에서는 본 발명의 제 2 실시예에 따른 정보안내장치(100)를 구현하기 위한 하드웨어 시스템에 대해서 설명하기로 한다.

참고로, 이하에서 서술된 내용은 하드웨어 시스템 내에서 앞서 설명한 정보안내장치(100) 내 각 구성을 구현하기 위한 일 예인 것으로서, 각 구성과 그에 따른 동작이 실제 시스템과 상이할 수 있음은 염두 해 두어야 할 것이다.

도 8은 본 발명의 제 2 실시예에 따른 따른 하드웨어 시스템(1000)의 구조를 도시한 도면이다.

도 8에 도시된 바와 같이, 본 발명의 제 2 실시예에 따른 하드웨어 시스템(1000)은, 프로세서(1100), 메모리 인터페이스(1200), 및 주변장치 인터페이스(1300)를 포함하는 구성을 가질 수 있다.

이러한, 하드웨어 시스템(1000) 내 각 구성은, 개별 부품이거나 하나 이상의 집적 회로에 집적될 수 있으며, 이러한 각 구성들은 버스 시스템(도시안됨)에 결합될 수 있다.

여기서, 버스 시스템의 경우, 적절한 브리지들, 어댑터들, 및/또는 제어기들에 의해 연결된 임의의 하나 이상의 개별적인 물리 버스들, 통신 라인들/인터페이스들, 및/또는 멀티 드롭(multi-drop) 또는 포인트 투 포인트(point-to-point) 연결들을 나타내는 추상화(abstraction)이다.

프로세서(1100)는 하드웨어 시스템에서 다양한 기능들을 수행하기 위해 메모리 인터페이스(1200)를 통해 메모리(1210)와 통신함으로써, 메모리(1210)에 저장된 다양한 소프트웨어 모듈들을 실행하는 역할을 수행하게 된다.

여기서, 메모리(1210)에는 도 7을 참조하여 설명한 정보안내장치(100) 내 각 구성인 확인부(110), 획득부(120), 연동부(130) 및 제공부(140)가 소프트웨어 모듈 형태로 저장될 수 있으며, 그 외 운영 체계가 추가 저장될 수 있다.

위 운영 체계(예: I-OS, Android, Darwin, RTXC, LINUX, UNIX, OS X, WINDOWS, 또는 VxWorks와 같은 임베디드 운영 체계)의 경우, 일반적인 시스템 작업들(예를 들어, 메모리 관리, 저장 장치 제어, 전력 관리 등)을 제어 및 관리하는 다양한 절차, 명령어 세트, 소프트웨어 컴포넌트 및/또는 드라이버를 포함하고 있으며 다양한 하드웨어 모듈과 소프트웨어 모듈 간의 통신을 용이하게 하는 역할을 수행하게 된다.

참고로, 메모리(1210)는 캐쉬, 메인 메모리 및 보조 기억장치(secondary memory)를 포함하지만 이에 제한되지 않는 메모리 계층구조가 포함할 수 있는데, 위 메모리 계층구조의 경우 예컨대 RAM(예: SRAM, DRAM, DDRAM), ROM, FLASH, 자기 및/또는 광 저장 장치[예: 디스크 드라이브, 자기 테이프, CD(compact disk) 및 DVD(digital video disc) 등]의 임의의 조합을 통해서 구현될 수 있다.

주변장치 인터페이스(1300)는 프로세서(1100)와 주변장치 간에 사이에 통신을 가능하게 하는 역할을 수행한다.

위 주변장치의 경우, 컴퓨터 시스템에 상이한 기능을 제공하기 위한 것으로서, 본 발명의 제 1 실시예에서는, 예컨대, 통신장치(1310)와 입출력장치(1320)가 포함될 수 있다.

여기서, 통신장치(1310)는 다른 장치와의 통신 기능을 제공하는 역할을 수행하는 수행하게 되며, 이를 위해 예컨대, 안테나 시스템, RF 송수신기, 하나 이상의 증폭기, 튜너, 하나 이상의 발진기, 디지털 신호 처리기, 코덱(CODEC) 칩셋, 및 메모리 등을 포함하지만 이에 제한되지는 않으며, 이 기능을 수행하는 공지의 회로를 포함할 수 있다.

이러한, 통신장치(1310)가 지원하는 통신 프로토콜로는, 예컨대, LTE(Long Term Evolution), TDMA(time division multiple access), CDMA(code division multiple access), GSM(global system for mobile communications), EDGE(Enhanced Data GSM Environment), W-CDMA(wideband code division multiple access), Wi-Fi(IEEE 802.11a, IEEE 802.11b, IEEE 802.11g 및/또는 IEEE 802.11n 등), 블루투스, Wi-MAX, VoIP(voice over Internet Protocol), 이메일, 인스턴트 메시징 및 SMS(short message service)를 위한 프로토콜 등이 해당될 수 있으며, 이에 제한되는 것이 아닌 다른 장치와의 통신 환경을 제공하는 프로토콜은 모두 포함될 수 있다.

그리고, 입출력장치(1320)는 기타 하드웨어 시스템과 연동되는 I/O 장치를 제어하기 위한 컨트롤러 역할 수행하게 되는데, 본 발명의 일 실시예에서는 깊이 센서(1321), 카메라(1322), 및 자이로스코프 센서(1323)의 제어를 담당할 수 있다.

결국, 메모리(1210)에 소프트웨어 모듈 형태로 저장되어 있는 정보안내장치(100) 내 각 구성은, 프로세서(1100)에 의해 실행되는 경우에 메모리 인터페이스(1100)와 주변장치 인터페이스(1300)를 매개로 통신장치(1310) 및 입출력장치(1320)와의 통신을 수행함으로써, 비 가시 영역과 관련된 회피안내정보를 제공할 수 있다.

이하에서는, 본 발명의 제 2 실시예에 따른 정보안내장치(100)를 구현하기 위한 하드웨어 시스템(1000) 내 각 구성에 대해 보다 구체적으로 설명하기로 한다.

설명의 편의를 위해 메모리(1210)에 소프트웨어 모듈 형태로 저장되어 있는 정보안내장치(100) 내 각 구성인 확인부(110), 획득부(120), 연동부(130) 및 제공부(140)는 프로세서(1100)에 의해 실행된 상태임을 전제하기로 한다.

확인부(210)는 비 가시 영역 내 물체를 확인하는 기능을 수행한다.

보다 구체적으로, 확인부(210)는 입출력장치(1320)를 통해 깊이 센서(1321)로부터 감지데이터가 수신되면, 수신된 감지데이터로부터 비 가시 영역 내에 물체가 존재하는지 여부를 확인하고, 확인 결과를 회득부(120)로 전달하게 된다.

이때, 확인부(210)는 깊이 센서(1321)로부터 수신되는 감지데이터를 이용하여 비 가시 영역 내 정보안내장치(100)와 특정 거리에 위치한 물체의 단면을 확인할 수 있다.

획득부(220)는 물체의 이미지를 획득하는 기능을 수행한다.

보다 구체적으로, 획득부(220)는 비 가시 영역에 존재하는 물체에 대한 확인 결과가 수신되면, 입출력장치(1320)를 통해 카메라(1322)를 제어함으로써 물체의 존재가 확인된 시점에 촬영이미지를 생성하고, 생성된 촬영이미지로부터 물체의 단면에 해당하는 영역만을 크롭(crop)하는 방식을 통해서 물체의 이미지를 획득하여 연동부(130)로 전달하게 된다.

이처럼, 물체의 단면에 해당하는 영역만을 크롭하여 물체의 이미지를 획득하는 것은, 촬영이미지 내 배경이미지를 삭제하는 방식을 통해서 이하에서 이어질 물체에 대한 인식 결과의 정확도를 향상시키기 위함이다.

연동부(130)는 물체에 대한 인식 결과를 수신하는 기능을 수행한다.

보다 구체적으로, 연동부(130)는 비 가시 영역에 존재하는 물체의 이미지가 수신되면, 수신된 이미지를 통신장치(1310)를 통해 인식처리서버(200)에 전송하여 인식처리서버(200)로부터 물체에 대한 인식 결과를 수신하고, 수신된 인식 결과를 제공부(140)로 전달하게 된다.

제공부(140)는 회피안내정보를 제공하는 기능을 수행한다.

보다 구체적으로, 제공부(140)는 물체에 대한 인식 결과가 수신되면, 해당 인식 결과를 포함하는 회피안내정보를 생성하게 되며, 입출력장치(1320)를 통해 스피커(도시안됨) 및 디스플레이장치(도시안됨)를 제어함으로써, 생성된 회피안내정보를 예컨대, 음성 안내 또는 디스플레이 안내를 통하여 제공하게 된다.

이때, 회피안내정보에는 회피 방향을 안내하기 위한 회피방향정보가 더 포함될 수 있는데, 이러한 회피방향정보는 물체의 존재가 확인된 시점에 입출력장치(1320)를 통해 자이로스크프 센서(1323)로부터 수신되는 정보안내장치(100)의 방향정보를 기초로 결정될 수 있다.

여기서, 정보안내장치(100)의 방향정보는 물체의 존재가 확인된 시점에 정보안내장치(100)를 소지한 사용자의 비 가시 영역 내 이동방향으로 이해될 수 있다.

한편, 물체의 이미지에 대한 인식이 임계 시간이 경과한 이후에도 완료되지 않거나, 인식에 실패한 경우를 가정할 수 있는데, 이 경우 제공부(140)는 물체에 대한 인식 결과에 대한 안내 대신 물체의 외곽선만을 디스플레이하는 방식으로 회피안내정보를 제공할 수 있다.

이상에서 살펴본 바와 같이, 본 발명의 제 2 실시예에 따른 정보안내장치(100) 및 하드웨어 시스템(1000)의 구성에 따르면, 비 가시 영역을 감지한 감지데이터로부터 물체를 확인하여, 확인된 물체의 회피 이동을 위한 회피안내정보를 제공함으로써, 비 가시 영역에서의 안정적인 이동을 가능하게 하는 효과가 성취됨을 알 수 있다.

이하에서는, 도 9 및 도 10을 참조하여 본 발명의 제 2 실시예에 따른 정보안내장치(100) 및 이를 구현하기 위한 하드웨어 시스템(1000)에서의 동작 흐름을 설명하기로 한다.

설명의 편의를 위해 전술한 도 6 내지 도 8에 도시된 구성은 해당 참조번호를 언급하여 설명하겠다.

우선, 도 9를 참조하여 본 발명의 제 2 실시예에 따른 정보안내장치(100)에서의 동작 흐름을 살펴보면 다음과 같다.

먼저, 확인부(210)는 단계 'S21' 및 'S22'에 따라 비 가시 영역을 감지한 감지데이터가 수신되면, 수신된 감지데이터로부터 비 가시 영역 내에 물체가 존재하는지 여부를 확인한다.

여기서, 감지데이터는, 정보안내장치(100)와 특정 거리에 위치한 물체의 단면을 감지한 감지 결과를 일컫는 것으로서, 정보안내장치(100)에 장착된 별도의 깊이(Depth) 센서로부터 수신된다.

결국, 확인부(210)는 깊이(Depth) 센서로부터 수신되는 감지데이터를 이용하여 비 가시 영역 내 정보안내장치(100)와 특정 거리에 위치한 물체의 단면을 확인할 수 있는 것이다.

이어서, 획득부(220)는 비 가시 영역에 존재하는 물체가 확인되면 단계 'S23' 및 'S24'에 따라 확인된 물체의 이미지를 획득한다.

이때, 획득부(220)는 물체의 존재가 확인된 시점에 촬영된 카메라의 촬영이미지로부터 물체의 단면에 해당하는 영역만을 크롭(crop)하는 방식을 통해서 물체의 이미지를 획득하게 된다

이처럼, 물체의 단면에 해당하는 영역만을 크롭하여 물체의 이미지를 획득하는 것은, 촬영이미지 내 배경이미지를 삭제하는 방식을 통해서 이하에서 이어질 물체에 대한 인식 결과의 정확도를 향상시키기 위함이다.

나아가, 연동부(130)는 비 가시 영역에 존재하는 물체의 이미지가 획득되면, 단계 'S25'에 따라 획득된 이미지를 인식처리서버(200)에 전송하여 인식처리서버(200)로부터 물체에 대한 인식 결과를 수신한다.

이후, 제공부(140)는 물체에 대한 인식 결과가 수신되면, 단계 'S26' 및 'S27'에 따라 해당 인식 결과를 포함하는 회피안내정보를 생성하여 예컨대, 음성 안내 또는 디스플레이 안내를 통하여 제공함으로써, 비 가시 영역에서 물체를 회피하여 이동하는 것을 안내하게 된다.

이처럼, 비 가시 영역에서 물체를 회피하여 이동하는 것을 안내하기 위해 제공되는 회피안내정보에는 회피 방향을 안내하기 위한 회피방향정보가 더 포함될 수 있는데, 이러한 회피방향정보는 물체의 존재가 확인된 시점에 해당하는 정보안내장치(100)의 방향정보를 기초로 결정될 수 있다.

여기서, 정보안내장치(100)의 방향정보는 물체의 존재가 확인된 시점에 정보안내장치(100)를 소지한 사용자의 비 가시 영역 내 이동방향으로 이해될 수 있다.

한편, 물체의 이미지에 대한 인식이 임계 시간이 경과한 이후에도 완료되지 않거나, 인식에 실패한 경우를 가정할 수 있는데, 이 경우 제공부(140)는 물체에 대한 인식 결과에 대한 안내 대신 물체의 외곽선만을 디스플레이하는 방식으로 회피안내정보를 제공할 수 있다.

이하에서는, 도 10을 참조하여 본 발명의 제 2 실시예에 따른 정보안내장치(100)를 구현하기 위한 하드웨어 시스템(1000) 내 각 구성의 동작 흐름에 대해 구체적으로 설명하기로 한다.

설명의 편의를 위해 메모리(1210)에 소프트웨어 모듈 형태로 저장되어 있는 정보안내장치(100)의 각 구성인 확인부(110), 획득부(120), 연동부(130) 및 제공부(140)는 프로세서(1100)에 의해 실행된 상태임을 전제하기로 한다.

먼저, 확인부(210)는 단계 'S210' 내지 'S230'에 따라 입출력장치(1320)를 통해 깊이 센서(1321)로부터 감지데이터가 수신되면, 수신된 감지데이터로부터 비 가시 영역 내에 물체가 존재하는지 여부를 확인하고, 확인 결과를 회득부(120)로 전달한다.

이때, 확인부(210)는 깊이 센서(1311)로부터 수신되는 감지데이터를 이용하여 비 가시 영역 내 정보안내장치(100)와 특정 거리에 위치한 물체의 단면을 확인할 수 있다.

이어서, 획득부(220)는 비 가시 영역에 존재하는 물체에 대한 확인 결과가 수신되면, 단계 'S240' 내지 'S260'에 따라 입출력장치(1310)를 통해 카메라(1312)를 제어함으로써 물체의 존재가 확인된 시점에 촬영이미지를 생성하고, 생성된 촬영이미지로부터 물체의 단면에 해당하는 영역만을 크롭(crop)하는 방식을 통해서 물체의 이미지를 획득하여 연동부(130)로 전달한다.

이처럼, 물체의 단면에 해당하는 영역만을 크롭하여 물체의 이미지를 획득하는 것은, 촬영이미지 내 배경이미지를 삭제하는 방식을 통해서 이하에서 이어질 물체에 대한 인식 결과의 정확도를 향상시키기 위함이다.

나아가, 연동부(130)는 비 가시 영역에 존재하는 물체의 이미지가 수신되면, 단계 'S270' 및 'S280'에 따라 수신된 이미지를 통신장치(1310)를 통해 인식처리서버(200)에 전송하여 인식처리서버(200)로부터 물체에 대한 인식 결과를 수신하고, 수신된 인식 결과를 제공부(140)로 전달하게 된다.

이후, 제공부(140)는 물체에 대한 인식 결과를 수신되면, 단계 'S290' 내지 'S310'에 따라 예컨대, 머신러닝 기법 등을 통해 획득된 이미지로부터 비 가시 영역에 존재하는 물체의 종류(명칭)를 인식하여, 해당 인식 결과를 포함하는 회피안내정보를 생성하게 되며, 입출력장치(1310)를 통해 스피커(도시안됨) 및 디스플레이장치(도시안됨)를 제어함으로써, 생성된 회피안내정보를 예컨대, 음성 안내 또는 디스플레이 안내를 통하여 제공하게 된다.

이때, 회피안내정보에는 회피 방향을 안내하기 위한 회피방향정보가 더 포함될 수 있는데, 이러한 회피방향정보는 물체의 존재가 확인된 시점에 입출력장치(1310)를 통해 자이로스크프 센서(1313)로부터 수신되는 정보안내장치(100)의 방향정보를 기초로 결정될 수 있다.

여기서, 정보안내장치(100)의 방향정보는 물체의 존재가 확인된 시점에 정보안내장치(100)를 소지한 사용자의 비 가시 영역 내 이동방향으로 이해될 수 있다.

한편, 물체의 이미지에 대한 인식이 임계 시간이 경과한 이후에도 완료되지 않거나, 인식에 실패한 경우를 가정할 수 있는데, 이 경우 제공부(140)는 물체에 대한 인식 결과에 대한 안내 대신 물체의 외곽선만을 디스플레이하는 방식으로 회피안내정보를 제공할 수 있다.

이상에서 살펴본 바와 같이, 본 발명의 제 2 실시예에 따른 정보안내장치(100) 및 하드웨어 시스템(1000)에서의 동작 흐름에 따르면, 비 가시 영역을 감지한 감지데이터로부터 물체를 확인하여, 확인된 물체의 회피 이동을 위한 회피안내정보를 제공함으로써, 비 가시 영역에서의 안정적인 이동을 가능하게 하는 효과가 성취됨을 알 수 있다.

한편, 본 명세서에서 설명하는 기능적인 동작과 주제의 구현물들은 디지털 전자 회로로 구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다. 본 명세서에서 설명하는 주제의 구현물들은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 처리 시스템의 동작을 제어하기 위하여 혹은 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다.

컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장 장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조성물 혹은 이들 중 하나 이상의 조합일 수 있다.

본 명세서에서 "시스템"이나 "장치"라 함은 예컨대 프로그래머블 프로세서, 컴퓨터 혹은 다중 프로세서나 컴퓨터를 포함하여 데이터를 처리하기 위한 모든 기구, 장치 및 기계를 포괄한다. 처리 시스템은, 하드웨어에 부가하여, 예컨대 프로세서 펌웨어를 구성하는 코드, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제 혹은 이들 중 하나 이상의 조합 등 요청 시 컴퓨터 프로그램에 대한 실행 환경을 형성하는 코드를 포함할 수 있다.

컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 어플리케이션, 스크립트 혹은 코드로도 알려져 있음)은 컴파일되거나 해석된 언어나 선험적 혹은 절차적 언어를 포함하는 프로그래밍 언어의 어떠한 형태로도 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 혹은 컴퓨터 환경에서 사용하기에 적합한 다른 유닛을 포함하여 어떠한 형태로도 전개될 수 있다. 컴퓨터 프로그램은 파일 시스템의 파일에 반드시 대응하는 것은 아니다. 프로그램은 요청된 프로그램에 제공되는 단일 파일 내에, 혹은 다중의 상호 작용하는 파일(예컨대, 하나 이상의 모듈, 하위 프로그램 혹은 코드의 일부를 저장하는 파일) 내에, 혹은 다른 프로그램이나 데이터를 보유하는 파일의 일부(예컨대, 마크업 언어 문서 내에 저장되는 하나 이상의 스크립트) 내에 저장될 수 있다. 컴퓨터 프로그램은 하나의 사이트에 위치하거나 복수의 사이트에 걸쳐서 분산되어 통신 네트워크에 의해 상호 접속된 다중 컴퓨터나 하나의 컴퓨터 상에서 실행되도록 전개될 수 있다.

한편, 컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체는, 예컨대 EPROM, EEPROM 및 플래시메모리 장치와 같은 반도체 메모리 장치, 예컨대 내부 하드디스크나 외장형 디스크와 같은 자기 디스크, 자기광학 디스크 및 CD-ROM과 DVD-ROM 디스크를 포함하여 모든 형태의 비휘발성 메모리, 매체 및 메모리 장치를 포함할 수 있다. 프로세서와 메모리는 특수 목적의 논리 회로에 의해 보충되거나, 그것에 통합될 수 있다.

본 명세서에서 설명한 주제의 구현물은 예컨대 데이터 서버와 같은 백엔드 컴포넌트를 포함하거나, 예컨대 어플리케이션 서버와 같은 미들웨어 컴포넌트를 포함하거나, 예컨대 사용자가 본 명세서에서 설명한 주제의 구현물과 상호 작용할 수 있는 웹 브라우저나 그래픽 유저 인터페이스를 갖는 클라이언트 컴퓨터와 같은 프론트엔드 컴포넌트 혹은 그러한 백엔드, 미들웨어 혹은 프론트엔드 컴포넌트의 하나 이상의 모든 조합을 포함하는 연산 시스템에서 구현될 수도 있다. 시스템의 컴포넌트는 예컨대 통신 네트워크와 같은 디지털 데이터 통신의 어떠한 형태나 매체에 의해서도 상호 접속 가능하다.

본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 마찬가지로, 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.

또한, 본 명세서에서는 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다

이와 같이, 본 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하려는 의도가 아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

본 발명의 정보안내장치 및 그 동작 방법에 따르면, 비 가시 영역을 감지한 감지데이터로부터 물체를 확인하여, 확인된 물체를 회피한 비 가시 영역에서의 안정적인 이동을 지원할 수 있다는 점에서, 기존 기술의 한계를 뛰어 넘음에 따라 관련 기술에 대한 이용만이 아닌 적용되는 장치의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.

100: 정보안내장치
110: 확인부 120: 획득부
130: 연동부 140: 제공부
200: 인식처리서버

Claims (12)

1. 비 가시 영역에 존재하는 물체를 회피하는 것과 관련된 연산을 수행하는 프로세서; 및
   상기 프로세서를 통해 실행되는 적어도 하나의 명령이 저장된 메모리를 포함하며,
   상기 적어도 하나의 명령은,
   상기 비 가시 영역을 감지한 감지데이터가 수신되면, 상기 감지데이터를 기초로 상기 비 가시 영역 내에 상기 물체가 존재하는지 여부를 확인하도록 하는 확인명령;
   상기 비 가시 영역에 상기 물체가 존재하는 것으로 확인된 경우 상기 물체에 대한 이미지를 획득하도록 하는 획득명령; 및
   상기 이미지에 대한 인식 결과를 포함하는 회피안내정보를 제공하도록 하는 제공명령을 포함하며,
   상기 이미지는,
   상기 물체의 존재가 확인된 시점에 촬영된 카메라의 촬영이미지로부터 상기 물체의 단면에 해당하는 영역만을 크롭(crop)하는 방식으로 획득되어, 상기 물체의 인식 시 상기 촬영이미지로부터 배경이미지가 삭제된 상기 물체의 영역만이 인식되도록 하며,
   상기 이미지에 대한 인식 결과는,
   상기 물체의 인식과 관련된 기 학습된 학습 값을 이용하여 상기 이미지로부터 상기 물체에 대한 인식을 처리하는 인식처리서버로부터 획득되며,
   상기 제공명령은,
   상기 인식처리서버로부터 상기 이미지에 대한 인식 결과가 임계 시간 동안 수신되지 않는 경우, 상기 물체의 외곽선을 상기 회피안내정보로서 제공하도록 하는 것을 특징으로 하는 정보안내장치.
2. ◈청구항 2은(는) 설정등록료 납부시 포기되었습니다.◈

   제 1 항에 있어서,
   상기 감지데이터는
   상기 비 가시 영역에서 상기 정보안내장치와 특정 거리에 위치한 상기 물체의 단면을 감지하는 깊이(Depth) 센서로부터 수신되는 것을 특징으로 하는 정보안내장치.
3. 삭제
4. ◈청구항 4은(는) 설정등록료 납부시 포기되었습니다.◈

   제 1 항에 있어서,
   상기 회피안내정보에는,
   상기 물체의 존재가 확인된 시점에 상기 정보안내장치의 방향정보를 기초로 결정되는 회피방향정보가 더 포함되는 것을 특징으로 하는 정보안내장치.
5. 삭제
6. 비 가시 영역을 감지한 감지데이터가 수신되면 상기 감지데이터를 기초로 상기 비 가시 영역 내에 물체가 존재하는지 여부를 확인하는 확인단계;
   상기 비 가시 영역에 상기 물체가 존재하는 것으로 확인된 경우 상기 물체에 대한 이미지를 획득하는 획득단계; 및
   상기 이미지에 대한 인식 결과를 포함하는 회피안내정보를 제공하는 제공단계를 포함하며,
   상기 이미지는,
   상기 물체의 존재가 확인된 시점에 촬영된 카메라의 촬영이미지로부터 상기 물체의 단면에 해당하는 영역만을 크롭(crop)하는 방식으로 획득되어, 상기 물체의 인식 시 상기 촬영이미지로부터 배경이미지가 삭제된 상기 물체의 영역만이 인식되도록 하며,
   상기 이미지에 대한 인식 결과는,
   상기 물체의 인식과 관련된 기 학습된 학습 값을 이용하여 상기 이미지로부터 상기 물체에 대한 인식을 처리하는 인식처리서버로부터 획득되며,
   상기 제공단계는,
   상기 인식처리서버로부터 상기 이미지에 대한 인식 결과가 임계 시간 동안 수신되지 않는 경우, 상기 물체의 외곽선을 상기 회피안내정보로서 제공하도록 하는 것을 특징으로 하는 정보안내장치의 동작 방법.
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. ◈청구항 11은(는) 설정등록료 납부시 포기되었습니다.◈

    제 6 항의 각 단계를 실행시키도록 구현되어 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
12. ◈청구항 12은(는) 설정등록료 납부시 포기되었습니다.◈

    제 6 항의 각 단계를 실행시키기 위한 명령어를 포함하는 컴퓨터 판독 가능한 기록매체.