KR102284750B1 - 사용자 단말 장치 및 그의 대상 인식 방법 - Google Patents

사용자 단말 장치 및 그의 대상 인식 방법 Download PDF

Info

Publication number
KR102284750B1
KR102284750B1 KR1020140180176A KR20140180176A KR102284750B1 KR 102284750 B1 KR102284750 B1 KR 102284750B1 KR 1020140180176 A KR1020140180176 A KR 1020140180176A KR 20140180176 A KR20140180176 A KR 20140180176A KR 102284750 B1 KR102284750 B1 KR 102284750B1
Authority
KR
South Korea
Prior art keywords
sensor
category
user
terminal device
user terminal
Prior art date
Application number
KR1020140180176A
Other languages
English (en)
Other versions
KR20160072489A (ko
Inventor
최형탁
이호정
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140180176A priority Critical patent/KR102284750B1/ko
Priority to US14/953,162 priority patent/US10204292B2/en
Publication of KR20160072489A publication Critical patent/KR20160072489A/ko
Application granted granted Critical
Publication of KR102284750B1 publication Critical patent/KR102284750B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

사용자 단말 장치가 개시된다. 본 사용자 단말 장치는, 서로 다른 종류의 복수의 센서, 오브젝트 정보가 저장된 저장부 및 복수의 센서의 센싱 결과를 획득하고, 각 센싱 결과에 대응되는 복수의 오브젝트 카테고리를 결정하며, 오브젝트 정보 중에서 복수의 오브젝트 카테고리에 속하는 오브젝트를 비교하여, 각 카테고리에 공통적으로 속하는 오브젝트를 인식 결과물로 추정하는 제어부를 포함한다.

Description

사용자 단말 장치 및 그의 대상 인식 방법{USER TERMINAL DEVICE AND METHOD FOR RECOGNIZING OBJECT THEREOF}
본 발명은 사용자 단말 장치 및 그의 대상 인식 방법에 관한 것으로서, 보다 상세하게는 복수의 센서를 이용하여 보다 정확하고 빠르게 대상을 인식할 수 있는 사용자 단말 장치 및 그의 대상 인식 방법에 관한 것이다.
스마트 폰을 필두로 하는 이동 통신 및 사용자 단말 장치의 비약적인 기술의 발전 및 높은 스마트 폰 보급률은 사용자가 일상 생활 속에서도 사용자 단말 장치를 이용하여 손쉽게 정보의 습득 및 교류를 할 수 있게 하였다.
사용자 단말 장치에서 지원하는 기능 및 성능의 확대와 더불어, 사용자가 보다 쉽고 친근하게 사용자 단말 장치에서 제공하는 다양한 기능들을 활용할 수 있도록 하기 위하여, 사용자 단말 장치의 능동적인 사용자 인터페이스(UI) 및 대화형(interactive) 사용자 경험(UX)에 대한 개발에도 노력을 기울이고 있다.
종래 사용자 단말 장치에서는 장치에 탑재된 기능을 실행하기 위한 명령을 입력하는 수단으로서, 사용자의 음성 인식 기술을 이용하였다. 이 경우, 사람의 자연어(voice)를 기계가 인식할 수 있는 컴퓨터 언어(텍스트 등)로 변환하여 생성된 명령어를 단순히 해당 장치가 지원하는 기능 모듈에 전달하는 방식으로 사용되었다.
하지만, 자연어는 중의적인 의미나 동음이의어가 존재하기 때문에 단순히 음성을 텍스트로 변환한 정보만으로는 사용자가 의도하는 올바른 명령이 이루어지기 어려웠다.
더군다나, 이동형 사용자 단말 장치의 경우, 사용자가 휴대하며 이용하기 때문에, 소음과 같은 주위 환경의 영향으로, 왜곡된 명령이 전송되거나, 잘못된 정보가 습득될 수 있는 문제가 있었다.
본 발명은 상술한 바와 같은 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 복수의 센서를 이용하여 보다 정확하고 빠르게 대상을 인식할 수 있는 사용자 단말 장치 및 그의 대상 인식 방법을 제공하는 데 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 사용자 단말 장치의 대상 인식 방법은, 서로 다른 종류의 복수의 센서를 활성화시키는 단계, 상기 복수의 센서의 센싱 결과를 획득하고, 상기 각 센싱 결과에 대응되는 복수의 오브젝트 카테고리를 결정하는 단계, 상기 복수의 오브젝트 카테고리에 공통적으로 속하는 오브젝트를 인식 결과물로 추정하는 추정 단계를 포함한다.
이 경우, 상기 대상 인식 방법은 상기 결정된 복수의 오브젝트 카테고리 각각에 인식하고자 하는 대상이 속하게 될 확률적 수치를 부여하는 단계를 더 포함하고, 상기 추정하는 단계는, 상기 복수의 오브젝트 카테고리들에 부여된 수치들을 기초로, 상기 복수의 오브젝트 카테고리에 공통적으로 속하는 복수의 오브젝트들 중 상기 인식하고자 하는 대상으로서 가장 높은 확률을 갖는 오브젝트를 상기 인식 결과물로 추정할 수 있다.
한편, 상기 복수의 오브젝트 카테고리를 결정하는 단계는, 상기 복수의 센서 중 하나인 위치 감지 센서에 의해 상기 사용자 단말 장치의 위치 정보가 감지되면, 상기 위치 정보에 대응되는 공간 내에 존재하는 오브젝트들로 이루어진 오브젝트 카테고리를 결정할 수 있다.
이 경우, 상기 복수의 오브젝트 카테고리를 결정하는 단계는, 상기 복수의 센서 중 하나인 냄새 감지 센서에 의해 냄새가 감지되면, 상기 냄새를 야기하는 오브젝트들로 이루어진 오브젝트 카테고리를 결정할 수 있다.
이 경우, 상기 복수의 오브젝트 카테고리를 결정하는 단계는, 상기 복수의 센서 중 하나인 소리 감지 센서에 의해 소리가 감지되면, 상기 소리를 발생시키는 오브젝트들로 이루어진 오브젝트 카테고리를 결정할 수 있다.
한편, 상기 복수의 오브젝트 카테고리를 결정하는 단계는, 상기 복수의 센서 중 하나인 카메라에 의해 사용자 영상이 촬영되면, 상기 사용자 영상 내의 사용자 표정을 분석하는 단계 및 상기 사용자 표정에 따라 포지티브 속성의 오브젝트들로 구성된 포지티브 카테고리 및 네거티브 속성의 오브젝트들로 구성된 네거티브 카테고리 중 하나를 결정하는 단계를 더 포함할 수 있다.
한편, 상기 복수의 오브젝트 카테고리를 결정하는 단계는, 상기 복수의 센서 중 하나인 소리 감지 센서에 의해 사용자 음성이 감지되면, 상기 사용자 음성의 어조를 분석하는 단계 및 상기 어조의 특성에 따라 포지티브 속성의 오브젝트들로 구성된 포지티브 카테고리 및 네거티브 속성의 오브젝트들로 구성된 네거티브 카테고리 중 하나를 결정하는 단계를 더 포함할 수 있다.
한편, 상기 복수의 오브젝트 카테고리를 결정하는 단계는, 상기 복수의 센서 중 하나인 생체 신호 감지 센서에 의해 사용자의 생체 신호가 감지되면, 상기 생체 신호의 특성에 따라 포지티브 속성의 오브젝트들로 구성된 포지트브 카테고리 및 네거티브 속성의 네거티브 카테고리 중 하나를 결정하는 단계를 더 포함할 수 있다.
한편, 상기 복수의 센서는, 소리 감지 센서, 냄새 감지 센서, 카메라, 위치 감지 센서, 모션 감지 센서, 기압 센서, 지문 감지 센서, 홀 센서, 관성 센서, 가속도 센서, 심박 센서, 조도 센서, 와이파이 센서, 나침반 센서 중 적어도 하나를 포함할 수 있다.
한편, 본 발명의 일 실시예에 따른 사용자 단말 장치는, 서로 다른 종류의 복수의 센서, 오브젝트 정보가 저장된 저장부 및 상기 복수의 센서의 센싱 결과를 획득하고, 상기 각 센싱 결과에 대응되는 복수의 오브젝트 카테고리를 결정하며, 상기 오브젝트 정보 중에서 상기 복수의 오브젝트 카테고리에 속하는 오브젝트를 비교하여, 상기 각 카테고리에 공통적으로 속하는 오브젝트를 인식 결과물로 추정하는 제어부를 포함한다.
이 경우, 상기 제어부는, 상기 결정된 복수의 오브젝트 카테고리 각각에 인식하고자 하는 대상이 속하게 될 확률적 수치를 부여하고, 상기 복수의 오브젝트 카테고리들에 부여된 수치들을 기초로, 상기 복수의 오브젝트 카테고리에 공통적으로 속하는 복수의 오브젝트들 중 상기 인식하고자 하는 대상으로서 가장 높은 확률을 갖는 오브젝트를 상기 인식 결과물로 추정할 수 있다.
한편, 상기 복수의 센서는 위치 감지 센서를 포함하며, 상기 제어부는, 상기 위치 감지 센서에 의해 상기 사용자 단말 장치의 위치 정보가 감지되면, 상기 위치 정보에 대응되는 공간 내에 존재하는 오브젝트들로 이루어진 오브젝트 카테고리를 결정할 수 있다.
이 경우, 상기 복수의 센서는 냄새 감지 센서를 더 포함하며, 상기 제어부는, 상기 냄새 감지 센서에 의해 냄새가 감지되면, 상기 냄새를 야기하는 오브젝트들로 이루어진 오브젝트 카테고리를 결정할 수 있다.
이 경우, 상기 복수의 센서는 소리 감지 센서를 더 포함하고, 상기 제어부는, 상기 소리 감지 센서에 의해 소리가 감지되면, 상기 소리를 발생시키는 오브젝트들로 이루어진 오브젝트 카테고리를 결정할 수 있다.
한편, 상기 복수의 센서는 카메라를 포함하고, 상기 제어부는, 상기 카메라에 의해 사용자 영상이 촬영되면, 상기 사용자 영상 내의 사용자 표정을 분석하고, 상기 사용자 표정에 따라 포지티브 속성의 오브젝트들로 구성된 포지티브 카테고리 및 네거티브 속성의 오브젝트들로 구성된 네거티브 카테고리 중 하나를 결정할 수 있다.
한편, 상기 복수의 센서는 소리 감지 센서를 더 포함하고, 상기 제어부는, 상기 소리 감지 센서에 의해 사용자 음성이 감지되면, 상기 사용자 음성의 어조를 분석하고, 상기 어조의 특성에 따라 포지티브 속성의 오브젝트들로 구성된 포지티브 카테고리 및 네거티브 속성의 오브젝트들로 구성된 네거티브 카테고리 중 하나를 결정할 수 있다.
한편, 상기 복수의 센서는 생체 신호 감지 센서를 더 포함하고, 상기 제어부는, 상기 생체 신호 감지 센서에 의해 사용자의 생체 신호가 감지되면, 상기 생체 신호의 특성에 따라 포지티브 속성의 오브젝트들로 구성된 포지트브 카테고리 및 네거티브 속성의 네거티브 카테고리 중 하나를 결정할 수 있다.
한편, 상기 복수의 센서는, 소리 감지 센서, 냄새 감지 센서, 카메라, 위치 감지 센서, 모션 감지 센서, 기압 센서, 지문 감지 센서, 홀 센서, 관성 센서, 가속도 센서, 심박 센서, 조도 센서, 와이파이 센서, 나침반 센서 중 적어도 하나를 포함할 수 있다.
도 1은 본 발명의 일 실시예에 따른 사용자 단말 장치의 센싱을 설명하기 위한 도면,
도 2는 본 발명의 일 실시예에 따른 사용자 단말 장치의 구성을 도시한 블럭도,
도 3 내지 도 6은 도 2의 사용자 단말 장치가 대상을 인식한 결과물로 추정하는 토폴로지를 설명하기 위한 도면,
도 7은 도 2의 사용자 단말 장치의 구체적인 구성을 도시한 블럭도,
도 8은 본 발명의 일 실시예에 따른 사용자 단말 장치의 대상 인식 방법을 설명하기 위한 흐름도,
도 9는 본 발명의 일 실시예에 따른 대상 인식 시스템을 도시한 블럭도,
도 10은 도 9의 대상 인식 시스템의 구체적인 구성을 도시한 블럭도,
도 11은 도 10의 대상 인식 시스템의 동작을 설명하기 위한 시퀸스도,
도 12는 본 발명의 일 실시예에 따른 사용자 단말 장치의 센싱 및 동작을 설명하기 위한 도면,
도 13은 본 발명의 다른 실시예에 따른 사용자 단말 장치의 대상 인식 방법을 설명하기 위한 흐름도, 그리고,
도 14는 본 발명의 다른 실시예에 따른 사용자 단말 장치의 대상 인식 방법을 설명하기 위한 도면이다.
이하 첨부된 도면들을 참조하여 본 발명의 일 실시 예를 더욱 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 사용자 단말 장치의 센싱을 설명하기 위한 도면이다.
도 1을 참조하면, 특정 공간(30)에 사용자(10), 사용자 단말 장치(100) 및 대상(20)이 존재한다.
사용자(10)는 관심 대상을 인식한다. 구체적으로, 사용자(10)는 인간의 지각 능력을 이용하여 주변의 사물 중에서 특정한 관심 대상을 인식하고 이에 대한 정보를 얻고자 할 수 있다.
그리고, 사용자(10)는 사용자 단말 장치(100)를 조작할 수 있다. 구체적으로, 사용자(10)는 사용자 단말 장치(100)에서 제공되는 인터페이스를 통해 사용자 단말 장치(100)를 조작할 수 있다. 그리고, 사용자(10)는 사용자 단말 장치(100)를 조작함으로써, 관심 대상에 관한 정보를 취득하고자 할 수 있다.
대상(20)은 유형물 또는 무형물이다. 구체적으로, 대상(20)은 눈으로 보고 만질 수 있는 형체가 있는 물건뿐만 아니라, 색, 냄새 및 소리와 같은 사람이 인지할 수 있는 무형물, 또는 사람의 능력으로 인지할 수 없거나 인지가 어렵더라도 세상에 존재하는 것을 특정 객체로 개념화한 것일 수 있다.
사용자 단말 장치(100)는 적어도 하나 이상의 정보를 센싱할 수 있다. 구체적으로, 사용자 단말 장치(100)는, 빛, 소리, 냄새 및 위치 등을 감지할 수 있는 복수의 센서들을 포함할 수 있다.
사용자 단말 장치(100)는 모바일 폰, PDA, PMP, 랩탑, 태블릿PC, UMPC와 같은 휴대 단말 기기가 될 수 있다. 다만, 사용자 단말 장치(100)는 복수의 센서를 구비하고 정보를 처리할 수 있는 장치라면, 위의 예시에 한정되지 않는다.
사용자 단말 장치(100)에 관한 보다 구체적인 구성 및 동작에 관한 설명은, 도 2를 참조하여 후술한다.
도 1에서는 사용자(10)는 특정 공간(30)에서 대상(20)의 냄새를 관심 대상으로 인지하고, 사용자 단말 장치(100)를 이용하여 대상(20)에서 발생하는 냄새에 관한 정보를 얻는 시나리오를 예시한다.
여기서, 사용자(10)가 관심 대상으로 삼은 대상(20)은 그릇에 담긴 음식으로, 특정 음식에 대응되는 냄새를 풍기고 있다. 그리고, 사용자(10), 사용자 단말 장치(100) 및 대상(20)이 있는 공간(30)의 지리적 위치는 식당이다.
사용자(10)는 대상(20)의 냄새를 인지한다. 그러나, 사용자(10)는 냄새가 어떠한 냄새인지 알지 못하여, 냄새가 무슨 냄새인지 알고자한다.
이 경우, 사용자(10)는 사용자 단말 장치(10)를 조작하여 냄새에 관한 정보를 알고자 할 수 있다. 구체적으로, 사용자(10)는 사용자 단말 장치(100)에 구비된 인터페이스를 통해, 사용자 단말 장치(100)가 냄새를 인식할 수 있도록 하는 명령어를 수동으로 입력할 수 있다.
또는, 사용자(10)는 사용자 단말 장치(100)의 특정 프로그램을 활성화시켜 "무슨 냄새지?"라는 목소리를 사용자 단말 장치(100)에 입력할 수 있다. 이 때, 사용자 단말 장치(100)는 입력된 목소리로부터 냄새를 인식하기 위한 명령임을 파악하고, 냄새를 인식하기 위한 프로세스를 실행할 수 있다.
사용자 단말 장치(100)는 냄새를 감지하는 센서를 활성화하여 냄새를 인식할 수 있다. 구체적으로, 사용자 단말 장치(100)는 공기 중의 냄새에 관한 화학 성분을 감지하는 센서를 포함할 수 있으며, 냄새 감지 센서를 활성화시켜, 냄새 감지 센서에 의하여 냄새의 화학적 성분이 변환된 전기적 신호를 이용하여 냄새를 인식할 수 있다.
다만, 공기 중의 특정 냄새에 관한 성분은 미량이고, 다른 화학 성분이 다량 포함된 점에서, 사용자 단말 장치(100)가 냄새 감지 센서에서 감지된 신호로부터 냄새의 정체를 정확히 제공하는 것은 어렵다.
따라서, 사용자 단말 장치(100)는 냄새를 인식할 수 있는 부가 정보로서, 복수의 센서를 활성화할 수 있다. 구체적으로, 사용자 단말 장치(100)는 사용자(10)의 얼굴을 촬상하는 카메라 및/또는 사용자 단말 장치(100)의 지리적 위치를 감지하는 위치 센서를 활성화할 수 있다.
예를 들어, 사용자 단말 장치(100)의 카메라는 사용자 단말 장치(100)의 전면에 배치되어 사용자(10)의 얼굴을 촬상할 수 있다. 그리고, 촬상된 사용자(10)의 얼굴에 지어진 표정이 긍정적(positive)인지 부정적(negative)인지 판단할 수 있다.
그리고, 사용자 단말 장치(100)의 후면에 배치된 카메라는 대상(20)을 촬상하여, 대상(20)의 형태적 특징을 판단할 수 있다.
또는, 앞선 예시에서, 사용자 단말 장치(100)는 사용자 단말 장치(100)에 사용자(10)가 입력한 "무슨 냄새지?"라는 목소리로부터 사용자(10)의 어조를 분석하여, 사용자(10)의 어조 특성이 긍정적(positive)인지 부정적(negative)인지 판단할 수 있다.
그리고, 사용자 단말 장치(100)는 위성 항법 신호를 이용한 GPS/DGPS 또는 이동 통신 신호를 이용한 RTK/WGPS와 같은 기술을 이용하는 위치 센서로부터 사용자 단말 장치(100)가 위치한 공간(30)이 식당임을 판단할 수 있다.
이와 같이, 사용자(10)의 상태가 긍정적인지 또는 부정적인지에 대한 정보 및 위치 정보와 같이 목적하는 대상에 대한 직접적인 정보는 아니지만 대상을 인지하는데 있어서 참고할 수 있는 부가 정보로서, 컨텍스트(context) 또는 상황(정황)정보가 사용될 수 있다.
사용자 단말 장치(100)는 사용자(10)의 웃는 표정 및 높은 어조로부터 사용자가 긍정적인 상태임을 판단하고, 현재 위치가 식당임을 판단하여, 냄새 감지 센서로부터 감지된 냄새가 사용자(10)가 좋아하는 음식의 냄새이며, 현재 위치의 식당에서 판매하는 음식의 냄새인 것으로 추정할 수 있다.
예를 들어, 사용자 단말 장치(100)는 냄새 감지 센서에서 감지한 냄새를 음식의 냄새로 추정하고, 음식 중에서 사용자(10)가 좋아할 것으로 추정되는(예, 검색 이력이 많은 음식) 밥, 빵 및 면 종류이고, 그릇이 담긴 형태로부터 국수에 해당하며, 현재 위치한 식당에서 판매하고 있는 국수의 종류 중 어느 하나에 해당하는 칼국수로 추정하여 대상을 인식한 결과물로서 칼국수의 냄새라는 정보를 제공할 수 있다.
이상과 같이 본 발명에 따른 사용자 단말 장치는 복수의 센서를 통해 센싱된 정보간에 연관성이 가장 높은 오브젝트를 대상으로 추정함으로써, 보다 정밀도 높고 빠른 인식이 가능하다.
도 2는 본 발명의 일 실시예에 따른 사용자 단말 장치의 구성을 도시한 블럭도이다.
도 2를 참조하면, 사용자 단말 장치(100)는 복수의 센서(110-1, 110-2 ... 110-N), 제어부(120) 및 저장부(130)를 포함한다.
복수의 센서(110-1, 110-2 ... 110-N)는 서로 다른 종류이다. 구체적으로, 복수의 센서(110-1, 110-2 ... 110-N)는 대상을 인식하기 위한 서로 다른 종류의 정보를 센싱할 수 있는 다른 종류의 센서일 수 있다.
예를 들어, 복수의 센서(110-1, 110-2 ... 110-N)는 소리 감지 센서, 냄새 감지 센서, 카메라, 위치 감지 센서, 모션 감지 센서, 기압 센서, 지문 감지 센서, 홀 센서, 관성 센서, 가속도 센서, 심박 센서, 조도 센서, 와이파이 센서, 나침반 센서 중 적어도 하나를 포함할 수 있다.
여기서, 소리 감지 센서는 음파를 감지하여 전기 신호로 변환하는 마이크로폰일 수 있으며, 사용자의 목소리를 수음하여 긍정 또는 부정을 판단하거나, 사용자 단말 장치(100) 주변의 소리에 관한 정보를 감지하는데 사용될 수 있다.
냄새 감지 센서는 공기 중의 냄새를 감지하여 공기 중 냄새의 농도, 주변 위험한 화학 물질의 감지 및 공기의 질을 측정하는데 사용될 수 있다.
카메라는 광학 렌즈를 통해 초점에 맺힌 광학상을 전기 신호로 변환할 수 있으며, 촬영하는 물체의 움직임을 파악하거나, 촬영되는 이미지와의 광초점 거리 또는 촬상된 이미지의 윤곽이나 특징점들을 추출하는데 사용될 수 있다. 특히, 사용자의 얼굴을 촬상하여 표정을 읽어내는데 사용될 수 있다.
위치 감지 센서는 사용자 단말 장치(100)의 지리적 위치를 감지하는데 사용될 수 있다. 구체적으로, GPS/DGPS/RTK와 같은 항법 기술을 이용하여 지구상의 위치를 감지하는데 사용될 수 있다. 그리고, 지상에 위치한 건물, 상점, 지역 및 도로 정보와 사용자 단말 장치(100)의 위치 정보가 결합되어, 현재 위치의 주변 환경 정보를 파악하는데 사용될 수 있다.
모션 감지 센서는 사용자 단말 장치(100)와 대상/사용자 간의 거리나, 특정 패턴을 갖는 움직임을 감지할 수 있다. 예를 들어, 모션 감지 센서는 현재 사용자가 사용자 단말 장치(100)를 향하고 있는지 여부 또는 특정 손동작을 통한 명령이 입력되는지 여부를 판단할 수 있다.
기압 센서는 대기 중의 기압을 측정할 수 있다. 예를 들어, 기압 센서는 저기압인지 고기압인지를 감지하여, 저기압의 흐린 날씨나 고기압의 맑은 날씨에 관한 부가 정보를 파악하는데 이용될 수 있으며 또는, 고도가 높을수록 기압이 낮은 고산지대임을 파악하는 데 사용될 수 있다.
지문 감지 센서는 사용자 단말 장치(100)를 조작하는 사용자의 신원을 파악하는데 사용될 수 있다. 여러 사용자가 사용자 단말 장치(100)를 사용하는 경우에 개별 신원에 따른 정보를 이용하는데 사용될 수 있다.
홀 센서는 사용자 단말 장치(100) 주변의 자기장의 변화를 감지하는데 사용될 수 있다. 구체적으로, 사용자 단말 장치 주변에 자성 물질의 접근이나 전력발전소 또는 고전력의 송전선이 위치하는 정보 등을 파악하는데 사용될 수 있다.
회전 감지 센서 및 가속도 센서는 사용자 단말 장치(100)의 자세나 움직임을 파악하는데 사용될 수 있다. 구체적으로, 회전 감지 센서 및 가속도 센서는 사용자 단말 장치(100)가 기울어진 자세, 뒤집어진 자세, 곧게 세워진 자세 및 바르게 눕힌 자세 등을 파악할 수 있다. 또한, 회전 감지 센서 및 가속도 센서는 사용자 단말 장치(100)가 이동하는 방향, 회전하는 방향 및 이동/회전하는 속도를 파악하는데 사용될 수 있다.
심박 센서는 사용자의 심박수를 감지할 수 있다. 구체적으로, 심박 센서는 사용자의 심박수를 측정하여 사용자의 기분이 흥분 상태인지 이완된 상태인지 파악하는데 사용될 수 있다.
조도 센서는 사용자 단말 장치(100) 주위의 광량을 감지할 수 있다. 구체적으로, 조도 센서는 사용자 단말 장치(100)로 입사되는 자연광 또는 인공광의 광량을 측정하여 주위의 밝기를 판단하는데 사용될 수 있다.
와이파이 센서는 무선 인터넷인 와이파이(Wi-Fi) 신호를 감지할 수 있다. 구체적으로, 와이파이 센서는 사용자 단말 장치(100)로부터 일정 반경 내에 위치한 액세스 포인트에서 발생하는 와이파이 신호를 감지할 수 있으며, 와이파이 신호의 강도, 액세스 포인트의 위치 및 무선 통신 프로토콜에 따른 패킷에 담긴 정보를 이용하는데 사용될 수 있다.
나침반 센서는 방위를 감지하는데 사용될 수 있다. 구체적으로, 나침반 센서는 사용자 단말 장치(100)가 길이방향으로 지향하는 곳이 동, 서, 남, 북의 방위 상에서 어디에 해당하는지 판단하는데 사용될 수 있다.
복수의 센서(110-1, 110-2 ... 110-N)에 포함될 수 있는 센서의 종류는 위의 예시에 한정되지 아니하며, 인지하고자 하는 대상을 추정할 수 있는 관련 정보를 획득할 수 있는 센서라면 더 포함될 수 있다.
도 2에서는 복수의 센서(110-1, 110-2 ... 110-N)를 독립적인 블록으로 도시하였으나, 복수의 정보를 센싱할 수 있는 하나의 센서로 구현될 수 있다.
저장부(130)는 사용자 단말 장치(100)가 동작하는데 필요한 정보들을 저장한다. 구체적으로, 저장부(130)는 사용자 단말 장치(100)가 동작하는데 필요한 프로그램, 명령어 및 데이터를 저장할 수 있다.
그리고, 저장부(130)는 오브젝트 정보를 저장할 수 있다. 구체적으로, 저장부(130)는 인간이 세상에 존재하는 것들을 분류하고 개념화한 대상의 이름, 특징적 모양, 냄새, 색, 용도, 관계 및 상태 등에 관한 오브젝트 정보를 저장할 수 있다.
예를 들어, 사람이 체내로 영양분을 보충하는 음식이라는 오브젝트 정보의 카테고리에는 식사, 음료, 간식 등과 같은 하위 개념의 오브젝트 정보가 포함될 수 있으며, 식사의 오브젝트 정보에는 찌개, 밥, 고기 등의 식사의 하위 개념의 오브젝트 정보가 포함될 수 있다.
이와 같이, 저장부(130)에 저장되어 대상을 추론할 수 있는 오브젝트 정보에 관한 기술로서 컴퓨터 온톨로지(Ontology)가 사용될 수 있다. 여기서, 컴퓨터 온톨로지는 정보 자원을 컴퓨터가 해석할 수 있는 시맨틱(semantic)으로 표현한 특정 영역(domain)의 메타데이터(metadata)를 일컫는다.
한편, 저장부(130)는 사용자 단말 장치(100) 내의 내장형 저장 매체 및 외부 저장 매체, 예를 들어 USB 메모리를 포함한 Removable Disk, 네트워크를 통한 웹서버(Web server) 등으로 구현될 수 있다. 또한, 저장부(130)는 롬, 램, 또는 사용자 단말 장치(100)에 탈착/장착 가능한 메모리 카드(예, SD 카드, 메모리 스틱)를 포함할 수 있다. 또한, 저장부(130)는 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.
제어부(120)는 사용자 단말 장치(100)의 각 구성을 제어한다. 구체적으로, 복수의 센서(110-1, 110-2 ... 110-N)들을 활성화할지 여부를 제어하고, 저장부(130)에 정보를 읽고 쓰는 제어를 할 수 있다. 또한, 제어부(120)는 복수의 센서(110-1, 110-2 ... 110-N)로부터 수신한 정보 또는 저장부(130)로부터 읽은 정보를 처리할 수 있다.
구체적으로, 제어부(120)는 복수의 센서(110-1, 110-2 ... 110-N)의 센싱 결과를 획득하고, 각 센싱 결과와 대응되는 복수의 오브젝트 카테고리를 결정할 수 있다. 예를 들어, 꽃가게에서 꽃이 무슨 꽃인지 알고자 하는 경우, 사용자 단말 장치(100)는 카메라 센서로 꽃의 형태 및 색깔 정보를 취득하여, 취득한 복수의 정보에 대응되는 꽃의 품종 카테고리를 결정할 수 있다. 또한, 사용자 단말 장치(100)는 현재 어느 위치의 꽃가게임을 획득하고, 획득된 꽃가게의 가게이름 정보나 위치 정보를 검색하여 해당 꽃가게에서 판매하는 꽃의 종류를 하나의 카테고리로 결정할 수 있다.
그리고, 제어부(120)는 저장부(130)에 저장된 오브젝트 정보 중에서, 센싱 결과와 대응되는 복수의 오브젝트 카테고리에 속하는 오브젝트를 비교하여, 각 카테고리에 공통적으로 속하는 오브젝트를 인식 결과물로 추정할 수 있다.
위의 예시에 이어서, 획득된 꽃가게에서 판매하는 카테고리에 속하는 오브젝트가 벚꽃, 수선화, 튤립, 국화, 장미이고, 카메라 센서로 획득한 꽃의 형태 및 색깔에 해당하는 카테고리의 오브젝트가 장미류과의 붉은 색이라면, 붉은 장미인 카디날(Kardinal) 품종인 것으로 추정할 수 있다.
여기서, 제어부(120)는 센싱 결과에 대응되는 복수의 오브젝트 카테고리에 인식하고자 하는 대상이 속하게 될 확률적 수치를 부여할 수 있다. 구체적으로, 제어부(120)는 센서(110-1, 110-2 ... 110-N 중 어느 하나)로부터 획득한 센싱 결과를 신뢰할 수 있는 정도, 센싱 결과와 오브젝트 카테고리의 연관관계가 밀접한지를 나타내는 정도, 특정 사용자 또는 일반대중이 대상 인식 기능을 사용한 사용 이력에 비추어 현재 대상을 인식하고자 하는 상황에서 해당 오브젝트 카테고리에 대상이 속할 가능성의 정도, 센싱 결과와 정확히 일치하는 카테고리에서 의미 기반의 관련 오브젝트 카테고리로 확장된 정도(시맨틱 랭크) 등을 반영하여 복수의 오브젝트 카테고리 각각에 수치를 부여할 수 있다. 가령, 제어부(120)는 확률을 나타내는 퍼센테이지 값으로 각 오브젝트 카테고리에 수치를 부여할 수 있다.
위의 예시를 다시 참조하면, 냄새 센서로 획득한 센싱 결과에 기초하여 냄새의 정체를 꽃으로 결정한 카테고리에는 낮은 수치가 부여될 수 있지만, 카메라 센서로 획득한 센싱 결과에 기초하여 꽃으로 결정한 카테고리에는 높은 수치가 부여될 수 있다. 다른 측면에서, 냄새의 정체를 꽃으로 결정한 카테고리가 향수로 결정한 카테고리보다 높은 수치가 부여될 수 있다. 또한, 꽃이라는 상위 개념의 카테고리 보다는 장미류라는 하위 개념에 수치가 더 낮게 부여될 수 있다.
그리고, 제어부(120)는 결정된 복수의 오브젝트 카테고리에 공통적으로 속하는 오브젝트에 대해서 확률을 계산할 수 있다. 구체적으로, 제어부(120)는 공통된 오브젝트가 속하는 여러 오브젝트 카테고리에 부여된 수치를 기초로 해당 오브젝트가 인지하고자 하는 대상이 될 확률을 계산할 수 있다. 이러한 확률은 오브젝트가 공통적으로 속하는 오브젝트 카테고리의 개수와 함께, 오브젝트 카테고리에 부여된 수치를 반영하여 계산될 수 있다.
예를 들어, 같은 꽃이라는 오브젝트 카테고리에 속하지만 장미류라는 오브젝트 카테고리가 결정된 경우, 카디날 품종의 꽃은 장미류라는 오브젝트 카테고리에도 포함되므로, 다른 꽃보다 더 높은 확률을 갖는 것으로 계산될 수 있다.
그리고, 제어부(120)는 계산된 복수의 오브젝트의 확률에 따라 해당 오브젝트를 인식 결과물로서 추정할 수 있다. 구체적으로, 제어부(120)는 오브젝트들의 확률에 기초하여 순위를 산정하고, 가장 높은 순위를 갖는 오브젝트를 인식 결과물로 추정할 수 있다. 여기서, 사용자 단말 장치(10)에는 추정된 순위별로 복수의 오브젝트가 사용자에게 제공될 수 있다.
한편, 위 예시와 같이, 제어부(120)는 위치 감지 센서에 의해 사용자 단말 장치(100)의 위치 정보가 감지되면, 위치 정보에 대응되는 공간 내에 존재하는 오브젝트들로 이루어진 오브젝트 카테고리를 결정할 수 있다.
또한, 제어부(120)는 냄새 감지 센서에 의해 냄새가 감지되면, 냄새를 야기하는 오브젝트들로 이루어진 오브젝트 카테고리를 결정할 수 있다. 예를 들어, 제어부(120)는 냄새 감지 센서에서 특정 향기가 감지되었을 때, 감지된 꽃 향기에 대응하는 어떠한 식물의 품종들, 방향제품 및 향수의 오브젝트들로 구성된 오브젝트 카테고리를 결정할 수 있다.
또한, 제어부(120)는 카메라에 의해 촬상된 이미지의 특징을 추출하여, 추출된 외관의 특징을 갖는 오브젝트들의 오브젝트 카테고리를 결정할 수 있다. 또한, 제어부(120)는 사용자 영상이 촬영되면, 사용자 영상 내의 사용자 표정을 분석하고, 사용자 표정에 따라 포지티브 속성의 오브젝트들로 구성된 포지티브 카테고리 및 네거티브 속성의 오브젝트들로 구성된 네거티브 카테고리 중 하나를 결정할 수 있다. 구체적으로, 제어부(120)는 사용자의 표정이 웃는 표정으로 분석되면 포지티브 카테고리를 결정하고, 사용자의 표정이 찡그린 표정으로 분석되면 네거티브 카테고리로 결정할 수 있다.
또한, 제어부(120)는 소리 감지 센서에 의해 소리가 감지되면, 소리를 발생시키는 오브젝트들로 이루어진 오브젝트 카테고리를 결정할 수 있다. 예를 들어, 제어부(120)는 특정 음색 및 주파수를 갖는 소리가 감지되면, 기타, 베이스, 바이올린으로 구성된 현악기의 카테고리를 결정할 수 있다.
또한, 제어부(120)는 소리 감지 센서에 의해 사용자의 음성이 감지되면, 사용자의 음성의 어조를 분석하고, 어조의 특성에 따라 포지티브 속성의 오브젝트들로 구성된 포지티브 카테고리 및 네거티브 속성의 오브젝트들로 구성된 네거티브 카테고리 중 하나를 결정할 수 있다. 예를 들어, 제어부(120)는 밝은 톤의 목소리가 감지되면, 포지티브 카테고리로 결정하고, 어둡거나 짜증나는 톤의 목소리가 감지되면 네거티브 카테고리로 결정할 수 있다.
또한, 제어부(120)는 생체 신호 감지 센서에 의해 사용자의 생체 신호가 감지되면, 생체 신호의 특성에 따라 포지티브 속성의 오브젝트들로 구성된 포지티브 카테고리 및 네거티브 속성의 오브젝트들로 구성된 네거티브 카테고리 중 하나를 결정할 수 있다. 예를 들어, 제어부(120)는 사용자의 맥박이 정상이거나 몸이 이완되는 경우, 포지티브 카테고리로 결정하고, 사용자의 맥박이 빨라지거나 몸에 힘이 들어간 긴장 상태인 경우, 네거티브 카테고리로 결정할 수 있다.
이상과 같이 본 발명에 따른 사용자 단말 장치는 복수의 센서를 통해 센싱된 정보간에 연관성이 가장 높은 오브젝트를 대상으로 추정함으로써, 보다 정밀도 높고 빠른 인식이 가능하다.
도 3 내지 도 6은 도 2의 사용자 단말 장치가 대상을 인식한 결과물로 추정하는 토폴로지를 설명하기 위한 도면이다.
도 3은 병렬 토폴로지를 도시한 도면이다. 도 3을 참조하면, 병렬 토폴로지는 복수의 센서로부터 감지된 센싱 결과에 대응되는 복수의 오브젝트 카테고리(Sensor 1, Sensor 2...Sensor N) 및 복수의 오브젝트 카테고리에 공통적으로 속하는 오브젝트를 추출하는 Multi Sensor Reasoner를 포함한다.
구체적으로, 복수의 센서로부터 감지된 센싱 결과 각각에 대하여 생성된 복수의 오브젝트 카테고리를 AND 연산을 수행하여 오브젝트 카테고리에 속하는 적어도 하나의 오브젝트에 공통된 오브젝트를 Multi Sensor Reasoner에서 판단하여 출력한다.
도 4는 직렬 토폴로지를 도시한 도면이다. 도 4를 참조하면, 직렬 토폴로지는 복수의 센서 중 센서 1로부터 감지된 센싱 결과에 대응하는 오브젝트 카테고리 Sensor 1를 결정하고, Sensor 1의 오브젝트 카테고리 범주 내에서 센서 2로부터 감지된 센싱 결과에 대응되는 오브젝트 카테고리를 결정한다. 이와 같이, 각각 센싱 결과에 대응되는 오브젝트 카테고리의 범주가 이전 센서의 센싱 결과에 대응되는 오브젝트 카테고리의 범주로 제한되도록 순차적으로 연산을 수행한다.
그리고, 마지막 센서 N까지 Sensor N의 오브젝트 카테고리가 결정되면, Sensor N의 카테고리에 속하는 적어도 하나의 오브젝트의 결과물을 Fusion Center에서 기설정된 정렬 방식으로 출력한다.
도 5는 트리(tree) 토폴로지를 도시한 도면이다. 도 5를 참조하면, 첫 번째 계층에서는 복수의 센서로부터 감지된 센싱 결과에 대응하는 복수의 오브젝트 카테고리 Sensor n1,1 ... Sensor n1,i ... Sensor n1,j ... Sensor n1,k가 기설정된 개수로 그룹을 형성하여, 두 번째 계층의 오브젝트 카테고리 Sensor n2,1 ... Sensor n2,l ... Sensor n2,m ... Sensor n2,n와 AND 연산을 수행한다. 그리고, 두 번째 계층에서 수행된 연산들의 결과는 다시 기설정된 개수의 그룹을 형성하여 세 번째 계층의 Sensor n3,1 .. Sensor n3,r 오브젝트 카테고리와 AND 연산을 수행한다. 이와 같이, 몇몇 개의 카테고리를 그룹을 형성하여 AND 조건의 연산을 동시에 수행하고 다음 계층으로 진행함으로써 연산 속도를 높이고, 최종 Fusion Center에서 복수의 오브젝트 카테고리에 공통된 오브젝트가 출력된다.
도 6은 네트워크 토폴로지를 도시한 도면이다. 도 6을 참조하면, 첫 번째 계층의 모든 오브젝트 카테고리 Sensor n1,1 ... Sensor n1,i ... Sensor n1,j ... Sensor n1,k가 두 번째 계층의 복수의 오브젝트 카테고리 Sensor n2,1 ... Sensor n2,l ... Sensor n2,m ... Sensor n2,n 각각과 AND 연산을 수행한다. 그리고, 두 번째 계층에서 연산된 모든 복수의 오브젝트 카테고리 결과들은 세 번째 계층의 오브젝트 카테고리 Sensor n3,1 .. Sensor n3,r 각각과 AND 연산을 수행한다. 이와 같이, 상위 계층에 존재하는 모든 오브젝트 카테고리들이 하위 계층의 오브젝트 카테고리 각각과 모두 연산을 수행하여, 한 계층에서 이루어지는 연산의 결과들이 가능한한 범위가 좁게 오브젝트 카테고리가 산출되도록 함으로써 연산 속도를 높이고, 최종 Fusion Center에서 복수의 오브젝트 카테고리에 공통된 오브젝트가 출력된다.
도 7은 도 2의 사용자 단말 장치의 구체적인 구성을 도시한 블럭도이다.
도 7을 참조하면, 도 2의 사용자 단말 장치 중 저장부(130) 및 제어부(120)을 포함한다.
저장부(130)는 센서 제어 모듈(131), 소리 감지/분석 모듈(132), 냄새 감지 /분석 모듈(133)을 포함하는 복수의 센서 감지/분석 모듈(132, 133, ...), 카테고리 결정 모듈(134), 통합 모듈(135), 오브젝트 추정모듈(136) 및 오브젝트 데이터베이스(137)을 포함한다.
센서 제어 모듈(131)은 사용자 단말 장치(100)의 복수의 센서(110-1, 110-2 ... 110-N) 중 적어도 하나를 활성화 또는 비활성화하는 제어 명령어들을 포함할 수 있다. 또한, 센서 제어 모듈(131)은 복수의 센서(110-1, 110-2 ... 110-N)가 센싱하는 민감도를 조정할 수 있는 데이터 및 제어 명령어들을 더 포함할 수 있다.
복수의 센서 감지/분석 모듈(132, 133, ...)은 활성화된 적어도 하나의 센서로부터 입력되는 정보를 소리 또는 냄새와 같이 어느 속성에 해당하는 정보인지 분별하고, 감지된 정보들의 특성에 적합한 신호 처리를 수행할 수 있는 데이터 및 제어 명령어들을 포함할 수 있다.
예를 들어, 소리 감지/분석 모듈(132)의 경우, 활성화된 소리 감지 센서에 기설정된 데시벨 크기 이상의 소리가 입력되면, 소리를 인식하기 위한 프로세스를 자동으로 실행하고, 입력된 소리에 유의미한 정보를 담고 있는지, 아니면 단순히 잡음/소음에 불과한지 파형을 분석하는 프로그램 언어들을 포함할 수 있다.
다른 예시로서, 냄새 감지/분석 모듈(133)의 경우, 활성화된 냄새 감지 센서에 기설정된 농도 이상의 냄새가 입력되면, 냄새를 인식하기 위한 프로세스를 자동으로 실행하고, 기분석된 냄새 물질에 대응하는 냄새 감지 신호인지 분석하는 프로그램 언어들을 포함할 수 있다.
카테고리 결정 모듈(134)은 복수의 센서(110-1, 110-2 ... 110-N)에서 감지된 센싱 정보들을 분석한 센싱 결과들로부터 최종 출력될 정보에 관련한 오브젝트의 카테고리를 결정하는 데이터 및 제어 명령어를 포함할 수 있다.
예를 들어, 위치 감지 센서로부터 감지된 하나의 위치 정보의 결과라 할지라도, 알고자 하는 최종 출력 정보가 음식의 이름이라면, 해당 위치의 식당에서 판매하는 메뉴들이 오브젝트 카테고리에 포함될 수 있다. 하지만, 알고자 하는 최종 출력 정보가 사람의 이름이라면, 해당 위치의 식당에서 일하는 종업원의 이름이 오브젝트 카테고리에 포함될 수 있다.
그리고, 카테고리 결정 모듈(134)은 센싱 결과들을 인간이 인식하고 개념화한 오브젝트들을 분류한 카테고리를 결정할 수 있다. 구체적으로, 카테고리 결정 모듈(134)은 복수의 센서(110-1, 110-2 ... 110-N)가 감지한 인스턴스(instance)를 특정 개념이나 속성 등으로 나타내기 위하여 컴퓨터 온톨로지의 시멘틱 네트워크에서 센싱 결과에 대응되는 정보를 검색하는 프로그램을 포함할 수 있다.
통합 모듈(135)은 복수의 오브젝트 카테고리를 통합하여 공통된 오브젝트를 추출하기 위한 연산을 수행하는 프로그램을 포함할 수 있다. 여기서 통합 모듈(135)이 복수의 오브젝트 카테고리들을 통합하기 위한 연산의 방식은 도 3 내지 도 6의 토폴로지 방식이 될 수 있다.
오브젝트 추정 모듈(136)은 복수의 오브젝트 카테고리에 공통적으로 속하는 오브젝트를 인식 결과물로 추정하기 위한 데이터 및 제어 명령을 포함할 수 있다.
구체적으로, 오브젝트 추정 모듈(136)은 인식하고자 하는 대상을 추정한 결과로서 복수의 오브젝트가 산출되면, 이 복수의 오브젝트들 중에서 확률적으로 인식하고자 하는 대상이 될 가능성이 높은 결과물에 선순위를 부여하는 프로그램을 포함할 수 있다. 여기서 대상이 될 가능성이 높은 확률은 통계적 분석이나, 개개 사용자 단말 장치(100)의 사용 이력 등에 기초하여 분석된 것일 수 있다.
오브젝트 데이터베이스(137)는 오브젝트 및 오브젝트 카테고리에 대한 수많은 정보를 저장할 수 있다. 즉, 오브젝트 데이터베이스(137)의 명세 정도는 대상을 추정하는 결과물의 정확성과 연관이 있다. 오브젝트 데이터베이스(137)에 저장되는 개념 및 속성에 관한 정보는 온톨로지에 따른 분류로 정리되어 저장될 수 있다.
제어부(120)는 CPU(121) 및 메모리(122)를 포함한다.
제어부(120)는 저장부(130)를 제어하여 저장부(130)에 포함된 각 모듈들(131 내지 137)을 메모리(122)로 복사하여, 메모리(122)에 복사된 프로그램 코드들의 인스트럭션에 따라 CPU(121)가 연산을 수행하도록 구성될 수 있다.
또한, 제어부(120)는 외부로부터 수신된 오브젝트 데이터 베이스 정보를 메모리(122)에 임시 저장하고, CPU(121)의 복사 명령에 의해 저장부(130)의 오브젝트 데이터베이스(137)에 기록하도록 구성될 수 있다.
한편, CPU(121)는 싱글 코어 프로세서, 듀얼 코어 프로세서, 트리플 코어 프로세서 및 쿼드 코어 프로세서 중 적어도 하나를 포함할 수 있다. 그리고, 메모리(122)는 롬(Read-Only Memory: ROM) 및 램(Random Access Memory: RAM)을 포함할 수 있다. 여기서, CPU, 롬 및 램은 내부버스(bus)를 통해 상호 연결될 수 있다.
이상 도 7의 사용자 단말 장치(100)에서는 하나의 제어부(120)에 저장부(130)의 각 소프트웨어 모듈들이 호출되어 모듈들의 기능을 동작하는 구성으로 설명하였으나, 구현시에는 각 모듈들이 독립적인 칩셋으로 구성되어 개별적인 칩셋모듈이 기능을 동작하도록 구성할 수 있다.
이상과 같이 본 발명에 따른 사용자 단말 장치는 복수의 센서를 통해 센싱된 정보간에 연관성이 가장 높은 오브젝트를 대상으로 추정함으로써, 보다 정밀도 높고 빠른 인식이 가능하다.
도 8은 본 발명의 일 실시예에 따른 사용자 단말 장치의 대상 인식 방법을 설명하기 위한 흐름도이다.
도 8을 참조하면, 사용자 단말 장치의 대상 인식 방법은, 서로 다른 종류의 복수의 센서 중 적어도 하나를 활성화 시킨다(S810). 여기서 활성화 시키는 센서의 선택은 인지하고자 하는 대상에 따른 기설정된 센서들로 선택될 수 있다. 예를 들어, 냄새를 인지하고자 하는 경우에 냄새 감지 센서를 비롯하여, 사용자의 얼굴을 촬영할 수 있는 전면 카메라와 사용자 단말 장치의 지리적 위치를 감지할 수 있는 위치 감지 센서가 활성화될 수 있다.
그리고, 복수의 센서의 센싱 결과를 획득한다(S820). 구체적으로, 활성화된 센서가 감지한 신호를 분석하여 인지적 대상인 이름이나 속성과 같은 센싱 결과를 획득한다.
다음으로, 센싱 결과에 대응되는 복수의 오브젝트 카테고리를 결정한다(S830). 구체적으로, 인지적 정보로 개념화된 센싱 결과는 온톨로지 모델에서 센싱 결과를 검색하여 검색된 센싱 결과의 하위 오브젝트를 포함하는 오브젝트 카테고리를 결정할 수 있다.
마지막으로, 인지하고자 하는 대상은 결정된 복수의 오브젝트 카테고리에 공통적으로 속하는 오브젝트를 인식 결과물인 것으로 추정한다(S840). 예를 들어, 복수의 오브젝트를 포함하는 냄새에 관한 카테고리에서, 사용자의 표정 또는 사용자의 음성의 어조를 분석하여 냄새가 포지티브 속성인지 네거티브 속성인지를 더 고려하고 무슨 냄새인지 추정할 수 있다.
한편, 여기서 추정되는 인식 결과물은 공통적으로 속하는 오브젝트가 속해있는 오브젝트 카테고리에 부여된 확률적 수치에 기초하여 해당 오브젝트가 인지하고자 하는 대상으로서 가장 높은 확률을 갖는 오브젝트를 인식 결과물로 추정할 수 있다.
이상과 같은 본 발명의 대상 인식 방법은, 복수의 센서를 통해 센싱된 정보간에 연관성이 가장 높은 오브젝트를 대상으로 추정함으로써, 보다 정밀도 높고 빠른 인식이 가능하다.
그리고, 본 발명의 일 실시예에 따른 대상 인식 방법은, 도 2 및 도 7의 사용자 단말 장치에서 구현될 수 있다. 또한, 대상 인식 방법은 다양한 유형의 기록매체에 저장되어 CPU 등에 의해 실행되는 프로그램 코드에 의해 구현될 수도 있다. 그리고, 대상 인식 방법이 구현된 프로그램 코드는 스마트 폰으로 구현된 사용자 단말 장치에 있어서는 인터넷과 같은 공중 회선 망을 통해 어플리케이션 형태로 배포될 수 있다.
구체적으로는, 상술한 방법들을 수행하기 위한 코드는, RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 단말기에서 판독 가능한 다양한 유형의 기록 매체에 저장되어 있을 수 있다.
도 9는 본 발명의 일 실시예에 따른 대상 인식 시스템을 도시한 블럭도이다.
도 9를 참조하면, 대상 인식 시스템은 감지하고자 하는 대상체(40), 사용자 단말 장치(100), 서버(200), 네트워크(300), 외부센서(500), 제2 단말장치(600) 및 제3 단말장치(400)를 포함한다.
사용자 단말 장치(100)는 서로 다른 종류의 복수의 센서를 이용하여 대상체(40)에 관한 속성 및 위치 등을 감지할 수 있다. 이에 관한, 사용자 단말 장치(100)의 구성 및 동작은 도 2 및 도 7의 사용자 단말 장치와 동일한바 구체적인 설명은 생략한다.
사용자 단말 장치(100)는 통신 인터페이스를 구비하고, 외부 장치와 통신을 수행할 수 있다. 구체적으로, 사용자 단말 장치(100)는 통신 인터페이스를 이용하여 장치 대 장치(D2D) 통신을 수행할 수 있다.
예를 들어, 사용자 단말 장치(100)는 블루투스, NFC 및 LTE D2D 중 적어도 하나를 이용하여 근거리에 있는 외부 장치와의 직접적인 무선 통신을 할 수 있다. 또한, 사용자 단말 장치(100)는 통신 케이블을 통해 연결된 외부 장치와 유선으로 직접 무선 통신을 수행할 수 있다. 도 9에 도시된 실시예에서 사용자 단말 장치(100)가 D2D 통신을 수행하는 외부 장치는 제2 단말 장치(600)와 외부 센서(500)이다. 그 밖에도 사용자 단말 장치(100)는 인체에 착용 가능한 장치(wearable device)와 직접적인 근거리 통신을 수행할 수 있다.
사용자 단말 장치(100)는 대상체(40) 주변에서 대상체(40)에 관한 정보를 갖고 있고, 사용자 단말 장치(100)와 근거리에 있는 외부 센서(500) 및 제2 단말 장치(600)와 통신을 수행하여, 대상체(40)를 추정할 수 있는 단서를 획득할 수 있다.
또한, 사용자 단말 장치(100)는 네트워크(300)와 연결되고, 네트워크와 연결된 서버(200) 및 제3 단말 장치(400)와 통신할 수 있다.
특히, 사용자 단말 장치(100)는 개별 사물과 직접 통신을 수행할 수 있다. 구체적으론, 대상체(40)에 대상체(40)의 신원을 나타내는 정보를 담은 RFID가 구비되어, RFID 통신을 통해 대상체(40)에 관한 정보를 획득할 수 있다. 또한, 개별 사물에 인터넷 프로토콜 주소(IP 주소)가 부여된 사물인터넷(Internet of Things: IoT) 시스템에서, 사용자 단말 장치(100)는 네트워크(300)를 통해 대상체(40)에 부여된 IP 주소로 접속하여 대상체(40)에 관한 정보를 획득할 수 있다.
한편, 사용자 단말 장치(100)는 대상체(40)를 인식하기 위한 알고리즘 및 데이터베이스를 직접 구비하고 있을 수 있으나, 대상 인식 서비스를 지원하는 서버에서 대상을 인식하기 위한 알고리즘 및 데이터베이스 중 적어도 하나를 구축하고, 사용자 단말 장치(100)와의 통신을 통해 추정된 대상체(40)에 관한 결과물을 제공하도록 할 수 있다.
이 경우, 사용자 단말 장치(100)는 네트워크(300)를 통한 서버와의 D2S 통신을 통해, 서버에 대상체(40)에 관한 정보를 제공하고, 그 추정된 결과물을 받음으로써, 사용자 단말 장치(100)의 성능 및 리소스 상의 제약을 극복할 수 있다.
도 10은 도 9의 대상 인식 시스템의 구체적인 구성을 도시한 블럭도이다.
도 10을 참조하면, 대상 인식 시스템(1000)은 사용자 단말 장치(100), 서버(200), 네트워크(300) 및 후위 시스템(700)을 포함한다.
사용자 단말 장치(100)는 복수의 센서(1010-1, 1010-2, 1010-3, 1010-4), 다각적 모달 센싱 감지부(Multimodal Sensing Detection Unit)(1021), 질의응답 클라이언트부(QA Client)(1022), 아날로그/디지털 변환부(ADC)(1023), 질의 감지부(1024), 쿼리 결과 제공자(1025) 및 다각적 모달 질의 관리부(1026)를 포함한다.
복수의 센서(1010-1, 1010-2, 1010-3, 1010-4)는 소리를 감지하는 센서(1010-1), 위치 기반 서비스(Location Based Service: LBS) 정보를 수신하는 센서(1010-2), 냄새를 감지하는 센서(1010-3) 및 영상을 촬영 또는 이미지를 촬상하는 카메라(1010-4)를 포함할 수 있다.
다각적 모달 센싱 감지부(1021)는 복수의 센서(1010-1, 1010-2, 1010-3, 1010-4)를 활성화하는 제어 및 센서들에서 감지가 이루어지는지 여부를 판단하는 동작을 수행할 수 있다.
질의응답 클라이언트부(1022)는 사용자 단말 장치(100)를 이용하는 사용자에게 사용자가 알고 싶어하는 대상을 질의할 수 있는 인터페이스 및 대상으로 추정되는 결과를 답변으로 제공하는 인터페이스를 제공할 수 있다.
아날로그/디지털 변환부(1023)는 복수의 센서(1010-1, 1010-2, 1010-3, 1010-4)에서 수신된 아날로그 형식의 정보들을 디지털라이즈한다. 만약 복수의 센서(1010-1, 1010-2, 1010-3, 1010-4)에서 이미 디지털화된 정보로 수신되었다면 아날로그/디지털 변환부(1023)는 포함되지 않을 수 있다.
질의 감지부(1024)는 질의 클라이언트부(1022)의 입력이 질의인지 분석한다. 구체적으로, 질의 감지부(1024)는 특정 키워드로부터 사용자가 질의를 하는 것인지 파악할 수 있다. 예를 들어, "이게 무슨 냄새지?" 라는 텍스트 입력은 '무슨' 또는 '?'와 같은 키워드로 질의가 입력되었음을 판별하고, 보이스 입력은 입력된 음성에서 끝이 올라간 어조나, '무슨' 이라는 음성을 식별하여 질의가 입력되었음을 판별할 수 있다.
쿼리 결과 제공자(1025)는 서버(200)에서 선정된 결과물을 수신하여 질의응답 클라이언트부(1022)가 사용자에게 사용자의 질의에 대한 답변이 제공되도록 제어할 수 있다.
다각적 모달 질의 관리부(1026)는 디지털화된 센싱 정보와 사용자의 질의 정보를 수신하여 네트워크(300)를 통해 질의에 대한 답변을 제공할 수 있는 서버(200)에 전달할 수 있다.
서버(200)는 센싱 데이터 파싱부(1031), 자연어 파싱부(1032), 센싱 데이터 질의 패턴 추출부(1033), 질의 패턴 추출부(1034), 센싱 데이터 질의 분류부(Sensing Data Question Classification)(1035), 질의 분류부(Question Classification)(1036), 다각적 모달 후보 추출 관리부(Multimodal Candidate Extraction Management), 답변 후보 추출부(Answer Candidate Extraction)(1038) 및 답변 선택부(1039)를 포함할 수 있다.
센싱 데이터 파싱부(1031)는 복수의 센서(1010-1, 1010-2, 1010-3, 1010-4)에서 센싱한 정보들을 파싱한다. 예를 들어, 센싱 데이터 파싱부(1031)는 소리 감지 센서(1010-1)에서 감지된 소리가 디지털 신호로 변환된 센싱 정보에서 주파수 분석을 통해 유의미한 정보가 담긴 기저 대역 또는 특정 대역의 주파수 구간과 주변 소음과 같은 노이즈가 담긴 주파수 대역으로 파싱할 수 있다.
자연어 파싱부(1032)는 사람이 사용하는 자연어를 의미가 구분되는 단어들로 파싱할 수 있다. 예를 들어, 목소리나 텍스트 입력으로 "이게 무슨 냄새지?"라는 질의의 문장은 '이게', '무슨', '냄새' 및 '지?'와 같이 파싱될 수 있다.
센싱 데이터 질의 패턴 추출부(1033)는 복수의 센서(1010-1, 1010-2, 1010-3, 1010-4)에서 센싱된 정보가 질의와의 관계에서 패턴을 갖는 부분을 추출한다.
예를 들어, 냄새 감지 센서(1010-3)에서 감지된 냄새의 정보가 파싱되고, 파싱된 데이터 중에서, 질의와 관련된 패턴을 갖는 냄새에 대한 패턴을 추출할 수 있다. 구체적으로, 공기 중의 화학 성분과 섞여서 감지된 냄새에 대한 데이터 중 악취를 발생케 하는 화학 성분에 대응하는 패턴을 갖는 데이터를 추출할 수 있다.
질의 패턴 추출부(1034)는 파싱된 자연어 중에서, 질의의 패턴을 갖는 부분을 추출할 수 있다. 위의 예시에 이어서, 질의 패턴 추출부(1034)는 '냄새'가 무엇인지 알고자 하므로, 질의 문장 중 '냄새'만 추출할 수 있다.
센싱 데이터 질의 분류부(1035)는 추출된 센싱 데이터들을 분류하여 각각의 카테고리가 형성되도록 할 수 있다. 구체적으로, 센싱 데이터 질의 분류부(1035)는 추출된 소리 데이터, 위치 데이터, 냄새 데이터 및 이미지 데이터로 분류할 수 있다.
질의 분류부(1036)는 최종 답변으로서 제공될 질문의 카테고리가 어디에 속하는지 분류할 수 있다. 예를 들어, 냄새에 대한 질문에 대해서는 어떠한 냄새인지가 답변으로 제공되어야 하므로, 냄새의 카테고리로 분류한다.
다각적 모달 후보 추출 관리부는 후위 시스템(700)에서 도출된 적어도 하나의 오브젝트 카테고리들에 속하는 오브젝트들을 수집한다. 여기에 수집된 오브젝트들은 사용자에게 답변으로서 제시될 후보들에 해당한다.
답변 후보 추출부(1038)는 하나의 셋트로 수집된 결과물들 중에서 확률적으로나 사용자의 기호에 따른 가능성을 고려한 답변의 후보들을 추출한다.
답변 선택부(1039)는 추출된 답변의 후보들 중에서 가장 우선순위가 높은 하나 또는 기설정된 개수의 답변을 선택할 수 있다.
후위 시스템(Back-end System)(700)은 센싱 데이터 지식 추정부(Sensing data Knowledge Reasoning)(1041), 센싱 데이터 지식 기반 저장소(Sensing data Knowledge Based Repository)(1042), 센싱 데이터 베이스(1043), 지식 추정부(1044), 지식 기반 저장소(1045) 및 데이터 베이스(1046)를 포함한다.
센싱 데이터 지식 추정부(1041)는 수신된 센싱 데이터와 질의를 기초로 답변이 될 수 있는 오브젝트들을 추정한다. 구체적으로, 센싱 데이터 지식 추정부(1041)는 수신된 센싱 데이터와 질의를 기초로 질의에 대한 답변과 센싱 데이터간에 상관관계를 파악하여 분류된 센싱 데이터의 카테고리에 속할 오브젝트들을 저장소(1042)와 센싱 데이터베이스(1043)에서 검색할 수 있다.
센싱 데이터 지식 기반 저장소(1042)는 센싱 데이터를 인류가 개념화한 오브젝트들을 저장할 수 있다. 예를 들어, 센싱 데이터 지식 기반 저장소(1042)에는 감지된 냄새의 인스턴스에 대응되는 '냄새' ,'음식 냄새' 또는 '악취'와 같이 특정 개념화된 언어들이 저장될 수 있다.
센싱 데이터베이스(1043)는 오브젝트를 저장할 수 있다. 구체적으로, 센싱 데이터베이스(1043)는 상하위 관계나 상관관계 속성, 개념들의 관계가 정립된 사물을 나타내는 오브젝트들을 저장할 수 있다.
지식 추정부(1044)는 컨텍스트 정보에 기초하여 추정할 수 있다. 구체적으로, 지식 추정부(1044)는 상황정보에 기초하여 오브젝트들 중 인식하고자 하는 대상이 될 가능성이 높을 것으로 판단할 수 있는 정보를 지식 기반 저장소(1045) 및 데이터 베이스(1046)에서 검색하여 추정할 수 있다.
예를 들어, 많은 사용자들이 사용한 질의와 질의의 응답 결과에 만족한 오브젝트에 대해서는 인지하고자 하는 대상이 될 가능성이 높고, 특정 사용자의 사용 이력에 비추어 선호도가 높은 오브젝트에 대해서는 인지하고자 하는 대상이 될 가능성이 높다고 판단할 수 있다.
지식 기반 저장소(1045)는 대상이 긍정 또는 부정의 속성을 가지는 것으로 판단할 수 있는 얼굴의 표정 또는 사용자의 기분을 알 수 있는 목소리의 톤 정보와 같은 컨텍스트 정보를 저장할 수 있다.
데이터 베이스(1046)는 전체 사용자의 질의 및 응답 결과, 대상 추정의 정확도 또는 사용자의 사용 이력과 같은 정보를 저장할 수 있다.
이상과 같은 대상 인식 시스템은, 사용자 단말 장치와 서버간에 네트워크를 통한 통신을 이용하여 대상으로 추정되는 결과를 보다 정확하고 빠르게 산출하여 사용자에게 제공할 수 있다.
도 11은 도 10의 대상 인식 시스템의 동작을 설명하기 위한 시퀸스도이다.
도 11을 참조하면, 먼저 사용자 단말 장치(100)는 자동 또는 사용자의 수동 조작으로 복수의 센서를 활성화한다(S1110). 구체적으로, 사용자가 사용자 단말 장치(100)의 대상을 인식하기 위한 프로그램을 실행시키거나, 센서에 기설정된 크기 이상의 감지 신호가 입력된 것으로 판단되면 복수의 센서를 활성화할 수 있다.
그리고, 사용자 단말 장치(100)는 외부 환경에 입력되는 아날로그 형태의 감지 신호를 전자 장치에서 이용할 수 있도록 디지털화한다(S1120).
그리고, 사용자 단말 장치(100)는 센서를 통해 획득한 소스 정보를 서버(200)로 전송한다. 구체적으로, 사용자 단말 장치(100)는 센싱 결과인 소스 정보를 가공 없이 서버(200)로 전달할 수 있고, 전송 트래픽을 줄이는 가공을 거쳐 소스 정보를 전송할 수 있다. 더불어, 사용자 단말 장치(100)는 감지된 센싱 결과로부터 얻고자 하는 질의 정보를 함께 전송할 수 있다.
그리고, 서버(200)는 수신된 질의 정보에 기초하여, 수신된 소스 정보를 분석한다(S1140). 구체적으로, 서버(200)는 감지된 소스 정보를 파싱하여 유의미한 데이터를 추출할 수 있다.
그리고, 서버(200)는 분석된 소스 정보에 따라 범주를 분류할 수 있다(S1150). 구체적으로, 서버(200)는 복수의 서로 다른 센서로부터 획득한 센싱 결과에 따라 카테고리를 형성하도록 분류할 수 있다.
그리고, 서버(200)는 형성된 카테고리에 속하는 오브젝트들을 파악하고, 융합 알고리즘을 실행한다(S1160). 구체적으로, 서버(200)는 각 카테고리 오브젝트에 공통적으로 속하는 오브젝트들을 찾는 알고리즘을 실행할 수 있다.
그리고, 서버(200)는 복수의 오브젝트들 중에서 대상을 추정한다(S1170). 구체적으로, 서버(200)는 결과물의 후보로서 산출된 공통적으로 속하는 오브젝트들 중에서 우선순위나 사용자의 기호, 통계적 확률에 따라 인지하고자 하는 대상에 해당할 것으로 추정되는 하나 또는 복수의 오브젝트를 선택할 수 있다.(S1170).
그리고, 서버(200)는 질의에 대한 응답으로, 대상으로 추정된 하나 또는 복수의 오브젝트를 추정 결과물로서 사용자 단말 장치(100)에 전송한다(S1180).
그리고, 사용자 단말 장치(100)는 수신된 추정 결과물들을 사용자에게 제공한다(S1190).
이상과 같은 대상 인식 시스템은, 사용자 단말 장치와 서버간에 네트워크를 통한 통신을 이용하여 대상으로 추정되는 결과를 보다 정확하고 빠르게 산출하여 사용자에게 제공할 수 있다.
도 12는 본 발명의 일 실시예에 따른 사용자 단말 장치의 센싱 및 동작을 설명하기 위한 도면이다.
도 12를 참조하면, 사용자(10)가 사용자 단말 장치(100)를 휴대하고 위험 물질(1210)의 근처에 있는 것을 나타낸다.
위험 물질(1210)은 냄새를 방출한다. 그리고, 방출된 냄새는 사용자(10)가 휴대한 사용자 단말 장치(100)의 냄새 감지 센서에 포착된다.
그러면, 사용자 단말 장치(100)는 감지된 냄새가 위험 물질(1210)의 냄새임을 판단하고, 사용자(10)에게 위험을 알릴 수 있다. 가령, 사용자 단말 장치(100)는 진동을 하거나, 특정 경고음을 낼 수 있고 또는 경고하는 메시지가 시각적으로 표시되어 사용자(10)에게 위험을 알릴 수 있다.
이러한, 일 실시예에 따른 사용자 단말 장치의 동작은 시각 장애인에게, 주위에 위험 물질이 존재하는 것을 알려줄 수 있다. 또한, 사용자 단말 장치(100)는 방출된 유독 가스나, 화재 발생시 일산화탄소의 농도의 상승을 감지하여, 눈에 보이지 않는 위험을 알려줄 수 있다.
도 13은 본 발명의 다른 실시예에 따른 사용자 단말 장치의 대상 인식 방법을 설명하기 위한 흐름도이다.
도 13을 참조하면, 먼저, 사용자의 음성이 사용자 단말 장치로 입력된다(S1310). 여기서 사용자 단말 장치가 사용자의 음성을 수신하기 위한 수단으로는 마이크가 사용될 수 있다.
그리고, 사용자 단말 장치는 사용자의 음성을 분석하여 임의의 대상을 알고자 하는 의도임을 파악하고 대상을 인식하기 위한 프로세스를 개시할 수 있다(S1320).
그리고, 대상을 인식하기 위한 절차로서, 사용자 단말 장치의 복수의 센서 중 적어도 하나를 활성화한다(S1330). 구체적으로, 감지하고자 하는 대상이 냄새에 관한 것임을 입력된 사용자의 음성에서 분석되면, 냄새 감지 센서 뿐만 아니라, 사용자의 표정을 읽기 위한 전면 카메라 센서 및 위치 감지 센서도 함께 활성화 될 수 있다.
다음으로, 활성화된 센서가 센싱한 센싱 결과를 이용하여 대상을 인식한다(S1340). 구체적으로, 복수의 센싱 결과들의 특성을 모두 포함하는 하나의 대상을 합리적으로 추론하여 추론된 결과가 대상인 것으로 판단한다.
그리고, 사용자 단말 장치가 대상으로 인식한 결과를 사용자에게 제공한다(S1350). 제공 방식은 예를 들어, 감지된 냄새와 동일한 냄새를 발하거나, 메시지나 그림을 디스플레이할 수 있고, 또는, 스피커를 통해 음성으로 제공될 수 있다.
이상과 같은 사용자 단말 장치의 대상 인식 방법은 특정 대상을 인식하고자 하는 경우, 기설정된 복수의 센서가 자동으로 활성화되어 대상과 관련된 복수의 정보를 획득함으로써, 대상으로 추론되는 결과를 보다 빠르고 정확하게 산출하여 사용자에게 제공할 수 있다.
그리고, 본 발명의 다른 실시예에 따른 대상 인식 방법은, 도 2 및 도 7의 사용자 단말 장치에서 구현될 수 있다. 또한, 대상 인식 방법은 다양한 유형의 기록매체에 저장되어 CPU 등에 의해 실행되는 프로그램 코드에 의해 구현될 수도 있다. 그리고, 대상 인식 방법이 구현된 프로그램 코드는 스마트 폰으로 구현된 사용자 단말 장치에 있어서는 인터넷과 같은 공중 회선 망을 통해 어플리케이션 형태로 배포될 수 있다.
구체적으로는, 상술한 방법들을 수행하기 위한 코드는, RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 단말기에서 판독 가능한 다양한 유형의 기록 매체에 저장되어 있을 수 있다.
도 14는 본 발명의 다른 실시예에 따른 사용자 단말 장치의 대상 인식 방법을 설명하기 위한 도면이다.
도 14를 참조하면, 사용자(10)가 타인(50)과 마주친 상황에서의 사용자 단말 장치의 타인(50)을 인식하여 사용자(10)에게 타인(50)의 신원을 알려주는 방법을 도시하고 있다.
사용자(10)는 카메라(1410)가 구비된 안경, 이어폰(1420)을 착용하고 사용자 단말 장치(100)를 휴대한다.
카메라(1410)는 사용자(10)가 고개를 지향하는 방향에 존재하는 대상을 촬영한다. 구체적으로, 카메라(1410)는 사용자(10)가 바라보는 타인(50)을 촬영할 수 있다.
이어폰(1420)은 사용자 단말 장치(100)가 대상을 인식한 정보를 수신하여 음성으로 사용자의 귀에 출력할 수 있다. 구체적으로, 이어폰(1420)은 사용자 단말 장치(100)가 타인(50)의 신원을 추정한 결과를 음성 신호로 변환한 데이터를 수신하고, 스피커를 통해 사용자의 귀에 출력할 수 있다.
사용자 단말 장치(100)는 대상 인식 프로세스를 실행하는 명령을 수신한다. 구체적으로, 사용자 단말 장치(100)는 실행 명령을 사용자(10)의 조작에 의해 수신하거나, "누구지?"라는 음성 입력을 수신하고, 수신된 음성을 분석하여 대상 인식 프로세스를 실행하는 명령이 수신되었음을 판단할 수 있다.
또는, 사용자 단말 장치(100)는 사용자(10)의 시선으로부터 관심을 가지는 대상임을 판단하고, 카메라(1410)에서 촬영된 관심 대상의 영상을 수신하여 자동으로 관심 대상을 인식하는 프로세스를 실행할 수 있다.
사용자 단말 장치(100)는 외부 장치와의 통신을 수행한다. 구체적으로, 사용자 단말 장치(100)는 사용자(10)가 착용한 안경의 카메라(1410) 및 이어폰(1420)과 통신할 수 있다. 또한, 사용자 단말 장치(100)는 타인(50)이 소지하고 있는 사용자 단말 장치(미도시)와 자동으로 페어링(pairing)을 시도하여 타인(50)의 사용자 단말 장치와 통신할 수 있다.
사용자 단말 장치(100)는 카메라(1410)에서 촬영된 영상을 수신하여 타인(50)이 누구인지 추정할 수 있다. 또한, 사용자 단말 장치(100)는 타인(50)이 소지하고 있는 전자 장치와의 통신을 통해 타인(50)의 신원을 확인하는데 도움이 되는 정보를 수신하고, 수신된 정보를 기초로 타인(50)이 누구인지 추정할 수 있다.
한편, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다.
그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.
여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
100 : 사용자 단말 장치 110-1 : 센서 1
110-2 : 센서 2 110-N : 센서 N
120 : 제어부 130 : 저장부

Claims (18)

  1. 사용자 단말 장치의 대상 인식 방법에 있어서,
    서로 다른 종류의 복수의 센서를 활성화시키는 단계;
    상기 복수의 센서 중 적어도 하나의 제1 센서를 이용하여 인식 대상에 대한 센싱 결과를 획득하고, 상기 센싱 결과에 기초하여 적어도 하나의 제1 오브젝트 카테고리를 결정하는 단계;
    상기 복수의 센서 중 적어도 하나의 제2 센서를 이용하여 사용자의 상태에 관한 센싱 결과를 획득하고, 상기 센싱 결과에 기초하여 상기 사용자의 상태에 대응되는 제2 오브젝트 카테고리를 결정하는 단계; 및
    상기 적어도 하나의 제1 오브젝트 카테고리 및 상기 제2 오브젝트 카테고리에 공통적으로 속하는 오브젝트를 상기 인식 대상에 대응되는 인식 결과물로 추정하는 추정 단계;를 포함하는 대상 인식 방법.
  2. 제1항에 있어서,
    상기 결정된 적어도 하나의 제1 오브젝트 카테고리 각각에 인식하고자 하는 대상이 속하게 될 확률적 수치를 부여하는 단계;를 더 포함하고,
    상기 추정하는 단계는,
    상기 적어도 하나의 제1 오브젝트 카테고리들에 부여된 수치들을 기초로, 상기 적어도 하나의 제1 오브젝트 카테고리 및 상기 제2 오브젝트 카테고리에 공통적으로 속하는 복수의 오브젝트들 중 상기 인식하고자 하는 대상으로서 가장 높은 확률을 갖는 오브젝트를 상기 인식 대상에 대응되는 인식 결과물로 추정하는 것을 특징으로 하는 대상 인식 방법.
  3. 제1항에 있어서
    상기 적어도 하나의 제1 오브젝트 카테고리를 결정하는 단계는,
    상기 복수의 센서 중 하나인 위치 감지 센서에 의해 상기 사용자 단말 장치의 위치 정보가 감지되면, 상기 위치 정보에 대응되는 공간 내에 존재하는 오브젝트들로 이루어진 오브젝트 카테고리를 결정하는 것을 특징으로 하는 대상 인식 방법.
  4. 제3항에 있어서,
    상기 적어도 하나의 제1 오브젝트 카테고리를 결정하는 단계는,
    상기 복수의 센서 중 하나인 냄새 감지 센서에 의해 냄새가 감지되면, 상기 냄새를 야기하는 오브젝트들로 이루어진 오브젝트 카테고리를 결정하는 것을 특징으로 하는 대상 인식 방법.
  5. 제4항에 있어서,
    상기 적어도 하나의 제1 오브젝트 카테고리를 결정하는 단계는,
    상기 복수의 센서 중 하나인 소리 감지 센서에 의해 소리가 감지되면, 상기 소리를 발생시키는 오브젝트들로 이루어진 오브젝트 카테고리를 결정하는 것을 특징으로 하는 대상 인식 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 제2 오브젝트 카테고리를 결정하는 단계는,
    상기 복수의 센서 중 하나인 카메라에 의해 사용자 영상이 촬영되면, 상기 사용자 영상 내의 사용자 표정을 분석하는 단계; 및
    상기 사용자 표정에 따라 포지티브 속성의 오브젝트들로 구성된 포지티브 카테고리 및 네거티브 속성의 오브젝트들로 구성된 네거티브 카테고리 중 하나를 상기 제2 오브젝트 카테고리로 결정하는 단계;를 더 포함하는 것을 특징으로 하는 대상 인식 방법.
  7. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 제2 오브젝트 카테고리를 결정하는 단계는,
    상기 복수의 센서 중 하나인 소리 감지 센서에 의해 사용자 음성이 감지되면, 상기 사용자 음성의 어조를 분석하는 단계; 및
    상기 어조의 특성에 따라 포지티브 속성의 오브젝트들로 구성된 포지티브 카테고리 및 네거티브 속성의 오브젝트들로 구성된 네거티브 카테고리 중 하나를 상기 제2 오브젝트 카테고리로 결정하는 단계;를 더 포함하는 것을 특징으로 하는 대상 인식 방법.
  8. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 제2 오브젝트 카테고리를 결정하는 단계는,
    상기 복수의 센서 중 하나인 생체 신호 감지 센서에 의해 사용자의 생체 신호가 감지되면, 상기 생체 신호의 특성에 따라 포지티브 속성의 오브젝트들로 구성된 포지티브 카테고리 및 네거티브 속성의 네거티브 카테고리 중 하나를 상기 제2 오브젝트 카테고리로 결정하는 단계;를 더 포함하는 것을 특징으로 하는 대상 인식 방법.
  9. 제1항에 있어서,
    상기 복수의 센서는,
    소리 감지 센서, 냄새 감지 센서, 카메라, 위치 감지 센서, 모션 감지 센서, 기압 센서, 지문 감지 센서, 홀 센서, 관성 센서, 가속도 센서, 심박 센서, 조도 센서, 와이파이 센서, 나침반 센서 중 적어도 하나를 포함하는 것을 특징으로 하는 대상 인식 방법.
  10. 사용자 단말 장치에 있어서,
    서로 다른 종류의 복수의 센서;
    오브젝트 정보가 저장된 저장부; 및
    상기 복수의 센서 중 적어도 하나의 제1 센서를 이용하여 인식 대상에 대한 센싱 결과를 획득하고, 상기 센싱 결과에 기초하여 적어도 하나의 제1 오브젝트 카테고리를 결정하고, 상기 복수의 센서 중 적어도 하나의 제2 센서를 이용하여 사용자의 상태에 관한 센싱 결과를 획득하고, 상기 센싱 결과에 기초하여 상기 사용자의 상태에 대응되는 제2 오브젝트 카테고리를 결정하고, 상기 적어도 하나의 제1 오브젝트 카테고리 및 상기 제2 오브젝트 카테고리에 공통적으로 속하는 오브젝트를 상기 인식 대상에 대응되는 인식 결과물로 추정하는 제어부;를 포함하는 사용자 단말 장치.
  11. 제10항에 있어서,
    상기 제어부는,
    상기 결정된 적어도 하나의 제1 오브젝트 카테고리 각각에 인식하고자 하는 대상이 속하게 될 확률적 수치를 부여하고,
    상기 복수의 오브젝트 카테고리들에 부여된 수치들을 기초로, 상기 적어도 하나의 제1 오브젝트 카테고리 및 상기 제2 오브젝트 카테고리에 공통적으로 속하는 복수의 오브젝트들 중 상기 인식하고자 하는 대상으로서 가장 높은 확률을 갖는 오브젝트를 상기 인식 대상에 대응되는 인식 결과물로 추정하는 것을 특징으로 하는 사용자 단말 장치.
  12. 제10항에 있어서,
    상기 복수의 센서는 위치 감지 센서를 포함하며,
    상기 제어부는,
    상기 위치 감지 센서에 의해 상기 사용자 단말 장치의 위치 정보가 감지되면, 상기 위치 정보에 대응되는 공간 내에 존재하는 오브젝트들로 이루어진 상기 적어도 하나의 제1 오브젝트 카테고리를 결정하는 것을 특징으로 하는 사용자 단말 장치.
  13. 제12항에 있어서,
    상기 복수의 센서는 냄새 감지 센서를 더 포함하며,
    상기 제어부는,
    상기 냄새 감지 센서에 의해 냄새가 감지되면, 상기 냄새를 야기하는 오브젝트들로 이루어진 상기 적어도 하나의 제1 오브젝트 카테고리를 결정하는 것을 특징으로 하는 사용자 단말 장치.
  14. 제13항에 있어서,
    상기 복수의 센서는 소리 감지 센서를 더 포함하고,
    상기 제어부는,
    상기 소리 감지 센서에 의해 소리가 감지되면, 상기 소리를 발생시키는 오브젝트들로 이루어진 상기 적어도 하나의 제1 오브젝트 카테고리를 결정하는 것을 특징으로 하는 사용자 단말 장치.
  15. 제10항 내지 제14항 중 어느 한 항에 있어서,
    상기 복수의 센서는 카메라를 포함하고,
    상기 제어부는,
    상기 카메라에 의해 사용자 영상이 촬영되면, 상기 사용자 영상 내의 사용자 표정을 분석하고, 상기 사용자 표정에 따라 포지티브 속성의 오브젝트들로 구성된 포지티브 카테고리 및 네거티브 속성의 오브젝트들로 구성된 네거티브 카테고리 중 하나를 상기 제2 오브젝트 카테고리로 결정하는 것을 특징으로 하는 사용자 단말 장치.
  16. 제10항 내지 제14항 중 어느 한 항에 있어서,
    상기 복수의 센서는 소리 감지 센서를 더 포함하고,
    상기 제어부는,
    상기 소리 감지 센서에 의해 사용자 음성이 감지되면, 상기 사용자 음성의 어조를 분석하고, 상기 어조의 특성에 따라 포지티브 속성의 오브젝트들로 구성된 포지티브 카테고리 및 네거티브 속성의 오브젝트들로 구성된 네거티브 카테고리 중 하나를 상기 제2 오브젝트 카테고리로 결정하는 것을 특징으로 하는 사용자 단말 장치.
  17. 제10항 내지 제14항 중 어느 한 항에 있어서,
    상기 복수의 센서는 생체 신호 감지 센서를 더 포함하고,
    상기 제어부는,
    상기 생체 신호 감지 센서에 의해 사용자의 생체 신호가 감지되면, 상기 생체 신호의 특성에 따라 포지티브 속성의 오브젝트들로 구성된 포지티브 카테고리 및 네거티브 속성의 네거티브 카테고리 중 하나를 상기 제2 오브젝트 카테고리로 결정하는 것을 특징으로 하는 사용자 단말 장치.
  18. 제10항에 있어서,
    상기 복수의 센서는,
    소리 감지 센서, 냄새 감지 센서, 카메라, 위치 감지 센서, 모션 감지 센서, 기압 센서, 지문 감지 센서, 홀 센서, 관성 센서, 가속도 센서, 심박 센서, 조도 센서, 와이파이 센서, 나침반 센서 중 적어도 하나를 포함하는 것을 특징으로 하는 사용자 단말 장치.
KR1020140180176A 2014-12-15 2014-12-15 사용자 단말 장치 및 그의 대상 인식 방법 KR102284750B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140180176A KR102284750B1 (ko) 2014-12-15 2014-12-15 사용자 단말 장치 및 그의 대상 인식 방법
US14/953,162 US10204292B2 (en) 2014-12-15 2015-11-27 User terminal device and method of recognizing object thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140180176A KR102284750B1 (ko) 2014-12-15 2014-12-15 사용자 단말 장치 및 그의 대상 인식 방법

Publications (2)

Publication Number Publication Date
KR20160072489A KR20160072489A (ko) 2016-06-23
KR102284750B1 true KR102284750B1 (ko) 2021-08-03

Family

ID=56111479

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140180176A KR102284750B1 (ko) 2014-12-15 2014-12-15 사용자 단말 장치 및 그의 대상 인식 방법

Country Status (2)

Country Link
US (1) US10204292B2 (ko)
KR (1) KR102284750B1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102335766B1 (ko) * 2014-10-08 2021-12-06 삼성전자주식회사 생체 신호를 검출하는 센서를 착탈할 수 있는 웨어러블 디바이스 및 웨어러블 디바이스를 제어하는 방법
US10135777B2 (en) 2015-05-27 2018-11-20 International Business Machines Corporation Leveraging an internet of things to initiate a physical object to perform a specific act that enhances an interaction of a user with the physical object
US10699595B2 (en) * 2015-08-07 2020-06-30 International Business Machines Corporation Monitoring and status detection for consumable items
CN113407743A (zh) * 2016-04-08 2021-09-17 北京三星通信技术研究有限公司 物体信息翻译、以及衍生信息获取方法和装置
EP3240272B1 (en) * 2016-04-28 2019-01-23 LG Electronics Inc. Mobile terminal and method for controlling the same
KR102568143B1 (ko) * 2016-09-23 2023-08-18 주식회사 케이티 맞춤형 서비스 모드를 제공하는 방법 및 단말
KR20180068578A (ko) * 2016-12-14 2018-06-22 삼성전자주식회사 복수의 센서를 이용하여 객체를 인식하는 전자 기기 및 방법
KR102051493B1 (ko) * 2018-07-24 2019-12-03 한국과학기술원 노크 기반 객체 식별 방법 및 장치
WO2020194925A1 (ja) * 2019-03-27 2020-10-01 株式会社Ｎｔｔドコモ 情報処理装置、サーバ装置、ユーザ装置及び情報処理システム
US20230032328A1 (en) * 2021-07-30 2023-02-02 Bank Of America Corporation Apparatus and methods for content-based biometric authentication
US20230184652A1 (en) * 2021-12-13 2023-06-15 Google Llc Enabling an automated assistant to leverage odor sensor(s) of client device(s)
EP4194996A1 (en) * 2021-12-13 2023-06-14 Google LLC Enabling an automated assistant to leverage odor sensor(s) of client device(s)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120087547A1 (en) * 2010-10-12 2012-04-12 Ncr Corporation Produce recognition method
JP2014052799A (ja) * 2012-09-06 2014-03-20 Toshiba Tec Corp 情報処理装置及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8306265B2 (en) * 2009-01-12 2012-11-06 Eastman Kodak Company Detection of animate or inanimate objects
US9197736B2 (en) * 2009-12-31 2015-11-24 Digimarc Corporation Intuitive computing methods and systems
JP6220679B2 (ja) * 2014-01-08 2017-10-25 東芝テック株式会社 情報処理装置、店舗システム及びプログラム
US9633042B2 (en) * 2014-02-28 2017-04-25 Nant Holdings Ip, Llc Object recognition trait analysis systems and methods
US9269009B1 (en) * 2014-05-20 2016-02-23 Amazon Technologies, Inc. Using a front-facing camera to improve OCR with a rear-facing camera

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120087547A1 (en) * 2010-10-12 2012-04-12 Ncr Corporation Produce recognition method
JP2014052799A (ja) * 2012-09-06 2014-03-20 Toshiba Tec Corp 情報処理装置及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
이충연외 5인, 음향-영상-위치 통합정보의 아상블학습을 이용한 장소인식, 한국 정보과학회 학술발표 논문집, 353-355, 2014년 6월, 1부.*

Also Published As

Publication number Publication date
US20160171339A1 (en) 2016-06-16
US10204292B2 (en) 2019-02-12
KR20160072489A (ko) 2016-06-23

Similar Documents

Publication Publication Date Title
KR102284750B1 (ko) 사용자 단말 장치 및 그의 대상 인식 방법
US11763580B2 (en) Information processing apparatus, information processing method, and program
CN109643158B (zh) 使用多模态信号分析进行命令处理
Chon et al. Automatically characterizing places with opportunistic crowdsensing using smartphones
KR102453603B1 (ko) 전자 장치 및 그 제어 방법
JP5866728B2 (ja) 画像認識システムを備えた知識情報処理サーバシステム
KR20220123747A (ko) 공동 오디오-비디오 얼굴 애니메이션 시스템
US9560094B2 (en) System and method for identifying and analyzing personal context of a user
KR101992424B1 (ko) 증강현실용 인공지능 캐릭터의 제작 장치 및 이를 이용한 서비스 시스템
Zilli et al. A hidden Markov model-based acoustic cicada detector for crowdsourced smartphone biodiversity monitoring
WO2018152010A1 (en) User registration for intelligent assistant computer
KR20200100677A (ko) 분류기 모델과 컨텍스트 파라미터를 사용한 원격 미디어 분류 쿼리에 대한 응답
US11274932B2 (en) Navigation method, navigation device, and storage medium
KR102304701B1 (ko) 사용자의 음성 입력에 대한 답변을 제공하는 방법 및 장치
CN109271533A (zh) 一种多媒体文件检索方法
US11074292B2 (en) Voice tagging of video while recording
Li et al. Mosquito detection with low-cost smartphones: data acquisition for malaria research
US20240045899A1 (en) Icon based tagging
JP2017211430A (ja) 情報処理装置および情報処理方法
US20210089599A1 (en) Audience filtering system
KR20240082170A (ko) 인공지능 기반 여행 장소 별 여행 감성 특징을 결정하는 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant