KR101993243B1 - 휴먼 정보 인식 방법 및 장치 - Google Patents

휴먼 정보 인식 방법 및 장치 Download PDF

Info

Publication number
KR101993243B1
KR101993243B1 KR1020130013562A KR20130013562A KR101993243B1 KR 101993243 B1 KR101993243 B1 KR 101993243B1 KR 1020130013562 A KR1020130013562 A KR 1020130013562A KR 20130013562 A KR20130013562 A KR 20130013562A KR 101993243 B1 KR101993243 B1 KR 101993243B1
Authority
KR
South Korea
Prior art keywords
information
recognition
human
human information
person
Prior art date
Application number
KR1020130013562A
Other languages
English (en)
Other versions
KR20140100353A (ko
Inventor
김도형
윤호섭
이재연
반규대
윤우한
윤영우
김재홍
조영조
지수영
김계경
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020130013562A priority Critical patent/KR101993243B1/ko
Priority to US13/933,074 priority patent/US20140218516A1/en
Publication of KR20140100353A publication Critical patent/KR20140100353A/ko
Application granted granted Critical
Publication of KR101993243B1 publication Critical patent/KR101993243B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 휴먼 정보 인식 방법 및 장치에 관한 것이다. 개시된 휴먼 정보 인식 방법은 인식공간 내에 배치된 다중센서자원에 의한 센서 데이터를 분석하여 인식공간 내에 존재하는 사람의 신원, 위치 및 행동 정보를 포함하는 센서 데이터 기반 휴먼 정보를 생성하는 단계와, 인식공간 내에 위치한 모바일 로봇 단말이 인식공간 내에 위치한 사람과의 상호작용을 통해 획득하여 제공하는 로봇 제공 휴먼 정보와 센서 데이터 기반 휴먼 정보를 모바일 로봇 단말의 위치 및 상호작용의 상태에 따라 융합하여 융합 휴먼 정보를 생성하는 단계와, 인식공간 내에 존재하는 사람의 융합 휴먼 정보에 따른 휴먼 모델을 데이터베이스에 저장하는 단계를 포함한다. 이러한 본 발명은 인식공간 내에 설치된 다중센서자원과 로봇의 자원을 융합하여 다중 사용자가 혼재하는 상황에서 사용자의 신원, 위치, 행위정보를 인식하는데 있어서 인식 정보의 신뢰도를 향상시키는 이점이 있다.

Description

휴먼 정보 인식 방법 및 장치{METHOD AND APPARATUS FOR PERCEPTING HUMAN INFORMATION}
본 발명은 휴먼 정보 인식 방법 및 장치에 관한 것으로, 더욱 상세하게는 로봇환경에서 사람의 신원, 위치 및 행동 정보를 인식하는 휴먼 정보 인식 장치 및 방법에 관한 것이다.
지능형 서비스 로봇이 일상 환경에서 인간과 함께 생활하면서 필요한 서비스를 제공하기 위해서는 인간들이 서로 상호작용하는 방식과 유사한 방식으로 인간과 교류하는 능력이 필수적이다. 따라서 인간과 로봇의 상호작용 문제를 다루는 인간로봇상호작용(HRI: Human Robot Interaction)기술은 지능형 서비스 로봇의 실용화에 있어 가장 우선적으로 해결되어야 할 기술이며, 지능형 로봇의 산업화를 성공적으로 이끌기 위한 핵심이 되는 기술이다.
인간로봇상호작용 기술은 인간과 로봇이 다양한 의사소통 채널을 통해 인지적/정서적 상호작용을 할 수 있도록 로봇 시스템과 상호작용 환경을 디자인 및 구현하는 기술이다. 이러한 인간로봇상호작용 기술은 로봇이 가지는 자율성, 상호작용의 양방향성, 상호작용 또는 제어 수준의 다양성 등에서 인간-컴퓨터 상호작용(HCI: Human-Computer Interaction)과는 근본적인 차이점을 가지고 있다.
한편, 로봇 서비스 개발 업체들이 필요로 하는 인간로봇상호작용 기술은 주로 영상이나 음성 신호에 기반한 사람에 관련된 정보를 인식하는 기능에 집중되어 있으며, 이중에서도 정밀한 3W 인식 기술의 개발을 요구하고 있다. 3W 인식기술은 사용자가 누구인지(Who)를 인식하는 신원 인식, 사용자가 어디에 있는지(Where)를 인식하는 위치 인식 및 사용자가 무슨 행동을 하는지(What)를 인식하는 행동 인식을 일컫는다.
종래 기술에 따른 3W 인식 기술에 의하면 로봇 내부의 하드웨어만을 이용하여 협조적 환경에서 인식을 시도하였다.
이처럼, 로봇의 자원(카메라, 마이크, 프로세서 등)만으로는 실제 환경에서 빈번하게 일어나는 조명환경의 변화, 사용자의 자세 변화, 로봇과 사용자와의 거리 변화 등에 대하여 효과적으로 대처하기가 어렵다. 따라서 로봇에 장착된 센서만을 이용하여 사용자를 인식하는 연구 및 기술들은 사용자 및 환경에 어떠한 형태로든 제약을 가하게 되고, 이러한 점들이 실 환경에서의 성능 만족도를 떨어지게 하는 요인이 된다.
따라서, 실제 환경에 존재하는 복수명의 사용자에 대한 높은 신뢰도의 3W 인식 성능 등과 같이 로봇 서비스 제공자들이 요구하는 성능을 만족시키지 못하는 문제점이 있었다.
일본등록특허 4875652, 등록일 2011년 12월 02일.
본 발명은 인식공간 내에 설치된 다중센서자원과 로봇의 자원을 융합하여 복수명의 사용자가 혼재하는 상황에서 사용자들에 대한 3W 정보를 높은 신뢰도로 제공할 수 있는 휴먼 정보 인식 방법 및 장치를 제공한다.
본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 제 1 관점으로서 휴먼 정보 인식 방법은, 인식공간 내에 배치된 다중센서자원에 의한 센서 데이터를 분석하여 상기 인식공간 내에 존재하는 사람의 신원, 위치 및 행동 정보를 포함하는 센서 데이터 기반 휴먼 정보를 생성하는 단계와, 상기 인식공간 내에 위치한 모바일 로봇 단말이 상기 인식공간 내에 위치한 사람과의 상호작용을 통해 획득하여 제공하는 로봇 제공 휴먼 정보와 상기 센서 데이터 기반 휴먼 정보를 상기 모바일 로봇 단말의 위치 및 상기 상호작용의 상태에 따라 융합하여 융합 휴먼 정보를 생성하는 단계와, 상기 인식공간 내에 존재하는 사람의 상기 융합 휴먼 정보에 따른 휴먼 모델을 데이터베이스에 저장하는 단계를 포함할 수 있다.
여기서, 상기 센서 데이터 기반 휴먼 정보를 생성하는 단계는, 상기 다중센서자원 중에서 복수개의 카메라로부터 입력 받은 영상에서 사람의 위치를 추적할 수 있다.
상기 센서 데이터 기반 휴먼 정보를 생성하는 단계는, 상기 영상에서 추적된 복수명의 사람에 대해서 각각의 사람이 인식공간 내에 위치하는 실제 위치를 (x,y,z) 좌표 형태로 출력할 수 있다.
상기 센서 데이터 기반 휴먼 정보를 생성하는 단계는, 상기 다중센서자원 중에서 복수개의 카메라로부터 입력 받은 영상에서 각각 사람이 어떠한 자세 및 행동을 취하고 있는지를 판별할 수 있다.
상기 센서 데이터 기반 휴먼 정보를 생성하는 단계는, 상기 다중센서자원 중에서 복수개의 마이크로폰으로부터 입력 받은 음향을 인식할 수 있다.
상기 센서 데이터 기반 휴먼 정보를 생성하는 단계는, 상기 데이터베이스에 기 저장되어 있는 휴먼 모델에 의거하여 우선순위에 따라 신원 인식을 시도하여야 하는 사람이 누구인지를 판별할 수 있다.
상기 센서 데이터 기반 휴먼 정보를 생성하는 단계는, 상기 다중센서자원 중에서 복수개의 카메라를 제어하여 획득한 영상을 이용하여 사람의 신원을 인식할 수 있다.
상기 휴먼 정보 인식 방법은, 상기 융합 휴먼 정보에 따라 상기 휴먼 모델을 갱신할 수 있다.
상기 휴먼 정보 인식 방법은, 상기 인식공간 내에 현재 존재하거나 존재하였던 사람에 대하여 시간의 경과에 따른 상기 융합 휴먼 정보의 변화를 나타내는 히스토리를 상기 데이터베이스에 저장 및 관리할 수 있다.
본 발명의 제 2 관점으로서 휴먼 정보 인식 장치는, 인식공간 내에 배치된 다중센서자원에 의한 센서 데이터를 분석하여 상기 인식공간 내에 존재하는 사람의 신원, 위치 및 행동 정보를 포함하는 센서 데이터 기반 휴먼 정보를 생성하는 인식 정보 생성부와, 상기 인식공간 내에 위치한 모바일 로봇 단말이 상기 인식공간 내에 위치한 사람과의 상호작용을 통해 획득하여 제공하는 로봇 제공 휴먼 정보와 상기 센서 데이터 기반 휴먼 정보를 상기 모바일 로봇 단말의 위치 및 상기 상호작용의 상태에 따라 융합하여 융합 휴먼 정보를 생성하는 정보 융합부와, 상기 인식공간 내에 존재하는 사람의 상기 융합 휴먼 정보에 따른 휴먼 모델이 저장되는 데이터베이스부를 포함할 수 있다.
여기서, 상기 인식 정보 생성부는, 상기 다중센서자원 중에서 복수개의 카메라로부터 입력 받은 영상에서 사람의 위치를 추적하는 휴먼 추적부를 포함할 수 있다.
상기 인식 정보 생성부는, 상기 영상에서 추적된 복수명의 사람에 대해서 각각의 사람이 인식공간 내에 위치하는 실제 위치를 (x,y,z) 좌표 형태로 출력할 수 있다.
상기 인식 정보 생성부는, 상기 다중센서자원 중에서 복수개의 카메라로부터 입력 받은 영상에서 각각 사람이 어떠한 자세 및 행동을 취하고 있는지를 판별하는 행동 인식부를 포함할 수 있다.
상기 인식 정보 생성부는, 상기 다중센서자원 중에서 복수개의 마이크로폰으로부터 입력 받은 음향을 인식하는 음향 인식부를 포함할 수 있다.
상기 인식 정보 생성부는, 상기 데이터베이스부에 기 저장되어 있는 휴먼 모델에 의거하여 우선순위에 따라 신원 인식을 시도하여야 하는 사람이 누구인지를 판별하는 상황 인식부를 포함할 수 있다.
상기 인식 정보 생성부는, 상기 다중센서자원 중에서 복수개의 카메라를 제어하여 획득한 영상을 이용하여 사람의 신원을 인식하는 신원 인식부를 포함할 수 있다.
상기 휴먼 정보 인식 장치는, 상기 융합 휴먼 정보에 따라 상기 휴먼 모델을 갱신하는 휴먼 모델 갱신부를 더 포함할 수 있다.
상기 휴먼 정보 인식 장치는, 상기 인식공간 내에 현재 존재하거나 존재하였던 사람에 대하여 시간의 경과에 따른 상기 융합 휴먼 정보의 변화를 나타내는 히스토리를 상기 데이터베이스부에 저장 및 관리하는 히스토리 관리부를 더 포함할 수 있다.
본 발명의 실시예에 의하면, 인식공간 내에 설치된 다중센서자원과 로봇의 자원을 융합하여 다중 사용자가 혼재하는 상황에서 사용자의 신원, 위치, 행위정보를 인식하는데 있어서 인식 정보의 신뢰도를 향상시킨다.
이러한 본 발명은 조명 변화, 사용자의 자세 변화, 로봇과 사용자 간의 거리 변화 등, 실제 환경에 발생할 수 있는 다양한 변화들에 대하여 효율적인 대응이 가능하다.
그리고, 로봇의 외관, 이동성, 장착된 센서의 종류 및 개수, 인식 능력 등에 크게 영향을 받지 않고 높은 수준의 3W 인식 정보의 안정적인 제공이 가능하다.
또한, 서비스 어플리케이션이 인식 정보를 요구하는 시점에 개별 인식 모듈이 단발적으로 인식을 시도하는 종래 기술들과는 달리, 요구시점에 상관없이 연속적인 모니터링에 기반하여 3W 정보를 지속적으로 수집하므로 인식 성능을 획기적으로 향상시킬 수 있다.
본 발명에 따르면 로봇 서비스 업체가 만족할 만한 3W 인식 정보를 제공함으로써 로봇과 관련된 다양한 응용 서비스 제공을 가능하게 한다. 나아가 지능형 로봇뿐만 아니라 디지털 홈, 스마트 스페이스, 보안 등의 매우 광범위한 분야에 적용될 수 있다.
도 1은 본 발명의 실시예에 따른 다중센서자원과 모바일 로봇 단말 및 휴먼 정보 인식 장치간의 네트워크 구성도이다.
도 2는 본 발명의 실시예에 따른 휴먼 정보 인식 장치의 블록 구성도이다.
도 3은 본 발명의 실시예에 따른 휴먼 정보 인식 장치에 의한 휴먼 정보 인식 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 실시예에 따른 휴먼 정보 인식 장치에서 이용할 수 있는 사용자 위치 좌표의 예시도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 실시예에 따른 다중센서자원과 모바일 로봇 단말 및 휴먼 정보 인식 장치간의 네트워크 구성도이다.
이에 나타낸 바와 같이, 인식공간(10) 내에 복수개의 이기종 센서들을 포함하는 다중센서자원(100)과 모바일 로봇 단말(200)이 배치되며, 다중센서자원(100) 및 모바일 로봇 단말(200)이 통신망(20)을 통해 휴먼 정보 인식 장치(300)에 접속된다.
여기서, 인식공간(10)이란 학교, 실버타운, 관공서 등 모바일 로봇 단말(200)이 서비스를 할 수 있는 모든 공간을 의미한다. 이기종 센서란 카메라, 마이크, 거리센서, RFID 등과 같이 인식공간(10) 내에 존재하는 사람에 대한 정보를 추출할 수 있는 모든 센서를 의미한다.
이하에서는 도 1과 같이 인식공간(10) 내에 다중센서자원(100)과 모바일 로봇 단말(200)이 연계된 네트워크를 인식센서네트워크(PSN: Perception Sensor Network)라고 명명하기로 한다.
모바일 로봇 단말(200)은 인식공간(10) 내의 사람들과 직접 상호작용을 하며, 자신의 센서들로부터 입력 받은 데이터를 분석하여 로봇 주위에 있는 사람들에 대해서 3W 인식을 수행하고, 인식된 3W 정보를 휴먼 정보 인식 장치(300)에게 전달한다.
휴먼 정보 인식 장치(300)는 다중센서자원(100)으로부터 입력 받은 센서 데이터를 분석하여 인식공간(10) 내에 있는 사람들에 대하여 3W 인식을 수행하고, 모바일 로봇 단말(200)로부터 전달받은 3W 인식 정보와 융합하여 인식 결과에 대한 신뢰도를 향상시킨다.
도 2는 본 발명의 실시예에 따른 휴먼 정보 인식 장치의 블록 구성도이다.
이에 나타낸 바와 같이 휴먼 정보 인식 장치(300)는, 인식 정보 생성부(310), 정보 융합부(320), 휴먼 모델 갱신부(330), 히스토리 관리부(340) 및 데이터베이스부(350)를 포함한다. 인식 정보 생성부(310)는 휴먼 추적부(311), 행동 인식부(313), 음향 인식부(315), 상황 인식부(317) 및 신원 인식부(319)를 포함한다.
인식 정보 생성부(310)는 인식공간 내에 배치된 다중센서자원에 의한 센서 데이터를 분석하여 인식공간 내에 존재하는 사람의 신원, 위치 및 행동 정보를 포함하는 센서 데이터 기반 휴먼 정보를 생성한다.
인식 정보 생성부(310)의 휴먼 추적부(311)는 다중센서자원 중에서 복수개의 카메라로부터 입력 받은 영상에서 사람의 위치를 추적하며, 추적된 복수명의 사람에 대해서 각각의 사람이 인식공간 내에 위치하는 실제 위치를 (x,y,z) 좌표 형태로 출력한다.
인식 정보 생성부(310)의 행동 인식부(313)는 다중센서자원 중에서 복수개의 카메라로부터 입력 받은 영상에서 각각 사람이 어떠한 자세 및 행동을 취하고 있는지를 판별한다.
인식 정보 생성부(310)의 음향 인식부(315)는 다중센서자원 중에서 복수개의 마이크로폰으로부터 입력 받은 음향을 인식한다.
인식 정보 생성부(310)의 상황 인식부(317)는 데이터베이스부(350)에 기 저장되어 있는 휴먼 모델에 의거하여 우선순위에 따라 신원 인식을 시도하여야 하는 사람이 누구인지를 판별한다.
인식 정보 생성부(310)의 신원 인식부(319)는 다중센서자원 중에서 복수개의 카메라를 제어하여 획득한 영상을 이용하여 사람의 신원을 인식한다.
정보 융합부(320)는 인식공간 내에 위치한 모바일 로봇 단말이 인식공간 내에 위치한 사람과의 상호작용을 통해 획득하여 제공하는 로봇 제공 휴먼 정보와 센서 데이터 기반 휴먼 정보를 모바일 로봇 단말의 위치 및 상호작용의 상태에 따라 융합하여 융합 휴먼 정보를 생성한다.
휴먼 모델 갱신부(330)는 융합 휴먼 정보에 따라 데이터베이스부(350)의 휴먼 모델을 갱신한다.
히스토리 관리부(340)는 인식공간 내에 현재 존재하거나 존재하였던 사람에 대하여 시간의 경과에 따른 융합 휴먼 정보의 변화를 나타내는 히스토리를 데이터베이스부(350)에 저장 및 관리한다.
도 3은 본 발명의 실시예에 따른 휴먼 정보 인식 장치에 의한 휴먼 정보 인식 방법을 설명하기 위한 흐름도이다.
이에 나타낸 바와 같이 실시예에 따른 휴먼 정보 인식 방법은, 인식공간 내에 배치된 다중센서자원에 의한 센서 데이터를 분석하여 인식공간 내에 존재하는 사람의 신원, 위치 및 행동 정보를 포함하는 센서 데이터 기반 휴먼 정보를 생성하는 단계(S401 내지 S417)와, 인식공간 내에 위치한 모바일 로봇 단말이 인식공간 내에 위치한 사람과의 상호작용을 통해 획득하여 제공하는 로봇 제공 휴먼 정보와 센서 데이터 기반 휴먼 정보를 모바일 로봇 단말의 위치 및 상호작용의 상태에 따라 융합하여 융합 휴먼 정보를 생성하는 단계(S419)와, 인식공간 내에 존재하는 사람의 융합 휴먼 정보에 따른 휴먼 모델을 데이터베이스에 저장하거나 갱신하는 단계(S421)와, 인식공간 내에 현재 존재하거나 존재하였던 사람에 대하여 시간의 경과에 따른 융합 휴먼 정보의 변화를 나타내는 히스토리를 데이터베이스에 저장 및 관리하는 단계(S423 및 S425)를 포함한다.
이하, 도 1 내지 도 4를 참조하여 본 발명의 실시예에 따른 휴먼 정보 인식 장치에 의한 휴먼 정보 인식 방법에 대해 자세히 살펴보기로 한다. 본 발명의 실시예에 따른 휴먼 정보 인식 장치는 인식공간 내에 배치된 다양한 이기종 센서들로부터 센서 데이터를 받을 수 있으나, 카메라와 마이크로폰의 센서 데이터를 분석하는 경우를 예시하기로 한다.
먼저, 인식 정보 생성부(310)의 휴먼 추적부(311)는 인식공간(10)에 설치된 다중센서자원(100) 중에서 복수개의 고정형 카메라로부터 입력 받은 영상에서 사람의 위치를 추적하며, 복수명의 사람에 대해서 각각의 사람이 공간 내에 위치하는 실제 위치를 (x,y,z) 좌표 형태로 출력한다(S401). 예컨대, 도 4에 예시된 위치 좌표계를 이용하여 사람(H)의 위치 좌표를 (x,y,z) 좌표 형태로 출력할 수 있다.
하나의 카메라 또는 일방향에서 촬영된 영상에서 사람의 위치를 추적하면 사람들의 겹침 문제로 추적의 신뢰도가 떨어질 수 있으나 휴먼 추적부(311)는 복수개의 카메라를 활용하기 때문에 사람들의 겹침 문제를 효과적으로 해결할 수 있다. 또한 특정한 사람이 여러 대의 카메라로부터 획득된 영상에 중복하여 존재하므로 각 영상에서의 추적 결과들을 상호 보완하여 높은 추적 신뢰도를 확보할 수 있다.
휴먼 추적부(311)에 의해 사람의 위치 인식이 완료되면, 인식 정보 생성부(310)의 행동 인식부(313)는 복수개의 고정형 카메라로부터 입력 받은 영상에서 각각 사람이 어떠한 자세 및 행동을 취하고 있는지를 판별한다(S403). 예컨대, 서있는 자세, 앉은 자세, 누운 자세, 걷는 행동, 뛰는 행동, 손을 드는 행동 등을 판별한다. 이러한 행동 인식부(313)도 휴먼 추적부(311)와 같이 여러 대의 카메라로부터 획득된 영상을 이용하기 때문에 같은 이유에 의해 신뢰도가 향상된다.
다음으로, 인식 정보 생성부(310)의 음향 인식부(315)는 인식공간(10)에 설치된 다중센서자원(100) 중에서 복수개의 마이크로폰으로부터 입력 받은 음향을 인식하며, 음향 인식을 통해 파악된 인식공간(10)의 음향 상태 정보를 상황 인식부(317)에게 제공한다(S405).
그러면, 인식 정보 생성부(310)의 상황 인식부(317)는 휴먼 추적부(311)에 의한 위치 인식 정보, 행동 인식부(313)에 의한 행동 인식 정보, 음향 인식부(315)에 의한 음향 인식 정보, 데이터베이스부(350)에 기 저장되어 있는 휴먼 모델 및 누적된 3W 히스토리 정보 등의 여러 가지 정보를 바탕으로 하여 우선순위에 따라 신원 인식을 시도하여야 하는 사람이 누구인지를 판별한다(S407 및 S409).
이러한, 상황 인식부(317)가 인식할 수 있는 상황들을 예시하면 다음과 같다.
상황1 : 현재 시점에서 아직까지 신원이 인식되지 않은 사람이 있는가?
상황2 : 신원 인식이 되긴 했으나 인식 신뢰도가 낮은 사람이 있는가?
상황3 : 다른 사람에 비해 신원인식 시도 횟수가 현저히 낮은 사람이 있는가?
상황4 : 서로 겹쳤다가 분리되는 사람들이 있는가?
상황5 : 특이한 행동을 취하고 있는 사람이 있는가? (눕거나, 손들거나, 달리거나 등)
상황6 : 현재 로봇과 직접 상호작용 하고 있는 사람이 있는가?
상황7 : 말을 하고 있거나 큰 소리(박수, 고함 등)를 내고 있는 사람이 있는가?
상황8 : 신원 인식하기에 유리한 협조적인 자세를 취하고 있는 사람이 있는가?
상황9 : 외부 어플리케이션의 요청에 의해 특별히 지정된 사람이 있는가?
물론 열거된 상황1 내지 상황9 이외에도 인식공간(10)의 특성에 따라 파악해야 하는 상황들이 더 추가 될 수 있다.
상황 인식부(317)에 의하여 신원 인식의 대상이 설정되면, 인식 정보 생성부(310)의 신원 인식부(319)는 다중센서자원(100)에 속한 모든 카메라를 신원 인식의 대상이 위치한 방향으로 이동시킨다(S411). 또한 카메라와 대상과의 거리 정보를 이용하여 영상 내에서 얼굴의 크기가 일정크기 이상(예컨대, 100x100 픽셀이상)이 되도록 모든 카메라에 대하여 줌인(Zoom in)을 한다. 이는 얼굴 인식에 유리한 크기의 고해상도 얼굴 영상을 확보하기 위한 것이다. 이후 카메라들을 대상의 얼굴을 계속 추적하면서 연속된 영상을 획득하며, 획득된 연속 영상을 이용하여 대상의 얼굴을 인식한다(S413). 또한, 얼굴 이외의 외부특징(옷 색깔, 머리색깔, 키 등)을 인식한 정보를 얼굴 인식 정보와 함께 결합하여 신원을 인식한다(S415).
신원 인식부(319)에 의한 신원 인식이 완료(S417)되면 인식공간(10) 내에 존재하는 사람의 신원, 위치 및 행동 정보를 포함하는 센서 데이터 기반 휴먼 정보가 정보 융합부(320)로 제공되며, 정보 융합부(320)는 다중센서자원(100)에 의한 센서 데이터를 분석하여 획득한 3W 정보인 센서 데이터 기반 휴먼 정보와 모바일 로봇 단말(200)에서 획득한 3W 정보인 로봇 제공 휴먼 정보를 융합하여 융합 휴먼 정보를 생성하는 역할을 수행한다(S419).
여기서, 모바일 로봇 단말(200)과 직접 상호작용하고 있는 협조적인 사람들에 대해서는 모바일 로봇 단말(200)이 사용자의 정면 얼굴 영상을 고화질로 확보하기가 용이하다. 따라서, 모바일 로봇 단말(200)에 의해 인식된 3W 정보가 다중센서자원(100)에 의한 센서 데이터를 처리하여 인식한 3W 정보보다 신뢰도가 더 높을 수 있다. 따라서 정보 융합부(320)는 다중센서자원(100)에 의한 센서 데이터를 분석하여 획득한 3W 정보와 모바일 로봇 단말(200)에서 획득한 3W 정보를 모바일 로봇 단말(200)의 위치 및 사용자들의 상호작용 상태에 따라 융합하여 더 인식 성능을 향상시킨다. 예컨대, 모바일 로봇 단말(200)과 사용자들의 상호작용 레벨이 기 설정된 기준레벨보다 높을 경우에는 로봇 제공 휴먼 정보를 우선시하고, 모바일 로봇 단말(200)과 사용자들의 상호작용 레벨이 기 설정된 기준레벨보다 높지 않을 경우에는 센서 데이터 기반 휴먼 정보를 우선시할 수 있다.
휴먼 모델 갱신부(330)는 인식공간(10) 내에 존재하고 있는 사람들의 3W 모델을 데이터베이스부(350)에 저장하거나 갱신한다. 기존에 인식공간(10) 내에 존재하였던 모든 사람에 대해서 현재 각각의 위치 정보와 행동 정보를 갱신하고, 신원 인식이 수행된 사람에 대해서는 그 인식 유사도 정보를 누적한다. 인식공간(10) 내에 새로 등장한 사람에 대해서는 새로운 모델을 생성하여 부여하며, 퇴장한 사람의 모델은 활용이 가능할 수도 있으므로 데이터베이스부(350)에서 바로 삭제하지 않고 일정기간 동안은 저장 상태를 유지한다(S421).
히스토리 관리부(340)는 인식공간(10) 내에 현재 존재하거나 존재하였던 사람에 대하여 시간의 경과에 따른 3W 정보 히스토리를 관리한다. 예를 들면, 어떤 특정인이 언제 등장하였는지, 어떠한 행동 패턴을 보여 왔었는지, 모바일 로봇 단말(200)과 언제 어떤 상호작용을 수행하였는지에 대한 정보를 관리한다(S423).
데이터베이스부(350)에는 각각의 사람에 대한 휴먼 모델 및 3W 히스토리 정보가 저장된다. 이러한 휴먼 모델 및 3W 히스토리 정보는 휴먼 추적부(311) 및 상황 인식부(317) 등에 활용되며, 외부 인터페이스(도시 생략됨)를 통하여 3W 정보를 필요로 하는 서비스 어플리케이션 등에 제공될 수 있다(S425).
본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
300 : 휴먼 정보 인식 장치 310 : 인식 정보 생성부
311 : 휴먼 추적부 313 : 행동 인식부
315 : 음향 인식부 317 : 상황 인식부
319 : 신원 인식부 320 : 정보 융합부
330 : 휴먼 모델 갱신부 340 : 히스토리 관리부
350 : 데이터베이스부

Claims (19)

  1. 휴먼 정보 인식 장치가 휴먼 정보를 인식하는 방법에 있어서
    인식공간 내에 배치된 다중센서자원에 의한 센서 데이터를 입력 받고, 상기 센서 데이터를 분석하여 상기 인식공간 내에 존재하는 사람의 센서 데이터 기반 휴먼 정보를 생성하는 단계와,
    상기 인식공간 내에 위치한 모바일 로봇 단말로부터 로봇 제공 휴먼 정보를 수신하는 단계와
    상기 로봇 제공 휴먼 정보와 상기 센서 데이터 기반 휴먼 정보에 기초하여 융합 휴먼 정보를 생성하는 단계와,상기 인식공간 내에 존재하는 사람의 상기 융합 휴먼 정보에 따른 휴먼 모델을 데이터베이스에 저장하는 단계를 포함하되,
    상기 휴먼 정보는 사람의 신원정보, 위치정보 및 행동정보를 포함하고,
    상기 로봇 제공 휴먼 정보는 상기 모바일 로봇 단말이 상기 모바일 로봇 단말의 센서들로부터 획득된 센서 데이터에 기초하여 생성한 후 상기 휴먼 정보 인식 장치로 전송되고,
    상기 융합 휴먼 정보가 생성되는 경우, 상기 모바일 로봇 단말과 사용자들의 상호작용 레벨이 기설정된 기준 레벨과 비교되고,
    상기 비교 결과에 기초하여 상기 융합 휴먼 정보가 다르게 생성되는 것을 특징으로 하는 휴먼 정보를 인식하는 방법.
  2. 제 1 항에 있어서,
    상기 센서 데이터 기반 휴먼 정보를 생성하는 단계는, 상기 다중센서자원 중에서 복수개의 카메라로부터 입력 받은 영상에서 사람의 위치를 추적하는 휴먼 정보를 인식하는 방법.
  3. 제 2 항에 있어서,
    상기 센서 데이터 기반 휴먼 정보를 생성하는 단계는, 상기 영상에서 추적된 복수명의 사람에 대해서 각각의 사람이 인식공간 내에 위치하는 실제 위치를 (x,y,z) 좌표 형태로 출력하는 휴먼 정보를 인식하는 방법.
  4. 제 1 항에 있어서,
    상기 센서 데이터 기반 휴먼 정보를 생성하는 단계는, 상기 다중센서자원 중에서 복수개의 카메라로부터 입력 받은 영상에서 각각 사람이 어떠한 자세 및 행동을 취하고 있는지를 판별하는 휴먼 정보를 인식하는 방법.
  5. 제 1 항에 있어서,
    상기 센서 데이터 기반 휴먼 정보를 생성하는 단계는, 상기 다중센서자원 중에서 복수개의 마이크로폰으로부터 입력 받은 음향을 인식하는 휴먼 정보를 인식하는 방법.
  6. 제 1 항에 있어서,
    상기 센서 데이터 기반 휴먼 정보를 생성하는 단계는, 상기 데이터베이스에 기 저장되어 있는 휴먼 모델에 의거하여 우선순위에 따라 신원 인식을 시도하여야 하는 사람이 누구인지를 판별하는 휴먼 정보를 인식하는 방법.
  7. 제 1 항에 있어서,
    상기 센서 데이터 기반 휴먼 정보를 생성하는 단계는, 상기 다중센서자원 중에서 복수개의 카메라를 제어하여 획득한 영상을 이용하여 사람의 신원을 인식하는 휴먼 정보를 인식하는 방법.
  8. 제 1 항에 있어서,
    상기 휴먼 정보 인식 방법은, 상기 융합 휴먼 정보에 따라 상기 휴먼 모델을 갱신하는 휴먼 정보를 인식하는 방법.
  9. 제 1 항에 있어서,
    상기 휴먼 정보 인식 방법은, 상기 인식공간 내에 현재 존재하거나 존재하였던 사람에 대하여 시간의 경과에 따른 상기 융합 휴먼 정보의 변화를 나타내는 히스토리를 상기 데이터베이스에 저장 및 관리하는 휴먼 정보를 인식하는 방법.
  10. 휴먼 정보 인식 장치에 있어서
    인식공간 내에 배치된 다중센서자원에 의한 센서 데이터를 입력 받고, 상기 센서 데이터를 분석하여 상기 인식공간 내에 존재하는 사람의 센서 데이터 기반 휴먼 정보를 생성하는 인식 정보 생성부와,
    상기 인식공간 내에 위치한 모바일 로봇 단말로부터 로봇 제공 휴먼 정보를 수신하고,
    상기 로봇 제공 휴먼 정보와 상기 센서 데이터 기반 휴먼 정보에 기초하여 융합 휴먼 정보를 생성하는 정보 융합부와,
    상기 인식공간 내에 존재하는 사람의 상기 융합 휴먼 정보에 따른 휴먼 모델이 저장되는 데이터베이스부를 포함하되,
    상기 휴먼 정보는 사람의 신원정보, 위치정보 및 행동정보를 포함하고,
    상기 로봇 제공 휴먼 정보는 상기 모바일 로봇 단말이 상기 모바일 로봇 단말의 센서들로부터 획득된 센서 데이터에 기초하여 생성한 후 상기 휴먼 정보 인식 장치로 전송되고,
    상기 융합 휴먼 정보가 생성되는 경우, 상기 모바일 로봇 단말과 사용자들의 상호작용 레벨이 기설정된 기준 레벨과 비교되고,
    상기 비교 결과에 기초하여 상기 융합 휴먼 정보가 다르게 생성되는 것을 특징으로 하는 휴먼 정보 인식 장치.
  11. 제 10 항에 있어서,
    상기 인식 정보 생성부는, 상기 다중센서자원 중에서 복수개의 카메라로부터 입력 받은 영상에서 사람의 위치를 추적하는 휴먼 추적부를 포함하는 휴먼 정보 인식 장치.
  12. 제 11 항에 있어서,
    상기 인식 정보 생성부는, 상기 영상에서 추적된 복수명의 사람에 대해서 각각의 사람이 인식공간 내에 위치하는 실제 위치를 (x,y,z) 좌표 형태로 출력하는 휴먼 정보 인식 장치.
  13. 제 10 항에 있어서,
    상기 인식 정보 생성부는, 상기 다중센서자원 중에서 복수개의 카메라로부터 입력 받은 영상에서 각각 사람이 어떠한 자세 및 행동을 취하고 있는지를 판별하는 행동 인식부를 포함하는 휴먼 정보 인식 장치.
  14. 제 10 항에 있어서,
    상기 인식 정보 생성부는, 상기 다중센서자원 중에서 복수개의 마이크로폰으로부터 입력 받은 음향을 인식하는 음향 인식부를 포함하는 휴먼 정보 인식 장치.
  15. 제 10 항에 있어서,
    상기 인식 정보 생성부는, 상기 데이터베이스부에 기 저장되어 있는 휴먼 모델에 의거하여 우선순위에 따라 신원 인식을 시도하여야 하는 사람이 누구인지를 판별하는 상황 인식부를 포함하는 휴먼 정보 인식 장치.
  16. 제 10 항에 있어서,
    상기 인식 정보 생성부는, 상기 다중센서자원 중에서 복수개의 카메라를 제어하여 획득한 영상을 이용하여 사람의 신원을 인식하는 신원 인식부를 포함하는 휴먼 정보 인식 장치.
  17. 제 10 항에 있어서,
    상기 휴먼 정보 인식 장치는, 상기 융합 휴먼 정보에 따라 상기 휴먼 모델을 갱신하는 휴먼 모델 갱신부를 더 포함하는 휴먼 정보 인식 장치.
  18. 제 10 항에 있어서,
    상기 휴먼 정보 인식 장치는, 상기 인식공간 내에 현재 존재하거나 존재하였던 사람에 대하여 시간의 경과에 따른 상기 융합 휴먼 정보의 변화를 나타내는 히스토리를 상기 데이터베이스부에 저장 및 관리하는 히스토리 관리부를 더 포함하는 휴먼 정보 인식 장치.
  19. 제 1항에 있어서
    상기 신원정보를 생성하는 경우,
    적어도 하나 이상의 상기 다중센서자원에 의한 센서 데이터 및 상기 데이터 베이스에 저장된 휴먼모델에 기초하여 신원 대상을 확정하고,
    확정된 신원 대상에 대해 상기 다중센서자원을 제어하여, 확정된 신원 대상을 추적하여 신원을 확인하는 것을 특징으로 하는 휴먼 정보를 인식하는 방법.
KR1020130013562A 2013-02-06 2013-02-06 휴먼 정보 인식 방법 및 장치 KR101993243B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130013562A KR101993243B1 (ko) 2013-02-06 2013-02-06 휴먼 정보 인식 방법 및 장치
US13/933,074 US20140218516A1 (en) 2013-02-06 2013-07-01 Method and apparatus for recognizing human information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130013562A KR101993243B1 (ko) 2013-02-06 2013-02-06 휴먼 정보 인식 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20140100353A KR20140100353A (ko) 2014-08-14
KR101993243B1 true KR101993243B1 (ko) 2019-09-30

Family

ID=51258916

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130013562A KR101993243B1 (ko) 2013-02-06 2013-02-06 휴먼 정보 인식 방법 및 장치

Country Status (2)

Country Link
US (1) US20140218516A1 (ko)
KR (1) KR101993243B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106909896B (zh) * 2017-02-17 2020-06-30 竹间智能科技（上海）有限公司 基于人物性格与人际关系识别的人机交互系统及工作方法
US11157756B2 (en) * 2019-08-19 2021-10-26 Toyota Research Institute, Inc. System and method for detecting errors and improving reliability of perception systems using logical scaffolds
JP7467157B2 (ja) * 2020-02-19 2024-04-15 キヤノン株式会社 学習装置、画像認識装置、学習方法、画像認識装置の制御方法およびプログラム
KR102596521B1 (ko) * 2020-05-27 2023-10-31 보리 주식회사 카메라로 입력되는 영상정보, 마이크로 입력되는 음성정보를 실시간으로 처리하여 언어발달장애 및 행동발달장애를 분석하는 방법 및 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004160630A (ja) 2002-09-27 2004-06-10 Sony Corp ロボット装置及びその制御方法
JP2011089682A (ja) 2009-10-21 2011-05-06 Hitachi Ltd エリア内環境制御システム及びエリア内環境制御方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4875652A (ko) 1972-01-13 1973-10-12
US5875108A (en) * 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US20090030552A1 (en) * 2002-12-17 2009-01-29 Japan Science And Technology Agency Robotics visual and auditory system
ATE524784T1 (de) * 2005-09-30 2011-09-15 Irobot Corp Begleitroboter für persönliche interaktion
US8005257B2 (en) * 2006-10-05 2011-08-23 The United States Of America As Represented By The Secretary Of The Navy Gesture recognition apparatus and method
US8063764B1 (en) * 2008-05-27 2011-11-22 Toronto Rehabilitation Institute Automated emergency detection and response
KR100993494B1 (ko) * 2008-10-17 2010-11-10 인제대학교 산학협력단 행동감지를 위한 지능형 센서 시스템
KR101355974B1 (ko) * 2010-08-24 2014-01-29 한국전자통신연구원 복수의 객체를 추적하는 객체 추적 방법 및 장치
KR101666397B1 (ko) * 2010-12-21 2016-10-14 한국전자통신연구원 객체 영상 획득 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004160630A (ja) 2002-09-27 2004-06-10 Sony Corp ロボット装置及びその制御方法
JP2011089682A (ja) 2009-10-21 2011-05-06 Hitachi Ltd エリア内環境制御システム及びエリア内環境制御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
센서 네트워크 기반 소프트웨어 로봇 시스템 기술 개발, 한국통신학회*

Also Published As

Publication number Publication date
US20140218516A1 (en) 2014-08-07
KR20140100353A (ko) 2014-08-14

Similar Documents

Publication Publication Date Title
US10580400B2 (en) Method for controlling artificial intelligence system that performs multilingual processing
CN105393522B (zh) 移动终端及其控制方法
CN104410883B (zh) 一种移动可穿戴非接触式交互系统与方法
KR20190105533A (ko) 인공지능 기반 영상 편집 방법 및 지능형 디바이스
CN109918975A (zh) 一种增强现实的处理方法、对象识别的方法及终端
JP2018523424A (ja) モニタリング
WO2018152009A1 (en) Entity-tracking computing system
KR101993243B1 (ko) 휴먼 정보 인식 방법 및 장치
US11250869B2 (en) Audio zoom based on speaker detection using lip reading
JP6835218B2 (ja) 群衆状態認識装置、学習方法および学習プログラム
CN103631768A (zh) 协作数据编辑和处理系统
CN104284064A (zh) 用于预览双镜头图像的方法和设备
US11531864B2 (en) Artificial intelligence server
KR20190074011A (ko) 음성 인식 장치 및 방법
CN103295029A (zh) 手势控制终端的交互方法及装置
EP3202157B1 (en) Mobile terminal and method of controlling the same
CN108989973A (zh) 移动终端
CN109831549A (zh) 移动终端
WO2012063561A1 (ja) 情報報知システム、情報報知方法、情報処理装置及びその制御方法と制御プログラム
JP2018533124A (ja) 注視仮想オブジェクト識別モジュール、注視半透過性を実現するためのシステム、および関連する方法
CN208689558U (zh) 一种辅助用户的智能系统
CN106354255A (zh) 一种面向机器人产品的人机交互方法及装置
JP2020155944A (ja) 発話者検出システム、発話者検出方法及びプログラム
US11115597B2 (en) Mobile terminal having first and second AI agents interworking with a specific application on the mobile terminal to return search results
CN106155513B (zh) 一种投影触屏的控制方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant