KR20120054804A - 기억 회상용 데이터 처리 시스템 및 그 방법 - Google Patents

기억 회상용 데이터 처리 시스템 및 그 방법 Download PDF

Info

Publication number
KR20120054804A
KR20120054804A KR1020100116115A KR20100116115A KR20120054804A KR 20120054804 A KR20120054804 A KR 20120054804A KR 1020100116115 A KR1020100116115 A KR 1020100116115A KR 20100116115 A KR20100116115 A KR 20100116115A KR 20120054804 A KR20120054804 A KR 20120054804A
Authority
KR
South Korea
Prior art keywords
data
user
information
memory
unit
Prior art date
Application number
KR1020100116115A
Other languages
English (en)
Other versions
KR101429962B1 (ko
Inventor
박천수
김재홍
손주찬
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020100116115A priority Critical patent/KR101429962B1/ko
Priority to US13/198,372 priority patent/US20120131065A1/en
Publication of KR20120054804A publication Critical patent/KR20120054804A/ko
Application granted granted Critical
Publication of KR101429962B1 publication Critical patent/KR101429962B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Manipulator (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 로봇을 이용하여 사용자의 기억을 보조하는 시스템 및 방법에 관한 것이다. 본 발명은 사용자의 요청에 따라 주변 상황과 관련된 영상 데이터를 획득하고, 사용자의 피드백에 따라 획득되거나 외부로부터 수집된 데이터에 대해 고유 ID를 부여하고 사용자 정보, 위치, 시간, 인물 정보 등을 고려하여 분류 관리하며, 미리 정해진 질의들로부터 사용자에 의해 선택된 질의에 따라 관리 중인 데이터를 선별하여 사용자의 기억 보조를 위한 것으로써 제공된다. 본 발명에 따르면, 사용자 중심의 시점에서 일상 활동을 기록할 수 있으며, SNS와 연계하여 로봇의 DB에 저장되어 있지 않은 사진도 쉽게 접할 수가 있다. 또한, 사용자 동의 하에 영상을 촬영하기 때문에 프라이버시 문제도 해결할 수 있다.

Description

기억 회상용 데이터 처리 시스템 및 그 방법 {System and method for processing data for recalling memory}
본 발명은 기억 회상용 데이터 처리 시스템 및 그 방법에 관한 것이다. 보다 상세하게는, 로봇을 이용한 기억 회상용 데이터 처리 시스템 및 그 방법에 관한 것이다.
기존의 기억력 보조를 위한 방법으로 사용자 주변에 카메라를 설치하거나 촬영할 수 있는 장치를 만들어 신체에 착용하고 일상 생활에서 발생하는 상황을 기록한다. 그런데, 이 경우 다음과 같이 다양한 문제점이 발생한다. 첫째, 착용형 카메라 장치는 사용자의 움직임이나 조명 밝기 등에 민감하여 흔들림(blur)이 발생한다. 둘째, 카메라를 착용한 사람은 본인이 포함된 사진을 촬영하기가 쉽지 않으며, 주변의 상황을 주로 촬영한다. 세째, 카메라를 설치하여 영상 데이터를 수집하는 방법은 사용자의 활동이 있는 모든 장소에 카메라를 설치해야 하기 때문에 상당한 비용이 필요하며, 사생활 침해 문제도 제기될 수 있다. 네째, 기존의 데이터 수집 방법은 특정 시간에 맞게 주기적으로 데이터를 수집하여 저장하기 때문에 엄청난 양의 데이터를 저장해야 하고, 데이터 분석 시간도 오래 걸린다. 다섯째, 대부분의 고령자들은 몸에 장치를 착용하는 것을 불편해 한다.
본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 로봇을 이용하여 데이터를 수집하며 사용자가 원하는 시점에 수집된 데이터를 사용자의 기억력 회상에 도움을 주는 용도로 제공하는 기억 회상용 데이터 처리 시스템 및 그 방법을 제공함을 목적으로 한다.
본 발명은 상기한 목적을 달성하기 위해 안출된 것으로서, 로봇에 구비된 것으로서, 적어도 하나의 질의 정보를 입력받는 질의 정보 입력부; 입력된 질의 정보를 기초로 저장된 데이터들 중에서 상기 질의 정보를 입력한 입력자와 관련된 데이터를 검출하는 데이터 검출부; 및 상기 입력자의 기억 회상이 가능하게 검출된 데이터를 표시하는 데이터 표시부를 포함하는 것을 특징으로 하는 기억 회상용 데이터 처리 시스템을 제공한다.
바람직하게는, 상기 기억 회상용 데이터 처리 시스템은 로봇에 구비된 것으로서, 사용자의 요청이 있을 때마다 상기 사용자와 관련된 데이터를 수집하는 데이터 수집부; 및 수집된 데이터를 적어도 하나의 상기 질의 정보와 관련지어 분류시키는 데이터 분류부를 더욱 포함한다.
바람직하게는, 상기 데이터 수집부는, 사용자의 음성이나 제스처를 인식하는 음성/제스처 인식부; 인식된 음성이나 제스처를 해석하는 음성/제스처 해석부; 및 해석 결과값이 데이터 수집 허락이면, 사용자에게 접근하여 사용자에 대한 영상 데이터를 수집하는 영상 데이터 수집부(제1 영상 데이터 수집부)를 포함한다. 또는, 상기 데이터 수집부는, 정지 중 또는 이동 중 미리 정해진 거리 내에 위치한 사람을 포함하는 영상을 획득하는 영상 획득부; 획득된 영상에 포함된 사람의 인체 일부를 검출하는 인체 검출부; 검출된 신체 일부를 해석하여 획득된 영상에 포함된 사람이 등록된 사용자인지를 판별하는 사용자 판별부; 획득된 영상에 포함된 사람이 등록된 사용자이면, 데이터 수집 가능 여부에 대해서 질의하는 질의부; 및 질의에 대한 답변이 데이터 수집 허락이면, 획득된 영상을 사용자에 대한 영상 데이터로 수집하거나, 사용자에게 접근하여 사용자에 대한 영상 데이터를 다시 수집하거나 추가 수집하는 영상 데이터 수집부(제2 영상 데이터 수집부)를 포함한다.
바람직하게는, 상기 데이터 수집부는 상기 사용자가 등록된 SNS(Social Network Service) 웹사이트로부터 상기 사용자와 관련된 데이터를 수집한다.
바람직하게는, 상기 데이터 분류부는, 수집된 데이터마다 데이터에 대한 정보를 생성하는 데이터 정보 생성부; 생성된 정보를 기초로 수집된 데이터마다 질의 정보를 생성하는 질의 정보 생성부; 및 생성된 질의 정보를 고려하여 수집된 데이터를 분류시키는 수집 데이터 분류부를 포함한다. 더욱 바람직하게는, 상기 데이터 정보 생성부는 데이터에 대한 정보로 상기 사용자에 대한 정보, 데이터에 표시된 장소의 위치 정보, 데이터가 획득된 시간 정보, 데이터에 표시된 사용자를 제외한 인물에 대한 정보, 및 데이터에 할당된 식별 정보 중 적어도 하나의 정보를 이용한다.
바람직하게는, 상기 기억 회상용 데이터 처리 시스템은 저장된 데이터들 중에서 사용자에 의해 선택된 데이터 또는 검색횟수가 기준값 이상인 데이터를 기억 단서(memory cue)로 추출하는 기억 단서 추출부; 및 저장된 데이터들과 구분하여 추출된 기억 단서를 별도 저장하는 기억 단서 저장부를 포함한다.
바람직하게는, 상기 데이터 검출부 및 상기 데이터 표시부는 GUI로 구현되며, 상기 GUI는 상기 로봇에 장착된 스크린을 이용하여 검출된 데이터를 표시한다.
바람직하게는, 상기 데이터 검출부는 SNS 웹사이트로부터 상기 입력자와 관련된 데이터를 추가 검출한다.
또한, 본 발명은 로봇을 이용하여 적어도 하나의 질의 정보를 입력받는 질의 정보 입력 단계; 입력된 질의 정보를 기초로 저장된 데이터들 중에서 상기 질의 정보를 입력한 입력자와 관련된 데이터를 검출하는 데이터 검출 단계; 및 상기 입력자의 기억 회상이 가능하게 검출된 데이터를 표시하는 데이터 표시 단계를 포함하는 것을 특징으로 하는 기억 회상용 데이터 처리 방법을 제공한다.
바람직하게는, 상기 기억 회상용 데이터 처리 방법은 로봇을 이용하여 사용자의 요청이 있을 때마다 상기 사용자와 관련된 데이터를 수집하는 데이터 수집 단계; 및 수집된 데이터를 적어도 하나의 상기 질의 정보와 관련지어 분류시키는 데이터 분류 단계를 더욱 포함한다.
바람직하게는, 상기 데이터 수집 단계는, 사용자의 음성이나 제스처를 인식하는 음성/제스처 인식 단계; 인식된 음성이나 제스처를 해석하는 음성/제스처 해석 단계; 및 해석 결과값이 데이터 수집 허락이면, 사용자에게 접근하여 사용자에 대한 영상 데이터를 수집하는 영상 데이터 수집 단계(제1 영상 데이터 수집 단계)를 포함한다. 또는, 상기 데이터 수집 단계는, 정지 중 또는 이동 중 미리 정해진 거리 내에 위치한 사람을 포함하는 영상을 획득하는 영상 획득 단계; 획득된 영상에 포함된 사람의 인체 일부를 검출하는 인체 검출 단계; 검출된 신체 일부를 해석하여 획득된 영상에 포함된 사람이 등록된 사용자인지를 판별하는 사용자 판별 단계; 획득된 영상에 포함된 사람이 등록된 사용자이면, 데이터 수집 가능 여부에 대해서 질의하는 질의 단계; 및 질의에 대한 답변이 데이터 수집 허락이면, 획득된 영상을 사용자에 대한 영상 데이터로 수집하거나, 사용자에게 접근하여 사용자에 대한 영상 데이터를 다시 수집하거나 추가 수집하는 영상 데이터 수집 단계(제2 영상 데이터 수집 단계)를 포함한다.
바람직하게는, 상기 데이터 수집 단계는 상기 사용자가 등록된 SNS(Social Network Service) 웹사이트로부터 상기 사용자와 관련된 데이터를 수집한다.
바람직하게는, 상기 데이터 분류 단계는, 수집된 데이터마다 데이터에 대한 정보를 생성하는 데이터 정보 생성 단계; 생성된 정보를 기초로 수집된 데이터마다 질의 정보를 생성하는 질의 정보 생성 단계; 및 생성된 질의 정보를 고려하여 수집된 데이터를 분류시키는 수집 데이터 분류 단계를 포함한다. 더욱 바람직하게는, 상기 데이터 정보 생성 단계는 데이터에 대한 정보로 상기 사용자에 대한 정보, 데이터에 표시된 장소의 위치 정보, 데이터가 획득된 시간 정보, 데이터에 표시된 사용자를 제외한 인물에 대한 정보, 및 데이터에 할당된 식별 정보 중 적어도 하나의 정보를 이용한다.
바람직하게는, 상기 기억 회상용 데이터 처리 방법은 저장된 데이터들 중에서 사용자에 의해 선택된 데이터 또는 검색횟수가 기준값 이상인 데이터를 기억 단서(memory cue)로 추출하는 기억 단서 추출 단계; 및 저장된 데이터들과 구분하여 추출된 기억 단서를 별도 저장하는 기억 단서 저장 단계를 더욱 포함한다.
바람직하게는, 상기 데이터 검출 단계 및 상기 데이터 표시 단계는 GUI로 구현되며, 상기 데이터 표시 단계는 상기 GUI에 연동되는 것으로서 상기 로봇에 장착된 스크린을 이용하여 검출된 데이터를 표시한다.
바람직하게는, 상기 데이터 검출 단계는 SNS 웹사이트로부터 상기 입력자와 관련된 데이터를 추가 검출한다.
본 발명은 로봇을 이용하여 데이터를 수집하며 사용자가 원하는 시점에 수집된 데이터를 사용자의 기억력 회상에 도움을 주는 용도로 제공함으로써 다음과 같은 효과를 얻을 수 있다. 첫째, 로봇을 이용하여 정지 영상을 수집함으로써, 사용자 중심의 시점에서 일상 활동을 기록할 수 있다. 둘째, 로봇을 이용하여 정지 영상을 수집하고 로봇에 부착된 모니터를 통해 접근할 수 있어 신체 특정 부위에 장비를 착용해야 되는 불편함을 해소할 수 있다. 세째, 외부의 SNS(Social Network Service)를 활용하여 가족, 친척, 친구 등의 사진을 볼 수 있는 기능을 제공해서 노인 요양 시설이나 복지 시설에서 접하기 쉽지 않은 사진을 제공할 수 있다. 네째, 기억력에 도움을 줄 수 있는 기억 단서를 사용자의 피드백 정보로 이용함으로써 개인별 실험 및 설문을 통한 기억 단서 분류 시간을 줄이고, 기억 단서에 대한 개인별 정확성을 높일 수 있다. 또한, 사진 촬영시 로봇이 사용자의 동의를 받은 후에 정지 영상을 촬영하기 때문에 프라이버시 문제를 제약적으로 해결할 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 기억 회상용 데이터 처리 시스템을 개략적으로 도시한 블록도이다.
도 2는 기억 회상용 데이터 처리 시스템의 내부 구성을 구체적으로 도시한 블록도이다.
도 3은 사용자의 기억력 회상에 도움을 주기 위한 기억력 보조 시스템 구성도이다.
도 4는 본 발명의 바람직한 실시예에 따른 기억 회상용 데이터 처리 방법을 도시한 순서도이다.
도 5는 로봇을 이용해서 촬영된 정지 영상을 보여주고 사용자가 선택한 피드백을 기억 단서로 이용해 기억력 회상에 도움을 주기 위한 흐름도이다.
도 6은 로봇을 이용해 사진을 수집하는 흐름도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
도 1은 본 발명의 바람직한 실시예에 따른 기억 회상용 데이터 처리 시스템을 개략적으로 도시한 블록도이다. 도 2는 기억 회상용 데이터 처리 시스템의 내부 구성을 구체적으로 도시한 블록도이다. 이하 설명은 도 1과 도 2를 참조한다.
도 1에 따르면, 기억 회상용 데이터 처리 시스템(100)은 질의 정보 입력부(110), 데이터 검출부(120), 데이터 표시부(130) 및 주제어부(140)를 포함한다.
기억 회상용 데이터 처리 시스템(100)은 사용자가 원하는 시점에 로봇이 주변 상황 정보를 파악하여 정지 영상 데이터를 수집하고, 사용자의 피드백을 이용하여 기억 단서를 별도로 저장 관리하며, 사용자가 과거 촬영된 사진이 보고 싶을 때 로봇을 통해 수집된 사진 DB와 외부의 SNS(Social Network Service)를 연계하여 가족 또는 친구 사진을 제공함으로써 사용자의 기억력 회상에 도움을 주는 것이다.
질의 정보 입력부(110)는 적어도 하나의 질의 정보를 입력받는 기능을 수행한다. 본 실시예에서 질의 정보 입력부(110)는 로봇에 구비된다.
데이터 검출부(120)는 입력된 질의 정보를 기초로 저장된 데이터들 중에서 질의 정보를 입력한 입력자와 관련된 데이터를 검출하는 기능을 수행한다. 상기에서, 데이터는 영상 데이터, 문자 데이터 등 중에서 적어도 하나의 데이터를 포함하는 개념이다. 데이터 검출부(120)는 SNS(Social Network Service) 웹사이트로부터 입력자와 관련된 데이터를 추가 검출할 수 있다. 본 실시예에서는 SNS 웹사이트는 입력자에 의해 입력된 SNS 웹사이트, 입력자에 대한 정보로부터 추출된 SNS 웹사이트, 입력자의 가족이나 친구에 대한 정보로부터 추출된 SNS 웹사이트 등 중 어느 하나일 수 있다.
데이터 표시부(130)는 질의 정보 입력자의 기억 회상이 가능하게 검출된 데이터를 표시하는 기능을 수행한다. 기억 회상이 가능하게 데이터를 표시하는 방법으로, 데이터 표시부(130)는 같은 날 같은 장소에 촬영된 여러 사진들을 시간 순서에 따라 정렬한 뒤 표시하거나, 연상 기법을 고려하여 여러 사진들을 정렬한 뒤 표시할 수 있다.
데이터 검출부(120)와 데이터 표시부(130)는 GUI(Graphical User Interface)로 구현된다. 이때, GUI는 로봇에 장착된 스크린을 이용하여 검출된 데이터를 표시한다.
주제어부(140)는 기억 회상용 데이터 처리 시스템(100)을 구성하는 각 부의 전체 작동을 제어하는 기능을 수행한다.
기억 회상용 데이터 처리 시스템(100)은 데이터 수집부(150)와 데이터 분류부(160)를 더욱 포함할 수 있다.
데이터 수집부(150)는 사용자의 요청이 있을 때마다 사용자와 관련된 데이터를 수집하는 기능을 수행한다. 본 실시예에서 데이터 수집부(150)는 로봇에 구비된다. 사용자와 관련된 데이터는 예컨대 사용자가 포함된 영상 데이터, 영상 촬영 일시나 사용자가 입력한 정보가 포함된 영상 데이터 등일 수 있다. 사용자가 입력한 정보는 영상 촬영 때의 에피소드, 영상과 관련된 느낌/감상 등일 수 있다. 한편, 데이터 수집부(150)는 사용자가 등록된 SNS(Social Network Service) 웹사이트로부터 사용자와 관련된 데이터를 수집하는 것도 가능하다.
본 실시예에서는 사용자가 로봇을 발견하고 제스처나 음성을 통해 호출을 하면 로봇이 다가가서 데이터를 수집할 수 있다. 이러한 경우를 고려할 때, 데이터 수집부(150)는 도 2의 (a)에 도시된 바와 같이 음성/제스처 인식부(151), 음성/제스처 해석부(152) 및 제1 영상 데이터 수집부(153)를 포함할 수 있다. 음성/제스처 인식부(151)는 사용자의 음성이나 제스처를 인식하는 기능을 수행한다. 음성/제스처 해석부(152)는 인식된 음성이나 제스처를 해석하는 기능을 수행한다. 제1 영상 데이터 수집부(153)는 해석 결과값이 데이터 수집 허락이면, 사용자에게 접근하여 사용자에 대한 영상 데이터를 수집하는 기능을 수행한다.
한편, 본 실시예에서는 로봇이 얼굴 인식을 통해 고령자를 발견하고 "사진 찍어드릴까요?"라고 물어봤을 경우 고령자가 "OK."를 한 경우 데이터를 수집할 수도 있다. 이러한 경우를 고려할 때, 데이터 수집부(150)는 도 2의 (b)에 도시된 바와 같이 영상 획득부(154), 인체 검출부(155), 사용자 판별부(156), 질의부(157) 및 제2 영상 데이터 수집부(158)를 포함할 수 있다. 영상 획득부(154)는 로봇이 정지 중 또는 이동 중에 미리 정해진 거리 내에 위치한 사람을 포함하는 영상을 획득하는 기능을 수행한다. 인체 검출부(155)는 획득된 영상에 포함된 사람의 인체 일부를 검출하는 기능을 수행한다. 상기에서, 인체 일부는 예컨대 얼굴, 홍채 등일 수 있다. 사용자 판별부(156)는 검출된 인체 일부를 해석하여 획득된 영상에 포함된 사람이 등록된 사용자인지를 판별하는 기능을 수행한다. 질의부(157)는 획득된 영상에 포함된 사람이 등록된 사용자이면, 데이터 수집 가능 여부에 대해서 질의하는 기능을 수행한다. 제2 영상 데이터 수집부(158)는 질의에 대한 답변이 데이터 수집 허락이면, 획득된 영상을 사용자에 대한 영상 데이터로 수집하거나, 사용자에게 접근하여 사용자에 대한 영상 데이터를 다시 수집하거나 추가 수집하는 기능을 수행한다.
데이터 분류부(160)는 수집된 데이터를 적어도 하나의 질의 정보와 관련지어 분류시키는 기능을 수행한다. 데이터 분류부(160)는 도 2의 (c)에 도시된 바와 같이 데이터 정보 생성부(161), 질의 정보 생성부(162) 및 수집 데이터 분류부(163)를 포함할 수 있다. 데이터 정보 생성부(161)는 수집된 데이터마다 데이터에 대한 정보를 생성하는 기능을 수행한다. 데이터 정보 생성부(161)는 데이터에 대한 정보로 사용자에 대한 정보, 데이터에 표시된 장소의 위치 정보, 데이터가 획득된 시간 정보, 데이터에 표시된 사용자를 제외한 인물에 대한 정보, 및 데이터에 할당된 식별 정보 중 적어도 하나의 정보를 이용할 수 있다. 질의 정보 생성부(162)는 생성된 정보를 기초로 수집된 데이터마다 질의 정보를 생성하는 기능을 수행한다. 수집 데이터 분류부(163)는 생성된 질의 정보를 고려하여 수집된 데이터를 분류시키는 기능을 수행한다.
기억 회상용 데이터 처리 시스템(100)은 기억 단서 추출부(170)와 기억 단서 저장부(180)를 더욱 포함할 수 있다. 기억 단서 추출부(170)는 저장된 데이터들 중에서 사용자에 의해 선택된 데이터 또는 검색 횟수가 기준값 이상인 데이터를 기억 단서(memory cue)로 추출하는 기능을 수행한다. 기억 단서 저장부(180)는 저장된 데이터들과 구분하여 추출된 기억 단서를 별도 저장하는 기능을 수행한다.
다음으로, 기억 회상용 데이터 처리 시스템(100)을 일실시예를 들어 설명한다. 본 실시예에 따른 기억 회상용 데이터 처리 시스템(100)은 로봇을 이용한 기억력 보조 시스템으로서, 로봇을 이용해 사진을 수집하고, 사용자의 피드백을 통해 기억 단서를 추출하여 관리하며, 사용자가 원하는 시점이나 인식을 통해 데이터베이스(DB)와 SNS(Social Network Service)를 연계하여 일상 생활에서 발생한 경험과 이벤트에 대한 사진을 보여줌으로써 기억력 회상에 도움을 주기 위한 시스템이다. 상기에서, 사용자는 예컨대 고령자, 기억력 장애가 있는 사람 등이 될 수 있다.
도 3은 사용자의 기억력 회상에 도움을 주기 위한 기억력 보조 시스템 구성도이다. 기억력 보조 시스템(310)은 상황 기반 사진 수집 관리기(311), 사진 정보 추출 생성기(312), 기억 단서 관리기(313), 및 사진 DB/SNS 어댑터(314)로 구성된다.
상황 기반 사진 수집 관리기(311)는 사용자가 로봇을 발견하고 제스처나 음성을 통해 호출을 하면 로봇이 다가가거나 로봇이 얼굴 검출/얼굴 인식을 통해 고령자를 발견하고 "사진 찍어드릴까요?" 라고 물어봤을 경우 고령자가 "OK." 하면 사진을 촬영한다. 이때 로봇에 부착된 카메라를 이용하여 사진을 찍고, 로봇이 제스처 인식, 얼굴 검출, 음원 추적, 음성 인식 등의 HRI 인식 라이브러리(320)를 호출하고, 인식된 결과를 가져와 로봇이 이동하거나 사진을 찍고 관리하는 모듈이다. 상황 기반 사진 수집 관리기(311)는 도 1의 데이터 수집부(150)에 대응하는 개념이다.
사진 정보 추출 생성기(312)는 촬영된 사진이나 SNS(Social Network Service)에서 가져온 사진을 대상으로 사용자 정보, 위치, 시간, 및 사진에 포함된 인물 정보 등을 추출하거나, 사진에 대한 고유한 ID를 부여하여 사진에 대한 정보를 생성한다. 또한, 사진에 포함된 인물 정보를 추출하기 위해 얼굴 인식 라이브러리를 이용하여 결과를 가공하는 모듈이다. 이러한 정보는 사진 DB(330)에 저장시 DB 스키마에 적용되며 사진에 대한 메타 정보로 활용된다. 사진 정보 추출 생성기(312)는 도 1의 데이터 분류부(160)에 대응하는 개념이다.
기억 단서 관리기(313)는 사용자가 로봇을 통해 사진을 보여주었을 때 선택해서 본 사진이나 자주 본 사진을 피드백 받아 기억 단서(memory cues)로 이용하기 위해 고령자의 피드백 데이터를 관리하고 고령자의 검색 요청시 피드백 데이터를 이용해 이벤트를 분류하여 제공하는 모듈이다. 기억 단서 관리기(313)는 도 1의 기억 단서 추출부(170)와 기억 단서 저장부(180)에 대응하는 개념이다.
사진 DB/SNS 어댑터(314)는 생성된 사진 정보를 기반으로 SQL 질의(query)문을 작성하여 데이터베이스에 저장하고 기억력 보조 GUI(340)에서 요청하는 질의(query)에 대한 결과를 추출하여 제공하는 기능을 한다. 또한, 외부 SNS(Social Network Service)(350)에 연결하고 등록된 사진 데이터를 가져오고 관리하는 기능을 제공하는 모듈이다. 사진 DB/SNS 어댑터(314)는 도 1의 데이터 검출부(120)에 대응하는 개념이다.
기억력 보조 GUI(340)는 로봇(360)에 탑재된 스크린을 이용하고, 사용자가 원하는 시간, 장소, 사람 등으로 질의(341)를 하면 최근 경험이나 이벤트 데이터로 수집된 사진들(342)을 보여주는 인터페이스를 제공한다. 또한, 사용자가 선택된 사진(343)은 확대되거나 하이라이트되면서 보여주고 관심이 있을 경우 피드백(Feedback)(344)을 줄 수 있는 인터페이스를 포함한다. 기억력 보조 GUI(340)는 도 1의 질의 정보 입력부(110)에 대응하는 개념이다. 이 경우, 로봇(360)이 도 1의 데이터 표시부(130)에 대응하는 개념이다.
기억력 보조 시스템(310)은 카메라와 스크린이 장착된 로봇(360)을 이용하여 사용자가 호출을 하면 사진을 촬영하기 위해 사용자의 호출 방법을 인식해야 한다. 이에, 기억력 보조 시스템의 상황 기반 사진 수집 관리기(311)는 얼굴 인식, 제스처 인식, 음원 추적, 음성 인식 등의 HRI 인식 라이브러리(320)를 이용하여 사용자의 호출을 인식한다. 예를 들어, 사용자가 손을 흔들어 "이리와." 라는 제스처를 로봇에게 할 경우 로봇은 제스처 인식기를 통해 인식된 결과를 상황 기반 사진 수집 관리기(311)에게 보내고 로봇은 사용자의 위치까지 이동한다. 이때, 로봇은 확인을 위해 "사진을 찍어드릴까요?" 라고 화면에 보여주거나 TTS(Text To Speech)로 물어 본다. 고령자가 원할 경우 로봇은 사진을 촬영한다. 수집된 사진은 사진 데이터베이스(330)에 저장된다.
다음으로, 본 실시예에 따른 기억 회상용 데이터 처리 시스템(100)의 기억 회상용 데이터 처리 방법에 대해서 설명한다. 도 4는 본 발명의 바람직한 실시예에 따른 기억 회상용 데이터 처리 방법을 도시한 순서도이다. 이하 설명은 도 4를 참조한다.
먼저, 질의 정보 입력부(110)가 로봇을 이용하여 적어도 하나의 질의 정보를 입력받는다(질의 정보 입력 단계, S400).
이후, 데이터 검출부(120)가 입력된 질의 정보를 기초로 저장된 데이터들 중에서 질의 정보를 입력한 입력자와 관련된 데이터를 검출한다(데이터 검출 단계, S410). 데이터 검출 단계(S410)는 SNS 웹사이트로부터 입력자와 관련된 데이터를 추가 검출할 수 있다.
이후, 데이터 표시부(130)가 입력자의 기억 회상이 가능하게 검출된 데이터를 표시한다(데이터 표시 단계, S420).
데이터 검출 단계(S410)와 데이터 표시 단계(S420)는 GUI로 구현될 수 있다. 이때, 데이터 표시 단계(S420)는 GUI에 연동되는 것으로서 로봇에 장착된 스크린을 이용하여 검출된 데이터를 표시할 수 있다.
본 실시예에서 기억 회상용 데이터 처리 방법은 데이터 수집 단계와 데이터 분류 단계를 더욱 포함할 수 있다. 데이터 수집 단계는 데이터 수집부(150)가 로봇을 이용하여 사용자의 요청이 있을 때마다 사용자와 관련된 데이터를 수집하는 단계이다. 데이터 분류 단계는 데이터 분류부(160)가 수집된 데이터를 적어도 하나의 질의 정보와 관련지어 분류시키는 단계이다. 데이터 수집 단계와 데이터 분류 단계는 질의 정보 입력 단계(S400) 이전에 수행될 수 있다.
제1 실시예로써 데이터 수집 단계는 음성/제스처 인식 단계, 음성/제스처 해석 단계, 및 제1 영상 데이터 수집 단계를 포함할 수 있다. 음성/제스처 인식 단계는 음성/제스처 인식부(151)가 사용자의 음성이나 제스처를 인식하는 단계이다. 음성/제스처 해석 단계는 음성/제스처 해석부(152)가 인식된 음성이나 제스처를 해석하는 단계이다. 제1 영상 데이터 수집 단계는 해석 결과값이 데이터 수집 허락이면, 제1 영상 데이터 수집부(153)가 사용자에게 접근하여 사용자에 대한 영상 데이터를 수집하는 단계이다.
제2 실시예로써 데이터 수집 단계는 영상 획득 단계, 인체 검출 단계, 사용자 판별 단계, 질의 단계, 및 제2 영상 데이터 수집 단계를 포함할 수 있다. 영상 획득 단계는 영상 획득부(154)가 로봇이 정지 중 또는 이동 중 미리 정해진 거리 내에 위치한 사람을 포함하는 영상을 획득하는 단계이다. 인체 검출 단계는 인체 검출부(155)가 획득된 영상에 포함된 사람의 인체 일부를 검출하는 단계이다. 사용자 판별 단계는 사용자 판별부(156)가 검출된 신체 일부를 해석하여 획득된 영상에 포함된 사람이 등록된 사용자인지를 판별하는 단계이다. 질의 단계는 질의부(157)가 획득된 영상에 포함된 사람이 등록된 사용자이면, 데이터 수집 가능 여부에 대해서 질의하는 단계이다. 제2 영상 데이터 수집 단계는 제2 영상 데이터 수집부(158)가 질의에 대한 답변이 데이터 수집 허락이면, 획득된 영상을 사용자에 대한 영상 데이터로 수집하거나, 사용자에게 접근하여 사용자에 대한 영상 데이터를 다시 수집하거나 추가 수집하는 단계이다.
한편, 데이터 수집 단계는 사용자가 등록된 SNS(Social Network Service) 웹사이트로부터 사용자와 관련된 데이터를 수집할 수 있다.
데이터 분류 단계는 데이터 정보 생성 단계, 질의 정보 생성 단계, 및 수집 데이터 분류 단계를 포함할 수 있다. 데이터 정보 생성 단계는 데이터 정보 생성부(161)가 수집된 데이터마다 데이터에 대한 정보를 생성하는 단계이다. 데이터 정보 생성 단계에서는 데이터에 대한 정보로 사용자에 대한 정보, 데이터에 표시된 장소의 위치 정보, 데이터가 획득된 시간 정보, 데이터에 표시된 사용자를 제외한 인물에 대한 정보, 및 데이터에 할당된 식별 정보 중 적어도 하나의 정보를 이용할 수 있다. 질의 정보 생성 단계는 질의 정보 생성부(162)가 생성된 정보를 기초로 수집된 데이터마다 질의 정보를 생성하는 단계이다. 수집 데이터 분류 단계는 수집 데이터 분류부(163)가 생성된 질의 정보를 고려하여 수집된 데이터를 분류시키는 단계이다.
본 실시예에서 기억 회상용 데이터 처리 방법은 기억 단서 추출 단계와 기억 단서 저장 단계를 더욱 포함할 수 있다. 기억 단서 추출 단계는 기억 단서 추출부(170)가 저장된 데이터들 중에서 사용자에 의해 선택된 데이터 또는 검색횟수가 기준값 이상인 데이터를 기억 단서(memory cue)로 추출하는 단계이다. 기억 단서 저장 단계는 기억 단서 저장부(180)가 저장된 데이터들과 구분하여 추출된 기억 단서를 별도 저장하는 단계이다. 기억 단서 추출 단계와 기억 단서 저장 단계는 질의 정보 입력 단계(S400)와 데이터 검출 단계(S410)의 중간 단계로서 수행될 수 있다.
다음으로, 본 실시예에 따른 기억 회상용 데이터 처리 방법의 다양한 구현예를 설명한다.
도 5는 로봇을 이용해서 촬영된 정지 영상을 보여주고 사용자가 선택한 피드백을 기억 단서로 이용해 기억력 회상에 도움을 주기 위한 흐름을 포함한다. 사용자 로봇을 발견하고 사진을 보고 싶을 때(S500) 로봇은 얼굴 인식을 통해 사용자를 인식(S501)하는 과정을 수행한다. 등록된 사용자인지를 확인하면(S502) 로봇은 "사진을 볼까요?" 라고 TTS나 화면을 통해 사진 보기 확인 과정(S503)을 거처 사용자가 "OK." 하면 사진 검색(S504) 단계를 진행한다. 사진 검색은 기억력 보조 GUI의 질의(query) 인터페이스를 통해 특정 시간, 장소 및 사람에 대한 검색을 수행한다. 이 과정에서 기억 단서 DB를 검색하여 결과를 가져오고(S505), 사진 수집 DB와 외부 SNS(Social Network Service)에서 제공하는 API를 이용해 연결(S506)할 수 있으며, 최근 등록된 가족 및 친구 사진을 가져온다. 노인 요양 시설이나 복지 시설에서만 생활하는 고령자에게는 가족이나 친구 사진을 제공해 줌으로써 정신적/감성적 안정에 도움을 줄 수 있다. 검색된 결과가 존재하면(S507) 사진을 보여준다(S508). 기억력 보조 GUI 화면을 통해 사용자는 사진을 보면서 관심있는 사진을 선택하고(S509) 기억력에 도움이 되었던 사진이나 관심이 많은 사진에 대한 피드백 과정(S510)을 통해 기억력 단서를 DB에 저장한다(S511).
사용자가 선택한 사진을 기억 단서로 이용할 수 있다. 기억 단서(memory cues)를 찾는 방법 중 하나는 피실험자와 함께 일상에서 발생하는 사건(events), 경험(experience), 행동(action) 등에 대한 관찰을 통해 단서를 찾아내야 하는 방법이 있다. 하지만, 이 방법은 시간이 많이 걸리고 기억을 공유하는 보호자(caregiver)가 있어야 정확한 기억 단서를 찾아낼 수 있다. 또한, 개인마다 특성, 경험의 종류, 장소, 함께한 사람 등에 따라 기억 단서가 다르기 때문에 정보를 수집하기가 어렵다. 따라서, 본 실시예에서는 기억 단서를 제공하는 방법으로 수집된 사진을 대상으로 로봇의 기억력 보조 GUI 화면을 통해 보여주면 사용자(고령자, 기억력 장애를 가진 사람 등)는 인상이 깊었던 사진이나 관심이 있는 사진을 선택하고, 피드백을 주게 되면 기억 단서로 사용하기 위해 DB에 저장한다.
로봇이 SNS를 연계하여 가족이나 친구 사진을 제공할 수 있다. 요양 시설이나 복지 시설에서 있는 고령자에게 가족이나 친구 사진을 제공하기 위해 API가 공개된 SNS(Social Network Service)에 접속하여 특정 기간(ex. 최근 사진) 동안의 사진을 가져와 로봇을 통해 보여준다.
사진 저장의 경우, 촬영된 사진은 얼굴 인식 라이브러리를 이용하여 사전에 등록된 가족이나 친구들의 얼굴과 비교하여 누구와 함께 있었는지 확인하는 과정을 거치고, 결과로 얻어진 인식 목록, 위치, 촬영 시간, 촬영 요구자, 사진 고유 ID 정보 등을 생성하여 검색을 위한 색인 정보로 활용한다.
도 6은 로봇을 이용해 사진을 수집하는 흐름을 도시한다. 로봇을 이용해 사진을 촬영하면 사용자가 포함한 사진을 수집할 수 있으며, 사용자의 사진 촬영 동의에 대한 확인 과정이 있기 때문에 프라이버시 문제를 최소화할 수 있다.
사용자가 제스처, 음성, 신호 등을 통해 로봇을 호출하면(S600) 로봇은 제스처 인식, 음성 인식, 음원 추적 등을 포함하는 HRI 인식 라이브러리를 이용하여 인식 과정을 거친다(S601). 로봇이 사용자의 호출을 인식하면(S602) 사용자의 위치로 이동하고(S603), 사용자에게 사진을 촬영할 것인지 확인하는 과정을 거친다(S604). 사용자가 동의를 하면 로봇은 부착된 카메라를 이용하여 사진을 촬영하고(S605), 사진DB에 저장한다(S606). 사진 촬영시 사용자가 동의하지 않을 경우 다른 호출이 있을 때까지 대기한다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명은 인간과 로봇 간 상호작용 매개 관련 기술에 적용될 수 있다.
100 : 기억 회상용 데이터 처리 시스템 110 : 질의 정보 입력부
120 : 데이터 검출부 130 : 데이터 표시부
140 : 주제어부 150 : 데이터 수집부
151 : 음성/제스처 인식부 152 : 음성/제스처 해석부
153 : 제1 영상 데이터 수집부 154 : 영상 획득부
155 : 인체 검출부 156 : 사용자 판별부
157 : 질의부 158 : 제2 영상 데이터 수집부
160 : 데이터 분류부 161 : 데이터 정보 생성부
162 : 질의 정보 생성부 163 : 수집 데이터 분류부
170 : 기억 단서 추출부 180 : 기억 단서 저장부

Claims (16)

  1. 로봇에 구비된 것으로서, 적어도 하나의 질의 정보를 입력받는 질의 정보 입력부;
    입력된 질의 정보를 기초로 저장된 데이터들 중에서 상기 질의 정보를 입력한 입력자와 관련된 데이터를 검출하는 데이터 검출부; 및
    상기 입력자의 기억 회상이 가능하게 검출된 데이터를 표시하는 데이터 표시부
    를 포함하는 것을 특징으로 하는 기억 회상용 데이터 처리 시스템.
  2. 제 1 항에 있어서,
    로봇에 구비된 것으로서, 사용자의 요청이 있을 때마다 상기 사용자와 관련된 데이터를 수집하는 데이터 수집부; 및
    수집된 데이터를 적어도 하나의 상기 질의 정보와 관련지어 분류시키는 데이터 분류부
    를 더욱 포함하는 것을 특징으로 하는 기억 회상용 데이터 처리 시스템.
  3. 제 2 항에 있어서,
    상기 데이터 수집부는,
    정지 중 또는 이동 중 미리 정해진 거리 내에 위치한 사람을 포함하는 영상을 획득하는 영상 획득부;
    획득된 영상에 포함된 사람의 인체 일부를 검출하는 인체 검출부;
    검출된 신체 일부를 해석하여 획득된 영상에 포함된 사람이 등록된 사용자인지를 판별하는 사용자 판별부;
    획득된 영상에 포함된 사람이 등록된 사용자이면, 데이터 수집 가능 여부에 대해서 질의하는 질의부; 및
    질의에 대한 답변이 데이터 수집 허락이면, 획득된 영상을 사용자에 대한 영상 데이터로 수집하거나, 사용자에게 접근하여 사용자에 대한 영상 데이터를 다시 수집하거나 추가 수집하는 영상 데이터 수집부
    를 포함하는 것을 특징으로 하는 기억 회상용 데이터 처리 시스템.
  4. 제 2 항에 있어서,
    상기 데이터 수집부는 상기 사용자가 등록된 SNS(Social Network Service) 웹사이트로부터 상기 사용자와 관련된 데이터를 수집하거나,
    상기 데이터 검출부는 SNS 웹사이트로부터 상기 입력자와 관련된 데이터를 추가 검출하는 것을 특징으로 하는 기억 회상용 데이터 처리 시스템.
  5. 제 2 항에 있어서,
    상기 데이터 분류부는,
    수집된 데이터마다 데이터에 대한 정보를 생성하는 데이터 정보 생성부;
    생성된 정보를 기초로 수집된 데이터마다 질의 정보를 생성하는 질의 정보 생성부; 및
    생성된 질의 정보를 고려하여 수집된 데이터를 분류시키는 수집 데이터 분류부
    를 포함하는 것을 특징으로 하는 기억 회상용 데이터 처리 시스템.
  6. 제 5 항에 있어서,
    상기 데이터 정보 생성부는 데이터에 대한 정보로 상기 사용자에 대한 정보, 데이터에 표시된 장소의 위치 정보, 데이터가 획득된 시간 정보, 데이터에 표시된 사용자를 제외한 인물에 대한 정보, 및 데이터에 할당된 식별 정보 중 적어도 하나의 정보를 이용하는 것을 특징으로 하는 기억 회상용 데이터 처리 시스템.
  7. 제 1 항에 있어서,
    저장된 데이터들 중에서 사용자에 의해 선택된 데이터 또는 검색횟수가 기준값 이상인 데이터를 기억 단서(memory cue)로 추출하는 기억 단서 추출부; 및
    저장된 데이터들과 구분하여 추출된 기억 단서를 별도 저장하는 기억 단서 저장부
    를 더욱 포함하는 것을 특징으로 하는 기억 회상용 데이터 처리 시스템.
  8. 제 1 항에 있어서,
    상기 데이터 검출부 및 상기 데이터 표시부는 GUI로 구현되며,
    상기 GUI는 상기 로봇에 장착된 스크린을 이용하여 검출된 데이터를 표시하는 것을 특징으로 하는 기억 회상용 데이터 처리 시스템.
  9. 로봇을 이용하여 적어도 하나의 질의 정보를 입력받는 질의 정보 입력 단계;
    입력된 질의 정보를 기초로 저장된 데이터들 중에서 상기 질의 정보를 입력한 입력자와 관련된 데이터를 검출하는 데이터 검출 단계; 및
    상기 입력자의 기억 회상이 가능하게 검출된 데이터를 표시하는 데이터 표시 단계
    를 포함하는 것을 특징으로 하는 기억 회상용 데이터 처리 방법.
  10. 제 9 항에 있어서,
    로봇을 이용하여 사용자의 요청이 있을 때마다 상기 사용자와 관련된 데이터를 수집하는 데이터 수집 단계; 및
    수집된 데이터를 적어도 하나의 상기 질의 정보와 관련지어 분류시키는 데이터 분류 단계
    를 더욱 포함하는 것을 특징으로 하는 기억 회상용 데이터 처리 방법.
  11. 제 10 항에 있어서,
    상기 데이터 수집 단계는,
    정지 중 또는 이동 중 미리 정해진 거리 내에 위치한 사람을 포함하는 영상을 획득하는 영상 획득 단계;
    획득된 영상에 포함된 사람의 인체 일부를 검출하는 인체 검출 단계;
    검출된 신체 일부를 해석하여 획득된 영상에 포함된 사람이 등록된 사용자인지를 판별하는 사용자 판별 단계;
    획득된 영상에 포함된 사람이 등록된 사용자이면, 데이터 수집 가능 여부에 대해서 질의하는 질의 단계; 및
    질의에 대한 답변이 데이터 수집 허락이면, 획득된 영상을 사용자에 대한 영상 데이터로 수집하거나, 사용자에게 접근하여 사용자에 대한 영상 데이터를 다시 수집하거나 추가 수집하는 영상 데이터 수집 단계
    를 포함하는 것을 특징으로 하는 기억 회상용 데이터 처리 방법.
  12. 제 10 항에 있어서,
    상기 데이터 수집 단계는 상기 사용자가 등록된 SNS(Social Network Service) 웹사이트로부터 상기 사용자와 관련된 데이터를 수집하거나,
    상기 데이터 검출 단계는 SNS 웹사이트로부터 상기 입력자와 관련된 데이터를 추가 검출하는 것을 특징으로 하는 기억 회상용 데이터 처리 방법.
  13. 제 10 항에 있어서,
    상기 데이터 분류 단계는,
    수집된 데이터마다 데이터에 대한 정보를 생성하는 데이터 정보 생성 단계;
    생성된 정보를 기초로 수집된 데이터마다 질의 정보를 생성하는 질의 정보 생성 단계; 및
    생성된 질의 정보를 고려하여 수집된 데이터를 분류시키는 수집 데이터 분류 단계
    를 포함하는 것을 특징으로 하는 기억 회상용 데이터 처리 방법.
  14. 제 13 항에 있어서,
    상기 데이터 정보 생성 단계는 데이터에 대한 정보로 상기 사용자에 대한 정보, 데이터에 표시된 장소의 위치 정보, 데이터가 획득된 시간 정보, 데이터에 표시된 사용자를 제외한 인물에 대한 정보, 및 데이터에 할당된 식별 정보 중 적어도 하나의 정보를 이용하는 것을 특징으로 하는 기억 회상용 데이터 처리 방법.
  15. 제 9 항에 있어서,
    저장된 데이터들 중에서 사용자에 의해 선택된 데이터 또는 검색횟수가 기준값 이상인 데이터를 기억 단서(memory cue)로 추출하는 기억 단서 추출 단계; 및
    저장된 데이터들과 구분하여 추출된 기억 단서를 별도 저장하는 기억 단서 저장 단계
    를 더욱 포함하는 것을 특징으로 하는 기억 회상용 데이터 처리 방법.
  16. 제 9 항에 있어서,
    상기 데이터 검출 단계 및 상기 데이터 표시 단계는 GUI로 구현되며,
    상기 데이터 표시 단계는 상기 GUI에 연동되는 것으로서 상기 로봇에 장착된 스크린을 이용하여 검출된 데이터를 표시하는 것을 특징으로 하는 기억 회상용 데이터 처리 방법.
KR1020100116115A 2010-11-22 2010-11-22 기억 회상용 데이터 처리 시스템 및 그 방법 KR101429962B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100116115A KR101429962B1 (ko) 2010-11-22 2010-11-22 기억 회상용 데이터 처리 시스템 및 그 방법
US13/198,372 US20120131065A1 (en) 2010-11-22 2011-08-04 System and method for processing data for recalling memory

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100116115A KR101429962B1 (ko) 2010-11-22 2010-11-22 기억 회상용 데이터 처리 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20120054804A true KR20120054804A (ko) 2012-05-31
KR101429962B1 KR101429962B1 (ko) 2014-08-14

Family

ID=46065360

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100116115A KR101429962B1 (ko) 2010-11-22 2010-11-22 기억 회상용 데이터 처리 시스템 및 그 방법

Country Status (2)

Country Link
US (1) US20120131065A1 (ko)
KR (1) KR101429962B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220008408A (ko) * 2020-07-13 2022-01-21 지피헬스 주식회사 반려 로봇을 이용한 실버 케어 시스템

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10466795B2 (en) * 2013-03-29 2019-11-05 Lg Electronics Inc. Mobile input device and command input method using the same
DE112017007339T5 (de) * 2017-03-31 2019-12-12 Honda Motor Co., Ltd. Bilderzeugungsvorrichtung und Bilderzeugungsverfahren
JP2019111625A (ja) * 2017-12-25 2019-07-11 カシオ計算機株式会社 情報処理装置、ロボット、情報処理方法及びプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04343178A (ja) * 1991-05-20 1992-11-30 Sony Corp 画像処理装置
JP2005078376A (ja) * 2003-08-29 2005-03-24 Sony Corp 対象物検出装置、対象物方法、及びロボット装置
JP4086024B2 (ja) * 2004-09-14 2008-05-14 ソニー株式会社 ロボット装置及びその行動制御方法
WO2009002567A1 (en) * 2007-06-27 2008-12-31 The University Of Hawaii Virtual reality overlay
US9495583B2 (en) * 2009-01-05 2016-11-15 Apple Inc. Organizing images by correlating faces
US8831276B2 (en) 2009-01-13 2014-09-09 Yahoo! Inc. Media object metadata engine configured to determine relationships between persons
US8670597B2 (en) * 2009-08-07 2014-03-11 Google Inc. Facial recognition with social network aiding
US9014848B2 (en) * 2010-05-20 2015-04-21 Irobot Corporation Mobile robot system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220008408A (ko) * 2020-07-13 2022-01-21 지피헬스 주식회사 반려 로봇을 이용한 실버 케어 시스템

Also Published As

Publication number Publication date
KR101429962B1 (ko) 2014-08-14
US20120131065A1 (en) 2012-05-24

Similar Documents

Publication Publication Date Title
KR102354428B1 (ko) 이미지를 분석하기 위한 웨어러블기기 및 방법
JP5523900B2 (ja) 人物検索装置、人物検索方法、及び人物検索プログラム
US20060041542A1 (en) Networked peripheral for visitor greeting, identification, biographical lookup and tracking
EP0495622A2 (en) Indexing of data sets
KR20190052190A (ko) IoT를 이용한 취약계층 보호관리 시스템
JP5590945B2 (ja) 人物検索装置、人物検索方法、及び人物検索プログラム
WO2009083427A1 (en) Method and apparatus for digital recording and playback
Doryab et al. Extraction of behavioral features from smartphone and wearable data
KR20120054804A (ko) 기억 회상용 데이터 처리 시스템 및 그 방법
KR20160077408A (ko) 클라우드 기반의 위험 감지 시스템
US11615177B2 (en) Information processing system, information processing device, control method, and storage medium
WO2019112154A1 (ko) 텍스트-리딩 기반의 리워드형 광고 서비스 제공 방법 및 이를 수행하기 위한 사용자 단말
KR20150135688A (ko) 시청 데이터를 이용한 기억 보조 방법
US20200402641A1 (en) Systems and methods for capturing and presenting life moment information for subjects with cognitive impairment
WO2018173948A1 (ja) サービス提供システム
JP4018967B2 (ja) 記録映像自動生成システム，記録映像自動生成方法，記録映像自動生成プログラムおよび記録映像自動生成プログラムの記録媒体
Ronzhin et al. Context-aware mobile applications for communication in intelligent environment
JP5573402B2 (ja) 会議支援装置、会議支援方法、会議支援プログラムおよび記録媒体
JP2012049774A (ja) 映像監視装置
JP2017033382A (ja) 画像情報検索サーバ、画像情報検索方法、及び利用者端末
Foukarakis et al. An Integrated Approach to Support Health Monitoring of Older Adults
Gaete et al. Visitrack: A pervasive service for monitoring the social activity of older adults living at home
Ye et al. Aiding Episodic Memory in Lifelog System Focusing on User Status
WO2023182022A1 (ja) 情報処理装置、情報処理方法、端末装置及び出力方法
JP2022138320A (ja) 報知装置、報知方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
FPAY Annual fee payment

Payment date: 20170727

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190725

Year of fee payment: 6