KR20150135688A - 시청 데이터를 이용한 기억 보조 방법 - Google Patents

시청 데이터를 이용한 기억 보조 방법 Download PDF

Info

Publication number
KR20150135688A
KR20150135688A KR1020140062308A KR20140062308A KR20150135688A KR 20150135688 A KR20150135688 A KR 20150135688A KR 1020140062308 A KR1020140062308 A KR 1020140062308A KR 20140062308 A KR20140062308 A KR 20140062308A KR 20150135688 A KR20150135688 A KR 20150135688A
Authority
KR
South Korea
Prior art keywords
data
importance
character
information
context
Prior art date
Application number
KR1020140062308A
Other languages
English (en)
Other versions
KR101584685B1 (ko
Inventor
김홍기
최상섭
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to KR1020140062308A priority Critical patent/KR101584685B1/ko
Priority to US14/685,804 priority patent/US9778734B2/en
Publication of KR20150135688A publication Critical patent/KR20150135688A/ko
Application granted granted Critical
Publication of KR101584685B1 publication Critical patent/KR101584685B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

사용자가 시청하는 데이터를 선별하여 시청시의 객체/행위 데이터와 함께 기록하고, 사용자의 검색 지시 또는 상황 조건에 따라 기록된 시청 데이터를 추출하여 제공하는 기억 보조 방법에 있어서, (a) 상기 이동단말은 웨어러블 장치로부터 시청 데이터를 입력받는 단계; (b) 상기 시청 데이터로부터 서로 연관된 부분만을 분리한 단위 데이터를 분리하는 단계; (c) 상기 단위 데이터로부터 문자 또는 특징 데이터(이하 문자/특징 데이터)를 추출하는 단계; (d) 상기 문자/특징 데이터로부터 객체를 추출하여 객체 데이터를 생성하고, 상기 시청 데이터의 상황을 나타내는 컨텍스트 데이터를 생성하는 단계; (e) 객체 또는 컨텍스트에 대한 정보를 사전에 저장한 데이터베이스(이하 개인정보DB)를 참조하여, 상기 생성된 객체 및 컨텍스트 데이터의 중요도를 결정하는 단계; 및, (f) 중요도에 따라 시청 데이터를 저장하는 단계를 포함하는 구성을 마련한다.
상기와 같은 기억 보조 방법에 의하여, 사용자가 평상시 인지하는 시청각 데이터를 기록하였다가 현재 수행하는 작업 또는 처해진 상황에서 필요한 데이터를 추출하여 제공함으로써, 사용자의 시청하는 정보를 오랜 시간이 지나도 정확하게 회상할 수 있다.

Description

시청 데이터를 이용한 기억 보조 방법 { A memory aid method using audio-visual data }
본 발명은 사용자가 시청하는 데이터를 선별하여 시청시의 상황/행위 데이터와 함께 기록하고, 사용자의 검색 지시 또는 상황 조건에 따라 기록된 시청 데이터를 추출하여 제공하는 기억 보조 방법에 관한 것이다.
기술이 발전함에 따라 현대 생활은 더 많은 스킬과 지식을 요구하여 더 많은 인지능력이 필요해진다. 또한, 과거에 비해 더 큰 인지능력을 필요로 하는 직업들이 더 많이 생겨나고 있고, 동시에, 현대 생활에서 넘쳐나는 정보는 사람의 기억력 한계를 넘어 과중되고 있다. 특히, 사람들은 인터넷, 스마트폰, 태블릿 컴퓨터, TV, 라디오로부터 쏟아지는 엄청난 정보에 매몰되고 있다.
이러한 정보 과부하에 대한 해결책 중 하나가 기억 보조 시스템이다. 자동차가 인간의 이동성을 확장하였듯이, 기억 보조 시스템도 인간의 기억력을 증대시키고, 정보 과부하 사회에서 인간이 보다 더 나은 역량을 발휘할 수 있도록 지원해줄 수 있다. 이와 같은 기억 보조 시스템은 인간 기억과 함께 끊임없이 지속적으로 작동해야 한다. 즉, 기억 보조 시스템은 인간 기억의 작동 방식을 이해해야 하고 인간 기억력의 강점과 한계를 알아야 하고, 즉시적으로 정확한 정보를 제때에 제공해주어야 한다.
한편, 인간의 기억은 미래 기억(PM, prospective memory)과 과거 기억(RM, retrospective memory)으로 구분된다. 미래 기억은 기억하기 위해 기억하는 능력으로 정의되고 있다(Winograd, 1988). 예를 들어, 다음주 금요일에 친구에게 전화한다는 기억을 말한다. 과거 기억은 과거에 일어났던 일을 기억하는 것을 말한다.
미래 기억에 대한 문제는 고령자의 일상에서 널리 나타나고 있다. 예를 들어, 나이든 사람이 약 복용 시간이나 점심 시간을 잘 잊어버린다. 그러나 다행히 미래 기억의 문제는 쉽게 해결될 수 있다. 사전에 예약된 시간에 할일을 알려주는 스마트폰의 어플들이 많이 개발되고 있다[특허문헌 1].
그러나 과거 기억에 대한 기억 보조 기술은 아직 해결되어야 할 문제들이 많이 있고, 현재에도 이와 관련된 연구들이 진행 중이다.
일례로서, 센서들에 의해 수집된 데이터를 서버로 송출하여 데이터를 분석하는 아키텍처를 제안한 연구로서 HERMES 프로젝트에서 사용되는 시스템 아키텍처가 제시되었다[비특허문헌 1]. 이 시스템은 실내와 실외에 설치된 카메라를 포함하며, 이 카메라를 통해 들어온 시청(audio/visual) 입력은 시각분석과 청각처리를 담당하는 지각(perceptual) 컴포넌트들에 의해 처리되어 메타데이터가 추출되고 시스템의 데이터베이스(DB)에 저장된다. 어플리케이션 데이터와 메타데이터는 별개의 두 저장소에 저장되는데, 첫째 저장소는 관계 DB로 어플리케이션 데이터를 저장하고, 둘째 저장소는 지식 베이스 저장소로 메타데이터의 타당성을 검증하고 새 지식을 추론하며 규칙 엔진에 근거하여 규칙을 적용하는 등의 작업에 사용된다.
또한, 착용가능한 기기가 연속적으로 이미지를 기록하는 장치의 예로서, 마이크로소프트 사의 SenseCam은 사용자가 착용한 채로 생활을 하면 일련의 이미지와 센서 데이터를 저장하여 주는 장치인데, 이 기기가 기록한 이미지를 기억상실증 환자에게 주기적으로 보여줌으로써 환자의 기억을 도울 수 있음을 보여주었다[비특허문헌 2]. 다른 예로는, 이런 방법으로 기억력이 손상된 환자의 생활 기억을 향상시킬 수 있음을 보여주었다[비특허문헌 3]. 이들 연구는 연속적으로 기록된 이미지를 보여주는 것이 기억향상을 돕는다는 것을 보여주었으나, 제공되는 이미지 데이터의 양이 너무 많아서 리얼타임으로 이용하기에는 어려운 면이 있다. 따라서 수집된 이미지 데이터에서 사용자에게 중요한 이미지를 선택해야 할 필요성을 제기한다.
또한, 일화기억 손상된 환자에게 인물, 행위, 대상, 장소 등을 단서로 제시하여 일화기억을 향상시킬 수 있음을 보여주었다[비특허문헌 4]. 이 연구 결과는, 연속적으로 입력되는 시청 데이터에서 인물, 행위, 대상, 장소 등의 정보를 추출하여 저장해 두면, 나중에 이들을 이용하여 사용자의 일화기억을 향상시킬 수 있을 가능성을 시사한다.
또한, 특허문헌으로서, 기억 보조를 위한 3-층 아키텍처가 제시되고 있다[특허문헌 2]. 작은 무선 센싱 장치가 동적으로 프로그램되어 착용자의 현재 맥락과 환경에 관련된 중요 정보를 자동적으로 탐지한다. 내부의 규칙 엔진을 사용하여, 이 장치는 어떤 정보가 사용자에게 중요한지를 판단하여, 중요 정보를 모바일 어플리케이션에 업로드한다. 이 모바일 어플리케이션은 센서에서 얻어진 기타 정보를 사용하여 이 중요 정보를 분석한 후 완전한 정보 세트를 인터넷 서비스 어플리케이션에 업로드한다. 인터넷 서비스 어플리케이션은 다른 외부 데이터 소스와 내부 처리 엔진을 이용하여 업로드된 정보를 처리하여 통지(notification) 엔진을 통해 사용자에게 전달한다.
[특허문헌 1] 한국공개특허 10-2013-0030465 (2013.03.27.공개) [특허문헌 2] 국제공개특허 WO 2012/035119 A1(2012.03.22.공개)
[비특허문헌 1] C. Buiza, et ah, "HERMES: Pervasive Computing and Cognitive Training for Ageing Well," Distributed Computing, Artificial Intelligence, Bioinformatics, Soft Computing, and Ambient Assisted Living, pp. 756-763, 2009 [비특허문헌 2] S. Hodges, et al, "SenseCam: A Retrospective Memory Aid," ed, 2006, pp. 177-193 [비특허문헌 3] E. Berry, et al, "The use of a wearable camera, SenseCam, as a pictorial diary to improve autobiographical memory in a patient with limbic encephalitis: A preliminary report," Neuropsychological Rehabilitation, vol. 17, pp. 582-601, 2007 [비특허문헌 4] M. L. Lee and A. K. Dey, "Providing good memory cues for people with episodic memory impairment," Tempe, Arizona, USA, 2007, pp. 131-138
본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 사용자가 시청하는 데이터를 선별하여 시청 시의 환경 데이터와 함께 기록하고, 사용자의 검색 지시 또는 환경 조건에 따라 기록된 시청 데이터를 추출하여 제공하는 기억 보조 방법을 제공하는 것이다.
상기 목적을 달성하기 위해 본 발명은 웨어러블 장치 및 이동단말로 구성되는 시스템을 이용하는 기억 보조 방법에 관한 것으로서,(a) 상기 이동단말은 웨어러블 장치로부터 시청 데이터를 입력받는 단계; (b) 상기 시청 데이터로부터 서로 연관된 부분만을 분리한 단위 데이터를 분리하는 단계; (c) 상기 단위 데이터로부터 문자 또는 특징 데이터(이하 문자/특징 데이터)를 추출하는 단계; (d) 상기 문자/특징 데이터로부터 객체를 추출하여 객체 데이터를 생성하고, 상기 시청 데이터의 상황을 나타내는 컨텍스트 데이터를 생성하는 단계; (e) 객체 또는 컨텍스트에 대한 정보를 사전에 저장한 데이터베이스(이하 개인정보DB)를 참조하여, 상기 생성된 객체 및 컨텍스트 데이터의 중요도를 결정하는 단계; 및, (f) 중요도에 따라 시청 데이터를 저장하는 단계를 포함하는 것을 특징으로 한다.
또, 본 발명은 기억 보조 방법에 있어서, 상기 시청 데이터는 상기 웨어러블 장치의 카메라에 의해 촬영된 영상 데이터 및, 상기 웨어러블 장치의 마이크에 의해 녹음된 음성 데이터 중 어느 하나 이상인 것을 특징으로 한다.
또, 본 발명은 기억 보조 방법에 있어서, 상기 (a)단계에서, 상기 이동단말은 상기 웨어러블 장치의 센싱 장치에 의해 측정되거나, 자신의 센싱 장치에 의해 측정된, 위치, 시간, 방향, 속도 중 어느 하나 이상을 포함하는 센싱 데이터를 추가적으로 입력받는 것을 특징으로 한다.
또, 본 발명은 기억 보조 방법에 있어서, 상기 단위 데이터는 상기 영상 데이터의 얼굴, 물체, 배경 중 어느 하나의 이미지를 추출한 이미지 데이터이거나, 상기 음성 데이터의 적어도 하나의 문장을 포함한 음성 단락인 것을 특징으로 한다.
또, 본 발명은 기억 보조 방법에 있어서, 상기 문자 데이터는 상기 영상 데이터에서 문자인식 방법에 의해 인식된 문자이거나, 상기 음성 데이터에서 음성인식 방법에 의해 인식된 문자이고, 상기 특징 데이터는 상기 영상 데이터의 이미지에서 추출된 특징점들이거나, 상기 음성 데이터의 음파에서 추출한 음파의 고유한 특징인 것을 특징으로 한다.
또, 본 발명은 기억 보조 방법에 있어서, 상기 객체 데이터는 객체를 식별하는 식별정보와, 객체의 속성을 나타내는 속성정보로 구성되는 것을 특징으로 한다.
또, 본 발명은 기억 보조 방법에 있어서, 상기 (d)단계에서, 상기 문자 데이터의 문자를 상기 개인정보DB에 저장된 객체의 식별정보와 대비하거나, 상기 특징 데이터의 특징을 상기 개인정보DB에 저장된 객체의 특징과 대비하여, 매칭되면, 상기 단위 데이터에서 추출하는 객체를 매칭된 개인정보DB의 객체로 인식하여 식별하고, 매칭되지 않으면, 상기 특징 데이터의 특징으로 상기 단위 데이터의 객체를 식별하는 것을 특징으로 한다.
또, 본 발명은 기억 보조 방법에 있어서, 상기 컨텍스트 데이터는 상황을 식별하는 행위 데이터 및, 상기 행위에 대한 속성을 나타내는 속성 데이터로 구성되고, 상기 행위는 사전에 분류되고, 각 행위를 판단하는 조건이 사전에 정해지고, 상기 (d)단계에서, 상기 문자 또는 특징 데이터와 상기 센싱 데이터의 조합이 사전에 저장된 행위의 조건에 매칭되는지를 판별하여, 상기 컨텍스트 데이터의 행위를 결정하는 것을 특징으로 한다.
또, 본 발명은 기억 보조 방법에 있어서, 상기 개인정보DB에는 상기 객체 및 상기 행위에 대한 중요도와, 상기 객체 간의 중요도, 상기 행위 간의 중요도, 상기 행위 및 객체 간의 중요도가 저장되고, 상기 (e)단계에서, 상기 객체 또는 상기 컨텍스트의 행위에 대한 중요도를 결정할 때, 상기 객체 간의 중요도, 상기 행위 간의 중요도, 및, 상기 행위 및 객체 간의 중요도를 함께 고려하여 중요도를 결정하는 것을 특징으로 한다.
또, 본 발명은 기억 보조 방법에 있어서, 상기 개인정보DB에는 상기 객체 및 상기 행위의 사용자에 대한 중요도와, 상기 객체 또는 행위의 다른 객체 또는 행위에 대한 중요도가 저장되고, 상기 (e)단계에서, 상기 객체 또는 상기 컨텍스트의 행위에 대한 중요도를 결정할 때, 상기 객체 또는 행위의 저장된 중요도, 및, 상기 객체 또는 행위와 관계가 있는 객체 또는 행위의 중요도를 가중합하여 중요도를 결정하는 것을 특징으로 한다.
상술한 바와 같이, 본 발명에 따른 기억 보조 방법에 의하면, 사용자가 평상시 인지하는 시청각 데이터를 기록하였다가 현재 수행하는 작업 또는 처해진 상황에서 필요한 데이터를 추출하여 제공함으로써, 사용자의 시청하는 정보를 오랜 시간이 지나도 정확하게 회상할 수 있는 효과가 얻어진다.
도 1은 본 발명을 실시하기 위한 전체 시스템 구성의 일례를 도시한 도면.
도 2는 본 발명에 사용되는 데이터의 구조도.
도 3은 본 발명의 제1 실시예에 따른 기억 보조 방법을 설명하는 흐름도.
도 4는 본 발명의 제2 실시예에 따른 기억 보조 방법을 설명하는 흐름도.
도 5는 본 발명의 제3 실시예에 따른 기억 보조 방법을 설명하는 흐름도.
도 6은 본 발명의 제4 실시예에 따른 기억 보조 방법을 설명하는 흐름도.
이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.
또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.
다음으로, 본 발명에 따른 기억 보조 방법을 실시하기 위한 전체 시스템의 구성을 도 1을 참조하여 설명한다.
도 1에서 보는 바와 같이, 본 발명을 실시하기 위한 전체 시스템은 웨어러블 장치(10), 이동단말(20), 및, 서버(30)로 구성된다.
웨어러블 장치(10)는 사용자의 몸에 착용되어 사용자가 시청하는 정보를 센싱하거나 필요한 정보를 사용자에게 제공하는 장치로서, 구글 글라스 등을 말한다. 웨어러블 장치(10)는 카메라(11), 마이크(12) 등 시청각 데이터를 센싱할 수 있는 장치, 및, 디스플레이(13), 스피커(14) 등 사용자의 청각 또는 시각으로 제공하는 장치가 구비된다. 디스플레이(13)는 직접 사용자의 망막에 빛을 조사하는 방식으로, 또는 스피커(14)는 골전도 스피커 방식으로 구현될 수 있다.
또한, 웨어러블 장치(10)는 위성항법장치(GPS), 자이로스코프, 가속센서 등 사용자의 3차원 위치 또는 방향, 속도 등을 센싱할 수 있는 센싱장치도 구비될 수 있다. 또한, 시계 기능을 구비하여 현재 시간 정보 등을 센싱할 수 있다.
바람직하게는, 웨어러블 장치(10)에서 가장 중요하게(또는 주요하게) 센싱되는 데이터는 카메라를 통해 촬영되는 영상 데이터이고, 마이크를 통해 녹음되는 음성 데이터이다. 특히, 사용자가 얼굴에 착용하는 안경(글라스)에 카메라 또는 마이크가 설치되어, 사용자가 보고(視) 듣는(聽) 정보와 거의 유사하게 센싱된다. 상기와 같이 센싱되는 영상 데이터 또는 음성 데이터를 묶어 시청 데이터라 부르기로 한다.
이동단말(20)은 이동통신망을 통해 데이터 교환을 할 수 있는 무선통신 이동단말로서, 통상의 스마트폰, 태블릿PC 등을 말한다. 이동단말(20)에는 프로그램(또는 어플)이 설치되어, 설치된 어플에 의하여 특정 기능이 수행되게 할 수 있다.
특히, 이동단말(20)은 웨어러블 장치(10)에서 수집되는 실시간 시청각 데이터를 분석하여, 필요한 데이터를 선별하여 저장한다. 또한, 기록되는 시청 데이터로부터 컨텍스트 정보나 객체 데이터를 추출하여 함께 저장한다.
한편, 이동단말(20)에 어플 등 프로그램 소프트웨어가 설치되어, 앞서 설명한 웨어러블 장치(10)에서 수집된 데이터를 분석하고 저장하는 기능을 수행할 수 있다. 이하에서, 설명의 편의를 위해 상기와 같은 기능을 이동단말(20)이 수행하는 것으로 설명한다.
또한, 이동단말(20)은 웨어러블 장치(10)와 근거리 무선 네트워크를 통해 데이터를 송수신할 수 있다. 이때, 바람직하게는, 근거리 무선 네트워크는 블루투스 등의 프로토콜을 통해 데이터 통신이 처리된다.
서버(30)는 통상의 서버로서, 이동단말(20)과 이동통신망과 인터넷을 통해 서로 연결되어 데이터를 송수신할 수 있다. 이동단말(20)은 휴대용 장치로서, 컴퓨팅 파워나 저장 용량이 제한되어 있다. 서버(30)는 이와 같이 이동단말(20)의 부족한 자원을 지원한다.
따라서 이동단말(20)이 자체적으로 처리할 수 있는 용량이 넘는 경우, 서버(30)로 관련 데이터를 전송하여, 서버(30)로 하여금 해당 작업을 수행하게 할 수 있다. 또는 이동단말(20)에는 최근 데이터 또는 중요한 데이터 등을 내부 저장 용량의 범위 내로 저장하고, 서버(30)에서 모든 데이터들을 저장한다. 또한, 이동단말(20)에서는 기본적인 검색/분석 기능을 수행하고, 서버(30)에서는 복잡하고 계산이 많은 기능을 포함하여 모든 기능을 수행한다.
바람직하게는, 각 데이터 및 각 기능에 중요도를 부가하여, 중요도에 따라 이동단말(20) 또는 서버(30)에서 처리하는 기능을 분담하게 할 수 있다.
다음으로, 본 발명의 일실시예에 따른 기억 보조 방법을 위한 데이터 구성을 도 2를 참조하여 설명한다.
도 2에서 보는 바와 같이, 본 발명의 일실시예에 따른 기억 보조 방법을 위한 데이터는 실시간 생성정보(50)와, 사전에 저장된 개인정보(60)로 구성된다.
실시간 생성정보(50)는 웨어러블 장치(10)로부터 센싱되는 데이터 및, 이로부터 실시간으로 생성되는 정보로서, 시청 데이터(51), 센싱 데이터(52), 단위 데이터(53), 문자/특성 데이터(54), 객체 데이터(55), 및, 컨텍스트 데이터(56)로 구분된다.
먼저, 시청 데이터(51)는 웨어러블 장치(10)로부터 센싱되는 시청 데이터로서, 카메라에 의해 촬영된 영상 데이터 및, 마이크에 의해 녹음된 음성 데이터를 포함한다.
다음으로, 센싱 데이터(52)는 영상/음성 외에 위치/시간 등 각종 센싱 장치에 의해 센싱되어 입력되는 데이터를 말한다. 센싱 데이터(52)는 앞서 설명한 GPS, 자이로스코프, 시계 등의 장치를 통해 획득되는 객관적인 데이터들이다. 센싱 데이터(52)는 위성항법장치(GPS)에 의한 측정되는 위치, 시계에 의해 측정되는 시간, 자이로스코프에 의한 방향, 가속센서에 의한 속도 등을 포함한다.
다음으로, 단위 데이터(53)는 시청 데이터(51)에서 서로 연관된 부분만을 분리한 데이터를 말한다. 영상의 이미지에서 사람의 얼굴(또는 물체, 배경) 부분들만 분리한 이미지이거나, 음성 데이터에서 하나의 문장 데이터(연속적인 파형 데이터로서 처음과 끝부분에는 파형이 나타나지 않은 파형 데이터)로 분리한 음성 단락 데이터이다. 이와 같이, 단위 데이터(53)는 분리되어 단위적인 의미를 갖는 데이터를 말한다.
따라서 하나의 센싱 데이터(52)로부터 분리되는 다수 개의 단위 데이터(53)로 분리될 수 있다. 단위 데이터(53)는 분석을 위한 단위체이다. 즉, 시청 데이터(51)에서 분리된 단위 데이터(53)를 분석하여, 객체 또는 컨텍스트 등의 정보를 추출한다.
또한, 시청 데이터(51)의 배경 이미지나 전체 이미지도 하나의 단위 데이터(53)로 분리될 수 있다. 특히, 컨텍스트 정보를 추출하기 위해 배경 이나 전체 이미지를 비교할 수 있다.
다음으로, 문자/특징 데이터(54)는 단위 데이터(53)에서 추출된 문자 또는 특징을 나타내는 데이터이다.
구체적으로, 통상의 문자 인식 또는 음성 인식의 방법을 이용하여, 단위 데이터(53)로부터 문자 데이터를 추출한다. 영상 데이터의 이미지를 분석하여, 이미지에 나타난 글자, 숫자, 기호 등을 인식하여 텍스트 형태로 변환한다. 이러한 기능은 통상의 OCR 등 문자 인식 방법을 사용한다. 또한, 음성 데이터로부터 음성을 텍스트로 변환한다. 이러한 기능은 통상의 음성 인식(또는 speech-to-text 변환) 방법을 사용한다.
또한, 통상의 이미지 식별(얼굴/물체 식별) 또는 음성 식별 방법을 이용하여, 단위 데이터(53)로부터 특징 데이터를 추출한다. 특징 데이터는 영상 또는 음성의 대상이 무엇인지를 식별하기 위한 데이터이다. 즉, 특징 데이터는 영상 이미지 또는 음파에서 추출한 특징을 말한다.
단위 데이터(53)가 영상 데이터인 경우, 사람의 얼굴 또는 물체의 이미지에서 특징(또는 특징점)을 추출하여, 이미 저장된 다른 이미지와 특징(또는 특징점)을 대비하여 동일 여부 또는 유사 여부를 판단한다. 이러한 이미지의 특징을 이용하여, 해당 얼굴 이미지의 사람이 누구인지를 판단할 수도 있고, 해당 이미지가 특정 동물이나, 어느 물체인지 등을 판별할 수도 있다. 또한, 전체 배경 이미지의 단위 데이터(53)의 특징을 분석하여, 해당 장소가 어느 곳인지도 판별할 수 있다.
또한, 단위 데이터(53)가 음성 데이터인 경우, 해당 음성이 누구의 음성인지를 식별하기 위해, 음파의 고유한 특징을 추출하고, 추출된 고유한 특징을 사전에 저장된 음성의 특징과 대비하여 동일 여부 또는 유사 여부를 판단한다. 이러한 음성의 특징을 이용하여, 음성의 사람이 누구인지를 판단할 수도 있고, 해당 음성이 특정 동물의 소리나, 차 소리 등인지를 판별할 수도 있다.
다음으로, 객체 데이터(55)는 단위 데이터(53)에서 추출된 문자 또는 특징 데이터(54)를 사전에 저장된 객체 정보(또는 개인정보)에서 검색하여, 단위 데이터(53)(또는 시청 데이터)의 객체를 식별하는 데이터(식별정보) 및, 식별된 객체에 대한 속성(property) 데이터(속성)를 말한다.
즉, 시청 데이터(51)에서 단위 데이터(53)를 분리하고, 분리된 단위 데이터(53)에서 문자/특징을 추출하고, 추출된 문자/특징을 사전에 저장된 객체와이 문자/특징과 대비하여 객체를 식별한다. 따라서 식별되는 객체는 시청 데이터(51)에서 나타나는 객체이다.
시청 데이터(51)에서 추출되는 객체는 사람, 동물, 가구, 물건 등을 말한다. 시청 데이터(51)가 영상 데이터인 경우, 영상에서 사람의 얼굴을 추출할 수 있고, 이때 객체는 사람(또는 사람의 얼굴)이다. 유사한 방법으로 동물이나 건물, 가구, 물건 등을 추출할 수 있고, 이와 같이 추출되는 대상을 객체라 부르기로 한다.
시청 데이터(51)에서 추출되는 객체는 하나 이상이 될 수 있다. 예를 들어, 3명의 직원과 대화하는 상황이라면 적어도 3명의 객체를 추출할 수 있다. 추출된 객체에 대해서는 각자 객체 데이터를 생성한다. 이 경우, 시청 데이터(51)에서 3개의 단위 데이터(53)가 분리되고, 각 단위 데이터(53)에서 문자/특징 데이터(54)를 각각 추출하여 각 사람을 식별한다. 최종적으로, 3명의 사람을 식별한다.
이때, 추출된 객체 이미지가 사전에 저장된 얼굴 이미지와 매칭되면, 객체가 누구인지 확인할 수 있다(예를 들어, 이름 등 식별정보를 확인할 수 있다). 즉, 매칭되는 경우, 추출된 객체가 누구인지를 식별할 수 있다. 또한, 저장된 객체의 속성 정보를 확인하면, 식별된 객체의 각종 속성을 알 수 있다.
즉, 객체 데이터(55)의 식별정보는 객체를 식별하기 위한 정보로서, 아이디, 이름, 주민번호 등 고유식별 정보를 말한다. 또한, 객체 데이터(55)의 속성은 식별된 객체의 속성 정보로서, 나이, 성별, 주소, 직업, 취미, 사용자와의 관계 등을 말한다. 이때의 속성 정보는 사전에 저장된 객체의 속성으로부터 획득된다.
한편, 사전에 저장된 객체 정보에서 검색할 때, 추출된 문자 및 특징을 모두 이용할 수 있다. 얼굴의 이미지를 대상으로 특징 비교를 할 수 있고, 문자에서 이름을 추출하여 이름의 문자를 비교할 수도 있다.
그러나 매칭되지 않는 경우, 추출된 객체가 누구인지를 식별할 수 없다. 이때 추출된 특징점(특징)을 식별정보로 이용할 수 있다. 즉, 추출된 객체(얼굴 이미지)가 저장된 객체(얼굴 이미지)에 없다면, 추출된 특징으로 객체를 식별한다. 예를 들어, 어제 2시에 촬영된 영상 데이터에서 추출된 객체의 특징과, 오늘 7시에 촬영된 영상 데이터에서 추출된 객체의 특징이 유사하면, 누군지는 모르지만 어제 2시에 만난 사람을 오늘 7시에 다시 만나고 있다는 것을 알 수 있다.
또한, 시청 데이터(51) 또는 단위 데이터(53)가 음성 데이터인 경우, 음성의 파형을 분석하여 특징을 추출한다. 그리고 음파의 특징을 저장된 음성의 파형 특징과 비교하여, 음성의 객체가 무엇인지를 확인한다. 앞서 영상 데이터의 방법과 동일한 형태이다.
앞서 설명한 것은 주로 사람을 추출한 것이나, 동물의 이미지나 소리 등의 특징(또는 특징점)을 분석하면, 객체의 대상을 판단할 수 있다.
다음으로, 컨텍스트 데이터(56)는 단위 데이터(53)에서 추출된 문자 또는 특징 데이터(54)들 및 센싱 데이터(52)의 조합이 사전에 저장된 규칙 또는 조건에 매칭되는지를 검색하여, 식별되는 행위(또는 상황) 데이터(행위정보) 및, 식별된 행위에 대한 속성(property) 데이터(속성)를 말한다.
특히, 행위(또는 상황)를 식별하기 위하여, 추출된 문자/특성 데이터(54) 외에도 각종 센서 장치에 의해 센싱된 센싱 데이터(52)도 이용된다.
바람직하게는, 상황 또는 행위는 사전에 카테고리화되어 조건화되고 분류된다. 즉, 다수의 행위(또는 상황)를 분류하고, 해당 행위로 판단하는 조건(또는 규칙)이 사전에 마련된다.
예를 들어, 시청 데이터(51)의 음성 데이터 중에서, "안녕하세요. OOO 입니다."와 같은 음성 멘트가 검출되면, "인사"라는 행위의 카테고리로 분류한다. 또는, 시청 데이터(51)의 영상 데이터의 배경 화면이 회의실 이미지로 매칭되면 "회의"라는 행위의 카테고리로 분류된다.
또한, 컨텍스트 데이터(56)는 센싱 데이터(52)를 분석하여 추출할 수도 있다. 예를 들어, 센싱 데이터(52)의 하나인 위치로부터 특정 장소를 확인할 수 있고, 특정 장소를 조건으로 하는 특정 행위(상황)임을 인식할 수 있다. 또한, 단위 데이터(53) 중에서 식별한 사람이 "의사"인 경우, "치료"나 "병원"이라는 행위(상황)로 분류할 수 있다.
한편, 컨텍스트 데이터(56)의 식별된 행위에 대해서도, 행위의 특성들을 나타내는 속성(property)을 가질 수 있다. 예를 들어, 행위가 발생된 시간, 참여한 사람, 장소 등의 속성들을 가질 수 있다. 이러한 속성은 행위에 대하여 사전에 저장된 속성을 가져올 수도 있고, 센싱 데이터(52)나 문자/특성 데이터(54)로부터 새롭게 추출될 수도 있다.
또한, 객체 데이터(55) 및 컨텍스트 데이터(56)들은 서로 관계가 설정될 수 있다. 하나의 시청 데이터(51)에서 생성된 객체 데이터(55) 및 컨텍스트 데이터(56)는 동일한 시청 데이터로서의 관계가 자동으로 형성된다. 또한, 객체 데이터(55) 및 컨텍스트 데이터(56)들은 이하에서 설명될 개인정보의 데이터들과 각각 관계가 형성될 수 있다.
다음으로, 개인정보(60)에 대하여 설명한다.
개인정보(60)는 사전에 저장해둔 데이터로서, 사용자가 중요하게 여기는 중요도를 함께 포함하는 데이터이다. 개인정보(60)는 크게 객체에 대한 데이터(이하 객체연관 정보)(61)와 행위에 대한 데이터(행위연관 정보)(62)로 구분된다.
객체연관 정보(61)는 객체에 대한 데이터 및, 속성으로서 사용자와의 관계에 대한 데이터를 포함한다. 예를 들어, 객체연관 정보(61)는 객체의 이름으로서 "홍길동", 직업으로서 "학생"을 포함하고, "가족/친구/직장동료/고객" 등 사용자와의 관계 데이터를 포함한다. 이름, 직업, 나이 등 객체의 개인정보를 객체의 속성(property)으로서 가질 수 있다.
또한, 객체연관 정보(61)는 관계 속성 정보로서 중요도를 포함한다. 중요도는 사용자가 중요하게 여기는 정도에 대한 척도를 표시한 것이다.
다음으로, 행위연관 정보(62)는 앞서 카테고리화하여 분류된 행위(또는 상황)에 대한 데이터 및, 사용자와의 관계 데이터를 포함한다. 행위연관 정보(62)에도 객체연관 정보(61)와 마찬가지로 중요도를 포함한다. 예를 들어, 행위가 "야구"인 경우, 사용자의 취미 또는 관심사이고, 그 중요도가 얼마인지에 대한 데이터를 포함한다.
객체연관 정보(61) 및 행위연관 정보(62) 사이에 중요도에 의한 관계도 설정될 수 있다. 예를 들어, 객체 A는 아들이고, 객체 B는 A의 친구의 관계가 설정되어 있고, 사용자와의 중요도가 A에만 설정되고 B에 대한 사용자의 중요도가 설정되지 않는 경우를 설명한다. 이때, 객체 B에 대한 사용자의 중요도는 사용자와 A와의 중요도와, A와 B의 중요도를 모두 고려하여, 유추될 수 있다.
또한, 행위 "야구"와 객체 "글러브" 사이에 관계가 설정되어 있다면, 사용자가 "야구"를 중요하게 여긴다면, "글러브"도 중요하게 여길 가능성이 많다. 이런 경우에도, 중요도를 포함하는 관계(relation)에 의하여 유추될 수 있다.
즉, 개인정보(60)에는 상기 객체 또는 상기 행위의 사용자에 대한 중요도도 저장되고, 상기 객체 또는 행위의 다른 객체 또는 행위에 대한 중요도도 저장된다. 전자는 사용자와 관계에서 나타나는 중요도이고, 후자는 다른 객체 또는 행위와의 관계에서 나타나는 중요도이다.
바람직하게는, 추출된(생성된) 객체 또는 행위의 중요도는 상기 객체 또는 상기 행위의 저장된 중요도, 및, 상기 객체 또는 상기 행위와 연관된 객체 또는 행위(이하 연관된 객체 또는 행위)의 중요도를 가중합으로 구한다.
요약하면, 시청 데이터(51)로부터 컨텍스트 정보(52)나 객체 데이터(53)를 추출하면, 컨텍스트 정보(52)나 객체 데이터(53)를 개인정보(60)에서 검색하여, 검색된 객체연관 정보(60)나 행위연관 정보(60)로부터 중요도를 추출할 수 있다. 각 객체 또는 행위의 중요도를 조합하여 판단하면 시청 데이터(51) 또는 실시간 추출 데이터(50)의 전체 중요도를 설정할 수 있다.
다음으로, 시청 데이터 및 이로부터 생성된 단위 데이터, 문자/특징 데이터, 객체/컨텍스트 데이터를 포함하는 시청 정보(70)가 저장된다. 즉, 시청 정보(70)는 앞서 시청 데이터(51)로부터 생성된 객체/컨텍스트 데이터를 시청 데이터와 함께 저장하는 데이터를 말한다.
다음으로, 본 발명의 제1 실시예에 따른 기억 보조 방법에 대하여 도 3을 참조하여 구체적으로 설명한다.
도 3에서 보는 바와 같이, 본 발명의 제1 실시예에 따른 기억 보조 방법은 (a) 웨어러블 장치로부터 시청 데이터를 입력받는 단계(S11), (b) 시청 데이터로부터 단위 데이터를 분리하는 단계(S12), (c) 단위 데이터로부터 문자/특징 데이터를 추출하는 단계(S13), (d) 문자/특징 데이터로부터 객체 및 컨텍스트 데이터를 추출하는 단계(S14), (e) 객체 및 컨텍스트 데이터를 개인정보에서 참조하여 중요도를 판단하는 단계(S15), 및 (f) 중요도에 따라 시청 데이터를 저장하는 단계(S16)로 구성된다.
먼저, 이동단말(20)은 웨어러블 장치(10)로부터 센싱된 데이터(시청 데이터)(51)를 입력받는다(S11). 구체적으로, 웨어러블 장치(10)의 카메라에 의해 촬영된 영상 데이터 및, 마이크에 의해 녹음된 음성 데이터를 입력받는다.
이때, 이동단말(20)은 시간 또는 위치 등 센싱 데이터(52)를 웨어어블 장치(10)로부터 수신하거나, 내장된 시계 기능, GPS 등을 통해 직접 가져올 수 있다.
다음으로, 이동단말(20)은 수신한 시청 데이터(51)에서 단위적으로 연관된 단위 데이터(53)를 분리한다(S12). 즉, 이동단말(20)은 문자 또는 특징을 추출할 수 있는 영상 또는 음성의 단위로 분리한다.
다음으로, 이동단말(20)은 분리된 단위 데이터(53)에서 문자 또는 특징을 추출한다(S13). 즉, 영상 데이터의 이미지에 나타난 글자, 숫자, 기호 등을 텍스트로 변환하거나, 음성 데이터에서 음성을 텍스트로 변환한다. 또한, 이동단말(20)은 이미지 식별 방법 또는 음성 식별 방법을 통해 특징 데이터를 추출한다.
그리고 이동단말(20)은 추출된 문자 및 특징을 이용하여 사전에 저장된 객체 또는 컨텍스트 데이터를 검색하여 식별한다(S14). 즉, 문자 및 특징에 의해 객체 또는 컨텍스트 데이터가 저장된 데이터베이스(또는 개인정보)에서 검색되면, 단위 데이터(53)의 객체 또는 시청 데이터(51)의 컨텍스트는 검색된 객체 또는 컨텍스트로 식별된다.
다음으로, 이동단말(20)은 검색된 객체 또는 컨텍스트의 중요도를 개인정보(60)에서 참조하여, 시청 데이터(51)의 중요도를 판단한다(S15). 중요도가 사전에 정해진 임계치 보다 높으면 현재 수신되는 시청 데이터(51)를 저장한다(S16).
하나의 시청 데이터(51)에 대하여, 다수의 객체가 식별되거나, 다수의 컨텍스트가 식별될 수 있다. 이런 경우, 각 객체 또는 컨텍스트의 중요도를 가중하여 전체 중요도를 구하거나, 제일 높은 중요도를 전체 중요도로 설정한다. 그리고 전체 중요도를 임계치와 비교한다.
또한, 새로운 사람의 얼굴이 인식되거나 "인사"라는 행위의 컨텍스트인 경우에는 중요도를 높게 설정할 수 있다. 따라서 새로운 사람과 인사하는 경우의 시청 데이터는 무조건 저장하게 할 수 있다.
특히, 이때, 시청 데이터(51)를 저장할 때, 추출된 객체 및 컨텍스트 정보를 함께 저장한다. 이때, 시청 데이터 및 이와 관련된 단위 데이터, 문자/특징 데이터/객체 데이터/컨텍스트 데이터 등을 함께 시청 정보(70)에 저장한다.
앞서 각 단계를 이동단말(20)에서 수행하는 것으로 설명하였으나, 앞서 설명한 바와 같이, 이동단말(20)이 수행하는 작업은 서버(30)와 분담될 수 있다. 즉, 이동단말(20)이 웨어러블 장치(10)로부터 수신한 모든 데이터를 서버(30)에 전송하여, 서버(30)의 처리 결과만을 수신하여 시청 데이터(51)를 저장할 수 있고, 이동단말(20)에서 모든 작업을 수행할 수도 있다. 또한, 일부 작업만 이동단말(20)에서 수행하고, 나머지 작업은 서버(30)에서 수행하도록 할 수 있다.
예를 들어, 사용자가 웨어러블 장치(10)를 착용하고 생활을 시작하면, 이동단말(20)은 웨어러블 장치(10)를 통해서 들어오는 비디오/오디오 입력 정보를 분석하기 시작한다. 중요도에 따라 불필요한 입력 데이터(즉, 중요도가 낮은 입력 데이터)는 폐기된다.
그리고 오전 10시에 사용자가 직장에서 새 고객, 홍길동을 만나서 인사를 하고 명함을 교환하고, 명함 속의 정보를 읽어둔다. 이때, 이동단말(20)은 홍길동의 얼굴이 기존 저장된 얼굴이 아닌 새 얼굴임을 인식한다. 즉, 얼굴의 특징을 추출하였으나, 매칭되는 얼굴이 없기 때문에 새 얼굴로 인식하여 특징으로 식별정보가 저장된다. 그리고 명함의 이미지 정보로부터 명함에 대한 객체 데이터를 읽어 생성한다. 얼굴의 객체 데이터와 명함의 객체 데이터는 서로 동일한 시청 데이터의 객체로서 관계를 갖는다. 이때, 사용자가 이 관계가 홍길동의 명함이고 속성의 관계라는 것을 인위적으로 설정해줄 수 있다. 즉, 얼굴과 언급된 이름 ‘홍길동’을 연합하여 (홍길동, 직장, 0000년 00월 00일 오전 10시, 소개)라는 정보와 함께 저장한다.
다음으로, 본 발명의 제2 실시예에 따른 기억 보조 방법에 대하여 도 4를 참조하여 구체적으로 설명한다.
도 4에서 보는 바와 같이, 본 발명의 제2 실시예에 따른 기억 보조 방법은 (a) 시청 데이터 입력 단계(S21), (b) 문자/특징 데이터 추출 단계(S22), (c) 개인정보 검색 단계(S23), 및, (d) 검색된 개인정보의 웨어러블 장치 출력 단계(S24)로 구성된다.
앞서 제1 실시예와 같이, 이동단말(20)은 웨어러블 장치(10)로부터 시청 데이터(51)를 입력받아(S21), 문자/특징 데이터를 추출한다(S22). 그리고 이동단말(20)은 추출된 문자/특징 데이터를 개인정보(60)에서 검색하고(S23), 검색된 개인정보를 웨어러블 장치(10)로 전송한다(S24).
즉, 제1 실시예는 문자/특징 데이터를 추출하여 매칭되는 객체/컨텍스트를 개인정보(60)에서 검색하고 객체/컨텍스트 데이터를 생성하였으나, 제2 실시예는 별도의 객체/컨텍스트 데이터를 생성하지 않고 저장된 정보에서 매칭된 데이터를 검색하여 웨어러블 장치(10)로 전송한다.
앞서 예에서, 오후 12시에 사용자는 거래처의 사람과 점심 미팅이 있어 식당에서 만났다. 이때, 웨어러블 장치(10)는 영상의 이미지에서 얼굴 객체를 분리하여, 저장된 개인정보(60)의 임꺽정의 이미지(얼굴)의 특징과 동일한 얼굴임을 확인한다. 임꺽정에 대한 개인 속성 정보를 웨어러블 장치(10)에 전송한다.
다음으로, 본 발명의 제3 실시예에 따른 기억 보조 방법에 대하여 도 5를 참조하여 구체적으로 설명한다.
도 5에서 보는 바와 같이, 본 발명의 제3 실시예에 따른 기억 보조 방법은 (a) 시청 데이터 입력 단계(S31), (b) 문자/특징 데이터 추출 단계(S32), (c) 저장된 시청 정보 검색 단계(S33), 및, (d) 검색된 시청 정보의 웨어러블 장치 출력 단계(S34)로 구성된다.
앞서 제2 실시예와 같이, 이동단말(20)은 웨어러블 장치(10)로부터 시청 데이터(51)를 입력받아(S31), 문자/특징 데이터를 추출한다(S32). 그리고 이동단말(20)은 추출된 문자/특징 데이터를 시청정보(70)에서 검색하고(S33), 검색된 시청정보를 웨어러블 장치(10)로 전송한다(S34).
즉, 제2 실시예는 문자/특징 데이터를 추출하여 매칭되는 객체/컨텍스트를 개인정보(60)에서 검색하나, 제3 실시예는 미리 생성하여 저장된 시청 정보(70)에서 매칭된 데이터를 검색하여 웨어러블 장치(10)로 전송한다.
앞서 예에서, 오후 10시에 사용자는 오전에 만난 고객의 이름을 기억하려 하나 생각나지 않는다. 이때, 웨어러블 장치(10)는 영상의 이미지에서 얼굴 객체를 분리하여, 앞서 저장된 시청정보(70)를 검색한다. 그리고 오전 10시에 저장된 객체(얼굴)의 특징과 동일한 얼굴임을 확인한다. 그리고 오전 10시에 만난 사실과 그때의 명함 정보를 웨어러블 장치(10)에 전송한다.
다음으로, 본 발명의 제4 실시예에 따른 기억 보조 방법에 대하여 도 6을 참조하여 구체적으로 설명한다.
도 6에서 보는 바와 같이, 본 발명의 제4 실시예에 따른 기억 보조 방법은 (a) 명령 입력 단계(S41), (b) 검색 단계(S42), 및, (c) 검색된 정보의 웨어러블 장치 출력 단계(S43)로 구성된다.
웨어러블 장치(10)로부터 사용자의 명령을 입력받으면(S41), 음성 명령을 분석하여 그 명령에 따라 저장된 시청 정보(70)를 검색하고(S42), 검색된 정보를 웨어러블 장치(10)로 전송한다(S43).
앞서의 예에서, 오후 10시에 사용자는 오전에 만난 고객의 이름을 기억하려 하나 생각나지 않는다. 그래서, 사용자는 “오늘 아침에 만난 고객 이름이 뭐더라”라고 말한다. 이동단말(20)은 “오늘 아침”과 “고객 이름”을 검색어로 사용하여 ‘홍길동’을 인출하여 웨어러블 장치(10)로 전송한다.
이상, 본 발명자에 의해서 이루어진 발명을 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.
10 : 웨어러블 장치 20 : 이동단말
30 : 서버
50 : 실시간 추출 데이터 51 : 시청 데이터
52 : 컨텍스트 정보 53 : 객체 데이터
60 : 개인정보 70 : 시청 정보

Claims (10)

  1. 웨어러블 장치 및 이동단말로 구성되는 시스템을 이용하는 기억 보조 방법에 있어서,
    (a) 상기 이동단말은 웨어러블 장치로부터 시청 데이터를 입력받는 단계;
    (b) 상기 시청 데이터로부터 서로 연관된 부분만을 분리한 단위 데이터를 분리하는 단계;
    (c) 상기 단위 데이터로부터 문자 또는 특징 데이터(이하 문자/특징 데이터)를 추출하는 단계;
    (d) 상기 문자/특징 데이터로부터 객체를 추출하여 객체 데이터를 생성하고, 상기 시청 데이터의 상황을 나타내는 컨텍스트 데이터를 생성하는 단계;
    (e) 객체 또는 컨텍스트에 대한 정보를 사전에 저장한 데이터베이스(이하 개인정보DB)를 참조하여, 상기 생성된 객체 및 컨텍스트 데이터의 중요도를 결정하는 단계; 및,
    (f) 중요도에 따라 시청 데이터를 저장하는 단계를 포함하는 것을 특징으로 하는 기억 보조 방법.
  2. 제1항에 있어서,
    상기 시청 데이터는 상기 웨어러블 장치의 카메라에 의해 촬영된 영상 데이터 및, 상기 웨어러블 장치의 마이크에 의해 녹음된 음성 데이터 중 어느 하나 이상인 것을 특징으로 하는 기억 보조 방법.
  3. 제2항에 있어서,
    상기 (a)단계에서, 상기 이동단말은 상기 웨어러블 장치의 센싱 장치에 의해 측정되거나, 자신의 센싱 장치에 의해 측정된, 위치, 시간, 방향, 속도 중 어느 하나 이상을 포함하는 센싱 데이터를 추가적으로 입력받는 것을 특징으로 하는 기억 보조 방법.
  4. 제2항에 있어서,
    상기 단위 데이터는 상기 영상 데이터의 얼굴, 물체, 배경 중 어느 하나의 이미지를 추출한 이미지 데이터이거나, 상기 음성 데이터의 적어도 하나의 문장을 포함한 음성 단락인 것을 특징으로 하는 기억 보조 방법.
  5. 제2항에 있어서,
    상기 문자 데이터는 상기 영상 데이터에서 문자인식 방법에 의해 인식된 문자이거나, 상기 음성 데이터에서 음성인식 방법에 의해 인식된 문자이고,
    상기 특징 데이터는 상기 영상 데이터의 이미지에서 추출된 특징점들이거나, 상기 음성 데이터의 음파에서 추출한 음파의 고유한 특징인 것을 특징으로 하는 기억 보조 방법.
  6. 제2항에 있어서,
    상기 객체 데이터는 객체를 식별하는 식별정보와, 객체의 속성을 나타내는 속성정보로 구성되는 것을 특징으로 하는 기억 보조 방법.
  7. 제6항에 있어서,
    상기 (d)단계에서, 상기 문자 데이터의 문자를 상기 개인정보DB에 저장된 객체의 식별정보와 대비하거나, 상기 특징 데이터의 특징을 상기 개인정보DB에 저장된 객체의 특징과 대비하여, 매칭되면, 상기 단위 데이터에서 추출하는 객체를 매칭된 개인정보DB의 객체로 인식하여 식별하고, 매칭되지 않으면, 상기 특징 데이터의 특징으로 상기 단위 데이터의 객체를 식별하는 것을 특징으로 하는 기억 보조 방법.
  8. 제3항에 있어서,
    상기 컨텍스트 데이터는 상황을 식별하는 행위 데이터 및, 상기 행위에 대한 속성을 나타내는 속성 데이터로 구성되고, 상기 행위는 사전에 분류되고, 각 행위를 판단하는 조건이 사전에 정해지고,
    상기 (d)단계에서, 상기 문자 또는 특징 데이터와 상기 센싱 데이터의 조합이 사전에 저장된 행위의 조건에 매칭되는지를 판별하여, 상기 컨텍스트 데이터의 행위를 결정하는 것을 특징으로 하는 기억 보조 방법.
  9. 제8항에 있어서,
    상기 개인정보DB에는 상기 객체 및 상기 행위에 대한 중요도와, 상기 객체 간의 중요도, 상기 행위 간의 중요도, 상기 행위 및 객체 간의 중요도가 저장되고,
    상기 (e)단계에서, 상기 객체 또는 상기 컨텍스트의 행위에 대한 중요도를 결정할 때, 상기 객체 간의 중요도, 상기 행위 간의 중요도, 및, 상기 행위 및 객체 간의 중요도를 함께 고려하여 중요도를 결정하는 것을 특징으로 하는 기억 보조 방법.
  10. 제2항에 있어서,
    상기 개인정보DB에는 상기 객체 및 상기 행위의 사용자에 대한 중요도와, 상기 객체 또는 행위의 다른 객체 또는 행위에 대한 중요도가 저장되고,
    상기 (e)단계에서, 상기 객체 또는 상기 컨텍스트의 행위에 대한 중요도를 결정할 때, 상기 객체 또는 행위의 저장된 중요도, 및, 상기 객체 또는 행위와 관계가 있는 객체 또는 행위의 중요도를 가중합하여 중요도를 결정하는 것을 특징으로 하는 기억 보조 방법.
KR1020140062308A 2014-05-23 2014-05-23 시청 데이터를 이용한 기억 보조 방법 KR101584685B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140062308A KR101584685B1 (ko) 2014-05-23 2014-05-23 시청 데이터를 이용한 기억 보조 방법
US14/685,804 US9778734B2 (en) 2014-05-23 2015-04-14 Memory aid method using audio/video data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140062308A KR101584685B1 (ko) 2014-05-23 2014-05-23 시청 데이터를 이용한 기억 보조 방법

Publications (2)

Publication Number Publication Date
KR20150135688A true KR20150135688A (ko) 2015-12-03
KR101584685B1 KR101584685B1 (ko) 2016-01-13

Family

ID=54556046

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140062308A KR101584685B1 (ko) 2014-05-23 2014-05-23 시청 데이터를 이용한 기억 보조 방법

Country Status (2)

Country Link
US (1) US9778734B2 (ko)
KR (1) KR101584685B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9500865B2 (en) * 2013-03-04 2016-11-22 Alex C. Chen Method and apparatus for recognizing behavior and providing information
KR102393286B1 (ko) * 2015-09-25 2022-05-02 삼성전자주식회사 전자 장치 및 그 연결 방법
CN109977101B (zh) * 2016-05-24 2022-01-25 甘肃百合物联科技信息有限公司 一种加强记忆的方法及系统
US10789255B2 (en) * 2018-03-27 2020-09-29 Lenovo (Singapore) Pte. Ltd. Presenting data chunks for a working memory event
CN109871242A (zh) * 2019-02-01 2019-06-11 天津字节跳动科技有限公司 任务新建方法及装置
CN109908508A (zh) * 2019-03-14 2019-06-21 上海救要救信息科技有限公司 一种用于生成救援指令的方法与设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002207732A (ja) * 2001-01-10 2002-07-26 Hiroshi Ono 翻訳装置
GB201015349D0 (en) * 2010-09-15 2010-10-27 Univ Southampton Memory device
KR101330046B1 (ko) 2011-09-19 2013-11-18 한국산업기술대학교산학협력단 고령자의 일상생활지원을 위한 보행보조로봇을 이용한 고령자의 기억 보조 시스템, 및 보행보조로봇을 이용한 고령자의 기억 보조 방법
US20140063237A1 (en) * 2012-09-03 2014-03-06 Transportation Security Enterprises, Inc.(TSE), a Delaware corporation System and method for anonymous object identifier generation and usage for tracking
KR20140035712A (ko) * 2012-09-14 2014-03-24 한국전자통신연구원 객체 인식 방법 및 장치
JP2013174898A (ja) * 2013-04-10 2013-09-05 Sony Corp 撮像表示装置、撮像表示方法

Also Published As

Publication number Publication date
US20150338912A1 (en) 2015-11-26
US9778734B2 (en) 2017-10-03
KR101584685B1 (ko) 2016-01-13

Similar Documents

Publication Publication Date Title
KR102354428B1 (ko) 이미지를 분석하기 위한 웨어러블기기 및 방법
KR101584685B1 (ko) 시청 데이터를 이용한 기억 보조 방법
US9594807B2 (en) Emotion-related query processing
CN109074117B (zh) 提供基于情绪的认知助理系统、方法及计算器可读取媒体
US9436887B2 (en) Apparatus and method for automatic action selection based on image context
EP2899609A1 (en) Wearable device, system and method for name recollection
CN105981375A (zh) 信息处理设备、控制方法、程序和系统
Abbas et al. A hybrid alert system for deaf people using context-aware computing and image processing
CN110196914A (zh) 一种将人脸信息录入数据库的方法和装置
EP2503545A1 (en) Arrangement and method relating to audio recognition
CN110491384B (zh) 一种语音数据处理方法及装置
CN113255323B (zh) 一种描述数据处理方法、系统、电子设备及介质
US20210287308A1 (en) Using a wearable apparatus in social events
JPWO2018173948A1 (ja) サービス提供システム
US8517253B2 (en) Systems and methods for using machine-readable visual markers to provide environmental context for communications
US11493959B2 (en) Wearable apparatus and methods for providing transcription and/or summary
Berger et al. Mobile AR Solution for Deaf People: Correlation Between Face Detection and Speech Recognition
JP7360775B2 (ja) スマートグラス、プログラム及び表示制御方法
US20240144912A1 (en) Learning apparatus, estimation apparatus, methods and programs for the same
Gupta et al. Video Conferencing with Sign language Detection
CN114996514A (zh) 文本生成方法、装置、计算机设备及介质
CN116705028A (zh) 辅助方法、装置、可穿戴设备及计算机可读存储介质
CN111479060A (zh) 图像采集方法、装置、存储介质及电子设备
KR20120035075A (ko) 휴대용 단말기 기반 자연어 생성 방법 및 이를 수행하는 휴대용 단말기

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190102

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 5