KR20160125599A - 감성 이벤트 추출 및 감성 스케치 검색 시스템 - Google Patents

Abstract

본 발명에 따른 감성 이벤트 추출 및 감성 스케치 검색 시스템은, 생체신호, 영상/비디오 신호, 직관적 정보, 1차원 정보 및 콘텍스트를 라이프로그 데이터로서 저장하는 데이터 저장부와, 상기 데이터 저장부에 저장된 라이프로그 데이터로부터 감성 특징을 정량화하여 추출하는 감성 특징 추출부와, 추출된 상기 감성 특징에 기반하여 감성 분류기를 통해 감성 인식 결과를 포함하는 감성 벡터를 생성하는 감성 인식부와, 생성된 상기 감성 벡터로부터 감성 이벤트를 추출하고 중요도를 측정하는 감성 이벤트 및 중요도 추출부와, 검색하고자 하는 장면의 공간, 인물, 감성 정보를 스케치 입력으로 하여 장면을 검색하는 감성 스케치 기반 검색부를 포함할 수 있다.

Description

감성 이벤트 추출 및 감성 스케치 검색 시스템{APPARATUS AND METHODOLOGY FOR AN EMOTION EVENT EXTRACTION AND AN EMOTION SKETCH BASED RETRIEVAL}

본 발명은 라이프로그 데이터에서 감성을 인식하여 활용하는 기법에 관한 것으로, 더욱 상세하게는 라이프로그(lifelog) 데이터로 감성을 자동 인식하여 사람의 기억에 중요한 감성으로 이벤트를 만들고, 라이프로거가 라이프로그 디지털 기억을 끄집어 낼 때, 감성 검색을 위해 감성 스케치를 질의로 하여 라이프로거의 디지털 기억을 추출하는데 적합한 감성 이벤트 추출 및 감성 스케치 검색 시스템에 관한 것이다.

일반적으로, 방대한 양의 라이프로그 데이터에서 사람이 직접(수작업으로) 기억하고 싶은 이벤트를 찾고 저장하는 것은 시간과 비용 측면에서 매우 비효율적일 뿐만 아니라 번거롭다는 근본적인 문제가 있다.

따라서, 라이프로그 데이터로부터 중요한 이벤트를 자동으로 검출하고, 또한 사용자가 원하는 이벤트를 검출하는 기술이 필요한데, 라이프로그 데이터에서의 이벤트 검출 또는 검색과 관련하여 종래기술들의 단점은 사람의 기억 과정에서 중요한 감성을 배제하고 단순하게 데이터의 저장과 그에 따른 검색을 수행한다는 것이다.

즉, 기존의 종래 시스템은 자동 감성인식 부재, 기억에 중요한 감성기반의 이벤트 추출이 없을 뿐만 아니라 감성에 기반한 검색이 이루어지지 않는다는 문제점이 있었다.

대한민국 공개특허 제2011-0000054호(공개일 : 2011. 01. 03.)

Doherty, Aiden R., and Alan F. Smeaton. "Automatically segmenting lifelog data into events." Image Analysis for Multimedia Interactive Services, 2008. WIAMIS'08. Ninth International Workshop on. IEEE, 2008.

근래 들어, 감성 ICT 산업의 성장으로 인간의 감성을 자동으로 인지하여 사용자의 감성 상태에 맞는 서비스에 대한 요구가 늘어나고 있는 추세이며, 또한 감성을 인지하고 정량화하는데 있어 일상의 정보를 지속적으로 저장하는 라이프로그(lifelog) 정보를 활용하는 기술에 대한 요구가 점진적으로 증가하고 있는 추세이다.

그리고, 스마트폰 및 웨어러블 기기 등의 대중화로 인해 라이프로깅을 위해 수집 가능한 사용자의 정보가 더욱 방대해지고 있는 추세임을 고려할 때, 위와 같이 수집된 방대한 사용자의 라이프로그 데이터에서 유의미한 이벤트를 추출하고, 원하는 이벤트를 효율적으로 검색하는 기술이 필요하다.

또한, 일관된 서비스가 아닌 개인의 취향에 따른 서비스를 제공받으려는 문화가 활성화되면서 인간 중심의 미래 생활기술 및 감성 이해를 통한 사용자 친화적인 기술이 요구되고 있다.

따라서, 라이프로그의 기록에 있어 단순한 정보의 저장이 아닌 사용자의 감성과 연결된 라이프로그 관련 기술이 필요하다.

본 발명은, 라이프로그 데이터에서 인간의 감성을 인식하여 감성 이벤트를 추출하고, 원하는 이벤트를 사람의 기억을 끄집어내는 것과 같이 감성 스케치로 검색할 수 있는 감성 이벤트 추출 및 감성 스케치 검색 기법을 제안하고자 한다.

또한, 본 발명은 감성을 자동으로 인식하는 기법과 그로부터 감성 이벤트를 추출하고 감성의 상태를 연동하는 기법, 그리고 감성 스케치로 라이프로그 디지털 기억을 찾는 기법 및 시스템으로 감성에 연동된 라이프로깅을 제공할 수 있는 기법을 제안하고자 한다.

본 발명이 해결하고자 하는 과제는 상기에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재들로부터 본 발명이 속하는 통상의 지식을 가진 자에 의해 명확하게 이해될 수 있을 것이다.

본 발명은, 일 관점에 따라, 생체신호, 영상/비디오 신호, 직관적 정보, 1차원 정보 및 콘텍스트를 라이프로그 데이터로서 저장하는 데이터 저장부와, 상기 데이터 저장부에 저장된 라이프로그 데이터로부터 감성 특징을 정량화하여 추출하는 감성 특징 추출부와, 추출된 상기 감성 특징에 기반하여 감성 분류기를 통해 감성 인식 결과를 포함하는 감성 벡터를 생성하는 감성 인식부와, 생성된 상기 감성 벡터로부터 감성 이벤트를 추출하고 중요도를 측정하는 감성 이벤트 및 중요도 추출부와, 검색하고자 하는 장면의 공간, 인물, 감성 정보를 스케치 입력으로 하여 장면을 검색하는 감성 스케치 기반 검색부를 포함하는 감성 이벤트 추출 및 감성 스케치 검색 시스템을 제공한다.

본 발명은 라이프로그 데이터의 검색 기술 분야에 감성인식을 수행하고, 감성기반 이벤트 추출 및 감성 스케치 기반 검색을 도입함으로써, 사람의 기억 방식과 친숙하고 라이프로거가 정보를 추출하고 검색할 때 사용자 친화적인 검색 및 활용 시스템을 실현할 수 있다.

도 1은 본 발명에 따라 라이프로그 데이터에서 감성을 추출하고 인식하여 감성 이벤트 추출 및 감성 스케치 기반 검색하는 것을 보여주는 블록도이다.
도 2는 본 발명에 따라 감성 벡터 분포를 보여주는 예시도이다.
도 3은 라이프로그 데이터로부터 멀티모달 특징에 의거하여 감성을 인식 및 추출하는 개념을 설명하기 위한 블록도이다.
도 4는 본 발명에 따라 소셜미디어와 연동하여 감성을 분석하는 것을 보여주는 블록도이다.
도 5는 본 발명에 따라 감정 이벤트를 추출하는 과정을 설명하기 위한 개념도이다.
도 6은 본 발명에 따라 사용자가 감성 모델 플레이트에서 버튼을 움직여 원하는 감성을 스케치하여 입력하는 것을 설명하기 위한 감성 스케치 예시도이다.
도 7은 본 발명에 따라 감성 스케치 기반으로 라이프로그를 검색하는 개념을 설명하기 위한 개념 예시도이다.

먼저, 본 발명의 장점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되는 실시 예들을 참조하면 명확해질 것이다. 여기에서, 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 발명의 범주를 명확하게 이해할 수 있도록 하기 위해 예시적으로 제공되는 것이므로, 본 발명의 기술적 범위는 청구항들에 의해 정의되어야 할 것이다.

아울러, 아래의 본 발명을 설명함에 있어서 공지 기능 또는 구성 등에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들인 것으로, 이는 사용자, 운용자 등의 의도 또는 관례 등에 따라 달라질 수 있음은 물론이다. 그러므로, 그 정의는 본 명세서의 전반에 걸쳐 기술되는 기술사상을 토대로 이루어져야 할 것이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 대하여 상세하게 설명한다.

도 1은 본 발명에 따라 라이프로그 데이터에서 감성을 추출하고 인식하여 감성 이벤트 추출 및 감성 스케치 기반 검색하는 것을 보여주는 블록도로서, 데이터 저장부(110), 감성 특징 추출부(120), 감성 인식부(130), 감성 이벤트 및 중요도 추출부(140) 및 감성 스케치 기반 검색부(150) 등을 포함할 수 있다.

도 1을 참조하면, 데이터 저장부(110)는 라이프로그 데이터, 예컨대 생체 센서, 카메라, 헬스 센서, 스마트폰 등과 같은 장치(즉, 라이프로그 장치)로부터 수집(획득)되는 생체신호(111), 영상/비디오 신호(112), 직관적 정보(113), 1차원 정보(114) 및 콘텍스트(115) 등을 저장하는 기능을 제공할 수 있다.

여기에서, 생체신호는, 예컨대 심박수(맥박수), 피부 전도도 등을 포함할 수 있고, 직관적 정보는, 예컨대 시간 정보, 장소(위치) 정보, 장치 정보 등을 의미할 수 있으며, 1차원 정보는, 예컨대 가속도, 움직임 등을 의미할 수 있고, 콘텍스트는, 예컨대 성별, 나이, 성격 등의 정보를 포함할 수 있다.

그리고, 감성 특징 추출부(120)는 데이터 저장부(110)에 저장되어 있는 라이프로그 데이터로부터 감성 특징을 추출, 예컨대 얼굴 표정(F), 맥박수(h), EDA 신호 크기(e), 장소 정보(p), 시간 정보(t)를 정량화(정규화)하여 특징(feature)을 추출할 수 있는데, 예컨대 얼굴 표정은 LBP와 같은 얼굴 텍스처 특징으로 정량화할 수 있고, 맥박수는 초당 맥박수로, EDA 신호는 신호의 크기로, 장소는 GPS로, 시간은 년월일 수치로 각각 정량화할 수 있는데, 감성 인식을 위한 감성 특징(emotion feature)은 아래와 같이 표현될 수 있다.

감성_특징(emotion_feature) = {F, h, e, p, t}

이러한 감성 특징에 의거하여 아래와 같이 감성 인식 분류기를 구축할 수 있다.

감성_벡터(emotion_vector) = 감성_분류기(emotion_classifier)[F, h, e, p, t]

즉, 감성 인식부(130)는 감성 벡터에 의거한 감성 분류기를 통해 감성을 인식하는데, 감성 벡터는 러셀 감성 모델에 매핑된 값을 나타내며, 이러한 감성 벡터는 긍정의 수치와 강도의 수치로 나타낼 수 있다. 후술할 감성 이벤트 및 중요도 추출부(140)에서 감성 이벤트를 추출할 때 긍정적인 것은 검색 추천으로 강도가 높은 것은 기억에 오래가는 이벤트 값으로 활용될 수 있다.

그리고, 감성 분류기(emotion_classifier)는 기계학습을 이용한 자동분류기모듈로서, 예컨대 SVM(support vector machine) 등을 이용하거나 혹은 이 기술 분야에서 잘 알려진 통상적인 인식 방법들을 이용할 수도 있다.

즉, 본 발명은, 일례로서 도 2에 도시된 바와 같이, 감성 도메인에서 입력된 라이프로그 데이터로 감성 특징을 만들고, 이 감성 특징으로 훈련된 감성 분류기로 감성 벡터 값을 표시하며, 감성 벡터에 기반하여 감성 이벤트 및 중요도를 추출하고 이를 감성 스케치 기반 검색에 활용할 수 있다.

여기에서, 새로운 라이프로그 데이터는, 일례로서 도 3에 도시한 바와 같이, 멀티모달 특징을 감성 분류기의 입력으로 하여 감성을 측정(인식 및 추출)하는데, 해당 감성 인식 시스템은 비디오, 생체신호 등 다양한 라이프로그 데이터로부터 감성과 관련된 특징을 추출하고, 감성 인식에 효과적인 특징을 선택 및 융합하여 감성의 종류와 세기를 인식하는 등의 기능을 제공할 수 있다. 이를 위해 감성 인식 시스템은 멀티모달 특징 융합부와 감성 자동 인식부 등을 포함할 수 있다.

또한, 소셜미디어와 연동될 경우 해당 감성 인식 시스템은, 일례로서 도 4에 도시된 바와 같이 대중 라이프로그 데이터, 이용자 프로파일, 유사 집단 라이프로그 정보 결합부, 감성 자동 분류부 및 대중 감성 추출부 등을 포함할 수 있는 것으로, 소셜미디어의 라이프로그 데이터와 연동하여 아래에서와 같이 소셜 또는 그룹 감성(대중 감성)이 반영된 감성의 종류와 세기로 나타낼 수 있다.

emotion_vector_socialmedia = social_emotion

emotion_classifier[F, h, e, p, t]

상기에서

은 반영 방법을 나타낸 것으로, 단순 가중치 반영이나, 더하기, 곱하기 등 다양한 풀링 방법이 사용될 수 있다.

감성 이벤트 추출

본 발명에서 제안하는 감성 이벤트 추출은 지속적으로 획득되는 방대한 양의 라이프로그 데이터를 의미가 있는 정보로 저장하기 위해 사람의 기억에 가장 큰 영향을 주는 감성에 연동하여 자동으로 사용자 감성 이벤트를 추출 및 요약하고, 이것을 생성하는 감성 이벤트 시스템 또는 감성 이벤트 및 중요도 추출부(150)를 포함할 수 있다.

즉, 일례로서 도 5에 도시된 바와 같이 지속적으로 획득된 라이프로그 데이터로부터 감성 이벤트를 자동으로 추출하기 위해서는 각 구간의 감성을 자동으로 인식하여 검출하는데, 이를 위해 아래에서와 같이 감성 인식부(130)에서 인식한 감성 벡터(emotion_vector)를 활용하여 감성 기반 이벤트의 감성 기반 중요도를 측정한다.

emotion_event_importance = emotion_vector

event_model

상기에서 감성 이벤트 중요도(emotion_event_importance)는 이벤트가 감성에 연결된 중요도 값을 의미하는 것으로, 이러한 중요도가 크면 감성 이벤트로 추출될 확률이 상대적으로 높아진다.

그리고, 이벤트 모델(event_model)은 이벤트로 정의되는 장소, 시간, 인물에 대한 것을 포함하는 이벤트 모델의 의미하는 것으로, 최종 감성 이벤트의 추출은 이러한 이벤트 모델과 감성 벡터(emotion_vector)가 연동된 반영 방법

에 의해 얻어질 수 있다. 여기에서, 반영 방법은, 예컨대 감성 벡터의 긍정의 수치와 강도의 수치가 클수록 중요한 이벤트로 판단하는 방법이 이용될 수 있다.

이때, 감성 이벤트(emotion_event)를 자동으로 추출하기 위한 방법으로 다음과 같이 감성 이벤트 추출기를 통해 감성 이벤트를 추출할 수 있다.

emotion_event = emotion_event_extractor[emotion_event_importance]

상기에서 감성 이벤트 추출기(emotion_event_extractor)는 단순히 감성 이벤트 중요도가 일정 크기 이상일 때 또는 그 외 기타 방법으로 감성 이벤트 중요도를 분석하여 감성 이벤트를 추출할 수 있다.

도 5를 참조하면, 라이프로그 사진들로 감성 이벤트 중요도 값이 클 때 감성 이벤트로 추출된 예를 보여주는데, 이렇게 추출된 감성 이벤트와 감성 중요도는 그래픽 유저 인터페이스(GUI)를 통해 사용자에게 감성적으로 중요한 이벤트를 자동 요약하는 시스템으로 활용될 수 있다.

또한, 기억을 빨리 찾고 싶을 때 감성기반으로 자세한 기억을 검색하는데 쓰이는 "감성 스케치 기반 라이프로그(예 사진) 검색" 시스템으로 활용될 수도 있다.

감성 스케치 기반의 라이프로그 정보 검색

본 발명에서 제공하는 감성 스케치 기반의 라이프로그 검색 또는 감성 스케치 기반 검색부(150)는 사용자가 검색하기를 원하는 장소, 함께 있었던 사람, 그때 느꼈던 감성의 기억이 정확하지 않을 때, 대략적인 스케치를 하되 사람의 기억에 가장 영향을 미치는 감성을 중심으로 나머지 개략 정보를 연동시키는 것을 포함한다. 감성 스케치는 다음과 같은 감성 질의를 만든다.

emotion_query = emotion_model

[event_hint]

상기에서 이벤트 질의(query)는 감성 스케치 질의를 나타내는 것으로서, 감성 스케치와 이벤트 힌트로 구성될 수 있는데, 이러한 감성 스케치는, 일례로서 도 6에 도시된 바와 같이, 사용자가 감성 모델 플레이트에서 버튼을 움직여 원하는 감성을 스케치하여 입력할 수 있다.

그리고, 감성 모델(emotion_model)은 감성 자동 추출에서 이용한 러셀 감성 모델이 하나의 예가 될 수 있으며, 이 기술 분야에서 통상적으로 널리 사용되는 다른 감성 모델들도 사용될 수 있다.

즉, 감성 스케치 기반 검색부(150)는 검색하고자 하는 장면의 공간, 인물, 감성 정보를 스케치 입력으로 하여 장면을 검색하는 기능을 제공할 수 있다.

또한, 이벤트 힌트(event_hint)(160)는 검색하는 다른 정보의 힌트로서 공간 또는 시간(161), 인물(162) 등의 힌트 정보를 나타내는데, 이러한 힌트 정보가 감성(163)과 연동하여 최종 감성 질의를 구성할 수 있다. 그리고, ??는 연동 방법을 나타내는 것으로 풀링 방법이 한 예가 될 수 있는데, 이 기술 분야에 널리 알려진 통상적인 다른 연동 방법도 동일하게 적용될 수 있다.

도 7은 본 발명에 따라 감성 스케치 기반으로 라이프로그를 검색하는 개념을 설명하기 위한 개념 예시도이다.

도 7을 참조하면, 본 발명에 따라 제공되는 감성 스케치 기반의 라이프로그 검색 개념으로서, 사용자는 감성 정보가 연동된 라이프로그 영상에서 검색하고자 하는 장면에 대해 공간, 인물, 감성 정보의 대략적인 스케치를 입력할 수 있다.

그리고, 스케치 융합 검색 시스템은 입력된 스케치 정보(예컨대, 공간 스케치, 인물 스케치, 감성 스케치 등)와 유사한 관심 공간, 등장인물, 감성 상태 등에 기반하여 라이프로그를 검색(예컨대, 감성 기반의 관심 공간 검색, 감성 기반의 인물 검색 등)할 수 있는데, 감성 스케치는 기억에 의존하여 개략적인 감성 스케치로 감성 이벤트를 검색할 때 유용하게 활용될 수 있다.

이상의 설명은 본 발명의 기술사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경 등이 가능함을 쉽게 알 수 있을 것이다. 즉, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것으로서, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다.

따라서, 본 발명의 보호 범위는 후술되는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (1)

1. 생체신호, 영상/비디오 신호, 직관적 정보, 1차원 정보 및 콘텍스트를 라이프로그 데이터로서 저장하는 데이터 저장부와,
   상기 데이터 저장부에 저장된 라이프로그 데이터로부터 감성 특징을 정량화하여 추출하는 감성 특징 추출부와,
   추출된 상기 감성 특징에 기반하여 감성 분류기를 통해 감성 인식 결과를 포함하는 감성 벡터를 생성하는 감성 인식부와,
   생성된 상기 감성 벡터로부터 감성 이벤트를 추출하고 중요도를 측정하는 감성 이벤트 및 중요도 추출부와,
   검색하고자 하는 장면의 공간, 인물, 감성 정보를 스케치 입력으로 하여 장면을 검색하는 감성 스케치 기반 검색부
   를 포함하는 감성 이벤트 추출 및 감성 스케치 검색 시스템.

Images