KR102134323B1 - 이벤트 연산 기반의 다중행동의도 추론 장치 및 그 방법 - Google Patents

이벤트 연산 기반의 다중행동의도 추론 장치 및 그 방법 Download PDF

Info

Publication number
KR102134323B1
KR102134323B1 KR1020180023502A KR20180023502A KR102134323B1 KR 102134323 B1 KR102134323 B1 KR 102134323B1 KR 1020180023502 A KR1020180023502 A KR 1020180023502A KR 20180023502 A KR20180023502 A KR 20180023502A KR 102134323 B1 KR102134323 B1 KR 102134323B1
Authority
KR
South Korea
Prior art keywords
intention
inferred
behavioral
behavioral intention
behavior
Prior art date
Application number
KR1020180023502A
Other languages
English (en)
Other versions
KR20190102702A (ko
Inventor
박영택
전명중
박현규
방성혁
배석현
Original Assignee
숭실대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숭실대학교산학협력단 filed Critical 숭실대학교산학협력단
Priority to KR1020180023502A priority Critical patent/KR102134323B1/ko
Publication of KR20190102702A publication Critical patent/KR20190102702A/ko
Application granted granted Critical
Publication of KR102134323B1 publication Critical patent/KR102134323B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

실시 예는, 사용자의 행위 정보가 포함된 시계열 데이터인 지각시퀀스(percept sequence) 데이터를 입력받는 입력부, 상기 지각시퀀스 데이터의 속성값을 기 설정된 의도 추론 모델에 적용하여 사용자의 행동의도를 추론하는 의도 추론부, 행동의도간 충돌 규칙을 이용하여 기 저장된 행동의도와 상기 추론된 행동의도간 충돌 여부를 판단하는 충돌 판단부, 기 저장된 행동의도와 상기 추론된 행동의도가 충돌하는 것으로 판단되면, 상기 추론된 행동의도가 오류인지 여부를 검증하는 오류 검증부, 그리고 상기 검증 결과에 따라 상기 추론된 행동의도를 저장하는 저장부를 포함하는 다중행동의도 추론 장치를 개시한다.

Description

이벤트 연산 기반의 다중행동의도 추론 장치 및 그 방법{APPARATUS OF REASONING MULTI-ACTION INTENT BASED EVENT CALCULUS AND METHOD THEREOF}
실시 예는 다중행동의도 추론 장치 및 그 방법에 관한 것이다.
인간의 의도 예측은 시공간적으로 제한된 상황 안에서 피실험자가 센서를 부착한 상태로 행동하는 과정 속에서 수집된 센서 데이터를 기반으로 한 데이터 세트를 활용한다. 센서에 의한 데이터가 수집되면, 이에 해당하는 최상위 의도 레이블을 배정하고, 이에 따라 정답이 존재하는 지도학습의 형태로 모델을 학습시켜 의도 예측에 사용한다.
하지만, 이러한 기계 학습 기반의 예측 모델로는 동일한 시점에 병행 가능한 여러 가지의 의도를 예측하는 모델을 만들기 어렵다. 예를 들어, 식사와 같은 의도의 경우, 특정 시점에서 단일 의도로 존재하지 않고 TV를 시청하면서 식사 행위가 복합적으로 발생할 수 있기 때문에 단일 의도 예측으로 얻는 정보는 불충분하다.
머신 러닝 기반의 의도 예측 학습은 대량의 데이터로부터 패턴을 인식하여 패턴에 해당하는 의도 레이블을 예측하는 형태로 수행된다. 머신 러닝 검증하기 위해서는 정확도 성능 평가뿐만 아니라, 여러 케이스의 테스트 데이터를 적용하는 실험들이 필요하다.
하지만, 알고리즘 내부의 연산에 의해 속성값들이 분해되고 재결합되는 과정을 반복하기 때문에 실험 결과에서 이상이 발생할 경우, 어느 속성에서 문제점이 발견되었는지 직관적으로 판단하는 것이 어렵다. 이로 인해, 머신 러닝 모델의 검증은 데이터 외에도 알고리즘 내부의 하이퍼 파라미터들을 일일이 검사해야 하는 연산 비용 문제가 존재한다.
본 발명의 배경이 되는 기술은 한국공개특허 제10-2014-0018652호(2014.02.13. 공개)에 개시되어 있다.
복수의 행동의도간 충돌 판단을 통해 특정 시점에서의 다중행동을 여부를 판단할 수 있는 다중행동의도 추론 장치 및 그 방법을 제공하기 위한 것이다.
실시 예에서 해결하고자 하는 과제는 이에 한정되는 것은 아니며, 아래에서 설명하는 과제의 해결수단이나 실시 형태로부터 파악될 수 있는 목적이나 효과도 포함된다고 할 것이다.
본 발명의 실시예에 따른 다중행동의도 추론 장치는 사용자의 행위 정보가 포함된 시계열 데이터인 지각시퀀스(percept sequence) 데이터를 입력받는 입력부, 상기 지각시퀀스 데이터의 속성값을 기 설정된 의도 추론 모델에 적용하여 사용자의 행동의도를 추론하는 의도 추론부, 행동의도간 충돌 규칙을 이용하여 기 저장된 행동의도와 상기 추론된 행동의도간 충돌 여부를 판단하는 충돌 판단부, 기 저장된 행동의도와 상기 추론된 행동의도가 충돌하는 것으로 판단되면, 상기 추론된 행동의도가 오류인지 여부를 검증하는 오류 검증부, 그리고 상기 검증 결과에 따라 상기 추론된 행동의도를 저장하는 저장부를 포함한다.
상기 지각시퀀스 데이터는, 행위시간정보, 상기 사용자 주변의 사물 정보, 상기 사용자의 행동 및 자세 정보를 포함하며, 상기 의도 추론부는, 동일한 행위시간에서 사용자 주변의 사물, 사용자의 행동 및 자세에 대한 속성값을 상기 의도 추론 모델에 적용한 결과값을 상기 사용자의 행동의도로 추론할 수 있다.
상기 충돌 판단부는, 복수의 행동의도에 대응하는 복수의 노드와 상기 복수의 노드 사이를 연결하는 간선을 포함하는 상기 충돌 규칙이 적용된 충돌 그래프를 이용하여 기 저장된 행동의도와 상기 추론된 행동의도간 충돌 여부를 판단하되, 상기 충돌 그래프에 기 저장된 행동의도에 대응하는 제1 노드와 추론된 행동의도에 대응하는 제2 노드 사이에 상기 간선이 존재하면, 상기 기 저장된 행동의도와 상기 추론된 행동의도가 충돌하지 않는 것으로 판단하고, 상기 간선이 존재하지 않으면, 상기 기 저장된 행동의도와 상기 추론된 행동의도가 충돌하는 것으로 판단할 수 있다.
상기 오류 검증부는, 상기 추론된 행동의도가 추론된 시점부터 기 설정된 검증시간 동안 상기 추론된 행동의도의 추론이 유지되면, 상기 추론된 행동의도를 오류가 아니라고 판단하고, 그렇지 않으면 상기 추론된 행동의도를 오류로 판단할 수 있다.
상기 저장부는, 상기 추론된 행동의도가 오류라고 판단되면, 상기 기 저장된 행동의도의 저장을 유지하고 상기 추론된 행동의도를 제거하며, 상기 추론된 행동의도가 오류가 아니라고 판단되면, 상기 기 저장된 행동의도를 삭제하고 상기 추론된 행동의도를 저장하되, 상기 기 설정된 검증시간이 종료되는 시점에 상기 기 저장된 행동의도를 삭제하고 상기 추론된 행동의도를 저장할 수 있다.
본 발명의 실시예에 따른 다중행동의도 추론 방법은 사용자의 행위 정보가 포함된 시계열 데이터인 지각시퀀스(percept sequence) 데이터를 입력받는 단계, 상기 지각시퀀스 데이터의 속성값을 기 설정된 의도 추론 모델에 적용하여 사용자의 행동의도를 추론하는 단계, 행동의도간 충돌 규칙을 이용하여 기 저장된 행동의도와 상기 추론된 행동의도간 충돌 여부를 판단하는 단계, 기 저장된 행동의도와 상기 추론된 행동의도가 충돌하는 것으로 판단되면, 상기 추론된 행동의도가 오류인지 여부를 검증하는 단계, 그리고 상기 검증 결과에 따라 상기 추론된 행동의도를 저장하는 단계를 포함한다.
상기 지각시퀀스 데이터는, 행위시간정보, 상기 사용자 주변의 사물 정보, 상기 사용자의 행동 및 자세 정보를 포함하며, 상기 행동의도를 추론하는 단계는, 동일한 행위시간에서 사용자 주변의 사물, 사용자의 행동 및 자세에 대한 속성값을 상기 의도 추론 모델에 적용한 결과값을 상기 사용자의 행동의도로 추론할 수 있다.
상기 기 저장된 행동의도와 상기 추론된 행동의도간 충돌 여부를 판단하는 단계는, 복수의 행동의도에 대응하는 복수의 노드와 상기 복수의 노드 사이를 연결하는 간선을 포함하는 상기 충돌 규칙이 적용된 충돌 그래프를 이용하여 기 저장된 행동의도와 상기 추론된 행동의도간 충돌 여부를 판단하되, 상기 충돌 그래프에 기 저장된 행동의도에 대응하는 제1 노드와 추론된 행동의도에 대응하는 제2 노드 사이에 상기 간선이 존재하면, 상기 기 저장된 행동의도와 상기 추론된 행동의도가 충돌하지 않는 것으로 판단하고, 상기 간선이 존재하지 않으면, 상기 기 저장된 행동의도와 상기 추론된 행동의도가 충돌하는 것으로 판단할 수 있다.
상기 추론된 행동의도가 오류인지 여부를 검증하는 단계는, 상기 추론된 행동의도가 추론된 시점부터 기 설정된 검증시간 동안 상기 추론된 행동의도의 추론이 유지되면, 상기 추론된 행동의도를 오류가 아니라고 판단하고, 그렇지 않으면 상기 추론된 행동의도를 오류로 판단할 수 있다.
상기 검증 결과에 따라 상기 추론된 행동의도를 저장하는 단계는, 상기 추론된 행동의도가 오류라고 판단되면, 상기 기 저장된 행동의도의 저장을 유지하고 상기 추론된 행동의도를 제거하며, 상기 추론된 행동의도가 오류가 아니라고 판단되면, 상기 기 저장된 행동의도를 삭제하고 상기 추론된 행동의도를 저장하되, 상기 기 설정된 검증시간이 종료되는 시점에 상기 기 저장된 행동의도를 삭제하고 상기 추론된 행동의도를 저장할 수 있다.
본 발명의 실시예에 따르면, 현재 행동의도와의 병행 가능 여부를 통해 과거 행동의도의 유지여부를 판단하므로 한 시점에 다중 행동의도가 존재함을 판단할 수 있다.
뿐만 아니라, 로데이터가 아닌 행동의도 추론 결과를 통해 다중행동의도가 존재하는지를 판단하므로, 다중행동의도 판단에 필요한 연산량을 감소시킬 수 있다.
또한, 과거 행동 정보와 현재 행동 관측 데이터를 동시에 이용하여 사용자의 행동의도를 예측하므로, 행동의도 예측의 정확성을 높일 수 있다.
본 발명의 다양하면서도 유익한 장점과 효과는 상술한 내용에 한정되지 않으며, 본 발명의 구체적인 실시형태를 설명하는 과정에서 보다 쉽게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 다중행동의도 추론 장치의 구성도이다.
도 2는 본 발명의 실시예에 따른 지각시퀀스 데이터를 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 다중행동의도 추론 방법의 순서도이다.
도 4는 본 발명의 실시예에 따른 행동의도간 충돌 여부를 판단하는 과정을 설명하기 위한 도면이다.
도 5는 도 3의 S340 내지 S360 단계를 상세히 설명하기 위한 예시도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제2, 제1 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부된 도면을 참조하여 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
먼저, 도 1을 통해 본 발명의 실시예에 따른 다중행동의도 추론 장치에 대해 살펴보도록 한다.
도 1은 본 발명의 실시예에 따른 다중행동의도 추론 장치의 구성도이다.
도 1에 나타난 바와 같이, 본 발명의 실시예에 따른 다중행동의도 추론 장치(100)는 입력부(110), 의도 추론부(120), 충돌 판단부(130), 오류 검증부(140) 및 저장부(150)를 포함한다.
입력부(110) 사용자의 행위 정보가 포함된 시계열 데이터인 지각시퀀스(percept sequence) 데이터를 입력받는다.
지각시퀀스 데이터는 행위시간정보, 사용자 주변의 사물 정보, 사용자의 행동 및 자세 정보를 포함할 수 있다.
의도 추론부(120)는 지각시퀀스 데이터의 속성값을 기 설정된 의도 추론 모델(121)에 적용하여 사용자의 행동의도를 추론한다.
구체적으로, 의도 추론부(120)는 동일한 행위시간에서 사용자 주변의 사물, 사용자의 행동 및 자세에 대한 속성값을 의도 추론 모델에 적용한 결과값을 사용자의 행동의도로 추론한다.
이때, 의도 추론 모델은 미리 생성되어 본 발명의 실시예에 따른 다중행동의도 추론 장치(100)에 저장될 수 있다.
충돌 판단부(130) 행동의도간 충돌 규칙을 이용하여 기 저장된 행동의도와 추론된 행동의도간 충돌 여부를 판단할 수 있다. 본 발명의 실시예에서 행동의도간 충돌 규칙은 행동의도간의 논리적 연계성 및 경험적 연계성 중 적어도 하나에 따라 수립될 수 있다. 즉, 행동의도간 충돌 규칙은 일반적인 기준에 비추어 보아 임의의 행동이 동시에 발생될 수 있는지 논리적 모순관계를 정의한 규칙을 의미할 수 있다. 또는, 행동의도간 충돌 규칙은 경험적 자료에 의하여 임의의 행동이 동시에 발생될 수 있는지 경험적 모순관계를 정의한 규칙을 의미할 수 있다. 논리적 연계성이 객관적 근거에 기반한다면, 경험적 연계성은 주관적 근거에 기반한 규칙을 의미할 수 있다.
본 발명의 실시예에서 행동의도간 충돌 규칙은 충돌 그래프(conflict graph)를 이용하여 설정될 수 있다.
이때, 충돌 그래프는 복수의 행동의도에 대응하는 복수의 노드와 상기 복수의 노드 사이를 연결하는 간선을 포함한다. 충돌 그래프는 미리 생성되어 본 발명의 실시예에 따른 다중행동의도 추론 장치(100)에 저장될 수 있다. 구체적으로, 충돌 판단부(130)는 기 저장된 행동의도에 대응하는 제1 노드와 추론된 행동의도에 대응하는 제2 노드 사이에 간선이 존재하면, 기 저장된 행동의도와 추론된 행동의도가 충돌하지 않는 것으로 판단한다. 반면, 간선이 존재하지 않으면, 충돌 판단부(130)는 기 저장된 행동의도와 추론된 행동의도가 충돌하는 것으로 판단한다. 즉, 충돌 그래프상에서 간선은 행동의도간의 연계성을 의미한다. 행동의도간의 연계성은 행동의도 별로 상이하게 설정될 수 있으며, 충돌 그래프상에서 간선의 길이, 간선의 종류, 간선의 너비 등에 따라 행동의도간의 연계성의 정도가 상이하게 설정될 수 있다.
오류 검증부(140) 기 저장된 행동의도와 추론된 행동의도가 충돌하는 것으로 판단되면, 추론된 행동의도가 오류인지 여부를 검증한다.
오류 검증부(140)는 추론된 행동의도가 추론된 시점부터 기 설정된 검증시간 동안 추론된 행동의도의 추론이 유지되면, 추론된 행동의도를 오류가 아니라고 판단하고, 그렇지 않으면 상기 추론된 행동의도를 오류로 판단한다. 검증시간은 행동의도간 상이하게 설정될 수 있다. 예를 들면, 행동의 시작과 종료 시간이 상대적으로 긴 행동의 경우 검증시간이 길게 설정되고, 행동의 시작과 종료 시간이 상대적으로 긴 행동의 경우 검증시간이 짧게 설정될 수 있다. 또한, 검증시간은 행동의도간의 연계성에 따라 상이하게 설정될 수 있다. 예를 들면, A행동과 B행동의 연계성이 높은 경우 검증시간은 짧게 설정될 수 있으며, A행동과 B행동의 연계성이 높은 경우 검증시간은 짧게 설정될 수 있다.
저장부(150) 검증 결과에 따라 추론된 행동의도를 저장한다.
구체적으로, 저장부(150)는 추론된 행동의도가 오류라고 판단되면, 기 저장된 행동의도의 저장을 유지하고 추론된 행동의도를 제거한다. 반면, 저장부(150)는 추론된 행동의도가 오류가 아니라고 판단되면, 기 저장된 행동의도를 삭제하고 추론된 행동의도를 저장하되, 기 설정된 검증시간이 종료되는 시점에 기 저장된 행동의도를 삭제하고 추론된 행동의도를 저장한다.
그리고, 저장부(150)는 기 저장된 행동의도와 추론된 행동의도가 충돌하지 않는 것으로 판단되면, 추론된 행동의도가 추론된 시점에 추론된 행동의도를 저장한다.
도 2는 본 발명의 실시예에 따른 지각시퀀스 데이터를 설명하기 위한 도면이다.
도 2에 나타난 바와 같이, 지각시퀀스 데이터는 특정 시간에 속하는 행위 의도와 관련된 테이블 형태의 시계열 데이터를 의미한다.
지각시퀀스 데이터는 사용자의 행위와 관련된 로우 데이터(raw data)를 이용하여 혼합 가우시안 확률 분포 모델과 같은 확률 분포 모델을 생성하고, 생성된 확률 분포 모델을 통해 생성될 수 있다.
지각시퀀스 데이터는 행위시간정보(Time), 사용자 주변의 사물 정보(Main Object), 사용자의 행동 및 자세 정보(Primitive Action)를 포함하며, 사용자 정보(User Info)와 위치 정보(Location)를 포함할 수 있다.
지각시퀀스 데이터는 정보의 카테고리 별로 하나 이상의 속성을 가진다.
우선, 행위시간정보(Time)는 'TimeStep'과 'Hour' 속성을 가진다. 'TimeStep'은 하나의 의도의 시작부터 끝까지의 시간 정보를 단위 시간(일례로, 초 단위)로 측정한 정보를 의미하고, 'Hour'는 시작 시간 정보로부터 시간이 소요됨에 따라 변화하는 시간 정보를 시 단위로 측정한 정보를 의미한다.
다음으로, 사용자 정보(User Info)는 'User ID' 속성을 가진다. 'User ID'는 사용자의 ID를 의미한다.
그리고, 사물 정보(Main Object)는 사용자 주변에서 포착된 사물의 개수만큼의 속성을 가진다. 예를 들어, 도 2에서 t1에서는 4개의 물체가 포착되어 'obj1' 내지 'obj4'의 4개 속성을 가진다. 반면 t2에서는 3개의 물체가 포착되어 'obj1' 내지 'obj3'의 3개 속성을 가진다.
다음으로, 'Primitive Action'는 'Action' 과 'Pose'속성을 가진다. 'Action'은 사용자의 행위 정보를 의미하고 'Pose'는 사용자의 자세 정보를 의미한다.
그리고, 'Location'은 'x', 'y', 'Room' 속성을 가진다. 'x', 'y'는 사용자가 위치하는 공간 상의 2차원 좌표(x,y)를 의미한다. 'Room'은 사용자가 위치하는 공간에 대한 정보를 의미한다.
지각시퀀스 데이터는 아래의 예시와 같은 형태로 표현될 수 있다.
[지각시퀀스 데이터의 예시]
Preprocessed Data #1
t361, Observed(person1, Stove)
t361, Observed(person1, Fridge)
Happens(Action (person1, Cook), t361)
Happens(Pose(person1, Stand), t361)
위의 예시는 t361에서의 지각시퀀스 데이터를 나타낸다. 위의 예시는 사용자 1의 주변에 스토브(stove)와 냉장고(fridge)가 관측되었고, 사용자 1이 요리(cook)를 하는 행동과 서있는(stand) 자세가 포착되었음을 나타낸다.
이하에서는, 도 3 내지 도 5를 통해 본 발명의 실시예에 따른 다중행동의도 추론 장치를 이용한 다중행동의도 추론 방법을 살펴보도록 한다.
도 3은 본 발명의 실시예에 따른 다중행동의도 추론 방법의 순서도이다.
도 3에 나타난 바와 같이, 입력부는 사용자의 행위 정보가 포함된 시계열 데이터인 지각시퀀스 데이터를 입력받는다(S310).
그러면, 의도 추론부는 지각시퀀스 데이터의 속성값을 기 설정된 의도 추론 모델에 적용하여 사용자의 행동의도를 추론한다(S320).
구체적으로, 의도 추론부는 동일한 행위시간에서 사용자 주변의 사물, 사용자의 행동 및 자세에 대한 속성값을 의도 추론 모델에 적용한 결과값을 사용자의 행동의도로 추론할 수 있다.
예를 들어, 의도 추론 모델에는 '식사 준비'라는 행동의도를 추론하는 의도 추론 모델이 포함될 수 있다. 이때, '식사 준비'라는 행동의도를 추론하는 의도 추론 모델은 행동(Action) 속성값 'Cook', 자세(Pose) 속성값 'Stand', 사물(Main Object) 속성값 'Sink'및 'Dish'가 적용되는 경우, 사용자가 '식사 준비'중이라는 행동의도를 결과값으로 출력할 수 있다.
이와 같이, 의도 추론 모델은 지각시퀀스 데이터의 속성값에 따라 다양한 행동의도를 결과값으로 도출하는 추론 모델을 포함한다.
S320 단계에서 행동의도를 추론하면, 충돌 판단부는 행동의도간 충돌 규칙을 포함하는 충돌 그래프(conflict graph)를 이용하여 기 저장된 행동의도와 추론된 행동의도간 충돌 여부를 판단한다(S330).
도 4는 본 발명의 실시예에 따른 행동의도간 충돌 여부를 판단하는 과정을 설명하기 위한 도면이다.
도 4에 나타난 바와 같이, 충돌 그래프는 복수의 행동의도에 대응하는 복수의 노드와 복수의 노드 사이를 연결하는 간선을 포함한다.
충돌 판단부는 충돌 그래프에 기 저장된 행동의도에 대응하는 제1 노드와 추론된 행동의도에 대응하는 제2 노드 사이에 간선이 존재하는지 여부로 충돌 여부를 판단한다.
간선이 존재하면, 충돌 판단부는 기 저장된 행동의도와 추론된 행동의도가 충돌하지 않는 것으로 판단한다. 반면, 간선이 존재하지 않으면, 충돌 판단부는 기 저장된 행동의도와 추론된 행동의도가 충돌하는 것으로 판단한다.
예를 들어, 도 4에서, '독서'노드와 '식사'노도 사이에는 간선이 존재하므로, 독서와 식사는 서로 충돌이 발생하지 않는, 즉 공존할 수 있는 행동의도이다. '식사', 'TV 시청', '대화' 노드의 경우에도 서로 간선으로 연결되어 있으므로, 식사, TV 시청, 대화는 충돌이 발생하지 않는 행동의도이다.
반면, '독서'노드와 '청소'노드 사이에는 간선이 존재하지 않으므로, 독서와 청소는 충돌이 발생하는, 즉 공존할 수 없는 행동의도이다. '식사'노드와 '청소'노드 사이에도 간선이 존재하지 않으므로, 식사와 청소는 충돌이 발생하는 행동의도이다.
S330 단계에서, 기 저장된 행동의도와 추론된 행동의도가 충돌하지 않는 것으로 판단되면, 저장부는 추론된 행동의도가 추론된 시점에 추론된 행동의도를 저장한다(S340). 즉, 저장부는 기 저장된 행동의도의 저장 상태를 유지한 채, 추론된 행동의도를 저장한다.
S330 단계에서, 기 저장된 행동의도와 추론된 행동의도가 충돌하는 것으로 판단되면, 오류 검증부는 추론된 행동의도가 오류인지 여부를 검증한다(S350).
오류 검증부는 추론된 행동의도가 추론된 시점부터 기 설정된 검증시간 동안 추론된 행동의도가 유지되면, 추론된 행동의도를 오류가 아니라고 판단한다.
반면, 추론된 행동의도가 추론된 시점부터 기 설정된 검증시간 동안 추론된 행동의도가 유지되지 않으면, 오류 검증부는 추론된 행동의도를 오류로 판단한다.
추론된 행동의도가 오류라고 판단되면, 저장부는 기 저장된 행동의도의 저장을 유지하고 추론된 행동의도를 제거한다(S360).
추론된 행동의도가 오류가 아니라고 판단되면, 저장부는 기 저장된 행동의도를 삭제하고 추론된 행동의도를 저장한다. 이때, 저장부는 기 설정된 검증시간이 종료되는 시점에 기 저장된 행동의도를 삭제하고 추론된 행동의도를 저장한다.
아래에서는, 도 5의 예시를 통해 도 3의 S340 내지 S360 단계를 상세히 살펴보도록 한다.
도 5는 도 3의 S340 내지 S360 단계를 상세히 설명하기 위한 예시도이다.
도 5에서와 같이, 검증시간(k)은 60으로 설정되었다고 가정한다.
우선, 행동의도 '청소'가 t1에서 발생한 후 유지되던 중, t555에서 행동의도 '식사'가 발생한다. 도 4를 참조하면, 기 저장된 행동의도 '청소'와 추론된 행동의도 '식사'는 서로 충돌이 발생하므로, 오류 검증부는 추론된 행동의도 '식사'에 대한 오류 검증을 수행한다.
오류 검증 결과, 행동의도 '식사'가 추론된 t555로부터 검증시간 60(t555~t615) 동안 행동의도 '식사'가 계속 추론 유지되고 있으므로, 오류 검증부는 행동의도 '식사'가 오류가 아니라고 판단한다.
그러면, 저장부는 검증시간 60이 종료된 t615에 행동의도 '청소'의 유지를 종결시킴과 동시에 행동의도 '식사'를 저장한다.
이후, 행동의도 '식사'가 유지되고 있는 중, t1695에서 행동의도 'TV 시청'이 발생한다. 도 4를 참조하면, t1685 시점에 기 저장된 행동의도 '식사'는 공존, 즉 충돌이 발생하지 않는다. 따라서, 저장부는 행동의도 'TV 시청'을 추론 시점인 t1695 시점에 저장한다.
한편, 도 5에서 ΔtΔ 는 노이즈를 의미한다. 예를 들어 행동의도'청소'에서 시간 20 동안 행동의도 '청소'가 추론되지 않았음을 나타낸다. 유지되던 행동의도가 짧은 시간동안 추론되지 않는다는 것은 노이즈일 가능성이 높다. 따라서 본 발명의 실시예에 따른 다중행동의도 추론 장치는 임계시간을 설정하고, 유지되던 행동의도가 임계시간 이내로 추론되지 않을 경우에는, 추론되지 않은 시간동안 행동의도가 추론된 것으로 본다.
다만, 임계시간 이상으로 유지되던 행동의도가 추론되지 않는 경우, 해당 행동은 종료된 것으로 보며, 추론되지 않는 시점부터 종료된 것으로 보아 유지되던 행동의도를 삭제한다.
본 발명의 실시예에 따르면, 현재 행동의도와의 병행 가능 여부를 통해 과거 행동의도의 유지여부를 판단하므로 한 시점에 다중 행동의도가 존재함을 판단할 수 있다. 뿐만 아니라, 로데이터가 아닌 행동의도 추론 결과를 통해 다중행동의도가 존재하는지를 판단하므로, 다중행동의도 판단에 필요한 연산량을 감소시킬 수 있다. 또한, 과거 행동 정보와 현재 행동 관측 데이터를 동시에 이용하여 사용자의 행동의도를 예측하므로, 행동의도 예측의 정확성을 높일 수 있다.
이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 다중행동의도 추론 장치 110 : 입력부
120 : 의도 추론부 121 : 의도 추론 모델
130 : 충돌 판단부 131 : 충돌 그래프
140 : 오류 검증부 150 : 저장부

Claims (10)

  1. 사용자의 행위 정보가 포함된 시계열 데이터인 지각시퀀스(percept sequence) 데이터를 입력받는 입력부,
    상기 지각시퀀스 데이터의 속성값을 기 설정된 의도 추론 모델에 적용하여 사용자의 행동의도를 추론하는 의도 추론부,
    행동의도간 충돌 규칙을 이용하여 기 저장된 행동의도와 상기 추론된 행동의도간 충돌 여부를 판단하는 충돌 판단부,
    기 저장된 행동의도와 상기 추론된 행동의도가 충돌하는 것으로 판단되면, 상기 추론된 행동의도가 오류인지 여부를 검증하는 오류 검증부, 그리고
    상기 검증 결과에 따라 상기 추론된 행동의도를 저장하는 저장부를 포함하며,
    상기 충돌 판단부는,
    복수의 행동의도에 대응하는 복수의 노드와 상기 복수의 노드 사이를 연결하는 간선을 포함하는 상기 충돌 규칙이 적용된 충돌 그래프를 이용하여 기 저장된 행동의도와 상기 추론된 행동의도간 충돌 여부를 판단하되,
    상기 충돌 그래프에 기 저장된 행동의도에 대응하는 제1 노드와 추론된 행동의도에 대응하는 제2 노드 사이에 상기 간선이 존재하면, 상기 기 저장된 행동의도와 상기 추론된 행동의도가 충돌하지 않는 것으로 판단하고,
    상기 간선이 존재하지 않으면, 상기 기 저장된 행동의도와 상기 추론된 행동의도가 충돌하는 것으로 판단하는 다중행동의도 추론 장치.
  2. 제1항에 있어서,
    상기 지각시퀀스 데이터는,
    행위시간정보, 상기 사용자 주변의 사물 정보, 상기 사용자의 행동 및 자세 정보를 포함하며,
    상기 의도 추론부는,
    동일한 행위시간에서 사용자 주변의 사물, 사용자의 행동 및 자세에 대한 속성값을 상기 의도 추론 모델에 적용한 결과값을 상기 사용자의 행동의도로 추론하는 다중행동의도 추론 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 오류 검증부는,
    상기 추론된 행동의도가 추론된 시점부터 기 설정된 검증시간 동안 상기 추론된 행동의도의 추론이 유지되면, 상기 추론된 행동의도를 오류가 아니라고 판단하고, 그렇지 않으면 상기 추론된 행동의도를 오류로 판단하는 다중행동의도 추론 장치.
  5. 제4항에 있어서,
    상기 저장부는,
    상기 추론된 행동의도가 오류라고 판단되면, 상기 기 저장된 행동의도의 저장을 유지하고 상기 추론된 행동의도를 제거하며,
    상기 추론된 행동의도가 오류가 아니라고 판단되면, 상기 기 저장된 행동의도를 삭제하고 상기 추론된 행동의도를 저장하되, 상기 기 설정된 검증시간이 종료되는 시점에 상기 기 저장된 행동의도를 삭제하고 상기 추론된 행동의도를 저장하는 다중행동의도 추론 장치.
  6. 입력부가, 사용자의 행위 정보가 포함된 시계열 데이터인 지각시퀀스(percept sequence) 데이터를 입력받는 단계,
    의도 추론부가, 상기 지각시퀀스 데이터의 속성값을 기 설정된 의도 추론 모델에 적용하여 사용자의 행동의도를 추론하는 단계,
    충돌 판단부가, 행동의도간 충돌 규칙을 이용하여 기 저장된 행동의도와 상기 추론된 행동의도간 충돌 여부를 판단하는 단계,
    오류 검증부가, 기 저장된 행동의도와 상기 추론된 행동의도가 충돌하는 것으로 판단되면, 상기 추론된 행동의도가 오류인지 여부를 검증하는 단계, 그리고
    저장부가, 상기 검증 결과에 따라 상기 추론된 행동의도를 저장하는 단계를 포함하며,
    상기 기 저장된 행동의도와 상기 추론된 행동의도간 충돌 여부를 판단하는 단계는,
    복수의 행동의도에 대응하는 복수의 노드와 상기 복수의 노드 사이를 연결하는 간선을 포함하는 상기 충돌 규칙이 적용된 충돌 그래프를 이용하여 기 저장된 행동의도와 상기 추론된 행동의도간 충돌 여부를 판단하되,
    상기 충돌 그래프에 기 저장된 행동의도에 대응하는 제1 노드와 추론된 행동의도에 대응하는 제2 노드 사이에 상기 간선이 존재하면, 상기 기 저장된 행동의도와 상기 추론된 행동의도가 충돌하지 않는 것으로 판단하고,
    상기 간선이 존재하지 않으면, 상기 기 저장된 행동의도와 상기 추론된 행동의도가 충돌하는 것으로 판단하는 다중행동의도 추론 방법.
  7. 제6항에 있어서,
    상기 지각시퀀스 데이터는,
    행위시간정보, 상기 사용자 주변의 사물 정보, 상기 사용자의 행동 및 자세 정보를 포함하며,
    상기 행동의도를 추론하는 단계는,
    동일한 행위시간에서 사용자 주변의 사물, 사용자의 행동 및 자세에 대한 속성값을 상기 의도 추론 모델에 적용한 결과값을 상기 사용자의 행동의도로 추론하는 다중행동의도 추론 방법.
  8. 삭제
  9. 제6항에 있어서,
    상기 추론된 행동의도가 오류인지 여부를 검증하는 단계는,
    상기 추론된 행동의도가 추론된 시점부터 기 설정된 검증시간 동안 상기 추론된 행동의도의 추론이 유지되면, 상기 추론된 행동의도를 오류가 아니라고 판단하고, 그렇지 않으면 상기 추론된 행동의도를 오류로 판단하는 다중행동의도 추론 방법.
  10. 제9항에 있어서,
    상기 검증 결과에 따라 상기 추론된 행동의도를 저장하는 단계는,
    상기 추론된 행동의도가 오류라고 판단되면, 상기 기 저장된 행동의도의 저장을 유지하고 상기 추론된 행동의도를 제거하며,
    상기 추론된 행동의도가 오류가 아니라고 판단되면, 상기 기 저장된 행동의도를 삭제하고 상기 추론된 행동의도를 저장하되, 상기 기 설정된 검증시간이 종료되는 시점에 상기 기 저장된 행동의도를 삭제하고 상기 추론된 행동의도를 저장하는 다중행동의도 추론 방법.
KR1020180023502A 2018-02-27 2018-02-27 이벤트 연산 기반의 다중행동의도 추론 장치 및 그 방법 KR102134323B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180023502A KR102134323B1 (ko) 2018-02-27 2018-02-27 이벤트 연산 기반의 다중행동의도 추론 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180023502A KR102134323B1 (ko) 2018-02-27 2018-02-27 이벤트 연산 기반의 다중행동의도 추론 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20190102702A KR20190102702A (ko) 2019-09-04
KR102134323B1 true KR102134323B1 (ko) 2020-07-15

Family

ID=67950411

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180023502A KR102134323B1 (ko) 2018-02-27 2018-02-27 이벤트 연산 기반의 다중행동의도 추론 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102134323B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102367181B1 (ko) * 2019-11-28 2022-02-25 숭실대학교산학협력단 행렬 인수분해 기법에 기초한 데이터 확대 방법
KR102365838B1 (ko) * 2020-11-12 2022-02-21 숭실대학교산학협력단 사용자 의도 추론을 위한 뉴럴 심볼릭 기반 규칙 생성 방법 및 장치
CN113190665B (zh) * 2021-05-08 2024-02-06 京东科技控股股份有限公司 意图识别方法和装置、存储介质、电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005504268A (ja) 2001-07-12 2005-02-10 ダイムラークライスラー・アクチェンゲゼルシャフト ヒトによって主観的に現実のものとしてとられた環境の判断およびモデリングのための方法および装置
JP2016200955A (ja) 2015-04-09 2016-12-01 株式会社リコー 情報処理装置、プログラム、推定方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100860407B1 (ko) * 2006-12-05 2008-09-26 한국전자통신연구원 멀티모달 융합 처리 방법 및 그 장치
KR101384593B1 (ko) * 2012-08-03 2014-04-14 공주대학교 산학협력단 컨텍스트 인식 기반 사용자 행동패턴 추론 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005504268A (ja) 2001-07-12 2005-02-10 ダイムラークライスラー・アクチェンゲゼルシャフト ヒトによって主観的に現実のものとしてとられた環境の判断およびモデリングのための方法および装置
JP2016200955A (ja) 2015-04-09 2016-12-01 株式会社リコー 情報処理装置、プログラム、推定方法

Also Published As

Publication number Publication date
KR20190102702A (ko) 2019-09-04

Similar Documents

Publication Publication Date Title
KR102134323B1 (ko) 이벤트 연산 기반의 다중행동의도 추론 장치 및 그 방법
Okeyo et al. Dynamic sensor data segmentation for real-time knowledge-driven activity recognition
US20220222929A1 (en) Method and device for testing the robustness of an artificial neural network
Lagnado et al. Learning causal structure
Belov et al. Distributions of the Kullback–Leibler divergence with applications
Bell et al. Emotional memory: No source memory without old–new recognition.
US20200397346A1 (en) Annotation method, annotation device, storage medium, and identification system
Levashenko et al. Reliability estimation of healthcare systems using fuzzy decision trees
CN108920530B (zh) 一种信息处理方法、装置、存储介质及电子设备
KR20180004107A (ko) 패턴 레지스트레이션
Nyolt et al. Marginal filtering in large state spaces
Giuliari et al. Spatial commonsense graph for object localisation in partial scenes
Biagiola et al. Testing the plasticity of reinforcement learning-based systems
Nguyen et al. Memory-augmented theory of mind network
Bouchard et al. Spatial recognition of activities for cognitive assistance: realistic scenarios using clinical data from Alzheimer’s patients
Tucker et al. Updating Markov models to integrate cross-sectional and longitudinal studies
Liu et al. Adaptive real-time similar repetitive manual procedure prediction and robotic procedure generation for human-robot collaboration
JP2023118101A (ja) 機械学習システムに対する敵対的パッチを特定するための装置及び方法
Janse van Rensburg et al. Attacker-parametrised attack graphs
KR100568414B1 (ko) 잡음을 갖는 패턴을 발견하기 위한 시스템 및 방법
KR20230004334A (ko) 신호의 분류 및/또는 신호에 대한 회귀 분석의 수행을 위한 디바이스 및 방법
CN111241257B (zh) 信息处理方法和电子设备
Hervás et al. Calibrating a Metric for Similarity of Stories against Human Judgement.
Lade et al. Task prediction in cooking activities using hierarchical state space markov chain and object based task grouping
Ilczuk et al. Visualization of rough set decision rules for medical diagnosis systems

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant