KR101413558B1 - 사용자 다중의도 분석장치 및 사용자 다중의도 분석 방법 - Google Patents

사용자 다중의도 분석장치 및 사용자 다중의도 분석 방법 Download PDF

Info

Publication number
KR101413558B1
KR101413558B1 KR1020110042811A KR20110042811A KR101413558B1 KR 101413558 B1 KR101413558 B1 KR 101413558B1 KR 1020110042811 A KR1020110042811 A KR 1020110042811A KR 20110042811 A KR20110042811 A KR 20110042811A KR 101413558 B1 KR101413558 B1 KR 101413558B1
Authority
KR
South Korea
Prior art keywords
user
intention
information
gaze
image
Prior art date
Application number
KR1020110042811A
Other languages
English (en)
Other versions
KR20120124891A (ko
Inventor
이민호
곽호완
장영민
이상일
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020110042811A priority Critical patent/KR101413558B1/ko
Publication of KR20120124891A publication Critical patent/KR20120124891A/ko
Application granted granted Critical
Publication of KR101413558B1 publication Critical patent/KR101413558B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

사용자 다중의도 분석장치가 개시된바. 본 사용자 다중의도 분석장치는, 사용자에게 이미지를 제공하는 표시부, 이미지에 대한 사용자의 시선 경로를 검출하는 검출부, 검출된 시선 경로에서 시선 특징 정보를 추출하는 추출부, 및, 추출된 시선 특징 정보를 이용하여 사용자의 의도를 판단하는 판단부를 포함한다.

Description

사용자 다중의도 분석장치 및 사용자 다중의도 분석 방법{ANALYSIS DEVICE OF USER MULTI-INTENT, METHOD OF ANALYSIS USER MULTI-INTENT}
본 발명은 사용자 다중의도 분석장치 및 사용자 다중의도 분석 방법에 관한 것으로, 더욱 상세하게는 사용자의 시선 경로를 분석하여 사용자의 내제된 다중의도를 분석할 수 있는 사용자 다중의도 분석장치 및 사용자 다중의도 분석 방법에 관한 것이다.
최근에 의도 모델링(intention modeling) 및 인지(recognition)에서의 중요한 연구 이슈는 사용자 인터페이스(Human Computer Interface, HCI) 및 인간과 로봇 상호 작용(Human-Robot Interaction, HRI)에서 새로운 패러다임을 생성하는 것이다.
종래에 사용자의 명백한 의도에 기초하여 사용자 인터페이스(HCI) 및 인간과 로봇 상호 작용(HRI)을 구현하는 많은 방법은 존재하였다. 이러한 사용자의 명시적 의도는 키보드 및 컴퓨터 마우스를 사용하여 전해지는 것뿐만 아니라 얼굴의 표출, 연설, 손짓 등과 같은 것을 통하여 전달될 수 있었다. 즉, 사용자 인터페이스(HCI)에서 "파일을 복사해라." 또는 인간과 로봇 상호 작용(HRI)에서 "창문을 열어라."와 같은 사용자의 명시적 의도 표시만을 이용하여 휴먼 사용자 인터페이스(HCI) 및 인간과 로봇 상호 작용(HRI)을 구현하였다.
그러나 명백한 의도가 아닌 상환 변화에 따라 사용자의 내제된 의도를 파악하여 상황 변화에 적응적 서비스를 제공해주는 사용자 인터페이스(HCI) 및 인간과 로봇 상호 작용(HRI) 시스템을 구현하기는 어려웠다. 구체적으로, 종래에는 사용자의 내제된 의도를 파악할 수 있는 방법이 존재하지 않았다는 점에서, 이러한 사용자의 내제된 의도를 파악할 수 있는 방법이 요청되었다.
따라서, 본 발명은, 사용자의 시선 경로를 분석하여 사용자의 내제된 다중의도를 분석할 수 있는 사용자 다중의도 분석장치 및 사용자 다중의도 분석 방법을 제공하는 데 있다.
이상과 같은 목적을 달성하기 위한 본 발명에 의한 사용자 다중의도 분석장치는, 사용자에게 이미지를 제공하는 표시부, 상기 이미지에 대한 사용자의 시선 경로를 검출하는 검출부, 상기 검출된 시선 경로에서 시선 특징 정보를 추출하는 추출부, 및, 상기 추출된 시선 특징 정보를 이용하여 사용자의 의도를 판단하는 판단부를 포함한다.
이 경우, 상기 사용자의 의도는, 특정 위치에서 정보를 취득할 목적을 갖는 정보적 의도, 행위 결과에 대한 기대 없이 정보 세계를 항행하려는 항행적 의도, 및 특정 결과를 기대하면서 특정 행위를 하려는 교류적 의도 중 적어도 하나의 의도인 것이 바람직하다.
한편, 상기 시선 특정 정보는, 사용자 시선의 첫 고정 시간, 이미지의 특정 영역(area of interest(AOI))에서의 시선이 머무는 시간, 상기 특정 영역에서의 시선이 머무는 횟수, 상기 특정 영역 안에서 시선이 머무는 총 시간, 상기 특정 영역에 다시 시선이 머무는 횟수, 상기 특정 영역 안에서 첫 번째로 시선이 머무르기 전까지 시선이 정지한 횟수, 상기 특정 영역에 대한 사용자들의 시선 고정 빈도 중 적어도 하나의 정보를 추출하는 것이 바람직하다.
한편, 상기 판단부는, 상기 추출된 시선 특징 정보 중 이미지의 특정 영역에서의 시선이 머무는 시간 및 이미지의 특정 영역에서의 시선이 머무는 횟수와 NN 학습기를 이용하여, 사용자의 의도가 항행적 의도인지 정보-교류적 의도인지를 판단하는 것이 바람직하다.
이 경우, 상기 판단부는, RAN-LTM(Resource Allocating Network with Long-Term Memory) 학습기를 이용하여 사용자의 의도가 정보적 의도 또는 교류적 의도인지를 판단하는 것이 바람직하다.
이 경우, 상기 RAN-LTM 학습기는, 상기 특정 영역에 대한 시선이 머무는 시간 및 특정 영역에 대한 시선이 머무는 횟수에 대한 사용자의 상기 정보적 의도 또는 교류적 의도를 뉴럴 네트워크 알고리즘에 적용하여 학습된 것이 바람직하다.
한편, 본 실시 예에 따른 사용자 다중의도 분석 방법은, 사용자에게 이미지를 제공하는 단계, 상기 이미지에 대한 사용자의 시선 경로를 검출하는 단계, 상기 검출된 시선 경로에서 시선 특징 정보를 추출하는 단계, 및, 상기 추출된 시선 특징 정보를 이용하여 사용자의 의도를 판단하는 단계를 포함한다.
이 경우, 상기 판단하는 단계는, 상기 추출된 시선 특징 정보 중 이미지의 특정 영역에서의 시선이 머무는 시간 및 이미지의 특정 영역에서의 시선이 머무는 횟수와 NN 학습기를 이용하여, 사용자의 의도가 행위 결과에 대한 기대 없이 정보 세계를 항행하려는 항행적 의도인지 정보-교류적 의도인지를 판단하는 것이 바람직하다.
이 경우, 상기 판단하는 단계는, RAN-LTM(Resource Allocating Network with Long-Term Memory) 학습기를 이용하여 사용자의 의도가 특정 위치에서 정보를 취득할 목적을 갖는 정보적 의도 또는 특정 결과를 기대하면서 특정 행위를 하려는 교류적 의도인지를 판단하는 것이 바람직하다.
이 경우, 상기 RAN-LTM 학습기는, 상기 특정 영역에 대한 시선이 머무는 시간 및 특정 영역에 대한 시선이 머무는 횟수에 대한 사용자의 상기 정보적 의도 또는 교류적 의도를 뉴럴 네트워크 알고리즘에 적용하여 학습된 것이 바람직하다.
도 1은 본 발명의 일 실시 예에 따른 사용자 다중의도 분석장치의 구성을 나타내는 블록도,
도 2는 본 발명의 일 실시 예에 따른 사용자 다중의도 분석장치(100)의 동작을 설명하기 위한 도면,
도 3은 도 2의 NN 학습기(151)의 구조를 도시한 도면,
도 4는 도 2의 RAN-LTM 학습기(153)의 동작을 설명하기 위한 도면,
도 5 및 도 6은 도 2의 RAN-LTM 학습기(153)를 선행적으로 학습시키는데 이용된 이미지의 예를 나타내는 도면,
도 7은 도 2의 RAN-LTM 학습기(153)를 선행적으로 학습시키는 동작을 설명하기 위한 도면,
도 8은 도 1의 검출부에서의 시선 경로의 검출 동작을 설명하기 위한 도면,
도 9는 도 7의 학습 동작에 의하여 검출된 사용자의 시선 경로를 나타내는 도면,
도 10은 도 7의 학습 동작에 의하여 추출된 시선 특징 정보 중 '고정 시간' 및 '고정 횟수'의 결과를 나타내는 도면,
도 11은 본 실시 예에 따른 사용자 다중의도 분석 방법의 실험 결과를 나타내는 도면, 그리고,
도 12는 본 실시 예에 따른 사용자 다중의도 분석 방법의 동작을 설명하기 위한 흐름도이다.
이하 첨부된 도면들을 참조하여 본 발명에 대하여 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시 예에 따른 사용자 다중의도 분석장치의 구성을 나타내는 블록도이다.
도 1을 참고하면, 본 실시 예에 따른 사용자 다중의도 분석장치(100)는 표시부(110), 검출부(120), 저장부(130), 추출부(140), 판단부(150) 및 제어부(160)를 포함한다.
표시부(110)는 사용자 다중의도 분석장치(100)에서 제공되는 각종 정보를 표시할 수 있다. 구체적으로, 표시부(110)는 저장부(130)에 기저장된 이미지를 사용자에게 표시할 수 있다. 이러한 표시부(110)는 CRT, LCD 등과 같은 디스플레이 장치로 구현할 수 있다. 한편, 본 실시 예에서는 사용자 다중의도 분석장치(100)가 직접 이미지를 표시하는 것으로 설명하였으나, 이러한 이미지는 외부 기기에서 표시될 수도 있다.
검출부(120)는 이미지에 대한 사용자의 시선 경로를 검출한다. 구체적으로, 검출부(120)는 촬상 장치(또는 촬영장치)를 이용하여 사용자의 눈을 촬상하고, 촬상된 이미지상에서 사용자의 동공을 검출하고, 검출된 사용자의 동공 위치에 기초하여 사용자의 시선을 검출하고, 이러한 시선 검출 동작을 연속적으로 수행하여 사용자의 시선 경로(또는 시선 이동, 안구 운동)를 검출할 수 있다. 검출된 시선 경로는 저장부(130)에 저장될 수 있다. 한편, 본 실시 예에서는 표시부(110)와 검출부(120)가 별도의 구성인 것으로 설명하였으나, 구현시에는 아이트래킹 장치를 이용하여 하나의 구성으로 구현할 수도 있다.
저장부(130)는 복수의 이미지를 저장한다. 그리고 저장부(130)는 검출부(120)에서 검출된 사용자의 시선 경로에 대한 정보를 저장하거나, 후술할 추출부(140)에서 추출된 시선 특징 정보를 저장할 수 있다.
그리고 저장부(130)는 후술할 RAN-LTM 학습기 및 NN 학습(또는 NN 모델)기의 학습 정보를 저장할 수 있다. 그리고 저장부(130)는 사용자 다중의도 분석장치(100) 내부에 장착된 메모리, 예를 들면 ROM, 플래시 메모리나 HDD일 수 있으며, 사용자 다중의도 분석장치(100)와 연결된 외장형 HDD 또는 메모리 카드, 예를 들면, 플래시 메모리(Flash Memory: M/S, xD, SD 등)나 USB 메모리 등일 수도 있다.
추출부(140)는 검출된 사용자의 시선 경로에서 시선 특징 정보를 추출한다. 구체적으로, 추출부(140)는 검출부(120)에서 검출된 사용자의 시선 경로에서, '최초 고정 시간(time to first fixation)', '고정 길이(fixation length)', '고정 횟수(fixation count)', '관찰 길이(observation length)', '고정 비포(fixation before)', '참여율(Paricipant %)'과 같은 시선 특징 정보를 추출할 수 있다.
여기서 '최초 고정 시간(time to first fixation)'은 자극(시각적 이미지)을 제공받은 이후에 사용자의 시선이 고정될 때까지의 시간, 즉, 사용자 시선의 첫 번째로 고정될 때까지의 시간이고, '고정 길이(fixation length)'은 이미지의 특정 영역(Areas of interest, AOI)에서 사용자의 시선이 머무는 시간이며, '고정 횟수(fixation count)'는 이미지의 특정 영역(Areas of interest, AOI)에서 사용자의 시선이 머무는 횟수이며, '관찰 길이(observation length)'는 특정 영역(AOI)에서 사용자의 시선이 머무는 총 시간이고, '고정 비포(fixation before)'는 특정 영역(AOI) 안에서 첫 번째로 시선이 머무르기 전까지 시선이 정지한 횟수이고, '참여율(Paricipant %)'은 특정 영역(AOI) 내에 적어도 한번 시선이 머물렀던 사용자들의 퍼선테지, 즉, 특정 영역(AOI)에 대한 사용자들의 시선 고정 빈도이다. 이러한 시선 특징 정보 각각을 사용자의 시선 경로에서 추출하는 방법은 널리 알려져 있는바, 각각의 시선 특징 정보를 추출하는 구체적인 방법에 대한 설명은 생략한다.
판단부(150)는 추출된 시선 특징 정보를 이용하여 사용자의 의도를 판단한다. 구체적으로, 판단부(150)는 추출된 시선 특징 정보 중 '고정 길이' 및 '고정 횟수'에 기초하여 사용자의 의도가 항행적 의도인지, 정보-교류적 의도인지를 우선적으로 판단할 수 있다.
여기서, 항행적 의도(navigational intent)는 행위 결과에 대한 기대 없이 정보 세계를 항행하려는 사용자의 의도이다. 예를 들어, 웹 페이지에서 기사를 훑어보려는 의도가 이에 해당한다.
한편, 이러한 항행적 의도는 행위 결과에 대한 기대 없이 정보 세계를 항행하려는 의도라는 점에서, 이미지의 특정 영역(Areas of interest, AOI)에서의 시선이 머무는 시간이 짧으며, 동일한 특정 영역에서의 시선이 머무는 횟수가 작다.
따라서, 판단부(150)는 추출된 시선 정보 중 '고정 길이' 및 '고정 횟수'를 NN 학습기를 이용하여, 사용자의 의도가 항행적 의도인지 정보-교류적 의도인지를 판단할 수 있다. 여기서 NN 학습기는 사용자의 의도를 항행적 의도인지 정보-교류적 의도인지를 분류하기 위하여 학습된 것이다.
따라서, 판단부(150)는 NN 학습기에서의 판단결과, 항행적 의도가 아닌 경우, 기설정된 값 이하인 경우, 사용자의 의도를 정보적 의도 또는 교류적 의도인 것으로 판단할 수 있다. 한편, 본 실시 예에서는 기설정된 값과 고정 길이 및 고정 횟수를 비교하여 항행적 의도를 판단하는 것만을 설명하였지만, 구현시에는 도 3에 도시된 바와 같은 NN(Nearest neighbors) 학습기를 이용하여 사용자의 의도가 항행적 의도인지를 판단할 수도 있다.
그리고 사용자의 의도가 항행적 의도가 아닌 경우, 판단부(150)는 RAN-LTM(Resource Allocating Network with Long-Term Memory) 학습기를 이용하여 사용자의 의도가 정보적 의도 또는 교류적 의도인지를 구별할 수 있다.
여기서 정보적 의도(informational intent)는 특정 위치에서 정보를 취득할 목적을 갖는 사용자의 의도이고, 교류적 의도(transactional intent)는 특정 결과를 기대하면서 특정 행위를 하려는 사용자의 의도이다. 그리고 RAN-LTM 학습기는 특정 영역(AOI)에 대한 시선이 머무는 시간('고정 길이') 및 특정 영역(AOI)에 대한 시선이 머무는 횟수('고정 횟수')에 대한 사용자의 다중 의도를 뉴럴 네트워크 알고리즘에 적용하여 학습된 뉴럴 네트워크이다. RAN-LTM 학습기에 대해서는 도 3을 참고하여 후술한다.
제어부(160)는 사용자 다중의도 분석장치(100)의 각 구성을 제어한다. 구체적으로, 사용자의 검사 명령이 입력되면, 제어부(160)는 저장부(130)에 기저장된 이미지가 표시되도록 표시부(110)를 제어할 수 있다. 그리고 제어부(160)는 표시된 이미지상의 사용자의 시선 경로가 검출되도록 검출부(120)를 제어하고, 검출된 시선 경로로부터 시선 특징 정보가 추출되도록 추출부(140)를 제어할 수 있다. 그리고 제어부(160)는 추출된 시선 특징 정보로부터 사용자 의도가 판단되도록 판단부(150)를 제어할 수 있다. 그리고 제어부(160)는 판단된 사용자 의도가 표시되도록 표시부(110)를 제어할 수 있다.
본 실시 예에서는 판단 결과를 표시부(110)를 통하여 표시하는 동작만을 설명하였으나, 구현시에는 판단 결과가 저장부(130)에 저장되거나, 인쇄 장치를 통하여 인쇄되거나, 특정 장치에 전송되는 형태로도 구현될 수 있다.
따라서, 본 실시 예에 따른 사용자 다중의도 분석장치는, 사용자의 시선 경로를 분석하여 사용자의 내제된 다중 의도인 항행적 의도, 정보적 의도 및 교류적 의도를 파악할 수 있게 된다.
도 2는 본 발명의 일 실시 예에 따른 사용자 다중의도 분석장치(100)의 동작을 설명하기 위한 도면이다.
도 2를 참고하면, 먼저 표시부(110)는 이미지를 사용자에게 표시한다. 그리고 이미지가 표시되면, 검출부(120)는 이미지에 대한 사용자의 시선 경로를 검출한다.
시선 경로가 검출되면, 추출부(140)는 검출된 시선 경로에서 '최초 고정 시간(time to first fixation)', '고정 길이(fixation length)', '고정 횟수(fixation count)', '관찰 길이(observation length)', '고정 비포(fixation before)', '참여율(Paricipant %)'와 같은 시선 특징 정보를 추출할 수 있다.
시선 특징 정보가 추출되면, 판단부(150)는 선행적으로 NN(Nearest neighbors) 학습기(151)를 이용하여 사용자의 의도가 항행적 의도인지를 판단하고, 사용자의 의도가 항행적 의도가 아닌 경우, RAN-LTM 학습기(153)를 이용하여 사용자의 의도를 정보적 의도 또는 교류적 의도로 구분할 수 있다. 이하에서는 도 3 및 도 4를 참고하여, 판단부(150)의 구체적인 동작을 설명한다.
도 3은 도 2의 NN 학습기(151)의 구조를 도시한 도면이다.
도 3을 참고하면, NN 학습기(151)는 복수의 입력 항목(예를 들어, '고정 길이' 및 '고정 횟수')을 입력받으며, 뉴럴 네트워크 알고리즘을 이용하여 사용자의 의도가 항행적 의도인지를 판단한다.
구체적으로, 항행적 의도는 행위 결과에 대한 기대 없이 정보 세계를 항행하려는 의도라는 점에서, 이러한 의도를 갖는 사용자의 시선 경로는 규칙적이지 않다. 더욱이 사용자마다 그 시선 경로는 상이하다.
그러나 정보적 의도 및 교류적 의도는 입력된 이미지에 대해서 특정 영역 또는 특정 물체와 같은 어떠한 것을 얻기 위하여, 정보 또는 특정 목표를 검색하는 시선 경로를 갖는다. 이러한 점에서 정보적 의도 및 교류적 의도의 '고정 시간'과 '고정 횟수'는 유사하며 어느 정도 규칙적인 패턴의 시선 경로를 갖는다.
따라서, NN 학습기(151)는 이미지의 특정 영역(Areas of interest, AOI)에서의 시선이 머무는 시간, 즉, '고정 시간'과 특정 영역에서의 시선이 머무는 횟수, 즉, '고정 횟수'를 이용하여, 서로 간 기하학적 거리(Euclidenan distance)가 얼만큼 떨어졌는지를 이용하여 사용자의 의도를 항행적 의도와 정보적-교류적 의도를 분류할 수 있다.
도 4는 도 2의 RAN-LTM 학습기(153)의 동작을 설명하기 위한 도면이다.
도 4를 참고하면, RAN-LTM 학습기(153)는 이미지 내의 관심 영역(AOI)에 대한 '고정 시간' 및 '고정 횟수'의 정보를 학습한다.
사용자가 정보적 의도를 갖는 경우, 사용자는 특정 위치로부터 정보를 얻기 위하여 특정 토픽과 관련된 특정 영역에 대한 시선을 갖는다. 그리고 사용자가 교류적 의도를 갖는 경우, 사용자는 특정한 목적물과 연관된 영역 또는 물체를 찾기 위한 시선 경로를 갖는다.
그러나 이러한 정보적 의도에서의 시선 경로와 교류적 의도에서의 시선 경로를 단순히 '고정 시간' 및 '고정 횟수'를 수치로 비교하여 구분하기 어려운 점이 있다. 이러한 점에서, 뉴럴 네트워크를 이용하여 '고정 시간' 및 '고정 횟수'에 대한 사용자의 의도(정보적 의도 또는 교류적 의도)를 학습하고, 학습된 뉴럴 네트워크인 RAN-LTM 학습기(153)를 이용하여 사용자의 정보적 의도와 교류적 의도를 구분할 수 있다.
도 4를 참고하면, RAN-LTM 학습기(153)는 리소스 할당 네트워크(RAN, 154)와 장기 메모리(LTM, 155)를 포함함을 확인할 수 있다.
RAN(154)는 숨겨진 항목의 할당을 자동으로 수행하는 Radial Basis Function(RBF) 네트워크의 확장된 모델이다. 여기서, 입력 항목의 수, 숨겨진 항목의 수 및 출력 항목의 수를 각각 I, J, K로 나타내고, 입력을
Figure 112011033597474-pat00001
, 숨겨진 항목의 출력을
Figure 112011033597474-pat00002
, 출력을
Figure 112011033597474-pat00003
라고 나타내면, 숨겨진 항목의 출력 값 및 출력의 출력값을 다음과 같이 표시할 수 있다.
Figure 112011033597474-pat00004
Figure 112011033597474-pat00005
여기서
Figure 112011033597474-pat00006
이고,
Figure 112011033597474-pat00007
는 j번째 숨겨진 항목의 중심 및 분산이고,
Figure 112011033597474-pat00008
는 j번째 숨겨진 항목으로부터 k번째 출력 항목의 연결 가중치이고,
Figure 112011033597474-pat00009
는 k번째 출력 항목의 바이어스(bias)이다.
LTM(155)는 대표 입-출력 쌍에 대응되는 '메모리 항목(memory items)'라 불리는 항목을 저장할 수 있다. 이러한 입-출력 쌍은 학습 데이터(tranning data)로부터 선택될 수 있으며, 이들 쌍이 삭제되는 것을 방지하기 위하여 새롭게 주어진 학습 데이터로 학습이 수행될 수 있다.
이러한 학습 알고리즘에서, 메모리 항목은 숨겨진 항목이 할당될 때 생성된다. 즉, RBF 센터 및 대응되는 출력이 메모리 항목으로 저장될 수 있다.
이러한 RAN-LTM 학습기의 학습 알고리즘은 두 단계로 나눠진다. 구체적으로, 숨겨진 항목(예를 들어, RBF 센터의 선택)의 할당하는 동작과, 숨겨진 항목과 출력 항목 사이의 연결 가중치를 계산하는 동작으로 나눠질 수 있다. 전자의 동작은 메모리 항목이 동시에 생성된다는 점을 제외하고는 일반적인 RAN에서의 동작과 동일하다. 숨겨진 항목이 할당되면, 그 값들은 이후에 고정된다.
따라서, 연결 가중치(
Figure 112011033597474-pat00010
)는 출력 에러에 기초하여 갱신되는 유일한 파라미터가 된다.
에러를 최소화하기 위하여, 다음과 같은 수학식 3과 같은 스퀘어 방법(squares method)이 이용될 수 있다.
Figure 112011033597474-pat00011
여기서, D는 타깃 출력에 대응되는 칼럼 벡터들의 행렬이다.
학습 데이터(x, d)가 주어지고, 메모리 항목(M)
Figure 112011033597474-pat00012
Figure 112011033597474-pat00013
이 생성되어 있다고 가정하면, 타깃 행렬(D)은
Figure 112011033597474-pat00014
이다.
따라서,
Figure 112011033597474-pat00015
는 학습 데이터 및 메모리 항목을 이용하여 수학식 4와 같이 계산될 수 있다.
Figure 112011033597474-pat00016
한편, 수학식 1의 W를 풀기 위하여, 특이값 분해(Singular value Decompostion, SVD)가 이용될 수 있다.
도 5 및 도 6은 도 2의 RAN-LTM 학습기(153)를 선행적으로 학습시키는데 이용된 이미지의 예를 나타낸다.
도 5를 참고하면, 상술한 RAN-LTM 분류기를 선행적으로 학습시키기 위하여, 옥내 이미지(a, b, c) 및 옥외 이미지(d, e, f)가 이용되었다. 구체적으로, 도 5a 및 도 5d는 사용자의 항행적 의도를 학습시키기 위한 이미지이고, 도 5b 및 도 5e는 사용자의 정보적 의도를 학습시키기 위한 이미지이고, 도 5c 및 도 5f는 사용자의 교류적 의도를 학습시키기 위한 이미지이다.
도 6을 참고하면, 이미지에서의 관심 영역을 표시한다. 구체적으로, 도 6a 및 도 6b는 옥내 이미지에서의 관심 영역이 도시되어 있으며, 도 6c 및 도 6d는 옥외 이미지에서의 관심 영역이 도시되어 있다.
도 7은 도 2의 RAN-LTM 학습기(153)를 선행적으로 학습시키는 동작을 설명하기 위한 도면이다.
먼저, 제공되는 이미지상에서 흥미 있는 영역을 검색하도록 하는 메시지를 사용자에게 표시할 수 있다(1). 그리고 사용자에게 도 5 및 도 6과 같은 이미지(예를 들어, 부엌 이미지와 같은 실내 이미지와 도시 이미지와 같은 실외 이미지)를 사용자에게 표시할 수 있다(2).
그리고 제공되는 이미지상에서, 컵, 병, 사람과 같은 특징 물체를 찾도록 하는 메시지를 사용자에게 표시할 수 있다(3). 그 다음, 다시 도 5 및 도 6과 같은 이미지를 사용자에게 표시할 수 있다(4).
그리고 사용자에게 '당신은 시원한 물이 필요하다.'라는 문구 또는 '당신은 특정 장소에 방문해야 한다.'라는 메시지를 사용자에게 표시할 수 있다(5). 그 다음, 다시 도 5 및 도 6과 같은 이미지를 사용자에게 표시할 수 있다(6)
그리고 사용자에게 '이전의 당신의 의도를 유지하여 이미지를 지켜볼 것'을 알리는 메시지를 사용자에게 표시할 수 있다(7). 그 다음, 다시 도 5 및 도 6과 같은 이미지를 사용자에게 표시할 수 있다(8)
이러한 단계 과정에서, 사용자의 이미지에 대한 시선 경로를 검출하고, 검출된 시선 경로를 통해 '고정 시간' 및 '고정 횟수'과 같은 시선 특징 정보를 추출하고, 추출된 시선 특징 정보와 상술한 메시지에 대응하는 사용자 의도를 이용하여 RAN-LTM 학습기(153)를 학습시킬 수 있다.
이러한 학습 과정에서 검출부(120)는 각 이미지 표시 단계(도 7의 2, 4, 6, 8 동작)에서 사용자의 시선 경로를 검출할 수 있다. 이하에서는 도 8을 참고하여 검출부(120)의 시선 경로의 검출 동작에 대해서 설명한다.
도 8을 참고하면, 검출부(120)는 도 8a와 같이 사용자의 안구를 촬상하고, 도 8b와 같이 촬상된 이미지상에서 사용자의 동공 위치를 파악한다. 이후에 검출부(120)는 도 8c와 같이 파악된 동공 위치에 따라 이미지에 대한 사용자의 시선을 파악하고, 도 9d와 같이 파악된 좌우 시선을 보정하여, 도 9e와 같이 사용자의 시선 경로를 검출할 수 있다.
도 9는 도 7의 학습 동작 과정에서 검출된 사용자의 시선 경로를 나타내는 도면이다. 구체적으로, 도 9a 내지 도 9d는 사용자의 시선이 머무르는 시간을 색상으로 누적하여 표시한 도면이고, 도 9e내지 도 9h는 사용자의 시선이 머무르는 시간을 순서와 원의 크기로 표시하고, 사용자의 시선 경로를 표시하는 도면이다. 그리도, 도 9a 및 도 9e는 사용자가 항행적 의도를 가질 때의 결과이고, 도 9b, 도 9f는 사용자가 정보적 의도를 가질 때의 결과이며, 도 9c, 도 9d, 도 9g, 도 9h는 사용자가 교류적 의도를 가질 때의 결과이다.
도 9를 참고하면, 사용자의 의도가 다른 경우, 동일한 이미지에 대해서도 사용자의 시선 경로가 상이함을 확인할 수 있다.
도 10은 도 7의 학습 동작에 의하여 추출된 시선 특징 정보 중 '고정 시간' 및 '고정 횟수'의 결과를 나타내는 도면이다. 구체적으로, 도 10a는 시각적 자극 이미지가 실내 이미지인 경우의 '고정 시간' 및 '고정 횟수'의 결과를 나타내는 도면이고, 도 10b는 시각적 자극 이미지가 실외 이미지인 경우의 '고정 시간' 및 '고정 횟수'의 결과를 나타내는 도면이다.
도 10을 참고하면, '고정 시간' 및 '고정 횟수'가 항행적 의도 시에 정보적 의도 또는 교류적 의도 시보다 그 값이 작음을 확인할 수 있다.
도 11은 본 실시 예에 따른 사용자 다중의도 분석 방법의 실험 결과를 나타내는 도면이다.
도 11을 참고하면, 본 실시 예에 따른 사용자 다중의도 분석 방법은 사용자의 시선을 이용하여 사용자의 의도를 80% 정도의 신뢰도로 파악할 수 있음을 확인할 수 있다.
도 12는 본 실시 예에 따른 사용자 다중의도 분석 방법의 동작을 설명하기 위한 흐름도이다.
먼저, 사용자에게 이미지를 제공한다(S1210).
그리고 이미지에 대한 사용자의 시선 경로를 검출한다(S1220). 구체적으로, 촬상 장치를 이용하여 사용자의 눈을 촬상하고, 촬상된 이미지상에서 사용자의 동공 위치를 파악하고, 파악된 동공 위치에 따라 사용자의 시선을 검출할 수 있다. 그리고 이러한 동작을 연속적으로 수행하여, 사용자의 시선 경로를 검출할 수 있다.
그리고 검출된 시선 경로에서 시선 특징 정보를 추출한다(S1230). 구체적으로, 검출된 사용자의 시선 경로에서, '최초 고정 시간(time to first fixation)', '고정 길이(fixation length)', '고정 횟수(fixation count)', '관찰 길이(observation length)', '고정 비포(fixation before)', '참여율(Paricipant %)'과 같은 시선 특징 정보를 추출할 수 있다.
그리고 추출된 시선 특징 정보를 이용하여 사용자의 의도를 판단한다(S1240). 구체적으로, 우선적으로 추출된 시선 특징 정보 중 '고정 길이' 및 '고정 횟수'에 기초하여 사용자의 의도가 항행적 의도인지를 판단하고, 사용자의 의도가 항행적 의도가 아닌 경우, RAN-LTM(Resource Allocating Network with Long-Term Memory) 학습기를 이용하여 사용자의 의도가 정보적 의도 또는 교류적 의도인지를 판단할 수 있다.
따라서, 본 실시 예에 다른 사용자 다중의도 분석 방법은, 사용자의 시선 경로를 분석하여 사용자의 내제된 다중 의도인 항행적 의도, 정보적 의도 및 교류적 의도를 파악할 수 있다. 도 12와 같은 사용자 다중의도 분석 방법은, 도 1의 구성을 가지는 사용자 다중의도 분석장치상에서 실행될 수 있으며, 그 밖의 다른 구성을 가지는 사용자 다중의도 분석장치상에서도 실행될 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대해서 도시하고, 설명하였으나, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자라면 누구든지 다양한 변형 실시할 수 있는 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
100: 사용자 다중의도 분석장치 110: 표시부
120: 검출부 130: 저장부
140: 추출부 150: 판단부
160: 제어부

Claims (10)

  1. 사용자 다중의도 분석장치에 있어서,
    사용자에게 이미지를 제공하는 표시부;
    상기 이미지에 대한 사용자의 시선 경로를 검출하는 검출부;
    상기 검출된 시선 경로에서 시선 특징 정보를 추출하는 추출부; 및
    상기 추출된 시선 특징 정보를 이용하여 사용자의 의도를 판단하는 판단부;를 포함하고,
    상기 사용자의 의도는,
    특정 위치에서 정보를 취득할 목적을 갖는 정보적 의도, 행위 결과에 대한 기대 없이 정보 세계를 항행하려는 항행적 의도 및 특정 결과를 기대하면서 특정 행위를 하려는 교류적 의도 중 적어도 하나의 의도인 것을 특징으로 하는 사용자 다중의도 분석장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 시선 특징 정보는,
    사용자 시선의 첫 고정 시간, 이미지의 특정 영역(area of interest(AOI))에서의 시선이 머무는 시간, 상기 특정 영역에서의 시선이 머무는 횟수, 상기 특정 영역 안에서 시선이 머무는 총 시간, 상기 특정 영역 안에서 첫 번째로 시선이 머무르기 전까지 시선이 정지한 횟수, 상기 특정 영역에 대한 사용자들의 시선 고정 빈도 중 적어도 하나의 정보를 추출하는 것을 특징으로 하는 사용자 다중의도 분석장치.
  4. 제1항에 있어서,
    상기 판단부는,
    상기 추출된 시선 특징 정보 중 이미지의 특정 영역에서의 시선이 머무는 시간 및 이미지의 특정 영역에서의 시선이 머무는 횟수와 NN 학습기를 이용하여, 사용자의 의도가 항행적 의도인지 정보-교류적 의도인지를 판단하는 것을 특징으로 하는 사용자 다중의도 분석장치.
  5. 제4항에 있어서,
    상기 판단부는,
    RAN-LTM(Resource Allocating Network with Long-Term Memory) 학습기를 이용하여 사용자의 의도가 정보적 의도 또는 교류적 의도인지를 판단하는 것을 특징으로 하는 사용자 다중의도 분석장치.
  6. 제5항에 있어서,
    상기 RAN-LTM 학습기는,
    상기 특정 영역에 대한 시선이 머무는 시간 및 특정 영역에 대한 시선이 머무는 횟수에 대한 사용자의 상기 정보적 의도 또는 교류적 의도를 뉴럴 네트워크 알고리즘에 적용하여 학습된 것을 특징으로 하는 사용자 다중의도 분석장치.
  7. 사용자 다중의도 분석장치에서의 사용자 다중의도 분석 방법에 있어서,
    사용자에게 이미지를 제공하는 단계;
    상기 이미지에 대한 사용자의 시선 경로를 검출하는 단계;
    상기 검출된 시선 경로에서 시선 특징 정보를 추출하는 단계; 및
    상기 추출된 시선 특징 정보를 이용하여 사용자의 의도를 판단하는 단계;를 포함하고,
    상기 사용자의 의도는,
    특정 위치에서 정보를 취득할 목적을 갖는 정보적 의도, 행위 결과에 대한 기대 없이 정보 세계를 항행하려는 항행적 의도 및 특정 결과를 기대하면서 특정 행위를 하려는 교류적 의도 중 적어도 하나의 의도인 것을 특징으로 하는 사용자 다중의도 분석 방법.
  8. 제7항에 있어서,
    상기 판단하는 단계는,
    상기 추출된 시선 특징 정보 중 이미지의 특정 영역에서의 시선이 머무는 시간 및 이미지의 특정 영역에서의 시선이 머무는 횟수와 NN 학습기를 이용하여, 사용자의 의도가 행위 결과에 대한 기대 없이 정보 세계를 항행하려는 항행적 의도인지 정보-교류적 의도인지를 판단하는 것을 특징으로 하는 다중의도 분석 방법.
  9. 삭제
  10. 제7항에 있어서,
    상기 판단하는 단계는, RAN-LTM(Resouce Allocating Network with Long Term Memory)학습기를 이용하여 사용자 의도를 파악하고,
    상기 RAN-LTM 학습기는,
    상기 특정 영역에 대한 시선이 머무는 시간 및 특정 영역에 대한 시선이 머무는 횟수에 대한 사용자의 상기 정보적 의도 또는 교류적 의도를 뉴럴 네트워크 알고리즘에 적용하여 학습된 것을 특징으로 하는 사용자 다중의도 분석 방법.
KR1020110042811A 2011-05-06 2011-05-06 사용자 다중의도 분석장치 및 사용자 다중의도 분석 방법 KR101413558B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110042811A KR101413558B1 (ko) 2011-05-06 2011-05-06 사용자 다중의도 분석장치 및 사용자 다중의도 분석 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110042811A KR101413558B1 (ko) 2011-05-06 2011-05-06 사용자 다중의도 분석장치 및 사용자 다중의도 분석 방법

Publications (2)

Publication Number Publication Date
KR20120124891A KR20120124891A (ko) 2012-11-14
KR101413558B1 true KR101413558B1 (ko) 2014-08-07

Family

ID=47510150

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110042811A KR101413558B1 (ko) 2011-05-06 2011-05-06 사용자 다중의도 분석장치 및 사용자 다중의도 분석 방법

Country Status (1)

Country Link
KR (1) KR101413558B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11966317B2 (en) 2018-01-05 2024-04-23 Samsung Electronics Co., Ltd. Electronic device and method for controlling same

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101880547B1 (ko) * 2017-03-06 2018-07-20 서강대학교산학협력단 유사도 측정을 기반으로 한 동영상 특징 벡터 추출 방법
US11068285B2 (en) * 2019-09-19 2021-07-20 Adobe Inc. Machine-learning models applied to interaction data for determining interaction goals and facilitating experience-based modifications to interface elements in online environments

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005100366A (ja) * 2003-08-18 2005-04-14 Yamaguchi Univ 眼球運動を用いた視線入力コミュニケーション方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005100366A (ja) * 2003-08-18 2005-04-14 Yamaguchi Univ 眼球運動を用いた視線入力コミュニケーション方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11966317B2 (en) 2018-01-05 2024-04-23 Samsung Electronics Co., Ltd. Electronic device and method for controlling same

Also Published As

Publication number Publication date
KR20120124891A (ko) 2012-11-14

Similar Documents

Publication Publication Date Title
US9489574B2 (en) Apparatus and method for enhancing user recognition
JP6409507B2 (ja) ユーザアクティビティラベルと凝視とを関連付ける方法、コンピュータシステム、及びプログラム
CN104331168B (zh) 显示调整方法和电子设备
US20240152548A1 (en) Electronic apparatus for searching related image and control method therefor
WO2016115895A1 (zh) 一种基于视觉行为的网上用户类型识别方法及系统
EP2908220A1 (en) Gesture recognition device and method of controlling gesture recognition device
US20140071042A1 (en) Computer vision based control of a device using machine learning
KR101455200B1 (ko) 학습 모니터링 장치 및 학습 모니터링 방법
KR100821671B1 (ko) 잎맥의 특징점을 이용한 잎 분류방법
US11579686B2 (en) Method and device for carrying out eye gaze mapping
US20170336865A1 (en) Method and system for detecting objects of interest
CN107918767B (zh) 目标检测方法、装置、电子设备及计算机可读介质
JP7063393B2 (ja) 教師データ拡張装置、教師データ拡張方法およびプログラム
CN104850219A (zh) 估计附着物体的人体姿势的设备和方法
JP2016224919A (ja) データ閲覧装置、データ閲覧方法、及びプログラム
CN105912126A (zh) 一种手势运动映射到界面的增益自适应调整方法
JP2007163864A (ja) 表示制御装置、表示制御方法、表示制御プログラム、および表示制御プログラム記録媒体
KR101413558B1 (ko) 사용자 다중의도 분석장치 및 사용자 다중의도 분석 방법
JP2018156597A (ja) 情報処理装置、プログラム、及び情報処理方法
KR102586170B1 (ko) 전자 장치 및 이의 검색 결과 제공 방법
JP2007048172A (ja) 情報分類装置
KR102181897B1 (ko) 눈동자 추적을 이용한 모바일 툴팁 방법 및 장치
KR101314686B1 (ko) 학습 모니터링 장치 및 학습 모니터링 방법
KR101847446B1 (ko) 인지 데이터 네트워크 기반 시선 추적 서버 및 방법
US20230214421A1 (en) Image processing apparatus, image processing method, and non-transitory storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170605

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180529

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190529

Year of fee payment: 6