KR102160650B1 - 사용자의 의도를 자동으로 인지하여 정보를 제공하는 모바일 장치 및 그의 동작 방법 - Google Patents

사용자의 의도를 자동으로 인지하여 정보를 제공하는 모바일 장치 및 그의 동작 방법 Download PDF

Info

Publication number
KR102160650B1
KR102160650B1 KR1020130101318A KR20130101318A KR102160650B1 KR 102160650 B1 KR102160650 B1 KR 102160650B1 KR 1020130101318 A KR1020130101318 A KR 1020130101318A KR 20130101318 A KR20130101318 A KR 20130101318A KR 102160650 B1 KR102160650 B1 KR 102160650B1
Authority
KR
South Korea
Prior art keywords
user
function
application
intention
mobile device
Prior art date
Application number
KR1020130101318A
Other languages
English (en)
Other versions
KR20150024179A (ko
Inventor
문민영
성재모
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130101318A priority Critical patent/KR102160650B1/ko
Priority to US14/335,977 priority patent/US10073519B2/en
Publication of KR20150024179A publication Critical patent/KR20150024179A/ko
Application granted granted Critical
Publication of KR102160650B1 publication Critical patent/KR102160650B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

사용자의 의도를 자동으로 인지하여 정보를 제공하는 모바일 장치 및 그의 동작 방법이 개시된다. 일 양상에 따른 모바일 장치는, 특정 어플리케이션이 실행되는 경우만 동작하여 사용자의 눈의 움직임을 감지하는 센서부와, 사용자의 눈의 움직임을 기반으로 사용자의 의도를 추론하여 이벤트를 검출하는 이벤트 검출부와, 검출된 이벤트에 대응하여 특정 어플리케이션의 기능을 실행하는 어플리케이션 기능 실행부와, 기능 실행 결과를 디스플레이하는 디스플레이부를 포함할 수 있다.

Description

사용자의 의도를 자동으로 인지하여 정보를 제공하는 모바일 장치 및 그의 동작 방법{MOBILE DEVICE FOR PROVIDING INFORMATION BY AUTOMATICALLY RECOGNIZING INTENTION AND OPERATING METHOD THEREOF}
웨어러블 디바이스에 관한 것으로, 특히, 사용자의 의도를 자동으로 인지하여 정보를 제공하는 모바일 장치 및 방법에 관한 것이다.
웨어러블 디바이스(Wearable Device)는 차세대 컴퓨터 산업의 핵심으로 여러 산업 분야의 통합을 주도하고, 전통 산업에 IT를 결합하여 고부가 가치를 창출하는 신성장사업 분야로 부상하고 있다. 이러한, 웨어러블 디바이스는 시계, 안경, 의류 등 사람들이 착용하는 생활 필수품에 IT 기술을 융합하여 다양한 기능을 사용할 수 있는 첨단 IT 제품이다.
한편, 안경형 웨어러블 디바이스의 경우, 사용자가 직접 얼굴에 착용하여 사용한다는 특성상, 스마트 폰이나 태블릿 PC 등의 입력 방식은 적합하지 않으며, 불필요한 정보를 사용자에게 무차별적으로 제공하는 경우는 사용자의 시야를 방해하게 된다. 따라서, 안경형 웨어러블 디바이스에 적합한 사용자 입력 방식 및 정보 제공 방식의 필요성이 대두된다.
사용자의 의도를 자동으로 인지하여 정보를 제공하는 모바일 장치 및 그의 동작 방법을 제공하는 것을 목적으로 한다.
일 양상에 따른 모바일 장치는, 특정 어플리케이션이 실행되는 경우만 동작하여 사용자의 눈의 움직임을 감지하는 센서부와, 사용자의 눈의 움직임을 기반으로 사용자의 의도를 추론하여 이벤트를 검출하는 이벤트 검출부와, 검출된 이벤트에 대응하여 특정 어플리케이션의 기능을 실행하는 어플리케이션 기능 실행부와, 기능 실행 결과를 디스플레이하는 디스플레이부를 포함할 수 있다.
센서부는 카메라 및 안구전도 센서 중 적어도 하나를 포함할 수 있다.
이벤트 검출부는, 사용자의 눈의 움직임을 기반으로 사용자의 의도를 추론하는 의도 추론부와, 추론된 의도가 이벤트에 대응되는 의도인지 여부를 판단하는 판단부를 포함할 수 있다.
의도 추론부는, 사용자의 눈의 움직임을 기반으로 인지적 컨텍스트를 인식하고, 인식된 인지적 컨텍스트를 기초로 사용자의 의도를 추론할 수 있다.
디스플레이부는 EGD(Eye Glass Display)일 수 있다.
모바일 장치는, 기능 실행 결과를 처리하여 디스플레이 콘텐츠를 생성하는 디스플레이 콘텐츠 생성부를 더 포함할 수 있다.
디스플레이 콘텐츠 생성부는, 텍스트, 2D 이미지 및 3D 이미지 중 적어도 하나를 포함하는 디스플레이 콘텐츠를 생성할 수 있다.
모바일 장치는, 사용자의 명령에 따라 상기 특정 어플리케이션을 실행하는 어플리케이션 실행부를 더 포함할 수 있다.
모바일 장치는, 안경형 웨어러블 디바이스에 포함될 수 있다.
다른 양상에 따른, 모바일 장치의 동작 방법은, 사용자의 명령에 따라 특정 어플리케이션을 실행하는 단계와, 특정 어플리케이션의 실행에 따라 사용자의 눈의 움직임을 감지하는 단계와, 사용자의 눈의 움직임을 기반으로 사용자의 의도를 추론하여 이벤트를 검출하는 단계와, 검출된 이벤트에 대응하여 특정 어플리케이션의 기능을 실행하는 단계와, 기능 실행 결과를 디스플레이하는 단계를 포함할 수 있다.
검출하는 단계는, 사용자의 눈의 움직임을 기반으로 사용자의 의도를 추론하는 단계와, 추론된 의도가 상기 이벤트에 대응되는 의도인지 여부를 판단하는 단계를 포함할 수 있다.
추론하는 단계에서, 사용자의 눈의 움직임을 기반으로 인지적 컨텍스트를 인식하고, 인식된 인지적 컨텍스트를 기초로 사용자의 의도를 추론할 수 있다.
디스플레이하는 단계에서, 기능 실행 결과를 EGD에 디스플레이할 수 있다.
모바일 장치의 동작 방법은, 기능 실행 결과를 처리하여 디스플레이 콘텐츠를 생성하는 단계를 더 포함할 수 있다.
생성하는 단계에서, 텍스트, 2D 이미지 및 3D 이미지 중 적어도 하나를 포함하는 디스플레이 콘텐츠를 생성할 수 있다.
눈의 움직임을 기반으로 사용자의 의도를 예측하여 실행 중인 어플리케이션의 기능을 자동 실행함으로써, 사용자의 명령이 없어도 사용자에게 필요한 정보만을 제공할 수 있다.
또한, 어플리케이션의 실행 중에만 눈의 움직임을 감지함으로써, 불필요한 전력 소모를 줄일 수 있다.
도 1은 일 실시 예에 따른 모바일 장치의 구성도이다.
도 2는 다른 실시 예에 따른 모바일 장치의 구성도이다.
도 3a 및 도 3b는 어플리케이션의 기능 실행 결과를 디스플레이한 예를 도시한 도면이다.
도 4는 일 실시 예에 따른 모바일 장치의 동작 방법을 도시한 흐름도이다.
도 5는 도 4의 기능 실행 이벤트를 검출하는 과정(420)의 상세 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시 예를 상세하게 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로, 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 일 실시 예에 따른 모바일 장치의 구성도이다.
일 실시 예에 따른 모바일 장치는 다양한 어플리케이션이 설치될 수 있고, 설치된 각 어플리케이션을 통해 다양한 정보를 사용자에게 제공할 수 있다. 이때, 모바일 장치는 사용자의 눈의 움직임(eye movement)을 기반으로 사용자의 의도(intention)를 자동으로 인식하여, 실행 중인 어플리케이션의 기능을 자동으로 실행함으로써, 사용자의 의도에 알맞은 다양한 정보를 사용자에게 제공할 수 있다.
예를 들어, 번역 서비스를 제공하는 어플리케이션(이하, 번역 어플리케이션) 실행 중에, 사용자가 현재 보고 있는 글자를 읽으려고 한다면, 모바일 장치는, 사용자의 특정 명령이 없어도, 사용자의 눈의 움직임을 기반으로 사용자의 의도를 인식하여, 번역 어플리케이션의 번역 기능을 자동 실행하고, 사용자가 현재 보고 있는 글자를 특정 글자로 번역하여, 그 결과를 사용자에게 제공하는 것이 가능하다.
다른 예를 들면, 사람을 인식하여 인식된 사람에 대한 정보를 제공하는 어플리케이션(이하, 사람 인식 어플리케이션) 실행 중에, 사용자가 현재 보고 있는 사람을 알고 싶어한다면, 모바일 장치는, 사용자의 특정 명령이 없어도, 사용자의 눈의 움직임을 기반으로 사용자의 의도를 인식하여, 사람 인식 어플리케이션의 사람 인식 기능을 자동 실행하고, 사용자가 현재 보고 있는 사람을 인식하여, 그 결과를 사용자에게 제공하는 것이 가능하다.
한편, 일 실시 예에 따르면, 모바일 장치는 안경형 웨어러블 디바이스로 구현될 수 있으나, 이에 한정되는 것은 아니며, 사용자의 눈의 움직임을 감지할 수 있는 다양한 장치로 구현될 수 있다.
이하, 본 명세서를 설명함에 있어, 모바일 장치는 안경형 웨어러블 디바이스로 구현된다고 가정한다.
도 1을 참조하면, 일 실시 예에 따른 모바일 장치(100)는 센서부(110), 이벤트 검출부(120), 어플리케이션 기능 실행부(130)를 포함할 수 있다.
센서부(110)는 사용자의 눈의 움직임을 감지할 수 있다. 예를 들어, 센서부(110)는 사용자의 눈의 움직임을 감지하기 위해 카메라 및 안구전도(Electrooculogram, EOG) 센서 등을 포함할 수 있다. 그러나, 이는 일 실시 예에 불과할 뿐, 이에 한정되는 것은 아니며, 눈의 움직임을 감지할 수 있는 다양한 센서를 모두 포함할 수 있다.
일 실시 예에 따르면, 센서부(110)는 어플리케이션의 실행과 연계하여 동작할 수 있다. 즉, 센서부(110)는 어플리케이션이 실행 중인 경우에만 동작하여 사용자의 눈의 움직임을 감지함으로써, 시스템 전체의 불필요한 전력 소모를 줄이는 것이 가능하다. 이때, 센서부(110)가 다양한 센서로 구성되는 경우, 각 어플리케이션은 자신과 연계하여 동작하는 센서(이하, 연계 동작 센서)를 미리 정의하고, 센서부(110)의 다양한 센서 중에서 미리 정의된 센서만 동작시킬 수 있다. 이때, 어플리케이션은 어플리케이션 기능 실행 결과, 사용자에게 정보를 제공하는 어플리케이션으로써, 번역 어플리케이션 및 사람 인식 어플리케이션 등을 포함할 수 있다.
예를 들어, 센서부(110)가 카메라 및 안구전도 센서로 구현되어 있고, 번역 어플리케이션에 연계 동작 센서로 정의된 센서가 안구전도 센서인 경우, 번역 어플리케이션이 실행되는 경우, 안구전도 센서만 동작하게 된다.
이벤트 검출부(120)는 센서부(110)에서 감지된 사용자의 눈의 움직임을 기반으로 사용자의 의도를 추론하여 실행 중인 어플리케이션의 기능을 실행하기 위한 이벤트의 발생 여부를 검출할 수 있다.
이를 위해, 이벤트 검출부(120)는 의도 추론부(121) 및 판단부(122)를 포함할 수 있다.
의도 추론부(121)는 센서부(110)에서 감지된 사용자의 눈의 움직임을 기반으로 사용자의 의도를 추론할 수 있다.
일 실시 예에 따르면, 의도 추론부(121)는 센서부(110)에서 감지된 눈의 움직임을 기반으로 사용자의 인지적 컨텍스트(cognitive context)를 인식하고, 인식된 사용자의 인지적 컨텍스트를 기초로 사용자의 의도를 추론할 수 있다. 여기서, 인지적 컨텍스트는 정신 정보 처리(mental information processing)와 관계된 모든 양상을 포함하는 것으로, 예를 들어, 인지적 컨텍스트는 집중(paying attention) 또는 참여(engagement), 기억(memory) 또는 낯익음(familiarity), 흥미(interest), 학습(learning) 등을 포함할 수 있다.
예를 들면, 사용자가 현재 글자를 보고 있는 경우, 의도 추론부(121)는 사용자의 눈의 움직임으로부터 흥미 및 읽기 행동(reading behavior)을 인식하여, 현재 보고 있는 글자를 읽으려고 한다(이하, 읽기 의도)고 추론할 수 있다.
또 다른 예를 들면, 사용자가 현재 사람을 보고 있는 경우, 의도 추론부(121)는 사용자의 눈의 움직임로부터 낯익음 및 흥미를 인식하여, 현재 보고 있는 사람을 알고 싶어한다(이하, 사람 인식 의도)고 추론할 수 있다.
한편, 눈의 움직임과 인지적 컨텍스트와의 관계는 실험을 통하여 알 수 있으며, 눈의 움직임과 인지적 컨텍스트와의 관계 데이터는 의도 추론부(121) 내부에 저장되거나, 모바일 장치(100)의 내부에 별도로 존재하는 데이터베이스에 저장되어, 의도 추론부(121)가 사용자의 인지적 컨텍스트를 인식하는 데에 이용될 수 있다.
판단부(122)는 의도 추론부(121)에서 추론된 의도가 실행 중인 어플리케이션의 기능을 실행하기 위한 이벤트(이하, 기능 실행 이벤트)에 대응되는 의도인지 여부를 판단할 수 있다. 이때, 기능 실행 이벤트에 대응되는 의도는 각 어플리케이션 별로 다를 수 있다. 예를 들어, 번역 어플리케이션에는 읽기 의도가, 사람 인식 어플리케이션에는 사람 인식 의도가 각 어플리케이션의 이벤트에 대응되는 의도일 수 있다.
어플리케이션 기능 실행부(130)는 검출된 이벤트에 대응하여 실행 중인 어플리케이션의 기능을 실행할 수 있다. 예를 들어, 어플리케이션 기능 실행부(130)는 번역 어플리케이션이 실행 중인 경우 번역 기능을 실행하여, 번역 어플리케이션이 현재 사용자가 보고 있는 글자에 대하여 미리 설정된 종류의 글자로 번역을 하도록 할 수 있다. 다른 예를 들면, 어플리케이션 기능 실행부(130)는 사람 인식 어플리케이션이 실행 중인 경우 사람 인식 기능을 실행하여, 사람 인식 어플리케이션이 현재 사용자가 보고 있는 사람에 대하여 인식을 하고, 인식된 사람에 대한 정보를 사용자에게 제공하도록 할 수 있다.
한편, 일 실시 예에 따르면, 각 어플리케이션의 기능은 단순히 어플리케이션 서버에 이벤트의 발생을 통지하는 것일 수도 있다. 이 경우, 어플리케이션 서버는 번역 기능 또는 사람 인식 기능 등을 각 어플리케이션을 대신하여 수행하고, 수행 결과를 각 어플리케이션으로 전송한다.
디스플레이부(140)는 어플리케이션 기능 실행 결과를 디스플레이할 수 있다.
일 실시 예에 따르면, 디스플레이부(140)는 one eyed glass 또는 two eyed glasses 등을 포함하는 EGD(Eye Glass Display)로 구현될 수 있으나, 이에 한정되는 것은 아니며, 다양한 디스플레이 장치로 구현되는 것이 가능하다. 디스플레이부(140)가 EDG로 구현되는 경우, 어플리케이션 기능 실행 결과는 사용자의 눈의 위치 또는 보고 있는 화면의 객체(object)의 위치에 따라 사용자의 시야 방해를 최소화하는 형태로, EDG의 적절한 위치에 디스플레이될 수 있다. 이때, 번역 어플리케이션의 기능 실행 결과는 사용자가 현재 보고 있는 글자를 설정된 종류의 글자로 번역한 데이터이고, 사람 인식 어플리케이션의 기능 실행 결과는 사용자가 현재 보고 있는 사람에 대한 데이터일 수 있다.
도 2는 다른 실시 예에 따른 모바일 장치의 구성도이다.
도 1 및 도 2를 참조하면, 모바일 장치(200)는 도 1의 모바일 장치(100)에 사용자 인터페이스부(210), 어플리케이션 실행부(220) 및 디스플레이 콘텐츠 생성부(230)를 선택적으로 더 포함할 수 있다. 이때, 도 1과 동일한 기능을 수행하는 각 구성부는 동일한 참조부호를 사용하고, 그 상세한 설명은 생략하기로 한다.
사용자 인터페이스부(210)는 사용자로부터 어플리케이션의 실행 명령을 입력받을 수 있다. 이때, 사용자 인터페이스부(210)는 사용자의 음성 명령을 입력받기 위한 음성 인식 장치, 터치 패드 또는 터치 스크린, 어플리케이션 실행 명령에 대응되는 사용자의 특정 동작을 감지하는 다양한 센서로 구현될 수 있다.
어플리케이션 실행부(220)는 사용자의 어플리케이션 실행 명령에 따라 해당 어플리케이션을 실행할 수 있다.
한편, 전술한 바와 같이, 어플리케이션 실행부(220)가 어플리케이션을 실행하면, 이와 연계하여 센서부(110)가 동작할 수 있다. 즉. 센서부(110)는 어플리케이션이 실행되는 경우에만 동작함으로써, 불필요한 전력 소모를 줄이는 것이 가능하다.
디스플레이 콘텐츠 생성부(230)는 기능 실행 결과를 처리하여 디스플레이 콘텐츠를 생성할 수 있다. 예를 들어, 디스플레이 콘텐츠 생성부(230)는 기능 실행 결과 데이터를 처리하여 텍스트, 2D 이미지 및 3D 이미지 등을 포함하는 디스플레이 콘텐츠를 생성할 수 있다.
도 3a 및 도 3b는 어플리케이션의 기능 실행 결과를 디스플레이한 예를 도시한 도면이다. 자세하게는, 도 3a는 번역 어플리케이션의 번역 기능 실행 결과를 디스플레이한 예, 도 3b는 사람 인식 어플리케이션의 사람 인식 기능 실행 결과를 디스플레이한 예를 도시한 도면이다.
도 3a를 참조하면, 사용자가 보고 있는 EGD 화면에 번역 어플리케이션의 번역 기능 실행 결과가 오버레이(overlay)되어 디스플레이된다. 여기서, 참조번호 310a는 번역 기능 실행 전의 EGD 화면을 도시한 예를, 참조번호 320a는 한글을 영어로 변역한 결과가 디스플레이된 EGD 화면의 예를 나타낸다.
도 3b를 참조하면, 사용자가 보고 있는 EGD 화면에 사람 인식 어플리케이션의 사람 인식 기능 실행 결과가 디스플레이된다. 여기서, 참조번호 310b는 사람 인식 기능 실행 전의 EGD 화면을 도시한 예를, 참조번호 320b는 사람 인식 결과가 디스플레이된 EGD 화면의 예를 나타낸다. 이때, 도 3b는 사람 인식 결과로서, 이름과 만난 장소만을 디스플레이한 예를 도시하나, 이에 한정되는 것은 아니며, 나이, 직업 등 인식된 사람과 관련된 다양한 정보를 디스플레이하는 것도 가능하다.
도 4는 일 실시 예에 따른 모바일 장치의 동작 방법을 도시한 흐름도이다.
도 4를 참조하면, 일 실시 예에 따른 모바일 장치의 동작 방법은 먼저, 사용자의 눈의 움직임을 감지한다(410). 예를 들어, 카메라, 안구전도(Electrooculogram, EOG) 센서 등을 이용하여 사용자의 눈의 움직임을 감지할 수 있다. 일 실시 예에 따르면, 모바일 장치는 어플리케이션이 실행되는 경우에만 사용자의 눈의 움직임을 감지함으로써, 불필요한 전력 소모를 줄일 수 있다.
그 후, 감지된 사용자의 눈의 움직임을 기반으로 사용자의 의도를 추론하여 실행 중인 어플리케이션의 기능을 실행하기 위한 이벤트를 검출한다(420).
그 후, 검출된 이벤트에 대응하여 실행 중인 어플리케이션의 기능을 실행한다(430). 예를 들어, 번역 어플리케이션이 실행 중인 경우 번역 기능을 실행하여, 번역 어플리케이션이 현재 사용자가 보고 있는 글자에 대하여 미리 설정된 종류의 글자로 번역을 하도록 할 수 있다. 다른 예를 들면, 사람 인식 어플리케이션이 실행 중인 경우 사람 인식 기능을 실행하여, 사람 인식 어플리케이션이 현재 사용자가 보고 있는 사람에 대하여 인식을 하고, 인식된 사람에 대한 정보를 사용자에게 제공하도록 할 수 있다.
그 후, 어플리케이션의 기능 실행 결과를 디스플레이한다(440). 예를 들어, 어플리케이션 기능 실행 결과는 사용자의 눈의 위치 또는 보고 있는 화면의 객체(object)의 위치에 따라 사용자의 시야 방해를 최소화하는 형태로, EDG의 적절한 위치에 디스플레이될 수 있다.
추가적인 실시 예에 따르면, 어플리케이션 기능 실행 방법은, 사용자의 명령에 따라 어플리케이션을 실행하는 단계(405)을 더 포함할 수 있다. 어플리케이션이 실행 중인 경우만 사용자의 눈의 움직임을 감지하여, 시스템 전체의 불필요한 전력 소모를 줄이는 것이 가능하다.
추가적인 실시 예에 따르면, 어플리케이션 기능 실행 방법은, 어플리케이션의 기능 실행 결과를 처리하여 디스플레이 콘텐츠를 생성하는 단계(430)를 더 포함할 수 있다. 예를 들어, 기능 실행 결과 데이터를 처리하여 텍스트, 2D 이미지 및 3D 이미지 등을 포함하는 디스플레이 콘텐츠를 생성할 수 있다.
도 5는 도 4의 기능 실행 이벤트를 검출하는 과정(420)의 상세 흐름도이다.
도 5를 참조하면, 도 4의 기능 실행 이벤트를 검출하는 과정(420)은 먼저, 감지된 사용자의 눈의 움직임을 기반으로 사용자의 의도를 추론한다(510). 예를 들어, 감지된 눈의 움직임을 기반으로 사용자의 인지적 컨텍스트(cognitive context)를 파악하고, 이를 기초로 사용자의 의도를 추론할 수 있다.
그 후, 추론된 의도가 실행 중인 어플리케이션의 기능을 실행하기 위한 이벤트에 대응되는 의도인지 여부를 판단한다(520).
판단 결과, 추론된 의도가 실행 중인 어플리케이션의 기능 실행 이벤트에 대응되는 의도가 아닌 경우는 단계 510를 수행하고, 추론된 의도가 실행 중인 어플리케이션의 기능 실행 이벤트에 대응되는 의도인 경우는 기능 실행 이벤트를 검출하는 과정은 종료된다.
본 발명의 일 양상은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 상기의 프로그램을 구현하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함할 수 있다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등을 포함할 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 작성되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시 예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.
100: 모바일 장치,
110: 센서부,
120: 이벤트 검출부,
121: 의도 추론부,
122: 판단부.
130: 어플리케이션 실행부,
140: 디스플레이부.

Claims (15)

  1. 특정 어플리케이션이 실행되는 경우만 동작하여 사용자의 눈의 움직임을 감지하는 센서부;
    상기 사용자의 눈의 움직임을 기반으로 인지적 컨텍스트를 인식하고, 인식된 인지적 컨텍스트를 기초로 사용자의 의도를 추론하여 이벤트를 검출하는 이벤트 검출부;
    검출된 이벤트에 대응하여 상기 특정 어플리케이션의 기능을 실행하는 어플리케이션 기능 실행부; 및
    기능 실행 결과를 디스플레이하는 디스플레이부; 를 포함하고,
    상기 어플리케이션 기능 실행부는 상기 사용자의 읽기 의도가 추론되면 번역 어플리케이션의 번역 기능을 실행하고, 사람 인식 의도가 추론되면 사람 인식 어플리케이션의 사람 인식 기능을 실행하는, 모바일 장치.
  2. 제 1 항에 있어서,
    상기 센서부는 카메라 및 안구전도 센서 중 적어도 하나를 포함하는 모바일 장치.
  3. 제 1 항에 있어서,
    상기 이벤트 검출부는,
    추론된 의도가 상기 이벤트에 대응되는 의도인지 여부를 판단하는 판단부; 를 포함하는 모바일 장치.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 디스플레이부는 EGD인 모바일 장치.
  6. 제 1 항에 있어서,
    기능 실행 결과를 처리하여 디스플레이 콘텐츠를 생성하는 디스플레이 콘텐츠 생성부; 를 더 포함하는 모바일 장치.
  7. 제 6 항에 있어서,
    상기 디스플레이 콘텐츠 생성부는, 텍스트, 2D 이미지 및 3D 이미지 중 적어도 하나를 포함하는 디스플레이 콘텐츠를 생성하는 모바일 장치.
  8. 제 1 항에 있어서,
    사용자의 명령에 따라 상기 특정 어플리케이션을 실행하는 어플리케이션 실행부; 를 더 포함하는 모바일 장치.
  9. 제 1 항에 있어서,
    안경형 웨어러블 디바이스에 포함되는 모바일 장치.
  10. 사용자의 명령에 따라 특정 어플리케이션을 실행하는 단계;
    상기 특정 어플리케이션의 실행에 따라 사용자의 눈의 움직임을 감지하는 단계;
    상기 사용자의 눈의 움직임을 기반으로 인지적 컨텍스트를 인식하고, 인식된 인지적 컨텍스트를 기초로 사용자의 의도를 추론하여 이벤트를 검출하는 단계;
    검출된 이벤트에 대응하여 상기 특정 어플리케이션의 기능을 실행하는 단계; 및
    기능 실행 결과를 디스플레이하는 단계; 를 포함하고,
    상기 어플리케이션의 기능을 실행하는 단계는 상기 사용자의 읽기 의도가 추론되면 번역 어플리케이션의 번역 기능을 실행하고, 사람 인식 의도가 추론되면 사람 인식 어플리케이션의 사람 인식 기능을 실행하는, 모바일 장치의 동작 방법.
  11. 제 10 항에 있어서,
    상기 검출하는 단계는,
    추론된 의도가 상기 이벤트에 대응되는 의도인지 여부를 판단하는 단계; 를 포함하는 모바일 장치의 동작 방법.
  12. 삭제
  13. 제 10 항에 있어서,
    상기 디스플레이하는 단계에서, 기능 실행 결과를 EGD에 디스플레이하는 모바일 장치의 동작 방법.
  14. 제 10 항에 있어서,
    기능 실행 결과를 처리하여 디스플레이 콘텐츠를 생성하는 단계; 를 더 포함하는 모바일 장치의 동작 방법.
  15. 제 14 항에 있어서,
    상기 생성하는 단계에서, 텍스트, 2D 이미지 및 3D 이미지 중 적어도 하나를 포함하는 디스플레이 콘텐츠를 생성하는 모바일 장치의 동작 방법.
KR1020130101318A 2013-08-26 2013-08-26 사용자의 의도를 자동으로 인지하여 정보를 제공하는 모바일 장치 및 그의 동작 방법 KR102160650B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130101318A KR102160650B1 (ko) 2013-08-26 2013-08-26 사용자의 의도를 자동으로 인지하여 정보를 제공하는 모바일 장치 및 그의 동작 방법
US14/335,977 US10073519B2 (en) 2013-08-26 2014-07-21 Apparatus and method for providing information by recognizing user's intentions

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130101318A KR102160650B1 (ko) 2013-08-26 2013-08-26 사용자의 의도를 자동으로 인지하여 정보를 제공하는 모바일 장치 및 그의 동작 방법

Publications (2)

Publication Number Publication Date
KR20150024179A KR20150024179A (ko) 2015-03-06
KR102160650B1 true KR102160650B1 (ko) 2020-09-28

Family

ID=52479893

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130101318A KR102160650B1 (ko) 2013-08-26 2013-08-26 사용자의 의도를 자동으로 인지하여 정보를 제공하는 모바일 장치 및 그의 동작 방법

Country Status (2)

Country Link
US (1) US10073519B2 (ko)
KR (1) KR102160650B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102252464B1 (ko) 2020-12-21 2021-05-14 주식회사 모비젠 두 가지 이상의 데이터의 조합으로 모바일 단말을 사용하는 사용자의 상태정보를 판단하는 방법 및 그 시스템

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106249846B (zh) * 2015-06-29 2020-03-17 北京智谷睿拓技术服务有限公司 光强度调节方法和设备
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
KR20230103577A (ko) * 2021-12-31 2023-07-07 삼성전자주식회사 전자 장치 및 그의 동작 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120154557A1 (en) * 2010-12-16 2012-06-21 Katie Stone Perez Comprehension and intent-based content for augmented reality displays

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999018842A1 (en) 1997-10-16 1999-04-22 The Board Of Trustees Of The Leland Stanford Junior University Method for inferring mental states from eye movements
JP5228305B2 (ja) 2006-09-08 2013-07-03 ソニー株式会社 表示装置、表示方法
JP5119636B2 (ja) 2006-09-27 2013-01-16 ソニー株式会社 表示装置、表示方法
JP2009296228A (ja) 2008-06-04 2009-12-17 Nikon Corp ヘッドマウントディスプレイ装置
JP2010134152A (ja) 2008-12-04 2010-06-17 Brother Ind Ltd ヘッドマウントディスプレイ
US9507418B2 (en) * 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
JP2013521576A (ja) * 2010-02-28 2013-06-10 オスターハウト グループ インコーポレイテッド 対話式ヘッド取付け型アイピース上での地域広告コンテンツ
US9128281B2 (en) * 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US9330499B2 (en) 2011-05-20 2016-05-03 Microsoft Technology Licensing, Llc Event augmentation with real-time information
JP5935640B2 (ja) * 2012-10-01 2016-06-15 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
US20140188497A1 (en) * 2012-12-31 2014-07-03 Adflow Networks, Inc. Intelligent messaging system for station
US9588897B2 (en) * 2013-07-19 2017-03-07 Samsung Electronics Co., Ltd. Adaptive application caching for mobile devices

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120154557A1 (en) * 2010-12-16 2012-06-21 Katie Stone Perez Comprehension and intent-based content for augmented reality displays

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102252464B1 (ko) 2020-12-21 2021-05-14 주식회사 모비젠 두 가지 이상의 데이터의 조합으로 모바일 단말을 사용하는 사용자의 상태정보를 판단하는 방법 및 그 시스템

Also Published As

Publication number Publication date
US20150054731A1 (en) 2015-02-26
KR20150024179A (ko) 2015-03-06
US10073519B2 (en) 2018-09-11

Similar Documents

Publication Publication Date Title
US10852841B2 (en) Method of performing function of device and device for performing the method
US20220253264A1 (en) Incremental highlighting during virtual object selection
US20220217303A1 (en) Display apparatus and control methods thereof
US10139898B2 (en) Distracted browsing modes
KR102393928B1 (ko) 응답 메시지를 추천하는 사용자 단말 장치 및 그 방법
US20220229534A1 (en) Coordinating cursor movement between a physical surface and a virtual surface
KR20230157274A (ko) 관련 이미지를 검색하기 위한 전자 장치 및 이의 제어 방법
US20160224591A1 (en) Method and Device for Searching for Image
US9213413B2 (en) Device interaction with spatially aware gestures
KR102160650B1 (ko) 사용자의 의도를 자동으로 인지하여 정보를 제공하는 모바일 장치 및 그의 동작 방법
US20210117048A1 (en) Adaptive assistive technology techniques for computing devices
US11915671B2 (en) Eye gaze control of magnification user interface
US11733959B2 (en) Physical companion devices for use with extended reality systems
Silva et al. Eye tracking support for visual analytics systems: foundations, current applications, and research challenges
US11361148B2 (en) Electronic device sharing content with an external device and method for sharing content thereof
KR102061225B1 (ko) 트리거 지역들
Sokan et al. A tangible experiment support system with presentation ambiguity for safe and independent chemistry experiments
Anand et al. Beyond touch: Natural interactions using facial expressions
US20240211091A1 (en) Application-free systems and methods
Liu et al. Human I/O: Towards a Unified Approach to Detecting Situational Impairments
AU2014213152B2 (en) Method of performing function of device and device for performing the method
CN117043709A (zh) 用于生产力的扩展现实
KR20160006369A (ko) 셀러 글래스, 이의 제어 방법, 컴퓨터 프로그램이 기록된 기록 매체 및 고객 서비스 제공 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant