KR20090085821A - 인터페이스 장치와 이를 이용한 게임기 및 컨텐츠 제어방법 - Google Patents

인터페이스 장치와 이를 이용한 게임기 및 컨텐츠 제어방법 Download PDF

Info

Publication number
KR20090085821A
KR20090085821A KR1020080011668A KR20080011668A KR20090085821A KR 20090085821 A KR20090085821 A KR 20090085821A KR 1020080011668 A KR1020080011668 A KR 1020080011668A KR 20080011668 A KR20080011668 A KR 20080011668A KR 20090085821 A KR20090085821 A KR 20090085821A
Authority
KR
South Korea
Prior art keywords
pointer
eye
interface device
moves
camera
Prior art date
Application number
KR1020080011668A
Other languages
English (en)
Inventor
이상훈
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020080011668A priority Critical patent/KR20090085821A/ko
Publication of KR20090085821A publication Critical patent/KR20090085821A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Cardiology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 인터페이스 장치와 이를 이용한 게임기 및 컨텐츠 제어방법에 관한 것이다. 보다 상세하게는 버튼식, 터치 패드식, 터치 스크린 식 등 사용자의 접근성이 우수한 방식으로 원격의 사물에 부착된 카메라를 자유자재로 회전, 이동, 줌인, 줌아웃할 수 있는 원격제어용 인터페이스 장치와, 안구 추적기를 이용하여 장애인이라도 손쉽게 원격제어를 할 수 있도록 하는 원격제어용 인터페이스 장치 및 안구 추적기를 이용하여 기존의 마우스를 대체할 수 있도록 하여 누구나 컴퓨터 조작과 웹서핑, 게임 등을 마우스 사용없이 가능하도록 함으로써 편의성을 제공하는 인터페이스 장치와 이를 이용한 게임기 및 컨텐츠 제어방법에 관한 것이다.
이를 위하여 본 발명은 오브젝트(object)의 동작을 원격제어하기 위한 인터페이스 장치에 있어서, 상기 오브젝트에 구비된 카메라로 획득한 영상을 디스플레이하는 디스플레이부; 및 상기 카메라의 이동, 회전, 줌인(zoom-in) 및 줌아웃(zoom-out)을 포함한 동작을 수행하도록 하는 작동부를 포함하는 것을 특징으로 하는 인터페이스 장치를 제공한다.
원격제어, 인터페이스, 터치 패드, 안구 추적기(eyetracker), 대화적 인터페이스, 가상 현실

Description

인터페이스 장치와 이를 이용한 게임기 및 컨텐츠 제어방법{Interface device, Games using the same and Method for controlling contents}
본 발명은 인터페이스 장치와 이를 이용한 게임기 및 컨텐츠 제어방법에 관한 것이다. 보다 상세하게는 버튼식, 터치 패드식, 터치 스크린 식 등 사용자의 접근성이 우수한 방식으로 원격의 사물에 부착된 카메라를 자유자재로 회전, 이동, 줌인, 줌아웃할 수 있는 원격제어용 인터페이스 장치와, 안구 추적기를 이용하여 장애인이라도 손쉽게 원격제어를 할 수 있도록 하는 원격제어용 인터페이스 장치 및 안구 추적기를 이용하여 기존의 마우스를 대체할 수 있도록 하여 누구나 컴퓨터 조작과 웹서핑, 게임 등을 마우스 사용없이 가능하도록 함으로써 편의성을 제공하는 인터페이스 장치와 이를 이용한 게임기 및 컨텐츠 제어방법에 관한 것이다.
원격제어(remote control)라 함은 기계 등을 직접 사람의 손이나 발로 조작하지 않고 어떤 장치를 사용하여 간접적으로 조작하는 것을 일컫는다. 이를 위해 제어소(制御所)에서 전송기 또는 연락전송선, 마이크로파 등을 통해서 원격조작을 하게 된다. 이러한 원격제어방식은 전력, 철강, 화학, 수송 등의 전체 산업분야에서 사용되고 있다.
또한, 원격제어에 있어서는 통상적으로 제어소에서의 제어에 대하여 확실히 기기가 움직였는가, 그 상태는 어떤가 하는 반신(半信)을 받을 필요가 있어 통신설비를 필요로 하는 경우가 많다. 전송회로로는 전송거리, 제어기기 수, 지리적 조건 등에 따라 달라지나 일반적으로 수중제어 케이블 등에 의한 직접 연락, 전력선, 통신선에 의한 반송연락, 마이크로파 등에 의한 연락 등이 사용된다.
직접 현장에 가지 않고 원거리에서 현장에 있는 로봇의 카메라를 원격으로 조정하기 위해서는 로봇의 카메라와 이를 원격제어하고자 하는 사람과의 사이에 인터페이스 툴(interface tool)이 필요하다. 인터페이스 툴은 사람이 로봇의 카메라를 통해 현장 상황을 주시하면서 로봇 또는 카메라가 취할 수 있는 모든 동작들을 수행할 수 있어야 한다. 더불어, 인터페이스 툴은 사용자가 조종하기에 편리하게 구현되어야 한다. 그러나, 현재까지 원격제어를 위한 인터페이스 툴의 구체적인 구현에 대한 연구개발이 미흡한 실정이다.
한편, 컴퓨터를 통한 인터넷 서핑에 있어 사용자는 마우스를 이용하여 화면의 여기저기를 클릭하면서 자신이 원하는 컨텐츠를 찾게 된다. 최근 인터넷 사이트가 보유하고 있는 정보량은 어마어마하여 사용자가 자신이 원하는 컨텐츠를 획득하기 위해서는 많은 양의 마우스 조작이 필요하다. 이러한 이유로 컴퓨터 작업을 많이 하는 직장인의 경우 손목 관절에 이상이 생기기도 한다.
또한, 컴퓨터를 통한 게임에 있어 사용자는 마우스를 이용하여 게임 속의 캐릭터를 선택하고 이동시키면서 게임을 진행하게 된다. 최근 컴퓨터 게임은 게임 속에 수많은 캐릭터들과 아이템을 포함하고 있어 게임 수행을 위해 엄청난 양의 마우 스 조작을 필요로 한다. 특히, 게이머들 사이에 많은 인기를 누리고 있는 롤 플레잉 게임이나 전략 시뮬레이션 게임의 경우 대부분의 명령과 캐릭터 제어 및 아이템 선택을 위해 마우스 조작이 필요하다. 이러한 마우스 조작에 의해 게이머들은 쉽게 피로감을 느끼게 되며 장시간 사용할 경우 신체적인 무리를 호소하기도 한다.
본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 특히 사용자의 접근성이 우수한 방식으로 원격의 사물에 부착된 카메라를 자유자재로 회전, 이동, 줌인, 줌아웃할 수 있는 원격제어용 인터페이스 장치와, 장애인이라도 손쉽게 원격제어를 할 수 있도록 하는 원격제어용 인터페이스 장치 및 기존의 마우스를 대체하여 누구나 컴퓨터 조작과 웹서핑, 게임 등을 마우스 사용 없이 가능하도록 함으로써 편의성을 제공하는 인터페이스 장치와 이를 이용한 게임기 및 컨텐츠 제어방법을 제공하는 데 그 목적이 있다.
상기 목적을 달성하기 위해 안출된 본 발명의 일 측면에 따른 인터페이스 장치는 오브젝트(object)의 동작을 원격제어하기 위한 인터페이스 장치에 있어서, 상기 오브젝트에 구비된 카메라로 획득한 영상을 디스플레이하는 디스플레이부; 및 상기 카메라의 이동, 회전, 줌인(zoom-in) 및 줌아웃(zoom-out)을 포함한 동작을 수행하도록 하는 작동부를 포함하는 것을 특징으로 한다.
또한, 상기 작동부는 버튼 형태로 구현될 수 있다.
또한, 상기 작동부는 터치 패드 형태로 구현될 수 있다.
또한, 상기 작동부는 회전하는 원형 터치 패드를 구비하며, 상기 원형 터치 패드는 좌회전 또는 우회전을 통해 각각 상기 카메라의 좌회전 또는 우회전을 제어할 수 있다.
또한, 상기 작동부는 상기 디스플레이부 상에 터치 스크린(touch screen) 형태로 구현될 수 있다.
또한, 상기 작동부는 복수개의 터치를 인식하여 상기 복수개의 터치에 해당되는 기능을 동시에 수행하는 다중 터치 인식 스크린장치를 구비할 수 있다.
또한, 상기 인터페이스 장치는 안구 추적기(eyetracker)를 더 구비하여 눈의 동작 상태에 따라 상기 작동부를 작동할 수 있다.
또한, 상기 작동부는 눈의 동작 상태에 따라 상기 작동부를 구성하는 메뉴를 선택함으로써 상기 오브젝트의 동작을 원격제어하는 수동 모드(manual mode)로 동작할 수 있다.
또한, 상기 메뉴 선택은 안구의 초점과 연동되는 포인터를 원하는 메뉴상으로 이동시킨 후 눈을 깜박임으로써 수행될 수 있다.
또한, 상기 작동부는 상기 카메라의 이동, 회전, 줌인, 줌아웃 중 적어도 어느 두 가지를 동시에 수행함으로써 상기 오브젝트의 동작을 원격제어하는 자동 모드(auto mode)로 동작할 수 있다.
또한, 상기 회전은 중력 센서로 고개의 각도를 측정하여 상기 각도만큼 상기 카메라를 회전시킴으로써 수행되고, 상기 이동은 안구의 초점이 움직이는 방향에 따라 상기 카메라를 이동시킴으로써 수행되며, 상기 줌인은 응시시간에 비례하여 수행될 수 있다.
본 발명의 다른 측면에 따른 인터페이스 장치는 사용자가 원하는 동작을 제어하기 위한 인터페이스 장치에 있어서, 사용자의 안구의 초점과 눈깜박임을 감지 하여 포인터(pointer)를 연동시키는 안구 추적부(eyetracker); 및 상기 포인터와, 상기 포인터에 의해 수행하고자 하는 컨텐츠를 디스플레이하는 디스플레이부를 포함하는 것을 특징으로 한다.
또한, 상기 포인터가 상기 컨텐츠의 특정 메뉴상으로 이동하면 상기 메뉴의 색 변경 또는 색 반전이 수행되고, 상기 메뉴에 대한 사용자의 응시시간이 임계값을 넘으면 상기 메뉴의 리스트가 정렬되며, 상기 리스트 중 원하는 리스트에서 상기 눈깜박임이 수행되면 해당 리스트가 선택될 수 있다.
또한, 상기 포인터가 상기 디스플레이부에 나타난 특정 물체상으로 이동한 후 상기 눈깜박임이 수행되면 상기 물체가 선택되고, 상기 안구의 초점이 이동함에 따라 상기 포인터가 함께 이동하며, 상기 포인터가 이동된 목적 위치에서 상기 눈깜박임이 수행되면 상기 물체가 상기 목적 위치로 이동할 수 있다.
본 발명에 따른 게임기는 상기 인터페이스 장치를 이용하여 상기 디스플레이 상의 복수의 물체를 제어하거나 이동하는 것일 수 있다.
본 발명에 따른 컨텐츠 제어방법은 (a) 안구 추적(eyetracking)을 통해 사용자의 안구 초점을 인식하는 단계; (b) 상기 안구 초점의 위치에 부합하도록 디스플레이 상에 포인터를 표시하는 단계; 및 (c) 상기 포인터가 상기 디스플레이 상에 나타난 특정 물체상으로 이동한 후 눈깜박임이 수행되면 상기 물체가 선택되고, 상기 안구의 초점이 이동함에 따라 상기 포인터가 함께 이동하며, 상기 포인터가 이동된 목적 위치에서 눈깜박임이 수행되면 상기 물체가 상기 목적 위치로 이동하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 의하면 원격의 사물에 부착된 카메라를 간단한 인터페이스 장치를 이용하여 용이하게 제어할 수 있으며, 특히 디스플레이부를 참조하면서 작동부를 통해 카메라의 회전, 이동, 줌인, 줌아웃 등의 제어를 누구나 쉽게 할 수 있는 효과가 있다.
또한, 본 발명에 의하면 안구 추적기를 이용하여 원격제어 인터페이스 장치를 구현함으로써 수족을 사용할 수 없는 장애자들도 원하는 물체를 쉽게 제어할 수 있어 병원, 재활원 등에서 널리 활용할 수 있는 효과가 있다.
또한, 본 발명에 의하면 안구 추적기를 이용하여 컴퓨터 조작, 웹 서핑 등을 신속하고 용이하게 수행할 수 있어 일반인뿐만 아니라 몸이 불편한 사람도 쉽게 컴퓨터를 사용할 수 있도록 하는 효과가 있다.
또한, 본 발명에 의하면 안구 추적기를 이용하여 롤 플레잉 게임, 실시간 전략 시뮬레이션 게임 등에서 신속한 사물의 선택과 이동이 가능하도록 함으로써, 누구나 쉽게 게임을 즐길 수 있으며 마우스 조작에 따른 불편함을 해소할 수 있는 효과가 있다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
도 1은 본 발명의 일 실시예에 따른 인터페이스 장치의 개념도이다. 도 2는 도 1 중 작동부의 확대도이다.
본 발명의 일 실시예에 따른 인터페이스 장치(100)는, 도 1을 참조하면, 디스플레이부(110)와 작동부(120)를 포함한다.
디스플레이부(110)는 오브젝트(object)를 원활하게 제어하기 위해 오브젝트에 구비된 카메라로 획득한 영상을 디스플레이하는 부분이다. 이때, 오브젝트는 원격제어의 대상이 되는 물체로, 로봇의 시력을 위한 카메라, 감시 이동 카메라, 모터가 부착된 액티브(active) 카메라 등을 포함할 수 있다. 사용자는 현장에 있지 않고 오브젝트로부터 원거리에 위치하므로, 오브젝트가 위치하고 있는 현장 상황을 파악할 수 없다. 따라서, 디스플레이부(110)는 오브젝트에 구비된 카메라가 획득한 영상을 전송받아 사용자에게 보여주는 역할을 수행한다. 사용자는 디스플레이부(110)를 보면서 현장 상황을 파악한 후 작동부(120)를 통해 원하는 동작을 제어하며, 작동부(120)를 통해 제어된 결과를 확인할 수 있다.
작동부(120)는 오브젝트에 구비된 카메라의 이동, 회전, 줌인(zoom-in), 줌아웃(zoom-out)을 포함한 동작을 수행하도록 하는 부분이다. 작동부(120)는 도 1 및 도 2와 같이 버튼 형태로 구현된다. 작동부(120)는 이동 버튼(131, 132, 133, 134), 회전 버튼(141, 142, 143, 144), 줌 버튼(150)을 포함한다.
이동 버튼(131, 132, 133, 134)은 전진 버튼(131), 후진 버튼(132), 좌로 이동 버튼(133), 우로 이동 버튼(134)을 포함함으로써, 오브젝트에 구비된 카메라의 이동을 제어한다. 이때, 계속적인 이동을 위해서는 이동 버튼(131, 132, 133, 134)의 누름을 지속시킴으로써 가능하다.
회전 버튼(141, 142, 143, 144)은 상향 회전 버튼(141), 하향 회전 버튼(142), 좌향 회전 버튼(143), 우향 회전 버튼(144)을 포함함으로써, 오브젝트에 구비된 카메라의 회전을 제어한다. 회전의 경우도 마찬가지로 계속적인 회전을 위해 회전 버튼(141, 142, 143, 144)의 누름을 지속시키는 것으로 설정할 수 있다.
줌 버튼(150)은 오브젝트에 구비된 카메라의 줌인과 줌아웃 기능을 수행한다.
이러한 인터페이스 장치(100)의 구현을 위해 인터페이스 장치(100)의 신호를 받아서 컴퓨터 내부에서 신호를 인지하여 해당 명령어로 변환한 후 원격제어 시스템에 전달하는 디바이스 드라이버(device driver) 및 프로토콜(protocol) 구현을 위한 소프트웨어가 필요하다. 이러한 원격제어 관련 소프트웨어는 원격제어 관련분야에서 일반적으로 사용되는 것들이 적용될 수 있다.
도 3은 본 발명의 다른 실시예에 따른 인터페이스 장치의 개념도이다.
본 발명의 다른 실시예에 따른 인터페이스 장치는 디스플레이부(미도시)와 작동부(220)를 구비한다.
작동부(220)는 터치 패드(touch pad) 형태로 구현된다.
이때, 작동부(220) 중 회전 관련 기능을 수행하는 회전 패드(241, 242, 243, 244)와 줌인/줌아웃 기능을 수행하는 줌 패드(250)는 고정형 패드 혹은 회전형 패드로 구현될 수 있다. 고정형 패드로 구현되는 경우 상향 회전 패드(241)와 하향 회전 패드(242)는 터치에 의해 그 기능이 수행되고, 좌향 회전 패드(243)와 우향 회전 패드(244)는 화살표 방향으로 스치듯이 터치함으로써 그 기능이 수행된다. 한편, 회전형 패드로 구현되는 경우 상향 회전 패드(241)와 하향 회전 패드(242)는 터치에 의해 그 기능이 수행되고, 좌향 회전 패드(243)와 우향 회전 패드(244)는 화살표 방향으로 패드를 돌려줌으로써 그 기능이 수행된다. 즉 원형 터치 패드가 휠(wheel)과 같이 작용하여 좌회전 또는 우회전을 통해 각각 카메라의 좌회전 또는 우회전을 제어하게 된다.
한편, 줌 패드(250)에는 압력 센서가 내장되어 한 번 터치할 경우 해당 기능(줌인 또는 줌아웃)이 수행되고, 두 번 빠르게 터치할 경우 기능이 전환(줌인↔줌아웃)되는 것으로 설정될 수 있다.
도 4는 본 발명의 또 다른 실시예에 따른 인터페이스 장치의 개념도이다.
본 발명의 또 다른 실시예에 따른 인터페이스 장치(300)는, 도 4를 참조하면, 작동부(320)가 디스플레이부(310)의 내부에 터치 스크린(touch screen) 형태로 구현된다.
작동부(320)는 디스플레이부(310) 상에 반투명하게 나타난다. 작동부(320) 각 기능의 조작은 펜이나 손가락 등을 이용할 수 있다.
작동부(320)는 다중 터치 인식 스크린 장치를 구비할 수 있다. 다중 터치 인식 스크린 장치는 터치 스크린에 대한 복수개의 터치를 인식할 수 있다. 이로 인하여 해당 장치는 두 개 이상의 펜이나 손가락 등이 스크린에 터치하는 것을 감지할 수 있다. 이를 이용하여 복수개의 터치에 해당되는 기능을 동시에 수행할 수 있도록 한다. 예를 들어, 전진 터치부와 줌인 터치부를 함께 터치하면 오브젝트가 전진하고 이와 동시에 오브젝트에 장착된 카메라는 줌인 기능을 수행하도록 할 수 있다.
이와 같이 작동부(320)를 터치 스크린으로 구현하기 위해서는 압력 센서와 이를 구동하는 소프트웨어 및 명령 전달을 위한 통신용 모듈을 필요로 하며, 이는 원격제어 관련분야에서 일반적으로 사용되는 것들이 적용될 수 있다.
도 5 내지 도 11은 본 발명의 또 다른 실시예에 따른 인터페이스 장치의 개념도이다.
본 발명의 또 다른 실시예에 따른 인터페이스 장치(400)는 안구 추적기(eyetracker)를 더 구비하여 사용자의 눈의 동작 상태에 따라 작동부(420)를 작동시킨다.
안구 추적기(미도시)는 안구의 초점을 인식하여 그 궤적을 추적하는 장치로, 모니터의 상단에 구비되거나 안경과 같이 착용할 수 있도록 구현될 수 있다. 본 실시예에서는 안경과 같이 착용할 수 있도록 구현된 안구 추적기의 경우를 예로 들어 설명하기로 한다.
안구 추적기가 구비된 인터페이스 장치(400)를 착용하면 디스플레이부(410) 상에 작동부(420)의 각 메뉴가 정렬되어 있다. 작동부(420)의 메뉴 중 좌측 3개는 특정 기능 제어 모드(specific control mode)(430)에 해당하고, 우측 2개는 올인원 모드(all-in-one mode)(440)에 해당한다. 사용자는 시선을 이동시키다가 원하는 메뉴에 시선을 고정시키고 눈을 깜박이면 해당 메뉴가 선택된다.
특정 기능 제어 모드(430)는 회전부(432), 이동부(434), 줌인/줌아웃 부(436)를 구비한다. 사용자가 회전부(432)를 선택한 경우의 화면이 도 6에 도시되어 있고, 이동부(434)를 선택한 경우의 화면이 도 7에 도시되어 있다.
사용자가 회전부(432) 또는 이동부(434)를 선택하면 안구의 초점과 연동하는 포인터(P)가 화면에 위치하게 된다. 이때, 사용자가 시선을 좌측으로 이동하면 포인터(P)가 좌측으로 이동하며, 좌측 화살표(검은 화살표)를 선택하면 오브젝트의 카메라가 좌측으로 회전한다(도 6 참조). 이때, 회전량은 포인터(P)가 좌측 화살표에 머무른 시간에 비례하도록 설정할 수 있다.
사용자가 시선을 상측으로 이동하면 포인터(P)가 상측으로 이동하며, 상측 화살표(검은 화살표)를 선택하면 오브젝트의 카메라가 전진한다(도 7 참조). 마찬가지로 전진량은 포인터(P)가 상측 화살표에 머무른 시간에 비례하도록 설정될 수 있다.
상기 경우는 회전부(432)와 이동부(434)의 메뉴가 공유되는 상황을 설명한 것으로, 좌우 화살표는 회전에 관계되고 상하 화살표는 이동에 관계되도록 설정된다. 이때, 오브젝트의 카메라가 상측 또는 하측으로 회전하도록 하기 위해서는 인터페이스 장치(400)에 중력 센서를 구비할 수 있다. 사용자의 고개 각도를 측정하 여 카메라를 원하는 상하 방향으로 회전시킬 수 있다.
이와 달리, 회전부(432)와 이동부(434)의 메뉴를 분리하여 회전부(432)를 선택했을 때 나타나는 화살표는 상하좌우의 회전에만 관계되는 것으로 하고, 이동부(434)를 선택했을 때 나타나는 화살표는 전후좌우의 이동에만 관계되는 것으로 설정할 수도 있음은 물론이다.
도 8은 사용자가 줌인/줌아웃부를 선택한 경우의 화면이다. 사용자가 줌인/줌아웃부(436)를 선택하면 도 8의 화면이 뜨고, 우측 하단에는 축척(scale)이 표시된다. 이때, 줌인 또는 줌아웃은 응시시간에 비례하여 수행된다. 또한, 줌인과 줌아웃의 상호 전환은 눈깜박임 등을 이용하여 이루어질 수 있다.
올인원 모드(440)는 자동 모드(442)와 수동 모드(444)를 포함한다.
도 9는 사용자가 자동 모드를 선택한 경우의 화면이다.
자동 모드는 카메라의 이동, 회전, 줌인, 줌아웃 중 적어도 어느 두 가지를 동시에 수행할 수 있는 모드이다. 예컨대, 사용자가 고개를 회전함으로써 오브젝트에 구비된 카메라의 회전이 수행되고, 상하좌우의 화살표를 응시함으로써 카메라의 이동이 수행되며, 화면 중앙부의 응시시간에 비례하여 줌 모드가 수행될 수 있다. 도 9의 경우는 사용자가 고개를 좌측으로 돌리면서 상측 화살표와 화면 중앙부를 응시함으로써, 카메라를 좌회전하면서 전진과 줌인을 동시에 수행하는 상황이다.
도 10은 사용자가 수동 모드를 선택한 경우의 화면이다.
수동 모드는 스크린 상에 반투명하게 투사된 작동부를 구성하는 메뉴(446)를 선택함으로써 오브젝트의 동작을 원격제어한다. 이때, 메뉴 선택은 안구의 초점과 연동되는 포인터(P)를 원하는 메뉴상으로 이동시킨 후 눈을 깜박임으로써 수행된다.
도 11은 자동 모드와 수동 모드의 전환을 설명하기 위한 도면이다. 자동 모드에서 수동 모드로 전환하기 위해서는 사용자가 시선을 이동하여 포인터(P)를 수동 모드의 메뉴(446) 상으로 이동시킨 후 눈을 깜박이면 된다.
이와 같이 안구 추적기와 중력 센서를 이용하여 원격제어용 인터페이스 장치를 구현하기 위해서는 안구 추적기에서 응시점, 응시시간, 눈꺼풀의 움직임, 고개의 움직임을 검출하여 해당 인터페이스의 메뉴 버튼의 명령과 매핑(mapping)하는 소프트웨어, 안구 추적기의 디바이스 드라이버, 이러한 명령어를 원격제어 카메라로 전송하기 위한 통신용 소프트웨어 모듈을 필요로 하며, 이는 원격제어 관련분야에서 일반적으로 사용되는 것들이 적용될 수 있다.
도 12는 안구 추적기를 이용하여 마우스를 대체할 수 있는 인터페이스 장치의 개념도이다.
마우스를 대체할 수 있는 인터페이스 장치는 모니터 외측 테두리에 장착되거나, 안경과 같이 쓰는 형태 등으로 구현될 수 있으며, 이하에서는 안경과 같이 쓰는 형태를 예로 들어 설명한다.
인터페이스 장치(500)는 안구 추적부(510)와 디스플레이부(520)를 포함한다.
안구 추적부(510)는 사용자의 안구의 초점과 눈깜박임을 감지하여 포인터(P)를 연동시키는 부분이다. 안구 추적부(510)는 사용자의 안구 초점의 위치를 파악하여 화면상에 포인터(P)를 위치시킨다. 사용자가 시선을 우측으로 이동하면 안구 추 적부(510)는 안구 초점의 이동을 감지하여 포인터(P)를 우측으로 이동시킨다.
디스플레이부(520)는 포인터(P)와, 포인터(P)에 의해 수행하고자 하는 컨텐츠를 디스플레이하는 부분이다.
사용자가 시선을 이동시켜 포인터(P)가 컨텐츠의 특정 메뉴상으로 이동하면 메뉴의 색 변경 또는 색 반전이 수행된다. 이는 포인터(P)가 특정 메뉴상에 정확하게 위치해 있으며 그 특정 메뉴의 선택이 가능함을 의미한다. 색 변경 또는 색 반전된 메뉴에 대한 사용자의 응시시간이 임계값을 넘으면 그 메뉴를 구성하는 하위 구성요소인 리스트가 정렬된다. 사용자는 자신이 선택하고자 하는 리스트 상으로 포인터(P)를 이동시킨 후 눈깜박임을 수행함으로써 해당 리스트가 선택되고 실행되도록 한다.
도 13은 안구 추적기를 이용하여 마우스를 대체할 수 있는 인터페이스 장치를 게임기에 적용한 경우의 개념도이다.
인터페이스 장치(600)는 안구 추적부(610)와 디스플레이부(620)를 포함한다.
사용자가 시선을 이동시켜 포인터(P)가 디스플레이부(620)에 나타난 특정 물체(C) 상으로 이동한 후 눈깜박임이 수행되면 그 물체(C)가 선택된다. 사용자의 안구 초점이 이동함에 따라 포인터(P)가 함께 이동하며, 포인터(P)가 이동된 목적 위치에서 눈깜박임이 수행되면 물체(C)가 목적 위치로 이동한다. 이때, 물체(C)는 게임 속의 캐릭터 또는 아이템 등을 포함한다.
이와 같이 안구 추적기를 이용하여 마우스를 대체할 수 있는 인터페이스 장치를 구현하기 위해서는 안구 추적기에서 응시점, 응시시간, 눈꺼풀의 움직임을 통 하여 기존의 마우스가 하는 역할을 할 수 있도록 하는 디바이스 드라이버, GUI(Graphic User Interface)를 위한 소프트웨어를 필요로 하며, 이는 컴퓨터 입출력 인터페이스 관련분야에서 일반적으로 사용되는 것들이 적용될 수 있다.
이러한 개념을 확장하면 안구 추적기와 3D 디스플레이와의 대화적인 인터페이스를 구현할 수 있다. 우선, 가상 현실상에서 눈동자의 초점에 해당하는 사물이 활성화(activation)되고, 해당하는 동작을 가상 현실상에 디스플레이되어 있는 툴바를 선택하게 함으로써 가상 현실에서 손으로 하는 인터페이스를 눈으로 하는 인터페이스로 대체할 수 있다.
도 14는 본 발명의 바람직한 실시예에 따른 컨텐츠 제어방법의 흐름도이다.
10단계는 안구 추적(eyetracking)을 통해 사용자의 안구 초점을 인식하는 단계이다.
20단계는 안구 초점의 위치에 부합하도록 디스플레이 상에 포인터를 표시하는 단계이다.
30단계는 포인터를 디스플레이 상에 나타난 특정 물체상으로 이동시켜 눈을 깜박임으로써 그 물체를 선택하는 단계이다.
40단계는 안구의 초점이 이동함에 따라 포인터가 함께 이동하는 단계이다.
50단계는 포인터가 이동된 목적 위치에서 눈깜박임이 수행되면 물체가 목적 위치로 이동하는 단계이다.
한편, 도시되지 않았으나 컨텐츠 제어방법은 안구 추적을 통해 사용자의 안구 초점을 인식하는 단계, 안구 초점의 위치에 부합하도록 디스플레이 상에 포인터 를 표시하는 단계, 포인터가 디스플레이 상의 특정 메뉴로 이동하면 메뉴의 색 변경 또는 색 반전이 수행되는 단계, 특정 메뉴에 대한 사용자의 응시시간이 임계값을 넘으면 하위 메뉴에 해당하는 리스트가 정렬되는 단계, 정렬된 리스트 중 원하는 리스트에서 눈깜박임이 수행되면 해당 리스트가 선택되는 단계를 포함하여 이루어질 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명은 사용자의 접근성이 우수한 원격제어용 인터페이스 장치와 안구 추적기를 사용하여 마우스를 대체할 수 있는 인터페이스 장치에 관한 것으로, 원격의 사물에 부착된 카메라를 시각적으로 제어함으로써 공공장소와 개인장소에서 광범위하게 적용할 수 있으며, 안구 추적기를 이용한 인터페이스 장치는 웹 서핑, 게임 산업 등에 활용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 인터페이스 장치의 개념도,
도 2는 도 1 중 작동부의 확대도,
도 3은 본 발명의 다른 실시예에 따른 인터페이스 장치의 개념도,
도 4는 본 발명의 또 다른 실시예에 따른 인터페이스 장치의 개념도,
도 5는 본 발명의 또 다른 실시예에 따른 인터페이스 장치의 개념도,
도 6은 도 5의 인터페이스 장치에서 회전부를 선택한 경우의 화면,
도 7은 도 5의 인터페이스 장치에서 이동부를 선택한 경우의 화면,
도 8은 도 5의 인터페이스 장치에서 줌인/줌아웃부를 선택한 경우의 화면,
도 9는 도 5의 인터페이스 장치에서 자동 모드를 선택한 경우의 화면,
도 10은 도 5의 인터페이스 장치에서 수동 모드를 선택한 경우의 화면,
도 11은 도 5의 인터페이스 장치에서 자동 모드와 수동 모드의 전환을 설명하기 위한 도면,
도 12는 안구 추적기를 이용하여 마우스를 대체할 수 있는 인터페이스 장치의 개념도,
도 13은 안구 추적기를 이용하여 마우스를 대체할 수 있는 인터페이스 장치를 게임기에 적용한 경우의 개념도,
도 14는 본 발명의 바람직한 실시예에 따른 컨텐츠 제어방법의 흐름도이다.
<도면의 주요부분에 대한 부호의 설명>
100, 300, 400, 500 - 인터페이스 장치
110, 310, 410, 520 - 디스플레이부
120, 220, 320, 420 - 작동부

Claims (16)

  1. 오브젝트(object)의 동작을 원격제어하기 위한 인터페이스 장치에 있어서,
    상기 오브젝트에 구비된 카메라로 획득한 영상을 디스플레이하는 디스플레이부; 및
    상기 카메라의 이동, 회전, 줌인(zoom-in) 및 줌아웃(zoom-out)을 포함한 동작을 수행하도록 하는 작동부를 포함하는 것을 특징으로 하는 인터페이스 장치.
  2. 제1항에 있어서,
    상기 작동부는 버튼 형태로 구현되는 것을 특징으로 하는 인터페이스 장치.
  3. 제1항에 있어서,
    상기 작동부는 터치 패드 형태로 구현되는 것을 특징으로 하는 인터페이스 장치.
  4. 제3항에 있어서,
    상기 작동부는 회전하는 원형 터치 패드를 구비하며, 상기 원형 터치 패드는 좌회전 또는 우회전을 통해 각각 상기 카메라의 좌회전 또는 우회전을 제어하는 것을 특징으로 하는 인터페이스 장치.
  5. 제1항에 있어서,
    상기 작동부는 상기 디스플레이부 상에 터치 스크린(touch screen) 형태로 구현되는 것을 특징으로 하는 인터페이스 장치.
  6. 제5항에 있어서,
    상기 작동부는 복수개의 터치를 인식하여 상기 복수개의 터치에 해당되는 기능을 동시에 수행하는 다중 터치 인식 스크린장치를 구비하는 것을 특징으로 하는 인터페이스 장치.
  7. 제1항에 있어서,
    안구 추적기(eyetracker)를 더 구비하여 눈의 동작 상태에 따라 상기 작동부를 작동하는 것을 특징으로 하는 인터페이스 장치.
  8. 제7항에 있어서,
    상기 작동부는 눈의 동작 상태에 따라 상기 작동부를 구성하는 메뉴를 선택함으로써 상기 오브젝트의 동작을 원격제어하는 수동 모드(manual mode)로 동작하는 것을 특징으로 하는 인터페이스 장치.
  9. 제8항에 있어서,
    상기 메뉴 선택은 안구의 초점과 연동되는 포인터를 원하는 메뉴상으로 이동 시킨 후 눈을 깜박임으로써 수행되는 것을 특징으로 하는 인터페이스 장치.
  10. 제7항에 있어서,
    상기 작동부는 상기 카메라의 이동, 회전, 줌인, 줌아웃 중 적어도 어느 두 가지를 동시에 수행함으로써 상기 오브젝트의 동작을 원격제어하는 자동 모드(auto mode)로 동작하는 것을 특징으로 하는 인터페이스 장치.
  11. 제10항에 있어서,
    상기 회전은 중력 센서로 고개의 각도를 측정하여 상기 각도만큼 상기 카메라를 회전시킴으로써 수행되고, 상기 이동은 안구의 초점이 움직이는 방향에 따라 상기 카메라를 이동시킴으로써 수행되며, 상기 줌인은 응시시간에 비례하여 수행되는 것을 특징으로 하는 인터페이스 장치.
  12. 사용자가 원하는 동작을 제어하기 위한 인터페이스 장치에 있어서,
    사용자의 안구의 초점과 눈깜박임을 감지하여 포인터(pointer)를 연동시키는 안구 추적부(eyetracker); 및
    상기 포인터와, 상기 포인터에 의해 수행하고자 하는 컨텐츠를 디스플레이하는 디스플레이부
    를 포함하는 것을 특징으로 하는 인터페이스 장치.
  13. 제12항에 있어서,
    상기 포인터가 상기 컨텐츠의 특정 메뉴상으로 이동하면 상기 메뉴의 색 변경 또는 색 반전이 수행되고, 상기 메뉴에 대한 사용자의 응시시간이 임계값을 넘으면 상기 메뉴의 리스트가 정렬되며, 상기 리스트 중 원하는 리스트에서 상기 눈깜박임이 수행되면 해당 리스트가 선택되는 것을 특징으로 하는 인터페이스 장치.
  14. 제12항에 있어서,
    상기 포인터가 상기 디스플레이부에 나타난 특정 물체상으로 이동한 후 상기 눈깜박임이 수행되면 상기 물체가 선택되고, 상기 안구의 초점이 이동함에 따라 상기 포인터가 함께 이동하며, 상기 포인터가 이동된 목적 위치에서 상기 눈깜박임이 수행되면 상기 물체가 상기 목적 위치로 이동하는 것을 특징으로 하는 인터페이스 장치.
  15. 제12항 내지 제14항 중 어느 한 항에 따른 인터페이스 장치를 이용하여 상기 디스플레이 상의 복수의 물체를 제어하거나 이동하는 것을 특징으로 하는 게임기.
  16. (a) 안구 추적(eyetracking)을 통해 사용자의 안구 초점을 인식하는 단계;
    (b) 상기 안구 초점의 위치에 부합하도록 디스플레이 상에 포인터를 표시하는 단계; 및
    (c) 상기 포인터가 상기 디스플레이 상에 나타난 특정 물체상으로 이동한 후 눈깜박임이 수행되면 상기 물체가 선택되고, 상기 안구의 초점이 이동함에 따라 상기 포인터가 함께 이동하며, 상기 포인터가 이동된 목적 위치에서 눈깜박임이 수행되면 상기 물체가 상기 목적 위치로 이동하는 단계를 포함하는 것을 특징으로 하는 컨텐츠 제어방법.
KR1020080011668A 2008-02-05 2008-02-05 인터페이스 장치와 이를 이용한 게임기 및 컨텐츠 제어방법 KR20090085821A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080011668A KR20090085821A (ko) 2008-02-05 2008-02-05 인터페이스 장치와 이를 이용한 게임기 및 컨텐츠 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080011668A KR20090085821A (ko) 2008-02-05 2008-02-05 인터페이스 장치와 이를 이용한 게임기 및 컨텐츠 제어방법

Publications (1)

Publication Number Publication Date
KR20090085821A true KR20090085821A (ko) 2009-08-10

Family

ID=41205641

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080011668A KR20090085821A (ko) 2008-02-05 2008-02-05 인터페이스 장치와 이를 이용한 게임기 및 컨텐츠 제어방법

Country Status (1)

Country Link
KR (1) KR20090085821A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101321444B1 (ko) * 2013-08-06 2013-10-23 주식회사 센텍 Ｃｃｔｖ 모니터링 시스템
WO2015038138A1 (en) * 2013-09-13 2015-03-19 Intel Corporation Motion data based focus strength metric to facilitate image processing
WO2018074821A1 (ko) * 2016-10-19 2018-04-26 (주)잼투고 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치 및 컴퓨터 구현 방법
CN116068945A (zh) * 2023-03-07 2023-05-05 鼎擎科技有限公司 一种楼宇智能设备控制方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101321444B1 (ko) * 2013-08-06 2013-10-23 주식회사 센텍 Ｃｃｔｖ 모니터링 시스템
WO2015038138A1 (en) * 2013-09-13 2015-03-19 Intel Corporation Motion data based focus strength metric to facilitate image processing
WO2018074821A1 (ko) * 2016-10-19 2018-04-26 (주)잼투고 터치 유저 인터페이스를 이용한 카메라의 이동경로와 이동시간의 동기화를 위한 사용자 단말장치 및 컴퓨터 구현 방법
CN116068945A (zh) * 2023-03-07 2023-05-05 鼎擎科技有限公司 一种楼宇智能设备控制方法及系统

Similar Documents

Publication Publication Date Title
US11112856B2 (en) Transition between virtual and augmented reality
US11983326B2 (en) Hand gesture input for wearable system
CN107533373B (zh) 虚拟现实中经由手与对象的场境敏感碰撞的输入
CN109891368B (zh) 活动对象在增强和/或虚拟现实环境中的切换
US11623142B2 (en) Data processing method and mobile terminal
KR101620777B1 (ko) 증강된 가상 터치패드 및 터치스크린
US20170293351A1 (en) Head mounted display linked to a touch sensitive input device
CN106843498B (zh) 基于虚拟现实的动态界面交互方法及装置
WO2016097841A2 (en) Methods and apparatus for high intuitive human-computer interface and human centric wearable &#34;hyper&#34; user interface that could be cross-platform / cross-device and possibly with local feel-able/tangible feedback
US20190272040A1 (en) Manipulation determination apparatus, manipulation determination method, and, program
CN108027705A (zh) 用于按钮/键和“手指书写”混合型输入的装置和方法以及基于手的低外廓/可变几何形状控制器
JP2007506165A (ja) バーチャルリアリティ・グラフィックシステムの機能選択による制御のための三次元空間ユーザインタフェース
KR20090085821A (ko) 인터페이스 장치와 이를 이용한 게임기 및 컨텐츠 제어방법
Putra et al. Navigating through Google Maps using an eye-gaze interface system
CN110888529B (zh) 虚拟现实场景控制方法、虚拟现实设备及其控制装置
US20240185516A1 (en) A Method for Integrated Gaze Interaction with a Virtual Environment, a Data Processing System, and Computer Program
WO2023181549A1 (ja) 制御装置、制御方法、プログラム
JPH03256112A (ja) 制御処理装置
Gorodnichy et al. Working with computer hands-free using Nouse perceptual vision interface
Babic Enable Spatial Interaction for Distant Displays for Everyone
JP2024048680A (ja) 制御装置、制御方法、プログラム
Yang et al. An intuitive human-computer interface for large display virtual reality applications
Park et al. 3D Gesture-based view manipulator for large scale entity model review
CN116909388A (zh) 一种构建人机交互操控线的方法、存储介质及电子设备
JP2023143634A (ja) 制御装置、制御方法、プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application