KR20140061860A - 시선 기반의 제어 장치 및 그것의 기기 제어 방법 - Google Patents

시선 기반의 제어 장치 및 그것의 기기 제어 방법 Download PDF

Info

Publication number
KR20140061860A
KR20140061860A KR1020120128990A KR20120128990A KR20140061860A KR 20140061860 A KR20140061860 A KR 20140061860A KR 1020120128990 A KR1020120128990 A KR 1020120128990A KR 20120128990 A KR20120128990 A KR 20120128990A KR 20140061860 A KR20140061860 A KR 20140061860A
Authority
KR
South Korea
Prior art keywords
image
coordinates
control
viewpoint
user
Prior art date
Application number
KR1020120128990A
Other languages
English (en)
Other versions
KR101878376B1 (ko
Inventor
안창근
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020120128990A priority Critical patent/KR101878376B1/ko
Priority to US14/018,302 priority patent/US9207761B2/en
Publication of KR20140061860A publication Critical patent/KR20140061860A/ko
Application granted granted Critical
Publication of KR101878376B1 publication Critical patent/KR101878376B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/373—Details of the operation on graphic patterns for modifying the size of the graphic pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 시점 기반 제어 장치에 관한 것이다. 본 발명의 시점 기반 제어 장치는 시점 기반 제어 장치는 제어 대상 기기를 사용자 시점에 따라 제어할 수 있다. 이때, 시점 기반 제어 장치는 사용자에게 디스플레이되는 영상의 크기 제어를 통해 제어 대상 기기를 제어함으로 보다 정밀하게 제어 대상 기기의 제어가 가능하다.

Description

시선 기반의 제어 장치 및 그것의 기기 제어 방법{CONTROL APPARATUS BASED ON EYES AND METHOD FOR CONTROLLING DEVICE THEREOF}
본 발명은 제어 시스템에 관한 것으로, 특히 사용자의 시선에 기반하여 기기를 정밀 제어하는 시선 기반의 제어 장치 및 그것의 기기 제어 방법에 관한 것이다.
초기에 시점을 감지하여 추적하는 시점 추적 기술은 장애인을 보조하기 위한 수단으로 이용되었으나, 현재 기업들이 제품의 사용성 조사 및 마케팅 분야에서 고객의 반응을 도출하기 위한 수단으로까지 활용되고 있다.
기술의 발전과 더불어 하드웨어는 점차 진화하고 있다. 이를 통해, 현재 시점 추적 기술을 적용할 수 있는 대상 기기들은 점차 증가하고 있다. 또한, 사용자의 시점을 검출하기 위한 기술 개발로 인해 시점 추적의 정밀도가 증가하고 있다.
하지만, 기존의 시점 추적 기술들은 사용성 조사, 선호도 조사, 시장 조사, 정신 의학, 심리학 등과 같이 사용자의 심리 분석의 용도로만 사용된다. 이로 인해, 기존의 시점 추적 기술은 범용 인터페이스 기술로 활용되기 어려웠다.
더불어, 기존의 시점 추적 기술들은 시점에 따라 텔레비전 등의 디스플레이 기기들의 마우스 커서 제어, 볼륨 조절, 채널 변경 등의 단순한 제어 기능만을 제공하였다. 이로 인해, 기존의 시점 추적 기술들은 다양한 형태의 기기들에 적용되지 못하였고, 특히, 다양한 형태의 기기들을 정밀하게 제어하기 어렵다는 문제점이 있었다.
본 발명의 목적은 사용자의 시선에 기반하여 기기를 정밀하게 제어하는 시선 기반의 제어 장치 및 그것의 기기 제어 방법을 제공함에 있다.
본 발명에 따른 시점 기반 제어 장치는 기기의 제어를 위한 기기 좌표가 동기화된 영상을 생성하는 영상 생성부, 입력되는 제어 신호에 따라 상기 영상의 생성 동작을 제어하고, 상기 제어 신호에 따라 상기 기기의 제어를 위한 기기 제어 신호를 상기 기기로 출력하는 기기 제어부, 상기 영상을 출력하는 영상 출력부, 상기 출력된 영상에 대응되는 사용자의 시점을 감지하고, 감지된 시점 좌표를 검출하는 시점 감지부, 상기 사용자 제어 명령을 입력받는 제어 명령 입력부, 및 상기 시점 좌표와 상기 기기 좌표의 매칭을 통해, 상기 매칭된 기기 좌표로의 상기 사용자 제어 명령에 대응되는 상기 제어 신호를 생성하는 좌표값 계산부를 포함하고, 상기 제어 신호는 상기 시점 좌표를 기준으로 상기 영상의 확대 동작과 축소 동작 중 하나의 동작을 제어하는 신호를 포함한다.
이 실시예에 있어서, 상기 영상 생성부는 입력된 영상 데이터에 기준 공간 좌표를 중심으로 공간 좌표를 적용하는 공간 좌표 적용부, 및 상기 영상 데이터의 공간 좌표와 상기 기기 제어를 위한 기기 좌표와 동기화를 통해 영상을 생성하는 좌표 동기부를 포함한다.
이 실시예에 있어서, 실제 영상의 촬영을 통해 상기 영상 데이터를 생성하는 카메라부를 더 포함한다.
이 실시예에 있어서, 상기 제어 신호는 상기 시점 좌표를 기준으로 상기 영상의 이동 동작을 제어하는 신호를 포함한다.
이 실시예에 있어서, 상기 영상 출력부는 평판 디스플레이와 헤드 마운티드 디스플레이 중 적어도 하나를 포함한다.
이 실시예에 있어서, 상기 영상의 확대 동작을 제어하는 제어 신호는 상기 시점 좌표를 기준으로 상기 영상의 확대 배율이 설정된 신호이다.
이 실시예에 있어서, 상기 기기 제어 신호는 상기 확대 배율에 따라 확대된 영상를 통해 사용자 명령 신호가 입력될 때, 상기 확대 배율에 따라 기기 제어의 정밀도가 변화된 신호이다.
본 발명의 시점 기반 제어 장치의 기기 제어 방법은 기기 좌표가 동기화된 영상을 생성하는 단계, 상기 영상으로부터 사용자의 시점의 감지를 통해 시점 좌표를 획득하는 단계, 상기 영상의 크기를 제어하기 위한 사용자 제어 명령이 입력되면, 상기 시점 좌표를 중심으로 상기 영상의 크기를 제어하는 단계, 상기 크기가 제어된 영상의 출력을 통해 사용자의 시점으로부터 시점 좌표를 획득하는 단계, 기기 제어를 위한 사용자 제어 명령이 입력되면, 상기 시점 좌표와 상기 기기 좌표의 매칭을 통해 기기 제어를 위한 기기 제어 신호를 생성하는 단계, 및 상기 생성된 기기 제어 신호를 제어를 위한 기기로 출력하는 단계를 포함한다.
이 실시예에 있어서, 상기 영상을 생성하는 단계는, 입력된 영상 데이터의 각 영역을 기준 공간 좌표를 중심으로 공간 좌표를 적용하는 단계, 및 상기 영상 데이터의 공간 좌표와 상기 기기 좌표와 동기화를 통해 영상을 생성하는 단계를 포함한다.
이 실시예에 있어서, 상기 입력된 영상 데이터는 카메라를 통해 실제 영상을 촬영한 영상 데이터이다.
이 실시예에 있어서, 상기 영상의 크기를 제어하기 위한 사용자 제어 명령은 상기 시점 좌표를 중심으로 영상을 확대 동작과 축소 동작 중 하나의 동작을 수행하기 위한 명령이다.
이 실시예에 있어서, 상기 영상의 크기를 제어하는 단계는 상기 시점 좌표를 기준으로 상기 영상의 크기 제어를 위해 설정된 확대 배율로 상기 영상을 확대 또는 축소하는 단계를 더 포함한다.
이 실시예에 있어서, 상기 기기 제어 신호는 상기 확대 배율에 따라 확대된 영상을 통해 사용자 명령 신호가 입력될 때, 상기 확대 배율에 따라 기기 제어의 정밀도가 변화된 신호이다.
이 실시예에 있어서, 상기 사용자 제어 명령이 상기 시점 좌표를 중심으로 상기 영상을 이동하는 이동 동작이면, 상기 이동 동작에 따라 상기 영상을 이동하는 단계를 더 포함한다.
본 발명의 시점 기반 제어 장치는 사용자 시점에 기반하여 기기를 제어하고, 시선 추적을 위해 사용자에게 제공되는 영상의 크기 제어를 통해 기기를 제어함에 따라 기기를 정밀 제어할 수 있다.
도 1은 본 발명의 실시예에 따른 제어 시스템을 도시한 도면,
도 2는 본 발명의 실시예에 따른 시점 기반 제어 장치를 도시한 도면,
도 3은 본 발명의 실시예에 따른 영상 생성부를 예시적으로 도시한 도면, 및
도 4는 본 발명의 실시예에 따른 시선 기반 제어 장치의 동작을 도시한 순서도이다.
이하, 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 모호하지 않도록 하기 위해 생략될 것이라는 것을 유의하여야 한다.
도 1은 본 발명의 실시예에 따른 제어 시스템을 도시한 도면이다.
도 1을 참조하면, 제어 시스템(10)은 제어 대상 기기(100)와 시점 기반 제어 장치(200)를 포함한다.
제어 대상 기기(100)는 시점 기반 제어 장치(200)의 제어에 따라 제어 동작한다. 제어 대상 기기(100)는 사용자의 시점에 따라 제어 가능한 다양한 기기들을 모두 포함한다. 일예로, 제어 대상 기기(100)는 모니터, 텔레비전 등의 디스플레이기기뿐만 아니라 방송용 카메라, 수술용 로봇, 해저 탐사 로봇, 화재 진압 로봇, 전쟁 로봇 등의 근거리 및 원거리 기기들 모두에 적용될 수 있다.
시점 기반 제어 장치(200)는 사용자 시점에 따라 제어 대상 기기(100)를 제어한다. 이를 위해, 시점 기반 제어 장치(200)는 사용자에게 시점 제어를 위한 영상을 제공하고, 해당 영상에 대한 사용자의 시점을 감지한다. 시점 기반 제어 장치(200)는 시점을 기준으로 확대 동작과 축소 동작을 통해 사용자 제어 명령에 따라 제어 대상 기기(100)를 정밀 제어할 수 있다. 또한, 시점 기반 제어 장치(200)는 제어 대상 기기(100)의 제어를 위한 영상을 사용자에게 제공하기 위해 시점을 기준으로 영상의 이동 동작을 수행할 수도 있다.
이를 통해, 본 발명의 시점 기반 제어 장치(200)는 사용자 시점에 따른 영상 확대 또는 축소 동작을 통해 크기가 제어된 영상을 이용함으로써 제어 대상 기기(100)의 제어 정밀도를 영상의 확대 배율만큼 향상시킬 수 있다. 여기서, 확대 배율은 '1'을 기준으로 '1'보다 큰 정수는 영상의 크기가 확대 되는 동작이고, '1'보다 작은 정수는 영상의 크기가 축소되는 동작을 나타낸다.
따라서, 시점 기반 제어 장치(200)는 사용자에게 제공되는 영상 크기 제어를 통해 기기를 보다 정밀하게 제어할 수 있다.
도 2는 본 발명의 실시예에 따른 시점 기반 제어 장치를 도시한 도면이다.
도 2를 참조하면, 시점 기반 제어 장치(200)는 영상 생성부(210), 영상 출력부(220), 시점 감지부(230), 제어 명령 입력부(240), 좌표값 계산부(250), 및 기기 제어부(260)를 포함한다.
영상 생성부(210)는 입력된 영상 데이터를 기준 공간 좌표를 중심으로 공간 좌표를 적용한다. 또한, 영상 생성부(210)는 공간 좌표가 적용된 영상 데이터를 기기 좌표의 동기화를 통해 사용자에게 제공할 영상을 생성한다. 영상 생성부(210)는 생성된 영상을 영상 출력부(220)로 제공한다.
영상 출력부(220)는 영상 생성부를 통해 제공된 영상을 사용자에게 출력한다. 이를 위해, 영상 출력부(220)는 영상을 디스플레이하기 위한 디스플레이부를 포함할 수 있다. 일예로, 영상 출력부(220)는 평판 디스플레이(plat pannel display)와 헤드 마운티드 디스플레이(head mounted display)를 포함할 수 있다.
여기서, 헤드 마운티드 디스플레이(head mounted display)로 구현된 영상 출력부(220)는 사용자 머리의 움직임 보정 동작을 수행하지 않아도 됨으로써, 사용자의 시점 추적의 복잡도를 감소시킬 수 있다.
영상 출력부(220)는 영상 내 기지 좌표와 사용자 시점 좌표의 매칭을 위해 영상을 좌표값 계산부(230)로 제공한다.
시점 감지부(230)는 영상 출력부의 영상 재생 영역(또는, 영상) 내에서 사용자의 시점을 감지한다. 시점 감지부(230)는 사용자의 시점 감지를 통해 영상 재생 영역 내에서 사용자의 시점 좌표를 검출할 수 있다. 시점 감지부(230)는 검출된 시점 좌표를 좌표값 계산부(250)로 출력한다.
제어 명령 입력부(240)는 사용자 제어 명령을 입력받는다. 예를 들어, 제어 명령 입력부(240)는 사용자 제어 명령을 음성을 통해 입력받기 위한 마이크를 포함하고, 사용자 제어 명령을 키입력을 통해 입력받기 위한 키패드, 터치패드, 버튼을 포함한다. 또한, 제어 명령 입력부(240)는 사용자 제어 명령을 터치펜이나 마우스 등을 통해 입력받을 수도 있다. 또한, 제어 명령 입력부(240)는 사용자의 동작을 감지하는 센서를 포함할 수 있다. 제어 명령 입력부(240)는 동작 감지 센서를 통해서 사용자의 눈의 깜빡임, 수신호, 발의 신호 등을 통해 사용자 제어 명령을 입력받을 수 있다.
한편, 제어 명령 입력부(240)에 입력된 사용자 제어 명령은 기기의 동작을 제어하기 위한 사용자 제어 명령과 사용자에게 제공되는 영상 생성 동작을 제어하기 위한 사용자 제어 명령을 포함한다. 이러한 사용자 제어 명령은 사용자 시점을 기준으로 사용자로부터 입력받은 명령이다.
제어 명령 입력부(240)는 사용자 제어 명령을 좌표값 계산부(250)로 출력한다.
좌표값 계산부(250)는 영상 내의 기기 좌표와 시점 좌표를 매칭한다. 이를 위해, 좌표값 계산부(250)는 영상 출력부(220)를 통해 기기 좌표가 적용된 영상을 제공받을 수 있다. 좌표값 계산부(250)는 시점 좌표에 대응되는 기기 좌표를 기준으로 제어 신호를 생성한다. 좌표값 계산부(250)는 생성된 제어 신호를 기기 제어부(260)로 출력한다.
기기 제어부(260)는 제어 신호에 따라 영상 생성부(210)의 동작을 제어하거나 제어 대상 기기(260)의 동작을 제어할 수 있다.
기기 제어부(260)는 영상의 확대, 축소, 및 이동(드래그) 등의 동작을 위한 제어 신호가 입력되면, 영상 생성부(230)에서 생성되는 영상을 사용자 시점 좌표를 기준으로 확대, 축소, 및 이동(드래그)하도록 제어하는 영상 제어 신호 생성한다. 기기 제어부(260)는 영상 생성부(230)로 영상 제어 신호를 출력할 수 있다.
또한, 기기 제어부(260)는 시점 좌표에 대응되는 기기 좌표로 해당 기기의 동작을 수행하도록 하는 기기 제어 신호를 생성한다. 기기 제어부(260)는 기기 제어 신호를 제어 대상 기기(100)로 출력한다.
시점 기반 제어 장치(200)가 사용자로부터 원거리에 위치할 때, 영상 생성부(210)와 기기 제어부(260) 중에서 일부는 제어 대상 기기(100)에 결합 또는 연결될 수 있다. 이때, 영상 생성부(210)와 기기 제어부(260)는 유선 또는 무선의 다양한 방식을 통해 신호를 송수신할 수 있다.
여기서, 영상 출력부(230)를 통해 출력되는 영상을 사용자 등에 의해 설정된 확대 배율로 크기가 제어된 영상에서 제어 명령 입력부(240)가 사용자 명령 신호를 입력받는다. 이때, 기기 제어부(260)에서 출력되는 기기 제어 신호는 크기가 제어된 영상을 기준으로 입력된 사용자 제어 명령에 근거함에 따라 기기 제어의 정밀도는 확대 배율에 상응하게 변화한다.
여기서, 확대 배율을 일예로, 2배라 가정하면, 영상을 통해 입력된 사용자 제어 명령으로부터 생성된 기기 제어 신호에 의해 제어 대상 기기(100)의 정밀도는 2배(최소 이동 구간과 제어 속도 등이 1/2로 감소)로 향상될 수 있다.
이를 통해, 본 발명의 시점 기반 제어 장치(200)는 제어 대상 기기(100)를 제어하는 정밀 제어할 수 있다.
다음으로, 본 발명의 시점 기반 제어 장치(200)가 방송용 카메라에 적용된 경우를 일예로 설명한다.
기기 제어부(260)에 의해 제어되는 제어 대상 기기는 방송용 카메라(카메라 및 카메라 제어 기기(카메라의 이동, 회전 등을 위한 카메라 받침대 등)를 포함)이 될 수 있다. 이 경우, 기기 제어 신호와 영상 제어 신호는 하나의 신호로 간주될 수 있다.
사용자(카메라 기술자)에게 기준점을 중심으로 방송용 카메라로부터 촬영된 영상 데이터는 영상 생성부(210)로 출력된다. 이때, 영상 생성부(210)는 기기 제어를 위한 좌표가 매핑된 영상을 생성한다.
영상 출력부(220)는 영상 생성부(210)에서 생성된 영상을 사용자에게 출력한다.
이때, 시점 감지부(230)는 사용자의 시점 감지를 통해 시점 좌표를 검출한다. 시점 감지부(230)는 사용자의 시점 이동에 따라 실시간으로 사용자 시점을 감지한다. 또한, 제어 명령 입력부(240)는 사용자의 시점을 기준으로 확대, 이동, 축소 등의 사용자 제어 명령을 입력받을 수 있다.
좌표값 계산부(250)는 시점 좌표와 영상의 기기 좌표와의 매칭을 통해 사용자 시점을 기준으로 방송용 카메라를 제어하기 위한 제어 신호를 생성한다.
기기 제어부(260)는 제어 신호에 따라 방송용 카메라의 동작을 제어할 수 있다. 이때, 기기 제어부(260)는 제어 신호에 따라 방송용 카메라의 동작을 제어한다. 기기 제어부(260)로 입력된 제어 신호에 의해 방송용 카메라에서 촬영된 영상의 확대 또는 축소 동작을 제어할 수 있다. 이때, 확대된 영상을 통해 사용자 명령이 입력되면, 기기 제어부(260)는 영상의 확대 배율에 따라 방송용 카메라의 제어 정밀도가 향상될 수 있다.
이를 통해, 시점 기반 제어 장치(200)는 방송용 카메라의 3차원적인 이동을 제어할 수 있다. 뿐만 아니라 시점 기반 제어 장치(200)는 영상의 확대 및 축소 동작을 제어함에 따라 방송용 카메라 제어의 정밀도를 향상시킬 수 있다. 이에 따라, 시점 기반 제어 장치는 방송용 카메라의 동작을 사용자 시점에 따라 정밀하게 제어할 수 있다.
이와 같이, 방송용 카메라를 제어하는 동작은 일예로 설명된 것으로 시점 기반 제어 장치(200)는 방송용 카메라 이외에도 다양한 분야와 다양한 기기들로 확장하여 적용될 수 있다.
도 3은 본 발명의 실시예에 따른 영상 생성부를 예시적으로 도시한 도면이다.
도 3을 참조하면, 영상 생성부(210)는 카메라부(211), 공간 좌표 적용부(212), 및 좌표 동기부(213)를 포함한다.
카메라부(211)는 주변 영상의 촬영을 통해 영상 데이터를 생성한다. 여기서, 카메라부(211)는 영상 생성부(210)에 선택적으로 포함될 수 있으며, 제어 대상 기기가 방송용 카메라 등일 경우에는 제어 대상 기기에 포함될 수 있다. 카메라부(211)는 영상 데이터를 공간 좌표 적용부(212)로 출력한다.
공간 좌표 적용부(212)는 영상 데이터에 미리 설정된 기준 공간 좌표를 중심으로 공간 좌표를 적용한다. 여기서, 공간 좌표는 실제 공간에 대한 좌표이다. 공간 좌표 적용부(212)는 공간 좌표가 적용된 영상 데이터를 기기 좌표 동기부(213)로 출력한다.
기기 좌표 동기부(213)는 이미지 데이터의 공간 좌표와 기기 좌표를 동기화한다. 여기서, 기기 좌표는 제어 대상 기기의 제어가 가능한 좌표이다. 기기 좌표 동기부(213)는 공간 좌표와 기기 좌표의 동기화를 통해 영상, 즉 디지털 영상을 생성한다. 기기 좌표 동기부(213)는 생성된 영상을 영상 출력부(220)로 출력한다.
카메라부(211), 공간 좌표 적용부(212), 및 좌표 동기부(213) 중 적어도 하나는 기기 제어부(260)를 통해 영상의 확대, 축소, 이동 등을 위한 영상 생성 동작 제어 신호를 수신할 수 있다. 영상 생성 동작 제어 신호를 통해 사용자에게 출력되는 영상의 크기 조절을 할 수 있고, 영상을 이동시킬 수 있다.
이를 통해, 사용자 제어 기기(100)는 사용자에게 정밀한 기기 제어가 가능한 영상을 제공한다.
도 4는 본 발명의 실시예에 따른 시점 기반 제어 장치의 동작을 도시한 순서도이다.
도 4를 참조하면, 영상 생성부(210)는 영상 데이터에 공간 좌표를 적용한다(S111단계). 이때, 영상 생성부(210)는 카메라를 포함하며, 영상 데이터 생성을 위해 제어 대상 기기의 주변 영상을 촬영할 수 있다.
영상 생성부(210)는 영상 데이터의 공간 좌표를 기기 데이터와 동기화를 통해 영상을 생성한다(S113단계). 영상 생성부(210)는 사용자에게 디스플레이될 영상을 영상 출력부(220)로 출력한다.
영상 출력부(220)는 영상을 출력, 즉 디스플레이한다(S115단계). 이때, 사용자는 출력된 영상을 응시한다.
이때, 시점 감지부(230)는 영상을 바라보는 사용자의 시점을 감지한다(S117단계). 이때, 시점 감지부(230)는 사용자의 시점을 실시간으로 감지한다.
제어 명령 입력부(240)는 사용자로부터의 사용자 제어 명령을 입력받는다(S119단계). 사용자 제어 명령은 기기의 정밀 제어를 위해 디스플레이되는 영상 생성 동작을 제어하는 명령 또는 기기의 동작을 제어하는 기기 제어 명령을 포함한다. 제어 명령 입력부(240)는 사용자 제어 명령을 좌표값 계산부(250)로 출력한다.
사용자 제어 명령이 입력되면, 시점 감지부(230)는 사용자 시점에 대응되는 시점 좌표를 검출한다(S121단계). 시점 감지부(230)는 검출된 시점 좌표를 좌표값 계산부(250)로 출력한다.
좌표값 계산부(250)는 영상 내 기기 좌표와 시점 좌표를 매칭한다(S123단계).
좌표값 계산부(250)는 사용자 제어 명령이 기기를 제어하는 명령인지 판단한다(S125단계).
S123단계의 판단결과, 기기를 제어하는 경우, 좌표값 계산부(250)는 시점에 대응되는 기기 좌표를 통해 기기 제어를 위한 제어 신호를 생성한다(S127단계). 이때, 좌표값 계산부(250)는 생성된 제어 신호를 기기 제어부(260)로 출력하고, 기기 제어부(260)는 좌표값 계산부의 제어 신호에 따라 기기 제어를 위한 기기 제어 신호를 생성한다.
기기 제어부(260)는 생성된 기기 제어 신호를 제어 대상 기기(100)로 출력한다(S129단계).
S123단계의 판단결과, 기기를 제어하지 않는(즉, 영상 생성 동작을 제어하는) 경우, 좌표값 계산부(250)는 시점 좌표를 기준으로 영상 생성 동작을 제어하기 위한 제어 신호를 생성한다(S131단계). 이때, 좌표값 계산부(250)는 생성된 제어 신호를 기기 제어부(260)로 출력한다.
기기 제어부(260)는 제어 신호에 따라 영상 생성 동작을 제어하기 위한 영상 생성 동작 제어 신호를 생성한다(S133단계). 기기 제어부(260)는 영상 생성 동작 제어 신호를 영상 생성부(210)로 출력한다. 영상 생성부(210)는 영상 생성 동작 제어 신호에 응답하여 영상의 확대, 축소, 및 이동 등의 동작을 수행할 수 있다. 특히, 영상 생성부(210)는 기기의 정밀 제어를 위해 확대 동작을 통해 시점 좌표를 기준으로 확대된 영상을 생성할 수 있다. 이와 같이, 확대된 영상을 통해 기기 제어 신호를 생성하면, 영상의 확대 배율에 대응되는 정밀도를 가지고 기기를 제어할 수 있다. 또한, 영상 생성부(210)는 사용자로부터 영상의 확대 또는 축소에 따른 확대 배율에 대한 정보를 추가적으로 제공받을 수 있다.
좌표값 계산부(250)는 현재 동작을 종료할 것인지 확인한다(S135단계).
S135단계의 확인 결과, 동작을 종료하지 않을 경우, S111단계로 진행한다. S111단계로의 진행을 통해 영상의 확대, 축소, 이동(드래그) 등을 통해 영상 크기 또는 위치가 제어된 영상을 통해 사용자 제어 명령을 입력받아, 보다 정밀한 기기의 제어가 가능하다.
S135단계의 확인 결과, 동작을 종료할 경우 종료 단계로 진행하여 동작을 종료한다. 여기서, 종료 동작의 확인은 제어 명령 입력부(240)를 통해 추가적인 명령이 일정 시간 동안 입력되지 않거나, 제어 명령 입력부(240)를 통해 종료 명령이 입력 등을 통해 확인할 수 있다.
이와 같이, 본 발명의 시점 기반 제어 장치(100)는 제어 대상 기기(200)를 사용자 시점에 따라 제어할 수 있다. 이때, 시점 기반 제어 장치(100)는 사용자에게 디스플레이되는 영상의 크기 제어를 통해 제어 대상 기기(200)를 제어함으로 보다 정밀하게 제어 대상 기기의 제어가 가능하다.
예를 들어, 시점 기반 제어 장치의 세부 구성 블록들은 가감될 수 있으며, 사안이 다른 경우에 여러가지 변화와 변형이 가능한 형태로 구성될 수 있다.
한편, 본 발명의 상세한 설명에서는 구체적인 실시 예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 상술한 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구범위뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의해 정해져야 한다.
10: 제어 시스템 100: 제어 대상 기기
200: 시점 기반 제어 장치 210: 영상 생성부
220: 영상 출력부 230: 시점 감지부
240: 제어 명령 입력부 250: 좌표값 계산부
260: 기기 제어부 211: 카메라부
212: 공간 좌표 적용부 213: 좌표 동기부

Claims (14)

  1. 기기의 제어를 위한 기기 좌표가 동기화된 영상을 생성하는 영상 생성부;
    입력되는 제어 신호에 따라 상기 영상의 생성 동작을 제어하고, 상기 제어 신호에 따라 상기 기기의 제어를 위한 기기 제어 신호를 상기 기기로 출력하는 기기 제어부;
    상기 영상을 출력하는 영상 출력부;
    상기 출력된 영상에 대응되는 사용자의 시점을 감지하고, 감지된 시점 좌표를 검출하는 시점 감지부;
    상기 사용자 제어 명령을 입력받는 제어 명령 입력부; 및
    상기 시점 좌표와 상기 기기 좌표의 매칭을 통해, 상기 매칭된 기기 좌표로의 상기 사용자 제어 명령에 대응되는 상기 제어 신호를 생성하는 좌표값 계산부를 포함하고,
    상기 제어 신호는 상기 시점 좌표를 기준으로 상기 영상의 확대 동작과 축소 동작 중 하나의 동작을 제어하는 신호를 포함하는 시점 기반 제어 장치.
  2. 제 1 항에 있어서,
    상기 영상 생성부는
    입력된 영상 데이터에 기준 공간 좌표를 중심으로 공간 좌표를 적용하는 공간 좌표 적용부; 및
    상기 영상 데이터의 공간 좌표와 상기 기기 제어를 위한 기기 좌표와 동기화를 통해 영상을 생성하는 좌표 동기부를 포함하는 시점 기반 제어 장치.
  3. 제 2 항에 있어서,
    실제 영상의 촬영을 통해 상기 영상 데이터를 생성하는 카메라부를 더 포함하는 시점 기반 제어 장치.
  4. 제 1 항에 있어서,
    상기 제어 신호는 상기 시점 좌표를 기준으로 상기 영상의 이동 동작을 제어하는 신호를 포함하는 시점 기반 제어 장치.
  5. 제 1 항에 있어서,
    상기 영상 출력부는 평판 디스플레이와 헤드 마운티드 디스플레이 중 적어도 하나를 포함하는 시점 기반 제어 장치.
  6. 제 1 항에 있어서,
    상기 영상의 확대 동작을 제어하는 제어 신호는 상기 시점 좌표를 기준으로 상기 영상의 확대 배율이 설정된 신호인 시점 기반 제어 장치.
  7. 제 6 항에 있어서,
    상기 기기 제어 신호는 상기 확대 배율에 따라 확대된 영상를 통해 사용자 명령 신호가 입력될 때, 상기 확대 배율에 따라 기기 제어의 정밀도가 변화된 신호인 시점 기반 제어 장치.
  8. 시점 기반 제어 장치의 기기 제어 방법에 있어서,
    기기 좌표가 동기화된 영상을 생성하는 단계;
    상기 영상으로부터 사용자의 시점의 감지를 통해 시점 좌표를 획득하는 단계;
    상기 영상의 크기를 제어하기 위한 사용자 제어 명령이 입력되면, 상기 시점 좌표를 중심으로 상기 영상의 크기를 제어하는 단계;
    상기 크기가 제어된 영상의 출력을 통해 사용자의 시점으로부터 시점 좌표를 획득하는 단계;
    기기 제어를 위한 사용자 제어 명령이 입력되면, 상기 시점 좌표와 상기 기기 좌표의 매칭을 통해 기기 제어를 위한 기기 제어 신호를 생성하는 단계; 및
    상기 생성된 기기 제어 신호를 제어를 위한 기기로 출력하는 단계를 포함하는 기기 제어 방법.
  9. 제 8 항에 있어서,
    상기 영상을 생성하는 단계는
    입력된 영상 데이터의 각 영역을 기준 공간 좌표를 중심으로 공간 좌표를 적용하는 단계; 및
    상기 영상 데이터의 공간 좌표와 상기 기기 좌표와 동기화를 통해 영상을 생성하는 단계를 포함하는 기기 제어 방법.
  10. 제 9 항에 있어서,
    상기 입력된 영상 데이터는 카메라를 통해 실제 영상을 촬영한 영상 데이터인 기기 제어 방법.
  11. 제 8 항에 있어서,
    상기 영상의 크기를 제어하기 위한 사용자 제어 명령은 상기 시점 좌표를 중심으로 영상을 확대 동작과 축소 동작 중 하나의 동작을 수행하기 위한 명령인 기기 제어 방법.
  12. 제 11 항에 있어서,
    상기 영상의 크기를 제어하는 단계는
    상기 시점 좌표를 기준으로 상기 영상의 크기 제어를 위해 설정된 확대 배율로 상기 영상을 확대 또는 축소하는 단계를 더 포함하는 기기 제어 방법.
  13. 제 12 항에 있어서,
    상기 기기 제어 신호는 상기 확대 배율에 따라 확대된 영상을 통해 사용자 명령 신호가 입력될 때, 상기 확대 배율에 따라 기기 제어의 정밀도가 변화된 신호인 기기 제어 방법.
  14. 제 8 항에 있어서,
    상기 사용자 제어 명령이 상기 시점 좌표를 중심으로 상기 영상을 이동하는 이동 동작이면, 상기 이동 동작에 따라 상기 영상을 이동하는 단계를 더 포함하는 기기 제어 방법.
KR1020120128990A 2012-11-14 2012-11-14 시선 기반의 제어 장치 및 그것의 기기 제어 방법 KR101878376B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120128990A KR101878376B1 (ko) 2012-11-14 2012-11-14 시선 기반의 제어 장치 및 그것의 기기 제어 방법
US14/018,302 US9207761B2 (en) 2012-11-14 2013-09-04 Control apparatus based on eyes and method for controlling device thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120128990A KR101878376B1 (ko) 2012-11-14 2012-11-14 시선 기반의 제어 장치 및 그것의 기기 제어 방법

Publications (2)

Publication Number Publication Date
KR20140061860A true KR20140061860A (ko) 2014-05-22
KR101878376B1 KR101878376B1 (ko) 2018-07-16

Family

ID=50681217

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120128990A KR101878376B1 (ko) 2012-11-14 2012-11-14 시선 기반의 제어 장치 및 그것의 기기 제어 방법

Country Status (2)

Country Link
US (1) US9207761B2 (ko)
KR (1) KR101878376B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017094979A1 (ko) * 2015-12-04 2017-06-08 심플렉스 인터넷 주식회사 아이 트랙킹을 기반으로 하는 영상 전송 방법, 장치 및 시스템
WO2017094978A1 (ko) * 2015-12-04 2017-06-08 심플렉스 인터넷 주식회사 다수 개의 카메라를 기반으로 하는 영상 전송 방법, 장치 및 시스템

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10229656B2 (en) * 2014-06-18 2019-03-12 Sony Corporation Image processing apparatus and image processing method to display full-size image of an object
WO2016003100A1 (en) * 2014-06-30 2016-01-07 Alticast Corporation Method for displaying information and displaying device thereof
JP6411284B2 (ja) * 2015-05-22 2018-10-24 オリンパス株式会社 医療システムおよび医療システムにおける表示制御方法
US10045825B2 (en) 2015-09-25 2018-08-14 Karl Storz Imaging, Inc. Partial facial recognition and gaze detection for a medical system
IL252056A (en) 2017-05-01 2018-04-30 Elbit Systems Ltd Head-up display device, system and method
CN107070760A (zh) * 2017-05-23 2017-08-18 广东海洋大学 一种远程多人监控智能家居系统及实现方法
JP6724109B2 (ja) * 2018-10-31 2020-07-15 株式会社ドワンゴ 情報表示端末、情報送信方法、コンピュータプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009037434A (ja) * 2007-08-02 2009-02-19 Tokyo Metropolitan Univ 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム
KR20110137453A (ko) * 2010-06-17 2011-12-23 한국전자통신연구원 시선 추적을 이용한 좌표 입력 장치 및 그 방법
JP2012034083A (ja) * 2010-07-29 2012-02-16 Canon Inc 映像処理装置およびその制御方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5839000A (en) * 1997-11-10 1998-11-17 Sharp Laboratories Of America, Inc. Automatic zoom magnification control using detection of eyelid condition
US6758563B2 (en) * 1999-12-30 2004-07-06 Nokia Corporation Eye-gaze tracking
DE102004046617A1 (de) * 2004-09-22 2006-04-06 Eldith Gmbh Vorrichtung und Verfahren zur berührungslosen Bestimmung der Blickrichtung
TW200838292A (en) 2007-03-14 2008-09-16 Ming-Yan Lin Visual space point recognition method
KR101369775B1 (ko) 2009-08-19 2014-03-06 한국전자통신연구원 사용자 응시점 빔 주사 장치 및 동작 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009037434A (ja) * 2007-08-02 2009-02-19 Tokyo Metropolitan Univ 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム
KR20110137453A (ko) * 2010-06-17 2011-12-23 한국전자통신연구원 시선 추적을 이용한 좌표 입력 장치 및 그 방법
JP2012034083A (ja) * 2010-07-29 2012-02-16 Canon Inc 映像処理装置およびその制御方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017094979A1 (ko) * 2015-12-04 2017-06-08 심플렉스 인터넷 주식회사 아이 트랙킹을 기반으로 하는 영상 전송 방법, 장치 및 시스템
WO2017094978A1 (ko) * 2015-12-04 2017-06-08 심플렉스 인터넷 주식회사 다수 개의 카메라를 기반으로 하는 영상 전송 방법, 장치 및 시스템

Also Published As

Publication number Publication date
US9207761B2 (en) 2015-12-08
US20140132511A1 (en) 2014-05-15
KR101878376B1 (ko) 2018-07-16

Similar Documents

Publication Publication Date Title
KR101878376B1 (ko) 시선 기반의 제어 장치 및 그것의 기기 제어 방법
US10600248B2 (en) Wearable augmented reality devices with object detection and tracking
JP6445515B2 (ja) 少なくとも２つの制御オブジェクトを用いて行われるジェスチャの検出
JP2023101560A (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
US9495068B2 (en) Three-dimensional user interface apparatus and three-dimensional operation method
CN106951074B (zh) 一种实现虚拟触摸校准的方法以及系统
US20130154913A1 (en) Systems and methods for a gaze and gesture interface
KR101563312B1 (ko) 시선 기반 교육 콘텐츠 실행 시스템
CN110647237A (zh) 在人工现实环境中基于手势的内容共享
JP2019083033A (ja) 仮想現実環境においてナビゲートする方法、システム、および装置
US20150277555A1 (en) Three-dimensional user interface apparatus and three-dimensional operation method
US10855925B2 (en) Information processing device, information processing method, and program
EP3358836B1 (en) Information processing system and information processing method
CN104270623B (zh) 一种显示方法及电子设备
US11625858B2 (en) Video synthesis device, video synthesis method and recording medium
CN112817453A (zh) 虚拟现实设备和虚拟现实场景中物体的视线跟随方法
US11262588B2 (en) Spectator view of virtual and physical objects
US20170185147A1 (en) A method and apparatus for displaying a virtual object in three-dimensional (3d) space
KR20150040580A (ko) 가상 공간 멀티 터치 인터랙션 장치 및 방법
WO2019142560A1 (ja) 視線を誘導する情報処理装置
WO2020080107A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6751777B2 (ja) コンピュータプログラム、表示装置、頭部装着型表示装置
US12032169B2 (en) Spectator view of virtual and physical objects
CN109144234A (zh) 具有外置追踪及内置追踪的虚拟现实系统及其控制方法
JP2021163283A (ja) 較正方法、位置検出システムおよび相対位置の決定方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant