KR20090032536A - 가상 상호작용 인터페이스를 갖는 디스플레이 장치 및 그동작 방법 - Google Patents

가상 상호작용 인터페이스를 갖는 디스플레이 장치 및 그동작 방법 Download PDF

Info

Publication number
KR20090032536A
KR20090032536A KR1020070097861A KR20070097861A KR20090032536A KR 20090032536 A KR20090032536 A KR 20090032536A KR 1020070097861 A KR1020070097861 A KR 1020070097861A KR 20070097861 A KR20070097861 A KR 20070097861A KR 20090032536 A KR20090032536 A KR 20090032536A
Authority
KR
South Korea
Prior art keywords
image
virtual screen
virtual
interface
recognizing
Prior art date
Application number
KR1020070097861A
Other languages
English (en)
Other versions
KR100934389B1 (ko
Inventor
고은진
원종호
배창석
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020070097861A priority Critical patent/KR100934389B1/ko
Publication of KR20090032536A publication Critical patent/KR20090032536A/ko
Application granted granted Critical
Publication of KR100934389B1 publication Critical patent/KR100934389B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 가상 상호작용 인터페이스를 갖는 디스플레이 장치 및 그 동작 방법에 관한 것으로, 이를 위한 본 발명은 위치 인식을 위한 마크 이미지가 부착된 영상 수단 및 디스플레이 수단을 이용하여 공간상에 가상 스크린을 디스플레이하고 손을 이용해 스크린을 가상 터치하여 사용자의 입력에 따라 자연스럽게 객체를 조작하도록 인터페이스한다. 따라서, 사용자의 일상생활 중에서도 일반적인 모바일 기기들을 추가의 장비나 복잡한 절차를 이용하지 않고서도 바로 제어할 수 있다.
가상, 상호작용, 인터페이스, 디스플레이, 마크 이미지

Description

가상 상호작용 인터페이스를 갖는 디스플레이 장치 및 그 동작 방법{A DISPLAY APPARATUS THAT HAS A VIRTUAL INTERACTION INTERFACE AND A METHOD FOR IMPLEMENTING THE INTERFACE}
본 발명은 가상 상호작용 인터페이스를 갖는 디스플레이 장치 및 그 동작 방법에 관한 것으로, 보다 상세하게는 증강 현실의 환경을 동적으로 소지할 수 있도록 사용자의 특정 부위(예컨대, 손이나 발 등)를 이용하여 모바일 장치와 상호작용 할 수 있는 디스플레이 장치 및 그 동작 방법에 관한 것이다.
본 발명은 정보통신부 및 정보통신연구진흥원의 IT신성장동력핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2006-S-032-02, 과제명: 퍼스널 Life Log기반 지능형 서비스 기술].
가상 객체라는 것을 우리 실생활에 추가함으로써 증강된 현실, 즉 우리의 생활을 더 풍부하게 해 준다.
이중 가상현실 시스템이 증강된 현실의 일 예이며, 이 가상현실 시스템을 도 입하게 됨으로써 사용자에게 현실 상황과 일치도가 높게 가상을 경험할 수 있다. 통상의 가상현실 시스템은 컴퓨터로 시뮬레이션 되는 가상 공간과, 현실 세계의 사용자, 그리고 둘 사이의 상호작용을 원활하게 지원하는 인터페이스 시스템으로 구성된다.
현재 산업계의 생산 시스템은 갈수록 짧아지는 제품의 수명 주기와 다양한 사용자의 요구를 충족시키기 위하여 다품종 소량 생산 체제를 도입하고 있다. 제품의 기획, 디자인, 설계, 생산, 마케팅, 그리고 사후 관리로 구성된 제품의 수명 주기(product lifecycle) 시스템에서의 효율을 높이기 위해, 생산 기업은 CAD(Computer Aided Design, 이하, CAD라 함) 등의 컴퓨터 시스템을 이용하여 설계작업 디지털화, 통합 동시 설계 및 공장 자동화 제어부를 연동하는 방법으로, 제품의 기획에서 시장까지 이르는 시간을 단축시키고 있다.
이와 같이, 현재 생산 과정에 도입된 컴퓨터 시스템은 문서와 수작업으로 관리되던 기존의 데이터를 디지털화시켜서 컴퓨터상의 시뮬레이션을 수행하는 방법으로 효율성을 높이고 있다.
상기한 바와 같이 증강된 현실이 적용되는 종래의 배경 기술은 특정 환경이 구축된 상황하에서만 사용할 수 있는 고유의 한계를 갖으며, 보통 증강현실을 사용하기 위해서는 상당히 많은 위치 인식을 위한 마크 이미지를 필요로 하거나 특정 테이블들, 또는 사용자의 몸에 불편하게 부착해야 하는 패치들을 필요로 하기 때문에 모바일 기기에 적용하기에는 여러 가지 제약이 따른다.
또한, 사용자와 모바일 기기간의 상호작용에 있어서 정확성, 편리함, 자연스러움 등이 필요한데 반해 사용자의 손 제스처 인식에는 다른 기기들과 직접 선이 연결되어 거추장스러운 장갑과 같은 구동장비들이 많이 사용되어 왔으며, 이러한 장비들은 정확도 향상에는 도움이 되었지만 편리하거나 자연스러운 상호작용을 방해하는 큰 요인으로 작용하게 되는 문제점이 있다.
이에, 본 발명의 기술적 과제는 상술한 문제점들을 해결하기 위해 안출한 것으로서, 위치 인식을 위한 마크 이미지가 부착된 영상 수단 및 디스플레이 수단을 이용하여 공간상에 가상 스크린을 디스플레이하고 손을 이용해 스크린을 가상 터치하여 사용자의 입력에 따라 자연스럽게 객체를 조작하도록 인터페이스할 수 있는 가상 상호작용 인터페이스를 갖는 디스플레이 장치 및 그 동작 방법을 제공한다.
본 발명의 일 관점에 따른 가상 상호작용 인터페이스를 갖는 디스플레이 장치는 위치 인식을 위한 마크 이미지가 부착되어 있는 영상 수단과, 마크 이미지를 인식하여 공간상에 가상 스크린을 출력하도록 인터페이스하는 디스플레이 처리부와, 사용자 특정 부위가 가상 스크린을 터치하는 움직임을 영상 수단을 통해 검출하는 영상 인터페이스 처리부와, 검출된 움직임에 따라 가상 스크린에 출력된 객체를 조작하도록 인터페이스하는 명령 인식부를 포함하는 것을 특징으로 한다.
본 발명의 다른 관점에 따른 가상 상호작용 인터페이스를 갖는 디스플레이 장치의 동작 방법은 마크 이미지를 인식하여 공간상에 가상 스크린을 출력하도록 인터페이스하는 단계와, 영상 수단을 통해 사용자 특정 부위가 가상 스크린을 터치하여 발생되는 움직임을 검출하는 단계와, 검출된 움직임에 따라 가상 스크린에 출력된 객체를 조작하도록 인터페이스하는 단계를 포함하는 것을 특징으로 한다.
본 발명은 위치 인식을 위한 마크 이미지가 부착된 영상 수단(105) 및 디스플레이 장치를 이용하여 공간상에 가상 스크린을 디스플레이하고 손을 이용해 스크린을 가상 터치하여 사용자의 입력에 따라 자연스럽게 객체를 조작하도록 인터페이스함으로써, 사용자의 일상생활 중에서도 일반적인 모바일 기기들을 추가의 장비나 복잡한 절차를 이용하지 않고서도 바로 제어할 수 있다.
또한, 본 발명은 일반 모바일 기기를 사용자에게 친숙한 환경으로 구성하면 사용자는 일상생활을 하면서도 자신의 컴퓨터의 환경을 그대로 제어할 수 있는 효과가 있다.
이하, 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 바람직한 일 실시예에 따른 가상 상호작용 인터페이스를 갖는 디스플레이 장치의 블록 구성도로서, 디스플레이 수단(101)과 가상 상호작용 인터페이스 수단(103)과 영상 수단(105)을 포함한다.
디스플레이 수단(101)은 공간상에 가상 스크린(1011)을 출력한다.
가상 상호작용 인터페이스 수단(103)은 마크 이미지(S1)를 인식하여 공간상에 가상 스크린(1011)을 출력하도록 인터페이스하고, 사용자 특정 부위(예컨대, 손이나 발 등)이 가상 스크린(1011)을 터치하여 발생되는 움직임을 영상 수단(105)을 통해 검출하며, 검출된 손의 움직임에 따라 객체를 조작하도록 인터페이스하는 블록으로서, 디스플레이 처리부(1031)와 영상 인터페이스 처리부(1033)와 명령 인식부(1035)를 구비한다.
디스플레이 처리부(1031)는 위치 인식을 위한 마크 이미지(S1)를 인식하여 가상 스크린(1011)을 출력하기 위한 블록으로서, 도 2a에 도시된 바와 같이 마크 인식부(1031a)와 행렬 계산부(1031b)와 객체 가시화부(1031c)를 갖는다.
마크 인식부(1031a)는 영상 수단(105)에 부착된 마크 이미지(S1)의 위치를 인식하여 행렬 계산부(1031b)에 제공한다.
행렬 계산부(1031b)는 마크 인식부(1031a)로부터 입력되는 마크 이미지(S1)의 위치를 기준으로 가상 스크린(1011)의 위치를 행렬 방식으로 계산(표현)하여 객체 가시화부(1031c)에 제공한다.
즉, 행렬 계산부(1031b)의 행렬 방식 계산(표현)은, 일 예로, 마크 이미지(S1)의 실세계 위치를 x,y,z라 하고, 가상 스크린(1011)의 위치를 x',y'z'라 할 경우, 두 좌표계간의 행렬 변환은 수학식 1
Figure 112007069985930-PAT00001
(여기서, Ms는 스케일(scale) 변환 행렬이고, Mr은 로테이트(rotate) 변환 행렬이며, Mt는 트랜스레이트(translate) 변환행렬이다.)
다시 말하여, 스케일(scale) 변환 행렬은 아래와 같이 표현되고,
Figure 112007069985930-PAT00002
그리고, 로테이트(rotate) 변환 행렬은 오일러(Euler)변환에 의하여 아래와 같이 표현되며,
Figure 112007069985930-PAT00003
축 회전
Figure 112007069985930-PAT00004
Figure 112007069985930-PAT00005
축 회전
Figure 112007069985930-PAT00006
Figure 112007069985930-PAT00007
축 회전
Figure 112007069985930-PAT00008
Figure 112007069985930-PAT00009
행렬
Figure 112007069985930-PAT00010
Figure 112007069985930-PAT00011
다음으로, 트랜스레이트(translate) 변환행렬은 아래와 같이 표현된다.
Figure 112007069985930-PAT00012
객체 가시화부(1031c)는 행렬 계산부(1031b)로부터 입력된 계산 위치에 가상 스크린을 출력하도록 인터페이스한다.
영상 인터페이스 처리부(1033)는 영상 수단(105)을 이용하여 사용자 손의 움직임을 검출하는 블록으로서, 도 2b에 도시된 바와 같이 영상 입력부(1033a)와 디스패리티 계산부(1033b)와 거리 측정부(1033c)를 갖는다.
영상 입력부(1033a)는 영상 수단(105)에 의해 촬상되는 사용자의 손 움직임을 영상으로 입력받아 디스패리티 계산부(1033b)에 제공한다.
디스패리티 계산부(1033b)는 영상 입력부(1033a)로부터 입력되는 사용자의 손 움직임 영상에서 각 불일치 상위를 계산하여 거리 측정부(1033c)에 제공한다.
즉, 디스패리티 계산부(1033b)의 각 불일치 상위 계산은 아래와 같다.
도 5를 참조하면, 영상 수단(105) 두 대를 이용 할 때 Ol과 Or은 왼쪽과 오른쪽 영상 수단이고, f는 초점 길이(focal length)이며, P는 피사체이며, Cl과 Cr은 각각의 영상 수단으로 들어온 영상의 중점이며, Pl과 Pr은 각 영상에 나타난 피사체의 위치로서, 이 피사체 위치를 검출하여 수학식 2
Figure 112007069985930-PAT00013
를 통해 각 불일치 상위를 계산한다.
거리 측정부(1033c)는 디스패리티 계산부(1033b)로부터 입력되는 상위 불일치를 이용하여 영상 수단(105)과 사용자 손의 거리를 측정한다.
즉, 거리 측정부(1033c)의 거리 측정은 아래와 같다.
P의 위치를 복원하기 위하여 P의 사상값인 Pl과 Pr을 이용하면, 수학식 3
Figure 112007069985930-PAT00014
Figure 112007069985930-PAT00015
Figure 112007069985930-PAT00016
Figure 112007069985930-PAT00017
(여기서, 과 은 도 5의 와 동일한 값이다.)
이 된다.
또한 두 대의 영상 수단(105)은 수학식 4
Figure 112007069985930-PAT00018
와 같은 상관관계를 갖으며, 이에 따라 거리값인 Z는 수학식 5
Figure 112007069985930-PAT00019
와 같이 되므로, 영상 수단(105)과 피사체 P와의 거리를 측정할 수 있다.
명령 인식부(1035)는 사용자 손의 움직임을 인식하여 여러 가지 명령을 인식하는 블록으로서, 도 2c에 도시된 바와 같이 선택 인식부(1035a) 및 실행 인식부(1035b)와 드래그 인식부(1035c)를 갖는다.
선택 인식부(1035a)는 단시간 동안 사용자 손에 의해 입력되는 선택된 영역을 인식하여 실행 인식부(1035b)에 제공한다.
실행 인식부(1035b)는 선택 인식부(1035a)로부터 입력되는 선택된 영역에 대하여 특정 객체를 실행한다.
드레그 인식부(1035c)는 장시간 동안 사용자 손에 의해 입력되는 선택된 객체를 인식하여 가상 스크린 상에서 움직이도록 명령한다.
영상 수단(105)은 위치 인식을 위한 마크 이미지(S1)가 부착되어 있으며, 사용자의 손 움직임을 촬상한 영상을 영상 인터페이스 처리부(1033)내 영상 입력부(1033a)에 제공한다.
따라서, 본 발명은 위치 인식을 위한 마크 이미지가 부착된 영상 수단(105) 및 디스플레이 장치를 이용하여 공간상에 가상 스크린을 디스플레이하고 손을 이용해 스크린을 가상 터치하여 사용자의 입력에 따라 자연스럽게 객체를 조작하도록 인터페이스함으로써, 사용자의 일상생활 중에서도 일반적인 모바일 기기들을 추가의 장비나 복잡한 절차를 이용하지 않고서도 바로 제어할 수 있다.
도 4는 본 발명의 바람직한 일 실시예에 따른 가상 상호작용 인터페이스를 갖는 디스플레이 장치의 동작 방법에 대하여 상세하게 설명한 흐름도이다.
먼저, 영상 수단(105)에 위치 인식을 위한 마크 이미지(S1)가 도 1에 도시된 바와 같이 부착되어 있다고 가정한다.
상술한 바와 같이 가정된 상태에서, 디스플레이 처리부(1031)내 마크 인식부(1031a)는 영상 수단(105)에 부착된 마크 이미지(S1)의 위치를 인식(S401)하여 행렬 계산부(1031b)에 제공한다.
그러면, 행렬 계산부(1031b)는 마크 인식부(1031a)로부터 입력되는 마크 이미지(S1)의 위치를 기준으로 가상 스크린(1011)의 위치를 상술한 행렬 방식으로 계산(S403)하여 객체 가시화부(1031c)에 제공한다.
객체 가시화부(1031c)는 행렬 계산부(1031b)로부터 입력된 계산 위치에 가상 스크린을 공간상인 디스플레이 수단(101)내에 출력(S405)하도록 인터페이스한다.
이때, 디스플레이 수단(101)내에 가상 스크린이 출력된 상태에서 사용자는 자신의 손을 이용하여 여러 가지 명령을 수행(S407)하고, 영상 수단(105)은 가상 스크린(1011)을 터치하는 사용자의 손 움직임을 촬상(S409)한 영상을 영상 인터페이스 처리부(1033)내 영상 입력부(1033a)에 제공한다.
그러면, 영상 인터페이스 처리부(1033)내 영상 입력부(1033a)는 영상 수단(105)에 의해 촬상되는 사용자의 손 움직임을 영상으로 입력(S411)받아 디스패리티 계산부(1033b)에 제공한다.
디스패리티 계산부(1033b)는 영상 입력부(1033a)로부터 입력되는 사용자의 손 움직임 영상에서 각 불일치 상위를 상술한 방식으로 계산(S413)하여 거리 측정부(1033c)에 제공한다. 거리 측정부(1033c)는 디스패리티 계산부(1033b)로부터 입 력되는 상위 불일치를 이용하여 상술한 거리 측정방식으로 영상 수단(105)과 사용자 손의 거리를 측정(S415)한다.
명령 인식부(1035)내 선택 인식부(1035a)는 단시간 동안 사용자 손에 의해 입력되는 선택된 영역을 인식(S417)하여 실행 인식부(1035b)에 제공하며, 실행 인식부(1035b)는 선택 인식부(1035a)로부터 입력되는 선택된 영역에 대하여 특정 객체를 실행(S419)한다.
그리고, 드레그 인식부(1035c)는 장시간 동안 사용자 손에 의해 입력되는 선택된 객체를 인식(S421)하여 가상 스크린 상에서 움직이도록 명령한다.
한편, 도 3은 특정 디스플레이 다바이스인 헤드 마운티드 디스플레이(Head Mounted Display, 이하, HMD라 함)(S2)에 본 발명을 적용시킨 구성도로서, 도 4에 도시된 디스플레이 장치의 동작 절차와 동일하게 수행된다.
따라서, 본 발명은 위치 인식을 위한 마크 이미지가 부착된 영상 수단(105) 및 디스플레이 장치를 이용하여 공간상에 가상 스크린을 디스플레이하고 손을 이용해 스크린을 가상 터치하여 사용자의 입력에 따라 자연스럽게 객체를 조작하도록 인터페이스함으로써, 일반 모바일 기기를 사용자에게 친숙한 환경으로 구성하면 사용자는 일상생활을 하면서도 자신의 컴퓨터의 환경을 그대로 제어할 수 있다.
한편, 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되지 않으며, 후술되는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 바람직한 실시예에 따른 가상 상호작용 인터페이스를 갖는 디스플레이 장치의 블록 구성도,
도 2a는 도 1에 도시된 디스플레이 처리부를 상세하게 도시한 블록 구성도,
도 2b는 도 1에 도시된 영상 인터페이스 처리부를 상세하게 도시한 블록 구성도,
도 2c는 도 1에 도시된 명령 인식부를 상세하게 도시한 블록 구성도,
도 3은 본 발명의 일 실시예에 따른 특정 디스플레이 다바이스인 HMD에 적용시킨 구성도,
도 4는 본 발명의 바람직한 일 실시예에 따른 가상 상호작용 인터페이스를 갖는 디스플레이 장치의 동작 방법에 대하여 상세하게 설명한 흐름도,
도 5는 본 발명에 따른 도 2b에 도시된 디스패리티 계산부의 각 불일치 상위 계산을 위한 예시도.
<도면의 주요부분에 대한 부호의 설명>
101 : 디스플레이 수단 1011 : 가상 스크린
103 : 가상 상호작용 인터페이스 수단 1031 : 디스플레이 처리부
1031a : 마크 인식부 1031b : 행렬 계산부
1031c : 객체 가시화부 1033 : 영상 인터페이스 처리부
1033a : 영상 입력부 1033b : 디스패리티 계산부
1033c : 거리 측정부 1035 : 명령 인식부
1035a : 선택 인식부 1035b : 실행 인식부
1035c : 드래그 인식부 105 : 영상 수단
S1 : 마크 이미지
S2 : HMD

Claims (9)

  1. 위치 인식을 위한 마크 이미지가 부착되어 있는 영상 수단과,
    상기 마크 이미지를 인식하여 공간상에 가상 스크린을 출력하도록 인터페이스하는 디스플레이 처리부와,
    상기 사용자 특정 부위가 가상 스크린을 터치하는 움직임을 상기 영상 수단을 통해 검출하는 영상 인터페이스 처리부와,
    상기 검출된 움직임에 따라 상기 가상 스크린에 출력된 객체를 조작하도록 인터페이스하는 명령 인식부
    를 포함하는 가상 상호작용 인터페이스를 갖는 디스플레이 장치.
  2. 제 1 항에 있어서,
    상기 디스플레이 처리부는,
    상기 마크 이미지의 위치를 인식하는 마크 인식부와,
    상기 인식된 마크 이미지의 위치를 기준으로 가상 스크린의 위치를 행렬 방식으로 계산하는 행렬 계산부와,
    상기 계산된 위치에 가상 스크린을 출력하도록 인터페이스하는 객체 가시화부
    를 포함하는 가상 상호작용 인터페이스를 갖는 디스플레이 장치.
  3. 제 1 항에 있어서,
    상기 영상 인터페이스 처리부는,
    상기 영상 수단에 의해 촬상되는 사용자 특정 부위의 움직임 영상을 입력하는 영상 입력부와,
    상기 움직임 영상에서 각 불일치 상위를 계산하는 디스패리티 계산부와,
    상기 계산된 상위 불일치를 이용하여 상기 영상 수단과 사용자 특정 부위간의 거리를 측정하는 거리 측정부
    를 포함하는 가상 상호작용 인터페이스를 갖는 디스플레이 장치.
  4. 제 1 항에 있어서,
    상기 명령 인식부는,
    상기 사용자 특정 부위의 입력을 인식하는 선택 인식부와,
    상기 인식된 사용자 특정 부위의 입력에 따라 객체를 실행하는 실행 인식부와,
    상기 실행된 객체를 움직일 수 있도록 인식하는 드레그 인식부
    를 포함하는 가상 상호작용 인터페이스를 갖는 디스플레이 장치.
  5. 제 4 항에 있어서,
    상기 사용자 특정 부위는, 사람의 손이나 발인 것을 특징으로 하는 가상 상호작용 인터페이스를 갖는 디스플레이 장치.
  6. 위치 인식을 위한 마크 이미지가 부착되어 있는 영상 수단을 구비하는 디스플레이 방법으로서,
    (a)상기 마크 이미지를 인식하여 공간상에 가상 스크린을 출력하도록 인터페이스하는 단계와,
    (b)상기 영상 수단을 통해 사용자 특정 부위가 상기 가상 스크린을 터치하여 발생되는 움직임을 검출하는 단계와,
    (c)상기 검출된 움직임에 따라 상기 가상 스크린에 출력된 객체를 조작하도록 인터페이스하는 단계
    를 포함하는 가상 상호작용 인터페이스를 갖는 디스플레이 방법.
  7. 제 6 항에 있어서,
    상기 (a)단계는,
    (a1)상기 마크 이미지의 위치를 인식하는 단계와,
    (a2)상기 인식된 마크 이미지의 위치를 기준으로 가상 스크린의 위치를 행렬 방식으로 계산하는 단계와,
    (a3)상기 계산된 위치에 가상 스크린을 출력하도록 인터페이스하는 단계
    를 포함하는 가상 상호작용 인터페이스를 갖는 디스플레이 방법.
  8. 제 6 항에 있어서,
    상기 (b)단계는,
    (b1)상기 영상 수단에 의해 촬상되는 사용자 특정 부위의 움직임 영상을 입력하는 단계와,
    (b2)상기 움직임 영상에서 각 불일치 상위를 계산하는 단계와,
    (b3)상기 계산된 상위 불일치를 이용하여 상기 영상 수단과 사용자 특정 부위간의 거리를 측정하는 단계
    를 포함하는 가상 상호작용 인터페이스를 갖는 디스플레이 방법.
  9. 제 6 항에 있어서,
    상기 (c)단계는,
    (c1)상기 사용자 특정 부위의 입력을 인식하는 단계와,
    (c2)상기 인식된 사용자 특정 부위의 입력에 따라 객체를 실행하는 단계와,
    (c3)상기 실행된 객체를 움직일 수 있도록 인식하는 단계
    를 포함하는 가상 상호작용 인터페이스를 갖는 디스플레이 방법.
KR1020070097861A 2007-09-28 2007-09-28 가상 상호작용 인터페이스를 갖는 디스플레이 장치 및 그동작 방법 KR100934389B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070097861A KR100934389B1 (ko) 2007-09-28 2007-09-28 가상 상호작용 인터페이스를 갖는 디스플레이 장치 및 그동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070097861A KR100934389B1 (ko) 2007-09-28 2007-09-28 가상 상호작용 인터페이스를 갖는 디스플레이 장치 및 그동작 방법

Publications (2)

Publication Number Publication Date
KR20090032536A true KR20090032536A (ko) 2009-04-01
KR100934389B1 KR100934389B1 (ko) 2009-12-30

Family

ID=40759338

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070097861A KR100934389B1 (ko) 2007-09-28 2007-09-28 가상 상호작용 인터페이스를 갖는 디스플레이 장치 및 그동작 방법

Country Status (1)

Country Link
KR (1) KR100934389B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100959516B1 (ko) * 2008-06-04 2010-05-27 텔코웨어 주식회사 영상인식을 이용한 공간지각 사용자 인터페이스 방법 및 그장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100959516B1 (ko) * 2008-06-04 2010-05-27 텔코웨어 주식회사 영상인식을 이용한 공간지각 사용자 인터페이스 방법 및 그장치

Also Published As

Publication number Publication date
KR100934389B1 (ko) 2009-12-30

Similar Documents

Publication Publication Date Title
JP6288372B2 (ja) インタフェース制御システム、インタフェース制御装置、インタフェース制御方法、及びプログラム
JP5167523B2 (ja) 操作入力装置および操作判定方法並びにプログラム
CN105765490B (zh) 用于用户界面控制的系统和技术
KR101302138B1 (ko) 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치 및 그 방법
Lu et al. Immersive manipulation of virtual objects through glove-based hand gesture interaction
CN110568929B (zh) 一种基于虚拟键盘的虚拟场景交互方法、装置和电子设备
WO2012071429A1 (en) User interface for medical image review workstation
JP2010267220A (ja) ウェアラブルコンピュータに用いるリング型インタフェース、インタフェース装置、およびインタフェース方法
KR20140068855A (ko) 공간 입력 장치를 위한 적응적 추적 시스템
KR20170009979A (ko) 터치 입력을 위한 방법 및 시스템
Matlani et al. Virtual mouse using hand gestures
CN111639531A (zh) 一种基于手势识别的医学模型交互可视化方法及系统
CN108027648A (zh) 一种可穿戴设备的手势输入方法及可穿戴设备
GB2517284A (en) Operation input device and input operation processing method
KR100934389B1 (ko) 가상 상호작용 인터페이스를 갖는 디스플레이 장치 및 그동작 방법
WO2021225044A1 (ja) 情報処理装置及びユーザの入力操作に基づく情報処理方法並びに該方法を実行するためのコンピュータプログラム
Grange et al. Tlib: A real-time computer vision library for hci applications
JP2015122124A (ja) 仮想マウスによるデータ入力機能を有する情報装置
Hartmann et al. A virtual touchscreen with depth recognition
US20230196725A1 (en) Image annotation system and method
TW202340926A (zh) 作業支援系統以及方法
Zhekova et al. Python script to recognize user gestures
Zhao A novel bare-handed manipulation technique for distant objects in virtual reality
KR101550805B1 (ko) 마우스 대체 인터페이싱 방법
JP5028676B2 (ja) グラフィカルユーザーインターフェースの操作／制御装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121129

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20131128

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20151216

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee