KR20090060698A - 가상 멀티 터치 스크린을 이용한 인터페이스 장치 및 그제어 방법 - Google Patents

가상 멀티 터치 스크린을 이용한 인터페이스 장치 및 그제어 방법 Download PDF

Info

Publication number
KR20090060698A
KR20090060698A KR1020070127613A KR20070127613A KR20090060698A KR 20090060698 A KR20090060698 A KR 20090060698A KR 1020070127613 A KR1020070127613 A KR 1020070127613A KR 20070127613 A KR20070127613 A KR 20070127613A KR 20090060698 A KR20090060698 A KR 20090060698A
Authority
KR
South Korea
Prior art keywords
image
touch screen
control
virtual multi
virtual
Prior art date
Application number
KR1020070127613A
Other languages
English (en)
Inventor
원종호
고은진
배창석
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020070127613A priority Critical patent/KR20090060698A/ko
Publication of KR20090060698A publication Critical patent/KR20090060698A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers

Abstract

본 발명은 가상 멀티 터치 스크린을 이용한 인터페이스 장치 및 그 제어 방법에 관한 것으로, 본 발명은, 멀티 터치 패드와 같은 인터페이스 장치를 통해 제어 명령을 실행하는 종래 방법과는 달리, 가상 멀티 터치 스크린을 제공하는 디스플레이 처리 수단과, 가상 멀티 터치 스크린을 통해 동작 이벤트가 발생할 경우 해당 영상을 촬영하여 사용자 신체 일부를 분리한 후, 그에 대응하는 제어 동작을 인식하는 영상 인터페이스 처리 수단과, 인식된 제어 동작을 구별하여 그에 대응하는 제어 명령으로 변환한 후, 제어 명령에 따라 동작 제어를 수행하는 제어 명령 인식 수단을 포함하는 가상 멀티 터치 스크린을 이용한 인터페이스 장치를 구현함으로써, 가상 멀티 터치 스크린을 이용하여 사용자 입력에 따른 동작 제어를 효과적으로 수행할 수 있는 것이다.
가상 멀티 터치 스크린, 제어 동작, 제어 명령

Description

가상 멀티 터치 스크린을 이용한 인터페이스 장치 및 그 제어 방법{INTERFACE APPARATUS AND ITS CONTROL METHOD USING BY VIRTUAL MULTI TOUCH SCREEN}
본 발명은 가상 멀티 터치 스크린을 이용한 인터페이스 장치에 관한 것으로, 더욱 상세하게는 가상 멀티 터치 스크린을 통해 입력된 영상에 대응하는 제어 동작을 인식하여 그에 대한 제어 명령을 실행하는데 적합한 가상 멀티 터치 스크린을 이용한 인터페이스 장치 및 그 제어 방법에 관한 것이다.
본 발명은 정보통신부 및 정보통신연구진흥원의 IT신성장동력핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2006-S-032-02, 과제명: 퍼스널 Life Log 기반 지능형 서비스 기술 개발].
잘 알려진 바와 같이, 일반적인 멀티 터치 패드의 경우 평면으로 된 실제 터치 표면을 가지고 있으며 적어도 하나의 표면이 바닥이나 벽으로부터 수직으로 이격되어 연장되는 모양을 갖거나 거추장스러운 특정 테이블 등의 디바이스를 이용하여 구현된다.
한편, 이와 관련하여 종래에 제안된 기술에 대해 설명하면, 2004년 출원된 제7006986호 "멀티포인트 터치 패드(코니클리케 필립스 일렉트로닉스 엔.브이. 출원)"에서는 터치 패드 상의 정확하고 정밀한 터치를 보장하는 위치 및 터치압력을 측정하기 위한 스트레인 게이지들 또는 유사한 측정 디바이스들을 사용하는 멀티포인트 터치 패드 디바이스에 관한 것으로, 동시의 다중 터치들의 감지뿐만 아니라 각각의 터치에 의해 레지스터된 압력 양의 정확하고 정밀한 기록을 가능하게 하는 기술 사상에 대해 기재하고 있습니다.
또한, 2005년 출원된 제70850호 "원-핸드-클립 방식으로 다중 포인팅 조작개념 구현 및 그 방법(이정훈 출원)"에서는 일정한 장소에 놓고 써야할 무선마우스나 고정적으로 장착된 카메라 앵글 범위에서 포인팅되는 마우스보다 자유롭고 이동성이 용이하며, 한손으로 3포인트 이상의 다중 포인팅이 가능한 마우스 장치 및 그 방법에 대한 기술 사상에 대해 기재하고 있습니다.
그리고, 2005년 출원된 제37890호 "통신을 이용한 인터넷 서비스와 핸드폰 문자 서비스를 제공하는 멀티 터치 스크린 장치(유쓰리 주식회사 출원)"에서는 공중 전화 부스를 기반으로 통신을 이용한 인터넷 접속으로 연동되는 터치 스크린 LCD를 이용해 신문, 주변 약도, 시청 도는 구청 홈페이지, 날씨, 각종 무료 컨텐츠, 기타 공공 정보 등을 제공하고, 단말기 설치 주변의 일반 상점들의 할인 쿠폰을 SMS를 이용하여 이용객의 핸드폰으로 전송하는 장치에 대한 기술 사상에 대해 기재하고 있습니다.
하지만, 종래에는 사용자가 입력할 수 있는 공간이 아주 제한적이라던가 입력하면서 다른 2차 동작을 하지 못하는 경우가 대부분이며, 여러 전자장비에 이동성이 강조되는 요즘, 사용자 인터페이스 환경을 동적으로 소지할 수 없다는 것은 큰 단점일 수밖에 없다. 그러나 멀티 터치 스크린을 가상이 아닌 실제로 구현하여 사용하는 경우에는 디스플레이 장치의 규격상 이동성에 제약을 받을 수밖에 없다.
게다가 기존의 멀티 터치 스크린의 경우 디스플레이 장치가 실제의 평면이기 때문에 손가락 등의 신체 일부분으로 스크린을 통과시키는 인터페이스 등이 불가능하며 평면에 손이 닿아야만 입력을 줄 수 있기 때문에 신체 일부분의 거리 차이를 이용하여 3차원적인 입력을 생성해 내는데 한계가 있다.
이에 따라, 본 발명은 가상의 멀티 터치 스크린을 제공하고, 이에 따라 입력된 영상에 대응하는 제어 동작을 인식하여 그에 대응하는 제어 명령을 실행할 수 있는 가상 멀티 터치 스크린을 이용한 인터페이스 장치 및 그 제어 방법을 제공하고자 한다.
일 관점에서 본 발명은, 가상 멀티 터치 스크린을 제공하는 디스플레이 처리 수단과, 상기 가상 멀티 터치 스크린을 통해 동작 이벤트가 발생할 경우 해당 영상을 촬영하여 사용자 신체 일부를 분리한 후, 그에 대응하는 제어 동작을 인식하는 영상 인터페이스 처리 수단과, 상기 인식된 제어 동작을 구별하여 그에 대응하는 제어 명령으로 변환한 후, 상기 제어 명령에 따라 동작 제어를 수행하는 제어 명령 인식 수단을 포함하는 가상 멀티 터치 스크린을 이용한 인터페이스 장치를 제공한다.
다른 관점에서 본 발명은, 가상 인터페이스가 요청되면, 가상 멀티 터치 스크린을 디스플레이하는 제 1 단계와, 상기 디스플레이 중에 동작 이벤트가 발생하면, 해당 영상을 촬영하여 신호 처리하는 제 2 단계와, 상기 신호 처리된 영상에 대해 사용자 신체 일부와 상기 가상 멀티 터치 스크린을 분리하는 제 3 단계와, 상기 사용자 신체 일부에 대응하는 제어 동작을 인식하는 제 4 단계와, 상기 제어 동작을 다수의 동작 데이터로 분류 구별하는 제 5 단계와, 상기 분류 구별된 다수의 동작 데이터를 각각의 제어 명령으로 변환, 합성하는 제 6 단계와, 상기 변환, 합성된 제어 명령에 따라 동작 제어를 수행하는 제 7 단계를 포함하는 가상 멀티 터치 스크린을 이용한 인터페이스 장치의 제어 방법을 제공한다.
본 발명은, 멀티 터치 패드와 같은 인터페이스 장치를 통해 제어 명령을 실행하는 종래 방법과는 달리, 가상 멀티 터치 스크린을 이용한 인터페이스 장치를 이용하여 가상 멀티 터치 스크린을 디스플레이하고, 이를 통해 동작 이벤트가 발생하면, 이를 촬영한 영상을 분리하여 그에 대응하는 제어 동작을 인식하고, 제어 동작을 다수의 동작 데이터로 분류 구별하며, 이에 대응하는 각 제어 명령으로 변환 합성하여 그 제어 명령을 실행함으로써, 사용자의 기타 일상생활 중에서도 일반적인 기기들을 추가의 장비나 복잡한 절차를 이용하지 않고서도 바로 제어할 수 있는 장점이 있으며 가상 터치 스크린을 통과하는 제스처나 입체적인 멀티 포인트 터치에 의해 직관적이고도 편리한 사용자 인터페이스를 제공할 수 있다.
또한, 본 발명에 따른 인터페이스 장치는 가상 스크린을 이용함으로써 사용자의 이동성이 보장되며, 기기 조작 중에도 다른 2차 동작을 할 수 있는 환경을 제공할 수 있다.
본 발명의 기술요지는, 가상 인터페이스가 요청되면, 가상 멀티 터치 스크린을 디스플레이하고, 동작 이벤트가 발생하면, 해당 영상을 촬영하고, 그 영상을 사용자 신체 일부와 가상 멀티 터치 스크린을 분리하며, 사용자 신체 일부에 대응하는 제어 동작을 인식한 후에 그 제어 동작을 다수의 동작 데이터로 분류 구별하고, 다수의 동작 데이터를 각각의 제어 명령으로 변환, 합성한 후에 이에 따라 동작 제어를 수행한다는 것이며, 이러한 기술적 수단을 통해 종래 기술에서의 문제점을 해결할 수 있다.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 대하여 상세하게 설명한다.
도 1은 본 발명에 따라 가상의 멀티 터치 스크린을 이용하여 동작 제어를 수행하는데 적합한 인터페이스 장치의 블록구성도로서, 디스플레이 처리 수단(100), 영상 인터페이스 처리 수단(200) 및 제어 명령 인식 수단(300)을 포함한다.
도 1을 참조하면, 디스플레이 처리 수단(100)은 LCD 등의 디스플레이 장치를 포함하는 것으로, 사용자가 도시 생략된 입력 수단, 예를 들면, 키패드 등을 이용하여 가상 인터페이스를 요청하는 키를 입력할 경우 이에 따라 발생하는 가상 인터페이스 요청 키 신호가 입력되면, 디스플레이 장치의 전면에 헤드 마운티드 디스플레이(HMD : Head Mounted Display) 등을 이용하여 가상 객체, 가상 멀티 터치 스크린 등을 디스플레이한다.
여기에서, 가상 객체, 가상 멀티 터치 스크린 등은 디스플레이되는 콘텐츠에 따라 다양한 형태를 가질 수 있으며, 특히 가상 멀티 터치 스크린은 별도의 디스플레이 장치로부터 기 설정된 거리만큼 이격된 공간에 사용자의 시야와 블렌딩(blending)되어 반투명하게 표시될 수 있다. 이에 따라, 가상 멀티 터치 스크린을 터치하는 사용자의 손과 가상 멀티 터치 스크린을 포함하는 영상을 함께 촬영하여 획득할 수 있으며, 이는 가상 멀티 터치 스크린을 사용하여 제어 명령을 수행하면서 LCD 등의 디스플레이 장치를 이용한 장치 조작을 함께 수행할 수 있다.
그리고, 영상 인터페이스 처리 수단(200)은 카메라 등과 같은 영상 촬영 장치를 포함하는 것으로, 영상 촬영 장치를 통해 동작 이벤트가 발생하여 하나의 영상이 입력되는 경우 사용자의 손과 가상 멀티 터치 스크린을 포함하는 영상이 입력되면, 입력된 영상을 가상 멀티 터치 스크린과 사용자의 신체 일부분으로 분리(segmentation)한 후에, 분리된 신체 일부분에 대응하는 제어 동작을 인식하여 그 인식 동작 데이터를 전달한다.
한편, 영상 인터페이스 처리 수단(200)에서는 영상 촬영 장치를 통해 동작 이벤트가 발생하여 두 개의 영상(즉, 스테레오 영상)이 입력되는 경우 사용자의 손 과 가상 멀티 터치 스크린을 포함하는 좌우 영상이 입력되면, 좌우 영상에 대한 양안차(disparity)를 산출하는 스테레오 매칭(stereo matching)을 수행하며, 스테레오 매칭이 수행된 영상을 가상 멀티 터치 스크린과 사용자의 신체 일부분으로 분리(segmentation)한 후에, 분리된 신체 일부분에 대응하는 3차원적인 제어 동작을 인식하여 그 인식 동작 데이터를 전달한다.
여기에서, 도 2는 본 발명에 따라 입력되는 영상을 이용하여 제어 동작을 인식하는데 적합한 영상 인터페이스 처리 수단의 상세 블록구성도로서, 영상 인터페이스 처리 수단(200)은 영상 입력부(202), 디스패리티 산출부(204), 영상 분리부(206), 동작 인식부(208) 및 입체 인식부(210)를 포함한다.
이러한 도면을 참조하여 영상 인터페이스 처리 수단(200)에 대해 더욱 상세히 설명하면, 영상 입력부(202)는 카메라 등의 영상 촬영 장치를 포함하는 것으로, 영상 촬영 장치를 통해 동작 이벤트 발생을 체크한 후, 동작 이벤트 발생 시 입력되는 촬영 영상(즉, 사용자의 손과 가상 멀티 터치 스크린을 포함하는 영상)은 렌즈를 통해 CCD 모듈 또는 CMOS 모듈로 제공되고, CCD 모듈 또는 CMOS 모듈은 렌즈를 통과한 피사체의 광신호를 전기적 신호(촬영 신호)로 변환 출력하며, 카메라가 갖는 노출, 감마, 이득조정, 화이트 밸런스, 컬러 매트릭스 등을 수행한 후에, ADC(Analog-to-Digital Converter)를 통해 촬영 신호를 디지털 신호로 변환하여 해당 영상(즉, 사용자의 손과 가상 멀티 터치 스크린을 포함하는 영상)을 디스패리티 산출부(204) 및 영상 분리부(206)로 전달한다.
그리고, 디스패리티 산출부(204)는 스테레오 영상이 입력될 경우 그에 대한 양안차(disparity)를 산출하는 스테레오 매칭을 수행하는 것으로, 영상 입력부(202)로부터 전달되는 영상(즉, 사용자의 손과 가상 멀티 터치 스크린을 포함하는 영상)이 스테레오 영상(즉, 좌측 영상과 우측 영상)인 경우 이에 대한 스테레오 매칭을 수행하여 그 양안차를 산출한 후, 그 양안차 데이터를 영상 분리부(206)로 전달한다.
다음에, 영상 분리부(206)는 영상에서 사용자의 신체 일부분을 분리하는 것으로, 영상 입력부(202)로부터 하나의 영상이 전달되면 그 영상에서 사용자의 신체 일부분을 분리(예를 들면, 사용자의 손에서 손가락을 분리)하여 그 분리 데이터를 동작 인식부(208)로 전달하고, 영상 입력부(202)로부터 스테레오 영상이 전달되면 디스패리티 산출부(204)로부터 전달되는 양안차 데이터에 따라 그 영상에서 사용자의 신체 일부분을 분리(예를 들면, 사용자의 손에서 손가락을 분리)하여 그 분리 데이터를 입체 인식부(210)로 전달한다.
또한, 동작 인식부(208)는 하나의 영상이 입력되는 경우 분리된 신체 일부분에 대한 제어 동작을 인식하는 것으로, 영상 분리부(206)로부터 전달되는 분리 데이터에 따라 분리된 신체 일부분에 대한 분리 데이터를 가상 멀티 터치 스크린에 대응하는 제어 동작으로 인식하여 그 제어 동작 데이터를 제어 명령 인식부(300)로 전달한다.
한편, 입체 인식부(210)는 스테레오 영상이 입력되는 경우 분리된 신체 일부분에 대한 3차원적 제어 동작을 인식하는 것으로, 영상 분리부(206)로부터 전달되는 분리 데이터에 따라 분리된 신체 일부분에 대한 분리 데이터를 가상 멀티 터치 스크린에 대응하는 양안차를 반영한 3차원적 제어 동작으로 인식하여 그 제어 동작 데이터를 제어 명령 인식부(300)로 전달한다.
다음에, 제어 명령 인식부(300)는 제어 동작을 구별하여 그에 대응하는 제어 명령을 실행하는 것으로, 영상 인터페이스 처리 수단(200)으로부터 전달되는 제어 동작(또는 3차원 제어 동작) 데이터를 다수의 동작으로 분류 구별한 후에 다수의 동작으로 분류 구별된 각 제어 동작 데이터를 기 저장된 제어 동작 데이터와 비교하여 제어 명령으로 변환 합성하고, 변환 합성된 제어 명령을 제어하고자 하는 해당 장치에 전달하여 제어 명령을 실행한다.
여기에서, 도 3은 본 발명에 따라 입력되는 제어 동작을 구별 및 합성하여 제어 명령을 실행하는데 적합한 제어 명령 인식 수단의 상세 블록구성도로서, 제어 명령 인식 수단(300)은 동작 구별부(302), 명령 합성부(304) 및 명령 실행부(306)를 포함한다.
이러한 도면을 참조하여 제어 명령 인식 수단(300)에 대해 더욱 상세히 설명하면, 동작 구별부(302)는 제어 동작 데이터를 다수의 동작 데이터로 구별하는 것으로, 영상 인터페이스 처리 수단(200)으로부터 전달되는 제어 동작 데이터 또는 3차원적 제어 동작 데이터를 다수의 동작 데이터(즉, n 개의 동작 데이터)로 분류 구별하여 각각의 동작 데이터를 명령 합성부(304)로 전달한다.
그리고, 명령 합성부(304)는 각 동작 데이터를 그에 대응하는 제어 명령으로 변환하는 것으로, 동작 구별부(302)로부터 전달되는 분류 구별된 각각의 동작 데이터를 기 저장된 동작 데이터와 비교한 후, 각 동작 데이터에 대응하는 제어 명령으 로 변환하고, 이러한 변환된 제어 명령을 합성하여 그 제어 명령 데이터를 명령 실행부(306)로 전달한다.
다음에, 명령 실행부(304)는 제어 명령에 따라 제어하고자 하는 장치의 동작 제어를 수행하는 것으로, 명령 합성부(304)로부터 전달되는 제어 명령 데이터를 제어하고자 하는 장치에 제공하여 해당 동작 제어를 수행한다.
따라서, 가상 멀티 스크린을 제공한 후, 그 동작 이벤트가 발생하면, 그 영상을 촬영하여 영상을 분리하고, 분리된 영상의 제어 동작을 인식한 후에 그 제어 동작을 다수의 동작 데이터로 구별하고, 구별된 동작 데이터를 각각의 제어 명령으로 변환 합성하여 그에 대응하는 제어 명령을 실행할 수 있다.
이러한 인터페이스 장치에 대한 일 예로서, 도 4는 본 발명에 따라 가상의 멀티 터치 스크린을 이용한 인터페이스 장치를 예시한 도면으로, 예를 들어 헤드 마운티드 디스플레이(HMD : Head Mounted Display)를 적용하여 가상 스크린을 디스플레이하고, 카메라와 같은 영상 장치를 통해 동작 이벤트가 발생하는 영상을 촬영하여 이에 대한 제어 명령을 실행할 수 있다.
다음에, 상술한 바와 같은 구성을 갖는 인터페이스 장치를 이용하여 가상 멀티 터치 스크린을 디스플레이하고, 이를 통해 동작 이벤트가 발생하면, 이를 촬영한 영상을 분리하여 그에 대응하는 제어 동작을 인식하고, 제어 동작을 다수의 동작 데이터로 분류 구별하며, 이에 대응하는 각 제어 명령으로 변환 합성하여 그 제어 명령을 실행하는 과정에 대해 설명한다.
도 5는 본 발명에 따라 가상의 멀티 터치 스크린을 이용하여 동작 제어를 수 행하는 과정을 도시한 플로우차트이다.
도 5를 참조하면, 가상 멀티 터치 스크린을 이용한 인터페이스 장치의 대기 모드에서(단계502), 디스플레이 처리 수단(100)은 LCD 등의 디스플레이 장치를 포함하는 것으로, 사용자가 도시 생략된 입력 수단, 예를 들면, 키패드 등을 이용하여 가상 인터페이스를 요청하는 키를 입력할 경우 이에 따라 발생하는 가상 인터페이스 요청 키 신호가 입력되는지를 체크한다(단계504).
상기 단계(504)에서의 체크 결과, 가상 인터페이스 요청 키 신호가 입력될 경우 디스플레이 처리 수단(100)에서는 디스플레이 장치의 전면에 헤드 마운티드 디스플레이(HMD) 등을 이용하여 가상 객체, 가상 멀티 터치 스크린 등을 디스플레이(표시)한다(단계506).
그리고, 영상 인터페이스 처리 수단(200)의 영상 입력부(202)에서는 영상 촬영 장치를 통해 동작 이벤트 발생을 체크한다(단계508).
상기 단계(508)에서의 체크 결과, 동작 이벤트가 발생한 경우 영상 입력부(202)에서는 영상 촬영 장치를 통해 촬영된 영상(즉, 사용자의 손과 가상 멀티 터치 스크린을 포함한 영상)을 신호 처리한다(단계510). 여기에서, 영상에 대한 신호 처리는, 입력되는 촬영 영상(즉, 사용자의 손과 가상 멀티 터치 스크린을 포함하는 영상)은 렌즈를 통해 CCD 모듈 또는 CMOS 모듈로 제공되고, CCD 모듈 또는 CMOS 모듈은 렌즈를 통과한 피사체의 광신호를 전기적 신호(촬영 신호)로 변환 출력하며, 카메라가 갖는 노출, 감마, 이득조정, 화이트 밸런스, 컬러 매트릭스 등을 수행한 후에, ADC를 통해 촬영 신호를 디지털 신호로 변환하는 방식으로 수행될 수 있다.
다음에, 영상 입력부(202)에서는 신호 처리된 영상이 스테레오 영상인지를 체크한다(단계512). 여기에서, 스테레오 영상은 예를 들면, 좌측 영상과 우측 영상을 포함하는 것을 의미한다.
상기 단계(512)에서의 체크 결과, 스테레오 영상인 경우 영상 입력부(202)에서는 신호 처리된 스테레오 영상(즉, 좌측 영상과 우측 영상)을 디스패리티 산출부(204) 및 영상 분리부(206)로 전달하며, 디스패리티 산출부(204)에서는 전달되는 스테레오 영상(즉, 사용자의 손과 가상 멀티 터치 스크린을 포함하는 좌측 영상과 우측 영상)에 대한 스테레오 매칭을 수행하여 그 양안차를 산출한 후, 그 양안차 데이터를 영상 분리부(206)로 전달한다(단계514).
한편, 상기 단계(512)에서의 체크 결과, 스테레오 영상이 아닌 경우(즉, 하나의 영상이 입력된 경우) 영상 입력부(202)에서는 신호 처리된 영상을 영상 분리부(206)로 전달하고, 영상 분리부(206)에서는 영상 입력부(202)로부터 하나의 영상이 전달되면 그 영상에서 사용자의 신체 일부분을 분리(예를 들면, 사용자의 손에서 손가락을 분리)하여 그 분리 데이터를 동작 인식부(208)로 전달하며, 영상 분리부(206)에서는 스테레오 영상이 전달될 경우 디스패리티 산출부(204)로부터 전달되는 양안차 데이터에 따라 그 영상에서 사용자의 신체 일부분을 분리(예를 들면, 사용자의 손에서 손가락을 분리)하여 그 분리 데이터를 입체 인식부(210)로 전달한다(단계516).
다음에, 동작 인식부(208)에서는 하나의 영상이 입력된 경우 영상 분리 부(206)로부터 전달되는 분리 데이터에 따라 분리된 신체 일부분에 대한 분리 데이터를 가상 멀티 터치 스크린에 대응하는 제어 동작으로 인식하여 그 제어 동작 데이터를 제어 명령 인식부(300)로 전달하며, 입체 인식부(210)에서는 스테레오 영상이 입력된 경우 영상 분리부(206)로부터 전달되는 분리 데이터에 따라 분리된 신체 일부분에 대한 분리 데이터를 가상 멀티 터치 스크린에 대응하는 양안차를 반영한 3차원적 제어 동작으로 인식하여 그 제어 동작 데이터를 제어 명령 인식부(300)로 전달한다(단계518).
그리고, 제어 명령 인식 수단(300)의 동작 구별부(302)에서는 영상 인터페이스 처리 수단(200)으로부터 전달되는 제어 동작 데이터 또는 3차원적 제어 동작 데이터를 다수의 동작 데이터(예를 들면, n 개의 동작 데이터)로 분류 구별하여 각각의 동작 데이터를 명령 합성부(304)로 전달한다(단계520).
또한, 명령 합성부(304)에서는 동작 구별부(302)로부터 전달되는 분류 구별된 각각의 동작 데이터를 기 저장된 동작 데이터와 비교한 후, 그 비교 결과에 따라 각 동작 데이터에 대응하는 제어 명령으로 변환하고, 이러한 변환된 각각의 제어 명령을 합성하여 그 합성된 제어 명령을 명령 실행부(306)로 전달한다(단계522).
이어서, 명령 실행부(306)에서는 명령 합성부(304)로부터 전달되는 제어 명령을 이용하여 제어하고자 하는 장치의 동작 제어를 수행(실행)한다(단계524).
따라서, 가상 멀티 스크린을 제공한 후, 그 동작 이벤트가 발생하면, 그 영상을 촬영하여 영상을 분리하고, 분리된 영상의 제어 동작을 인식한 후에 그 제어 동작을 다수의 동작 데이터로 구별하고, 구별된 동작 데이터를 각각의 제어 명령으로 변환 합성하여 그에 대응하는 제어 명령을 실행할 수 있다.
이상의 설명에서는 본 발명의 바람직한 실시 예들을 제시하여 설명하였으나 본 발명이 반드시 이에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함을 쉽게 알 수 있을 것이다.
도 1은 본 발명에 따라 가상의 멀티 터치 스크린을 이용하여 동작 제어를 수행하는데 적합한 인터페이스 장치의 블록구성도,
도 2는 본 발명에 따라 입력되는 영상을 이용하여 제어 동작을 인식하는데 적합한 영상 인터페이스 처리 수단의 상세 블록구성도,
도 3은 본 발명에 따라 입력되는 제어 동작을 구별 및 합성하여 제어 명령을 실행하는데 적합한 제어 명령 인식 수단의 상세 블록구성도,
도 4는 본 발명에 따라 가상의 멀티 터치 스크린을 이용한 인터페이스 장치를 예시한 도면,
도 5는 본 발명에 따라 가상의 멀티 터치 스크린을 이용하여 동작 제어를 수행하는 과정을 도시한 플로우차트.
<도면의 주요부분에 대한 부호의 설명>
100 : 디스플레이 처리 수단 200 : 영상 인터페이스 처리 수단
202 : 영상 입력부 204 : 디스패리티 산출부
206 : 영상 분리부 208 : 동작 인식부
210 : 입체 인식부 300 : 제어 명령 인식 수단
302 : 동작 구별부 304 : 명령 합성부
306 : 명령 실행부

Claims (11)

  1. 가상 멀티 터치 스크린을 제공하는 디스플레이 처리 수단과,
    상기 가상 멀티 터치 스크린을 통해 동작 이벤트가 발생할 경우 해당 영상을 촬영하여 사용자 신체 일부를 분리한 후, 그에 대응하는 제어 동작을 인식하는 영상 인터페이스 처리 수단과,
    상기 인식된 제어 동작을 구별하여 그에 대응하는 제어 명령으로 변환한 후, 상기 제어 명령에 따라 동작 제어를 수행하는 제어 명령 인식 수단
    을 포함하는 가상 멀티 터치 스크린을 이용한 인터페이스 장치.
  2. 제 1 항에 있어서,
    상기 영상 인터페이스 처리 수단은,
    상기 영상을 촬영하여 입력시키는 영상 입력부와,
    상기 입력된 영상을 사용자 신체 일부와 상기 가상 멀티 터치 스크린으로 분리하는 영상 분리부와,
    상기 분리된 영상에 대응하는 제어 동작을 인식하는 동작 인식부
    를 포함하는 것을 특징으로 하는 가상 멀티 터치 스크린을 이용한 인터페이스 장치.
  3. 제 2 항에 있어서,
    상기 영상 인터페이스 처리 수단은,
    상기 영상이 스테레오 영상인 경우 상기 영상 입력부로부터 상기 영상을 전달받아 양안차를 산출한 후, 상기 영상 분리부로 전달하는 디스패리티 산출부와,
    상기 영상이 상기 스테레오 영상인 경우 상기 영상 분리부로부터 상기 분리된 영상을 전달받아 상기 양안차에 따라 3차원적인 제어 동작을 인식하는 입체 인식부
    를 더 포함하는 것을 특징으로 하는 가상 멀티 터치 스크린을 이용한 인터페이스 장치.
  4. 제 1 항, 제 2 항 또는 제 3 항에 있어서,
    상기 제어 명령 인식 수단은,
    상기 제어 동작을 다수의 동작 데이터로 분류 구별하는 동작 구별부와,
    상기 분류 구별된 동작 데이터를 그에 대응하는 각각의 상기 제어 명령으로 변환, 합성하는 명령 합성부와,
    상기 변환, 합성된 제어 명령을 이용하여 상기 동작 제어를 수행하는 명령 실행부
    를 포함하는 것을 특징으로 하는 가상 멀티 터치 스크린을 이용한 인터페이스 장치.
  5. 제 4 항에 있어서,
    상기 디스플레이 처리 수단은, 헤드 마운티드 디스플레이(HMD : Head Mounted Display)를 구비하는 것을 특징으로 하는 가상 멀티 터치 스크린을 이용한 인터페이스 장치.
  6. 제 5 항에 있어서,
    상기 디스플레이 처리 수단은, 별도의 디스플레이 장치로부터 기 설정된 거리만큼 이격된 공간에 상기 가상 멀티 터치 스크린을 사용자의 시야와 블렌딩(blending)하여 반투명하게 표시하는 것을 특징으로 하는 가상 멀티 터치 스크린을 이용한 인터페이스 장치.
  7. 가상 인터페이스가 요청되면, 가상 멀티 터치 스크린을 디스플레이하는 제 1 단계와,
    상기 디스플레이 중에 동작 이벤트가 발생하면, 해당 영상을 촬영하여 신호 처리하는 제 2 단계와,
    상기 신호 처리된 영상에 대해 사용자 신체 일부와 상기 가상 멀티 터치 스크린을 분리하는 제 3 단계와,
    상기 사용자 신체 일부에 대응하는 제어 동작을 인식하는 제 4 단계와,
    상기 제어 동작을 다수의 동작 데이터로 분류 구별하는 제 5 단계와,
    상기 분류 구별된 다수의 동작 데이터를 각각의 제어 명령으로 변환, 합성하는 제 6 단계와,
    상기 변환, 합성된 제어 명령에 따라 동작 제어를 수행하는 제 7 단계
    를 포함하는 가상 멀티 터치 스크린을 이용한 인터페이스 장치의 제어 방법.
  8. 제 7 항에 있어서,
    상기 제어 방법은,
    상기 제 1 단계에서 헤드 마운티드 디스플레이(HMD : Head Mounted Display)를 이용하여 상기 가상 멀티 터치 스크린을 디스플레이하는 것을 특징으로 하는 가상 멀티 터치 스크린을 이용한 인터페이스 장치의 제어 방법.
  9. 제 8 항에 있어서,
    상기 제어 방법은,
    상기 제 1 단계에서 별도의 디스플레이 장치로부터 기 설정된 거리만큼 이격된 공간에 상기 가상 멀티 터치 스크린을 사용자의 시야와 블렌딩(blending)하여 반투명하게 표시하는 것을 특징으로 하는 가상 멀티 터치 스크린을 이용한 인터페이스 장치의 제어 방법.
  10. 제 7 항, 제 8 항 또는 제 9 항에 있어서,
    상기 제어 방법은,
    상기 제 3 단계에서 상기 신호 처리된 영상이 스테레오 영상인 경우 그에 대응하는 양안차를 산출하여 상기 영상을 분리하는 것을 특징으로 하는 가상 멀티 터 치 스크린을 이용한 인터페이스 장치의 제어 방법.
  11. 제 10 항에 있어서,
    상기 제어 방법은,
    상기 제 4 단계에서 상기 스테레오 영상인 경우 그에 대응하는 상기 제어 동작을 3차원적으로 인식하는 것을 특징으로 하는 가상 멀티 터치 스크린을 이용한 인터페이스 장치의 제어 방법.
KR1020070127613A 2007-12-10 2007-12-10 가상 멀티 터치 스크린을 이용한 인터페이스 장치 및 그제어 방법 KR20090060698A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070127613A KR20090060698A (ko) 2007-12-10 2007-12-10 가상 멀티 터치 스크린을 이용한 인터페이스 장치 및 그제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070127613A KR20090060698A (ko) 2007-12-10 2007-12-10 가상 멀티 터치 스크린을 이용한 인터페이스 장치 및 그제어 방법

Publications (1)

Publication Number Publication Date
KR20090060698A true KR20090060698A (ko) 2009-06-15

Family

ID=40990397

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070127613A KR20090060698A (ko) 2007-12-10 2007-12-10 가상 멀티 터치 스크린을 이용한 인터페이스 장치 및 그제어 방법

Country Status (1)

Country Link
KR (1) KR20090060698A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120032062A (ko) * 2010-07-29 2012-04-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR101233793B1 (ko) * 2011-09-26 2013-02-15 주식회사 매크론 손 동작 인식을 이용한 가상 마우스 구동 방법
KR101242848B1 (ko) * 2011-08-27 2013-03-12 이경자 가상터치스크린을 생성과 제어하는 장치
KR101299695B1 (ko) * 2011-12-14 2013-08-26 전자부품연구원 시차 맵을 사용한 포인팅 장치 및 제스쳐 인식 방법
KR101330531B1 (ko) * 2011-11-08 2013-11-18 재단법인대구경북과학기술원 ３차원 카메라를 이용한 가상 터치 방법 및 장치

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120032062A (ko) * 2010-07-29 2012-04-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR101242848B1 (ko) * 2011-08-27 2013-03-12 이경자 가상터치스크린을 생성과 제어하는 장치
KR101233793B1 (ko) * 2011-09-26 2013-02-15 주식회사 매크론 손 동작 인식을 이용한 가상 마우스 구동 방법
KR101330531B1 (ko) * 2011-11-08 2013-11-18 재단법인대구경북과학기술원 ３차원 카메라를 이용한 가상 터치 방법 및 장치
KR101299695B1 (ko) * 2011-12-14 2013-08-26 전자부품연구원 시차 맵을 사용한 포인팅 장치 및 제스쳐 인식 방법

Similar Documents

Publication Publication Date Title
US10585488B2 (en) System, method, and apparatus for man-machine interaction
KR102129374B1 (ko) 사용자 인터페이스 제공 방법 및 기계로 읽을 수 있는 저장 매체 및 휴대 단말
KR101797260B1 (ko) 정보 처리 장치, 정보 처리 시스템 및 정보 처리 방법
US10372229B2 (en) Information processing system, information processing apparatus, control method, and program
KR20120096849A (ko) 제스쳐를 이용한 입력 장치 및 방법
WO2014107079A1 (en) Content zooming method and terminal implementing the same
US10888228B2 (en) Method and system for correlating anatomy using an electronic mobile device transparent display screen
US10168769B2 (en) Input apparatus, input method, and program
US10810801B2 (en) Method of displaying at least one virtual object in mixed reality, and an associated terminal and system
US20180268568A1 (en) Color analysis and control using an electronic mobile device transparent display screen
KR20090060698A (ko) 가상 멀티 터치 스크린을 이용한 인터페이스 장치 및 그제어 방법
EP3617851B1 (en) Information processing device, information processing method, and recording medium
US9300914B2 (en) Computer readable recording medium and terminal apparatus
WO2013114988A1 (ja) 情報表示装置、情報表示システム、情報表示方法およびプログラム
JP2013171529A (ja) 操作入力装置、操作判定方法およびプログラム
TWI499938B (zh) 觸控系統
JP2014171121A (ja) 投影システム、投影装置、投影方法、及び投影プログラム
US10298907B2 (en) Method and system for rendering documents with depth camera for telepresence
WO2011096571A1 (ja) 入力装置
US20130201157A1 (en) User interface device and method of providing user interface
JP2015184986A (ja) 複合現実感共有装置
US20180125605A1 (en) Method and system for correlating anatomy using an electronic mobile device transparent display screen
KR101397812B1 (ko) 원격 터치 및 드래그 방식 입력 시스템
US10783666B2 (en) Color analysis and control using an electronic mobile device transparent display screen integral with the use of augmented reality glasses
KR20110013076A (ko) 카메라 시스템을 이용한 손짓 및 터치형 양손 반지 마우스 입력 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application