KR20140004335A - 프로젝션 컴퓨터용 사용자 인터페이스 장치 및 이를 이용한 인터페이스 방법 - Google Patents

프로젝션 컴퓨터용 사용자 인터페이스 장치 및 이를 이용한 인터페이스 방법 Download PDF

Info

Publication number
KR20140004335A
KR20140004335A KR1020120071660A KR20120071660A KR20140004335A KR 20140004335 A KR20140004335 A KR 20140004335A KR 1020120071660 A KR1020120071660 A KR 1020120071660A KR 20120071660 A KR20120071660 A KR 20120071660A KR 20140004335 A KR20140004335 A KR 20140004335A
Authority
KR
South Korea
Prior art keywords
infrared
pattern light
pen
image
output
Prior art date
Application number
KR1020120071660A
Other languages
English (en)
Inventor
이동우
정현태
허기수
박준석
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020120071660A priority Critical patent/KR20140004335A/ko
Priority to US13/917,006 priority patent/US20140002421A1/en
Publication of KR20140004335A publication Critical patent/KR20140004335A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/88—Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs

Abstract

프로젝트를 이용하여 결과물을 출력하는 프로젝션 컴퓨터에서 손과 적외선 펜을 이용하여 사용자와 프로젝션 컴퓨터의 인터랙션을 제공하도록 한 프로젝션 컴퓨터용 사용자 인터페이스 장치 및 이를 이용한 인터페이스 방법이 제시된다. 제시된 프로젝션 컴퓨터용 사용자 인터페이스 장치는 프로젝션 컴퓨터의 결과물을 출력하는 프로젝터부; 결과물이 출력되는 결과물 출력 영역에 적외선 패턴광을 출력하는 패턴광 발생부; 결과물 출력 영역을 촬영하여 영상을 획득하는 카메라부; 카메라부에서 획득한 영상을 근거로 사용자 손 및 적외선 펜 중에 적어도 하나를 인식하는 영상 처리부; 및 인식 모드를 근거로 패턴광 발생부와 카메라부 및 영상 처리부를 제어하는 제어부를 포함한다.

Description

프로젝션 컴퓨터용 사용자 인터페이스 장치 및 이를 이용한 인터페이스 방법{USER INTERFACE DEVICE FOR PROJECTION COMPUTER AND METHOD FOR INTERFACING USING THE SAME}
본 발명은 프로젝션 컴퓨터용 사용자 인터페이스 장치 및 이를 이용한 인터페이스 방법에 관한 것으로, 더욱 상세하게는 프로젝트를 이용하여 결과물을 출력하는 프로젝션 컴퓨터에서 자연스러운 입력을 제공하는 프로젝션 컴퓨터용 사용자 인터페이스 장치 및 이를 이용한 인터페이스 방법에 대한 것이다. 즉, 프로젝션 컴퓨터는 실제 사물 등에 영상을 직접 투사하여 아날로그 정보와 디지털 정보를 혼합할 수 있는 장점 때문에 혼합현실 및 증강현실에서 많이 사용되고 있다. 이러한 프로젝션 컴퓨터를 이용하여 혼합현실 서비스, 증강현실 서비스 등을 제공할 때, 사용자의 입력을 처리하기 위한 수단이 필요한 데, 본 발명은 영상의 출력을 프로젝터로 사용하는 시스템에서 자연스러운 입력을 위한 방법에 관한 것이다.
프로젝션 컴퓨터는 Light Blue Optics사의 Light Touch 시스템과 MIT의 sixthsense 프로젝터 등에서 알 수 있듯이, 프로젝터를 이용하여 결과물을 출력하는 컴퓨터이다. 이러한 프로젝션 컴퓨터는 결과물의 출력을 위해 프로젝터를 이용하기 때문에 테이블이나 벽면 등과 같은 곳이나 실제 사물이나 손바닥과 같은 곳에 영상을 투사할 수 있는 장점이 있다. 이러한 장점으로 인해 프로젝션 컴퓨터는 혼합현실 서비스, 증강현실 서비스 등을 제공하는 시스템에 사용된다.
사용자들은 LCD 디스플레이를 출력으로 하는 터치패드가 장착된 휴대폰이나 태블릿에서 손을 이용한 사용자 인터페이스에 매우 편리함을 느끼고 익숙해져 있다.
최근에는 섬세한 작업이 요구되는 응용에서는 손가락을 이용한 작업의 정밀성이 떨어져서 태블릿에서 섬세한 작업이 가능하도록 태블릿에서 사용가능한 펜이 개발되어 출시되고 있다. 하지만, 터치패드는 주로 저항 방식과 정전용량 방식의 터치패드가 장착되어 있으며 오동작 방지를 위해서 사용자가 펜을 사용할 경우에는 펜의 끝점 이외에 다른 신체부위가 터치패드에 닿지 않도록 하기 위해서 손을 들고 작업하거나 장갑을 끼고 작업을 해야 하는 단점이 있다.
프로젝션 컴퓨터는 시스템의 사용환경에 따라 테이블 고정형 또는 신체 착용형 등의 형태로 개발되고 있다. 프로젝션 컴퓨터의 사용성을 극대화하기 위해서는 프로젝터 영상에서 편리하게 인터랙션할 수 있는 입력 기술의 개발이 필요하다.
일례로, 한국 등록특허 10-1019141(명칭: 전자펜)에서는 전자펜 내부에 이미지 센서를 내장하고 특수하게 제작된 필기대상체에 펜의 궤적을 추적할 수 있도록 표시된 코드를 펜의 이미지센서에서 획득하여 이미지 처리를 하도록 하여 궤적을 추적하는 기술을 언급하고 있습니다.
하지만, 선행기술에서는 전자펜의 궤적 추적을 통한 입력장치에 관한 것으로, 손과 펜을 함께 사용할 수 없으며, 전자펜 내부에 이미지 센서 등의 복잡한 구조로 형성되는 문제점이 있다.
또한, 프로젝션 컴퓨터의 경우 일반적으로 카메라를 이용한 영상처리를 통하여 사용자 인터랙션을 가능하게 한다. 프로젝션 컴퓨터는 프로젝터의 영상에 의한 밝기, 색상 변화가 심해 영상처리에 어려움이 있으며, 복잡한 연산을 수행하기 때문에 고사양의 컴퓨팅 파워를 필요로 하는 문제점이 있다.
본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 프로젝트를 이용하여 결과물을 출력하는 프로젝션 컴퓨터에서 손과 적외선 펜을 이용하여 사용자와 프로젝션 컴퓨터의 인터랙션을 제공하도록 한 프로젝션 컴퓨터용 사용자 인터페이스 장치 및 이를 이용한 인터페이스 방법을 제공하는 것을 목적으로 한다. 즉, 프로젝션 컴퓨터의 경우에도 출력된 프로젝터 영상과 직관적이고 편리한 사용을 위해서는 손을 이용하는 것이 여러 면에서 사용자에게 유리하며, 섬세한 작업을 위해서는 손가락이 아닌 사용자에게 익숙한 펜과 같은 장치를 이용하여 입력할 필요가 있다. 따라서, 본 발명에서는 터치패드와 같은 입력 센싱 장치가 바닥에 있지 않은 프로젝션 컴퓨터의 경우에도 펜으로 작업할 때 기존의 연필과 볼펜으로 작업하는 것과 같은 사용 편의성을 제공하도록 한 프로젝션 컴퓨터용 사용자 인터페이스 장치 및 이를 이용한 인터페이스 방법을 제공하는 것을 목적으로 한다.
특히, 본 발명은 카메라를 이용한 손 인식을 위해 저연산이 가능하도록 특수하게 설계된 적외선 패턴광 생성 장치와 함께 펜을 사용할 수 있도록 한 프로젝션 컴퓨터용 사용자 인터페이스 장치 및 이를 이용한 인터페이스 방법을 제공하는 것을 목적으로 한다. 이를 통해, 본 발명은 프로젝터 영상 아래에서 펜만 사용하거나 프로젝터 영상에서 손만을 사용하거나 하는 종래기술에 비해, 손과 펜을 모두 이용하도록 구성하여 사용편의성을 개선한다.
상기한 목적을 달성하기 위하여 본 발명의 실시예에 따른 프로젝션 컴퓨터용 사용자 인터페이스 장치는, 프로젝션 컴퓨터의 결과물을 출력하는 프로젝터부; 결과물이 출력되는 결과물 출력 영역에 적외선 패턴광을 출력하는 패턴광 발생부; 결과물 출력 영역을 촬영하여 영상을 획득하는 카메라부; 카메라부에서 획득한 영상을 근거로 사용자 손 및 적외선 펜 중에 적어도 하나를 인식하는 영상 처리부; 및 인식 모드를 근거로 패턴광 발생부와 카메라부 및 영상 처리부를 제어하는 제어부를 포함한다.
카메라부로부터의 수직동기신호 수신 여부를 근거로 패턴광 발생부의 적외선 패턴광 출력을 제어하여 카메라부 및 패턴광 발생부를 동기화하는 동기화부를 더 포함한다.
제어부는, 손 인식 모드로 설정되면, 패턴광 발생부를 제어하여 결과물 출력 영역에 적외선 패턴광을 출력한 후에, 카메라부를 제어하여 적외선 패턴광이 출력된 결과물 출력 영역을 촬영한다.
영상 처리부는, 적외선 패턴광이 출력된 결과물 출력 영역을 촬영 영상에서 적외선 패턴광의 변동을 근거로 사용자 손을 인식한다.
제어부는, 펜 인식 모드로 설정되면, 패턴광 발생부를 제어하여 결과물 출력 영역으로의 적외선 패턴광을 출력을 차단한 후에, 카메라부를 제어하여 적외선 패턴광이 출력되지 않은 결과물 출력 영역을 촬영한다.
영상 처리부는, 적외선 패턴광이 출력되지 않은 결과물 출력 영역을 촬영한 영상에서 적외선 펜에서 송출되는 적외선의 궤적을 인식한다.
제어부는, 손과 펜 동시 인식 모드로 설정되면, 패턴광 발생부를 제어하여 결과물 출력 영역으로의 적외선 패턴광을 출력한 후에, 카메라부를 제어하여 적외선 패턴광이 출력된 결과물 출력 영역을 촬영하고,
패턴광 발생부를 제어하여 결과물 출력 영역으로의 적외선 패턴광을 출력을 차단한 후에, 카메라부를 제어하여 적외선 패턴광이 출력되지 않은 결과물 출력 영역을 촬영한다.
영상 처리부는, 적외선 패턴광이 출력된 상태에서 촬영된 적외선 영상에서의 패턴광의 변동을 근거로 사용자의 양손을 추출하여 인식하고. 적외선 패턴광을 출력하지 않은 상태에서 촬영된 영상으로부터 적외선 펜의 끝점을 인식하고, 인식한 펜의 끝점을 근거로 인식한 사용자의 양손 중에서 적외선 펜을 잡고 있는 손의 영역을 제거하여 적외선 펜을 잡고 있지 않은 손의 포스처와 적외선 펜의 궤적을 동시에 인식한다.
영상 처리부는, 적외선 패턴광이 포함된 영상에서 손의 영역을 추출하는 손 인식모듈; 및 적외선 패턴광이 꺼진 영상에서 적외선 펜의 끝점을 추출하는 펜 인식모듈을 포함한다.
영상 처리부는, 사용자 손 및 적외선 펜의 인식 결과를 근거로 입력 이벤트를 생성한다.
상기한 목적을 달성하기 위하여 본 발명의 실시예에 따른 프로젝션 컴퓨터용 사용자 인터페이스 장치용 적외선 펜은, 적외선 펜의 하우징 내부에 삽입되어 구동 전원을 공급하는 배터리; 적외선 펜의 끝점에 배치되어 구동 전원에 의해 구동하여 적외선을 외부로 송출하는 적외선 송출부; 및 일측이 배터리에 연결되고, 타측이 적외선 송출부에 연결되어 배터리로부터의 구동 전원을 적외선 송출부로 공급하는 스프링을 포함한다.
적외선 송출부는, 적외선 펜이 눌러지면 스프링에 의해 배터리와 연결되어 구동 전원을 입력받는다.
상기한 목적을 달성하기 위하여 본 발명의 실시예에 따른 프로젝션 컴퓨터용 사용자 인터페이스 장치를 이용한 인터페이스 방법, 프로젝션 컴퓨터용 사용자 인터페이스 장치에 의해, 인식 모드를 설정하는 단계; 프로젝션 컴퓨터용 사용자 인터페이스 장치에 의해, 프로젝션 컴퓨터의 결과물을 출력하는 단계; 프로젝션 컴퓨터용 사용자 인터페이스 장치에 의해, 설정된 인식 모드에 따라 사용자의 손 및 적외선 펜 중에 적어도 하나를 인식하는 단계; 및 프로젝션 컴퓨터용 사용자 인터페이스 장치에 의해, 인식하는 단계에서의 인식 결과에 따른 입력 이벤트를 프로젝션 컴퓨터로 입력하는 단계를 포함한다.
인식하는 단계는, 손 인식 모드로 설정되면 패턴광 발생부에 의해, 결과물 출력 영역에 적외선 패턴광을 출력하는 단계; 및 적외선 패턴광이 출력된 후에 카메라부에 의해, 결과물 출력 영역을 촬영하여 영상을 획득하는 단계를 포함한다.
인식하는 단계는, 영상 처리부에 의해, 획득한 영상에서 적외선 패턴광의 변동을 근거로 사용자 손을 인식하는 단계를 포함한다.
인식하는 단계는, 펜 인식 모드로 설정되면 패턴광 발생부에 의해, 결과물 출력 영역으로의 적외선 패턴광 출력을 차단하는 단계; 및 패턴광의 출력이 차단된 후에 카메라 부에 의해, 결과물 출력 영역을 촬영하여 영상을 획득하는 단계를 포함한다.
영상 처리부에 의해, 획득한 영상에서 적외선 펜에서 송출되는 적외선의 궤적을 인식하는 단계를 더 포함한다.
인식하는 단계는, 손과 펜 동시 인식 모드로 설정되면 패턴광 발생부에 의해, 결과물 출력 영역으로의 적외선 패턴광을 출력하는 단계; 적외선 패턴광이 출력된 후에 카메라부에 의해, 결과물 출력 영역을 촬영하여 영상을 획득하는 단계; 카메라부로부터 수직동기신호를 수신한 패턴광 발생부에 의해, 결과물 출력 영역으로의 적외선 패턴광 출력을 차단하는 단계; 패턴광의 출력이 차단된 후에 카메라 부에 의해, 결과물 출력 영역을 촬영하여 영상을 획득하는 단계; 및 획득한 영상들을 근거로 사용자의 손 및 적외선 펜을 인식하는 단계를 포함한다.
사용자의 손 및 펜을 인식하는 단계는, 영상 처리부에 의해, 적외선 패턴광이 출력된 상태에서 촬영된 영상에서의 패턴광의 변동을 근거로 사용자의 양손을 추출하는 단계; 영상 처리부에 의해, 적외선 패턴광을 출력하지 않은 상태에서 촬영된 영상으로부터 적외선 펜의 끝점을 인식하는 단계; 영상 처리부에 의해, 인식한 적외선 펜의 끝점을 근거로 인식한 사용자의 양손 중에서 적외선 펜을 잡고 있는 손의 영역을 제거하는 단계; 및 영상 처리부에 의해, 적외선 펜을 잡고 있지 않은 손 및 적외선 펜을 동시에 인식하는 단계를 포함한다.
적외선 펜을 잡고 있지 않은 손 및 적외선 펜을 동시에 인식하는 단계에서는, 영상 처리부에 의해, 손의 포스처 및 적외선 펜의 궤적을 동시에 인식한다.
본 발명에 따르면, 프로젝션 컴퓨터용 사용자 인터페이스 장치 및 이를 이용한 인터페이스 방법은 결과물 출력 영역으로 출력되는 적외선 패턴광의 변동을 근거로 사용자의 손을 인식함으로써, 저연산 구조로 맨손을 인식할 수 있는 효과가 있다.
또한, 프로젝션 컴퓨터용 사용자 인터페이스 장치 및 이를 이용한 인터페이스 방법은 적외선 패턴광의 변동 및 적외선 펜의 궤적을 인식함으로써, 사용자의 맨손 및 펜을 동시에 사용할 수 있는 효과가 있다.
또한, 프로젝션 컴퓨터용 사용자 인터페이스 장치 및 이를 이용한 인터페이스 방법은 바닥에 직접 손을 붙이고 펜을 사용할 수 있기 때문에 기존의 펜을 사용하는 것과 유사한 사용편의성을 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 프로젝션 컴퓨터용 사용자 인터페이스 장치를 설명하기 위한 도면.
도 2는 본 발명의 실시예에 따른 프로젝션 컴퓨터용 사용자 인터페이스 장치의 구성을 설명하기 위한 도면.
도 3은 도 2의 패턴광 발생부를 설명하기 위한 도면.
도 4 및 도 5는 도 2의 카메라부를 설명하기 위한 도면.
도 6은 도 2의 영상처리부를 설명하기 위한 도면
도 7은 본 발명의 실시예에 따른 프로젝션 컴퓨터용 사용자 인터페이스 장치에 사용되는 적외선 펜을 설명하기 위한 도면.
도 8은 본 발명의 실시예에 따른 프로젝션 컴퓨터용 사용자 인터페이스 장치를 이용한 인터페이스 방법을 설명하기 위한 흐름도.
도 9 내지 도 11은 도 8의 손 및 적외선 인식 모드 단계를 설명하기 위한 흐름도.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부 도면을 참조하여 설명하기로 한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
이하, 본 발명의 실시예에 따른 프로젝션 컴퓨터용 사용자 인터페이스 장치를 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다. 도 1은 본 발명의 실시예에 따른 프로젝션 컴퓨터용 사용자 인터페이스 장치를 설명하기 위한 도면이다. 도 2는 본 발명의 실시예에 따른 프로젝션 컴퓨터용 사용자 인터페이스 장치의 구성을 설명하기 위한 도면이다. 도 3은 도 2의 패턴광 발생부를 설명하기 위한 도면이고, 도 4 및 도 5는 도 2의 카메라부를 설명하기 위한 도면이고, 도 6은 도 2의 영상처리부를 설명하기 위한 도면이다.
도 1에 도시된 바와 같이, 프로젝션 컴퓨터용 사용자 인터페이스 장치(100)는 결과물을 프로젝트를 통해 출력한다. 프로젝션 컴퓨터용 사용자 인터페이스 장치(100)는 적외선 카메라를 이용하여 결과물 출력 영역(200)을 촬영한 영상을 영상처리하여 사용자의 손과 적외선 펜(300)을 각각 인식한다. 프로젝션 컴퓨터용 사용자 인터페이스 장치(100)는 적외선 카메라를 이용하여 결과물 출력 영역(200)을 촬영한 영상을 영상처리하여 사용자의 손 및 적외선 펜(300)의 궤적을 동시에 인식할 수도 있다.
먼저, 사용자의 손만 인식하는 경우를 설명하면, 프로젝션 컴퓨터용 사용자 인터페이스 장치(100)는 사용자의 손을 인식하기 위해 적외선 패턴광을 결과물 출력 영역(200)에 출력한다. 프로젝션 컴퓨터용 사용자 인터페이스 장치(100)는 적외선 카메라를 이용하여 결과물 출력 영역(200)을 촬영한다. 이때, 프로젝션 컴퓨터용 사용자 인터페이스 장치(100)는 촬영된 영상을 영상처리하여 패턴광의 변동을 검출한다. 프로젝션 컴퓨터용 사용자 인터페이스 장치(100)는 기검출한 패턴광의 변동을 근거로 사용자의 손을 추출하여 인식한다.
다음으로, 적외선 펜(300)의 궤적만 인식하는 경우를 설명하면, 프로젝션 컴퓨터용 사용자 인터페이스 장치(100)는 적외선 펜(300)의 궤적을 인식하기 위해서 적외선 패턴광을 출력하지 않은 상태에서 적외선 카메라를 이용하여 결과물 출력 영역(200)을 촬영한다. 이때, 프로젝션 컴퓨터용 사용자 인터페이스 장치(100)는 적외선 펜(300)에서 출력되는 적외선의 영상을 촬영한다. 프로젝션 컴퓨터용 사용자 인터페이스 장치(100)는 촬영된 영상을 영상처리하여 펜의 끝점을 인식한다.
마지막으로 사용자의 손 및 적외선 펜(300)의 궤적을 동시에 인식하는 경우를 설명하면, 프로젝션 컴퓨터용 사용자 인터페이스 장치(100)는 적외선 패턴광을 출력한 상태에서 결과물 출력 영역(200)을 촬영한 후에, 적외선 패턴광을 출력하지 않은 상태에서 결과물 출력 영역(200)을 촬영한다. 프로젝션 컴퓨터용 사용자 인터페이스 장치(100)는 적외선 패턴광을 출력한 상태에서 촬영된 영상을 영상처리하여 패턴광의 변동을 검출한다. 프로젝션 컴퓨터용 사용자 인터페이스 장치(100)는 기검출한 패턴광의 변동을 근거로 사용자의 양손을 추출하여 인식한다. 프로젝션 컴퓨터용 사용자 인터페이스 장치(100)는 적외선 패턴광을 출력하지 않은 상태에서 촬영된 영상을 영상처리하여 펜의 끝점을 인식한다. 프로젝션 컴퓨터용 사용자 인터페이스 장치(100)는 인식한 펜의 끝점을 근거로 인식한 사용자의 양손 중에서 적외선 펜(300)을 잡고 있는 손의 영역을 제거한다. 이를 통해, 프로젝션 컴퓨터용 사용자 인터페이스 장치(100)는 적외선 펜(300)을 잡고 있지 않은 손의 포스처와 적외선 펜(300)의 궤적을 동시에 인식한다. 이때, 프로젝션 컴퓨터용 사용자 인터페이스 장치(100)는 적외선 펜(300)을 잡고 있지 않은 손의 포스처와 적외선 펜(300)의 궤적을 이용하여 다양한 입력 이벤트를 생성한다.
이를 위해, 도 2에 도시된 바와 같이, 프로젝션 컴퓨터용 사용자 인터페이스 장치(100)는 프로젝터부(110), 패턴광 발생부(120), 카메라부(130), 동기화부(140), 영상 처리부(150), 제어부(160)를 포함하여 구성된다.
프로젝터부(110)는 결과물을 출력한다. 즉, 프로젝터부(110)는 프로젝터로 구성되며, 프로젝션 컴퓨터에서 연산한 결과물을 프로젝터를 통해 출력한다.
패턴광 발생부(120)는 특정 패턴의 적외선 패턴광을 프로젝터부(110)에 의해 결과물이 출력된 영역인 결과물 출력 영역(200)으로 출력한다. 즉, 패턴광 발생부(120)는 영상처리를 빠르고 쉽게, 저연산 구조의 영상처리를 할 수 있도록 하기 위해 영상처리에 도움이 되는 점, 선 등으로 구성된 인위적인 영상 패턴을 생성한다. 패턴광 발생부(120)는 생성한 영상 패턴에 해당하는 적외선 패턴광을 결과물 출력 영역(200)으로 출력한다(도 3 참조). 이때, 패턴광 발생부(120)는 제어부(160)로부터 패턴광 출력 제어신호를 수신하여 결과물 출력 영역으로 적외선 패턴광을 출력한다. 패턴광 발생부(120)는 적외선 패턴광 출력 중에 동기화부(140)로부터 패턴광 출력 제한 제어신호를 수신하면 적외선 패턴광의 출력을 중지한다.
카메라부(130)는 적외선 카메라로 구성되어, 결과물 출력 영역(200)에 대한 적외선 영상을 촬영한다. 이때, 카메라부(130)는 제어부(160)로부터의 제어신호에 따라 결과물 출력 영역(200)에 대한 적외선 영상을 촬영한다.
카메라부(130)는 적외선 패턴광이 출력된 상태에서 결과물 출력 영역(200)에 대한 적외선 영상을 촬영한다. 즉, 카메라부(130)는 사용자의 손 인식에 사용되는 영상을 획득하기 위해서, 적외선 패턴광이 출력된 상태에서 제어부(160)로부터 촬영 제어신호를 수신하면 결과물 출력 영역(200)을 촬영한다. 이때, 도 4에 도시된 바와 같이, 카메라부(130)에 의해 촬영되는 영상은 사용자의 손에 의해 적외선 패턴광이 변동된 영상이다. 카메라부(130)는 촬영한 적외선 영상들을 영상처리부에게로 전송한다.
카메라부(130)는 적외선 패턴광이 출력되지 않고 적외선 펜(300)에서만 적외선이 출력되는 상태에서 결과물 출력 영역(200)에 대한 적외선 영상을 촬영한다. 즉, 카메라부(130)는 적외선 펜(300)의 궤적 인식에 사용되는 영상을 획득하기 위해서, 적외선 패턴광이 출력되지 않은 상태에서 제어부(160)로부터 촬영 제어신호를 수신하면 결과물 출력 영역(200)을 촬영한다. 카메라부(130)는 촬영한 적외선 영상들을 영상처리부에게로 전송한다.
카메라부(130)는 적외선 패턴광이 출력된 상태에서 결과물 출력 영역(200)을 촬영한 후에, 적외선 패턴광이 출력되지 않은 상태에서 결과물 출력 영역(200)을 촬영한다. 즉, 카메라부(130)는 제어부(160)로부터 촬영 제어신호에 따라 적외선 패턴광이 출력된 상태에서 결과물 출력 영역(200)을 촬영한다(도 5의 A). 카메라부(130)는 제어부(160)로부터 촬영 제어신호 및 수직동기신호에 따라 수직동기신호를 발생하여 동기화부(140)에게로 전송한다. 카메라부(130)는 수직동기신호에 의해 적외선 패턴광의 출력이 중단된 후 결과물 출력 영역(200)을 촬영한다(도 5의 B). 카메라부(130)는 촬영한 적외선 영상들을 영상처리부에게로 전송한다.
동기화부(140)는 카메라부(130)와 패턴광 발생부(120)를 동기화한다. 즉, 동기화부(140)는 카메라부(130)와 패턴광 발생부(120)의 동기화를 시키는 기능을 수행하고 카메라부(130)로부터의 수직동기신호(VSYNC; Vertical Synchronizing Signal) 수신 여부를 근거로 패턴광 발생부(120)의 패턴광 출력을 동기화한다. 이때, 동기화부(140)는 카메라부(130)로부터 수직동기신호를 수신하면 패턴광 출력 제한 신호를 패턴광 발생부(120)에게로 전송한다.
영상 처리부(150)는 카메라부(130)에서 촬영한 적외선 영상으로부터 사용자의 손 및 적외선 펜(300)의 궤적을 추출한다. 즉, 영상처리부는 카메라부(130)에서 촬영된 영상신호를 영상처리하여 손의 모양(포스처) 및 손가락의 끝점 또는 펜의 끝점을 추출한다. 영상 처리부(150)는 적외선 패턴광이 출력된 상태에서 촬영된 적외선 영상에서의 패턴광의 변동을 근거로 사용자의 손을 인식한다. 영상 처리부(150)는 영상 처리부(150)는 적외선 패턴광을 출력하지 않은 상태에서 촬영된 영상을 영상처리하여 펜의 끝점을 인식한다. 영상 처리부(150)는 적외선 패턴광이 출력된 상태에서 촬영된 적외선 영상에서의 패턴광의 변동을 근거로 사용자의 양손을 추출하여 인식한다. 영상 처리부(150)는 적외선 패턴광을 출력하지 않은 상태에서 촬영된 영상을 영상처리하여 펜의 끝점을 인식한다. 영상 처리부(150)는 인식한 펜의 끝점을 근거로 인식한 사용자의 양손 중에서 적외선 펜(300)을 잡고 있는 손의 영역을 제거한다. 이를 통해, 영상 처리부(150)는 적외선 펜(300)을 잡고 있지 않은 손의 포스처와 적외선 펜(300)의 궤적을 동시에 인식한다.
영상처리부는 영상처리 결과(즉, 손의 모양(포스처), 손가락의 끝점, 펜의 끝점)을 프로젝션 컴퓨터의 입력으로 전송한다. 이때, 영상처리부는 시스템의 입력으로는 클릭, 드래그, 릴리즈 등과 같은 기본적인 마우스 이벤트, 손의 모양과 펜 끝점의 궤적을 이용하여 확대, 축소, 삭제 등의 입력 이벤트를 프로젝션 컴퓨터의 입력으로 전송한다.
이를 위해, 도 6에 도시된 바와 같이, 영상 처리부(150)는 적외선 패턴광이 포함된 영상에서 손의 영역을 추출하는 손 인식모듈(152)과, 적외선 패턴광이 꺼진 영상에서 펜의 끝점을 추출하는 펜 인식모듈(154)을 포함하여 구성된다. 이때, 영상 처리부(150)는 손 인식모듈(152) 및 펜 인식모듈(154)을 통해 적외선 펜(300)을 잡고 있는 손 및 적외선 펜(300)의 끝점을 추출할 수도 있다.
제어부(160)는 사용자 손 및 적외선 펜(300)의 인식을 위해 프로젝터부(110), 패턴광 발생부(120), 카메라부(130), 동기화부(140), 영상 처리부(150)를 제어한다.
제어부(160)는 프로젝션 컴퓨터의 출력을 출력하도록 프로젝터부(110)를 제어한다. 즉, 제어부(160)는 프로젝션 컴퓨터로부터 결과물이 입력되면 결과물 출력 제어신호와 함께 해당 결과물을 프로젝터부(110)에게로 전송한다. 그에 따라, 프로젝터부(110)는 결과물을 출력한다.
제어부(160)는 인식 모드에 따라 패턴광 발생부(120)와 동기화부(140) 및 카메라부(130)를 제어한다.
제어부(160)는 사용자의 손만 인식하는 모드인 경우 패턴광 출력 제어신호를 패턴광 발생부(120)에게로 전송한다. 패턴광 발생부(120)에 의해 적외선 패턴광이 결과물 출력 영역(200)으로 출력되면, 제어부(160)는 촬영 제어신호를 카메라부(130)에게로 전송하여 적외선 패턴광이 출력된 결과물 출력 영역(200)을 촬영하도록 제어한다.
제어부(160)는 적외선 펜(300)만 인식하는 모드인 경우 패턴광 출력 제한 제어신호를 패턴광 발생부(120)에게로 전송한다. 적외선 패턴광이 결과물 출력 영역(200)에 출력되지 않은 상태에서, 제어부(160)는 촬영 제어신호를 카메라부(130)에게로 전송하여 결과물 출력 영역(200)을 촬영하도록 제어한다.
제어부(160)는 사용자의 손과 적외선 펜(300)을 동시에 인식하는 경우 패턴광 출력 제어신호를 패턴광 발생부(120)에게로 전송한다. 패턴광 발생부(120)에 의해 적외선 패턴광이 결과물 출력 영역(200)으로 출력되면, 제어부(160)는 촬영 제어신호를 카메라부(130)에게로 전송하여 적외선 패턴광이 출력된 결과물 출력 영역(200)을 촬영하도록 제어한다. 제어부(160)는 촬영 제어신호 및 수직동기신호 발생 제어신호를 카메라부(130)에게로 전송하여 수직동기신호 발생 후에 결과물 출력 영역(200)을 촬영하도록 제어한다.
이하, 본 발명의 실시예에 따른 프로젝션 컴퓨터용 사용자 인터페이스 장치에 사용되는 적외선 펜을 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다. 도 7은 본 발명의 실시예에 따른 프로젝션 컴퓨터용 사용자 인터페이스 장치에 사용되는 적외선 펜을 설명하기 위한 도면이다.
도 7에 도시된 바와 같이, 적외선 펜(300)은 흔히 사용하는 펜 모양의 형태로 형성된다. 적외선 펜(300)은 글을 쓰기 위해서 바닥에 펜 끝이 닿아 눌러지면 적외선이 켜지고 펜을 떼면 적외선이 꺼지는 일반적인 구조로 형성된다. 이를 위해, 적외선 펜(300)은 적외선을 외부로 송출하는 적외선을 송출하는 적외선 송출부(320)와, 적외선 송출부(320)에 의해 압축되어 배터리(360)와 적외선 송출부(320)를 연결하는 스프링(340), 및 스프링(340)을 통해 적외선 송출부(320)로 구동 전원을 공급하는 배터리(360)를 포함하여 구성된다.
적외선 송출부(320)는 적외선 펜(300)의 끝점에 배치된다. 적외선 송출부(320)는 스프링(340)을 통해 배터리(360)와 단락되어 구동 전원을 공급받는다. 즉, 적외선 송출부(320)는 펜이 눌러지면 스프링(340)에 의해 배터리(360)와 연결되어 배터리(360)로부터 구동 전원을 입력받는다. 적외선 송출부(320)는 구동 전원이 입력되는 적외선을 외부로 송출한다. 그에 따라, 적외선 송출부(320)는 펜이 눌러지면 적외선을 송출하고, 펜이 바닥에서 떨어지면 적외선의 송출을 중지한다.
적외선 펜(300)은 상술한 구조를 통해 일반적인 펜과 같은 자연스러운 사용을 가능하게 한다.
이하, 본 발명의 실시예에 따른 프로젝션 컴퓨터용 사용자 인터페이스 장치를 이용한 인터페이스 방법을 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다. 도 8은 본 발명의 실시예에 따른 프로젝션 컴퓨터용 사용자 인터페이스 장치를 이용한 인터페이스 방법을 설명하기 위한 흐름도이고, 도 9 내지 도 11은 도 8의 손 및 적외선 인식 모드 단계를 설명하기 위한 흐름도이다.
먼저, 프로젝션 컴퓨터용 사용자 인터페이스 장치(100)는 인식 모드를 설정한다(100). 즉, 프로젝션 컴퓨터용 사용자 인터페이스 장치(100)는 손 인식 모드, 펜 인식 모드, 손 및 펜 인식 모드 중에 하나의 인식 모드를 설정한다. 이때, 프로젝션 컴퓨터용 사용자 인터페이스 장치(100)는 사용자로부터 인식 모드를 입력받는다. 물론, 프로젝션 컴퓨터용 사용자 인터페이스 장치(100)는 인식 모드의 설정을 생략하고, 후술한 손 및 적외선 펜(300) 인식 단계를 통해 자동으로 인식 모드를 설정할 수도 있다.
프로젝션 컴퓨터용 사용자 인터페이스 장치(100)는 프로젝션 컴퓨터의 출력 결과물을 출력한다(S200). 즉, 제어부(160)는 프로젝션 컴퓨터로부터 결과물이 입력되면 결과물 출력 제어신호와 함께 해당 결과물을 프로젝터부(110)에게로 전송한다. 그에 따라, 프로젝터부(110)는 결과물을 출력한다.
프로젝션 컴퓨터용 사용자 인터페이스 장치(100)는 기설정된 인식 모드에 따라 사용자의 손 및 적외선 펜(300)을 인식한다(S300). 여기서, 프로젝션 컴퓨터용 사용자 인터페이스 장치(100)는 인식 모드에 따라 사용자의 손 및 적외선 펜(300)을 인식하는 방법이 달라진다. 이를 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다.
먼저, 도 9에 도시된 바와 같이, 손 인식 모드가 설정되면(S322), 제어부(160)는 패턴광 발생부(120)를 제어하여 결과물 출력 영역(200)에 적외선 패턴광을 출력한다(S324). 즉, 사용자의 손만 인식하는 손 인식 모드가 설정되면, 제어부(160)는 패턴광 출력 제어신호를 패턴광 발생부(120)에게로 전송한다. 그에 따라, 패턴광 발생부(120)는 소정 패턴을 갖는 적외선 패턴광이 결과물 출력 영역(200)으로 출력한다.
제어부(160)는 카메라부(130)를 제어하여 적외선 패턴광이 출력된 결과물 출력 영역(200)에 대한 적외선 영상을 획득한다(S326). 즉, 제어부(160)는 촬영 제어신호를 카메라부(130)에게로 전송하여 적외선 패턴광이 출력된 결과물 출력 영역(200)을 촬영하도록 제어한다. 그에 따라, 카메라부(130)는 결과물 출력 영역(200)을 촬영하여 적외선 영상을 획득한다. 카메라부(130)는 획득한 적외선 영상을 영상 처리부(150)에게로 전송한다.
영상 처리부(150)는 기획득한 적외선 영상을 영상처리하여 사용자의 손을 인식한다(S328). 즉, 영상 처리부(150)는 카메라부(130)에서 촬영한 적외선 영상으로부터 사용자의 손을 추출한다. 이때, 영상 처리부(150)는 손의 모양(포스처) 및 손가락의 끝점을 추출한다.
다음으로, 도 10에 도시된 바와 같이, 펜 인식 모드가 설정되면(S342), 제어부(160)는 패턴광 발생부(120)를 제어하여 결과물 출력 영역(200)으로의 적외선 패턴광을 출력을 차단한다(S344). 즉, 적외선 펜(300)만 인식하는 펜 인식 모드가 설정되면, 제어부(160)는 패턴광 출력 제한 제어신호를 패턴광 발생부(120)에게로 전송한다. 그에 따라, 패턴광 발생부(120)는 결과물 출력 영역(200)으로의 적외선 패턴광 출력을 중지한다.
제어부(160)는 카메라부(130)를 제어하여 적외선 패턴광이 출력되지 않은 상태에서 결과물 출력 영역(200)에 대한 적외선 영상을 획득한다(S346). 즉, 제어부(160)는 촬영 제어신호를 카메라부(130)에게로 전송하여 결과물 출력 영역(200)을 촬영하도록 제어한다. 그에 따라, 카메라부(130)는 적외선 패턴광이 출력되지 않은 결과물 출력 영역(200)에 대한 적외선 영상을 촬영한다. 카메라부(130)는 획득한 적외선 영상을 영상 처리부(150)에게로 전송한다.
영상 처리부(150)는 기획득한 적외선 영상을 영상처리하여 적외선 펜(300)의 궤적을 인식한다(S348). 즉, 영상 처리부(150)는 카메라부(130)에서 촬영한 적외선 영상으로부터 적외선 펜(300)에서 송출되는 적외선의 궤적을 추출한다. 물론, 영상 처리부(150)는 적외선 영상의 영상처리를 통해 적외선 펜(300)의 끝점을 인식할 수도 있다.
마지막으로, 도 11에 도시된 바와 같이, 손과 펜 동시 인식 모드가 설정되면(S361), 제어부(160)는 패턴광 발생부(120)를 제어하여 결과물 출력 영역(200)에 적외선 패턴광을 출력한다(S362). 즉, 사용자의 손과 펜을 동시에 인식하는 손과 펜 동시 인식 모드가 설정되면, 제어부(160)는 패턴광 출력 제어신호를 패턴광 발생부(120)에게로 전송한다. 그에 따라, 패턴광 발생부(120)는 소정 패턴을 갖는 적외선 패턴광이 결과물 출력 영역(200)으로 출력한다.
제어부(160)는 카메라부(130)를 제어하여 적외선 패턴광이 출력된 결과물 출력 영역(200)에 대한 적외선 영상을 획득한다(S363). 즉, 제어부(160)는 촬영 제어신호를 카메라부(130)에게로 전송하여 적외선 패턴광이 출력된 결과물 출력 영역(200)을 촬영하도록 제어한다. 그에 따라, 카메라부(130)는 결과물 출력 영역(200)을 촬영하여 적외선 영상을 획득한다. 카메라부(130)는 획득한 적외선 영상을 영상 처리부(150)에게로 전송한다.
제어부(160)는 패턴광 발생부(120)를 제어하여 결과물 출력 영역(200)으로의 적외선 패턴광을 출력을 차단한다(S364). 즉, 제어부(160)는 패턴광 출력 제한 제어신호를 패턴광 발생부(120)에게로 전송한다. 그에 따라, 패턴광 발생부(120)는 결과물 출력 영역(200)으로의 적외선 패턴광 출력을 중지한다.
제어부(160)는 카메라부(130)를 제어하여 적외선 패턴광이 출력되지 않은 상태에서 결과물 출력 영역(200)에 대한 적외선 영상을 획득한다(S365). 즉, 제어부(160)는 촬영 제어신호를 카메라부(130)에게로 전송하여 결과물 출력 영역(200)을 촬영하도록 제어한다. 그에 따라, 카메라부(130)는 적외선 패턴광이 출력되지 않은 결과물 출력 영역(200)에 대한 적외선 영상을 촬영한다. 카메라부(130)는 획득한 적외선 영상을 영상 처리부(150)에게로 전송한다.
영상 처리부(150)는 기획득한 적외선 영상들에 대한 영상처리를 통해 손과 펜을 인식한다(S366). 즉, 영상 처리부(150)는 적외선 패턴광이 출력된 상태에서 촬영된 적외선 영상에서의 패턴광의 변동을 근거로 사용자의 양손을 추출하여 인식한다. 영상 처리부(150)는 적외선 패턴광을 출력하지 않은 상태에서 촬영된 영상을 영상처리하여 펜의 끝점을 인식한다. 영상 처리부(150)는 인식한 펜의 끝점을 근거로 인식한 사용자의 양손 중에서 적외선 펜(300)을 잡고 있는 손의 영역을 제거한다. 이를 통해, 영상 처리부(150)는 적외선 펜(300)을 잡고 있지 않은 손의 포스처와 적외선 펜(300)의 궤적을 동시에 인식한다.
프로젝션 컴퓨터용 사용자 인터페이스 장치(100)는 인식 결과에 따른 입력 이벤트를 프로젝션 컴퓨터로 입력한다(S400). 프로젝션 컴퓨터용 사용자 인터페이스 장치(100)의 영상처리부는 S300 단계에서의 사용자의 손 및 적외선 펜(300) 인식 결과를 근거로 마우스 이벤트 등의 다양한 입력 이벤트를 프로젝션 컴퓨터로 입력한다. 즉, 영상처리부는 시스템의 입력으로 클릭, 드래그, 릴리즈 등과 같은 기본적인 마우스 이벤트, 손의 모양과 펜 끝점의 궤적을 이용하여 확대, 축소, 삭제 등의 입력 이벤트를 프로젝션 컴퓨터의 입력으로 전송한다.
상술한 바와 같이, 본 발명에 따르면, 프로젝션 컴퓨터용 사용자 인터페이스 장치 및 이를 이용한 인터페이스 방법은 결과물 출력 영역으로 출력되는 적외선 패턴광의 변동을 근거로 사용자의 손을 인식함으로써, 저연산 구조로 맨손을 인식할 수 있는 효과가 있다.
또한, 프로젝션 컴퓨터용 사용자 인터페이스 장치 및 이를 이용한 인터페이스 방법은 적외선 패턴광의 변동 및 적외선 펜의 궤적을 인식함으로써, 사용자의 맨손 및 펜을 동시에 사용할 수 있는 효과가 있다.
또한, 프로젝션 컴퓨터용 사용자 인터페이스 장치 및 이를 이용한 인터페이스 방법은 바닥에 직접 손을 붙이고 펜을 사용할 수 있기 때문에 기존의 펜을 사용하는 것과 유사한 사용편의성을 제공할 수 있다.
이상에서 본 발명에 따른 바람직한 실시예에 대해 설명하였으나, 다양한 형태로 변형이 가능하며, 본 기술분야에서 통상의 지식을 가진자라면 본 발명의 특허청구범위를 벗어남이 없이 다양한 변형예 및 수정예를 실시할 수 있을 것으로 이해된다.
100: 프로젝션 컴퓨터용 사용자 인터페이스 장치
110: 프로젝터부 120: 패턴광 발생부
130: 카메라부 140: 동기화부
150: 영상 처리부 152: 손 인식모듈
154: 펜 인식모듈 160: 제어부
200: 결과물 출력 영역 300: 적외선 펜
320: 적외선 송출부 340: 스프링
360: 배터리

Claims (20)

  1. 프로젝션 컴퓨터의 결과물을 출력하는 프로젝터부;
    상기 결과물이 출력되는 결과물 출력 영역에 적외선 패턴광을 출력하는 패턴광 발생부;
    상기 결과물 출력 영역을 촬영하여 영상을 획득하는 카메라부;
    상기 카메라부에서 획득한 영상을 근거로 사용자 손 및 적외선 펜 중에 적어도 하나를 인식하는 영상 처리부; 및
    인식 모드를 근거로 상기 패턴광 발생부와 카메라부 및 영상 처리부를 제어하는 제어부를 포함하는 것을 특징으로 하는 프로젝션 컴퓨터용 사용자 인터페이스 장치.
  2. 청구항 1에 있어서,
    상기 카메라부로부터의 수직동기신호 수신 여부를 근거로 상기 패턴광 발생부의 적외선 패턴광 출력을 제어하여 상기 카메라부 및 상기 패턴광 발생부를 동기화하는 동기화부를 더 포함하는 것을 특징으로 하는 프로젝션 컴퓨터용 사용자 인터페이스 장치.
  3. 청구항 1에 있어서,
    상기 제어부는,
    손 인식 모드로 설정되면, 상기 패턴광 발생부를 제어하여 상기 결과물 출력 영역에 적외선 패턴광을 출력한 후에, 상기 카메라부를 제어하여 적외선 패턴광이 출력된 결과물 출력 영역을 촬영하는 것을 특징으로 하는 프로젝션 컴퓨터용 사용자 인터페이스 장치.
  4. 청구항 3에 있어서,
    상기 영상 처리부는,
    적외선 패턴광이 출력된 결과물 출력 영역을 촬영 영상에서 상기 적외선 패턴광의 변동을 근거로 사용자 손을 인식하는 것을 특징으로 하는 프로젝션 컴퓨터용 사용자 인터페이스 장치.
  5. 청구항 1에 있어서,
    상기 제어부는,
    펜 인식 모드로 설정되면, 상기 패턴광 발생부를 제어하여 상기 결과물 출력 영역으로의 적외선 패턴광을 출력을 차단한 후에, 상기 카메라부를 제어하여 적외선 패턴광이 출력되지 않은 결과물 출력 영역을 촬영하는 것을 특징으로 하는 프로젝션 컴퓨터용 사용자 인터페이스 장치.
  6. 청구항 5에 있어서,
    상기 영상 처리부는,
    적외선 패턴광이 출력되지 않은 결과물 출력 영역을 촬영한 영상에서 적외선 펜에서 송출되는 적외선의 궤적을 인식하는 것을 특징으로 하는 프로젝션 컴퓨터용 사용자 인터페이스 장치.
  7. 청구항 1에 있어서,
    상기 제어부는,
    손과 펜 동시 인식 모드로 설정되면,
    상기 패턴광 발생부를 제어하여 상기 결과물 출력 영역으로의 적외선 패턴광을 출력한 후에, 상기 카메라부를 제어하여 적외선 패턴광이 출력된 결과물 출력 영역을 촬영하고,
    상기 패턴광 발생부를 제어하여 상기 결과물 출력 영역으로의 적외선 패턴광을 출력을 차단한 후에, 상기 카메라부를 제어하여 적외선 패턴광이 출력되지 않은 결과물 출력 영역을 촬영하는 것을 특징으로 하는 프로젝션 컴퓨터용 사용자 인터페이스 장치.
  8. 청구항 7에 있어서,
    상기 영상 처리부는,
    적외선 패턴광이 출력된 상태에서 촬영된 적외선 영상에서의 패턴광의 변동을 근거로 사용자의 양손을 추출하여 인식하고.
    적외선 패턴광을 출력하지 않은 상태에서 촬영된 영상으로부터 적외선 펜의 끝점을 인식하고,
    상기 인식한 펜의 끝점을 근거로 상기 인식한 사용자의 양손 중에서 적외선 펜을 잡고 있는 손의 영역을 제거하여 적외선 펜을 잡고 있지 않은 손의 포스처와 적외선 펜의 궤적을 동시에 인식하는 것을 특징으로 하는 프로젝션 컴퓨터용 사용자 인터페이스 장치.
  9. 청구항 1에 있어서,
    상기 영상 처리부는,
    적외선 패턴광이 포함된 영상에서 손의 영역을 추출하는 손 인식모듈; 및
    적외선 패턴광이 꺼진 영상에서 적외선 펜의 끝점을 추출하는 펜 인식모듈을 포함하는 것을 특징으로 하는 프로젝션 컴퓨터용 사용자 인터페이스 장치.
  10. 청구항 1에 있어서,
    상기 영상 처리부는,
    사용자 손 및 적외선 펜의 인식 결과를 근거로 입력 이벤트를 생성하는 것을 특징으로 하는 프로젝션 컴퓨터용 사용자 인터페이스 장치.
  11. 적외선 펜의 하우징 내부에 삽입되어 구동 전원을 공급하는 배터리;
    적외선 펜의 끝점에 배치되어 구동 전원에 의해 구동하여 적외선을 외부로 송출하는 적외선 송출부; 및
    일측이 상기 배터리에 연결되고, 타측이 상기 적외선 송출부에 연결되어 상기 배터리로부터의 구동 전원을 상기 적외선 송출부로 공급하는 스프링을 포함하는 것을 특징으로 하는 프로젝션 컴퓨터용 사용자 인터페이스 장치용 적외선 펜.
  12. 청구항 11에 있어서,
    상기 적외선 송출부는,
    적외선 펜이 눌러지면 상기 스프링에 의해 배터리와 연결되어 상기 구동 전원을 입력받는 것을 특징으로 하는 프로젝션 컴퓨터용 사용자 인터페이스 장치용 적외선 펜.
  13. 프로젝션 컴퓨터용 사용자 인터페이스 장치에 의해, 인식 모드를 설정하는 단계;
    상기 프로젝션 컴퓨터용 사용자 인터페이스 장치에 의해, 프로젝션 컴퓨터의 결과물을 출력하는 단계;
    상기 프로젝션 컴퓨터용 사용자 인터페이스 장치에 의해, 상기 설정된 인식 모드에 따라 사용자의 손 및 적외선 펜 중에 적어도 하나를 인식하는 단계; 및
    상기 프로젝션 컴퓨터용 사용자 인터페이스 장치에 의해, 상기 인식하는 단계에서의 인식 결과에 따른 입력 이벤트를 프로젝션 컴퓨터로 입력하는 단계를 포함하는 것을 특징으로 하는 프로젝션 컴퓨터용 사용자 인터페이스 장치를 이용한 인터페이스 방법.
  14. 청구항 13에 있어서,
    상기 인식하는 단계는,
    손 인식 모드로 설정되면 패턴광 발생부에 의해, 결과물 출력 영역에 적외선 패턴광을 출력하는 단계; 및
    적외선 패턴광이 출력된 후에 카메라부에 의해, 상기 결과물 출력 영역을 촬영하여 영상을 획득하는 단계를 포함하는 것을 특징으로 하는 프로젝션 컴퓨터용 사용자 인터페이스 장치를 이용한 인터페이스 방법.
  15. 청구항 14에 있어서,
    상기 인식하는 단계는,
    영상 처리부에 의해, 상기 획득한 영상에서 상기 적외선 패턴광의 변동을 근거로 사용자 손을 인식하는 단계를 포함하는 것을 특징으로 하는 프로젝션 컴퓨터용 사용자 인터페이스 장치를 이용한 인터페이스 방법.
  16. 청구항 13에 있어서,
    상기 인식하는 단계는,
    펜 인식 모드로 설정되면 패턴광 발생부에 의해, 결과물 출력 영역으로의 적외선 패턴광 출력을 차단하는 단계; 및
    패턴광의 출력이 차단된 후에 카메라 부에 의해, 결과물 출력 영역을 촬영하여 영상을 획득하는 단계를 포함하는 것을 특징으로 하는 프로젝션 컴퓨터용 사용자 인터페이스 장치를 이용한 인터페이스 방법.
  17. 청구항 16에 있어서,
    영상 처리부에 의해, 상기 획득한 영상에서 적외선 펜에서 송출되는 적외선의 궤적을 인식하는 단계를 더 포함하는 것을 특징으로 하는 프로젝션 컴퓨터용 사용자 인터페이스 장치를 이용한 인터페이스 방법.
  18. 청구항 13에 있어서,
    상기 인식하는 단계는,
    손과 펜 동시 인식 모드로 설정되면 패턴광 발생부에 의해, 결과물 출력 영역으로의 적외선 패턴광을 출력하는 단계;
    적외선 패턴광이 출력된 후에 카메라부에 의해, 상기 결과물 출력 영역을 촬영하여 영상을 획득하는 단계;
    상기 카메라부로부터 수직동기신호를 수신한 상기 패턴광 발생부에 의해, 결과물 출력 영역으로의 적외선 패턴광 출력을 차단하는 단계;
    패턴광의 출력이 차단된 후에 상기 카메라 부에 의해, 결과물 출력 영역을 촬영하여 영상을 획득하는 단계; 및
    상기 획득한 영상들을 근거로 사용자의 손 및 적외선 펜을 인식하는 단계를 포함하는 것을 특징으로 하는 프로젝션 컴퓨터용 사용자 인터페이스 장치를 이용한 인터페이스 방법.
  19. 청구항 18에 있어서,
    상기 사용자의 손 및 펜을 인식하는 단계는,
    상기 영상 처리부에 의해, 적외선 패턴광이 출력된 상태에서 촬영된 영상에서의 패턴광의 변동을 근거로 사용자의 양손을 추출하는 단계;
    상기 영상 처리부에 의해, 적외선 패턴광을 출력하지 않은 상태에서 촬영된 영상으로부터 적외선 펜의 끝점을 인식하는 단계;
    상기 영상 처리부에 의해, 상기 인식한 적외선 펜의 끝점을 근거로 상기 인식한 사용자의 양손 중에서 적외선 펜을 잡고 있는 손의 영역을 제거하는 단계; 및
    상기 영상 처리부에 의해, 적외선 펜을 잡고 있지 않은 손 및 적외선 펜을 동시에 인식하는 단계를 포함하는 것을 특징으로 하는 프로젝션 컴퓨터용 사용자 인터페이스 장치를 이용한 인터페이스 방법.
  20. 청구항 19에 있어서,
    상기 적외선 펜을 잡고 있지 않은 손 및 적외선 펜을 동시에 인식하는 단계에서는,
    상기 영상 처리부에 의해, 상기 손의 포스처 및 상기 적외선 펜의 궤적을 동시에 인식하는 것을 특징으로 하는 프로젝션 컴퓨터용 사용자 인터페이스 장치를 이용한 인터페이스 방법.
KR1020120071660A 2012-07-02 2012-07-02 프로젝션 컴퓨터용 사용자 인터페이스 장치 및 이를 이용한 인터페이스 방법 KR20140004335A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120071660A KR20140004335A (ko) 2012-07-02 2012-07-02 프로젝션 컴퓨터용 사용자 인터페이스 장치 및 이를 이용한 인터페이스 방법
US13/917,006 US20140002421A1 (en) 2012-07-02 2013-06-13 User interface device for projection computer and interface method using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120071660A KR20140004335A (ko) 2012-07-02 2012-07-02 프로젝션 컴퓨터용 사용자 인터페이스 장치 및 이를 이용한 인터페이스 방법

Publications (1)

Publication Number Publication Date
KR20140004335A true KR20140004335A (ko) 2014-01-13

Family

ID=49777626

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120071660A KR20140004335A (ko) 2012-07-02 2012-07-02 프로젝션 컴퓨터용 사용자 인터페이스 장치 및 이를 이용한 인터페이스 방법

Country Status (2)

Country Link
US (1) US20140002421A1 (ko)
KR (1) KR20140004335A (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9507411B2 (en) * 2009-09-22 2016-11-29 Facebook, Inc. Hand tracker for device with display
CN104331929B (zh) * 2014-10-29 2018-02-02 深圳先进技术研究院 基于视频地图与增强现实的犯罪现场还原方法
CN105677030B (zh) * 2016-01-04 2018-11-09 联想(北京)有限公司 一种控制方法及电子设备
CN105578164B (zh) * 2016-01-04 2017-11-28 联想(北京)有限公司 一种控制方法及电子设备
JP6668764B2 (ja) * 2016-01-13 2020-03-18 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
JP6668763B2 (ja) * 2016-01-13 2020-03-18 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
CN105929938A (zh) 2016-03-31 2016-09-07 联想(北京)有限公司 一种信息处理方法及电子设备
JP6763434B2 (ja) * 2016-10-27 2020-09-30 日本電気株式会社 情報入力装置および情報入力方法
JPWO2018207235A1 (ja) * 2017-05-08 2020-03-12 株式会社ネットアプリ 入出力システム、スクリーンセット、入出力方法、及び、プログラム
TW202008120A (zh) * 2018-07-25 2020-02-16 翰碩電子股份有限公司 訊息產生系統及訊息產生工具
KR101977332B1 (ko) * 2018-08-03 2019-05-10 주식회사 버넥트 증강현실 원격화상통신환경에서 직관적인 가이드를 위한 테이블탑 시스템
CN110267087B (zh) * 2019-06-14 2022-03-11 高新兴科技集团股份有限公司 一种动态标签添加方法、设备及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080018591A1 (en) * 2006-07-20 2008-01-24 Arkady Pittel User Interfacing
FR2933511A1 (fr) * 2008-07-04 2010-01-08 Optinnova Dispositif et procede de visualisation interactif utilisant une camera de detection et un pointeur optique
EP2343629A3 (en) * 2010-01-08 2015-01-21 Integrated Digital Technologies, Inc. Stylus and touch input system
EP2378394A3 (en) * 2010-04-15 2015-03-25 Electronics and Telecommunications Research Institute User interface device and method for recognizing user interaction using same
US8730210B2 (en) * 2011-10-19 2014-05-20 Microvision, Inc. Multipoint source detection in a scanned beam display
US8982066B2 (en) * 2012-03-05 2015-03-17 Ricoh Co., Ltd. Automatic ending of interactive whiteboard sessions

Also Published As

Publication number Publication date
US20140002421A1 (en) 2014-01-02

Similar Documents

Publication Publication Date Title
KR20140004335A (ko) 프로젝션 컴퓨터용 사용자 인터페이스 장치 및 이를 이용한 인터페이스 방법
EP2677398A2 (en) Virtual touch device without pointer on display surface
JP6393341B2 (ja) 投射型映像表示装置
KR102147430B1 (ko) 가상 공간 멀티 터치 인터랙션 장치 및 방법
KR101343748B1 (ko) 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치
JP6390799B2 (ja) 入力装置、入力方法、及びプログラム
TW201426413A (zh) 三維互動裝置及其操控方法
JP2009251702A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JPWO2017057106A1 (ja) 入力装置、入力方法、及びプログラム
CN107239177A (zh) 显示系统、显示装置、信息处理装置以及信息处理方法
CN106293442B (zh) 一种信息处理方法及电子设备
KR20070043469A (ko) 장애인을 위한 마우스 동작 인식 시스템
TWI486815B (zh) 顯示設備及其控制系統和方法
WO2018006481A1 (zh) 一种移动终端的体感操作方法及装置
CN201369027Y (zh) 一种红外激光笔遥指虚拟触摸系统
US9300908B2 (en) Information processing apparatus and information processing method
CN111580677A (zh) 一种人机交互方法及人机交互系统
JP2013218423A (ja) 指向性映像コントロール装置及びその方法
Colaço Sensor design and interaction techniques for gestural input to smart glasses and mobile devices
KR20160055407A (ko) 홀로그래피 터치 방법 및 프로젝터 터치 방법
US20140055354A1 (en) Multi-mode interactive projection system, pointing device thereof, and control method thereof
US20140184506A1 (en) Electro-optical pointing device
TWI666580B (zh) Virtual input system
JP2009205609A (ja) ポインティング装置
CN213601181U (zh) 一种人机交互系统

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid