KR20130020337A - 사용자 인터랙션 장치 및 방법 - Google Patents

사용자 인터랙션 장치 및 방법 Download PDF

Info

Publication number
KR20130020337A
KR20130020337A KR1020110082921A KR20110082921A KR20130020337A KR 20130020337 A KR20130020337 A KR 20130020337A KR 1020110082921 A KR1020110082921 A KR 1020110082921A KR 20110082921 A KR20110082921 A KR 20110082921A KR 20130020337 A KR20130020337 A KR 20130020337A
Authority
KR
South Korea
Prior art keywords
image
pattern image
unit
infrared pattern
infrared
Prior art date
Application number
KR1020110082921A
Other languages
English (en)
Other versions
KR101446902B1 (ko
Inventor
이동우
정현태
신희숙
임정묵
신승용
손용기
조일연
박준석
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020110082921A priority Critical patent/KR101446902B1/ko
Priority to US13/588,019 priority patent/US20130044054A1/en
Publication of KR20130020337A publication Critical patent/KR20130020337A/ko
Application granted granted Critical
Publication of KR101446902B1 publication Critical patent/KR101446902B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/88—Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 레이저를 이용한 적외선 패턴 영상을 생성하고, 적외선 패턴 영상의 감지 및 영상 처리를 통해 사용자 입력을 인식할 수 있는 사용자 인터랙션 장치 및 방법에 관한 것이다.
이를 위하여 본 발명의 실시 예에 따른 사용자 인터랙션 장치는 적외선 패턴 영상을 생성하는 패턴 영상 생성부와, 적외선 패턴 영상이 포함된 영상을 출력하는 영상 출력부와, 영상에서 적외선 패턴 영상을 캡쳐하는 패턴 영상 캡쳐부와, 캡쳐된 적외선 패턴 영상에 대한 영상 처리를 수행하여 사용자 입력을 인식하는 영상 인식부와, 인식된 사용자 입력을 토대로 소정의 이벤트를 생성하여 임의의 응용 프로그램을 제어하거나 임의의 응용 프로그램에 소정의 이벤트를 전달하는 제어부를 포함할 수 있다.

Description

사용자 인터랙션 장치 및 방법{METHOD AND APPARATUS FOR USER INTERRACTION}
본 발명은 사용자 인터랙션 장치 및 방법에 관한 것으로, 더욱 상세하게는 스탠드 형태의 시스템에 영상 출력을 위하여 프로젝터와 카메라를 장착한 후 적외선 패턴 영상의 감지 및 영상 처리를 통해 사용자 입력을 인식할 수 있는 사용자 인터랙션 장치 및 방법에 관한 것이다.
최근 기술의 발달로 프로젝터 및 카메라가 소형화 되어 모바일 기기에 탑재가 되면서 이러한 소형 프로젝터 및 카메라를 착용형 형태로 제작하여 다양한 서비스를 제공하고자 하는 개념적인 제시(MIT Sixth Sense)뿐 아니라, 포터블 형태로 가지고 다니면서 사용할 수 있는 시스템(Microsoft사의 Mobile Surface, Light Blue Optics사의 Light Touch)도 개발되고 있다. 물론 이러한 시스템을 사용함으로써, 디지털 단말상의 화면이 아닌 현실의 물체(객체) 위에 디지털 정보를 표현하는 것이 가능하게 되었고, 또한 새로운 서비스의 창출도 가능하게 되었다.
이러한 시스템에서 사용자에게 편리한 사용을 위해서는 손이나 손가락 등에 별도의 식별 장치를 부착하지 않은 맨손을 이용한 인터랙션 방법이 제공 되어야 하며 임베디드 시스템에서도 빠르게 사용할 수 있도록 하여 크기나 시스템의 부하 및 적은 비용으로 제작 할 수 있는 방법을 제공하여야 한다.
기존의 영상인식 기술은 칼라 카메라를 이용하여 복잡한 알고리즘으로 얼굴이나 제스처 등을 인식하는 기술이 주를 이루고 있다. 이러한 기술들은 매우 빠른 컴퓨터를 필요로 하며 임베디드 시스템과 같은 소형 제품에 적용하기에는 부적절 하다. 특히 프로젝션되는 영상에서 손을 트래킹하거나 제스처를 인식하는 것은 단순히 프로젝터의 영상이 없는 곳에서 카메라를 이용해서 영상인식을 하는 것과는 다르다. 즉, 영상인식에서 많이 사용하는 방법으로 피부색과 같은 특정 칼라를 지정하여 인식하는 방식은 프로젝터 환경에서는 출력 영상이 손과 같은 대상체에 투사가 되기 때문에 인식률이 현저하게 떨어지게 되며 광원의 변화가 심하기 때문에 인식자체가 불가능하게 될 수 있다.
한편, 프로젝션 영상과 인터랙션하는 예로는 천정에 프로젝터를 거치하고 카메라를 이용하여 사용자의 움직임을 인식하고 이를 바탕으로 프로젝션 영상과 인터랙션하는 시스템이 있으나 영상처리에 많은 시스템 자원을 요구할 뿐만 아니라 손가락의 움직임 및 터치와 같은 정밀한 인식에는 적용할 수 없다.
미국특허 등록번호 US7599561에는 프로젝션-비젼 테이블탑 시스템의 구성 및 물체 인식, 스크린에 터치 이벤트를 인식하는 방법에 대한 기술이 개시되어 있습니다.
상기와 같은 필요성에 의해 안출된 것으로서, 본 발명의 목적은 레이저를 이용한 적외선 패턴 영상을 생성하고, 적외선 패턴 영상의 감지 및 영상 처리를 통해 사용자 입력을 인식할 수 있는 사용자 인터랙션 장치 및 방법을 제공하는데 있다.
또한, 본 발명은 적외선을 이용하여 패턴 영상을 생성하고, 생성된 패턴 영상의 변화만을 빠르게 처리하도록 하여 임베디드 시스템과 같은 저사양의 시스템에 적용 가능한 사용자 인터랙션 장치 및 방법을 제공하는데 있다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 본 발명의 실시 예에 따른 사용자 인터랙션 장치는 적외선 패턴 영상을 생성하는 패턴 영상 생성부와, 상기 적외선 패턴 영상 출력된 곳에 컴퓨터의 영상을 출력하는 영상 출력부와, 상기 영상에서 상기 적외선 패턴 영상을 캡쳐하는 패턴 영상 캡쳐부와, 상기 캡쳐된 적외선 패턴 영상에 대한 영상 처리를 수행하여 사용자 입력을 인식하는 영상 인식부와, 상기 인식된 사용자 입력을 토대로 소정의 이벤트를 생성하여 임의의 응용 프로그램을 제어하거나 상기 임의의 응용 프로그램에 상기 소정의 이벤트를 전달하는 제어부를 포함할 수 있다.
본 발명의 실시 예에 따른 사용자 인터랙션 장치에서 상기 패턴 영상 생성부는, 적외선 레이저를 출력하는 레이저부와, 상기 적외선 레이저의 빛을 회절시켜 상기 적외선 패턴 영상을 생성하는 회절 격자부를 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 사용자 인터랙션 장치에서 상기 패턴 영상 캡쳐부는, 상기 적외선 패턴 영상을 캡쳐하는 IR 카메라인 것을 특징으로 한다.
본 발명의 실시 예에 따른 사용자 인터랙션 장치는 상기 적외선 패턴 영상을 포함하는 영상 내 객체 또는 인쇄된 글자 또는 프로젝션된 영상을 인식하는 RGB 카메라를 더 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 사용자 인터랙션 장치에서 상기 영상 인식부는, 상기 영상 처리한 적외선 패턴 영상의 포커스 상태 또는 왜곡 상태 또는 밝기 상태 중에서 적어도 하나 이상의 상태를 감지하여 상기 사용자 입력 인식하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 사용자 인터랙션 장치에서 상기 제어부는, 상기 인식된 사용자 입력에 따라 마우스 이벤트 또는 제스처 또는 포스처와 같은 상기 소정의 이벤트를 생성하는 이벤트 발생부를 포함하는 것을 특징으로 한다.
본 발명의 다른 측면에 따르면, 본 발명의 실시 예에 따른 사용자 인터랙션 방법은 적외선 패턴 영상을 생성하는 단계와, 상기 적외선 패턴 영상을 프로젝터의 출력 영역(or 영상)에 출력하는 단계와, 상기 영상에서 상기 적외선 패턴 영상을 캡쳐하는 단계와, 상기 캡쳐된 적외선 패턴 영상의 변화를 감지하는 단계와, 상기 변화가 감지되면, 상기 적외선 패턴 영상의 변화에 근거하여 사용자 입력을 인식하는 단계와, 상기 인식된 사용자 입력을 토대로 소정의 이벤트를 생성하여 임의의 응용 프로그램을 제어하거나 상기 임의의 응용 프로그램에 상기 소정의 이벤트를 전달하는 단계를 포함할 수 있다.
본 발명의 실시 예에 따른 사용자 인터랙션 방법에서 상기 적외선 패턴 영상을 생성하는 단계는, 적외선 레이저의 빛을 회절시켜 상기 적외선 패턴 영상을 생성하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 사용자 인터랙션 방법에서 상기 적외선 패턴 영상을 캡쳐하는 단계는, 적외선 카메라를 이용하여 상기 표시 영역 상에 출력된 상기 적외선 패턴 영상을 캡쳐하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 사용자 인터랙션 방법에서 상기 적외선 패턴 영상의 변화를 인식하는 단계는, 상기 캡쳐된 적외선 패턴 영상의 포커스 상태 또는 왜곡 상태 또는 밝기 상태 중에서 적어도 하나 이상의 상태를 감지하여 상기 적외선 패턴 영상의 변화를 인식하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 사용자 인터랙션 방법에서 상기 소정의 이벤트는, 상기 인식된 사용자 입력에 따라 마우스 이벤트 또는 제스처 또는 포스처 중 적어도 하나 이상인 것을 특징으로 한다.
본 발명은 프로젝터의 출력 아래에서 일반적인 영상인식으로는 어려운 영상인식을 적외선 패턴 영상을 이용하여 빠르고 쉽게 수행할 수 있으며 프로젝터의 광원 아래에서도 손가락의 추적 및 터치와 같은 정밀한 인식이 가능하다는 잇점이 있다.
또한, 본 발명은 적외선 패턴 영상을 이용하기 때문에 저연산의 빠른 영상 인식을 수행할 수 있어 임베디드 시스템과 같은 저사양의 시스템에 적용 가능한 잇점이 있다.
도 1은 본 발명의 실시 예에 따른 탁상형 맨손 인터랙션 장치를 도시한 블록도,
도 2a는 본 발명의 실시 예에 따른 탁상형 인터랙션 장치가 적용된 스탠드형 프로젝션 시스템을 도시한 도면,
도 2b는 스탠드형 프로젝션 시스템의 하부면 구조를 도시한 도면,
도 3은 본 발명의 실시 예에 따른 패턴 영상 생성부에서 생성되는 적외선 패턴 영상의 예시 도면,
도 4는 본 발명의 실시 예에 따른 적외선 패턴 영상이 변형되는 예시 도면,
도 5는 본 발명의 실시 예에 따른 탁상형 맨손 인터랙션 장치의 동작 과정을 도시한 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예에 따른 탁상형 맨손 인터랙션 장치 및 방법에 대해 상세히 설명하기로 한다.
도 1은 본 발명의 실시 예에 따른 탁상형 맨손 인터랙션 장치를 도시한 블록도이다.
도 1에 도시된 바와 같이, 탁상형 맨손 인터랙션 장치는 크게 하드웨어부(100)과 응용 프로그램 제어부(150)로 구성될 수 있다. 하드웨어부(100)은 패턴 영상 생성부(110), 영상 출력부(120), 패턴 영상 캡쳐부(130), 가시 영상 캡쳐부(140) 등을 포함하며, 응용 프로그램 제어부(150)는 영상 인식부(152), 이벤트 발생부(154) 및 응용 프로그램부(156) 등을 포함할 수 있다.
패턴 영상 생성부(110)은 적외선 패턴 영상을 생성하는데, 여기에서 적외선 패턴 영상은 그리드 형태를 포함할 수 있다. 이를 위하여, 패턴 영상 생성부(110)은 적외선 레이저를 출력하는 레이저부(112)와, 적외선 레이저의 빛을 회절시켜 적외선 패턴 영상을 생성하는 회절 격자부(114) 등을 포함할 수 있다.
영상 출력부(120)은 영상을 임의의 공간, 예컨대 책상, 탁자, 벽면 등과 같은 표시 영역에 투영하는데, 그 예로서 프로젝터를 들 수 있다.
패턴 영상 캡쳐부(130)는 표시 영역에 투영된 영상에서 적외선 패턴 영상을 캡쳐한 후 이를 응용 프로그램 제어부(150)의 영상 인식부(152)에 제공할 수 있는데, 그 예로서 적외선 카메라(IR camera)로 구현될 수 있다.
가시 영상 인식부(152)는 표시 영역에 위치한 책 또는 물체 등과 같은 객체에 대한 영상을 인식한 후 이를 영상 인식부(152)에 제공할 수 있는데, 그 예로서 RGB 카메라를 이용하여 구현될 수 있다.
응용 프로그램 제어부(150)의 영상 인식부(152)는 가시영상 인식부(152)에서 인식한 영상을 영상 처리하여 표시 영역 상에 존재하는 객체나 책 등에 인쇄된 글자를 인식하거나 적외선 패턴 영상에 대한 영상 처리를 수행하여 사용자 입력을 인식할 수 있다.
이러한 영상 인식부(152)는 패턴 영상 캡쳐부(130)에서 캡쳐된 적외선 패턴 영상의 변화를 감지하여 사용자 입력을 인식할 수 있는데, 즉 캡쳐된 적외선 패턴 영상의 밝기 상태, 포커스 상태 또는 왜곡 상태 중에서 적어도 하나 이상의 상태 또는 모든 상태를 감지하여 사용자 입력을 인식할 수 있다.
이벤트 발생부(154)는 사용자 입력에 따라 소정의 이벤트를 발생시켜 응용 프로그램부(156) 내 응용 프로그램을 제어하거나 소정의 이벤트를 응용 프로그램부(156)에 제공할 수 있다. 여기에서, 소정의 이벤트 예로는 마우스 이벤트 또는 제스처 또는 포스처 등을 들 수 있다.
응용 프로그램부(156)은 이벤트 발생부(154)에서 발생된 이벤트에 따라 제어되어 다양한 서비스를 제공할 수 있다.
이러한 탁상형 인터랙션 장치는 도 2a에 도시된 바와 같이, 스탠드형 프로젝션 시스템으로 구현될 수 있으며, 스탠드형 프로젝션 시스템의 아래 모습은 도 2b에 도시된 바와 같다.
도 3은 본 발명의 실시 예에 따른 패턴 영상 생성부에서 생성되는 적외선 패턴 영상의 예시 도면이다.
패턴 영상 생성부(110)이 영상 출력부(120)의 입력 영상에 추가하는 적외선 패턴 영상은 그리드 형태를 포함하는 다양한 형태로 실시할 수 있으며, 도 3은 이 중에서 일부의 실시 예를 보인 것이다. 이러한 적외선 패턴 영상은 영상 출력부(120)에 의해 출력 영상으로 투영되며, 영상 출력부(120)과 동기화된 패턴 영상 캡쳐부(130)에 의해 캡쳐될 수 있다.
한편, 이러한 적외선 패턴 영상은 기 설정된 주기에 맞춰서 일반 영상 패턴 영상들 사이에 삽입될 수 있으며, 영상 출력부(120)과 패턴 영상이 동기화된 패턴 영상 캡쳐부(130)은 설정된 주기에 맞춰서 적외선 패턴 영상을 캡쳐할 수 있다.
도 4는 본 발명의 실시 예에 따른 적외선 패턴 영상이 변형되는 예시 도면으로서, 사용자의 손에 의해 적외선 패턴 영상이 변형되는 것을 알 수 있다. 이러한 변형된 적외선 패턴 영상은 패턴 영상 캡쳐부(130)에서 캡쳐된 후 영상 인식부(152)에 제공될 수 있다.
영상 인식부(152)는 패턴 영상 캡쳐부(130)에 의해 캡쳐된 적외선 패턴 영상으로부터 패턴의 모양 변화를 인식하며, 이를 바탕으로 손가락의 끝점 및 터치(touch)/드래그(drag)/터치 아닌 경우(release) 등과 같은 사용자 입력을 인식을 할 수 있다.
상기와 같은 구성을 갖는 탁상형 맨손 인터랙션 장치가 동작하는 과정에 대해 도 5를 참조하여 설명한다.
도 5는 본 발명의 실시 예에 따른 탁상형 맨손 인터랙션 장치의 동작 과정을 도시한 흐름도이다.
도 5에 도시된 바와 같이, 패턴 영상 생성부(110)은 IR 레이저부(112)와 회절 격자부(114)를 이용하여 적외선 패턴 영상을 생성(S500)한 후 이를 영상 출력부(120)에 제공한다.
이에 따라, 영상 출력부(120)은 적외선 패턴 영상이 포함된 영상을 임의의 공간, 예컨대 책상, 탁자, 벽면 등과 같은 표시 영역에 출력한다(S502). 즉, 영상 출력부(120)은 기 설정된 주기에 맞춰서 일반 영상 패턴 영상들 사이에 적외선 패턴 영상을 삽입한 후 이를 표시 영역에 출력한다.
이후, 패턴 영상 캡쳐부(130)은 기 설정된 주기에 맞춰서 적외선 패턴 영상을 캡쳐(S504)한 후 이를 영상 인식부(152)에 제공한다.
영상 인식부(152)는 패턴 영상 캡쳐부(130)에서 캡쳐된 적외선 패턴 영상의 밝기 상태, 포커스 상태 또는 왜곡 상태 중에서 적어도 하나 이상의 상태 또는 모든 상태를 감지(S506)하여 사용자 입력이 있는지를 판단한다(S508).
S508의 판단 결과 사용자가 입력이 인식되면, 영상 인식부(152)는 사용자 입력을 이벤트 발생부(154)에 제공하며, 이벤트 발생부(154)는 사용자 입력에 따라 소정의 이벤트를 발생(S510)시켜 응용 프로그램부(156) 내 응용 프로그램을 제어하거나 소정의 이벤트를 응용 프로그램부(156)에 제공한다.
응용 프로그램부(156)은 이벤트 발생부(154)에서 발생된 이벤트에 따라 제어되어 다양한 서비스를 제공한다(S512).
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 예를 들어 당업자는 각 구성요소를 적용 분야에 따라 변경하거나, 개시된 실시형태들을 조합 또는 치환하여 본 발명의 실시예에 명확하게 개시되지 않은 형태로 실시할 수 있으나, 이 역시 본 발명의 범위를 벗어나지 않는 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것으로 한정적인 것으로 이해해서는 안 되며, 이러한 변형된 실시예들은 본 발명의 특허청구범위에 기재된 기술사상에 포함된다고 하여야 할 것이다.
100 : 하드웨어부
110 : 패턴 영상 생성부
120 : 영상 출력부
130 : 패턴 영상 캡쳐부
140 : 가시영상 캡쳐부
150 : 응용 프로그램 제어부
152 : 영상 인식부
154 : 이벤트 발생부
156 : 응용 프로그램부

Claims (11)

  1. 적외선 패턴 영상을 생성하는 적외선 패턴 영상 생성부와,
    상기 적외선 패턴 영상이 포함된 영상을 출력하는 영상 출력부와,
    상기 영상에서 상기 적외선 패턴 영상을 캡쳐하는 패턴 영상 캡쳐부와,
    상기 캡쳐된 적외선 패턴 영상에 대한 영상 처리를 수행하여 사용자 입력을 인식하는 영상 인식부와,
    상기 인식된 사용자 입력을 토대로 소정의 이벤트를 생성하여 임의의 응용 프로그램을 제어하거나 상기 임의의 응용 프로그램에 상기 소정의 이벤트를 전달하는 제어부를 포함하는
    사용자 인터랙션 장치.
  2. 제 1 항에 있어서,
    상기 적외선 패턴 영상 생성부는,
    적외선 레이저를 출력하는 레이저부와,
    상기 적외선 레이저의 빛을 회절시켜 상기 적외선 패턴 영상을 생성하는 회절 격자부를 포함하는 것을 특징으로 하는
    사용자 인터랙션 장치.
  3. 제 1 항에 있어서,
    상기 패턴 영상 캡쳐부는,
    상기 적외선 패턴 영상을 캡쳐하는 IR 카메라인 것을 특징으로 하는
    사용자 인터랙션 장치.
  4. 제 1 항에 있어서,
    상기 적외선 패턴 영상을 포함하는 영상 내 객체 또는 인쇄된 글자 또는 프로젝션된 영상을 인식하는 RGB 카메라를 더 포함하는 것을 특징으로 하는
    사용자 인터랙션 장치.
  5. 제 1 항에 있어서,
    상기 영상 인식부는,
    상기 영상 처리한 적외선 패턴 영상의 포커스 상태 또는 왜곡 상태 또는 밝기 상태 중에서 적어도 하나 이상의 상태를 감지하여 상기 사용자 입력 인식하는 것을 특징으로 하는
    사용자 인터랙션 장치.
  6. 제 1 항에 있어서,
    상기 제어부는,
    상기 인식된 사용자 입력에 따라 마우스 이벤트 또는 제스처 또는 포스처와 같은 상기 소정의 이벤트를 생성하는 이벤트 발생부를 포함하는 것을 특징으로 하는
    사용자 인터랙션 장치.
  7. 적외선 패턴 영상을 생성하는 단계와,
    상기 적외선 패턴 영상이 포함된 영상을 출력하는 표시 영역에 출력하는 단계와,
    상기 영상에서 상기 적외선 패턴 영상을 캡쳐하는 단계와,
    상기 캡쳐된 적외선 패턴 영상의 변화를 감지하는 단계와,
    상기 변화가 감지되면, 상기 적외선 패턴 영상의 변화에 근거하여 사용자 입력을 인식하는 단계와,
    상기 인식된 사용자 입력을 토대로 소정의 이벤트를 생성하여 임의의 응용 프로그램을 제어하거나 상기 임의의 응용 프로그램에 상기 소정의 이벤트를 전달하는 단계를 포함하는
    사용자 인터랙션 방법.
  8. 제 7 항에 있어서,
    상기 적외선 패턴 영상을 생성하는 단계는,
    적외선 레이저의 빛을 회절시켜 상기 적외선 패턴 영상을 생성하는 것을 특징으로 하는
    사용자 인터랙션 방법.
  9. 제 7 항에 있어서,
    상기 적외선 패턴 영상을 캡쳐하는 단계는,
    적외선 카메라를 이용하여 상기 표시 영역 상에 출력된 상기 적외선 패턴 영상을 캡쳐하는 것을 특징으로 하는
    사용자 인터랙션 방법.
  10. 제 7 항에 있어서,
    상기 적외선 패턴 영상의 변화를 인식하는 단계는,
    상기 캡쳐된 적외선 패턴 영상의 포커스 상태 또는 왜곡 상태 또는 밝기 상태 중에서 적어도 하나 이상의 상태를 감지하여 상기 적외선 패턴 영상의 변화를 인식하는 것을 특징으로 하는
    사용자 인터랙션 방법.
  11. 제 7 항에 있어서,
    상기 소정의 이벤트는,
    상기 인식된 사용자 입력에 따라 마우스 이벤트 또는 제스처 또는 포스처 중 적어도 하나 이상인 것을 특징으로 하는
    사용자 인터랙션 방법.
KR1020110082921A 2011-08-19 2011-08-19 사용자 인터랙션 장치 및 방법 KR101446902B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110082921A KR101446902B1 (ko) 2011-08-19 2011-08-19 사용자 인터랙션 장치 및 방법
US13/588,019 US20130044054A1 (en) 2011-08-19 2012-08-17 Method and apparatus for providing bare-hand interaction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110082921A KR101446902B1 (ko) 2011-08-19 2011-08-19 사용자 인터랙션 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130020337A true KR20130020337A (ko) 2013-02-27
KR101446902B1 KR101446902B1 (ko) 2014-10-07

Family

ID=47712298

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110082921A KR101446902B1 (ko) 2011-08-19 2011-08-19 사용자 인터랙션 장치 및 방법

Country Status (2)

Country Link
US (1) US20130044054A1 (ko)
KR (1) KR101446902B1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5926184B2 (ja) * 2009-09-22 2016-05-25 ペブルステック リミテッド コンピュータ装置の遠隔制御
US9870068B2 (en) 2010-09-19 2018-01-16 Facebook, Inc. Depth mapping with a head mounted display using stereo cameras and structured light
KR102027184B1 (ko) 2013-10-23 2019-10-01 페이스북, 인크. 동적 구조화 광을 사용하는 3차원 깊이 맵핑
CN103995621B (zh) 2014-04-28 2017-02-15 京东方科技集团股份有限公司 一种穿戴式触控装置和穿戴式触控方法
CN203986449U (zh) * 2014-04-28 2014-12-10 京东方科技集团股份有限公司 一种投影戒指
CN107637074B (zh) 2015-03-22 2020-09-18 脸谱科技有限责任公司 使用立体摄像机与结构化光的头戴显示器的深度绘制
CN105677030B (zh) * 2016-01-04 2018-11-09 联想(北京)有限公司 一种控制方法及电子设备
CN105578164B (zh) * 2016-01-04 2017-11-28 联想(北京)有限公司 一种控制方法及电子设备
CN105589607B (zh) * 2016-02-14 2018-09-07 京东方科技集团股份有限公司 触控系统、触控显示系统和触控交互方法
CN105929938A (zh) 2016-03-31 2016-09-07 联想(北京)有限公司 一种信息处理方法及电子设备
WO2018079446A1 (ja) * 2016-10-27 2018-05-03 日本電気株式会社 情報入力装置および情報入力方法
KR101883866B1 (ko) 2016-12-23 2018-08-01 단국대학교 산학협력단 지면 접촉식 손가락 입력 장치 및 방법
KR101998786B1 (ko) 2017-08-31 2019-07-10 단국대학교 산학협력단 가상공간을 위한 비접촉식 손가락 입력 장치 및 방법
CN109656372A (zh) * 2018-12-28 2019-04-19 河南宏昌科技有限公司 基于红外不可见结构光的人机交互装置及其操作方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69427497T2 (de) * 1993-01-19 2001-11-08 Canon Kk Bildverarbeitungsvorrichtung und -verfahren
US6841780B2 (en) * 2001-01-19 2005-01-11 Honeywell International Inc. Method and apparatus for detecting objects
DE10307884A1 (de) * 2003-02-25 2004-09-09 Forschungszentrum Jülich GmbH Verfahren zur Ermittlung optimaler Gitterparameter für die Herstellung eines Beugungsgitters für ein VUV-Spektrometer
KR100593606B1 (ko) * 2004-02-25 2006-06-28 이문기 패턴영상 투사에 의한 물체인식 장치 및 이에 적용되는영상처리 방법
KR100809351B1 (ko) * 2006-04-03 2008-03-05 삼성전자주식회사 투사 영상을 보정하는 방법 및 장치
US20080018591A1 (en) * 2006-07-20 2008-01-24 Arkady Pittel User Interfacing
US20090189858A1 (en) * 2008-01-30 2009-07-30 Jeff Lev Gesture Identification Using A Structured Light Pattern
JP5926184B2 (ja) * 2009-09-22 2016-05-25 ペブルステック リミテッド コンピュータ装置の遠隔制御

Also Published As

Publication number Publication date
US20130044054A1 (en) 2013-02-21
KR101446902B1 (ko) 2014-10-07

Similar Documents

Publication Publication Date Title
KR101446902B1 (ko) 사용자 인터랙션 장치 및 방법
CN107426503B (zh) 智能照明装置
JP6090140B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR101795644B1 (ko) 투영 캡쳐 시스템, 투영 캡쳐 프로그래밍, 및 투영 캡쳐 방법
JP6372487B2 (ja) 情報処理装置、制御方法、プログラム、および記憶媒体
US8766952B2 (en) Method and apparatus for user interaction using pattern image
US8531576B2 (en) Information processing apparatus, information processing method, and program
EP1087327A3 (en) Interactive display presentation system
US20120236180A1 (en) Image adjustment method and electronics system using the same
US20130249788A1 (en) Information processing apparatus, computer program product, and projection system
JP2012238293A (ja) 入力装置
JP2017182109A (ja) 表示システム、情報処理装置、プロジェクター及び情報処理方法
US9946333B2 (en) Interactive image projection
EP2701388A2 (en) Method for processing event of projector using pointer and an electronic device thereof
JP6314564B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2013218423A (ja) 指向性映像コントロール装置及びその方法
JP2022171661A (ja) 動画を作成するためのシステム、方法、及びプログラム
EP3175292B1 (en) Projector as light source for an image capturing device
JP2015052895A (ja) 情報処理装置及び情報処理方法
JP6193180B2 (ja) プレゼンテーション用端末及びプレゼンテーション方法
KR102023187B1 (ko) 디스플레이 장치에 설치되는 착탈식 터치 패널 장치
KR20070120922A (ko) 레이저 포인터의 궤적을 카메라로 영상 처리하여디스플레이 화면을 제어하는 새로운 명령 처리 방식에 대한방법
Kim et al. Multi-touch tabletop interface technique for HCI
US8575552B2 (en) System and method for distinguishing and detecting multiple infrared signal coordinates
JP2017022590A (ja) 画像処理装置、画像処理装置の制御方法、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170828

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190826

Year of fee payment: 6