KR20190049349A - 프로젝션 영상에서 사용자의 터치를 인식하는 방법 및 이러한 방법을 수행하는 장치 - Google Patents

프로젝션 영상에서 사용자의 터치를 인식하는 방법 및 이러한 방법을 수행하는 장치 Download PDF

Info

Publication number
KR20190049349A
KR20190049349A KR1020180027729A KR20180027729A KR20190049349A KR 20190049349 A KR20190049349 A KR 20190049349A KR 1020180027729 A KR1020180027729 A KR 1020180027729A KR 20180027729 A KR20180027729 A KR 20180027729A KR 20190049349 A KR20190049349 A KR 20190049349A
Authority
KR
South Korea
Prior art keywords
touch
projector
user
depth
hand
Prior art date
Application number
KR1020180027729A
Other languages
English (en)
Inventor
서성호
고인석
한상윤
윤겨례
Original Assignee
아이쓰리비 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아이쓰리비 주식회사 filed Critical 아이쓰리비 주식회사
Publication of KR20190049349A publication Critical patent/KR20190049349A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 프로젝션 영상에서 사용자의 터치를 인식하는 방법 및 이러한 방법을 수행하는 장치에 관한 것이다. 프로젝션 스크린에 대한 사용자의 터치를 인식하는 방법은 프로젝터에 구현된 일반 카메라가 사용자의 손을 인식하는 단계, 프로젝터의 깊이 인식 카메라가 손의 깊이를 인식하는 단계와 프로젝터의 터치 인식부가 손의 상기 깊이에 대한 정보를 기반으로 손의 프로젝터 스크린에 대한 터치를 인식하는 단계를 포함할 수 있다.

Description

프로젝션 영상에서 사용자의 터치를 인식하는 방법 및 이러한 방법을 수행하는 장치{Method for recognizing user's touch on projection image and apparatus for performing the method}
본 발명은 프로젝션 영상에서 사용자의 터치를 인식하는 방법 및 이러한 방법을 수행하는 장치에 관한 것이다. 보다 상세하게는 프로젝터를 기반으로 출력되는 영상에서 영상에 대한 사용자의 터치를 인식하여 사용자의 터치에 따른 인터랙션 동작을 수행하는 터치 인식 방법 및 장치에 관한 것이다.
현대사회는 컴퓨터 하드웨어와 네트워크 인프라의 급격한 발전으로 인해 사용자가 컴퓨터를 의식하지 않아도 언제 어디서나 네트워크에 접속하여 업무를 처리할 수 있는 유비쿼터스 환경이 도래하게 되었다. 그러나 이러한 급격한 하드웨어의 발전과는 달리 이와 상호 작용하는 인터페이스 장치는 기계적인 장치인 마우스와 키보드에서 크게 벗어나지 못하고 있는 실정이다. 진정한 유비쿼터스 시대로 가기 위해서는 인터페이스 장치 또한 유비쿼터스 환경에 걸맞은 사용자 경험(UX: User eXperience)을 제공할 수 있어야 한다.
이러한 흐름을 반영하면서 현재 널리 상용화된 인터페이스 장치로 터치스크린이 있다. 터치스크린 기술은 햅틱, 멀티 터치 기술 등과 결합되면서 보다 풍부한 사용자 경험을 제공하고 있고, 다양한 구현 기법들의 등장으로 인해 낮은 단가로도 대형 LCD(liquid crystal display) 패널 등에 구현 가능하게 되는 등 폭넓은 범용성을 가지고 기존의 인터페이스 장치들을 대체하고 있다.
터치스크린은 모니터 화면에 터치패널을 덧붙여 작동하는 것으로 손 끝이나 기타 물체로 접촉시 패널 위의 접촉 위치를 파악할 수 있다. 이러한 기술은 접촉한 위치에 따라 발생하는 결과를 즉시 화면으로 확인할 수 있기 때문에 누구나 쉽게 사용할 수 있다.
현재 터치스크린뿐만 아니라 터치 패널이 구현되지 않은 프로젝션 영상에 대한 사용자의 터치 인식이 수행되고, 사용자의 터치에 대한 반응을 프로젝션 영상 상에 출력하기 위한 방법에 대한 다양한 연구가 수행되고 있다. 실제 터치 패널 없이 프로젝션 영상에 대한 사용자 터치의 인식이 수행되어야 하기 때문에 터치에 대한 정확한 인식이 기존의 터치스크린보다는 어렵다.
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은, 프로젝터를 기반으로 출력되는 프로젝션 영상에 대한 사용자의 터치를 정확하게 인식하는 것을 다른 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 태양에 따르면, 프로젝션 스크린에 대한 사용자의 터치를 인식하는 방법은 프로젝터에 구현된 일반 카메라가 사용자의 손을 인식하는 단계, 상기 프로젝터의 깊이 인식 카메라가 상기 손의 깊이를 인식하는 단계와 상기 프로젝터의 터치 인식부가 상기 손의 상기 깊이에 대한 정보를 기반으로 상기 손의 프로젝터 스크린에 대한 터치를 인식하는 단계를 포함할 수 있다.
한편, 상기 터치는 상기 사용자의 손가락과 상기 손가락에 의해 발생되는 그림자를 탐색하여 상기 손가락과 상기 그림자가 만나는지 여부를 기반으로 인식될 수 있다.
또한, 상기 프로젝터는 상기 프로젝터 스크린의 프로젝터 스크린 좌표값을 설정하고, 상기 프로젝터 스크린 좌표값 내에서 출력되는 객체의 객체 좌표값 설정하고, 상기 프로젝터 스크린의 사이즈의 변화에 따라 상기 프로젝터 스크린 좌표값은 적응적으로 변화되어 재설정되고, 상기 객체 좌표값도 변화되어 재설정되고, 상기 프로젝터는 상기 터치 여부에 대한 영상 분석을 상기 객체 좌표값을 기준으로 임계 거리 내에서만 수행할 수 있다.
또한, 상기 터치의 위치는 상기 사용자의 손목의 위치와 손가락 뼈마디의 깊이에 대한 정보 및 인체 비율 정보를 고려하여 외분된 지점으로 결정되고, 상기 프로젝터는 터치 깊이 값을 최대 확률로 가지는 픽셀을 탐색하는 확률 모델 및 격자 단위 픽셀들의 확률의 합에 대한 정보를 기반으로 상기 터치의 위치와 대응되는 픽셀을 상기 프로젝터 스크린 상에서 결정할 수 있다.
본 발명의 다른 태양에 따르면, 사용자의 터치를 인식하는 프로젝터는 사용자의 손을 인식하도록 구현된 일반 카메라, 상기 손의 깊이를 인식하는 깊이 인식 카메라와 상기 손의 상기 깊이에 대한 정보를 기반으로 상기 손의 프로젝터 스크린에 대한 터치를 인식하도록 구현된 터치 인식부를 포함할 수 있다.
한편, 상기 터치는 상기 사용자의 손가락과 상기 손가락에 의해 발생되는 그림자를 탐색하여 상기 손가락과 상기 그림자가 만나는지 여부를 기반으로 인식될 수 있다.
또한, 상기 프로젝터는 상기 프로젝터 스크린의 프로젝터 스크린 좌표값을 설정하고, 상기 프로젝터 스크린 좌표값 내에서 출력되는 객체의 객체 좌표값 설정하고, 상기 프로젝터 스크린의 사이즈의 변화에 따라 상기 프로젝터 스크린 좌표값은 적응적으로 변화되어 재설정되고, 상기 객체 좌표값도 변화되어 재설정되고, 상기 프로젝터는 상기 터치 여부에 대한 영상 분석을 상기 객체 좌표값을 기준으로 임계 거리 내에서만 수행할 수 있다.
또한, 상기 터치의 위치는 상기 사용자의 손목의 위치와 손가락 뼈마디의 깊이에 대한 정보 및 인체 비율 정보를 고려하여 외분된 지점으로 결정되고, 상기 프로젝터는 터치 깊이 값을 최대 확률로 가지는 픽셀을 탐색하는 확률 모델 및 격자 단위 픽셀들의 확률의 합에 대한 정보를 기반으로 상기 터치의 위치와 대응되는 픽셀을 상기 프로젝터 스크린 상에서 결정할 수 있다.
본 발명에 의하면, 프로젝터를 기반으로 출력되는 프로젝션 영상에 대한 사용자의 터치의 정확한 인식이 가능할 수 있다.
도 1은 본 발명의 실시예에 따른 프로젝션 영상에 대한 터치를 인식하기 위한 프로젝터를 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 프로젝션 영상에 대한 사용자의 터치를 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 터치의 정확도를 높이기 위한 방법을 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 터치인식부의 부하를 줄이기 위한 방법을 나타낸 개념도이다.
도 5는 본 발명의 실시예에 따른 사용자의 위치를 고려한 객체 이미지 제공 방법을 나타낸 개념도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여 지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
이하, 본 발명의 실시예에서는 설명의 편의상 프로젝터가 프로젝션 영상에 대한 사용자의 손의 터치 여부를 판단하는 것이 가정되었다. 하지만, 프로젝션 영상을 터치하는 것은 사용자의 손이 아니라 사용자 신체의 다른 부분 또는 다른 객체일 수 있다. 이하, 본 발명의 실시예에 개시되는 사용자의 손은 프로젝션 화면을 터치하는 사용자 신체의 일부 또는 다른 객체를 포함하는 의미일 수 있다.
도 1은 본 발명의 실시예에 따른 프로젝션 영상에 대한 터치를 인식하기 위한 프로젝터를 나타낸 개념도이다.
도 1을 참조하면, 프로젝터는 깊이 인식 카메라, 일반 카메라, 터치 인식부를 포함할 수 있다. 깊이 인식 카메라의 개수와 일반 카메라의 개수는 설명의 편의상 1개를 가정하였으나, 깊이 인식 카메라의 개수와 일반 카메라의 개수는 1개 이상일 수 있고 이러한 실시예 또한 본 발명의 권리 범위에 포함된다.
깊이 인식 카메라는 실시간으로 물체의 3차원 거리 정보를 측정할 수 있다. 예를 들어, 깊이 인식 카메라는 사용자의 손과 같은 객체를 인식하고, 3차원 공간 상에서 객체(예를 들어, 사용자의 손)의 깊이를 인식할 수 있다. 터치 인식부는 3차원 공간 상에서 사용자의 손의 깊이에 대한 정보를 기반으로 사용자의 손이 프로젝션 스크린에 접촉하였는지 여부에 대한 판단을 수행할 수 있다.
일반 카메라는 사용자의 손과 같은 객체를 촬상할 수 있다. 일반 카메라에 의해 촬상된 객체 이미지는 영상 분석을 통해 어떠한 객체인지 여부를 판단할 수 있다.
터치 인식부는 사용자의 손이 촬상 범위 내에 존재 여부 및 사용자의 손에 의한 터치가 발생하였는지 여부에 대한 판단을 수행할 수 있다. 예를 들어, 터치 인식부는 일반 카메라에 의해 촬상된 사용자의 손의 이미지를 기반으로 사용자의 손이 촬상 범위 내에 위치하는지 여부에 대해 판단하고, 깊이 인식 카메라에 의해 촬상된 손에 대한 깊이 이미지를 기반으로 프로젝션 영상과 사용자의 손의 터치 여부에 대한 판단을 수행할 수 있다.
본 발명의 실시예에 따른 프로젝션 스크린에 대한 사용자의 터치를 인식하는 방법은 프로젝터에 구현된 일반 카메라가 사용자의 손을 인식하는 단계, 상기 프로젝터의 깊이 인식 카메라가 상기 손의 깊이를 인식하는 단계, 상기 프로젝터의 터치 인식부가 상기 손의 상기 깊이에 대한 정보를 기반으로 상기 손의 프로젝터 스크린에 대한 터치를 인식하는 단계를 포함할 수 있다.
도 2는 본 발명의 실시예에 따른 프로젝션 영상에 대한 사용자의 터치를 나타낸 개념도이다.
도 2에서는 프로젝션 영상의 출력 및 프로젝션 영상에 대한 사용자의 터치가 개시된다.
도 2를 참조하면, 프로젝터가 프로젝션 스크린 상에 프로젝션 영상을 출력할 수 있다. 전술한 바와 같이 프로젝터는 일반 카메라 및 깊이 인식 카메라에 의해 촬상된 영상을 기반으로 프로젝션 스크린 상에 위치한 손에 대한 인식을 수행할 수 있다.
예를 들어, 프로젝터는 '주문하기'라는 이미지를 프로젝션 스크린 상에 출력할 수 있고, 사용자가 '주문하기'라는 이미지를 터치하는 경우, 주문을 위한 추가 이미지가 프로젝터에 의해 출력될 수 있다. 즉, 본 발명의 실시예에 따른 프로젝터는 식당의 무인 주문 시스템을 대체할 수 있고, 음식 메뉴를 동영상으로 자세히 보거나, 음식을 기다리는 동안 별도의 멀티미디어 콘텐츠 또는 게임 등을 제공할 수 있다.
도 3은 본 발명의 실시예에 따른 터치의 정확도를 높이기 위한 방법을 나타낸 개념도이다.
도 3에서는 사용자 손에 대한 깊이 정보뿐만 아니라, 사용자의 손가락 모양의 변화, 사용자 손에 의해 생기는 그림자를 기반으로 터치의 정확도를 높이기 위한 방법이 개시된다.
도 3을 참조하면, 깊이 인식 카메라에 의해 촬상된 깊이 이미지만을 기반으로 1) 사용자의 손이 터치 없이 탁자에 임계 거리로 인접한 경우, 2) 사용자의 손이 실제 탁자를 터치한 경우 등에 대한 정확한 구분이 어렵다.
본 발명에서는 깊이 인식 카메라와 일반 카메라를 기반으로 실제 터치의 발생 여부에 대해 보다 정확하게 판단하기 위해 1) 터치시 손가락에 가해지는 압력으로 인한 손가락 모양의 변화 2) 터치시 손가락에 의해 생기는 그림자와 손가락 간의 거리(또는 손가락 위치, 손가락 그림자 위치)에 대한 정보가 활용될 수 있다. 예를 들어, 터치는 사용자의 손가락과 상기 손가락에 의해 발생되는 그림자를 탐색하여 손가락과 그림자가 만나는지 여부를 기반으로 인식될 수 있다.
사용자가 프로젝션 스크린을 터치하는 경우, 사용자의 손가락은 프로젝션 스크린으로 인한 수직항력이 발생하게 되고, 사용자의 손가락의 모양이 휘어질 수 있다. 이러한 사용자의 손가락 모양의 변화를 기반으로 사용자의 프로젝션 스크린에 대한 터치 여부가 보다 정확하게 판단될 수 있다.
또한, 사용자가 프로젝션 스크린을 터치하기 이전에는 사용자의 손가락과 사용자의 손가락에 의해 발생되는 그림자에 일정한 간격(또는 거리)가 존재할 수 있다. 하지만, 사용자의 손가락이 프로젝션 스크린을 터치하는 경우, 사용자의 손가락과 사용자의 손가락에 의해 발생되는 그림자는 서로 만날 수 있다. 이러한 사용자의 손가락과 사용자의 손가락에 의해 발생되는 그림자를 탐색하여 보다 정확한 사용자의 터치 여부에 대한 판단이 수행될 수 있다.
이뿐만 아니라, 단순 터치가 아닌 다른 다양한 사용자의 제스처 인식을 통해 사용자가 화면 상에서 객체 이미지에 대한 다양한 조작이 가능할 수 있다. 각 동작 별 손가락에 가해지는 압력 및 그림자 이미지와 손가락 이미지의 변화 등을 고려하여 사용자의 터치의 지속 여부에 대한 판단이 수행될 수 있다. 이뿐만 아니라, 손가락 모양의 변화에 따른 터치 강도에 대한 판단도 가능할 수 있다.
도 4는 본 발명의 실시예에 따른 터치인식부의 부하를 줄이기 위한 방법을 나타낸 개념도이다.
도 4에서는 터치 인식부의 영상 분석의 부하를 줄이기 위한 방법이 개시된다.
도 4를 참조하면, 터치가능한 객체에 대한 정밀 트래킹을 위한 방법으로서 아래와 같은 방법이 수행될 수 있다.
우선 터치 화면 상의 좌표값을 설정하고, 좌표값 내에서 출력되는 객체의 좌표값 설정할 수 있다. 터치 화면의 사이즈의 변화에 따라 영상 내의 좌표값은 적응적으로 변화되어 재설정되고, 영상 내 객체의 좌표값도 변화되어 재설정될 수 있다.
터치 여부에 대한 영상 분석은 객체의 좌표값을 기준으로 임계 거리 내에서만 수행될 수 있다. 즉, 터치 여부를 분석할 필요가 없는 영역에 대해서는 영상 분석이 수행되지 않을 수 있다.
또는 주변의 터치 가능성을 고려하여 해당 영역에서만 영상 분석이 수행될 수 있다. 예를 들어, 파란색 원 주변에 사람의 손 모양(또는 그림자)(또는 사람)이 나타나는 경우, 해당 영역의 주위에서만 영상 분석 시작하고, 나머지 초록색 원, 노란색 원에서는 영상 분석을 수행하지 않을 수 있다. 예를 들어, 제1 초점으로 1차적으로 손을 탐색하고 손이 탐색되는 경우, 손의 위치 고려하여 보다 디테일한 탐색을 위해 제2 초점으로 특정 영역에 대한 탐색을 수행할 수 잇다.
도 5는 본 발명의 실시예에 따른 사용자의 위치를 고려한 객체 이미지 제공 방법을 나타낸 개념도이다.
도 5를 참조하면, 도 4에서 전술한 바와 같이 터치 화면의 좌표값, 객체의 좌표값이 적응적으로 설정될 수 있다.
사용자에게 선택을 위한 UI/UX를 제공시 사용자의 위치를 고려하여 사용자의 선택이 편한 위치로 영상의 객체 이미지가 이동하여 제공될 수 있다. 사용자의 위치 분석을 기반으로 사용자가 기존에 선택을 위해 사용하였던 팔(예를 들어, 오른팔) 주변으로 사용자 인터페이스에 해당하는 객체 이미지가 이동되어 출력될 수 있다.
또한, 본 발명의 실시예에 따르면, 복수의 터치가 복수의 사용자에 의해 수행되는 경우, 터치에 대한 인식이 느려질 수 있다. 따라서, 프로젝터에 복수의 카메라(복수의 일반 카메라, 복수의 깊이 인식 카메라)를 구현하고, 복수의 터치가 발생시 복수의 카메라(복수의 일반 카메라, 복수의 깊이 인식 카메라) 각각이 영역을 구분하여 복수의 터치에 대한 영상을 촬상하고 트래킹할 수 있다.
본 발명의 실시예에 따른 빔 프로젝터로 화면을 디스플레이하고 디스플레이된 화면에서 손(가락)을 이용하여 조작하는 인터페이스에 있어서 빔 프로젝터의 투사영역을 지정하고 난 뒤, 해당 화면 영역을 TOF(time of flight) 센서 이미지에서 파악하고 화면 영역의 base 깊이 값을 파악하기 위하여 캘리브레이션 과정을 거칠 수 있다. 캘리브레이션 과정에서는 화면 모서리 4개의 영역을 지정하고 화면 내부 영역의 깊이의 안정화된 평균값을 구한다.
TOF(time of flight) 카메라를 이용하여 손가락의 위치 및 깊이를 추정할 수 있는데, 일반적으로 TOF 카메라는 해상도가 떨어지기 때문에 손가락과 같은 얇은 물체의 깊이를 파악하는데 어려움이 있다. 따라서, 매우 짧은 거리에서 TOF 카메라를 쓰지 않는 한, 손 끝으로 화면을 터치할 때 그 깊이는 화면의 깊이와 구분되지 않으므로 (depth camera의 noise나 sensing 방식에 따른 그림자 등이 그 원인) 손 끝의 정확한 위치를 찾기 어렵다.
본 발명의 실시예에서는 이러한 문제를 해결하기 위해 다음과 같은 과정을 거친다.
카메라가 화면에서 떨어진 거리에 따라 명확히 구분 가능한 깊이를 가진 2개 이상의 손의 부위를 인식/확인하고 인체 구조적 특성에 맞게 반대로 손 끝의 위치를 추정해낼 수 있다. 예를 들어, ‘터치했을 시의 손목의 위치와 손가락 뼈마디의 깊이’를 확인하고 인체의 비율에 알맞게 외분된 지점으로 손 끝의 위치를 추정할 수 있다. 손 뼈마디 정도보다 더 높게 위치를 잡는다면 실제 손이 벽에 닿지 않고 많이 떠 있어도 터치라고 인식할 확률이 높아질 수 있다.
손 특정 부위의 위치를 찾을 때, ‘각 픽셀이 터치했을 때의 해당 부위일 확률’을 구하기 위해서 일반적으로 터치를 할 때 해당 부위의 깊이 값을 최대 확률로 가지는 확률 모델을 이용한다. 가장 일반적인 방식으로는 정규분포 모델을 이용할 수 있다. 이 방식을 이용해서 해당 부위일 확률이 가장 큰 픽셀을 찾는다.
그러나 최고 확률을 가진다고 해서 그 픽셀 하나가 손 해당 부위 위치일 가능성은 낮기 때문에 일정 크기 (n x n) 의 격자 단위로, 격자 마다 픽셀들의 확률의 합을 구한다. 최대값을 가지는 격자가 해당 손 부위의 격자이며, 그 격자 내에서 확률 값을 weight로 하는 x, y축 좌표 값의 가중 평균(weighted average)을 구할 수 있고, 이 값을 해당 부위의 위치로 추정할 수 있다.
예를 들어, 프로젝터는 터치의 위치를 결정하기 위해 사용자의 손목의 위치와 손가락 뼈마디의 깊이에 대한 정보 및 인체 비율 정보를 고려하여 외분된 지점으로 결정하고, 프로젝터는 터치 깊이 값을 최대 확률로 가지는 픽셀을 탐색하는 확률 모델 및 격자 단위 픽셀들의 확률의 합에 대한 정보를 기반으로 터치의 위치와 대응되는 픽셀을 프로젝터 스크린 상에서 결정할 수 있다.
현재 구한 격자의 확률 값은 ‘터치 했을 때 그 격자가 해당 손 부위일 확률’이다. 즉 확률이 클수록 터치했을 확률이 크다고 볼 수 있으므로, 특정 임계 값을 넘어가는 경우 터치했다고 인식할 수 있다. 그러나 노이즈(noise) 등으로 인해 순간적으로 임계 값을 넘기는 경우가 존재한다. 따라서 그 임계 값을 넘긴 시간(frame)이 특정 시간 이상 지속될 때 터치했다고 인식할 수 있다.
터치하였다고 판단되었을 때, 똑같은 방식으로 손목의 위치도 구할 수 있다. 그리고 인체의 비율에 맞도록 손목과 손 뼈마디의 위치를 외분하여 손가락의 위치를 추정할 수 있다.
투사 영역의 왜곡 등의 이유로 추정된 손가락의 위치는 투사된 화면에 맞게 다시 계산될 수 있다. 이는 처음 캘리브레이션 과정에서 얻어진 화면 영역과 추정된 손가락의 위치를 직사각형 모양의 화면에 맞게 변환을 통하여 매핑할 수 있다.
각 부위의 위치 및 최종 포인팅 위치는 센서 노이즈를 없애기 위해 필터링을 거쳐 안정화될 수 있다. 이를 이용하여 인터랙티브(interactive) 형 컨텐츠의 제작이 가능하다. 빔 프로젝터와 TOF 센서만 있으면 어떤 공간도 터치 월(touch wall), 터치 테이블(touch table), 터치 플로어(touch floor)가 될 수 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (8)

  1. 프로젝션 스크린에 대한 사용자의 터치를 인식하는 방법은,
    프로젝터에 구현된 일반 카메라가 사용자의 손을 인식하는 단계;
    상기 프로젝터의 깊이 인식 카메라가 상기 손의 깊이를 인식하는 단계; 및
    상기 프로젝터의 터치 인식부가 상기 손의 상기 깊이에 대한 정보를 기반으로 상기 손의 프로젝터 스크린에 대한 터치를 인식하는 단계를 포함하는 방법.
  2. 제1항에 있어서,
    상기 터치는 상기 사용자의 손가락과 상기 손가락에 의해 발생되는 그림자를 탐색하여 상기 손가락과 상기 그림자가 만나는지 여부를 기반으로 인식되는 것을 특징으로 하는 방법.
  3. 제2항에 있어서,
    상기 프로젝터는 상기 프로젝터 스크린의 프로젝터 스크린 좌표값을 설정하고, 상기 프로젝터 스크린 좌표값 내에서 출력되는 객체의 객체 좌표값 설정하고, 상기 프로젝터 스크린의 사이즈의 변화에 따라 상기 프로젝터 스크린 좌표값은 적응적으로 변화되어 재설정되고, 상기 객체 좌표값도 변화되어 재설정되고,
    상기 프로젝터는 상기 터치 여부에 대한 영상 분석을 상기 객체 좌표값을 기준으로 임계 거리 내에서만 수행하는 것을 특징으로 하는 방법.
  4. 제1항에 있어서,
    상기 터치의 위치는 상기 사용자의 손목의 위치와 손가락 뼈마디의 깊이에 대한 정보 및 인체 비율 정보를 고려하여 외분된 지점으로 결정되고,
    상기 프로젝터는 터치 깊이 값을 최대 확률로 가지는 픽셀을 탐색하는 확률 모델 및 격자 단위 픽셀들의 확률의 합에 대한 정보를 기반으로 상기 터치의 위치와 대응되는 픽셀을 상기 프로젝터 스크린 상에서 결정하는 것을 특징으로 하는 방법.
  5. 사용자의 터치를 인식하는 프로젝터는,
    사용자의 손을 인식하도록 구현된 일반 카메라;
    상기 손의 깊이를 인식하는 깊이 인식 카메라; 및
    상기 손의 상기 깊이에 대한 정보를 기반으로 상기 손의 프로젝터 스크린에 대한 터치를 인식하도록 구현된 터치 인식부를 포함하는 것을 특징으로 하는 프로젝터.
  6. 제5항에 있어서,
    상기 터치는 상기 사용자의 손가락과 상기 손가락에 의해 발생되는 그림자를 탐색하여 상기 손가락과 상기 그림자가 만나는지 여부를 기반으로 인식되는 것을 특징으로 하는 프로젝터.
  7. 제2항에 있어서,
    상기 프로젝터는 상기 프로젝터 스크린의 프로젝터 스크린 좌표값을 설정하고, 상기 프로젝터 스크린 좌표값 내에서 출력되는 객체의 객체 좌표값 설정하고, 상기 프로젝터 스크린의 사이즈의 변화에 따라 상기 프로젝터 스크린 좌표값은 적응적으로 변화되어 재설정되고, 상기 객체 좌표값도 변화되어 재설정되고,
    상기 프로젝터는 상기 터치 여부에 대한 영상 분석을 상기 객체 좌표값을 기준으로 임계 거리 내에서만 수행하는 것을 특징으로 하는 프로젝터.
  8. 제5항에 있어서,
    상기 터치의 위치는 상기 사용자의 손목의 위치와 손가락 뼈마디의 깊이에 대한 정보 및 인체 비율 정보를 고려하여 외분된 지점으로 결정되고,
    상기 프로젝터는 터치 깊이 값을 최대 확률로 가지는 픽셀을 탐색하는 확률 모델 및 격자 단위 픽셀들의 확률의 합에 대한 정보를 기반으로 상기 터치의 위치와 대응되는 픽셀을 상기 프로젝터 스크린 상에서 결정하는 것을 특징으로 하는 프로젝터.
KR1020180027729A 2017-10-31 2018-03-09 프로젝션 영상에서 사용자의 터치를 인식하는 방법 및 이러한 방법을 수행하는 장치 KR20190049349A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20170143328 2017-10-31
KR1020170143328 2017-10-31

Publications (1)

Publication Number Publication Date
KR20190049349A true KR20190049349A (ko) 2019-05-09

Family

ID=66545697

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180027729A KR20190049349A (ko) 2017-10-31 2018-03-09 프로젝션 영상에서 사용자의 터치를 인식하는 방법 및 이러한 방법을 수행하는 장치

Country Status (1)

Country Link
KR (1) KR20190049349A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210088961A (ko) 2020-01-07 2021-07-15 엘지전자 주식회사 프로젝터 기반의 입출력 방법 및 입출력 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210088961A (ko) 2020-01-07 2021-07-15 엘지전자 주식회사 프로젝터 기반의 입출력 방법 및 입출력 장치

Similar Documents

Publication Publication Date Title
US10511778B2 (en) Method and apparatus for push interaction
US10019074B2 (en) Touchless input
KR100851977B1 (ko) 가상 평면을 이용하여 전자 기기의 사용자 인터페이스를제어하는 방법 및 장치.
US20120326995A1 (en) Virtual touch panel system and interactive mode auto-switching method
WO2011142317A1 (ja) ジェスチャー認識装置、方法、プログラム、および該プログラムを格納したコンピュータ可読媒体
JP2018516422A (ja) スマートホームのためのジェスチャ制御システム及び方法
US10318152B2 (en) Modifying key size on a touch screen based on fingertip location
US9916043B2 (en) Information processing apparatus for recognizing user operation based on an image
JP2016520946A (ja) 人間対コンピュータの自然な３次元ハンドジェスチャベースのナビゲーション方法
US9632592B1 (en) Gesture recognition from depth and distortion analysis
US20140292648A1 (en) Information operation display system, display program, and display method
US10372229B2 (en) Information processing system, information processing apparatus, control method, and program
US20150089453A1 (en) Systems and Methods for Interacting with a Projected User Interface
US9836130B2 (en) Operation input device, operation input method, and program
KR20150091365A (ko) 멀티터치 심볼 인식
JP2017199289A (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
KR20160063163A (ko) 터치 제스쳐 인식 방법 및 장치
JP2016091457A (ja) 入力装置、指先位置検出方法及び指先位置検出用コンピュータプログラム
US20150153834A1 (en) Motion input apparatus and motion input method
KR20190049349A (ko) 프로젝션 영상에서 사용자의 터치를 인식하는 방법 및 이러한 방법을 수행하는 장치
CN103870146A (zh) 一种信息处理方法及电子设备
WO2022123929A1 (ja) 情報処理装置及び情報処理方法
JP6031961B2 (ja) 輪郭検出装置、輪郭検出方法および輪郭検出プログラム
KR20190069023A (ko) 손 인식 기반 비접촉식 입력 인터페이스 제공 방법 및 장치
US20140201687A1 (en) Information processing apparatus and method of controlling information processing apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application