KR101486488B1 - 다중 사용자 인식 멀티 터치 인터페이스 방법 - Google Patents

다중 사용자 인식 멀티 터치 인터페이스 방법 Download PDF

Info

Publication number
KR101486488B1
KR101486488B1 KR20130053439A KR20130053439A KR101486488B1 KR 101486488 B1 KR101486488 B1 KR 101486488B1 KR 20130053439 A KR20130053439 A KR 20130053439A KR 20130053439 A KR20130053439 A KR 20130053439A KR 101486488 B1 KR101486488 B1 KR 101486488B1
Authority
KR
South Korea
Prior art keywords
user
input
range
input command
touch
Prior art date
Application number
KR20130053439A
Other languages
English (en)
Other versions
KR20140133358A (ko
Inventor
최이권
소수환
Original Assignee
모젼스랩(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 모젼스랩(주) filed Critical 모젼스랩(주)
Priority to KR20130053439A priority Critical patent/KR101486488B1/ko
Publication of KR20140133358A publication Critical patent/KR20140133358A/ko
Application granted granted Critical
Publication of KR101486488B1 publication Critical patent/KR101486488B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 사용자의 위치와 입력명령이 발생한 위치를 매칭하여 입력명령에 대한 사용자를 특정하여 운영되는 다중 사용자 인식 멀티 터치 인터페이스 방법에 관한 것으로, 본 발명은 (A) 카메라모듈에 의해 사용자를 인식하는 단계와; (B) 추적부에서 상기 사용자의 위치정보를 추출부로 전송하는 단계와; (C) 추출부에서 상기 위치정보를 통해 입력가능범위를 산출하는 단계와; (D) 제어부에서 터치 패널에 대한 입력명령이 수신되었는지 판단하는 단계와; (E) 상기 (D) 단계의 판단결과, 상기 입력명령이 수신된 경우, 매칭부는 상기 입력명령의 입력좌표가 상기 입력가능범위에 포함되는지 판단하는 단계; 그리고 (F) 상기 (E) 단계의 판단결과, 상기 입력명령에 대한 좌표데이터가 입력가능범위에 포함되는 경우, 상기 입력명령에 대한 사용자를 특정하는 단계를 포함하여 수행된다. 이와 같은 본 발명에 의하면 사용자 추적을 통해 시스템과의 연속적인 인터랙션이 가능한 장점이 있다.

Description

다중 사용자 인식 멀티 터치 인터페이스 방법{multi-user recognition multi-touch interface method}
본 발명은 다중 사용자 인식 멀티 터치 인터페이스 방법에 관한 것으로, 더욱 상세하게는 사용자의 위치와 입력명령이 발생한 위치를 매칭하여 입력명령에 대한 사용자를 특정하여 운영되는 다중 사용자 인식 멀티 터치 인터페이스 방법에 관한 것으로, 지식경제부의 산업융합원천기술개발사업 '놀이형 인터액션 Smart Big board 개발' 과제 (수행기간 2012.06.01~2015.05.31)'를 수행함에 있어 산출된 결과물에 대한 발명이다.
일반적으로, 터치스크린은 마우스 등을 사용하지 않고 스크린에 나타난 문자나 특정 위치에 사람의 손 또는 터치펜 등을 이용하여 접촉위치를 파악하고 응용프로그램에 의해 특정 처리를 할 수 있도록 설계된 것을 말한다.
최근에는, 사용자들의 다양한 정보욕구를 충족시켜 주기 위하여 상기 터치스크린을 이용한 DID(Digital Information Display) 솔루션이 개발되고 있다. 상기 DID는 동영상, 이미지 등 다양한 콘텐츠를 활용해 광고/홍보 등의 정보 전달 업무를 디지털 콘텐츠화하여 원하는 정보를 원하는 장소와 원하는 시간에 네트워크 기반으로 중앙에서 관리하는 방송, 영상 중앙통제 시스템이다. 예를 들어, 상기 DID는 지하철 역사 등의 전자지도 기기, 현금자동인출기(ATM), 공공장소에 설치된 키오스크(kiosk)기기, 극장 등의 자동발권기 등 다방면에서 적용되고 있다.
한편, 사용자들은 다양한 DID 솔루션을 통해 자신이 원하는 디지털 콘텐츠를 빠르고 용이하게 찾기를 원하고, 이러한 사용자들의 욕구를 충족시키기 위하여 대한민국 공개특허 10-2009-0038413호와 같은 솔루션이 개발되고 있다.
상기 개시된 발명은 사용자에게 멀티 터치를 제공하기 위한 대형 인터랙티브 디스플레이 시스템과 그에 따른 사용자 인터페이스 방법을 제시한 것으로, 프로젝터(Projector)기반의 대형 벽면 디스플레이 장치, 적외선 발생 장치(IR-LEDs)를 이용한 적외선 발생장치 배열판(IR-LEDs Array Bar), 적외선 투과 필터(IR-Filter)장치를 장착한 적외선 카메라(IR Camera) 등으로 구성된 시스템을 제공하며, 다양한 인터랙션 정보들을 전처리 과정을 통해 인식하게 되고, 스크린의 크기가 커지면 다수의 사용자가 함께 사용 가능한 장점이 있다.
또한, 도 1에 도시된 바와 같이 대한민국 공개특허 10-2012-0084943호에는 디스플레이 영역을 기준으로 소정 범위 내의 사용자의 수를 인식하여 인식된 사용자의 수만큼의 영역들로 디스플레이 영역을 분할하고, 분할된 각 영역에 대응되는 사용자로부터 명령이 입력되면, 이에 따른 결과 정보를 디스플레이 영역에 동적으로 디스플레이함에 따라, 하나의 정보 제공 시스템을 사용할 때 여러 사용자가 디스플레이 영역을 동시에 점유하여 다수의 사용자에 대한 서비스를 동시 제공할 수 있는 장점이 있다.
그러나, 실제 사용자가 바라보는 뷰(View) 영역에서만 콘텐츠 등의 활용이 가능하기때문에 사용자 추적을 통한 시스템과의 연속적인 인터랙션(Interaction)이 불가능한 단점이 있다.
(0001) 대한민국 공개특허 10-2009-0038413호 (0002) 대한민국 공개특허 10-2012-0084943호
본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 하나의 터치 디바이스를 다수의 사용자가 이용하는 경우, 사용자의 위치정보를 이용하여 터치입력의 입력주체를 특정하여 시스템과의 연속적인 인터랙션이 가능한 다중 사용자 인식 멀티 터치 인터페이스 방법을 제공하고자 하는 것이다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 특징에 따르면 본 발명에 의한 다중 사용자 인식 멀티 터치 인터페이스 방법은 (A) 카메라모듈에 의해 사용자를 인식하는 단계와; (B) 추적부에서 상기 사용자의 위치정보를 추출부로 전송하는 단계와; (C) 추출부에서 상기 위치정보를 통해 입력가능범위를 산출하는 단계와; (D) 제어부에서 터치 패널에 대한 입력명령이 수신되었는지 판단하는 단계와; (E) 상기 (D) 단계의 판단결과, 상기 입력명령이 수신된 경우, 매칭부는 상기 입력명령의 입력좌표가 상기 입력가능범위에 포함되는지 판단하는 단계; 그리고 (F) 상기 (E) 단계의 판단결과, 상기 입력명령에 대한 좌표데이터가 입력가능범위에 포함되는 경우, 상기 입력명령에 대한 사용자를 특정하는 단계를 포함하여 수행될 수 있다.
이때, 상기 사용자가 2인 이상인 경우, 각각의 사용자에 대해 위치를 인식하여 입력가능범위를 산출하고, 입력명령 발생시, 각각의 입력명령에 대한 사용자가 특정될 수도 있다.
여기서, 상기 입력가능범위는, 상기 사용자의 위치를 반영하여 상기 사용자의 터치입력이 가능한 범위를 산출한 값일 수도 있다.
이때, 상기 입력가능범위는, 상기 사용자의 형태를 반영하여 상기 사용자의 터치입력이 가능한 범위를 산출한 값일 수도 있다.
또한, 제 1 항에 있어서, 상기 (F) 단계는, 상기 입력명령에 대한 좌표데이터가 입력가능범위에 포함되지 않는 경우, 상기 입력명령에 대한 사용자가 특정되지않고, 상기 입력명령이 오류입력처리될 수도 있다.
이때, 상기 (B) 단계는, 사용자가 이동하는 경우, 사용자의 이동을 추적할 수도 있다.
여기서, 상기 카메라모듈은, 키넥트카메라로 형성될 수도 있다.
전술한 바와 같이, 본 발명에 의한 다중 사용자 인식 멀티 터치 인터페이스 방법은 다음과 같은 효과를 기대할 수 있다.
본 발명에서는 사용자의 위치정보와 입력명령이 발생한 위치의 정보를 매칭하여 입력명령에 대한 사용자를 특정함으로써 사용자 추적을 통해 시스템과의 연속적인 인터랙션이 가능한 장점이 있다.
도 1은 종래 기술에 의한 다수 사용자의 동시 사용을 지원하는 정보 제공시스템의 정면을 도시한 예시도.
도 2는 본 발명에 의한 다중 사용자 인식 멀티 터치 인터페이스 시스템의 구체적인 실시예를 도시한 블록도.
도 3은 본 발명에 의한 다중 사용자 인식 멀티 터치 인터페이스 방법의 구체적인 실시예를 도시한 흐름도.
이하에서는 상기한 바와 같은 본 발명에 의한 다중 사용자 인식 멀티 터치 인터페이스 방법의 구체적인 실시예를 첨부된 도면을 참고하여 설명한다.
도 2는 본 발명에 의한 다중 사용자 인식 멀티 터치 인터페이스 시스템의 구체적인 실시예를 도시한 블록도이고, 도 3은 본 발명에 의한 다중 사용자 인식 멀티 터치 인터페이스 방법의 구체적인 실시예를 도시한 흐름도이다.
이하에서는 본 발명에 의한 다중 사용자 인식 멀티 터치 인터페이스 시스템의 구체적인 실시예에 대해 도 1을 참고하여 상세히 설명하도록 한다.
도 2는 본 발명에 의한 다중 사용자 인식 멀티 터치 인터페이스 시스템의 구체적인 실시예를 도시한 블록도이다.
도 2에 도시된 바와 같이, 본 발명에 의한 다중 사용자 인식 멀티 터치 인터페이스 시스템은 표시부(100), 입력부(200), 제어부(300) 그리고 저장부(400)를 포함하여 구성된다.
상기 표시부(100)는 LCD(Liquid Crystal Display), LED(light emitting diode) 등으로 형성될 수 있다. 이때, 상기 표시부(100)는 콘텐츠에 대한 정보, 입력된 데이터, 기능 설정 정보 등의 다양한 정보를 사용자에게 시각적으로 제공한다. 예를 들어, 상기 표시부(100)는 대기화면, 표시화면, 설정화면, 입력화면, 응용프로그램의 실행화면 등을 나타낸다.
이때, 상기 표시부(100)는 터치 패널을 포함한다(도시하지 않음). 상기 터치 패널은 터치 기구(사람의 손, 터치펜 등)가 터치스크린에 접촉되는지 여부를 감지한다. 여기서, 상기 터치 패널은 구현원리에 따라 저항막 방식, 정전용량 방식, 적외선 방식, 초음파 방식 등의 터치감지센서로 구성될 수 있으며, 물체의 접촉 또는 압력을 감지할 수 있는 모든 종류의 센서로 구성될 수도 있다.
여기서, 상기 터치 패널은 표시부(100)에 부착되어 형성될 수 있으며, 사용자의 터치입력을 감지하고, 상기 터치입력에 대한 입력명령을 제어부(300)로 전송한다. 이때, 상기 입력명령은 터치입력이 발생한 위치정보가 포함되어 전송될 수 있다.
상기 제어부(300)는 본 발명에 의한 다중 사용자 인식 멀티 터치 인터페이스 시스템의 전반적인 동작을 제어한다. 이때, 상기 제어부(300)는 추적부(320)와 추출부(340) 그리고 매칭부(360)를 포함하여 구성된다.
상기 추적부(320)는 사용자를 인식하여, 상기 추출부(340)에 상기 사용자에 대한 위치정보를 제공한다. 여기서, 상기 사용자 인식은 카메라모듈을 통해 이루어진다.
이때, 상기 카메라모듈은 모션캡쳐로 사용자의 동작을 인식하는 기능과 사용자의 안면을 인식하는 기능이 포함되고, 이미지 소프트웨어를 구비하여 실시간으로 사용자 추적이 가능한 키넥트카메라로 형성되는 것이 바람직하다. 여기서, 상기 카메라모듈은 상기 터치스크린의 크기, 설치장소 등 설치환경에 따라 1개 이상이 구비될 수 있다.
이때, 상기 위치정보는 상기 카메라모듈의 촬영영역범위 내에서 촬영된 사용자의 기준위치에 대한 좌표데이터이다. 여기서, 상기 촬영영역범위는 상기 터치스크린에 터치입력을 수행하기 위한 사용자를 인식할 수 있는 영역을 의미한다.
이때, 상기 좌표데이터는 상기 터치스크린과 카메라모듈을 통해 획득한 이미지가 2차원이므로 2차원 좌표(x, y)로 산출된다.
여기서, 상기 기준위치란 상기 촬영영역범위 내에서 촬영된 사용자의 위치의 좌표데이터를 추출하기 위한 상기 사용자의 특징점을 말한다. 이때, 상기 기준위치는 일반적으로 터치 입력이 발생하는 손가락으로 설정될 수 있고, 사용자의 키, 폭 등의 신체조건을 고려하여 설정될 수도 있다.
여기서, 상기 위치정보는 사용자가 이동함에 따라 실시간으로 변경된 좌표데이터가 상기 추출부(340)로 전송된다. 이때, 상기 위치정보는 인식번호가 포함되어 전송될 수 있으며, 상기 인식번호는 촬영범위 내에 인식된 다수의 사용자를 추적 및 관리하기 위한 것이다.
상기 추출부(340)는 상기 추적부(320)로부터 제공받은 위치정보를 통해 입력가능범위를 산출한다. 이때, 상기 입력가능범위는 상기 사용자의 위치정보로부터 터치입력이 가능한 범위를 나타낸 것이다.
여기서, 상기 입력가능범위는 카메라모듈의 키넥트카메라로 형성된 사용자의 형태가 반영되어 산출될 수 있다.
예를 들어, 사용자의 기준위치를 중심으로 사용자의 키, 폭 등의 신체조건에 따라 기설정된 범위를 할당하여 산출할 수 있고, 사용자의 기준위치부터 사용자가 터치입력을 위해 뻗은 팔길이를 반지름으로 하는 가상의 원을 범위로 할당하여 산출할 수도 있다.
이때, 상기 입력가능범위는 사용자가 이동함에 따라 상기 기준위치가 변경되면, 터치입력이 가능한 범위가 변경된다. 여기서, 상기 범위의 변경이라 함은 터치입력이 가능한 범위의 크기는 고정되고 위치가 변경되는 것을 의미한다.
또한, 상기 추출부(340)는 사용자가 입력한 입력명령에 대한 좌표데이터를 추출한다. 이때, 상기 입력명령은 사용자에 의해 적어도 한 개 이상의 터치포인트가 발생되며, 상기 좌표데이터는 입력명령이 발생한 위치에서 추출된다.
상기 매칭부(360)는 상기 추출부(340)에서 입력가능범위와 입력명령에 대한 좌표데이터를 제공받아 상기 입력명령에 대한 좌표데이터가 상기 입력가능범위에 포함되는지를 판단한다.
예를 들어, 상기 다수의 사용자가 촬영영역범위 내에 진입하고, 제 1 사용자의 입력가능범위가 (50, 50)부터 (100, 100)까지 산출된 경우를 예로 들어 설명한다. 이와 같은 경우, 상기 다수의 사용자로부터 입력된 입력명령의 좌표데이터가 (60, 70), (50, 120), (170, 80)이면, 매칭부(360)는 상기 제 1 사용자의 입력가능범위에 포함되는 입력명령의 좌표데이터 (60, 70)이 제 1 사용자의 입력명령임을 판단한다. 이때, 상기 입력명령에 대한 좌표데이터가 입력가능범위에 포함되지 않는 경우, 상기 매칭부(360)는 입력명령에 대하여 오류입력처리를 한다.
상기 저장부(400)는 본 발명의 다중 사용자 인식 멀티 터치 인터페이스의 동작에 필요한 데이터 및 프로그램을 저장한다. 본 발명의 실시예에 따른 상기 저장부(400)는 촬영영역범위 내에서 사용자의 위치에 대한 좌표데이터, 사용자가 터치입력이 가능한 범위, 사용자의 입력명령에 대한 좌표데이터 등이 저장될 수 있으며, 상기 카메라모듈을 통해 사용자를 인식하고 추출된 좌표데이터를 이용하여 다수의 사용자로부터 입력된 입력명령에 대해 사용자를 특정하는 인터페이스를 운영하기 위한 프로그램이 저장될 수도 있다.
이하에서는 본 발명에 의한 다중 사용자 인식 멀티 터치 인터페이스 방법의 구체적인 실시예에 대해 도 3을 참고하여 설명하기로 한다.
도 3은 본 발명에 의한 다중 사용자 인식 멀티 터치 인터페이스 방법의 구체적인 실시예를 도시한 흐름도이다.
도 3에 도시된 바와 같이, 본 발명에 의한 다중 사용자 인식 멀티 터치 인터페이스 방법은 카메라모듈에 의해 사용자를 인식하는 것으로 시작된다(S100). 여기서, 상기 카메라모듈은 이미지 소프트웨어를 구비하여 실시간으로 사용자 추적이 가능한 키넥트카메라로 형성되는 것이 바람직하다.
이때, 상기 사용자 인식은 카메라모듈의 촬영영역범위 내에 사용자가 진입한 것을 말한다.
여기서, 상기 제 100 단계는 상기 촬영영역범위 내로 진입한 사용자의 기준위치로부터 추출한 위치정보를 상기 추출부(340)로 전송하는 단계가 더 수행된다. 이때, 상기 위치정보는 상기 사용자의 기준위치에 대한 좌표데이터이고, 상기 기준위치는 사용자의 좌표데이터를 추출하기 위한 사용자의 특징점이다. 여기서, 상기 위치정보는 다수의 사용자를 구별하기 위한 인식번호를 포함할 수 있다.
이때, 상기 촬영영역범위 내로 진입한 사용자가 다수일 경우, 각각의 사용자에 대한 특징점을 추출하고, 상기 특징점이 위치한 좌표데이터를 산출하여 추출부(340)로 전송한다.
다음으로, 사용자 위치에 대한 입력가능범위를 산출한다(S200). 이때, 상기 추출부(340)는 상기 추적부(320)로부터 전송받은 위치정보를 기준으로 상기 입력가능범위를 산출한다. 이때, 상기 입력가능범위는 상기 사용자의 위치정보로부터 터치입력이 가능한 범위를 나타낸 것이다.
여기서, 상기 입력가능범위는 카메라모듈의 키넥트카메라로 형성된 사용자의 형태가 반영되어 산출될 수 있다.
예를 들어, 사용자의 기준위치를 중심으로 사용자의 키, 폭 등의 신체조건에 따라 기설정된 범위를 할당하여 산출할 수 있고, 사용자의 기준위치부터 사용자가 터치입력을 위해 뻗은 팔길이를 반지름으로 하는 가상의 원을 범위로 할당하여 산출할 수도 있다.
이때, 다수의 사용자가 동시에 촬영영역범위 내에 진입하여 각각의 사용자에게 할당된 입력가능범위가 중복되는 경우, 진입 우선순위에 의해 먼저 촬영영역범위 내로 진입한 사용자만 터치입력을 할 수 있고, 중복되는 범위를 공유하여 터치입력을 할 수도 있다.
다음으로, 상기 추적부(320)는 사용자의 위치를 추적한다(S300). 이때, 상기 추적은 사용자가 터치입력을 위해 이동함에 따라 상기 카메라모듈이 사용자의 위치를 파악하는 것을 말한다.
여기서, 상기 입력가능범위는 사용자가 이동함에 따라 위치정보가 변경되므로 입력가능범위도 변동된다. 이때, 상기 입력가능범위는 상기 추출부(340)로부터 산출된 값이므로 위치만 변경된다.
다음으로, 터치패널에 대한 입력명령이 수신되었는지 판단한다(S400). 이때, 상기 입력명령이 수신된 경우, 상기 추출부(340)는 입력명령에 대한 좌표데이터를 추출한다(S500).
여기서 상기 입력명령은 터치패널에 발생한 한 개 이상의 터치포인트이며, 상기 추출부(340)는 상기 입력명령의 위치에 대한 좌표데이터를 추출한다.
이때, 상기 사용자가 촬영영역범위를 벗어난 경우, 상기 추척부(320)는 사용자에 대한 입력명령을 보류처리한다. 여기서, 상기 추적부(320)는 설정 시간 내에 사용자가 재인식되는 경우, 상기 사용자에 대해 보류처리된 입력명령을 계속 수행하고, 설정 시간 내에 사용자가 재인식되지 않는 경우, 상기 사용자에 대해 보류처리된 입력명령을 오류입력처리한다.
한편, 터치패널에 대한 입력명령이 수신되지 않는 경우, 상기 제 300 단계를 수행한다.
다음으로, 상기 입력명령에 대한 좌표데이터가 입력가능범위에 포함되는지 판단한다(S600). 이때, 상기 입력명령에 대한 좌표데이터가 입력가능범위에 포함되는 경우, 입력명령에 대한 사용자를 특정한다(S700).
여기서, 상기 사용자가 다수일 경우, 동시다발적으로 발생하는 입력명령에 대한 각각의 사용자를 특정한다.
한편, 상기 입력명령에 대한 좌표데이터가 입력가능범위에 포함되지 않는 경우, 상기 제 500 단계를 수행한다. 이때, 상기 입력명령에 대한 입력가능범위가 존재하지 않는 경우, 상기 입력명령은 오류입력처리된다.
예를 들어, 상기 제 600 단계에서 입력가능범위가 (50, 50)부터 (100, 100)인 경우를 예로 들어 설명한다. 이와 같은 경우 상기 사용자로부터 입력된 입력명령의 좌표데이터가 (60, 70)이면, 상기 매칭부(360)는 상기 사용자의 입력가능범위에 입력명령의 좌표데이터가 포함되므로 입력명령에 대한 사용자를 특정한다. 이때, 상기 사용자로부터 입력된 입력명령의 좌표데이터가 (170, 80)이면, 상기 매칭부(360)는 상기 사용자의 입력가능범위에 입력명령의 좌표데이터가 포함되지 않으므로 입력명령에 대한 사용자가 특정되지 않고, 상기 입력명령은 오류입력처리된다.
한편, 상기 100 단계 내지 제 700 단계는 다수의 사용자를 인식하여 동시다발적으로 수행될 수 있으며, 이를 통해 사용자는 다른 사용자의 입력영역을 침해하지 않는 인터페이스를 제공받을 수 있다.
본 발명의 권리는 이상에서 설명된 실시예에 한정되지 않고 청구범위에 기재된 바에 의해 정의되며, 본 발명의 분야에서 통상의 지식을 가진 자가 청구범위에 기재된 권리 범위 내에서 다양한 변형과 개작을 할 수 있다는 것은 자명하다.
본 발명은 사용자의 위치와 입력명령이 발생한 위치를 매칭하여 입력명령에 대한 사용자를 특정하여 운영되는 다중 사용자 인식 멀티 터치 인터페이스 방법에 관한 것으로, 본 발명에 의하면 사용자 추적을 통해 시스템과의 연속적인 인터랙션이 가능한 장점이 있다.
100 표시부 200 입력부
300 제어부 320 추적부
340 추출부 360 매칭부
400 저장부

Claims (7)

  1. (A) 카메라모듈에 의해 사용자를 인식하는 단계와;
    (B) 추적부에서 상기 사용자의 위치정보를 추출부로 전송하는 단계와;
    (C) 추출부에서 상기 위치정보를 통해 입력가능범위를 산출하는 단계와;
    (D) 제어부에서 터치 패널에 대한 입력명령이 수신되었는지 판단하는 단계와;
    (E) 상기 (D) 단계의 판단결과, 상기 입력명령이 수신된 경우, 매칭부는 상기 입력명령의 입력좌표가 상기 입력가능범위에 포함되는지 판단하는 단계; 그리고
    (F) 상기 (E) 단계의 판단결과, 상기 입력명령에 대한 좌표데이터가 입력가능범위에 포함되는 경우, 상기 입력명령에 대한 사용자를 특정하는 단계를 포함하여 수행되고:
    상기 사용자가 둘 이상인 경우,
    상기(A)단계의 사용자 인식과, 상기(C)단계의 입력가능범위 산출은 사용자 각각에 대하여 수행되고;
    상기(D)단계의 입력명령 발생시, 상기 입력명령에 대한 사용자 특정은,
    상기 입력명령에 대한 좌표 데이터를 각각의 사용자에 대한 입력가능범위와 대비하여 수행되며:
    상기 입력가능범위는,
    상기 사용자의 위치를 기준으로 상기 사용자의 터치입력이 가능한 범위를 산출한 값임을 특징으로 하는 다중 사용자 인식 멀티 터치 인터페이스 방법.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서,
    상기 입력가능범위는,
    상기 사용자의 형태를 더 반영하여 상기 사용자의 터치입력이 가능한 범위를 산출한 값이고;
    상기 사용자의 형태는,
    상기 카메라 모듈에 의해 촬상된 사용자 이미지의 외관임을 특징으로 하는 다중 사용자 인식 멀티 터치 인터페이스 방법.
  5. 제 4 항에 있어서,
    상기 (F) 단계는,
    상기 입력명령에 대한 좌표데이터가 입력가능범위에 포함되지 않는 경우,
    상기 입력명령에 대한 사용자가 특정되지않고, 상기 입력명령이 오류입력처리됨을 특징으로 하는 다중 사용자 인식 멀티 터치 인터페이스 방법.
  6. 제 5 항에 있어서,
    상기 (B) 단계는,
    사용자가 이동하는 경우, 사용자의 이동을 추적함을 특징으로 하는 다중 사용자 인식 멀티 터치 인터페이스 방법.
  7. 제 5 항에 있어서,
    상기 카메라모듈은,
    키넥트카메라로 형성됨을 특징으로 하는 다중 사용자 인식 멀티 터치 인터페이스 방법.
KR20130053439A 2013-05-10 2013-05-10 다중 사용자 인식 멀티 터치 인터페이스 방법 KR101486488B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130053439A KR101486488B1 (ko) 2013-05-10 2013-05-10 다중 사용자 인식 멀티 터치 인터페이스 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130053439A KR101486488B1 (ko) 2013-05-10 2013-05-10 다중 사용자 인식 멀티 터치 인터페이스 방법

Publications (2)

Publication Number Publication Date
KR20140133358A KR20140133358A (ko) 2014-11-19
KR101486488B1 true KR101486488B1 (ko) 2015-01-26

Family

ID=52454046

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130053439A KR101486488B1 (ko) 2013-05-10 2013-05-10 다중 사용자 인식 멀티 터치 인터페이스 방법

Country Status (1)

Country Link
KR (1) KR101486488B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717458B (zh) * 2019-10-11 2022-07-22 北京地平线机器人技术研发有限公司 人脸识别方法及识别装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008269044A (ja) * 2007-04-17 2008-11-06 Sharp Corp 表示制御装置及び表示制御プログラム
KR20120051211A (ko) * 2010-11-12 2012-05-22 엘지전자 주식회사 멀티미디어 장치의 사용자 제스쳐 인식 방법 및 그에 따른 멀티미디어 장치
KR20120129293A (ko) * 2011-05-19 2012-11-28 주식회사 뉴이레디자인 증강현실 기반 인터렉티브 컨텐츠 생성 방법 및 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008269044A (ja) * 2007-04-17 2008-11-06 Sharp Corp 表示制御装置及び表示制御プログラム
KR20120051211A (ko) * 2010-11-12 2012-05-22 엘지전자 주식회사 멀티미디어 장치의 사용자 제스쳐 인식 방법 및 그에 따른 멀티미디어 장치
KR20120129293A (ko) * 2011-05-19 2012-11-28 주식회사 뉴이레디자인 증강현실 기반 인터렉티브 컨텐츠 생성 방법 및 시스템

Also Published As

Publication number Publication date
KR20140133358A (ko) 2014-11-19

Similar Documents

Publication Publication Date Title
TWI690842B (zh) 基於手勢辨認的互動顯示方法和裝置
US9477324B2 (en) Gesture processing
EP3066551B1 (en) Multi-modal gesture based interactive system and method using one single sensing system
CN105229582B (zh) 基于近距离传感器和图像传感器的手势检测
US8959013B2 (en) Virtual keyboard for a non-tactile three dimensional user interface
US8743089B2 (en) Information processing apparatus and control method thereof
EP2284668A2 (en) Interactive input system and components therefor
US20160139762A1 (en) Aligning gaze and pointing directions
US20140267029A1 (en) Method and system of enabling interaction between a user and an electronic device
US11054896B1 (en) Displaying virtual interaction objects to a user on a reference plane
KR101019254B1 (ko) 공간 투영 및 공간 터치 기능이 구비된 단말 장치 및 그 제어 방법
CN102144208A (zh) 结合笔跟踪的多点触摸触摸屏
CN102033702A (zh) 影像显示装置及其显示控制方法
US20130044054A1 (en) Method and apparatus for providing bare-hand interaction
CN102165399A (zh) 结合笔跟踪的多点触摸触摸屏
KR101575063B1 (ko) 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 장치 및 방법
US20120038586A1 (en) Display apparatus and method for moving object thereof
CA2885950A1 (en) Interactive input system and method for grouping graphical objects
KR101964192B1 (ko) 시뮬레이션용 스마트 테이블 장치
KR101486488B1 (ko) 다중 사용자 인식 멀티 터치 인터페이스 방법
TWI479363B (zh) 具有指向功能的可攜式電腦及指向系統
CN103221912A (zh) 输入命令
Koutlemanis et al. Tracking of multiple planar projection boards for interactive mixed-reality applications
KR101411927B1 (ko) 터치 궤적을 이용한 멀티 터치 식별 방법
KR20140086250A (ko) 촬영부를 이용한 원격 제어 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180105

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee