KR101575063B1 - 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 장치 및 방법 - Google Patents

뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 장치 및 방법 Download PDF

Info

Publication number
KR101575063B1
KR101575063B1 KR1020140035810A KR20140035810A KR101575063B1 KR 101575063 B1 KR101575063 B1 KR 101575063B1 KR 1020140035810 A KR1020140035810 A KR 1020140035810A KR 20140035810 A KR20140035810 A KR 20140035810A KR 101575063 B1 KR101575063 B1 KR 101575063B1
Authority
KR
South Korea
Prior art keywords
user
input
depth camera
touch
touch panel
Prior art date
Application number
KR1020140035810A
Other languages
English (en)
Other versions
KR20150112198A (ko
Inventor
최이권
정현철
김용진
김유화
박맑음
소수환
Original Assignee
모젼스랩(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 모젼스랩(주) filed Critical 모젼스랩(주)
Priority to KR1020140035810A priority Critical patent/KR101575063B1/ko
Publication of KR20150112198A publication Critical patent/KR20150112198A/ko
Application granted granted Critical
Publication of KR101575063B1 publication Critical patent/KR101575063B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 뎁스카메라를 이용하여 동일 터치 인터페이스를 사용하는 다수의 사용자를 인식하고, 발생되는 입력명령에 대한 입력 주체(사용자)를 특정하여 처리하는 인터페이스 장치 및 방법에 관한 것으로, 본 발명은 사용자에게 출력 이미지를 표시하는 디스플레이부와; 상기 디스플레이부상에 구비되어, 사용자의 터치 입력을 감지하는 터치패널과; 상기 터치패널의 전방 상부에 하방을 향하도록 설치되어, 상기 터치패널 전방의 사용자를 하방으로 감지하도록 설치되는 뎁스카메라; 그리고 상기 디스플레이부, 터치패널 및 뎁스카메라의 구동을 제어하고, 상기 터치패널로부터 입력된 입력값에 따라 입력명령을 실행하는 제어부를 포함하여 구성된다. 이와 같은 본 발명에 의하면, 사용자의 위치정보와 입력명령이 발생한 위치의 정보를 매칭하여 입력명령에 대한 사용자를 특정함으로써, 다수 사용자가 동일 입력 인터페이스를 사용함에도 사용자별 입력명령을 구분할 수 있어, 시스템과 다수 사용자의 터치 입력의 연속적인 인터랙션이 가능한 장점이 있다.

Description

뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 장치 및 방법 { MULTI-USER RECOGNITION MULTI-TOUCH INTERFACE APPARATUS AND METHOD USING DEPTH-CAMERA }
본 발명은 뎁스카메라를 이용하여 동일 터치 인터페이스를 사용하는 다수의 사용자를 인식하고, 발생되는 입력명령에 대한 입력 주체(사용자)를 특정하여, 입력명령을 입력주체에 따라 구분하여 분류/처리하는 다중 사용자 멀티 터치 인터페이스 장치 및 방법에 관한 것으로, 지식경제부의 산업융합원천기술개발사업 '놀이형 인터액션 Smart Big board 개발' 과제 (수행기간 2012.06.01~2015.05.31)'를 수행함에 있어 산출된 결과물에 대한 발명이다.
일반적으로, 터치스크린은 마우스 등을 사용하지 않고 스크린에 나타난 문자나 특정 위치에 사람의 손 또는 터치펜 등을 이용하여 접촉위치를 파악하고 응용프로그램에 의해 특정 처리를 할 수 있도록 설계된 것을 말한다.
최근에는, 사용자들의 다양한 정보욕구를 충족시켜 주기 위하여 상기 터치스크린을 이용한 DID(Digital Information Display) 솔루션이 개발되고 있다. 상기 DID는 동영상, 이미지 등 다양한 콘텐츠를 활용해 광고/홍보 등의 정보 전달 업무를 디지털 콘텐츠화하여 원하는 정보를 원하는 장소와 원하는 시간에 네트워크 기반으로 중앙에서 관리하는 방송, 영상 중앙통제 시스템이다. 예를 들어, 상기 DID는 지하철 역사 등의 전자지도 기기, 현금자동인출기(ATM), 공공장소에 설치된 키오스크(kiosk)기기, 극장 등의 자동발권기 등 다방면에서 적용되고 있다.
한편, 사용자들은 다양한 DID 솔루션을 통해 자신이 원하는 디지털 콘텐츠를 빠르고 용이하게 찾기를 원하고, 이러한 사용자들의 욕구를 충족시키기 위하여 대한민국 공개특허 10-2009-0038413호와 같은 솔루션이 개발되고 있다.
상기 개시된 발명은 사용자에게 멀티 터치를 제공하기 위한 대형 인터랙티브 디스플레이 시스템과 그에 따른 사용자 인터페이스 방법을 제시한 것으로, 프로젝터(Projector)기반의 대형 벽면 디스플레이 장치, 적외선 발생 장치(IR-LEDs)를 이용한 적외선 발생장치 배열판(IR-LEDs Array Bar), 적외선 투과 필터(IR-Filter)장치를 장착한 적외선 카메라(IR Camera) 등으로 구성된 시스템을 제공하며, 다양한 인터랙션 정보들을 전처리 과정을 통해 인식하게 되고, 스크린의 크기가 커지면 다수의 사용자가 함께 사용 가능한 장점이 있다.
또한, 도 1에 도시된 바와 같이 대한민국 공개특허 10-2012-0084943호에는 디스플레이 영역을 기준으로 소정 범위 내의 사용자의 수를 인식하여 인식된 사용자의 수만큼의 영역들로 디스플레이 영역을 분할하고, 분할된 각 영역에 대응되는 사용자로부터 명령이 입력되면, 이에 따른 결과 정보를 디스플레이 영역에 동적으로 디스플레이함에 따라, 하나의 정보 제공 시스템을 사용할 때 여러 사용자가 디스플레이 영역을 동시에 점유하여 다수의 사용자에 대한 서비스를 동시 제공할 수 있는 장점이 있다.
그러나, 동일 영역내에서 다수의 사용자가 동시에 각자의 터치입력을 실시하는 경우, 이들 멀티터치에 대하여 사용자별로 구분하여 처리하는 것은 불가능하고, 따라서 동일 영역에 대하여 구분된 작업을 다수 사용자가 개별적으로 수행할 수 없는 문제점이 있었다.
(0001) 대한민국 공개특허 10-2009-0038413호 (0002) 대한민국 공개특허 10-2012-0084943호
본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 하나의 터치 디바이스를 다수의 사용자가 이용하는 경우, 뎁스 카메라를 이용하여 사용자의 위치정보를 파악하고, 터치입력의 입력주체를 특정하여 시스템과의 연속적인 인터랙션이 가능한 다중 사용자 인식 멀티 터치 인터페이스 방법을 제공하고자 하는 것이다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 특징에 따르면 본 발명에 의한 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 장치는, 사용자에게 출력 이미지를 표시하는 디스플레이부와; 상기 디스플레이부상에 구비되어, 사용자의 터치 입력을 감지하는 터치패널과; 상기 터치패널의 전방 상부에 하방을 향하도록 설치되어, 상기 터치패널 전방의 사용자를 하방으로 감지하도록 설치되는 뎁스카메라; 그리고 상기 디스플레이부, 터치패널 및 뎁스카메라의 구동을 제어하고, 상기 터치패널로부터 입력된 입력값에 따라 입력명령을 실행하는 제어부를 포함하여 구성되고: 상기 제어부는, 상기 뎁스 카메라로부터 입력된 영상으로부터 각 사용자별 사용자영역 및 중심점을 추출하는 추출부와; 상기 사용자의 이동시 상기 중심점을 기준으로 상기 사용자의 이동위치를 산출하는 추적부; 그리고 상기 터치패널을 통한 터치입력의 위치와 상기 추출부로부터 추출된 사용자 영역에 따라 상기 터치입력에 대한 사용자를 특정하는 매칭부를 포함하여 구성된다.
여기서, 상기 뎁스 카메라는, 대상체의 원근위치를 산출하는 키넥트(Kinect) 카메라일 수도 있다.
그리고 상기 사용자별 사용자 영역은, 상기 뎁스 카메라로부터 입력된 영상의 각 사용자 이미지에 대하여, 상기 각 사용자 이미지의 평면좌표를 장방향으로 구분하여 산출할 수도 있다.
또한, 상기 중심점은, 상기 뎁스 카메라로부터 입력된 영상의 각 사용자 이미지에 대하여, 최소 거리 위치에 따라 설정될 수도 있다.
그리고 상기 추적부는, 각각 다른 사용자 영역에 대하여 겹침이 발생하여 이동하는 경우, 상기 중심점의 이동에 따라 이동후 각 사용자를 특정할 수도 있다.
또한, 상기 매칭부는, 상기 터치패널에 사용자의 입력이 감지되는 경우, 상기 터치입력을 상기 사용자 영역 중 터치패널에 접촉된 수평좌표(x)를 포함한 사용자 영역의 터치입력으로 매칭할 수도 있다.
그리고 상기 매칭부는, 상기 사용자 영역의 터치패널 접촉 여부를 기 설정된 오차범위 내에서 판별할 수도 있다.
한편, 본 발명은 사용자에게 출력 이미지를 표시하는 디스플레이부와, 사용자의 터치 입력을 감지하는 터치패널과, 상기 터치패널 전방에 설치되어 사용자를 감지하는 뎁스카메라; 그리고 상기 디스플레이부, 터치패널 및 뎁스카메라의 구동을 제어하는 제어부를 포함하여 구성되어, 동일 터치패널에 대한 복수 사용자의 터치입력에 대하여 터치 입력 추체를 특정하는 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 방법에 있어서, (A) 뎁스카메라에 의해 사용자를 인식하는 단계와; (B) 추출부에서 상기 뎁스카메라부터 획득한 이미지로부터, 상기 사용자의 사용자 영역 및 중심점을 산출하는 단계와; (C) 추적부를 통해 상기 사용자의 중심점 이동에 따라 사용자의 이동을 추적하는 단계와; (D) 제어부에서 터치패널에 대한 입력명령이 수신되었는지 판단하는 단계와; (E) 상기 (D) 단계의 판단결과, 상기 입력명령이 수신된 경우, 매칭부는 상기 입력명령의 입력좌표와, 각 사용자의 사용자 영역을 비교하여, 상기 입력명령의 사용자를 특정하는 단계; 그리고 (F) 상기 (E) 단계의 판단결과, 상기 입력명령에 대한 입력명령을 실행하는 단계를 포함하여 수행되고: 상기 제어부는, 상기 뎁스 카메라로부터 입력된 영상으로부터 각 사용자별 사용자영역 및 중심점을 추출하는 추출부와; 상기 사용자의 이동시 상기 중심점을 기준으로 상기 사용자의 이동위치를 산출하는 추적부; 그리고 상기 터치패널을 통한 터치입력의 위치와 상기 추출부로부터 추출된 사용자 영역에 따라 상기 터치입력에 대한 사용자를 특정하는 매칭부를 포함하여 구성되는 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 방법을 포함한다.
여기서, 상기 사용자 영역은, 상기 뎁스 카메라로부터 입력된 영상의 각 사용자 이미지에 대하여, 상기 각 사용자 이미지의 평면좌표를 장방향으로 구분하여 산출하고; 상기 중심점은, 상기 뎁스 카메라로부터 입력된 영상의 각 사용자 이미지에 대하여, 최소 거리 위치에 따라 설정될 수도 있다.
그리고 상기 (E) 단계의 입력명령에 대한 사용자 특정은, 상기 터치패널에 감지된 터치 입력좌표의 수평좌표(x1)와 상기 사용자 영역 중 터치패널에 접촉되거나 오차범위 이내로 근접한 수평좌표(x2)를 비교하여, 상기 수평좌표의 일치 또는 유사여부에 따라 상기 입력명령에 대한 사용자를 특정할 수도 있다.
또한, 상기 (C) 단계의 사용자에 대한 추적은, 각각 다른 사용자 영역에 대하여 겹침이 발생하여 이동하는 경우, 상기 중심점의 이동에 따라 이동후 각 사용자를 특정할 수도 있다.
전술한 바와 같이, 본 발명에 의한 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 장치 및 방법에서는 다음과 같은 효과를 기대할 수 있다.
본 발명에서는 사용자의 위치정보와 입력명령이 발생한 위치의 정보를 매칭하여 입력명령에 대한 사용자를 특정함으로써, 다수 사용자가 동일 입력 인터페이스를 사용함에도 사용자별 입력명령을 구분할 수 있어, 시스템과 다수 사용자의 터치 입력의 연속적인 인터랙션이 가능한 장점이 있다.
도 1은 종래 기술에 의한 다수 사용자의 동시 사용을 지원하는 정보 제공시스템의 정면을 도시한 예시도.
도 2는 종래기술에 의한 대상체의 원근위치를 산출하는 키넥트(Kinect) 카메라의 일예를 도시한 예시도.
도 3은 본 발명에 의한 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 장치의 구체적인 실시예를 도시한 블록도.
도 4는 본 발명에 의한 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 방법의 구체적인 실시예를 도시한 흐름도.
이하에서는 상기한 바와 같은 본 발명에 의한 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 장치 및 방법의 구체적인 실시예를 첨부된 도면을 참고하여 설명한다.
도 3은 본 발명에 의한 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 장치의 구체적인 실시예를 도시한 블록도이고, 도 4는 본 발명에 의한 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 방법의 구체적인 실시예를 도시한 흐름도이다.
이하에서는 먼저, 본 발명에 의한 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 장치의 구체적인 실시예를 도 3을 참고하여 상세히 설명하도록 한다.
도 3에 도시된 바와 같이, 본 발명에 의한 다중 사용자 인식 멀티 터치 인터페이스 시스템은 디스플레이부(100), 터치패널(200), 뎁스카메라(300), 제어부(400) 그리고 저장부(500)를 포함하여 구성된다.
상기 디스플레이부(100)는 LCD(Liquid Crystal Display), LED(light emitting diode) 등으로 형성될 수 있다. 이때, 상기 디스플레이부(100)는 콘텐츠에 대한 정보, 입력된 데이터, 기능 설정 정보 등의 다양한 정보를 사용자에게 시각적으로 제공한다. 예를 들어, 상기 디스플레이부(100)는 대기화면, 표시화면, 설정화면, 입력화면, 응용프로그램의 실행화면 등을 나타낸다.
한편, 상기 디스플레이부(100) 전면에는 터치 패널(200)이 구비된다. 상기 터치 패널(200)은 터치 기구(사람의 손, 터치펜 등)가 터치스크린에 접촉되는지 여부를 감지한다. 여기서, 상기 터치 패널은 구현원리에 따라 저항막 방식, 정전용량 방식, 적외선 방식, 초음파 방식 등의 터치감지센서로 구성될 수 있으며, 물체의 접촉 또는 압력을 감지할 수 있는 모든 종류의 센서로 구성될 수도 있다.
여기서, 상기 터치 패널(200) 사용자의 터치입력을 감지하고, 상기 터치입력에 대한 입력명령을 제어부(400)로 전송한다. 이때, 상기 입력명령은 터치입력이 발생한 위치정보가 포함되어 전송된다.
한편, 본 발명에 의한 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 장치는 뎁스카메라(300)를 포함하여 구성된다.
상기 뎁스카메라(300)는, 대상체의 원근위치를 산출하는 기능을 갖는 카메라로, 이미 개발되어 상용되고 있다. 뎁스카메라는 구동 방식에 따라 TOF기반 Depth 카메라와 키넥트 방식의 Depth 카메라가 있는데, TOF(Time of Flight)방식은 가장 일반적이고 기본적인 거리 측정 방식으로 펄스를 쏘고 반사파가 들어오는 시간차이를 측정해서 거리를 구하는 방식으로 레이더나 초음파센서에서 많이 사용한다.
TOF기반 Depth 카메라는 빛의 펄스를 생성하기 힘들고 고속 특성 때문에 반사파의 위상차이를 센서에서 파악하는 방식으로 Depth를 구하는 방식이 많이 사용된다.
TOF기반 Depth 카메라는 높은 노이즈 때문에 노이즈 제거 위해 적분시간이 필요하고 적분시간에 따라 Frame율 저하, Motion blur 현상, 넓은 오차 발생 등의 문제점이 발생된다.
반면에, 키넥트 방식 Depth Camera는 특정한 라이트패턴을 방사하여, 카메라로 왜곡된 라이트패턴을 찍어서 3D 구조물을 계산하는 방식으로, 패턴의 간격이나 변형, 사이즈를 보고 Depth를 계산할 수 있다.
키넥트 방식 Depth Camera는 대략 유효거리 3.5m 내에서, 비교적 큰 640*480의 Depth 해상도, 30FPS 및 저렴한 가격이라는 장점이 있다.
따라서, 본 발명에서는 뎁스카메라로 다양한 방식의 뎁스 카메라가 적용될 수 있으나, 바람직하게는 키넥트 방식의 뎁스 카메라가 적용된다.
도 2에는 현재 상용화된 키넥트 방식 Depth Camera 제품의 일예가 도시되어 있다.
한편, 상기 뎁스 카메라(300)는, 상기 상기 터치패널(200)의 상부에 전방을 향하여 이격된 거리에 설치되고, 설치방향은 지면(하방)을 향하도록 설치된다. 이는 상기 뎁스 카메라(300)가 상기 터치패널(200)전방에 위치한 사용자를 위에서 아래로 촬상할 수 있도록 하기 위함이다.
이때, 상기 뎁스 카메라(300)는 하방에 위치한 사용자의 평면 위치뿐만 아니라 수직위치에 대한 뎁스(Depth)를 판별할 수 있다.
한편, 상기 제어부(400)는 본 발명에 의한 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 장치의 전반적인 동작을 제어한다.
이를 위해 상기 제어부(400)는 추출부(420)와 추적부(440) 그리고 매칭부(460)를 포함하여 구성된다.
상기 추출부(420)는 상기 뎁스카메라(300)로부터 촬상된 사용자 이미지로부터 다수 사용자에 대한 각 사용자의 사용자 영역과, 상기 각 사용자에 대한 중심점을 산출한다.
상기 사용자 영역은, 상기 뎁스카메라(300)로부터 촬상된 이미지의 2차원 평면 이미지로부터 산출되고, 도 5에 도시된 바와 같이, 각 사용자에 대한 2차원 좌표에 대하여, 장방형의 범위를 설정하여 해당영역을 사용자 영역으로 설정한다.
상기 사용자 영역은, 사용자로부터 터치 입력이 있는경우, 해당 터치입력이 어느 사용자에 의한 것인지 여부를 판별하기 위한 것으로, 이에 대하여는 이하 매칭부(460)를 설명함에 있어 상세히 설명하기로 한다.
한편, 상기 중심점은, 상기 뎁스카메라(300)로부터 촬상된 이미지에 대한 최소 Depth 값으로부터 산출된다. 예를 들어, 도 6에 도시된 바와 같이, 사용자A 및 사용자B에 대한 중심점을 각각 PA 및 PB라 하면, 키가 상대적으로 작은 사용자A와 키가 상대적으로 큰 사용자B의 중심점은 각각 서로 다른 Depth로 인식되어 산출된다.
상기 중심점은, 사용자 들간의 이동에 있어, 상기 사용자 영역이 중첩되는 경우, 상기 사용자 영역의 중첩으로 인한 사용자 특정에 오류가 발생되는 것을 방지하기 위한 것으로, 이에 대하여는 이하 추적부(440)를 설명함에 있어 상세히 설명하기로 한다.
한편, 상기 추적부(440)는, 상기 추출부(420)에서 산출한 중심점을 기준으로 상기 사용자의 이동을 추적하여, 특정된 사용자의 위치 및 사용자 특정을 유지시킨다.
이때, 상기 추적부(440) 각 사용자의 중심점을 기준으로 이동을 추적하므로, 사용자들의 이동 경로 중첩에 따른 사용자 특정의 오류를 줄일 수 있다. 즉, 도 6과 같이, 머리 위가 사용자의 최고 높이점이라고 가정하면(모자를 쓰거나 팔을 높이 든 경와가 아닌 일반적인 경우 임), 동일한 키의 사용자가 머리부분을 스쳐 지나가지 않는 한, 중심점의 궤적에 중첩은 발생되지 않고, 사용자의 이동에 따른 사용자 특정의 오류가 발생되지 않는다.
그리고 상기 매칭부(460)는, 사용자로부터 터치 입력이 있는경우, 해당 터치입력이 어느 사용자에 의한 것인지 여부를 판별하여, 터치입력은 특정 사용자와 매칭시킨다.
즉, 상기 터치패널(200)에 터치 입력이 있는 경우, 상기 매칭부(460)는 상기 추출부(420)에서 산출한 사용자 영역과 터치입력의 좌표값을 비교한다.
도 5에 도시된 예의 경우, 사용자 B의 사용자 영역이 터치패널(200)에 접하였음을 알 수 있고, 터치위치의 수평좌표(x)를 알 수 있다. 따라서, 상기 터치입력의 좌표값 중 수평좌표값(x1)과 사용자 영역 중 터치패널(200)에 접한 사용자 영역의 수평좌표값(x2)을 비교하여 사용자를 특정할 수 있다.
물론, 이 경우, 상기 사용자 영역의 상기 터치패널(200)의 접촉여부는 뎁스카메라(300)의 성능을 반영하여 오차범위를 설정하여 판단할 수 있다.
한편, 상기 저장부(500)는 본 발명의 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 장치의 동작에 필요한 데이터 및 프로그램을 저장한다.
즉, 상기 저장부(500)는 촬영영역범위 내에서 사용자의 위치에 대한 좌표데이터, 사용자의 입력명령에 대한 좌표데이터 등이 저장될 수 있으며, 상기 뎁스카메라모듈을 통해 사용자를 인식하고 추출된 좌표데이터를 이용하여 다수의 사용자로부터 입력된 입력명령에 대해 사용자를 특정하는 인터페이스를 운영하기 위한 프로그램이 저장될 수도 있다.
이하에서는 본 발명에 의한 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 방법의 구체적인 실시예에 대해 도 4을 참고하여 설명하기로 한다.
도 4에 도시된 바와 같이, 본 발명에 의한 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 방법은 뎁스카메라(300)에 의해 사용자를 인식하는 것으로 시작된다(S100).
이때, 상기 사용자 인식은 뎁스카메라(300)의 촬영영역범위 내에 사용자가 진입한 것을 말한다.
여기서, 상기 제100 단계는 상기 촬영영역범위 내로 진입한 사용자의 촬상 데이터를 상기 제어부(400)로 전송하는 것을 포함한다.
이후, 상기 제어부(400)에 구비된 추출부(420)는 입력된 촬상 데이터로부터 사용자 위치에 대한 사용자 영역을 산출한다(S200).
이때, 상기 사용자 영역은, 상기 뎁스 카메라(300)로부터 입력된 영상의 각 사용자 이미지에 대하여, 상기 각 사용자 이미지의 평면좌표를 장방향으로 구분하여 산출하는 것임은 전술한 바와 같다.
그리고 상기 추출부(420)는 입력된 촬상 데이터로부터 각 사용자의 중심점을 산출한다(S300).
이때, 상기 중심점은 상기 뎁스 카메라로부터 입력된 영상의 각 사용자 이미지에 대하여, 최소 거리 위치에 따라 설정되는 것으로, 도 6에 도시된 바와 같이, 각 사용자의 이미지 중에서 가장 높은 위치 지점이 해당 사용자의 중심점이 된다.
이후, 상기 추적부(440)는 사용자의 위치를 추적한다(S400). 이때, 상기 추적은 사용자가 터치입력을 위해 이동함에 따라 상기 뎁스카메라모듈(300)이 사용자의 위치를 파악하는 것을 말한다.
이때, 이동된 사용자의 특정은 상기 중심점의 이동을 기준으로 판단된다.
한편, 상기 제400단계의 사용자 위치추적은 상기 사용자가 상기 뎁스카메라의 촬상범위를 이탈할때까지 지속적으로 수행된다.
다음으로, 터치패널(200)에 대한 사용자의 입력명령이 입력되었는지 판단한다(S500).
여기서, 상기 입력명령은 터치패널에 발생한 한 개 이상의 터치포인트이며, 상기 제어부(400)는 상기 입력명령의 위치에 대한 좌표데이터를 추출한다(S600).
그리고 상기 매칭부(460)는 상기 제어부(400)로 부터 추출된 입력명령의 좌표데이터와 상기 추출부(420)에서 산출된 사용자 영역을 비교하여, 해당 입력명령에 대한 사용자를 특정한다(S700).
이때, 상기 사용자의 특정은, 상기 사용자 영역 중 터치패널(200)에 접한 사용자 영역의 수평좌표값과 상기 터치입력의 수평좌표값을 비교하여 산출함은 전술한 바와 같다.
이후, 상기 제어부(400)는 사용자가 특정된 입력명령에 따라 해당 실행내용을 실행한다(S800).
본 발명의 권리는 이상에서 설명된 실시예에 한정되지 않고 청구범위에 기재된 바에 의해 정의되며, 본 발명의 분야에서 통상의 지식을 가진 자가 청구범위에 기재된 권리 범위 내에서 다양한 변형과 개작을 할 수 있다는 것은 자명하다.
본 발명은 뎁스카메라를 이용하여 동일 터치 인터페이스를 사용하는 다수의 사용자를 인식하고, 발생되는 입력명령에 대한 입력 주체(사용자)를 특정하여 처리하는 인터페이스 장치 및 방법에 관한 것으로, 본 발명은 사용자의 위치정보와 입력명령이 발생한 위치의 정보를 매칭하여 입력명령에 대한 사용자를 특정함으로써, 다수 사용자가 동일 입력 인터페이스를 사용함에도 사용자별 입력명령을 구분할 수 있어, 시스템과 다수 사용자의 터치 입력의 연속적인 인터랙션이 가능한 장점이 있다.
100 : 디스플레이부 200 : 터치패널
300 : 뎁스카메라 400 : 제어부
420 : 추출부 440 : 추적부
460 : 매칭부 500 : 저장부

Claims (11)

  1. 사용자에게 출력 이미지를 표시하는 디스플레이부와;
    상기 디스플레이부상에 구비되어, 사용자의 터치 입력을 감지하는 터치패널과;
    상기 터치패널의 전방 상부에 하방을 향하도록 설치되어, 상기 터치패널 전방의 사용자를 하방으로 감지하도록 설치되는 뎁스카메라; 그리고
    상기 디스플레이부, 터치패널 및 뎁스카메라의 구동을 제어하고, 상기 터치패널로부터 입력된 입력값에 따라 입력명령을 실행하는 제어부를 포함하여 구성되고:
    상기 제어부는,
    상기 뎁스 카메라로부터 입력된 영상으로부터 각 사용자별 사용자영역 및 중심점을 추출하는 추출부와;
    상기 사용자의 이동시 상기 중심점을 기준으로 상기 사용자의 이동위치를 산출하는 추적부; 그리고
    상기 터치패널을 통한 터치입력의 위치와 상기 추출부로부터 추출된 사용자 영역에 따라 상기 터치입력에 대한 사용자를 특정하는 매칭부를 포함하여 구성됨을 특징으로 하는 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 장치.
  2. 제 1 항에 있어서,
    상기 뎁스 카메라는,
    대상체의 원근위치를 산출하는 키넥트(Kinect) 카메라임을 특징으로 하는 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 장치.
  3. 제 1 항에 있어서,
    사용자별 사용자 영역은,
    상기 뎁스 카메라로부터 입력된 영상의 각 사용자 이미지에 대하여, 상기 각 사용자 이미지의 평면좌표를 장방향으로 구분하여 산출함을 특징으로 하는 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 장치.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 중심점은,
    상기 뎁스 카메라로부터 입력된 영상의 각 사용자 이미지에 대하여, 상기 뎁스 카메라로부터 피사체의 최소 거리 위치에 따라 설정됨을 특징으로 하는 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 장치.
  5. 제 4 항에 있어서,
    상기 추적부는,
    각각 다른 사용자 영역에 대하여 겹침이 발생하여 이동하는 경우, 상기 중심점의 이동에 따라 이동후 각 사용자를 특정함을 특징으로 하는 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 장치.
  6. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 매칭부는,
    상기 터치패널에 사용자의 입력이 감지되는 경우, 상기 터치입력을 상기 사용자 영역 중 터치패널에 접촉된 수평좌표(x)를 포함한 사용자 영역의 터치입력으로 매칭함을 특징으로 하는 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 장치.
  7. 제 6 항에 있어서,
    상기 매칭부는,
    상기 사용자 영역의 터치패널 접촉 여부를 기 설정된 오차범위 내에서 판별함을 특징으로 하는 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 장치.
  8. 사용자에게 출력 이미지를 표시하는 디스플레이부와, 사용자의 터치 입력을 감지하는 터치패널과, 상기 터치패널 전방에 설치되어 사용자를 감지하는 뎁스카메라; 그리고 상기 디스플레이부, 터치패널 및 뎁스카메라의 구동을 제어하는 제어부를 포함하여 구성되어, 동일 터치패널에 대한 복수 사용자의 터치입력에 대하여 터치 입력 추체를 특정하는 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 방법에 있어서,
    (A) 뎁스카메라에 의해 사용자를 인식하는 단계와;
    (B) 추출부에서 상기 뎁스카메라부터 획득한 이미지로부터, 상기 사용자의 사용자 영역 및 중심점을 산출하는 단계와;
    (C) 추적부를 통해 상기 사용자의 중심점 이동에 따라 사용자의 이동을 추적하는 단계와;
    (D) 제어부에서 터치패널에 대한 입력명령이 수신되었는지 판단하는 단계와;
    (E) 상기 (D) 단계의 판단결과, 상기 입력명령이 수신된 경우, 매칭부는 상기 입력명령의 입력좌표와, 각 사용자의 사용자 영역을 비교하여, 상기 입력명령의 사용자를 특정하는 단계와;
    (F) 상기 (E) 단계의 판단결과에 따라, 상기 입력명령을 실행하는 단계를 포함하여 수행되고:
    상기 제어부는,
    상기 뎁스 카메라로부터 입력된 영상으로부터 각 사용자별 사용자영역 및 중심점을 추출하는 추출부와;
    상기 사용자의 이동시 상기 중심점을 기준으로 상기 사용자의 이동위치를 산출하는 추적부; 그리고
    상기 터치패널을 통한 터치입력의 위치와 상기 추출부로부터 추출된 사용자 영역에 따라 상기 터치입력에 대한 사용자를 특정하는 매칭부를 포함하여 구성됨을 특징으로 하는 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 방법.
  9. 제 8 항에 있어서,
    상기 사용자 영역은,
    상기 뎁스 카메라로부터 입력된 영상의 각 사용자 이미지에 대하여, 상기 각 사용자 이미지의 평면좌표를 장방향으로 구분하여 산출하고;
    상기 중심점은,
    상기 뎁스 카메라로부터 입력된 영상의 각 사용자 이미지에 대하여, 상기 뎁스 카메라로부터 피사체의 최소 거리 위치에 따라 설정됨을 특징으로 하는 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 방법.
  10. 제 9 항에 있어서,
    상기 (E) 단계의 입력명령에 대한 사용자 특정은,
    상기 터치패널에 감지된 터치 입력좌표의 수평좌표(x1)와 상기 사용자 영역 중 터치패널에 접촉되거나 오차범위 이내로 근접한 수평좌표(x2)를 비교하여, 상기 수평좌표 들의 근접 정도에 따라 상기 입력명령에 대한 사용자를 특정함을 특징으로 하는 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 방법.
  11. 제 9 항에 있어서,
    상기 (C) 단계의 사용자에 대한 추적은,
    각각 다른 사용자 영역에 대하여 겹침이 발생하여 이동하는 경우, 상기 중심점의 이동에 따라 이동후 각 사용자를 특정함을 특징으로 하는 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 방법.
KR1020140035810A 2014-03-27 2014-03-27 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 장치 및 방법 KR101575063B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140035810A KR101575063B1 (ko) 2014-03-27 2014-03-27 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140035810A KR101575063B1 (ko) 2014-03-27 2014-03-27 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150112198A KR20150112198A (ko) 2015-10-07
KR101575063B1 true KR101575063B1 (ko) 2015-12-07

Family

ID=54343493

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140035810A KR101575063B1 (ko) 2014-03-27 2014-03-27 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101575063B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180047625A (ko) * 2016-10-31 2018-05-10 모젼스랩(주) 다중 ir카메라를 이용한 사용자 추적 시스템 및 방법
KR20190092806A (ko) * 2018-01-31 2019-08-08 호남대학교 산학협력단 뎁스 카메라를 이용한 전시 시스템

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101966585B1 (ko) * 2018-04-09 2019-04-05 전자부품연구원 공간터치장치 및 이를 포함하는 디스플레이 장치
WO2022114334A1 (ko) * 2020-11-27 2022-06-02 한국전자기술연구원 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 방법 및 콘텐츠 제어 장치
KR102404361B1 (ko) * 2021-01-05 2022-06-02 엘지전자 주식회사 디스플레이 장치 및 그 구동방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180047625A (ko) * 2016-10-31 2018-05-10 모젼스랩(주) 다중 ir카메라를 이용한 사용자 추적 시스템 및 방법
KR20190092806A (ko) * 2018-01-31 2019-08-08 호남대학교 산학협력단 뎁스 카메라를 이용한 전시 시스템
KR102139081B1 (ko) * 2018-01-31 2020-07-29 호남대학교 산학협력단 뎁스 카메라를 이용한 전시 시스템

Also Published As

Publication number Publication date
KR20150112198A (ko) 2015-10-07

Similar Documents

Publication Publication Date Title
US20210096651A1 (en) Vehicle systems and methods for interaction detection
US10732725B2 (en) Method and apparatus of interactive display based on gesture recognition
US11385720B2 (en) Picture selection method of projection touch
US9477324B2 (en) Gesture processing
JP6480434B2 (ja) デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法
US8261212B2 (en) Displaying GUI elements on natural user interfaces
KR101575063B1 (ko) 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 장치 및 방법
US9753547B2 (en) Interactive displaying method, control method and system for achieving displaying of a holographic image
CN106919294B (zh) 一种3d触控交互装置、其触控交互方法及显示装置
CN102754048A (zh) 用于位置探测的成像方法和系统
KR101019254B1 (ko) 공간 투영 및 공간 터치 기능이 구비된 단말 장치 및 그 제어 방법
KR20130105725A (ko) 콘텐츠의 양 손 제어에 기반한 컴퓨터 비전
US20120019460A1 (en) Input method and input apparatus
US20160139762A1 (en) Aligning gaze and pointing directions
CN103677240A (zh) 虚拟触摸交互方法和虚拟触摸交互设备
TWI581127B (zh) 輸入裝置以及電子裝置
KR101330531B1 (ko) ３차원 카메라를 이용한 가상 터치 방법 및 장치
TWI454653B (zh) 三維絕對座標偵測系統、互動三維顯示系統以及辨識物體之三維座標的方法
KR20120136719A (ko) 손과 눈의 3차원 위치정보를 이용한 원거리 스크린 상의 물체지목 및 제어방법
CN102799344B (zh) 虚拟触摸屏系统以及方法
JP2013109538A (ja) 入力方法及び入力装置
KR101486488B1 (ko) 다중 사용자 인식 멀티 터치 인터페이스 방법
TWI444875B (zh) 多點觸碰輸入裝置及其使用單點觸控感應板與影像感測器之資料融合之介面方法
EP3059664A1 (en) A method for controlling a device by gestures and a system for controlling a device by gestures
KR101400575B1 (ko) 거울 반사 효과를 이용한 공간 베젤 인터페이스 방법 및 그 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee