KR20110101995A - 터치 및 터치 제스처 인식 시스템 - Google Patents

터치 및 터치 제스처 인식 시스템 Download PDF

Info

Publication number
KR20110101995A
KR20110101995A KR1020100021412A KR20100021412A KR20110101995A KR 20110101995 A KR20110101995 A KR 20110101995A KR 1020100021412 A KR1020100021412 A KR 1020100021412A KR 20100021412 A KR20100021412 A KR 20100021412A KR 20110101995 A KR20110101995 A KR 20110101995A
Authority
KR
South Korea
Prior art keywords
touch
area
candidate region
image
contrast value
Prior art date
Application number
KR1020100021412A
Other languages
English (en)
Other versions
KR101071864B1 (ko
Inventor
이칠우
박재완
송대현
김동민
Original Assignee
전남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교산학협력단 filed Critical 전남대학교산학협력단
Priority to KR1020100021412A priority Critical patent/KR101071864B1/ko
Publication of KR20110101995A publication Critical patent/KR20110101995A/ko
Application granted granted Critical
Publication of KR101071864B1 publication Critical patent/KR101071864B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 터치 및 터치 제스처 인식 시스템에 관한 것으로, 보다 구체적으로는 임계 대비 값을 이용하여 터치 스크린의 후방에서 상기 터치 스크린을 촬영한 입력 영상 내에 손끝의 터치에 의한 터치 영역이 있는지 판단하고, 상기 터치 영역에 이벤트를 부여하여 응용 프로그램을 제어할 수 있는 터치 및 터치 제스처 인식 시스템에 관한 것이다.

Description

터치 및 터치 제스처 인식 시스템{Touch and touch gesture recognition system}
본 발명은 터치 및 터치 제스처 인식 시스템에 관한 것으로, 보다 구체적으로는 임계 대비 값을 이용하여 터치 스크린의 후방에서 상기 터치 스크린을 촬영한 입력 영상 내에 손끝의 터치에 의한 터치 영역이 있는지 판단하고, 상기 터치 영역에 이벤트를 부여하여 응용 프로그램을 제어할 수 있는 터치 및 터치 제스처 인식 시스템에 관한 것이다.
오늘날 인간과 컴퓨터는 서로 밀접한 관계를 맺고 있으며, 인간이 컴퓨터를 사용함에 있어서 컴퓨터를 제어하기 위한 인터페이스는 점점 진화하고 있다.
그 중 입력에 관한 인터페이스는 키보드나 마우스를 넘어 직접 출력 영상을 직접 보면서 원하는 부분을 터치하여 응용 프로그램을 제어할 수 있는 수준에 이르렀다.
일반적으로 터치 스크린의 터치 인식방법은 크게 스크린을 손으로 눌렀을 때, 스크린 하부의 센서를 직접 건드려 신호를 발생하는 센서 기반의 터치 인식방법과 터치 되는 부분에 빛이 반사되는 것을 촬영하여 촬영된 영상을 처리하여 신호를 발생하는 비전 기반의 터치 인식방법으로 구분할 수 있다.
또한, 상기 센서 기반의 터치 인식방법은 스크린의 크기에 따라 센서의 양이 증가하므로 대형으로 제작할 경우 가격이 비싸지는 문제점이 있으나 정확한 터치 지점을 인식할 수 있는 장점이 있고, 상기 비전 기반의 터치 인식방법은 적은 비용으로 스크린의 크기를 대형화할 수 있는 장점이 있으나, 터치 지점을 정확히 인식하는 데 어려움이 있다.
따라서, 비전 기반의 터치 인식방법에 있어서 손끝에 의한 터지 지점만을 정확히 인식할 수 있는 터치 및 터치 제스처 인식 시스템의 개발이 시급한 실정이다.
본 발명자들은 비전 기반의 터치 및 터치 제스처 인식 시스템에 있어서 손끝 터치 지점을 정확하게 인식하여 응용프로그램을 제어할 수 있는 터치 인식 시스템을 개발하고자 연구 노력한 결과, 카메라에서 촬영되는 입력 영상 내에서 터치 후보영역을 먼저 추출하고, 추출된 터치 후보영역 중 영역 내의 평균 픽셀 값이 임계 대비 값 이상인 터치 후보영역을 터치 영역으로 인식함으로써 손끝 터치 지점을 정확하게 인식하여 이벤트를 부여할 수 있는 터치 및 터치 제스처 인식 시스템의 기술적 구성을 개발하게 되어 본 발명을 완성하게 되었다.
따라서, 본 발명의 목적은 카메라에 의해 촬영된 입력 영상 내에서 손끝에 의한 터치 지점을 정확히 인식하여 응용프로그램을 제어할 수 있는 이벤트를 발생하는 터치 및 터치 제스처 인식 시스템을 제공하는 것이다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목
상기의 목적을 달성하기 위하여 본 발명은 손끝이 접근하는 일정 영역의 후면으로 빛을 발하되, 상기 손끝이 접근하는 거리에 따라 서로 다른 세기의 빛을 발하는 터치 스크린, 상기 터치 스크린의 후면을 촬영하여 입력 영상을 획득하는 카메라 및 상기 입력 영상 내에서 손끝이 상기 터치 스크린의 전면을 터치하여 발생한 것으로 예상되는 발광 영역인 터치 후보영역 추출하고, 상기 터치 후보영역 내의 평균 대비 값이 임계 대비 값(contrast value)일 경우 터치 영역으로 판단하며, 상기 터치 영역에 응용프로그램 실행을 위한 이벤트를 부여하는 터치 및 터치 제스처 인식모듈을 포함하는 터치 및 터치 제스처 인식 시스템을 제공한다.
바람직한 실시예에 있어서, 상기 발광 영역은 상기 입력 영상 중 빛이 발하는 영역에 대해 밝게 표현되는 부분영상이고, 상기 임계 대비 값은 손끝이 상기 터치 스크린에 터치 된 채로, 상기 터치 스크린을 상기 카메라의 초점거리에 위치시켰을 때 얻어지는 발광 영역의 평균 대비 값이며, 임의의 발광 영역이 상기 임계 대비 값을 가질 때, 상기 터치 스크린과 상기 카메라 간의 거리인 초점거리를 측정하는 거리센서를 더 포함한다.
바람직한 실시예에 있어서, 상기 터치 및 터치 제스처 인식모듈은 상기 입력 영상에서 전경을 분리하고, 상기 전경의 발광 영역 중, 일정한 면적을 갖는 발광 영역을 상기 터치 후보영역으로 추출하는 터치 후보영역 추출 수단, 상기 터치 후보영역의 평균 대비 값이 상기 임계 대비 값일 경우, 상기 터치 후보영역을 상기 터치 영역으로 판단하는 터치 영역 판단수단 및 상기 터치 영역의 검출횟수, 검출시간 또는 이동경로에 따라 일정한 이벤트를 부여하는 이벤트 부여수단을 포함한다.
바람직한 실시예에 있어서, 상기 터치 후보영역 추출 수단은 상기 입력 영상의 잡음을 제거하고 전경의 에지 영상(edge image)을 추출하며, 상기 에지 영상을 확대하여 마스크 영상을 생성하는 전처리기 및 상기 입력 영상의 발광 영역 중, 일정한 면적을 갖는 발광 영역을 상기 터치 후보영역으로 추출하는 터치 후보영역 추출기를 포함하며, 상기 터치 영역 판단수단은 상기 터치 후보영역과 상기 마스크 영상을 겹쳐 상기 마스크 영상 내의 평균 대비 값이 상기 임계 대비 값일 경우, 상기 터치 후보영역을 상기 터치 영역으로 판단한다.
바람직한 실시예에 있어서, 상기 터치 후보영역 추출 수단은 상기 터치 후보영역 추출의 기준이 되는 면적을 갖는 발광 영상인 손끝 템플릿 영상이 저장되는 손끝 템플릿 영상DB를 더 포함한다.
본 발명은 다음과 같은 우수한 효과를 가진다.
먼저, 본 발명의 터치 및 터치 제스처 인식 시스템에 의하면, 먼저, 손끝 템플릿 영상을 이용하여 입력 영상 중의 터치 후보영역을 추출하고, 다음, 추출된 터치 후보영역 중 임계 대비값을 갖는 터치 후보영역을 터치 영역으로 판단하는 2단계의 과정을 거쳐 상기 입력 영상 중 손끝이 터치 되는 터치 영역을 정확하게 인식할 수 있는 효과가 있다.
특히, 본 발명의 터치 및 터치 제스처 인식 시스템에 의하면, 상기 터치 영역 판단시, 입력 영상의 에지 영상을 확장한 마스크 영상에 입력 영상을 겹쳐 마스크 영상 내의 평균 대비값과 임계 대비값을 비교하여 터치 영역을 판단함으로써, 상기 평균 대비값이 손끝과 터치 스크린의 거리에 따라 선형적으로 도출되게 하여, 터치 후보영역 전체의 평균 대비값과 임계 대비값을 비교할 때 발생하는 부정확성을 개선할 수 있는 효과가 있다.
또한, 본 발명의 터치 및 터치 제스처 인식 시스템에 의하면, 임계 대비 값 계산시에 터치 스크린과 카메라 간의 초점거리를 측정하여 사용자에게 제공함으로써, 사용자가 다른 장소에 시스템을 재설치할 때 다시 임계 대비 값을 계산할 필요없이 상기 초점거리상에 상기 터치 스크린을 위치시킴으로써 간단히 시스템을 재설치할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 터치 및 터치 제스처 인식 시스템을 보여주는 도면,
도 2는 본 발명의 일 실시예에 따른 터치 및 터치 제스처 인식 시스템의 터치 및 터치 제스처 인식모듈을 보여주는 도면,
도 3은 본 발명의 일 실시예에 따른 터치 및 터치 제스처 인식 시스템의 임계 대비 값을 설명하기 위한 도면,
도 4은 본 발명의 일 실시예에 따른 터치 및 터치 제스처 인식 시스템의 전처리기 및 터치 후보 영역 추출기를 설명하기 위한 도면,
도 5는 본 발명의 일 실시예에 따른 터치 및 터치 제스처 인식 시스템의 손끝 템플릿 영상의 일례,
도 6은 본 발명의 일 실시예에 따른 터치 및 터치 제스처 인식 시스템이 인식하는 터치 제스처의 일례이다.
본 발명에서 사용되는 용어는 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있는데 이 경우에는 단순한 용어의 명칭이 아닌 발명의 상세한 설명 부분에 기재되거나 사용된 의미를 고려하여 그 의미가 파악되어야 할 것이다.
이하, 첨부한 도면에 도시된 바람직한 실시예들을 참조하여 본 발명의 기술적 구성을 상세하게 설명한다.
그러나, 본 발명은 여기서 설명되는 실시예에 한정되지 않고 다른 형태로 구체화 될 수도 있다. 명세서 전체에 걸쳐 동일한 참조번호는 동일한 구성요소를 나타낸다.
도 1은 본 발명의 일 실시예에 따른 터치 및 터치 제스처 인식 시스템을 보여주는 도면, 도 2는 본 발명의 일 실시예에 따른 터치 및 터치 제스처 인식 시스템의 터치 및 터치 제스처 인식모듈을 보여주는 도면, 도 3은 본 발명의 일 실시예에 따른 터치 및 터치 제스처 인식 시스템의 임계 대비 값을 설명하기 위한 도면, 도 4은 본 발명의 일 실시예에 따른 터치 및 터치 제스처 인식 시스템의 전처리 및 터치 후보 영역 추출기를 설명하기 위한 도면, 도 5는 본 발명의 일 실시예에 따른 터치 및 터치 제스처 인식 시스템의 손끝 템플릿 영상의 일례, 도 6은 본 발명의 일 실시예에 따른 터치 및 터치 제스처 인식 시스템이 인식하는 터치 제스처의 일례이다.
도 1 및 도 2를 참조하면 본 발명의 일 실시예에 따른 터치 및 터치 제스처 인식 시스템은 터치 스크린(100), 카메라(200), 터치 및 터치 제스처 인식모듈(300) 및 거리 센서(400)를 포함하여 이루어진다.
또한, 본 발명의 일 실시예에 따른 터치 및 터치 제스처 인식 시스템은 상기 터치 스크린(100)의 후방에서 프로젝터(10)가 출력하는 영상을 사람이 직접 보면서 손(20)으로 터치하고, 상기 터치 및 터치 제스처 인식모듈(300)은 상기 프로젝터(10)에서 출력되는 영상을 구동하는 응용 프로그램을 제어하기 위한 이벤트를 발생시켜, 사람이 상기 터치 스크린(100)을 터치함으로써 상기 응용 프로그램을 제어할 수 있는 시스템이다.
또한, 상기 터치 및 터치 제스처 인식모듈(300)은 실질적으로 컴퓨터에 프로그래밍 되어 저장되나, 컴퓨터와 별도의 기기로 구비될 수도 있다.
상기 터치 스크린(100)은 상기 프로젝터(10)가 출력하는 영상을 맺히게 하여 사용자에게 제공하는 한편, 전면에 사람의 손(20)이 접근하면 접근한 영역의 후방으로 빛(30)을 발한다.
또한, 상기 터치 스크린(100)은 사람의 손(20)이 전면에 접근하는 거리에 따라 서로 다른 세기의 빛을 발한다.
또한, 상기 터치 스크린(100)이 후방으로 빛을 발하는 방식은 다양한 방법으로 구현될 수 있는데, 예를 들면, 상기 터치 스크린(100)의 후방에서 적외선을 조사하고, 사람의 손(20)이 접근하면 적외선이 상기 터치 스크린(100)의 후방으로 반사되게 하는 방법을 사용할 수 있고, 상기 터치 스크린(100)의 상하좌우 측면에서 적외선을 조사하여 사람의 손(20)이 접근하면, 적외선이 상기 터치 스크린(100)의 후방으로 반사되게 하는 방법을 사용할 수도 있다. 이때, 아래에서 설명할 카메라(200)는 적외선 카메라로 구비된다.
그러나, 상기 터치 스크린(100)은 열, 레이저 또는 초음파를 후방으로 발하게 할 수도 있으며, 이때, 상기 카메라(200)는 열 감지 카메라, 레이저 감지 센서 또는 초음파 센서로 대체가 가능하다.
즉, 상기 터치 스크린(100)은 공지된 다양한 방식으로 후방으로 빛, 열 또는 초음파 등의 일정한 신호를 발할 수 있으며, 상기 카메라(200)는 상기 터치 스크린(100)에서 발하는 신호를 획득할 수 있는 적절한 센서로 구비될 수 있다.
또한, 상기 터치 스크린(100)은 상기 신호가 잘 투과될 수 있도록 강화유리와 같은 투과 가능한 매체로 제작된다.
상기 카메라(200)는 상기 터치 스크린(100)에 후방에 일정한 거리만큼 떨어져 구비되고, 상기 터치 스크린(100)의 후면을 촬영하여 입력 영상을 획득한다.
또한, 상기 카메라(200)는 전술한 바와 같이 적외선 카메라일 수 있다.
상기 터치 및 터치 제스처 인식모듈(300)은 상기 카메라(200)에 의해 획득된 입력 영상을 입력받아, 상기 입력 영상 내에 사람의 손끝이 상기 터치 스크린(100)의 전면에 터치 되어 발생한 것으로 예상되는 발광 영역인 터치 후보영역을 추출하고, 상기 터치 후보영역 내의 픽셀들의 평균 대비 값이 임계 대비 값일 경우 상기 터치 후보영역을 터치 영역으로 판단하며, 상기 터치 영역에 응용프로그램 실행을 위한 이벤트를 부여한다.
그러나 이하에서도 설명하겠지만, 상기 터치 후보영역 내의 전체 픽셀들의 평균 대비 값이 아니라, 상기 터치 후보영역의 에지 부분에 해당하는 픽셀들의 평균 대비 값이 상기 임계 대비 값일 경우 상기 터치 후보영역을 터치 영역으로 판단할 수도 있다.
한편, 상기 발광 영역은 상기 입력 영상 중, 상기 터치 스크린(100)의 후방으로 발하는 빛에 의해 밝게 획득되는 부분 영상이다. 도 4를 참조하여 설명하면,상기 카메라(200)에 의해 획득되는 입력 영상(311a)은 손(20)의 접근에 의해 빛이 반사되는 부분인 발광 영역(311a-1)과 나머지 부분인 어두운 영역(311a-2)으로 구분된다.
즉, 상기 발광 영역(311a-1)은 상기 터치 스크린(100)의 전방으로 접근하는 손끝의 영상이다.
또한, 상기 임계 대비 값은 손끝을 상기 터치 스크린(100)에 터치한 채로 상기 터치 스크린(100)과 상기 카메라(200) 간의 거리를 변화시켰을 때, 손끝에 의해 발생하는 발광 영역(311a-1)의 최대 평균 대비 값을 말한다.
다시 말해서, 상기 임계 대비 값은 손끝이 상기 터치 스크린(100)에 터치된 채로, 상기 터치 스크린(100)은 상기 카메라(200)의 초점거리상에 위치시켰을 때 얻어지는 발광 영역의 평균 대비 값이다.
또한, 상기 발광 영역(311a-1)의 평균 대비 값은 상기 발광 영역(311a-1) 내의 각 픽셀들의 변화값이나 미분값을 이용하여 계산될 수 있다.
그러나 상기 임계 대비 값은 손끝이 상기 터치 스크린(100)에 터치 되었을 때의 평균 대비 값인 최댓값과 상기 터치 스크린(100)의 전방 일정한 거리에 근접하였을 때의 평균 대비 값인 최솟값의 범위로 설정될 수도 있다.
즉, 상기 터치 및 터치 제스처 인식모듈(300)은 상기 터치 후보영역의 평균 대비 값이 상기 임계 대비 값의 범위에 들 때, 상기 터치 후보영역을 터치 영역으로 판단할 수도 있다.
또한, 상기 거리센서(400)는 임의의 터치 후보영역의 평균 대비값이 상기 임계 대비 값일 때, 상기 터치 스크린(100)과 상기 카메라(200) 간의 거리인 초점거리를 측정하며, 사용자로 하여금 상기 터치 및 터치 제스처 인식 시스템을 재설치할 때, 상기 터치 스크린(100)을 상기 초점거리상에 간단히 재설치할 수 있는 정보를 제공한다.
도 3을 참조하면, 손끝이 상기 터치 스크린(100)에 터치 되었을 때(손끝과 상기 터치 스크린(100)의 거리가 0(cm)인 경우), 발생하는 상기 입력 영상 내의 발광 영역의 평균 대비 값이 가장 큰 것을 알 수 있다.
또한, 상기 터치 및 터치 제스처 인식모듈(300)은 터치 후보영역 추출 수단(310), 터치 영역 판단수단(320), 임계 대비 값 저장수단(330) 및 이벤트 부여수단(340)을 포함하여 이루어진다.
또한, 상기 터치 후보영역 추출수단(310)은 전처리기(311), 터치 후보영역 추출기(312) 및 손끝 템플릿 영상DB(313)를 포함하여 이루어진다.
도 4를 참조하면, 상기 전처리기(311)는 상기 입력 영상(311a)에서 배경(311a-2) 및 잡음을 제거하여 잡음이 제거된 발광 영역(311a-1-1)을 획득하고, 상기 발광 영역(311a-1-1)의 에지 영역(311b)을 구하며, 상기 에지 영역(311b)을 팽창/축소한 마스크 영역(311c)을 포함하는 마스크 영상을 생성한다.
또한, 상기 터치 후보영역 추출기(312)는 상기 전처리기(311)에서 획득되는 발광 영역(311a-1-1)이 일정한 면적을 가질 경우, 상기 발광 영역(311a-1-1)을 터치 후보 영역으로 추출한다.
이때, 상기 터치 후보 영역은 상기 발광 영역(311a-1-1)과 아래에서 설명할 손끝 템플릿 영상DB(313)에 저장된 손끝 템플릿 영상들(313a,...313n)과 비교하여 터치 후보 영역을 추출하며, 더욱 자세하게는 상기 발광 영역(311a-1-1)의 면적이 상기 손끝 템플릿 영상들(313a,...313n) 중 어느 하나의 손끝 템플릿 영상의 발광 영역의 면적과 동일할 경우 상기 발광 영역을 터치 후보 영역으로 판단한다.
도 5을 참조하면, 상기 손끝 템플릿 영상DB(313)는 다수 개의 손끝 템플릿 영상들(313a,...313n)을 저장할 수 있으며, 본 발명에서는 8개의 손끝 템플릿 영상들(313a,...313n)을 미리 저장하여 상기 터치 후보영역 추출기(312)가 상기 터치 후보 영역(312a)을 추출할 수 있게 하였다.
또한, 상기 터치 영역 판단수단(320) 상기 터치 후보영역 추출수단(310)에서 추출된 터치 후보영역의 평균 대비 값을 구하고, 상기 터치 후보영역의 평균 대비 값이 임계 대비 값일 경우 상기 터치 후보영역을 터치 영역으로 판단한다.
그러나, 상기 터치 영역 판단수단(320)은 상기 전처리기(311)에서 생성된 마스크 영상에 상기 입력 영상(311a)을 겹쳐 상기 마스크 영상 내의 마스크 영역(311c)의 평균 대비 값과 상기 임계 대비 값을 비교하여 터치 후보영역이 터치 영역인지 판단할 수 있다.
그 이유는, 터치 후보 영역의 에지 부분에서만 평균 대비 값을 계산하여 사람의 손과 터치 스크린의 거리에 따라 변화하는 평균 대비 값이 선형적인 관계를 갖게 함으로써, 터치 후보 영역 내의 전체 픽셀에 대한 평균 대비 값을 계산하였을 때 오차를 줄이고, 안정되고 정확한 평균 대비 값을 구하기 위함이다.
또한, 상기 임계 대비 값 저장수단(330)에는 전술한 임계 대비 값이 계산되어 저장된다.
또한, 상기 이벤트 부여수단(340)은 상기 터치 영역의 검출횟수, 검출시간, 검출형태 또는 이동경로를 판단하여 응용프로그램을 제어할 수 있는 이벤트를 부여한다.
한편, 상기 검출형태는 상기 손끝 템플릿 영상DB(313)이 손끝의 형태(원형)뿐만 아니라 손날의 형태(막대형)를 갖는 손끝 템플릿 영상들을 더 저장할 때, 상기 터치 영역이 원형인지 막대형인지 판단하여 상기 터치 영역의 형태에 따라 서로 다른 이벤트를 부여할 수 있는 것을 뜻한다.
또한, 상기 이벤트는 예를 들면, 마우스의 클릭, 더블클릭, 드래그, 응용프로그램이 보여주는 영상의 확대, 축소 또는 2차원이나 3차원 회전 그리고 파일의 삭제, 창 닫기 등일 수 있다.
도 6을 참조하면 상기 이벤트 부여수단(240)은 다양한 터치 제스처정보(330a,...330n)와 맵핑되는 이벤트를 미리 저장하고, 임의의 터치 제스처가 입력될 경우 상기 터치 제스처 정보(330a,...330n)를 검색하고, 상기 임의의 터치 제스처가 상기 터치 제스처 정보(330a,...330n)에 저장되어 있을 경우 해당 터치 제스처 정보와 맵핑된 이벤트를 발생시킨다.
이상에서 살펴본 바와 같이 본 발명은 바람직한 실시예를 들어 도시하고 설명하였으나, 상기한 실시예에 한정되지 아니하며 본 발명의 정신을 벗어나지 않는 범위 내에서 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변경과 수정이 가능할 것이다.
100:터치 스크린 200:카메라
300:터치 및 터치 제스처 인식모듈 310:터치 후보영역 추출수단
311:전처리기 312:터치 후보영역 추출기
313:손끝 템플릿 영상DB 320:터치 영역 판단수단
330:임계 대비 값 저장수단 340:이벤트 부여수단
400:거리센서

Claims (5)

  1. 손끝이 접근하는 일정 영역의 후면으로 빛을 발하되, 상기 손끝이 접근하는 거리에 따라 서로 다른 세기의 빛을 발하는 터치 스크린;
    상기 터치 스크린의 후면을 촬영하여 입력 영상을 획득하는 카메라; 및
    상기 입력 영상 내에서 손끝이 상기 터치 스크린의 전면을 터치하여 발생한 것으로 예상되는 발광 영역인 터치 후보영역 추출하고, 상기 터치 후보영역 내의 평균 대비 값이 임계 대비 값(contrast value)일 경우 터치 영역으로 판단하며, 상기 터치 영역에 응용프로그램 실행을 위한 이벤트를 부여하는 터치 및 터치 제스처 인식모듈;을 포함하는 터치 및 터치 제스처 인식 시스템.
  2. 제 1 항에 있어서,
    상기 발광 영역은 상기 입력 영상 중 빛이 발하는 영역에 대해 밝게 표현되는 부분영상이고,
    상기 임계 대비 값은 손끝이 상기 터치 스크린에 터치 된 채로, 상기 터치 스크린을 상기 카메라의 초점거리에 위치시켰을 때 얻어지는 발광 영역의 평균 대비 값이며,
    임의의 발광 영역이 상기 임계 대비 값을 가질 때, 상기 터치 스크린과 상기 카메라 간의 거리인 초점거리를 측정하는 거리센서;를 더 포함하는 것을 특징으로 하는 터치 및 터치 제스처 인식 시스템.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 터치 및 터치 제스처 인식모듈:은
    상기 입력 영상에서 전경을 분리하고, 상기 전경의 발광 영역 중, 일정한 면적을 갖는 발광 영역을 상기 터치 후보영역으로 추출하는 터치 후보영역 추출 수단;
    상기 터치 후보영역의 평균 대비 값이 상기 임계 대비 값일 경우, 상기 터치 후보영역을 상기 터치 영역으로 판단하는 터치 영역 판단수단; 및
    상기 터치 영역의 검출횟수, 검출시간 또는 이동경로에 따라 일정한 이벤트를 부여하는 이벤트 부여수단;을 포함하는 것을 특징으로 하는 터치 및 터치 제스처 인식 시스템.
  4. 제 3 항에 있어서,
    상기 터치 후보영역 추출 수단:은
    상기 입력 영상의 잡음을 제거하고 전경의 에지 영상(edge image)을 추출하며, 상기 에지 영상을 확대하여 마스크 영상을 생성하는 전처리기; 및
    상기 입력 영상의 발광 영역 중, 일정한 면적을 갖는 발광 영역을 상기 터치 후보영역으로 추출하는 터치 후보영역 추출기;를 포함하며,
    상기 터치 영역 판단수단은 상기 입력 영상과 상기 마스크 영상을 겹쳐 상기 마스크 영상의 마스크 영역 내의 평균 대비 값이 상기 임계 대비 값일 경우, 상기 터치 후보영역을 상기 터치 영역으로 판단하는 것을 특징으로 하는 터치 및 터치 제스처 인식 시스템.
  5. 제 4 항에 있어서,
    상기 터치 후보영역 추출 수단은 상기 터치 후보영역 추출의 기준이 되는 면적을 갖는 발광 영상인 손끝 템플릿 영상이 저장되는 손끝 템플릿 영상DB;를 더 포함하는 것을 특징으로 하는 터치 및 터치 제스처 인식 시스템.
KR1020100021412A 2010-03-10 2010-03-10 터치 및 터치 제스처 인식 시스템 KR101071864B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100021412A KR101071864B1 (ko) 2010-03-10 2010-03-10 터치 및 터치 제스처 인식 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100021412A KR101071864B1 (ko) 2010-03-10 2010-03-10 터치 및 터치 제스처 인식 시스템

Publications (2)

Publication Number Publication Date
KR20110101995A true KR20110101995A (ko) 2011-09-16
KR101071864B1 KR101071864B1 (ko) 2011-10-10

Family

ID=44953909

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100021412A KR101071864B1 (ko) 2010-03-10 2010-03-10 터치 및 터치 제스처 인식 시스템

Country Status (1)

Country Link
KR (1) KR101071864B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101356819B1 (ko) * 2011-12-22 2014-02-12 한국과학기술원 입력 인터페이스 제공 장치 및 그 동작 방법
KR101390090B1 (ko) * 2012-09-18 2014-05-27 한국과학기술원 카메라를 이용한 사용자 단말 센싱장치, 이를 이용한 센싱방법 및 제어방법
WO2015008915A1 (en) * 2013-07-16 2015-01-22 Lg Electronics Inc. Rear projection type display apparatus capable of sensing touch input and gesture input
US9619053B2 (en) 2014-11-28 2017-04-11 Hyundai Motor Company Knob assembly and knob controller for vehicle including the same
CN106598350A (zh) * 2015-10-15 2017-04-26 现代自动车株式会社 识别曲屏上的触摸拖动手势的方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005078291A (ja) 2003-08-29 2005-03-24 Ricoh Co Ltd 画像投影表示装置、ポインティング位置検出方法、プログラムおよび記録媒体

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101356819B1 (ko) * 2011-12-22 2014-02-12 한국과학기술원 입력 인터페이스 제공 장치 및 그 동작 방법
KR101390090B1 (ko) * 2012-09-18 2014-05-27 한국과학기술원 카메라를 이용한 사용자 단말 센싱장치, 이를 이용한 센싱방법 및 제어방법
WO2015008915A1 (en) * 2013-07-16 2015-01-22 Lg Electronics Inc. Rear projection type display apparatus capable of sensing touch input and gesture input
US9619053B2 (en) 2014-11-28 2017-04-11 Hyundai Motor Company Knob assembly and knob controller for vehicle including the same
CN106598350A (zh) * 2015-10-15 2017-04-26 现代自动车株式会社 识别曲屏上的触摸拖动手势的方法和装置
CN106598350B (zh) * 2015-10-15 2021-02-05 现代自动车株式会社 识别曲屏上的触摸拖动手势的方法和装置

Also Published As

Publication number Publication date
KR101071864B1 (ko) 2011-10-10

Similar Documents

Publication Publication Date Title
US11237625B2 (en) Interaction engine for creating a realistic experience in virtual reality/augmented reality environments
US8837780B2 (en) Gesture based human interfaces
US9778752B2 (en) Systems and methods for machine control
US9767613B1 (en) Systems and method of interacting with a virtual object
EP2891950B1 (en) Human-to-computer natural three-dimensional hand gesture based navigation method
US20190018495A1 (en) Non-tactile interface systems and methods
JP5991041B2 (ja) 仮想タッチスクリーンシステム及び双方向モード自動切換方法
US9494415B2 (en) Object position determination
KR100974894B1 (ko) 멀티 적외선 카메라 방식의 3차원 공간 터치 장치
KR102347248B1 (ko) 터치 제스쳐 인식 방법 및 장치
WO2013135299A1 (en) Extending the free fingers typing technology and introducing the finger taps language technology
KR101071864B1 (ko) 터치 및 터치 제스처 인식 시스템
CN110221732B (zh) 一种触控投影系统和触控动作识别方法
JP2010519620A (ja) 点滅する電磁放射線を用いた入力
TW201346682A (zh) 在觸控表面的追蹤目標
TWI520036B (zh) 物件偵測方法以及用於光學觸控系統的校正裝置
US10691219B2 (en) Systems and methods for machine control
US20140009382A1 (en) Method and Electronic Device for Object Recognition, and Method for Acquiring Depth Information of an Object
JP6314688B2 (ja) 入力装置
US20130127704A1 (en) Spatial touch apparatus using single infrared camera
US10379678B2 (en) Information processing device, operation detection method, and storage medium that determine the position of an operation object in a three-dimensional space based on a histogram
US20220350417A1 (en) Systems and methods for machine control
US20160004385A1 (en) Input device
JP6068741B2 (ja) 表示システム
CN114245093B (zh) 基于红外和热感的投影操作方法、电子设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141006

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151005

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee