KR20090037535A - 터치스크린의 입력 처리 방법 - Google Patents

터치스크린의 입력 처리 방법 Download PDF

Info

Publication number
KR20090037535A
KR20090037535A KR1020070102869A KR20070102869A KR20090037535A KR 20090037535 A KR20090037535 A KR 20090037535A KR 1020070102869 A KR1020070102869 A KR 1020070102869A KR 20070102869 A KR20070102869 A KR 20070102869A KR 20090037535 A KR20090037535 A KR 20090037535A
Authority
KR
South Korea
Prior art keywords
screen
touch input
image
frame
touch
Prior art date
Application number
KR1020070102869A
Other languages
English (en)
Inventor
염기원
박지형
이중호
이형래
정희석
신현진
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020070102869A priority Critical patent/KR20090037535A/ko
Publication of KR20090037535A publication Critical patent/KR20090037535A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 터치스크린의 입력 처리 방법에 관한 것으로, 더욱 상세하게는, 스크린 후방에 배치된 카메라를 통해, 스크린 상에 입력되는 터치 입력 영역을 촬영하고, 이를 영상 처리하여 입력 신호로 인식하는 터치스크린의 입력 처리 방법에 관한 것이다. 본 발명의 일 실시예에 따른 터치스크린의 입력 처리 방법은, (a) 스크린 상의 터치 입력 영역과 리어스크린 화면의 연속적인 프레임을 카메라로 촬영하는 단계; (b) 상기 카메라에서 촬영된 컬러 RGB 이미지를 그레이 이미지로 변환하는 단계; (c) 상기 그레이 이미지에 대해 기준값을 기반으로 임계치(thresholding) 처리하여 상기 터치 입력 영역을 추출하는 단계; (d) 상기 터치 입력 영역의 중심을 상기 프레임 상의 좌표값으로 산출하는 단계; (e) 상기 카메라에서 촬영된 초기의 프레임 상의 상기 좌표값을 기준점으로 하여, 다음 프레임들 상의 상기 좌표값들을 벡터데이터로 저장하는 단계; 및 (f) 상기 저장된 벡터데이터들의 변위차를 계산하여, 상기 벡터데이터들의 변위차를 상기 스크린 상의 입력 신호로 인식하는 단계를 포함한다. 본 발명에 따른 터치스크린의 입력 처리 방법은 테이블 상의 스크린뿐만 아니라, 일반 투명 유리벽이나 월스크린과 같은 수직형 스크린에도 적용할 수 있어서, 그 응용분야를 확대할 수 있으며, 일반적인 조도 및 외부광이 노출된 환경에서도 입력 신호를 우수하게 감지할 수 있는 효과가 있다.
터치스크린, 멀티터치, 카메라

Description

터치스크린의 입력 처리 방법 {METHOD FOR PROCESSING INPUT OF TOUCH SCREEN}
본 발명은 터치스크린의 입력 처리 방법에 관한 것으로, 더욱 상세하게는, 스크린 후방에 배치된 카메라를 통해, 스크린 상에 입력되는 터치 입력 영역을 촬영하고, 이를 영상 처리하여 입력 신호로 인식하는 터치스크린의 입력 처리 방법에 관한 것이다.
일상생활에서 정보기기의 사용이 보편화됨에 따라 사용기기와 인간 사이에 자연스런 상호작용의 필요성이 날로 증가하고 있다. 그 중에서 손을 이용한 제스처 인식은, 손은 인간이 가장 많이 사용하는 상호작용의 도구라는 점에서 인터페이스 구현의 핵심 기술로 주목을 받고 있다.
터치스크린 장치는 디스플레이에 표시되어 있는 버튼을 손가락으로 접촉하는 것만으로 컴퓨터 작업을 실행할 수 있으므로, 작업이 한층 간결해지며, 입력 화면에서 의미하는 바를 보다 쉽게 인지할 수 있어서 입력의 정확도를 더 높일 수 있다.
터치 스크린은 그 구동방식에 따라 접촉식 정전용량 방식, 적외선 광 감지 방식 등이 있다.
상기 접촉식 정전용량 방식은 터치화면 센서를 구성하는 유리의 양면에 투명한 특수 전도성 금속물질(TAO)를 코팅하는 방법으로 만들어지며, 사람의 몸에 있는 정전용량을 이용하는 방식이다. 상기 방식은 비전기반 방식에 비해서 전형적으로 빠른 속도와 터치의 정확한 검출 결과를 보여준다. 미츠비시 전기연구소에서 개발한 다이아몬드터치(DiamondTouch) 테이블과 소니 컴퓨터과학 연구소의 스마트스킨(SmartSkin) 은 배선이 보다 간단한 정전용량 센서를 이용한다. 상기 다이아몬드터치 테이블은 표면에 각각 독특한 신호를 전송하는 여러 개의 안테나가 장착되어 있고 테이블 주위에 둘러앉은 사용자가 표면에 손가락을 대는 순간 가장 가까이 위치한 안테나가 신체에서의 미소 전류를 감지하여 각 사용자의 위치에 장착된 개별 수신기로 신호를 보내게 된다. 스마트스킨도 이와 비슷한 원리로 바둑판 형태로 배치된 송수신 전극을 통하여 여러 손의 위치와 형태를 감지하고 손과 스크린 사이의 거리를 계산하여 정확한 위치를 찾는다. 이러한 연구들은 큰 스크린 덕분에 여러 사람이 동시에 같이 작업하는 경우에 적합하지만 낮은 해상도를 가지며 매우 복잡한 하드웨어 구성을 필요로 한다. 또한 이 방식은 스크린 안에 센서를 장착하기 때문에 불투명한 스크린 형태이므로 상부투영 방식을 취하고 있다. 따라서 상호작용하는 손과 투사된 영상의 겹침으로 인한 이미지의 왜곡현상이 발생하여, 사용자의 주의 집중을 방해하는 결과를 초래한다.
적외선 광 방식은 직진하는 빛이 장애물이 있으면 차단되어 진행하지 못하는 속성을 활용한다. 스크린 상의 터치된 부분은 횡방향 및 종방향으로 진행하고 있는 적외선을 차단하여, 스크린 상에서 x,y 좌표값을 추출한다. 발광소자인 적외선 발광 다이오드(Infrared LED)와 수광소자인 포토 트랜지스터(Photo-Transistor)가 서로 마주보도록 배치되어, 옵토-매트릭스(Opto-matrix) 프레임을 만들고, 스크린의 외측면을 따라 장착하여 구성된다. 표면이 무형태이므로, 투과성이 우수하고 내구성이 강하나, 주위 환경의 영향을 많이 받을 수 있다는 문제점이 있다. 또한, 적외선이 진행하는 횡방향 또는 종방향의 동일선 상에 2 이상의 터치가 있는 경우, 즉, 평행선 상에서 2 이상의 터치가 있는 경우, 적외선이 진행하다가 첫번째 지점에서 진행이 차단되면서, 동일선 상에서 터치된 다른 지점에 대한 정확한 위치를 인식하지 못하게 되는 단점이 있다.
본 발명의 목적은 터치스크린 상에 별도의 입력 신호 감지 시스템이 설치되지 않아, 스크린 자체의 스크래치, 감지 시스템의 오작동 등으로 인한 부정확한 입력 신호 처리를 해결할 수 있으며, 입력 신호에 대한 반응 속도를 일정하게 유지할 수 있는 터치스크린의 입력 처리 방법을 제공하는 것이다.
또한, 본 발명의 목적은 테이블 상의 스크린뿐만 아니라, 일반 투명 유리벽이나 월스크린과 같은 수직형 스크린에도 적용할 수 있으며, 기존의 암막 환경 하에서만 가능했던 멀티터치 디스플레이 시스템을 개선하여, 일반적인 조도 및 외부광이 노출된 환경에서도 입력 신호를 우수하게 감지할 수 있는 터치스크린의 입력 처리 방법을 제공하는 것이다.
전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 터치스크린의 입력 처리 방법은, (a) 스크린 상의 터치 입력 영역과 리어스크린 화면의 연속적인 프레임을 카메라로 촬영하는 단계; (b) 상기 카메라에서 촬영된 컬러 RGB 이미지를 그레이 이미지로 변환하는 단계; (c) 상기 그레이 이미지에 대해 기준값을 기반으로 임계치(thresholding) 처리하여 상기 터치 입력 영역을 추출하는 단계; (d) 상기 터치 입력 영역의 중심을 상기 프레임 상의 좌표값으로 산출하는 단계; (e) 상기 카메라에서 촬영된 초기의 프레임 상의 상기 좌표값을 기준점으로 하여, 다음 프레임들 상의 상기 좌표값들을 벡터데이터로 저장하는 단계; 및 (f) 상기 저장된 벡터데이터들의 변위차를 계산하여, 상기 벡터데이터들의 변위차를 상기 스크린 상의 입력 신호로 인식하는 단계를 포함한다.
상기 터치스크린의 입력 처리 방법은, 상기 (c)와 (d) 단계 사이에, 상기 추출된 터치 입력 영역의 경계선을 스무딩 처리하는 단계를 더 포함할 수 있다.
상기 스무딩 처리된 터치 입력 영역의 형상은 원으로 구성될 수 있다.
상기 (f) 단계는, 상기 저장된 벡터데이터들의 변위차를 계산하여, 상기 터치 입력 영역이 하나인지 복수인지 판단하는 단계를 더 포함할 수 있다.
상기 (f) 단계에서 상기 터치 입력 영역이 2개인 것으로 판단한 경우, 상기 입력 신호의 인식은, 상기 2개의 터치 입력 영역의 중심을 직선으로 연결하여, 상기 직선의 간격이 확장되면 줌 인 입력 신호로, 상기 직선의 간격이 축소되면 줌 아웃 입력 신호로, 상기 직선의 경사각이 변하면 회전 입력 신호로, 상기 직선이 직선이동하면 3차원 영상에 대한 상기 직선이동방향으로의 틸트 입력 신호로 인식할 수 있다.
상기 터치 입력 영역은 신체의 접촉에 의한 상기 스크린 상의 명암 변화에 의해 형성될 수 있다.
상기 터치 입력 영역은 상기 스크린 상에 입력되는 적외선 신호에 의해 형성될 수 있다.
상기 (b) 단계는, 컬러 RGB 이미지를 적외선 필터링 하여, 상기 적외선 신호에 의해 상기 프레임 상에 형성되는 영역을 분리하는 단계; 및 상기 프레임을 복수의 픽셀로 분할하여, 각 픽셀의 명암도에 따라 이미지를 형성하는 세그멘테이션을 통해 상기 그레이 이미지를 추출하는 단계를 포함할 수 있다.
본 발명에 따른 터치스크린의 입력 처리 방법은 스크린 상에 별도의 입력 신호 감지 시스템이 설치되지 않아, 스크린 자체의 제조비용을 절감할 수 있으며, 스크린 상의 스크래치, 감지 시스템의 오작동 등으로 인한 부정확한 입력 신호 처리를 해결할 수 있는 효과가 있다.
또한, 본 발명에 따른 터치스크린의 입력 처리 방법은 테이블 상의 스크린뿐만 아니라, 일반 투명 유리벽이나 월스크린과 같은 수직형 스크린에도 적용할 수 있어서, 그 응용분야를 확대할 수 있으며, 일반적인 조도 및 외부광이 노출된 환경에서도 입력 신호를 우수하게 감지할 수 있는 효과가 있다.
이하에서는 첨부한 도면을 참조하여 본 발명의 바람직한 실시예들에 따른 터치스크린의 입력 처리 방법에 대하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 터치스크린의 입력 처리 방법을 도시한 순서도이며, 도 2는 도 1의 방법을 처리하기 위한 터치스크린 시스템의 구성을 도시한 도면이다.
도 1 및 도 2를 참조하면, 정보 처리 장치, 예를 들어, 데스크탑 컴퓨터, 노트북, PDP 등의 모니터(210)는 빔 프로젝터(220)와 연결되어, 상기 정보 처리 장치 상에서 실행되고 있는 오퍼레이팅 시스템, 유틸리티 프로그램, 응용 프로그램 등의 영상을 스크린(200)에 조사한다.
사용자는 스크린(200)을 통해 실행되고 있는 프로그램을 시각적으로 확인할 수 있으며, 상기 프로그램에 대한 입력 신호(202a 및 202b)를 스크린(200)을 터치하여 입력할 수 있다. 상기 입력 신호(202a 및 202b)는 신체의 일부, 즉, 손가락 등을 스크린(200)에 접촉하거나, 적외선 출사 장치, 예를 들어, 적외선 LED를 통한 적외선 출사에 의해 스크린(200)에 입력될 수 있다. 상기 적외선 출사 장치는 온/오프(on/off) 버튼을 구비하여, 버튼이 눌러졌을 때 적외선을 방출하고, 버튼이 눌러지지 않았을 때 적외선을 방출하지 않는 방식으로 구성될 수 있다. 또한, 가속도 센서를 비롯한 모션센서를 사용하여 사용자의 손의 움직임을 감지해 사용자의 동작이 있을 시에만 온 상태가 되고, 손동작이 없을 때에는 오프가 되는 장치로도 구성할 수 있다. 본 발명에 있어서, 손가락 터치에 따른 명암 변화 또는 적외선의 입력 신호는 스크린(200) 후방에 배치된 카메라(230)에 의해 촬영되어, 프레임 상의 입력 위치가 정확히 감지되므로, 스크린(200)의 횡방향 또는 종방향을 따라 동일선 상에 2 이상의 입력 신호가 있더라도, 2 이상의 입력 신호가 구분되어 명확히 인지될 수 있다.
스크린(200)은 후방에서 조사되는 빔 프로젝터(220)의 영상이 투영되고, 스크린(200) 상에 접촉하는 손가락에 의한 명암 변화, 스크린(200)을 통한 적외선의 입력이 이루어지기 위해 일정한 투명도를 갖는다.
카메라(230)는 스크린(200) 후방에 배치되어, 빔 프로젝터(220)에서 조사되는 영상의 스크린(200) 후방에서의 화면, 즉, 리어(rear) 스크린 화면 및 입력 신호(202a 및 202b)의 터치 입력 영역(232a 및 232b)의 연속적인 프레임을 촬영한 다(S100). 카메라(230)는 일반적으로 초당 30 프레임 정도를 촬영한다. 도 2에서, 터치 입력 영역(232a 및 232b)이 2개 도시되었으나, 하나 또는 3개 이상이 될 수 있음은 물론이다.
이어서, 카메라(230)에서 촬영된 컬러 RGB 이미지는 영상처리 프로그램을 통해 그레이(gray) 이미지로 변환된다(S110). 계속하여, 상기 그레이 이미지에 대해 기준값을 기반으로 임계치(thresholding) 처리하여 터치 입력 영역(232a 및 232b)을 추출한다(S120). 임계치 처리는 입력 영상의 각 픽셀에 대해서 명암도가 기준값 이상인 경우에 대응하는 출력 영상의 픽셀값을 1로, 그 외의 경우는 0으로 처리하는 것이다. 이를 식으로 나타내면 다음과 같다.
Figure 112007073161021-PAT00001
여기서, f(x,y) 는 임계치 처리 전의 프레임 상에서 특정 좌표값의 명암도를 나타내며, g(x,y) 는 임계치 처리 후의 프레임 상에서 특정 좌표값의 명암을 나타내는 것으로, 흑 또는 백으로 출력된다. t는 기준값을 나타낸다.
한편, 반대로, 각 픽셀에 대해서 명암도가 기준값 이상의 경우에 대응하는 영상의 픽셀값을 0으로, 그 외의 경우는 1로 처리할 수 있다.
이에 따라, 신호 입력 수단인 손가락이 스크린(200)에 접촉하는 영역을 다른 배경화면과 분리하여, 흑 또는 백의 데이터로 영상 처리하게 된다. 한편, 카메라에서 촬영된 첫번째 프레임 상에서, 상기 임계치(thresholding) 처리를 통해 일단 터 치 입력 영역(232a 및 232b)을 추출하면, 이후에 연속되는 나머지 프레임에 대해서는 상기 임계치 처리의 기준값을 적용하여, 보다 빨리 배경화면으로부터 터치 입력 영역(232a 및 232b)을 자동으로 분리하고, 이를 입력 신호로 인식할 수 있으므로, 입력에 대한 응답속도가 빨라질 수 있다.
이어서, 상기 영상 처리된 터치 입력 영역(232a 및 232b)의 중심을 프레임 상의 좌표값으로 산출한다(S130). 상기 흑 또는 백의 데이터로 영상 처리된 터치 입력 영역(232a 및 232b)은, 예를 들어, 원, 타원, 사각형, 다각형 등의 다양한 형상으로 구성될 수 있으며, 상기 영상 처리 과정 중, 원형으로 처리하여, 중심의 좌표값 산출이 용이하도록 할 수 있다.
계속하여, 카메라(230)에서 촬영된 초기의 프레임 상의 좌표값을 기준점으로 하여, 연속하는 다음 프레임들 상의 좌표값들을 벡터데이터로 저장한다(S140). 전술한 바와 같이, 카메라(230)는 일반적으로 초당 30 프레임을 촬영하며, 각 프레임이 중첩된 상태에서, 프레임 상의 좌표값들의 벡터데이터가 형성된다.
이어서, 상기 저장된 벡터데이터들의 변위차를 계산하여, 상기 벡터데이터들의 변위차를 스크린(200) 상의 입력 신호로 인식한다(S150). 여기서, 벡터데이터들의 변위차 계산 시, 터치 입력 영역이 하나인지 복수인지 판단될 수 있다.
터치 입력 영역이 하나로 판단되는 경우, 상기 터치 입력 영역의 중심의 좌표값의 상하좌우 이동을 입력 신호로 인식한다. 예를 들어, 하나의 손가락을 스크린(200) 상에 표시되는 영상의 특정 이미지에 접촉한 상태에서 상하좌우 이동하면, 이를 입력 신호로 인식하여, 이미지의 드래그 작업 등을 실행할 수 있다.
다음으로, 상기 터치 입력 영역을 복수로 판단한 경우, 예를 들어, 터치 입력 영역(232a 및 232b)이 2개인 것으로 판단한 경우, 입력 신호(202a 및 202b)의 인식은, 상기 2개의 터치 입력 영역(232a 및 232b)의 중심을 직선으로 연결하여, 상기 직선의 간격이 확장되면 줌 인(zoom in) 입력 신호로, 상기 직선의 간격이 축소되면 줌 아웃(zoom out) 입력 신호로 인식한다. 또한, 상기 직선의 경사각이 변하면 회전 입력 신호로, 상기 직선이 직선이동하면 3차원 영상에 대한 상기 직선이동방향으로의 틸트(tilt) 입력 신호로 인식한다. 예를 들어, 스크린(200) 상에 3차원 빌딩 이미지가 영상으로 표시될 때, 상기 빌딩 이미지를 양손의 손가락에 접촉한 상태에서, 양방향으로 벌리면, 빌딩의 크기가 확대되며, 양 손가락을 접근시키면, 빌딩의 크기가 축소된다. 또한, 한 손가락을 고정축으로 하여, 다른 손가락을 회전시키면, 빌딩이 회전하며, 양 손가락의 간격을 유지한 상태에서 직선이동하면, 상기 직선이동방향을 따라 빌딩의 누운 이미지가 표시된다.
도 3은 본 발명의 다른 실시예에 따른 터치스크린의 입력 처리 방법을 도시한 순서도이다.
도 3을 참조하면, 스크린(200) 상에 입력되는 적외선 신호에 의해 터치 입력 영역(232a 및 232b)이 형성되며, 스크린(200) 상의 터치 입력 영역(232a 및 232b)과 리어 스크린 화면의 연속적인 프레임이 카메라(230)로 촬영된다(S300). 적외선을 통한 신호 입력의 경우, 스크린(200)이 외부광에 노출된 환경에서도, 신호 입력을 방해받지 않고, 반응 속도를 일정하게 유지할 수 있다.
이어서, 카메라(230)에서 촬영된 컬러 RGB 이미지를 적외선 필터링하여, 상 기 적외선 신호에 의해 상기 프레임 상에 형성되는 영역을 분리한다(S312). 즉, 적외선 필터링을 통해서 빔 프로젝터(220)에 의한 배경화면과 적외선 신호에 의한 터치 입력 영역(232a 및 232b)이 분리될 수 있으며, 이를 위해, 750nm 이상의 파장 대역의 빛만 통과시키는 필터링을 이용하거나, 카메라(230)의 렌즈에 적외선 반사 필름을 부착하는 방법 등을 이용할 수 있다.
계속하여, 카메라(230)에서 촬영된 각각의 프레임을 복수의 픽셀로 분할하여, 각 픽셀의 명암도에 따라 이미지를 형성하는 세그멘테이션(segmentation)을 통해 그레이 이미지를 추출한다(S314).
이어서, 상기 그레이 이미지에 대해 기준값을 기반으로 임계치(thresholding) 처리하여 터치 입력 영역(232a 및 232b)을 추출한다(S320).
상기 추출된 터치 입력 영역(232a 및 232b)은 거친(rough) 경계선을 가지므로, 영상처리 프로그램을 통해 스무딩(smoothing) 처리하여, 경계선을 매끄럽게 한다(S322).
이어서, 터치 입력 영역(232a 및 232b)의 중심을 상기 프레임 상의 좌표값으로 산출하며(S330), 카메라(230)에서 촬영된 초기의 프레임 상의 상기 좌표값을 기준점으로 하여, 연속하는 다음 프레임들 상의 상기 좌표값들을 벡터데이터로 저장한다(S340).
계속하여, 상기 저장된 벡터데이터들의 변위차를 계산하여, 상기 벡터데이터들의 변위차를 상기 스크린(200) 상의 입력 신호(202a 및 202b)로 인식한다(S350).
상기한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 터치스크린의 입력 처리 방법을 도시한 순서도이다.
도 2는 도 1의 방법을 처리하기 위한 터치스크린 시스템의 구성을 도시한 도면이다.
도 3은 본 발명의 다른 실시예에 따른 터치스크린의 입력 처리 방법을 도시한 순서도이다.

Claims (8)

  1. (a) 스크린 상의 터치 입력 영역과 리어스크린 화면의 연속적인 프레임을 카메라로 촬영하는 단계;
    (b) 상기 카메라에서 촬영된 컬러 RGB 이미지를 그레이 이미지로 변환하는 단계;
    (c) 상기 그레이 이미지에 대해 기준값을 기반으로 임계치(thresholding) 처리하여 상기 터치 입력 영역을 추출하는 단계;
    (d) 상기 터치 입력 영역의 중심을 상기 프레임 상의 좌표값으로 산출하는 단계;
    (e) 상기 카메라에서 촬영된 초기의 프레임 상의 상기 좌표값을 기준점으로 하여, 다음 프레임들 상의 상기 좌표값들을 벡터데이터로 저장하는 단계; 및
    (f) 상기 저장된 벡터데이터들의 변위차를 계산하여, 상기 벡터데이터들의 변위차를 상기 스크린 상의 입력 신호로 인식하는 단계를 포함하는 것을 특징으로 하는 터치스크린의 입력 처리 방법.
  2. 제 1 항에 있어서, 상기 (c)와 (d) 단계 사이에,
    상기 추출된 터치 입력 영역의 경계선을 스무딩 처리하는 단계를 더 포함하는 것을 특징으로 하는 터치스크린의 입력 처리 방법.
  3. 제 2 항에 있어서, 상기 스무딩 처리된 터치 입력 영역의 모양은 원인 것을 특징으로 하는 터치스크린의 입력 처리 방법.
  4. 제 1 항에 있어서, 상기 (f) 단계는, 상기 저장된 벡터데이터들의 변위차를 계산하여, 상기 터치 입력 영역이 하나인지 복수인지 판단하는 단계를 더 포함하는 것을 특징으로 하는 터치스크린의 입력 처리 방법.
  5. 제 4 항에 있어서, 상기 (f) 단계에서 상기 터치 입력 영역이 2개인 것으로 판단한 경우, 상기 입력 신호의 인식은,
    상기 2개의 터치 입력 영역의 중심을 직선으로 연결하여, 상기 직선의 간격이 확장되면 줌 인 입력 신호로, 상기 직선의 간격이 축소되면 줌 아웃 입력 신호로, 상기 직선의 경사각이 변하면 회전 입력 신호로, 상기 직선이 직선이동하면 3차원 영상에 대한 상기 직선이동방향으로의 틸트 입력 신호로 인식하는 것을 특징으로 하는 터치스크린의 입력 처리 방법.
  6. 제 1 항에 있어서, 상기 터치 입력 영역은 신체의 접촉에 의한 상기 스크린 상의 명암 변화에 의해 형성되는 것을 특징으로 하는 터치스크린의 입력 처리 방법.
  7. 제 1 항에 있어서, 상기 터치 입력 영역은 상기 스크린 상에 입력되는 적외선 신호에 의해 형성되는 것을 특징으로 하는 터치스크린의 입력 처리 방법.
  8. 제 7 항에 있어서, 상기 (b) 단계는,
    컬러 RGB 이미지를 적외선 필터링 하여, 상기 적외선 신호에 의해 상기 프레임 상에 형성되는 영역을 분리하는 단계; 및
    상기 프레임을 복수의 픽셀로 분할하여, 각 픽셀의 명암도에 따라 이미지를 형성하는 세그멘테이션을 통해 상기 그레이 이미지를 추출하는 단계를 포함하는 것을 특징으로 하는 터치스크린의 입력 처리 방법.
KR1020070102869A 2007-10-12 2007-10-12 터치스크린의 입력 처리 방법 KR20090037535A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070102869A KR20090037535A (ko) 2007-10-12 2007-10-12 터치스크린의 입력 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070102869A KR20090037535A (ko) 2007-10-12 2007-10-12 터치스크린의 입력 처리 방법

Publications (1)

Publication Number Publication Date
KR20090037535A true KR20090037535A (ko) 2009-04-16

Family

ID=40762121

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070102869A KR20090037535A (ko) 2007-10-12 2007-10-12 터치스크린의 입력 처리 방법

Country Status (1)

Country Link
KR (1) KR20090037535A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012057394A1 (ko) * 2010-10-29 2012-05-03 전남대학교산학협력단 멀티 터치 특징정보 추출방법 및 그 멀티 터치 특징정보를 이용한 멀티 터치 제스처 인식방법
US9081433B2 (en) 2013-04-15 2015-07-14 Samsung Display Co., Ltd. Method of processing touch-sensor data and apparatus for performing the same
US10274991B2 (en) 2014-07-15 2019-04-30 Samsung Electronics Co., Ltd Apparatus and method for providing touch inputs by using human body

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012057394A1 (ko) * 2010-10-29 2012-05-03 전남대학교산학협력단 멀티 터치 특징정보 추출방법 및 그 멀티 터치 특징정보를 이용한 멀티 터치 제스처 인식방법
US9081433B2 (en) 2013-04-15 2015-07-14 Samsung Display Co., Ltd. Method of processing touch-sensor data and apparatus for performing the same
US10274991B2 (en) 2014-07-15 2019-04-30 Samsung Electronics Co., Ltd Apparatus and method for providing touch inputs by using human body

Similar Documents

Publication Publication Date Title
US10001845B2 (en) 3D silhouette sensing system
KR102335132B1 (ko) 하나의 단일 감지 시스템을 이용하는 멀티 모드 제스처 기반의 상호작용 시스템 및 방법
JP5384449B2 (ja) タッチシステムのためのポインタ高さ検出方法およびポインタ座標検出方法ならびにタッチシステム
KR101851264B1 (ko) 가상 멀티터치 마우스와 스타일러스 장치를 위한 시스템 및 그 방법
US8686943B1 (en) Two-dimensional method and system enabling three-dimensional user interaction with a device
US10048779B2 (en) Virtual hand based on combined data
JP6037900B2 (ja) 操作検出装置及び操作検出方法
US20120169671A1 (en) Multi-touch input apparatus and its interface method using data fusion of a single touch sensor pad and an imaging sensor
US20100103099A1 (en) Pointing device using camera and outputting mark
TW201214243A (en) Optical touch system and object detection method therefor
JPWO2010047256A1 (ja) 撮像装置、表示撮像装置および電子機器
US20150189256A1 (en) Autostereoscopic multi-layer display and control approaches
JP4870651B2 (ja) 情報入力システムおよび情報入力方法
KR20090037535A (ko) 터치스크린의 입력 처리 방법
US9489077B2 (en) Optical touch panel system, optical sensing module, and operation method thereof
CN102033657B (zh) 触控系统及其指示物高度侦测方法和指示物坐标侦测方法
US9785253B2 (en) Pointing device using camera and outputting mark
TWI444875B (zh) 多點觸碰輸入裝置及其使用單點觸控感應板與影像感測器之資料融合之介面方法
JP2018063555A (ja) 情報処理装置、情報処理方法及びプログラム
US20140375777A1 (en) Three-dimensional interactive system and interactive sensing method thereof
JP6233941B1 (ja) 非接触式の三次元タッチパネル、非接触式の三次元タッチパネルシステム、非接触式の三次元タッチパネルの制御方法、プログラム及び記録媒体
KR101822400B1 (ko) 광학방식의 터치스크린장치 및 이를 이용한 좌표 검출 방법
Alex et al. LampTop: Touch detection for a projector-camera system based on shape classification
US20240069647A1 (en) Detecting method, detecting device, and recording medium
Ukita et al. Wearable Virtual Tablet: Fingertip Drawing Interface Using an Active-Infrared Camera.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application