KR101870895B1

KR101870895B1 - 멀티 터치 인식 장치 및 그 제어방법

Info

Publication number: KR101870895B1
Application number: KR1020120011831A
Authority: KR
Inventors: 이지효; 노경식; 심영보
Original assignee: 삼성전자주식회사
Priority date: 2012-02-06
Filing date: 2012-02-06
Publication date: 2018-06-25
Also published as: US20130201158A1; US9298319B2; EP2624210A3; EP2624210B1; EP2624210A2; KR20130090586A

Abstract

멀티 터치를 지원하는 디스플레이 패널의 화면을 촬영하는 카메라에 의해 영상이 입력되면 잡음 제거를 위해 블러 필터링하고 블러 필터링된 영상에서 저장부에 저장된 배경 영상이 제거된 차영상을 산출 및 출력하고, 이 차영상의 이진 영상 및 차영상을 이용하여 새로운 배경 영상을 산출하고, 이 새로운 배경 영상을 이용하여 저장부에 저장된 배경 영상을 갱신함으로써 멀티 터치 이외의 배경을 효과적으로 제거할 수 있어 멀티 터치 인식 성능을 향상시킬 수 있는 멀티 터치 인식 장치 및 그 제어방법을 개시한다.

Description

멀티 터치 인식 장치 및 그 제어방법{COGNITION APPARATUS FOR MULTI TOUCH AND CONTROL METHOD THEREOF}

본 발명은 적외선 카메라의 출력 영상을 기반으로 디스플레이 패널 상의 멀티 터치를 인식하는 멀티 터치 인식 장치 및 그 제어방법에 관한 것이다.

디스플레이 패널에 대한 터치 인식은 적외선 카메라의 출력 영상을 기반으로 이루어 지는데, 이 영상은 다음과 같은 특성 및 문제점을 가지고 있다.

첫째, 적외선 카메라의 출력 영상은 일반 카메라에 비해 잡음이 많이 포함되어 있다. 이는 터치 인식 오류를 발생 시키는 요인으로 작용한다.

둘째, 디스플레이 패널의 화면 자체를 영상으로 만들기 때문에 바탕 화면의 아이콘 및 디스플레이 화면 정보들이 포함되어 있다. 이는 사람 손 등의 터치 인식에 잡음으로 작용하여 터치 인식 오류를 발생시키고 터치 인식의 감도를 줄인다.

셋째, 할로겐 조명등의 특정 파장 대의 빛이 들어올 경우 제대로 된 동작이 이루어 지지 않는다. 이는 적외선 센서 기반 카메라의 한계점이라 볼 수 있는데, 특정 파장대의 빛이 들어 올 경우 포화(Saturation) 되어 터치 인식의 기반이 되는 영상에 심한 왜곡이 발생, 인식 과정의 수행 자체가 어렵게 된다.

따라서 최근에는 위의 세가지 경우의 문제점을 해결 및 개선하여 기존보다 향상된 터치 인식 성능을 가능케 하는 터치 인식 장치의 개발이 요구되고 있다.

본 발명의 일 측면은 멀티 터치 인식 성능을 향상시킬 수 있도록 멀티 터치를 지원하는 디스플레이 패널의 화면을 촬영하는 카메라에 의해 촬영된 영상에서 멀티 터치 이외의 배경을 효과적으로 제거하는 멀티 터치 인식 장치 및 그 제어방법을 제공한다.

이를 위해 본 발명의 일 측면에 따른 멀티 터치 인식 장치는 영상을 표시하는 디스플레이패널; 상기 디스플레이 패널상의 사용자의 터치위치를 감지하기 위한 영상을 얻는 카메라부; 배경 영상을 저장하는 저장부; 상기 카메라부에 의해 얻은 영상이 입력되면 잡음 제거를 위해 블러 필터링하고, 상기 블러 필터링된 영상에서 상기 저장부에 저장된 배경 영상이 제거된 차영상을 산출 및 출력하고, 상기 차영상의 이진 영상 및 상기 차영상을 이용하여 새로운 배경 영상을 산출하고, 상기 산출된 새로운 배경 영상을 이용하여 상기 저장부에 저장된 배경 영상을 갱신하는 제어부;를 포함한다.

또한, 상기 제어부는 상기 차영상의 픽셀값을 절대값화한 절대값 영상을 산출하고, 상기 산출된 절대값 영상을 출력하는 것을 포함한다.

또한, 상기 제어부는 상기 차영상의 이진 영상은 상기 절대값 영상을 이진화하는 이진 영상인 것을 포함한다.

또한, 상기 제어부는 상기 이진 영상 산출시 문턱값은 다음의 식 [1]에 의해 산출되는 것을 포함한다.

Th = Mean(I(.)) + alpha * std(I(.)) 식 [1]

여기서, Th는 문턱값이고, Mean(I(.))는 차영상의 절대값 영상에 대한 평균값이고, alpha는 영상의 픽셀 값들의 분포를 위한 가중치이고, std(I(.))는 차영상의 절대값 영상에 대한 표준편차이다.

또한, 상기 제어부는 상기 새로운 배경영상을 다음의 식 [3]에 의해 산출하는 것을 포함한다.

Bk(x,y) = Bk-1(x,y) + beta * Dk(x,y) 식 [2]

여기서, Bk(x,y)는 새로운 배경영상이고, Bk-1(x,y)는 이전 배경 영상이고, Dk(x,y)는 차영상이고, beta는 가중치이다.

또한, 상기 제어부는 상기 차영상에서 변화량이 작은 픽셀들이 변화량이 큰 픽셀들보다 상대적으로 높은 beta 값을 가지도록 상기 beta를 설정하는 것을 포함한다.

또한, 상기 제어부는 상기 beta가 1보다 작은 값을 가지고, 상기 이진 영상의 값이 1인 경우와 0인 경우 서로 다른 가중치를 가지도록 설정하는 것을 포함한다.

또한, 상기 제어부는 상기 beta를 다음의 식 [3]에 의해 산출되는 것을 포함한다.

beta = a * (1-Hk(x,y)) + b * Hk(x,y) 식 [3]

여기서, Hk(x,y)는 이진 영상이고, a와 b는 이진 영상에 대한 가중치이다.

본 발명의 다른 측면에 따른 멀티 터치 인식 장치의 제어방법은 영상을 표시하는 디스플레이패널에 마련되고 사용자의 터치위치를 감지하기 위한 영상을 얻는 카메라부와 배경영상을 저장하는 저장부를 가진 멀티 터치 인식 장치의 제어방법에 있어서, 상기 카메라부에 의해 얻은 영상이 입력되면 잡음 제거를 위해 블러 필터링하고; 상기 블러 필터링된 영상에서 상기 저장부에 저장된 배경 영상이 제거된 차영상을 산출 및 출력하고; 상기 차영상의 이진 영상 및 상기 차영상을 이용하여 새로운 배경 영상을 산출하고; 상기 산출된 새로운 배경 영상을 이용하여 상기 저장부에 저장된 배경 영상을 갱신하는; 것을 포함한다.

또한, 상기 차영상 산출 및 출력은, 상기 차영상의 픽셀값을 절대값화한 절대값 영상을 산출하고, 상기 산출된 절대값 영상을 출력하는 것을 포함한다.

또한, 상기 차영상의 이진 영상은 상기 절대값 영상을 이진화하는 이진 영상인 것을 포함한다.

또한, 상기 이진 영상 산출시 문턱값은 다음의 식 [1]에 의해 산출되는 것을 포함한다.

Th = Mean(I(.)) + alpha * std(I(.)) 식 [1]

또한, 상기 새로운 배경영상을 다음의 식 [2]에 의해 산출하는 것을 포함한다.

Bk(x,y) = Bk-1(x,y) + beta * Dk(x,y) 식 [2]

또한, 상기 beta는 상기 차영상에서 변화량이 작은 픽셀들이 변화량이 큰 픽셀들보다 상대적으로 높은 beta 값을 가지도록 설정되는 것을 포함한다.

또한, 상기 beta는 1보다 작은 값을 가지고, 상기 이진 영상의 값이 1인 경우와 0인 경우 서로 다른 가중치를 가지도록 설정하는 것을 포함한다.

또한, 상기 beta는 다음의 식 [3]에 의해 산출되는 것을 포함한다.

beta = a * (1-Hk(x,y)) + b * Hk(x,y) 식 [3]

이상에서 설명한 본 발명의 일 측면에 따르면, 멀티 터치를 지원하는 디스플레이 패널의 화면을 촬영하는 카메라에 의해 촬영된 영상에서 블러 필터링을 이용하여 잡음을 제거하고 배경 제거 및 배경 갱신을 통해 멀티 터치 이외의 배경을 효과적으로 제거할 수 있어 멀티 터치 인식 성능을 향상시킬 수 있다.

도 1은 본 발명의 일실시예에 따른 멀티 터치 인식 장치의 개략적인 제어블록도이다.
도 2는 본 발명의 일실시예에 따른 멀티 터치 인식 장치의 제어방법에 대한 제어흐름도이다.
도 3은 도 2에서 블러 필터링 전의 입력 영상을 보인 도면이다.
도 4는 도 2에서 블러 필터링 후의 입력 영상을 보인 도면이다.
도 5는 도 2에서 차영상의 절대값 영상을 보인 도면이다.

이하, 첨부된 도면을 참조하여 본 발명에 대해 상세히 설명한다.

본 발명의 일실시예에 따른 멀티 터치 인식 장치는 멀티 터치 기능을 가진 디스플레이 패널을 포함한 어떠한 타입의 전자 장치를 포함할 수 있다. 예를 들어, TV, 디지털 TV, 일반 PC, 모바일 PC, 모바일 전자장치 등을 포함할 수 있다. 바람직하게는, 테이블 탑(table top) 디스플레이, LFD(Large Format Display), 디지털 간판(Digital signage), DID(Digital Information Display) 등을 포함할 수 있다.

도 1은 본 발명의 일실시예에 따른 멀티 터치 인식 장치의 개략적인 제어블록을 나타낸 도면이다.

도 1 에 도시된 바와 같이, 멀티 터치 인식 장치는 디스플레이패널(10), 카메라부(20), 제어부(30), 광원부(40), 영상처리부(50) 및 저장부(60)를 포함한다.

디스플레이 패널(10)은 화상을 표시하고 사용자의 터치가 입력된다.

카메라부(20)는 디스플레이 패널(10) 상의 사용자의 터치 위치를 감지하기 위한 영상을 얻을 수 있다. 예를 들면, 광원부(40)에 의해 디스플레이 패널(10)로 광이 송출되면 사용자의 손가락 위치 부분만 난반사가 일어나고, 나머지 부분은 전반사가 일어나게 된다. 카메라부(20)는 난반사가 일어난 위치를 계산하여 사용자의 터치 위치를 감지하도록 하기 위한 디스플레이 패널(10)의 영상을 촬영할 수 있다.

카메라부(20)는 광원부(40)가 특정 파장의 적외선을 송출할 경우, 특정 파장에 대응한 필터를 더 포함할 수 있다. 따라서, 광원부(40)에서 송출하는 특정 대역의 파장만을 통과시키고, 그 이외의 대역폭을 갖는 파장은 필터링할 수 있다.

카메라부(20)는 적외선 카메라 어레이로 구성될 수 있으며, 디스플레이 패널(10)의 하부에 마련될 수 있고, 복수의 적외선 카메라를 포함할 수 있다. 카메라부(20)는 디스플레이 패널(10) 상에서 사용자의 터치가 일어나는 지점 근방의 이미지를 촬영한다. 카메라부(20)는 적외선에 민감한 소재로 이루어진 CMOS(Complementary Metal-Oxide Semiconductor) 또는 CCD(Charge Coupled Device)와 같은 촬상소자와 복수의 광학 렌즈를 포함하여 이루어질 수 있다.

광원부(40)는 디스플레이 패널(10)에 마련되어 광을 발생하는 것으로서, 적어도 하나 이상 포함할 수 있다. 예를 들면, 광원부(40)는 디스플레이 패널(10)의 모서리 중 적어도 어느 하나에 위치할 수 있다. 특히 광원부(40)는 디스플레이 패널(10)의 4개의 모서리에 위치할 수 있다.

광원부(40)는 적외선의 특정 파장에서 입사되는 적외선 광학 소자일 수 있고, 예를 들어, 850nm, 880nm, 940nm 등의 특정 파장에서 입사되는 적외선 광학 소자일 수 있다.

영상처리부(50)는 디스플레이 패널(10)에 표시되는 영상을 처리할 수 있다. 영상처리부(50)는 카메라부(20)에 의해 얻어진 영상에서 사용자의 터치 위치에 기초하여 영상을 처리하여 디스플레이 패널(10)에 표시되도록 할 수 있다.

저장부(60)는 배경 영상을 저장한다. 이 배경 영상은 제어부(30)에 의해 카메라부(20)에 의해 획득된 영상인 입력 영상과 비교되어 차영상을 구하는 데 사용된다. 최초에는 배경 영상은 없기 때문에 그 당시 입력된 입력 영상이 배경 영상으로 저장된다.

제어부(30)는 카메라부(20)를 통해 획득된 영상에서 사용자의 멀티 터치 위치를 인식하고, 인식된 멀티 터치 위치를 근거로 하여 영상처리부(50)를 제어하여 멀티 터치 위치에 해당하는 명령에 따른 화면이 디스플레이 패널(10)에 표시되도록 한다.

제어부(30)는 카메라부(20)를 통해 획득된 영상에서 사용자의 멀티 터치 위치를 인식함에 있어서, 카메라부(20)에 의해 촬영된 영상에서 잡음을 제거하고 배경 제거 및 배경 갱신을 통해 멀티 터치 이외의 배경을 효과적으로 제거함으로써 터치 인식 성능을 향상시킨다.

특히 제어부(30)는 카메라부(20)에 의해 획득된 영상 데이터로부터 잡음 등을 제거하고 조명 성분을 억제하여 용이한 멀티 터치 인식 성능을 유지할 수 있도록 카메라에 의해 획득된 영상 데이터를 가우시안 필터(Gaussian Filte)을 이용하여 블러 필터링(blur filtering)한 후 조명 성분 억제 및 멀티 터치 이외의 배경 등이 제거된 영상 데이터를 획득하기 위한 영상처리 알고리즘을 수행한다. 블러 필터링은 영상을 구성하는 픽셀과 픽셀의 경계부분에 해당부분의 근사치에 해당되는 픽셀값을 가진 또 다른 픽셀을 추가함으로써 전체적으로 영상이 부드러워지게 하는 것일 수 있다.

이를 위해 제어부(30)는 적응형 배경 추정(Adaptive Background Estimation ; ABE) 알고리즘을 적용하여 카메라부(20)에 의해 획득된 영상데이터로부터 배경 영상을 제거하여 영상에서 터치된 부분만을 획득하도록 한다. 이는 카메라부(20)를 구성하는 적외선 카메라의 발광부와 비슷한 파장대의 빛이 들어오더라도 세기가 강하지 않다면 일반적인 환경에서처럼 터치 인식이 원활하게 되는 것을 가능하게 한다.

또한, 제어부(30)는 블러 필터링된 입력 영상과 저장부(60)에 저장된 배경 영상을 비교하여 차영상을 구하고, 차영상의 픽셀값을 절대값화한 차영상의 절대값 영상을 대상으로 이진 영상을 구하고, 이 이진 영상을 대상으로 현재의 입력 영상에서 변화된 부분을 얼마나 반영할 것인지에 대한 가중치를 적용한 이진 영상과 함께 차영상을 이용하여 저장부(60)에 저장된 배경 영상을 갱신한다. 예를 들면, 가중치 값이 크면 배경 갱신에 현재 영상에서 변화된 부분의 반영 비율이 커지는 것이고 가중치 값이 작으면 이와 반대로 반영 비율이 작아지는 게 하는 방식으로 배경 영상을 갱신하고, 갱신된 배경 영상을 이용하여 이전의 배경 영상을 갱신시킨다. 이후 다음 번 입력 영상에 대해서는 이 갱신된 배경 영상을 비교하는 방식으로 제어를 수행한다.

본 발명의 일실시예에 따른 멀티 터치 인식 장치는 디스플레이 패널(10)로부터 들어오는 카메라부(20)의 영상 데이터로부터 잡음 등을 제거하고 조명 성분 억제 및 멀티 터치 이외의 배경을 제거하여 멀티 터치 인식 성능을 향상시킨다.

이를 위해 본 발명의 일실시예에 따른 멀티 터치 인식 장치는 크게 2가지 과정으로 구분할 수 있다.

첫째는 카메라부(20)에 의해 촬영된 영상 데이터에서 잡음을 제거하기 위하여 블러 필터링하는 과정이다. 예를 들면, 블러 필터링은 영상 데이터를 블러 필터에 통과시키는 것으로 이루어진다. 블러 필터로는 가우시안 필터가 적용 가능하다. 블러 필터로는 가우시안 필터 뿐만 아니라 다른 형태의 로우패스 필터도 적용 가능하다.

둘째는 조명 성분 억제 및 멀티 터치 이외의 배경 등이 제거된 영상을 획득하는 과정이다. 이를 위해 본 발명의 일실시예에서는 적응형 배경 추정(ABE) 알고리즘을 적용하여 입력 영상에서 배경 영상을 제거하여 영상에서 터치된 부분만을 획득한다. 이는 적외선 카메라의 발광부와 비슷한 파장대의 빛이 들어오더라도 세기가 강하지 않다면 일반적인 환경에서처럼 터치 인식이 원활하게 되는 것을 가능하게 한다.

도 2는 본 발명의 일실시예에 따른 멀티 터치 인식 장치의 제어방법에 대한 제어흐름도이다.

도 2를 살펴보면, 먼저 제어부(30)는 디스플레이 패널(10)에 사용자의 터치가 입력됨에 따라 카메라부(20)에 의해 촬영된 영상을 입력 받는다(100). 이때, 카메라부(20)가 복수의 카메라로 이루어진 경우, 각 카메라에서 촬영된 영상들로 이루어진 1개의 전체 영상일 수 있다.

카메라부(20)에 의해 입력된 영상(이하 입력 영상)에는 여러 종류의 잡음이 포함되어 있다. 따라서 이러한 잡음들을 제거하기 위하여 제어부(30)는 입력 영상을 블러 필터링한다(102). 블러 필터링에 의해 입력 영상에 포함된 각종 잡음이 제거된다(도 3 및 도 4 참조). 이때, 도 3은 디스플레이 패널(10)에 다섯 손가락이 멀티 터치된 영상으로, 블러 필터링 전의 입력 영상을 나타낸 것이고, 도 4는 블러 필터링된 영상을 나타낸 것이다. 도 4에 도시된 블러 필터링된 영상은 후술하는 차영상을 구하기 위한 블록의 입력 영상이 된다.

블러 필터링 후 제어부(30)는 저장부(60)에 배경영상이 존재하는지 여부를 판단한다(104).

만약, 작동모드 104의 판단결과 저장부(60)에 배경영상이 존재하지 않으면(104에서의 '아니요'), 즉 시스템 시작 후 첫 번째 입력 영상인 경우에는 블러 필터링된 영상(Gk)을 배경 영상으로 저장한다(106).

블러 필터링된 영상을 배경 영상(B1)을 저장한 후 제어부(30)는 블랙 영상을 출력한다(108). 이 블랙 영상을 출력 후 첫 번째 턴이 종료되고, 두 번째 턴을 위해 작동모드 100으로 리턴한다. 이때, 제어부(30)는 출력된 영상을 근거로 사용자의 터치를 인식한다. 블랙 영상으로는 사용자의 터치를 인식할 수 없으므로 터치가 이루어지지 않은 것으로 판단한다.

한편, 작동모드 104의 판단결과 배경영상(Bk-1)이 존재하면, 블러 필터된 영상인 현재 영상(Gk)에서 사용자의 터치와 배경을 분리해 내기 위하여 현재 영상(Gk)과 배경 영상(Bk-1) 간의 차영상(Dk)을 산출한다(110). 이 차영상(Dk)는 현재 영상(Gk)에서 배경 영상(Bk-1)이 분리된 영상이다.

이 차영상(Dk)은 다음 식[1]과 같이 입력단의 현재 영상(Gk)과 저장부(60)에 저장된 배경 영상의 차를 통해 구해진다.

Dk(x,y) = Gk(x,y) - Bk(x,y) 식 [1]

여기서, Dk(x,y)는 차영상이고, Gk(x,y)는 현재 영상(블러 필터링된 영상)이고, Bk(x,y)는 배경 영상이다.

차영상((Dk)을 산출한 후 제어부(30)는 차영상(Dk)의 절대값 영상(abs(Dk)을 산출한다(112). 차영상에서 픽셀값들은 양의 값(+), 음의 값(-)을 모두 가질 수 있다. 차영상(Dk)의 절대값 영상(abs(Dk))은 음의 값(-)을 가진 픽셀값을 절대값으로 변환하여 양의 값(-)으로 변환한 것이다.

차영상(Dk)의 절대값 영상(abs(Dk)을 생성한 후 제어부(30)는 이 차영상(Dk)의 절대값 영상(abs(Dk))을 출력한다(114). 이때, 제어부(30)는 출력 영상인 차영상(Dk)의 절대값 영상(abs(Dk))을 근거로 사용자의 터치를 인식한다. 도 5는 차영상(Dk)의 절대값 영상(abs(Dk))을 나타낸 것으로, 블러 필터링된 영상(도 4 참조)에 대비하여 사용자의 멀티 터치가 뚜렷이 나타나므로, 멀티 터치 인식 성능이 향상되었음을 확인할 수 있다.

한편, 차영상(Dk)의 절대값 영상(abs(Dk))을 출력함과 함께 제어부(30)는 배경 갱신을 위하여 차영상(Dk)의 절대값 영상(abs(Dk))의 이진 영상(Hk)을 생성한다(116).

차영상(Dk)의 절대값 영상(abs(Dk))에 대한 이진화는 차영상(Dk)의 절대값 영상(abs(Dk))을 0과 1로 이분화시키는 과정이며, 이를 위해서는 이진화 기준값인 문턱값(Threshold)이 필요하게 된다.

문턱값이 낮은 경우에는 입력 오차까지 인식되어 터치 이외의 영상이 포함되는 문제가 발생하고, 높은 경우에는 감도가 떨어져 배경색과 유사한 터치를 인식하지 못하게 된다. 이 때문에 문턱값은 카메라의 입력 오차를 허용하는 범위 내에서 가장 높은 민감도를 가질 수 있다.

일반적으로 문턱값은 정해진 상수 값을 사용하지만, 본 발명의 일실시예에서는 상수값이 아닌 차영상(Dk)의 절대값 영상(abs(Dk))의 평균값과 표준편차를 이용해서 상황 변화에 능동적으로 대처할 수 있도록 한다.

문턱값은 다음 식 [2]에 의해 산출된다.

Th = Mean(I(.)) + alpha * std(I(.)) 식 [2]

이진 영상이 구해지면 현재의 데이터들을 조합하여 배경 갱신 과정이 이루어지게 된다. 즉, 새로운 배경영상을 구한 후 이 새로운 배경영상을 이용하여 저장부(60)에 저장된 배경영상을 갱신한다.

이진 영상(Hk)을 산출한 후 제어부(30)는 새로운 배경영상(Bk)을 산출한다(118).

새로운 배경영상은 다음 식 [3]에 의해 산출된다.

Bk(x,y) = Bk-1(x,y) + beta * Dk(x,y) 식 [3]

여기서, Bk(x,y)는 새로운 배경영상이고, Bk-1(x,y)는 이전 배경 영상이고, Dk(x,y)는 차영상이고, beta는 배경 갱신에 현재 영상에서 변화된 부분을 얼마나 반영할 것인지에 대한 가중치이다. 즉, 가중치 값이 크면 배경 갱신에 현재 영상에서 변화된 부분의 반영 비율이 커지는 것이고 가중치 값이 작으면 이와 반대로 반영 비율이 작아지는 것이다. 1보다 작은 값을 가지며, 차영상에서 변화량이 작은 픽셀들이 변화량이 큰 픽셀들보다 상대적으로 높은 beta 값을 가지도록 beta는 설정될 수 있다.

또한, beta 자체는 다음의 식 [4]에 의해 산출된다.

beta = a * (1-Hk(x,y)) + b * Hk(x,y) 식 [4]

위 식 [4]의 의미를 살펴보면 이진 영상의 값이 1인 경우(변화가 큰 경우)와 이진 영상의 값이 0인 경우(변화가 작거나 없는 경우)에 서로 다른 가중치를 주기 위함이다.

새로운 배경영상(Bk)를 생성한 후 제어부(30)는 이 새로운 배경영상(Bk)으로 저장부(60)에 저장된 이전 배경영상을 대체시켜 배경을 갱신한다(120). 이에 따라, 저장부(60)에는 새로운 배경영상이 저장된다. 이 새로운 배경영상은 다음 번 입력 영상에 대한 차영상을 산출하는 데 사용된다.

10 : 디스플레이 패널 20 : 카메라부
30 : 제어부 40 : 광원부
50 : 영상처리부 60 : 저장부

Claims

영상을 표시하는 디스플레이 패널;
상기 디스플레이 패널 상의 사용자의 멀티 터치 위치를 감지하기 위한 영상을 얻는 카메라부;
배경 영상을 저장하는 저장부; 및
상기 카메라부에 의해 얻은 영상이 입력되면 잡음 제거를 위해 블러 필터링하고, 상기 블러 필터링된 영상에서 상기 저장부에 저장된 배경 영상이 제거된 차영상을 산출하고, 상기 차영상의 픽셀값을 절대값화한 절대값 영상을 산출하고, 상기 절대값 영상에 기초하여 상기 사용자의 멀티 터치 위치를 인식하고, 상기 절대값 영상을 이진화하여 이진 영상을 산출하고, 상기 이진 영상 및 상기 차영상을 이용하여 새로운 배경 영상을 산출하고, 상기 새로운 배경 영상으로 상기 저장부에 저장된 배경 영상을 갱신하는 제어부를 포함하는 멀티 터치 인식 장치.
제1항에 있어서,
상기 제어부는 상기 절대값 영상을 출력하는 것을 더 포함하는 멀티 터치 인식 장치.
삭제
제1항에 있어서,
상기 제어부는 상기 이진 영상의 산출 시 문턱값을 다음의 식 [1]을 이용하여 산출하는 멀티 터치 인식 장치.
Th = Mean(I(.)) + alpha * std(I(.)) 식 [1]
여기서, Th는 문턱값이고, Mean(I(.))는 차영상의 절대값 영상에 대한 평균값이고, alpha는 영상의 픽셀 값들의 분포를 위한 가중치이고, std(I(.))는 차영상의 절대값 영상에 대한 표준편차이다.
제1항에 있어서,
상기 제어부는 상기 새로운 배경 영상을 다음의 식 [2]를 이용하여 산출하는 멀티 터치 인식 장치.
Bk(x,y) = Bk-1(x,y) + beta * Dk(x,y) 식 [2]
여기서, Bk(x,y)는 새로운 배경영상이고, Bk-1(x,y)는 이전 배경 영상이고, Dk(x,y)는 차영상이고, beta는 가중치이다.
제5항에 있어서,
상기 제어부는 상기 차영상에서 변화량이 작은 픽셀들이 변화량이 큰 픽셀들보다 상대적으로 높은 beta 값을 가지도록 상기 beta를 설정하는 멀티 터치 인식 장치.
제6항에 있어서,
상기 제어부는 상기 beta가 1보다 작은 값을 가지고, 상기 이진 영상의 값이 1인 경우와 0인 경우 서로 다른 가중치를 가지도록 설정하는 멀티 터치 인식 장치.
제7항에 있어서,
상기 제어부는 상기 beta를 다음의 식 [3]을 이용하여 산출하는 멀티 터치 인식 장치.
beta = a * (1-Hk(x,y)) + b * Hk(x,y) 식 [3]
여기서, Hk(x,y)는 이진 영상이고, a와 b는 이진 영상에 대한 가중치이다.
영상을 표시하는 디스플레이 패널에 마련되고 사용자의 멀티 터치 위치를 감지하기 위한 영상을 얻는 카메라부와 배경 영상을 저장하는 저장부를 가진 멀티 터치 인식 장치의 제어방법에 있어서,
상기 카메라부에 의해 얻은 영상이 입력되면 잡음 제거를 위해 블러 필터링하고;
상기 블러 필터링된 영상에서 상기 저장부에 저장된 배경 영상이 제거된 차영상을 산출하고;
상기 차영상의 픽셀값을 절대값화한 절대값 영상을 산출하고;
상기 절대값 영상에 기초하여 상기 사용자의 멀티 터치 위치를 인식하고;
상기 절대값 영상을 이진화하여 이진 영상을 산출하고;
상기 이진 영상 및 상기 차영상을 이용하여 새로운 배경 영상을 산출하고;
상기 새로운 배경 영상으로 상기 저장부에 저장된 배경 영상을 갱신하는 멀티 터치 인식 장치의 제어방법.
제9항에 있어서,
상기 절대값 영상을 출력하는 것을 더 포함하는 멀티 터치 인식 장치의 제어방법.
삭제
제9항에 있어서,
상기 이진 영상의 산출 시 문턱값을 다음의 식 [1]을 이용하여 산출하는 멀티 터치 인식 장치의 제어방법.
Th = Mean(I(.)) + alpha * std(I(.)) 식 [1]
여기서, Th는 문턱값이고, Mean(I(.))는 차영상의 절대값 영상에 대한 평균값이고, alpha는 영상의 픽셀 값들의 분포를 위한 가중치이고, std(I(.))는 차영상의 절대값 영상에 대한 표준편차이다.
제9항에 있어서,
상기 새로운 배경 영상을 다음의 식 [2]를 이용하여 산출하는 멀티 터치 인식 장치의 제어방법.
Bk(x,y) = Bk-1(x,y) + beta * Dk(x,y) 식 [2]
여기서, Bk(x,y)는 새로운 배경영상이고, Bk-1(x,y)는 이전 배경 영상이고, Dk(x,y)는 차영상이고, beta는 가중치이다.
제13항에 있어서,
상기 beta를 상기 차영상에서 변화량이 작은 픽셀들이 변화량이 큰 픽셀들보다 상대적으로 높은 beta 값을 가지도록 설정하는 멀티 터치 인식 장치의 제어방법.
제14항에 있어서,
상기 beta가 1보다 작은 값을 가지고, 상기 이진 영상의 값이 1인 경우와 0인 경우 서로 다른 가중치를 가지도록 설정하는 멀티 터치 인식 장치의 제어방법.
제15항에 있어서,
상기 beta를 다음의 식 [3]을 이용하여 산출하는 멀티 터치 인식 장치의 제어방법.
beta = a * (1-Hk(x,y)) + b * Hk(x,y) 식 [3]
여기서, Hk(x,y)는 이진 영상이고, a와 b는 이진 영상에 대한 가중치이다.