KR101897627B1

KR101897627B1 - 터치처리장치 및 이를 구비하는 디스플레이 모듈

Info

Publication number: KR101897627B1
Application number: KR1020170023730A
Authority: KR
Inventors: 김진헌; 윤준한; 윤종섭
Original assignee: 서경대학교 산학협력단
Priority date: 2017-02-22
Filing date: 2017-02-22
Publication date: 2018-09-12
Also published as: KR20180097072A

Abstract

본 발명은 시간지연을 최소화한 터치처리장치 및 이를 구비하는 디스플레이 모듈에 관한 것이다.
본 발명에서는 터치 모듈로부터 사용자가 현재 시각에 터치한 터치 패널의 위치인 터치픽셀위치와, 커서의 두께값 및 색상값를 입력받은 후, 다음 시각의 터치 위치를 예측한 예측된 터치 위치( touch(x,y) )을 산출한 후, 예측된 터치 위치( touch(x,y) )와 현재 시각에서 스캔 중인 픽셀의 위치인 현재스캔중 픽셀( Point(x, y) )을 입력받고, 예측된 터치 위치( touch(x,y) ), 커서의 두께값과 색상값을 입력받은 후, 이를 이용하여 RGB 데이터를 변환한 후 출력하는 오버레이 믹서를 포함하는 대화면 터치처리장치가 제공된다.
본 발명에 따른 터치처리장치를 포함하는 전자기기의 경우 영상처리를 터치처리장치에서 하드웨어적으로 처리하고 영상 메모리 이용 없이 바로 HDMI 인터페이스에 이용하여 디스플레이함으로써 지연시간을 줄일 수 있게 되었다.

Description

터치처리장치 및 이를 구비하는 디스플레이 모듈{TOUCH POSITION PROCESSING APPARATUS AND DISPLAY MODULE WITH THE SAME}

본 발명은 터치처리장치 및 이를 구비하는 디스플레이 모듈에 관한 것으로서, 보다 구체적으로는 터치 모듈로부터 터치 위치 좌표와 표시커서의 색상 및 형상 정보를 받은 후 하드웨어 연산을 이용하여 빠른 시간에 디스플레이 모듈에 표시하는 터치처리장치 및 이를 구비하는 디스플레이 모듈에 관한 것이다.

TV 등의 디스플레이 장치는 해상도가 높아지고 크기도 커지고 있는 실정이다. 예를 들어 4K 해상도를 갖는 50인치 이상의 TV 등이 제품화되고 있다. 일반적으로 40인치 이상되는 디스플레이 장치에서는 직접 터치 방식보다는 간접 터치 방식으로 터치 위치를 입력받고 있는 것이 대부분이다. 직접 터치 방식은 디스플레이 화면 전면에 터치 모듈을 부착하고, 시청자가 직접 손으로 터치 모듈을 터치하는 방식을 의미한다. 이에 비해 간접 터치 방식은 대표적인 예로서 리모콘을 이용한 터치 제어를 들 수 있다. 리모콘에 상하좌우 방향의 화살표 버튼을 제공하고 이를 이용하여 커서의 위치를 조절하도록 구현되는 방식이 간접 터치 방식의 하나이다.

그런데 대형 화면의 경우도 필요에 따라 직접 입력방식을 이용하여야 할 필요가 있다. 대형 화면 바로 앞에서 회의 등을 진행하는 경우 시청자가 직접 화면을 터치하면서 대화하는 것이 보다 직감적이기 때문이다. 그런데 대형 화면에서 직접 터치 방식을 적용할 경우 터치 위치를 감지하고 이를 디스플레이 패널에 표시하는 처리를 소프트웨어적으로만 수행하면 터치한 궤적을 화면에 표시하는데 필요한 소프트웨어 처리 시간이 많이 소요되어 사용자는 시간지연(time lag) 현상을 느끼는 것으로 알려져 있다. 아래 비특허문헌 2에 의하면 직접 터치 방식의 경우 드래깅은 6ms, 단순 탭핑은 24ms 이하의 처리 시간이 소용될 때 시간지연을 못 느낀다고 한다. 물론 터치에서 발생하는 이러한 지연 문제는 대화면 디스플레이 장치를 터치할 때뿐만 아니라 높은 해상도를 갖는 소형 화면에서는 중요한 이슈가 부각되고 있다.

도 1은 종래 소프트웨어 방식으로 터치를 인식을 처리하는 경우에 대한 처리 흐름을 도시한 것이다. 터치 패널의 터치 위치는 호스트 터치 드라이버에 보고되고(2~3ms), 다시 이벤트 매니지먼트를 거쳐(1~17ms), 어플리케이션 프로그램에 보고된다. 어플리케이션 프로그램은 그래픽 프레임워크에 그래픽 관련 명령을 보내고(40ms), 이를 호스트 디스플레이 드라이버(2~3m)의 제어를 통해 디스플레이 패널에 디스플레이 된다(RAM이 없을 경우 1~17ms, 램을 갖는 경우 17~34ms). 따라서 시작(start)부터 종료(End)까지 소요되는 각 단계의 최소 시간을 전부 합하면 1+2+1+40+2+1=47ms가 소요되므로 소프트웨어 처리만으로는 시간지연을 제거하지 못함을 알 수 있다. 도 1에 제시된 종래 소프트웨어 방식의 처리에서 어플리케이션 프로그램은 사용자로부터 표시할 커서의 그래픽 옵션 정보(점의 크기, 색깔 등)를 입력받고, 이와 더불어 터치 패널로부터 입력되는 터치 좌표에 대한 영상처리를 수행하므로 상당한 시간이 사용하게 된다.

이러한 시간지연을 하드웨어적으로 제거하자는 시도가 있었다. 대표적으로 비특허문헌 1은 지연시간을 최소화한 터치스크린 시스템에 관한 기술을 공개하였다. 재생률(Refresh rate)이 1Khz인 터치센서를 통해 터치 정보를 받고, 보드 레이트(Baud rate)가 2Mbps인 UART 통신을 통해 해당 터치 좌표를 FPGA로 전달해주면, FPGA의 지연시간 별로 손가락의 움직을 관찰하는　지연 블록(Latency Block)을 거쳐 디스플레이되는 고사양의 시스템에 관한 기술이 공개되었다. 하지만 비특허문헌 1에 제시된 시스템을 구현하기 위해서는 빠른 반응 속도의 전자부품을 사용하여야 하므로 요구되는 주파수가 지나치게 높아서 60Hz~120Hz를 사용하는 민수 제품으로 활용하기에는 문제가 있었다.

1. 대한민국 공개특허 제10-2016-0134134호 (2016.11.23. 공개)

1. "Designing for Low-Latency Direct-Touch Input", Albert Ng., et al., Proceeding UIST '12 Proceedings of the 25th annual ACM symposium on User interface software and technology Pages 453-464, October 07 - 10, 2012. 2. "How Much Faster is Fast Enough? User Perception of Latency & Latency Improvements in Direct and Indirect Touch", Jonathan Deber., et al., CHI '15 Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems Pages 1827-1836, April 18 - 23, 2015

본 발명은 상기와 같은 문제점을 해결하고자 하는 것으로서, 사용자가 시간지연을 느끼지 않을 정도로 빠르게 터치 좌표를 표시할 수 있는 터치처리장치 및 이를 구비하는 디스플레이 모듈을 제시하는 것을 목적으로 한다.

본 발명의 상기 목적은 터치 모듈과 디스플레이 모듈 사이에 구비되며, 사용자가 터치하는 위치를 디스플레이 모듈에 표시하도록 처리하는 터치처리장치로서, 터치 모듈로부터 사용자가 현재 시각에 터치한 터치 패널의 위치인 터치픽셀위치(Position value)와, 디스플레이 모듈에 표시되는 커서의 두께값 및 색상값을 입력받은 후, 이전 시각의 터치픽셀위치와 현재 시각의 터치픽셀위치로부터 다음 시각의 터치 위치를 예측한 예측된 터치 위치( touch(x,y) )를 산출한 후, 예측된 터치 위치( touch(x,y) ), 커서의 두께값과 색상값을 출력하는 마이크로 콘트롤러 및 연산 로직 및 현재 시각에서 스캔 중인 픽셀의 위치인 현재스캔중 픽셀( Point(x, y) )을 입력받고, 마이크로 콘트롤러 및 연산 로직으로부터 예측된 터치 위치( touch(x,y) ), 커서의 두께값과 색상값을 입력받은 후, 커서의 두께값 및 색상값을 이용하여 RGB 데이터를 변환한 후 출력하는 오버레이 믹서를 포함하는 것을 특징으로 하는 터치처리장치에 의해서 달성 가능하다.

이러한 터치처리장치에는 외부로부터 HDMI 신호를 입력받고, 이를 RGB 데이터와 동기화(sync) 신호로 변환하여 출력하는 HDMI 디코더 및 HDMI 디코더로부터 출력되는 RGB 데이터와 동기화(sync) 신호를 이용하여 현시점에서 디스플레이해야 하는 픽셀의 위치인 현재스캔중¹1 현재스캔중 => 현재 위치를 스캔 중. 다른 곳에서도 띄어쓰기. 맞춤법 시정할 곳 많음. 픽셀( Point(x, y) )를 생성하고, RGB 데이터, 동기화(sync) 신호 및 현재스캔중 픽셀( Point(x, y) )을 출력하는 화소 위치 계수기를 더 포함하는 것이 좋으며, 오버레이 믹서는 화소 위치 계수기²2 픽셀 로케이션 카운터 -> 화소 위치 계수기. 외래어 사용이 허용된다면 무방.로부터 상기 현재스캔중 픽셀( Point(x, y) ), RGB 데이터 및 동기화(sync) 신호를 입력받는 것이 바람직하다. 더욱 바람직하게는 오버레이 믹서로부터 변환된 RGB 데이터와 동기화 신호를 입력받은 후 HDMI 신호로 인코딩하는 HDMI 인코더를 더 포함하는 것이 좋다.

종래 소프트웨어적인 처리 방식의 경우 터치 전용 소프트웨어 내에서 영상 처리 및 영상 메모리에 기록까지 모두 처리함으로써 시간지연이 길었다. 이에 비해 본 발명에 따른 터치처리장치 및 이를 구비하는 디스플레이 모듈의 경우 영상처리를 터치처리장치에서 하드웨어적으로 처리하고 영상 메모리 이용 없이 바로 HDMI 인터페이스에 관여하여 디스플레이함으로써 지연시간을 줄일 수 있게 되었다. 또한 향후 도시할 커서의 위치를 터치처리장치에 구비되는 마이크로 콘트롤러 및 연산 로직을 이용해 미리 예측함으로써 디스플레이 상에 지연시간을 대폭 줄인 것과 같은 효과를 보게 한다.

도 1은 종래 소프트웨어 방식으로 터치를 인식을 처리하는 경우에 대한 처리 흐름을 도시한 흐름도.
도 2는 본 발명에 따른 터치처리장치를 이용한 터치 인식 단계를 도 1과 비교하여 설명하는 흐름도.
도 3은 본 발명에 따른 일 실시예의 터치처리장치를 포함한 전자기기의 구성도.
도 4는 본 발명에 따른 터치위치 예측 방법을 설명하는 설명도.
도 5는 본 발명에 따른 터치처리장치를 구성하는 오버레이 믹서의 구성도.
도 6은 픽셀비교모듈(37-1)에서 처리되는 흐름을 도시한 흐름도.
도 7은 그라데이션 RGB 믹서에서 처리되는 흐름을 도시한 흐름도.
도 8은 본 발명에 따른 터치처리 기능을 제공하는 터치 모듈 및 디스플레이 모듈의 블록도.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.

이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

먼저 본 발명에서 의미하는 디스플레이 모듈이라는 것은 HDMI 입력단자와 디스플레이 패널을 구비하는 전자기기를 의미한다. 통상의 디스플레이 모듈에는 전면에 일체의 구성으로 형성되는 터치 모듈을 구비하고 있는 경우가 대부분이나 본 발명을 설명함에 있어서 설명의 편의상 터치 모듈은 별도의 구성인 것으로 설명하기로 한다. 따라서 본 발명에서 정의하는 디스플레이 모듈에는 텔레비젼, 스마트폰, 태블릿, 퍼스널 컴퓨터의 모니터 및 퍼스널 컴퓨터 등과 같이 내부에 연산처리모듈 및 메모리를 포함하는 전자기기도 포함하는 것으로 이해되어져야 한다.

도 2는 본 발명에 따른 터치처리장치를 이용한 터치 인식 단계를 도 1과 비교하여 설명하는 흐름도이다. 이벤트 매니지먼트까지의 단계는 도 1과 동일하므로 설명을 생략하기로 한다. 도 2에 제시된 본 발명에서는 터치 전용 프로그램(APP)은 도 1에 제시된 어플리케이션 프로그램과는 상이하게 사용자로부터 커서에 관한 색상값(Color Value)과 두께값(Thickness Value)을 입력받고, 이를 디지털 신호로 변환하여 마이크로 콘트롤러 및 연산 로직(35)에 전달하고 호스트 터치 드라이버(21)로부터 입력되는 터치픽셀위치(Position value)를 마이크로 콘트롤러 및 연산 로직(35)에 단순히 전달하는 기능을 하며, 그 외 도 1에 제시된 어플리케이션 프로그램이 수행하는 소프트웨어적인 그래픽 처리는 수행하지 않는다. 실제 구현상으로 터치 전용 프로그램(APP)는 메모리를 갖는 마이크로 프로세서 등에 저장되어 사용자의 입력을 터치처리장치(30)로 전달하는 UI(User Interface) 기능을 수행하는 처리 모듈이다. 본 발명에서는 터치처리장치를 하드웨어적으로 그래픽 처리한 후, 터치 패널에 커서를 표시하게 된다. 도 2에 제시된 본 발명에 따르면 사용자가 터치 패널을 터치한 위치를 터치 패널에 표시할 때까지 걸리는 최소 시간은 1+2+1+1+1+1=7ms 에서 수행할 수 있음을 알 수 있다. 도 1과 비교할 때 터치 드라이버 단계가 1ms가 길어지는데 이는 HDMI 디코딩을 다시 수행하기 때문이다.

도 3은 본 발명에 따른 일 실시예의 터치처리장치를 포함한 전자기기의 구성도이다. 전자기기는 터치 모듈(20), 터치처리장치(30, 이하, '터치처리장치'라고도 한다) 및 디스플레이 모듈(50)로 구성되며, 그 외의 장치가 부가되지만 본 발명과 관련성이 낮으므로 설명을 생략하였다. 터치처리장치(30)는 터치 모듈(20)과 디스플레이 모듈(50) 사이에 셋탑(SET TOP) 박스 형태로 설치되는 장치이다. 디스플레이 모듈(50)은 통상적으로 외부에서 입력되는 HDMI 신호를 직접 입력받은 후 이를 비디오 신호로 변환한 후 디스플레이 패널에 표시하는 소자이다. 본 발명에 따른 터치처리장치(30)를 사용할 경우 외부에서 입력되는 HDMI 신호는 디스플레이 모듈(50)로 직접 입력되는 대신 터치처리장치(30)로 입력되고, 터치처리장치(30)로부터 터치 위치를 반영한 HDMI 신호를 입력받게 된다.

터치 모듈(20)은 터치 패널(10), 호스트 터치 드라이버(21) 및 터치 전용 프로그램(25)으로 구성된다. 터치 패널(10)은 얇은 두께를 갖는 필름 형태로 디스플레이 패널 전면에 설치된다. 호스트 터치 드라이버(21)는 터치 패널(10) 제조자가 제공하는 드라이버 프로그램이며, 터치 전용 프로그램(25)은 호스트 터치 드라이버(21)로부터 터치 위치를 입력받고 사용자로부터 표시할 커서의 그래픽 옵션 정보(점의 크기, 색깔 등)를 입력받은 후 이를 시스템이 사용하는 그래픽 정보로 변환한 후 터치처리장치(30)로 전달하는 역할만을 수행하며 종래 기술과 같은 소프트웨어적인 처리를 수행하지 않는다. 호스트 터치 드라이버(21) 및 터치 전용 프로그램(25)은 전자기기의 도면상에 도시되지 않은 모듈에 포함될 수 있다. 예를 들어, 전자기기를 퍼스널 컴퓨터라고 가정하면, 호스트 터치 드라이버(21) 및 터치 전용 프로그램(25)은 퍼스널 컴퓨터의 본체 내에 구비되는 메인 보드의 메모리에 구비될 수 있다. 터치 패널(21)에서 터치되는 위치를 터치픽셀위치(Position value)라 칭하고, 함수로는 'Position(x,y)'로 표기하기로 한다.

터치처리장치(30)는 HDMI 디코더(31), 화소 위치 계수기(33), 마이크로 콘트롤러 및 연산 로직(35), 오버레이 믹서(37) 및 HDMI 인코더(39)로 구성된다. HDMI 디코더(31)는 HDMI 신호를 입력받은 후 RGB 데이터(RGB Data)와 동기화 신호(Sync Signal)로 출력하는 회로모듈이다. 화소 위치 계수기(33)는 출력 해상도 픽셀 수를 픽셀 클럭에 맞추어 카운트하는 회로 모듈이다. 해당 카운트(x,y)를 현재스캔중 픽셀이라 부르고, 함수로는 Point(x, y)로 표시하기로 한다. 화소 위치 계수기(33)를 달리 표현하면 현재 픽셀을 스캔하는 모듈이라 할 수 있다.

마이크로 콘트롤러 및 연산 로직(35)은 터치 전용 프로그램(25)으로부터 Position(x,y)와 커서의 그래픽 옵션 정보(점의 크기, 색깔 등)를 입력받은 후, 현재 단계(t시각)의 Position(x,y)와 기 저장된 전 단계(t-1시각)의 Position(x-1,y-1) 위치 정보를 이용하여 다음 단계(t+1시각)의 Position(x+1,y+1) 위치 정보를 예측하고, 예측된 터치 위치 Position(x+1,y+1)와 커서의 그래픽 옵션 정보(점의 크기, 색깔 등)를 오버레이 믹서(37)에 전달한다. 이후 설명에서는 편의상 마이크로 콘트롤러 및 연산 로직(35)에서 예측된 터치 위치 Position(x+1,y+1)를 touch(x,y)라 부르기로 한다.

현재 단계(t시각)의 터치 위치에서 다음 단계의 예측된 터치 위치 touch(x,y)를 예측하는 방법은 다양한 방식을 적용할 수 있다. 본 발명에서 적용한 방법에 대해 간략하게 설명하기로 한다. 도 4는 본 발명에 따른 터치위치 예측 방법을 설명하는 설명도이다.

사용자는 (t)시각의 터치 좌표 정보를 보냈지만, 처리 지연시간 때문에 디스플레이 상에 나타날 때는 이미 손가락은 (t+1)시각에 해당하는 좌표를 찍고 있을 것이다. 만약, (t+1)시각의 터치 좌표를 예측하여 하드웨어에서 미리 그려준다면, 시각적으로 마치 손가락이 찍는 대로 바로 디스플레이 상에 나타날 것처럼 보일 것이다. 본 발명에서는 (t+1) = ((t) - (t-1)) * 4 를 이용해 실제 디스플레이를 해보았더니 마치 손에 붙은 것처럼 커서가 터치 패널을 터치하는 손가락을 지연없이 나타낼 수 있는 효과를 볼 수 있었다.

도 5는 본 발명에 따른 터치처리장치를 구성하는 오버레이 믹서의 일 실시예이다. 오버레이 믹서(37)는 픽셀비교모듈(37-1)과 그라데이션 RGB 먹스(37-2)로 구성된다. 도 6은 픽셀비교모듈(37-1)에서 처리되는 흐름을 도시한 흐름도이다. 도 5 및 도 6을 이용하여 오버레이 믹서의 동작을 설명한다.

픽셀비교모듈(37-1)은 마이크로 콘트롤러 및 연산 로직(35)으로부터 입력되는 예측된 터치 위치 Touch(x,y)와 커서 두께값을 이용하여 커서가 표시되어야 하는 영역픽셀(이를 함수로 Boundary(x,y)로 표시함)을 산출한다. 커서 형상이 원형일 경우에는 Boundary(x,y)는 Touch(x,y)을 중심으로 일정한 반경에 위치하는 픽셀로 정의한다. 커서 형상이 사각형일 경우에는 Boundary(x,y)는 Touch(x,y)을 중심으로 가로 방향 및 세로 방향으로 일정한 거리에 위치하는 픽셀로 정의한다. 다음으로 화소 위치 계수기(33)로부터 입력되는 현재스캔중 픽셀 Point(x,y)이 Boundary(x,y)에 속하는지 여부를 판별한다. 판별 결과가 참일 경우, 선택신호(sel)를 'HIGH'로 출력하고, 거짓일 경우에는 선택신호(sel)를 'LOW'로 출력한다. 화소 위치 계수기(33)로부터 입력되는 RGB 데이터는 그라데이션 RGB 먹스(37-2)로 바이패스된다.

도 7은 그라데이션 RGB 믹서에서 처리되는 흐름을 도시한 흐름도이다. 그라데이션 RGB 믹서(37-2)는 픽셀비교모듈(37-1)로부터 RGB 데이터(RGB Data)와 Sel 선택신호를 입력받고, 마이크로 콘트롤러 및 연산 로직(35)으로부터 색상값을 입력받는다. 입력된 Sel 선택신호가 HIGH 인 경우에는 색상값으로 RGB 데이터(RGB Data)를 교체한 후, HDMI 인코더(39)로 전송하고, HIGH 가 아닌 경우에는 픽셀비교모듈(37-1)로부터 전송받은 RGB 데이터(RGB Data)를 그대로 HDMI 인코더(39)로 전송한다.

HDMI 인코더(39)는 오버레이 믹서(37)로부터 출력되는 RGB 데이터(RGB Data)와 동기화 신호(Sync Signal)를 입력받은 후 이를 HDMI 신호로 인코딩한 후 디스플레이 모듈(50)로 전송한다.

지금까지는 별도의 셋탑 박스 형태로 제공되는 터치처리장치에 대해 기술하였다. 본 발명에 따른 터치처리장치를 디스플레이 모듈에 포함시켜 구성할 수도 있으며 이에 대해 설명하기로 한다. 도 8은 본 발명에 따른 터치처리 기능을 제공하는 터치 모듈 및 디스플레이 모듈의 블록도이다. 도 8의 예시에서 터치모듈(20)은 터치 패널(10)만으로 구비되는 것으로 설명하였으며, 터치 드라이버(21)와 터치 전용 프로그램(25)는 디스플레이 모듈(50)에 별도로 구비되는 것으로 도시되었으나 양자는 모두 프로그램 형태로 해당 기능을 제공하는 것이므로 실제 구현시에는 마이크로 콘트롤러 및 연산 로직(35)에서 해당 기능을 수행하도록 구성할 수 있음은 물론이다. 디스플레이 모듈(50)에 구비되는 HDMI 입력포트(51), HDMI(53) 디코더, 프레임 레이트 변환기(frame rate converter, 55), 구동칩(DDI, Display Driving Interface) 및 디스플레이 패널(59)은 종래 디스플레이 모듈에서도 구비되는 구성이므로 설명을 생략하기로 한다. 프레임 레이트 변환기(55)의 경우는 빠른 클럭으로 동작할 필요가 없을 경우에는 생략되는 구성이다. 예를 들어 60Hz로 입력되는 RGB 신호를 120Hz로 변환하는 회로 구성이다.

또한, 도 5에 제시된 구성 중에서 호스트 터치 드라이버(21), 터치 전용 프로그램(25), 픽셀 로케이션 카운터(33), 마이크로 콘트롤러 및 연산 로직(35) 및 오버레이 믹서(37)의 동작은 도 3에 도시된 동일 참조 번호를 구성과 동일하므로 생략하는 것으로 한다.

실제 HDMI 신호에는 오디오 신호도 포함되어 있으나 지금까지 본 발명을 기술하면서 오디오 신호에 대한 설명은 본 발명의 특징과는 관련이 없으므로 누락하였음을 유의하기 바란다.

*** 실험예 ***

27인치 터치패널, 개인용 컴퓨터, FPGA 보드 및 27인치 모니터를 이용하여 실험을 진행하였다. 개인용 컴퓨터에는 도 3에 제시된 구성 중에서 호스트 터치 드라이버(21) 및 터치 전용 프로그램(25)에 대응되는 구성이 구비되며, 터치패널과 USB 연결선을 통해 연결하였다. 터치 전용 프로그램은 자체적으로 프로그래밍하여 구현하였다. FPGA 보드는 도 3에 제시된 터치처리장치에 대응되는 구성이며, 개인용 컴퓨터와 UART 단자와 HDMI 신호선을 통해 연결하였다. 즉, FPGA는 퍼스널 컴퓨터를 통해 HDMI 신호를 입력받는 방식으로 실험하였다. 모니터는 도 3에 제시된 구성 중에서 디스플레이 모듈(50)에 해당되는 구성이며, HDMI 연결선을 통해 FPGA 보드와 연결되도록 구현하였다. 단순 탭핑을 실험한 결과, 터치 패널 -> 개인용 컴퓨터 과정이 14ms 소요되었으며, 개인용 컴퓨터 -> FPGA 보드 과정이 0.7ms 소요되었으며, FPGA 보드 내 처리시간 및 모니터에 디스플레이되는데 까지 걸리는 시간 1ms 미만이 소요되었다. 따라서, 전체 응답 시간은 15.7ms가 소요되어 사용자가 시간지연을 느끼지 못하는 수준에 도달할 수 있음을 보였다.

본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하였다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

10: 터치 패널 20: 터치 모듈
21: 호스트 터치 드라이버 25: 터치 전용 프로그램
30: 터치처리장치 31, 53: HDMI 디코더
33: 픽셀 로케이션 카운터
35: 마이크로 콘트롤러 및 연산 로직
37: 오버레이 믹서 37-1: 픽셀비교모듈
37-2: 그라데이션 RGB 먹서 39: HDMI 인코더
50: 디스플레이 모듈 51: HDMI 입력포트
55: 프레임 레이트 변환기 57: 구동칩

Claims

삭제
터치 모듈과 디스플레이 모듈 사이에 구비되며, 사용자가 터치하는 위치를 디스플레이 모듈에 표시하도록 처리하는 터치처리장치로서,
상기 터치 모듈로부터 사용자가 현재 시각에 터치한 터치 패널의 위치인 터치픽셀위치(Position value)와, 디스플레이 모듈에 표시되는 커서의 두께값(Thickness Value) 및 색상값(Color Value)을 입력받은 후, 이전 시각의 터치픽셀위치과 상기 현재 시각의 터치픽셀위치로부터 다음 시각의 터치 위치를 예측한 예측된 터치 위치( touch(x,y) )를 산출한 후, 상기 예측된 터치 위치(touch(x,y) ), 상기 커서의 두께값과 색상값을 출력하는 마이크로 콘트롤러 및 연산 로직과,
현재 시각에서 스캔 중인 픽셀의 위치인 현재스캔중 픽셀( Point(x, y) )을 입력받고, 상기 마이크로 콘트롤러 및 연산 로직으로부터 상기 예측된 터치 위치( touch(x,y) ), 상기 커서의 두께값과 색상값을 입력받은 후, 상기 커서의 두께값 및 색상값을 이용하여 RGB 데이터를 변환한 후 출력하는 오버레이 믹서와,
외부로부터 HDMI 신호를 입력받고, 이를 RGB 데이터와 동기화 (sync) 신호로 변환하여 출력하는 HDMI 디코더 및
상기 HDMI 디코더로부터 출력되는 상기 RGB 데이터와 상기 동기화(sync) 신호를 이용하여 현시점에서 디스플레이해야 하는 픽셀의 위치인 현재스캔중 픽셀( Point(x, y) )를 생성하고, 상기 RGB 데이터, 상기 동기화(sync) 신호 및 현재스캔중 픽셀( Point(x, y) )을 출력하는 픽셀 로케이션 카운터를 더 포함하고,
상기 오버레이 믹서는 상기 픽셀 로케이션 카운터로부터 상기 현재스캔중 픽셀( Point(x, y) ), 상기 RGB 데이터 및 상기 동기화(sync) 신호를 입력받아 비디오 메모리를 이용함이 없이 터치 처리를 수행하는 것을 특징으로 하는 터치처리장치.
제2항에 있어서,
상기 오버레이 믹서로부터 변환된 RGB 데이터와 동기화 신호를 입력받은 후 HDMI 신호로 인코딩하는 HDMI 인코더를 더 포함하는 것을 특징으로 하는 터치처리장치.
제3항에 있어서,
상기 터치처리장치는 셋탑 박스 형태로 구비되는 것을 특징으로 하는 터치처리장치.
삭제
터치모듈로부터 사용자가 현재 시각에 터치한 터치 패널의 위치인 터치픽셀위치(Position value)를 입력받고, 또한 외부에서 입력되는 HDMI 신호를 입력받는 HDMI 입력포트와, 상기 HDMI 입력포트를 통해 입력되는 HDMI 신호를 RGB 신호와 동기화 신호로 변환하는 HDMI 디코더와, 상기 RGB 신호로 이미지를 구현하는 디스플레이 패널을 구비하는 디스플레이 모듈에 있어서,
상기 터치픽셀위치, 커서의 두께값(Thickness Value) 및 색상값(Color Value)을 입력받은 후, 이전 시각의 터치픽셀위치과 상기 현재 시각의 터치픽셀위치로부터 다음 시각의 터치 위치를 예측한 예측된 터치 위치( touch(x,y) )를 산출한 후, 상기 예측된 터치 위치 (touch(x,y) ), 상기 커서의 두께값과 색상값을 출력하는 마이크로 콘트롤러 및 연산 로직과,
현재 시각에서 스캔 중인 픽셀의 위치인 현재스캔중 픽셀( Point(x, y) )을 입력받고, 상기 마이크로 콘트롤러 및 연산 로직으로부터 상기 예측된 터치 위치( touch(x,y) ), 상기 커서의 두께값과 색상값을 입력받은 후, 상기 커서의 두께값 및 색상값을 이용하여 RGB 데이터를 변환한 후 출력하는 오버레이 믹서와,
상기 HDMI 디코더로부터 출력되는 상기 RGB 데이터와 상기 동기화(sync) 신호를 이용하여 현시점에서 디스플레이해야 하는 픽셀의 위치인 현재스캔중 픽셀( Point(x, y) )를 생성하고, 상기 RGB 데이터, 상기 동기화(sync) 신호 및 현재스캔중 픽셀( Point(x, y) )을 출력하는 픽셀 로케이션 카운터를 포함하고,
상기 오버레이 믹서는 상기 픽셀 로케이션 카운터로부터 상기 현재스캔중 픽셀( Point(x, y) ), 상기 RGB 데이터 및 상기 동기화(sync) 신호를 입력받아 비디오 메모리를 이용함이 없이 터치 처리를 수행하는 것을 특징으로 하는 디스플레이 모듈.