KR101159246B1 - Lcd 기반의 테이블탑 인터페이스 제공 시스템 및 그 방법 - Google Patents

Abstract

본 발명은 LCD 기반의 테이블탑 인터페이스 제공 시스템 및 그 방법에 관한 것으로서, 사용자의 터치신호를 FTIR 입력방식 및 LLP 입력방식으로 입력받는 테이블탑 입력장치; 테이블탑 입력장치 하부에 구비되어 입력장치로부터 발생된 적외선 빛을 통과시키고, 인식장치에 의해 인식된 터치 포인트에 대응하는 컨텐츠정보를 디스플레이하는 테이블탑 출력장치; 테이블탑 출력장치 하부에 구비되어 테이블탑 입력장치에 의해 산란되어 입력장치 하부에 구비된 출력장치를 통과하는 적외선 빛을 터치이미지 데이터로 생성하여 사용자의 터치에 따른 터치 포인트를 인식하는 테이블탑 인식장치; 및 테이블탑 인식장치로부터 인가받은 터치 포인트 정보 각각과 대응하는 컨텐츠정보를 컨테츠 클라이언트로 전송하는 컨텐츠서버;를 포함한다.
상기와 같은 본 발명에 따르면, 복수개의 LCD 패널에 적외선이 통과하도록 구성하고, 멀티터치 입력방식인 FTIR과 LLP를 결합하여 사용자의 터치 입력에 적외선의 발광을 제공함으로써, 넓고 얇은 형태의 출력시스템을 구성함은 물론, 높은 해상도와 화질을 제공하는 테이블탑 디스플레이를 구현하고, 멀티카메라와 광학설계를 통한 인식시스템의 구현함으로써, 테이블탑 인터페이스의 박형화 및 대형화를 이루었고, 터치인식과 콘텐츠 연동을 위한 미들웨어를 제공하여 인식시스템의 유연성과 확장성을 제공하는 효과가 있다.

Description

LCD 기반의 테이블탑 인터페이스 제공 시스템 및 그 방법{A TABLETOP INTERFACE SYSTEM BASED ON LCD AND IT'S METHOD}

본 발명은 LCD 기반의 테이블탑 인터페이스 제공 시스템 및 그 방법에 관한 것으로서, 더욱 상세하게는 복수개의 LCD 패널에 적외선이 통과하도록 구성하고, 복수개의 카메라를 이용한 인식시스템 구조를 설계하여 전체 시스템의 박형화 및 대형화를 가능하게 하고, 멀티터치 입력방식인 FTIR(Frustrated Total Internal Reflection)과 LLP(Laser Light Plane)를 결합하여 사용자의 터치 입력의 질을 향상시키는 기술에 관한 것이다.

터치인터페이스(Touch Interface)는 복잡하고 바쁜 삶을 살아가는 현대인들의 일상 속에서 사용자들의 편리함을 위해 다양한 부분에서 활용되고 있는 인터페이스이다.

터치 인터페이스는 사용자의 손에 의해 터치입력을 제공함으로써 컴퓨팅 환경에 익숙하지 않은 사용자들도 누구나 쉽게 사용할 수 있도록 구성된 것이 특징이다. 또한 스크린 자체가 터치의 입력장치로 인식되어 사용자들은 키보드나 마우스 등의 전통적인 입력방식에서 벗어나 보다 직관적인 방법으로 디지털 정보들을 조작하고 제어하는 것이 가능한 장점을 지닌다.

이러한 터치 인터페이스는 은행 ATM, 지하철의 카드충전기, 음식점의 주문계산기 등을 비롯하여 Tablet PC, PDA, PMP(Portable Multimedia Player), Smart Phone, 핸드폰, 그리고 가정의 인터폰, 냉장고, 주방컨트롤러 등에 이르기까지 우리의 주변 곳곳에서 삶의 질을 향상 시키며 많은 분야에서 사용되고 있다.

최근 활발한 연구로 주목을 받고 있는 터치기반의 테이블탑 인터페이스는 이러한 터치 인터페이스 중에 하나로 일반적으로 넓은 터치 영역을 제공하며 다수의 사용자들이 동시에 여러 개의 작업을 하는 것을 가능하게 해준다.

따라서 사용자들 간에 공동작업 및 협업작업이 가능하여 가정용 테이블뿐만 아니라 회의용, 전시용 테이블 등 다양한 분야에서 사용되고 있다. 대표적인 예로는 최초의 테이블탑 인터페이스인 DigitalDesk를 비롯하여, Mitsubishi의 DiamondTouch, 그리고 도 1에 도시된 바와 같은 Microsoft사의 Surface등이 있다.

최근에는 이러한 테이블탑 인터페이스의 본격적인 상용화가 진행되고 있으며, 각종 몰(mall)이나 전시장, 레스토랑 등에 설치되어 상품 홍보 및 정보 검색 등의 용도로 사용되고 있는 추세이다.

또한, 사용자와 디지털 정보 간 직접적인 인터렉션이 가능하므로 컴퓨팅 환경을 처음 접하는 사용자들의 참여를 적극적으로 유도할 수 있는 장점을 지닌다. 이러한 이유로 테이블탑 인터페이스는 컴퓨터를 필요로 하는 전문적 작업뿐만 아니라 게임, 엔터테인먼트(Entertainment), 교육적인 수단으로서 에까지 다양한 도구로서의 활용을 가능하게 한다.

그래서 키보드와 마우스 같은 전통적인 인터페이스에 익숙하지 않은 노인이나 어린이를 위한 교육용 에듀테인먼트(Edutainment)콘텐츠를 테이블탑 인터페이스에 적용하는 문제에 대한 연구도 이루어지고 있다.

이처럼 멀티터치 테이블탑 인터페이스의 목적은 테이블 위에서 디지털 정보들의 조작과 공유를 가능하게 하고, 이를 통해 다수의 사용자들 간 공동작업 또는 협업작업 시 작업의 성능과 효율을 높여주는 것이라고 할 수 있다.

도 2는 일상생활 속 테이블 위에서 작업을 하는 모습을 보여준다. 테이블의 구조는 그 목적에 따라 여러 가지 형태가 존재하지만 여러 사용자가 함께 편하게 작업을 하는 용도의 테이블일 경우 앉아있을 수 있는 형태의 테이블 구조를 가지게 될 것이다. 이러한 구조는 사용자들에게 편안한 사용 환경을 제공해주며 오랜 시간의 작업도 가능하게 해준다. 또한 테이블은 그 자체가 가구로서의 역할도 담당하므로 최근에는 좀 더 편리하면서 다양한 기능을 제공해 줄 수 있는 형태로 발전해 나가고 있다.

그러나, 기존의 개발된 멀티터치 테이블탑 인터페이스의 구조를 살펴보면 대부분이 실제 테이블로서 사용하기에는 상당히 불편한 구조로 되어있다. 현재까지 가장 성공한 케이스로 꼽히는 Microsoft의 Surface[Mssuf]의 경우에도 테이블 아래의 공간이 막혀있는 구조를 가짐으로써, 사람들로 하여금 서서 작업을 하게 하거나, 앉아서 작업을 하여도 불편한 자세로 앉아있게 하여 오랫동안 작업을 할 수 없도록 만든다.

도 3은 박스 형태로 테이블의 아래 공간이 막혀있는 Microsoft사의 멀티터치 테이블탑 인터페이스인 Surface의 구조를 보여준다. 이러한 구조적 문제는 멀티터치를 위한 인식 시스템의 구성으로부터 발생되며, 거의 대부분의 멀티터치 테이블탑 인터페이스는 제한적인 구조 안에서 시스템을 구성해야 한다는 문제점을 가지고 있다. 이러한 문제는 테이블탑 인터페이스가 가지는 목적과는 반대로 사용자들의 작업효율을 오히려 떨어뜨리는 결과를 초래하게 된다.

따라서, 현재의 시스템보다 더 편안한 사용 환경을 제공해 줄 수 있는 시스템을 개발하는 것이 멀티터치 테이블탑 인터페이스에서 가장 필요하며 요구되는 부분이라 할 수 있다.

본 발명의 목적은, 복수개의 LCD 패널에 적외선이 통과하도록 구성하고, 멀티터치 입력방식인 FTIR(Frustrated Total Internal Reflection)과 LLP(Laser Light Plane)를 결합하여 사용자의 터치 입력에 적외선의 발광을 제공함으로써, 넓고 얇은 형태의 출력시스템을 구성함은 물론, 높은 해상도와 화질을 제공하는 테이블탑 디스플레이를 구현함에 있다.

본 발명의 또 다른 목적은, 멀티카메라를 이용한 인식시스템 구조를 설계하여 테이블 높이를 얇게 할 수 있도록 높이 20cm이하의 인식시스템을 제공함으로써, 전체 테이블 시스템의 박형화 및 대형화를 이루어 여러 사용자들이 공유하고 실시간으로 인터랙션이 가능하며 가구로서의 기능을 제공할 수 있는 테이블탑 인터페이스를 제공함에 있다.

본 발명의 또 다른 목적은, 복수개의 LCD 및 복수개의 카메라 이용에 따른 터치인식과 콘텐츠 연동을 위한 미들웨어를 제공함으로써, 인식시스템의 유연성과 확장성을 제공함에 있다.

이러한 기술적 과제를 달성하기 위한 본 발명의 LCD 기반의 테이블탑 인터페이스 제공 시스템은, 사용자의 터치신호를 FTIR(Frustrated Total Internal Reflection) 입력방식 및 LLP(Laser Light Plane) 입력방식으로 입력받는 테이블탑 입력장치; 테이블탑 입력장치 하부에 구비되어 입력장치로부터 발생된 적외선 빛을 통과시키고, 인식장치에 의해 인식된 터치 포인트에 대응하는 컨텐츠정보를 디스플레이하는 테이블탑 출력장치; 테이블탑 출력장치 하부에 구비되어 테이블탑 입력장치에 의해 산란되어 입력장치 하부에 구비된 출력장치를 통과하는 적외선 빛을 터치이미지 데이터로 생성하여 사용자의 터치에 따른 터치 포인트를 인식하는 테이블탑 인식장치; 및 테이블탑 인식장치로부터 인가받은 터치 포인트 정보 각각과 대응하는 컨텐츠정보를 컨텐츠 클라이언트 어플리케이션으로 전송하는 컨텐츠서버;를 포함한다.

또한, 상술한 시스템을 기반으로 하는 본 발명의 LCD 기반의 테이블탑 인터페이스 제공 방법은, 테이블탑 입력장치가 사용자의 터치 입력에 따라 발광되던 적외선 빛을 산란시키는 (a) 단계; 테이블탑 출력장치가 테이블탑 입력장치로부터 산란되는 적외선 빛을 통과시키는 (b) 단계; 테이블탑 인식장치가 테이블탑 출력장치를 통과하는 적외선 빛을 터치이미지 데이터로 생성하여 사용자의 터치에 따른 터치 포인트를 인식하는 (c) 단계; 및 컨텐츠서버가 테이블탑 출력장치로부터 인가받은 터치 포인트 정보 각각과 대응하는 컨텐츠정보를 컨텐츠 클라이언트 어플리케이션으로 전송하여 LCD패널이 해당 컨텐츠정보를 디스플레이하는 (d) 단계;를 포함한다.

상기와 같은 본 발명에 따르면, 복수개의 LCD 패널에 적외선이 통과하도록 구성하고, 멀티터치 입력방식인 FTIR(Frustrated Total Internal Reflection)과 LLP(Laser Light Plane)를 결합하여 사용자의 터치 입력에 적외선의 발광을 제공함으로써, 넓고 얇은 형태의 출력시스템을 구성함은 물론, 높은 해상도와 화질을 제공하는 테이블탑 디스플레이를 구현하는 효과가 있다.

또한, 본 발명에 따르면, 멀티카메라를 이용한 인식시스템 구조를 설계하여 테이블 높이를 얇게 할 수 있도록 높이 20cm이하의 인식시스템을 제공함으로써, 전체 테이블 시스템의 박형화 및 대형화를 이루어 여러 사용자들이 공유하고 실시간으로 인터랙션이 가능하며 벽면형 인터페이스 및 가구로서의 기능을 제공할 수 있는 테이블탑 인터페이스를 제공하는 효과가 있다.

그리고, 본 발명에 따르면, 터치인식과 콘텐츠 연동을 위한 미들웨어를 제공함으로써, 인식시스템의 유연성과 확장성을 제공하는 효과가 있다.

도 1은 Microsoft사의 테이블탑 인터페이스인 Surface를 도시한 도면.
도 2는 일상생활 속 테이블 위에서 작업을 하는 모습을 나타낸 예시도.
도 3은 박스 형태로 테이블의 아래 공간이 막혀있는 Microsoft사의 테이블탑 인터페이스인 Surface의 외관을 도시한 도면.
도 4는 본 발명에 따른 LCD 기반의 테이블탑 인터페이스 제공 시스템의 H/W 및 S/W 전체를 도시한 구성도.
도 5는 본 발명에 따른 LCD 기반의 테이블탑 인터페이스 제공 시스템에 대한 테이블탑 입력장치의 적외선 레이저 발광기가 구비된 것을 도시한 예시도.
도 6은 본 발명에 따른 LCD 기반의 테이블탑 인터페이스 제공 시스템의 테이블탑 출력장치를 도시한 구성도.
도 7은 본 발명에 따른 LCD 기반의 테이블탑 인터페이스 제공 시스템의 백라이트램프가 복수개의 도광판을 에두르도록 각 면에 구비된 것을 도시한 예시도.
도 8은 본 발명에 따른 LCD 기반의 테이블탑 인터페이스 제공 시스템의 테이블탑 인식장치를 도시한 구성도.
도 9는 본 발명에 따른 LCD 기반의 테이블탑 인터페이스 제공 시스템의 전반사 거울이 설치된 것을 도시한 예시도.
도 10은 본 발명에 따른 LCD 기반의 테이블탑 인터페이스 제공 시스템의 터치인식모듈과, 컨텐츠서버 및 컨텐츠 클라이언트 모듈간의 관계를 도시한 도면.
도 11은 본 발명에 따른 LCD 기반의 테이블탑 인터페이스 제공 시스템의 터치인식모듈에서 인식된 터치정보를 XML 형태로 가공한 것을 도시한 도면.
도 12는 본 발명에 따른 LCD 기반의 테이블탑 인터페이스 제공 시스템의 테이블탑 인식장치의 두께를 20Cm 이내로 제작한 것을 도시한 도면.
도 13은 본 발명에 따른 LCD 기반의 테이블탑 인터페이스 제공 시스템의 컨텐츠서버를 도시한 구성도.
도 14a는 본 발명에 따른 LCD 기반의 테이블탑 인터페이스 제공 시스템의 컨텐츠서버에 연결된 음식주문콘텐츠 어플리케이션의 메인실행화면을 도시한 도면.
도 14b는 본 발명에 따른 LCD 기반의 테이블탑 인터페이스 제공 시스템의 컨텐츠서버에 연결된 음식주문콘텐츠 어플리케이션의 실제 음식을 선택하는 실행화면을 도시한 도면.
도 14c는 본 발명에 따른 LCD 기반의 테이블탑 인터페이스 제공 시스템의 컨텐츠서버에 연결된 음식주문콘텐츠 어플리케이션의 실제 음식주문 어플리케이션을 실행하는 모습을 도시한 도면.
도 15a는 본 발명에 따른 LCD 기반의 테이블탑 인터페이스 제공 시스템의 컨텐츠서버에 연결된 퍼즐 짝 맞추기 게임 어플리케이션의 메인실행화면을 도시한 도면.
도 15b는 본 발명에 따른 LCD 기반의 테이블탑 인터페이스 제공 시스템의 컨텐츠서버에 연결된 퍼즐 짝 맞추기 게임 어플리케이션에서 사용자들이 게임을 즐기는 모습을 도시한 도면.
도 16a는 본 발명에 따른 LCD 기반의 테이블탑 인터페이스 제공 시스템의 터치 인식 처리시간을 도시한 도면.
도 16b는 본 발명에 따른 LCD 기반의 테이블탑 인터페이스 제공 시스템의 터치입력과 드래깅 대상인 퍼즐 짝 맞추기 게임 에플리케이션을 도시한 도면.
도 16c는 본 발명에 따른 LCD 기반의 테이블탑 인터페이스 제공 시스템의 입력방식에 따른 인식 처리 시간을 그래프로 도시한 도면.
도 16d는 본 발명에 따른 LCD 기반의 테이블탑 인터페이스 제공 시스템의 입력방식에 따른 평균 인식 처리 시간을 그래프로 도시한 도면.
도 17은 본 발명에 따른 LCD 기반의 테이블탑 인터페이스 제공 방법을 도시한 순서도.
도 18은 본 발명에 따른 LCD 기반의 테이블탑 인터페이스 제공 방법의 제S200단계의 세부과정을 도시한 도면.
도 19는 본 발명에 따른 LCD 기반의 테이블탑 인터페이스 제공 방법의 제S300단계의 세부과정을 도시한 도면.

본 발명의 구체적인 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다. 또한, 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.

도 4 내지 도 16d에 도시된 바와 같이 본 발명에 따른 LCD 기반의 테이블탑 인터페이스 제공 시스템(S)은 테이블탑 입력장치(100), 테이블탑 출력장치(200), 테이블탑 인식장치(300) 및 컨텐츠서버(400)를 포함하여 구성된다.

먼저, 도 4 및 도 5을 참조하여 본 발명에 따른 LCD 기반의 테이블탑 인터페이스 제공 시스템(S)의 테이블탑 입력장치(100)에 대해 살피면 아래와 같다.

도 4를 참조하면, 테이블탑 입력장치(100)는 직방형 또는 정방형으로 구성되어 사용자의 터치신호를 FTIR(Frustrated Total Internal Reflection) 입력방식 및 LLP(Laser Light Plane) 입력방식으로 입력받되, FTIR 입력방식의 구현을 위해 10T의 아크릴과 적외선 LED를 구성하였으며, 도 5에 도시된 바와 같이 LLP 입력방식의 구현을 위해 각 모서리에 적외선 레이저 발광기(110)와 LINE GENERATOR(120)를 구비하였다.

적외선 레이저 발광기(110)는 800㎚ 내지 900㎚ 바람직하게는 850㎚의 적외선 빛을 발광하며, LINE GENERATOR(120)는 적외선 레이저 발광기(110)에 의해 발광되는 적외선 빛을 100° 내지 110° 바람직하게는 106°의 각도를 갖도록 LINE 형태로 산란시킨다.

이때, LINE GENERATOR(120)는 테이블탑 출력장치(200)의 상부 표면으로부터 1mm 내지 5mm 바람직하게는 2mm 이격되어 적외선 빛을 산란시킨다.

한편, 도 6을 참조하여 본 발명에 따른 LCD 기반의 테이블탑 인터페이스 제공 시스템(S)의 테이블탑 출력장치(200)에 대해 살피면 아래와 같다.

테이블탑 출력장치(200)는 테이블탑 입력장치(100) 하부에 구비되어 테이블탑 입력장치(100)에 의해 산란되는 적외선 빛을 통과시키고, 테이블탑 인식장치(300)에 의해 인식된 터치 포인트에 대응하는 컨텐츠정보를 디스플레이하는 기능을 수행하는바, 도광판(211) 및 적외선 통과가 가능하도록 개조된 백라이트 유닛(212)을 포함하는 LCD패널(210)과 컨텐츠 클라이언트(220)로 구성된다.

구체적으로, LCD패널(210)은 장방형 또는 직방형으로 구성된 복수개의 도광판(211)으로 구성되어 테이블탑 입력장치(100)로부터 산란된 적외선 빛을 통과시키도록 구성되되, 도 7에 도시된 바와 같이 복수개의 도광판(211)들이 서로 밀착되도록 구성되고, 백라이트유닛(212)은 복수개의 도광판(211)을 에두르도록 각 면에 구비된다.

그리고, 컨텐츠 클라이언트(220)는 컨텐츠서버(400)로부터 터치 포인트 정보 각각과 대응하는 컨텐츠정보를 수신하여 LCD패널(210)이 해당 컨텐츠정보들을 디스플레이 하도록 한다.

한편, 테이블탑 인식장치(300)는 도 8에 도시된 바와 같이 테이블탑 출력장치(200) 하부에 구비되어 테이블탑 입력장치(100)에 의해 발생된 적외선 빛이 출력장치를 통과하고 인식장치의 멀티카메라에 의해 터치이미지 데이터로 생성하여 사용자의 터치에 따른 터치 포인트 위치를 인식하는바, 전반사 거울(310), 적외선 카메라(320) 및 터치인식모듈(330)을 포함하여 구성된다.

구체적으로, 전반사 거울(310)은 테이블탑 출력장치(200)의 LCD패널(210) 하부와 소정거리 이격되도록 구비되어 LCD패널(210)을 통과한 적외선 빛을 반사시킨다. 이때, 전반사 거울(310)은 도 9에 도시된 바와 같이, 테이블탑의 가로프레임으로부터 25° 내지 35° 바람직하게는 30°의 각도를 갖도록 구성된다.

또한, 적외선 카메라(320)는 LCD패널(210) 하부에 구비되어 전반사 거울(310)에 의해 반사된 적외선 빛을 인식하여 터치이미지 데이터를 생성하고, 넓은 영역의 적외선 빛을 인식하기 위해 100° 내지 120° 바람직하는 116°의 회전각을 가지는 광각렌즈를 포함한다.

이때, 적외선 카메라(320)는 테이블탑의 세로프레임으로부터 40° 내지 50° 바람직하게는 45°의 각도를 갖도록 구성되는바, 단일개의 적외선 카메라(320)를 통해 전체 LCD패널(120)의 1/2영역(26인치 LCD패널 한 개) 이상을 커버할 수 있도록 구성된다.

또한, 터치인식모듈(330)은 도 10에 도시된 바와 같이, CCV(Community Core Vision) 라이브러리에 따라 복수개의 적외선 카메라(320)로부터 인가받은 터치이미지 데이터에 포함된 노이즈를 필터링하고, 노이즈가 제거된 터치이미지의 좌표를 트래킹(tracking)함과 동시에 좌표를 보정하는 켈리브레이션(calivration)을 수행하여 터치 포인트들을 인식하며, 인식을 통해 생성한 터치 포인트 정보를 정보통신망을 통해 접속된 컨텐츠서버(400)로 전송한다.

이때, 터치인식모듈(330)은 복수개의 적외선 카메라(320)로부터 인가받은 터치이미지 데이터에 따라 생성된 복수개의 터치 포인트 정보들을 컨텐츠서버(400)로 전송한다. 즉, 터치인식모듈(330)은 적외선 카메라(320)의 개수와 대응하도록 복수개로 구비되어 각각 대응하는 적외선 카메라(320)로부터 인가받은 터치이미지 데이터에 대한 터치 포인트를 인식할 수 있다.

또한, 터치인식모듈(330)은 생성된 터치 포인트 정보를 XML 형태로 가공하여 컨텐츠서버(400)로 전송하며, 도 11은 터치인식모듈(330)에서 인식된 터치 포인트 정보를 XML 형태로 가공한 것을 나타낸 예시도이다.

도 11을 참조하면 id는 해당 터치 입력의 고유 ID 번호를 의미하며, 각 x, y는 Calibration을 통해 얻어진 터치 포인트 정보의 좌표를 나타내고, type은 Down, Move, Up 세 가지로 구분하되, CCV 내에서 과거와 현재의 터치 포인트 정보를 판단하여 type 정보를 생성하며, Down과 Up 메시지는 마우스의 클릭과 비슷한 개념으로 사용자의 터치가 처음 발생하였을 때와 사라졌을 때를 의미하고, 드래깅 작업의 경우는 고유의 id 번호와 type의 Move 메시지를 통하여 현재 사용자의 드래깅 상태를 추적한다.

전술한바와 같은 복수개의 LCD패널(210), 30°의 각도를 갖는 전반사 거울(310) 및 45°의 각도를 갖도록 구성되어 116°의 회전각을 갖는 적외선 카메라(320)의 구성을 통해 테이블탑 인식장치(300)를 제작함으로써, 도 12에 도시된 바와 같이 테이블탑 인식장치(300)의 두께를 20Cm 이내로 제작이 가능하다.

한편, 도 13을 참조하여 본 발명에 따른 LCD 기반의 테이블탑 인터페이스 제공 시스템(S)의 컨텐츠서버(400)에 대해 살피면 아래와 같다.

컨텐츠서버(400)는 정보통신망을 통해 접속된 테이블탑 인식장치(300)로부터 터치 포인트 정보를 인가받고, 터치 포인트 정보 각각과 대응하는 컨텐츠정보를 컨텐츠 클라이언트 어플리케이션으로 전송하는 기능을 수행하는바, 상기 테이블탑 인식장치(300)의 터치인식모듈(330)과 컨텐츠 클라이언트(220)를 연결하는 연결모듈(410), 수신모듈(420), 터치정보 취합 및 필터링 모듈(430) 및 전송모듈(440)을 포함하여 구성된다.

먼저, 연결모듈(410)은 터치 포인트 정보와 대응하는 터치인식모듈(330)과 컨텐츠 클라이언트 어플리케이션을 연결한다.

또한, 수신모듈(420)은 정보통신망(TCP 또는 UDP)을 통해 테이블탑 인식장치(300)의 터치인식모듈(330)로부터 사용자의 터치 입력에 대응하는 터치 포인트 정보를 수신한다.

그리고, 터치정보 취합 및 필터링 모듈(430)은 상기 테이블탑 인식장치의 터치인식모듈(330)로부터 인가받은 터치 포인트 정보들을 취합 및 필터링하며, 전송모듈(440)은 필터링 및 취합된 터치 포인트 정보들 각각과 대응하도록 분류된 컨텐츠정보를 컨텐츠 클라이언트(220)로 전송한다.

한편, 도 14a 내지 도 14c를 참조하여 본 발명의 일실시예에 따라 제작된 컨텐츠에 대해 살피면 아래와 같다.

먼저, 얇은 테이블 환경의 장점을 살려 테이블 아래에 다리를 집어넣고 앉아서 식사를 할 수 있는 테이블을 가정하였으며, 사용자들이 레스토랑에 앉아 음식을 선택하고 주문하는 등의 일련의 과정을 어플리케이션으로 개발하였다.

도 14a는 음식주문콘텐츠 어플리케이션의 메인실행화면을 도시한 도면이다. 테이블이 듀얼구조로 되어있는 특성상 2인용 테이블을 가정하여 구성하였으며 각각의 사용자들은 터치와 드래깅 등의 입력을 이용하여 원하는 작업이 가능하게 된다.

도 14b는 실제 음식을 선택하는 실행화면을 도시한 도면이다. 사용자는 음식리스트에서 원하는 음식을 터치하여 자신의 주문공간으로 드래깅 해오면 음식이 선택된다. 음식을 선택하면 왼쪽 하단에는 선택한 음식에 대한 정보가 표시되므로 사용자들은 음식에 대한 충분한 정보를 제공받을 수 있게 된다.

도 14c는 실제 음식주문 어플리케이션을 실행하는 모습을 도시한 도면이다. 본 연구에서 제안된 멀티 카메라인식을 통해 두 개의 터치인식모듈(330)이 각각의 모니터 영역에서 발생하는 터치입력을 인식하며, 자신의 영역에 맞게 터치 정보들을 변환하여 컨텐츠서버(400)로 전송한다. 각 터치정보들을 받은 컨텐츠서버(400)는 터치 정보를 하나의 영역으로 취합하고 필터링과정을 거쳐 연결된 컨텐츠 클라이언트(220)로 전송한다.

한편, 도 15a 및 도 15b를 참조하여 본 발명의 또 다른 실시예에 따라 제작된 컨텐츠에 대해 살피면 아래와 같다.

도 15a는 퍼즐 짝 맞추기 게임 어플리케이션의 메인실행화면을 도시한 도면이다. 퍼즐 짝 맞추기 게임 콘텐츠는 플래쉬를 이용하여 개발되었으며, 본 연구에서 제안된 듀얼 모니터 테이블 환경에서 각 모니터 당 하나의 어플리케이션을 실행하여 총 두 개의 어플리케이션을 실행시켰다.

도 15b는 실제 환경에서 사용자들이 게임을 즐기는 모습을 도시한 도면이다. 본 연구에서 제안된 멀티 카메라인식을 통해 두 개의 터치인식모듈(330)이 각각의 모니터 영역에서 발생하는 터치입력을 인식하고 자신의 영역에 맞게 터치 정보들을 변환하여 컨텐츠서버(400)로 전송한다. 각 터치정보들을 받은 컨텐츠서버(400)는 터치인식모듈(330)과 게임콘텐츠 간 연결 ID를 확인하여 각 영역에 맞는 터치 정보를 게임 콘텐츠로 전송한다.

한편, 도 16a 내지 도 16d를 참조하여 본 발명에 따른 LCD 기반의 테이블탑 인터페이스 제공 시스템의 성능평가에 대해 살피면 아래와 같다.

테이블탑 인터페이스의 인식성능은 사용성에 중요한 영향을 미치기 때문에 인식시스템 구성 시 관련된 장치들의 성능은 전체 테이블탑 인터페이스의 성능을 결정짓는 매우 중요한 요소가 된다. 본 연구에서는 이러한 인식시스템의 전체적인 성능을 측정하기 위해 사용자의 터치 개수에 따른 초당 처리속도(FPS : frames per second)를 측정하였다.

인식에 사용된 하드웨어는 쿼드코어 AMD Phenom x4 925 2.8GHz CPU에 3.25G 메모리와 NVIDIA GeForce GTS250 그래픽 카드를 사용하였다. 적외선인식을 위한 카메라의 사용으로는 PS3Eye 카메라에 850nm 적외선 필터와 광각렌즈를 마운트하여 사용하였고, PS3Eye 카메라는 카메라의 성능이 뛰어나고 가격이 저렴하여 Multi-Touch Interface를 제작하기에 적합한 카메라로 여겨지고 있다.

이러한 PS3Eye Camera의 성능은 320x240 해상도에서 120fps(실험적 결과로는 125fps까지 가능)를 가지며 640x480해상도에서는 60fps(실험적 결과로는 75fps까지 가능)를 가진다. 또한 USB 포트를 지원하므로 추가적인 카메라 연결 하드웨어가 필요하지 않으며 연결이 쉽다.

본 연구에서는 멀티터치의 인식 성능을 측정하기 위해 한 개의 PC에서 두 대의 카메라를 연결하여 사용자의 터치 개수에 따른 각 카메라의 FPS를 측정하였다. FPS의 측정은 CCV와 콘텐츠 어플리케이션이 TCP/IP 프로토콜을 통해 연결된 상태에서 측정하였다.

도 16a에 도시된 바와 같이, 하나의 터치가 들어왔을 때는 두 대의 카메라 모두 60fps를 유지하였으며 15개의 터치부터 58fps를 가졌으며 20개의 터치까지 55fps이상의 응답속도를 보여주었다.

또한, 사용자 평가를 위해서 20~30대의 터치 인터페이스를 사용해본 남녀 12명을 구성하여 실험을 진행하였다. 테이블탑 인터페이스에서 사용자의 터치에 따른 인식률을 결정하는 것은 어떤 입력시스템을 사용하느냐에 따라 매우 달라진다. 이를 위해 본 연구에서는 FTIR 방식과 LLP 방식을 구현하였으며, 실험을 위해 FTIR 방식, LLP 방식, 그리고 FTIR과 LLP를 결합한 방식에 대하여 각각의 인식률을 측정하였다.

또한, 실험 어플리케이션으로는 도 16b에 도시된 바와 같이, 퍼즐 짝 맞추기 게임을 통하여 게임을 끝내는 데까지의 시간을 측정하는 형태로 진행되었다. 게임의 진행은 사용자가 멀티터치를 이용한 터치 입력과 드래깅 작업을 하도록 구성되었다.

도 16c는 사용자 A부터 L까지 각각의 입력방식에 대하여 시간을 측정한 결과를 도시한 도면이다. 각 입력방식의 순서는 랜덤하게 주어졌으며, 게임이 완료되는 시간을 측정하였다. 첫 번째 FTIR을 입력시스템으로 설정하고 게임을 진행한 경우 평균시간 25초로서 나쁘지 않은 인식률을 보여주었다. 그러나 사용자들은 드래깅 작업 시 터치 압력의 세기를 유지하기 위해 많은 힘을 필요로 하였고, 힘이 부족한 여성 실험자들은 인식이 잘되지 않아 힘들어하며 드래깅 작업에 어려움을 느끼는 것을 실험에서 알 수 있었다.

이를 보완하기 위한 방법으로 두 번째 실험에서는 LLP 입력방식을 구성하여 인식률을 측정하였다. 이 경우 LLP 방식의 이론적 특성상 FTIR 방식에서처럼 터치에 대한 압력은 필요하지 않으므로 터치 및 드래깅 작업 시 좋은 인식률을 가질 것으로 기대하였다. 하지만 LLP 입력 방식을 이용한 실험자들의 평균 시간은 36초로서, 실제로 대부분의 실험자들은 FTIR 방식으로 게임을 하였을 때와 비슷하거나 오히려 더 많은 시간이 걸리는 결과를 보여주었다. 실험자들 대부분은 LLP 방식이 드래깅 작업에 있어서는 훨씬 편하고 수월했으나, 터치입력에 대하여는 인식률이 좋지 못하였다. 터치 인식률이 떨어지는 이유는 손가락이 터치하는 곳 외에 주변에 옷이나 다른 손가락에 의해 터치 인식이 우발적으로 발생되는 경우가 생기기 때문이었으며, 이에 따라 노이즈에 따른 인식률의 저하가 발생되는 것을 실험에서 알 수 있었다.

마지막 실험으로 FTIR과 LLP 방식을 결합한 입력방식을 구성하여 인식률을 측정하였다. 이 경우 실험자들의 전체 평균 시간은 도 16d에서 알 수 있듯이 약 20초로 FTIR 방식이나 LLP 방식에 비해 게임 완료 시간이 상당히 줄어들었음을 실험을 통해 알 수 있었다.

따라서, FTIR 방식의 높은 터치인식률로 인하여 LLP가 가지는 노이즈에 따른 터치 인식률의 저하를 보강하고, LLP 방식의 수월한 드래깅 인식으로 인하여 FTIR 방식이 가지는 드래깅 인식저하의 문제점을 보완하였다고 할 수 있다. 그러나 여전히 LLP 방식에 의한 노이즈 문제는 발생하여 몇몇 실험자들은 FTIR 방식과 비슷한 인식률을 가지거나 오히려 더 떨어지는 경우도 조사되었다. 이 경우 FTIR 방식을 오래 사용해보았던 남성사용자들이었으며 이들은 손가락의 면적이 넓고 터치에 대한 힘이 좋은 경우였다. 즉, FTIR 방식에 익숙한 남성 사용자 몇몇을 제외한 보통의 사용자들은 FTIR과 LLP를 결합한 입력방식에서 더 좋은 인식률을 보여줌을 알 수 있었다.

한편, 도 17 내지 도 19를 참조하여 본 발명에 따른 LCD 기반의 테이블탑 인터페이스 제공 방법에 대해 살피면 아래와 같다.

도 17을 참조하면 먼저, 테이블탑 입력장치(100)가 사용자의 터치 입력에 따라 발광되던 적외선 빛을 산란시킨다(S100).

이어서, 테이블탑 출력장치(200)가 테이블탑 입력장치(100)로부터 산란되는 적외선 빛을 통과시킨다(S200).

뒤이어, 테이블탑 인식장치(300)가 테이블탑 입력장치(100)에 의해 산란되어 테이블탑 출력장치(200)를 통과하는 적외선 빛을 터치이미지 데이터로 생성하여 사용자의 터치에 따른 터치 포인트를 인식하고, 이를 터치 포인트 정보로 생성한다(S300).

그리고, 컨텐츠서버(400)가 테이블탑 인식장치(300)로부터 인가받은 터치 포인트 정보 각각과 대응하는 컨텐츠정보를 테이블탑 출력장치(200)로 전송하여 LCD패널(210)이 해당 컨텐츠정보를 디스플레이한다(S400).

이하, 도 18을 참조하여 본 발명에 따른 LCD 기반의 테이블탑 인터페이스 제공 방법의 제S300 단계에 대해 세부적으로 살피면 아래와 같다.

먼저, 테이블탑 인식장치(300)의 전반사 거울(310)이 테이블탑 출력장치(200)의 LCD패널(210)을 통과한 적외선 빛을 반사시킨다(S310).

뒤이어, 테이블탑 인식장치(300)의 적외선 카메라(320)가 전반사 거울(310)에 의해 반사된 적외선 빛을 인식하여 터치이미지 데이터를 생성한다(S320).

그리고, 테이블탑 인식장치(300)의 터치인식모듈(330)이 터치이미지 데이터에 포함된 노이즈를 필터링하고, 노이즈가 제거된 터치이미지의 좌표를 트래킹(tracking)함과 동시에 좌표를 보정하는 켈리브레이션(calivration)을 수행하여 터치 포인트들을 터치 포인트 정보로 생성한다(S330).

이하, 도 19를 참조하여 본 발명에 따른 LCD 기반의 테이블탑 인터페이스 제공 방법의 제S400 단계에 대해 세부적으로 살피면 아래와 같다.

먼저, 컨텐츠서버(400)의 컨텐츠연결모듈(410)이 테이블탑 인식장치(300)의 터치인식모듈(330)과 컨텐츠 클라이언트 어플리케이션을 연결하여 각 ID를 생성하고 관리한다(S410).

이어서, 컨텐츠서버(400)의 수신모듈(420)이 각 ID에 대한 터치 포인트 정보를 수신한다(S420).

이어서, 컨텐츠서버(400)의 터치정보 취합 및 필터링 모듈(430)이 모든 터치정보들을 취합 및 필터링하고, 전송모듈(440)은 이러한 터치정보들을 컨텐츠와 대응하도록 분류하여 컨텐츠 클라이언트(220)로 전송한다(S430).

그리고, 테이블탑 출력장치(200)의 LCD패널(210)이 컨텐츠 클라이언트(220)들로부터 인가받은 컨텐츠정보들을 디스플레이한다(S440).

이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서 그러한 모든 적절한 변경 및 수정과 균등 물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.

S: LCD 기반의 테이블탑 인터페이스 제공 시스템
100: 테이블탑 입력장치 110: 적외선 레이저 발광기
120: LINE GENRATOR 200: 테이블탑 출력장치
210: LCD패널 211: 도광판
212: 백라이트 유닛 220: 컨텐츠 클라이언트
300: 테이블탑 인식장치 310: 전반사 거울
320: 적외선 카메라 330: 터치인식모듈
400: 컨텐츠서버 410: 컨텐츠 연결모듈
420: 수신모듈 430: 터치정보 취합 및 필터링 모듈
440: 전송모듈

Claims (12)

1. LCD 기반의 테이블탑 인터페이스 제공 시스템에 있어서,
   사용자의 터치신호를 FTIR(Frustrated Total Internal Reflection) 입력방식 및 LLP(Laser Light Plane) 입력방식으로 입력받는 테이블탑 입력장치;
   상기 테이블탑 입력장치 하부에 구비되어 입력장치로부터 발생된 적외선 빛을 통과시키고, 인식장치에 의해 인식된 터치 포인트에 대응하는 컨텐츠정보를 디스플레이하는 테이블탑 출력장치;
   상기 테이블탑 출력장치 하부에 구비되어 상기 테이블탑 입력장치에 의해 산란되어 입력장치 하부에 구비된 출력장치를 통과하는 적외선 빛을 터치이미지 데이터로 생성하여 사용자의 터치에 따른 터치 포인트를 인식하는 테이블탑 인식장치; 및
   상기 테이블탑 인식장치부터 인가받은 터치 포인트 정보 각각과 대응하는 컨텐츠정보를 컨텐츠 클라이언트 어플리케이션으로 전송하는 컨텐츠서버;를 포함하되,
   상기 테이블탑 출력장치는, 장방형 또는 직방형으로 구성된 복수개의 도광판과 백라이트 유닛으로 구성되어 상기 테이블탑 입력장치로부터 산란된 적외선 빛을 통과시키도록 구성되되, 상기 백라이트 유닛이 복수개의 도광판을 에두르도록 각 면에 구비되는 LCD패널; 및 상기 터치 포인트 정보 각각과 대응하는 컨텐츠정보를 상기 LCD패널을 통해 디스플레이하도록 제어하는 컨텐츠 클라이언트;를 포함하는 것을 특징으로 하는 LCD 기반의 테이블탑 인터페이스 제공 시스템.
   
2. 제 1 항에 있어서,
   상기 테이블탑 입력장치는,
   800㎚ 내지 900㎚의 적외선 빛을 발광하는 적외선 레이저 발광기; 및
   상기 적외선 빛을 100° 내지 110°의 각도를 갖도록 LINE 형태로 산란시키는 LINE GENERATOR;를 포함하되,
   상기 LINE GENERATOR는 상기 적외선 레이저 발광기 앞부분에 부착되어 상기 테이블탑 출력장치의 상부 표면으로부터 1mm 내지 5mm 이격되어 적외선 빛을 산란시키는 것을 특징으로 하는 LCD 기반의 테이블탑 인터페이스 제공 시스템.
   
3. 삭제
4. 제 1 항에 있어서,
   상기 테이블탑 인식장치는,
   상기 LCD패널의 하부와 소정거리 이격되도록 구비되어 상기 LCD패널을 통과한 적외선 빛을 반사시키는 전반사 거울;
   상기 LCD패널 하부에 구비되어 상기 전반사 거울에 의해 반사된 적외선 빛을 인식하여 터치이미지 데이터를 생성하는 적외선 카메라;
   CCV(Community Core Vision) 라이브러리에 따라 상기 터치이미지 데이터에 포함된 노이즈를 필터링하고, 노이즈가 제거된 터치이미지의 좌표를 트래킹(tracking)함과 동시에 좌표를 보정하는 켈리브레이션(calivration)을 수행하여 인식한 터치 포인트들을 터치 포인트 정보로 생성하는 터치인식모듈;을 포함하는 것을 특징으로 하는 LCD 기반의 테이블탑 인터페이스 제공 시스템.
   
5. 제 4 항에 있어서,
   상기 전반사 거울은,
   상기 테이블탑 인식장치의 가로프레임으로부터 25° 내지 35°의 각도를 갖도록 구성되는 것을 특징으로 하는 LCD 기반의 테이블탑 인터페이스 제공 시스템.
   
6. 제 4 항에 있어서,
   상기 적외선 카메라는,
   100° 내지 120°의 회전각을 가지는 광각렌즈를 포함하며, 상기 테이블탑 인식장치의 세로프레임으로부터 40° 내지 50°의 각도를 갖도록 구성되는 것을 특징으로 하는 LCD 기반의 테이블탑 인터페이스 제공 시스템.
   
7. 제 4 항에 있어서,
   상기 터치인식모듈은,
   복수개의 적외선 카메라로부터 인가받은 터치이미지 데이터에 따라 생성된 복수개의 터치 포인트 정보들을 컨텐츠서버로 전송하고, 상기 컨텐츠서버가 이를 단일개로 파싱(parsing)하여 단일 컨텐츠 클라이언트 또는 복수개의 컨텐츠 클라이언트들로 전송하도록 하는 것을 특징으로 하는 LCD 기반의 테이블탑 인터페이스 제공 시스템.
   
8. 제 1 항에 있어서,
   상기 터치 포인트 정보는 XML 형태로 가공되되,
   터치 입력의 고유 ID 번호, 터치정보의 좌표, 사용자의 터치가 처음 발생하였을 때와 사라졌을 때 및 사용자의 드래깅 상태를 추적하는 정보를 포함하는 것을 특징으로 하는 LCD 기반의 테이블탑 인터페이스 제공 시스템.
   
9. 제 1 항에 있어서,
   상기 컨텐츠서버는,
   상기 테이블탑 인식장치로부터 사용자의 터치 입력에 대응하는 터치 포인트 정보를 제공하는 터치인식모듈과 터치 포인트 정보에 따른 컨텐츠 정보를 제공하는 컨텐츠 클라이언트들을 연결하고 관리하는 컨텐츠 연결모듈;
   상기 테이블탑 인식장치로부터 사용자의 터치 입력에 대응하는 터치 포인트 정보를 수신하는 수신모듈;
   상기 테이블탑 인식장치의 터치인식모듈로부터 인가받은 터치정보를 취합하여 터치영역의 구분 및 필터링 기능을 수행하는 터치정보취합 및 필터링모듈; 및
   취합된 터치 포인트 정보들을 상기 컨텐츠정보 각각과 대응하도록 분류하여 상기 테이블탑 출력장치의 컨텐츠 클라이언트로 전송하는 전송모듈;을 포함하는 것을 특징으로 하는 LCD 기반의 테이블탑 인터페이스 제공 시스템.
   
10. LCD 기반의 테이블탑 인터페이스 제공 방법에 있어서,
    (a) 테이블탑 입력장치가 사용자의 터치 입력에 따라 발광되던 적외선 빛을 산란시키는 단계;
    (b) 테이블탑 출력장치가 산란되는 적외선 빛을 통과시키는 단계;
    (c) 테이블탑 인식장치가 상기 테이블탑 출력장치를 통과하는 적외선 빛을 터치이미지 데이터로 생성하여 사용자 터치 포인트를 인식하고, 이를 터치 포인트 정보로 생성하는 단계; 및
    (d) 컨텐츠서버가 상기 테이블탑 인식장치로부터 인가받은 터치 포인트 정보 각각과 대응하는 컨텐츠정보를 상기 테이블탑 출력장치로 전송하여 LCD패널이 해당 컨텐츠정보를 디스플레이하는 단계;를 포함하는 것을 특징으로 하는 LCD 기반의 테이블탑 인터페이스 제공 방법.
    
11. 제 10 항에 있어서,
    상기 (c) 단계는,
    (c-1) 상기 테이블탑 인식장치의 전반사 거울이 테이블탑 출력장치(200)의 LCD패널 및 백라이트 유닛을 통과한 적외선 빛을 반사시키는 단계;
    (c-2) 상기 테이블탑 인식장치의 적외선 카메라가 전반사 거울에 의해 반사된 적외선 빛을 인식하여 터치이미지 데이터를 생성하는 단계; 및
    (c-3) 상기 테이블탑 인식장치의 터치인식모듈이 터치이미지 데이터에 포함된 노이즈를 필터링하고, 노이즈가 제거된 터치이미지의 좌표를 트래킹(tracking)함과 동시에 좌표를 보정하는 켈리브레이션(calivration)을 수행하여 터치 포인트들을 터치 포인트 정보로 생성하는 단계;를 포함하는 것을 특징으로 하는 LCD 기반의 테이블탑 인터페이스 제공 방법.
    
12. 제 10 항에 있어서,
    상기 (d) 단계는,
    (d-1) 상기 컨텐츠서버의 컨텐츠 연결모듈이 터치인식모듈과 컨텐츠 클라이언트 어플리케이션을 연결하고 관리하는 단계;
    (d-2) 상기 컨텐츠서버의 수신모듈이 연결된 터치인식모듈로부터 터치 포인트 정보를 수신하는 단계;
    (d-3) 상기 컨텐츠서버의 터치정보 취합 및 필터링 모듈이 모든 터치 포인트 정보들을 취합하고 필터링하며, 전송모듈이 컨텐츠정보들을 상기 터치 포인트 정보 각각과 대응하도록 분류하여 컨텐츠 클라이언트로 전송하는 단계; 및
    (d-4) 상기 테이블탑 출력장치의 LCD패널이 컨텐츠 클라이언트들로부터 인가받은 컨텐츠정보들을 디스플레이하는 단계;를 포함하는 것을 특징으로 하는 LCD 기반의 테이블탑 인터페이스 제공 방법.

Images