KR20150024247A

KR20150024247A - 터치 스크린 디바이스에서 다수의 입력기구를 이용하는 애플리케이션을 실행하는 방법 및 터치 스크린 디바이스

Info

Publication number: KR20150024247A
Application number: KR20140092156A
Authority: KR
Inventors: 김민성; 정현권; 김혜수; 장용석; 재닌 준 씨. 림; 조나단 마틴 에스. 크루즈; 마웰 디. 달랑인; 니콜라이 앤드류 에프. 씽; 티모시 이스라엘 디. 산토스
Original assignee: 삼성전자주식회사
Priority date: 2013-08-26
Filing date: 2014-07-21
Publication date: 2015-03-06
Also published as: EP3025219A1; US20150054784A1; WO2015030445A1; CN105723304A; EP3025219A4

Abstract

다수의 조작기구에 의해 동시에 입력된 조작 제스처에 기초하여 터치 스크린 디바이스가 이벤트 동작을 수행하는 방법과 그 터치 스크린 디바이스의 다양한 실시예가 제공된다. 터치 스크린 상에 감지된 제1 조작기구의 접촉을 기초로 제1 조작기구를 식별하여, 제1 조작기구의 접촉 영역에 기초하여 터치 스크린 상에 조작영역을 설정하고, 터치 스크린에 감지된 제2 조작기구의 접근에 기초하여 제2 조작기구를 식별하여, 터치 스크린에 접촉한 제1 조작기구 상에서 움직이는 제2 조작기구에 의해, 조작영역 내에서 제2 조작기구의 조작 제스처를 감지하고, 터치 스크린 디바이스의 인터랙션 DB(Database)에 기등록된 동작들 중에서, 감지된 제2 조작기구의 조작 제스처에 대응되는 동작을 수행하는 터치 스크린 디바이스의 다양한 실시예가 제공된다.

Description

터치 스크린 디바이스에서 다수의 입력기구를 이용하는 애플리케이션을 실행하는 방법 및 터치 스크린 디바이스{Method and apparatus for executing application using multiple input tools on touchscreen device}

터치 패널에 대한 터치 입력을 위한 조작기구를 이용하여 터치 스크린 디바이스를 동작시키는 방법에 관한 것이다.

디바이스의 입력 방식은 키 패드(Key Pad)를 이용한 방식에서 출발하여 디바이스의 화면에 터치 인식장치를 포함시켜 사용자의 터치 입력을 받는 터치 스크린(Touch Screen) 방식이 활성화되고 있다.

터치 스크린 방식이 적용된 디바이스는, 스마트폰과 같은 휴대 전화기를 포함한 엠피쓰리, PDA, PMP, PSP, 휴대용 게임기, DMB 수신기 등 각종 휴대용 단말기는 물론, 내비게이션, 산업용 단말기, 노트북 컴퓨터, 금융 자동화 기기, 게임기 등의 각종 모니터뿐만 아니라, 냉장고, 전자레인지, 세탁기와 같은 각종 가전제품에 이르기까지 각종 전기 전자 장치의 입력 장치로 널리 사용되고 있다.

또한 디지털 콘텐트도 발전함에 따라, 디지털 디바이스를 이용한 가상 체험이 다양한 분야에서 시도되고 있다. 또한, 터치 입력 기술이 발전함에 따라, 사용자는 입력 도구를 이용하여 디바이스에 터치, 드래그(drag), 플릭(flick), 스와이프(swipe), 핀칭(pinching)과 같은 다양한 터치 조작을 입력할 수 있다. 디바이스에 대한 다양한 터치 조작이 가능해짐에 따라, 디바이스에서 조작입력에 반응하여 발생하는 이벤트에 대해 사용자가 느끼는 현실감이 증대되었다. 이에 따라, 다양한 분야에서 터치 스크린 방식의 디바이스를 이용한 가상 체험 프로그램이 시도되고 있다.

사용자의 터치 스크린 디바이스에 대한 인터랙션 태양을 반영하여, 사용자로 하여금 터치 스크린 디바이스 상에 표시된 컨텐트를 용이하게 제어할 수 있게 하는 사용자 인터페이스를 제공하는 방법 및 장치를 제공하자고 한다.

터치 패널에 접촉 중인 제1 조작기구에 의해 결정된 조작영역 내에서 제2 조작기구에 의해 입력된 조작 제스처에 기초하여 터치 스크린 디바이스가 이벤트 동작을 수행하는 방법과 그 터치 스크린 디바이스의 다양한 실시예가 제공된다. 제1 디바이스에서 제1 조작기구 및 제2 조작기구에 의해 조작 중인 현재 화면을 외부 디스플레이 기기에게 전송하여, 외부 디스플레이 기기에서 제1 조작기구 및 제2 조작기구를 이용하여 동일한 조작 제스처를 감지하고 이벤트 동작을 수행할 수 있도록 제어하는 방법과 터치 스크린 디바이스의 다양한 실시예가 제공된다.

다양한 실시예에 따른 터치 스크린 디바이스의 동작 방법은, 상기 터치 스크린 상에 감지된 제1 조작기구의 접촉을 기초로 상기 제1 조작기구를 식별하는 단계; 상기 제1 조작기구의 접촉 영역에 기초하여 상기 터치 스크린 상에 조작영역을 설정하는 단계; 상기 터치 스크린에 감지된 제2 조작기구의 접근에 기초하여 상기 제2 조작기구를 식별하는 단계; 상기 터치 스크린에 접촉한 상기 제1 조작기구 상에서 움직이는 상기 제2 조작기구에 의해, 상기 조작영역 내에서 제2 조작기구의 조작 제스처를 감지하는 단계; 및 상기 터치 스크린 디바이스의 인터랙션 DB(Database)에 기등록된 동작들 중에서, 상기 감지된 제2 조작기구의 조작 제스처에 대응되는 동작을 수행하는 단계를 포함한다.

상기 제1 조작기구 식별 단계는, 상기 터치 스크린 디바이스의 정전식 센서에 의해 상기 제1 조작기구의 접촉위치를 결정하는 단계를 포함하고, 상기 제2 조작기구 식별 단계는, 상기 터치 스크린 디바이스의 전자기유도식 센서에 의해 상기 제2 조작기구의 입력위치를 결정하는 단계를 포함할 수 있다.

상기 제1 조작기구 식별 단계는, 상기 인터랙션 DB의 조작기구 등록 DB에 기 등록된 조작기구들의 식별 정보 중에서, 상기 감지된 제1 조작기구의 접촉 상태에 기초하여 상기 제1 조작기구를 식별하는 단계를 포함하고, 상기 터치 스크린 상에 조작영역을 설정하는 단계는, 상기 조작기구 관리 영역의 등록 DB에 기 등록된 조작기구들의 형상 정보에 기초하여, 상기 식별된 제1 조작기구의 조작영역을 결정하는 단계를 포함하고, 상기 식별 정보는, 상기 제1 조작기구의 접점의 개수, 접점의 형태, 접점 간의 거리, 접점의 면적 중 적어도 하나를 포함할 수 있다.

상기 제2 조작기구를 식별하는 단계는, 상기 인터랙션 DB의 조작기구 등록 DB에 기 등록된 식별 정보 중에서, 상기 감지된 제2 조작기구의 접근 상태에 기초하여 상기 제2 조작기구를 식별하는 단계를 포함하고, 상기 식별 정보는, 상기 제2 조작기구의 보조 버튼의 누르는 감도 및 해제 감도 중 적어도 하나를 포함할 수 있다.

상기 제1 조작기구 식별 단계는, 상기 인터랙션 DB에 상기 제1 조작기구의 접점의 개수, 접점의 형태, 접점 간의 거리, 접점의 면적 중 적어도 하나를 포함하는 상기 제1 조작기구의 식별 정보를 조작기구 등록 DB에 저장하는 단계; 및 상기 제1 조작기구의 형태에 기초하여 결정되는 조작영역의 정보를 상기 조작기구 등록 DB에 저장하는 단계를 포함할 수 있다.

상기 제2 조작기구 식별 단계는, 상기 제2 조작기구의 보조 버튼의 누르는 감도 및 해제 감도 중 적어도 하나를 포함하는 상기 제2 조작기구의 식별 정보를 조작기구 등록 DB에 저장하는 단계; 및 상기 제2 조작기구의 접촉부의 접촉 감도 또는 해제 감도 및 상기 접촉부와 상기 터치 스크린 간의 거리 중 적어도 하나를 포함하는 상기 제2 조작기구의 조작정보를 상기 조작기구 등록 DB에 저장하는 단계를 포함할 수 있다.

상기 인터랙션 DB는, 상기 제1 조작기구 및 상기 제2 조작기구 중 적어도 하나의 조작기구의 각 조작 제스처마다 대응되는 동작에 대한 정보를 포함하고, 상기 조작 제스처는, 상기 제1 조작기구 및 상기 제2 조작기구 중 적어도 하나의 조작기구의 기설정된 단일 입력 또는 기설정된 일련의 입력들의 집합일 수 있다.

상기 제2 조작기구의 조작 제스처에 대응하여 동작을 수행하는 단계는, 상기 인터랙션 DB에 기등록된 이벤트 동작들 중에서, 상기 제1 조작기구 및 상기 제2 조작기구 중 적어도 하나 조작기구에 의해 입력되는 일련의 조작 제스처에 대응하는 이벤트 동작을 결정하는 단계를 포함할 수 있다.

상기 터치 스크린 디바이스의 동작 방법은, 상기 제1 조작기구 및 상기 제2 조작기구 중 적어도 하나의 조작기구의 조작 제스처에 기초하여 결정되는 이벤트를 수행하는 애플리케이션을 실행하는 단계를 더 포함하고, 상기 제2 조작기구의 조작 제스처에 대응되는 동작을 수행하는 단계는, 상기 터치 스크린 디바이스에 설치되는 애플리케이션에서 정의된 가상 조작영역과 상기 적어도 하나의 조작기구의 조작 제스처에 대응하는 이벤트에 대한 정보를, 상기 인터랙션 DB에 기등록된 이벤트 동작들에 연동시키는 단계; 및 상기 애플리케이션을 실행할 때, 상기 가상 조작영역 내에서 상기 제2 조작기구의 현재 조작 제스처가 감지되면, 상기 현재 조작 제스처에 대응되는 이벤트의 동작을 수행하는 단계를 포함할 수 있다.

상기 제2 조작기구의 조작 제스처에 대응되는 동작을 수행하는 단계는, 상기 동작의 수행에 의해 생성된 결과 화면을 상기 터치 스크린에 디스플레이하는 단계를 포함할 수 있다.

상기 제2 조작기구의 조작 제스처에 대응되는 동작을 수행하는 단계는, 외부 디바이스로의 출력 요청을 수신하는 단계; 상기 출력 요청에 기초하여, 상기 터치 스크린 디바이스의 현재 디스플레이 화면에 대한 영상 데이터를 상기 외부 디바이스에 전송하는 단계; 상기 터치 스크린 상에 상기 제1 조작기구의 가상 조작영역을 표시하는 단계; 및 상기 제1 조작기구의 가상 조작영역의 위치 및 형태에 대한 정보를 상기 외부 디바이스에 전송하는 단계를 포함할 수 있다. 상기 외부 디바이스에 상기 현재 디스플레이 화면 및 상기 가상 조작영역이 표시되면, 상기 가상 조작영역 내에서 상기 외부 디바이스의 조작기구를 이용한 조작 제스처가 감지될 수 있다.

상기 터치 스크린 디바이스의 동작 방법은, 동일한 애플리케이션이 설치된 복수 개의 터치 스크린 디바이스들로부터 각각 사용자 식별 정보, 차시 식별 정보, 활동 식별 정보, 활동 페이지 식별 정보를 포함하는 활동 정보를 수신하는 단계; 각 활동을 가리키는 아이콘들을 포함하는 활동 목록과 해당 활동 페이지를 상기 터치 스크린에 디스플레이하고, 상기 각 활동의 아이콘에 상기 터치 스크린 디바이스들 중에서 해당 활동 페이지를 디스플레이하고 있는 터치 스크린 디바이스의 개수를 표시하는 단계; 및 상기 터치 스크린 디바이스의 개수에 대한 입력을 수신하면, 상기 터치 스크린 디바이스들 중에서 상기 해당 활동 페이지를 디스플레이 중인 사용자의 활동 정보를 표시하는 단계를 더 포함할 수 있다.

상기 터치 스크린 디바이스의 동작 방법은, 동일한 애플리케이션이 설치된 복수 개의 터치 스크린 디바이스들 중에서 관리 디바이스에게 현재 터치 스크린 디바이스의 사용자 식별 정보, 차시 식별 정보, 활동 식별 정보, 활동 페이지 식별 정보를 포함하는 활동 정보를 전송하는 단계를 더 포함할 수 있다.

다양한 실시예에 따른 터치 스크린 디바이스는, 영상 데이터를 전기적 영상 신호로 변환하여 디스플레이 화면을 출력하기 위한 디스플레이부와 터치 패널을 구비하는 터치 스크린부; 상기 터치 스크린 상에서 제1 조작기구의 접촉을 감지하고, 상기 제1 조작기구의 접촉 위치를 결정하는 제1 조작기구 감지부; 상기 터치 스크린 상에서 제2 조작기구의 접근을 감지하고, 상기 제2 조작기구의 입력 위치를 결정하는 제2 조작기구 감지부; 상기 터치 스크린 디바이스의 인터랙션 DB에 기등록된 동작들 중에서, 상기 제1 조작기구 상에서 움직이는 상기 제2 조작기구에 의해 상기 조작영역 내에서 감지되는 상기 제2 조작기구의 조작 제스처에 대응되는 동작을 결정하고, 상기 동작을 수행하도록 하는 제어신호를 출력하는 조작동작 관리부; 및 외부 디바이스로 데이터를 송수신하는 네트워크부를 포함할 수 있다.

다양한 실시예에 따른 터치 스크린 디바이스의 동작 방법을 구현하기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체가 제안된다.

다양한 실시예에 따른 터치 스크린 디바이스의 동작 방법은, 상기 터치 스크린 상에 감지된 제1 조작기구의 접촉을 기초로 상기 제1 조작기구를 식별하는 단계; 상기 제1 조작기구의 접촉 영역에 기초하여 상기 터치 스크린 상에 조작영역을 설정하는 단계; 상기 제1 조작기구를 식별하는 단계는, 상기 감지된 제1 조작기구에 배열되는 복수의 접점들의 위치로 구성되는 패턴에 기초하여 식별할 수 있다.

상기 제1 조작기구 식별 단계는, 상기 터치 스크린 디바이스의 정전식 센서에 의해 상기 제1 조작기구의 접촉위치를 결정하는 단계를 포함할 수 있다.

상기 제1 조작기구에 배열되는 복수의 접점들은, 상기 제1 조작기구의 접점 중에서 기 설정된 접점의 형태를 가지는 접점의 주변에 위치하고, 2차원 좌표값의 조합으로 표현될 수 있는 접점들일 수 있다.

상기 터치 스크린 상에 조작영역을 설정하는 단계는, 상기 제1 조작기구의 접점 중에서 상기 기 설정된 접점의 형태를 가지는 접점의 회전 상태에 기초하여, 상기 조작영역을 설정할 수 있다.

상기 터치 스크린 상에 설정된 상기 조작영역에 대응되는 상기 터치 스크린 상에 표시되는 컨텐츠를 상기 터치 스크린 디바이스에 저장하는 단계를 더 포함할 수 있다.

상기 저장된 컨텐츠를 다른 디바이스에 전송하는 단계를 더 포함할 수 있다.

하나 이상의 다른 디바이스에게 상기 저장된 컨텐츠에 대응되는 정보를 요청하는 단계를 더 포함할 수 있다.

상기 터치 스크린에 감지된 제2 조작기구의 접근에 기초하여 상기 제2 조작기구를 식별하는 단계; 상기 터치 스크린에 접촉한 상기 제1 조작기구 상에서 움직이는 상기 제2 조작기구에 의해, 상기 조작영역 내에서 제2 조작기구의 조작 제스처를 감지하는 단계; 및 상기 터치 스크린 디바이스의 인터랙션 DB(Database)에 기등록된 동작들 중에서, 상기 감지된 제2 조작기구의 조작 제스처에 대응되는 동작을 수행하는 단계를 더 포함할 수 있다.

다양한 실시예에 따른 터치 스크린 디바이스에 있어서, 영상 데이터를 전기적 영상 신호로 변환하여 디스플레이 화면을 출력하기 위한 디스플레이부와 터치 패널을 구비하는 터치 스크린부; 상기 터치 스크린 상에서 제1 조작기구의 접촉을 감지하고, 상기 제1 조작기구의 접촉 위치를 결정하는 제1 조작기구 감지부; 상기 터치 스크린 디바이스의 인터랙션 DB에 기등록된 동작들 중에서, 상기 제1 조작기구의 움직임에 대응되는 동작을 결정하고, 상기 동작을 수행하도록 하는 제어신호를 출력하는 조작동작 관리부; 및 외부 디바이스로 데이터를 송수신하는 네트워크부를 포함하고, 상기 제1 조작기구 감지부는 상기 감지된 제1 조작기구에 배열되는 복수의 접점들의 위치로 구성되는 패턴에 기초하여, 제1 조작기구를 식별할 수 있다.

다양한 실시예에 따른 터치 스크린 디바이스에 있어서, 영상 데이터를 전기적 영상 신호로 변환하여 디스플레이 화면을 출력하기 위한 디스플레이부와 터치 패널을 구비하는 터치 스크린부; 상기 터치 스크린 상에서 제1 조작기구의 접촉을 감지하고, 상기 제1 조작기구의 접촉 위치를 결정하는 제1 조작기구 감지부; 상기 터치 스크린 상에서 제2 조작기구의 접근을 감지하고, 상기 제2 조작기구의 입력 위치를 결정하는 제2 조작기구 감지부; 상기 터치 스크린 디바이스의 인터랙션 DB에 기등록된 동작들 중에서, 상기 제1 조작기구 상에서 움직이는 상기 제2 조작기구에 의해 상기 조작영역 내에서 감지되는 상기 제2 조작기구의 조작 제스처에 대응되는 동작을 결정하고, 상기 동작을 수행하도록 하는 제어신호를 출력하는 조작동작 관리부; 및 외부 디바이스로 데이터를 송수신하는 네트워크부를 포함하고, 상기 제1 조작기구 감지부는 상기 감지된 제1 조작기구에 배열되는 복수의 접점들의 위치로 구성되는 패턴에 기초하여, 제1 조작기구를 식별할 수 있다.

개시된 실시예에 의한 터치 스크린 디바이스와, 이를 이용한 제어 시스템 및 제어 방법은 터치 스크린에 표시되는 컨텐트의 제어를 직관적이고 용이하게 제어할 수 있게 한다.

도 1 은 다양한 실시예에 따른 터치 스크린 디바이스의 블록도를 도시한다.
도 2 는 다양한 실시예에 따른 조작기구들을 도시한다.
도 3 은 다양한 실시예에 따른 가이더 조작기구를 도시한다.
도 4 내지 도 6 는 다양한 실시예에 따른 조작기구의 센싱 방식을 도시한다.
도 7 은 다양한 실시예에 따른 조작기구 식별 방법의 흐름도를 도시한다.
도 8 은 다양한 실시예에 따른 가이더 조작기구의 식별 정보 및 조작영역을 도시한다.
도 9 는 일 실시예에 따른 가이더 조작기구를 등록하는 방법의 흐름도를 도시한다.
도 10 은 일 실시예에 따른 조작기구를 식별하는 방법의 흐름도를 도시한다.
도 11 은 다양한 실시예에 따른 조작기구 조작 방법의 흐름도를 도시한다.
도 12 는 다양한 실시예에 따른 조작기구들의 등록 방법의 흐름도를 도시한다.
도 13 은 다양한 실시예에 따른 조작기구의 회전 상태를 도시한다.
도 14 는 다양한 실시예에 따른 조작기구의 회전 상태를 이용한 조작 방법을 도시한다.
도 15 는 다양한 실시예에 따른 조작영역에 대응되는 컨텐츠의 저장을 도시한다.
도 16, 17 및 18 은 다양한 실시예에 따른 조작영역을 도시한다.
도 19 은 다양한 실시예에 따른 조작동작 관리부와 애플리케이션의 연동 방법의 흐름도를 도시한다.
도 20 은 다양한 실시예에 따른 터치 스크린 디바이스와 외부 디바이스 간의 동작 공유 과정을 도시한다.
도 21 은 다양한 실시예에 따른 터치 스크린 디바이스와 보조 조작기구의 구조를 도시한다.
도 22 는 일 실시예에 따른 터치 스크린 디바이스를 이용한 실험 애플리케이션의 가상 실험 화면을 도시한다.
도 23 은 일 실시예에 따른 가상 실험 방법의 흐름도를 도시한다.
도 24 는 일 실시예에 따른 실험 애플리케이션의 가상 현미경 실험 화면을 도시한다.
도 25 는 일 실시예에 따른 실험 애플리케이션의 가상 실험 네비게이션 화면을 도시한다.
도 26 은 일 실시예에 따른 실험 애플리케이션의 가상 실험 네비게이션의 동작 방법의 흐름도를 도시한다.
도 27 은 일 실시예에 따라 복수 개의 터치 스크린 디바이스들이 실험 애플리케이션의 활동 내용을 모니터링하는 과정을 도시한다.
도 28 은 일 실시예에 따라 연동된 복수 개의 터치 스크린 디바이스들 중에서 관리 단말기의 모니터링 화면을 도시한다.
도 29 는 일 실시예에 따라 연동된 복수 개의 터치 스크린 디바이스들 중에서 관리 단말기의 동작 흐름도를 도시한다.
도 30 은 일 실시예에 따른 애플리케이션을 이용하기 위한 터치 스크린 디바이스의 구조를 도시한다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

또한 본 명세서에서, 조작기구에 의한 입력은, 터치 입력, 버튼 입력, 에어(Air) 입력 및 다중(multimodal) 입력 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.

또한, 본 명세서에서 “터치 입력”이란 터치 스크린 디바이스(100)에 제어 커맨드를 입력하기 위해 터치 스크린에 행하는 조작기구의 터치 제스처 등을 의미한다. 예를 들어, 본 명세서에서 기술되는 터치 입력에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭 등이 있을 수 있으나, 이에 제한되지 않는다.

또한, 본 명세서에서 “버튼 입력”은 사용자가 터치 스크린 디바이스(100)나 조작기구에 부착된 물리적인 버튼을 이용하여, 터치 스크린 디바이스(100)를 제어하는 입력을 의미한다.

또한, 본 명세서에서 "에어 입력"은, 사용자가 터치 스크린 디바이스(100)를 제어하기 위해 스크린의 표면 위 공중에서의 입력을 의미한다. 예를 들어, 에어 입력은, 사용자가 터치 스크린 디바이스(100)의 표면에 닿지 않은 채 조작기구의 보조 버튼을 누르고나, 조작기구를 이동시키는 입력을 포함할 수 있다. 터치 스크린 디바이스(100)는, 자기장 센서(Magnetic sensor) 등을 이용하여, 기 설정된 에어 입력을 감지할 수 있다.

또한, 본 명세서에서 “다중 입력”은, 적어도 둘 이상의 입력 방식이 결합된 것을 의미한다. 예를 들어, 터치 스크린 디바이스(100)는, 제1 조작기구에 의한 터치 입력과 제2 조작기구에 의한 에어 입력을 수신할 수도 있다. 또한, 터치 스크린 디바이스(100)는, 제1 조작기구에 의한 터치 입력 및 제2 조작기구의 버튼 입력을 수신할 수도 있다.

또한, 본 명세서에서, 입력 모드가 변경된다는 것은, 모바일 디바이스에 대한 사용자 입력을 수신하는 수단, 및 수신된 사용자 입력에 대응되는 동작이 변경되는 것을 의미한다. 예를 들어, 모바일 디바이스의 입력 모드가 변경되면, 모바일 디바이스는, 사용자 입력을 수신하기 위한 센서들 중 일부를 활성화 또는 비활성화할 수 있다. 또한, 예를 들어, 모바일 디바이스는 입력 모드에 따라 동일한 사용자 입력을 상이하게 해석할 수 있으며, 입력 모드에 따라 상이한 동작을 실행할 수 있다.

또한, 본 명세서에서 “애플리케이션”은 특정한 업무를 수행하기 위해 고안된 일련의 컴퓨터 프로그램 집합을 말한다. 본 명세서에 기술되는 애플리케이션은 다양할 수 있다. 예를 들어, 학습 애플리케이션, 가상 실험 애플리케이션, 게임 애플리케이션, 동영상 재생 애플리케이션, 지도 애플리케이션, 메모 애플리케이션, 캘린더 애플리케이션, 폰 북 애플리케이션, 방송 애플리케이션, 운동 지원 애플리케이션, 결제 애플리케이션, 사진 폴더 애플리케이션 등이 있을 수 있으나, 이에 한정되는 것은 아니다.

또한, 본 명세서에서, 객체는, 소정의 정보를 나타내는 정지영상, 동영상 및 텍스트로서, 터치 스크린 디바이스(100)의 스크린에 표시될 수 있다. 객체는, 예를 들어, 사용자 인터페이스, 애플리케이션의 실행 결과, 콘텐트의 실행 결과, 콘텐트의 목록 및 아이콘을 포함할 수 있으나, 이에 제한되지 않는다.

이하 첨부된 도면을 참조하여 다양한 실시예에 따른 터치 스크린 디바이스의 구조 및 터치 스크린 디바이스의 동작 방법에 대해 상술한다.

도 1 은 다양한 실시예에 따른 터치 스크린 디바이스(100)의 블록도를 도시한다.

다양한 실시예에 따른 터치 스크린 디바이스(100)는, 터치 스크린부(110), 제1 조작기구 감지부(120), 제2 조작기구 감지부(130), 조작동작 관리부(140) 및 네트워크부(150)를 포함한다.

다양한 실시예에 따른 터치 스크린부(110)는, 디스플레이부와 터치 패널로 구성될 수 있다. 터치 패널이 디스플레이부 상단에 위치하거나 하단에 위치할 수 있다. 터치 패널은 조작기구 또는 신체 부위의 접근 또는 접촉에 따른 사용자 입력을 감지하기 위한 구성요소이다. 디스플레이부는 영상 데이터를 전기적 영상 신호로 변환하여 디스플레이 화면을 출력하기 위한 구성요소이다. 다만, 본 명세서에서 터치 스크린부(110) 상의 조작 또는 동작이라고 기술되더라도, 터치 패널에 대한 조작 또는 동작으로 해석될 수 있다.

다양한 실시예에 따른 제1 조작기구 감지부(120)는, 터치 스크린부(110) 상에서 제1 조작기구의 접촉을 감지하면, 제1 조작기구의 접촉 위치를 결정할 수 있다. 접촉 위치가 사용자 커맨드가 입력된 입력위치로 결정될 수 있다.

다양한 실시예에 따른 제2 조작기구 감지부(130)는, 제2 조작기구의 접근을 감지하면, 제2 조작기구의 입력 위치를 결정할 수 있다.

제1 조작기구 감지부(120)는, 정전식 센서를 구비하여 터치 스크린부(110)의 표면 아래의 정전용량의 변화를 감지할 수 있다. 제1 조작기구 감지부(120)는, 터치 스크린부(110)의 표면 아래의 정전용량 중에서 제1 조작기구의 동작에 의해 전하량이 변하면 제1 조작기구의 접촉을 감지하고, 전하량 변화가 발생한 지점에 기초하여 제1 조작기구의 입력 위치를 결정할 수 있다.

제2 조작기구 감지부(130)는, 자기장 센서 및 전자기 유도 장치를 구비한다. 전자기 유도 장치에 의해 생성되는 터치 스크린부(110) 표면 위 전자기 공간 내에서 자기장 변화를 발생하면 자기장 센서가 자기장 변화를 감지할 수 있다. 제2 조작기구 감지부(130)는, 전자기 공간에서 자기장 변화가 발생하면 제2 조작기구의 접근 또는 접촉을 감지하고, 자기장 변화가 발생한 지점에 기초하여 제2 조작기구의 입력 위치를 결정할 수 있다.

본 명세서에서, 터치 스크린부(110)에 대한 커맨드 입력을 위해 조작기구를 이용하는 동작의 양태를 조작 제스처라 칭한다.

일 실시예에 따른 제1 조작기구의 조작 제스처는, 터치 스크린부(110)의 표면에 대한 제1 조작기구의 접촉 동작을 포함할 수 있다.

일 실시예에 따른 제2 조작기구의 조작 제스처는, 터치 스크린부(110)의 표면에 대한 제2 조작기구의 접촉동작, 터치 스크린부(100)의 평면으로부터 수직거리 이내에 떨어져 위치하는 제2 조작기구의 에어 입력동작, 제2 조작기구의 보조 버튼의 입력동작을 포함할 수 있다.

뿐만 아니라 조작 제스처는, 제1 조작기구 및 제2 조작기구 중 적어도 하나의 조작기구의 단일 입력동작 또는 적어도 하나의 조작기구의 일련의 입력동작들일 수 있다.

또한 제2 조작기구 감지부(130)는, 제1 조작기구 상에서 움직이는 제2 조작기구의 조작 제스처를 감지할 수 있다. 제2 조작기구 감지부(130)는, 제1 조작기구의 접촉에 의해 결정되는 조작영역 내에서 제2 조작기구의 조작제스처를 감지할 수 있다.

다양한 실시예에 따른 조작동작 관리부(140)는, 각 조작기구의 조작 제스처들에 대응하여 터치 스크린 디바이스(100)에서 수행될 동작들이 등록된 인터랙션 DB(Database)를 저장하고 있다.

다양한 실시예에 따른 인터랙션 DB에 포함된 인터랙션 객체는, 조작기구의 각 조작 제스처마다 대응되는 동작에 대한 정보를 포함할 수 있다.

다양한 실시예에 따른 조작동작 관리부(140)는, 인터랙션 DB에 저장된 기 등록된 동작들 중에서, 제1 조작기구 감지부(120)에서 감지된 제1 조직기구의 조작 제스처 또는 제2 조작기구 감지부(130)에서 감지된 제2 조직기구의 조작 제스처에 대응하는 동작을 결정할 수 있다. 조작동작 관리부(140)는, 결정된 동작을 수행할 것을 요청하는 제어신호를 해당 동작부에 전송할 수 있다.

제1 조작기구 감지부(120)가 터치 스크린부(110) 상에 제1 조작기구의 입력이 있음을 감지하면서, 제2 조작기구 감지부(130)에 의해 제1 조작기구에 의해 결정되는 조작영역 내에서 제2 조작기구의 조작제스처가 감지된다면, 일 실시예에 따른 조작동작 관리부(140)는, 제1 조작기구 위에서의 제2 조작기구의 입력이 있는 것으로 결정할 수 있다.

일 실시예에 따른 인터랙션 DB에, 제1 조작기구의 조작영역 내에서 감지되는 제2 조작기구의 조작 제스처에 대응하는 동작에 대한 정보가 등록될 수 있다.

조작동작 관리부(140)는, 인터랙션 DB에 저장된 기 등록된 동작들 중에서, 제1 조작기구 위에서의 제2 조작기구의 조작 제스처 또는 조작영역 내에서의 제2 조작기구의 조작 제스처에 대응하는 동작을 결정할 수 있다.

다양한 실시예에 따른 터치 스크린 디바이스(100)는, 애플리케이션을 설치하고 실행하는 애플리케이션 실행부(미도시)를 더 포함할 수 있다. 애플리케이션은, 터치 스크린 디바이스(100)의 입력 수단, 즉 제1 조작기구와 제2 조작기구를 이용하는 사용자 입력에 기초하여 수행되는 다양한 이벤트 동작들에 대한 정보를 제공할 수 있다.

일 실시예에 따른 조작동작 관리부(140)는, 애플리케이션이 실행되면 애플리케이션에서 정의된 가상 조작영역과 적어도 하나의 조작기구들의 조작 제스처에 대응하는 이벤트에 대한 정보를, 조작동작 관리부(140)의 인터랙션 DB와 조작기구 등록 DB에 연동시킬 수 있다.

애플리케이션은, 가상 조작영역에 대한 조작기구의 입력에 대응하는 이벤트 동작을 정의할 수도 있다. 애플리케이션 실행부(미도시)에서 애플리케이션을 실행할 때, 조작동작 관리부(140)는 가상 조작영역 내에서 제2 조작기구의 현재 조작 제스처가 감지되면, 현재 조작 제스처에 대응되는 이벤트의 동작들을 결정할 수 있다.

다양한 실시예에 따른 터치 스크린 디바이스(100)는, 조작동작 관리부(120)에서 결정된 동작이 수행된 결과 화면을 터치 스크린부(110)에 디스플레이할 수도 있다.

다양한 실시예에 따른 네트워크부(150)는, 외부 디바이스로 데이터를 송수신할 수 있다. 터치 스크린 디바이스(100)에서 재생중인 디스플레이 화면이나 이벤트 동작에 대한 정보를, 외부 디바이스로 전송하여 공유할 수도 있다. 터치 스크린 디바이스(100)와 외부 디바이스와의 데이터 공유에 대한 다양한 실시예는, 도 15, 20, 27 및 28을 참조하여 후술한다.

도 2 는 다양한 실시예에 따른 조작기구들을 도시한다.

터치 스크린 디바이스(100)는 다른 방식에 의해 감지되는 복수 개의 조작기구를 이용한 사용자 입력에 의해 제어될 수 있다. 예를 들어, 터치 스크린 디바이스(100)를 위한 조작기구로서, 가이더 조작기구(300)와 보조 조작기구(200)가 사용될 수 있다.

보조 조작기구(200)는 도 2(a)에 도시된 바와 같이, 몸체와 접촉부(210)로 구성되며, 보조 조작기구(200)의 몸체에 보조 버튼(220)이 위치한다. 접촉부(210)는, 터치 스크린 디바이스(100)의 터치 패널에 압력을 가하기 위한 물리적 수단이 될 수 있다. 또한, 정전 센서 또는 자기장 센서에 의해 감지된 접촉부(210)의 위치가, 보조 조작기구(200)의 입력 지점으로 결정될 수 있다. 접촉부(210)의 누르는 감도, 터치 횟수 등에 따라 조작 제스처가 구별될 수 있다.

보조 버튼(220)은 보조 조작기구(200)의 또 다른 입력수단으로, 누름(press) 상태, 반복 누름 상태, 반복 누름의 횟수, 해제(release) 상태 등의 조작 제스처가 식별될 수 있다.

따라서, 보조 조작기구(200)의 접촉부(210)의 조작 제스처 및 보조 버튼(220)의 조작 제스처가 다양하게 조합됨에 따라, 보조 조작기구(200)의 조작 제스처가 더 다양해질 수 있다.

도 2(b)에 도시된 바와 같이, 보조 조작기구(200)의 다른 예로 인체의 일부 부분(250)이 될 수 있다. 터치 스크린 디바이스(100)은 인체의 접촉을 감지할 수 있으며, 인체의 접촉을 감지하는 방법으로는 적외선, 광학, 고주파, 자기 및 정전용량 등 다양한 방법이 있을 수 있다. 앞서 예를 든 스타일러스 펜(stylus pen) 형식의 보조 조작기구(200)의 경우에는 몸체에 보조 버튼(220)이 위치할 수 있으나, 인체가 보조 조작기구(250)로 조작되는 경우에는 보조 버튼이 없으므로 단말에서 다양한 조작 제스처를 식별할 수 없다. 따라서, 별도로 인체에 착용된 보조 버튼의 입력을 수신하거나, 신체 간의 접촉(예를 들어, 단말의 터치 스크린에 신체 간의 접촉을 감지하는 센서가 존재하여, 보조 조작기구로 사용되는 검지에 엄지를 접촉하여 발생하는 접촉 정보의 변화값을 감지할 수 있다)이 수행되는 인체의 일부분을 감지하여 다양한 조작 제스처를 식별할 수 있다.

가이더 조작기구(300)는, 가이더 바디부(310)와 1개 이상의 접촉부(320)로 구성될 수 있다. 가이더 바디부(310)는 투명, 반투명 또는 불투명한 재질일 수 있다. 접촉부(320)는, 터치 스크린부(110)의 전하량 변화를 야기할 수 있는 소재로, 가이더 바디부(310)의 소정 지점에 위치할 수 있다.

도 2에서는, 설명의 편의를 위해 펜 형상의 보조 조작기구(200)(또는 손가락 으로서의 보조 조작기구(250))와 자 형상의 가이더 조작기구(300)가 도시되어 있지만, 이에 한정되지 않음에 유의하여야 한다. 예를 들어, 가이더 조작기구(300)는, 물체의 크기, 무게, 두께나 부피와 상관없이, 구, 원통, 원뿔, 육면체 등과 같은 기하학적 물체나 별 형상과 같은 비정형 물체여도 무방할 것이며, 터치 스크린부(110)의 전하랑 변화를 야기할 수 있는 접촉부(320)가 있는 물체이면 충분하다.

또한, 도 2에서 접촉부(320)가 가이더 바이드(310)에서 가장 먼 거리에 위치하고 있지만, 이에 한정되지 않음에 유의하여야 한다. 예를 들어, 접촉부(320)의 개수, 형태, 위치, 거리 등에 상관없이, 터치 스크린부(110)의 전하랑 변화를 야기할 수 있는 소재이면 충분하다.

도 3 은 다양한 실시예에 따른 가이더 조작기구를 도시한다.

자 형상의 가이더 조작기구(300)의 가이더 바디부(310)의 재질은 투명한 부도체에 터치 스크린부(110)에 접촉할 접촉부(320)는 전하가 정전(靜電)될 수 있는 도체일 수 있다. 또한 접촉부(320)에 전하가 집전하기 위해서 전하가 이동할 수 있도록 적어도 둘 이상의 접촉부(320)는 도체로 연결될 수 있다. 따라서, 가이더 조작기구(300)의 접촉부(320)이 터치 스크린부(110)에 접촉될 경우, 터치 스크린부(110)에서는 접촉부(320)을 통해 전하의 이동을 감지할 수 있어, 접촉 여부를 판단할 수 있다. 또는, 사용자의 손이 도체에 접촉하면 접촉부(320)가 용이하게 정전될 수 있다. 접촉부(320)는 가이더 조작기구(300)의 상단 표면 및 하단 표면에 각각 위치할 수도 있다.

주사위와 같은 정육면체 형상의 가이더 조작기구도 이용될 수 있다. 가이더 조작기구는 부도체의 정육면체 물체의 6방향의 각 표면에 주사위와 같이 1개, 2개, 3개, 4개, 5개, 6개의 접촉부가 부착되어 있을 수 있다. 각 접촉부는 도체로, 적어도 하나의 다른 접촉부와 연결되어 있을 수 있어 전하가 정전될 수 있다. 따라서, 가이더 조작기구의 6개 표면 중 어느 쪽이 터치 스크린부(110)에 접촉하더라도, 터치 스크린부(110)는 가이더 조작기구의 터치 조작제스처를 감지할 수 있다. 또한 터치 스크린부(110)에서 각 표면마다 감지되는 접촉부의 개수가 다르므로, 터치 스크린부(110)는 가이더 조작기구의 어느 표면이 감지되는지도 분서할 수 있다.

이하 설명의 편의를 위해 터치 스크린 디바이스(100)를 조작하기 위한 제1 조작기구로서, 자 형상의 가이더 조작기구(300)가 이용될 것이다. 다만, 다양한 실시예에 따른 터치 스크린 디바이스(100)를 위한 가이더 조작기구가 자 형상의 가이더 조작기구(300)에 제한되지 않음에 유의하여야 한다.

도 4 내지 도 6 는 다양한 실시예에 따른 조작기구의 센싱 방식을 도시한다.

도 4 의 실시예에 따르면, 터치 스크린 디바이스(100)의 터치 스크린부(110) 내부에 소정 정전용량의 전하들이 축전되어 있다. 일 실시예에 따른 가이더 조작기구(300)의 접촉부(320)가 터치 스크린부(110)의 표면 상에 접촉하면, 터치 스크린부(100)의 터치 패널 내의 축전전하 중에서 접촉부(320) 지점에 상대적으로 (+) 전하들이 집전되어, 터치 패널 내의 전하량의 분포가 변한다.

또한, 터치 스크린부(110)은 수직(112) 및 수평(114)으로 직교되어 전하가 이동하는 도선(116) 등을 포함할 수 있다. 서로 직교하는 도선 위에 전하의 변화(118)이 감지될 경우, 감지된 변화값에 기초하여, 터치 스크린부(110)의 특정 영역에 가이더 조작기구(300)이 위치하였음을 판단할 수 있다. 따라서 가이더 조작기구(300)의 위치에 따라서 조작영역을 결정할 수 있다.

제1 조작기구 감지부(120)의 정전식 센서가 터치 패널 내의 전하량 변화를 감지하고, 접촉부(320)의 위치를 결정할 수 있다. 조작동작 관리부(140)는, 접촉부(320)의 위치, 크기, 거리, 형태에 기초하여 가이더 조작기구(300)를 식별하고 조작영역을 결정할 수 있다.

도 5의 실시예에 따르면, 터치 스크린부(110)의 터치 패널 상에 위치한 가이더 조작기구(300) 상에서, 보조 조작기구(200 또는 250)의 조작이 터치 스크린 상에 감지될 수 있다. 이 때, 가이더 조작기구(300) 상에서의 펜 형상의 보조 조작기구(200)의 조작과, 가이더 조작기구(300) 상에서의 손가락 타입의 보조 조작기구(250)의 조작은, 터치 스크린부(110)에서 서로 다른 신호로 감지될 수 있다. 터치 스크린 디바이스(100)는 감지된 두 종류의 신호를 서로 동일한 조작 신호로 판단할 수 있다.

도 6의 실시예에 따르면, 터치 스크린 디바이스(100)의 전자기장 유도 장치(410, 420)가 터치 스크린부(110) 상에 전기적으로 자기장을 발생시킬 수 있다. 보조 조작기구(200 또는 250)가 자기장 내에서 움직이면 자기장의 밀도나 세기가 변화가 발생한다.

제2 조작기구 감지부(130)의 자기장 센서는 터치 스크린부(110) 상의 자기장 변화를 감지하여, 제2 조작기구(200 또는 250)의 위치를 파악할 수 있다. 조작동작 관리부(140)는, 보조 버튼(220)의 동작 상태에 기초하여 보조 조작기구(300)를 식별할 수 있다.

또한, 터치 스크린부(110)의 표면에 가이더 조작기구(100)가 접촉하고 조작영역이 설정된 상태에서, 가이더 조작기구(100) 위에서 또는 조작영역 내에서 제2 조작기구(200 또는 250)의 접촉부(210)가 움직임에 따라 조작 제스처가 감지될 수 있다. 정전 센서가 가이더 조작기구(300)의 접촉을 감지하고 있는 동시에, 자기장 센서가 보조 조작기구(200 또는 250)의 움직임을 감지할 수 있다. 조작동작 관리부(140)는, 제2 조작기구(200 또는 250)의 접촉부(210) 및 보조 버튼(220)의 조작 제스처에 기초하여 대응하는 이벤트 동작을 결정할 수 있다.

도 7 은 일 실시예에 따른 조작기구 식별 방법의 흐름도를 도시한다.

단계 S710에서, 터치 스크린 디바이스(100)의 터치 스크린부(110)은 제1 조작기구의 접접(접촉점)을 인식할 수 있다. 앞서 설명한 바와 같이, 가이더 조작기구(300)의 접점은 서로 도체로 연결될 수 있으므로, 터치 스크린부(110)에 가이더 조작기구(300)이 접촉될 경우, 터치 스크린부(110)는 접점을 통해 이동하는 전하의 변화를 감지하여 가이더 조작기구(300)의 접점을 인식할 수 있다.

단계 S720에서, 터치 스크린부(110)은 접촉된 접점 중에서 기설정된 형태의 접점 주변의 그리드 패턴을 감지할 수 있다. 본 개시에서의 그리드 패턴이라 함은, 모눈종이와 같이 단순히 2차원 격자무늬(lattice)를 의미하는 것이 아니라, 2차원 격자무늬 상에 접점들이 배열된 상태를 의미하는 것으로 이해하는 것이 바람직하다. 격자무늬는 가이더 조작기구(300)에 표시되어 있을 수 있고, 또는 표시되어 있지는 않지만, 가이더 조작기구(300)의 접점들이 일정한 간격을 가지고 배열된 경우, 그리드 패턴이라 이해할 수 있다. 가이더 조작기구(300)에는 복수의 접점이 존재할 수 있으며, 이 접점들 중에는 특정 형태의 접점이 기 설정되어 있을 수 있다. 기설정된 형태의 접점은 가이더 조작기구(300) 고유의 정보를 나타내는 식별 정보로 활용될 수 있다.

단계 S730에서, 터치 스크린 디바이스(100)은 감지된 그리드 패턴을 조작기구 등록 데이터베이스(DB)에서 검색하고 매칭하여, 가이더 조작기구(300)를 식별할 수 있다. 이 때의 DB는 터치 스크린 디바이스(100) 내부의 DB일 수 있고, 또는 외부에 위치한 DB에서 검색하고 매칭하여 식별할 수도 있다.

도 8 은 일 실시예에 따른 가이더 조작기구의 식별 정보 및 조작영역을 도시한다.

도 8(a)에 도시된 바와 같이, 가이더 조작기구(300)는 가이더 바디부(310)에 접촉부(320)를 하나 이상 포함할 수 있다. 접촉부(320) 중에는 기설정된 형태의 접촉부(275)가 포함될 수 있다. 기설정된 형태의 접촉부(275)는 다른 접촉부(320)와는 다른 전하 이동량을 발생시킬 수 있으며, 다른 접촉부(320)와는 다른 접촉부(275)로 식별될 수 있다. 기설정된 형태는 2차원 또는 3차원적 형상일 수 있으며, 터치 스크린 디바이스(100)의 조작동작 관리부(140)은 접촉부의 형상 정보를 식별할 수 있다.

다양한 실시예에 따른 조작동작 관리부(140)는, 가이더 조작기구(300)의 접촉 상태에 기초하여 가이더 조작기구(300)를 식별할 수 있다. 제1 조작기구 감지부(120)는, 가이더 조작기구(300)의 접촉부(320)가 터치 스크린부(110)의 터치 패널에 접촉됨을 감지하고, 접촉부(320)의 개수, 형태, 면적, 거리 등을 감지할 수 있다. 조작동작 관리부(140)는, 가이더 조작기구(300)의 접촉부(320)의 개수, 형태, 면적, 거리 중 적어도 하나에 기초하여, 가이더 조작기구(300)를 식별할 수 있다.

즉, 가이더 조작기구(300)의 식별 정보는, 접촉부(320)의 개수, 형태, 면적, 거리 중 적어도 하나를 포함할 수 있다. 조작동작 관리부(140)의 조작기구 등록 DB에, 접촉부(320)의 개수, 형태, 면적, 거리 중 적어도 하나를 포함하는 가이더 조작기구(300)의 식별 정보가 등록될 수 있다. 예를 들어, 접촉부(320) 간의 거리는 픽셀 단위로 설정될 수도 있다.

또한, 식별 정보가 등록된 가이더 조작기구(300)에 대해서, 조작기구 ID, 기구 타입, 조작 정보, 형상 정보 중 적어도 하나를 포함하는 등록정보가, 조작기구 등록 DB에 저장될 수 있다.

가이더 조작기구(300)에 대한 조작 정보는 입력된 조작제스처가 제어 신호로 해석될 수 있도록, 가이더 조작기구(300)의 접촉이나 입력 형태에 대한 정보를 나타낸다. 예를 들어 가이더 조작기구(300)의 조작 정보는 가이더 조작기구(300)의 접촉 횟수, 방향, 감도, 시간 등의 조작 패턴에 대한 정보를 포함할 수 있다.

가이더 조작기구(300)에 대한 형상 정보는, 가이더 조작기구(300)의 형상에 대한 정보를 포함할 수 있다. 예를 들어, 가이더 조작기구(300)가 터치 스크린부(110) 상에 놓였을 때 4개의 특징점들의 좌표 정보, (0, 0), (100, 0), (100, 50), (0, 50) 가 형상 정보로서 결정될 수 있다.

식별된 가이더 조작기구(300)의 형상 정보는, 가이더 조작기구(300)의 조작영역(800)으로 이용될 수도 있다. 즉, 조작동작 관리부(140)는, 조작기구 등록 DB에 기초하여 가이더 조작기구(300)를 식별하면, 등록 DB에 기저장된 형상 정보에 기초하여 터치 스크린부(110) 상에 가이더 조작기구(300)에 따른 조작 영역(800)을 결정할 수 있다.

따라서 다양한 실시예에 따른 조작동작 관리부(140)는, 조작기구 등록 DB에 기등록된 조작기구들의 식별 정보 중에서, 현재 감지된 가이더 조작기구(300)의 접촉 상태에 기초하여 가이더 조작기구(300)를 식별하고, 기등록된 조작기구들의 형상 정보에 기초하여 가이더 조작기구(300)의 조작영역(800)을 결정할 수 있다.

또한, 다양한 실시예에 따른 조작동작 관리부(140)는, 조작기구 등록 DB에 기등록된 조작기구들의 식별 정보 중에서, 현재 감지된 보조 조작기구(200)의 접근 상태에 기초하여 보조 조작기구(200)를 식별할 수 있다. 보조 조작기구(200)는, 터치 입력 및 보조 버튼 입력뿐만 아니라 에어 입력도 가능하므로 접촉 상태가 아닌 접근 상태로도 식별될 수 있다. 앞서 손가락(250) 터치를 통해서도 보조 조작기구를 식별할 수 있다. 조작기구 등록 DB에 기등록된 보조 조작기구(200)의 식별 정보는, 보조 조작기구(200)의 보조 버튼(220)의 누르는 세기 또는 해제 감도 중 적어도 하나를 포함할 수 있다. 또는, 보조 버튼(220)을 누른 상태에서 터치 스크린(110)과 접촉부(210) 간의 거리가 식별 정보로 이용될 수도 있다.

조작기구 등록 DB에 저장된 식별 정보에 기초하여 보조 조작기구(200)가 식별되면, 조작기구 등록 DB에 저장된 보조 조작기구(200)의 조작 정보에 기초하여 보조 조작기구(200)의 조작 제스처가 분석될 수 있다. 예를 들어, 보조 조작기구(200)의 조작 정보는, 보조 조작기구(200)의 접촉부(21)의 접촉 감도 또는 해제 감도, 접촉부(210)와 터치 스크린부(210) 간의 거리, 보조 버튼(220)을 반복하여 누르는 횟수, 누르는 시간, 접촉부(210)의 접촉 횟수, 접촉 시간 중 적어도 하나를 포함할 수 있다.

다양한 실시예에 따른 터치 스크린 디바이스(100)가 감지한 조작기구를 식별하기 위해서는, 조작기구 등록 DB에 조작기구의 식별 정보 및 조작기구의 조작 정보를 등록하는 동작을 미리 수행할 수 있다.

도 8(b)에 도시된 바와 같이, 접촉부(320)는 기설정된 형태의 접촉부(275)일 수 있고, 기설정된 형태의 접촉부(275)는 ‘L’자 형태일 수 있다. 이하 설명의 편의상 ‘L자 접촉부’라고 부르기로 한다. L자 접촉부(275)의 형태는 x축 및 y축의 2차원 형태를 가지며, L자 접촉부(275)를 사각형의 두 측면으로 한 그리드(grid) 좌표(330)가 위치할 수 있다. 이 그리드 좌표(330)에 하나 이상의 접점이 배열될 수 있고, 접점들은 2차원 좌표 값으로 그 위치가 지시될 수 있다. 터치 스크린부(110)는 L자 접촉부(275) 및 L자 접촉부(275) 주변에 위치한 2차원 좌표 값으로 표현할 수 있는 접점들을 감지할 수 있어, 이 정보에 기초하여 가이더 조작기구(300)를 식별할 수 있다.

조작동작 관리부(140)는 L자 접촉부(275) 주변에 배열된 접접들의 조합을 하나의 그리드 패턴(grid pattern)으로서 식별할 수 있다. 조작동작 관리부(140)는 조작기구 등록 DB에 기초하여 그리드 패턴에 대응되는 가이더 조작기구를 식별할 수 있으며, 따라서, 가이더 조작기구(300)에 포함되는 그리드 패턴은 가이더 조작기구(300) 고유의(unique) 식별정보가 될 수 있다.

L자 접촉부(275) 주변에 그리드 패턴을 배열하는 이유는 다음과 같다. L자의 경우, 두 방향으로의 축이 서로 직교하여(orthogonally) 만나는 형태를 가지고 있다. 따라서, L자 접촉부(275) 형태로 접촉부를 구성할 경우, x축 및 y축의 2차원 좌표를 형성할 수 있다. 또한 L자 접촉부(275)의 회전 상태를 용이하게 감지할 수 있어, 조작영역 결정에 있어서 터치 스크린부(110) 상의 가이더 조작기구(300)의 회전 상태를 반영할 수 있는 유리한 효과가 있다. 따라서, 2차원 좌표를 형성할 수 있는 형태로 설정하면 되고, 반드시 L자로 제한하지는 않는다.

L자 접촉부(275) 오른편에는 2차원 그리드 좌표가 형성될 수 있다. 반드시 외부로 표시된 2차원 그리드 좌표일 필요는 없으며, 그리드 좌표 상에 배열되는 접점들을 하나의 좌표값들로서 식별할 수 있으면 충분하다.

도 8(b)에 도시된 바와 같이, L자 접촉부 주변에(오른쪽에) 접점들이 배열될 수 있으며, 접점들은 소정의 형상(X자)을 나타낼 수 있다. X축 및 Y축이 만나는 교점을 (x,y) = (0,0)이라고 임의적으로 설정할 경우, 도 8(b)에 배열된 접점들은 좌표 값으로 표시할 수 있다. 가장 아래인 첫번째 행(y=0)에는 (1,0)으로 표시될 수 있는 점점이 배열되어 있고, 두번째 행(y=1)에는 (0,1),(1,1),(2,1),(3,1)으로 표시될 수 있는 점점들이 배열되어 있다. 세번째 행(y=2)에는, (1,2),(2,2),(3,2)으로 표시될 수 있는 점점들이 배열되어 있고, 가장 위인 네번째 행(y=3)에는, (1,3)으로 표시될 수 있는 점점이 배열되어 있다. 따라서, (x,y) = (1,0), (0,1),(1,1),(2,1),(3,1),(1,2),(2,2),(3,2),(1,3) 의 조합인 하나의 그리드 패턴을 구성할 수 있다. 조작동작 관리부(140)는 상기 좌표값을 가지는 접점들이 L자 접촉부(275) 주변에서 감지될 경우, 이러한 그리드 패턴을 조작기구 등록 DB에서 검색하여 매칭하여 고유의 가이더 조작기구(300)로서 식별할 수 있다.

상기 설명한 바와 같이, 그리드 패턴은 좌표값들의 조합에 의해서 형성될 수 있으므로, x*y의 크기가 큰 그리드 좌표일수록 많은 가이더 조작기구를 식별할 수 있는 정보를 포함할 수 있다. 수학적으로는 N*N의 정사각형의 그리드 좌표일 경우, 2N*N-1개의 그리드 패턴을 식별할 수 있다.

도 9 는 일 실시예에 따른 가이더 조작기구를 등록하는 방법의 흐름도를 도시한다. 이하에서는 기설정된 형태의 접촉부가 L자 접촉부일 경우를 전제로 설명한다.

단계 S910에서, 터치 스크린부(110)는 가이더 조작기구와의 접점을 인식할 수 있다. 터치 스크린 디바이스(100)에 내장된 센서를 통하여 접촉부에 위치한 접점에 따른 전하량 변화 또는 전자기량 변화 등을 감지할 수 있어, 접점을 인식할 수 잇다.

단계 S920에서, L자 접점을 검색하여 L자 접촉부의 위치를 감지할 수 있다. L자 접촉부는 다른 접촉부들과 식별되는 형태이므로 감지가 가능하다.

단계 S930에서 터치 스크린 디바이스(100)는 L자 접점 주변의 데이터 포인트의 위치를 저장할 수 있다. 데이터 포인트라 함은 앞서 설명한 2차원 좌표값을 가지는 접점을 의미한다. 하나의 식별자료로서 이용되므로 데이터 포인트(data point)라고 부를 수 있다. 데이터 포인트를 저장하는 곳은 디바이스 내부의 조작기구 등록 DB가 될 수 있으며, 외부 디바이스의 DB가 될 수도 있다.

단계 S940에서, 터치 스크린 디바이스(100)는 저장된 데이터 포인트의 위치를 L자 접점의 우상(right-upright)의 위치를 기준으로 정렬할 수 있다. 이 단계는 데이터 포인트의 위치를 L자 접점이 아닌 다른 기준으로 재배열(re-ordering)하여 데이터 포인트의 위치를 정확하게 식별하기 위한 단계로서, 생략가능한 단계이다.

단계 S950에서, L자 접점의 각도를 계산하여, 이 계산값에 기초하여 가이더 조작기구(300)의 터치 스크린부(110) 상에서의 각도를 계산할 수 있다. 가이더 조작기구(300)의 L자 접촉부를 가이더 조작기구(300)의 외형과 평행하게 구성할 수 있으므로, 터치 스크린 디바이스(100)는 L자 접촉부의 회전 상태는 곧, 가이더 조작기구(300)의 회전 상태로 인식할 수 있다. 가이더 조작기구(300)의 회전 상태는 가이더 조작기구(300)의 식별에 반드시 필요한 정보가 아니므로, 이 단계 역시 생략가능하다. 따라서, 터치 스크린 디바이스(100)는 상기 데이터 포인트들의 위치로 형성된 그리드 패턴을 DB에 저장하여 가이더 조작기구(300)의 식별 정보로 이용할 수 있다. DB에는 그리드 패턴 이외에 가이더 조작기구(300)에 대한 식별 정보를 함께 저장할 수 있으며,

도 10 은 일 실시예에 따른 조작기구를 식별하는 방법의 흐름도를 도시한다. 앞서 도 9와 마찬가지로 L자 접촉부를 전제로 하여 설명하기로 한다.

단계 S1010에서, 터치 스크린 디바이스(100)는 가이더 조작기구(300)의 접점을 인식할 수 있다. 앞에서 자세히 설명하였으므로 설명은 생략한다.

단계 S1020에서, 터치 스크린 디바이스(100)는 터치 스크린부(110)의 감지 정보를 통하여 L자 접점이 인식되었는지를 판단할 수 있다. L자 접점의 경우, 다른 접점들과 다른 전하 변화값을 가지므로 이에 기초하여 L자 접점이 인식되었는지를 판단할 수 있다.

단계 S1030에서, L자 주변에 정렬된 데이터 포인트 위치를 이용하여 그리드 패턴 ID를 결정할 수 있다. L자 접점 주변에 데이터 포인트(접점)들이 배열되어 있음은 터치 스크린 디바이스(100)에서 이미 알고 있으므로, 데이터 포인트의 위치를 좌표값으로 계산하여 이들의 조합으로 그리드 패턴 ID를 결정할 수 있다. 같은 그리드 패턴을 가지는 가이더 조작기구(300)는 없다는 전제를 하였으므로, 그리드 패턴을 하나의 식별 정보로서 결정할 수 있다.

단계 S1040에서, 결정된 그리드 패턴 ID를 터치 스크린 디바이스(100)에 저장할 수 있다. DB를 검색하여 저장된 그리드 패턴 ID에 매칭되는 가이더 조작기구(300)의 정보를 획득할 수 있다. 이러한 조작기구의 정보에는 가이더 조작기구(300)의 조작영역에 관한 정보가 포함될 수 있다.

앞에서는 제1 조작기구인 가이더 조작기구(300)를 등록하고 식별하는 방법에 대하여 설명하였다. 제1 조작기구의 조작영역에 관한 정보를 알 수 있으며, 조작영역 상에서 제2 조작기구인 보조 조작기구의 조작이 터치 스크린부(110)에 감지될 수 있다. 따라서, 이하에서는 제1 조작기구 및 제2 조작기구를 함께 감지하고, 감지된 정보에 기초한 터치 스크린 디바이스(100)의 동작을 설명하기로 한다.

도 11 은 다양한 실시예에 따른 터치 스크린 디바이스(100)의 동작 방법의 흐름도를 도시한다.

단계 S1110에서, 제1 조작기구 감지부(120)는 터치 스크린부(110) 상에 감지된 가이더 조작기구(300)의 접촉을 기초로, 가이더 조작기구(300)를 식별할 수 있다.

단계 S1120에서, 조작동작 관리부(140)는 가이더 조작기구(300)의 접촉 영역에 기초하여 터치 스크린부(110) 상에 조작영역을 설정할 수 있다.

단계 S1130에서, 제2 조작기구 감지부(130)는 터치 스크린부(110) 상에 감지된 보조 조작기구(200)의 접근에 기초하여 보조 조작기구(200)를 식별할 수 있다.

단계 S1140에서, 제2 조작기구 감지부(130)는, 터치 스크린부(110)에 접촉한 가이더 조작기구(300) 상에서 움직이는 보조 조작기구(200)에 의해 조작영역 내에서 생성되는 조작 제스처를 감지할 수 있다.

단계 S1150에서, 조작동작 관리부(140)는 인터랙션 DB에 기등록된 동작들 중에서, 단계 540에서 감지된 제2 조작기구(200)의 조작 제스처에 대응되는 이벤트 동작을 결정할 수 있다. 조작동작 관리부(140)에서 결정된 동작의 제어신호에 의해 터치 스크린 디바이스(100)에서 소정 이벤트 동작이 수행될 수 있다.

다양한 실시예에 따른 터치 스크린 디바이스(100)는, 다양한 조작기구에 의한 입력을 감지할 수 있지만, 기등록된 조작기구만을 식별할 수 있다. 다만 조작동작 관리부(140)는, 감지 가능한 조작기구에 대한 식별 정보가 등록된 조작기구 등록 DB를 포함할 수 있다. 제1 조작기구 감지부(120)나 제2 조작기구 감지부(130)에 의해 조작기구의 접촉이나 접근이 감지되면, 조작기구 등록 DB에 기 등록된 조작기구들 중에서 새로이 감지된 조작기구를 검색하여 식별할 수 있다.

도 12 는 다양한 실시예에 따른 조작기구들의 등록 방법의 흐름도를 도시한다. 터치 스크린 디바이스(100)에 미리 등록 설치된 조작기구에 대해서는 설치 동작이 필요하지 않으므로, 아직 등록되지 않은 조작기구에 대한 등록 방법이 후술된다.

단계 S1210에서, 터치 스크린 디바이스(100)는, 조작기구의 등록을 위한 커맨드를 수신할 수 있다. 예를 들어, 터치 스크린부(110)에 조작기구의 접촉 또는 접근이 감지되거나, 조작기구의 등록 데이터의 설치 커맨드가 수신될 수 있다.

단계 S1220에서, 터치 스크린 디바이스(100)는 조작기구의 등록 데이터의 설치 커맨드의 수신 여부에 기초하여, 조작기구의 등록 프로세스를 분기할 수 있다. 조작기구 등록 데이터의 설치 커맨드가 수신된 경우에는, 단계 S1230에서 터치 스크린 디바이스(100)는 조작기구의 등록 데이터를 설치하여 자동 등록 프로세스를 진행할 수 있다. 조작기구의 등록 데이터에 기초하여 조작기구의 식별 정보 및 조작 정보 또는 형상 정보가 등록 DB에 저장될 수 있다. 단계 S1250에서는, 조작동작 관리부(140)는 등록된 조작기구의 식별 ID를 생성하여 조작기구 등록 DB에 저장할 수 있다.

단계 S1220에서 조작기구 등록 데이터의 설치 커맨드가 수신되지 않고, 조작기구의 접촉 또는 접근이 감지된 경우에, 단계 S1250에서, 감지된 조작기구가 보조 조작기구(300) 또는 가이더 조작기구(200)인지 여부가 판단될 수 있다.

단계 S1250에서 가이더 조작기구(300)가 감지된 경우에, 단계 S1260에서 조작동작 관리부(140)는 가이더 조작기구(300)의 식별 정보를 조작기구 등록 DB에 등록할 수 있다. 예를 들어, 가이더 조작기구(300)의 접점의 개수, 접점의 형태, 접점 간의 거리, 접촉 영역의 면적 중 적어도 하나를 포함하는 식별 정보가 조작기구 등록 DB에 저장될 수 있다.

단계 S1270에서는, 조작동작 관리부(140)가 가이더 조작기구(300)의 형상 정보에 기초하여 결정되는 조작영역(800)에 대한 정보를 조작기구 등록 DB에 저장할 수 있다. 단계 S1240에서, 가이더 조작기구(300)의 식별 ID도 생성되어 조작기구 등록 DB에 저장될 수 있다.

단계 S1250에서 보조 조작기구(200)가 감지된 경우에, 단계 S1280에서 조작동작 관리부(140)는 보조 조작기구(200)의 식별 정보를 조작기구 등록 DB에 등록할 수 있다. 예를 들어, 보조 조작기구(200)의 보조 버튼(220)의 누르는 감도 및 해제 감도 중 적어도 하나를 포함하는 식별 정보가 조작기구 등록 DB에 저장될 수 있다.

단계 S1290에서, 조작동작 관리부(140)는 보조 조작기구(200)의 접촉부(210)의 접촉 감도 또는 해제 감도, 접촉부(210)와 터치 스크린부(110)의 거리 중 적어도 하나를 포함하는 조작정보를 조작기구 등록 DB에 저장할 수 있다. 단계 S1240에서, 보조 조작기구(200)의 식별ID도 생성되어 조작기구 등록 DB에 저장될 수 있다.

조작기구 등록 DB에 기등록된 조작기구들 중에서, 보조 조작기구(200)에 의해 소정 조작영역 내에서 생성된 조작 제스처에 기초하여, 터치 스크린 디바이스(100)는 다양한 이벤트 동작을 수행할 수 있다.

도 13 은 다양한 실시예에 따른 조작기구의 회전 상태를 도시한다.

도 13 에 도시된 바와 같이, 터치 스크린 디바이스(100)은 터치 스크린부(110) 상에서의 가이더 조작기구의 회전 상태를 판단할 수 있다. L자 접촉부는 직교하는 두 방향으로 구분될 수 있으며, 두 방향을 x축 및 y축으로 결정할 수 있다. 또한, L자 접촉부(275)의 주변인 그리드 좌표 상에 하나의 접점 A(데이터 포인트)가 위치할 경우, L자 접촉부(275)의 회전 상태에 기초하여, 보조 조작기구의 조작영역을 결정할 수 있다. L자 접촉부(275)의 회전 상태 및 L자 접촉부(275)의 점점 A 간의 최대거리를 조합하여, 가이더 조작기구(300)의 식별정보로 이용할 수 있다.

도 13(a)는 가이더 조작기구(300)가 회전하고 있지 않은 상태를 도시한다. 이 경우의 회전각을 0도라고 표현할 수 있다. 터치 스크린 디바이스(100)는 가이더 조작기구(300)와 접촉부(275)가 평행하게 설정되어 있음에 기초하여, 가이더 조작기구(300)의 회전각도 0도라고 결정할 수 있다.

도 13(b)는 가이더 조작기구(300)가 시계방향으로 약 30도 정도 회전된 상태를 도시한다. 터치 스크린 디바이스(100)는 L자 접촉부의 위치를 알 수 있으며, L자 접촉부(275)의 회전 상태를 터치 스크린부(110) 상의 감지부(112 및 114)를 통하여 감지할 수 있다. 도 13(c) 및 도13(d)의 경우도, 터치 스크린 디바이스(100)는 시계방향으로 (또는 반시계방향으로) 회전된(rotated) 상태에 있음을 감지할 수 있다.

도 14 는 다양한 실시예에 따른 조작기구의 회전 상태를 이용한 조작 방법을 도시한다.

앞서 도 13에서 설명한 바와 같이, 터치 스크린 디바이스(100)는 가이더 조작기구(300)의 회전 상태를 감지할 수 있으므로, 가이더 조작기구(300)의 회전 상태 및 보조 조작기구(200)를 이용한 어플리케이션을 사용자에게 제공할 수 있다.

터치 스크린 디바이스(100)는 가이더 조작기구(300)가 식별되면, 가이더 조작기구의 식별 정보에 기초하여 어떠한 유형의 조작영역을 가진 가이더 조작기구(300)인지를 판단할 수 있다. 따라서, 조작 영역에 따라 사용자가 이용할 수 있는 어플리케이션을 터치 스크린부(110)에 표시할 수 있다.

도 14(a)에 도시된 바와 같이, 가이더 조작기구(300)는 하나의 만질 수 있는 UI이므로 TUI(tangible user interface)로서 제공될 수 있다. 터치 스크린부(110)에 가이더 조작기구에 대응되는 TUI 객체가 표시될 수 있으며, 사용자에 의해 가이더 조작기구(300)를 하나의 도구(tool)로서 이용될 수 있는 객체들이 함께 표시될 수 있다. 도면에서는, 가이더 조작기구(300)를 삼각자(triangle), 각도기(protractor) 및 컴퍼스(compass)로 이용될 수 있음이 표시될 수 있다. 상기 표시된 도구로서 사용되지 않을 경우를 준비한 취소(cancel) 객체가 함께 표시될 수 있다.

도 14(b)에 도시된 바와 같이, 가이더 조작기구(300)를 사용자가 각도기로 이용할 수 있는 어플리케이션을 실행할 수 있다. 가이더 조작기구(300)의 식별정보를 통해 획득한 가이더 조작기구의 형상이 반원(semicircle)일 경우, 터치 스크린 디바이스(100)는 가이더 조작기구(300) 및 보조 조작기구(200)을 이용한 사용자의 조작 입력을 수신할 수 있다. 보조 조작기구(200)의 이동이 감지되면 터치 스크린 디바이스(100)는 회전상태를 터치 스크린부(110)에 표시할 수 있다. 예를 들어, 보조 조작기구(200)의 보조 버튼(220)을 누른 상태가 감지되고, 각도기 형상의 곡면부에 따른 보조 조작기구(200)의 이동이 감지되면, 터치 스크린 디바이스(100)는 보조 버튼(220)을 누른 시점의 보조 조작기구(200)의 위치를 기준으로 하여, 보조 조작기구(200)의 이동에 따른 각도 변화를 터치 스크린부(110)에 표시할 수 있다.

도 14(c)에 도시된 바와 같이, 가이더 조작기구(300)를 사용자가 컴퍼스로 이용할 수 있는 어플리케이션을 실행할 수 있다. 가이더 조작기구(300)의 식별정보를 통해 획득한 가이더 조작기구의 형상이 곡면을 포함하는 경우, 터치 스크린 디바이스(100)는 가이더 조작기구(300) 및 보조 조작기구(200)을 이용한 사용자의 조작 입력을 수신할 수 있다. 보조 조작기구(200)의 이동이 감지되면 터치 스크린 디바이스(100)는 회전상태를 터치 스크린부(110)에 표시할 수 있다. 예를 들어, 보조 조작기구(200)의 보조 버튼(220)을 누른 상태가 감지되고, 가이더 조작기구(300)의 곡면부에 따른 보조 조작기구(200)의 이동이 감지되면, 터치 스크린 디바이스(100)는 보조 버튼(220)을 누른 시점의 보조 조작기구(200)의 위치를 기준으로 하여, 보조 조작기구(200)의 이동에 따른 경로 변화를 터치 스크린부(110)에 표시할 수 있다.

도 14(d)에 도시된 바와 같이, 가이더 조작기구(300)를 사용자가 삼각자로 이용할 수 있는 어플리케이션을 실행할 수 있다. 가이더 조작기구(300)의 식별정보를 통해 획득한 가이더 조작기구의 형상이 삼각자일 경우, 터치 스크린 디바이스(100)는 가이더 조작기구(300) 및 보조 조작기구(200)을 이용한 사용자의 조작 입력을 수신할 수 있다. 보조 조작기구(200)의 이동이 감지되면 터치 스크린 디바이스(100)는 회전상태를 터치 스크린부(110)에 표시할 수 있다. 예를 들어, 보조 조작기구(200)의 보조 버튼(220)을 누른 상태가 감지되고, 가이더 조작기구(300)의 경계면에 따른 보조 조작기구(200)의 이동이 감지되면, 터치 스크린 디바이스(100)는 보조 버튼(220)을 누른 시점의 보조 조작기구(200)의 위치를 기준으로 하여, 보조 조작기구(200)의 이동에 따른 경로 변화를 터치 스크린부(110)에 표시할 수 있다. 경로 변화를 따라서 사선(diagonal line)이 표시될 수 있다.

이하에서는, 터치 스크린부(110)에 표시되는 컨텐츠를 조작하는 동작을 수신하여 이에 대응되는 이벤트를 수행하는 방법에 대하여 설명하기로 한다.

도 15 는 일 실시예에 따른 조작영역에 대응되는 컨텐츠의 저장을 도시한다.

도 15에 도시된 바와 같이, 터치 스크린부(110)에 소정의 컨텐츠가 실행중일 수 있다. 예를 들어, 이미지 객체가 표시되어 있을 수 있으며, 동영상이 재생 중일 수도 있다. 컨텐츠가 터치 스크린부(110)에 표시 중인 경우에 가이더 조작기구(300)의 조작영역이 결정되면, 터치 스크린 디바이스(100)는 해당 조작영역에 대응되는 컨텐츠를 저장할 수 있다. 여기서의 저장이라 함은 기존의 컨텐츠에서 해당 조작영역만을 추출(extraction)하여 별도의 컨텐츠로 생성하는 것을 의미하며, 크롭(crop) 동작으로 불릴 수 있다. 터치 스크린 디바이스(100)는 조작영역 상에서 움직이는 보조 조작기구(200)로부터 특정 영역에 대한 폐곡선 형태의 조작 입력을 수신하는 경우, 해당 폐곡선에 대응되는 컨텐츠를 저장할 수도 있다. 사용자로부터 정밀한 조작 입력을 수신할 수 없으므로, 반드시 폐곡선에 대응되는 컨텐츠를 저장할 필요는 없으며, 폐곡선 경계의 내외부에서 가장 큰 가장 큰 비중을 가지는 컨텐츠를 선택하여 저장하는 것도 가능하다.도 15에 도시된 바와 같이, 산을 나타내는 이미지(이하, 산 이미지) 2 개 및 그 사이로 해를 나타내는 이미지(이하, 해 이미지)가 터치 스크린부(110)에 표시된 경우에, 가이더 조작기구(300)가 식별되면 가이더 조작기구(300)의 조작영역을 결정할 수 있다. 직사각형 모양의 가이더 조작기구(300)가 터치 스크린부(110)에 표시된 해 모양 위에 접촉되었다고 판단되면, 조작영역을 경계로 하여 해 이미지 주변의 산 이미지를 함께 하나의 이미지로 저장할 수 있다. 또는, 해 이미지가 조작영역 내에서 가장 큰 비중을 가진다고 판단되므로, 해 이미지만 선택하여 이미지로 저장할 수 있다.

가이더 조작기구(300) 및 보조 조작기구(200)의 조합으로 조작영역에 대응되는 컨텐츠를 저장할 수도 있다. 보조 조작기구(200)의 입력이 함께 수신되는 경우에 보조 조작기구(200)의 입력(예, 폐곡선 입력)에 따라 선택되는 영역에 대응되는 컨텐츠를 저장할 수 있다.

도 16, 17 및 18 은 다양한 실시예에 따른 조작영역을 도시한다.

터치 스크린 디바이스(100)에서 가상 실험 애플리케이션을 실행하여, 현미경을 도시하는 애플리케이션 화면(1600)이 터치 스크린부(100)에 디스플레이될 수 있다. 다양한 실시예에 따른 조작영역은, 가이더 조작기구(300)에 기초하여 결정되는 물리 조작영역(1610)과 애플리케이션 화면(1600) 상에서 결정되는 가상 조작영역(1630)을 포함할 수 있다.

물리 조작영역(1610) 또는 가상 조작영역(1630) 내에서, 보조 조작기구(200)에 의한 조작 제스처가 감지될 수 있다. 보조 조작기구(200)의 조작 제스처는 보조 조작기구(200)의 1회 조작만 입력되는 상태를 포함할 수 있고, 일련의 다수 조작이 입력되는 상태도 포함할 수 있다.

도 16에 따르면, 보조 조작기구(200)에 의해 현미경의 대물렌즈를 가리키는 가상 조작영역(1630)이 선택되면, 세포조직 확대화면이 터치 스크린부(110)에 디스플레이될 수 있다. 세포조직 확대화면이 디스플레이된 터치 스크린부(110) 상에 가이더 조작기구(300)가 접촉하여 물리 조작영역(1610)이 설정될 수 있다. 물리 조작영역(1610) 내에서 보조 조작기구(200)의 움직임에 따라 조작 제스처(1620)가 입력될 수 있다.

도 17에 따르면, 물리 조작영역(1610)은 터치 스크린부(110) 상에 접촉되는 가이더 조작기구(300)의 형상에 기초하여 결정될 수 있다. 보조 조작기구(200)가 가이더 조작기구(300) 상에서 움직임에 따라, 물리 조작영역(1610) 내에서 보조 조작기구(200)에 의한 조작 제스처(1620)가 입력될 수 있다. 가이더 조작기구(300)가 투명 재질 또는 반투명 재질인 경우에, 사용자(1700)는 가이더 조작기구(300)를 투시하여 물리 조작영역(1610) 내에서 스크린 상에 디스플레이되는 영상과 보조 조작기구(200)에 의한 조작 제스처(1620)를 관찰할 수 있다.

제2 조작기구 감지부(130)는 물리 조작영역(1610) 외부에서 보조 조작기구(200)에 의한 입력을 감지할 수도 있으나, 조작동작 관리부(140)는 물리 조작영역(1610) 외부에서 감지된 입력을 보조 조작기구(200)의 조작 제스처로 인정하지 않고 무시할 수 있다.

도 17에 따르면, 애플리케이션 화면(1600) 상에서 가상 조작영역(1630)에 대응하는 부분영역의 이미지(1010)로 가상 조작영역(1630)이 결정될 수 있다. 다른 예로, 애플리케이션 화면(1600) 상에서 가상 조작영역(1630)의 형태를 근사화한 폴리곤 좌표 정보로 가상 조작영역(1620)이 결정될 수도 있다.

다양한 실시예에 따른 터치 스크린 디바이스(100)의 조작동작 관리부(140)는, 조작기구 등록 DB 및 인터랙션 DB에 기초하여, 조작기구들의 조작 제스처가 입력됨에 따라 대응되는 이벤트 동작을 수행할 수 있다. 즉, 인터랙션 DB에 기등록된 이벤트 동작들 중에서, 가이더 조작기구(300) 및 보조 조작기구(200) 중 적어도 하나 조작기구에 의해 입력되는 일련의 조작 제스처에 대응하는 이벤트 동작이 결정될 수 있다.

또한, 조작기구들을 이용하는 사용자 입력에 기초하여 특정 업무의 이벤트 동작들을 수행하기 위한 애플리케이션이 터치 스크린 디바이스(100)에서 실행될 수 있다. 애플리케이션도, 특정 업무를 수행하기 위해 조작기구들의 조작제스처에 대응시킨 이벤트 동작에 대한 정보를 정의할 수 있다.

따라서, 터치 스크린 디바이스(100)는, 조작동작 관리부(140)과 애플리케이션 간에, 조작기구들의 조작제스처와 이벤트 동작의 대응 관계를 연동시킬 수 있다.

따라서, 조작동작 관리부(140)는, 애플리케이션에서 정의된 가상 조작영역(1630)과 적어도 하나의 조작기구들의 조작 제스처에 대응하는 이벤트에 대한 정보를, 인터랙션 DB에 등록된 이벤트 동작들에 연동할 수 있다.

애플리케이션 실행부(미도시)가 애플리케이션을 실행할 때, 조작동작 관리부(140)는, 가상 조작영역(1630) 내에서 보조 조작기구(200)의 조작 제스처가 감지되면, 가상 조작영역(1630)에 대한 조작 제스처에 대응되는 이벤트의 동작들을 결정할 수 있다.

도 19 는 다양한 실시예에 따른 조작동작 관리부와 애플리케이션의 연동 방법의 흐름도를 도시한다.

애플리케이션이 실행되면 조작기구의 조작 제스처가 애플리케이션을 통해 입력되므로, 애플리케이션 실행부(미도시)가 조작기구를 이용하여 입력된 조작 제스처를 조작동작 관리부(140)에게 전달되고, 조작동작 관리부(140)는 조작 제스처에 따른 제어 신호를 생성할 수 있다.

단계 1910에서 애플리케이션 실행부(미도시)가 조작가능한 애플리케이션 화면(1600)을 생성할 것을 조작동작 관리부(140)에 요청하면, 단계 1915에서 조작동작 관리부(140)는 요청에 따른 애플리케이션 화면(1600) 객체를 생성할 수 있다. 애플리케이션 화면(1600) 객체가 터치 스크린부(110)로 전달되면, 애플리케이션 화면(1600)이 디스플레이될 수 있다.

단계 1920에서 애플리케이션 실행부(미도시)가 사용할 가이더 조작기구(300)를 선택하여 가이더 조작기구(300)의 식별ID를 설정하면, 단계 1925에서 조작동작 관리부(140)는, 애플리케이션 화면(1600) 객체에 식별ID에 대응하는 가이더 조작기구(300)의 물리 조작영역(1610) 객체를 추가할 수 있다. 조작영역(1610) 객체가 터치 스크린부(110)로 전달되면, 애플리케이션 화면(1600) 상에 조작영역(1610)이 디스플레이될 수 있다.

단계 1930에서 애플리케이션 실행부(미도시)가 가상 조작영역(1630)을 설정하면, 단계 1935에서, 애플리케이션 화면(1600) 객체에 가상 조작영역(1630) 객체를 추가할 수 있다. 가상 조작영역(1630) 객체가 터치 스크린부(110)로 전달되면, 애플리케이션 화면(1600) 상에 가상 조작영역(1630)이 디스플레이될 수 있다.

단계 1940에서 애플리케이션 실행부(미도시)가 각 조작 영역(1610, 1630)에 입력되는 조작 제스처에 따른 이벤트 동작들을 등록할 수 있다. 이에 따라 단계 1945에서 조작동작 관리부(140)는 애플리케이션 화면(1600) 객체에 조작영역들(1610, 1630)과 연계된 조작 제스처 이벤트 객체들을 추가할 수 있다. 인터랙션 DB에 조작영역들(1610, 1630)과 연계된 조작 제스처 이벤트 객체들이 추가 등록될 수 있다.

단계 1950에서 애플리케이션 실행부(미도시)가 프로세스 수행 시작 명령이 요청됐음을 알리면, 단계 1955에서 조작동작 관리부(140)는 애플리케이션 화면(1600) 객체에서 조작 제스처 이벤트 동작이 발생하는지 모니터링할 수 있다. 단계 1965에서 조작 제스처 이벤트 동작이 발생하지 않는다면 다시 단계 1955로 돌아가 조작 제스처 이벤트 동작이 발생하는지 계속 모니터링할 수 있다.

다만, 단계 1965에서 조작 제스처 이벤트 동작이 발생한다면, 단계 1975에서 조작동작 관리부(140)는 조작 제스처 이벤트 동작이 발생하였음을 통지하고, 단계 1980에서 애플리케이션 실행부(미도시)는 조작 제스처 이벤트 동작에 대응하는 프로세스를 수행할 수 있다.

예를 들어, 애플리키에션 실행부(미도시)가 가상 실험 애플리케이션을 실행했다면, 실험 화면 객체가 생성되고, 실험 화면 상에서 관찰 영역이 조작영역 객체로서 설정되고, 실험 동작에 대응되는 조작 제스처 객체들이 설정될 수 있다. 설정된 조작 제스처 객체들에 대응하는 조작 제스처가 발생하면 가상 실험 프로세스가 수행될 수 있다.

도 20 은 다양한 실시예에 따른 터치 스크린 디바이스(100)와 외부 디바이스(2000) 간의 동작 공유 과정을 도시한다.

다양한 실시예에 따른 터치 스크린 디바이스(100)는 현재 실행중인 애플리케이션 화면을 외부 디바이스(2000)로 출력할 수 있다.

예를 들어, 애플리케이션 화면(1600) 상의 외부 출력 아이콘(2010)이 사용자 입력에 의해 선택되면, 터치 스크린 디바이스(100)와 화면 공유가 가능한 외부 디바이스(2000)에게로 현재 애플리케이션 화면(1600)에 대한 영상 데이터를 공유 정보로서 전송할 수 있다.

외부 디바이스(2000)와 화면 공유가 시작되면, 터치 스크린 디바이스(100)는 애플리케이션 화면 상에 가상 가이더 조작기구의 조작영역(2020)을 디스플레이할 수 있다. 터치 스크린 디바이스(100)는, 가상 가이더 조작기구의 가상 조작영역의 위치 및 형태에 대한 정보를 공유 정보로서 외부 디바이스(2000)에게 전송할 수 있다.

터치 스크린 디바이스(100)는 사용자 조작에 기초하여 가상 가이더 조작기구의 조작영역(2020)을 이동시킬 수도 있다. 터치 스크린 디바이스(100)는 가상 가이더 조작기구의 가상 조작영역의 갱신된 위치에 대한 정보를 외부 디바이스(2000)에게 다시 전송할 수 있다.

외부 디바이스(2000)는, 터치 스크린 디바이스(100)로부터 수신된 공유 정보에 기초하여, 현재 디스플레이 화면과 가상 가이더 조작기구의 조작영역(2030)을 디스플레이할 수 있다. 또한 외부 디바이스(2000)의 디스플레이 화면 상에서 입력도구(2050)에 의한 사용자 커맨드의 입력도 가능하다. 또한, 외부 디바이스(2000)는, 가상 가이더 조작기구의 조작영역(2030) 내에서 보조 조작기구(2040)를 이용하여 조작 제스처를 입력할 수 있다.

예를 들어 외부 디바이스(2000)에 애플리케이션이 실행된 경우에는, 외부 디바이스(2000)가 보조 조작기구(2040)에 따른 조작 제스처에 대응하는 이벤트 동작을 수행할 수 있다.

다른 예로, 외부 디바이스(2000)에 공유 정보만 전송되고 애플리케이션이 실행되어 있지 않은 경우에는, 외부 디바이스(2000)에서의 보조 조작기구(2040)의 조작 제스처에 대한 정보가 터치 스크린 디바이스(100)에게로 전송되어, 터치 스크린 디바이스(100)가 보조 조작기구(2040)의 조작 제스처를 모니터링할 수 있다. 인터랙션 DB에 등록된 조작 제스처가 발생하면, 터치 스크린 디바이스(100)가 조작 제스처에 대응하는 이벤트 동작을 수행하고, 이벤트 동작의 수행 결과 화면을 다시 외부 디바이스(2000)에 공유 정보로서 전송할 수 있다. 이에 따라, 외부 디바이스(2000)는 실시간으로 터치 스크린 디바이스(100)의 애플리케이션 실행 화면을 공유할 수 있다.

이하 도 21 내지 29를 참조하여, 다양한 실시예에 따른 터치 스크린 디바이스(100)에서 가이더 조작기구 및 보조 조작기구를 이용하여 가상 실험 애플리케이션을 실행하는 동작들이 상술된다.

도 21 은 다양한 실시예에 따른 터치 스크린 디바이스(100)와 보조 조작기구(200)의 구조를 도시한다.

일 실시예에 따른 터치 스크린 디바이스(100)는 보조 조작기구 착탈부를 구비하여 착탈부에 보조 조작기구(200)가 부착되어 있을 수 있다.

보조 조작기구 착탈부에 보조 조작기구 센싱부(2100)가 위치하여, 터치 스크린 디바이스(100)로부터 보조 조작기구(200)가 착탈되는지 감지할 수 있다.

터치 스크린 디바이스(100)의 조작동작 관리부(200)는, 조작기구 등록 DB에 보조 조작기구(200)의 조작 제스처 중 하나로써, 터치 스크린 디바이스(100)로부터 착탈 여부를 등록할 수 있다. 또한, 조작동작 관리부(200)는 인터랙션 DB에, 보조 조작기구(200)의 착탈에 대응되는 이벤트 동작들을 등록할 수 있다.

도 19를 참조하여 전술한 바와 같이, 터치 스크린 디바이스(100)이 애플리케이션을 실행하면, 애플리케이션에 정의된 조작기구의 조작제스처 및 이벤트 동작 간의 관계에 기초하여, 조작동작 관리부(200)가 현재 입력된 조작기구의 조작제스처 객체와 이에 대응하는 이벤트 동작 객체를 결정할 수 있다. 조작동작 관리부(200)에서 결정된 객체에 따라 터치 스크린 디바이스(100)가 각종 이벤트 동작을 수행함으로써 애플리케이션의 목표 프로세스가 수행될 수 있다.

도 22 및 23 은 일 실시예에 따른 터치 스크린 디바이스(100)를 이용한 실험 애플리케이션의 가상 실험 화면과 가상 실험 방법의 흐름도를 도시한다.

터치 스크린 디바이스(100)가 실험 애플리케이션을 실행하면, 보조 조작기구(200)와 가이더 조작기구(300) 중 적어도 하나의 조합에 의한 조작 제스처에 따라, 사용자가 가상으로 실험을 수행하는 것과 같은 가상 체험을 제공하기 위한 시청각 자료를 재생할 수 있다.

예를 들어 실험 애플리케이션의 실행 화면으로서, 실험대 화면(2200)이 재생될 수 있다. 실험대 화면(2200)은 다수의 실험 조작창(2240, 2250, 2260, 2270)을 포함할 수 있다. 실험대 화면(2200)의 소정 영역에 실험도구상자(2210)와 메시지 출력창(2220)이 배치될 수 있다.

실험도구상자(2210)의 영역에, 가상 실험에서 이용되는 각종 실험도구들의 이미지 객체들이 연결될 수 있다. 예를 들어, 실험도구상자(2210)에 면도칼, 핀셋, 스포이드, 슬라이드 글라스, 커버 글라스, 비커, 알콜램프, 삼발이, 가위 등의 이미지들이 포함되도록, 실험도구상자(2210) 및 실험도구의 이미지 객체들이 디스플레이될 수 있다.

보조 조작기구(200) 등의 조작기구에 의해 실험도구상자(2210)의 실험도구 이미지를 선택하는 조작제스처가 입력되고, 실험도구 이미지와 소정 실험조작창을 관련짓기 위한 조작제스처가 다시 입력되면, 선택된 실험도구를 이용하는 가상 실험을 수행하는 이벤트 동작이 수행될 수 있다.

이하 도 23의 흐름도를 참조하여, 다양한 실시예에 따른 터치 스크린 디바이스(100)가 실험 애플리케이션을 실행하여, 현미경 실험을 위한 프레파라트를 작성하는 가상 실험 프로세스가 순서대로 상술된다.

단계 2305에서, 실험 준비를 위한 이벤트 동작으로서, 메시지 출력 영역(2220)에 "실험 조작용 보조기구를 활용하여 실험하세요"라는 가이더 메시지가 표시될 수 있다.

단계 1415에서, 조작동작 관리부(140)는 보조 조작기구 착탈 센싱부(1300)에 의해 보조 조작기구(200)가 터치 스크린 디바이스(100)로부터 분리되는 제스처가 감지되는지 여부를, 모니터링할 수 있다. 분리 제스처가 감지되지 않는다면 계속하여 감지할 수 있다.

단계 1425에서 보조 조작기구(200)의 분리 제스처가 감지되면, 터치 스크린 디바이스(100)는 실험도구상자(1410)를 활성화할 수 있다. 실험도구상자(1410) 영역에서 터치 동작이나 각종 조작 제스처를 감지하기 시작한다.

다음, 실험도구상자(1410) 영역에 도시된 실험도구들 중에서 하나의 도구(1430)가 선택되는 조작 제스처가 입력되면, 가상 실험 프로세스를 위한 실험도구를 선택하는 이벤트 동작이 수행될 수 있다. 보조 조작기구(200)의 접촉부(210)가 터치 스크린부(110) 상에 도구(1430)가 도시된 영역을 누르는 제스처(Press Down)가, 실험도구의 선택 제스처(Select)로 해석될 수 있다.

단계 1435에서 터치 스크린 디바이스(100)는 메시지 출력 영역(1420)에 실험 가이더를 위한 메시지를 표시할 수 있다.

이용되는 조작기구, 선택되는 실험도구, 선택되는 실험조작창 및 조작 제스처의 조합에 따라 다른 이벤트 동작이 결정될 수 있다. 보조 조작기구(200)의 접촉부(210)로 터치 스크린부(110)를 접촉하고 보조 버튼(220)을 눌렀다가 해제하는 동일한 조작 패턴이 입력되더라도, 실험도구상자(1410) 중에서 선택되는 실험도구 및 선택되는 실험조작창이 다르다면, 터치 스크린 디바이스(100)는 다른 조작 제스처가 입력된 것으로 인식할 수 있다.

따라서, 터치 스크린 디바이스(100)는, 실험 동작의 단계별로, 실험도구, 실험조작창과 조작 제스처를 안내하기 위한 가이더 메시지를 메시지 출력 영역(2220)에 표시할 수 있다.

단계 2345에서, 터치 스크린 디바이스(100)를 통해 감지되는 조작 제스처에 기초하여 실험대 화면(2200)에서 실험 조작 프로세스를 수행할 수 있다.

터치 스크린 디바이스(100)는, 실험 동작의 단계별로 입력된 실험도구, 실험조작창 및 조작 제스처의 조합에 대응하여 설정된 이벤트 동작을 수행할 수 있다.

예를 들어, 현미경 실험의 이벤트 동작들을 위한 조작 제스처로서, 스크래칭(Scratching) 제스처, 필링(Peeling) 제스처, 스필링 오버(Spilling over) 제스처, 커버링(Covering) 제스처가 입력될 수 있다.

스크래칭 제스처는, 제1 실험조작창(2240)에 도시된 관찰 대상을 면도칼로 절개하기 위한 실험 동작에 대응하는 이벤트 동작을 호출하기 위한 조작 제스처를 나타낼 수 있다. 보조 조작기구(200)로 실험도구상자(2210) 중에서 면도칼 이미지를 선택하고 제1 실험조작창(2240)에 선을 긋는 조작 제스처가 입력되면, 터치 스크린 디바이스(100)는, 스크래칭 제스처가 입력된 것으로 인식하고, 스크래칭 제스처에 대응하는 이벤트 동작을 수행할 수 있다.

구체적으로, 터치 스크린부(110)에 디스플레이된 실험도구상자(2210) 중 칼 이미지 영역을 보조 조작기구(200)로 누르는 제스처(Press Down)와 제1 실험조작창(2240)의 영역을 보조 조작기구(200)의 접촉부(210)로 직선 방향으로 움직이는 제스처(Move)의 연속된 조작 제스처가, 스크래칭 제스처로 인식될 수 있다.

필링 제스처는, 제2 실험조작창(2250)에 도시된 관찰 대상의 특정 조직을 핀셋으로 벗겨내는 실험 동작에 대응하는 이벤트 동작을 호출하기 위한 조작 제스처를 나타낼 수 있다. 보조 조작기구(200)로 실험도구상자(2210) 중에서 핀셋 이미지를 선택하고, 보조 조작기구(200)로 제2 실험조작창(2250)을 특정한 제스처로 터치하는 조작 제스처가 입력되면, 터치 스크린 디바이스(100)는 필링 제스처가 입력된 것을 인식하고 필링 제스처에 대응하는 이벤트 동작을 수행할 수 있다.

구체적으로, 터치 스크린부(110)에 디스플레이된 실험도구상자(2210) 중 핀셋 이미지 영역을 보조 조작기구(200)로 누르는 제스처(Press Down)와, 보조 조작기구(200)의 접촉부(210)로 제2 실험조작창(2250)의 영역을 터치하고, 보조 버튼(220)을 눌렀다가 해제하는 조작 제스처가, 필링 제스처로 인식될 수 있다.

스필링 오버 제스처는, 제3 실험조작창(2260)에 도시된 슬라이드 글라스에 놓인 관찰 조직 위에 스포이드로 물을 한 방울 떨어뜨리는 실험 동작에 대응하는 이벤트 동작을 호출하기 위한 조작 제스처를 나타낼 수 있다. 보조 조작기구(200)로 실험도구상자(1410) 중에서 스포이드 이미지를 선택하고, 보조 조작기구(200)로 제3 실험조작창(2260)을 특정한 제스처로 터치하는 조작 제스처가 입력되면, 터치 스크린 디바이스(100)는 스필링 오버 제스처가 입력된 것으로 인식하고, 스필링 오버 제스처에 대응하는 이벤트 동작을 수행할 수 있다.

구체적으로, 터치 스크린부(110)에 디스플레이된 실험도구상자(2210) 중 스포이드 이미지 영역을 보조 조작기구(200)로 누르는 제스처(Press Down)와, 보조 조작기구(200)의 접촉부(210)로 제3 실험조착장(2260) 영역 중 원하는 지점을 터치하고, 보조 버튼(220)을 눌렀다가 해제하는 조작 제스처가 스필링 오버 제스처로 인식될 수 있다.

커버링 제스처는, 제4 실험조작창(2270)에 도시된 슬라이드 글라스에 놓인 관찰 조직 위에 커버 글라스를 덮는 실험 동작에 대응하는 이벤트 동작을 호출하기 위한 조작 제스처를 나타낼 수 있다. 보조 조작기구(200)로 제2 실험조작창(2270)을 특정한 제스처로 터치하는 조작 제스처가 입력되면, 터치 스크린 디바이스(100)는 커버링 제스처가 입력된 것으로 인식하고, 커버링 제스처에 대응하는 이벤트 동작을 수행할 수 있다.

구체적으로, 터치 스크린부(110)에 디스플레이된 실험도구상자(2210) 중 커버 글라스 이미지 영역을 보조 조작기구(200)로 누르는 제스처(Press Down)와, 보조 조작기구(200)의 접촉부(210)로 제4 실험조작창(2270) 영역 중 원하는 지점을 터치하고, 보조 버튼(220)을 눌렀다가 해제하는 조작 제스처가 커버링 제스처로 인식될 수 있다.

도 22의 스크래칭 제스처, 필링 제스처, 스필링 오버 제스처 및 커버링 제스처가 순서대로 입력됨에 따라, 터치 스크린 디바이스(100)는 각 제스처에 대응하는 이벤트 동작들을 순서대로 수행할 수 있다. 스크래칭 제스처, 필링 제스처, 스필링 오버 제스처 및 커버링 제스처에 대응하는 이벤트 동작들이 모두 완료되면, 현미경 실험을 위한 프레파라트가 완성됐다는 이벤트 동작이 발생할 수 있다.

도 24 는 일 실시예에 따른 실험 애플리케이션의 가상 현미경 실험 화면(2400)을 도시한다.

터치 스크린 디바이스(100)가 일 실시예에 따른 실험 애플리케이션을 실행하면서 가상 현미경 실험 화면(2400)을 디스플레이할 수 있다. 가상 현미경 실험 화면(2400)은 조작기구를 이용하여 현미경을 조작가능할 수 있도록 하는 조작영역(2450, 2460)과 실험도구상자 영역(2440)을 포함할 수 있다. 제1 조작영역(2450)은 현미경의 접안렌즈에, 제2 조작영역(2460)은 현미경의 대물렌즈에 설정될 수 있다.

또한, 가상 현미경 실험 화면(2400)은 현미경을 이용한 가상 실험 방법을 안내하기 위한 메시지 출력 영역(2410)을 포함할 수 있다.

앞서 도 22 및 23 의 프레파라트 제작 프로세스를 통해 미리 완성된 프레파라트들이 있다면, 실험도구상자 영역(2440)에 미리 완성된 프레파라트들의 이미지가 표시되는 프레파라트 영역(2450)이 포함될 수 있다.

예를 들어, 보조 조작기구(200)의 접촉부(210)가 실험도구상자 영역(2440)의 프레파라트 영역(2450)을 누르는(Press Down) 조작 제스처가 입력되면, 현미경으로 관찰할 프레파라트를 선택하기 위한 이벤트 동작이 발생할 수 있다.

예를 들어, 보조 조작기구(200)의 접촉부(210)가 현미경의 접안렌즈를 가리키는 제1 조작영역(2450)을 누르는(Press Down) 조작 제스처가 입력되면, 접안렌즈를 통하여 프레파라트의 조직 세포를 관찰하기 위한 이벤트 동작이 발생할 수 있다. 제1 조작영역(2450)이 선택되면, 현재 프레파라트의 세포조직의 확대화면이 디스플레이될 수 있다. 확대화면 영역에 가이더 조작기구(300)을 올리면 물리 조작영역(1630)이 활성화되고, 물리 조작영역(1630)에 대한 보조 조작기구(200)의 조작제스처가 입력될 수 있다.

예를 들어, 보조 조작기구(200)의 접촉부(210)가 현미경의 대물렌즈를 가리키는 제2 조작영역(2460)을 누르고 소정 회전 방향으로 이동하는(Press Down & Move) 조작 제스처가 입력되면, 대물렌즈의 렌즈 배율을 조절하기 위한 이벤트 동작이 발생할 수 있다.

이상 도 22, 23 및 24를 참조하여 현미경 실험을 위한 가상 실험 이벤트 동작을 위한 조작 제스처들에 대한 구체적인 실시예들이 상술되었다. 다만, 전술된 실시예들은 터치 스크린 디바이스(100)의 다양한 실시예들에 대한 이해를 돕기 위한 것일 뿐, 터치 스크린 디바이스(100)에서 구현 가능한 조작 제스처 및 이벤트 동작이 이에 한정되는 것은 아님에 유의하여야 한다.

도 25 는 일 실시예에 따른 실험 애플리케이션의 가상 실험 네비게이션 화면을 도시한다.

일 실시예에 따른 가상 실험 애플리케이션은 과학 수업을 보조하기 위한 시청각 콘텐트와 실험 활동 모듈을 제공할 수 있다. 수업 콘텐트는, 콘텐트 목차에 따라 진행되는 '차시(Lesson)'로 구별될 수 있다. 하지만 일 실시예에 따른 가상 실험 애플리케이션에 따른 과학 수업의 학습 진도는, 사용자의 수업 단계에 따라 진행되는 '활동(Activity)'으로 구별될 수 있다. 예를 들어, 수업 단계는 '동기 유발' 단계, '탐색' 단계, '개념 도입' 단계, '개념 적용' 단계, '정리 및 평가' 단계의 순서로 진행될 수 있다. 예를 들어 과학 실험 수업 단계는, '도입', '실험', '관찰', '더 배우기', '문제제기' 단계의 순서로 진행될 수 있다.

즉, 각 차시/활동 목차(2550)는, 차시별로 할당되는 다양한 활동들의 활동 본문들(활동 #1, #2, #3, #4, #1-1, #3-1, #4-1. #4-1-1)의 트리 구조로 구성될 수 있다.

일 실시예에 따라 터치 스크린 디바이스(100)가 가상 실험 애플리케이션을 실행하면, 과학 수업 단계별 활동의 현황 및 결과 콘텐트를 아울러 보여주기 위한 가상 실험 네비게이션 화면(2500)을 디스플레이할 수 있다.

가상 실험 네비게이션 화면(2500)은 차시보기 영역(2510), 단계 구분 영역(2520), 활동 목록 영역(2530) 및 학습창 영역(2540)으로 구성될 수 있다.

차시보기 영역(2510)은 사용자의 학습 상황을 조회하기 위해 각 차시를 선택할 수 있는 아이콘들을 포함할 수 있다.

단계 구분 영역(2520)의 각 단계와 활동 목록 영역(2530)의 각 학습활동은 일대일로 매핑되며, 단계 구분 영역(2520)에서 하나의 단계 아이콘이 선택될 수 있는 객체일 수 있다. 학습창 영역(2540)에 단계별 수업 활동 영상이 디스플레이될 수 있다.

일 실시예에 따른 터치 스크린 디바이스(100)는, 실험 애플리케이션의 이벤트 발생을 위한 조작 제스처를 조작동작 관리부(140)에 등록하고, 애플리케이션을 수행하면서 생성되는 모니터링 정보. 차시 식별 정보, 활동 식별 정보, 페이지 식별 정보 등을 조작동작 관리부(140)에 저장할 수 있다.

도 26 은 일 실시예에 따른 실험 애플리케이션의 가상 실험 네비게이션의 동작 방법의 흐름도를 도시한다.

단계 2610에서, 터치 스크린 디바이스(100)는 가상 실험 네비게이션 화면(2500)을 선택하는 이벤트가 발생하는지, 예를 들어 조작기구로 가상 실험 네비게이션 화면(2500)을 접촉하는 조작 제스처가 입력되는지 모니터링할 수 있다. 발생된 이벤트가 없다면 모니터링이 반복된다.

단계 2610에서 가상 실험 네비게이션 화면(2500)에 화면 선택을 위한 조작 제스처가 입력되면, 먼저 단계 2620에서 터치 스크린 디바이스(100)는 차시 선택 이벤트가 발생했는지 결정할 수 있다. 예를 들어, 가상 실험 네비게이션 화면(2500)의 차시보기 영역(2510) 중에서 하나의 차시에 대한 터치 조작이 입력될 수 있다. 차시 선택을 위한 터치 조작이 입력되면, 단계 2630에서 터치 스크린 디바이스(100)는, 선택된 차시에 대한 첫화면을 디스플레이하는 이벤트 동작을 수행하고, 차시 식별 정보를 조작동작 관리부(140)에 저장할 수 있다.

단계 126740에서 터치 스크린 디바이스(100)는, 선택된 차시에 따라 단계 구분 영역(2520)의 각 화면 요소와 활동 목록 영역(2530)의 각 화면 요소를 변경할 수 있다. 선택된 차시에 따라 단계 구분 영역(2520)에 해당 수업 단계가 표시되고, 표시된 수업 단계에 대응하여 선택가능한 활동들의 아이콘들이 표시될 수 있다.

단계 2650에서 터치 스크린 디바이스(100)는, 활동 선택 이벤트가 발생하는지 모니터링할 수 있다. 예를 들어, 가상 실험 네비게이션 화면(2500)의 활동 목록 영역(2530) 중에서 하나의 활동에 대한 터치 조작이 입력될 수 있다. 차시 선택을 위한 터치 조작이 입력되면, 단계 2660에서 터치 스크린 디바이스(100)는, 선택된 활동 본문을 학습창 영역(2540)에 디스플레이하는 이벤트 동작을 수행하고, 활동 식별 정보를 조작동작 관리부(140)에 저장할 수 있다.

단계 2670에서 터치 스크린 디바이스(100)는, 활동 페이지 변경 이벤트가 발생하는지 모니터링할 수 있다. 예를 들어, 가상 실험 네비게이션 화면(2500)의 학습창 영역(2540) 중에서 새로운 활동 페이지를 디스플레이하기 위한 조작이 입력될 수 있다. 활동 페이지를 변경하기 위한 조작이 입력되면, 단계 2680에서 터치 스크린 디바이스(100)는, 학습창 영역(2540)에 새로운 활동 페이지를 디스플레이하는 이벤트 동작을 수행하고, 새롭게 설정된 페이지 식별 정보를 조작동작 관리부(140)에 저장할 수 있다.

따라서, 일 실시예에 따른 가상 실험 애플리케이션에 의해 디스플레이되는 가상 실험 네비게이션 화면(2500)에 따르면, 터치 스크린 디바이스(100)는 차시별로 애플리케이션 전체화면을 검색하여 바꾸어 디스플레이할 필요 없이, 현재 차시에 대응하는 수업 단계별 활동 페이지만 선택적으로 디스플레이할 수 있다.

다양한 실시예에 따른 터치 스크린 디바이스(100)와 같은 다수의 단말들이 실험 애플리케이션을 동시에 실행할 수 있다. 이하 도 27 내지 29를 참조하여 과학 수업을 진행하면서 실시간으로 다수의 단말들이 실험 애플리케이션을 실행하는 다양한 실시예가 상술된다.

도 27 은 일 실시예에 따라 복수 개의 터치 스크린 디바이스들이 실험 애플리케이션의 활동 내용을 모니터링하는 과정을 도시한다.

학생단말 #1(2710), 학생단말 #2(2720), 학생단말 #3(2730), 학생단말 #4(2740)이 네트워크 망(2750)을 통해 교사단말(2700)에 연결될 수 있다. 교사단말(2700), 학생단말 #1(2710), 학생단말 #2(2720), 학생단말 #3(2730), 학생단말 #4(2740)은 각각 적어도 터치 스크린 디바이스(100)의 구성요소를 포함할 수 있다. 교사단말(2700), 학생단말 #1(2710), 학생단말 #2(2720), 학생단말 #3(2730), 학생단말 #4(2740)은 동일한 실험 애플리케이션을 실행할 수 있다.

교사단말(2700)은 다수의 학생단말들(2710, 2720, 2730, 2740)에 대한 관리 단말기로서, 학생단말들(2710, 2720, 2730, 2740)의 학습 정보를 실시간으로 수신할 수 있다.

예를 들어, 각 학생단말(2710, 2720, 2730, 2740)은, 실험 애플리케이션을 실행하고 사용자 로그인을 수행한 후, 교사단말(2700)에 대한 통신을 시작할 수 있다. 각 학생단말(2710, 2720, 2730, 2740)은, 실험 애플리케이션을 실행하면서 활동 상황의 변화를 감지하여, 교사단말(2700)에게 감지된 학습활동 정보를 전송할 수 있다. 학습활동 정보로서, 해당 학생의 학생 ID(사용자 로그인 ID), 차시 식별 정보, 활동 식별 정보, 활동 페이지 식별 정보가 교사단말(2700)에게 전송될 수 있다.

즉, 교사단말(2700)은 학생단말#1(2710)로부터 수신된 사용자 식별 정보(학생 ID), 차시 식별 정보, 활동 식별 정보, 활동 페이지 식별 정보를 이용하여, 학생의 학습 활동 상태를 실시간으로 모니터링할 수 있다.

도 28 은 일 실시예에 따라 연동된 복수 개의 터치 스크린 디바이스들 중에서 관리 단말기의 모니터링 화면(2800)을 도시한다.

교사단말(2700)의 터치 스크린부는, 가상 실험 네비게이션 화면(2500)에 모니터링 기능이 추가된 모니터링 화면(2800)을 디스플레이할 수 있다. 모니터링 화면(2800) 중 각 활동 아이콘에는 해당 활동의 페이지를 열람하고 있는 학생단말의 개수를 표시하기 위한 서브 아이콘(2810)이 표시될 수 있다.

교사단말(2700)은, 각 활동 아이콘의 서브 아이콘(2810)을 선택하기 위한 터치 제스처(2820)를 감지하면, 해당 활동 페이지를 열람하고 있는 학생단말에 대한 상세 모니터링 화면(2830)을 더 표시할 수 있다. 상세 모니터링 화면(2830)은 학생단말들 중에서 현재 활동 페이지를 디스플레이 중인 학생들의 활동 정보, 즉 차시 식별 정보, 활동 식별 정보, 활동 페이지 식별 정보를 보여줄 수 있다.

따라서, 교사단말(2700)은 별도의 화면 이동 없이, 모니터링 화면(2800)을 통해 가상 실험 네비게이션 화면도 디스플레이하면서 수업을 위한 동작도 수행할 수 있고, 학생단말들의 활동 상황도 실시간으로 모니터링할 수 있다.

도 29 는 일 실시예에 따라 연동된 복수 개의 터치 스크린 디바이스들 간의 모니터링 방법의 흐름도를 도시한다.

단계 2910에서 터치 스크린 디바이스(100)는 사용자 로그인을 수행하면, 단계 2920에서 네비게이션 화면(2500)을 디스플레이하면서 학습창 영역(2540)에 차시의 첫 커버 페이지를 디스플레이하고, 단계 2930에서 네비게이션 화면(2500)의 나머지 차시보기 영역(2510), 단계 구분 영역(2520), 활동 목록 영역(2530)도 디스플레이할 수 있다.

단계 2940에서 터치 스크린 디바이스(100)는 로그인한 사용자 ID에 기초하여 사용자가 교사인지 학생인지 결정할 수 있다.

학생 ID로 로그인된 경우에 교사 단말(2700)에게 학생단말들(2710, 2720, 2730, 2740) 중 하나일 수 있다. 학생단말#1(2710)의 학생 ID로 로그인된 것으로 상정하자. 단계 2970에서 학생의 차시 식별 정보, 활동 식별 정보, 활동 페이지 식별 정보 중 적어도 하나가 변경되었다면, 학생단말#1(2710)은 변경된 학습 활동 정보를 교사단말(2700)에게 네트워크망(2750)을 통해 전송할 수 있다.

교사 ID로 로그인 된 경우에 터치 스크린 디바이스(100)는 교사단말(2700)로 작동할 수 있다. 교사단말(2700)은 학생단말#1(2710)로부터 학생 ID 정보, 차시 식별 정보, 활동 식별 정보, 활동 페이지 식별 정보를 포함하는 학습 활동 정보의 초기 정보를 수신할 수 있다.

단계 2950에서 교사단말(2700)은 변경된 학습 활동 정보를 수신했는지 모니터링할 수 있다. 변경된 정보가 수신되지 않는다면 단계 2930으로 되돌아가 실험 네비게이션 화면(2500) 또는 모니터링 화면(2800)을 디스플레이할 수 있다.

다만 학생단말#1(2710)로부터 변경된 학습활동 정보가 수신된다면, 단계 2960에서 교사단말(2700)은 모니터링 화면(2800)을 업데이트하고, 업데이트된 학습활동 정보를 이용하여 조작동작 관리부(140)의 모니터링 정보도 갱신할 수 있다.

앞서 도 16 내지 29를 참조하여 터치 스크린 디바이스(100)의 다양한 실시예에 대한 이해를 돕기 위해, 일관되게 가상 실험 애플리케이션 또는 과학 수업 애플리케이션을 예로 들었으나, 터치 스크린 디바이스(100)가 실행 가능한 애플리케이션이 가상 실험 애플리케이션 또는 과학 수업 애플리케이션에 한정되는 것은 아님에 유의하여야 한다. 즉, 터치 스크린 디바이스(100)는 적어도 하나의 조작기구의 다양한 조작 제스처에 기초하여 이벤트 동작을 발생시키기 위한 애플리케이션을 실행하여 다양한 이벤트 동작들을 수행할 수 있다.

도 30 은 일 실시예에 따른 애플리케이션을 이용하기 위한 터치 스크린 디바이스의 구조를 도시한다.

앞서 도 1 내지 29를 참조하여 터치 스크린 디바이스(100)가 조작기구를 이용하는 가상 실험 애플리케이션을 실행하는 다양한 실시예들이 상술되었다. 터치 스크린 디바이스(100)가 애플리케이션을 실행하면서 발생하는 이벤트 동작이나 변경되는 정보 등은 모두 저장될 수 있다.

터치 스크린 디바이스(100)는 제1, 2 조작기구 감지부(120, 130), 터치스크린부(110) 및 네트워크부(150)의 하드웨어 구성요소를 제어하는 컴퓨팅 장치(3000)를 포함할 수 있다. 컴퓨팅 장치(3000)는 OS 운영시스템(3010)을 통해 조작동작 관리부(140)의 데이터베이스와 애플리케이션 실행부(3030)의 객체들을 하드웨어 구성요소로 연결하여, 프로세스를 수행할 수 있다.

예를 들어, 제1, 2 조작기구 감지부(120, 130)는 가이더 조작기구(300) 및 보조 조작기구(200)의 제스처를 감지하고, 감지된 제스처가 어떠한 이벤트를 발생시킬 수 있는지는 해석하기 위해 운영시스템(3010)이 조작동작 관리부(140)를 호출할 수 있다.

조작동작 관리부(140)는 조작기구 등록 DB(2122), 인터랙션 객체 DB(3024) 및 모니터링 정보 DB(3025)를 관리할 수 있다.

조작기구 등록 DB(3022)에는 등록된 조작기구들의 식별 ID, 기구 타입, 기구 형상에 대한 정보가 저장될 수 있다. 또한, 조작 정보로서, 보조 조작기구(200)의 보조 버튼(220)의 제어 신호, 보조 조작기구(200)의 접촉부(210) 및 가이더 조작기구(300)의 접촉부(310)의 위치 인식용 신호 등도 조작기구 등록 DB(3022)에 저장될 수 있다.

인터랙션 객체 DB(3024)에는, 조작 대상이 되는 화면 식별 정보, 조작 영역 정보, 조작 제스처 정보 등이 저장될 수 있다.

모니터링 정보 DB(3025)에는, 학생 ID, 차시 식별 정보, 활동 식별 정보, 활동 페이지 식별 정보 등의 학습활동 정보가 저장될 수 있다.

애플리케이션 실행부(3030)는 과학, 수학, 영어 등의 학습 수업 애플리케이션을 실행할 수 있다. 애플리케이션 실행부(3030)는, 차시 목차별로 학습 콘텐트를 순차적으로 디스플레이하는 것이 아니라, 수업 단계별 활동 메뉴 네비게이션 화면(3032)상에 차시에 따른 활동 페이지(2134)를 선택적으로 디스플레이할 수 있다.

애플리케이션 실행부(3030)는 애플리케이션에 정의하는 조작 제스처와 이벤트 동작 간의 설정 정보를 조작동작 관리부(140)에 연동시킬 수 있다. 따라서 조작동작 관리부(140)가 애플리케이션에 대한 가이더 조작기구(300) 및 보조 조작기구(200)의 제스처에 대응하는 이벤트 동작도 결정할 수 있다.

운영시스템(3010)은, 조작동작 관리부(140) 및 애플리케이션 실행부(3030)에 의해 결정된 이벤트 동작을 위한 제어 신호를 컴퓨팅 장치(3000)로 전달하여, 터치 스크린부(110)는 이벤트 동작에 따른 결과 화면을 디스플레이할 수 있다.

네트워크부(150)를 통해 학생단말들의 학습활동 정보가 교사단말에게 전송되어, 교사단말에서 학생단말들의 학습 상황을 모니터링할 수 있다. 학생단말로부터 변경되는 활동상황 정보를 수신함에 따라, 교사단말의 모니터링 정보 DB(3025)는 업데이트될 수 있다.

본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100 : 터치 스크린 디바이스
200 : 보조 조작기구
300 : 가이더 조작기구

Claims

터치 스크린 디바이스의 동작 방법에 있어서,
터치 스크린 상에 감지된 제1 조작기구의 접촉을 기초로 상기 제1 조작기구를 식별하는 단계;
상기 제1 조작기구의 접촉 영역에 기초하여 상기 터치 스크린 상에 조작영역을 설정하는 단계;
상기 터치 스크린에 감지된 제2 조작기구의 접근에 기초하여 상기 제2 조작기구를 식별하는 단계;
상기 터치 스크린에 접촉한 상기 제1 조작기구 상에서 움직이는 상기 제2 조작기구에 의해, 상기 조작영역 내에서 상기 제2 조작기구의 조작 제스처를 감지하는 단계; 및
상기 터치 스크린 디바이스의 인터랙션 DB(Database)에 기등록된 동작들 중에서, 상기 감지된 제2 조작기구의 조작 제스처에 대응되는 동작을 수행하는 단계를 포함하는 것을 특징으로 하는 터치 스크린 디바이스의 동작 방법.
제 1 항에 있어서,
상기 제1 조작기구 식별 단계는, 상기 터치 스크린 디바이스의 정전식 센서에 의해 상기 제1 조작기구의 접촉위치를 결정하는 단계를 포함하고,
상기 제2 조작기구 식별 단계는, 상기 터치 스크린 디바이스의 전자기유도식 센서에 의해 상기 제2 조작기구의 입력위치를 결정하는 단계를 포함하는 것을 특징으로 하는 터치 스크린 디바이스의 동작 방법.
제 1 항에 있어서,
상기 제1 조작기구 식별 단계는, 상기 인터랙션 DB의 조작기구 등록 DB에 기 등록된 조작기구들의 식별 정보 중에서, 상기 감지된 제1 조작기구의 접촉 상태에 기초하여 상기 제1 조작기구를 식별하는 단계를 포함하고,
상기 터치 스크린 상에 조작영역을 설정하는 단계는, 조작기구 관리 영역의 등록 DB에 기 등록된 조작기구들의 형상 정보에 기초하여, 상기 식별된 제1 조작기구의 조작영역을 결정하는 단계를 포함하고,
상기 식별 정보는, 상기 제1 조작기구의 접점의 개수, 접점의 형태, 접점 간의 거리, 접점의 면적 중 적어도 하나를 포함하는 것을 특징으로 하는 터치 스크린 디바이스의 동작 방법.
제 1 항에 있어서, 상기 제2 조작기구를 식별하는 단계는,
상기 인터랙션 DB의 조작기구 등록 DB에 기 등록된 식별 정보 중에서, 상기 감지된 제2 조작기구의 접근 상태에 기초하여 상기 제2 조작기구를 식별하는 단계를 포함하고,
상기 식별 정보는, 상기 제2 조작기구의 보조 버튼의 누르는 감도 및 해제 감도 중 적어도 하나를 포함하는 것을 특징으로 하는 터치 스크린 디바이스의 동작 방법.
제 1 항에 있어서, 상기 제1 조작기구 식별 단계는,
상기 인터랙션 DB에 상기 제1 조작기구의 접점의 개수, 접점의 형태, 접점 간의 거리, 접점의 면적 중 적어도 하나를 포함하는 상기 제1 조작기구의 식별 정보를 조작기구 등록 DB에 저장하는 단계; 및
상기 제1 조작기구의 형태에 기초하여 결정되는 조작영역의 정보를 상기 조작기구 등록 DB에 저장하는 단계를 포함하는 것을 특징으로 하는 터치 스크린 디바이스의 동작 방법.
제 1 항에 있어서, 상기 제2 조작기구 식별 단계는,
상기 제2 조작기구의 보조 버튼의 누르는 감도 및 해제 감도 중 적어도 하나를 포함하는 상기 제2 조작기구의 식별 정보를 조작기구 등록 DB에 저장하는 단계; 및
상기 제2 조작기구의 접촉부의 접촉 감도 또는 해제 감도 및 상기 접촉부와 상기 터치 스크린 간의 거리 중 적어도 하나를 포함하는 상기 제2 조작기구의 조작정보를 상기 조작기구 등록 DB에 저장하는 단계를 포함하는 것을 특징으로 하는 터치 스크린 디바이스의 동작 방법.
제 1 항에 있어서,
상기 인터랙션 DB는, 상기 제1 조작기구 및 상기 제2 조작기구 중 적어도 하나의 조작기구의 각 조작 제스처마다 대응되는 동작에 대한 정보를 포함하고,
상기 조작 제스처는, 상기 제1 조작기구 및 상기 제2 조작기구 중 적어도 하나의 조작기구의 기설정된 단일 입력 또는 기설정된 일련의 입력들의 집합인 것을 특징으로 하는 터치 스크린 디바이스의 동작 방법.
제 1 항에 있어서, 상기 제2 조작기구의 조작 제스처에 대응하여 동작을 수행하는 단계는,
상기 인터랙션 DB에 기등록된 이벤트 동작들 중에서, 상기 제1 조작기구 및 상기 제2 조작기구 중 적어도 하나 조작기구에 의해 입력되는 일련의 조작 제스처에 대응하는 이벤트 동작을 결정하는 단계를 포함하는 것을 특징으로 하는 터치 스크린 디바이스의 동작 방법.
제 1 항에 있어서, 상기 터치 스크린 디바이스의 동작 방법은,
상기 제1 조작기구 및 상기 제2 조작기구 중 적어도 하나의 조작기구의 조작 제스처에 기초하여 결정되는 이벤트를 수행하는 애플리케이션을 실행하는 단계를 더 포함하고,
상기 제2 조작기구의 조작 제스처에 대응되는 동작을 수행하는 단계는,
상기 터치 스크린 디바이스에 설치되는 애플리케이션에서 정의된 가상 조작영역과 상기 적어도 하나의 조작기구의 조작 제스처에 대응하는 이벤트에 대한 정보를, 상기 인터랙션 DB에 기등록된 이벤트 동작들에 연동시키는 단계; 및
상기 애플리케이션을 실행할 때, 상기 가상 조작영역 내에서 상기 제2 조작기구의 현재 조작 제스처가 감지되면, 상기 현재 조작 제스처에 대응되는 이벤트의 동작을 수행하는 단계를 포함하는 것을 특징으로하는 터치 스크린 디바이스의 동작 방법.
제 1 항에 있어서, 상기 제2 조작기구의 조작 제스처에 대응되는 동작을 수행하는 단계는,
상기 동작의 수행에 의해 생성된 결과 화면을 상기 터치 스크린에 디스플레이하는 단계를 포함하는 것을 특징으로 하는 터치 스크린 디바이스의 동작 방법.
제 1 항에 있어서, 상기 제2 조작기구의 조작 제스처에 대응되는 동작을 수행하는 단계는,
외부 디바이스로의 출력 요청을 수신하는 단계;
상기 출력 요청에 기초하여, 상기 터치 스크린 디바이스의 현재 디스플레이 화면에 대한 영상 데이터를 상기 외부 디바이스에 전송하는 단계;
상기 터치 스크린 상에 상기 제1 조작기구의 가상 조작영역을 표시하는 단계; 및
상기 제1 조작기구의 가상 조작영역의 위치 및 형태에 대한 정보를 상기 외부 디바이스에 전송하는 단계를 포함하고,
상기 외부 디바이스에 상기 현재 디스플레이 화면 및 상기 가상 조작영역이 표시되면, 상기 가상 조작영역 내에서 상기 외부 디바이스의 조작기구를 이용한 조작 제스처가 감지되는 것을 특징으로 하는 터치 스크린 디바이스의 동작 방법.
제 1 항에 있어서, 상기 터치 스크린 디바이스의 동작 방법은,
동일한 애플리케이션이 설치된 복수 개의 터치 스크린 디바이스들로부터 각각 사용자 식별 정보, 차시 식별 정보, 활동 식별 정보, 활동 페이지 식별 정보를 포함하는 활동 정보를 수신하는 단계;
각 활동을 가리키는 아이콘들을 포함하는 활동 목록과 해당 활동 페이지를 상기 터치 스크린에 디스플레이하고, 상기 각 활동의 아이콘에 상기 터치 스크린 디바이스들 중에서 해당 활동 페이지를 디스플레이하고 있는 터치 스크린 디바이스의 개수를 표시하는 단계; 및
상기 터치 스크린 디바이스의 개수에 대한 입력을 수신하면, 상기 터치 스크린 디바이스들 중에서 상기 해당 활동 페이지를 디스플레이 중인 사용자의 활동 정보를 표시하는 단계를 더 포함하는 것을 특징으로 하는 터치 스크린 디바이스의 동작 방법.
제 1 항에 있어서, 상기 터치 스크린 디바이스의 동작 방법은,
동일한 애플리케이션이 설치된 복수 개의 터치 스크린 디바이스들 중에서 관리 디바이스에게 현재 터치 스크린 디바이스의 사용자 식별 정보, 차시 식별 정보, 활동 식별 정보, 활동 페이지 식별 정보를 포함하는 활동 정보를 전송하는 단계를 더 포함하는 것을 특징으로 하는 터치 스크린 디바이스의 동작 방법.
터치 스크린 디바이스에 있어서,
영상 데이터를 전기적 영상 신호로 변환하여 디스플레이 화면을 출력하기 위한 디스플레이부와 터치 패널을 구비하는 터치 스크린부;
상기 터치 스크린 상에서 제1 조작기구의 접촉을 감지하고, 상기 제1 조작기구의 접촉 위치를 결정하는 제1 조작기구 감지부;
상기 터치 스크린 상에서 제2 조작기구의 접근을 감지하고, 상기 제2 조작기구의 입력 위치를 결정하는 제2 조작기구 감지부;
상기 터치 스크린 디바이스의 인터랙션 DB에 기등록된 동작들 중에서, 상기 제1 조작기구 상에서 움직이는 상기 제2 조작기구에 의해 상기 조작영역 내에서 감지되는 상기 제2 조작기구의 조작 제스처에 대응되는 동작을 결정하고, 상기 동작을 수행하도록 하는 제어신호를 출력하는 조작동작 관리부; 및
외부 디바이스로 데이터를 송수신하는 네트워크부를 포함하는 것을 특징으로 하는 터치 스크린 디바이스.
제 14 항에 있어서,
상기 제1 조작기구 감지부는, 상기 터치 스크린 디바이스의 정전식 센서에 의해 상기 제1 조작기구의 접촉 위치를 결정하고,
상기 제2 조작기구 감지부는, 상기 터치 스크린 디바이스의 전자기유도식 센서에 의해 상기 제2 조작기구의 입력 위치를 결정하는 것을 포함하는 것을 특징으로 하는 터치 스크린 디바이스.
제 14 항에 있어서, 상기 조작동작 관리부는,
기등록된 조작기구들의 식별 정보 중에서, 상기 감지된 제1 조작기구의 접촉 상태에 기초하여 상기 제1 조작기구를 식별하고, 기등록된 조작기구들의 형상 정보에 기초하여 상기 식별된 제1 조작기구의 조작영역을 결정하고,
상기 식별 정보는, 상기 제1 조작기구의 접점의 개수, 접점의 형태, 접점 간의 거리, 접점의 면적 중 적어도 하나를 포함하는 것을 특징으로 하는 터치 스크린 디바이스.
제 14 항에 있어서, 상기 조작동작 관리부는,
상기 인터랙션 DB에 등록된 기구들의 식별 정보 중에서, 상기 감지된 제2 조작기구의 접근 상태에 기초하여 상기 제2 조작기구를 식별하고,
상기 식별 정보는, 상기 제2 조작기구의 보조 버튼의 누르는 감도 또는 해제 감도 중 적어도 하나를 포함하는 것을 특징으로 하는 터치 스크린 디바이스.
제 14 항에 있어서, 상기 조작동작 관리부는,
상기 제1 조작기구의 접점의 개수, 접점의 형태, 접점 간의 거리, 접점의 면적 중 적어도 하나를 포함하는 상기 제2 조작기구의 식별 정보를 조작기구 등록 DB에 저장하고,
상기 제1 조작기구의 형태에 기초하여 결정되는 조작영역에 대한 정보를 상기 조작기구 등록 DB에 저장하는 것을 특징으로 하는 터치 스크린 디바이스.
제 14 항에 있어서, 상기 조작동작 관리부는,
상기 제2 조작기구의 보조 버튼의 누르는 감도 및 해제 감도 중 적어도 하나를 포함하는 상기 제2 조작기구의 식별 정보를 조작기구 등록 DB에 저장하고,
상기 제2 조작기구의 접촉부의 접촉 감도 또는 해제 감도 및 상기 접촉부와 상기 터치 스크린 간의 거리 중 적어도 하나를 포함하는 상기 제2 조작기구의 조작정보를 상기 조작기구 등록 DB에 저장하는 것을 특징으로 하는 터치 스크린 디바이스.
제 14 항에 있어서,
상기 인터랙션 DB는, 상기 제1 조작기구 및 상기 제2 조작기구 중 적어도 하나의 조작기구의 각 조작 제스처마다 대응되는 동작에 대한 정보를 포함하고,
상기 조작 제스처는, 상기 제1 조작기구 및 상기 제2 조작기구 중 적어도 하나의 조작기구의 기설정된 단일 입력 또는 기설정된 일련의 입력들인 것을 특징으로 하는 터치 스크린 디바이스.
제 14 항에 있어서, 상기 조작동작 관리부는,
상기 인터랙션 DB에 기등록된 이벤트 동작들 중에서, 상기 제1 조작기구 및 상기 제2 조작기구 중 적어도 하나 조작기구에 의해 입력되는 일련의 조작 제스처에 대응하는 이벤트 동작을 결정하는 것을 특징으로 하는 터치 스크린 디바이스.
제 14 항에 있어서, 상기 터치 스크린 디바이스는,
애플리케이션을 설치하고 실행하는 애플리케이션 실행부를 더 포함하고,
상기 조작동작 관리부는,
상기 애플리케이션에서 정의된 가상 조작영역과 적어도 하나의 조작기구들의 조작 제스처에 대응하는 이벤트에 대한 정보를, 상기 인터랙션 DB에 등록된 이벤트 동작들에 연동시키고,
상기 애플리케이션 실행부에서 상기 애플리케이션을 실행할 때, 상기 가상 조작영역 내에서 상기 제2 조작기구의 현재 조작 제스처가 감지되면, 상기 현재 조작 제스처에 대응되는 이벤트의 동작들을 결정하는 것을 특징으로하는 터치 스크린 디바이스.
제 14 항에 있어서, 상기 터치 스크린부는,
상기 조작동작 관리부에서 결정된 상기 동작이 수행된 결과 화면을 상기 터치 스크린부에 디스플레이하는 것을 특징으로 하는 터치 스크린 디바이스.
제 14 항에 있어서,
상기 터치 스크린부는, 외부 디바이스로의 출력 요청에 기초하여, 상기 외부 디바이스로 전송되는 현재 디스플레이 화면 상에 상기 제1 조작기구의 가상 조작영역을 표시하고,
상기 네트워크부는, 외부 디바이스로의 출력 요청에 기초하여, 상기 터치 스크린 디바이스의 현재 디스플레이 화면에 대한 영상 데이터와, 상기 제1 조작기구의 가상 조작영역의 위치 및 형태에 대한 정보를 상기 외부 디바이스에 전송하고,
상기 외부 디바이스에 상기 현재 디스플레이 화면 및 상기 가상 조작영역이 표시되면, 상기 가상 조작영역 내에서 상기 외부 디바이스의 조작기구를 이용한 조작 제스처가 감지되는 것을 특징으로 하는 터치 스크린 디바이스.
제 14 항에 있어서,
상기 네트워크부는, 동일한 애플리케이션이 설치된 복수 개의 터치 스크린 디바이스들로부터 각각 사용자 식별 정보, 차시 식별 정보, 활동 식별 정보, 활동 페이지 식별 정보를 포함하는 활동 정보를 수신하고,
상기 터치 스크린부는, 각 활동을 가리키는 아이콘들을 포함하는 활동 목록과 현재 화면을 표시하고, 상기 각 활동의 아이콘에 상기 터치 스크린 디바이스들 중에서 현재 활동 페이지를 디스플레이하고 있는 터치 스크린 디바이스의 개수를 표시하고,
상기 터치 스크린부는, 상기 터치 스크린 디바이스의 개수에 대한 입력에 기초하여, 상기 터치 스크린 디바이스들 중에서 상기 현재 활동 페이지를 디스플레이 중인 사용자의 활동 정보를 표시하는 것을 특징으로 하는 터치 스크린 디바이스.
제 14 항에 있어서,
상기 네트워크부는, 동일한 애플리케이션이 설치된 복수 개의 터치 스크린 디바이스들 중에서 관리 디바이스에게 현재 터치 스크린 디바이스의 사용자 식별 정보, 차시 식별 정보, 활동 식별 정보, 활동 페이지 식별 정보를 포함하는 활동 정보를 전송하는 것을 특징으로 하는 터치 스크린 디바이스.
제 1 항 내지 제 13 항 중 어느 한 항의 터치 스크린 디바이스의 동작 방법을 구현하기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체.
터치 스크린 디바이스의 동작 방법에 있어서,
상기 터치 스크린 상에 감지된 제1 조작기구의 접촉을 기초로 상기 제1 조작기구를 식별하는 단계;
상기 제1 조작기구의 접촉 영역에 기초하여 상기 터치 스크린 상에 조작영역을 설정하는 단계;
상기 제1 조작기구를 식별하는 단계는, 상기 감지된 제1 조작기구에 배열되는 복수의 접점들의 위치로 구성되는 패턴에 기초하여 식별하는 것을 특징으로 하는 터치스크린 디바이스의 동작 방법.
제 28 항에 있어서,
상기 제1 조작기구 식별 단계는, 상기 터치 스크린 디바이스의 정전식 센서에 의해 상기 제1 조작기구의 접촉위치를 결정하는 단계를 포함하는 것을 특징으로 하는 터치 스크린 디바이스의 동작 방법.
제 28 항에 있어서,
상기 제1 조작기구 식별 단계는, 상기 인터랙션 DB의 조작기구 등록 DB에 기 등록된 조작기구들의 식별 정보 중에서, 상기 감지된 제1 조작기구의 접촉 상태에 기초하여 상기 제1 조작기구를 식별하는 단계를 포함하고,
상기 터치 스크린 상에 조작영역을 설정하는 단계는, 상기 조작기구 관리 영역의 등록 DB에 기 등록된 조작기구들의 형상 정보에 기초하여, 상기 식별된 제1 조작기구의 조작영역을 결정하는 단계를 포함하고,
상기 식별 정보는, 상기 제1 조작기구의 접점의 개수, 접점의 형태, 접점 간의 거리, 접점의 면적 중 적어도 하나를 포함하는 것을 특징으로 하는 터치 스크린 디바이스의 동작 방법.
제 28 항에 있어서,
상기 제1 조작기구에 배열되는 복수의 접점들은,
상기 제1 조작기구의 접점 중에서 기 설정된 접점의 형태를 가지는 접점의 주변에 위치하고,
2차원 좌표값의 조합으로 표현될 수 있는 접점들인 것을 특징으로 하는 터치 스크린 디바이스의 동작 방법.
제 28 항에 있어서,
상기 제1 조작기구 식별 단계는,
상기 인터랙션 DB에 상기 제1 조작기구의 접점의 개수, 접점의 형태, 접점 간의 거리, 접점의 면적 중 적어도 하나를 포함하는 상기 제1 조작기구의 식별 정보를 조작기구 등록 DB에 저장하는 단계; 및
상기 제1 조작기구의 형태에 기초하여 결정되는 조작영역의 정보를 상기 조작기구 등록 DB에 저장하는 단계를 포함하는 것을 특징으로 하는 터치 스크린 디바이스의 동작 방법.
제 28 항에 있어서,
상기 터치 스크린 상에 조작영역을 설정하는 단계는,
상기 제1 조작기구의 접점 중에서 상기 기 설정된 접점의 형태를 가지는 접점의 회전 상태에 기초하여, 상기 조작영역을 설정하는 단계를 포함하는 터치 스크린 디바이스의 동작 방법.
제 28 항에 있어서,
상기 터치 스크린 상에 설정된 상기 조작영역에 대응되는 상기 터치 스크린 상에 표시되는 컨텐츠를 상기 터치 스크린 디바이스에 저장하는 단계를 더 포함하는 것을 특징으로 하는 터치 스크린 디바이스의 동작 방법.
제 34 항에 있어서,
상기 저장된 컨텐츠를 다른 디바이스에 전송하는 단계를 더 포함하는 것을 특징으로 하는 터치 스크린 디바이스의 동작 방법.
제 34 항에 있어서,
하나 이상의 다른 디바이스에게 상기 저장된 컨텐츠에 대응되는 정보를 요청하는 단계를 더 포함하는 것을 특징으로 하는 터치 스크린 디바이스의 동작 방법.
제 28 항에 있어서,
상기 터치 스크린에 감지된 제2 조작기구의 접근에 기초하여 상기 제2 조작기구를 식별하는 단계;
상기 터치 스크린에 접촉한 상기 제1 조작기구 상에서 움직이는 상기 제2 조작기구에 의해, 상기 조작영역 내에서 제2 조작기구의 조작 제스처를 감지하는 단계; 및
상기 터치 스크린 디바이스의 인터랙션 DB(Database)에 기등록된 동작들 중에서, 상기 감지된 제2 조작기구의 조작 제스처에 대응되는 동작을 수행하는 단계를 더 포함하는 것을 특징으로 하는 터치 스크린 디바이스의 동작 방법.
제 37 항에 있어서,
상기 제2 조작기구를 식별하는 단계는, 상기 터치 스크린 디바이스의 전자기 유도식 센서 또는 정전용량 센서 중 적어도 하나 이상에 의해 상기 제2 조작기구의 입력위치를 결정하는 단계를 포함하는 것을 특징으로 하는 터치 스크린 디바이스의 동작 방법.
제 37 항에 있어서,
상기 제2 조작기구를 식별하는 단계는,
상기 인터랙션 DB의 조작기구 등록 DB에 기 등록된 식별 정보 중에서, 상기 감지된 제2 조작기구의 접근 상태에 기초하여 상기 제2 조작기구를 식별하는 단계를 포함하고,
상기 식별 정보는, 상기 제2 조작기구의 보조 버튼의 누르는 감도 및 해제 감도 중 적어도 하나를 포함하는 것을 특징으로 하는 터치 스크린 디바이스의 동작 방법.
제 37 항에 있어서, 상기 제2 조작기구 식별 단계는,
상기 제2 조작기구의 보조 버튼의 누르는 감도 및 해제 감도 중 적어도 하나를 포함하는 상기 제2 조작기구의 식별 정보를 조작기구 등록 DB에 저장하는 단계; 및
상기 제2 조작기구의 접촉부의 접촉 감도 또는 해제 감도 및 상기 접촉부와 상기 터치 스크린 간의 거리 중 적어도 하나를 포함하는 상기 제2 조작기구의 조작정보를 상기 조작기구 등록 DB에 저장하는 단계를 포함하는 것을 특징으로 하는 터치 스크린 디바이스의 동작 방법.
제 37 항에 있어서,
상기 제2 조작기구의 조작 제스처에 대응하여 동작을 수행하는 단계는,
상기 인터랙션 DB에 기등록된 이벤트 동작들 중에서, 상기 제1 조작기구 및 상기 제2 조작기구 중 적어도 하나 조작기구에 의해 입력되는 일련의 조작 제스처에 대응하는 이벤트 동작을 결정하는 단계를 포함하는 것을 특징으로 하는 터치 스크린 디바이스의 동작 방법.
제 37 항에 있어서, 상기 터치 스크린 디바이스의 동작 방법은,
상기 제1 조작기구 및 상기 제2 조작기구 중 적어도 하나의 조작기구의 조작 제스처에 기초하여 결정되는 이벤트를 수행하는 애플리케이션을 실행하는 단계를 더 포함하고,
상기 제2 조작기구의 조작 제스처에 대응되는 동작을 수행하는 단계는,
상기 터치 스크린 디바이스에 설치되는 애플리케이션에서 정의된 가상 조작영역과 상기 적어도 하나의 조작기구의 조작 제스처에 대응하는 이벤트에 대한 정보를, 상기 인터랙션 DB에 기등록된 이벤트 동작들에 연동시키는 단계; 및
상기 애플리케이션을 실행할 때, 상기 가상 조작영역 내에서 상기 제2 조작기구의 현재 조작 제스처가 감지되면, 상기 현재 조작 제스처에 대응되는 이벤트의 동작을 수행하는 단계를 포함하는 것을 특징으로 하는 터치 스크린 디바이스의 동작 방법.
제 37 항에 있어서, 상기 제2 조작기구의 조작 제스처에 대응되는 동작을 수행하는 단계는,
상기 동작의 수행에 의해 생성된 결과 화면을 상기 터치 스크린에 디스플레이하는 단계를 포함하는 것을 특징으로 하는 터치 스크린 디바이스의 동작 방법.
제 37 항에 있어서, 상기 제2 조작기구의 조작 제스처에 대응되는 동작을 수행하는 단계는,
외부 디바이스로의 출력 요청을 수신하는 단계;
상기 출력 요청에 기초하여, 상기 터치 스크린 디바이스의 현재 디스플레이 화면에 대한 영상 데이터를 상기 외부 디바이스에 전송하는 단계;
상기 터치 스크린 상에 상기 제1 조작기구의 가상 조작영역을 표시하는 단계; 및
상기 제1 조작기구의 가상 조작영역의 위치 및 형태에 대한 정보를 상기 외부 디바이스에 전송하는 단계를 포함하고,
상기 외부 디바이스에 상기 현재 디스플레이 화면 및 상기 가상 조작영역이 표시되면, 상기 가상 조작영역 내에서 상기 외부 디바이스의 조작기구를 이용한 조작 제스처가 감지되는 것을 특징으로 하는 터치 스크린 디바이스의 동작 방법.
제 37 항에 있어서, 상기 터치 스크린 디바이스의 동작 방법은,
동일한 애플리케이션이 설치된 복수 개의 터치 스크린 디바이스들로부터 각각 사용자 식별 정보, 차시 식별 정보, 활동 식별 정보, 활동 페이지 식별 정보를 포함하는 활동 정보를 수신하는 단계;
각 활동을 가리키는 아이콘들을 포함하는 활동 목록과 해당 활동 페이지를 상기 터치 스크린에 디스플레이하고, 상기 각 활동의 아이콘에 상기 터치 스크린 디바이스들 중에서 해당 활동 페이지를 디스플레이하고 있는 터치 스크린 디바이스의 개수를 표시하는 단계; 및
상기 터치 스크린 디바이스의 개수에 대한 입력을 수신하면, 상기 터치 스크린 디바이스들 중에서 상기 해당 활동 페이지를 디스플레이 중인 사용자의 활동 정보를 표시하는 단계를 더 포함하는 것을 특징으로 하는 터치 스크린 디바이스의 동작 방법.
제 37 항에 있어서, 상기 터치 스크린 디바이스의 동작 방법은,
동일한 애플리케이션이 설치된 복수 개의 터치 스크린 디바이스들 중에서 관리 디바이스에게 현재 터치 스크린 디바이스의 사용자 식별 정보, 차시 식별 정보, 활동 식별 정보, 활동 페이지 식별 정보를 포함하는 활동 정보를 전송하는 단계를 더 포함하는 것을 특징으로 하는 터치 스크린 디바이스의 동작 방법.
터치 스크린 디바이스에 있어서,
영상 데이터를 전기적 영상 신호로 변환하여 디스플레이 화면을 출력하기 위한 디스플레이부와 터치 패널을 구비하는 터치 스크린부;
터치 스크린 상에서 제1 조작기구의 접촉을 감지하고, 상기 제1 조작기구의 접촉 위치를 결정하는 제1 조작기구 감지부;
상기 터치 스크린 디바이스의 인터랙션 DB에 기등록된 동작들 중에서, 상기 제1 조작기구의 움직임에 대응되는 동작을 결정하고, 상기 동작을 수행하도록 하는 제어신호를 출력하는 조작동작 관리부; 및
외부 디바이스로 데이터를 송수신하는 네트워크부를 포함하고,
상기 제1 조작기구 감지부는 상기 감지된 제1 조작기구에 배열되는 복수의 접점들의 위치로 구성되는 패턴에 기초하여, 제1 조작기구를 식별하는 것을 특징으로 하는 터치 스크린 디바이스.
터치 스크린 디바이스에 있어서,
영상 데이터를 전기적 영상 신호로 변환하여 디스플레이 화면을 출력하기 위한 디스플레이부와 터치 패널을 구비하는 터치 스크린부;
터치 스크린 상에서 제1 조작기구의 접촉을 감지하고, 상기 제1 조작기구의 접촉 위치를 결정하는 제1 조작기구 감지부;
상기 터치 스크린 상에서 제2 조작기구의 접근을 감지하고, 상기 제2 조작기구의 입력 위치를 결정하는 제2 조작기구 감지부;
상기 터치 스크린 디바이스의 인터랙션 DB에 기등록된 동작들 중에서, 상기 제1 조작기구 상에서 움직이는 상기 제2 조작기구에 의해 상기 조작영역 내에서 감지되는 상기 제2 조작기구의 조작 제스처에 대응되는 동작을 결정하고, 상기 동작을 수행하도록 하는 제어신호를 출력하는 조작동작 관리부; 및
외부 디바이스로 데이터를 송수신하는 네트워크부를 포함하고,
상기 제1 조작기구 감지부는 상기 감지된 제1 조작기구에 배열되는 복수의 접점들의 위치로 구성되는 패턴에 기초하여, 제1 조작기구를 식별하는 것을 특징으로 하는 터치 스크린 디바이스.
제 28 항 내지 제 46 항 중 어느 한 항의 터치 스크린 디바이스의 동작 방법을 구현하기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체.