KR20140041667A - 터치 스크린 기반의 사용자 인터페이스 인터렉션 방법 및 멀티 미디어 단말 기기 - Google Patents

Abstract

멀티 미디어 단말 기기의 터치 스크린에서 드래깅에 의한 어플리케이션간 화면 전환 방법을 구현하는 사용자 인터페이스(UI; user interface) 인터렉션 방법 및 멀티 미디어 단말 기기에 관한 것이다. 터치 스크린 기반의 사용자 인터페이스 인터렉션 방법은 제1어플리케이션 화면이 표시된 상태에서, 상기 터치 스크린의 일정 영역에서 시작된 드래그를 감지하여, 제2어플리케이션 화면을 상기 제1어플리케이션 화면상에 오버레이하는 과정을 포함한다.

Description

터치 스크린 기반의 사용자 인터페이스 인터렉션 방법 및 멀티 미디어 단말 기기{Method and multimedia device for interacting using user interface based on touch screen}

본 발명은 터치 스크린 기반의 사용자 인터페이스(UI; user interface) 인터렉션 방법 및 멀티 미디어 단말 기기에 관한 것이며, 특히 멀티 미디어 단말 기기의 터치 스크린에서 원형 UI를 이용한 볼륨 제어 방법 및 드래깅에 의한 어플리케이션간 화면 전환 방법을 구현하는 UI 인터렉션 방법 및 멀티 미디어 단말 기기에 관한 것이다.

통상적으로 터치 스크린을 구비한 PC나 PDA, PMP, MP3 플레이어등과 같은 멀티 콘텐츠 재생기가 보급되고 있다. 이들 멀티 콘텐츠 재생기는 소정의 영상 및 오디오 신호를 포함한 다양한 컨텐츠를 제공한다. 또한 터치 스크린은 키보드와 마우스를 대체하는 입출력 장치이다. 사용자는 터치 스크린의 화면을 직접 손이나 스타일러 펜으로 터치하여 원하는 작업을 수행한다. 콘텐츠들은 터치 제스쳐를 이용하여 재생, 정지, 일시 정지, 빨리 감기, 음량 증가, 음량 감소, 파일 이동, 콘텐츠 확대/축소, 네비게이션, 영상 회전등으로 조절된다.

도 1은 종래의 멀티 콘텐츠 재생기에서 볼륨을 조작하는 방법을 보이는 외관도이다.

도 1을 참조하면, 볼륨 조작이 가능한 화면에서 (-)(+) 버튼 그래픽을 디스플레이한다. (-)(+) 버튼은 다른 터치 버튼과 같이 푸시하여 동작하는 형태를 갖는다.

예를 들면, 사용자는 볼륨 동작(-)(+)터치 버튼을 각각 푸시(push)하여 볼륨을 조정한다. 이때 롱 푸시(long push)할 경우 연속으로 기능 동작이 수행될 수 있다.

그러나 종래의 터치 버튼을 이용한 볼륨 조작 방식은 터치의 장점을 이용하지 못할 뿐만 아니라 화면을 확인하고 조작해야하기 때문에 주머니에 넣은 상태에서는 접근이 불가능하다는 문제점이 있었다.

또한 종래의 멀티 콘텐츠 재생기의 터치 스크린은 한 손가락을 사용한 단일 포인트 기반의 드래깅 인터렉션을 제공하고 있다. 그러나 단일 포인트 기반의 드래깅 인터렉션은 한정된 크기를 갖는 디스플레이에서 많은 기능을 구현할 수 없는 단점이 있었다.

또한 종래의 터치 스크린 기반의 멀티 콘텐츠 재생기는 메인 메뉴(또는 홈 메뉴)를 통해서만 다른 어플리케이션으로 전환할 수 있다.

예를 들면, 멀티 콘텐츠 재생기에서 텍스트를 보다가 음악을 조절하려면 메인 메뉴를 거쳐서 음악 재생 화면으로 이동해야하는 불편함이 있었다.

본 발명이 이루고자하는 기술적 과제는 단말기의 터치 스크린에서 드래깅에 의한 어플리케이션간 화면 전환을 구현하는 터치 스크린 기반의 UI 인터렉션 방법 및 멀티 미디어 단말 기기를 제공하는 데 있다.

본 발명이 이루고자하는 다른 기술적 과제는 터치 스크린에서 드래깅에 의한 어플리케이션간 화면 전환을 적용한 멀티 미디어 단말 기기를 제공하는 데 있다.

상기의 기술적 과제를 해결하기 위하여, 터치 스크린 기반의 사용자 인터페이스 인터렉션 방법은, 제1어플리케이션 화면이 표시된 상태에서 상기 터치 스크린의 일정 영역에서 시작된 드래그를 감지하여 제2어플리케이션 화면을 상기 제1어플리케이션 화면상에 오버레이하는 과정을 포함한다.

상기 제2어플리케이션 화면을 상기 제1어플리케이션 화면상에 오버레이하는 과정은, 상기 터치 스크린을 상기 일정 영역으로부터 드래그할 때 마다 어플리케이션 화면들이 순서대로 디스플레이될 수 있다.

상기 제2어플리케이션 화면을 상기 제1어플리케이션 화면상에 오버레이하는 과정은, 상기 드래그의 방향 및 거리에 따라 상기 제2어플리케이션 화면의 크기 및 위치를 변화시킬 수 있다.

사용자 인터페이스 인터렉션 방법은 상기 제1어플리케이션 화면상에 오버레이된 상기 제2어플리케이션 화면에서 사용자 입력에 따라 상기 제2어플리케이션을 제어하고 상기 제2어플리케이션 화면을 변화시키는 과정을 더 포함할 수 있다.

상기 제2어플리케이션 화면은 복수의 어플리케이션을 한 화면에 표시할 수 있다.

상기 터치 스크린의 일정 영역은, 상기 터치 스크린의 상단에 설정될 수 있다.

상기 터치 스크린의 일정 영역에서 시작된 드래그는, 상기 터치 스크린의 일단에서 상기 터치 스크린의 타단으로 화면을 쓸어 내리는 터치 입력일 수 있다.

상기의 기술적 과제를 해결하기 위하여, 멀티 미디어 단말 기기는 어플리케이션 화면을 디스플레이하는 터치 스크린과, 제1어플리케이션 화면이 표시된 상태에서, 상기 터치 스크린의 일정 영역에서 시작된 드래그를 감지하여 제2어플리케이션 화면을 상기 제1어플리케이션 화면상에 오버레이하는 제어부를 포함한다.

상기 제어부는 상기 드래그의 방향 및 거리에 따라 상기 제2어플리케이션 화면의 크기 및 위치를 변화시킬 수 있다.

상기 제어부는, 상기 제1어플리케이션 화면상에 오버레이된 상기 제2어플리케이션 화면에서 사용자 입력에 따라 상기 제2어플리케이션을 제어하고 상기 제2 어플리케이션 화면을 변화시킬 수 있다.

상기 제2어플리케이션 화면은 복수의 어플리케이션을 한 화면에 표시할 수 있다.

상기 터치 스크린의 상기 일정 영역은, 상기 터치 스크린의 상단에 설정될 수 있다.

상기 터치 스크린의 상기 일정 영역에서 시작된 드래그는, 상기 터치 스크린의 일단에서 상기 터치 스크린의 타단으로 화면을 쓸어 내리는 터치 입력일 수 있다.

상술한 바와 같이 본 발명에 의하면, 터치 스크린의 화면을 태핑하면서 볼륨을 조절함으로써 화면을 보지 않고도 볼륨 조작을 가능하게 한다. 또한 본 발명은 드래깅에 의해 복수개의 어플리케이션 화면을 디스플레이함으로서 하나의 화면상에서 멀티 태스킹을 수행할 수 있다.

도 1은 종래의 멀티 콘텐츠 재생기에서 볼륨을 조작하는 방법을 보이는 외관도이다.
도 2는 본 발명에 따른 터치 스크린 기반의 UI 인터렉션 방법 및 장치를 적용한 멀티미디어 단말 기기의 블록도이다.
도 3은 본 발명에 따른 터치 스크린 기반의 UI 인터렉션의 일실시예로서 볼륨을 제어하는 화면을 도시한 것이다.
도 4는 도 3에 도시된 터치 스크린상의 볼륨 제어 방법을 보이는 흐름도이다.
도 5 및 6은 본 발명에 따른 터치 스크린 기반의 UI 인터렉션의 다른 실시예로서 멀티 태스크를 수행하는 화면을 도시한 것이다.
도 7은 도 5 및 6에 도시된 터치 스크린상의 드래깅에 의한 화면 전환 방법을 보이는 흐름도이다.

이하 첨부된 도면을 참조로하여 본 발명의 바람직한 실시예를 설명하기로 한다.

도 2는 본 발명에 따른 터치 스크린 기반의 사용자 인터페이스 인터렉션 방법 및 장치를 적용한 멀티미디어 단말 기기의 블록도이다.

도 2의 멀티 미디어 단말 기기는 터치 스크린부(210), 메모리부(220), 출력부(230), 제어부(240)로 구성된다.

터치 스크린부(210)는 영상을 디스플레이하고, 스크린 표면에 가해지는 압력에 반응하는 센서등을 이용하여 사용자 조작에 의한 터치(touch)또는 드래그(drag)를 감지하여 원형 UI 또는 멀티 태스킹 화면을 디스플레이 한다. 이때 터치 스크린상에서의 터치 감지 방법은 주지의 기술로 압력 방식이나 정전용량 방식등을 이용할 수 있다.

메모리부(220)는 멀티미디어 콘텐츠들이 저장되어 있으며, 그에 더해 여러 동작 모드에 대응하는 화면 정보 및 소정 형태의 UI 정보들이 저장되어 있다. UI 정보의 형태는 일 실시예로 각 동작 모드에 대응하는 그래피티 혹은 아이콘 또는 버튼 정보로 구현될 수 있다.

출력부(230)는 스크린 및 스피커를 이용하여 재생되는 멀티미디어 콘텐츠들을 비디오 및 오디오로 재생한다.

제어부(240)는 터치 스크린부(210)에서 조작되는 명령을 인식하고, 그 조작 명령에 따라 멀티미디어 콘텐츠의 재생을 제어하고, 메모리부(220)에 저장된 멀티미디어 콘텐츠들을 터치 스크린부(210) 또는 출력부(230)로 디스플레이하거나 재생한다. 특히, 제어부(240)는 터치 스크린부(210)에 신호 재생 화면을 디스플레이하고, 그 디스플레이된 신호 재생 화면상에서 스크린의 터치 유무를 감지하고, 스크린의 터치를 감지하면 그 터치 지점에서 소정 형태의 볼륨 영역을 디스플레이하고, 소정 형태의 볼륨 영역에서 터치를 감지할 때 마다 그 볼륨 영역의 크기를 가변하고, 그 볼륨 영역의 크기에 해당하는 볼륨을 조절한다. 다른 실시예로 제어부(240)는 현재 진행중인 어플리케이션 화면과 다른 어플리케이션 화면으로 전환하는 인디케이터를 터치 스크린부(210)의 소정의 위치에 설정해두고, 그 인디케이터에서 시작된 드래그를 감지하여 그 드래그의 거리에 대응하는 어플리케이션 화면을 재생중인 어플리케이션 화면상에 오버레이한다.

도 3은 본 발명에 따른 터치 스크린 기반의 UI 인터렉션의 일실시예로서 볼륨을 제어하는 화면을 도시한 것이다.

도 3의 (a)에 도시된 바와 같이 사용자의 손가락이 음악 재생 화면을 1회 터치하면 도 3의 (b)에 도시된 바와 같이 원형의 볼륨 영역 그래픽을 생성한다. 이때 생성된 원형의 크기를 "3"으로 한다.

이어서, 도 3의 (b)에 도시된 바와 같이 스크린상에 표시된 원형 내부를 사람의 손가락으로 다시 터치하면 도 4의 (c)에 도시된 바와 원형의 크기가 "3"에서 "8"로 증가된다. 이어서, 도 3의 (c)에 도시된 바와 같이 스크린상에 표시된 원형 내부를 사람의 손가락으로 다시 터치하면 도 3의 (d)에 도시된 바와 원형의 크기가 "8"에서 "12"로 증가된다.

그러나 도 3의 (e)에 도시된 바와 같이 스크린상에 표시된 원형 외부를 사람의 손가락으로 터치하면 도 3의 (f)에 도시된 바와 원형의 크기가 "12"에서 "8"로 감소된다.

이에 따라 볼륨 영역 크기의 증가 또는 감소에 따라 오디오 볼륨도 증가 또는 감소된다.

도 4는 도 3에 도시된 터치 스크린상의 볼륨 제어 방법을 보이는 흐름도이다.

먼저, 사용자에 의해 선택된 음악 재생 화면을 터치 스크린에 디스플레이한다(420 과정). 이때 음악 재생 화면은 기기의 동작 모드에 대응하여 미리 저장되어 있다.

이어서, 스타일러스 또는 하나 이상의 손가락등의 객체가 터치 스크린의 특정 영역에 놓였을 때 터치 센서등을 이용하여 그 객체의 터치를 감지한다(420 과정).

이어서, 감지된 터치점에 대한 x, y 좌표를 계산하여 터치점의 위치를 검출한다(430 과정).

이어서, 터치 스크린에서 터치된 위치에서 사용자 인터페이스를 위한 소정 형태의 볼륨 영역을 스크린상에 디스플레이한다(440 과정). 이때 볼륨 영역 정보는 음악 재생 화면에 오버랩(overlap)하여 디스플레이된다. 또한 볼륨 영역 정보는 바람직하게는 원(circle) 형태로 나타낼 수 있으나 다른 도형의 형태로 응용 가능하다.

이어서, 터치 스크린상에 표시된 볼륨 영역에서 터치된 위치를 체크한다(450 과정).

이때 볼륨 영역내에서 터치인가를 감지하면 볼륨 영역의 크기를 증가시킨다(462 과정). 예를 들면, 터치 스크린상에 표시된 원형내에서 터치되면 원의 크기를 증가시킨다. 이어서, 그 볼륨 영역의 크기에 매핑된 오디오 볼륨으로 조절된다(464 과정). 따라서 소정 형태의 볼륨 영역 내에서 터치를 감지할 때 마다 볼륨 영역의 크기를 증가시키고, 그 볼륨 영역 크기의 증가에 따라 오디오 볼륨도 증가된다.

반면, 볼륨 영역 외에서의 터치인가를 감지하면(470 과정) 볼륨 영역의 크기를 감소시킨다(472 과정). 예를 들면, 터치 스크린상에 표시된 원형의 외부에서 터치되면 원의 크기를 감소시킨다. 이어서, 그 볼륨 영역의 크기에 해당하는 오디오 볼륨을 조절한다(474 과정). 따라서 소정 형태의 볼륨 영역 외부에서 터치를 감지할 때 마다 볼륨 영역의 크기를 감소시키고, 그 볼륨 영역 크기의 감소에 따라 오디오 볼륨도 감소된다.

이어서, 소정 시간 동안 터치 스크린상에서 터치가 감지되는를 체크한다(480 과정).

이때 소정 시간 동안 터치 스크린상에서 터치가 감지되면 계속해서 볼륨 제어 동작을 수행한다.

그러나 소정 시간 동안 터치 스크린상에서 터치가 감지되지 않으면 터치 스크린상의 소정 형태의 볼륨 영역을 해제한다(490 과정).

다른 실시예로 신호 재생 화면에 오버레이된 소정 형태의 볼륨 영역에서 소정 각도의 드래그 감지에 따라 볼륨을 조정할 수 있다.

또 다른 실시에로 신호 재생 화면에 오버레이된 소정 형태의 볼륨 영역에서 그 영역의 눌림 시간에 따라 볼륨을 조정할 수 있다.

도 5 및 도 6은 본 발명에 따른 터치 스크린 기반의 UI 인터렉션의 다른 실시예로서 멀티 태스크를 수행하는 화면을 도시한 것이다.

도 5의 (a)를 보면, 터치 스크린상에는 텍스트 보기를 실행중인 제1어플리케이션 화면(510)과, 제1어플리케이션 화면(510)과 다른 제2어플리케이션으로 전환할 수 있는 인디케이터(520)를 구비한다. 이때 인디케이터(520)는 터치스크린상의 하단 또는 상단의 일정 영역에 설정할 수 있으며, 제2어플리케이션 화면을 숨기고 있다.

이때 사용자(530)가 하단에 위치한 인디케이터(520)를 화살표 방향으로 드래그하면 도 5의 (b)에 도시된 바와 같이 인디케이터(520)에 의해 연결되어 있는 음악 재생 화면(550)이 텍스트 화면(510)에 오버레이된다. 이때 사용자가 드래그의 이동을 중단하게 되면 터치 스크린은 텍스트 화면(510)에 음악 재생 화면(550)을 포함하는 멀티 태스킹 화면을 생성한다. 따라서 사용자는 메인 메뉴를 통하지 않고 텍스트 화면(510)을 보면서 음악 재생 화면(550)에 위치한 음악 관련 기능 예를 들면, FF, REW, Play/Pause등을 조작할 수 있다.

또한 사용자의 선택에 따라 각 어플리케이션들이 복수개의 화면으로 독립되어 있지 않고 한 화면에 공존할 수 있다.

또한 도 6의 (a), (b), (c)에 도시된 바와 같이 인디케이터(610)를 위쪽으로 계속해서 드래그 하면 텍스트 화면--> 음악 재생 화면(a)-->음악 재생 화면과 포토 재생 화면(b) ---> 포토 재생 화면(c)의 순서로 나타나게 되어 어플리케이션간의 화면 전환이 수행된다.

도 7은 도 5 및 6에 도시된 터치 스크린상의 멀티 태스크 제어 방법을 보이는 흐름도이다.

먼저, 터치 스크린상에 재생중인 제1어플리케이션 화면 영역과, 재생중인 제1어플리케이션 화면과 다른 제2어플리케이션 화면으로 전환하기 위한 인디케이터(indicator)를 설정한다(610 과정). 인디케이터는 바람직하게 터치 스크린의 하단 또는 상단의 일정 영역에 설치되며, 제1어플리케이션 화면과 연결되어 있다.

이어서, 인디케이터의 위치에서 시작되는 드래그를 감지하고(620 과정), 그 드래그의 이동 방향 및 거리(또는 이동 량)를 계산한다(630 과정).

이어서, 인디케이터의 위치에서 시작되는 드래그 방향 및 거리에 따라 연결된 제2어플리케이션 화면을 재생중인 제1어플리케이션 화면에 오버레이한다(640 과정).

이어서, 사용자는 드래그의 이동에 따라 나타나는 어플리케이션 화면내에 표시된 동작 기능을 조작한다.

본 발명은 상술한 실시예에 한정되지 않으며, 본 발명의 사상내에서 당업자에 의한 변형이 가능함은 물론이다.

또한 본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드디스크, 플로피디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

210: 터치 스크린부 520: 인디케이터
220: 메모리부 530: 사용자
230: 출력부 550: 음악 재생 화면
240: 제어부 610: 인디케이터
510: 화면

Claims (1)

1. 터치 스크린 기반의 사용자 인터페이스 인터렉션 방법에 있어서,
   제1어플리케이션 화면이 표시된 상태에서, 터치 입력을 감지하여, 상기 터치 스크린에 표시된 화면을 변화시키는 단계를 포함하는 터치 스크린 기반의 사용자 인터페이스 인터렉션 방법.

Images