KR20110078645A - 컨버전스 제스처 입력 인터페이스를 구비한 이동통신단말기 및 그 제어방법 - Google Patents

Abstract

본 발명은 이동통신단말기의 터치스크린을 이용한 제스처 입력과 중력 센서, 자이로 센서, 기울기 센서, 가속도 센서 중에서 하나 이상을 선택 설치하여 사용자의 제스처 입력을 융합한 컨버전스 제스처 입력 인터페이스를 구비한 이동통신단말기를 제공하는데 그 목적과 효과가 있다.

본 발명은 중력 센서, 자이로 센서, 기울기 센서, 가속도 센서 중에서 하나 이상을 선택하여 설치한 이동통신단말기에서 이미지의 사이즈를 조정할 때 터치스크린 상에서 사용자의 손가락을 이용하여 두 접점을 선택하고 이동통신단말기를 기울임으로서 발생하는 기울기를 모션인식센서에서 인식하여 이미지의 크기를 조절하고, 두 접점간의 거리에 따라 이미지의 크기를 조절하는 속도를 제어하며, 터치스크린상의 멀티터치 제스처로 이미지를 제어함과 동시에 이동통신단말기의 기울임의 방향과 정도를 판단하여 이미지 크기 제어와 이동을 동시에 실행하고, 동일한 제스처라도 기울임 정도에 따라 실행되는 메뉴를 달리할 수 있으며, 사진앨범이나 웹 브라우징 같이 스크롤 기능 역시 컨버전스 제스처 입력을 통해 제어할 수 있도록 구성되어 있다.

터치스크린, 모션인식센서, 컨버전스, 제스처, 이동통신단말기, 스크롤

Description

컨버전스 제스처 입력 인터페이스를 구비한 이동통신단말기 및 그 제어방법{A Mobile Telecommunication Terminal with Input Interface of Conversion Gesture and its Control Method}

본 발명은 제스처 입력을 통해 이동통신단말기를 제어하는 기술에 관한 것으로, 더욱 자세하게는 터치스크린을 구비하고, 중력 센서, 자이로 센서, 기울기 센서 및 가속도 센서 중에서 하나 이상이 선택 채용된 모션인식센서가 구비된 이동통신단말기에서 제스처를 통해 이동통신단말기를 제어할 수 있도록 설계 제작된 컨버전스 제스처 입력 인터페이스를 구비한 이동통신단말기 및 그 제어방법에 관한 것이다.

대한민국 등록특허공보 제10-0915127호에서는 터치스크린과 중력센서가 컨버전스된 입력을 통해 화면을 스크롤하는 기술적 내용이 개시되어 있으나, 그 입력 방식이 다양하지 못하고 멀티터치 제스처 입력에 대한 구체적인 기술적 구성이 없고, 터치스크린 화면의 두 점을 터치하여 화면에 표시된 이미지를 크게 확대하거나 축소하는 기술적 구성이 개시되어 있지 아니하여 사용자들에게 다양한 제어기능을 제공하지 못하거나 사용하기 불편한 문제점이 있다.

대한민국 등록특허공보 제10-0690738호에서는 압력센서나 기울기 센서를 이용하여 입력레벨을 가변적으로 조절할 수 있는 기술적 구성이 개시되어 있으나, 터치스크린 제스처와는 컨버전스되지 아니하며, 멀티터치 제스처 입력에 대한 구체적인 기술적 구성이 없고, 터치스크린 화면의 두 점을 터치하여 화면에 표시된 이미지를 크게 확대하거나 축소하는 기술적 구성이 개시되어 있지 아니하여 사용자들에게 다양한 제어기능을 제공하지 못하거나 사용하기에 불편한 문제점이 있다.

대한민국 공개특허공보 제10-2009-0065040호에서는 터치스크린과 모션인식센서의 2가지로부터 동시에 제스처 신호를 입력받는 기술적 구성이 개시되어 있으나, 두 가지 입력이 동시에 적용되는 것이 아니라 큰 동작은 모션인식센서로 입력받고, 미세한 입력은 터치스크린으로 입력을 받는 2단계로 입력방식을 나누어 터치스크린 화면의 두 점을 터치하여 화면에 표시된 이미지를 크게 확대하거나 축소하는 기술적 구성이 개시되어 있지 아니하여 사용자들에게 다양한 제어기능을 제공하지 못하거나 사용하기 불편한 문제점이 있다.

본 발명이 해결하고자 하는 과제는 상기 종래기술의 문제점을 해결하기 위해서 터치스크린의 제스처 입력과 모션인식센서의 제스처 입력을 융합한 컨버전스 제스처 입력 인터페이스를 구비한 이동통신 단말기를 통해 다양한 방식의 제스처 입력 및 다양한 제어 기능을 제공하는데 있다.

본 발명이 해결하고자 하는 또 다른 과제는 터치스크린 상에서 두 접점이 인식되면 터치스크린 상단에 +(확대), 하단에 -(축소) 등으로 조작가이드를 표시하고, 상기 터치스크린 상에 인식된 접점사이 간격이 짧으면 이미지를 조금 확대/축소하고, 접점사이의 간격이 길면 이미지를 더 크게 확대할 수 있도록 하여 다양한 제스처 입력 및 다양한 제어 기능을 제공하는데 있다.

본 발명이 해결하고자 하는 또 다른 과제는 상기 터치스크린 상에서 인식된 접점사이의 거리에 따라 그 스크롤의 속도를 조절할 수 있고, 이를 이용하여 웹브라우저 또는 스크롤 가능한 문서의 조작을 가능하게 하여 다양한 제스처 입력 및 다양한 제어 기능을 제공하는데 있다.

본 발명이 해결하고자 하는 또 다른 과제는 멀티터치 제스처로 이미지의 크기를 제어하면서 동시에 이동통신단말기를 기울이는 방향에 따라 이미지를 이동시킬 수 있도록 하여 다양한 제스처 입력 및 다양한 제어 기능을 제공하는데 있다.

본 발명의 과제 해결수단은 멀티터치가 가능한 터치스크린 및 기울기센서, 중력센서, 자이로센서, 가속도 센서 중에서 하나 이상을 선택하여 모션인식센서로 채용하며, 모션인식센서를 구비한 이동통신단말기에서, 상기 터치스크린 상에 이미지 또는 제어 가능한 프로그램의 내용을 표시하는 수단과, 상기 표시된 내용이 나타난 터치스크린 상에 사용자의 손가락이나 스타일러스 등으로 접점을 만들어 두 접점사이의 거리를 구하는 수단과, 상기 이동통신단말기의 기울임을 측정하는 기준은 터치스크린에 최초 두 개의 접점이 인식되는 순간을 기준으로 하며, 그 이후 발생하는 기울임 정도를 판단하는 수단을 구비한 컨버전스 제스처 입력 인터페이스를 구비한 이동통신단말기를 구현하는데 있다.

본 발명의 또 다른 과제 해결수단은 이미지의 크기를 조절하는 수단에 있어서, 상기 터치스크린 상에 이미지가 표시되어 있을 때, 상기 터치스크린 상에 두 접점이 인식되면 터치스크린 상단에 +(확대), 하단에 -(축소) 등으로 조작가이드를 표시하는 수단과, 구해진 두 접점사이의 거리에 따라 상기 모션인식센서를 통해 이동통신단말기를 앞뒤로 기울였을 때 상기 터치스크린 상에 인식된 접점이 짧으면 이미지를 조금 확대/축소하고, 접점이 길면 이미지를 더 크게 확대하는 등 접점사이의 길이에 따라 확대/축소하는 비율을 조절하는 수단을 구비한 컨버전스 제스처 입력 인터페이스를 구비한 이동통신단말기를 구현하는데 있다.

본 발명의 또 다른 과제 해결수단은 터치스크린 상에 이미지가 아닌 웹브라우저 또는 스크롤 가능한 문서가 있을 때, 조작가이드가 +, -가 아닌 ▲▼로 표시되어 스크롤을 할 수 있는 수단과, 상기 스크롤 역시 터치스크린 상의 인식된 접점사이의 거리에 따라 그 스크롤의 속도를 조절할 수 있는 수단을 구비한 웹브라우저 또는 스크롤 가능한 문서의 조작이 가능한 컨버전스 제스처 입력 인터페이스를 구비한 이동통신단말기를 구현하는데 있다.

본 발명의 또 다른 과제 해결수단은 터치스크린 상의 멀티터치 제스처를 입력하여 이미지를 제어할 때, 상기 터치스크린 상에 인식된 두 접점의 거리가 줄어들 때 이동통신단말기가 기울어져 있으면 그 기울어진 방향으로 이미지를 이동시키면서 이미지를 축소하는 수단과, 상기 터치스크린 상에 인식된 두 접점의 거리가 늘어날 때 이동통신단말기가 기울어져 있으면 그 기울어진 방향으로 이미지를 이동시키면서 이미지를 확대하는 수단을 구비하고, 멀티터치 제스처로 이미지의 크기를 제어함과 동시에 이동통신단말기를 기울이는 방향에 따라 이미지를 이동시키는 수단을 구비한 컨버전스 제스처 입력 인터페이스를 구비한 이동통신단말기를 구현하는데 있다.

본 발명의 또 다른 과제 해결수단은 상기 터치스크린 상에서 특정 제스처를 입력받는 수단과, 특정 제스처 입력을 이동통신단말기의 기울임 정도에 따라 각각 다르게 사용자가 원하는 특정 기능과 연관시켜 실행시킬 수 있는 수단과, 특정 제스처 입력을 받는 순간을 기준으로 제스처 입력이 끝나는 순간의 기울기를 측정하여 기울임 정도 및 방향을 판단하는 수단과, 기울임의 정도 및 방향에 따라 동일한 제스처라도 메모리에 입력 저장시켜 놓은 다른 특정 기능을 수행하는 수단을 구비한 컨버전스 제스처 입력 인터페이스를 구비한 이동통신단말기를 구현하는데 있다.

본 발명의 또 다른 과제 해결수단은 컨버전스 제스처 입력 인터페이스를 구비한 이동통신단말기의 제어 방법을 제공하는 것이다.

본 발명은 이동통신단말기의 사용자가 터치스크린상에 입력하는 제스처와 이동통신단말기를 기우림으로서 발생하는 제스처를 컨버전스하여 다양한 입력 방식으로 이미지 확대, 웹브라우저 및 문서 스크롤, 특정 프로그램 실행 등 다양한 조작이 가능하다. 이로써 사용자는 기존 방식보다 훨씬 편리하고 직관적인 조작이 가능한 작용효과가 있다.

본 발명의 또 다른 효과는 터치스크린 상에 두 접점이 인식되면 터치스크린 상단에 +(확대), 하단에 -(축소) 등으로 조작가이드를 표시하고, 상기 터치스크린 상에 인식된 접점사이 간격이 짧으면 이미지를 조금 확대/축소하고, 접점사이가 길면 이미지를 더 크게 확대할 수 있도록 구성하여 다양한 제스처 입력 및 다양한 제어 기능을 제공하는데 있다.

본 발명의 또 다른 효과는 터치스크린 상의 인식된 접점사이의 거리에 따라 그 스크롤의 속도를 조절할 수 있는 수단을 구비한 웹브라우저 또는 스크롤 가능한 문서의 조작이 가능하게 하여 다양한 제스처 입력 및 다양한 제어 기능을 제공하는데 있다.

본 발명의 또 다른 효과는 멀티터치 제스처로 이미지의 크기를 제어하면서 동시에 이동통신단말기를 기울이는 방향과 정도에 따라 이미지를 이동시킬 수 있도록 구성하여 다양한 제스처 입력 및 다양한 제어 기능을 제공하는데 있다.

본 발명의 실시를 위한 구체적인 내용에 대하여 살펴본다. 본 발명은 터치스 크린 상에서 사용자가 손가락이나 스타일러스 등으로 접점을 만들어 두 접점사이의 거리를 구하는 수단과, 상기 이동통신단말기의 기울임을 인식하는 기준은 터치스크린에 최초 두 개의 접점이 인식되는 순간을 기준으로 하며, 그 이후 발생하는 기울임 정도를 판단하는 수단을 이용하여 다양한 제스처를 인식할 수 있도록 하여 사용자들이 편리하게 이동통신단말기를 이용할 수 있도록 한 컨버전스 제스처 입력 인터페이스를 구비한 이동통신단말기를 제공하며, 또한 컨버전스 제스처 입력 인터페이스를 구비한 이동통신단말기의 제어방법을 제공하는데 있다.

이하, 첨부된 도면을 참조하여 본 발명의 실시 예의 구성과 작용을 설명하며, 도면에 도시되고 설명되는 본 발명의 구성과 작용은 적어도 하나 이상의 실시 예로서 설명되는 것이며, 이것에 의해 상기한 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.

본 발명의 이해를 용이하게 하는 도면을 살펴본다. 도1은 본 발명에 따른 컨버전스 제스처 입력 인터페이스 장치의 하나의 실시 예를 도시한 블록도이며, 도2는 본 발명에 따른 하나의 실시 예로 이동통신단말기의 터치스크린 상에서 두 지점을 터치하고 기울임으로서 이미지를 확대하는 내용에 관한 흐름도이다. 도3은 본 발명에 따른 또 다른 하나의 실시 예로 이동통신단말기의 터치스크린 상에서 멀티터치 기능을 이용하여 이미지를 확대할 때 이동통신단말기의 기울임에 따라 이미지의 위치가 옮겨짐을 나타낸 흐름도이며, 도4는 본 발명에 따른 또 다른 하나의 실시 예로 이동통신단말기의 기울기에 따라 터치스크린에 같은 제스처를 입력하더라도 다른 메뉴가 실행됨을 나타낸 흐름도이다. 도5는 터치스크린에서 두 지점을 터 치했을 경우 중점으로부터 각 접점까지의 거리로부터 두 지점간의 거리를 인식하는 예시도이며, 도6은 이동통신단말기의 터치스크린 상에서 두 지점을 터치하고 기울임으로서 이미지를 확대하는 예시도이다. 도7은 도6과 같은 상황이지만 터치스크린 상에서 두 지점사이의 거리가 더 멀 경우 더 크게 확대되는 예시도이며, 도8은 이동통신단말기의 터치스크린 상에서 두 지점을 터치하고 기울임으로서 웹브라우저를 스크롤하는 예시도이다. 도9는 멀티터치 기능을 이용하여 이미지를 확대할 때 이동통신단말기의 기울임에 따라 이미지의 위치가 옮겨짐을 나타낸 예시도이며, 도10은 이동통신단말기의 기울기에 따라 터치스크린에 같은 제스처를 입력하더라도 다른 메뉴가 실행됨을 나타낸 예시도이다. 본 발명에 따른 구체적인 실시 예를 살펴본다.

<실시 예>

본 발명에 따른 구체적인 실시 예를 도면에 기초하여 살펴본다. 도1은 본 발명에 따른 컨버전스 제스처 입력 인터페이스 장치의 하나의 실시 예를 도시한 블록도이다.

도1을 참조하면 본 발명의 실시 예에 따른 컨버전스 제스처 입력 인터페이스 장치(100)는 센서부(10)와 제어부(20)를 포함하며, 센서부는 터치스크린(11)과 모션인식센서(12)로 구성되며, 제어부는 컨버전스 제스처판단 부(13)와 화면제어 부(14)로 구성될 수 있다. 터치스크린(11)은 멀티터치인식 부(111)와 제스처판별 부(112)를 포함하며, 모션인식센서(12)는 기울임 판별 부(121)를 포함할 수 있다.

터치스크린(11)은 외부의 터치 입력을 감지하여 신호를 생성한다. 터치스크 린(11)은 터치를 감지할 수 있는 일정한 면을 구비한 센서일 수 있다. 터치스크린(11)은 사용자가 손가락 또는 스타일러스 등으로 접촉하면, 접촉 여부를 감지하여 신호를 생성하는 접촉감지 센서로서, 예를 들어 터치 패드, 정전용량 터치감지센서 및 터치스크린이 될 수 있다. 이러한 접촉 감지 센서는 둘 이상의 접점을 감지할 수 있어야 하며, 터치스크린 표면에 가해지는 압력에 반응하는 센서들을 가로 세로로 조밀하게 배열 설치하여 압력이 가해지는 경우에 이를 감지하는 감압 방식과, 터치스크린 표면에 전하를 충전하고 그 둘레에 센서들을 설치 한 후 접촉 시에 전하가 상실되는 정도를 감지하여 접촉을 감지하는 정전용량 방식 등의 다양한 방법으로 구현될 수 있다.

멀티터치인식 부(111)는 사용자들이 손가락 또는 스타일러스 등으로 터치스크린(11)에 접점을 만들 수 있는 수단에 의해 두 개 이상의 접점을 인식하도록 구성되어 있다. 본 발명에서는 두 접점을 인식하고 그 접점간의 거리를 계산하고 조작가이드를 표시하는 수단을 포함한다.

제스처판별 부(112)는 사용자의 손 또는 스타일러스 등으로 터치스크린(11)에 접점을 만들 수 있는 수단에 의해 터치스크린 상에 그려지는 제스처를 인식하여 어떤 제스처인지 판별하는 수단을 포함한다.

모션인식센서(12)는 기울기센서, 중력센서, 자이로센서, 가속도 센서 및 각속도 센서 중에서 하나 이상을 선택 채용할 경우에 이동통신단말기의 기울임과 기울어지는 방향을 인식할 수 있는 모션인식센서이면 족하다.

기울임판별 부(121)는 사용자가 이동통신단말기를 기울였을 때 발생하는 기 울어짐 정도를 상기 모션인식센서(12)를 통해 인식하여 기울임 정도와 기울어지는 방향을 판단하는 역할을 한다.

컨버전스 제스처판단 부(13)는 멀티터치인식 부(111), 제스처판별 부(112) 및 기울임 판별 부(121)에서 인식된 제스처들을 융합하여 특정 명령으로 인식하는 역할을 한다. 예를 들어 사용자가 터치스크린(11)에 손가락으로 두 개의 접점을 만들면 멀티터치인식 부(111)에서 두 접점을 인식하고 두 접점간의 거리를 계산하여 컨버전스 제스처판단 부(13)로 보내게 되며, 그 상태에서 사용자가 이동통신단말기를 기울이게 되면 기울임 판별 부(121)에서 기울기를 계산하여 컨버전스 제스처판단 부(13)로 보내게 되고 이를 받아 컨버전스 제스처판단 부(13)에서 터치스크린(11)입력과 모션인식센서(12)입력을 융합하여 특정 명령으로 인식하도록 구성되어 있다.

화면제어 부(14)는 컨버전스 제스처판단 부(13)에서 인식한 특정 명령에 따라 화면을 제어하도록 구성되어 있다. 예를 들어, 이미지를 확대하는 명령이 입력되면 이미지를 확대하고, 웹브라우저나 문서를 스크롤하는 명령이 입력되면 위아래로 스크롤을 하는 기능을 포함한다.

다음은 멀티터치가 가능한 터치스크린과 모션인식센서를 구비하고 컨버전스 제스처 입력이 가능한 이동통신단말기의 제어방법에 대하여 살펴본다.

도2는 본 발명에 따른 하나의 실시 예로, 멀티터치 입력을 통해 터치스크린(11)상에 두 접점을 인식하고 이동통신단말기를 기울일 경우 이미지를 확대 또는 축소하거나 스크롤이 가능한 웹브라우저 또는 문서를 스크롤할 수 있도록 하는 기술적 구 성에 대한 흐름도이다.

도2에서, 먼저 터치스크린(11)에서 사용자로부터의 터치입력을 기다리게 되고 2개 이상의 접점이 감지되면 멀티터치인식 부(111)에서 두 접점을 인식하게 되는 단계(S22)를 거치고, 두 접점으로 부터의 거리를 계산하는 단계(S23)를 거치며, +, - 등의 조작 가이드를 표시하는 단계(S24)를 거치서, 사용자는 UI(User Interface)조작 가이드를 보고 이동통신단말기를 기울이게 되고, 이 기울기의 변화를 인식하는 단계(S25)를 거치고, 터치스크린 상의 두 접점간의 거리와 이동통신단말기를 기울이는 방향에 따라 이미지의 크기를 확대하거나 축소하는 단계(S26)로 이루어진다. 이때 기울기의 변화는 멀티터치 인식부에서 두 접점을 인식하는 순간의 기울기를 기준으로 하며, 그 이후의 이동통신단말기의 기울기 변화를 의미한다.

상기 UI조작 가이드는 이미지가 아니라 웹브라우저나 문서 등 스크롤이 가능한 경우에는 +, -의 UI가 아닌 ▲▼ 등의 UI로 나타나서 스크롤을 용이하게 해주는 경우를 포함한다. 이 경우 역시 도2의 흐름에 따라 이미지 크기 제어가 아닌 웹브라우저나 문서의 스크롤 기능을 구현할 수 있다.

도3은 본 발명에 따른 또 다른 하나의 실시 예로, 멀티터치 입력을 통해 터치스크린(11)상에 두 접점을 인식하고, 그 접점사이의 거리 변화에 따라 이미지 크기를 제어하는 동시에 기울기를 인식하여 터치스크린(11)상에 멀티터치 입력이 감지되지 않는 순간 이동통신단말기가 기울어진 방향으로 이미지를 이동하는 기능을 나타내는 흐름도이다.

도3에서, 터치스크린(11)에서 사용자로부터의 터치입력을 기다리게 되고 2개 이상의 접점이 감지되면, 멀티터치 인식부(111)에서 두 접점을 인식하게 되는 단계(S32)를 거치고, 두 접점으로부터의 거리 변화를 인식하는 단계(S33)를 거치며, 두 접점간의 거리 변화에 따라 이미지 크기를 제어하는 단계(S34)를 거치고, 동시에 사용자가 이동통신단말기를 기울이게 되면 이 기울기의 변화를 인식하는 단계(S35)를 거치며, 터치스크린 상의 멀티터치 입력 여부를 감지하는 단계(S36)를 거쳐 만약 입력이 감지되지 않으면 크기가 조정된 이미지를 이동통신단말기의 기울기 인식 단계(S35)에서 인식한 이동통신단말기의 기운 방향으로 이미지를 이동하는 단계(S37)로 구성되어 있다. 여기서 이동통신단말기의 기울임은 처음 멀티터치 입력을 감지하는 단계(S32)의 기울기를 기준으로 멀티터치 입력이 해제되는 단계(S36)까지의 기울기를 인식하게 된다.

도4는 동일한 제스처라도 제스처를 입력하는 순간의 이동통신단말기의 기울기를 기준으로 하여 제스처 입력이 끝났을 때의 이동통신단말기의 기울기 변화에 따라 다른 프로그램을 실행하게 하는 기능을 나타내는 흐름도이다.

도4를 참조하면, 터치스크린(11)에서 사용자로부터의 제스처 입력을 기다리는 단계(S42)를 거치고, 제스처 입력이 감지되면 제스처판별 부(112)에서 제스처를 인식하는 단계(S43)를 거치며, 제스처가 입력되는 순간의 이동통신단말기의 기울기를 기준으로 하여 제스처 입력이 끝났을 때의 이동통신단말기의 기울기 변화를 인식하는 단계(S44)를 거치고, 터치스크린(11)에 입력되는 제스처와 이동통신단말기의 기울기 변화를 컨버전스 하여 기존에 특정제스처 및 기울임 방향정도를 통해 이동통신단말기에 저장된 정보와 비교하여 매치여부를 판단하는 단계(S45)를 거치며, 판단 결과 매치될 경우에 매치되는 정보가 지시하는 특정 프로그램을 실행하는 단계(S46)로 이루어진다.

이 경우에는 특정제스처 및 기울임 방향에 따라 실행될 메뉴를 메모리에 미리 설정 저장해 놓아야 하며, 이는 이동통신단말기의 컨버전스 제스처판단 부(13)에 터치스크린에서 인식 가능한 특정 제스처 당 4방향 기울임(전, 후, 좌, 우)에 대해 각기 다른 메뉴를 실행시킬 수 있는 모델(특정제스처, 기울임 방향 및 실행될 메뉴)을 메모리에 설정 저장해 두어야 한다.

즉, 동일한 M모양 제스처라도 기울임 방향에 따라 서로 다른 4개의 메뉴를 설정 저장해 둘 수 있고, 도4와 같이 특정 제스처가 특정 기울임 방향을 취할 때 컨버전스 제스처 판단부(13)에서 설정 저장된 제스처 및 기울림의 방향과 비교 판단하여 매치될 경우에 해당 메뉴를 매치시켜 특정 프로그램을 실행시키는 단계(S46)로 구성할 수 있다.

도5는 본 발명에 의한 여러 기능을 구현하기 위해 터치스크린 상에서 두 접점이 생겼을 때 그 거리를 계산하는 기술적 구성에 관한 것으로 TOUCH1과 TOUCH2는 터치스크린 상의 두 접점을 나타내며, 각 중심점끼리 이은 거리를 거리(DISTANCE)로 표시한다. 그리고 거리는 터치스크린 상에서 접촉된 두 접점사이의 직선간격을 표현한다.

도6은 이미지의 크기를 제어하는 본 발명에 따른 또 다른 하나의 실시예로서 이미지 위에 타원형 동그라미와 그 동그라미 안에 십자모양으로 찍힌 부분이 터치스크린(11)상의 하나의 접점을 표시한다. 이동통신단말기의 터치스크린(11) 상에 두 접점이 생겼을 때 이를 인식하여 위쪽에 +, 아래쪽에 -라는 조작가이드가 생기는 모습을 보여준다.

터치스크린(11) 상의 두 접점을 인식했을 때를 이동통신단말기 기울임의 기준으로 정하고, +, -로 표시된 조작가이드를 보면서 위쪽으로 이동통신단말기를 기울이면 이미지가 확대되고, 아래쪽으로 기울이면 이미지가 축소되는 것을 나타낸다. 이때 터치스크린(11)상의 두 접점을 생성하는 것은 사용자의 손가락이 될 수도 있으며, 스타일러스나 각종 터치스크린(11)상에 입력을 줄 수 있는 다양한 도구가 포함될 수 있다.

도7은 도6과 마찬가지지만 터치스크린(11)상의 두 접점의 거리가 도6보다 더 길 경우이며, 같은 제스처를 사용하여 위쪽으로 이동통신단말기를 기울여 이미지를 확대하려하면 도2의 경우보다 이미지가 더 많이 확대되는 모습을 보여주고 있다. 이처럼 사용자가 이미지를 더 빠르게 확대하고 싶으면 터치스크린(11) 상의 두 접점의 거리를 크게 설정하면 이미지를 더 빠르게 확대할 수 있으며, 축소 역시 마찬가지로 빠르게 할 수 있다.

도8은 웹 브라우저의 스크롤을 제어하는 또 다른 하나의 실시 예로서 웹 브라우저 위에 타원형 동그라미와 그 동그라미 안에 십자모양으로 찍힌 부분이 터치스크린(11)상에 하나의 접점을 표시한다. 이동통신단말기의 터치스크린(11)상에 두 접점이 생겼을 때 이를 인식하여 위쪽에 ▲, 아래쪽에 ▼라는 조작가이드가 생기는 모습을 보여준다.

도8에서, 터치스크린(11) 상의 두 접점을 인식했을 때를 이동통신단말기 기 울임의 기준으로 정하고, ▲,▼로 표시된 조작가이드를 보면서 위쪽으로 이동통신단말기를 기울이면 위쪽으로 웹 브라우저가 스크롤되고, 아래쪽으로 기울이면 아래쪽으로 웹 브라우저가 스크롤되는 것을 나타낸다. 이때 터치스크린(11)상의 두 접점을 생성하는 것은 사용자의 손가락이 될 수도 있으며, 스타일러스나 각종 터치스크린(11)상에 입력을 줄 수 있는 기기를 포함한다.

이 역시 앞서 설명한 도7과 같이 터치스크린(11)상의 두 접점의 거리가 더 길 경우 같은 제스처를 사용하여 위쪽으로 이동통신단말기를 기울여 웹 브라우저를 스크롤 할 때 더 많이 스크롤하게 된다. 이처럼 사용자가 웹 브라우저를 빠르게 스크롤하고 싶으면 터치스크린(11) 상의 두 접점의 거리를 크게 설정함으로써 웹 브라우저가 더 빠르게 스크롤되도록 할 수 있다.

도9는 터치스크린(11)상에서 손가락이나 스타일러스 등을 이용하여 두 접점의 거리를 크게 만들면 이미지가 확대되고 작게 만들면 이미지가 축소되는 상황에서 터치스크린(11)상에 두 접점이 인식된 시점을 기준으로 했을 때, 그 이후 이동통신단말기를 기울이는 제스처가 발생한다면 터치스크린(11)상에 두 접점이 떨어지는 순간 이동통신단말기의 기울임 방향을 파악하여 기울인 방향으로 확대된 이미지가 이동하거나, 축소된 이미지가 이동하는 모습을 나타낸다. 따라서 사용자는 멀티터치를 이용하여 이미지크기를 조절하면서 동시에 그때 기울인 이동통신단말기의 방향에 따라 이미지를 이동하는 효과를 얻을 수 있다.

도10은 터치스크린(11) 상에 특정 제스처를 입력하는 상황에서 이동통신단말기가 특정방향으로 기울여져 있거나, 그렇지 않은 경우 각기 다른 프로그램이 실행 되는 것을 보여주고 있다. 여기에서도 역시 도4에서 설명하였듯이 특정제스처의 기울임 방향에 따라 미리 실행될 메뉴를 메모리에 설정 저장해 놓아야 하며, 예를 들면, 이는 이동통신단말기의 컨버전스 제스처판단 부(13)에 터치스크린에서 인식 가능한 특정 제스처마다 4방향 기울임(전, 후, 좌, 우)에 대해 각기 다른 메뉴를 실행시킬 수 있는 모델을 메모리에 저장해 둘 수 있다. 즉 같은 M모양 제스처라도 기울임 방향에 따라 서로 다른 5개의 실행 가능한 메뉴를 메모리에 저장해 두고, 도4와 같이 특정 제스처가 특정 기울임 방향을 취할 때 컨버전스 제스처판단 부(13)에서 메모리에 저장된 특정제스처 및 기울림 방향을 서로 비교하여 매치 여부를 판단하여 해당 메뉴를 매치시켜주고 기울임이 없으면 MP3을 실행하고 위로 기울면 DMB를 실행하는 하나의 예를 도시한 것이다.

이상에서 본 발명의 바람직한 실시 예에 한정하여 설명하였으나, 본 발명은 이에 한정되지 않고 다양한 변화와 변경 및 균등물을 사용할 수 있다. 따라서 본 발명은 이들 실시 예를 적절히 변형하여 응용할 수 있고, 이러한 응용도 특허청구범위에 기술된 사상을 바탕으로 하는 본 발명의 권리범위에 속하게 됨은 당연하다 할 것이다.

본 발명은 터치스크린의 제스처 입력과 모션인섹센서의 제스처 입력을 융합한 컨버전스 제스처 입력 인터페이스를 구비한 이동통신 단말기를 통해 다양한 방식의 제스처 입력 및 다양한 제어 기능을 사용자들에게 제공할 수 있으므로 산업상 이용가능성이 매우 높다.

도1 : 본 발명에 따른 컨버전스 제스처 입력 인터페이스 장치의 하나의 실시 예를 도시한 블록도

도2 : 본 발명에 따른 하나의 실시 예로 이동통신단말기의 터치스크린 상에서 두 지점을 터치하고 기울임으로서 이미지를 확대하는 내용에 관한 흐름도

도3 : 본 발명에 따른 또 다른 하나의 실시 예로 이동통신단말기의 터치스크린 상에서 멀티터치 기능을 이용하여 이미지를 확대할 때 이동통신단말기의 기울임에 따라 이미지의 위치가 옮겨짐을 나타낸 흐름도

도4 : 본 발명에 따른 또 다른 하나의 실시 예로 이동통신단말기의 기울기에 따라 터치스크린에 같은 제스처를 입력하더라도 다른 메뉴가 실행됨을 나타낸 흐름도

도5 : 터치스크린에서 두 지점을 터치했을 경우 중점으로부터 각 접점까지의 거리로부터 두 지점간의 거리를 인식하는 예시도

도6 : 이동통신단말기의 터치스크린 상에서 두 지점을 터치하고 기울임으로서 이미지를 확대하는 예시도

도7 : 터치스크린 상에서 두 지점사이의 거리가 더 멀 경우 더 크게 확대되는 예시도

도8 : 이동통신단말기의 터치스크린 상에서 두 지점을 터치하고 기울임으로서 웹브라우저를 스크롤하는 예시도

도9 : 멀티터치 기능을 이용하여 이미지를 확대할 때 이동통신단말기의 기울임에 따라 이미지의 위치가 옮겨짐을 나타낸 예시도

도10 : 이동통신단말기의 기울기에 따라 터치스크린에 같은 제스처를 입력하더라도 다른 메뉴가 실행됨을 나타낸 예시도

Claims (9)

1. 컨버전스 제스처 입력 인터페이스를 구비한 이동통신단말기에 있어서,

   이동통신단말기의 전면에 설치되며, 멀티터치가 가능한 터치스크린;

   이동통신단말기에 내장되며, 기울기 판별이 가능한 기울기센서, 중력센서, 자이로센서 및 가속도 센서 중에서 하나 이상을 선택 채용한 모션인식센서;

   상기 터치스크린에 나타난 이미지를 사용자의 손가락이나 스타일러스로 접점을 만들어 두 접점사이의 거리를 인식하는 수단;

   상기 이동통신단말기의 기울임을 측정하는 기준을 터치스크린에 최초 두 개의 접점이 인식되는 순간으로 판단하는 수단; 및

   상기 접점 인식 순간 이후에 이동통신단말기에서 발생하는 기울임 정도를 판단하는 수단을 구비한 컨버전스 제스처 입력 인터페이스를 구비한 이동통신단말기.
2. 제1항에 있어서,

   상기 터치스크린에 이미지가 표시되어 있을 때,

   상기 터치스크린 상에 두 접점이 인식되면 터치스크린 상단에 +, 하단에 - 로 조작가이드를 표시하는 수단; 및

   인식된 접점사이의 거리에 따라 상기 모션인식센서를 통해 이동통신단말기를 앞뒤로 기울여 기울임을 발생시켰을 때 상기 터치스크린 상에 인식된 두 접점의 거리가 짧으면 이미지를 조금 확대 또는 축소하고, 두 접점사이의 거리가 길면 이미지를 크게 확대 또는 축소할 있도록 확대 또는 축소하는 비율을 조절하는 수단을 구비한 컨버전스 제스처 입력 인터페이스를 구비한 이동통신단말기.
3. 제1항에 있어서,

   상기 터치스크린 상에 웹브라우저 또는 스크롤 가능한 문서 또는 스크롤 가능한 사진앨범이 있을 때,

   상기 터치스크린 상에 두 접점이 인식되면 터치스크린 상단에 ▲, 하단에 ▼ 로 조작가이드를 표시하는 수단; 및

   상기 모션인식센서를 통해 인식된 기울기 방향으로 상기 터치스크린 상의 인식된 접점의 거리에 따라 스크롤의 속도를 조절할 수 있는 수단을 구비한 컨버전스 제스처 입력 인터페이스를 구비한 이동통신단말기.
4. 제1항에 있어서,

   상기 터치스크린 상에 인식된 두 접점사이의 거리가 줄어들면서 이동통신단말기가 기울어져 있으면 기울어진 방향을 인식하여 터치스크린 상에서 인식되는 두 접점이 사라질 때 이미지를 이동통신단말기가 기울어진 방향으로 이동시키면서 이미지를 축소하는 수단; 및

   상기 터치스크린 상에 인식된 두 접점사이의 거리가 늘어나면서 이동통신단말기가 기울어져 있으면, 기울어진 방향을 인식하여 터치스크린 상에서 인식되는 두 접점이 사라질 때 이미지를 이동통신단말기가 기울어진 방향으로 이동시키면서 이미지 를 확대하는 수단을 구비한 컨버전스 제스처 입력 인터페이스를 구비한 이동통신단말기.
5. 컨버전스 제스처 입력 인터페이스를 구비한 이동통신단말기에 있어서,

   이동통신단말기의 전면에 설치되며, 멀티터치가 가능한 터치스크린;

   이동통신단말기에 내장되며, 기울기 판별이 가능한 기울기센서, 중력센서, 자이로센서 및 가속도 센서 중에서 하나 이상을 선택 채용한 모션인식센서;

   상기 터치스크린을 통해서 사용자의 손가락 또는 스타일러스로 특정 제스처를 입력받는 수단;

   특정제스처 입력을 받는 순간을 기준으로 특정제스처 입력이 끝나는 순간의 기울기를 측정하여 기울임 정도 및 방향을 판단하는 수단;

   상기 입력받은 특정제스처와 측정 판단한 기울임의 정도 및 방향을 메모리에 저장된 특정제스처, 기울임 정도 및 방향과 비교하여 매치 여부를 판단하는 수단; 및

   판단결과 매치가 이루어진 경우에는 미리 설정 저장시켜 놓은 해당 메뉴를 수행하는 수단을 구비한 컨버전스 제스처 입력 인터페이스를 구비한 이동통신단말기.
6. 제5항에 있어서,

   사용자가 미리 상기 터치스크린 상에 입력되는 특정제스처를 이동통신단말기의 기울임 방향에 따라 전, 후, 좌, 우 기울임, 기울임 없음의 5개로 나누어, 특정 제스처 하나당 5가지의 실행되는 메뉴를 미리 메모리에 저장해 둠을 특징으로 하는 컨 버전스 제스처 입력 인터페이스를 구비한 이동통신단말기.
7. 멀티터치가 가능한 터치스크린과 모션인식센서를 구비하고 컨버전스 제스처 입력이 가능한 이동통신단말기의 제어방법에 있어서,

   터치스크린의 멀티터치인식 부에서 두 접점을 인식하는 단계;

   인식된 두 접점사이의 거리를 계산하는 단계;

   +, - 조작 가이드를 화면에 표시하는 단계;

   상기 UI조작 가이드를 보고, 이동통신단말기를 기우릴 때 기울기의 변화를 인식하는 단계; 및

   터치스크린 상의 두 접점간의 거리와 이동통신단말기를 기울이는 방향에 따라 이미지 크기를 확대하거나 축소하는 단계로 이루어진 컨버전스 제스처 입력이 가능한 이동통신단말기의 제어방법.
8. 멀티터치가 가능한 터치스크린과 모션인식센서를 구비하고 컨버전스 제스처 입력이 가능한 이동통신단말기의 제어방법에 있어서,

   터치스크린에서 사용자로부터의 2개 이상의 접점이 감지되면, 멀티터치 인식부에서 두 접점을 인식하는 단계;

   상기 두 접점사이의 거리 변화를 인식하는 단계;

   상기 두 접점사이의 거리 변화에 따라 이미지 크기를 제어하는 단계;

   사용자가 이동통신단말기를 기우릴 경우에 기울기의 변화를 인식하는 단계; 및

   상기 터치스크린 상의 멀티터치 입력부에서 두 접점을 인식하는 단계에서 입력이 감지되지 않으면 크기가 조정된 이미지를 인식한 기울기 방향으로 이미지를 이동하는 단계로 구성된 컨버전스 제스처 입력이 가능한 이동통신단말기의 제어방법.
9. 멀티터치가 가능한 터치스크린과 모션인식센서를 구비하고 컨버전스 제스처 입력이 가능한 이동통신단말기의 제어방법에 있어서,

   제스처판별 부에서 입력되는 제스처를 인식하는 단계;

   상기 제스처가 입력되는 순간의 이동통신단말기의 기울기를 기준으로 제스처 입력이 끝났을 때의 이동통신단말기의 기울기 변화를 인식하는 단계;

   터치스크린에 입력되는 제스처와 이동통신단말기의 기울기 변화를 컨버전스 하여 메모리에 설정 저장된 특정제스처 및 기울임 변화 정보와 비교하여 매치 여부를 판단하는 단계; 및

   판단 결과 매치될 경우에 매치되는 정보가 지시하는 특정 프로그램을 실행하는 단계로 이루어진 컨버전스 제스처 입력이 가능한 이동통신단말기의 제어방법.

Images