KR100764698B1

KR100764698B1 - 카메라 영상의 패턴인식과 해석에 의한 휴대 단말기의사용자 인터페이스 제어 방법 및 그 단말기

Info

Publication number: KR100764698B1
Application number: KR1020060074044A
Authority: KR
Inventors: 류동석; 홍노경; 황재준
Original assignee: 삼성전자주식회사
Priority date: 2006-08-07
Filing date: 2006-08-07
Publication date: 2007-10-08
Also published as: CN101123445A; US7693333B2; CN101123445B; EP2262221A1; US20080034302A1; EP1887776A1

Abstract

본 발명은 카메라를 통하여 획득한 피사체 영상의 패턴인식과 해석을 이용하여 휴대 단말기의 사용자 인터페이스를 제어하는 방법과 그 휴대 단말기에 관한 것이다. 본 발명에 따르면, 휴대 단말기의 이동 또는 밀고 당김에 따라 변하는 제1 영상과 제2 영상을 카메라 모듈에서 차례로 획득하고, 두 영상의 패턴을 각각 인식한다. 인식된 패턴들로부터 휴대 단말기의 이동 또는 밀고 당김을 해석한 후, 그 결과에 따라 이동 또는 밀고 당김에 대응하는 제어명령을 선택하고, 제어명령에 해당하는 기능을 수행한다. 본 발명은 휴대 단말기의 이동 또는 밀고 당김을 사용자 인터페이스의 제어에 직접 반영함으로써 직관적이고 간편하게 휴대 단말기를 사용할 수 있고, 별도의 센서 없이 휴대 단말기에 장착된 카메라를 이용하여 사용자 인터페이스를 제어할 수 있으며, 기존의 검색키가 안고 있던 조작상의 제약과 불편함을 해소할 수 있다.

카메라 모듈, 영상 패턴인식, 패턴 해석, 제어명령, 변위각, 거리증감량, 평균변위량, 거리변화량

Description

카메라 영상의 패턴인식과 해석에 의한 휴대 단말기의 사용자 인터페이스 제어 방법 및 그 단말기{mobile device and user interface control method therefor based on pattern cognition and analysis of image captured by camera}

도 1a 및 도 1b는 본 발명에 이용되는 카메라 영상 패턴인식의 개념을 설명하기 위한 도면.

도 2는 본 발명의 실시예에 따른 휴대 단말기의 블록도.

도 3은 본 발명의 실시예에 따른 사용자 인터페이스 제어 방법의 흐름도.

도 4는 본 발명의 다른 실시예에 따른 사용자 인터페이스 제어 방법의 흐름도.

도 5는 도 4의 제어 방법에서 비교대상 지점의 위치 및 변위각을 도시한 도면.

도 6a 내지 도 6c는 도 4의 제어 방법이 적용된 화면 예시도.

도 7a 및 도 7b는 도 4의 제어 방법이 적용된 다른 화면 예시도.

도 8a 및 도 8b는 도 4의 제어 방법이 적용된 또 다른 화면 예시도.

도 9는 본 발명의 또 다른 실시예에 따른 사용자 인터페이스 제어 방법의 흐름도.

도 10은 도 9의 제어 방법에서 비교대상 지점의 위치 및 거리증감량을 도시 한 도면.

도 11a 및 도 11b는 도 9의 제어 방법이 적용된 화면 예시도.

도 12a 및 도 12b는 도 9의 제어 방법이 적용된 다른 화면 예시도.

도 13은 본 발명의 또 다른 실시예에 따른 사용자 인터페이스 제어 방법의 흐름도.

도 14a 및 도 14b는 도 13의 제어 방법이 적용된 화면 예시도.

도 15는 본 발명의 또 다른 실시예에 따른 사용자 인터페이스 제어 방법의 흐름도.

도 16은 본 발명의 또 다른 실시예에 따른 사용자 인터페이스 제어 방법의 흐름도.

도 17a 내지 도 17c는 도 15 및 도 16의 제어 방법이 적용된 화면 예시도.

본 발명은 휴대 단말기의 사용자 인터페이스 제어 기술에 관한 것으로, 좀더 구체적으로는 카메라를 통하여 획득한 피사체 영상의 패턴인식과 해석을 이용하여 휴대 단말기의 사용자 인터페이스를 제어하는 방법 및 그 휴대 단말기에 관한 것이다.

통신 기술과 반도체 기술의 눈부신 발전에 힘입어 통신 기능, 정보제공 기능, 오락 기능 등을 제공하는 각종 휴대 단말기의 보급이 전세계적으로 확대일로에 있다. 휴대 전화기, PDA(personal digital assistant), MP3 플레이어, PMP(portable multimedia player), DMB(digital multimedia broadcasting) 수신기 등은 휴대 단말기의 전형적인 예들이다.

현대생활의 필수품으로 확고히 자리를 잡은 휴대 단말기는 이제 저마다의 고유 기능에 머무르지 않고 다양한 기능을 수렴하는 추세로 발전하고 있다. 카메라 기능을 채용하여 휴대 단말기로 사진촬영을 수행하는 것은 그 좋은 예이다. 그러나 휴대 단말기에 장착된 기존의 카메라 용도는 단순히 정지영상 또는 동영상을 획득하는 것에 국한되어 있다.

한편, 휴대 단말기의 사용자 인터페이스에서 메뉴나 파일의 검색을 위해 포커스(focus)를 움직이려면 기본적으로 네 방향키로 이루어지는 검색키(navigation key)를 사용한다. 또한, 한 화면에 전부 나타나지 않는 이미지나 텍스트를 이동시키면서 보고자 할 경우에도 검색키를 사용한다. 그러나 기존의 검색키는 상하좌우 네 방향으로의 이동만을 지원하므로 임의의 방향으로 조작하고자 할 때 다소 제약이 따르고 불편함을 느낄 수 있다.

이에 본 발명의 목적은 휴대 단말기에 장착된 카메라의 활용도를 높이고자 하는 것이다.

나아가 본 발명의 다른 목적은 휴대 단말기의 검색키가 안고 있는 조작상의 제약과 불편함을 해소하기 위한 것이다.

더 나아가 본 발명의 또 다른 목적은 좀더 직관적이고 간편하게 휴대 단말기 의 사용자 인터페이스를 제어하기 위한 것이다.

이러한 목적들을 달성하기 위하여, 본 발명은 카메라를 통하여 획득한 피사체 영상의 패턴인식과 해석을 이용하여 휴대 단말기의 사용자 인터페이스를 제어하는 방법 및 그 휴대 단말기를 제공한다.

본 발명에 따른 휴대 단말기의 사용자 인터페이스 제어 방법은, 카메라 모듈을 통하여 시간적으로 연속한 제1 영상과 제2 영상을 차례로 획득하는 단계와, 제1 영상의 패턴과 제2 영상의 패턴을 각각 인식하는 단계와, 인식된 패턴들을 해석하는 단계와, 해석 결과에 따라 제어명령을 선택하는 단계와, 제어명령에 해당하는 기능을 수행하는 단계를 포함하여 구성될 수 있다.

또한, 본 발명에 따른 휴대 단말기의 사용자 인터페이스 제어 방법은, 휴대 단말기의 이동 또는 밀고 당김에 따라 변하는 제1 영상과 제2 영상을 카메라 모듈에서 차례로 획득하는 단계와, 제1 영상의 패턴과 제2 영상의 패턴을 각각 인식하는 단계와, 인식된 패턴들로부터 휴대 단말기의 이동 또는 밀고 당김을 해석하는 단계와, 해석 결과에 따라 휴대 단말기의 이동 또는 밀고 당김에 대응하는 제어명령을 선택하는 단계와, 제어명령에 해당하는 기능을 수행하는 단계를 포함하여 구성될 수 있다.

한편, 본 발명에 따른 휴대 단말기는, 시간적으로 연속한 제1 영상과 제2 영상을 차례로 획득하는 카메라 모듈과, 제1 영상의 패턴과 제2 영상의 패턴을 각각 인식하는 패턴인식부와, 패턴인식부의 패턴인식 결과를 토대로 패턴들을 해석하고 그에 따른 제어명령을 선택하는 패턴해석부와, 제어명령에 해당하는 기능을 수행하는 제어부를 포함하여 구성될 수 있다.

실시예

이하, 첨부 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하고자 한다.

실시예를 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.

카메라 영상 패턴인식 및 해석

본 발명에 의한 휴대 단말기의 사용자 인터페이스 제어 기술은 카메라 영상의 패턴인식 및 해석을 기반으로 한다. 따라서 휴대 단말기는 영상 획득이 가능한 카메라(정확하게는 이미지 센서와 신호 처리부 등을 갖춘 카메라 모듈)를 장착하고 있어야 한다. 카메라를 통하여 얻어지는 영상은 단말기의 움직임에 따라 조금씩 변하기 마련이다. 본 명세서에서 패턴인식이란 카메라에서 얻어진 영상이 변할 때 영상의 변화를 인식하는 것이고, 패턴해석이란 영상 변화로부터 단말기의 움직임을 파악하는 것이다.

카메라 영상의 패턴인식은 크게 두 가지 유형으로 나눌 수 있다. 하나는 위치변화를 인식하는 것이고, 다른 하나는 거리변화를 인식하는 것이다. 도 1a 및 도 1b는 본 발명에 이용되는 카메라 영상 패턴인식의 개념을 설명하기 위한 도면으로 서, 도 1a는 위치변화를, 도 1b는 거리변화를 각각 나타낸다.

먼저 도 1a를 참조하여 위치변화에 대하여 설명한다. 예를 들어, 휴대 단말기(100)의 카메라(도시되지 않음)를 통하여 어떤 영상(10)이 촬영된 후, 단말기(100)가 오른쪽으로 약간 움직여 다음 영상(12)이 촬영된다고 하자. 이때 두 영상(10, 12)의 동일 지점인 A, A'에 대하여 그 위치 (x, y), (x', y')를 서로 비교해 보면, 두 번째 영상(12)의 지점 A'가 제1 영상(10)의 지점 A에 비하여 왼쪽으로 이동되었다. 따라서 단말기(100)가 오른쪽으로 움직였음을 알 수 있다. 이와 같이, 두 영상(10, 12)에서 대응하는 지점의 위치변화로부터 단말기(100)의 이동방향을 알 수 있다.

이어서 도 1b를 참조하여 거리변화에 대하여 설명한다. 예를 들어, 휴대 단말기(100)의 카메라를 통하여 어떤 영상(14)이 촬영된 후, 단말기(100)가 당겨지고 다음 영상(16)이 촬영된다고 하자. 이때 각 영상(14, 16)의 두 지점 A와 B, A'과 B' 사이의 거리 d, d'를 서로 비교해 보면, 두 번째 영상(16)의 거리 d'가 첫 번째 영상(14)의 거리 d에 비하여 감소되었다. 따라서 단말기(100)가 당겨졌음을 알 수 있다. 이와 같이, 두 영상(14, 16)에서 대응하는 지점간의 거리변화로부터 단말기(100)의 밀고 당김을 알 수 있다.

본 발명은 위와 같은 카메라 영상의 패턴인식과 그 해석을 토대로 단말기의 움직임을 알아낼 수 있고, 이를 이용함으로써 사용자 인터페이스 측면에서 휴대 단말기를 제어할 수 있다. 이하의 설명에서, 단말기의 밀고 당김(push and pull)은 표시부 화면과 수직인 방향으로 단말기가 움직이는 것을 의미하고, 단말기의 이동 은 밀고 당김을 제외한 나머지 방향으로의 움직임을 의미한다.

휴대 단말기

도 2는 본 발명의 실시예에 따른 휴대 단말기의 블록도이다.

도 2를 참조하면, 휴대 단말기(100)는 카메라 모듈(110), 표시부(120), 키 입력부(130), 제어부(140), 저장부(150)를 포함하여 구성된다.

카메라 모듈(110)은 실시간으로 피사체의 영상을 획득한다. 즉, 카메라 모듈(110)은 시간적으로 연속한 제1 영상과 제2 영상을 차례로 획득한다. 잘 알려진 바와 같이, 카메라 모듈(110)은 이미지 센서, 신호 처리부, 영상 처리부 등을 구비한다. 이미지 센서는 피사체의 영상을 전기 신호로 변환하고, 신호 처리부는 아날로그 신호를 디지털 신호로 변환한다. 영상 처리부는 디지털 신호 형태의 영상 데이터를 표시부(120)에 표시하거나 저장부(150)에 저장하기 위한 처리 과정을 수행한다.

표시부(120)는 휴대 단말기(100)에서 실행되는 각종 어플리케이션(application) 및 그 데이터를 표시한다. 일반적으로 카메라 모듈(110)이 동작할 때에는 영상 데이터가 실시간으로 표시부(120)에 나타난다. 그러나 본 발명의 제어 방법이 실행되는 동안에는 표시부(120)가 영상 데이터를 표시하지 않는다.

키 입력부(130)는 휴대 단말기(100)의 동작을 제어하기 위한 사용자의 조작 신호를 입력받는다. 특히, 키 입력부(130)는 패턴인식 실행키(132)를 구비한다. 패턴인식 실행키(132)는 패턴인식 기능을 이용하여 단말기를 제어할 것인지의 여부를 사용자가 선택할 수 있는 키이다. 패턴인식 실행키(132)는 별도의 키로 형성되거나 기존의 키들 중 어느 하나에 그 기능을 부여하여 구현할 수 있다. 그러나 사용자의 선택이 필요 없을 경우에는 패턴인식 실행키(132)를 생략할 수 있다.

제어부(140)는 휴대 단말기(100)의 각 부분에 대한 전반적인 동작을 제어한다. 특히, 제어부(140)는 패턴인식부(142)와 패턴해석부(144)를 구비한다. 패턴인식부(142)는 카메라 모듈(110)에서 획득한 영상 데이터를 받아 패턴인식을 수행한다. 패턴해석부(144)는 패턴인식부(142)의 패턴인식 결과를 토대로 패턴을 해석하고 그로부터 단말기의 움직임을 파악하여 그에 상응하는 제어명령을 선택한다. 제어부(140)는 패턴해석부(144)에서 선택한 제어명령에 해당하는 기능을 수행한다.

패턴인식부(142)는 두 영상의 위치변화를 인식할 수 있다. 이를 토대로 패턴해석부(144)는 영상의 이동방향을 산출하여 단말기(100)가 그 반대쪽으로 움직였음을 파악하고, 이에 상응하여 표시부(120) 화면의 포커스를 단말기의 움직임과 동일하게 이동시키는 제어명령을 선택한다. 다른 예로, 패턴인식부(142)는 두 영상의 거리변화를 인식할 수 있다. 이를 토대로 패턴해석부(144)는 거리의 증감량을 산출하여 단말기(100)가 밀렸는지 당겨졌는지 파악하고, 이에 상응하여 표시부(120)의 화면을 확대하거나 축소하는 제어명령을 선택한다.

저장부(150)는 휴대 단말기(100)에서 실행되는 각종 프로그램과 어플리케이션 및 관련 데이터를 저장한다. 특히, 저장부(150)는 제어명령 목록(152)을 구비한다. 제어명령 목록(152)은 패턴인식 및 해석에 의하여 파악되는 단말기의 움직임에 대하여 각종 제어명령을 매핑(mapping)한 것이다. 이때 단말기의 움직임이 동일하더라도 적용되는 어플리케이션에 따라 다른 제어명령이 매핑될 수 있다. 한편, 저 장부(150)는 카메라 모듈(110)이 획득한 영상 데이터를 임시로 저장하기도 한다.

이어서 본 발명에 따른 휴대 단말기의 제어 방법에 대하여 여러 실시예를 통하여 구체적으로 설명한다. 이하의 설명으로부터, 전술한 휴대 단말기의 구성 또한 더욱 명료해질 것이다.

휴대 단말기의 사용자 인터페이스 제어 방법

도 3은 본 발명의 실시예에 따른 사용자 인터페이스 제어 방법의 흐름도이다.

도 2와 도 3을 참조하면, 휴대 단말기의 제어 방법은 패턴인식 실행키(132)의 입력을 받는 단계(210)로부터 출발한다. 사용자는 본 발명의 패턴인식 기능을 이용하여 단말기를 제어하고자 할 때 패턴인식 실행키(132)를 눌러 그 신호를 입력한다. 하지만 이 단계(210)가 반드시 필요한 것은 아니며, 이 단계(210) 없이 본 발명의 제어 방법이 구현되도록 할 수도 있다. 또한, 다른 실시예에서 후술되는 바와 같이, 이 단계(210) 전에 다른 단계들이 더 수행될 수도 있다.

다음 단계(220)에서, 카메라 모듈(110)은 제어부(140)의 제어 하에 시간적으로 연속한 제1 영상과 제2 영상을 차례로 획득하고 이를 패턴인식부(142)로 보낸다. 제1 영상과 제2 영상은 예컨대 시간적으로 이웃하는 두 프레임(frame)의 영상이다. 전술한 도 1a와 도 1b는 제1 영상(10, 14)과 제2 영상(12, 16)의 예를 보여준다.

다음 단계(230)에서, 패턴인식부(142)는 제1 영상의 패턴과 제2 영상의 패턴을 각각 인식한다. 즉, 패턴인식부(142)는 제1 영상과 제2 영상으로부터 비교대상 이 될 동일한 패턴을 추출하고 그 정보를 검출한다. 일례를 들면, 도 4의 실시예에 나타난 바와 같이, 패턴인식부(142)는 각 영상의 비교대상 지점을 추출하고 그 지점의 위치를 검출한다. 이에 대해서는 후술하기로 한다.

다음 단계(240)에서, 패턴해석부(144)는 인식된 패턴들을 해석한다. 즉, 패턴해석부(144)는 패턴인식부(142)가 검출한 제1 영상과 제2 영상의 패턴정보를 서로 비교하여 패턴의 변화를 산출하고 이를 토대로 소정의 판단 과정을 수행한다. 예를 들어, 도 4의 실시예에 나타난 바와 같이, 패턴해석부(144)는 변위각을 산출하고 어플리케이션의 유형을 판단한다. 이러한 예들에 대해서는 후술한다.

다음 단계(250)에서, 패턴해석부(144)는 해석 결과에 따라 제어명령 목록(152)으로부터 적합한 제어명령을 선택한다. 예컨대, 도 4의 실시예에 나타난 바와 같이, 어플리케이션의 유형에 따라 네 방향 이동에 관한 제어명령을 선택하거나 자유 방향 이동에 관한 제어명령을 선택한다. 이러한 예들에 대해서는 후술한다.

다음 단계(260)에서, 제어부(140)는 제어명령에 해당하는 기능을 수행한다. 예컨대, 도 4의 실시예에서 네 방향 이동에 관한 제어명령 중의 어느 하나가 선택되면, 제어부(140)는 그에 따른 동작을 수행한다.

도 4는 본 발명의 다른 실시예에 따른 사용자 인터페이스 제어 방법의 흐름도이다.

도 4를 참조하면, 본 실시예의 제어 방법은 전술한 도 3의 실시예와 마찬가지로 카메라 모듈이 제1 영상과 제2 영상을 차례로 획득하고 이를 패턴인식부로 보내는 단계(220)를 가진다.

다음 단계(232)에서, 패턴인식부는 제1 영상과 제2 영상으로부터 각각 비교대상 지점을 추출한다. 비교대상 지점은 영상 중에서 구별이 용이한 지점, 예컨대 특정 패턴의 꼭지점, 교차점 등이 될 수 있다. 설명의 편의상, 도 1a에 도시된 두 영상을 각각 제1, 제2 영상(10, 12)이라 한다. 그리고 이때 A와 A'는 비교대상 지점의 예가 된다.

비교대상 지점이 결정되면, 패턴인식부는 비교대상 지점의 위치를 검출한다(단계 234). 도 1a의 예에서 A의 위치는 (x, y)이고 A'의 위치는 (x', y')이다. 이때 (x, y)와 (x', y') 사이의 관계는 수학식 1과 같다.

x'=x+a, y'=y+b

비교대상 지점의 위치가 검출되면, 패턴해석부는 변위각 θ를 산출한다(단계 242). 도 5는 비교대상 지점의 위치 A(x, y), A'(x', y') 및 변위각 θ를 도시하고 있다. 변위각은 위치변화의 방향을 알 수 있는 것으로, 비교대상 지점의 위치로부터 수학식 2와 같이 계산한다.

θ=atan(b/a)

예컨대 변위각 θ가 30°이면, 카메라 영상이 30° 방향으로 이동하였음을 뜻한다. 따라서 단말기는 영상의 이동방향과 반대인 210° 방향으로 움직였음을 알 수 있다.

변위각이 산출된 후, 패턴해석부는 현재 실행 중인 어플리케이션의 유형을 판단한다(단계 244). 어플리케이션의 유형을 판단하는 이유는 단말기의 움직임이 동일하더라도 적용되는 어플리케이션에 따라 다른 제어명령이 매핑될 수 있기 때문이다. 본 발명의 제어 방법이 적용될 수 있는 어플리케이션은 매우 다양하다. 그 중의 몇 가지 예를 들면, 도 6a 내지 도 6c에 도시된 메뉴 목록(300), 도 7a 및 도 7b에 도시된 파일 목록(400), 도 8a 및 도 8b에 도시된 이미지 파일(500) 등이 있다. 그 밖에, 메시지 작성/확인 창, 문서 파일, 음악 파일, 게임 등의 각종 어플리케이션이 본 발명에 적용될 수 있다. 이와 같이, 다양한 어플리케이션에 본 발명의 제어 방법을 적용할 수 있으므로, 제어명령을 선택하기 전에 어플리케이션의 유형을 먼저 판단하는 과정이 필요할 수 있다.

변위각 산출 결과 및 어플리케이션의 유형에 따라 패턴해석부는 그에 적합한 제어명령을 선택한다(단계 252, 254). 표 1은 본 실시예에 적용되는 제어명령 목록의 예이다.

표 1에 예시된 바와 같이, 어플리케이션의 유형이 메뉴 목록이거나 파일 목록이면, 패턴해석부는 변위각에 따라 네 방향 이동과 관련된 제어명령을 선택한다(단계 252). 어플리케이션 유형이 이미지 파일이면, 패턴해석부는 방향 제한 없이 변위각에 따라 자유 방향 이동과 관련된 제어명령을 선택한다(단계 254).

제어명령이 선택된 후, 제어부는 제어명령에 해당하는 기능을 수행한다(단계 260). 도 6a 내지 도 6c, 도 7a 및 도 7b, 도 8a 및 도 8b는 이러한 기능 수행의 예시 화면이다.

표 1의 예에서 어플리케이션이 메뉴 목록이고 변위각이 45°<θ<135°인 경우, 제어명령은 '아래쪽 메뉴로 포커스 이동'이다. 즉, 도 6a에 도시된 바와 같이, 포커스(320)가 주메뉴 I(310)의 제1 메뉴에 위치한 상태에서 변위각이 45°<θ<135°가 되도록 단말기를 아래쪽으로 움직인다. 그러면 제어부는 도 6b와 같이 포커스(320)를 아래쪽으로 이동시킨다.

표 1의 예에서 어플리케이션이 메뉴 목록이고 변위각이 135°<θ<225°인 경우, 제어명령은 '다음 목록 표시'이다. 즉, 도 6a에 도시된 바와 같이, 포커스(320)가 주메뉴 I(310)의 제1 메뉴에 위치한 상태에서 변위각이 135°<θ<225°가 되도록 단말기를 오른쪽으로 움직인다. 그러면 제어부는 도 6c와 같이 다음 목록인 주메뉴 II(330)와 그 하위 메뉴를 표시한다.

표 1의 예에서 어플리케이션이 파일 목록이고 변위각이 135°<θ<225°인 경우, 제어명령은 '다음 파일로 포커스 이동'이다. 즉, 도 7a에 도시된 바와 같이, 포커스(410)가 어떤 파일에 위치한 상태에서 변위각이 135°<θ<225°가 되도록 단말기를 오른쪽으로 움직인다. 그러면 제어부는 도 7b와 같이 포커스(410)를 다음 파일로 이동시킨다.

표 1의 예에서 어플리케이션이 이미지 파일인 경우, 제어명령은 '변위각에 대응한 포커스 이동'이다. 도 8a에 도시된 바와 같이, 포커스(510)가 전체 표시창(520)의 일부에 위치하고, 표시부 화면(530)에는 포커스(510) 내부의 이미지가 상세히 나타난다. 이 상태에서 단말기를 임의의 방향으로 움직이면, 변위각은 그 반대 방향으로 산출된다. 아울러, 제어부는 단말기가 움직이는 방향으로 도 8b와 같이 포커스(510)를 이동시키면서 그 내부의 이미지를 표시부 화면(530)에 표시한다. 이때 이동방향의 제약은 없으며, 마치 컴퓨터의 마우스와 같이 자유로운 방향 조작이 가능하다.

도 9는 본 발명의 또 다른 실시예에 따른 사용자 인터페이스 제어 방법의 흐름도이다.

도 9를 참조하면, 본 실시예의 제어 방법은 제1, 제2 영상으로부터 추출된 비교대상 지점의 위치를 검출하는 단계(234)까지 전술한 도 4의 실시예와 동일하다. 다만, 이전의 실시예는 비교대상 지점이 한 개여도 무방하나, 본 실시예에서는 비교대상 지점이 두 개 이상이어야 한다. 설명의 편의상, 도 1b에 도시된 두 영상을 각각 제1, 제2 영상(14, 16)이라 한다. 이때 A와 B, A'와 B'는 비교대상 지점이다. A와 B의 위치는 각각 (x, y), (u, v)이고, A'와 B'의 위치는 각각 (x', y'), (u', v')이다.

비교대상 지점의 위치가 검출되면, 패턴해석부는 거리증감량 Δd를 산출한다(단계 642). 제1 영상(14)의 두 지점 A, B 간의 거리를 d, 제2 영상(16)의 두 지점 A', B' 간의 거리를 d'라 할 때, 거리증감량 Δd는 수학식 3과 같이 정의된다. 도 10은 비교대상 지점의 위치와 거리증감량을 도시하고 있다.

, ,

거리증감량이 산출되면, 패턴해석부는 거리증감량이 양인지 음인지 판단한다(단계 644). 거리증감량이 영보다 크면, 제1 영상의 거리 d가 더 큰 것이므로 단말기는 당겨졌음을 의미한다. 반대로 거리증감량이 영보다 작으면, 단말기는 밀린 것이다.

거리증감량의 판단 결과에 따라 패턴해석부는 그에 적합한 제어명령을 선택한다(단계 652, 654). 즉, 거리증감량이 양이면 패턴해석부는 화면확대를 제어명령으로 선택하고(단계 652), 거리증감량이 음이면 화면축소를 제어명령으로 선택한다(단계 654). 전술한 실시예와 같이, 패턴해석부는 어플리케이션의 유형을 판단한 후 적합한 어플리케이션인 경우에만 제어명령을 선택할 수도 있다.

제어명령이 선택된 후, 제어부는 제어명령에 해당하는 기능을 수행한다(단계 260). 도 11a 및 도 11b, 도 12a 및 도 12b는 이러한 기능 수행의 예시 화면을 보여준다.

도 11a는 다수의 이미지 파일(420)들이 파일 목록(400)에 나열되고 포커스(410)가 특정 파일에 위치한 상태이다. 이때 단말기를 앞으로 당기면, 거리증감량이 양으로 산출되고, 이에 따라 제어명령은 화면확대가 된다. 따라서 제어부는 도 11b와 같이 포커스(410)가 위치한 파일을 기준으로 화면을 확대하여 표시한다.

도 12a는 이미지 파일(500)이 표시되는 경우이다. 전체 표시창(520) 안에는 포커스(510)가 위치하고, 표시부 화면(530)에는 포커스(510) 내부의 이미지가 나타난다. 이 상태에서 단말기를 뒤로 밀면, 거리증감량이 음으로 산출되고, 제어명령은 화면축소가 된다. 제어부는 도 12b와 같이 포커스(510)의 크기를 확대시키면서 그 안의 이미지를 축소하여 표시부 화면(530)에 표시한다.

도면에 도시되지는 않았지만, 어플리케이션이 글자들을 포함하는 문서 파일 또는 메시지 작성/확인 창인 경우에는 화면 확대/축소 기능을 이용하여 글자 폰트의 크기를 증가시키거나 감소시킬 수 있다.

도 13은 본 발명의 또 다른 실시예에 따른 사용자 인터페이스 제어 방법의 흐름도이다.

본 실시예는 전술한 도 4의 실시예와 도 9의 실시예를 혼합한 형태이다. 즉, 본 실시예의 제어 방법은 단말기의 이동에 따른 포커스 및 화면의 방향이동, 단말기의 밀고 당김에 따른 포커스 및 화면의 확대/축소를 복합적으로 제어한다.

도 13을 참조하면, 본 실시예의 제어 방법은 전술한 실시예들과 마찬가지로 비교대상 지점의 위치를 검출하는 단계(234)까지 수행한다. 비교대상 지점은 적어도 두 개 이상이다.

이어서, 패턴해석부는 평균변위량과 거리변화량을 산출한다(단계 742). 설명의 편의상 도 10을 참조하면, 제1 영상의 두 지점 A, B와 제2 영상의 두 지점 A', B'의 위치는 각각 (x, y), (u, v), (x', y'), (u', v')이다. 이때, A와 A' 사이의 이동거리 p, B와 B' 사이의 이동거리 q는 수학식 4와 같이 계산할 수 있다. p와 q를 각각 변위량이라 하고, p와 q의 평균값을 평균변위량 m이라 한다.

, ,

평균변위량은 제1 영상을 기준으로 제2 영상이 이동한 정도를 알려준다. 한편, 거리변화량은 거리증감량의 절대값으로 정의된다. 거리변화량은 제1 영상을 기준으로 제2 영상이 밀리거나 당겨진 정도를 나타낸다.

평균변위량과 거리변화량이 산출되면, 패턴해석부는 평균변위량과 거리변화량을 비교한다(단계 744). 평균변위량이 거리변화량보다 크면, 단말기가 밀리거나 당겨진 것에 비하여 이동한 양이 더 큼을 의미한다. 반대로 평균변위량이 거리변화량보다 작으면, 단말기는 이동한 양에 비하여 더 많이 밀리거나 당겨진 것이다.

이러한 비교 결과에 따라 패턴해석부는 그에 적합한 제어명령을 선택한다(단계 752, 754). 즉, 평균변위량이 더 크면 패턴해석부는 방향이동을 제어명령으로 선택하고(단계 752), 거리변화량이 더 크면 확대/축소를 제어명령으로 선택한다(단계 754).

본 실시예는 카메라가 장착된 단말기를 움직여 단말기를 제어할 때 방향이동 기능과 확대/축소 기능을 동시에 이용할 수 있음을 의미한다. 방향이동 기능과 관련된 제어 과정은 도 4의 실시예와 같이 구현할 수 있고, 확대/축소 기능과 관련된 제어 과정은 도 9의 실시예와 같이 구현할 수 있다. 따라서 본 실시예에서는 이에 대한 설명을 생략한다.

제어명령이 선택된 후, 제어부는 제어명령에 해당하는 기능을 수행한다(단계 260). 도 14a 및 도 14b는 이러한 기능 수행의 예시 화면을 보여준다.

도 14a는 문서 파일(800)이 표시되는 예이다. 포커스(810)는 전체 표시창(820) 안에 위치하고, 표시부 화면(830)에는 포커스(810) 내부의 문서내용이 나타난다. 이 상태에서 단말기를 앞으로 당기면, 제어부는 도 14b와 같이 포커스(810)의 크기를 축소시키면서 그 안의 문서내용을 확대하여 표시부 화면(830)에 표시한다. 이 상태에서 단말기를 이동하면, 그에 따라 포커스(810)의 위치가 바뀌면서 표시부 화면(830)의 문서내용도 다르게 표시될 것이다.

도 15는 본 발명의 또 다른 실시예에 따른 사용자 인터페이스 제어 방법의 흐름도이다.

본 발명의 제어 방법은 특정 어플리케이션을 실행한 상태에서만 수행될 수 있다. 이 경우, 단말기의 현재 상태가 패턴인식에 의한 제어가 가능한 상태인지 사용자에게 알려줄 필요가 있다. 본 실시예는 그 예이다.

도 15를 참조하면, 본 실시예의 제어 방법은 영상을 획득하기 위해 패턴인식 실행키의 입력을 받는 단계(210) 전에 특정 어플리케이션을 실행하는 단계(202)를 더 포함한다.

제어부의 제어 하에 특정 어플리케이션이 실행되는 상태에서, 제어부는 현재 실행 중인 어플리케이션이 패턴인식 가능 어플리케이션인지 판단한다(단계 204). 패턴인식이 가능한 어플리케이션이면, 제어부는 아이콘 등을 이용하여 표시부 화면 에 패턴인식 가능을 표시한다(단계 206). 패턴인식이 불가능한 어플리케이션이면, 패턴인식 불가를 표시한다(단계 208).

도 17a 및 도 17b는 본 실시예의 제어 방법이 적용된 예시 화면이다. 도 17a와 같이 패턴인식이 가능한 어플리케이션(900)이 실행되는 상태에서는 이를 알리는 패턴인식 아이콘(910)이 표시된다. 패턴인식 아이콘(910)은 후속 단계(210)에서 패턴인식 실행키의 입력 여부에 따라 다르게 표시될 수도 있다. 예를 들어, 도 17a의 아이콘(910)은 패턴인식 실행키가 입력되기 전임을 나타내며, 도 17b의 아이콘(920)은 패턴인식 실행키가 입력되었음을 나타낸다. 두 아이콘들(910, 920)은 명암, 색상 등으로 구별되도록 할 수 있다.

이에 반하여, 실행 중인 어플리케이션이 패턴인식이 불가능한 어플리케이션이면, 이를 알리는 다른 아이콘(도시되지 않음)이 표시되거나 또는 전술한 아이콘들(910, 920)이 전혀 표시되지 않는다.

전술한 바와 같이 본 발명의 제어 방법은 패턴인식 실행키의 입력 단계(210)가 생략될 수 있다. 그 경우, 실행 중인 어플리케이션의 패턴인식 가능 여부를 판단하고 표시하는 단계들(204, 206, 208)은 영상획득 단계(도 3의 220) 직전에 수행된다.

도 16은 본 발명의 또 다른 실시예에 따른 사용자 인터페이스 제어 방법의 흐름도이다.

카메라 영상을 통한 패턴인식은 경우에 따라 실패할 수도 있다. 예를 들어 하얀 벽과 같은 영상은 그 안에 구별되는 특징이 없기 때문에 패턴을 추출할 수 없 다. 따라서 이러한 경우에는 패턴인식에 실패할 수 있으며, 이를 감안한 제어 방법이 본 실시예이다.

도 16을 참조하면, 본 실시예의 제어 방법은 도 3의 실시예에서 설명한 각 영상의 패턴인식 단계(230)를 수행하고, 패턴인식의 성공 여부를 판단한다(단계 236). 패턴인식에 성공하면 도 3의 실시예에서 설명한 패턴 해석(240) 단계를 진행하고, 패턴인식에 실패하면 이를 표시부 화면에 표시한다(단계 238).

도 17c는 본 실시예의 제어 방법이 적용된 예시 화면이다. 패턴인식에 실패하면, 도 17c와 같이 아이콘(930) 및/또는 문구(940)를 이용하여 패턴인식 불가임을 표시한다.

이상, 본 명세서와 도면에는 본 발명의 바람직한 실시예들에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

앞서 설명한 실시예들은 단말기의 이동 방향과 포커스의 이동 방향이 동일하고 단말기의 밀고 당김이 화면의 축소, 확대와 대응하는 경우이다. 즉, 해석 결과가 휴대 단말기의 이동일 때, 제어명령 선택 단계는 휴대 단말기의 이동 방향과 동일한 방향으로의 이동에 관련된 제어명령을 선택하고, 해석 결과가 휴대 단말기의 밀고 당김일 때, 제어명령 선택 단계는 휴대 단말기의 밀고 당김이 화면의 축소 및 확대에 각각 대응하는 제어명령을 선택한다.

본 발명은 이와 반대로 단말기의 이동 방향과 포커스의 이동 방향이 서로 반대이고 단말기의 밀고 당김이 화면의 확대, 축소와 대응하는 변형예도 가능하다. 즉, 해석 결과가 휴대 단말기의 이동일 때, 제어명령 선택 단계는 휴대 단말기의 이동 방향과 반대 방향으로의 이동에 관련된 제어명령을 선택하고, 해석 결과가 휴대 단말기의 밀고 당김일 때, 제어명령 선택 단계는 휴대 단말기의 밀고 당김이 화면의 확대 및 축소에 각각 대응하는 제어명령을 선택할 수 있다.

이와 같은 제어명령 선택의 두 가지 방식은 각각 일반 모드와 반대 모드로 정의할 수 있으며, 본 발명의 제어 방법은 두 모드 중의 하나가 선택되는 단계를 더 포함할 수 있다.

한편, 본 발명이 적용되는 휴대 단말기는 대표적으로 휴대 전화기, PDA, MP3 플레이어, PMP, DMB 수신기 등이다. 그러나 본 발명은 이러한 예의 휴대 단말기에 국한되지 않으며, 통상적 입력장치인 키보드 및 마우스를 사용하지 않고 버튼을 사용하는 모든 유형의 휴대 단말기에 적용될 수 있다.

본 발명은 휴대 단말기에 장착된 카메라를 이용하여 사용자 인터페이스를 제어하는 기술을 제공한다. 따라서 단순히 정지영상 또는 동영상을 획득하는 것에 그치던 기존의 카메라 용도를 대폭 확장하는 효과가 있다. 더욱이 카메라가 획득한 영상을 그대로 이용하기 때문에, 별도의 동작인식 센서 등을 추가로 사용할 필요가 없다. 이는 휴대 단말기의 크기, 제조공정, 가격 등의 측면에서도 도움을 주는 요 인이다.

본 발명은 또한 기존의 검색키가 안고 있던 조작상의 제약과 불편함을 해소시킬 수 있다. 즉, 상하좌우 네 방향으로의 이동에 국한되지 않고 마우스와 같이 이동방향의 제약 없이 자유롭게 조작할 수 있는 장점이 있다.

더군다나 본 발명은 휴대 단말기의 이동 또는 밀고 당김을 사용자 인터페이스의 제어에 직접 반영함으로써 직관적이고 간편하게 휴대 단말기를 사용할 수 있는 효과가 있다.

Claims

카메라 모듈을 포함하는 휴대 단말기의 사용자 인터페이스 제어 방법으로서,

상기 휴대 단말기의 밀고 당김에 따라 상기 카메라 모듈을 통하여 시간적으로 연속한 제1 영상과 제2 영상을 차례로 획득하는 단계;

상기 제1 영상과 상기 제2 영상으로부터 각각 비교대상 지점을 적어도 두 개 추출하고, 상기 비교대상 지점의 위치를 각각 산출하는 상기 제1 영상의 패턴과 상기 제2 영상의 패턴을 각각 인식하는 단계;

상기 비교대상 지점의 위치로부터 거리증감량을 산출하고, 상기 거리증감량이 양인지 음인지 판단하는 인식된 상기 패턴들을 해석하는 단계;

상기 거리증감량의 해석 결과에 따라 화면 확대/축소를 제어명령으로 선택하는 단계; 및

상기 제어명령에 해당하는 기능을 수행하는 단계

를 포함하는 휴대 단말기의 사용자 인터페이스 제어 방법.
제1항에 있어서,

상기 비교대상 지점의 위치가 상기 제1 영상에서 (x, y), (u, v)이고 상기 제2 영상에서 (x+a, y+b), (u+c, v+d)일 때, 상기 거리증감량 Δd는 다음 수학식

,
,

에 의하여 계산되는 것을 특징으로 하는 휴대 단말기의 사용자 인터페이스 제어 방법.
제2항에 있어서,

상기 제어명령 선택 단계는 상기 거리증감량이 양이면 상기 제어명령으로 화면확대를 선택하고, 상기 거리증감량이 음이면 상기 제어명령으로 화면축소를 선택하는 것을 특징으로 하는 휴대 단말기의 사용자 인터페이스 제어 방법.
카메라 모듈을 포함하는 휴대 단말기의 사용자 인터페이스 제어 방법으로서,

상기 휴대 단말기의 이동 또는 밀고 당김에 따라 상기 카메라 모듈을 통하여 시간적으로 연속한 제1 영상과 제2 영상을 차례로 획득하는 단계;

상기 제1 영상과 상기 제2 영상으로부터 각각 비교대상 지점을 적어도 두 개 추출하고, 상기 비교대상 지점의 위치를 각각 산출하는 상기 제1 영상의 패턴과 상기 제2 영상의 패턴을 각각 인식하는 단계;

상기 비교대상 지점의 위치로부터 평균변위량과 거리변화량을 산출하고, 상기 평균변위량과 상기 거리변화량을 비교하는 인식된 상기 패턴들을 해석하는 단계;

상기 평균변위량이 상기 거리변화량보다 크면 방향이동을 제어명령으로 선택하고, 상기 거리변화량이 상기 평균변위량보다 크면 화면 확대/축소를 제어명령으로 선택하는 단계; 및

상기 제어명령에 해당하는 기능을 수행하는 단계

를 포함하는 휴대 단말기의 사용자 인터페이스 제어 방법.
제4항에 있어서,

상기 비교대상 지점의 위치가 상기 제1 영상에서 (x, y), (u, v)이고 상기 제2 영상에서 (x+a, y+b), (u+c, v+d)일 때, 상기 평균변위량 m은 다음 수학식

,
,

에 의하여 계산되고, 상기 거리변화량은 다음 수학식

,
,

에 의하여 계산되는 거리증감량 Δd의 절대값인 것을 특징으로 하는 휴대 단말기의 사용자 인터페이스 제어 방법.
제4항에 있어서,

상기 패턴해석 단계는 상기 비교대상 지점의 위치로부터 변위각을 산출하는 단계를 포함하는 것을 특징으로 하는 휴대 단말기의 사용자 인터페이스 제어 방법.
제6항에 있어서,

상기 비교대상 지점의 위치가 상기 제1 영상에서 (x, y)이고 상기 제2 영상에서 (x+a, y+b)일 때, 상기 변위각 θ는 다음 수학식

θ=atan(b/a)

에 의하여 계산되는 것을 특징으로 하는 휴대 단말기의 사용자 인터페이스 제어 방법.
제6항 또는 제7항에 있어서,

상기 방향이동을 상기 제어명령으로 선택하는 단계는 상기 변위각에 따라 네 방향 이동과 관련된 제어명령을 선택하거나, 자유 방향 이동과 관련된 제어명령을 선택하는 것을 특징으로 하는 휴대 단말기의 사용자 인터페이스 제어 방법.
제6항 또는 제7항에 있어서,

상기 방향이동을 상기 제어명령으로 선택하는 단계는 상기 변위각이 각각 -45°<θ<45°, 45°<θ<135°, 135°<θ<225°, 225°<θ<315°일 때, 상기 제어명령으로 각각 이전 목록 표시, 아래쪽 메뉴로 포커스 이동, 다음 목록 표시, 위쪽 메뉴로 포커스 이동을 선택하는 것을 특징으로 하는 휴대 단말기의 사용자 인터페이스 제어 방법.
제6항 또는 제7항에 있어서,

상기 방향이동을 상기 제어명령으로 선택하는 단계는 상기 변위각이 각각 -45°<θ<45°, 45°<θ<135°, 135°<θ<225°, 225°<θ<315°일 때, 상기 제어명령으로 각각 이전 파일로 포커스 이동, 아래쪽 파일로 포커스 이동, 다음 파일로 포커스 이동, 위쪽 파일로 포커스 이동을 선택하는 것을 특징으로 하는 휴대 단말기의 사용자 인터페이스 제어 방법.
제6항 또는 제7항에 있어서,

상기 방향이동을 상기 제어명령으로 선택하는 단계는 변위각에 대응한 포커스 이동을 상기 제어명령으로 선택하는 것을 특징으로 하는 휴대 단말기의 사용자 인터페이스 제어 방법.
제5항에 있어서,

상기 화면 확대/축소를 상기 제어명령으로 선택하는 단계는 상기 거리증감량이 양이면 상기 제어명령으로 화면확대를 선택하고, 상기 거리증감량이 음이면 상기 제어명령으로 화면축소를 선택하는 것을 특징으로 하는 휴대 단말기의 사용자 인터페이스 제어 방법.
제1항 또는 제4항에 있어서,

상기 영상획득 단계는 패턴인식 실행키의 입력을 받아 수행되는 것을 특징으로 하는 휴대 단말기의 사용자 인터페이스 제어 방법.
제1항 또는 제4항에 있어서,

상기 패턴해석 단계는 현재 실행 중인 어플리케이션의 유형을 판단하는 단계를 더 포함하는 것을 특징으로 하는 휴대 단말기의 사용자 인터페이스 제어 방법.
제14항에 있어서,

상기 어플리케이션은 메뉴 목록, 파일 목록, 이미지 파일, 메시지 작성/확인 창, 문서 파일, 음악 파일, 게임을 포함하는 것을 특징으로 하는 휴대 단말기의 사용자 인터페이스 제어 방법.
삭제
삭제
제1항 또는 제4항에 있어서,

상기 영상획득 단계 전에, 현재 실행 중인 어플리케이션의 패턴인식 가능 여부를 판단하는 단계와, 상기 패턴인식 가능 여부를 표시하는 단계를 더 포함하는 것을 특징으로 하는 휴대 단말기의 사용자 인터페이스 제어 방법.
제18항에 있어서,

상기 패턴인식 가능 여부의 표시 단계는 상기 어플리케이션이 패턴인식 가능 어플리케이션일 때 패턴인식 아이콘을 표시하는 것을 특징으로 하는 휴대 단말기의 사용자 인터페이스 제어 방법.
제1항 또는 제4항에 있어서,

상기 패턴인식 단계 후에, 상기 패턴인식의 성공 여부를 판단하는 단계와, 상기 패턴인식에 실패하면 패턴인식 불가를 표시하는 단계를 더 포함하는 것을 특징으로 하는 휴대 단말기의 사용자 인터페이스 제어 방법.
제20항에 있어서,

상기 패턴인식 불가의 표시 단계는 아이콘과 문구 중의 적어도 하나를 표시하는 것을 특징으로 하는 휴대 단말기의 사용자 인터페이스 제어 방법.
카메라 모듈을 포함하는 휴대 단말기의 사용자 인터페이스 제어 방법으로서,

상기 휴대 단말기의 이동 또는 밀고 당김에 따라 변하는 제1 영상과 제2 영상을 상기 카메라 모듈에서 차례로 획득하는 단계;

상기 제1 영상의 패턴과 상기 제2 영상의 패턴을 각각 인식하는 단계;

인식된 상기 패턴들로부터 상기 휴대 단말기의 이동 또는 밀고 당김을 해석하는 단계;

상기 해석 결과에 따라 상기 휴대 단말기의 이동 또는 밀고 당김에 대응하는 제어명령을 선택하는 단계; 및

상기 제어명령에 해당하는 기능을 수행하는 단계

를 포함하는 휴대 단말기의 사용자 인터페이스 제어 방법.
제22항에 있어서,

상기 해석 결과가 상기 휴대 단말기의 이동일 때, 상기 제어명령 선택 단계는 상기 휴대 단말기의 이동 방향과 동일한 방향으로의 이동에 관련된 제어명령을 선택하는 것을 특징으로 하는 휴대 단말기의 사용자 인터페이스 제어 방법.
제22항에 있어서,

상기 해석 결과가 상기 휴대 단말기의 이동일 때, 상기 제어명령 선택 단계는 상기 휴대 단말기의 이동 방향과 반대 방향으로의 이동에 관련된 제어명령을 선택하는 것을 특징으로 하는 휴대 단말기의 사용자 인터페이스 제어 방법.
제22항에 있어서,

상기 해석 결과가 상기 휴대 단말기의 밀고 당김일 때, 상기 제어명령 선택 단계는 상기 휴대 단말기의 밀고 당김이 화면의 축소 및 확대에 각각 대응하는 제어명령을 선택하는 것을 특징으로 하는 휴대 단말기의 사용자 인터페이스 제어 방법.
제22항에 있어서,

상기 해석 결과가 상기 휴대 단말기의 밀고 당김일 때, 상기 제어명령 선택 단계는 상기 휴대 단말기의 밀고 당김이 화면의 확대 및 축소에 각각 대응하는 제어명령을 선택하는 것을 특징으로 하는 휴대 단말기의 사용자 인터페이스 제어 방법.
사용자 인터페이스 제어를 수행하는 휴대 단말기로서,

상기 휴대 단말기의 밀고 당김에 따라 시간적으로 연속한 제1 영상과 제2 영상을 차례로 획득하는 카메라 모듈;

상기 제1 영상과 상기 제2 영상으로부터 각각 비교대상 지점을 적어도 두 개 추출하고, 상기 비교대상 지점의 위치를 각각 산출하는 상기 제1 영상의 패턴과 상기 제2 영상의 패턴을 각각 인식하는 패턴인식부;

상기 비교대상 지점의 위치로부터 거리증감량을 산출하고, 상기 거리증감량이 양인지 음인지 판단하는 인식된 상기 패턴들을 해석하고, 상기 거리증감량의 해석 결과에 따라 화면 확대/축소를 제어명령으로 선택하는 패턴해석부; 및

상기 제어명령에 해당하는 기능을 수행하는 제어부

를 포함하는 휴대 단말기.