KR20070105020A

KR20070105020A - Mouse device having camera and portable terminal having the same

Info

Publication number: KR20070105020A
Application number: KR1020060036734A
Authority: KR
Inventors: 김일명; 안형식
Original assignee: (주)케이티에프테크놀로지스
Priority date: 2006-04-24
Filing date: 2006-04-24
Publication date: 2007-10-30

Abstract

A mouse device equipped with a camera and a portable terminal having the same are provided to enhance user convenience by enabling the portable terminal to provide a mouse function with the camera without adding any device to the portable terminal. An image processing module(23) receives the predetermined number of frame images per a second from the camera(10) and calculates first position information corresponding to a first frame from each frame image having the smaller number of pixels than the pixels of the frame image received from the camera. The image processing module calculates second position information corresponding to a second frame continued to the first frame based on the first position information and outputs the second position information. An image preprocessor(21) for reducing the number of pixels of the frame image received from the camera is installed between the camera and the image processing module. The mouse is equipped with more than one key and outputs corresponding button click information if the key is manipulated.

Description

MOUSE DEVICE WITH A CAMERA AND A MOBILE TERMINAL WITH THE SAME {MOUSE DEVICE HAVING CAMERA AND PORTABLE TERMINAL HAVING THE SAME}

도 1은 본 발명의 일실시예에 따른 카메라를 구비한 마우스 장치의 구성을 나타내는 블록도이다.1 is a block diagram showing the configuration of a mouse device having a camera according to an embodiment of the present invention.

도 2는 본 발명의 일실시예에 따른 카메라를 구비한 마우스 장치의 동작을 나타내는 흐름도이다.2 is a flowchart illustrating the operation of a mouse device having a camera according to an embodiment of the present invention.

도 3A는 도 2에 도시된 이미지 처리 단계의 일실시예를 나타내는 흐름도이다.3A is a flow diagram illustrating one embodiment of the image processing step shown in FIG. 2.

도 3B는 도 2에 도시된 이미지 처리 단계의 구체적인 동작을 설명하기 위한 개념도이다.3B is a conceptual diagram for describing a detailed operation of the image processing step illustrated in FIG. 2.

도 4는 도 2에 도시된 이미지 처리 단계의 다른 실시예를 나타내는 흐름도이다.FIG. 4 is a flowchart illustrating another embodiment of the image processing step shown in FIG. 2.

도 5는 본 발명의 일실시예에 따른 카메라를 구비한 마우스 장치를 가지는 휴대용 단말기의 구성을 나타내는 블록도이다.5 is a block diagram illustrating a configuration of a portable terminal having a mouse device having a camera according to an embodiment of the present invention.

도 6은 본 발명의 일실시예에 따른 카메라를 구비한 마우스 장치를 가지는 휴대용 단말기의 배면도이다.6 is a rear view of a portable terminal having a mouse device having a camera according to an embodiment of the present invention.

도 7은 본 발명의 일실시예에 따른 카메라를 구비한 마우스 장치를 가지는 휴대용 단말기의 사용 예를 나타내는 개념도이다.7 is a conceptual diagram illustrating an example of use of a portable terminal having a mouse device with a camera according to an embodiment of the present invention.

<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for main parts of the drawings>

10 : 카메라부 20 : 마우스 모듈10: camera unit 20: mouse module

21 : 이미지 전처리부 23 : 이미지 처리부21: image preprocessing unit 23: image processing unit

25 : 마우스 기능 처리부 30 : 저장부25: mouse function processing unit 30: storage unit

40 : 키 입력부 50 : 통신 인터페이스40: key input unit 50: communication interface

60 : 제어부 70 : 송수신부60: controller 70: transceiver

80 : 코덱 90 : 음향 입출력부80: codec 90: sound input and output

100 : 디스플레이부100: display unit

본 발명은 카메라를 구비한 마우스 장치 및 이를 가지는 휴대용 단말기에 관한 것으로, 더욱 상세하게는 휴대용 단말기에 사용할 수 있는 카메라를 구비한 마우스 장치 및 이를 가지는 휴대용 단말기에 관한 것이다.The present invention relates to a mouse device having a camera and a portable terminal having the same, and more particularly, to a mouse device having a camera that can be used in the portable terminal and a portable terminal having the same.

최근 들어 소형, 저가형의 이미지 센서 기술이 발전함에 따라 이동 통신 단말이나, PDA(Personal Digital Assistants) 등과 같은 휴대용 단말기에 디지털 카메라가 장착되어 시간과 장소에 관계없이 디지털 영상을 기록할 수 있게 되었다.Recently, with the development of small and low-cost image sensor technology, digital cameras have been installed in mobile communication terminals or portable terminals such as PDAs (Personal Digital Assistants) to record digital images regardless of time and place.

또한, 전자 통신 기술의 급격한 발달로 어디에서나 네트워크에 접속할 수 있는 유비쿼터스 시대가 도래하면서 노트북 컴퓨터와 같이 휴대 가능한 컴퓨터의 사 용이 많아지고 있다.In addition, due to the rapid development of electronic communication technology, the ubiquitous era in which a network can be accessed from anywhere is increasing, and portable computers such as notebook computers are increasing.

상기의 노트북 컴퓨터와 같은 휴대 가능한 컴퓨터는 부피와 무게를 줄이기 위해 트랙 패드나 트랙 볼과 같은 포인팅 장치를 구비하고 있고, PDA와 같은 초소형 컴퓨터는 키패드에 포함된 방향키를 이용하거나 터치 패널 형식의 디스플레이 장치를 이용함으로써 마우스의 기능을 대신하고 있다.Portable computers such as notebook computers are provided with pointing devices, such as track pads and track balls, to reduce volume and weight. Subminiature computers, such as PDAs, use directional keys included in the keypad or display devices in the form of touch panels. By using it replaces the function of the mouse.

그러나 상기와 같은 트랙 패드, 키패드 또는 터치 패널은 데스크탑 컴퓨터에 구비된 마우스에 비해 포인팅 속도가 느리고 사용 환경이 제한적이어서 사용이 불편하다는 단점이 있다. However, the trackpad, keypad or touch panel as described above has a disadvantage in that it is inconvenient to use because the pointing speed is slow and the use environment is limited compared to a mouse provided in a desktop computer.

상기와 같은 단점을 극복하기 위해 휴대폰을 이용하여 마우스의 기능을 제공할 수 있는 기술이 공개되었으나, 종래의 기술들은 마우스의 기능을 제공하기 위해 별도의 장치를 휴대폰에 추가해야 하므로 휴대폰의 제조 원가가 상승하고, 휴대폰의 외관이 복잡해진다는 문제점이 있다.In order to overcome the drawbacks described above, a technology for providing a function of a mouse using a mobile phone has been disclosed. However, the conventional technology requires a separate device to be added to a mobile phone in order to provide a function of a mouse. There is a problem that the rise, and the appearance of the mobile phone becomes complicated.

따라서, 본 발명의 목적은 별도의 장치를 추가하지 않고 사용자의 편의성을 향상시킬 수 있는 휴대용 단말기에 사용할 수 있는 카메라를 구비한 마우스 장치를 제공하는 것이다.Accordingly, an object of the present invention is to provide a mouse device having a camera that can be used in a portable terminal that can improve user convenience without adding a separate device.

본 발명의 다른 목적은 상기 카메라를 구비한 마우스 장치를 가지는 휴대용 단말기를 제공하는 것이다.Another object of the present invention is to provide a portable terminal having a mouse device having the camera.

본 발명의 또 다른 목적은 상기 카메라를 구비한 마우스 장치의 동작 방법을 제공하는 것이다.Still another object of the present invention is to provide a method of operating a mouse device having the camera.

상술한 본 발명의 목적을 달성하기 위한 본 발명의 일측면에 따른 카메라를 구비한 마우스 장치는, 카메라로부터 초당 소정 개수의 프레임 이미지를 수신하고, 상기 카메라로부터 수신된 프레임 이미지의 화소 개수에 비하여 화소 개수가 감소된 각각의 프레임 이미지에서 제1 프레임에 상응하는 제1 위치 정보를 산출하고, 상기 제1 프레임에 연속하는 제2 프레임에 상응하는 제2 위치 정보를 상기 제1 위치 정보에 기초하여 계산하고, 상기 제2 위치 정보를 출력하는 이미지 처리 모듈을 포함한다. 상기 카메라를 구비한 마우스 장치는 상기 카메라로부터 수신된 프레임 이미지의 화소 개수를 감소시키는 이미지 전처리부를 상기 카메라와 상기 이미지 처리 모듈 사이에 더 구비할 수 있다. 상기 카메라를 구비한 마우스 장치는 적어도 하나 이상의 키(key)를 구비하며, 상기 키가 동작된 경우 이에 상응하는 버튼 클릭 정보를 출력할 수 있다. 상기 이미지 처리 모듈은 상기 제1 프레임의 이미지를 복수의 템플릿(template)으로 분할한 후, 기준 템플릿을 설정하고, 상기 기준 템플릿의 소정 위치에 대한 제1 위치 정보를 구하고, 상기 제2 프레임의 이미지에서 상기 기준 템플릿과 가장 유사한 정합 템플릿을 찾고, 상기 정합 템플릿의 소정 위치에 대해 상기 제1 위치 정보에 대한 상대 좌표값을 계산하고, 상기 상대 좌표값을 상기 제2 위치 정보로 출력할 수 있다. 상기 기준 템플릿은 상기 제1 프레임 이미지의 가장 중앙에 위치한 템플릿으로 설정될 수 있다. 상기 기준 템플릿의 소정 위치는 상기 기준 템플릿의 가장 중앙에 위치한 화소의 위치로 정해질 수 있다. 상기 이미지 처리 모듈은 상기 제1 프레임의 이미지에서 대표영역을 설정한 후 상기 대 표영역의 중점의 상기 제1 위치 정보를 구하고, 상기 제2 프레임 이미지에서도 대표영역을 설정한 후 상기 대표영역의 중점에 대해 상기 제1 위치 정보에 대한 상대 좌표값을 계산하고, 계산된 상기 상대 좌표값을 제2 위치 정보로 출력할 수 있다. 상기 대표영역은 상기 제1 프레임 이미지를 복수의 영역으로 구분하고 각 영역의 원형도, 주위길이 및 면적 중의 적어도 하나에 기초하여 설정될 수 있다. 상기 카메라를 구비한 마우스 장치는 상기 이미지 처리 모듈이 상기 제1 위치 정보 및 제2 위치 정보를 계산하는 과정에서 생성되는 일시적인 데이터를 저장하기 위한 저장부를 더 포함할 수 있다.A mouse device having a camera according to an aspect of the present invention for achieving the above object of the present invention, receives a predetermined number of frame images per second from the camera, the pixel compared to the number of pixels of the frame image received from the camera Computing first position information corresponding to the first frame in each of the reduced frame images, and calculating second position information corresponding to the second frame subsequent to the first frame based on the first position information. And an image processing module configured to output the second location information. The mouse device having the camera may further include an image preprocessor configured to reduce the number of pixels of the frame image received from the camera between the camera and the image processing module. The mouse device having the camera has at least one key, and when the key is operated, it can output button click information corresponding thereto. The image processing module divides the image of the first frame into a plurality of templates, sets a reference template, obtains first position information on a predetermined position of the reference template, and images of the second frame. Finds a matching template most similar to the reference template, calculates a relative coordinate value with respect to the first position information with respect to a predetermined position of the matching template, and outputs the relative coordinate value as the second position information. The reference template may be set to a template located at the center of the first frame image. The predetermined position of the reference template may be determined by the position of the pixel located at the center of the reference template. The image processing module obtains the first position information of the midpoint of the representative area after setting the representative area in the image of the first frame, and sets the representative area in the second frame image, and then the midpoint of the representative area. The relative coordinate value with respect to the first position information may be calculated for, and the calculated relative coordinate value may be output as second position information. The representative area may be set based on at least one of circularity, peripheral length, and area of the first frame image divided into a plurality of areas. The mouse device having the camera may further include a storage unit for storing temporary data generated while the image processing module calculates the first position information and the second position information.

또한, 본 발명의 다른 목적을 달성하기 위한 본 발명의 일측면에 따른 카메라를 구비한 마우스 장치를 가지는 휴대용 단말기는, 수신된 초당 소정 개수의 프레임 이미지의 각각의 화소 개수를 감소시키고, 상기 화소 개수가 감소된 각각의 프레임 이미지 중 제1 프레임에 상응하는 제1 위치 정보를 산출하고, 상기 제1 프레임에 연속하는 제2 프레임에 상응하는 제2 위치 정보를 산출된 상기 제1 위치 정보에 기초하여 계산하고, 수신된 키 입력 정보에 상응하는 버튼 클릭 정보 및 상기 제2 위치 정보를 전송하는 마우스 모듈을 포함할 수 있다.In addition, a portable terminal having a mouse device having a camera according to an aspect of the present invention for achieving another object of the present invention, reducing the number of each pixel of the predetermined number of frame images per second received, the number of pixels Calculates first position information corresponding to the first frame of each of the reduced frame images, and calculates second position information corresponding to the second frame subsequent to the first frame based on the calculated first position information. The mouse module may calculate and transmit button click information and the second location information corresponding to the received key input information.

또한, 본 발명의 다른 목적을 달성하기 위한 본 발명의 다른 측면에 따른 카메라를 구비한 마우스 장치를 가지는 휴대용 단말기는, 피사체로부터의 광학적 신호를 디지털화된 이미지 신호로 변환하는 카메라부와, 키 입력 동작에 상응하는 키입력 정보를 출력하는 키 입력부와, 상기 카메라부로부터 초당 소정 개수의 프레임 이미지를 수신하고 상기 프레임 이미지 각각의 화소 개수를 감소시킨 후, 상기 화 소 개수가 감소된 각각의 프레임 이미지 중 제1 프레임에 상응하는 제1 위치 정보를 산출하고, 상기 제1 프레임에 연속하는 제2 프레임 이미지에 상응하는 제2 위치 정보를 산출된 상기 제1 위치 정보에 기초하여 계산하고, 상기 키 입력부로부터 수신된 키입력 정보에 상응하는 버튼 클릭 정보 및 상기 제2 위치 정보를 출력하는 마우스 모듈 및 상기 버튼 클릭 정보 및 제2 위치 정보를 외부 기기와의 통신 규격에 적합하도록 변환하여 출력하는 통신인터페이스를 포함한다.In addition, a portable terminal having a mouse device having a camera according to another aspect of the present invention for achieving another object of the present invention, the camera unit for converting the optical signal from the subject into a digitized image signal, and a key input operation A key input unit for outputting key input information corresponding to the control unit; and receiving a predetermined number of frame images per second from the camera unit, reducing the number of pixels of each of the frame images, and then reducing the number of pixels. Calculating first position information corresponding to a first frame, calculating second position information corresponding to a second frame image subsequent to the first frame, based on the calculated first position information, and A mouse module for outputting button click information and the second position information corresponding to the received key input information; A button click information and the second location information comprises a communication interface for converting the output to meet the communication standard with the external device.

또한, 본 발명의 또 다른 목적을 달성하기 위한 본 발명의 일측면에 따른 카메라를 구비한 마우스 장치의 동작 방법은 카메라로부터 수신된 프레임 이미지의 화소 개수를 감소시키는 단계와, 상기 화소 개수가 감소된 각각의 프레임 이미지 중 제1 프레임에 상응하는 제1 위치 정보 및 상기 제1 프레임에 연속하는 제2 프레임에 상응하는 제2 위치 정보를 계산하는 단계 및 수신된 키 입력 정보에 상응하는 버튼 클릭 정보 및 상기 제2 위치 정보를 출력하는 단계를 포함한다.In addition, the operation method of the mouse device having a camera according to an aspect of the present invention for achieving another object of the present invention is to reduce the number of pixels of the frame image received from the camera, the number of pixels is reduced Calculating first position information corresponding to the first frame and second position information corresponding to the second frame subsequent to the first frame of each frame image, button click information corresponding to the received key input information, and Outputting the second location information.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다.As the invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, with reference to the accompanying drawings, it will be described in detail a preferred embodiment of the present invention. Hereinafter, the same reference numerals are used for the same components in the drawings, and duplicate descriptions of the same components are omitted.

그리고, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. Terms such as first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component. The term and / or includes a combination of a plurality of related items or any item of a plurality of related items.

도 1을 참조하면, 본 발명의 일실시예에 따른 마우스 장치는 카메라부(10), 이미지 전처리부(21), 이미지 처리부(23), 마우스 기능 처리부(25), 저장부(30), 키 입력부(40) 및 통신 인터페이스(50)를 포함한다.Referring to FIG. 1, a mouse device according to an embodiment of the present invention may include a camera unit 10, an image preprocessor 21, an image processor 23, a mouse function processor 25, a storage unit 30, and a key. It includes an input unit 40 and a communication interface 50.

카메라부(10)는 렌즈(미도시)를 투과하여 입사되는 피사체의 광학적 신호를 이미지 센서(미도시)를 통해 전기적인 신호로 변환하고, 내부에 마련된 A/D 컨버터(미도시)를 이용하여 변환된 전기적 신호를 디지털 이미지로 변환하여 이미지 전처리부(21)로 출력한다. The camera unit 10 converts an optical signal of a subject incident through a lens (not shown) into an electrical signal through an image sensor (not shown), and uses an A / D converter (not shown) provided therein. The converted electrical signal is converted into a digital image and output to the image preprocessor 21.

이미지 전처리부(21)는 카메라부(10)로부터 소정 개수의 프레임(예를 들어 초당 30 프레임 또는 60 프레임)의 이미지를 수신하고 수신된 이미지의 해상도를 축소한다. 일반적으로 휴대용 단말기에 장착되는 이미지 센서는 100만 화소에서 600만 화소를 포함하고 있기 때문에 마우스의 기능을 구현하기 위해 100만 화소 내 지 600만 화소를 실시간으로 처리하기에는 처리 부하가 너무 크다. The image preprocessor 21 receives an image of a predetermined number of frames (for example, 30 frames or 60 frames per second) from the camera unit 10 and reduces the resolution of the received image. In general, since an image sensor mounted in a portable terminal includes 1 million to 6 million pixels, the processing load is too high to process 1 to 6 million pixels in real time to implement a mouse function.

따라서, 이미지 전처리부(21)는 입력되는 이미지의 해상도를 미리 설정된 소정 개수의 화소(예를 들면 30만 화소)를 가지도록 줄임으로써 이미지 처리부(23)의 처리 부하를 경감시킨다. Therefore, the image preprocessor 21 reduces the processing load of the image processor 23 by reducing the resolution of the input image to have a predetermined number of pixels (for example, 300,000 pixels).

본 발명의 다른 실시예에서는 이미지 처리 부하를 줄이기 위해 입력되는 이미지를 크롭핑(cropping) 함으로써 이미지의 일부만 처리되도록 할 수도 있다. 즉, 이미지의 중앙부를 기준으로 주변부를 잘라냄으로써 이미지 처리부(23)에서 처리될 화소의 개수를 줄인다.In another embodiment of the present invention, only a part of the image may be processed by cropping an input image to reduce an image processing load. That is, the number of pixels to be processed in the image processor 23 is reduced by cutting the peripheral portion based on the central portion of the image.

이미지 처리부(23)는 이미지 전처리부(21)로부터 초당 소정 개수의 프레임의 축소된 이미지를 연속해서 수신하고 수신된 이미지에 기초하여 마우스 장치의 상대 좌표값을 계산하고 계산된 상대 좌표값을 마우스 기능 처리부(25)로 출력한다.The image processor 23 continuously receives a reduced number of frames of a predetermined number of frames per second from the image preprocessor 21, calculates a relative coordinate value of the mouse device based on the received image, and uses the calculated relative coordinate value as a mouse function. Output to the processing unit 25.

이미지 처리부(23)는 마우스 장치의 동작이 시작된 후 이미지 전처리부(21)로부터 수신된 최초의 프레임 이미지에서 기준 템플릿(template)을 설정하고 설정된 기준 템플릿의 특정 위치에 대한 좌표값을 추출하여 저장부(30)에 저장하고, 이후의 연속적인 프레임 이미지에서 기준 템플릿과 일치하는 정합 템플릿을 찾고 정합 템플릿의 특정 위치에 대한 상대 좌표값을 계산하여 이를 출력한다. 그리고 이와 같은 방법을 수신되는 모든 프레임 이미지에 대해 반복하여 수행한다.The image processor 23 sets a template from the first frame image received from the image preprocessor 21 after the operation of the mouse device is started, and extracts coordinate values for a specific position of the set reference template. In operation 30, the matching template matching the reference template is found in subsequent frame images, and the relative coordinates of the specific position of the matching template are calculated and output. The method is repeated for all received frame images.

또는, 이미지 처리부(23)는 마우스 장치의 동작이 시작된 후 이미지 전처리부(21)로부터 수신된 최초의 프레임 이미지에서 가장 특징적인 영역을 설정하고 설정된 영역의 중점을 구한 후 중점의 좌표값을 기준 좌표값으로 설정하여 저장 부(30)에 저장하고, 연속되는 다음 프레임 이미지에서도 동일한 방법으로 중점을 구한 후 중점의 상대 좌표값을 계산하여 이를 출력한다. 여기서, 중점은 영역의 무게 중심점 또는 중심점(central point)이 될 수 있다. 그리고 이와 같은 방법을 수신되는 모든 프레임 이미지에 대해 반복하여 수행한다.Alternatively, the image processor 23 sets the most characteristic region in the first frame image received from the image preprocessor 21 after the operation of the mouse device is started, obtains the midpoint of the set region, and then refers to the coordinate value of the midpoint. Set the value and store it in the storage unit 30, and calculate the relative coordinate value of the midpoint after outputting the midpoint in the same manner in the next frame image in succession. Here, the midpoint may be a center of gravity or a central point of the area. The method is repeated for all received frame images.

마우스 기능 처리부(25)는 이미지 처리부(23)로부터 마우스 장치의 상대 좌표값을 수신하고, 키 입력부(40)로부터 마우스의 버튼에 상응하도록 설정된 키 입력을 수신하여, 수신된 키 입력 정보를 마우스의 버튼 클릭(click) 정보로 변환하고, 변환된 버튼 클릭 정보와 마우스 장치의 좌표값을 출력한다.The mouse function processing unit 25 receives a relative coordinate value of the mouse device from the image processing unit 23, receives a key input set corresponding to the button of the mouse from the key input unit 40, and receives the received key input information of the mouse. Converted to button click information, and outputs the converted button click information and the coordinate values of the mouse device.

본 발명의 또 다른 실시예에 있어서는 이미지 처리부(23)와 마우스 기능 처리부(25)가 하나의 이미지 처리 모듈(26)로 구성될 수도 있다. 또한, 이미지 전처리부(21), 이미지 처리부(23) 및 마우스 기능 처리부(25)가 하나의 마우스 모듈(20)로 구성될 수도 있다.In another embodiment of the present invention, the image processing unit 23 and the mouse function processing unit 25 may be configured as one image processing module 26. In addition, the image preprocessor 21, the image processor 23, and the mouse function processor 25 may be configured as one mouse module 20.

저장부(30)는 이미지 처리부(23)와 연결되고, 이미지 처리부(23)가 마우스 장치의 좌표를 계산하는 과정에서 생성되는 일시적인 데이터를 저장한다.The storage unit 30 is connected to the image processing unit 23 and stores temporary data generated while the image processing unit 23 calculates coordinates of the mouse device.

키 입력부(40)는 마우스 기능 처리부(25)와 연결되고, 일반적인 마우스에 구비된 버튼의 기능과 동일한 기능을 수행한다. 즉, 키 입력부(40)에 마련된 복수의 키 중에서 마우스에 구비된 버튼과 동일한 기능을 수행하도록 키를 설정하고, 설정된 키가 동작되면 이에 상응하는 키입력 신호를 마우스 기능 처리부(25)로 전송한다.The key input unit 40 is connected to the mouse function processing unit 25 and performs the same function as that of a button provided in a general mouse. That is, the key is set to perform the same function as the button provided in the mouse among the plurality of keys provided in the key input unit 40, and when the set key is operated, the corresponding key input signal is transmitted to the mouse function processing unit 25. .

예를 들면, 키 입력부(40)에 구비된 "볼륨업" 키와 "MP3"키를 이용하여 마우 스에 구비된 버튼의 기능을 수행하도록 할 수 있다. 또한, 키 입력부(40)에 구비된 조그 셔틀이나 이와 유사한 키를 이용하여 스크롤(scroll) 기능을 수행하도록 할 수 있다. 본 발명의 다른 실시예에서는 키 입력부(40)에 마우스의 버튼과 동일한 기능을 수행하는 별도의 키를 설치하여 일반적인 마우스에 구비된 버튼의 기능이 수행되도록 할 수도 있다.For example, the "volume up" key and the "MP3" key provided in the key input unit 40 may be used to perform a function of a button provided in the mouse. In addition, a scroll function may be performed by using a jog shuttle or a similar key provided in the key input unit 40. In another embodiment of the present invention, a separate key for performing the same function as a button of a mouse may be installed in the key input unit 40 so that a function of a button provided in a general mouse is performed.

통신 인터페이스(50)는 마우스 기능 처리부(25)와 연결되고, 마우스 기능 처리부(25)로부터 마우스 장치의 좌표값 및 마우스 버튼 클릭 정보를 수신하고, 수신된 정보를 외부 기기와의 통신 규격에 적합하도록 처리하여 외부 기기로 전송한다.The communication interface 50 is connected to the mouse function processing unit 25 to receive coordinate values and mouse button click information of the mouse device from the mouse function processing unit 25, and to receive the received information in accordance with a communication standard with an external device. Process and send to external device.

통신 인터페이스(50)가 외부 기기에 정보를 전송하기 위해 사용하는 인터페이스의 예로는 적외선 통신, 블루투스(bluetooth), RS-232, USB(Universal Serial Bus)등이 있다.Examples of the interface used by the communication interface 50 to transmit information to an external device include infrared communication, Bluetooth, RS-232, and universal serial bus (USB).

먼저, 이미지 전처리부(21)는 카메라부(10)로부터 초당 소정 개수의 프레임(예를 들면 30 프레임 또는 60 프레임)의 이미지를 수신하고(단계 210), 수신된 이미지의 해상도를 축소하여 미리 설정된 소정의 화소(예를 들면 30만 화소)를 가지도록 화소를 감소시킨 후 출력한다(단계 230). 본 발명의 다른 실시예에서는 이미지 처리 부하를 줄이기 위해 입력되는 이미지를 크롭핑함으로써 이미지의 일부만 처리되도록 할 수도 있다.First, the image preprocessor 21 receives an image of a predetermined number of frames per second (for example, 30 frames or 60 frames) from the camera unit 10 (step 210), and reduces the resolution of the received image to preset the image. The pixels are reduced and output to have a predetermined pixel (for example, 300,000 pixels) (step 230). In another embodiment of the present invention, only a part of the image may be processed by cropping the input image to reduce the image processing load.

이미지 처리부(23)는 이미지 전처리부(21)로부터 축소된 이미지를 수신하고 수신된 이미지에 기초하여 마우스 장치의 움직임에 대한 상대 좌표값을 추출하기 위해 이미지 처리를 수행한다(단계 250). 이미지 처리 과정은 도 3A 내지 도 4에서 상세하게 설명한다.The image processor 23 receives the reduced image from the image preprocessor 21 and performs image processing to extract a relative coordinate value of the movement of the mouse device based on the received image (step 250). The image processing process will be described in detail with reference to FIGS. 3A to 4.

마우스 기능 처리부(25)는 이미지 처리부(23)로부터 마우스 장치의 움직임에 대한 상대 좌표값을 수신하고, 키 입력부(40)로부터 키입력 정보가 수신되었는지를 판단한다(단계 270).The mouse function processor 25 receives a relative coordinate value of the movement of the mouse device from the image processor 23, and determines whether key input information is received from the key input unit 40 (step 270).

단계 270에서 판단결과, 키입력 정보가 수신된 것으로 판단되면 마우스 기능 처리부(25)는 수신된 키입력 정보를 마우스의 버튼 클릭 정보로 변환하고, 변환된 버튼 클릭 정보와 마우스 장치의 상대 좌표값을 통신 인터페이스(50)로 전송한다(단계 290).If it is determined in step 270 that the key input information is received, the mouse function processing unit 25 converts the received key input information into button click information of the mouse and converts the converted button click information and the relative coordinate value of the mouse device. Send to communication interface 50 (step 290).

단계 270에서 판단결과, 키입력 정보가 수신되지 않은 것으로 판단되면 마우스 기능 처리부(25)는 마우스 장치의 상대 좌표값만을 통신 인터페이스(50)로 전송한다(단계 310).If it is determined in step 270 that the key input information is not received, the mouse function processor 25 transmits only the relative coordinate values of the mouse device to the communication interface 50 (step 310).

그리고 마우스 장치가 사용되는 동안에는 상기의 단계 210부터 단계 310까지의 과정을 반복한다.While the mouse device is in use, the process from step 210 to step 310 is repeated.

도 3A는 도 2에 도시된 단계 250의 이미지 처리 과정의 구체적인 일실시예를 나타내는 흐름도이다.3A is a flowchart illustrating a specific embodiment of the image processing process of step 250 illustrated in FIG. 2.

먼저, 이미지 처리부(23)는 이미지 전처리부(21)로부터 화소의 개수가 감소된 프레임 이미지를 수신하고, 수신된 프레임 이미지가 마우스 장치가 동작이 시작된 이후에 최초로 수신된 프레임의 이미지인가를 판단하고(단계 251), 수신된 이미 지가 최초로 수신된 프레임의 이미지인 것으로 판단되면, 이미지의 전체 영역을 소정의 크기를 가지는 복수의 템플릿으로 분할한다(단계 253). First, the image processor 23 receives a frame image from which the number of pixels is reduced from the image preprocessor 21, and determines whether the received frame image is an image of the first received frame after the mouse device starts to operate. If it is determined that the received image is the image of the first received frame (step 251), the entire area of the image is divided into a plurality of templates having a predetermined size (step 253).

다음으로 이미지 처리부(23)는 복수의 템플릿 중에서 이미지의 중앙에 위치한 템플릿을 기준 템플릿으로 설정하고 기준 템플릿을 구성하는 모든 화소의 RGB(Red Green Blue)값을 저장부(30)에 저장한다(단계 255).Next, the image processor 23 sets a template located in the center of the image as a reference template among the plurality of templates, and stores the RGB (red green blue) values of all pixels constituting the reference template in the storage unit 30 (step 255).

그리고 기준 템플릿을 구성하는 화소 중에서 가장 중앙에 위치하는 화소를 기준점으로 설정하고 기준점의 좌표값을 기준 좌표값으로 추출하고 추출된 기준 좌표값을 저장한다(단계 257).The pixel located at the center of the pixels constituting the reference template is set as the reference point, the coordinate value of the reference point is extracted as the reference coordinate value, and the extracted reference coordinate value is stored (step 257).

단계 251에서 판단 결과, 이미지 전처리부(21)로부터 수신된 이미지가 최초로 수신된 프레임의 이미지가 아닌 것으로 판단되면, 이전 프레임의 이미지가 수신되었음을 의미하므로 이미지 처리부(23)는 저장부(30)에 저장된 기준 템플릿의 화소값을 이용하여 현재 수신된 프레임 이미지 영역에서 기준 템플릿과 가장 유사한 정합 템플릿을 찾고(단계 259), 정합 템플릿을 찾았는지를 판단한다(단계 261).If it is determined in step 251 that the image received from the image preprocessor 21 is not the image of the first received frame, it means that the image of the previous frame has been received, and thus the image processor 23 is stored in the storage unit 30. Using the pixel values of the stored reference template, a matching template most similar to the reference template is found in the currently received frame image area (step 259), and it is determined whether a matching template is found (step 261).

정합 템플릿은 비교될 각 화소의 RGB 값에 대해 유클리드 거리 계산 방법을 이용하여 템플릿간의 유사성을 계산함으로써 찾을 수 있다.The matching template can be found by calculating the similarity between the templates using the Euclidean distance calculation method for the RGB values of each pixel to be compared.

단계 261에서 판단 결과, 정합 템플릿을 찾은 것으로 판단되면 정합 템플릿의 가장 중앙에 위치하는 화소를 정합 템플릿의 기준점으로 설정하고, 저장부(30)에 저장된 기준 좌표값을 이용하여 설정된 정합 템플릿 기준점의 상대 좌표값을 계산하고(단계 263), 계산된 상대 좌표값을 출력한다(단계 265).If it is determined in step 261 that the matching template is found, the pixel located at the center of the matching template is set as the reference point of the matching template, and the relative of the matching template reference point set using the reference coordinate value stored in the storage unit 30 is determined. The coordinate value is calculated (step 263), and the calculated relative coordinate value is output (step 265).

단계 261에서 판단 결과, 정합 템플릿을 찾지 못한 것으로 판단되면, 이는 현재 프레임 이미지가 최초 수신된 프레임 이미지의 영역에서 벗어나 기준 템플릿과 동일한 템플릿을 찾지 못함을 의미하므로 단계 253에서 단계 257까지의 단계를 수행함으로써 기준 템플릿 및 기준 좌표값을 다시 설정한다. If it is determined in step 261 that the matching template has not been found, this means that the current frame image is out of the area of the first received frame image and does not find the same template as the reference template, so the steps from step 253 to step 257 are performed. By setting the reference template and the reference coordinate value again.

도 3B를 참조하면, 이미지 처리부(23)는 수신된 프레임 이미지(510)를 복수의 템플릿으로 분할하고 분할된 복수의 템플릿 중 프레임 이미지(510)의 중앙부에 위치하는 템플릿을 기준 템플릿(512)을 설정한다. 그리고 기준 템플릿의 가장 중앙에 위치한 화소를 기준점(514)으로 설정한 후, 기준점(514)의 좌표값을 기준 좌표값으로 출력한다.Referring to FIG. 3B, the image processor 23 divides the received frame image 510 into a plurality of templates and selects a template located in the center of the frame image 510 among the plurality of divided templates. Set it. After setting the pixel located at the center of the reference template as the reference point 514, the coordinate value of the reference point 514 is output as the reference coordinate value.

이후, 이미지 처리부는 다음 프레임 이미지(520)를 수신하고 수신된 프레임 이미지(520)에서 이전 프레임 이미지(510)의 기준 템플릿과 가장 유사한 정합 템플릿(522)을 찾은 후 정합 템플릿(522)의 가장 중앙에 위치한 화소를 정합 템플릿의 기준점(524)으로 설정한다.Thereafter, the image processor receives the next frame image 520, finds a matching template 522 that is most similar to the reference template of the previous frame image 510, and then places the center of the matching template 522 in the received frame image 520. The pixel located at is set as the reference point 524 of the registration template.

그리고 기준 템플릿(512)의 기준점(514)의 좌표값에 대한 정합 템플릿(522)의 기준점(524)의 상대 좌표값을 계산하여 출력한다.The relative coordinate value of the reference point 524 of the matching template 522 with respect to the coordinate value of the reference point 514 of the reference template 512 is calculated and output.

도 4는 도 2에 도시된 단계 250의 이미지 처리 과정의 구체적인 다른 실시예를 나타내는 흐름도이다.4 is a flowchart illustrating another specific embodiment of the image processing process of step 250 illustrated in FIG. 2.

먼저, 이미지 처리부(23)는 이미지 전처리부(21)로부터 화소 개수가 감소된 프레임 이미지를 수신하고, 수신된 프레임 이미지의 칼라값 또는 명도 값(brightness)을 히스토그램으로 나타내고 히스토그램에서 가장 높은 값을 가지는 영역의 평균을 취하여 얻어진 평균값을 임계값으로 설정한다. 여기서, 칼라값은 예를 들어 RGB 값이 될 수 있다. 그리고 이미지를 구성하는 각 화소의 칼라값 또는 명도값을 임계값과 비교함으로써 수신된 이미지를 이진화한다(단계 252). 이진화된 이미지는 복수의 영역으로 구분된다.First, the image processor 23 receives a frame image of which the number of pixels is reduced from the image preprocessor 21, indicates a color value or brightness value of the received frame image as a histogram, and has the highest value in the histogram. The average value obtained by taking the average of the regions is set as a threshold value. Here, the color value may be, for example, an RGB value. The received image is binarized by comparing the color value or brightness value of each pixel constituting the image with a threshold value (step 252). The binarized image is divided into a plurality of regions.

이후, 이미지 처리부(23)는 단계 252에서 구분된 복수의 영역 각각에 번호를 부여하는 라벨링을 수행하고, 라벨링된 각 영역의 원형도, 주위길이, 면적 등과 같은 특징을 계산한다(단계 254). 여기서 원형도는 특정 영역이 원형(circle)에 가까운 정도를 말한다.Thereafter, the image processor 23 performs labeling to number each of the plurality of areas divided in step 252, and calculates features such as circularity, peripheral length, area, etc. of each labeled area (step 254). Here, circularity refers to the extent to which a particular area is close to a circle.

그리고, 계산된 각 영역의 특징값을 기초로 복수의 영역 중에서 가장 특징적인 영역인 대표영역을 선정하고, 선정된 대표영역의 중점을 설정한다(단계 256). 예를들어, 대표영역은 각 특징값에 소정의 가중치를 곱하여 합산한 값이 가장 큰 값을 가지는 영역이 될 수 있다.The representative region, which is the most characteristic region among the plurality of regions, is selected based on the calculated characteristic values of each region, and the midpoint of the selected representative region is set (step 256). For example, the representative area may be an area having the largest value obtained by multiplying each feature value by a predetermined weight and summing.

다음으로, 이미지 처리부(23)는 현재의 이미지가 최초로 수신된 프레임 이미지인가를 판단하여(단계 258), 최초로 수신된 프레임 이미지인 것으로 판단되면, 단계 256에서 설정된 중점의 좌표를 기준 좌표값으로 추출하여 저장부(30)에 저장한다(단계 260).Next, the image processor 23 determines whether the current image is the first received frame image (step 258), and if it is determined that the image is the first received frame image, extracts the coordinate of the midpoint set in step 256 as a reference coordinate value. Store in the storage unit 30 (step 260).

단계 258에서 판단 결과, 최초로 수신된 프레임 이미지가 아닌 것으로 판단되면, 이전 프레임의 이미지가 수신되었음을 의미하므로 이미지 처리부(23)는 저장부(30)에 저장된 이전 프레임 이미지의 중점의 좌표값을 이용하여 현재 프레임 이 미지에서 설정된 중점의 상대 좌표값을 계산하고(단계 262), 계산된 상대 좌표값을 마우스 기능 처리부(25)로 출력한다(단계 264).If it is determined in step 258 that it is not the first received frame image, it means that the image of the previous frame has been received, and thus the image processing unit 23 uses the coordinate value of the midpoint of the previous frame image stored in the storage unit 30. The relative coordinate value of the midpoint set in the current frame image is calculated (step 262), and the calculated relative coordinate value is output to the mouse function processing unit 25 (step 264).

도 5를 참조하면, 본 발명의 일실시예에 따른 마우스 장치를 가지는 휴대용 단말기는 카메라부(10), 마우스 모듈(20), 저장부(30), 키 입력부(40), 인터페이스부(50), 제어부(60), 송수신부(70), 코덱(80) 및 음향출력부(90)를 포함한다.Referring to FIG. 5, a portable terminal having a mouse device according to an embodiment of the present invention includes a camera unit 10, a mouse module 20, a storage unit 30, a key input unit 40, and an interface unit 50. , A controller 60, a transceiver 70, a codec 80, and an audio output unit 90.

카메라부(10)는 도 1에 도시한 카메라부(10)의 기능과 동일한 기능을 수행하므로 중복을 피하기 위해 설명을 생략한다.Since the camera unit 10 performs the same function as that of the camera unit 10 shown in FIG. 1, description thereof will be omitted to avoid duplication.

마우스 모듈(20)은 카메라부(10)로부터 초당 소정 프레임(예를 들면 30 프레임 또는 60 프레임)의 이미지를 수신하고 수신된 이미지의 해상도를 축소한 후, 축소된 이미지의 처리를 통해 휴대용 단말기의 이동에 대한 상대 좌표값을 계산하고 계산된 상대 좌표값을 통신 인터페이스(50)로 전송한다. 또한, 키 입력부(40)로부터 키 입력 정보를 수신하고 수신된 키 입력 정보에 상응하는 마우스 버튼의 클릭 정보를 통신 인터페이스(50)로 전송한다.The mouse module 20 receives an image of a predetermined frame (for example, 30 frames or 60 frames) per second from the camera unit 10, reduces the resolution of the received image, and then processes the reduced image of the portable terminal. A relative coordinate value for the movement is calculated and the calculated relative coordinate value is sent to the communication interface 50. In addition, the key input unit 40 receives the key input information and transmits the click information of the mouse button corresponding to the received key input information to the communication interface 50.

마우스 모듈(20)의 이미지 처리 과정은 도 1에 도시한 이미지 처리부(23)의 기능과 동일하다. The image processing of the mouse module 20 is the same as that of the image processing unit 23 shown in FIG. 1.

저장부(30)는 제어부(60)와 연결되고, 마우스 모듈(20)이 휴대용 단말기의 이동에 대한 상대 좌표값을 계산하는 과정에서 생성되는 일시적인 데이터를 저장한다. 또한, 저장부(30)는 제어부(60)의 운영체제(OS: Operating System) 프로그램 및 휴대용 단말기가 운영체제 프로그램을 수행하는 도중에 발생하는 데이터를 일시적으로 저장한다.The storage unit 30 is connected to the control unit 60 and stores temporary data generated while the mouse module 20 calculates a relative coordinate value for the movement of the portable terminal. In addition, the storage unit 30 temporarily stores an operating system (OS) program of the controller 60 and data generated while the portable terminal executes the operating system program.

키 입력부(40)는 복수의 기능 키를 포함하고 복수의 기능 키 중 소정 키가 일반적인 마우스에 구비된 버튼의 기능과 동일한 기능을 수행하도록 설정된다. 마우스의 버튼과 동일한 기능을 수행하도록 설정된 키는 키가 동작되면 이에 상응하는 키 입력 신호를 마우스 모듈(20)로 전송한다.The key input unit 40 includes a plurality of function keys, and a predetermined key among the plurality of function keys is set to perform the same function as that of a button provided in a general mouse. The key set to perform the same function as the button of the mouse transmits a corresponding key input signal to the mouse module 20 when the key is operated.

또한, 키 입력부(40)는 사용자로부터 휴대용 단말기의 각종 기능 및 동작에 대한 입력을 수신하고 이에 상응하는 신호를 출력한다. 특히, 키 입력부(40)는 사용자로부터 휴대용 단말기가 마우스 기능을 수행하도록 하기 위한 선택을 입력받고 이에 상응하는 신호를 제어부(60)에 전달한다.In addition, the key input unit 40 receives an input for various functions and operations of the portable terminal from the user and outputs a signal corresponding thereto. In particular, the key input unit 40 receives a selection for allowing the portable terminal to perform the mouse function from the user and transmits a signal corresponding thereto to the controller 60.

통신 인터페이스(50)는 마우스 모듈(20)로부터 휴대용 단말기의 좌표값 및 마우스 버튼 클릭 정보를 수신하고, 수신된 정보를 외부 기기와의 통신 규격에 적합하도록 처리하여 외부 기기로 전송한다.The communication interface 50 receives coordinate values and mouse button click information of the portable terminal from the mouse module 20, processes the received information to comply with a communication standard with an external device, and transmits the received information to the external device.

제어부(60)는 마우스 모듈(20)을 포함하며, 카메라부(10), 키 입력부(40), 통신 인터페이스(50), 송수신부(70) 및 코덱(80)에서 처리된 신호를 입력받고 이에 기초하여 휴대용 단말기의 각 구성 요소들의 전반적인 동작을 제어한다.The control unit 60 includes a mouse module 20, and receives signals processed by the camera unit 10, the key input unit 40, the communication interface 50, the transceiver unit 70, and the codec 80. Control the overall operation of each component of the portable terminal.

송수신부(70) 안테나(ANT)를 통하여 수신된 무선 고주파(RF) 신호를 베이스 밴드(Base Band) 신호로 변환하고, 제어부(60)로부터 출력되는 베이스 밴드 신호를 무선 신호로 변환하여 안테나(ANT)를 통해 출력한다.Converts a radio frequency (RF) signal received through the transceiver ANT antenna ANT to a base band signal, and converts the base band signal output from the control unit 60 into a radio signal to the antenna ANT )

코덱(80)은 제어부(20)로부터 출력된 디지털 형식의 음성 또는 음향 신호를 아날로그 신호로 변환하여 음향 입출력부(90)로 출력하거나, 음향 입출력부(90)로부터 수신된 아날로그 형식의 음성 또는 음향 신호를 디지털 형식으로 변환하여 제어부(60)로 출력한다.The codec 80 converts the digital format voice or sound signal output from the control unit 20 into an analog signal and outputs the analog signal to the audio input / output unit 90 or the analog format voice or sound received from the audio input / output unit 90. The signal is converted into a digital format and output to the controller 60.

음향 입출력부(90)는 스피커, 이어폰 단자 및/또는 마이크를 포함하고, 코덱(80)으로부터 수신된 아날로그 형식의 음성 또는 음향 신호를 스피커 또는 이어폰 단자로 출력하거나 마이크를 통해 입력된 음성 또는 음향 신호를 코덱(80)으로 출력한다.The audio input / output unit 90 includes a speaker, an earphone terminal and / or a microphone, and outputs an analog or audio signal received from the codec 80 to the speaker or earphone terminal or is input through a microphone. Is output to the codec 80.

디스플레이부(100)는 예를 들어 액정표시장치 등과 같은 표시 장치이며, 제어부(60)에서 처리된 응용프로그램의 결과를 표시한다.The display unit 100 is a display device such as a liquid crystal display device, for example, and displays the result of the application program processed by the controller 60.

도 6은 본 발명의 일실시예에 따른 카메라를 구비한 마우스 장치를 가지는 휴대용 단말기의 배면도이고, 도 7은 본 발명의 일실시예에 따른 카메라를 구비한 마우스 장치를 가지는 휴대용 단말기의 사용 예를 나타내는 개념도이다.6 is a rear view of a portable terminal having a mouse device with a camera according to an embodiment of the present invention, Figure 7 is a use example of a portable terminal having a mouse device with a camera according to an embodiment of the present invention It is a conceptual diagram showing.

도 6 및 도 7을 참조하면, 본 발명의 일실시예에 따른 카메라를 구비한 마우스 장치를 가지는 휴대용 단말기는 휴대용 단말기(150)의 후면에 카메라(11)를 구비하고 휴대용 단말기의 좌우측면에 "볼륨 업" 키(41), "볼륨 다운" 키(43), "MP3" 키(45), "녹음" 키(47)를 구비한다.6 and 7, a portable terminal having a mouse device having a camera according to an embodiment of the present invention includes a camera 11 at a rear side of the portable terminal 150, and is formed on the left and right sides of the portable terminal. A volume up "key 41, a" volume down "key 43, an" MP3 "key 45, and a" recording "key 47 are provided.

본 발명의 실시예에서는 휴대용 단말기(150)의 마우스 기능이 시작되면, 카메라(11)는 일반적인 마우스의 센서와 동일한 역할을 수행하며, "볼륨 업" 키(41)는 일반적인 마우스의 왼쪽 버튼과 동일한 기능을 수행하고, "MP3" 키(45)는 일반적인 마우스의 오른쪽 버튼과 동일한 기능을 수행한다.In the embodiment of the present invention, when the mouse function of the portable terminal 150 starts, the camera 11 plays the same role as the sensor of the general mouse, and the "volume up" key 41 is the same as the left button of the general mouse. Performs a function, and the "MP3" key 45 performs the same function as the right button of a general mouse.

그리고, 휴대용 단말기(150)의 움직임에 따라 상기와 같은 이미지 처리를 통해서 상대 좌표값을 계산하고 계산된 상대 좌표값을 노트북 컴퓨터(160)와 같은 외부 장치에 전송한다. Then, the relative coordinate value is calculated through the image processing as described above according to the movement of the portable terminal 150, and the calculated relative coordinate value is transmitted to an external device such as the notebook computer 160.

상기와 같은 카메라를 구비한 마우스 장치 및 이를 가지는 휴대용 단말기에 따르면, 카메라로부터 수신된 프레임 이미지의 화소 개수를 감소시킨 후 감소된 화소 개수를 가진 연속적인 프레임 이미지에 기초하여 기준 좌표값에 대한 상대 좌표값을 계산하고, 계산된 상대 좌표값들을 외부 기기에 전송한다. 또한, 휴대용 단말기의 키입력부에 구비된 소정의 키를 마우스의 버튼과 상응하도록 설정하고 설정된 키의 동작 정보를 외부 기기에 전송한다.According to a mouse device having a camera as described above and a portable terminal having the same, a relative coordinate with respect to a reference coordinate value is reduced based on a continuous frame image having a reduced number of pixels after reducing the number of pixels of a frame image received from the camera. The value is calculated and the calculated relative coordinates are transmitted to the external device. In addition, a predetermined key provided in the key input unit of the portable terminal is set to correspond to the button of the mouse, and the operation information of the set key is transmitted to the external device.

따라서, 휴대용 단말기에 별도의 장치를 추가하지 않고 카메라를 이용하여 휴대용 단말기가 마우스의 기능을 제공하도록 함으로써 사용자의 편의성을 향상시킬 수 있다.Therefore, the convenience of the user can be improved by allowing the portable terminal to provide a function of a mouse using a camera without adding a separate device to the portable terminal.

Claims

Receive a predetermined number of frame images per second from the camera, calculate first position information corresponding to the first frame in each frame image of which the number of pixels is reduced compared to the number of pixels of the frame image received from the camera, And an image processing module for calculating second position information corresponding to a second frame consecutive to one frame based on the first position information, and outputting the second position information. Device.

The method of claim 1,

The mouse device having the camera further comprises an image preprocessor configured to reduce the number of pixels of the frame image received from the camera between the camera and the image processing module.

The method of claim 1,

The mouse device having the camera has at least one key and outputs button click information corresponding to the operation of the key.

The method of claim 1,

The image processing module divides the image of the first frame into a plurality of templates, sets a reference template, obtains first position information on a predetermined position of the reference template, and images of the second frame. Finds a matching template most similar to the reference template, calculates a relative coordinate value with respect to the first position information with respect to a predetermined position of the matching template, and outputs the relative coordinate value as the second position information. Mouse device provided with a camera.

The method of claim 4, wherein

And the reference template is set to a template located at the center of the first frame image.

The method of claim 4, wherein

And a predetermined position of the reference template is a position of a pixel located at the center of the reference template.

The method of claim 1,

The image processing module obtains the first position information of the midpoint of the representative area after setting the representative area in the image of the first frame, sets the representative area in the second frame image, and then applies the center of the representative area. A relative coordinate value with respect to the first position information, and output the calculated relative coordinate value as second position information.

The method of claim 7, wherein

And the representative area divides the first frame image into a plurality of areas and is set based on at least one of circularity, peripheral length, and area of each area.

The method of claim 1,

The mouse device with the camera further comprises a storage unit for storing temporary data generated while the image processing module calculates the first location information and the second location information. Device.

Reducing the number of pixels of each of the received frame images per second, calculating first position information corresponding to the first frame among the reduced frame images, and continuing the first frame. And a mouse module configured to calculate second location information corresponding to two frames based on the calculated first location information, and transmit button click information and the second location information corresponding to the received key input information. A portable terminal having a mouse device having a camera.

A camera unit for converting an optical signal from a subject into a digitized image signal;

A key input unit for outputting key input information corresponding to a key input operation;

After receiving a predetermined number of frame images per second from the camera unit and reducing the number of pixels of each of the frame images, calculating first position information corresponding to the first frame of each of the frame images of which the number of pixels is reduced, Computing second location information corresponding to a second frame image subsequent to the first frame based on the first location information, and button click information and the second location corresponding to key input information received from the key input unit. A mouse module for outputting information; And

And a communication interface for converting the button click information and the second location information to conform to a communication standard with an external device, and outputting the converted communication interface.

The method of claim 11,

The mouse module divides the first frame image into a plurality of templates, sets a reference template, obtains first position information on a predetermined position of the reference template, and compares the reference template with the reference template in the second frame image. Finding a closest matching template, calculating a relative coordinate value with respect to the first position information with respect to a predetermined position of the matching template, and outputs the relative coordinate value as the second position information. Portable terminal having a mouse device.

The method of claim 11,

The mouse module sets a predetermined representative region in the first frame image, obtains a first coordinate value of the midpoint of the representative region, sets a representative region in the second frame image, and then applies the midpoint of the representative region. A portable terminal having a mouse device having a camera, characterized in that for calculating a relative coordinate value with respect to the first position information, and outputting the calculated relative coordinate value as second position information.

Reducing the number of pixels in the frame image received from the camera;

Calculating first position information corresponding to a first frame and second position information corresponding to a second frame subsequent to the first frame of each frame image having the reduced number of pixels; And

And outputting button click information and the second position information corresponding to the received key input information.