KR101054895B1 - A remote pointing device - Google Patents
A remote pointing device Download PDFInfo
- Publication number
- KR101054895B1 KR101054895B1 KR1020100093752A KR20100093752A KR101054895B1 KR 101054895 B1 KR101054895 B1 KR 101054895B1 KR 1020100093752 A KR1020100093752 A KR 1020100093752A KR 20100093752 A KR20100093752 A KR 20100093752A KR 101054895 B1 KR101054895 B1 KR 101054895B1
- Authority
- KR
- South Korea
- Prior art keywords
- light source
- image
- movement amount
- sensing module
- size
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
Abstract
Description
본 발명은 원격 포인팅 시스템에 관한 것으로, 보다 구체적으로 특정 광원의 움직임에 대한 보정된 광원의 위치를 실시간으로 제공하여 처리 속도를 가속하는 원격 포인팅 시스템에 관한 것이다.
The present invention relates to a remote pointing system, and more particularly, to a remote pointing system for accelerating a processing speed by providing a corrected position of a light source for a specific light source movement in real time.
텔레비전, PC 모니터, DVD 플레이어, Set-Top box 등 많은 전자장치는 원격 컨트롤러에 의해 구동되고 있다. 이러한 원격 컨트롤러는 단순한 키 입력에 의해 채널을 선택하거나 볼륨을 제어하는 등의 고전적 방식의 단순 제어기능으로부터 벗어나, 화면 상에 자유롭게 커서를 이동하고 또한 특정 지점을 지정하여 그 지정 기준으로 선택 혹은 비선택 또는 그 지정 지점에서의 추가 서브 메뉴를 열어서 필요한 기능을 선택한다거나 하는 등의 마치 일반 컴퓨터의 마우스처럼 사용할 수 있게끔 하는 원격 포인팅 기술이 개발되고 있다. 화면상에 뿌려진 모든 문자나 그림정보가 하나의 메뉴가 되어 그 부분을 찍으면(Pointing) 이미 약속된 해당 기능을 바로 수행하는, 즉, 다이렉트 명령체계로 발전하고 있다.Many electronic devices such as televisions, PC monitors, DVD players, and set-top boxes are driven by remote controllers. These remote controllers move away from the traditional simple control functions, such as selecting a channel or controlling volume by simple keystrokes, freely moving the cursor on the screen, and selecting or deselecting specific points by specifying specific points. Or, remote pointing technologies are being developed that can be used like a regular computer mouse, such as opening additional submenus at the designated points and selecting the required functions. All texts or picture information scattered on the screen become a menu, and the part is being developed to directly perform the corresponding function that is already promised.
최근 원격 컨트롤러의 움직임을 인식하는 방법으로써 고정된 광원에서 발광하는 빛을 센싱하여 원격 컨트롤러의 상대적 위치를 메인 기기에 전달하는 방법이 개발되었으나, 이는 원격 컨트롤러에 상대적 위치를 계산하기 위한 프로세서와 이를 메인 기기에 전송하기 위한 송신 모듈이 구비되어야 하고, 지속적인 계산과 데이터 송신으로 인해 원격 컨트롤러의 전력 소모가 많았다.Recently, as a method of recognizing the movement of a remote controller, a method of sensing the light emitted from a fixed light source and transmitting the relative position of the remote controller to the main device has been developed. A transmission module for transmitting to the device had to be provided and the remote controller consumed a lot of power due to continuous calculations and data transmission.
이를 극복하기 위해, 메인 기기에서 원격 컨트롤러의 움직임을 직접 센싱하는 방법으로 광원 이미지의 크기와 광원 이미지가 이동하는 거리를 이용하여 광원의 이동량을 계산하는 방법이 개발되었으나, 이 또한 광원의 크기가 일정 크기 이상으로 인식되어야 하며 광원의 이동량을 계산함에 있어 처리해야 하는 데이터의 양이 많아 프로세서의 부담을 증가시키고 계산 속도를 저하시키는 단점이 있다.
In order to overcome this problem, a method of directly sensing the movement of the remote controller in the main device has been developed to calculate the amount of movement of the light source using the size of the light source image and the distance that the light source image moves. It has to be recognized as more than the size and has a disadvantage in that the amount of data to be processed in calculating the amount of movement of the light source increases the burden on the processor and slows down the calculation speed.
본 발명의 목적은 실제 인식된 광원의 위치를 사용자가 기대하는 만큼의 이동량에 상응하여 보정함으로써 자연스런 움직임을 제공할 수 있는 원격 포인팅 시스템을 제공하기 위한 것이다.An object of the present invention is to provide a remote pointing system that can provide a natural movement by correcting the position of the light source actually recognized in accordance with the amount of movement as expected by the user.
또한, 본 발명의 목적은 광원의 위치를 보정함에 있어 실시간으로 보정된 위치를 산출함으로써, 프로세서의 부담을 줄이고 처리 속도를 크게 개선할 수 있는 원격 포인팅 시스템을 제공하기 위한 것이다.
In addition, an object of the present invention is to provide a remote pointing system that can reduce the burden on the processor and greatly improve the processing speed by calculating the corrected position in real time in correcting the position of the light source.
본 발명의 일 측면에 따르면, 특정 광원에 대한 이미지 데이터를 생성하고 전달하는 이미지 센서; 및 상기 이미지 데이터로부터 광원의 현재 크기 정보를 추출하고, 상기 현재 크기 정보와 미리 저장되어 있는 기준 크기 정보 또는 최근 크기 정보를 비교하여 상기 광원의 이동량 보정 비율을 결정하는 프로세서를 포함하는 것을 특징으로 하는 이미지 센싱 모듈이 제공된다.According to an aspect of the invention, the image sensor for generating and delivering image data for a specific light source; And a processor configured to extract current size information of the light source from the image data, and determine a movement amount correction ratio of the light source by comparing the current size information with previously stored reference size information or recent size information. An image sensing module is provided.
여기서, 상기 프로세서는, 상기 이미지 데이터로부터 광원의 현재 위치 정보를 추출하고, 상기 현재 위치 정보와 미리 저장되어 있는 최근 위치 정보를 비교하여 광원의 실제 이동량을 산출하고, 상기 실제 이동량과 상기 이동량 보정 비율을 이용하여 광원의 사용자 기대 이동량을 산출한다.Here, the processor extracts the current position information of the light source from the image data, compares the current position information with the previously stored latest position information, calculates the actual movement amount of the light source, and the actual movement amount and the movement amount correction ratio. Calculate the user's expected amount of movement of the light source using.
또는, 상기 프로세서는, 상기 이미지 데이터로부터 광원의 현재 위치 정보를 추출하고, 상기 현재 위치 정보와 미리 저장되어 있는 최근 위치 정보를 비교하여 광원의 실제 이동량을 산출하고, 상기 실제 이동량, 상기 이동량 보정 비율 및 미리 설정된 보정 가중치를 이용하여 광원의 사용자 기대 이동량을 산출한다.Alternatively, the processor extracts the current position information of the light source from the image data, compares the current position information with the previously stored latest position information, calculates an actual movement amount of the light source, and calculates the actual movement amount and the movement amount correction ratio. And a user's expected movement amount of the light source using the preset correction weight.
이 때, 상기 프로세서는, 상기 광원의 최근 위치를 상기 사용자 기대 이동량만큼 이동시키거나 상기 광원의 현재 위치를 상기 사용자 기대 이동량과 상기 실제 이동량 간의 차이만큼 이동시킴으로써 보정된 광원의 위치를 산출한다.At this time, the processor calculates the position of the corrected light source by moving the latest position of the light source by the user expected movement amount or by moving the current position of the light source by the difference between the user expected movement amount and the actual movement amount.
또한, 상기 프로세서는, 상기 광원의 현재 크기와 기준 크기 또는 최근 크기 간의 비율에 비례하여 상기 실제 이동량을 증가시킴으로써 상기 사용자 기대 이동량을 산출한다.Further, the processor calculates the user expected movement amount by increasing the actual movement amount in proportion to the ratio between the current size and the reference size or the recent size of the light source.
이 때, 상기 프로세서는, 상기 사용자 기대 이동량을 행 기대 이동량과 열 기대 이동량으로 구분하여 산출한다. At this time, the processor calculates the user's expected movement amount by dividing the row expected movement amount and the column expected movement amount.
또한, 상기 최근 크기 정보는 상기 프로세서가 추출한 광원의 크기 정보 중 가장 최근에 추출된 광원의 크기 정보이며, 상기 기준 크기 정보는 제조사 또는 사용자에 의해 미리 설정되거나 프로세서가 추출한 광원의 크기 정보 중 하나이다.In addition, the latest size information is the size information of the most recently extracted light source among the size information of the light source extracted by the processor, the reference size information is one of the size information of the light source preset by the manufacturer or the user or extracted by the processor.
또한, 상기 보정 가중치는 제조사 또는 사용자에 의해 미리 설정되거나 디스플레이 장치의 크기나 광원과 이미지 센서 간의 거리에 상응하여 설정된다.In addition, the correction weight may be preset by the manufacturer or the user, or may be set according to the size of the display device or the distance between the light source and the image sensor.
또한, 상기 최근 위치 정보는 상기 프로세서가 추출한 광원의 위치 정보 중 가장 최근에 추출된 광원의 위치 정보이다.In addition, the latest position information is the position information of the most recently extracted light source of the position information of the light source extracted by the processor.
본 발명의 다른 측면에 따르면, 광원; 및 특정 광원에 대한 이미지 데이터를 생성하고, 광원의 현재 크기에 대한 광원의 기준 크기 또는 최근 크기 간의 비율에 상응하여 상기 이미지 데이터 내 광원의 위치를 보정하는 이미지 센싱 모듈을 포함하는 것을 특징으로 하는 원격 포인팅 시스템이 제공된다.
According to another aspect of the invention, the light source; And an image sensing module for generating image data for a specific light source and correcting a position of the light source in the image data according to a ratio between a reference size or a recent size of the light source to a current size of the light source. A pointing system is provided.
본 발명에 따른 원격 포인팅 시스템은 실제 인식된 광원의 위치를 사용자가 기대하는 만큼의 이동량에 상응하여 보정함으로써 자연스런 움직임을 제공할 수 있다는 효과가 있다.The remote pointing system according to the present invention has the effect of providing natural movement by correcting the position of the light source actually recognized according to the amount of movement as the user expects.
또한, 본 발명에 따른 원격 포인팅 시스템은 광원의 위치를 보정함에 있어 실시간으로 보정된 위치를 산출함으로써, 프로세서의 부담을 줄이고 처리 속도를 크게 개선한다는 효과가 있다.
In addition, the remote pointing system according to the present invention has the effect of reducing the burden on the processor and greatly improving the processing speed by calculating the corrected position in real time in correcting the position of the light source.
도 1은 본 발명의 일 실시예에 따라 광원의 위치 정보를 이용한 원격 포인팅 시스템을 나타내는 구성도.
도 2는 원격 포인팅 시스템의 이미지 센싱 모듈이 인식하는 광원의 실제 위치와 사용자가 기대하는 위치를 비교하는 예시도.
도 3은 원격 컨트롤러의 기울어짐에 따라 이미지 센싱 모듈에 의해 인식되는 광원 이미지의 크기를 나타내는 예시도.
도 4는 본 발명에 일 실시예에 따른 이미지 센싱 모듈이 광원의 실제 이동량을 산출하는 예시도.
도 5는 본 발명의 다른 실시예에 따른 디스플레이 장치(110)의 화면의 크기에 따라 사용자 기대 이동량의 차이를 나타내는 예시도.
도 6은 본 발명에 따라 고속으로 광원의 위치를 추적하기 위한 이미지 센싱 모듈을 나타내는 구성도.1 is a block diagram showing a remote pointing system using the position information of the light source according to an embodiment of the present invention.
Figure 2 is an exemplary view comparing the actual position of the light source recognized by the image sensing module of the remote pointing system and the position expected by the user.
3 is an exemplary view showing the size of a light source image recognized by the image sensing module as the remote controller is inclined.
4 is an exemplary view of calculating the actual amount of movement of the light source by the image sensing module according to an embodiment of the present invention.
5 is an exemplary view illustrating a difference in a user's expected movement amount according to the size of a screen of the
Figure 6 is a block diagram showing an image sensing module for tracking the position of the light source at high speed in accordance with the present invention.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.As the invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all transformations, equivalents, and substitutes included in the spirit and scope of the present invention. In the following description of the present invention, if it is determined that the detailed description of the related known technology may obscure the gist of the present invention, the detailed description thereof will be omitted.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.
이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따라 광원의 위치 정보를 이용한 원격 포인팅 시스템을 나타내는 구성도이다.1 is a block diagram showing a remote pointing system using location information of a light source according to an embodiment of the present invention.
도 1을 참조하면, 이미지 센싱 모듈(120)이 디스플레이 장치(110)에 내장되어 있으며, 디스플레이 장치(110)에는 광원의 위치 정보를 이용한 애플리케이션이 탑재되어 있다. 또한, 디스플레이 장치(110)를 구동하기 위해 사용자에 의해 조작되는 원격 컨트롤러(140)는 특정 주파수의 광을 방출하는 광원(130)이 장착되어 있다. 여기서, 광원(130)은 사용자가 원격 컨트롤러(140)를 움직임에 따라 이동하게 되며, 이미지 센싱 모듈(120)은 이동하는 광원(130)의 위치를 실시간으로 추적하고 디스플레이 장치(110)는 광원(130)의 위치를 이용하여 디스플레이 장치(110)에 표시되는 특정 이미지의 위치를 결정하거나 탑재되어 있는 애플리케이션을 구동한다.
Referring to FIG. 1, an
도 2는 원격 포인팅 시스템의 이미지 센싱 모듈이 인식하는 광원의 실제 위치와 사용자가 기대하는 위치를 비교하는 예시도이다.2 is an exemplary diagram comparing an actual position of a light source recognized by an image sensing module of a remote pointing system with a position expected by a user.
원격 포인팅 시스템을 이용함에 있어 사용자는 원격 컨트롤러(140)를 움직임으로써 광원(130)의 위치를 원하는 데로 움직일 수 있는데, 이 때 사용자는 이미지 센싱 모듈(120)에 의해 인식되는 광원(130)의 이동량 보다 광원(130)이 더 많이 이동하기를 기대한다.
왜냐하면, 이미지 센싱 모듈(120)은 특정 주파수 또는 특정 주파수 대역의 광의 위치가 중심이 되도록 이미지 영역을 설정하여 광원(130)의 위치를 인식하지만, 사용자는 원격 컨트롤러(140)의 기울어짐과 위치를 통해 이미지 센싱 모듈(120)이 인식할 것이라고 판단한 광원(130)의 위치를 기대하기 때문이다.
즉, 이미지 센싱 모듈(120)에 의해 인식되는 광원(130)의 위치와 실제 사용자가 기대하는 광원(130)의 위치에 차이가 있는 것이다.In using the remote pointing system, the user can move the position of the
Because the
That is, there is a difference between the position of the
도 2를 참조하면, 이미지 센싱 모듈(120)에 의해 인식되는 광원(130)의 위치가 위치 A에서 위치 B 및 위치 C로 이동하였다고 가정한다. 이 때 사용자가 기대하는 광원의 위치는 위치 B와 위치 C가 아니라 각각 위치 B' 및 위치 C' 이다. 또한, 광원(130)의 실제 이동량이 클수록 사용자가 기대하는 이동량과의 차이도 커지게 되는데, 예를 들어, 광원(130)이 위치 A에서 위치 B로 이동하였을 때보다 위치 A에서 위치 C로 이동하였을 때 실제 이동량과 사용자가 기대하는 이동량의 차이는 더 크게 된다.
Referring to FIG. 2, it is assumed that the position of the
본 발명에 따른 이미지 센싱 모듈(120)은 광원(130)의 크기의 변화를 이용하여 이미지 센싱 모듈(120)에 의해 인식된 광원(130)의 위치를 사용자가 기대하는 만큼 보정함으로써 디스플레이 장치(110)의 화면에서 자연스런 움직임을 나타낼 수 있다.The
광원(130)은 사용자가 원격 컨트롤러(140)를 움직임에 따라 그 위치가 이동하게 되는데, 광원(130)이 항상 이미지 센싱 모듈(120)의 정면을 향하게 되지는 않는다. 일반적으로 사용자는 광원(130)을 이동시킴에 있어 원격 컨트롤러(140)를 상하좌우로 기울이게 되며, 원격 컨트롤러(140)가 기울어짐에 따라 이미지 센싱 모듈(120)에서 인식되는 광원(130)의 크기가 변하게 된다.The
도 3은 원격 컨트롤러의 기울어짐에 따라 이미지 센싱 모듈에 의해 인식되는 광원의 크기를 나타내는 예시도이다.
3 is an exemplary diagram illustrating the size of a light source recognized by the image sensing module as the remote controller is inclined.
다시 도 2를 참조하면, 이미지 센싱 모듈(120)에 의해 인식되는 광원(130)의 위치가 위치 A에서 위치 B와 위치 C로 이동하는 경우, 위치 B와 위치 C에서의 광원 이미지의 크기는 위치 A에서보다 작아진다. 또한, 위치 C에서의 광원 이미지의 크기는 위치 B에서의 광원 이미지의 크기보다 작을 것이다. 광원 이미지의 크기가 작아질수록 실제 이동량과 사용자가 기대하는 이동량과의 차이도 커지게 된다. 예를 들어, 이미지 센싱 모듈(120)에 의해 인식되는 광원(130)의 위치가 위치 A에서 위치 B로 이동하였을 때보다 위치 A에서 위치 C로 이동하였을 때 실제 이동량과 사용자가 기대하는 이동량의 차이는 더 크게 된다.Referring back to FIG. 2, when the position of the
이를 수식으로 정리하면 다음과 같다.
This can be summarized as follows.
[수식 1][Equation 1]
사용자 기대 이동량 = 광원의 실제 이동량 x (광원 이미지의 기준 크기 / 광원 이미지의 현재 크기)
User expected movement = actual movement of the light source x (reference size of the light source image / current size of the light source image)
여기서, 광원 이미지의 현재 크기는 보정해야 하는 광원(130)의 광원 이미지의 크기이며, 광원 이미지의 기준 크기는 제조사 또는 사용자에 의해 미리 설정되거나 이미지 센싱 모듈(120)이 추출한 광원 이미지의 크기 정보 중 하나이다. 예를 들어, 사용자가 원격 포인팅 시스템을 구동하기 전에 광원 이미지의 기준 크기를 미리 설정하거나, 시작 시 이미지 센싱 모듈(120)로 입력되는 최초의 광원 이미지의 크기가 광원 이미지의 기준 크기로 설정될 수 있다.Here, the current size of the light source image is the size of the light source image of the
또한, 본 발명에 따른 이미지 센싱 모듈(120)은 광원 이미지의 기준 크기 대신에 광원 이미지의 최근 크기를 이용할 수 있으며, 이 경우 수식은 다음과 같다. 여기서, 광원 이미지의 최근 크기는 이미지 센싱 모듈(120)에 의해 인식된 광원 이미지의 크기 중 가장 최근에 인식한 광원 이미지의 크기를 의미한다.
In addition, the
[수식 2][Equation 2]
사용자 기대 이동량 = 광원의 실제 이동량 x (광원 이미지의 최근 크기 / 광원 이미지의 현재 크기)
User expected movement = actual movement of light source x (recent size of light source image / current size of light source image)
[수식 1]과 [수식 2]에서 광원 이미지의 기준 크기 또는 최근 크기에 대한 광원 이미지의 현재 크기의 비율을 '이동량 보정 비율' 이라고 한다. 즉, 사용자가 기대하는 광원(130)의 이동량은 광원(130)의 실제 이동량과 이동량 보정 비율의 곱으로 나타낼 수 있다.
In [Equation 1] and [Equation 2], the ratio of the current size of the light source image to the reference size or the latest size of the light source image is referred to as the 'shift amount correction ratio'. That is, the movement amount of the
광원(130)의 실제 이동량은 광원(130)의 최근 위치와 광원(130)의 현재 위치를 비교하여 산출한다. 여기서, 광원(130)의 최근 위치는 이미지 센싱 모듈(120)이 인식한 광원(130)의 위치 중 가장 최근에 인식한 광원(130)의 위치를 의미한다.The actual amount of movement of the
또한 이미지 센싱 모듈(120)은 산출된 사용자 기대 이동량만큼 광원(130)의 최근 위치를 이동시키거나 사용자 기대 이동량과 실제 이동량 간의 차이만큼 광원(130)의 현재 위치를 이동시킴으로써 보정된 광원(130)의 위치를 산출한다.
Also, the
도 4는 본 발명에 일 실시예에 따른 이미지 센싱 모듈이 광원의 실제 이동량을 산출하는 예시도이다.4 is an exemplary view of calculating the actual amount of movement of the light source by the image sensing module according to an embodiment of the present invention.
광원(130)의 실제 이동량을 산출하는 방법은 여러 가지가 있는데, 본 발명의 경우 처리 속도의 저하를 방지하기 위해 가장 간단한 방법을 이용한다. 일반적으로 이미지 데이터는 수많은 행과 열로 구분되며 이미지 내에서 특정 위치는 특정 행을 인식하기 위한 행 정보와 특정 열을 인식하기 위한 열 정보로 나타낼 수 있다. 예를 들어, 이미지 내 특정 위치는 해당 픽셀에 대한 행 번호와 열 번호로 인식된다.There are several ways to calculate the actual amount of movement of the
도 4를 참조하면, 이미지 센싱 모듈(120)에 의해 인식되는 광원(130)의 위치가 위치 X에서 위치 Y로 이동하였다고 가정한다. 즉, 광원(130)의 현재 위치는 위치 Y이며, 광원(130)의 최근 위치는 위치 X이다. 이미지 센싱 모듈(120)은 광원(130)의 실제 이동량을 산출함에 있어 행 이동량과 열 이동량을 구분하여 산출한다.Referring to FIG. 4, it is assumed that the position of the
본 발명에 따른 이미지 센싱 모듈(120)은 광원(130)의 위치 정보를 행 정보와 열 정보로 구분하고, 광원(130)의 최근 위치와 현재 위치를 비교함에 있어 행 정보와 열 정보의 각각 구분하여 비교함으로써 광원(130)의 행 이동량과 열 이동량을 산출한다. 이에 따라 사용자 기대 이동량도 행 기대 이동량과 열 기대 이동량으로 구분하여 산출되며, 이미지 센싱 모듈(120)은 행 기대 이동량과 열 기대 이동량만큼 광원(130)의 최근 위치에 대한 행 정보와 열 정보를 각각 증가시키거나 감소시킴으로써 광원(130)의 보정된 위치를 산출할 수 있다. 또는 이미지 센싱 모듈(120)은 행 기대 이동량과 행 이동량 간의 차 및 열 기대 이동량과 열 이동량 간의 차만큼 광원(130)의 현재 위치를 이동시킴으로써 보정된 광원(130)의 위치를 산출할 수 있다.
The
본 발명의 다른 실시예에 따르면, 이미지 센싱 모듈(120)은 이동량 보정 비율과 보정 가중치를 이용하여 사용자가 기대하는 이동량을 산출한다.According to another embodiment of the present invention, the
사용자가 기대하는 광원(130)의 이동량은 광원(130)과 이미지 센싱 모듈(120) 간의 거리나 디스플레이 장치(110)의 크기에 따라 달라질 수 있다.The amount of movement of the
예를 들어, 광원(130)과 이미지 센싱 모듈(120) 간의 거리가 멀 경우 거리가 가까운 경우보다 실제 이동량과 사용자가 기대하는 이동량의 차이가 클 것이다. 또한, 디스플레이 장치가 작은 경우보다 큰 경우 실제 이동량과 사용자가 기대하는 이동량의 차이가 클 수 있다. For example, if the distance between the
도 5는 본 발명의 다른 실시예에 따른 디스플레이 장치(110)의 화면의 크기에 따라 사용자 기대 이동량의 차이를 나타내는 예시도이다.FIG. 5 is an exemplary view illustrating a difference in a user's expected movement amount according to the size of a screen of the
도 5를 참조하면, 보정 가중치를 이용하면 디스플레이 장치(110)의 화면의 크기에 따라 실제 이동량과 사용자 기대 이동량의 차를 달리할 수 있으며, 특히, 작은 화면에서보다 큰 화면에서 실제 이동량과 사용자 기대 이동량의 차를 크게 하는 것이 가능하다.Referring to FIG. 5, when the correction weight is used, the difference between the actual movement amount and the user's expected movement amount may vary according to the size of the screen of the
여기서, 보정 가중치는 제조사에 의해 미리 설정되거나 사용자에 의해 별도로 설정될 수 있으며, 또는 디스플레이 장치(110)의 크기나 광원(130)과 이미지 센싱 모듈(120) 간의 거리에 상응하여 자동으로 설정되는 것이 가능하다. 이 때, 광원(130)과 이미지 센싱 모듈(120) 간의 거리는 광원 이미지의 크기를 이용하여 인식하는 것이 가능하다.
Here, the correction weight may be preset by the manufacturer or separately by the user, or may be automatically set according to the size of the
이에 이미지 센싱 모듈(120)은 [수식 1]이나 [수식 2]에서와 달리 이동량 보정 비율과 함께 보정 가중치를 함께 이용하여 기대 이동량을 산출할 수 있다. 이를 수식으로 정리하면 다음과 같다.
Accordingly, the
[수식 3][Equation 3]
사용자 기대 이동량 = 광원의 실제 이동량 x (광원 이미지의 기준 크기 / 광원 이미지의 현재 크기) x 보정 가중치
User expected movement = actual movement of the light source x (reference size of the light source image / current size of the light source image) x correction weight
[수식 4][Equation 4]
사용자 기대 이동량 = 광원의 실제 이동량 x (광원 이미지의 최근 크기 / 광원 이미지의 현재 크기) x 보정 가중치
User expected movement = actual movement of the light source x (recent size of the light source image / current size of the light source image) x correction weight
도 6은 본 발명에 따라 고속으로 광원의 위치를 추적하기 위한 이미지 센싱 모듈을 나타내는 구성도이다.Figure 6 is a block diagram showing an image sensing module for tracking the position of the light source at high speed in accordance with the present invention.
도 6을 참조하면, 이미지 센싱 모듈(120)은 이미지 센서((610), 프로세서(620) 및 인터페이스(630)를 포함한다.Referring to FIG. 6, the
이미지 센싱 모듈(120)이 위치한 공간에는 여러 가지 주파수를 갖는 다양한 광(light)이 존재하며, 이러한 다양한 광이 모두 또는 일부가 이미지 센서(610)로 입력된다. 여기서, 광(light)은 자외선, 가시광선, 적외선 등 인간이 인식할 수 있는 주파수 대역뿐만 아니라 인간이 인식하지 못하는 주파수 대역을 모두 포함한다.Various lights having various frequencies exist in a space where the
이미지 센서(610)는 입력되는 광을 이용하여 이미지 센싱 모듈(120)이 위치한 공간에 대한 이미지 데이터를 생성하며, 프로세서(620)는 이미지 센서(610)로부터 이미지 데이터를 전달받아 특정 주파수 또는 특정 주파수 대역의 광을 생성하는 광원의 위치를 추출한다. 광원의 위치는 시간이 흐름에 따라 계속 변하는 경우 이미지 센싱 모듈(120)은 해당 광의 위치 정보를 반복하여 추출함으로써 광원을 지속적으로 추적할 수 있다.The
프로세서(620)에 의해 생성된 정보는 인터페이스(630)을 통해 이미지 처리 장치와 연동하는 다양한 장치로 전달될 수 있다. 예를 들어, 도 6을 참조하며, 프로세서(620)에 의해 생성된 특정 주파수 또는 특정 주파수 대역의 광에 대한 위치 정보는 인터페이스(630)을 통해 디스플레이 장치(110)의 메인 CPU(640)로 전달되며, 메인 CPU(640)는 프로세서(620)로부터 전달되는 광에 대한 위치 정보를 이용하여 디스플레이 모듈(650)에 표시되는 특정 이미지의 위치를 결정하거나 디스플레이 장치(110)에 탑재되어 있는 애플리케이션을 구동한다.The information generated by the processor 620 may be transferred to various devices interoperating with the image processing device through the
본 발명에 따른 이미지 센싱 모듈(120)의 프로세서(620)는 이미지 데이터로부터 추출한 광원(130)의 위치 정보를 보정하고 보정된 위치 정보를 메인 CPU(640)로 전달한다.The processor 620 of the
이를 위해 프로세서(620)는 이미지 센서(610)에서 전달되는 이미지 데이터로부터 광원(130)의 현재 위치 정보, 광원 이미지의 현재 크기 정보 등을 추출하고, 미리 설정 또는 저장되어 있는 광원 이미지의 기준 크기 정보, 최근 크기 정보, 최근 위치 정보 등을 이용하여 광원(130)의 실제 이동량과 이동량 보정 비율을 산출한다.To this end, the processor 620 extracts the current position information of the
여기서, 광원(130)의 실제 이동량은 현재 위치 정보와 미리 저장되어 있는 최근 위치 정보를 비교하여 산출되며, 이동량 보정 비율은 현재 크기 정보와 미리 저장되어 있는 기준 크기 정보 또는 최근 크기 정보를 비교하여 산출된다.Here, the actual movement amount of the
또한, 프로세서(620)는 광원(130)의 실제 이동량과 이동량 보정 비율을 이용하여 사용자 기대 이동량을 산출거나 실제 이동량, 이동량 보정 비율 및 미리 설정된 보정 가중치를 이용하여 광원의 사용자 기대 이동량을 산출한다.In addition, the processor 620 may calculate the user expected movement amount using the actual movement amount and the movement amount correction ratio of the
이 때, 프로세서(620)는 광원의 최근 위치를 사용자 기대 이동량만큼 이동시키거나 광원(130)의 현재 위치를 사용자 기대 이동량과 실제 이동량 간의 차이만큼 이동시킴으로써 보정된 광원의 위치를 산출한다.At this time, the processor 620 calculates the corrected position of the light source by moving the latest position of the light source by the user's expected movement amount or by moving the current position of the
여기서, 프로세서(620)가 실제 이동량, 이동량 보정 비율, 보정 가중치 및 사용자 기대 이동량을 설정하거나 산출하는 구체적인 방법은 도 2 내지 도 5를 참조하여 설명한 바와 같다.
Here, a detailed method of setting or calculating the actual movement amount, movement amount correction ratio, correction weight, and user expected movement amount by the processor 620 is as described with reference to FIGS. 2 to 5.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
Although the above has been described with reference to a preferred embodiment of the present invention, those skilled in the art to which the present invention pertains without departing from the spirit and scope of the present invention as set forth in the claims below It will be appreciated that modifications and variations can be made.
110 : 디스플레이 장치
120 : 이미지 센싱 모듈
130 : 광원
140 : 원격 컨트롤러110: display device
120: image sensing module
130: light source
140: remote controller
Claims (11)
상기 이미지 데이터로부터 광원 이미지의 현재 크기 정보를 추출하고, 상기 현재 크기 정보와 미리 저장되어 있는 기준 크기 정보 또는 최근 크기 정보를 비교하여 상기 광원의 이동량 보정 비율을 결정하는 프로세서를 포함하는 것
을 특징으로 하는 이미지 센싱 모듈.
An image sensor for generating and transferring image data for a specific light source; And
And extracting the current size information of the light source image from the image data, and comparing the current size information with previously stored reference size information or recent size information to determine a movement amount correction ratio of the light source.
Image sensing module, characterized in that.
상기 프로세서는,
상기 이미지 데이터로부터 광원의 현재 위치 정보를 추출하고, 상기 현재 위치 정보와 미리 저장되어 있는 최근 위치 정보를 비교하여 광원의 실제 이동량을 산출하고,
상기 실제 이동량과 상기 이동량 보정 비율을 이용하여 광원의 사용자 기대 이동량을 산출하는 것
을 특징으로 하는 이미지 센싱 모듈.
The method of claim 1,
The processor comprising:
Extracting the current position information of the light source from the image data, comparing the current position information with the latest position information stored in advance, and calculating the actual amount of movement of the light source;
Calculating a user's expected movement amount of a light source by using the actual movement amount and the movement amount correction ratio
Image sensing module, characterized in that.
상기 프로세서는,
상기 이미지 데이터로부터 광원의 현재 위치 정보를 추출하고, 상기 현재 위치 정보와 미리 저장되어 있는 최근 위치 정보를 비교하여 광원의 실제 이동량을 산출하고,
상기 실제 이동량, 상기 이동량 보정 비율 및 미리 설정된 보정 가중치를 이용하여 광원의 사용자 기대 이동량을 산출하는 것
을 특징으로 하는 이미지 센싱 모듈.
The method of claim 1,
The processor comprising:
Extracting the current position information of the light source from the image data, comparing the current position information with the latest position information stored in advance, and calculating the actual amount of movement of the light source;
Calculating a user expected movement amount of a light source using the actual movement amount, the movement amount correction ratio, and a preset correction weight;
Image sensing module, characterized in that.
상기 프로세서는,
상기 광원의 최근 위치를 상기 사용자 기대 이동량만큼 이동시키거나 상기 광원의 현재 위치를 상기 사용자 기대 이동량과 상기 실제 이동량 간의 차이만큼 이동시킴으로써 보정된 광원의 위치를 산출하는 것
을 특징으로 하는 이미지 센싱 모듈.
The method according to claim 2 or 3,
The processor comprising:
Calculating the corrected position of the light source by moving the latest position of the light source by the user expected movement amount or by moving the current position of the light source by the difference between the user expected movement amount and the actual movement amount.
Image sensing module, characterized in that.
상기 프로세서는,
상기 광원 이미지의 현재 크기와 기준 크기 또는 최근 크기 간의 비율에 비례하여 상기 실제 이동량을 증가시킴으로써 상기 사용자 기대 이동량을 산출하는 것
을 특징으로 하는 이미지 센싱 모듈.
The method of claim 4, wherein
The processor comprising:
Calculating the user expected movement amount by increasing the actual movement amount in proportion to a ratio between a current size and a reference size or a recent size of the light source image;
Image sensing module, characterized in that.
상기 프로세서는,
상기 사용자 기대 이동량을 행 기대 이동량과 열 기대 이동량으로 구분하여 산출하는 것
을 특징으로 하는 이미지 센싱 모듈.
The method of claim 4, wherein
The processor comprising:
Calculating the user's expected movement amount by dividing the row expected movement amount and the column expected movement amount
Image sensing module, characterized in that.
상기 최근 크기 정보는 상기 프로세서가 추출한 광원 이미지의 크기 정보 중 가장 최근에 추출된 광원의 크기 정보인 것
을 특징으로 하는 이미지 센싱 모듈.
The method of claim 1,
The latest size information is the size information of the most recently extracted light source among the size information of the light source image extracted by the processor
Image sensing module, characterized in that.
상기 기준 크기 정보는 제조사 또는 사용자에 의해 미리 설정되거나 프로세서가 추출한 광원 이미지의 크기 정보 중 하나인 것
을 특징으로 하는 이미지 센싱 모듈.
The method of claim 1,
The reference size information is one of size information of a light source image which is preset by a manufacturer or a user or extracted by a processor.
Image sensing module, characterized in that.
상기 보정 가중치는 제조사 또는 사용자에 의해 미리 설정되거나 디스플레이 장치의 크기나 광원과 이미지 센서 간의 거리에 상응하여 설정되는 것
을 특징으로 하는 이미지 센싱 모듈.
The method of claim 3, wherein
The correction weight is preset by the manufacturer or the user, or set according to the size of the display device or the distance between the light source and the image sensor.
Image sensing module, characterized in that.
상기 최근 위치 정보는 상기 프로세서가 추출한 광원의 위치 정보 중 가장 최근에 추출된 광원의 위치 정보인 것
을 특징으로 하는 이미지 센싱 모듈.
The method of claim 4, wherein
The latest location information is the location information of the most recently extracted light source of the location information of the light source extracted by the processor
Image sensing module, characterized in that.
특정 광원에 대한 이미지 데이터를 생성하고, 광원 이미지의 현재 크기에 대한 광원 이미지의 기준 크기 또는 최근 크기 간의 비율에 상응하여 상기 이미지 데이터 내 광원의 위치를 보정하는 이미지 센싱 모듈을 포함하는 것
을 특징으로 하는 원격 포인팅 시스템.Light source; And
Generating an image data for a specific light source and correcting the position of the light source in the image data corresponding to a ratio between a reference size or a recent size of the light source image with respect to a current size of the light source image;
Remote pointing system, characterized in that.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100093752A KR101054895B1 (en) | 2010-09-28 | 2010-09-28 | A remote pointing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100093752A KR101054895B1 (en) | 2010-09-28 | 2010-09-28 | A remote pointing device |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101054895B1 true KR101054895B1 (en) | 2011-08-05 |
Family
ID=44932964
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020100093752A KR101054895B1 (en) | 2010-09-28 | 2010-09-28 | A remote pointing device |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101054895B1 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000357055A (en) | 1999-03-31 | 2000-12-26 | Seiko Epson Corp | Method and device for correcting projection image and machine readable medium |
KR20070105322A (en) * | 2005-02-10 | 2007-10-30 | 유겐가이샤 타크람 디자인 엔지니어링 | Pointer light tracking method, program, and recording medium thereof |
JP2008015560A (en) | 2006-06-30 | 2008-01-24 | Casio Comput Co Ltd | Laser pointer position determination system and laser pointer position determination method |
KR20090061138A (en) * | 2007-12-11 | 2009-06-16 | 한국과학기술원 | Apparatus and method for adjusting the focus automatically |
-
2010
- 2010-09-28 KR KR1020100093752A patent/KR101054895B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000357055A (en) | 1999-03-31 | 2000-12-26 | Seiko Epson Corp | Method and device for correcting projection image and machine readable medium |
KR20070105322A (en) * | 2005-02-10 | 2007-10-30 | 유겐가이샤 타크람 디자인 엔지니어링 | Pointer light tracking method, program, and recording medium thereof |
JP2008015560A (en) | 2006-06-30 | 2008-01-24 | Casio Comput Co Ltd | Laser pointer position determination system and laser pointer position determination method |
KR20090061138A (en) * | 2007-12-11 | 2009-06-16 | 한국과학기술원 | Apparatus and method for adjusting the focus automatically |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9977507B2 (en) | Systems and methods for proximity sensor and image sensor based gesture detection | |
US9904369B2 (en) | Gesture recognition system and glasses with gesture recognition function | |
US8837775B2 (en) | Apparatus and method for recognizing gesture, and non-transitory computer readable medium thereof | |
JP5049228B2 (en) | Dialogue image system, dialogue apparatus and operation control method thereof | |
US9348418B2 (en) | Gesture recognizing and controlling method and device thereof | |
CN103324277A (en) | Touch free user input recognition | |
KR20100064177A (en) | Electronic device and method for displaying | |
EP2930593A1 (en) | Multi-display system and method for controlling thereof | |
US10203781B2 (en) | Integrated free space and surface input device | |
US9323339B2 (en) | Input device, input method and recording medium | |
CN107589827B (en) | Virtual reality helmet capable of recognizing gestures and gesture recognition method thereof | |
US20150084853A1 (en) | Method and System for Mapping for Movement Trajectory of Emission Light Source Application Trajectory Thereof | |
US20130088462A1 (en) | System and method for remote touch detection | |
US20140085238A1 (en) | Image processing apparatus and control method thereof | |
CN102339160A (en) | Input method and input apparatus | |
US20130082923A1 (en) | Optical pointer control system and method therefor | |
KR101807516B1 (en) | Apparatus And Method Controlling Digital Device By Recognizing Motion | |
KR101575063B1 (en) | multi-user recognition multi-touch interface apparatus and method using depth-camera | |
US20210405383A1 (en) | Electronic device, method for controlling electronic device, and non-transitory computer readable storage medium | |
US8508507B2 (en) | Input detection systems and methods for display panels with embedded photo sensors | |
KR101054895B1 (en) | A remote pointing device | |
US11442558B2 (en) | Input devices, methods for providing an input to a computing system and computer readable media | |
KR20180112785A (en) | Information processing apparatus, information processing method, and program | |
KR101005620B1 (en) | An apparatus of processing image data for tracing a light source | |
KR102298701B1 (en) | Low latency touch display device and driving method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
A302 | Request for accelerated examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20150804 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20160802 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20181031 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20200204 Year of fee payment: 9 |