KR20100131765A - Method and system for performing fine pointing by using display pattern - Google Patents

Method and system for performing fine pointing by using display pattern Download PDF

Info

Publication number
KR20100131765A
KR20100131765A KR1020090050517A KR20090050517A KR20100131765A KR 20100131765 A KR20100131765 A KR 20100131765A KR 1020090050517 A KR1020090050517 A KR 1020090050517A KR 20090050517 A KR20090050517 A KR 20090050517A KR 20100131765 A KR20100131765 A KR 20100131765A
Authority
KR
South Korea
Prior art keywords
image pattern
pointing
screen
pattern
area
Prior art date
Application number
KR1020090050517A
Other languages
Korean (ko)
Other versions
KR101547512B1 (en
Inventor
심재용
Original Assignee
심재용
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 심재용 filed Critical 심재용
Priority to KR1020090050517A priority Critical patent/KR101547512B1/en
Publication of KR20100131765A publication Critical patent/KR20100131765A/en
Application granted granted Critical
Publication of KR101547512B1 publication Critical patent/KR101547512B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Abstract

PURPOSE: A minute pointing method and a system using an indicator of a display device are provided to accurately calculate a point location within the pointed pattern area while using a simple operation. CONSTITUTION: A pattern provider(110) generates an image pattern, displays the image pattern on a display area and displays a first image pattern as a second image pattern. An image processing unit calculates the location of the first and the second image pattern on a sensing screen. A pointing position calculator(120) sets up a reference area on the display space. The pointing position calculator calculates the pointing location with reference to the center position of a sensor unit.

Description

디스플레이 패턴을 이용하는 미세 포인팅 방법 및 시스템{METHOD AND SYSTEM FOR PERFORMING FINE POINTING BY USING DISPLAY PATTERN}METHOD AND SYSTEM FOR PERFORMING FINE POINTING BY USING DISPLAY PATTERN}

본 발명은 디스플레이되는 패턴을 이용하는 미세 포인팅 방법 및 시스템에 관한 것으로서, 보다 상세하게는, 표시 장치로부터 디스플레이되는 패턴을 이용하여 사용자가 포인팅하는 위치를 정확하게 산출하기 위한 방법 및 시스템에 관한 것이다.The present invention relates to a fine pointing method and system using a displayed pattern, and more particularly, to a method and system for accurately calculating a position pointed to by a user using a pattern displayed from a display device.

종래에는, 사용자가 소정의 디스플레이 패널 상에서 포인팅을 하기 위한 장치로서, 주로 평면 상에 배치되어 조작되는 키보드, 마우스(예를 들면, 볼 마우스, 광학 마우스 등) 또는 터치 패드와 같은 2차원 포인팅 장치가 이용되어 왔다. 그러나, 마우스와 같은 2차원 포인팅 장치는 평면 상에 배치되어 조작되는 관계로 사용자의 3차원 조작을 반영하는 데에는 한계가 있었고, 더군다나 상대 매핑(relative mapping) 방식을 채용하는 경우가 많은 관계로 디스플레이 패널 상의 포인팅 위치 산출에 사용자의 조작이 항상 반영되도록 하지는 못하는 경우도 있었다. 또한, 터치스크린과 같은 포인팅 장치는 사용자가 반드시 디스플레이 패널과 접촉해야만 한다는 단점이 있었다.Conventionally, as a device for a user to point on a predetermined display panel, a two-dimensional pointing device such as a keyboard, a mouse (for example, a ball mouse, an optical mouse, etc.) or a touch pad mainly disposed and operated on a plane is used. Has been used. However, since a two-dimensional pointing device such as a mouse is disposed and manipulated on a plane, there is a limit in reflecting a three-dimensional manipulation of a user, and in addition, a display panel is often used because a relative mapping method is employed. In some cases, the user's manipulation may not always be reflected in the calculation of the pointing position on the image. In addition, a pointing device such as a touch screen has a disadvantage in that the user must contact the display panel.

위와 같은 종래의 포인팅 장치들은 여러 단점을 갖고 있기 때문에, 사용자의 3차원 조작을 잘 반영할 수 있는 장치가 개발되고 있다. 예를 들면, 내부에 가속 센서 및/또는 기울기 센서(예를 들면, 자이로 센서)를 포함하고 있어서, 사용자의 3차원 공간에서의 조작이나 움직임을 측정하여 이를 디스플레이에 반영하는 3D 마우스 등에 관한 기술이 제안되고 있다. 하지만, 이러한 기술로는, 센서의 가격이나 부피로 인하여, 포인팅 장치를 값싸고 성능좋게 구현하는 데에 한계가 있었다. 또한, 어떤 센서들의 경우에는, 측정 오차가 누적되는 문제도 있었다. 한편, 위와 같은 3D 마우스로는 디스플레이 패널 상의 포인팅 위치 산출에 사용자의 조작이 항상 반영되도록 하는 절대 매핑(direct mapping)을 구현하기 어렵다는 단점도 있었다.Since the conventional pointing devices as described above have a number of disadvantages, devices that can reflect the user's three-dimensional manipulation are being developed. For example, a 3D mouse or the like which includes an acceleration sensor and / or a tilt sensor (for example, a gyro sensor) and measures a user's manipulation or movement in a three-dimensional space and reflects the same on a display is disclosed. It is proposed. However, such a technique has a limitation in implementing a pointing device inexpensively and efficiently due to the price or volume of the sensor. In addition, in the case of some sensors, there was a problem that the measurement error is accumulated. On the other hand, the 3D mouse as described above has a disadvantage that it is difficult to implement an absolute mapping (direct mapping) so that the user's operation is always reflected in the calculation of the pointing position on the display panel.

이에 따라, 본 발명자는 표시 장치로부터 디스플레이되는 패턴을 이용하여 사용자가 포인팅하는 위치를 산출하기 위한 방법 및 시스템에 관하여 한국특허출원 제2009-46906호(출원일: 2009년 5월 28일; 발명의 명칭: 디스플레이 패턴을 이용하는 포인팅 방법 및 시스템)를 출원한 바 있다(상기 특허출원 명세서에 기재된 내용은 그 전체로서 본 명세서에 편입된 것으로 보아야 한다).Accordingly, the inventor of the present invention relates to a method and system for calculating a user's pointing position using a pattern displayed from a display device (Korean Patent Application No. 2009-46906 (Application Date: May 28, 2009; Name of invention) (Pointing method and system using a display pattern) have been filed (the contents described in the patent application specification should be considered to be incorporated herein in its entirety).

본 발명자는, 위와 같은 선행 발명에 더하여, 디스플레이되는 패턴 중 사용자가 포인팅하고 있는 패턴의 영역을 결정한 후 벡터 맵(vector map)을 이용하면, 포인팅된 패턴 영역 내의 보다 정확한 포인팅 위치를 산출할 수 있음에 착안하여 본 출원에 이르렀다.The present inventors can calculate a more accurate pointing position in the pointed pattern area by using a vector map after determining the area of the pattern to which the user is pointing among the displayed patterns. Attention was reached to the present application.

본 발명은 상술한 종래 기술의 문제점을 모두 해결하는 것을 그 목적으로 한다.The object of the present invention is to solve all the problems of the prior art described above.

또한, 본 발명은 값싸고 간단한 구성요소만을 사용하면서도 정확한 포인팅 위치 산출이 가능하도록 하는 새로운 포인팅 방법 및 시스템을 구현하는 것을 다른 목적으로 한다.It is another object of the present invention to implement a new pointing method and system that enables accurate pointing position calculation while using only cheap and simple components.

또한, 본 발명은 절대 매핑을 가능케 하는 포인팅 방법 및 시스템을 제공하는 것을 또 다른 목적으로 한다.It is another object of the present invention to provide a pointing method and a system which enable absolute mapping.

또한, 본 발명은 소정의 포인팅된 패턴 영역 내에서 보다 정확하게 포인팅 위치를 산출해내는 것을 또 다른 목적으로 한다.It is another object of the present invention to more accurately calculate the pointing position within a given pointed pattern area.

또한, 본 발명은 소정의 포인팅 영역 내에서 보다 정확하게 포인팅 위치를 산출해내는 것을 또 다른 목적으로 한다.It is another object of the present invention to calculate the pointing position more accurately within a given pointing area.

상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.Representative configuration of the present invention for achieving the above object is as follows.

본 발명의 일 태양에 따르면, 미세 포인팅 방법으로서, 디스플레이 영역 상에 제1 이미지 패턴을 표시하는 단계, 상기 디스플레이 영역의 적어도 일부를 촬영하여 얻어지는 센서부 화면에서 상기 제1 이미지 패턴을 식별하여 상기 센서부 화면에서의 상기 제1 이미지 패턴의 위치를 산출하는 단계, 상기 디스플레이 영역 상에 기준 영역을 설정하는 단계 - 상기 기준 영역의 배열은 상기 센서부 화면의 배열과 실질적으로 대응되고, 상기 기준 영역에서의 상기 제1 이미지 패턴의 위치는 상기 센서부 화면에서의 상기 제1 이미지 패턴의 위치와 실질적으로 대응됨 -, 상 기 디스플레이 영역 상에서 상기 제1 이미지 패턴을 이동시켜 제2 이미지 패턴으로서 표시하는 단계 - 상기 제1 이미지 패턴은 상기 기준 영역의 중심을 향하여 이동됨 -, 상기 센서부 화면에서 상기 제2 이미지 패턴을 식별하여 상기 센서부 화면에서의 상기 제2 이미지 패턴의 위치를 산출하는 단계, 및 상기 센서부 화면에서의 상기 제1 이미지 패턴의 위치, 상기 제2 이미지 패턴의 위치 및 상기 센서부 화면의 중심의 위치를 참조로 하여, 상기 디스플레이 영역 상에서의 포인팅 위치를 산출하는 단계를 포함하는 방법이 제공된다.According to an aspect of the present invention, a method of fine pointing, comprising: displaying a first image pattern on a display area; identifying the first image pattern on a screen of a sensor unit obtained by photographing at least a portion of the display area; Calculating a position of the first image pattern on the sub-screen, setting a reference area on the display area, wherein the arrangement of the reference area substantially corresponds to the arrangement of the sensor part screen, The position of the first image pattern of the image corresponds substantially to the position of the first image pattern on the screen of the sensor unit, and moving the first image pattern on the display area to display the second image pattern. The first image pattern is moved toward the center of the reference area. Calculating the position of the second image pattern on the sensor unit screen by identifying the second image pattern, and the position of the first image pattern, the position of the second image pattern, and the With reference to the position of the center of the screen of the sensor unit, a method comprising calculating a pointing position on the display area is provided.

본 발명의 다른 태양에 따르면, 미세 포인팅 방법으로서, 디스플레이 영역 상에 제1 이미지 패턴 및 제2 이미지 패턴을 표시하는 단계, 상기 디스플레이 영역의 적어도 일부를 촬영하여 얻어지는 센서부 화면에서 상기 제1 이미지 패턴 및 상기 제2 이미지 패턴을 식별하여 상기 센서부 화면에서의 상기 제1 이미지 패턴의 위치 및 상기 제2 이미지 패턴의 위치를 산출하는 단계, 상기 디스플레이 영역 상에 기준 영역을 설정하는 단계 - 상기 기준 영역의 배열은 상기 센서부 화면의 배열과 실질적으로 대응되고, 상기 기준 영역에서의 상기 제1 이미지 패턴의 위치는 상기 센서부 화면에서의 상기 제1 이미지 패턴의 위치와 실질적으로 대응됨 -, 및 상기 센서부 화면에서의 상기 제1 이미지 패턴의 위치 및 상기 제2 이미지 패턴의 위치, 그리고 상기 기준 영역에서의 상기 제1 이미지 패턴의 위치 및 상기 제2 이미지 패턴의 위치를 참조로 하여, 상기 디스플레이 영역 상에서의 포인팅 위치를 산출하는 단계를 포함하는 방법이 제공된다.According to another aspect of the present invention, as a fine pointing method, displaying a first image pattern and a second image pattern on a display area, and the first image pattern on the sensor unit screen obtained by photographing at least a portion of the display area And calculating the position of the first image pattern and the position of the second image pattern on the screen of the sensor unit by identifying the second image pattern, and setting a reference area on the display area. Is substantially aligned with the arrangement of the sensor unit screen, and the position of the first image pattern in the reference area substantially corresponds with the position of the first image pattern on the sensor unit screen-, and The position of the first image pattern and the position of the second image pattern on the screen of the sensor unit, and the reference area Calculating a pointing position on the display area with reference to the position of the first image pattern and the position of the second image pattern in.

본 발명의 또 다른 태양에 따르면, 미세 포인팅 시스템으로서,표시 장치, 및 포인팅 제어 장치를 포함하고, 상기 표시 장치는, 패턴 제공부, 및 포인팅 위치 산출부를 포함하며, 상기 포인팅 제어 장치는, 센서부를 포함하는 영상 처리부, 및 상기 표시 장치와의 통신을 위한 통신부를 포함하고, 상기 패턴 제공부는 제1 이미지 패턴을 생성하여 상기 제1 이미지 패턴이 디스플레이 영역 상에 표시되도록 하며, 상기 영상 처리부는 상기 디스플레이 영역의 적어도 일부를 촬영하여 얻어지는 센서부 화면에서 상기 제1 이미지 패턴을 식별하여 상기 센서부 화면에서의 상기 제1 이미지 패턴의 위치를 산출하고, 상기 포인팅 위치 산출부는 상기 디스플레이 영역 상에 기준 영역을 설정하며 - 상기 기준 영역의 배열은 상기 센서부 화면의 배열과 실질적으로 대응되고, 상기 기준 영역에서의 상기 제1 이미지 패턴의 위치는 상기 센서부 화면에서의 상기 제1 이미지 패턴의 위치와 실질적으로 대응됨 -, 상기 패턴 제공부는 상기 제1 이미지 패턴이 상기 디스플레이 영역 상에서 이동되어 제2 이미지 패턴으로서 표시되도록 하고 - 상기 제1 이미지 패턴은 상기 기준 영역의 중심을 향하여 이동됨 -, 상기 영상 처리부는 상기 센서부 화면에서 상기 제2 이미지 패턴을 식별하여 상기 센서부 화면에서의 상기 제2 이미지 패턴의 위치를 산출하며, 상기 포인팅 위치 산출부는 상기 센서부 화면에서의 상기 제1 이미지 패턴의 위치, 상기 제2 이미지 패턴의 위치 및 상기 센서부 화면의 중심의 위치를 참조로 하여, 상기 디스플레이 영역 상에서의 포인팅 위치를 산출하는 시스템이 제공된다.According to still another aspect of the present invention, there is provided a fine pointing system, comprising a display device and a pointing control device, wherein the display device includes a pattern providing unit and a pointing position calculating unit, and the pointing control device includes a sensor unit. And an image processing unit, and a communication unit for communicating with the display device, wherein the pattern providing unit generates a first image pattern to display the first image pattern on a display area, and the image processing unit Identifying the first image pattern on the sensor unit screen obtained by photographing at least a portion of the area to calculate the position of the first image pattern on the sensor unit screen, and the pointing position calculator is configured to display a reference area on the display area. The reference area arrangement substantially matches that of the sensor screen. And a position of the first image pattern in the reference area substantially corresponds to a position of the first image pattern on the screen of the sensor unit. The pattern providing unit moves the first image pattern on the display area. To be displayed as a second image pattern, wherein the first image pattern is moved toward the center of the reference area, and the image processor identifies the second image pattern on the screen of the sensor unit, The position of the second image pattern is calculated, and the pointing position calculator is based on the position of the first image pattern, the position of the second image pattern, and the position of the center of the sensor unit screen on the sensor unit screen. A system for calculating a pointing position on the display area is provided.

본 발명의 또 다른 태양에 따르면, 미세 포인팅 시스템으로서, 표시 장치, 및 포인팅 제어 장치를 포함하고, 상기 표시 장치는, 패턴 제공부, 및 포인팅 위치 산출부를 포함하며, 상기 포인팅 제어 장치는, 센서부를 포함하는 영상 처리부, 및 상기 표시 장치와의 통신을 위한 통신부를 포함하고, 상기 패턴 제공부는 제1 이미지 패턴 및 제2 이미지 패턴을 생성하여 상기 제1 이미지 패턴 및 상기 제2 이미지 패턴이 디스플레이 영역 상에 표시되도록 하며, 상기 영상 처리부는 상기 디스플레이 영역의 적어도 일부를 촬영하여 얻어지는 센서부 화면에서 상기 제1 이미지 패턴 및 상기 제2 이미지 패턴을 식별하여 상기 센서부 화면에서의 상기 제1 이미지 패턴의 위치 및 상기 제2 이미지 패턴의 위치를 산출하고, 상기 포인팅 위치 산출부는 상기 디스플레이 영역 상에 기준 영역을 설정하며 - 상기 기준 영역의 배열은 상기 센서부 화면의 배열과 실질적으로 대응되고, 상기 기준 영역에서의 상기 제1 이미지 패턴의 위치는 상기 센서부 화면에서의 상기 제1 이미지 패턴의 위치와 실질적으로 대응됨 -, 및 상기 포인팅 위치 산출부는 상기 센서부 화면에서의 상기 제1 이미지 패턴의 위치 및 상기 제2 이미지 패턴의 위치, 그리고 상기 기준 영역에서의 상기 제1 이미지 패턴의 위치 및 상기 제2 이미지 패턴의 위치를 참조로 하여, 상기 디스플레이 영역 상에서의 포인팅 위치를 산출하는 시스템이 제공된다.According to still another aspect of the present invention, there is provided a fine pointing system including a display device and a pointing control device, wherein the display device includes a pattern providing unit and a pointing position calculating unit, and the pointing control device includes a sensor unit. And a communication unit for communicating with the display device, wherein the pattern providing unit generates a first image pattern and a second image pattern so that the first image pattern and the second image pattern are formed on the display area. The image processing unit identifies the first image pattern and the second image pattern on a sensor unit screen obtained by photographing at least a portion of the display area, and then positions the first image pattern on the screen of the sensor unit. And calculating a position of the second image pattern, and the pointing position calculating unit displays the display. Setting a reference area on the reverse side-the arrangement of the reference area substantially corresponds to the arrangement of the sensor part screen, and the position of the first image pattern in the reference area is the first image on the sensor part screen Substantially corresponding to the position of the pattern, and the pointing position calculator is configured to determine the position of the first image pattern and the position of the second image pattern on the screen of the sensor unit, and the position of the first image pattern in the reference area. With reference to the position and position of the second image pattern, a system for calculating a pointing position on the display area is provided.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공된다.In addition, there is further provided a computer readable recording medium for recording another method, system for implementing the present invention and a computer program for executing the method.

본 발명에 의하면, 값싸고 간단한 구성요소만을 사용하면서도 정확한 포인팅 위치 산출이 가능하도록 하는 새로운 포인팅 방법 및 시스템을 달성할 수 있다.According to the present invention, a new pointing method and system can be achieved which enables accurate pointing position calculation while using only inexpensive and simple components.

본 발명에 의하면, 사용자의 조작을 절대적으로 반영하는 포인팅 방법 및 시스템을 달성할 수 있다.According to the present invention, it is possible to achieve a pointing method and system that absolutely reflects the user's operation.

본 발명에 의하면, 소정의 포인팅된 패턴 영역 내에서 보다 정확하게 포인팅 위치를 산출해낼 수 있게 된다.According to the present invention, it is possible to calculate the pointing position more accurately within the predetermined pointed pattern area.

본 발명에 의하면, 소정의 포인팅 영역 내에서 보다 정확하게 포인팅 위치를 산출해낼 수 있게 된다.According to the present invention, the pointing position can be calculated more accurately in the predetermined pointing area.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.DETAILED DESCRIPTION The following detailed description of the invention refers to the accompanying drawings that show, by way of illustration, specific embodiments in which the invention may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the invention. It should be understood that the various embodiments of the present invention are different but need not be mutually exclusive. For example, certain features, structures, and characteristics described herein may be implemented in other embodiments without departing from the spirit and scope of the invention in connection with an embodiment. It is also to be understood that the position or arrangement of the individual components within each disclosed embodiment may be varied without departing from the spirit and scope of the invention. The following detailed description, therefore, is not to be taken in a limiting sense, and the scope of the present invention, if properly described, is defined only by the appended claims, along with the full range of equivalents to which such claims are entitled. Like reference numerals in the drawings refer to the same or similar functions throughout the several aspects.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발 명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily implement the present invention.

포인팅 시스템의 전체 구성Overall configuration of the pointing system

도 1은 본 발명의 일 실시예에 따른 포인팅 시스템의 개략적인 구성을 나타내는 도면이다.1 is a view showing a schematic configuration of a pointing system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 포인팅 시스템은 표시 장치(100) 및 포인팅 제어 장치(200)를 포함하여 구성될 수 있다는 것을 알 수 있다.Referring to FIG. 1, it can be seen that a pointing system according to an exemplary embodiment of the present invention may include a display device 100 and a pointing control device 200.

먼저, 본 발명의 일 실시예에 따른 표시 장치(100)는 디지털 연산 처리된 결과를 디스플레이할 수 있는 장치로서 소정의 디스플레이 패널을 통하여 소정의 영상을 디스플레이하는 기능을 수행하는 장치일 수 있다. 이러한 표시 장치(100)는 후술하는 포인팅 제어 장치(200)가 표시 장치(100)의 디스플레이 영역(10) 상에서 포인팅하는 위치를 산출하는 데에 이용되는 본 발명 특유의 패턴을 디스플레이하는 기능과 상기 패턴의 소정의 영역 내에 템플릿(template)을 생성하여 이를 이동시키는 기능을 더 수행할 수 있다.First, the display device 100 according to an exemplary embodiment of the present invention may be a device capable of displaying a result of a digital calculation process and performing a function of displaying a predetermined image through a predetermined display panel. The display device 100 has a function of displaying a pattern unique to the present invention used to calculate a position of the pointing control device 200 to be described later on the display area 10 of the display device 100 and the pattern. A function of generating a template and moving it in a predetermined region may be further performed.

이러한 표시 장치(100)는 영상, 패턴 및/또는 템플릿에 관한 신호를 적외선, 가시광선 및 자외선 중 어느 한 가지 이상의 광으로 변환하여 외부로 디스플레이하는 디스플레이부(미도시됨)와, 패턴 및/또는 템플릿을 생성하여 이를 디스플레이부를 통해 디스플레이할 수 있고 포인팅 제어 장치(200)와 통신할 수 있는 디지털 처리부(미도시됨)를 포함할 수 있다. 이러한 표시 장치(100)는, 데스크탑 컴퓨터, 노트북 컴퓨터와 같은 PC, 게임기, 스마트 폰, 프로젝터, PDA 폰 등에 두루 채용될 수 있을 뿐만 아니라, 워크스테이션, 디지털 TV 수신기, 전자 여행자 가이드, 전자 간판 등과 같이, 디스플레이 수단과 메모리 수단을 내장하고 간단한 마이크로프로세서(microprocessor)를 탑재하여 연산 능력을 갖춘 장치라면, 얼마든지 다양하게 본 발명에 따른 표시 장치(100)로서 채택될 수 있다.The display device 100 may include a display unit (not shown) that converts a signal related to an image, a pattern, and / or a template into one or more of infrared, visible, and ultraviolet light and displays it externally, and the pattern and / or It may include a digital processing unit (not shown) that can generate a template and display it through the display unit and communicate with the pointing control device 200. The display device 100 may be employed throughout a PC, a game machine, a smart phone, a projector, a PDA phone such as a desktop computer, a notebook computer, and the like. In addition, any device having a built-in display means and a memory means and having a computing capability by mounting a simple microprocessor may be variously adopted as the display device 100 according to the present invention.

한편, 이상의 설명에서는 표시 장치(100) 내에 디스플레이부와 디지털 처리부가 포함되어 있는 것으로 언급되었지만, 본 발명을 구현하는 당업자의 필요에 따라서는, 디스플레이부와 디지털 처리부를 서로 분리하여 구성하거나, 디지털 처리부의 일부 모듈을 포인팅 제어 장치(200) 등의 외부 장치에 포함하여 구성할 수도 있다. 본 발명의 일 실시예에 따른 표시 장치(100)의 구성에 관한 보다 자세한 설명은 도 2를 참조하여 더 하기로 한다.Meanwhile, in the above description, the display unit 100 includes the display unit and the digital processing unit, but according to the needs of those skilled in the art for implementing the present invention, the display unit and the digital processing unit may be separated from each other, or the digital processing unit. Some modules may be included in an external device such as the pointing control device 200. A detailed description of the configuration of the display apparatus 100 according to an exemplary embodiment of the present invention will be further described with reference to FIG. 2.

다음으로, 본 발명의 일 실시예에 따른 포인팅 제어 장치(200)는 사용자가 표시 장치(100)의 디스플레이부의 디스플레이 영역(10) 중 가리키는 영역, 즉, 포인팅 영역(P)의 영상, 패턴 및/또는 템플릿에 관한 정보를 획득하여 이로부터 필요한 정보를 추출하는 과정을 수행할 수 있다. 특히, 포인팅 제어 장치(200)는 본 발명의 특유한 패턴에 관한 정보를 획득하고, 상기 패턴의 소정의 영역 내에 위치하는 템플릿의 위치에 관한 정보를 획득하는 기능을 더 수행할 수 있다.Next, the pointing control device 200 according to an exemplary embodiment of the present invention may include an image, a pattern, and / or an area indicated by the user among the display areas 10 of the display unit of the display device 100. Alternatively, the process of obtaining information about the template and extracting necessary information from the template may be performed. In particular, the pointing control apparatus 200 may further perform a function of acquiring information about a unique pattern of the present invention and obtaining information about a position of a template located in a predetermined area of the pattern.

또한, 본 발명의 일 실시예에 따른 포인팅 제어 장치(200)는 그에 의해 포인팅되어 있는 점이나 면을 적어도 부분적으로 포함하거나 이에 인접하는 선택 수단(예를 들면, 그래픽 버튼, 하이퍼링크 등)을 활성화할 수 있는 입력 수단(예를 들면, 버튼)을 더 구비할 수도 있다.In addition, the pointing control device 200 according to an embodiment of the present invention activates a selection means (eg, graphical buttons, hyperlinks, etc.) at least partially including or adjacent to the point or face pointed thereto. An input means (for example, a button) that can be used may be further provided.

표시 장치의 구성Display device configuration

이하에서는, 본 발명의 실시예에 따른 표시 장치(100)의 내부 구성 및 각 구성요소의 기능에 대하여 살펴보기로 한다.Hereinafter, an internal configuration and a function of each component of the display device 100 according to an exemplary embodiment will be described.

도 2는 본 발명의 일 실시예에 따른 표시 장치(100)의 내부 구성을 상세하게 도시하는 도면이다.2 is a diagram illustrating an internal configuration of the display device 100 according to an exemplary embodiment of the present invention in detail.

도 2를 참조하면, 본 발명의 일 실시예에 따른 표시 장치(100)는 패턴 제공부(110), 포인팅 위치 산출부(120), 디스플레이부(130), 데이터 저장부(140), 통신부(150) 및 제어부(160)를 포함하여 구성될 수 있다.Referring to FIG. 2, the display device 100 according to an exemplary embodiment of the present invention may include a pattern providing unit 110, a pointing position calculating unit 120, a display unit 130, a data storage unit 140, and a communication unit ( 150 and the controller 160 may be configured.

본 발명의 일 실시예에 따르면, 패턴 제공부(110), 포인팅 위치 산출부(120), 디스플레이부(130), 데이터 저장부(140), 통신부(150) 및 제어부(160)는 그 중 적어도 일부가 포인팅 제어 장치(200)와 통신하는 프로그램 모듈들일 수 있다. 이러한 프로그램 모듈들은 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로, 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있다. 한편, 이러한 프로그램 모듈들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.According to an embodiment of the present invention, the pattern providing unit 110, the pointing position calculation unit 120, the display unit 130, the data storage unit 140, the communication unit 150 and the control unit 160 at least Some may be program modules in communication with the pointing control device 200. Such program modules may be physically stored on a variety of known storage devices in the form of operating systems, application modules, and other program modules. On the other hand, such program modules include, but are not limited to, routines, subroutines, programs, objects, components, data structures, etc. that perform particular tasks or execute particular abstract data types, described below, in accordance with the present invention.

먼저, 본 발명의 일 실시예에 따른 패턴 제공부(110)는 포인팅 제어 장치(200)가 디스플레이 영역(10) 상에서 실제로 가리키고 있는 포인팅 영역(P)을 판단하기 위한 패턴을 생성하고 이에 관한 신호를 디스플레이부(130)에 제공하는 기능을 수행할 수 있다.First, the pattern providing unit 110 according to an embodiment of the present invention generates a pattern for determining the pointing area P that the pointing control device 200 actually points on the display area 10 and provides a signal related thereto. The function provided to the display 130 may be performed.

이러한 패턴은 포인팅 위치 산출부(120)에서 매번 산출되는 포인팅 위치(또는 그 범위)에 따라 재귀적으로 생성될 수 있다. 또한, 이러한 패턴은 반복적으로 그리고 필요에 따라 국부적으로 분할되는 패턴일 수 있는데, 이에 관하여는 도 4를 참조한 아래의 설명을 통하여 더 자세히 알아보기로 한다.Such a pattern may be recursively generated according to a pointing position (or a range thereof) calculated each time by the pointing position calculator 120. In addition, such a pattern may be a pattern that is repeatedly and locally divided as needed, which will be described in more detail through the following description with reference to FIG. 4.

또한, 본 발명의 일 실시예에 따른 패턴 제공부(110)는 소정의 패턴 영역 내에서 소정의 템플릿을 제공할 수 있는데, 예를 들면, 이전 프레임과 현재 프레임의 차 영상(difference image)에 의한 최대 상관 값(maximum correlation value)을 이용하는 방법으로 템플릿을 제공할 수 있다. 이에 관하여는, 도 5 및 도 6을 참조한 아래의 설명을 통하여 알아 보기로 한다.In addition, the pattern providing unit 110 according to an embodiment of the present invention may provide a predetermined template within a predetermined pattern area, for example, by a difference image of a previous frame and a current frame. The template can be provided by using a maximum correlation value. This will be described through the following description with reference to FIGS. 5 and 6.

다음으로, 본 발명의 일 실시예에 따른 포인팅 위치 산출부(120)는 포인팅 제어 장치(200)로부터 수신되는 패턴 정보, 즉, 포인팅 제어 장치(200)가 현재 포인팅하고 있는 포인팅 영역(P)의 패턴의 색상 값이나 조도 값에 대한 정보를 이용하여 포인팅 위치를 산출하는 기능을 수행할 수 있다. 포인팅 위치 산출부(120)에서 산출된 포인팅 위치는 앞서 설명된 바와 같이 패턴 제공부(110)에 제공될 수 있고, 패턴 제공부(110)는 이를 기초로 하여 패턴 생성 및 제공을 수행할 수 있다.Next, the pointing position calculator 120 according to an exemplary embodiment of the present invention may detect the pattern information received from the pointing control device 200, that is, the pointing area P currently pointing by the pointing control device 200. A function of calculating a pointing position may be performed by using information about a color value or illuminance value of a pattern. The pointing position calculated by the pointing position calculating unit 120 may be provided to the pattern providing unit 110 as described above, and the pattern providing unit 110 may perform pattern generation and provision based on this. .

한편, 본 발명의 일 실시예에 따른 포인팅 위치 산출부(120)는, 패턴 제공부(110)와 함께, 포인팅되고 있는 패턴 영역 내에 소정의 템플릿을 생성하고 이를 이동시키는 포인팅 위치 산출 과정을 수행할 수 있다. 이에 따라, 포인팅 위치 산출부(120)는 보다 정확한 포인팅 위치를 산출할 수 있는데, 이에 관하여는 도 5 및 도 6을 참조한 아래의 설명을 통하여 더 자세히 알아보기로 한다.Meanwhile, the pointing position calculator 120 according to an embodiment of the present invention, together with the pattern providing unit 110, performs a pointing position calculation process of generating a predetermined template and moving the predetermined template in the pointed pattern area. Can be. Accordingly, the pointing position calculator 120 may calculate a more accurate pointing position, which will be described in more detail through the following description with reference to FIGS. 5 and 6.

다음으로, 본 발명의 일 실시예에 따른 디스플레이부(130)는 광을 방출하여 영상을 디스플레이할 수 있는 디스플레이 수단으로서, 패턴 제공부(110)에서 제공되는 패턴이나 템플릿에 관한 광 신호를 디스플레이하는 기능도 수행할 수 있다. 디스플레이부(130)는, 예를 들면, 브라운관(Cathode-Ray Tube; CRT), 액정 표시 장치(Liquid Crystal Display; LCD), 유기 전계 발광 표시 장치(Organic Light Emitting Diode display; OLED) 및 플라즈마 표시 장치(Plasma Display Panel; PDP) 중 어느 한 가지 이상을 포함할 수 있으나, 반드시 이에 한정되는 것은 아니며, 디스플레이부(130)는 자체로서 직접 발광을 하는 것이 아닌, 프로젝터 등으로부터 출력된 영상을 반사시켜 디스플레이하는 스크린을 포함할 수도 있다.Next, the display unit 130 according to an embodiment of the present invention is a display means for displaying an image by emitting light, and displays an optical signal relating to a pattern or a template provided by the pattern providing unit 110. Function can also be performed. The display unit 130 may include, for example, a cathode-ray tube (CRT), a liquid crystal display (LCD), an organic light emitting diode display (OLED), and a plasma display device. (Plasma Display Panel; PDP) may include any one or more, but is not necessarily limited thereto, and the display unit 130 does not emit light directly, but reflects an image output from a projector or the like to display the display. It may also include a screen.

디스플레이부(130)에서의 영상, 패턴 및/또는 템플릿의 디스플레이는 공지의 기술에 의해 용이하게 구성될 수 있는 구동 드라이버, 타이밍 콘트롤러 등에 의해 제어되어 이루어질 수 있다.The display of the image, the pattern, and / or the template on the display 130 may be controlled by a driving driver, a timing controller, or the like, which can be easily configured by a known technique.

다음으로, 본 발명의 일 실시예에 따른 데이터 저장부(140)는 패턴 제공부(110)에서 생성된 패턴을 저장하거나, 디스플레이부(130)에 의해 디스플레이되는 영상에 관한 정보를 저장할 수 있다. 이러한 데이터 저장부(140)는 적어도 한 가지의 공지의 기록 매체, 예를 들면, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등의 기록 매체를 포함할 수 있다. 한편, 비록 도 2에서 데이터 저장부(140)가 표시 장치(100)에 포함되어 구성되는 것으로 도시되어 있지만, 본 발명을 구현하는 당업자의 필요에 따라, 데이터 저장부(140)는 표시 장치(100)와 별개로 구성될 수도 있다.Next, the data storage unit 140 according to an embodiment of the present invention may store the pattern generated by the pattern providing unit 110 or store information on the image displayed by the display unit 130. Such data storage 140 may comprise at least one known recording medium, for example, magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs, DVDs, and floppy disks. magneto-optical media such as disk), and recording media such as ROM, RAM, flash memory, and the like. Meanwhile, although the data storage unit 140 is illustrated as being included in the display device 100 in FIG. It can also be configured separately from).

다음으로, 본 발명의 일 실시예에 따른 통신부(150)는 포인팅 제어 장치(200)로부터 영상 정보, 패턴 정보, 템플릿 정보 및/또는 사용자 선택 정보를 수신하고, 필요에 따라 사용자의 선택 행위에 따른 정보(즉, 사용자가 선택한 콘텐츠에 관한 정보 - 예를 들면, 사용자가 포인팅하여 선택한 아이콘에 연관된 텍스트/비텍스트 정보, 사용자가 포인팅하여 선택한 지도 상의 지역에 대한 텍스트/비텍스트 정보 등)를 포인팅 제어 장치(200)로 전송하는 기능을 수행할 수 있다. 전체적으로는, 통신부(150)는 표시 장치(100)가 포인팅 제어 장치(200)와 같은 외부 장치와 통신할 수 있도록 하는 기능을 수행할 수 있는데, 이러한 통신 방식으로는, 이더넷 통신, USB 통신, IEEE 1394 통신, 직렬 통신(serial communication) 및 병렬 통신(parallel communication)과 같은 유선 통신 방식, 더욱 바람직하게는, 적외선 통신, 블루투스 통신, RF 통신 및 무선 LAN 통신과 같은 무선 통신 방식이 제한 없이 사용될 수 있다.Next, the communication unit 150 according to an embodiment of the present invention receives the image information, pattern information, template information and / or user selection information from the pointing control device 200, and according to the user's selection behavior as needed Pointing control of information (i.e., information about the content selected by the user-for example, text / non-text information associated with the icon that the user points to selected, text / non-text information about the area on the map that the user has pointed to, etc.) A function of transmitting to the device 200 may be performed. In general, the communication unit 150 may perform a function of allowing the display device 100 to communicate with an external device such as the pointing control device 200. Such a communication method may include Ethernet communication, USB communication, and IEEE. Wired communication methods such as 1394 communication, serial communication, and parallel communication, more preferably, wireless communication methods such as infrared communication, Bluetooth communication, RF communication, and wireless LAN communication can be used without limitation. .

마지막으로, 본 발명의 일 실시예에 따른 제어부(160)는 패턴 제공부(110), 포인팅 위치 산출부(120), 디스플레이부(130), 데이터 저장부(140) 및 통신부(150) 간의 데이터의 흐름을 제어하는 기능을 수행할 수 있다. 즉, 본 발명에 따른 제어부(160)는 외부로부터의 또는 표시 장치(100)의 각 구성요소 간의 데이터의 흐름을 제어함으로써, 패턴 제공부(110), 포인팅 위치 산출부(120), 디스플레이부(130), 데이터 저장부(140) 및 통신부(150)에서 각각 고유 기능을 수행하도록 제어할 수 있다.Finally, the control unit 160 according to an embodiment of the present invention is the data between the pattern providing unit 110, the pointing position calculation unit 120, the display unit 130, the data storage unit 140 and the communication unit 150 Can control the flow of That is, the controller 160 according to the present invention controls the flow of data from the outside or between each component of the display device 100, thereby providing the pattern providing unit 110, the pointing position calculating unit 120, and the display unit ( 130, the data storage 140 and the communication unit 150 may be controlled to perform unique functions.

포인팅 제어 장치의 구성Configuration of the pointing control device

이하에서는, 본 발명의 일 실시예에 따른 포인팅 제어 장치(200)의 내부 구성 및 각 구성요소의 기능에 대하여 살펴보기로 한다.Hereinafter, the internal structure of the pointing control device 200 according to an embodiment of the present invention and the function of each component will be described.

도 3은 본 발명의 일 실시예에 따른 포인팅 제어 장치(200)의 내부 구성을 상세하게 도시한 도면이다.3 is a view illustrating in detail the internal configuration of the pointing control device 200 according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 일 실시예에 따른 포인팅 제어 장치(200)는 영상 처리부(210), 선택부(220), 데이터 저장부(230), 통신부(240) 및 제어부(250)를 포함하여 구성될 수 있다.Referring to FIG. 3, the pointing control apparatus 200 according to an embodiment of the present invention may operate the image processor 210, the selector 220, the data storage 230, the communicator 240, and the controller 250. It can be configured to include.

본 발명의 일 실시예에 따르면, 영상 처리부(210), 선택부(220), 데이터 저장부(230), 통신부(240) 및 제어부(250)는 그 중 적어도 일부가 표시 장치(100)와 통신하는 프로그램 모듈들일 수 있다. 이러한 프로그램 모듈들은, 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로, 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있다. 한편, 이러한 프로그램 모듈들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.According to an exemplary embodiment, at least some of the image processor 210, the selector 220, the data storage 230, the communicator 240, and the controller 250 may communicate with the display device 100. May be program modules. Such program modules may be physically stored on a variety of known storage devices, in the form of operating systems, application modules, and other program modules. On the other hand, such program modules include, but are not limited to, routines, subroutines, programs, objects, components, data structures, etc. that perform particular tasks or execute particular abstract data types, described below, in accordance with the present invention.

먼저, 본 발명의 일 실시예에 따른 영상 처리부(210)는 센서부(211) 및 패턴 판단부(212)를 포함하여 구성될 수 있다.First, the image processor 210 according to an embodiment of the present invention may include a sensor unit 211 and a pattern determination unit 212.

보다 자세하게 설명하면, 센서부(211)는 표시 장치(100)의 디스플레이 영역 (10)으로부터 소정의 포인팅 영역(P)에 관한 정보(예를 들면, 포인팅 영역(P)에 포함되어 있는 패턴 이미지나 템플릿 이미지에 관한 정보)를 획득하는 기능을 수행할 수 있는데, 이는 바람직하게는 광을 수집하여 전기적인 신호로 변환하는 CCD(Charge Coupled Device) 센서 또는 CMOS(Complementary Metal Oxide Semiconductor) 센서를 포함할 수 있으나, 이에 한정되는 것은 아니며 획득된 포인팅 영역(P)에 관한 정보를 전기적 표시에 관한 정보로 변환할 수 있는 장치라면 제한 없이 본 발명의 일 실시예에 따른 센서부(211)에 포함될 수 있다. 물론, 공지된 디지털 카메라 장치를 센서부(211)로 사용할 수도 있다.In more detail, the sensor unit 211 may include a pattern image included in the information about the predetermined pointing area P (for example, the pointing area P) from the display area 10 of the display device 100. Template information), which may include a Charge Coupled Device (CCD) sensor or a Complementary Metal Oxide Semiconductor (CMOS) sensor, which preferably collects light and converts it into an electrical signal. However, the present invention is not limited thereto, and any device capable of converting the acquired information about the pointing area P into information about an electrical display may be included in the sensor unit 211 according to an embodiment of the present invention without limitation. Of course, a known digital camera device may be used as the sensor unit 211.

한편, 패턴 판단부(212)는 센서부(211)로부터 획득한 포인팅 영역(P)에 관한 정보를 인식하는 기능을 수행할 수 있는데, 이를 위하여 패턴이나 템플릿의 색상 값이나 조도 값을 산출하는 방식을 이용할 수 있다. 이렇게 특정 이미지로부터 정보를 인식하는 방법은 이미 공지된 기술이므로 본 발명에서는 이에 대한 상세한 설명을 생략하기로 한다.Meanwhile, the pattern determination unit 212 may perform a function of recognizing the information about the pointing area P obtained from the sensor unit 211, and for this purpose, a method of calculating a color value or illuminance value of a pattern or template. Can be used. Since a method of recognizing information from a specific image is a known technique, a detailed description thereof will be omitted in the present invention.

다음으로, 본 발명의 일 실시예에 따른 선택부(220)는 디스플레이 영역(10)에 그래픽 객체 등으로 표현되어 배치될 수 있는 선택 수단을 선택하는 것에 관한 제어 처리를 수행할 수 있는데, 이를 위하여, 선택 수단을 활성화할 수 있는 입력 수단이 포인팅 제어 장치(200)에 더 구비될 수 있다.Next, the selection unit 220 according to an embodiment of the present invention may perform a control process for selecting a selection means that can be represented and arranged on the display area 10 as a graphic object. The input control unit 200 may further include an input unit capable of activating the selection unit.

다음으로, 본 발명의 일 실시예에 따른 데이터 저장부(230)는 인식된 패턴이나 템플릿에 관한 정보(예를 들면, 색상 값, 조도 값 등)나 사용자의 선택 행위에 따라 표시 장치(100)로부터 포인팅 제어 장치(200)로 전송되는 정보(예를 들면, 사 용자가 선택한 콘텐츠에 관한 정보)를 저장할 수 있다. 데이터 저장부(140)와 마찬가지로, 데이터 저장부(230) 역시 포인팅 제어 장치(200)에 포함되거나 포함되지 않고 구성될 수 있고, 컴퓨터 판독 가능한 기록 매체를 포함할 수 있다.Next, the data storage unit 230 according to an embodiment of the present invention may display the display device 100 according to information (for example, color value, illuminance value, etc.) related to a recognized pattern or template or a user's selection behavior. The information transmitted from the pointing control device 200 to the pointing control device 200 may be stored (for example, information about the content selected by the user). Like the data storage 140, the data storage 230 may also be configured with or without the pointing control device 200, and may include a computer readable recording medium.

다음으로, 본 발명의 일 실시예에 따른 통신부(240)는 표시 장치(100)로 인식된 패턴이나 템플릿에 관한 정보 및/또는 사용자 선택 정보를 전송하고, 표시 장치(100)로부터 사용자가 선택한 콘텐츠에 관한 정보를 수신하는 기능을 수행할 수 있다. 전체적으로, 통신부(240)는 포인팅 제어 장치(200)가 표시 장치(100)와 같은 외부 장치와 통신할 수 있도록 하는 기능을 수행한다.Next, the communication unit 240 according to an embodiment of the present invention transmits the information and / or user selection information about the pattern or template recognized by the display device 100, the content selected by the user from the display device 100 A function for receiving information about the terminal may be performed. In general, the communication unit 240 performs a function of allowing the pointing control device 200 to communicate with an external device such as the display device 100.

마지막으로, 본 발명의 일 실시예에 따른 제어부(250)는 영상 처리부(210), 선택부(220), 데이터 저장부(230) 및 통신부(240) 간의 데이터의 흐름을 제어하는 기능을 수행한다. 즉, 본 발명에 따른 제어부(250)는 외부로부터의 또는 포인팅 제어 장치(200)의 각 구성요소 간의 데이터의 흐름을 제어함으로써, 영상 처리부(210), 선택부(220), 데이터 저장부(230) 및 통신부(240)에서 각각 고유 기능을 수행하도록 제어할 수 있다.Finally, the controller 250 according to an embodiment of the present invention performs a function of controlling the flow of data between the image processor 210, the selector 220, the data storage 230, and the communicator 240. . That is, the controller 250 according to the present invention controls the flow of data from the outside or between each component of the pointing control apparatus 200, thereby controlling the image processor 210, the selector 220, and the data storage 230. ) And the communication unit 240 may control to perform a unique function.

패턴의 분할Division of patterns

도 4는 본 발명의 일 실시예에 따라 디스플레이 패턴을 분할한 일례를 보여주는 도면이다.4 is a diagram illustrating an example of dividing a display pattern according to an exemplary embodiment of the present invention.

도 4를 참조하면, 본 발명의 일 실시예에 따른 표시 장치(100)는 디스플레이부(130)의 디스플레이 영역(10)에 (a)에서와 같이 좌/우로 2-분할된 패턴을 디스플레이할 수 있다.Referring to FIG. 4, the display device 100 according to an exemplary embodiment may display a two-divided pattern left / right in the display area 10 of the display 130 as in (a). have.

이어서, 포인팅 제어 장치(200)의 센서부(211)는 포인팅 영역(P)의 이미지를 획득하고, 패턴 판단부(212)는 획득된 이미지에 기초하여 패턴의 색상 또는 조도를 인식하며, 이에 따른 색상 값 또는 조도 값은 표시 장치(100)에 전송될 수 있다.Subsequently, the sensor unit 211 of the pointing control apparatus 200 acquires an image of the pointing area P, and the pattern determination unit 212 recognizes the color or illuminance of the pattern based on the acquired image, thereby The color value or illuminance value may be transmitted to the display device 100.

표시 장치(100)의 포인팅 위치 산출부(120)는 포인팅 제어 장치(200)로부터 수신된 상기 색상 값 또는 조도 값에 따라 포인팅 영역(P)이 디스플레이 영역(10)의 우측 영역, 즉, 02 영역(R)에 포함되어 있음을 알 수 있다.In the pointing position calculator 120 of the display device 100, the pointing area P may be a right area of the display area 10, that is, an area 02 according to the color value or illuminance value received from the pointing control device 200. It can be seen that it is included in (R).

이어서, 도 4의 (b)에서와 같이, 02 영역(R)을 상/하로 재분할하는 단계가 수행될 수 있는데, 이때, 02 영역은 02 영역(B)과 04 영역(R)으로 나뉘어질 수 있다. 이 경우에도, 표시 장치(100)는 포인팅 제어 장치(200)와 위에서와 마찬가지의 통신 과정을 거쳐 포인팅 영역(P)이 04 영역(R)에 속한다는 것을 파악할 수 있다.Subsequently, as shown in (b) of FIG. 4, the step of subdividing the 02 region R up and down may be performed, wherein the 02 region may be divided into the 02 region B and the 04 region R. have. Also in this case, the display device 100 can recognize that the pointing area P belongs to the 04 area R through the same communication process as that of the pointing control device 200.

이후, 도 4의 (c)와 (d)에 도시된 패턴 분할 과정을 거쳐, 표시 장치(100)는 포인팅 영역(P)이 (c)의 07 영역(B), 그리고 최종적으로, (d)의 11 영역(B)에 속한다는 것을 파악할 수 있다.Subsequently, after the pattern dividing process illustrated in FIGS. 4C and 4D, the display device 100 includes a pointing region P as the region 07 of B, and finally, (d). It can be seen that it belongs to the 11 area (B) of.

미세 포인팅(포인팅 영역의 중심 위치 산출)Fine pointing (calculate the center position of the pointing area)

이하에서는, 본 발명의 일 실시예에 따라, 템플릿의 움직임을 분석하여 디스플레이 영역(10) 상에서 포인팅 영역(P)의 중심의 위치를 산출하는 구성에 대하여 구체적으로 살펴보기로 한다.Hereinafter, a configuration of calculating the position of the center of the pointing area P on the display area 10 by analyzing the movement of the template according to an embodiment of the present invention will be described in detail.

본 발명의 일 실시예에 따르면, 포인팅 영역(P)의 중심은 포인팅 제어 장치(200)의 센서부(211)에 의하여 디스플레이 영역(10) 상에서 포인팅되는 영역의 중심을 의미한다. 다시 말하면, 포인팅 제어 장치(200)의 센서부(211)에 의하여 촬영 되는 화면의 중심이 디스플레이 영역(10) 상에서 가리키고 있는 점의 디스플레이 영역(10) 상에서의 좌표를 산출함으로써 포인팅 영역(P)의 중심의 위치를 특정할 수 있다.According to an embodiment of the present invention, the center of the pointing area P refers to the center of the area pointed on the display area 10 by the sensor unit 211 of the pointing control device 200. In other words, the center of the screen photographed by the sensor unit 211 of the pointing control device 200 calculates the coordinates on the display area 10 of the point that is indicated on the display area 10. The location of the center can be specified.

다만, 사용자가 포인팅 제어 장치(200)를 조작함에 따라, 디스플레이 영역(10)과 포인팅 제어 장치(200) 사이의 경사각 및/또는 거리는 다양하게 변화될 수 있으므로, 실제로 포인팅 제어 장치(200)의 센서부(211)에 의하여 촬영되는 화면은 디스플레이 영역(10)에 대하여 소정의 경사각을 갖게 될 수 있고, 또한 그에 대응되는 포인팅 영역(P)에 대하여 소정의 스케일 팩터(scale factor)를 갖게 될 수 있다. 예를 들면, 센서부(211)에 의하여 촬영되는 화면은 디스플레이 영역(10)에 대하여 30°만큼 기울어져 있을 수 있다. 다른 예를 들면, 포인팅 제어 장치(200)가 표시 장치(100)로부터 멀리 떨어져 있는 경우, 그 센서부(211)에 의하여 촬영되는 화면의 포인팅 영역(P)에 대한 스케일 팩터가 1/10에 이를 수 있다(즉, 동일 객체가 포인팅 영역(P)에서는 100 픽셀(pixel)로 표시되지만, 센서부(211)에 의하여 촬영되는 화면에서는 단지 10 픽셀로 표시될 수 있다).However, as the user manipulates the pointing control device 200, the inclination angle and / or distance between the display area 10 and the pointing control device 200 may be changed in various ways, so that the sensor of the pointing control device 200 may actually be changed. The screen captured by the unit 211 may have a predetermined inclination angle with respect to the display area 10, and may have a predetermined scale factor with respect to the pointing area P corresponding thereto. . For example, the screen photographed by the sensor unit 211 may be inclined by 30 ° with respect to the display area 10. As another example, when the pointing control device 200 is far from the display device 100, the scale factor of the pointing area P of the screen captured by the sensor unit 211 is 1/10. (I.e., the same object may be displayed at 100 pixels in the pointing area P, but may be displayed at only 10 pixels on the screen photographed by the sensor unit 211).

따라서, 포인팅 영역(P)의 중심의 위치를 정확하게 산출하기 위해서는, 디스플레이 영역(10)과 포인팅 제어 장치(200)의 센서부(211)에 의하여 촬영되는 화면 사이의 경사각과, 포인팅 영역(P)과 포인팅 제어 장치(200)의 센서부(211) 사이의 거리에 따른 스케일 팩터를 산출하여 이를 이용할 필요가 있다. 이하에서 구체적으로 살펴보기로 한다.Therefore, in order to accurately calculate the position of the center of the pointing area P, the inclination angle between the display area 10 and the screen shot by the sensor unit 211 of the pointing control device 200 and the pointing area P It is necessary to calculate the scale factor according to the distance between the sensor unit 211 of the pointing control device 200 and use it. It will be described in detail below.

도 5는 본 발명의 일 실시예에 따라 포인팅 영역(P)의 중심의 위치를 추정하 는 과정을 예시적으로 나타내는 도면이다.5 is a diagram illustrating a process of estimating the position of the center of the pointing area P according to an embodiment of the present invention.

도 5에 있어서, 초기 검색 영역(510)은 디스플레이 영역(10) 중 일부분으로서, 바람직하게는 상술한 패턴 분할 방법에 의하여 분할된 패턴 영역을 포함하는 것일 수 있다.In FIG. 5, the initial search area 510 may be a part of the display area 10 and may include a pattern area divided by the pattern division method described above.

그리고, 카메라 화면(520)은 포인팅 영역(P)을 포인팅 제어 장치(200)의 센서부(211)(바람직하게는, 카메라)로 실제 촬영한 결과 얻어지는 화면을 의미한다.The camera screen 520 refers to a screen obtained by actually photographing the pointing area P with the sensor unit 211 (preferably a camera) of the pointing control device 200.

또한, 기준 영역(530)은, 카메라 화면(520)에 대응하도록 디스플레이 영역(10) 상에 설정되는 가상의 영역으로서, 카메라 화면(520)과 동일한 모양을 갖되 디스플레이 영역(10)에 대하여 기울어지지는 않도록 설정되고, 카메라 화면(520)과 동일한 수의 픽셀(기준 영역(530)을 구성하는 가상의 픽셀일 수 있음)을 포함하도록 설정될 수 있는 것이다. 비록, 도 5에서는 카메라 화면(520)과 기준 영역(530)의 크기가 동일한 것인 양 표현되어 있지만, 이는 반드시 카메라 화면(520)과 기준 영역(530)이 물리적으로 동일한 크기인 것을 의미하는 것이라기보다는, 카메라 화면(520)과 기준 영역(530)을 구성하는 픽셀의 수가 서로 동일함을 의미하는 것일 수 있다.In addition, the reference area 530 is a virtual area set on the display area 10 to correspond to the camera screen 520, and has the same shape as the camera screen 520, but does not tilt with respect to the display area 10. May be set to include the same number of pixels (which may be virtual pixels constituting the reference area 530) as the camera screen 520. Although the size of the camera screen 520 and the reference area 530 are the same in FIG. 5, this means that the camera screen 520 and the reference area 530 are physically the same size. Rather, the number of pixels constituting the camera screen 520 and the reference area 530 may be equal to each other.

도 5에 있어서, 템플릿(515)은 디스플레이 영역(10) 상의 것으로서, 특정 크기, 형태 및 색상(또는 빛의 파장)을 갖는 이미지 패턴일 수 있다.In FIG. 5, template 515 is on display area 10 and may be an image pattern having a particular size, shape, and color (or wavelength of light).

도 5에 있어서, 점 521은 디스플레이 영역(10) 상의 템플릿(515)이 촬영되어 카메라 화면(520)에 나타나는 점을 가리키는 것으로서, 점 521의 기준 좌표계는 카메라 화면(520) 좌표계이다.In FIG. 5, the point 521 indicates a point at which the template 515 on the display area 10 is photographed and appears on the camera screen 520, and the reference coordinate system of the point 521 is the camera screen 520 coordinate system.

도 5에 있어서, 점 522는 카메라 화면(520)의 중심을 가리키는 점으로서, 점 522의 기준 좌표계는 카메라 화면(520) 좌표계이다.In FIG. 5, the point 522 is a point indicating the center of the camera screen 520, and the reference coordinate system of the point 522 is the coordinate system of the camera screen 520.

도 5에 있어서, 점 524는 디스플레이 영역(10) 상에서 기준 영역(530)의 중심 방향으로 이동된 템플릿(515)이 촬영되어 카메라 화면(520)에 나타나는 점을 가리키는 것으로서, 점 524의 기준 좌표계는 카메라 화면(520) 좌표계이다.In FIG. 5, the point 524 indicates a point at which the template 515 moved in the direction of the center of the reference area 530 on the display area 10 and appears on the camera screen 520. The camera screen 520 is a coordinate system.

도 5에 있어서, 점 526은 점 521을 중심으로 하여 점 522를 경사각 θ만큼 회전 이동시킨 점을 가리키는 것으로서, 점 526의 기준 좌표계는 카메라 화면(520) 좌표계이다.In FIG. 5, the point 526 refers to the point where the point 522 is rotated by the inclination angle θ about the point 521, and the reference coordinate system of the point 526 is the coordinate system of the camera screen 520.

도 5에 있어서, 벡터 528은 점 521에서 점 522까지의 이동 벡터를 가리키는 것으로서, 벡터 528의 기준 좌표계는 카메라 화면(520) 좌표계이다.In FIG. 5, the vector 528 indicates a motion vector from point 521 to point 522, and the reference coordinate system of the vector 528 is the coordinate system of the camera screen 520.

도 5에 있어서, 벡터 529는 점 521에서 점 524까지의 이동 벡터를 가리키는 것으로서, 벡터 529의 기준 좌표계는 카메라 화면(520) 좌표계이다.In FIG. 5, the vector 529 indicates a motion vector from point 521 to point 524, and the reference coordinate system of the vector 529 is the coordinate system of the camera screen 520.

도 5에 있어서, 점 532는 디스플레이 영역(10) 상의 템플릿(515)이 위치하는 점을 가리키는 것으로서, 점 532의 기준 좌표계는 기준 영역(530) 좌표계이다.In FIG. 5, the point 532 indicates the point where the template 515 on the display area 10 is located, and the reference coordinate system of the point 532 is the reference area 530 coordinate system.

도 5에 있어서, 점 533은 디스플레이 영역(10) 상에서 기준 영역(530)의 중심 방향으로 이동된 템플릿(515)이 위치하는 점을 가리키는 것으로서, 점 533의 기준 좌표계는 기준 영역(530) 좌표계이다.In FIG. 5, the point 533 indicates a point at which the template 515 moved in the direction of the center of the reference area 530 is positioned on the display area 10, and the reference coordinate system of the point 533 is the reference area 530 coordinate system. .

도 5에 있어서, 점 534는 본 발명의 추정 과정을 수행한 결과 카메라 화면(520)의 중심(522)이 디스플레이 영역(10) 상에서 가리키고 있는 것으로 추정되는 점, 즉, 포인팅 영역(P)의 중심으로 추정되는 점을 가리키는 것으로서, 점 534의 기준 좌표계는 기준 영역(530) 좌표계이다.In FIG. 5, point 534 is a point where the center 522 of the camera screen 520 is estimated to point on the display area 10 as a result of performing the estimation process of the present invention, that is, the center of the pointing area P. FIG. As a reference point, the reference coordinate system of point 534 is a reference region 530 coordinate system.

본 발명의 일 실시예에 따르면, 표시 장치(100)는 초기 검색 영역(510)의 중심 부분에 소정의 템플릿(515)을 생성하여 표시할 수 있다. 전술한 바와 같이, 템플릿(515)은 특정 크기, 형태 및 색상을 갖는 이미지 패턴으로서, 포인팅 제어 장치(200)의 센서부(211)에 의하여 촬영될 수 있으며, 촬영된 템플릿(515)은 카메라 화면(520) 상에서 소정의 좌표를 가지는 점(521)으로 표시될 수 있다.According to an embodiment of the present invention, the display device 100 may generate and display a predetermined template 515 in the center portion of the initial search area 510. As described above, the template 515 is an image pattern having a specific size, shape, and color. The template 515 may be photographed by the sensor unit 211 of the pointing control apparatus 200, and the photographed template 515 may be captured by a camera screen. It may be displayed as a point 521 having a predetermined coordinate on 520.

본 발명의 일 실시예에 따르면, 표시 장치(100)는 카메라 화면(520) 상에서 나타나는 템플릿(521)의 좌표

Figure 112009502206660-PAT00014
를 참조로 하여, 디스플레이 영역(10) 상에 카메라 화면(520)에 대응되는 기준 영역(530)을 설정할 수 있다. 구체적으로는, 기준 영역(530)에서의 템플릿(532)의 좌표가 카메라 화면(520)에서의 템플릿(521)의 좌표와 동일하게
Figure 112009502206660-PAT00015
이 되도록 기준 영역(530)을 설정함으로써, 템플릿(515)을 매개로 하여 카메라 화면(520)과 기준 영역(530)을 서로 연관시킬 수 있다.According to an embodiment of the present invention, the display device 100 coordinates of the template 521 appearing on the camera screen 520.
Figure 112009502206660-PAT00014
For reference, the reference area 530 corresponding to the camera screen 520 may be set on the display area 10. Specifically, the coordinates of the template 532 in the reference area 530 are the same as the coordinates of the template 521 on the camera screen 520.
Figure 112009502206660-PAT00015
By setting the reference area 530 such that the camera screen 520 and the reference area 530 can be associated with each other through the template 515.

한편, 기준 영역(530)은 디스플레이 영역(10) 상에서 설정되는 것이므로, 위에서 언급된 바와 같이, 기준 영역(530)과 카메라 화면(520) 사이에는 소정의 경사각 및/또는 스케일 팩터가 존재할 수 있다.Meanwhile, since the reference area 530 is set on the display area 10, as described above, a predetermined inclination angle and / or scale factor may exist between the reference area 530 and the camera screen 520.

이와 관련하여, 도 6은 본 발명의 일 실시예에 따른 기준 영역(530)과 카메라 화면(520) 사이의 관계를 개념적으로 나타내는 도면이다.In this regard, FIG. 6 is a diagram conceptually illustrating a relationship between the reference area 530 and the camera screen 520 according to an embodiment of the present invention.

도 6을 참조하면, 디스플레이 영역(10) 상에 설정된 기준 영역(530)과 포인팅 제어 장치(200)의 카메라 화면(520) 사이에는 소정의 경사각이 존재할 수 있다. 또한, 도 6을 참조하면, 기준 영역(530)과 카메라 화면(520) 사이에는 소정의 스케일 팩터가 존재할 수 있다. 구체적으로 살펴보면, 카메라 화면(520)과 기준 영역(530)이 모두 동일한 수의 픽셀로 이루어진 직사각형 영역이라고 할지라도, 디스플레이 영역(10) 중 카메라 화면(520)에 비추어지는 영역(즉, 포인팅 영역(P), 도 6에서는 점선으로 표시됨)은 디스플레이 영역(10) 상의 기준 영역(530)보다 훨씬 넓게 될 수도 있는 것을 확인할 수 있다.Referring to FIG. 6, a predetermined tilt angle may exist between the reference area 530 set on the display area 10 and the camera screen 520 of the pointing control device 200. 6, a predetermined scale factor may exist between the reference area 530 and the camera screen 520. Specifically, although the camera screen 520 and the reference area 530 are both rectangular areas made up of the same number of pixels, the area of the display area 10 that is projected onto the camera screen 520 (that is, the pointing area) P), which is indicated by a dotted line in FIG. 6, may be much wider than the reference area 530 on the display area 10.

이상에서와 같은 경사각 및 스케일 팩터를 산출함으로써, 디스플레이 영역(10) 상에서의 포인팅 영역(P)의 중심의 위치를 추정할 수 있는데, 이는 다음의 수학식 (7)에서와 같이 나타낼 수 있다(수학식 (7)에 관하여는 다른 수학식들을 사용하여 아래에서 더 설명된다).By calculating the inclination angle and scale factor as described above, the position of the center of the pointing area P on the display area 10 can be estimated, which can be expressed as shown in Equation (7) below. Equation (7) is further described below using other equations).

Figure 112009502206660-PAT00001
Figure 112009502206660-PAT00001

수학식 (7)에서, 경사각

Figure 112009502206660-PAT00016
는 템플릿(532)을 중심으로 할 때의 카메라 화면(520)에 대한 기준 영역(530)의 경사각이고,
Figure 112009502206660-PAT00017
는 기준 영역(530)과 카메라 화면(520) 사이의 소정의 스케일 팩터를 의미한다(도 6의
Figure 112009502206660-PAT00018
참조). 따라서, 기준 영역(530)의 중심(
Figure 112009502206660-PAT00019
)을 템플릿(532)의 좌표
Figure 112009502206660-PAT00020
를 중심으로 하여
Figure 112009502206660-PAT00021
만큼 회전시키고
Figure 112009502206660-PAT00022
만큼 스케일링함으로써, 디스플레이 영역(10)에서의 포인팅 영역(P)의 중심(534)의 좌표
Figure 112009502206660-PAT00023
를 추정할 수 있게 된다.In equation (7), the inclination angle
Figure 112009502206660-PAT00016
Is the inclination angle of the reference area 530 with respect to the camera screen 520 when the template 532 is centered.
Figure 112009502206660-PAT00017
Denotes a predetermined scale factor between the reference area 530 and the camera screen 520 (see FIG. 6).
Figure 112009502206660-PAT00018
Reference). Therefore, the center of the reference area 530 (
Figure 112009502206660-PAT00019
) Coordinates of the template 532
Figure 112009502206660-PAT00020
Centered on
Figure 112009502206660-PAT00021
Rotate it by
Figure 112009502206660-PAT00022
By scaling by, the coordinate of the center 534 of the pointing area P in the display area 10.
Figure 112009502206660-PAT00023
Can be estimated.

이하에서는, 템플릿(515)을 이용하여

Figure 112009502206660-PAT00024
와
Figure 112009502206660-PAT00025
를 산출하는 방법에 대하여 구체적으로 살펴본다.Hereinafter, using the template 515
Figure 112009502206660-PAT00024
Wow
Figure 112009502206660-PAT00025
Let's look at how to calculate in detail.

본 발명의 일 실시예에 따르면, 카메라 화면(520)에서의 템플릿(521)의 좌표

Figure 112009502206660-PAT00026
를 이용하여 카메라 화면(520) 좌표계에서의 카메라 화면(520)의 중심(522)의 좌표
Figure 112009502206660-PAT00027
를 나타낼 수 있는데, 이는 다음의 수학식 (1)에서와 같이 표현될 수 있다.According to one embodiment of the invention, the coordinates of the template 521 on the camera screen 520
Figure 112009502206660-PAT00026
Coordinates of the center 522 of the camera screen 520 in the camera screen 520 coordinate system using
Figure 112009502206660-PAT00027
It may be expressed as shown in Equation (1) below.

Figure 112009502206660-PAT00002
Figure 112009502206660-PAT00002

수학식 (1)에서, CW 및 CH는 각각 카메라 화면(520)의 폭 및 높이를 나타내고,

Figure 112009502206660-PAT00028
는
Figure 112009502206660-PAT00029
의 초기값을 나타내는데, 보통
Figure 112009502206660-PAT00030
의 값은 1로 설정될 수 있다. 즉, 수학식 (1)에 따르면, 카메라 화면(520) 좌표계에서의 카메라 화면(520)의 중심(522)의 좌표
Figure 112009502206660-PAT00031
는 템플릿(521)의 좌표를 나타내는 벡터
Figure 112009502206660-PAT00032
와 템플릿(521)에서 카메라 화면(520)의 중심(522)까지의 벡터
Figure 112009502206660-PAT00003
의 합으로 표현될 수 있다.In Equation (1), CW and CH represent the width and height of the camera screen 520, respectively,
Figure 112009502206660-PAT00028
Is
Figure 112009502206660-PAT00029
Initial value of, usually
Figure 112009502206660-PAT00030
The value of may be set to 1. That is, according to equation (1), the coordinates of the center 522 of the camera screen 520 in the camera screen 520 coordinate system
Figure 112009502206660-PAT00031
Is a vector representing the coordinates of the template 521
Figure 112009502206660-PAT00032
Vector from template 521 to center 522 of camera screen 520
Figure 112009502206660-PAT00003
It can be expressed as the sum of.

다음으로, 본 발명의 일 실시예에 따른 표시 장치(100)는,

Figure 112009502206660-PAT00033
와
Figure 112009502206660-PAT00034
를 산출하기 위하여, 디스플레이 영역(10) 상에서 벡터
Figure 112009502206660-PAT00035
를 따라 템플릿(515)을 기준 영역(530)의 중심 방향으로 이동시킬 수 있다. 본 발명의 일 실시예에 따르면, 벡터 를 따라 이동된 템플릿(515)은 기준 영역(530) 상에서 점 533에 위치할 수 있으며, 이러한 템플릿(515)의 이동은 센서부(211)에 의하여 촬영될 수 있으므로, 카메라 화면(520)에 템플릿의 이동점(524)이 표시될 수 있다. 이때, 카메라 화면(520)에서의 템플릿의 이동점(524)의 좌표는
Figure 112009502206660-PAT00037
로 나타낼 수 있다. 본 실시예에서, 템플릿(515)을 반드시 기준 영역(530)의 중심으로 이동시켜야 하는 것은 아니며, 기준 영역(530)의 중심 방향으로 임의의 거리만큼 이동시키는 것으로도 충분할 수 있다는 점이 이해되어야 할 것이다.Next, the display device 100 according to an embodiment of the present invention,
Figure 112009502206660-PAT00033
Wow
Figure 112009502206660-PAT00034
In order to calculate, the vector on the display area 10
Figure 112009502206660-PAT00035
The template 515 may be moved along the center direction of the reference area 530. According to an embodiment of the invention, the vector The template 515 moved along may be positioned at a point 533 on the reference area 530, and the movement of the template 515 may be photographed by the sensor unit 211, so that the template 515 may be moved to the camera screen 520. The moving point 524 of may be displayed. At this time, the coordinate of the movement point 524 of the template on the camera screen 520 is
Figure 112009502206660-PAT00037
It can be represented as. In this embodiment, it should be understood that the template 515 does not necessarily have to be moved to the center of the reference area 530, but it may be sufficient to move the template 515 by an arbitrary distance in the direction of the center of the reference area 530. .

이상에서 살펴본 바에 따르면, 카메라 화면(520)에 대한 기준 영역(530)의 경사각은 점 521에서 점 522까지의 벡터 528(이하, 벡터

Figure 112009502206660-PAT00038
라고도 함)와 점 521에서 점 524까지의 벡터 529(이하, 벡터
Figure 112009502206660-PAT00039
라고도 함) 사이의 각에 해당하는 것으로 볼 수 있다. 따라서, 카메라 화면(520)에 대한 기준 영역(530)의 경사각
Figure 112009502206660-PAT00040
를 산출하면 다음의 수학식 (2)와 같다.As described above, the inclination angle of the reference area 530 with respect to the camera screen 520 is a vector 528 (hereinafter, vector) from the point 521 to the point 522.
Figure 112009502206660-PAT00038
And vector 529 (points 521 to 524)
Figure 112009502206660-PAT00039
(Also referred to as an angle). Thus, the inclination angle of the reference area 530 relative to the camera screen 520
Figure 112009502206660-PAT00040
Is calculated as shown in Equation 2 below.

Figure 112009502206660-PAT00004
Figure 112009502206660-PAT00004

참고로, 수학식 (2)는 본 발명의 기술분야의 당업자가 벡터의 내적 및 외적 공식을 기초로 하여 용이하게 유도할 수 있다.For reference, Equation (2) can be easily derived by those skilled in the art based on the internal and external formulas of the vectors.

여기서, 산출된 경사각

Figure 112009502206660-PAT00041
는, 벡터
Figure 112009502206660-PAT00042
(528)를 시초선(initial line)으로 하는 벡터
Figure 112009502206660-PAT00043
(529)의 각도를 의미하는 것이므로, 경사각
Figure 112009502206660-PAT00044
는 카메라 화면(520) 과 기준 영역(530)의 위치 관계에 따라 양각 또는 음각이 될 수 있다. 참고로, 도 5에 있어서는, 벡터
Figure 112009502206660-PAT00045
(528)를 시초선으로 할 때 벡터
Figure 112009502206660-PAT00046
(529)가 시계 방향으로 돌아가 있으므로, 경사각
Figure 112009502206660-PAT00047
는 음각으로 볼 수 있다.Where the calculated tilt angle
Figure 112009502206660-PAT00041
A, vector
Figure 112009502206660-PAT00042
Vector with 528 as the initial line
Figure 112009502206660-PAT00043
It means the angle of 529, so the angle of inclination
Figure 112009502206660-PAT00044
May be embossed or engraved according to the positional relationship between the camera screen 520 and the reference area 530. For reference, in FIG. 5, the vector
Figure 112009502206660-PAT00045
Vector with 528 as the starting line
Figure 112009502206660-PAT00046
Tilt angle because 529 is clockwise
Figure 112009502206660-PAT00047
Can be seen as an intaglio.

그 다음에, 템플릿(521)을 중심으로 하여 카메라 화면(520)의 중심(522)을 산출된 경사각

Figure 112009502206660-PAT00048
만큼 회전시킬 수 있다. 이때, 카메라 화면(520)의 중심(522)의 회전점(526)의 좌표를
Figure 112009502206660-PAT00049
라고 할 수 있으며, 이는 다음의 수학식 (3)과 같이 표현될 수 있다.Next, the tilt angle at which the center 522 of the camera screen 520 is calculated based on the template 521.
Figure 112009502206660-PAT00048
Can rotate as much. At this time, the coordinates of the rotation point 526 of the center 522 of the camera screen 520
Figure 112009502206660-PAT00049
This can be expressed as Equation (3) below.

Figure 112009502206660-PAT00005
Figure 112009502206660-PAT00005

수학식 (3)에 있어서, 회전 행렬

Figure 112009502206660-PAT00050
로서, 이는 템플릿(521)을 중심으로 하여 카메라 화면(520)의 중심(522)을 경사각
Figure 112009502206660-PAT00051
만큼 회전 이동시키는 행렬을 의미한다.In equation (3), the rotation matrix
Figure 112009502206660-PAT00050
This is an inclination angle of the center 522 of the camera screen 520 about the template 521.
Figure 112009502206660-PAT00051
It means a matrix to be rotated by as much.

이때, 도 5를 참조하면, 템플릿(521)에서 이동점(524)까지의 거리 d1은, 디스플레이 영역(10) 상에서 템플릿(515)이 기준 영역(530)의 중심으로 이동한 거리가 카메라 화면(520) 상에 나타난 것으로 볼 수 있다. 또한, 도 5를 참조하면, 템플릿(521)에서 회전점(526)까지의 거리 d2는, 템플릿(521)에서 카메라 화면(520)의 중심(522)까지의 거리를 나타내는 것으로 볼 수 있다. 따라서, d1에 대한 d2의 비율 로

Figure 112009502206660-PAT00052
를 정의할 수 있다. 다음의 수학식 (4) 내지 (6)와 같다.In this case, referring to FIG. 5, the distance d 1 from the template 521 to the moving point 524 indicates that a distance of the template 515 moved to the center of the reference area 530 on the display area 10 is the camera screen. It can be seen as shown on 520. 5, the distance d 2 from the template 521 to the rotation point 526 may be regarded as representing the distance from the template 521 to the center 522 of the camera screen 520. Therefore, as the ratio of d 2 to d 1
Figure 112009502206660-PAT00052
Can be defined. It is as following Formula (4)-(6).

Figure 112009502206660-PAT00006
Figure 112009502206660-PAT00006

한편,

Figure 112009502206660-PAT00053
를 산출하는 방법이 반드시 이에 한정되는 것은 아니다. 본 발명의 다른 실시예에 따르면, 디스플레이 영역(10) 상에서 템플릿(515)을 임의의 거리만큼 이동시키고, 기준 영역(530) 상에서의 템플릿(515)의 이동 거리 및 이에 대응하여 카메라 화면(520) 상에 촬영되어 나타나는 템플릿(521)의 이동 거리의 비율을 산출함으로써,
Figure 112009502206660-PAT00054
를 산출할 수도 있다. 물론, 이 경우에도, 카메라 화면(520)에 대한 기준 영역(530)의 경사각이 고려되어야 할 것이다.Meanwhile,
Figure 112009502206660-PAT00053
The method of calculating is not necessarily limited thereto. According to another embodiment of the present invention, the template 515 is moved by an arbitrary distance on the display area 10, the moving distance of the template 515 on the reference area 530, and correspondingly, the camera screen 520. By calculating the ratio of the moving distance of the template 521 photographed and displayed on the image,
Figure 112009502206660-PAT00054
May be calculated. Of course, even in this case, the inclination angle of the reference area 530 with respect to the camera screen 520 should be considered.

다음으로, 본 발명의 일 실시예에 따르면,

Figure 112009502206660-PAT00055
및
Figure 112009502206660-PAT00056
를 기초로 하여, 디스플레이 영역(10) 상에서 포인팅 영역(P)의 중심의 위치를 추정할 수 있다. 구체적으로 살펴보면, 템플릿(515)을 중심으로 할 때 기준 영역(530)이 카메라 화면(520)에 대하여 경사각
Figure 112009502206660-PAT00057
만큼 기울어져 있고
Figure 112009502206660-PAT00058
만큼 스케일링되어 있으므로, 기준 영역(530)에서의 템플릿(532)의 좌표를 나타내는 벡터
Figure 112009502206660-PAT00059
에 기준 영역(530)에서의 템플릿(532)을 중심으로 하여 방향 벡터
Figure 112009502206660-PAT00060
를
Figure 112009502206660-PAT00061
만큼 회전시키고
Figure 112009502206660-PAT00062
만큼 스케일링한 것을 더함으로써, 디스플레이 영역(10)에서의 포인 팅 영역(P)의 중심(534)의 좌표
Figure 112009502206660-PAT00063
를 추정할 수 있게 된다. 이에 따라, 디스플레이 영역(10) 상에서의 포인팅 영역(P)의 중심(534)의 좌표를 추정하면 먼저 밝힌 수학식 (7)과 같다.Next, according to one embodiment of the present invention,
Figure 112009502206660-PAT00055
And
Figure 112009502206660-PAT00056
Based on the above, the position of the center of the pointing area P on the display area 10 can be estimated. Specifically, when the template 515 is the center, the reference area 530 is inclined with respect to the camera screen 520.
Figure 112009502206660-PAT00057
Inclined by
Figure 112009502206660-PAT00058
Is a vector representing the coordinates of the template 532 in the reference region 530.
Figure 112009502206660-PAT00059
The direction vector about the template 532 in the reference area 530
Figure 112009502206660-PAT00060
To
Figure 112009502206660-PAT00061
Rotate it by
Figure 112009502206660-PAT00062
Coordinates of the center 534 of the pointing area P in the display area 10 by adding the scaled by
Figure 112009502206660-PAT00063
Can be estimated. Accordingly, when the coordinates of the center 534 of the pointing area P on the display area 10 are estimated, Equation 7 is disclosed.

Figure 112009502206660-PAT00007
Figure 112009502206660-PAT00007

한편, 본 발명의 바람직한 일 실시예에 따르면, 포인팅 영역(P)의 중심의 위치를 추정하는 과정을 1회 수행한 결과, 포인팅 영역(P)의 중심의 위치가 충분히 정확하게 추정되지 않은 것으로 판단되는 경우에는, 상기 추정 과정을 반복적으로 수행함으로써 포인팅 영역(P)의 중심의 위치를 보다 정확하게 특정할 수 있다. 이러한 경우, i+1 번째 추정 단계에서의 초기값

Figure 112009502206660-PAT00064
는 i 번째 추정 단계에서 산출된
Figure 112009502206660-PAT00065
로 설정될 수 있다.Meanwhile, according to an exemplary embodiment of the present invention, as a result of performing the process of estimating the position of the center of the pointing area P once, it is determined that the position of the center of the pointing area P is not accurately estimated accurately. In this case, the position of the center of the pointing area P can be specified more accurately by repeatedly performing the estimation process. In this case, the initial value at the i + 1 th estimation step
Figure 112009502206660-PAT00064
Is calculated in the i th estimation step
Figure 112009502206660-PAT00065
It can be set to.

한편, 본 발명의 일 실시예에 따르면, 이상의 대표적인 실시예에 따르는 경우와는 달리, 굳이 템플릿을 이동시키지 않고도 포인팅 영역(P)의 중심의 위치를 산출할 수 있다. 본 실시예에 따르면, 디스플레이 영역(10) 상에 제1 템플릿(미도시됨) 및 제2 템플릿(미도시됨)을 표시할 수 있다. 그리고, 기준 영역(530)에서의 제1 템플릿의 좌표가 카메라 화면(520)에서의 제1 템플릿의 좌표와 동일하게 되도록 디스플레이 영역(10) 상에 위에서 설명한 바와 마찬가지의 소정의 기준 영역(530)을 설정할 수 있다. 여기서, 제1 템플릿은 소정의 패턴 영역 내에 표시된 것일 수 있고, 제2 템플릿은 제1 템플릿을 매개로 하여 설정되는 기준 영역(530) 내 에 표시된 것일 수 있는데, 이 경우 제1 템플릿 및 제2 템플릿은 카메라 화면(520) 상에 함께 표시될 수 있다(이를 위하여 제1 템플릿 및 제2 템플릿은 서로 충분히 가깝게 표시되도록 하는 것이 바람직할 수 있다). 한편, 제1 템플릿 및 제2 템플릿은 표시 순서, 크기, 형태 및 색상 중 적어도 한 가지에 있어서 서로 구별되도록 표시되는 것이 바람직할 수 있다. 그리고, 카메라 화면(520)에서의 제1 템플릿과 제2 템플릿의 좌표로부터 도출되는 벡터와 기준 영역(530)에서의 제1 템플릿과 제2 템플릿의 좌표로부터 도출되는 벡터 사이의 경사각과 스케일 팩터를 참조하여, 수학식 (7)에서와 같은 연산을 수행함으로써, 포인팅 영역(P)의 중심의 위치를 산출할 수 있다.On the other hand, according to an embodiment of the present invention, unlike the case according to the above exemplary embodiment, it is possible to calculate the position of the center of the pointing area (P) without moving the template. According to the present exemplary embodiment, a first template (not shown) and a second template (not shown) may be displayed on the display area 10. The predetermined reference area 530 as described above on the display area 10 such that the coordinates of the first template in the reference area 530 are the same as the coordinates of the first template in the camera screen 520. Can be set. Here, the first template may be displayed in a predetermined pattern area, and the second template may be displayed in the reference area 530 which is set through the first template. In this case, the first template and the second template may be displayed. May be displayed together on the camera screen 520 (for this purpose, it may be desirable for the first template and the second template to be displayed close enough to each other). Meanwhile, the first template and the second template may be displayed to be distinguished from each other in at least one of display order, size, shape, and color. The inclination angle and scale factor between the vector derived from the coordinates of the first and second templates on the camera screen 520 and the vector derived from the coordinates of the first and second templates in the reference area 530. For reference, by performing the same operation as in Equation (7), the position of the center of the pointing area P may be calculated.

이상에 있어서, 미세 포인팅이 패턴 분할에 종속하여 수행되는 것으로 설명되었지만, 반드시 이에 한정되는 것은 아니다. 즉, 본 발명의 미세 포인팅에 관한 구성은, 패턴 분할에 관한 구성에 종속되지 않은 채, 소정의 포인팅 영역(P)에서의 포인팅 위치를 산출하기 위한 방법으로서 독립적으로 채용될 수 있음을 밝혀둔다.In the above, it has been described that the fine pointing is performed in dependence on the pattern division, but is not necessarily limited thereto. In other words, it should be noted that the configuration regarding the fine pointing of the present invention can be independently employed as a method for calculating the pointing position in the predetermined pointing region P without being dependent on the configuration regarding the pattern division.

이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로 피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Embodiments according to the present invention described above may be implemented in the form of program instructions that may be executed by various computer components, and may be recorded in a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the computer-readable recording medium may be those specially designed and configured for the present invention, or may be known and available to those skilled in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical recording media such as CD-ROMs, DVDs, and magneto-optical media such as floptical disks. optical media) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules to perform the process according to the invention, and vice versa.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.Although the present invention has been described by specific embodiments such as specific components and the like, but the embodiments and the drawings are provided to assist in a more general understanding of the present invention, the present invention is not limited to the above embodiments. For those skilled in the art, various modifications and variations can be made from these descriptions.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be construed as being limited to the above-described embodiments, and all of the equivalents or equivalents of the claims, as well as the following claims, I will say.

도 1은 본 발명의 일 실시예에 따른 포인팅 시스템의 개략적인 구성을 나타내는 도면이다.1 is a view showing a schematic configuration of a pointing system according to an embodiment of the present invention.

도 2는 본 발명의 일 실시예에 따른 표시 장치(100)의 내부 구성을 상세하게 도시하는 도면이다.2 is a diagram illustrating an internal configuration of the display device 100 according to an exemplary embodiment of the present invention in detail.

도 3은 본 발명의 일 실시예에 따른 포인팅 제어 장치(200)의 내부 구성을 상세하게 도시한 도면이다.3 is a view illustrating in detail the internal configuration of the pointing control device 200 according to an embodiment of the present invention.

도 4는 본 발명의 일 실시예에 따라 디스플레이 패턴을 분할한 일례를 보여주는 도면이다.4 is a diagram illustrating an example of dividing a display pattern according to an exemplary embodiment of the present invention.

도 5는 본 발명의 일 실시예에 따라 포인팅 영역(P)의 중심을 중심의 위치를 추정하는 과정을 예시적으로 나타내는 도면이다.FIG. 5 is a diagram exemplarily illustrating a process of estimating a location of a center of a pointing area P according to an embodiment of the present invention.

도 6은 본 발명의 일 실시예에 따른 기준 영역(530)과 카메라 화면(520) 사이의 관계를 개념적으로 나타내는 도면이다.6 is a diagram conceptually illustrating a relationship between the reference area 530 and the camera screen 520 according to an embodiment of the present invention.

＜주요 도면부호에 관한 간단한 설명＞<Brief description of the major reference symbols>

10: 디스플레이 영역10: display area

100: 표시 장치100: display device

110: 패턴 제공부110: pattern provider

120: 포인팅 위치 산출부120: pointing position calculator

130: 디스플레이부130: display unit

200: 포인팅 제어 장치200: pointing control device

210: 영상 처리부210: image processing unit

211: 센서부211: sensor unit

212: 패턴 판단부212: pattern determination unit

220: 선택부220: selection unit

510: 초기 검색 영역510: initial search region

520: 카메라 화면520: camera screen

530: 기준 영역530: reference area

Claims (10)

미세 포인팅 방법으로서,As a fine pointing method, 디스플레이 영역 상에 제1 이미지 패턴을 표시하는 단계,Displaying a first image pattern on a display area, 상기 디스플레이 영역의 적어도 일부를 촬영하여 얻어지는 센서부 화면에서 상기 제1 이미지 패턴을 식별하여 상기 센서부 화면에서의 상기 제1 이미지 패턴의 위치를 산출하는 단계,Calculating the position of the first image pattern on the sensor unit screen by identifying the first image pattern on the sensor unit screen obtained by photographing at least a portion of the display area; 상기 디스플레이 영역 상에 기준 영역을 설정하는 단계 - 상기 기준 영역의 배열은 상기 센서부 화면의 배열과 실질적으로 대응되고, 상기 기준 영역에서의 상기 제1 이미지 패턴의 위치는 상기 센서부 화면에서의 상기 제1 이미지 패턴의 위치와 실질적으로 대응됨 -,Setting a reference area on the display area, wherein the arrangement of the reference area substantially corresponds to the arrangement of the sensor part screen, and the position of the first image pattern in the reference area is Substantially corresponds to the position of the first image pattern-, 상기 디스플레이 영역 상에서 상기 제1 이미지 패턴을 이동시켜 제2 이미지 패턴으로서 표시하는 단계 - 상기 제1 이미지 패턴은 상기 기준 영역의 중심을 향하여 이동됨 -,Moving and displaying the first image pattern as a second image pattern on the display area, wherein the first image pattern is moved toward the center of the reference area; 상기 센서부 화면에서 상기 제2 이미지 패턴을 식별하여 상기 센서부 화면에서의 상기 제2 이미지 패턴의 위치를 산출하는 단계, 및Calculating the position of the second image pattern on the sensor unit screen by identifying the second image pattern on the sensor unit screen; and 상기 센서부 화면에서의 상기 제1 이미지 패턴의 위치, 상기 제2 이미지 패턴의 위치 및 상기 센서부 화면의 중심의 위치를 참조로 하여, 상기 디스플레이 영역 상에서의 포인팅 위치를 산출하는 단계Calculating a pointing position on the display area with reference to the position of the first image pattern, the position of the second image pattern, and the position of the center of the sensor unit screen on the sensor unit screen; 를 포함하는 방법.How to include. 제1항에 있어서,The method of claim 1, 상기 제1 이미지 패턴은 소정의 패턴 영역 내에서 표시되는 방법.And the first image pattern is displayed within a predetermined pattern area. 제1항에 있어서,The method of claim 1, 상기 포인팅 위치 산출 단계는,The pointing position calculating step, 상기 센서부 화면 좌표계에서의 상기 제1 이미지 패턴으로부터 상기 센서부 화면의 중심까지의 벡터 A 및 상기 센서부 화면 좌표계에서의 상기 제1 이미지 패턴으로부터 상기 제2 이미지 패턴까지의 벡터 B를 참조로 하여, 상기 기준 영역에 대한 상기 센서부 화면의 경사각 θ 및 스케일 팩터 α를 산출하는 단계, 및With reference to the vector A from the first image pattern in the sensor unit screen coordinate system to the center of the sensor unit screen and the vector B from the first image pattern to the second image pattern in the sensor unit screen coordinate system. Calculating an inclination angle θ and a scale factor α of the screen of the sensor unit with respect to the reference area, and 상기 디스플레이 영역 상에서, 상기 제1 이미지 패턴으로부터 상기 기준 영역의 중심까지의 벡터를 상기 제1 이미지 패턴을 기준으로 하여 상기 경사각 θ만큼 회전시키고 상기 스케일 팩터 α만큼 스케일링한 결과 도출되는 추정 벡터에 따라 상기 제1 이미지 패턴으로부터 결정되는 위치를 상기 포인팅 위치로 결정하는 단계In the display area, the vector from the first image pattern to the center of the reference area is rotated by the inclination angle θ based on the first image pattern and scaled by the scale factor α. Determining a position determined from a first image pattern as the pointing position 를 포함하는 방법.How to include. 제3항에 있어서,The method of claim 3, 상기 경사각 θ는 상기 벡터 B를 시초선으로 하는 상기 벡터 A의 각도이고, 상기 스케일 팩터 α는 상기 벡터 B의 크기에 대한 상기 벡터 A의 크기의 비율인 방법.The inclination angle θ is the angle of the vector A to the vector B to sichoseon, the scale factor α is a ratio of how the size of the vector A to the magnitude of the vector B. 제1항에 있어서,The method of claim 1, 상기 포인팅 위치 산출 단계는 재귀적으로 수행되는 방법.The pointing position calculating step is performed recursively. 미세 포인팅 방법으로서,As a fine pointing method, 디스플레이 영역 상에 제1 이미지 패턴 및 제2 이미지 패턴을 표시하는 단계,Displaying a first image pattern and a second image pattern on the display area; 상기 디스플레이 영역의 적어도 일부를 촬영하여 얻어지는 센서부 화면에서 상기 제1 이미지 패턴 및 상기 제2 이미지 패턴을 식별하여 상기 센서부 화면에서의 상기 제1 이미지 패턴의 위치 및 상기 제2 이미지 패턴의 위치를 산출하는 단계,The first image pattern and the second image pattern may be identified on the sensor unit screen obtained by photographing at least a portion of the display area to determine the position of the first image pattern and the position of the second image pattern on the sensor unit screen. Calculating step, 상기 디스플레이 영역 상에 기준 영역을 설정하는 단계 - 상기 기준 영역의 배열은 상기 센서부 화면의 배열과 실질적으로 대응되고, 상기 기준 영역에서의 상기 제1 이미지 패턴의 위치는 상기 센서부 화면에서의 상기 제1 이미지 패턴의 위치와 실질적으로 대응됨 -, 및Setting a reference area on the display area, wherein the arrangement of the reference area substantially corresponds to the arrangement of the sensor part screen, and the position of the first image pattern in the reference area is Substantially correspond to the position of the first image pattern; and 상기 센서부 화면에서의 상기 제1 이미지 패턴의 위치 및 상기 제2 이미지 패턴의 위치, 그리고 상기 기준 영역에서의 상기 제1 이미지 패턴의 위치 및 상기 제2 이미지 패턴의 위치를 참조로 하여, 상기 디스플레이 영역 상에서의 포인팅 위치를 산출하는 단계The display may be configured by referring to a position of the first image pattern and a position of the second image pattern on the screen of the sensor unit, and a position of the first image pattern and a position of the second image pattern in the reference area. Calculating the pointing position on the area 를 포함하는 방법.How to include. 제6항에 있어서,The method of claim 6, 상기 제1 이미지 패턴 및 상기 제2 이미지 패턴은 표시 순서, 크기, 형태 및 방출하는 빛의 파장 중 적어도 한 가지에 있어서 서로 구별되도록 표시되는 방법.Wherein the first image pattern and the second image pattern are displayed to be distinguished from each other in at least one of a display order, size, shape, and wavelength of light emitted. 제1항 내지 제7항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체.A computer-readable recording medium for recording a computer program for executing the method according to any one of claims 1 to 7. 미세 포인팅 시스템으로서,As a fine pointing system, 표시 장치, 및Display device, and 포인팅 제어 장치Pointing control device 를 포함하고,Including, 상기 표시 장치는,The display device, 패턴 제공부, 및A pattern provider, and 포인팅 위치 산출부Pointing position calculator 를 포함하며,Including; 상기 포인팅 제어 장치는,The pointing control device, 센서부를 포함하는 영상 처리부, 및An image processing unit including a sensor unit, and 상기 표시 장치와의 통신을 위한 통신부Communication unit for communication with the display device 를 포함하고,Including, 상기 패턴 제공부는 제1 이미지 패턴을 생성하여 상기 제1 이미지 패턴이 디스플레이 영역 상에 표시되도록 하며,The pattern providing unit generates a first image pattern to display the first image pattern on a display area. 상기 영상 처리부는 상기 디스플레이 영역의 적어도 일부를 촬영하여 얻어지는 센서부 화면에서 상기 제1 이미지 패턴을 식별하여 상기 센서부 화면에서의 상기 제1 이미지 패턴의 위치를 산출하고,The image processing unit identifies the first image pattern on the sensor unit screen obtained by photographing at least a portion of the display area, and calculates a position of the first image pattern on the screen of the sensor unit. 상기 포인팅 위치 산출부는 상기 디스플레이 영역 상에 기준 영역을 설정하며 - 상기 기준 영역의 배열은 상기 센서부 화면의 배열과 실질적으로 대응되고, 상기 기준 영역에서의 상기 제1 이미지 패턴의 위치는 상기 센서부 화면에서의 상기 제1 이미지 패턴의 위치와 실질적으로 대응됨 -,The pointing position calculator sets a reference area on the display area, wherein the arrangement of the reference area substantially corresponds to the arrangement of the sensor part screen, and the position of the first image pattern in the reference area is the sensor part. Substantially corresponds to the position of the first image pattern on the screen; 상기 패턴 제공부는 상기 제1 이미지 패턴이 상기 디스플레이 영역 상에서 이동되어 제2 이미지 패턴으로서 표시되도록 하고 - 상기 제1 이미지 패턴은 상기 기준 영역의 중심을 향하여 이동됨 -,The pattern providing unit causes the first image pattern to be moved on the display area and displayed as a second image pattern, wherein the first image pattern is moved toward the center of the reference area; 상기 영상 처리부는 상기 센서부 화면에서 상기 제2 이미지 패턴을 식별하여 상기 센서부 화면에서의 상기 제2 이미지 패턴의 위치를 산출하며,The image processing unit identifies the second image pattern on the screen of the sensor unit and calculates a position of the second image pattern on the screen of the sensor unit. 상기 포인팅 위치 산출부는 상기 센서부 화면에서의 상기 제1 이미지 패턴의 위치, 상기 제2 이미지 패턴의 위치 및 상기 센서부 화면의 중심의 위치를 참조로 하여, 상기 디스플레이 영역 상에서의 포인팅 위치를 산출하는The pointing position calculator calculates a pointing position on the display area with reference to the position of the first image pattern, the position of the second image pattern, and the position of the center of the sensor unit screen on the sensor unit screen. 시스템.system. 미세 포인팅 시스템으로서,As a fine pointing system, 표시 장치, 및Display device, and 포인팅 제어 장치Pointing control device 를 포함하고,Including, 상기 표시 장치는,The display device, 패턴 제공부, 및A pattern provider, and 포인팅 위치 산출부Pointing position calculator 를 포함하며,Including; 상기 포인팅 제어 장치는,The pointing control device, 센서부를 포함하는 영상 처리부, 및An image processing unit including a sensor unit, and 상기 표시 장치와의 통신을 위한 통신부Communication unit for communication with the display device 를 포함하고,Including, 상기 패턴 제공부는 제1 이미지 패턴 및 제2 이미지 패턴을 생성하여 상기 제1 이미지 패턴 및 상기 제2 이미지 패턴이 디스플레이 영역 상에 표시되도록 하며,The pattern providing unit generates a first image pattern and a second image pattern to display the first image pattern and the second image pattern on a display area. 상기 영상 처리부는 상기 디스플레이 영역의 적어도 일부를 촬영하여 얻어지는 센서부 화면에서 상기 제1 이미지 패턴 및 상기 제2 이미지 패턴을 식별하여 상기 센서부 화면에서의 상기 제1 이미지 패턴의 위치 및 상기 제2 이미지 패턴의 위치를 산출하고,The image processing unit identifies the first image pattern and the second image pattern on a sensor unit screen obtained by photographing at least a portion of the display area, and thus the position of the first image pattern and the second image on the sensor unit screen. Calculate the position of the pattern, 상기 포인팅 위치 산출부는 상기 디스플레이 영역 상에 기준 영역을 설정하 며 - 상기 기준 영역의 배열은 상기 센서부 화면의 배열과 실질적으로 대응되고, 상기 기준 영역에서의 상기 제1 이미지 패턴의 위치는 상기 센서부 화면에서의 상기 제1 이미지 패턴의 위치와 실질적으로 대응됨 -, 및The pointing position calculator sets a reference area on the display area, wherein the arrangement of the reference area substantially corresponds to the arrangement of the screen of the sensor part, and the position of the first image pattern in the reference area is determined by the sensor. Substantially corresponds to the position of the first image pattern on the sub-screen; and 상기 포인팅 위치 산출부는 상기 센서부 화면에서의 상기 제1 이미지 패턴의 위치 및 상기 제2 이미지 패턴의 위치, 그리고 상기 기준 영역에서의 상기 제1 이미지 패턴의 위치 및 상기 제2 이미지 패턴의 위치를 참조로 하여, 상기 디스플레이 영역 상에서의 포인팅 위치를 산출하는The pointing position calculator refers to the position of the first image pattern and the position of the second image pattern on the screen of the sensor unit, the position of the first image pattern and the position of the second image pattern in the reference area. To calculate the pointing position on the display area. 시스템.system.
KR1020090050517A 2009-06-08 2009-06-08 Method and system for performing fine pointing by using display pattern KR101547512B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090050517A KR101547512B1 (en) 2009-06-08 2009-06-08 Method and system for performing fine pointing by using display pattern

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090050517A KR101547512B1 (en) 2009-06-08 2009-06-08 Method and system for performing fine pointing by using display pattern

Publications (2)

Publication Number Publication Date
KR20100131765A true KR20100131765A (en) 2010-12-16
KR101547512B1 KR101547512B1 (en) 2015-08-27

Family

ID=43507663

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090050517A KR101547512B1 (en) 2009-06-08 2009-06-08 Method and system for performing fine pointing by using display pattern

Country Status (1)

Country Link
KR (1) KR101547512B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160084888A (en) * 2015-01-06 2016-07-15 삼성디스플레이 주식회사 Method of measuring light emitting status of display panel and method of compensating light emitting status of display panel

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4725383B2 (en) 2006-03-24 2011-07-13 カシオ計算機株式会社 Pointing device, external information processing device, pointing position specifying device, and pointing position specifying method
JP4720579B2 (en) 2006-03-31 2011-07-13 カシオ計算機株式会社 Pointing device, pointing device control method and program
KR100792326B1 (en) 2006-12-01 2008-01-07 (주)소프트가족 Interface used for controlling the operation of electrical devices
US8144123B2 (en) 2007-08-14 2012-03-27 Fuji Xerox Co., Ltd. Dynamically controlling a cursor on a screen when using a video camera as a pointing device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160084888A (en) * 2015-01-06 2016-07-15 삼성디스플레이 주식회사 Method of measuring light emitting status of display panel and method of compensating light emitting status of display panel

Also Published As

Publication number Publication date
KR101547512B1 (en) 2015-08-27

Similar Documents

Publication Publication Date Title
AU2020202551B2 (en) Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
US11195307B2 (en) Image processing apparatus, image processing method, and program
US10511778B2 (en) Method and apparatus for push interaction
US9600078B2 (en) Method and system enabling natural user interface gestures with an electronic system
JP5724543B2 (en) Terminal device, object control method, and program
US9001208B2 (en) Imaging sensor based multi-dimensional remote controller with multiple input mode
EP2480955B1 (en) Remote control of computer devices
JP5453246B2 (en) Camera-based user input for compact devices
US7161596B2 (en) Display location calculation means
US9507437B2 (en) Algorithms, software and an interaction system that support the operation of an on the fly mouse
US10277889B2 (en) Method and system for depth estimation based upon object magnification
EP2189835A1 (en) Terminal apparatus, display control method, and display control program
TW201346216A (en) Virtual ruler
US10234955B2 (en) Input recognition apparatus, input recognition method using maker location, and non-transitory computer-readable storage program
US10168769B2 (en) Input apparatus, input method, and program
US20160062486A1 (en) Mobile device and method of projecting image by using the mobile device
JP2014029656A (en) Image processor and image processing method
KR101547512B1 (en) Method and system for performing fine pointing by using display pattern
CN113557492B (en) Method, system and non-transitory computer readable recording medium for assisting object control using two-dimensional camera
US20160011675A1 (en) Absolute Position 3D Pointing using Light Tracking and Relative Position Detection
TW201301877A (en) Imaging sensor based multi-dimensional remote controller with multiple input modes
JP2013257830A (en) Information processor
US11226704B2 (en) Projection-based user interface
JP2024032043A (en) Detection method, detection device and program
WO2023194616A1 (en) Calibration method for an electronic display screen for touchless gesture control

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180831

Year of fee payment: 4