KR100511044B1 - Pointing apparatus using camera - Google Patents

Pointing apparatus using camera Download PDF

Info

Publication number
KR100511044B1
KR100511044B1 KR10-2001-0084929A KR20010084929A KR100511044B1 KR 100511044 B1 KR100511044 B1 KR 100511044B1 KR 20010084929 A KR20010084929 A KR 20010084929A KR 100511044 B1 KR100511044 B1 KR 100511044B1
Authority
KR
South Korea
Prior art keywords
reflector
camera
light source
pointing device
computer
Prior art date
Application number
KR10-2001-0084929A
Other languages
Korean (ko)
Other versions
KR20030055411A (en
Inventor
이문기
Original Assignee
이문기
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이문기 filed Critical 이문기
Priority to KR10-2001-0084929A priority Critical patent/KR100511044B1/en
Publication of KR20030055411A publication Critical patent/KR20030055411A/en
Application granted granted Critical
Publication of KR100511044B1 publication Critical patent/KR100511044B1/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • G06F3/0325Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1601Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • G06F1/1605Multimedia displays, e.g. with integrated or attached speakers, cameras, microphones
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output

Abstract

본 발명에 따른 카메라를 이용한 포인팅장치는 컴퓨터의 GUI 화면상에서 이동하는 포인터의 위치좌표를 산출하는 장치로서, 컴퓨터 사용자가 모니터를 항해 십자형 빛을 방사할 수 있는 십자광원과, 컴퓨터 모니터 주위의 네 변에 설치되어 십자광원으로부터 방사되는 빛을 반사하는 제1반사체와, 제1반사체의 내부에 위치하여 제1반사체로부터 반사되는 빛을 재반사하는 제2반사체와, 제2반사체로부터 반사되는 빛을 촬영하는 카메라와, 카메라로 촬영된 영상을 처리하여 광원의 위치를 검출하여 포인터의 위치좌표를 산출하는 영상처리수단을 포함하여 구성된다. 본 발명에 의한 카메라를 이용한 포인팅장치에 의하면, 컴퓨터 모니터 외부에서 모니터에 비추는 광원에 의해 포인터의 위치를 이동할 수 있어 컴퓨터 작업의 능률을 향상시킬 수 있는 효과가 있고, 다양한 분야에 응용이 가능하다.A pointing device using a camera according to the present invention is a device for calculating the position coordinates of a pointer moving on a GUI screen of a computer, the cross light source of which a computer user can emit a cross-shaped light to navigate the monitor, and four sides around the computer monitor. A first reflector mounted on the second reflector to reflect light emitted from the cross light source, a second reflector positioned inside the first reflector to re-reflect light reflected from the first reflector, and light reflected from the second reflector A camera and image processing means for processing the image photographed by the camera to detect the position of the light source and to calculate the position coordinates of the pointer. According to the pointing device using the camera according to the present invention, the position of the pointer can be moved by a light source shining on the monitor from the outside of the computer monitor, so that the efficiency of computer work can be improved, and the application can be applied to various fields.

Description

카메라를 이용한 포인팅장치{Pointing apparatus using camera}Pointing apparatus using camera

본 발명은 카메라를 이용한 포인팅장치에 관한 것이다. 보다 구체적으로는, 십자형으로 빛을 방사할 수 있는 광원이 움직임에 따라서 방사되는 빛의 위치변화를 모니터 상에 설치된 반사체와 카메라를 이용하여 포착하고 이를 영상처리 프로그램에 의해 처리하여 GUI 화면상에서 포인터의 위치를 이동할 수 있는 포인팅장치에 관한 것이다.The present invention relates to a pointing device using a camera. More specifically, the change in the position of the light emitted as the light source capable of emitting light in a cross shape is captured by using a reflector and a camera installed on the monitor and processed by an image processing program to process the pointer on the GUI screen. The present invention relates to a pointing device capable of moving a position.

포인팅장치는 컴퓨터 입력수단의 하나로서, 그래픽 이용자 인터페이스(GUI) 환경에서 입력수단으로 사용되는 마우스와 같이 컴퓨터 모니터의 화면상에서 포인터를 움직이면서 이 포인터의 위치를 선택함으로써 그에 해당하는 선택메뉴를 입력할 수 있는 장치를 총칭한다. The pointing device is one of the computer input means. The user can input the corresponding selection menu by selecting the position of the pointer while moving the pointer on the screen of the computer monitor, such as a mouse used as an input means in a graphical user interface (GUI) environment. Generic device is a generic term.

포인팅장치의 대표적인 예로서 데스크 탑 컴퓨터에서 널리 사용되는 볼 마우스(ball mouse)와 노트북 컴퓨터에서 사용되는 트랙 볼(track ball)을 들 수 있다. 볼 마우스나 트랙 볼의 기본원리는 유사한데, 사용자의 손의 움직임에 따라 외부 물체와의 마찰에 의해 볼을 회전시키고 볼의 수직 및 수평운동을 감지하여 전기적 신호로 전환한 후 컴퓨터로 전송함으로써 화면상에 표시되는 커서의 위치를 제어하는 것이다.Representative examples of the pointing device include a ball mouse widely used in a desktop computer and a track ball used in a notebook computer. The basic principle of the ball mouse or track ball is similar. It rotates the ball by friction with an external object according to the movement of the user's hand, detects the vertical and horizontal movement of the ball, converts it into an electrical signal, and sends it to the computer. This is to control the position of the cursor displayed on the screen.

이러한 볼 마우스나 트랙 볼은 컴퓨터에 케이블로 연결되거나 컴퓨터 자체에 부착되어 있어서 한정된 범위 내에서만 사용될 수 있을 뿐이고, 또한 오른손 또는 왼손 중 어느 하나를 사용하여 조작하여야 하므로 키보드 입력작업과 병행할 경우에는 입력작업의 효율이 떨어지며 불편한 단점도 있다. 특히, 컴퓨터 모니터를 스크린에 투영하여 사용하는 빔 프로젝터 등을 사용하여 브리핑 등을 할 때에는 비교적 먼 거리에서 포인터를 이동시키고 프로그램을 실행시키는 것이 필요하다. 또한, TV 등의 가전제품이 컴퓨터와 통합된 형태의 경우 마우스 기능을 갖는 리모컨이 필요하다.These ball mice or track balls can only be used within a limited range because they are connected to the computer by cable or attached to the computer itself, and must also be operated using either the right or left hand. The work is less efficient and has some disadvantages. In particular, when briefing using a beam projector or the like that projects a computer monitor onto a screen, it is necessary to move the pointer and execute a program at a relatively long distance. In addition, when a home appliance such as a TV is integrated with a computer, a remote control having a mouse function is required.

본 발명은 상기한 바와 같은 마우스나 트랙 볼류의 포인팅 장치가 갖는 한계를 극복하여 컴퓨터 모니터 외부에서 모니터에 광원을 비춤에 따라, 본 발명에 따른 포인팅 장치가 그 움직임을 감지하여 포인터를 이동시킬 수 있어, 다양한 용도로 GUI 화면 상에서 포인터를 조작할 수 있는 포인팅장치를 제공하는 것을 그 목적으로 한다.The present invention overcomes the limitations of a mouse or track volume pointing device as described above, and as the light source illuminates the monitor from the outside of the computer monitor, the pointing device according to the present invention can detect the movement and move the pointer. Another object of the present invention is to provide a pointing device capable of manipulating a pointer on a GUI screen for various purposes.

발명의 개요Summary of the Invention

본 발명에 따른 카메라를 이용한 포인팅장치는 컴퓨터의 GUI 화면상에서 이동하는 포인터의 위치좌표를 산출하는 장치로서, 컴퓨터 사용자의 조작에 의해 위치를 이동하며 십자형 빛을 방사할 수 있는 십자광원과, 컴퓨터 모니터 주위의 네 변에 설치되어 십자광원으로부터 방사되는 빛을 반사하는 제1반사체와, 제1반사체의 내부에 위치하여 제1반사체로부터 반사되는 빛을 재반사하는 제2반사체와, 제2반사체로부터 반사되는 빛을 촬영하는 카메라와, 카메라로 촬영된 영상을 처리하여 광원의 위치를 검출하여 포인터의 위치좌표를 산출하는 영상처리수단을 포함하여 구성된다.A pointing device using a camera according to the present invention is a device for calculating the position coordinates of a pointer moving on a GUI screen of a computer. A cross light source capable of emitting a cross light while moving a position by a computer user's operation, and a computer monitor. A first reflector installed at four surroundings to reflect light emitted from the cross light source, a second reflector positioned inside the first reflector to re-reflect light reflected from the first reflector, and reflected from the second reflector And an image processing means for processing the image photographed by the camera and detecting the position of the light source to calculate the position coordinates of the pointer.

십자광원은 열 십자(+) 형태의 빛을 방사할 수 있는 광원으로서 컴퓨터 사용자가 조작할 수 있는 형태를 갖는다. 펜 형상으로 제작할 수도 있고, 사용자의 신체 일부에 부착되어서 사용될 수도 있다. 신체에 부착될 경우에는 십자광원이 항상 모니터를 향해 있는 얼굴 부위에 부착되는 것이 적당할 것이고, 특히 안경에 부착하여 사용하는 것이 유리할 것이나 이에 한정되는 것은 아니다.The cross light source is a light source that can emit light in the form of ten crosses (+), and has a form that can be manipulated by a computer user. It may be manufactured in a pen shape, or may be attached to a part of a user's body and used. When attached to the body, it would be appropriate to attach the cross light source to the face area always facing the monitor, and in particular, it would be advantageous to attach the glasses to the glasses, but the present invention is not limited thereto.

모니터 주위의 네 변에 설치되는 제1반사체는 십자광원으로부터 방사된 빛을 네 지점에서 반사한다. 즉, 열 십자(+) 형태의 빛이 컴퓨터의 모니터 상에 입사하면 모니터 주위에 설치된 제1반사체와 네 지점에서 만나서 반사하게 되는 것이다.The first reflector, installed on four sides of the monitor, reflects the light emitted from the cross light source at four points. That is, when a cross-shaped light is incident on the monitor of the computer, it meets and reflects at four points with the first reflector installed around the monitor.

제1반사체로 둘러싸인 내부의 특정 지점에는 제2반사체가 설치되는데, 제2반사체는 제1반사체의 모든 지점을 관찰할 수 있도록 설치된다. 따라서, 십자광원에서 방사되어 제1반사체의 네 지점에서 반사된 빛의 위치를 제2반사체를 통하여 관찰할 수 있다.The second reflector is installed at a specific point inside the first reflector, and the second reflector is installed to observe all the points of the first reflector. Therefore, the position of the light emitted from the cross light source and reflected at four points of the first reflector can be observed through the second reflector.

제2반사체를 촬영할 수 있는 위치에 카메라가 설치된다. 제2반사체를 통하여 제1반사체의 네 지점에서 반사되는 빛의 위치를 볼 수 있으므로, 제2반사체를 촬영하는 카메라가 빛이 반사되는 네 지점의 변화를 촬영하여 영상처리수단으로 보내면, 영상처리수단은 내부 알고리즘에 따라 포인팅 위치를 추정하여 GUI 화면상에 표시함으로써 포인팅장치로서의 기능을 할 수 있는 것이다.The camera is installed at a position where the second reflector can be photographed. Since the position of the light reflected from four points of the first reflector can be seen through the second reflector, the camera photographing the second reflector photographs the change of the four points at which the light is reflected and sends it to the image processing means. Can estimate the pointing position according to the internal algorithm and display it on the GUI screen to function as a pointing device.

실시예Example

이하에서는 본 발명에 따른 카메라를 이용한 포인팅장치의 구체적인 실시예를 첨부한 도면을 참조하여 설명한다. 도1은 본 발명에 따른 일 실시예의 사시도이고, 도2a는 측면도이다.Hereinafter, with reference to the accompanying drawings, a specific embodiment of a pointing device using a camera according to the present invention will be described. Figure 1 is a perspective view of one embodiment according to the present invention, Figure 2a is a side view.

십자광원(10)으로는 직진성이 뛰어나고 퍼짐이 적은 적외선 레이저나 가시광선 레이저가 적합할 것이나 이에 한정되지 않고, 일반광원도 작은 거리의 범위 내에서는 사용이 가능할 것이다. 열 십자(+)형태의 광원을 방사할 수 있는 십자광원(10)을 구성하는 방법으로는 다음과 같은 방법이 있을 수 있다. 즉, 도5에 도시한 바와 같이, 두 개의 광원을 사용하되 하나의 광원에는 빛을 수직으로 분산시키는 렌즈(15)를 결합시키고, 다른 하나의 광원에는 빛을 수평으로 분산시키는 렌즈(17)를 결합시켜 사용하는 것이다.As the cross light source 10, an infrared laser or a visible light laser having excellent straightness and low spreading may be suitable, but is not limited thereto, and a general light source may be used within a small distance range. As a method of configuring the cross light source 10 capable of emitting a light source having a ten-cross (+) shape, there may be the following method. That is, as shown in FIG. 5, two light sources are used, but one light source is coupled with a lens 15 for dispersing light vertically, and the other light source has a lens 17 for dispersing light horizontally. It is used in combination.

다시 도1 및 도2a로 돌아가서, 제1반사체(20)는 컴퓨터 모니터(50) 주위에 전체적으로 사각형 형상을 지닌 반사체 프레임(20)을 설치하여 구현하였다. 본 실시예에서는 좌우변 및 하변을 모니터 화면에 인접한 직선으로 하였고, 상변은 모니터 화면에서 밖으로 이탈하도록 곡률을 주어 둥근 형상을 취하였다. 그 이유는 제2반사체(30)가 모니터 화면을 가리지 않도록 하기 위함이다. 제1반사체(20)는 관형이나 봉형으로 제작된다. 재질은 반사성이 뛰어난 것이라면 제한되지 않는다. 제1반사체(20), 즉 반사체 프레임이 관형이나 봉형으로 이루어지기 때문에 십자광원(10)에서 방사된 십자광이 제1반사체(20)의 관 또는 봉형 프레임에 조사되면 볼록거울과 유사하게 프레임의 표면에서 방사상으로 반사된다. 이렇게 반사되는 모습을 도2b에 점선으로 표현하였다. 1 and 2A, the first reflector 20 is implemented by installing a reflector frame 20 having a generally rectangular shape around the computer monitor 50. In the present embodiment, the left and right sides and the lower side are straight lines adjacent to the monitor screen, and the upper side has a round shape by giving a curvature so as to deviate out of the monitor screen. The reason is to prevent the second reflector 30 from covering the monitor screen. The first reflector 20 is manufactured in a tubular shape or a rod shape. The material is not limited as long as the material has excellent reflectivity. Since the first reflector 20, that is, the reflector frame is formed in a tubular shape or a rod shape, when the cross light emitted from the cross light source 10 is irradiated onto the tubular or rod-shaped frame of the first reflector 20, it is similar to the convex mirror. Reflected radially from the surface. This reflection is represented by a dotted line in Fig. 2b.

제2반사체(30)는 제1반사체(20)의 내부에 위치하는데, 모니터 화면을 가리지 않도록 모니터 화면 밖으로 설치된다. 제1반사체(20)와 제2반사체(30)의 고정방법으로 다양한 방법이 고려될 수 있는데, 일례로, 도2b에 도시한 바와 같이, 모니터에 설치되는 시력 보호용 보안기처럼, 투명 아크릴판(35)과 같은 물체를 설치하고 거기에 제1반사체(20)와 제2반사체(30)를 고정시키는 방법이 있을 수 있다. 물론 투명 아크릴판(35)을 보안기로 겸해서 쓸 수도 있을 것이다.The second reflector 30 is located inside the first reflector 20, and is installed outside the monitor screen so as not to cover the monitor screen. Various methods may be considered as a method of fixing the first reflector 20 and the second reflector 30. For example, as shown in FIG. 2B, the transparent acrylic plate 35, as shown in FIG. There may be a method of installing an object such as) and fixing the first reflector 20 and the second reflector 30 thereto. Of course, the transparent acrylic plate 35 may also be used as a security device.

본 실시예에서 제2반사체(30)는 반구형의 볼록거울로 하였는데, 이렇게 함으로써 제2반사체(30)의 정면(카메라(40)가 바라보는 방향)에서 보았을 때 제1반사체(20)의 모든 지점을 볼 수 있게 된다(도3 참조). 따라서, 십자광원(10)에서 방사되어 제1반사체(20)의 표면에서 반사되는 빛을 감지할 수 있게 된다. 카메라(40)는 제2반사체(30)의 정면에 설치되어 제2반사체(30)를 촬영한다. 정리하자면, 십자광원(10)에서 나온 십자광은 모니터 주위의 제1반사체(20)에서 반사된다. 반사광은 도면부호 '23'으로 표시하였다. 앞에서 언급한 바와 같이, 제1반사체(20)는 그 단면이 둥근 관 또는 봉형이기 때문에 십자광이 제1반사체(20)의 관 또는 봉형 프레임에 조사되면 볼록거울과 유사하게 방사상으로 반사된다. 이렇게 제1반사체(20)의 정면으로부터 조사되어 각 변에서 반사된 반사광(23)은 제2반사체(30)에 도달된다. 제2반사체(30)는 원형의 볼록거울이므로 도달된 반사광(23)이 재반사되어 카메라(40)쪽을 향해 수렴한다. 카메라(40)는 제2반사체(30)를 전체적으로 촬영하여 도3과 같은 영상을 얻게 된다.In the present embodiment, the second reflector 30 is a hemispherical convex mirror, whereby all points of the first reflector 20 when viewed from the front of the second reflector 30 (the direction in which the camera 40 looks). It can be seen (see Fig. 3). Therefore, it is possible to detect the light emitted from the cross light source 10 and reflected from the surface of the first reflector 20. The camera 40 is installed in front of the second reflector 30 to photograph the second reflector 30. In summary, the cross light emitted from the cross light source 10 is reflected by the first reflector 20 around the monitor. The reflected light is denoted by '23'. As mentioned above, since the cross-section of the first reflector 20 is a round tube or rod, when the cross light is irradiated onto the tube or rod-shaped frame of the first reflector 20, it is radially reflected similarly to the convex mirror. In this way, the reflected light 23 irradiated from the front surface of the first reflector 20 and reflected at each side reaches the second reflector 30. Since the second reflector 30 is a circular convex mirror, the received reflected light 23 is reflected back and converges toward the camera 40. The camera 40 captures the second reflector 30 as a whole to obtain an image as shown in FIG. 3.

촬영된 영상은 영상처리 및 포인터 좌표 산출부(80)로 전송된다. 영상처리 및 포인터 좌표 산출부(80)는 전송된 영상을 처리하여 광원의 위치를 검출하여 포인터의 위치좌표를 산출한다. 산출된 데이터는 컴퓨터(PC)에 입력되어 산출된 위치좌표에 따라 포인터의 위치를 이동하게 된다. 영상처리수단은 구체적으로는 컴퓨터에 저장되어 있거나, 카메라(40)와 일체형으로 되어 있는 마이크로 콘트롤러의 내부에 저장되어 있는 소프트웨어가 될 것이다.The captured image is transmitted to the image processing and pointer coordinate calculation unit 80. The image processing and pointer coordinate calculation unit 80 processes the transmitted image to detect the position of the light source to calculate the position coordinates of the pointer. The calculated data is input to the computer PC to move the position of the pointer according to the calculated position coordinates. Specifically, the image processing means may be software stored in a computer or stored in a microcontroller integrated with the camera 40.

도3은 카메라(40)가 바라본 제2반사체(30)를 나타내는 도면으로서, 반구형의 볼록거울을 통해 반사되는 제1반사체(20)의 형상(20')은 전체적으로 원형이 될 것이고, 제1반사체(20) 상에서 반사되는 빛(23)은 십자광원(10)이 이동함에 따라 그 위치를 달리할 것이므로 이를 근거로 하여 광원(10)의 위치좌표를 산출할 수 있는 것이다. 한편, 제1반사체(20), 제2반사체(30) 및 카메라(40)는 모니터(50)와 별도로 외부에 위치시킬 수도 있지만, 모니터(50)와 일체형으로 하거나 모니터 내장형으로 제작하는 것도 가능하다.FIG. 3 is a view showing the second reflector 30 viewed by the camera 40, wherein the shape 20 'of the first reflector 20 reflected through the hemispherical convex mirror will be circular in its entirety, and the first reflector Since the light 23 reflected on 20 will change its position as the cross light source 10 moves, the position coordinate of the light source 10 can be calculated based on this. On the other hand, the first reflector 20, the second reflector 30 and the camera 40 may be located outside the monitor 50, but may be integrated with the monitor 50 or manufactured as a built-in monitor. .

광원의 위치를 구하는 방법의 일례를 들면 다음과 같다. 카메라(40)와 제1반사체(20) 및 제2반사체(30)의 상대위치는 항상 일정하게 고정되어 있으므로, 광원이 움직이면 카메라에 촬영되는 광원은 항상 일정한 궤도 위에서만 움직이게 된다. 이 궤도는 구체적으로는 도3에서 보는 바와 같이 제2반사체(30)에 투영된 제1반사체(20)가 될 것이다. 이때 프로그램에서 그 일정한 궤도를 조사해서 주변 궤도보다 밝은 4개의 점(23)을 찾으면 그 점이 광원에 해당한다. 그 점의 이동한 정도를 포인터의 이동 좌표값으로 변환해주면 된다. 구체적으로 +형태의 빔 중 | 형태의 수직빔의 좌우 이동 정도로 X좌표를, +형태의 빔 중 -형태의 수평빔의 수직 이동 정도로 Y좌표를 구할 수 있다. 도3(a)는 이를 도시한 것이다. An example of the method of obtaining the position of a light source is as follows. Since the relative position of the camera 40 and the first reflector 20 and the second reflector 30 is always fixed constantly, when the light source moves, the light source photographed by the camera always moves only on a constant track. Specifically, the trajectory will be the first reflector 20 projected onto the second reflector 30 as shown in FIG. At this time, if the program finds four points 23 that are brighter than the surrounding trajectories through the constant trajectories, the points correspond to the light source. The degree of movement of the point can be converted into the pointer's movement coordinate value. Specifically, of + beams | The X coordinate can be obtained by the left and right movement of the vertical beam of the shape, and the Y coordinate by the vertical movement of the horizontal beam of the-shape among the + type beams. Figure 3 (a) shows this.

또한, 도4(a)에 도시된 바와 같이, 광원(10)이 회전하여 +형태의 빔이 X형태가 될 수도 있다. 이때는 + 에서 X로 회전한 방향과 각도를 측정해서 포인터의 Z좌표값으로 할 수 있다. 도4(b)는 이를 도시한 것이다. 기존의 마우스 포인터는 보통 X,Y좌표만 사용하지만 이렇게 빔의 회전 정도를 측정하면 3차원 공간좌표를 갖는 포인팅 입력장치로도 사용할 수 있다.In addition, as shown in Fig. 4A, the light source 10 may be rotated so that the + -shaped beam may be X-shaped. In this case, the direction and angle rotated from + to X can be measured to be the Z coordinate value of the pointer. Figure 4 (b) shows this. Conventional mouse pointers usually use only X and Y coordinates, but if you measure the degree of rotation of the beam, you can use it as a pointing input device with 3D spatial coordinates.

도6은 본 실시예를 벽걸이형 모니터에 응용하기 위해 변형시킨 변형례를 도시한다. 벽걸이형 모니터(50')는 일반형 모니터(50)에 비해 뒷쪽 공간이 협소하기 때문에 카메라(40)를 모니터(50') 앞쪽에 설치한 것이다. 카메라(40)를 앞쪽에 설치하기 위해서는 당연히 제2반사체(30)의 볼록면도 카메라 쪽을 향하도록 하여야 한다. Fig. 6 shows a modification in which the present embodiment is modified for application to a wall-mounted monitor. The wall-mounted monitor 50 'is provided with a camera 40 in front of the monitor 50' because the rear space is narrower than that of the general type monitor 50. In order to install the camera 40 in the front, of course, the convex surface of the second reflector 30 should also face the camera.

본 발명의 적용례Application examples of the present invention

본 발명은 다음과 같이 적용될 수 있다.The present invention can be applied as follows.

(1) 도7과 같이 음성인식모듈과 결합하여 양손이 포인팅장치로부터 완전히 자유로와질 수 있다. 즉, 위에서 설명한 것과 같이, 십자광원(10)과 제1반사체(20), 제2반사체(30), 카메라(40) 및 영상처리부(65)에 의해 포인터의 위치를 산출함과 동시에, 마이크(70)로 들어온 음성신호를 마이크신호 처리부(73)에서 처리하고 음성인식부(75)에 의해 사전에 약속된 데이터로 처리할 수 있다. 예를 들어, 십자광원(10)을 이동시켜서 GUI 상에서 포인터의 위치를 고정하고 마이크(70)에 대고 "더블클릭"이라고 말하면 음성인식부(75)에서는 이를 인식처리하여 PC로 하여금 더블클릭을 실행하도록 할 수 있다. 이 밖에 "좌측버튼" 또는 우측버튼" 등과 같은 음성명령도 구현가능하다.(1) As shown in FIG. 7, both hands can be completely free from the pointing device in combination with the voice recognition module. That is, as described above, the position of the pointer is calculated by the cross light source 10, the first reflector 20, the second reflector 30, the camera 40, and the image processor 65, and the microphone ( The voice signal entering 70 may be processed by the microphone signal processor 73 and processed by the voice recognition unit 75 as data previously promised. For example, by moving the cross light source 10 to fix the position of the pointer on the GUI and say "double click" to the microphone 70, the speech recognition unit 75 recognizes this and causes the PC to execute a double click. You can do that. In addition, a voice command such as a "left button" or a right button may be implemented.

(2) 본 발명에 따른 포인팅장치를 리모콘과 같은 형식으로 제작하여 프리젠테이션이나 강의 또는 TV나 홈 시어터와 같은 가전제품과 PC가 통합된 엔터테인먼트 PC 등에 응용할 수 있다. 이를 위해서는 광원의 움직임에 따라 포인터의 위치좌표를 산출하는 것과 함께, 실행버튼(실행버튼 뿐만 아니라, 마우스의 좌우측 버튼 등도 포함됨)도 리모콘상에 구현해야 한다. 실행 버튼은 기존의 TV리모콘과 같이 적외선 LED로 적외선 신호를 보내고 모니터에 부착된 적외선 포토 트랜지스터 등을 이용해 그 신호를 감지하는 것에 의해 구현할 수 있다.(2) The pointing device according to the present invention can be manufactured in the form of a remote control and applied to a presentation PC, an entertainment PC such as a home appliance such as a TV or a home theater, and an integrated PC. To this end, the position coordinates of the pointer are calculated according to the movement of the light source, and execution buttons (including not only the execution button but also the left and right buttons of the mouse) must be implemented on the remote controller. The execution button can be implemented by sending an infrared signal to an infrared LED like a conventional TV remote control and sensing the signal using an infrared photo transistor attached to a monitor.

(3) 총구에 십자광원을 설치하고 방아쇠로 광원을 점멸하도록 장착된 총을 이용하여 모니터에 설치된 카메라로 광원의 위치와 점등에 따라 사격게임을 실행할 수 있다.(3) A shooting game can be executed according to the position and lighting of the light source with a camera installed on the monitor by using a gun equipped with a cross light source in the muzzle and flashing the light source with a trigger.

이상에서 설명한 실시예는 본 발명에 있어서의 기술적 사상의 구체적 구현예에 불과하므로 본 발명의 기술적 범위를 정함에 있어서 이 실시예에 국한되어서 해석되어서는 아니된다. 본 발명의 효력이 미치는 기술적 범위는 특허청구범위의 해석방법에 의해 합리적으로 정해져야 할 것이다.The embodiments described above are only specific implementations of the technical idea in the present invention, and thus should not be construed as being limited to these embodiments in determining the technical scope of the present invention. The technical scope of the present invention will be reasonably determined by the method of interpretation of the claims.

본 발명에 의한 카메라를 이용한 포인팅장치에 의하면, 마우스를 사용할 때와는 달리 양손이 자유로운 상태에서 간편하게 포인터의 위치를 이동할 수 있어 컴퓨터 작업의 능률을 향상시킬 수 있는 효과가 있고, 다양한 분야에 응용이 가능하다.According to the pointing device using a camera according to the present invention, unlike when using a mouse, it is possible to easily move the position of the pointer in a state where both hands are free, thereby improving the efficiency of computer work, and application to various fields. It is possible.

도1은 본 발명에 따른 일 실시예의 사시도1 is a perspective view of one embodiment according to the present invention;

도2a 및 도2b는 본 발명에 따른 일 실시예의 측면도2A and 2B are side views of one embodiment according to the present invention.

도3은 제2반사체에 투영되는 제1반사체의 예시도3 is an exemplary view of a first reflector projected onto a second reflector;

도4는 광원이 회전한 경우의 Z좌표에 관한 설명도4 is an explanatory diagram of a Z coordinate when the light source is rotated.

도5는 십자광원의 일 실시예를 나타내는 도면5 shows an embodiment of a cross light source;

도6은 본 발명에 따른 일 실시예의 변형례를 나타내는 도면6 is a view showing a modification of one embodiment according to the present invention;

도7은 본 발명에 따른 일 실시예의 적용례7 is an application example of an embodiment according to the present invention.

<도면 주요부호의 설명><Description of Major Reference Drawings>

10 십자광원, 20 제1반사체, 23 제1반사체에서 반사된 빛, 30 제2반사체, 40 카메라, 50 모니터, 50' 벽걸이형 모니터10 Cross light source, 20 First reflector, 23 Reflected light from first reflector, 30 Second reflector, 40 Camera, 50 monitor, 50 'wall-mounted monitor

Claims (8)

컴퓨터의 GUI 화면상에서 이동하는 포인터의 위치좌표를 산출하는 포인팅장치로서,A pointing device for calculating the position coordinates of a pointer moving on a GUI screen of a computer, 컴퓨터 사용자의 조작에 의해 위치를 이동하며 십자형 빛을 방사하는 십자광원,Cruciform light source that emits cross-shaped light while moving its position by the operation of a computer user, 컴퓨터 모니터 주위의 네 변에 설치되는 관형 또는 봉형의 반사체 프레임으로서, 십자광원으로부터 방사되는 빛을 방사상으로 반사하는 제1반사체,A tubular or rod-shaped reflector frame installed at four sides of a computer monitor, the first reflector radially reflecting light emitted from a cross light source, 제1반사체가 이루는 공간의 내부 공간에 위치하여 제1반사체로부터 반사되는 빛을 재반사하여 일정한 방향으로 수렴하도록 하는 제2반사체,A second reflector positioned in an inner space of a space formed by the first reflector to reflect back light reflected from the first reflector to converge in a predetermined direction; 제2반사체로부터 반사되어 수렴되는 빛을 촬영하는 카메라,A camera for photographing light reflected from the second reflector and converging, 카메라로 촬영된 영상을 처리하여 광원의 위치를 검출하여 포인터의 위치좌표를 산출하는 영상처리수단을 포함하여 구성되는 카메라를 이용한 포인팅장치.A pointing device using a camera, comprising image processing means for processing the image taken by the camera to detect the position of the light source and calculate the position coordinates of the pointer. 제1항에 있어서,The method of claim 1, 제1반사체는 컴퓨터 화면의 크기보다 크며, 좌우변 및 하변은 직선이고 상변은 곡선의 형태를 갖는 프레임인 것을 특징으로 하는 카메라를 이용한 포인팅장치.The first reflector is larger than the size of the computer screen, the left and right sides and the lower side is a pointing device using a camera, characterized in that the frame having a curved shape of the upper side. 제1항에 있어서,The method of claim 1, 제2반사체는 반구형 볼록거울인 것을 특징으로 하는 카메라를 이용한 포인팅장치.Pointing device using a camera, characterized in that the second reflector is a hemispherical convex mirror. 제1항 내지 제3항의 어느 한 항에 있어서,The method according to any one of claims 1 to 3, 제1반사체와 제2반사체는 모니터에 설치되는 보안경에 고정되는 것을 특징으로 하는 카메라를 이용한 포인팅장치.Pointing device using a camera, characterized in that the first reflector and the second reflector is fixed to the safety glasses installed on the monitor. 제1항에 있어서,The method of claim 1, 십자광원은 두 개의 광원으로 구성되되, 하나의 광원에는 빛을 수직으로 분산시키는 렌즈를 결합하고, 다른 하나의 광원에는 빛을 수평으로 분산시키는 렌즈를 결합함으로써 구현되는 것을 특징으로 하는 카메라를 이용한 포인팅장치.The cross light source is composed of two light sources, one of which combines a lens for dispersing light vertically, and the other one of the light sources are implemented by combining a lens that distributes the light horizontally pointing Device. 제3항에 있어서,The method of claim 3, 제2반사체의 볼록면이 모니터의 뒤쪽으로 향하고 카메라는 그 볼록면을 촬영하는 것을 특징으로 하는 카메라를 이용한 포인팅장치.A pointing device using a camera, characterized in that the convex surface of the second reflector faces the back of the monitor and the camera photographs the convex surface. 삭제delete 제1항, 제2항, 제3항, 제5항, 제6항 중의 어느 한 항에 있어서,The method according to any one of claims 1, 2, 3, 5, and 6, 마이크로 들어온 음성신호를 처리하는 마이크신호 처리부와, 음성신호를 인식하여 음성신호에 해당하는 명령어 데이터를 출력하는 음성인식부를 추가로 포함하여,Further comprising a microphone signal processing unit for processing a voice signal coming into the microphone, and a voice recognition unit for recognizing the voice signal and outputting command data corresponding to the voice signal, 상기 십자광원을 움직여 컴퓨터의 GUI 화면상에서 포인터의 위치를 고정하고 마이크에 대고 포인터의 위치에 해당하는 메뉴의 실행을 지시하면, 상기 음성인식부에서는 이를 인식처리하여 PC로 하여금 해당 메뉴를 실행하도록 하는 것을 특징으로 하는 카메라를 이용한 포인팅장치.By moving the cross light source to fix the position of the pointer on the GUI screen of the computer and instructing the microphone to execute a menu corresponding to the position of the pointer, the voice recognition unit recognizes this and causes the PC to execute the menu. Pointing device using a camera, characterized in that.
KR10-2001-0084929A 2001-12-26 2001-12-26 Pointing apparatus using camera KR100511044B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2001-0084929A KR100511044B1 (en) 2001-12-26 2001-12-26 Pointing apparatus using camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2001-0084929A KR100511044B1 (en) 2001-12-26 2001-12-26 Pointing apparatus using camera

Publications (2)

Publication Number Publication Date
KR20030055411A KR20030055411A (en) 2003-07-04
KR100511044B1 true KR100511044B1 (en) 2005-08-30

Family

ID=32213333

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0084929A KR100511044B1 (en) 2001-12-26 2001-12-26 Pointing apparatus using camera

Country Status (1)

Country Link
KR (1) KR100511044B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100827233B1 (en) 2006-02-10 2008-05-07 삼성전자주식회사 Pointing device tenacious of outer noise and method for emboding user interface using this

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040014763A (en) * 2002-08-12 2004-02-18 이문기 Pointing apparatus using laser and camera
KR100710666B1 (en) * 2005-03-25 2007-04-23 이종원 A screen control system using X-type light ray and light sensor
KR100714722B1 (en) * 2005-06-17 2007-05-04 삼성전자주식회사 Apparatus and method for implementing pointing user interface using signal of light emitter
KR100708875B1 (en) * 2006-02-10 2007-04-17 (주)소프트가족 Apparatus and method for calculating position on a display pointed by a pointer

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07141101A (en) * 1993-11-19 1995-06-02 Hitachi Ltd Input system using picture
KR970049345A (en) * 1995-12-26 1997-07-29 김광호 Wireless remote coordinate input method and device
KR19990011180A (en) * 1997-07-22 1999-02-18 구자홍 How to select menu using image recognition
KR19990019926A (en) * 1997-08-30 1999-03-25 양재신 Tube fixed structure of cabinet bus
JP2001236181A (en) * 2000-02-22 2001-08-31 Fuji Electric Co Ltd Pointing device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07141101A (en) * 1993-11-19 1995-06-02 Hitachi Ltd Input system using picture
KR970049345A (en) * 1995-12-26 1997-07-29 김광호 Wireless remote coordinate input method and device
KR19990011180A (en) * 1997-07-22 1999-02-18 구자홍 How to select menu using image recognition
KR19990019926A (en) * 1997-08-30 1999-03-25 양재신 Tube fixed structure of cabinet bus
JP2001236181A (en) * 2000-02-22 2001-08-31 Fuji Electric Co Ltd Pointing device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100827233B1 (en) 2006-02-10 2008-05-07 삼성전자주식회사 Pointing device tenacious of outer noise and method for emboding user interface using this

Also Published As

Publication number Publication date
KR20030055411A (en) 2003-07-04

Similar Documents

Publication Publication Date Title
US11755127B2 (en) Multi-sensor device with an accelerometer for enabling user interaction through sound or image
US20220334655A1 (en) Apparatus for controlling contents of a computer-generated image using 3d measurements
US9911240B2 (en) Systems and method of interacting with a virtual object
US9996197B2 (en) Camera-based multi-touch interaction and illumination system and method
US9857915B2 (en) Touch sensing for curved displays
WO2013035554A1 (en) Method for detecting motion of input body and input device using same
JPH09265346A (en) Space mouse, mouse position detection device and visualization device
JP7294350B2 (en) Information processing device, information processing method, and program
US20190361569A1 (en) Interactive screen devices, systems, and methods
KR100532525B1 (en) 3 dimensional pointing apparatus using camera
KR100511044B1 (en) Pointing apparatus using camera
KR20040014763A (en) Pointing apparatus using laser and camera
JP2006268582A (en) Method and system for controlling information appliance based on gesture
JP4687820B2 (en) Information input device and information input method
KR200389840Y1 (en) Pointing apparatus using laser and camera
WO2001046941A1 (en) Method and apparatus for vision-based coupling between pointer actions and projected images
JP2592743B2 (en) Pointer for inputting coordinates and cursor moving method using the same
US20230251722A1 (en) Gesture sensing system and sensing method thereof
CN108803864B (en) Projection interaction device and projection interaction system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee