KR20030075399A - Motion Mouse System - Google Patents

Motion Mouse System Download PDF

Info

Publication number
KR20030075399A
KR20030075399A KR1020020014592A KR20020014592A KR20030075399A KR 20030075399 A KR20030075399 A KR 20030075399A KR 1020020014592 A KR1020020014592 A KR 1020020014592A KR 20020014592 A KR20020014592 A KR 20020014592A KR 20030075399 A KR20030075399 A KR 20030075399A
Authority
KR
South Korea
Prior art keywords
motion mouse
information
motion
camera
mouse
Prior art date
Application number
KR1020020014592A
Other languages
Korean (ko)
Inventor
한성희
Original Assignee
주식회사 소프트로닉스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 소프트로닉스 filed Critical 주식회사 소프트로닉스
Priority to KR1020020014592A priority Critical patent/KR20030075399A/en
Priority to AU2003215939A priority patent/AU2003215939A1/en
Priority to PCT/KR2003/000524 priority patent/WO2003079179A1/en
Publication of KR20030075399A publication Critical patent/KR20030075399A/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

PURPOSE: A system and method for a motion mouse is provided to accurately and rapidly recognize information such as a three-dimensional coordinate, movement, rotation, or scroll by moving a small motion mouse device or pressing a button of the motion mouse device freely in an actual three-dimensional space of a camera front portion when a video input camera is connected to an information device. CONSTITUTION: A user moves or rotates a motion mouse(300) in a three-dimensional space freely. In addition, the user turns on/off each illuminator(311,312,313) by operating switches(321,322,323). A camera photographs the motion mouse(300). A photographed image of the motion mouse(300) is analyzed and converted into a three-dimensional space coordinate, a rotating angle, and state information. The illuminators(311,312,313) extract a distance and a direction from central coordinate values of shapes displayed on a photographed image and extract additional information from an on_off state.

Description

모션마우스 시스템 {Motion Mouse System}Motion Mouse System

본 발명은 컴퓨터 등의 정보기기에 사용자의 의사를 전달하기 위한 방법 및 장치에 관한 것으로서, 특히 3차원 공간좌표 및 상태정보를 입력하기 위한 방법 및 장치에 관한 것이다(이하 <3차원 공간좌표 및 상태정보를 입력하기 위한 방법 및장치>를 <모션마우스 시스템>이라 한다).The present invention relates to a method and apparatus for communicating a user's intention to an information device such as a computer, and more particularly, to a method and apparatus for inputting three-dimensional spatial coordinates and state information (hereinafter referred to as <three-dimensional spatial coordinates and states). Method and apparatus for inputting information> is referred to as <motion mouse system>.

정보화 사회에 있어서 컴퓨터 기술이 비약적으로 발전하여 현재 3차원 정보 처리 및 디스플레이(Display) 기술은 대중화 되어가고 있다. 그러나 아직까지 일반사용자가 3차원 정보를 디스플레이 공간과 괴리되지 않고 직접 통상적인 실제 3차원 공간상에서 입력할 수 있는 장치가 없어 각종 정보 기기에 필요한 다양한 3차원 정보의 조작이나 운영에 제약을 받고 있다.In the information society, computer technology has been rapidly developed and 3D information processing and display technology is becoming popular. However, since there is no device that allows a general user to directly input three-dimensional information in a normal real three-dimensional space without being separated from the display space, there is a limitation in the operation and operation of various three-dimensional information required for various information devices.

일반적으로 정보기기에 사용자의 3차원 공간좌표 정보를 전달하기 위한 장치의 예로는 3차원 마우스(예: 한국특허등록 10-069788-0000, 한국특허출원 10-1997-022860, 한국특허출원 10-2000-031226, 한국실용신안등록 20-0258279), 가상현실에 주로 사용되는 센서가 부착된 장갑 등이 있다. 그러나 기계적 변화를 내부에서 발생시켜 이를 감지하는 방식의 상기예와 같은 장치들은 일반 사용자가 통상의 삼차원 공간 개념으로 사용하기에는 적합하지 못하기도 하고 사용함에 있어 많은 비용과 노력이 필요한 단점을 갖고 있으며 컴퓨터와 같은 정보기기와 유선 혹은 무선 등으로 연결되어 정보를 전달해야할 뿐만 아니라 일반적인 마우스와 같이 책상위에 별도의 작업 공간을 할애해야 할 필요성도 있다. 또한 노트북 컴퓨터나 PDA(개인휴대단말기)등 휴대형 정보기기용으로 사용하고자 할 경우 휴대가 용이하지 않다.In general, an example of a device for transmitting the user's three-dimensional spatial coordinate information to the information device is a three-dimensional mouse (for example, Korea Patent Registration 10-069788-0000, Korea Patent Application 10-1997-022860, Korea Patent Application 10-2000 -031226, Korean Utility Model Registration 20-0258279), gloves with sensors that are mainly used in virtual reality. However, devices such as the above example of generating mechanical changes internally and detecting them are not suitable for general users to use in the three-dimensional space concept, and have a disadvantage in that they require a lot of cost and effort in use. In addition to transmitting information through wired or wireless connection with information devices, there is also a need for a separate workspace on a desk like a normal mouse. In addition, if you want to use for portable information devices, such as a laptop computer or PDA (personal portable terminal) is not easy to carry.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 정보기기에 영상입력 카메라가 연결되어 있을 때 사용자가 카메라 전면부의 실제 3차원 공간 안에서 유선 혹은 무선 등의 아무런 연결이 없이 자유롭게 소형경량의 모션마우스 장치를 움직이거나 모션마우스 장치의 버튼(Button)을 누름으로써 x(가로),y(세로),z(깊이) 좌표 및 이동, 회전, 스크롤(scroll), 선택 등의 정보를 정확하고 신속하게 인식할 수 있으며 가격이 낮고 편리한 3차원 공간좌표 및 상태 입력 방법 및 장치를 제공함에 있다.The present invention is to solve the above problems, when the video input camera is connected to the information device, the user is freely small and lightweight motion mouse device without any connection, such as wired or wireless in the actual three-dimensional space of the front of the camera Move the cursor or press the button on the Motion Mouse device to quickly and accurately recognize the x (horizontal), y (vertical), z (depth) coordinates, and information such as movement, rotation, scrolling, and selection. A low cost and convenient 3D spatial coordinate and state input method and apparatus are provided.

도 1 - 본 발명에 따른 구성 및 사용의 일예를 나타낸 사시도1-a perspective view showing one example of construction and use according to the invention

도 2 - 본 발명에 따른 모션마우스 구성의 일예를 나타낸 사시도2-a perspective view showing one example of a motion mouse configuration according to the present invention

도 3 - 본 발명에 따른 1 대의 카메라에서 촬영된 이미지를 분석하여 3차원 공간좌표 및 회전각도 그리고 상태정보로 변환하는 방법의 흐름도3-Flow chart of a method for analyzing images captured by one camera according to the present invention and converting them into three-dimensional spatial coordinates, rotation angles, and state information

<도면의 주요부분에 대한 부호의 설명><Description of Symbols for Main Parts of Drawings>

100 : 정보기기용 카메라 200 : 정보기기100: information equipment camera 200: information equipment

300 : 모션마우스 311,312,313 : 조명기 또는 형상300: motion mouse 311,312,313: fixture or shape

321,322,323 : 스위치 330 : Battery321,322,323: Switch 330: Battery

상기와 같은 목적을 달성하기 위한 본 발명은, 모션마우스(300)를 촬영하기 위한 정보기기용 흑백 또는 칼라 카메라(100)와, 사용자의 공간좌표 및 상태 변경 의사를 표현하기 위한 모션마우스(300)와, 촬영된 모션마우스의 영상 정보를 신속하고 정확하게 3차원 좌표 및 상태 정보로 변환하는 소프트웨어로 구성되고, 상기 모션마우스의 카메라를 향한 전면은 영상인식을 신속하고 정확하게 할 수 있도록 통상적인 배경과 구별되는 밝기 또는 색상으로 2 점(또는 면) 이상의 독립된 조명기 또는 형상이 배치되어 물리적인 공간 정보 즉, x_y 평면(가로_세로:카메라가 촬영하는 영상평면)상에서의 길이와 회전각이 계측될 수 있는 형태인 것을 특징으로 한다.The present invention for achieving the above object, the black and white or color camera 100 for the information device for photographing the motion mouse 300, and the motion mouse 300 for expressing the user's intention to change the spatial coordinates and state And software that converts the image information of the captured motion mouse into 3D coordinates and state information quickly and accurately, and the front surface of the motion mouse to the camera is distinguished from the normal background for quick and accurate image recognition. Independent illuminators or shapes of two or more points (or planes) are arranged with brightness or color, so that the physical spatial information, i.e., the length and rotation angle on the x_y plane (horizontal_vertical: image plane taken by the camera) can be measured It is characterized by the form.

상기 모션마우스는 카메라 정면의 3차원 실 공간 영역에서 좌우, 상하, 앞뒤로 자유로운 이동이 가능하며 z축(카메라 렌즈 중심을 원점으로 하고 광각(angle of view)범위의 중심을 통과하는 축)을 중심으로 회전이 가능할 뿐만 아니라 위_아래, 좌_우로의 기울어짐도 가능한 것을 특징으로 한다.The motion mouse can move freely from side to side, up and down, and back and forth in the three-dimensional real space area in front of the camera, and centers around the z-axis (the axis of the camera lens as the origin and passes through the center of the angle of view range). Not only the rotation is possible, it is also possible to tilt up and down, left and right.

상기 모션마우스는 다수의 On_Off 상태를 전면에 표시하는 조명기 또는 형상과, 이를 제어하는 스위치가 더 구비되어 사용자의 선택, 스크롤(Scroll), 회전, 진행등 다양한 상태 의사를 표현하는 것이 가능한 것을 특징으로 한다.The motion mouse is further provided with an illuminator or a shape for displaying a plurality of On_Off states on the front side and a switch for controlling the state, so that the user can express various state intentions such as a user's selection, scroll, rotation, and progress. do.

상기 모션마우스의 다수의 조명기 또는 형상을 색상, 크기 또는 모양 등이 중심점에 대하여 비대칭이 되도록 일부분을 배치하여 z 축을 중심으로한 모션마우스의 회전각도 범위가 360도가 될 수 있도록 한 것을 특징으로 한다.A plurality of illuminators or shapes of the motion mouse are arranged such that color, size, shape, etc. are asymmetric with respect to the center point, so that the rotation angle range of the motion mouse about the z axis can be 360 degrees.

상기 모션마우스의 조명기는 가시광선뿐만 아니라 영상처리를 보다 신속하고 정확하게 하기 위하여 적외선을 사용하고 카메라에 적외선필터(가시광선 차단)를 사용할 수도 있는 것을 특징으로 한다.The illuminator of the Motion Mouse is characterized in that it uses infrared rays and an infrared filter (visible light blocking) to the camera in order to more quickly and accurately perform image processing as well as visible light.

상기 소프트웨어는 촬영된 영상 안에서 상기한 밝기 정도 또는 색상 종류를 비교하여 상기 조명기 또는 형상의 존재유무 및 위치를 신속, 정확히 검출하는 것을 특징으로 한다.The software may detect the presence and the location of the illuminator or the shape quickly and accurately by comparing the brightness degree or color type in the captured image.

상기 소프트웨어는 상기 독립 배치된 2(또는 그 이상) 점 사이의 pixel 거리를 측정하고 렌즈의 공식(1/a+1/b=1/f, 배율=b/a, 여기서 a:물체거리,b:상까지의 거리,f:초점거리)에 따라 b가 고정된 렌즈의 경우 pixel 거리는 a 즉, z에 반비례함을 이용하여 z 거리를 1 대의 카메라만을 사용하여 측정하는 것이 가능하게 함을 특징으로 하며 또한 f가 고정되어 있어 a 가 변할 때 초점이 맞지 않는 경우에도 위 관계는 성립하므로 그 2 점 사이의 pixel 거리에 반비례하는 z 거리를 측정하는 것을 특징으로 한다.The software measures the pixel distance between the two independently placed (or more) points and the formula of the lens (1 / a + 1 / b = 1 / f, magnification = b / a, where a: object distance, b In the case of a lens whose b is fixed according to the distance to the image and f: the focal length), the pixel distance can be measured using only one camera by using the pixel distance as inversely proportional to a, that is, z. In addition, since f is fixed and the focus is not focused when a changes, the above relationship holds, so that the z distance is inversely proportional to the pixel distance between the two points.

상기 소프트웨어는 다수의 조명기 또는 형상에 대한 존재유무 및 위치를 계측하여 상기 모션마우스의 각 버튼 상태 및 회전각도, 기울어짐 등을 인식하는 것을 특징으로 한다.The software measures the presence and position of a plurality of illuminators or shapes and recognizes each button state, rotation angle, inclination, etc. of the motion mouse.

본 발명의 다른 목적, 특징 및 잇점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.Other objects, features and advantages of the present invention will become apparent from the following detailed description of embodiments taken in conjunction with the accompanying drawings.

이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조로 상세히 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 모션마우스 시스템의 구성 및 사용의 일예를 나타낸 사시도로서, 컴퓨터(200)와, 사용자의 의사대로 공간정보 및 상태를 표현하는 모션마우스(300)와, 영상 입력을 위한 카메라(100)로 되어있다.1 is a perspective view showing an example of the configuration and use of a motion mouse system according to the present invention, a computer 200, a motion mouse 300 expressing spatial information and state at will of a user, and a camera for image input. It is (100).

이때, 모션마우스(300)는 카메라(100)를 향한 전면에 적,황,녹색의 LED(311,312,313:발광 다이오드)를 1cm 간격으로 일직선상에 배치하고 각각 푸쉬버튼 스위치(321,322,323) 및 건전지(330)를 연결한다. 여기에서 모션마우스(300)의 전체적인 형태는 볼펜형, 소형권총형, 볼형, 장치부착형등 다양한 변형이 가능하다. 또한 LED(311~313)의 색상(파장), 수량, 종류(3색 LED 포함) 또는 배치(다차원 배치 포함)도 카메라(100)의 감지범위 내에서는 다양한 조합이 가능하고 특히 적외선을 사용할 경우 카메라(100)에 적외선 투과(가시광선 차단) 필터를 결합하여 환경 영향을 줄일 수 있으며 이 경우 LED(311~313)를 비대칭으로 배치하여 회전 각도의 180도 대칭문제를 없앨 수 있다. 더욱더 나아가 전원(330) 사용의 필요성을 없애기 위해 LED(311~313) 대신 형광물질(311~313)이나 배경에서 나타나기 힘들며 영상인식에 유리한 도형(311~313) 등으로 표시하고 전자 스위치 기능을 기계식으로 도형을 차단 할 수 있도록 제작하는 것도 가능하다. 전원(330)의 경우에도 컴퓨터나 외부의 전원을 사용하여 건전지(330) 교환의 문제를 간단히 해결할 수 있는데 상기의 예시에 언급한 것들이나 유사한 변형들이 당업자라면 본 발명의 기술적 사상의 범주를 벗어나는 것이 아님을 알 것이다.In this case, the motion mouse 300 arranges red, yellow, and green LEDs (311, 312, 313: light emitting diodes) in a straight line at 1 cm intervals in front of the camera 100, and pushbutton switches 321, 322, 323 and batteries 330, respectively. Connect it. Here, the overall shape of the motion mouse 300 may be variously modified, such as a ballpoint pen, a small pistol type, a ball type, and a device attachment type. In addition, the color (wavelength), quantity, type (including three-color LED) or arrangement (including multi-dimensional arrangement) of the LED (311 ~ 313) can be various combinations within the detection range of the camera 100, in particular when using infrared camera By combining an infrared transmission (visible light blocking) filter to the 100 can reduce the environmental impact, in this case, by placing the LED (311 ~ 313) asymmetrical can eliminate the 180-degree symmetry problem of the rotation angle. Furthermore, in order to eliminate the necessity of using the power source 330, it is difficult to appear in the fluorescent material (311 to 313) or the background instead of the LED (311 to 313), and it is displayed as a figure (311 to 313), which is advantageous for image recognition, and the electronic switch function is mechanical. It is also possible to produce so as to block the figure. Even in the case of the power source 330, the problem of replacing the battery 330 can be easily solved by using a computer or an external power source. However, those mentioned in the above examples or similar modifications will be out of the technical scope of the present invention. You will know.

한편, 소프트웨어는 카메라(100)를 통하여 획득한 영상을 모션마우스(300) 전면 각 LED(311~313) 색상의 밝기레벨이 배경과는 뚜렷이 구분되는 특성을 이용해 신속하게 이진화할 수 있고, 이 영상에서 미리 예상할 수 있는 LED 크기 범위와 주어진 형태 및 조합이 가능한 배치 정보를 사용하여 올바른 LED(311~313) 영역만을 걸러낸다. 그리고 주어진 배치정보를 사용하여 각각의 LED(311~313) 영역을 분리한 후 각 LED(311~313) 영역에 대해서 무게중심을 구하는 방식등에 의해 각 중심 좌표를 정밀하게 획득할 수 있다. 이렇게 추출한 기초적 2차원 물리량을 앞에서 기술한 렌즈의 공식등을 이용하여 3차원 공간 좌표 및 회전 각도 그리고 LED(311~313)의 존재유무에 대응하는 상태 정보로 변환하여 정보기기(100)의 메모리나 CPU등에 전달한다. 여기에서 추출된 각 LED(311~313)의 상태정보의 조합은 공지의 마우스 기능에 해당하는 Left 및 Right 버튼, 스크롤 버튼 기능등으로 할당한다. 이와 같은 방법에 있어 사용자로 하여금 카메라(100)의 광학 특성및 사용하고자 하는 공간 좌표 영역 그리고 기타 광학적 또는 기능적 사용 환경 정보를 미리 결정할 수 있게 하는 Calibration 과정을 수행하여 해상도의 조정 등 다양한 사용자의 요구와 환경에 적응할 수 있다.On the other hand, the software can quickly binarize the image acquired through the camera 100 using the characteristic that the brightness level of each LED (311 ~ 313) color of the front of the motion mouse 300 is distinct from the background, this image Will filter out only the correct LED area (311 to 313) using a range of LED sizes that can be expected in advance and placement information that can be given shapes and combinations. The center coordinates can be precisely obtained by dividing each of the LEDs 311 to 313 using the given arrangement information and then obtaining a center of gravity for each of the LEDs 311 to 313. The extracted basic two-dimensional physical quantities are converted into three-dimensional spatial coordinates, rotation angles, and state information corresponding to the presence or absence of LEDs 311 to 313 using the formulas of the lenses described above. We send to CPU. The combination of the state information of each of the LEDs 311 to 313 extracted here is assigned to the left and right buttons and scroll button functions corresponding to the known mouse functions. In this method, a calibration process is performed to allow a user to predetermine the optical characteristics of the camera 100, the spatial coordinate area to be used, and other optical or functional environment information. Can adapt to the environment.

한편, 본 발명은 상기 실시예에 한정되지 않고 본 발명의 사상 및 영역을 벗어나지 않는 범위내에서 다양하게 변형실시할수 있다.On the other hand, the present invention is not limited to the above embodiments and can be variously modified within the scope and spirit of the present invention.

이상에서와 같이 본 발명에 따른 모션마우스 시스템에 의하면, 모션마우스를 정보기기와 유??무선으로부터 독립시킴으로써 장치의 크기와 무게를 줄일 뿐만 아니라 편의성을 높이고 휴대성과 저가격을 실현할 수 있으며 실물의 윤곽이나 3차원 궤적을 간단히 입력할 수 있다.As described above, according to the motion mouse system according to the present invention, the motion mouse can be separated from the information device and the wired / wireless device to reduce the size and weight of the device, improve convenience, realize portability and low cost, Three-dimensional trajectories can be entered simply.

또한, 카메라를 디스플레이의 주변에 설치할 경우, 사용자는 모션마우스를 디스플레이 정면의 실제 3차원 공간 범위에서 조작하여 디스플레이 되는 내용과 괴리되지 않도록 가로, 세로, 깊이의 각 방향을 일치시켜 사용할 수 있어, 각종 3차원 정보를 통상적인 공간개념에 따라 직관적으로 조작할 수 있을 뿐만 아니라, 3차원 정보를 처리하는 프로그램 제작에 있어서도 획기적인 개선을 이룩할 수 있다.In addition, when the camera is installed in the vicinity of the display, the user can operate the motion mouse in the actual three-dimensional space range of the front of the display to match the directions of the horizontal, vertical, and depth so as not to be different from the displayed contents. In addition to intuitively manipulating three-dimensional information in accordance with conventional spatial concepts, it is possible to achieve dramatic improvements in the production of programs that process three-dimensional information.

그리고, 모션마우스 전면의 표현부를 물리적 선 또는 면의 차원으로 구성함으로써, 자체 회전등의 정보를 직접 또는 공간 이동과 동시에 입력할 수 있고 1 대의 카메라만으로 깊이 정보를 입력할 수 있다.And, by configuring the expression portion in front of the motion mouse in the dimension of the physical line or surface, it is possible to input the information, such as its own rotation, directly or simultaneously with the spatial movement, and input depth information with only one camera.

또한, 다수의 모션마우스를 사용하거나 카메라와 모션마우스를 동시에 움직여 복잡한 상대 운동의 궤적을 간단하게 입력할 수 있다.In addition, by using multiple motion mice or by simultaneously moving the camera and the motion mouse, a complicated trajectory of relative motion can be easily input.

Claims (3)

정보기기에 3차원 공간좌표 및 상태정보를 입력하기 위한 방법 및 장치에 있어서,A method and apparatus for inputting three-dimensional spatial coordinates and state information into an information device, 사용자가 3차원 공간상에서 자유롭게 이동 및 회전시키고 스위치를 조작하여 각각의 조명기를 On_Off 할 수 있는 모션마우스와, 상기 모션마우스를 촬영하는 카메라로 구성되며, 촬영된 상기 모션마우스의 이미지를 분석하여 3차원 공간좌표 및 회전각도 그리고 상태정보로 변환하는 방법을 포함하여 구성된 것을 특징으로 하는 모션마우스 시스템.It consists of a motion mouse that allows the user to freely move and rotate in a three-dimensional space and operate switches so that each illuminator can be turned on and off, and a camera that photographs the motion mouse. Motion mouse system comprising a method of converting the spatial coordinates and rotation angle and the state information. 제 1 항에 있어서, 상기 모션마우스는The method of claim 1, wherein the motion mouse 촬영된 이미지에 나타난 각 조명기 또는 형상의 중심좌표 값들로부터 그들 사이의 거리와 방향을 추출하고 On_Off 상태로부터 부가정보를 추출할 수 있도록 여러 종류의 조명기 또는 형상을 다수 배치하고 스위치를 연결한 것을 포함하여 구성된 것을 특징으로 하는 모션마우스 시스템.Including a plurality of different types of fixtures or shapes and connecting switches so as to extract the distance and direction between them from the center coordinate values of each fixture or shape shown in the captured image and extract additional information from the On_Off state. Motion mouse system, characterized in that configured. 제 1 항에 있어서, 상기 1 대의 카메라에서 촬영된 이미지를 분석하여 3차원 공간좌표 및 회전각도 그리고 상태정보로 변환하는 방법은The method of claim 1, wherein the image captured by the single camera is analyzed and converted into three-dimensional spatial coordinates, rotation angles, and state information. 촬영된 이미지에서 조명기 또는 형상의 밝기레벨 또는 형상이 배경과는 뚜렷이 구분되는 특성을 이용해 각 조명기 또는 형상의 중심 좌표를 추출하여 x,y,회전각도 및 상태정보로 변환하고 분리 배치된 2 조명기 또는 형상 사이의 거리는 렌즈의 공식 및 배율 공식에 따라 렌즈와 물체 사이의 거리에 반비례함을 이용하여 z로 변환하는 방법을 포함하여 구성된 것을 특징으로 하는 모션마우스 시스템.Using the characteristic that the brightness level or shape of the fixture or shape is distinct from the background in the captured image, the center coordinates of each fixture or shape are extracted and converted into x, y, rotation angle and state information, and the two fixtures arranged separately And a method for converting the distance between the shapes into z using the inverse of the distance between the lens and the object according to the formula and magnification formula of the lens.
KR1020020014592A 2002-03-18 2002-03-18 Motion Mouse System KR20030075399A (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020020014592A KR20030075399A (en) 2002-03-18 2002-03-18 Motion Mouse System
AU2003215939A AU2003215939A1 (en) 2002-03-18 2003-03-18 Motion mouse system
PCT/KR2003/000524 WO2003079179A1 (en) 2002-03-18 2003-03-18 Motion mouse system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020020014592A KR20030075399A (en) 2002-03-18 2002-03-18 Motion Mouse System

Publications (1)

Publication Number Publication Date
KR20030075399A true KR20030075399A (en) 2003-09-26

Family

ID=28036101

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020020014592A KR20030075399A (en) 2002-03-18 2002-03-18 Motion Mouse System

Country Status (3)

Country Link
KR (1) KR20030075399A (en)
AU (1) AU2003215939A1 (en)
WO (1) WO2003079179A1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100807620B1 (en) * 2006-09-25 2008-03-03 엠텍비젼 주식회사 Apparatus for controlling moving of pointer and method thereof
KR100807625B1 (en) * 2006-09-25 2008-03-03 엠텍비젼 주식회사 Apparatus for controlling moving of pointer and method thereof
WO2013094786A1 (en) * 2011-12-21 2013-06-27 Lg Electronics Inc. Electronic device having 3-dimensional display and method of operating thereof
US9032334B2 (en) 2011-12-21 2015-05-12 Lg Electronics Inc. Electronic device having 3-dimensional display and method of operating thereof

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8797260B2 (en) 2002-07-27 2014-08-05 Sony Computer Entertainment Inc. Inertially trackable hand-held controller
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US7760248B2 (en) 2002-07-27 2010-07-20 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
US8313380B2 (en) 2002-07-27 2012-11-20 Sony Computer Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US7627139B2 (en) * 2002-07-27 2009-12-01 Sony Computer Entertainment Inc. Computer image and audio processing of intensity and input devices for interfacing with a computer program
US8570378B2 (en) 2002-07-27 2013-10-29 Sony Computer Entertainment Inc. Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
US9682319B2 (en) 2002-07-31 2017-06-20 Sony Interactive Entertainment Inc. Combiner method for altering game gearing
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US10279254B2 (en) 2005-10-26 2019-05-07 Sony Interactive Entertainment Inc. Controller having visually trackable object for interfacing with a gaming system
US9573056B2 (en) 2005-10-26 2017-02-21 Sony Interactive Entertainment Inc. Expandable control device via hardware attachment
HU0401034D0 (en) 2004-05-24 2004-08-30 Ratai Daniel System of three dimension induting computer technology, and method of executing spatial processes
US8547401B2 (en) 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
TWI313426B (en) 2006-06-13 2009-08-11 Sunplus Technology Co Ltd Method for screen browsing and portable electronic device using the same
USRE48417E1 (en) 2006-09-28 2021-02-02 Sony Interactive Entertainment Inc. Object direction using video input combined with tilt angle information
ES2350028T3 (en) * 2007-03-29 2011-01-17 Cam-Trax Technologies Ltd SYSTEM AND PROCEDURE TO FOLLOW AN ELECTRONIC DEVICE.
US8542907B2 (en) 2007-12-17 2013-09-24 Sony Computer Entertainment America Llc Dynamic three-dimensional object mapping for user-defined control device
CN103258184B (en) 2008-02-27 2017-04-12 索尼计算机娱乐美国有限责任公司 Methods for capturing depth data of a scene and applying computer actions
JP2011523138A (en) * 2008-06-04 2011-08-04 ヒューレット−パッカード デベロップメント カンパニー エル．ピー． System and method for remotely controlling a computer
US8961313B2 (en) 2009-05-29 2015-02-24 Sony Computer Entertainment America Llc Multi-positional three-dimensional controller
EP2558924B1 (en) 2010-04-13 2021-06-09 Nokia Technologies Oy Apparatus, method and computer program for user input using a camera
US8338725B2 (en) 2010-04-29 2012-12-25 Au Optronics Corporation Camera based touch system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5297061A (en) * 1993-05-19 1994-03-22 University Of Maryland Three dimensional pointing device monitored by computer vision
JPH0934633A (en) * 1995-07-17 1997-02-07 Sanyo Electric Co Ltd Space mouse and space mouse system
JPH09265346A (en) * 1996-03-29 1997-10-07 Bijiyuaru Sci Kenkyusho:Kk Space mouse, mouse position detection device and visualization device
JP2001060141A (en) * 1999-08-23 2001-03-06 Canon Inc Coordinate input device, control method therefor and computer readable memory
US6331848B1 (en) * 1996-04-27 2001-12-18 U.S. Philips Corporation Projection display system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5297061A (en) * 1993-05-19 1994-03-22 University Of Maryland Three dimensional pointing device monitored by computer vision
JPH0934633A (en) * 1995-07-17 1997-02-07 Sanyo Electric Co Ltd Space mouse and space mouse system
JPH09265346A (en) * 1996-03-29 1997-10-07 Bijiyuaru Sci Kenkyusho:Kk Space mouse, mouse position detection device and visualization device
US6331848B1 (en) * 1996-04-27 2001-12-18 U.S. Philips Corporation Projection display system
JP2001060141A (en) * 1999-08-23 2001-03-06 Canon Inc Coordinate input device, control method therefor and computer readable memory

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100807620B1 (en) * 2006-09-25 2008-03-03 엠텍비젼 주식회사 Apparatus for controlling moving of pointer and method thereof
KR100807625B1 (en) * 2006-09-25 2008-03-03 엠텍비젼 주식회사 Apparatus for controlling moving of pointer and method thereof
WO2013094786A1 (en) * 2011-12-21 2013-06-27 Lg Electronics Inc. Electronic device having 3-dimensional display and method of operating thereof
US9032334B2 (en) 2011-12-21 2015-05-12 Lg Electronics Inc. Electronic device having 3-dimensional display and method of operating thereof

Also Published As

Publication number Publication date
WO2003079179A1 (en) 2003-09-25
AU2003215939A1 (en) 2003-09-29

Similar Documents

Publication Publication Date Title
KR20030075399A (en) Motion Mouse System
JP6094782B2 (en) Short distance natural user interface system and method of operation thereof
KR101524575B1 (en) Wearable device
JP5950130B2 (en) Camera-type multi-touch interaction device, system and method
EP3438790B1 (en) Input device and image display system
US8836768B1 (en) Method and system enabling natural user interface gestures with user wearable glasses
CN114127669A (en) Trackability enhancement for passive stylus
CN102331884A (en) Projecting system with touch control projecting images
JP2009037620A (en) Three-dimensional virtual input and simulation device
US20150009119A1 (en) Built-in design of camera system for imaging and gesture processing applications
KR101343748B1 (en) Transparent display virtual touch apparatus without pointer
TWI553508B (en) Apparatus and method for object sensing
US7825898B2 (en) Inertial sensing input apparatus
TWI696960B (en) Information equipment interaction method and system based on optical tags
KR100820573B1 (en) Computer input device utilizing a camera to recognize position and twinkling compare laser pointing image with computer display picture
KR100532525B1 (en) 3 dimensional pointing apparatus using camera
US20170168592A1 (en) System and method for optical tracking
KR20170074555A (en) Integrated input and control system using argument reality
CN100390719C (en) Inertia sensing input device
KR20040027764A (en) A method for manipulating a terminal using user&#39;s glint, and an apparatus
US8531436B2 (en) Specific wavelength selecting method for optical input device and optical input device thereof
Colaço Sensor design and interaction techniques for gestural input to smart glasses and mobile devices
KR20160066451A (en) Head mounted display device and control method thereof
TWI590103B (en) Portable optical touch system
KR20110101374A (en) Ubiquitous remote controller using eye-tracking glasses

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E601 Decision to refuse application