KR100532525B1 - 카메라를 이용한 삼차원 포인팅장치 - Google Patents

카메라를 이용한 삼차원 포인팅장치 Download PDF

Info

Publication number
KR100532525B1
KR100532525B1 KR20020024973A KR20020024973A KR100532525B1 KR 100532525 B1 KR100532525 B1 KR 100532525B1 KR 20020024973 A KR20020024973 A KR 20020024973A KR 20020024973 A KR20020024973 A KR 20020024973A KR 100532525 B1 KR100532525 B1 KR 100532525B1
Authority
KR
South Korea
Prior art keywords
camera
light source
pointing device
pointer
image
Prior art date
Application number
KR20020024973A
Other languages
English (en)
Other versions
KR20030086792A (ko
Inventor
이문기
Original Assignee
이문기
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이문기 filed Critical 이문기
Priority to KR20020024973A priority Critical patent/KR100532525B1/ko
Publication of KR20030086792A publication Critical patent/KR20030086792A/ko
Application granted granted Critical
Publication of KR100532525B1 publication Critical patent/KR100532525B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00—Games not otherwise provided for
    • A63F9/02—Shooting or hurling games
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details

Abstract

본 발명은 카메라를 이용한 3차원 포인팅장치에 관한 것이다. 본 발명에 따른 카메라를 이용한 3차원 포인팅장치는 스크린 상에서 이동하는 포인터의 위치좌표를 산출하는 포인팅 장치로서, 다수의 구역으로 나누어 각 구역마다 서로 형태가 다른 다수의 면광원이 배치되고, 각 구역의 주변부에는 다수의 점광원이 배치되는 스크린과; 사용자의 조작에 의해 촬영 위치와 방향을 바꿔가며 상기 스크린의 광원을 촬영할 수 있는 이미지 센서를 이용한 카메라와; 카메라에 의해 촬영된 구역의 광원의 형태부터 포인터가 위치한 구역을 파악하고, 파악된 구역의 주변부의 광원을 영상처리하여 포인터의 3차원 위치좌표와 회전각을 산출하는 영상처리수단을 포함하여 구성된다.

Description

카메라를 이용한 삼차원 포인팅장치{3 dimensional pointing apparatus using camera}
본 발명은 카메라를 이용한 3차원 포인팅장치에 관한 것이다. 보다 구체적으로는, 프로젝션 스크린과 같은 대형 모니터에 다수의 광원이 부착되어 있는 상태에서 사용자가 모니터 또는 프로젝션 스크린을 향하는 카메라의 위치와 방향을 조절함으로써 촬영된 광원의 이미지상의 위치가 바뀌게 되고 이를 영상처리 프로그램에 의해 처리하여 스크린 상에서 포인터의 위치를 이동할 수 있는 포인팅장치에 관한 것이다.
포인팅장치는 컴퓨터 입력수단의 하나로서, 그래픽 이용자 인터페이스(GUI) 환경에서 입력수단으로 사용되는 마우스와 같이 컴퓨터 모니터의 화면상에서 포인터를 움직이면서 이 포인터의 위치를 선택함으로써 그에 해당하는 선택메뉴를 입력할 수 있는 장치를 총칭한다.
포인팅장치의 대표적인 예로서 데스크 탑 컴퓨터에서 널리 사용되는 볼 마우스(ball mouse)와 노트북 컴퓨터에서 사용되는 트랙 볼(track ball)을 들 수 있다. 볼 마우스나 트랙 볼의 기본원리는 유사한데, 사용자의 손의 움직임에 따라 외부 물체와의 마찰에 의해 볼을 회전시키고 볼의 수직 및 수평운동을 감지하여 전기적 신호로 전환한 후 컴퓨터로 전송함으로써 화면상에 표시되는 커서의 위치를 제어하는 것이다.
또한 게임용으로 사용되는 권총형 포인팅 장치도 개발되어 있는데 이는 라이트 펜과 유사한 원리로 동작한다. 이러한 장치는 화면상의 2차원 좌표값(x, y)을 출력하게 되어 있다.
그리고, 머리에 부착하는 헤드기어형 포인팅 장치도 있지만 모니터와 헤드기어 사이의 거리가 비교적 가까워야 하고 상대위치가 일정해야 한다. 즉, 사용자는 모니터 앞을 떠나지 않고 작동시켜야 하는 불편함이 있다. 또한, TV 등의 가전제품이 컴퓨터와 통합된 형태의 경우 상당히 먼 거리와 넓은 방위각의 범위 안에서도 잘 동작하는 마우스 기능을 갖는 리모컨이 필요하다.
본 발명은 상기한 바와 같은 마우스나 트랙볼류를 포함한 기존의 포인팅 장치가 갖는 한계를 극복하여 모니터의 네 변에 부착된 다수의 광원을 카메라로 촬영하고 영상처리 하여 본 발명에 따른 포인팅 장치가 그 움직임을 감지하여 포인터를 이동시킬 수 있어, 다양한 용도로 스크린 상에서 포인터를 조작할 수 있는 포인팅장치를 제공하는 것을 그 목적으로 한다. 특히, 본 발명은 대형 스크린 상에서 정확한 포인팅 기능을 발휘할 수 있는 포인팅 장치를 제공하는 것을 목적으로 한다.
발명의 개요 본 발명에 따른 카메라를 이용한 3차원 포인팅장치는 컴퓨터의 모니터 상에서 이동하는 포인터의 위치좌표를 산출하는 포인팅장치로서, 상기 모니터 주위에 부착되어 빛을 방출하는 다수의 적외선 광원; 사용자의 조작에 의해 촬영 위치와 방향을 바꿔가며 상기 광원을 촬영할 수 있는 이미지 센서를 이용한 카메라; 상기 카메라에 의해 촬영된 광원의 영상을 처리하여 포인터의 3차원 위치좌표와 회전각을 산출하는 영상처리 및 포인터 위치산출부를 포함하여 구성된다.본 발명에 따른 카메라를 이용한 3차원 포인팅장치는 스크린 상에서 이동하는 포인터의 위치좌표를 산출하는 포인팅 장치로서 응용할 수 있으며 이 경우에는, 다수의 구역으로 나누어 각 구역마다 의미를 갖고 있는 형상의 다수의 적외선 면광원이 배치되고, 각 구역의 주변부에는 다수의 적외선 점광원이 배치되는 스크린과; 사용자의 조작에 의해 촬영 위치와 방향을 바꿔가며 상기 스크린의 광원을 촬영할 수 있는 이미지 센서를 이용한 카메라와; 카메라에 의해 촬영된 구역의 면광원의 형상로부터 의미를 파악하여 포인터가 위치한 구역을 산정하고, 산정된 구역의 주변부의 점광원을 영상처리하여 포인터의 3차원 위치좌표와 회전각을 산출하는 영상처리 및 포인터 위치 산출부를 포함하여 구성된다.
삭제
컴퓨터 모니터 또는 스크린 상의 각 구역의 주변부에 부착되는 다수의 광원은 비교적 먼거리에서도 선명하게 촬영할 수 있을 정도로 강한 적외선을 방사할 수 있는 광원이다. 이러한 광원을 촬영할 수 있는 카메라는 손에 쥘 수 있는 리모컨형태, 머리나 안경 또는 귀에 부착할 수 있는 헤드셋 또는 헤드 기어 형태, 또는 사격 게임에 사용할 수 있는 총 형태 등이 가능할 것이나 이에 한정되는 것은 아니다.
카메라가 촬영한 광원의 영상을 영상처리수단으로 보내면, 영상처리수단은 광원의 형태와 위치 변화를 조사하여 내부 알고리즘에 따라 포인팅 위치를 추정하여 스크린 상에 표시함으로써 포인팅장치로서의 기능을 할 수 있는 것이다.
실시예 1
도1은 본 발명에 따른 카메라를 이용한 3차원 포인팅장치의 일 실시예를 설명하기 위한 도면이다. 컴퓨터 모니터(50)의 주위에 다수의 광원(23)이 배치되고, 카메라(40)는 상기 모니터(50) 앞에서 광원(23)이 방출하는 빛을 촬영한다. 촬영된 영상은 영상 처리 및 포인터 위치 산출부(80)에서 영상처리 과정을 통하여 포인터의 위치가 산출되며, 그 결과가 PC에 전달되어 모니터(50) 상에서 포인터의 위치를 변경하게 된다. 이하에서 영상 처리 및 포인터 위치 산출 과정을 상세히 설명하도록 한다. 도1에서 광원(23, 23')은 적외선을 방사하는 광원이고 적외선 필터(41)는 적외선 광원만 선명하게 촬영할 수 있게 하는 역할을 한다. 도2a는 카메라가 모니터를 정면으로 찍은 영상이다. 배경은 검은색이고 광원만 흰색으로 표시되어 있다. 이 경우 광원이 이루는 도형(도1에서는 사각형으로 전제함)은 이미지의 중앙에 위치하고 있다. 이 상태에서 만약 사용자가 카메라를 우측으로 평행이동시키면 광원이 이루는 사각형은 이미지 상에서 우측으로 x 픽셀만큼 이동하게 된다. 그리고 그 상태에서 다시 카메라를 아래로 평행이동시키면 사각형은 그 상태에서 이미지상에서 아래로 y픽셀 만큼 이동하게 된다. 이러한 광원과 광원이 이루는 사각형이 도2b에 표시되어 있다. 따라서 이미지 상에서 사각형의 이동한 수평, 수직 거리를 검출함으로써 사용자가 카메라를 평행이동시킨 거리를 알아낼 수 있다.
또한, 카메라를 광원이 부착된 모니터로부터 멀어지게 하면 촬영되는 영상에서 광원이 이루는 사각형의 크기는 점점 작아질 것이고 반대로 카메라를 모니터를 향해 접근시키면 촬영되는 영상에서 광원이 이루는 사각형의 크기는 점점 커질 것이다. 즉, 촬영된 광원이 이루는 사각형의 크기로부터 모니터와 카메라 사이의 거리(z 값)를 알아낼 수 있다. 이 z 값은 도2b에 표시된 카메라의 평행이동에 의한 (x, y)좌표값과 더불어 3차원 포인팅 좌표값(x, y, z)로 사용될 수 있다.
도3a는 모니터 앞에 위치한 카메라의 좌표값(x, y, z)과 회전각(pitch, yaw, roll)을 나타낸 것이다. 도1에 표시된 기준점 표시용 적외선 광원(23')은 모니터 또는 스크린이 상하, 좌우 대칭인 사각형 형태이므로 카메라가 모니터 또는 스크린을 향한 상태에서 180° 회전한 상태를 구분하기 위한 것이다. 즉, 모니터나 스크린의 상하, 좌우를 구분하기 위한 광원이다. 여기서는 23, 23'가 점광원이지만 특정 문자나 기호 형태의 면광원으로 하는 것도 가능하다. 이런 경우에는 촬영된 영상에서 문자 인식이나 패턴 인식을 해서 23'의 위치를 알아낼 뿐만 아니라 문자나 기호의 의미도 인식할 수 있다.
도3b는 카메라가 모니터를 향한 상태에서 도3a에 표시된 z축을 중심으로 90° 회전한 경우의 광원의 영상이다. 즉, 롤(roll)의 각도가 90°인 경우이다. 이런 경우 이미지 상의 수평선과 광원이 이루는 사각형의 윗변이 이루는 각도를 측정함으로써 카메라의 회전 각도 롤(roll)값을 측정할 수 있다.
도3c는 사용자가 손에 카메라를 들고 모니터를 향해 선 다음 왼쪽으로 한걸음 이동한 후 카메라를 모니터를 향하게 한 후 모니터를 촬영한 영상이다. 이 경우 촬영된 광원이 이루는 사각형은 그 형태가 변형되어 사다리꼴이 된다. 이 경우 사다리꼴의 좌측과 우측의 두 변의 길이의 비(예를 들어 네 변의 길이를 L1, L2, L3, L4라 하면 네 변의 길이의 비는 가령 L2/L1, L3/L1, L4/L1이 됨)를 측정해서 분석하면 사용자가 모니터의 정면으로부터 이동한 방위각을 알아낼 수 있다. 이 경우 각도는 요(yaw)의 값에 해당한다.
도3d는 모니터보다 위에서 모니터를 내려다보며 촬영한 영상이다. 이 경우는 촬영된 광원이 이루는 사다리꼴의 윗변과 아랫변의 길이의 비를 측정하면 피치(pitch)에 해당하는 각도를 알아낼 수 있다. 이러한 측정방법의 원리는 기하학적인 용어로는 3차원 공간에서 다수의 점들의 회전변환과 3차원 공간상의 점들을 2차원 평면에 정사영시키는 것에 해당하고, 3차원 그래픽스에서 잘 알려진 기술이다. 이러한 방위각 정보는 3차원 사격 게임에 이용할 경우 사용자가 화면을 향해 발사한 총알의 궤적을 게임의 그래픽 화면에 표시하는데 사용할 수 있기 때문에 보다 사실감 있는 게임을 제작할 수 있다. 이러한 상황은 도3e에 도시되어 있다.
촬영된 영상은 영상처리 및 포인터 좌표 산출부(80)로 전송된다. 영상처리 및 포인터 좌표 산출부(80)는 전송된 영상을 처리하여 광원들의 위치를 검출하여 포인터의 위치좌표를 산출한다. 산출된 데이터는 컴퓨터(PC)에 입력되어 산출된 위치좌표에 따라 포인터의 위치를 이동하게 된다. 영상처리수단은 구체적으로는 컴퓨터에 저장되어 있거나, 카메라(40)와 일체형으로 되어 있는 마이크로 콘트롤러의 내부에 저장되어 있는 소프트웨어가 될 것이다.
실시예 2
도4a는 넓은 대형 화면에 본 발명을 적용한 다른 실시예이다. 본 실시예에 있어서는 전체 화면을 세 개의 구역으로 구획하였고, 각 구역별 스크린의 뒷면에는 1, 2, 3이라는 숫자 형태로 적외선 면광원(23")이 부착되어 있다. 이러한 1, 2, 3 이라는 숫자 형태의 면광원에서 나온 적외선은 얇은 스크린 또는 미세한 구멍이 뚫린 스크린을 투과하여 사용자가 손에 쥔 총 형태의 카메라에는 촬영이 되지만 사용자 눈에는 보이지 않는다. 촬영된 영상에서 1, 2, 3 이라는 문자를 문자 인식 알고리즘으로 인식해서 사용자가 세 개의 스크린 중 어느 스크린을 향해 사격을 하는지를 알아낼 수 있다.
이 때 각 스크린의 네 변에는 도1에 도시한 것과 같이 다수의 점광원(23, 23')이 부착되어 있어서 실시예 1에서 설명한 바와 같은 방법으로 3차원 포인팅 좌표를 구할 수 있다. 여기서는 설명의 편의를 위해 1, 2, 3 이라는 문자형태의 적외선 면 광원이 스크린 뒤에 있는 것으로 설정하였으나 실제로는 사각형, 삼각형, +자 등의 도형 형태의 면광원 또는 선광원을 사용해도 된다. 이러한 문자 인식이나 패턴 인식 알고리즘은 이미 알려진 기술이다. 그리고 본 실시에에서는 편의상 3개의 스크린으로 설명을 하였으나 실제로는 그 이상 (예를 들어 6개)의 화면으로도 구성할 수 있다. 6개의 스크린으로 화면을 구성하는 경우 스크린은 사용자를 사방에서 둘러싸는 6각형 형태를 이루고 사용자는 전후좌우로 360° 회전하면서 현실감 있는 게임을 할 수 있다.
도4b는 초대형 화면의 사격 게임에 본 발명을 적용한 다른 실시예이다. 이 실시예에서는 스크린은 여러 구역으로 구획되어져 있고 각 구획마다 숫자와 영문자 형태의 적외선 면광원이 스크린 뒤에 부착되어 있다. 그리고 각 구역의 네 변에는 다수의 점광원이 배치되어 있다. 이러한 초대형 화면으로 게임 프로그램이 거대한 괴물 영상을 투사하는 경우 사용자는 그 괴물을 향하여 사격을 하면 총구가 향한 부분을 촬영한 후 그 영상에서 영문이나 숫자를 인식해서 스크린의 어느 구역을 향해서 사격을 했는지를 알아낸다. 그리고 그 구획의 네 변에 배치된 다수의 광원의 위치를 조사함으로써 위에 설명한 방법으로 3차원 포인팅 좌표를 구할 수 있다. 그러면 게임 프로그램은 그 좌표에 해당하는 부분에 총알이 발사되는 영상을 출력하게 된다.
적용례
본 발명에 따른 카메라를 이용한 삼차원 포인팅 장치는 다음과 같은 방식으로 변형되어 적용될 수 있다.
(1) 도5와 같이 음성인식모듈과 결합하여 양손이 포인팅장치로부터 완전히 자유로와질 수 있다. 즉, 위에서 설명한 것과 같이, 광원(23)과 카메라(40) 및 영상처리부(80)에 의해 포인터의 위치를 산출하도록 함과 동시에, 컴퓨터 사용자의 음성신호를 처리하여 전기신호로 변환하고 증폭하는 마이크(70) 및 마이크신호 처리부(73)와, 이 마이크신호를 분석하여 사전에 약속된 명령어 데이터로 인식하고 이 명령어 데이터를 컴퓨터로 전달하는 음성인식부(75)를 추가로 포함시킬 수 있다. 이렇게 하면 컴퓨터 사용자가 별도의 마우스나 키보드 등을 사용하지 않고도, 인간의 음성에 따라 사전에 약속된 명령을 마이크(70)에 대고 말하면, 마이크신호 처리부(73)에서는 이 음성을 전기적 신호로 변환하고, 음성인식부(75)에서는 음성을 인식하여 해당 명령어 데이터를 추출하여 컴퓨터로 전달함으로써, 컴퓨터가 해당 명령어를 실행하도록 한다. 예를 들어, 레이저광원(10)을 안경에 부착시켜서 머리를 움직임으로써 컴퓨터 GUI 상에서 포인터의 위치를 원하는 곳으로 이동시켜서 GUI 상에서 포인터의 위치를 고정하고 마이크(70)에 대고 "더블클릭"이라고 말하면 음성인식부(75)에서는 이를 인식처리하여 PC로 하여금 더블클릭을 실행하도록 할 수 있다. 이 밖에 "좌측버튼" 또는 우측버튼" 등과 같은 음성명령도 구현가능하다.
(2) 본 발명에 따른 포인팅장치를 리모콘과 같은 형식으로 제작하여 프리젠테이션이나 강의, 디지털 TV나 홈 시어터 또는 가전제품과 PC가 통합된 엔터테인먼트 PC 등에 응용할 수 있다. 이를 위해서는 카메라의 움직임에 따라 포인터의 위치좌표를 산출하는 것과 함께, 실행버튼(실행버튼 뿐만 아니라, 마우스의 좌우측 버튼 등도 포함됨)도 리모콘상에 구현해야 한다. 실행 버튼은 기존의 TV리모콘과 같이 적외선 LED로 적외선 신호를 보내고 모니터에 부착된 적외선 포토 트랜지스터 등을 이용해 그 신호를 감지하는 것에 의해 구현할 수 있다.
(3) 총구에 카메라를 설치하고 방아쇠로 클릭 신호를 발생하도록 구성된 총을 이용하여 모니터에의 네 변에 설치된 광원들의 위치를 촬영하여 3차원 사격게임을 실행할 수 있다. 이 경우 문자 인식이나 패턴 인식 기술을 이용해서 도4a와 같은 360도 사방을 둘러싸는 화면 또는 도4b와 같은 초대형 화면에 게임 영상을 표시할 수 있다.
이상에서 설명한 실시예는 본 발명에 있어서의 기술적 사상의 구체적 구현예에 불과하므로 본 발명의 기술적 범위를 정함에 있어서 이 실시예에 국한되어서 해석되어서는 아니된다. 본 발명의 효력이 미치는 기술적 범위는 특허청구범위의 해석방법에 의해 합리적으로 정해져야 할 것이다.
본 발명에 의하면 대형 스크린 상에서 정확한 포인팅 기능을 발휘할 수 있고 다양한 용도로 활용할 수 있는 포인팅 장치를 제공할 수 있는 효과가 있다.
도1은 본 발명의 바람직한 일 실시예의 구성도
도2a는 모니터의 네 변에 부착된 다수의 광원을 정면에서 촬영한 영상
도2b는 카메라를 모니터 정면에서 수평이동한 상태에서 광원을 촬영한 영상
도3a은 카메라의 위치와 방향을 표시하기 위한 좌표계와 회전각을 표시하는 설명도
도3b는 카메라를 도3a에 표시된 z축을 중심으로 90° 회전한 상태에서 광원을 촬영한 영상
도3c는 카메라를 도3a에 표시된 y축을 중심으로 회전한 상태에서 광원을 촬영한 영상
도3d는 카메라를 도3a에 표시된 x축을 중심으로 회전한 상태에서 광원을 촬영한 영상
도3e는 본 발명을 사격 게임에 적용했을 경우의 총알의 궤적을 나타낸 설명도
도4a는 본 발명을 넓은 스크린에 적용한 실시예
도4b는 본 발명을 초대형 스크린에 적용한 실시예
도5는 본 발명에 따른 일 실시예의 적용례
<도면 주요부호의 설명>
23 적외선 광원, 23' 기준점 표시용 적외선 광원, 23" 스크린 식별용 적외선 광원 , 40 카메라, 41 적외선 필터, 50 모니터, 50' 프로젝션 스크린, 60 총알의 궤적, 65 영상 처리부, 70 마이크, 73 마이크 처리부, 75 음성 인식부, 80 영상 처리 및 포인터 위치 산출부

Claims (12)

  1. 컴퓨터의 모니터 상에서 이동하는 포인터의 위치좌표를 산출하는 포인팅장치가,
    상기 모니터 주위에 부착되어 적외선을 방출하는 다수의 광원과;
    사용자의 조작에 의해 촬영 위치와 방향을 바꿔가며 상기 광원을 촬영하는 이미지 센서를 이용한 카메라와;
    상기 카메라에 의해 촬영된 광원의 영상을 처리하여 카메라의 상대적 위치를 검출함으로써 포인터의 3차원 위치좌표 및 회전각을 산출하여, 산출된 위치좌표 데이터에 따라 포인터를 이동시키는 영상처리 및 포인터 좌표 산출부를 포함하는데,
    상기 영상처리 및 포인터 좌표 산출부는
    카메라가 촬영한 영상에 찍힌 광원이미지가 수평 또는 수직 이동한 픽셀 수를 검출함으로써 사용자가 카메라를 평행이동시킨 거리를 산출하고,
    촬영된 영상에서 광원이 이루는 도형의 크기의 차이에 의해 모니터와 카메라 사이의 거리(z 값)를 산정하며,
    촬영된 영상에서 수평선과 광원이 이루는 도형의 소정의 변이 이루는 각도를 측정함으로써 카메라의 z축을 중심으로 한 회전각도 롤(roll)값을 측정하고,
    사용자가 모니터의 정면으로부터 이동한 방위각 yaw 및 pitch는, 촬영된 영상에서 형태변형되어 찍힌, 광원이 이루는 도형의 각 변 간의 길이의 비를 측정하여 산정되는 것을 특징으로 하는, 카메라를 이용한 3차원 포인팅장치.
  2. 제1항에 있어서, 상기 모니터 주위에는
    모니터의 상하좌우를 구분하기 위한 기준점 표시용 적외선 광원이 추가로 포함되는, 카메라를 이용한 3차원 포인팅장치.
  3. 제1항에 있어서,
    상기 카메라는 TV 리모컨 형태로 구성되는 것을 특징으로 하는 카메라를 이용한 3차원 포인팅장치.
  4. 제1항에 있어서,
    상기 카메라는 머리에 부착하는 헤드기어 또는 헤드폰 형태로 구성되는 것을 특징으로 하는 카메라를 이용한 3차원 포인팅장치.
  5. 제1항에 있어서,
    상기 카메라는 총구에 부착되고 방아쇠에 클릭 버튼 기능을 추가하여 사격 게임용 총으로 이용할 수 있는 것을 특징으로 하는 카메라를 이용한 3차원 포인팅장치.
  6. 제1항에 있어서,
    컴퓨터 사용자의 음성신호를 처리하여 전기신호로 변환하고 증폭하는 마이크 및 마이크신호 처리부와, 이 마이크신호를 분석하여 사전에 약속된 명령어 데이터로 인식하고 이 명령어 데이터를 컴퓨터로 전달하는 음성인식부를 추가로 포함하여,
    컴퓨터 사용자의 음성에 따라 사전에 약속된 명령을 마이크에 대고 말하면, 마이크신호 처리부에서는 이 음성을 전기적 신호로 변환하고, 음성인식부에서는 음성을 인식하여 해당 명령어 데이터를 추출하여 컴퓨터로 전달함으로써, 컴퓨터가 해당 명령어를 실행하도록 하는 것을 특징으로 하는, 카메라를 이용한 3차원 포인팅장치.
  7. 스크린 상에서 이동하는 포인터의 위치좌표를 산출하는 포인팅 장치에 있어서,
    상기 스크린은 다수의 구역으로 나뉘어 각 구역마다 문자나 도형 등 의미있는 형상의 적외선 면광원이 다수 배치되고, 각 구역의 주변부에는 다수의 적외선 점광원이 배치되고,
    사용자의 조작에 의해 촬영 위치와 방향이 변화되어 상기 스크린의 면광원 및 점광원을 촬영하는 카메라가 구비되며,
    카메라에 의해 촬영된 구역의 면광원의 형상을 인식하여 그 의미에 따라 포인터가 위치하고 있는 구역을 결정하고, 결정된 구역의 주변부에 촬영된 점광원을 영상처리하여 포인터의 3차원 위치좌표와 회전각을 산출하며, 산출된 위치좌표 데이터에 따라 포인터를 이동시키는 영상처리 및 포인터 좌표 산출부를 포함하되, 이 영상처리 및 포인터 좌표 산출부는
    카메라가 촬영한 영상에 찍힌 점광원이 이루는 도형이 수평 또는 수직 이동한 픽셀 수를 검출함으로써 사용자가 카메라를 평행이동시킨 거리를 산출하고,
    촬영된 영상에서 점광원이 이루는 도형의 크기의 차이에 의해 모니터와 카메라 사이의 거리(z 값)를 산정하며,
    촬영된 영상에서 수평선과 점광원이 이루는 도형의 윗변이 이루는 각도를 측정함으로써 카메라의 z축을 중심으로 한 회전각도 롤(roll)값을 측정하고,
    사용자가 모니터의 정면으로부터 이동한 방위각 yaw 및 pitch는, 촬영된 영상에서 형태변형되어 찍힌, 점광원이 이루는 도형의 각 변간의 길이의 비를 측정하여 산정되는 것을 특징으로 하는, 카메라를 이용한 3차원 포인팅장치.
  8. 삭제
  9. 제7항에 있어서,
    상기 카메라는 TV 리모컨 형태로 구성되는 것을 특징으로 하는 카메라를 이용한 3차원 포인팅장치.
  10. 제7항에 있어서,
    상기 카메라는 머리에 부착하는 헤드기어 또는 헤드폰 형태로 구성되는 것을 특징으로 하는 카메라를 이용한 3차원 포인팅장치.
  11. 제7항에 있어서,
    상기 카메라는 총구에 부착되고 방아쇠에 클릭 버튼 기능을 추가하여 사격 게임용 총으로 이용할 수 있는 것을 특징으로 하는 카메라를 이용한 3차원 포인팅장치.
  12. 제7항에 있어서,
    컴퓨터 사용자의 음성신호를 처리하여 전기신호로 변환하고 증폭하는 마이크 및 마이크신호 처리부와, 이 마이크신호를 분석하여 사전에 약속된 명령어 데이터로 인식하고 이 명령어 데이터를 컴퓨터로 전달하는 음성인식부를 추가로 포함하여,
    컴퓨터 사용자의 음성에 따라 사전에 약속된 명령을 마이크에 대고 말하면, 마이크신호 처리부에서는 이 음성을 전기적 신호로 변환하고, 음성인식부에서는 음성을 인식하여 해당 명령어 데이터를 추출하여 컴퓨터로 전달함으로써, 컴퓨터가 해당 명령어를 실행하도록 하는 것을 특징으로 하는, 카메라를 이용한 3차원 포인팅장치.
KR20020024973A 2002-05-07 2002-05-07 카메라를 이용한 삼차원 포인팅장치 KR100532525B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20020024973A KR100532525B1 (ko) 2002-05-07 2002-05-07 카메라를 이용한 삼차원 포인팅장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20020024973A KR100532525B1 (ko) 2002-05-07 2002-05-07 카메라를 이용한 삼차원 포인팅장치

Publications (2)

Publication Number Publication Date
KR20030086792A KR20030086792A (ko) 2003-11-12
KR100532525B1 true KR100532525B1 (ko) 2005-11-30

Family

ID=32381798

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20020024973A KR100532525B1 (ko) 2002-05-07 2002-05-07 카메라를 이용한 삼차원 포인팅장치

Country Status (1)

Country Link
KR (1) KR100532525B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100758985B1 (ko) 2005-12-05 2007-09-17 삼성전자주식회사 유저인터페이스를 조작하는 영상 디스플레이 장치 및 그방법
KR100827233B1 (ko) 2006-02-10 2008-05-07 삼성전자주식회사 외부 노이즈에 강인한 포인팅 디바이스 및 이를 이용한사용자 인터페이스 구현 방법
WO2008147083A2 (en) * 2007-05-26 2008-12-04 Moon Key Lee Pointing device using camera and outputting mark
KR101054607B1 (ko) 2007-07-18 2011-08-04 이상범 영상처리에 의한 입체 다기능 마우스 시스템.
US9785253B2 (en) 2007-05-26 2017-10-10 Moon Key Lee Pointing device using camera and outputting mark

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4015051B2 (ja) * 2002-04-22 2007-11-28 松下電器産業株式会社 カメラ補正装置
KR100778927B1 (ko) * 2005-12-29 2007-11-22 엠텍비젼 주식회사 무접점 키 입력이 가능한 장치 및 그 인식 방법
KR100708875B1 (ko) * 2006-02-10 2007-04-17 (주)소프트가족 표시화면을 가리키는 포인터의 포인팅 위치를 산출하는장치 및 방법
KR100807845B1 (ko) * 2006-03-29 2008-02-27 중앙대학교 산학협력단 게임 인터페이스를 위한 적외선 엘이디 추적시스템 및추적방법
KR100844129B1 (ko) * 2006-09-13 2008-07-04 한국전자통신연구원 카메라를 이용한 마우스 인터페이스 장치, 이 장치에 의한시스템 및 방법, 그리고 이를 실현하기 위한 컴퓨터로 읽을수 있는 기록매체
KR100792326B1 (ko) * 2006-12-01 2008-01-07 (주)소프트가족 전자기기의 동작 조작용 인터페이스
WO2008075900A1 (en) * 2006-12-21 2008-06-26 Moon Key Lee 3d mouse using camera
KR101120018B1 (ko) * 2007-05-08 2012-03-23 삼성전자주식회사 디스플레이 장치를 원격으로 제어하는 방법 및 장치
KR101348346B1 (ko) 2007-09-06 2014-01-08 삼성전자주식회사 포인팅 장치, 포인터 제어 장치, 포인팅 방법 및 포인터제어 방법
KR100962486B1 (ko) * 2008-12-22 2010-06-14 곽계영 원격지의 광원의 움직임을 인식하여 2차원 포인팅을 수행하는 광 수신기
CN107329592B (zh) * 2017-05-17 2019-10-25 广州视源电子科技股份有限公司 位置指示方法、操作装置、显示装置与位置指示装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07281820A (ja) * 1994-04-11 1995-10-27 Alps Electric Co Ltd 座標検出装置
JPH10198506A (ja) * 1997-01-13 1998-07-31 Osaka Gas Co Ltd 座標検出システム
JP2000132306A (ja) * 1998-10-21 2000-05-12 Sony Corp 情報入力装置、情報入力方法及びゲーム装置
JP2000348198A (ja) * 1999-06-03 2000-12-15 Mitsubishi Electric Corp 表示制御装置
JP2001236181A (ja) * 2000-02-22 2001-08-31 Fuji Electric Co Ltd ポインティングデバイス

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07281820A (ja) * 1994-04-11 1995-10-27 Alps Electric Co Ltd 座標検出装置
JPH10198506A (ja) * 1997-01-13 1998-07-31 Osaka Gas Co Ltd 座標検出システム
JP2000132306A (ja) * 1998-10-21 2000-05-12 Sony Corp 情報入力装置、情報入力方法及びゲーム装置
JP2000348198A (ja) * 1999-06-03 2000-12-15 Mitsubishi Electric Corp 表示制御装置
JP2001236181A (ja) * 2000-02-22 2001-08-31 Fuji Electric Co Ltd ポインティングデバイス

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100758985B1 (ko) 2005-12-05 2007-09-17 삼성전자주식회사 유저인터페이스를 조작하는 영상 디스플레이 장치 및 그방법
KR100827233B1 (ko) 2006-02-10 2008-05-07 삼성전자주식회사 외부 노이즈에 강인한 포인팅 디바이스 및 이를 이용한사용자 인터페이스 구현 방법
WO2008147083A2 (en) * 2007-05-26 2008-12-04 Moon Key Lee Pointing device using camera and outputting mark
WO2008147083A3 (en) * 2007-05-26 2009-01-29 Moon Key Lee Pointing device using camera and outputting mark
US9785253B2 (en) 2007-05-26 2017-10-10 Moon Key Lee Pointing device using camera and outputting mark
KR101054607B1 (ko) 2007-07-18 2011-08-04 이상범 영상처리에 의한 입체 다기능 마우스 시스템.

Also Published As

Publication number Publication date
KR20030086792A (ko) 2003-11-12

Similar Documents

Publication Publication Date Title
KR100532525B1 (ko) 카메라를 이용한 삼차원 포인팅장치
US9600078B2 (en) Method and system enabling natural user interface gestures with an electronic system
EP2594895B1 (en) Object position and orientation detection system
US8971565B2 (en) Human interface electronic device
US8368647B2 (en) Three-dimensional virtual input and simulation apparatus
US8587520B2 (en) Generating position information using a video camera
US20100201808A1 (en) Camera based motion sensing system
JP6539816B2 (ja) １つのシングル・センシング・システムを使用したマルチ・モーダル・ジェスチャー・ベースの対話型のシステム及び方法
KR101809636B1 (ko) 컴퓨터 장치의 원격 제어
US8237656B2 (en) Multi-axis motion-based remote control
US20170068326A1 (en) Imaging surround system for touch-free display control
KR102147430B1 (ko) 가상 공간 멀티 터치 인터랙션 장치 및 방법
CN101730876A (zh) 使用相机和输出标记的指点装置
US9201519B2 (en) Three-dimensional pointing using one camera and three aligned lights
JP2006268582A (ja) ジェスチャによる情報機器の制御方法および制御システム
US20170168592A1 (en) System and method for optical tracking
WO2021190421A1 (zh) 基于虚拟现实的控制器光球追踪方法和虚拟现实设备
KR20030055411A (ko) 카메라를 이용한 포인팅장치
US20160011675A1 (en) Absolute Position 3D Pointing using Light Tracking and Relative Position Detection
KR20140071170A (ko) 손동작 기반 사용자 인터페이스를 지원하는 프로젝션 시스템 및 그 인터페이스 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120116

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee