KR20030034535A - 카메라를 이용한 포인팅장치 및 포인터 위치산출 방법 - Google Patents

카메라를 이용한 포인팅장치 및 포인터 위치산출 방법 Download PDF

Info

Publication number
KR20030034535A
KR20030034535A KR1020010066152A KR20010066152A KR20030034535A KR 20030034535 A KR20030034535 A KR 20030034535A KR 1020010066152 A KR1020010066152 A KR 1020010066152A KR 20010066152 A KR20010066152 A KR 20010066152A KR 20030034535 A KR20030034535 A KR 20030034535A
Authority
KR
South Korea
Prior art keywords
light source
camera
image
light
polarizing plate
Prior art date
Application number
KR1020010066152A
Other languages
English (en)
Inventor
이문기
Original Assignee
이문기
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이문기 filed Critical 이문기
Priority to KR1020010066152A priority Critical patent/KR20030034535A/ko
Publication of KR20030034535A publication Critical patent/KR20030034535A/ko

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/18—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical projection, e.g. combination of mirror and condenser and objective
    • G02B27/20—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical projection, e.g. combination of mirror and condenser and objective for imaging minute objects, e.g. light-pointer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 포인팅장치에 관한 것으로서, 보다 구체적으로는 움직이는 광원을 카메라로 촬영하여 광원의 위치를 검출하고 이 위치를 영상처리 프로그램에 의해 처리하여 GUI화면상에서 포인터의 위치좌표를 산출하는 포인팅장치 및 그 방법에 관한 것이다. 본 발명은 크게, 위치를 이동하는 광원과, 광원에서 발광하는 빛을 촬영하는 카메라와, 카메라로 촬영된 영상을 처리하여 광원의 위치를 검출하여 포인터의 위치좌표를 산출하는 영상처리 수단으로 구성된다. 여기에, 상기 광원과 카메라 사이에는 상기 광원으로부터 방사되는 빛을 분할하여 제1영상과 제2영상으로 카메라에 함께 입사시키는 광분할기가 추가로 포함될 수 있다.

Description

카메라를 이용한 포인팅장치 및 포인터 위치산출 방법{Pointing apparatus using camera and the method of computing pointer position}
본 발명은 포인팅장치에 관한 것으로서, 보다 구체적으로는 움직이는 광원을 카메라로 촬영하여 광원의 위치를 검출하고 이 위치를 영상처리 프로그램에 의해 처리하여 GUI화면상에서 포인터의 위치좌표를 산출하는 포인팅장치 및 그 방법에 관한 것이다.
포인팅장치는 컴퓨터 입력수단의 하나로서, 그래픽 이용자 인터페이스(GUI) 환경에서 입력수단으로 사용되는 마우스와 같이 컴퓨터 모니터의 화면상에서 포인터를 움직이면서 이 포인터의 위치를 선택함으로써 그에 해당하는 선택메뉴를 입력할 수 있는 장치를 총칭한다.
종래에 대표적인 포인팅장치로서 마우스를 들 수 있지만, 마우스는 컴퓨터에 케이블로 연결되므로 한정된 범위 내에서만 사용될 수 있을 뿐이다. 이를 개선하여 무선 마우스가 개발되었지만, 이 역시 무선통신 매체(전파, 적외선 등)가 통달되는 거리 내에서만 마우스를 사용할 수 있을 뿐이다. 또한, 종래의 마우스는 오른손 또는 왼손 중 어느 하나를 사용하여 조작하여야 하므로 키보드 입력작업과 병행할 경우에는 그 입력작업의 효율이 떨어지며 불편한 단점도 있다.
손을 사용하지 않고도 GUI화면상에서 포인터를 움직여 원하는 위치로 이동시킬 수 있는 장치를 연구하여, 본 발명자는 이용자가 컴퓨터 모니터를 바라보면서 작업을 하며 자신의 신체를 움직이기만 하면 포인터를 이동시킬 수 있는 장치 및 방법을 개발하였다. 이에 덧붙여 신체를 움직여 포인터를 이동시킬 수 있음과 동시에 육성으로 실행지시를 하면 음성인식 수단에 의해 이 육성명령을 인식하여 포인터가 위치해 있는 해당 메뉴를 실행할 수 있으며, 키보드의 특정 키를 마우스버튼 대신에 사용하거나 별도의 리모콘 장치에 본 발명을 구현할 수 있다.
도1은 본 발명의 가장 기본적인 시스템 구성도.
도2a는 본 발명의 기술적 사상을 나타내는 기본구성도.
도2b는 광분할된 제1영상과 제2영상을 나타내는 모식도.
도2c는 영상처리 프로그램에 의해 최종적으로 얻어진 광원영상.
도3은 본 발명의 제2실시예를 나타내는 구성도.
도4는 본 발명의 제3실시예를 나타내는 구성도.
도5a는 본 발명의 제4실시예에 사용되는 광원의 구성도.
도5b는 제4실시예의 광원의 작용원리도.
도5c는 제4실시예의 광원의 실제 구성도.
도5d~f는 제4실시예의 작용을 나타내는 모식도.
도5g는 제4실시예의 광원을 달리 구성한 실시예.
도6은 제5실시예의 개념적 구성도.
도7은 제6실시예의 개념적 구성도.
도8은 제7실시예의 개념적 구성도.
도9는 제8실시예의 개념적 구성도.
도10은 본 발명의 적용례중 하나를 나타내는 구성도.
도11은 본 발명의 다른 적용례를 나타내는 구성도.
<도면부호의 설명>
광원(10), 카메라(11), PC본체(12), 포인터(13), 광원측 편광판(14), 광분할기(15), 카메라측 제1편광판(16), 카메라측 제2편광판(16'), 제1영상(17), 제2영상(17'), 배경영상(18, 18'), 광원영상(19, 19'), 제1거울(20), 제1영상(21), 제2영상(21'), 제2거울(22), 반거울(23), 제1영상(24), 제2영상(24'), 온거울(25), 기준LED(26a~d, 26a'~d', 26a", 26b"), 포인터LED(27, 27', 27"), 제1영상(28), 제2영상(28'), 영상처리부(29), 마이크(30), 마이크신호 처리부(31), 음성인식부(32), 방아쇠(33), 모니터(34), 반사판(35), 카메라 제1렌즈(36a), 카메라 제2렌즈(36b), 영상센서(36c), LCD 모니터(37), 실버스크린(37'), 가시광 레이저(38), 빔도트(38a), 카메라측 편광판(39), 빔프로젝터(40), 빔프로젝터 편광판(41), 디스플레이(42), 디스플레이측 편광판(43), 반사필터(44)
<발명의 개요>
본 발명은 컴퓨터의 GUI 화면상에서 이동하는 포인터의 위치좌표를 산출하는 포인팅장치에 관한 것으로서, 위치를 이동하는 광원; 광원에서 발광하는 빛을 촬영하는 카메라; 카메라로 촬영된 영상을 처리하여 광원의 위치를 검출하여 포인터의 위치좌표를 산출하는 영상처리 수단으로 구성된다.
위에서, 상기 광원과 카메라 사이에는 상기 광원으로부터 방사되는 빛을 분할하여 제1영상과 제2영상으로 카메라에 함께 입사시키는 광분할기가 추가로 포함되는 것이 바람직하다.
또한, 상기 광원은 광원에서 방사되는 빛을 일축으로 편광시키는 광원측 편광판을 포함하고; 상기 광분할기는 상기 광분할기의 입사부에 설치되어, 상기 광원측 편광판과 동일한 편광축을 갖는 카메라측 제1편광판과, 상기 광원측 편광판과 90°로 엇갈린 편광축을 갖는 카메라측 제2편광판을 추가로 포함한다. 그리하여, 광원으로부터 방사된 빛이 광원측 편광판을 통과하면서 편광되어 광분할기로 입사되기 전에 카메라측 제1편광판은 통과하고 카메라측 제2편광판에서는 차단되어 광분할기에 입사되고, 광분할기에서 분할된 제1영상의 광원영상은 밝게 비추는 부분으로 촬영되고 제2영상의 광원영상은 어둡게 빛이 없는 부분으로 촬영되는 것이 바람직하다.
또한, 본 발명의 다른 특징을 보면, 상기의 구성에 덧붙여 마이크로 들어온 음성신호를 처리하는 마이크신호 처리부와, 음성신호를 인식하여 음성신호에 해당하는 명령어 데이터를 출력하는 음성인식부를 추가로 포함하여, 상기 광원을 움직여 컴퓨터의 GUI화면상에서 포인터의 위치를 고정하고 마이크에 대고 포인터의 위치에 해당하는 메뉴의 실행을 지시하면, 상기 음성인식부에서는 이를 인식처리하여 PC로 하여금 해당 메뉴를 실행하도록 하는 것을 특징으로 한다.
본 발명의 가장 기본적인 원리는, 도1에서와 같이 이용자의 안경이나 이마 등에 장착된 광원(10)에서 발광하는 빛을 컴퓨터 모니터 위에 설치된 카메라(11)로 촬영하여 PC본체(12)에 저장되어 있는(또는 카메라 내부의 마이크로 콘트롤러에 구현 되어 있는) 영상처리 소프트웨어에 의해 광원(10)의 위치를 검출하여 포인터(13)의 위치좌표를 산출하는 것이다. 그러나, 이와 같은 원리를 활용하여 포인팅장치를 구현하기 위해서는 다른 외부 광원 및 배경영상의 간섭에 의해 카메라가 광원(10)의 위치를 정확하게 검출하는 것이 곤란해지는 문제를 해결해야 한다.
이에 본 발명은 도2a와 같은 요소를 부가하여 완성되었다. 광원(10)의 앞에 광원측 편광판(14)이 설치된다. 도2a에서는 편광축이 y축 방향으로 설치된 것을 나타내고 있다. 카메라(11) 앞에는 광분할기(light splitter)(15)가 설치되는데, 광분할기(15)의 입사부에는 각각 편광축이 y축인 카메라측 제1편광판(16)과, 편광축이 x축인 카메라측 제2편광판(16')이 설치된다. 따라서, 광원(10)으로부터 방사된 빛은 광원측 편광판(14)을 통과하면서 y축으로 편광되어 광분할기(15)로 입사되기 전에 카메라측 제1편광판(16)은 통과하고 카메라측 제2편광판(16')에서는 차단되어 광분할기(15)에 입사된다. 여기에서, 편광판(16, 16')은 광분할기(15)와 카메라(11) 사이에 위치할 수도 있다. 즉, 광분할기(15)에서 광분할되어 출사되는 광이 상기 제1, 제2 편광판(16, 16')을 거쳐 카메라(11)에 입사되어도 도2a의 경우와 동일한 영상을 얻을 수 있다.
카메라(11)는 둘로 분할된 제1영상(17)과 제2영상(17')을 촬영하게 되는데, 도2b에서와 같이, 촬영된 영상에 있어서 배경영상(18, 18')은 편광되지 않은 것이므로 제1영상(17)이나 제2영상(17')이나 그 이미지 및 밝기가 동일하다고 볼 수 있지만, 광원영상(19, 19')은 제1영상(17)의 경우에는 밝게 비추는 부분(19)으로 촬영되고 제2영상(17')의 경우에는 어둡게 빛이 없는 부분(19')으로 촬영된다. 카메라(11)로부터 얻어진 두 영상은 통상의 영상처리 프로그램에 의해 영상처리된다.
영상처리 프로그램은 공지된 기술이다. 배경영상(18, 18')은 제1영상과 제2영상이 동일하므로 밝기의 변화가 없지만 광원영상(19, 19')은 제1영상과 제2영상이 확연하게 대비되므로, 광원(10)이 움직임에 따라 광원(10)에 해당되는 화소의 밝기의 차이는 배경영상과는 달리 제1영상과 제2영상에 있어서 분명한 휘도차이를 보이게 된다. 따라서 광원(10)이 움직임에 따라 그 차이는 용이하게 검출될 것이다. 즉, 촬영된 영상으로부터 배경영상을 제거하고 얻은 광원의 영상으로부터 광원의 위치를 알아내어 PC의 포인터처리 알고리즘에 의해 처리하여 포인팅기능을 실현할 수 있다.
영상처리 알고리즘에 관해 도2b를 참조하여 보다 구체적으로 설명한다. 도2b는 광원(10)을 안경에 장착한 사용자를 카메라(11)가 촬영한 제1영상(17)과 제2영상(17')을 나타낸 것이다. 도2b에서 제1영상(17)과 제2영상(17')의 영상폭은 W로 동일하다. 또, 반복하지만, 제1영상(17)에서는 광원으로부터의 빛이 편광판을 통과하여 밝은 부분(19)으로 촬영되고 제2영상(17')의 경우에는 광원으로부터의 빛이 편광판에 의해 차단되어 어두운 부분(19')으로 촬영된다. 광원영상(19, 19')을 제외한 나머지 배경은 제1영상(17)과 제2영상(17') 대부분의 위치에서 동일하다. 도2b에서 광원영상(19, 19')의 위치 (x,y)과 (x',y)에서의 이미지값(픽셀값)을 각각 Img(x,y), Img(x',y)라 하고 배경영상중 임의의 위치 (x1,y1), (x1',y1)에서의 이미지값을 각각 Img(x1,y1), Img(x1',y1)이라 정의하면, 이들 사이의 관계는 다음과 같이 나타낼 수 있다. 여기서 픽셀값은 흑백 영상의 경우 어두운 점일수록 0에 가까운 값이고, 밝은 점일수록 255에 가까운 값이다.
Img(x1,y1) = Img(x1',y1) 단, x1'= x+W
또한 x1'은 x1보다 W만큼 큰 값이다. 이를 물리적으로 설명하면 다음과 같다. 제1영상(17)을 x축 방향으로 W만큼 평행이동하면 우측의 제2영상(17')과 대부분의 영역이 겹치게 된다. 즉 Img(x1,y1)-Img(x1',y1)값은 광원영상이 위치한 영역을 제외한 거의 모든 점에서 영(0)이 된다. 반면에 광원영상의 경우에는 제1,제2영상에서 값이 서로 다르다. 즉 Img(x,y)-Img(x',y)의 절대값인 |Img(x,y)-Img(x',y)| 값이 0보다 큰 값이 된다. 따라서 제1영상과 제2영상의 영상차이(Image Difference, DImg)를
DImg(x,y) = |Img(x,y)-Img(x',y)|
라고 정의하면, DImg(x,y) 값은 대부분의 영역에서는 0이거나 0에 가까운 값이 되지만 광원영역과 일부 영역에서는 0보다 큰 값이 된다.
광원영역 이외의 일부 영역에서 DImg(x,y)가 0보다 큰 값을 갖는 이유는 다음과 같다. 사람이 고정된 위치에서 고정된 공이나 상자처럼 부피가 있는 사물을 볼 때 오른쪽 눈만으로 보았을 때와 왼쪽 눈만으로 보았을 때와는 그 모양이 약간 다르게 된다. 이는 오른쪽 눈과 왼쪽 눈 사이의 거리가 있기 때문에 오른쪽 눈으로 보면 사물의 오른쪽 면이 더 많이 보이고 왼쪽 눈으로 보면 사물의 왼쪽 면이 더 많이 보이기 때문이다. 이와 같은 현상은 본 발명에서 광분할기를 이용해서 하나의 사물로부터 두 개의 영상을 얻을 때에도 일어난다. 즉, 위에서 설명한 좌우 이미지(제1영상과 제2영상)는 대부분의 영역에서 겹치지만 완전히 겹치지는 않는 것이다. 그렇기 때문에, 광원영역(제1영상과 제2영상에 있어서 확연하게 대비되는 픽셀값을 갖는 영역임)이 아닌 일부 다른 영역에서도 위의 DImg(x,y) 값이 0이 아닐 수 있다.
이런 현상을 막기 위하여 다음과 같이 영상보정을 할 수 있다. 즉 제1영상과 제2영상에서의 픽셀값 차이를 구할 때 제1영상의 한 점 (x,y)와 이에 대응하는 제2영상의 한 점 (x',y)사이의 픽셀값 차이를 구하는 대신에, 제1영상의 한 점 (x,y)와 이에 대응하는 제2영상의 한 점 (x',y)의 인근 점들 (x",y)의 픽셀값 차이를 구해서 그 중 최소값을 구하면 된다. 즉, 제1영상과 제2영상의 픽셀값 차이 DImg(x,y)를 아래와 같이 정의하면 된다.
DImg(x,y) = min |Img(x,y)-Img(x",y)|
단, x'-a≤x" ≤x'+a, x'=x+W, 0≤x ≤W
이를 풀어서 설명하면 다음과 같다. 제1영상의 좌표 (x,y)의 픽셀값 Img(x,y)와 제2영상의 좌표 (x",y)의 픽셀값 Img(x",y)의 차이의 절대값 중 최소값을 제1,제2영상의 차이값 DImg(x,y)로 한다. 여기서 x" 는 x'를 중심으로 좌우 a만큼의 거리 안에 있는 모든 값이다. 즉, x'-a ≤x" ≤x+a 이다. 그리고 a는 W보다 작은 임의의 값이다. 이 a값은 실험을 통해서 조금씩 바꿔가면서 최소의 계산시간에 최적의 결과를 구할 수 있는 값으로 결정하면 된다. 경험상으로 a값은 대략 W/20 이하인 것이 바람직하다. 이렇게 정의된 DImg(x,y)값을 모든 x, y에 대해서 계산하면 계산된 그 값이 임계값 이상인 영역이 광원이 있는 곳에 해당한다. 도2c는 이와 같이 구한 DImg(x,y)를 그림으로 나타낸 것이다. 광원 부분만 밝고 나머지 부분은 어둡게 되어 있음을 알 수 있다.
이하, 도2a~c에서 설명한 본 발명의 개념을 구체화한 여러가지 실시예에 대해서 설명한다.
<제1실시예>
도2a와 같이 구성되는 본 발명을 구체화하기 위하여, 광원(10)으로서 발광다이오드(LED)를 사용하였고 LED를 컴퓨터 이용자의 안경에 부착하였다. 또한, 카메라(11)로서는 PC용 CCD카메라 또는 CMOS카메라를 사용하였고, 광분할기(15)로는 삼각 프리즘을 사용하였다.
<제2실시예>
제1실시예의 광분할기로서 사용된 삼각 프리즘(15) 대신에 도3과 같이 두 개의 거울(20, 22)을 광분할기로서 사용할 수 있다. 도3과 같이 제1거울(20)과 제2거울(22)을 마주보게 소정 각도로 설치하여 광원(10)으로부터 방사된 빛이 반사되어 카메라(11)에 입사되도록 할 수 있다. 제1거울(20)에서 반사된 빛은 제1영상(21)을형성하고 제2거울(22)에서 반사된 빛은 제2영상(21')을 형성하여 카메라(11)에 입사된다. 물론, 제1영상(21)과 제2영상(21')이 카메라측 제1편광판(16)과 카메라측 제2편광판(16')에 의해서 서로 90°의 편광차를 가짐은 도2a~c에서 설명한 것과 같다.
<제3실시예>
제3실시예에서는 제1, 제2실시예와 달리 광분할기로서 삼각프리즘이나 거울을 사용하지 않고, 도4와 같이 구성되는 반거울과 온거울을 이용하여 광분할기를 구현하였다.
도4에서, 광원(10)으로부터 방사되어 편광된 빛은 반거울(23)에서 일부반사되어 제1영상(24)을 형성하고, 반거울(23)에서 일부투과된 빛은 온거울(25)에서 반사되어 제2영상(24')을 형성한다. 따라서, 카메라(11)에서 촬영하는 제1영상(24)과 제2영상(24')은 동일한 각도의 광로로 도달되어 좌우 시차가 없는 영상이 된다. 다만, 본 제3실시예에서는 제1영상(24)과 제2영상(24')과의 좌우 시차는 없지만, 광원(10)으로부터 카메라(11)까지의 거리는 반거울(23)과 온거울(25) 사이의 거리 d만큼의 차이를 갖기 때문에 제2영상(24')이 제1영상(24)보다 작아진다. 즉, 전후 시차가 있다. 이를 보정하기 위해서 영상처리 프로그램에 의해 제2영상(24')의 크기를 제1영상(24)과 동일한 크기로 확대해 주어야 한다. 이는 영상처리 분야의 당업자가 용이하게 실시할 수 있다.
본 실시예에서의 시차보정 알고리즘의 구체적인 설명은 다음과 같다. 광원으로부터 나온 빛은 편광판을 통과한 후 반거울(23)에서 50%가 반사되고 나머지 50%는 반거울(23)을 통과해 온거울(25)에서 반사된다. 반거울(23)과 온거울(25)에서 반사된 빛은 각 해당 편광판(24, 24')을 통과하고 카메라(11)의 제1렌즈(36a)와 제2렌즈(36b)를 통해서 카메라(11) 내의 영상센서(36c에 도달한다. 즉 하나의 영상센서(36c)에 두 개의 렌즈(36a, 36b)가 나란히 부착된 형태의 카메라(11)가 사용된 것이다. 그러면 영상센서(36c)로 촬영한 이미지에는 좌측의 제1영상(24)과 우측의 제2영상(24')이 나타나게 된다. 반거울(23)을 통해 본 제1영상(24)과 온거울(25)을 통해 본 제2영상(24')의 차이는 반거울(23)이 온거울(25)보다 광원(10)에 더 가깝게 위치하고 있기 때문에 생긴다. 즉 반거울(23)을 통해본 이미지는 온거울(25)을 통해본 이미지에 비해서 광원(10)을 좀더 가까운 위치에서 촬영한 셈이 된다. 즉 반거울(23)을 통해 얻어진 제1영상(24)을 적당히 축소시키면 온거울(25)을 통해 얻어진 제2영상(24')과 완전히 겹치게 된다. 반대로, 온거울(25)을 통해 얻어진 제2영상(24')을 적당히 확대시키면 반거울(23)을 통해 얻어진 제1영상(24)과 완전히 겹치게 된다. 즉 촬영한 영상 중 어느 하나를 적절히 축소 또는 확대한 후 앞에서 설명한 제1,제2영상의 차이값 DImg(x,y) = |Img(x,y)-Img(x',y)|를 산출하면 광원의 현재 위치를 알아낼 수 있다.
<제4실시예>
앞의 제1~3실시예에서는 광원(10)으로서 LED 한 개의 단일광원을 사용하였다. 그러나 이 경우에는, 컴퓨터 모니터의 모든 영역에서 포인터를 이동시키기 위해서 광원(10)을 이동시켜야 하는 범위가 커져야 하므로 인체의 머리를 이용하여 사용시에 불편함이 컸다. 예를 들어, 눈으로 모니터를 바라보는 위치와 다르게 머리를 상하 또는 좌우로 크게 움직여줘야 하는 일이 생기게 되어 이용자가 컴퓨터 작업시 자연스럽게 포인터를 움직이기가 어려운 문제점이 있다. 본 제4실시예는 이러한 문제를 해소하기 위한 것으로서, 도5와 같이 광원을 구성하였다.
도5a에서와 같이, 본 실시예에서는 총 5개의 LED가 광원으로서 사용되었다. 도5a의 (가)는 광원의 사시도이고 (나)는 측면도이다. 4각형 기판의 각 모서리 부근에 기준LED(26a,b,c,d)가 낮게 장착되고 그 중앙부에 포인터LED(27)가 높게 장착되어 있다. 따라서, 도5a의 광원은 전체적으로 사각뿔(오면체) 형상을 하고 있다. 도5a에서는 하나의 실시예로서 기준LED(26a,b,c,d)를 동일한 높이로 장착하고 그 중앙부에 포인터LED(27)를 높게 장착한 것으로 설명되어 있지만, 본 실시예에서 반드시 이에 한정되는 것은 아니다. 예를 들어, 기준LED(26a,b,c,d)를 동일한 높이로 장착하고 그 중앙부의 포인터LED(27)를 기준LED(26a,b,c,d)보다 낮게 장착해도 본 실시예에서는 동일하게 작용할 수 있다. 작용은 이후 설명된다.
도5b는 도5a의 광원을 이용하는 원리를 나타낸 것이다. (가)에서와 같이 광원의 포인터LED(27)가 정면을 향하고 있을 때에는 포인터LED(27)와 각 기준LED(26a,b,c,d)와의 거리가 모두 동일하다. 그러나, (나)와 같이 광원의 포인터LED(27)가 기준LED(26a,b,c,d)보다 높거나 낮기 때문에, 광원이 약간만 움직이게 되면 카메라로 촬영된 영상 내에서 포인터LED(27)와 각 기준LED(26a,b,c,d)와의 거리는 모두 달라지게 된다. 이를 이용하여 기준위치로부터 포인터LED(27)의 위치 변이를 검출해낼 수 있다. 본 제4실시예에서는 기준LED(26a,b,c,d)가 이루는 공간 내에서 움직이는 포인터LED(27)의 이동을 검출하여 포인터의 위치를 산출하므로 상기제1~3실시예에서보다 광원의 움직임이 미소하더라도 컴퓨터 모니터 전영역에서의 포인터 위치를 모사할 수 있게 된다.
도5c와 도5d~f는 도5a와 같이 구성되는 광원을 이용하여 실제로 본 발명의 사상을 구현하기 위한 구성도를 나타낸다. 도5c와 같이 광원의 기준LED(26a,b,c,d)와 포인터LED(27)를 서로 90°의 편광축으로 엇갈리게 편광하여 방사하고 광분할기(도5c에서는 도시 안했음)에서 각각 다른 편광축으로 편광되도록 광분할하여 도5d~f와 같은 제1영상(28)과 제2영상(28')을 형성하여 영상처리 프로그램으로 영상처리하는 것을 나타낸다. 도5d~f에서 제1영상(28)의 LED이미지와 제2영상(28')의 LED이미지가 반대로 형성되어 확연히 대비됨을 알 수 있다.
도5d~f를 참조하여 본 실시예에 따른 포인팅장치의 동작을 설명한다. 도5d는 도5a 또는 도5c와 같이 구성되는 광원을 착용한 이용자가 카메라를 정면으로 바라본 경우의 촬영영상이다. 기준LED(26a,b,c,d 및 26a',b',c',d')가 이루는 공간 내의 정중앙에 포인터LED(27, 27')가 위치해 있다. 이 경우에 영상처리 프로그램은 포인터LED(27, 27')의 위치를 검출하여 현재의 포인터위치를 산출하게 된다. 한편, 도5e는 이용자가 고개를 들어서 카메라보다 위를 바라본 경우의 영상을 나타낸다. 기준LED(26a,b,c,d 및 26a',b',c',d')가 이루는 공간 내에서 포인터LED(27, 27')가 위쪽으로 치우쳐 있음을 알 수 있다. 마찬가지로 영상처리 프로그램은 포인터LED(27, 27')의 위치를 검출하여 포인터위치의 변화를 산출하게 된다. 한편, 도5f는 이용자가 고개를 자신의 오른쪽으로 돌려서 카메라의 오른쪽(카메라를 정면에서 볼 때의 오른쪽)을 바라본 경우의 영상을 나타낸다. 포인터LED(27, 27')가 이용자의 오른쪽으로 치우쳐 있음을 알 수 있다. 이상에서와 같이 본 제4실시예에 따르면, 이용자가 머리를 움직여서 광원이 향하는 방향이 바뀌면 촬영된 이미지에서 중앙의 포인터LED(27)와 주변의 기준LED(26a,b,c,d)의 상대 위치가 바뀐다. 그 상대위치를 측정하면 사용자가 어느 방향으로 얼마나 고개를 돌렸는지를 알아낼 수 있다.
본 실시예에서 포인터LED(27)는 4개의 기준LED(26a,b,c,d)가 이루는 공간내에서 그 위치변화가 검출되는 것이므로, 도2b의 경우와 같이 전체 영상(17 또는 17')에서의 광원(19)의 위치변화를 검출하는 것보다 위치변화율이 더 클 필요가 없기 때문에 사용이 편리해진다. 물론, 도5d와 같이 편광판에 의해 대비되는 한 쌍의 광원 영상을 취하는 이유는 배경영상의 휘도 차이에 의한 광원위치 검출의 오류를 없애기 위한 것이다. 이는 앞에서 도2a,b를 참조하여 설명한 것과 같다.
한편, 지금까지는 기준LED로서 26a,b,c,d의 네 개를 이용하여 포인터LED(27)의 위치변화를 검출하였지만, 기준LED가 반드시 네 개로 한정되는 것은 아니다. 예를 들어, 도5g와 같이 일직선상에 2 개의 기준LED(26a", 26b")를 설치하고 그 무게중심 위치에 포인터LED(27")를 기준LED(26a", 26b")보다 높거나 낮게 설치하여도 된다. 두 개의 기준LED(26a", 26b")의 무게중심과 중앙의 포인터LED(27") 위치의 상대위치로 포인터 좌표를 바꿔주면 되기 때문이다. 이 경우의 적용방법 및 동작원리는 도5c~f에서 설명한 것과 같다. 마찬가지로 도면으로 표시하지는 않았지만, 기준LED를 3개 설치한 삼각형의 공간 중심에 포인터LED를 위치시켜도 마찬가지이다.
<제5실시예>
앞의 제1~4실시예에서는 광원으로서 LED를 사용하였다. 본 제5실시예는 LED를 사용하지 않고도 본 발명의 기술적 사상을 구현할 수 있는 실시예이다. 도6을 참조하여 설명한다. 도6에서, LED 대신에 일반 조명 또는 태양광(10')을 사용하고 있고, 조명 또는 태양광(10')에서 방사되는 빛이 반사판(35)에 의해 반사되어 광원측 편광판(14')을 통해 일측으로 편광되어 광분할기(15')에서 2개의 영상으로 분할되고 카메라(11')에 의해 촬영된다. 광분할기(15')의 구성은 앞의 실시예들에서 설명한 것과 동일하다. 즉, 광원측 편광판(14')에서 편광된 빛을 광분할기(15')의 카메라측 제1편광판과 제2편광판(도2a의 "16"번 참조)에서 통과 또는 차단시켜 카메라(11')로 촬영한 두 개의 영상을 앞에서 설명한 영상처리 알고리즘에 의해 처리하여 반사판(35)의 위치 이동을 검출함으로써 포인터의 위치산출을 하는 것이다. 본 제5실시예에서는 광원 자체가 이동하는 것은 아니지만 고정된 광원(10')에서 방사된 빛을 반사하는 반사판(35)의 위치이동을 이용한 점에서 LED가 필요없다. 본 실시예는 컴퓨터 이용자의 안경을 이용하여 보다 더 간소화할 수 있다. 예를 들어, 도6의 반사판(35)을 대신하여 안경 뒷부분의 눈 주변의 피부 또는 눈동자가 반사판 역할을 할 수 있으므로 안경알에 편광판을 부착하여 광원측 편광판(14')을 구현하면, 자연광이 피부나 눈동자에 반사되어 안경알에 부착된 편광판 또는 편광렌즈 안경을 통과하여 카메라에 촬영되고, 광분할기에서 분할된 한쪽 영상에는 검은색 선그라스처럼 안경이 검게 보이고 다른쪽 영상은 보통의 투명한 유리안경처럼 보일 것이다. 이용자는 간편하게 안경을 쓰고 얼굴을 원하는 포인터의 위치로 이동함으로써 포인터의 위치를 변화시킬 수 있다.
<제6실시예>
제6실시예는 가시광 레이저와 일반 카메라를 이용한 포인팅장치의 실시예이다. 종래에 적외선 레이저와 적외선 카메라를 이용한 포인팅장치가 있다. 본 제6실시예에서는 이와 유사한 기술을 이용하지만, 적외선 카메라보다 훨씬 대중화되어 있는 일반 가시광선 카메라와 LCD 모니터의 편광성을 이용한 포인팅장치이다.
도7에서와 같이, PC의 출력장치인 LCD 모니터(37)의 화면에 가시광 레이저(38)가 레이저광을 조사하고 있다. LCD 모니터(37)의 화면은 카메라(11')가 촬영하고 있는데, 카메라(11')의 앞에는 카메라측 편광판(39)이 설치되어 있다. 기본적으로 LCD 모니터에서 나오는 영상은 일축으로 편광되어 있다. 반면에 레이저(38)에서 방사되어 모니터 화면에 맺힌 영상은 편광되어 있지 않다. 따라서, 카메라측 편광판(39)이 LCD 모니터(37)의 영상을 차단하는 방향으로 편광축을 갖도록 설치하면, 모니터 화면에 맺힌 레이저 영상은 카메라(11')로 포착되지만 모니터 화면 자체의 영상은 차단되어 카메라(11')에 포착되지 않는다. 즉, 카메라(11')로 촬영한 영상은 전체적으로 어두운 배경에 레이저 광원만이 밝은 점으로 위치하고 있는 영상이 된다. 영상처리 프로그램을 이용하여 영상 중에서 가장 밝은 점의 위치를 찾으면 그 점이 곧 레이저가 지시하고 있는 위치가 될 것이다. 이렇게 레이저 광원의 위치를 검출하여 영상처리 알고리즘을 적용하면 레이저 광원의 위치 이동에 상응하는 방향으로 포인터의 위치변화가 산출될 수 있다. 본 실시예는 특히 LCD 모니터를 사용하는 이용자에게 매우 간단한 포인팅장치가 될 수 있는데, 이용자의 신체(안경, 머리띠 등)나 로봇 이동체에 레이저 방사기를 부착하고 카메라(11')를 이용자측에서 모니터를 촬영할 수 있는 위치에 설치하기만 하면, 촬영영상을 둘로 분할하는 광분할기가 필요없고 광원측 편광판이 필요없기 때문에, 이왕에 LCD 모니터를 사용하고 있는 이용자에게는 앞의 제1~5실시예의 경우보다 매우 간단하고 저렴한 포인팅장치를 제공할 수 있게 된다.
<제7실시예>
제7실시예도 상기 제6실시예와 같은 원리를 이용하고 있다. 제6실시예와 구현방법상 다른 점은, PC의 출력장치인 LCD 모니터(37) 대신에 빔프로젝터를 이용하여빔프로젝터에 의해 PC의 GUI 화면이 특수한 스크린(37')에 투영된다는 것이다. 여기서 특수한 스크린이라 함은 편광된 빛을 반사할 때에 그 빛의 편광상태를 유지하는 특성을 갖는 것이라야 한다. 예를 들면 입체영상을 투영할 때 쓰이는 실버스크린이 있다. 실버스크린(37')에 화면 영상을 투영할 때에는 빔프로젝터에서 출사되는 영상이 편광되도록 빔프로젝터 편광판(도8의 41)을 사용한다. 물론, 가시광 레이저(38)와 가시광 카메라(11') 및 카메라측 편광판(39)은 동일하게 사용된다. 도면을 참조하여 구체적으로 설명한다.
도8에서와 같이, PC의 출력장치인 빔프로젝터(40)의 렌즈 앞에 수직의 편광축을 갖는 빔프로젝터 편광판(41)이 설치되어 있다. 따라서, 실버스크린(37')에 투영되는 영상은 수직으로 편광되어 투영된다. 따라서, 실버스크린(37')에서 반사되어 이용자의 눈에 비치는 영상은 편광을 유지하고 있게 된다. 한편, 제6실시예와 같이 실버스크린(37')에 가시광 레이저(38)가 레이저광을 조사하고 있다. 실버스크린(37')의 화면은 카메라(11')가 촬영하고 있는데, 카메라(11')의 앞에는 빔프로젝터 편광판(41)과 90°엇갈린 편광축을 갖는 카메라측 편광판(39)이 설치되어 있다. 따라서, 카메라측 편광판(39)은 실버스크린(37')에서 반사되는 빛은 차단하지만, 편광되어 있지 않은 가시광 레이저(38)의 빔도트(38a)는 통과시켜서 촬영하고, 촬영된 영상(현재 실버스크린(37')에 비추고 있는 레이저빔 도트의 위치만 밝고 나머지 배경은 어두운 영상)을 PC에 전송하여 포인터의 위치(레이저 빔도트의 위치)를 산출토록 한다.
본 제7실시예는 특히 빔프로젝터를 이용한 브리핑이나 프리젠테이션에 유용하게 이용될 수 있다. 즉, 설명자는 종래와 같이 PC의 모니터를 가리키면서 포인터를 움직일 필요없이, 보급되어 있는 레이저 포인터 등을 이용하여 스크린만을 가리키는 것에 의해 포인터의 이동 및 실행을 용이하게 수행할 수 있다.
<제8실시예>
제8실시예도 상기 제6 및 제7실시예와 같은 원리를 이용하고 있다. 제6실시예와 구현방법상 다른 점은, PC의 출력장치인 LCD 모니터(37) 대신에 편광성이 없는 일반 디스플레이(42)를 이용하고 화면 앞에 디스플레이측 편광판(도9의 43)을 설치하는 것이다. 그리고 다시, 디스플레이측 편광판(43)의 앞에는 반사필터(44)를 설치한다. 가시광 레이저(38)와 가시광 카메라(11') 및 카메라측 편광판(39)은 제6실시예와 동일하게 사용된다. 도면을 참조하여 구체적으로 설명한다.
도9에서와 같이, PC의 출력장치인 비편광성 디스플레이(일반 CRT 모니터가 이에 포함됨)(42)의 화면 앞에 수직의 편광축을 갖는 디스플레이측 편광판(43)이 설치되어 있다. 따라서, 디스플레이(42)에서 출력되는 GUI 화면영상은 수직으로 편광되어 표시된다. 디스플레이(42)의 화면은 카메라(11')가 촬영하고 있는데, 카메라(11')의 앞에는 디스플레이측 편광판(43)과 90°엇갈린 편광축을 갖는 카메라측 편광판(39)이 설치되어 있다. 따라서, 카메라측 편광판(39)은 디스플레이(42)에서 발하는 영상을 포착할 수 없지만, 이용자의 눈으로는 디스플레이(42) 화면에 표시되는 영상을 볼 수 있다.
본 제8실시예에서는 가시광 레이저(38)가 직접 편광판(43)에 조사되고 있지 않고 디스플레이측 편광판(43) 앞에 설치된 반사필터(44)에 조사되고 있다. 그 이유는 디스플레이측 편광판(43)의 표면이 매끄럽기 때문에 레이저광이 산란되지 않아 카메라(11')로 레이저빔도트를 포착할 수 없기 때문이다. 반사필터(44)로는 편광된 디스플레이 영상을 통과시켜서 이용자가 볼 수 있게 하고 레이저가 조사된 부분(빔도트)이 밝게 빛나게 해주는 것이면 어떤 것이든 사용가능하다. 예를 들어, 미세한 망구조의 판을 사용하여, 디스플레이 화면이 투과되고 레이저빔은 망에서 반사되도록 할 수 있다(이 경우에는 망의 그물눈 크기가 레이저의 빔도트보다 작아야 한다). 이 밖에 투명 아크릴판에 인광 또는 형광물질이나 빛을 산란시키는 미세한 은입자를 도포해서 레이저빔이 닿는 부위만 밝게 빛을 발하도록 하여 이용할 수도 있다. 이와같이, 레이저 빔도트(38a)는 카메라(11')에 포착되어 촬영되고 디스플레이 영상은 어두운 배경으로 촬영되므로 이 촬영된 영상을 앞에서 설명한 영상처리 알고리즘에 의해 처리하여 포인터의 위치(레이저 빔도트의 위치)를 산출할 수 있음은 당연하다.
<본 발명의 적용례>
지금까지 설명한 본 발명의 다양한 실시예들은 다음과 같이 적용될 수 있다.
(1) 도8과 같이 음성인식모듈과 결합되어 양손이 포인팅장치로부터 완전히 자유로와질 수가 있다. 즉, 위에서 설명한 것과 같이, 안경 등에 부착된 광원(10)과 이를 촬영하는 카메라(11) 및 영상처리부(29)에 의해 포인터의 위치를 산출함과 동시에, 마이크(30)로 들어온 음성신호를 마이크신호 처리부(31)에서 처리하고 음성인식부(32)에 의해 사전에 약속된 데이터로 처리할 수 있다. 예를 들어, 광원이 부착된 안경을 쓰고 머리를 움직여 광원(10)을 이동시켜서 GUI 상에서 포인터의 위치를 고정하고 마이크(30)에 대고 "더블클릭"이라고 말하면 음성인식부(32)에서는 이를 인식처리하여 PC로 하여금 더블클릭을 실행하도록 할 수 있다. 이 밖에 "좌측버튼" 또는 "우측버튼" 등과 같은 음성명령도 구현가능하다.
(2) 본 발명에 따른 포인팅장치를 리모콘과 같은 형식으로 제작하여 프리젠테이션이나 강의 등에 응용할 수 있다. 이를 위해서는 광원의 움직임에 따라 포인터의 위치좌표를 산출하는 것과 함께, 실행버튼(실행버튼 뿐만 아니라 마우스의 좌우측 버튼 등도 포함됨)도 리모콘상에 구현해야 한다. 실행버튼의 구현 또한 앞에서 설명한 것과 같이 광원과 카메라에 의해 이룰 수 있다. 즉, 포인터 위치좌표용 광원과 별도로 실행버튼용 광원을 설치하여 이 실행버튼이 점등된 경우를 카메라가 감지하면 영상처리 프로그램에 의해 이 실행버튼이 점등된 경우에 포인터가 위치해 있는 메뉴가 실행되도록 처리할 수 있다.
(3) 실행버튼을 상기 리모콘상에 구현하는 것과 유사하게, 일반 키보드의 특정 키를 실행버튼으로 할당하여 특정 키가 턴온된 경우에 포인터가 위치해 있는 해당 메뉴를 실행하도록 처리할 수 있다.
(4) 도9와 같이 총구에 광원(10)을 설치하고 방아쇠(33)로 광원(10)을 점멸하도록 장착된 총을 이용하여 모니터(34)에 설치된 카메라(11)로 광원(10)의 위치와 점등에 따라 사격게임을 실행할 수 있다.
(5) 본 발명의 일구성요소인 광원을 이용자의 안경이나 머리 등에 붙여서 포인팅장치로 이용할 수 있지만, 이 밖에도 로봇 등의 기계장치에 부착해서 그 기계장치의 움직임을 이용해서 컴퓨터 화면상의 포인터 위치를 이동시킬 수 있으므로 각종 산업현장 또는 조립라인 등에 적용할 수 있다.
이상에서와 같이 본 발명의 포인팅장치에 따르면, 양손이 자유로운 상태에서 간편하게 포인터의 위치를 이동시킬 수 있고, 육성 또는 별도의 버튼에 의해 해당 메뉴의 실행을 지시할 수 있다. 따라서 본 발명은 키보드 작업, 생산라인에서의 검사공정, 장애인의 컴퓨터 작업 등에 유용하다. 또한, 각종 컴퓨터게임에 유용하다.

Claims (29)

  1. 컴퓨터의 GUI 화면상에서 이동하는 포인터의 위치좌표를 산출하는 포인팅장치로서,
    위치를 이동하는 광원,
    광원에서 발광하는 빛을 촬영하는 카메라,
    카메라로 촬영된 영상을 처리하여 광원의 위치를 검출하여 포인터의 위치좌표를 산출하는 영상처리 수단으로 구성되는 것을 특징으로 하는, 카메라를 이용한 포인팅장치.
  2. 청구항 1에서, 상기 광원과 카메라 사이에
    상기 광원으로부터 방사되는 빛을 분할하여 제1영상과 제2영상으로 카메라에 함께 입사시키는 광분할기가 추가로 포함되는, 카메라를 이용한 포인팅장치.
  3. 청구항 2에서,
    상기 광원은 광원에서 방사되는 빛을 일축으로 편광시키는 광원측 편광판을 포함하고;
    상기 광분할기는 상기 광분할기의 입사부에 설치되어, 상기 광원측 편광판과 동일한 편광축을 갖는 카메라측 제1편광판과, 상기 광원측 편광판과 90°로 엇갈린 편광축을 갖는 카메라측 제2편광판을 포함하여,
    광원으로부터 방사된 빛이 광원측 편광판을 통과하면서 편광되어 광분할기로 입사되기 전에 카메라측 제1편광판은 통과하고 카메라측 제2편광판에서는 차단되어 광분할기에 입사되는 것을 특징으로 하는, 카메라를 이용한 포인팅장치.
  4. 청구항 2 또는 3에서, 상기 광분할기는 삼각 프리즘인 것을 특징으로 하는, 카메라를 이용한 포인팅장치.
  5. 청구항 2에서,
    상기 광원은 광원에서 방사되는 빛을 일축으로 편광시키는 광원측 편광판을 포함하고;
    상기 광분할기는 상기 광원에서 방사된 빛을 반사하는 제1거울과, 상기 제1거울과 소정 각도로 마주보도록 설치되어 상기 광원에서 방사된 빛을 반사하는 제2거울과, 상기 광원측 편광판과 동일한 편광축을 가지며 상기 제1거울에서 반사된 빛을 통과시켜 제1영상을 형성하는 카메라측 제1편광판과, 상기 광원측 편광판과 90°로 엇갈린 편광축을 가지며 상기 제2거울에서 반사된 빛을 차단하여 제2영상을 형성하는 카메라측 제2편광판을 포함하는 것을 특징으로 하는, 카메라를 이용한 포인팅장치.
  6. 청구항 2에서,
    상기 광원은 광원에서 방사되는 빛을 일축으로 편광시키는 광원측 편광판을포함하고;
    상기 광분할기는 광원으로부터 방사된 빛의 일부는 반사하고 일부는 투과하는 반거울과, 반거울을 투과한 빛을 반사하는 온거울과, 상기 광원측 편광판과 동일한 편광축을 가지며 상기 반거울에서 반사된 빛을 통과시켜 제1영상을 형성하는 카메라측 제1편광판과, 상기 광원측 편광판과 90°로 엇갈린 편광축을 가지며 상기 온거울에서 반사된 빛을 차단하여 제2영상을 형성하는 카메라측 제2편광판을 포함하는 것을 특징으로 하는, 카메라를 이용한 포인팅장치.
  7. 청구항 3, 5, 6중 어느 한 항에서, 상기 광원은
    서로 동일한 높이로 상호 대향하고 있는 2개 이상의 기준LED,
    상기 기준LED가 이루는 선상 또는 공간의 무게중심에 기준LED의 높이와 다른 높이로 장착된 포인터LED로 구성되는, 카메라를 이용한 포인팅장치.
  8. 청구항 7에서,
    상기 기준LED는 LED에서 방사되는 빛을 일축으로 편광시키는 편광판을 포함하고,
    상기 포인터LED는 상기 기준LED의 편광판과 90°엇갈리는 방향으로 편광축이 형성된 편광판을 포함하는 것을 특징으로 하는, 카메라를 이용한 포인팅장치.
  9. 청구항 3, 5, 6중 어느 한 항에서, 상기 광원은
    조명 또는 태양광에서 방사되는 빛이 반사판에서 반사되어 방출되는 광으로서, 상기 반사판은 반사된 빛을 일축으로 편광시켜 방출하는 편광판을 포함하는 것을 특징으로 하는, 카메라를 이용한 포인팅장치.
  10. 청구항 1에서,
    상기 컴퓨터 GUI 화면은 LCD 모니터에 표시되고,
    상기 광원은 레이저에서 방사되어 LCD 모니터상에 조사되는 레이저광이고,
    상기 카메라는 LCD 모니터의 화면영상과 편광축이 90°로 엇갈린 편광축을 갖는 편광판을 통해 상기 LCD 모니터와 상기 레이저광을 동시에 촬영하는 것을 특징으로 하는, 카메라를 이용한 포인팅장치.
  11. 청구항 1에서,
    상기 컴퓨터 GUI 화면은 빔프로젝터에 의해 일축으로 편광되어, 이 편광된 상태를 유지한 채 반사하는 성질의 스크린에 투영되고,
    상기 광원은 레이저에서 방사되어 스크린 상에 조사되는 레이저광이고,
    상기 카메라는 스크린의 화면영상과 편광축이 90°로 엇갈린 편광축을 갖는 카메라측 편광판을 통해 상기 스크린의 영상과 상기 레이저광을 동시에 촬영하는 것을 특징으로 하는, 카메라를 이용한 포인팅장치.
  12. 청구항 1에서,
    상기 컴퓨터 GUI 화면은 편광성이 없는 디스플레이 앞에 설치된 디스플레이측 편광판을 통해 일축으로 편광되고,
    상기 광원은 레이저에서 방사되어 상기 디스플레이측 편광판 상에 조사되는 레이저광이고,
    상기 카메라는 디스플레이의 화면영상과 편광축이 90°로 엇갈린 편광축을 갖는 카메라측 편광판을 통해 상기 디스플레이의 영상과 상기 레이저광을 동시에 촬영하는 것을 특징으로 하는, 카메라를 이용한 포인팅장치.
  13. 청구항 12에서, 상기 디스플레이측 편광판 앞에, 디스플레이에서 표시되는 영상은 투과하지만 레이저광원은 반사하는 반사필터가 추가로 설치되는 것을 특징으로 하는, 카메라를 이용한 포인팅장치.
  14. 청구항 13에서, 상기 반사필터는 레이저빔 도트의 직경보다 작은 그물눈을 갖는 망구조를 갖는 것을 특징으로 하는, 카메라를 이용한 포인팅장치.
  15. 청구항 13에서, 상기 반사필터는 투명판에 형광물질 또는 빛을 반사하는 물질이 도포된 것을 특징으로 하는, 카메라를 이용한 포인팅장치.
  16. 청구항 1 또는 2 또는 10~15 중 어느 한 항에서,
    마이크로 들어온 음성신호를 처리하는 마이크신호 처리부와, 음성신호를 인식하여 음성신호에 해당하는 명령어 데이터를 출력하는 음성인식부를 추가로 포함하여,
    상기 광원을 움직여 컴퓨터의 GUI화면상에서 포인터의 위치를 고정하고 마이크에 대고 포인터의 위치에 해당하는 메뉴의 실행을 지시하면, 상기 음성인식부에서는 이를 인식처리하여 PC로 하여금 해당 메뉴를 실행하도록 하는 것을 특징으로 하는, 카메라를 이용한 포인팅장치.
  17. 청구항 1 또는 2 또는 10~15 중 어느 한 항에서,
    상기 광원과 별도로 제2광원이 추가로 포함되어, 이용자가 이 제2광원을 점등할 경우에 카메라가 이를 감지하면 상기 영상처리 수단은 제2광원이 점등된 경우에 포인터가 위치해 있는 메뉴를 실행하는 명령어 데이터를 출력하는 것을 특징으로 하는, 카메라를 이용한 포인팅장치.
  18. 청구항 1 또는 2 또는 10~15 중 어느 한 항에서,
    상기 광원은 사격게임용 총의 방아쇠에 의해 점멸되도록 총에 설치되고, 상기 카메라는 컴퓨터의 모니터에 설치되는 것을 특징으로 하는, 카메라를 이용한 포인팅장치.
  19. 컴퓨터의 GUI 화면상에서 이동하는 포인터의 위치좌표를 산출하는 방법으로서,
    위치를 이동하는 광원에서 발광하는 빛을 카메라로 촬영하고,
    카메라로 촬영된 영상을 처리하여 광원의 위치를 검출하여 포인터의 위치좌표를 산출하는 것을 특징으로 하는, 카메라를 이용한 포인터 위치산출 방법.
  20. 청구항 19에서,
    광원에서 발광하는 빛을 일정 편광축으로 편광시키는 단계,
    편광된 빛을 광분할하여 제1영상과 제2영상을 형성하되, 제1영상은 편광된 광원과 동일한 편광축으로 편광되도록 하고 제2영상은 편광된 광원과 90°엇갈리게 편광되도록 하여, 제1영상과 제2영상의 광원영상이 각각 밝게 비추는 부분 또는 어둡게 빛이 없는 부분으로 카메라에 촬영되도록 하는 단계를 추가로 포함하는, 카메라를 이용한 포인터 위치산출 방법.
  21. 청구항 19 또는 20에서,
    상기 광원은 서로 동일한 높이로 상호 대향하는 위치에 설치되는 2개 이상의 기준LED와, 상기 기준LED가 이루는 선상 또는 공간의 무게중심에 기준LED의 높이와 다른 높이로 장착된 포인터LED로 구성되어,
    기준LED가 이루는 공간 내에서 움직이는 포인터LED의 이동을 검출하여 포인터의 위치를 산출하는 것을 특징으로 하는, 카메라를 이용한 포인터 위치산출 방법.
  22. 청구항 19 또는 20에서, 상기 광원은
    조명 또는 태양광에서 방사된 빛이 반사판에서 반사되어 방출되는 광인 것을 특징으로 하는, 카메라를 이용한 포인터 위치산출 방법.
  23. 청구항 19에서,
    상기 컴퓨터 GUI 화면은 LCD 모니터이고,
    상기 광원은 레이저에서 방사되어 LCD 모니터상에 조사되는 레이저광이고,
    상기 카메라는 LCD 모니터의 화면영상과 편광축이 90°로 엇갈린 편광축을 갖는 편광판을 통해 상기 LCD 모니터와 상기 레이저광을 동시에 촬영하는 것을 특징으로 하는, 카메라를 이용한 포인터 위치산출 방법.
  24. 청구항 19에서,
    상기 컴퓨터 GUI 화면은 빔프로젝터에 의해 일축으로 편광되어, 이 편광된 상태를 유지한 채 반사하는 성질의 스크린에 투영되고,
    상기 광원은 레이저에서 방사되어 스크린 상에 조사되는 레이저광이고,
    상기 카메라는 스크린의 화면영상과 편광축이 90°로 엇갈린 편광축을 갖는 카메라측 편광판을 통해 상기 스크린의 영상과 상기 레이저광을 동시에 촬영하는 것을 특징으로 하는, 카메라를 이용한 포인터 위치산출 방법.
  25. 청구항 19에서,
    상기 컴퓨터 GUI 화면은 편광성이 없는 디스플레이 앞에 설치된 디스플레이측 편광판을 통해 일축으로 편광되고,
    상기 광원은 레이저에서 방사되어 상기 디스플레이측 편광판 상에 조사되는 레이저광이고,
    상기 카메라는 디스플레이의 화면영상과 편광축이 90°로 엇갈린 편광축을 갖는 카메라측 편광판을 통해 상기 디스플레이의 영상과 상기 레이저광을 동시에 촬영하는 것을 특징으로 하는, 카메라를 이용한 포인터 위치산출 방법.
  26. 청구항 25에서, 상기 디스플레이측 편광판 앞에, 디스플레이에서 표시되는 영상은 투과하지만 레이저광원은 반사하는 반사필터가 추가로 설치되는 것을 특징으로 하는, 카메라를 이용한 포인팅장치.
  27. 청구항 25에서, 상기 반사필터는 레이저빔 도트의 직경보다 작은 그물눈을 갖는 망구조를 갖는 것을 특징으로 하는, 카메라를 이용한 포인팅장치.
  28. 청구항 25에서, 상기 반사필터는 투명판에 형광물질 또는 빛을 반사하는 물질이 도포된 것을 특징으로 하는, 카메라를 이용한 포인팅장치.
  29. 청구항 19 또는 20 또는 23에서, 마이크로 들어온 음성신호를 인식하여 음성신호에 해당하는 명령어 데이터를 출력하는 단계가 추가로 포함되어,
    상기 광원을 움직여 컴퓨터의 GUI화면상에서 포인터의 위치를 고정하고 마이크에 대고 포인터의 위치에 해당하는 메뉴의 실행을 지시하면, 상기 음성인식부에서는 이를 인식처리하여 PC로 하여금 해당 메뉴를 실행하도록 하는 것을 특징으로 하는, 카메라를 이용한 포인터 위치산출 방법.
KR1020010066152A 2001-10-26 2001-10-26 카메라를 이용한 포인팅장치 및 포인터 위치산출 방법 KR20030034535A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020010066152A KR20030034535A (ko) 2001-10-26 2001-10-26 카메라를 이용한 포인팅장치 및 포인터 위치산출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020010066152A KR20030034535A (ko) 2001-10-26 2001-10-26 카메라를 이용한 포인팅장치 및 포인터 위치산출 방법

Publications (1)

Publication Number Publication Date
KR20030034535A true KR20030034535A (ko) 2003-05-09

Family

ID=29566440

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020010066152A KR20030034535A (ko) 2001-10-26 2001-10-26 카메라를 이용한 포인팅장치 및 포인터 위치산출 방법

Country Status (1)

Country Link
KR (1) KR20030034535A (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040014763A (ko) * 2002-08-12 2004-02-18 이문기 레이저와 카메라를 이용한 포인팅장치
KR100708875B1 (ko) * 2006-02-10 2007-04-17 (주)소프트가족 표시화면을 가리키는 포인터의 포인팅 위치를 산출하는장치 및 방법
KR100807625B1 (ko) 2006-09-25 2008-03-03 엠텍비젼 주식회사 포인터 이동 제어 방법 및 그 장치
KR100807620B1 (ko) 2006-09-25 2008-03-03 엠텍비젼 주식회사 포인터 이동 제어 방법 및 그 장치
KR100860331B1 (ko) 2006-10-25 2008-09-25 엠텍비젼 주식회사 포인터 이동 제어 장치를 포함하는 전자기기
KR101008062B1 (ko) * 2008-08-20 2011-01-13 한국항공우주연구원 인공위성 태양전지판의 전개 거동 분석을 위한 태양전지판 전개시험장치
KR101119822B1 (ko) * 2011-01-19 2012-02-28 조용성 구조물로 인한 시야 차단을 방지하는 투영화 시스템
KR20120070320A (ko) * 2010-12-21 2012-06-29 엘지디스플레이 주식회사 스테레오 카메라를 포함하는 디스플레이 시스템 및 이를 이용한 위치검출 방법
KR101280840B1 (ko) * 2013-04-23 2013-07-02 (주)유한프리젠 프리젠테이션 시스템의 스크린상에서 레이저 포인트 위치 좌표 인식 방법
KR20160033878A (ko) * 2014-09-18 2016-03-29 엘지디스플레이 주식회사 액정 디스플레이 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5227985B2 (ko) * 1971-11-24 1977-07-23
JPH02138673A (ja) * 1988-07-14 1990-05-28 A T R Tsushin Syst Kenkyusho:Kk 瞳孔画像撮影装置
US6064752A (en) * 1997-11-04 2000-05-16 Sensar, Inc. Method and apparatus for positioning subjects before a single camera
KR20010053762A (ko) * 1999-12-01 2001-07-02 이계철 눈동자 움직임추적을 통한 2차원 모니터 포인팅 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5227985B2 (ko) * 1971-11-24 1977-07-23
JPH02138673A (ja) * 1988-07-14 1990-05-28 A T R Tsushin Syst Kenkyusho:Kk 瞳孔画像撮影装置
US6064752A (en) * 1997-11-04 2000-05-16 Sensar, Inc. Method and apparatus for positioning subjects before a single camera
KR20010053762A (ko) * 1999-12-01 2001-07-02 이계철 눈동자 움직임추적을 통한 2차원 모니터 포인팅 장치

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040014763A (ko) * 2002-08-12 2004-02-18 이문기 레이저와 카메라를 이용한 포인팅장치
KR100708875B1 (ko) * 2006-02-10 2007-04-17 (주)소프트가족 표시화면을 가리키는 포인터의 포인팅 위치를 산출하는장치 및 방법
KR100807625B1 (ko) 2006-09-25 2008-03-03 엠텍비젼 주식회사 포인터 이동 제어 방법 및 그 장치
KR100807620B1 (ko) 2006-09-25 2008-03-03 엠텍비젼 주식회사 포인터 이동 제어 방법 및 그 장치
KR100860331B1 (ko) 2006-10-25 2008-09-25 엠텍비젼 주식회사 포인터 이동 제어 장치를 포함하는 전자기기
KR101008062B1 (ko) * 2008-08-20 2011-01-13 한국항공우주연구원 인공위성 태양전지판의 전개 거동 분석을 위한 태양전지판 전개시험장치
KR20120070320A (ko) * 2010-12-21 2012-06-29 엘지디스플레이 주식회사 스테레오 카메라를 포함하는 디스플레이 시스템 및 이를 이용한 위치검출 방법
KR101119822B1 (ko) * 2011-01-19 2012-02-28 조용성 구조물로 인한 시야 차단을 방지하는 투영화 시스템
KR101280840B1 (ko) * 2013-04-23 2013-07-02 (주)유한프리젠 프리젠테이션 시스템의 스크린상에서 레이저 포인트 위치 좌표 인식 방법
KR20160033878A (ko) * 2014-09-18 2016-03-29 엘지디스플레이 주식회사 액정 디스플레이 장치

Similar Documents

Publication Publication Date Title
WO2020057205A1 (zh) 屏下光学系统、衍射光学元件的设计方法及电子设备
US10845606B1 (en) Eye tracking for a head mounted display including a pancake lens block
US10521026B2 (en) Passive optical and inertial tracking in slim form-factor
WO2020057208A1 (zh) 电子设备
US10146335B2 (en) Modular extension of inertial controller for six DOF mixed reality input
WO2020057204A1 (zh) 补偿显示屏、屏下光学系统及电子设备
US10429927B1 (en) Eye tracking for a head mounted display including a pancake lens block
JP6786792B2 (ja) 情報処理装置、表示装置、情報処理方法、及び、プログラム
US9298002B2 (en) Optical configurations for head worn computing
US9529192B2 (en) Eye imaging in head worn computing
US10429657B1 (en) Eye tracking for a head mounted display including a pancake lens block
WO2015012280A1 (ja) 視線検出装置
WO2020057207A1 (zh) 电子设备
KR101697286B1 (ko) 사용자 스타일링을 위한 증강현실 제공 장치 및 방법
US11841502B2 (en) Reflective polarizer for augmented reality and virtual reality display
US10725292B2 (en) Gaze-tracking system and aperture device
CN106919262A (zh) 增强现实设备
WO2020057206A1 (zh) 屏下光学系统及电子设备
KR20160005762A (ko) 홍채 영상 장치의 차선으로 최적화된 배향을 보상하는 방법 및 장치
US20140240228A1 (en) User interface display device
KR20030034535A (ko) 카메라를 이용한 포인팅장치 및 포인터 위치산출 방법
CN114830621A (zh) 录制指示灯
EP3009887B1 (en) Optical imaging processing system
KR101002071B1 (ko) 멀티 적외선 카메라 방식의 투영 영상 터치 장치
EP3615967B1 (en) Tracking optical flow of backscattered laser speckle patterns

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application