KR20080104100A - 카메라와 마크 출력에의한 포인팅 장치 - Google Patents

Abstract

본 발명은 마우스나 조이스틱과 같은 포인팅 장치에 관한 것으로 디스플레이 화면에 출력된 영상을 카메라로 촬영하고 인식하여 포인팅 좌표를 산출하는 장치이다. 본 발명의 포인팅 장치는 기존의 포인팅 장치와 달리 임의의 종류의 디스플레이에 사용 가능하고 별도의 물리적인 마크나 추적 장치를 모니터에 부착함 없이 마크를 화면에 출력하여 포인팅 작업이 가능하다. 본 발명에의한 포인팅 장치는 화면에 영상을 출력하는 영상 출력부, 상기 영상을 촬영하는 카메라부, 상기 카메라부에의해 촬영된 영상 이미지를 영상처리하여 포인팅 좌표를 산출하는 이미지처리부를 포함하는 것을 특징으로 한다.

마우스, 영상인식, 영상처리, 카메라, 머신비전, 포인팅장치, 조이스틱, 마크,선 인식, 허프 변환, 바코드

Description

카메라와 마크 출력에의한 포인팅 장치{POINTING DEVICE USING CAMERA AND OUTPUTTING MARK}

본 발명은 카메라를 부착한 리모콘이나 펜 형태의 포인팅 장치로 화면에 출력되는 특정 마크를 촬영하여 그 마크를 인식하여 카메라를 부착한 포인팅 장치가 화면의 어느 점을 향하고 있는지를 알아내서 마우스 커서와 같은 포인터의 좌표를 변화시키는 포인팅 장치에 관한 것이다. 이와 같은 포인팅 장치와 비슷한 것으로 본 발명인의 이전 특허 등록 10-0532525-0000호(카메라를 이용한 3차원 포인팅 장치)가 있다. 상기 특허는 모니터 주변에 광원을 부착하고 카메라로 그 광원을 촬영하고 형태를 인식하여 포인팅 작업을 하는 방식이다. 상기 특허는 모니터 주변에 광원을 부착하고 광원에 전원을 연결해 줘야 한다는 단점이 있다. 또한 전자 칠판에 사용되는 포인팅 장치의 경우 포인팅 장치의 추적을 위해 초음파나 적외선 발생장치를 모니터에 부착해야 한다는 단점이 있다. 그리고 PDA나 타블렛 컴퓨터에 사용되는 스타일러스 펜 형태의 포인팅 장치는 모니터에 압력을 감지하거나 자기장을 감지하는 특별한 장치를 필요로 한다. 이러한 특별한 장치는 현재 개발중인 두루마리처럼 말 수 있는 전자 종이형 디스플레이에 적용하기 매우 어렵다는 단점이 있다.

본 발명은 상기한 기존의 포인팅 장치의 경우 모니터 주변에 광원이나 초음파 발생장치와 같은 부가장치를 부착해야만 한다는 단점을 해소하기 위하여 어떠한 추적 장치나 마크를 부착할 필요가 없고 임의의 모니터에 적용 가능한 포인팅 장치를 제공하는 것을 목적으로 한다.

본 발명은 상기한 목적을 달성하기 위하여 모니터 화면 주위에 물리적인 마크나 부가 장치를 부착하는 대신 모니터 화면에 특정 마크를 출력하거나 컴퓨터나 디지털TV 화면 영상 자체를 마크로 사용하여 카메라로 그 마크를 촬영하고 영상 처리부에서 인식하여 포인팅 작업을 수행하는 구성을 제공한다.

본 발명에 의한 포인팅 장치를 사용하면 모니터 디스플레이에 어떠한 부가적인 장치를 추가함 없이 사용 가능하기 때문에 현재 상용화를 앞둔 두루마리처럼 말 수 있는 전자 종이형 디스플레이에 적용하여 기존의 타블릿 pc에 스타일러스 펜으로 글씨나 그림을 그리듯이 사용할 수 있다. 이와 같은 방식으로 물리적인 공책이나 수첩을 본 발명에의한 포인팅 장치를 사용한 전자종이 형태의 디스플레이로 대치할 수 있다. 또한 본 발명에의한 포인팅 장치를 리모컨이나 총 형태로 만들어서 디지털 TV화면에 표시되는 커서를 이동시키거나 게임화면 속의 커서를 이동시켜서 사격 게임을 포함한 임의의 게임을 할 수도 있다.

실시예1

본 발명에의한 포인팅 장치는 화면에 마우스 커서와 같은 마크를 출력하는 마크 출력부, 상기 마크를 촬영하는 펜이나 리모콘 또는 총 형태의 카메라부, 상기 카메라부에의해 촬영된 이미지를 영상처리하여 마크를 인식하여 포인팅 좌표를 산출하는 이미지처리부를 포함하는 것을 특징으로 한다. 이미지 처리부는 예를 들어서 컴퓨터나 디지털 시그널 프로세서(DSP)에 실행되는 이미지 처리 프로그램이 될 수 있다. 마크는 마이크로 소프트사의 윈도우즈와 같은 그래픽 OS에 사용되는 화살표나 손 모양의 마우스 커서를 그대로 사용해도 무방하고 +,사각형,원 또는 임의의 아이콘 모양의 본 발명 고유의 마크를 사용해도 무방하다. 기존의 마우스 커서를 마크로 사용하는 경우 마크 출력부는 생략될 수 있다. 또한 게임 프로그램에 사용될 특수한 커서모양을 사용자가 프로그램을 통해 등록해서 사용해도 무방하다. 즉 마크의 형태나 색상에 대한 제한은 없고 이미지 처리부에서 인식 가능하다면 어떤 형태라도 무방하다. 도1에는 타블릿 pc형태의 디스플레이(mo) 위에 화살표 형태의 마크(mk)를 출력하여 스타일러스 펜 형태의 카메라(ca)로 마크(mk)를 촬영하여 포인팅 작업을 하는 본 발명에의한 포인팅 장치의 모습을 나타냈다. 펜 형태의 카메라로 화면에 표시되고 있는 마크(mk)를 촬영하여 마크를 이동시키고자 하는 방향으로 그림 그리듯이 펜 형태의 카메라를 이동시킨다. 그러면 촬영된 동영상 이미지에서 마크가 이미지의 외부 쪽으로 이동하게 된다. 이러한 이미지에서 영상처리 프로 그램은 마크의 이동 방향을 검출하여 마크가 이미지의 중심에 오도록 마크의 위치를 조정한다. 예를 들어서 도1에 표시된 것과 같이 수평선을 x축, 수직선을 y축이라 했을 때 펜 형태의 카메라를 x축 방향(dx)으로 이동시키면 촬영된 이미지에서 화살표 마크는 도2에 표시된 것과 같이 -x축방향(-dx)으로 이동하게 된다. 그러면 영상처리부는 마크의 위치를 x방향으로 조금씩 증가시킨다. 즉, 영상처리부는 촬영된 이미지에서 영상처리프로그램에 의해 마크의 이동 방향 움직임 벡터(motion vector)를 구해서 마크가 이미지의 중심에 올 수 있도록 마크의 커서의 좌표를 적당히 변화시킨다. 여기서 마크의 위치는 마우스 포인터나 조이스틱의 포인터에 해당한다. 그러면 펜을 따라서 마크가 따라오게 되고 포인팅 작업을 할 수 있다. 만약 촬영된 이미지에서 마크가 이미지 중심에 위치하고 있다면 더 이상 마크의 좌표를 변화시키지 않는다. 설명의 편의를 위해 x축 방향으로 움직이는 것을 예로 들었으나 임의의 방향에 대해서도 동일하게 동작한다. 즉 펜 형태의 카메라를 모니터를 향하게 하고 임의의 방향(dx,dy)으로 이동시키면 이미지 처리부에서는 촬영된 이미지에서 마크가 중심에서 벗어난 정도와 방향(-dx,-dy)을 검출하여 마크가 이미지의 중심에 올 수 있도록 마크 위치를 변화시킨다. 만약 촬영된 이미지에서 마크를 인식하지 못했다면 현재의 마크 위치를 유지한다.

그리고 마크의 형태와 크기를 인식해서 카메라와 마크 사이의 거리와 방향을 산출함으로써 3차원 포인팅 작업을 수행할 수도 있다. 즉 촬영된 이미지에서 인식한 마크의 크기가 작으면 카메라와 마크 사이의 거리가 멀다는 뜻이고, 촬영된 이미지에서 인식한 마크의 크기가 크다면 카메라와 마크 사이의 거리가 가깝다는 뜻이다. 이러한 거리정보를 기존의 마우스 커서의 2차원 좌표(x,y)에 도1에 표시된 제3의 좌표값z으로 덧붙여서 (x,y,z)와 같은 3차원 포인팅 좌표를 산출할 수도 있다. 그리고 촬영된 이미지에서 화살표 마크의 화살표 방향을 검출함으로써 펜 형태의 카메라가 회전한 각도도 검출하여 도1에 표시된 여분의 회전 좌표(r)로 입력 가능하다. 그리고 화살표를 이루는 특징점(예를 들면 화살표 다각형의 꼭지점들)들이 이루는 다각형의 찌그러진 정도를 분석해서 펜 형태의 카메라가 모니터 화면을 향한 방향도 검출하여 입력할 수 있다. 이러한 방향 검출 방법은 다각형의 한 예로 4각형을 사용한 본 발명인의 이전 특허 등록 10-0532525-0000호(카메라를 이용한 3차원 포인팅 장치)에 설명된 직관적인 방법을 사용해도 되고 수학적인 공식을 사용해도 무방하다. 수학 공식은 perspective n point problem 이라는 분야에서 알려진 방법이다. 이 방법은 상대위치가 알려진 n개의 점을 촬영하여 촬영된 n개의 점으로부터 카메라와 점 사이의 상대 위치를 구하는 문제이다. 이에 대한 설명은

http://homepages.inf.ed.ac.uk/rbf/CVonline/LOCAL_COPIES/MARBLE/high/pia/solvi ng . htm

에서 찾을 수 있다.

본 발명에 의한 포인팅 장치로 포인팅 작업을 하던 중에 포인팅 장치의 카메라를 화면이 아닌 다른 곳을 향하면 화면의 마크를 촬영하지 못해서 화면에 표시되는 마크는 그 자리에 정지하게 된다. 이 상태에서 카메라를 마크가 있는 곳으로 가져가면 그때부터 마크가 촬영되어 마크가 움직이는 카메라를 따라오게 되지만 만약 카 메라를 마크가 없는 화면 위의 다른 곳으로 가져가면 마크는 촬영되지 못하고 마크는 여전히 그 자리에 정지하게 된다. 즉 사용자는 잠시 중단 했던 포인팅 작업을 다시 시작하려면 카메라를 마크가 있는 곳까지 이동시켜야만 한다. 이는 매우 번거로울 수 있는 것으로 이를 해소하기 위해 포인팅 장치에 리셋 버튼을 부착하여 사용자가 그 버튼을 누르면 마크가 카메라가 향한 모니터의 포인팅 지점으로 자동으로 이동하게 하는 것이 바람직하다. 이러한 리셋 기능의 자세한 구성은 다음과 같다. 즉 리셋 버튼을 누르거나 어떤 원인에 의해 소프트웨어적으로 리셋 신호가 발생된다면 마크 출력부는 모니터 화면을 도4와 같이 매트릭스 형태의 다수의 영역으로 나누고 각 영역 중심으로 마크를 순차적으로 이동시킨다. 도4에서 모니터 영역은 6행 6열의 매트릭스 형태로 나뉘어져 있다. 이 경우 마크 출력부는 0행0열 의 사각형 영역에 마크를 출력시키고 마크를 순차적으로 오른쪽으로 이동시킨다. 이렇게 마크가 0행 5열까지 이동했다면 한칸 아래로 이동해서 1행 0열에서 1행5열로 즉, 좌에서 우로 마크를 이동시킨다. 이처럼 6x6=36개의 모든 칸을 거쳐서 마크를 순차적으로 이동시킨다면 이동 중의 어느 순간에 카메라에 마크가 촬영되어 인식이 된다. 그 순간부터 정상적인 포인팅 작업을 시작하면 된다. 여기서 6x6개의 영역은 예를 든 숫자이고 실제로는 마크의 크기와 카메라의 시야각에 적당한 영역의 수를 선택하면 된다. 이러한 마크의 이동은 눈에 거슬릴 수 있으므로 매우 빠른 속도로 이동시키고 카메라는 고속 카메라를 사용하는 것이 바람직하다. 또한 리셋 버튼을 생략하여 카메라에 촬영된 이미지에서 마크를 인식할 수 없는 경우 무조건 이와 같은 마크 이동을 수행할 수도 있다.

실시예2

상기 실시예1 에서는 카메라가 모니터 화면에 거의 접할 정도로 근접해서 커서 마크를 촬영하는 방식을 설명했다. 만약 카메라를 모니터로부터 멀리 떨어진 곳에서 모니터를 촬영을 하면 커서 마크가 너무 작게 촬영되어 인식을 하기 어렵다. 그런 경우에는 카메라의 렌즈를 망원렌즈를 사용하면 된다. 이때 초점이 맞지 않으면 커서 마크가 흐릿하게 촬영되어 인식을 할 수 가 없으므로 현재 실용화된 디지털 카메라에 사용되는 자동으로 초점을 맞추는 장치를 더 포함하는 것이 바람직하다. 그리고 카메라와 모니터 사이의 거리가 가변적인 경우에도 제대로 포인팅 작업을 하기 위해서는 줌 렌즈를 사용하는 것이 바람직하다. 즉 카메라와 모니터 사이의 거리를 측정하는 장치를 더 포함하여 그 장치로 측정한 거리정보를 이용하여 줌렌즈를 조정하여 커서 이미지를 항상 선명하고 큼직하게 촬영하게 하는 것이 바람직하다. 즉 본 발명에 의한 카메라를 사용한 포인팅 장치는 모니터에 접해서 일반 전자펜처럼 사용할 수도 있고 모니터에서 멀리 떨어져서 리모컨처럼 사용 할 수도 있다.

실시예3

상기 실시예1에서는 카메라가 모니터에 매우 근접한 상태에서 마우스 커서용 아이콘과 같이 미리 정해진 마크를 화면에 출력하는 방식이다. 본 실시예에서는 카메라가 모니터에서 멀리 떨어져 있고 그러한 미리 정해진 일정한 형태의 마크가 없 는 경우 포인팅 작업을 수행하는 구성을 설명한다. 임의의 영상이 화면에 출력중인 경우 그 영상 정보를 영상 처리부에 전송하여 마크 대신 사용하는 방식이다. 즉 현재 모니터에 출력중인 영상 전체가 실시예1의 커서 마크에 해당한다. 이 경우 카메라는 모니터 전 영역을 한꺼번에 촬영할 수 있을 만큼 모니터로부터 적당히 떨어져 있는 것이 바람직하다. 영상 처리부에서는 매 순간마다 촬영된 이미지에서 현재 모니터에 출력중인 영상을 검출하여 그 영상의 테두리 사각형을 분석하여 카메라와 모니터 사이의 3차원 상대 위치와 거리를 산출한다. 이를 위하여 현재 모니터에 출력중인 화면의 영상을 얻어와서 영상 처리부에 전송해주는 모니터 영상 전달부가 추가되어야 한다. 현재 모니터에 출력중인 이미지를 가져오는 방법은 마이크로 소프트사의 윈도우즈 XP가 설치된 컴퓨터의 경우를 예로 들면 키보드의 Print Screen Sys Rq 키를 눌러서 화면에 출력중인 이미지를 윈도우즈의 클립보드에 캡처하는 방법을 소프트웨어적으로 실행하는 것이다. 즉 키보드의 Print Screen Sys Rq 키가 눌려지는 것을 에뮬레이트해주는 프로그램을 실행하면 화면 이미지를 얻을 수 있다. 키보드 에뮬레이션 프로그램은 일정 시간 간격(예를 들면 1/30초)마다 화면을 캡처해서 클립보드에 화면 이미지를 저장하고 영상처리 프로그램은 클립보드로부터 이미지를 읽어와서 카메라로 촬영된 이미지와 비교하여 촬영된 이미지 중 어느 곳에 화면이 있는지 알아낼 수 있다. 또는 하드웨어적으로 비디오 메모리에 접근하는 장치를 구성할 수도 있다. 카메라부에서 촬영된 이미지에서 모니터에 출력중인 영상부분을 검출하는 방법의 예를 들면 이미지 프로세싱의 공지기술인 모델 기반 비전(model based vision) 기법을 들 수 있다. 모델 기반 비전은 주어진 이미 지(카메라로 촬영된 이미지)에서 미리 알려진 모델(화면에 출력중인 이미지)의 위치와 대응점을 찾는 기법이다. 좀더 자세하게 설명하면 촬영된 이미지의 적당한 후보 위치에 모델을 아핀 변환,투사 변환 등을 이용하여 확대,축소,회전 ,투영하여 실제 촬영된 이미지의 영역과 가장 잘 대응되는 지점을 찾는 것이다. 이에 대한 자세한 설명은 DavidA.Forsyth 와 Jean Ponce 가 쓴 Computer vision a modern approach 라는 책(ISBN:0-13-085198-1)의 18장 (Model based vision)에 자세히 나와 있다. 본 실시예와 비슷한 방식의 포인팅 장치로는 기존의 특허 등록번호 10-0708875 (표시화면을 카리키는 포인터의 포인팅 위치를 산출하는 장치 및 방법)이 있다. 상기 특허에서는 원래의 출력 영상 화면에 사각형의 테두리 형태의 인공적인 기준 이미지를 추가로 출력하여 그 테두리를 카메라로 촬영한 이미지에서 검출하여 포인팅 작업을 하게 되어있다. 그러한 인공적인 테두리는 사용자 눈에 거슬린다는 단점이 있다. 이에 비해 본 발명에서는 그러한 인공적인 이미지를 출력하지 않고 모니터 영상 전달부를 통해 얻어온 원래의 출력 영상 자체를 마크로 사용하여 인식하는 방식이다.

실시예4

본 실시예에서는 상기 실시예3에서 사용되는 모델기반 비전기법을 좀더 용이하게 수행하기 위하여 화면 의 깜빡임을 이용하는 구성을 설명한다. 즉 촬영된 이미지에서 모니터 영역을 구하는 것은 모니터의 배경이 단순한 경우(예를 들면 넓은 흰 벽면에 영상을 빔 프로젝터로 투사하는 경우) 비교적 용이하게 수행될 수 있지 만 배경이 복잡한 경우 배경으로부터 화면을 구별해내기가 쉽지 않을 수도 있다. 그러한 경우에 화면에 출력되는 영상의 프레임 중 짝수 번째(0,2,4,..) 프레임은 빈 이미지를 출력하고 홀수 번째(1,3,5,..) 프레임만 출력하게 한다. 여기서 빈 이미지를 출력한다는 것은 화면 전체 또는 화면의 특정 영역을 특정 색으로 칠하여 출력하는 것을 의미한다. 이때 매 프레임간 시간은 충분히 짧게(예를 들면 1/30초 보다 더 짧은 시간) 잡아서 사람 눈에는 깜빡임이 느껴지지 않도록 하는 것이 바람직하다. 간단한 예를 들면 짝수 번째 프레임 동안에는 화면 전체를 검정색으로 출력하고 홀수 번째 프레임에는 정상적인 화면을 출력한다. 그리고 카메라로 매 프레임마다 촬영하여 홀수 번째 프레임이 출력된 직후에 촬영한 이미지와 바로 전 순간의 짝수 번째 프레임이 출력된 직후에 촬영된 이미지의 차분 이미지(difference image)를 구한다. 여기서 차분 이미지는 두 이미지의 각각의 같은 위치의 픽셀값의 차를 구해 얻어지는 이미지로 영상 처리 분야의 공지 개념이다. 예를 들어서 차분 이미지의 (x,y) 지점의 픽셀 값은 두 입력 이미지의 (x,y) 지점의 픽셀값의 차로부터 얻어진다. 그러면 카메라가 정지한 상태라서 배경이 변하지 않았다면 모니터 부분만 픽셀 값이 0이 아닌 차분 영상이 얻어지고 모니터 이외의 부분에서는 차분 영상이 모두 0인 픽셀 값을 갖게 된다. 이 경우 차분 영상에서 픽셀 값이 0 이 아닌 영역을 검출하면 그 영역이 바로 모니터 영역에 해당한다. 따라서 그러한 픽셀값이 0이 아닌 영역에 대해서 모델 기반 비전 기법으로 모니터 영상의 대응점을 수행하면 차분 이미지를 사용하지 않는 경우보다 훨씬 수월하게 모니터 영역을 인식할 수 있다. 카메라가 움직였다면 배경 부분에서도 차분 영상의 픽셀 값이 0이 아니게 되 지만 그 영역은 매주 좁은 영역에 제한되므로 실시예3과 같이 차분 영상이 아닌 원래 영상을 이용하여 모델 기반 비전 기법을 적용하는 것보다 훨씬 용이하게 모니터 영역을 검출 할 수 있다. 또한 카메라 촬영 속도(초당 촬영 프레임 수)와 화면 출력 속도(초당 출력 프레임 수)를 빠르게 하면 카메라가 움직여도 대부분의 배경영역에서의 차분 영상의 픽셀 값을 0으로 만들 수 있다. crt모니터와 같이 모니터 자체에 주사선의 스캐닝에의한 깜빡임이 있다면 그 깜박임을 촬영하여 차분 이미지를 구하는 것도 무방하다. 만약 어떤 임의의 모니터가 자체에 깜빡임이 거의 없는 경우라면 화면 출력프로그램에서 적당한 깜빡임을 구현해주거나 모니터 영상이 깜빡이도록 적당한 하드웨어를 모니터에 추가하는 것도 무방하다. 예를 들어서 컴퓨터의 OS 에 화면 깜빡임을 조절하는 기능을 추가할 수도 있다. 또는 게임 프로그램의 화면 출력 방식을 짝수 번째 프레임은 화면 전체를 검정 또는 흰색으로 출력하고 홀수 번째 프레임은 정상적인 게임 그래픽 영상을 출력하게 할 수 있다. 이때 각 프레임의 출력 순간과 카메라에서 촬영되는 프레임 사이에 동기화되도록 하는 것이 바람직하다. 예를 들면 짝수 번째 프레임을 화면에 출력한 직후에 카메라에서 화면을 촬영하고 그 다음에 홀수 번째 프레임을 화면에 출력한 후 카메라에서 화면을 촬영하여 이전 프레임을 촬영한 것과 현재 방금 촬영한 이미지 사이의 차분 이미지를 구하는 것이다. 이 경우 상기한 깜빡임을 구현해주는 부분이 실시예1의 마크 출력부에 해당한다. 이 경우 마크는 두 프레임에 걸쳐서 출력되는 공백 이미지와 정상적인 화면 이미지에 해당한다.

실시예5

본 실시예에서는 상기 실시예4와 비슷하게 짝수 번째 프레임에는 특정 마크 영상을 출력하고 홀수 번째

프레임에는 정상적인 원래의 출력 영상을 출력하여 짝수 번째 이미지만 촬영하고 그 이미지를 영상처리부에서 인식하여 마크를 검출하여 포인팅 작업을 수행하는 구성을 설명한다. 즉 상기 실시예4에서는 짝수 번째 프레임에는 빈 공백 이미지를 출력했지만 본 실시예에서는 예를 들어서 도5와 같이 윗변중앙이 뚫린 사각형과 그 사각형 중심에 위치한 + 형태의 마크를 출력하는 것을 예로 들어 설명한다. 중심의 +는 마크의 중심을 빠르게 검출하기 위함이고 사각형은 3차원 포인팅을 하기 위함이다. 그리고 사각형의 윗변이 뚫린 것은 카메라의 회전 상태를 검출하기위한 기준점을 표시하기 위함이다. 여기서 이러한 도5의 마크의 형태는 일 예일 뿐 어떤 형태의 마크를 사용해도 무방하다. 이러한 방식은 상기 실시예3에서 설명한 기존의 특허 등록번호 10-0708875 (표시화면을 카리키는 포인터의 포인팅 위치를 산출하는 장치 및 방법)와 어느 정도 유사하지만 상기 기존 특허에서는 마크를 원래 출력 영상 위에 합성하여 출력하므로 원래 영상부분이 가려지고 영상처리부에서 마크를 검출하기 어렵다는 단점이 있다. 이에 비해 본 실시예의 방식은 원래 영상과 마크 영상이 시간차를 두고 서로 다른 프레임에 출력되고 영상처리부에서는 마크 영상 프레임만 분석하면 되므로 훨씬 용이하게 마크를 검출할 수 있다. 또한 원래 영상이 마크에 의해 가려지지 않는다는 장점이 있다. 이때 마크 영상이 출력되는 빈도수는 원래 영상이 출력되는 빈도수에 비해 작게 함으로써 사람 눈에는 마크 영상이 보이 지 않게 하는 것이 바람직하다. 예를 들어서 짝수번째 프레임중 프레임 번호가 4 또는 그 이상의 짝수의 배수인 경우만 마크를 출력하고 나머지 프레임은 정상적인 영상을 출력하는 방식이다.

실시예6

상기 실시예5 에서는 마크 영상이 사람 눈에 보이지 않게 하기 위하여 마크 영상출력 프레임과 원래 영상 출력 프레임 사이의 영상 출력 빈도수를 조정했다. 본 실시예 에서는 마크 영상과 그 영상을 반전시킨 영상(예를 들면 흑백 반전)을 번갈아 출력함으로써 사람 눈에 마크 영상과 그 흑백 반전 영상이 합쳐져서 전체적으로 마크 형상이 사라진 공백 영상(전체가 회색인 영상)으로 보이게 하는 방식을 설명한다. 예를 들어서 마크 영상은 도5 와 같이 흰 바탕에 검정 마크이고 그 흑백 반전 영상은 도6과 같다. 이와 같이 마크 영상과 그 반전 영상을 빠르게 순차적으로 출력하면 사람 눈에는 두 영상이 겹쳐서 전체적으로 마크가 사라져 보이게 된다. 구체적으로 프레임 번호를 3으로 나눈 나머지가 0인 경우는 마크 영상을 출력하고,나머지가 1인 경우는 마크의 반전 영상을 출력하고,나머지가2인 경우는 정상적인 화면영상을 출력한다. 그리고 영상처리부에서는 나머지가 0인 프레임을 촬영하여 마크를 검출하여 포인팅 작업을 수행한다. 이 경우 마크가 사람 눈에 보이지 않게 하기 위하여 마크 영상 프레임과 그 반전 영상 프레임은 시간적으로 인접하여 순차적으로 출력하는 것이 바람직하다. 그리고 마크 영상과 그 반전 영상의 프레임의 출력 빈도수는 원래 영상 프레임의 출력 빈도수보다 적게 하는 것이 바람직하다. 예를 들어서 프레임 수를 10으로 나눈 나머지가 0이면 마크 영상을 출력하 고 ,나머지가1이면 그 반전 이미지를 출력하고,나머지가 2~9이면 정상적인 화면 영상을 출력하는 것이 바람직하다.

실시예7

본 실시예에서는 상기 실시예1과 같이 펜 형태의 카메라로 타블릿 형태의 모니터에 글씨를 쓰듯이 사용하는 포인팅 장치에 상기 실시예5~6에 사용된 프레임별로 다른 영상을 출력하는 기법을 적용한 방식을 설명한다. 구체적으로 상기 실시예5~6에서 마크에 해당하는 영상으로 2차원 매트릭스 형태로 나열된 바코드 영상(mkb)을 사용한다. 여기서 바코드는 자신의 위치에 해당하는 x,y좌표정보를 나타낸다. 이때 각 바코드 크기는 펜 형태의 카메라가 모니터 화면에 근접했을 때 하나의 바코드가 한 화면에 촬영될 수 있을 만큼의 크기인 것이 바람직하다. 도7은 그와 같은 바코드의 매트릭스로된 마크 영상이 출력되는 모습이다. 실시예5~6에서와 마찬가지로 마크 영상과 원래 영상을 번갈아 출력하고 영상 처리부에서는 마크 영상의 바코드를 인식하여 바코드로부터 그 바코드의 좌표를 알아낸다. 그러면 그 좌표가 현재 펜 형태의 카메라가 향하고 있는 모니터 상의 좌표에 해당한다. 그 좌표를 사용하여 포인팅 작업을 수행 할 수 있다. 이와 유사한 기술은 특허 공개번호 10-2007-0015230 (이미지 감지 오퍼레이터 입력 장치)에 (절대위치 장치로서 마우스의 사용)란에 소개되어있다. 상기 특허는 마우스 패드에 바코드 매트릭스를 인쇄하여 마우스 바닥의 카메라로 바코드를 촬영하여 절대 좌표를 입력하는 장치이다. 이에 비해 본 실시예의 포인팅 장치는 화면상에 사람 눈에 보이지 않게 바코드 매트릭스 형태의 마크를 출력하는 방식이다. 즉 별도의 마우스 패드가 불필요한 간단 한 구성임을 특징 으로한다. 본 실시예는 마크 형태가 바코드의 매트릭스 형태라는 점과 카메라와 화면 사이 거리가 가깝다는 점을 제외하고 구체적인 나머지 동작 방식은 상기 실시예5~6과 동일하다. 여기서 바코드 대신 기타 다른 마크나 숫자를 사용해도 무방하다. 예를 들어서 숫자나 알파벳을 바코드 대신 사용해도 무방하다. 또한 각각의 바코드를 포함하는 쎌을 표시하는 사각형 테두리를 도7과 같이 모눈종이와 같이 표시하여 그 모눈종이 쎌의 사각형의 찌그러진 형태와 크기를 인식함으로써3차원 포인팅 작업을 수행할 수도 있다.

본 실시예는 상기 실시예1에서 필요한 리셋 기능이 불필요하다는 장점이 있다. 이에 비해 상기 실시예1은 카메라의 촬영 속도가 그다지 빠르지 않아도 된다는 장점이 있다. 즉 본 실시예는 실시예1에 비해 촬영속도가 빠른 카메라를 필요로 한다.

도1은 본 발명의 실시예

도2는 좌측으로 이동하는 마크

도3은 임의 방향으로 이동하는 마크

도4는 모니터 화면을 다수의 사각형 영역으로 나눈 모습

도5는 마크 영상

도6은 도5의 흑백 반전 영상

도7은 바코드가 2차원 매트릭스 형태로 나열된 마크를 화면에 출력중인 모습

<도면 주요부호의 설명>

mo:모니터, mk: 마크

ca,: 카메라 st: 스타일러스펜

r : 스타일러스 펜의 회전방향

mkb : 2차원 매트릭스 형태로 나열된 바코드 영상

Claims (13)

1. 포인팅 장치에 있어서,

   마크를 디스플레이에 출력하는 마크 출력부;

   상기 마크를 촬영하는 카메라부;

   상기 카메라부에서 촬영한 이미지를 영상 처리하여 마크를 인식하여 포인팅 좌표값을 산출하는 영상 처리부를 포함하는 것을 특징으로 하는 카메라와 마크 출력에의한 포인팅 장치.
2. 제1항에 있어서,

   마크는 화면에 출력되는 포인팅 커서 아이콘이고

   영상 처리부는 카메라 부에서 촬영한 이미지에서 상기 마크를 인식하여 마크가 촬영된 이미지의 중심에서 벗어난 방향과 거리를 출력하고

   마크 출력부는 영상처리부에서 출력된 마크가 이미지 중심에서 벗어난 방향과 반대 방향으로마크를 이동시키되 이동 거리는 마크가 이미지 중심에서 벗어난 거리에 비례하게 마크를 이동시켜 디스플레이에 출력하는 것을 특징으로 하는 카메라와 마크 출력에의한 포인팅 장치.
3. 제2항에 있어서,

   영상처리부는 마크의 회전 방향을 검출하여 카메라의 마크에 대한 회전각도 를 산출하여 출력하는 것을 특징으로 하는 카메라와 마크 출력에의한 포인팅 장치.
4. 제2항에 있어서,

   영상처리부는 마크의 크기를 검출하여 카메라와 마크 사이의 거리를 산출하여 출력하는 것을 특징으로 하는 카메라와 마크 출력에의한 포인팅 장치.
5. 제2항에 있어서,

   영상처리부는 마크의 찌그러진 형태를 검출하여 카메라와 마크 사이의 방향을 산출하여 출력하는 것을 특징으로 하는 카메라와 마크 출력에의한 포인팅 장치.
6. 제1항에 있어서,

   마크 출력부는 영상처리부에서 마크를 인식하지 못한 경우 순차적으로 마크를 모니터의 각 대표점으로 이동시켜 디스플레이에 출력하는 것을 특징으로 하는 카메라와 마크 출력에의한 포인팅 장치.
7. 제1항에 있어서,

   마크 출력부는 리셋 신호가 입력된 경우 순차적으로 마크를 모니터의 각 대표점으로 이동시켜 디스플레이에 출력하는 것을 특징으로 하는 카메라와 마크 출력에의한 포인팅 장치.
8. 6항 또는 7항 중 어느 한 항에 있어서 모니터 위의 각 대표점은 일정 간격으로 배열된 수평선과 수직선의 교점인 것을 특징으로 하는 카메라와 마크 출력에의한 포인팅 장치.
9. 1항에 있어서 마크는 모니터에 출력하는 화면 전체 이고

   마크 출력부는 모니터에 출력중인 화면 전체영상을 영상처리부에 전달하는 모니터 영상 전달부를 포함하고;

   영상처리부는 촬영된 이미지에서 상기 모니터 영상 전달부로부터 수신한 모니터 출력 영상에 대응하는 부분을 검출하여 그 대응하는 부분의 위치와 크기 그리고 찌그러진 형태로부터 포인팅 좌표값을 산출하는 것을 특징으로 하는 카메라와 마크 출력에의한 포인팅 장치.
10. 9항에 있어서 마크 출력부는 홀수번째 프레임은 모든 픽셀이 동일한 밝기와 칼라 값인 공백 영상을 출력하고

    짝수번째 프레임은 정상 화면을 출력하고

    영상 처리부는 인접한 짝수번째 프레임과 홀수번째 프레임 영상을 촬영한 이미지의 차분 이미지를 구해서 차분 픽셀 값이 0이 아닌 영역을 마크로 인식하여 포인팅 좌표를 산출하는 것을 특징으로 하는 카메라와 마크 출력에의한 포인팅 장치.
11. 1항에 있어서 마크 출력부는

    홀수번째 프레임에는 마크 영상을 출력하고

    짝수 번째 프레임에는 정상 영상을 출력하고

    영상 처리부는 홀수번째 프레임 영상을 촬영한 이미지에서 마크를 인식하여 포인팅 좌표를 산출하는 것을 특징으로 하는 카메라와 마크 출력에의한 포인팅 장치.
12. 1항에 있어서 마크 출력부는

    프레임 번호를 3으로 나눈 나머지가 0인 프레임에는 마크 영상을 출력하고

    프레임 번호를 3으로 나눈 나머지가 1인 프레임에는 마크 영상을 흑백 반전 또는 보색 반전하여 출력하고

    프레임 번호를 3으로 나눈 나머지가 2인 프레임에는 정상 영상을 출력하고

    영상 처리부는 프레임 번호를 3으로 나눈 나머지가 0인 프레임 영상을 촬영한 이미지에서 마크를 인식하여 포인팅 좌표를 산출하는 것을 특징으로 하는 카메라와 마크 출력에의한 포인팅 장치.
13. 11항 내지 12항 중 어느 한 항에 있어서,

    마크는 2차원 xy좌표값을 나타내는 바코드 또는 패턴이 2차원 매트릭스 형태로 배열된 영상인 것을 특징으로 하는 카메라와 마크 출력에의한 포인팅 장치.

Images