KR20090091578A - 한 대의 카메라를 이용한 최소 오차를 갖는 레이저 빔의위치 검출 방법 및 장치 - Google Patents

한 대의 카메라를 이용한 최소 오차를 갖는 레이저 빔의위치 검출 방법 및 장치 Download PDF

Info

Publication number
KR20090091578A
KR20090091578A KR1020080016925A KR20080016925A KR20090091578A KR 20090091578 A KR20090091578 A KR 20090091578A KR 1020080016925 A KR1020080016925 A KR 1020080016925A KR 20080016925 A KR20080016925 A KR 20080016925A KR 20090091578 A KR20090091578 A KR 20090091578A
Authority
KR
South Korea
Prior art keywords
corner
laser beam
image
screen
detecting
Prior art date
Application number
KR1020080016925A
Other languages
English (en)
Other versions
KR100917615B1 (ko
Inventor
이왕헌
Original Assignee
한세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한세대학교 산학협력단 filed Critical 한세대학교 산학협력단
Priority to KR1020080016925A priority Critical patent/KR100917615B1/ko
Publication of KR20090091578A publication Critical patent/KR20090091578A/ko
Application granted granted Critical
Publication of KR100917615B1 publication Critical patent/KR100917615B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Projection Apparatus (AREA)
  • Position Input By Displaying (AREA)

Abstract

프리젠테이션 제공 시스템에서 조명 변화나 관측 위치에 관계없이 스크린이나 모니터의 코너 위치를 강인하게 추출할 수 있는 한 대의 카메라를 이용한 최소 오차를 갖는 레이저 빔의 위치 검출 방법 및 장치가 제공된다.
한 대의 카메라를 이용한 최소 오차를 갖는 레이저 빔의 위치 검출 방법은 상기 스크린 상의 영상의 이미지의 경계를 이루는 영상 정보의 코너 특징치들을 검출하는 단계, 상기 영상 정보의 외곽 선분들을 검출하는 단계, 상기 검출된 외곽 선분들 중에서 상기 검출된 코너 특징치들을 중심으로 특정 픽셀 이내에 존재하는 외곽 선분의 교점들을 코너 후보로 선택하는 단계, 상기 결정된 코너 후보 중 스크린 중심으로부터 가장 가까운 코너 후보를 최종 코너로 결정하는 단계, 상기 영상 내의 스크린에 투사된 상기 레이저 빔의 위치를 모니터 상의 위치로 변환하기 위한 사영 변환을 수행하는 단계 및 상기 모니터 상의 레이저 빔의 위치를 검출하는 단계를 포함한다.
프리젠테이션, 빔 프로젝터, 레이저 포인터, 스크린, 카메라, 캘리브레이션, 해리스 코너 검지기, 하프 변환

Description

한 대의 카메라를 이용한 최소 오차를 갖는 레이저 빔의 위치 검출 방법 및 장치{METHOD AND APPARATUS FOR DETECTING LOCATION OF LASER BEAM WITH MINIMIZED ERROR USING MONO-CAMERA}
본 발명은 한 대의 카메라를 이용하여 최소 오차를 갖는 레이저 빔의 위치 검출 방법 및 장치에 관한 것으로서, 보다 상세하게는, 프리젠테이션 시스템에서 조명 변화나 관측 위치에 관계없이 스크린이나 모니터의 코너 위치를 강인하게 추출할 수 있는 한 대의 카메라를 이용한 레이저 빔의 위치 검출 방법 및 장치에 관한 것이다.
일반적으로 강의 및 회의에서 발표자가 다수의 사람에게 정보를 전달하기 위해 컴퓨터와 같은 기기로부터 영상 소스를 제공받아 렌즈를 통해 스크린 위에 확대 투영하여 주는 빔 프로젝터를 사용한다.
이러한 빔 프로젝터를 통해 발표자가 출력되는 영상을 더욱 상세히 설명하기 위해서 레이저를 조사하여 스크린 상에 디스플레이되는 영상의 일부분을 가리키기 위한 레이저 포인터를 이용하기도 한다.
그러나, 빔 프로젝터는 영상 소스의 출력만을 수행하기 때문에, 컴퓨터로 출력되는 영상 소스의 경우 해당 컴퓨터와 연결된 입력 수단 즉, 키보드 또는 마우스 등을 이용하여 출력되는 영상을 제어할 수 있다.
따라서, 발표자의 위치가 직접 컴퓨터를 제어할 수 있는 위치가 아닌 경우, 즉, 발표자가 컴퓨터와 떨어져 있는 경우 발표자는 파일을 열거나 PC 상의 모니터를 직접 조작하기 위하여 진행 중인 발표를 멈추고 PC에 다가가 필요한 조작을 해야 하기 때문에 발표의 흐름이 끊기게 되는 불편함이 있다.
이에 레이저 포인터 기능은 물론 레이저 포인터로부터 조사되어 스크린 상에 맺히는 레이저 빔을 영상 처리를 통해 마우스의 포인터와 매칭시켜 입력 기능을 수행할 수 있는 레이저 빔 포인터(Laser Beam Pointer; LBP)를 이용한 입력 장치와 그를 이용한 프리젠테이션 제공 시스템이 제안되었다.
그러나 종래 기술에 따른 프리젠테이션 제공 시스템은 조명 변화, 카메라의 설치 위치 및 관측 위치 등의 설치 환경에 따라 레이저 빔 위치의 검출 오차가 크다는 문제점이 있다.
또한, 종래 기술에 따른 프리젠테이션 제공 시스템은 다수의 카메라를 이용하거나 복잡한 캘리브레이션이 요구된다는 문제점이 있다.
한편, 선행 기술로서, 대한민국 특허등록번호 제10-0452413호에서는 컴퓨터 스크린 상에서 보여지는 디스플레이된 영상에 대해 컴퓨터-생성 투사 영상을 캘리브레이션 하는 ‘컴퓨터-생성 투사 영상의 캘리브레이션을 위한 방법 및 장치’를 개시하고 있다.
그러나, 선행기술은 한 대의 카메라에서 조명 변화, 카메라의 설치 위치 및 관측 위치에 관계없이 스크린이나 모니터의 코너 위치와 레이저 빔의 위치를 정확히 추출할 수 있는 방법에 대해서는 그 해결책을 제시하지 못하고 있다.
본 발명의 일 실시예는 조명 변화나 관측 위치에 관계없이 스크린이나 모니터의 코너 위치를 강인하게 추출할 수 있는 한 대의 카메라를 이용한 최소 오차를 갖는 레이저 빔의 위치 검출 방법 및 장치를 제공한다.
또한, 본 발명의 일 실시예는 해리스 코너 검지기(Harris Corner Detector; HCD) 및 하프 변환(Hough conversion transformation; HOT)을 이중으로 적용하여 다중의 검지된 코너 후보들 중 확률이 높은 코너 포인트를 추출하여 레이저 빔의 위치 인식률을 높일 수 있는 한 대의 카메라를 이용한 최소 오차를 갖는 레이저 빔의 위치 검출 방법 및 장치를 제공한다.
또한, 본 발명의 일 실시예는 한 대의 카메라와 영상 처리 기술을 이용하여 설치가 간단하고 저가로도 구현이 가능한 프리젠테이션 시스템을 제공한다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면은 한 대의 카메라를 이용한 최소 오차를 갖는 레이저 빔의 위치 검출 방법에 있어서, 스크린 상의 영상의 이미지의 경계를 이루는 영상 정보의 코너 특징치들을 검출하는 단계, 상기 영상 정보의 외곽 선분들을 검출하는 단계, 상기 검출된 외곽 선분들 중에서 상기 검출된 코너 특징치들을 중심으로 특정 픽셀 이내에 존재하는 외곽 선분의 교점들을 코너 후보로 선택하는 단계, 상기 결정된 코너 후보 중 스크 린 중심으로부터 가장 가까운 코너 후보를 최종 코너로 결정하는 단계, 상기 최종 코너의 좌표와 스크린의 넓이와 높이 정보를 이용하여, 상기 영상 내의 스크린에 투사된 상기 레이저 빔의 위치를 모니터 상의 위치로 변환하기 위한 사영 변환을 수행하는 단계 및 상기 모니터 상의 레이저 빔의 위치를 검출하는 단계를 포함하는 최소 오차를 갖는 레이저 빔의 위치 검출 방법을 제공한다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 2 측면은 한 대의 카메라를 이용한 최소 오차를 갖는 레이저 빔의 위치 검출 장치에 있어서, 영상의 이미지 경계를 이루는 영상 정보의 코너 특징치들을 검출하는 코너 특징치 검출 모듈, 상기 영상의 외곽 선분들을 검출하는 외곽 선분 검출 모듈, 상기 검출된 외곽 선분들 중 상기 검출된 코너 특징치들을 중심으로 특정 픽셀 이내에 존재하는 선분의 교점들을 코너 후보 위치들로 선택하는 코너 후보 선택 모듈, 상기 코너 후보 위치들 중 상기 스크린의 중심으로부터 최단거리의 교차점을 최종 코너 위치로 선택하는 최종 코너 선택 모듈, 상기 최종 코너의 좌표와 스크린의 넓이와 높이 정보를 이용하여, 상기 영상 내의 스크린에 투사된 레이저 빔의 위치를 실제 모니터 상의 위치로 사영 변환하는 사영 변환 모듈 및 상기 레이저 빔의 실제 위치를 검출하는 빔 위치 검출 모듈을 포함하는 최소 오차를 갖는 레이저 빔의 위치 검출 장치를 제공한다.
전술한 본 발명의 과제 해결 수단 중 하나에 의하면, 한 대의 카메라를 이용 하여 조명 변화나 관측 위치에 관계없이 스크린이나 모니터의 코너 위치를 강인하게 추출할 수 있는 레이저 빔의 위치 검출 방법 및 장치를 제공한다.
또한, 본 발명의 다른 과제 해결 수단 중 하나에 의하면, 해리스 코너 검지기(Harris Corner Detector; HCD) 및 하프 변환(Hough conversion transformation; HOT)을 이중으로 적용하여 다중의 검지된 코너 후보들 중 확률이 높은 코너 포인트를 추출하여 레이저 빔의 위치 인식률을 높일 수 있다.
또한, 본 발명의 또 다른 과제 해결 수단 중 하나에 의하면, 한 대의 카메라와 영상 처리 기술을 이용하여 설치가 간단하며 저가로도 구현이 가능한 프리젠테이션 시스템을 제공할 수 있다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하 는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 일 실시예에 따른 한 대의 카메라를 이용한 최소 오차를 갖는 레이저 빔의 위치 검출 방법이 적용되는 프리젠테이션 제공 시스템의 개략도이다.
도 1을 참조하면, 프리젠테이션 제공 시스템(1000)은 스크린(110), 컴퓨터(120), 빔 프로젝터(130), 카메라(140) 및 레이저 빔 포인터(150)를 포함한다.
컴퓨터(120)는 노트북, 데스크톱(desktop), 랩톱(laptop) 등을 포함하며, 동영상, 정지 영상, 텍스트 등의 다양한 발표 자료를 프리젠테이션 할 수 있도록 컴퓨터 화면에 출력하고 동시에 빔 프로젝터(130)로 전송한다. 또한, 컴퓨터(120)는 무선 마우스 기능을 갖는 레이저 빔 포인터(150)와 무선 연결되어 레이저 빔 포인터(150)로부터 전송되는 조작 명령에 따라 해당 기능을 구동한다.
빔 프로젝터(130)는 TV, VCR, DVD Player, PC, 캠코더 등의 각종 영상 기기들의 신호를 입력 받아 렌즈를 통해 확대한 영상을 스크린(110) 상에 출력한다.
카메라(140)는 렌즈로부터 입력되는 영상을 CCD 또는 CMOS와 같은 촬상 소자를 통해 촬영하여 출력하는 예를 들어, 디지털 카메라로 구현될 수 있으며, 빔 프로젝터(130)에 의해 스크린(110) 상에 디스플레이되는 영상을 촬영하여 그 영상 정보를 컴퓨터(120)에 제공한다.
레이저 빔 포인터(150)는 스크린(110)에 디스플레이되는 영상의 소정 부분을 지시하기 위한 레이저를 조사하며, 레이저 빔의 조작에 의한 마우스 기능을 동시에 수행할 수 있는 마우스 기능을 가진 레이저 빔 포인터이다.
도 2는 본 발명의 일 실시예에 따른 한 대의 카메라를 이용한 최소 오차를 갖는 레이저 빔의 위치 검출 방법을 설명하기 위한 흐름도이다.
먼저, 단계(S11)에서는 카메라의 위치, 방향 등의 외부 변수와 초점 거리, 픽셀 크기 등의 내부 변수를 계산하기 위한 카메라 캘리브레이션(Calibration)을 수행한다. 본 발명의 실시예에서는 체커보드와 Zhang 캘리브레이션 방법을 이용하여 카메라 캘리브레이션이 수행될 수 있다. Zhang 캘리브레이션의 체커 패턴 알고리즘에 따르면 내부변수 H(Intrinsic Parameter)와 외부 변수 D(Extrinsic Parameters)는 수학식 1 및 수학식 2와 같이 계산될 수 있다.
Figure 112008013786322-PAT00001
Figure 112008013786322-PAT00002
상기 수학식 1에서의 H(Intrinsic Parameter)는 카메라 좌표계와 픽셀 좌표계 간의 관계를 나타내는 내부 변수이고, 상기 수학식 2에서의 D(Extrinsic Parameters)는 카메라 좌표계와 세계 좌표계 간의 관계를 나타내는 외부 변수이다.
이와 같이, 3차원 좌표를 알고 있고 이에 대응되는 영상의 2 차원 좌표를 구 할 수 있는 경우, 이 대응 관계를 사용하여 카메라 변수를 계산하는 방법으로 카메라 캘리브레이션(Calibration)을 수행함으로써, 카메라의 광학적, 기하학, 디지털 특성을 설정하는 내부 변수 H 및 세계 좌표계 상에서 카메라의 위치와 방향을 정하는 외부 변수 D를 계산할 수 있다.
카메라 캘리브레이션이 완료되면, 단계(S12)에서는 영상의 이미지의 경계를 이루는 영상 정보의 4개의 코너의 특징치를 검출한다. 코너의 특징치 검출은 해리스 코너 검지기(Harris Corner Detector; HCD)를 이용할 수 있다. 해리스 코너 검지는 영상 내에 정의된 윈도우 안의 픽셀 값이 상하좌우 방향으로 모두 급격하게 변하는 위치를 코너로 규정하는 코너 검출 방법이다.
다음, 단계(S13)에서는 영상의 이미지의 경계를 이루는 영상 정보의 외곽 선분을 검출한다. 영상 정보의 외곽 선분 검출은 하프 변환(Hough conversion transformation; HOT)을 수행하여 검출될 수 있다. 하프 변환은 2차원 영상 좌표에서 직선의 방정식을 파라미터 공간으로 변환하여 직선을 찾는 알고리즘에 해당한다.
다음, 단계(S14)에서는 단계(S13)에서 취득된 선분들 중 단계(S12)에서 검출된 코너 특징치를 중심으로 소정 픽셀, 예를 들어, 5 픽셀 이내에 존재하는 외곽 선분의 교점들을 코너 후보 위치로 결정한다.
다음, 단계(S15)에서는 스크린이 그 중심에 가까운 위치에 코너가 존재한다는 기하학적인 특징을 이용하여 단계(S14)에서 선정된 코너 후보 위치 중 스크린의 중심으로부터 가장 가까운 교차점을 최종 코너 위치로 확정한다.
이와 같이, 본 발명의 일 실시예에 따른 한 대의 카메라를 이용한 최소 오차를 갖는 레이저 빔의 위치 검출 방법은 해리스 코너 검지기(HCD) 및 하프 변환(HOT)을 이중으로 적용하여 다중의 검지된 코너 후보 위치들 중에서 확률이 높은 코너 위치만을 추출할 수 있다. 즉, 해리스 코너 검지기(HCD)에 의해 구해진 코너 특징치를 중심으로 5 픽셀 이내에 존재하는 하프 변환(HOT)에 의한 교점들을 코너 후보 위치로 정하고 그 평균을 취하여 최종 코너 위치로 결정하기 때문에 위치 인식의 반복성을 높이며 동시에 인식된 오차가 최소가 되도록 할 수 있다.
다시 도 2로 돌아가, 최종 코너 위치가 선택되면, 단계(S16)에서는 영상 내의 스크린에 투사된 레이저 빔의 위치를 실제 모니터 상의 위치로 옮기기 위한 평면-평면 사영 변환을 수행한다. 평면-평면 사영 변환은 하나의 도형에서 점, 선, 면 등의 각 요소들을 각각 일대일로 대응하는 다른 평면의 요소들로 옮기기 위한 것으로, 예를 들어 4개의 코너를 가지지만 카메라 위치에 의해 직사각형이 아닌 사각형으로 인식된 영상 좌표를 직사각형의 모니터상에 위치시키는데 이용할 수 있다. 본 발명의 실시예에 있어 평면-평면 사영 변환은 수학식 3에 의해 수행될 수 있다.
Figure 112008013786322-PAT00003
수학식 3에서, (x y l)T는 스크린 상에서 레이저 빔의 세계 좌표(World Coordinate)이며, (u v l)T은 이미지 상의 좌표(Image Coordinate)이다.
이때, 카메라와 스크린이 고정된 경우, 일반적으로 네 포인트 이상의 대응점을 이용하여 수학식 3을 만족하는 사영 변환 계수는 수학식 4에 의해 계산될 수 있다.
Figure 112008013786322-PAT00004
또한, 스크린의 네 개의 코너의 각 대응점(P1, P2, P3, P4)에 대해 수학식 4를 적용하면 아래의 수학식 5를 구할 수 있다. 이때, 각 대응점 P1은 (x1, y1), P2는 (x2, y2), P3는 (x3, y3), P4는 (x4, y4)이다.
Figure 112008013786322-PAT00005
수학식 5에서, (xi, yi) for i=1,4는 모니터의 4개의 코너점의 좌표를 나타낸다. 일반적인 모니터의 가로와 세로의 변수 (W, H)가 주어지며 이를 매개 변수로 하여 수학식 5를 다시 풀면 수학식 6을 구할 수 있다. 여기서, W와 H는 모니터와 투사된 빔에 의한 화면의 폭과 높이를 나타낸다.
Figure 112008013786322-PAT00006
다시 도 2로 돌아와, 사영 변환이 완료되면, 단계(S17)에서는 스크린 상의 레이저 포인트에 대한 RGB 영상을 조명 변화에 강한 YIG 컬러 영상으로 변환하는 컬러 스페이스 변환을 수행한다. 이러한 컬러 스페이스 변환은 R, G, B의 세 가지 성분으로 이루어진 컬러 영상의 명도(Luminance)를 위한 Y 성분과 색상(Chrominance)을 위한 I 와 Q 성분으로 변환하는 과정으로, 이는 압축률을 높이기 위한 과정으로서, 아래 수학식 7과 같이 수행된다. 즉, 여기서, 고속 처리를 위하여 Look Up Table(LUT) 방법을 사용할 수 있다.
Figure 112008013786322-PAT00007
다음, 단계(S18)에서는 스크린에 투사된 레이저 빔의 위치를 검출한다. 즉, 스크린에 투사된 레이저 빔의 면적 중심을 구하여, 검지된 레이저 빔의 위치가 실제 레이저 빔인지의 여부를 결정한다. 이때, 빔 위치의 각 방향의 중심 값은 수학식 8에 계산될 수 있으며, 검지된 레이저 빔의 위치가 노이즈인지 실제 빔인지의 여부는 수학식 9에 의해 진원도(Eccentricity)를 측정함으로써 알 수 있다.
Figure 112008013786322-PAT00008
Figure 112008013786322-PAT00009
수학식 8 및 수학식 9에서, A는 검출된 빔의 면적, l은 원주를 나타내며, 이때, A=20 화소 면적 이하의 것은 노이즈로 판단하여 무시할 수 있다.
상술한 바와 같이, 본 발명의 일 실시예에 따른 한 대의 카메라를 이용한 최소 오차를 갖는 레이저 빔의 위치 검출 방법에 따르면, 4 개의 코너 포인트와 스크 린 또는 LCD 모니터의 가로, 세로 길이를 이용하여 기하학적인 변환을 수행하고 투사된 레이저 빔 또는 커서의 위치를 검지할 수 있다. 이때, 4개의 코너 포인트의 위치 인식 정도는 투사된 빔의 위치 인식의 정확도에 직접 영향을 주게 됨으로 코너의 인식 정도를 높이는 방법의 고안은 한 개의 카메라를 이용한 커서 위치 인식 시스템 전체의 오차에 직결되는 아주 중요한 요소이다.
도 3은 본 발명의 일 실시예에 따라, 코너 위치를 추출하는 구성을 설명하기 위한 도면이다.
먼저, 도 3의 (a)에 나타낸 바와 같이, 해리스 코너 검지를 통해 코너 특징치를 구하고, (b)에 나타낸 바와 같이 하프 변환을 통해 외곽 선분을 검출하게 된다. 여기서, 하프 변환을 통해 구한 선분들의 교차점을 코너 후보 특징치로 구하게 된다.
한편, (c)와 같이 해리스 코너 검지를 통해 구해진 코너 특징치를 중심으로 미리 정해진 범위(예를 들어, 5 픽셀)이내에 존재하는 하프 변한에 의해 구해진 선분의 교점을 코너 후보 위치로 결정하게 된다. (d)에서 나타낸 바와 같이 이와 같이 구해진 코너 후보 중에서 중심에서 가장 가까운 코너를 사용할 최종 코너로서 확정하게 된다.
도 3에 도시된 도면에 따른 실시예는, 도 2의 단계(S12, S13, S14, S15)에 대응 하는 것으로, 도 3을 통해 본 발명의 실시예에 따른 코너 위치 추출을 더욱 용이하게 이해할 수 있을 것이다.
이와 같이, 해리스 코너 검지와 하프 변환을 이중적으로 이용함으로써, 위치 인식의 반복성을 높이고 오차가 최소화된 강인한 코너 위치 추출이 가능해진다. 이와 같이 추출된 4개의 코너 위치와 스크린 또는 모니터의 가로, 세로 길이를 이용하면 전술한 바와 같이 투사된 빔 또는 커서의 위치를 정확하게 검지할 수 있다.
도 4는 본 발명의 일 실시예에 따른 한 대의 카메라를 이용한 최소 오차를 갖는 레이저 빔의 위치 검출 장치의 세부 구성도이다.
도 4를 참조하면, 최소 오차를 갖는 레이저 빔의 위치 검출 장치(100)는 캘리브레이션 수행 모듈(101), 코너 특징치 검출 모듈(102), 외곽 선분 검출 모듈(103), 코너 후보 선택 모듈(104), 최종 코너 선택 모듈(105), 사영 변환 모듈(106), 컬러 스페이스 변환 모듈(107) 및 빔 위치 검출 모듈(108)을 포함한다.
상기 레이저 빔 위치 검출 장치는 영상정보 입력부(10)로부터 스크린 또는 LCD 모니터를 촬영한 영상 정보를 획득하고, 검출된 빔 위치 정보를 빔 위치 정보 출력부(20)으로 출력하여, 커서의 위치와 동기화 시킬 수 있다.캘리브레이션 수행 모듈(101)은 카메라의 위치, 방향 등의 외부 변수 및 초점 거리, 화소 크기 등의 내부 변수를 계산하여 카메라의 캘리브레이션을 수행한다. 상기 캘리브레이션은 전술한 바와 같이, Zhang 캘리브레이션 방법을 이용할 수 잇다.
코너 특징치 검출 모듈(102)은 영상의 이미지 경계를 이루는 영상 정보의 4개의 코너 특징치들을 검출한다. 코너 특징치들은 해리스 코너 검출기(Harris Corner Detector)를 이용하여 검출될 수 있다.
외곽 선분 검출 모듈(103)은 영상의 이미지 경계를 이루는 영상 정보의 외곽 선분들을 검출한다. 외곽 선분들은 하프 변환(HOT)에 의해 검출될 수 있다.
코너 후보 선택 모듈(104)은 외곽 선분 검출 모듈(130)에 의해 검출된 영상 정보의 외곽 선분들 중 코너 특징치 검출 모듈(120)에 의해 검출된 코너 특징치 들을 중심으로 미리 정해진 픽셀 이내에 존재하는 선분의 교점들을 코너 후보 위치로 선택한다.
최종 코너 선택 모듈(105)은 코너 후보 선택 모듈(140)에 의해 선택된 코너 후보 위치 중 스크린의 중심으로부터 가장 가까운 교차점을 최종 코너 위치로 선택한다.
사영 변환 모듈(106)은 영상 내의 스크린에 투사된 레이저 빔의 위치를 실제 모니터 상의 위치로 옮기기 위한 평면-평면 사영 변환을 수행한다.
컬러 스페이스 변환 모듈(107)은 스크린 상에 조사된 레이저 빔에 대한 RGB 영상을 YIG 컬러 영상으로 변환하기 위한 컬러 스페이스 변환을 수행한다.
빔 면적 산출 모듈(108)은 스크린에 투사된 레이저 빔의 면적 중심을 산출한다.
빔 위치 검출 모듈(109)은 빔 면적 산출 모듈(180)에 의해 산출된 레이저 빔의 면적 중심 값에 기초하여, 상기 레이저 빔의 위치를 검출한다.
이와 같이 검출된 레이저 빔의 위치는 커서 위치와 동기화 되어, 사용자는 레이저 빔 포인터를 마우스와 같이 이용하여 컴퓨터를 제어할 수 있다.
전술한 모듈은 각각 물리적으로 분리되어 구현될 수도 있으며, 통합되어 구현될 수도 있다. 물리적으로 통합되어 구현되는 경우에는 하나의 칩에 설계되거나, 프로그램이 기록된 기록 매체 형태로 구현될 수 있다.
따라서, 빔 위치 검출 장치(100)는 도 1에 도시된 프리젠테이션 시스템(1000)에서 카메라(140)와 컴퓨터(120) 사이에 연결된 별도의 장치로 구현되거나, 컴퓨터(120)에 내장된 하드웨어 또는 프로그램의 형태로 구현이 가능하다.
도 5는 본 발명의 일 실시예에 따른 검출 방법을 이용한 LCD 모니터 상의 레이저 빔의 위치 검출 실험 결과를 나타낸 사진이고, 도 6은 본 발명의 일 실시예에 따른 검출 방법을 이용한 빔 프로젝터 상의 레이저 빔의 위치 검출 실험 결과를 나타낸 사진이다.
실험은 각각 LCD 모니터 21인치(W=410mm, H=310mm) 및 화이트 보드에 투사된 화면(W=1200mm, H=800mm)에 대하여 조명의 변화와 시야각을 변화하면서 격자 위치를 측정하여 그 오차를 분석한 결과이다.
도 5 및 도 6의 가장 좌측에 위치한 사진은 각각 영상의 이미지 에 대해 해리스 코너 검지를 이용하여 코너 특징치를 검출 화면이고, 다음 사진은 는 하프 변환을 이용하여 이미지 경계를 이루는 외곽 선분의 검출 화면이다.
또한, 도 5 및 도 6의 좌측으로부터 세 번째 사진은 각각 검출된 격자점을 나타내고, 네 번째 사진은 검출된 격자점을 기초로 하여 각각 재구성된 모니터 상의 격자점을 나타낸다.
도 5 및 도 6의 가장 우측에 위치한 그래프도는 수평과 수직에 있어서의 오차 분석 결과를 나타낸다.
도 5 및 도 6을 참조하면, 21인치 모니터와 화이트 보드에 투사된 빔 프로젝터(130) 화면의 4 개의 코너 및 내부의 격자 위치를 측정한 결과, 레이저 빔 포인 터(LBP)의 기능뿐만 아니라 마우스 기능을 대치할 수 있을 정도의 1% 미만의 위치 인식 오차율을 보여주고 있음을 확인할 수 있다.
특히, 카메라를 이용한 레이저 빔 포인터(LBP) 기반의 마우스 커서의 인식 기능에 있어서, 가장 중요한 시야각의 변화나 조명의 변화에도 강인하게 빔의 위치를 검출하고 있음을 확인할 수 있다.
단지, LCD 모니터나 빔 프로젝터 화면의 폭(W)과 높이(H)를 알고 있을 경우 일반적으로 사용하는 저가의 한 대의 웹 카메라를 이용하여 레이저 빔 포인터(LBP)의 위치 인식과 동시에 마우스의 기능을 수행할 수 있는 영상 처리 기반의 마우스 기능을 갖춘 빔 프로젝터 장치로 사용이 가능할 것이다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비 휘발성 매체, 분리형 및 비 분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비 휘발성, 분리형 및 비 분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
도 1은 본 발명의 일 실시예에 따른 최소 오차를 갖는 레이저 빔의 위치 검출 방법이 적용되는 프리젠테이션 제공 시스템의 개략도이다.
도 2는 본 발명의 일 실시예에 따른 최소 오차를 갖는 레이저 빔의 위치 검출 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따라, 코너 위치를 추출하는 구성을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 최소 오차를 갖는 레이저 빔의 위치 검출 장치의 세부 구성도이다.
도 5는 본 발명의 일 실시예에 따른 검출 방법을 이용한 LCD 모니터 상의 레이저 빔의 위치 검출 실험 결과를 나타낸 사진이다.
도 6은 본 발명의 일 실시예에 따른 검출 방법을 이용한 빔 프로젝터 상의 레이저 빔의 위치 검출 실험 결과를 나타낸 사진이다.

Claims (11)

  1. 한 대의 카메라를 이용한 최소 오차를 갖는 레이저 빔의 위치 검출 방법에 있어서,
    스크린 상의 영상의 이미지의 경계를 이루는 영상 정보의 코너 특징치들을 검출하는 단계,
    상기 영상 정보의 외곽 선분들을 검출하는 단계,
    상기 검출된 외곽 선분들 중에서 상기 검출된 코너 특징치들을 중심으로 미리 정해진 픽셀 이내에 존재하는 외곽 선분의 교점들을 코너 후보로 선택하는 단계,
    상기 결정된 코너 후보 중 스크린 중심으로부터 가장 가까운 코너 후보를 최종 코너로 결정하는 단계,
    상기 최종 코너의 좌표와 스크린의 넓이와 높이 정보를 이용하여, 상기 영상 내의 스크린에 투사된 상기 레이저 빔의 위치를 모니터 상의 위치로 변환하기 위한 사영 변환을 수행하는 단계 및
    상기 모니터 상의 레이저 빔의 위치를 검출하는 단계
    를 포함하는 최소 오차를 갖는 레이저 빔의 위치 검출 방법.
  2. 제 1 항에 있어서,
    상기 코너 특징치의 검출은 해리스 코너 검지기(Harris Corner Detector)를 이용하는 것인 최소 오차를 갖는 레이저 빔의 위치 검출 방법.
  3. 제 1 항에 있어서,
    상기 외곽 선분의 검출은 하프 변환(Hough Conversion)에 의해 수행되는 것인 최소 오차를 갖는 레이저 빔의 위치 검출 방법.
  4. 제 1 항에 있어서,
    상기 카메라의 내부 변수 및 외부 변수를 계산하여 카메라 캘리브레이션(Calibration)을 수행하는 단계
    를 더 포함하는 최소 오차를 갖는 레이저 빔의 위치 검출 방법.
  5. 제 1 항에 있어서,
    상기 스크린 상의 레이저 빔에 대한 RGB 영상을 조명 변화에 강한 YIG 컬러 영상으로 변환하기 위한 컬러 스페이스 변환을 수행하는 단계
    를 더 포함하는 최소 오차를 갖는 레이저 빔의 위치 검출 방법.
  6. 한 대의 카메라를 이용한 최소 오차를 갖는 레이저 빔의 위치 검출 장치에 있어서,
    영상의 이미지 경계를 이루는 영상 정보의 코너 특징치들을 검출하는 코너 특징치 검출 모듈,
    상기 영상의 외곽 선분들을 검출하는 외곽 선분 검출 모듈,
    상기 검출된 외곽 선분들 중 상기 검출된 코너 특징치들을 중심으로 미리 정해진 픽셀 이내에 존재하는 선분의 교점들을 코너 후보 위치들로 선택하는 코너 후보 선택 모듈,
    상기 코너 후보 위치들 중 상기 스크린의 중심으로부터 최단거리의 교차점을 최종 코너 위치로 선택하는 최종 코너 선택 모듈,
    상기 최종 코너와 스크린의 넓이와 높이 정보를 이용하여, 상기 영상 내의 스크린에 투사된 레이저 빔의 위치를 실제 모니터 상의 위치로 사영 변환하는 사영 변환 모듈 및
    상기 레이저 빔의 실제 위치를 검출하는 빔 위치 검출 모듈
    을 포함하는 최소 오차를 갖는 레이저 빔의 위치 검출 장치.
  7. 제 6 항에 있어서,
    상기 카메라의 외부 변수 및 내부 변수를 계산하여 카메라의 캘리브레이션을 수행하는 캘리브레이션 수행 모듈
    을 더 포함하는 최소 오차를 갖는 레이저 빔의 위치 검출 장치.
  8. 제 6 항에 있어서,
    상기 레이저 빔의 면적 중심을 산출하는 빔 면적 산출 모듈
    을 더 포함하고,
    상기 빔 위치 검출 모듈은 상기 빔 면적 산출 모듈에 의해 산출된 레이저 빔의 면적 중심에 기초하여 상기 레이저 빔의 실제 위치를 검출하는 것인 최소 오차를 갖는 레이저 빔의 위치 검출 장치.
  9. 제 6 항에 있어서,
    상기 스크린을 촬영한 영상 정보를 입력하는 영상 정보 입력부를 더 포함하는 최소 오차를 갖는 레이저 빔의 위치 검출 장치.
  10. 제 6 항에 있어서,
    상기 검출된 레이저 빔의 위치 정보를 출력하는 출력부를 더 포함하고,
    상기 출력된 레이저 빔의 위치 정보는 커서의 위치와 동기화 되는 것인 최소 오차를 갖는 레이저 빔의 위치 검출 장치.
  11. 제 1 항 내지 제 5 항 중에 어느 하나의 항에 따른 방법에 기재된 단계를 수행하는 프로그램이 기록된 컴퓨터가 읽기 가능한 기록 매체.
KR1020080016925A 2008-02-25 2008-02-25 한 대의 카메라를 이용한 최소 오차를 갖는 레이저 빔의위치 검출 방법 및 장치 KR100917615B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080016925A KR100917615B1 (ko) 2008-02-25 2008-02-25 한 대의 카메라를 이용한 최소 오차를 갖는 레이저 빔의위치 검출 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080016925A KR100917615B1 (ko) 2008-02-25 2008-02-25 한 대의 카메라를 이용한 최소 오차를 갖는 레이저 빔의위치 검출 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20090091578A true KR20090091578A (ko) 2009-08-28
KR100917615B1 KR100917615B1 (ko) 2009-09-17

Family

ID=41208956

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080016925A KR100917615B1 (ko) 2008-02-25 2008-02-25 한 대의 카메라를 이용한 최소 오차를 갖는 레이저 빔의위치 검출 방법 및 장치

Country Status (1)

Country Link
KR (1) KR100917615B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101280840B1 (ko) * 2013-04-23 2013-07-02 (주)유한프리젠 프리젠테이션 시스템의 스크린상에서 레이저 포인트 위치 좌표 인식 방법
CN104657988A (zh) * 2015-02-04 2015-05-27 中国矿业大学 基于角点与曲率检测的微细粒粘连矿石颗粒图像分割方法
CN107437263A (zh) * 2017-06-14 2017-12-05 昆明理工大学 一种方格板角点提取方法
CN110533675A (zh) * 2019-08-26 2019-12-03 大连理工大学 一种激光条纹遮挡噪声滤除及补偿方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100511721B1 (ko) * 2003-07-08 2005-09-02 재단법인서울대학교산학협력재단 특징점 정합 및 기본 함수 추정 방법
KR101169276B1 (ko) * 2005-10-19 2012-08-02 엘지전자 주식회사 영상 보정 프로젝터 및 영상 보정 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101280840B1 (ko) * 2013-04-23 2013-07-02 (주)유한프리젠 프리젠테이션 시스템의 스크린상에서 레이저 포인트 위치 좌표 인식 방법
CN104657988A (zh) * 2015-02-04 2015-05-27 中国矿业大学 基于角点与曲率检测的微细粒粘连矿石颗粒图像分割方法
CN107437263A (zh) * 2017-06-14 2017-12-05 昆明理工大学 一种方格板角点提取方法
CN107437263B (zh) * 2017-06-14 2020-09-25 昆明理工大学 一种方格板角点提取方法
CN110533675A (zh) * 2019-08-26 2019-12-03 大连理工大学 一种激光条纹遮挡噪声滤除及补偿方法
CN110533675B (zh) * 2019-08-26 2021-01-19 大连理工大学 一种激光条纹遮挡噪声滤除及补偿方法

Also Published As

Publication number Publication date
KR100917615B1 (ko) 2009-09-17

Similar Documents

Publication Publication Date Title
CN100442141C (zh) 图像投影方法和设备
JP3925521B2 (ja) スクリーンの一部の辺を用いたキーストーン補正
US9535538B2 (en) System, information processing apparatus, and information processing method
JP5910157B2 (ja) 画像投射装置
US8538084B2 (en) Method and apparatus for depth sensing keystoning
CN112272292B (zh) 投影校正方法、装置和存储介质
US9633450B2 (en) Image measurement device, and recording medium
JP2004260785A (ja) 画像歪み補正機能を備えたプロジェクタ装置
TW200425736A (en) Image processing system, projector and image processing method
KR101691880B1 (ko) 자동 캘리브레이션 기능이 구비된 인터액티브 시스템 및 인터액티브 시스템의 자동 캘리브레이션 방법
JP3996617B2 (ja) 画像歪み補正機能を備えたプロジェクタ装置
TWI446225B (zh) 投影系統與其影像處理方法
JP2005318652A (ja) 画像歪み補正機能を備えたプロジェクタ装置
US20020136455A1 (en) System and method for robust foreground and background image data separation for location of objects in front of a controllable display within a camera view
JP6804056B2 (ja) 投写型表示装置、投写型表示装置の制御方法、及びプログラム
KR100917615B1 (ko) 한 대의 카메라를 이용한 최소 오차를 갖는 레이저 빔의위치 검출 방법 및 장치
US10073614B2 (en) Information processing device, image projection apparatus, and information processing method
US20140001346A1 (en) Image projection device and detection method thereof
JP2017125764A (ja) 物体検出装置、及び物体検出装置を備えた画像表示装置
JP2017220880A (ja) 投影装置及び投影方法
JP6641485B2 (ja) 位置指定装置および位置指定方法
JP2020025224A (ja) カメラ評価値測定装置およびカメラ評価値測定方法
JP2018098598A (ja) 入出力装置、情報共有方法及び情報共有プログラム
US20230353714A1 (en) Projection control method and projection control device
Yan et al. Hue-based feature detection for geometry calibration of multiprojector arrays

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120910

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130904

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140903

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee