KR101184475B1 - Laser pointer interface apparatus for dynamic environments and providing method of interface using laser pointer for dynamic environments - Google Patents

Laser pointer interface apparatus for dynamic environments and providing method of interface using laser pointer for dynamic environments Download PDF

Info

Publication number
KR101184475B1
KR101184475B1 KR1020100081964A KR20100081964A KR101184475B1 KR 101184475 B1 KR101184475 B1 KR 101184475B1 KR 1020100081964 A KR1020100081964 A KR 1020100081964A KR 20100081964 A KR20100081964 A KR 20100081964A KR 101184475 B1 KR101184475 B1 KR 101184475B1
Authority
KR
South Korea
Prior art keywords
image
pointer
pointer image
camera
input
Prior art date
Application number
KR1020100081964A
Other languages
Korean (ko)
Other versions
KR20120018946A (en
Inventor
전재욱
석민식
Duc Dung Nguyen
진승훈
김동균
정준희
송지호
이상준
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020100081964A priority Critical patent/KR101184475B1/en
Publication of KR20120018946A publication Critical patent/KR20120018946A/en
Application granted granted Critical
Publication of KR101184475B1 publication Critical patent/KR101184475B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명에 따른 레이저 포인터 인터페이스 장치는 기본 영상을 투사하는 프로젝터부, 투사된 기본 영상 위에 레이저 포인터의 포인트까지 표시된 제1 포인터 영상이 입력되는 카메라부, 카메라부를 제어하는 카메라 제어부, 카메라 제어부가 카메라부로 입력되는 제1 포인터 영상을 확대 또는 축소한 제2 포인터 영상에 대한 초점을 제어하는 초점 제어부, 제1 포인터 영상 또는 제2 포인터 영상의 데이터를 처리하는 영상 데이터 처리부, 기본 영상과 제1 포인터 영상 또는 제2 포인터 영상의 좌표값을 매칭시키는 켈리브레이션부, 제1 포인터 영상 또는 제2 포인터 영상에서 포인트의 위치 또는 궤적 중 어느 하나 이상을 검출하는 포인트 검출부, 포인트 검출부에서 검출된 포인트의 위치 또는 궤적 중 어느 하나 이상을 분석하여 컴퓨터 장치에 대한 입력 명령으로 해석하는 명령 해석부 및 제1 포인터 영상 또는 제2 포인터 영상의 데이터가 저장되는 라인 버퍼부를 포함한다.The laser pointer interface device according to the present invention includes a projector unit for projecting a basic image, a camera unit for inputting a first pointer image displayed up to a point of a laser pointer on the projected base image, a camera controller for controlling the camera unit, and a camera controller as a camera unit. A focus control unit for controlling a focus on a second pointer image in which an input first pointer image is enlarged or reduced, an image data processing unit processing data of a first pointer image or a second pointer image, a basic image and a first pointer image, or Point calibration unit for matching the coordinate value of the second pointer image, a point detector for detecting any one or more of the position or trajectory of the point in the first pointer image or the second pointer image, the position or trajectory of the point detected by the point detector Input to a computer device by analyzing one or more Interpreting the command includes a command analysis unit, and a first pointer image or the second line buffer section in which data is stored in the pointer image.

Description

동적인 환경에서 사용 가능한 레이저 포인터 인터페이스 장치 및 동적인 환경에서 레이저 포인터를 사용한 인터페이스 제공 방법{LASER POINTER INTERFACE APPARATUS FOR DYNAMIC ENVIRONMENTS AND PROVIDING METHOD OF INTERFACE USING LASER POINTER FOR DYNAMIC ENVIRONMENTS}LASER POINTER INTERFACE APPARATUS FOR DYNAMIC ENVIRONMENTS AND PROVIDING METHOD OF INTERFACE USING LASER POINTER FOR DYNAMIC ENVIRONMENTS}

본 발명은 레이저 포인터를 이용한 인터페이스 장치 및 동적인 환경에서 레이저 포인터를 사용한 인터페이스 제공 방법에 관한 것이다. 특히 본 발명은 동적인 환경에서도 작동하는 레이저 포인터 인터페이스 장치 및 이를 이용한 인터페이스 제공방법에 관한 것이다.The present invention relates to an interface device using a laser pointer and a method for providing an interface using a laser pointer in a dynamic environment. In particular, the present invention relates to a laser pointer interface device that operates in a dynamic environment and an interface providing method using the same.

프로젝터의 경우 제어기기로부터의 영상을 단순히 출력하는 것만을 하기 때문에 발표되는 영상의 화면제어가 필요한 경우, 직접 발표자나 그 외 보조자가 제어기기와 연결된 입력 장치를 통하여 따로 관련 신호를 입력해야 한다.Since the projector simply outputs the image from the controller, when the screen control of the image to be released is necessary, the presenter or another assistant must input a related signal separately through an input device connected to the controller.

별도의 입력 장치를 사용하여 화면을 제어하게 되면, 발표자 입장에서는 발표의 흐름이 끊기는 문제점이 있었다.When using a separate input device to control the screen, the presenter had a problem that the flow of presentation is broken.

레이저 포인터는 기본적으로 프로젝터가 투사하는 화면 중 특정 내용을 지시하기 위한 장치이다. 최근 들어 레이저 포인터의 포인트가 표시된 화면을 카메라로 획득하고, 획득한 영상에서 포인트의 움직임을 검출하여, 레이저 포인터 자체를 하나의 인터페이스로 사용하고자 하는 시도가 있었다.The laser pointer is basically a device for indicating a specific content of the screen projected by the projector. Recently, an attempt has been made to acquire a screen displaying a point of a laser pointer with a camera, detect a movement of a point in the acquired image, and use the laser pointer itself as an interface.

종래의 레이저 포인터 인터페이스 장치는 발표를 위한 프로젝터에서만 이용이 가능한 인터페이스 장치를 제공한 것이므로, 프로젝터가 고정된 상태에서만 사용가능한 것이다.Since the conventional laser pointer interface device provides an interface device that can be used only for a projector for presentation, it can be used only when the projector is fixed.

따라서, 지능형 로봇 같이 움직이는 물체에서는 인터페이스 장치로 이용하기 어려운 문제점이 있었다. Therefore, there is a problem that it is difficult to use as an interface device in a moving object such as an intelligent robot.

또한, 레이저 포인터의 포인트로 단순한 직선을 그리는 명령 이외에 일정한 글자를 표현하는 등의 정교한 명령을 검출하기 위해서는 사양이 높은 카메라가 필요한 문제점이 있었다.In addition, there is a problem in that a camera having a high specification is required in order to detect a sophisticated command such as expressing a certain letter in addition to a command of drawing a simple straight line with the point of the laser pointer.

본 발명에 따른 동적인 환경에서 사용 가능한 레이저 포인터 인터페이스 장치 및 동적인 환경에서 레이저 포인터를 사용한 인터페이스 제공 방법은 다음과 같은 해결과제를 목적으로 한다.A laser pointer interface device that can be used in a dynamic environment and a method for providing an interface using a laser pointer in a dynamic environment according to the present invention aim at the following problems.

첫째, 레이저 포인터 인터페이스 장치가 동적인 환경에서도 레이저 포인터의 포인트를 정확하게 인식하게 하고자 한다.First, the laser pointer interface device is intended to accurately recognize the point of the laser pointer even in a dynamic environment.

둘째, 포인트가 표시되는 특정 화면을 확대하여 사용자가 정밀한 명령을 입력할 수 있도록 하고자 한다.Second, the user may input a precise command by enlarging a specific screen on which points are displayed.

셋째, 포인트가 표시되는 화면을 확대하는 경우, 초점을 맞추고 켈리브레이션을 수행하는 과정이 하드웨어를 통해 병렬처리되므로, 포인트 검출 속도를 높이고자 한다.Third, in the case of enlarging the screen on which points are displayed, the process of focusing and performing calibration is performed in parallel through hardware, and therefore, the speed of point detection is increased.

본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해되어 질 수 있을 것이다.The solution to the problem of the present invention is not limited to those mentioned above, and other solutions not mentioned can be clearly understood by those skilled in the art from the following description.

본 발명에 따른 동적인 환경에서 사용 가능한 레이저 포인터 인터페이스 장치는 기본 영상을 투사하는 프로젝터부, 투사된 기본 영상 위에 레이저 포인터의 포인트까지 표시된 제1 포인터 영상이 입력되는 카메라부, 카메라부를 제어하는 카메라 제어부를 포함한다.The laser pointer interface device usable in the dynamic environment according to the present invention includes a projector unit for projecting a basic image, a camera unit for inputting a first pointer image displayed up to a point of a laser pointer on the projected base image, and a camera controller for controlling the camera unit. It includes.

본 발명에 따른 동적인 환경에서 사용 가능한 레이저 포인터 인터페이스 장치는 카메라 제어부가 카메라부로 입력되는 제1 포인터 영상을 확대 또는 축소한 제2 포인터 영상에 대한 초점을 제어하는 초점 제어부를 포함한다.The laser pointer interface device usable in the dynamic environment according to the present invention includes a focus control unit for controlling a focus of a second pointer image in which the camera control unit enlarges or reduces the first pointer image input to the camera unit.

본 발명에 따른 동적인 환경에서 사용 가능한 레이저 포인터 인터페이스 장치는 제1 포인터 영상 또는 제2 포인터 영상의 데이터를 처리하는 영상 데이터 처리부를 포함한다.The laser pointer interface device usable in a dynamic environment according to the present invention includes an image data processor for processing data of a first pointer image or a second pointer image.

본 발명에 따른 동적인 환경에서 사용 가능한 레이저 포인터 인터페이스 장치는 기본 영상과 제1 포인터 영상 또는 제2 포인터 영상의 좌표값을 매칭시키는 켈리브레이션부를 포함한다.The laser pointer interface device usable in the dynamic environment according to the present invention includes a calibration unit for matching coordinate values of a base image and a first pointer image or a second pointer image.

본 발명에 따른 동적인 환경에서 사용 가능한 레이저 포인터 인터페이스 장치는 제1 포인터 영상 또는 제2 포인터 영상에서 포인트의 위치 또는 궤적 중 어느 하나 이상을 검출하는 포인트 검출부, 포인트 검출부에서 검출된 포인트의 위치 또는 궤적 중 어느 하나 이상을 분석하여 컴퓨터 장치에 대한 입력 명령으로 해석하는 명령 해석부 및 제1 포인터 영상 또는 제2 포인터 영상의 데이터가 저장되는 메모리부를 포함한다.A laser pointer interface device which can be used in a dynamic environment according to the present invention includes a point detector which detects at least one of a position or a trajectory of a point in a first pointer image or a second pointer image, and a position or trajectory of a point detected by the point detector. And a memory unit configured to analyze any one or more of the data as an input command to the computer device, and a memory unit in which data of the first pointer image or the second pointer image is stored.

본 발명에 따른 카메라부는 CCD 카메라를 포함하는 것을 특징으로 한다.The camera unit according to the invention is characterized in that it comprises a CCD camera.

본 발명에 따른 카메라 제어부는 카메라부가 작동하는 환경에 따라 카메라 노출을 제어하여, 입력되는 제1 포인터 영상 또는 제2 포인터 영상의 조도를 제어하는 것을 특징으로 한다.The camera control unit according to the present invention is characterized by controlling the exposure of the camera, the exposure of the first pointer image or the second pointer image input according to the environment in which the camera unit operates.

본 발명에 따른 카메라 제어부는 제1 포인터 영상에 대한 분석 또는 사용자의 입력에 따라, 제1 포인터 영상을 확대 또는 축소시키는 것을 특징으로 한다.The camera controller according to the present invention may enlarge or reduce the first pointer image according to an analysis of the first pointer image or a user input.

본 발명에 따른 영상 데이터 처리부는 카메라부가 작동하는 환경에 따라 카메라부에 입력된 영상 데이터에 대한 영상의 조도, 영상의 채도 또는 영상의 컬러 중 하나 이상을 조절하는 것을 특징으로 한다.The image data processing unit according to the present invention is characterized in that at least one of adjusting the illuminance of the image, the saturation of the image or the color of the image with respect to the image data input to the camera unit in accordance with the operating environment of the camera unit.

본 발명에 따른 초점 제어부는 제2 포인터 영상의 엣지(edge) 정보를 이용하여 제2 포인터 영상에 대한 초점을 제어하는 것을 특징으로 한다.The focus controller according to the present invention is characterized by controlling the focus on the second pointer image by using edge information of the second pointer image.

본 발명에 따른 초점 제어부는 동적 문턱치(Dynamic Threshold) 기법을 이용하여, 엣지 정보의 엣지값이 최소가 되는 부분을 검출하여 초점을 제어하는 것을 특징으로 한다.The focus controller according to the present invention is characterized by controlling a focus by detecting a portion where the edge value of the edge information is minimized by using a dynamic threshold technique.

본 발명에 따른 엣지 정보는 제2 포인터 영상을 구성하는 데이터를 스캔하는 버퍼와 윈도우 버퍼를 구성하기 위한 맵핑 테이블을 이용한 병렬 윈도우 처리 기법을 이용하여 산출되는 것을 특징으로 한다.The edge information according to the present invention is calculated using a parallel window processing technique using a mapping table for configuring a buffer and a window buffer for scanning data constituting the second pointer image.

본 발명에 따른 켈리브레이션부는 카메라부에 입력되는 영상이 변경되는 경우 또는 기준 시간 간격마다, 기본 영상과 제1 포인터 영상 또는 제2 포인터 영상의 좌표값을 매칭시키는 것을 특징으로 한다.The calibration unit according to the present invention is characterized in that the coordinate values of the base image and the first pointer image or the second pointer image are matched when an image input to the camera unit is changed or at a reference time interval.

본 발명에 따른 켈리브레이션부는 체스보드를 이용하여 기본 영상과 제1 포인터 영상 또는 제2 포인터 영상의 좌표값을 매칭시키는 것을 특징으로 한다.The calibration unit according to the present invention is characterized by matching coordinate values of the base image and the first pointer image or the second pointer image using a chess board.

본 발명에 따른 켈리브레이션부는 프로젝터부가 300 ms 내지 500 ms 시간 동안 투사한 체스보드 영상을 카메라부가 획득하면, 체스보드 영상에 대해 경계선 검출 알고리즘을 적용하여 체스보드를 구성하는 직선의 교차점들을 검출하여, 기본 영상과 제1 포인터 영상 또는 제2 포인터 영상의 좌표값을 매칭시키는 것을 특징으로 한다.When the camera unit acquires a chessboard image projected by the projector unit for 300 ms to 500 ms time, the calibration unit detects intersection points of straight lines constituting the chessboard by applying a boundary detection algorithm to the chessboard image. The coordinate value of the image and the first pointer image or the second pointer image are matched.

본 발명에 따른 포인트 검출부는 컬러필터를 적용하여 제1 포인터 영상 또는 제2 포인터 영상에서 포인트를 검출하는 것을 특징으로 한다.The point detector according to the present invention is characterized by detecting a point in the first pointer image or the second pointer image by applying a color filter.

본 발명에 따른 포인터 검출부는 컬러필터를 적용하기 전에 제1 포인터 영상 또는 제2 포인터 영상의 RGB 컬러를 HSV 컬러로 변환하는 것을 특징으로 한다.The pointer detector according to the present invention is characterized by converting the RGB color of the first pointer image or the second pointer image into HSV color before applying the color filter.

본 발명에 따른 동적인 환경에서 레이저 포인터를 사용한 인터페이스 제공 방법은 프로젝터로부터 기본 영상이 투사되는 S1 단계를 포함한다.The interface providing method using the laser pointer in the dynamic environment according to the present invention includes the step S1 of projecting the basic image from the projector.

본 발명에 따른 동적인 환경에서 레이저 포인터를 사용한 인터페이스 제공 방법은 S1 단계에서 투사된 기본 영상 위에 레이저 포인터의 포인트가 표시된 제1 포인터 영상이 카메라에 입력되는 S2 단계를 포함한다.The interface providing method using the laser pointer in the dynamic environment according to the present invention includes a step S2 in which a first pointer image in which a point of the laser pointer is displayed on the base image projected in step S1 is input to the camera.

본 발명에 따른 동적인 환경에서 레이저 포인터를 사용한 인터페이스 제공 방법은 S2 단계에서 카메라가 입력되는 제1 포인터 영상을 확대 또는 축소하는 경우, 제1 포인터 영상이 확대 또는 축소된 제2 포인터 영상에 대한 초점이 제어되는 S3 단계를 포함한다.In a dynamic environment according to the present invention, a method for providing an interface using a laser pointer includes focusing on a second pointer image in which the first pointer image is enlarged or reduced in the case where the first pointer image in which the camera is input is enlarged or reduced in step S2. This includes the controlled S3 step.

본 발명에 따른 동적인 환경에서 레이저 포인터를 사용한 인터페이스 제공 방법은 S2 단계 또는 S3 단계에서 카메라에 입력된 제1 포인터 또는 제2포인터 영상과 S1 단계의 기본 영상의 좌표값이 매칭되는 S4 단계를 포함한다.The interface providing method using the laser pointer in the dynamic environment according to the present invention includes a step S4 in which coordinate values of the first pointer or second pointer image inputted to the camera in the step S2 or step S3 and the base image of the step S1 are matched. do.

본 발명에 따른 동적인 환경에서 레이저 포인터를 사용한 인터페이스 제공 방법은 제1 포인터 영상 또는 제2 포인터 영상에서 포인트의 위치가 검출되는 S5 단계를 포함한다.The interface providing method using the laser pointer in the dynamic environment according to the present invention includes the step S5 of detecting the position of the point in the first pointer image or the second pointer image.

본 발명에 따른 동적인 환경에서 레이저 포인터를 사용한 인터페이스 제공 방법은 S5 단계에서 검출된 포인트의 위치 또는 움직임 중 하나 이상이 분석되어 컴퓨터 장치에 대한 입력 명령으로 해석되는 S6 단계를 포함한다.The interface providing method using the laser pointer in the dynamic environment according to the present invention includes step S6 in which one or more of the position or movement of the point detected in step S5 is analyzed and interpreted as an input command to the computer device.

본 발명에 따른 동적인 환경에서 레이저 포인터를 사용한 인터페이스 제공 방법은 S4 또는 S5 단계 전에 S2 단계의 제1 포인터 또는 S3 단계의 제2포인터 영상의 데이터가 처리되는 단계를 더 포함할 수 있다.The interface providing method using the laser pointer in the dynamic environment according to the present invention may further include a step of processing data of the first pointer of the step S2 or the second pointer image of the step S3 before the step S4 or S5.

본 발명에 따른 동영상 데이터를 처리하는 단계는 카메라가 작동하는 환경에 따라 영상 데이터에 대한 영상의 조도, 영상의 채도 또는 영상의 컬러 중 하나 이상이 조절되는 것을 특징으로 한다.The processing of the moving image data according to the present invention is characterized in that one or more of illumination of the image data, saturation of the image, or color of the image is adjusted according to an environment in which the camera operates.

본 발명에 따른 S2 단계의 카메라는 CCD 카메라인 것을 특징으로 한다.The camera of the step S2 according to the invention is characterized in that the CCD camera.

본 발명에 따른 S2 단계 또는 S3 단계는 카메라가 작동하는 환경에 따라 카메라 노출을 제어하여, 입력되는 제1 포인터 영상 또는 제2 포인터 영상의 조도가 제어되는 단계를 더 포함하는 것을 특징으로 한다.Step S2 or step S3 according to the present invention is characterized in that it further comprises the step of controlling the exposure of the camera according to the environment in which the camera operates, the illumination of the input first pointer image or the second pointer image.

본 발명에 따른 S3 단계에서 카메라가 입력되는 제1 포인터 영상을 확대 또는 축소하는 것은 제1 포인터 영상에 대한 분석 또는 사용자의 입력에 따라, 수행되는 것을 특징으로 한다.In step S3 according to the present invention, enlarging or reducing the first pointer image input by the camera is performed according to an analysis of the first pointer image or a user input.

본 발명에 따른 S3 단계는 제2 포인터 영상의 엣지(edge) 정보를 이용하여 제2 포인터 영상에 대한 초점이 제어되는 것을 특징으로 한다.In the step S3 according to the present invention, the focus of the second pointer image is controlled by using edge information of the second pointer image.

본 발명에 따른 S3 단계는 동적 문턱치(Dynamic Threshold) 기법을 이용하여, 엣지 정보의 엣지값이 최소가 되는 부분을 검출하여 초점이 제어되는 것을 특징으로 한다.Step S3 according to the present invention is characterized in that the focus is controlled by detecting a portion where the edge value of the edge information is minimized by using a dynamic threshold technique.

본 발명에 따른 엣지 정보는 제2 포인터 영상을 구성하는 데이터를 스캔하는 버퍼와 윈도우 버퍼를 구성하기 위한 맵핑 테이블을 이용한 병렬 윈도우 처리 기법을 이용하여 산출되는 것을 특징으로 한다.The edge information according to the present invention is calculated using a parallel window processing technique using a mapping table for configuring a buffer and a window buffer for scanning data constituting the second pointer image.

본 발명에 따른 S4 단계는 S2 단계에서 카메라에 입력되는 영상이 변경되는 경우 또는 기준 시간 간격마다, 기본 영상과 제1 포인터 영상 또는 제2 포인터 영상의 좌표값을 매칭시키는 것을 특징으로 한다.In the step S4 according to the present invention, when the image input to the camera is changed in step S2 or every reference time interval, the coordinate values of the base image and the first pointer image or the second pointer image are matched.

본 발명에 따른 S4 단계는 체스보드를 이용하여 기본 영상과 제1 포인터 영상 또는 제2 포인터 영상의 좌표값을 매칭시키는 것을 특징으로 한다.In the step S4 according to the present invention, the coordinates of the base image and the first pointer image or the second pointer image are matched using the chess board.

본 발명에 따른 S4 단계는 프로젝터가 300 ms 내지 500 ms 시간 동안 체스보드 영상을 투사하는 S4-1 단계, S4-1 단계에서 투사된 영상이 카메라부에 입력되는 S4-2 단계, S4-2 단계에서 입력된 영상에서 경계선 검출 알고리즘을 적용하여 체스보드를 구성하는 직선의 교차점들이 검출되는 S4-3 단계 및 S4-3 단계에서 검출된 교차점들을 이용하여 S1 단계의 기본 영상과 S2 단계의 제1 포인터 영상 또는 S3 단계의 제2 포인터 영상의 좌표값이 매칭되는 S4-4 단계를 포함한다.In the step S4 according to the present invention, step S4-1 in which the projector projects a chessboard image for 300 ms to 500 ms time, step S4-2 in which the projected image is input to the camera unit in step S4-1, and step S4-2 The first pointer of the base image of the step S1 and the first pointer of the step S2 by using the intersection points detected in the step S4-3 and the step S4-3 where the intersection points of the straight lines constituting the chessboard are applied to the image input from And a step S4-4 in which coordinate values of the second pointer image of the image or the step S3 are matched.

본 발명에 따른 S5 단계는 컬러필터를 적용하여 제1 포인터 영상 또는 제2 포인터 영상에서 포인트가 검출되는 것을 특징으로 한다.Step S5 according to the present invention is characterized in that a point is detected in the first pointer image or the second pointer image by applying a color filter.

본 발명에 따른 S5 단계는 컬러필터를 적용하기 전에 제1 포인터 영상 또는 제2 포인터 영상의 RGB 컬러를 HSV 컬러로 변환하는 단계를 더 포함할 수 있다.Step S5 according to the present invention may further include converting the RGB color of the first pointer image or the second pointer image into the HSV color before applying the color filter.

본 발명에 따른 레이저 포인터 인터페이스 장치 및 인터페이스 제공 방법은 카메라에 입력되는 영상이 변경되거나, 일정한 시간 간격으로 켈리브레이션을 수행하여 동적인 환경에서도 레이저 포인터의 포인터 좌표값을 설정할 수 있다.In the laser pointer interface device and the method for providing an interface according to the present invention, a pointer input value of a laser pointer may be set even in a dynamic environment by changing an image input to a camera or performing calibration at a predetermined time interval.

본 발명에 따른 레이저 포인터 인터페이스 장치 및 인터페이스 제공 방법은 일정한 경우 포인트가 표시된 영상을 확대하여, 사용자의 정밀한 명령을 해석할 수 있다.The laser pointer interface device and the method for providing an interface according to the present invention may magnify an image on which a point is displayed and interpret a user's precise command.

본 발명에 따른 레이저 포인터 인터페이스 장치 및 인터페이스 제공 방법은 화면 확대 후 영상의 초점을 맞추는 과정 및 켈리브레이션 과정을 라인 버퍼를 이용한 병렬 윈도우 처리기법으로 조속하게 처리할 수 있다.The laser pointer interface device and the method for providing an interface according to the present invention can promptly process a process of focusing an image after screen enlargement and a calibration process using a parallel window processing method using a line buffer.

본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해되어 질 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the following description.

도 1은 본 발명에 따른 레이저 포인터 인터페이스 장치의 구성을 개략적으로 도시한다.
도 2는 카메라에 입력된 화면 중 특정 화면을 확대하는 장면을 도시한다.
도 3은 복수 개의 라인 버퍼를 사용하여 병렬적으로 데이터를 처리하는 과정을 도시한다.
도 4(a)는 영상의 수직 또는 수평 라인을 스캔하는 버퍼와 윈도우 버퍼 간에 일정한 규칙을 도시하고, 도 4(b)는 일정한 규칙으로 형성된 맵핑 테이블의 일 예를 도시한다.
도 5는 프로젝터부(10)에서 투사한 기본 영상과 카메라부(100)에 입력된 영상의 영역을 도시한 예이다.
도 6은 체스보드를 이용하여 기본 영상과 포인터 영상을 맵핑하는 과정을 도시한다.
도 7은 본 발명에 따른 레이저 포인터 인터페이스 장치를 이용한 인터페이스 제공 방법의 순서를 도시한다.
도 8은 본 발명에 따른 켈리브레이션 과정의 순서를 도시한다.1 schematically shows a configuration of a laser pointer interface device according to the present invention.
2 illustrates a scene of enlarging a specific screen among screens input to a camera.
3 illustrates a process of processing data in parallel using a plurality of line buffers.
FIG. 4A illustrates a certain rule between a buffer for scanning vertical or horizontal lines of an image and a window buffer, and FIG. 4B illustrates an example of a mapping table formed with a predetermined rule.
5 illustrates an example of an area of a basic image projected by the projector unit 10 and an image input to the camera unit 100.
6 illustrates a process of mapping a base image and a pointer image using a chess board.
7 shows a procedure of an interface providing method using a laser pointer interface device according to the present invention.
8 shows the sequence of a calibration process according to the invention.

이하에서는 도면을 참조하면서 본 발명에 따른 동적인 환경에서 사용 가능한 레이저 포인터 인터페이스 장치 및 동적인 환경에서 레이저 포인터를 사용한 인터페이스 제공 방법에 관하여 구체적으로 설명하겠다.Hereinafter, a laser pointer interface device that can be used in a dynamic environment and a method for providing an interface using a laser pointer in a dynamic environment according to the present invention will be described in detail with reference to the drawings.

도 1은 본 발명에 따른 레이저 포인터 인터페이스 장치의 구성을 개략적으로 도시한다.1 schematically shows a configuration of a laser pointer interface device according to the present invention.

본 발명에 따른 레이저 포인터 인터페이스 장치는 기본 영상을 투사하는 프로젝터부(10), 투사된 기본 영상 위에 레이저 포인터의 포인트까지 표시된 제1 포인터 영상이 입력되는 카메라부(100), 카메라부(100)를 제어하는 카메라 제어부(150), 카메라 제어부(150)가 카메라부(100)로 입력되는 제1 포인터 영상을 확대 또는 축소한 제2 포인터 영상에 대한 초점을 제어하는 초점 제어부(200), 제1 포인터 영상 또는 제2 포인터 영상의 데이터를 처리하는 영상 데이터 처리부(300), 기본 영상과 제1 포인터 영상 또는 제2 포인터 영상의 좌표값을 매칭시키는 켈리브레이션부(400), 제1 포인터 영상 또는 제2 포인터 영상에서 포인트의 위치 또는 궤적 중 어느 하나 이상을 검출하는 포인트 검출부, 포인트 검출부에서 검출된 포인트의 위치 또는 궤적 중 어느 하나 이상을 분석하여 컴퓨터 장치에 대한 입력 명령으로 해석하는 명령 해석부(600) 및 윈도우 영상처리를 위한 메모리부(700)를 포함한다.The laser pointer interface device according to the present invention includes a projector unit 10 for projecting a basic image, a camera unit 100 and a camera unit 100 to which a first pointer image displayed up to a point of a laser pointer is input on the projected base image. The focus control unit 200 and the first pointer controlling the focus on the second pointer image in which the camera control unit 150 and the camera control unit 150 are enlarged or reduced, the first pointer image inputted to the camera unit 100. An image data processor 300 for processing data of an image or a second pointer image, a calibration unit 400 for matching coordinate values of a base image and a first pointer image or a second pointer image, a first pointer image, or a second pointer. A point detector which detects at least one of the position or the trajectory of the point in the image, and any one or more of the position or the trajectory detected by the point detector And a memory unit 700 for the command analysis section 600 and the image processing window for analyzing the input command to the computer device.

프로젝터부(10)는 발표를 위해 사용되는 일반적인 프로젝터를 포함할 수 있고, 나아가 이동하는 장치에 장착된 프로젝터일 수도 있다. 즉 청소 로봇 같은 지능형 로봇 등에 장착된 프로젝터일 수도 있다.The projector unit 10 may include a general projector used for presentation, or may be a projector mounted to a moving device. That is, the projector may be mounted on an intelligent robot such as a cleaning robot.

레이저 포인터 검출 시스템에 있어서 카메라는 시스템의 성능에 많은 영향을 주는 요인이 된다. 포인트 검출을 하기 위해 사용되는 카메라로 대표적으로 웹캠과 CCD 카메라가 있다. In the laser pointer detection system, the camera is a factor that greatly affects the performance of the system. Cameras used for point detection include webcams and CCD cameras.

웹캠의 경우 시스템에 사용하기 좋으며 휴대성이 간편하다는 장점이 있다. 그러나 사양이 낮은 웹캠은 소프트웨어에 의해 조절하기가 쉽지가 않으며 영상의 질이 안정적이지 못하다.The webcam has the advantage of being easy to use in the system and portable. However, low-end webcams are not easy to control by software and the quality of the video is not stable.

이러한 경우 영상 데이터 처리부(300)에서 몇 개의 필요한 파라미터를 설정하여 영상 데이터 처리를 수행하는 것이 바람직하다. 각 파라미터는 영상의 조도, 화이트 밸런스, 채도, 컬러값 등 다양한 것이 이용될 수 있다.In this case, it is preferable to set some necessary parameters in the image data processing unit 300 to perform image data processing. Each parameter may be various, such as illuminance, white balance, saturation, and color value of an image.

CCD 카메라는 웹캠에 비해 좋은 영상이 나오며 카메라 파라미터를 제어하기 쉽고 검출결과가 좋다. 하지만 카메라의 크기로 인하여 휴대성에 대한 문제가 발생할 수 있다. Compared to webcams, CCD cameras produce better images, easier to control camera parameters, and better detection results. However, due to the size of the camera can be a problem for portability.

포인터 검출 시스템의 특성상 휴대성보다는 검출의 정확성이 좀 더 중요한 문제이기 때문에, 본 발명에서는 CCD 카메라를 사용하는 것이 바람직하다. 또한 CCD 카메라는 카메라의 노출범위를 조절하여 쉽게 좋은 품질의 카메라의 영상 입력을 받을 수 있다.Since the accuracy of the detection is more important than the portability due to the characteristics of the pointer detection system, it is preferable to use a CCD camera in the present invention. In addition, the CCD camera can easily receive a good quality camera input by adjusting the exposure range of the camera.

카메라 제어부(150)는 카메라부(100)가 작동하는 환경에 따라 카메라 노출을 제어하여, 입력되는 제1 포인터 영상 또는 제2 포인터 영상의 조도를 제어할 수 있다. CCD 카메라는 렌즈의 조리개 제어부를 간단히 움직이는 것만으로도 효과적으로 원하는 빛의 양을 제어할 수 있다.The camera controller 150 may control the illumination of the input first pointer image or the second pointer image by controlling the exposure of the camera according to the environment in which the camera unit 100 operates. The CCD camera can effectively control the desired amount of light simply by moving the aperture control of the lens.

영상 데이터 처리부(300)는 카메라부(100)가 작동하는 환경에 따라 카메라부(100)에 입력된 영상 데이터에 대한 영상의 조도, 영상의 채도 또는 영상의 컬러 중 하나 이상을 조절할 수 있다.The image data processor 300 may adjust one or more of the illuminance of the image, the saturation of the image, or the color of the image with respect to the image data input to the camera unit 100 according to an environment in which the camera unit 100 operates.

영상 데이터들은 메모리부(700)에 저장되며, 메모리부(700)는 복수 개의 라인 버퍼(Line Buffer)로 구성된다. 윈도우란 영상처리의 기본 단위가 되며, 라인 버퍼는 윈도우 영상처리를 위한 메모리 장치가 된다. 라인 버퍼는 영상 처리하는 "윈도우 크기 - 1" 만큼의 영상 라인을 저장한다.The image data is stored in the memory unit 700, and the memory unit 700 includes a plurality of line buffers. The window is a basic unit of image processing, and the line buffer is a memory device for window image processing. The line buffer stores "window size-1" image lines for image processing.

또한 카메라 제어부(150)는 제1 포인터 영상에 대한 분석 또는 사용자의 입력에 따라, 제1 포인터 영상을 확대 또는 축소할 수 있다. 도 2는 카메라에 입력된 화면 중 특정 화면을 확대하는 장면을 도시한다.In addition, the camera controller 150 may enlarge or reduce the first pointer image according to an analysis of the first pointer image or a user input. 2 illustrates a scene of enlarging a specific screen among screens input to a camera.

프로젝터에서 투사되는 기본 영상을 카메라가 획득한 영상이 제1 포인터 영상이며, 제1 포인터 영상 중 일정한 영역을 확대 또는 축소한 영상이 제2 포인터 영상이다. 제2 포인터 영상은 사용자의 입력에 따라 생성될 수도 있고, 제1 포인터 영상을 분석하여, 카메라의 초점이 맞지 않게 된 경우 카메라를 줌인(Zoom-in) 또는 줌아웃(Zoom-out)하여 초점을 맞출 수 있다.An image obtained by the camera for the basic image projected by the projector is a first pointer image, and an image obtained by enlarging or reducing a predetermined area of the first pointer image is a second pointer image. The second pointer image may be generated according to a user input. The second pointer image may be analyzed to focus by zooming in or zooming out of the camera when the camera becomes out of focus. Can be.

사용자의 입력은 다른 제어장치를 통한 입력일 수도 있고, 레이저 포인터 자체를 사용한 입력일 수도 있다.The user's input may be through another control device or may be input using the laser pointer itself.

제1 포인터 영상의 초점이 맞지 않게 되는 경우는 프로젝터 장치가 물리적 충격으로 위치가 변경된 경우일 수도 있고, 프로젝터가 장착된 물체가 능동적으로 이동하여 초점이 맞지 않게 될 수 있다.When the first pointer image is out of focus, the projector device may be changed in position due to a physical shock, or an object on which the projector is mounted may be actively moved to become out of focus.

초점 제어부(200)는 제2 포인터 영상의 엣지(edge) 정보를 이용하여 제2 포인터 영상에 대한 초점을 제어할 수 있다.The focus controller 200 may control the focus on the second pointer image by using edge information of the second pointer image.

초점 제어부(200)는 동적 문턱치(Dynamic Threshold) 기법을 이용하여, 엣지 정보가 최소가 되는 부분을 검출하여 초점을 제어할 수 있다.The focus controller 200 may control the focus by detecting a portion where the edge information is minimized by using a dynamic threshold technique.

초점 제어부(200)는 먼 거리에서도 레이저 포인터의 위치를 검출하여 원하는 기능을 수행하기 위하여 영상의 확대하기 위해 필요한 구성이다. 카메라의 영상이 먼 거리에 있는 물체를 확대하게 될 경우 화면이 초점이 맞추어 지지 않게 되고 켈리브레이션 과정을 다시 처리해야 한다. The focus controller 200 is a component necessary to enlarge an image in order to detect a position of a laser pointer even at a long distance and perform a desired function. If the camera's image zooms in on a distant object, the screen will not be in focus and the calibration process will have to be reprocessed.

또한 같은 거리라도 영상의 특정 영역을 확대하여 사용자가 입력하는 정밀한 입력을 해석하기 위해 필요할 수도 있다. 즉, 레이저 포인터의 포인트로 정밀한 도형 또는 글자를 입력하는 경우, 이를 해석하기 위해서는 확대된 영상이 필요하다.In addition, even at the same distance, it may be necessary to enlarge a specific area of the image to interpret the precise input input by the user. That is, when a precise figure or letter is input to the point of the laser pointer, an enlarged image is needed to interpret the figure.

나아가 동적인 환경에서 프로젝터 및/또는 카메라를 장착한 물체가 레이저 포인터의 포인트가 투사되는 일정한 화면에 너무 근접하여, 카메라가 전체 화면을 획득하지 못하는 경우에는 반대로 카메라 초점을 다시 설정하여 전체 영상이 보이도록 영상을 축소할 필요도 있다.Furthermore, in a dynamic environment, when the projector and / or camera-mounted object is too close to a constant screen on which the laser pointer's point is projected, and the camera fails to acquire the full screen, the camera focus is reversed and the entire image is displayed. You may also need to reduce the size of the image.

초점을 맞추기 위하여 영상의 엣지 정보를 처리하여 엣지 값이 가장 최소가 되는 부분의 위치를 찾아내어 자동적으로 초점을 맞추게 된다. 초점을 자동으로 맞춘 후 자동적으로 켈리브레이션 과정이 수행되어야 한다. In order to focus, the edge information of the image is processed to find the position of the portion where the edge value is the minimum and focus automatically. After focusing automatically, the calibration process should be performed automatically.

입력된 영상에 대해 동적 문턱치(Dynamic Threshold) 기법을 사용하면, 0 또는 1이라는 이진 결과값 형태로 출력된다. 구체적으로 0의 값을 갖는 픽셀은 red = 0, green = 0 및 blue = 0 의 값을 갖는 것이고, 1의 값을 갖는 픽셀은 red = 255, green = 255 및 blue = 255 의 값을 갖는다. 각 영상의 변화가 심한 부분이 0의 값을 갖게되므로, 이러한 0의 값을 갖는 픽셀의 수가 적을수록 해당 영상의 초점이 보다 정확하다고 판단할 수 있다.If a dynamic threshold technique is used for the input image, it is output in the form of a binary result value of 0 or 1. Specifically, a pixel having a value of 0 has a value of red = 0, green = 0, and blue = 0, and a pixel having a value of 1 has a value of red = 255, green = 255, and blue = 255. Since a portion of each image that has a significant change has a value of 0, it may be determined that the smaller the number of pixels having such a value, the more accurate the focus of the image.

엣지 정보는 제2 포인터 영상을 구성하는 데이터를 스캔하는 버퍼와 윈도우 버퍼를 구성하기 위한 맵핑 테이블을 이용한 병렬 윈도우 처리 기법을 이용하여 산출될 수 있다.The edge information may be calculated using a parallel window processing technique using a mapping table for configuring a buffer and a window buffer for scanning data constituting the second pointer image.

CCD 각각의 RGB 3개의 채널이 동시에 영상의 데이터가 전달되는데, 3개의 병렬적인 신호를 일반적인 OPENCV의 영상입력처럼 순차적으로 처리하는 경우 시스템의 처리 속도의 하락이 생길 수 있다. 따라서, 본 발명에서는 시스템의 속도 저하를 막기 위하여 영상 데이터에 대한 병렬처리를 수행한다.Three RGB channels of each CCD are simultaneously transferred to the image data. If the three parallel signals are processed sequentially like the video input of a typical OPENCV, the processing speed of the system may be reduced. Accordingly, in the present invention, parallel processing is performed on image data in order to prevent the system from slowing down.

영상 데이터에 대한 병렬 처리는 제2 포인터 영상의 초점을 맞추는 과정에만 사용되는 것은 아니다. 다른 과정에서도 영상 데이터 처리를 병렬로 수행하는 것이 바람직하다.Parallel processing on the image data is not only used for the process of focusing the second pointer image. In other processes, it is preferable to perform image data processing in parallel.

도 3은 복수 개의 라인 버퍼를 사용하여 병렬적으로 데이터를 처리하는 과정을 도시한다. 라인 버퍼에 데이터를 입출력하는 과정은 라인 핸들러를 통해 수행된다.3 illustrates a process of processing data in parallel using a plurality of line buffers. The process of inputting / outputting data into the line buffer is performed through the line handler.

카메라로부터 데이터를 스캔하여 하나의 라인 버퍼에 저장되고(도 3의 scan data), 나머지는 저장된 데이터를 읽어(read) 윈도우 버퍼로 데이터를 이동시키는데 사용된다. 도 3은 두 번째 라인으로 영상 데이터가 입력 중이고, 차례대로 나머지 라인의 읽기 순서가 밑으로 내려가서 다시 첫 번째 라인으로 순환하게 된다.The data is scanned from the camera and stored in one line buffer (scan data in FIG. 3) and the rest is used to read the stored data and move the data into the window buffer. 3, image data is being input to the second line, and the reading order of the remaining lines is lowered in turn, and the cycle is repeated to the first line.

도 4(a)는 영상의 수직 또는 수평 라인을 스캔하는 버퍼와 윈도우 버퍼 간에 일정한 규칙을 도시하고, 도 4(b)는 일정한 규칙으로 형성된 맵핑 테이블(Mapping Table)의 일 예를 도시한다.FIG. 4A illustrates a predetermined rule between a buffer for scanning vertical or horizontal lines of an image and a window buffer, and FIG. 4B illustrates an example of a mapping table formed by a predetermined rule.

도 4(a)에서 N은 현재 버퍼에 데이터가 저장되는 스캔 라인 버퍼가 몇 번째인지 나타낸다. 왼쪽 값은 윈도우 순서이며 M은 윈도우의 개수를 의미하고, 오른쪽 값은 라인 버퍼의 순서이다. V는 현재 카메라로부터 들어오는 데이터를 나타낸다. N 값은 1부터 M까지 순환하고, 각 라인 버퍼는 (PM + N)th 순서를 갖는다. In FIG. 4A, N represents the number of scan line buffers in which data is stored in the current buffer. The left value is the window order, M is the number of windows, and the right value is the line buffer order. V represents the data coming from the current camera. The N value cycles from 1 to M, with each line buffer in the order (PM + N) th .

현재 스캔되는 구간이 영상의 18번 라인이고, 전체 라인의 개수가 5개라고 가정하면, P는 18/5 의 몫 부분인 3의 값을 갖는다. 오른쪽 값의 결과 중 라인버퍼 개수(M) 보다 큰 값이 있으면, 결과값에서 M을 감산한 수치를 갖게 된다.Assuming that the currently scanned section is line 18 of the image and the total number of lines is five, P has a value of 3 which is a quotient of 18/5. If there is a value larger than the number of line buffers M in the result of the right value, M is subtracted from the result value.

도 4(b)는 도 4(a)의 식을 이용해서 3 x 3 크기의 윈도우를 예로 들어서, 현재 픽셀값이 저장되는 라인 버퍼 순서(current line order)에 따른 윈도우 버퍼와 라인 버퍼간의 맵핑을 보여주는 표이다. 예를 들어 current line order가 1인 경우는 N = 1 이고 M = 3이며 도 4(a) 에 따라 계산하면 도 4(b) 와 같은 결과가 도출된다.4 (b) illustrates a mapping between a window buffer and a line buffer according to a current line order in which a current pixel value is stored by using a window having a size of 3 × 3 using the equation of FIG. 4 (a) as an example. The table shows. For example, when the current line order is 1, N = 1, M = 3, and calculation according to FIG. 4 (a) yields the result as shown in FIG. 4 (b).

카메라는 프로젝터가 투사하는 기본 영상을 모두 포함한 영상이 입력되어야 한다. 도 5에서 볼 수 있듯이 카메라의 영상과 전체 스크린상의 영상은 정확하게 일치되지 않을 수 있다. 따라서, 프로젝터가 투사하여 좌표 위치를 알고 있는 기본 영상과 카메라가 촬영한 영상의 좌표값을 매칭시키는 켈레브레이션 과정이 필요하다.The camera must input an image including all the basic images projected by the projector. As shown in FIG. 5, the image of the camera and the image on the entire screen may not be exactly matched. Therefore, there is a need for a calibration process that matches the coordinate values of the basic image, which the projector projects and knows the coordinate position, with the image captured by the camera.

켈리브레이션부(400)는 카메라부(100)에 입력되는 영상이 변경되는 경우 또는 기준 시간 간격마다, 기본 영상과 제1 포인터 영상 또는 제2 포인터 영상의 좌표값을 매칭시킨다.The calibration unit 400 matches coordinate values of the base image with the first pointer image or the second pointer image when the image input to the camera unit 100 is changed or at each reference time interval.

기준 시간 간격마다 켈리브레이션부(400)가 작동하게 되면, 카메라 제어부(150)에서 제1 포인터 영상을 확대 또는 축소하는 경우 등 다양한 경우에 레이저 포인터의 포인트를 검출할 수 있다. 이때 기준 시간 간격은 밀리세컨드(ms) 단위로 설정되는 것이 바람직하다.When the calibration unit 400 is operated at each reference time interval, the camera controller 150 may detect the point of the laser pointer in various cases such as enlarging or reducing the first pointer image. In this case, the reference time interval is preferably set in milliseconds (ms).

다만 짧은 간격으로 매번 켈리브레이션(Calibration)을 수행하게 되면 시스템에 부하가 발생할 수도 있으므로, 카메라부(100)에 입력되는 영상이 변경되는 경우 켈리브레이션을 수행하는 것이 바람직하다.However, if a calibration is performed every time at a short interval, a load may be generated in the system. Therefore, if the image input to the camera unit 100 is changed, it is preferable to perform the calibration.

즉 제1 포인터 영상이 확대 또는 축소되면서 카메라에 입력되는 영상이 변경되거나, 프로젝터를 장착한 로봇이 이동하면서 카메라로 입력되는 영상이 변경되는 경우에 켈리브레이션을 수행하는 것이다. That is, calibration is performed when the image input to the camera is changed while the first pointer image is enlarged or reduced, or the image input to the camera is changed while the robot equipped with the projector is moved.

카메라로 입력되는 영상이 변경되는지 여부는 이미지 처리의 일반적인 기법인 옵티컬 플로우(Optical flow) 또는 엣지 디텍션(Edge detection) 등 당업자가 선택가능한 다양한 기법들이 이용될 수 있다.Whether or not the image input to the camera is changed may be various techniques selectable by those skilled in the art such as optical flow or edge detection, which are general techniques of image processing.

켈리브레이션부(400)는 체스보드를 이용하여 기본 영상과 제1 포인터 영상 또는 제2 포인터 영상의 좌표값을 매칭시키는 것이 바람직하다.The calibration unit 400 may match coordinate values of the base image and the first pointer image or the second pointer image by using a chess board.

도 6은 체스보드를 이용하여 기본 영상과 포인터 영상을 맵핑하는 과정을 도시한다.6 illustrates a process of mapping a base image and a pointer image using a chess board.

구체적으로 프로젝터부(10)가 300 ms 내지 500 ms 시간 동안 투사한 체스보드 영상을 카메라부(100)가 획득하면, 켈리브레이션부(400)는 체스보드 영상에 대해 경계선 검출 알고리즘을 적용하여 체스보드를 구성하는 직선의 교차점들을 검출하여, 기본 영상과 제1 포인터 영상 또는 제2 포인터 영상의 좌표값을 매칭시킨다.Specifically, when the camera unit 100 acquires the chessboard image projected by the projector unit 10 for 300 ms to 500 ms time, the calibration unit 400 applies a boundary detection algorithm to the chessboard image to determine the chessboard. The intersection points of the constituting straight lines are detected to match coordinate values of the base image and the first pointer image or the second pointer image.

체스 보드 영상을 투사하여 각 체스보드 의 코너를 검출하게 되는데 이때 헤리스 코너 검출기(Harris corner detector)를 사용하여 교차점(코너)을 검출한다.체스보드는 도 6에 도시된 바와 같이 복수의 직선들이 교차하면서 형성이 되는데 이때 직선이 만나는 교차점은 코너라고 한다.The chessboard image is projected to detect corners of each chessboard. At this time, a crossing point (corner) is detected using a Harris corner detector. The chessboard crosses a plurality of straight lines as shown in FIG. It is formed while the intersection where the straight line meets is called a corner.

각 검출된 포인터의 항상 평면상에 위치한다고 볼 수 없기 때문에, 좌표값의 매치가 중요하게 된다. 정적인 상황인 경우 선형 변형(linear transform)으로 좌표값을 매칭하면 되지만, 동적인 상황에서는 아핀 변형(affine transform)을 사용하여 본래 갖고 있는 체스보드의 특정거리를 기준으로 투사되는 체스보드의 영상과 카메라상의 영상을 매칭시키는 것이 바람직하다.Since it is not always seen that the plane of each detected pointer is on the plane, matching of coordinate values becomes important. In a static situation, the coordinates can be matched with a linear transform. In a dynamic situation, the affine transform is used to match the image of the chessboard that is projected based on the specific distance of the original chessboard. It is desirable to match the image on the camera.

스크린의 크기가 1024x768의 해상도를 가졌을 때 체스보드는 적어도 8x6의 크기를 지녀야 한다. 즉, 체스보드의 크기는 카메라의 해상도가 커지지 않는 한 작은 크기를 유지하여야 한다. 카메라의 해상도에 따라 체스보드 크기는 유동적으로 변경될 수 있다.When the screen has a resolution of 1024x768, the chessboard should be at least 8x6. In other words, the size of the chessboard should be kept small unless the resolution of the camera increases. Depending on the resolution of the camera, the chessboard size can be changed flexibly.

이렇게 설정된 체스보드의 영상은 수 밀리세컨드의 시간이 흐른 후 영상을 화면에 뿌려주고, 체스보드 영상을 카메라부(100)가 획득한 후 체스보드의 교차점(코너)를 검출한다.The image of the chessboard set as above is sprayed on the screen after a few milliseconds of time, and the camera unit 100 acquires the chessboard image and detects an intersection point (corner) of the chessboard.

이 코너 검출은 정적인 상황에서 사용될 경우 간편하게 OPENCV의 함수를 사용되고, 특정 부위 구간을 확대한 후 초점을 맞춘 후에는 다시 포인터의 좌표 기준을 잡아 줘야 하기 때문에, 동적인 상황에서 실행될 수 있도록 하드웨어를 통해 구현되는 것이 바람직하다.This corner detection can easily be used in static situations by using the function of OPENCV, and after zooming in and focusing on a specific section, the coordinates of the pointer must be re-established. It is preferred to be implemented.

이렇게 찾아진 각 교차점들은 카메라에 입력되는 제1 포인터 영상 또는 제2 포인터 영상과 투사되는 기본 영상의 불일치를 조정하여, 정확한 x축 y축 좌표값을 얻게 해준다.Each intersection point thus found adjusts the inconsistency between the first pointer image or the second pointer image input to the camera and the basic image projected to obtain an accurate x-axis y-axis coordinate value.

즉 검출된 체스보드의 교차점마다 일정한 순서로 인덱스 번호를 부여하고, 같은 순서의 인덱스를 갖는 기본 영상의 체스보드 교차점과 카메라에 입력된 체스보드 교차점의 좌표의 차를 이용하여 두 영상 간의 왜곡을 보정하는 것이다.That is, index numbers are assigned to each intersection of detected chess boards in a certain order, and the distortion between two images is corrected by using the difference between the coordinates of the chessboard intersection point of the basic image having the same index and the chessboard intersection point input to the camera. It is.

포인터 검출부(500)는 컬러필터를 적용하여 제1 포인터 영상 또는 제2 포인터 영상에서 레이저 포인터의 포인트를 검출하게 된다. 레이저 포인터에서 투사되는 레이저 광이 형성하는 붉은색 점을 포인트라고 한다.The pointer detector 500 detects a point of the laser pointer in the first pointer image or the second pointer image by applying a color filter. The red dot formed by the laser light projected from the laser pointer is called a point.

각 포인터 영상에서 포인트를 검출해야만 사용자의 명령을 해석할 수 있다. 즉 카메라로 입력되는 영상에서 포인트 영상만을 제외하고 나머지 영상을 제거하는 과정을 거쳐야 하는 것이다. 이를 위해 포인터 검출부(500)는 컬러필터를 사용하여 레이저 포인터의 포인트 만들 검출한다. A user's command can be interpreted only by detecting a point in each pointer image. In other words, except for the point image from the image input to the camera to go through the process of removing the remaining image. To this end, the pointer detector 500 detects a point of the laser pointer using a color filter.

레이저 포인터의 레이저 광은 프로젝터에서 투사되는 광보다 훨씬 큰 에너지를 갖기 때문에, 시각적으로도 뚜렷하게 포인트 관찰이 되는 것이다. 적색 또는 녹색 컬러필터를 이용하면 레이저 포인터의 포인트만이 뚜렷하게 검출된다.Since the laser light of the laser pointer has much greater energy than the light projected from the projector, the point of view is clearly visible. Using a red or green color filter, only the point of the laser pointer is detected clearly.

이때 주변의 조도가 포인트 검출에 큰 영향을 주기 때문에, 카메라 제어부(150)에서 선행적으로 조도를 조절하는 것이 바람직하다.At this time, since the peripheral illumination has a great influence on the point detection, it is preferable to adjust the illumination in advance in the camera controller 150.

한편 포인터 검출부(500)는 컬러필터를 적용하기 전에 제1 포인터 영상 또는 제2 포인터 영상의 RGB 컬러를 HSV 컬러로 변환한 후에 포인터를 검출하는 것이 바람직하다.Meanwhile, the pointer detection unit 500 preferably detects the pointer after converting the RGB color of the first pointer image or the second pointer image into the HSV color before applying the color filter.

HSV 컬러 공간이 컬러의 변화를 인식하기에 더 좋은 컬러 모델이고, 인간이 지각하는 색을 표현한다. 필터링된 영상은 포인터의 크기에 따른 물체 검출 영상처리를 통하여 처리된다. 이 영상 처리가 제대로 수행되어 지기 위해서는 실제 포인터만 영상 내에 남아 있고 그 외의 백그라운드 영상은 모두 사라져야 한다.The HSV color space is a better color model for recognizing color changes and expresses the colors perceived by humans. The filtered image is processed through object detection image processing according to the size of the pointer. In order for this image processing to work properly, only the actual pointer remains in the image and all other background images must disappear.

빛의 양을 조절하여 일차적으로 백그라운드 영상과 포인터의 구별을 어느 정도 한 상태에서 컬러 필터를 통하여 포인터의 컬러만을 남긴 채 나머지 구간을 필터링하여 포인터만을 남기게 되기 때문에, 영상에 남아있는 부분은 포인터와 작은 영상처리 잡음뿐이어서 물체 검출 영상처리는 상당히 높은 정확도를 보여줄 수 있다.Since the amount of light is primarily adjusted to distinguish the background image from the pointer, the remaining portion of the image is left behind only the pointer and the filter is filtered. Because of the image processing noise, object detection image processing can show a fairly high degree of accuracy.

검출된 포인터는 이전에 실행한 켈리브레이션에 의해 생성된 좌표값을 통해 현재 포인터의 위치를 변환하게 된다.The detected pointer converts the position of the current pointer through the coordinate value generated by the previously executed calibration.

마지막으로 사용자가 입력한 포인트의 위치 또는 포인트의 궤적을 분석하여, 일정한 명령으로 해석하는 명령 해석부(600)가 작동해야 한다. 명령 해석은 사전에 정의된 명령이 정의된 테이블이 이용될 수 있다.Finally, the command interpreter 600 which analyzes the position of the point input by the user or the trajectory of the point, and interprets it as a predetermined command should operate. In order to interpret a command, a table in which a predefined command is defined may be used.

이하 동적인 환경에서 레이저 포인터를 사용한 인터페이스 제공 방법에 대해 설명하고자 한다. 전술한 레이저 포인터 인터페이스 장치와 동일한 부분은 생략하고, 방법 발명에 있어서 핵심적인 부분만을 설명하기로 한다.Hereinafter, a method of providing an interface using a laser pointer in a dynamic environment will be described. The same parts as the above-described laser pointer interface device will be omitted, and only the essential parts of the method invention will be described.

도 7은 본 발명에 따른 레이저 포인터 인터페이스 장치를 이용한 인터페이스 제공 방법의 순서를 도시한다.7 shows a procedure of an interface providing method using a laser pointer interface device according to the present invention.

본 발명에 따른 동적인 환경에서 레이저 포인터를 사용한 인터페이스 제공 방법은 프로젝터로부터 기본 영상이 투사되는 S1 단계, S1 단계에서 투사된 기본 영상 위에 레이저 포인터가 표시된 제1 포인터 영상이 카메라에 입력되는 S2 단계, S2 단계에서 카메라가 입력되는 제1 포인터 영상을 확대 또는 축소하는 경우, 제1 포인터 영상이 확대 또는 축소된 제2 포인터 영상에 대한 초점이 제어되는 S3 단계, S2 단계 또는 S3 단계에서 카메라에 입력된 제1 포인터 또는 제2포인터 영상과 S1 단계의 기본 영상의 좌표값이 매칭되는 S4 단계, 제1 포인터 영상 또는 제2 포인터 영상에서 포인터의 위치가 검출되는 S5 단계 및 S5 단계에서 검출된 포인터의 위치 또는 움직임 중 하나 이상이 분석되어 컴퓨터 장치에 대한 입력 명령으로 해석되는 S6 단계를 포함한다.In the dynamic environment according to the present invention, a method for providing an interface using a laser pointer includes steps S1 of projecting a basic image from a projector, step S2 of inputting a first pointer image on which a laser pointer is displayed on a base image projected in step S1, to a camera, When the first pointer image in which the camera is input is enlarged or reduced in step S2, the focus input to the second pointer image in which the first pointer image is enlarged or reduced is controlled in step S3, S2, or S3. The position of the pointer detected in the step S5 and the step S5 in which the position of the pointer is detected in the first pointer image or the second pointer image in step S4 where the coordinate values of the first pointer or the second pointer image and the base image of the step S1 are matched. Or step S6 in which one or more of the movements are analyzed and interpreted as input commands to the computer device.

본 발명에 따른 인터페이스 제공 방법은 S5 단계 전에 S2 단계의 제1 포인터 또는 S3 단계의 제2포인터 영상의 데이터가 처리되는 단계를 더 포함할 수 있다.The method for providing an interface according to the present invention may further include a step of processing data of the first pointer of the step S2 or the second pointer image of the step S3 before the step S5.

나아가 영상 처리가 되는 단계가 S4 단계 전에 수행되어, 캘리브레이션이 정밀하게 수행되도록 할 수도 있다.Furthermore, the step of performing image processing may be performed before the step S4, so that the calibration may be performed precisely.

영상 데이터를 처리하는 단계는 카메라가 작동하는 환경에 따라 영상 데이터에 대한 영상의 조도, 영상의 채도 또는 영상의 컬러 중 하나 이상이 조절될 수 있다. In the processing of the image data, one or more of illuminance, saturation of the image, or color of the image with respect to the image data may be adjusted according to an environment in which the camera operates.

S2 단계 또는 S3 단계는 카메라가 작동하는 환경에 따라 카메라 노출을 제어하여, 입력되는 제1 포인터 영상 또는 제2 포인터 영상의 조도가 제어되는 단계를 더 포함하는 것이 바람직하다. 카메라에 입력되는 영상에 대한 조도 제어는 포인터 검출 단계에 영향을 준다는 것은 이미 전술하였다.Step S2 or step S3 preferably further includes controlling the exposure of the camera according to the environment in which the camera operates, thereby controlling the illuminance of the input first pointer image or the second pointer image. It has already been described above that the illumination control on the image input to the camera affects the pointer detection step.

S3 단계에서 카메라가 입력되는 제1 포인터 영상을 확대 또는 축소하는 것은 제1 포인터 영상에 대한 분석 또는 사용자의 입력에 따라 수행될 수 있다.In step S3, enlarging or reducing the first pointer image to which the camera is input may be performed according to an analysis of the first pointer image or a user input.

S3 단계는 제2 포인터 영상의 엣지(edge) 정보를 이용하여 제2 포인터 영상에 대한 초점이 제어되는 것이 바람직하다.In step S3, the focus of the second pointer image is controlled by using edge information of the second pointer image.

S3 단계는 동적 문턱치(Dynamic Threshold) 기법을 이용하여, 엣지 정보가 최소가 되는 부분을 검출하여 초점이 제어되는 것이 바람직하다.In the step S3, the focus is controlled by detecting a portion where the edge information is minimized by using a dynamic threshold technique.

엣지 정보는 제2 포인터 영상을 구성하는 수평 또는 수직 방향의 각 라인을 스캔하는 버퍼와 윈도우 버퍼를 구성하기 위한 맵핑 테이블을 이용한 병렬 윈도우 처리 기법을 이용하여 산출되는 것이 바람직하다.The edge information is preferably calculated using a parallel window processing technique using a mapping table for configuring a buffer for scanning each line in the horizontal or vertical direction constituting the second pointer image and a window buffer.

S4 단계는 S2 단계에서 카메라에 입력되는 영상이 변경되는 경우 또는 기준 시간 간격마다, 기본 영상과 제1 포인터 영상 또는 제2 포인터 영상의 좌표값을 매칭시키는 것이 바람직하다.In step S4, when the image input to the camera is changed in step S2, or every reference time interval, the coordinate values of the base image and the first pointer image or the second pointer image may be matched.

S4 단계는 체스보드를 이용하여 기본 영상과 제1 포인터 영상 또는 제2 포인터 영상의 좌표값을 매칭시키는 것이 바람직하다. In the step S4, it is preferable to match coordinate values of the base image and the first pointer image or the second pointer image by using the chess board.

도 8은 본 발명에 따른 켈리브레이션 과정의 순서를 도시한다. 구체적으로 S4 단계는 프로젝터가 300 ms 내지 500 ms 시간 동안 체스보드 영상을 투사하는 S4-1 단계, S4-1 단계에서 투사된 영상이 카메라부(100)에 입력되는 S4-2 단계, S4-2 단계에서 입력된 영상에서 경계선 검출 알고리즘을 적용하여 체스보드를 구성하는 직선의 교차점들이 검출되는 S4-3 단계 및 S4-3 단계에서 검출된 교차점들을 이용하여 S1 단계의 기본 영상과 S2 단계의 제1 포인터 영상 또는 S3 단계의 제2 포인터 영상의 좌표값이 매칭되는 S4-4 단계를 포함한다.8 shows the sequence of a calibration process according to the invention. Specifically, in the step S4, the projector projects a chessboard image for 300 ms to 500 ms time, in steps S4-1 and S4-2 in which the image projected in step S4-1 is input to the camera unit 100, S4-2. The first image of the base image of step S1 and the first of the step S2 using the intersection points detected in steps S4-3 and S4-3 where the intersection points of the straight lines constituting the chessboard are detected by applying the boundary detection algorithm to the image input in the step. And a step S4-4 where the coordinate values of the pointer image or the second pointer image of the step S3 are matched.

체스보드 영상 값을 받고 처리하는데 대략 8 프레임이라고 하면, 출력이 60 프레인인 CCD 카메라를 사용한다면 약 1/8초 정도 걸리된다. 나아가 고해상도의 경우는 30 프레임 카메라가 많으므로, 처리를 위한 충분한 시간을 위해 300ms 이상의 시간 동안 체스보드 영상이 투사되는 것이 바람직하다.It takes about 8 frames to receive and process chessboard image values, which is about 1/8 second if you use a CCD camera with a 60-plane output. Furthermore, since there are many 30 frame cameras in the case of high resolution, it is preferable that the chessboard image is projected for a time of 300 ms or more for sufficient time for processing.

체스보드를 이용한 켈리브레이션은 프로젝터가 투사하는 기본 영상과 카메라에 입력되는 제1 포인터영상에 대해 컴퓨터 장치가 양쪽 영상에 대해 동일한 좌표값을 설정하기 위해 필요한 것이다. Calibration using the chessboard is necessary for the computer device to set the same coordinate values for both images for the basic image projected by the projector and the first pointer image input to the camera.

이를 위해 프로젝터가 사람의 시각으로 인식할 수 없는 매우 짧은 시간 동안 체스보드 영상을 투사하고, 카메라에 입력된 체스보드 영상의 교차점과 이미 컴퓨터가 알고 있는 기본 영상의 체스보드 교차점을 비교하면서, 좌표값을 매칭시키는 것이다.To do this, the projector projects the chessboard image for a very short time that cannot be perceived by human eyes, compares the intersection of the chessboard image input to the camera with the chessboard intersection of the basic image that the computer already knows, To match.

제1 포인터 영상이 확대 또는 축소된 제2 포인터 영상에 대해서도, 체스보드를 이용한 켈리브레이션이 수행되는 것이 바람직하다.It is preferable that calibration using the chessboard is performed also on the second pointer image in which the first pointer image is enlarged or reduced.

S5 단계는 컬러필터를 적용하여 제1 포인터 영상 또는 제2 포인터 영상에서 포인터가 검출되는 것이 바람직하다.In operation S5, it is preferable that the pointer is detected in the first pointer image or the second pointer image by applying the color filter.

S5 단계는 컬러필터를 적용하기 전에 제1 포인터 영상 또는 제2 포인터 영상의 RGB 컬러를 HSV 컬러로 변환하는 단계를 더 포함하는 것이 바람직하다.Step S5 preferably further includes converting the RGB color of the first pointer image or the second pointer image into the HSV color before applying the color filter.

본 발명에 따른 레이저 포인터 인터페이스 장치 및 인터페이스 제공 방법은 정적인 환경뿐만 아니라 동적인 환경에서도 작동하는 인터페이스 장치 및 제공 방법을 제공하는 것이다. 본 발명을 이용한 다양한 실시예가 예상된다.The laser pointer interface device and the method for providing an interface according to the present invention provide an interface device and a method for operating in a dynamic environment as well as a static environment. Various embodiments are contemplated using the present invention.

동적인 환경이란 프로젝터 및/또는 카메라가 설치된 물체가 이동하면서도 레이저 포인터의 명령을 정확하게 검출해야 하는 상황을 의미한다.The dynamic environment refers to a situation in which an object on which a projector and / or a camera is installed must accurately detect a laser pointer command while moving.

일 실시예로서, 지능형 로봇에 대한 명령을 레이저 포인터를 사용하여 입력하는 경우, 로봇이 이동하면서도 레이저 포인터의 포인트의 위치 및/또는 궤적을 정확하게 검출해야 한다.In one embodiment, when a command for an intelligent robot is input using a laser pointer, the robot must move and accurately detect the position and / or trajectory of a point of the laser pointer.

지능형 로봇은 다양한 종류를 포함하는 것인데, 현재 실용화되어 있는 청소 로봇을 예로 들자면, 특정 장소에 대한 청소를 집중적으로 수행할 필요가 있는 경우 해당 영역을 레이저 포인터의 포인트로 지정하거나 원형 같은 모양을 입력하여 청소 로봇을 제어할 수 있다.Intelligent robots include various types. For example, the cleaning robots that are currently put to practical use, if the cleaning needs to be performed intensively for a specific place, the area may be designated as a point of the laser pointer or a circular shape may be input. You can control the cleaning robot.

특히 거동이 불편하거나 음성을 입력하기가 곤란한 장애인에게는 레이저 포인터가 유용한 명령 입력 수단이 될 수 있다.In particular, a laser pointer may be a useful command input means for a disabled person who is inconvenient in motion or difficult to input a voice.

나아가 이동하는 물체에 대한 인터페이스로 레이저 포인터를 사용하는 경우, 프로젝터를 구성으로 갖지 않고, 카메라로 전방의 영상만을 획득하여 레이저 포인터의 포인트를 검출할 수도 있다. 즉 영상 처리만으로 포인트의 명령을 해석하는 것이다.Furthermore, when using a laser pointer as an interface to a moving object, it is possible to detect the point of the laser pointer by acquiring only an image in front of the camera without having a projector as a configuration. In other words, the point command is interpreted only by image processing.

또 다른 실시예로서, 공장에서 사용되는 지능형 운반 수단(차량)은 지상 바닥면에 형성된 일정한 경로를 따라 움직일 수밖에 없는 구조적인 한계가 있어 다양한 경로로 이동시키기 어렵다는 문제점이 있다. 이때 지능형 운반 수단에 레이저 포인터를 인식할 수 있는 본 발명의 장치를 장착한다면, 레이저 포인터로 경로를 설정 및 재설정하여 유용하게 이용할 수 있다.As another embodiment, the intelligent vehicle (vehicle) used in the factory has a problem that it is difficult to move in a variety of paths because there is a structural limit to move along a certain path formed on the ground floor surface. At this time, if the intelligent transport means is equipped with the device of the present invention that can recognize the laser pointer, it can be usefully used by setting and resetting the path with the laser pointer.

본 실시예 및 본 명세서에 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시예는 모두 본 발명의 권리범위에 포함되는 것이 자명하다고 할 것이다.The embodiments and drawings attached to this specification are merely to clearly show some of the technical ideas included in the present invention, and those skilled in the art can easily infer within the scope of the technical ideas included in the specification and drawings of the present invention. Modifications that can be made and specific embodiments will be apparent that all fall within the scope of the present invention.

10 : 프로젝터부 100: 카메라부
150: 카메라 제어부 200: 초점 제어부
300: 영상 데이터 처리부 400: 켈리브레이션부
500: 포인터 검출부 600: 명령 해석부
700: 메모리부10: projector unit 100: camera unit
150: camera control unit 200: focus control unit
300: image data processing unit 400: calibration unit
500: pointer detection unit 600: command analysis unit
700: memory

Claims (27)

기본 영상을 투사하는 프로젝터부;
투사된 상기 기본 영상 위에 레이저 포인터의 포인트까지 표시된 제1 포인터 영상이 입력되는 카메라부;
상기 카메라부를 제어하는 카메라 제어부;
상기 카메라 제어부가 카메라부로 입력되는 제1 포인터 영상을 확대 또는 축소한 제2 포인터 영상에 대한 초점을 제어하고,
제2 포인터 영상의 엣지(edge) 정보를 이용하여 상기 제2 포인터 영상에 대한 초점을 제어하며,
동적 문턱치(Dynamic Threshold) 기법을 이용하여, 상기 엣지 정보의 엣지값이 최소가 되는 부분을 검출하여 초점을 제어하는 초점 제어부;
상기 제1 포인터 영상 또는 제2 포인터 영상의 데이터를 처리하는 영상 데이터 처리부;
상기 기본 영상과 상기 제1 포인터 영상 또는 제2 포인터 영상의 좌표값을 매칭시키는 켈리브레이션부;
상기 제1 포인터 영상 또는 제2 포인터 영상에서 포인트의 위치 또는 궤적 중 어느 하나 이상을 검출하는 포인트 검출부;
상기 포인트 검출부에서 검출된 포인트의 위치 또는 궤적 중 어느 하나 이상을 분석하여 컴퓨터 장치에 대한 입력 명령으로 해석하는 명령 해석부; 및
상기 제1 포인터 영상 또는 제2 포인터 영상의 데이터가 저장되는 메모리부를 포함하는 동적인 환경에서 사용 가능한 레이저 포인터 인터페이스 장치.A projector unit for projecting a basic image;
A camera unit configured to input a first pointer image displayed up to a point of a laser pointer on the projected basic image;
A camera controller for controlling the camera unit;
The camera controller controls a focus on a second pointer image obtained by enlarging or reducing a first pointer image input to the camera unit,
Controlling focus of the second pointer image by using edge information of the second pointer image;
A focus control unit configured to control a focus by detecting a portion of which the edge value of the edge information is minimum by using a dynamic threshold technique;
An image data processor configured to process data of the first pointer image or the second pointer image;
A calibration unit for matching coordinate values of the base image and the first pointer image or the second pointer image;
A point detector for detecting at least one of a position or a trajectory of a point in the first pointer image or the second pointer image;
A command interpreter that analyzes any one or more of the position or trajectory of the point detected by the point detector and interprets the input command to a computer device; And
And a memory unit in which data of the first pointer image or the second pointer image is stored. 제1항에 있어서,
상기 카메라부는 CCD 카메라를 포함하는 것을 특징으로 하는 동적인 환경에서 사용 가능한 레이저 포인터 인터페이스 장치.The method of claim 1,
The camera unit of claim 1, wherein the camera unit includes a CCD camera. 제1항에 있어서,
상기 카메라 제어부는 상기 카메라부가 작동하는 환경에 따라 카메라 노출을 제어하여, 입력되는 제1 포인터 영상 또는 제2 포인터 영상의 조도를 제어하는 것을 특징으로 하는 동적인 환경에서 사용 가능한 레이저 포인터 인터페이스 장치.The method of claim 1,
And the camera controller controls exposure of the camera according to an environment in which the camera unit operates to control illumination of an input first pointer image or second pointer image. 제1항에 있어서,
상기 카메라 제어부는 상기 제1 포인터 영상에 대한 분석 또는 사용자의 입력에 따라, 상기 제1 포인터 영상을 확대 또는 축소시키는 것을 특징으로 하는 동적인 환경에서 사용 가능한 레이저 포인터 인터페이스 장치.The method of claim 1,
And the camera controller enlarges or reduces the first pointer image according to an analysis of the first pointer image or a user input. 제1항에 있어서,
상기 영상 데이터 처리부는 카메라부가 작동하는 환경에 따라 상기 카메라부에 입력된 영상 데이터에 대한 영상의 조도, 영상의 채도 또는 영상의 컬러 중 하나 이상을 조절하는 것을 특징으로 하는 동적인 환경에서 사용 가능한 레이저 포인터 인터페이스 장치.The method of claim 1,
The image data processing unit may use one or more lasers according to an environment in which the camera unit operates to adjust one or more of an illumination intensity, an image saturation, or an image color of the image data input to the camera unit. Pointer interface device. 삭제delete 삭제delete 제1항에 있어서,
상기 엣지 정보는 제2 포인터 영상을 구성하는 데이터를 스캔하는 버퍼와 윈도우 버퍼를 구성하기 위한 맵핑 테이블을 이용한 병렬 윈도우 처리 기법을 이용하여 산출되는 것을 특징으로 하는 동적인 환경에서 사용 가능한 레이저 포인터 인터페이스 장치.The method of claim 1,
The edge information is calculated using a parallel window processing technique using a mapping table for configuring a buffer and a window buffer for scanning the data constituting the second pointer image, laser pointer interface device that can be used in a dynamic environment . 제1항에 있어서,
상기 켈리브레이션부는 상기 카메라부에 입력되는 영상이 변경되는 경우 또는 기준 시간 간격마다, 상기 기본 영상과 상기 제1 포인터 영상 또는 제2 포인터 영상의 좌표값을 매칭시키는 것을 특징으로 하는 동적인 환경에서 사용 가능한 레이저 포인터 인터페이스 장치.The method of claim 1,
The calibration unit can be used in a dynamic environment, wherein the coordinates of the base image and the first pointer image or the second pointer image are matched when an image input to the camera unit is changed or at a reference time interval. Laser Pointer Interface Device. 제1항에 있어서,
상기 켈리브레이션부는 체스보드를 이용하여 상기 기본 영상과 상기 제1 포인터 영상 또는 상기 제2 포인터 영상의 좌표값을 매칭시키는 것을 특징으로 하는 동적인 환경에서 사용 가능한 레이저 포인터 인터페이스 장치.The method of claim 1,
The calibration unit can be used in a dynamic environment, characterized in that for matching the coordinate value of the base image and the first pointer image or the second pointer image using a chess board. 제10항에 있어서,
상기 켈리브레이션부는
상기 프로젝터부가 300 ms 내지 500 ms 시간 동안 투사한 체스보드 영상을 상기 카메라부가 획득하면, 상기 체스보드 영상에 대해 경계선 검출 알고리즘을 적용하여 체스보드를 구성하는 직선의 교차점들을 검출하여, 상기 기본 영상과 제1 포인터 영상 또는 제2 포인터 영상의 좌표값을 매칭시키는 것을 특징으로 하는 동적인 환경에서 사용 가능한 레이저 포인터 인터페이스 장치.The method of claim 10,
The calibration unit
When the camera unit acquires a chessboard image projected by the projector for 300 ms to 500 ms, the intersection point of the straight lines constituting the chessboard is detected by applying a boundary detection algorithm to the chessboard image, and the base image is detected. A laser pointer interface device that can be used in a dynamic environment, characterized by matching coordinate values of a first pointer image or a second pointer image. 제1항에 있어서,
상기 포인트 검출부는 컬러필터를 적용하여 제1 포인터 영상 또는 제2 포인터 영상에서 포인트를 검출하는 것을 특징으로 하는 동적인 환경에서 사용 가능한 레이저 포인터 인터페이스 장치.The method of claim 1,
And the point detector detects a point in a first pointer image or a second pointer image by applying a color filter. 제12항에 있어서,
상기 포인터 검출부는 컬러필터를 적용하기 전에 제1 포인터 영상 또는 제2 포인터 영상의 RGB 컬러를 HSV 컬러로 변환하는 것을 특징으로 하는 동적인 환경에서 사용 가능한사용 가능한 인터페이스 장치.The method of claim 12,
And the pointer detector converts the RGB color of the first pointer image or the second pointer image into HSV color before applying the color filter. 프로젝터로부터 기본 영상이 투사되는 S1 단계;
상기 S1 단계에서 투사된 기본 영상 위에 레이저 포인터의 포인트가 표시된 제1 포인터 영상이 카메라에 입력되는 S2 단계;
상기 S2 단계에서 카메라가 입력되는 제1 포인터 영상을 확대 또는 축소하는 경우, 상기 제1 포인터 영상이 확대 또는 축소된 제2 포인터 영상에 대한 초점이 제어되고,
제2 포인터 영상의 엣지(edge) 정보를 이용하여 상기 제2 포인터 영상에 대한 초점이 제어되며,
동적 문턱치(Dynamic Threshold) 기법을 이용하여, 상기 엣지 정보의 엣지값이 최소가 되는 부분을 검출하여 초점이 제어되는 S3 단계;
상기 S2 단계 또는 S3 단계에서 카메라에 입력된 제1 포인터 또는 제2포인터 영상과 상기 S1 단계의 기본 영상의 좌표값이 매칭되는 S4 단계;
상기 제1 포인터 영상 또는 제2 포인터 영상에서 포인트의 위치가 검출되는 S5 단계; 및
상기 S5 단계에서 검출된 포인트의 위치 또는 움직임 중 하나 이상이 분석되어 컴퓨터 장치에 대한 입력 명령으로 해석되는 S6 단계를 포함하는 것을 특징으로 하는 동적인 환경에서 레이저 포인터를 사용한 인터페이스 제공 방법.Step S1 of projecting the basic image from the projector;
Step S2 of inputting a first pointer image in which a point of a laser pointer is displayed on the base image projected in step S1 to the camera;
When the first pointer image in which the camera is input is enlarged or reduced in step S2, the focus of the second pointer image in which the first pointer image is enlarged or reduced is controlled.
The focus of the second pointer image is controlled by using edge information of the second pointer image.
S3 step of controlling the focus by detecting a portion of the edge value of the edge information is minimized by using a dynamic threshold (Dynamic Threshold) technique;
Step S4 of matching the coordinate values of the first pointer or second pointer image input to the camera in step S2 or step S3 with the base image of step S1;
Step S5 of detecting a location of a point in the first pointer image or the second pointer image; And
And a step S6 in which at least one of the position or the movement of the point detected in the step S5 is analyzed and interpreted as an input command to the computer device. 제14항에 있어서,
상기 S4 단계 전에 상기 S2 단계의 제1 포인터 또는 상기 S3 단계의 제2포인터 영상의 데이터가 처리되는 단계를 더 포함하거나,
S5 단계 전에 상기 S2 단계의 제1 포인터 또는 상기 S3 단계의 제2포인터 영상의 데이터가 처리되는 단계를 더 포함하는 것을 특징으로 하는 동적인 환경에서 레이저 포인터를 사용한 인터페이스 제공 방법.
15. The method of claim 14,
Before the step S4, further comprising the step of processing data of the first pointer of the step S2 or the second pointer image of the step S3, or
And processing the data of the first pointer of the step S2 or the second pointer image of the step S3 before the step S5.
제15항에 있어서,
상기 영상 데이터를 처리하는 단계는 카메라가 작동하는 환경에 따라 영상 데이터에 대한 영상의 조도, 영상의 채도 또는 영상의 컬러 중 하나 이상이 조절되는 것을 특징으로 하는 동적인 환경에서 레이저 포인터를 사용한 인터페이스 제공 방법.16. The method of claim 15,
The processing of the image data may include providing an interface using a laser pointer in a dynamic environment, wherein at least one of illuminance, saturation of the image, and color of the image may be adjusted according to an environment in which the camera operates. Way. 제14항에 있어서,
상기 S2 단계의 카메라는 CCD 카메라인 것을 특징으로 하는 동적인 환경에서 레이저 포인터를 사용한 인터페이스 제공 방법.15. The method of claim 14,
The camera of step S2 is a CCD camera, the interface providing method using a laser pointer in a dynamic environment. 제14항에 있어서,
상기 S2 단계 또는 S3 단계는 카메라가 작동하는 환경에 따라 카메라 노출을 제어하여, 입력되는 제1 포인터 영상 또는 제2 포인터 영상의 조도가 제어되는 단계를 더 포함하는 것을 특징으로 하는 동적인 환경에서 레이저 포인터를 사용한 인터페이스 제공 방법.15. The method of claim 14,
The step S2 or step S3 further comprises controlling the exposure of the camera according to the environment in which the camera operates, thereby controlling the illuminance of the input first pointer image or the second pointer image. How to provide an interface using a pointer. 제14항에 있어서,
상기 S3 단계에서 카메라가 입력되는 제1 포인터 영상을 확대 또는 축소하는 것은 상기 제1 포인터 영상에 대한 분석 또는 사용자의 입력에 따라, 수행되는 것을 특징으로 하는 동적인 환경에서 레이저 포인터를 사용한 인터페이스 제공 방법.15. The method of claim 14,
The method of providing an interface using a laser pointer in a dynamic environment may be performed according to an analysis of the first pointer image or a user input. . 삭제delete 삭제delete 제14항에 있어서,
상기 엣지 정보는 제2 포인터 영상을 구성하는 데이터를 스캔하는 버퍼와 윈도우 버퍼를 구성하기 위한 맵핑 테이블을 이용한 병렬 윈도우 처리 기법을 이용하여 산출되는 것을 특징으로 하는 동적인 환경에서 레이저 포인터를 사용한 인터페이스 제공 방법.15. The method of claim 14,
The edge information is calculated using a parallel window processing technique using a mapping table for configuring a window buffer and a buffer for scanning data constituting the second pointer image, and providing an interface using a laser pointer in a dynamic environment. Way. 제14항에 있어서
상기 S4 단계는 상기 S2 단계에서 카메라에 입력되는 영상이 변경되는 경우 또는 기준 시간 간격마다, 상기 기본 영상과 상기 제1 포인터 영상 또는 제2 포인터 영상의 좌표값을 매칭시키는 것을 특징으로 하는 동적인 환경에서 레이저 포인터를 사용한 인터페이스 제공 방법.The method of claim 14, wherein
In the step S4, when the image input to the camera is changed in the step S2 or every reference time interval, the dynamic environment of matching the coordinate values of the base image and the first pointer image or the second pointer image To provide an interface using a laser pointer in a. 제14항에 있어서,
상기 S4 단계는 체스보드를 이용하여 상기 기본 영상과 상기 제1 포인터 영상 또는 상기 제2 포인터 영상의 좌표값을 매칭시키는 것을 특징으로 하는 동적인 환경에서 레이저 포인터를 사용한 인터페이스 제공 방법.15. The method of claim 14,
In the step S4, using a chess board, the interface of the laser pointer in a dynamic environment, characterized in that for matching the coordinate values of the first pointer image or the second pointer image. 제24항에 있어서,
상기 S4 단계는
프로젝터가 300 ms 내지 500 ms 시간 동안 체스보드 영상을 투사하는 S4-1 단계;
상기 S4-1 단계에서 투사된 영상이 카메라부에 입력되는 S4-2 단계;
상기 S4-2 단계에서 입력된 영상에서 경계선 검출 알고리즘을 적용하여 체스보드를 구성하는 직선의 교차점들이 검출되는 S4-3 단계; 및
상기 S4-3 단계에서 검출된 교차점들을 이용하여 상기 S1 단계의 기본 영상과 상기 S2 단계의 제1 포인터 영상 또는 상기 S3 단계의 제2 포인터 영상의 좌표값이 매칭되는 S4-4 단계를 포함하는 것을 특징으로 하는 동적인 환경에서 레이저 포인터를 사용한 인터페이스 제공 방법.25. The method of claim 24,
The step S4
Step S4-1 in which the projector projects the chessboard image for 300 ms to 500 ms time;
Step S4-2 in which the image projected in step S4-1 is input to the camera unit;
Step S4-3 of detecting intersections of straight lines constituting the chessboard by applying a boundary detection algorithm to the image input in step S4-2; And
And step S4-4 in which coordinate values of the base image of step S1 and the first pointer image of step S2 or the second pointer image of step S3 are matched using the intersection points detected in step S4-3. A method of providing an interface using a laser pointer in a dynamic environment. 제14항에 있어서,
상기 S5 단계는 컬러필터를 적용하여 제1 포인터 영상 또는 제2 포인터 영상에서 포인트가 검출되는 것을 특징으로 하는 동적인 환경에서 레이저 포인터를 사용한 인터페이스 제공 방법.15. The method of claim 14,
In the step S5, a point is detected in the first pointer image or the second pointer image by applying a color filter. 제26항에 있어서,
상기 S5 단계는 컬러필터를 적용하기 전에 제1 포인터 영상 또는 제2 포인터 영상의 RGB 컬러를 HSV 컬러로 변환하는 단계를 더 포함하는 것을 특징으로 하는 동적인 환경에서 레이저 포인터를 사용한 인터페이스 제공 방법.The method of claim 26,
The step S5 further comprises the step of converting the RGB color of the first pointer image or the second pointer image to HSV color before applying the color filter.
KR1020100081964A 2010-08-24 2010-08-24 Laser pointer interface apparatus for dynamic environments and providing method of interface using laser pointer for dynamic environments KR101184475B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100081964A KR101184475B1 (en) 2010-08-24 2010-08-24 Laser pointer interface apparatus for dynamic environments and providing method of interface using laser pointer for dynamic environments

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100081964A KR101184475B1 (en) 2010-08-24 2010-08-24 Laser pointer interface apparatus for dynamic environments and providing method of interface using laser pointer for dynamic environments

Publications (2)

Publication Number Publication Date
KR20120018946A KR20120018946A (en) 2012-03-06
KR101184475B1 true KR101184475B1 (en) 2012-09-19

Family

ID=46128021

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100081964A KR101184475B1 (en) 2010-08-24 2010-08-24 Laser pointer interface apparatus for dynamic environments and providing method of interface using laser pointer for dynamic environments

Country Status (1)

Country Link
KR (1) KR101184475B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101965045B1 (en) * 2017-02-17 2019-04-03 동서대학교 산학협력단 The generating method for screen rotation effect using short focal length project

Also Published As

Publication number Publication date
KR20120018946A (en) 2012-03-06

Similar Documents

Publication Publication Date Title
JP3735624B2 (en) Projection display device
KR100452413B1 (en) Method and apparatus for calibrating a computer-generated projected image
US7226173B2 (en) Projector with a plurality of cameras
JP3846592B2 (en) Image processing system, projector, program, information storage medium, and image processing method
KR101977638B1 (en) Method for correcting user’s gaze direction in image, machine-readable storage medium and communication terminal
JP3909554B2 (en) Presentation control system and control method thereof
JP5266953B2 (en) Projection display apparatus and display method
JP5266954B2 (en) Projection display apparatus and display method
CN109286755B (en) Information processing apparatus and control method for controlling image capturing apparatus
US20070091334A1 (en) Method of calculating correction data for correcting display characteristic, program for calculating correction data for correcting display characteristic and apparatus for calculating correction data for correcting display characteristic
US9794536B2 (en) Projector, and method of controlling projector
JP2006121240A (en) Image projection method, projector, and computer program
CN106604005A (en) Automatic projection TV focusing method and system
US9804483B2 (en) Projector and method of controlling projector
KR101691880B1 (en) Interactive System Having Auto Calibration Function And Auto Calibration Method of Interactive System
JP2003234983A (en) Projector
US20130162518A1 (en) Interactive Video System
US10812764B2 (en) Display apparatus, display system, and method for controlling display apparatus
CN115883803A (en) Projection equipment and projection picture correction method
KR20140137564A (en) 3 Dimensional Image Sensing System for Human Tracking and Its Method
KR101184475B1 (en) Laser pointer interface apparatus for dynamic environments and providing method of interface using laser pointer for dynamic environments
JP6057407B2 (en) Touch position input device and touch position input method
JP2005181250A (en) Method and device for inspecting liquid crystal display panel
JP5845566B2 (en) Projector and projector control method
JP4340760B2 (en) Hands free pointing system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150703

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160607

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee