KR102061087B1 - Method, apparatus and program stored in storage medium for focusing for video projector - Google Patents

Method, apparatus and program stored in storage medium for focusing for video projector Download PDF

Info

Publication number
KR102061087B1
KR102061087B1 KR1020170176056A KR20170176056A KR102061087B1 KR 102061087 B1 KR102061087 B1 KR 102061087B1 KR 1020170176056 A KR1020170176056 A KR 1020170176056A KR 20170176056 A KR20170176056 A KR 20170176056A KR 102061087 B1 KR102061087 B1 KR 102061087B1
Authority
KR
South Korea
Prior art keywords
image
video projector
depth
control signal
blur degree
Prior art date
Application number
KR1020170176056A
Other languages
Korean (ko)
Other versions
KR20190074585A (en
Inventor
이경택
곽동섭
정재호
Original Assignee
(주)이더블유비엠
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)이더블유비엠 filed Critical (주)이더블유비엠
Priority to KR1020170176056A priority Critical patent/KR102061087B1/en
Publication of KR20190074585A publication Critical patent/KR20190074585A/en
Application granted granted Critical
Publication of KR102061087B1 publication Critical patent/KR102061087B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/317Convergence or focusing systems
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/53Means for automatic focusing, e.g. to compensate thermal effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Automatic Focus Adjustment (AREA)
  • Projection Apparatus (AREA)

Abstract

비디오 프로젝터용 포커싱방법으로서, 비디오 프로젝터로부터 스크린 상에 투사된 투사이미지를 촬상하여 촬상이미지를 생성하는 촬상이미지 생성단계; 샤프한 기준이미지에 대한 상기 촬상이미지의 블러(Blur) 정도에 대응되는 깊이차를 산출하는 깊이차 산출단계; 및 상기 깊이차로부터 상기 비디오 프로젝터의 AF(오토포커스)제어용 신호를 발생시키는 AF제어신호 발생단계를 포함하여 이루어짐을 특징으로 한다.A focusing method for a video projector, comprising: a picked-up image generating step of picking up a projected image projected on a screen from a video projector to generate a picked-up image ; A depth difference calculating step of calculating a depth difference corresponding to a blur degree of the captured image with respect to a sharp reference image; And an AF control signal generating step of generating an AF (autofocus) control signal of the video projector from the depth difference.

Description

비디오 프로젝터용 포커싱방법, 장치 및 저장매체에 저장된 프로그램 {METHOD, APPARATUS AND PROGRAM STORED IN STORAGE MEDIUM FOR FOCUSING FOR VIDEO PROJECTOR}FOCUSING METHOD, DEVICE AND STORAGE MEDIUM FOR VIDEO PROJECTOR {METHOD, APPARATUS AND PROGRAM STORED IN STORAGE MEDIUM FOR FOCUSING FOR VIDEO PROJECTOR}

본 발명은, 비디오 프로젝터용 포커싱방법, 장치 및 저장매체에 저장된 프로그램에 관한 것으로서, 보다 상세히는, 비디오 프로젝터로부터 스크린에 투사된 이미지(영상)의 블러(blur; 흐림) 정도에 따라 비디오 프로젝터의 포커싱 모듈에 포커싱 보정을 위한 AF제어용 신호를 출력하는, 비디오 프로젝터용 포커싱방법, 장치 및 저장매체에 저장된 프로그램에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a focusing method for a video projector, an apparatus and a program stored in a storage medium. More particularly, the focusing of a video projector according to the degree of blur of an image (image) projected from a video projector onto a screen. A focusing method for a video projector, an apparatus and a program stored in a storage medium, for outputting an AF control signal for focusing correction to a module.

일반적으로 스크린에 이미지를 투사하는 비디오 프로젝터에 있어서, 스크린과 비디오 프로젝터 사이의 거리는 변동될 수 있고, 이 거리에 따라 투사되는 이미지의 포커스를 맞춰야 할 필요가 있다.In general, in a video projector that projects an image onto a screen, the distance between the screen and the video projector may vary, and it is necessary to focus the projected image according to this distance.

종래에는 특허문헌에 개시된 바와 같이, 액정 프로젝터에 있어서, 프로젝터와 화면간의 거리와 화면의 크기에 따라 자동으로 포커싱이 이루어지도록 하는 액정 프로젝터의 오토포커싱 회로로서, 액정프로젝터와 스크린과의 거리를 감지하는 거리감지수단과; 상기 거리감지수단에서 감지된 거리에 따른 포커스제어신호를 출력하는 마이컴과; 상기 마이컴에서 출력되는 포커스제어신호에 따라 포커싱모터를 구동시키는 모터구동부와; 상기 포커싱모터의 동작에 따라 포커스조절렌즈를 전진 또는 후진시켜 상기 스크린에 투사된 화상의 포커스를 조절하는 렌즈이동부를 포함하여 구성되는 기술이 개시되어 있다.Conventionally, as disclosed in the patent document, in an LCD projector, an autofocusing circuit of a liquid crystal projector that automatically focuses according to the distance between the projector and the screen and the size of the screen, which detects the distance between the liquid crystal projector and the screen. Distance sensing means; A microcomputer for outputting a focus control signal according to the distance sensed by the distance sensing means; A motor driver for driving a focusing motor according to a focus control signal output from the microcomputer; Disclosed is a technology including a lens moving unit for adjusting a focus of an image projected on the screen by moving a focus adjusting lens forward or backward according to an operation of the focusing motor.

등록실용신안 제129657호 공보Publication of Utility Model Registration No. 129657

그런데, 상기 특허문헌 기술에서는, 거리에 따라 포커싱을 하도록 구성되어 있지만, 스크린 상의 이미지 크기를 변경하는 경우에 포커싱도 함께 변화되는 경우가 있다. 이런 경우에는, 거리만으로 포커싱을 맞출 수는 없고, 크기가 변화됨에 따라서 다시 포커싱을 맞춰야 하는 번거로움이 발생한다는 문제가 있다.By the way, although the said patent document technique is comprised so that it may focus according to distance, when changing the image size on a screen, focusing may change also. In this case, there is a problem in that focusing cannot be achieved only by distance, and the hassle of focusing again occurs as the size is changed.

또한, 상기 특허문헌 기술에서는, 마이컴이 프로젝터와 스크린과의 거리에 따라 포커스제어신호를 출력하도록 되어 있으나, 실제로는 거리의 측정을 위한 구체적 수단에 대해서는 아무런 개시가 없다. 게다가, 공지의 거리측정방법들이 반드시 비디오 프로젝터의 사용환경에서 항상 정확한 거리값을 산출할 수 있다고 할 수는 없다. Further, in the above patent document technology, the microcomputer outputs the focus control signal in accordance with the distance between the projector and the screen. However, there is no disclosure about the specific means for measuring the distance. In addition, known distance measuring methods are not necessarily able to always calculate an accurate distance value in the environment of use of a video projector.

예컨대 초음파방식은, 초음파를 스크린에 쏘아 되돌아오는 파의 시간차를 측정하여, 스크린까지의 거리를 알아내는 방식이다. 이는, 초점을 계산된 거리에 자동으로 맞추는 방식이다. 그런데, 이 방식은, 초음파 액추에이터와 반사파를 잡는 센서가 필요하게 된다. 그리고, 초음파거리계는 공장이나 자동차도로와 같은 소음환경에서는 정확도가 현저히 떨어지게 된다.For example, the ultrasonic method is a method of determining the distance to the screen by measuring the time difference of the wave that is returned to the screen by ultrasonic waves. This is a way to automatically focus on the calculated distance. By the way, this system requires an ultrasonic actuator and a sensor for catching the reflected wave. In addition, the ultrasonic rangefinder is notably accurate in noise environments such as factories or automobile roads.

또한, TOF방식은, 적외선을 스크린에 쏘아 되돌아오는 적외선의 시간차를 측정하여, 거리를 알아내는 방식이다. 이는, 초음파 방식과 유사하다. 그런데, 이 방식도, IR 이미터(emitter)와 IR 카메라 센서가 필요하다. 그리고 아침, 저녁과 같이 적외선의 영향이 많은 시간대나 화산 부근과 같이 주변환경 적외선이 많은 곳에서는, 그 정확도가 현저히 저하된다.In addition, the TOF method is a method of determining the distance by measuring the time difference between the infrared rays shot back to the screen and the infrared rays. This is similar to the ultrasonic method. However, this method also requires an IR emitter and an IR camera sensor. And the accuracy is remarkably degraded in the time zone where the influence of infrared rays is high like morning and evening, and in the place where there is much surrounding infrared ray like the volcano area.

마찬가지로, 레이저거리계는, 예컨대 태양광 아래와 같이 강렬한 빛 환경에서 정확도가 현저히 떨어지게 된다.Likewise, laser rangefinders are significantly less accurate in intense light environments, such as under sunlight.

이러한 광파나 음파 등의 파의 방사 후 그 반사파를 받아서 거리를 산출하는 방식은 모두, 그 주변환경으로부터의 노이즈에 의한 외란의 영향으로 그 정확도가 저하되는 것이다. 따라서, 반사파에 의한 거리측정과 상이한 방식의 거리측정 메커니즘이 요구된다는 과제가 있다.The method of calculating the distance after receiving the reflected wave after radiation of light waves, sound waves, and the like is all degraded by the influence of disturbance caused by noise from the surrounding environment. Accordingly, there is a problem that a distance measuring mechanism in a manner different from that of the reflected wave is required.

본 발명은 상기와 같은 종래기술의 문제점을 해소하기 위해 제안되는 것으로서, 스크린에 투사되는 이미지 크기를 사용자가 자유로이 변경하더라도, 그 이미지 크기의 대소에 상관없이 자동으로 비디오 프로젝터에 의한 스크린 상의 이미지의 포커스를 맞출 수 있는, 비디오 프로젝터용 포커싱방법, 장치 및 저장매체에 저장된 프로그램을 제공하고자 하는 것이다.The present invention is proposed to solve the above problems of the prior art, even if the user freely changes the size of the image projected on the screen, the focus of the image on the screen by the video projector automatically regardless of the size of the image It is intended to provide a program stored in a focusing method, apparatus and storage medium for a video projector that can be matched.

그리고, 비디오 프로젝터로부터 스크린에 투사된 이미지를 입력받아, 스크린까지의 거리가 아니라, 그 이미지의 깊이정보로 표현되는 블러(blur) 정도로부터, 포커싱 보정을 위한 AF제어용 신호를 생성하여, 이를 비디오 프로젝터의 포커싱 모듈에 출력함으로써, 비디오 프로젝터가 포커싱할 수 있도록 하는 비디오 프로젝터용 포커싱방법, 장치 및 저장매체에 저장된 프로그램을 제공하고자 하는 것이다.Then, the image projected on the screen is input from the video projector, and the AF control signal for focusing correction is generated from the blur degree expressed by the depth information of the image, not the distance to the screen, and the video projector is generated. The present invention provides a focusing method for a video projector, an apparatus, and a program stored in a storage medium by outputting to a focusing module of a video projector.

그리고, 주변환경의 영향을 적게 받고, 특히 소음과 저조도 환경에 강인한 깊이이미지(깊이맵) 산출기능을 이용하여, 깊이이미지의 깊이정보로부터 환산되는 블러 정도가 최소가 되도록 하여, 가장 샤프한 포커스를 맞출 수 있는 비디오 프로젝터용 포커싱방법, 장치 및 저장매체에 저장된 프로그램을 제공하고자 하는 것이다.In addition, by using the depth image (depth map) calculation function that is less influenced by the surrounding environment, especially robust to noise and low light, the blurring degree converted from the depth information of the depth image is minimized to achieve the sharpest focus. It is an object of the present invention to provide a method, apparatus, and program stored in a storage medium for a video projector.

상기 과제를 달성하기 위한 본 발명의 일실시예에 따른 비디오 프로젝터용 포커싱방법은, 비디오 프로젝터로부터 스크린 상에 투사된 투사이미지를 촬상하여 촬상이미지를 생성하는 촬상이미지 생성단계; 샤프한 기준이미지에 대한 상기 촬상이미지의 블러(Blur) 정도에 대응되는 깊이차를 산출하는 깊이차 산출단계; 및 상기 깊이차로부터 상기 비디오 프로젝터의 AF(오토포커스)제어용 신호를 발생시키는 AF제어신호 발생단계를 포함하여 이루어짐을 특징으로 한다.According to an aspect of the present invention, there is provided a focusing method for a video projector, the sensing image generating step of generating a captured image by capturing a projected image projected on a screen from a video projector; A depth difference calculating step of calculating a depth difference corresponding to a blur degree of the captured image with respect to a sharp reference image; And an AF control signal generating step of generating an AF (autofocus) control signal of the video projector from the depth difference.

여기서, 상기 촬상이미지는, 하나의 촬상장치에 의해 동일 각도로 상기 투사이미지가 촬상되어, 동시에 획득되는 가시광선의 RGB이미지와 적외선의 IR이미지 및 상기 RGB이미지와 IR이미지로부터 산출되는 깊이이미지로 이루어짐이 바람직하다.Here, the captured image is composed of the RGB image of the visible light and the infrared IR image and the depth image calculated from the RGB image and the IR image obtained by imaging the projection image at the same angle by a single imaging device desirable.

그리고, 상기 깊이차는, 상기 기준이미지에 대한 상기 RGB이미지의 상기 블러 정도에 따라 출력되는 상기 깊이이미지의 PSF 인덱스값의 차에 근거하여 산출됨이 바람직하다.The depth difference is a PSF of the depth image output according to the blurring degree of the RGB image with respect to the reference image. It is preferably calculated based on the difference between the index values .

여기서, 상기 PSF 인덱스값은 픽셀 수로 표현되고, 상기 RGB이미지의 블러 부분의 픽셀 수에 의해 상기 블러 정도가 산출됨이 바람직하다.Here, it is the PSF index value is preferably being expressed in number of pixels and, by the number of pixels of a blurred portion of the RGB image is the blur degree calculation.

그리고 상기 깊이차 산출단계는, 상기 촬상이미지로부터 평균깊이가 산출되는 평균깊이 산출단계; 및 상기 평균깊이로부터 대응되는 블러 정도가 환산되는 블러정도 환산단계를 포함하여 이루어짐이 바람직하다.The depth difference calculating step may include: an average depth calculation step of calculating an average depth from the captured image; And a blur degree conversion step in which a corresponding blur degree is converted from the average depth.

그리고 상기 AF제어신호 발생단계는, 상기 블러정도가 최소인지 판정하여, 최소인 경우에는 처리를 종료하고, 최소가 아닌 경우에는 블러정도를 감소시키도록 하는 AF제어용 신호값을 산출함이 바람직하다.In the AF control signal generating step, it is preferable to determine whether the blur degree is minimum, and to calculate the AF control signal value to terminate the processing if the blur level is minimum and to reduce the blur degree if it is not the minimum.

한편, 다른 실시예에 의한 비디오 프로젝터용 포커싱방법은, 비디오 프로젝터로부터 스크린 상에 투사된 투사이미지를 촬상하여 촬상이미지를 생성하는 촬상이미지 생성단계; 상기 촬상이미지의 블러 정도에 대응되는 피사체까지의 깊이를 산출하는 깊이 산출단계; 및 상기 깊이로부터 상기 비디오 프로젝터의 AF제어용 신호를 발생시키는 AF제어신호 산출단계를 포함하여 이루어짐을 특징으로 한다.On the other hand, a focusing method for a video projector according to another embodiment includes: a picked-up image generating step of picking up a projection image projected on a screen from a video projector to generate a picked up image ; A depth calculation step of calculating a depth to a subject corresponding to a blur degree of the captured image; And an AF control signal calculating step of generating an AF control signal of the video projector from the depth.

여기서, 상기 깊이에 대응되는 상기 AF제어용 신호는, 상기 깊이와 실제 모터의 구동을 위한 변위거리, AF제어용 신호 사이의 비율인 실험 경험치를 이용하여 산출됨이 바람직하다.Here, the AF control signal corresponding to the depth is preferably calculated using an experimental experience value that is a ratio between the depth, the displacement distance for driving the actual motor, and the AF control signal.

그리고 상기 촬상이미지 또는 상기 촬상이미지를 포함하는 프레젠테이션 동영상은 녹화됨이 바람직하다.In addition, the captured image or the presentation video including the captured image is preferably recorded .

한편, 상기 과제를 달성하기 위한 본 발명의 일실시예에 따른 비디오 프로젝터용 포커싱장치는, 비디오 프로젝터로부터 스크린 상에 투사된 투사이미지를 촬상하여 촬상이미지를 생성하는 촬상이미지 생성부; 샤프한 기준이미지에 대한 상기 촬상이미지의 블러(Blur) 정도에 대응되는 깊이차를 산출하는 깊이차 산출부; 및 상기 깊이차로부터 상기 비디오 프로젝터의 AF(오토포커스)제어용 신호를 발생시키는 AF제어신호 생부를 포함하여 이루어짐을 특징으로 한다.On the other hand, the focusing apparatus for a video projector according to an embodiment of the present invention for achieving the above object, an image pickup unit for generating a captured image by imaging the projection image projected on the screen from the video projector; Depth difference that calculates a depth difference corresponding to a blur degree of the captured image with respect to a sharp reference image Calculator ; And an AF control signal for generating an AF (autofocus) control signal of the video projector from the depth difference. It characterized by including to yirueojim biological father.

그리고, 상기 과제를 달성하기 위한 본 발명의 일실시예에 따른 정보처리기기로 읽을 수 있는 저장매체에 저장된 프로그램은, 상기에 기재된 방법의 각 단계를 정보처리기기에 수행시키기 위한 프로그램이 정보처리기기로 읽을 수 있는 저장매체에 저장된 프로그램임을 특징으로 한다.In addition, the program stored in the storage medium readable by the information processing device according to an embodiment of the present invention for achieving the above object, the program for performing each step of the method described above to the information processing device Characterized in that the program is stored in a storage medium that can be read.

본 발명에 의하면, 스크린에 투사되는 이미지 크기를 사용자가 자유로이 변경하더라도, 그 이미지 크기의 대소에 상관없이 자동으로 비디오 프로젝터에 의한 스크린 상의 이미지의 포커스를 맞출 수 있는, 비디오 프로젝터용 포커싱방법, 장치 및 저장매체에 저장된 프로그램을 제공하고자 하는 것이다.According to the present invention, a focusing method, apparatus and apparatus for a video projector that can focus an image on a screen by a video projector automatically regardless of the size of the image, even if the user freely changes the size of the image projected on the screen. It is to provide a program stored in the storage medium.

그리고, 비디오 프로젝터로부터 스크린에 투사된 이미지를 입력받아, 스크린까지의 거리가 아니라, 그 이미지의 깊이정보로 표현되는 블러(blur) 정도로부터, 포커싱 보정을 위한 AF제어용 신호를 생성하여, 이를 비디오 프로젝터의 포커싱 모듈에 출력함으로써, 비디오 프로젝터가 포커싱할 수 있도록 하는 비디오 프로젝터용 포커싱방법, 장치 및 저장매체에 저장된 프로그램을 제공하고자 하는 것이다.Then, the image projected on the screen is input from the video projector, and the AF control signal for focusing correction is generated from the blur degree expressed by the depth information of the image, not the distance to the screen, and the video projector is generated. The present invention provides a focusing method for a video projector, an apparatus, and a program stored in a storage medium by outputting to a focusing module of a video projector.

그리고, 주변환경의 영향을 적게 받고, 특히 소음과 저조도 환경에 강인한 깊이이미지(깊이맵) 산출기능을 이용하여, 깊이이미지의 깊이정보로부터 환산되는 블러 정도가 최소가 되도록 하여, 가장 샤프한 포커스를 맞출 수 있는 비디오 프로젝터용 포커싱방법, 장치 및 저장매체에 저장된 프로그램을 제공하고자 하는 것이다.In addition, by using the depth image (depth map) calculation function that is less influenced by the surrounding environment, especially robust to noise and low light, the blurring degree converted from the depth information of the depth image is minimized to achieve the sharpest focus. It is an object of the present invention to provide a method, apparatus, and program stored in a storage medium for a video projector.

도 1은, 본 발명의 일실시예에 따른 정보추출장치, 예컨대 DR1152를 이용한 비디오 프로젝터의 오토포커스와 비디오 녹화기능 구현을 위한 개략 블럭 플로우차트이다.
도 2는, 일반적인 비디오 프로젝터와 그 스크린, 그리고 본 발명의 정보추출장치, 예컨대 DR1152로 캡처한 RGB이미지, IR이미지 및 깊이이미지의 예시 사진이다.
도 3은, 블러(Blur) RGB이미지와 그 해당 깊이이미지, 그리고 샤프 RGB이미지와 그 해당 깊이이미지의 예시 사진이다.
도 4는, 블러 정도차를 이용하여 AF제어용 신호를 산출하는 개념을 나타내는 예시 그래프이다.
도 5는, 블러 정도(size)에서 실제 거리를 산출하는 공식과 개념을 나타내는 도면이다.
도 6은, 본 발명의 일실시예에 따른 오토포커스와 비디오 녹화기능의 블럭 플로우차트이다.
도 7은, 본 발명의 일실시예에 따른 정보추출장치, 비디오 프로젝터, 스크린, 사용자 및 투사이미지의 평면 모식 배치도이다.
1 is a schematic block flowchart for implementing an autofocus and video recording function of a video projector using an information extraction apparatus according to an embodiment of the present invention, for example, the DR1152.
2 is an exemplary photograph of a general video projector, its screen, and an RGB image, an IR image, and a depth image captured by the information extraction apparatus of the present invention, such as the DR1152.
3 is an exemplary photograph of a blur RGB image and a corresponding depth image, and a sharp RGB image and a corresponding depth image.
4 is an exemplary graph showing a concept of calculating an AF control signal using a blur degree difference.
FIG. 5 is a diagram showing a formula and a concept of calculating an actual distance at a blur size.
6 is a block flowchart of an autofocus and video recording function according to an embodiment of the present invention.
7 is a schematic plan layout view of an information extraction apparatus, a video projector, a screen, a user, and a projected image according to an embodiment of the present invention.

이하, 본 발명에 대해 첨부도면을 참조하면서 구체적 실시예를 따라서 상세히 설명한다. 다만, 동일 구성에 의해 동일 기능을 가지는 부분은, 도면이 달라지더라도 동일 부호를 유지함으로써, 그 상세한 설명을 생략하는 경우가 있다. 그리고 하나의 단계나 모듈은, 2 이상의 단계나 모듈로 분리되어 구현될 수 있고, 역으로, 2 이상의 단계나 모듈은, 하나의 단계나 모듈로 병합되어 구현될 수 있다. 그리고 방법을 수행하는 장치는, 하드웨어와 고정 형성된 회로에 의해 구현되어도 좋고, 하드웨어에 설치된 프로그램에 의해 가변적으로 변화 가능한 회로에 의해 구현되어도 좋다. 그리고 녹화의 대상이 되는 이미지로서, 이하의 설명에서는 RGB이미지를 들어서 설명하지만, IR이미지에도 동일하게 적용될 수 있다.Hereinafter, the present invention will be described in detail with reference to specific embodiments with reference to the accompanying drawings. However, the part which has the same function by the same structure may abbreviate | omit the detailed description by keeping same code | symbol even if drawing differs. In addition, one step or module may be implemented by being separated into two or more steps or modules, and conversely, two or more steps or modules may be implemented by being merged into one step or module. The apparatus for performing the method may be implemented by a circuit fixedly formed with hardware, or may be implemented by a circuit that is variably changeable by a program installed in the hardware. As the image to be recorded, the following description will be given by taking the RGB image, but the same can be applied to the IR image.

<기본구성><Basic Configuration>

본 발명의 일실시예에 따른 비디오 프로젝터용 포커싱방법은, 촬상이미지 생성단계(10~40); 깊이차 산출단계(51); 및 AF제어신호 발생단계(52, 53)를 포함하여 이루어짐을 특징으로 한다.Focusing method for a video projector according to an embodiment of the present invention, the captured image generation step (10 ~ 40) ; Depth difference calculating step 51 ; And AF control signal generation steps (52, 53) .

도 2는, 전체적인 시스템 구성을 보여준다. 일반적인 비디오 프로젝터(60)와 스크린(s)이 있고, 그와는 독립적으로 정보추출장치(10), 예컨대 DR1152 카메라 시스템을 설치하였다. 그리고 비디오 프로젝터(60)의 투사이미지를 정보추출장치(10)가 잡은 후, 그 출력인 촬상이미지(i), 즉 RGB이미지(20), IR이미지(30) 및 깊이이미지(40)를 별도의 모니터에 보여준다.2 shows the overall system configuration. There is a general video projector 60 and a screen s, and the information extraction apparatus 10, for example, the DR1152 camera system is installed independently of it. After the information extraction apparatus 10 captures the projected image of the video projector 60, the output image (i), that is, the RGB image 20, the IR image 30, and the depth image 40 are separately separated. Show on monitor

상기 촬상이미지 생성단계(10~40)는, 비디오 프로젝터(VP, 60)로부터 스크린(s) 상에 투사된 투사이미지(i0)를 촬상하여 촬상이미지(i)를 생성하는 단계이다.The captured image generating step 10 to 40 is a step of generating a captured image i by capturing the projected image i 0 projected onto the screen s from the video projector VP 60.

도 3은, 스크린 상의 투사이미지에 대한 촬상이미지(i)와 그 대응되는 깊이이미지(깊이맵)을 나타낸다. 도 3의 좌측 이미지는, 상측이 프로젝터(60)의 스크린(s) 상의 블러한 이미지이고, 하측이 정보추출장치(10), 예컨대 DR1152에서 나온 깊이이미지(40)이다. 반면, 도 3의 우측 이미지는, 상측이 프로젝터(60)의 스크린(s) 상의 이미지 중 초점을 맞춘 이미지(샤프 이미지)이고, 하측이 그에 해당하는 정보추출장치(10), DR1152의 깊이이미지(40')이다.3 shows a captured image i of a projected image on a screen and its corresponding depth image (depth map). The upper left image is a blurred image on the screen s of the projector 60, and the lower image is a depth image 40 from the information extraction apparatus 10, for example, DR1152. On the other hand, the right image of Figure 3, the upper side is the image (sharp image) of the focus on the image on the screen (s) of the projector 60, the lower side is the information extraction device 10, the depth image of the DR1152 ( 40 ').

본 발명은, 좌측의 흐린 이미지의 블러 정도를 감지하여, 거리차를 계산한 다음, 보정용 제어신호(Δz)를 만들어, 이를 프로젝터의 AF기능을 하는 모듈에 보내도록 하는 것이다.The present invention detects the blur of the blurry image on the left side, calculates the distance difference, generates a correction control signal Δz, and sends the same to a module that performs the AF function of the projector.

상기 투사이미지(i0)는 평면의 스크린(s) 상에 빛에 의해 표현된 것이기 때문에, 설사 투사이미지(i0) 상에, 하늘, 산, 자동차, 사람 등 사람에게는 깊이에 따라 원근이 인식되는 대상들이 표현된 경우라 하더라도, 실제 물리적 깊이는 스크린의 표면(s)이 된다. 따라서, 종래 공지기술과 같이 초음파나 적외선, 레이저광선 등으로 반사파에 의해 깊이를 측정하면, 모두 물리적인 스크린(s)의 표면의 깊이만 출력된다. 즉, 이들 초음파나 적외선, 레이저광선 등의 방식에 의하면, 스크린(s)과 비디오 프로젝터(60) 사이의 거리를 알 수 있을 뿐이다.Since the projected image i 0 is represented by light on a flat screen s, perspective is recognized according to depth to a person such as a sky, a mountain, a car, or a person on the projected image i 0 . Even if the objects to be represented are represented, the actual physical depth is the surface s of the screen. Therefore, when the depth is measured by the reflected wave by ultrasonic waves, infrared rays, laser beams or the like as in the conventional art, only the depth of the surface of the physical screen s is output. That is, according to the method of these ultrasonic waves, infrared rays, a laser beam, etc., the distance between the screen s and the video projector 60 can only be known.

그런데, 거리와 포커스의 상관관계에 따른 AF모듈의 작동은, 각 비디오 프로젝터(60)마다 다르다. 이는, 채용된 AF모듈의 구성, 구체적으로는 모터, 렌즈, 케이스 등의 규격이 다르기 때문이다. 따라서, 스크린(s)과 비디오 프로젝터(60) 사이의 거리를 안다고 하더라도, AF모듈의 작동에 이상이 발생되면, 상관관계가 적용되지 않아, 포커싱이 이루어지지 않을 우려가 있다.However, the operation of the AF module according to the correlation between the distance and the focus is different for each video projector 60. This is because the configuration of the adopted AF module, specifically, the specifications of the motor, lens, case, etc. are different. Therefore, even if the distance between the screen s and the video projector 60 is known, if an abnormality occurs in the operation of the AF module, the correlation is not applied and there is a concern that focusing may not be performed.

본 발명에서는, 촬상이미지(i)를 생성하여, 이로부터 포커싱을 수행하기 때문에, 사람이 눈으로 인식하는 것과 동일한 이미지에 의해 포커싱을 행한다는 점에서, 종래 공지기술들과 큰 차이가 있다.In the present invention, since the picked-up image (i) is generated and the focusing is performed therefrom, there is a large difference from the known techniques in that the focusing is performed by the same image as that recognized by the human eye.

상기 깊이차 산출단계는, 샤프한 기준이미지(i')에 대한 상기 촬상이미지(i)의 블러(Blur) 정도(d)에 대응되는 깊이차를 산출하는 단계이다.The depth difference calculating step is a step of calculating a depth difference corresponding to a blur degree d of the captured image i with respect to the sharp reference image i '.

도 4의 그래프는, 블러 차를 이용하여 AF제어용 신호(Δz)를 산출하는 개념을 나타낸다. 실선은 평균치를, 점선은 표준편차를 나타낸다.The graph of FIG. 4 shows the concept of calculating the AF control signal Δz using the blur difference. The solid line represents the mean and the dashed line represents the standard deviation.

여기서, 본 발명의 정보추출장치(10), 예컨대 DR1152는, 도 4와 같은 깊이값 커브 특성을 가진다. 이미지의 블러 정도에 따라 출력되는 PSF 인덱스 값(1~121 사이의 값)이 다르게 나온다. 블러 정도가 많을수록 PSF 인덱스 값이 크게 나온다.Here, the information extraction apparatus 10 of the present invention, for example, DR1152, has a depth curve characteristic as shown in FIG. The output PSF index value (value between 1 and 121) is different depending on the blurring degree of the image. The more blur, the larger the PSF index value.

도 4에서는, 화면이 흐린(블러인) 경우의 깊이이미지(깊이맵, 좌측)와 초점이 맞은(샤프한) 경우의 깊이이미지(우측)를 깊이 커브에 나타내 보이고 있다. 두 경우의 PSF 인덱스 값의 차이값이 깊이차(거리차)를 나타낸다.In Fig. 4, the depth image (depth map, left) when the screen is blurry (blur) and the depth image (right) when the focus is (sharp) are shown in the depth curve. The difference between the PSF index values in both cases represents the depth difference (distance difference).

상기 촬상이미지(i)는, 평면이미지이지만 깊이감을 가질 수 있다. 이 깊이감은 촬상이미지(i)의 블러 정도(d)로부터 추출될 수 있다. 즉, 촬상이미지(i) 내의 촬상된 대상물들의 경계선과 블러 정도에 따라, 각 픽셀 단위의 깊이정보가 추출될 수 있다.The captured image i is a planar image but may have a sense of depth. This depth can be extracted from the blur degree d of the captured image i. That is, depth information of each pixel unit may be extracted according to the boundary line and the degree of blur of the captured objects in the captured image i.

본 발명에서는, 상기 촬상이미지(i)의 블러 정도(d)에 따른 깊이정보와, 기준이 되는 샤프한 기준이미지(i')의 깊이정보로부터 깊이차를 산출한다. 샤프한 기준이미지(i')는, 포커스가 맞은 상태의 이미지이고, 이는 미리 저장되어 있는 이미지여도 좋고, 촬상이미지(i)로부터 블러를 제거함으로써 추정되는 가상의 이미지여도 좋다.In the present invention, the depth difference is calculated from the depth information according to the blur degree d of the captured image i and the depth information of the sharp reference image i 'serving as a reference. The sharp reference image i 'is an image in a focused state, which may be an image stored in advance or a virtual image estimated by removing blur from the captured image i.

상기 AF제어신호 발생단계는, 상기 깊이차로부터 상기 비디오 프로젝터(60)의 AF(오토포커스)제어용 신호(Δz)를 발생시키는 단계이다. The AF control signal generating step is a step of generating an AF (autofocus) control signal Δz of the video projector 60 from the depth difference.

도 4의 그래프에서, 깊이차로부터 AF제어용 신호(Δz)가 생성된다.In the graph of Fig. 4, the AF control signal [Delta] z is generated from the depth difference.

상기 깊이차는, 현재의 촬상이미지(i)의 블러를 없애서 기준이미지(i')처럼 샤프하게 만들어서 포커싱을 하기 위해 깊이방향으로 움직여야 할 거리를 의미한다. 따라서, 비디오 프로젝터의 AF모듈은 이 깊이차에 대응되는 양으로 움직여서 포커싱을 할 필요가 있다.The depth difference means a distance to be moved in the depth direction in order to focus by removing the blur of the current captured image i and making it as sharp as the reference image i '. Therefore, the AF module of the video projector needs to be focused by moving in an amount corresponding to this depth difference.

상기 AF제어용 신호(Δz)는, 상기 깊이차를 반영하여 비디오 프로젝터(60)마다 설정되는 경험치를 반영하여 산출되는 값을 포함할 수 있다.The AF control signal Δz may include a value calculated by reflecting the experience value set for each video projector 60 by reflecting the depth difference.

<효과><Effect>

상기 본 발명의 구성에 의하면, 스크린(s)의 표면과 비디오 프로젝터(60) 사이의 거리(a)가 아니라, 스크린(s) 상에 맺힌 투사이미지(i0)의 촬상이미지(i)의 블러 정도(d)로부터 산출되는 깊이차를 이용하여 포커싱을 수행한다.According to the configuration of the present invention, the blur of the captured image (i) of the projection image (i 0 ) formed on the screen (s), not the distance (a) between the surface of the screen (s) and the video projector 60. Focusing is performed using the depth difference calculated from the degree (d).

따라서, 종래기술에서는, 거리(a)에 따른 포커싱에 의해 오류가 생기면, 동일한 방식으로는 아무리 반복 수행해도 포커싱을 더 자동으로 보정할 수 없지만, 본 발명에 의하면, 실제 스크린(s)으로부터 획득한 촬상이미지(i)에 의거한 깊이차에 의해 포커싱을 수행하므로, 거리에 따른 포커싱을 하지 않고, 예컨대 단 1회의 포커싱에 의해 실용적으로 사용가능한 포커성이 가능하고, 예컨대 깊이차에 의해 1회차 포커싱 후 다시 깊이차에 의해 2회차 포커싱을 하는 식으로 중첩 적용하면, 거의 완벽한 포커싱이 이루어질 수 있다.Therefore, in the prior art, if an error occurs due to the focusing according to the distance a, the focusing can not be corrected more automatically even if it is repeatedly performed in the same manner, but according to the present invention, it is possible to obtain from the actual screen s. Since focusing is performed by the depth difference based on the captured image (i), focusing that is practically usable by, for example, only one focusing is possible without focusing according to the distance, and focusing is performed once by the depth difference, for example. After the overlapping is applied again by the second difference focusing by the depth difference, almost perfect focusing can be achieved.

게다가, 본 발명은, 비디오 프로젝터 자체에서 나오는 스크린 상의 투사이미지의 촬상이미지(i)의 블러 정도를 감지하여 거리를 산출하는 방식을 이용하므로, 종래기술의 초음파 액추에이터나 IR 이미터 등과 같은 추가적인 이미터 및 그 리시버를 필요로 하지 않는다. 그리고 외부 노이즈의 영향을 받지 않는다.In addition, since the present invention uses a method of calculating the distance by sensing the blur of the captured image (i) of the projected image on the screen from the video projector itself, an additional emitter such as an ultrasonic actuator or an IR emitter of the prior art is used. And no receiver is required. And it is not affected by external noise.

또한, IR이미지를 동시에 획득하므로, 저조도 환경하에서도 매우 우수한 포커싱 효과를 가져온다.In addition, by simultaneously acquiring IR images, a very good focusing effect is obtained even in a low light environment.

<촬상 및 정보추출장치><Illustration and information extraction device>

촬상이미지(i)의 생성장치로서는, 일반적인 가시광선 카메라, 즉 RGB카메라를 들 수 있지만, 이에 한하지 않고, 예컨대 적외선 카메라, 즉 IR카메라가 이용될 수도 있다. 다만, 이런 한 종류의 이미지만 가지고 깊이이미지를 산출하는 것은 어디까지나 명확한 한계가 있다.As a device for generating the captured image (i), a general visible light camera, i.e., an RGB camera, may be used, but not limited to this, for example, an infrared camera, i.e., an IR camera, may be used. However, calculating depth image using only one kind of image has a definite limitation.

따라서, 상기 촬상이미지(i)는, RGB이미지(20)와, IR이미지 (30)깊이이미지(40, 깊이맵 )로 이루어짐이 바람직하다.Therefore, the captured image i is preferably composed of an RGB image 20 , an IR image 30, and a depth image 40 ( depth map ) .

이 경우, 바람직하게는, 상기 RGB이미지(20)IR이미지(30)는, 하나의 촬상장치(11)에 의해 동일 각도로 상기 투사이미지(i0)가 촬상되어, 동시에 획득되는 이미지들로서, 상기 RGB이미지(20)는, 가시광선으로 이루어진 이미지이고, 상기 IR 이미지(30)는, 적외선으로 이루어진 이미지이다.In this case, preferably, the RGB image 20 and the IR image 30 are images obtained by simultaneously capturing the projection image i0 at the same angle by one imaging device 11, The RGB image 20 is an image made of visible light, and the IR image 30 is infrared It is an image.

상기 촬상장치(11)에는, 이중조리개(Dual Aperture: DA) 단일렌즈(Single Lens) 방식의 4컬러 센서가 포함될 수 있다. 상기 깊이이미지(40, 깊이맵 )는, 상기 RGB이미지(20)와 IR이미지(30)로부터 산출되고, 깊이정보를 포함한다. 상기 깊이이미지(40) 산출장치(12)는, 상기 RGB이미지(20)의 특정 포커스와 IR이미지(30)의 올인포커스(all-in focus) 특성을 활용하여 깊이정보를 추출하여 깊이이미지를 생성할 수 있다. 상기 촬상장치(11)와 깊이이미지 산출장치(12)는, 하나의 정보추출장치(10)를 구성할 수 있다.The imaging device 11 may include a four-color sensor of a dual aperture single lens type. The depth image 40 ( depth map ) is calculated from the RGB image 20 and the IR image 30 and includes depth information. The depth image 40 calculating device 12 generates depth images by extracting depth information by utilizing a specific focus of the RGB image 20 and an all-in focus characteristic of the IR image 30. can do. The imaging device 11 and the depth image calculator 12 may constitute one information extraction device 10.

이중조리개 단일렌즈 카메라로 깊이를 추출하는 기술은, (주) 이더블유비엠이 DR1152의 시스템 반도체로 구현을 하였다. DR1152는, 단일렌즈를 기반으로 RGB이미지와 IR이미지는 물론 3차원 깊이이미지(깊이맵) 정보까지 동시에 제공해주는 시스템이다. 본 발명은, DR1152의 시스템을 활용하여, 비디오 오토포커스 기능을 구현할 수 있다. 또한, 추가적으로, DR1152 시스템의 RGB신호를 이용하여 비디오 녹화기능을 추가할 수 있다.The technique of extracting depth with a double-aperture single lens camera is implemented by the system semiconductor of DR1152. The DR1152 is a system that provides 3D depth image information as well as RGB and IR images based on a single lens. The present invention can implement a video autofocus function by utilizing the system of the DR1152. In addition, a video recording function may be added using the RGB signal of the DR1152 system.

즉, 본 발명은, 이중조리개 단일렌즈 방식의 3차원 깊이정보와 적외선정보 추출용 장치를 기반으로 하여, 비디오 프로젝터의 오토포커스를 구현하는 기술이다.That is, the present invention is a technique for implementing autofocus of a video projector based on a device for extracting 3D depth information and infrared information of a dual-aperture single lens method.

<PSF 인덱스><PSF Index>

이 경우, 상기 깊이차는, 상기 기준이미지(i')에 대한 상기 RGB이미지(20)의 상기 블러 정도(d)에 따라 출력되는 상기 깊이이미지(40)의 PSF 인덱스값의 차에 근거하여 산출됨이 바람직하다.In this case, the depth difference is the PSF of the depth image 40 output according to the blur degree d of the RGB image 20 with respect to the reference image i '. It is preferably calculated based on the difference between the index values .

이중조리개 단일렌즈 방식의 4컬러 센서에 의한 RGB이미지(20)와 IR이미지(30)로부터 깊이이미지(40)를 생성함에 있어서, 올인포커스의 IR이미지(30)에 대해 다단계로 블러 정도를 변화시키면서 PSF 인덱스를 형성하여, 픽셀 단위로 RGB이미지(20)와 비교하여, PSF 인덱스에 따라 깊이를 결정하는 방식이 있다. 이러한 PSF 인덱스값의 차에 따라 깊이차가 산출될 수 있다.In generating the depth image 40 from the RGB image 20 and the IR image 30 by the dual-aperture single-lens four-color sensor, the blur degree is changed in multiple steps with respect to the IR image 30 of the all-in-focus. There is a method of forming a PSF index, and comparing the RGB image 20 on a pixel basis to determine the depth according to the PSF index. The depth difference may be calculated according to the difference of the PSF index values.

그리고 상기 PSF 인덱스값은 픽셀 수로 표현되고, 상기 RGB이미지(20)의 블러 부분의 픽셀 수에 의해 상기 블러 정도(d)가 산출됨이 바람직하다. 즉, 픽셀 수에 따라 명확히 PSF 인덱스값이 파악되므로, 이로부터 깊이차를 명확하고 간단히 산출할 수 있다.And PSF is the index value is preferably a search is represented by a number of pixels, the blur blur degree (d) by the number of pixels of pieces of RGB image 20 is calculated. That is, since the PSF index value is clearly identified according to the number of pixels, the depth difference can be clearly and simply calculated from this.

<평균깊이의 필요성>Necessity of Average Depth

도 7과 같이, 본 발명에 이용되는 장치는, 정보추출장치(10)와 비디오 프로젝터(60)이므로, 이들의 배치관계에 있어서, 적어도 어느 한 쪽은 스크린(s)의 정중앙에 대해 정렬이 맞지 않은 상태가 될 수밖에 없다. 도 7의 경우에는, 비디오 프로젝터(60)는 스크린(s)의 정중앙에 정렬되어 있지만, 정보추출장치(10)는 정렬되지 않은 상황을 나타낸다.As shown in Fig. 7, the apparatuses used in the present invention are the information extraction apparatus 10 and the video projector 60, so that at least one of them is aligned with the exact center of the screen s in the arrangement relationship thereof. There is no choice but to be in a state. In the case of Fig. 7, the video projector 60 is aligned with the center of the screen s, but the information extraction apparatus 10 is not aligned.

이런 경우에, 정보추출장치(10)의 출력인 촬상이미지(i)는, 실제 깊이가 동일하게 산출되어야 할 대상에 대해, 서로 다른 깊이값으로 착오 출력할 여지가 있다. 예컨대 도 7의 경우, 스크린(s)의 좌단(le) 측의 투사이미지보다 우단(re) 측의 투사이미지의 깊이가 더 깊게 출력될 여지가 있다.In this case, the picked-up image i, which is the output of the information extracting apparatus 10, may be misinterpreted with different depth values for the object whose actual depth is to be calculated the same. For example, in FIG. 7, there is a possibility that the depth of the projected image on the right side re is larger than the projected image on the left side le of the screen s.

반대로 정보추출장치(10)는 정렬되어 있지만, 비디오 프로젝터(60)는 정렬되어 있지 않은 경우에도, 동일한 깊이로 출력되어야 할 부분이 서로 다른 깊이로 출력될 여지가 있다.On the contrary, even though the information extraction apparatus 10 is aligned, even if the video projector 60 is not aligned, portions to be output at the same depth may be output at different depths.

게다가, 정보추출장치(10)나 비디오 프로젝터(60)는 도 7에 도시된 바와 같이 원호 형태의 깊이선이 동일 깊이를 표현하지만, 스크린(s)은 평면 형태이므로, 스크린에 표현된 대상의 깊이는 중앙부와 상하좌우의 단부에 있어서 차이가 발생될 여지가 있다.In addition, in the information extraction apparatus 10 or the video projector 60, the arc-shaped depth lines represent the same depth as shown in FIG. 7, but since the screen s is flat, the depth of the object represented on the screen is reduced. There is a possibility that a difference occurs in the central portion and the upper, lower, left and right ends.

이런 상황에 대비하기 위해, 본 발명의 다른 실시예에 의한 상기 깊이차 산출단계는, 평균깊이 산출단계; 및 블러정도 환산단계를 포함하여 이루어짐이 바람직하다. 상기 평균깊이 산출단계는, 상기 촬상이미지(i)로부터 평균깊이가 산출되는 단계이다. 상기 평균깊이는, 좌단과 우단, 또는 상단과 하단, 또는 중앙부와 단부의 평균연산에 의해 산출될 수 있다. 상기 블러정도 환산단계는, 상기 평균깊이로부터 대응되는 블러 정도(d)가 환산되는 단계이다. 따라서, 왜곡현상을 제거하여 보다 정확한 깊이차를 산출할 수 있다.In order to prepare for such a situation, the depth difference calculating step according to another embodiment of the present invention, the average depth calculation step ; And blurring degree conversion step is preferably made. The average depth calculating step is a step of calculating the average depth from the captured image (i). The average depth may be calculated by averaging the left end and the right end, the upper end and the lower end, or the center and the end. The blurring degree converting step is a step of converting a blurring degree (d) corresponding to the average depth. Therefore, it is possible to calculate a more accurate depth difference by removing the distortion phenomenon.

<최소 블러의 판정 및 신규 제어치의 산출><Determination of minimum blur and calculation of new control value>

그리고 상기 AF제어신호 발생단계는, 상기 블러 정도(d)가 최소인지 판정하여, 최소인 경우에는 처리를 종료하고, 최소가 아닌 경우에는 블러 정도(d)를 감소시키도록 하는 AF제어용 신호값(Δz)을 산출함이 바람직하다.In the AF control signal generating step, the AF control signal value (determining whether the blur degree d is minimum, ending the processing if the minimum is small, and reducing the blur degree d if the minimum is not minimum ( Δz) is preferably calculated.

예컨대, 1회차 촬상이미지(i)의 블러 정도가 최소인 경우에는, 제어신호를 산출하지 않고 종료시킬 수 있으므로, 신속한 처리가 가능하다.For example, when the blur degree of the first captured image i is minimum, the control signal can be terminated without calculating the control signal, so that the processing can be performed quickly.

예컨대, 1회차 처리 후 자동으로 실행된 2회차 촬상이미지(i)의 블러 정도가 최소가 된 경우에는, 1회차만으로 포커싱이 되었으므로, 역시 신속한 처리가 가능하다.For example, when the blur degree of the second captured image (i) automatically executed after the first processing becomes the minimum, focusing is performed only once, so that rapid processing is also possible.

예컨대, 상기 과정은 여러 번 반복 실시될 수도 있다. 촬상이미지(i)의 생성, 블러 정도의 판정 및 블러 정도 감소를 위한 AF제어용 신호값(Δz)의 산출 적용과정을 반복함으로써, 촬상이미지(i)의 블러 정도가 최소 블러가 되도록 수렴시키는 제어를 하여도 좋고, 이러한 촬상이미지의 블러 정도에 기반한 포커싱 기법은 본 발명의 범위에 포함되는 것이다. 이때, AF제어용 신호값을 작게 함으로써 미세조정할 수도 있다.For example, the process may be repeated several times. By repeating the process of generating the captured image i, determining the blur degree, and calculating and applying the AF control signal value Δz for reducing the blur degree, control is performed to converge so that the blur degree of the captured image i becomes the minimum blur. The focusing technique based on the blur of the captured image may be included in the scope of the present invention. At this time, fine adjustment can also be made by reducing the AF control signal value.

<촬상이미지의 블러에서 산출된 깊이에 의한 제어신호 산출><Calculation of Control Signal by Depth Calculated by Blur of Captured Image>

본 발명의 다른 실시예에 의한 비디오 프로젝터용 포커싱방법은, 촬상이미지 생성단계(10~40); 깊이 산출단계(51); 및 AF제어신호 산출단계(도 5)를 포함하여 이루어짐을 특징으로 한다. 이 실시예는, 깊이차가 아니라 깊이로부터 직접 제어신호를 발생시키는 것이다.Focusing method for a video projector according to another embodiment of the present invention, the captured image generation step (10 ~ 40) ; Depth calculation step 51 ; And AF control signal calculating step (FIG. 5) . This embodiment generates the control signal directly from the depth, not the depth difference.

상기 촬상이미지 생성단계(10~40)는, 비디오 프로젝터로부터 스크린 상에 투사된 투사이미지를 촬상하여 촬상이미지를 생성하는 단계이다. 이는 앞의 실시예와 동일하므로, 상세한 설명을 생략한다.The captured image generating step (10 to 40) is a step of generating a captured image by capturing the projected image projected on the screen from the video projector. Since this is the same as the previous embodiment, a detailed description thereof will be omitted.

상기 깊이 산출단계는, 상기 촬상이미지의 블러 정도에 대응되는 피사체까지의 깊이를 산출하는 단계이다.The depth calculating step is a step of calculating a depth to a subject corresponding to a blur degree of the captured image.

도 5는, 블러 정도(사이즈)에서 정보추출장치(10)와 물체 사이의 거리(깊이)를 산출하는 방식을 나타내며, 이로부터 보정용 AF제어신호(Δz)가 산출된다.Fig. 5 shows a method of calculating the distance (depth) between the information extraction apparatus 10 and the object at the degree of blurring (size), from which the AF control signal Δz for correction is calculated.

도 5에 나타난 바와 같이, 이중조리개 방식의 본 발명에 광학이론을 적용하면, 피사체의 블러 정도(블러 사이즈)를 실제 깊이(거리)로 환산할 수 있다. 아래 수학식 1, 2에 나타나는 a는 실제 피사체까지의 거리를 나타내고, 이미지 센서에 맺힌 피사체의 블러 정도는 d로 표현된다. 즉, d를 알면 a를 구할 수 있다.As shown in FIG. 5, when the optical theory is applied to the dual aperture type of the present invention, the degree of blur (blur size) of the subject may be converted into an actual depth (distance). In the following Equations 1 and 2, a represents a distance to an actual subject, and the blur degree of the subject formed on the image sensor is represented by d. That is, if d is known, a can be obtained.

Figure 112017127094218-pat00001
Figure 112017127094218-pat00001

Figure 112017127094218-pat00002
Figure 112017127094218-pat00002

이때, f는 렌즈 자체의 초점을 나타내고, a0는 이미지센서에 물체의 초점이 맞도록 세팅을 한 카메라 초점거리를 나타낸다.In this case, f denotes the focus of the lens itself, and a 0 denotes the camera focal length set to focus the object on the image sensor.

합성 F넘버(F#)는, IR조리개와 RGB 조리개의 합성수치를 나타내며, 아래 수학식 3과 같이 표현된다.The composite F number F # represents the combined values of the IR aperture and the RGB aperture, and is expressed by Equation 3 below.

Figure 112017127094218-pat00003
Figure 112017127094218-pat00003

여기서, 수학식 1의 조건

Figure 112017127094218-pat00004
을 이용하여, PSF인덱스를 픽셀 수로 표현이 가능하고, 이는 이미지 센서에 맺힌 블러 이미지의 픽셀 수를 알아내면, PSF인덱스 값을 결국 블러 정도(사이즈)로 표현이 가능함을 의미한다. 이를 이용하면, 수학식 1 혹은 2를 이용하여, 실제 거리 a값을 구할 수 있다.Here, the condition of Equation 1
Figure 112017127094218-pat00004
The PSF index can be expressed by the number of pixels, which means that the PSF index value can be expressed in the degree of blur (size) when the number of pixels of the blur image formed on the image sensor is found. Using this, the actual distance a value can be obtained using Equation 1 or 2.

상기 AF제어신호 산출단계는, 상기 깊이로부터 상기 비디오 프로젝터의 AF제어용 신호를 발생시키는 단계이다. 본 발명에서는, 이 과정을 이용하여 a값을 구한 후, 이를 제어신호(Δz)로 대응시키는 경험치를 산출하여, 이를 출력으로 한다.The AF control signal calculating step is a step of generating an AF control signal of the video projector from the depth. In the present invention, after calculating a value using this process, an empirical value corresponding to the control signal Δz is calculated and this is output.

즉, 상기 깊이에 대응되는 상기 AF제어용 신호는, 상기 깊이(a)와 실제 모터의 구동을 위한 변위거리(displacement distance), AF제어용 신호(Δz) 사이의 비율인 실험 경험치를 이용하여 산출됨이 바람직하다.That is, the AF control signal corresponding to the depth is calculated using an experimental experience value that is a ratio between the depth a, the displacement distance for driving the actual motor, and the AF control signal Δz. desirable.

이 구성에 의하면, 일단 거리를 산출한 다음에 AF제어용 신호를 산출하여 적용하므로, 거리의 산출은, 종래기술의 방식을 적용하여도 좋다. According to this structure, since the AF control signal is calculated and applied once after the distance has been calculated, the method of the prior art may be applied to the calculation of the distance.

<스크린 및 프레젠테이션 사용자에 대한 녹화기능><Recording function for screen and presentation user>

도 1 및 도 6에 도시된 바와 같이, 상기 촬상이미지(i) 또는 상기 촬상이미지(i)를 포함하는 프레젠테이션 동영상은 녹화됨이 바람직하다.이를 위해 녹화부(21)가 구비될 수 있다.As shown in Figure 1 and Figure 6, the video presentation including the image pick-up image (i) or said image pick-up image (i) is preferably a search record. A recording section 21 may be provided for this purpose.

즉, 본 발명은, 이중조리개 단일렌즈 방식의 3차원 깊이정보와 적외선정보 추출용 장치를 기반으로 하여, 비디오 프로젝터의 투사비디오에 대한 별도장치 녹화기능을 구현할 수 있다. 상기 녹화에 이용되는 촬상이미지(i)로서는 RGB이미지(20)가 이용되는 것이 바람직하지만, IR이미지(30)나 깊이이미지(40)가 이용되어도 좋다. 이로써, 발표자와 발표화면을 동시에 녹화할 수 있다.That is, the present invention can implement a separate device recording function for the projection video of the video projector based on the dual aperture single lens type 3D depth information and infrared information extraction device. Although the RGB image 20 is preferably used as the captured image i used for the recording, the IR image 30 or the depth image 40 may be used. Thus, the presenter and the announcement screen can be recorded at the same time.

<비디오 프로젝터용 포커싱장치><Focus for Video Projector>

한편, 본 발명의 일실시예에 따른 비디오 프로젝터용 포커싱장치는, 촬상이미지 생성부; 깊이차 산출부; 및 AF제어신호 발생부를 포함하여 이루어짐을 특징으로 한다.On the other hand, the focusing device for a video projector according to an embodiment of the present invention, the image pickup unit ; Depth difference Calculator ; And AF control signal Characterized in that it comprises a generator .

상기 촬상이미지 생성부는, 비디오 프로젝터(60)로부터 스크린(s) 상에 투사된 투사이미지(i0)를 촬상하여 촬상이미지(i)를 생성하는 부재이다.The captured image generating unit is a member for capturing the projected image i 0 projected on the screen s from the video projector 60 to generate the captured image i.

상기 깊이차 산출부는, 샤프한 기준이미지(i')에 대한 상기 촬상이미지(i)의 블러(Blur) 정도(d)에 대응되는 깊이차를 산출하는 부재이다.The depth difference The calculation unit is a member for calculating a depth difference corresponding to the blur degree d of the captured image i with respect to the sharp reference image i '.

상기 AF제어신호 발생부는, 상기 깊이차로부터 상기 비디오 프로젝터(60)의 AF(오토포커스)제어용 신호(Δz)를 발생시키는 부재이다.The AF control signal The generation unit is a member that generates the AF (autofocus) control signal Δz of the video projector 60 from the depth difference.

<저장매체에 저장된 프로그램><Program saved in storage media>

한편, 본 발명의 일실시예에 따른 정보처리기기로 읽을 수 있는 저장매체에 저장된 프로그램은, 상기에 기재된 비디오 프로젝터용 포커싱방법의 각 단계를 정보처리기기에 수행시키기 위한 프로그램이 정보처리기기로 읽을 수 있는 저장매체에 저장된 프로그램이다. 상기 정보처리기기는, 컴퓨터에 한하지 않고, 디지털 또는 아날로그로 정보를 처리하여 정해진 처리를 수행하는 현재 및 가까운 미래의 모든 기기들을 포함한다.On the other hand, a program stored in a storage medium that can be read by the information processing device according to an embodiment of the present invention, a program for performing the steps of the video projector focusing method described above to the information processing device is read by the information processing device. A program stored on a storage medium. The information processing device is not limited to a computer, but includes all current and near future devices that process information by digital or analog and perform a predetermined process.

이상, 바람직한 실시예에 기하여 본 발명을 설명하였으나, 본 발명은 이러한 실시예에 의해 제한되는 것은 아니고, 첨부된 청구범위에 기재된 기술적 사상의 범위 내에서 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 이루어진 개량, 변경, 변형은 모두, 본 발명의 범위에 속하는 것으로 해석되어야 한다. 예컨대, 상기 실시예에서는 깊이차로부터 제어신호를 발생시키거나, 깊이로부터 제어신호를 발생시키도록 구성되어 있지만, 이에 한하지 않고, 깊이차를 이용하여 실제깊이를 산출하고, 그 값에 경험비율을 적용하여 제어신호를 발생시켜도 좋다.As mentioned above, although this invention was demonstrated based on the preferable embodiment, this invention is not limited by these Examples, The present invention is not limited by these Examples, and has the common knowledge in the technical field to which this invention belongs. Improvements, changes, and modifications made by rulers should all be construed as falling within the scope of the present invention. For example, in the above embodiment, the control signal is generated from the depth difference, or the control signal is generated from the depth. However, the present invention is not limited thereto, and the actual depth is calculated using the depth difference, and the experience ratio is set to the value. May be applied to generate a control signal.

본 발명은, 비디오 프로젝터용 포커싱방법, 장치 및 저장매체에 저장된 프로그램에 이용될 수 있다.The invention can be used in a focusing method, apparatus and program stored in a storage medium for a video projector.

10: 정보추출장치
11: 이중조리개 단일렌즈 4컬러 카메라
12: 깊이이미지 산출수단
20: RGB이미지
21: 녹화부
30: IR이미지
40: 깊이이미지(깊이맵)
50: 포커싱장치
51: 평균깊이 산출부
52: 최소 블러 판단부
53: 신규 AF제어신호 산출부
60: 비디오 프로젝터
i0: 투사이미지
i: 촬상이미지
s: 스크린
re: 우측단
le: 좌측단
h: 프레젠테이션 이용자
10: information extraction device
11: Dual Iris Single Lens 4-Color Camera
12: depth image calculation means
20: RGB image
21: recording unit
30: IR image
40: depth image (depth map)
50: focusing device
51: average depth calculation unit
52: minimum blur determination unit
53: new AF control signal calculation unit
60: video projector
i 0 : Projection image
i: Captured image
s: screen
re: right edge
le: left edge
h: presentation audience

Claims (11)

비디오 프로젝터용 포커싱방법으로서,
비디오 프로젝터로부터 스크린 상에 투사된, 사람이 눈으로 인식하는 것과 동일한 이미지로서, 블러 정도 추출의 대상이 되는 투사이미지를 촬상하여 촬상이미지를 생성하는 촬상이미지 생성단계;
샤프한 기준이미지에 대한 상기 촬상이미지의 블러(Blur) 정도를 산출하는 블러 정도 산출단계; 및
상기 블러 정도로부터 상기 비디오 프로젝터의 AF(오토포커스)제어용 신호를 발생시키는 AF제어신호 발생단계
를 포함하여 이루어짐을 특징으로 하는 비디오 프로젝터용 포커싱방법.
As a focusing method for a video projector,
A captured image generation step of generating a captured image by capturing a projected image which is the object of blur degree extraction, which is the same image recognized by the human eye, projected on a screen from a video projector;
A blur degree calculating step of calculating a blur degree of the captured image with respect to a sharp reference image; And
AF control signal generation step of generating a signal for AF (autofocus) control of the video projector from the blur degree
Focusing method for a video projector comprising a.
청구항 1에 있어서,
상기 촬상이미지는,
하나의 촬상장치에 의해 동일 각도로 상기 투사이미지가 촬상되어, 동시에 획득되는 가시광선의 RGB이미지와 적외선의 IR이미지
상기 RGB이미지와 IR이미지로부터 산출되는 깊이이미지
로 이루어짐을 특징으로 하는 비디오 프로젝터용 포커싱방법.
The method according to claim 1,
The captured image,
The projection image is imaged at the same angle by one imaging device, so that an RGB image of visible light and an IR image of infrared light are simultaneously obtained.
Depth image calculated from the RGB image and IR image
Focusing method for a video projector, characterized in that consisting of.
청구항 2에 있어서,
상기 블러 정도는, 상기 기준이미지에 대한 상기 RGB이미지의 상기 블러 정도에 따라 출력되는 상기 깊이이미지의 PSF 인덱스값의 차에 근거하여 산출됨
을 특징으로 하는 비디오 프로젝터용 포커싱방법.
The method according to claim 2,
The blur degree is calculated based on a difference between PSF index values of the depth image output according to the blur degree of the RGB image with respect to the reference image.
Focusing method for a video projector, characterized in that.
청구항 3에 있어서,
상기 PSF 인덱스값은 픽셀 수로 표현되고,
상기 RGB이미지의 블러 부분의 픽셀 수에 의해 상기 블러 정도가 산출됨
을 특징으로 하는 비디오 프로젝터용 포커싱방법.
The method according to claim 3,
The PSF index value is represented by the number of pixels ,
The blur degree is calculated by the number of pixels of the blur portion of the RGB image.
Focusing method for a video projector, characterized in that.
청구항 1에 있어서,
상기 블러 정도 산출단계는,
상기 촬상이미지로부터 평균깊이가 산출되는 평균깊이 산출단계; 및
상기 평균깊이로부터 대응되는 블러 정도가 환산되는 블러정도 환산단계
를 포함하여 이루어짐을 특징으로 하는 비디오 프로젝터용 포커싱방법.
The method according to claim 1,
The blur degree calculation step,
An average depth calculating step of calculating an average depth from the captured image; And
Blur degree conversion step of converting the corresponding degree of blur from the average depth
Focusing method for a video projector comprising a.
청구항 1에 있어서,
상기 AF제어신호 발생단계는, 상기 블러 정도가 최소인지 판정하여, 최소인 경우에는 처리를 종료하고, 최소가 아닌 경우에는 블러 정도를 감소시키도록 하는 AF제어용 신호값을 산출함
을 특징으로 하는 비디오 프로젝터용 포커싱방법.
The method according to claim 1,
In the AF control signal generating step, it is determined whether the blur degree is minimum, and if it is minimum, the processing is terminated, and if it is not the minimum, the AF control signal value is calculated so as to reduce the blur degree.
Focusing method for a video projector, characterized in that.
비디오 프로젝터용 포커싱방법으로서,
비디오 프로젝터로부터 스크린 상에 투사된, 사람이 눈으로 인식하는 것과 동일한 이미지로서, 블러 정도 추출의 대상이 되는 투사이미지를 촬상하여 촬상이미지를 생성하는 촬상이미지 생성단계;
상기 촬상이미지의 블러 정도에 대응되는 피사체까지의 깊이를 산출하는 깊이 산출단계; 및
상기 깊이로부터 상기 비디오 프로젝터의 AF제어용 신호를 발생시키는 AF제어신호 산출단계
를 포함하여 이루어짐을 특징으로 하는 비디오 프로젝터용 포커싱방법.
As a focusing method for a video projector,
A captured image generating step of generating a captured image by capturing a projected image which is the object of blur degree extraction, which is the same image recognized by the human eye, projected on a screen from a video projector;
A depth calculation step of calculating a depth to a subject corresponding to a blur degree of the captured image; And
AF control signal calculating step of generating an AF control signal of the video projector from the depth
Focusing method for a video projector comprising a.
청구항 7에 있어서,
상기 깊이에 대응되는 상기 AF제어용 신호는, 상기 깊이와 실제 모터의 구동을 위한 변위거리, AF제어용 신호 사이의 비율을 이용하여 산출됨
을 특징으로 하는 비디오 프로젝터용 포커싱방법.
The method according to claim 7,
The AF control signal corresponding to the depth is calculated using the ratio between the depth, the displacement distance for driving the actual motor, and the AF control signal.
Focusing method for a video projector, characterized in that.
청구항 1 또는 청구항 7에 있어서,
상기 촬상이미지 또는 상기 촬상이미지를 포함하는 프레젠테이션 동영상은 녹화
을 특징으로 하는 비디오 프로젝터용 포커싱방법.
The method according to claim 1 or 7,
The captured image or the presentation video including the captured image is recorded .
Focusing method for a video projector, characterized in that.
비디오 프로젝터용 포커싱장치로서,
비디오 프로젝터로부터 스크린 상에 투사된, 사람이 눈으로 인식하는 것과 동일한 이미지로서, 블러 정도 추출의 대상이 되는 투사이미지를 촬상하여 촬상이미지를 생성하는 촬상이미지 생성부;
샤프한 기준이미지에 대한 상기 촬상이미지의 블러(Blur) 정도를 산출하는 블러 정도 산출부; 및
상기 블러 정도로부터 상기 비디오 프로젝터의 AF(오토포커스)제어용 신호를 발생시키는 AF제어신호 발생부
를 포함하여 이루어짐을 특징으로 하는 비디오 프로젝터용 포커싱장치.
A focusing device for a video projector,
A captured image generation unit projecting a projection image on which a blur degree is to be extracted, which is the same image recognized by the human eye as projected on a screen from a video projector to generate a captured image ;
A blur degree calculator configured to calculate a blur degree of the captured image with respect to a sharp reference image; And
AF control signal generator for generating a signal for AF (autofocus) control of the video projector from the blur degree
Focusing device for a video projector comprising a.
정보처리기기로 읽을 수 있는 저장매체에 저장된 프로그램으로서,
청구항 1 내지 청구항 8 중 어느 하나에 기재된 방법의 각 단계를 정보처리기기에 수행시키기 위한 프로그램이 정보처리기기로 읽을 수 있는 저장매체에 저장된 프로그램.
A program stored in a storage medium that can be read by an information processing device.
A program stored in a storage medium that can be read by the information processing device by a program for performing each step of the method according to any one of claims 1 to 8.
KR1020170176056A 2017-12-20 2017-12-20 Method, apparatus and program stored in storage medium for focusing for video projector KR102061087B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170176056A KR102061087B1 (en) 2017-12-20 2017-12-20 Method, apparatus and program stored in storage medium for focusing for video projector

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170176056A KR102061087B1 (en) 2017-12-20 2017-12-20 Method, apparatus and program stored in storage medium for focusing for video projector

Publications (2)

Publication Number Publication Date
KR20190074585A KR20190074585A (en) 2019-06-28
KR102061087B1 true KR102061087B1 (en) 2019-12-30

Family

ID=67065739

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170176056A KR102061087B1 (en) 2017-12-20 2017-12-20 Method, apparatus and program stored in storage medium for focusing for video projector

Country Status (1)

Country Link
KR (1) KR102061087B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7125561B2 (en) * 2019-07-26 2022-08-24 富士フイルム株式会社 Control device, projection system, control method, control program

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150022697A1 (en) * 2013-07-16 2015-01-22 Texas Instruments Incorporated Projector Auto-Focus Correction with the Aid of a Camera
KR101681199B1 (en) * 2015-06-03 2016-12-01 (주)이더블유비엠 Multi-color sensor based, method and apparatus for extraction of depth information from image using high-speed convolution

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0129657B1 (en) 1994-04-19 1998-04-09 배순훈 A brake fixed flame of a washign machine

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150022697A1 (en) * 2013-07-16 2015-01-22 Texas Instruments Incorporated Projector Auto-Focus Correction with the Aid of a Camera
KR101681199B1 (en) * 2015-06-03 2016-12-01 (주)이더블유비엠 Multi-color sensor based, method and apparatus for extraction of depth information from image using high-speed convolution

Also Published As

Publication number Publication date
KR20190074585A (en) 2019-06-28

Similar Documents

Publication Publication Date Title
US9998650B2 (en) Image processing apparatus and image pickup apparatus for adding blur in an image according to depth map
US9832432B2 (en) Control apparatus, image pickup apparatus, control method, and non-transitory computer-readable storage medium
US8754963B2 (en) Processing images having different focus
JP5868183B2 (en) Imaging apparatus and imaging method
CN109255810B (en) Image processing apparatus and image processing method
US20070189750A1 (en) Method of and apparatus for simultaneously capturing and generating multiple blurred images
US9619886B2 (en) Image processing apparatus, imaging apparatus, image processing method and program
US9485407B2 (en) Method of capturing images and obtaining information of the images
EP3002940A1 (en) Imaging apparatus and imaging method
US20120182448A1 (en) Distance estimation systems and method based on a two-state auto-focus lens
JP6395429B2 (en) Image processing apparatus, control method thereof, and storage medium
US10999491B2 (en) Control apparatus, image capturing apparatus, control method, and storage medium
KR102061087B1 (en) Method, apparatus and program stored in storage medium for focusing for video projector
JP6645711B2 (en) Image processing apparatus, image processing method, and program
JP5900049B2 (en) Depth of field expansion system and depth of field expansion method
JP2018074362A (en) Image processing apparatus, image processing method, and program
JP4085720B2 (en) Digital camera
Srivastava et al. Design and implementation of a real-time autofocus algorithm for thermal imagers
JPH07209576A (en) Optical detecting device and focus control unit
KR102191747B1 (en) Distance measurement device and method
US20220392155A1 (en) Image processing device, imaging apparatus, image processing method, and recording medium
JP2018050147A (en) Imaging apparatus, imaging method and program
JP6900228B2 (en) Imaging device, imaging system, imaging device control method, and program
JP6608238B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program
JP5679718B2 (en) Imaging device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant