KR20190074585A - Method, apparatus and program stored in storage medium for focusing for video projector - Google Patents

Method, apparatus and program stored in storage medium for focusing for video projector Download PDF

Info

Publication number
KR20190074585A
KR20190074585A KR1020170176056A KR20170176056A KR20190074585A KR 20190074585 A KR20190074585 A KR 20190074585A KR 1020170176056 A KR1020170176056 A KR 1020170176056A KR 20170176056 A KR20170176056 A KR 20170176056A KR 20190074585 A KR20190074585 A KR 20190074585A
Authority
KR
South Korea
Prior art keywords
image
depth
focusing
blur
video projector
Prior art date
Application number
KR1020170176056A
Other languages
Korean (ko)
Other versions
KR102061087B1 (en
Inventor
이경택
곽동섭
정재호
Original Assignee
(주)이더블유비엠
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)이더블유비엠 filed Critical (주)이더블유비엠
Priority to KR1020170176056A priority Critical patent/KR102061087B1/en
Publication of KR20190074585A publication Critical patent/KR20190074585A/en
Application granted granted Critical
Publication of KR102061087B1 publication Critical patent/KR102061087B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/317Convergence or focusing systems
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/53Means for automatic focusing, e.g. to compensate thermal effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence

Abstract

A method for focusing for a video projector comprises: a photographed image generating step of photographing a projection image projected on a screen from a video projector to generate a photographed image; a depth difference calculating step of calculating a depth difference corresponding to a blur degree of the photographed image with respect to a sharp reference image; and an autofocus (AF) control signal generating step of generating a signal for AF control of the video projector from the depth difference.

Description

비디오 프로젝터용 포커싱방법, 장치 및 저장매체에 저장된 프로그램 {METHOD, APPARATUS AND PROGRAM STORED IN STORAGE MEDIUM FOR FOCUSING FOR VIDEO PROJECTOR}METHOD, APPARATUS AND PROGRAM STORED IN STORAGE MEDIUM FOR FOCUSING FOR VIDEO PROJECTOR,

본 발명은, 비디오 프로젝터용 포커싱방법, 장치 및 저장매체에 저장된 프로그램에 관한 것으로서, 보다 상세히는, 비디오 프로젝터로부터 스크린에 투사된 이미지(영상)의 블러(blur; 흐림) 정도에 따라 비디오 프로젝터의 포커싱 모듈에 포커싱 보정을 위한 AF제어용 신호를 출력하는, 비디오 프로젝터용 포커싱방법, 장치 및 저장매체에 저장된 프로그램에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a focusing method for a video projector, an apparatus, and a program stored in a storage medium, and more particularly to a method and apparatus for focusing a video projector according to the degree of blur (blur) And a program stored in a storage medium, the focusing method for a video projector for outputting an AF control signal for focusing correction to a module.

일반적으로 스크린에 이미지를 투사하는 비디오 프로젝터에 있어서, 스크린과 비디오 프로젝터 사이의 거리는 변동될 수 있고, 이 거리에 따라 투사되는 이미지의 포커스를 맞춰야 할 필요가 있다.Generally, in a video projector that projects an image on a screen, the distance between the screen and the video projector may vary, and it may be necessary to focus the projected image according to this distance.

종래에는 특허문헌에 개시된 바와 같이, 액정 프로젝터에 있어서, 프로젝터와 화면간의 거리와 화면의 크기에 따라 자동으로 포커싱이 이루어지도록 하는 액정 프로젝터의 오토포커싱 회로로서, 액정프로젝터와 스크린과의 거리를 감지하는 거리감지수단과; 상기 거리감지수단에서 감지된 거리에 따른 포커스제어신호를 출력하는 마이컴과; 상기 마이컴에서 출력되는 포커스제어신호에 따라 포커싱모터를 구동시키는 모터구동부와; 상기 포커싱모터의 동작에 따라 포커스조절렌즈를 전진 또는 후진시켜 상기 스크린에 투사된 화상의 포커스를 조절하는 렌즈이동부를 포함하여 구성되는 기술이 개시되어 있다.Conventionally, as disclosed in the patent document, an autofocusing circuit of a liquid crystal projector that automatically focuses according to the distance between a projector and a screen and the size of a screen in a liquid crystal projector, Distance sensing means; A microcomputer for outputting a focus control signal according to the distance sensed by the distance sensing means; A motor driving unit for driving the focusing motor according to a focus control signal output from the microcomputer; And a lens moving unit for moving the focus adjusting lens forward or backward according to the operation of the focusing motor to adjust the focus of the image projected on the screen.

등록실용신안 제129657호 공보Registration Practical Utility Model No. 129657

그런데, 상기 특허문헌 기술에서는, 거리에 따라 포커싱을 하도록 구성되어 있지만, 스크린 상의 이미지 크기를 변경하는 경우에 포커싱도 함께 변화되는 경우가 있다. 이런 경우에는, 거리만으로 포커싱을 맞출 수는 없고, 크기가 변화됨에 따라서 다시 포커싱을 맞춰야 하는 번거로움이 발생한다는 문제가 있다.However, in the above-described patent document, although focusing is performed according to the distance, there are cases where the focusing is also changed when the image size on the screen is changed. In such a case, focusing can not be achieved only by the distance, and there is a problem that it is troublesome to focus again according to the size change.

또한, 상기 특허문헌 기술에서는, 마이컴이 프로젝터와 스크린과의 거리에 따라 포커스제어신호를 출력하도록 되어 있으나, 실제로는 거리의 측정을 위한 구체적 수단에 대해서는 아무런 개시가 없다. 게다가, 공지의 거리측정방법들이 반드시 비디오 프로젝터의 사용환경에서 항상 정확한 거리값을 산출할 수 있다고 할 수는 없다. In addition, in the above-mentioned patent document, the microcomputer outputs the focus control signal according to the distance between the projector and the screen, but actually there is no disclosure about the concrete means for measuring the distance. In addition, known distance measuring methods can not always be used to calculate accurate distance values in a video projector environment.

예컨대 초음파방식은, 초음파를 스크린에 쏘아 되돌아오는 파의 시간차를 측정하여, 스크린까지의 거리를 알아내는 방식이다. 이는, 초점을 계산된 거리에 자동으로 맞추는 방식이다. 그런데, 이 방식은, 초음파 액추에이터와 반사파를 잡는 센서가 필요하게 된다. 그리고, 초음파거리계는 공장이나 자동차도로와 같은 소음환경에서는 정확도가 현저히 떨어지게 된다.For example, the ultrasonic method is a method of measuring the time difference of a wave coming back from the ultrasonic wave to the screen and determining the distance to the screen. This is how the focus is automatically adjusted to the calculated distance. However, in this method, an ultrasonic actuator and a sensor for capturing a reflected wave are required. In addition, ultrasonic distance meters are significantly less accurate in noise environments such as factories and motorways.

또한, TOF방식은, 적외선을 스크린에 쏘아 되돌아오는 적외선의 시간차를 측정하여, 거리를 알아내는 방식이다. 이는, 초음파 방식과 유사하다. 그런데, 이 방식도, IR 이미터(emitter)와 IR 카메라 센서가 필요하다. 그리고 아침, 저녁과 같이 적외선의 영향이 많은 시간대나 화산 부근과 같이 주변환경 적외선이 많은 곳에서는, 그 정확도가 현저히 저하된다.In addition, the TOF method is a method of measuring the time difference of the infrared ray by returning the infrared ray to the screen and determining the distance. This is similar to the ultrasonic method. However, this method also requires an IR emitter and IR camera sensor. In places where there are many infra-red influences such as morning and evening, or in the vicinity of a volcano, etc., the accuracy is significantly lowered.

마찬가지로, 레이저거리계는, 예컨대 태양광 아래와 같이 강렬한 빛 환경에서 정확도가 현저히 떨어지게 된다.Likewise, the laser rangefinder is significantly less accurate in intense light environments, such as sunlight.

이러한 광파나 음파 등의 파의 방사 후 그 반사파를 받아서 거리를 산출하는 방식은 모두, 그 주변환경으로부터의 노이즈에 의한 외란의 영향으로 그 정확도가 저하되는 것이다. 따라서, 반사파에 의한 거리측정과 상이한 방식의 거리측정 메커니즘이 요구된다는 과제가 있다.The method of calculating the distance by receiving the reflected wave after the emission of the wave such as the light wave or the sound wave is reduced in accuracy due to the influence of the disturbance due to the noise from the surrounding environment. Therefore, there is a problem that a distance measurement by a reflected wave and a distance measurement mechanism of a different method are required.

본 발명은 상기와 같은 종래기술의 문제점을 해소하기 위해 제안되는 것으로서, 스크린에 투사되는 이미지 크기를 사용자가 자유로이 변경하더라도, 그 이미지 크기의 대소에 상관없이 자동으로 비디오 프로젝터에 의한 스크린 상의 이미지의 포커스를 맞출 수 있는, 비디오 프로젝터용 포커싱방법, 장치 및 저장매체에 저장된 프로그램을 제공하고자 하는 것이다.SUMMARY OF THE INVENTION The present invention has been proposed in order to solve the problems of the related art as described above and it is an object of the present invention to provide an image processing apparatus and a method for automatically changing a size of an image on a screen, And a program stored in a storage medium.

그리고, 비디오 프로젝터로부터 스크린에 투사된 이미지를 입력받아, 스크린까지의 거리가 아니라, 그 이미지의 깊이정보로 표현되는 블러(blur) 정도로부터, 포커싱 보정을 위한 AF제어용 신호를 생성하여, 이를 비디오 프로젝터의 포커싱 모듈에 출력함으로써, 비디오 프로젝터가 포커싱할 수 있도록 하는 비디오 프로젝터용 포커싱방법, 장치 및 저장매체에 저장된 프로그램을 제공하고자 하는 것이다.Then, an image projected on the screen is input from the video projector, and a signal for AF control for focusing correction is generated from a blur degree represented by depth information of the image, not the distance to the screen, To a focusing module for a video projector by which a video projector can focus, thereby providing a program stored in a storage medium.

그리고, 주변환경의 영향을 적게 받고, 특히 소음과 저조도 환경에 강인한 깊이이미지(깊이맵) 산출기능을 이용하여, 깊이이미지의 깊이정보로부터 환산되는 블러 정도가 최소가 되도록 하여, 가장 샤프한 포커스를 맞출 수 있는 비디오 프로젝터용 포커싱방법, 장치 및 저장매체에 저장된 프로그램을 제공하고자 하는 것이다.By using the depth image (depth map) calculation function which is less influenced by the surrounding environment and is particularly resistant to noise and low-light conditions, the degree of blur converted from the depth information of the depth image is minimized, And a program stored in a storage medium.

상기 과제를 달성하기 위한 본 발명의 일실시예에 따른 비디오 프로젝터용 포커싱방법은, 비디오 프로젝터로부터 스크린 상에 투사된 투사이미지를 촬상하여 촬상이미지를 생성하는 촬상이미지 생성단계; 샤프한 기준이미지에 대한 상기 촬상이미지의 블러(Blur) 정도에 대응되는 깊이차를 산출하는 깊이차 산출단계; 및 상기 깊이차로부터 상기 비디오 프로젝터의 AF(오토포커스)제어용 신호를 발생시키는 AF제어신호 발생단계를 포함하여 이루어짐을 특징으로 한다.According to an aspect of the present invention, there is provided a focusing method for a video projector, comprising: a captured image generating step of capturing a projection image projected on a screen from a video projector to generate a captured image ; A depth difference calculating step of calculating a depth difference corresponding to a degree of blur of the sensed image with respect to a sharp reference image; And an AF control signal generating step of generating an AF (autofocus) control signal of the video projector from the depth difference.

여기서, 상기 촬상이미지는, 하나의 촬상장치에 의해 동일 각도로 상기 투사이미지가 촬상되어, 동시에 획득되는 가시광선의 RGB이미지와 적외선의 IR이미지 및 상기 RGB이미지와 IR이미지로부터 산출되는 깊이이미지로 이루어짐이 바람직하다.Here, the captured image is composed of an RGB image of a visible light ray, an IR image of infrared rays, and a depth image calculated from the RGB image and the IR image, which are captured at the same angle by one imaging device at the same angle desirable.

그리고, 상기 깊이차는, 상기 기준이미지에 대한 상기 RGB이미지의 상기 블러 정도에 따라 출력되는 상기 깊이이미지의 PSF 인덱스값의 차에 근거하여 산출됨이 바람직하다.The depth difference is calculated by dividing the PSF of the depth image output according to the degree of blur of the RGB image with respect to the reference image It is preferable to calculate it based on the difference of the index values .

여기서, 상기 PSF 인덱스값은 픽셀 수로 표현되고, 상기 RGB이미지의 블러 부분의 픽셀 수에 의해 상기 블러 정도가 산출됨이 바람직하다.Here, it is the PSF index value is preferably being expressed in number of pixels and, by the number of pixels of a blurred portion of the RGB image is the blur degree calculation.

그리고 상기 깊이차 산출단계는, 상기 촬상이미지로부터 평균깊이가 산출되는 평균깊이 산출단계; 및 상기 평균깊이로부터 대응되는 블러 정도가 환산되는 블러정도 환산단계를 포함하여 이루어짐이 바람직하다.The depth difference calculating step may include: an average depth calculating step of calculating an average depth from the captured image; And this is preferred yirueojim including the step in terms of the blur degree of blur degree corresponding to an average depth from the conversion.

그리고 상기 AF제어신호 발생단계는, 상기 블러정도가 최소인지 판정하여, 최소인 경우에는 처리를 종료하고, 최소가 아닌 경우에는 블러정도를 감소시키도록 하는 AF제어용 신호값을 산출함이 바람직하다.Preferably, the AF control signal generating step calculates the AF control signal value so as to determine whether the degree of blur is the minimum, terminate the processing when the minimum level is the minimum level, and reduce the level of blur if the minimum level is not the minimum level.

한편, 다른 실시예에 의한 비디오 프로젝터용 포커싱방법은, 비디오 프로젝터로부터 스크린 상에 투사된 투사이미지를 촬상하여 촬상이미지를 생성하는 촬상이미지 생성단계; 상기 촬상이미지의 블러 정도에 대응되는 피사체까지의 깊이를 산출하는 깊이 산출단계; 및 상기 깊이로부터 상기 비디오 프로젝터의 AF제어용 신호를 발생시키는 AF제어신호 산출단계를 포함하여 이루어짐을 특징으로 한다.On the other hand, a focusing method for a video projector according to another embodiment includes a captured image generating step of capturing a projection image projected on a screen from a video projector to generate a captured image ; A depth calculating step of calculating a depth up to a subject corresponding to a degree of blur of the sensed image; And an AF control signal calculation step of generating an AF control signal of the video projector from the depth.

여기서, 상기 깊이에 대응되는 상기 AF제어용 신호는, 상기 깊이와 실제 모터의 구동을 위한 변위거리, AF제어용 신호 사이의 비율인 실험 경험치를 이용하여 산출됨이 바람직하다.Here, it is preferable that the AF control signal corresponding to the depth is calculated by using an experiential experiential value which is a ratio between the depth and a displacement distance for driving the actual motor, and an AF control signal.

그리고 상기 촬상이미지 또는 상기 촬상이미지를 포함하는 프레젠테이션 동영상은 녹화됨이 바람직하다.And the presentation image including the captured image or the captured image is recorded .

한편, 상기 과제를 달성하기 위한 본 발명의 일실시예에 따른 비디오 프로젝터용 포커싱장치는, 비디오 프로젝터로부터 스크린 상에 투사된 투사이미지를 촬상하여 촬상이미지를 생성하는 촬상이미지 생성부; 샤프한 기준이미지에 대한 상기 촬상이미지의 블러(Blur) 정도에 대응되는 깊이차를 산출하는 깊이차 산출부; 및 상기 깊이차로부터 상기 비디오 프로젝터의 AF(오토포커스)제어용 신호를 발생시키는 AF제어신호 생부를 포함하여 이루어짐을 특징으로 한다.According to another aspect of the present invention, there is provided a focusing apparatus for a video projector, comprising: a captured image generating unit for capturing a projection image projected on a screen from a video projector to generate a captured image ; Calculating a depth difference corresponding to a degree of blur of the sensed image with respect to a sharp reference image, A calculating unit ; And an AF control signal for generating an AF (autofocus) control signal of the video projector from the depth difference And a biological part .

그리고, 상기 과제를 달성하기 위한 본 발명의 일실시예에 따른 정보처리기기로 읽을 수 있는 저장매체에 저장된 프로그램은, 상기에 기재된 방법의 각 단계를 정보처리기기에 수행시키기 위한 프로그램이 정보처리기기로 읽을 수 있는 저장매체에 저장된 프로그램임을 특징으로 한다.According to another aspect of the present invention, there is provided a program stored in a storage medium readable by an information processing device, the program causing the information processing device to perform the steps of the above- The program being stored in a storage medium readable by the computer.

본 발명에 의하면, 스크린에 투사되는 이미지 크기를 사용자가 자유로이 변경하더라도, 그 이미지 크기의 대소에 상관없이 자동으로 비디오 프로젝터에 의한 스크린 상의 이미지의 포커스를 맞출 수 있는, 비디오 프로젝터용 포커싱방법, 장치 및 저장매체에 저장된 프로그램을 제공하고자 하는 것이다.According to the present invention, it is possible to automatically focus the image on the screen by the video projector regardless of the size of the image even if the user freely changes the size of the image projected on the screen. And to provide a program stored in a storage medium.

그리고, 비디오 프로젝터로부터 스크린에 투사된 이미지를 입력받아, 스크린까지의 거리가 아니라, 그 이미지의 깊이정보로 표현되는 블러(blur) 정도로부터, 포커싱 보정을 위한 AF제어용 신호를 생성하여, 이를 비디오 프로젝터의 포커싱 모듈에 출력함으로써, 비디오 프로젝터가 포커싱할 수 있도록 하는 비디오 프로젝터용 포커싱방법, 장치 및 저장매체에 저장된 프로그램을 제공하고자 하는 것이다.Then, an image projected on the screen is input from the video projector, and a signal for AF control for focusing correction is generated from a blur degree represented by depth information of the image, not the distance to the screen, To a focusing module for a video projector by which a video projector can focus, thereby providing a program stored in a storage medium.

그리고, 주변환경의 영향을 적게 받고, 특히 소음과 저조도 환경에 강인한 깊이이미지(깊이맵) 산출기능을 이용하여, 깊이이미지의 깊이정보로부터 환산되는 블러 정도가 최소가 되도록 하여, 가장 샤프한 포커스를 맞출 수 있는 비디오 프로젝터용 포커싱방법, 장치 및 저장매체에 저장된 프로그램을 제공하고자 하는 것이다.By using the depth image (depth map) calculation function which is less influenced by the surrounding environment and is particularly resistant to noise and low-light conditions, the degree of blur converted from the depth information of the depth image is minimized, And a program stored in a storage medium.

도 1은, 본 발명의 일실시예에 따른 정보추출장치, 예컨대 DR1152를 이용한 비디오 프로젝터의 오토포커스와 비디오 녹화기능 구현을 위한 개략 블럭 플로우차트이다.
도 2는, 일반적인 비디오 프로젝터와 그 스크린, 그리고 본 발명의 정보추출장치, 예컨대 DR1152로 캡처한 RGB이미지, IR이미지 및 깊이이미지의 예시 사진이다.
도 3은, 블러(Blur) RGB이미지와 그 해당 깊이이미지, 그리고 샤프 RGB이미지와 그 해당 깊이이미지의 예시 사진이다.
도 4는, 블러 정도차를 이용하여 AF제어용 신호를 산출하는 개념을 나타내는 예시 그래프이다.
도 5는, 블러 정도(size)에서 실제 거리를 산출하는 공식과 개념을 나타내는 도면이다.
도 6은, 본 발명의 일실시예에 따른 오토포커스와 비디오 녹화기능의 블럭 플로우차트이다.
도 7은, 본 발명의 일실시예에 따른 정보추출장치, 비디오 프로젝터, 스크린, 사용자 및 투사이미지의 평면 모식 배치도이다.
FIG. 1 is a schematic block flow chart for implementing an autofocus and video recording function of a video projector using an information extraction device, for example, DR 1152, according to an embodiment of the present invention.
2 is an exemplary photograph of an RGB image, IR image, and depth image captured by a general video projector and its screen, and the information extraction device of the present invention, e.g., DR1152.
3 is an exemplary photograph of a Blur RGB image and its corresponding depth image, and a Sharp RGB image and its corresponding depth image.
4 is an exemplary graph showing the concept of calculating an AF control signal using the blur degree difference.
5 is a diagram showing a formula and a concept for calculating an actual distance in a blur magnitude (size).
6 is a block flow chart of an autofocus and video recording function according to an embodiment of the present invention.
7 is a plan schematic layout of an information extracting apparatus, a video projector, a screen, a user, and a projection image according to an embodiment of the present invention.

이하, 본 발명에 대해 첨부도면을 참조하면서 구체적 실시예를 따라서 상세히 설명한다. 다만, 동일 구성에 의해 동일 기능을 가지는 부분은, 도면이 달라지더라도 동일 부호를 유지함으로써, 그 상세한 설명을 생략하는 경우가 있다. 그리고 하나의 단계나 모듈은, 2 이상의 단계나 모듈로 분리되어 구현될 수 있고, 역으로, 2 이상의 단계나 모듈은, 하나의 단계나 모듈로 병합되어 구현될 수 있다. 그리고 방법을 수행하는 장치는, 하드웨어와 고정 형성된 회로에 의해 구현되어도 좋고, 하드웨어에 설치된 프로그램에 의해 가변적으로 변화 가능한 회로에 의해 구현되어도 좋다. 그리고 녹화의 대상이 되는 이미지로서, 이하의 설명에서는 RGB이미지를 들어서 설명하지만, IR이미지에도 동일하게 적용될 수 있다.Hereinafter, the present invention will be described in detail with reference to specific embodiments thereof with reference to the accompanying drawings. However, portions having the same function due to the same configuration are denoted by the same reference numerals even if they are different from each other, and detailed description thereof may be omitted. And one step or module may be implemented as two or more steps or modules, and conversely, two or more steps or modules may be merged into one step or module. The apparatus for performing the method may be implemented by hardware and a fixedly formed circuit, or may be implemented by a circuit that can be variably changed by a program installed in the hardware. As an image to be recorded, an RGB image is described in the following description, but the same applies to an IR image.

<기본구성><Basic Configuration>

본 발명의 일실시예에 따른 비디오 프로젝터용 포커싱방법은, 촬상이미지 생성단계(10~40); 깊이차 산출단계(51); 및 AF제어신호 발생단계(52, 53)를 포함하여 이루어짐을 특징으로 한다.A focusing method for a video projector according to an embodiment of the present invention includes: an imaging image generating step (10 to 40) ; A depth difference calculation step 51 ; And an AF control signal generating step (52, 53) .

도 2는, 전체적인 시스템 구성을 보여준다. 일반적인 비디오 프로젝터(60)와 스크린(s)이 있고, 그와는 독립적으로 정보추출장치(10), 예컨대 DR1152 카메라 시스템을 설치하였다. 그리고 비디오 프로젝터(60)의 투사이미지를 정보추출장치(10)가 잡은 후, 그 출력인 촬상이미지(i), 즉 RGB이미지(20), IR이미지(30) 및 깊이이미지(40)를 별도의 모니터에 보여준다.Fig. 2 shows the overall system configuration. There is a general video projector 60 and screen s, and an information extraction device 10, for example a DR1152 camera system, is installed independently of it. The RGB image 20, the IR image 30, and the depth image 40, which are the output of the information extracting apparatus 10, Show on monitor.

상기 촬상이미지 생성단계(10~40)는, 비디오 프로젝터(VP, 60)로부터 스크린(s) 상에 투사된 투사이미지(i0)를 촬상하여 촬상이미지(i)를 생성하는 단계이다.The captured image generating step (10 to 40) is a step of capturing a projected image (i 0 ) projected on a screen (s) from a video projector (VP) 60 to generate a captured image (i).

도 3은, 스크린 상의 투사이미지와 그 대응되는 깊이이미지(깊이맵)을 나타낸다. 도 3의 좌측 이미지는, 상측이 프로젝터(60)의 스크린(s) 상의 블러한 이미지이고, 하측이 정보추출장치(10), 예컨대 DR1152에서 나온 깊이이미지(40)이다. 반면, 도 3의 우측 이미지는, 상측이 프로젝터(60)의 스크린(s) 상의 이미지 중 초점을 맞춘 이미지(샤프 이미지)이고, 하측이 그에 해당하는 정보추출장치(10), DR1152의 깊이미미지(40)이다.Figure 3 shows the projected image on the screen and its corresponding depth image (depth map). 3 is a blurred image on the screen s of the projector 60 on the upper side and a depth image 40 derived from the information extracting apparatus 10, for example, the DR 1152 on the lower side. 3 is an image (sharp image) focused on the screen s of the projector 60. The lower side of the image is the information extracting apparatus 10 corresponding thereto, the depth of the DR1152 (40).

본 발명은, 좌측의 흐린 이미지의 블러 정도를 감지하여, 거리차를 계산한 다음, 보정용 제어신호(Δz)를 만들어, 이를 프로젝터의 AF기능을 하는 모듈에 보내도록 하는 것이다.In the present invention, the degree of blur of a blurred image on the left side is sensed to calculate a distance difference, and then a correction control signal? Z is generated to send it to a module that performs an AF function of the projector.

상기 투사이미지(i0)는 평면의 스크린(s) 상에 빛에 의해 표현된 것이기 때문에, 설사 투사이미지(i0) 상에, 하늘, 산, 자동차, 사람 등 사람에게는 깊이에 따라 원근이 인식되는 대상들이 표현된 경우라 하더라도, 실제 물리적 깊이는 스크린의 표면(s)이 된다. 따라서, 종래 공지기술과 같이 초음파나 적외선, 레이저광선 등으로 반사파에 의해 깊이를 측정하면, 모두 물리적인 스크린(s)의 표면의 깊이만 출력된다. 즉, 이들 초음파나 적외선, 레이저광선 등의 방식에 의하면, 스크린(s)과 비디오 프로젝터(60) 사이의 거리를 알 수 있을 뿐이다.Since the projected image i 0 is expressed by light on the screen s on the plane, the perspective is recognized on the projected image io even if the sky, mountain, automobile, Even if objects are represented, the actual physical depth is the surface (s) of the screen. Therefore, when the depth is measured by the reflected wave with ultrasonic waves, infrared rays, laser beams, etc. as in the conventional art, all the depths of the surface of the physical screen s are output. That is, the distance between the screen s and the video projector 60 can be known only by the method of these ultrasonic waves, the infrared ray, and the laser beam.

그런데, 거리와 포커스의 상관관계에 따른 AF모듈의 작동은, 각 비디오 프로젝터(60)마다 다르다. 이는, 채용된 AF모듈의 구성, 구체적으로는 모터, 렌즈, 케이스 등의 규격이 다르기 때문이다. 따라서, 스크린(s)과 비디오 프로젝터(60) 사이의 거리를 안다고 하더라도, AF모듈의 작동에 이상이 발생되면, 상관관계가 적용되지 않아, 포커싱이 이루어지지 않을 우려가 있다.Incidentally, the operation of the AF module according to the correlation between the distance and the focus differs from one video projector 60 to another. This is because the specifications of the employed AF module, specifically the motor, the lens, the case, and the like are different. Therefore, even if the distance between the screen s and the video projector 60 is known, if an error occurs in the operation of the AF module, the correlation is not applied and the focusing may not be performed.

본 발명에서는, 촬상이미지(i)를 생성하여, 이로부터 포커싱을 수행하기 때문에, 사람이 눈으로 인식하는 것과 동일한 이미지에 의해 포커싱을 행한다는 점에서, 종래 공지기술들과 큰 차이가 있다.In the present invention, there is a large difference from the conventional techniques in that the image is picked up by the image (i) and the focusing is performed therefrom, so that focusing is performed by the same image that the human recognizes with the eye.

상기 깊이차 산출단계는, 샤프한 기준이미지(i')에 대한 상기 촬상이미지(i)의 블러(Blur) 정도(d)에 대응되는 깊이차를 산출하는 단계이다.The step of calculating the depth difference is a step of calculating a depth difference corresponding to a blur degree (d) of the captured image (i) with respect to a sharp reference image (i ').

도 4의 그래프는, 블러 차를 이용하여 AF제어용 신호(Δz)를 산출하는 개념을 나타낸다. 실선은 평균치를, 점선은 표준편차를 나타낸다.The graph of Fig. 4 shows the concept of calculating the AF control signal? Z using the blur difference. The solid line represents the average value, and the dotted line represents the standard deviation.

여기서, 본 발명의 정보추출장치(10), 예컨대 DR1152는, 도 4와 같은 깊이값 커브 특성을 가진다. 이미지의 블러 정도에 따라 출력되는 PSF 인덱스 값(1~121 사이의 값)이 다르게 나온다. 블러 정도가 많을수록 PSF 값이 크게 나온다.Here, the information extracting apparatus 10 of the present invention, for example, DR1152, has a depth value curve characteristic as shown in FIG. PSF index values (values between 1 and 121) are output differently depending on the degree of blur of the image. The higher the blur, the greater the PSF value.

도 4에서는, 화면이 흐린(블러인) 경우의 깊이이미지(깊이맵, 좌측)와 초점이 맞은(샤프한) 경우의 깊이이미지(우측)를 깊이 커브에 나타내 보이고 있다. 두 경우의 PSF 인덱스 값의 차이값이 깊이차(거리차)를 나타낸다.In FIG. 4, a depth image (depth map, left side) when the screen is blurred (blurred) and a depth image (right side) when the image is focused (sharp) is shown in the depth curve. The difference value of the PSF index values in the two cases represents the depth difference (distance difference).

상기 촬상이미지(i)는, 평면이미지이지만 깊이감을 가질 수 있다. 이 깊이감은 촬상이미지(i)의 블러 정도(d)로부터 추출될 수 있다. 즉, 촬상이미지(i) 내의 촬상된 대상물들의 경계선과 블러 정도에 따라, 각 픽셀 단위의 깊이정보가 추출될 수 있다.The captured image (i) is a planar image, but may have a sense of depth. This depth sense can be extracted from the degree of blur (d) of the captured image (i). That is, the depth information of each pixel unit can be extracted according to the boundary line and the degree of blur of the captured objects in the captured image (i).

본 발명에서는, 상기 촬상이미지(i)의 블러 정도(d)에 따른 깊이정보와, 기준이 되는 샤프한 기준이미지(i')의 깊이정보로부터 깊이차를 산출한다. 샤프한 기준이미지(i')는, 포커스가 맞은 상태의 이미지이고, 이는 미리 저장되어 있는 이미지여도 좋고, 촬상이미지(i)로부터 블러를 제거함으로써 추정되는 가상의 이미지여도 좋다.In the present invention, the depth difference is calculated from the depth information according to the degree of blur (d) of the captured image (i) and the depth information of the reference sharp image (i '). The sharp reference image (i ') is an image in a focused state, which may be a pre-stored image or a virtual image estimated by removing blur from the captured image (i).

상기 AF제어신호 발생단계는, 상기 깊이차로부터 상기 비디오 프로젝터(60)의 AF(오토포커스)제어용 신호(Δz)를 발생시키는 단계이다. The AF control signal generating step is a step of generating an AF (autofocus) control signal? Z of the video projector 60 from the depth difference.

도 4의 그래프에서, 깊이차로부터 AF제어용 신호(Δz)가 생성된다.In the graph of Fig. 4, the AF control signal? Z is generated from the depth difference.

상기 깊이차는, 현재의 촬상이미지(i)의 블러를 없애서 기준이미지(i')처럼 샤프하게 만들어서 포커싱을 하기 위해 깊이방향으로 움직여야 할 거리를 의미한다. 따라서, 비디오 프로젝터의 AF모듈은 이 깊이차에 대응되는 양으로 움직여서 포커싱을 할 필요가 있다.The depth difference means a distance to be moved in the depth direction in order to sharpen the reference image (i ') by removing blur of the current captured image (i) to perform focusing. Therefore, the AF module of the video projector needs to be moved in an amount corresponding to the depth difference to perform focusing.

상기 AF제어용 신호(Δz)는, 상기 깊이차를 반영하여 비디오 프로젝터(60)마다 설정되는 경험치를 반영하여 산출되는 값을 포함할 수 있다.The AF control signal? Z may include a value calculated by reflecting the experience value set for each video projector 60 in order to reflect the depth difference.

<효과><Effect>

상기 본 발명의 구성에 의하면, 스크린(s)의 표면과 비디오 프로젝터(60) 사이의 거리(a)가 아니라, 스크린(s) 상에 맺힌 투사이미지(i0)의 촬상이미지(i)의 블러 정도(d)로부터 산출되는 깊이차를 이용하여 포커싱을 수행한다.According to the configuration of the present invention, the screen (s) surface and the video projector 60, the image pickup image (i) the distance, not the (a), Rimed projected image on the screen (s) (i 0) between the blur And performs focusing using the depth difference calculated from the depth d.

따라서, 종래기술에서는, 거리(a)에 따른 포커싱에 의해 오류가 생기면, 동일한 방식으로는 아무리 반복 수행해도 포커싱을 더 자동으로 보정할 수 없지만, 본 발명에 의하면, 실제 스크린(s)으로부터 획득한 촬상이미지(i)에 의거한 깊이차에 의해 포커싱을 수행하므로, 거리에 따른 포커싱을 하지 않고, 예컨대 단 1회의 포커싱에 의해 실용적으로 사용가능한 포커성이 가능하고, 예컨대 깊이차에 의해 1회차 포커싱 후 다시 깊이차에 의해 2회차 포커싱을 하는 식으로 중첩 적용하면, 거의 완벽한 포커싱이 이루어질 수 있다.Therefore, in the prior art, if an error occurs due to focusing according to the distance a, the focusing can not be corrected automatically even if it is repeated in the same manner, but according to the present invention, Since focusing is performed by the depth difference based on the sensed image (i), it is possible to achieve pivotability that can be practically used by, for example, only one focusing without focusing according to the distance. For example, And then superimposing it in such a manner as to perform the second-order focusing by the depth difference again, almost perfect focusing can be achieved.

게다가, 본 발명은, 비디오 프로젝터 자체에서 나오는 스크린 상의 투사이미지의 촬상이미지(i)의 블러 정도를 감지하여 거리를 산출하는 방식을 이용하므로, 종래기술의 초음파 액추에이터나 IR 이미터 등과 같은 추가적인 이미터 및 그 리시버를 필요로 하지 않는다. 그리고 외부 노이즈의 영향을 받지 않는다.Further, the present invention uses a method of calculating the distance by sensing the degree of blur of the sensed image (i) of the projected image on the screen coming from the video projector itself, so that it is possible to use additional emitters such as ultrasonic actuators or IR emitters And does not need its receiver. It is not affected by external noise.

또한, IR이미지를 동시에 획득하므로, 저조도 환경하에서도 매우 우수한 포커싱 효과를 가져온다.In addition, since the IR image is acquired at the same time, a very excellent focusing effect is obtained even in a low-illuminance environment.

<촬상 및 정보추출장치>&Lt; Imaging and information extracting device >

촬상이미지(i)의 생성장치로서는, 일반적인 가시광선 카메라, 즉 RGB카메라를 들 수 있지만, 이에 한하지 않고, 예컨대 적외선 카메라, 즉 IR카메라가 이용될 수도 있다. 다만, 이런 한 종류의 이미지만 가지고 깊이이미지를 산출하는 것은 어디까지나 명확한 한계가 있다.As a device for generating the sensed image (i), a general visible light camera, that is, an RGB camera, is exemplified, but an infrared camera, for example, an IR camera may be used. However, there is a definite limit to producing depth images with only one kind of image.

따라서, 상기 촬상이미지(i)는, RGB이미지(20)와, IR이미지 (30)깊이이미지(40, 깊이맵 )로 이루어짐이 바람직하다.Thus, the captured image i preferably comprises an RGB image 20 , an IR image 30 and a depth image 40 ( depth map ) .

이 경우, 바람직하게는, 상기 RGB이미지(20)IR이미지(30)는, 하나의 촬상장치(11)에 의해 동일 각도로 상기 투사이미지(i0)가 촬상되어, 동시에 획득되는 이미지들로서, 상기 RGB이미지(20)는, 가시광선으로 이루어진 이미지이고, 상기 IR 이미지(30)는, 적외선으로 이루어진 이미지이다.In this case, preferably, the RGB image 20 and the IR image 30 are images obtained by simultaneously capturing the projection image i0 by one imaging device 11 at the same angle, The RGB image 20 is an image made up of visible light, and the IR image 30 is an infrared It is an image made.

상기 촬상장치(11)에는, 이중조리개(Dual Aperture: DA) 단일렌즈(Single Lens) 방식의 4컬러 센서가 포함될 수 있다. 상기 깊이이미지(40, 깊이맵 )는, 상기 RGB이미지(20)와 IR이미지(30)로부터 산출되고, 깊이정보를 포함한다. 상기 깊이이미지(40) 산출장치(12)는, 상기 RGB이미지(20)의 특정 포커스와 IR이미지(30)의 올인포커스(all-in focus) 특성을 활용하여 깊이정보를 추출하여 깊이이미지를 생성할 수 있다. 상기 촬상장치(11)와 깊이이미지 산출장치(12)는, 하나의 정보추출장치(10)를 구성할 수 있다.The image pickup device 11 may include a four-color sensor of a dual aperture (DA) single lens type. The depth image (40, depth map ) is calculated from the RGB image (20) and the IR image (30) and includes depth information. The depth image 40 calculating device 12 extracts depth information using the specific focus of the RGB image 20 and the all-in focus characteristic of the IR image 30 to generate a depth image can do. The image pickup device 11 and the depth image calculation device 12 can constitute one information extraction device 10.

이중조리개 단일렌즈 카메라로 깊이를 추출하는 기술은, (주) 이더블유비엠이 DR1152의 시스템 반도체로 구현을 하였다. DR1152는, 단일렌즈를 기반으로 RGB이미지와 IR이미지는 물론 3차원 깊이이미지(깊이맵) 정보까지 동시에 제공해주는 시스템이다. 본 발명은, DR1152의 시스템을 활용하여, 비디오 오토포커스 기능을 구현할 수 있다. 또한, 추가적으로, DR1152 시스템의 RGB신호를 이용하여 비디오 녹화기능을 추가할 수 있다.A technology to extract the depth with a double-aperture single-lens camera was implemented by the semiconductor system of DR1152 by W. V. Co., Ltd. The DR1152 is a system that simultaneously provides RGB image and IR image as well as 3D depth image (depth map) information based on a single lens. The present invention can realize a video autofocus function by utilizing the DR1152 system. In addition, video recording functions can be added using the RGB signals of the DR1152 system.

즉, 본 발명은, 이중조리개 단일렌즈 방식의 3차원 깊이정보와 적외선정보 추출용 장치를 기반으로 하여, 비디오 프로젝터의 오토포커스를 구현하는 기술이다.That is, the present invention is a technique for implementing autofocus of a video projector based on three-dimensional depth information of a double-aperture single lens system and an apparatus for extracting infrared information.

<PSF 인덱스><PSF index>

이 경우, 상기 깊이차는, 상기 기준이미지(i')에 대한 상기 RGB이미지(20)의 상기 블러 정도(d)에 따라 출력되는 상기 깊이이미지(40)의 PSF 인덱스값의 차에 근거하여 산출됨이 바람직하다.In this case, the depth difference is determined by the PSF of the depth image 40, which is output according to the degree of blur (d) of the RGB image 20 for the reference image i ' It is preferable to calculate it based on the difference of the index values .

이중조리개 단일렌즈 방식의 4컬러 센서에 의한 RGB이미지(20)와 IR이미지(30)로부터 깊이이미지(40)를 생성함에 있어서, 올인포커스의 IR이미지(30)에 대해 다단계로 블러 정도를 변화시키면서 PSF 인덱스를 형성하여, 픽셀 단위로 RGB이미지(20)와 비교하여, PSF 인덱스에 따라 깊이를 결정하는 방식이 있다. 이러한 PSF 인덱스값의 차에 따라 깊이차가 산출될 수 있다.In generating the depth image 40 from the RGB image 20 and the IR image 30 by the dual-aperture single-lens system four-color sensor, the degree of blur is changed in multiple stages for the all-in-focus IR image 30 There is a method of forming a PSF index, comparing it with the RGB image 20 in pixel units, and determining the depth according to the PSF index. The depth difference can be calculated according to the difference of the PSF index values.

그리고 상기 PSF 인덱스값은 픽셀 수로 표현되고, 상기 RGB이미지(20)의 블러 부분의 픽셀 수에 의해 상기 블러 정도(d)가 산출됨이 바람직하다. 즉, 픽셀 수에 따라 명확히 PSF 인덱스값이 파악되므로, 이로부터 깊이차를 명확하고 간단히 산출할 수 있다.And PSF is the index value is preferably a search is represented by a number of pixels, the blur blur degree (d) by the number of pixels of pieces of RGB image 20 is calculated. That is, since the PSF index value is clearly known according to the number of pixels, the depth difference can be clearly and easily calculated from this.

<평균깊이의 필요성><Necessity of Average Depth>

도 7과 같이, 본 발명에 이용되는 장치는, 정보추출장치(10)와 비디오 프로젝터(60)이므로, 이들의 배치관계에 있어서, 적어도 어느 한 쪽은 스크린(s)의 정중앙에 대해 정렬이 맞지 않은 상태가 될 수밖에 없다. 도 7의 경우에는, 비디오 프로젝터(60)는 스크린(s)의 정중앙에 정렬되어 있지만, 정보추출장치(10)는 정렬되지 않은 상황을 나타낸다.As shown in Fig. 7, since the apparatus used in the present invention is the information extracting apparatus 10 and the video projector 60, at least one of them is in alignment with the center of the screen s There is no other way. In the case of Fig. 7, the video projector 60 is arranged in the center of the screen s, but the information extracting apparatus 10 shows a situation in which it is not aligned.

이런 경우에, 정보추출장치(10)의 출력인 촬상이미지(i)는, 실제 깊이가 동일하게 산출되어야 할 대상에 대해, 서로 다른 깊이값으로 착오 출력할 여지가 있다. 예컨대 도 7의 경우, 스크린(s)의 좌단(le) 측의 투사이미지보다 우단(re) 측의 투사이미지의 깊이가 더 깊게 출력될 여지가 있다.In this case, the picked-up image (i), which is the output of the information extracting apparatus 10, can be misjudged to output different depth values for the object whose actual depth is to be calculated. For example, in the case of FIG. 7, the depth of the projected image on the right end (re) side may be deeper than the projected image on the left end (le) side of the screen (s).

반대로 정보추출장치(10)는 정렬되어 있지만, 비디오 프로젝터(60)는 정렬되어 있지 않은 경우에도, 동일한 깊이로 출력되어야 할 부분이 서로 다른 깊이로 출력될 여지가 있다.Conversely, although the information extracting apparatus 10 is arranged, even if the video projector 60 is not aligned, portions to be output at the same depth may be output at different depths.

게다가, 정보추출장치(10)나 비디오 프로젝터(60)는 도 7에 도시된 바와 같이 원호 형태의 깊이선이 동일 깊이를 표현하지만, 스크린(s)은 평면 형태이므로, 스크린에 표현된 대상의 깊이는 중앙부와 상하좌우의 단부에 있어서 차이가 발생될 여지가 있다.7, since the depth line of the arcuate shape represents the same depth, but the screen s is a planar shape, the depth of the object expressed on the screen There is a possibility that there will be a difference in the central part and the upper and lower ends.

이런 상황에 대비하기 위해, 본 발명의 다른 실시예에 의한 상기 깊이차 산출단계는, 평균깊이 산출단계; 및 블러정도 환산단계를 포함하여 이루어짐이 바람직하다. 상기 평균깊이 산출단계는, 상기 촬상이미지(i)로부터 평균깊이가 산출되는 단계이다. 상기 평균깊이는, 좌단과 우단, 또는 상단과 하단, 또는 중앙부와 단부의 평균연산에 의해 산출될 수 있다. 상기 블러정도 환산단계는, 상기 평균깊이로부터 대응되는 블러 정도(d)가 환산되는 단계이다. 따라서, 왜곡현상을 제거하여 보다 정확한 깊이차를 산출할 수 있다.In order to prepare for such a situation, the depth difference calculating step according to another embodiment of the present invention includes: calculating an average depth ; It is preferred including yirueojim and blur extent in terms of phase. The average depth calculating step calculates an average depth from the captured image (i). The average depth can be calculated by averaging the left and right ends, or the top and bottom, or the center and the end. The blur degree conversion step is a step in which the corresponding blur degree (d) is converted from the average depth. Therefore, it is possible to eliminate a distortion phenomenon and to calculate a more accurate depth difference.

<최소 블러의 판정 및 신규 제어치의 산출>&Lt; Judgment of minimum blur and calculation of new control value >

그리고 상기 AF제어신호 발생단계는, 상기 블러 정도(d)가 최소인지 판정하여, 최소인 경우에는 처리를 종료하고, 최소가 아닌 경우에는 블러 정도(d)를 감소시키도록 하는 AF제어용 신호값(Δz)을 산출함이 바람직하다.The AF control signal generating step includes a step of determining whether the blur degree (d) is the minimum, terminating the process when the minimum is determined, and decreasing the blur degree (d) DELTA z) is preferably calculated.

예컨대, 1회차 촬상이미지(i)의 블러 정도가 최소인 경우에는, 제어신호를 산출하지 않고 종료시킬 수 있으므로, 신속한 처리가 가능하다.For example, when the degree of blur of the first-time picked-up image (i) is the minimum, the control signal can be terminated without being calculated, so that rapid processing is possible.

예컨대, 1회차 처리 후 자동으로 실행된 2회차 촬상이미지(i)의 블러 정도가 최소가 된 경우에는, 1회차만으로 포커싱이 되었으므로, 역시 신속한 처리가 가능하다.For example, when the degree of blur of the second-time captured image (i) automatically executed after the first-time processing is minimized, since the focusing is performed only once, rapid processing is also possible.

예컨대, 상기 과정은 여러 번 반복 실시될 수도 있다. 촬상이미지(i)의 생성, 블러 정도의 판정 및 블러 정도 감소를 위한 AF제어용 신호값(Δz)의 산출 적용과정을 반복함으로써, 촬상이미지(i)의 블러 정도가 최소 블러가 되도록 수렴시키는 제어를 하여도 좋고, 이러한 촬상이미지의 블러 정도에 기반한 포커싱 기법은 본 발명의 범위에 포함되는 것이다. 이때, AF제어용 신호값을 작게 함으로써 미세조정할 수도 있다.For example, the above process may be repeated several times. By repeating the process of generating the captured image (i), determining the degree of blur, and calculating and applying the AF control signal value (? Z) for decreasing the degree of blur, control for converging the blur degree of the captured image (i) And a focusing technique based on the degree of blur of the captured image is included in the scope of the present invention. At this time, fine adjustment can be made by reducing the AF control signal value.

<촬상이미지의 블러에서 산출된 깊이에 의한 제어신호 산출>&Lt; Control signal calculation based on the depth calculated in the blur of the captured image >

본 발명의 다른 실시예에 의한 비디오 프로젝터용 포커싱방법은, 촬상이미지 생성단계(10~40); 깊이 산출단계(51); 및 AF제어신호 산출단계(도 5)를 포함하여 이루어짐을 특징으로 한다. 이 실시예는, 깊이차가 아니라 깊이로부터 직접 제어신호를 발생시키는 것이다.According to another embodiment of the present invention, there is provided a focusing method for a video projector, comprising: generating an imaging image (10 to 40) ; A depth calculating step 51 ; And an AF control signal calculating step (FIG. 5) . This embodiment is to generate a control signal directly from the depth, not the depth difference.

상기 촬상이미지 생성단계(10~40)는, 비디오 프로젝터로부터 스크린 상에 투사된 투사이미지를 촬상하여 촬상이미지를 생성하는 단계이다. 이는 앞의 실시예와 동일하므로, 상세한 설명을 생략한다.The captured image generating step (10 to 40) is a step of capturing a projection image projected on a screen from a video projector to generate a captured image. Since this is the same as the previous embodiment, detailed description will be omitted.

상기 깊이 산출단계는, 상기 촬상이미지의 블러 정도에 대응되는 피사체까지의 깊이를 산출하는 단계이다.The depth calculating step is a step of calculating a depth up to a subject corresponding to the degree of blur of the captured image.

도 5는, 블러 정도(사이즈)에서 정보추출장치(10)와 물체 사이의 거리(깊이)를 산출하는 방식을 나타내며, 이로부터 보정용 AF제어신호(Δz)가 산출된다.5 shows a method of calculating the distance (depth) between the information extracting apparatus 10 and an object in the degree of blur (size), from which the correction AF control signal? Z is calculated.

도 5에 나타난 바와 같이, 이중조리개 방식의 본 발명에 광학이론을 적용하면, 피사체의 블러 정도(블러 사이즈)를 실제 깊이(거리)로 환산할 수 있다. 아래 수학식 1, 2에 나타나는 a는 실제 피사체까지의 거리를 나타내고, 이미지 센서에 맺힌 피사체의 블러 정도는 d로 표현된다. 즉, d를 알면 a를 구할 수 있다.As shown in Fig. 5, when the optical theory is applied to the double-iris type of the present invention, the degree of blur (blur size) of the subject can be converted to the actual depth (distance). In the following equations (1) and (2), a represents the distance to the actual object, and the degree of blur of the object formed on the image sensor is represented by d. That is, if d is known, a can be obtained.

Figure pat00001
Figure pat00001

Figure pat00002
Figure pat00002

이때, f는 렌즈 자체의 초점을 나타내고, a0는 이미지센서에 물체의 초점이 맞도록 세팅을 한 카메라 초점거리를 나타낸다.Here, f represents the focal point of the lens itself, and a 0 represents the focal length of the camera which is set so that the object is focused on the image sensor.

합성 F넘버(F#)는, IR조리개와 RGB 조리개의 합성수치를 나타내며, 아래 수학식 3과 같이 표현된다.The composite F number (F #) represents the composite value of the IR iris and the RGB iris, and is expressed by the following equation (3).

Figure pat00003
Figure pat00003

여기서, 수학식 1의 조건

Figure pat00004
을 이용하여, PSF인덱스를 픽셀 수로 표현이 가능하고, 이는 이미지 센서에 맺힌 블러 이미지의 픽셀 수를 알아내면, PSF인덱스 값을 결국 블러 정도(사이즈)로 표현이 가능함을 의미한다. 이를 이용하면, 수학식 1 혹은 2를 이용하여, 실제 거리 a값을 구할 수 있다.Here, the condition
Figure pat00004
The PSF index can be represented by the number of pixels. If the number of pixels of the blurred image formed on the image sensor is known, it means that the PSF index value can be expressed by the degree of blur (size). Using this, the actual distance a value can be obtained using Equation (1) or (2).

상기 AF제어신호 산출단계는, 상기 깊이로부터 상기 비디오 프로젝터의 AF제어용 신호를 발생시키는 단계이다. 본 발명에서는, 이 과정을 이용하여 a값을 구한 후, 이를 제어신호(Δz)로 대응시키는 경험치를 산출하여, 이를 출력으로 한다.The AF control signal calculating step is a step of generating an AF control signal of the video projector from the depth. In the present invention, the a value is calculated using this process, and the experiential value in which the a value is associated with the control signal? Z is calculated and output.

즉, , 상기 깊이에 대응되는 상기 AF제어용 신호는, 상기 깊이(a)와 실제 모터의 구동을 위한 변위거리(displacement distance), AF제어용 신호(Δz) 사이의 비율인 실험 경험치를 이용하여 산출됨이 바람직하다.That is, the AF control signal corresponding to the depth is calculated using the experiential experience , which is a ratio between the depth a and a displacement distance for driving the actual motor, and the AF control signal? Z .

이 구성에 의하면, 일단 거리를 산출한 다음에 AF제어용 신호를 산출하여 적용하므로, 종래기술의 방식을 적용하여도 좋다. 다만, 거리의 산출은According to this configuration, since the AF control signal is calculated and applied after once calculating the distance, the conventional technique may be applied. However, the calculation of distance

<스크린 및 프레젠테이션 사용자에 대한 녹화기능><Recording function for screen and presentation users>

도 1 및 도 6에 도시된 바와 같이, 상기 촬상이미지(i) 또는 상기 촬상이미지(i)를 포함하는 프레젠테이션 동영상은 녹화됨이 바람직하다.이를 위해 녹화부(21)가 구비될 수 있다.As shown in Figs. 1 and 6, it is preferable that a moving picture including the sensed image (i) or the sensed image (i) is recorded . For this purpose, a recording unit 21 may be provided.

즉, 본 발명은, 이중조리개 단일렌즈 방식의 3차원 깊이정보와 적외선정보 추출용 장치를 기반으로 하여, 비디오 프로젝터의 투사비디오에 대한 별도장치 녹화기능를 구현할 수 있다. 상기 녹화에 이용되는 촬상이미지(i)로서는 RGB이미지(20)가 이용되는 것이 바람직하지만, IR이미지(30)나 깊이이미지(40)가 이용되어도 좋다. 이로써, 발표자와 발표화면을 동시에 족화할 수 있다.That is, the present invention can implement a separate device recording function for the projected video of the video projector based on the three-dimensional depth information of the double-iris single lens system and the apparatus for extracting infrared information. Although the RGB image 20 is preferably used as the captured image i used for the recording, the IR image 30 or the depth image 40 may be used. This makes it possible to simultaneously present the presenter and the presentation screen.

<비디오 프로젝터용 포커싱장치><Focusing device for video projector>

한편, 본 발명의 일실시예에 따른 비디오 프로젝터용 포커싱장치는, 촬상이미지 생성부; 깊이차 산출부; 및 AF제어신호 발생부를 포함하여 이루어짐을 특징으로 한다.According to another aspect of the present invention, there is provided a focusing apparatus for a video projector, comprising: a captured image generating unit ; Depth difference A calculating unit ; And an AF control signal And a generating unit .

상기 촬상이미지 생성부는, 비디오 프로젝터(60)로부터 스크린(s) 상에 투사된 투사이미지(i0)를 촬상하여 촬상이미지(i)를 생성하는 부재이다.The captured image generating unit is a member that captures a projected image (i0) projected onto the screen (s) from the video projector (60) to generate a captured image (i).

상기 깊이차 산출부는, 샤프한 기준이미지(i')에 대한 상기 촬상이미지(i)의 블러(Blur) 정도(d)에 대응되는 깊이차를 산출하는 부재이다.The depth difference The calculating unit is a member for calculating a depth difference corresponding to a blur degree (d) of the sensed image (i) with respect to a sharp reference image (i ').

상기 AF제어신호 발생부는, 상기 깊이차로부터 상기 비디오 프로젝터(60)의 AF(오토포커스)제어용 신호(Δz)를 발생시키는 부재이다.The AF control signal The generating unit is a member for generating an AF (autofocus) control signal? Z of the video projector 60 from the depth difference.

<저장매체에 저장된 프로그램><Program stored on storage medium>

한편, 본 발명의 일실시예에 따른 정보처리기기로 읽을 수 있는 저장매체에 저장된 프로그램은, 상기에 기재된 비디오 프로젝터용 포커싱방법의 각 단계를 정보처리기기에 수행시키기 위한 프로그램이 정보처리기기로 읽을 수 있는 저장매체에 저장된 프로그램이다. 상기 정보처리기기는, 컴퓨터에 한하지 않고, 디지털 또는 아날로그로 정보를 처리하여 정해진 처리를 수행하는 현재 및 가까운 미래의 모든 기기들을 포함한다.Meanwhile, a program stored in a storage medium readable by the information processing device according to an embodiment of the present invention may include a program for causing the information processing device to perform the steps of the above-described focusing method for a video projector, Lt; RTI ID = 0.0 &gt; a &lt; / RTI &gt; The information processing device includes not only a computer but all the devices in the current and near future that process information in digital or analog to perform predetermined processing.

이상, 바람직한 실시예에 기하여 본 발명을 설명하였으나, 본 발명은 이러한 실시예에 의해 제한되는 것은 아니고, 첨부된 청구범위에 기재된 기술적 사상의 범위 내에서 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 이루어진 개량, 변경, 변형은 모두, 본 발명의 범위에 속하는 것으로 해석되어야 한다. 예컨대, 상기 실시예에서는 깊이차로부터 제어신호를 발생시키거나, 깊이로부터 제어신호를 발생시키도록 구성되어 있지만, 이에 한하지 않고, 깊이차를 이용하여 실제깊이를 산출하고, 그 값에 경험비율을 적용하여 제어신호를 발생시켜도 좋다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, All modifications, changes, and alterations made by those skilled in the art are to be construed as being within the scope of the present invention. For example, in the above embodiment, a control signal is generated from the depth difference or a control signal is generated from the depth. However, the present invention is not limited to this, and the actual depth may be calculated using the depth difference, May be applied to generate a control signal.

본 발명은, 비디오 프로젝터용 포커싱방법, 장치 및 저장매체에 저장된 프로그램에 이용될 수 있다.The present invention can be applied to a focusing method for a video projector, an apparatus, and a program stored in a storage medium.

10: 정보추출장치
11: 이중조리개 단일렌즈 4컬러 카메라
12: 깊이이미지 산출수단
20: RGB이미지
21: 녹화부
30: IR이미지
40: 깊이이미지(깊이맵)
50: 포커싱장치
51: 평균깊이 산출부
52: 최소 블러 판단부
53: 신규 AF제어신호 산출부
60: 비디오 프로젝터
i0: 투사이미지
i: 촬상이미지
s: 스크린
re: 우측단
le: 좌측단
h: 프레젠테이션 이용자
10: information extraction device
11: Dual Aperture Single Lens 4 Color Camera
12: Depth image calculating means
20: RGB image
21: Recording section
30: IR image
40: Depth image (depth map)
50: Focusing device
51: average depth calculating section
52: minimum blur determination unit
53: New AF control signal calculating section
60: Video projector
i 0 : Projected image
i: Imaging image
s: Screen
re: right side
le: left end
h: Presentation users

Claims (11)

비디오 프로젝터용 포커싱방법으로서,
비디오 프로젝터로부터 스크린 상에 투사된 투사이미지를 촬상하여 촬상이미지를 생성하는 촬상이미지 생성단계;
샤프한 기준이미지에 대한 상기 촬상이미지의 블러(Blur) 정도에 대응되는 깊이차를 산출하는 깊이차 산출단계; 및
상기 깊이차로부터 상기 비디오 프로젝터의 AF(오토포커스)제어용 신호를 발생시키는 AF제어신호 발생단계
를 포함하여 이루어짐을 특징으로 하는 비디오 프로젝터용 포커싱방법.
A focusing method for a video projector,
A captured image generating step of capturing a projection image projected on a screen from a video projector to generate a captured image ;
A depth difference calculating step of calculating a depth difference corresponding to a degree of blur of the sensed image with respect to a sharp reference image; And
An AF control signal generating step for generating an AF (autofocus) control signal of the video projector from the depth difference;
And adjusting the focusing position of the focusing lens.
청구항 1에 있어서,
상기 촬상이미지는,
하나의 촬상장치에 의해 동일 각도로 상기 투사이미지가 촬상되어, 동시에 획득되는 가시광선의 RGB이미지와 적외선의 IR이미지
상기 RGB이미지와 IR이미지로부터 산출되는 깊이이미지
로 이루어짐을 특징으로 하는 비디오 프로젝터용 포커싱방법.
The method according to claim 1,
The captured image may include:
One is the projected image is captured by the same angle by the image pickup device, the RGB visible light image and an infrared image are obtained at the same time, IR and
A depth image calculated from the RGB image and the IR image
The method of claim 1,
청구항 2에 있어서,
상기 깊이차는, 상기 기준이미지에 대한 상기 RGB이미지의 상기 블러 정도에 따라 출력되는 상기 깊이이미지의 PSF 인덱스값의 차에 근거하여 산출됨
을 특징으로 하는 비디오 프로젝터용 포커싱방법.
The method of claim 2,
The depth difference is calculated based on a difference in the PSF index value of the depth image output according to the degree of blur of the RGB image with respect to the reference image
And a focusing step for focusing the light beam on the projection optical system.
청구항 3에 있어서,
상기 PSF 인덱스값은 픽셀 수로 표현되고,
상기 RGB이미지의 블러 부분의 픽셀 수에 의해 상기 블러 정도가 산출됨
을 특징으로 하는 비디오 프로젝터용 포커싱방법.
The method of claim 3,
The PSF index value is expressed by the number of pixels ,
The degree of blur is calculated by the number of pixels of the blur portion of the RGB image
And a focusing step for focusing the light beam on the projection optical system.
청구항 1에 있어서,
상기 깊이차 산출단계는,
상기 촬상이미지로부터 평균깊이가 산출되는 평균깊이 산출단계; 및
상기 평균깊이로부터 대응되는 블러 정도가 환산되는 블러정도 환산단계
를 포함하여 이루어짐을 특징으로 하는 비디오 프로젝터용 포커싱방법.
The method according to claim 1,
The step of calculating the depth-
An average depth calculating step of calculating an average depth from the captured image; And
Blur degree in terms of the blur degree steps from the corresponding terms of the average depth
And adjusting the focusing position of the focusing lens.
청구항 1에 있어서,
상기 AF제어신호 발생단계는, 상기 블러 정도가 최소인지 판정하여, 최소인 경우에는 처리를 종료하고, 최소가 아닌 경우에는 블러 정도를 감소시키도록 하는 AF제어용 신호값을 산출함
을 특징으로 하는 비디오 프로젝터용 포커싱방법.
The method according to claim 1,
The AF control signal generating step determines whether the degree of blur is the minimum, finishes the processing when the minimum level is determined, and calculates the AF control signal value to reduce the level of blur if the minimum level is not the minimum level
And a focusing step for focusing the light beam on the projection optical system.
비디오 프로젝터용 포커싱방법으로서,
비디오 프로젝터로부터 스크린 상에 투사된 투사이미지를 촬상하여 촬상이미지를 생성하는 촬상이미지 생성단계;
상기 촬상이미지의 블러 정도에 대응되는 피사체까지의 깊이를 산출하는 깊이 산출단계; 및
상기 깊이로부터 상기 비디오 프로젝터의 AF제어용 신호를 발생시키는 AF제어신호 산출단계
를 포함하여 이루어짐을 특징으로 하는 비디오 프로젝터용 포커싱방법.
A focusing method for a video projector,
A captured image generating step of capturing a projection image projected on a screen from a video projector to generate a captured image ;
A depth calculating step of calculating a depth up to a subject corresponding to a degree of blur of the sensed image; And
An AF control signal calculation step of generating an AF control signal of the video projector from the depth
And adjusting the focusing position of the focusing lens.
청구항 7에 있어서,
상기 깊이에 대응되는 상기 AF제어용 신호는, 상기 깊이와 실제 모터의 구동을 위한 변위거리, AF제어용 신호 사이의 비율인 실험 경험치를 이용하여 산출됨
을 특징으로 하는 비디오 프로젝터용 포커싱방법.
The method of claim 7,
The AF control signal corresponding to the depth is calculated using an experiment experience value which is a ratio between the depth and a displacement distance for driving the actual motor and AF control signals
And a focusing step for focusing the light beam on the projection optical system.
청구항 1 또는 청구항 7에 있어서,
상기 촬상이미지 또는 상기 촬상이미지를 포함하는 프레젠테이션 동영상은 녹화
을 특징으로 하는 비디오 프로젝터용 포커싱방법.
The method of claim 1 or claim 7,
The presentation image including the captured image or the captured image is recorded
And a focusing step for focusing the light beam on the projection optical system.
비디오 프로젝터용 포커싱장치로서,
비디오 프로젝터로부터 스크린 상에 투사된 투사이미지를 촬상하여 촬상이미지를 생성하는 촬상이미지 생성부;
샤프한 기준이미지에 대한 상기 촬상이미지의 블러(Blur) 정도에 대응되는 깊이차를 산출하는 깊이차 산출부; 및
상기 깊이차로부터 상기 비디오 프로젝터의 AF(오토포커스)제어용 신호를 발생시키는 AF제어신호 발생부
를 포함하여 이루어짐을 특징으로 하는 비디오 프로젝터용 포커싱장치.
1. A focusing device for a video projector,
A captured image generating unit for capturing a projection image projected on a screen from a video projector to generate a captured image ;
A depth difference calculating unit for calculating a depth difference corresponding to a degree of blur of the sensed image with respect to a sharp reference image; And
An AF control signal generating unit for generating an AF (autofocus) control signal of the video projector from the depth difference ,
And a controller for controlling the focusing of the video projector.
정보처리기기로 읽을 수 있는 저장매체에 저장된 프로그램으로서,
청구항 1에 기재된 방법의 각 단계를 정보처리기기에 수행시키기 위한 프로그램이 정보처리기기로 읽을 수 있는 저장매체에 저장된 프로그램.
A program stored in a storage medium readable by an information processing device,
A program for causing each of the steps of the method according to claim 1 to be performed on an information processing device is stored in a storage medium readable by the information processing device.
KR1020170176056A 2017-12-20 2017-12-20 Method, apparatus and program stored in storage medium for focusing for video projector KR102061087B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170176056A KR102061087B1 (en) 2017-12-20 2017-12-20 Method, apparatus and program stored in storage medium for focusing for video projector

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170176056A KR102061087B1 (en) 2017-12-20 2017-12-20 Method, apparatus and program stored in storage medium for focusing for video projector

Publications (2)

Publication Number Publication Date
KR20190074585A true KR20190074585A (en) 2019-06-28
KR102061087B1 KR102061087B1 (en) 2019-12-30

Family

ID=67065739

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170176056A KR102061087B1 (en) 2017-12-20 2017-12-20 Method, apparatus and program stored in storage medium for focusing for video projector

Country Status (1)

Country Link
KR (1) KR102061087B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021019897A1 (en) * 2019-07-26 2021-02-04 富士フイルム株式会社 Control device, projection system, control method, and control program

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0129657B1 (en) 1994-04-19 1998-04-09 배순훈 A brake fixed flame of a washign machine

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9774833B2 (en) * 2013-07-16 2017-09-26 Texas Instruments Incorporated Projector auto-focus correction with the aid of a camera
KR101681199B1 (en) * 2015-06-03 2016-12-01 (주)이더블유비엠 Multi-color sensor based, method and apparatus for extraction of depth information from image using high-speed convolution

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0129657B1 (en) 1994-04-19 1998-04-09 배순훈 A brake fixed flame of a washign machine

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021019897A1 (en) * 2019-07-26 2021-02-04 富士フイルム株式会社 Control device, projection system, control method, and control program
JPWO2021019897A1 (en) * 2019-07-26 2021-02-04

Also Published As

Publication number Publication date
KR102061087B1 (en) 2019-12-30

Similar Documents

Publication Publication Date Title
US8754963B2 (en) Processing images having different focus
CN109521547B (en) Variable-step-length automatic focusing method and system
CN109451244B (en) Automatic focusing method and system based on liquid lens
US9832362B2 (en) Image-capturing apparatus
US9832432B2 (en) Control apparatus, image pickup apparatus, control method, and non-transitory computer-readable storage medium
US9531938B2 (en) Image-capturing apparatus
CN109255810B (en) Image processing apparatus and image processing method
WO2015184978A1 (en) Camera control method and device, and camera
US9619886B2 (en) Image processing apparatus, imaging apparatus, image processing method and program
US20060029377A1 (en) System and method for image capture device
US9485407B2 (en) Method of capturing images and obtaining information of the images
CN105472237B (en) Picture pick-up device and image capture method
JP2012124555A (en) Imaging apparatus
TW201541141A (en) Auto-focus system for multiple lens and method thereof
US20190355101A1 (en) Image refocusing
JP7378219B2 (en) Imaging device, image processing device, control method, and program
CN113875219A (en) Image processing method and device, electronic equipment and computer readable storage medium
WO2016197494A1 (en) Method and device for adjusting focusing area
US20160275657A1 (en) Imaging apparatus, image processing apparatus and method of processing image
KR20200097865A (en) Image processing system for measurging depth and operating method of the same
KR20190074585A (en) Method, apparatus and program stored in storage medium for focusing for video projector
KR101630307B1 (en) A digital photographing apparatus, a method for controlling the same, and a computer-readable storage medium
JP2020144158A (en) Imaging device and control device therefor
JP6921606B2 (en) Image processing equipment, image processing methods and programs
JP6882266B2 (en) Devices and methods for generating data representing pixel beams

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant