KR102304338B1

KR102304338B1 - Apparatus and method for aligning image projection device

Info

Publication number: KR102304338B1
Application number: KR1020170055385A
Authority: KR
Inventors: 신동엽; 임국찬; 이학순; 신승민; 배용우; 정구익; 유재황; 전진수
Original assignee: 에스케이텔레콤 주식회사
Priority date: 2017-04-28
Filing date: 2017-04-28
Publication date: 2021-09-23
Also published as: KR102435398B1; KR20180121100A; KR20210110267A

Abstract

본 발명의 일 실시예에 따른 영상 투사 기기 정렬 장치는, 영상 투사 기기가 스크린 상에 투사한 영상을 촬영한 이미지를 획득하는 입력부, 상기 획득된 이미지를 이용하여, 상기 영상의 왜곡의 정도를 산출하는 영상 분석부 및 상기 왜곡의 정도에 기초하여, 상기 영상 투사 기기의 광축 정렬 상태를 조절하는 제어부를 포함할 수 있다.Image projection device alignment apparatus according to an embodiment of the present invention, an input unit for acquiring an image obtained by capturing an image projected by an image projection device on a screen, and calculating the degree of distortion of the image by using the acquired image based on the image analysis unit and the degree of the distortion, it may include a control unit for adjusting the optical axis alignment state of the image projection device.

Description

Image projection device alignment device and method {APPARATUS AND METHOD FOR ALIGNING IMAGE PROJECTION DEVICE}

본 발명은 빔 프로젝터(beam projector)와 같은, 스크린에 영상을 형성하기 위한 영상 투사 기기의 광축 정렬 및 초점 조절을 수행함으로써, 상기 영상의 출력 상태를 최적화하기 위한 장치 및 방법에 관한 것이다. The present invention relates to an apparatus and method for optimizing an output state of an image by performing optical axis alignment and focus adjustment of an image projection device for forming an image on a screen, such as a beam projector.

빔 프로젝터(beam projector)는 자신으로부터 일정 거리 떨어져 있는 스크린 상에 영상을 투영해서 표시하는 장치이다. 빔 프로젝터는 영상을 이루는 광선을 생성하는 광원(光源), 광원에 의해 생성된 광선에 영상 정보를 부여하는 패널(panel), 영상 정보를 공간 상으로 투영하는 하나 이상의 렌즈로 이루어진 광학계 등을 포함할 수 있다.A beam projector is a device that projects and displays an image on a screen that is a certain distance away from itself. A beam projector may include a light source that generates light rays constituting an image, a panel that provides image information to the light rays generated by the light source, and an optical system composed of one or more lenses that project image information into space. can

빔 프로젝터에 의해 스크린에 형성되는 영상이 의도된 대로 표시되도록 하기 위해서는, 빔 프로젝터의 정렬 상태를 올바르게 유지한 상태로 빔 프로젝터를 동작시킬 필요가 있으며, 정렬 상태가 올바르지 않으면 영상의 왜곡이 발생한다. 특히, 스크린과 가까운 거리에서도 큰 크기의 영상을 투사할 수 있어 최근 각광받고 있는 초단초점(ultra-short throw, UST) 빔 프로젝터의 경우, 정렬 상태가 약간만 어긋나도 왜곡의 정도가 매우 커지게 된다.In order to display the image formed on the screen by the beam projector as intended, it is necessary to operate the beam projector while properly maintaining the alignment state of the beam projector. If the alignment state is not correct, image distortion occurs. In particular, in the case of an ultra-short throw (UST) beam projector, which has been in the spotlight recently because it can project a large-sized image even at a distance from the screen, even a slight misalignment of the alignment state causes a very large amount of distortion.

전술한 빔 프로젝터의 정렬을 수행하기 위한 구체적인 방법으로서, 우선 수동 정렬 방법을 들 수 있다. 하지만 수동 정렬 방법은 번거롭고 정확도에도 한계가 있으며, 초단초점 빔 프로젝터와 같이 정렬 상태가 정밀하게 조절되어야 하는 경우에는 더욱 적합하지 않다. 다른 방법으로, 빔 프로젝터 내에 장착된 자이로(gyro) 센서를 이용하는 방법이 있으나, 이 방법에 의하면 빔 프로젝터의 틀어짐 발생을 쉽게 인지할 수 있지만, 회전 틀어짐을 비롯한 최적의 정렬 상태를 찾는 데에는 여전히 어려움이 있다. 다른 방법으로, 빔 프로젝터에 별도의 영상 획득 장치를 추가하여 스크린 상에서의 왜곡을 직접 인지하는 방법이 있지만, 통상의 초단초점 빔 프로젝터는 화각이 매우 크므로 통상의 영상 획득 장치로는 스크린 전체를 촬영하지 못하여 발생 왜곡을 정확히 알지 못하는 어려움이 있다.As a specific method for performing the above-described alignment of the beam projector, there may be a manual alignment method. However, the manual alignment method is cumbersome and has limited accuracy, and is not suitable for a case where the alignment state needs to be precisely adjusted, such as in an ultra-short-throw beam projector. As another method, there is a method using a gyro sensor mounted in the beam projector. According to this method, the occurrence of distortion of the beam projector can be easily recognized, but it is still difficult to find the optimal alignment state including rotational distortion. have. As another method, there is a method of directly recognizing distortion on the screen by adding a separate image acquisition device to the beam projector. There is a difficulty in not knowing exactly what distortion occurred.

또한, 빔 프로젝터의 초점이 맞지 않을 경우에는, 스크린에 표시되는 영상의 선명도가 저하되는 문제가 발생하며, 이 역시 영상의 품질 저하의 한 원인이 될 수 있다.In addition, when the beam projector is out of focus, there is a problem in that the sharpness of the image displayed on the screen is deteriorated, which can also be a cause of the deterioration of the image quality.

한국공개특허공보, 제 10-2014-0137445호 (2014.12.02. 공개)Korean Patent Laid-Open Publication No. 10-2014-0137445 (published on Dec. 2, 2014)

본 발명이 해결하고자 하는 과제는, 정확하면서도 간편한 방법으로 영상 투사 기기의 정렬 상태를 조정함으로써, 상기 기기가 스크린에 투사하는 영상의 출력 상태를 최적화하기 위한 장치 및 방법을 제공하는 것이다. An object of the present invention is to provide an apparatus and method for optimizing the output state of an image projected by the apparatus on a screen by adjusting the alignment state of the image projection device in an accurate and simple manner.

다만, 본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.However, the problems to be solved of the present invention are not limited to those mentioned above, and other problems to be solved that are not mentioned can be clearly understood by those of ordinary skill in the art to which the present invention belongs from the following description. will be.

본 발명의 다른 실시예에 따른 영상 투사 기기 정렬 장치는, 영상 투사 기기가 스크린 상에 투사한 영상을 촬영한 이미지를 획득하는 입력부, 상기 획득된 이미지를 이용하여, 상기 영상의 선명도를 산출하는 영상 분석부 및 상기 선명도에 기초하여, 상기 영상 투사 기기의 초점을 조절하는 제어부를 포함할 수 있다.An image projection device alignment apparatus according to another embodiment of the present invention includes an input unit for acquiring an image obtained by photographing an image projected by an image projection device on a screen, and an image for calculating the sharpness of the image by using the acquired image It may include an analysis unit and a control unit for adjusting a focus of the image projection device based on the sharpness.

본 발명의 일 실시예에 따른 영상 투사 기기 정렬 방법은, 영상 투사 기기가 스크린 상에 투사한 영상을 촬영한 이미지를 획득하는 단계, 상기 획득된 이미지를 이용하여, 상기 영상의 왜곡의 정도를 산출하는 단계 및 상기 왜곡의 정도에 기초하여, 상기 영상 투사 기기의 광축 정렬 상태를 조절하는 단계를 포함할 수 있다.An image projection device alignment method according to an embodiment of the present invention includes acquiring an image obtained by photographing an image projected on a screen by an image projection device, and calculating a degree of distortion of the image by using the acquired image and adjusting an optical axis alignment state of the image projection device based on the degree of distortion.

본 발명의 다른 실시예에 따른 영상 투사 기기 정렬 방법은, 영상 투사 기기가 스크린 상에 투사한 영상을 촬영한 이미지를 획득하는 단계, 상기 획득된 이미지를 이용하여, 상기 영상의 선명도를 산출하는 단계 및 상기 선명도에 기초하여, 상기 영상 투사 기기의 초점을 조절하는 단계를 포함할 수 있다.An image projection device alignment method according to another embodiment of the present invention includes: acquiring an image obtained by photographing an image projected by an image projection device on a screen; using the acquired image, calculating the sharpness of the image and adjusting the focus of the image projection device based on the sharpness.

본 발명의 일 실시예에 따르면, 영상 투사 기기가 스크린 상에 형성한 영상을 촬영하고, 촬영된 이미지로부터 영상 입력부가 가지는 고유의 왜곡량을 바탕으로 산출된 실제의 영상 왜곡 정도에 기초하여 영상 투사 기기의 광축 정렬 상태를 조절함으로써 간편하고 정확하게 영상의 출력 상태를 최적화할 수 있다. 특히, 초단초점 빔 프로젝터의 경우 화각이 매우 크기 때문에 통상의 영상 입력 장치로는 전체 영상의 왜곡을 알기 어렵거나, 초단초점 빔 프로젝터와 동일한 화각을 구현하면서 왜곡이 매우 적은 영상 입력 장치는 통상 렌즈 매수가 증가하며 사이즈가 커지는 경우가 많다. 따라서 어안 렌즈와 같은 자체 왜곡을 갖고 있지만, 시야각이 180도에 이르는 초광각(超廣角)의 렌즈를 촬영에 이용하여 하나의 이미지에 전체 영상을 담아내고, 상기 이미지로부터 초광각 렌즈의 자체 왜곡량을 감안하여 영상의 전체적인 형상을 알아냄으로써, 전체 영상의 왜곡 정도를 쉽고 정확하게 알 수 있다. 또한, 영상을 촬영한 이미지를 이용하여 영상의 선명도 역시 아울러 조절함으로써, 더욱 높은 품질의 영상을 스크린에 출력할 수 있다.According to an embodiment of the present invention, an image projection device shoots an image formed on a screen, and projects an image based on the actual image distortion degree calculated based on the inherent distortion amount of the image input unit from the captured image By adjusting the optical axis alignment of the device, it is possible to easily and accurately optimize the image output state. In particular, in the case of an ultra-short-throw beam projector, since the angle of view is very large, it is difficult to know the distortion of the entire image with a normal image input device. increases and often increases in size. Therefore, although it has the same self-distortion as a fisheye lens, an ultra-wide-angle lens with a viewing angle of 180 degrees is used to capture the entire image in one image, and the amount of self-distortion of the ultra-wide-angle lens is taken into account from the image. Thus, by finding out the overall shape of the image, the degree of distortion of the entire image can be easily and accurately known. In addition, a higher quality image can be output to the screen by adjusting the sharpness of the image using the captured image.

도 1은 본 발명의 일 실시예에 따른 영상 투사 시스템의 전반적인 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 투사 시스템에 포함된 영상 투사 기기 정렬 장치의 구성을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 영상 투사 기기 정렬 방법의 각 단계를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 영상 투사 기기에 의해 출력될 수 있는 기준 영상에 대해 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 영상 투사 기기 광축 정렬 장치에 적용될 수 있는 어안 렌즈의 유형에 대해 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 영상 투사 기기 정렬 방법의 왜곡 보정 과정에 대해 설명하기 위한 도면이다.1 is a diagram illustrating an overall configuration of an image projection system according to an embodiment of the present invention.
2 is a diagram showing the configuration of an image projection device alignment device included in the image projection system according to an embodiment of the present invention.
3 is a view for explaining each step of the image projection device alignment method according to an embodiment of the present invention.
4 is a view for explaining a reference image that can be output by the image projection device according to an embodiment of the present invention.
5 is a view for explaining a type of a fisheye lens that can be applied to the apparatus for aligning an optical axis of an image projection device according to an embodiment of the present invention.
6 is a view for explaining a distortion correction process of the image projection device alignment method according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only these embodiments allow the disclosure of the present invention to be complete, and common knowledge in the art to which the present invention pertains It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing the embodiments of the present invention, if it is determined that a detailed description of a well-known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, the terms to be described later are terms defined in consideration of functions in an embodiment of the present invention, which may vary according to intentions or customs of users and operators. Therefore, the definition should be made based on the content throughout this specification.

도 1은 본 발명의 일 실시예에 따른 영상 투사 시스템의 전반적인 구성을 도시한 도면이다. 도 1의 영상 투사 시스템(10)은 작은 크기의 패널(panel)로부터 출력되는 영상을 크게 확대하여 사람들에게 보여주기 위한 시스템으로, 영상 투사 기기(200)와 스크린(300)을 포함할 수 있다. 단, 이러한 도 1의 영상 투사 시스템(10)는 본 발명의 일 실시예에 불과하므로, 도 1을 통해 본 발명의 사상이 한정 해석되는 것은 아니며, 도시된 것 외의 다른 구성 요소를 추가로 포함할 수 있다.1 is a diagram illustrating an overall configuration of an image projection system according to an embodiment of the present invention. The image projection system 10 of FIG. 1 is a system for greatly magnifying and showing an image output from a small-sized panel, and may include an image projection device 200 and a screen 300 . However, since the image projection system 10 of FIG. 1 is only an embodiment of the present invention, the spirit of the present invention is not limitedly interpreted through FIG. 1 , and may include additional components other than those shown. can

영상 투사 기기(200)는 스크린(300)에 크게 확대되어 투사될 최초 영상을 출력할 수 있다. 상기 최초 영상의 출력은, 영상 투사 기기(200)가 최초 영상의 각 부분을 표현하기 위한 광선(210)을 스크린(300)을 향해 방사함으로써 수행될 수 있다. 그러면 스크린(300) 상의 서로 다른 위치에 투사된 여러 다발의 광선(210)에 의해, 최초 영상의 확대된 영상(310)이 스크린(300) 상에 형성된다. 스크린(300)은 그 위에 영상을 형성하기 위해 따로 제작될 수도 있지만, 건물의 내벽 등을 스크린(300)으로서 사용하는 것도 가능할 것이다.The image projection device 200 may output an initial image to be projected on the screen 300 by being greatly enlarged. The output of the initial image may be performed by the image projection device 200 emitting light rays 210 for expressing each part of the initial image toward the screen 300 . Then, an enlarged image 310 of the original image is formed on the screen 300 by the bundles of rays 210 projected to different positions on the screen 300 . The screen 300 may be separately manufactured to form an image thereon, but it will also be possible to use the inner wall of a building as the screen 300 .

다만, 앞서 언급한 바와 같이, 영상 투사 기기(200) 내에 포함된 광학계(光學系, optical system)의 초점이 맞지 않으면 영상(310)의 선명도가 저하될 수 있으며, 영상 투사 기기(200)의 정렬 상태가 틀어지면, 영상(310)의 형상이 왜곡될 수 있다. 영상의 왜곡은 크게 광학계가 가지는 고유한 광학 왜곡과 광학계와 스크린의 배치에서 비롯되는 평행 왜곡으로 분류할 수 있다. 여기서 광학 왜곡이란, 이상적인 광학계를 통과할 경우 스크린에 투사될 영상과, 실제로 스크린에 투사된 영상 간의 차이를 가리키는 개념으로, 광학 기술 분야의 통상의 기술자에게 익숙한 개념이다. 평행 왜곡은 원근에서 기초한 키스톤(keystone) 왜곡이 대표적이다.However, as mentioned above, if the optical system included in the image projection device 200 is out of focus, the sharpness of the image 310 may be deteriorated, and the alignment of the image projection device 200 may be reduced. If the state is changed, the shape of the image 310 may be distorted. Image distortion can be largely classified into optical distortion inherent in the optical system and parallel distortion resulting from the arrangement of the optical system and the screen. Here, the optical distortion is a concept that indicates a difference between an image to be projected on a screen and an image actually projected on the screen when it passes through an ideal optical system, and is a concept familiar to those skilled in the art of optical technology. A representative example of parallel distortion is keystone distortion based on perspective.

영상(310)의 왜곡에 대해서는 이하에서 도 1을 참조하여 부연 설명을 하도록 한다. 도 1에는, 영상 투사 기기(200)가 직사각형의 영상을 스크린(300)에 표시하고자 했으나, 영상 투사 기기(200)의 정렬이 잘못되어 스크린(300)에 직사각형이 아닌 사다리꼴의 영상(310)이 형성된 상황이 표현되어 있다. 이러한 종류의 왜곡을 키스톤(keystone) 왜곡이라 하며, 영상 투사 기기(200)의 광학계의 광축(光軸, optical axis)이 스크린(300)에 수직하지 않을 때 발생할 수 있다. 따라서 이와 같은 왜곡을 제거하려면, 상기 광축과 스크린(300)이 직교하도록 하기 위해, 영상 투사 기기(200)의 오리엔테이션(orientation)을 조정하는 등의 방식으로 영상 투사 기기(200)의 정렬 상태를 조절할 필요가 있다. 도 1에서는 상하 방향으로의 광축 틀어짐이 발생하였으나, 좌우 방향으로의 회전 틀어짐은 단순히 자이로(gyro) 센서의 동작으로 알아내기 어렵다.The distortion of the image 310 will be described in more detail below with reference to FIG. 1 . In FIG. 1 , the image projection device 200 tried to display a rectangular image on the screen 300 , but the image projection device 200 was misaligned, so that the non-rectangular trapezoidal image 310 was formed on the screen 300 . situation is expressed. This kind of distortion is called keystone distortion, and may occur when the optical axis of the optical system of the image projection device 200 is not perpendicular to the screen 300 . Therefore, in order to remove such distortion, the alignment state of the image projection device 200 is adjusted by adjusting the orientation of the image projection device 200 so that the optical axis and the screen 300 are orthogonal to each other. There is a need. In FIG. 1 , the optical axis shifted in the vertical direction, but the rotational shift in the left and right directions is difficult to detect simply by the operation of the gyro sensor.

이에 이와 같은 왜곡 보정 및 영상(310)의 선명도 향상을 위해, 본 발명의 일 실시예에 따른 영상 투사 시스템(10)은 영상 투사 기기(200)의 초점 혹은 정렬 상태를 조절할 수 있는 영상 투사 기기 정렬 장치(100)를 더 포함할 수 있다. 영상 투사 기기 정렬 장치(100)는 도 1에 도시된 바와 같이 영상 투사 기기(200)와 물리적으로 분리된 별도의 장치로서 구현될 수 있겠지만, 영상 투사 기기 정렬 장치(100)에 일체화되어 구현될 수도 있을 것이다.Accordingly, in order to correct the distortion and improve the sharpness of the image 310 , the image projection system 10 according to an embodiment of the present invention aligns the image projection device capable of adjusting the focus or alignment state of the image projection device 200 . The device 100 may further include. The image projection device alignment device 100 may be implemented as a separate device physically separated from the image projection device 200 as shown in FIG. 1 , but may be implemented integrally with the image projection device alignment device 100 . There will be.

도 2는 본 발명의 일 실시예에 따른 영상 투사 시스템에 포함된 영상 투사 기기 정렬 장치의 구성을 도시한 도면이다. 도 2의 영상 투사 기기 정렬 장치(100)는 입력부(110), 영상 분석부(120) 및 제어부(130)를 포함할 수 있다. 다만, 이러한 도 2의 영상 투사 기기 광축 장치(100)는 본 발명의 일 실시예에 불과하므로, 도 2를 통해 본 발명의 사상이 한정 해석되는 것은 아니며, 도시된 것 외의 다른 구성 요소를 추가로 포함할 수 있다.2 is a diagram showing the configuration of an image projection device alignment device included in the image projection system according to an embodiment of the present invention. The image projection device alignment apparatus 100 of FIG. 2 may include an input unit 110 , an image analysis unit 120 , and a control unit 130 . However, since the image projection device optical axis device 100 of FIG. 2 is only an embodiment of the present invention, the spirit of the present invention is not limitedly interpreted through FIG. 2 , and other components other than those shown are additionally may include

입력부(110)는 영상 투사 기기(200)가 방사한 광선(210)에 의해 스크린(300) 상에 형성되는 영상(310)을 촬영한 이미지를 획득할 수 있다. 이를 위해, 입력부(110)는 카메라(camera) 등의 촬상 장치를 포함하고, 상기 촬상 장치를 이용하여 직접 스크린(300)의 영상(310)을 촬영함으로써 이미지를 얻을 수 있다. 이와 달리, 입력부(110)는 직접 이미지를 촬영하는 대신 별도의 외부 장치가 촬영한 영상(310)의 이미지를 상기 외부 장치로부터 전달받을 수도 있다. 이 경우, 입력부(110)는 데이터 전송을 위한 데이터 버스 혹은 통신 모듈 등의 하드웨어 구성을 포함하여 구현될 수 있다.The input unit 110 may acquire an image obtained by capturing the image 310 formed on the screen 300 by the light beam 210 emitted by the image projection device 200 . To this end, the input unit 110 includes an imaging device such as a camera, and may obtain an image by directly photographing the image 310 of the screen 300 using the imaging device. Alternatively, the input unit 110 may receive an image of the image 310 captured by a separate external device from the external device instead of directly capturing the image. In this case, the input unit 110 may be implemented including a hardware configuration such as a data bus or a communication module for data transmission.

한편, 영상(310)의 이미지는 영상 투사 기기(200)와 거의 같은 위치에서 촬영되는 것이 바람직한데, 영상 투사 기기(200)가 초단초점 빔 프로젝터인 경우 스크린(300)의 크기에 비해 영상 투사 기기(200)와 스크린(300) 간의 거리가 지나치게 가까워, 일반적인 촬상 장치로는 스크린(300) 상의 영상(310) 전체를 하나의 이미지로 담아내기가 어려울 수 있다. On the other hand, the image of the image 310 is preferably taken at almost the same position as the image projection device 200, compared to the size of the screen 300 when the image projection device 200 is an ultra-short-throw beam projector. Since the distance between 200 and the screen 300 is too close, it may be difficult to capture the entire image 310 on the screen 300 as one image with a general imaging device.

이에 본 발명의 일 실시예에서는, 입력부(110)가 직접 촬상 장치를 포함할 경우, 초단초점 빔 프로젝터의 화각이 매우 크기 때문에 통상의 촬상 장치로는 전체 영상의 왜곡을 알기 어렵거나, 초단초점 빔 프로젝터와 동일한 화각을 구현하면서 왜곡이 매우 적은 영상 입력 장치는 통상 렌즈 매수가 증가하며 사이즈가 커지는 경우가 많다. 따라서 상기 촬상 장치가 어안 렌즈(fisheye lens)와 같이 넓은 화각(畵角)을 갖는 초광각(超廣角) 렌즈를 구비하도록 함으로써, 영상(310) 전체의 이미지를 용이하게 얻을 수 있다. 다만, 어안 렌즈를 이용하여 얻어진 이미지는 실제의 영상(310)과는 그 형상에 차이가 있다. 따라서, 이미지로부터 실제의 영상(310)을 복원하기 위해서는 적절한 변환 과정을 거칠 필요가 있으며, 이에 대해서는 뒤에서 구체적으로 설명하도록 한다.Accordingly, in one embodiment of the present invention, when the input unit 110 includes a direct imaging device, since the angle of view of the ultra-short-throw projector is very large, it is difficult to know the distortion of the entire image with a conventional imaging device, or the ultra-short-throw beam An image input device that implements the same angle of view as a projector and has very little distortion usually increases the number of lenses and increases in size. Accordingly, by providing the imaging device with an ultra-wide-angle lens having a wide angle of view, such as a fisheye lens, an image of the entire image 310 can be easily obtained. However, the image obtained using the fisheye lens is different from the actual image 310 in its shape. Therefore, in order to reconstruct the actual image 310 from the image, it is necessary to undergo an appropriate conversion process, which will be described in detail later.

영상 분석부(120)는 입력부(110)에 의해 획득된 이미지를 이용하여, 영상(310)의 왜곡에 관한 정보를 얻을 수 있다. 보다 구체적으로, 영상 분석부(120)는 상기 획득된 이미지로부터 실제의 영상(310)을 복원함으로써 상기 왜곡에 관한 정보를 얻을 수 있으며, 상기 정보는 후술할 제어부(130)에 의해 수행될 영상 투사 기기(200)의 정렬 상태 조절을 위한 자료가 될 수 있다.The image analyzer 120 may obtain information about the distortion of the image 310 by using the image acquired by the input unit 110 . More specifically, the image analysis unit 120 may obtain information about the distortion by restoring the actual image 310 from the acquired image, and the information is image projection to be performed by the controller 130 to be described later. It may be data for adjusting the alignment state of the device 200 .

또한, 영상 분석부(120)는 상기 획득된 이미지로부터 영상(310)의 선명도에 관한 정보 역시 함께 얻을 수 있으며, 이는 제어부(130)에 의해 수행될 영상 투사 기기(200)의 초점 조절을 위한 자료가 될 수 있다. 한편, 초단초점 빔 프로젝터에서는 초점 변동에 따라 영상(310)의 왜곡의 정도도 함께 크게 변할 가능성이 높으므로, 우선 영상 투사 기기(200)의 초점을 정확히 맞춘 후 영상(310)의 왜곡에 대해 분석하는 것이 좋다. 즉, 초점 조절은 영상(310)의 선명도 확보를 위한 것이기도 하지만, 더 나아가 영상(310)의 왜곡 보정을 위한 선행 작업으로서의 의미도 가질 수 있다.In addition, the image analysis unit 120 may also obtain information on the sharpness of the image 310 from the obtained image, which is data for focus adjustment of the image projection device 200 to be performed by the controller 130 . can be On the other hand, in the ultra-short throw beam projector, since the degree of distortion of the image 310 is highly likely to change greatly according to the change in focus, first, the image projection device 200 is accurately focused and then the distortion of the image 310 is analyzed. good to do That is, the focus adjustment is for securing the sharpness of the image 310 , but may also have a meaning as a prior work for correcting the distortion of the image 310 .

지금까지 설명한 바와 같이 초점 조절 및 왜곡 보정 기능을 수행할 수 있는 영상 분석부(120)는 마이크로프로세서(microprocessor)를 포함하는 연산 장치에 의해 구현될 수 있으며, 영상 분석부(120)가 상기 이미지로부터 정보를 얻는 구체적인 방법에 대해서는 뒤에서 자세히 설명하도록 한다.As described so far, the image analysis unit 120 capable of performing focus adjustment and distortion correction functions may be implemented by a computing device including a microprocessor, and the image analysis unit 120 receives the image from the image. The specific method of obtaining information will be described in detail later.

제어부(130)는 영상 분석부(120)가 상기 이미지로부터 얻은 정보에 기초하여, 영상 투사 기기(200)의 정렬 상태 혹은 초점의 조절을 수행할 수 있다. 이러한 조절 동작을 위해서는 영상 투사 기기(200)에 물리적인 힘을 가해야 할 필요가 있으므로, 제어부(130)는 예컨대 스텝 모터(step motor)와 같은 동력 공급 장치를 포함할 수 있다.The controller 130 may adjust the alignment state or focus of the image projection device 200 based on the information obtained from the image by the image analysis unit 120 . Since it is necessary to apply a physical force to the image projection device 200 for such an adjustment operation, the controller 130 may include, for example, a power supply device such as a step motor.

또한, 제어부(130)는 기 정해진 기준 영상이 스크린(300) 상에 투사되도록 영상 투사 기기(200)를 제어할 수 있다. 상기 기준 영상은 영상 분석부(120)의 정보 획득을 용이하게 할 목적으로 정해진 영상이며, 자세한 사항에 대해서는 후술한다. 이와 같은 제어 동작을 위해, 제어부(130)는 영상 분석부(120)와 마찬가지로 마이크로프로세서(microprocessor)를 포함하는 연산 장치를 구비할 수 있으며, 상기 연산 장치는 영상 분석부(120)와 제어부(130)에 의해 공유되도록 구현될 수도 있다.Also, the controller 130 may control the image projection device 200 so that a predetermined reference image is projected on the screen 300 . The reference image is an image determined for the purpose of facilitating information acquisition of the image analysis unit 120 , and details will be described later. For such a control operation, the controller 130 may include an arithmetic device including a microprocessor, like the image analyzer 120 , and the arithmetic device includes the image analyzer 120 and the controller 130 . ) may be implemented to be shared by

도 3은 본 발명의 일 실시예에 따른 영상 투사 기기 정렬 방법의 각 단계를 설명하기 위한 도면이다. 도 3의 영상 복원 방법은 도 1 및 2를 참조하여 설명한 영상 투사 기기 정렬 장치(100)에 의해 수행될 수 있다. 단, 도 3에 도시된 방법은 본 발명의 일 실시예에 불과하므로 도 3에 의해 본 발명의 사상이 한정 해석되는 것은 아니며, 도 3에 도시된 방법의 각 단계는 경우에 따라 도면에 도시된 바와 그 순서를 달리하여 수행될 수 있음은 물론이다.3 is a view for explaining each step of the image projection device alignment method according to an embodiment of the present invention. The image restoration method of FIG. 3 may be performed by the image projection device alignment apparatus 100 described with reference to FIGS. 1 and 2 . However, since the method shown in FIG. 3 is only an embodiment of the present invention, the spirit of the present invention is not limitedly interpreted by FIG. 3 , and each step of the method shown in FIG. 3 is shown in the drawings in some cases. Of course, it may be performed by changing the bar and the order thereof.

우선, 제어부(130)는 영상 투사 기기(200)를 제어함으로써 스크린(300)에 영상(310)이 출력되도록 할 수 있다(S110). 이러한 영상(310)은 바람직하게는 기 정해진 기준 영상이 될 수 있음은 전술한 바와 같다.First, the controller 130 may control the image projection device 200 to output the image 310 to the screen 300 ( S110 ). As described above, the image 310 may preferably be a predetermined reference image.

다음으로, 입력부(110)가 스크린(300)을 촬영함으로써 영상(310)의 이미지를 획득할 수 있으며(S120), 영상 분석부(120)는 상기 획득된 이미지를 이용하여 영상(310)의 선명도를 분석할 수 있다(S130). 이러한 이미지는 어안 렌즈를 이용하여 획득될 수 있으며, 이 경우 획득된 이미지로부터 어안 렌즈에 의한 왜곡을 고려하여 실제의 영상(310)을 복원할 필요가 있음은 앞서 설명한 바 있다. 상기 복원 과정은 후술할 단계 S160에서 수행될 영상(310)의 왜곡 정도 산출을 위해서는 반드시 필요하지만, 단계 S130의 선명도 분석에는 복원 과정이 수반되지 않을 수도 있다.Next, the input unit 110 may acquire an image of the image 310 by photographing the screen 300 ( S120 ), and the image analysis unit 120 uses the acquired image to sharpen the image 310 . can be analyzed (S130). Such an image may be acquired using a fisheye lens, and in this case, it has been described above that the actual image 310 needs to be restored from the acquired image in consideration of distortion caused by the fisheye lens. The restoration process is absolutely necessary for calculating the distortion degree of the image 310 to be performed in step S160, which will be described later, but the restoration process may not be accompanied by the sharpness analysis in step S130.

도 4는 본 발명의 일 실시예에 따른 영상 투사 기기에 의해 출력될 수 있는 기준 영상에 대해 설명하기 위한 도면이다. 제어부(130)의 제어에 의해 스크린(300)에 출력된 기준 영상(320)은, 도 4에 도시된 바와 같이 복수의 영역으로 분할될 수 있으며, 상기 복수의 영역 각각은 기 정해진 기준 명도차 이상의 차이를 갖는 두 가지의 명도 중 하나를 가질 수 있다. 예컨대, 각 영역은 검은색과 흰색 중 하나의 색을 띨 수 있으며, 인접한 영역끼리는 같은 색을 띠지 않도록 할 수 있다. 4 is a view for explaining a reference image that can be output by the image projection device according to an embodiment of the present invention. The reference image 320 output to the screen 300 under the control of the controller 130 may be divided into a plurality of regions as shown in FIG. 4 , and each of the plurality of regions has a difference greater than or equal to a predetermined reference brightness difference. It can have one of two different brightness levels. For example, each region may have one of black and white colors, and adjacent regions may not have the same color.

이하에서는 도 4를 참조하여, 영상 분석부(120)에 의한 선명도 분석 과정에 대해 설명하도록 한다. 영상 분석부(120)는, 전술한 기준 영상(320)을 촬영한 이미지로부터, 흰색 영역(323)의 일부와 검은색 영역(324)의 일부를 함께 포함하는 기 정해진 크기의 기준 영역(321)을 추출할 수 있다. 이 때, 흰색 영역(323)과 검은색 영역(324)은 서로 인접한 영역으로 추출할 수 있으며, 이에 따라 흰색 영역(323)과 검은색 영역(324) 사이의 경계선(325)이 상기 기준 영역(321)에 함께 포함될 수 있다.Hereinafter, a sharpness analysis process by the image analyzer 120 will be described with reference to FIG. 4 . The image analyzer 120 may include a reference area 321 of a predetermined size including a portion of the white area 323 and a portion of the black area 324 from the image obtained by capturing the above-described reference image 320 . can be extracted. At this time, the white area 323 and the black area 324 may be extracted as adjacent areas, and accordingly, the boundary line 325 between the white area 323 and the black area 324 is the reference area ( 321) can be included.

이 때, 상기 경계선(325)의 선명도를 이용하여 기준 영상(320)의 선명도를 판별할 수 있다. 기준 영상(320)이 선명할 경우, 기준 영상(320)을 촬영한 이미지 내의 경계선(325) 역시 선명하게 표현될 것이나, 영상 투사 기기(200)의 초점이 맞지 않아 기준 영상(320)의 선명도가 낮을 경우, 이미지 내에서의 경계선(325) 역시 흐릿하게 표현될 것이다. 여기서 경계선(325)이 흐릿하다는 것은, 경계선(325)이 선명할 때에 비해 경계선(325)에서의 명도 변화가 급격하지 않게, 즉 완만하게 일어난다는 것을 의미한다.In this case, the sharpness of the reference image 320 may be determined using the sharpness of the boundary line 325 . When the reference image 320 is clear, the boundary line 325 in the image obtained by photographing the reference image 320 will also be clearly expressed, but the sharpness of the reference image 320 is reduced because the image projection device 200 is out of focus. If it is low, the boundary line 325 in the image will also be rendered blurry. Here, when the boundary line 325 is blurred, it means that the change in brightness at the boundary line 325 is not abrupt, that is, gently occurs compared to when the boundary line 325 is clear.

이러한 점을 이용하여, 영상 분석부(120)는 상기 기준 영역(321)에 대해 주파수 분석을 수행함으로써 기준 영상(320)의 선명도를 알아낼 수 있다. 기준 영상(320)의 선명도가 높다면, 경계선(325)에서의 급격한 명도 변화로 인해 기준 영역(321)의 주파수 스펙트럼에서 고주파 성분의 비중이 높게 나타날 것이다. 이에 반해 기준 영상(320)의 선명도가 낮다면, 상대적으로 완만한 명도 변화로 인해 고주파 성분의 비중이 비교적 낮게 나타날 것이다.Using this point, the image analyzer 120 may find out the sharpness of the reference image 320 by performing frequency analysis on the reference region 321 . If the sharpness of the reference image 320 is high, the proportion of the high frequency component in the frequency spectrum of the reference region 321 will be high due to a sharp change in the brightness at the boundary line 325 . On the other hand, if the sharpness of the reference image 320 is low, the proportion of the high frequency component will appear relatively low due to a relatively gentle change in brightness.

이에 따라, 기준 영역(321)의 주파수 스펙트럼에서 고주파 성분이 차지하는 비중에 기초하여 기준 영상(320)의 선명도를 산출할 수 있다. 보다 구체적으로는, 기준 영역(321)의 주파수 스펙트럼에서 기 정해진 기준 주파수 이상의 성분이 차지하는 비율을 고주파 성분비라 정의하고, 기준 영상(320)의 선명도를 상기 고주파 성분비에 비례하는 값으로 결정할 수 있다.Accordingly, the sharpness of the reference image 320 may be calculated based on the proportion of the high frequency component in the frequency spectrum of the reference region 321 . More specifically, a ratio occupied by a component equal to or greater than a predetermined reference frequency in the frequency spectrum of the reference region 321 may be defined as a high frequency component ratio, and the sharpness of the reference image 320 may be determined as a value proportional to the high frequency component ratio.

여기에서, 기준 영역(321)의 주파수 스펙트럼은 푸리에 변환(Fourier transform)을 통해 얻어질 수 있으며, 연산 시간의 단축을 위해 고속 푸리에 변환(fast Fourier transform, FFT)을 이용할 수도 있다. 혹은, 통상 광학계의 해상력 성능 지표로 널리 쓰이는 변조 전달 함수(modulation transfer function, MTF)가 이용될 수도 있다.Here, the frequency spectrum of the reference region 321 may be obtained through a Fourier transform, and a fast Fourier transform (FFT) may be used to shorten the calculation time. Alternatively, a modulation transfer function (MTF), which is commonly used as a resolution performance index of an optical system, may be used.

한편, 같은 기준 영상(320) 내에서도 선명도는 위치에 따라 다를 수 있다. 예컨대, 일반적으로 광축에 가까운 위치가 광축으로부터 먼 위치보다 높은 선명도를 가질 가능성이 높다. 이는 광학계의 비점수차 특성으로 인해 발생하는 상면만곡에 기인하는 것으로, 한 위치에서의 주파수 분석 결과만으로 선명도를 결정하면 다소 부정확한 결과가 나올 수 있다. 이와 같은 문제를 해결하기 위해, 영상 분석부(120)는 기준 영역(321)을 이미지 내의 서로 다른 위치로부터 복수 개 추출하고, 각 기준 영역(321)에 대해 산출된 고주파 성분비의 평균에 기초하여 기준 영상(320)의 선명도를 결정할 수 있다.Meanwhile, even within the same reference image 320 , the sharpness may be different depending on the location. For example, in general, a position close to the optical axis is more likely to have higher sharpness than a position far from the optical axis. This is due to the field curvature caused by the astigmatism characteristic of the optical system, and if the sharpness is determined only by the frequency analysis result at one location, somewhat inaccurate results may be obtained. In order to solve this problem, the image analyzer 120 extracts a plurality of reference regions 321 from different positions in the image, and based on the average of the high frequency component ratios calculated for each reference region 321 , a reference The sharpness of the image 320 may be determined.

이하에서는 영상 투사 기기(200)의 오프셋(offset)이 100%인 경우를 예로 들어 설명하도록 한다. 이 때, 영상 투사 기기(200)의 광축은 기준 영상(320)의 밑변을 지나가게 되며, 이에 따라 기준 영상(320)의 하단부가 기준 영상(320)의 다른 위치에 비해 높은 선명도를 갖게 될 것이다. 그러면 위에서 설명한 원칙에 따라, 선명도가 높은 기준 영상(320) 하단부와, 상대적으로 선명도가 낮은 기준 영상(320) 중앙부의 두 곳에서 각각 기준 영역(322, 321)을 추출할 수 있으며, 두 기준 영역(322, 321) 각각에 대해 산출된 고주파 성분비의 평균에 비례하는 값으로 기준 영상(320)의 선명도를 결정할 수 있다. 전술한 바와 같이, 고속 푸리에 변환을 이용하여 고주파 성분비를 산출할 수 있겠지만, 각 기준 영역(322, 321)의 MTF 값의 평균에 기초하여 기준 영상(320)의 선명도를 결정할 수도 있을 것이다.Hereinafter, a case in which the offset of the image projection device 200 is 100% will be described as an example. At this time, the optical axis of the image projection device 200 passes the base of the reference image 320 , and accordingly, the lower end of the reference image 320 will have higher clarity than other positions of the reference image 320 . . Then, according to the principle described above, the reference regions 322 and 321 may be extracted from the lower portion of the reference image 320 with high sharpness and the central portion of the reference image 320 with relatively low sharpness, respectively, and the two reference regions The sharpness of the reference image 320 may be determined as a value proportional to the average of the high frequency component ratios calculated for each of (322, 321). As described above, the high frequency component ratio may be calculated using the fast Fourier transform, but the sharpness of the reference image 320 may be determined based on the average of the MTF values of each of the reference regions 322 and 321 .

전술한 바와 같은 과정에 따라 기준 영상(320)의 선명도가 산출되면, 제어부(130)는 상기 산출된 선명도에 기초하여 영상 투사 기기(200)의 초점을 조절할 수 있다. 보다 구체적으로, 제어부(130)는 상기 산출된 선명도가 기 정해진 기준 선명도 이상인지를 판단하고, 기준 선명도 이상일 경우 초점이 맞았다고 판단하고, 그렇지 않을 경우 초점이 맞지 않았다고 판단할 수 있다(S140).When the sharpness of the reference image 320 is calculated according to the above-described process, the controller 130 may adjust the focus of the image projection device 200 based on the calculated sharpness. More specifically, the controller 130 may determine whether the calculated sharpness is equal to or greater than a predetermined reference sharpness, and if it is equal to or greater than the reference sharpness, it may be determined that focus is achieved, otherwise, it may be determined that focus is not achieved ( S140 ).

초점이 맞지 않았다고 판단될 경우, 제어부(130)는 영상 투사 기기(200)에 포함되어 광선(210)을 통과시키는 하나 이상의 렌즈(이하에서는 "구동군"이라 칭함)의 위치를 조절함으로써 영상 투사 기기(200)의 초점을 조절할 수 있다(S150). 초점 조절을 위해, 제어부(130)는 상기 구동군을 영상 투사 기기(200)의 광축에 평행한 경로를 따라 이동시킬 수 있다. When it is determined that the focus is not achieved, the controller 130 adjusts the position of one or more lenses (hereinafter, referred to as “drivers”) that are included in the image projection device 200 and pass the light rays 210 through the image projection device. The focus of 200 may be adjusted (S150). To adjust the focus, the controller 130 may move the driving group along a path parallel to the optical axis of the image projection device 200 .

보다 구체적으로, 제어부(130)는 초점이 맞지 않았다고 판단될 경우, 구동군을 광축에 평행한 경로 상에서 특정 방향으로 임의의 거리만큼 이동시킬 수 있으며, 이동이 완료됨에 따른 새로운 조건에서 상기 선명도 산출을 위한 과정을 수행하도록 입력부(110)와 영상 분석부(120)를 제어할 수 있다. 만일 상기 이동으로 인해 선명도가 오히려 감소했다면, 제어부(130)는 구동군의 이동 방향을 반대 방향으로 전환할 수 있다. 반대로, 상기 이동에 의해 선명도가 증가했다면, 제어부(130)는 이동 방향을 전환하지 않은 채로, 선명도가 상기 기준 선명도 이상이 될 때까지 이미지 획득, 획득된 이미지의 선명도 산출 및 임의의 거리만큼의 구동군 이동을 반복할 수 있다. 즉, 상기 반복 과정 중에 획득된 새로운 이미지의 선명도가 기준 선명도 이상이면, 제어부(130)는 영상 투사 기기(200)의 초점이 맞았다고 판단할 수 있다.More specifically, when it is determined that the focus is not achieved, the controller 130 may move the driving group by an arbitrary distance in a specific direction on a path parallel to the optical axis, and calculate the sharpness under a new condition as the movement is completed. It is possible to control the input unit 110 and the image analysis unit 120 to perform the process. If the sharpness is rather decreased due to the movement, the controller 130 may change the movement direction of the driving group to the opposite direction. Conversely, if the sharpness is increased by the movement, the controller 130 acquires the image, calculates the sharpness of the acquired image, and drives the image by an arbitrary distance until the sharpness becomes the reference sharpness or more, without changing the movement direction. Army moves can be repeated. That is, if the sharpness of the new image acquired during the repetition process is equal to or greater than the reference sharpness, the controller 130 may determine that the image projection device 200 is in focus.

지금까지 설명한 바와 같은 과정을 거쳐 영상 투사 기기(200)의 초점 조절이 완료되면, 다음으로는 초점 조절이 완료되었다고 판단된 상태에서 획득된 이미지를 이용하여 왜곡 보정을 수행할 수 있다. 이를 위해 우선, 영상 분석부(120)는 상기 획득된 이미지를 이용하여 영상(310)의 왜곡 정도를 산출할 수 있는데(S160), 전술한 바와 같이 어안 렌즈와 같은 광각 렌즈를 이용하여 이미지를 촬영할 경우 영상(310) 자체의 왜곡뿐 아니라 렌즈 특성에 따른 왜곡도 발생하므로, 이미지 내에서 렌즈 특성에 따른 왜곡을 우선적으로 제거함으로써 영상(310)의 실제 형상을 복원할 필요가 있다.When the focus adjustment of the image projection device 200 is completed through the process as described so far, distortion correction may be performed using the image obtained in a state where it is determined that the focus adjustment is completed. To this end, first, the image analysis unit 120 may calculate the degree of distortion of the image 310 by using the obtained image (S160). In this case, since distortion according to lens characteristics as well as distortion of the image 310 itself occurs, it is necessary to restore the actual shape of the image 310 by preferentially removing distortion according to lens characteristics in the image.

이에 따라 영상 분석부(120)는, 입력부(110)의 광학적 특성(보다 정확히는, 입력부(110)의 촬상 장치에 포함되어 이미지 촬영에 이용된 렌즈의 광학적 특성), 영상 투사 기기(200)과 스크린(300) 간의 거리 등의 인자에 기초하여, 스크린(300) 상에 투사된 영상(310)의 정확한 형상을 상기 이미지로부터 복원할 수 있다.Accordingly, the image analysis unit 120 includes the optical characteristics of the input unit 110 (more precisely, the optical characteristics of a lens included in the imaging device of the input unit 110 and used for image capturing), the image projection device 200 and the screen. The exact shape of the image 310 projected on the screen 300 may be restored from the image based on factors such as the distance between the 300 .

도 5는 본 발명의 일 실시예에 따른 영상 투사 기기 정렬 장치에 적용될 수 있는 어안 렌즈의 유형에 대해 설명하기 위한 도면이다. 도 5에서 보는 바와 같이, 설사 스크린(300) 상에 형성된 영상(310)에 왜곡이 없다 해도, 어안 렌즈로 영상(310)을 촬영한 이미지에는 렌즈의 광학적 특성에 의한 왜곡이 발생하기 때문에, 실제 영상(310)의 형상과 이미지에 담긴 형상 간에는 차이가 생기게 된다. 이러한 렌즈 자체의 왜곡은 어안 렌즈의 광학적 특성에 따라 저마다 다를 수 있다. 5 is a view for explaining a type of fisheye lens that can be applied to the image projection device alignment apparatus according to an embodiment of the present invention. As shown in FIG. 5 , even if there is no distortion in the image 310 formed on the screen 300 , the image captured by the image 310 with the fisheye lens is distorted due to the optical characteristics of the lens. There is a difference between the shape of the image 310 and the shape contained in the image. The distortion of the lens itself may be different depending on the optical characteristics of the fisheye lens.

예컨대, 도 5의 (A), (B), (C), (D)는 같은 대상을 각각 stereographic, equidistant, equisolid angel, orthographic 타입을 갖는 4개의 어안 렌즈를 이용하여 촬영함으로써 얻어진 이미지이다. 도 5를 통해, 어안 렌즈의 타입이 달라짐에 따라 같은 대상을 촬영해도 획득되는 이미지가 달라짐을 볼 수 있다. 참고로, 상기 어안 렌즈의 타입 중 stereographic 타입의 렌즈는 주변부의 영상 정보를 많이 취득할 수 있어 왜곡 보정에 유리하므로, 입력부(110)의 촬상 장치를 위해 바람직하게 채택될 수 있다.For example, (A), (B), (C), and (D) of FIG. 5 are images obtained by photographing the same object using four fisheye lenses having stereographic, equidistant, equisolid angel, and orthographic types, respectively. Referring to FIG. 5 , it can be seen that the obtained image is different even when the same object is photographed as the type of the fisheye lens is changed. For reference, among the fisheye lens types, the stereographic type lens can acquire a lot of image information on the periphery, which is advantageous for distortion correction, and thus can be preferably used for the imaging device of the input unit 110 .

전술한 바에 따라, 영상(310)의 완벽한 복원을 위해서는 입력부(110)의 촬상 장치에 사용된 렌즈의 광학적 특성을 알 필요가 있으며, 영상 분석부(120)는 상기 렌즈의 광학적 특성에 관한 정보가 고려된 매핑 함수(mapping function)를 이용하여 영상(310)의 복원을 수행할 수 있다. 즉, 상기 매핑 함수는 실제 영상(310)과 상기 실제 영상(310)을 렌즈를 이용하여 촬영한 이미지 사이의 관계를 나타내는 것이라 볼 수 있다.As described above, in order to completely restore the image 310, it is necessary to know the optical characteristics of the lens used in the imaging device of the input unit 110, and the image analysis unit 120 provides information on the optical characteristics of the lens. The image 310 may be restored using the considered mapping function. That is, the mapping function can be regarded as representing a relationship between the real image 310 and an image photographed using the lens of the real image 310 .

도 6은 본 발명의 일 실시예에 따른 영상 투사 기기 정렬 방법의 왜곡 보정 과정에 대해 설명하기 위한 도면이다. 도 6의 (A)는 스크린(300)의 영상(310)을 어안 렌즈가 장착된 입력부(110)의 촬상 장치로 촬영한 이미지로, 어안 렌즈의 광학적 특성에 의한 왜곡으로 인해 영상(310)에 해당하는 부분의 경계가 곡선으로 이루어져 있음을 볼 수 있다.6 is a view for explaining a distortion correction process of an image projection device alignment method according to an embodiment of the present invention. (A) of FIG. 6 is an image taken by an image pickup device of the input unit 110 equipped with a fisheye lens of the image 310 of the screen 300, and is displayed on the image 310 due to distortion due to the optical characteristics of the fisheye lens. It can be seen that the boundary of the corresponding part consists of a curve.

이에, 영상 분석부(120)는 상기 어안 렌즈를 위한 매핑 함수를 이용하여, 도 6의 (A)의 이미지로부터 본래의 영상(310)을 도 6의 (B)와 같이 복원해낼 수 있다. 즉, 이와 같은 복원 과정은 이미지로부터 어안 렌즈의 광학적 특성에 의한 왜곡을 제외하는 과정이라 할 수 있다. 도 6의 (B)을 보면, 본래의 형상으로 복원되어 영상(310) 자체가 본래 갖는 왜곡만이 남은 영상(310)의 모습을 확인할 수 있다.Accordingly, the image analyzer 120 may reconstruct the original image 310 from the image of FIG. 6A as shown in FIG. 6B by using the mapping function for the fisheye lens. That is, such a restoration process can be said to be a process of excluding distortion due to the optical characteristics of the fisheye lens from the image. Referring to FIG. 6B , it can be seen that the image 310 is restored to its original shape and only the original distortion of the image 310 remains.

이어서, 영상 분석부(120)는 복원된 영상(310)의 형상을 이용하여, 영상(310) 자체가 본래 갖는 왜곡의 정도를 산출할 수 있다. 여기서 왜곡은 통상 평행 왜곡이며, 왜곡의 정도는, 복원된 영상(310)을 복수의 부분으로 분할하고, 상기 복수의 부분 각각에 대해 측정된 왜곡의 값의 크기를 모두 더한 값이 될 수 있다. 또한, 영상(310)의 각 부분에서의 왜곡의 값은 실제로 스크린(300)에 투사된 영상(310)에서 해당 부분의 위치와 영상 투사 기기(200)의 광축 사이의 거리에서, 투사가 이상적으로 되었을 경우의 영상에서 해당 부분의 위치와 상기 광축 사이의 거리를 뺀 값으로 정의될 수 있다.Next, the image analyzer 120 may calculate the degree of distortion inherent in the image 310 by using the shape of the reconstructed image 310 . Here, the distortion is usually parallel distortion, and the degree of distortion may be a value obtained by dividing the reconstructed image 310 into a plurality of parts and adding the magnitudes of distortion values measured for each of the plurality of parts. In addition, the value of the distortion in each part of the image 310 is actually the distance between the position of the corresponding part in the image 310 projected on the screen 300 and the optical axis of the image projection device 200, the projection is ideally It may be defined as a value obtained by subtracting the distance between the position of the corresponding part and the optical axis from the image in the case of the

전술한 바와 같이 영상 분석부(120)가 영상(310)의 왜곡의 정도를 산출하면, 제어부(130)는 왜곡의 보정을 위해 영상 투사 기기(200)의 광축 정렬 상태를 조절할 수 있다(S170). 이 때, 제어부(130)는 영상 투사 기기(200)의 오리엔테이션을 변화시켜 영상 투사 기기(200)의 광축과 스크린(300) 사이의 각도를 조절하는 방법으로 영상 투사 기기(200)의 광축 정렬 상태 조절을 수행할 수 있다.As described above, when the image analyzer 120 calculates the degree of distortion of the image 310 , the controller 130 may adjust the optical axis alignment state of the image projection device 200 to correct the distortion ( S170 ). . At this time, the controller 130 changes the orientation of the image projection device 200 to adjust the angle between the optical axis of the image projection device 200 and the screen 300 , and the optical axis alignment state of the image projection device 200 . control can be performed.

보다 구체적으로, 제어부(130)는 영상 분석부(120)에 의해 산출된 영상(310)의 왜곡의 정도, 영상 투사 기기(200)와 스크린(300) 사이의 거리 등의 정보에 기초하여, 영상 투사 기기(200)의 광축과 스크린(300) 사이의 각도를 알아낼 수 있으며, 상기 알아낸 각도에 기초하여 영상 투사 기기(200)의 광축 정렬 상태 조절을 수행할 수 있다.More specifically, the control unit 130 based on information such as the degree of distortion of the image 310 calculated by the image analysis unit 120 , the distance between the image projection device 200 and the screen 300 , and the like, An angle between the optical axis of the projection device 200 and the screen 300 may be determined, and an optical axis alignment state of the image projection device 200 may be adjusted based on the determined angle.

혹은, 제어부(130)는 영상 투사 기기(200)의 오리엔테이션을 조금씩 변화시켜 가면서 영상(310)의 왜곡의 정도를 조금씩 줄여나갈 수 있다. 이와 같이 왜곡의 정도를 줄여나가는 과정은, 영상(310)의 왜곡의 정도가 기 정해진 임계값 미만이 될 때까지 수행될 수 있다.Alternatively, the controller 130 may gradually reduce the degree of distortion of the image 310 while gradually changing the orientation of the image projection device 200 . This process of reducing the degree of distortion may be performed until the degree of distortion of the image 310 becomes less than a predetermined threshold value.

지금까지 도 3 내지 6을 참조하여 설명한 영상 투사 기기 정렬 방법에 의하면, 스크린(300) 상에 투사된 영상(310)의 선명도 확보 및 왜곡 보정을 수행하여 높은 품질의 영상(310)을 얻는 것이 가능하다.According to the image projection device alignment method described with reference to FIGS. 3 to 6 so far, it is possible to obtain a high-quality image 310 by securing the sharpness and correcting the distortion of the image 310 projected on the screen 300 . do.

본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방법으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.Combinations of each block in the block diagram attached to the present invention and each step in the flowchart may be performed by computer program instructions. These computer program instructions may be embodied in an encoding processor of a general purpose computer, special purpose computer, or other programmable data processing equipment, such that the instructions executed by the encoding processor of the computer or other programmable data processing equipment may correspond to each block of the block diagram or Each step of the flowchart creates a means for performing the functions described. These computer program instructions may also be stored in a computer-usable or computer-readable memory which may direct a computer or other programmable data processing equipment to implement a function in a particular manner, and thus the computer-usable or computer-readable memory. The instructions stored in the block diagram may also produce an item of manufacture containing instruction means for performing the functions described in each block in the block diagram or in each step in the flowchart. The computer program instructions may also be mounted on a computer or other programmable data processing equipment, such that a series of operational steps are performed on the computer or other programmable data processing equipment to create a computer-executed process to create a computer or other programmable data processing equipment. It is also possible that instructions for performing the processing equipment provide steps for carrying out the functions described in each block of the block diagram and each step of the flowchart.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.Further, each block or each step may represent a module, segment, or portion of code that includes one or more executable instructions for executing the specified logical function(s). It should also be noted that in some alternative embodiments it is also possible for the functions recited in blocks or steps to occur out of order. For example, it is possible that two blocks or steps shown one after another may in fact be performed substantially simultaneously, or that the blocks or steps may sometimes be performed in the reverse order according to the corresponding function.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and various modifications and variations will be possible without departing from the essential quality of the present invention by those skilled in the art to which the present invention pertains. Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments. The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be interpreted as being included in the scope of the present invention.

본 발명의 일 실시예에 따르면, 스크린에 형성된 전체 영상을 어안 렌즈와 같은 초광각(超廣角)의 렌즈를 이용하여 촬영한 이미지를 이용하여, 간편하면서도 정확하게 영상의 왜곡 보정 및 선명도 개선을 수행할 수 있다.According to an embodiment of the present invention, by using an image captured by using an ultra-wide-angle lens such as a fisheye lens for the entire image formed on the screen, it is possible to perform simple and accurate image distortion correction and sharpness improvement. have.

10: 영상 투사 시스템
100: 영상 투사 기기 정렬 장치
110: 입력부
120: 영상 분석부
130: 제어부
200: 영상 투사 기기
300: 스크린10: image projection system
100: image projection device alignment device
110: input unit
120: image analysis unit
130: control unit
200: image projection device
300: screen

Claims

an input unit for obtaining an image obtained by photographing the image projected by the image projection device on the screen;
an image analysis unit for calculating a degree of distortion of the image by using the acquired image; and
Based on the degree of distortion, comprising a control unit for adjusting the optical axis alignment state of the image projection device,
The input unit includes an imaging device having an ultra-wide-angle lens with optical distortion,
The image analysis unit restores the image formed on the screen from the acquired image based on a mapping function in which information about the optical characteristics of the ultra-wide-angle lens is considered and the distance between the screen and the image projection device, and the restoration The degree of distortion of the image is calculated as the degree of distortion of the image formed on the screen,
The mapping function represents a relationship between the image formed on the screen and the captured image,
Image projector optical axis alignment device.

The method of claim 1,
The control unit adjusts the optical axis alignment state of the image projection device by adjusting the angle between the optical axis of the image projection device and the screen so that the degree of distortion of the image is less than a predetermined threshold value
Image projector optical axis alignment device.

delete

The method of claim 1,
The degree of distortion of the reconstructed image is a value obtained by dividing the reconstructed image into a plurality of parts and adding all the magnitudes of distortion values measured for each of the plurality of parts.
Image projector optical axis alignment device.

The method of claim 1,
The image is obtained by photographing the entire screen with the ultra-wide-angle lens
Image projector optical axis alignment device.

an input unit for obtaining an image obtained by photographing the image projected by the image projection device on the screen;
an image analysis unit for calculating the sharpness of the image by using the acquired image; and
Based on the sharpness, comprising a control unit for adjusting the focus of the image projection device,
The control unit controls the image projection device so that a reference image including a boundary line formed by two regions in which a difference in brightness is greater than or equal to a predetermined reference brightness difference is projected on the screen;
The image analyzer extracts a region of a predetermined size including a portion in which the boundary line is photographed from the image obtained by photographing the reference image, calculates a frequency spectrum for the extracted region, and from the calculated frequency spectrum calculating the sharpness based on a high-frequency component ratio that is a ratio occupied by a component equal to or greater than a predetermined reference frequency,
Image projection device focusing device.

delete

7. The method of claim 6,
The image analysis unit extracts two or more regions of a predetermined size including the portion in which the boundary line is captured, from different parts of the image from which the reference image is captured, and the extracted two or more regions of a predetermined size. calculating the sharpness based on the average of the high frequency component ratios calculated for each
Image projection device focusing device.

7. The method of claim 6,
The control unit controls the focus of the image projection device by adjusting the positions of one or more lenses included in the image projection device and passing the light beam until the sharpness becomes greater than or equal to a predetermined reference sharpness.
Image projection device focusing device.

10. The method of claim 9,
The control unit, but adjusts the position of the one or more lenses by moving the one or more lenses along a path parallel to the optical axis, when the sharpness is reduced by the movement, changing the direction of the movement
Image projection device focusing device.

acquiring an image obtained by photographing the image projected on the screen by the image projection device;
calculating a degree of distortion of the image by using the acquired image; and
Based on the degree of distortion, comprising the step of adjusting the optical axis alignment state of the image projection device,
Calculating the degree of distortion of the image comprises:
An image formed on the screen is reconstructed from the acquired image based on a mapping function in which information about the optical characteristics of the ultra-wide-angle lens is considered and the distance between the screen and the image projection device, and the degree of distortion of the reconstructed image Calculated as the degree of distortion of the image formed on the screen,
The mapping function represents a relationship between the image formed on the screen and the captured image,
How to align the optical axis of the image projection device.

12. The method of claim 11,
The adjusting includes adjusting the optical axis alignment state of the image projection device by adjusting the angle between the optical axis of the image projection device and the screen so that the degree of distortion of the image is less than a predetermined threshold value. containing
How to align the optical axis of the image projection device.

delete

12. The method of claim 11,
The degree of distortion of the reconstructed image is a value obtained by dividing the reconstructed image into a plurality of parts and adding all the magnitudes of distortion values measured for each of the plurality of parts.
How to align the optical axis of the image projection device.

12. The method of claim 11,
The image is obtained by photographing the entire screen with the ultra-wide-angle lens
How to align the optical axis of the image projection device.

acquiring an image obtained by photographing the image projected on the screen by the image projection device;
calculating the sharpness of the image by using the acquired image; and
Based on the sharpness, comprising the step of adjusting the focus of the image projection device,
The acquiring includes controlling the image projection device so that a reference image including a boundary line formed by two regions in which a difference in brightness is greater than or equal to a predetermined reference brightness difference is projected on the screen, ,
The calculating may include extracting a region of a predetermined size including a portion in which the boundary line is photographed from the image obtained by photographing the reference image, calculating a frequency spectrum for the extracted region, and calculating the calculated frequency spectrum. Comprising the step of calculating the sharpness based on the high-frequency component ratio, which is a ratio occupied by a component equal to or greater than a predetermined reference frequency in
How to adjust the focus of the image projection device.

delete

17. The method of claim 16,
The calculating may include extracting two or more regions of a predetermined size including the portion in which the boundary line is captured, from different parts of the image from which the reference image is captured, and extracting two or more regions of the extracted two or more predetermined sizes. calculating the sharpness based on the average of the high frequency component ratios calculated for each region
How to adjust the focus of the image projection device.

17. The method of claim 16,
The step of adjusting the focus includes adjusting the focus of the image projecting device by adjusting the positions of one or more lenses included in the image projecting device and passing the light rays until the sharpness is greater than or equal to the predetermined reference sharpness. including steps
How to adjust the focus of the image projection device.

20. The method of claim 19,
In the step of adjusting the focus, the position of the one or more lenses is adjusted by moving the one or more lenses along a path parallel to the optical axis, and when the sharpness is reduced by the movement, the direction of movement is changed including steps
How to adjust the focus of the image projection device.

As an application computer program stored in a computer-readable recording medium,
The application computer program,
21. A method comprising instructions for causing a processor to perform a method according to any one of claims 11, 12, 14 to 16, 18 to 20,
application computer program.

As a computer-readable recording medium storing a computer program,
The computer program is
21. A method comprising instructions for causing a processor to perform a method according to any one of claims 11, 12, 14 to 16, 18 to 20,
computer readable recording medium.