KR20110092029A - Interactive projection apparatus and method for projecting a plurality of images based on a closed-loop calculation - Google Patents

Interactive projection apparatus and method for projecting a plurality of images based on a closed-loop calculation Download PDF

Info

Publication number
KR20110092029A
KR20110092029A KR1020100011449A KR20100011449A KR20110092029A KR 20110092029 A KR20110092029 A KR 20110092029A KR 1020100011449 A KR1020100011449 A KR 1020100011449A KR 20100011449 A KR20100011449 A KR 20100011449A KR 20110092029 A KR20110092029 A KR 20110092029A
Authority
KR
South Korea
Prior art keywords
image
indicator
center
output unit
projecting
Prior art date
Application number
KR1020100011449A
Other languages
Korean (ko)
Other versions
KR101091572B1 (en
Inventor
김명희
박지영
Original Assignee
이화여자대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이화여자대학교 산학협력단 filed Critical 이화여자대학교 산학협력단
Priority to KR1020100011449A priority Critical patent/KR101091572B1/en
Publication of KR20110092029A publication Critical patent/KR20110092029A/en
Application granted granted Critical
Publication of KR101091572B1 publication Critical patent/KR101091572B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)

Abstract

PURPOSE: An interactive image projection control device and method thereof based on closed circuit for plurality of image projection are provided to detects a indicator in a camera continuous image obtained while a user carried and moved a mobile projector and controls the location with a closed-loop method. CONSTITUTION: A first image output unit(110) outputs a first image including an indicator. An image obtaining unit(120) obtains a display image from a first image. A second image output unit(130) outputs a second image inside the indicator for sharply displaying a target image of the first image. A control unit(140) changes an indicator center of the first image coinciding with an output image center of the second image output unit if an indicator center of the first image and an indicator center of the display image does not coincides. The control unit controls a first image output unit to projects an indicator to the first image according to the changed indicator center. The control unit controls a second image output unit to project the second image inside the indicator.

Description

복수 영상 투사를 위한 폐회로 기반의 인터랙티브 영상 투사 제어 장치 및 방법{Interactive Projection Apparatus and Method for projecting a plurality of images based on a closed-loop calculation}Interactive Projection Apparatus and Method for projecting a multiple of images based on a closed-loop calculation}

본 발명은 복수 영상 투사를 위한 폐회로 기반의 인터랙티브 영상 투사 제어 장치 및 방법에 관한 것으로서, 더욱 상세하게는 대형 디스플레이 앞에서 사용자가 모바일 프로젝터를 가지고 움직이다가 특정 위치 위에 사용자가 모바일 프로젝터로 투사할 경우 그 투사영역의 위치와 형태를 계산하여 적절한 부분 영상이 모바일 프로젝터에 의해 투사되도록 하는 인터랙티브 투사 방법에 관한 것이다.
The present invention relates to a closed circuit based interactive image projection control apparatus and method for projecting multiple images, and more particularly, when a user moves with a mobile projector in front of a large display and projects it with a mobile projector on a specific position. The present invention relates to an interactive projection method for calculating a position and a shape of a projection area so that an appropriate partial image is projected by a mobile projector.

최근 디스플레이 하드웨어가 발전하면서 모바일 기기의 내장 디스플레이를 인터랙션에 사용하여 대형 디스플레이의 단점을 개선하는 상호보완적 디스플레이가 시도되고 있다. 대형 디스플레이는 전체 영상을 한눈에 파악하는데 효과적이나 밝기나 해상도(단위면적당 화소 수)가 일부 영역을 세밀하게 관찰하기에는 충분하지 않다. 반면에 모바일 디스플레이는 크기가 작지만 높은 해상도와 밝기 때문에 전체 영상보다는 부분 영역을 관찰하기에 적합하다. Recently, with the development of display hardware, complementary displays have been attempted to improve the shortcomings of large displays by using the embedded display of a mobile device for interaction. Large displays are effective for seeing the entire image at a glance, but brightness or resolution (pixels per unit area) is not enough to closely observe some areas. Mobile displays, on the other hand, are small in size, but because of their high resolution and brightness, they are suitable for viewing partial regions rather than the entire image.

그러므로 두 디스플레이의 결합은 사용자로 하여금 전체를 한눈에 파악함과 동시에 특정 관심 영역은 개선된 화질로 제공받고 나아가 부가정보를 덧입혀 보여줄 수 있는 이상적인 작업환경을 구축할 수 있다. 실제로 대형 디스플레이 영상의 일부 영역을 타블렛 PC나 소형 프로젝터 등 개인 디스플레이를 통해 제공하는 연구가 발표된 바 있다. 모바일 프로젝터의 경우 실제 휴대폰에 내장될 정도로 구성 하드웨어가 초소형화 되어 응용범위가 점차 확대되고 있으며 대형 디스플레이와 결합하는 경우, 대형 화면 위에 부분영상이 덧입혀짐으로써 마치 한 영상을 보는 것과 같은 자연스러운 표현이 가능하고 덧입혀지는 부분영역의 크기와 형태를 필요에 따라 조정할 수 있다는 장점을 가진다. Therefore, the combination of the two displays allows the user to see the whole at a glance, and at the same time, the specific region of interest can be provided with improved image quality, thereby creating an ideal work environment in which additional information can be overlaid. In fact, research has been published that provides some areas of a large display image on a personal display such as a tablet PC or a small projector. In the case of a mobile projector, the application hardware is gradually expanded due to the miniaturization of the hardware to be embedded in a mobile phone, and when combined with a large display, a partial image is overlaid on a large screen, so that a natural expression like viewing one image is obtained. It is possible to adjust the size and shape of the partial region to be added as needed.

모바일 프로젝터를 대형 디스플레이와 결합하는데 있어 가장 중요한 문제는 대형 디스플레이 상에서 모바일 프로젝터 투사영역의 위치와 형태를 계산하여 그에 적합한 영상이 투사되도록 함으로써 덧입혀지는 영역에서 대형 영상과 부분 영상이 자연스럽게 혼합되도록 하는 것이다. 기존의 시도들은 특수 트래킹 장비를 사용하거나 공간 내에 복잡한 하드웨어 셋업을 요구한다는 점에서 제한된 어플리케이션에만 적용이 가능하다는 한계가 있다. The most important problem in combining a mobile projector with a large display is to calculate the position and shape of the mobile projector projection area on the large display so that a suitable image is projected so that the large and partial images blend naturally in the overlaid area. . Existing trials have limitations in that they are only applicable to limited applications in that they use special tracking equipment or require complex hardware setup in space.

본 발명의 목적은, 모바일 기기에 기본적으로 탑재되는 카메라를 이용할 수 있는 모바일 프로젝터 위치추적 방법을 제안하고 그에 기반하여 한 영상을 대형으로 디스플레이하고, 이와 동시에 특정 세부영역을 모바일 프로젝터로 투사함으로써 사용자 관심영역을 개선된 해상도와 밝기로 디스플레이하는 복수 영상 투사를 위한 폐회로 기반의 인터랙티브 영상 투사 제어 장치 및 방법을 제공하는 데 있다.SUMMARY OF THE INVENTION An object of the present invention is to propose a mobile projector location tracking method that can use a camera mounted on a mobile device, and to display a large image based on the same, and at the same time to project a specific detail area to a mobile projector. Disclosed is a closed circuit-based interactive image projection control apparatus and method for multiple image projection for displaying an area with improved resolution and brightness.

본 발명의 다른 목적은, 카메라를 모바일 프로젝터에 부착하고 모바일 프로젝터의 투사영상의 위치를 가리키는 표시자를 대형 투사 영상에 삽입하고, 사용자가 모바일 프로젝터를 들고 이동하는 동안 획득되는 카메라 연속영상에서 표시자를 탐지하여 그 위치를 폐회로(closed-loop) 방식으로 제어함으로써 모바일 프로젝터 투사영역의 위치를 계산하는 복수 영상 투사를 위한 폐회로 기반의 인터랙티브 영상 투사 제어 장치 및 방법을 제공하는 데 있다.Another object of the present invention is to attach a camera to a mobile projector, insert an indicator indicating the position of the projected image of the mobile projector into a large projected image, and detect the indicator in a camera sequence obtained while the user is holding and moving the mobile projector. The present invention provides a closed circuit-based interactive image projection control apparatus and method for multiple image projection for calculating the position of a mobile projector projection area by controlling its position in a closed-loop manner.

상기 목적들을 달성하기 위한 본 발명의 실시예들에 따른 복수 영상 투사를 위한 폐회로 기반의 인터랙티브 영상 투사 제어 장치는 표시자가 포함된 제1영상을 출력하는 제1영상 출력부; 상기 제1영상으로부터 표지 영상을 획득하는 영상 획득부; 상기 제1영상의 목적 영역을 더욱 선명하게 표시하기 위하여 상기 표시자 내부에 제2영상을 출력하는 제2영상 출력부; 및 상기 제1영상의 표시자 중심과 상기 표지 영상의 표시자 중심이 일치하지 않는 경우 상기 제2영상 출력부의 출력 영상 중심과 일치하는 상기 제1영상의 표시자 중심을 변경하고, 상기 변경된 표시자 중심에 따라 상기 제1영상에 표시자를 다시 투사하도록 상기 제1영상 출력부를 제어하고, 상기 표시자의 내부에 상기 제2영상을 투사하도록 제2영상 출력부를 제어하는 제어부를 포함하는 한다. According to embodiments of the present invention, there is provided a closed circuit-based interactive image projection control apparatus for projecting a plurality of images, including: a first image output unit configured to output a first image including an indicator; An image obtaining unit obtaining a cover image from the first image; A second image output unit configured to output a second image inside the indicator to more clearly display the target area of the first image; And when the center of the indicator of the first image does not coincide with the center of the indicator of the cover image, the center of the indicator of the first image that matches the center of the output image of the second image output unit is changed, and the changed indicator is changed. And a controller configured to control the first image output unit to project the indicator back onto the first image and to control the second image output unit to project the second image inside the indicator.

상기 제어부는, 상기 제1영상의 표시자 중심과 상기 표지 영상의 표시자 중심이 일치하지 않는 경우에 상기 표지 영상에 나타난 표시자 위치를 산출하는 위치 산출부; 및 상기 표지 영상의 표시자 위치와 상기 제1영상의 표시자 위치에 기초하여 상기 제2영상 출력부의 출력 영상 중심이 상기 제1영상의 표시자 중심과 일치하도록 상기 제1영상의 표시자 위치를 변경하는 투사행렬 산출부를 포함하는 것을 특징으로 한다. The control unit may include a position calculator configured to calculate a position of an indicator displayed on the cover image when the center of the indicator of the first image and the center of the indicator of the cover image do not coincide; And adjust the position of the indicator of the first image so that the center of the output image of the second image output unit coincides with the center of the indicator of the first image based on the position of the indicator of the cover image and the position of the indicator of the first image. And a projection matrix calculator for changing the projection matrix.

상기 영상 획득부와 상기 제2영상 출력부는 연동하여 움직이는 것을 특징으로 하며, 상기 영상 획득부와 상기 제2영상 출력부는 고정결합되는 것이 바람직하다. The image acquisition unit and the second image output unit may move in conjunction with each other, and the image acquisition unit and the second image output unit may be fixedly coupled.

상기 제1영상 출력부는 고정 프로젝터이고, 상기 제2영상 출력부는 이동 프로젝터인 것을 특징으로 한다. The first image output unit may be a fixed projector, and the second image output unit may be a mobile projector.

상기 제어부는 상기 영상 획득부에서 획득한 영상의 매 프레임마다 상기 표시자 중심과 상기 제2영상 출력부의 출력 영상 중심이 다른 경우에 상기 제2영상 출력부의 출력 영상 중심에 기초하여 상기 표시자의 위치를 변경하는 것을 특징으로 한다. The controller controls the position of the indicator based on the center of the output image of the second image output unit when the center of the indicator differs from the center of the output image of the second image output unit every frame of the image acquired by the image acquisition unit. It is characterized by changing.

상기 표시자는 내부가 빈 사각형인 것을 특징으로 하며, 상기 표시자 위치는 상기 표시자의 네 코너점에 의하여 결정되는 것을 특징으로 한다.
The indicator is characterized in that the inside is an empty rectangle, the marker position is characterized by the four corner points of the indicator.

상기 목적들을 달성하기 위한 본 발명의 실시예들에 따른 복수 영상 투사를 위한 폐회로 기반의 인터랙티브 영상 투사 제어 방법은 a) 표시자가 포함된 제1영상을 출력하는 단계; b) 상기 제1영상으로부터 표지 영상을 획득하는 단계; c) 상기 제1영상의 표시자 중심과 상기 표지 영상의 표시자 중심의 일치여부를 판단하여 상기 표시자 중심이 일치하지 않는 경우 상기 제1영상의 표시자 중심을 상기 제2영상 출력부의 출력 영상 중심과 일치하도록 변경하는 단계; 및 d) 상기 변경된 표시자 중심에 따라 상기 제1영상에 표시자를 다시 투사한 후, 상기 표시자의 내부에 상기 제1영상의 목적 영역을 더욱 선명하게 표시하기 위하여 상기 표시자 내부에 제2영상을 출력하는 단계를 포함한다. According to embodiments of the present invention, a closed circuit based interactive image projection control method for multiple image projection includes: a) outputting a first image including an indicator; b) acquiring a cover image from the first image; c) If the center of the indicator of the first image and the center of the indicator of the cover image is determined to match, if the center of the indicator does not match, the center of the indicator of the first image is output from the second image output unit. Changing to match the center; And d) projecting the indicator back to the first image according to the changed center of the indicator, and then displaying a second image inside the indicator to more clearly display the target area of the first image within the indicator. Outputting.

상기 c) 단계는 c1) 상기 표시자 중심의 일치여부 판단결과, 상기 제1영상의 표시자 중심과 상기 표지 영상의 표시자 중심이 일치하지 않는 경우에 상기 표지 영상에 나타난 표시자 위치를 산출하는 단계; 및 c2) 상기 표지 영상의 표시자 위치와 상기 제1영상의 표시자 위치에 기초하여 상기 제2영상 출력부의 출력 영상 중심이 상기 제1영상의 표시자 중심과 일치하도록 상기 제1영상의 표시자 위치를 변경하는 투사행렬을 산출하는 단계를 포함하는 것을 특징으로 한다. In the step c), if the indicator center of the first image is not matched with the indicator center, the marker position shown in the cover image is calculated when the indicator center of the first image does not match. step; And c2) the indicator of the first image such that the center of the output image of the second image output unit coincides with the indicator center of the first image based on the indicator position of the cover image and the indicator position of the first image. Calculating a projection matrix for changing the position.

상기 표시자는 내부가 빈 사각형 형상인 것을 특징으로 한다. The indicator is characterized in that the inside is hollow rectangular shape.

상기 c1) 단계에서는, 상기 표지 영상에 상기 표시자의 위치가 나타나면 상기 표시자의 네 코너점을 산출하여 상기 표시자의 위치를 산출하는 것을 특징으로 한다. In the step c1), when the position of the indicator appears on the cover image, the four corner points of the indicator may be calculated to calculate the position of the indicator.

상기 복수 영상 투사를 위한 폐회로 기반의 인터랙티브 영상 투사 제어 방법은 e) 상기 획득한 표지 영상의 매 프레임마다 상기 표시자 중심과 상기 제2영상 출력부의 출력 영상 중심이 다른 경우에 상기 제2영상 출력부의 출력 영상 중심에 기초하여 상기 표시자의 위치를 변경하는 단계를 추가적으로 포함하는 것을 특징으로 한다. The closed-loop interactive image projection control method for projecting a plurality of images may include: e) the second image output unit when the center of the indicator and the output image center of the second image output unit are different for every frame of the acquired cover image; And changing the position of the indicator based on the center of the output image.

상기 d) 단계에서는 상기 표시자 내부에 제2영상을 출력하기 전에 상기 제1영상과 상기 제2영상이 인접한 부분에서 영상 와핑을 수행하는 것을 특징으로 한다. In step d), before the second image is output to the inside of the indicator, image warping is performed at a portion adjacent to the first image and the second image.

본 발명의 실시예들에 따른 복수 영상 투사를 위한 폐회로 기반의 인터랙티브 영상 투사 제어 장치 및 방법은, 대형 디스플레이 상에서 특정 영역을 모바일 프로젝터를 통해 고화질로 디스플레이 할 수 있으며 추가 정보 또한 덧입혀 보여줄 수 있는 효과가 있다. The closed circuit-based interactive image projection control apparatus and method for projecting multiple images according to embodiments of the present invention can display a specific area in a high quality through a mobile projector on a large display, and can additionally show additional information. There is.

또한, 본 발명의 실시예들에 따른 복수 영상 투사를 위한 폐회로 기반의 인터랙티브 영상 투사 제어 장치 및 방법은 대형 투사영상에 삽입한 표시자와 모바일 프로젝터에 부착된 카메라를 사용함으로써 기존의 방법들과 같이 복잡한 하드웨어 설정이나 특수 장치를 요구하지 않으며 설정 변경이 용이하여 다양한 어플리케이션에서 사용될 수 있는 효과가 있다.
In addition, the closed-loop interactive image projection control apparatus and method for multiple image projection according to the embodiments of the present invention is the same as the conventional methods by using the camera attached to the mobile projector and the indicator inserted in the large projection image It does not require complicated hardware settings or special devices, and it is easy to change settings, which can be used in various applications.

도 1은 본 발명의 실시예에 따른 복수 영상 투사를 위한 폐회로 기반의 인터랙티브 영상 투사 제어 장치의 개념도이다.
도 2는 본 발명의 실시예에 따른 복수 영상 투사를 위한 폐회로 기반의 인터랙티브 영상 투사 제어 방법의 순서도이다.
도 3은 본 발명의 실시예에 따른 복수 영상 투사를 위한 폐회로 기반의 인터랙티브 영상 투사 제어 방법에서 적용되는 인터랙티브 투사 파이프라인의 흐름도이다.
도 4는 본 발명에서 적용되는 폐회로에서 항상 유지되어야 하는 제약조건을 설명하는 도면이다.
도 5는 이동 프로젝터의 움직임으로 인하여 이상적인 상태에서 벗어났을 경우 회복하는 방법을 나타내는 도면이다. 1 is a conceptual diagram of a closed circuit based interactive image projection control apparatus for multiple image projection according to an embodiment of the present invention.
2 is a flowchart of a closed-loop interactive image projection control method for projecting multiple images according to an exemplary embodiment of the present invention.
3 is a flowchart of an interactive projection pipeline applied to a closed loop based interactive image projection control method for multiple image projection according to an embodiment of the present invention.
4 is a view for explaining a constraint that must always be maintained in a closed circuit applied in the present invention.
FIG. 5 is a diagram illustrating a method of recovering from an ideal state due to movement of a mobile projector.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하며, 단수로 기재된 용어도 복수의 개념을 포함할 수 있다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. First, in adding reference numerals to the components of each drawing, it should be noted that the same reference numerals are assigned to the same components as much as possible, even if shown on different drawings. In addition, in describing the present invention, when it is determined that a detailed description of a related well-known configuration or function may obscure the gist of the present invention, the detailed description is omitted, and the singular terminology may include a plurality of concepts. . In addition, the following will describe a preferred embodiment of the present invention, but the technical idea of the present invention is not limited thereto and may be variously modified and modified by those skilled in the art.

도 1은 본 발명의 실시예에 따른 복수 영상 투사를 위한 폐회로 기반의 인터랙티브 영상 투사 제어 장치의 개념도이고, 도 4는 본 발명에서 적용되는 폐회로에서 항상 유지되어야 하는 제약조건을 설명하는 도면이고, 도 5는 이동 프로젝터의 움직임으로 인하여 이상적인 상태에서 벗어났을 경우 회복하는 방법을 나타내는 도면이다. 1 is a conceptual diagram of a closed circuit-based interactive image projection control apparatus for projecting multiple images according to an embodiment of the present invention. FIG. 4 is a view illustrating a constraint that must always be maintained in a closed circuit applied in the present invention. 5 is a diagram illustrating a method of recovering when the mobile projector moves out of an ideal state due to movement of the projector.

이하에서는 도 1을 참조하여 본 발명의 실시예에 따른 복수 영상 투사를 위한 폐회로 기반의 인터랙티브 영상 투사 제어 장치(100)를 설명하겠다.Hereinafter, a closed circuit-based interactive image projection control apparatus 100 for projecting a plurality of images according to an exemplary embodiment of the present invention will be described with reference to FIG. 1.

도 1을 참조하면, 본 발명의 실시예들에 따른 복수 영상 투사를 위한 폐회로 기반의 인터랙티브 영상 투사 제어 장치(100)는 표시자(151)가 포함된 제1영상을 출력하는 제1영상 출력부(110); 상기 제1영상으로부터 표지 영상(152)을 획득하는 영상 획득부(120); 상기 제1영상의 목적 영역을 더욱 선명하게 표시하기 위하여 상기 표시자 내부에 제2영상을 출력하는 상기 제2영상 출력부(130); 및 상기 제1영상의 표시자 중심과 상기 표지 영상의 표시자 중심이 일치하지 않는 경우 상기 제1영상의 표시자의 위치를 재설정하여 다시 투사하고, 이와 아울러 상기 표시자의 내부에 상기 제2영상을 투사하도록 영상 출력부(110,130)를 제어하는 제어부(140)를 포함한다. Referring to FIG. 1, a closed circuit-based interactive image projection control apparatus 100 for projecting multiple images according to embodiments of the present invention may include a first image output unit configured to output a first image including an indicator 151. 110; An image acquisition unit 120 for acquiring a cover image 152 from the first image; The second image output unit 130 outputting a second image inside the indicator in order to more clearly display the target area of the first image; And when the center of the indicator of the first image and the center of the indicator of the cover image do not coincide with each other, reset the position of the indicator of the first image and project the second image inside the indicator. And a controller 140 that controls the image output units 110 and 130 to be included.

상기 제어부(140)는 상기 제1영상의 표시자 중심과 상기 표지 영상의 표시자 중심이 일치하지 않는 경우 상기 제2영상 출력부의 출력 영상 중심과 일치하는 상기 제1영상의 표시자 중심을 변경하고, 상기 변경된 표시자 중심에 따라 상기 제1영상에 표시자를 다시 투사하도록 제1영상 출력부(110)를 제어하고, 상기 표시자의 내부에 상기 제2영상을 투사하도록 제2영상 출력부(130)를 제어한다. The controller 140 changes the center of the indicator of the first image that coincides with the center of the output image of the second image output unit when the center of the indicator of the first image does not coincide with the center of the indicator of the cover image. The second image output unit 130 controls the first image output unit 110 to re-project the indicator on the first image according to the changed center of the indicator and to project the second image inside the indicator. To control.

상기 제어부(140)는, 상기 제1영상의 표시자 중심과 상기 표지 영상의 표시자 중심이 일치하지 않는 경우에 상기 표지 영상에 나타난 표시자 위치를 산출하는 위치 산출부(141); 및 상기 표지 영상의 표시자 위치와 상기 제1영상의 표시자 위치에 기초하여 상기 제2영상 출력부의 출력 영상 중심이 상기 제1영상의 표시자 중심과 일치하도록 상기 제1영상의 표시자 위치를 변경하는 투사행렬 산출부(142)를 포함한다.The controller 140 may include: a position calculator 141 for calculating a marker position shown in the cover image when the center of the indicator of the first image and the indicator center of the cover image do not coincide; And adjust the position of the indicator of the first image so that the center of the output image of the second image output unit coincides with the center of the indicator of the first image based on the position of the indicator of the cover image and the position of the indicator of the first image. And a projection matrix calculator 142 for changing.

상기 영상 획득부(120)와 상기 제2영상 출력부(130)는 움직임이 있는 경우에도 상기 영상 획득부에서 획득한 영상과 상기 제2영상 출력부에서 출력할 영상이 일정한 대응관계를 유지하도록 연동하여 움직이며, 특히 상기 영상 획득부와 상기 제2영상 출력부는 연동하여 움직이도록 고정결합되는 것이 바람직하다. The image acquisition unit 120 and the second image output unit 130 interlock so that the image acquired by the image acquisition unit and the image to be output from the second image output unit maintain a constant correspondence even when there is motion. In particular, the image acquisition unit and the second image output unit is preferably fixedly coupled to move in conjunction with.

상기 제1영상 출력부(110)는 고정 프로젝터, 이동 프로젝터 또는 일반적인 영상을 출력할 수 있는 장치로써 대형의 영상을 출력장치를 출력할 수 있는 영상 출력장치인 것이 바람직하다. 상기 제2영상 출력부(130)는 이동 프로젝터로써 상기 제1영상 출력장치에서 출력되는 영상의 일부 영역에 영상을 투사할 수 있는 영상 투상 장치이다. The first image output unit 110 may be a fixed projector, a mobile projector, or a device capable of outputting a general image, and may be an image output device capable of outputting a large image output device. The second image output unit 130 is an image projection apparatus capable of projecting an image to a partial region of an image output from the first image output apparatus as a mobile projector.

상기 제어부(140)는 상기 영상 획득부에서 획득한 영상의 매 프레임마다 상기 표시자 중심과 상기 제2영상 출력부의 출력 영상 중심이 다른 경우에 상기 제2영상 출력부의 출력 영상 중심에 기초하여 상기 표시자의 위치를 변경하는 것이 바람직하다. The controller 140 displays the display based on the output image center of the second image output unit when the center of the indicator is different from the output image center of the second image output unit every frame of the image acquired by the image acquisition unit. It is desirable to change the position of the ruler.

본 실시예에서는 제1영상 출력부(110)는 고정 프로젝터이고, 제2영상 출력부(130)는 이동 프로젝터이고, 영상 획득부(120)는 카메라이고, 제어부(140)는 PC를 사용하여 폐회로 기반의 인터랙티브 영상 투사 제어 장치(100)를 한다. In the present embodiment, the first image output unit 110 is a fixed projector, the second image output unit 130 is a mobile projector, the image acquisition unit 120 is a camera, and the controller 140 uses a PC to close the circuit. The interactive image projection control apparatus 100 based.

먼저 고정 프로젝터(110)는 대형 스크린(150) 상에 전체영상을 디스플레이하고, 이동 프로젝터(130)는 상기 전체영상의 부분 영역 디스플레이하며 사용자가 직접 들고 조작가능하다. 이동 프로젝터(130)에는 카메라(120)가 고정부착되어 있으며, 이동에 따른 입력 영상과 투사할 영상의 대응관계를 일정하게 하기 위하여 상하로 고정부착하고 있다. First, the fixed projector 110 displays the whole image on the large screen 150, and the mobile projector 130 displays the partial region of the whole image and is directly manipulated by the user. The camera 120 is fixedly attached to the mobile projector 130, and is fixedly attached up and down in order to make the correspondence between the input image and the image to be projected constant.

본 실시예에서는 일반적인 프로젝터들을 변형없이 사용하기 위하여 각각의 프로젝터(110,130)에 투사할 영상을 계산하는 PC(140)가 부착된 영상 투사 시스템을 사용하였으며, 따라서, 두 개의 투사 시스템은 네트워크를 통하거나 무선 장치를 이용하여 서로 통신할 수 있다. In the present embodiment, an image projection system equipped with a PC 140 that calculates an image to be projected to each of the projectors 110 and 130 is used in order to use general projectors without modifications. Wireless devices may be used to communicate with each other.

본 실시예에서는 영상 획득부(120)로써 카메라를 사용하였으나, 이는 일반적인 카메라뿐만 아니라 핸드폰의 카메라를 포함하여 영상을 획득할 수 있는 장치이면 가능하다. 그리고, 제어부(140)로써 PC를 이용하고 있으나, 마이크로프로세서, 노트북, 넷북, PDA 등을 포함한 연산기능을 구비한 장치이면 사용될 수 있다. 또한, 위치 산출부(141)와 투사행렬 산출부(142)는 제어 기능블록으로 설정하였으나, 필요에 따라서는 별개의 외부 장치로 구성하는 것도 가능하며, 특히 연산량이 많거나 빠른 연산속도가 요구되는 경우에는 별도의 장치로 구성되는 것이 바람직하다.In this embodiment, the camera is used as the image acquisition unit 120, but this may be any device that can acquire an image including a camera of a mobile phone as well as a general camera. In addition, although the PC is used as the control unit 140, any device having a computing function including a microprocessor, a notebook computer, a netbook, a PDA, and the like may be used. In addition, although the position calculation unit 141 and the projection matrix calculation unit 142 are set as control function blocks, they may be configured as separate external devices as necessary. In this case, it is preferable to configure a separate device.

먼저 제어부(140)는 고정 프로젝터(110)가 투사할 대형 투사영상에 표시자(151)를 삽입한다. 상기 표시자는 내부가 비어있는 사각형으로 전체 투사영상에서 이동 프로젝터 투사영역의 위치를 가리킨다. 사용자는 이동 프로젝터(130)를 사용하여 상기 표시자의 내부에 영상을 투사한다. 사용자에 의해 이동 프로젝터(130)가 움직이게 되면, 제어부(140)는 상기 이동 프로젝터에 부착된 카메라(120)는 연속영상에 대해 측정과 수정을 반복하는 폐회로 방식으로 표시자(151)가 이동되도록 한다. First, the controller 140 inserts the indicator 151 into the large projection image to be projected by the fixed projector 110. The indicator indicates a location of the moving projector projection area in the entire projection image as a rectangular hollow. The user projects the image inside the indicator using the mobile projector 130. When the mobile projector 130 is moved by the user, the controller 140 causes the camera 120 attached to the mobile projector to move the indicator 151 in a closed loop method of repeating measurement and correction for a continuous image. .

표시자 중심의 위치(153)에 따라 두 가지 상태가 존재한다. 즉, 도 4에 도시된 바와 같은 표시자의 중심 위치(153)이 이동 투사영역의 중심 위치(154)와 일치하는 상태와, 양 중심의 위치(153,154)이 일치하지 않은 상태가 존재한다. 이 중에서 도 4에 도시된 바와 같은 상태를 이상적인 상태로 설정하고 이를 모든 카메라 연속 프레임에서 유지하도록 하는 것을 제약조건으로 정의한다. There are two states depending on the position 153 of the indicator center. That is, there exists a state where the center position 153 of the indicator as shown in FIG. 4 coincides with the center position 154 of the moving projection area, and a state where the positions 153 and 154 of both centers do not coincide. Among these, the constraint is defined to set the state as shown in FIG. 4 to an ideal state and maintain it in all camera continuous frames.

만약 도 5에 도시된 바와 같이, 이동 프로젝터(130)의 움직임에 의해 카메라 프레임 상에 나타난 표시자의 위치가 제약 조건을 만족시키지 못할 경우에는 제약 조건을 만족시킬 수 있는 표시자의 위치 c'를 수학식 (1)을 통해 계산하여 표시자를 다시 그린다. 이를 통해 표시자의 중심(153)은 다시 이동 투사영역 중심(154)과 일치하게 된다. 사용자가 이동 프로젝터(130)를 움직이는 동안 이 같은 과정을 매 프레임 반복함으로써 표시자의 위치를 트래킹 하고 이동 프로젝터가 투사할 세부영상을 적절히 업데이트 할 수 있다. As shown in FIG. 5, when the position of the indicator displayed on the camera frame due to the movement of the mobile projector 130 does not satisfy the constraint, the position c ′ of the indicator capable of satisfying the constraint may be represented by Equation 5 below. Calculate through (1) and redraw the marker. Through this, the center of the indicator 153 again coincides with the center of the moving projection area 154. By repeating this process every frame while the user moves the mobile projector 130, the position of the indicator can be tracked and the detailed image to be projected by the mobile projector can be properly updated.

Figure pat00001
----------------------------(1)
Figure pat00001
----------------------------(One)

여기서, Hcs는 카메라 프레임과 고정 프로젝터 투사영상 간의 투사변환 관계를 나타내고, Hcm은 카메라 프레임과 모바일 프로젝터 투사영상간의 투사변환 관계를 나타낸다. Here, Hcs represents the projection conversion relationship between the camera frame and the fixed projector projection image, and Hcm represents the projection conversion relationship between the camera frame and the mobile projector projection image.

Hcs는 카메라 프레임 상의 특정 점이 대형 투사영상의 어느 점에 대응되는지를 결정하는 변환이며 시스템 구동중 모든 카메라 프레임에 대해 계산되어야 한다. Hcm은 카메라 프레임상의 점과 모바일 프로젝터 영상의 점을 대응시키는 변환으로 사전 캘리브레이션 작업에의해 미리 계산된다. 이 같은 상관관계들은 수학식 (2)와 같은 3×3 투사변환 행렬로 표현되며 8 자유도(degree of freedom)를 가진다.Hcs is a transformation that determines which point on a camera frame corresponds to a large projected image and should be calculated for all camera frames during system operation. Hcm is a pre-calibration task that is pre-calibrated with a transformation that maps points on the camera frame to points on the mobile projector image. These correlations are represented by a 3x3 projection transformation matrix as shown in Equation (2) and have 8 degrees of freedom.

Figure pat00002
-----------------(2)
Figure pat00002
-----------------(2)

위 식은 간략하게 x' = H ＊ x로 표현된다. 카메라 프레임과 이동 프로젝터 투사영상 간의 투사변환 행렬(Hcm)을 계산하는 경우 x'는 이동 프로젝터(130)가 투사하는 영상의 한 점으로서 카메라 프레임에서 x에 대응된다. 투사변환행렬 Hcm는 다음과 같은 과정에 의해 결정된다. 먼저 카메라(120)로 평면 캘리브레이션 패턴을 여러 방향의 뷰에서 획득한 영상을 통해 카메라의 내부 파라미터를 계산한다. 다음으로 이동 프로젝터(130)를 사용하여 캘리브레이션 패턴 영상을 평면의 투사면에 투사하고 부착된 카메라(120)로 투사된 패턴에 대한 영상을 획득한다. 왜곡보정을 거친 후 카메라 영상과 투사영상에서 최소 8개의 대응점들을 결정한다. 이 대응점 집합과 수학식 (2)를 사용하여 최적의 값을 계산한다. The above expression is briefly expressed as x ' = H * x . When calculating the projection conversion matrix (Hcm) between the camera frame and the moving projector projection image x ' is a point of the image projected by the mobile projector 130 and corresponds to x in the camera frame. The projection conversion matrix Hcm is determined by the following process. First, the camera 120 calculates an internal parameter of a camera based on an image obtained by obtaining a planar calibration pattern in various directions of view. Next, the calibration pattern image is projected onto the plane projection plane by using the moving projector 130, and an image of the pattern projected by the attached camera 120 is obtained. After distortion correction, at least eight corresponding points are determined in the camera image and the projected image. The optimal value is calculated using this set of correspondence points and equation (2).

카메라 프레임과 고정 프로젝터 투사영상간 투사변환 행렬 Hcs는 카메라 프레임에서 사각형 표시자의 4개 점의 위치와 대형 디스플레이 영상에서 표시자 코너 4개의 위치를 입력으로 다시 수학식 (2)를 사용하여 투사변환 행렬을 계산한다.
Projection transformation matrix H cs between the camera frame and the fixed projector projection image Hcs is a projection transformation matrix using Equation (2) again with the positions of four points of the rectangular marker in the camera frame and the positions of the four corners of the marker in the large display image. Calculate

도 2는 본 발명의 실시예에 따른 복수 영상 투사를 위한 폐회로 기반의 인터랙티브 영상 투사 제어 방법의 순서도이고, 도 3은 본 발명의 실시예에 따른 복수 영상 투사를 위한 폐회로 기반의 인터랙티브 영상 투사 제어 방법에서 적용되는 인터랙티브 투사 파이프라인의 흐름도이다. 2 is a flowchart of a closed circuit based interactive image projection control method for multiple image projection according to an embodiment of the present invention, and FIG. 3 is a closed circuit based interactive image projection control method for multiple image projection according to an embodiment of the present invention. Flowchart of the interactive projection pipeline as applied in.

도 2를 참조하면, 본 발명의 실시예에 따른 복수 영상 투사를 위한 폐회로 기반의 인터랙티브 영상 투사 제어 방법은 a) 표시자가 포함된 제1영상을 출력하는 단계(S10); b) 상기 제1영상으로부터 표지 영상을 획득하는 단계(S20); c) 상기 제1영상의 표시자 중심과 상기 표지 영상의 표시자 중심의 일치여부를 판단하여 상기 표시자 중심이 일치하지 않는 경우 상기 제1영상의 표시자 중심을 상기 제2영상 출력부의 출력 영상 중심과 일치하도록 변경하는 단계(S30,S40); 및 d) 상기 변경된 표시자 중심에 따라 상기 제1영상에 표시자를 다시 투사한 후, 상기 표시자의 내부에 상기 제1영상의 목적 영역을 더욱 선명하게 표시하기 위하여 상기 표시자 내부에 제2영상을 출력하는 단계(S50,S60)를 포함한다. Referring to FIG. 2, a closed-loop interactive image projection control method for projecting a plurality of images according to an embodiment of the present invention may include a) outputting a first image including an indicator (S10); b) obtaining a cover image from the first image (S20); c) If the center of the indicator of the first image and the center of the indicator of the cover image is determined to match, if the center of the indicator does not match, the center of the indicator of the first image is output from the second image output unit. Changing to match the center (S30, S40); And d) projecting the indicator back to the first image according to the changed center of the indicator, and then displaying a second image inside the indicator to more clearly display the target area of the first image within the indicator. Outputting (S50, S60).

상기 복수 영상 투사를 위한 폐회로 기반의 인터랙티브 영상 투사 제어 방법은 e) 상기 획득한 표지 영상의 매 프레임마다 상기 표시자 중심과 상기 제2영상 출력부의 출력 영상 중심이 다른 경우에 상기 제2영상 출력부의 출력 영상 중심에 기초하여 상기 표시자의 위치를 변경하는 단계를 추가적으로 포함하는 것이 바람직하다. The closed-loop interactive image projection control method for projecting a plurality of images may include: e) the second image output unit when the center of the indicator and the output image center of the second image output unit are different for every frame of the acquired cover image; The method may further include changing the position of the indicator based on the center of the output image.

상기 c) 단계는 c1) 상기 표시자 중심의 일치여부 판단결과, 상기 제1영상의 표시자 중심과 상기 표지 영상의 표시자 중심이 일치하지 않는 경우에 상기 표지 영상에 나타난 표시자 위치를 산출하는 단계(S30); 및 c2) 상기 표지 영상의 표시자 위치와 상기 제1영상의 표시자 위치에 기초하여 상기 제2영상 출력부의 출력 영상 중심이 상기 제1영상의 표시자 중심과 일치하도록 상기 제1영상의 표시자 위치를 변경하는 투사행렬을 산출하는 단계(S40)를 포함한다. In the step c), if the indicator center of the first image is not matched with the indicator center, the marker position shown in the cover image is calculated when the indicator center of the first image does not match. Step S30; And c2) the indicator of the first image such that the center of the output image of the second image output unit coincides with the indicator center of the first image based on the indicator position of the cover image and the indicator position of the first image. Computing a projection matrix for changing the position (S40).

상기 c1) 단계(S30)에서는, 상기 표지 영상에 상기 표시자의 위치가 나타나면 상기 표시자의 네 코너점을 산출하여 상기 표시자의 위치를 산출하는 것을 특징으로 한다. In the step c1), when the position of the indicator appears in the cover image, the four corner points of the indicator are calculated to calculate the position of the indicator.

상기 d) 단계(S60)에서는 상기 표시자 내부에 제2영상을 출력하기 전에 상기 제1영상과 상기 제2영상이 인접한 부분에서 영상 와핑을 수행하는 것이 바람직하다. In step d), it is preferable to perform image warping in a portion adjacent to the first image and the second image before outputting the second image inside the indicator.

이하에서는 도 1 내지 도 5를 참조하여, 본 발명의 실시예에 따른 복수 영상 투사를 위한 폐회로 기반의 인터랙티브 영상 투사 제어 장치의 동작 과정을 상세히 설명하겠다. Hereinafter, an operation process of a closed circuit-based interactive image projection control apparatus for projecting a plurality of images according to an exemplary embodiment of the present invention will be described in detail with reference to FIGS. 1 to 5.

우선 고정 프로젝터(110)는 대형 스크린(150)의 특정 위치에 내부가 빈 사각형상의 표시자(151)가 삽입된 전체영상을 디스플레이한다. 다음으로 이동 프로젝터(130)에 부착된 카메라(120)가 영상획득을 시작하고 표시자(151)가 카메라 프레임 상에 보여지게 되면 표시자의 네 개 코너점의 위치가 계산된다. 이 위치는 카메라 좌표계 상의 좌표로 표현되며 고정 프로젝터의 제어 시스템(140)으로 전송되어 카메라 프레임과 대형 투사영상 사이의 투사변환 행렬(Hcs)을 계산하는데 사용된다. 즉, 카메라 프레임에서 네 점의 위치와 전체영상에서 표시자 코너 4개의 위치를 입력으로 투사변환 행렬을 계산한다. 카메라 프레임의 중심과 모바일 프로젝터 투사영역의 중심이 일치해야 하는 조건을 만족하기 위해 상술한 c'를 계산한다. c'는 표시자 중심의 새로운 위치가 되며 표시자 크기를 사용하여 전체영상에서 표시자를 다시 그려주게 된다. 또한 c' 는 이동 프로젝터의 제어 시스템(140)으로 전송되어 그에 해당하는 부분 영역 영상을 투사할 텍스처로 설정한다. First, the fixed projector 110 displays the entire image in which the rectangular indicator 151 having an empty interior is inserted at a specific position of the large screen 150. Next, when the camera 120 attached to the mobile projector 130 starts to acquire the image and the indicator 151 is shown on the camera frame, the positions of the four corner points of the indicator are calculated. This position is represented by coordinates on the camera coordinate system and is sent to the control system 140 of the fixed projector and used to calculate the projection transformation matrix Hcs between the camera frame and the large projection image. That is, a projection transformation matrix is calculated by inputting four positions in the camera frame and four positions of the marker corners in the entire image. The above c ' is calculated to satisfy the condition that the center of the camera frame and the center of the mobile projector projection area must coincide. c ' becomes the new position of the marker center and redraws the marker in the whole image using the marker size. In addition, c ' is transmitted to the control system 140 of the mobile projector and set as a texture to project the corresponding partial region image.

이동 프로젝터의 투사결과는 직사각형이 아닌 경우가 대부분이며 그에 따라 투사면에서 대형 투사영상과 모바일 프로젝터 투사영상이 인접한 부분에서 자연스러운 연결을 위해 투사전 영상을 와핑한다. 카메라 프레임에서 추출된 표시자의 네 코너점을 사전 캘리브레이션하는 단계에서 계산된 카메라와 모바일 프로젝터 투사영상간 투사변환에 의해 모바일 프로젝터 좌표계로 변환한다. 이 두 개의 좌표계로 표현된 점들을 입력으로 텍스처 변환행렬을 계산하고 모바일 프로젝터의 텍스처 투사 단계에 적용한다. 이 과정을 반복함으로써 표시자는 모바일 프로젝터의 움직임 즉, 투사면 상의 세부영상의 움직임에 따라 이동하며 그에 따라 자연스러운 세부영상이 디스플레이 된다.In most cases, the projection result of the mobile projector is non-rectangular. Therefore, the projection image is warped for a natural connection between the large projection image and the mobile projector projection image on the projection surface. The four corner points of the indicator extracted from the camera frame are converted into the mobile projector coordinate system by the projection conversion between the camera and the mobile projector projection image calculated in the pre-calibration step. The points represented by these two coordinate systems are input to calculate the texture transformation matrix and apply to the texture projection stage of the mobile projector. By repeating this process, the indicator moves according to the movement of the mobile projector, that is, the movement of the detail image on the projection surface, thereby displaying the natural detail image.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and various modifications, changes, and substitutions may be made by those skilled in the art without departing from the essential characteristics of the present invention. will be. Accordingly, the embodiments disclosed in the present invention and the accompanying drawings are not intended to limit the technical spirit of the present invention but to describe the present invention, and the scope of the technical idea of the present invention is not limited by the embodiments and the accompanying drawings. . The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of the present invention.

110 : 제1영상 출력부 120 : 영상 획득부
130 : 제2영상 출력부 140 : 제어부
141 : 위치 산출부 142 : 투사행렬 산출부
150 : 스크린110: first image output unit 120: image acquisition unit
130: second image output unit 140: control unit
141: position calculation unit 142: projection matrix calculation unit
150: screen

Claims (13)

표시자가 포함된 제1영상을 출력하는 제1영상 출력부;
상기 제1영상으로부터 표지 영상을 획득하는 영상 획득부;
상기 제1영상의 목적 영역을 더욱 선명하게 표시하기 위하여 상기 표시자 내부에 제2영상을 출력하는 제2영상 출력부; 및
상기 제1영상의 표시자 중심과 상기 표지 영상의 표시자 중심이 일치하지 않는 경우 상기 제2영상 출력부의 출력 영상 중심과 일치하는 상기 제1영상의 표시자 중심을 변경하고, 상기 변경된 표시자 중심에 따라 상기 제1영상에 표시자를 다시 투사하도록 상기 제1영상 출력부를 제어하고, 상기 표시자의 내부에 상기 제2영상을 투사하도록 제2영상 출력부를 제어하는 제어부
를 포함하는 복수 영상 투사를 위한 폐회로 기반의 인터랙티브 영상 투사 제어 장치.A first image output unit configured to output a first image including an indicator;
An image obtaining unit obtaining a cover image from the first image;
A second image output unit configured to output a second image inside the indicator to more clearly display the target area of the first image; And
If the center of the indicator of the first image does not coincide with the center of the marker of the cover image, the center of the indicator of the first image that matches the center of the output image of the second image output unit is changed, and the changed center of the indicator is changed. A control unit controlling the first image output unit to project the indicator on the first image again, and controlling the second image output unit to project the second image inside the indicator.
Closed circuit based interactive image projection control apparatus for projecting a plurality of images comprising a. 제1항에 있어서,
상기 제어부는,
상기 제1영상의 표시자 중심과 상기 표지 영상의 표시자 중심이 일치하지 않는 경우에 상기 표지 영상에 나타난 표시자 위치를 산출하는 위치 산출부; 및
상기 표지 영상의 표시자 위치와 상기 제1영상의 표시자 위치에 기초하여 상기 제2영상 출력부의 출력 영상 중심이 상기 제1영상의 표시자 중심과 일치하도록 상기 제1영상의 표시자 위치를 변경하는 투사행렬 산출부
를 포함하는 것을 특징으로 하는 복수 영상 투사를 위한 폐회로 기반의 인터랙티브 영상 투사 제어 장치.The method of claim 1,
The control unit,
A position calculator configured to calculate an indicator position displayed on the cover image when the indicator center of the first image and the indicator center of the cover image do not coincide with each other; And
The indicator position of the first image is changed so that the center of the output image of the second image output unit coincides with the center of the indicator of the first image based on the indicator position of the cover image and the indicator position of the first image. Projection matrix calculation unit
Closed loop based interactive image projection control apparatus for projecting a plurality of images comprising a. 제1항 또는 제2항에 있어서,
상기 영상 획득부와 상기 제2영상 출력부는 연동하여 움직이는 것을 특징으로 하는 복수 영상 투사를 위한 폐회로 기반의 인터랙티브 영상 투사 제어 장치.The method according to claim 1 or 2,
And a closed circuit based interactive image projection control apparatus for projecting a plurality of images, wherein the image acquisition unit and the second image output unit move together with each other. 제3항에 있어서,
상기 영상 획득부와 상기 제2영상 출력부는 고정결합되는 것을 특징으로 하는 복수 영상 투사를 위한 폐회로 기반의 인터랙티브 영상 투사 제어 장치.The method of claim 3,
And a closed circuit-based interactive image projection control apparatus for projecting a plurality of images, wherein the image acquisition unit and the second image output unit are fixedly coupled. 제1항에 있어서,
상기 제1영상 출력부는 고정 프로젝터이고,
상기 제2영상 출력부는 이동 프로젝터인 것을 특징으로 하는 복수 영상 투사를 위한 폐회로 기반의 인터랙티브 영상 투사 제어 장치. The method of claim 1,
The first image output unit is a fixed projector,
The closed image based interactive image projection control apparatus for projecting a plurality of images, wherein the second image output unit is a mobile projector. 제1항 또는 제2항에 있어서,
상기 제어부는 상기 영상 획득부에서 획득한 영상의 매 프레임마다 상기 표시자 중심과 상기 제2영상 출력부의 출력 영상 중심이 다른 경우에 상기 제2영상 출력부의 출력 영상 중심에 기초하여 상기 표시자의 위치를 변경하는 것을 특징으로 하는 복수 영상 투사를 위한 폐회로 기반의 인터랙티브 영상 투사 제어 장치. The method according to claim 1 or 2,
The controller controls the position of the indicator based on the center of the output image of the second image output unit when the center of the indicator differs from the center of the output image of the second image output unit every frame of the image acquired by the image acquisition unit. Closed loop based interactive image projection control apparatus for multiple image projection, characterized in that for changing. 제1항에 있어서,
상기 표시자는 내부가 빈 사각형인 것을 특징으로 하며,
상기 표시자 위치는 상기 표지사의 네 코너점에 의하여 결정되는 것을 특징으로 하는 복수 영상 투사를 위한 폐회로 기반의 인터랙티브 영상 투사 제어 장치. The method of claim 1,
The indicator is characterized in that the inside is an empty rectangle,
The marker position is determined by the four corner points of the marker of the closed circuit-based interactive image projection control apparatus for multiple image projection. a) 표시자가 포함된 제1영상을 출력하는 단계;
b) 상기 제1영상으로부터 표지 영상을 획득하는 단계;
c) 상기 제1영상의 표시자 중심과 상기 표지 영상의 표시자 중심의 일치여부를 판단하여 상기 표시자 중심이 일치하지 않는 경우 상기 제1영상의 표시자 중심을 상기 제2영상 출력부의 출력 영상 중심과 일치하도록 변경하는 단계; 및
d) 상기 변경된 표시자 중심에 따라 상기 제1영상에 표시자를 다시 투사한 후, 상기 표시자의 내부에 상기 제1영상의 목적 영역을 더욱 선명하게 표시하기 위하여 상기 표시자 내부에 제2영상을 출력하는 단계
를 포함하는 복수 영상 투사를 위한 폐회로 기반의 인터랙티브 영상 투사 제어 방법.a) outputting a first image including an indicator;
b) acquiring a cover image from the first image;
c) If the center of the indicator of the first image and the center of the indicator of the cover image is determined to match, if the center of the indicator does not match, the center of the indicator of the first image is output from the second image output unit. Changing to match the center; And
d) after projecting the indicator on the first image again according to the changed center of the indicator, and outputting a second image inside the indicator to more clearly display the target area of the first image inside the indicator; Steps to
Closed loop-based interactive image projection control method for projecting a plurality of images comprising a. 제8항에 있어서, 상기 c) 단계는
c1) 상기 표시자 중심의 일치여부 판단결과, 상기 제1영상의 표시자 중심과 상기 표지 영상의 표시자 중심이 일치하지 않는 경우에 상기 표지 영상에 나타난 표시자 위치를 산출하는 단계; 및
c2) 상기 표지 영상의 표시자 위치와 상기 제1영상의 표시자 위치에 기초하여 상기 제2영상 출력부의 출력 영상 중심이 상기 제1영상의 표시자 중심과 일치하도록 상기 제1영상의 표시자 위치를 변경하는 투사행렬을 산출하는 단계
를 포함하는 것을 특징으로 하는 복수 영상 투사를 위한 폐회로 기반의 인터랙티브 영상 투사 제어 방법.The method of claim 8, wherein c)
c1) calculating a marker position shown in the cover image when the indicator center of the first image does not coincide with the indicator center of the first image as a result of determining whether the indicator center coincides; And
c2) an indicator position of the first image such that an output image center of the second image output unit coincides with an indicator center of the first image based on the indicator position of the cover image and the indicator position of the first image Calculating a projection matrix for changing
Closed loop-based interactive image projection control method for projecting a plurality of images comprising a. 제8항 또는 제9항에 있어서,
상기 표시자는 내부가 빈 사각형 형상인 것을 특징으로 하는 복수 영상 투사를 위한 폐회로 기반의 인터랙티브 영상 투사 제어 방법.The method according to claim 8 or 9,
The indicator is a closed loop-based interactive image projection control method for projecting a plurality of images, characterized in that the inside of the hollow rectangular shape. 제10항에 있어서,
상기 c1) 단계에서는, 상기 표지 영상에 상기 표시자의 위치가 나타나면 상기 표시자의 네 코너점을 산출하여 상기 표시자의 위치를 산출하는 것을 특징으로 하는 복수 영상 투사를 위한 폐회로 기반의 인터랙티브 영상 투사 제어 방법.The method of claim 10,
In step c1), when the position of the indicator appears on the cover image, the four corner points of the indicator are calculated to calculate the position of the indicator. 제8항에 있어서,
e) 상기 획득한 표지 영상의 매 프레임마다 상기 표시자 중심과 상기 제2영상 출력부의 출력 영상 중심이 다른 경우에 상기 제2영상 출력부의 출력 영상 중심에 기초하여 상기 표시자의 위치를 변경하는 단계를 추가적으로 포함하는 것을 특징으로 하는 복수 영상 투사를 위한 폐회로 기반의 인터랙티브 영상 투사 제어 방법.The method of claim 8,
e) changing the position of the indicator based on the center of the output image of the second image output unit when the center of the indicator differs from the center of the output image of the second image output unit every frame of the acquired cover image; A closed loop based interactive image projection control method for projecting a plurality of images, further comprising. 제8항에 있어서,
상기 d) 단계에서는
상기 표시자 내부에 제2영상을 출력하기 전에 상기 제1영상과 상기 제2영상이 인접한 부분에서 영상 와핑을 수행하는 것을 특징으로 하는 복수 영상 투사를 위한 폐회로 기반의 인터랙티브 영상 투사 제어 방법.The method of claim 8,
In step d)
A closed-loop interactive image projection control method for projecting a plurality of images, wherein the image warping is performed at a portion adjacent to the first image and the second image before outputting the second image inside the indicator.
KR1020100011449A 2010-02-08 2010-02-08 Interactive Projection Apparatus and Method for projecting a plurality of images based on a closed-loop calculation KR101091572B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100011449A KR101091572B1 (en) 2010-02-08 2010-02-08 Interactive Projection Apparatus and Method for projecting a plurality of images based on a closed-loop calculation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100011449A KR101091572B1 (en) 2010-02-08 2010-02-08 Interactive Projection Apparatus and Method for projecting a plurality of images based on a closed-loop calculation

Publications (2)

Publication Number Publication Date
KR20110092029A true KR20110092029A (en) 2011-08-17
KR101091572B1 KR101091572B1 (en) 2011-12-13

Family

ID=44929044

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100011449A KR101091572B1 (en) 2010-02-08 2010-02-08 Interactive Projection Apparatus and Method for projecting a plurality of images based on a closed-loop calculation

Country Status (1)

Country Link
KR (1) KR101091572B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110618578A (en) * 2018-06-19 2019-12-27 广景视睿科技（深圳）有限公司 Projector and projection method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110618578A (en) * 2018-06-19 2019-12-27 广景视睿科技（深圳）有限公司 Projector and projection method
CN110618578B (en) * 2018-06-19 2022-05-06 广景视睿科技（深圳）有限公司 Projector and projection method

Also Published As

Publication number Publication date
KR101091572B1 (en) 2011-12-13

Similar Documents

Publication Publication Date Title
JP6748961B2 (en) Projection image adjustment system and projection image adjustment method
CN103019638B (en) Display device, projector and display packing
JP4508049B2 (en) 360 ° image capturing device
JP4677281B2 (en) Image processing method and image processing apparatus
US20170163949A1 (en) Apparatus using a projector, method, and storage medium
US20100188355A1 (en) Apparatus and method for detecting an object pointed by a user
JP2020187358A (en) Projection system, projection apparatus and calibrating method for displayed image thereof
JP2004222153A (en) Image processing system, projector, program, information storage medium and image processing method
US20150077518A1 (en) Apparatus for mobile pattern projection
JP2015016610A (en) Image projection system and image projection method
KR100962557B1 (en) Augmented reality implementation apparatus and method of the same
JP2017096725A (en) Information processor and information processing method
US20200329227A1 (en) Information processing apparatus, information processing method and storage medium
CN111694528A (en) Method for identifying typesetting of display wall and electronic device using same
CN112017133B (en) Image display method and device and electronic equipment
JP2017191492A (en) Information processing device, information processing method and video generation system
JP2016085380A (en) Controller, control method, and program
JP2016162392A (en) Three-dimensional image processing apparatus and three-dimensional image processing system
JP6749402B2 (en) Projection-type image display device and method for adjusting projection image
JP2009251858A (en) Image conversion program and image conversion device
WO2017203796A1 (en) Information processing device, information processing method, and program
JP5515405B2 (en) Video processing device, video display device, and video processing method
KR101091572B1 (en) Interactive Projection Apparatus and Method for projecting a plurality of images based on a closed-loop calculation
JP2004140845A (en) Projector
JP2010272078A (en) System, and control unit of electronic information board, and cursor control method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141126

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee