WO2021132832A1 - 멀티 프로젝터 영상 정합을 위한 영상분배및변환장치 및 이를 이용한 영상 정합 방법 - Google Patents

멀티 프로젝터 영상 정합을 위한 영상분배및변환장치 및 이를 이용한 영상 정합 방법 Download PDF

Info

Publication number
WO2021132832A1
WO2021132832A1 PCT/KR2020/010552 KR2020010552W WO2021132832A1 WO 2021132832 A1 WO2021132832 A1 WO 2021132832A1 KR 2020010552 W KR2020010552 W KR 2020010552W WO 2021132832 A1 WO2021132832 A1 WO 2021132832A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
projector
digital image
address
buffer
Prior art date
Application number
PCT/KR2020/010552
Other languages
English (en)
French (fr)
Inventor
김진헌
Original Assignee
서경대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020200006634A external-priority patent/KR102348429B1/ko
Application filed by 서경대학교 산학협력단 filed Critical 서경대학교 산학협력단
Publication of WO2021132832A1 publication Critical patent/WO2021132832A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]

Definitions

  • the present invention relates to an image distribution and conversion apparatus for multi-projector image registration and an image registration method using the same, and includes a camera for photographing an area projected by adjacent projectors in a projection method using a plurality of multi-projectors, and a camera It relates to an image distribution and conversion apparatus for multi-projector image matching that analyzes an image input from a projector and corrects an image area projected to each projector, and an image matching method using the same.
  • the demand for maximizing people's sense of presence and immersion by projecting them on a large screen is increasing.
  • the demand for technology that can induce dramatic effects by projecting multiple projectors on a large panoramic screen is gradually increasing. If multiple projectors are used, it can be used to realize various immersive effects according to the diversification of the projection direction and contents of the projector, rather than simply reproducing flat, monotonous images.
  • the present invention is multi-projector image matching that analyzes camera image data input from a plurality of cameras while minimizing the load on the central processing unit, and generates and provides HDMI signals to be displayed by a plurality of projectors within a fast processing time in a hardware manner.
  • An object of the present invention is to provide an image distribution and conversion apparatus for and an image matching method using the same.
  • the above object of the present invention is to have N projectors (N is a natural number greater than or equal to 2) projecting on a panoramic screen, a plurality of cameras that take images projected on the screen and output them as camera image data, and each projector by analyzing the camera image data.
  • An image analysis and control device for outputting mapping information for matching the image to be projected, a content playback device for outputting an original HDMI signal, and a content playback device that converts the original HDMI signal into digital image data according to the mapping information and then encodes the HDMI signal
  • the image matching device having an image distribution and conversion device that transmits the image to the projector, the image distribution and conversion device distributes an original HDMI signal and outputs an N divided HDMI signal; an Input HDMI Distributer; It includes an image conversion module corresponding to each of the projectors, and each image conversion module includes an HDMI decoder that decodes the distributed HDMI signal and converts it into digital image data, a content buffer that stores the converted digital image data, and the content buffer.
  • a mapping lookup table for storing a pointer to an address, a display buffer for storing digital image data to be displayed on the projector, and an address of the mapping lookup table are incremented and referenced to determine the address of the content buffer, and use the address to determine the content
  • an image distribution and conversion device for multi-projector image matching characterized in that it includes a second DMA logic unit that reads digital image data stored in the buffer, performs scaling processing, and then writes to the display buffer in a hardware manner.
  • the second DMA logic unit receives a scaling register for storing a scaling value for converting the digital image data stored in the content buffer according to the mapping information, and an address to be written in the display buffer and digital image data, and then according to the address to be written to the display buffer. Select a scaling value, convert the digital image data stored in the content buffer according to the selected scaling value using the scaling value, and then increase the address of the output logic operation unit and mapping lookup table to determine the address of the content buffer,
  • the second DMA is configured by reading the digital image data stored in the content buffer using the address, transmitting it to the logical operation unit, and writing the scaling-processed digital image data output from the logical operation unit to the display buffer.
  • each image conversion module includes a first DMA that writes digital image data output from the HDMI decoder as a content buffer, an HDMI encoder that encodes digital image data matched to the projector, and digital image data stored in the display buffer. It is characterized in that it further comprises a third DMA for transmitting to the HDMI encoder.
  • the above object of the present invention is to match and project the original HDMI signal input from the content playback device onto a panoramic screen using N projectors (N is a natural number greater than or equal to 2), and record it using a plurality of cameras to match the images.
  • N is a natural number greater than or equal to 2
  • Step 8 described above includes step 8-1 of identifying the address of the content buffer with reference while increasing the address of the mapping lookup table, step 8-2 of reading digital image data stored in the identified address of the content buffer, and step 8-2. , Steps 8-3 and 8 of selecting the scaling value stored in the scaling register according to the address to be written in the display buffer, converting the digital image data read in Step 8-3 by using the selected scaling value, and outputting it -
  • the digital image data output in step 3 may be subdivided into steps 8-4 for writing to the display buffer.
  • the image distribution and conversion apparatus for multi-projector image registration and the image registration method using the same according to the present invention, a scalable structure is adopted and the image conversion module constituting the image distribution and conversion apparatus is added when the number of projectors increases. It is easy to expand because it can be expanded.
  • the image distribution and conversion apparatus for multi-projector image registration and the image registration method using the same according to the present invention do not employ an expensive GPU (Graphic Processing Unit) for image change, and use a mapping lookup table (LUT). Since the mapping lookup table has an independently separated structure for each projector, there is an advantage that the number of projectors is not limited.
  • the image distribution and conversion apparatus for multi-projector image registration and the image registration method using the same can be implemented in an economical embedded system such as a personal computer and Raspberry Pi that can be easily utilized in some of the overall system configuration,
  • the main device, image distribution and conversion device can be implemented at low cost by using FPGA (Field Programmable Gate Array).
  • the central processing unit (CPU) ) has the advantage of greatly reducing the load.
  • the remaining central processing unit resources can be concentrated on additional image processing for more effective image processing. processing can be facilitated.
  • FIG. 1 is a block diagram of an image matching apparatus for multi-projector image registration as an embodiment according to the present invention.
  • FIG. 2 is a block diagram of an image distribution and conversion apparatus constituting an image matching apparatus according to an embodiment of the present invention
  • FIG. 3 is a block diagram illustrating a mapping operation process of a second DMA logic unit constituting an image matching apparatus according to an embodiment of the present invention
  • FIG. 4 is a block diagram of an image analysis and control apparatus constituting an image matching apparatus according to an embodiment of the present invention
  • FIG. 5 is a conceptual diagram illustrating a state in which images are projected onto a panoramic screen using three projectors before image matching.
  • FIG. 6 is a conceptual diagram illustrating a state in which images are projected onto a panoramic screen using three projectors after image registration
  • FIG. 7 is a flowchart briefly explaining an image registration process according to the present invention.
  • FIG. 8 is an explanatory diagram showing the area projected by the projector 10a and the area projected by the projector 10b in blue and red colors, respectively, before correction recognized using the camera.
  • FIG 9 is a view showing a projection area before correction and a projection area after correction after image conversion in the projector 10a.
  • on or on top of means to be located above or below the target part, and does not necessarily mean to be located above the direction of gravity. Also, when a part of a region, plate, etc. is said to be “on or on” another part, it is not only when another part is in contact with or spaced “on or on” another part, but also when another part is in between Including cases where there is
  • the image matching apparatus includes a content reproducing apparatus that reproduces panoramic content such as games and moving pictures, and an encoder to a plurality of projectors by appropriately converting an original HDMI signal input from the content reproducing apparatus to each screen configuration of a plurality of projectors. It consists of an image distribution and conversion device that divides and transmits the HDMI signal, and an image analysis and control device that analyzes the image projected on the screen and generates control parameters (mapping information) to control each projector.
  • the image analysis and control apparatus constituting the present invention captures the currently projected screen image through a camera in real time, acquires it as camera image data, and obtains keystone, output range, scaling, and contrast ratio from the acquired plurality of camera image data.
  • the image distribution and conversion device uses the corresponding mapping information to correct the original HDMI signal using a plurality of DMAs in a hardware method, and then encodes the corrected HDMI signal and transmits it to each projector, so that the image projected by a plurality of projectors as a whole are projected harmoniously in real time.
  • the image matching device 100 includes a panoramic screen 90 , a plurality of projectors 10 , a plurality of cameras 20 , a content playback device 30 , an image distribution and conversion device 50 , and an image analysis and control device 70 . ) is composed of
  • the panoramic screen 90 is a screen on which images projected from a plurality of projectors are formed.
  • the plurality of projectors 10 are devices that receive an encoded HDMI signal and then generate an image therefrom and then project it.
  • the camera 20 is provided with a plurality of the same number of the plurality of projectors, and is a device for inputting camera image data obtained by photographing an area slightly larger than the area projected by the related projector to the image analysis and control device 70 . If the projector 10 is composed of N ('N' is a natural number greater than or equal to 2), the camera 20 is also composed of N units. 1 shows an embodiment comprising three projectors 10 and three cameras 20 . Of course, the number of cameras installed can be provided by one less than the number of projectors. For example, configuring the configuration of FIG. 1 with three projectors 10 and two cameras 20 is easily possible for those skilled in the art.
  • the content playback device 30 is a device that reproduces source files, such as video games and moving pictures, as an original HDMI signal.
  • the content playback device 30 may be implemented by playing Unity and a media player on a PC.
  • the original HDMI signal output from the content reproducing apparatus 30 may be composed of one large image HDMI signal constituting a screen or a plurality of HDMI signals for small screens.
  • the image distribution and conversion device 50 creates and distributes a plurality of HDMI signals corresponding to the number of projectors 10 from the original HDMI signal input from the content playback device 30, converts the original HDMI signal to digital, and analyzes the image. and an HDMI signal to be displayed on each projector by using the mapping information input from the control device to be encoded and provided.
  • the image analysis and control device 70 projects various test patterns through the projector 10, receives them as camera image data through the camera 20, and identifies distortion and overlap, color, illuminance, etc. of the projector. It is a device that calculates a control parameter (mapping information) for matching each projector 10 and provides it to the image distribution and conversion device 50 .
  • the projector 10, the camera 20, the content playback device 30, the image distribution and conversion device 50, and the image analysis and control device 70 constituting the image matching device 100 are connected through a network to generate a trigger signal It is configured to share various control information and status information, including
  • the image distribution and conversion device 50 is composed of one input HDMI splitter and N image conversion modules. The role of each component according to the signal flow will be described.
  • Mapping information transmitted from the image analysis and control device 70 is input through a network controller.
  • a mapping lookup table (mapping LUT) and a scaling register to be described later are initialized using the mapping information.
  • the related mapping information is transmitted to the corresponding image conversion module through an internal serial controller.
  • Mapping information does not necessarily need to be transmitted in real time because it is necessary only for the re-adjustment work after the initialization process or abnormality is found. That is, if the actual projection range and screen size of the projector 10 are set once through initialization of the mapping LUT and the scaling register, the mapping lookup table until abnormality occurs due to external shock or temperature characteristics. There is no need to set again. Therefore, rather than processing in real time, for example, an operation of re-adjusting the mapping lookup table and scaling register offline using mapping information transmitted from the image analysis and control device 70 periodically once a day This means that it is free to pass through.
  • mapping information is input to the network controller of the image conversion module offline, and then transmitted to each image conversion module through the serial controller again.
  • Each image conversion module updates a mapping lookup table (Mapping LUT) and a scaling register by using the received mapping information.
  • the second DMA logic unit finds a storage location of digital image data to be displayed by each projector stored in a content buffer using a mapping lookup table (Mapping LUT) as shown in FIG. The operation of storing the write operation in .
  • Mapping LUT mapping lookup table
  • the second DMA logic unit uses the pointer stored at the (0,0) position of the mapping lookup table to determine the address of the content buffer, reads the digital image data stored in the corresponding content buffer, and after scaling processing (0,0) write operation to the display buffer, and then use the pointer stored in the (1,0) position of the mapping lookup table to determine the address of the content buffer, and then read the digital image data stored in the corresponding content buffer.
  • the second DMA logic unit uses the pointer stored at the (0,0) position of the mapping lookup table to determine the address of the content buffer, reads the digital image data stored in the corresponding content buffer, and after scaling processing (0,0) write operation to the display buffer, and then use the pointer stored in the (1,0) position of the mapping lookup table to determine the address of the content buffer, and then read the digital image data stored in the corresponding content buffer.
  • the second DMA logic unit reads the address of the corresponding content buffer by referring to the contents of the mapping lookup table initialized in advance while incrementing the address, and writes the digital image data stored in the content buffer of the converted address into the display buffer and repeats the operation. to do it At this time, scaling and calculation operations can be performed on the digital image data, so that the digital image data conversion is also performed in real time.
  • the second DMA logic unit is composed of a scaling register, a logic operation unit, and a second DMA.
  • the scaling register is a register that stores a scaling factor for converting digital image data stored in the content buffer according to input mapping information.
  • pixel processing scaling processing
  • digital image data corresponding to an overlapping projection area requires a blending process
  • digital image data corresponding to a non-overlapping projection area requires a brightness and color adjustment process.
  • a scaling value according to this area division is stored in the scaling register.
  • the logic operation unit When receiving digital image data, the logic operation unit is a component that selects the scaling value according to an address to be written in the display buffer, converts the digital image data stored in the content buffer according to the selected scaling value, and outputs it.
  • the logical operation unit determines whether a pixel corresponds to an overlapping projection area or a non-overlapping projection area using the address to be written in the display buffer, and selects a scaling value suitable for this from the scaling register.
  • the second DMA identifies the address of the content buffer by referring to it while increasing the address of the mapping lookup table, reads the digital image data stored in the content buffer using the address, and transmits it to the logical operation unit, and the scaling process output from the logical operation unit It is a DMA that writes the digital image data to the corresponding address of the display buffer.
  • 3DMA reads the contents of the display buffer through the bus, inputs it to the HDMI encoder, and outputs the encoded HDMI signal to the projector.
  • mapping lookup table Mapping LUT
  • address information of where the pixel information to be displayed at the (x,y) point of the screen is actually located in the contents buffer is stored.
  • the input HDMI distributor is a component that equally supplies the HDMI signal input from the content playback device 30 to a plurality of image conversion modules.
  • the number of image conversion modules may be scalably increased or decreased according to the number of projectors.
  • the HDMI signal input to each image conversion module is converted into digital image data through an HDMI decoder.
  • the digital image data is stored in a content buffer area of a memory by a first DMA (Direct Memory Access) connected thereto.
  • DMA has a register that sets the location of the memory transfer point inside the program and repeats the operation of copying digital image data endlessly with priority over the central processing unit (CPU) to access the memory.
  • the first DMA, the second DMA logic unit, and the third DMA proposed in the present invention have a structure that shares a bus with the central processing unit (CPU), the system configuration is simple and the operation (memory) predetermined by the preset setting of the central processing unit (CPU). approach) is executed infinitely. Therefore, while the DMA accesses the memory, the central processing unit can perform additional image processing with ease.
  • FIG. 3 is a block diagram illustrating a mapping operation process of a second DMA logic unit constituting an image matching apparatus according to an embodiment of the present invention.
  • RxC(RowxColumn) represents the resolution of the screen
  • R(Row) represents the row resolution of the screen
  • C(Column) represents the resolution of the column of the screen.
  • the second DMA logic unit reads the content of the content buffer according to information of the mapping LUT and copies it into the display buffer area.
  • mapping lookup table mapping LUT
  • a pointer indicating where the digital image data of the coordinates to be displayed is located in the content buffer is stored.
  • the pointer information is data calculated by the image analysis and control device 70 through the geometric transformation process, and is recorded by the central processing unit of the image distribution and conversion device through the network in the initialization process.
  • the second DMA logic unit reads the pointer of the mapping lookup table (Mapping LUT) and reads the pixel value (digital image data) from the corresponding address of the content buffer indicated by it, and based on this, it is stored in the scaling register. It converts (scaling) into a new value using the value and H/W logic operation unit and puts it in the display buffer.
  • the digital image data stored in the content buffer accessed by the pointer stored in the address of the mapping lookup table is stored in the display buffer of the same address.
  • the digital image data (Content) stored in the (0,1) content buffer address related to the (0,0) mapping lookup table address is scaled-converted and then written to the (0,0) display buffer. will be.
  • the pixel (digital image data) value conversion process is particularly necessary in the blending of two images for the overlapping areas of the projection areas of the two projectors, and is used to adjust the brightness and color of the remaining areas.
  • a scaling register stores a scaling factor for digital image data stored in a content buffer using mapping information received from an image distribution and conversion device. For example, in order to process the overlapped projection area of two neighboring projectors, digital image data corresponding to the overlapped projected screen area is stored in the scaling register. The scaling value required for the weighted average-based blending operation processing. is stored, and scaling values for brightness and color adjustment are stored in the non-overlapping projection area. Information on the start position and end position of the overlapping projection area is included in the mapping information transmitted from the image analysis and control device. Accordingly, in the process of initializing the image distribution and conversion apparatus, information about the start position and the end position of the overlapping projection area included in the mapping information is set in the logic operation unit.
  • the attached logical operation unit selects the scaling value stored in the scaling register according to the coordinate information to be used in the display buffer when the digital image data (pixel value) stored in the content buffer is delivered, and is stored in the content buffer according to the scaling value. It converts the stored digital image data and outputs it.
  • the created mapping lookup table is used, the pointer stored in the mapping lookup table is read, and then the pixel value stored in the content buffer is read.
  • 2nd DMA logic part that proposes a write operation to the display buffer after appropriately converting the read pixel value using a scaling register and a logic operation unit, it can be quickly performed in real time in a hardware method.
  • the DMA device is also capable of changing pixel values through its own programmable registers and operators when performing a write operation.
  • Such a DMA logic structure can be implemented in an actual situation by using a programmable device such as an FPGA (Field Programmable Gate Array).
  • HDMI data mapping to be displayed on each projector is performed in a hardware way through a mapping LUT and multiple DMAs, it is not burdened by the central processing unit, so it can be used for dedicated devices such as GPU (Graphic Processing Unit). It has the advantage of being able to process in real time without a computing device.
  • the third DMA reads the image data from the display buffer that has undergone geometric transformation and sends it to the HDMI encoder.
  • HDMI Encoder encodes the HDMI signal and transmits it to the corresponding projector.
  • Each DMA and the central processing unit have the right to own the memory through a mutual priority allocation algorithm, and the central processing unit is assigned to have the lowest priority memory occupation.
  • the central processing unit may additionally perform local or global processing, such as image quality improvement, color adjustment, brightness adjustment, and blending operation, as well as simple data transmission.
  • local or global processing such as image quality improvement, color adjustment, brightness adjustment, and blending operation, as well as simple data transmission.
  • a central processing unit and a memory are separately allocated for each projector, and each image conversion module is responsible for only the necessary area of the used projector, so that the increase in the number of projectors increases the memory bandwidth and processing of the central processing unit. It has the advantage of not being limited by competence.
  • the image analysis and control device 70 receives images from a plurality of cameras 20 and uses the images to generate parameters (mapping information) for adjusting the contents of images to be output from each projector 10 .
  • the image analysis and control device 70 receives camera image data from the camera 20 through a USB/Network Controller, and then the central processing unit generates mapping information using it.
  • the generated mapping information is transmitted to the image distribution and conversion device 50 through a network controller. Since the detailed configuration and processing algorithm of the image analysis and control device 70 are not the subject of the present invention, they will not be described in detail.
  • FIG. 5 is a conceptual diagram illustrating a state in which images are projected onto a panoramic screen using three projectors before image matching.
  • a panoramic screen is projected using three projectors 10a, 10b, and 10c, some of the images projected from neighboring projectors are overlapped for registration before image registration.
  • the projector 10a is projected on the screen 90 over area A, and among them, the projector 10a alone projects on area B, and in 'area A - area B'
  • the same area is simultaneously projected overlaid for smooth registration, and this area is referred to as an overlapping projection area.
  • the projector 10c the left part is projected by overlapping the area projected by the projector 10b.
  • the most preferable substantially panoramic projection area may be referred to as the black border 90 .
  • the camera captures an area exceeding the maximum range of each projection screen and transmits it to the image analysis and control device.
  • FIG. 6 is a conceptual diagram illustrating an actual projection screen projected onto a panoramic screen using three projectors after image registration. After image registration, as shown in FIG. 6, while minimizing the overlapped and projected area, the image projected by the neighboring projectors in the overlapped and projected area is projected by correcting the distortion so that the images are matched.
  • FIG. 7 is a flowchart briefly explaining an image registration process according to the present invention.
  • the distortion is removed by calibrating the camera image data output from the camera using the image matching device as shown in FIG. 1 (S710). Since the camera captures an image using a wide-angle lens, etc., the actual image is distorted and output, so that the image captured by the camera needs to be calibrated.
  • the area projected by each projector is determined by analyzing the camera image data output and calibrated from each camera (S720).
  • a maximum screen outputable by a plurality of projectors is determined, and an area to be substantially projected by each project is calculated in order to configure the maximum screen ( S730 ).
  • 8 is an explanatory diagram in which an area projected by the projector 10a and an area projected by the projector 10b before and after correction recognized using a camera are indicated by solid blue and red lines and broken lines, respectively.
  • the maximum screen that can be displayed using the two projectors 10a and 10b is shown by a black square solid line.
  • the maximum screen (black square) that the two projectors 10a and 10b can form without distortion within the range of the area projected by the two projectors 10a and 10b is determined.
  • the blue solid line indicates the area projected by the projector 10a before correction
  • the blue dashed line indicates the area to be projected by the projector 10a after correction
  • the red solid line indicates the area projected by the projector 10b before correction
  • the red dashed line indicates the area to be projected by the projector 10b after correction.
  • FIG. 8 shows the maximum screen that can be formed by two projectors only for the image projected by the two projectors for convenience of explanation, and a projection area before correction projected by each projector.
  • the same principle can be extended and applied to a projection device using three or more projectors.
  • mapping information for converting an image for converting the projection area before correction into the projection area after correction of each projector is generated, and the mapping information is uploaded to the image distribution and conversion device (S740).
  • 9 is an example showing the projection area before correction and the projection area after image conversion in the projector 10a together.
  • step S750 an image is output in hardware through DMA-based mapping conversion (S750).
  • the original HDMI signal input from the content playback device is distributed and output as N divided HDMI signals
  • the distributed HDMI signal is decoded and converted into digital image data
  • the converted digital image data is converted into content.
  • the address of the content buffer is identified using the mapping lookup table, and the digital image data stored in the content buffer using the address Projector image matching is performed by repeating the operation of writing to the display buffer after reading in the hardware method (performed by the 2nd DMA logic unit).
  • Steps S710 to S740 shown in FIG. 7 are steps performed by the image analysis and control device, and are steps that do not necessarily need to be performed in real time, and step S750 is performed by the image distribution and conversion device and performs DMA as described so far. It is a process that is processed in real time without burdening the central processing unit in terms of hardware.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

본 발명은 멀티 프로젝터 영상 정합을 위한 영상정합장치 및 이를 이용한 영상 정합 방법에 관한 것이다. 본 발명에서는 복수 개 프로젝터를 사용하여 대화면에 투사하는 멀티 프로젝터 융합 시스템의 투사 영상 조정을 위해 영상을 하나 혹은 둘 이상의 파노라마 HDMI 비디오 신호를 입력받아 이를 기반으로 영상을 디지털화하여 처리한 후 복수의 HDMI 신호를 생성하는 것을 특징으로 하는 멀티 프로젝터 영상 정합을 위한 영상정합장치 및 이를 이용한 영상 정합 방법이 개시된다. 본 발명은 스케일러블 구조를 채택하여 프로젝터의 수가 증가하면 장치의 내부 구성요소를 그만큼 증설하면 되기 때문에 확장에 용이하다.

Description

멀티 프로젝터 영상 정합을 위한 영상분배및변환장치 및 이를 이용한 영상 정합 방법
본 발명은 멀티 프로젝터 영상 정합을 위한 영상분배및변환장치 및 이를 이용한 영상 정합 방법에 관한 것으로서, 복수 개 멀티 프로젝터를 사용하여 투사하는 방식으로서 인접한 프로젝터가 투사하는 영역을 촬영하는 카메라를 구비하고, 카메라로부터 입력되는 영상을 분석하여 각 프로젝터에 투사되는 영상 영역을 보정하는 멀티 프로젝터 영상 정합을 위한 영상분배및변환장치 및 이를 이용한 영상 정합 방법에 관한 것이다.
미디어 콘텐츠에 대한 대중화에 힘입어 이를 대형 스크린에 투사하여 사람들의 현장감과 몰입감을 극대화하는 수요가 점점 증가하고 있다. 실내 놀이공원, 전시장, 박물관, 공연 무대에 여러 대의 프로젝터를 파노라마 대형 스크린에 투사하여 극적 효과를 유도할 수 있는 기술의 개발 수요가 점차 증대되고 있는 상황이다. 복수 개 프로젝터를 사용하면 단순히 평면적인 단조로운 영상을 재생하는 데 그치지 않고 투사 방향과 프로젝터의 콘텐츠의 다양화에 따라 여러 가지 실감효과를 구현하는데 활용할 수 있다.
복수 개 프로젝터를 대형 파노라마 스크린에 투사할 때 복수 개 프로젝터의 영상이 적절하게 조화를 이루도록 설치하더라도 운영 중에 생기는 진동으로 프로젝터의 조정이 미세하게 어긋나게 되는 경우 영상간 간격이 벌어지거나 중첩되어 나타기도 하고 시간이 지남에 따라 프로젝터 간의 색감, 대조비, 조도 등이 불일치하여 전체적으로 보면 실감 효과가 감소되는 문제점이 있다. 이를 해소하기 위해 미소한 문제가 생겨도 이때마다 조정 작업을 다시 수행하기 위해 전시 중단, 비용 소요 등의 문제가 발생할 수 있었다.
본 발명은 중앙처리장치에 미치는 부하를 최소화하면서 복수 대 카메라로부터 입력되는 카메라영상데이터를 분석하고 하드웨어 방식으로 빠른 처리 시간 내에 복수 개 프로젝터가 각각 디스플레이하여야 하는 HDMI 신호를 생성하여 제공하는 멀티 프로젝터 영상 정합을 위한 영상분배및변환장치 및 이를 이용한 영상 정합 방법을 제공하는 것을 목적으로 한다.
본 발명의 상기 목적은 파노라마 스크린에 투사하는 N개(N은 2 이상의 자연수) 프로젝터와, 스크린에 투사된 영상을 촬영하여 카메라영상데이터로 출력하는 복수 개 카메라와, 카메라영상데이터를 분석하여 각 프로젝터가 투사할 영상을 정합시키기 위한 매핑정보를 출력하는 영상분석및제어장치와, 원본 HDMI 신호를 출력하는 콘텐츠재생장치 및 매핑정보에 따라 상기 원본 HDMI 신호를 디지털영상데이터로 변환한 후 HDMI신호로 인코딩하여 프로젝터에 전송하는 영상분배및변환장치를 갖는 영상정합장치에 있어서, 영상분배및변환장치는 원본 HDMI 신호를 분배하여 N개 분배된 HDMI 신호로 출력하는 입력HDMI분배기(Input HDMI Distributer)와, N개 프로젝터에 각각 대응되는 영상변환모듈을 포함하고, 각 영상변환모듈은 분배된 HDMI 신호를 디코딩하여 디지털영상데이터로 변환하는 HDMI디코더와, 변환된 디지털영상데이터를 저장하는 콘텐츠버퍼와, 콘텐츠버퍼의 주소에 대한 포인터를 저장하는 매핑룩업테이블과, 프로젝터에 디스플레이될 디지털영상데이터를 저장하는 디스플레이버퍼 및 매핑룩업테이블의 주소를 증가시키면서 참조하여 상기 콘텐츠버퍼의 주소를 파악하고, 상기 주소를 이용하여 콘텐츠버퍼에 저장된 디지털영상데이터를 읽은 후 스케일링 처리 후 디스플레이버퍼에 쓰는(write) 작업을 하드웨어적 방식으로 반복 수행하는 제2DMA로직부를 포함하는 것을 특징으로 하는 멀티 프로젝터 영상 정합을 위한 영상분배및변환장치에 의해서 달성 가능하다.
제2DMA로직부는 매핑정보에 따라 상기 콘텐츠버퍼에 저장된 디지털영상데이터를 변환하기 위한 스케일링값을 저장하는 스케일링레지스터와, 디스플레이버퍼에 쓰여질 주소 및 디지털영상데이터를 입력받은 후, 디스플레이버퍼에 쓰여질 주소에 따라 스케일링값을 선택하고 선택된 스케일링값에 따라 콘텐츠버퍼에 저장된 디지털영상데이터를 스케일링값을 이용하여 변환한 후 출력하는 논리연산유니트 및 매핑룩업테이블의 주소를 증가시키면서 참조하여 콘텐츠버퍼의 주소를 파악하고, 주소를 이용하여 콘텐츠버퍼에 저장된 디지털영상데이터를 읽은 후 논리연산유니트에 전송하고, 논리연산유니트로부터 출력되는 스케일링 처리된 디지털영상데이터를 디스플레이버퍼에 쓰기하는 제2DMA로 구성되는 것이 바람직하다.
또한, 각 영상변환모듈에는 HDMI디코더로부터 출력되는 디지털영상데이터를 콘텐츠버퍼로 쓰는(write) 제1DMA와, 프로젝터에 적합하게 정합된 디지털영상데이터를 인코딩하는 HDMI인코더 및 디스플레이버퍼에 저장된 디지털영상데이터를 HDMI인코더로 전송하는 제3DMA를 더 구비하는 것을 특징으로 한다.
본 발명의 상기 목적은 콘텐츠재생장치로부터 입력되는 원본 HDMI 신호를 N개(N은 2 이상의 자연수) 프로젝터를 사용하여 파노라마 스크린으로 정합시켜 투사하고 이를 복수 개 카메라를 이용하여 촬영하여 영상을 정합하는 멀티 프로젝터 영상 정합을 위한 영상정합장치에서 프로젝트 영상을 정합하는 방법으로서, 복수 개 카메라에 의해 촬영된 영상을 캘리브레이션하는 제1단계와, 캘리브레이션된 카메라영상데이터를 이용하여 각 프로젝터가 투사하는 영역을 파악하는 제2단계와, 복수 개 프로젝터로 출력 가능한 최대 화면를 결정하고, 최대 화면을 형성하기 위해 각 프로젝터가 투사해야 하는 영역을 계산하는 제3단계와, 제2단계에서 파악된 각 프로젝터가 투사하는 영역을 상기 제3단계에서 계산된 각 프로젝터가 투사하는 영역으로 변환하는 영상 처리를 하기 위한 맵핑정보를 생성하는 제4단계와, 콘텐츠재생장치로부터 입력되는 상기 원본 HDMI 신호를 분배하여 N 개 분배된 HDMI 신호로 출력하는 제5단계와, 분배된 HDMI 신호를 디코딩하여 디지털영상데이터로 변환하는 제6단계와, 변환된 디지털영상데이터를 콘텐츠버퍼에 저장하고, 매핑정보를 이용하여 상기 콘텐츠버퍼의 주소에 대한 포인터를 매핑룩업테이블에 저장하는 제7단계와, 매핑룩업테이블의 주소를 증가시키면서 참조하여 상기 콘텐츠버퍼의 주소를 파악하고, 상기 파악된 주소를 이용하여 상기 콘텐츠버퍼에 저장된 디지털영상데이터를 읽은 후 매핑정보를 이용하여 스케일링 처리 후 디스플레이버퍼에 쓰는(write) 작업을 하드웨어적 방식으로 반복 수행하는 제8단계를 포함하는 것을 특징으로 하는 영상정합장치에서 프로젝트 영상을 정합하는 방법에 의해서도 달성 가능하다.
앞서 설명한 제8단계는 매핑룩업테이블의 주소를 증가시키면서 참조하여 상기 콘텐츠버퍼의 주소를 파악하는 제8-1단계와, 파악된 콘텐츠버퍼의 주소에 저장된 디지털영상데이터를 읽는 제8-2단계와, 디스플레이버퍼에 쓰여질 주소에 따라 상기 스케일링레지스터에 저장된 스케일링값을 선택하고 상기 제8-3단계에서 읽은 디지털영상데이터를 상기 선택된 스케일링값을 이용하여 변환한 후 출력하는 제8-3단계 및 제8-3단계에서 출력되는 디지털영상데이터를 상기 디스플레이버퍼에 쓰는 제8-4단계로 세분화 되어 수행될 수 있다.
추가적으로 콘텐츠버퍼에 저장된 디지털영상데이터를 인코딩하여 상기 각 프로젝터로 전송하는 제9단계를 더 포함하는 것이 좋다.
본 발명에 따른 멀티 프로젝터 영상 정합을 위한 영상분배및변환장치 및 이를 이용한 영상 정합 방법에서는 스케일러블(scarable) 구조를 채택하여 프로젝터의 수가 증가하면 영상분배및변환장치를 구성하는 영상변환모듈을 추가로 증설하면 되기 때문에 확장에 용이하다.
또한 본 발명에 따른 멀티 프로젝터 영상 정합을 위한 영상분배및변환장치 및 이를 이용한 영상 정합 방법은 영상 변화를 위해 고가의 GPU(Graphic Processing Unit)를 채택하지 않고 매핑룩업테이블(LUT, Look Up Table)을 적용하며, 매핑룩업테이블이 프로젝터마다 독립적으로 분리된 구조를 갖고 있기 때문에 프로젝터의 증가에 대해 제한을 받지 않는 장점이 있다.
본 발명에 따른 멀티 프로젝터 영상 정합을 위한 영상분배및변환장치 및 이를 이용한 영상 정합 방법은 전체 시스템 구성 중 일부는 손쉽게 활용 가능한 개인용 컴퓨터와 라즈베리 파이와 같은 경제적인 임베디드 시스템으로 구현 가능하며, 본 발명의 주요장치인 영상분배및변환장치는 FPGA(Field Programmable Gate Array)를 이용하면 적은 비용으로 구현가능하다.
본 발명에서는 기하학적 변환을 위한 파라미터 생성(매핑정보)은 오프라인(off-line)으로 수행하고 이 변환을 실시간으로 처리하는 제2DMA로직부를 이용함으로써 복잡한 연산을 하드웨어 방식으로 단순화하였기 때문에 중앙처리장치(CPU)의 부하가 대폭 경감되는 장점이 있다.
또한 종래의 방식에 비해 경량화된 중앙처리장치의 채택이 가능하고 중앙처리장치들이 관련된 메모리 접근이 자유롭게 분산되는 구조를 채택하고 있기 때문에 남는 중앙처리장치의 자원을 추가적인 영상처리에 집중할 수 있어 더욱 효과적인 영상 처리를 도모할 수 있다.
도 1은 본 발명에 따른 일 실시예로서 멀티 프로젝터 영상 정합을 위한 영상정합장치의 구성도.
도 2는 본 발명에 따른 일 실시예인 영상정합장치를 구성하는 영상분배및변환장치의 구성도.
도 3은 본 발명에 따른 일 실시예인 영상정합장치를 구성하는 제2DMA로직부의 매핑 동작 처리 과정을 설명하는 구성도.
도 4는 본 발명에 따른 일 실시예인 영상정합장치를 구성하는 영상분석및제어장치의 구성도.
도 5는 영상 정합 전 세 개의 프로젝터를 이용하여 파노라마 스크린에 투사하는 상태를 나타내는 개념도.
도 6은 영상 정합 후 세 개의 프로젝터를 이용하여 파노라마 스크린에 투사하는 상태를 나타내는 개념도.
도 7은 본 발명에 따른 영상 정합 과정을 간단히 설명하는 흐름도.
도 8은 카메라를 이용하여 인식된 보정전 프로젝터 10a에 의해서 투사된 영역과 프로젝터 10b에 의해서 투사된 영역을 각각 파란색과 붉은 색으로 표시한 설명도.
도 9는 프로젝터(10a)에서 보정 전 투사 영역과 영상 변환 후 보정 후 투사 영역을 함께 도시한 도면.
[부호의 설명]
10, 10a, 10b, 10c: 프로젝터
20: 카메라
30: 콘텐츠재생장치
50: 영상분배및변환장치
70: 영상분석및제어장치
90: 스크린
100: 영상정합장치
본 발명에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 명세서에서, "~ 상에 또는 ~ 상부에" 라 함은 대상 부분의 위 또는 아래에 위치함을 의미하는 것이며, 반드시 중력 방향을 기준으로 상 측에 위치하는 것을 의미하는 것은 아니다. 또한, 영역, 판 등의 부분이 다른 부분 "상에 또는 상부에" 있다고 할 때, 이는 다른 부분 "바로 상에 또는 상부에" 접촉하여 있거나 간격을 두고 있는 경우뿐 아니라 그 중간에 또 다른 부분이 있는 경우도 포함한다.
또한, 본 명세서에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.
또한, 본 명세서에서, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 발명에 따른 영상정합장치는 게임, 동영상 등의 파노라마 콘텐츠를 재생하는 콘텐츠재생장치와, 콘텐츠재생장치로부터 입력되는 원본 HDMI 신호를 복수 개 프로젝터의 각 화면 구성에 적절하게 변환하여 복수 개 프로젝터로 인코더된 HDMI 신호로 나누어 송출해주는 영상분배및변환장치와, 스크린에 투사된 영상을 분석하고 각 프로젝터를 제어하기 위한 제어 파라미터(매핑정보)를 생성해내는 영상분석및제어제어장치로 구성된다. 본 발명을 구성하는 영상분석및제어장치는 현재 투사하고 있는 스크린 영상을 카메라를 통해 실시간으로 촬영하여 카메라영상데이터로 취득하고 취득된 복수 개 카메라영상데이터로부터 키스톤(keystone), 출력범위, 스케일링, 대조비제어, 칼라 밸런싱, 및 이웃 프로젝터의 중첩 부분에 대한 블렌딩(blending) 조정 등에 필요한 정보를 연산하고, 이를 매핑정보로 영상분배및변환장치로 제공한다. 영상분배및변환장치는 해당되는 매핑정보를 이용하여 원본 HDMI 신호를 복수 개 DMA를 이용하여 하드웨어 방식으로 보정한 후, 보정된 HDMI 신호를 인코딩하여 각 프로젝터에 전송함으로써 전체적으로 복수 개 프로젝터가 투사하는 영상들이 실시간으로 조화롭게 투사되도록 한다.
이하에서, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예, 장점 및 특징에 대하여 상세히 설명하도록 한다.
도 1은 본 발명에 따른 일 실시예로서 멀티 프로젝터 영상 정합을 위한 영상정합장치의 구성도이다. 영상정합장치(100)는 파노라마 스크린(90), 복수 개 프로젝터(10), 복수 개 카메라(20), 콘텐츠재생장치(30), 영상분배및변환장치(50) 및 영상분석및제어장치(70)로 구성된다.
파노라마 스크린(90)은 복수 개 투사기에서 투사하는 영상이 맺히는 스크린이다. 복수 개 프로젝터(10)는 인코딩된 HDMI 신호를 입력받은 후 이로부터 영상을 생성한 후 투사하는 장치이다. 카메라(20)는 복수 개 투사기와 동일한 수만큼의 복수 개로 구비되며, 관련된 투사기가 투사하는 영역보다 조금 더 많은 영역을 촬영한 카메라영상데이터를 영상분석및제어장치(70)로 입력하는 장치이다. 프로젝터(10)가 N('N'은 2이상의 자연수)개로 구성된다면 카메라(20)도 N개로 구성된다. 도 1에서는 세 대의 프로젝터(10) 및 세 대의 카메라(20)로 구성한 실시예이다. 카메라 설치 갯수는 투사기의 갯수보다 한 개 적은 수만큼 구비할 수 있음은 물론이다. 예를 들어 도 1의 구성을 세 대의 프로젝터(10) 및 두 대의 카메라(20)로 구성하는 것은 해당 분야의 기술자는 손쉽게 가능한 것이다.
콘텐츠재생장치(30)는 비디오 게임, 동영상 등의 소스파일을 원본 HDMI 신호로 재생하는 장치이다. 예를 들어, 콘텐츠재생장치(30)는 유니티, 미디어 플레이어를 PC에서 재생하는 것으로 구현할 수 있다. 콘텐츠재생장치(30)로부터 출력되는 원본 HDMI 신호는 스크린을 구성하는 하나의 대형 영상 HDMI 신호 혹은 복수 개 소형 화면용 HDMI 신호로 구성될 수 있다.
영상분배및변환장치(50)는 콘텐츠재생장치(30)로부터 입력되는 원본 HDMI 신호를 프로젝터(10) 갯수에 해당하는 복수 개 HDMI 신호를 만들어 분배하며, 원본 HDMI 신호를 디지털로 변환하고, 영상분석및제어장치로부터 입력되는 매핑정보를 이용하여 각 프로젝터에 디스플레이될 HDMI 신호로 인코딩하여 제공하는 장치이다.
영상분석및제어장치(70)는 프로젝터(10)를 통해 다양한 테스트 패턴을 투사하도록 하고, 이를 카메라(20)를 통해 카메라영상데이터로 입력받은 후 프로젝터의 왜곡과 겹침, 색감, 조도 등을 파악하여 각 프로젝터(10)를 정합시키기 위한 제어 파라미터(매핑정보)를 산출하여 영상분배및변환장치(50)로 제공하는 장치이다.
영상정합장치(100)를 구성하는 프로젝터(10), 카메라(20), 콘텐츠재생장치(30), 영상분배및변환장치(50) 및 영상분석및제어장치(70)는 네트워크로 연결되어 트리거 신호를 비롯한 여러 제어 정보와 상태 정보를 공유하게 구성된다.
도 2는 본 발명에 따른 일 실시예인 영상정합장치를 구성하는 영상분배및변환장치의 구성도이다. 영상분배및변환장치(50)는 하나의 입력HDMI분배기와 N개의 영상변환모듈로 구성된다. 신호의 흐름에 따라 각 구성부의 역할을 설명하기로 한다.
영상분석및제어장치(70)로부터 전송되는 매핑정보(mapping information)는 네트워크콘트롤러(Network Controller)를 통해 입력된다. 매핑정보를 이용하여 매핑룩업테이블(mapping LUT) 및 후술하는 스케일링레지스터를 초기화한다. 관련된 매핑정보는 내부의 시리얼콘트롤러(Serial Controller)를 통해 해당 영상변환모듈로 전달된다. 매핑정보는 초기화 과정이나 이상이 발견되어 재 조정작업에서만 필요한 정보이기 때문에 반드시 실시간으로 전달될 필요는 없다. 즉, 매핑룩업테이블(mapping LUT) 및 스케일링레지스터의 초기화를 통하여 프로젝터(10)의 실질적 투사범위, 화면 크기 등을 한 번 설정하면 외부의 충격이나 온도 특성에 의해 이상이 발생될 때까지 매핑룩업테이블을 다시 셋팅할 필요는 없다. 따라서 실시간으로 처리하기 보다는 예를 들어, 하루에 한 번씩 주기적으로 영상분석및제어장치(70)로부터 전송되는 매핑정보(mapping information)를 이용하여 오프라인 상으로 매핑룩업테이블 및 스케일링레지스터를 재 조정하는 작업을 거쳐도 무방하다는 의미이다.
카메라로 촬영한 카메라영상데이터를 이용하여 영상분석및제어장치는 매핑정보를 생성한다. 이러한 매핑정보는 오프라인 상에서 영상변환모듈의 네트워크콘트롤러로 입력된 후, 다시 시리얼콘트롤러를 통해서 각 영상변환모듈로 전송된다. 각 영상변환모듈은 전송받은 매핑정보를 이용하여 매핑룩업테이블(Mapping LUT) 및 스케일링레지스터를 갱신하게 된다.
제2DMA로직부는 도 3에 도시된 바와 같이 매핑룩업테이블(Mapping LUT)을 이용하여 콘텐츠버퍼(content buffer)에 저장된 각 프로젝터가 디스플레이할 디지털영상데이터의 저장 위치를 찾은 후, 이를 변환한 후 디스플레이버퍼에 쓰기(write) 동작을 저장하는 동작을 반복하게 된다.
도 3을 보다 상세히 설명하면, 제2DMA로직부는 매핑룩업테이블의 (0,0) 위치에 저장된 포인터를 이용하여 콘텐츠버퍼의 주소를 파악하고, 해당 콘텐츠버퍼에 저장된 디지털영상데이터를 읽은 후 스케일링 처리 후 (0,0) 디스플레이버퍼에 쓰기(write) 동작하고, 다음으로 매핑룩업테이블의 (1,0) 위치에 저장된 포인터를 이용하여 콘텐츠버퍼의 주소를 파악하고, 해당 콘텐츠버퍼에 저장된 디지털영상데이터를 읽은 후 스케일링 처리 후 (1,0) 디스플레이버퍼에 쓰기(write) 동작하는 등 매핑룩업테이블 참조하여 콘텐츠버퍼에 저장된 디지털영상데이터를 스케일링 및 연산한 후 디스플레이버퍼에 쓰는 동작을 반복적으로 하드웨어 방식으로 진행하는 것이다.
즉, 제2DMA로직부는 사전에 초기화된 맵핑 룩업테이블의 내용을 주소를 증가시키면서 참조하여 해당 콘텐츠버퍼의 주소를 읽어가면서 변환된 주소의 콘텐츠버퍼에 저장된 디지털영상데이터를 디스플레이버퍼에 써 넣은 동작을 반복하여 수행하게 된다. 이때 디지털영상데이터에 대한 스케일링 및 연산 작업을 수행할 수 있어서 실시간으로 디지털영상데이터 변환도 수행된다.
제2DMA로직부는 스케일링레지스터, 논리연산유니트 및 제2DMA로 구성된다.
스케일링레지스터는 입력되는 매핑정보에 따라 콘텐츠버퍼에 저장된 디지털영상데이터를 변환하기 위한 스케일링값(scaling factor)을 저장하는 레지스터이다. 후술하는 바와 같이 이웃하는 프로젝터가 상호 중첩 투사하는 영역을 투사하는 영역과 그렇지 않은 영역(비중첩 투사 영역)은 화소 처리(스케일링 처리)를 달리하여야 한다. 예를 들어 중첩 투사하는 영역에 해당하는 디지털영상데이터는 블렌딩 작업 처리가 필요하며, 비중첩 투사 영역에 해당하는 디지털영상데이터는 명도 및 색상 조정 작업 처리가 필요하다. 이러한 영역 구분에 따른 스케일링값이 스케일링레지스터에 저장된다.
논리연산유니트는 디지털영상데이터를 입력받으면 디스플레이버퍼에 쓰여질 주소에 따라 상기 스케일링값을 선택하고 선택된 스케일링값에 따라 상기 콘텐츠버퍼에 저장된 디지털영상데이터를 변환한 후 출력하는 구성부이다. 논리연산유니트는 디스플레이버퍼에 쓰여질 주소를 이용하여 중첩 투사 영역에 해당되는 화소인지 비중첩 투사 영역에 해당되는 화소인지 여부를 판별하고, 이에 적합한 스케일링값을 스케일링레지스터에서 선택하는 것이다.
제2DMA는 매핑룩업테이블의 주소를 증가시키면서 참조하여 콘텐츠버퍼의 주소를 파악하고, 주소를 이용하여 콘텐츠버퍼에 저장된 디지털영상데이터를 읽은 후 논리연산유니트에 전송하고, 논리연산유니트로부터 출력되는 스케일링 처리된 디지털영상데이터를 디스플레이버퍼의 해당 주소에 쓰기하는 DMA이다.
제3DMA는 디스플레이버퍼의 내용을 버스를 통해 읽은 후 이를 HDMI인코더로 입력시켜 인코딩된 HDMI신호를 해당 프로젝터로 출력되도록 구현하였다.
매핑룩업테이블(Mapping LUT)에는 화면의 (x,y) 지점에 디스플레이 할 화소 정보가 실제로는 콘텐츠버퍼(Contents Buffer)의 어느 곳에 있는지의 주소 정보가 저장되어 있다.
입력HDMI분배기(Input HDMI Distributer)는 콘텐츠재생장치(30)로부터 입력되는 HDMI 신호를 복수 개 영상변환모듈에 동일하게 공급하는 구성부이다.
영상변환모듈의 개수는 프로젝터의 개수에 따라 스케일러블(scalable)하게 증감할 수 있다. 각 영상변환모듈에 입력된 HDMI 신호는 HDMI디코더(HDMI Decoder)를 통해 디지털영상데이터로 변환된다. 디지털영상데이터는 연결된 제1DMA(Direct Memory Access)에 의해 메모리의 콘텐츠버퍼(Content Buffer) 영역에 저장된다. DMA는 내부에 메모리 전송 지점의 위치를 프로그램으로 설정하는 레지스터를 가지고 있으며 디지털영상데이터를 중앙처리장치(CPU)보다 메모리 접근의 우선권을 가지고 끊임없이 복사하는 동작을 무한 반복한다.
본 발명에서 제안하는 제1DMA, 제2DMA로직부 및 제3DMA는 중앙처리장치(CPU)와 버스를 공유하는 구조를 가지기 때문에 시스템 구성이 단순하며 중앙처리장치의 사전 설정에 의해 미리 정해 놓은 동작(메모리 접근)을 무한 반복 실행한다. 따라서 DMA가 메모리 접근을 하는 동안 중앙처리장치는 여유롭게 추가적인 영상처리 작업을 수행할 수 있다.
도 3은 본 발명에 따른 일 실시예인 영상정합장치를 구성하는 제2DMA로직부의 매핑 동작 처리 과정을 설명하는 구성도이다. R×C(Row × Column)는 화면의 해상도를 나타내는 것으로서, R(Row)은 화면의 행 해상도를 나타내며, C(Column)는 화면의 열의 해상도를 나타낸다. 도 3에 도시된 바와 같이 제2DMA로직부는 매핑룩업테이블(mapping LUT)의 정보에 따라 콘텐츠버퍼(Content Buffer)의 내용을 읽어 디스플레이버퍼(Display Buffer) 영역에 복사해 넣는 작업을 수행한다. 매핑룩업테이블(mapping LUT)에는 디스플레이될 좌표의 디지털영상데이터가 콘텐츠버퍼(Content Buffer)의 어느 위치에 있는지를 알려주는 포인터가 저장되어 있다. 포인터 정보는 영상분석및제어장치(70)가 기하학적 변환 과정을 통해 산출한 데이터로서 초기화 과정에서 네트워크를 통해 영상분배및변환장치의 중앙처리장치가 기록한 것이다.
제2DMA로직부는 매핑룩업테이블(Mapping LUT)의 포인터를 읽어 이것이 지시하는 콘텐츠버퍼(content Buffer)의 해당 주소에서 화소값(디지털영상데이터)를 읽어 낸 후 이를 기반으로 스케일링레지스터(Scaling Register)에 저장된 값 및 H/W 논리연산유니트(Arithmatic Unit)를 이용하여 새로운 값으로 변환(스케일링 처리)하여 디스플레이버퍼에 넣는다. 이때 매핑룩업테이블의 주소에 저장된 포인터로 억세스되는 콘텐츠버퍼에 저장된 디지털영상테이터는 동일한 주소의 디스플레이버퍼로 저장된다. 도 3에 도시된 예와 같이 (0,0) 매핑룩업테이블 주소와 관련된 (0,1) 콘텐츠버퍼 주소에 저장된 디지털영상데이터(Content)는 스케일링 변환된 후 (0,0) 디스플레이버퍼에 쓰여지는 것이다.
이 과정은 일단 초기화가 이루어지면 중앙처리장치의 개입없이도 전체 과정이 하드웨어 방식으로 이루어진다. 화소(디지털영상데이터) 값 변환 과정은 두 프로젝터의 투사 영역이 겹치는 부분에 대해 두 영상의 블렌딩(blending) 작업에서 특히 필요하며, 나머지 영역에 대해서는 명도, 색상 조정에 활용된다.
스케일링레지스터(Scaling Register)는 영상분배및변환장치로부터 입력받은 매핑정보를 이용하여 콘텐츠버퍼에 저장된 디지털영상데이터에 대한 스케일링값(scaling factor)을 저장한다. 예를 들어 설명하면, 이웃하는 두 개의 프로젝터가 중첩 투사하는 영역을 처리하기 위해서 스케일링레지스터(Scaling Register)에는 중첩 투사되는 화면 영역에 해당하는 디지털영상데이터를 가중 평균 기반의 블렌딩 작업 처리에 필요한 스케일링값이 저장되고, 비중첩 투사 영역에는 명도 및 색상 조정 작업을 위한 스케일링값이 저장되는 것이다. 중첩 투사 영역의 시작 위치와 종료 위치에 관한 정보는 영상분석및제어장치로부터 전송되는 매핑정보에 포함되어 있다. 따라서, 영상분배및변환장치를 초기화하는 과정에서 매핑정보에 포함되어 있는 중첩 투사 영역의 시작 위치와 종료 위치에 관한 정보가 논리연산유니트에 설정된다. 또한 부속되는 논리연산유니트(Arithmetic Unit)는 콘텐츠버퍼에 저장된 디지털영상데이터(화소값)이 전달되면 디스플레이버퍼에 쓰일 좌표정보에 따라 스케일링레지스터에 저장된 스케일링값을 선택하고 해당 스케일링값에 따라 콘텐츠버퍼에 저장된 디지털영상데이터를 변환한 후 출력한다.
즉, 본 발명에서는 각 프로젝터에 적합한 영상의 기하학적 변환을 위해 미리 만들어둔 매핑룩업테이블을 이용하고, 매핑룩업테이블에 저장된 포인터를 읽은 후 콘텐츠버퍼에 저장된 화소 값을 읽는다. 이렇게 읽은 화소값을 스케일링레지스터및논리연산유니트를 이용하여 적합하게 변환한 후 디스플레이버퍼에 쓰는(write) 동작을 제안하는 변형 DMA 방식(제2DMA로직부)으로 구현함으로써 하드웨어 방식으로 실시간으로 빠르게 수행할 수 있다. 해당 DMA 장치는 쓰는 동작을 수행할 때 자체의 프로그래머블한 레지스터 및 연산자를 통해 화소 값을 변경하는 것도 가능하다. 이러한 DMA로직부 구조는 FPGA(Field Programmable Gate Array) 등의 프로그래머블 소자를 사용하여 실제 상황에서 구현 가능하다.
전술한 바와 같이 각 프로젝터에 디스플레이 되어야 하는 적합한 HDMI 데이터 매핑 작업이 매핑룩업테이블(Mapping LUT)과 복수 개 DMA를 통해 하드웨어 방식으로 수행하기 때문에 중앙처리장치의 부담없이 GPU(Graphic Processing Unit)과 같은 전용 연산 장치 없이도 실시간으로 처리할 수 있는 장점이 있다.
제3DMA는 기하학적 변환이 이루어진 디스플레이버퍼(Display Buffer)의 영상 데이터를 읽은 후 HDMI인코더(HDMI Encoder)로 보낸다. HDMI인코더(HDMI Encoder)는 HDMI 신호로 인코딩한 후 이를 해당 프로젝터로 전송한다. 각 DMA와 중앙처리장치는 상호 우선권 배정 알고리즘으로 메모리의 소유 권한을 지니며 중앙처리장치가 가장 낮은 순위의 메모리 점유권을 갖도록 배정되어 있다.
이때 중앙처리장치는 단순 데이터 전송뿐만 아니라 영상의 화질 개선, 색감조정, 명도 조정, 블렌딩 작업 등 지역적 혹은 전역적 처리를 추가로 수행할 수 있다. 본 발명에서 제안하는 스케일러블 구조는 프로젝터마다 중앙처리장치와 메모리가 별도로 배정되어 있고, 각 영상변환모듈은 활당된 프로젝터의 필요한 영역만을 담당하기 때문에 프로젝터의 개수 증가가 메모리 대역폭과 중앙처리장치의 처리 역량에 제한되지 않는 장점이 있다.
도 4는 본 발명에 따른 일 실시예인 영상정합장치를 구성하는 영상분석및제어장치의 구성도이다. 영상분석및제어장치(70)는 다수의 카메라(20)로부터 영상을 입력받아 그 영상을 이용하여 각 프로젝터(10)에서 출력할 영상의 내용을 조정하는 파라미터(매핑정보)를 생성한다. 영상분석및제어장치(70)는 USB/네트워크 콘트롤러(USB/Network Controller)를 통해서 카메라(20)로부터 카메라영상데이터를 입력받은 후 중앙처리장치는 이를 이용하여 매핑정보를 생성한다. 생성된 매핑정보는 네트워크콘트롤러(Network Controller)를 통해 영상분배및변환장치(50)로 전송된다. 영상분석및제어장치(70)의 세부 구성 및 처리 알고리듬은 본 발명의 대상이 아니므로 상세하게 설명하지 않기로 한다.
도 5는 영상 정합 전 세 개의 프로젝터를 이용하여 파노라마 스크린에 투사하는 상태를 나타내는 개념도이다. 도 5에 도시된 바와 같이 세 개의 프로젝터(10a, 10b, 10c)를 이용하여 파노라마 스크린을 투사하면 영상 정합 전에는 이웃하는 프로젝터에서 투사되는 영상의 일부는 정합을 위해 중첩하여 투사한다. 도 5에서 프로젝터(10a)를 기준으로 설명하면 프로젝터(10a)는 A영역에 걸쳐 스크린(90)에 투사하고 있으며, 이중 B영역에는 프로젝터(10a) 단독으로 투사하고 'A영역 - B영역'에서는 프로젝터(10a) 및 프로젝터(10b)에서 같은 영역을 동시에 부드러운 정합을 위하여 중첩하여 투사하며, 이 영역을 중첩 투사 영역이라 하였다. 프로젝터 10c의 경우도 좌측 일부분을 프로젝터 10b가 투사하는 영역을 중첩하여 투사한다. 이 같은 상황에서 가장 바람직한 실질적 파노라마 투사 영역은 검은 색 테두리(90)라 할 수 있다. 카메라는 각 투사 화면의 최대 범위를 상회하는 영역을 촬영하여 영상분석및제어장치에 전송한다.
도 6은 영상 정합 후 세 개의 프로젝터를 이용하여 파노라마 스크린에 투사하는 실질적 투사 화면을 보이는 개념도이다. 영상 정합 후에는 도 6에 도시된 바와 같이 중첩하여 투사하는 영역을 최소화하면서 중첩되면서 투사하는 영역에서 이웃하는 프로젝터가 투사하는 영상이 일치되도록 왜곡을 보정하여 투사하도록 하는 것이다.
도 7은 본 발명에 따른 영상 정합 과정을 간단히 설명하는 흐름도이다. 도 1과 같은 영상 정합 장치를 이용하여 카메라로부터 출력되는 카메라영상데이터를 캘리브레이션하여 왜곡을 제거한다(S710). 카메라는 광각 렌즈 등을 이용하여 영상이 촬영되므로 실제 영상을 왜곡시켜 출력되어 카메라에 의해 촬영된 영상은 캘리브레이션할 필요가 있다. 다음 단계에서 각 카메라로부터 출력되고 캘리브레이션된 카메라영상데이터를 분석하여 각 프로젝터가 투사하는 영역을 파악한다(S720).
이후 복수 개 프로젝터로 출력 가능한 최대 화면을 결정하고, 최대 화면을 구성하기 위해 각 프로젝트가 실질적으로 투사할 영역을 계산한다(S730). 도 8은 카메라를 이용하여 인식된 보정 전 및 보정 후 프로젝터 10a에 의해서 투사된 영역과 프로젝터 10b에 의해서 투사된 영역을 각각 파란색과 붉은 색 실선 및 파선으로 표시한 설명도이다. 두 개의 프로젝터(10a, 10b)를 이용하여 나타낼 수 있는 최대 화면은 검은 색 사각 실선으로 도시하였다. 도 8에 도시된 바와 같이 두 대의 프로젝터(10a, 10b)에 의해 투사되는 영역의 범위 내에서 두 대의 프로젝터(10a, 10b)가 왜곡없이 형성할 수 있는 최대 화면(검정 사각형)이 결정된다. 도 8에서 파란색 실선은 보정 전 프로젝터 10a에 의해서 투사된 영역을 나타내며, 파란색 파선은 보정 후 프로젝터 10a에 의해서 투사되어야 하는 영역을 나타낸 것이며, 붉은색 실선은 보정 전 프로젝터 10b에 의해서 투사된 영역을 나타내며, 붉은색 파선은 보정 후 프로젝터 10b에 의해서 투사되어야 하는 영역을 나타낸 것이다. 도 8에서는 설명의 편의상 두 대의 프로젝터에 의해서 투사되는 영상만을 대상으로 두 대의 프로젝터로 형성할 수 있는 최대 화면 및 각 프로젝터가 투사하는 보정 전 투사 영역을 도시한 것이다. 동일한 원리로 세 대 또는 그 이상의 프로젝터를 이용하는 투사 장치에 확장하여 적용할 수 있음은 물론이다.
다음으로 각 프로젝터의 보정전 투사 영역을 보정 후 투사 영역으로 변환하기 위한 영상 변환하기 위한 매핑정보를 생성하고, 해당 매핑정보를 영상분배및변환장치로 업로드하게 된다(S740). 도 9는 프로젝터(10a)에서 보정 전 투사 영역과 영상 변환 후 보정 후 투사 영역을 함께 도시한 예이다.
S750 단계 이후 도 2, 도 3 및 해당 설명 부분에 기재한 바와 같이 DMA 기반의 매핑변환을 통하여 하드웨어적으로 영상 출력을 수행하게 된다(S750). 이를 갖단히 설명하면, 콘텐츠재생장치로부터 입력되는 원본 HDMI 신호를 분배하여 N 개 분배된 HDMI 신호로 출력하고, 분배된 HDMI 신호를 디코딩하여 디지털영상데이터로 변환한 후, 변환된 디지털영상데이터를 콘텐츠버퍼에 저장하고, 매핑정보를 이용하여 콘텐츠버퍼의 주소에 대한 포인터를 매핑룩업테이블에 저장한 후, 매핑룩업테이블를 이용하여 콘텐츠버퍼의 주소를 파악하고, 주소를 이용하여 콘텐츠버퍼에 저장된 디지털영상데이터를 읽은 후 디스플레이버퍼에 쓰는(write) 작업을 하드웨어적 방식(제2DMA로직부에서 수행)으로 반복 수행함으로써 프로젝터 영상 정합을 수행하게 된다.
도 7에 제시된 S710 단계에서 S740 단계는 영상분석및제어장치에서 수행되는 단계로서, 반드시 실시간으로 수행될 필요가 없는 단계들이며, S750 단계는 영상분배및변환장치에서 수행되며 지금까지 설명한 바와 같이 DMA를 이용하여 하드웨어적으로 중앙처리장치에 부담을 주지 않으면서 실시간으로 처리되는 과정이다.
상기에서 본 발명의 바람직한 실시예가 특정 용어들을 사용하여 설명되었지만 그러한 용어는 오로지 본 발명을 명확히 설명하기 위한 것일 뿐이며, 본 발명의 실시예 및 기술된 용어는 다음의 청구범위의 기술적 사상 및 범위로부터 이탈되지 않고서 여러가지 변경 및 변화가 가해질 수 있는 것은 자명한 일이다. 이와 같이 변형된 실시예들은 본 발명의 사상 및 범위로부터 개별적으로 이해되어져서는 안되며, 본 발명의 청구범위 안에 속한다고 해야 할 것이다.

Claims (6)

  1. 파노라마 스크린에 투사하는 N개(N은 2 이상의 자연수) 프로젝터와, 상기 스크린에 투사된 영상을 촬영하여 카메라영상데이터로 출력하는 복수 개 카메라와, 상기 카메라영상데이터를 분석하여 각 프로젝터가 투사할 영상을 정합시키기 위한 매핑정보를 출력하는 영상분석및제어장치와, 원본 HDMI 신호를 출력하는 콘텐츠재생장치 및 상기 원본 HDMI 신호를 디지털영상데이터로 변환하고 상기 매핑정보에 따라 디지털영상데이터를 처리한 후 HDMI신호로 인코딩하여 상기 프로젝터에 전송하는 영상분배및변환장치를 갖는 영상정합장치에 있어서, 상기 영상분배및변환장치는
    상기 원본 HDMI 신호를 분배하여 N개 분배된 HDMI 신호로 출력하는 입력HDMI분배기(Input HDMI Distributer)와,
    상기 N개 프로젝터에 각각 대응되는 영상변환모듈을 포함하고,
    상기 각 영상변환모듈은
    상기 분배된 HDMI 신호를 디코딩하여 디지털영상데이터로 변환하는 HDMI디코더와,
    상기 변환된 디지털영상데이터를 저장하는 콘텐츠버퍼와,
    상기 콘텐츠버퍼의 주소에 대한 포인터를 저장하는 매핑룩업테이블과,
    상기 프로젝터에 디스플레이될 디지털영상데이터를 저장하는 디스플레이버퍼 및
    상기 매핑룩업테이블의 주소를 증가시키면서 참조하여 상기 콘텐츠버퍼의 주소를 파악하고, 상기 주소를 이용하여 상기 콘텐츠버퍼에 저장된 디지털영상데이터를 읽은 후 스케일링 처리 후 상기 디스플레이버퍼에 쓰는(write) 작업을 하드웨어적 방식으로 반복 수행하는 제2DMA로직부를 포함하는 것을 특징으로 하는 멀티 프로젝터 영상 정합을 위한 영상분배및변환장치.
  2. 제1항에 있어서, 상기 제2DMA로직부에는
    상기 매핑정보에 따라 상기 콘텐츠버퍼에 저장된 디지털영상데이터를 변환하기 위한 스케일링값을 저장하는 스케일링레지스터와,
    디지털영상데이터를 입력받은 후, 상기 디스플레이버퍼에 쓰여질 주소에 따라 상기 스케일링값을 선택하고 상기 콘텐츠버퍼에 저장된 디지털영상데이터를 상기 선택된 스케일링값을 이용하여 변환한 후 출력하는 논리연산유니트 및
    상기 매핑룩업테이블의 주소를 증가시키면서 참조하여 상기 콘텐츠버퍼의 주소를 파악하고, 상기 주소를 이용하여 상기 콘텐츠버퍼에 저장된 디지털영상데이터를 읽은 후 상기 논리연산유니트에 전송하고, 상기 논리연산유니트로부터 출력되는 스케일링 처리된 디지털영상데이터를 상기 디스플레이버퍼에 쓰기하는 제2DMA가 포함되는 것을 특징으로 하는 멀티 프로젝터 영상 정합을 위한 영상분배및변환장치.
  3. 제2항에 있어서,
    상기 각 영상변환모듈에는
    상기 HDMI디코더로부터 출력되는 디지털영상데이터를 상기 콘텐츠버퍼로 쓰는(write) 제1DMA와,
    상기 프로젝터에 적합하게 정합된 디지털영상데이터를 인코딩하는 HDMI인코더 및
    상기 디스플레이버퍼에 저장된 디지털영상데이터를 상기 HDMI인코더로 전송하는 제3DMA를 더 구비하는 것을 특징으로 하는 멀티 프로젝터 영상 정합을 위한 영상분배및변환장치.
  4. 콘텐츠재생장치로부터 입력되는 원본 HDMI 신호를 N개(N은 2 이상의 자연수) 프로젝터를 사용하여 파노라마 스크린으로 정합시켜 투사하고 이를 복수 개 카메라를 이용하여 촬영하여 영상을 정합하는 멀티 프로젝터 영상 정합을 위한 영상정합장치에서 프로젝트 영상을 정합하는 방법으로서,
    복수 개 카메라에 의해 촬영된 영상을 캘리브레이션하는 제1단계와,
    캘리브레이션된 카메라영상데이터를 이용하여 각 프로젝터가 투사하는 영역을 파악하는 제2단계와,
    복수 개 프로젝터로 출력 가능한 최대 화면를 결정하고, 상기 최대 화면을 형성하기 위해 각 프로젝터가 투사해야 하는 영역을 계산하는 제3단계와,
    상기 제2단계에서 파악된 각 프로젝터가 투사하는 영역을 상기 제3단계에서 계산된 각 프로젝터가 투사하는 영역으로 변환하는 영상 처리를 하기 위한 맵핑정보를 생성하는 제4단계와,
    상기 콘텐츠재생장치로부터 입력되는 상기 원본 HDMI 신호를 분배하여 N 개 분배된 HDMI 신호로 출력하는 제5단계와,
    상기 분배된 HDMI 신호를 디코딩하여 디지털영상데이터로 변환하는 제6단계와,
    상기 변환된 디지털영상데이터를 콘텐츠버퍼에 저장하고, 상기 매핑정보를 이용하여 상기 콘텐츠버퍼의 주소에 대한 포인터를 매핑룩업테이블에 저장하는 제7단계와,
    상기 매핑룩업테이블의 주소를 증가시키면서 참조하여 상기 콘텐츠버퍼의 주소를 파악하고, 상기 파악된 주소를 이용하여 상기 콘텐츠버퍼에 저장된 디지털영상데이터를 읽은 후 상기 매핑정보를 이용하여 스케일링 처리 후 디스플레이버퍼에 쓰는(write) 작업을 하드웨어적 방식으로 반복 수행하는 제8단계를 포함하는 것을 특징으로 하는 영상정합장치에서 프로젝트 영상을 정합하는 방법.
  5. 제4항에 있어서,
    상기 영상정합장치에는 상기 매핑정보에 따라 상기 콘텐츠버퍼에 저장된 디지털영상데이터를 변환하기 위한 스케일링값을 저장하는 스케일링레지스터가 더 구비되고,
    상기 제8단계는
    상기 매핑룩업테이블의 주소를 증가시키면서 참조하여 상기 콘텐츠버퍼의 주소를 파악하는 제8-1단계와,
    상기 파악된 콘텐츠버퍼의 주소에 저장된 디지털영상데이터를 읽는 제8-2단계와,
    상기 디스플레이버퍼에 쓰여질 주소에 따라 상기 스케일링레지스터에 저장된 스케일링값을 선택하고 상기 제8-3단계에서 읽은 디지털영상데이터를 상기 선택된 스케일링값을 이용하여 변환한 후 출력하는 제8-3단계 및
    상기 제8-3단계에서 출력되는 디지털영상데이터를 상기 디스플레이버퍼에 쓰는 제8-4단계를 포함하는 것을 특징으로 하는 영상정합장치에서 프로젝트 영상을 정합하는 방법.
  6. 제4항 또는 제5항에 있어서, 상기 제8단계 이후에 수행되는 단계로서
    상기 콘텐츠버퍼에 저장된 디지털영상데이터를 인코딩하여 상기 각 프로젝터로 전송하는 제9단계를 더 포함하는 것을 특징으로 하는 영상정합장치에서 프로젝트 영상을 정합하는 방법.
PCT/KR2020/010552 2019-12-23 2020-08-10 멀티 프로젝터 영상 정합을 위한 영상분배및변환장치 및 이를 이용한 영상 정합 방법 WO2021132832A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20190173303 2019-12-23
KR10-2019-0173303 2019-12-23
KR10-2020-0006634 2020-01-17
KR1020200006634A KR102348429B1 (ko) 2019-12-23 2020-01-17 멀티 프로젝터 영상 정합을 위한 영상분배및변환장치 및 이를 이용한 영상 정합 방법

Publications (1)

Publication Number Publication Date
WO2021132832A1 true WO2021132832A1 (ko) 2021-07-01

Family

ID=76575569

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/010552 WO2021132832A1 (ko) 2019-12-23 2020-08-10 멀티 프로젝터 영상 정합을 위한 영상분배및변환장치 및 이를 이용한 영상 정합 방법

Country Status (1)

Country Link
WO (1) WO2021132832A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115017070A (zh) * 2022-06-07 2022-09-06 青岛信芯微电子科技股份有限公司 图像矫正方法、图像矫正模块、激光投影设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0830544A (ja) * 1994-07-15 1996-02-02 Nec Corp Ｄｍａ転送装置および方法
KR20140085779A (ko) * 2012-12-27 2014-07-08 삼성전자주식회사 다수의 프로젝터들을 사용하는 광필드 디스플레이의 보정 방법 및 장치
KR20160118868A (ko) * 2015-04-03 2016-10-12 한국전자통신연구원 하나의 룩업 테이블을 이용한 파노라마 영상 출력 시스템 및 방법
KR101704362B1 (ko) * 2016-11-18 2017-02-08 최재용 룩업테이블 기반의 실시간 파노라마 영상 제작 시스템 및 이를 이용한 실시간 파노라마 영상 제작 방법
KR20190118747A (ko) * 2018-04-11 2019-10-21 한국전자통신연구원 순람표에 기반한 스티칭 영상 생성 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0830544A (ja) * 1994-07-15 1996-02-02 Nec Corp Ｄｍａ転送装置および方法
KR20140085779A (ko) * 2012-12-27 2014-07-08 삼성전자주식회사 다수의 프로젝터들을 사용하는 광필드 디스플레이의 보정 방법 및 장치
KR20160118868A (ko) * 2015-04-03 2016-10-12 한국전자통신연구원 하나의 룩업 테이블을 이용한 파노라마 영상 출력 시스템 및 방법
KR101704362B1 (ko) * 2016-11-18 2017-02-08 최재용 룩업테이블 기반의 실시간 파노라마 영상 제작 시스템 및 이를 이용한 실시간 파노라마 영상 제작 방법
KR20190118747A (ko) * 2018-04-11 2019-10-21 한국전자통신연구원 순람표에 기반한 스티칭 영상 생성 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115017070A (zh) * 2022-06-07 2022-09-06 青岛信芯微电子科技股份有限公司 图像矫正方法、图像矫正模块、激光投影设备及存储介质

Similar Documents

Publication Publication Date Title
CN100521749C (zh) 多画面系统及其控制方法
US8401339B1 (en) Apparatus for partitioning and processing a digital image using two or more defined regions
US8390690B2 (en) Dynamic range extending method and apparatus using subsampling
US7079154B2 (en) Sub-pixel assembly with dithering
WO2021132832A1 (ko) 멀티 프로젝터 영상 정합을 위한 영상분배및변환장치 및 이를 이용한 영상 정합 방법
CA2067418C (en) Frame buffer organization and control for real-time image decompression
GB2137857A (en) Computer Graphics System
WO2018139706A1 (en) Image management system for improving rendering efficiency in real-time and method thereof
KR102348429B1 (ko) 멀티 프로젝터 영상 정합을 위한 영상분배및변환장치 및 이를 이용한 영상 정합 방법
TWM535913U (zh) 視訊矩陣控制設備
US10694116B2 (en) Image transmission apparatus and control method thereof
WO2009107954A2 (ko) 그래픽 가속기 및 그래픽 가속 방법
US20110157153A1 (en) Projection-type image display apparatus provided with an image pickup function
WO2017122845A1 (ko) 채널별 이종 동작을 위한 멀티채널 초고해상도 영상 획득/재생 시스템 및 방법
WO2017188848A1 (ru) Комплекс для воспроизведения контента в высоком разрешении
KR20000017456A (ko) 비디오 신호 처리 회로 및 그를 사용한 영상 픽업 장치
JP2005156964A (ja) プロジェクタ及びプロジェクタシステム
JP2004282712A (ja) 調整装置
CN1828718A (zh) 全屏幕画面的实时撷取装置及其方法
CN108270960A (zh) 影像捕获设备及其控制方法
TWI742394B (zh) 伺服器
Weissig et al. A modular high-resolution multi-projection system
WO2019117346A1 (en) Transmission system for multi-channel image and method of controlling the same
WO2017074072A1 (ko) 렌즈 왜곡 교정 장치 및 동작 방법
JP3283281B2 (ja) 画像入出力装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20905892

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20905892

Country of ref document: EP

Kind code of ref document: A1