WO2017213335A1 - 실시간 영상 합성 방법 - Google Patents

실시간 영상 합성 방법 Download PDF

Info

Publication number
WO2017213335A1
WO2017213335A1 PCT/KR2017/003112 KR2017003112W WO2017213335A1 WO 2017213335 A1 WO2017213335 A1 WO 2017213335A1 KR 2017003112 W KR2017003112 W KR 2017003112W WO 2017213335 A1 WO2017213335 A1 WO 2017213335A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
value
new
overlapping pixel
overlapping
Prior art date
Application number
PCT/KR2017/003112
Other languages
English (en)
French (fr)
Inventor
임현국
Original Assignee
주식회사 이지원인터넷서비스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이지원인터넷서비스 filed Critical 주식회사 이지원인터넷서비스
Publication of WO2017213335A1 publication Critical patent/WO2017213335A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/75—Chroma key

Definitions

  • the present invention relates to a real-time image synthesizing method for synthesizing a plurality of images into a single image very quickly in real time, and at the same time minimize distortion, deformation or distinction at the boundary portion.
  • a typical example is an around view system applied to a vehicle, and even in a large robot, an around view may be mounted to allow a user to recognize a robot's surroundings.
  • a conventional image processing apparatus includes a signal input unit for converting input signals of a first color gamut representing image data into linear first image signals, and for displaying on a video output device displaying a second color gamut narrower than the first gamut.
  • a color gamut converter for converting first image signals into second image signals of the second color gamut, and a ratio of a synthesis of the first image signals and the second image signals based on chromas obtained from the input signals;
  • a blend coefficient setting unit configured to set a blend coefficient for defining a color coefficient unit, and a color synthesizer configured to generate synthesized image signals obtained by synthesizing the first image signals and the second image signals at a ratio according to the set blend coefficients,
  • the blend coefficient setting unit is configured to convert the boundary between the first gamut and the second gamut into an L * a * b * space and the boundary between the first gamut and the image.
  • the related art is KR 10-2015-0098566 A.
  • the present invention has been proposed to solve such a problem, and when synthesizing a plurality of images into a single image, the synthesis is performed very quickly in real time, and at the same time, a real-time image which minimizes distortion, deformation, or distinction at a boundary portion. It is intended to provide a synthesis method.
  • the real-time image synthesis method derives a conventional weight value of a conventional image existing before the synthesis of overlapping pixels located in the overlapping region generated when a plurality of images are synthesized into one image.
  • Making Deriving a new weight value for a new image added by synthesis for the overlapping pixel; Deriving a conventional weight value and a new weight value for each overlapping pixel according to the synthesis order of the images; And calculating a data value for each image by applying a conventional weight value and a new weight value to the data value of the overlapping pixel of each image, and calculating the final data value for the overlapping pixel by summing all the data values for each image. do.
  • the overlapping area may be composed of a conventional boundary line existing by a conventional image and a new boundary line by a new image added by synthesis.
  • the conventional weight may be a value obtained by dividing the shortest distance between the overlapping pixel and the new boundary by the sum of the shortest distance between the overlapping pixel and the conventional boundary and the shortest distance between the overlapping pixel and the new boundary.
  • the new weight value may be a value obtained by subtracting the conventional weight value from 1 or the shortest distance between the overlapping pixel and the conventional boundary line divided by the sum of the shortest distance between the overlapping pixel and the conventional boundary line and the shortest distance between the overlapping pixel and the new boundary line.
  • the conventional weights and the new weights derived for the duplicate pixels for each image may be stored in a table in the memory.
  • the final data value for the corresponding overlapping pixel can be calculated by using the data value of the overlapping pixel of each image to be synthesized, the conventional weight value and the new weighting value stored as a table in the memory. have.
  • the data value for each image of the first image to be initially disposed may be calculated by multiplying the data value of the overlapping pixel of the first image by both the new weight of the original image and the conventional weights of all the images to be next placed.
  • the data value of each image of the intermediate image synthesized in the middle may be calculated by multiplying both the new weight of the intermediate image corresponding to the data value of the overlapping pixel of the corresponding intermediate image and the conventional weights of the next arranged images.
  • the data value of each image for the last synthesized last image may be calculated by multiplying the data value of the overlapping pixel of the last image by the conventional weight of the last image.
  • the real-time image synthesizing method of the present invention when synthesizing a plurality of images into a single image, the synthesis is performed very quickly in real time, and at the same time, distortion, deformation, or distinction at a boundary portion can be minimized.
  • FIG. 1 is a system conceptual diagram for performing a real-time image synthesis method according to an embodiment of the present invention.
  • FIG. 2 is a flow chart of a real-time image synthesis method according to an embodiment of the present invention.
  • 3 to 4 are views showing the process of the real-time image synthesis method according to an embodiment of the present invention.
  • 5 to 7 are views for explaining the synthesis process of the real-time image synthesis method according to an embodiment of the present invention.
  • FIG. 1 is a conceptual diagram of a system for performing a real-time image synthesis method according to an embodiment of the present invention
  • FIG. 2 is a flowchart of a real-time image synthesis method according to an embodiment of the present invention
  • FIGS. 3 to 4 are views of the present invention
  • 5 is a view illustrating a process of synthesizing a real time image according to an embodiment
  • FIGS. 5 to 7 are views illustrating a process of synthesizing a real time image according to an embodiment of the present invention.
  • a method of synthesizing a real time image comprising: deriving a conventional weight value of a conventional image existing before synthesis of a duplicate pixel located in a redundant region generated when a plurality of images are synthesized into one image; Deriving a new weight value for a new image added by synthesis for the overlapping pixel; Deriving a conventional weight value and a new weight value for each overlapping pixel according to the synthesis order of the images; And calculating a data value for each image by applying a conventional weight value and a new weight value to the data value of the overlapping pixel of each image, and calculating the final data value for the overlapping pixel by summing all the data values for each image. do.
  • the system for performing the real-time image synthesis method of the present invention is as shown in FIG. First, a plurality of cameras capable of capturing a plurality of images are provided, and each camera delivers the images to the data receiver.
  • the memory unit a rule for synthesizing an image is predetermined and stored, and the operation unit imports the synthesis rule from the memory and substitutes the image data received from the data receiver to generate finally synthesized image data, and outputs the output monitor. To transmit the video.
  • the synthesis rule stored in the memory unit first Homography matrix between the plurality of the cameras images the 210 and 220 and outputs the monitor image 100 as shown in FIG. 3, to derive the (H 1 - 1 - 1, H 2).
  • the image acquired from each camera is reflected at a fixed position.
  • the edges of the camera images may be projected onto the output monitor image, thereby recognizing a border boundary of each image.
  • the overlap region according to the synthesis of a plurality of images is calculated.
  • the plurality of images should be naturally connected at the boundary as if they were originally one image. Therefore, the boundary should be treated as naturally as possible.
  • a step of deriving a conventional weighting value for a conventional image that existed before synthesis is performed on the overlapping pixel positioned in the overlapping region where each image overlaps the edge.
  • a new weighting value for the new image added by the synthesis for the overlapping pixel is derived.
  • the method may further include: deriving a conventional weight value and a new weight value for each overlapping pixel according to the synthesis order of the images; And calculating the data value for each image by applying the conventional weight value and the new weight value to the data value of the overlapping pixel of each image, and calculating the final data value for the overlapping pixel by summing all the data values for each image.
  • the composition order of the images is arbitrarily determined, and the first arranged image is before the synthesis, and the first arranged image and some sections overlap with the next arranged image.
  • the pixels located in the overlapping overlapping areas are affected by both the image placed first and the image overlapping later, and are affected by the distance from the edge of each image. Even if overlapping, the boundary line is not clear and the images can be connected naturally.
  • FIG. 5 illustrates an example in which three images are synthesized.
  • the first image 210 is disposed on the output image, and in this state, no synthesis is performed.
  • the second image 220 is disposed, and the third image 230 is disposed, and a section overlapping the first image 210 and the second image 220 appears, and the first image 210 is displayed.
  • a section b overlapping with both the second image 220 and the third image 230 appears.
  • the first image 210 and the second image 220 overlap each other, and thus reflect the influence of the first image and the second image.
  • the shortest distance d C (2) from the overlapping pixel Pa to the edge 210 'of the first image existing originally is obtained.
  • the shortest distance d N (2) to the second synthesized image 220 ' is obtained later.
  • a weight is applied to the data value of the corresponding pixel in the first image and the data value of the corresponding pixel in the second image, and synthesized to calculate the final data value of the overlapping pixel Pa.
  • the overlapped area may be composed of a conventional boundary line 210 'by the conventional image 210 that existed before the synthesis and a new boundary line 220' by the new image 220 added by the synthesis.
  • the new weight value may be a value obtained by subtracting the conventional weight value from 1 or the shortest distance between the overlapping pixel and the conventional boundary line divided by the sum of the shortest distance between the overlapping pixel and the conventional boundary line and the shortest distance between the overlapping pixel and the new boundary line.
  • the conventional weight value in FIG. 6 may be expressed by the following equation.
  • w C is the conventional weight and w N is the new weight. That is, in the case of the conventional weight value, since it is influenced by the boundary 210 'of the conventional first image, it can be said to be inversely proportional to the distance from the second image boundary 220' which is the new image (second The farther away from the first image, the closer it is to the second image, and the weight is given so as to be less affected by the first image.
  • the final data value of the overlap pixel can be expressed as follows.
  • Image1 (u 1 , v 1 ) is a data value of a duplicate pixel in the first image
  • Image2 (u 2 , v 2 ) is a data value of a duplicate pixel in the second image
  • w1 is a duplicate pixel of the first image. It is 0 as the conventional weight value for Pa
  • w2 is the conventional weight value for the overlapping pixel Pa of the second image.
  • the influence of the first image is reflected in the data value of the overlapping pixel of the first image
  • the influence of the second image is reflected in the data value of the overlapping pixel of the second image.
  • the data value of the pixel is obtained.
  • w2 which is a conventional weight value
  • w1 is assumed to be 0
  • the third image is considered to be overlapped, and accordingly, a d C (3), which is the shortest distance between the boundary lines 210 'and 220' of the first image and the second image, is first obtained, and the newly synthesized third D N (3), which is the shortest distance from the boundary line of the image 230 ', is obtained, and the conventional weight value w3 is obtained.
  • the final data value is obtained according to the following equation.
  • This equation multiplies the data value of the overlapping pixel (the value calculated in the same way as the formula for obtaining Pa) of the existing first image and the second image by the third image, and multiplies the conventional weight value w3 and newly synthesizes it.
  • the data value of the overlapping pixel of the third image may be obtained by multiplying the new weight value 1-w3 by the influence of the third image.
  • the data value of each image of the overlapping pixel for the first image to be placed first is the data weight value of image 1 (u1, v1) of the overlapping pixel of the original image. Can be calculated by multiplying all of these (w2 to wN)
  • the image data value of the overlapping pixel of the intermediate image synthesized in the middle can be calculated by multiplying both the new weight of the intermediate image corresponding to the data value of the overlapping pixel of the corresponding intermediate image and the conventional weights of the next arranged images.
  • the data value of each overlapping pixel for the last synthesized last image may be calculated by multiplying the data value of the overlapping pixel of the last image by the conventional weight of the last image.
  • the following values are stored in advance in the table of the memory unit according to this equation. That is, in the step of deriving the conventional weight value and the new weight value, the conventional weight value w N and the new weight value 1-w N derived for each overlapping pixel for each image may be stored in a table.
  • the positions at which the plurality of images are synthesized are predetermined, and thus the degree of influence received from each image at each point of the overlapping pixels may be calculated in advance.
  • the final data value for the corresponding overlapping pixel can be calculated by using the data value of the overlapping pixel of each image to be synthesized, the conventional weight value and the new weighting value stored as a table in the memory. have.
  • the final data value is simply derived using the data of each input image and the value of the predetermined coefficient p, and displayed on the output monitor image accordingly.
  • a black and white image can be processed by one calculation, but in the case of a color image, R, G, and B must be calculated and outputted as colors to output correctly.
  • the real-time image synthesizing method of the present invention since a table stored in a memory is used in synthesizing a plurality of images into a single image, the synthesis is performed very quickly in real time, and at the same time, the coefficient values stored in the memory are different from each other. Since the degree of influence on each other is reflected in every distance, the distortion, deformation or distinction at the boundary portion can be minimized.

Abstract

복수의 영상을 하나의 영상으로 합성할 경우 발생되는 중복영역 내에 위치한 중복픽셀에 대하여 합성 전에 존재하던 종래영상에 관한 종래가중치를 도출하는 단계; 중복픽셀에 대하여 합성에 의해 추가되는 신규영상에 관한 신규가중치를 도출하는 단계; 영상의 합성 순서에 따라, 합성되는 영상마다 각각 중복픽셀에 대한 종래가중치와 신규가중치를 도출하는 단계; 및 각각의 영상의 중복픽셀의 데이터값에 종래가중치와 신규가중치를 각각 적용하여 영상별 데이터값을 산출하고, 영상별 데이터값을 모두 합산하여 중복픽셀에 대한 최종 데이터값을 산출하는 단계;를 포함하는 실시간 영상 합성 방법이 소개된다.

Description

실시간 영상 합성 방법
본 발명은 복수의 영상을 하나의 영상으로 합성함에 있어서 실시간으로 매우 빠르게 합성이 이루어지며 동시에 경계부분에서의 왜곡이나 변형 내지 구별이 최소화될 수 있도록 하는 실시간 영상 합성 방법에 관한 것이다.
복수의 카메라로 취득한 영상을 하나의 모니터를 통해 출력함으로써 사용자가 여러 각도의 영상을 한눈에 볼 수 있도록 하는 기술이 많이 제공되고 있다. 그 중 대표적인 것이 자동차에 적용되는 어라운드뷰 시스템이며, 대형 로봇의 경우에도 사용자가 로봇의 주변 환경을 인식할 수 있도록 하기 위해 어라운드뷰가 탑재될 수 있다.
이를 위해서는 복수의 영상을 하나의 영상으로 합성하는 것이 필요하며 그 합성과 출력이 실시간으로 이루어져야 한다.
실시간 영상합성(image mosaic,image stitching, panoramic imaging)에 대한 기존 기술의 특징은, FPGA 기반으로 고속 영상처리기술을 활용하거나, GPU를 이용한 병렬 영상처리기술을 활용하거나, ASIC 기반 고속 영상처리 기술을 활용하는 사례가 있다. 이들은 모두 고가의 장비를 활용하고 시스템이 방대해지는 단점이 있어 최근에는 고속계산용 Hardware없이 CPU 기반으로 실시간 영상합성을 하지만, 단순한 픽셀평균 혹은 픽셀선택 등으로 합성영상을 생성하는 방안도 제시되고 있다.
종래의 영상 처리 장치는 영상 데이터를 나타내는 제1 색역의 입력 신호들을 리니어한 제1 영상 신호들로 변환하는 신호 입력부, 상기 제1 색역보다도 좁은 제2 색역을 표시하는 영상 출력 장치에 표시하기 위해 상기 제1 영상 신호들을 상기 제2 색역의 제2 영상 신호들로 변환하는 색역 변환부, 상기 입력 신호들로부터 얻을 수 있는 채도에 기초하여 상기 제1 영상 신호들과 상기 제2 영상 신호들의 합성의 비율을 규정하는 블랜드 계수를 설정하는 블랜드 계수 설정부, 및 상기 제1 영상 신호들과 상기 제2 영상 신호들을, 상기 설정된 블랜드 계수에 따른 비율로 합성한 합성 영상 신호들을 생성하는 색 합성부를 포함하고, 상기 블랜드 계수 설정부는, 상기 제1 색역의 경계와 상기 제2 색역의 경계를 L*a*b* 공간으로 변환할 때의 상기 제1 색역의 경계와 상기 제2 색역의 경계의 색차 및 상기 제1 색역의 경계의 Chroma 성분에 기초하여, 상기 블랜드 계수에 의해 상기 색 합성부에서 생성되는 상기 합성 영상 신호들이 상기 제2 영상 신호들로되는 상기 채도의 상한 값을 설정하도록 하였다.
상기의 배경기술로서 설명된 사항들은 본 발명의 배경에 대한 이해 증진을 위한 것일 뿐, 이 기술분야에서 통상의 지식을 가진자에게 이미 알려진 종래기술에 해당함을 인정하는 것으로 받아들여져서는 안 될 것이다.
이에 관한 종래기술로는 KR 10-2015-0098566 A가 있다.
본 발명은 이러한 문제점을 해결하기 위하여 제안된 것으로, 복수의 영상을 하나의 영상으로 합성함에 있어서 실시간으로 매우 빠르게 합성이 이루어지며 동시에 경계부분에서의 왜곡이나 변형 내지 구별이 최소화될 수 있도록 하는 실시간 영상 합성 방법을 제공하고자 함이다.
상기의 목적을 달성하기 위한 본 발명에 따른 실시간 영상 합성 방법은, 복수의 영상을 하나의 영상으로 합성할 경우 발생되는 중복영역 내에 위치한 중복픽셀에 대하여 합성 전에 존재하던 종래영상에 관한 종래가중치를 도출하는 단계; 중복픽셀에 대하여 합성에 의해 추가되는 신규영상에 관한 신규가중치를 도출하는 단계; 영상의 합성 순서에 따라, 합성되는 영상마다 각각 중복픽셀에 대한 종래가중치와 신규가중치를 도출하는 단계; 및 각각의 영상의 중복픽셀의 데이터값에 종래가중치와 신규가중치를 각각 적용하여 영상별 데이터값을 산출하고, 영상별 데이터값을 모두 합산하여 중복픽셀에 대한 최종 데이터값을 산출하는 단계;를 포함한다.
중복영역은 합성 전에 존재하던 종래영상에 의한 종래경계선과 합성에 의해 추가되는 신규영상에 의한 신규경계선으로 구성될 수 있다.
종래가중치는 중복픽셀과 신규경계선간의 최단거리를 중복픽셀과 종래경계선간의 최단거리와 중복픽셀과 신규경계선간의 최단거리의 합으로 나눈 값일 수 있다.
신규가중치는 1에서 종래가중치를 뺀 값 또는 중복픽셀과 종래경계선간의 최단거리를 중복픽셀과 종래경계선간의 최단거리와 중복픽셀과 신규경계선간의 최단거리의 합으로 나눈 값일 수 있다.
종래가중치와 신규가중치를 도출하는 단계에서는 영상마다 각각 중복픽셀에 대하여 도출한 종래가중치와 신규가중치를 메모리에 테이블로 저장할 수 있다.
중복픽셀에 대한 최종 데이터값을 산출하는 단계에서는 합성하고자 하는 각 영상의 중복픽셀의 데이터값과 메모리에 테이블로 저장된 종래가중치와 신규가중치를 이용하여 해당하는 중복픽셀에 대한 최종 데이터값을 산출할 수 있다.
최초로 배치되는 최초 영상에 대한 영상별 데이터값은 최초 영상의 중복픽셀의 데이터값에 최초 영상의 신규가중치와 다음으로 배치되는 모든 영상들의 종래가중치들을 모두 곱하여 산출할 수 있다.
중간에 합성되는 중간 영상에 대한 영상별 데이터값은 해당하는 중간 영상의 중복픽셀의 데이터값에 해당하는 중간 영상의 신규가중치와 그 다음으로 배치되는 영상들의 종래가중치들을 모두 곱하여 산출할 수 있다.
최후로 합성되는 최후 영상에 대한 영상별 데이터값은 최후 영상의 중복픽셀의 데이터값에 최후 영상의 종래가중치를 곱하여 산출할 수 있다.
본 발명의 실시간 영상 합성 방법에 따르면, 복수의 영상을 하나의 영상으로 합성함에 있어서 실시간으로 매우 빠르게 합성이 이루어지며 동시에 경계부분에서의 왜곡이나 변형 내지 구별이 최소화될 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 실시간 영상 합성 방법의 수행을 위한 시스템 개념도.
도 2는 본 발명의 일 실시예에 따른 실시간 영상 합성 방법의 순서도.
도 3 내지 4는 본 발명의 일 실시예에 따른 실시간 영상 합성 방법의 과정을 나타낸 도면.
도 5 내지 7은 본 발명의 일 실시예에 따른 실시간 영상 합성 방법의 합성 과정을 설명하기 위한 도면.
도 1은 본 발명의 일 실시예에 따른 실시간 영상 합성 방법의 수행을 위한 시스템 개념도이고, 도 2는 본 발명의 일 실시예에 따른 실시간 영상 합성 방법의 순서도이며, 도 3 내지 4는 본 발명의 일 실시예에 따른 실시간 영상 합성 방법의 과정을 나타낸 도면이고, 도 5 내지 7은 본 발명의 일 실시예에 따른 실시간 영상 합성 방법의 합성 과정을 설명하기 위한 도면이다.
본 발명에 따른 실시간 영상 합성 방법은, 복수의 영상을 하나의 영상으로 합성할 경우 발생되는 중복영역 내에 위치한 중복픽셀에 대하여 합성 전에 존재하던 종래영상에 관한 종래가중치를 도출하는 단계; 중복픽셀에 대하여 합성에 의해 추가되는 신규영상에 관한 신규가중치를 도출하는 단계; 영상의 합성 순서에 따라, 합성되는 영상마다 각각 중복픽셀에 대한 종래가중치와 신규가중치를 도출하는 단계; 및 각각의 영상의 중복픽셀의 데이터값에 종래가중치와 신규가중치를 각각 적용하여 영상별 데이터값을 산출하고, 영상별 데이터값을 모두 합산하여 중복픽셀에 대한 최종 데이터값을 산출하는 단계;를 포함한다.
본 발명의 실시간 영상 합성 방법을 수행하기 위한 시스템은 도 1에 나타난 것과 같다. 우선 다수의 영상을 촬용할 수 있는 복수의 카메라가 마련되고, 각 카메라는 영상을 데이터수신부로 전달한다. 한편, 메모리부에는 영상을 합성하는 규칙이 미리 정해져 저장되어 있고, 연산부에서는 메모리로부터 합성 규칙을 불러들인 다음 데이터수신부에서 수신한 영상 데이터를 대입하여 최종적으로 합성된 영상데이터를 생성하고, 이를 출력모니터로 전송하여 영상을 출력하는 것이다.
메모리부에 저장할 합성 규칙을 지정함에 있어 먼저 도 3과 같이 복수의 각 카메라 영상들(210,220)과 출력모니터 영상(100) 사이의 Homography 행렬(H1 - 1,H2 - 1)을 도출한다. 이 행렬을 통해 각 카메라에서 취득된 영상이 정해진 위치에 반영되는 것이다. 그리고 도 4에 도시된 바와 같이 각 카메라 영상들의 모서리를 출력모니터 영상에 투영하고, 이를 통해 각 영상의 테두리 경계선을 인식할 수 있다.
그리고 복수의 영상 합성에 따른 중복영역을 산출한다. 복수의 영상을 하나의 영상으로 합성할 경우에는 복수의 영상이 경계부에서 마치 본래부터 하나의 영상이었던 것처럼 자연스럽게 연결되어야 한다. 따라서, 경계부는 최대한 자연스럽게 처리되어야 한다. 이를 위해 각 영상이 테두리에서 겹쳐지는 중복영역 내에 위치하는 중복픽셀에 대하여는, 합성 전에 존재하던 종래영상에 관한 종래가중치를 도출하는 단계를 수행한다. 그리고 중복픽셀에 대하여 합성에 의해 추가되는 신규영상에 관한 신규가중치를 도출하는 단계를 수행한다. 또한, 영상의 합성 순서에 따라, 합성되는 영상마다 각각 중복픽셀에 대한 종래가중치와 신규가중치를 도출하는 단계; 및 각각의 영상의 중복픽셀의 데이터값에 종래가중치와 신규가중치를 각각 적용하여 영상별 데이터값을 산출하고, 영상별 데이터값을 모두 합산하여 중복픽셀에 대한 최종 데이터값을 산출하는 단계를 수행하는 것이다.
즉, 만약 3개의 영상이 1개의 영상으로 합성되는 경우라면 영상의 합성 순서를 임의로 정하고, 제일 먼저 배치되는 영상은 합성이 되기 전이며, 그 다음 배치되는 영상부터 처음 배치된 영상과 일부 구간이 중첩되는 것이다. 이 경우 중첩되는 중복영역에 위치하는 픽셀의 경우 먼저 배치된 영상의 영향과 나중에 중복되는 영상의 영향을 모두 받도록 하고, 이를 각 영상의 테두리와의 거리에 따라 영향을 받도록 함으로써 복수의 영상이 테두리에서 중복되더라도 경계선이 명확하지 않고 자연스럽게 영상이 연결될 수 있게 된다.
도 5의 경우 3개의 영상이 합성되는 예를 나타낸다. 먼저 제1영상(210)이 출력영상에 배치되고, 이 상태에서는 합성이 이루어지지 않는다. 그 후 제2영상(220)이 배치되고, 제3영상(230)이 배치되면서, 제1영상(210)과 제2영상(220)이 중복되는 a구간이 나타나고, 제1영상(210)과 제2영상(220) 및 제3영상(230)이 모두 중복되는 b구간이 나타난다.
a영역의 경우, 도 6과 같이 볼 수 있다. 여기서 a영역 내에 위치되는 중복픽셀 Pa의 채도, 색상, 명암 등의 데이터값을 도출하는 것이 문제되는데, 이는 각 영상의 가중치에 따라 달려 있도록 하는 것이다. 즉, 중복픽셀 Pa로부터 각 영역의 경계선(210',220')까지의 최단거리를 통해 가중치를 도출한다.
도 5, 6과 같이, a영역의 경우 제1영상(210)과 제2영상(220)이 겹치는 구간이고, 따라서 제1영상과 제2영상에 의한 영향을 반영한다. 이를 위해 중복픽셀 Pa로부터 본래 존재하던 제1영상의 테두리(210')까지의 최단거리 dC(2)를 구한다. 그리고 나중에 합성된 제2영상(220')까지의 최단거리dN(2)를 구한다.
그리고 중복픽셀 Pa의 경우 제1영상에 있던 해당 픽셀의 데이터값과 제2영상에 있던 해당픽셀의 데이터값에 가중치를 적용하여 변환하고, 이를 합성하여 최종적인 중복픽셀 Pa의 데이터값을 산출한다.
즉, 중복영역은 합성 전에 존재하던 종래영상(210)에 의한 종래경계선(210')과 합성에 의해 추가되는 신규영상(220)에 의한 신규경계선(220')으로 구성될 수 있는데, 여기서 종래가중치는 중복픽셀 Pa과 신규경계선(220')간의 최단거리 dN(2)를 중복픽셀과 종래경계선간의 최단거리 dC(2)와 중복픽셀과 신규경계선간의 최단거리 dN(2)의 합으로 나눈 값일 수 있다. 그리고 신규가중치는 1에서 종래가중치를 뺀 값 또는 중복픽셀과 종래경계선간의 최단거리를 중복픽셀과 종래경계선간의 최단거리와 중복픽셀과 신규경계선간의 최단거리의 합으로 나눈 값일 수 있다.
즉, 도 6에서의 종래가중치는 아래의 식으로 표현될 수 있다.
Figure PCTKR2017003112-appb-I000001
여기서, wC는 종래가중치이고, wN는 신규가중치이다. 즉, 종래가중치의 경우는 종래의 제1영상의 경계(210')에 의한 영향을 나타내기 때문에 역으로 신규영상인 제2영상 경계(220')와의 떨어진 거리에 비례한다고 할 수 있는 것이고(제1영상과 많이 떨어질수록 제2영상과는 가깝다는 것이고, 그만큼 제1영상에 의한 영향을 적게 받도록 가중치를 두는 것이다), 신규가중치의 경우에는 역으로 볼 수 있는 것이다.
그에 따라 중복픽셀의 최종 데이터값은 아래와 같이 나타낼 수 있다.
Figure PCTKR2017003112-appb-I000002
여기서, Image1(u1,v1)은 제1영상에서 중복픽셀의 데이터값이며, Image2(u2,v2)는 제2영상에서 중복픽셀의 데이터값이고, w1은 제1영상의 중복픽셀 Pa에 대한 종래가중치로서 0이며, w2는 제2영상의 중복픽셀 Pa에 대한 종래가중치를 말한다. 이와 같은 수식에 의해 2개의 영상이 중복되는 경우에는 결국 제1영상의 중복픽셀의 데이터값에 제2영상의 중복시의 종래가중치를 곱한 값과 제2영상의 중복픽셀의 데이터값에 제2영상의 중복시의 신규가중치를 곱한 값의 합이라는 점을 알 수 있다. 직관적으로 본다면, 제1영상의 중복픽셀의 데이터값에는 제1영상에 의한 영향도가 반영되고, 제2영상의 중복픽셀의 데이터값에는 제2영상에 의한 영향도가 반영되어 합해지고 최종적인 중복픽셀의 데이터값이 얻어지는 것이다.
도 7은 3가지의 영상이 모두 중복되는 지점의 데이터값을 얻기 위한 과정을 나타낸 도면이다. 이를 위해서는 먼저 제1영상과 제2영상이 중복되는 상황하에 종래가중치인 w2를 먼저 구한다(여기서도, 종래가중치 w1은 0이라고 본다). 그리고 제3영상이 중복되는 것이라고 보고, 그에 따라 먼저 배치된 제1영상 및 제2영상의 경계선(210',220')과의 최단거리인 dC(3)을 구하고, 신규로 합성되는 제3영상(230')의 경계선과의 최단거리인 dN(3)을 구하고, 그에 따른 종래가중치 w3을 구한다. 중복픽셀 Pb의 경우 아래의 식에 따라 최종 데이터값을 얻는다.
Figure PCTKR2017003112-appb-I000003
즉, 3개의 영상이 합성되는 지점의 경우에는 3개 영상 모두 각각으로부터의 영향을 받는 것이다. 이 수식은 기존의 제1영상과 제2영상에 의한 중복픽셀의 데이터값(Pa를 구하는 수식과 동일한 방식으로 계산되는 값)에 제3영상에 의한 영향으로써 종래가중치인 w3를 곱하고, 신규로 합성되는 제3영상의 중복픽셀의 데이터값에 제3영상에 의한 영향으로써 신규가중치인 1-w3을 곱하여 얻어지는 것으로 볼 수도 있다.
즉, 복수의 영상이 중복되는 경우에는 순차적으로 영상을 중첩하면서 새로이 조합되는 중복픽셀의 데이터값을 업데이트하는 개념으로 볼 수 있는 것이다.
그에 따라, 최종적인 수식은 아래와 같이 표현될 수 있다.
Figure PCTKR2017003112-appb-I000004
즉, 최초로 배치되는 최초 영상에 대한 중복픽셀의 영상별 데이터값은 최초 영상의 중복픽셀의 데이터값 Image1(u1,v1)에 최초 영상의 신규가중치 1-w1와 다음으로 배치되는 모든 영상들의 종래가중치들(w2~wN)을 모두 곱하여 산출할 수 있다
Figure PCTKR2017003112-appb-I000005
중간에 합성되는 중간 영상에 대한 중복픽셀의 영상별 데이터값은 해당하는 중간 영상의 중복픽셀의 데이터값에 해당하는 중간 영상의 신규가중치와 그 다음으로 배치되는 영상들의 종래가중치들을 모두 곱하여 산출할 수 있다
Figure PCTKR2017003112-appb-I000006
최후로 합성되는 최후 영상에 대한 중복픽셀의 영상별 데이터값은 최후 영상의 중복픽셀의 데이터값에 최후 영상의 종래가중치를 곱하여 산출할 수 있다
Figure PCTKR2017003112-appb-I000007
한편, 이러한 수식에 따라 메모리부의 테이블에는 아래의 값들이 미리 저장된다. 즉, 종래가중치와 신규가중치를 도출하는 단계에서는 영상마다 각각 중복픽셀에 대하여 도출한 종래가중치(wN)와 신규가중치(1-wN)를 메모리에 테이블로 저장할 수 있다.
Figure PCTKR2017003112-appb-I000008
Figure PCTKR2017003112-appb-I000009
상기와 같이 복수의 영상들이 합성되는 위치는 미리 정해진 것이고, 그에 따라 중복픽셀들의 각 지점에서 각 영상으로부터 받는 영향도를 미리 계산하여 둘 수 있는 것이다. 중복픽셀에 대한 최종 데이터값을 산출하는 단계에서는 합성하고자 하는 각 영상의 중복픽셀의 데이터값과 메모리에 테이블로 저장된 종래가중치와 신규가중치를 이용하여 해당하는 중복픽셀에 대한 최종 데이터값을 산출할 수 있다.
영상의 실제 데이터값들이 입력되면 입력된 각 영상의 데이터와 상기 미리 정해진 계수인 ρ값들을 이용하여 최종 데이터값을 간단히 도출하고, 이에 따라 출력모니터 영상에 표시하는 것이다. 물론, 흑백 영상의 경우 한번의 계산으로 처리될 수 있지만 컬러 영상의 경우에는 R,G,B각각 계산한 후 출력되어야 컬러로서 올바르게 출력될 것이다.
이와 같은 본 발명의 실시간 영상 합성 방법에 따르면, 복수의 영상을 하나의 영상으로 합성함에 있어서 메모리에 저장된 테이블을 이용하기 때문에 실시간으로 매우 빠르게 합성이 이루어지며, 동시에 메모리에 저장된 계수값들은 영상이 서로가 서로에게 영향을 미치는 정도를 거리에 따라 빠짐없이 반영된 것이기 때문에 경계부분에서의 왜곡이나 변형 내지 구별이 극히 최소화될 수 있게 된다.
본 발명의 특정한 실시예에 관련하여 도시하고 설명하였지만, 이하의 특허청구범위에 의해 제공되는 본 발명의 기술적 사상을 벗어나지 않는 한도 내에서, 본 발명이 다양하게 개량 및 변화될 수 있다는 것은 당 업계에서 통상의 지식을 가진 자에게 있어서 자명할 것이다.
[부호의 설명]
100 : 출력모니터 영상 210,220,230 : 복수의 영상
210',220',230' : 복수의 영상 각각의 경계선

Claims (9)

  1. 복수의 영상을 하나의 영상으로 합성할 경우 발생되는 중복영역 내에 위치한 중복픽셀에 대하여 합성 전에 존재하던 종래영상에 관한 종래가중치를 도출하는 단계;
    중복픽셀에 대하여 합성에 의해 추가되는 신규영상에 관한 신규가중치를 도출하는 단계;
    영상의 합성 순서에 따라, 합성되는 영상마다 각각 중복픽셀에 대한 종래가중치와 신규가중치를 도출하는 단계; 및
    각각의 영상의 중복픽셀의 데이터값에 종래가중치와 신규가중치를 각각 적용하여 영상별 데이터값을 산출하고, 영상별 데이터값을 모두 합산하여 중복픽셀에 대한 최종 데이터값을 산출하는 단계;를 포함하는 실시간 영상 합성 방법.
  2. 청구항 1에 있어서,
    중복영역은 합성 전에 존재하던 종래영상에 의한 종래경계선과 합성에 의해 추가되는 신규영상에 의한 신규경계선으로 구성된 것을 특징으로 하는 실시간 영상 합성 방법.
  3. 청구항 2에 있어서,
    종래가중치는 중복픽셀과 신규경계선간의 최단거리를 중복픽셀과 종래경계선간의 최단거리와 중복픽셀과 신규경계선간의 최단거리의 합으로 나눈 값인 것을 특징으로 하는 실시간 영상 합성 방법.
  4. 청구항 2에 있어서,
    신규가중치는 1에서 종래가중치를 뺀 값 또는 중복픽셀과 종래경계선간의 최단거리를 중복픽셀과 종래경계선간의 최단거리와 중복픽셀과 신규경계선간의 최단거리의 합으로 나눈 값인 것을 특징으로 하는 실시간 영상 합성 방법.
  5. 청구항 1에 있어서,
    종래가중치와 신규가중치를 도출하는 단계에서는 영상마다 각각 중복픽셀에 대하여 도출한 종래가중치와 신규가중치를 메모리에 테이블로 저장하는 것을 특징으로 하는 실시간 영상 합성 방법.
  6. 청구항 5에 있어서,
    중복픽셀에 대한 최종 데이터값을 산출하는 단계에서는 합성하고자 하는 각 영상의 중복픽셀의 데이터값과 메모리에 테이블로 저장된 종래가중치와 신규가중치를 이용하여 해당하는 중복픽셀에 대한 최종 데이터값을 산출하는 것을 특징으로 하는 실시간 영상 합성 방법.
  7. 청구항 1에 있어서,
    최초로 배치되는 최초 영상에 대한 영상별 데이터값은 최초 영상의 중복픽셀의 데이터값에 최초 영상의 신규가중치와 다음으로 배치되는 모든 영상들의 종래가중치들을 모두 곱하여 산출하는 것을 특징으로 하는 실시간 영상 합성 방법.
  8. 청구항 7에 있어서,
    중간에 합성되는 중간 영상에 대한 영상별 데이터값은 해당하는 중간 영상의 중복픽셀의 데이터값에 해당하는 중간 영상의 신규가중치와 그 다음으로 배치되는 영상들의 종래가중치들을 모두 곱하여 산출하는 것을 특징으로 하는 실시간 영상 합성 방법.
  9. 청구항 7에 있어서,
    최후로 합성되는 최후 영상에 대한 영상별 데이터값은 최후 영상의 중복픽셀의 데이터값에 최후 영상의 종래가중치를 곱하여 산출하는 것을 특징으로 하는 실시간 영상 합성 방법.
PCT/KR2017/003112 2016-06-10 2017-03-23 실시간 영상 합성 방법 WO2017213335A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160072216A KR101819984B1 (ko) 2016-06-10 2016-06-10 실시간 영상 합성 방법
KR10-2016-0072216 2016-06-10

Publications (1)

Publication Number Publication Date
WO2017213335A1 true WO2017213335A1 (ko) 2017-12-14

Family

ID=60578819

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/003112 WO2017213335A1 (ko) 2016-06-10 2017-03-23 실시간 영상 합성 방법

Country Status (2)

Country Link
KR (1) KR101819984B1 (ko)
WO (1) WO2017213335A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023196203A1 (en) * 2022-04-04 2023-10-12 Genome International Corporation Traveling in time and space continuum

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109951634B (zh) * 2019-03-14 2021-09-03 Oppo广东移动通信有限公司 图像合成方法、装置、终端及存储介质
KR102390433B1 (ko) * 2020-12-21 2022-04-25 서울시립대학교 산학협력단 글로벌 융합영상 제작 장치 및 제작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08254499A (ja) * 1995-03-17 1996-10-01 Sharp Corp 表示・外観検査装置
KR20060080872A (ko) * 2005-01-06 2006-07-11 톰슨 라이센싱 이미지 모자이크 처리 방법 및 디바이스
JP2007274377A (ja) * 2006-03-31 2007-10-18 Denso Corp 周辺監視装置、プログラム
JP2009171570A (ja) * 2008-01-21 2009-07-30 Denso Internatl America Inc 画像データ処理方法及び画像データ処理システム
KR20130036593A (ko) * 2011-10-04 2013-04-12 삼성디스플레이 주식회사 이미지 중첩 현상을 방지할 수 있는 3ｄ 디스플레이 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08254499A (ja) * 1995-03-17 1996-10-01 Sharp Corp 表示・外観検査装置
KR20060080872A (ko) * 2005-01-06 2006-07-11 톰슨 라이센싱 이미지 모자이크 처리 방법 및 디바이스
JP2007274377A (ja) * 2006-03-31 2007-10-18 Denso Corp 周辺監視装置、プログラム
JP2009171570A (ja) * 2008-01-21 2009-07-30 Denso Internatl America Inc 画像データ処理方法及び画像データ処理システム
KR20130036593A (ko) * 2011-10-04 2013-04-12 삼성디스플레이 주식회사 이미지 중첩 현상을 방지할 수 있는 3ｄ 디스플레이 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023196203A1 (en) * 2022-04-04 2023-10-12 Genome International Corporation Traveling in time and space continuum

Also Published As

Publication number Publication date
KR20170139816A (ko) 2017-12-20
KR101819984B1 (ko) 2018-01-18

Similar Documents

Publication Publication Date Title
TWI383666B (zh) 多重鏡頭相機系統之先進式動態接圖方法
CN101431617B (zh) 用于合并视频以实时显示的方法和系统
WO2017213335A1 (ko) 실시간 영상 합성 방법
WO2010101434A2 (en) Apparatus and method of generating panoramic image and computer-readable recording medium storing program for executing the method
WO2011074721A1 (ko) 복수개의 광각 카메라로부터 획득한 영상을 정합하는 영상 처리 장치 및 방법
WO2011081226A1 (ko) 컬러 이미지를 그레이스케일 이미지로 변환하는 방법 및 이를 수행하는 프로그램이 기록된 기록매체
KR102200441B1 (ko) Hmd 기반 혼합 현실 기술을 이용한 모의 항공 cpt 시뮬레이터 시스템
WO2015182904A1 (ko) 관심객체 검출을 위한 관심영역 학습장치 및 방법
WO2015160052A1 (ko) 광각 렌즈 이미지 보정 방법 및 그 장치
CN107018335A (zh) 图像拼接方法、装置及终端
EP3590090A1 (en) Method and apparatus for processing omni-directional image
WO2014010817A1 (ko) 디지털 영상을 위한 적응적 잡음 저감 시스템 및 그 잡음 제거 방법
JPH04207483A (ja) 特殊効果装置
WO2019103193A1 (ko) 분산 가상 카메라를 이용한 게임 내 360 vr 영상 획득 시스템 및 방법
WO2017003240A1 (ko) 영상 변환 장치 및 그 영상 변환 방법
WO2022131720A1 (ko) 건축물 이미지를 생성하는 장치 및 방법
WO2017142364A1 (ko) 가상 현실 시스템에서 이미지 처리 방법 및 장치
WO2018230971A1 (en) Method and apparatus for processing omni-directional image
WO2021054756A1 (ko) 중장비용 전방 영상 생성 장치
WO2021086108A1 (ko) 로봇 비전 시스템을 위한 자동 캘리브레이션 방법 및 장치
CN112073596B (zh) 特定黑白视频信号的仿真彩色处理方法及系统
WO2021071258A1 (ko) 인공지능 기반의 휴대용 보안영상 학습장치 및 방법
JP2757668B2 (ja) 画像解析装置
WO2019139303A1 (ko) 영상 합성 방법 및 장치
WO2022080550A1 (ko) 컬러 정보 및 적외선 정보를 혼합한 이미지 생성 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17810458

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17810458

Country of ref document: EP

Kind code of ref document: A1