KR20180098850A - Method and apparatus for stitching uhd videos - Google Patents
Method and apparatus for stitching uhd videos Download PDFInfo
- Publication number
- KR20180098850A KR20180098850A KR1020170025498A KR20170025498A KR20180098850A KR 20180098850 A KR20180098850 A KR 20180098850A KR 1020170025498 A KR1020170025498 A KR 1020170025498A KR 20170025498 A KR20170025498 A KR 20170025498A KR 20180098850 A KR20180098850 A KR 20180098850A
- Authority
- KR
- South Korea
- Prior art keywords
- stitching
- image
- cameras
- moving
- moving images
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000015654 memory Effects 0.000 claims abstract description 33
- 238000012937 correction Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 5
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H04N5/23238—
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
Description
본 발명은 UHD동영상 스티칭 방법 및 그 장치에 관한 것으로, 더욱 상세하게는 복수 개의 4K UHD동영상에서 서로 중복된 부분을 추적하여 제거하고 정합함으로써, 더 넓은 화각을 가진 UHD동영상 예를 들어 4K UHD동영상 2개 혹은 8K UHD동영상을 생성하는 동영상을 스티칭하는 방법과 그 장치에 관한 것이다.The present invention relates to a UHD moving image stitching method and apparatus, and more particularly, to a UHD moving image stitching method and apparatus thereof for tracking and removing overlapping portions in a plurality of 4K UHD moving images, The present invention relates to a method and apparatus for stitching a moving image that generates a moving image or an 8K UHD moving image.
최근 초고해상도(초고화질) 동영상, 즉 UHD(Ultra High Definition)동영상에 대한 사용자의 니즈가 점점 증가하고, 이를 지원하는 광대역 네트워크와 방송기술의 발전으로 UHD동영상을 편집하여 송출하거나 분배하는 기술도 필요하게 되었다.Recently, users' needs for ultra-high resolution (ultra high definition) video, ie, UHD (Ultra High Definition) video, have increased, and as a result of the development of broadband network and broadcasting technology supporting this, there is also a need to edit, transmit or distribute UHD video .
우선 두 개의 4K UHD동영상을 서로 횡으로 이어 붙이는 방식으로 스티칭하여 더 넓은 영역을 커버하는 UHD동영상으로 만들거나, 4개의 4K UHD동영상으로 8K UHD동영상 혹은 횡으로 4개의 4K UHD동영상을 이어 붙인 스티칭을 수행함으로써, 사용자에게 더욱 실감나는 동영상을 제공할 수 있다.First, you can stitch two 4K UHD videos side by side to form a UHD video that covers a wider area, or you can stitch four 4K UHD videos to 8K UHD videos or four 4K UHD videos side by side It is possible to provide a moving image more real to the user.
이 경우 각각의 4K UHD카메라는 서로 촬영하는 위치가 조금씩 차이가 날 수 있고 또한, 정확하게 배열되어 있지 않아, 4K UHD카메라로 촬영한 영상을 그대로 스티칭하여 횡 혹은 종으로 이어 붙이면 각 UHD카메라에서 입력받은 동영상들 사이의 경계에서 불연속점이 생겨 실감방송이 어렵게 된다. 따라서 이러한 UHD카메라에서 입력된 각기 다른 UHD동영상 간에 이음새 부분의 불연속을 없애야 할 필요가 있다.In this case, each 4K UHD camera may be slightly different from each other and may not be accurately arranged. If the 4K UHD camera stitches the image as it is and attaches it to the side or side, A discontinuity occurs at the boundary between the moving images, making realistic broadcasting difficult. Therefore, it is necessary to eliminate the discontinuity of the joint portion between different UHD videos input from such a UHD camera.
이러한 문제를 해결하기 위해서, 복수의 UHD카메라에서 입력되는 동영상에서 중복된 부분을 검출하고, 이를 제거하면서 각 프레임에 대해 수직 및 수평동기를 맞추어야 한다.In order to solve this problem, it is necessary to detect the overlapped portions in moving images input from a plurality of UHD cameras, and to adjust the vertical and horizontal synchronism for each frame while removing the overlapped portions.
상기 복수의 UHD카메라 간에 수평 및 수직동기를 정확하게 맞춤으로써, 작은 크기의 동영상 프레임을 더 큰 크기의 동영상 프레임으로 심리스하게 결합할 수 있다.By precisely aligning the horizontal and vertical synchronizations between the plurality of UHD cameras, it is possible to seamlessly combine small-sized moving image frames into larger-sized moving image frames.
이러한 대규모의 UHD동영상을 스티칭하기 위해서, 각 UHD동영상 간에 중복된 부분을 추적하여 정확하게 구분하는 데에 매우 많은 처리시간이 소요되어 실시간으로 복수의 UHD동영상을 서로 스티칭하는 것이 거의 불가능할 수 있다.In order to stitch such a large-scale UHD video, it is very difficult to stitch the plurality of UHD videos together in real time because it takes a lot of processing time to accurately track and distinguish the overlapped portions between the respective UHD videos.
따라서 본 발명은 이러한 문제를 해결하기 위해서, 각각의 UHD카메라에서 촬영된 동영상에 대해서 중복된 부분을 추적하는 것과 동기신호를 생성하는 것을 동시에 수행하고, UHD 해상도를 가진 동영상을 실시간으로 처리하게 위해서 보다 간략화된 영상으로 다운샘플링한 다음 개략적으로 일치하는 부분을 추적하고, 이어서 더욱 자세하게 중복된 부분을 추적하는 방식으로 접근하고자 한다.Therefore, in order to solve this problem, in order to solve this problem, it is necessary to simultaneously track the overlapping portion of the moving image captured by each UHD camera and generate the synchronizing signal, and to process the moving image having the UHD resolution in real time We want to approach the simplest image by downsampling and then tracing roughly matching parts, followed by more detailed overlapping parts.
또한, 수직방향과 수평방향의 동기화를 위해서 수직과 수평으로 서로 중복되는 부분을 동시에 병렬로 탐색하여 동기화를 수행하고자 한다.Also, in order to synchronize the vertical direction and the horizontal direction, a synchronization is performed by simultaneously searching for the parts overlapping in the vertical direction and the horizontal direction in parallel.
만약 복수의 UHD카메라에서 입력되는 영상을 비교하여 중복되는 부분이 발견되지 아니한 경우, 또는 중복된다고 판단할 근거가 부족한 경우, 각 UHD카메라에서 촬영된 가장자리 부분이 서로 겹치지 않는 경우일 수 있으므로, 이때는 각 UHD카메라에서 입력되는 영상의 특징점을 추출하여 이들이 가장 유사한 패턴을 가진 것과 접합함으로써, 인접한 UHD카메라에서 입력되는 동영상이 서로 심리스하게 연결되도록 스티칭하고자 한다.If there is no overlapping part or if there is insufficient reason to judge the overlap, it may be the case that the edge parts photographed by each UHD camera do not overlap with each other. In this case, By extracting the feature points of the image input from the UHD camera and joining them with those having the most similar pattern, it is desired to stitch the moving images input from the adjacent UHD cameras to be seamlessly connected to each other.
본 발명은 초고화질인 4K UHD동영상의 이점을 살려 실감형 영상을 편집하고 제작할 때 원하는 다수의 채널로 송출 및 분배가 가능하도록 하고자 한다.The present invention aims at making it possible to transmit and distribute a desired number of channels when editing and producing realistic images by taking advantage of 4K UHD video of super high resolution.
이러한 기술적 내용과 관련한 기존의 선행기술문헌으로, 한국공개특허 제2016-0118963호(2016.10.12)는 실시간 이미지 스티칭 장치 및 실시간 이미지 스티칭 방법에 관한 것으로, 임의의 2개의 그림에서 동일한 특징점을 물리적으로 찾아내서 이들을 하나의 사진으로 재건할 때, 이미지 센서에 전기적으로 연결되는 적어도 하나 이상의 디지털 칩으로 실시간 이미지 스티칭을 수행하고, 상기 디지털 칩은 디지털 이미지 캡쳐 디바이스로 통합되며, 상기 디지털 이미지 캡쳐 장치의 하나 이상의 이미지 센서로부터 상기 디지털 이미지 신호는 상기 디지털 칩에 의해 미리 설정된 기간에 수집되고, 상기 미리 설정된 기간에 수집된 상기 디지털 이미지 신호는 상기 디지털 칩의 상기 이미지 신호 처리기에 의해 선택적으로 교정되며, 상기 미리 설정된 기간에 수집된 상기 디지털 이미지 신호는 디지털 칩에서 상기 이미지 스티쳐에 의해 스티칭되며, 그리고 상기 디지털 칩의 이미지 압축기에 의해 스티칭된 상기 디지털 이미지 신호는 이로써 출력 또는 저장을 위하여 미리 설정된 이미지 포맷으로 변형된다. 상기 선행기술에서는 디지털 이미지 신호를 선택적으로 교정한다고만 기재하고 있을 뿐, 본 발명과 같이 스티칭을 위한 중복된 영역의 탐지 및 동기화 방안에 대해서 아무런 기재가 없으므로, 상기 선행기술은 본 발명의 기술적 특징을 제시하고 있지 못하다.Korean Patent Laid-Open Publication No. 2016-0118963 (Oct. 6, 2016) relates to a real-time image stitching apparatus and a real-time image stitching method. In the two prior arts, Performing real-time image stitching with at least one or more digital chips electrically connected to the image sensor, wherein the digital chip is integrated into a digital image capture device, wherein one of the digital image capture devices Wherein the digital image signal from the image sensor is collected in a predetermined period by the digital chip and the digital image signal collected in the predetermined period is selectively corrected by the image signal processor of the digital chip, Collected during set period The digital image signal is stitched by the Teacher's image in a digital chip, and said digital image signal by the image stitching compressor of the digital chip is thereby deformed in a predetermined image format to the output or storage. In the prior art, only the digital image signal is selectively corrected. However, since there is no description about the detection and synchronization method of the overlapping area for stitching as in the present invention, I am not presenting it.
또한, 한국공개특허 제2016-0115466호(2016.10.06.)는 파노라믹 비디오를 스티칭하는 방법 및 이를 위한 장치에 관한 것으로, 복수 카메라로부터 복수의 비디오 스트림을 획득하는 단계, 상기 복수의 비디오 스트림에서 제1 시점에 촬영된 정지영상 프레임들의 집합인 기준 영상 프레임 세트를 선택하는 단계, 상기 기준 영상 프레임 세트에서 추출된 특징점들의 대응관계에 기초하여 카메라 파라미터 및 색 보정계수를 포함하는 스티칭 파라미터를 계산하는 단계, 및 상기 스티칭 파라미터를 제2 시점에 촬영된 정지영상 프레임들의 집합인 타 영상 프레임 세트들에 적용하여 파노라마 비디오를 생성하는 단계를 포함하는 선행기술이다. 상기 선행기술은 특징점들의 대응관계를 기초하여 카메라 파라미터 및 색 보정계수를 포함한 스티칭 파라미터를 계산하는 방식으로, 본 발명과 같이 카메라간의 위치에 대한 차이로 인한 동기화를 실시간으로 처리하고자 하는 기술적 특징에 대해서 아무런 기재가 없어, 본 발명과 상이한 것이다.Korean Patent Laid-Open Publication No. 2016-0115466 (Jun. 10, 2016) discloses a method and apparatus for stitching panoramic video, comprising the steps of acquiring a plurality of video streams from a plurality of cameras, Selecting a reference image frame set that is a set of still image frames photographed at a first point in time, calculating a stitching parameter including a camera parameter and a color correction coefficient based on a correspondence relationship between the extracted feature points in the reference image frame set And generating the panoramic video by applying the stitching parameters to the set of other image frames, which is a set of still image frames photographed at a second point in time. The prior art calculates a stitching parameter including a camera parameter and a color correction coefficient on the basis of a correspondence relation between minutiae points. It is a feature of the present invention that a technical feature of real- There is no description and it is different from the present invention.
아울러 한국등록특허 제1603976호(2016.03.10.)는 멀티미디어 데이터를 제공하는 환경에서, 동영상 파일 결합 방법 및 그 장치에 관한 것으로, 제1 동영상 파일의 비디오 데이터와 제2 동영상 파일의 비디오 데이터를 스티칭하여 비디오 데이터를 생성하고, 그리고 스티칭에 따라 생성된 비디오 데이터와 오디오 데이터를 포함하는 결합 영상 파일을 생성한다고만 기재하고 있으며, 스티칭에 대한 별도의 방법론이나 기술적 사상은 기재하고 있지 않아, 본 발명의 스티칭에 관한 기술적 사상을 제시하고 있지 못하고 있다. Korean Patent Registration No. 1603976 (Oct. 20, 2016) discloses a video file combining method and apparatus in an environment for providing multimedia data, in which video data of a first video file and video data of a second video file are stitched And the combined image file including the video data and the audio data generated according to the stitching is generated, and no separate methodology or technical idea for the stitching is described, And does not provide technical ideas on stitching.
이상에서 선행기술들을 검토한 결과 스티칭에 대한 기본적인 개념만 기재하고 있을 뿐, 본 발명에서 해결하고자 하는 복수의 초고해상도를 가진 UHD동영상을 서로 심리스하게 결합하여 하나의 더 높은 해상도를 가진 UHD동영상으로 스티칭하여 편집하거나 렌더링하는 기술에 대해서 아무런 기재나 시사 또는 암시도 없다. 반면에 본 발명의 기술적 사상에 따른 UHD동영상 실시간 스티칭 방법 및 그 장치는 복수의 낮은 해상도를 가진 동영상을 더 높은 해상도를 가진 동영상으로 만들거나, 서로 분리하여 전송된 개별적인 동영상들을 하나의 더 높은 해상도를 가진 동영상으로 심리스하게 실시간으로 결합할 수 있는 장점이 있다.As a result of examining the prior art, only the basic concept of stitching is described. In the present invention, a UHD video having a plurality of ultra-high resolutions to be solved in the present invention is seamlessly combined with each other, There is no description, suggestion or suggestion as to the technique of editing or rendering. On the other hand, the UHD moving image real-time stitching method and apparatus according to the technical idea of the present invention can make a video having a plurality of low resolutions into a video having a higher resolution, or a video having a higher resolution It has the advantage of being able to combine seamlessly in real time with a moving image.
본 발명은 UHD동영상 실시간 스티칭 방법 및 그 장치에 관한 것으로, 복수의 UHD동영상을 서로 심리스하게 결합하여 더 높은 해상도를 가진 UHD동영상으로 실시간 스티칭하는 방법과 그 장치를 제공하는 것을 목적으로 한다.The present invention relates to a method and apparatus for real-time stitching of UHD moving images, and a method and apparatus for real-time stitching UHD moving images with high resolution by seamlessly combining a plurality of UHD moving images.
또한, 본 발명은 복수의 UHD동영상으로 나누어 전송하여도, 수신측에서 복수의 저해상도 동영상을 하나의 고해상도 동영상으로 스티칭하여 결합하는 방법과 장치를 제공하는 것을 목적으로 한다.It is another object of the present invention to provide a method and apparatus for stitching a plurality of low-resolution moving images into a single high-resolution moving image at a receiving side even when the moving image is divided into a plurality of UHD moving images.
또한, 본 발명은 복수의 UHD카메라에서 입력되는 영상 간에 서로 중복되는 부분을 추적하고, 동시에 상기 추적한 결과로부터 동기신호를 생성하여 복수의 UHD카메라로부터 입력받은 동영상을 하나의 더 높은 해상도를 가진 동영상으로 스티칭하는 것을 목적으로 한다.According to another aspect of the present invention, there is provided a method of controlling a video camera, including the steps of: tracking overlapping portions between images input from a plurality of UHD cameras; generating synchronous signals from the tracked results simultaneously; As shown in Fig.
또한, 본 발명은 복수의 UHD카메라에서 입력된 동영상을 다운샘플링한 다음 고속으로 중복된 부분을 추적하고, 이어서 상기 추적된 정보를 이용하여 점점 더 세밀하게 중복된 부분을 추적함으로써, 고속으로 중복된 부분을 추적하고, 이로부터 수직동기화 및 수평동기화 신호를 추출하는 것을 목적으로 한다.In addition, the present invention can downsample a moving image input from a plurality of UHD cameras, track high-speed overlapping portions, and then track more and more overlapping portions using the tracked information, And to extract the vertical synchronization and horizontal synchronization signals therefrom.
또한, 본 발명은 UHD카메라로부터 입력된 인접 영상 간에 중복된 부분이 발견되지 않은 것으로 판단될 경우, 인접한 카메라에서 특징점을 추출하고, 이를 매칭하거나, 인접한 영상간의 유사도를 산출하여 가장 유사하다고 판단되는 부분의 범위를 추출하여 동기화신호를 추정함으로써, 인접한 카메라 사이에 서로 오버랩(중복)되는 영상이 존재하지 않아도, 가장 근접하게 동영상을 스티칭하는 것을 목적으로 한다.In addition, when it is determined that an overlapping portion between adjacent images input from the UHD camera is not found, the feature point is extracted from an adjacent camera, and the feature points are matched or similarity between adjacent images is calculated, And estimates the synchronization signal so as to stitch the moving image closest to each other even if there is no overlapping (overlapping) image between adjacent cameras.
이와 같은 목적을 달성하기 위해 본 발명의 일 실시예에 따른 동영상 스티칭 장치는, 복수의 카메라로부터 촬영된 동영상을 저장하는 메모리, 상기 메모리에 저장된 동영상을 선택적으로 출력하는 멀티플렉서 및 상기 메모리에 저장된 동영상을 선택적으로 출력함으로써, 스티칭된 동영상을 생성하도록 제어하는 스티칭 제어부를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a moving image stitching apparatus including a memory for storing moving images photographed by a plurality of cameras, a multiplexer for selectively outputting moving images stored in the memory, And a stitching control unit for controlling the stitching of the moving image by selectively outputting the stitching moving image.
또한, 상기 스티칭 제어부는, 상기 촬영된 동영상 중에서 인접한 카메라로부터의 동영상 간에 중복된 부분을 검출하는 중복 동영상 추출부 및 상기 검출한 중복된 부분을 고려하여 상기 인접한 카메라로부터의 동영상 중 하나를 이동시켜서 불연속적인 부분이 없이 스티칭되도록 인접한 동영상을 서로 동기화시키는 동기화부를 더 포함하는 것을 특징으로 한다.The stitching control unit may include a duplicated moving image extracting unit for detecting a duplicated portion between the moving images from the adjacent cameras among the photographed moving images and moving one of the moving images from the adjacent camera in consideration of the detected duplicated portion, And a synchronization unit for synchronizing neighboring moving images to each other so as to be stitched without any part.
또한, 상기 동영상 스티칭 장치는, 상기 인접한 카메라로부터의 동영상을 동기화한 결과, 상기 인접한 동영상 중에서 특정 동영상의 상측, 하측, 좌측, 우측 또는 이들의 조합에서 액티브 픽셀이 존재하지 않아 공백이 생기는 경우, 비활성영역의 픽셀로 채우거나, 최외곽의 픽셀로 채우거나, 또는 최외곽의 픽셀들 중에서 소정의 픽셀들을 이용하여 인터폴레이션한 픽셀로 채우는 보정부를 더 포함하는 것을 특징으로 한다.The video stitching apparatus may further include a motion detection unit that detects motion of the moving image from the adjacent camera so that the motion stitching apparatus displays the motion of the moving image in the inactive state when the active pixel does not exist in the upper, lower, left, right, And a correction unit which fills the region with the pixels of the outermost pixels, or fills the pixels of the outermost pixels with the interpolated pixels using predetermined pixels.
또한, 상기 스티칭 제어부는, 상기 복수의 카메라로부터 입력된 인접 동영상 간에 중복된 부분이 발견되지 않은 것으로 판단될 경우, 인접한 카메라에서 특징점을 추출하고, 이를 매칭하거나, 인접한 영상간의 유사도를 산출하여 가장 유사하다고 판단되는 부분의 범위를 추출하여 동기화신호를 추정함으로써, 인접한 카메라 사이에 서로 중복되는 동영상이 존재하지 않아도, 가장 근접하게 동영상을 스티칭하도록 제어하는 것을 포함하는 것을 특징으로 한다.When it is determined that no overlapping part between neighboring moving images inputted from the plurality of cameras has been found, the stitching control unit extracts the minutiae from the neighboring cameras and matches them, or calculates similarities between adjacent images, And estimating a synchronization signal by extracting a range of a portion judged to be included in the moving image, thereby controlling the stitching of the moving image closest to each other even if there is no moving image overlapping between adjacent cameras.
또한, 상기 스티칭 제어부는, 상기 복수의 카메라에서 입력된 동영상을 다운샘플링한 다음 중복된 부분을 추적하고, 이어서 상기 추적한 부분에 대해서 다시 상기 다운샘플링 정도를 줄여서 해당 동영상 부분에서 더 세밀하게 중복된 부분을 추적하고, 최종적으로 원래의 다운샘플링을 수행하지 않은 상태에서 세밀하게 중복된 부분을 추적함으로써, 상기 중복된 부분을 추적하는 속도를 향상시키는 것을 특징으로 한다.In addition, the stitching control unit may downsample the moving image input from the plurality of cameras, and then may track the overlapping portion, and then reduce the degree of downsampling with respect to the tracked portion, And tracking the overlapping portion in a state where the original downsampling is not performed, thereby improving the speed of tracking the overlapping portion.
또한, 상기 동영상 스티칭 장치는, 상기 동기화부에서 추출한 동기화 정보에 따라 상기 인접영상들 중 적어도 하나 이상에 해당하는 카메라의 촬영위치를 조정하도록 제어하는 카메라 제어부를 더 포함하는 것을 특징으로 한다.The moving image stitching apparatus may further include a camera controller for controlling the photographing position of the camera corresponding to at least one of the adjacent images according to the synchronization information extracted by the synchronization unit.
또한, 상기 스티칭 제어부는, 상기 복수의 각 카메라에 대한 촬영영역의 변화를 감지하고, 상기 촬영영역이 변동된 경우, 상기 인접한 동영상들을 다시 매칭하여 동기화하고 스티칭을 수행하는 것을 특징으로 한다.The stitching control unit may detect a change in an image sensing area of each of the plurality of cameras and, when the image sensing area is changed, synchronize and synchronize the adjacent moving images and perform stitching.
또한, 상기 스티칭은, 상기 복수의 카메라에서 입력된 인접한 동영상들을 스티칭하여 방송이나 유무선 네트워크로 전송하거나, 상기 복수의 카메라에서 입력된 동영상들을 방송이나 유무선 네트워크를 통해서 원격으로 송신하여 원격에서 스티칭을 수행하도록 하거나, 또는 이들의 조합을 수행하는 것을 특징으로 한다.The stitching may be performed by stitching adjacent moving images input from the plurality of cameras and transmitting the moving images to a broadcast, a wired or wireless network, or remotely stitching moving images input from the plurality of cameras through a broadcast or wired / wireless network , Or a combination thereof.
아울러 본 발명의 일 실시예에 따른 동영상 스티칭 방법은, 복수의 카메라로부터 촬영된 동영상을 저장하는 단계, 멀티플렉서를 통해 저장된 상기 복수의 카메라로부터 촬영된 동영상을 선택적으로 출력하는 단계 및 상기 복수의 카메라로부터 촬영된 동영상을 선택적으로 출력함으로써, 스티칭된 동영상을 생성하도록 제어하는 스티칭 제어 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a moving image stitching method comprising: storing moving images photographed by a plurality of cameras; selectively outputting moving images photographed by the plurality of cameras stored through a multiplexer; And a stitching control step of selectively outputting the photographed moving image to generate a stitched moving image.
또한, 상기 스티칭 제어 단계는, 상기 촬영된 동영상 중에서 인접한 카메라로부터의 동영상 간에 중복된 부분을 검출하는 중복 동영상 추출 단계, 상기 검출한 중복된 부분을 고려하여 상기 인접한 카메라로부터의 동영상 중 하나를 이동시켜서 불연속적인 부분이 없이 스티칭되도록 인접한 동영상을 서로 동기화시키는 동기화 단계 및 상기 인접한 카메라로부터의 동영상을 동기화한 결과, 상기 인접한 동영상 중에서 특정 동영상의 상측, 하측, 좌측, 우측 또는 이들의 조합에서 액티브 픽셀이 존재하지 않아 공백이 생기는 경우, 비활성영역의 픽셀로 채우거나, 최외곽의 픽셀로 채우거나, 또는 최외곽의 픽셀들 중에서 소정의 픽셀들을 이용하여 인터폴레이션한 픽셀로 채우는 보정 단계를 더 포함하는 것을 특징으로 한다.The stitching control step may include a duplicated moving image extracting step of detecting a duplicated moving image among the moving images from the adjacent cameras among the photographed moving images, and moving one of the moving images from the adjacent camera in consideration of the detected duplicated part A synchronizing step of synchronizing adjacent moving images so as to be stitched without a discontinuous part and a synchronizing step of synchronizing moving images from the adjacent camera so that an active pixel exists in the upper, lower, left, right, And filling the pixel in the non-active region with the pixel that is interpolated by filling the pixel in the inactive region, filling the pixel in the inactive region, filling the pixel in the outermost pixel, or using predetermined pixels out of the outermost pixels. do.
또한, 상기 스티칭 제어 단계는, 상기 복수의 카메라로부터 입력된 인접 동영상 간에 중복된 부분이 발견되지 않은 것으로 판단될 경우, 인접한 카메라에서 특징점을 추출하고, 이를 매칭하거나, 인접한 영상간의 유사도를 산출하여 가장 유사하다고 판단되는 부분의 범위를 추출하여 동기화신호를 추정함으로써, 인접한 카메라 사이에 서로 중복되는 동영상이 존재하지 않아도, 가장 근접하게 동영상을 스티칭하도록 제어하는 것을 포함하는 것을 특징으로 한다.In the stitching control step, when it is determined that no overlapping part between neighboring moving images inputted from the plurality of cameras is found, the neighboring camera extracts the minutiae points and matches them, or calculates similarities between adjacent images, And controlling the stitching of the moving image closest to each other even if there is no overlapping moving image between adjacent cameras by extracting a range of a portion that is determined to be similar and estimating a synchronization signal.
또한, 상기 스티칭 제어 단계는, 상기 복수의 카메라에서 입력된 동영상을 다운샘플링한 다음 중복된 부분을 추적하고, 이어서 상기 추적한 부분에 대해서 다시 상기 다운샘플링 정도를 줄여서 해당 동영상 부분에서 더 세밀하게 중복된 부분을 추적하고, 최종적으로 원래의 다운샘플링을 수행하지 않은 상태에서 세밀하게 중복된 부분을 추적함으로써, 상기 중복된 부분을 추적하는 속도를 향상시키는 것을 특징으로 한다.In addition, the stitching control step may include a step of down sampling the moving image input from the plurality of cameras, then tracking the overlapping portion, and then reducing the degree of downsampling for the tracked portion, And tracking the overlapping portion in a state where the original downsampling is not performed, thereby improving the speed of tracking the overlapping portion.
또한, 상기 스티칭 제어부는, 상기 복수의 각 카메라에 대한 촬영영역의 변화를 감지하고, 상기 촬영영역이 변동된 경우, 상기 인접한 동영상들을 다시 매칭하여 동기화하고 스티칭을 수행하는 것을 특징으로 한다.The stitching control unit may detect a change in an image sensing area of each of the plurality of cameras and, when the image sensing area is changed, synchronize and synchronize the adjacent moving images and perform stitching.
또한, 상기 스티칭은, 상기 복수의 카메라에서 입력된 인접한 동영상들을 스티칭하여 방송이나 유무선 네트워크로 전송하거나, 상기 복수의 카메라에서 입력된 동영상들을 방송이나 유무선 네트워크를 통해서 원격으로 송신하여 원격에서 스티칭을 수행하도록 하거나, 또는 이들의 조합을 수행하는 것을 특징으로 한다.The stitching may be performed by stitching adjacent moving images input from the plurality of cameras and transmitting the moving images to a broadcast, a wired or wireless network, or remotely stitching moving images input from the plurality of cameras through a broadcast or wired / wireless network , Or a combination thereof.
본 발명에 따르면 복수 개의 4K UHD동영상에서 서로 중복된 부분을 추적하여 제거하고, 더 넓은 화각을 가진 UHD동영상 예들 들어 심리스(seamless)한 4K UHD동영상 2개 또는 8K UHD동영상을 생성할 수 있는 효과가 있다.According to the present invention, it is possible to track two or more overlapping portions in a plurality of 4K UHD videos and to generate seamless 4K UHD videos or 8K UHD videos with UHD videos having wider viewing angles, for example have.
또한, 복수의 낮은 해상도를 가진 동영상을 더 높은 해상도를 가진 동영상으로 만들거나, 서로 분리하여 전송된 개별적인 동영상들을 하나의 더 높은 해상도를 가진 동영상으로 심리스하게 실시간으로 결합할 수 있는 효과가 있다.In addition, it is possible to make a plurality of low-resolution moving images into a moving image having a higher resolution, or to combine individual moving images transmitted separately from each other in a seamless and real-time manner into one higher resolution moving image.
도 1a 및 도 1b는 본 발명의 일 실시예에 따른 동영상 스티칭 장치를 포함하는 전체 시스템을 설명하기 위한 개념도이다.
도 2a 및 도 2b는 영상 스티칭에 필요한 기준 영상, 타겟영상 및 이들을 획득하는 복수의 UHD 카메라를 설명하기 위한 개념도이다.
도 3은 본 발명의 일 실시예에 따른 동영상 스티칭 장치의 구성을 나타낸 블록도이다.
도 4는 본 발명의 일 실시예에 따른 영상 스티칭을 수행하는 절차를 나타낸 흐름도이다.
도 5는 기준영상 및 타겟영상에서 매칭 영역을 설명하기 위한 예시도이다.
도 6은 매칭 타입에 따른 기준 영상 및 타겟영상 상에서의 공통의 촬영 영역을 나타내는 예시도이다.
도 7은 본 발명의 또 다른 실시예에 따른 영상 스티칭 방법의 흐름도이다.
도 8은 본 발명의 또 다른 실시예에 따른 영상 스티칭 방법의 흐름도이다.
도 9는 본 발명의 또 다른 실시예에 따른 영상 스티칭 방법의 흐름도이다.
도 10은 본 발명의 또 다른 실시예에 따른 영상 스티칭 방법의 흐름도이다.FIGS. 1A and 1B are conceptual diagrams illustrating an entire system including a moving image stitching apparatus according to an embodiment of the present invention.
2A and 2B are conceptual diagrams for explaining a reference image, a target image, and a plurality of UHD cameras for acquiring the reference image, the target image, and the like necessary for image stitching.
3 is a block diagram illustrating the configuration of a moving image stitching apparatus according to an embodiment of the present invention.
4 is a flowchart illustrating a procedure for performing image stitching according to an embodiment of the present invention.
5 is an exemplary diagram illustrating a matching area in a reference image and a target image.
6 is an exemplary diagram showing a common imaging region on a reference image and a target image according to a matching type.
7 is a flowchart of an image stitching method according to another embodiment of the present invention.
8 is a flowchart of an image stitching method according to another embodiment of the present invention.
9 is a flowchart of an image stitching method according to another embodiment of the present invention.
10 is a flowchart of an image stitching method according to another embodiment of the present invention.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한, 본 발명의 실시예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다.BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, the present invention will be described in detail with reference to the preferred embodiments of the present invention with reference to the accompanying drawings. Like reference symbols in the drawings denote like elements. Furthermore, specific structural and functional descriptions for embodiments of the present invention are presented for purposes of illustrating embodiments of the invention only, and, unless otherwise defined, may include technical or scientific terms used herein All terms have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as ideal or overly formal in the sense of the art unless explicitly defined herein .
도 1a 및 도 1b 본 발명의 일 실시예에 따른 동영상 스티칭 장치를 포함하는 전체 시스템을 설명하기 위한 개념도이다.1A and 1B are conceptual diagrams illustrating an entire system including a video stitching apparatus according to an embodiment of the present invention.
도 1a에 도시한 바와 같이, 동영상 스티칭 장치(200)가 포함된 로컬 영역에서의 시스템이 개시되어 있다. 복수의 UHD 카메라(100)에서 획득된 복수의 영상은 동영상 스티칭 장치(200)에 의해 스티치 된다. 스티치된 영상은 컴퓨터의 디스플레이(예: 모니터)(300)로 출력되거나 방송 송출기(400)를 거쳐 최종적으로 방송수신단말(예: TV)(500)로 출력될 수 있다.As shown in Fig. 1A, a system in a local area including a moving
또한, 도 1b에 도시한 바와 같이, 본 발명의 또 다른 일 실시예인 동영상 스티칭 장치(200)가 포함된 광역에서의 시스템이 개시되어 있다. 복수의 UHD 카메라(100)에서 획득된 복수의 영상은 IP 변환기에 의해 패킷화(예: 12G-SDI 형식)된다. 패킷화된 데이터는 네트워크 통신망을 거쳐 동영상 시티칭 장치(200)로 입력된다. 동영상 스티칭 장치(200)는 상기 패킷화된 데이터를 이용하여 영상을 스티칭하고, 스티치된 영상은 최종적으로 디스플레이(300)로 출력되거나 방송 송출기(400)를 거쳐 방송수신단말(500)을 통해 출력될 수 있다.Further, as shown in FIG. 1B, a system in a wide area including a
즉, 도 1a 및 도 1b를 참조하여 설명한 것과 같이, 본 발명인 동영상 스티칭 장치(200)는 복수의 UHD 카메라(100)로부터 직접적으로 로컬에서 입력받아 인접한 동영상들을 스티칭하여 방송이나 유무선 네트워크로 전송하거나, 또는 상기 복수의 UHD 카메라(100)에서 입력되는 동영상들을 방송이나 유무선 네트워크를 통해서 원격으로 수신하여 원격에서 스티칭을 수행하거나, 또는 이들의 조합을 통해 상기 스티칭을 수행할 수 있다. That is, as described with reference to FIGS. 1A and 1B, the moving
한편, 상기에서 설명한 스티칭된 동영상은, 복수의 UHD 카메라(100)에서 입력된 인접한 동영상들을 스티칭하여 방송이나 유무선 네트워크로 전송하거나, 또는 상기 복수의 UHD 카메라(100)에서 입력된 동영상들을 방송이나 유무선 네트워크를 통해서 원격으로 송신하여 원격에서 스티칭을 수행하도록 하거나, 또는 이들의 조합을 통해 수행된다.In the meantime, the stitched moving images described above can stitch adjacent moving images inputted from a plurality of
도 2a 및 도 2b는 동영상 스티칭에 필요한 기준 영상, 타겟영상 및 이들을 획득하는 복수의 UHD 카메라를 설명하기 위한 개념도이다.FIGS. 2A and 2B are conceptual diagrams illustrating a reference image, a target image, and a plurality of UHD cameras for acquiring the reference image, the target image, and the like necessary for moving stitching.
도 2a에 도시한 바와 같이, 동영상 스티칭에 필요한 기준 영상(P1)과 타겟영상(P2) 및 이들을 촬영하는 UHD 카메라(C1, C2)와 함께 나타나 있다. 예를 들어 도 2a는 두 개의 UHD 카메라(C1, C2)로부터 입력되는 4K UHD 동영상 2개를 이용하여 4K 파노라마 형태의 UHD동영상 1개를 생성하는 스티칭의 개념을 나타낸다. 여기서 좌측의 영상(P1)이 기준영상이고 우측의 영상(P2)이 타겟영상이다. 기준영상과 타겟영상의 구분은 어느 영상을 기준으로 나머지 영상을 스티칭할 것인가의 문제이므로 우측의 영상이 기준영상으로 취급될 수도 있다.As shown in FIG. 2A, a reference image P 1 and a target image P 2 necessary for moving stitching are shown together with UHD cameras C 1 and C 2 for capturing them. For example, FIG. 2A shows a concept of stitching to generate one 4K panoramic UHD movie using two 4K UHD videos input from two UHD cameras (C 1 , C 2 ). Here, the left image P 1 is the reference image and the right image P 2 is the target image. Since the distinction between the reference image and the target image is a matter of which image is to be stitched with respect to the remaining image, the right image may be treated as a reference image.
도 2b는 4K UHD 영상 4개(P1, P2, P3, P4)를 이용하여 8K UHD동영상 1개를 생성하는 스티칭의 개념을 나타낸다. 여기서 상부 좌측의 영상(P1)이 기준영상이고 나머지 영상들(P2, P3, P4)이 타겟영상들이다. 위와 마찬가지로 영상(P1)외에 영상들(P2, P3, P4) 중에서 어느 하나가 기준영상으로 취급되는 경우에 나머지 3개의 영상들이 타겟영상으로 취급될 수 있다. 도 2b에 나타낸 UHD 카메라들(C1, C2, C3, C4)의 순서 및 상대적인 위치는 개념 설명을 위해 표현된 것이고 도 2b에 한정되는 것은 아니다. UHD 카메라(C1, C2, C3, C4)의 순서 및 상대적인 위치는 대응되는 영상들(P4, P2, P3, P4)의 순서 및 위치에 따라 배치되는 것이 바람직하다.FIG. 2B shows the concept of stitching to generate one 8K UHD movie using four 4K UHD images (P 1 , P 2 , P 3 , P 4 ). Here, the upper left image P 1 is the reference image and the remaining images P 2 , P 3 , P 4 are the target images. In the case where any one of the images P 2 , P 3 , and P 4 other than the image P 1 is treated as a reference image, the remaining three images may be treated as a target image. The order and relative positions of the UHD cameras C 1 , C 2, C 3 , and C 4 shown in FIG. 2B are expressed for conceptual explanations and are not limited to FIG. 2B. UHD the camera image corresponding to the order and relative position of the (C 1, C 2, C 3, C 4) (
또한, 도 2a 및 도 2b에서 나타낸 것과 같이, 기준영상 및 타겟영상이 서로 겹쳐짐으로써 형성되는 공통의 영역(V 또는 H)이 생성될 수 있다. 매칭 타입에 따라 기준영상과 복수의 타겟영상이 상호 이어지는 부분(즉, 가장자리 부분)이 중복되지 않고 공통의 영역이 생성됨이 없이 스티칭되는 것이 바람직할 수 있으나, 기준영상과 타겟영상의 가장자리가 겹쳐지지 않는 경우를 방지하기 위해 기준영상과 타겟영상이 일정 부분 공통의 영역을 포함하도록 UHD 카메라(100)들의 위치에 따라 영상들이 획득되는 것이 바람직하다. Further, as shown in Figs. 2A and 2B, a common region (V or H) formed by overlapping the reference image and the target image may be generated. According to the matching type, it may be preferable that the reference image and the target image are stitched without overlapping each other (i.e., the edge portions) without creating a common region. However, when the edges of the reference image and the target image overlap It is preferable that images are acquired according to the positions of the
즉, 복수의 UHD 카메라(100)를 통해 전체 영역을 촬영하기 위해 상기 전체 영역을 복수 개로 분할하여, 서로 다른 각각의 영역을 촬영할 수 있도록 설정되며, 상기 복수의 UHD 카메라(100)로부터 입력되는 복수의 UHD 동영상을 스티칭하여 더 넓은 범위를 커버링하는 UHD 동영상을 생성하기 위해서는 정확하게 분할된 영역만을 촬영할 수 있도록 설정되는 것이 효율적이지만, 이때, 상기 복수의 UHD 카메라(100)사이에서 촬영되지 않는 부분이 발생할 수 있으므로, 상기 복수의 UHD 카메라(100)들은 일정부분 중복된 영역(즉, 촬영된 영상의 가장자리 부분이 동일한 영역)을 촬영되도록 설정되어, 상기 중복된 영역을 제거해 나가는 것이 바람직하다.That is, the entire area is divided into a plurality of areas for photographing the entire area through a plurality of
한편, 상기 매칭 타입에 관한 자세한 설명은 후술하기로 한다. 이하 본 발명의 일 실시예에 따른 동영상 스티칭 장치에 대해 설명하기로 한다.A detailed description of the matching type will be described later. Hereinafter, a moving image stitching apparatus according to an embodiment of the present invention will be described.
도 3은 본 발명의 일 실시예에 따른 동영상 스티칭 장치의 구성을 나타낸 블록도이다.3 is a block diagram illustrating the configuration of a moving image stitching apparatus according to an embodiment of the present invention.
도 3을 참조하면, 본 발명의 하나의 실시예에 따른 동영상 스티칭 장치(200)는 복수의 UHD 카메라(100)로부터 촬영된 동영상(UHD 동영상)을 저장하는 복수의 메모리(210), 상기 저장된 복수의 UHD 카메라(100)로부터 촬영된 동영상을 선택적으로 출력하는 멀티플렉서(220), 상기 복수의 UHD 카메라(100)로부터 촬영된 동영상을 선택적으로 출력함으로써, 스티칭된 동영상을 생성하도록 제어하는 스티칭 제어부(230), 보정부(240) 및 UHD 카메라 제어부(250)를 포함하여 구성된다.3, the moving
또한, 상기 동영상 스티칭 장치(200)는 복수의 UHD 카메라(100)로부터 스티칭에 필요한 복수의 동영상을 획득한다. 그리고 상기 복수의 UHD 카메라(100)는 동영상을 획득하는 방송용 카메라에 한정되지 않고 정지영상 또는 동영상을 획득하는 디지털 카메라 등과 같이 다양한 영상촬영장치로 구현될 수도 있다. 또한, 상기 동영상 스티칭 장치(200)는 복수의 UHD 카메라(100) 중에서 어느 하나의 UHD 카메라(100)로부터 기준영상을 획득하고, 나머지 하나의 UHD 카메라(100) 또는 복수의 UHD 카메라(100)로부터 타겟영상을 획득한다.In addition, the moving
메모리(210)는 복수의 UHD 카메라(100)로부터 획득한 영상들을 저장한다. 각 UHD 카메라(100)가 획득한 각각의 영상을 저장하기 위해 복수 개의 메모리들(210)이 구비될 수 있다.The
멀티플렉서(220)는 메모리(210)로부터 영상을 입력 받는다. 멀티플렉서(220)가 어떤 영상을 어떤 메모리에서 얼마의 양만큼 어느 시각에 입력받을 것인지는 스티칭 제어부(230)에 제어에 의해 결정된다. 멀티플렉서는 메모리 어드레싱을 통해 영상들이 저장되어 있는 메모리를 읽어서 저장된 일정 양의 픽셀 정보를 읽어 들인다. 그리고 상기 읽혀진 픽셀 정보의 조합에 의해 스티치된 영상이 생성될 수 있다.The
또한, 스티칭 제어부(230)는 상기 촬영된 동영상 중에서 인접한 카메라로부터의 동영상 간에 중복된 부분을 검출하는 중복 동영상 추출부(231) 및 상기 검출한 중복된 부분을 고려하여 상기 인접한 복수의 동영상을 중 하나를 이동시켜서 불연속적인 부분이 없이 스티칭되도록 인접한 동영상을 서로 동기화시키는 동기화부(232)를 더 포함하여 구성된다. In addition, the stitching controller 230 may include a duplicate moving
스티칭 제어부(230)는 중복 동영상 추출부(231) 및 동기화부(232)를 통해, 메모리에 저장된 영상들 중에서 어느 하나의 영상을 기준영상으로 선택하고, 선택된 기준영상에 타겟영상을 매칭한다. 영상들이 서로 스티치 되기 위해서는 각 영상들이 포함하는 공통의 UHD 영상을 찾아 서로 공통된 촬영 영역이 겹쳐지도록 기준영상에 타겟영상을 이어 붙이는 것이 바람직하다. 따라서 영상 매칭은 스티칭에 앞서 공통된 촬영 영역을 찾기 위해 수행된다.The stitching controller 230 selects one of the images stored in the memory as a reference image and matches the selected reference image with the target image through the redundant moving
즉 스티칭 제어부(230)는 기준영상의 픽셀과 타겟영상의 픽셀을 서로 비교함으로써, 서로 공통된 피사체 영역을 촬영한 픽셀들을 기준영상 및 타겟영상에서 각각 찾아낸다. 기준영상과 타겟영상이 피사체에 대해 서로 공통된 촬영 영역을 포함하도록, UHD 카메라(100)는 피사체를 향하여 제어되는 것이 바람직하다. 또한, 서로 동일한 품질을 갖는 기준영상과 타겟영상이 획득되도록, UHD 카메라(100)는 피사체를 향하여 제어되는 것이 더욱 바람직하다.That is, the stitching controller 230 compares the pixels of the reference image and the pixels of the target image with each other, and finds the pixels that have photographed a common object area in the reference image and the target image, respectively. It is preferable that the
또한, 상기 스티칭 제어부(232)는 상기 중복 동영상 추출부(231)를 통해 중복된 부분을 검출한 결과, 인접한 UHD 카메라(100)로부터 입력된 인접 동영상 간에 중복된 부분이 검출되지 않는 경우(즉, 중복된 부분이 발견되지 않는 것으로 판단된 경우), 인접한 카메라에서 특징점을 추출하고, 이를 매칭하거나, 인접한 영상간의 유사도를 산출하여 가장 유사하다고 판단되는 부분의 범위를 추출하여 동기화신호를 추정한다. 이를 통해 인접한 UHD 카메라(100) 사이에 서로 중복되는 동영상이 존재하지 않아도, 가장 근접하게 동영상을 스티칭 하도록 제어할 수 있다.If the overlapping part is not detected between neighboring moving images input from the
또한, 상기 스티칭 제어부(230)는 복수의 동영상을 신속하고 효율적으로 스티칭하기 위해 상기 복수의 UHD 카메라(100)에서 입력된 동영상을 다운샘플링한 다음 중복된 부분을 추적(검출)한다. 이후, 상기 스티칭 제어부(230)는 상기 추적한 부분에 대해서 다시 다운샘플링 정도를 줄여서 해당 동영상 부분에서 더 세밀하게 중복된 부분을 추적하고, 최종적으로 원래의 다운샘플링을 수행하지 않은 상태에서 세밀하게 중복된 부분을 추적한다. 이를 통해 상기 인접한 동영상간의 중복된 부분을 추적하는 속도를 현저하게 향상시킬 수 있다.In addition, the stitching controller 230 down-samples the moving image input from the plurality of
또한, 공통된 촬영 영역 중에서 중복된 영역이 스티치된 영상 상에서 삭제되는 것을 고려하면, 스티칭이 완성된 영상의 크기가 기준영상 및 타겟영상들의 합과 동일하게 형성되기 위해 기본 크기보다 큰 기준영상 및 타겟영상들의 신호를 UHD 카메라(100)로부터 획득하여 메모리에 저장하는 것이 바람직하다.In addition, considering that the overlapped area in the common imaging area is deleted on the stitched image, in order to form the stitched image with the size equal to the sum of the reference image and the target images, It is desirable to acquire the signal of the
멀티플렉서(220)는 영상들이 저장된 메모리(220)로부터 일정 영역에 저장된 영상을 입력받아 읽어들인다. 여기서 멀티플렉서(220)가 읽어들이는 일정 영역에 저장된 영상들의 합은 스티치된 영상을 형성할 수 있다. 멀티플렉서(220)가 읽어들이는 영상들의 부분과 읽어들이는 시각을 제어함으로써 실시간으로 스티치된 영상이 생성되고, 생성된 영상이 바로 디스플레이를 통해 출력될 수 있다.The
스티칭 제어부(230)는 좌표값 (0,0)의 타겟영상의 기준픽셀(reference pixel)이 스티치된 영상에서 갖게 될 좌표값을 Δx 및 Δy로 상기 매칭 결과에 기초하여 확정할 수 있다. 그리고 스티칭 제어부(230)는 상기 좌표값을 이용하여 메모리(210)의 일정 영역에 저장된 영상이 일정 시각에 멀티플렉서(220)에 의해 읽혀짐으로써 스티치된 영상이 출력되도록 멀티플렉서(220)를 제어한다.The stitching controller 230 can determine the coordinate values to be obtained in the stitched image of the reference pixel of the target image of the coordinate value (0, 0) as? X and? Y based on the matching result. The stitching controller 230 controls the
스티칭 제어부(230)가 확정하는 좌표값은, 좌표값 (0, 0)을 갖는 타겟영상의 기준픽셀을 기준으로 x축에서의 증가 또는 감소, y축에서의 증가 또는 감소로 표시될 수 있다.이에 대한 자세한 설명은 후술하기로 한다.The coordinate value determined by the stitching control unit 230 can be represented by an increase or decrease in the x axis and an increase or decrease in the y axis based on the reference pixel of the target image having the coordinate value (0, 0). A detailed description thereof will be described later.
보정부(240)는 상기 스티칭 제어부(230)를 통해 상기 인접한 복수의 동영상을 동기화한 결과, 상기 인접한 동영상 중에서 특정 동영상의 상측, 하측, 좌측, 우측 또는 이들의 조합에서 액티브 픽셀이 존재하지 않아 공백이 생기는 경우, 비활성영역의 픽셀로 채우거나, 최외곽의 픽셀로 채우거나, 또는 최외곽의 픽셀들 중에서 소정의 픽셀들을 이용하여 인터폴레이션한 픽셀로 채워, 상기 기준 영상과 타겟영상의 매칭 타입에 따라 스티칭된 영상에서 나타날 수 있는 빈 픽셀을 보완한다. As a result of synchronizing the adjacent moving images through the stitching controller 230, the correcting
매칭 타입은 기준영상과 타겟영상이 겹쳐지는 형태에 따른 분류될 수 있으며, 매칭 타입에 대한 자세한 설명은 후술하기로 한다. 한편, 상기 빈 픽셀은 기준영상 또는 타겟영상에서 픽셀이 존재하지 않는 영역을 뜻한다.The matching type can be classified according to the type in which the reference image and the target image overlap each other, and a detailed description of the matching type will be described later. On the other hand, the empty pixel means a region where no pixel exists in the reference image or the target image.
또한, UHD 카메라 제어부(250)는 상기 스티칭 제어부(230)의 동기화부(232)에서 추출한 동기화 정보에 따라 상기 인접영상들 중 적어도 하나 이상에 해당하는 UHD 카메라(100)의 촬영위치를 조정하도록 제어한다.The UHD
UHD 카메라 제어부(250)는 좌표값 Δx 및 Δy에 기초하여 기준영상 및 타겟영상의 촬영 영역이 조정되도록 복수의 UHD 카메라(100)를 제어할 수 있다. 즉 UHD 카메라 제어부(250)는 메모리(210)로부터 직접 좌표값 Δx 및 Δy를 확정하거나, 스티칭 제어부(230)가 확정한 좌표값 Δx 및 Δy를 이용하여 복수의 UHD 카메라(100)를 제어할 수 있다. 여기서 좌표값 Δx 및 Δy가 모두 0이 아닌 경우, UHD 카메라 제어부(250)는 복수의 UHD 카메라(100)를 제어한다. 제어는 UHD 카메라(100)의 좌표값 Δx 및 Δy가 모두 0이 되도록 복수의 UHD 카메라(100)에 대한 위치 또는 렌즈 배율을 제어할 수 있다. 여기서 좌표값 Δx 및 Δy가 모두 0이 되는 매칭 타입은 기준영상의 에지와 타겟영상의 에지가 정확하게 일치되는 경우이다.The UHD
또한, 상기 UHD 카메라 제어부(250)를 통해 복수의 UHD 카메라(100)의 촬영위치가 조정되어, 상기 복수의 UHD 카메라(100)에 대한 촬영 영역의 변화를 감지할 수 있으며, 상기 감지결과 촬영영역이 변동된 경우, 상기 인접한 동영상들을 다시 매칭하여 동기화하고 스티칭을 수행한다.In addition, the photographing positions of the plurality of
또한, 동영상 스티칭 장치(200)는 별도의 메모리(미도시)를 더 포함할 수 있으며, 상기 멀티플렉서(220)는 상기 별도의 메모리에서 읽은 영상을 조합하여 스티치된 영상을 생성하기 위해 상기 별도의 메모리(260)에 저장할 수 있다. 저장된 영상은 보정 후 출력된다.In addition, the moving
한편, 동영상 매칭은 인접한 동영상에 대해서 수평라인, 수직라인 또는 이들의 조합에 대해서 코릴레이션(correlation)을 구한 다음에 코릴레이션이 가장 유사한 부분을 매칭되는 영역으로 판단하는 방법을 더 제안하고자 한다. 상기 코릴레이션을 측정하는 것은 데시메이션된 영상에 대해서 수행하여도 무방하다. 특징점을 이용하는 방법 이외에도 코릴레이션을 이용하여 인접한 영상 사이에서 혹은 해당 영상의 내부에서도 계산하여 유사한 영역을 매칭할 수 있다.On the other hand, video matching is a method of determining a correlation between a horizontal line, a vertical line, or a combination thereof, and determining a portion where correlation is most similar to a matching region. The correlations may be measured on a decimated image. In addition to using the feature points, correlation can be used to calculate similar areas between adjacent images or within the corresponding images.
동영상의 매칭과 동기화는 피드백을 통해서 점점 더욱더 정확한 동기화 좌표를 얻도록 순환적으로 매칭, 동기화를 반복하도록 구성하는 것이 바람직하다.The matching and synchronization of moving images are preferably configured so as to repeatedly perform matching and synchronization cyclically to obtain more accurate synchronization coordinates through feedback.
도 4는 본 발명의 일 실시예에 따른 영상 스티칭을 수행하는 절차를 나타낸 흐름도이다.4 is a flowchart illustrating a procedure for performing image stitching according to an embodiment of the present invention.
도 4를 참조하면, 메모리(210)는 복수의 UHD 카메라(100)에 의해 획득된 영상들을 저장한다(S100).Referring to FIG. 4, the
다음으로 스티칭 제어부(230)는 저장된 영상들을 이용하여 스티치된 영상 생성에 요구되는 공통의 촬영 영역을 찾기 위해 영상들 중에서 기준영상(reference image)에 대해 타겟영상(target image)을 매칭한다(S200).Next, the stitching controller 230 uses the stored images to match the target image with respect to the reference image among the images to search for a common shooting region required for creating the stitched image (S200) .
다음으로 스티칭 제어부(230)는 좌표값 (0, 0)의 타겟영상의 기준픽셀이 스티치될 영상에서 갖게 될 좌표값을 Δx 및 Δy로 매칭 결과에 기초하여 확정한다(S300).Next, the stitching controller 230 determines the coordinate values that the reference pixel of the target image of the coordinate value (0, 0) will have in the image to be stitched based on the matching result as? X and? Y (S300).
한편, 상기 스티칭을 수행하는 다음의 절차는, 도 5 및 도 6을 참조하여 기준영상 및 타겟영상에 대한 매칭영역과 공통의 촬영영역을 먼저 설명하고, 이어서 설명하도록 한다. 5 and 6, the matching area and the common photographing area for the reference image and the target image will be described first and then the description will be made.
도 5는 기준영상 및 타겟영상에서 매칭 영역을 설명하기 위한 예시도이다.5 is an exemplary diagram illustrating a matching area in a reference image and a target image.
도 5를 참조하면, 매칭 제어부(230)는 영상의 가장자리 영역(M1, M2)에 있는 픽셀들에 대해서 매칭을 수행할 수 있다. 가장자리 영역은 각 영상에서 공통된 영역이 나타날 수 있는 촬영 영역을 말한다. 예를 들어 도 5에서 기준영상(P1)에서 가장자리 영역은, 우측의 타겟영상(P2)이 스티치되는 경우를 고려하면, M1으로 표시되는 영역이다. 그리고 타겟영상(P2)에서 가장자리 영역은 좌측의 기준영상(P1)이 스티치되는 경우를 고려하면, M2로 표시되는 영역이다.Referring to FIG. 5, the matching controller 230 may perform matching on the pixels in the edge areas M 1 and M 2 of the image. The edge area refers to a shooting area where a common area can appear in each image. For example, in FIG. 5, the edge region in the reference image P 1 is an area indicated by M 1 in consideration of the case where the right target image P 2 is stitched. The edge region in the target image P 2 is an area represented by M 2 in consideration of the case where the left reference image P 1 is stitched.
도 6은 매칭 타입에 따른 기준 영상 및 타겟영상 상에서의 공통의 촬영 영역을 나타내는 예시도이다.6 is an exemplary diagram showing a common imaging region on a reference image and a target image according to a matching type.
상기 도 4에 나타낸 S200 단계의 결과는 도 6에 개시된 매칭 타입들 중에서 어느 하나의 타입에 해당될 수 있다. 도 6의 (a)는 기준영상(P1)에 대해서 타겟영상(P2)의 상대적 위치를 나타내는 x축 좌표 및 y축 좌표값이 모두 변경된 경우를 나타낸다.The result of step S200 shown in FIG. 4 may correspond to any one of the matching types shown in FIG. 6A shows a case where both the x-axis coordinate and the y-axis coordinate value indicating the relative position of the target image P 2 with respect to the reference image P 1 are changed.
UHD 동영상을 예를 들어 설명하기로 한다. 4K의 영상은 3840x2160의 크기를 갖는다. 즉 4K의 영상은 가로와 세로의 곱으로 표시되는 전체 3840x2160개의 픽셀을 포함한다. 또는 4K의 영상이 표시하기 위해서 하나의 프레임 동기신호(혹은 수직동기 신호)에 3840개의 픽셀이 연속해서 입력되는 라인 2160개가 수평동기화 신호에 맞추어 입력된다. 여기서 하나의 프레임에 대해서 수직동기화 신호 1개에 수평동기화 신호는 2160개가 연속적으로 입력되고, 각 수평동기화 신호 사이에는 3840개의 픽셀이 입력되도록 형성된다.An example of a UHD video will be described. The image of 4K has a size of 3840x2160. That is, an image of 4K includes a total of 3840x2160 pixels, which is expressed as a product of a width and a length. In order to display a 4K image, 2160 lines in which 3840 pixels are successively inputted to one frame synchronizing signal (or vertical synchronizing signal) are inputted according to the horizontal synchronizing signal. Here, 2,160 horizontal synchronizing signals are continuously input to one vertical synchronizing signal for one frame, and 3840 pixels are inputted between each horizontal synchronizing signals.
도 6의 (a)에서는 타겟영상의 시작 픽셀의 좌표값이 Δx 및 Δy 만큼 변경되었다. 즉 이는 타겟영상에 기준영상을 스티치하기 위해서는 타겟영상의 (0, 0) 좌표의 픽셀의 위치가 Δx 및 Δy 만큼 변경되어 스티치 되어야 함을 의미한다. 따라서 타겟영상의 (0, 0) 좌표의 픽셀은 스티치된 영상에서 (3840-Δx, Δy)의 좌표에 위치하게 된다.In Fig. 6A, the coordinate values of the starting pixel of the target image are changed by? X and? Y. That is, in order to stitch the reference image on the target image, it means that the position of the pixel of the (0, 0) coordinate of the target image should be changed by Δx and Δy and stitched. Therefore, the pixels of the (0, 0) coordinates of the target image are located at the coordinates of (3840-Δx, Δy) in the stitched image.
도 6의 (b)는, Δx가 일정 값을 갖고 Δy=0 임을 나타낸다. 즉 이는 타겟영상에 기준영상을 스티치하기 위해서는 타겟영상의 위치가 Δx 만큼 변경되어야 함을 의미한다. 따라서 타겟영상의 (0, 0) 좌표의 픽셀은 스티치된 영상에서 (3839-Δx, 0)의 좌표에 위치하게 된다.6 (b) shows that? X has a constant value and? Y = 0. That is, in order to stitch the reference image on the target image, it means that the position of the target image must be changed by? X. Therefore, the pixels of the (0, 0) coordinates of the target image are located at the coordinates of (3839-Δx, 0) in the stitched image.
도 6의 (c)는, Δx=0 및 Δy=0을 나타낸다. 즉 이는 기준영상에 대해서 타겟영상의 위치가 변경되지 않고도 바로 스티칭이 수행될 수 있음을 의미한다. 따라서 타겟영상의 (0, 0) 좌표의 픽셀은 스티치된 영상에서 (3840, 0)의 좌표에 위치하게 된다.6 (c) shows? X = 0 and? Y = 0. That is, it means that the stitching can be performed immediately without changing the position of the target image with respect to the reference image. Therefore, the pixels of the (0, 0) coordinates of the target image are located at the coordinates of (3840, 0) in the stitched image.
도 6의 (d)는 Δx 및 Δy가 존재하지 않는 경우이다. 상기 설명하였듯이 영상 스티칭을 위해서는 복수의 UHD 카메라(100)가 공통의 촬영 영역이 형성되도록 영상들 획득하는 것이 바람직하다. 그럼에도 불구하고 도 6의 (d)와 같은 영상이 획득된 경우에는 기준영상(P1)과 타겟영상(P2) 사이의 빈 픽셀을 보정하는 방법에 의해 처리될 수 있다.FIG. 6D shows a case where? X and? Y do not exist. As described above, for image stitching, it is preferable to acquire images such that a plurality of
이하에서는 도 4에 나타낸 동영상 스티칭 과정을 수행하는 절차를 이어서 설명하도록 한다. Hereinafter, a procedure for performing the moving image stitching process shown in FIG. 4 will be described.
상기 도 4에 나타낸 S300 단계에서 좌표값을 확정한 경우, 멀티플렉서(220)는 영상들이 저장된 메모리로부터 UHD 동영상을 선택적으로 입력받는다(S400).If the coordinates are determined in step S300 shown in FIG. 4, the
멀티플렉서는(220) 실시간으로 메모리(210)에 저장된 영상들을 읽고, 이를 바로 출력하거나 또는 별도의 메모리에 다시 저장할 수 있다. 그리고 별도의 메모리에 저장된 영상이 디스플레이 장치로 출력된다. 멀티플렉서(220)가 저장된 영상을 읽기 위해 참조하는 메모리의 번지 및 읽는 시각은 스티칭 제어부(230)에 의해 제어될 수 있다.The
다음으로 스티칭 제어부(230)는 좌표값을 이용하여 일정 영역에 저장된 영상이 일정 시각에 읽혀짐으로써 스티치된 영상이 출력되도록 멀티플렉서(220)의 입력을 제어한다(S500). 즉 스티칭 제어부(230)는 Δx 및 Δy로 확정된 좌표값을 이용하여, 멀티플렉서(220)가 메모리에 저장된 타겟영상을 읽기 위해 참조해야 하는 번지를 메모리 어드레싱을 통해 확정하여 멀티플렉서(220)에 전달한다.Next, the stitching controller 230 controls the input of the
한편 본 발명의 영상 스티칭 방법은, 기준 영상에 타겟 영상이 매치되는 매칭 타입에 따라 스티치된 영상에서 나타날 수 있는 빈 픽셀(blank pixel)을 보정하는 단계를 더 포함할 수 있다(S600).Meanwhile, the image stitching method of the present invention may further include a step of correcting a blank pixel that may appear in a stitched image according to a matching type in which a target image matches a reference image (S600).
보정부(240)에 따른 빈 픽셀에 대한 보완은 다양하게 수행될 수 있다. 그 중에서 하나의 방법은 빈 픽셀 및 빈 픽셀이 포함된 행 및 열을 절단하는 것이다. 상기 절단에 의해 스티치된 영상의 크기는 축소될 수 있다. 다른 하나의 방법은 빈 픽셀에 보간에 의해 픽셀 값을 채워 넣는 것이다. 보간에 의해 채워지는 픽셀 값을 생성하기 위해, 빈 픽셀 주위의 주변 픽셀의 값이 이용하거나 주변 픽셀의 평균값이 이용될 수 있다. 상기 2가지 방법을 혼합하여 빈 픽셀이 일정 개수 이하인 경우 상기 보간의 방법을 이용하고, 일정 개수 이상인 경우 상기 절단의 방법이 이용될 수 있다.The complement of empty pixels according to the
도 7은 본 발명의 또 다른 일 실시예에 따른 영상 스티칭 방법의 흐름도이다.7 is a flowchart of an image stitching method according to another embodiment of the present invention.
본 발명의 또 다른 일 실시예에 따른 영상 스티칭 방법에 따라, 매칭하는 단계는, 기준 영상 및 타겟영상에서 특징점들을 추출하고, 추출된 특징점들을 서로 매칭하거나, 인접한 영상간의 유사도를 산출하여 가장 유사하다고 판단되는 부분을 추출하고, 추출된 부분을 서로 매칭하는 단계를 포함할 수 있다.According to the image stitching method according to another embodiment of the present invention, the matching step extracts the feature points from the reference image and the target image, matches the extracted feature points with each other, or calculates the similarity between the adjacent images, Extracting a portion to be judged, and matching the extracted portions with each other.
스티칭 제어부(230)는 메모리(210)에 저장된 기준영상 및 타겟영상에서 공통의 촬영 영역이 발견되었는지 판단한다(S201). 다음으로 공통의 촬영 영역이 발견된 경우 단계 S300이 이어지고, 그렇지 않은 경우 스티칭 제어부(230)는 특징점 추출 또는 유사도 산출을 이용하여 매칭을 수행한다(S202). 여기서 특징점이란 인접 이미지를 결합하기 위해 동일 지점을 확인하기 위한 동일 객체 상의 특정 지점을 의미한다.The stitching controller 230 determines whether a common imaging area is found in the reference image and the target image stored in the memory 210 (S201). Next, if a common shooting region is found, step S300 continues. Otherwise, the stitching controller 230 performs matching using the feature point extraction or similarity calculation (S202). Here, the feature point means a specific point on the same object for identifying the same point to combine the adjacent images.
선택적으로 스티칭 제어부(230)는 인접한 영상간의 유사도를 산출하여 가장 유사하다고 판단되는 부분을 추출하여 수직동기화 및 수평동기화 신호를 추정할 수 있다. 즉 기준영상과 타겟영상이 겹쳐질 수 있는 경계에 인접하는 영상들로서 기준영상에 포함된 부분과 유사한 타겟영상에 포함된 부분의 유사도를 산출하고, 이 중에서 가장 유사하다고 판단되는 부분을 추출하고, 유사하다고 판단되는 부분을 서로 매칭할 수 있다. 이로써 수직동기화 및 수평동기화 신호 또는 상기 신호들에 형성되는 픽셀의 값이 추정될 수 있다.Alternatively, the stitching controller 230 may calculate the degree of similarity between adjacent images to extract the most similar portion, and estimate the vertical synchronization and the horizontal synchronization signal. In other words, the similarity of the part of the target image, which is similar to the part included in the reference image, as the images adjacent to the boundary where the reference image and the target image can be overlapped, is calculated, Can be matched with each other. Whereby the values of the pixels formed in the vertical synchronization and horizontal synchronization signals or in the signals can be estimated.
도 8은 본 발명의 또 다른 본 발명의 일 실시예에 따른 영상 스티칭 방법의 흐름도이다.8 is a flowchart of an image stitching method according to another embodiment of the present invention.
본 발명의 또 다른 일 실시예에 따른 영상 스티칭 방법에 따라, 매칭하는 단계에서, 영상의 에지 영역에 있는 픽셀들에 대해서 매칭이 수행될 수 있다. 또한 영상들의 신호가 1/2n으로 다운샘플링되어 매칭이 수행될 수 있다(S203). 이 경우 매칭 결과에 따라 매칭되는 픽셀이 존재하지 않거나(S205), 더 정확한 매칭 결과를 얻기 위해 n을 하나씩 줄여가면서 단계적으로 재매칭이 수행될 수 있다. 예를 들어 하나의 영상을 형성하는 전체 수직동기화 신호 및 수평동기화 신호에 대해서 전체 동기화 신호의 1/64을 모집단으로 하여 매칭이 수행되고, 다음 단계에서는 1/32, 1/16 및 1/8 순서로 모집단을 크게 하면서 매칭이 수행될 수 있다. 상기 단계별 매칭은 전체 동기화 신호의 수에 해당하는 1/1까지 계속될 수 있다. 매칭에 의해 공통의 촬영 영역이 발견되면 그 시점에서 매칭이 종료된다.According to the image stitching method according to another embodiment of the present invention, in the matching step, matching can be performed on the pixels in the edge region of the image. Also, the signals of the images are downsampled to 1/2 n , and matching can be performed (S203). In this case, there is no matching pixel according to the matching result (S205), or step-wise re-matching may be performed while decreasing n by one in order to obtain a more accurate matching result. For example, 1/64 of the total synchronization signal is matched to the entire vertical synchronization signal and the horizontal synchronization signal forming one image, and in the next step, 1/32, 1/16, and 1/8 The matching can be performed while increasing the population. The step-by-step matching may be continued up to 1/1 corresponding to the total number of synchronization signals. When a common shooting region is found by matching, the matching ends at that point.
도 9는 본 발명의 또 다른 일 실시예에 따른 영상 스티칭 방법의 흐름도이다.9 is a flowchart of an image stitching method according to another embodiment of the present invention.
본 발명의 또 다른 스티칭 방법은, 좌표값 Δx 및 Δy에 기초하여 기준영상 및 타겟영상의 촬영 영역이 조정되도록 복수의 UHD 카메라(100)를 제어하는 단계를 더 포함할 수 있다(S700). 즉 매칭 타입에 따라 좌표값 Δx 및 Δy가 모두 0이 아닌 경우, UHD 카메라 제어부(250)는 스티칭 제어부(230)가 확정한 좌표값 Δx 및 Δy에 기초하거나 직접 좌표값 Δx 및 Δy를 확정하고, 이를 이용하여 복수의 UHD 카메라(100)가 획득하는 영상에서 공통의 촬영 영역이 조종되도록 UHD 카메라(100)를 제어한다.Still another stitching method of the present invention may further include a step of controlling the plurality of
도 10은 본 발명의 또 다른 일 실시예에 따른 영상 스티칭 방법의 흐름도이다.10 is a flowchart of an image stitching method according to another embodiment of the present invention.
본 발명의 또 다른 일 실시예에 따른 영상 스티칭 방법은, 촬영 영역의 변동을 감지하는 단계(S800)를 더 포함할 수 있다. 그리고 상기 영상 스티칭 방법은, 상기 변동이 감지되었는지 판단하여(S801), 촬영 영역의 변동이 감지된 경우 중단되었던 매칭에 대해 다시 매칭하는 단계(S802)를 더 포함할 수 있다.The image stitching method according to still another embodiment of the present invention may further include a step S800 of detecting a variation in the photographing area. The image stitching method may further include determining whether the variation is detected (S801), and matching the matching that was interrupted when the variation of the photographing area is detected (S802).
이상 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention as defined in the appended claims. It can be understood that it is possible.
100: UHD 카메라,
150: IP 변환기
200: 동영상 스티칭 장치,
210: 메모리
220: 멀티플렉서,
230: 스티칭 제어부
231: 중복 동영상 추출부,
232: 동기화부
240: 보정부,
250: UHD 카메라 제어부
300: 디스플레이,
400: 방송 송출기
500: 방송수신단말100: UHD camera, 150: IP converter
200: video stitching apparatus, 210: memory
220: multiplexer, 230: stitching control section
231: duplicate moving picture extracting unit, 232: synchronization unit
240: Correction section, 250: UHD camera control section
300: display, 400: broadcast transmitter
500: Broadcast receiving terminal
Claims (14)
상기 메모리에 저장된 동영상을 선택적으로 출력하는 멀티플렉서; 및
상기 메모리에 저장된 동영상을 선택적으로 출력함으로써, 스티칭된 동영상을 생성하도록 제어하는 스티칭 제어부를 포함하는 것을 특징으로 하는 동영상 스티칭 장치.A memory for storing moving images photographed from a plurality of cameras;
A multiplexer for selectively outputting moving pictures stored in the memory; And
And a stitching control unit for selectively outputting the moving image stored in the memory to generate a stitched moving image.
상기 스티칭 제어부는,
상기 메모리에 저장된 동영상 중에서 인접한 카메라로부터의 동영상 간에 중복된 부분을 검출하는 중복 동영상 추출부; 및
상기 중복된 부분을 고려하여 상기 인접한 카메라로부터의 동영상 중 하나를 이동시켜서 불연속적인 부분이 없이 스티칭되도록 인접한 동영상을 서로 동기화시키는 동기화부를 더 포함하는 것을 특징으로 하는 동영상 스티칭 장치.The method according to claim 1,
The stitching control unit,
A duplicated moving image extracting unit for detecting a duplicated portion between moving images from an adjacent camera among moving images stored in the memory; And
Further comprising a synchronization unit for synchronizing neighboring moving images so that one of the moving images from the adjacent camera is stitched without discontinuous parts considering the overlapping part.
상기 동영상 스티칭 장치는,
상기 인접한 카메라로부터의 동영상을 동기화한 결과, 동기화된 인접한 동영상 중에서 특정 동영상의 상측, 하측, 좌측, 우측 또는 이들의 조합에서 액티브 픽셀이 존재하지 않아 공백이 생기는 경우, 비활성영역의 픽셀로 채우거나, 최외곽의 픽셀로 채우거나, 또는 최외곽의 픽셀들 중에서 소정의 픽셀들을 이용하여 인터폴레이션한 픽셀로 채우는 보정부를 더 포함하는 것을 특징으로 하는 동영상 스티칭 장치.The method according to claim 1,
The video stitching apparatus includes:
When a blank is generated due to the absence of an active pixel on the upper side, the lower side, the left side, the right side, or the combination of the specific moving images among the synchronized adjacent moving images as a result of synchronizing the moving image from the adjacent camera, Further comprising a correction unit that fills the pixel with the outermost pixel or fills the pixel with the interpolated pixel using the predetermined pixels among the outermost pixels.
상기 스티칭 제어부는,
상기 복수의 카메라로부터 입력된 인접 동영상 간에 중복된 부분이 발견되지 않은 것으로 판단될 경우, 인접한 카메라에서 특징점을 추출하고, 이를 매칭하거나, 인접한 영상간의 유사도를 산출하여 가장 유사하다고 판단되는 부분의 범위를 추출하여 동기화신호를 추정함으로써, 인접한 카메라 사이에 서로 중복되는 동영상이 존재하지 않아도, 가장 근접하게 동영상을 스티칭하도록 제어하는 것을 포함하는 것을 특징으로 하는 동영상 스티칭 장치.The method according to claim 1,
The stitching control unit,
If it is determined that no overlapping part between neighboring moving images input from the plurality of cameras is found, the neighboring camera extracts the minutiae from the neighboring cameras and calculates the similarity between adjacent images or calculates the range of the most similar part And estimating a synchronization signal so as to stitch the moving image closest to each other even if there is no overlapping moving image between adjacent cameras.
상기 스티칭 제어부는,
상기 복수의 카메라에서 입력된 동영상을 다운샘플링한 다음 중복된 부분을 추적하고, 이어서 상기 추적한 부분에 대해서 다시 상기 다운샘플링 정도를 줄여서 해당 동영상 부분에서 더 세밀하게 중복된 부분을 추적하고, 최종적으로 원래의 다운샘플링을 수행하지 않은 상태에서 세밀하게 중복된 부분을 추적함으로써, 상기 중복된 부분을 추적하는 속도를 향상시키는 것을 특징으로 하는 동영상 스티칭 장치.The method according to claim 1,
The stitching control unit,
Downsampling the moving image input from the plurality of cameras and then tracking the overlapping portion and then reducing the degree of downsampling with respect to the tracked portion so as to more closely track overlapping portions in the moving image portion, Wherein the speed of tracking the overlapping portion is improved by tracking the fine overlapping portion without performing the original downsampling.
상기 동영상 스티칭 장치는,
상기 동기화부에서 추출한 동기화 정보에 따라 상기 인접영상들 중 적어도 하나 이상에 해당하는 카메라의 촬영위치를 조정하도록 제어하는 카메라 제어부를 더 포함하는 것을 특징으로 하는 동영상 스티칭 장치.The method of claim 2,
The video stitching apparatus includes:
Further comprising a camera controller for controlling the photographing position of the camera corresponding to at least one of the adjacent images according to the synchronization information extracted by the synchronization unit.
상기 스티칭 제어부는,
상기 복수의 각 카메라에 대한 촬영영역의 변화를 감지하고, 상기 촬영영역이 변동된 경우, 상기 인접한 동영상들을 다시 매칭하여 동기화하고 스티칭을 수행하는 것을 특징으로 하는 동영상 스티칭 장치.The method according to claim 1,
The stitching control unit,
Wherein the control unit senses a change in the shooting area of each of the plurality of cameras and synchronizes and synchronizes the adjacent moving images when the shooting area is changed.
상기 스티칭은,
상기 복수의 카메라에서 입력된 인접한 동영상들을 스티칭하여 방송이나 유무선 네트워크로 전송하거나, 상기 복수의 카메라에서 입력된 동영상들을 방송이나 유무선 네트워크를 통해서 원격으로 송신하여 원격에서 스티칭을 수행하도록 하거나, 또는 이들의 조합을 수행하는 것을 특징으로 하는 영상 스티칭 장치.The method according to claim 1,
In the stitching,
Stitching adjacent moving images input from the plurality of cameras and transmitting them to a broadcast, a wired or wireless network, or remotely stitching moving images inputted from the plurality of cameras through a broadcast or wired / wireless network, Wherein the image stitching apparatus performs a combination of the image stitching apparatus and the image stitching apparatus.
멀티플렉서를 통해 저장된 상기 복수의 카메라로부터 촬영된 동영상을 선택적으로 출력하는 단계; 및
상기 복수의 카메라로부터 촬영된 동영상을 선택적으로 출력함으로써, 스티칭된 동영상을 생성하도록 제어하는 스티칭 제어 단계를 포함하는 것을 특징으로 하는 동영상 스티칭 방법.Storing moving pictures photographed from a plurality of cameras;
Selectively outputting moving images photographed from the plurality of cameras stored through a multiplexer; And
And a stitching control step of controlling so as to generate a stitched moving image by selectively outputting moving images photographed by the plurality of cameras.
상기 스티칭 제어 단계는,
상기 촬영된 동영상 중에서 인접한 카메라로부터의 동영상 간에 중복된 부분을 검출하는 중복 동영상 추출 단계;
상기 검출한 중복된 부분을 고려하여 상기 인접한 카메라로부터의 동영상 중 하나를 이동시켜서 불연속적인 부분이 없이 스티칭되도록 인접한 동영상을 서로 동기화시키는 동기화 단계; 및
상기 인접한 카메라로부터의 동영상을 동기화한 결과, 동기화된 인접한 동영상 중에서 특정 동영상의 상측, 하측, 좌측, 우측 또는 이들의 조합에서 액티브 픽셀이 존재하지 않아 공백이 생기는 경우, 비활성영역의 픽셀로 채우거나, 최외곽의 픽셀로 채우거나, 또는 최외곽의 픽셀들 중에서 소정의 픽셀들을 이용하여 인터폴레이션한 픽셀로 채우는 보정 단계를 포함하는 것을 특징으로 하는 동영상 스티칭 방법.The method of claim 9,
Wherein the stitching control step comprises:
A duplicated moving image extracting step of detecting a duplicated portion between moving images from an adjacent camera among the photographed moving images;
A synchronization step of moving one of the moving images from the adjacent camera in consideration of the detected overlapping part to synchronize adjacent moving images so that they are stitched without a discontinuous part; And
When a blank is generated due to the absence of an active pixel on the upper side, the lower side, the left side, the right side, or the combination of the specific moving images among the synchronized adjacent moving images as a result of synchronizing the moving image from the adjacent camera, And filling the pixel with the interpolated pixel by filling the pixel with the outermost pixel or using predetermined pixels among the outermost pixels.
상기 스티칭 제어 단계는,
상기 복수의 카메라로부터 입력된 인접 동영상 간에 중복된 부분이 발견되지 않은 것으로 판단될 경우, 인접한 카메라에서 특징점을 추출하고, 이를 매칭하거나, 인접한 영상간의 유사도를 산출하여 가장 유사하다고 판단되는 부분의 범위를 추출하여 동기화신호를 추정함으로써, 인접한 카메라 사이에 서로 중복되는 동영상이 존재하지 않아도, 가장 근접하게 동영상을 스티칭하도록 제어하는 것을 포함하는 것을 특징으로 하는 동영상 스티칭 방법.The method of claim 9,
Wherein the stitching control step comprises:
If it is determined that no overlapping part between neighboring moving images input from the plurality of cameras is found, the neighboring camera extracts the minutiae from the neighboring cameras and calculates the similarity between adjacent images or calculates the range of the most similar part And estimating a synchronization signal so as to stitch the moving image closest to each other even if there is no overlapping moving image between adjacent cameras.
상기 스티칭 제어 단계는,
상기 복수의 카메라에서 입력된 동영상을 다운샘플링한 다음 중복된 부분을 추적하고, 이어서 상기 추적한 부분에 대해서 다시 상기 다운샘플링 정도를 줄여서 해당 동영상 부분에서 더 세밀하게 중복된 부분을 추적하고, 최종적으로 원래의 다운샘플링을 수행하지 않은 상태에서 세밀하게 중복된 부분을 추적함으로써, 상기 중복된 부분을 추적하는 속도를 향상시키는 것을 특징으로 하는 동영상 스티칭 방법.The method of claim 9,
Wherein the stitching control step comprises:
Downsampling the moving image input from the plurality of cameras and then tracking the overlapping portion and then reducing the degree of downsampling with respect to the tracked portion so as to more closely track overlapping portions in the moving image portion, Wherein the speed of tracing the overlapping portions is improved by tracing fine overlapping portions without performing the original downsampling.
상기 스티칭 제어부는,
상기 복수의 각 카메라에 대한 촬영영역의 변화를 감지하고, 상기 촬영영역이 변동된 경우, 상기 인접한 동영상들을 다시 매칭하여 동기화하고 스티칭을 수행하는 것을 특징으로 하는 동영상 스티칭 방법.The method of claim 9,
The stitching control unit,
Detecting a change in the shooting area of each of the plurality of cameras, and synchronizing and synchronizing the adjacent moving images when the shooting area is changed.
상기 스티칭은,
상기 복수의 카메라에서 입력된 인접한 동영상들을 스티칭하여 방송이나 유무선 네트워크로 전송하거나, 상기 복수의 카메라에서 입력된 동영상들을 방송이나 유무선 네트워크를 통해서 원격으로 송신하여 원격에서 스티칭을 수행하도록 하거나, 또는 이들의 조합을 수행하는 것을 특징으로 하는 동영상 스티칭 방법.The method of claim 9,
In the stitching,
Stitching adjacent moving images input from the plurality of cameras and transmitting them to a broadcast, a wired or wireless network, or remotely stitching moving images inputted from the plurality of cameras through a broadcast or wired / wireless network, And the combination is performed.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170025498A KR101908952B1 (en) | 2017-02-27 | 2017-02-27 | Method and apparatus for stitching uhd videos |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170025498A KR101908952B1 (en) | 2017-02-27 | 2017-02-27 | Method and apparatus for stitching uhd videos |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180098850A true KR20180098850A (en) | 2018-09-05 |
| KR101908952B1 KR101908952B1 (en) | 2018-12-19 |
Family
ID=63594770
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170025498A KR101908952B1 (en) | 2017-02-27 | 2017-02-27 | Method and apparatus for stitching uhd videos |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101908952B1 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102132578B1 (en) * | 2020-03-31 | 2020-07-09 | 조명원 | Monitoring system and monitoring method using raceway lighting and camera |
| WO2021107708A1 (en) * | 2019-11-29 | 2021-06-03 | 주식회사 알파서클 | Device and method for broadcasting virtual reality images input from plurality of cameras in real time |
| CN114189730A (en) * | 2021-11-04 | 2022-03-15 | 北京淳中科技股份有限公司 | Video recording method, video playback method and device |
| KR102414723B1 (en) * | 2021-12-10 | 2022-06-29 | (주)진명아이앤씨 | Multi video streaming system |
| KR102505117B1 (en) * | 2022-08-11 | 2023-03-02 | (주)진명아이앤씨 | Multi-screen video streaming system optimized for remote streaming services |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111433809B (en) * | 2020-01-17 | 2021-08-27 | 上海亦我信息技术有限公司 | Method, device and system for generating travel route and space model |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3798747B2 (en) * | 2002-12-02 | 2006-07-19 | 中央電子株式会社 | Wide area photographing method and apparatus using a plurality of cameras |
| KR101347837B1 (en) * | 2011-11-17 | 2014-01-07 | 조영환 | Method for converting single 2D image into 3D image |
-
2017
- 2017-02-27 KR KR1020170025498A patent/KR101908952B1/en active IP Right Grant
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021107708A1 (en) * | 2019-11-29 | 2021-06-03 | 주식회사 알파서클 | Device and method for broadcasting virtual reality images input from plurality of cameras in real time |
| KR20210067155A (en) * | 2019-11-29 | 2021-06-08 | 주식회사 알파서클 | Apparaturs and method for real-time broardcasting of vr video filmed by several camera |
| KR102132578B1 (en) * | 2020-03-31 | 2020-07-09 | 조명원 | Monitoring system and monitoring method using raceway lighting and camera |
| CN114189730A (en) * | 2021-11-04 | 2022-03-15 | 北京淳中科技股份有限公司 | Video recording method, video playback method and device |
| CN114189730B (en) * | 2021-11-04 | 2023-12-19 | 北京淳中科技股份有限公司 | Video recording method, video playback method and device |
| KR102414723B1 (en) * | 2021-12-10 | 2022-06-29 | (주)진명아이앤씨 | Multi video streaming system |
| KR102505117B1 (en) * | 2022-08-11 | 2023-03-02 | (주)진명아이앤씨 | Multi-screen video streaming system optimized for remote streaming services |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101908952B1 (en) | 2018-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101908952B1 (en) | Method and apparatus for stitching uhd videos | |
| US20160307350A1 (en) | View synthesis - panorama | |
| US10205889B2 (en) | Method of replacing objects in a video stream and computer program | |
| KR102013978B1 (en) | Method and apparatus for fusion of images | |
| EP0701721B1 (en) | Stabilizing estimate of location of target region inferred from tracked multiple landmark regions of a video image | |
| US8441520B2 (en) | Primary and auxiliary image capture devcies for image processing and related methods | |
| JP2846830B2 (en) | How to convert 2D video to 3D video | |
| US6674461B1 (en) | Extended view morphing | |
| US20060120712A1 (en) | Method and apparatus for processing image | |
| KR20190000591A (en) | Application Processor including function of compensation of disparity, and digital photographing apparatus using the same | |
| KR101603791B1 (en) | Method for fabricating a panorama | |
| WO2020007320A1 (en) | Method for fusing multi-visual angle images, apparatus, computer device, and storage medium | |
| US20140098187A1 (en) | Image processing device, image processing method, and program | |
| US20110025828A1 (en) | Imaging apparatus and method for controlling the same | |
| US9131155B1 (en) | Digital video stabilization for multi-view systems | |
| US6809771B1 (en) | Data input apparatus having multiple lens unit | |
| US11223855B2 (en) | System and method of real-time video overlaying or superimposing display | |
| JP3798747B2 (en) | Wide area photographing method and apparatus using a plurality of cameras | |
| JPH08149356A (en) | Moving picture display device | |
| KR101603876B1 (en) | Method for fabricating a panorama | |
| KR20040064966A (en) | Panorama image processing system and method taken a photograph by cameras synchronized on GPS time | |
| JP2001119625A (en) | Image-processing method and image processor | |
| CN113763545A (en) | Image determination method, image determination device, electronic equipment and computer-readable storage medium | |
| JPWO2019082415A1 (en) | Image processing device, imaging device, control method of image processing device, image processing program and recording medium | |
| JP4687748B2 (en) | Video processing apparatus, video processing method, program and recording medium, and video processing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |