KR20160101762A - The method of auto stitching and panoramic image genertation using color histogram - Google Patents

The method of auto stitching and panoramic image genertation using color histogram Download PDF

Info

Publication number
KR20160101762A
KR20160101762A KR1020150024007A KR20150024007A KR20160101762A KR 20160101762 A KR20160101762 A KR 20160101762A KR 1020150024007 A KR1020150024007 A KR 1020150024007A KR 20150024007 A KR20150024007 A KR 20150024007A KR 20160101762 A KR20160101762 A KR 20160101762A
Authority
KR
South Korea
Prior art keywords
image
unit
acquiring
images
input
Prior art date
Application number
KR1020150024007A
Other languages
Korean (ko)
Other versions
KR101718309B1 (en
Inventor
박구만
전지혜
양지희
장지웅
Original Assignee
서울과학기술대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울과학기술대학교 산학협력단 filed Critical 서울과학기술대학교 산학협력단
Priority to KR1020150024007A priority Critical patent/KR101718309B1/en
Publication of KR20160101762A publication Critical patent/KR20160101762A/en
Application granted granted Critical
Publication of KR101718309B1 publication Critical patent/KR101718309B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H04N5/23238—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

A technique of a realistic media service has been developed, but an image expression technique capable of providing reality and immersion to a user is at an insignificant level, and an existing free viewpoint image, which has been studied, has a limit in equipment, a viewing angle, an image quality, and the like, so a research to overcome such limitations is acutely needed, and there is a limit in expression of a realistic image. To overcome such problems, the apparatus comprises: an input image acquisition unit (100); a similarity measurement unit (200); an automatic image alignment unit (300); and a panoramic image generation unit (400). The present invention provides a method for automatically generating a matchingpanoramic image by using color information, capable of contributing to high quality of an interactive broadcasting technology which a user can freely control a viewpoint by generating a new viewpoint at a 3D location, and providing a realistic space such that the user feel as if the user is in the real space by automatically generating a panoramic image with an image obtained from an image obtaining device without a special user input.

Description

색상 정보를 활용한 자동 정합·파노라믹 영상 생성 장치 및 방법{THE METHOD OF AUTO STITCHING AND PANORAMIC IMAGE GENERTATION USING COLOR HISTOGRAM} BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to an automatic matching / panoramic image generation apparatus and method using color information,

본 발명에서는 카메라에서 중첩 영역이 있는 두 이미지를 획득하여, 두 이미지를 분할하고, 각 분할된 이미지들 간의 색상 정보를 이용하여 분할된 이미지들 간의 유사도를 측정하고, 가장 유사도가 높은 중첩 영역을 찾아, 두 이미지 간의 순서와 상관없이 자동으로 스티칭시켜 파노라마 영상을 표출할 수 있는 색상 정보를 활용한 자동 정합·파노라믹 영상 생성 장치 및 방법에 관한 것이다.
In the present invention, two images having overlapping regions are obtained from a camera, and the two images are divided, the similarity between the divided images is measured using the color information between the divided images, the overlapped region having the highest similarity is found And an automatic matching panoramic image generation apparatus and method using color information capable of automatically stitching a panoramic image regardless of the order between two images.

최근 디지털 TV 방송이 본격적으로 시행됨에 따라 사용자에게 사실적이고 현장감과 몰입감을 줄 수 있는 차세대 미디어 서비스 기술이 중요시 되고 있으며 기존의 고화질 2D 방송을 넘어 보다 표현력과 선명함, 현실감을 반영하는 실감형 방송 서비스가 실현되고 있다. As digital TV broadcasting has been implemented in earnest, the next generation media service technology that can give a realistic, realistic feeling of presence and immersion to users is important, and realistic broadcasting service that reflects expressiveness, clarity and realism beyond conventional high definition 2D broadcasting .

국내에서는 실감 미디어 방송을 위하여 적극적인 투자와 정책에 대한 지원을 아끼지 않는 노력으로 현재 고품질의 HDTV방송 서비스가 제작되고, UHD 영상과 3차원 입체 영상 등의 실감 미디어를 표출할 수 있는 신호처리 및 압축 기술이 발전하고 있다. 특히 실감 영상을 표출할 수 있는 영상 품질에 관한 분야가 급속도로 발전하고 있지만 실감 미디어를 표출할 수 있는 기술적인 제시는 많지 않다. In Korea, we are making efforts to support active investment and policy for realistic media broadcasting. We are currently producing high-quality HDTV broadcasting service, and we are working on signal processing and compression technology that can display reality media such as UHD video and 3D stereoscopic video Is developing. Especially, although the field of image quality that can display realistic images is rapidly developing, there are not many technical presentations that can express reality media.

그러나 최근에는 해외의 선진 국가에서 실감 미디어를 표출할 수 있는 기술이 제시되었으며, In recent years, however, technologies have been introduced that can express real media in advanced countries overseas,

특히, 3차원 위치에서 장면에 대해 새로운 시점을 생성하여 사용자가 쌍방향(Interactive)으로 시점을 제어할 수 있는 자유시점 영성(Free-Viewpoint) 영상 기술과 사용자가 실제 공간에 있는 듯한 현장감을 제공할 수 있는 파노라마 영상 기술 이 제시된 바 있었다. Especially, it is possible to provide free-viewpoint image technology that enables the user to control the viewpoint interactively by creating a new viewpoint on the scene in the 3D position, The panoramic imaging technology has been presented.

하지만, 기존의 자유시점 영상 기술은 수백 대의 카메라로 시스템을 구축하기 때문에 거대한 장비가 필요하고, 카메라 사이의 중간 시점을 생성할 때에 카메라의 시야각, 화질 등에서 한계가 있어 이를 극복하기 위한 연구가 절실하고, 실감 영상을 표출할 수 있는 한계점이 있어 이를 극복하기 위한 연구가 필요하다.
However, the existing free-view image technology requires huge equipment because it constructs the system with hundreds of cameras, and there are limitations on the viewing angle and the quality of the camera when generating the midpoint between the cameras. , There is a limit to express realistic images, and research is needed to overcome these limitations.

국내등록특허공보 제10-0590025호Korean Patent Registration No. 10-0590025

상기의 문제점을 해결하기 위해 본 발명에서는 다양한 영상 획득 기기에서 입력 영상을 획득하는데, 받아온 입력 이미지를 정합하기 위해 두 입력 이미지의 일부분이 겹쳐지도록 이미지를 획득하고, 두 이미지를 정합하여 한 장의 큰 파노라마 영상을 생성할 수 있으며, 이로 인해 클라이언트에게 현장에 있는 듯한 몰입감과 입체감, 현실감을 주는 자유시점영상 표출할 수 있는 색상 정보를 활용한 자동 정합·파노라믹 영상 생성 장치 및 방법을 제공하는데 그 목적이 있다.
In order to solve the above problems, in the present invention, an input image is acquired in various image acquisition devices. In order to match input images received, images are acquired so that a part of two input images overlap, and two images are matched to form a single large panorama The present invention provides an automatic matching / panoramic image generation apparatus and method using color information capable of displaying a free-view image that gives a feeling of immersion, three-dimensional feeling, .

상기의 목적을 달성하기 위해 본 발명에 따른 색상 정보를 활용한 자동 정합·파노라믹 영상 생성 장치는According to an aspect of the present invention, there is provided an automatic matching / panoramic image generation apparatus using color information according to the present invention,

영상을 획득할 수 있는 기기에 의해 이미지를 수집, 획득하는 입력영상획득부(100)와,An input image acquiring unit 100 for acquiring and acquiring an image by an apparatus capable of acquiring an image,

이미지 간의 겹침이 있는 부분의 위치를 찾아 유사도 여부를 측정하는 유사도 측정부(200)와,A similarity measuring unit 200 for finding a position of a portion where images overlap,

입력영상획득부(100)로부터 얻어진 이미지를 사용자의 특별한 입력 없이 자동으로 정렬시키는 이미지자동정렬부(300)와,An image automatic aligning unit 300 for automatically aligning an image obtained from the input image obtaining unit 100 without a special input of a user,

입력영상획득부(100)로부터 얻어진 이미지들을 정합시키는 파노라믹이미지생성부(400)로 구성됨으로서 달성된다.
And a panoramic image generating unit 400 for matching the images obtained from the input image obtaining unit 100.

또한, 본 발명에 따른 색상 정보를 활용한 자동 정합·파노라믹 영상 생성 방법은In addition, the automatic matching / panoramic image generation method using the color information according to the present invention

입력영상획득부(100)를 통해 영상을 획득할 수 있는 기기에 의해 이미지를 수집, 획득하는 단계(S100)와,A step S100 of acquiring and acquiring an image by an apparatus capable of acquiring an image through the input image acquiring unit 100,

유사도 측정부(200)에서 이미지 간의 겹침이 있는 부분의 위치를 찾아 유사도 여부를 측정하는 단계(S200)와,A step S200 of finding the position of the overlapping portion between the images in the similarity measuring unit 200,

이미지자동정렬부(300)에서 입력영상획득부(100)로부터 얻어진 이미지를 사용자의 특별한 입력 없이 자동으로 정렬시키는 단계(S300)와,A step S300 of automatically aligning the image obtained from the input image acquiring unit 100 in the automatic image aligning unit 300 without a special input of the user,

파노라믹이미지생성부(400)에서 입력영상획득부(100)로부터 얻어진 이미지들을 정합시키는 단계(S400)로 이루어짐으로서 달성된다.
And matching the images obtained from the input image obtaining unit 100 with the panoramic image generating unit 400 (S400).

이상에서 설명한 바와 같이, 본 발명에서는 카메라가 없는 위치의 새로운 시점을 생성하여 사용자가 시점을 자유자재로 제어할 수 있는 인터랙티브 방송 기술의 고품질화에 기여할 수 있고, 차세대 입체 방송 서비스에 활용 가능한 자유시점을 제공하는 실감 영상 획득과 표출을 위한 원천기술력 확보가 가능하며, 사용자의 특별한 입력 없이 영상 획득 기기로부터 얻은 입력 영상을 자동으로 파노라마 영상으로 생성할 수 있어, 사용자에게 실제 공간에 있는 듯한 실감공간을 제공할 수 있고, 몰입감과 현장감 증대로 보다 사실적이고 친화적인 휴먼융합형 고품질 파노라마 미디어가 실현되며, 차세대 융합콘텐츠 산업의 신규 콘텐츠 비즈니스 창출이 가능하다.
As described above, according to the present invention, it is possible to contribute to the enhancement of the interactive broadcasting technology in which the user can freely control the viewpoint by generating a new viewpoint at a position where the camera is absent, It is possible to secure source technology for real image acquisition and display, and the input image obtained from the image acquisition device can be automatically generated as a panoramic image without user's special input, thereby providing a real feeling space And realistic and friendly human fusion type high quality panorama media can be realized by increasing immersion feeling and realistic feeling, and it is possible to create new content business in next generation convergent contents industry.

도 1은 본 발명에 따른 색상 정보를 활용한 자동 정합 및 파노라믹 영상 생성 기술 방법(1)의 구성요소를 도시한 구성도,
도 2는 본 발명에 따른 이미지 간의 일부 겹침이 있는 이미지를 획득하는 입력 이미지 획득부(100)의 구성 요소를 도시한 구성도,
도 3은 본 발명에 따른 이미지 분할부(210)와 칼라히스토그램비교부(220)로 이루어진 유사도 측정부(200)의 구성 요소를 도시한 구성도,
도 4는 본 발명에 따른 유사도 측정부(200)의 구성 요소를 도시한 구성도,
도 5는 본 발명에 따른 중첩 영역 추정부(310)와 이미지순서부(320)로 이루어진 이미지자동 정렬부(300)의 구성 요소를 도시한 구성도,
도 6은 본 발명에 따른 특징점필터링부(410)와 호모그래피행렬추정부(420)로 이루어진 파노라믹이미지생성부(400)의 구성요소를 도시한 구성도,
도 7은 본 발명에 따른 색상 정보를 활용한 자동 정합 및 파노라믹 영상 생성 기술 방법의 동작과정을 도시한 일실시예도.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a configuration diagram showing components of a method 1 for automatic matching and panoramic image generation using color information according to the present invention;
2 is a configuration diagram showing components of an input image obtaining unit 100 that obtains an image having a partial overlap between images according to the present invention,
3 is a block diagram showing the components of the similarity measuring unit 200 including the image dividing unit 210 and the color histogram comparing unit 220 according to the present invention.
FIG. 4 is a diagram showing the components of the similarity measurement unit 200 according to the present invention,
5 is a block diagram showing the components of the image automatic aligning unit 300 including the overlapping area estimating unit 310 and the image ordering unit 320 according to the present invention.
FIG. 6 is a block diagram illustrating components of a panoramic image generating unit 400 including a feature point filtering unit 410 and a homography matrix estimating unit 420 according to an embodiment of the present invention.
FIG. 7 is a flowchart illustrating an automatic matching and panoramic image generation method using color information according to an exemplary embodiment of the present invention. Referring to FIG.

이하, 본 발명에 따른 바람직한 실시예를 도면을 첨부하여 설명한다.Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.

도 1은 본 발명에 따른 색상 정보를 활용한 자동 정합·파노라믹 영상 생성 장치(1)의 구성요소를 도시한 구성도에 관한 것으로, 이는 입력영상획득부(100), 유사도측정부(200),이미지 자동 정렬부(300), 파노라믹 이미지생성부(400)로 구성된다.
1 is a block diagram showing components of an automatic matching / panoramic image generating apparatus 1 using color information according to the present invention. The input image obtaining unit 100, the similarity measuring unit 200 An image automatic aligning unit 300, and a panoramic image generating unit 400.

먼저, 본 발명에 따른 입력영상획득부(100)에 관해 설명한다.First, the input image obtaining unit 100 according to the present invention will be described.

상기 입력영상획득부(100)는 영상을 획득할 수 있는 기기에 의해 이미지를 수집, 획득하는 역할을 한다.The input image acquiring unit 100 collects and acquires an image by a device capable of acquiring an image.

이는 도 2에서 도시한 바와 같이, 이미지 간의 일부분 겹침이 존재하도록 이미지를 획득한다. This obtains the image so that there is a partial overlap between the images, as shown in Fig.

상기 영상을 획득할 수 있는 기기는 카메라모듈의 CCD 소자 또는 CMOS소자로 구성된다.
The device capable of acquiring the image comprises a CCD device or a CMOS device of a camera module.

다음으로, 본 발명에 따른 유사도 측정부(200)에 관해 설명한다.Next, the similarity measurement unit 200 according to the present invention will be described.

상기 유사도 측정부(200)는 이미지 간의 겹침이 있는 부분의 위치를 찾아 유사도 여부를 측정하는 역할을 한다. The similarity degree measurement unit 200 measures the similarity degree by finding the position of the overlapping portion between images.

이는 도 3에서 도시한 바와 같이, 이미지 분할부(210), 칼라히스토그램비교부(220)로 구성된다.
As shown in FIG. 3, the image dividing unit 210 and the color histogram comparing unit 220 are configured.

첫째, 본 발명에 따른 이미지분할부(210)에 관해 설명한다.First, the image divider 210 according to the present invention will be described.

상기 이미지분할부(210)는 상기 입력영상획득부(100)로부터 얻어진 이미지 내에 겹침이 있는 영역의 위치를 찾기 위해 이미지를 좌, 우로 분할한다.The image dividing unit 210 divides the image into left and right images to search for the position of the overlapping region in the image obtained from the input image obtaining unit 100.

이는 원본 이미지를 오브젝트(따고자 하는 대상 물체)와 배경이 잘 구별되는 색차원(color space)으로 변환시킨 후, 적절한 수치를 설정하여 오브젝트와 배경으로 하드 분할(hard segmentation)시킨다.
This converts the original image into a color space with a well-distinguishable background from the object (object to be picked up), and then hard segmentation into an object and a background by setting appropriate values.

둘째, 본 발명에 따른 칼라히스토그램비교부(220)에 관해 설명한다. Second, the color histogram comparing unit 220 according to the present invention will be described.

상기 칼라히스토그램비교부(220)은 이미지 간의 유사도를 측정하기 위해 상기 이미지분할부(210)로부터 분할된 이미지를 칼라 히스토그램으로 변환하여, 도 4에서 도시한 바와 같이, 히스토그램 비교 교차 방식을 이용하여 비교하고 유사도 값을 측정한다.The color histogram comparator 220 converts the divided image from the image divider 210 into a color histogram to measure the similarity between images. The color histogram comparator 220 compares the color histogram with a color histogram using the histogram comparison crossing method And the similarity value is measured.

이는 이미지 간의 각 블록에서 히스토그램을 연산시킨 후에 두 히스토그램을 비교함으로써 두 블록의 차이를 측정하게 된다.This computes the histogram in each block between images and then compares the two histograms to determine the difference between the two blocks.

본 발명에서는 비계수적인(non-parametric) 비교 알고리즘엔진부를 통해 히스토그램을 비교한다.In the present invention, histograms are compared through a non-parametric comparison algorithm engine section.

상기 비계수적인(non-parametric) 비교 알고리즘엔진부는 다음의 수학식 1과 같이 표현된다.The non-parametric comparison algorithm engine part is expressed by the following equation (1).

Figure pat00001
Figure pat00001

여기서, Hi,Hj는 대응되는 두 영역의 히스토그램을 의미하고, B는 bin의 수를 의미한다.Here, H i and H j mean histograms of corresponding two regions, and B means the number of bin.

hi(l)은 l번째 bin에서의 히스토그램의 값을 의미한다.
h i (l) denotes the value of the histogram in the l-th bin.

다음으로, 본 발명에 따른 이미지자동정렬부(300)에 관해 설명한다.Next, the image automatic aligning unit 300 according to the present invention will be described.

상기 이미지자동정렬부(300)은 상기 입력영상획득부(100)로부터 얻어진 이미지를 사용자의 특별한 입력 없이 자동으로 정렬시키는 역할을 한다.The image automatic aligning unit 300 automatically aligns the image obtained from the input image obtaining unit 100 without any special input from the user.

이는 도 5에서 도시한 바와 같이, 중첩영역추정부(310), 이미지순서부(320)로 구성된다.
As shown in FIG. 5, this is composed of an overlap area estimating unit 310 and an image ordering unit 320.

첫째, 본 발명에 따른 중첩영역추정부(310)에 관해 설명한다.First, the overlap area estimating unit 310 according to the present invention will be described.

상기 중첩영역추정부(310)는 상기 유사도측정부(200)로부터 측정된 유사도 값중 최대값을 나타내는 분할된 두 이미지를 일부 겹침이 있는 이미지로 추정하는 역할을 한다.The overlapping area estimating unit 310 estimates the two divided images representing the maximum value among the similarity value measured by the similarity measuring unit 200 as an image having a partial overlap.

이는 중첩영역추정알고리즘엔진부가 포함되어 구성된다.This is configured to include an overlap area estimation algorithm engine section.

상기 중첩영역추정알고리즘엔진부는 다음의 수학식 2와 같이 표현된다.The overlap region estimation algorithm engine unit is expressed by the following Equation (2).

Figure pat00002
Figure pat00002

여기서, OverlapRegioni은 영상i에서의 겹치는 영역을 의미하고, Regioni(k)는 영상 i에서 k번째 블록의 영역을 의미한다.Here, OverlapRegion i means overlapping region in image i, and Region i (k) means region of k-th block in image i.

각 영역의 합집합의 영역을 겹치는 영역으로 나누면 정규화된 블록의 영역을 알 수 있도록 구성되고, 이 값을 1에서 빼서 블록의 영역이 전체 합집합의 영역에서 포함하지 못하는 영역을 연산하도록 구성된다.The area of the union of the regions is divided into the overlapping regions so that the region of the normalized block can be known. The value of the normalized block is subtracted from 1, and the region of the block is not included in the region of the entire union.

두 영상 간의 겹치는 영역이 서로 다를 수 있기 때문에 각 영상에 대해서 이 포함하지 못하는 영역을 계산하였고, 이 β의 값이 크다는 것은 블록이 포함하는 영역이 작다는 것을 의미하기 때문에 전체적인 컬러 비교를 하는 dimage(i,j)의 값의 비중을 더 크게 하도록 구성된다.
Since the overlapping area between the two images may be different from each other was calculated on the area that do not include, for each image, this because it means that β is the smaller the area for the value that contains the greater is the block d to the overall color comparison image (i, j) is larger.

둘째, 본 발명에 따른 이미지순서부(320)에 관해 설명한다.Second, the image ordering unit 320 according to the present invention will be described.

상기 이미지순서부(320)는 중첩영역추정부(310)로부터 추정된 이미지의 위치를 인식시킨 상태에서 파노라마 영상을 생성할 때에 프로그램 내 스스로 상기 입력영상획득부(100)로부터 얻어진 이미지의 순서를 나열시키는 역할을 한다.
When the panorama image is generated while recognizing the position of the estimated image from the overlap area estimating unit 310, the image ordering unit 320 lists the order of images obtained from the input image obtaining unit 100 in the program itself .

다음으로, 본 발명에 따른 파노라믹이미지생성부(400)에 관해 설명한다.Next, the panoramic image generation unit 400 according to the present invention will be described.

상기 파노라믹이미지생성부(400)는 입력영상획득부(100)로부터 얻어진 이미지들을 정합시키는 역할을 한다.The panoramic image generation unit 400 matches the images obtained from the input image acquisition unit 100.

이는 도 6에 도시한 바와 같이, 특징점필터링부(410), 호모그래피행렬추정부(420)로 구성된다.
As shown in FIG. 6, this includes a feature point filtering unit 410 and a homography matrix estimating unit 420.

상기 특징점필터링부(410)는 특징 기반의 영상 정합을 수행할 때에 부정확하게 검출된 특징점 및 대응점을 제거하는 역할을 한다.The feature point filtering unit 410 removes feature points and corresponding points that are detected incorrectly when performing feature-based image matching.

이는 호모그래피 행렬를 추정할 때에 정확한 행렬을 추정하도록 구성된다.This is configured to estimate the correct matrix when estimating the homography matrix.

상기 중첩영역추정부(310)로부터 추정된 일부 겹침이 있는 이미지 내에 특징점 추출 알고리즘을 수행하여 특징점을 필터링시킨다.
The feature point extracting algorithm is performed in the image having the partial overlap estimated from the overlap area estimating unit 310 to filter the feature points.

상기 호모그래피 행렬 추정부(420)는 이미지 사이의 기하학적 관계를 표현하는 행렬을 추정하고 그에 맞게 이미지를 변환시키는 역할을 한다.The homography matrix estimating unit 420 estimates a matrix representing the geometric relationship between images and transforms the image according to the matrix.

이는 파노라마 영상을 생성하기 위해 호모그래피 행렬로 추정하도록 구성된다.This is configured to estimate a homography matrix to generate a panoramic image.

파노라마 영상을 얻을 때 기본 전제 조건은 3차원 실세계에 있는 영상을 카메라의 2차원 이미지 평면에 투영시키는데 두 영상은 동일평면상에 있다고 가정을 한다.The basic prerequisite for obtaining the panoramic image is to project the image in the 3D real world onto the 2D image plane of the camera, assuming that the two images are on the same plane.

여기서, 호모그래피라는 것은 3×3 행렬로 기준 영상의 점과 그에 대응되는 대상 영상의 점들 사이의 관계를 나타낸 것이다.Here, the term " homography " refers to a relation between a point of a reference image and a corresponding point of a target image in a 3x3 matrix.

기준영상과 대상 영상의 대응관계는 다음의 수학식 3과 같이 표현된다.The corresponding relation between the reference image and the target image is expressed by the following Equation (3).

Figure pat00003
Figure pat00003

여기서, X와 X'은 기준영상과 대상영상의 점이고, H는 X와 X'의 관계를 나타낸 호모그래피 행렬이다.Here, X and X 'are points of the reference image and the target image, and H is a homography matrix showing the relationship between X and X'.

호모그래피 행렬은 다음의 수학식 4와 같이 표현된다.
The homography matrix is expressed by the following equation (4).

Figure pat00004
Figure pat00004

호모그래피를 추정하기 위해서는 기본적으로 기준영상의 4점과 그에 대응되는 대상 영상의 4점이 필요하다.To estimate the homography, basically four points of the reference image and four points of the corresponding image are required.

일반적으로 SIFT 알고리즘과 RANSAC 알고리즘을 통해서 나온 기준 영상과 대상 영상 사이에 대응되는 특징점 4쌍을 DLT식인 수학식 5를 적용하여 호모그래프를 추정한다.Generally, the homography is estimated by applying Equation (5), which is a DLT equation, to four pairs of feature points corresponding to each other between the reference image and the target image obtained through the SIFT algorithm and the RANSAC algorithm.

Figure pat00005
Figure pat00005

여기서, 두번째 행렬의 hj는 수학식 4의 호모그래피 행렬의 첫번째, 두번째, 세번째 열을 나타낸다.Here, hj of the second matrix represents the first, second, and third columns of the homography matrix of Equation (4).

Figure pat00006
는 기준 영상에서 i번째 특징점의 좌표(xi,yi,wi)를 나타내고,
Figure pat00007
는 i번째 특징점에 대응되는 대상 영상의 특징점 좌표(
Figure pat00008
)를 나타낸다.
Figure pat00006
(Xi, yi, wi) of the i-th feature point in the reference image,
Figure pat00007
Is the minutiae coordinate of the target image corresponding to the i-th minutiae point (
Figure pat00008
).

i는 호모그래피를 추정하기 위한 기준영상과 대상영상에 일치하는 특징쌍에서 첫번째 대응관계에 있는 특징점부터 네번째 대응관계에 있는 특징점을 나타낸다.
i represents a reference image for estimating a homography and a feature point in a fourth correspondence relationship from a feature point in a first correspondence relationship in a feature pair matching the target image.

이하, 본 발명에 따른 색상 정보를 활용한 자동 정합·파노라믹 영상 생성방법의 구체적인 동작과정에 관해 설명한다.
Hereinafter, a specific operation of the auto-matching and panoramic image generation method using color information according to the present invention will be described.

먼저, 입력영상획득부(100)를 통해 영상을 획득할 수 있는 기기에 의해 이미지를 수집, 획득한다(S100).First, an image is acquired and acquired by an apparatus capable of acquiring an image through the input image acquiring unit 100 (S100).

여기서, 영상을 획득할 수 있는 기기는 CCTV, 카메라, 스마트폰 중 어느 하나가 선택되어 구성된다.
Here, the device capable of acquiring the image is configured by selecting any one of CCTV, camera, and smart phone.

다음으로, 유사도 측정부(200)에서 이미지 간의 겹침이 있는 부분의 위치를 찾아 유사도 여부를 측정한다(S200).
Next, the similarity measuring unit 200 finds the position of the overlapped portion between the images and determines whether or not the similarity exists (S200).

다음으로, 이미지자동정렬부(300)에서 입력영상획득부(100)로부터 얻어진 이미지를 사용자의 특별한 입력 없이 자동으로 정렬시킨다(S300).
Next, the image automatic aligning unit 300 automatically aligns the image obtained from the input image obtaining unit 100 without the user's special input (S300).

끝으로, 파노라믹이미지생성부(400)에서 입력영상획득부(100)로부터 얻어진 이미지들을 정합시킨다(S400).
Finally, the panoramic image generation unit 400 matches the images obtained from the input image acquisition unit 100 (S400).

1 : 색상 정보를 활용한 자동 정합 및 파노라믹 영상 표출 기술 시스템
100 : 입력영상획득부 200 : 유사도측정부
300 : 이미지자동정렬부 400 : 파노라믹이미지생성부1: Automatic matching and panoramic image display technology system using color information
100: Input image acquisition unit 200:
300: automatic image alignment unit 400: panoramic image generation unit

Claims (5)

영상을 획득할 수 있는 기기에 의해 이미지를 수집, 획득하는 입력영상획득부(100)와,
이미지 간의 겹침이 있는 부분의 위치를 찾아 유사도 여부를 측정하는 유사도 측정부(200)와,
입력영상획득부(100)로부터 얻어진 이미지를 사용자의 특별한 입력 없이 자동으로 정렬시키는 이미지자동정렬부(300)와,
입력영상획득부(100)로부터 얻어진 이미지들을 정합시키는 파노라믹이미지생성부(400)로 구성되는 것을 특징으로 하는 색상 정보를 활용한 자동 정합·파노라믹 영상 생성 장치.
An input image acquiring unit 100 for acquiring and acquiring an image by an apparatus capable of acquiring an image,
A similarity measuring unit 200 for finding a position of a portion where images overlap,
An image automatic aligning unit 300 for automatically aligning an image obtained from the input image obtaining unit 100 without a special input of a user,
And a panoramic image generation unit (400) for matching the images obtained from the input image acquisition unit (100). The automatic matching / panoramic image generation apparatus using color information.
제1항에 있어서, 상기 유사도 측정부(200)는
입력영상획득부(100)로부터 얻어진 이미지 내에 겹침이 있는 영역의 위치를 찾기 위해 이미지를 좌, 우로 분할시키는 이미지분할부(210)와,
미지 간의 유사도를 측정하기 위해 상기 이미지분할부(210)로부터 분할된 이미지를 칼라 히스토그램으로 변환하여, 히스토그램 비교 교차 방식을 이용하여 비교하고 유사도 값을 측정하는 칼라히스토그램비교부(220)로 구성되는 것을 특징으로 하는 색상 정보를 활용한 자동 정합·파노라믹 영상 생성 장치.
The apparatus according to claim 1, wherein the similarity measuring unit (200)
An image dividing unit 210 dividing the image into left and right images to search for the position of the overlapping region in the image obtained from the input image obtaining unit 100,
And a color histogram comparing unit 220 for converting the divided images from the image dividing unit 210 into color histograms, comparing them using the histogram comparison crossover method, and measuring the similarity values, Automatic matching / panoramic image generation device utilizing color information as feature.
제1항에 있어서, 상기 이미지자동정렬부(300)는
유사도측정부(200)로부터 측정된 유사도 값중 최대값을 나타내는 분할된 두 이미지를 일부 겹침이 있는 이미지로 추정하는 중첩영역추정부(310)와,
중첩영역추정부(310)로부터 추정된 이미지의 위치를 인식시킨상태에서 파노라마 영상을 생성할 때에 프로그램 내 스스로 상기 입력영상획득부(100)로부터 얻어진 이미지의 순서를 나열시키는 이미지순서부(320)로 구성되는 것을 특징으로 하는 색상 정보를 활용한 자동 정합·파노라믹 영상 생성 장치.
The apparatus of claim 1, wherein the image automatic aligning unit (300)
An overlapping area estimating unit 310 for estimating two divided images representing a maximum value among the similarity value measured by the similarity measuring unit 200 as an image having a partial overlap;
An image ordering unit 320 for listing the order of the images obtained from the input image obtaining unit 100 in the program itself when the panorama image is generated in a state in which the estimated position of the image is recognized from the overlapping area estimating unit 310 Wherein the color information is generated by using the color information.
제1항에 있어서, 상기 파노라믹이미지생성부(400)는
특징 기반의 영상 정합을 수행할 때에 부정확하게 검출된 특징점 및 대응점을 제거하는 특징점필터링부(410)와,
이미지 사이의 기하학적 관계를 표현하는 행렬을 추정하고 그에 맞게 이미지를 변환시키는 호모그래피 행렬 추정부(420)로 구성되는 것을 특징으로 하는 색상 정보를 활용한 자동 정합·파노라믹 영상 생성 장치.
The apparatus according to claim 1, wherein the panoramic image generator (400)
A feature point filtering unit 410 for removing feature points and corresponding points that are detected incorrectly when performing feature-based image matching,
And a homography matrix estimator (420) for estimating a matrix representing a geometric relationship between the images and transforming the image according to the matrices. The automatic matching / panoramic image generation apparatus using color information.
입력영상획득부(100)를 통해 영상을 획득할 수 있는 기기에 의해 이미지를 수집, 획득하는 단계(S100)와,
유사도 측정부(200)에서 이미지 간의 겹침이 있는 부분의 위치를 찾아 유사도 여부를 측정하는 단계(S200)와,
이미지자동정렬부(300)에서 입력영상획득부(100)로부터 얻어진 이미지를 사용자의 특별한 입력 없이 자동으로 정렬시키는 단계(S300)와,
파노라믹이미지생성부(400)에서 입력영상획득부(100)로부터 얻어진 이미지들을 정합시키는 단계(S400)로 이루어지는 것을 특징으로 하는 색상 정보를 활용한 자동 정합·파노라믹 영상 생성 방법.A step S100 of acquiring and acquiring an image by an apparatus capable of acquiring an image through the input image acquiring unit 100,
A step S200 of finding the position of the overlapping portion between the images in the similarity measuring unit 200,
A step S300 of automatically aligning the image obtained from the input image acquiring unit 100 in the automatic image aligning unit 300 without a special input of the user,
And matching the images obtained from the input image acquiring unit (100) with the panoramic image generating unit (400) (S400). The automatic matching panoramic image generating method using color information.
KR1020150024007A 2015-02-17 2015-02-17 The method of auto stitching and panoramic image genertation using color histogram KR101718309B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150024007A KR101718309B1 (en) 2015-02-17 2015-02-17 The method of auto stitching and panoramic image genertation using color histogram

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150024007A KR101718309B1 (en) 2015-02-17 2015-02-17 The method of auto stitching and panoramic image genertation using color histogram

Publications (2)

Publication Number Publication Date
KR20160101762A true KR20160101762A (en) 2016-08-26
KR101718309B1 KR101718309B1 (en) 2017-03-22

Family

ID=56885774

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150024007A KR101718309B1 (en) 2015-02-17 2015-02-17 The method of auto stitching and panoramic image genertation using color histogram

Country Status (1)

Country Link
KR (1) KR101718309B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108769524A (en) * 2018-06-11 2018-11-06 广州中科云图智能科技有限公司 Aerial 720 degree panorama comparison methods of taking photo by plane of unmanned plane
US11715178B2 (en) 2020-08-24 2023-08-01 Samsung Electronics Co., Ltd. Method and apparatus for generating image

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001067463A (en) * 1999-06-22 2001-03-16 Nadeisu:Kk Device and method for generating facial picture from new viewpoint based on plural facial pictures different in viewpoint, its application device and recording medium
JP2005333396A (en) * 2004-05-19 2005-12-02 Sony Corp Imaging apparatus and method therefor
KR100590025B1 (en) 2004-12-30 2006-06-14 전자부품연구원 Method and device for synthesizing intermediate images in a multi-view square camera based display system
KR20110131949A (en) * 2010-06-01 2011-12-07 삼성전자주식회사 Image processing apparatus and method
KR20130056605A (en) * 2011-11-22 2013-05-30 한양대학교 에리카산학협력단 Apparatus and method for generating panorama image
KR20130068193A (en) * 2011-12-14 2013-06-26 한국전자통신연구원 Multi images supplying system and multi images shooting device thereof
JP2014123916A (en) * 2012-12-21 2014-07-03 Casio Comput Co Ltd Image composition device, image composition method, and program

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001067463A (en) * 1999-06-22 2001-03-16 Nadeisu:Kk Device and method for generating facial picture from new viewpoint based on plural facial pictures different in viewpoint, its application device and recording medium
JP2005333396A (en) * 2004-05-19 2005-12-02 Sony Corp Imaging apparatus and method therefor
KR100590025B1 (en) 2004-12-30 2006-06-14 전자부품연구원 Method and device for synthesizing intermediate images in a multi-view square camera based display system
KR20110131949A (en) * 2010-06-01 2011-12-07 삼성전자주식회사 Image processing apparatus and method
KR20130056605A (en) * 2011-11-22 2013-05-30 한양대학교 에리카산학협력단 Apparatus and method for generating panorama image
KR20130068193A (en) * 2011-12-14 2013-06-26 한국전자통신연구원 Multi images supplying system and multi images shooting device thereof
JP2014123916A (en) * 2012-12-21 2014-07-03 Casio Comput Co Ltd Image composition device, image composition method, and program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108769524A (en) * 2018-06-11 2018-11-06 广州中科云图智能科技有限公司 Aerial 720 degree panorama comparison methods of taking photo by plane of unmanned plane
CN108769524B (en) * 2018-06-11 2021-01-12 广州中科云图智能科技有限公司 Aerial 720-degree aerial photography panoramic comparison method for unmanned aerial vehicle
US11715178B2 (en) 2020-08-24 2023-08-01 Samsung Electronics Co., Ltd. Method and apparatus for generating image

Also Published As

Publication number Publication date
KR101718309B1 (en) 2017-03-22

Similar Documents

Publication Publication Date Title
US10540806B2 (en) Systems and methods for depth-assisted perspective distortion correction
US20210314547A1 (en) Methods, systems, and computer-readable storage media for generating three-dimensional (3d) images of a scene
KR101994121B1 (en) Create efficient canvas views from intermediate views
RU2612378C1 (en) Method of replacing objects in video stream
US8508580B2 (en) Methods, systems, and computer-readable storage media for creating three-dimensional (3D) images of a scene
US8810635B2 (en) Methods, systems, and computer-readable storage media for selecting image capture positions to generate three-dimensional images
US11348267B2 (en) Method and apparatus for generating a three-dimensional model
US20130335535A1 (en) Digital 3d camera using periodic illumination
WO2015146230A1 (en) Image display device and image display system
US20150103149A1 (en) Methods, systems, and computer-readable storage media for selecting image capture positions to generate three-dimensional images
CN106981078B (en) Sight line correction method and device, intelligent conference terminal and storage medium
JP7159384B2 (en) Image processing device, image processing method, and program
US10692262B2 (en) Apparatus and method for processing information of multiple cameras
US9380263B2 (en) Systems and methods for real-time view-synthesis in a multi-camera setup
KR101853269B1 (en) Apparatus of stitching depth maps for stereo images
CN111866523B (en) Panoramic video synthesis method and device, electronic equipment and computer storage medium
KR20190044439A (en) Method of stitching depth maps for stereo images
KR101715781B1 (en) Object recognition system and method the same
KR101718309B1 (en) The method of auto stitching and panoramic image genertation using color histogram
CN107426561B (en) 3D 360-degree virtual reality live broadcasting method and device
KR20110133677A (en) Method and apparatus for processing 3d image
JP2019220032A (en) Program, apparatus and method that generate display image which is transformed from original image on the basis of target image
Wang et al. A common feature-based disparity control strategy in stereoscopic panorama generation
KR101868057B1 (en) Method for generating panoramic image and apparatus thereof
CN106713741B (en) Panoramic video quality diagnosis method and device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20200302

Year of fee payment: 4