KR101603876B1

KR101603876B1 - Method for fabricating a panorama

Info

Publication number: KR101603876B1
Application number: KR1020150152513A
Authority: KR
Inventors: 황성택; 오상욱; 김상호; 김현수; 권무식; 김지훈; 안호석; 이동창
Original assignee: 삼성전자주식회사
Priority date: 2015-10-30
Filing date: 2015-10-30
Publication date: 2016-03-17
Also published as: KR20150127015A

Abstract

본 발명에 따른 파노라마의 생성 방법은, 각각 피사체 방향이 다른 동일한 피사체를 포함한 다수의 영상들을 획득하는 과정과; 상기 다수의 영상들의 각각에서 상기 동일한 피사체에 대응하는 대상 영역을 추출하는 과정과; 인접한 대상 영역들에서 동일 부분들을 검색하는 과정과; 상기 동일 부분들에 근거하여 상기 인접한 대상 영역들을 결합함으로써 상기 동일 피사체의 파노라마를 생성하는 과정을 포함한다.A method of generating a panorama according to the present invention includes the steps of acquiring a plurality of images each including the same subject having a different subject direction; Extracting an object area corresponding to the same object from each of the plurality of images; Searching for identical parts in adjacent object areas; And creating a panorama of the same object by combining the adjacent object regions based on the same portions.

Description

METHOD FOR FABRICATING A PANORAMA [0002]

본 발명은 파노라마 영상을 생성하기 위한 방법에 관한 발명으로서, 특히 카메라의 촬영 범위보다 작은 피사체의 다양한 부분들이 촬영된 다수의 영상들로부터 파노라마 영상을 생성하기 위한 방법에 관한 발명이다.The present invention relates to a method for generating a panoramic image, and more particularly, to a method for generating a panoramic image from a plurality of images in which various portions of a subject smaller than a shooting range of a camera are photographed.

디지털 카메라는 촬영하고자 하는 피사체를 이미지 센서에서 전기적 데이터로 변환 저장하는 촬영 장치로서, 디지털 카메라로부터 휴대용 통신 단말기에 이르기까지 다양한 형태로 이용되고 있다. 상술한 디지털 카메라는 전기적 데이터로 변환함으로써 파노라마 영상을 생성하기 위한 프로그램을 내장하고 있다면 파노라마 영상의 촬영이 가능하다. 따라서, 근래의 디지털 카메라는 다양한 파노라마 영상을 지원하는 형태로 개발 및 보급되고 있다.Description of the Related Art [0002] A digital camera is a photographing device which converts an object to be photographed from an image sensor into electrical data, and is used in various forms ranging from a digital camera to a portable communication terminal. The digital camera described above can capture a panoramic image if it has a built-in program for generating a panoramic image by converting it into electrical data. Accordingly, recent digital cameras are being developed and distributed in a form that supports various panoramic images.

상술한 파노라마 영상은 카메라에서 촬영이 가능한 가로, 세로 비율의 영상의 가로, 세로 비율이 더 큰, 즉 세로보다 더 긴 가로를 가지는 영상을 말한다. 파노라마 영상은 카메라 화각보다 큰 대상(예를 들어 산, 바다와 같은 풍경의 피사체)을 촬영할 때 사용하거나 또는 움직임이 있는 동적인 대상 또는 한 대상의 여러 면을 동시에 한 영상에 표현하고자 할 때 사용된다.The panorama image described above refers to an image having a width and a height ratio of the image of the width and height ratio that can be photographed by the camera, that is, a width longer than the width. A panoramic image is used to capture objects larger than the camera's angle of view (for example, scenery such as mountains or the sea), or to display a dynamic subject with motion or multiple faces of a subject simultaneously in one image .

상술한 파노라마 영상은 연속적으로 찍힌 다수의 정지 화상들을 이용해서 구성되거나 또는 동영상을 이루는 다수의 프레임들(frames)을 이용해서 구성될 수 있다. 그 외에도, 연속으로 찍은 영상을 이용해서 파노라마 영상으로 만들어주기 위한 별도의 파노라마 생성 프로그램들이 사용되기도 한다.The panoramic image described above may be constructed using a plurality of still images captured continuously or may be configured using a plurality of frames constituting a moving image. In addition, separate panorama generation programs are used to create panoramic images using continuous images.

파노라마 영상을 생성하는 방법은 기 설정된 크기(w×h)의 연속적으로 촬영된 영상들을 순서대로 번호(예를 들어, 1~i, i~k)를 부여하는 과정과, 기준 영상(예를 들어, i번째 영상)의 우측에서 기 설정된 크기(m×h; m<w)의 영역을 추출하여 영상(R(i))을 만드는 과정과, 다음 번호 영상(i+1번째 영상)의 좌측에서 기 설정된 크기(n×h; n<w)의 영역을 추출하여 영상(L(i+1)을 만드는 과정과, L(i) 영상과 R(i+1) 영상에서 동일한 영역을 찾아내는 과정과, 동일 영역으로 찾은 부분을 기준으로 i번째 영상과 i+1번째 영상을 결합하는 과정과, 이 과정을 1번째 영상부터 k-1번째 영상까지 적용하는 과정을 포함한다.A method of generating a panoramic image includes a process of sequentially assigning consecutively numbered images (for example, 1 to i, i to k) of consecutively photographed images of a predetermined size (w × h) (i + 1) -th image) of the next numbered image (i + 1) -th image by extracting an area of a predetermined size (mxh; m < A process of creating an image L (i + 1) by extracting a region of a predetermined size (n × h; n <w) and a process of finding the same region in an L (i) And combining the i-th image and the (i + 1) -th image based on the part found in the same area, and applying the process from the first image to the (k-1) th image.

위에서 설명한 파노라마 영상을 생성하는 방법은 정지 화상들을 이용한 파노라마 생성방법이고, 이하는 다수의 프레임들(frames)로 이루어진 동영상으로부터 파노라마를 생성하는 방법이다. 동영상으로부터 파노라마 영상을 생성하는 방법은 각 프레임의 중앙 부분 등과 같이 특정 영역을 계속 이어 붙이는 방법이다. 기 설정된 크기(w×h)의 연속적인 프레임들을 순서대로 번호(예를 들어, 1~i, i~k)를 부여하는 과정과, 기준 프레임(예를 들어, i번째 프레임)의 중앙에서 기 설정된 크기(m×h; m<w)의 영역을 추출하여 영상(M(i))을 만드는 과정과, 다음 번호의 프레임(i+1번째 프레임)의 중앙에서 기 설정된 크기(m×h; m<w)의 영역을 추출하여 영상(M(i+1))을 추출하는 과정과, M(i) 영상과 M(i+1) 영상을 결합하는 과정과, 이 과정을 1번째 프레임으로부터 k-1번째 프레임까지 적용하는 과정을 포함한다.The method of generating the panorama image described above is a panorama generation method using still images. Hereinafter, a method of generating a panorama from a moving image composed of a plurality of frames is described. A method of generating a panoramic image from a moving image is a method of continuously connecting a specific area such as a central portion of each frame. (E.g., 1 to i, i to k) of consecutive frames of a predetermined size (w × h) in sequence; A step of generating an image M (i) by extracting an area of a predetermined size (mxh; m <w) and a step of creating an image M (i) at a center of a frame (i + 1) (i) and M (i + 1) images by extracting a region of M (i + 1) k-1 < th > frame.

파노라마 영상을 생성하기 위한 방법은 촬영된 다수의 영상들 중에서 중앙에 있는 영상을 선택한 후, 선택된 영상의 전, 후에 위치된 영상들을 비교해서 동일 영역을 찾아내어 합성하는 방법이 일반적이다. 상술한 방법은 영상을 연속 촬영 시 카메라를 이동하여 차례대로 영상을 촬영하는 것을 전제로 한다. 상술한 전체 영상을 촬영하여 전체 영상의 파노라마 영상을 생성하는 것은 카메라 화각보다 큰 대상을 파노라마 영상으로 생성할 때는 가능하지만, 카메라 화각보다 작은 대상에 대해 파노라마 영상을 생성할 때는 적용이 용이하지 않다. 동영상으로부터 파노라마 영상을 생성하는 방법도 정지화상들로부터 파노라마 영상을 생성하는 방법과 동일한 문제가 있다.A method for generating a panoramic image is generally a method of selecting a center image among a plurality of photographed images and then comparing the images positioned before and after the selected image to find the same area and compositing the same. The above-described method is based on the assumption that the camera is moved to consecutively capture an image when the image is continuously captured. Generating a panoramic image of the entire image by capturing the entire image is possible when the object larger than the camera angle of view is generated as a panoramic image. However, when generating the panorama image for an object smaller than the camera angle of view, it is not easy to apply the panoramic image. A method of generating a panoramic image from a moving picture has the same problem as a method of generating a panoramic image from still images.

즉, 종래의 파노라마 영상 생성 방법은 촬영 수단(카메라 등)의 화각보다 작은 영상(또는 동영상)에는 적용이 용이하지 않은 문제가 있다.That is, the conventional panoramic image generating method has a problem that it is not easy to apply to a video (or moving picture) smaller than the angle of view of the photographing means (camera or the like).

카메라 화각보다 작은 영상들로부터 파노라마 영상을 만드는 방법은 대상을 촬영한 영상에서 대상 부분만을 크롭핑(cropping)하여 따로 영상을 만들게 된다. 그러나, 상술한 방법으로는 동화상에 대해서 또는 대상의 여러 면을 촬영하여 대상의 여러 면을 하나의 파노라마로 영상으로 생성하는 것이 용이하지 않다. 더욱이, 상술한 방법은 움직임이 있는 동적인 피사체 또는 피사체의 다양한 부분을 촬영해야되는 경우는 하나의 파노라마로 적용할 수 없다.In order to create a panoramic image from images smaller than the angle of view of the camera, cropping is performed only on the object in the captured image to create an image separately. However, with the above-described method, it is not easy to capture a moving image or a plurality of images of an object to generate an image in one panorama. Furthermore, the above-described method can not be applied as a panorama when a moving dynamic subject or various parts of the subject have to be photographed.

본 발명은 촬영 수단의 화각보다 작은 피사체로부터 파노라마 영상을 생성할 수 있는 방법을 제공하고자 한다. 즉, 본 발명은 움직이는 피사체 또는 피사체의 다양한 형태를 하나의 화면으로 구성된 파노라마 영상의 생성 방법을 제공하고자 한다. 본 발명은 피사체를 다양한 각도에서 촬영한 영상들로부터 파노라마 영상을 생성할 수 있는 방법을 제공하고자 한다.The present invention provides a method for generating a panoramic image from a subject smaller than the angle of view of the photographing means. That is, the present invention provides a method of generating a panoramic image composed of a moving object or various types of objects in one screen. The present invention provides a method for generating a panoramic image from images obtained by photographing a subject at various angles.

본 발명에 따른 파노라마의 생성 방법은,A method of generating a panorama according to the present invention includes:

(a) 파노라마 생성의 대상이 되는 피사체를 움직이면서 연속적으로 촬영함으로써 배경은 같고 피사체의 위치가 다른 다수의 영상들을 촬영하는 과정과;(a) capturing a plurality of images having the same background and different positions of a subject by continuously photographing a subject as a subject of panorama generation;

(b) 상기 (a) 과정에서 촬영된 영상들 중에서 파노라마를 생성하기 위한 영상에 포함된 대상 영역의 크기와 위치를 결정하는 과정과;(b) determining a size and a position of an object region included in an image for generating a panorama from the images photographed in the step (a);

(c) 상기 각 영상에서 대상 영역을 추출하는 과정과;(c) extracting a target region from each of the images;

(d) 추출된 대상 영역들 중에서 인접한 대상 영역들 간의 동일 지점을 검색하는 과정과;(d) searching for the same point between adjacent object regions among the extracted object regions;

(e) 동일 지점을 기준으로 인접한 대상 영역들이 결합된 파노라마를 생성하는 과정을 포함한다.(e) generating a panorama in which adjacent object regions are combined based on the same point.

본 발명은 촬상 수단의 화각보다 작은 피사체에 대해서 피사체를 움직이며 동영상을 촬영하거나 복수 개의 영상을 촬영 시 대상의 여러 면을 동시에 한 영상에 표현할 수 있는 파노라마 생성 방법을 제공할 수 있다. 즉, 본 발명에 따른 파노라마의 생성 방법은 촬상 수단을 고정한 상태에서 파노라마 촬영의 대상인 피사체를 움직이면서 촬영된 다수의 영상들로부터 파노라마를 생성함으로써 촬상 수단의 화각보다 큰 피사체의 파노라마 생성도 가능하다.The present invention can provide a panorama generation method capable of simultaneously displaying a plurality of images of an object on a plurality of images while photographing a moving image by moving a subject with respect to a subject smaller than the angle of view of the imaging means. That is, in the method of generating a panorama according to the present invention, it is possible to generate a panorama of a subject larger than the angle of view of the imaging means by generating a panorama from a plurality of images photographed while moving the subject, which is a target of the panorama shooting, with the imaging means fixed.

통상의 파노라마는 피사체가 산과 같이 풍경을 대상으로 하는 사진들로서, 특히 카메라의 촬영 범위를 넘는 거대한 피사체 전체를 영상으로 남기기 위한 방법이다. 반면에 본 발명은 다양한 면들 또는 다양한 입체감을 갖는 작은 크기의 피사체(카메라의 화각 또는 촬영 범위 이내에 포함되는 피사체)를 하나의 파노라마 영상으로서 다양한 형태를 하나의 영상으로 생성해 낼 수 있다.Conventional panoramas are photographs in which a subject is a landscape, such as a mountain, and in particular, a method for leaving an image of a huge subject all over the shooting range of the camera. On the other hand, the present invention can produce various types of images as a single panorama image on various surfaces or a small-sized subject having a variety of three-dimensional senses (the angle of view of the camera or a subject included within the shooting range).

도 1은 본 발명에 따른 파노라마 생성 방법을 설명하기 위한 순서도,
도 2는 도 1에 도시된 대상 영역의 크기 및 위치 산출의 방법을 설명하기 위한 순서도,
도 3은 본 발명에 따른 파노라마 생성 방법의 예를 설명하기 위한 도면.1 is a flowchart illustrating a panorama generation method according to an embodiment of the present invention.
FIG. 2 is a flowchart illustrating a method of calculating the size and position of the target area shown in FIG. 1. FIG.
3 is a view for explaining an example of a panorama generation method according to the present invention.

이하에서는 첨부도면들을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다. 본 발명을 설명함에 있어서, 관련된 공지기능, 혹은 구성에 대한 구체적인 설명은 본 발명의 요지를 모호하지 않게 하기 위하여 생략한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted so as to avoid obscuring the subject matter of the present invention.

본 발명은 복수의 영상들 각각의 파노라마 생성을 위한 대상 영역을 선정하고, 선정된 대상 영역 각각의 위치와 크기를 산출하고 대상 영역을 추출하며, 추출된 대상 영역들 간 공동의 동일 지점을 산출하며, 산출된 동일 지점을 기준으로 대상 영역들을 연결함으로써 파노라마 영상을 생성하는 방법이다.The present invention is characterized by selecting an object region for panorama generation of each of a plurality of images, calculating the position and size of each of the selected object regions, extracting the object region, calculating the same point of the joint between the extracted object regions And connecting the target regions based on the calculated same point, thereby generating a panoramic image.

도 1은 본 발명에 따른 파노라마 생성 방법을 설명하기 위한 순서도이다. 도 1은 복수의 영상을 이용해서 촬상 수단의 화각(영역)보다 작은 대상(피사체)에 대한 파노라마 영상을 생성하기 위한 방법의 순서도이다. 본 발명에 따른 파노라마 생성은 촬영 시 카메라는 고정한 상태에서 피사체를 움직여서 촬영하고, 이때 얻어진 영상들을 이용해서 파노라마 영상을 생성한다. 따라서, 촬영된 영상들은 도 3에 촬영된 바와 같이 피사체의 형태는 다르나 동일한 배경을 갖는다. 즉, 도 3의 사진들(a 내지 d)은 피사체를 회전시키며 여러 각도에서 촬영된 영상들로서, 추출된 대상 영역들의 예이다. 이후, 촬영된 영상들 간의 차 영상을 이용해서 대상 영역의 크기 및 위치 정보를 산출한다. 상술한 대상 영역을 각 영상에 적용해서 각 영상에서의 대상 영역을 추출한다. 추출된 대상 영역들 중에서 인접한 영상들 간 동일 지점을 검출하고 동일 지점을 기준으로 각 대상 영역의 상대적인 위치를 선택해서 파노라마 영상으로 합성한다. 즉, 본 발명은 촬영 수단은 고정한 상태에서 피사체를 움직이며 다수의 연속적인 영상들을 촬영하고, 촬영한 영상들 각각에서 파노라마 영상을 생성하기 위한 영역을 결정하고 결정된 대상 영역들 중 인접한 영상의 대상 영역들 간 동일한 지점을 검출하고 동일 지점을 기준으로 대상 영역들을 결합해서 파노라마 영상을 생성한다.1 is a flowchart for explaining a panorama generation method according to the present invention. 1 is a flowchart of a method for generating a panoramic image for an object (subject) smaller than an angle of view (area) of the imaging means using a plurality of images. In the panorama generation according to the present invention, the camera moves while the camera is stationary and is photographed, and a panorama image is generated using the obtained images. Therefore, the photographed images have the same background although the shape of the subject differs, as shown in FIG. In other words, the photographs (a to d) in FIG. 3 are examples of extracted target areas, which are images taken at various angles while rotating the subject. Then, the size and position information of the target area are calculated using difference images between the captured images. The object region described above is applied to each image to extract the object region in each image. The same point is detected between adjacent images among the extracted object areas, and the relative position of each object area is selected based on the same point and synthesized into a panoramic image. That is, according to the present invention, the photographing means moves a subject in a fixed state, photographs a plurality of continuous images, determines an area for generating a panoramic image in each of the photographed images, And the panoramic image is generated by combining the target areas based on the same point.

본 발명에 따른 파노라마의 생성 방법은 (a) 파노라마 생성의 대상이 되는 피사체를 움직이면서 연속적으로 촬영함으로써 배경은 같고 피사체의 위치가 다른 다수의 영상들을 촬영하는 과정(S1)과, (b) 상기 (a) 과정(S1)에서 촬영된 영상들 중에서 파노라마를 생성하기 위한 영상에 포함된 대상 영역의 크기와 위치를 결정하는 과정(S2)과, (c) 상기 각 영상에서 대상 영역을 추출하는 과정(S3)과, (d) 추출된 대상 영역들 중에서 인접한 대상 영역들 간의 동일 지점을 검색하는 과정(S4)과, (e) 동일 지점을 기준으로 인접한 대상 영역들이 결합된 파노라마를 생성하는 과정(S5)을 포함한다.A method of generating panoramas according to the present invention comprises the steps of: (a) photographing a plurality of images having the same background and different positions of a subject by continuously photographing a subject to be a subject of panorama generation; (b) a) a step S2 of determining a size and a position of an object area included in an image for creating a panorama among the images photographed in the step S1, and c) a step of extracting an object area from each of the images S3), (d) searching for the same point between adjacent object regions among the extracted object regions (S4), and (e) creating a panorama in which adjacent object regions are combined based on the same point ).

도 2는 도 1에 도시된 대상 영역의 크기 및 위치 산출의 과정(S2)을 설명하기 위한 순서도이다. 즉, 도 2는 복수의 영상들 각각의 대상 영역의 크기 및 위치를 산출하는 과정을 설명하기 위한 순서도이다. 복수의 영상에서 동일하게 적용 가능하나, 도 2는 도 3과 같이 4장의 영상을 예로 들어 설명한다. 우선, 촬영된 순서대로 제1 및 제2 영상 간의 제1 차영상과, 제3 및 제4 영상의 제2 차영상을 산출한다. 상기 제1 및 제2 차영상은 인접한 영상들 간 화소별로 차이를 산출한 영상이다. 상기 제1 및 제2 차영상으로부터 합영상을 산출한다. 상기 합 영상은 두 차영상의 각 화소별 화소값을 더한 영상이다. 상술한 차영상들 간의 합영상은 대상 영역을 구하기 위해 다음의 과정을 거친다.FIG. 2 is a flowchart for explaining the process of step S2 of calculating the size and position of the target area shown in FIG. That is, FIG. 2 is a flowchart for explaining a process of calculating the size and position of a target area of each of a plurality of images. The same applies to a plurality of images, but FIG. 2 illustrates four images as an example as shown in FIG. First, a first difference image between the first and second images and a second difference image between the third and fourth images are calculated in the order in which they are photographed. The first and second difference images are images obtained by calculating differences between adjacent images. And a sum image is calculated from the first and second difference images. The sum image is an image obtained by adding pixel values of respective pixels of the second order image. The sum image between the above-mentioned difference images is subjected to the following process to obtain the target area.

상기 (b) 과정(S2)은 (f) 인접한 영상들 간에서 차를 갖는 적어도 하나의 차 영상을 산출하는 과정(S21)과, (g) 차 영상들 간 합 영상을 산출하는 과정(S22)과, (h) 합 영상을 구성하는 화소의 최소 문턱값(Th)을 설정하는 과정(S23)과, (i) 화소 문턱값(Th)을 증가시키는 과정(S24; Th++)과, (j) 합 영상을 구성하는 화소들 중에서 문턱값 이상의 화소 위치(P)를 판단하는 과정(S25)과, (k) 합 영상의 모든 화소를 포함하는 최소 영역(A) 산출과정(S26)과, (l) 상기 (k) 과정에서 산출된 최소 영역(A)의 면적(AS)을 산출하는 과정(S27)과, (m) 상기 (l) 과정에서 산출된 최소 영역(A)과 문턱값(Th)이 변경되기 전 최소 영역(A) 간 크기를 비교하는 과정(S28)과, (n) 상기 (m) 과정(S28)에서 최소 영역(A)의 크기가 일정(예)하다면 최소 영역(A)을 대상 영역으로 선택하는 과정(S29)과, (o) 상기 대상 영역의 크기와 위치 정보를 산출하는 과정(S30)을 포함한다. 만약, 상기 (m) 과정(S28))에서 최소 영역과 문턱값이 변경되기 전 최소 영역 간 크기가 다른 경우(아니오)에, 상기(i) 내지(l) 과정을 반복한다.The step (S2) includes the steps of (S21) calculating at least one difference image having a difference between adjacent images, (g) calculating a sum image between the difference images (S22) (I) increasing the pixel threshold Th (S24; Th ++), and (j) setting a minimum threshold value Th of a pixel constituting the sum image, A step S25 of determining a pixel position P above a threshold value among the pixels constituting the sum image, a step S26 of calculating a minimum area A including all the pixels of the sum image, Calculating an area AS of the minimum area A calculated in the step (k), (m) calculating a minimum area A and a threshold Th calculated in the step (1) The minimum area A is compared with the minimum area A before the change is made in step S28 and if the minimum area A is constant in the step S28, (S29); and (o) selecting the target area It includes the step (S30) for obtaining the position information and size. (I) to (l) are repeated in the case where the minimum area and the minimum area size are different before the minimum area and the threshold value are changed in step (m) (step S28)).

상기 (h)과정(S23)에서 합 영상을 구성하는 화소의 최소 문턱값(Th)은 합영상을 구성하는 화소값 중 가장 작은 값을 문턱값으로 설정할 수 있다. 예를 들어 차영상에서 가질 수 있는 화소값이 0~255일 때, 최소 문턱값은 0으로 설정한다.In step (h) (S23), the minimum threshold value (Th) of the pixels constituting the sum image can be set to the smallest value among the pixel values constituting the sum image. For example, when the pixel value of the difference image is 0 to 255, the minimum threshold value is set to zero.

상기 (i)과정(S24)은 문턱값을 일정하게 증가시키는 과정이고, 상기 (j)과정(S25)은 합 영상을 구성하는 화소들 중에서 문턱값 이상의 화소 위치(P)를 판단하는 과정이다. 상기 (j)과정(S25)의 판단기준은 합영상에서 문턱값보다 큰 값을 가지는 화소는 1로, 문턱값보다 작은 값의 화소는 0으로 설정한다면, 상기 (j) 과정은 1을 갖는 화소(P)를 선택할 수 있다.The step (i) (S24) is a process of constantly increasing a threshold value, and the step (j) (S25) is a process of determining a pixel position P above a threshold value among pixels constituting a sum image. If the pixel having a value greater than the threshold value is set to 1 and the pixel having a value smaller than the threshold value is set to 0, the determination criterion in the step (j) (S25) P) can be selected.

상기 (k)과정(S26)은 합 영상의 화소(P)를 모두 포함하는 최소 영역(A) 산출과정하는 과정이다. 상기 (l)과정(S27)은 상기 (k)과정(S27)에서 얻어직 최소 영역(A)의 면적을 산출하는 과정이고, 상기 (m) 과정(S28)은 상기 (l)과정(S27)에서 얻어진 최소 영역(A)의 면적(AS)을 문턱값을 변경하기 전 과정의 화소 영역과 비교하는 과정이다. 만약, 현재 최소 영역의 면적이 그 전의 최소 영역과 비교해서 일정한 경우(예)는 본 발명에서 얻고자 하는 대상 영역으로 결정(S29)될 수 있다. 반대로, 문턱값에 따라서 최소 화소의 면적이 다르다면 대상 영역으로 선택될 수 없으며, 이 경우(아니오) 상기 상기(i) 내지(l) 과정을 반복한다.The step (k) (S26) is a process of calculating a minimum area A including all the pixels P of the sum image. In step S27, the area of the minimum area A obtained in step S27 is calculated. The step S28 is performed in step S27, (AS) of the minimum area (A) obtained in the step (c) is compared with the pixel area of the process before the threshold value is changed. If the area of the current minimum area is constant compared with the previous minimum area (YES), the target area to be obtained in the present invention can be determined (S29). Conversely, if the area of the minimum pixel is different according to the threshold value, it can not be selected as the target area, and in this case (NO), the above-mentioned (i) to (l) are repeated.

대상 영역이라면 문턱값의 변화되더라도 일정한 크기와 면적을 유지할 수 있다. 상술한 과정은 파노라마를 생성하기 위해 촬영된 각각의 영상들에 적용되며, 각 영상으로부터 얻어진 대상 영역들을 파노라마 생성에 이용한다. If the threshold value is changed, the target area can maintain a constant size and area. The above-described process is applied to each of the images photographed to generate a panorama, and uses the target areas obtained from the respective images for panorama generation.

S1: 다수의 영상들을 촬영하는 과정, S2: 대상 영역의 크기와 위치를 결정하는 과정, S3: 대상 영역을 추출하는 과정, S4: 인접한 대상 영역들 간의 동일 지점을 검색하는 과정, S5: 파노라마를 생성하는 과정S1: process of photographing a plurality of images, S2: process of determining the size and position of the target area, S3: process of extracting the target area, S4: process of searching the same point between adjacent target areas, S5: The process of creation

Claims

In the panorama generation method,
Acquiring a plurality of images including the same subject having different subject directions;
Extracting an object area corresponding to the same object from each of the plurality of images;
Searching for identical parts in adjacent object areas;
And generating a panorama of the same object by combining the adjacent object regions based on the same parts.

The method according to claim 1,
Wherein each of the plurality of images includes the same subject having the same background and different subject directions.

The method according to claim 1,
Wherein the acquiring includes capturing the plurality of images using a camera while moving the same subject.

The method according to claim 1,
Wherein the acquiring includes capturing the plurality of images using a fixed camera while rotating the same subject.

The method according to claim 1,
And determining a size and a position of the object area using a difference image between adjacent images among the plurality of images.

6. The method of claim 5,
Wherein the difference image is obtained by calculating pixel differences between the adjacent images.

The method according to claim 1,
Calculating difference images between adjacent images among the plurality of images;
Calculating a sum image of the difference images;
And determining a size and a position of the target area using the sum image.

8. The method of claim 7,
Wherein the difference image is obtained by calculating pixel differences between the adjacent images.

A computer-readable recording medium having recorded thereon a program for executing the panorama generating method according to any one of claims 1 to 8.

A digital camera having a computer-readable recording medium on which a program for executing the panorama generation method according to any one of claims 1 to 8 is recorded.

A portable communication terminal having a computer readable recording medium on which a program for executing the panorama generation method according to any one of claims 1 to 8 is recorded.