KR101868057B1 - Method for generating panoramic image and apparatus thereof - Google Patents

Method for generating panoramic image and apparatus thereof Download PDF

Info

Publication number
KR101868057B1
KR101868057B1 KR1020170009947A KR20170009947A KR101868057B1 KR 101868057 B1 KR101868057 B1 KR 101868057B1 KR 1020170009947 A KR1020170009947 A KR 1020170009947A KR 20170009947 A KR20170009947 A KR 20170009947A KR 101868057 B1 KR101868057 B1 KR 101868057B1
Authority
KR
South Korea
Prior art keywords
image
camera
extracting
panoramic
generating
Prior art date
Application number
KR1020170009947A
Other languages
Korean (ko)
Inventor
홍재성
정경화
전인호
홍한표
Original Assignee
재단법인대구경북과학기술원
재단법인 아산사회복지재단
울산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원, 재단법인 아산사회복지재단, 울산대학교 산학협력단 filed Critical 재단법인대구경북과학기술원
Priority to KR1020170009947A priority Critical patent/KR101868057B1/en
Application granted granted Critical
Publication of KR101868057B1 publication Critical patent/KR101868057B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/02—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with scanning movement of lens or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/503—Blending, e.g. for anti-aliasing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

The present invention relates to a method for generating a panoramic image, which includes the following steps: capturing a short distance 3D subject using first and second cameras arranged to have different projection points; obtaining a first image from the first camera and a second image from the second camera; generating an intermediate image using the first image and the second image; and generating the panoramic image based on images extracted from the first image, the second image, and the intermediate image, respectively. Accordingly, the present invention can obtain a wide capturing range.

Description

파노라마 영상 생성 방법 및 그 장치{METHOD FOR GENERATING PANORAMIC IMAGE AND APPARATUS THEREOF}TECHNICAL FIELD [0001] The present invention relates to a panoramic image generation method and apparatus,

본 발명은 복수의 카메라를 이용하여 파노라마 영상을 생성하는 방법 및 그 장치에 관한 것입니다. 보다 구체적으로, 복수의 카메라와 가까운 근거리의 3차원 피사체를 서로 다른 각도에서 촬영한 영상들을 기반으로 하나의 파노라마 영상을 생성하는 방법 및 그 장치에 관한 것이다.The present invention relates to a method and apparatus for generating a panoramic image using a plurality of cameras. More particularly, the present invention relates to a method and an apparatus for generating a panorama image based on images obtained by photographing a three-dimensional object close to a plurality of cameras at different angles.

일반적으로 파노라마 영상(PANORAMIC IMAGE)이란 획득하고자 하는 영상의 궤적을 미리 설정하고 그 궤적을 따라 영상을 촬영한 후 얻어진 영상을 이어 붙임으로써 획득한 영상을 말한다. In general, PANORAMIC IMAGE refers to an image acquired by pre-setting the trajectory of an image to be acquired and capturing the image along the trajectory and connecting the acquired image.

최근 3D, UHD 컨텐츠의 출현 이후, 파노라마 영상에 대한 수요가 전시관, 뉴스 룸, 옥외 구조물, 의료 시설 등을 통하여 점차 증가하고 있는 추세이다. 3D 컨텐츠의 입체감 제공, UHD 컨텐츠의 사실감 제공과 더불어 고품질 파노라마 서비스는 기존 HD 영상 미디어에 비하여 넓은 화각을 제공함으로써 사용자에게 극대화된 현장감을 제공한다.Since the advent of 3D and UHD contents in recent years, the demand for panoramic images is gradually increasing through exhibition halls, news rooms, outdoor structures, and medical facilities. In addition to providing stereoscopic 3D content and realistic UHD content, the high-quality panorama service provides a greater sense of presence to users by providing a wider angle of view than conventional HD video media.

종래의 파노라마 영상 장치는, 도 1의 (a) 및 (b)에 도시된 바와 같은 카메라 배치를 사용하여 파노라마 영상을 생성한다. 즉, 도 1의 (a)는 카메라 한대를 투영점을 기준으로 회전시키면서 촬영한 영상으로 파노라마 영상을 생성하는 방법이고, 도 1의 (b)는 두 카메라의 투영점을 동일한 위치에 고정시켜 촬영한 영상으로 파노라마 영상을 생성하는 방법이다. 이러한 방법들의 경우, 기존의 잘 알려진 파노라마 알고리즘을 이용하여 파노라마 영상을 생성할 수 있다. The conventional panoramic imaging apparatus generates a panoramic image by using a camera arrangement as shown in Figs. 1 (a) and 1 (b). That is, FIG. 1 (a) shows a method of generating a panoramic image from an image taken while rotating one camera with respect to a projection point, FIG. 1 (b) It is a method to generate a panorama image with one image. In these methods, a panoramic image can be generated using a known well known panorama algorithm.

그런데, 도 1의 (c)에 도시된 바와 같이, 두 카메라의 투영점들이 서로 이격되도록 배치되는 경우, 이전의 카메라 배치 방식에 비해 좀 더 넓은 시야각(a field of view)을 획득할 수 있지만, 기존의 잘 알려진 파노라마 알고리즘을 적용할 수 없다는 문제점이 있다. 따라서, 이와 같이 서로 다른 투영점을 갖도록 배치되는 복수의 카메라에서 근거리 3차원 피사체를 촬영한 영상들을 하나의 파노라마 영상으로 자연스럽게 합성하기 위한 파노라마 알고리즘을 개발할 필요가 있다. As shown in FIG. 1 (c), when the projection points of the two cameras are arranged to be spaced apart from each other, a wider field of view can be obtained than in the previous camera arrangement method, There is a problem that conventional well-known panorama algorithms can not be applied. Therefore, it is necessary to develop a panorama algorithm for naturally synthesizing images obtained by shooting a near-field three-dimensional object in a plurality of cameras arranged so as to have different projection points, as a single panorama image.

본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다. 또 다른 목적은 서로 다른 투영점을 갖도록 배치된 복수의 카메라에서 근거리 3차원 피사체를 촬영한 영상들을 기반으로 하나의 파노라마 영상을 생성하는 방법 및 그 장치를 제공함에 있다.The present invention is directed to solving the above-mentioned problems and other problems. Another object of the present invention is to provide a method and apparatus for generating a panorama image based on images of a near-field three-dimensional object photographed by a plurality of cameras arranged so as to have different projection points.

상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 서로 다른 투영점을 갖도록 배치된 제1 및 제2 카메라를 이용하여 근거리 3차원 피사체를 촬영하는 단계; 상기 제1 카메라로부터 제1 이미지를 획득하고, 상기 제2 카메라로부터 제2 이미지를 획득하는 단계; 상기 제1 이미지 및 제2 이미지를 이용하여 중간 이미지를 생성하는 단계; 및 상기 제1 이미지, 제2 이미지 및 중간 이미지에서 각각 추출한 영상들을 기반으로 파노라마 영상을 생성하는 단계를 포함하는 파노라마 영상 생성 방법을 제공한다. According to an aspect of the present invention, there is provided a method of photographing a near-field three-dimensional object using first and second cameras arranged to have different projection points, Obtaining a first image from the first camera and obtaining a second image from the second camera; Generating an intermediate image using the first image and the second image; And generating a panorama image based on the images extracted from the first image, the second image, and the intermediate image, respectively.

좀 더 바람직하게는, 상기 파노라마 영상 생성 방법의 중간 이미지는, 제1 카메라와 제2 카메라 사이의 중간 위치에서 근거리 3차원 피사체를 촬영할 때 나타날 것으로 예상되는 영상임을 특징으로 한다. More preferably, the intermediate image of the panoramic image generation method is a video image that is expected to appear when a near-point three-dimensional object is photographed at an intermediate position between the first camera and the second camera.

좀 더 바람직하게는, 상기 파노라마 영상 생성 방법은, 파노라마 영상에 대해 영상 후처리를 수행하는 단계를 더 포함하는 것을 특징으로 한다.More preferably, the panorama image generation method further includes performing an image post-processing on the panorama image.

좀 더 바람직하게는, 상기 파노라마 영상 생성 방법은, 제1 이미지로부터 제1 특징점들(feature points)을 추출하고, 제2 이미지로부터 제2 특징점들을 추출하는 단계를 더 포함하는 것을 특징으로 한다. More preferably, the panorama image generation method further includes extracting first feature points from the first image and extracting second feature points from the second image.

좀 더 바람직하게는, 상기 파노라마 영상 생성 방법은, 제1 및 제2 특징점들을 서로 매칭시켜 대응점들(corresponding points)을 추출하는 단계를 더 포함하는 것을 특징으로 한다.More preferably, the panorama image generation method further includes matching the first and second minutiae to each other and extracting corresponding points.

좀 더 바람직하게는, 상기 파노라마 영상 생성 방법의 대응점들은, 상기 대응점들은, SIFT(Scale-invariant feature transform) 알고리즘, Affine-SIFT 알고리즘, SUFT(Speeded Up Robust Features) 알고리즘, KAZE 알고리즘, 및 Accelerated-KAZE 알고리즘 중 적어도 하나를 이용하여 검출되는 것을 특징으로 한다.More preferably, corresponding points of the panoramic image generation method include corresponding points such as a Scale-invariant feature transform (SIFT) algorithm, an Affine-SIFT algorithm, a Speed Up Robust Feature (SUFT) algorithm, a KAZE algorithm, Algorithm of the present invention.

좀 더 바람직하게는, 상기 파노라마 영상 생성 방법의 중간 이미지 생성 단계는, 대응점들을 서로 연결하여 삼각형이 되도록 제1 및 제2 이미지를 분할하는 단계와, 상기 분할된 제1 및 제2 이미지에 대해 이미지 모핑 알고리즘(Image Morphing Algorism)을 적용하여 중간 이미지를 생성하는 단계를 더 포함하는 것을 특징으로 한다.More preferably, the intermediate image generation step of the panorama image generation method includes dividing the first and second images into triangles by connecting corresponding points to each other, And generating an intermediate image by applying a morphing algorithm (Image Morphing Algorithm).

좀 더 바람직하게는, 상기 파노라마 영상 생성 방법의 이미지 분할 단계는, 델로네 삼각분할(Delaunay Triangulation) 방법을 이용하여 제1 및 제2 이미지를 분할하는 것을 특징으로 한다.More preferably, the image segmentation step of the panorama image generation method divides the first and second images using a Delaunay triangulation method.

좀 더 바람직하게는, 상기 파노라마 영상 생성 방법에서, 중간 이미지의 좌표 값은 수학식 M(x, y)=(1-s)I(x, y)+sJ(x, y)를 통해 산출되는 것을 특징으로 한다.More preferably, in the panoramic image generation method, the coordinate value of the intermediate image is calculated through an equation M (x, y) = (1-s) I (x, y) + sJ .

좀 더 바람직하게는, 상기 파노라마 영상 생성 방법의 파노라마 영상 생성 단계는, 제1 이미지에서 추출한 제1 이미지 영역과, 제2 이미지에서 추출한 제2 이미지 영역과, 중간 이미지에서 추출한 제3 이미지 영역을 합성하는 것을 특징으로 한다.More preferably, the panorama image generation step of the panorama image generation method may include synthesizing a first image area extracted from the first image, a second image area extracted from the second image, and a third image area extracted from the intermediate image, .

본 발명의 다른 측면에 따르면, 제1 카메라로부터 제1 이미지를 획득하고, 상기 제1 카메라와 투영점이 다른 제2 카메라로부터 제2 이미지를 획득하는 영상 획득부; 상기 제1 이미지 및 제2 이미지를 이용하여 중간 이미지를 생성하는 중간영상 생성부; 상기 제1 이미지에서 제1 이미지 영역을 추출하고, 상기 제2 이미지에서 제2 이미지 영역을 추출하며, 상기 중간 이미지에서 제3 이미지 영역을 추출하는 영상 추출부; 및 상기 제1 내지 제3 이미지 영역들을 합성하여 파노라마 영상을 생성하는 영상 합성부를 포함하는 파노라마 영상 생성 장치를 제공한다. According to another aspect of the present invention, there is provided an image processing apparatus including an image acquiring unit acquiring a first image from a first camera and acquiring a second image from a second camera having a projection point different from that of the first camera; An intermediate image generation unit generating an intermediate image using the first image and the second image; An image extracting unit extracting a first image region from the first image, extracting a second image region from the second image, and extracting a third image region from the intermediate image; And an image synthesizer for synthesizing the first to third image areas to generate a panoramic image.

좀 더 바람직하게는, 상기 파노라마 영상 생성 장치는, 제1 이미지로부터 제1 특징점들을 추출하고, 제2 이미지로부터 제2 특징점들을 추출하는 특징점 추출부를 더 포함하는 것을 특징으로 한다. More preferably, the panoramic image generation apparatus further includes a feature point extraction unit for extracting the first feature points from the first image and extracting the second feature points from the second image.

좀 더 바람직하게는, 상기 파노라마 영상 생성 장치는, 파노라마 영상에 대해 이미지 블렌딩을 수행하는 영상 후처리부를 더 포함하는 것을 특징으로 한다.More preferably, the panoramic image generation apparatus further includes an image post-processing unit for performing image blending on the panoramic image.

본 발명의 또 다른 측면에 따르면, 제1 카메라로부터 제1 이미지를 획득하고, 상기 제1 카메라와 투영점이 다른 제2 카메라로부터 제2 이미지를 획득하는 과정; 상기 제1 이미지 및 제2 이미지를 이용하여 중간 이미지를 생성하는 과정; 및 상기 제1 이미지, 제2 이미지 및 중간 이미지에서 각각 추출한 영상들을 기반으로 파노라마 영상을 생성하는 과정을 컴퓨터 상에서 수행하기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체를 제공한다.According to another aspect of the present invention, there is provided a method of acquiring a first image from a first camera and acquiring a second image from a second camera having a projection point different from that of the first camera; Generating an intermediate image using the first image and the second image; And generating a panorama image based on the images extracted from the first image, the second image, and the intermediate image, respectively, on a computer.

본 발명의 실시 예들에 따른 파노라마 영상 생성 방법 및 그 장치의 효과에 대해 설명하면 다음과 같다. A panoramic image generation method and an effect of the panoramic image generation method according to embodiments of the present invention will be described as follows.

본 발명의 실시 예들 중 적어도 하나에 의하면, 서로 다른 투영점을 갖도록 배치된 복수의 카메라에서 촬영한 영상들에 대해 이미지 모핑 알고리즘을 적용하여 파노라마 영상을 생성함으로써, 종래의 카메라 배치 방식에 비해 좀 더 넓은 촬영 범위를 획득할 수 있다는 장점이 있다. According to at least one of the embodiments of the present invention, a panorama image is generated by applying an image morphing algorithm to images photographed by a plurality of cameras arranged so as to have different projection points, It is possible to acquire a wide shooting range.

또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 이미지 모핑 알고리즘을 활용하여 제1 카메라 영상과 제2 카메라 영상의 중간 영상을 생성하고, 상기 생성된 중간 영상을 파노라마 영상의 합성에 이용함으로써, 서로 다른 방향에서 촬영한 영상들을 하나의 파노라마 영상으로 자연스럽게 합성할 수 있다는 장점이 있다. According to at least one of the embodiments of the present invention, an intermediate image between the first camera image and the second camera image is generated using an image morphing algorithm, and the generated intermediate image is used for synthesizing the panorama image, It is possible to naturally synthesize images photographed in different directions into one panoramic image.

다만, 본 발명의 실시 예들에 따른 파노라마 영상 생성 방법 및 그 장치가 달성할 수 있는 효과는 이상에서 언급한 것들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.However, the method and apparatus for generating a panoramic image according to the embodiments of the present invention are not limited to those described above, and other effects not mentioned can be obtained from the following description, It will be understood by those of ordinary skill in the art.

도 1은 기존의 파노라마 알고리즘을 적용하기 위한 카메라 배치를 설명하는 도면;
도 2는 본 발명의 일 실시 예에 따른 파노라마 영상 생성 장치의 구성을 설명하기 위한 블록도;
도 3은 본 발명의 일 실시 예에 따른 파노라마 영상 생성부의 구성을 설명하기 위한 블록도;
도 4는 본 발명에 적용되는 이미지 모핑 알고리즘을 설명하기 위해 참조되는 도면;
도 5는 두 카메라 간의 각도를 변화시키면서 촬영한 영상들에 대해 이미지 모핑 알고리즘을 적용한 결과를 나타내는 도면;
도 6은 본 발명의 일 실시 예에 따른 파노라마 영상 생성 장치의 동작을 설명하는 순서도;
도 7a 내지 도 7d는 듀얼 카메라로 파노라마 영상을 생성하는 과정을 설명하기 위해 참조되는 도면.FIG. 1 illustrates a camera arrangement for applying a conventional panoramic algorithm; FIG.
2 is a block diagram illustrating a configuration of a panoramic image generation apparatus according to an exemplary embodiment of the present invention;
3 is a block diagram illustrating a configuration of a panoramic image generation unit according to an exemplary embodiment of the present invention;
4 is a diagram referred to describe an image morphing algorithm applied to the present invention;
5 is a diagram illustrating a result of applying an image morphing algorithm to images photographed while changing angles between two cameras;
FIG. 6 is a flowchart illustrating an operation of the panoramic image generation apparatus according to an embodiment of the present invention; FIG.
7A to 7D are diagrams for describing a process of generating a panoramic image with a dual camera.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 즉, 본 발명에서 사용되는 '부'라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '부'는 어떤 역할들을 수행한다. 그렇지만 '부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '부'들로 결합되거나 추가적인 구성요소들과 '부'들로 더 분리될 수 있다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, wherein like reference numerals are used to designate identical or similar elements, and redundant description thereof will be omitted. The suffix "module" and " part "for the components used in the following description are given or mixed in consideration of ease of specification, and do not have their own meaning or role. That is, the term 'part' used in the present invention means a hardware component such as software, FPGA or ASIC, and 'part' performs certain roles. However, 'minus' is not limited to software or hardware. The " part " may be configured to reside on an addressable storage medium and may be configured to play back one or more processors. Thus, by way of example, and by no means, the terms " component " or " component " means any combination of components, such as software components, object- oriented software components, class components and task components, Subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays and variables. The functions provided in the components and parts may be combined into a smaller number of components and parts or further separated into additional components and parts.

또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. In the following description of the embodiments of the present invention, a detailed description of related arts will be omitted when it is determined that the gist of the embodiments disclosed herein may be blurred. It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are intended to provide further explanation of the invention as claimed. , ≪ / RTI > equivalents, and alternatives.

본 발명은 서로 다른 투영점을 갖도록 배치된 복수의 카메라에서 근거리 3차원 피사체를 촬영한 영상들을 기반으로 하나의 파노라마 영상을 생성하는 방법 및 그 장치를 제안한다. The present invention proposes a method and apparatus for generating one panoramic image based on images of a near-field three-dimensional object photographed by a plurality of cameras arranged so as to have different projection points.

이하에서는, 본 발명의 다양한 실시 예들에 대하여, 도면을 참조하여 상세히 설명한다. Hereinafter, various embodiments of the present invention will be described in detail with reference to the drawings.

도 2는 본 발명의 일 실시 예에 따른 파노라마 영상 생성 장치의 구성을 설명하기 위한 블록도이다. 2 is a block diagram illustrating a configuration of a panoramic image generation apparatus according to an exemplary embodiment of the present invention.

도 2를 참조하면, 본 발명에 따른 파노라마 영상 생성 장치(100)는 제1 카메라(110), 제2 카메라(120), 입력부(130), 출력부(140), 메모리(150) 및 파노라마 영상 생성부(160) 등을 포함할 수 있다. 도 2에 도시된 구성요소들은 파노라마 영상 생성 장치를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서상에서 설명되는 파노라마 영상 생성 장치는 위에서 열거된 구성요소들보다 많거나, 또는 적은 구성요소들을 가질 수 있다.2, a panoramic image generating apparatus 100 according to the present invention includes a first camera 110, a second camera 120, an input unit 130, an output unit 140, a memory 150, A generating unit 160, and the like. The components shown in FIG. 2 are not essential for implementing the panoramic image generation apparatus, and thus the panoramic image generation apparatus described in this specification can have more or fewer components than those listed above.

제1 및 제2 카메라(110, 120)는, 카메라 센서(예를 들어, CCD, CMOS 등), 포토 센서(또는 이미지 센서) 및 레이저 센서 중 적어도 하나를 포함할 수 있다. 또한, 제1 및 제2 카메라(110, 120)는 적어도 하나의 라인을 따라 배열되는 복수의 렌즈를 포함할 수 있다. 상기 복수의 렌즈는 행렬(matrix) 형식으로 배열될 수 있다.The first and second cameras 110 and 120 may include at least one of a camera sensor (e.g., CCD, CMOS, etc.), a photosensor (or an image sensor), and a laser sensor. In addition, the first and second cameras 110 and 120 may include a plurality of lenses arranged along at least one line. The plurality of lenses may be arranged in a matrix form.

제1 및 제2 카메라(110, 120)는 촬영 모드에서 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리할 수 있다. 처리된 화상 프레임은 출력부(140)에 표시되거나, 메모리(150)에 저장되거나, 혹은 파노라마 영상 생성부(160)로 입력될 수 있다. 한편, 설명의 편의상, 본 실시 예에서는, 두 대의 카메라(즉, 듀얼 카메라)가 파노라마 영상 생성 장치(100)에 설치되는 것을 예시하고 있으나, 이를 제한하지는 않으며 그 보다 더 많은 개수의 카메라들이 설치될 수도 있다.The first and second cameras 110 and 120 can process image frames such as still images or moving images obtained by the sensors in the photographing mode. The processed image frame can be displayed on the output unit 140, stored in the memory 150, or input to the panorama image generating unit 160. [ Meanwhile, for convenience of description, in the present embodiment, two cameras (that is, a dual camera) are installed in the panoramic image generation apparatus 100. However, the present invention is not limited thereto and a larger number of cameras may be installed It is possible.

파노라마 영상 생성 장치(100)에 구비되는 제1 및 제2 카메라(110, 120)는 입체 영상 또는 파노라마 영상을 구현하기 위한 좌 영상 및 우 영상을 획득하도록, 스트레오 구조로 배치될 수 있다. 이때, 제1 및 제2 카메라(110, 120)는 서로 다른 투영점을 갖도록 일정 거리만큼 이격되어 고정될 수 있다. 이에 따라, 제1 및 제2 카메라(110, 120)는 투영점을 서로 달리하여 서로 다른 각도에서 근거리 3차원 피사체를 촬영할 수 있다. The first and second cameras 110 and 120 provided in the panoramic image generation apparatus 100 may be arranged in a stereo structure to obtain a left image and a right image for implementing a stereoscopic image or a panoramic image. At this time, the first and second cameras 110 and 120 may be spaced apart from each other by a predetermined distance to have different projection points. Accordingly, the first and second cameras 110 and 120 can photograph a near-field three-dimensional object at different angles by different projection points.

입력부(130)는 사용자로부터 정보를 입력받기 위한 사용자 입력부(예를 들어, 터치키(touch key), 푸시키(mechanical key) 등)를 포함할 수 있다. 사용자 입력부는 사용자로부터 정보를 입력받기 위한 것으로서, 사용자 입력부를 통해 정보가 입력되면, 입력된 정보에 대응되도록 파노라마 영상 생성 장치(100)의 동작을 제어할 수 있다. 이러한 사용자 입력부는 기계식 (mechanical) 입력수단(또는, 메커니컬 키, 예를 들어, 파노라마 영상 생성 장치(100)에 위치하는 버튼, 돔 스위치 (dome switch), 조그 휠, 조그 스위치 등) 및 터치식 입력수단을 포함할 수 있다.The input unit 130 may include a user input unit (e.g., a touch key, a mechanical key, and the like) for receiving information from a user. The user input unit is for receiving information from a user. When information is inputted through the user input unit, the operation of the panoramic image generating apparatus 100 can be controlled to correspond to the input information. The user input unit may include a mechanical input unit (or a mechanical key, for example, a button located in the panoramic image generation apparatus 100, a dome switch, a jog wheel, a jog switch, etc.) Means.

출력부(140)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부, 음향 출력부, 및 광 출력부 중 적어도 하나를 포함할 수 있다. 디스플레이부는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 파노라마 영상 생성 장치(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부로써 기능함과 동시에, 파노라마 영상 생성 장치(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.The output unit 140 may generate at least one of a display unit, an audio output unit, and a light output unit. The display unit may have a mutual layer structure with the touch sensor or may be integrally formed to realize a touch screen. The touch screen functions as a user input unit for providing an input interface between the panoramic image generation apparatus 100 and a user, and can provide an output interface between the panoramic image generation apparatus 100 and a user.

음향 출력부는 촬영 모드 또는 음성인식 모드 등에서 메모리(150)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력부는 파노라마 영상 생성 장치(100)에서 수행되는 기능과 관련된 다양한 음향 신호를 출력할 수 있다. 광 출력부는 파노라마 영상 생성 장치(100)에서 발생되는 이벤트를 사용자에게 알리기 위한 광 신호를 출력할 수 있다.The sound output unit can output the audio data stored in the memory 150 in the photographing mode or the voice recognition mode. The sound output unit may output various sound signals related to the functions performed by the panoramic image generation apparatus 100. [ The optical output unit may output an optical signal for informing a user of an event generated in the panoramic image generation apparatus 100. [

메모리(150)는 파노라마 영상 생성 장치(100)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(150)는 파노라마 영상 생성 장치(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 파노라마 영상 생성 장치(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. The memory 150 stores data supporting various functions of the panoramic image generation apparatus 100. [ The memory 150 may store a plurality of application programs (application programs or applications) driven by the panoramic image generation apparatus 100, data for operation of the panoramic image generation apparatus 100, and commands.

메모리(150)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.The memory 150 may be a flash memory type, a hard disk type, a solid state disk type, an SDD type (Silicon Disk Drive type), a multimedia card micro type ), Card type memory (e.g., SD or XD memory), random access memory (RAM), static random access memory (SRAM), read-only memory (ROM), electrically erasable programmable read memory, a programmable read-only memory (PROM), a magnetic memory, a magnetic disk, and / or an optical disk.

파노라마 영상 생성부(160)는 제1 및 제2 카메라(110, 120)로부터 입력된 영상들을 합성하여 하나의 파노라마 영상을 생성하는 동작을 수행할 수 있다. 이러한 파노라마 영상 생성부(160)는 제어부(미도시) 내에 하드웨어 및/또는 소프트웨어의 형태로 구현될 수 있다. The panorama image generating unit 160 may combine the images input from the first and second cameras 110 and 120 to generate a panorama image. The panorama image generating unit 160 may be implemented in hardware and / or software in a control unit (not shown).

제어부는 메모리(150)에 저장된 응용 프로그램과 관련된 동작과, 통상적으로 파노라마 영상 생성 장치(100)의 전반적인 동작을 제어한다. 나아가 제어부는 이하에서 설명되는 다양한 실시 예들을 본 발명에 따른 파노라마 영상 생성 장치(100) 상에서 구현하기 위하여, 위에서 살펴본 구성요소들을 중 적어도 하나를 조합하여 제어할 수 있다.The control unit controls the operation related to the application program stored in the memory 150 and the overall operation of the panoramic image generation apparatus 100 in general. In addition, the control unit may control at least one of the above-described components in order to implement various embodiments described below on the panoramic image generation apparatus 100 according to the present invention.

도 3은 본 발명의 일 실시 예에 따른 파노라마 영상 생성부의 구성을 설명하기 위한 블록도이다.3 is a block diagram illustrating a configuration of a panoramic image generation unit according to an exemplary embodiment of the present invention.

도 3을 참조하면, 본 발명에 따른 파노라마 영상 생성부(160, 200)는, 영상 획득부(210), 특징점 추출부(220), 중간영상 생성부(230), 영상 추출부(240), 영상 합성부(250), 및 영상 후처리부(260) 등을 포함할 수 있다. 도 3에 도시된 구성요소들은 파노라마 영상 생성부(200)를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서상에서 설명되는 파노라마 영상 생성부는 위에서 열거된 구성요소들보다 많거나, 또는 적은 구성요소들을 가질 수 있다. 3, the panoramic image generating units 160 and 200 according to the present invention include an image obtaining unit 210, a feature point extracting unit 220, an intermediate image generating unit 230, an image extracting unit 240, An image synthesis unit 250, an image post-processing unit 260, and the like. The components shown in FIG. 3 are not essential for implementing the panoramic image generation unit 200, so that the panoramic image generation unit described in this specification can have more or fewer components than the above-listed components have.

영상 획득부(210)는 제1 카메라(110)를 통해 촬영된 제1 영상과 제2 카메라(120)를 통해 촬영된 제2 영상을 획득(또는 수집)하는 동작을 수행할 수 있다. 즉, 영상 획득부(210)는 제1 카메라(110)에서 출력된 제1 영상과, 제2 카메라(120)에서 출력된 제2 영상을 수신하여 해당 영상들을 임시로 저장할 수 있다. The image acquiring unit 210 may acquire (or collect) a first image photographed through the first camera 110 and a second image photographed through the second camera 120. That is, the image acquisition unit 210 may receive the first image output from the first camera 110 and the second image output from the second camera 120, and temporarily store the images.

특징점 추출부(220)는 공통 영역(또는 중첩 영역)을 갖는 제1 및 제2 영상들에 대해서 특징점들(Feature points)을 추출하는 동작을 수행할 수 있다. 각각의 영상에서 특징점들이 추출되면, 특징점 추출부(220)는 공통 영역에서 두 영상 간의 특징점들을 상호 매칭시켜 대응점들(corresponding points)을 검출할 수 있다. The feature point extracting unit 220 may extract feature points for the first and second images having a common region (or overlap region). When the feature points are extracted from the respective images, the feature point extracting unit 220 can detect the corresponding points by matching the feature points between the two images in the common region.

특징점 추출부(220)는 SIFT(Scale-invariant feature transform), Affine-SIFT, SUFT(Speeded Up Robust Features), KAZE, Accelerated-KAZE 등과 같은 특징점 추출 및 매칭 알고리즘을 사용하여 대응점들을 검출할 수 있다. 또한, 특징점 추출부(220)는 레이저 또는 프로젝터로 임의로 물체에 미리 결정된 패턴을 방사하여 대응점들을 검출할 수도 있다.The feature point extracting unit 220 can detect corresponding points using feature point extraction and matching algorithms such as Scale-invariant feature transform (SIFT), Affine-SIFT, SUFT (Speed Up Robust Features), KAZE and Accelerated-KAZE. The feature point extracting unit 220 may also detect corresponding points by radiating a predetermined pattern to an object arbitrarily with a laser or a projector.

중간영상 생성부(230)는 특징점 추출부(220)에서 추출한 대응점들과 이미지 모핑 알고리즘(Image Morphing Algorism)을 이용하여 제1 영상과 제2 영상의 중간 영상을 생성할 수 있다. 여기서, 중간 영상(intermediate image)이란 제1 카메라(110)와 제2 카메라(120) 사이, 즉 두 카메라의 중간 위치에서 3차원 피사체를 촬영할 때 나타날 것으로 예상되는 영상을 의미한다. 즉, 중간영상 생성부(230)는 제1 영상과 제2 영상을 이용하여 가상의 영상을 생성할 수 있다.The intermediate image generating unit 230 may generate an intermediate image between the first image and the second image using the corresponding points extracted from the feature point extracting unit 220 and an image morphing algorithm (Image Morphing Algorithm). Here, the intermediate image means an image that is expected to appear when the three-dimensional object is photographed between the first camera 110 and the second camera 120, that is, at an intermediate position between the two cameras. That is, the intermediate image generation unit 230 may generate a virtual image using the first image and the second image.

가령, 도 3에 도시된 바와 같이, 중간영상 생성부(230)는 특징점 추출부(220)에서 추출한 대응점들을 서로 연결하여 삼각형이 되도록 이미지를 분할할 수 있다. 이때, 중간영상 생성부(230)는 델로네 삼각분할(Delaunay Triangulation) 방법을 사용하여 해당 이미지를 분할할 수 있다. 상기 델로네 삼각분할 방법은 평면 위의 점들을 삼각형으로 연결하여 공간을 분할할 때, 이 삼각형들의 내각의 최소값이 최대가 되도록 하는 분할을 의미한다.3, the intermediate image generating unit 230 may divide the image into triangles by connecting the corresponding points extracted by the feature point extracting unit 220 to each other. At this time, the intermediate image generating unit 230 may divide the corresponding image using the Delaunay Triangulation method. The delone triangulation method refers to a division in which the minimum value of the internal angles of the triangles is maximized when the space is divided by connecting the points on the plane with triangles.

중간영상 생성부(230)는, 델로네 삼각분할 방법을 사용하여, 삼각형 모양으로 분할된 I 이미지(410)와 J 이미지(420)를 각각 생성할 수 있다. 여기서, I 삼각형(410)의 꼭지점들(A, B, C)은, 제1 영상에서 추출된 대응점들(corresponding points)일 수 있다. 그리고, J 삼각형(420)의 꼭지점들(a, b, c)은 제2 영상에서 추출된 대응점들(corresponding points)일 수 있다.The intermediate image generating unit 230 may generate the I image 410 and the J image 420, which are divided into triangular shapes, using the Deline Triangulation method. Here, the vertices A, B, and C of the I triangle 410 may be corresponding points extracted from the first image. The vertexes (a, b, c) of the J triangle 420 may be corresponding points extracted from the second image.

중간영상 생성부(230)는, 삼각형으로 분할된 I 이미지(410)와 J 이미지(420)에 대해 이미지 모핑 알고리즘을 각각 적용하여 중간 이미지(즉, M 이미지, 430)를 생성할 수 있다. The intermediate image generation unit 230 may generate an intermediate image (i.e., M image 430) by applying an image morphing algorithm to the I image 410 divided by the triangle and the J image 420, respectively.

좀 더 구체적으로, 중간영상 생성부(230)는, 아래 수학식 1을 이용하여 중간 이미지(430)의 좌표 값을 획득할 수 있다. More specifically, the intermediate image generating unit 230 may acquire the coordinate value of the intermediate image 430 using Equation 1 below.

Figure 112017007338496-pat00001
Figure 112017007338496-pat00001

여기서, M(x, y)는 중간 이미지의 좌표 값, I(x, y)는 제1 이미지의 좌표 값, J(x, y)는 제2 이미지의 좌표 값임.Here, M (x, y) is the coordinate value of the intermediate image, I (x, y) is the coordinate value of the first image, and J (x, y) is the coordinate value of the second image.

중간영상 생성부(230)는, 수학식 1의 S 값을 0.5로 설정한 경우, I 이미지(410)의 좌표 값(x, y)과 J 이미지(420)의 좌표 값(x, y)의 중간 좌표 값(x, y)을 얻을 수 있다. 이와 동일한 방식으로, I 삼각형(410)의 세 꼭지점(A, B, C)에 관한 좌표 값과 J 삼각형(420)의 세 꼭지점(a, b, c)에 관한 좌표 값을 수학식 1에 적용하면, 중간영상 생성부(230)는, M 삼각형(430)의 세 꼭지점에 관한 좌표 값을 구할 수 있다.The intermediate image generating unit 230 generates an intermediate image of the coordinate value x and y of the I image 410 and the coordinate value x and y of the J image 420 when the S value of Equation 1 is set to 0.5, The intermediate coordinate values (x, y) can be obtained. In the same manner, the coordinate values of the three vertexes (A, B, C) of the I triangle 410 and the coordinate values of the three vertexes (a, b, c) of the J triangle 420 are applied to the equation , The intermediate image generating unit 230 can obtain the coordinate values of the three vertexes of the M triangle 430.

M 삼각형(430)이 구해지면, 중간영상 생성부(230)는, I 삼각형(410)과 M 삼각형(430) 간의 Homography matrix(HIM)와, J 삼각형(420)과 M 삼각형(430) 간의 Homography matrix(HMJ)를 계산할 수 있다.When the M triangle 430 is obtained, the intermediate image generating unit 230 generates a homography matrix H IM between the I triangle 410 and the M triangle 430 and a homography matrix H IM between the J triangle 420 and the M triangle 430 Homography matrix (H MJ ) can be calculated.

중간영상 생성부(230)는, I 삼각형(410)에 HIM 매트릭스를 곱하여 I 삼각형(410)을 M 삼각형 모양으로 변환시킬 수 있고, J 삼각형(420)에 HMJ 매트릭스를 곱하여 J 삼각형(420)을 M 삼각형 모양으로 변환시킬 수 있다.The intermediate image generation unit 230 may convert the I triangle 410 into the M triangle by multiplying the I triangle 410 by the H IM matrix and multiply the J triangle 420 by the H MJ matrix to generate the J triangle 420 ) Into an M triangle shape.

중간영상 생성부(230)는, M 삼각형 모양으로 변한 I 삼각형과 J 삼각형을 0.5: 0.5의 비율로 중첩할 수 있다(S=0.5). 중간영상 생성부(230)는, 제1 및 제2 영상을 구성하는 모든 삼각형 이미지에 대해 상술한 과정들을 반복할 수 있다. 이와 같은 과정들이 모두 완료되면, 중간영상 생성부(230)는, 이미지 모핑 알고리즘을 통해 획득한 M 삼각형 영상들을 모두 결합(또는 통합)하여 제1 영상과 제2 영상의 중간 영상을 생성할 수 있다. The intermediate image generating unit 230 can superimpose I triangles converted into M triangles and J triangles at a ratio of 0.5: 0.5 (S = 0.5). The intermediate image generation unit 230 may repeat the above-described processes for all the triangle images constituting the first and second images. When all of the above processes are completed, the intermediate image generating unit 230 may combine (or integrate) the M triangle images acquired through the image morphing algorithm to generate an intermediate image between the first image and the second image .

도 5는 두 카메라 간의 각도(θ)를 변화시키면서 촬영한 영상들에 대해 이미지 모핑 알고리즘을 적용한 결과를 나타내는 도면이다. 즉, 도 5의 (a)는 45도의 각도 차이를 갖는 두 카메라에서 촬영한 영상들에 모핑 알고리즘을 적용한 결과를 나타내고, 도 5의 (b)는 125도의 각도 차이를 갖는 두 카메라에서 촬영한 영상에 모핑 알고리즘을 적용한 결과를 나타낸다. 5 is a diagram showing a result of applying an image morphing algorithm to images photographed while changing an angle? Between two cameras. 5 (a) shows the result of applying the morphing algorithm to images taken by two cameras having an angle difference of 45 degrees, and FIG. 5 (b) We show the result of applying the morphing algorithm.

도 5의 (a)에 도시된 바와 같이, 45도의 각도를 갖도록 배치된 두 카메라(510, 520)를 통해 촬영한 제1 및 제2 영상(515, 525)으로부터 대응점들(Corresponding points)을 추출하여 이미지 모핑 알고리즘을 적용한 결과, 색상 왜곡과 기하학 왜곡이 어느 정도 발생하지만, 중간 영상으로 활용 가능한 영상(530)을 생성할 수 있음을 확인할 수 있다. As shown in FIG. 5 (a), corresponding points are extracted from first and second images 515 and 525 taken through two cameras 510 and 520 arranged to have an angle of 45 degrees. As a result of applying the image morphing algorithm, it can be seen that an image 530 that can be used as an intermediate image can be generated although color distortion and geometric distortion occur to some extent.

마찬가지로, 도 5의 (b)에 도시된 바와 같이, 125도의 각도를 갖도록 배치된 두 카메라(540, 550)를 통해 촬영한 제1 및 제 2 영상(545, 555)으로부터 대응점들(Corresponding points)을 추출하여 이미지 모핑 알고리즘을 적용한 결과, 색상 왜곡과 기하학 왜곡이 어느 정도 발생하지만, 중간 영상으로 활용 가능한 영상(560)을 생성할 수 있음을 확인할 수 있다. Likewise, as shown in FIG. 5 (b), corresponding points are extracted from the first and second images 545 and 555 taken through two cameras 540 and 550 arranged to have an angle of 125 degrees, As a result of applying the image morphing algorithm, it is possible to generate an image 560 that can be used as an intermediate image, although color distortion and geometric distortion occur to some extent.

한편, 본 실시 예에서는, 수학식 1의 S 값을 0.5로 설정하여 하나의 중간 영상을 생성하는 것을 예시하고 있으나 이를 제한하지는 않으며, S 값을 0.25, 0.5, 0.75로 설정하여 3개의 중간 영상을 생성할 수 있다. 또한, S 값을 서로 다른 값으로 설정하여, 3개보다 더 많거나 혹은 더 적은 개수의 중간 영상들을 생성할 수 있음은 당업자에게 자명할 것이다. Meanwhile, in the present embodiment, one intermediate image is generated by setting the S value of Equation 1 to 0.5, but the present invention is not limited thereto. The S value may be set to 0.25, 0.5 or 0.75, Can be generated. It will also be apparent to those skilled in the art that by setting the S values to different values, more or fewer intermediate images can be generated.

다시 도 3을 참조하면, 영상 추출부(240)는 제1 영상, 제2 영상, 및 중간 영상에서 필요한 영역을 각각 추출하는 동작을 수행할 수 있다. 가령, 영상 추출부(240)는 왼쪽 영상에서는 왼쪽에서부터 1/3 지점까지의 영상, 오른쪽 영상에서는 오른쪽에서부터 1/3 지점까지의 영상, 중간 영상에서는 중간 지점을 중심으로 1/3에 해당하는 영상을 추출할 수 있다. 여기서, 1/3이라는 구간의 비율은 고정된 것이 아니라, 촬영 환경 또는 상황 등에 따라 변경 가능하도록 구성할 수 있다. Referring again to FIG. 3, the image extracting unit 240 may extract an area necessary for the first image, the second image, and the intermediate image, respectively. For example, the image extracting unit 240 extracts the image from the left to the 1/3 point in the left image, the image from the right to the 1/3 point in the right image, the image corresponding to 1/3 around the intermediate point in the intermediate image, Can be extracted. Here, the ratio of the section of 1/3 is not fixed, but can be configured to be changeable according to the photographing environment or the situation.

영상 합성부(250)는 제1 영상, 제2 영상, 및 중간 영상에서 각각 추출한 일부 영상들을 자연스럽게 붙이는 동작(즉, 일부 영상들을 합성하는 동작)을 수행할 수 있다. 즉, 영상 합성부(250)는 제1 영상, 제2 영상, 및 중간 영상에서 각각 추출한 일부 영상들을 합성하여 하나의 파노라마 영상을 생성할 수 있다. The image synthesizer 250 may perform an operation of naturally attaching the partial images extracted from the first image, the second image, and the intermediate image (that is, combining some images). That is, the image combining unit 250 may combine some images extracted from the first image, the second image, and the intermediate image to generate one panorama image.

영상 후처리부(260)는, 영상 왜곡, 색상 왜곡, 기하학 왜곡 등을 보정하기 위해, 이미지 필터링(Image filtering), 이미지 블렌딩(Image blending)등과 같은 영상 처리를 상기 생성된 파노라마 영상에 대해 수행할 수 있다. The image post-processing unit 260 may perform image processing such as image filtering, image blending, and the like on the generated panoramic image to correct image distortion, color distortion, geometric distortion, have.

도 6은 본 발명의 일 실시 예에 따른 파노라마 영상 생성 장치의 동작을 설명하는 순서도이다. 6 is a flowchart illustrating an operation of the panoramic image generation apparatus according to an exemplary embodiment of the present invention.

파노라마 영상 생성 장치(100)는, 서로 다른 투영점을 갖도록 배치된 제1 및 제2 카메라(110, 120)를 활성화하여 전방에 위치하는 근거리 3차원 피사체를 촬영할 수 있다(S610). The panoramic image generation apparatus 100 may activate the first and second cameras 110 and 120 arranged so as to have different projection points so as to take a close-up three-dimensional object located at the front (S610).

파노라마 영상 생성 장치(100)는, 제1 카메라(110)로부터 근거리 3차원 피사체를 촬영한 제1 이미지를 획득할 수 있고, 제2 카메라(120)로부터 동일한 피사체를 촬영한 제2 이미지를 획득할 수 있다(S620). 여기서, 제1 이미지는 제1 카메라(110)로 근거리 3차원 피사체를 왼쪽 방향에서 촬영한 이미지이고, 제2 이미지는 제2 카메라(120)로 근거리 3차원 피사체를 오른쪽 방향에서 촬영한 이미지일 수 있다. The panoramic image generating apparatus 100 may acquire a first image obtained by photographing a near-field three-dimensional object from the first camera 110 and acquire a second image obtained by photographing the same object from the second camera 120 (S620). Here, the first image is an image obtained by photographing a near-field three-dimensional subject from the left direction by the first camera 110, and the second image is an image obtained by photographing a near-field three-dimensional object from the right direction by the second camera 120 have.

파노라마 영상 생성 장치(100)는, 제1 이미지 및 제2 이미지로부터 특징점들(Feature points)을 추출하고, 두 이미지 간의 특징점들을 서로 매칭시켜 대응점들(corresponding points)을 검출할 수 있다(S630). 이때, 파노라마 영상 생성 장치(100)는, SIFT, Affine-SIFT, SUFT, KAZE, AKAZE 등과 같은 특징점 추출 및 매칭 알고리즘을 이용하여 복수의 대응점들을 검출할 수 있다. The panoramic image generation apparatus 100 may extract feature points from the first image and the second image, match feature points of the two images to each other, and detect corresponding points in operation S630. At this time, the panoramic image generation apparatus 100 can detect a plurality of corresponding points using feature point extraction and matching algorithms such as SIFT, Affine-SIFT, SUFT, KAZE, and AKAZE.

파노라마 영상 생성 장치(100)는, 상기 검출된 대응점들과 이미지 모핑 알고리즘을 이용하여 제1 이미지와 제2 이미지의 중간 이미지를 생성할 수 있다(S640). 이때, 파노라마 영상 생성 장치(100)는, 하나 이상의 중간 이미지를 생성할 수 있다. The panoramic image generation apparatus 100 may generate an intermediate image of the first image and the second image using the detected corresponding points and the image morphing algorithm (S640). At this time, the panoramic image generation apparatus 100 may generate one or more intermediate images.

파노라마 영상 생성 장치(100)는, 제1 이미지에서 좌측 영역에 해당하는 제1 이미지 영역을 추출하고, 제2 이미지에서 우측 영역에 해당하는 제2 이미지 영역을 추출하며, 중간 이미지에서 가운데 영역에 해당하는 제3 이미지 영역을 추출할 수 있다(S650). 여기서, 제1 내지 제3 이미지 영역의 비율은 고정된 것이 아니라, 촬영 환경 또는 상황 등에 따라 변경 가능하도록 구성할 수 있다.The panoramic image generation apparatus 100 extracts a first image region corresponding to the left region in the first image, extracts a second image region corresponding to the right region in the second image, (Step S650). Here, the ratios of the first to third image areas are not fixed, but can be configured to be changeable according to the photographing environment or the situation.

파노라마 영상 생성 장치(100)는, 제1 이미지, 제2 이미지, 및 중간 이미지에서 각각 추출한 제1 내지 제3 이미지 영역들을 자연스럽게 붙이는 동작을 수행할 수 있다(S660). 즉, 파노라마 영상 생성 장치(100)는, 제1 내지 제3 이미지 영역들을 합성하여 하나의 파노라마 이미지를 생성할 수 있다. The panoramic image generation apparatus 100 may perform an operation of naturally attaching the first to third image regions extracted from the first image, the second image, and the intermediate image, respectively (S660). That is, the panoramic image generation apparatus 100 may generate one panoramic image by combining the first to third image regions.

파노라마 영상 생성 장치(100)는, 상기 생성된 파노라마 이미지에 대해 이미지 필터링(Image filtering), 이미지 블렌딩(Image blending)등과 같은 영상 처리를 수행하여 파노라마 이미지의 색상 왜곡, 기하학 왜곡 및 영상 왜곡 등을 보정할 수 있다(S670).The panoramic image generation apparatus 100 performs image processing such as image filtering, image blending, and the like on the generated panoramic image to correct color distortion, geometric distortion, and image distortion of the panoramic image, (S670).

도 7a 내지 도 7d는 듀얼 카메라로 파노라마 영상을 생성하는 과정을 설명하기 위해 참조되는 도면이다. 이하, 본 실시 예에서, 듀얼 카메라의 전방에 위치하는 근거리 3차원 피사체는 어깨 팬텀 모형임을 가정하여 설명하도록 한다.7A to 7D are diagrams for explaining a process of generating a panoramic image with a dual camera. Hereinafter, in the present embodiment, it is assumed that a near-field three-dimensional object located in front of a dual camera is a shoulder phantom model.

도 7a를 참조하면, 파노라마 영상 생성 장치(100)는, 서로 다른 투영점을 갖도록 일정 거리만큼 이격되어 배치되는 제1 카메라(710) 및 제2 카메라(720)를 구비할 수 있다. Referring to FIG. 7A, the panoramic image generation apparatus 100 may include a first camera 710 and a second camera 720 that are spaced apart from each other by a predetermined distance to have different projection points.

파노라마 영상 생성 장치(100)는, 제1 카메라(710)를 통해 어깨 팬텀 모형의 좌측 영역을 촬영한 제1 이미지(730)를 획득할 수 있고, 제2 카메라(720)를 통해 어깨 팬텀 모형의 우측 영역을 촬영한 제2 이미지(740)를 획득할 수 있다.The panoramic image generation apparatus 100 can acquire the first image 730 of the left side region of the shoulder phantom model through the first camera 710 and acquire the first image 730 of the shoulder phantom model through the second camera 720. [ And a second image 740 in which the right region is photographed.

도 7b를 참조하면, 파노라마 영상 생성 장치(100)는 제1 이미지(730)로부터 제1 특징점들을 추출할 수 있고, 제2 이미지(740)로부터 제2 특징점들을 추출할 수 있다. 그리고, 파노라마 영상 생성 장치(100)는 상기 제1 및 제2 특징점들을 서로 매칭시켜 복수의 대응점들(corresponding points)을 검출할 수 있다. Referring to FIG. 7B, the panoramic image generation apparatus 100 may extract first feature points from the first image 730 and extract second feature points from the second image 740. FIG. The panoramic image generation apparatus 100 may detect a plurality of corresponding points by matching the first and second characteristic points with each other.

파노라마 영상 생성 장치(100)는, 상기 검출된 대응점들과 이미지 모핑 알고리즘을 이용하여 제1 이미지(730)와 제2 이미지(740)의 중간 이미지(750)를 생성할 수 있다. 여기서, 중간 이미지(750)는, 제1 카메라(710)와 제2 카메라(720) 사이, 즉 두 카메라(710, 720)의 중간 위치에서 3차원 피사체를 촬영할 때 나타날 것으로 예상되는 영상을 의미한다.The panoramic image generation apparatus 100 may generate an intermediate image 750 of the first image 730 and the second image 740 using the detected corresponding points and an image morphing algorithm. Here, the intermediate image 750 means an image that is expected to appear when a three-dimensional object is photographed at an intermediate position between the first camera 710 and the second camera 720, that is, between the two cameras 710 and 720 .

도 7c를 참조하면, 파노라마 영상 생성 장치(100)는, 제1 이미지(730)에서 좌측 영역에 해당하는 제1 이미지 영역(735)을 추출하고, 제2 이미지(740)에서 우측 영역에 해당하는 제2 이미지 영역(745)을 추출하며, 중간 이미지(750)에서 가운데 영역에 해당하는 제3 이미지 영역(755)을 추출할 수 있다. 여기서, 제1 내지 제3 이미지 영역(735, 745, 755)의 비율은, 서로 동일한 비율이거나 혹은 서로 다른 비율로 설정될 수 있다. 7C, the panoramic image generation apparatus 100 extracts a first image region 735 corresponding to the left region in the first image 730 and extracts a first region 735 corresponding to the right region in the second image 740 The second image region 745 may be extracted and the third image region 755 corresponding to the middle region may be extracted from the intermediate image 750. [ Here, the ratios of the first to third image regions 735, 745, and 755 may be set to the same ratio or different ratios.

도 7d를 참조하면, 파노라마 영상 생성 장치(100)는, 제1 이미지(730), 제2 이미지(740), 및 중간 이미지(750)에서 각각 추출한 제1 내지 제3 이미지 영역들(735, 745, 755)을 자연스럽게 붙이는 동작을 수행할 수 있다. 이에 따라, 파노라마 영상 생성 장치(100)는 제1 이미지(730), 제2 이미지(740), 및 중간 이미지(750)를 기반으로 하나의 파노라마 이미지(760)를 생성할 수 있다. 7D, the panoramic image generation apparatus 100 includes a first image 730, a second image 740, and first to third image areas 735 and 745 , 755) can be performed naturally. Accordingly, the panoramic image generation apparatus 100 may generate one panoramic image 760 based on the first image 730, the second image 740, and the intermediate image 750.

이후, 파노라마 영상 생성 장치(100)는, 상기 생성된 파노라마 이미지(760)에 대해 이미지 필터링(Image filtering), 이미지 블렌딩(Image blending)등과 같은 영상 처리를 수행할 수 있다. The panoramic image generation apparatus 100 may then perform image processing such as image filtering, image blending, and the like on the generated panoramic image 760.

전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 상기 컴퓨터는 단말기의 제어부를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.The present invention described above can be embodied as computer-readable codes on a medium on which a program is recorded. The computer readable medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of the computer readable medium include a hard disk drive (HDD), a solid state disk (SSD), a silicon disk drive (SDD), a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, . Also, the computer may include a control unit of the terminal. Accordingly, the above description should not be construed in a limiting sense in all respects and should be considered illustrative. The scope of the present invention should be determined by rational interpretation of the appended claims, and all changes within the scope of equivalents of the present invention are included in the scope of the present invention.

100: 파노라마 영상 생성 장치 110: 제1 카메라
120: 제2 카메라 130: 입력부
140: 출력부 150: 메모리
160/210: 파노라마 영상 생성부 210: 영상 획득부
220: 특징점 추출부 230: 중간영상 생성부
240: 영상 추출부 250: 영상 합성부
260: 영상 후처리부100: panoramic image generation device 110: first camera
120: second camera 130: input unit
140: output unit 150: memory
160/210: panoramic image generation unit 210:
220: feature point extracting unit 230: intermediate image generating unit
240: image extracting unit 250:
260:

Claims (14)

서로 다른 투영점을 갖도록 배치된 제1 및 제2 카메라를 이용하여 근거리 3차원 피사체를 촬영하는 단계;
상기 제1 카메라로부터 제1 이미지를 획득하고, 상기 제2 카메라로부터 제2 이미지를 획득하는 단계;
상기 제1 이미지 및 제2 이미지를 이용하여 중간 이미지를 생성하는 단계; 및
상기 제1 이미지, 제2 이미지 및 중간 이미지에서 각각 추출한 영상들을 기반으로 파노라마 영상을 생성하는 단계를 포함하고,
상기 중간 이미지 생성 단계는, 상기 제1 이미지와 상기 제2 이미지 간의 대응점들(corresponding points)을 이용하여 상기 제1 및 제2 이미지를 삼각형 모양으로 분할하는 단계와, 상기 분할된 제1 및 제2 이미지에 대해 이미지 모핑 알고리즘(Image Morphing Algorism)을 적용하여 중간 이미지를 생성하는 단계를 포함하며,
상기 중간 이미지는, 상기 제1 카메라와 상기 제2 카메라 사이의 중간 위치에서 상기 근거리 3차원 피사체를 촬영할 경우 나타날 것으로 예상되는 가상의 이미지임을 특징으로 하는 파노라마 영상 생성 방법.Capturing a near-field three-dimensional object using first and second cameras arranged so as to have different projection points;
Obtaining a first image from the first camera and obtaining a second image from the second camera;
Generating an intermediate image using the first image and the second image; And
And generating a panorama image based on the images extracted from the first image, the second image, and the intermediate image, respectively,
The intermediate image generating step may include dividing the first and second images into triangles using corresponding points between the first image and the second image, Applying an image morphing algorithm to an image to generate an intermediate image,
Wherein the intermediate image is a virtual image that is expected to appear when the near-field three-dimensional object is photographed at an intermediate position between the first camera and the second camera. 삭제delete 제1항에 있어서,
상기 생성된 파노라마 영상에 대해 영상 후처리를 수행하는 단계를 더 포함하는 파노라마 영상 생성 방법.The method according to claim 1,
And performing image post-processing on the generated panoramic image. 제1항에 있어서, 상기 중간 이미지 생성 단계는,
상기 제1 이미지로부터 제1 특징점들(feature points)을 추출하고, 상기 제2 이미지로부터 제2 특징점들을 추출하는 단계를 더 포함하는 파노라마 영상 생성 방법.2. The method of claim 1,
Further comprising extracting first feature points from the first image and extracting second feature points from the second image. 제4항에 있어서, 상기 중간 이미지 생성 단계는,
상기 제1 및 제2 특징점들을 서로 매칭시켜 상기 대응점들(corresponding points)을 추출하는 단계를 더 포함하는 파노라마 영상 생성 방법.5. The method according to claim 4,
And matching the first and second minutiae points to each other to extract corresponding points. 제5항에 있어서,
상기 대응점들은, SIFT(Scale-invariant feature transform) 알고리즘, Affine-SIFT 알고리즘, SUFT(Speeded Up Robust Features) 알고리즘, KAZE 알고리즘, 및 Accelerated-KAZE 알고리즘 중 적어도 하나를 이용하여 검출되는 것을 특징으로 하는 파노라마 영상 생성 방법. 6. The method of claim 5,
Wherein the corresponding points are detected using at least one of a Scale-invariant feature transform (SIFT) algorithm, an Affine-SIFT algorithm, a Speed Up Robust Feature (SUFT) algorithm, a KAZE algorithm, and an Accelerated-KAZE algorithm. Generation method. 삭제delete 제1항에 있어서, 상기 분할 단계는,
델로네 삼각분할(Delaunay Triangulation) 방법을 이용하여 상기 제1 및 제2 이미지를 분할하는 것을 특징으로 하는 파노라마 영상 생성 방법.The method according to claim 1,
Wherein the first and second images are divided using a Delaunay Triangulation method. 제1항에 있어서,
상기 중간 이미지의 좌표 값은 아래 수학식을 통해 산출되는 것을 특징으로 하는 파노라마 영상 생성 방법.
[수학식]
Figure 112018031573417-pat00002

여기서, M(x, y)는 중간 이미지의 좌표 값, I(x, y)는 제1 이미지의 좌표 값, J(x, y)는 제2 이미지의 좌표 값임.The method according to claim 1,
Wherein the coordinate value of the intermediate image is calculated by the following equation.
[Mathematical Expression]
Figure 112018031573417-pat00002

Here, M (x, y) is the coordinate value of the intermediate image, I (x, y) is the coordinate value of the first image, and J (x, y) is the coordinate value of the second image. 제1항에 있어서, 상기 파노라마 영상 생성 단계는,
상기 제1 이미지에서 추출한 제1 이미지 영역과, 상기 제2 이미지에서 추출한 제2 이미지 영역과, 상기 중간 이미지에서 추출한 제3 이미지 영역을 합성하는 것을 특징으로 하는 파노라마 영상 생성 방법.The method of claim 1, wherein the generating of the panoramic image comprises:
Wherein the first image region extracted from the first image, the second image region extracted from the second image, and the third image region extracted from the intermediate image are synthesized. 제1 카메라로부터 제1 이미지를 획득하고, 상기 제1 카메라와 투영점이 다른 제2 카메라로부터 제2 이미지를 획득하는 영상 획득부;
상기 제1 이미지 및 제2 이미지를 이용하여 중간 이미지를 생성하는 중간영상 생성부;
상기 제1 이미지에서 제1 이미지 영역을 추출하고, 상기 제2 이미지에서 제2 이미지 영역을 추출하며, 상기 중간 이미지에서 제3 이미지 영역을 추출하는 영상 추출부; 및
상기 제1 내지 제3 이미지 영역들을 합성하여 파노라마 영상을 생성하는 영상 합성부를 포함하고,
상기 중간영상 생성부는, 상기 제1 이미지와 상기 제2 이미지 간의 대응점들(corresponding points)을 이용하여 상기 제1 및 제2 이미지를 삼각형 모양으로 분할하고, 상기 분할된 제1 및 제2 이미지에 대해 이미지 모핑 알고리즘(Image Morphing Algorism)을 적용하여 중간 이미지를 생성하며,
상기 중간 이미지는, 상기 제1 카메라와 상기 제2 카메라 사이의 중간 위치에서 근거리 3차원 피사체를 촬영할 경우 나타날 것으로 예상되는 가상의 이미지임을 특징으로 하는 파노라마 영상 생성 장치.An image acquiring unit acquiring a first image from a first camera and acquiring a second image from a second camera having a projection point different from that of the first camera;
An intermediate image generation unit generating an intermediate image using the first image and the second image;
An image extracting unit extracting a first image region from the first image, extracting a second image region from the second image, and extracting a third image region from the intermediate image; And
And an image synthesizer for synthesizing the first to third image areas to generate a panoramic image,
Wherein the intermediate image generating unit divides the first and second images into triangular shapes using corresponding points between the first image and the second image, An image morphing algorithm (Image Morphing Algorithm) is applied to generate an intermediate image,
Wherein the intermediate image is a virtual image that is expected to appear when a close-up three-dimensional object is photographed at an intermediate position between the first camera and the second camera. 제11항에 있어서,
상기 제1 이미지로부터 제1 특징점들을 추출하고, 상기 제2 이미지로부터 제2 특징점들을 추출하는 특징점 추출부를 더 포함하는 파노라마 영상 생성 장치. 12. The method of claim 11,
And a feature point extracting unit for extracting first feature points from the first image and extracting second feature points from the second image. 제11항에 있어서,
상기 생성된 파노라마 영상에 대해 이미지 블렌딩을 수행하는 영상 후처리부를 더 포함하는 파노라마 영상 생성 장치.12. The method of claim 11,
And an image post-processing unit for performing image blending on the generated panoramic image. 제1항, 제3항 내지 제6항, 및 제8항 내지 제10항 중 어느 하나의 항에 따른 방법을 컴퓨터 상에서 수행하기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.A computer-readable recording medium having recorded thereon a program for performing the method according to any one of claims 1, 3 to 6, and 8 to 10 on a computer.
KR1020170009947A 2017-01-20 2017-01-20 Method for generating panoramic image and apparatus thereof KR101868057B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170009947A KR101868057B1 (en) 2017-01-20 2017-01-20 Method for generating panoramic image and apparatus thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170009947A KR101868057B1 (en) 2017-01-20 2017-01-20 Method for generating panoramic image and apparatus thereof

Publications (1)

Publication Number Publication Date
KR101868057B1 true KR101868057B1 (en) 2018-06-18

Family

ID=62765448

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170009947A KR101868057B1 (en) 2017-01-20 2017-01-20 Method for generating panoramic image and apparatus thereof

Country Status (1)

Country Link
KR (1) KR101868057B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220025466A (en) * 2020-08-24 2022-03-03 로지포커스 주식회사 Patllet apparatus and method with panoramic video recording function

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100015141A (en) * 2008-08-04 2010-02-12 에이알비전 (주) Method and apparatus for image synthesis in stereoscopic moving picture
KR20150118795A (en) * 2014-04-15 2015-10-23 한국과학기술원 A method for rendering speed and editing efficiency improvement through single view video representation of multi-view video
KR101614247B1 (en) * 2015-05-20 2016-04-29 주식회사 와이즈오토모티브 Apparatus for displaying image matching region of panorama image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100015141A (en) * 2008-08-04 2010-02-12 에이알비전 (주) Method and apparatus for image synthesis in stereoscopic moving picture
KR20150118795A (en) * 2014-04-15 2015-10-23 한국과학기술원 A method for rendering speed and editing efficiency improvement through single view video representation of multi-view video
KR101614247B1 (en) * 2015-05-20 2016-04-29 주식회사 와이즈오토모티브 Apparatus for displaying image matching region of panorama image

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220025466A (en) * 2020-08-24 2022-03-03 로지포커스 주식회사 Patllet apparatus and method with panoramic video recording function
KR102472318B1 (en) * 2020-08-24 2022-12-01 로지포커스 주식회사 Patllet apparatus and method with panoramic video recording function

Similar Documents

Publication Publication Date Title
JP4642723B2 (en) Image generating apparatus and image generating method
US9161027B2 (en) Method and apparatus for providing camera calibration
US10785469B2 (en) Generation apparatus and method for generating a virtual viewpoint image
KR101538947B1 (en) The apparatus and method of hemispheric freeviewpoint image service technology
JP2016213808A (en) Camera selecting method and video distribution system
JP2011243205A (en) Image processing system and method for the same
JP7080103B2 (en) Imaging device, its control method, and program
CN106296589B (en) Panoramic image processing method and device
JP5477777B2 (en) Image acquisition device
KR101723210B1 (en) Method For Producting Virtual Stereo Studio Image In Real-Time Virtual Stereo Studio System
JP2021034885A (en) Image generation device, image display device, and image processing method
KR101916419B1 (en) Apparatus and method for generating multi-view image from wide angle camera
KR20150091064A (en) Method and system for capturing a 3d image using single camera
KR102082277B1 (en) Method for generating panoramic image and apparatus thereof
JP2016082328A (en) Image composition device and program for the same
JP2010181826A (en) Three-dimensional image forming apparatus
JP2008217593A (en) Subject area extraction device and subject area extraction program
JP2017199958A (en) Imaging apparatus, control method thereof, and control program
KR101868057B1 (en) Method for generating panoramic image and apparatus thereof
KR20220121533A (en) Method and device for restoring image obtained from array camera
EP3665656A1 (en) Three-dimensional video processing
Mori et al. An overview of augmented visualization: observing the real world as desired
WO2018150086A2 (en) Methods and apparatuses for determining positions of multi-directional image capture apparatuses
US11825191B2 (en) Method for assisting the acquisition of media content at a scene
KR101718309B1 (en) The method of auto stitching and panoramic image genertation using color histogram

Legal Events

Date Code Title Description
GRNT Written decision to grant