KR20190118747A - 순람표에 기반한 스티칭 영상 생성 장치 및 방법 - Google Patents

순람표에 기반한 스티칭 영상 생성 장치 및 방법 Download PDF

Info

Publication number
KR20190118747A
KR20190118747A KR1020180042000A KR20180042000A KR20190118747A KR 20190118747 A KR20190118747 A KR 20190118747A KR 1020180042000 A KR1020180042000 A KR 1020180042000A KR 20180042000 A KR20180042000 A KR 20180042000A KR 20190118747 A KR20190118747 A KR 20190118747A
Authority
KR
South Korea
Prior art keywords
image
lookup table
updating
stitching image
stitching
Prior art date
Application number
KR1020180042000A
Other languages
English (en)
Other versions
KR102198217B1 (ko
Inventor
정순흥
조용주
서정일
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020180042000A priority Critical patent/KR102198217B1/ko
Priority to US16/155,660 priority patent/US10963989B2/en
Publication of KR20190118747A publication Critical patent/KR20190118747A/ko
Application granted granted Critical
Publication of KR102198217B1 publication Critical patent/KR102198217B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/153—Transformations for image registration, e.g. adjusting or mapping for alignment of images using elastic snapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G06T5/006—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)

Abstract

순람표에 기반한 스티칭 영상 생성 장치 및 방법이 제공된다. 본 개시의 스티칭 영상 생성 방법은 복수의 입력 영상들을 획득하는 단계, 획득된 입력 영상들의 중첩 영역간 시차 문제가 발생하는지를 판단하는 단계, 판단에 따라 소정의 순람표(Look-Up Table, LUT)를 업데이트 하는 단계 및 입력 영상들에 대해 업데이트된 순람표를 적용하여 스티칭 영상을 생성하는 단계를 포함한다.

Description

순람표에 기반한 스티칭 영상 생성 장치 및 방법{LOOK-UP TABLE BASED STITCHING IMAGE GENERATING APPARATUS AND METHOD}
본 개시는 순람표에 기반한 스티칭 영상 생성 장치 및 방법에 관한 것이다. 보다 구체적으로, 본 개시는 중첩 영역에서의 순람표 업데이트를 이용하여 시차 문제를 최소화하는 스티칭 영상을 생성하는 장치 및 방법에 관한 것이다.
복수의 동영상을 스티칭(stiching)하여 끊김없는(seamless) 영상을 확보하기 위해서는 영상의 기하학적 보정이 필수적이다. 영상의 기하학적 보정은 homography transformation, interpolation 등의 영상처리 기법으로 구성되며, 보정의 각 단계는 매 프레임마다 많은 계산량을 필요로 한다. 도 1은 복수의 카메라를 사용하여 복수의 동영상을 획득하는 일 실시 예를 나타내는 도면이다. 도 1을 참조하면, 복수의 카메라를 이용하여 복수의 동영상을 동시에 획득함으로써 파노라마 또는 360도 비디오를 생성할 수 있다. 복수의 동영상을 입력으로 하여 이를 스티칭 할 경우, 대용량 영상처리로 인한 많은 시간이 요구되기 때문에 실시간으로 스티칭 동영상을 생성하는데 어려움이 있다. 이에 따라, 기하학 보정 정보를 순람표(Look-Up Table, LUT)화하여 대용량 영상처리를 가능하게 하는 방법들이 제안되었다. 예를 들어, 카메라의 움직임이 적거나 원거리 영상을 촬영하는 등의 환경에서는 동일한 순람표를 사용하면 실시간 스티칭 동영상을 생성하기 위한 계산의 복잡도를 줄일 수 있다.
한편, 파노라마 또는 360도 비디오 생성을 위해서는 복수의 카메라를 사용해야 하지만, 카메라의 원점이 물리적으로 동일할 수 없기 때문에 중첩 영역에서 시차문제가 발생하게 된다. 순람표를 생성할 때 이러한 문제를 고려하지만, 동일한 순람표를 사용하여 스티칭 동영상을 생성하는 경우 여전히 시차 문제가 발생하는 문제가 있다.
본 개시의 기술적 과제는, 순람표에 기반한 스티칭 영상 생성 장치 및 방법을 제공하는 것이다.
본 개시의 다른 기술적 과제는, 순람표 업데이트를 이용하여 중첩 영역에서의 시차 문제를 최소화하는 스티칭 영상을 생성하는 장치 및 방법을 제공하는 것이다.
본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 양상에 따르면, 복수의 입력 영상들을 획득하는 단계; 상기 획득된 입력 영상들의 중첩 영역간 시차 문제가 발생하는지를 판단하는 단계; 상기 판단에 따라 소정의 순람표(Look-Up Table, LUT)를 업데이트하는 단계; 및 상기 입력 영상들에 대해 상기 업데이트된 순람표를 적용하여 스티칭 영상을 생성하는 단계를 포함하는 스티칭 영상 생성 방법이 제공될 수 있다.
본 개시의 다른 양상에 따르면, 복수의 입력 영상들을 획득하는 입력부; 제어부; 및 소정의 순람표(Look-Up Table, LUT)를 저장하는 저장부를 포함하고, 상기 제어부는, 상기 획득된 입력 영상들의 중첩 영역간 시차 문제가 발생하는지를 판단하고, 상기 판단에 따라 상기 순람표를 업데이트 하고, 상기 입력 영상들에 대해 상기 업데이트된 순람표를 적용하여 스티칭 영상을 생성하는 스티칭 영상 생성 장치가 제공될 수 있다.
본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.
본 개시에 따르면, 순람표에 기반한 스티칭 영상 생성 장치 및 방법이 제공될 수 있다.
또한, 본 개시에 따르면, 순람표 업데이트를 이용하여 중첩 영역에서의 시차 문제를 최소화하는 스티칭 영상을 생성하는 장치 및 방법이 제공될 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 복수의 카메라를 사용하여 복수의 동영상을 획득하는 일 실시 예를 나타내는 도면이다.
도 2는 본 개시의 일 실시 예에 따른 복수의 동영상을 이용하여 파노라마 영상을 획득하는 과정을 설명하기 위한 도면이다.
도 3은 본 개시의 일 실시 예에 따른 동일한 순람표를 이용한 동영상 스티칭 시 발생하는 시차를 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시 에에 따른 순람표에 기반한 스티칭 영상 생성 장치의 동작을 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시 예에 따른 중첩 영역간 시차 문제가 발생했는지를 판단하는 동작을 설명하기 위한 도면이다.
도 6a 및 6b는 본 개시의 일 실시 예에 따른 중첩 영역간 시차 문제가 발생한 경우 순람표를 업데이트 하는 과정을 나타내는 도면이다.
도 7은 본 개시의 다른 실시 예에 따른 중첩 영역간 시차 문제가 발생한 경우 순람표를 업데이트 하는 과정을 나타내는 도면이다.
도 9은 본 개시의 일 실시 예에 따른 순람표의 업데이트 대상 영역간 발생하는 왜곡을 설명하기 위한 도면이다.
도 9는 제어점을 이용하여 순람표 업데이트 여부에 따른 영역간 왜곡을 제거하는 일 실시 예를 나타내는 도면이다.
도 10은 본 개시의 일 실시 예에 따른 순람표에 기반한 스티칭 영상 생성 장치의 구성을 설명하기 위한 도면이다.
이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시 예에서의 제1 구성요소는 다른 실시 예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제2 구성요소를 다른 실시 예에서 제1 구성요소라고 칭할 수도 있다.
본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다.
본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다.
이하, 첨부한 도면을 참조하여 본 개시의 실시 예들에 대해서 설명한다.
도 2는 본 개시의 일 실시 예에 따른 복수의 동영상을 이용하여 파노라마 영상을 획득하는 과정을 설명하기 위한 도면이다.
본 개시에 따르면, 파노라마 영상을 획득하는 과정에 대해서 설명하고 있지만, 이에 제한되지 않으며, 파노라마 영상, 360도 영상 등 LUT를 이용하여 스티칭을 수행하는 과정에 적용될 수 있다. 본 개시의 스티칭 영상 생성 장치는 복수의 영상을 획득할 수 있으며, 도 2를 참조하면, 본 개시의 스티칭 영상 생성 장치는 일부 영역들이 서로 중첩된 영상 1(202), 영상 2(204) 및 영상 3(206)을 획득할 수 있다(200). 복수의 영상들은 정지 영상 또는 동영상을 포함할 수 있으며, 영상들 각각은 파노라마 또는 360도 영상 등을 생성하기 위해 일부 영역들이 서로 중첩될 수 있다. 스티칭 영상 생성 장치는 소정의 순람표(Look-Up Table, LUT)를 적용하여 획득된 영상들을 파노라마 좌표계로 와핑(warping)시킬 수 있다. 도 2를 참조하면, 본 개시의 스티칭 영상 생성 장치는 획득된 영상 1(202), 영상 2(204) 및 영상 3(206) 각각에 소정의 순람표를 적용하여 파노라마 좌표계로 와핑된 변환영상 1(212), 변환영상 2(214) 및 변환영상 3(216)을 획득할 수 있다(210). 스티칭 영상을 생성하기 위해서는 주변 영상들 각각을 서로 스티칭 시켜야 하기 때문에, 주변 영상들 간에 중첩 영역이 생길 수 있다. 도 2를 참조하면, 제1 중첩 영역(218)은 변환영상 1(212)와 변환영상 2(214)의 스티칭 시 발생되는 중첩 영역이고 제2 중첩 영역(219)은 변환영상 2(214)와 변환영상 3(216)의 스티칭 시 발생되는 중첩 영역이다. 스티칭 영상 생성 장치는 변환영상들을 이용하여 스티칭 영상을 생성할 수 있다. 도 2를 참조하면, 스티칭 영상 생성 장치는 변환영상들 간의 중첩 영역에 대해 블랜딩 처리를 한 후 스티칭 영상을 생성할 수 있다(230).
도 3은 본 개시의 일 실시 예에 따른 동일한 순람표를 이용한 동영상 스티칭 시 발생하는 시차를 설명하기 위한 도면이다.
도 3을 참조하면, 스티칭 영상 생성 장치는 복수의 입력 영상들에 대해 동일한 순람표를 이용하여 스티칭된 영상(310)을 획득할 수 있다. 이 경우 중첩 영역에 객체(object)가 존재하면 영상 스티칭 시 시차가 발생하기 때문에, 중첩 영역에서 영상 왜곡이 발생할 수 있다. 도 3을 참조하면, 중첩 영역(330)을 포함하는 일부 영역(320)에서 영상 스티칭 시 영상 왜곡이 발생했음을 알 수 있다.
도 4는 본 개시의 일 실시 에에 따른 순람표에 기반한 스티칭 영상 생성 장치의 동작을 설명하기 위한 도면이다.
S410 단계에서 스티칭 영상을 생성하기 위한 복수의 입력 영상들을 획득할 수 있다. 예를 들어, 복수의 영상들은 정지 영상 또는 동영상을 포함할 수 있으며, 영상들 각각은 파노라마 또는 360도 영상 등을 생성하기 위해 일부 영역들이 서로 중첩될 수 있다.
S420 단계에서 획득된 복수의 입력 영상들에 대해 소정의 순람표를 적용하여 S410 단계에서 획득된 복수의 영상들을 파노라마 좌표계로 와핑(warping)시킬 수 있다.
S430 단계에서 파노라마 좌표계로 와핑된 영상들에 대해서 주변 영상들 간 중첩 영역에서 시차 문제가 발생했는지를 판단할 수 있다.
S430에서의 판단 결과 시차 문제가 발생했다고 판단된 경우, S440에서 순람표를 업데이트할 수 있다. 예를 들어, 순람표의 업데이트는 순람표를 적용하여 파노라마 좌표계로 와핑하기 위한 기준점으로서의 제어점(control point)들의 값을 업데이트 하는 것을 의미할 수 있다.
S450에서 업데이트된 순람표를 적용하여 입력 영상을 파노라마 좌표계로 와핑시킬 수 있다.
S460에서 와핑된 입력 영상에 대해서 중첩 영역에 대한 블랜딩 처리 후 스티칭 영상을 생성할 수 있다.
한편, S430에서의 판단 결과 시차 문제가 발생하지 않았다고 판단된 경우, S460에서 순람표의 업데이트 없이 중첩 영역에 대한 블랜딩 처리 후 스티칭 영상을 생성할 수 있다.
도 5는 본 개시의 일 실시 예에 따른 중첩 영역간 시차 문제가 발생했는지를 판단하는 동작을 설명하기 위한 도면이다.
소정의 순람표를 사용하여 파노라마 좌표계로 와핑된 입력 영상들은 시차 문제가 없는 경우는 중첩 영역 내 동일한 픽셀 위치에서 매우 유사한 픽셀값을 가질 수 있다. 하지만 시차 문제가 발생하는 경우 기하학 보정이 잘 되지 않기 때문에 중첩 영역 내 동일한 픽셀 위치에서 픽셀값의 차이가 커지게 된다. 이러한 특성을 이용하여 중첩 영역 내에서 시차 문제 발생 여부를 확인할 수 있다. 예를 들어, 도 5를 참조하면, 영상 1(510)의 중첩 영역 1(512)와 영상 2(520)의 중첩 영역 2(522)간의 SSE(Sum of Squared Errors, SSE)를 계산하고, 계산된 값과 소정의 임계값을 비교함으로써 중첩 영역간 시차 문제가 발생했는지를 판단할 수 있다. 또한, 중첩 영역 전체에 대한 SSE를 구할 수도 있지만, 중첩 영역을 포함하는 특정 영역이나 중첩 영역에 포함된 특정에 대한 SSE를 계산하여 시차 문제가 발생했는지를 판단할 수 있다. 또한, 중첩 영역에서 새로운 물체가 들어오면 시차 문제가 발생하는 특징을 이용할 수 있다. 예를 들어, 와핑된 영상의 중첩 영역에서 변화가 생기는 경우 시차 문제가 발생한 것으로 판단할 수 있으며, 구체적으로 기준 영상에서 시간적으로 이후에 획득한 영상간의 동일한 픽셀 위치에서의 픽셀 값의 차이를 이용할 수 있다.
도 6a 및 6b는 본 개시의 일 실시 예에 따른 중첩 영역간 시차 문제가 발생한 경우 순람표를 업데이트 하는 과정을 나타내는 도면이다.
도 6a를 참조하면, 스티칭 영상 생성 장치는 스티칭 영상을 생성하기 위해 중첩 영역을 포함하는 영상 1(610)과 영상 2(620)을 이용할 수 있다. 영상 1(610)와 영상 2(620)는 각각 영상 시퀀스의 동일 시점에서의 영상일 수 있다. 영상 1(610)과 영상 2(620)는 소정의 순람표를 이용하여 파노라마 좌표계로 와핑될 수 있으며, 영상 스티칭을 하기 위해 영상 1(610)과 영상 2(620)는 각각 중첩 영역을 포함할 수 있다. 영상 1(610)에서 자동차를 포함하는 중첩 영역 1(612)과 영상 2(620)에서 동일한 자동차를 포함하는 중첩 영역 2(622)는 시차 문제가 발생할 수 있다. 도 6b를 참조하면, 스티칭 영상 생성 장치는 특징점 매칭(630)을 통한 호모그래피(homography)를 계산하고, 계산된 결과를 이용하여 시차 문제가 발생한 영역에 대한 순람표를 업데이트 할 수 있다. 예를 들어, 스티칭 영상 생성 장치는 와핑된 영상 1에서 추출된 영역이 기준인 경우 영상 2에 대한 순람표를 업데이트할 수 있다. 또한 예를 들어, 스티칭 영상 생성 장치는 와핑된 영상 2에서 추출한 영역이 기준인 경우 영상 1에 대한 순람표를 업데이트할 수 있다. 스티칭 영상 생성 장치는 해당 영역에 있는 제어점의 값을 조정함으로써 순람표를 업데이트 할 수 있다.
또한, 본 개시의 스티칭 영상 생성 장치는 시차 문제가 발생한 영역을 추출하고, 추출된 영역을 수직 또는 수평으로 이동하면서 픽셀간 차이값이 최소가 되는 이동거리를 결정할 수 있다. 스티칭 영상 생성 장치는 결정된 이동거리를 이용하여 순람표를 업데이트할 수 있다. 또한 예를 들어, 스티칭 영상 생성 장치는 시차 문제가 발생하는 경우 기설정된 값을 이용하여 순람표를 업데이트할 수 있다.
또한, 본 개시의 스티칭 영상 생성 장치는 두 영상간 발생하는 시차 문제를 줄이기 위해 업데이트 되는 순람표에 대해, 한 영상에 대한 순람표 또는 두 영상 모두에 대한 순람표를 업데이트할 수 있다.
도 7은 본 개시의 다른 실시 예에 따른 중첩 영역간 시차 문제가 발생한 경우 순람표를 업데이트 하는 과정을 나타내는 도면이다.
도 7을 참조하면, 스티칭 영상 생성 장치는 스티칭 영상을 생성하기 위해 중첩 영역을 포함하는 영상 1(710)과 영상 2(720)을 이용할 수 있다. 영상 1(710)과 영상 2(720)는 각각 영상 시퀀스의 동일 시점에서의 영상일 수 있다. 영상 1(710)과 영상 2(720)는 소정의 순람표를 이용하여 파노라마 좌표계로 와핑될 수 있으며, 영상 스티칭을 하기 위해 영상 1(710)과 영상 2(720)는 각각 중첩 영역을 포함할 수 있다. 영상 1(710)에서 자동차를 포함하는 중첩 영역 1(712)과 영상 2(720)에서 동일한 자동차를 포함하는 중첩 영역 2(722)는 시차 문제가 발생할 수 있다. 본 개시의 스티칭 영상 생성 장치는 중첩 영역을 복수의 영역들로 나눌 수 있다. 또한, 본 개시의 스티칭 영상 생성 장치는 각 영역을 이동하면서 각 영역에 포함되어 있는 픽셀들간의 차이값을 구할 수 있다. 예컨대, 스티칭 영상 생성 장치는 각 영역을 수평 또는 수직으로 이동시킬 수 있다. 또한 예컨대, 차이값은 각 영역에 포함되어 있는 픽셀들간의 SSE일 수 있다. 또한, 스티칭 영상 생성 장치는 픽셀들간의 차이값이 최소가 되는 이동 정보를 이용하여 순람표를 업데이트할 수 있다. 예컨대, 이동 정보를 수평 또는 수직 이동거리일 수 있다. 구체적으로, 스티칭 영상 생성 장치는 영역이 이동하지 않았을 때 계산된 픽셀간 차이값(SSE 등)에 가중치(예를 들어, 0 ~ 1 사이의 실수값)을 곱한 값을 기준값으로 두고, 수직 또는 수평으로 이동하면서 계산된 픽셀간 차이값이 기준값보다 적은 경우 시차가 발생한 것으로 판단하여 해당 영역에 대한 LUT를 업데이트할 수 있다. 상기 해당 영역에 대한 LUT 업데이트 동작은 복수의 영역들 중 일부에 대해서 진행될 수 있다.
도 8은 본 개시의 일 실시 예에 따른 순람표의 업데이트 대상 영역간 발생하는 왜곡을 설명하기 위한 도면이다.
본 개시의 스티칭 영상 생성 장치는 동영상의 자연스러운 재생을 위해서, 시차가 발생하는 영역의 소정의 주변 픽셀들에 한해서 순람표를 업데이트할 수 있다. 이 경우, 순람표가 업데이트되는 영역과 업데이트되지 않는 영역간에 왜곡이 발생될 수 있다. 도 8을 참조하면, 스티칭된 영상(800) 획득 시 순람표가 업데이트되는 영역 경계(810)에서 영상 왜곡이 발생하였음을 알 수 있다.
도 9는 제어점을 이용하여 순람표 업데이트 여부에 따른 영역간 왜곡을 제거하는 일 실시 예를 나타내는 도면이다.
본 개시의 스티칭 영상 생성 장치는 순람표의 업데이트 여부에 따른 영역간 왜곡 발생을 제거하기 위해 시차가 발생하는 주변에 있는 제어점의 값을 조정할 수 있다. 예를 들어, 제어점(control point)은 입력 영상에 대해 순람표를 적용하여 파노라마 좌표계로 와핑하기 위한 기준점을 의미할 수 있다. 일 실시 예에 따라 주변 제어점의 값을 조정하는 수식은 수학식 1과 같이 나타낼 수 있다.
Figure pat00001
수학식 1에서, X 및 Y는 각각 시차가 발생하는 주변에 있는 제어점의 수평, 수직 위치 값, W는 0~1사이 값, n은 시차가 발생한 영역과의 거리, Mx 및 My는 각각 시차 발생 영역에서 제어점들이 수평으로 변화된 평균값, 수직으로 변화된 평균값을 나타낸다. 도 9를 참조하면, 시차 발생 주변 영역의 제어점 값을 조정한 순람표를 적용함으로써 굴곡없이 자연스럽게 시차 문제가 해결된 영상(900)을 획득할 수 있다.
도 10은 본 개시의 일 실시 예에 따른 순람표에 기반한 스티칭 영상 생성 장치의 구성을 설명하기 위한 도면이다.
도 10을 참조하면, 스티칭 영상 생성 장치(1000)는 입력부(1010), 제어부(1020) 및/또는 저장부(1030)를 포함할 수 있다. 다만, 이는 본 실시예를 설명하기 위해 필요한 일부 구성요소만을 도시한 것일 뿐, 스티칭 영상 생성 장치(1000)에 포함된 구성요소가 전술한 예에 한정되는 것은 아니다. 예컨대, 둘 이상의 구성부가 하나의 구성부 내에서 구현될 수도 있고, 하나의 구성부에서 실행되는 동작이 분할되어 둘 이상의 구성부에서 실행되도록 구현될 수도 있다. 또한, 일부 구성부가 생략되거나 부가적인 구성부가 추가될 수도 있다.
입력부(1010)는 제어부(1020)의 제어에 의해 스티칭 영상 생성 장치(1000)의 외부에서부터 영상 시퀀스, 텍스트, 오디오(예를 들어, 음성, 음악 등) 및 부가 정보(예를 들어, EPG 등) 등을 수신한다.
예를 들어, 입력부(1010)는 복수의 영상 획득 장치(예: 카메라 등)들을 이용하여 복수의 영상을 획득할 수 있다. 복수의 영상들은 정지 영상 또는 동영상을 포함할 수 있으며, 영상들 각각은 파노라마 또는 360도 영상 등을 생성하기 위해 일부 영역들이 서로 중첩될 수 있다.
제어부(1020)는 스티칭 영상 생성 장치(1000)의 전반적인 동작 및 스티칭 영상 생성 장치(1000)의 내부 구성 요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 제어부(1020)는 사용자의 입력이 있거나 기 설정되어 저장된 조건을 만족하는 경우, 저장부(1030)에 저장된 다양한 데이터들을 이용하고 또한 다양한 애플리케이션을 실행할 수 있다.
예를 들어, 제어부(1020)는 입력 영상들의 중첩 영역간 시차 문제가 발생하는지를 판단하고, 판단에 따라 순람표를 업데이트 하고, 입력 영상들에 대해 업데이트된 순람표를 적용하여 스티칭 영상을 생성할 수 있다.
또한 예를 들어, 제어부(1020)는 중첩 영역간 시차 문제가 발생하는지를 판단하기 위해 입력 영상들의 각 중첩 영역에 대해 SSE(Sum of Squared Errors, SSE)를 계산하고, 계산된 SSE와 소정의 임계값을 비교할 수 있다.
또한 예를 들어, 제어부(1020)는 시차 문제가 발생한 경우, 특징점 매칭을 이용하여 호모그래피를 계산하고, 계산된 결과를 이용하여 시차 문제가 발생된 중첩 영역에 대한 순람표를 업데이트할 수 있다. 한편, 제어부(1020)는 시차 문제가 발생하지 않은 경우, 중첩 영역에 대한 순람표를 업데이트 하지 않을 수 있다.
또한 예를 들어, 제어부(1020)는 입력 영상에 대해 업데이트된 순람표를 적용하여 소정의 좌표계로 와핑하고, 소정의 좌표계로 와핑된 입력 영상들의 각 중첩 영역을 스티칭 함으로써 스티칭 영상을 생성할 수 있다.
또한 예를 들어, 제어부(1020)는 시차 문제가 발생하였다고 판단된 중첩 영역 주변의 제어점의 위치에 기초하여 순람표를 업데이트할 수 있다. 구체적으로, 상기 수학식 1과 같이, 시차가 발생하는 주변에 있는 제어점들의 좌표, 시차가 발생한 영역과의 거리, 해당 제어점 좌표들의 평균 이동값 등을 이용하여 제어점 값을 조정할 수 있다.
또한 예를 들어, 제어부(1020)는 상기 제어부는, 시차 문제가 발생하였다고 판단된 경우, 중첩 영역을 복수의 일부 영역들로 분할하고, 분할된 일부 영역에 포함된 픽셀들간의 차이값에 기초하여 시차 문제가 발생하였다고 판단된 중첩 영역에 대한 순람표를 업데이트할 수 있다.
저장부(1030)는 제어부(1020)의 제어에 의해 스티칭 영상 생성 장치(1000)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 애플리케이션을 저장할 수 있다.
예를 들어, 저장부(1030)는 입력 영상을 소정의 좌표계로 변환시키기 위한 소정의 순람표 데이터를 저장할 수 있다. 예를 들어, 소정의 좌표계는 파노라마 영상 생성을 위한 좌표계 또는 360도 영상 생성을 위한 좌표계를 포함할 수 있다.
본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.
본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.
또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.

Claims (14)

  1. 복수의 입력 영상들을 획득하는 단계;
    상기 획득된 입력 영상들의 중첩 영역간 시차 문제가 발생하는지를 판단하는 단계;
    상기 판단에 따라 소정의 순람표(Look-Up Table, LUT)를 업데이트하는 단계; 및
    상기 입력 영상들에 대해 상기 업데이트된 순람표를 적용하여 스티칭 영상을 생성하는 단계를 포함하는 스티칭 영상 생성 방법.
  2. 제1항에 있어서,
    상기 시차 문제가 발생하는지를 판단하는 단계는,
    상기 입력 영상들의 각 중첩 영역에 대해 SSE(Sum of Squared Errors, SSE)를 계산하는 단계; 및
    상기 계산된 SSE와 소정의 임계값을 비교하는 단계를 포함하는 스티칭 영상 생성 방법.
  3. 제1항에 있어서,
    상기 순람표의 업데이트는,
    소정의 좌표계로 와핑하기 위한 기준점으로서의 제어점(control point)의 값을 업데이트하는 것인 스티칭 영상 생성 방법.
  4. 제1항에 있어서,
    상기 판단에 따라 소정의 순람표를 업데이트하는 단계는,
    상기 시차 문제가 발생하였다고 판단된 경우, 특징점 매칭을 이용하여 호모그래피를 계산하는 단계; 및
    상기 계산된 결과를 이용하여 상기 시차 문제가 발생하였다고 판단된 중첩 영역에 대한 순람표를 업데이트하는 단계를 포함하는 스티칭 영상 생성 방법.
  5. 제1항에 있어서,
    상기 스티칭 영상을 생성하는 단계는,
    상기 입력 영상에 대해 상기 업데이트된 순람표를 적용하여 소정의 좌표계로 와핑하는 단계;
    상기 소정의 좌표계로 와핑된 입력 영상들의 각 중첩 영역을 스티칭 함으로써 스티칭 영상을 생성하는 단계를 포함하는 스티칭 영상 생성 방법.
  6. 제4항에 있어서,
    상기 판단에 따라 소정의 순람표를 업데이트하는 단계는,
    상기 시차 문제가 발생하였다고 판단된 중첩 영역 주변의 제어점의 위치에 기초하여 상기 순람표를 업데이트하는 단계를 더 포함하는 스티칭 영상 생성 방법.
  7. 제1항에 있어서,
    상기 판단에 따라 소정의 순람표를 업데이트하는 단계는,
    상기 시차 문제가 발생하였다고 판단된 경우, 상기 중첩 영역을 복수의 일부 영역들로 분할하는 단계;
    상기 분할된 일부 영역에 포함된 픽셀들간의 차이값에 기초하여 상기 시차 문제가 발생하였다고 판단된 중첩 영역에 대한 순람표를 업데이트하는 단계를 포함하는 스티칭 영상 생성 방법
  8. 복수의 입력 영상들을 획득하는 입력부;
    제어부; 및
    소정의 순람표(Look-Up Table, LUT)를 저장하는 저장부를 포함하고,
    상기 제어부는,
    상기 획득된 입력 영상들의 중첩 영역간 시차 문제가 발생하는지를 판단하고, 상기 판단에 따라 상기 순람표를 업데이트 하고, 상기 입력 영상들에 대해 상기 업데이트된 순람표를 적용하여 스티칭 영상을 생성하는 스티칭 영상 생성 장치.
  9. 제8항에 있어서,
    상기 제어부는,
    상기 입력 영상들의 각 중첩 영역에 대해 SSE(Sum of Squared Errors, SSE)를 계산하고, 상기 계산된 SSE와 소정의 임계값을 비교하는 스티칭 영상 생성 장치.
  10. 제8항에 있어서,
    상기 순람표의 업데이트는,
    소정의 좌표계로 와핑하기 위한 기준점으로서의 제어점(control point)의 값을 업데이트하는 것인 스티칭 영상 생성 장치.
  11. 제8항에 있어서,
    상기 제어부는,
    상기 시차 문제가 발생하였다고 판단된 경우, 특징점 매칭을 이용하여 호모그래피를 계산하고, 상기 계산된 결과를 이용하여 상기 시차 문제가 발생하였다고 판단된 중첩 영역에 대한 순람표를 업데이트하는 스티칭 영상 생성 장치.
  12. 제8항에 있어서,
    상기 제어부는,
    상기 입력 영상에 대해 상기 업데이트된 순람표를 적용하여 소정의 좌표계로 와핑하고, 상기 소정의 좌표계로 와핑된 입력 영상들의 각 중첩 영역을 스티칭 함으로써 스티칭 영상을 생성하는 스티칭 영상 생성 장치.
  13. 제11항에 있어서,
    상기 제어부는,
    상기 시차 문제가 발생하였다고 판단된 중첩 영역 주변의 제어점의 위치에 기초하여 상기 순람표를 업데이트하는 스티칭 영상 생성 장치.
  14. 제8항에 있어서,
    상기 제어부는,
    상기 시차 문제가 발생하였다고 판단된 경우, 상기 중첩 영역을 복수의 일부 영역들로 분할하고, 상기 분할된 일부 영역에 포함된 픽셀들간의 차이값에 기초하여 상기 시차 문제가 발생하였다고 판단된 중첩 영역에 대한 순람표를 업데이트하는 스티칭 영상 생성 장치.
KR1020180042000A 2018-04-11 2018-04-11 순람표에 기반한 스티칭 영상 생성 장치 및 방법 KR102198217B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180042000A KR102198217B1 (ko) 2018-04-11 2018-04-11 순람표에 기반한 스티칭 영상 생성 장치 및 방법
US16/155,660 US10963989B2 (en) 2018-04-11 2018-10-09 Apparatus and method of generating stitched image based on look-up table

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180042000A KR102198217B1 (ko) 2018-04-11 2018-04-11 순람표에 기반한 스티칭 영상 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190118747A true KR20190118747A (ko) 2019-10-21
KR102198217B1 KR102198217B1 (ko) 2021-01-04

Family

ID=68162013

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180042000A KR102198217B1 (ko) 2018-04-11 2018-04-11 순람표에 기반한 스티칭 영상 생성 장치 및 방법

Country Status (2)

Country Link
US (1) US10963989B2 (ko)
KR (1) KR102198217B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021132832A1 (ko) * 2019-12-23 2021-07-01 서경대학교 산학협력단 멀티 프로젝터 영상 정합을 위한 영상분배및변환장치 및 이를 이용한 영상 정합 방법
KR20220136797A (ko) * 2021-04-01 2022-10-11 경희대학교 산학협력단 우선순위 사물 기반의 영상 정합 장치 및 그 방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10937193B2 (en) * 2018-12-05 2021-03-02 Goodrich Corporation Multi-sensor alignment and real time distortion correction and image registration
US10853914B2 (en) * 2019-02-22 2020-12-01 Verizon Patent And Licensing Inc. Methods and systems for automatic image stitching failure recovery
US11694303B2 (en) 2019-03-19 2023-07-04 Electronics And Telecommunications Research Institute Method and apparatus for providing 360 stitching workflow and parameter
US10839508B2 (en) * 2019-03-21 2020-11-17 Sri International Integrated circuit image alignment and stitching
US11276142B2 (en) 2019-06-27 2022-03-15 Electronics And Telecommunications Research Institute Apparatus and method for synthesizing virtual viewpoint images

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140028516A (ko) * 2012-08-29 2014-03-10 주식회사 실리콘웍스 학습방식의 부화소기반 영상축소방법
KR20160094655A (ko) * 2015-02-02 2016-08-10 주식회사 일리시스 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법
KR20160118868A (ko) * 2015-04-03 2016-10-12 한국전자통신연구원 하나의 룩업 테이블을 이용한 파노라마 영상 출력 시스템 및 방법
KR20180022539A (ko) * 2016-08-24 2018-03-06 한국전자통신연구원 중첩영역의 제어점들을 이용한 시차 최소화 스티칭 장치 및 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4066488B2 (ja) * 1998-01-22 2008-03-26 ソニー株式会社 画像データ生成装置及び画像データ生成方法
JP4562774B2 (ja) 2004-10-12 2010-10-13 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 映像合成基盤の多視点動映像の符号化及び復号化を行うための方法及び装置
KR100724134B1 (ko) 2006-01-09 2007-06-04 삼성전자주식회사 이미지 매칭 속도와 블렌딩 방법을 개선한 파노라마 영상제공 방법 및 장치
US9557405B2 (en) * 2014-08-12 2017-01-31 Bae Systems Information And Electronic Systems Integration Inc. Tracking projectile trajectory with multiple sensors
US9363449B1 (en) 2014-11-13 2016-06-07 Futurewei Technologies, Inc. Parallax tolerant video stitching with spatial-temporal localized warping and seam finding
KR20160115466A (ko) 2015-03-27 2016-10-06 한국전자통신연구원 파노라믹 비디오를 스티칭하는 장치 및 이를 위한 스티칭 방법
JP6446329B2 (ja) * 2015-06-03 2018-12-26 株式会社日立製作所 カメラのキャリブレーション装置、カメラシステム及び、カメラのキャリブレーション方法
KR101704362B1 (ko) 2016-11-18 2017-02-08 최재용 룩업테이블 기반의 실시간 파노라마 영상 제작 시스템 및 이를 이용한 실시간 파노라마 영상 제작 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140028516A (ko) * 2012-08-29 2014-03-10 주식회사 실리콘웍스 학습방식의 부화소기반 영상축소방법
KR20160094655A (ko) * 2015-02-02 2016-08-10 주식회사 일리시스 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법
KR20160118868A (ko) * 2015-04-03 2016-10-12 한국전자통신연구원 하나의 룩업 테이블을 이용한 파노라마 영상 출력 시스템 및 방법
KR20180022539A (ko) * 2016-08-24 2018-03-06 한국전자통신연구원 중첩영역의 제어점들을 이용한 시차 최소화 스티칭 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021132832A1 (ko) * 2019-12-23 2021-07-01 서경대학교 산학협력단 멀티 프로젝터 영상 정합을 위한 영상분배및변환장치 및 이를 이용한 영상 정합 방법
KR20220136797A (ko) * 2021-04-01 2022-10-11 경희대학교 산학협력단 우선순위 사물 기반의 영상 정합 장치 및 그 방법

Also Published As

Publication number Publication date
KR102198217B1 (ko) 2021-01-04
US10963989B2 (en) 2021-03-30
US20190318453A1 (en) 2019-10-17

Similar Documents

Publication Publication Date Title
KR102198217B1 (ko) 순람표에 기반한 스티칭 영상 생성 장치 및 방법
TWI539813B (zh) 影像合成裝置及方法
US20160286138A1 (en) Apparatus and method for stitching panoramaic video
US9953422B2 (en) Selective local registration based on registration error
US20150172620A1 (en) Optimal dynamic seam adjustment system and method for image stitching
KR102383669B1 (ko) Hlbp 디스크립터 정보를 이용한 시차 최소화 스티칭 장치 및 방법
US9948913B2 (en) Image processing method and apparatus for processing an image pair
US11790583B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
US8467629B2 (en) Methods and systems for automatic coloring of digital images
US10121251B2 (en) Method for controlling tracking using a color model, corresponding apparatus and non-transitory program storage device
JP5669599B2 (ja) 画像処理装置及びその制御方法
JP2017021759A (ja) 画像処理装置、画像処理方法及びプログラム
JP2019020778A5 (ko)
JP2020182045A (ja) パノラマ映像合成装置、パノラマ映像合成方法、及びパノラマ映像合成プログラム
JP2019152910A (ja) 画像処理装置、画像処理方法及びプログラム
JP2014116012A (ja) 画像間の色転送を行う方法および装置
US20160042519A1 (en) Method and image processing device for efficient image depth map generation
US11158026B1 (en) Field of view extension in a stereo camera system
KR101819984B1 (ko) 실시간 영상 합성 방법
JP2018049559A (ja) 画像処理装置、画像処理方法、及びプログラム
US20150281575A1 (en) Image processing apparatus, image processing method, program, and camera
JP2015079329A (ja) 画像処理装置、画像処理方法およびプログラム
US20200154023A1 (en) Location estimation device, location estimation method, and program recording medium
US20140002589A1 (en) Method for Producing a Panoramic Image and Implementation Apparatus
KR102074072B1 (ko) 듀얼 카메라가 장착된 이동형 디바이스를 이용한 포커스 콘텍스트 영상 처리 장치 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant