KR102637913B1 - 영상 합성 방법 및 장치 - Google Patents

영상 합성 방법 및 장치 Download PDF

Info

Publication number
KR102637913B1
KR102637913B1 KR1020180004708A KR20180004708A KR102637913B1 KR 102637913 B1 KR102637913 B1 KR 102637913B1 KR 1020180004708 A KR1020180004708 A KR 1020180004708A KR 20180004708 A KR20180004708 A KR 20180004708A KR 102637913 B1 KR102637913 B1 KR 102637913B1
Authority
KR
South Korea
Prior art keywords
boundary
value
frames
pixel values
pixel
Prior art date
Application number
KR1020180004708A
Other languages
English (en)
Other versions
KR20190086323A (ko
Inventor
유성열
김준식
김규헌
강전호
Original Assignee
삼성전자주식회사
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 경희대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020180004708A priority Critical patent/KR102637913B1/ko
Priority to PCT/KR2019/000111 priority patent/WO2019139303A1/ko
Publication of KR20190086323A publication Critical patent/KR20190086323A/ko
Application granted granted Critical
Publication of KR102637913B1 publication Critical patent/KR102637913B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/18—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

본 개시의 일 실시 예에 따른 영상 합성 장치는 다수의 영상들 각각에 상응하는 다수의 프레임들로부터 추출된 특징점들을 기반으로 상기 다수의 프레임들을 정렬하고, 상기 정렬된 프레임들로 이루어진 영역에서 상기 정렬된 프레임들 간 대응되는 특징점들을 포함하는 중첩 영역을 확인하고, 상기 중첩 영역의 깊이 정보를 기반으로 각 픽셀 별 가중치를 결정하고, 상기 중첩 영역에 포함된 프레임들의 픽셀 값들 간 차이에 상기 각 픽셀 별 가중치를 부여하여 최소 오류 행렬을 생성하고, 상기 최소 오류 행렬을 이용하여 경계를 생성하고, 상기 생성된 경계를 기반으로 상기 정렬된 프레임들을 합성한다.

Description

영상 합성 방법 및 장치{METHOD AND APPARATUS FOR COMPOSING IMAGES}
본 개시의 다양한 실시 예들은 서로 다른 시점을 갖는 영상들을 하나의 영상으로 합성하는 방법 및 장치에 관한 것이다.
일반적으로, 카메라를 통해 획득된 하나의 영상은 제한된 화각을 갖는다. 이에 따라 단일 영상의 화각에 비해 넓은 화각을 갖는 영상을 생성하여 보다 실감 있는 경험을 제공하기 위한 다양한 영상 합성 기술들이 연구되고 있다.
상기 영상 합성 기술들의 대표적인 예로서, 영상 내 특징 정보를 추출하고 상기 특징 정보를 기반으로 영상들을 합성하는 SIFT (Scale Invariant Feature Transform), SURF (Speed Up Robust Feature) 및 FAST (Features form Accelerated Segment Test) 등의 특징 추출 알고리즘과, 합성 후 육안으로 보이는 경계를 없애주는 알파, 피라미드 블렌딩 (pyramid blending) 알고리즘 등이 존재한다.
스티칭(stitching) 기술은 영상 합성 기술에 따른 알고리즘들을 순차적으로 활용하여 시각적 오류가 없는 파노라마 영상을 생성할 수 있도록 한다. 상기 스티칭 기술은 정확도에서 큰 향상을 보이며 발전해 왔다. 하지만 상기 정확도의 향상은 영상 처리를 위한 연산량을 증가시킴에 따라, 처리 속도의 저하를 가져올 수 있다. 이러한 상기 처리 속도의 저하는 파노라마 영상 생성 기술의 사용 범위를 제한할 수 있다.
본 개시의 다양한 실시 예에 따르면, 영상 합성에 따른 처리 속도와 정확도에 의한 범용성을 확보할 수 있는 영상 합성 방법 및 장치를 제공할 수 있다.
본 개시의 다양한 실시 예에 따르면, 서로 다른 다양한 시점의 영상들을 합성하여 단일 파노라마 영상을 생성하는 영상 합성 방법 및 장치를 제공할 수 있다.
본 개시의 다양한 실시 예에 따르면, 단일 파노라마 영상을 생성하기 위해 사용된 기존의 알고리즘에 비해 적은 처리량을 갖도록 하며, 영상 합성 시 발생하는 이미지 왜곡이나 시점 왜곡 등의 문제를 줄여 보다 명확한 파노라마 영상을 획득할 수 있도록 하는 영상 합성 방법 및 장치를 제공할 수 있다.
본 개시의 일 실시 예에 따른 방법은; 영상 합성 방법에 있어서, 다수의 영상들 각각에 상응하는 다수의 프레임들로부터 추출된 특징점들을 기반으로 상기 다수의 프레임들을 정렬하는 과정과, 상기 정렬된 프레임들로 이루어진 영역에서 상기 정렬된 프레임들 간 대응되는 특징점들을 포함하는 중첩 영역을 확인하는 과정과, 상기 중첩 영역의 깊이 정보를 기반으로 각 픽셀 별 가중치를 결정하고, 상기 중첩 영역에 포함된 프레임들의 픽셀 값들 간 차이에 상기 각 픽셀 별 가중치를 부여하여 최소 오류 행렬을 생성하는 과정과, 상기 최소 오류 행렬을 이용하여 경계를 생성하고, 상기 생성된 경계를 기반으로 상기 정렬된 프레임들을 합성하는 과정을 포함한다.
본 개시의 일 실시 예에 따른 장치는; 영상 합성 장치에 있어서, 다수의 영상들을 획득하기 위한 인터페이스부와, 상기 다수의 영상들 각각에 상응하는 다수의 프레임들로부터 추출된 특징점들을 기반으로 상기 다수의 프레임들을 정렬하고, 상기 정렬된 프레임들로 이루어진 영역에서 상기 정렬된 프레임들 간 대응되는 특징점들을 포함하는 중첩 영역을 확인하고, 상기 중첩 영역의 깊이 정보를 기반으로 각 픽셀 별 가중치를 결정하고, 상기 중첩 영역에 포함된 프레임들의 픽셀 값들 간 차이에 상기 각 픽셀 별 가중치를 부여하여 최소 오류 행렬을 생성하고, 상기 최소 오류 행렬을 이용하여 경계를 생성하고, 상기 생성된 경계를 기반으로 상기 정렬된 프레임들을 합성하는 프로세서를 포함한다.
본 개시의 다양한 실시 예에 따르면, 영상 합성시 발생하는 이미지 왜곡 또는 시점 왜곡 등을 적은 처리량으로 해결함으로써, 원하는 파노라마 영상을 획득할 수 있게 된다.
도 1은 일 실시 예에 따른 영상 합성 장치의 블록 구조도,
도 2는 일 실시 예에 따른 깊이 맵 값들을 양자화하기 위해 사용되는 양자화 함수를 예시한 그래프,
도 3은 일 실시 예에 따른 하단 방향 경계를 생성하는 과정을 나타낸 도면,
도 4는 일 실시 예에 따른 상단 방향 경계를 생성하는 과정을 나타낸 도면,
도 5는 일 실시 예에 따른 우단 방향 경계를 생성하는 과정을 나타낸 도면,
도 6은 일 실시 예에 따른 중첩 영역을 나타낸 도면,
도 7은 일 실시 예에 따른 최소 오류 경계를 예시한 도면,
도 8은 일 실시 예에 따른 파노라마 영상들을 비교한 도면,
도 9는 일 실시 예에 따른 영상 합성 장치의 영상 합성 방법을 나타낸 순서도.
이하 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 명세서에는 영상 합성 방법 및 장치를 설명한다. 구체적으로, 본 명세서에서는 서로 다른 시점을 갖는 영상들을 하나의 영상으로 합성하여 파노라마 영상을 생성하기 위한 방법 및 장치를 설명한다. 본 개시의 다양한 실시 예에서는 파노라마 영상을 생성하기 위해 깊이 맵(depth map)을 사용할 수 있다. 상기와 같이 깊이 맵을 사용할 경우, 영상 합성시 발생하는 이미지 왜곡 등으로 인한 오류를 줄일 수 있다.
도 1은 일 실시 예에 따른 영상 합성 장치의 블록 구조도이다.
도 1을 참조하면, 영상 합성 장치는 인터페이스부와 적어도 하나의 프로세서를 포함할 수 있다. 상기 영상 합성 장치는 적어도 하나의 카메라를 구비할 수도 있다. 도 1에서는 본 개시의 다양한 실시 예들에 따른 설명의 편의를 위해, 영상 합성 장치에 포함되는 하나의 프로세서에서 영상 처리를 위해 구성된 기능 블록들을 도시하고 있다. 도 1에 도시된 기능 블록은 하나 또는 다수의 프로세서들에서 프로그램에 의해 구현될 수 있다. 또한 도 1에 도시된 기능 블록은 디지털 논리 회로 등의 하드웨어에 의해 구현할 수도 있다.
하나의 실시 예에 따르면, 영상 처리를 위한 장치 (예컨대, 하나의 프로세서)는 파서(parser)(110), 프레임 추출부(120) 및 영상 처리 모듈(100)을 포함할 수 있다. 상기 영상 처리 모듈(100)은 최소 오류 행렬(minimal error matrix) 생성부(130), 최소 오류 경계(minimal error seam) 생성부(140), 최소 오류 경계 방향 생성부(150) 및 영상 합성부(160)을 포함할 수 있다.
상기 파서(110)는 하나 또는 다수의 카메라들로부터 실사 영상들 및 상기 실사 영상들 각각과 관련된 메타데이터를 입력 받을 수 있다. 상기 실사 영상들은 다수개의 카메라들이 서로 다른 시점에서 촬영한 영상들 또는 하나의 카메라가 복수의 다른 시점들에서 촬영한 영상들을 포함할 수 있다. 또한 상기 실사 영상들은 3D 영상을 구현하기 위한 2개 또는 그 이상의 실사 영상들을 포함할 수 있다.
상기 파서(110)는 입력된 실사 영상들 각각으로부터 깊이 정보 및 위치 정보를 추출하고, 상기 추출한 깊이 정보를 사용하여 깊이 맵을 생성할 수 있다. 이 경우, 상기 파서(110)는 상기 입력된 실사 영상들을 프레임 추출부(120)로 제공하고, 상기 생성한 깊이 맵과 상기 추출한 위치 정보를 영상 처리 모듈(100)로 제공할 수 있다.
일 실시 예에 따르면, 파서(110)는 입력된 실사 영상들 각각과 관련된 메타 데이터를 분석한다. 상기 메타 데이터는 실사 영상들 각각과 관련된 다양한 정보, 예를 들어, 별도의 시스템에서 전달받은 가상 세계 맵 (virtual world map: VWM)에 의해 정의된 정보 등을 포함할 수 있다.
상기 파서(110)는 상기 메타 데이터를 기반으로 실사 영상들 각각의 깊이 맵을 획득할 수 있다. 상기 파서(110)는 실사 영상들에 대한 정합 위치를 생성할 수 있다. 상기 파서(110)는, 예를 들어, 실사 영상들로부터 특징점 (key point) 및 기술자 (description)를 추출할 수 있다. 상기 파서(110)는 특징점 및 기술자를 추출하기 위해 하나 또는 다수의 알고리즘들을 사용될 수 있다. 상기 하나 또는 다수의 알고리즘들에는 예를 들어, 속도에 중점을 두고 있는 FAST (Features form Accelerated Segment Test) 기반의 알고리즘이 포함될 수 있다.
상기 파서(110)는 실사 영상들 각각으로부터 추출된 특징점 및 기술자를 매칭하는 과정을 수행하고, 상기 매칭되는 특징점들에 대한 위치 관계를 판단할 수 있다. 상기 파서(110)는 위치 관계를 고려하여 실사 영상들 간에 정합되는 위치를 검출할 수 있다. 상기 파서(110)는 상기 검출한 정합되는 위치를 기반으로 실사 영상들 간 대응되는 특징점들이 포함된 영역 (이하 '중첩 영역'이라 칭함)을 확인할 수 있다. 상기 중첩 영역은, 예를 들어, 서로 다른 시점에서 촬영된 실사 영상에 상응한 다수 프레임들에서 동일한 피사체를 포함하고 있는 영역이 될 수 있다. 상기 중첩 영역은, 예를 들어, 프레임의 상하를 연결하는 소정 면적을 갖는 영역 또는 프레임의 좌우를 연결하는 소정 면적을 갖는 영역 또는 프레임의 좌 (또는 우)와 상 (또는 하)를 연결하는 소정 면적을 갖는 영역이 될 수 있다.
상기 파서(110)는 중첩 영역에 대한 위치 정보와 중첩 영역에 대한 깊이 맵을 영상 처리 모듈(100)로 제공할 수 있다.
상술한 바에 따르면, 파서(110)가 실사 영상들에 대한 정합 위치를 생성하기 위한 동작을 수행하지만, 해당 동작이 상기 파서(110)가 아닌 정합 위치 생성부 등의 별도 물리적인 구성에 의해 수행될 수 있다.
상기 프레임 추출부(120)는 상기 파서(110)로부터 제공받은 실사 영상들 각각으로부터 프레임들을 추출할 수 있다. 상기 프레임들은 예를 들어, 한 장의 정지 영상을 구성하는 단위 또는 동영상을 구성하는 특정 시점에서의 영상을 구성하는 단위 등이 될 수 있다. 상기 프레임 추출부(120)는 상기 추출한 프레임들을 영상 처리 모듈(100)로 제공할 수 있다.
하나의 실시 예에 따르면, 영상 처리 모듈(100)에 포함된 최소 오류 행렬 생성부(130), 최소 오류 경계 생성부(140), 최소 오류 경계 방향 선택부(150) 및 영상 합성부(160) 각각은 하기와 같은 동작을 수행할 수 있다.
상기 최소 오류 행렬 생성부(130)는 실사 영상들 각각으로부터 추출한 프레임들과 상기 실사 영상들 각각으로부터 추출하거나 생성한 깊이 맵 및 위치 정보를 제공받을 수 있다. 상기 최소 오류 행렬 생성부(130)는 제공 받은 프레임들과 깊이 맵 및 위치 정보를 기반으로 최소 오류 행렬을 생성할 수 있다. 상기 최소 오류 행렬은, 예를 들어, 하나의 프레임을 구성하는 픽셀들 각각에 상응한 고유 값을 계산하고, 상기 프레임을 구성하는 픽셀 별로 계산한 고유 값들을 정의하는 행렬일 수 있다.
상기 최소 오류 행렬 생성부(130)는, 예를 들어, 하기 수학식 1에 의해 최소 오류 행렬을 얻을 수 있다.
상기 수학식 1에서, E( i,j )는 프레임 A와 프레임 B의 합성에 따른 중첩 영역 내의 픽셀들 각각에 대응한 위치 (i,j)에서의 깊이 맵 기반 최소 오류 행렬 값을 나타내고, O A (i,j)는 프레임 A에서의 중첩 영역 내 픽셀들 각각에 대응한 위치 (이하 '제1 픽셀 위치'라 칭함)를 나타내고, O B ( i,j )는 프레임 B에서의 중첩 영역 내 픽셀들 각각에 대응한 위치 (이하 '제2 픽셀 위치'라 칭함)를 나타내고, D( i,j )는 프레임 A와 프레임 B의 합성에 따른 중첩 영역 내의 픽셀들 각각에 상응한 깊이 맵 값을 나타내고, Quant()는 양자화 함수를 나타낸다.
즉, 상기 수학식 1에서는, 두 개의 프레임들 (프레임 A, 프레임 B)을 합성할 시에 중첩될 영역 (중첩 영역)에 포함된 픽셀들 각각을 정의하는 고유 값을 얻기 위한 하나의 방안을 제시하고 있다. 하지만 상기 중첩 영역에 포함된 픽셀들 각각에 상응한 고유 값은 다양한 방안에 의해 구현될 수 있음은 물론이다.
상기 수학식 1 내에서의 양자화 함수는 깊이 맵 값들을 다수개의 단계 (양자화 레벨)로 양자화하기 위해 사용될 수 있다. 상기 양자화 함수는, 예를 들어, 깊이가 깊을수록 즉, 카메라와 영상 내 객체 사이의 거리(심도)가 멀수록 깊이 맵 값이 큰 값의 가중치 값에 대응되도록 사용될 수 있다. 상기와 같은 양자화 함수가 사용될 경우, 경계 생성시 먼 거리의 객체가 가까이에 있는 객체를 가리면서 발생할 수 있는 오류를 최소화할 수 있다.
상기 최소 오류 행렬 생성부(130)는 최소 오류 행렬을 획득하면, 상기 획득한 최소 오류 행렬을 최소 오류 경계 생성부(140)로 출력한다. 상기 최소 오류 행렬은, 예를 들어, 중첩 영역에 포함된 픽셀들 각각의 특성을 지시하는 고유 값을 정의할 수 있다.
상기 최소 오류 경계 생성부(140)는 상기 최소 오류 행렬 생성부(130)로부터 제공된 최소 오류 행렬을 이용하여 중첩 영역 내에서 경계 생성 방향 별로의 경계를 생성할 수 있다.
상기 경계는, 예를 들어, 최소 오류 행렬을 기반으로 다수 프레임들을 합성할 중첩 영역 내에서 오류 발생 확률이 낮을 것으로 예상되는 픽셀들의 연결을 정의한다. 이는 다수 프레임들을 합성할 시에 오류가 발생할 확률을 낮출 수 있을 뿐만 아니라, 합성 시의 오류를 보정하기 위한 연산 량을 줄일 수 있도록 할 것이다. 일 예로, 두 개의 프레임들을 합성할 시, 오류 발생 가능성이 낮은 픽셀들에서 상기 두 개의 프레임들이 합성될 경계를 설정함으로써, 합성에 따른 오류 정도 및 오류 보정을 위한 연산 량을 줄일 수 있도록 한다.
상기 중첩 영역을 사각형으로 정의할 때, 예를 들어, 상기 중첩 영역 내에서의 경계를 생성하는 방향 (이하 '경계 생성 방향'이라 칭함)은 경계의 시작 위치 (경계의 시작 픽셀 위치)를 기준으로 하단 방향, 상단 방향, 우단 방향으로 구분할 수 있다. 즉, 상기 경계의 시작 위치는 중첩 영역을 정의하는 사각형을 구성하는 네 개 모서리들 (상측 모서리, 하측 모서리, 좌측 모서리, 우측 모서리) 중 경계 생성을 시작하는 픽셀이 위치하는 모서리에 의해 정의될 수 있다.
일 예로, 경계의 시작 픽셀 위치가 상측 모서리인 경우에 경계 생성 방향은 하단 방향이 될 수 있고, 상기 경계의 시작 픽셀 위치가 하측 모서리인 경우에 경계 생성 방향은 상단 방향이 될 수 있으며, 상기 경계의 시작 픽셀 위치가 좌측 모서리인 경우에 경계 생성 방향은 우단 방향이 될 수 있다.
하기 수학식 2, 3 및 4는 경계 생성 방향 별로 경계에 상응한 픽셀들을 결정하는 것을 정의하고 있다.
상기 수학식 2로 정의되는 S ia (i,j)는 중첩 영역의 하단 방향으로 생성되는 경계 (이하 '하단 방향 경계'라 칭함)를 정의하고, S ib (i,j)는 중첩 영역의 상단 방향으로 생성되는 경계 (이하 '상단 방향 경계'라 칭함)를 정의하며, S j (i,j)는 중첩 영역의 우단 방향으로 생성되는 경계 (이하 '우단 방향 경계'라 칭함)를 정의한다. 상기 수학식 2, 3, 4에 공통으로 사용된 E(i, j)는 최소 오류 행렬을 나타낸다. 상기 최소 오류 행렬 E(i, j)는 최소 오류 행렬 생성부(130)에 의해 제공될 수 있다.
일 실시 예에 따르면, 최소 오류 경계 생성부(140)는 최소 오류 행렬을 기반으로 중첩 영역 내에서 경계 생성 방향 별로 오류가 발생될 가능성이 낮은 픽셀들의 위치를 탐색하는 최소 오류 탐색 동작을 수행한다. 상기 최소 오류 탐색 시 다음 탐색 행 또는 열 뿐만 아니라 같은 행 또는 열의 주변의 픽셀 값 (최소 오류 행렬에서 픽셀 별로 정의하고 있는 고유 값)을 참고하여 경계 생성 방향 별로 경계를 생성할 수 있다. 이는 경계 생성 방식을 더 유연하게 하며, 가능한 경계의 범위를 비약적으로 상승시킨다. 또한 하단, 상단, 우단 면을 시작점으로 총 세 가지의 경계를 제안함으로써, 생성될 수 있는 모든 방향의 경계를 고려하여 프레임들을 합성할 수 있도록 한다. 이는 파노라마 영상의 경우 좌, 우 영상 합성을 고려하지만 최근 대두되고 있는 360도 영상의 경우 상, 하, 좌, 우 영상 합성을 고려하므로 전 방향 합성 기술이 필요하고, 이를 지원하기 위함이다.
상기 최소 오류 경계 생성부(140)가 상기 수학식 2, 3, 4를 이용하여 상기 상단 방향 경계, 상기 하단 방향 경계 및 상기 우단 방향 경계를 생성하는 구체적인 방법에 대해서는 이후 도 3 내지 도 5를 참조하여 상세히 설명하기로 한다.
상술한 바에 따르면, 상기 최소 오류 경계 생성부(140)는 중첩 영역에서 상기 상단 방향 경계, 상기 하단 생성 경계 및 상기 우단 생성 경계가 각각 생성되면, 상기 생성된 각 경계에 대한 정보를 상기 최소 오류 경계 방향 선택부(150)로 출력한다.
그러면 상기 최소 오류 경계 방향 선택부(150)는 상기 중첩 영역의 각 방향에서 생성된 경계 중 가장 작은 오류값을 갖는 경계를 선택한다. 이를 위해, 상기 최소 오류 경계 방향 선택부(150)는 하기와 같은 수학식 5를 사용할 수 있다.
상기 수학식 5에서 S(i)는 생성된 경계를 나타내며, N은 생성된 경계에 대한 픽셀 수를 나타내며, SEAMavr은 해당 경계의 오류 평균을 나타낸다. SEAMavr를 이용할 경우, 상기 생성된 경계에 의해 발생될 수 있는 오류를 수치로 확인할 수 있다.
따라서 각 방향의 경계에 대한 SEAMavr은 해당 경계를 평가하는 척도로서 이용될 수 있다. 예를 들어, 상기 최소 오류 경계 방향 선택부(150)는 각 방향의 경계에 대한 오류의 평균 중 가장 작은 값을 갖는 경계에 대응되는 방향을 선택할 수 있다. 상기 최소 오류 경계 방향 선택부(150)는 상기 선택된 방향의 경계(즉, 최소 오류를 갖는 경계)에 대한 정보를 상기 영상 합성부(160)로 출력한다.
상기 영상 합성부(160)는 상기 최소 오류 경계 방향 선택부(150)로부터 입력되는 경계에 대한 정보를 기반으로 상기 중첩 영역 내의 영상들을 합성한다. 상기 영상 합성부(160)는 상기 정보에 대응되는 경계를 기준으로 좌, 우 혹은 상, 하 방향으로 해당 실사 영상들을 합성하여 파노라마 영상을 출력한다.
한편 도 1에서는 상기 최소 오류 행렬 생성부(130), 상기 최소 오류 경계 생성부(140), 상기 최소 오류 경계 방향 생성부(150) 및 상기 영상 합성부(160)가 개별적인 구성부로서 도시되었으나, 다양한 실시 예에 따라 상기 구성부들(130)(140)(150)(160)은 제어부나 프로세서와 같은 하나의 물리적인 구성부(100)로서 구현될 수 있음은 물론이다.
도 2는 일 실시 예에 따른 깊이 맵 값들을 양자화하기 위해 사용되는 양자화 함수를 예시한 그래프이다.
도 2의 (a)~(d)에 나타난 바와 같은 그래프에서 가로 축은 0~255 사이의 값으로 표현되는 각 픽셀 별 깊이 맵 값을 나타내고, 세로 축은 각 깊이 맵 값에 대응되는 가중치 값을 나타낸다.
상기 양자화 함수는 도 2의 (a)~(d)에 도시된 바와 같은 다양한 형태로 깊이 맵 값과 가중치 값 간의 관계를 정의할 수 있다. 상기 양자화 함수는 도 2의 (a)~(d)에 나타난 바와 같이, 깊이가 깊을수록 즉, 카메라와 영상 내 객체 사이의 거리가 멀수록 깊이 맵 값에 대응되는 가중치 값이 커지도록 한다.
도 2의 (a)~(d)에서는 상기 깊이 맵 값에 대응될 수 있는 가중치 값들이 16 단계로 양자화된 것을 일 예로 보이고 있다. 하지만, 상기 가중치 값들은 이에 한정되지 않고 다양하게 변경되어 사용될 수 있다. 상기와 같은 양자화 함수가 사용될 경우, 경계 생성시 먼 거리의 객체가 가까이에 있는 객체를 가리면서 발생할 수 있는 오류를 최소화할 수 있다.
이하 도 3 내지 도 5를 참조하여 하단 방향 경계, 상단 방향 경계 및 우단 방향 경계를 생성하는 과정을 각각 설명하기로 한다.
도 3은 일 실시 예에 따른 하단 방향 경계를 생성하는 과정을 나타낸 도면이다.
도 3의 (a)를 참조하면, 중첩 영역은 일 예로 9 x 7의 픽셀들을 갖는 사각형 영역이 될 수 있으며, 각 픽셀 위치 별로 최소 오류 행렬 값들(즉, E(i, j))이 결정될 수 있다. 앞서 수학식 1과 관련하여 설명한 바와 같이, 상기 최소 오류 행렬 값들은 각각 해당 픽셀 위치의 깊이 맵 값에 대응되는 가중치가 적용된 값이다. 따라서 상기 최소 오류 행렬 값이 작을수록 카메라와 영상 내 객체 간의 거리가 가까운 것으로 판단될 수 있다.
한편, 도 3의 (a)에 나타난 바와 같은 최소 오류 행렬 값들은 앞서 설명한 수학식 1을 기반으로 생성된 것으로서, 도 3의 (b)에 나타난 바와 같은 하단 방향 경계값들(수학식 2의 Sia(i,j)에 대응)을 생성하기 위해 사용될 수 있다.
예를 들어, 수학식 2를 기반으로, 도 3의 (a)에서 상기 중첩 영역의 첫 번째 행에 포함된 E(1, j) 값들(9, 4, 4, 9, 16, 25, 4, 1, 2)은 그대로 S1a(1, j) 값들(9, 4, 4, 9, 16, 25, 4, 1, 2)로 생성된다. 그리고 상기 중첩 영역의 두 번째 행에 위치한 E(2, j) 값들(4, 4, 9, 16, 1, 9, 9, 4, 25)은 S2a(2, j) 값(8, 8, 13, 20, 10, 13, 10, 5, 26)으로 업데이트 된다. 이처럼 상기 하단 방향 경계값들을 생성하기 위한 시작점은 인접한 두 개의 행들(예: 1행, 2행)이 존재할 때 상기 두 개의 행들 중 실질적인 값들의 업데이트가 시작되는 하단에 위치한 행(예: 2행)의 값들이 될 수 있다.
각 픽셀 위치의 값들이 업데이트되는 것을 상세하게 살펴보면, 픽셀 위치 (2, 2)에서의 E(2, 2)의 값 4는 상기 픽셀 위치 (2, 2)의 이전 행에 인접한 3개의 E(1, 1), E(1, 2), E(1, 3)의 값들(9, 4, 4) 중 가장 작은 값 4와 더해지고, 상기 E(2, 2)의 값은 상기 더해진 결과 값인 S2a(2, 2)의 값 8로 업데이트된다.
또한, 픽셀 위치 (3, 3)에서의 E(3, 3)의 값 4는 상기 픽셀 위치 (3, 3)의 이전 행에 인접한 3개의 E(1, 1), E(1, 2), E(1, 3)의 값들(즉, 업데이트된 값인 8, 13, 20) 중 가장 작은 값 8과 더해지고, 상기 E(3, 3)의 값은 상기 더해진 결과 값인 S2a(3, 3)의 값 12로 업데이트된다.
상기와 같은 방식으로 E(i, j)에 대한 업데이트가 모두 완료되면, 도 3의 (b)에 나타난 바와 같은 결과가 산출된다. 도 3의 (b)에 도시된 화살표는 해당 픽셀에 대한 E(i, j)의 값이 더해지는 방향을 나타내는데, 도 3의 (b)에서는 상기 방향이 상기 중첩 영역의 하단 방향인 경우를 보이고 있다.
한편, 도 3의 (b)에 나타난 바와 같은 Sia(i, j)가 결정되면, 각 행 별로 최소 값이 검출된다. 상기 검출된 최소 값에 대응되는 픽셀들은 연결되어 하단 방향 경계로서 결정될 수 있다. 도 3의 (b)의 예에서는 1~7행 각각에서 최소값(1, 5, 6, 7, 8, 9, 10)을 갖는 픽셀들이 상기 하단 방향 경계를 위한 픽셀들로 결정될 수 있다.
도 4는 일 실시 예에 따른 상단 방향 경계를 생성하는 과정을 나타낸 도면이다.
도 4의 (a)를 참조하면, 상기 중첩 영역은 일 예로 9 x 7의 픽셀들을 갖는 사각형 영역이 될 수 있으며, 각 픽셀 위치 별로 최소 오류 행렬 값들(즉, E(i, j))이 결정될 수 있다. 앞서 수학식 1과 관련하여 설명한 바와 같이, 상기 최소 오류 행렬 값들은 각각 해당 픽셀 위치의 깊이 맵 값에 대응되는 가중치가 적용된 값이다. 따라서 상기 최소 오류 행렬 값이 작을수록 카메라와 영상 내 객체 간의 거리가 가까운 것으로 판단될 수 있다.
한편, 도 4의 (a)에 나타난 바와 같은 최소 오류 행렬값들은 앞서 설명한 수학식 1을 기반으로 생성된 것으로서, 도 4의 (b)에 나타난 바와 같은 상단 방향 경계값들(수학식 3의 Sib(i,j)에 대응)을 생성하기 위해 사용될 수 있다.
예를 들어, 수학식 3을 기반으로, 도 4의 (a)에서 상기 중첩 영역의 마지막 행에 포함된 E(7, j) 값들(4, 4, 1, 1, 4, 25, 1, 4, 4)은 그대로 S7b(7, j) 값들(4, 4, 1, 1, 4, 25, 1, 4, 4)로 생성된다. 그리고 상기 중첩 영역의 가장 하단으로부터 두 번째 행에 위치한 E(6, j) 값들(4, 25)은 S6b(6, j) 값(8, 26, 17, 26, 5, 5, 2, 5, 8)으로 업데이트 된다. 이처럼 상기 상단 방향 경계값들을 생성하기 위한 시작점은 인접한 두 개의 행들(예: 6행, 7행)이 존재할 때 상기 두 개의 행들 중 실질적인 값들의 업데이트가 시작되는 상단에 위치한 행(예: 6행)의 값들이 될 수 있다.
각 픽셀 위치의 값들이 업데이트되는 것을 상세하게 살펴보면, 픽셀 위치 (6, 7)에서의 E(6, 7)의 값 1은 상기 픽셀 위치 (6, 7)의 다음 행에 인접한 3개의 E(7, 6), E(7, 7), E(7, 8)의 값들(25, 1, 4) 중 가장 작은 값 1과 더해지고, 상기 E(7, 6)의 값은 상기 더해진 결과 값인 S6b(6, 7)의 값 2로 업데이트된다.
또한, 픽셀 위치 (5, 4)에서의 E(5, 4)의 값 4는 상기 픽셀 위치 (5, 4)의 다음 행에 인접한 3개의 E(6, 3), E(6, 4), E(6, 5)의 값들(즉, 업데이트된 값인 17, 26, 5) 중 가장 작은 값 5와 더해지고, 상기 E(5, 4)의 값은 상기 더해진 결과 값인 S5b(5, 4)의 값 9로 업데이트된다.
상기와 같은 E(i, j)에 대한 업데이트가 모두 완료되면, 도 4의 (b)에 나타난 바와 같은 결과가 산출된다. 도 4의 (b)에 도시된 화살표는 해당 픽셀에 대한 E(i, j)의 값이 더해지는 방향을 나타내는데, 도 4의 (b)에서는 상기 방향이 상기 중첩 영역의 상단 방향인 경우를 보이고 있다.
한편, 도 4의 (b)에 나타난 바와 같은 Sib(i, j)가 결정되면, 각 행 별로 최소 값이 검출된다. 상기 검출된 최소 값에 대응되는 픽셀들은 연결되어 상단 방향 경계로서 결정될 수 있다. 도 4의 (b)의 예에서는 1~7행 각각에서 최소값(10, 9, 5, 4, 3, 2, 1)을 갖는 픽셀들이 상기 상단 방향 경계를 위한 픽셀로서 결정될 수 있다.
도 5는 일 실시 예에 따른 우단 방향 경계를 생성하는 과정을 나타낸 도면이다.
도 5의 (a)를 참조하면, 중첩 영역은 일 예로 9 x 7의 픽셀들을 갖는 사각형 영역이 될 수 있으며, 각 픽셀 위치 별로 최소 오류 행렬 값들(즉, E(i, j))이 결정될 수 있다. 앞서 수학식 1과 관련하여 설명한 바와 같이, 상기 최소 오류 행렬 값들은 각각 해당 픽셀 위치의 깊이 맵 값에 대응되는 가중치가 적용된 값이다. 따라서 상기 최소 오류 행렬 값이 작을수록 카메라와 영상 내 객체 간의 거리가 가까운 것으로 판단될 수 있다.
한편, 도 5의 (a)에 나타난 바와 같은 최소 오류 행렬 값들은 앞서 설명한 수학식 1을 기반으로 생성된 것으로서, 도 5의 (b)에 나타난 바와 같은 우단 방향 경계값들(수학식 4의 Sj(i,j)에 대응)을 생성하기 위해 사용될 수 있다.
예를 들어, 수학식 4를 기반으로, 도 5의 (a)에서 상기 중첩 영역의 첫 번째 열에 포함된 E(i, 1) 값들(9, 4, 4, 4, 25, 4, 4)은 그대로 S1(i, 1) 값들(9, 4, 4, 4, 25, 4, 4)로 생성된다. 그리고 상기 중첩 영역의 두 번째 열에 위치한 E(i, 2) 값들(4, 4, 16, 4, 25, 25, 4)은 S2(i, 2) 값(8, 8, 20, 8, 29, 29, 8)으로 업데이트 된다. 이처럼 상기 우단 방향 경계값들을 생성하기 위한 시작점은 인접한 두 개의 열들(예: 1열, 2열)이 존재할 때 상기 두 개의 열들 중 실질적인 값들의 업데이트가 시작되는 우단에 위치한 행(예: 2열)의 값들이 될 수 있다.
각 픽셀 위치의 값들이 업데이트되는 것을 상세하게 살펴보면, 픽셀 위치 (2, 2)에서의 E(2, 2)의 값 4는 상기 픽셀 위치 (2, 2)의 이전 열에 인접한 3개의 E(1, 1), E(2, 1), E(3, 1)의 값들(9, 4, 4) 중 가장 작은 값 4와 더해지고, 상기 E(2, 2)의 값은 상기 더해진 결과 값인 S2(2, 2)의 값 8로 업데이트된다.
또한, 픽셀 위치 (3, 3)에서의 E(3, 3)의 값 4는 상기 픽셀 위치 (3, 3)의 이전 열에 인접한 3개의 E(2, 2), E(3, 2), E(4, 2)의 값들(즉, 업데이트된 값인 8, 20, 8) 중 가장 작은 값 8과 더해지고, 상기 E(3, 3)의 값은 상기 더해진 결과 값인 S2(3, 3)의 값 12로 업데이트된다.
상기와 같은 방식으로 E(i, j)에 대한 업데이트가 모두 완료되면, 도5의 (b)에 나타난 바와 같은 결과가 산출된다. 도 5의 (b)에 도시된 화살표는 해당 픽셀에 대한 E(i, j)의 값이 더해지는 방향을 나타내는데, 도 5의 (b)에서는 상기 방향이 상기 중첩 영역의 우단 방향인 경우를 보이고 있다.
한편, 도 5의 (b)에 나타난 바와 같은 Sj(i, j)가 결정되면, 각 열 별로 최소 값이 검출된다. 상기 검출된 최소 값에 대응되는 픽셀들은 연결되어 우단 방향 경계로서 결정될 수 있다. 도 3의 (b)의 예에서는 1~9열 각각에서 최소값(4, 8, 9, 10, 14, 15, 9, 13, 17)을 갖는 픽셀들이 상기 우단 방향 경계를 위한 픽셀들로 결정될 수 있다.
도 3 내지 도 5에서 설명한 방식을 기반으로 상단 방향 경계, 하단 방향 경계, 우단 방향 경계가 결정되면, 앞서 설명한 수학식 5를 기반으로 상기 결정된 경계들 중 오류가 발생될 가능성이 적은 경계가 선택될 수 있다. 그리고 상기 선택된 경계에 대응되는 방향으로 실사 영상들은 합성되어 파노라마 영상으로서 생성될 수 있다.
도 6은 일 실시 예에 따른 중첩 영역을 나타낸 도면이다.
상기 중첩 영역(600)은 서로 다른 시점에서 촬영된 실사 영상에 상응한 다수 프레임들(610)(620)에서 동일한 피사체를 포함하고 있는 영역이 될 수 있다. 상기 중첩 영역은, 예를 들어, 프레임의 상하를 연결하는 소정 면적을 갖는 영역 또는 프레임의 좌우를 연결하는 소정 면적을 갖는 영역 또는 프레임의 좌 (또는 우)와 상 (또는 하)를 연결하는 소정 면적을 갖는 영역이 될 수 있다.
도 6에서는 프레임의 좌우를 연결하는 소정 면적을 갖는 영역으로서 상기 중첩 영역(600)이 사각형 형태를 가지는 것을 일 예로 보이고 있으나, 상기 중첩 영역(600)의 형태는 이에 한정되지 않고 다양하게 변경될 수 있다. 한편, 상기 중첩 영역(600)을 구성하는 4개의 모서리들을 각각 A, B, C, D로 나타낼 경우, 도 7에 나타난 바와 같은 최소 오류 경계들이 생성될 수 있다.
도 7은 일 실시 예에 따른 최소 오류 경계를 예시한 도면이다.
앞서 설명한 수학식 1 내지 5를 기반으로 하는 방식이 사용될 경우 최소 오류 경계가 생성될 수 있는데, 상기 최소 오류 경계의 형태는 도 7의 (a) 내지 (f)에 도시된 바와 같이 다양한 형태로 나타날 수 있다.
도 7의 (a)는 상기 중첩 영역의 상단에서 우단으로 이어지는 형태의 최소 오류 경계를 나타내고, 도 7의 (b)는 상기 중첩 영역의 상단에서 하단으로 이어지는 형태의 최소 오류 경계를 나타내고, 도 7의 (c)는 상기 중첩 영역의 상단에서 좌단으로 이어지는 형태의 최소 오류 경계를 나타낸다.
그리고 도 7의 (d)는 상기 중첩 영역의 우단에서 하단으로 이어지는 형태의 최소 오류 경계를 나타내고, 도 7의 (e)는 상기 중첩 영역의 좌단에서 우단으로 이어지는 형태의 최소 오류 경계를 나타내고, 도 7의 (f)는 상기 중첩 영역의 좌단에서 하단으로 이어지는 형태의 최소 오류 경계를 나타낸다.
일 실시 예에 따르면 상기와 같이 중첩 영역의 최소 오류 경계가 다양하게 생성될 수 있음에 따라, 상기 최소 오류 경계를 기준으로 좌, 우 혹은 상, 하 방향으로 해당 실사 영상들을 합성하여 다양한 형태의 파노라마 영상을 생성할 수 있다.
도 8은 일 실시 예에 따른 파노라마 영상들을 비교한 도면이다.
도 8의 (a)는 기존의 방식을 사용하여 생성한 파노라마 영상이고, 도 8의 (b)는 앞서 제안된 방식을 사용하여 생성한 파노라마 영상이다. 앞서 제안된 바와 같은 최소 오류 경계를 기반으로 실사 영상들을 합성할 경우, 영상 합성시 발생하는 이미지 왜곡 등의 오류가 해결될 수 있다.
예를 들어, 깊이 맵 값 등이 고려되지 않는 기존의 방식을 사용하여 영상들을 합성할 경우 도 8의 (a)의 도면 부호 810에 나타난 바와 같이 객체의 일부 이미지가 소실되는 문제가 발생할 수 있다. 하지만, 앞서 제안된 방식을 사용하여 영상들을 합성할 경우 도 8의 (b)의 도면 부호 820에 나타난 바와 같이 이미지 소실없는 파노라마 영상을 생성할 수 있게 된다.
도 9는 일 실시 예에 따른 영상 합성 장치의 영상 합성 방법을 나타낸 순서도이다.
도 9를 참조하면, 상기 영상 합성 장치는 실사 영상들과 상기 실사 영상들(프레임들) 각각에 대응하는 깊이 맵을 수신한다(동작 910). 각 실사 영상 별 깊이 맵은 해당 실사 영상의 크기와 동일하거나 상이한 크기를 가질 수 있는데, 전체 시스템 성능을 고려할 경우 해당 실사 영상의 크기와 동일한 크기를 갖는 깊이 맵이 사용되는 것이 더 유리할 것이다. 이는 해당 실사 영상과 깊이 맵이 상이한 크기를 가질 경우, 크기를 정합하는 과정에서 정보의 손실이 존재할 수 있으므로 전체 시스템의 성능에 영향을 끼칠 수 있기 때문이다.
상기 영상 합성 장치는 상기 실사 영상들의 정합 위치를 생성하기 위한 동작을 수행한다(동작 920). 즉, 상기 영상 합성 장치는 상기 실사 영상들 각각으로부터 추출된 특징점 및 기술자를 매칭하는 과정을 수행하고, 매칭되는 특징점들에 대한 위치 관계를 판단한다. 그리고 상기 영상 합성 장치는 상기 위치 관계를 고려하여 상기 실사 영상들 간에 정합되는 위치를 생성하고, 상기 생성된 위치를 기반으로 중첩 영역을 확인한다.
상기 영상 합성 장치는 상기 중첩 영역에 대한 위치 정보와 깊이 맵을 기반으로 최소 오류 행렬을 생성한다(동작 930). 수학식 1에 나타난 바와 같이, 상기 깊이 맵을 기반으로 하는 각 픽셀 별 깊이 맵 값은 가중치 값으로 변경되어 상기 최소 오류 행렬에 반영된다.
상기 영상 합성 장치는 상기 최소 오류 행렬을 사용하여 최소 오류 경계를 생성한다(동작 940). 예를 들어, 상기 영상 합성 장치는 수학식 2, 3, 4를 기반으로 상기 중첩 영역의 각 방향 별로 경계를 생성하고, 상기 생성된 경계들 중 오류가 가장 적게 발생할 가능성이 있는 경계를 선택함으로써 상기 최소 오류 경계를 생성할 수 있다.
상기 영상 합성 장치는 상기 최소 오류 경계가 생성되면, 파노라마 영상으로서 합성 영상을 생성할지 여부를 결정한다(동작 950). 그리고 상기 영상 합성 장치는 상기 합성 영상을 생성할 것으로 결정한 경우, 상기 최소 오류 경계를 기반으로 중첩 영역 내의 영상들을 합성하여 상기 파노라마 영상을 생성한다(동작 960). 도 9에 도시된 동작들은 상기 파노라마 영상 생성을 위해 반복적으로 수행될 수 있다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (20)

  1. 영상 합성 방법에 있어서,
    다수의 영상들 각각에 상응하는 다수의 프레임들로부터 추출된 특징점들을 기반으로 상기 다수의 프레임들을 정렬하는 과정과,
    상기 정렬된 프레임들로 이루어진 영역에서 상기 정렬된 프레임들 간 대응되는 특징점들을 포함하는 중첩 영역을 확인하는 과정과,
    상기 중첩 영역의 깊이 정보를 기반으로 각 픽셀 별 가중치를 결정하고, 상기 중첩 영역에 포함된 프레임들의 픽셀 값들 간 차이에 상기 각 픽셀 별 가중치를 부여하여 최소 오류 행렬을 생성하는 과정과,
    상기 최소 오류 행렬의 각 행 및 각 열의 픽셀 값들을 업데이트하여 업데이트 행렬을 생성하고, 상기 업데이트 행렬의 각 열 및 각 행별로 최소값을 갖는 픽셀 값을 기반으로 복수의 경계를 생성하고, 상기 생성된 경계 중 선택된 하나의 경계를 기반으로 상기 정렬된 프레임들을 합성하는 과정을 포함하며,
    상기 복수의 경계를 생성하는 과정은,
    상기 최소 오류 행렬의 제1행을 시작으로 픽셀 값들을 업데이트 하여 제1업데이트 행렬을 생성하고, 상기 제1업데이트 행렬의 각 열 별로 최소 값을 갖는 픽셀 값을 검출하고, 상기 제1업데이트 행렬로부터 검출된 각 열의 픽셀 값을 기반으로 제1경계를 생성하는 과정과,
    상기 최소 오류 행렬의 제2행을 시작으로 픽셀 값들을 업데이트 하여 제2업데이트 행렬을 생성하고, 상기 제2업데이트 행렬의 각 열 별로 최소 값을 갖는 픽셀 값을 검출하고, 상기 제2업데이트 행렬로부터 검출된 각 열의 픽셀 값을 기반으로 제2경계를 생성하는 과정과,
    상기 최소 오류 행렬의 제1열을 시작으로 픽셀 값들을 업데이트 하여 제3업데이트 행렬을 생성하고, 상기 제3업데이트 행렬의 각 행 별로 최소 값을 갖는 픽셀 값을 검출하고, 상기 제3업데이트 행렬로부터 검출된 각 열의 픽셀 값을 기반으로 제3경계를 생성하는 과정과,
    상기 제1경계, 상기 제2경계 및 상기 제3경계 중 하나를 상기 정렬된 프레임들을 합성하기 위해 사용할 경계로 선택하는 과정을 포함하는 영상 합성 방법.
  2. 제1항에 있어서,
    상기 다수의 프레임들을 정렬하는 과정은,
    상기 다수의 프레임들로부터 추출된 특징점들을 기반으로 정합 위치를 결정하고, 상기 결정된 정합 위치를 기반으로 상기 다수의 프레임들을 정렬하는 과정을 포함하는 영상 합성 방법.
  3. 제1항에 있어서,
    상기 각 픽셀 별 가중치는 상기 깊이 정보에 포함된 깊이 맵 값에 비례하는 값을 가짐을 특징으로 하는 영상 합성 방법.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 제1항에 있어서,
    상기 제1경계, 상기 제2경계 및 상기 제3경계 중 하나를 상기 정렬된 프레임들을 합성하기 위해 사용할 경계로 선택하는 과정은,
    상기 제1경계를 생성하는 픽셀 값들에 대한 평균값을 계산하여 제1값을 생성하고, 상기 제2경계를 생성하는 픽셀 값들에 대한 평균값을 계산하여 제2값을 생성하고, 상기 제3경계를 생성하는 픽셀 값들에 대한 평균값을 계산하여 제3값을 생성하는 과정과,
    상기 제1값, 제2값, 제3값 중 가장 작은 값에 대응하는 경계를 상기 정렬된 프레임들을 합성하기 위해 사용할 경계로 선택하는 과정을 포함하는 영상 합성 방법.
  10. 제1항에 있어서,
    상기 정렬된 프레임들을 합성하는 과정은,
    상기 선택된 경계를 기반으로 상기 정렬된 프레임들을 상, 하 또는 좌, 우 방향으로 합성하는 과정을 포함하는 영상 합성 방법.
  11. 영상 합성 장치에 있어서,
    다수의 영상들을 획득하기 위한 인터페이스부와,
    상기 다수의 영상들 각각에 상응하는 다수의 프레임들로부터 추출된 특징점들을 기반으로 상기 다수의 프레임들을 정렬하고, 상기 정렬된 프레임들로 이루어진 영역에서 상기 정렬된 프레임들 간 대응되는 특징점들을 포함하는 중첩 영역을 확인하고, 상기 중첩 영역의 깊이 정보를 기반으로 각 픽셀 별 가중치를 결정하고, 상기 중첩 영역에 포함된 프레임들의 픽셀 값들 간 차이에 상기 각 픽셀 별 가중치를 부여하여 최소 오류 행렬을 생성하고, 상기 최소 오류 행렬의 각 행 및 각 열의 픽셀 값들을 업데이트하여 업데이트 행렬을 생성하고, 상기 업데이트 행렬의 각 열 및 각 행별로 최소값을 갖는 픽셀 값을 기반으로 복수의 경계를 생성하고, 상기 생성된 경계 중 선택된 하나의 경계를 기반으로 상기 정렬된 프레임들을 합성하는 프로세서를 포함하며,
    상기 프로세서는 상기 최소 오류 행렬의 제1행을 시작으로 픽셀 값들을 업데이트 하여 제1업데이트 행렬을 생성하고, 상기 제1업데이트 행렬의 각 열 별로 최소 값을 갖는 픽셀 값을 검출하고, 상기 제1업데이트 행렬로부터 검출된 각 열의 픽셀 값을 기반으로 제1경계를 생성하고,
    상기 최소 오류 행렬의 제2행을 시작으로 픽셀 값들을 업데이트 하여 제2업데이트 행렬을 생성하고, 상기 제2업데이트 행렬의 각 열 별로 최소 값을 갖는 픽셀 값을 검출하고, 상기 제2업데이트 행렬로부터 검출된 각 열의 픽셀 값을 기반으로 제2경계를 생성하고,
    상기 최소 오류 행렬의 제1열을 시작으로 픽셀 값들을 업데이트 하여 제3업데이트 행렬을 생성하고, 상기 제3업데이트 행렬의 각 행 별로 최소 값을 갖는 픽셀 값을 검출하고, 상기 제3업데이트 행렬로부터 검출된 각 열의 픽셀 값을 기반으로 제3경계를 생성하며,
    상기 제1경계, 상기 제2경계 및 상기 제3경계 중 하나를 상기 정렬된 프레임들을 합성하기 위해 사용할 경계로 선택함을 특징으로 하는 영상 합성 장치.
  12. 제11항에 있어서,
    상기 프로세서는 상기 다수의 프레임들로부터 추출된 특징점들을 기반으로 정합 위치를 결정하고, 상기 결정된 정합 위치를 기반으로 상기 다수의 프레임들을 정렬함을 특징으로 하는 영상 합성 장치.
  13. 제11항에 있어서,
    상기 각 픽셀 별 가중치는 상기 깊이 정보에 포함된 깊이 맵 값에 비례하는 값을 가짐을 특징으로 하는 영상 합성 장치.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 제11항에 있어서,
    상기 프로세서는 상기 제1경계를 생성하는 픽셀 값들에 대한 평균값을 계산하여 제1값을 생성하고, 상기 제2경계를 생성하는 픽셀 값들에 대한 평균값을 계산하여 제2값을 생성하고, 상기 제3경계를 생성하는 픽셀 값들에 대한 평균값을 계산하여 제3값을 생성하며, 상기 제1값, 제2값, 제3값 중 가장 작은 값에 대응하는 경계를 상기 정렬된 프레임들을 합성하기 위해 사용할 경계로 선택함을 특징으로 하는 영상 합성 장치.
  20. 제11항에 있어서,
    상기 프로세서는 상기 선택된 경계를 기반으로 상기 정렬된 프레임들을 상, 하 또는 좌, 우 방향으로 합성함을 특징으로 하는 영상 합성 장치.
KR1020180004708A 2018-01-12 2018-01-12 영상 합성 방법 및 장치 KR102637913B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180004708A KR102637913B1 (ko) 2018-01-12 2018-01-12 영상 합성 방법 및 장치
PCT/KR2019/000111 WO2019139303A1 (ko) 2018-01-12 2019-01-03 영상 합성 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180004708A KR102637913B1 (ko) 2018-01-12 2018-01-12 영상 합성 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190086323A KR20190086323A (ko) 2019-07-22
KR102637913B1 true KR102637913B1 (ko) 2024-02-20

Family

ID=67219760

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180004708A KR102637913B1 (ko) 2018-01-12 2018-01-12 영상 합성 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102637913B1 (ko)
WO (1) WO2019139303A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102630106B1 (ko) * 2021-04-01 2024-01-25 경희대학교 산학협력단 우선순위 사물 기반의 영상 정합 장치 및 그 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100790890B1 (ko) 2006-09-27 2008-01-02 삼성전자주식회사 파노라마 영상 생성장치 및 방법
US20160063705A1 (en) 2014-08-28 2016-03-03 Qualcomm Incorporated Systems and methods for determining a seam

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3198656B2 (ja) * 1992-08-31 2001-08-13 ソニー株式会社 映像信号合成装置およびその方法
JP5360190B2 (ja) * 2011-12-27 2013-12-04 カシオ計算機株式会社 画像処理装置、画像処理方法およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100790890B1 (ko) 2006-09-27 2008-01-02 삼성전자주식회사 파노라마 영상 생성장치 및 방법
US20160063705A1 (en) 2014-08-28 2016-03-03 Qualcomm Incorporated Systems and methods for determining a seam

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Dr. Mayada F. Abdul-Halim 등, UTILIZING GENETIC ALGORHITHM FOR 2D TEXTURE SYNTHESIS, Conf.Computer Graph(2015.12.31.)*
Fang Cao 등, Seamless Image Stitching Using Optimized Boundary Matching for Gradient and Curvature, 2010 IEEE IPTC(2010.10.28.)*
Jun-Tae Lee 등, Stitching of Heterogeneous Images Using Depth Information, 2013 APSIPA(2013.10.29.)*

Also Published As

Publication number Publication date
WO2019139303A1 (ko) 2019-07-18
KR20190086323A (ko) 2019-07-22

Similar Documents

Publication Publication Date Title
TWI729995B (zh) 基於場景之拍攝圖像而產生合併、融合三維點雲
US9760999B2 (en) Image processing apparatus, imaging apparatus, and image processing method
KR20120130788A (ko) 멀티-카메라 교정을 위한 방법 및 장치
KR20130056309A (ko) 텍스트 기반 3ｄ 증강 현실
US9235879B2 (en) Apparatus, system, and method for temporal domain hole filling based on background modeling for view synthesis
JP6976733B2 (ja) 画像処理装置、画像処理方法、およびプログラム
KR20110089299A (ko) 스테레오 매칭 처리 시스템, 스테레오 매칭 처리 방법, 및 기록 매체
JP2016509805A (ja) 画像ストリームの高フレームレート化
CN105809664B (zh) 生成三维图像的方法和装置
JP4296617B2 (ja) 画像処理装置および画像処理方法、並びに記録媒体
CN113362441A (zh) 三维重建方法、装置、计算机设备和存储介质
KR102637913B1 (ko) 영상 합성 방법 및 장치
JP2006301962A (ja) 画像処理方法及び画像処理装置
JP6429483B2 (ja) 情報処理装置、撮像装置、情報処理システム、情報処理方法およびプログラム
US20120038785A1 (en) Method for producing high resolution image
JP6719945B2 (ja) 情報処理装置、情報処理方法、情報処理システム及びプログラム
JP2018137667A (ja) カメラキャリブレーション方法、プログラムおよび装置
JP5051671B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6717769B2 (ja) 情報処理装置及びプログラム
CN112017120A (zh) 一种图像合成方法及装置
JP6989877B2 (ja) 位置座標算出方法及び位置座標算出装置
JP5457976B2 (ja) ３次元形状取得装置および３次元形状取得プログラム
JP6843552B2 (ja) 画像処理装置、画像処理方法およびプログラム。
JP5636966B2 (ja) 誤差検出装置及び誤差検出プログラム
JP7365862B2 (ja) 物体追跡装置及び方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant