KR101224061B1 - 영상 합성 장치 및 방법 - Google Patents
영상 합성 장치 및 방법 Download PDFInfo
- Publication number
- KR101224061B1 KR101224061B1 KR1020110008615A KR20110008615A KR101224061B1 KR 101224061 B1 KR101224061 B1 KR 101224061B1 KR 1020110008615 A KR1020110008615 A KR 1020110008615A KR 20110008615 A KR20110008615 A KR 20110008615A KR 101224061 B1 KR101224061 B1 KR 101224061B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- designated
- pixel value
- designated image
- boundary
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 34
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 21
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 21
- 238000012886 linear function Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000001308 synthesis method Methods 0.000 claims description 2
- 239000002131 composite material Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 239000000284 extract Substances 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
Abstract
본 발명의 적어도 일 실시예에 의한 영상 합성 장치 및 방법은 소스 영상 중 일정 객체와 그 객체의 배경을 포함하는 일정 영역의 영상인 지정 영상을 지정하고, 지정 영상을 타겟 영상에 합성하고, 지정 영상 내의 각 화소마다 값을 가지며 화소의 위치가 그 객체와 그 배경 중 어느 일방에 치우친 정도를 나타내는 위치식별인자, 지정 영상의 경계 영역의 화소값, 지정 영상의 화소값, 및 타겟 영상의 화소값을 고려하여, 지정 영상의 화소값을 조정함으로써, 소스 영상 중 합성하고자 하는 영상인 지정 영상을 사용자가 대강 지정하더라도 그 지정 영상 내의 객체 및 배경이 타겟 영상에 합성의 흔적이 보이지 않을 만큼 자연스럽게 합성되도록 한다.
Description
본 발명은 영상 합성에 관한 것으로, 보다 상세하게는 소스 영상 중 특정 영상을 타겟 영상에 붙이는 형태의 영상 합성 방안에 관한 것이다.
종래의 영상 합성 기법은 크게 비디오 매팅 기법 및 이음새없는 비디오 합성 기법 두 가지 종류로 나누어 생각할 수 있다.
비디오 매팅(matting) 기법은 합성하고자 하는 물체 영상 부분과 그 외의 영상 부분을 최대한 정교하게 계산하는 방법을 총칭한다. 이 기법은, 합성하고자 하는 물체 영상의 경계를 사용자가 직접 입력하며 시스템 내에서 그 물체 영상의 정교한 경계를 추출한다. 이와 같은 기법이 달성할 수 있는 정교함에는 어느 정도의 한계가 있을 수 밖에 없다. 따라서 물체 영상의 경계선의 구분이 어려운 경우 예컨대 물 표면과 상호 작용하고 있는 물체나 수증기, 연기 등의 경우, 종래의 비디오 매팅 기법으로는 좋은 결과를 보장할 수 없다.
한편 이음새없는 비디오 합성 기법은 사용자가 지정한 합성하고자 하는 영상을 어떠한 다른 영상인 타겟 영상에 합성함에 있어 그 합성하고자 하는 영상을 그대로 합성하며, 그 지정 영역과 타겟 영상이 만나는 이음새 부분을 최대한 안보이도록 처리하는 기법을 의미한다. 이 기법을 이용하면 합성하고자 하는 물체 영상의 정확한 경계를 추출하지 않더라도 그 합성하고자 하는 물체 영상의 타겟 영상에 대한 나쁘지 않은 합성 결과를 얻을 수 있다. 다만, 종래의 이음새없는 비디오 합성 기법은 그 지정 영역 즉, 합성하고자 하는 영상의 영역에 물체 영상 뿐 아니라 그 물체의 배경 영상도 어느 정도 포함되어, 그 배경 영상까지도 합성하면서 합성된 결과에서 이음새를 기준으로 움직임이 불일치해 보이는 부작용을 제거하지 못한다는 문제점을 갖는다.
본 발명의 적어도 일 실시예가 이루고자 하는 기술적 과제는, 종래의 비디오 매팅 기법 또는 이음새 없는 비디오 합성 기법만으로 달성하기 어려운 효과를 달성하고자, 소스 영상 중 합성하고자 하는 영상을 사용자가 대강 지정하더라도 그 대강 지정된 영상 내의 객체 및 배경이 타겟 영상에 합성의 흔적이 보이지 않을 만큼 자연스럽게 합성되도록 하는 영상 합성 장치를 제공하는 데 있다.
본 발명의 적어도 일 실시예가 이루고자 하는 다른 기술적 과제는 종래의 비디오 매팅 기법 또는 이음새 없는 비디오 합성 기법만으로 달성하기 어려운 효과를 달성하고자, 소스 영상 중 합성하고자 하는 영상을 사용자가 대강 지정하더라도 그 대강 지정된 영상 내의 객체 및 배경이 타겟 영상에 합성의 흔적이 보이지 않을 만큼 자연스럽게 합성되도록 하는 영상 합성 방법을 제공하는 데 있다.
본 발명의 적어도 일 실시예가 이루고자 하는 또 다른 기술적 과제는, 종래의 비디오 매팅 기법 또는 이음새 없는 비디오 합성 기법만으로 달성하기 어려운 효과를 달성하고자, 소스 영상 중 합성하고자 하는 영상을 사용자가 대강 지정하더라도 그 대강 지정된 영상 내의 객체 및 배경이 타겟 영상에 합성의 흔적이 보이지 않을 만큼 자연스럽게 합성되도록 하는 영상 합성 방법을 컴퓨터에서 실행시키기 위한 컴퓨터 프로그램을 저장한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.
상기 과제를 이루기 위해, 본 발명의 적어도 일 실시예에 의한 영상 합성 장치는 소스 영상 중 일정 객체와 상기 객체의 배경을 포함하는 일정 영역의 영상인 지정 영상을 지정하는 영상 지정부; 및 상기 지정 영상을 타겟 영상에 합성하고, 상기 지정 영상 내의 각 화소마다 값을 가지며 상기 화소의 위치가 상기 객체와 상기 배경 중 어느 일방에 치우친 정도를 나타내는 위치식별인자, 상기 지정 영상의 경계 영역의 화소값, 상기 지정 영상의 화소값, 및 상기 타겟 영상의 화소값을 고려하여, 상기 지정 영상의 화소값을 조정하는 영상 합성부를 포함한다.
여기서, 상기 지정 영상, 상기 타겟 영상, 및 상기 경계 영역 각각마다 고유의 가중치가 부여되며, 상기 가중치는 상기 위치식별인자를 이용한 일정 연산으로 결정되고, 상기 일정 연산의 내용은 상기 가중치마다 상이하고, 상기 영상 합성부는 상기 지정 영상의 화소값 및 상기 지정 영상에 해당되는 상기 가중치, 상기 경계 영역의 화소값 및 상기 경계 영역에 해당되는 상기 가중치, 상기 타겟 영상의 화소값 및 상기 타겟 영상에 해당되는 상기 가중치를 고려하여, 상기 지정영상의 화소값을 조정한다.
이 때, 상기 지정 영상에 해당되는 상기 가중치는 상기 위치식별인자의 거듭제곱한 결과이고, 상기 타겟 영상에 해당되는 상기 가중치는 상기 위치식별인자 및 임계치 간의 차이의 거듭제곱한 결과이고, 상기 경계 영역에 해당되는 상기 가중치는 상기 위치식별인자에 상기 위치식별인자와 상기 임계치 간의 차이를 승산한 결과에 따라 결정될 수 있다.
이 때, 상기 지정 영상, 상기 타겟 영상, 상기 경계 영역 각각의 상기 가중치는 상기 위치식별인자와, 상기 지정 영상, 상기 타겟 영상, 상기 경계 영역 각각마다 상이한 기준치간의 차이에 따른 직선함수로서 표현될 수 있다.
이 때, 상기 지정 영상, 상기 타겟 영상, 상기 경계 영역 각각의 상기 가중치는 상기 위치식별인자에 상응하며 상기 지정 영상, 상기 타겟 영상, 상기 경계 영역 각각마다 상이한 삼각함수로서 표현될 수 있다.
여기서 상기 경계 영역은 상기 지정 영상의 경계가 속하는 화소들이고, 상기 경계 영역의 화소값은 상기 지정 영상이 합성된 상기 타겟 영상에서 상기 지정 영상의 경계에 외부로 인접한 화소값들과 상기 타겟 영상에 합성되기 전의 상기 지정 영상의 경계에 내부로 인접한 화소값들을 고려하여 결정된다.
여기서, 상기 영상 합성부는 상기 지정 영상 내 화소값들의 그래디언트를 유지하며 상기 지정 영상을 조정한다.
여기서, 상기 소스 영상은 정지 영상 또는 동영상이고 상기 타겟 영상은 동영상이다.
여기서, 상기 영상 지정부가 지정하는 지정 영상은 사용자에 의해 상기 소스 영상 중 선택되는 영상이다.
상기 다른 과제를 이루기 위해, 본 발명의 적어도 일 실시예에 의한 영상 합성 방법은 (a) 소스 영상 중 일정 객체와 상기 객체의 배경을 포함하는 일정 영역의 영상인 지정 영상을 지정하는 단계; 및 (b) 상기 지정 영상을 타겟 영상에 합성하고, 상기 지정 영상 내의 각 화소마다 값을 가지며 상기 화소의 위치가 상기 객체와 상기 배경 중 어느 일방에 치우친 정도를 나타내는 위치식별인자, 상기 지정 영상의 경계 영역의 화소값, 상기 지정 영상의 화소값, 및 상기 타겟 영상의 화소값을 고려하여, 상기 지정 영상의 화소값을 조정하는 단계를 포함한다.
여기서, 상기 지정 영상, 상기 타겟 영상, 및 상기 경계 영역 각각마다 고유의 가중치가 부여되며, 상기 가중치는 상기 위치식별인자를 이용한 일정 연산으로 결정되고, 상기 일정 연산의 내용은 상기 가중치마다 상이하고, 상기 (b)단계는 상기 지정 영상의 화소값 및 상기 지정 영상에 해당되는 상기 가중치, 상기 경계 영역의 화소값 및 상기 경계 영역에 해당되는 상기 가중치, 상기 타겟 영상의 화소값 및 상기 타겟 영상에 해당되는 상기 가중치를 고려하여, 상기 지정영상의 화소값을 조정한다.
이 때, 상기 지정 영상에 해당되는 상기 가중치는 상기 위치식별인자의 거듭제곱한 결과이고, 상기 타겟 영상에 해당되는 상기 가중치는 상기 위치식별인자 및 임계치 간의 차이의 거듭제곱한 결과이고, 상기 경계 영역에 해당되는 상기 가중치는 상기 위치식별인자에 상기 위치식별인자와 상기 임계치 간의 차이를 승산한 결과에 따라 결정될 수 있다.
이 때, 상기 지정 영상, 상기 타겟 영상, 상기 경계 영역 각각의 상기 가중치는 상기 위치식별인자와, 상기 지정 영상, 상기 타겟 영상, 상기 경계 영역 각각마다 상이한 기준치 간의 차이에 따른 직선함수로서 표현될 수 있다.
이 때, 상기 지정 영상, 상기 타겟 영상, 상기 경계 영역 각각의 상기 가중치는 상기 위치식별인자에 상응하며 상기 지정 영상, 상기 타겟 영상, 상기 경계 영역 각각마다 상이한 삼각함수로서 표현될 수 있다.
여기서, 상기 경계 영역은 상기 지정 영상의 경계가 속하는 화소들이고, 상기 경계 영역의 화소값은 상기 지정 영상이 합성된 상기 타겟 영상에서 상기 지정 영상의 경계에 외부로 인접한 화소값들과 상기 타겟 영상에 합성되기 전의 상기 지정 영상의 경계에 내부로 인접한 화소값들을 고려하여 결정된다.
여기서, 상기 (b) 단계는 상기 지정 영상 내 화소값들의 그래디언트를 유지하며 상기 지정 영상을 조정한다.
여기서, 상기 소스 영상은 정지 영상 또는 동영상이고 상기 타겟 영상은 동영상이다.
여기서, 상기 (a) 단계가 지정하는 지정 영상은 사용자에 의해 상기 소스 영상 중 선택되는 영상이다.
상기 또 다른 과제를 이루기 위해, 본 발명의 적어도 일 실시예에 의한 컴퓨터로 읽을 수 있는 기록매체는 소스 영상 중 일정 객체와 상기 객체의 배경을 포함하는 일정 영역의 영상인 지정 영상을 지정하는 단계; 및 상기 지정 영상을 타겟 영상에 합성하고, 상기 지정 영상 내의 각 화소마다 값을 가지며 상기 화소의 위치가 상기 객체와 상기 배경 중 어느 일방에 치우친 정도를 나타내는 위치식별인자, 상기 지정 영상의 경계 영역의 화소값, 상기 지정 영상의 화소값, 및 상기 타겟 영상의 화소값을 고려하여, 상기 지정 영상의 화소값을 조정하는 단계를 컴퓨터에서 실행시키기 위한 컴퓨터 프로그램을 저장한다.
본 발명의 적어도 일 실시예에 의한 영상 합성 장치 및 방법은 소스 영상 중 일정 객체와 그 객체의 배경을 포함하는 일정 영역의 영상인 지정 영상을 지정하고, 지정 영상을 타겟 영상에 합성하고, 지정 영상 내의 각 화소마다 값을 가지며 화소의 위치가 그 객체와 그 배경 중 어느 일방에 치우친 정도를 나타내는 위치식별인자, 지정 영상의 경계 영역의 화소값, 지정 영상의 화소값, 및 타겟 영상의 화소값을 고려하여, 지정 영상의 화소값을 조정함으로써, 소스 영상 중 합성하고자 하는 영상인 지정 영상을 사용자가 대강 지정하더라도 그 지정 영상 내의 객체 및 배경이 타겟 영상에 합성의 흔적이 보이지 않을 만큼 자연스럽게 합성되도록 한다.
도 1은 본 발명의 적어도 일 실시예에 의한 영상 합성 장치를 나타내는 블록도이다.
도 2a 내지 도 2c는 본 발명의 적어도 일 실시예에 따른 소스 영상, 지정 영상, 타겟 영상, 합성 영상을 설명하기 위한 참고도들이다.
도 3은 본 발명의 적어도 일 실시예에 따른 영상 합성 방법을 나타내는 플로우챠트이다.
도 2a 내지 도 2c는 본 발명의 적어도 일 실시예에 따른 소스 영상, 지정 영상, 타겟 영상, 합성 영상을 설명하기 위한 참고도들이다.
도 3은 본 발명의 적어도 일 실시예에 따른 영상 합성 방법을 나타내는 플로우챠트이다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 그 첨부 도면을 설명하는 내용을 참조하여야만 한다.
이하, 본 발명의 적어도 일 실시예에 의한 영상 합성 장치 및 방법을 첨부한 도면들을 참조하여 다음과 같이 설명한다.
도 1은 본 발명의 적어도 일 실시예에 의한 영상 합성 장치를 나타내는 블록도로서 영상 지정부(110)와 영상 합성부(120)를 포함한다. 여기서 영상 합성부(120)는 이음새 없는 합성부(130), 알파맵 계산부(140) 및 다차항 혼합부(150)를 포함한다.
영상 지정부(110)는 소스 영상 중에서 지정 영상을 지정한다. 본 명세서에서, 소스 영상이란 합성하고자 하는 영상이 담긴 영상을 의미하고, 지정 영상이란 그 합성하고자 하는 영상을 의미하고, 타겟 영상이란 지정 영상이 합성되는 대상을 의미한다. 사용자는 소스 영상 중 어느 특정 영역의 영상을 타겟 영상에 합성하고자, 즉, 타겟 영상에 덧붙이고자, 그 특정 영역의 영상을 지정 영상으로서 소스 영상 중에서 선택 및 지정할 수 있고, 영상 지정부(110)는 그러한 사용자의 지시에 따라 소스 영상 중 지정 영상을 지정한다. 한편, 본 명세서에서 소스 영상은 정지 영상일 수도 있고 동영상일 수도 있으며, 타겟 영상 역시 정지 영상일 수도 있고 동영상일 수도 있으나, 이하 소스 영상과 타겟 영상 모두 동영상인 경우로 가정하여 설명한다.
지정 영상은 일정 '객체' 및 그 객체의 '배경'을 포함함이 일반적이다. 객체란 합성하고자 하는 대상 즉 어떤 특정 물체를 의미한다.
사용자는 소스 영상 중 타겟 영상에 합성할 '객체'를 지정할 것인데 그 객체 부분의 영상만을 정확히 지정하는 것은 사용자에게 많은 불편을 야기할 것이다. 본 발명의 적어도 일 실시예는 사용자가 지정 영상을 지정함에 있어서 대강 지정하여 지정 영상에 객체 영상 뿐 아니라 그 객체 주변의 배경 영상도 일부 포함되더라도, 그 지정 영상의 객체 및 배경 모두가 타겟 영상과 자연스러운 일체감을 보이며 자연스럽게 합성되도록 하므로, 사용자가 지정 영상의 경계를 대강 지정하더라도 무방하여 사용자의 편의를 최대한 도모한다. 이하 설명의 편의상 지정 영상에는 객체 영상만 존재하는 것이 아니라 배경 영상도 존재한다고 가정한다.
영상 합성부(120)는 지정 영상을 타겟 영상에 합성한다. 영상 합성부(120)는 지정 영상을 타겟 영상에 합성함에 있어, 지정 영상의 타겟 영상에서의 위치를 사용자의 지시에 따라 결정하고, 그 결정된 위치로 지정 영상을 이동(예컨대 평행 이동)한 뒤 지정 영상을 타겟 영상에 붙인다(합성한다).
그 상태에서 영상 합성부(120)는 지정 영상 내의 화소들 각각마다 값을 갖는 '위치식별인자', '지정 영상의 경계 영역의 화소값', '지정 영상의 화소값', '타겟 영상의 화소값'을 고려하여, 지정 영상의 화소값을 조정하여 합성 영상을 생성한다. 영상 합성부(120)는 지정 영상의 화소값을 조정함에 있어 지정 영상 내 화소값들의 그래디언트(gradient)를 유지하며 지정 영상 내 화소들의 컬러값들을 조정한다.
본 명세서에서, 합성 영상이란, 본 발명의 적어도 일 실시예에 의하여 지정 영상의 화소값이 조정된 결과를 의미한다. 즉 영상 합성부(120)는 지정 영상의 객체 및 배경 모두가 타겟 영상과 자연스러운 일체감을 보이며 자연스럽게 합성되도록 하며, 이처럼 합성된 결과가 합성 영상인 것이다.
또한, 지정 영상의 경계 영역이란 지정 영상의 경계가 속하는 화소들을 의미한다. 즉, 지정 영상의 경계선이 지나가는 화소들을 의미한다. 경계 영역의 화소값은 '지정 영상이 합성된 타겟 영상에서 지정 영상의 경계에 외부로 인접한 화소값들'과 '타겟 영상에 합성되기 전의 지정 영상의 경계에 내부로 인접한 화소값들'을 고려하여 결정된다. 즉, 경계 영역에 속하는 화소들 각각의 화소값은 '그 화소에 인접한 화소로서 경계의 외부로 인접한 화소의 화소값'과 '그 화소에 인접한 화소로서 경계의 내부로 인접한 화소의 화소값'을 고려하여 결정된다. 여기서, 그 두 화소값을 고려하는 방법은 다양할 수 있으며, 그 두 화소값을 보간(interpolation)하는 것이 일 례가 될 것이다.
또한, 위치식별인자(α)란 각 화소마다 화소의 위치가 객체와 배경 중 어느 일방에 치우친 정도를 나타내는 수치이다. 예를 들어, 이하에서는 설명의 편의상, 화소의 위치가 확실히 객체 내부라면 그 화소의 위치식별인자 값은 1이고, 화소의 위치가 확실히 객체 외부라면 그 화소의 위치식별인자 값은 0이고, 화소의 위치가 객체의 내부인지 외부인지 분명하지 않다면 그 화소의 위치식별인자 값은 0 내지 1 중 어느 한 값이다. 객체의 경계선이 지나가는 화소의 위치의 경우 그 화소에서 경계선이 객체의 내부에 치우친 정도에 따라 0 내지 1 중 어느 한 값(예컨대, 경계선이 화소의 정 가운데를 지나간다면 그 화소의 위치식별인자 값은 0.5이고, 경계선이 화소를 지나가되 객체 내부 측으로 치우쳐 지나가는 경우 그 화소의 위치식별인자 값은 예를 들어 0.2이다)이다.
구체적으로, 영상 합성부(120)의 동작에 대해 이하 설명한다.
'지정 영상', '타겟 영상', 및 '경계 영역' 각각마다 고유의 가중치가 부여되며, 가중치는 위치식별인자를 이용한 일정 연산으로 결정되고, 그 일정 연산의 내용은 가중치마다 상이하다.
영상 합성부(120)는 '지정 영상의 화소값 및 지정 영상에 해당되는 가중치', '경계 영역의 화소값 및 경계 영역에 해당되는 가중치', '타겟 영상의 화소값 및 타겟 영상에 해당되는 가중치'를 고려하여, 지정 영상의 화소값을 조정한다. 이는 다음의 수학식 1로 표현 가능하다.
[ 수학식 1 ]
여기서, x, y는 화소의 위치를 나타내는 2차원 좌표값을 의미하고, r(x, y)는 합성 영상의 화소값을 의미하고 s(x, y)는 소스 영상(정확하게는, 지정 영상)의 화소값을 의미하고 w_s(x, y)는 소스 영상에 해당되는 가중치를 의미하고, p(x, y)는 경계 영역의 화소값을 의미하고, w_p(x, y)는 경계 영역에 해당되는 가중치를 의미하고, t(x, y)는 타겟 영상의 화소값을 의미하고 w_t(x, y)는 타겟 영상에 해당되는 가중치를 의미한다.
제1 실시예에 따른 영상 합성부(120)의 동작은 다음과 같다.
지정 영상에 해당되는 가중치는 위치식별인자의 거듭제곱한 결과이고, 타겟 영상에 해당되는 가중치는 위치식별인자 및 임계치 간의 차이의 거듭제곱한 결과이고, 경계 영역에 해당되는 가중치는 위치식별인자에 위치식별인자와 임계치 간의 차이를 승산한 결과에 따라 결정된다. 이는 다음의 수학식 2로 표현 가능하다.
[ 수학식 2 ]
여기서, α는 위치식별인자이다. 이와 같이 제1 실시예는, 베지어 베이시스 함수 기반의 합성을 의미한다. 앞서 언급한 임계치는 수학식 2에서 1이다.
제2 실시예에 따른 영상 합성부(120)의 동작은 다음과 같다.
'지정 영상', '타겟 영상', '경계 영역' 각각의 가중치는 '위치식별인자'와 지정 영상, 타겟 영상, 경계 영역 각각마다 상이한 '기준치' 간의 차이에 따른 직선함수로서 표현된다. 이는 다음의 수학식 3으로 표현 가능하다.
[ 수학식 3 ]
여기서, min은 min함수를 의미한다. 이와 같이 제2 실시예에 따른 영상 합성부(120)는 α가 0과 0.5 사이인 경우는 '타겟 영상 및 타겟 영상에 해당되는 가중치'와 '경계 영역 및 경계 영역에 해당되는 가중치' 만을 이용하여 합성 영상의 화소값을 결정하고, α가 0.5와 1 사이인 경우는 '지정 영상 및 지정 영상에 해당되는 가중치'와 '경계 영역 및 경계 영역에 해당되는 가중치' 만을 이용하여 합성 영상의 화소값을 결정한다. 앞서 언급한 기준치는 1, 0.5, 0 중 하나이다.
제3 실시예에 따른 영상 합성부(120)의 동작은 다음과 같다.
'지정 영상', '타겟 영상', '경계 영역' 각각의 가중치는 위치식별인자에 상응하며 지정 영상, 타겟 영상, 경계 영역 각각마다 상이한 삼각함수로서 표현된다. 이는 다음의 수학식 4로 표현 가능하다.
[ 수학식 4 ]
여기서 N은 세 가중치 함수의 합을 항상 1로 만드는 역할을 한다.
이상에서 설명한 영상 합성부(120)의 동작은 이음새 없는 합성부(130), 알파맵 계산부(140), 다차항 혼합부(150)로 분설하여 설명될 수도 있다. 즉 이음새 없는 합성부(130)는 경계 영역의 화소값을 결정하고, 알파맵 계산부(140)는 소스 영상(구체적으로는 지정 영상)의 화소들 각각에 대해 위치식별인자(α)값을 결정하고, 다차항 혼합부(150)는 위에서 언급한 가중치(w_s(x, y), w_p(x, y), w_t(x, y))를 결정하고 수학식 1과 같은 연산을 통해 지정 영상의 화소값들을 조정하여 합성 영상을 생성한다.
도 2a 내지 도 2c는 본 발명의 적어도 일 실시예에 따른 소스 영상, 지정 영상, 타겟 영상, 합성 영상을 설명하기 위한 참고도들이다. 구체적으로, 도 2a에 도시된 바는 소스 영상(210)이고 도 2b에 도시된 바는 타겟 영상(220)이고, 도 2c에 도시된 바는 합성 영상(250)이다.
영상 지정부(110)는 소스 영상(210) 중에 지정 영상(230)을 사용자의 지시에 따라 지정하고, 영상 합성부(120)는 그 지정 영상(230)을 타겟 영상(220)에 합성하고 지정 영상(230)의 화소값들을 지금까지 본 명세서를 통해 언급한 방법으로 조정함으로써 합성 영상(250)을 생성한다. 식별번호 240은 타겟 영상(220)에서 지정 영상이 합성될 영역의 위치를 나타낸다.
도 3은 본 발명의 적어도 일 실시예에 따른 영상 합성 방법을 나타내는 플로우챠트이다.
본 발명의 적어도 일 실시예에 따른 영상 합성 장치는 소스 영상 중 일정 객체와 객체의 배경을 포함하는 일정 영역의 영상인 지정 영상을 지정한다(제310 단계).
제310 단계 후에, 본 발명의 적어도 일 실시예에 따른 영상 합성 장치는, 지정 영상을 타겟 영상에 합성하고, 위치식별인자, 지정 영상의 경계 영역의 화소값, 지정 영상의 화소값, 및 타겟 영상의 화소값을 고려하여 지정 영상의 화소값을 조정한다(제320 단계).
이상에서 언급된 본 발명의 적어도 일 실시예에 의한 영상 합성 방법을 컴퓨터에서 실행시키기 위한 프로그램은 컴퓨터로 읽을 수 있는 기록매체에 저장될 수 있다.
여기서, 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬(ROM), 플로피 디스크, 하드 디스크 등), 및 광학적 판독 매체(예를 들면, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc))와 같은 저장매체를 포함한다.
이제까지 본 발명을 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로, 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점들은 본 발명에 포함된 것으로 해석되어야 할 것이다.
110 : 영상 지정부 120 : 영상 합성부
130 : 이음새 없는 합성부 140 : 알파맵 계산부
150 : 다차항 혼합부 210 : 소스 영상
220 : 타겟 영상 230 : 지정 영상
250 : 합성 영상
130 : 이음새 없는 합성부 140 : 알파맵 계산부
150 : 다차항 혼합부 210 : 소스 영상
220 : 타겟 영상 230 : 지정 영상
250 : 합성 영상
Claims (19)
- 소스 영상 중 일정 객체와 상기 객체의 배경을 포함하는 일정 영역의 영상인 지정 영상을 지정하는 영상 지정부; 및
상기 지정 영상을 타겟 영상에 합성하고 상기 지정 영상 내의 각 화소마다 값을 가지며, 상기 객체 및 상기 배경 사이의 경계를 기준으로 상기 각 화소의 위치에 대한 왜도(skewness)를 나타낸 위치식별인자, 상기 지정 영상의 경계 영역의 화소값, 상기 지정 영상의 화소값, 및 상기 타겟 영상의 화소값을 고려하여, 상기 지정 영상의 화소값을 조정하는 영상 합성부를 포함하는 것을 특징으로 하는 영상 합성 장치. - 제1 항에 있어서,
상기 지정 영상, 상기 타겟 영상, 및 상기 경계 영역 각각마다 고유의 가중치가 부여되며, 상기 가중치는 상기 위치식별인자를 이용한 일정 연산으로 결정되고, 상기 일정 연산의 내용은 상기 가중치마다 상이하고,
상기 영상 합성부는
상기 지정 영상의 화소값 및 상기 지정 영상에 해당되는 상기 가중치, 상기 경계 영역의 화소값 및 상기 경계 영역에 해당되는 상기 가중치, 상기 타겟 영상의 화소값 및 상기 타겟 영상에 해당되는 상기 가중치를 고려하여, 상기 지정영상의 화소값을 조정하는 것을 특징으로 하는 영상 합성 장치. - 제2 항에 있어서,
상기 지정 영상에 해당되는 상기 가중치는 상기 위치식별인자의 거듭제곱한 결과이고, 상기 타겟 영상에 해당되는 상기 가중치는 상기 위치식별인자 및 임계치 간의 차이의 거듭제곱한 결과이고, 상기 경계 영역에 해당되는 상기 가중치는 상기 위치식별인자에 상기 위치식별인자와 상기 임계치 간의 차이를 승산한 결과에 따라 결정되는 것을 특징으로 하는 영상 합성 장치. - 제2 항에 있어서,
상기 지정 영상, 상기 타겟 영상, 상기 경계 영역 각각의 상기 가중치는 상기 위치식별인자와, 상기 지정 영상, 상기 타겟 영상, 상기 경계 영역 각각마다 상이한 기준치간의 차이에 따른 직선함수로서 표현되는 것을 특징으로 하는 영상 합성 장치. - 제2 항에 있어서,
상기 지정 영상, 상기 타겟 영상, 상기 경계 영역 각각의 상기 가중치는 상기 위치식별인자에 상응하며 상기 지정 영상, 상기 타겟 영상, 상기 경계 영역 각각마다 상이한 삼각함수로서 표현되는 것을 특징으로 하는 영상 합성 장치. - 제1 항에 있어서, 상기 경계 영역은 상기 지정 영상의 경계가 속하는 화소들이고, 상기 경계 영역의 화소값은 상기 지정 영상이 합성된 상기 타겟 영상에서 상기 지정 영상의 경계에 외부로 인접한 화소값들과 상기 타겟 영상에 합성되기 전의 상기 지정 영상의 경계에 내부로 인접한 화소값들을 고려하여 결정된 것을 특징으로 하는 영상 합성 장치.
- 제1 항에 있어서, 상기 영상 합성부는 상기 지정 영상 내 화소값들의 그래디언트를 유지하며 상기 지정 영상을 조정하는 것을 특징으로 하는 영상 합성 장치.
- 제1 항에 있어서,
상기 소스 영상은 정지 영상 또는 동영상이고 상기 타겟 영상은 동영상인 것을 특징으로 하는 영상 합성 장치. - 제1 항에 있어서,
상기 영상 지정부가 지정하는 지정 영상은 사용자에 의해 상기 소스 영상 중 선택되는 영상인 것을 특징으로 하는 영상 합성 장치. - (a) 소스 영상 중 일정 객체와 상기 객체의 배경을 포함하는 일정 영역의 영상인 지정 영상을 지정하는 단계; 및
(b) 상기 지정 영상을 타겟 영상에 합성하고 상기 지정 영상 내의 각 화소마다 값을 가지며, 상기 객체 및 상기 배경 사이의 경계를 기준으로 상기 각 화소의 위치에 대한 왜도(skewness)를 나타낸 위치식별인자, 상기 지정 영상의 경계 영역의 화소값, 상기 지정 영상의 화소값, 및 상기 타겟 영상의 화소값을 고려하여, 상기 지정 영상의 화소값을 조정하는 단계를 포함하는 것을 특징으로 하는 영상 합성 방법. - 제10 항에 있어서,
상기 지정 영상, 상기 타겟 영상, 및 상기 경계 영역 각각마다 고유의 가중치가 부여되며, 상기 가중치는 상기 위치식별인자를 이용한 일정 연산으로 결정되고, 상기 일정 연산의 내용은 상기 가중치마다 상이하고,
상기 (b) 단계는
상기 지정 영상의 화소값 및 상기 지정 영상에 해당되는 상기 가중치, 상기 경계 영역의 화소값 및 상기 경계 영역에 해당되는 상기 가중치, 상기 타겟 영상의 화소값 및 상기 타겟 영상에 해당되는 상기 가중치를 고려하여, 상기 지정영상의 화소값을 조정하는 것을 특징으로 하는 영상 합성 방법. - 제11 항에 있어서,
상기 지정 영상에 해당되는 상기 가중치는 상기 위치식별인자의 거듭제곱한 결과이고, 상기 타겟 영상에 해당되는 상기 가중치는 상기 위치식별인자 및 임계치 간의 차이의 거듭제곱한 결과이고, 상기 경계 영역에 해당되는 상기 가중치는 상기 위치식별인자에 상기 위치식별인자와 상기 임계치 간의 차이를 승산한 결과에 따라 결정되는 것을 특징으로 하는 영상 합성 방법. - 제11 항에 있어서,
상기 지정 영상, 상기 타겟 영상, 상기 경계 영역 각각의 상기 가중치는 상기 위치식별인자와, 상기 지정 영상, 상기 타겟 영상, 상기 경계 영역 각각마다 상이한 기준치 간의 차이에 따른 직선함수로서 표현되는 것을 특징으로 하는 영상 합성 방법. - 제11 항에 있어서,
상기 지정 영상, 상기 타겟 영상, 상기 경계 영역 각각의 상기 가중치는 상기 위치식별인자에 상응하며 상기 지정 영상, 상기 타겟 영상, 상기 경계 영역 각각마다 상이한 삼각함수로서 표현되는 것을 특징으로 하는 영상 합성 방법. - 제10 항에 있어서,
상기 경계 영역은 상기 지정 영상의 경계가 속하는 화소들이고, 상기 경계 영역의 화소값은 상기 지정 영상이 합성된 상기 타겟 영상에서 상기 지정 영상의 경계에 외부로 인접한 화소값들과 상기 타겟 영상에 합성되기 전의 상기 지정 영상의 경계에 내부로 인접한 화소값들을 고려하여 결정된 것을 특징으로 하는 영상 합성 방법. - 제10 항에 있어서, 상기 (b) 단계는 상기 지정 영상 내 화소값들의 그래디언트를 유지하며 상기 지정 영상을 조정하는 것을 특징으로 하는 영상 합성 방법.
- 제10 항에 있어서,
상기 소스 영상은 정지 영상 또는 동영상이고 상기 타겟 영상은 동영상인 것을 특징으로 하는 영상 합성 방법. - 제10 항에 있어서,
상기 (a) 단계가 지정하는 지정 영상은 사용자에 의해 상기 소스 영상 중 선택되는 영상인 것을 특징으로 하는 영상 합성 방법. - 제10 항 내지 제18 항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 컴퓨터 프로그램을 저장한 컴퓨터로 읽을 수 있는 기록매체.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110008615A KR101224061B1 (ko) | 2011-01-28 | 2011-01-28 | 영상 합성 장치 및 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110008615A KR101224061B1 (ko) | 2011-01-28 | 2011-01-28 | 영상 합성 장치 및 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20120087432A KR20120087432A (ko) | 2012-08-07 |
KR101224061B1 true KR101224061B1 (ko) | 2013-01-21 |
Family
ID=46872981
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020110008615A KR101224061B1 (ko) | 2011-01-28 | 2011-01-28 | 영상 합성 장치 및 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101224061B1 (ko) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104735467A (zh) * | 2015-03-31 | 2015-06-24 | 北京奇艺世纪科技有限公司 | 视频画中画广告生成方法及装置 |
KR101547862B1 (ko) * | 2014-12-17 | 2015-08-31 | 스타십벤딩머신 주식회사 | 영상 합성 방법 및 시스템 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109509146B (zh) * | 2017-09-15 | 2023-03-24 | 腾讯科技(深圳)有限公司 | 图像拼接方法及装置、存储介质 |
CN109951634B (zh) * | 2019-03-14 | 2021-09-03 | Oppo广东移动通信有限公司 | 图像合成方法、装置、终端及存储介质 |
KR102646344B1 (ko) * | 2019-09-06 | 2024-03-12 | 삼성전자주식회사 | 이미지를 합성하기 위한 전자 장치 및 그의 동작 방법 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20050099350A (ko) * | 2004-04-09 | 2005-10-13 | 엘지전자 주식회사 | 이동통신 단말기에서 영상 합성 방법 및 장치 |
KR20070068086A (ko) * | 2005-12-26 | 2007-06-29 | 엠텍비젼 주식회사 | 윤곽선 검출을 이용한 영상 합성 방법 및 장치 |
-
2011
- 2011-01-28 KR KR1020110008615A patent/KR101224061B1/ko active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20050099350A (ko) * | 2004-04-09 | 2005-10-13 | 엘지전자 주식회사 | 이동통신 단말기에서 영상 합성 방법 및 장치 |
KR20070068086A (ko) * | 2005-12-26 | 2007-06-29 | 엠텍비젼 주식회사 | 윤곽선 검출을 이용한 영상 합성 방법 및 장치 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101547862B1 (ko) * | 2014-12-17 | 2015-08-31 | 스타십벤딩머신 주식회사 | 영상 합성 방법 및 시스템 |
WO2016099111A1 (ko) * | 2014-12-17 | 2016-06-23 | 스타십벤딩머신 주식회사 | 영상 합성 방법 및 시스템 |
CN104735467A (zh) * | 2015-03-31 | 2015-06-24 | 北京奇艺世纪科技有限公司 | 视频画中画广告生成方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
KR20120087432A (ko) | 2012-08-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8717390B2 (en) | Art-directable retargeting for streaming video | |
US9990534B2 (en) | Image processing device and image processing method | |
KR101224061B1 (ko) | 영상 합성 장치 및 방법 | |
US8654181B2 (en) | Methods for detecting, visualizing, and correcting the perceived depth of a multicamera image sequence | |
JP6351238B2 (ja) | 画像処理装置、撮像装置および距離補正方法 | |
CN103177440B (zh) | 生成图像深度图的系统和方法 | |
WO2014013690A1 (ja) | コメント情報生成装置およびコメント情報生成方法 | |
US20140300686A1 (en) | Systems and methods for tracking camera orientation and mapping frames onto a panoramic canvas | |
US20210392278A1 (en) | System for automatic video reframing | |
KR101181199B1 (ko) | 배경 지형 장면의 입체 이미지 생성 방법, 시스템 및 이를 위한 기록매체 | |
KR102231676B1 (ko) | 실감 효과 메타데이터 생성 장치 및 방법 | |
CN107451976B (zh) | 一种图像处理方法及装置 | |
TWI553590B (zh) | 包括至少第一視圖和第二視圖的3d內容之再標定方法及裝置以及電腦程式產品和處理器可讀取之媒體 | |
KR100987412B1 (ko) | 멀티프레임을 고려한 비디오 오브젝트 매팅 시스템 및 방법 | |
JP2018530219A (ja) | 拡張されたシーンでナビゲーションを容易にする方法、装置及びシステム | |
JP2005339127A (ja) | 画像情報表示装置及び画像情報表示方法 | |
US20240046430A1 (en) | Corrective Lighting for Video Inpainting | |
CN114450717A (zh) | 用于增强现实应用的遮挡和碰撞检测 | |
JP6298521B2 (ja) | プログラム、システム、装置、及び方法 | |
JP5422538B2 (ja) | 画像処理装置、表示装置、方法およびそのプログラム | |
KR20110093616A (ko) | 오버레이 영역의 3d 영상 변환 방법 및 그 장치 | |
US20140125778A1 (en) | System for producing stereoscopic images with a hole filling algorithm and method thereof | |
CN106709897B (zh) | 基于梯度领域的正射影像间最优拼接线寻找方法及系统 | |
WO2021161513A1 (ja) | 画像処理装置、画像処理システム、画像処理方法、および画像処理プログラム | |
US9330434B1 (en) | Art-directable retargeting for streaming video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20160111 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20161209 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20180109 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20190128 Year of fee payment: 7 |