KR20120087432A - 영상 합성 장치 및 방법 - Google Patents

영상 합성 장치 및 방법 Download PDF

Info

Publication number
KR20120087432A
KR20120087432A KR1020110008615A KR20110008615A KR20120087432A KR 20120087432 A KR20120087432 A KR 20120087432A KR 1020110008615 A KR1020110008615 A KR 1020110008615A KR 20110008615 A KR20110008615 A KR 20110008615A KR 20120087432 A KR20120087432 A KR 20120087432A
Authority
KR
South Korea
Prior art keywords
image
designated
pixel value
target image
pixel
Prior art date
Application number
KR1020110008615A
Other languages
English (en)
Other versions
KR101224061B1 (ko
Inventor
이인권
권지용
Original Assignee
연세대학교 산학협력단
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단, 포항공과대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020110008615A priority Critical patent/KR101224061B1/ko
Publication of KR20120087432A publication Critical patent/KR20120087432A/ko
Application granted granted Critical
Publication of KR101224061B1 publication Critical patent/KR101224061B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)

Abstract

본 발명의 적어도 일 실시예에 의한 영상 합성 장치 및 방법은 소스 영상 중 일정 객체와 그 객체의 배경을 포함하는 일정 영역의 영상인 지정 영상을 지정하고, 지정 영상을 타겟 영상에 합성하고, 지정 영상 내의 각 화소마다 값을 가지며 화소의 위치가 그 객체와 그 배경 중 어느 일방에 치우친 정도를 나타내는 위치식별인자, 지정 영상의 경계 영역의 화소값, 지정 영상의 화소값, 및 타겟 영상의 화소값을 고려하여, 지정 영상의 화소값을 조정함으로써, 소스 영상 중 합성하고자 하는 영상인 지정 영상을 사용자가 대강 지정하더라도 그 지정 영상 내의 객체 및 배경이 타겟 영상에 합성의 흔적이 보이지 않을 만큼 자연스럽게 합성되도록 한다.

Description

영상 합성 장치 및 방법 {Image composing apparatus and method}
본 발명은 영상 합성에 관한 것으로, 보다 상세하게는 소스 영상 중 특정 영상을 타겟 영상에 붙이는 형태의 영상 합성 방안에 관한 것이다.
종래의 영상 합성 기법은 크게 비디오 매팅 기법 및 이음새없는 비디오 합성 기법 두 가지 종류로 나누어 생각할 수 있다.
비디오 매팅(matting) 기법은 합성하고자 하는 물체 영상 부분과 그 외의 영상 부분을 최대한 정교하게 계산하는 방법을 총칭한다. 이 기법은, 합성하고자 하는 물체 영상의 경계를 사용자가 직접 입력하며 시스템 내에서 그 물체 영상의 정교한 경계를 추출한다. 이와 같은 기법이 달성할 수 있는 정교함에는 어느 정도의 한계가 있을 수 밖에 없다. 따라서 물체 영상의 경계선의 구분이 어려운 경우 예컨대 물 표면과 상호 작용하고 있는 물체나 수증기, 연기 등의 경우, 종래의 비디오 매팅 기법으로는 좋은 결과를 보장할 수 없다.
한편 이음새없는 비디오 합성 기법은 사용자가 지정한 합성하고자 하는 영상을 어떠한 다른 영상인 타겟 영상에 합성함에 있어 그 합성하고자 하는 영상을 그대로 합성하며, 그 지정 영역과 타겟 영상이 만나는 이음새 부분을 최대한 안보이도록 처리하는 기법을 의미한다. 이 기법을 이용하면 합성하고자 하는 물체 영상의 정확한 경계를 추출하지 않더라도 그 합성하고자 하는 물체 영상의 타겟 영상에 대한 나쁘지 않은 합성 결과를 얻을 수 있다. 다만, 종래의 이음새없는 비디오 합성 기법은 그 지정 영역 즉, 합성하고자 하는 영상의 영역에 물체 영상 뿐 아니라 그 물체의 배경 영상도 어느 정도 포함되어, 그 배경 영상까지도 합성하면서 합성된 결과에서 이음새를 기준으로 움직임이 불일치해 보이는 부작용을 제거하지 못한다는 문제점을 갖는다.
본 발명의 적어도 일 실시예가 이루고자 하는 기술적 과제는, 종래의 비디오 매팅 기법 또는 이음새 없는 비디오 합성 기법만으로 달성하기 어려운 효과를 달성하고자, 소스 영상 중 합성하고자 하는 영상을 사용자가 대강 지정하더라도 그 대강 지정된 영상 내의 객체 및 배경이 타겟 영상에 합성의 흔적이 보이지 않을 만큼 자연스럽게 합성되도록 하는 영상 합성 장치를 제공하는 데 있다.
본 발명의 적어도 일 실시예가 이루고자 하는 다른 기술적 과제는 종래의 비디오 매팅 기법 또는 이음새 없는 비디오 합성 기법만으로 달성하기 어려운 효과를 달성하고자, 소스 영상 중 합성하고자 하는 영상을 사용자가 대강 지정하더라도 그 대강 지정된 영상 내의 객체 및 배경이 타겟 영상에 합성의 흔적이 보이지 않을 만큼 자연스럽게 합성되도록 하는 영상 합성 방법을 제공하는 데 있다.
본 발명의 적어도 일 실시예가 이루고자 하는 또 다른 기술적 과제는, 종래의 비디오 매팅 기법 또는 이음새 없는 비디오 합성 기법만으로 달성하기 어려운 효과를 달성하고자, 소스 영상 중 합성하고자 하는 영상을 사용자가 대강 지정하더라도 그 대강 지정된 영상 내의 객체 및 배경이 타겟 영상에 합성의 흔적이 보이지 않을 만큼 자연스럽게 합성되도록 하는 영상 합성 방법을 컴퓨터에서 실행시키기 위한 컴퓨터 프로그램을 저장한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.
상기 과제를 이루기 위해, 본 발명의 적어도 일 실시예에 의한 영상 합성 장치는 소스 영상 중 일정 객체와 상기 객체의 배경을 포함하는 일정 영역의 영상인 지정 영상을 지정하는 영상 지정부; 및 상기 지정 영상을 타겟 영상에 합성하고, 상기 지정 영상 내의 각 화소마다 값을 가지며 상기 화소의 위치가 상기 객체와 상기 배경 중 어느 일방에 치우친 정도를 나타내는 위치식별인자, 상기 지정 영상의 경계 영역의 화소값, 상기 지정 영상의 화소값, 및 상기 타겟 영상의 화소값을 고려하여, 상기 지정 영상의 화소값을 조정하는 영상 합성부를 포함한다.
여기서, 상기 지정 영상, 상기 타겟 영상, 및 상기 경계 영역 각각마다 고유의 가중치가 부여되며, 상기 가중치는 상기 위치식별인자를 이용한 일정 연산으로 결정되고, 상기 일정 연산의 내용은 상기 가중치마다 상이하고, 상기 영상 합성부는 상기 지정 영상의 화소값 및 상기 지정 영상에 해당되는 상기 가중치, 상기 경계 영역의 화소값 및 상기 경계 영역에 해당되는 상기 가중치, 상기 타겟 영상의 화소값 및 상기 타겟 영상에 해당되는 상기 가중치를 고려하여, 상기 지정영상의 화소값을 조정한다.
이 때, 상기 지정 영상에 해당되는 상기 가중치는 상기 위치식별인자의 거듭제곱한 결과이고, 상기 타겟 영상에 해당되는 상기 가중치는 상기 위치식별인자 및 임계치 간의 차이의 거듭제곱한 결과이고, 상기 경계 영역에 해당되는 상기 가중치는 상기 위치식별인자에 상기 위치식별인자와 상기 임계치 간의 차이를 승산한 결과에 따라 결정될 수 있다.
이 때, 상기 지정 영상, 상기 타겟 영상, 상기 경계 영역 각각의 상기 가중치는 상기 위치식별인자와, 상기 지정 영상, 상기 타겟 영상, 상기 경계 영역 각각마다 상이한 기준치간의 차이에 따른 직선함수로서 표현될 수 있다.
이 때, 상기 지정 영상, 상기 타겟 영상, 상기 경계 영역 각각의 상기 가중치는 상기 위치식별인자에 상응하며 상기 지정 영상, 상기 타겟 영상, 상기 경계 영역 각각마다 상이한 삼각함수로서 표현될 수 있다.
여기서 상기 경계 영역은 상기 지정 영상의 경계가 속하는 화소들이고, 상기 경계 영역의 화소값은 상기 지정 영상이 합성된 상기 타겟 영상에서 상기 지정 영상의 경계에 외부로 인접한 화소값들과 상기 타겟 영상에 합성되기 전의 상기 지정 영상의 경계에 내부로 인접한 화소값들을 고려하여 결정된다.
여기서, 상기 영상 합성부는 상기 지정 영상 내 화소값들의 그래디언트를 유지하며 상기 지정 영상을 조정한다.
여기서, 상기 소스 영상은 정지 영상 또는 동영상이고 상기 타겟 영상은 동영상이다.
여기서, 상기 영상 지정부가 지정하는 지정 영상은 사용자에 의해 상기 소스 영상 중 선택되는 영상이다.
상기 다른 과제를 이루기 위해, 본 발명의 적어도 일 실시예에 의한 영상 합성 방법은 (a) 소스 영상 중 일정 객체와 상기 객체의 배경을 포함하는 일정 영역의 영상인 지정 영상을 지정하는 단계; 및 (b) 상기 지정 영상을 타겟 영상에 합성하고, 상기 지정 영상 내의 각 화소마다 값을 가지며 상기 화소의 위치가 상기 객체와 상기 배경 중 어느 일방에 치우친 정도를 나타내는 위치식별인자, 상기 지정 영상의 경계 영역의 화소값, 상기 지정 영상의 화소값, 및 상기 타겟 영상의 화소값을 고려하여, 상기 지정 영상의 화소값을 조정하는 단계를 포함한다.
여기서, 상기 지정 영상, 상기 타겟 영상, 및 상기 경계 영역 각각마다 고유의 가중치가 부여되며, 상기 가중치는 상기 위치식별인자를 이용한 일정 연산으로 결정되고, 상기 일정 연산의 내용은 상기 가중치마다 상이하고, 상기 (b)단계는 상기 지정 영상의 화소값 및 상기 지정 영상에 해당되는 상기 가중치, 상기 경계 영역의 화소값 및 상기 경계 영역에 해당되는 상기 가중치, 상기 타겟 영상의 화소값 및 상기 타겟 영상에 해당되는 상기 가중치를 고려하여, 상기 지정영상의 화소값을 조정한다.
이 때, 상기 지정 영상에 해당되는 상기 가중치는 상기 위치식별인자의 거듭제곱한 결과이고, 상기 타겟 영상에 해당되는 상기 가중치는 상기 위치식별인자 및 임계치 간의 차이의 거듭제곱한 결과이고, 상기 경계 영역에 해당되는 상기 가중치는 상기 위치식별인자에 상기 위치식별인자와 상기 임계치 간의 차이를 승산한 결과에 따라 결정될 수 있다.
이 때, 상기 지정 영상, 상기 타겟 영상, 상기 경계 영역 각각의 상기 가중치는 상기 위치식별인자와, 상기 지정 영상, 상기 타겟 영상, 상기 경계 영역 각각마다 상이한 기준치 간의 차이에 따른 직선함수로서 표현될 수 있다.
이 때, 상기 지정 영상, 상기 타겟 영상, 상기 경계 영역 각각의 상기 가중치는 상기 위치식별인자에 상응하며 상기 지정 영상, 상기 타겟 영상, 상기 경계 영역 각각마다 상이한 삼각함수로서 표현될 수 있다.
여기서, 상기 경계 영역은 상기 지정 영상의 경계가 속하는 화소들이고, 상기 경계 영역의 화소값은 상기 지정 영상이 합성된 상기 타겟 영상에서 상기 지정 영상의 경계에 외부로 인접한 화소값들과 상기 타겟 영상에 합성되기 전의 상기 지정 영상의 경계에 내부로 인접한 화소값들을 고려하여 결정된다.
여기서, 상기 (b) 단계는 상기 지정 영상 내 화소값들의 그래디언트를 유지하며 상기 지정 영상을 조정한다.
여기서, 상기 소스 영상은 정지 영상 또는 동영상이고 상기 타겟 영상은 동영상이다.
여기서, 상기 (a) 단계가 지정하는 지정 영상은 사용자에 의해 상기 소스 영상 중 선택되는 영상이다.
상기 또 다른 과제를 이루기 위해, 본 발명의 적어도 일 실시예에 의한 컴퓨터로 읽을 수 있는 기록매체는 소스 영상 중 일정 객체와 상기 객체의 배경을 포함하는 일정 영역의 영상인 지정 영상을 지정하는 단계; 및 상기 지정 영상을 타겟 영상에 합성하고, 상기 지정 영상 내의 각 화소마다 값을 가지며 상기 화소의 위치가 상기 객체와 상기 배경 중 어느 일방에 치우친 정도를 나타내는 위치식별인자, 상기 지정 영상의 경계 영역의 화소값, 상기 지정 영상의 화소값, 및 상기 타겟 영상의 화소값을 고려하여, 상기 지정 영상의 화소값을 조정하는 단계를 컴퓨터에서 실행시키기 위한 컴퓨터 프로그램을 저장한다.
본 발명의 적어도 일 실시예에 의한 영상 합성 장치 및 방법은 소스 영상 중 일정 객체와 그 객체의 배경을 포함하는 일정 영역의 영상인 지정 영상을 지정하고, 지정 영상을 타겟 영상에 합성하고, 지정 영상 내의 각 화소마다 값을 가지며 화소의 위치가 그 객체와 그 배경 중 어느 일방에 치우친 정도를 나타내는 위치식별인자, 지정 영상의 경계 영역의 화소값, 지정 영상의 화소값, 및 타겟 영상의 화소값을 고려하여, 지정 영상의 화소값을 조정함으로써, 소스 영상 중 합성하고자 하는 영상인 지정 영상을 사용자가 대강 지정하더라도 그 지정 영상 내의 객체 및 배경이 타겟 영상에 합성의 흔적이 보이지 않을 만큼 자연스럽게 합성되도록 한다.
도 1은 본 발명의 적어도 일 실시예에 의한 영상 합성 장치를 나타내는 블록도이다.
도 2a 내지 도 2c는 본 발명의 적어도 일 실시예에 따른 소스 영상, 지정 영상, 타겟 영상, 합성 영상을 설명하기 위한 참고도들이다.
도 3은 본 발명의 적어도 일 실시예에 따른 영상 합성 방법을 나타내는 플로우챠트이다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 그 첨부 도면을 설명하는 내용을 참조하여야만 한다.
이하, 본 발명의 적어도 일 실시예에 의한 영상 합성 장치 및 방법을 첨부한 도면들을 참조하여 다음과 같이 설명한다.
도 1은 본 발명의 적어도 일 실시예에 의한 영상 합성 장치를 나타내는 블록도로서 영상 지정부(110)와 영상 합성부(120)를 포함한다. 여기서 영상 합성부(120)는 이음새 없는 합성부(130), 알파맵 계산부(140) 및 다차항 혼합부(150)를 포함한다.
영상 지정부(110)는 소스 영상 중에서 지정 영상을 지정한다. 본 명세서에서, 소스 영상이란 합성하고자 하는 영상이 담긴 영상을 의미하고, 지정 영상이란 그 합성하고자 하는 영상을 의미하고, 타겟 영상이란 지정 영상이 합성되는 대상을 의미한다. 사용자는 소스 영상 중 어느 특정 영역의 영상을 타겟 영상에 합성하고자, 즉, 타겟 영상에 덧붙이고자, 그 특정 영역의 영상을 지정 영상으로서 소스 영상 중에서 선택 및 지정할 수 있고, 영상 지정부(110)는 그러한 사용자의 지시에 따라 소스 영상 중 지정 영상을 지정한다. 한편, 본 명세서에서 소스 영상은 정지 영상일 수도 있고 동영상일 수도 있으며, 타겟 영상 역시 정지 영상일 수도 있고 동영상일 수도 있으나, 이하 소스 영상과 타겟 영상 모두 동영상인 경우로 가정하여 설명한다.
지정 영상은 일정 '객체' 및 그 객체의 '배경'을 포함함이 일반적이다. 객체란 합성하고자 하는 대상 즉 어떤 특정 물체를 의미한다.
사용자는 소스 영상 중 타겟 영상에 합성할 '객체'를 지정할 것인데 그 객체 부분의 영상만을 정확히 지정하는 것은 사용자에게 많은 불편을 야기할 것이다. 본 발명의 적어도 일 실시예는 사용자가 지정 영상을 지정함에 있어서 대강 지정하여 지정 영상에 객체 영상 뿐 아니라 그 객체 주변의 배경 영상도 일부 포함되더라도, 그 지정 영상의 객체 및 배경 모두가 타겟 영상과 자연스러운 일체감을 보이며 자연스럽게 합성되도록 하므로, 사용자가 지정 영상의 경계를 대강 지정하더라도 무방하여 사용자의 편의를 최대한 도모한다. 이하 설명의 편의상 지정 영상에는 객체 영상만 존재하는 것이 아니라 배경 영상도 존재한다고 가정한다.
영상 합성부(120)는 지정 영상을 타겟 영상에 합성한다. 영상 합성부(120)는 지정 영상을 타겟 영상에 합성함에 있어, 지정 영상의 타겟 영상에서의 위치를 사용자의 지시에 따라 결정하고, 그 결정된 위치로 지정 영상을 이동(예컨대 평행 이동)한 뒤 지정 영상을 타겟 영상에 붙인다(합성한다).
그 상태에서 영상 합성부(120)는 지정 영상 내의 화소들 각각마다 값을 갖는 '위치식별인자', '지정 영상의 경계 영역의 화소값', '지정 영상의 화소값', '타겟 영상의 화소값'을 고려하여, 지정 영상의 화소값을 조정하여 합성 영상을 생성한다. 영상 합성부(120)는 지정 영상의 화소값을 조정함에 있어 지정 영상 내 화소값들의 그래디언트(gradient)를 유지하며 지정 영상 내 화소들의 컬러값들을 조정한다.
본 명세서에서, 합성 영상이란, 본 발명의 적어도 일 실시예에 의하여 지정 영상의 화소값이 조정된 결과를 의미한다. 즉 영상 합성부(120)는 지정 영상의 객체 및 배경 모두가 타겟 영상과 자연스러운 일체감을 보이며 자연스럽게 합성되도록 하며, 이처럼 합성된 결과가 합성 영상인 것이다.
또한, 지정 영상의 경계 영역이란 지정 영상의 경계가 속하는 화소들을 의미한다. 즉, 지정 영상의 경계선이 지나가는 화소들을 의미한다. 경계 영역의 화소값은 '지정 영상이 합성된 타겟 영상에서 지정 영상의 경계에 외부로 인접한 화소값들'과 '타겟 영상에 합성되기 전의 지정 영상의 경계에 내부로 인접한 화소값들'을 고려하여 결정된다. 즉, 경계 영역에 속하는 화소들 각각의 화소값은 '그 화소에 인접한 화소로서 경계의 외부로 인접한 화소의 화소값'과 '그 화소에 인접한 화소로서 경계의 내부로 인접한 화소의 화소값'을 고려하여 결정된다. 여기서, 그 두 화소값을 고려하는 방법은 다양할 수 있으며, 그 두 화소값을 보간(interpolation)하는 것이 일 례가 될 것이다.
또한, 위치식별인자(α)란 각 화소마다 화소의 위치가 객체와 배경 중 어느 일방에 치우친 정도를 나타내는 수치이다. 예를 들어, 이하에서는 설명의 편의상, 화소의 위치가 확실히 객체 내부라면 그 화소의 위치식별인자 값은 1이고, 화소의 위치가 확실히 객체 외부라면 그 화소의 위치식별인자 값은 0이고, 화소의 위치가 객체의 내부인지 외부인지 분명하지 않다면 그 화소의 위치식별인자 값은 0 내지 1 중 어느 한 값이다. 객체의 경계선이 지나가는 화소의 위치의 경우 그 화소에서 경계선이 객체의 내부에 치우친 정도에 따라 0 내지 1 중 어느 한 값(예컨대, 경계선이 화소의 정 가운데를 지나간다면 그 화소의 위치식별인자 값은 0.5이고, 경계선이 화소를 지나가되 객체 내부 측으로 치우쳐 지나가는 경우 그 화소의 위치식별인자 값은 예를 들어 0.2이다)이다.
구체적으로, 영상 합성부(120)의 동작에 대해 이하 설명한다.
'지정 영상', '타겟 영상', 및 '경계 영역' 각각마다 고유의 가중치가 부여되며, 가중치는 위치식별인자를 이용한 일정 연산으로 결정되고, 그 일정 연산의 내용은 가중치마다 상이하다.
영상 합성부(120)는 '지정 영상의 화소값 및 지정 영상에 해당되는 가중치', '경계 영역의 화소값 및 경계 영역에 해당되는 가중치', '타겟 영상의 화소값 및 타겟 영상에 해당되는 가중치'를 고려하여, 지정 영상의 화소값을 조정한다. 이는 다음의 수학식 1로 표현 가능하다.
[ 수학식 1 ]
Figure pat00001
여기서, x, y는 화소의 위치를 나타내는 2차원 좌표값을 의미하고, r(x, y)는 합성 영상의 화소값을 의미하고 s(x, y)는 소스 영상(정확하게는, 지정 영상)의 화소값을 의미하고 w_s(x, y)는 소스 영상에 해당되는 가중치를 의미하고, p(x, y)는 경계 영역의 화소값을 의미하고, w_p(x, y)는 경계 영역에 해당되는 가중치를 의미하고, t(x, y)는 타겟 영상의 화소값을 의미하고 w_t(x, y)는 타겟 영상에 해당되는 가중치를 의미한다.
제1 실시예에 따른 영상 합성부(120)의 동작은 다음과 같다.
지정 영상에 해당되는 가중치는 위치식별인자의 거듭제곱한 결과이고, 타겟 영상에 해당되는 가중치는 위치식별인자 및 임계치 간의 차이의 거듭제곱한 결과이고, 경계 영역에 해당되는 가중치는 위치식별인자에 위치식별인자와 임계치 간의 차이를 승산한 결과에 따라 결정된다. 이는 다음의 수학식 2로 표현 가능하다.
[ 수학식 2 ]
Figure pat00002
여기서, α는 위치식별인자이다. 이와 같이 제1 실시예는, 베지어 베이시스 함수 기반의 합성을 의미한다. 앞서 언급한 임계치는 수학식 2에서 1이다.
제2 실시예에 따른 영상 합성부(120)의 동작은 다음과 같다.
'지정 영상', '타겟 영상', '경계 영역' 각각의 가중치는 '위치식별인자'와 지정 영상, 타겟 영상, 경계 영역 각각마다 상이한 '기준치' 간의 차이에 따른 직선함수로서 표현된다. 이는 다음의 수학식 3으로 표현 가능하다.
[ 수학식 3 ]
Figure pat00003
여기서, min은 min함수를 의미한다. 이와 같이 제2 실시예에 따른 영상 합성부(120)는 α가 0과 0.5 사이인 경우는 '타겟 영상 및 타겟 영상에 해당되는 가중치'와 '경계 영역 및 경계 영역에 해당되는 가중치' 만을 이용하여 합성 영상의 화소값을 결정하고, α가 0.5와 1 사이인 경우는 '지정 영상 및 지정 영상에 해당되는 가중치'와 '경계 영역 및 경계 영역에 해당되는 가중치' 만을 이용하여 합성 영상의 화소값을 결정한다. 앞서 언급한 기준치는 1, 0.5, 0 중 하나이다.
제3 실시예에 따른 영상 합성부(120)의 동작은 다음과 같다.
'지정 영상', '타겟 영상', '경계 영역' 각각의 가중치는 위치식별인자에 상응하며 지정 영상, 타겟 영상, 경계 영역 각각마다 상이한 삼각함수로서 표현된다. 이는 다음의 수학식 4로 표현 가능하다.
[ 수학식 4 ]
Figure pat00004
여기서 N은 세 가중치 함수의 합을 항상 1로 만드는 역할을 한다.
이상에서 설명한 영상 합성부(120)의 동작은 이음새 없는 합성부(130), 알파맵 계산부(140), 다차항 혼합부(150)로 분설하여 설명될 수도 있다. 즉 이음새 없는 합성부(130)는 경계 영역의 화소값을 결정하고, 알파맵 계산부(140)는 소스 영상(구체적으로는 지정 영상)의 화소들 각각에 대해 위치식별인자(α)값을 결정하고, 다차항 혼합부(150)는 위에서 언급한 가중치(w_s(x, y), w_p(x, y), w_t(x, y))를 결정하고 수학식 1과 같은 연산을 통해 지정 영상의 화소값들을 조정하여 합성 영상을 생성한다.
도 2a 내지 도 2c는 본 발명의 적어도 일 실시예에 따른 소스 영상, 지정 영상, 타겟 영상, 합성 영상을 설명하기 위한 참고도들이다. 구체적으로, 도 2a에 도시된 바는 소스 영상(210)이고 도 2b에 도시된 바는 타겟 영상(220)이고, 도 2c에 도시된 바는 합성 영상(250)이다.
영상 지정부(110)는 소스 영상(210) 중에 지정 영상(230)을 사용자의 지시에 따라 지정하고, 영상 합성부(120)는 그 지정 영상(230)을 타겟 영상(220)에 합성하고 지정 영상(230)의 화소값들을 지금까지 본 명세서를 통해 언급한 방법으로 조정함으로써 합성 영상(250)을 생성한다. 식별번호 240은 타겟 영상(220)에서 지정 영상이 합성될 영역의 위치를 나타낸다.
도 3은 본 발명의 적어도 일 실시예에 따른 영상 합성 방법을 나타내는 플로우챠트이다.
본 발명의 적어도 일 실시예에 따른 영상 합성 장치는 소스 영상 중 일정 객체와 객체의 배경을 포함하는 일정 영역의 영상인 지정 영상을 지정한다(제310 단계).
제310 단계 후에, 본 발명의 적어도 일 실시예에 따른 영상 합성 장치는, 지정 영상을 타겟 영상에 합성하고, 위치식별인자, 지정 영상의 경계 영역의 화소값, 지정 영상의 화소값, 및 타겟 영상의 화소값을 고려하여 지정 영상의 화소값을 조정한다(제320 단계).
이상에서 언급된 본 발명의 적어도 일 실시예에 의한 영상 합성 방법을 컴퓨터에서 실행시키기 위한 프로그램은 컴퓨터로 읽을 수 있는 기록매체에 저장될 수 있다.
여기서, 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬(ROM), 플로피 디스크, 하드 디스크 등), 및 광학적 판독 매체(예를 들면, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc))와 같은 저장매체를 포함한다.
이제까지 본 발명을 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로, 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점들은 본 발명에 포함된 것으로 해석되어야 할 것이다.
110 : 영상 지정부 120 : 영상 합성부
130 : 이음새 없는 합성부 140 : 알파맵 계산부
150 : 다차항 혼합부 210 : 소스 영상
220 : 타겟 영상 230 : 지정 영상
250 : 합성 영상

Claims (19)

  1. 소스 영상 중 일정 객체와 상기 객체의 배경을 포함하는 일정 영역의 영상인 지정 영상을 지정하는 영상 지정부; 및
    상기 지정 영상을 타겟 영상에 합성하고, 상기 지정 영상 내의 각 화소마다 값을 가지며 상기 화소의 위치가 상기 객체와 상기 배경 중 어느 일방에 치우친 정도를 나타내는 위치식별인자, 상기 지정 영상의 경계 영역의 화소값, 상기 지정 영상의 화소값, 및 상기 타겟 영상의 화소값을 고려하여, 상기 지정 영상의 화소값을 조정하는 영상 합성부를 포함하는 것을 특징으로 하는 영상 합성 장치.
  2. 제1 항에 있어서,
    상기 지정 영상, 상기 타겟 영상, 및 상기 경계 영역 각각마다 고유의 가중치가 부여되며, 상기 가중치는 상기 위치식별인자를 이용한 일정 연산으로 결정되고, 상기 일정 연산의 내용은 상기 가중치마다 상이하고,
    상기 영상 합성부는
    상기 지정 영상의 화소값 및 상기 지정 영상에 해당되는 상기 가중치, 상기 경계 영역의 화소값 및 상기 경계 영역에 해당되는 상기 가중치, 상기 타겟 영상의 화소값 및 상기 타겟 영상에 해당되는 상기 가중치를 고려하여, 상기 지정영상의 화소값을 조정하는 것을 특징으로 하는 영상 합성 장치.
  3. 제2 항에 있어서,
    상기 지정 영상에 해당되는 상기 가중치는 상기 위치식별인자의 거듭제곱한 결과이고, 상기 타겟 영상에 해당되는 상기 가중치는 상기 위치식별인자 및 임계치 간의 차이의 거듭제곱한 결과이고, 상기 경계 영역에 해당되는 상기 가중치는 상기 위치식별인자에 상기 위치식별인자와 상기 임계치 간의 차이를 승산한 결과에 따라 결정되는 것을 특징으로 하는 영상 합성 장치.
  4. 제2 항에 있어서,
    상기 지정 영상, 상기 타겟 영상, 상기 경계 영역 각각의 상기 가중치는 상기 위치식별인자와, 상기 지정 영상, 상기 타겟 영상, 상기 경계 영역 각각마다 상이한 기준치간의 차이에 따른 직선함수로서 표현되는 것을 특징으로 하는 영상 합성 장치.
  5. 제2 항에 있어서,
    상기 지정 영상, 상기 타겟 영상, 상기 경계 영역 각각의 상기 가중치는 상기 위치식별인자에 상응하며 상기 지정 영상, 상기 타겟 영상, 상기 경계 영역 각각마다 상이한 삼각함수로서 표현되는 것을 특징으로 하는 영상 합성 장치.
  6. 제1 항에 있어서, 상기 경계 영역은 상기 지정 영상의 경계가 속하는 화소들이고, 상기 경계 영역의 화소값은 상기 지정 영상이 합성된 상기 타겟 영상에서 상기 지정 영상의 경계에 외부로 인접한 화소값들과 상기 타겟 영상에 합성되기 전의 상기 지정 영상의 경계에 내부로 인접한 화소값들을 고려하여 결정된 것을 특징으로 하는 영상 합성 장치.
  7. 제1 항에 있어서, 상기 영상 합성부는 상기 지정 영상 내 화소값들의 그래디언트를 유지하며 상기 지정 영상을 조정하는 것을 특징으로 하는 영상 합성 장치.
  8. 제1 항에 있어서,
    상기 소스 영상은 정지 영상 또는 동영상이고 상기 타겟 영상은 동영상인 것을 특징으로 하는 영상 합성 장치.
  9. 제1 항에 있어서,
    상기 영상 지정부가 지정하는 지정 영상은 사용자에 의해 상기 소스 영상 중 선택되는 영상인 것을 특징으로 하는 영상 합성 장치.
  10. (a) 소스 영상 중 일정 객체와 상기 객체의 배경을 포함하는 일정 영역의 영상인 지정 영상을 지정하는 단계; 및
    (b) 상기 지정 영상을 타겟 영상에 합성하고, 상기 지정 영상 내의 각 화소마다 값을 가지며 상기 화소의 위치가 상기 객체와 상기 배경 중 어느 일방에 치우친 정도를 나타내는 위치식별인자, 상기 지정 영상의 경계 영역의 화소값, 상기 지정 영상의 화소값, 및 상기 타겟 영상의 화소값을 고려하여, 상기 지정 영상의 화소값을 조정하는 단계를 포함하는 것을 특징으로 하는 영상 합성 방법.
  11. 제10 항에 있어서,
    상기 지정 영상, 상기 타겟 영상, 및 상기 경계 영역 각각마다 고유의 가중치가 부여되며, 상기 가중치는 상기 위치식별인자를 이용한 일정 연산으로 결정되고, 상기 일정 연산의 내용은 상기 가중치마다 상이하고,
    상기 (b) 단계는
    상기 지정 영상의 화소값 및 상기 지정 영상에 해당되는 상기 가중치, 상기 경계 영역의 화소값 및 상기 경계 영역에 해당되는 상기 가중치, 상기 타겟 영상의 화소값 및 상기 타겟 영상에 해당되는 상기 가중치를 고려하여, 상기 지정영상의 화소값을 조정하는 것을 특징으로 하는 영상 합성 방법.
  12. 제11 항에 있어서,
    상기 지정 영상에 해당되는 상기 가중치는 상기 위치식별인자의 거듭제곱한 결과이고, 상기 타겟 영상에 해당되는 상기 가중치는 상기 위치식별인자 및 임계치 간의 차이의 거듭제곱한 결과이고, 상기 경계 영역에 해당되는 상기 가중치는 상기 위치식별인자에 상기 위치식별인자와 상기 임계치 간의 차이를 승산한 결과에 따라 결정되는 것을 특징으로 하는 영상 합성 방법.
  13. 제11 항에 있어서,
    상기 지정 영상, 상기 타겟 영상, 상기 경계 영역 각각의 상기 가중치는 상기 위치식별인자와, 상기 지정 영상, 상기 타겟 영상, 상기 경계 영역 각각마다 상이한 기준치 간의 차이에 따른 직선함수로서 표현되는 것을 특징으로 하는 영상 합성 방법.
  14. 제11 항에 있어서,
    상기 지정 영상, 상기 타겟 영상, 상기 경계 영역 각각의 상기 가중치는 상기 위치식별인자에 상응하며 상기 지정 영상, 상기 타겟 영상, 상기 경계 영역 각각마다 상이한 삼각함수로서 표현되는 것을 특징으로 하는 영상 합성 방법.
  15. 제10 항에 있어서,
    상기 경계 영역은 상기 지정 영상의 경계가 속하는 화소들이고, 상기 경계 영역의 화소값은 상기 지정 영상이 합성된 상기 타겟 영상에서 상기 지정 영상의 경계에 외부로 인접한 화소값들과 상기 타겟 영상에 합성되기 전의 상기 지정 영상의 경계에 내부로 인접한 화소값들을 고려하여 결정된 것을 특징으로 하는 영상 합성 방법.
  16. 제10 항에 있어서, 상기 (b) 단계는 상기 지정 영상 내 화소값들의 그래디언트를 유지하며 상기 지정 영상을 조정하는 것을 특징으로 하는 영상 합성 방법.
  17. 제10 항에 있어서,
    상기 소스 영상은 정지 영상 또는 동영상이고 상기 타겟 영상은 동영상인 것을 특징으로 하는 영상 합성 방법.
  18. 제10 항에 있어서,
    상기 (a) 단계가 지정하는 지정 영상은 사용자에 의해 상기 소스 영상 중 선택되는 영상인 것을 특징으로 하는 영상 합성 방법.
  19. 제10 항 내지 제18 항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 컴퓨터 프로그램을 저장한 컴퓨터로 읽을 수 있는 기록매체.
KR1020110008615A 2011-01-28 2011-01-28 영상 합성 장치 및 방법 KR101224061B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110008615A KR101224061B1 (ko) 2011-01-28 2011-01-28 영상 합성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110008615A KR101224061B1 (ko) 2011-01-28 2011-01-28 영상 합성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120087432A true KR20120087432A (ko) 2012-08-07
KR101224061B1 KR101224061B1 (ko) 2013-01-21

Family

ID=46872981

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110008615A KR101224061B1 (ko) 2011-01-28 2011-01-28 영상 합성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101224061B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109951634A (zh) * 2019-03-14 2019-06-28 Oppo广东移动通信有限公司 图像合成方法、装置、终端及存储介质
KR20200035457A (ko) * 2017-09-15 2020-04-03 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 이미지 스플라이싱 방법 및 장치, 그리고 저장 매체
WO2021045552A1 (en) * 2019-09-06 2021-03-11 Samsung Electronics Co., Ltd. Electronic device for image synthesis and operating method thereof

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101547862B1 (ko) * 2014-12-17 2015-08-31 스타십벤딩머신 주식회사 영상 합성 방법 및 시스템
CN104735467B (zh) * 2015-03-31 2019-03-15 北京奇艺世纪科技有限公司 视频画中画广告生成方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100641455B1 (ko) * 2004-04-09 2006-10-31 엘지전자 주식회사 이동통신 단말기에서 영상 합성 방법 및 장치
KR100822458B1 (ko) * 2005-12-26 2008-04-16 엠텍비젼 주식회사 윤곽선 검출을 이용한 영상 합성 방법 및 장치

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200035457A (ko) * 2017-09-15 2020-04-03 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 이미지 스플라이싱 방법 및 장치, 그리고 저장 매체
CN109951634A (zh) * 2019-03-14 2019-06-28 Oppo广东移动通信有限公司 图像合成方法、装置、终端及存储介质
CN109951634B (zh) * 2019-03-14 2021-09-03 Oppo广东移动通信有限公司 图像合成方法、装置、终端及存储介质
WO2021045552A1 (en) * 2019-09-06 2021-03-11 Samsung Electronics Co., Ltd. Electronic device for image synthesis and operating method thereof
KR20210029526A (ko) * 2019-09-06 2021-03-16 삼성전자주식회사 이미지를 합성하기 위한 전자 장치 및 그의 동작 방법
US11501409B2 (en) 2019-09-06 2022-11-15 Samsung Electronics Co., Ltd Electronic device for image synthesis and operating method thereof

Also Published As

Publication number Publication date
KR101224061B1 (ko) 2013-01-21

Similar Documents

Publication Publication Date Title
US8717390B2 (en) Art-directable retargeting for streaming video
CN103177440B (zh) 生成图像深度图的系统和方法
US11012679B2 (en) Generating apparatus, generating method, and storage medium
US9990534B2 (en) Image processing device and image processing method
KR101224061B1 (ko) 영상 합성 장치 및 방법
US8373802B1 (en) Art-directable retargeting for streaming video
US20140300686A1 (en) Systems and methods for tracking camera orientation and mapping frames onto a panoramic canvas
US11184558B1 (en) System for automatic video reframing
KR101181199B1 (ko) 배경 지형 장면의 입체 이미지 생성 방법, 시스템 및 이를 위한 기록매체
KR102231676B1 (ko) 실감 효과 메타데이터 생성 장치 및 방법
JP6610535B2 (ja) 画像処理装置および画像処理方法
KR20130091541A (ko) 사용자 인터랙션에 기초하여 3ｄ 영상을 생성하기 위한 방법 및 장치
JP2018530219A (ja) 拡張されたシーンでナビゲーションを容易にする方法、装置及びシステム
KR20100084075A (ko) 멀티프레임을 고려한 비디오 오브젝트 매팅 시스템 및 방법
JP2017117457A (ja) 表示のために複数の映像フレームを空間的に配置するための方法、システム、及び装置
KR20110093616A (ko) 오버레이 영역의 3ｄ 영상 변환 방법 및 그 장치
JP6719945B2 (ja) 情報処理装置、情報処理方法、情報処理システム及びプログラム
JP2012105019A (ja) 画像処理装置、方法およびそのプログラム
CN106709897B (zh) 基于梯度领域的正射影像间最优拼接线寻找方法及系统
CN106169187A (zh) 用于对视频中的物体设界的方法和设备
CN113935891B (zh) 像素风格的场景渲染方法、设备及存储介质
Deng et al. Interactive panoramic map-like views for 3D mountain navigation
TW201928761A (zh) 影像擷取之設備及方法
WO2021161513A1 (ja) 画像処理装置、画像処理システム、画像処理方法、および画像処理プログラム
JP2006025448A (ja) キー信号生成装置及び方法、画像合成装置、並びに記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160111

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161209

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180109

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190128

Year of fee payment: 7