KR101547862B1 - 영상 합성 방법 및 시스템 - Google Patents

영상 합성 방법 및 시스템 Download PDF

Info

Publication number
KR101547862B1
KR101547862B1 KR1020140182562A KR20140182562A KR101547862B1 KR 101547862 B1 KR101547862 B1 KR 101547862B1 KR 1020140182562 A KR1020140182562 A KR 1020140182562A KR 20140182562 A KR20140182562 A KR 20140182562A KR 101547862 B1 KR101547862 B1 KR 101547862B1
Authority
KR
South Korea
Prior art keywords
foreground
image
pixel
background
value
Prior art date
Application number
KR1020140182562A
Other languages
English (en)
Inventor
전수영
권지용
Original Assignee
스타십벤딩머신 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스타십벤딩머신 주식회사 filed Critical 스타십벤딩머신 주식회사
Priority to KR1020140182562A priority Critical patent/KR101547862B1/ko
Application granted granted Critical
Publication of KR101547862B1 publication Critical patent/KR101547862B1/ko
Priority to PCT/KR2015/013722 priority patent/WO2016099111A1/ko
Priority to US15/624,662 priority patent/US10217203B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상합성을 위한 방법 및 시스템에 관한 것이다. 본 발명의 제 1 측면에 따르면 영상 합성을 위한 방법을 제공하는 영상합성 시스템에 있어서, 상기 영상 합성의 대상이 되는 객체를 포함하는 소스영상에서 일정한 영역을 제 1 전경으로써 사용자로부터 선택받는 제 1 전경부, 상기 제 1 전경 및 상기 소스영상 중 상기 제 1 전경과 구분되는 배경과 상기 소스영상에 포함된 각 픽셀의 유사도를 계산하는 유사판단부, 상기 유사판단부에서 계산된 유사도에 기초하여, 상기 소스영상에서 상기 제 1 전경 및 상기 배경 각각에 포함된 픽셀을 제외한 나머지 픽셀을 포함하는 제 2전경을 결정하는 제 2 전경부 및 상기 제 1 전경이 합성되는 영상인 바탕영상에 상기 제 1 전경 및 상기 제 2 전경을 합성하는 영상합성부를 포함할 수 있다.

Description

영상 합성 방법 및 시스템 {SYSTEM AND METHOD FOR COMPOSING VIDEO}
본 발명은 영상 합성 방법 및 시스템에 관한 것으로, 보다 상세하게는 소스(Source)영상과 바탕영상 각각에 포함된 소스 프레임과 목표 프레임 사이의 동일한 위치의 픽셀에 대해 색 보정을 수행하고, 색 보정이 수행된 프레임의 픽셀에 대해 지오데식 거리(Geodesic Distance)를 기준으로 소스 프레임에서 사용자가 지정한 객체인 제 1 전경과 배경 사이의 제 2 전경을 추가로 분리하여, 분리된 제 1 전방 영역과 제 2 전방 영역을 목표 프레임에 합성함으로써 자연스러운 합성 영상을 실시간으로 생성하는 영상 합성 방법 및 장치에 관한 것이다.
최근 들어 영화 또는 상업광고 등에서 보다 화려한 영상을 제공하기 위해 다양한 특수 기법을 이용하여 영상을 제작하고 있다.
이러한 특수 기법 중 가장 널리 이용되는 기술로 두 개 이상의 영상을 하나로 합성하는 기술이 있다.
이러한 영상합성은, 소스영상에서 사용자가 합성을 원하는 영역을 선택하고, 선택된 영역인 전경을 바탕영상에 합성함으로써 수행되는 것이 일반적이나 소스영상과 바탕영상 간의 조도, 색감 등의 차이에 따라 경계부분에서의 급격한 픽셀값 변화로 인해 상술된 방법에 의한 합성영상은 자연스럽지 못한 영상이 된다는 문제점이 있다.
이에 한국공개특허공보 제 10-2013-0123820 호는 실시간 영상합성 장치 및 그 방법에 관한 것으로 사용자 선택신호에 따라 배경영상을 결정하면, 배경영상에서 사용자영상을 합성할 영역 및 위치를 결정하고. 카메라를 통해 사용자의 실시간 모습을 추출하여 추출된 사용자의 실시간 모습을 결정된 배경영상에 믹싱방식 또는 마스킹 방식으로 합성하여 제공한다. 그러나 상기 공개특허문헌에 개시된 기술은 상술된 문제점을 해결하지 못한다.
따라서 상술된 문제점을 해결하기 위한 기술이 필요하게 되었다.
한편, 전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
본 발명의 일실시예는 두 개의 영상을 합성하기 위해 소스영상을 사용자가 선택한 객체인 제 1 전경과 배경으로 나누고, 소스영상의 픽셀 중 제 1 전경과 배경과의 지오데식 거리가 유사한 픽셀들의 영역인 제 2 전경을 소스영상으로부터 추가적으로 분리하여, 제 1 및 제 2 전경을 바탕영상과 합성함으로써 자연스러운 영상을 생성하는 데에 목적이 있다.
또한, 본 발명의 일실시예는 소스영상에서 추가적으로 추출한 제 2 전경을 바탕영상에 합성함으로써 제 2 전경에 포함된 픽셀이 합성될 위치의 바탕영상의 픽셀을 기준으로 제 2 전경의 픽셀에 대한 색을 보정하여 보다 자연스러운 합성영상을 제공하는 데에 목적이 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따르면 영상 합성을 위한 방법을 제공하는 영상합성 시스템에 있어서, 상기 영상 합성의 대상이 되는 객체를 포함하는 소스영상에서 일정한 영역을 제 1 전경으로써 사용자로부터 선택받는 제 1 전경부, 상기 제 1 전경 및 상기 소스영상 중 상기 제 1 전경과 구분되는 배경과 상기 소스영상에 포함된 각 픽셀의 유사도를 계산하는 유사판단부, 상기 유사판단부에서 계산된 유사도에 기초하여, 상기 소스영상에서 상기 제 1 전경 및 상기 배경 각각에 포함된 픽셀을 제외한 나머지 픽셀을 포함하는 제 2전경을 결정하는 제 2 전경부 및 상기 제 1 전경이 합성되는 영상인 바탕영상에 상기 제 1 전경 및 상기 제 2 전경을 합성하는 영상합성부를 포함할 수 있다.
본 발명의 제 2 측면에 따르면, 영상합성 시스템이 영상 합성을 수행하기 위한 영상합성방법에 있어서, 상기 영상 합성의 대상이 되는 객체를 포함하는 소스영상에서 사용자로부터 일정한 영역을 제 1 전경으로써 사용자로부터 선택받는 단계, 상기 제 1 전경 및 상기 소스영상 중 상기 제 1 전경과 구분되는 배경과 상기 소스영상에 포함된 각 픽셀의 유사도를 계산하는 단계, 계산된 유사도에 기초하여, 상기 소스영상에서 상기 제 1 전경 및 상기 배경 각각에 포함된 픽셀을 제외한 나머지 픽셀을 포함하는 제 2 전경을 결정하는 단계 및 상기 제 1 전경이 합성되는 영상인 바탕영상에 상기 제 1 전경 및 상기 제 2 전경을 합성하는 단계를 포함할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 본 발명의 일실시예는 두 개의 영상을 합성하기 위해 소스영상을 사용자가 선택한 객체인 제 1 전경과 배경으로 나누고, 소스영상의 픽셀 중 제 1 전경과 배경과의 지오데식 거리가 유사한 픽셀들의 영역인 제 2 전경을 소스영상으로부터 추가적으로 분리하여, 제 1 및 제 2 전경을 바탕영상과 합성함으로써 자연스러운 영상을 생성할 수 있다.
또한, 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 소스영상에서 추가적으로 추출한 제 2 전경을 바탕영상에 합성함으로써 제 2 전경에 포함된 픽셀이 합성될 위치의 바탕영상의 픽셀을 기준으로 제 2 전경의 픽셀에 대한 색을 보정하여 보다 자연스러운 합성된 영상을 제공할 수 있다.
또한, 제 2 전경과 바탕영상 사이의 색 보정을 위해 최적의 다차원 곡면형 방정식을 계산하는 방식으로 색 보정을 위한 보정값을 계산함으로써 실시간으로 영상합성을 수행할 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일실시예에 따른 영상합성시스템의 구성도이다.
도 2는 본 발명의 일실시예에 따른 영상합성시스템의 구성을 도시한 블록도이다.
도 3은 본 발명의 일실시예에 따른 영상합성방법을 설명하기 위한 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
다만 이를 설명하기에 앞서, 아래에서 사용되는 용어들의 의미를 먼저 정의한다.
본 발명에서 ‘제 1 전경’이란 영상합성의 대상이 되는 영상으로 예를 들어 영상에 포함된 특정 사물 또는 사용자가 선택한 영역 등의 객체를 포함하는 영상일 수 있고, 이러한 객체영상을 포함하는 영상을 ‘소스영상’이라고 한다.
그리고 ‘바탕영상’ 이란 제 1 전경이 합성되는 목적지 영상으로 바탕영상은 소스영상과 같은 영상이거나 다른 영상일 수 있다.
‘제 2 전경’ 이란 제 1 전경 및 제 1 전경이 포함된 소스영상의 배경과 구분되는 영역으로써 예를 들어 돌고래가 물표면을 치고 올라올 때의 물보라, 굴뚝에서 나오는 연기 등 사용자가 영상합성을 위해 선택한 객체와 배경과의 경계부분의 영역을 말한다.
‘마스크’란 사용자가 선택한 제 1 전경 또는 배경 등과 같이 특정영역의 값을 추출하기 위한 필터로 바이너리 값 즉, 0 또는 1 의 값을 갖는 픽셀로 구성된다.
그리고 제 1 전경에 대한 마스크를 ‘전경마스크’라고 하고, 배경에 대한 마스크를 ‘배경마스크’라고 한다.
‘이미지 지오데식 거리 변환’이란 입력이미지 및 마스크 이미지가 주어졌을 때 입력이미지의 각 픽셀로부터 마스크까지 도달할 수 있는 최단 지오데식 거리를 계산한 것으로 이를 이용하면 각각의 픽셀이 마스크로부터 얼마나 멀리 떨어져 있는지 알 수 있다.
도 1은 본 발명의 일실시예에 따른 영상합성시스템(100)을 설명하기 위한 구성도이다.
영상합성시스템(100)의 구성들이 통신하기 위한 네트워크(N)는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 부가가치 통신망(Value Added Network; VAN), 개인 근거리 무선통신(Personal Area Network; PAN), 이동 통신망(mobile radio communication network), Wibro(Wireless Broadband Internet), Mobile WiMAX, HSDPA(High Speed Downlink Packet Access) 또는 위성 통신망 등과 같은 모든 종류의 유/무선 네트워크로 구현될 수 있다.
사용자단말(10)은 네트워크(N)를 통해 원격지의 서버에 접속하거나, 타 단말 및 서버와 연결 가능한 컴퓨터나 휴대용 단말기, 텔레비전, 웨어러블 디바이스(Wearable Device) 등으로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop) 등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), GSM(Global System for Mobile communications), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet), 스마트폰(Smart Phone), 모바일 WiMAX(Mobile Worldwide Interoperability for Microwave Access) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다. 또한, 텔레비전은 IPTV(Internet Protocol Television), 인터넷 TV(Internet Television), 지상파 TV, 케이블 TV 등을 포함할 수 있다. 나아가 웨어러블 디바이스는 예를 들어, 시계, 안경, 액세서리, 의복, 신발 등 인체에 직접 착용 가능한 타입의 정보처리장치로서, 직접 또는 다른 정보처리장치를 통해 네트워크를 경유하여 원격지의 서버에 접속하거나 타 단말과 연결될 수 있다.
이러한 사용자단말(10)은 네트워크(N)를 통해 사용자에게 영상합성을 위한 사용자인터페이스를 제공하는 클라이언트를 내려받을 수 있고, 내려받은 클라이언트가 설치될 수 있다.
그리고 사용자단말(10)에 설치된 클라이언트를 통해 네트워크(N)로부터 소스영상을 수신할 수 있고, 수신된 소스영상에서 특정영역을 제 1 전경으로써 선택할 수 있으며, 선택된 제 1 전경에 대한 영역의 정보를 후술할 영상합성서버(20)로 전송할 수 있다.
한편, 영상합성서버(20)는 네트워크(N)를 통해 통신할 수 있는 범용 컴퓨터로 구현될 수 있으며, 일정한 정보를 저장하기 위한 저장매체가 포함되거나 서드파티에 의해 운영되는 제 3 의 서버를 이용하여 정보를 저장할 수 있다.
그리고 영상합성서버(20)는 사용자단말(10)로 클라이언트를 직접 제공하거나 제 3 의 서버를 통하여 사용자단말(10)이 클라이언트를 내려받을 수 있도록 URL 정보를 포함하는 메시지를 제공할 수 있다.
영상합성서버(20)는 사용자에 의해 선택된 제 1 전경과 배경을 기초로 이미지 지오데식 거리 변환을 이용하여 제 2 전경 영역을 결정할 수 있으며, 소스영상과 바탕영상 사이의 색 차이를 보정할 수 있다.
그리고 영상합성서버(20)는 사용자로부터 선택받은 바탕영상에 제 1 전경과 제 2전경을 합성할 수 있다.
한편, 영상합성시스템(100)이 수행하는 영상합성을 위해 수행되는 기능 중 일부 또는 전부는 실시예에 따라 사용자단말(10)에서 수행되거나 또는 영상합성서버(20)에서 수행될 수 있다.
이하에서는 영상합성시스템(100)을 설명하기 위해 도 2 를 참조하여 영상합성시스템(100)의 각 구성을 설명한다.
우선 영상합성시스템(100)의 영상저장부(210)는 영상합성의 대상이 되는 소스영상과 바탕영상을 저장할 수 있거나 또는 제 3 의 서버에 저장되어 있는 영상을 수신할 수 있다.
그리고 영상저장부(210)는 사용자의 요청에 따라 저장된 영상 중 적어도 하나를 사용자에게 제공할 수 있다.
제 1 전경부(220)는 영상 합성의 대상이 되는 객체를 포함하는 소스영상에서 일정한 영역을 제 1 전경으로써 사용자로부터 선택받을 수 있다.
즉, 제 1 전경부(220)는 사용자로부터 영상저장부(210)가 제공한 소스영상 중 특정 영역을 선택받을 수 있고, 선택된 영역을 제 1 전경으로 결정할 수 있다.
예를 들어, 제 1 전경부(220)는 사용자에게 제공된 사용자인터페이스를 통해 소스영상에 포함된 각 프레임마다 사용자로부터 특정 영역을 제 1 전경으로써 사용자로부터 선택받을 수 있다.
또는 예를 들어, 제 1 전경부(220)는 사용자로부터 하나의 프레임의 특정 영역을 제 1 전경으로써 선택받을 수 있고, 소스영상에 포함된 다른 프레임에서 선택된 제 1 전경과 동일한 픽셀값을 갖는 영역을 추적하여 제 1 전경으로 결정할 수 있다.
그리고 실시예에 따라 제 1 전경부(220)는 제 1 전경을 제외한 나머지 영역 중 픽셀값의 변화량이 일정한 값 이하인 픽셀들의 영역을 배경으로 결정할 수 있거나 또는 사용자로부터 배경을 선택받을 수 있다.
예를 들어, 제 1 전경부(220)는 소스영상에 포함된 각 프레임마다 제 1 전경을 제외한 나머지 영역의 픽셀에 대해 각 프레임 사이에서의 픽셀값의 변화량을 계산할 수 있고, 픽셀값의 변화량이 일정한 값 이하인 영역을 배경으로 결정할 수 있다.
그리고 유사판단부(230)는 제 1 전경 및 소스영상 중 제 1 전경과 구분되는 배경과 소스영상에 포함된 각 픽셀의 유사도를 계산할 수 있다.
이러한 유사도의 계산을 위해 유사판단부(230)는 이미지 지오데식 거리 변환을 이용할 수 있다.
즉, 유사도판단부(230)는 영상에서 두 픽셀의 위치를 프레임의 변화를 나타내는 시간축과 2차원인 각 프레임에서의 X, Y 축으로 나타낼 수 있고, 이를 기초로 3차원 상의 곡면에 있는 두 지점의 거리를 구하는 지오데식 거리 변환을 이용하여 영상에서의 두 지점의 픽셀 사이의 거리를 구할 수 있다.
이를 위한 이미지 지오데식 거리 변환식은 아래와 같다.
Figure 112014122802677-pat00001
d(a,b) : 프레임 I 의 a, b지점의 지오데식 거리
Figure 112014122802677-pat00002
: a 와 b 지점 간의 모든 경로,
Figure 112014122802677-pat00003
:a 와 b 지점 간의 경로
Figure 112014122802677-pat00004
: S 매개변수로 나타낸 곡면상의 길이(
Figure 112014122802677-pat00005
)
Figure 112014122802677-pat00006
: 경로방향의 단위벡터 탄젠트
Figure 112014122802677-pat00007
: 프레임 변화도
Figure 112014122802677-pat00008
에 대한 가중치
이러한 두 개의 픽셀 사이의 지오데식 거리를 이용하여, 유사판단부(230)는 소스영상에 포함된 각 픽셀으로부터 제 1 전경과 배경 각각에 대한 거리를 계산할 수 있다.
이때, 유사판단부(230)는 낮은 복잡도로 영상에 포함된 픽셀과 특정 영역 사이의 지오데식 거리를 구하기 위해 바이너리 값을 갖는 마스크를 이용할 수 있다.
이를 수식으로 나타내면, 아래와 같다.
Figure 112014122802677-pat00009
M: 마스크
Figure 112014122802677-pat00010
: 마스크의 각 픽셀로부터 영상 내의 픽셀인 X 사이의 최소 지오데식 거리
즉, 유사판단부(230)는 제 1 전경과 배경 각각의 경계로부터 소스영상의 각 픽셀 사이의 지오데식 거리를 구하는데 제 1 전경과 배경 각각에 대한 전경마스크와 배경마스크를 이용할 수 있다.
이때 전경마스크(
Figure 112014122802677-pat00011
)와 배경마스크(
Figure 112014122802677-pat00012
)는 아래와 같다.
Figure 112014122802677-pat00013
Figure 112014122802677-pat00014
: 제 1 전경에 포함된 픽셀,
Figure 112014122802677-pat00015
: 배경에 포함된 픽셀
그리고 유사판단부(230)는 소스영상의 각 픽셀을 기준으로 전경마스크의 경계와 배경마스크의 경계로부터의 지오데식 거리를 각각 계산할 수 있다.
이를 기호로 표시하면 아래와 같다.
Figure 112014122802677-pat00016
:X 픽셀로부터 제 1 전경의 경계까지 지오데식 거리
Figure 112014122802677-pat00017
:X 픽셀로부터 배경의 경계까지 지오데식 거리
이후, 제 2 전경부(240)는 소스영상에서 제 1 전경 및 배경 각각에 포함된 픽셀을 제외한 나머지 픽셀을 포함하는 제 2 전경을 결정할 수 있다.
실시예에 따라 제 2 전경부(240)는 유사판단부(230)에서 소스영상의 각 픽셀로부터 제 1 전경과 배경까지의 지오데식 거리에 기초하여, X 픽셀로부터 제 1 전경까지의 지오데식 거리와 배경까지의 지오데식 거리의 차이를 이용하여, 지오데식 거리의 차이가 일정한 값 이하인 픽셀에 대한 영역을 제 2 전경으로 결정할 수 있다.
그리고 색보정부(250)는 소스영상의 픽셀값과 소스영상의 각 픽셀의 위치에 대응되는 바탕영상의 픽셀값의 차이를 이용하여, 상기 소스영상에 포함되는 픽셀값을 보정함으로써 소스영상과 바탕영상 사이의 색 차이를 보정할 수 있다.
이를 위해 기존에 푸아송 방정식(Poisson equation)을 이용하여 색 보정을 수행하였으나, 본원발명의 색보정부(250)는 유연한 경계를 갖는 제 1 전경과 제 2 전경을 이용함으로써 푸아송 방정식을 이용하지 않을 수 있다.
즉, 색보정부(250)는 제 2 전경과 바탕영상 사이의 색 차이를 최소화할 수 있는 보정 값을 계산할 수 있고, 보정 값을 소스영상에 반영함으로써 제 2 전경에 포함된 픽셀의 색을 보정할 수 있다.
이때, 프레임에 포함된 각 픽셀의 값은
Figure 112014122802677-pat00018
와 같이 R, G, B 값으로 분리되어 나타낼 수 있다.
상술한 바와 같이 색보정부(250)가 수행하는 색 보정을 위한 수식은 아래와 같다.
Figure 112014122802677-pat00019
(보정식)
Figure 112014122802677-pat00020
: 바탕영상의 픽셀
Figure 112014122802677-pat00021
: 영상합성에 따라
Figure 112014122802677-pat00022
에 겹치는 소스영상의 픽셀
Figure 112014122802677-pat00023
: 보정값
즉, 색 보정은 소스영상 픽셀에
Figure 112014122802677-pat00024
를 더함으로써 수행될 수 있고,
Figure 112014122802677-pat00025
는 좌표에 대한 다항 함수로 나타낼 수 있다.
Figure 112014122802677-pat00026
를 n차 함수로 가정하면, 아래와 같이 나타낼 수 있다.
Figure 112014122802677-pat00027
이러한
Figure 112014122802677-pat00028
의 값은 아래와 같은 오차함수(Error function)의 값을 최소화하는
Figure 112014122802677-pat00029
를 구함으로써 얻을 수 있다.
Figure 112014122802677-pat00030
(오차함수)
Figure 112014122802677-pat00031
: 소스영상의 좌표(x,y)인 픽셀이 제 2 전경에 속할 확률을 이용한 제 2 전경가중치
이때, 오차함수에 포함된
Figure 112014122802677-pat00032
를 2차 함수로 가정하면, 오차함수는 다음과 같이 풀이될 수 있다.
Figure 112014122802677-pat00033
상기 함수는 픽셀값 중 R에 대한 풀이를 나타낸 것으로 이를 다시 풀면 아래와 같다.
Figure 112014122802677-pat00034
Figure 112014122802677-pat00035
이를 다시 정리하면, 아래와 같다.
Figure 112014122802677-pat00036
따라서 P(x,y) 를 n차 함수로 가정하게 되면 위 행렬은 (n+1)(n+2)/2 차원의 행렬이 된다.
이를 0차원 계수를 먼저 계산하고 그 나머지에 대해 1차원 계수를 계산하는 방식으로 반복적인 최적화를 수행하면, 오차함수는 아래와 같이 점화식으로 표현될 수 있다.
Figure 112014122802677-pat00037
이를 다시 정리하면 아래와 같다.
Figure 112014122802677-pat00038
이를 이용하여 0 차원에서부터 재귀적으로 계산하면, n+1번의 최적화를 통해 n차 다항함수를 계산할 수 있고, 이를 통해 n차 다항함수인 보정값 P(x,y)의 값을 계산할 수 있다.
이와 같은 방법은 색보정부(250)는 소스영상에 포함된 픽셀의 색을 보정하기 위한 보정값을 계산할 수 있고, 소스영상의 픽셀에 대해 색 보정을 할 수 있다.
그리고 영상합성부(260)는 제 1 전경이 합성되는 영상인 바탕영상에 제 1 전경 및 제 2 전경을 합성할 수 있다.
이를 위해, 영상합성부(260)는 유사판단부(230)에 의해 계산된 각 픽셀의 지오데식 거리에 기초하여 각 픽셀이 제 1 전경, 제 2 전경, 배경에 속하는 확률을 계산할 수 있다.
Figure 112014122802677-pat00039
Figure 112014122802677-pat00040
Figure 112014122802677-pat00041
여기서
Figure 112014122802677-pat00042
는 제 1 전경, 제 2 전경 그리고 배경의 영역을 나누는 경계의 명확성을 제어할 수 있는 파라미터이고,
Figure 112014122802677-pat00043
는 제 2 전경의 범위 확장을 결정하는 파라미터이다.
이와 같은 식에 따르면 픽셀 x에 대한 제 1 전경의 경계와의 지오데식 거리와 배경의 경계와의 지오데식 거리 차이가 작을수록 픽셀 x가 제 2 전경에 속할 확률은 높아지는 반면, 제 1 전경 또는 배경에 속할 확률은 줄어드는 것을 알 수 있다.
이후, 영상합성부(260)는 상술된 바와 같이 픽셀 x가 제 1 전경, 제 2 전경 또는 배경 각각에 속할 확률을 기초로 제 1 전경, 제2 전경 또는 배경에 대한 가중치를 계산할 수 있고, 이에 대한 수식은 아래와 같다.
Figure 112014122802677-pat00044
이때,
Figure 112014122802677-pat00045
이다.
그리고 영상합성부(260)는 계산된 제 1 전경, 제 2 전경 및 배경에 대한 가중치를 이용하여 아래 식에 따라 프레임별로 소스영상의 제 1 전경 및 제 2 전경을 바탕영상에 합성할 수 있다.
Figure 112014122802677-pat00046
Figure 112014122802677-pat00047
: 합성된 프레임,
Figure 112014122802677-pat00048
: 소스영상에 포함된 프레임
Figure 112014122802677-pat00049
: 바탕영상에 포함된 프레임,
Figure 112014122802677-pat00050
: 색이 보정된
Figure 112014122802677-pat00051
위 식에서 보는 바와 같이 영상합성부(260)는 제 1 전경, 제 2 전경 및 배경에 대한 가중치를 이용하여, 소스영상에서 제 1 전경과 색이 보정된 제 2 전경에 대한 픽셀값을 각각 추출할 수 있고, 배경에 대한 가중치를 이용하여 바탕영상으로부터 합성된 영상의 배경이 될 픽셀을 추출하여 하나의 영상으로 합성할 수 있다.
이때 영상합성부(260)는 제 2 전경과 바탕영상을 합성할 때에 투명도 값인 알파값을 선형보간의 가중치로 이용할 수 있으며, 제 2 전경과 바탕영상의 알파값을 조절함으로써 제 2 전경과 바탕영상 각각의 픽셀값의 반영도를 결정할 수 있다.
이를 통해 제 2 전경과 바탕영상이 합성되는 경계부분을 자연스럽게 표현할 수 있다.
한편, 소스영상과 바탕영상의 밝기가 상이하여 제 1 전경의 색이 적절하지 않은 경우, 영상합성부(260)는 색보정부(250)에 의해 색 보정된 소스영상과 색 보정되지 않은 소스영상 각각에 포함된 픽셀을 일정비율로 반영한 새로운 소스영상을 생성할 수 있다.
즉, 영상합성부(260)는 아래 식에 따라 밝기가 조절된 소스영상을 새롭게 생성할 수 있다.
Figure 112014122802677-pat00052
Figure 112014122802677-pat00053
: 사용자에 의해 제공된 반영비율
다시 말해, 영상합성부(260)는 바탕영상에 기초하여 색 보정을 수행한 소스영상과 색 보정이 되지 않은 소스영상을 선형보간법을 이용하여 밝기가 조절된 소스영상을 생성할 수 있다.
도 3 에 도시된 실시예에 따른 영상합성방법은 도 2 에 도시된 영상합성시스템(100)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하에서 생략된 내용이라고 하더라도 도 2 에 도시된 영상합성시스템(100)에 관하여 이상에서 기술한 내용은 도 3에 도시된 실시예에 따른 영상합성방법에도 적용될 수 있다.
우선, 영상합성시스템(100)은 사용자에게 영상합성을 위한 소스영상 또는 바탕영상으로써 적어도 하나 이상의 영상을 제공할 수 있다(S3000).
실시예에 따라 영상합성시스템(100)은 영상합성시스템(100)에 저장된 영상을 사용자에게 제공하거나 또는 제 3 의 서버에 저장되어 있는 영상을 수신하여 사용자에게 제공할 수 있다.
그리고 영상합성시스템(100)은 영상합성의 대상이 되는 객체를 포함하는 소스영상에서 사용자로부터 일정한 영역을 제 1 전경으로써 사용자가 일부 또는 전부를 선택하는지 여부를 감시할 수 있고, 사용자가 선택한 영역을 제 1 전경으로써 결정할 수 있다(S3001).
이때 영상합성시스템(100)은 사용자가 선택한 소스영상에 포함된 제 1 전경의 배경을 결정할 수 있다.
예를 들어, 영상합성시스템(100)은 사용자에게 제 1 전경을 제외한 영역에 대해 배경의 선택을 요청할 수 있고, 사용자로부터 배경을 선택받을 수 있다.
또는 예를 들어, 영상합성시스템(100)은 제 1 전경을 제외한 나머지 영역 중 프레임 사이에 픽셀 값이 변화하지 않은 픽셀을 포함하는 영역을 배경으로 선택할 수 있다.
이후, 영상합성시스템(100)은 소스영상에서 제 1 전경과 배경 각각에 포함된 픽셀을 제외한 나머지 픽셀을 포함하는 제 2 전경을 결정할 수 있다(S3002).
이를 위해 영상합성시스템(100)은 소스영상에 포함된 각 픽셀에 대해 제 1 전경과 배경까지의 최소의 지오데식 거리를 계산할 수 있다.
이때 복잡도를 낮추고 명확한 제 2 전경을 결정하기 위해, 영상합성시스템(100)은 제 1 전경 및 배경과 동일한 영역을 갖고, 픽셀 값이 0 또는 1 로 구성되는 마스크를 이용할 수 있다.
예를 들어, 영상합성시스템(100)은 제 1 전경에 해당되는 영역의 픽셀값이 0이고 그 외의 영역이 1 값을 갖는 마스크인 전경마스크를 이용하여 소스영상의 각 픽셀과 전경마스크의 경계 사이의 지오데식 거리를 계산할 수 있다.
또한 예를 들어, 영상합성시스템(100)은 배경에 해당되는 영역의 픽셀값이 0 이고 그 외의 영역이 1 값을 갖는 마스크인 배경마스크를 이용하여, 소스영상의 각 픽셀과 배경마스크의 경계 사이의 지오데식 거리를 계산할 수 있다.
이후, 영상합성시스템(100)은 소스영상의 각 픽셀에 대해 제 1 전경 및 배경까지의 지오데식 거리를 기초로 제 2 전경을 결정할 수 있다(S3003).
즉, 영상합성시스템(100)은 소스영상의 각 픽셀에 대해 제 1 전경까지의 지오데식 거리와 배경까지의 지오데식 거리의 차이가 일정한 값 이하인 경우, 해당 픽셀은 제 2 전경에 해당되는 픽셀로 결정할 수 있다.
그리고 영상합성시스템(100)은 소스영상의 픽셀값과 소스영상의 각 픽셀의 위치에 대응되는 바탕영상의 픽셀값의 차이를 이용하여, 소스영상에 포함되는 픽셀값을 보정할 수 있다(S3004).
즉, 영상합성시스템(100)은 바탕영상에 합성될 제 2 전경과 제 2 전경이 합성될 위치의 바탕영상의 픽셀 사이의 색 보정을 수행함으로써, 합성된 제 2 전경과 바탕영상이 분리되어 보이지 않고 자연스럽게 보이도록 할 수 있다.
이후, 영상합성시스템(100)은 제 1 전경과 색이 보정된 제 2 전경 그리고 바탕영상을 합성할 수 있다(S3005).
즉, 영상합성시스템(100)은 제 1전경과 바탕뿐만 아니라 S3004 단계에서 색 보정된 제 2 전경을 추가적으로 영상합성에 고려할 수 있고, 제 2 전경과 바탕영상 합성시 픽셀의 알파값을 이용하여, 제 2 전경과 바탕영상 사이의 픽셀값의 반영비율을 조절할 수 있다.
한편, 영상합성시스템(100)은 실시예에 따라 소스영상과 바탕영상의 밝기가 상이하여 제 1 전경의 색이 적절하지 않는 경우, S3004 단계에 따라 색 보정된 소스영상과 색 보정되지 않은 소스영상 각각에 포함된 픽셀을 일정비율로 반영한 새로운 소스영상을 생성할 수 있다.
도 3 을 통해 설명된 실시예에 따른 영상합성방법은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
또한 본 발명의 일실시예에 따르는 영상합성방법은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램(또는 컴퓨터 프로그램 제품)으로 구현될 수도 있다. 컴퓨터 프로그램은 프로세서에 의해 처리되는 프로그래밍 가능한 기계 명령어를 포함하고, 고레벨 프로그래밍 언어(High-level Programming Language), 객체 지향 프로그래밍 언어(Object-oriented Programming Language), 어셈블리 언어 또는 기계 언어 등으로 구현될 수 있다. 또한 컴퓨터 프로그램은 유형의 컴퓨터 판독가능 기록매체(예를 들어, 메모리, 하드디스크, 자기/광학 매체 또는 SSD(Solid-State Drive) 등)에 기록될 수 있다.
따라서 본 발명의 일실시예에 따르는 영상합성방법은 상술한 바와 같은 컴퓨터 프로그램이 컴퓨팅 장치에 의해 실행됨으로써 구현될 수 있다. 컴퓨팅 장치는 프로세서와, 메모리와, 저장 장치와, 메모리 및 고속 확장포트에 접속하고 있는 고속 인터페이스와, 저속 버스와 저장 장치에 접속하고 있는 저속 인터페이스 중 적어도 일부를 포함할 수 있다. 이러한 성분들 각각은 다양한 버스를 이용하여 서로 접속되어 있으며, 공통 머더보드에 탑재되거나 다른 적절한 방식으로 장착될 수 있다.
여기서 프로세서는 컴퓨팅 장치 내에서 명령어를 처리할 수 있는데, 이런 명령어로는, 예컨대 고속 인터페이스에 접속된 디스플레이처럼 외부 입력, 출력 장치상에 GUI(Graphic User Interface)를 제공하기 위한 그래픽 정보를 표시하기 위해 메모리나 저장 장치에 저장된 명령어를 들 수 있다. 다른 실시예로서, 다수의 프로세서 및(또는) 다수의 버스가 적절히 다수의 메모리 및 메모리 형태와 함께 이용될 수 있다. 또한 프로세서는 독립적인 다수의 아날로그 및(또는) 디지털 프로세서를 포함하는 칩들이 이루는 칩셋으로 구현될 수 있다.
또한 메모리는 컴퓨팅 장치 내에서 정보를 저장한다. 일례로, 메모리는 휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 다른 예로, 메모리는 비휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 또한 메모리는 예컨대, 자기 혹은 광 디스크와 같이 다른 형태의 컴퓨터 판독 가능한 매체일 수도 있다.
그리고 저장장치는 컴퓨팅 장치에게 대용량의 저장공간을 제공할 수 있다. 저장 장치는 컴퓨터 판독 가능한 매체이거나 이런 매체를 포함하는 구성일 수 있으며, 예를 들어 SAN(Storage Area Network) 내의 장치들이나 다른 구성도 포함할 수 있고, 플로피 디스크 장치, 하드 디스크 장치, 광 디스크 장치, 혹은 테이프 장치, 플래시 메모리, 그와 유사한 다른 반도체 메모리 장치 혹은 장치 어레이일 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 영상합성시스템.
N : 네트워크
10: 사용자단말
20: 영상합성서버
210: 영상저장부 240: 제 2 전경부
220: 제 1 전경부 250: 색보정부
230: 유사판단부 260: 영상합성부

Claims (18)

  1. 영상 합성을 위한 방법을 제공하는 영상합성 시스템에 있어서,
    상기 영상 합성의 대상이 되는 객체를 포함하는 소스영상에서 일정한 영역을 제 1 전경으로써 사용자로부터 선택받는 제 1 전경부;
    상기 제 1 전경 및 상기 소스영상 중 상기 제 1 전경과 구분되는 배경과 상기 소스영상에 포함된 각 픽셀의 유사도를 계산하는 유사판단부;
    상기 유사판단부에서 계산된 유사도에 기초하여, 상기 소스영상에서 상기 제 1 전경 및 상기 배경 각각에 포함된 픽셀을 제외한 나머지 픽셀을 포함하는 제 2전경을 결정하는 제 2 전경부; 및
    상기 제 1 전경이 합성되는 영상인 바탕영상에 상기 제 1 전경 및 상기 제 2 전경을 합성하는 영상합성부를 포함하고,
    상기 유사판단부는,
    상기 제 1 전경에 속하는 픽셀에 대해 바이너리(binary) 값을 갖는 전경마스크를 생성하며, 상기 배경에 속하는 픽셀에 대해 바이너리 값을 갖는 배경마스크를 생성하고, 상기 전경마스크 및 상기 배경마스크 각각에 속하는 바이너리 값과 상기 소스영상에 포함된 각 픽셀 사이의 지오데식 거리를 계산함으로써 상기 픽셀의 유사도를 계산하는, 영상합성시스템.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서,
    상기 제 2 전경부는,
    상기 소스영상에 포함된 각 픽셀마다 상기 전경마스크의 경계 픽셀 및 상기 배경마스크의 경계 픽셀 각각으로부터의 지오데식 거리의 차이가 일정한 값 이하인 픽셀을 선택하고, 선택된 픽셀만을 포함하는 영역을 제 2 전경으로 결정하는, 영상합성시스템.
  5. 제 1 항에 있어서,
    상기 영상합성시스템은,
    상기 소스영상의 픽셀값과 상기 소스영상의 각 픽셀의 위치에 대응되는 상기 바탕영상의 픽셀값의 차이를 이용하여, 상기 소스영상에 포함되는 픽셀값을 보정하는 색보정부를 더 포함하는, 영상합성시스템.
  6. 제 5 항에 있어서,
    상기 색보정부는,
    상기 제 2 전경부의 각 픽셀의 위치에 대응되는 바탕영상의 픽셀값과 상기 제 2 전경부의 픽셀값의 차이, 및 오차함수(Error function)를 이용하여 상기 제 2 전경부의 픽셀값에 대한 보정값을 계산하는, 영상합성시스템.
  7. 제 6 항에 있어서,
    상기 색보정부는,
    상기 보정값에 기초하여 보정된 제 2 전경부의 픽셀값과 상기 바탕영상의 픽셀값의 차이가 최소화되도록 상기 보정된 제 2 전경부의 픽셀값과 상기 바탕영상의 픽셀값의 차이, 및 오차함수를 이용하여 상기 보정된 제 2 전경부의 픽셀값에 대한 보정값을 반복하여 계산하는, 영상합성시스템.
  8. 제 5 항에 있어서,
    상기 영상합성부는,
    상기 제 2 전경과 상기 바탕영상을 합성하는 경우, 상기 바탕영상에서 상기 제 2 전경이 합성될 위치에 대응하는 상기 바탕영상의 픽셀과 상기 색보정부에 의해 픽셀값이 보정된 제 2 전경의 픽셀의 반영비율을 나타내는 합성비에 기초하여, 상기 제 2 전경과 상기 바탕영상을 합성하는, 영상합성시스템.
  9. 제 1 항에 있어서,
    상기 영상합성시스템은,
    상기 영상 합성을 위한 소스영상 및 바탕영상 중 적어도 하나를 저장하는 영상저장부를 더 포함하는, 영상합성시스템.
  10. 영상합성 시스템이 영상 합성을 수행하기 위한 영상합성방법에 있어서,
    상기 영상 합성의 대상이 되는 객체를 포함하는 소스영상에서 사용자로부터 일정한 영역을 제 1 전경으로써 사용자로부터 선택받는 단계;
    상기 제 1 전경 및 상기 소스영상 중 상기 제 1 전경과 구분되는 배경과 상기 소스영상에 포함된 각 픽셀의 유사도를 계산하는 단계;
    계산된 유사도에 기초하여, 상기 소스영상에서 상기 제 1 전경 및 상기 배경 각각에 포함된 픽셀을 제외한 나머지 픽셀을 포함하는 제 2전경을 결정하는 단계; 및
    상기 제 1 전경이 합성되는 영상인 바탕영상에 상기 제 1 전경 및 상기 제 2 전경을 합성하는 단계를 포함하고,
    상기 유사도를 계산하는 단계는,
    상기 제 1 전경에 속하는 픽셀에 대해 바이너리(binary) 값을 갖는 전경마스크를 생성하는 단계;
    상기 배경에 속하는 픽셀에 대해 바이너리 값을 갖는 배경마스크를 생성하는 단계; 및
    상기 전경마스크 및 상기 배경마스크 각각에 속하는 바이너리 값과 상기 소스영상에 포함된 각 픽셀 사이의 지오데식 거리를 계산함으로써 상기 픽셀의 유사도를 계산하는 단계를 포함하는, 영상합성방법.
  11. 삭제
  12. 삭제
  13. 제 10 항에 있어서,
    상기 제 2 전경을 결정하는 단계는,
    상기 소스영상에 포함된 각 픽셀마다 상기 전경마스크의 경계 픽셀 및 상기 배경마스크의 경계 픽셀 각각으로부터의 지오데식 거리의 차이가 일정한 값 이하인 픽셀을 선택하는 단계; 및
    선택된 픽셀만을 포함하는 영역을 제 2 전경으로 결정하는 단계를 포함하는, 영상합성방법.
  14. 제 10 항에 있어서,
    상기 바탕영상에 상기 제 1 전경 및 상기 제 2 전경을 합성하는 단계는,
    상기 소스영상의 픽셀값과 상기 소스영상의 각 픽셀의 위치에 대응되는 상기 바탕영상의 픽셀값의 차이를 이용하여, 상기 소스영상에 포함되는 픽셀값을 보정하는 단계를 포함하는, 영상합성방법.
  15. 제 14 항에 있어서,
    상기 픽셀값을 보정하는 단계는,
    상기 제 2 전경의 각 픽셀의 위치에 대응되는 바탕영상의 픽셀값과 상기 제 2 전경의 픽셀값의 차이, 및 오차함수(Error function)를 이용하여 상기 제 2 전경의 픽셀값에 대한 보정값을 계산하는 단계를 포함하는, 영상합성방법.
  16. 제 15 항에 있어서,
    상기 보정값을 계산하는 단계는,
    상기 보정값에 기초하여 보정된 제 2 전경의 픽셀값과 상기 바탕영상의 픽셀값의 차이가 최소화되도록 상기 보정된 제 2 전경의 픽셀값과 상기 바탕영상의 픽셀값의 차이, 및 오차함수를 이용하여 상기 보정된 제 2 전경의 픽셀값에 대한 보정값을 반복하여 계산하는 단계를 포함하는, 영상합성방법.
  17. 제 14 항에 있어서,
    상기 제 1 전경 및 상기 제 2 전경을 합성하는 단계는,
    상기 제 2 전경과 상기 바탕영상을 합성하는 경우, 상기 바탕영상에서 상기 제 2 전경이 합성될 위치에 대응하는 상기 바탕영상의 픽셀과 픽셀값이 보정된 제 2 전경의 픽셀의 반영비율을 나타내는 합성비에 기초하여, 상기 제 2 전경과 상기 바탕영상을 합성하는 단계를 포함하는, 영상합성방법.
  18. 컴퓨터장치에 의해 수행되고, 제 10 항 및 제 13 항 내지 제 17 항중 어느 한 항에 기재된 방법을 수행하기 위해 기록매체에 저장된 컴퓨터 프로그램.

KR1020140182562A 2014-12-17 2014-12-17 영상 합성 방법 및 시스템 KR101547862B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140182562A KR101547862B1 (ko) 2014-12-17 2014-12-17 영상 합성 방법 및 시스템
PCT/KR2015/013722 WO2016099111A1 (ko) 2014-12-17 2015-12-15 영상 합성 방법 및 시스템
US15/624,662 US10217203B2 (en) 2014-12-17 2017-06-15 Image synthesis method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140182562A KR101547862B1 (ko) 2014-12-17 2014-12-17 영상 합성 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR101547862B1 true KR101547862B1 (ko) 2015-08-31

Family

ID=54062107

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140182562A KR101547862B1 (ko) 2014-12-17 2014-12-17 영상 합성 방법 및 시스템

Country Status (3)

Country Link
US (1) US10217203B2 (ko)
KR (1) KR101547862B1 (ko)
WO (1) WO2016099111A1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011002875A (ja) 2009-06-16 2011-01-06 Nippon Telegr & Teleph Corp <Ntt> 描画支援装置，描画支援方法および描画支援プログラム
KR101224061B1 (ko) * 2011-01-28 2013-01-21 포항공과대학교 산학협력단 영상 합성 장치 및 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030164875A1 (en) * 2002-03-01 2003-09-04 Myers Kenneth J. System and method for passive three-dimensional data acquisition
KR101164747B1 (ko) * 2010-07-28 2012-07-12 광주과학기술원 이동 단말기에서 영상 합성방법
WO2012171185A1 (en) * 2011-06-15 2012-12-20 Microsoft Corporation High resolution multispectral image capture
KR20150047397A (ko) * 2013-10-24 2015-05-04 삼성전자주식회사 전면 객체 추출을 위한 영상 처리 장치 및 그것의 영상 처리 방법
GB2523329A (en) * 2014-02-20 2015-08-26 Nokia Technologies Oy Method, apparatus and computer program product for image segmentation
US9245187B1 (en) * 2014-07-07 2016-01-26 Geo Semiconductor Inc. System and method for robust motion detection
CN105719243B (zh) * 2014-12-04 2018-09-07 富士通株式会社 图像处理装置和方法
EP3115967A1 (en) * 2015-07-08 2017-01-11 Thomson Licensing A method for controlling tracking using a color model, corresponding apparatus and non-transitory program storage device
US10621729B2 (en) * 2016-06-12 2020-04-14 Apple Inc. Adaptive focus sweep techniques for foreground/background separation
US11665308B2 (en) * 2017-01-31 2023-05-30 Tetavi, Ltd. System and method for rendering free viewpoint video for sport applications

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011002875A (ja) 2009-06-16 2011-01-06 Nippon Telegr & Teleph Corp <Ntt> 描画支援装置，描画支援方法および描画支援プログラム
KR101224061B1 (ko) * 2011-01-28 2013-01-21 포항공과대학교 산학협력단 영상 합성 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
기선호, 외5, "측지거리변형 영상 분리를 이용한 영상 인식 시스템 성능 향상," 한국지능시스템학회, 2009년 제19권제1호.*

Also Published As

Publication number Publication date
WO2016099111A1 (ko) 2016-06-23
US20170309006A1 (en) 2017-10-26
US10217203B2 (en) 2019-02-26

Similar Documents

Publication Publication Date Title
CN111279673B (zh) 具有电子卷帘快门校正的图像拼接的系统和方法
US10972672B2 (en) Device having cameras with different focal lengths and a method of implementing cameras with different focal lengths
US10026160B2 (en) Systems and techniques for automatic image haze removal across multiple video frames
CN101969527B (zh) 内容感知的视频稳定
US10477220B1 (en) Object segmentation in a sequence of color image frames based on adaptive foreground mask upsampling
US10623709B2 (en) Video color propagation
US9361537B2 (en) Techniques to reduce color artifacts in a digital image
JP2017537403A (ja) 超解像画像を生成するための方法、装置およびコンピュータ・プログラム・プロダクト
US20210240257A1 (en) Hiding latency in wireless virtual and augmented reality systems
JP7100306B2 (ja) ユーザ指定初期化点に基づくオブジェクトトラッキング
US20160112638A1 (en) Video stabilization using padded margin pixels
US11954789B2 (en) System and method for sparse distributed rendering
KR20150129897A (ko) 이미지 패치를 이용한 해상도 스케일링 장치 및 그 방법
KR101547862B1 (ko) 영상 합성 방법 및 시스템
US10983746B2 (en) Generating display data
US20230298148A1 (en) Harmonizing composite images utilizing a transformer neural network
EP4216548A1 (en) Method and system for transmitting satellite image data via a data network
KR101932487B1 (ko) 방송 영상과 카메라로부터 수신한 객체의 영상을 합성하는 방법, 셋톱 박스 및 시스템
US20230222677A1 (en) Sequence stabalization of 3d point cloud frames using motion information
US20240161240A1 (en) Harmonizing composite images utilizing a semantic-guided transformer neural network
US20240127529A1 (en) Generation of reflectance maps for relightable 3d models
KR101551917B1 (ko) 영상 합성 장치 및 방법
KR20170026673A (ko) 게임 제공 장치 및 방법
JP2011248475A (ja) 画像処理装置、画像処理方法
KR20240065212A (ko) 낮은 동적 범위 호환성을 갖는 높은 동적 범위 이미지 포맷

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180820

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190821

Year of fee payment: 5