KR100987412B1 - 멀티프레임을 고려한 비디오 오브젝트 매팅 시스템 및 방법 - Google Patents
멀티프레임을 고려한 비디오 오브젝트 매팅 시스템 및 방법 Download PDFInfo
- Publication number
- KR100987412B1 KR100987412B1 KR1020090003507A KR20090003507A KR100987412B1 KR 100987412 B1 KR100987412 B1 KR 100987412B1 KR 1020090003507 A KR1020090003507 A KR 1020090003507A KR 20090003507 A KR20090003507 A KR 20090003507A KR 100987412 B1 KR100987412 B1 KR 100987412B1
- Authority
- KR
- South Korea
- Prior art keywords
- pixels
- alpha
- value
- trimap
- pixel
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
- H04N5/275—Generation of keying signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Circuits (AREA)
Abstract
Description
Claims (23)
- 적어도 2 이상의 이미지프레임에 대하여 상기 이미지프레임을 전경, 배경 및 미지영역으로 구분하는 트라이맵(trimap) 생성단계;상기 적어도 2 이상의 이미지프레임 중 특정 이미지프레임 픽셀들의 알파값을 결정하기 위해, 상기 특정 이미지프레임 및 상기 특정 이미지프레임의 전후이미지프레임으로부터 복수의 샘플링 픽셀을 선택하여 알파값을 결정하고 알파맵을 생성하는 알파맵 생성단계; 및상기 알파맵의 알파값들을 보정하는 알파맵 보정단계를 포함하는 것을 특징으로 하는 비디오 오브젝트 매팅 방법.
- 제1항에 있어서, 상기 알파맵 보정단계는,상기 특정 이미지프레임 및 상기 특정 이미지프레임의 전후이미지프레임 내에 속하는 픽셀들 간의 엣지(edge)에 대하여 제1가중치를 계산하고 이를 이용하여 상기 알파맵 알파값들을 시간축으로도 보정하는 것을 특징으로 하는 비디오 오브젝트 매팅 방법.
- 제2항에 있어서,상기 알파맵 보정단계는 상기 픽셀들과 전경 또는 배경 가상노드 간의 엣지에 대한 제2가중치를 더 계산하고 이를 이용하여 알파맵의 알파값들을 보정하는 것을 특징으로 하는 비디오 오브젝트 매팅 방법.
- 제3항에 있어서,상기 제1가중치는 상기 픽셀들의 옵티컬 플로우(optical flow)를 이용하여 계산된 플로우 디스턴스를 더 고려하여 계산하는 것을 특징으로 하는 비디오 오브젝트 매팅 방법.
- 제1항에 있어서, 상기 이미지프레임은,키프레임의 트라이맵과 옵티컬 플로우를 고려하여 상기 미지영역을 구분하는 것을 특징으로 하는 비디오 오브젝트 매팅 방법.
- 제1항에 있어서,트라이맵 생성단계 후, 영상 세그멘테이션을 사용하여 트라이맵을 보정하는 트라이맵 보정단계를 더 포함하는 것을 특징으로 하는 비디오 오브젝트 매팅 방법.
- 제1항에 있어서, 알파값의 결정은,상기 복수의 샘플링 픽셀로부터 복수의 알파값과 신뢰도값을 구하고, 상기 신뢰도값에 기반하여 최적의 알파값을 결정하는 것을 특징으로 하는 비디오 오브젝트 매팅 방법.
- 복수의 이미지프레임으로 구성된 비디오 오브젝트를 매팅하는 방법에 있어서,매팅하려는 이미지프레임 내에 속하는 픽셀과 이웃픽셀 및 상기 이미지프레임에 인접하는 적어도 하나 이상의 전후이미지프레임 내에 속하는 이웃픽셀간에 형성되는 엣지들의 제1가중치를 결정하는 가중치 결정 단계; 및상기 가중치 결정 단계의 결과값을 사용하여 상기 픽셀의 알파값을 계산하며 전경 오브젝트를 추출하기 위한 알파맵 생성 단계를 포함하는 것을 특징으로 하는 비디오 오브젝트 매팅 방법.
- 제 11항에 있어서, 상기 가중치 결정 단계는,매팅하려는 이미지프레임 내에 속하는 픽셀 또는 이웃픽셀과 전경 또는 배경의 가상노드 간에 형성되는 모든 엣지들의 제2가중치를 결정하는 단계를 더 포함하는 것을 특징으로 하는 비디오 오브젝트 매팅 방법.
- 제 12항에 있어서,적어도 2 이상의 이미지프레임 간의 옵티컬 플로우(optical flow)를 계산하 고 이를 이용하여 플로우 디스턴스(flow distance)를 계산하는 단계;를 더 포함하고,상기 제1가중치는, 상기 플로우 디스턴스를 고려하여 결정하는 것을 특징으로 하는 비디오 오브젝트 매팅 방법.
- 제1항 내지 제14항 중 어느 한 항의 방법을 실행하기 위한 컴퓨팅 장치를 포함하는 것을 특징으로 하는 비디오 오브젝트 매팅 시스템.
- 제1항 내지 제14항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록매체.
- 사용자로부터 입력받은 키프레임의 트라이맵을 저장하고 비디오 데이터를 이미지프레임별로 저장하는 메모리;상기 키프레임의 트라이맵을 이용하여 메모리에 저장된 다른 이미지프레임들의 트라이맵을 생성하는 트라이맵 생성부;상기 키프레임의 트라이맵 또는 상기 생성된 트라이맵에 포함된 특정 영역의 픽셀들에 대하여, 각 픽셀의 전후이미지프레임 중 적어도 하나 이상의 프레임과 상기 특정 영역의 픽셀이 포함된 이미지프레임으로부터 복수의 픽셀을 샘플링하고, 상기 선택된 샘플링 픽셀을 이용하여 상기 특정 픽셀의 알파값을 결정하고 알파맵을 생성하는 알파맵 생성부;상기 특정 픽셀들에 대하여 각 픽셀의 알파값을 보정하는 알파맵 보정부; 및추출이 이루어진 영상에 대해 다른 배경에 합성하는 것을 제어하는 제어부를 포함하는 것을 특징으로 하는 비디오 오브젝트 매팅 시스템.
- 제17항에 있어서, 상기 알파맵 보정부는,상기 특정 픽셀 및 특정 픽셀의 이웃픽셀들 간의 엣지에 대한 제1가중치를 계산하여 상기 알파값을 시간축으로도 보정하는 것을 특징으로 하는 비디오 오브젝트 매팅 시스템.
- 제18항에 있어서, 상기 알파맵 보정부는,적어도 2 이상의 가상 노드와의 엣지에 대한 제2가중치를 더 계산하여 상기 알파값을 보정하는 것을 특징으로 하는 비디오 오브젝트 매팅 시스템.
- 제19항에 있어서, 상기 제1가중치는,픽셀들의 옵티컬 플로우(optical flow)를 이용하여 계산된 플로우 디스턴스(flow distance)를 고려하여 계산하는 것을 특징으로 하는 비디오 오브젝트 매팅 시스템.
- 제17항에 있어서, 상기 다른 이미지프레임들의 트라이맵은,키프레임 트라이맵과 옵티컬 플로우를 고려하여 생성하는 것을 특징으로 하는 비디오 오브젝트 매팅 시스템.
- 제17항에 있어서, 상기 트라이맵 생성부는,영상 세그멘테이션을 사용하여 상기 키프레임의 트라이맵과 상기 생성된 트라이맵을 보정하는 것을 특징으로 하는 비디오 오브젝트 매팅 시스템.
- 제17항에 있어서, 상기 알파값의 결정은,상기 샘플링된 복수의 픽셀로부터 복수의 알파값과 신뢰도값을 구하고, 상기 신뢰도값에 기반하여 최적의 알파값을 결정하는 것을 특징으로 하는 비디오 오브젝트 매팅 시스템.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090003507A KR100987412B1 (ko) | 2009-01-15 | 2009-01-15 | 멀티프레임을 고려한 비디오 오브젝트 매팅 시스템 및 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090003507A KR100987412B1 (ko) | 2009-01-15 | 2009-01-15 | 멀티프레임을 고려한 비디오 오브젝트 매팅 시스템 및 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20100084075A KR20100084075A (ko) | 2010-07-23 |
KR100987412B1 true KR100987412B1 (ko) | 2010-10-12 |
Family
ID=42643608
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020090003507A KR100987412B1 (ko) | 2009-01-15 | 2009-01-15 | 멀티프레임을 고려한 비디오 오브젝트 매팅 시스템 및 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100987412B1 (ko) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012125203A2 (en) * | 2011-03-14 | 2012-09-20 | Intel Corporation | Isolating background and foreground objects in video |
KR101259705B1 (ko) * | 2011-05-04 | 2013-05-06 | 한국과학기술원 | 이미지 윤곽 처리 방법 및 장치 |
KR101561083B1 (ko) | 2014-01-24 | 2015-10-26 | 에스케이플래닛 주식회사 | 가상간접 광고 삽입을 위한 경계값 산출 장치 및 방법 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101437898B1 (ko) * | 2012-12-05 | 2014-09-15 | 중앙대학교 산학협력단 | 단일 영상을 이용한 hdr 영상 생성 장치 및 방법 |
CN105284122B (zh) | 2014-01-24 | 2018-12-04 | Sk 普兰尼特有限公司 | 用于通过使用帧聚类来插入广告的装置和方法 |
KR102115328B1 (ko) * | 2015-06-15 | 2020-05-26 | 한국전자통신연구원 | 전역 대조도 기반 영상 매팅을 통한 영상 내부의 관심 객체 추출 장치 및 방법 |
US10217189B2 (en) * | 2015-09-16 | 2019-02-26 | Google Llc | General spherical capture methods |
CN109509146B (zh) * | 2017-09-15 | 2023-03-24 | 腾讯科技(深圳)有限公司 | 图像拼接方法及装置、存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003233817A (ja) * | 2002-02-08 | 2003-08-22 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
KR20060048802A (ko) * | 2004-08-09 | 2006-05-18 | 마이크로소프트 코포레이션 | 동적 프로그래밍에 의한 경계선 매팅 제공 방법 |
JP2006127530A (ja) * | 2005-10-31 | 2006-05-18 | Toshiba Corp | 動画像内オブジェクト抽出方法及び装置 |
JP2007095073A (ja) * | 2005-09-29 | 2007-04-12 | Mitsubishi Electric Research Laboratories Inc | シーンから収集される画像からアルファマットを抽出するための方法及びシステム |
-
2009
- 2009-01-15 KR KR1020090003507A patent/KR100987412B1/ko active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003233817A (ja) * | 2002-02-08 | 2003-08-22 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
KR20060048802A (ko) * | 2004-08-09 | 2006-05-18 | 마이크로소프트 코포레이션 | 동적 프로그래밍에 의한 경계선 매팅 제공 방법 |
JP2007095073A (ja) * | 2005-09-29 | 2007-04-12 | Mitsubishi Electric Research Laboratories Inc | シーンから収集される画像からアルファマットを抽出するための方法及びシステム |
JP2006127530A (ja) * | 2005-10-31 | 2006-05-18 | Toshiba Corp | 動画像内オブジェクト抽出方法及び装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012125203A2 (en) * | 2011-03-14 | 2012-09-20 | Intel Corporation | Isolating background and foreground objects in video |
WO2012125203A3 (en) * | 2011-03-14 | 2013-01-31 | Intel Corporation | Isolating background and foreground objects in video |
KR101259705B1 (ko) * | 2011-05-04 | 2013-05-06 | 한국과학기술원 | 이미지 윤곽 처리 방법 및 장치 |
KR101561083B1 (ko) | 2014-01-24 | 2015-10-26 | 에스케이플래닛 주식회사 | 가상간접 광고 삽입을 위한 경계값 산출 장치 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
KR20100084075A (ko) | 2010-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100987412B1 (ko) | 멀티프레임을 고려한 비디오 오브젝트 매팅 시스템 및 방법 | |
US11017586B2 (en) | 3D motion effect from a 2D image | |
CN107578436B (zh) | 一种基于全卷积神经网络fcn的单目图像深度估计方法 | |
CN107481261B (zh) | 一种基于深度前景跟踪的彩色视频抠图方法 | |
KR100931311B1 (ko) | 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그방법 | |
Valgaerts et al. | Lightweight binocular facial performance capture under uncontrolled lighting. | |
JP5435382B2 (ja) | モーフィングアニメーションを生成するための方法および装置 | |
US20170148223A1 (en) | Real-time mobile device capture and generation of ar/vr content | |
CN106210449B (zh) | 一种多信息融合的帧率上变换运动估计方法及系统 | |
US20140118482A1 (en) | Method and apparatus for 2d to 3d conversion using panorama image | |
WO2011026850A1 (en) | Method for art-directable retargeting for streaming video | |
JP2016085742A (ja) | 前景画像分割方法及び前景画像分割装置 | |
KR100953076B1 (ko) | 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치 | |
Yen et al. | Maintaining temporal coherence in video retargeting using mosaic-guided scaling | |
WO2018053952A1 (zh) | 一种基于场景样本库的影视图像深度提取方法 | |
Bleyer et al. | A stereo approach that handles the matting problem via image warping | |
Xiao et al. | Accurate motion layer segmentation and matting | |
Zhu et al. | Joint depth and alpha matte optimization via fusion of stereo and time-of-flight sensor | |
Wang et al. | Simultaneous matting and compositing | |
US9661307B1 (en) | Depth map generation using motion cues for conversion of monoscopic visual content to stereoscopic 3D | |
CN110111357B (zh) | 一种视频显著性检测方法 | |
KR20170046140A (ko) | 얼굴 이미지 편집 방법 및 디바이스 | |
Cho et al. | Extrapolation-based video retargeting with backward warping using an image-to-warping vector generation network | |
JP7159198B2 (ja) | 奥行きマップを処理するための装置及び方法 | |
Chung et al. | Video object extraction via MRF-based contour tracking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20131002 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20140923 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20160105 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20161024 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20171011 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20181005 Year of fee payment: 9 |
|
FPAY | Annual fee payment |
Payment date: 20191205 Year of fee payment: 10 |