KR100198950B1 - 시공간 기울기 정보를 이용한 동영상의 자동 영역 분할방법 - Google Patents
시공간 기울기 정보를 이용한 동영상의 자동 영역 분할방법 Download PDFInfo
- Publication number
- KR100198950B1 KR100198950B1 KR1019960059031A KR19960059031A KR100198950B1 KR 100198950 B1 KR100198950 B1 KR 100198950B1 KR 1019960059031 A KR1019960059031 A KR 1019960059031A KR 19960059031 A KR19960059031 A KR 19960059031A KR 100198950 B1 KR100198950 B1 KR 100198950B1
- Authority
- KR
- South Korea
- Prior art keywords
- motion
- objects
- areas
- gradient information
- fractional order
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
Abstract
1. 청구범위에 기재된 발명이 속한 기술분야
시공간 기울기 정보를 이용한 동영상의 자동 영역 분할방법.
2. 발명이 해결하려고 하는 기술적 과제
시공간 기울기 정보를 이용하여 동영상을 배경 영역과 시각적으로 의미를 갖는 객체들로 분할하고자 함.
3. 발명의 해결방법의 요지
연속되는 적어도 두개 이상의 영상 프레임을 각각 양자화하여 단순화시키는 단계; 양자화와 단순화된 각각의 영상 프레임으로부터 시공간 기울기 정보를 구하는 단계; 시공간 기울기 정보로부터 분수령을 검출하고, 분수령과 분수령 사이의 경계를 구하여 영역을 분할하는 단계; 그래프 이론을 이용하여 크기가 작은 영역들을 이웃의 영역들과 병합하여 분할된 영역의 갯수를 줄이는 단계; 및 병합된 영역들의 움직임 정보를 이용하여 영역들을 움직임이 없는 배경 객체와 움직임이 있는 객체들로 나누는 단계를 포함함.
4. 발명의 중요한 용도
영상 전송장치에 이용됨.
Description
본 발명은 동영상을 움직임이 없는 배경 영역과 시각적으로 의미를 갖는 객체들로 자동 분할하는 방법에 관한 것으로, 특히 연속되는 2개 이상의 영상 프레임으로부터 구해지는 시공간 기울기 정보를 이용하여 동영상을 배경 영역과 시각적으로 의미를 갖는 객체들로 분할하는 동영상의 자동영역 분할방법에 관한 것이다.
종래의 동영상 자동영역 분할방식은 일반적으로 높은 압축율로 동영상을 부호화하기 위하여 각 화소의 움직임 정보만을 고려하여, 움직임이 유사한 화소들을 하나의 영역으로 분할하였다.
그러나, 종래의 이러한 방식으로 분할된 각 영역들은 독립된 객체로서 의미를 갖을 수 없었을 뿐만 아니라, 움직임이 적은 객체들은 객체 전체 혹은 일부가 배경 영역이나 주위의 다른 영역 일부에 포함된 채로 분할될 수 밖에 없는 문제점이 있었다.
따라서, 상기와 같은 종래기술의 문제점을 해결하기 위하여 안출된 본 발명은 연속되는 2개 이상의 영상 프레임으로부터 구해지는 시공간 기울기 정보를 이용하여 분수령을 검출하고, 분할된 영역들을 시각적으로 의미를 갖는 객체들로 병합함으로써, 동영상을 배경 영역과 시각적으로 의미를 갖는 객체들로 분할할 수 있는 동영상의 자동영역 분할방법을 제공하는데 그 목적이 있다.
도 1A 및 1B 는 본 발명이 적용되는 부호화 및 복호화 장치의 구성도,
도 2 는 본 발명에 따른 동영상의 자동영역 분할방법의 처리 흐름도.
*도면의 주요부분에 대한 부호의 설명
11 : 내용별 영상 분할부 12 : 영역 부호화부
13 : 다중화부 14 : 역다중화부
15 : 영역 복호화부 16 : 화면 구성부
상기 목적을 달성하기 위한 본 발명의 자동영역 분할방법은, 동영상의 자동영역 분할방법에 있어서, 연속되는 적어도 두개 이상의 영상 프레임을 각각 양자화하고, 양자화된 각각의 영상 프레임의 모양을 단순화시키는 제 1 단계; 상기 제 1 단계 수행 후, 양자화와 단순화된 각각의 영상 프레임으로부터 시공간 기울기 정보를 구하는 제 2 단계; 상기 제 2 단계 수행 후, 시공간 기울기 정보로부터 분수령을 검출하고, 분수령과 분수령 사이의 경계를 구하여 영역을 분할하는 제 3 단계; 상기 제 3 단계 수행 후, 그래프 이론을 이용하여 크기가 작은 영역들을 이웃의 영역들과 병합하여 분할된 영역의 갯수를 줄이는 제 4 단계; 및 상기 제 4 단계 수행 후, 병합된 영역들의 움직임 정보를 이용하여 영역들을 움직임이 없는 배경 객체와 움직임이 있는 객체들로 나누는 제 5 단계를 포함하여 이루어진 것을 특징으로 한다.
이하, 본 발명의 일실시예에 관하여 첨부된 도면을 참조하면서 상세히 설명한다.
도 1A 및 1B 는 본 발명이 적용되는 영상 부호화 및 복호화 장치의 구성도로서, 도면에서 11은 내용별 영상 분할부, 12는 영역 부호화부, 13은 다중화부, 14는 역다중화부, 15는 영역 복호화부, 16은 화면 구성부를 각각 나타낸다.
내용별 영상 분할부(11)는 입력되는 영상을 내용별로 분할하여 다수개의 영역 부호화부(12)로 출력하고, 상기 다수개의 영역 부호화부(12)는 내용별 영상 분할부(11)에서 입력된 자신의 영역에 해당하는 영상을 부호화하여 출력한다.
다중화부(13)는 각 영역 부호화부(12)에서 부호화된 다수의 영상신호를 다중화하여 복호화장치로 전송한다.
복호화장치의 역다중화부(14)는 다중화부(13)로부터 입력된 영상 신호를 역다중화하고, 영역 복호화부(15)는 역다중화부(14)에 의해 역다중된 각각의 영역에 해당하는 영상을 복호화하고, 화면 구성부(16)는 각각의 영역 복호화부(15)에서 복호된 영상을 이용하여 화면을 재구성하여 출력한다.
도 2 는 본 발명에 따른 동영상의 자동영역 분할방법의 처리 흐름도를 나타낸다.
먼저, 적어도 연속되는 두개의 영상 프레임, 즉 임의의 k-1번째 영상 프레임과 임의의 k번째 영상 프레임을 각각 적절한 양자화 방법으로 양자화하여 복잡한 히스토그램을 갖는 영상 프레임을 단순한 히스토그램을 갖도록 한다(101).
그리고, 각각 양자화된 연속되는 영상 프레임을 적절한 필터를 이용하여 복잡한 모양을 단순한 모양으로 변화시키고, 영역 분할에 큰 도움을 주지 않는 자세한 변화가 많은 객체의 모양을 단순한 모양이 되도록 한다(102).
그런 다음, 양자화와 단순화를 거친 각각의 영상 프레임으로부터 시공간 기울기 정보를 구한다(103). 여기서, 시간 기울기 정보는 단순화된 두 영상 프레임의 화소들 사이의 절대값의 차를 이용하여 구하고, 공간 기울기 정보는 모폴로지컬 그레디언트 연산자(morphological gradient operator)를 적용하여 구한다.
그리고, 시공간 기울기 정보로부터 분수령을 검출하고, 분수령과 분수령 사이의 경계를 구하여 영역을 분할하고(104), 그래프 이론을 이용하여 크기가 작은 영역들을 이웃의 영역들과 병합하여 분할된 영역의 갯수를 줄인다(105).
그래프 병합 단계(105)에 있어서, 이웃되는 영역들 중 병합될 영역을 결정하는 기준으로는 영역의 평균 밝기와 이웃하는 두 영상 프레임에 존재하는 화소들 사이의 절대치 차의 합의 평균(Average Sum of Absolute Difference)을 사용한다.
그리고, 그래프 병합 단계(105)를 통해서 병합된 영역들의 움직임 정보를 이용하여 영역들을 움직임이 없는 배경 객체와 움직임이 있는 객체들로 나누게 되는데(106), 여기서 영역들을 객체들로 합성할 때 사용되는 움직임 정보는 영역의 경계에 위치한 화소들을 제외한 화소들만으로 구한 두 영상 프레임 사이의 절대치 차의 합의 평균을 사용한다.
이상에서 설명한 본 발명은 본 발명이 속하는 기술분야에서 통상의 지식을 가진자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 여러가지 치환, 변형 및 변경이 가능하므로, 전술한 실시예 및 도면에 한정되는 것이 아니다.
상기와 같이 이루어지는 본 발명은, 영상 내에 존재하는 시각적 의미를 갖는 여러 객체들을 영상의 배경으로부터 자유롭게 분리할 수 있으므로, 영상을 객체 단위로 부호화할 수 있을 뿐만 아니라, 분할된 객체 단위로 영상을 편집하는 것이 가능하므로 영상의 변형 및 편집의 범위를 훨씬 넓게 만들 수 있는 뛰어난 효과가 있다.
Claims (4)
- 동영상의 자동영역 분할방법에 있어서,연속되는 적어도 두개 이상의 영상 프레임을 각각 양자화하고, 양자화된 각각의 영상 프레임의 모양을 단순화시키는 제 1 단계;상기 제 1 단계 수행 후, 양자화와 단순화된 각각의 영상 프레임으로부터 시공간 기울기 정보를 구하는 제 2 단계;상기 제 2 단계 수행 후, 시공간 기울기 정보로부터 분수령을 검출하고, 분수령과 분수령 사이의 경계를 구하여 영역을 분할하는 제 3 단계;상기 제 3 단계 수행 후, 그래프 이론을 이용하여 크기가 작은 영역들을 이웃의 영역들과 병합하여 분할된 영역의 갯수를 줄이는 제 4 단계; 및상기 제 4 단계 수행 후, 병합된 영역들의 움직임 정보를 이용하여 영역들을 움직임이 없는 배경 객체와 움직임이 있는 객체들로 나누는 제 5 단계를 포함하여 이루어진 자동영역 분할방법.
- 제 1 항에 있어서,상기 제 2 단계의 시간 기울기 정보는,단순화된 두 영상 프레임의 화소들 사이의 절대값의 차를 이용하여 구하고,공간 기울기 정보는,모폴로지컬 그레디언트 연산자를 적용하여 구하는 것을 특징으로 하는 자동영역 분할방법.
- 제 1 항에 있어서,상기 제 4 단계는,영역의 평균 밝기와 이웃하는 두 영상 프레임에 존재하는 화소들 사이의 절대치 차의 합의 평균을 사용하여 이웃되는 영역들 중 병합될 영역을 결정하는 것을 특징으로 하는 자동영역 분할방법.
- 제 1 항에 있어서,상기 제 5 단계의 영역들을 객체들로 합성할 때 사용되는 움직임 정보는,영역의 경계에 위치한 화소들을 제외한 화소들만으로 구한 두 영상 프레임 사이의 절대치 차의 합의 평균을 사용하는 것을 특징으로 하는 자동영역 분할방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019960059031A KR100198950B1 (ko) | 1996-11-28 | 1996-11-28 | 시공간 기울기 정보를 이용한 동영상의 자동 영역 분할방법 |
| US08/841,282 US5889556A (en) | 1996-11-28 | 1997-04-29 | Method of automatically dividing domain of motion picture using time space slope information |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019960059031A KR100198950B1 (ko) | 1996-11-28 | 1996-11-28 | 시공간 기울기 정보를 이용한 동영상의 자동 영역 분할방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR19980039913A KR19980039913A (ko) | 1998-08-17 |
| KR100198950B1 true KR100198950B1 (ko) | 1999-06-15 |
Family
ID=19484296
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1019960059031A KR100198950B1 (ko) | 1996-11-28 | 1996-11-28 | 시공간 기울기 정보를 이용한 동영상의 자동 영역 분할방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5889556A (ko) |
| KR (1) | KR100198950B1 (ko) |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR0159575B1 (ko) * | 1994-10-31 | 1999-01-15 | 배순훈 | 영역 분할 부호화 방식의 인접 영역간 불연속 처리 장치 |
| DE69530908T2 (de) * | 1994-12-20 | 2004-05-19 | Matsushita Electric Industrial Co., Ltd., Kadoma | Verfahren und Vorrichtung zur Bildkodierung |
-
1996
- 1996-11-28 KR KR1019960059031A patent/KR100198950B1/ko not_active IP Right Cessation
-
1997
- 1997-04-29 US US08/841,282 patent/US5889556A/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| KR19980039913A (ko) | 1998-08-17 |
| US5889556A (en) | 1999-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100488422B1 (ko) | 그레이스케일모양정보부호화/복호화장치및그방법 | |
| US5805221A (en) | Video signal coding system employing segmentation technique | |
| US6404814B1 (en) | Transcoding method and transcoder for transcoding a predictively-coded object-based picture signal to a predictively-coded block-based picture signal | |
| US20050105814A1 (en) | Spatial scalable compression scheme using spatial sharpness enhancement techniques | |
| JP2017538381A (ja) | ビデオ符号化における成分間予測 | |
| KR20000000823A (ko) | 사용자의 조력 및 물체추적에 의한 영상 객체 분할방법 | |
| KR20010075163A (ko) | 디지털 비디오의 간단한 형태코딩을 위한 변경된 색채키잉방법 및 그 장치 | |
| JPH09214970A (ja) | 画像符号変換方式 | |
| US20160029030A1 (en) | Transmitting and receiving a composite image | |
| KR20020007915A (ko) | 엠펙(ＭＰＥＧ) 압축 비디오 환경에서 매크로 블록의시공간상의 분포를 이용한 와이프(Ｗｉｐｅ) 및 특수 편집효과 검출 알고리즘 | |
| US20160073124A1 (en) | Transmitting and receiving a composite image | |
| US20060133472A1 (en) | Spatial scalable compression | |
| KR20200136477A (ko) | Hdr 콘텐츠를 디블록킹하기 위한 시스템 및 방법 | |
| KR100198950B1 (ko) | 시공간 기울기 정보를 이용한 동영상의 자동 영역 분할방법 | |
| US20030165194A1 (en) | Picture segment coding with motion prediction | |
| US7899112B1 (en) | Method and apparatus for extracting chrominance shape information for interlaced scan type image | |
| JP2828977B2 (ja) | 動画像符号化装置 | |
| JP2005197879A (ja) | 映像信号符号化装置 | |
| GB2512657A (en) | Transmitting and receiving a composite image | |
| van der Schaar-Mitrea | Compression of mixed video and graphics images for TV systems | |
| JPH1028267A (ja) | 映像符号化装置 | |
| KR0176079B1 (ko) | 병렬 고화질 티브이 부호화기에서의 가변 경계 분할 방법 | |
| KR20050089868A (ko) | 비디오 코딩 및 디코딩 방법 | |
| KR100311398B1 (ko) | 화상회의 시스템의 화상 부호화 방법 | |
| JP2621337B2 (ja) | 背景予測を用いた動画像の予測符号化方式とその装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20130304 Year of fee payment: 15 |
|
| FPAY | Annual fee payment |
Payment date: 20140303 Year of fee payment: 16 |
|
| FPAY | Annual fee payment |
Payment date: 20150122 Year of fee payment: 17 |
|
| FPAY | Annual fee payment |
Payment date: 20160222 Year of fee payment: 18 |
|
| EXPY | Expiration of term |