KR100608036B1 - 영상 데이터 세그먼테이션 방법 및 장치 - Google Patents

영상 데이터 세그먼테이션 방법 및 장치 Download PDF

Info

Publication number
KR100608036B1
KR100608036B1 KR1019990035846A KR19990035846A KR100608036B1 KR 100608036 B1 KR100608036 B1 KR 100608036B1 KR 1019990035846 A KR1019990035846 A KR 1019990035846A KR 19990035846 A KR19990035846 A KR 19990035846A KR 100608036 B1 KR100608036 B1 KR 100608036B1
Authority
KR
South Korea
Prior art keywords
block
spatial
image data
segmentation
dct
Prior art date
Application number
KR1019990035846A
Other languages
English (en)
Other versions
KR20010019448A (ko
Inventor
지석만
박현욱
Original Assignee
삼성전자주식회사
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 한국과학기술원 filed Critical 삼성전자주식회사
Priority to KR1019990035846A priority Critical patent/KR100608036B1/ko
Publication of KR20010019448A publication Critical patent/KR20010019448A/ko
Application granted granted Critical
Publication of KR100608036B1 publication Critical patent/KR100608036B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은, 영상 데이터를 세그먼테이션하는 방법 및 그 장치에 관한 것으로, 종래의 영상 데이터 소스 코더와 병행하여 동작하며, 블록 DCT 계수와 블록 모션 벡터를 세그먼테이션 특성으로 이용하여, 영상 데이터에서 움직이는 물체를 구분하는 방법과 장치를 개시한다.
본 발명에 의하면, 영상 데이터를 블록 단위로 시간 특성을 추출하고 공간 특성을 추출하여 얻은 정보를 이용해서 영상의 물체와 배경을 세그먼테이션하고, 물체와 배경에 서로 다른 양자화 변수를 적용하여, 영상 데이터를 전송할 때에 같은 대역폭을 사용하더라도 관심있는 부분에 대해 상대적으로 더 선명한 혹은 더 좋은 화질을 부여할 수 있게 된다.

Description

영상 데이터 세그먼테이션 방법 및 장치{Method and apparatus for image data segmentation}
도 1은 종래의 영상 데이터 소스 코더의 블록을 도시한 것이다.
도 2는 본 발명에 따른 영상 데이터 세그먼테이션 방법에 따라 영상 데이터를 처리하는 흐름을 도시한 것이다.
도 3은 본 발명에 따른 영상 데이터 세그먼테이션 장치를 블록으로 도시한 것이다.
도 4는 8×8 픽셀들의 블록에서 상기 수학식 6의 f0 내지 f3을 도시한 것이다.
도 5는 두개의 연속된 이미지들에서 움직이는 영역, 커버된 영역, 노출된 영역 및 배경 영역을 도시한 것이다.
도 6은 동적인 블록들을 분류한 것을 도시한 것이다.
도 7은 매크로 블록과 블록을 도시한 것이다
도 8은 물체의 경계 적응을 도시한 것이다.
본 발명은 영상 데이터 정보를 압축하는 분야에 관한 것으로서, 영상 데이터를 세그먼테이션하는 방법 및 그 장치에 관한 것이다.
통상의 영상 데이터 소스 코더(video source coder)는 시간적인 리던던시(redundancy)를 감소하기 위한 블록 기반의 모션 보상(motion compensation)과 공간적인 리던던시를 감소하기 위한 영역 변환(예를 들면 DCT)에 기반한 압축이라는 두가지 기술에 의존하고 있다.
도 1은 종래의 영상 데이터 소스 코더의 블록을 도시한 것이다.
영상 데이터가 프레임 단위로 입력되면 모션 추정/보상부(10)에서 블록단위로 모션 추정(Motion Estimation)을 하여 모션 벡터(motion vector)를 얻는다. 그리고 모션 보상(Motion Compensation)을 하고 DCT부(12)에서는 모션 보상된 블록을 DCT(Discrete Cosine Transform)한다. 양자화부(14)에서 DCT 계수들을 양자화(Quantization)하고 양자화된 DCT 계수들을 가변길이(variable-length) 코딩하여 원래의 영상 데이터를 비트 스트림(bit stream) 데이터로 출력한다.
모션 추정/보상부(10)에서는 영상 데이터에 대해 시간적인 정보를 줄이고, DCT부(12)에서는 공간적인 정보를 줄이며, 양자화부(14)에서는 화질을 조절하여 영상 정보를 압축하게 된다. 양자화에 적용되는 양자화 변수의 값이 작으면 화질은 좋으나 압축률이 떨어지고, 양자화 변수의 값이 크면 화질을 나쁘지만 압축률이 높아진다. 이렇게 되면 저속의 전송 환경(low bit-rate)에서는 전송할 수 있는 데이터의 양이 상대적으로 한정되므로 전송을 위해서는 압축률을 높이게 되면 화질은 많이 나빠지게 되는 문제가 있다.
본 발명이 이루고자 하는 기술적인 과제는, 상기의 문제점들을 해결하기 위해, 제한적인 전송 대역이나 저속의 비트 레이트의 환경에서도 동영상 개체의 화질이 개선된, 영상 데이터 세그먼테이션 방법 및 장치를 제공하는데 있다.
상기 기술적 과제를 해결하기 위한 본 발명에 의한, 영상 데이터를 물체와 배경으로 세그먼테이션하는 방법에 있어서, 상기 영상 데이터를 소정 크기의 블록 단위로 모션 추정(motion estimation)하여 모션 벡터(motion vector)들을 구하는 모션 추정 단계; 상기 모션 벡터들 중에서 0이 아닌 모션 벡터를 가지는 동적인 블록을 구하는 시간 특성 추출 단계; 상기 동적인 블록과 상기 영상 데이터를 소정 크기의 블록 단위로 DCT(Discrete Cosine Transform)하여 각 블록별로 DCT 계수를 포함하는 공간 특성을 구하는 공간 특성 추출 단계; 및 상기 모션 벡터들과 상기 DCT 계수들을 포함하는 공간 특성을 이용하여 상기 영상 데이터에서 움직이는 물체와 배경을 분리하는 세그먼테이션 단계를 포함하는 것을 특징으로 한다.
상기 방법은 상기 세그먼테이션 단계에서 분리된 물체와 배경에 서로 다른 양자화 변수를 적용시키는 양자화 단계를 더 포함하는 것을 특징으로 한다.
상기 시간 특성 추출 단계는 소정 블록의 모션 벡터와 그 블록에 이웃한 블록간의 관계에 따라, 4개의 블록들이 사각형을 이룬 매크로 블록의 모션 벡터가 0이 아니 경우 그 매크로 블록을 동적인 블록으로 정하고, 블록의 모션 벡터가 0이 아닌 블록을 동적인 블록으로 정하는 것을 특징으로 한다.
상기 공간 특성 추출 단계는 상기 영상 데이터 블록에서 DCT 계수를 구하는 단계; 상기 DCT 계수와 연관되도록 상기 영상 데이터 블록의 평균값 및 분산을 구하는 단계; 상기 영상 데이터 블록에서 고주파수 DCT 계수를 구하는 단계; 및 상기 평균값, 분산 및 상기 고주파 DCT 계수로부터 공간 특성 벡터를 구하는 단계를 포함하는 것을 특징으로 한다.
상기 다른 기술적 과제를 해결하기 위한 본 발명에 의한, 영상 데이터를 소정 크기의 블록 단위로 모션 추정하여 구한 모션 벡터 중에서 블록의 모션 벡터가 0이 아닌 동적인 블록과 상기 영상 데이터를 소정 크기의 블록 단위로 DCT하여 구한 공간 특성 벡터를 이용하여 영상 데이터를 세그먼테이션하는 방법에 있어서, 상기 동적인 블록들을 시작점으로 하여 이웃한 블록과 공간 특성 벡터가 유사하면 이웃 블록을 상기 동적인 블록과 같은 특성 벡터를 가진 블록으로 설정하는 공간적인 세그먼테이션 단계; 및 상기 공간적으로 세그멘트된 각 영역이 움직이는지 혹은 아닌지를 검출하고 움직이는 물체 영역과 배경 영역을 구분하는 시간적인 세그먼테이션 단계를 포함하는 것을 특징으로 한다.
상기 방법은 물체의 경계를 배경과 구별하는 물체 경계 적응 단계를 더 포함하는 것을 특징으로 한다.
상기 또 다른 기술적 과제를 해결하기 위한 본 발명에 의한, 영상 데이터를 세그먼테이션하는 장치에 있어서, 영상 데이터를 프레임 단위로 입력으로 하여 블록단위로 모션 추정(motion estimation)을 하여 모션 벡터를 구하고 현재 입력되는 영상 프레임과 이전의 영상 프레임과의 모션 보상(motion compensation)을 하는 모 션 추정/보상부; 상기 모션 보상된 블록을 DCT(Discrete Cosine Transform)하여 DCT 계수들을 구하는 DCT부; 상기 모션 벡터들 중에서 0이 아닌 모션 벡터를 가지는 동적인 블록을 구하는 시간 특성 추출부; 상기 동적인 블록과 상기 영상 데이터를 소정 크기의 블록 단위로 DCT하여 각 블록별로 DCT 계수를 포함하는 공간 특성을 구하는 공간 특성 추출부; 상기 모션 벡터들과 상기 DCT 계수들을 포함하는 공간 특성을 이용하여 상기 영상 데이터에서 움직이는 물체와 배경을 분리하는 세그먼테이션부; 및 상기 DCT부에서 출력된 DCT 계수와 상기 세그멘테이션부에서 추출된 물체와 배경을 양자화하는 양자화부를 포함하는 것을 특징으로 한다.
상기 양자화부는 상기 DCT부에서 출력된 DCT 계수를 양자화하여 상기 영상 데이터를 압축하는 압축 양자화부; 및 상기 세그먼테이션부에서 분리된 물체와 배경에 서로 다른 양자화 변수를 적용시키는 분리 양자화부를 포함하는 것을 특징으로 한다.
상기 공간 특성 추출부는 상기 영상 데이터 블록에서 DCT 계수를 구하는 DCT 계수부; 상기 DCT 계수와 연관되도록 상기 영상 데이터 블록의 평균값 및 분산을 구하는 통계치 계산부; 상기 영상 데이터 블록의 고주파수 DCT 계수를 구하는 고주파 계수부; 및 상기 평균값, 분산 및 상기 고주파수 DCT 계수로부터 공간 특성 벡터를 구하는 공간 특성 벡터 계산부를 포함하는 것을 특징으로 한다.
상기 세그먼테이션부는 상기 동적인 블록들을 시작점으로 하여 이웃한 블록과 공간 특성 벡터가 유사하면 이웃 블록을 상기 동적인 블록과 같은 특성 벡터를 가진 블록으로 설정하는 공간 세그먼테이션부; 상기 공간적으로 세그멘트된 각 영 역이 움직이는지 혹은 아닌지를 검출하고 움직이는 물체 영역과 배경 영역을 구분하는 시간 세그먼테이션부; 및 물체의 경계를 배경과 구별하는 물체 경계 적응부를 포함하는 것을 특징으로 한다.
이하에서 첨부된 도면을 참조하여 본 발명의 바람직한 일 실시예를 상세히 설명한다.
영상 데이터 세그먼테이션(segmentation)은 영상 데이터 시퀀스(sequence)를 소정의 기준에 따라 여러개의 영역으로 분할하여 영상 데이터 정보를 조정하는 데 목적이 있다. 본 발명에 따른 영상 데이터 세그먼테이션은 움직이는 물체를 의미있는 물체로 정의한다. 시간 특성으로 블록 모션 벡터를 사용하고 공간 특성으로 입력 영상 데이터의 블록 DCT 계수들을 사용하여 배경으로부터 움직이는 물체를 분할한다. 그 결과, 움직이는 물체들과 배경에 다른 양자화 인수를 적용함으로 해서, 움직이는 물체의 영상 데이터의 질은 배경과 비교하여 향상될 수 있다.
도 2는 본 발명에 따른 영상 데이터 세그먼테이션 방법에 따라 영상 데이터를 처리하는 흐름을 도시한 것이다.
입력되는 영상 데이터에 대해 모션 추정을 하여 모션 벡터를 얻고(20 단계) 시간 특성을 추출하여 모션 벡터가 0이 아닌 블록을 결정하며(22 단계) 공간 특성을 추출하여 세그먼테이션의 초기화를 해서(24 단계) 세그먼테이션을 실행하여 영상의 물체와 배경을 분리한다(26 단계). 그리고 물체와 배경을 명확하게 구별하기 위해 물체와 배경에 서로 다른 양자화 인수를 적용하여 양자화를 실행한다(28 단계).
도 3은 본 발명에 따른 영상 데이터 세그먼테이션 장치를 블록으로 도시한 것이다.
이 장치는 입력되는 영상 데이터를 프레임 단위로 입력으로 하여 블록단위로 모션 추정(motion estimation)을 하여 모션 벡터를 구하고 모션 보상(motion compensation)을 하는 모션 추정/보상부(이하 ME/MC라 함), 모션 벡터로부터 시간 특성을 추출하는 시간 특성 추출부(31), 영상 데이터에서 공간 특성을 추출하고 시간 특성에서 공간 특성을 추출하는 공간 특성 추출부(32), 시간 특성과 공간 특성을 이용하여 물체와 배경을 분리하는 세그먼테이션부(33), 모션 보상된 블록을 DCT하여 DCT 계수들을 구하는 DCT부(34) 및 압축과 영상간의 분리를 하기 위한 양자화를 하는 양자화부(35)를 포함한다.
이는 도 1의 종래의 장치에 본 발명에 따른 시간 특성 추출부(31), 공간특성 추출부(32) 및 세그먼테이션부(33)를 결합한 것이다.
도 2와 도 3을 참조하여 본 발명의 동작을 상세히 설명한다.
영상 데이터가 입력되면 ME/MC(30)에서 블록 단위로 모션 추정을 하여 모션 벡터를 구한다(20 단계). 그리고 블록에 대해 모션 보상을 하고, 모션 보상된 블록은 DCT부(34)에서 DCT 변환되어 DCT 계수들이 구해진다. 이 DCT 계수들은 모션 보상된 블록의 에러 즉, 현재 영상 데이터 프레임과 이전 영상 데이터 프레임간의 차이에 대한 DCT를 한 결과 얻어진 것이다. 이 DCT 계수들은 양자화부(35)에서 양자화되어 가변 길이 코딩되어 결국 원래의 영상 데이터는 압축되어 비트스트림 데이터로 출력된다.
이 과정은 도 1의 종래의 장치와 동일하다.
ME/MC에서 모션 추정되어 구해진 모션 벡터가 시간 특성 추출부(31)에서 시간 특성이 추출된다(22 단계). 시간 특성을 통해 해당 블록이 단위 시간에 움직이는가 아닌가를 알수 있다. 모션 벡터의 값이 0이 아닌 블록은 동적인 블록으로 정의된다. 이 모션 벡터는 공간 특성 추출부(31)와 세그먼테이션부(33)에서 이용되게 된다.
공간 특성 추출부(32)에서 실행되는 공간 특성 추출(24 단계) 방법에 대해 설명한다.
블록의 공간 특성에 대한 설명의 하나는 블록 통계들이며 통상의 블록 통계들은 관심있는 영역의 색 값들의 평균과 분산이다. 이 평균값과 분산값은 다음의 식과 같은 블록 DCT 계수들에 의해 설명될 수 있다. DCT 계수들은 블록의 평균이나 분산같은 통계적인 정보를 제공한다. 더 나아가 그것들은 블록의 수평, 수직, 혼합된 수평-수직 모서리들과 같은 주파수 영역의 정보를 제공한다.
입력되는 영상 데이터가 프레임 단위로 입력되면, 2차원의 N×N DCT 계수들 ν(k,l)은 다음의 식과 같이 주어진다.
Figure 111999010250806-pat00001
이때에,
Figure 111999010250806-pat00002
Figure 111999010250806-pat00003
이며, u(m,n)은 공간 영역에서의 이미지이다.
상기 DCT부(34)에서 구해진 DCT 계수들은 이전 프레임과 현 프레임간의 차이에 대한 DCT를 한 결과로 구해진 것이지만, 공간 특성 추출부(24)에서 구해지는 DCT 계수는 입력된 영상 즉, 현 프레임에 대해 DCT를 실행하여 구해진 것이다.
평균값(μ)과 분산값(σ²)은 DCT 계수들과 다음 식과 같이 연관되어 있다.
Figure 111999010250806-pat00004
Figure 111999010250806-pat00005
또한 DCT 계수들은 블록에서 주파수 영역 정보를 제공하기때문에 DCT 계수들은 여러가지 다른 공간 특성들을 가진다. 다음의 수학식 4는 고주파수 DCT 계수들을 보여준다.
Figure 111999010250806-pat00006
Figure 111999010250806-pat00007
Figure 111999010250806-pat00008
수학식 4에서 ν(0,l)은 수평 고주파수를 설명하는 것이고, ν(k,0)는 수직 고주파수를 설명하는 것이며 ν(k,l)은 1≤k,l≤N-1인 경우 수직 수평이 혼합된 고주파수를 설명한다. 그러므로, 수학식 3에서의 블록 분산은 다음의 식과 같은 세가지 특성들로 나누어질 수 있다.
Figure 111999010250806-pat00009
Figure 111999010250806-pat00010
Figure 111999010250806-pat00011
Figure 111999010250806-pat00012
vedge 첨자는 수직 주파수에 존재하는 모서리 성분을 나타내고, hedge 첨자는 수평 주파수에 존재하는 모서리 성분을 나타내며, texture 첨자는 혼합된 수평-수직 주파수의 모서리 성분을 나타낸다.
상기의 수학식 2와 수학식 5로부터, 공간 특성 벡터가 다음의 식과 같이 정의된다. 본 발명에 따른 영상 데이터 세그먼테이션은 공간적인 세그먼테이션을 위해 이 공간 특성 벡터를 사용한다. 이 공간 특성 벡터가 세그먼테이션부(33)로 전달되게 된다.
Figure 111999010250806-pat00013
Figure 111999010250806-pat00014
Figure 111999010250806-pat00015
Figure 111999010250806-pat00016
Figure 111999010250806-pat00017
일반적인 영상 데이터 소스 코더에서, 영상 데이터 프레임은 8×8 픽셀들의 블록으로 분해될 수 있다. 도 4는 8×8 픽셀들의 블록에서 상기 수학식 6의 f0 내지 f3을 도시한 것이다.
시간 특성 추출부(31)에서 실행되는 시간 특성 추출 방법(22 단계)을 설명한다.
물체가 움직일때에, 도 5는 두개의 연속된 이미지들에서 움직이는 영역, 커버된 영역, 노출된 영역 및 배경 영역을 도시한 것이다. 움직이는 영역과 커버된 영역은 움직이는 물체에 속하지만, 노출된 영역과 배경은 t+1 시간에서의 배경에 속한다.
어떤 블록의 모션 벡터가 0이 아니라면, 그 블록은 동적인 블록이라고 정의된다. 그렇지 않다면, 그 블록은 정적인 블록이라고 정의된다. 도 6은 동적인 블록들을 분류한 것을 도시한 것이다. 동적인 블록들은 도 6에 도시된 것처럼 그 불록의 모션 벡터와 그와 이웃한 블록들간의 관계에 따라 다섯가지 종류로 분류된다. 모션 추정과 보상의 관점에서, INTRA MB(매크로블록; macroblock)은 모션 벡터를 가지지 못한 4개의 블록들로 구성된다. 그 블록들은 클래스 0 블록으로 분류된다.
도 7은 MB와 블록을 도시한 것이다. 4개의 블록이 하나의 MB를 이룬다. 하나의 블록 구조는 도 3에 도시된 블록의 구조과 같다.
도 7에 도시된 MB 내에서 모션 벡터가 구해지지 않으면 이 MB를 INTRA MB라고 하며, 모션 벡터가 구해지면 INTER MB라고 한다.
MB에서 모션 벡터가 구해지지 않으면 그 MB를 구성하는 블록에서도 모션 벡터가 구해지지 않는다. 그리고 MB에서 모션 벡터가 구해지는 경우(INTER MB) MB를 구성하는 블록들간에 모션 벡터가 전부 같으면 1MV라고 하며, 블록들간에 모션 벡터가 서로 다르면 4MV라고 한다.
INTER 1MV/4MV는 모션 벡터를 가지는 4개의 블록들을 가진다. 그 블록들은 클래스 1부터 클래스 4 중의 하나로 분류된다. 클래스 1은 앞과 뒤의 양쪽에 동적인 블록들을 가진다. 클래스 2는 앞에는 정적인 블록을 뒤에는 동적인 블록을 가진다. 클래스 3 블록은 앞에 동적인 블록을 뒤에 정적인 블록을 가진다. 클래스 4 블록은 앞과 뒤 양쪽에 정적인 블록을 가진다.
클래스 0, 1, 2 및 4는 움직이는 물체일 높은 확률을 가진다. 반대로,클래스 3의 블록은 배경일 높은 확률을 가진다.
MB/블록 모션 벡터를 사용하면, 시간 특성 벡터는 다음의 수학식 7과 같이 정의된다. 본 발명에 따른 영상 데이터 세그먼테이션은 시간적인 세그먼테이션을 위해서 이 시간 특성 벡터를 사용한다.
Figure 111999010250806-pat00018
Figure 111999010250806-pat00019
Figure 111999010250806-pat00020
이때에 f4는 모션 벡터를 가지는 매크로 블록을 나타내며, f5는 모션 벡터를 가지는 블록을 나타낸다. 본 발명을 사용하는 응용 분야에 따라 혹은 본 발명을 적용하는 사람에 따라 모션 벡터를 사용하는 경우에 매크로 블록단위의 모션 벡터를 사용할 것인가 혹은 블록 단위의 모션 벡터를 사용할 것인지가 정해지게 될 것이다.
상기의 과정을 통해 추출된 시간 특성중에서 모션 벡터의 값이 0이 아닌 블록이 세그먼테이션 시작 블록이 될 것이고, 이 시작 블록이 공간 특성 추출부(32)로 전달되어, 위에서 설명된 방법에 의해 시작 블록의 공간 특성이 추출되고 이 공간 특성이 세그먼테이션 단계(26)를 초기화시키는 역할을 하게 되는 것이다.
세그먼테이션부(33)에서 실행되는 세그먼테이션 단계(26)를 설명한다.
세그먼테이션 단계(26)는 공간적인 세그먼테이션 단계, 시간적인 세그먼테이션 단계 및 물체 경계 적응단계를 포함한다.
세그먼테이션 단계의 첫번째 단계인 공간적인 세그먼테이션 단계를 설명한다.
본 발명에 따른 공간적인 세그먼테이션 단계는 블록 기반의 영역 성장(region growing)을 공간적인 세그먼테이션을 위해 사용한다. 시작점이 되는 블록들은 상기 시간 특성 추출 단계(22)에서 정의된 동적인 블록들이다. 본 발명에 따른 공간적인 세그먼테이션 방법은 두 개의 이웃한 블록들의 공간 특성 벡터들이 유사한가를 다음의 수학식 8에 따라 검사한다. 만일 그들이 유사하다면, 그들은 한 영역으로 합쳐지고 현재 영역의 영역 성장은 유사한 블록이 없을때까지 진행된다. 즉, 모션 벡터가 0이 아닌 시작점이 되는 블록에서 출발해서 시작 블록 주변에 비슷한 공간 특성을 가지는 블록으로 영역을 확장하게 된다.
Figure 111999010250806-pat00021
Figure 111999010250806-pat00022
Figure 111999010250806-pat00023
상기 수학식 8에서 사용된 f0 내지 f3은 수학식 6에서 정의된 것이다.
휘도값의 범위가 0부터 255일 때에, 4보다 작은 휘도는 잡음으로 간주될 수 있다. 상기 수학식 6의 공간 특성 벡터가 네개의 특성 성분들을 가지고 있기때문에, 수학식 8에서 유사한 블록인가를 결정하게 되는 기준값이 되는 문턱값은 N×N DCT 계수에서는 T spatial = 16N(=4×4×N)으로 설정된다. 이 값은 T spatial 이 네개의 특성 성분을 가지고 있고 한 성분당 4보다 작은 휘도가 잡음이므로 결정된 것이다. 상기의 수학식 8에서 행렬은 η=(1, 1, 1, 1)로 설정된다.
결과적으로, 여러개의 균일한 영역들이 얻어진다. 만일 어떤 한 MB내의 모든 블록들이 같은 영역이 되면, 그 MB는 균일한 MB로 불린다. 그렇지 않으면, 그 MB는 불균일한 MB로 불린다.
세그먼테이션 단계의 두번째 단계인 시간적인 세그먼테이션 단계를 설명한다.
본 발명에 따른 시간적인 세그먼테이션 방법은 이전의 공간적인 세그먼테이션으로부터의 영역이 움직이는 물체인가 혹은 배경인가를 현재의 영상 데이터의 프레임과 비교하여 통계적으로 검사한다. 한 영역에서 실제 움직이는 블록(TB)의 개수가 거짓으로 움직이는 블록(FB)보다 크면 그 영역은 움직이는 물체이다. 그렇지 않으면 그 영역은 배경이다.
수학식 7의 시간 특성을 사용하여 그 영역의 동적인 블록 모두가 검사된다. 상기에서 언급한 것처럼, 클래스 0, 1, 2, 및 4의 동적인 블록들은 움직이는 블록의 높은 가능성을 가지는 반면 클래스 3의 동적인 불록은 배경일 높을 확률을 가진다.
본 발명에 따른 영상 데이터 세그먼테이션 장치가 MB 모션 벡터 주변의 블록 모션 벡터를 찾는 영상 데이터 소스 코더와 함께 인식되면, MB 균일성이 고려되어야 한다. MB가 균일할 때에, 클래스 3의 동적인 블록은 거짓으로 움직이는 블록이 되고, 그러면 다른 클래스들의 현재의 동적인 블록은 실제로 움직이는 블록이 된다.
MB가 불균일하거나 MB 균일성이 고려될 필요가 없다면, 현재의 동적인 블록은 현재의 동적인 블록의 영역과 (앞과 뒤 양쪽으로) 이웃한 블록들의 영역간의 관계에 따라 실제로 움직이는 블록이 되거나 혹은 거짓으로 움직이는 블록이 되도록 결정된다.
현재의 동적인 블록의 영역이 이웃한 동적인 블록의 영역과 같고 이웃한 정적인 영역과 다르다면, 현재의 동적인 불럭은 실제로 움직이는 블록이 된다. 반대의 경우 즉, 현재의 동적인 블록의 영역이 이웃한 정적인 블록의 영역과 같고 이웃한 동적인인 영역과 다르다면 현재의 동적인 블록이 거짓으로 움직이는 불록이 된다.
다른 경우들에, 현재의 프레임과 이전의 프레임간의 블록의 차이가 0이라면, 현재 동적인 블록은 거짓으로 움직이는 블록이 되고 0 벌점(zero penalty; 이하 ZP)이 증가하며, 0이 아니라면 현재의 동적인 블록은 실제로 움직이는 블록이 되고 불확정 벌점(uncertain penalty; 이하 UP)이 증가한다.
그 영역이 움직이는 물체인가 혹은 배경인가를 결정하기 위해 클래스 R의 영역은 다음 식과 같이 검사된다.
R = 움직이는 물체 (α≥1), 혹은
R = 배경 (그 외의 경우)
이때에,
Figure 111999010250806-pat00024
Figure 111999010250806-pat00025
결과적으로, 본 발명에 따른 시간적인 세그먼테이션 단계는 움직이는 물체의 영역을 구분한다.
세그먼테이션 단계의 세번째 단계인 물체 경계 적응 단계를 설명한다.
한 영역의 동적인 블록들의 개수가 작을 때에, 시도 횟수가 작기 때문에 본 발명에 따른 시간적인 세그먼테이션 단계에서 좋지 않은 확률이 얻어질 수 있다. 이것은 물체의 경계에서 발생한다.
도 8은 물체의 경계 적응을 도시한 것이다.
본 발명에 따른 물체의 경계 적응 방법은 도 8에 도시된 것과 같이 이전의 공간적이고 시간적인 세그먼테이션으로부터 얻어진 영역의 경계를 변형한다.
다음의 수학식 10은 블록 모서리 결정을 설명한다. 도 5의 b2(혹은 도 5b의 b0) 블록이 모서리를 가지고 b1 블록은 모서리를 가지지 않는다면, b2(혹은 도5b의 b0) 블록은 그 물체 블록에 포함된다.
Figure 111999010250806-pat00026
Figure 111999010250806-pat00027
이때에 Tedge는 본 발명을 구현하는 사람이 응용 분야에 따라 경험적으로 결정되는 상수값이다. 이 값에 대한 최적의 수치는 결정되지 않았다. 다만 Tedge 값이 크면 모서리 성분이 조금만 있으면 그 부분은 모서리로 결정되어 움직이는 물체와 배경이 뚜렷하게 대비될 것이고, Tedge값이 작으면 물체의 모서리로 되는 부분이 많이 줄어들게 되어 움직이는 물체와 배경의 대비가 완만할 것이다.
상기에 설명된 본 발명에 따른 영상 데이터 세그먼테이션 방법을 정리하면 다음과 같다.
1) 한 블록의 모션 벡터가 한 영상 데이터 소스 코더의 모션 추정으로부터 얻어진다. 만일 한 블록의 모션 벡터가 0이면, 그 블록은 동적인 블록으로 정의된다. 그렇지 않으면, 그 불록은 정적인 블록으로 정의된다.
2) 공간적인 세그먼테이션 : 오직 동적인 블록들만이 영역 성장을 위한 시작점이 된다. 그럼에도 불구하고, 그 영역은 정적인 블록들로 자라날 수 있다. 블록 기반의 영역 성장은 수학식 8이 만족되는 한 진행한다. 그 결과, 여러가지 영역들이 얻어지고 공간적인 세그먼테이션이 완성된다.
3) 시간적인 세그먼테이션 : 공간적으로 세그멘트된 각 영역은 그것이 움직이는지 혹은 아닌지가 수학식 9에 따라 검사된다. 한 영역에서 실제로 움직이는 블록들의 개수가 거짓으로 움직이는 개수보다 많으면 그 영역은 움직이는 것이다. 그렇지 않으면, 그 영역은 배경이다. 그 결과, 움직이는 영역들은 움직이는 물체를 이룬다.
4) 물체 경계 적응 : 한 영역의 동적인 블록들의 개수가 작으면, 본 발명에 따른 시간적인 세그먼테이션은 시도할 수 있는 숫자가 작기 때문에 완성되지 않을 수 있다. 이것은 물체의 경계에서 발생할 수 있다. 그러므로 물체 경계 적응은 정확한 물체의 경계를 찾기 위해 실행된다.
그 결과, 블록 기반의 움직이는 물체가 상기 1)에서 4)를 통해 얻어질 수 있다.
본 발명에 따라 영상 데이터에서 블록 기반의 움직이는 물체와 배경이 분리되면, 분리된 물체와 배경을 확실하게 구별하게 하는 양자화 단계(28)를 가하는 것 이 바람직하다. 이 양자화 단계는 양자화부(35)에서 실행된다.
양자화 단계(28)를 설명한다.
양자와 단계의 기본적인 동작은 배경보다 움직이는 물체가 더 높은 화질을 가지도록 본 발명에 따른 영상 데이터 세그먼테이션으로부터 얻어진 물체에 배경과는 다른 양자화 인수를 적용하는 것이다.
일반적인 영상 데이터 소스 코더에서, 영상 데이터 프레임은 8×8 픽셀들의 블록으로 분해될 수 있다. 각 8×8 블록의 픽셀 값들은 DCT를 사용하여 계수들의 집합으로 변환될 수 있으며 이런 계수들은 양자화되고 부호화된다. 변환된 계수들의 양자화는 이미지 블록이 부호화될 이미지 질을 결정한다.
양자화의 양은 양자화 변수 QP에 의해 제어된다. QP가 작을 때에는, 영상 데이터의 질이 높을 수 있고 압축된 비트레이트는 증가한다. 반대로, QP 단계 크기가 클 때에는 영상 데이터 질은 빈약할 수 있고 압축된 비트레이트는 감소한다.
낮은 비트 레이트 영상 데이터 통신에서 전송 대역폭이 제한되기 때문에, 전송 대역폭이 작을수록 QP는 커지게 된다. 낮은 대역폭의 경우에 영상 데이터 프레임내의 모든 블록들에 동일한 QP가 인가되면 큰 QP 때문에 전체적인 영상 데이터 질이 저하되는 경우가 발생한다. 그러나 본 발명에 따른 영상 데이터 세그먼테이션으로부터 얻어진 움직이는 물체에 더 작은 QP를 인가하고 배경에 더 큰 QP를 인가하면, 움직이는 물체는 배경보다 다 높은 가시도(visibility)를 가질 수 있게 된다.
본 발명에 따른 장치와 방법을 적용하여 물체와 배경을 분리한 후에 물체의 화질은 좋게 그리고 배경의 화면은 나쁘게 조절하여(혹은 그 반대로 조절하는 것도 가능할 것임) 전송하게 되면, 영상 전체를 같은 화질로 전송하는 것보다 같은 압축률에서 관심이 있는 물체(혹은 배경)에 대한 화질에 대한 이득을 볼 수 있게 될 것이다.
상기 설명한 방법은 도 3과 같은 장치로 구현될 수 있고, 또는 본 발명에 따른 방법을 프로그램으로 구현하여 이를 ROM과 같은 메모리 장치에 기록하여 실시하는 것도 가능할 것이다.
영상 데이터 세그먼테이션 기술은 사용자 상호 작용에 따라 자동과 반자동 세그먼테이션으로 분류될 수 있다. 반자동 세그먼테이션은 사용자가 그래픽으로 된 사용자 인터페이스에서 흥미있는 영역을 처음에 정의하고 그 영역의 정확한 경계들을 찾도록 하는 반면, 자동 세그먼테이션은 어떤 공간적이고 시간적인 기준에 따라 움직이는 물체들의 클래스들을 인식한다. 대부분의 오프 라인(off-line) 응용에서는, 반자동 세그먼테이션이 자동 세그먼테이션보다 좋은 결과를 보여준다. 그러나 대개의 온 라인 실시간 응용에서는, 사용자 상호 작용이 제한되기 때문에 자동 세그먼테이션이 우세하다. 본 발명에 따른 영상 데이터 세그먼테이션 방법은 온라인 실시간 응용을 위한 자동 세그먼테이션 방법으로서의 기능을 가지게 된다.
본 발명에 의하면, 영상 데이터를 블록 단위로 시간 특성을 추출하고 공간 특성을 추출하여 얻은 정보를 이용해서 영상의 물체와 배경을 세그먼테이션하고, 물체와 배경에 서로 다른 양자화 변수를 적용하여, 영상 데이터를 전송할 때에 같 은 대역폭을 사용하더라도 관심있는 부분에 대해 상대적으로 더 선명한 혹은 더 좋은 화질을 부여할 수 있게 된다.
또한 본 발명에 따른 영상 데이터 세그먼테이션은 시간적인 정보로 블록 모션 벡터들을 사용한다. 모션 벡터들은, 일반적인 영상 데이터 소스 코더에는 필수적인 부분인, 모션 추정에서 얻어지기 때문에 본 발명에 따른 영상 데이터 세그먼테이션에서는 시간적인 정보를 얻기 위한 별도의 계산이 필요없다.
그리고 본 발명에 따른 영상 데이터 세그먼테이션 장치는 블록 기반이기 때문에, 기존에 사용하던 압축된 비트스트림 구문에 어떤 영향도 끼치지 않고 구현될 수 있어 호환성이 높게 된다.

Claims (28)

  1. 영상 데이터를 물체와 배경으로 세그먼테이션하는 방법에 있어서,
    상기 영상 데이터를 소정 크기의 블록 단위로 모션 추정(motion estimation)하여 모션 벡터(motion vector)들을 구하고, 그 모션 벡터들 중에서 0이 아닌 모션 벡터를 가지는 동적인 블록을 구하는 시간 특성 추출 단계;
    상기 동적인 블록과 상기 영상 데이터를 소정 크기의 블록 단위로 DCT(Discrete Cosine Transform)하여 각 블록별로 DCT 계수를 포함하는 공간 특성을 구하는 공간 특성 추출 단계; 및
    상기 모션 벡터들과 상기 DCT 계수들을 포함하는 공간 특성을 이용하여 상기 영상 데이터에서 움직이는 물체와 배경을 분리하는 세그먼테이션 단계를 포함하는 것을 특징으로 하는 영상 데이터 세그먼테이션 방법.
  2. 제1항에 있어서,
    상기 세그먼테이션 단계에서 분리된 물체와 배경에 서로 다른 양자화 변수를 적용시키는 양자화 단계를 더 포함하는 것을 특징으로 하는 영상 데이터 세그먼테이션 방법.
  3. 제1항에 있어서, 상기 시간 특성 추출 단계는
    소정 블록의 모션 벡터와 그 블록에 이웃한 블록간의 관계에 따라, 4개의 블록들이 사각형을 이룬 매크로 블록의 모션 벡터가 0이 아니 경우 그 매크로 블록을 동적인 블록으로 정하고, 블록의 모션 벡터가 0이 아닌 블록을 동적인 블록으로 정하는 것을 특징으로 하는 영상 데이터 세그먼테이션 방법.
  4. 제3항에 있어서, 상기 블록의 모션 벡터와 그에 이웃한 블록간의 관계는,
    블록들이 사각형을 이룬 4개의 블록 전부가 모션 벡터를 가지지 못한 클래스 0, 사각형을 이룬 4개의 블록 전부가 같은 혹은 서로 다른 모션 벡터를 가지면서 이때에 블록의 앞과 뒤의 양쪽에 동적인 블록들을 가지는 클래스 1, 블록의 앞에는 모션 벡터가 0인 정적인 블록을 블록의 뒤에는 동적인 블록을 가지는 클래스 2, 블록의 앞에는 동적인 블록을 블록의 뒤에 정적인 블록을 가지는 클래스 3 및 블록의 앞과 뒤 양쪽에 정적인 블록들을 가지는 클래스 4임을 특징으로 하는 영상 데이터 세그먼테이션 방법.
  5. 제1항에 있어서, 상기 공간 특성 추출 단계는
    상기 영상 데이터 블록에서 DCT 계수를 구하는 단계;
    상기 DCT 계수와 연관되도록 상기 영상 데이터 블록의 평균값 및 분산을 구하는 단계;
    상기 영상 데이터 블록에서 고주파수 DCT 계수를 구하는 단계; 및
    상기 평균값, 분산 및 상기 고주파 DCT 계수로부터 공간 특성 벡터를 구하는 단계를 포함하는 것을 특징으로 하는 영상 데이터 세그먼테이션 방법.
  6. 제5항에 있어서, 상기 DCT 계수를 구하는 단계의 2차원의 N×N DCT 계수들 ν(k,l)은
    Figure 111999010250806-pat00028
    Figure 111999010250806-pat00029
    이고, u(m,n)은 공간 영역에서의 이미지일 때에.
    Figure 111999010250806-pat00030
    임을 특징으로 하는 영상 데이터 세그먼테이션 방법.
  7. 제5항에 있어서, 상기 평균값 및 분산을 구하는 단계에서
    Figure 111999010250806-pat00031
    Figure 111999010250806-pat00032
    이고, u(m,n)은 공간 영역에서의 이미지일 때에. 상기 DCT 계수를 구하는 단계의 2차원의 N×N DCT 계수들 ν(k,l)은
    Figure 111999010250806-pat00033
    일 때에,
    평균값(μ)은
    Figure 111999010250806-pat00034
    이며, 분산값(σ²)은
    Figure 111999010250806-pat00035
    임을 특징으로 하는 영상 데이터 세그먼테이션 방법.
  8. 제5항에 있어서, 상기 고주파수 DCT 계수를 구하는 단계는
    Figure 111999010250806-pat00036
    이고, u(m,n)은 공간 영역에서의 이미지일 때에.
    2차원의 N×N DCT 계수들 ν(k,l)은
    Figure 111999010250806-pat00037
    Figure 111999010250806-pat00038
    Figure 111999010250806-pat00039
    이며, 이때 ν(0,l)은 수평 고주파수, ν(k,0)는 수직 고주파수 그리고 ν(k,l)은 1≤k,l≤N-1인 경우 수직 수평이 혼합된 고주파수임을 특징으로 하는 영상 데이터 세그먼테이션 방법.
  9. 제7항 또는 제8항에 있어서, 상기 공간 특성 벡터를 구하는 단계에서 공간 특성 벡터 f spatial = (f 0 , f 1 , f 2 , f 3 )이고,
    f 0 , f 1 , f 2 , f 3 는 각각, vedge 첨자는 수직 주파수에 존재하는 모서리 성분을 나타내고, hedge 첨자는 수평 주파수에 존재하는 모서리 성분을 나타내며, texture 첨자는 혼합된 수평-수직 주파수의 모서리 성분을 나타낼 때에,
    Figure 111999010250806-pat00040
    Figure 111999010250806-pat00041
    Figure 111999010250806-pat00042
    Figure 111999010250806-pat00043
    임을 특징으로 하는 영상 데이터 세그먼테이션 방법.
  10. 영상 데이터를 소정 크기의 블록 단위로 모션 추정하여 구한 모션 벡터 중에서 블록의 모션 벡터가 0이 아닌 동적인 블록과 상기 영상 데이터를 소정 크기의 블록 단위로 DCT하여 구한 공간 특성 벡터를 이용하여 영상 데이터를 세그먼테이션하는 방법에 있어서,
    상기 동적인 블록들을 시작점으로 하여 이웃한 블록과 공간 특성 벡터가 유사하면 이웃 블록을 상기 동적인 블록과 같은 특성 벡터를 가진 블록으로 설정하는 공간적인 세그먼테이션 단계; 및
    상기 공간적으로 세그멘트된 각 영역이 움직이는지 혹은 아닌지를 검출하고 움직이는 물체 영역과 배경 영역을 구분하는 시간적인 세그먼테이션 단계를 포함하는 것을 특징으로 하는 영상 데이터 물체/배경 세그먼테이션 방법.
  11. 제10항에 있어서,
    물체의 경계를 배경과 구별하는 물체 경계 적응 단계를 더 포함하는 것을 특징으로 하는 영상 데이터 물체/배경 세그먼테이션 방법.
  12. 제10항에 있어서, 상기 공간적인 세그먼테이션 단계는,
    f i spatial 이 제9항에 따른 i번째 블록의 공간 특성 벡터이고, 상기 영상 데이터의 DCT 계수가 2차원의 N×N 이며, T spatial 은 소정의 문턱값일 때에, 이웃한 블록의 공간 특성 벡터를 상기 동적인 블록과 같게 하는 것은 다음의 식
    Figure 111999010250806-pat00044
    Figure 111999010250806-pat00045
    Figure 111999010250806-pat00046
    이 만족될 때까지 진행하는 것을 특징으로 하는 영상 데이터를 세그먼테이션하는 방법.
  13. 제12항에 있어서, 상기 T spatial 의 값은 16N임을 특징으로 하는 영상 데이터 물체/배경 세그먼테이션 방법.
  14. 제10항에 있어서, 상기 시간적인 세그먼테이션 단계는,
    상기 영상 데이터의 이전의 프레임과 현재의 프레임을 비교하여 한 영역에서 모션 벡터는 0이 아니며 실제로는 움직이는 실제 움직이는 블록의 개수와 모션 벡터는 0이 아니면서 실제로는 움직이지 않는 거짓 움직이는 블록의 개수를 구하는 단계; 및
    한 영역에서 상기 실제 움직이는 블록의 개수가 상기 거짓 움직이는 블록의 개수보다 많으면 그 영역은 움직이는 물체로 결정하고 그렇지 않으면 그 영역은 배경으로 결정하는 단계를 포함하는 것을 특징으로 하는 영상 데이터 물체/배경 세그먼테이션 방법.
  15. 제10항에 있어서, 상기 시간적인 세그먼테이션 단계는,
    현재 동적인 블록의 공간 특성이 이웃한 동적 블록의 공간 특성과 같고 다른 이웃한 모션 벡터가 0이 아닌 정적인 블록의 공간 특성과 다른 경우, 현재 동적인 블록을 실제 움직이는 블록으로 설정하는 단계;
    현재 동적인 블록의 영역의 공간 특성이 이웃한 정적인 블록 영역의 공간 특성과 같고 다른 이웃한 동적인 영역의 공간 특성과 다른 경우, 현재 동적인 블록을 거짓 움직이는 블록으로 설정하는 단계;
    현재 동적인 블록의 공간 특성이 이웃한 동적 블록의 공간 특성과 같고 다른 이웃한 모션 벡터가 0이 아닌 정적인 블록의 공간 특성과 다른 경우와 현재 동적인 블록의 영역의 공간 특성이 이웃한 정적인 블록 영역의 공간 특성과 같고 다른 이웃한 동적인 영역의 공간 특성과 다른 경우을 제외한 경우에는, 상기 영상 데이터의 현재 프레임과 이전의 프레임간의 블록의 차이가 없으면, 현재 동적인 블록을 거짓 움직이는 블록으로 설정하고 영 벌점을 증가시키는 단계;
    현재 동적인 블록의 공간 특성이 이웃한 동적 블록의 공간 특성과 같고 다른 이웃한 모션 벡터가 0이 아닌 정적인 블록의 공간 특성과 다른 경우와 현재 동적인 블록의 영역의 공간 특성이 이웃한 정적인 블록 영역의 공간 특성과 같고 다른 이웃한 동적인 영역의 공간 특성과 다른 경우을 제외한 경우에는, 영상 데이터의 현재 프레임과 이전의 프레임간의 블록의 차이가 있으면, 현재 동적인 블록을 실제 움직이는 블록으로 설정하고 불확정 벌점을 증가시키는 단계; 및
    한 영역에서 상기 실제 움직이는 블록의 개수를 TB, 상기 거짓 움직이는 블 록의 개수를 FB, 상기 영 벌점을 ZP 그리고 상기 불확정 벌점을 UP라고 하고, α를
    Figure 111999010250806-pat00047
    Figure 111999010250806-pat00048
    라고 설정하면
    α ≥ 1 인 경우 상기 영역을 움직이는 물체로 설정하고, 그 외에는 상기 영역을 배경으로 설정하는 단계를 포함하는 것을 특징으로 하는 영상 데이터 물체/배경 세그먼테이션 방법.
  16. 제11항에 있어서, 상기 물체 경계 적응 단계는,
    상기 DCT의 DCT 계수가 N×N 이고, 이 DCT 계수에 포함된 상기 DCT가 적용된 블록의 수직 주파수에 존재하는 모서리 성분의 분산이 δ 2 vedge 이고, 상기 DCT가 적용된 블록의 수평 주파수에 존재하는 모서리 성분의 분산이 δ 2 hedge 이며, T edge 는 소정의 기준값일 때에, 상기 블록은 N 2 δ 2 vedge + N 2 δ 2 hedge < T edge 이면 모서리 블록으로 설정하고, 그렇지 않으면 배경으로 설정하는 것을 특징으로 하는 영상 데이터 물체/배경 세그먼테이션 방법.
  17. 영상 데이터를 세그먼테이션하는 장치에 있어서,
    영상 데이터를 프레임 단위로 입력으로 하여 블록단위로 모션 추정(motion estimation)을 하여 모션 벡터를 구하고 현재 입력되는 영상 프레임과 이전의 영상 프레임과의 모션 보상(motion compensation)을 하는 모션 추정/보상부;
    상기 모션 보상된 블록을 DCT(Discrete Cosine Transform)하여 DCT 계수들을 구하는 DCT부;
    상기 모션 벡터들 중에서 0이 아닌 모션 벡터를 가지는 동적인 블록을 구하는 시간 특성 추출부;
    상기 동적인 블록과 상기 영상 데이터를 소정 크기의 블록 단위로 DCT하여 각 블록별로 DCT 계수를 포함하는 공간 특성을 구하는 공간 특성 추출부;
    상기 모션 벡터들과 상기 DCT 계수들을 포함하는 공간 특성을 이용하여 상기 영상 데이터에서 움직이는 물체와 배경을 분리하는 세그먼테이션부; 및
    상기 DCT부에서 출력된 DCT 계수와 상기 세그멘테이션부에서 추출된 물체와 배경을 양자화하는 양자화부를 포함하는 것을 특징으로 하는 영상 데이터 세그먼테이션 장치
  18. 제17항에 있어서,
    상기 양자화부는 상기 DCT부에서 출력된 DCT 계수를 양자화하여 상기 영상 데이터를 압축하는 압축 양자화부; 및
    상기 세그먼테이션부에서 분리된 물체와 배경에 서로 다른 양자화 변수를 적용시키는 분리 양자화부를 포함하는 것을 특징으로 하는 영상 데이터 세그먼테이션 장치.
  19. 제17항에 있어서, 상기 공간 특성 추출부는
    상기 영상 데이터 블록에서 DCT 계수를 구하는 DCT 계수부;
    상기 DCT 계수와 연관되도록 상기 영상 데이터 블록의 평균값 및 분산을 구하는 통계치 계산부;
    상기 영상 데이터 블록의 고주파수 DCT 계수를 구하는 고주파 계수부; 및
    상기 평균값, 분산 및 상기 고주파수 DCT 계수로부터 공간 특성 벡터를 구하는 공간 특성 벡터 계산부를 포함하는 것을 특징으로 하는 영상 데이터 세그먼테이션 장치.
  20. 제19항에 있어서, 상기 DCT 계수부의 2차원의 N×N DCT 계수들 ν(k,l)은
    Figure 111999010250806-pat00049
    Figure 111999010250806-pat00050
    이고, u(m,n)은 공간 영역에서의 이미지일 때에.
    Figure 111999010250806-pat00051
    임을 특징으로 하는 영상 데이터 세그먼테이션 장치.
  21. 제19항에 있어서, 상기 통계치 계산부에서
    Figure 111999010250806-pat00052
    Figure 111999010250806-pat00053
    이고, u(m,n)은 공간 영역에서의 이미지일 때에. 상기 DCT 계수부의 2차원의 N×N DCT 계수들 ν(k,l)은
    Figure 111999010250806-pat00054
    일 때에,
    평균값(μ)은
    Figure 111999010250806-pat00055
    이며, 분산값(σ²)은
    Figure 111999010250806-pat00056
    임을 특징으로 하는 영상 데이터 세그먼테이션 장치.
  22. 제19항에 있어서, 상기 고주파수 계수부에서
    Figure 111999010250806-pat00057
    이고, u(m,n)은 공간 영역에서의 이미지일 때에.
    2차원의 N×N DCT 계수들 ν(k,l)은
    Figure 111999010250806-pat00058
    Figure 111999010250806-pat00059
    Figure 111999010250806-pat00060
    이며, 이때 ν(0,l)은 수평 고주파수, ν(k,0)는 수직 고주파수 그리고 ν(k,l)은 1≤k,l≤N-1인 경우 수직 수평이 혼합된 고주파수임을 특징으로 하는 영상 데이터 세그먼테이션 장치.
  23. 제21항 또는 제22항에 있어서, 상기 공간 특성 벡터 계산부에서, 공간 특성 벡터 f spatial = (f 0 , f 1 , f 2 , f 3 )이고,
    f 0 , f 1 , f 2 , f 3 는 각각, vedge 첨자는 수직 주파수에 존재하는 모서리 성분을 나타내고, hedge 첨자는 수평 주파수에 존재하는 모서리 성분을 나타내며, texture 첨자는 혼합된 수평-수직 주파수의 모서리 성분을 나타낼 때에,
    Figure 111999010250806-pat00061
    Figure 111999010250806-pat00062
    Figure 111999010250806-pat00063
    Figure 111999010250806-pat00064
    임을 특징으로 하는 영상 데이터 세그먼테이션 장치.
  24. 제17항에 있어서, 상기 세그먼테이션부는
    상기 동적인 블록들을 시작점으로 하여 이웃한 블록과 공간 특성 벡터가 유사하면 이웃 블록을 상기 동적인 블록과 같은 특성 벡터를 가진 블록으로 설정하는 공간 세그먼테이션부;
    상기 공간적으로 세그멘트된 각 영역이 움직이는지 혹은 아닌지를 검출하고 움직이는 물체 영역과 배경 영역을 구분하는 시간 세그먼테이션부; 및
    물체의 경계를 배경과 구별하는 물체 경계 적응부를 포함하는 것을 특징으로 하는 영상 데이터를 세그먼테이션하는 장치.
  25. 제24항에 있어서, 상기 공간적인 세그먼테이션부는,
    f i spatial 이 제 23항에 따른 i번째 블록의 공간 특성 벡터이고, 상기 영상 데이터의 DCT 계수가 2차원의 N×N 이며, T spatial 은 소정의 문턱값일 때에, 이웃한 블록의 공간 특성 벡터를 상기 동적인 블록과 같게 하는 것은 다음의 식
    Figure 111999010250806-pat00065
    Figure 111999010250806-pat00066
    Figure 111999010250806-pat00067
    이 만족될 때까지 블록 설정을 진행하는 것을 특징으로 하는 영상 데이터를 세그먼테이션하는 장치.
  26. 제24항에 있어서, 상기 시간적인 세그먼테이션부는,
    상기 영상 데이터의 이전의 프레임과 현재의 프레임을 비교하여 한 영역에서 모션 벡터는 0이 아니며 실제로는 움직이는 실제 움직이는 블록의 개수와 모션 벡터는 0이 아니면서 실제로는 움직이지 않는 거짓 움직이는 블록의 개수를 구하는 수단; 및
    한 영역에서 상기 실제 움직이는 블록의 개수가 상기 거짓 움직이는 블록의 개수보다 많으면 그 영역은 움직이는 물체로 결정하고 그렇지 않으면 그 영역은 배경으로 결정하는 수단을 포함하는 것을 특징으로 하는 영상 데이터를 세그먼테이션하는 장치.
  27. 제24항에 있어서, 상기 시간적인 세그먼테이션부는,
    현재 동적인 블록의 공간 특성이 이웃한 동적 블록의 공간 특성과 같고 다른 이웃한 모션 벡터가 0이 아닌 정적인 블록의 공간 특성과 다르면, 현재 동적인 블록을 실제 움직이는 블록으로 설정하는 수단;
    현재 동적인 블록의 영역의 공간 특성이 이웃한 동적 블록의 영역의 공간 특성과 다르고 다른 이웃한 모션 벡터가 0이 아닌 정적인 영역의 공간 특성과 같으면, 현재 동적인 블록을 거짓 움직이는 블록으로 설정하는 수단;
    영상 데이터의 현재 프레임과 이전의 프레임간의 블록의 차이가 없으면, 현재 동적인 블록을 거짓 움직이는 블록으로 설정하고 영 벌점을 증가시키는 수단;
    영상 데이터의 현재 프레임과 이전의 프레임간의 블록의 차이가 있으면, 현재 동적인 블록을 실제 움직이는 블록으로 설정하고 불확정 벌점을 증가시키는 수단; 및
    한 영역에서 상기 실제 움직이는 블록의 개수를 TB, 상기 거짓 움직이는 블록의 개수를 FB, 상기 영 벌점을 ZP 그리고 상기 불확정 벌점을 UP라고 하고, α를
    Figure 111999010250806-pat00068
    Figure 111999010250806-pat00069
    라고 설정하여
    α ≥ 1 인 경우 상기 영역을 움직이는 물체로 설정하고, 그 외에는 상기 영역을 배경으로 설정하는 수단을 포함하는 것을 특징으로 하는 영상 데이터를 세그먼테이션하는 장치.
  28. 제24항에 있어서, 상기 물체 경계 적응부는, 상기 DCT의 DCT 계수가 N×N 이고, 이 DCT 계수에 포함된 상기 DCT가 적용된 블록의 수직 주파수에 존재하는 모서리 성분의 분산이 δ 2 vedge 이고, 상기 DCT가 적용된 블록의 수평 주파수에 존재하는 모서리 성분의 분산이 δ 2 hedge 이며, T edge 는 소정의 기준값일 때에, 상기 블록은 N 2 δ 2 vedge + N 2 δ 2 hedge < T edge 이면 모서리 블록으로 설정하고, 그렇지 않으면 배경으로 설정하는 것을 특징으로 하는 영상 데이터를 세그먼테이션하는 장치.
KR1019990035846A 1999-08-27 1999-08-27 영상 데이터 세그먼테이션 방법 및 장치 KR100608036B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019990035846A KR100608036B1 (ko) 1999-08-27 1999-08-27 영상 데이터 세그먼테이션 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019990035846A KR100608036B1 (ko) 1999-08-27 1999-08-27 영상 데이터 세그먼테이션 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20010019448A KR20010019448A (ko) 2001-03-15
KR100608036B1 true KR100608036B1 (ko) 2006-08-02

Family

ID=19608932

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019990035846A KR100608036B1 (ko) 1999-08-27 1999-08-27 영상 데이터 세그먼테이션 방법 및 장치

Country Status (1)

Country Link
KR (1) KR100608036B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150040559A (ko) * 2013-10-07 2015-04-15 에스케이텔레콤 주식회사 관심영역 기반의 화질개선 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020052220A (ko) * 2001-05-30 2002-07-03 유봉훈 엠펙을 이용한 고화소 화상의 영상데이터 압축전송 및수신방법
DE10300048B4 (de) 2002-01-05 2005-05-12 Samsung Electronics Co., Ltd., Suwon Verfahren und Vorrichtung zur Bildcodierung und -decodierung
KR20030072909A (ko) * 2002-03-07 2003-09-19 주식회사 엘지이아이 동영상 디코더의 객체 세그멘테이션 방법
KR100513721B1 (ko) * 2002-11-14 2005-09-08 삼성전자주식회사 영상의 배경 특성을 이용한 영상 부호화 장치 및 방법
KR100682953B1 (ko) * 2005-12-14 2007-02-15 삼성전자주식회사 인물 검출장치 및 방법
KR101281165B1 (ko) 2006-02-08 2013-07-02 삼성전자주식회사 대류 정렬을 이용한 나노입자의 배열방법 및 그에 적용되는대류 정렬 장치
KR100788704B1 (ko) * 2006-11-15 2007-12-26 삼성전자주식회사 영상 변환 방법 및 그 장치
KR101725668B1 (ko) * 2015-10-15 2017-04-11 한국과학기술원 4d 영상의 화질 개선을 위한 반복적 움직임 보상 기법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970078649A (ko) * 1996-05-16 1997-12-12 배순훈 적응적 부호화기능을 갖는 영상 부호화기
KR0180133B1 (ko) * 1994-12-28 1999-05-01 김영환 영상 데이타의 물체별 정보 부호화 방법 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0180133B1 (ko) * 1994-12-28 1999-05-01 김영환 영상 데이타의 물체별 정보 부호화 방법 및 방법
KR970078649A (ko) * 1996-05-16 1997-12-12 배순훈 적응적 부호화기능을 갖는 영상 부호화기

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150040559A (ko) * 2013-10-07 2015-04-15 에스케이텔레콤 주식회사 관심영역 기반의 화질개선 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체
KR102136716B1 (ko) * 2013-10-07 2020-07-23 에스케이 텔레콤주식회사 관심영역 기반의 화질개선 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체

Also Published As

Publication number Publication date
KR20010019448A (ko) 2001-03-15

Similar Documents

Publication Publication Date Title
JP3258840B2 (ja) 動画像符号化装置および領域抽出装置
EP1805994B1 (en) Deblocking filter
USRE41422E1 (en) Decoding apparatus including a filtering unit configured to filter an image by performing an averaging operation selectively based on at least one candidate pixel associated with a pixel to be filtered
US7697612B2 (en) Image preprocessing with selective lowpass filtering from motion compensation
DE69912084T2 (de) Verfahren zur Erkennung von Szenenüberblendungen zur Indexierung von Videosequenzen
US7822125B2 (en) Method for chroma deblocking
KR100608036B1 (ko) 영상 데이터 세그먼테이션 방법 및 장치
KR100229796B1 (ko) 열화영상에 대한 보상기능을 갖는 영상 복호화 시스템
Klock et al. Region-based motion compensated 3D-wavelet transform coding of video
Jacquin et al. Content-adaptive postfiltering for very low bit rate video
JPH0710103B2 (ja) 画像符号化伝送装置
KR100885441B1 (ko) 블록 경계 영역 필터링 방법
Ji et al. Region-based video segmentation using dct coefficients
KR100598368B1 (ko) 블록 경계 영역 필터링 방법
KR100598369B1 (ko) 블록 경계 영역 필터링 방법
KR100764345B1 (ko) 이동통신망에서의 동영상 화질 개선 방법 및 이를 구현하는장치
KR100524856B1 (ko) 블록 경계 영역 필터링 방법
Wang et al. Hybrid video coding for low bit-rate applications
KR100917207B1 (ko) 블록 경계 영역 필터링 방법
KR100839304B1 (ko) 동영상 디코딩 방법
KR100598367B1 (ko) 블록 경계 영역 필터링 방법
KR100917208B1 (ko) 블록 경계 영역 필터링 방법
KR100712382B1 (ko) 에이치.264 동영상 표준 부호화 방식의 성능 향상을 위한전처리 필터링 방법
JPH03124181A (ja) 動画像符号化方式
Lee et al. Video coding with a variable block-sizing technique in the wavelet transform domain

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130627

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140627

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee