KR100585733B1 - 영상 처리 시스템의 손실 블록 특성 자동 판단 방법 및 장치 - Google Patents

영상 처리 시스템의 손실 블록 특성 자동 판단 방법 및 장치 Download PDF

Info

Publication number
KR100585733B1
KR100585733B1 KR20030072251A KR20030072251A KR100585733B1 KR 100585733 B1 KR100585733 B1 KR 100585733B1 KR 20030072251 A KR20030072251 A KR 20030072251A KR 20030072251 A KR20030072251 A KR 20030072251A KR 100585733 B1 KR100585733 B1 KR 100585733B1
Authority
KR
South Korea
Prior art keywords
block
lost
motion vector
lost block
variance
Prior art date
Application number
KR20030072251A
Other languages
English (en)
Other versions
KR20050036547A (ko
Inventor
서광덕
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR20030072251A priority Critical patent/KR100585733B1/ko
Priority to AT04024275T priority patent/ATE525859T1/de
Priority to EP20040024275 priority patent/EP1524861B1/en
Priority to JP2004302320A priority patent/JP4837909B2/ja
Priority to US10/964,739 priority patent/US7729424B2/en
Priority to CNB2004100861469A priority patent/CN100405854C/zh
Publication of KR20050036547A publication Critical patent/KR20050036547A/ko
Application granted granted Critical
Publication of KR100585733B1 publication Critical patent/KR100585733B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 영상 처리 시스템의 손실 블록 특성 자동 판단 방법 및 장치에 관한 것으로 특히, 동영상 전송 시에 손실된 블록의 특성을 자동으로 판단하여 손실 블록의 복구를 위한 정보로 제공하도록 함에 목적이 있다. 이러한 목적의 본 발명은 다자 간 화상 회의 시스템의 동영상 처리 방법에 있어서, 동영상 블록 손실 발생이 확인되면 현재 프레임과 이전 프레임에 대해 인접 픽셀 간 시간적 차이값의 총합을 산출하는 단계(S102,S103)와, 동영상 블록 손실 발생이 확인되면 손실 블록에 대한 주변 블록의 움직임 벡터에 대해 분산값의 총합을 산출하는 단계(S104,S105)와, 상기 산출된 픽셀간 시간 차값의 총합과 움직임 벡터 분산값의 총합을 미리 설정된 문턱값과 비교하여 손실 블록의 특성을 판단하는 단계(S106,S107)와, 상기 판단된 손실 블록의 특성을 참조하여 해당 손실 블록을 복구하는 단계를 수행하도록 구성함을 특징으로 한다.

Description

영상 처리 시스템의 손실 블록 특성 자동 판단 방법 및 장치{METHOD AND APPARATUS FOR AUTOMATIC CHARACTERISTIC CLASSIFICATION OF LOST BLOCK IN PICTURE PROCESSING SYSTEM}
도1은 본 발명의 실시예에서 손실 블록 특성 판단 과정을 보인 신호 흐름도.
도2는 현재 화면과 이전 화면에 대해 인접 픽셀 간 시간차를 보인 예시도.
도3은 손실된 블록의 주변 블록의 움직임 벡터를 보인 예시도.
도4는 본 발명의 실시예에서 장면 전환 블록의 비용 함수 분포도.
도5는 도4에서의 비용 함수 간의 상관도.
도6은 본 발명의 실시예에서 카메라 움직임 유형 블록의 비용 함수 분포도.
도7은 도6에서의 비용 함수 간의 상관도.
도8은 본 발명의 실시예에서 움직이는 물체 유형 블록의 비용 함수 분포도.
도9는 도8에서의 비용 함수 간의 상관도.
도10은 본 발명의 실시예에서 정지 화면 유형 블록의 비용 함수 분포도.
도11은 도10에서의 비용 함수 간의 상관도.
도12는 본 발명의 실시예에서 정의한 각 유형 블록의 분포도.
도13은 본 발명의 실시예에서 장면 전환 유형 블록의 비용 함수에 대한 평균값과 표준편차값을 보인 표.
도14는 본 발명의 실시예에서 각 유형 블록 판단 알고리즘을 보인 표.
본 발명은 영상 처리 기술에 관한 것으로 특히, 디지털 동영상 처리에 있어서 손실된 블록의 특성을 자동으로 판단하는 방법 및 장치에 관한 것이다.
동영상 처리 기술은 영상 촬영 장비에 필수적으로 탑재되며 근래 디지털 카메라가 장착되는 휴대 단말기 특히, 이동 통신 단말기에도 탑재되고 있다.
동영상의 가장 큰 특징은 정지 영상과 비교하였을 때 장면의 특성과 움직임 정도가 서로 다른 여러 장의 화면(frame)으로 구성된다는 것이다.
각각의 화면은 영상 부호화의 단위가 되는 16*16 픽셀 크기의 블록들로 구성된다.
그런데, 촬영한 동영상을 전송할 때 전송 채널에서 발생한 오류로 인해 전송된 동영상 블록이 손실될 수 있다.
따라서, 수신기에서는 손실 블록에 대한 복구를 위해서 그 손실 블록의 특성을 잘 파악하여야만 가장 적합한 오류 은닉(error concealment) 기법을 적용할 수 있다.
이처럼 손실 블록의 특성 판단 결과는 복호기(decoder) 단에서 각 블록별로 적용이 가능한 최적의 오류 은닉 기법을 선택하는 중요한 기준으로 활용될 수 있다.
본 발명은 동영상 전송 시에 손실된 블록의 특성을 자동으로 판단하여 손실 블록의 복구를 위한 정보로 제공하도록 창안한 영상 처리 시스템의 손실 블록 특성 자동 판단 방법 및 장치를 제공함에 목적이 있다.
특히, 본 발명은 다자 간 화상 회의 시스템에 있어서 채널 전송된 동영상 블록에 손실이 발생하는 경우 그 해당 손실 블록의 특성을 판단하여 해당 손실 블록을 정상적으로 복구하도록 함에 목적이 있는 것이다.
본 발명은 상기의 목적을 달성하기 위하여 동영상 처리 방법에 있어서, 동영상 블록 손실 발생이 확인되면 현재 프레임과 이전 프레임에 대해 인접 픽셀 간 차값의 총합을 산출하는 단계와, 동영상 블록 손실 발생이 확인되면 손실 블록에 대한 주변 블록의 움직임 벡터에 대해 분산값의 총합을 산출하는 단계와, 상기 픽셀간 차값의 총합과 분산값의 총합을 미리 설정된 문턱값과 비교하여 손실 블록의 특성을 판단하는 단계와, 상기 손실 블록의 특성을 참조하여 해당 손실 블록을 복구하는 단계를 수행함을 특징으로 한다.
상기에서 인접 픽셀 간 차값은 인접 픽셀 간의 차값이 미리 설정된 문턱값보다 크면 '1'로, 작으면 '0'으로 산출하는 것을 특징으로 한다.
상기에서 주변 블록의 움직임 벡터에 대한 분산값의 총합은 각 블록의 움직 임 벡터의 제곱값의 총합에서 각 움직임 벡터의 총합의 제곱값을 감산하여 산출하는 것을 특징으로 한다.
상기에서 손실 블록의 특성 판단 단계는 인접 픽셀 간의 차값의 총합이 제1 문턱값 이상이면 장면 전환 블록으로 판단하는 과정과, 인접 픽셀 간의 시간 차값의 총합이 제2 문턱값 이상이고 움직임 벡터 분산값의 총합이 제3 문턱값 이하이면 카메라 움직임 유형 블록으로 판단하는 과정과, 인접 픽셀 간의 시간 차값의 총합이 제2 문턱값 이상이고 움직임 벡터 분산값의 총합이 제4 문턱값 이상이면 움직이는 물체 유형 블록으로 판단하는 과정과, 인접 픽셀 간의 시간 차값의 총합과 움직임 벡터 분산값의 총합이 각기 제5 문턱값 이하이면 정지 화면 블록으로 판단하는 과정을 수행함을 특징으로 한다.
또한, 본 발명은 상기의 목적을 달성하기 위하여 동영상 처리 기능을 구비하는 영상 장치에 있어서, 전송된 동영상 블록 중 손실 블록 여부를 검출하는 수단과, 손실 블록 발생이 검출되면 현재 프레임과 이전 프레임에 대해 인접 픽셀 간 시간 차값의 총합을 산출하는 픽셀차 산출 수단과, 손실 블록 발생이 검출되면 손실 블록에 대한 주변 블록의 움직임 벡터에 대해 분산값의 총합을 산출하는 분산값 산출 수단과, 상기 픽셀간 시간 차값의 총합과 움직임 벡터 분산값의 총합을 미리 설정된 문턱값과 비교하여 손실 블록의 특성을 판단하는 블록 특성 판단 수단과, 상기 판단된 손실 블록의 특성을 참조하여 해당 블록을 복구하는 수단을 구비하여 구성함을 특징으로 한다.
이하, 본 발명을 도면에 의거 상세히 설명하면 다음과 같다.
도1은 본 발명의 실시예에서 동영상 손실 블록 처리 과정을 보인 신호 흐름도로서 이에 도시한 바와 같이, 전송된 동영상 블록의 손실 여부를 판단하는 단계(S101)와, 상기에서 동영상 블록 손실 발생이 확인되면 현재 프레임과 이전 프레임에 대해 인접 픽셀 간 시간적 차이값의 총합을 산출하는 단계(S102,S103)와, 상기에서 동영상 블록 손실 발생이 확인되면 손실 블록에 대한 주변 블록의 움직임 벡터에 대해 분산값의 총합을 산출하는 단계(S104,S105)와, 상기에서 산출된 픽셀간 시간 차값의 총합과 움직임 벡터 분산값의 총합을 미리 설정된 문턱값과 비교하여 손실 블록의 특성을 판단하는 단계(S106,S107)와, 상기에서 판단된 손실 블록의 특성을 참조하여 해당 손실 블록을 복구하는 단계를 수행하도록 구성한다.
즉, 본 발명의 실시예는 인접 픽셀 간의 시간적 차이와 주변 움직임 벡터의 분산을 이용하여 비용 함수를 통한 비용값들을 도출하는 단계와, 이 값들을 블록 특성 분류기에 입력시켜 최종적으로 손실된 블록들의 특성을 판단하는 단계를 포함하는 것이다.
본 발명의 실시예에서는 손실된 블록을 크게 5가지로 분류하는데, 화면 간 장면의 전환이 일어난 블록을 "scene change", 일정한 방향성이 없이 움직이는 물체가 있는 블록을 "object moving", 정지한 카메라 영상의 뒷 배경과 같이 움직임이 거의 없는 블록을 "no movement", 카메라 자체가 움직여 영상이 전체적으로 비슷한 움직임을 갖는 블록을 "camera moving", 상기 4가지 부류에 속하지 않는 블록을 "otherwise"로 분류하는 것으로 가정하여 설명하기로 한다.
이와같이 구성한 본 발명의 실시예에 대한 동작 및 작용 효과를 도2 내지 도14를 참조하여 설명하면 다음과 같다.
단계(S101)에서 손실된 블록 발생을 판단하면 그 손실된 블록의 특성을 파악하기 위해 단계(S102,S103)(S104,S105)를 수행하여 2가지의 정보를 얻게 된다.
먼저, 인접 픽셀 간의 시간적 차이(temporal difference)를 이용하여 비용 함수(
Figure 112003038608125-pat00001
)를 산출하는 단계(S102,S103)를 설명하기로 한다.
도2는 손실된 블록의 주위에 인접하는 픽셀들과 이전 화면의 동일 위치에 존재하는 픽셀 값들과의 시간적인 차이를 도시한 것이다. 도2에서 빗금친 부분은 현재 화면의 손실된 블록과 이전 화면에서의 블록의 인접 픽셀들을 나타내고 있다.
일반적으로 16*16 크기의 매크로 블록은 주위에 16*4 = 64개의 인접 픽셀들이 있다.
이전 프레임과의 시간적인 차이가 어떤 문턱치(threshold)를 넘는 인접 픽셀들의 수를 비용 함수(cost function)로 정의한다.
상기 정의된 비용 함수는 아래의 [수학식 1]과 [수학식 2]로 표현할 수 있다.
Figure 112003038608125-pat00002
Figure 112003038608125-pat00003
위의 [수학식 2]에서
Figure 112003038608125-pat00004
는 손실 블록 주위의 픽셀값을 의미하고,
Figure 112003038608125-pat00005
는 이전 화면에서 현재 손실 블록과 동일한 곳에 위치한 블록의 주위 픽셀값을 의미한다.
따라서, 상기 [수학식 1]과 [수학식 2]로 표현되는 비용 함수(
Figure 112003038608125-pat00006
) 값이 적은 경우는 손실 블록이 이전 화면의 동일한 위치에 있는 블록으로부터 큰 변화가 있지 않음을 의미한다. 즉, 손실 블록의 움직임이 크지 않음을 의미하는 것이다.
반대로 비용 함수(
Figure 112003038608125-pat00007
) 값이 큰 경우 즉, 이전 화면과의 시간적 차이가 큰 경우에는 움직임이 크거나 장면 전환이 일어났다고 가정할 수 있다.
[수학식 1]에서 얻어진 비용 함수(
Figure 112003038608125-pat00008
)는 문턱치(
Figure 112003038608125-pat00009
)와 비교를 통해 블록의 성질을 결정하는 근거가 된다. 즉,
Figure 112003038608125-pat00010
인 경우에는 현재 화면이 이전 화면과의 차이가 크지 않은 경우로써 움직임의 크기가 작은 경우라 판단할 수 있으며, 그 반대의 경우는 움직임이 크거나 장면 전환이 일어났다고 예측할 수 있다.
그리고, 손실 블록에 대한 주변 블록의 움직임 벡터를 이용하여 비용 함수(
Figure 112003038608125-pat00011
)를 산출하는 단계(S104,S105)를 설명하기로 한다.
도3은 손실 블록과 그 주위 블록들의 움직임 벡터를 도시한 예시도이다.
손실 블록의 움직임은 주위 블록들의 움직임과 밀접한 상관성이 있기 때문에 그 움직임 벡터를 이용하여 블록의 성질을 판단할 수 있다.
즉, 주위 블록들의 움직임 벡터의 크기가 거의 일정한 경우에는 전체적으로 블록들의 움직임 방향이 일정하다고 볼 수 있다. 이 경우 손실 블록 또한 같은 방향의 움직임을 갖는다고 판단할 수 있다
반대로 주위 블록들의 움직임 벡터들이 일정치 않은 값들을 갖는 경우에는 손실 블록의 움직임을 예측하기 어렵게 된다.
따라서, 주위 블록들의 움직임 벡터들의 분산을 이용하여 아래의 [수학식 3]과 [수학식 4]로 표현되는 비용 함수(
Figure 112003038608125-pat00012
)를 얻을 수 있다.
Figure 112003038608125-pat00013
Figure 112003038608125-pat00014
상기 [수학식 4]에서
Figure 112003038608125-pat00015
와
Figure 112003038608125-pat00016
는 각각
Figure 112003038608125-pat00017
의 수평 성분과 수직 성분을 나타낸다.
[수학식 3]은 움직임 벡터들의 분산을 구하는 식과 같다. 즉, 움직임 벡터들의 분산값을 이용하여 움직임의 방향이 일정한 방향인가를 판단하게 된다.
비용 함수(
Figure 112003038608125-pat00018
)의 값이 작은 경우에는 7개의 움직임 벡터(
Figure 112003038608125-pat00019
~
Figure 112003038608125-pat00020
)가 비슷한 값을 갖는다는 것을 의미한다. 반대로 비용 함수(
Figure 112003038608125-pat00021
)의 값이 큰 경우에는 움직임 벡터값들의 값이 넓게 분포되어 주위 움직임이 일정하지 않다는 것을 알 수 있다.
구체적인 판단은 비용 함수(
Figure 112003038608125-pat00022
)와 문턱치(
Figure 112003038608125-pat00023
)의 비교에 의해 블록 성질을 판단할 수 있다.
따라서, 단계(S106,S107)에서 상기의 과정으로 산출된 비용 함수(
Figure 112003038608125-pat00024
)(
Figure 112003038608125-pat00025
)를 이용하여 손실된 블록의 특성을 판단할 수 있는데, 이를 설명하면 다음과 같다.
손실된 블록의 특성은 비용 함수(
Figure 112003038608125-pat00026
)와 문턱치(
Figure 112003038608125-pat00027
), 비용 함수(
Figure 112003038608125-pat00028
)와 문턱치(
Figure 112003038608125-pat00029
)의 비교에 의해 판단하게 된다.
문턱치(
Figure 112003038608125-pat00030
)(
Figure 112003038608125-pat00031
)는 실험을 통해 가장 알맞은 값을 찾아낸다.
본 발명의 실시예에서는 문턱치(
Figure 112003038608125-pat00032
)(
Figure 112003038608125-pat00033
)를 찾기 위하여 4가지 블록의 특성과 비용 함수(
Figure 112003038608125-pat00034
)(
Figure 112003038608125-pat00035
)의 관계를 파악한다.
도4 내지 도11은 4가지 블록의 특성과 비용 함수의 관계 및 비용 함수(
Figure 112003038608125-pat00036
,
Figure 112003038608125-pat00037
) 간의 상관성을 나타낸 것이다.
도4는 장면 전환의 특성을 갖는 블록들의 비용 함수(
Figure 112003038608125-pat00038
,
Figure 112003038608125-pat00039
)의 분포도이다.
도4(a)는 인접 픽셀의 시간적 차이값인 비용 함수(
Figure 112003038608125-pat00040
)의 분포를 도시한 것으로, 대부분의 값이 '60'을 넘는 것을 알 수 있다.
도4(b)는 비용 함수(
Figure 112003038608125-pat00041
)의 분포를 도시한 것으로, 이 값은 어떤 값에 편중됨이 없이 전체적으로 고른 분포를 갖는다는 것을 알 수 있다.
도5는 장면 전환 블록에 대한 비용 함수(
Figure 112003038608125-pat00042
)(
Figure 112003038608125-pat00043
) 간의 상관성을 보여주는 그래프이다. 도5에서 알 수 있듯이 장면 전환 유형의 블록은 비용 함수(
Figure 112003038608125-pat00044
)의 값에만 의존한다는 것을 알 수 있다.
도13의 [표1]에서 장면 전환 블록에 대한 비용 함수(
Figure 112003038608125-pat00045
)(
Figure 112003038608125-pat00046
)의 평균값과 표준편차 값을 도시하였다. [표1]을 살펴보면, 비용 함수(
Figure 112003038608125-pat00047
)는 작은 표준편차 값을 보여 평균인 '61.53' 근처에 몰려 있음을 알 수 있는 반면 비용 함수(
Figure 112003038608125-pat00048
)는 큰 표준편차 값으로 데이터가 고른 분포를 갖음을 볼 수 있다.
따라서, 손실 블록을 장면 전환 유형의 요소로 판단하는 기준은 비용 함수(
Figure 112003038608125-pat00049
)만을 사용하고 문턱치(
Figure 112003038608125-pat00050
)는 '60'으로 정할 수 있다.
즉, 장면 전환의 특성을 갖는 블록의 판단은 다음의 [수학식 5]를 이용한다.
Figure 112003038608125-pat00051
도6은 카메라 움직임의 특성을 갖는 블록들에 대한 비용 함수(
Figure 112003038608125-pat00052
,
Figure 112003038608125-pat00053
)의 분포도이다.
비용 함수(
Figure 112003038608125-pat00054
)의 경우에는 장면 전환 블록들보다는 넓게 분포하지만 대부분 '30' 이상의 큰 값을 가짐을 알 수 있다.
반면에 비용 함수(
Figure 112003038608125-pat00055
)의 경우에는 대부분 '50' 이하의 작은 값을 갖는데 이는 화면 전체의 움직임이 일정하므로 주위 블록들의 움직임 벡터들이 거의 비슷 한 값을 갖게 되기 때문이다.
도7은 움직이는 카메라 블록에 대한 비용 함수(
Figure 112003038608125-pat00056
,
Figure 112003038608125-pat00057
) 값의 상관도를 도시한 것으로, 비용 함수(
Figure 112003038608125-pat00058
)는 크고 비용 함수(
Figure 112003038608125-pat00059
)는 작은 부분에 데이터가 편중되어 있음을 알 수 있다.
움직이는 카메라 유형의 블록에 대한 판단은 다음의 [수학식 6]을 이용한다.
Figure 112003038608125-pat00060
도8은 움직이는 물체 유형 블록에 대한 비용 함수(
Figure 112003038608125-pat00061
,
Figure 112003038608125-pat00062
)의 분포도이다.
도8에서 보듯이 전체적으로 비용 함수(
Figure 112003038608125-pat00063
,
Figure 112003038608125-pat00064
)의 분포가 넓게 퍼져 있음을 알 수 있다. 비용 함수(
Figure 112003038608125-pat00065
)의 경우에는 어느 정도 큰 값을 갖는다는 것을 알 수 있다. 비용 함수(
Figure 112003038608125-pat00066
)는 '100' 부근에 많은 데이터들이 몰려 있음을 알 수 있다. 도면에서 보듯이 편중된 값을 보이지는 않지만, 움직이는 물체의 특성상 움직임 벡터의 분포가 클 것이라 예상된다.
도9는 움직이는 물체 유형 블록에 대한 비용 함수(
Figure 112003038608125-pat00067
,
Figure 112003038608125-pat00068
)의 상관도를 도시한 것으로, 큰 부분에 데이터가 편중되어 있음을 알 수 있다.
다음의 [수학식 7]을 만족하는 경우의 블록을 움직이는 물체 유형의 블록으로 판단한다.
Figure 112003038608125-pat00069
도10은 정지 화면 유형 블록에 대한 비용 함수(
Figure 112003038608125-pat00070
,
Figure 112003038608125-pat00071
)의 분포도이다.
도10을 보면 전체적으로 비용 함수(
Figure 112003038608125-pat00072
,
Figure 112003038608125-pat00073
)의 분포가 작은 부분에 편중되어 퍼져 있게 된다.
비용 함수(
Figure 112003038608125-pat00074
)의 경우에는 '25' 이하에 대부분이 포함되는데, 이는 현재 화면이 이전 화면과의 차이가 매우 작음을 의미한다. 비용 함수(
Figure 112003038608125-pat00075
) 역시 '25' 이하 부근에 많은 데이터가 몰려 있다.
도11에서 정지 화면 블록에 대한 비용 함수(
Figure 112003038608125-pat00076
,
Figure 112003038608125-pat00077
)의 상관도를 도시한 것이다. 도면에서 보듯이 비용 함수(
Figure 112003038608125-pat00078
)(
Figure 112003038608125-pat00079
)는 모두 작은 값을 보이고 있다.
따라서, 다음의 [수학식 8]을 만족하는 경우의 블록을 정지 물체 유형의 블록으로 판단한다.
Figure 112003038608125-pat00080
[수학식 8]에서 비용 함수(
Figure 112003038608125-pat00081
)의 값은 여유를 두어 '50'으로 선택하였다.
상기 과정과 같이 문턱치를 이용하여 각 블록 유형을 판단하는 알고리즘은 도14의 [표 2]와 같다. 즉, 손실된 블록의 특성은 비용 함수(
Figure 112003038608125-pat00082
,
Figure 112003038608125-pat00083
) 값의 범위가 일치하는 유형의 요소로 판단하는 것이다.
도12는 도14의 [표 2]에서 정의한 각 블록 유형들의 분포를 나타낸 것이다.
도12에서 볼 때 움직임이 작거나 현재 화면과 이전 화면의 차이가 작은 블록은 아래 왼쪽에 분포하고 반대로 움직임이 크거나 현재 화면과 이전 화면의 화면 간 시간적 차이가 큰 블록은 위 오른쪽에 분포함을 알 수 있다.
한편, 상기와 같은 과정으로 손실된 블록의 특성이 확인되면 이를 참고하여 손실된 블록을 복구하게 되는데, 본 발명에서는 오류 은닉 방법을 이용한다. 즉, 본 발명의 복호기는 손실블록의 특성에 따라 적용 가능한 최적의 오류 은닉 방법을 선택하여 손실블록을 복구하게 된다.
현재 오류 은닉 방법으로는 다양한 방법이 제안되어 있는데, DI(Directional Interpolation), MDI(Multi- Directional Interpolation) 등을 예로 들 수 있다.
상기 MDI 방법은 손실블록의 주변블록 들에 대해 손실블록 내에 1개 이상의 우세에지 방향들을 추정한 후 그 추정된 방향에 따라 보간하여 손실블록을 복구하는 방법이다.
상기 DI 방법은 손실블록의 주변블록들에 대하여 방향성 마스크(directional mask)를 적용하여 손실블록의 우세 에지 방향을 판별한 후 그 판별된 방향에 따른 손실블록의 화소들만을 이용하여 보간하여 손실블록을 복구하는 방법이다.
상기에서 상세히 설명한 바와 같이 본 발명은 무선망, 인터넷 등과 같은 채널 오류가 빈번한 환경에서 손실된 블록의 화면 특성을 자동적으로 판단할 수 있음으로 이를 손실된 블록의 복구에 유용한 정보로 활용할 수 있다.
따라서, 본 발명을 적용하면 채널 오류가 빈번한 환경에서도 깨짐이 없는 동영상을 제공할 수 있는 효과가 있다.

Claims (6)

  1. 손실블록의 특성에 따라 최적의 복구방법을 선택하는 영상처리 방법에 있어서,
    동영상의 손실 블록에 대해 현재 프레임과 이전 프레임에 대해 인접 픽셀 간 시간적 차이값(
    Figure 112005078623274-pat00125
    )을 산출하는 단계와,
    상기 손실 블록에 대한 주변 블록의 움직임 벡터의 분산값(
    Figure 112005078623274-pat00126
    )을 산출하는 단계와,
    상기 픽셀간 시간 차값과 움직임 벡터 분산값을 미리 설정된 문턱값과 비교하여 손실 블록의 특성을 판단하는 단계를 수행함을 특징으로 하는 영상 처리 시스템의 손실 블록 특성 자동 판단 방법.
  2. 제1항에 있어서, 인접 픽셀 간 시간 차값은 16*16 블록을 가정하면 아래의 수학식과 같은 과정으로 산출하는 것을 특징으로 하는 영상 처리 시스템의 손실 블록 특성 자동 판단 방법.
    Figure 112005078623274-pat00084
    Figure 112005078623274-pat00085
    상기에서
    Figure 112005078623274-pat00086
    는 손실 블록 주위의 픽셀값,
    Figure 112005078623274-pat00087
    는 이전 화면에서 현재 손실 블록과 동일한 곳에 위치한 블록의 주위 픽셀값이다.
  3. 제1항에 있어서, 주변 블록의 움직임 벡터에 대한 분산값은 16*16 블록을 가정하면 아래의 수학식과 같은 과정으로 산출하는 것을 특징으로 하는 영상 처리 시스템의 손실 블록 특성 자동 판단 방법.
    Figure 112005078623274-pat00088
    Figure 112005078623274-pat00089
    상기에서
    Figure 112005078623274-pat00090
    와
    Figure 112005078623274-pat00091
    는 각각
    Figure 112005078623274-pat00092
    의 수평 성분과 수직 성분을 나타낸다.
  4. 제1항에 있어서, 손실 블록의 특성 판단 단계는
    인접 픽셀 간의 시간 차값(
    Figure 112003038608125-pat00093
    )이 제1 문턱값(
    Figure 112003038608125-pat00094
    ) 이상이면 장면 전환 블록으로 판단하는 과정과,
    인접 픽셀 간의 시간 차(
    Figure 112003038608125-pat00095
    )이 제2 문턱값(
    Figure 112003038608125-pat00096
    ) 이상이고 움직임 벡터의 분산값(
    Figure 112003038608125-pat00097
    )이 제3 문턱값(
    Figure 112003038608125-pat00098
    ) 이하이면 카메라 움직임 유형의 블록으로 판단하는 과정과,
    인접 픽셀 간의 시간 차값(
    Figure 112003038608125-pat00099
    )이 제2 문턱값(
    Figure 112003038608125-pat00100
    ) 이상이고 움직임 벡터의 분산값(
    Figure 112003038608125-pat00101
    )이 제4 문턱값(
    Figure 112003038608125-pat00102
    ) 이상이면 움직이는 물체 유형의 블록으로 판단하는 과정과,
    인접 픽셀 간의 시간 차값(
    Figure 112003038608125-pat00103
    )과 움직임 벡터의 분산값(
    Figure 112003038608125-pat00104
    )이 각기 제5 문턱값(
    Figure 112003038608125-pat00105
    ) 이하이면 정지 화면 블록으로 판단하는 과정으로 이루어짐 을 특징으로 하는 영상 처리 시스템의 손실 블록 특성 자동 판단 방법.
    상기에서
    Figure 112003038608125-pat00106
    <
    Figure 112003038608125-pat00107
    <
    Figure 112003038608125-pat00108
    <
    Figure 112003038608125-pat00109
    <
    Figure 112003038608125-pat00110
    이다.
  5. 동영상 전송 시에 손실된 블록이 있는지 검출하는 수단과,
    손실 블록이 검출되면 현재 프레임과 이전 프레임에 대해 인접 픽셀 간의 시간적 차이값을 산출하는 픽셀차 산출 수단과,
    손실 블록이 검출되면 손실 블록에 대한 주변 블록의 움직임 벡터에 대해 분산값을 산출하는 분산값 산출 수단과,
    상기 픽셀간 시간 차값과 움직임 벡터 분산값을 미리 설정된 문턱값과 비교하여 손실 블록의 특성을 판단하는 블록 특성 판단 수단을 구비하여 구성함을 특징으로 하는 영상 처리 시스템의 손실 블록 특성 자동 판단 장치.
  6. 제5항에 있어서, 상기 손실 블록의 특성을 참조하여 해당 손실 블록을 복구하는 수단을 더 구비하여 구성함을 특징으로 하는 영상 처리 시스템의 손실 블록 특성 자동 판단 장치.
KR20030072251A 2003-10-16 2003-10-16 영상 처리 시스템의 손실 블록 특성 자동 판단 방법 및 장치 KR100585733B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR20030072251A KR100585733B1 (ko) 2003-10-16 2003-10-16 영상 처리 시스템의 손실 블록 특성 자동 판단 방법 및 장치
AT04024275T ATE525859T1 (de) 2003-10-16 2004-10-12 Fehlerverschleierung stützend auf zeitliche differenzen nahliegender pixels und bewegungsvektoren nahliegender blöcke
EP20040024275 EP1524861B1 (en) 2003-10-16 2004-10-12 Error concealment involving temporal differences of close pixels and motion vectors of close blocks
JP2004302320A JP4837909B2 (ja) 2003-10-16 2004-10-15 画像処理システムの損失ブロック特性判断装置及びその方法
US10/964,739 US7729424B2 (en) 2003-10-16 2004-10-15 Apparatus and method for judging lost block characteristic in video processing system
CNB2004100861469A CN100405854C (zh) 2003-10-16 2004-10-18 用于在视频处理系统中判断丢失模块的特性的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20030072251A KR100585733B1 (ko) 2003-10-16 2003-10-16 영상 처리 시스템의 손실 블록 특성 자동 판단 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20050036547A KR20050036547A (ko) 2005-04-20
KR100585733B1 true KR100585733B1 (ko) 2006-06-07

Family

ID=34374286

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20030072251A KR100585733B1 (ko) 2003-10-16 2003-10-16 영상 처리 시스템의 손실 블록 특성 자동 판단 방법 및 장치

Country Status (6)

Country Link
US (1) US7729424B2 (ko)
EP (1) EP1524861B1 (ko)
JP (1) JP4837909B2 (ko)
KR (1) KR100585733B1 (ko)
CN (1) CN100405854C (ko)
AT (1) ATE525859T1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9105306B2 (en) * 2006-12-27 2015-08-11 Nec Corporation Identifying objects in images using object identity probabilities based on interframe distances
CN101102504B (zh) * 2007-07-24 2010-09-08 中兴通讯股份有限公司 一种结合视频编码器的混合运动检测方法
GB2507511B (en) * 2012-10-31 2015-09-23 Canon Kk Method and device for processing an image belonging to a set of images in a display system
US11425412B1 (en) * 2020-11-10 2022-08-23 Amazon Technologies, Inc. Motion cues for video encoding

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0125581B1 (ko) * 1991-07-24 1998-07-01 구자홍 디지탈 영상신호의 에러수정 시스템
JPH05244468A (ja) * 1992-02-28 1993-09-21 Mitsubishi Electric Corp 画像受信装置
US5247363A (en) * 1992-03-02 1993-09-21 Rca Thomson Licensing Corporation Error concealment apparatus for hdtv receivers
US5943444A (en) * 1993-03-31 1999-08-24 Canon Kabushiki Kaisha Image reproducing apparatus
US5621467A (en) * 1995-02-16 1997-04-15 Thomson Multimedia S.A. Temporal-spatial error concealment apparatus and method for video signal processors
KR100197368B1 (ko) * 1995-12-23 1999-06-15 전주범 영상 에러 복구 장치
JP3297293B2 (ja) 1996-03-07 2002-07-02 三菱電機株式会社 動画像復号方法および動画像復号装置
JP3351705B2 (ja) * 1997-04-25 2002-12-03 日本ビクター株式会社 動き補償符号化装置、動き補償符号化方法、及び記録媒体への記録方法
KR100301833B1 (ko) * 1998-08-20 2001-09-06 구자홍 오류은폐방법
US7110454B1 (en) * 1999-12-21 2006-09-19 Siemens Corporate Research, Inc. Integrated method for scene change detection
US20050033505A1 (en) * 2002-12-05 2005-02-10 Premier Wireless, Inc. Traffic surveillance and report system

Also Published As

Publication number Publication date
JP2005124212A (ja) 2005-05-12
US20050084017A1 (en) 2005-04-21
US7729424B2 (en) 2010-06-01
EP1524861A3 (en) 2005-12-21
CN100405854C (zh) 2008-07-23
JP4837909B2 (ja) 2011-12-14
EP1524861A2 (en) 2005-04-20
KR20050036547A (ko) 2005-04-20
ATE525859T1 (de) 2011-10-15
EP1524861B1 (en) 2011-09-21
CN1607839A (zh) 2005-04-20

Similar Documents

Publication Publication Date Title
US8199252B2 (en) Image-processing method and device
US9402034B2 (en) Adaptive auto exposure adjustment
US7720148B2 (en) Efficient multi-frame motion estimation for video compression
KR100721543B1 (ko) 통계적 정보를 이용하여 노이즈를 제거하는 영상 처리 방법및 시스템
US7911538B2 (en) Estimation of block artifact strength based on edge statistics
Thaipanich et al. Low complexity algorithm for robust video frame rate up-conversion (FRUC) technique
KR100621005B1 (ko) 영상 오류 복구장치 및 방법
US20030189980A1 (en) Method and apparatus for motion estimation between video frames
US20080002771A1 (en) Video segment motion categorization
JP5553979B2 (ja) 人間の視覚的許容度に基づくビデオ符号化の符号化ツールの選択
JP2002051341A (ja) 動画像符号化装置および動画像の特殊効果シーン検出装置
KR100585733B1 (ko) 영상 처리 시스템의 손실 블록 특성 자동 판단 방법 및 장치
JP2002536935A5 (ko)
US20050185716A1 (en) Device and method for preprocessing prior to coding of a sequence of images
CN113902651B (zh) 一种基于深度学习的视频画质增强系统
Kim et al. Error Concealment Using Intra‐Mode Information Included in H. 264/AVC‐Coded Bitstream
KR100912578B1 (ko) 에러 은닉 장치 및 방법
Zhao et al. MATHEMATICAL MODELS FOR QUALITY ANALYSIS OF MOBILE VIDEO.
Kim Geometric-based error concealment for concealing transmission errors and improving visual quality
Zhou et al. Efficient adaptive MRF-MAP error concealment of video sequences
Pasiyawala et al. Performance analysis of error concealment algorithm during image recovery
Kim et al. Spatial error concealment with low complexity in the H. 264 standard
Kim et al. Local Motion-Adaptive Interpolation Technique
JPH08223576A (ja) 境界整合の動き推定装置
JP2007274366A (ja) 動画像符号化装置、動きベクトル検出方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130424

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140424

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150424

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160422

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee