KR100431013B1 - 화상 부호화 시스템 - Google Patents

화상 부호화 시스템 Download PDF

Info

Publication number
KR100431013B1
KR100431013B1 KR10-2000-7003002A KR20007003002A KR100431013B1 KR 100431013 B1 KR100431013 B1 KR 100431013B1 KR 20007003002 A KR20007003002 A KR 20007003002A KR 100431013 B1 KR100431013 B1 KR 100431013B1
Authority
KR
South Korea
Prior art keywords
image
motion
reduced
motion information
frame
Prior art date
Application number
KR10-2000-7003002A
Other languages
English (en)
Other versions
KR20010030652A (ko
Inventor
카자야마마사히로
카세자와타다시
Original Assignee
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미쓰비시덴키 가부시키가이샤 filed Critical 미쓰비시덴키 가부시키가이샤
Publication of KR20010030652A publication Critical patent/KR20010030652A/ko
Application granted granted Critical
Publication of KR100431013B1 publication Critical patent/KR100431013B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search

Abstract

본 발명에 관련되는 화상 부호화 시스템은 현재의 프레임의 축소 화상과 참조 프레임의 축소 화상과의 사이에서 화면 전체의 움직임을 검출하여 글로벌 움직임 정보를 출력하는 글로벌 움직임 검출부와, 상기 글로벌 움직임 정보에 기초하여 그 주변의 좁은 탐색 범위에서 움직임 검출을 행하여, 움직임 보상 예측을 사용한 화상의 부호화 처리을 행하는 화상 부호화부를 구비한다.
그 결과, 화상 부호화부의 움직임 검출에 있어서의 연산량을 삭감할 수 있다.

Description

화상 부호화 시스템{Image encoding system}
종래의 화상 부호화 기술에 대해서 도면을 참조하면서 설명한다. 도 11은 예를 들면, MPEG2 등에서 행해지고 있는 움직임 보상 예측을 사용한 화상 부호화기의 구성을 도시하는 블록도이다.
도 11에 있어서, 300은 화상 부호화기, 3O1은 입력 단자, 302는 감산기, 303은 직교 변환기(DCT), 304는 양자화기, 305는 양자화 데이터, 306은 가변 길이 부호화기, 307은 가변 길이 부호화 데이터이다. 또한, 308은 역 양자화기, 309는 역 직교 변환기(IDCT), 310은 가산기, 311은 프레임 메모리, 312는 움직임 보상 예측 화상 데이터(참조 화상)이다. 또한, 320은 움직임 검출부, 321은 움직임 벡터 값, 322는 움직임 보상 예측부이다.
다음으로, 상기 화상 부호화기의 움직임에 대해서 도면을 참조하면서 설명한다. 도 12는 상기 종래의 화상 부호화기에 있어서의 움직임 검출 범위를 도시하는 도면이다.
화상 부호화기(300)는, 기본적으로, 1프레임의 화상 데이터를 매크로 블록 단위로 처리한다. 도 11에 있어서, 입력 단자(301)로부터 16 화소 ×16 라인의 1매크로 블록의 화상 데이터를 입력하고, 감산기(302)에 있어서, 움직임 보상 예측을 행한 참조 화상(312)과의 차분을 얻는다. 이어서, 직교 변환기(DCT)(303)에서 직교 변환을 행하여, 그 결과를 양자화기(304)에서 양자화하여, 양자화 데이터(305)를 얻는다. 이어서, 가변 길이 부호화기(306)에서는 양자화 데이터(305)의 가변 길이 부호화를 행하여, 가변 길이 부호화 데이터(307)를 송출한다.
또한, 양자화 데이터(305)는 역 양자화기(308)에서 역 양자화되고, 역 직교 변환기(IDCT)(309)에서 역 직교 변환이 행해진다. 이어서, 가산기(310)에 있어서, 움직임 보상 예측을 행한 참조 화상(312)과 가산되어, 프레임 메모리(311)에 저장된다.
움직임 검출부(320)에서는, 프레임 메모리(311)로부터의 데이터와, 입력 단자(301)로부터의 매크로 블록 데이터로부터 움직임 검출을 행하여, 움직임 벡터(321)를 구한다. 또한, 움직임 보상 예측부(322)는 움직임 벡터(321)에 기초하여 움직임 보상 예측을 행한다. 또한, 움직임 벡터(321)는 가변 길이 부호화기 (306)로 보내지고, 가변 길이 부호화가 행해져서, 가변 길이 부호화 데이터(307)로서 송출된다.
도 12는 종래의 화상 부호화기의 탐색 범위를 도시한 도면이다. 동일 도면에 있어서, 330은 탐색한 범위, 331은 최종적으로 구해진 움직임 벡터를 나타낸 것이다.
종래의 화상 부호화기는 움직임 검출부(320)에 있어서의 연산량이 대단히 크다. 움직임이 큰 화상에 대응하기 위해서는, 움직임의 탐색 범위를 넓게 잡을 필요가 있으며, 탐색 범위를 넓게 잡으면, 연산량은 탐색 범위의 사이즈에 따라서 증대한다. 최근에는, 현행 SDTV 화상에 비해, 고해상도인 HDTV 화상의 부호화 등도 왕성하게 행해져 왔지만, 해상도가 높은 만큼, 탐색 범위를 넓힐 필요가 있다.
이들 부호화 처리를 1칩에 수용하고자 하면, 움직임 검출부(320)에 있어서의 연산량을 줄이는 것이 요구되게 된다. 따라서, 움직임의 탐색 범위를 넓게 잡고자 하면, 화소를 줄이는 등, 연산 정밀도를 떨어뜨릴 필요가 있으며, 반드시 정확한 움직임을 검출할 수 있다는 뜻은 아니었다.
또한, 카메라의 팬 등의 화상에 대해서는, 어느 매크로 블록에 있어서도, 거의 동일한 움직임 검출 결과가 얻어지며, 카메라의 움직임 부근만을 탐색하면 충분하지만, 실제로는 탐색 범위 내를 모두 탐색하고 있으며, 쓸데 없는 연산을 행할 필요가 있다는 문제점이 있었다.
본 발명은 상술한 문제점을 해결하기 위해 이루어진 것으로, 움직임 검출에 있어서의 연산량을 삭감할 수 있는 화상 부호화 시스템을 얻는 것을 목적으로 한다.
본 발명은 MPEG2 등으로 대표되는 움직임 보상 예측을 사용한 화상 부호화 시스템에 관한 것이다.
도 1은 본 발명의 실시예 1에 관련되는 화상 부호화 시스템의 전체 구성을 도시하는 블록도.
도 2는 본 발명의 실시예 1에 관련되는 화상 부호화 시스템의 글로벌 움직임 검출부의 구성을 도시하는 블록도.
도 3은 본 발명의 실시예 1에 관련되는 화상 부호화 시스템의 움직임 검출 범위를 도시하는 도면.
도 4는 본 발명의 실시예 2에 관련되는 화상 부호화 시스템의 글로벌 움직임 검출부의 구성을 도시하는 블록도.
도 5는 본 발명의 실시예 3에 관련되는 화상 부호화 시스템에 있어서의 화상축소 전의 화상 이미지를 도시하는 도면.
도 6은 본 발명의 실시예 3에 관련되는 화상 부호화 시스템에 있어서의 화상 축소 후의 화상 이미지를 도시하는 도면.
도 7은 본 발명의 실시예 4에 관련되는 화상 부호화 시스템의 글로벌 움직임 검출부의 구성을 도시하는 블록도.
도 8은 본 발명의 실시예 4에 관련되는 화상 부호화 시스템의 글로벌 움직임 검출부 중 움직임 검출부의 구성을 도시하는 블록도.
도 9는 본 발명의 실시예 4에 관련되는 화상 부호화 시스템의 글로벌 움직임 검출부 중 움직임 검출부에 있어서의 로컬 움직임 검출에 있어서의 화면 분할예를 도시한 도면.
도 10은 본 발명의 실시예 5에 관련되는 화상 부호화 시스템의 글로벌 움직임 검출부의 구성을 도시하는 블록도.
도 11은 종래의 화상 부호화기의 구성을 도시하는 블록도.
도 12는 종래의 화상 부호화기의 움직임 검출 범위를 도시하는 도면.
본 발명에 관련되는 화상 부호화 시스템은 현재의 프레임의 축소 화상과 참조 프레임의 축소 화상과의 사이에서 화면 전체 움직임을 검출하여 글로벌 움직임 정보를 출력하는 글로벌 움직임 검출부와, 상기 글로벌 움직임 정보에 기초하여 그 주변의 좁은 탐색 범위에서 움직임 검출을 행하고, 움직임 보상 예측을 사용한 화상의 부호화 처리를 행하는 화상 부호화부를 구비한 것이다.
또한, 본 발명에 관련되는 화상 부호화 시스템은 상기 글로벌 움직임 검출부가 현재의 프레임의 화상을 축소화하는 제 1 화상 축소부와, 참조 프레임의 화상을 축소화하는 제 2 화상 축소부와, 상기 현재의 프레임의 축소 화상과 상기 참조 프레임의 축소 화상과의 사이에서 글로벌 움직임 검출을 행하는 움직임 검출부를 구비하는 것이다.
또한, 본 발명에 관련되는 화상 부호화 시스템은 상기 제 1 및 제 2 화상 축소부가 수평 a화소, 수직 b라인(a, b는 정수)의 화상을 필터링한 후 서브 샘플링을 행하여, 1화소의 데이터를 작성함으로써 화상 축소화를 행하는 것이다.
또한, 본 발명에 관련되는 화상 부호화 시스템은 상기 움직임 검출부가 상기 글로벌 움직임 검출을 행함과 동시에, 상기 현재의 프레임의 축소 화상과 상기 참조 프레임의 축소 화상과의 사이에서 화면의 부분적인 움직임을 검출하여 로컬 움직임 정보를 출력하며, 상기 글로벌 움직임 검출부는, 상기 검출된 글로벌 움직임 정보 및 로컬 움직임 정보로부터, 현재의 매크로 블록에 있어서 최적의 움직임 정보를 선택하여 매크로 블록 움직임 정보로서 상기 화상 부호화부로 출력하는 매크로 블록 움직임 결정부를 더 구비하는 것이다.
또한, 본 발명에 관련되는 화상 부호화 시스템은 상기 글로벌 움직임 검출부가 입력 화상을 축소화하는 화상 축소부와, 상기 축소화된 화상을 적어도 2프레임 이상 저장하는 축소 화상 프레임 메모리와, 상기 축소 화상 프레임 메모리에 저장된 축소 화상 중, 현재의 프레임의 축소 화상과 참조 프레임의 축소 화상을 추출하는 셀렉터와, 상기 현재의 프레임의 축소 화상과 상기 참조 프레임의 축소 화상과의 사이에서 글로벌 움직임 검출을 행하는 움직임 검출부를 구비하는 것이다.
또한, 본 발명에 관련되는 화상 부호화 시스템은 상기 화상 축소부가 수평 a화소, 수직 b라인(a, b는 정수)의 화상을 필터링한 후 서브 샘플링을 행하며, 1화소의 데이터를 작성함으로써 화상 축소화를 행하는 것이다.
또한, 본 발명에 관련되는 화상 부호화 시스템은 상기 움직임 검출부가 상기 글로벌 움직임 검출을 행함과 동시에, 상기 현재의 프레임의 축소 화상과 상기 참조 프레임의 축소 화상과의 사이에서 화면의 부분적인 움직임을 검출하여 로컬 움직임 정보를 출력하며, 상기 글로벌 움직임 검출부는, 상기 검출된 글로벌 움직임 정보 및 로컬 움직임 정보로부터, 현재의 매크로 블록에 있어서 최적의 움직임 정보를 선택하여 매크로 블록 움직임 정보로서 상기 화상 부호화부로 출력하는 매크로 블록 움직임 결정부를 더 구비하는 것이다.
이하, 본 발명의 각각의 실시예에 대해서 도면에 기초하여 설명한다.
(실시예 1)
본 발명의 실시예 1에 관련되는 화상 부호화 시스템에 대해서 도면을 참조하면서 설명한다. 도 1은 본 발명의 실시예 1에 관련되는 화상 부호화 시스템의 전체 구성을 도시하는 블록도이다. 또한, 각각의 도면에서, 동일 부호는 동일 또는 상당 부분을 나타낸다.
도 1에 있어서, 100은 글로벌 움직임 검출부, 300은 도 11에 도시하는 종래의 화상 부호화기와 동일 구성인 화상 부호화부이다.
글로벌 움직임 검출부(100)에서 글로벌 움직임을 구하고, 화상 부호화부(300)에서 부호화 처리를 행한다. 또한, 화상 부호화부(300)의 처리에 대해서는, 거의 종래와 동일한 처리를 행하고 있다.
도 2는 본 발명의 실시예 1에 관련되는 화상 부호화 시스템의 글로벌 움직임 검출부의 구성을 도시하는 블록도이다.
도 2에 있어서, 101은 현재의 프레임의 화상 데이터, 102는 화상 축소부, 103은 현재의 프레임의 축소 화상, 104는 예를 들면 도시하지 않은 프레임 메모리를 사용하여 얻은 참조 프레임의 화상 데이터, 105는 화상 축소부, 106은 참조 프레임의 축소 화상이다. 또한, 107은 움직임 검출부, 108은 글로벌 움직임 정보이다.
동일 도면에 있어서, 현재의 프레임의 화상 데이터(101)를 한쪽 화상 축소부(102)에 넣어, 현재의 프레임의 축소 화상(103)을 얻는다. 마찬가지로, 참조 프레임의 화상 데이터(104)를 다른쪽 화상 축소부(105)에 넣어, 참조 프레임의 축소 화상(106)을 얻는다. 그리고, 움직임 검출부(107)에서는, 현재의 프레임의 축소 화상(103) 및 참조 프레임의 축소 화상(106)으로부터 글로벌 움직임 정보(108)를 구한다. 이 글로벌 움직임 정보(108)는 종래와 마찬가지로, 현재의 프레임과 참조 프레임에 있어서, 차분 절대치합 등과 같은 평가치가 가장 작은 것의 벡터이다.
도 3은 글로벌 움직임 검출부(100)에서 구해진 벡터를 사용한 경우의 화상 부호화부(300)에 있어서의 탐색 범위를 도시한 도면이다. 동일 도면에 있어서, 109가 글로벌 움직임 검출부(100)에 있어서 최종적으로 구해진 움직임 벡터, 110은 화상 부호화부(300)에 있어서 탐색한 범위, 331은 화상 부호화부(300)에서 최종적으로 구해진 움직임 벡터이다. 즉, 화상 부호화부(300)에서 최종적으로 구해진 움직임 벡터(331)는 도 12에 도시하는 종래의 것과 동일하다. 또한, 330는 종래의 화상 부호화기(300)의 탐색 범위이다.
이상과 같이, 화상 부호화부(300)의 부호화에 앞서서, 글로벌 움직임 검출부(1O0)에서 화면 전체의 움직임을 검출한다. 그리고, 검출 결과(움직임 벡터(109))를 화상 부호화부(300) 중의 움직임 검출부(320)에서 사용하기 때문에, 화상 부호화부(300)의 움직임 검출부(320)는 움직임 벡터(109)의 주변인 좁은 탐색 범위(11O)를 탐색하는 것 만으로 되며, 움직임 검출에 있어서의 연산량을 저감할 수 있다.
(실시예 2)
상기 실시예 1에서는, 현재의 프레임의 화상과, 참조 프레임의 화상을 함께 입력하는 경우에 대해서 설명했지만, 이 실시예 2에서는, 복수 프레임분의 메모리를 가지고, 현재의 프레임 화상과, 참조 프레임 화상을 임의로 설정할 수 있도록 한 경우에 대해서 설명한다.
본 발명의 실시예 2에 관련되는 화상 부호화 시스템에 대해서 도면을 참조하면서 설명한다. 도 4는 본 발명의 실시예 2에 관련되는 화상 부호화 시스템의 글로벌 움직임 검출부의 구성을 도시하는 블록도이다. 또한, 화상 부호화부는 상기 실시예 1과 동일하다.
도 4에 있어서, 121은 입력 화상 데이터, 122는 화상 축소부, 123은 축소 화상 데이터, 124, 125 및 126은 축소 화상 프레임 메모리, 127은 셀렉터, 128은 움직임 검출부, 129는 글로벌 움직임 정보이다.
도 4는 축소 화상의 프레임 메모리를 3장 준비한 경우에 대해서 도시한 것이다. 동일 도면에 있어서, 입력 화상 데이터(121)를 화상 축소부(122)에 입력하여, 축소 화상 데이터(123)를 얻는다. 이 축소 화상 데이터(123)는 축소 화상 프레임 메모리(124 내지 126)에 입력된다.
축소 화상 프레임 메모리(124 내지 126)는 여기서는 3프레임분의 용량을 가지며, 예를 들면, 현재의 프레임용으로서 1프레임, 전방향 예측용 참조 프레임용으로서 1프레임, 후방향 예측용 참조 프레임용으로서 1프레임을 사용하는 것으로 한다.
셀렉터(127)는 이들 3프레임 중에서, 현재의 프레임의 화상 데이터와, 참조 프레임의 화상 데이터의 2프레임을 선택하고, 움직임 검출부(128)는 이들 2프레임의 화상으로부터 움직임 정보(129)를 구한다.
상기 실시예 1과 마찬가지로, 화상 부호화부(300)에 앞서서, 글로벌 움직임 검출부(1O0A)에서 화면 전체의 움직임을 검출하여, 검출 결과를 화상 부호화부(300) 중의 움직임 검출부(320)에서 사용하기 때문에, 화상 부호화부(3O0)의 움직임 검출부(320)에 있어서의 연산량을 저감할 수 있다. 또한, 실시예 1에 비해, 화상 축소부를 복수 가질 필요 없어, 연산량도 삭감할 수 있다.
(실시예 3)
이상의 실시예에서는, 화상의 축소 방법에 관해서는 서술하지 않았지만, 이 실시예 3에서는, 화상의 축소 방법의 예에 대해서 설명한다. 화상 사이즈는 너무 크게 하면, 연산량의 삭감에 대해서는 효과가 적어진다. 한편, 너무 작게 하면, 정확한 움직임 벡터가 구해진다고는 할 수 없다.
본 발명의 실시예 3에 관련되는 화상 부호화 시스템에 대해서 도면을 참조하면서 설명한다.
도 5는 축소 전의 화상 이미지를 도시한 것으로, 수평(H) 매크로 블록, 수직(V) 매크로 블록으로 이루어지는 화상(H×V 매크로 블록)을 도시한 것이다(H, V는 정수). 도면 중, 1개의 테두리가 1매크로 블록(16화소×16라인)에 상당한다. 이 화상을 축소할 때, 예를 들면 1매크로 블록=16화소×16라인의 256화소의 평균 값을 구해, 이 평균 값을 축소 화상의 1화소 값으로 한다.
도 6은 축소 후의 화상 이미지를 도시한 것으로, 수평 H화소, 수직 V라인으로 이루어지는 화상(H×V 화소)을 도시한 것이다. 도면 중, 1개의 테두리가 1화소에 상당한다.
이상, 1매크로 블록을 1화소로 축소한 경우에 대해서 서술했지만, 더욱 축소율을 크게 해도 되고, 반대로 축소율을 작게 해도 된다. 또한, 반드시 수평 방향과 수직 방향에 대해, 동일한 축소율로 축소할 필요도 없다.
또한, 인터레이스 화상의 경우, 움직임이 큰 화상에 있어서는, 매크로 블록 단위로 보면 제 1 필드와 제 2 필드에 있어서, 화상은 상당히 다른 경우가 있다. 이러한 경우에 있어서는, 제 1 필드 및 제 2 필드의 화상을 사용하여 축소 화상을 작성하는 것보다는, 제 1 필드 혹은 제 2 필드 중 어느 한 화상만을 사용하여 축소 화상을 작성하는 편이 정확한 움직임 검출이 가능해진다. 예를 들면, 제 1 필드의 16화소×8라인 혹은 제 2 필드의 16화소×8라인의 평균 값을 축소 화상의 1화소 값으로 한다. 이상, 1매크로 블록을 1화소로 축소할 경우에 대해서 서술했지만, 더욱 축소율을 크게 해도 되고, 반대로 축소율을 작게 해도 된다. 또한, 반드시 수평 방향과 수직 방향에 대해, 동일한 축소율로 축소할 필요도 없다.
상기와 같은 방법으로, 축소 화상을 작성하면, 그렇게 많지 않은 연산량으로 전체 움직임을 검출할 수 있다. 또한, 제 1 필드 또는 제 2 필드만의 화상을 사용하여 축소 화상을 작성함으로써, 움직임이 큰 화상에 있어서도, 정확한 움직임 검출이 가능하다.
(실시예 4)
이상의 실시예에서는, 글로벌 움직임 검출부에서 글로벌 움직임 정보만을 구했었지만, 이 실시예 4에서는, 로컬 움직임 정보도 구하는 예에 대해서 설명한다.
본 발명의 실시예 4에 관련되는 화상 부호화 시스템에 대해서 도면을 참조하면서 설명한다. 도 7은 본 발명의 실시예 4에 관련되는 화상 부호화 시스템의 글로벌 움직임 검출부의 구성을 도시하는 블록도이다. 또한, 화상 부호화부는 상기 실시예 1과 동일하다.
도 7에 있어서, 100B는 글로벌 움직임 검출부, 101은 현재의 프레임의 화상 데이터, 102는 화상 축소부, 103은 현재의 프레임의 축소 화상, 104는 예를 들면 도시하지 않는 프레임 메모리를 사용하여 얻은 참조 프레임의 화상 데이터, 105는 화상 축소부, 1O6은 참조 프레임의 축소 화상이다.
또한, 동일 도면에 있어서, 140은 움직임 검출부, 141은 글로벌 움직임 정보 및 로컬 움직임 정보, 142는 매크로 블록 움직임 결정부(MB 움직임 결정부), 143은 매크로 블록 움직임 정보, 144는 풀 화상 프레임 메모리, 145는 매크로 블록 데이터 절단부(MB 데이터 절단부), 146은 매크로 블록 데이터이다.
도 7에 있어서, 현재의 프레임의 화상 데이터(101)를 화상 축소부(102)에 넣어, 현재의 프레임의 축소 화상(103)을 얻는다. 마찬가지로, 참조 프레임의 데이터(104)를 화상 축소부(105)에 넣어, 참조 프레임의 축소 화상(106)을 얻는다.
다음으로, 움직임 검출부(140)에서는, 현재의 프레임의 축소 화상(103) 및 참조 프레임의 축소 화상(106)으로부터 화면 전체의 글로벌 움직임 정보 및 화면의 부분적인 로컬 움직임 정보(141)를 구한다. 다음으로, 매크로 블록 움직임 결정부(142)에서는, 구해진 글로벌 움직임 정보 및 로컬 움직임 정보(141)로부터, 현재의 매크로 블록에 있어서 최적의 움직임 정보가 선택되며, 매크로 블록 움직임 정보(143)로서 화상 부호화부(300)의 움직임 검출부(320)에 통지한다.
또한, 화상 부호화부(300)와의 접속을 생각한 경우, 화상 부호화부(300)에서는 매크로 블록 단위로 처리가 행해지고 있기 때문에, 글로벌 움직임 검출부(100B)에 있어서, 매크로 블록 움직임 정보(143)와 동기가 된 매크로 블록 데이터(146)를 함께 송부한다.
즉, 도 7에 있어서, 현재의 프레임의 화상 데이터(101)를 풀 화상 프레임 메모리(144)에 입력한다. 다음으로, 매크로 블록 데이터 절단부(145)에서는, 풀 화상 프레임 메모리(144)에 들어가 있는 데이터로부터, 매크로 블록 움직임 정보(143)에 대응하는 특정한 매크로 블록 데이터를 절단하여, 매크로 블록 데이터(146)로서, 화상 부호화부(300) 중의 입력 단자(301)에 송부한다.
도 8은 글로벌 움직임 정보와 로컬 움직임 정보를 구하는 움직임 검출부(140)의 구성을 도시하는 블록도이다.
도 8에 있어서, 140은 움직임 검출부, 1401은 글로벌 움직임 연산부, 1402는 글로벌 움직임 정보, 1403은 로컬 움직임 연산부, 1404는 로컬 움직임 정보이다.
글로벌 움직임 연산부(1401)에서는, 현재의 프레임 화상의 축소 화상 데이터(103) 및 참조 프레임 화상의 축소 화상 데이터(106)를 바탕으로, 축소 화상 전체의 움직임을 구하여, 글로벌 움직임 정보(1402)로서 출력한다. 또한, 로컬 움직임 연산부(1403)에서는, 현재의 프레임 화상의 축소 화상 데이터(103) 및 참조 프레임 화상의 축소 화상 데이터(106)를 바탕으로, 축소 화상 일부분의 움직임을 구하여, 로컬 움직임 정보(1404)로서 출력한다. 또한, 로컬 움직임 연산부(1403)는 화면 분할 수만큼 필요하다.
또한, 여기서 행하고 있는 글로벌 움직임 정보, 로컬 움직임 정보와 같은 움직임 정보는 2프레임 사이의 차분 절대치합 등과 같은 평가 값 및 움직임 벡터 값을 1세트로 한 것을, 평가 값이 작은 쪽으로부터 적어도 1세트분 이상의 정보를 의미하고 있다.
도 9는 수평 H화소, 수직 V라인(H, V는 정수)의 축소 화상에 있어서의 화면분할의 예로, 수평 방향으로 m분할, 수직 방향으로 n분할(m, n은 정수)한 것이다. 이 예의 경우, 로컬 움직임 연산부(1403)는 m×n개 필요하다. 또한, 반드시 동일한 면적으로 분할할 필요는 없으며, 특정한 부분에 대해 움직임을 구할 필요가 없을 경우, 그 부분에 관한 로컬 움직임 검출을 행할 필요도 없다.
이상과 같이, 움직임 검출부(14O)에 로컬 움직임 연산부(1403)를 설치함으로써, 예를 들면 자동차의 이동과 같은 화상의 국부적인 움직임을 또한 추적하는 움직임을 검출할 수 있다.
또한, 매크로 블록 움직임 정보(143)와 매크로 블록 데이터(146)를 동기화하여, 화상 부호화부(300)에 송부함으로써, 화상 부호화부(300)가 1칩이 된 경우 등에 있어서도, 화상 부호화부(300)는 그대로 효과적인 움직임 보상 예측이 행해진다.
(실시예 5)
상기 실시예 4에서는, 현재의 프레임의 화상과 참조 프레임의 화상을 함께 입력할 경우에 로컬 움직임 정보를 구하는 예에 대해서 설명했지만, 이 실시예 5에서는, 복수 프레임분의 메모리를 가지고, 현재의 프레임 화상과 참조 프레임 화상을 임의로 설정할 수 있도록 한 경우에 로컬 움직임 정보를 구하는 예에 대해서 또한 설명할 것이다.
본 발명의 실시예 5에 관련되는 화상 부호화 시스템에 대해서 도면을 참조하면서 설명한다. 도 10은 본 발명의 실시예 5에 관련되는 화상 부호화 시스템의 글로벌 움직임 검출부의 구성을 도시하는 블록도이다. 또한, 화상 부호화부는 상기 실시예 1과 동일하다.
도 10에 있어서, 121은 입력 화상 데이터, 122는 화상 축소부, 123은 축소 화상 데이터, 124, 125 및 126은 축소 화상 프레임 메모리, 127은 셀렉터이다.
또한, 동일 도면에 있어서, 150은 움직임 검출부, 151은 글로벌 움직임 정보 및 로컬 움직임 정보, 152는 매크로 블록 움직임 결정부(MB 움직임 결정부), 153은 매크로 블록 움직임 정보, 154는 풀 화상 프레임 메모리, 155는 매크로 블록 데이터 절단부(MB 데이터 절단부), 156은 매크로 블록 데이터이다.
이들 움직임 검출부(15O) 내지 매크로 블록 데이터(156)는 실시예 4의 움직임 검출부(14O) 내지 매크로 블록 데이터(146)와 동일하다.
도 10은 축소 화상의 프레임 메모리를 3장 준비한 경우에 대해서 도시한 것이다. 동일 도면에 있어서, 입력 화상 데이터(121)를 화상 축소부(122)에 입력하여, 축소 화상(123)을 얻는다. 이 축소 화상(123)은 축소 화상 프레임 메모리에 입력된다.
축소 화상 프레임 메모리(124 내지 126)는 여기서는 3프레임분의 용량을 가지며, 예를 들면, 현재의 프레임용으로서 1프레임, 전방향 예측용 참조 프레임용으로서 1프레임, 후방향 예측용 참조 프레임용으로서 1프레임 사용하는 것으로 한다.
다음으로, 셀렉터(127)는 이들 중에서, 현재의 프레임의 화상과, 참조 프레임 화상의 2프레임을 선택한다. 이들 화상으로부터 움직임 검출부(150)에서 화면 전체의 글로벌 움직임 정보 및 화면의 부분적인 로컬 움직임 정보(151)를 구한다.
그리고, 매크로 블록 움직임 결정부(152)에서는, 구해진 글로벌 움직임 정보 및 로컬 움직임 정보(151)로부터, 현재의 매크로 블록에 있어서 최적의 움직임 정보가 선택되며, 매크로 블록 움직임 정보(153)로서 화상 부호화부(300) 중의 움직임 검출부(320)에 통지한다.
또한, 화상 부호화부(300)와의 접속을 생각한 경우, 화상 부호화부(300)에서는 매크로 블록 단위로 처리가 행해지고 있기 때문에, 글로벌 움직임 검출부(100C)에 있어서, 움직임 정보와 동기가 얻어진 부호화 데이터를 함께 송부한다.
즉, 도 10에 있어서, 입력 화상 데이터(121)를 풀 화상 프레임 메모리(154)에 입력한다. 다음으로, 매크로 블록 데이터 절단부(155)에서는, 풀 화상 프레임 메모리(154)에 들어가 있는 데이터로부터, 매크로 블록 움직임 정보(153)에 대응하는 특정한 매크로 블록 데이터를 절단하여, 매크로 블록 데이터(156)로서, 화상 부호화부(300) 중의 입력 단자(3O1)에 송부한다.
이상과 같이, 움직임 검출부(150)에 로컬 움직임 연산부를 설치함으로써, 예를 들면 차의 이동과 같은 화상의 국소적인 움직임을 추적한 움직임을 또한 검출할 수 있다.
또한, 매크로 블록 움직임 정보(153)와 매크로 블록 데이터(156)를 동기하여, 화상 부호화부(30O)에 송부함으로써, 화상 부호화부(300)가 1칩이 된 경우 등에 있어서도, 화상 부호화부(300)는 그대로 효과적인 움직임 보상 예측이 행해진다.
또한, 상기 실시예 4에 비해, 화상 축소부를 복수 가질 필요가 없어, 연산량도 삭감할 수 있다.
본 발명에 관련되는 화상 부호화 시스템은 이상 설명한 대로, 현재의 프레임의 축소 화상과 참조 프레임의 축소 화상과의 사이에서 화면 전체의 움직임을 검출하여 글로벌 움직임 정보를 출력하는 글로벌 움직임 검출부와, 상기 글로벌 움직임 정보에 기초하여 그 주변의 좁은 탐색 범위에서 움직임 검출을 행하여, 움직임 보상 예측을 사용한 화상의 부호화 처리를 행하는 화상 부호화부를 구비했기 때문에, 화상 부호화부의 움직임 검출에 있어서의 연산량을 삭감할 수 있다는 효과를 낸다.
또한, 본 발명에 관련되는 화상 부호화 시스템은 이상 설명한 대로, 상기 글로벌 움직임 검출부가 현재의 프레임의 화상을 축소화하는 제 1 화상 축소부와, 참조 프레임의 화상을 축소화하는 제 2 화상 축소부와, 상기 현재의 프레임의 축소 화상과 상기 참조 프레임의 축소 화상과의 사이에서 글로벌 움직임 검출을 행하는 움직임 검출부를 구비하기 때문에, 화상 부호화부의 움직임 검출에 있어서의 연산량을 삭감할 수 있다는 효과를 낸다.
또한, 본 발명에 관련되는 화상 부호화 시스템은 이상 설명한 대로, 상기 제 1 및 제 2 화상 축소부가 수평 a화소, 수직 b라인(a, b는 정수)의 화상을 필터링한 후 서브 샘플링을 행하며, 1화소의 데이터를 작성함으로써 화상 축소화를 행하기 때문에, 예를 들면 1매크로 블록 정도의 화상을 1화소로 축소함으로써, 글로벌 움직임 검출부에 있어서의 연산량도 그 정도로 늘어나지 않고, 적절한 움직임을 구할 수 있다는 효과를 낸다.
또한, 본 발명에 관련되는 화상 부호화 시스템은 이상 설명한 대로, 상기 움직임 검출부가 상기 글로벌 움직임 검출을 행함과 동시에, 상기 현재의 프레임의 축소 화상과 상기 참조 프레임의 축소 화상과의 사이에서 화면의 부분적인 움직임을 검출하여 로컬 움직임 정보를 출력하며, 상기 글로벌 움직임 검출부는 더욱 상기 검출된 글로벌 움직임 정보 및 로컬 움직임 정보로부터, 현재의 매크로 블록에 있어서 최적의 움직임 정보를 선택하여 매크로 블록 움직임 정보로서 상기 화상 부호화부로 출력하는 매크로 블록 움직임 결정부를 구비하기 때문에, 화상의 국소적인 움직임에 대해서도 가장 적합한 움직임을 구할 수 있다는 효과를 낸다.
또한, 본 발명에 관련되는 화상 부호화 시스템은 이상 설명한 대로, 상기 글로벌 움직임 검출부가 입력 화상을 축소화하는 화상 축소부와, 상기 축소화된 화상을 적어도 2프레임 이상 저장하는 축소 화상 프레임 메모리와, 상기 축소 화상 프레임 메모리에 저장된 축소 화상 중, 현재의 프레임의 축소 화상과 참조 프레임의 축소 화상을 추출하는 셀렉터와, 상기 현재의 프레임의 축소 화상과 상기 참조 프레임의 축소 화상과의 사이에서 글로벌 움직임 검출을 행하는 움직임 검출부를 구비하기 때문에, 화상 축소부를 복수 갖지 않아도 되며, 더욱 연산량을 삭감할 수 있다는 효과를 낸다.
또한, 본 발명에 관련되는 화상 부호화 시스템은 이상 설명한 대로, 상기 화상 축소부가 수평 a화소, 수직 b라인(a, b는 정수)의 화상을 필터링한 후 서브 샘플링을 행하며, 1화소 데이터를 작성함으로써 화상 축소화를 행하기 때문에, 예를 들면 1매크로 블록 정도의 화상을 1화소로 축소함으로써, 글로벌 움직임 검출부에 있어서의 연산량도 그 정도로 늘리지 않고, 적절한 움직임을 구할 수 있다는 효과를 낸다.
또한, 본 발명에 관련되는 화상 부호화 시스템은 이상 설명한 대로, 상기 움직임 검출부가 상기 글로벌 움직임 검출을 행함과 동시에, 상기 현재의 프레임의 축소 화상과 상기 참조 프레임의 축소 화상과의 사이에서 화면의 부분적인 움직임을 검출하여 로컬 움직임 정보를 출력하며, 상기 글로벌 움직임 검출부는, 상기 검출된 글로벌 움직임 정보 및 로컬 움직임 정보로부터, 현재의 매크로 블록에 있어서 최적의 움직임 정보를 선택하여 매크로 블록 움직임 정보로서 상기 화상 부호화부로 출력하는 매크로 블록 움직임 결정부를 더 구비하기 때문에, 화상의 국소적인 움직임에 대해서도 가장 적합한 움직임을 구할 수 있다는 효과를 낸다.

Claims (7)

  1. 글로벌 움직임 검출부로서,
    현재의 프레임의 축소 화상과 참조 프레임의 축소 화상과의 사이에서 화면 전체의 움직임을 검출하여 글로벌 움직임 정보를 출력함과 동시에, 상기 현재의 프레임의 축소 화상과 상기 참조 프레임의 축소 화상과의 사이에서 화면의 부분적인 움직임을 검출하여 로컬 움직임 정보를 출력하는 움직임 검출부와,
    상기 글로벌 움직임 정보 및 상기 로컬 움직임 정보로부터, 현재의 매크로 블록에 있어서 가장 적합한 움직임 정보를 선택하여 매크로 블록 움직임 정보를 출력하는 매크로 블록 움직임 결정부를 구비한 상기 글로벌 움직임 검출부와,
    상기 매크로 블록 움직임 정보에 기초하여 그 주변의 좁은 탐색 범위에서 움직임 검출을 행하여, 움직임 보상 예측을 사용한 화상의 부호화 처리를 행하는 화상 부호화부를 구비하는 화상 부호화 시스템.
  2. 제 1 항에 있어서,
    상기 글로벌 움직임 검출부는,
    현재의 프레임의 화상을 축소화하는 제 1 화상 축소부와,
    참조 프레임의 화상을 축소화하는 제 2 화상 축소부와,
    상기 현재의 프레임의 축소 화상과 상기 참조 프레임의 축소 화상과의 사이에서 글로벌 움직임 검출을 행하는 움직임 검출부를 구비하는, 화상 부호화 시스템.
  3. 제 2 항에 있어서,
    상기 제 1 및 제 2 화상 축소부는, 수평 a화소, 수직 b라인(a, b는 정수)의 화상을 필터링한 후에 서브 샘플링을 행하며, 1화소의 데이터를 작성함으로써 화상 축소화를 행하는, 화상 부호화 시스템.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 글로벌 움직임 검출부는,
    입력 화상을 축소화하는 화상 축소부와,
    상기 축소화된 화상을 적어도 2프레임 이상 저장하는 축소 화상 프레임 메모리와,
    상기 축소 화상 프레임 메모리에 저장된 축소 화상 중, 현재의 프레임의 축소 화상과 참조 프레임의 축소 화상을 추출하는 셀렉터를 더 구비하는, 화상 부호화 시스템.
  6. 제 5 항에 있어서,
    상기 화상 축소부는, 수평 a화소, 수직 b라인(a, b는 정수)의 화상을 필터링한 후에 서브 샘플링을 행하며, 1화소의 데이터를 작성함으로써 화상 축소화를 행하는, 화상 부호화 시스템.
  7. 삭제
KR10-2000-7003002A 1998-07-22 1998-07-22 화상 부호화 시스템 KR100431013B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP1998/003277 WO2000005899A1 (en) 1998-07-22 1998-07-22 Image encoding system

Publications (2)

Publication Number Publication Date
KR20010030652A KR20010030652A (ko) 2001-04-16
KR100431013B1 true KR100431013B1 (ko) 2004-05-12

Family

ID=14208662

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2000-7003002A KR100431013B1 (ko) 1998-07-22 1998-07-22 화상 부호화 시스템

Country Status (5)

Country Link
US (1) US6574370B1 (ko)
EP (1) EP1018841A4 (ko)
KR (1) KR100431013B1 (ko)
TW (1) TW376665B (ko)
WO (1) WO2000005899A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE404019T1 (de) * 2001-09-12 2008-08-15 Nxp Bv Bewegungsschätzung und/oder kompensation
US7830400B2 (en) 2004-04-12 2010-11-09 Mitsubishi Electric Corporation Display unit
US9225994B2 (en) * 2005-03-14 2015-12-29 British Telecommunications Public Limited Company Global motion estimation using reduced frame lines
KR100714698B1 (ko) * 2005-08-29 2007-05-07 삼성전자주식회사 향상된 움직임 추정 방법, 상기 방법을 이용한 비디오인코딩 방법 및 장치
JP2007142521A (ja) * 2005-11-15 2007-06-07 Sharp Corp 動きベクトル算出装置および動きベクトル算出方法
KR20070053402A (ko) * 2005-11-21 2007-05-25 주식회사 대우일렉트로닉스 영상 압축 시스템의 움직임 보상 방법
JP4606311B2 (ja) * 2005-11-21 2011-01-05 シャープ株式会社 画像符号化装置および画像符号化方法
JP4564564B2 (ja) * 2008-12-22 2010-10-20 株式会社東芝 動画像再生装置、動画像再生方法および動画像再生プログラム
KR101710883B1 (ko) * 2009-11-04 2017-02-28 삼성전자주식회사 필터 정보를 이용한 영상 압축 장치 및 방법과 영상 복원 장치 및 방법
JP2011135230A (ja) * 2009-12-22 2011-07-07 Panasonic Corp 画像符号化方法、画像符号化装置及び撮像システム
KR101811718B1 (ko) 2013-05-31 2018-01-25 삼성전자주식회사 영상 처리 방법 및 장치
US9986189B2 (en) 2016-01-04 2018-05-29 Samsung Electronics Co., Ltd. Pixel sensors and imaging devices for providing multiple sub sample images within a single frame

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2823570B2 (ja) 1988-10-17 1998-11-11 日本電信電話株式会社 フレーム間符号化装置およびフレーム間符号化方法
JPH02224490A (ja) 1989-02-27 1990-09-06 Victor Co Of Japan Ltd 動きベクトル検出回路
JPH02295288A (ja) 1989-05-10 1990-12-06 Nec Corp 動ベクトル検出装置
JPH06197332A (ja) 1992-12-25 1994-07-15 Canon Inc 画像符号化装置及び画像送信装置
DE69524235T2 (de) * 1994-09-02 2002-07-18 Sarnoff Corp Verfahren und vorrichtung zur global-zu-lokal-block-bewegungsschätzung
JPH08140098A (ja) 1994-11-10 1996-05-31 Matsushita Electric Ind Co Ltd 動き補償符号化装置
US5801778A (en) * 1996-05-23 1998-09-01 C-Cube Microsystems, Inc. Video encoding with multi-stage projection motion estimation
US5956026A (en) * 1997-12-19 1999-09-21 Sharp Laboratories Of America, Inc. Method for hierarchical summarization and browsing of digital video

Also Published As

Publication number Publication date
EP1018841A4 (en) 2002-01-30
KR20010030652A (ko) 2001-04-16
TW376665B (en) 1999-12-11
US6574370B1 (en) 2003-06-03
WO2000005899A1 (en) 2000-02-03
EP1018841A1 (en) 2000-07-12

Similar Documents

Publication Publication Date Title
US6215905B1 (en) Video predictive coding apparatus and method
JP2744871B2 (ja) 画像信号符号化方法および画像信号符号化装置
US6771826B2 (en) Digital image encoding and decoding method and digital image encoding and decoding device using the same
KR100242406B1 (ko) 디지탈 비디오 동화상의 움직임 보상 방법
US6757330B1 (en) Efficient implementation of half-pixel motion prediction
KR20130020697A (ko) 동화상 부호화 장치 및 동화상 복호 장치
JP2013070399A (ja) 下層のフィルタリングを備えたスケーラブルビデオ符号化
KR100431013B1 (ko) 화상 부호화 시스템
EP1675404A2 (en) Efficient selection of intra coding modes
JPH09224254A (ja) 動き推定のための装置および方法
EP1503598A1 (en) Motion vector detecting method and system and devices incorporating the same
US6370195B1 (en) Method and apparatus for detecting motion
CN1078795C (zh) 用在图象编码系统中的改进的运动补偿方法
JP3804745B2 (ja) フレーム構造／フィールド構造切替式画像符号化装置
JP2001078199A (ja) 映像信号符号化装置
KR960013234B1 (ko) 움직임 검출장치의 코가-3단계 움직임벡터 검출방법
CN109547795B (zh) 视频编码方法及装置
JP2000069481A (ja) 動きベクトル検出装置
JP2000308066A (ja) 動画像符号化装置および動画像符号化方法
JP3620080B2 (ja) 動きベクトル検出回路
JPH10164596A (ja) 動き検出装置
JP2008072608A (ja) 画像符号化装置及び画像符号化方法
JP3171249B2 (ja) 動画像符号化の動きベクトル探索方法
KR100262962B1 (ko) 움직임 추정방법 및 장치
KR100393987B1 (ko) 영상 부호화 및 복호화 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee