KR100323344B1 - 동화상 부호화 장치 및 동화상 부호화 방법 - Google Patents

동화상 부호화 장치 및 동화상 부호화 방법 Download PDF

Info

Publication number
KR100323344B1
KR100323344B1 KR1019990002859A KR19990002859A KR100323344B1 KR 100323344 B1 KR100323344 B1 KR 100323344B1 KR 1019990002859 A KR1019990002859 A KR 1019990002859A KR 19990002859 A KR19990002859 A KR 19990002859A KR 100323344 B1 KR100323344 B1 KR 100323344B1
Authority
KR
South Korea
Prior art keywords
encoding
refresh
region
intra
mode
Prior art date
Application number
KR1019990002859A
Other languages
English (en)
Other versions
KR19990068201A (ko
Inventor
츄조다케시
와타나베도시아키
Original Assignee
니시무로 타이죠
가부시끼가이샤 도시바
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 니시무로 타이죠, 가부시끼가이샤 도시바 filed Critical 니시무로 타이죠
Publication of KR19990068201A publication Critical patent/KR19990068201A/ko
Application granted granted Critical
Publication of KR100323344B1 publication Critical patent/KR100323344B1/ko

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 동화상 부호화 장치 및 동화상 부호화 방법에 관한 것으로서, 리프레시 판정회로(1013)는 인트라모드로 부호화된 각 마크로블럭마다 그것이 움직임이 있는 동영역에 속하는 것인지, 또는 움직임이 없는 정지영역에 속하는 것인지를 판별하고 이 판별결과를 기초로 다음 화면의 리프레시 대상범위를 결정하며, 부호화 대상의 마크로블럭이 리프레시 대상범위에 속하는 것이면 리프레시 판정회로(1013)는 모드 선택회로(1012)에 대해서 인트라 모드를 지시하고, 이와 같이 인트라 부호화된 마크로블럭의 화면상의 움직임을 고려하고 리프레시 대상범위를 결정한다는 적용 리프레시를 실시함으로써 발생부호량의 증대를 초래하지 않고 전송로 오류에 의한 영향을 억제하게 되어 화질의 향상을 도모하는 것을 특징으로 한다.

Description

동화상 부호화 장치 및 동화상 부호화 방법{METHOD AND DEVICE FOR ENCODING DYNAMIC PICTURE IMAGE}
본 발명은 동화상 부호화 장치 및 동화상 부호화 방법, 특히 인트라 부호화 모드로 부호화된 영역을 화면내에 정기적으로 삽입하여 화면 리프레시를 실행하는 동화상 부호화 장치 및 동화상 부호화 방법에 관한 것이다.
동화상 부호화/복호화 장치에서는 통신로나 축적계에서 비트 스트림에 오류가 혼입된 경우, 올바르게 복호할 수 없고 화질이 열화된다는 문제가 있다. 특히, 저비트 레이트의 전송로나 무선회선 등에서는 비트 오류나 셀 손실 등이 발생하기 쉬워 비트 스트림의 에러내성을 향상시키는 것이 필요해진다.
오류의 대책은 몇가지 존재하지만 그 중에서 유효한 방법 중 하나로서 동화상 부호화 장치 내에서 화면 내에 주기적으로 프레임내 부호화를 실시하는 화상영역을 삽입하여 화면을 리프레시하는 방법이 있다. 프레임내 부호화된 화상영역은 다른 프레임과는 독립적으로 복호할 수 있으므로 다른 프레임의 비트 스트림에 오류가 혼입해도 그것에 영향을 받지 않는다. 따라서, 화면 내에 주기적으로 프레임내 부호화를 실시하는 화상영역을 삽입하는 리프레시 방법을 사용함으로써 에러 내성을 높이는 것이 가능해진다.
리프레시 방법으로서는 인트라 슬라이스라고 불리는 것이 알려져 있다. 예를 들어, MPEG2 Video(ISO-IEC CD13818-2)에서는 마크로블럭이라고 불리는 16화소×16화소의 단위로 프레임내 부호화 모드(인트라 모드)와 프레임간 부호화 모드(인터모드)가 전환되도록 이루어져 있고, 도 8에 도시한 바와 같이 예를 들어 세로 30마크로블럭×가로 44마크로블럭으로 구성되어 있는 1프레임의 가로 2마크로블럭 라인(세로 2마크로블럭×가로 44마크로블럭)으로 이루어진 영역을 인트라 부호화 모드로 부호화하며, 상기 인트라 부호화 모드로 부호화된 인트라 부호화 영역을 1프레임 시간마다 2라인씩 슬라이드시키고, 15프레임에서 1주기가 되는 인트라 슬라이스방식의 리프레시 방법이 제안되어 있다.
상기 인트라 슬라이스 방식의 경우, 도 8에 도시하고 있는 바와 같이, 예를 들어 부호화 대상의 현 프레임의 인트라 부호화 영역의 상측에 있는 영역(1) 내의 마크로블럭에 대한 움직임 벡터를 탐색하는 경우에는, 참조 프레임이 되기 이전 프레임부터의 탐색범위를 제한하고 이미 리프레시되어 있지 않은 영역(2)부터는 탐색을 실시하지 않도록 하고 있다.
예를 들어, 도 9에 도시한 바와 같이 현프레임의 마크로블럭(MBi)에 대한 움직임 벡터를 탐색하는 경우에는 이전 프레임의 마크로블럭 내, 현 프레임의 인트라 부호화 영역과 동일 위치의 마크로블럭이 움직임 벡터의 탐색범위가 되지 않도록 움직임 벡터의 탐색범위가 제한된다. 이에 의해, 도 9와 같이 리프레시의 방향이 위에서 아래를 향하고 있는 인트라 슬라이스의 경우에는 아래부터 위 방향의 움직임 벡터가 모두 제한된다. 이와 같은 제한에 의해 최악의 경우에도 오류가 발생한 프레임부터 (2주기-1)프레임째까지 화면을 인트라 부호화 영역에서 완전하게 리프레시할 수 있게 되고 오류의 전달 및 운반을 수속(收束)할 수 있다. 이 모습을 도 10에 도시한다.
도 10에서는 인트라 슬라이스의 주기가 4프레임이고, 주기내의 최초의 프레임(N+1)의 비트 스트림 전체에 오류가 발생하고 있는 경우를 상정하고 있다. 인터모드로 입력 프레임의 마크로블럭을 부호화하는 경우, 도시한 바와 같이 참조 프레임의 마크로블럭 중, 입력 프레임의 부호화 대상의 마크로블럭과 동일 위치 및 그것보다도 상측의 영역에 속하는 것만이 움직임 벡터의 탐색범위로서 사용된다. 따라서, 도시한 바와 같이 프레임(N+7)의 가장 아래의 영역까지에서 오류의 영향이 전달 및 운반되는 범위가 수속된다.
그런데, 인트라 모드에서의 발생부호량은 통상, 동일한 양자화 파라미터를 사용한 경우의 인터모드에서의 발생부호량의 2배이상이 된다. 또한, 전송레이트에는 제약이 있으므로, 비트 스트림의 전송레이트는 어느 일정값 이하로 억제하는 것이 요구된다. 이 때문에, 상술한 인트라 슬라이스에 의한 리프레시를 사용하는 경우에는 인트라 슬라이스를 삽입하지 않을 때보다도 양자화 파라미터를 크게 하고, 인트라 슬라이스를 삽입한 만큼만 발생 부호량을 저하시키는 것이 필요해진다. 그러나, 이것은 화질을 나쁘게 하는 큰 요인이 된다.
그래서, 최근에는 예를 들어 일본 특개평9-247682호 공보에 개시되어 있는 바와 같이 움직임이 큰 부분만을 적응적으로 리프레시하여 인트라 부호화 영역의 삽입수를 감소시킨다는 적응 리프레시방식이 몇가지 제안되기 시작하고 있다. 움직임이 적은 정지영역에 대해서는 예를 들어 이전 프레임의 해당 위치의 화상을 메우는 등의 에러감춤 기술을 이용할 수 있다. 따라서, 움직임이 큰 부분만을 적응적으로 리프레시함으로써 에러내성을 확보한 상태로 발생부호량의 감소를 도모할 수 있다.
이 종래의 적응 리프레시 방식의 공통의 문제로서는 인트라 모드로 부호화된 영역에 대한 화면상의 움직임을 고려하고 있지 않다는 점을 들 수 있다.
즉, 종래의 적응 리프레시 방식은 인트라 부호화 영역의 삽입에 의해 일단 리프레시된 영역에 대해서는, 이후 그 영역에 대해 새로운 움직임이 검출될 때까지는 리프레시를 실시하지 않는다는 원리를 채용하고 있다. 따라서, 일단 인트라 모드로 부호화되면, 그 영역은 그 시점에서 일의적으로 정지영역으로 판단되고 새로운 움직임이 검출될 때까지 리프레시 대상범위로부터 제외된다.
이 때문에, 예를 들어 장면전환이 있고, 그 장면전환 후 화상이 정지하고 있는 바와 같은 경우에서, 만약 그 장면전환 프레임상의 인트라 부호화 영역이 복호화 장치측으로의 전송도중에 오류에 의해 결락(缺落)되면 에러회복의 지연에 의해 큰 문제가 발생하게 된다. 이 모습은 도 11에 도시한 바와 같다.
도 11에서는 프레임(N+1)에서 장면전환이 발생하고 후속되는 프레임의 마크로블럭(MBi)의 영역에 대해서는 얼마동안 움직임이 없는 경우를 상정하고 있다. 일반적으로 인트라 모드 및 인터모드 등의 부호화 모드의 전환은 입력동화상신호의 시간적인 상관의 정도에 따라 마크로블럭 단위로 적응적으로 실시되고 예를 들어 장면전환이 발생한 경우 등과 같이 이전 프레임에 대하여 전혀 상관이 없어지는 큰 화상변화가 일어나는 경우에는 인트라모드가 사용된다. 따라서, 장면전환 프레임(N+1)의 마크로블럭의 대부분은 인트라 모드로 부호화된다. 종래형의 적응리프레시가 프레임(N+2)부터 4프레임 주기로 위에서부터 아래방향을 향하여 실시된 경우, 도시한 바와 같이 프레임(N+2)에서는 마크로블럭(MBi)이 리프레시되는 순서가 되지만, 그 이전 프레임(N+1)에서 마크로블럭(MBi)이 인트라 모드로 부호화되어 있으므로, 프레임(N+2)에서는 마크로블럭(MBi)의 리프레시는 반드시 스킵된다. 이 경우, 프레임(N+2)의 마크로블럭(MBi)의 부호화 모드로서 인터모드가 선택되지만, 움직임이 없으므로 실제로는 부호화를 실시하지 않고 이전 프레임의 마크로블럭을 그대로 표시에 사용하는 Not Coded 모드가 사용된다.
그 후, 프레임(N+6)에서 다시 마크로블럭(MBi)에 리프레시의 순서가 돌아오지만, 그것까지 마크로블럭(MBi)에 움직임이 검출되지 않는 한 여기에서도 마크로블럭(MBi)의 리프레시는 스킵된다.
이와 같이 마크로블럭(MBi)의 리프레시는 오랫동안 실시되지 않으므로 만약 장면전환 프레임(N+1)의 마크로블럭(MBi)이 전송오류 등에 의해 결락하면, 복호장치측에서는 마크로블럭(MBi)의 영역에 대해서는 장면전환 후의 올바른 정보가 전혀 얻어지지 않게 되고, 장면전환 전의 프레임(N)의 화상이 그대로 표시된다.
상술한 바와 같이 종래의 인트라 슬라이스에 의한 리프레시 방법에서는 발생부호량이 크게 증가하므로, 동일 레이트로 부호화하기 위해서는 양자화 매개변수를 크게 하지 않으면 안되고 화질이 나빠지는 결점이 있었다.
또한, 이것을 개량하기 위해서 동영역(動領域)만을 리프레시하는 적용리프레시 방식도 제안되어 있지만, 이와 같은 방식에서는 장면전환후 얼마동안은 리프레시가 실시되지 않으므로, 장면전환 프레임에 오류가 들어간 경우에 에러 회복이 지연되고 표시화상의 화질이 열화되는 문제가 있었다.
또한, 리프레시에 의한 에러회복을 보증하기 위해 움직임 벡터의 탐색범위를 제한한 경우, 화상의 움직임에 의해서는 올바른 움직임 벡터를 구할 수 없고 화질이 열화된다는 문제도 있었다.
본 발명은 이와 같은 실정을 감안하여 이루어진 것으로, 발생부호량의 증대를 초래하지 않고 전송로 오류에 의한 영향을 억제하도록 하고 화질의 향상을 도모하는 것이 가능한 동화상 부호화 장치 및 동화상 부호화 방법을 제공하는 것을 목적으로 한다.
도 1은 본 발명의 제 1 실시형태에 관한 동화상 부호화 장치의 구성을 도시한 블럭도,
도 2는 상기 제 1 실시형태의 동화상 부호화 장치에 의한 부호화 처리의 순서를 도시한 플로우차트,
도 3은 상기 제 1 실시형태의 동화상 부호화 장치에 의한 리프레시 동작을 설명하기 위한 도면,
도 4는 상기 제 1 실시형태의 동화상 부호화 장치에 의한 장면전환에서의 리프레시 동작을 설명하기 위한 도면,
도 5는 상기 제 1 실시형태의 동화상 부호화 장치에 의한 움직임 벡터의 탐색범위의 제한을 도시한 도면,
도 6은 본 발명을 적용한 무선통신 시스템의 구성을 개략적으로 도시한 도면,
도 7은 본 발명을 적용한 무선통신 시스템의 구체적인 운용형태의 한 예를 도시한 도면,
도 8은 종래의 인트라 슬라이스 방식에 의한 리프레시 동작을 설명하기 위한도면,
도 9는 종래의 인트라 슬라이스 방식에서의 움직임 벡터의 탐색범위의 제한을 도시한 도면,
도 10은 종래의 인트라 슬라이스 방식에 의한 오류 회복 효과를 설명하기 위한 도면, 및
도 11은 종래의 적응형 리프레시 방식의 동작을 설명하기 위한 도면이다.
*도면의 주요 부분에 대한 부호의 설명
1001: 블럭화 회로 1002: 감산기
1003: 모드 선택 스위치 1004: DCT 회로
1005: 양자화 회로 1006: 역양자화 회로
1007: IDCT 회로 1008: 가산기
1009: 프레임 메모리 1010: 움직임 보상회로
1011: 스위치 1012: 모드선택회로
1013: 리프레시 판정회로 1014: 부호화 제어회로
1015: 가변길이 부호화 회로 1016: 다중화 회로
1017: 출력 버퍼 1018: 부호화부
20: 화상전송계 21: 화상신호 입력부
22: 정보원 부호화부 23: 오류 내성 처리부
24: 전송로 부호화부 30: 무선부
31: 화상재생계 32: 전송로 복호화부
33: 정보원 복호화부 34: 오류내성 처리부
35: 화상신호 출력부 40: 네트워크
41∼43: 무선기지국 51: 단말
51a: 카메라 51b: 안테나
52: 퍼스널 컴퓨터 52a: 안테나
52b: 카메라
상술한 과제를 해결하기 위해 본 발명의 동화상 부호화 장치는 입력동화상 신호를 프레임내 부호화하는 인트라 부호화 모드와 프레임간 부호화하는 인터 부호화 모드와 부호화를 실시하지 않고 이전 화면을 표시에 사용하는 비부호화 모드를 갖는 부호화 수단과, 이 부호화 수단의 부호화 모드를 상기 입력동화상 신호의 소정의 화상영역마다 적응적으로 선택하는 모드 선택수단과, 화면내로부터 동영역을 검출하고 그 동영역으로 이루어진 리프레시 대상범위 내의 일부에 리프레시를 위한 인트라 부호화 영역이 설정되도록, 상기 부호화 수단의 부호화 모드를 제어하는 리프레시 제어수단을 구비하고, 상기 리프레시 제어수단은 상기 부호화 수단에 의해 인트라 부호화 모드로 부호화된 각 인트라 부호화 영역마다 그것이 동영역과 정지영역의 어느쪽에 속하는지를 판정하는 수단을 갖고, 이 판정결과에 기초하여 동영역에 속하는 인트라 부호화 영역이 상기 리프레시 대상범위내에 포함되며, 정지영역에 속하는 인트라 부호화 영역이 상기 리프레시 대상범위로부터 제외되도록 리프레시 대상범위를 결정하는 것을 특징으로 한다.
상기 동화상 부호화 장치에서는 화면내의 동영역만을 리프레시 대상범위로서 선택하고 그 리프레시 대상범위내의 일부에 인트라 부호화 영역을 삽입하는 적용 리프레시 방식을 전제로 하고 있으며, 정지영역에 대해서는 리프레시 대상범위로부터 제외된다. 이에 의해, 통상의 인트라 슬라이스와 비교하면, 정지영역이 리프레시되지 않으므로, 인트라 모드로 부호화하는 마크로블럭수가 감소되고 동일 레이트에서는 그만큼, 양자화 파라미터를 작게 할 수 있고 화질이 향상된다.
또한, 리프레시 대상범위의 결정시에는 종래의 적응 리프레시와는 다르고, 인트라모드로 부호화된 인트라 부호화 영역에 대해서 화면상의 움직임이 고려된다.
즉, 부호화 수단에 의해 인트라 모드로 부호화된 각 화상영역에 대해서는 그 각 화상영역마다 그 화상영역과 이전 프레임의 대응하는 화상영역간의 상관의 정도를 조사함으로써 그것이 움직임이 있는 동영역에 속하는 것인지, 또는 움직임이 없는 정지영역에 속하는 것인지의 판별이 실시된다. 그리고, 이 판별결과를 기초로 리프레시 대상범위가 결정된다. 이 경우, 동영역에 속하는 인트라 부호화 영역에 대해서는 만약 그 자체가 복호화 장치측으로의 전송도중에 오류에 의해 결락되는 경우에도 리프레시에 의한 에러 회복의 효과가 얻어지도록 다음 화면의 리프레시 대상범위에 포함되고, 또한 정지영역에 속하는 인트라 부호화 영역에 대해서는 다음 화면의 리프레시 대상범위로부터 제외된다. 이와 같이 하여, 이전 화면상에서의 인트라 부호화 영역의 움직임의 유무에 따라서 리프레시 대상범위를 화상 영역 단위로 동적으로 변경해 감으로써 인트라 부호화된 화상영역에 대해서도 그것이 동영역이면 후에 그 화상영역이 다시 인트라 부호화되어 그것이 정지영역에 속한다고 판정될 때까지는 리프레시 대상범위로서 계속 선택된다. 따라서, 예를 들어 장면전환이 있고 그 장면전환 후, 화상이 정지하고 있는 바와 같은 경우에서는 그 장면전환 프레임 상의 인트라 부호화된 마크로블럭은 동영역으로서 취급되고 리프레시 주기 등으로 결정되는 소정 시기에 리프레시된다. 따라서, 장면전환 프레임상의 인트라 마크로블럭이 복호화 장치측으로의 전송도중에 오류에 의해 결락한 경우에도 그 후 비교적 조기에 리프레시에 의한 에러 회복을 실시하는 것이 가능해진다.
또한, 본 발명은 동영역에 속한다고 판정된 인트라 부호화 영역의 개수가 동일 화면내에 소정수 이상 포함될 때, 그 화면을 장면전환 화면이라고 판정하고, 주기적인 리프레시 동작이 다음 화면의 화면 단부(端部)로부터 개시되도록 다음 화면에서 상기 리프레시를 위한 인트라 부호화 영역의 설정위치를 변경하는 것을 특징으로 한다.
일반적으로 장면전환의 프레임은 부호량이 많으므로 오류 발생확율이 동일하면 오류가 혼입하는 확율이 높고 또한 오류가 들어간 경우에 이전 프레임과의 상관이 없으므로 에러감춤과 같은 테크닉을 사용할 수 없는 등 문제가 많다. 그래서, 장면전환을 판정하고 장면전환 후 리프레시의 위치를 화면의 단으로부터 스타트시킴으로써 장면전환의 프레임에 오류가 있어도 최악의 경우에도 1주기로 회복할 수 있다.
또한, 본 발명은 이전 화면에서 리프레시를 위한 인트라 부호화 영역이 설정된 영역과 동일 위치의 다음 화면상의 영역을, 상기 인터 부호화 모드로 부호화할 때, 상기 리프레시의 주기의 방향과 역방향의 움직임 벡터 중, 상기 리프레시 제어수단에 의해 동영역으로서 판정된 상기 이전 화면상의 영역으로부터의 움직임 벡터에 대해서만 그 탐색을 금지하는 것을 특징으로 한다.
종래의 인트라 슬라이스 방식에서는 (2주기-1)회에서의 회복을 보증하기 위해 상술한 바와 같이 리프레시의 주기의 방향과 역방향의 움직임 벡터를 전면적으로 금지하고 있었다. 그러나, 정지영역은 오류가 혼입하고 있을 가능성이 작으므로, 움직임 벡터 탐색범위의 제한으로부터 제외함으로써 움직임 벡터의 제한의 범위가 좁아지고 화질의 향상을 도모할 수 있다.
(제 1 실시형태)
도 1은 본 발명의 제 1 실시형태에 관한 동화상 부호화 장치의 구성을 도시한 블럭도이다.
도 1에서, 입력 동화상 신호는 블럭화 회로(1001)에서 마크로블럭으로 분할된다. 마크로블럭으로 분할된 입력 동화상 신호는 감산기(1002)에 입력되고 여기에서 후술하는 바와 같이 생성되는 예측화상신호와의 차분이 구해져서, 예측잔차신호가 생성된다. 이 예측잔차신호와, 블럭화회로(1001)로부터의 입력동화상신호 중 어느 한쪽을 모드 선택 스위치(1003)에 의해 선택하고, DCT(이산 코사인 변환)회로(1004)에 의해 이산 코사인 변환된다. DCT회로(1004)에서 얻어진 DCT계수데이터는 양자화 회로(1005)에서 양자화된다. 양자화 회로(1005)에서 양자화된 신호는 2분기되고 한쪽은 가변길이 부호화 회로(1015)에서 가변길이 부호화된다.
한편, 양자화 회로(1005)에서 양자화되고 2분기된 신호의 다른쪽은 역양자화 회로(1006) 및 IDCT(역이산 코사인 변환)회로(1007)에 의해 양자화 회로(1005) 및 DCT 회로(1004)의 처리와 반대의 처리를 차례로 받은 후, 가산기(1008)에서 스위치(1011)를 통하여 입력되는 예측 화상 신호와 가산됨으로써 국부복호신호가 생성된다. 이 국부복호신호는 프레임 메모리(1009)에 저장되고 움직임 보상회로(1010)에 입력된다. 움직임 보상회로(1010)에서는 입력동화상신호와 프레임 메모리(1009)에 저장된 이전 프레임의 화상과의 상관으로부터 움직임 검출, 움직임 벡터의 탐색 등의 움직임 보상처리가 실시되고, 예측화상신호가 생성되며, 또한 모드 선택 회로(1012)와 리프레시 판정회로(1013)에 필요한 정보를 보낸다.
부호화 제어회로(1014)에서는 레이트 제어 등을 실시하기 위한 것으로, 부호화부(1018)의 부호화 정보와 출력 버퍼(1007)의 버퍼량을 기초로 부호화를 제어하고, 필요한 정보를 가변길이 부호화 회로(1015)로 보낸다. 가변길이 부호화 회로(1015)에서는 움직임 벡터 정보 및 모드 정보(MODE)와 함께 DCT 계수정보가 부호화되고 이 부호화된 화상 데이터는 다중화 회로(1016)에서 부호화 음성데이터나 다른 부호화 데이터와 다중화된 후, 출력 버퍼(1017)에서 송신레이트를 평활화하여 부호화 데이터(비트 스트림)로서 전송로에 보내진다.
모드선택회로(1012)에서는 마크로블럭 단위로 상관의 정도를 나타내는 움직임 보상회로(1010)로부터의 예측정보(P)에 기초하여 프레임간 부호화를 실시하는 마크로블럭과 프레임내 부호화를 실시하는 마크로블럭을 적응적으로 선택한다.
프레임내 부호화(인트라 부호화)를 실시하는 경우에는 모드선택 스위치정보(M)를 A로 하고 스위치 정보(S)를 A로 한다. 프레임간 부호화(인터 부호화)를 실시하는 경우에는, 모드 선택 스위치 정보(M)를 B로 하고, 스위치 정보(S)를 B로 한다. 모드 선택 스위치(1003)에서는 모드 선택 스위치 정보(M)에 기초하여 스위치를 변경하고 또한 스위치(116)에서는 스위치 정보(S)에 기초하여 스위치를 변경한다.
여기에서, 부호화 모드로서는 프레임내 부호화를 실시하는 인트라 모드(INTRA), 프레임간 부호화를 실시하는 인터모드(INTER), 부호화를 실시하지 않고 이전 프레임의 대응하는 마크로블럭의 정보를 그대로 표시에 사용하는 비부호화 모드(NOT_CODED)가 있고 각 마크로블럭마다 모드 선택회로(1012)에 의해 적응적으로 선택된다. 통상, 프레임 상관이 없는 경우에는 INTRA, 프레임 상관을 이용한 예측이 가능한 경우에는 INTER, INTER가 선택되어도 화상이 변화되고 있지 않고 부호화가 불필요한 경우에는 NOT_CODED 모드가 된다.
또한, 리프레시 판정회로(1013)로부터 리프레시의 삽입이 지시된 경우에는 모드선택회로(1012)에 의해 INTRA가 선택된다.
모드선택회로(1012)에서 선택된 부호화 모드를 나타내는 모드선택정보(MODE)는 가변길이 부호화 회로(1015)에 보내짐과 동시에, 리프레시 판정회로(1013)에도 보내진다. 리프레시 판정회로(1013)에서는 모드선택정보(MODE)가 나타나는 선택부호화모드와, INTRA가 선택되고 마크로블럭에 대한 움직임의 유무에 기초하여 각 마크로블럭마다 그것이 리프레시 대상범위에 포함되는지의 여부가 판정되고 그 판정결과를 기초로 리프레시를 실시할지의 여부가 판정된다.
즉, 본 실시형태에서는 화면내의 동영역만을 리프레시 대상범위로서 선택한다는 적용리프레시 방식을 전제로 하고 있지만, 리프레시 대상범위의 결정시에서는 종래의 적응 리프레시와는 다르고 INTRA로 부호화된 인트라 마크로블럭에 대한 화면상의 움직임이 고려된다. 이 경우, 동영역에 속하는 것으로 판정된 인트라 마크로블럭에 대해서는 만약 그 자체가 복호화 장치측으로의 전송도중에 오류에 의해 결락된 경우에도 리프레시에 의한 에러 회복의 효과가 얻어지도록, 그 영역은 다음 화면의 리프레시 대상범위에 포함된다. 또한, 정지영역에 속하는 것으로 판정된 인트라 마크로블럭에 대해서는 다음 화면의 리프레시 대상범위로부터 제외된다. 이와 같이 하여, 이전 화면상에서의 인트라 마크로블럭의 움직임의 유무에 따라서 다음 화면의 리프레시 대상범위가 마크로블럭 단위로 동적으로 변경된다.
도 2는 리프레시 판정회로(1013)의 처리동작을 도시한 플로우차트이다. 상기 도면에서는 프레임마다 가로 1마크로블럭 라인단위로 INTRA 부호화 영역을 위에서부터 아래 방향으로 이동하면서 주기적으로 리프레시를 실시하는 경우의 동작을 도시하고 있다.
여기에서 i와 j는 부호화 대상 마크로블럭의 프레임내의 수직방향(i)과 수평방향(j)의 어드레스를 각각 나타내고, V_NMB와 H_NMB는 프레임내의 수직방향과 수평방향의 총마크로블럭수를 각각 나타내고 있다. 또한, N은 리프레시 위치의 마크로블럭라인을 나타내는 카운터이다.
2차원 배열(D[i][j])은 각 마크로블럭에 대한 동영역/정지영역의 판정결과의 이력에 기초하여 리프레시할 필요가 있는 동영역인지의 여부를 각 마크로블럭마다 나타내는 리프레시 제어정보를 관리하기 위한 것이다. 바꿔쓰기가 있었던 마크로블럭, 즉 화상의 변화가 있어 동영역이라고 판정된 마크로블럭에 대응하는 리프레시 제어정보는 「FALSE」로, 변화가 없다고 판정된 마크로블럭에 대응하는 리프레시 제어정보는 「TRUE」로 설정된다.
「FALSE」는 대응하는 블럭이 현재 동영역에 속하고 있는 것을 나타내고 있고, 그것이 정지영역인 것을 나타내는 「TRUE」로 전환되지 않는 한은, 리프레시 주기로 결정되는 특정 프레임에서 그 마크로블럭의 리프레시가 실시된다.
SC는 장면전환판정을 위한 카운터이고 동영역이라고 판정되는 INTRA 마크로블럭의 수를 센다.
우선, 부호화를 시작하기 전에, 리프레시 위치를 구하기 위한 카운터(N)를 0으로 초기화한다(스텝 (S101)).
다음에, 입력 1프레임을 부호화하기 전마다 장면전환판정을 위한 카운터(SC)를 0으로 초기화한다(스텝 (S102)).
루프(1)와 루프(2) 중에서 프레임내의 각 마크로블럭마다 리프레시의 판정 및 부호화 처리를 실시한다. 스텝(S104)∼스텝(S114)으로 구성되는 루프(2)에서는 수평방향의 동일 마크로블럭라인에 대한 처리가 실시되고 상기 루프(2)를 스텝(S103,S104)에 의한 루프(1)에 넣어 처리대상의 마크로 블럭 라인을 위에서 아래방향으로 이동시킴으로써 1프레임 전체의 처리가 실시된다.
스텝(S105)에서는 리프레시 카운터(N)의 값을 V_NMB로 나눗셈을 실시한 나머지가 현재 부호화 대상이 되어 있는 마크로블럭의 어드레스(i)와 같다는 조건과, D[i][j]의 값이 「FALSE」이라는 2개의 조건이 모두 성립하고 있는지의 여부가 조사된다. 현재 부호화하고자 하고 있는 마크로블럭이 리프레시할 마크로블럭 라인에 속하고 있지만, 리프레시 카운터(N)의 값을 V_NMB로 나눈 나머지는 부호화 대상의 마크로블럭의 어드레스(i)와 같아진다. 또한, D[i][j]의 값이 「FALSE」이면 그 부호화 대상의 마크로블럭이 리프레시가 필요한 동영역에 속하고 있다고 판정된다.
따라서, 리프레시 카운터(N)의 값을 V_NMB로 나눈 나머지가 현재 부호화 대상이 되고 있는 마크로블럭의 어드레스(i)와 동일하고, 또한 D[i][j]의 값이 리프레시의 필요성이 있는 것을 나타내는 「FALSE」이면 리프레시를 실시한다고 판정하고 부호화 모드 정보(MODE)를 INTRA로 전환한다(스텝 (S106)).
부호화 처리(스텝(S107)) 후, 부호화 모드 정보(MODE)값별로 D[i][j]갱신을 실시한다.
만약, MODE가 INTRA이면 그 마크로블럭이 정지하고 있는지의 여부를 판정하기 위해 움직임 보상회로(1010)에서 부여된, 움직임 벡터(0,0)의 경우의 마크로블럭의 예측잔차신호의 절대값합의 합계(SAD)를 임계값(TH)과 비교한다(스텝(S109)). 즉, INTRA 모드로 부호화된 마크로블럭과 그것과 동일 어드레스의 이전 프레임상의 마크로블럭 사이에 어느 정도의 차가 있는지 조사되고 만약, SAD의 값이 TH보다 큰 경우에는 움직이고 있다고 판정하고, 대응하는 D[i][j]의 값을 리프레시의 필요성이 있는 것을 나타내는 「FALSE」로 설정하고(스텝 (S110)) 장면전환판정을 위한 카운터(SC)의 값을 +1한다(스텝 (S111)). 한편, 만약 SAD의 값이 TH의 값 이하인 경우에는 정지하고 있다고 판정하고 대응하는 D[i][j]의 값을, 리프레쉬의 필요성이 없는 것을 나타내는 「TRUE」로 설정한다(스텝(S112)).
만약, MODE가 INTER이면 그 마크로블럭에는 움직임이 있다고 판정되고 대응하는 D[i][j]의 값을 리프레시의 필요성이 있는 것을 나타내는 「FALSE」로 설정한다(스텝(S113)).
만약, MODE가 NOT_CODED이면 D[i][j]는 갱신하지 않고 다음의 루프로 진행한다.
그 결과, D[i][j]의 값은 정지하고 있는 마크로블럭을 리프레시했을 때만 「TRUE」로 전환하게 된다. 즉, INTRA 모드로 부호화된 마크로블럭이 동영역이라고 판정된 경우나, 마크로블럭이 INTER 모드로 부호화된 경우에 대해서는 후의 프레임에서 그 마크로블럭과 동일한 위치의 마크로블럭이 다시 INTRA 모드로 부호화되어 그것이 정지영역에 속한다고 판정될 때까지는 D[i][j]의 값은 「FALSE」로 유지되고 리프레시 대상범위로서 계속 선택된다.
루프(1)와 루프(2)의 종료 후, 즉 1프레임분의 부호화가 완료되면 장면전환판정을 위한 카운터(SC)의 값을 임계값(E)과 비교한다(스텝(S116)). 만약, SC가 임계값(E) 보다도 작으면 부호화가 완료된 프레임이 장면전환 프레임은 아니라고 판정하고 리프레시의 라인을 하나 나아가기 위해 (N+1)의 값을 V_NMB로 나눈 나머지를 구하고, 그 값을 새로운 N으로서 설정한다(스텝(S117)). 한편, 만약, SC의 값이 임계값(E)이상인 경우에는 부호화가 완료된 프레임이 장면전환 프레임이라고 판정하고, N의 값을 0으로 설정하며, 다음 프레임으로부터 화면의 단으로부터 리프레시 동작이 다시 시작되도록 한다(스텝(S118)).
또한, 부호화 처리(스텝(S107))에서는 움직임 보상회로(1010)는 참조 프레임상의 리프레시 전의 영역(2) 중의 동영역으로부터의 움직임 보상을 금지하여 예측화상신호를 생성한다.
또한, 이상 설명한 리프레시 동작은 가로방향의 마크로블럭 라인에서 리프레시를 실시하는 경우를 예시했지만, 세로방향의 마크로블럭 라인에서 리프레시를 실시해도 상관없다. 이 경우, N을 V_NMB로 나눈 나머지를 구하고 있는 부분(스텝(S105) 및 스텝(S117))을 H_NMB로 나눈 나머지를 구하도록 치환함으로써 대응할 수 있다.
이상과 같이 본 실시형태에서는 리프레시를 실시하는지의 여부는 그 마크로블럭이 이전에 리프레시를 실시하고 나서 지금까지 화면에 움직임이 있고 전환되고 있는지의 여부로 판정된다. 이 때, 중요한 것은 이전에 리프레시를 실시한 마크로블럭도 포함하고 INTRA의 마크로블럭에 대해서는, 만약 INTER로 부호화된 경우에 NOT_CODED가 되는지 여부를 판정하는 것이다. 만약, NOT_DODED라고 판정할 수 있는 경우는 그 INTRA 마크로블럭은 정지영역이므로 예를 들어 결락해도 하나전의 프레임을 그대로 사용하면 영향은 작지만, NOT_CODED라고 판정할 수 없는 경우에는, 움직이고 있으므로 결락하면, 영향이 크다. 따라서, 그 마크로블럭이 정지하고 있어 전환하고 있지 않으면 리프레시를 실시할 필요는 없다.
도 3은 가로 방향의 마크로블럭 라인에서 리프레시를 실시한 경우의 동작을 프레임의 옆에서 본 리프레시의 동작을 도시한 것이다. 여기에서는 리프레시의 주기는 4프레임으로, 프레임의 위부터 아래를 향하여 리프레시하는 경우를 나타내고 있다.
도 3에서는 프레임(N)에서 리프레시된 정지영역의 INTRA 마크로블럭(MBi)에 대해서는 이후 NOT_CODED가 계속되고, 그 영역이 리프레시의 주기에 대응하는 4프레임만큼 연속하여 정지영역에 속하고 있다. 이 경우에는 프레임(N+4)이 되어도 대응하는 D[i][j]의 값이, 리프레시의 필요성이 없는 것을 나타내는 「TRUE」의 상태로 유지되므로, 프레임(N+4)에서의 마크로블럭(MBi)의 리프레시는 스킵된다. 동일하게 프레임(N+3)에서 리프레시된 정지영역의 INTRA 마크로블럭(MBi+3)에 대해서도 프레임(N+6)까지 NOT_CODED가 계속되므로, 프레임(N+7)에서는 그 마크로블럭(MBi+3)의 리프레시는 스킵된다. 단, 프레임(N+7)에서는 리프레시는 스킵되어도 그 마크로블럭(MBi+3)은 INTER로 부호화되어 있으므로 다음의 리프레시 주기에서는 리프레시가 실시된다.
따라서, 본 실시형태에서도 최악의 경우에도 (2주기-1) 프레임에서 에러를 회복하는 것이 보증된다.
도 4에는 장면전환이 발생한 경우에서의 리프레시 동작의 모습이 도시되어 있다.
프레임(N+1)에서 장면전환이 발생한 경우, 프레임(N+1)의 거의 모든 마크로블럭은 INTER로 부호화된다. 이 경우, 각 INTER 마크로블럭은 정지영역이므로 그에 대응하는 D[i][j]의 값은 어떤 것도 리프레시의 필요성이 있는 것을 나타내는 「FALSE」로 설정된다. 따라서, 장면전환프레임(N+1)상의 인트라 마크로블럭이 복호화 장치측으로의 전송도중에 오류에 의해 결락한 경우에도, 그 후 비교적 조기에 리프레시에 의한 에러 회복을 실시하는 것이 가능해진다.
또한, 본 실시형태에서는 상술한 바와 같이, 부호화 후의 프레임이 장면전환 프레임이라고 판정되었을 때에는 주기적인 리프레시 동작이 다음 프레임의 화면 단부로부터 개시되도록, 다음 프레임에서 리프레시 위치를 초기값으로 되돌리고 있다. 따라서, 위에서부터 아래 방향으로 리프레시한 경우에는 도시한 바와 같이 장면전환 프레임(N+1)의 다음 프레임(N+2)에서, 리프레시 위치는 가장 상측의 마크로블럭 라인이 된다.
일반적으로 장면전환의 프레임은 부호량이 많으므로, 오류의 발생확률이 동일하면 오류가 혼입할 확률이 높고, 또한 오류가 들어간 경우에 이전 프레임과의 상관이 없으므로, 오류감춤과 같은 테크닉을 사용할 수 없는 등 문제가 많다. 만약, 장면전환을 특별히 고려하지 않는 경우에는 리프레시에 의해 회복하는 데에는 최악의 경우 (2주기-1)프레임 걸리게 되지만, 본 실시형태와 같이 장면전환 후 리프레시의 위치를 화면의 단으로부터 스타트시킴으로써 장면전환의 프레임에 오류가 있어도 도 4와 같이 최악의 경우에도 1주기로 회복할 수 있게 된다.
도 5에는 리프레시에 의해 삽입되는 INTRA 부호화 영역과 정지영역의 관계가 도시되어 있다.
상술한 바와 같이 종래에서는 예를 들어 현프레임(N+2)의 인트라 부호화 영역의 상측에 있는 영역(1) 내의 마크로블럭에 대한 움직임 벡터를 탐색하는 경우에는, 참조 프레임이 되는 이전 프레임(N+1)부터의 탐색범위를 제한하고 이미 리프레시되어 있지 않은 영역(2) 전체로부터의 움직임 보상을 금지하고 있었다.
그러나, 정지영역에 대해서는 오류가 혼입할 가능성이 낮으므로, 움직임 보상을 금지할 필요가 적다. 그래서, 본 실시형태에서는 움직임 벡터의 제한의 범위를 완화하여 화질의 향상을 도모하기 위해, 영역(2)에 대해서도 그 중의 정지영역(프레임(N)의 J1, 프레임(N+1)의 J2, 프레임(N+2)의 J3)으로부터의 움직임 벡터의 탐색을 허가하도록 하고 있다. 이것은 리프레시 판정회로(1013)가 배열D[i][j]를 사용하고 참조프레임의 영역(2) 내의 동영역과 정지영역을 조사하며, 동영역에 대해서만 탐색을 금지하도록 움직임 보상회로(1010)에 지시함으로써 실현된다. 또한, 리프레시의 방향은 위에서 아래방향뿐만아니라 아래부터 위, 오른쪽으로부터 왼쪽, 또는 왼쪽으로부터 오른쪽 방향으로 하는 것도 가능하므로, 이 경우에는 리프레시의 주기의 방향과 역방향의 움직임 벡터 중 동영역으로서 판정된 영역으로부터의 움직임 벡터에 대해서만 그 탐색을 금지하면 좋다.
또한, 이상의 본 제 1 실시형태의 설명에서는 2차원 배열 D[i][j]은 정지한 INTRA 마크로블럭이 출현했을 때에 바로 리프레시가 불필요한 것을 나타내는 값 「TRUE」로 갱신했지만, 보다 조건을 엄격하게 하고 정지한 INTRA 마크로블럭이 n회(n>1) 나타나면 정지영역이라고 판정해도 좋다. 이 경우, 동일 위치의 INTRA 마크로블럭이 n프레임 연속하여 결락해도 리프레시에 의한 에러 회복이 가능해진다.
또한, 프레임을 단위로 하는 부호화로 설명을 했지만 필드 단위에서의 부호화에도 동일하게 적용할 수 있는 것은 말할것도 없다.
(제 2 실시형태)
다음에, 본 발명의 제 2 실시형태에 대해서 설명한다.
도 6은 본 발명의 동화상 부호화 장치를 적용한 무선통신 시스템의 구성을 도시한 것이다.
도 6에서 무선통신 시스템은 화상전송계(20)와 화상재생계(30)를 포함하고, 기지국(41)이 설치되어 있는 네트워크(40)를 통하여 화상전송계(20)와 화상재생계(30) 사이에서 화상의 송수신이 실시된다.
화상전송계(20)는 화상신호 입력부(21)와, 오류 내성처리부(23)를 구비하는 정보원 부호화부(22)와, 전송로 부호화부(24)와, 무선부(25)를 구비하고 있다. 정보원 부호화부(22)에서는, 움직임 보상, 이산코사인 변환(DCT), 양자화 등이 실시되고, 또한 전송로 부호화부(24)에서는 부호화 데이터에 대하여 그 오류검출이나 정정 등을 위한 처리가 실시된다. 정보원 부호화(22)에는 도 1의 동화상 부호화 장치가 설치되어 있고 오류 내성 처리부(23)는 상술한 리프레시 제어기능 등을 사용하여 실현되고 있다.
또한, 화상재생계(30)는 무선부(31)와, 전송로 복호화부(32)와, 오류 내성 처리부(34)를 포함하는 정보원 복호화부(33)와, 화상신호출력부(35)를 구비하고 있다. 정보원 복호화부(33)는 도 1의 동화상 부호화 장치에 의해 얻어진 비트 스트림을 복호화하기 위한 것이고 오류 내성 처리부(34)에는 에러감춤 기능 등이 설치되어 있다.
도 7은 제 2 실시형태에 관한 무선통신 시스템의 구체적인 운용형태의 한 예를 도시한 것으로, 도 7에 도시한 바와 같이 통신 네트워크(40)의 기지국(41,42,43)을 통하여 랩탑 타입의 퍼스널 컴퓨터(51)나 데스크탑 타입의 퍼스널 컴퓨터(52) 등의 단말(50)에 의해 동화상의 전송 및 수신이 실시된다.
예를 들어, 퍼스널 컴퓨터(51)에 부착되어 있는 화상신호 입력부로서의 카메라(51a)에 의해 입력된 화상신호는 퍼스널 컴퓨터(51)에 조립된 정보원 부호화부에 의해 부호화된다. 정보원 부호화부로부터 출력되는 부호화 데이터는 다른 음성이나 데이터의 정보와 다중화된 후, 퍼스널 컴퓨터(51)에 조립된 무선부, 안테나(51b)를 통하여 무선으로 송신된다. 이 송신된 전파신호는 근접의 기지국(41∼43)을 통하여 네트워크(40)로 보내지고 송신처가 되는 퍼스널 컴퓨터(52)의 근접의 기지국(41∼43)으로부터 그 퍼스널 컴퓨터(52)의 안테나(52a), 퍼스널 컴퓨터(52)에 조립된 무선부를 통하여 수신된다. 무선부에서 수신된 신호는 화상신호의 부호화 데이터 및 음성이나 데이터의 정보로 분해된다. 이 중, 화상신호의 부호화 데이터는 퍼스널 컴퓨터(52)에 조립된 정보원 부호화부에 의해 복호되고 퍼스널 컴퓨터(52)의 디스플레이에 표시된다.
한편, 퍼스널 컴퓨터(52)에 설치된 화상신호 입력부로서의 카메라(52b)에 의해 입력된 화상신호는, 퍼스널 컴퓨터(52)에 조립된 정보원 부호화부를 사용하여 상기와 동일하게 부호화된다. 부호화 데이터는 다른 음성이나 데이터의 정보와 다중화되고 퍼스널 컴퓨터(52)에 조립된 무선부, 안테나(52a)에 의해 무선으로 송신된다. 이 송신된 전파신호는 네트워크(40)를 통하여 퍼스널 컴퓨터(51)의 안테나(51a), 퍼스널 컴퓨터(51)에 조립된 무선부를 통하여 수신된다. 무선부에 의해 수신된 신호는 화상신호의 부호화 데이터 및 음성이나 데이터의 정보로 분해된다. 이 중, 화상신호의 부호화 데이터는 퍼스널 컴퓨터(51)에 조립된 정보원 복호화부에 의해 복호되고, 퍼스널 컴퓨터(51)의 디스플레이에 표시된다.
이상 설명한 바와 같이, 본 발명에 의하면 인트라 부호화된 화상영역에 대해서도 그것이 동영역인지 정지영역인지를 고려하여 리프레시 대상범위를 결정한다는 적용 리프레시를 실시함으로써 발생부호량의 증대를 초래하지 않고 전송로 오류에 의한 영향을 억제하게 되고, 화질의 향상을 도모하는 것이 가능해진다. 또한, 장면전환 프레임의 다음 프레임에서 리프레시 위치를 초기위치로 되돌리는 처리를 실시함으로써, 장면전환 프레임이 전송로 오류에 의해 결락한 경우에도 리프레시에 의한 에러 회복을 조기에 실시하는 것이 가능해진다.

Claims (12)

  1. 입력 동화상 신호를 프레임내 부호화하는 인트라 부호화 모드와 프레임간 부호화하는 인터 부호화 모드와 부호화를 실시하지 않고 이전 화면을 표시에 사용하는 비부호화 모드를 갖는 부호화 수단,
    상기 부호화 수단의 부호화 모드를 상기 입력 동화상 신호의 소정의 화상영역마다 적응적으로 선택하는 모드 선택수단, 및
    화면내로부터 동영역을 검출하고 그 동영역으로 이루어진 리프레시 대상 범위내의 일부에 리프레시를 위한 인트라 부호화 영역이 설정되도록, 상기 부호화 수단의 부호화 모드를 제어하는 리프레시 제어수단을 구비하며,
    상기 리프레시 제어수단은
    상기 부호화 수단에 의해 인트라 부호화 모드로 부호화된 각 인트라 부호화 영역마다 그것이 동영역과 정지영역 중 어느쪽에 속하는지를 판정하는 수단을 갖고,
    상기 판정결과에 기초하여 동영역에 속하는 인트라 부호화 영역이 상기 리프레시 대상범위내에 포함되며, 정지영역에 속하는 인트라 부호화 영역이 상기 리프레시 대상범위로부터 제외되도록 리프레시 대상범위를 결정하는 것을 특징으로 하는 동화상 부호화 장치.
  2. 제 1 항에 있어서,
    상기 리프레시 제어수단은 상기 리프레시를 위한 인트라 부호화 영역의 설정 위치를 화면마다 주기적으로 이동시키는 것을 특징으로 하는 동화상 부호화 장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 리프레시 제어수단은,
    동영역에 속하는 인트라 부호화 영역의 개수가 동일 화면내에 소정수 이상 포함될 때, 그 화면을 장면전환 화면이라고 판정하고 주기적인 리프레시 동작이 다음 화면의 화면단부로부터 개시되도록, 다음 화면에서 상기 리프레시를 위한 인트라 부호화 영역의 설정위치를 변경하는 것을 특징으로 하는 동화상 부호화 장치.
  4. 제 2 항에 있어서,
    이전 화면에서 리프레시를 위한 인트라 부호화 영역이 설정된 영역과 동일 위치의 다음 화면상의 영역을 상기 인터 부호화 모드로 부호화할 때, 상기 리프레시의 주기의 방향과 반대방향의 움직임 벡터 중, 상기 리프레시 제어수단에 의해 동영역으로서 판정된 상기 이전 화면상의 영역으로부터의 움직임 벡터에 대해서만 그 탐색을 금지하는 수단을 더 구비하는 것을 특징으로 하는 동화상 부호화 장치.
  5. 제 1 항에 있어서,
    상기 리프레시 제어수단은,
    상기 부호화 수단에 의해 인터 부호화 모드로 부호화된 각 인터 부호화 영역을 동영역으로 판정하고, 그 각 인터 부호화 영역이 상기 리프레시 대상범위내에 포함되도록 리프레시 대상범위를 결정하는 것을 특징으로 하는 동화상 부호화 장치.
  6. 입력 동화상 신호를 프레임내 부호화하는 인트라 부호화 모드와 프레임간 부호화하는 인터 부호화 모드와 부호화를 실시하지 않고 이전 화면을 표시에 사용하는 비부호화 모드를 갖는 부호화 수단,
    상기 부호화 수단의 부호화 모드를 상기 입력 동화상신호의 소정의 화상영역마다 적응적으로 선택하는 모드 선택수단, 및
    화면내로부터 동영역을 검출하고 그 동영역의 일부에 리프레시를 위한 인트라 부호화 영역이 설정되도록 상기 부호화 수단의 부호화 모드를 제어하는 리프레시 제어수단을 구비하며,
    상기 리프레시 제어수단은,
    상기 부호화 수단에 의한 부호화 후, 각 화상영역의 부호화 모드의 선택결과와, 인트라 부호화 모드로 부호화된 인트라 부호화 영역이 동영역에 속하는지 여부의 판정결과에 기초하여 동영역을 검출하는 것을 특징으로 하는 동화상 부호화 장치.
  7. 입력동화상 신호를 프레임내 부호화하는 인트라 부호화 모드와 프레임간 부호화하는 인터 부호화 모드와 부호화를 실시하지 않고 이전 화면을 표시에 사용하는 비부호화 모드를 갖고, 이 부호화 모드를 상기 입력 동화상 신호의 소정의 화상 영역마다 적응적으로 선택하여 부호화를 실시하는 동화상 부호화 방법에 있어서,
    화면내에서 동영역을 검출하고 그 동영역으로 이루어진 리프레시 대상범위 내의 일부에 리프레시를 위한 인트라 부호화 영역이 설정되도록 부호화 모드를 제어하고,
    인트라 부호화 모드로 부호화된 각 인트라 부호화 영역마다 그것이 동영역과 정지영역 중 어느 쪽에 속하는지를 판정하며,
    상기 판정결과에 기초하여 동영역에 속하는 인트라 부호화 영역이 상기 리프레시 대상범위내에 포함되고 정지영역에 속하는 인트라 부호화 영역이 상기 리프레시 대상범위로부터 제외되도록, 다음 화면의 리프레시 대상범위를 결정하는 것을 특징으로 하는 동화상 부호화 방법.
  8. 제 7 항에 있어서,
    상기 리프레시를 위한 인트라 부호화 영역의 설정위치를 화면마다 주기적으로 이동시키는 것을 특징으로 하는 동화상 부호화 방법.
  9. 제 7 항 또는 제 8 항에 있어서,
    동영역에 속하는 인트라 부호화 영역의 개수가 동일 화면내에 소정수 이상 포함될 때, 그 화면을 장면전환 화면이라고 판정하고 주기적인 리프레시 동작이 다음 화면의 화면 단부(端部)로부터 개시되도록 다음 화면에서 상기 리프레시를 위한 인트라 부호화 영역의 설정위치를 변경하는 것을 특징으로 하는 동화상 부호화 방법.
  10. 제 8 항에 있어서,
    이전 화면에서 상기 리프레시를 위한 인트라 부호화 영역이 설정된 영역과 동일 위치의 다음 화면상의 영역을 상기 인터 부호화 모드로 부호화할 때, 상기 리프레시 주기의 방향과 반대방향의 움직임 벡터 중, 동영역으로서 판정된 상기 이전 화면상의 영역으로부터의 움직임 벡터에 대해서만 그 탐색을 금지하는 것을 특징으로 하는 동화상 부호화 방법.
  11. 제 7 항에 있어서,
    상기 인터 부호화 모드로 부호화된 각 인터 부호화 영역을 동영역이라고 판정하고, 그 각 인터 부호화 영역이 상기 리프레시 대상범위내에 포함되도록 리프레시 대상범위를 결정하는 것을 특징으로 하는 동화상 부호화 방법.
  12. 입력 동화상 신호를 프레임내 부호화하는 인트라 부호화 모드와 프레임간 부호화하는 인터 부호화 모드와 부호화를 실시하지 않고 이전 화면을 표시에 사용하는 비부호화 모드를 갖고, 이 부호화 모드를 상기 입력 동화상 신호의 소정의 화상영역마다 적응적으로 선택하여 부호화를 실시하는 동화상 부호화 방법에 있어서,
    화면내로부터 동영역을 검출하고 그 동영역의 일부에 리프레시를 위한 인트라 부호화 영역이 설정되도록 부호화 모드를 제어하고,
    각 화상영역의 부호화 모드의 선택결과와, 인트라 부호화 모드로 부호화된 화상영역이 동영역에 속하는지의 여부의 판정결과에 기초하여, 다음 화면의 동영역을 검출하는 것을 특징으로 하는 동화상 부호화 방법.
KR1019990002859A 1998-01-30 1999-01-29 동화상 부호화 장치 및 동화상 부호화 방법 KR100323344B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP10-019253 1998-01-30
JP01925398A JP3905969B2 (ja) 1998-01-30 1998-01-30 動画像符号化装置および動画像符号化方法

Publications (2)

Publication Number Publication Date
KR19990068201A KR19990068201A (ko) 1999-08-25
KR100323344B1 true KR100323344B1 (ko) 2002-02-19

Family

ID=11994271

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019990002859A KR100323344B1 (ko) 1998-01-30 1999-01-29 동화상 부호화 장치 및 동화상 부호화 방법

Country Status (5)

Country Link
US (1) US6259736B1 (ko)
EP (1) EP0933948B1 (ko)
JP (1) JP3905969B2 (ko)
KR (1) KR100323344B1 (ko)
DE (1) DE69938372T2 (ko)

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0935396A3 (en) * 1998-02-09 2004-08-11 Matsushita Electric Industrial Co., Ltd. Video coding method and apparatus
GB2347038A (en) * 1999-02-18 2000-08-23 Nokia Mobile Phones Ltd A video codec using re-transmission
US6668016B1 (en) * 1999-05-11 2003-12-23 Matsushita Electric Industrial Co., Ltd. Moving image coding method and apparatus, and moving image coding and decoding system
KR20010053814A (ko) * 1999-12-01 2001-07-02 윤종용 영상 부호화 시스템의 부호화방식 선택장치 및 방법
FI116819B (fi) 2000-01-21 2006-02-28 Nokia Corp Menetelmä kuvien lähettämiseksi ja kuvakooderi
FI117534B (fi) 2000-01-21 2006-11-15 Nokia Corp Menetelmä digitaalisten kuvien suodattamiseksi ja suodatin
KR100677083B1 (ko) 2000-01-27 2007-02-01 삼성전자주식회사 디지털 영상 데이터 통신 시스템에서의 오류 전파 억제를위한 송수신 데이터의 처리 방법 및 이를 위한 기록 매체
JP4040826B2 (ja) 2000-06-23 2008-01-30 株式会社東芝 画像処理方法および画像表示システム
US7133455B2 (en) * 2000-12-29 2006-11-07 Intel Corporation Providing error resilience and concealment for video data
EP1374578A4 (en) * 2001-03-05 2007-11-14 Intervideo Inc SYSTEMS AND METHOD FOR ERROR ROBUSTNESS IN A VIDEO DECODER
FR2830159A1 (fr) * 2001-09-24 2003-03-28 Thomson Licensing Sa Procede de codage selon la norme mpeg
US6996183B2 (en) * 2001-09-26 2006-02-07 Thomson Licensing Scene cut detection in a video bitstream
US6766492B2 (en) * 2001-11-16 2004-07-20 Intel Corporation Finite state automaton for control of frame error recovery for a universal serial bus video camera
EP1446955A2 (en) * 2001-11-21 2004-08-18 Canon Kabushiki Kaisha Method and device for determining at least one multimedia data encoding parameter
US7020203B1 (en) 2001-12-21 2006-03-28 Polycom, Inc. Dynamic intra-coded macroblock refresh interval for video error concealment
KR100464003B1 (ko) * 2002-01-08 2005-01-03 엘지전자 주식회사 동영상의 부호화 방법
EP1345450A3 (en) * 2002-01-16 2005-04-20 Matsushita Electric Industrial Co., Ltd. Image coding apparatus, image coding method, and image coding program
US8392952B2 (en) * 2002-05-03 2013-03-05 Time Warner Cable Enterprises Llc Programming content processing and management system and method
US8312504B2 (en) 2002-05-03 2012-11-13 Time Warner Cable LLC Program storage, retrieval and management based on segmentation messages
US8443383B2 (en) 2002-05-03 2013-05-14 Time Warner Cable Enterprises Llc Use of messages in program signal streams by set-top terminals
US7908626B2 (en) * 2002-05-03 2011-03-15 Time Warner Interactive Video Group, Inc. Network based digital information and entertainment storage and delivery system
US7610606B2 (en) * 2002-05-03 2009-10-27 Time Warner Cable, Inc. Technique for effectively providing various entertainment services through a communications network
DE10261501A1 (de) * 2002-12-23 2004-07-15 Mobotix Ag Verfahren zur Datenreduktion
US7949047B2 (en) * 2003-03-17 2011-05-24 Qualcomm Incorporated System and method for partial intraframe encoding for wireless multimedia transmission
US8175154B2 (en) * 2003-06-03 2012-05-08 General Instrument Corporation Method for restructuring a group of pictures to provide for random access into the group of pictures
KR100584422B1 (ko) * 2003-06-04 2006-05-26 삼성전자주식회사 영상데이터의 압축 장치 및 방법
US8116370B2 (en) 2003-10-20 2012-02-14 Logitech Europe S.A. Methods and apparatus for encoding and decoding video data
US7826526B2 (en) * 2003-10-20 2010-11-02 Logitech Europe S.A. Methods and apparatus for encoding and decoding video data
US7634146B2 (en) 2003-10-20 2009-12-15 Logitech Europe S.A. Methods and apparatus for encoding and decoding video data
US20050201470A1 (en) * 2004-03-12 2005-09-15 John Sievers Intra block walk around refresh for H.264
EP1585061A1 (en) * 2004-04-07 2005-10-12 Deutsche Thomson-Brandt Gmbh Block adaptive predictive coding
US7271749B2 (en) * 2004-09-14 2007-09-18 Hewlett-Packard Development Company, L.P. Context-based denoiser that simultaneously updates probabilities for multiple contexts
JP5074924B2 (ja) * 2004-09-16 2012-11-14 トムソン ライセンシング インタフレームのための高速モード決定方法及び装置
US7543064B2 (en) * 2004-09-30 2009-06-02 Logitech Europe S.A. Multiplayer peer-to-peer connection across firewalls and network address translators using a single local port on the local host
US8116577B2 (en) * 2005-03-07 2012-02-14 Sony Corporation Encoding method, encoding device, encoding process program, and recording medium on which encoding process program is recorded
US9237347B2 (en) * 2005-03-21 2016-01-12 The Regents Of The University Of California Systems and methods for video compression for low bit rate and low latency video communications
US7738468B2 (en) * 2005-03-22 2010-06-15 Logitech Europe S.A. Method and apparatus for packet traversal of a network address translation device
JP2008541649A (ja) * 2005-05-20 2008-11-20 エヌエックスピー ビー ヴィ リフレッシュ・マップを用いた画像符号化装置
DE102005029127A1 (de) * 2005-06-23 2007-04-19 On Demand Microelectronics Ag Verfahren und Vorrichtung zur optimierten prädiktiven Videocodierung
US9661376B2 (en) 2005-07-13 2017-05-23 Polycom, Inc. Video error concealment method
US8774272B1 (en) 2005-07-15 2014-07-08 Geo Semiconductor Inc. Video quality by controlling inter frame encoding according to frame position in GOP
US20070140353A1 (en) * 2005-12-19 2007-06-21 Sharp Laboratories Of America, Inc. Intra prediction skipping in mode selection for video compression
JP4851911B2 (ja) * 2006-10-23 2012-01-11 富士通株式会社 符号化装置、符号化プログラムおよび符号化方法
JP4799477B2 (ja) * 2007-05-08 2011-10-26 キヤノン株式会社 画像符号化装置及び画像符号化方法
WO2009069316A1 (ja) * 2007-11-28 2009-06-04 Panasonic Corporation 画像符号化方法および画像符号化装置
US20090231439A1 (en) * 2008-03-14 2009-09-17 Arkady Kopansky Method for Propagating Data Through a Video Stream
JP5050964B2 (ja) * 2008-03-31 2012-10-17 富士通株式会社 復号装置,復号方法および復号プログラム
KR100949917B1 (ko) * 2008-05-28 2010-03-30 한국산업기술대학교산학협력단 적응적 인트라 예측을 통한 고속 부호화 방법 및 시스템
KR20100027384A (ko) * 2008-09-02 2010-03-11 삼성전자주식회사 예측 모드 결정 방법 및 장치
CN101677406B (zh) * 2008-09-19 2011-04-20 华为技术有限公司 一种视频编解码的方法及装置
JP5347849B2 (ja) * 2009-09-01 2013-11-20 ソニー株式会社 画像符号化装置、画像受信装置、画像符号化方法及び画像受信方法
TWI412282B (zh) * 2009-11-17 2013-10-11 Univ Nat Cheng Kung 可隱藏傳輸錯誤之視訊解碼裝置與相關方法
US20110317762A1 (en) * 2010-06-29 2011-12-29 Texas Instruments Incorporated Video encoder and packetizer with improved bandwidth utilization
EP2536143B1 (en) 2011-06-16 2015-01-14 Axis AB Method and a digital video encoder system for encoding digital video data
JP2014200074A (ja) * 2013-03-15 2014-10-23 株式会社リコー 配信制御システム、配信制御方法、及びプログラム
JP2015173404A (ja) * 2014-03-12 2015-10-01 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
CN105405155A (zh) * 2015-10-21 2016-03-16 努比亚技术有限公司 一种信息处理方法及移动终端
JP2017103744A (ja) * 2015-12-04 2017-06-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、及び画像符号化復号装置
CN108886633B (zh) 2016-03-29 2021-06-22 三菱电机株式会社 图像接收再现方法和装置以及图像生成发送方法和装置
CN109076233A (zh) 2016-04-19 2018-12-21 三菱电机株式会社 图像处理装置、图像处理方法和图像处理程序
FR3051309A1 (fr) * 2016-05-10 2017-11-17 Bcom Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'au moins une image
JP6907888B2 (ja) * 2017-10-30 2021-07-21 富士通株式会社 情報処理システム、情報処理装置および情報処理プログラム
EP3809700B1 (en) * 2019-10-16 2022-02-16 Axis AB Periodic intra refresh pattern for video encoding

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09331533A (ja) * 1996-06-10 1997-12-22 Fujitsu Ltd 動画像符号化装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2589020B1 (fr) 1985-10-22 1987-11-20 Eude Gerard Procede de codage hybride par transformation pour la transmission de signaux d'image
US5057916A (en) * 1990-11-16 1991-10-15 General Instrument Corporation Method and apparatus for refreshing motion compensated sequential video images
KR0166725B1 (ko) * 1993-06-30 1999-03-20 김광호 강제인트라-프레임부호화방법
US5805223A (en) * 1994-05-25 1998-09-08 Canon Kk Image encoding apparatus having an intrapicture encoding mode and interpicture encoding mode
JP2912710B2 (ja) 1994-05-30 1999-06-28 エヌ・ティ・ティ移動通信網株式会社 動画像符号化復号化装置
JP3157101B2 (ja) 1996-03-08 2001-04-16 沖電気工業株式会社 画像符号化方法及び画像符号化装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09331533A (ja) * 1996-06-10 1997-12-22 Fujitsu Ltd 動画像符号化装置

Also Published As

Publication number Publication date
EP0933948A2 (en) 1999-08-04
DE69938372D1 (de) 2008-04-30
JPH11220733A (ja) 1999-08-10
JP3905969B2 (ja) 2007-04-18
KR19990068201A (ko) 1999-08-25
US6259736B1 (en) 2001-07-10
EP0933948A3 (en) 2000-11-29
EP0933948B1 (en) 2008-03-19
DE69938372T2 (de) 2009-04-30

Similar Documents

Publication Publication Date Title
KR100323344B1 (ko) 동화상 부호화 장치 및 동화상 부호화 방법
KR100254070B1 (ko) 화상 부호화 장치 및 화상 복호화 장치
KR100593350B1 (ko) 화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치,화상 복호 방법, 및 통신 장치
KR100592651B1 (ko) 트랜스코딩 방법 및 장치
KR100941123B1 (ko) 에러 은닉을 위한 직접 모드 도출 프로세스
KR100357093B1 (ko) 동영상 압축 복원시스템에서의 오류 은폐장치 및 방법
JP3840020B2 (ja) 動画像符号化装置
RU2538317C2 (ru) Способ предсказания движения и способ кодирования видеоинформации
KR19980080602A (ko) 동화상 신호의 부호화 방법 및 장치와, 동화상 신호의 복호화방법 및 장치
Yamada et al. Fast and accurate motion estimation algorithm by adaptive search range and shape selection
KR20030079872A (ko) 영상 데이터의 예측 부호화를 위한 참조 데이터 유닛 결정방법 및 그 장치
KR101018563B1 (ko) 텔레비전 수상기 및 화상 처리 방법
JP3677101B2 (ja) 動画像符号化装置
JP3207095B2 (ja) 動き補償フレーム間/フレーム内符号化装置
KR100602148B1 (ko) 1/4픽셀 움직임 벡터를 이용한 동영상 압축방법
JP3507532B2 (ja) 動画像符号化方法及び装置
KR20000024879A (ko) 압축된 비디오 비트스트림에 발생하는 전송 에러의 실시간 은닉방법
JP2001359102A (ja) 画像符号化方法及び画像符号化装置
KR100242653B1 (ko) 프레임내 부호화방법 및 그 장치
JPH0795588A (ja) 動画像符号化装置
Lee et al. Fuzzy logic based temporal error concealment for H. 264 video
KR100238087B1 (ko) 인트라블록 삽입방법 및 이를 이용한 동영상부호화장치
JP3617652B2 (ja) 画像符号化装置および画像符号化方法
JP2005094801A (ja) 動画像復号化装置及び動画像符号化装置
KR100632106B1 (ko) 디지털 비월주사 인터픽쳐 부호화/복호화 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130111

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20131219

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20141230

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20151217

Year of fee payment: 15

FPAY Annual fee payment

Payment date: 20161220

Year of fee payment: 16

LAPS Lapse due to unpaid annual fee