KR100791666B1 - 시간상 연속되는 영상의 영상 정보를 저장 및 처리하는 방법 및 장치 - Google Patents

시간상 연속되는 영상의 영상 정보를 저장 및 처리하는 방법 및 장치 Download PDF

Info

Publication number
KR100791666B1
KR100791666B1 KR1020027013655A KR20027013655A KR100791666B1 KR 100791666 B1 KR100791666 B1 KR 100791666B1 KR 1020027013655 A KR1020027013655 A KR 1020027013655A KR 20027013655 A KR20027013655 A KR 20027013655A KR 100791666 B1 KR100791666 B1 KR 100791666B1
Authority
KR
South Korea
Prior art keywords
image
information
time
storing
mixed
Prior art date
Application number
KR1020027013655A
Other languages
English (en)
Other versions
KR20020087972A (ko
Inventor
게로 배제
랄프 부쉬만
안드레아스 후터
로베르트 쿠트카
노르베르트 외르텔
위르겐 판델
Original Assignee
지멘스 악티엔게젤샤프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지멘스 악티엔게젤샤프트 filed Critical 지멘스 악티엔게젤샤프트
Publication of KR20020087972A publication Critical patent/KR20020087972A/ko
Application granted granted Critical
Publication of KR100791666B1 publication Critical patent/KR100791666B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명에 따라, 고려되는 각각의 시간상 선행하는 영상로부터 적어도 하나의 영상 영역이 선택되고, 관련 영상 정보가 할당 정보와 함께 저장된다. 상기 영상 정보로부터 각 할당 정보의 고려하에 적어도 하나의 혼합 영상이 생성된다. 이 혼합 영상은 움직임 추정, 움직임 보상 또는 영상에 대한 에러 은닉의 범주에서 사용된다.

Description

시간상 연속되는 영상의 영상 정보를 저장 및 처리하는 방법 및 장치{METHOD AND DEVICE FOR STORING AND PROCESSING IMAGE INFORMATION OF TEMPORALLY SUCCESSIVE IMAGES}
본 발명은 시간상 연속되는 영상에 대한 영상 정보를 저장 및 처리하기 위한 방법 및 장치에 관한 것이다.
그러한 방법 및 장치는 "ITU-T H.263+, Annex N"에 개시되어 있다. 여기에 공지된 방식에서는 시간상 선행하는 다수의 영상의 영상 영역으로부터 영상 정보에 대한 움직임 추정(motion estimation)이 이용된다. 영상 영역의 선택의 폭을 보다 넓히기 위해 다수의 선행 영상들이 움직임 추정에 사용됨에 따라, 움직임 추정 및 이와 관련된 움직임 보상 특성 또는 에러 은닉(error concealment) 특성이 개선된다.
이것은 예컨대, 코딩될 또는 일반적으로 처리될 영상과 그러한 영상에 시간상 바로 직전의 영상 사이에 위치한 영상 내에서 영상의 배경이 자유롭게 되는 경우에 상기 두 영상만 고려되면 움직임 추정에 에러가 많이 생기게 된다는 사실로 설명될 수 있다. 그러나, 움직임 추정 또는 에러 은닉에서 다수의 선행 영상이 고려되면, 시간상 선행하는 더 이전의 영상으로부터 자유롭게 되는 배경의 이러한 영상 영역을 복사하는 것이 가능하다.
통상적으로, 소위 예측 코딩 방법, 즉 소위 움직임 추정이 수행되는 코딩 방법에서는 이미 전송된 영상 영역들의 영상 정보로부터 현재 영상 정보가 추정되고, 움직임 추정의 결과로서 발생한 소위 추정 오차만 전달된다. 이 움직임 추정이 더 정확할수록, 시간상 연속되는 영상의 시퀀스(이하 영상 시퀀스라고도 함)가 더 효과적으로 압축될 수 있다. 지금까지는 움직임 추정을 시간상 바로 직전의 영상에만 적용하는 것이 일반적이었다. 목적물이 영상의 배경에 반대로 이동하면, 자유롭게 되는 배경이 시간상 바로 직전의 선행 영상으로부터 직접 예측될 수는 없고, 완전히 새로 코딩되어야 한다. 결과적으로, 영상 압축 효율은 감소하고, 일정한 품질의 영상 시퀀스를 전송하는데 필요한 데이터 속도가 증가한다.
"ITU-T H.263+, Annex N"에 개시된 방식의 경우에, 시간상 선행하는 다수의 영상들에 대한 움직임 추정에서 고려되는 모든 선행 영상 전체가 저장된다. 따라서 특히 가용 메모리 공간이 상대적으로 작은 응용분야, 예컨대 화상 전화와 같은 응용분야에서 상당한 메모리 공간이 요구된다. 이러한 공지된 방식에서는, 시간상 선행하는 다수의 영상의 필요 영상 정보를 저장하기 위해, 영상 코딩을 위해 일반적으로 제공되는 메모리 공간의 수 배가 필요하다.
따라서 본 발명은, 시간상 연속되는 영상들에 대한 영상 정보를 저장 및 처리하는 문제에 기초하여, 움직임 추정 또는 에러 은닉의 품질을 "ITU-T H.263+, Annex N"에 개시된 방식의 경우와 유사하게 유지하면서 시간상 선행하는 다수의 영상을 저장하는데 요구되는 메모리 공간은 감소시키는 것을 목적으로 한다.
상기 목적은 독립항에 따른 특징을 갖는 방법, 장치, 컴퓨터 판독가능 저장매체 및 컴퓨터 프로그램 엘리먼트에 의해 달성된다.
시간상 연속되는 영상의 영상 정보를 저장 및 처리하는 방법에서는, 고려되는 각각의 시간상 선행하는 영상으로부터 적어도 하나의 영상 영역이 선택된다. 선택된 각 영상 영역으로부터 검출된 영상 정보가 할당 정보과 함께 저장되고, 상기 할당 정보는 각 영상 영역 및 그에 따른 각 영상 영역의 영상 정보가 해당 영상 및 해당 영상 내의 영상 영역의 위치에 할당될 수 있게 한다. 할당 정보를 고려하여, 저장 및 선택된 각 영상 영역에 대한 영상 정보로부터 적어도 하나의 혼합 영상이 생성된다. 이 혼합 영상은 영상에 대한 움직임 추정 또는 움직임 보상 또는 에러 은닉과 관련하여 사용된다.
시간상 연속되는 영상의 영상 정보를 저장 및 처리하기 위한 장치는 다음과 같은 단계들이 수행될 수 있도록 설정되는 프로세서를 갖는다.
- 고려된 각각의 시간상 선행하는 영상으로부터 적어도 하나의 영상 영역이 선택되는 단계.
- 선택된 각 영상 영역의 영상 정보가 각 영상 영역이 해당 영상 및 영상 내의 영상 영역의 위치에 할당되도록 하는 할당 정보과 함께 저장되는 단계.
- 각 할당 정보를 고려하여, 저장 및 선택된 각 영상 영역의 영상 정보로부터 적어도 하나의 혼합 영상이 생성되는 단계.
- 혼합 영상이 영상에 대한 움직임 추정, 움직임 보상 또는 에러 은닉과 관련하여 사용되는 단계.
컴퓨터 판독 가능 저장 매체에 시간상 연속되는 영상에 대한 영상 정보를 저장 및 처리하기 위한 컴퓨터 프로그램이 저장되고, 상기 컴퓨터 프로그램은 프로세서에 의해 하기의 단계를 거쳐 실행된다.
- 각 경우에 고려되는 시간상 선행하는 각 영상으로부터 적어도 하나의 영상 영역이 선택되는 단계.
- 선택된 각 영상 영역의 영상 정보가 각 영상 영역이 해당 영상 및 영상 내의 영상 영역의 위치에 할당되도록 하는 할당 정보과 함께 저장되는 단계.
- 각 할당 정보를 고려하여, 저장 및 선택된 각 영상 영역의 영상 정보로부터 적어도 하나의 혼합 영상이 생성되는 단계.
- 혼합 영상이 영상에 대한 움직임 추정, 움직임 보상 또는 에러 은닉과 관련하여 사용되는 단계.
시간상 연속하는 영상에 대한 영상 정보를 저장 및 처리하기 위한 컴퓨터 프로그램 엘리먼트는 프로세서에 의해 하기의 단계를 거쳐 수행된다.
- 각 경우에 고려되는 시간상 선행하는 각 영상으로부터 적어도 하나의 영상 영역이 선택되는 단계.
- 선택된 각 영상 영역의 영상 정보가 각 영상 영역이 해당 영상 및 영상 내의 영상 영역의 위치에 할당되도록 하는 할당 정보과 함께 저장되는 단계.
- 각 할당 정보를 고려하여, 저장 및 선택된 각 영상 영역의 영상 정보로부터 적어도 하나의 혼합 영상이 생성되는 단계.
- 혼합 영상이 영상에 대한 움직임 추정, 움직임 보상 또는 에러 은닉과 관련하여 사용되는 단계.
본 발명에서는 시간상 선행하는 영상 전체를 저장할 필요가 없고, 시간상 선행하는 영상의 영상 영역만을 선택하여 저장하면 되기 때문에, 필요한 메모리 공간이 상당히 줄어든다.
그럼에도 불구하고, 달성될 수 있는 움직임 추정의 품질은 "ITU-T H.263+, Annex N"에 개시된 방법으로 달성될 수 있는 품질과 실질적으로 동일하다.
본 발명에서는, 시간상 선행하는 다수의 영상에 대한 움직임 추정을 위해 시간상 선행하는 영상의 전체 영상 정보를 저장하는 대신, 바람직하게 움직임 추정에 고려되는 시간상 선행하는 영상의 관련 영역이 저장된다는 사실을 명백히 알 수 있다.
본 발명은 컴퓨터 프로그램, 즉 소프트웨어 및 특별한 전자 회로 즉 하드웨어 모두로 구현될 수 있다.
본 발명에 대한 바람직한 실시예는 종속항에 제시된다.
이하의 상세한 설명은 전술한 방법, 장치, 컴퓨터 판독가능 저장 매체 뿐만 아니라 컴퓨터 프로그램 엘리먼트와도 관련된다.
본 발명의 한 개선예에서는, 해당 영상 영역의 영상 정보가 시간상으로 연속하는 2개의 영상에 대한 움직임 추정을 위한 소정의 기준에 충분히 적절한 경우, 즉 영상 정보가 소정의 기준을 만족시키는 경우에 영상 영역이 선택된다.
본 발명의 또 다른 한 실시예에서는, 이러한 영상들로부터 영상 영역을 선택하여 저장하기 위해 시간상 선행하는 다수의 연속 영상들이 사용된다.
영상 정보는 링 메모리 구조에 저장될 수 있다. 즉, 소정 크기의 메모리 공간이 시간상 선행하는 영상의 영상 정보를 저장하는데 사용될 수 있고, 주어진 메모리 영역이 채워진 경우, 영상 영역, 즉 해당 영상 영역의 영상 정보를 "보다 최근의" 영상 정보로 덮어쓸 수 있다.
이는 메모리에 가장 오랫동안 저장된 영상 정보를 새로 저장될 보다 최근의 영상 정보로 덮어쓰는 방식으로 이루어질 수 있다.
대안으로, 움직임 추정, 움직임 보상 또는 에러 은닉의 관점에서 가장 드물게 선택된 영상 정보는 발견적(heuristic) 관점에서 움직임을 추정하기에 충분히 적절하지 않으므로 더 이상 저장될 필요도 없기 때문에, 그러한 영상 정보는 교체될 수 있다.
상기 개선예를 통해 "ITU-T H.263+, Annex N"에 개시된 방식의 경우에 필요한 메모리 공간보다 훨씬 더 작은 필요 메모리 공간의 확정이 보장될 수 있다.
적어도 하나의 혼합 영상에 대해 처리될 영상과 관련하여 움직임 추정이 수행될 수 있다.
또한, 시간상 선행하는 다수의 영상의 영상 영역의 영상 정보로부터 다수의 혼합 영상이 생성될 수 있고, 각각의 혼합 영상에 대해 영상에 관한 움직임 추정이 수행될 수 있다.
상기 개선예에 따라, 소정의 기준과 관련하여 움직임 추정의 결과가 가장 양호한 혼합 영상이 선택된다. 선택된 혼합 영상의 영상 영역에 대해 움직임 벡터가 생성되고, 그 움직임 벡터는 결국 움직임 보상 또는 에러 은닉과 관련하여 사용될 수 있다.
혼합 영상은 후처리를 거치게 될 영상으로부터 고려 대상이 되는, 시간상 선행하는 각각의 연속 영상에 대해 반복적으로 생성될 수 있다.
혼합 영상의 그러한 반복 생성은, 시간상 선행하는 각 영상의 저장된 영상 정보가 하나의 혼합 영상에 복사되고, 그 결과로 생성된 혼합 영상이 저장됨으로써 수행될 수 있다. 시간상 선행하는 각 영상의 저장된 영상 정보는 선행 단계에서 생성된 혼합 영상으로 복사된다. 시간상 선행하는 모든 영상이 고려될 때까지 계속해서 생성될 각각의 혼합 영상을 위해 상기 방법이 수행된다.
선택되는 영상 영역의 형태는 일반적으로 어떤 것이든 가능하나, 영상 개체는 소정의 형태를 갖거나 매크로블록이거나 또는 영상 블록인 것이 바람직하다.
상기 개선예를 통해, 통상적인 블록-기반 영상 코딩 방법 및/또는 개체-기반 영상 코딩 방법에 상기 방법을 간편하게 추가 도입할 수 있다.
본 발명은 화상 전화 및 디지털 텔레비젼 또는 소위 HDTV 모두에서 사용될 수 있다. 또한, 본 발명은 유리하게 인터넷 비디오 스트리밍, 주문형 비디오(VOD) 분야, 기업 내 텔레비젼(business television) 또는 인터넷 텔레비젼에서 사용될 수 있다.
본 발명은 움직임 추정이 수행되는 임의의 영상 코딩 방법, 즉 모든 예측 영상 코딩 방법에 사용될 수 있다는 점이 중요하다.
또 다른 한 실시예에서는, 선택된 각 영상 영역의 영상 정보 및/또는 관련 할당 정보가 저장되기 전에 압축될 수 있다.
본 발명의 실시예가 도면을 참조하여, 이하 보다 상세히 설명된다.
도1은 본 발명의 실시예에 따른 방식의 원리를 설명하는 도.
도2는 본 발명의 실시예에 따른 코딩 구성을 제시하는 도.
도3은 본 발명의 실시예에 따른 방법의 각 단계들을 설명하는 흐름도.
도4는 본 발명의 실시예에 따른 디코딩 구성을 제시하는 도.
도2에는 코딩 장치(200)의 사용자(202)의 영상을 기록하는 카메라(201)를 갖는 코딩 장치(200)가 도시되어 있다. 카메라(201)는 라인(203)을 통해 소스 코더(204)에 연결된다. 소스 코더(204)에서, 카메라에 의해 기록되고 디지털화된 비디오 영상은 하기에 기술되는 방식에 따라 소스 코딩된다.
각 비디오 영상은 코딩 정보, 예컨대 색상 정보 또는 휘도 정보가 할당된 픽셀들을 갖는다. 픽셀들은 영상 블록들(205)로 그룹화되고, 이 블록들(205)은 다시 소위 매크로블록(macroblock)으로 그룹화된다.
코딩될 영상의 영상 블록들(205)이 소스 코더(204)에 제공된다. 소스 코드(204)에서는 영상 블록들(205)이 움직임 추정 유닛(206) 및 스위치 유닛(207)에 제공된다. 스위치 유닛(207)에 의해, 제어 유닛(도시되지 않음)의 제어 하에, 영상 블록에 대해 움직임 추정이 수행되어 결과적으로 코딩될 영상 블록의 코딩 정보와 시간상 선행하는 영상의 영상 블록 사이에 편차 영상(difference image) 정보(208)가 발생되어야 하는지, 또는 코딩될 영상 블록(205)의 완전한 코딩 정보(208)가 스위치 유닛(207)을 통해 변환 유닛(209)에 제공되어 야 하는지의 여부가 정해진다.
변환 유닛(209)에서는, 코딩될 코딩 정보 또는 편차 코딩(difference coding) 정보에 대해 DCT(Discrete Cosine Transform)가 수행되고, 그 결과 양자화 유닛(211)에서 양자화된 변환 계수(212)로 양자화되는 변환 계수들(210)이 형성된다.
양자화된 변환 계수(212)는 런 길이 코딩(run length coding)을 위한 유닛(213)에 제공된다. 런 길이 코딩된 변환 계수들(214)은 출력 버퍼(215)에 기록된다. 런 길이 코딩된 변환 계수들(214)은 출력 버퍼(215)로부터 판독되고 예컨대 채널 코딩에 제공되어 수신기로 전송된다.
양자화된 변환 계수들(212)은 또한 피드백 루프에서 역 양자화 유닛(216)으로 제공되고, 여기서 역 양자화된 변환 계수들(217)을 형성한다.
역 양자화된 변환 계수들(217)은 역 변환 유닛(218)에 제공되고, 여기서 역 양자화된 변환 계수들(217)은 IDCT(Inverse DCT)되어, 역변환된 계수들(219)을 형성하고 상기 역변환된 계수들은 제1 메모리(220)에 저장된다.
움직임 추정을 위한 유닛(206)에서, 제1 메모리(220)에 저장된 역 변환 계수들(219)을 사용하여 움직임 추정이 수행된다.
움직임 추정이 수행된 후에, 이러한 실시예에 따라, 영상 블록이 움직임 추정에 적합한가에 대한 결정이 행해진다.
이것은 이하에 설명될 바와 같이 다수의 영상에 대한 분석을 통해 그리고 각 영상 블록이 움직임 추정에 적합한지, 즉 움직임 추정의 관점에서 통계적으로 낮은 에러값을 유발함으로써 낮은 데이터 속도를 보장할 수 있는지에 대한 검사를 통해 행해진다.
이것은 예컨대 자유롭게 되는 배경을 묘사하는 영상 블록, 즉 시간상 연속되는 영상들 간에 영상 시퀀스 내에서의 상기 영상들의 위치와 관련하여 매우 크게 변화하는 객체를 묘사하는 영상 블록의 경우이다. 선택된 영상 블록들, 즉 선택된 영상 블록들의 영상 정보는 제2 메모리(222)에 저장된다.
이 방식은 도1을 참조하여 하기에 보다 상세히 설명된다.
움직임 추정에서 산출되는 움직임 벡터(223)는 런 길이 코딩을 위한 유닛(213)에 제공되고, 여기서 런 길이 코딩되며 추가적으로 처리된다.
도1은 디지털화된 영상(101,102,103,104,105)의 시퀀스(100)를 나타낸다. 이 실시예에 따라, 움직임 추정이 수행되어야 하는 코딩될 현재 영상이 F(n)으로 지정된다. 하기에 설명될 방법의 관점에서, 고려되는 시간상 마지막 선행 영상은 F(n-k)로 지정된다. 이것은 움직임 추정을 위한 방법의 관점에서 시간상 선행하는 k개의 영상이 고려된다는 것을 의미한다.
영상들은 영상 블록들(106)을 갖는다. 선택된 영상 블록들은 도면부호 107로 표시되어 있다. 선택된 영상 블록들에 대한 코딩 정보는 할당 정보과 함께 제2 메모리(222)에 저장된다. 할당 정보는 선택된 영상 블록이 위치하는 영상에 관한 설명 및 해당 영상 내의 선택된 영상 블록의 위치를 명백하게 기술하는 좌표를 포함한다.
할당 정보는 B(i,x,y)로 지정되고, 여기서,
●i는 선택된 영상 블록이 위치한 각 영상을 지정하고,
●x는 시간상 선행하는 관련 영상 내에서 선택된 영상 블록 내의 x 좌표에 대한 위치를 특정하는 x좌표를 지정하고,
●y는 시간상 선행하는 관련 영상 내에서 선택된 영상 블록 내의 y 좌표에 대한 위치를 특정하는 y좌표를 지정한다.
제2 메모리(222)는 도1에 표시된 바와 같이, 링 메모리 구조를 갖는다.
움직임 추정을 위한 유닛(207)이 움직임 추정을 수행하는 경우, 이것은 검색 영역(108) 내에서, 도3에 설명된 방식으로 수행된다.
도3은 이 실시예에 따라 움직임 추정(300)를 위한 방법의 각 단계들을 제시한다.
상기 방법은 제1 단계(301)에서 시작된다.
다음 단계(302)에서는, 검색 영역(108)에 대해, 시간상 바로 직전의 영상을 제외한 영상 블록들의 코딩 정보로부터 초기화 혼합 영상(109)이 생성된다. 이 정보는 완전하게(전체적으로) 이용될 수 있으며, 그럼으로써 코딩 정보가 움직임 추정을 위한 전체 검색 영역 내에서 사용되는 것이 보장된다.
코딩될 해당 영상 블록에 대해, 초기화 혼합 영상(109)의 검색 영역(108)내에서 움직임 추정이 수행되고(단계 303), 그 결과 제1 움직임 벡터가 형성된다. 또한, 상기 움직임 추정의 결과는 초기화 혼합 영상(단계 302)의 검색 영역 내의 선택된 영역에 존재하는 코딩 정보가 코딩될 영상 블록의 코딩 정보와 상이한 정도를 특정하는 에러값이다. 이것은 예컨대 고려되는 픽셀의 각 코딩 정보의 차의 제곱들의 합을 형성하므로써 수행될 수 있다.
상기 에러값 및 관련 움직임 벡터가 저장된다(단계 304).
다음 단계(305)에서는 제 2 초기화 혼합 영상(109)이 생성되고, 선택된 검색 영역(108)에 위치하는 시간상 가장 마지막 선행 영상인 F(n-1)의 선택된 영상 블록들이 상기 초기화 혼합 영상(109)으로 복사되어, 해당 위치에서 상기 초기화 혼합 영상의 영상 블록의 코딩 정보를 덮어쓴다.
그리고 나서, 코딩될 영상에 관해 다시 혼합 영상에 대해 움직임 추정이 수행되고(단계 306), 제2 움직임 벡터 및 제2 에러값이 생성되며, 상기 값들은 다시 저장된다(단계 307).
검사 단계(308)에서는 종료 기준이 만족되는지의 여부가 검사된다.
상기 실시예에 따른 종료 기준은 에러값 또는 제2 에러값이 소정의 임계값 보다 작은가 아닌가이다.
에러값 및 제2 에러값 모두 소정의 임계값보다 작지 않은 경우, 검색 영역 내에 위치하는 영상 블록을 갖는 시간상 세 번째 선행 영상의 선택된 영상 블록을 덮어씀으로써 추가적인 혼합 영상과 동일한 방식으로 제3 혼합 영상이 형성된다.
일반적으로, 종료 기준이 만족되는지를 판단하기 위한 검사가 수행되고, 종료 기준이 만족되지 않은 것으로 판명되면, 시간상 선행하는 혼합 영상의 코딩 정보가 상기 혼합 영상보다 시간상 더 선행하는 영상의, 검색 영역 내에 존재하는 영상 블록의 코딩 정보로 덮어씌워짐으로써 다음 반복의 혼합 영상이 생성되고, 다음 반복의 혼합 영상에 대한 움직임 추정이 다시 수행되어, 그 결과로 각각의 다음 반복의 움직임 벡터 및 다음 반복의 추가 에러값이 생성되며, 검사 단계(308)는 이제 특히 다음 반복의 에러값에 적용된다. 종료 기준이 만족되면, 생성된 추가의 관련 움직임 벡터 및 이 움직임 벡터의 해당 혼합 영상의 반복을 결정했던 규정이 런 길이 코딩을 위한 유닛(213)에 제공된다.
또한, 검색 영역에서 선택된 해당 영상 영역에 대한 코딩 정보는 편차 형성을 위해 선택된 영상 블록으로서 스위치 유닛(207)에 제공된다(단계 309).
제2 메모리(222)의 소정의 메모리 영역이 가득차면, 선택된 추가 영상 블록 중 보다 최근의 영상 블록의 추가 코딩 정보, 런 길이 코딩된 움직임 벡터 및 해당 할당 정보도 마찬가지로 런 길이 디코딩되어(도시되지 않음) 제1 메모리(220)에 저장되며, 그 결과 움직임 추정의 관점에서 가장 오랫동안 사용되지 않은 저장된 코딩 정보에 덮어씌워진다.
런 길이 코딩된 움직임 벡터, 혼합 영상 색인 및 런 길이 코딩된 변환 계수들은 수신기에 의해 수신되고, 여기서 디코딩을 위한 유닛(400)(도4 참조)에 제공된다.
런 길이 코딩된 변환 계수들(214)은 역 양자화 유닛(401)에 제공되고, 그 결과 역 양자화된 변환 계수들(402)이 생성된다.
역 양자화된 변환 계수들(402)은 역 변환 유닛(403)에 제공되고, 여기서 역 DCT가 실행됨에 따라 역 변환된 계수들(404)이 생성되어 제1 메모리(405)에 저장된다.
결정된 움직임 벡터들 및 디코딩의 관점에서 재구성된 영상들을 사용하여, 필요한 관련 혼합 영상이 각각 제2 메모리(406)에 저장된다.
움직임 보상(407)을 위한 유닛에서, 해당 움직임 벡터 및 혼합 영상이 요구된 영상 블록, 즉 해당 영상 블록에 대한 코딩 정보의 재구성에 사용되고, 상기 코딩 정보는 편차 정보(408)로서 합산 유닛(409)에 제공되어, 재구성된 편차 코딩 정보에 따라 합산된다.
이런 식으로, 재구성된 영상 블록의 시퀀스에 의해 재구성된 영상이 생성된다.
위에 설명한 실시예에 대한 몇몇 대안을 하기에 기술한다.
제2 메모리(222)에 저장된 관련 영상 블록들을 선택하는 다양한 가능성들이 제공된다. 따라서, 선행하는 영상의 해당 영상 블록에 비해 코딩 정보가 상당히 변화한, 즉 코딩 정보 차이가 소정의 제2 임계값 보다 큰 영상 블록들을 선택하는 것이 가능하다.
추가적인 선택 기준은 소위 인트라 코딩된 영상 블록이 선택되었는지, 즉 차이 영상 블록들과 달리 코딩 정보가 완전히 코딩된 영상 블록이 선택되었는지 이다.
이 방식는 특히 전체 영상이 인트라(intra) 코딩되지 않고 그 일부만 인트라 코딩되는 경우에 적합하다.
본 발명은 에러 은닉, 즉 코더 장치에서의 에러 은닉에도 적합하다.
이러한 대안 실시예에서는, 도3에 설명된 방법에 따라, 수신된 영상이 관련 혼합 영상으로 재구성되고, 디코딩 방법이 알려지지 않은 에러가 많은 영상 블록에 대해 시간상 선행하는 영상의 혼합 영상들 중 하나로부터 관련 영상 블록이 선택되어 관련 에러 영상 영역에 기록된다.
또한, 제2 메모리가 전형적인 영상 패턴에 의해 선점될 수 있는데, 이는 본질적으로 벡터 양자화와 동일하다. 그러한 영상 패턴으로는 예컨대 2차원의 스킨색 영상 블록 또는 뜨거나 감은 눈이 사용될 수 있으며, 이들은 명백하게 벡터 양자화의 관점에서 코드북의 역할을 한다.
삭제
삭제

Claims (14)

  1. 시간상 연속되는 영상들에 대한 영상 정보를 저장 및 처리하는 방법으로서,
    고려된 각각의 시간상 선행하는 영상으로부터 적어도 하나의 영상 영역이 선택되는 단계,
    선택된 각 영상 영역의 영상 정보가 각 영상 영역이 해당 영상 및 영상 내의 영상 영역의 위치에 할당되도록 하는 할당 정보과 함께 저장되는 단계,
    각 할당 정보를 고려하여, 저장 및 선택된 각 영상 영역의 영상 정보로부터 적어도 하나의 혼합 영상이 생성되는 단계,
    혼합 영상이 영상에 대한 움직임 추정, 움직임 보상 또는 에러 은닉과 관련하여 사용되는 단계를 포함하는,
    시간상 연속되는 영상의 영상 정보를 저장 및 처리하는 방법.
  2. 제1항에 있어서,
    해당 영상 영역의 영상 정보가 시간상으로 연속하는 2개의 영상에 대한 움직임 추정을 위한 소정의 기준을 만족시키는 경우에 영상 영역이 선택되는,
    시간상 연속되는 영상의 영상 정보를 저장 및 처리하는 방법.
  3. 제1항에 있어서,
    시간상 선행하는 다수의 연속 영상들로부터 영상 영역들이 선택되어 저장되는,
    시간상 연속되는 영상의 영상 정보를 저장 및 처리하는 방법.
  4. 제1항에 있어서,
    상기 영상 정보는 링 메모리 구조에 저장되는,
    시간상 연속되는 영상의 영상 정보를 저장 및 처리하는 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 적어도 하나의 혼합 영상에 대해 상기 영상과 관련하여 움직임 추정이 수행되는,
    시간상 연속되는 영상의 영상 정보를 저장 및 처리하는 방법.
  6. 제5항에 있어서,
    시간상 선행하는 다수의 영상의 영상 영역의 영상 정보로부터 다수의 혼합 영상이 생성되고,
    각 혼합 영상에 대해, 영상에 관한 움직임 추정이 수행되고,
    소정의 기준과 관련하여 움직임 추정의 결과가 가장 양호한 혼합 영상이 선택되고,
    선택된 혼합 영상의 영상 영역에 대한 움직임 벡터가 생성되는,
    시간상 연속되는 영상의 영상 정보를 저장 및 처리하는 방법.
  7. 제6항에 있어서,
    상기 혼합 영상은 후처리를 거치게 될 영상으로부터 고려 대상이 되는, 시간상 선행하는 각각의 연속 영상에 대해 반복적으로 생성되는,
    시간상 연속되는 영상의 영상 정보를 저장 및 처리하는 방법.
  8. 제6항에 있어서,
    상기 혼합 영상은,
    시간상 선행하는 각 영상의 저장된 영상 정보가 하나의 혼합 영상에 복사되고,
    그 결과로 생성된 혼합 영상이 저장되고,
    시간상 선행하는 각 영상의 저장된 영상 정보는 선행 단계에서 생성된 혼합 영상으로 복사되고,
    상기 방법은 각각의 혼합 영상을 위해 시간상 선행하는 모든 영상이 고려될 때까지 계속 진행되는 방식으로
    생성되는,
    시간상 연속되는 영상의 영상 정보를 저장 및 처리하는 방법.
  9. 제1항 내지 제4항 중 어느 한 항에서 있어서,
    상기 영상 영역은,
    소정 형태의 영상 개체 및/또는
    매크로블록 및/또는
    영상 블록인,
    시간상 연속되는 영상의 영상 정보를 저장 및 처리하는 방법.
  10. 제1항 내지 제4항 중 어느 한 항에 있어서,
    화상 전화,
    디지털 텔레비젼,
    HDTV,
    인터넷 비디오 스트리밍,
    주문형 비디오(VOD),
    기업 내 텔레비젼(business television), 또는
    인터넷 텔레비젼에서 사용되는,
    시간상 연속되는 영상의 영상 정보를 저장 및 처리하는 방법.
  11. 제1항 내지 제4항 중 어느 한 항에 있어서,
    선택된 각 영상 영역의 영상 정보 및/또는 관련 할당 정보가 저장되기 전에 압축되는,
    시간상 연속되는 영상의 영상 정보를 저장 및 처리하는 방법.
  12. 시간상 연속되는 영상의 영상 정보를 저장 및 처리하기 위한 장치로서,
    고려된 각각의 시간상 선행하는 영상으로부터 적어도 하나의 영상 영역이 선택되는 단계,
    선택된 각 영상 영역의 영상 정보가 각 영상 영역이 해당 영상 및 영상 내의 영상 영역의 위치에 할당되도록 하는 할당 정보과 함께 저장되는 단계,
    각 할당 정보를 고려하여, 저장 및 선택된 각 영상 영역의 영상 정보로부터 적어도 하나의 혼합 영상이 생성되는 단계, 및
    혼합 영상이 영상에 대한 움직임 추정, 움직임 보상 또는 에러 은닉과 관련하여 사용되는 단계가 수행될 수 있도록 설정된 프로세서를 갖는,
    시간상 연속되는 영상의 영상 정보를 저장 및 처리하는 장치.
  13. 시간상 연속되는 영상에 대한 영상 정보를 저장 및 처리하기 위한 컴퓨터 프로그램이 저장되는 컴퓨터-판독 가능 저장 매체로서, 상기 컴퓨터 프로그램은 프로세서에 의해 하기의 단계, 즉
    고려되는 각각의 시간상 선행하는 영상으로부터 적어도 하나의 영상 영역이 선택되는 단계,
    선택된 각 영상 영역의 영상 정보가 각 영상 영역이 해당 영상 및 영상 내의 영상 영역의 위치에 할당되도록 하는 할당 정보과 함께 저장되는 단계,
    각 할당 정보를 고려하여, 저장 및 선택된 각 영상 영역의 영상 정보로부터 적어도 하나의 혼합 영상이 생성되는 단계, 및
    상기 혼합 영상이 영상에 대한 움직임 추정, 움직임 보상 또는 에러 은닉과 관련하여 사용되는 단계를 거쳐 실행되는,
    컴퓨터-판독 가능 저장 매체.
  14. 삭제
KR1020027013655A 2000-04-14 2001-04-09 시간상 연속되는 영상의 영상 정보를 저장 및 처리하는 방법 및 장치 KR100791666B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10018662 2000-04-14
DE10018662.9 2000-04-14

Publications (2)

Publication Number Publication Date
KR20020087972A KR20020087972A (ko) 2002-11-23
KR100791666B1 true KR100791666B1 (ko) 2008-01-03

Family

ID=7638835

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020027013655A KR100791666B1 (ko) 2000-04-14 2001-04-09 시간상 연속되는 영상의 영상 정보를 저장 및 처리하는 방법 및 장치

Country Status (10)

Country Link
US (1) US7397856B2 (ko)
EP (1) EP1279291B1 (ko)
JP (1) JP4805518B2 (ko)
KR (1) KR100791666B1 (ko)
CN (1) CN1204752C (ko)
BR (1) BRPI0109962B1 (ko)
CA (1) CA2406164C (ko)
DE (1) DE50103996D1 (ko)
RU (1) RU2270530C2 (ko)
WO (1) WO2001080569A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040190622A1 (en) * 2001-07-06 2004-09-30 Robert Schutten Motion estimation and compensation with controlled vector statistics
KR100601935B1 (ko) * 2003-12-02 2006-07-14 삼성전자주식회사 디지탈 동영상 처리 방법 및 장치
EP1617672A1 (en) * 2004-07-13 2006-01-18 Matsushita Electric Industrial Co., Ltd. Motion estimator/compensator including a 16-bit 1/8 pel interpolation filter
DE102005051091A1 (de) * 2005-10-25 2007-04-26 Siemens Ag Verfahren und Vorrichtungen zur Bestimmung und Rekonstruktion eines prädizierten Bildbereichs
FR2930107B1 (fr) * 2008-04-14 2018-01-26 Canon Kabushiki Kaisha Procede et dispositif de traitement de donnees d'une sequence video.
FI127117B (fi) * 2009-06-17 2017-11-30 Gurulogic Microsystems Oy Kuvaprosessoija ja tietokoneohjelma
WO2015010317A1 (zh) * 2013-07-26 2015-01-29 北京大学深圳研究生院 一种基于p帧的多假设运动补偿方法
CN104769947B (zh) * 2013-07-26 2019-02-26 北京大学深圳研究生院 一种基于p帧的多假设运动补偿编码方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960035351A (ko) * 1995-03-29 1996-10-24 다까노 야스아끼 3차원 표시 화상 생성 방법, 깊이 정보를 이용한 화상 처리 방법, 깊이 정보 생성 방법
KR20000010607A (ko) * 1996-04-23 2000-02-15 칼 하인쯔 호르닝어 비디오 디코더 및 디코딩 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60168276A (ja) 1984-02-13 1985-08-31 Kokusai Denshin Denwa Co Ltd <Kdd> 画面上の移動体の動き方向検出方式
JPH06197334A (ja) * 1992-07-03 1994-07-15 Sony Corp 画像信号符号化方法、画像信号復号化方法、画像信号符号化装置、画像信号復号化装置及び画像信号記録媒体
EP0606675A3 (en) * 1992-12-16 1994-12-21 Ibm Method for lossless compression of moving picture video.
US5561477A (en) * 1994-10-26 1996-10-01 Thomson Consumer Electronics, Inc. System for coding a video signal in the presence of an image intensity gradient
US5802211A (en) 1994-12-30 1998-09-01 Harris Corporation Method and apparatus for transmitting and utilizing analog encoded information
JP3347954B2 (ja) * 1995-11-02 2002-11-20 三菱電機株式会社 動画像符号化装置及び動画像復号化装置
US5943445A (en) 1996-12-19 1999-08-24 Digital Equipment Corporation Dynamic sprites for encoding video data
EP1042736B1 (en) 1996-12-30 2003-09-24 Sharp Kabushiki Kaisha Sprite-based video coding system
WO1998036576A1 (en) * 1997-02-13 1998-08-20 Mitsubishi Denki Kabushiki Kaisha Moving picture prediction system
JP3639108B2 (ja) 1998-03-31 2005-04-20 株式会社ソニー・コンピュータエンタテインメント 描画装置および描画方法、並びに提供媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960035351A (ko) * 1995-03-29 1996-10-24 다까노 야스아끼 3차원 표시 화상 생성 방법, 깊이 정보를 이용한 화상 처리 방법, 깊이 정보 생성 방법
KR20000010607A (ko) * 1996-04-23 2000-02-15 칼 하인쯔 호르닝어 비디오 디코더 및 디코딩 방법

Also Published As

Publication number Publication date
DE50103996D1 (de) 2004-11-11
RU2002130496A (ru) 2004-03-10
EP1279291A1 (de) 2003-01-29
RU2270530C2 (ru) 2006-02-20
JP2003531532A (ja) 2003-10-21
CN1436427A (zh) 2003-08-13
BR0109962A (pt) 2003-05-27
CA2406164C (en) 2012-06-05
CN1204752C (zh) 2005-06-01
CA2406164A1 (en) 2001-10-25
WO2001080569A1 (de) 2001-10-25
EP1279291B1 (de) 2004-10-06
JP4805518B2 (ja) 2011-11-02
US20030059119A1 (en) 2003-03-27
BRPI0109962B1 (pt) 2016-07-19
US7397856B2 (en) 2008-07-08
KR20020087972A (ko) 2002-11-23

Similar Documents

Publication Publication Date Title
US7224731B2 (en) Motion estimation/compensation for screen capture video
KR100559924B1 (ko) 코딩 시스템의 매크로 블록 기반 비율을 제어하기 위한장치 및 방법
US8311106B2 (en) Method of encoding and decoding motion picture frames
KR100802203B1 (ko) 비트스트림 제어 후처리 필터링 방법 및 컴퓨터 판독가능매체
JP2891772B2 (ja) イメージフレームのランダムスキャンニングを用いるディジタルイメージコーディング法
US10205953B2 (en) Object detection informed encoding
EP0853436A2 (en) Digital video signal filtering and encoding method and apparatus
US9300960B1 (en) Video codec systems and methods for determining optimal motion vectors based on rate and distortion considerations
JPH09261662A (ja) ディジタルビデオ符号化器における動き推定方法および装置
US11212536B2 (en) Negative region-of-interest video coding
JP4632049B2 (ja) 動画像符号化方法及び装置
EP2186343A1 (en) A method and device for video sequence decoding with error concealment
KR100561398B1 (ko) 동화상 내 구획별로 휘도 변화를 검출하고 보상하는 장치 및 방법
KR100791666B1 (ko) 시간상 연속되는 영상의 영상 정보를 저장 및 처리하는 방법 및 장치
US20140029663A1 (en) Encoding techniques for banding reduction
CN117529918A (zh) 用于图像编码的方法、电子设备、存储介质和记录介质
KR100367468B1 (ko) 픽셀들을 가지는 디지털화 된 화상에서 동작을추정하기위한 방법 및 장치
JP2006511164A (ja) 弾性記憶
JP3416649B2 (ja) 可変長符号化装置
US7068721B2 (en) Method and configuration for coding a digitized picture, and method and configuration for decoding a digitized picture
US8218626B2 (en) Encoding control apparatus, encoding control method, and storage medium
JP2005516501A (ja) Ｐｂフレームモードでのビデオ画像の符号化
US20230300341A1 (en) Predictive video coding employing virtual reference frames generated by direct mv projection (dmvp)
US20240073438A1 (en) Motion vector coding simplifications
JP6874844B2 (ja) 動画像符号化装置、動画像符号化方法、及び、動画像符号化プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121119

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20131118

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20141120

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20151118

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20161117

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20181109

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20191107

Year of fee payment: 13