KR100977255B1 - 영상 부호화 방법 및 복호 방법, 그들의 장치, 및 그들의프로그램 및 프로그램을 기록한 기억 매체 - Google Patents

영상 부호화 방법 및 복호 방법, 그들의 장치, 및 그들의프로그램 및 프로그램을 기록한 기억 매체 Download PDF

Info

Publication number
KR100977255B1
KR100977255B1 KR20087015482A KR20087015482A KR100977255B1 KR 100977255 B1 KR100977255 B1 KR 100977255B1 KR 20087015482 A KR20087015482 A KR 20087015482A KR 20087015482 A KR20087015482 A KR 20087015482A KR 100977255 B1 KR100977255 B1 KR 100977255B1
Authority
KR
South Korea
Prior art keywords
parallax
encoding
decoding
image
information
Prior art date
Application number
KR20087015482A
Other languages
English (en)
Other versions
KR20080078697A (ko
Inventor
마사유키 다니모토
도시아키 후지이
겐지 야마모토
마사키 기타하라
히데아키 기마타
신야 시미즈
가즈토 가미쿠라
요시유키 야시마
Original Assignee
니폰덴신뎅와 가부시키가이샤
고쿠리츠 다이가쿠 호우징 나고야 다이가쿠
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=38228325&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR100977255(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 니폰덴신뎅와 가부시키가이샤, 고쿠리츠 다이가쿠 호우징 나고야 다이가쿠 filed Critical 니폰덴신뎅와 가부시키가이샤
Publication of KR20080078697A publication Critical patent/KR20080078697A/ko
Application granted granted Critical
Publication of KR100977255B1 publication Critical patent/KR100977255B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

복수의 영상간의 시차를 이용하여 예측하는 시차 보상을 이용하여, 해당 영상을 하나의 영상으로 부호화한다. 참조 화상에서 추정된 부호화 대상 화상에 대한 참조 시차를 설정하고, 화면 내에서의 영역 분할을 설정하고, 설정된 각 영역에 관하여, 상기 참조 시차와 상기 시차 보상에 이용하는 시차의 차인 시차 변위를 설정하고, 상기 영역 분할 정보를 부호화하고, 상기 시차 변위를 나타내는 정보를 부호화한다. 복호시에는 참조 화상에서 추정된 복호 대상 화상에 대한 참조 시차를 설정하고, 부호화 정보에 포함되는 영역 분할을 나타내는 정보를 복호하고, 해당 정보가 나타내는 각 영역에 관하여 상기 부호화 정보에 포함되는 시차 변위 정보를 복호한다.

Description

영상 부호화 방법 및 복호 방법, 그들의 장치, 및 그들의 프로그램 및 프로그램을 기록한 기억 매체{Video encoding method, decoding method, device thereof, program thereof, and storage medium containing the program}
본 발명은 다시점 동영상의 부호화 및 복호에 관한 기술이다.
본원은 2006년 1월 5일에 출원된 특원 2006-000393호에 기초하여 우선권을 주장하고, 그 내용을 여기에 원용한다.
다시점 동영상은 다양한 위치에 있는 카메라에 동일한 피사체와 배경을 촬영한 복수의 동영상이다. 이하에서는, 하나의 카메라로 촬영된 동영상을 "2차원 동영상"이라고 부르고, 동일한 피사체와 배경을 촬영한 2차원 동영상의 집합을 다시점 동영상이라고 부른다. 다시점 동영상에 포함되는 각 카메라의 2차원 동영상은 시간 방향으로 강한 상관이 있다. 한편, 각 카메라가 동기되어 있는 경우, 동일한 시간에 대응한 각 카메라의 프레임은 완전히 동일한 상태의 피사체와 배경을 촬영하고 있기 때문에, 카메라간에 강한 상관이 있다.
우선, 2차원 동영상의 부호화 방식에 관한 종래의 기술을 기술한다. 국제 부호화 표준인 H.264, MPEG-4, MPEG-2를 비롯한 종래의 많은 2차원 동영상 부호화 방식에서는, 움직임 보상, 직교 변환, 양자화, 가변길이 부호화라는 기술을 이용하여 고효율 부호화를 수행한다.
예를 들어, H.264에서는, I 프레임에 있어서는 프레임내 상관을 이용하여 부호화가 가능하고, P 프레임에서는 과거의 복수의 프레임과의 프레임간 상관을 이용하여 부호화가 가능하며, B 프레임에서는 과거 혹은 미래의 복수의 프레임과의 프레임간 상관을 이용하여 부호화가 가능하다.
H.264의 기술의 상세에 관해서는, ITU-TRec.H.264/ISO/IEC11496-10, "Advanced Video Coding" Final Committee Draft, Document JVT-E022, September 2002에 기재되어 있는데, 이하에서 개요를 설명한다. I 프레임에서는 프레임을 블럭 분할하고(이 블럭을 매크로 블럭이라고 하며, 블럭 사이즈는 16×16(픽셀)이다), 각 매크로 블럭에 있어서 인트라 예측을 한다. 인트라 예측시에는 각 매크로 블럭을 더 작은 블럭으로 분할하며(이후, 서브 블럭이라고 부름), 각 서브 블럭에 서로 다른 인트라 예측 방법을 수행할 수 있다.
한편, P 프레임에서는, 각 매크로 블럭에 인트라 예측, 혹은 인터 예측을 할 수 있다. P 프레임에서의 인트라 예측은 I 프레임의 경우와 마찬가지다. 한편, 인터 예측시에는 움직임 보상이 이루어진다. 움직임 보상에 있어서도, 매크로 블럭을 더 작은 블럭으로 분할하고, 각 서브 블럭에 서로 다른 움직임 벡터, 참조 화상을 가질 수 있다.
또한, B 프레임에 있어서도, 인트라 예측과 인터 예측을 할 수 있는데, B 프레임에서의 인터 예측에서는, 과거의 프레임에 추가하여 미래의 프레임도 움직임 보상의 참조 화상으로 할 수 있다. 예를 들어, I 프레임→B 프레임→B 프레임→P 프레임이라는 프레임 구성으로 부호화 하는 경우, I→P→B→B의 순번으로 부호화 할 수 있다. 그리고, B 프레임에서는 I 및 P 프레임을 참조하여 움직임 보상을 할 수 있다. 또 P 프레임의 경우와 마찬가지로, 매크로 블럭을 분할한 서브 블럭마다 서로 다른 움직임 벡터를 가질 수 있다.
인트라, 인터 예측을 하면 예측 잔차를 얻을 수 있는데, 각 매크로 블록에서 예측 잔차 블록에 DCT(이산 코사인 변환)를 수행하여 양자화가 이루어진다. 그리고, 이렇게 하여 얻어지는 DCT 계수의 양자화값에 대해 가변 길이 부호화가 이루어진다.
다시점 동영상의 부호화에 대해서는, 움직임 보상을 동일한 시각의 다른 카메라의 화상에 적용한 "시차 보상" 의해 고효율로 다시점 동영상을 부호화하는 방식이 종래부터 있다. 여기서, 시차란, 서로 다른 위치에 배치된 카메라의 화상 평면상에서 피사체상의 동일 위치가 투영되는 위치의 차이다.
이 카메라 사이에 생기는 시차의 개념도를 도 9에 나타낸다. 이 개념도에서는, 광축이 평행인 카메라의 화상 평면을 수직으로 내려다 본 것이 되었다. 이와 같이 서로 다른 카메라의 화상 평면상에서 피사체상의 동일한 위치가 투영되는 위치는, 일반적으로 대응점이라고 불린다. 시차는 화상 평면내에서의 위치의 어긋남으로 표현할 수 있기 때문에, 2차원 벡터의 정보로서 표현할 수 있다.
시차 보상에서는, 부호화 대상 카메라의 화상상의 어느 착안 화소에 대응하는 참조처의 카메라의 화상상의 대응점을 참조 화상으로부터 추정하고, 해당 대응점에 대응한 화소값으로 착안 화소의 화소값을 예측한다. 이하에서는, 편의상 전술 한 바와 같은 "추정된 시차"에 대해서도 "시차"라고 부르기로 한다.
시차 보상을 이용한 부호화 방법으로는, 예를 들어, Hideaki Kimata and Masaki Kitahara, "Preliminary result sonmultiple view video coding(3DAV)" document M10976 MPEG Redmond Meeting, July, 2004가 있는데, 이와 같은 방식에서는, 부호화 대상의 화상의 화소에 대한 시차 정보와 예측 잔차를 부호화 한다. 구체적으로는, 이 방법에서는 블럭 단위로 시차 보상을 하는 구조가 포함되어 있는데, 블럭 단위의 시차를 2차원 벡터로 표현한다. 이 시차 벡터의 개념도를 도 10에 나타낸다. 즉, 이 방법에서는 2차원 벡터인 시차 정보와 예측 잔차를 부호화한다.또한, 이 방법에서는, 카메라 파라미터를 이용하여 부호화를 수행하지 않기 때문에, 카메라 파라미터가 미지(未知)인 경우에 유효하다.
각각이 서로 다른 카메라로부터의 참조 화상이 복수개 있는 경우, 임의 시점 화상 기술을 이용하여 시차 보상을 하는 것이 가능하다. Masayuki Tanimoto, Toshiaki Fujii., "Response to Call for Eddence on Multi-View Video Coding" document Mxxxxx MPEG Hong Kong Meeting, January, 2005에서는 임의 시점 화상 생성 기술을 이용하여 시차 보상을 한다. 구체적으로는 부호화 대상 카메라의 화상의 화소값을 해당 화소에 대응한 다른 카메라의 대응점의 화소값으로 보간하여 예측한다.이 보간의 개념도를 도 11에 나타낸다. 이 보간에서는 부호화 대상 화상의 화소(m)의 값을 화소(m)에 대응하는 참조 화상(1, 2)의 화소(m', m")의 값을 보간함으로써 예상한다.
또한, Masayuki Tanimoto, Toshiaki Fujii., "Response to Call for Eddence on Multi-View Video Coding" document Mxxxxx MPEG Hong Kong Meeting, January, 2005의 경우와 같이, 서로 다른 카메라의 2매 이상의 참조 화상이 있으면, 부호화 대상 화상을 이용하지 않고, 부호화 대상 화상의 각 화소에 관한 각 참조 화상에의 시차를 추정할 수 있다. 이 시차 추정 개념도를 도 12에 나타낸다.
이 도면에 도시되는 바와 같이, 진짜 시차에 있어서는 참조 화상의 대응점의 화소값이 거의 동일한 값이 될 것이다. 따라서, 많은 시차 추정법에서는, 다양한 깊이(depth)에 관한 대응점에 대해 참조 화상의 화소값을 비교하여 화소값이 가장 가까워지는 깊이에 기초하여 시차를 추정할 수 있다. 이 처리는 부호화 대상 화상의 화소 단위로 하는 것이 가능하다.
이와 같이 서로 다른 카메라의 2매 이상의 참조 화상이 있고, 복호측에서 시차 추정이 가능한 경우에는, 부호화측으로부터 명시적으로 시차 정보를 부호화하여 복호측에 제공하는 일 없이, 복호측에서 화소 단위의 시차 정보를 이용하여 시차 보상을 할 수 있다.
종래의 기술에 의하면, 서로 다른 카메라의 2매 이상의 참조 화상이 있고, 복호측에서 시차 추정이 가능한 경우에는, 부호화측에서 명시적으로 시차 정보를 부호화하지 않고, 복호측에서 화소 단위의 시차 정보를 이용하여 시차 보상을 할 수 있다. 이와 같이 부호화 및 복호측에 있어서, 부호화 또는 복호 대상의 화상을 사용하지 않고(복호의 경우에는 복호하지 않고) 추정할 수 있는, 부호화/복호 대상의 화상에 관한 시차를 "참조 시차"라고 부르기로 한다.
그렇지만, 복호측에서 추정되는 참조 시차는 예측 효율의 의미에서는 최적의 것이 아니기 때문에, 예측 잔차의 부호량이 많아지는 경우가 있다. 따라서, 부호화측에서 예측 효율을 최대화하는 시차를 구하고, 이 시차와 참조 시차의 차이(이하에서는, 시차 변위라고 부름)를 각 화소에 대해 부호화함으로써 예측 효율을 향상시키고, 결과적으로 예측 잔차의 부호화 효율을 향상시키는 방법을 쉽게 유추할 수 있다.
그렇지만, 이렇게 쉽게 유추할 수 있는 기술에서는, 화소 단위로 시차 변위를 부호화하기 때문에, 시차 정보로서의 부호량의 증가를 초래하고, 결과적으로 전체적으로 높은 부호화 효율을 실현할 수 없다는 과제가 있다.
[발명이 해결하고자 하는 과제]
본 발명은 상기 과제의 해결을 도모하고, 시차 보상 정밀도에 관한 희생을 작게 억제하면서, 시차 정보의 데이터량을 적게 할 수 있도록 하는 것을 목적으로 한다.
[과제를 해결하기 위한 수단]
본 발명에 본 발명이 종래 기술과 무엇보다 다른 점은 본 발명에서는 상기 과제를 해결하기 위해 화상의 블럭 분할을 결정하는 처리와, 거기서 결정한 블럭 분할 정보 및 블럭마다의 시차 변위 정보를 부호화하는 처리를 하고, 이들 정보를 부호화 정보로 하는 점에 있다.
본 발명에 의한 영상 부호화 방법, 영상 복호 방법의 제1 태양에 의하면, 부호화 대상의 화상 성질에 따라 설정한 영역 분할에 기초하여, 각 분할 영역에 대해 시차 변위 정보를 부호화 할 수 있다.
일반적으로, 시차 변위는 화면 내에서 공간적인 상관이 있기 때문에, 적절한 영역 분할을 설정하고, 그 각 영역에 대해 시차 변위를 부호화함으로써 시차 보상 예측 효율을 악화시키지 않고 시차 정보의 부호량을 억제할 수 있다.
또한, 영상 부호화측에서는, 참조 시차 설정 단계에 있어서, 이미 부호화된 정보(참조 화상)으로부터 부호화 대상 화상에 관한 시차(참조 시차)를 설정하고, 나아가 영역 분할 설정 단계에 있어서, 부호화 대상 화상의 화면내의 영역 분할을 설정한다. 그리고, 시차 변위 설정 단계에 있어서, 영역 분할로 설정된 각 영역에 대응한 시차 변위를 설정하고, 영역 분할 정보 부호화 단계에 있어서 영역 분할을 나타내는 정보인 영역 분할 정보를 부호화하고, 시차 변위 정보 부호화 단계에 있어서, 시차 변위 정보를 부호화한다.
또한, 참조 시차 설정 단계에 있어서 설정되는 참조 시차로는, 예를 들어, 도 12에 나타낸 원리에 기초하여 참조 화상으로부터 추정된 시차(하기의 제3 태양 참조), 임의 시점 화상 생성 등을 목적으로 별도 수단으로 부호화되어 복호측에 보내지는 시차 화상이나 3차원 모델에 기초하는 시차, 또는 기타 방법으로 주어지는 시차 중 어느 것이든 좋다.
한편, 영상 복호측에서는, 참조 시차 설정 단계에 있어서, 부호화측과 마찬가지로 이미 복호된 정보(참조 화상)로부터 복호 대상 화상에 관한 참조 시차를 설정하고, 영역 분할 정보 복호 단계에 있어서 영역 분할 정보를 복호하고, 시차 변위 정보 복호 단계에 있어서, 영역 분할 정보에 기초하는 영역에 관한 시차 변위 정보를 복호한다.
본 발명에 의한 영상 부호화 방법, 영상 복호 방법의 제2 태양은 기본적으로는 상기 제1 태양과 마찬가지지만, 영역 분할을 직사각형 블럭 단위로 하기로 한다. 구체적으로는, 예를 들어, 다음에 언급하는 도 10과 같은 직사각형 블럭 분할을 매크로 블럭 단위로 지정하는 것을 생각할 수 있다. 이와 같은 블럭 분할에 관한 정보는, 예를 들어, H.264의 엔트로피 부호화 등 종래의 엔트로피 부호화 기술에 의해 효율적으로 부호화할 수 있다.
본 발명에 의한 영상 부호화 방법, 영상 복호 방법의 제3 태양은 기본적으로는 상기 제1 및 제2 태양과 마찬가지지만, 도 12에 나타낸 바와 같은 원리로 부호화 대상 화상을 이용하지 않고 복수의 참조 화상으로부터 추정된 참조 시차를 이용한다. 이와 같이 참조 화상으로부터 참조 시차를 추정하는 경우, 복호측에 이미 보내진 정보만으로 참조 시차를 설정하는 것이 가능하기 때문에, 참조 시차를 설정하기 위해 부호화해야 하는 부가 정보를 발생시키지 않도록 할 수 있다.
[발명의 효과]
본 발명에 의하면, 참조 화상으로부터 시차를 추정하는 영상 부호화 및 복호 방법에 있어서, 시차 변위 정보에 공간적인 상관이 있는 것을 이용하여 시차 보상에서의 예측 효율의 악화를 억제하면서도 시차 변위 정보에 관한 부호량을 적게 할 수 있으며, 전체적으로 부호화 효율을 향상시킬 수 있다.
도 1은 본 발명의 실시예에 관한 영상 부호화 장치를 나타내는 도면이다.
도 2는 실시예에서의 카메라의 참조 관계를 나타내는 도면이다.
도 3은 실시예에서의 카메라 배치를 나타내는 도면이다.
도 4는 본 실시예의 부호화 생산 공정도이다.
도 5는 도 4의 단계 S106의 처리에 관한 상세 생산 공정도이다.
도 6은 매크로 블럭에서의 블럭 분할예를 나타내는 도면이다.
도 7은 실시예에 관한 영상 복호 장치를 나타내는 도면이다.
도 8은 실시예에서의 복호 생산 공정도이다.
도 9는 카메라 사이에 생기는 시차의 개념도이다.
도 10은 시차 벡터의 개념도이다.
도 11은 화소값 보간의 개념도이다.
도 12는 시차 추정 개념도이다.
<부호의 설명>
100 . . . 영상 부호화 장치
101 . . . 화상 입력부
102 . . . 참조 화상 입력부
103 . . . 참조 화상 메모리
104 . . . 참조 시차 설정부
105 . . . 시차 변위 설정부
106 . . . 블럭 분할 설정부
107 . . . 블럭 분할 정보 부호화부
108 . . . 시차 변위 정보 부호화부
109 . . . 예측 잔차 부호화부
200 . . . 영상 복호 장치
201 . . . 블럭 분할정보 복호부
202 . . . 시차 변위정보 복호부
203 . . . 예측 잔차 복호부
204 . . . 시차 보상부
205 . . . 참조 화상 메모리
본 발명의 실시예에 관한 영상 부호화 장치의 구성도를 도 1에 나타낸다.
이 영상 부호화 장치(100)는 부호화 대상 화상인 카메라 C의 원화상을 입력하는 화상 입력부(101), 참조 화상인 카메라 A와 B의 복호 화상을 입력하는 참조 화상 입력부(102), 참조 화상을 저장하는 참조 화상 메모리(103), 참조 화상에서 참조 시차를 구하는 참조 시차 설정부(104), 시차 변위를 구하는 시차 변위 설정부(105), 블럭 분할을 설정하는 블럭 분할 설정부(106), 블럭 분할정보를 부호화하는 블럭 분할정보 부호화부(107), 시차 변위 정보를 부호화하는 시차 변위정보 부호화부(108), 예측 잔차를 부호화하는 예측 잔차 부호화부(109)를 구비한다.
도 2는 본 실시예에서의 카메라의 참조 관계를 나타내는 도면이다.
본 실시예에서는, 도 2에 나타내는 바와 같이, 3개의 카메라에 관한 다시점 영상을 부호화함에 있어서, 카메라 A와 B의 복호 화상을 참조 화상으로 하여 카메 라 C의 동영상을 부호화하는 경우를 나타낸다.
도면 속의 화살표는 시차 보상시의 참조 관계를 나타내고 있으며, 카메라 C의 화상을 부호화할 때에는, 표시 시각에 있어서 동일 시각인 카메라 A와 B의 복호 화상을 참조 화상으로 하여 부호화한다. 그 때는 카메라 A 및 B의 대응점(시차 변위 벡터와 참조 시차 벡터의 합으로 얻은 벡터가 가리키는 화소)에 관한 화소값의 평균값으로 예측 화상을 작성하기로 한다.
도 3은 본 실시예에서의 카메라 배치를 나타내는 도면이다. 본 실시예에서는, 예를 들어, 도 3에 나타내는 바와 같이, 3개의 카메라의 시점 위치는 직선상에 등간격으로 나열되어 있고, 광축은 카메라가 나열되는 직선에 대해 수직이 되어 있다. 즉, 3개의 카메라의 광축은 평행이다.
또, 화상 평면의 xy 좌표계는 카메라가 나열되는 직선에 대한 평행 이동(회전 등은 없음)에 의해 얻어지고, 각각의 카메라로 화상 평면의 x축 및 y축을 등간격으로 분할함으로써 화소가 구성되어 있다고 한다. 즉, 해상도가 각 카메라에서 동일하고, 게다가, 카메라 C와 카메라 A의 P 화소분의 시차는 카메라 C와 카메라 B에서 P 화소의 시차가 되게 된다.
본 실시예에서의 부호화의 흐름을 도 4에 나타낸다. 나아가, 도 5는 도 4에서의 단계S106의 처리를 상세히 기재한 흐름도이다.
본 실시예에서는 종횡 16화소로 구성되는 매크로 블럭 단위로 매크로 블록 내의 블럭 분할을 지정하고, 그 블럭 분할로 작성되는 블럭(편의상, 단순히 "블럭"이라고 부름) 단위로 시차 변위 정보를 구하여 부호화한다.
참조 시차는 2차원 벡터로서 표현되므로, 복호측(및 부호화 측)에 있어서, 참조 화상으로부터 화소 단위로 각 참조 화상에 대한 2차원 벡터(참조 시차)가 구해진다.
한편, 시차 변위에 대해서는, 각 블럭에 대해 2차원 벡터의 시차 변위를 하나(카메라 A에 대한 시차 변위) 부호화하기로 한다. 이것은 참조 시차를 구하는 경우와 마찬가지로, 각 참조 화상의 각 화소에 관한 시차 변위 벡터와 참조 시차 벡터의 합으로 얻은 벡터(시차 보상에 이용되는 시차 벡터이다)가 피사체상의 동일 위치를 가리키고 있다는 물리적인 제약 조건을 가정하면, 카메라 A에 대한 시차 변위 벡터가 주지의 기술이면, 다른 카메라에 관한 시차 변위 벡터가 한결같이 정해지기 때문이다.
또한, 이와 같은 제약 조건을 가정하지 않고, 각 참조 화상에 대한 시차 변위를 독립적으로 구하여 각각 부호화하는 것도 생각할 수 있는데, 이 케이스에 대해서는 본 실시예의 변경예로서 쉽게 적용할 수 있으므로 설명을 생략한다.
매크로 블록에서 적용 가능한 블럭 분할로는 다양한 것을 생각할 수 있는데, 예를 들어, 도 6에 나타내는 것을 생각할 수 있다. 또한, 도 6에 기재된 바와 같이, 블럭 분할 종류에 관한 인덱스를 blkMode로 하고, 블럭 분할 blkMode에서의 블럭수를 maxBlk[blkMode]로 나타낸다.
이와 같은 전제하에서, 도 4의 흐름을 따라 부호화 처리를 설명한다.
우선, 화상 입력부(101)에 의해 카메라 C의 화상이 입력된다(단계 S101). 또한, 여기서 입력된 카메라 C의 화상과 표시 시각이 동일한 카메라 A와 B의 복호 화 상이 참조 화상 메모리(103)에 참조 화상 입력부(102)에 의해 입력되어 있다.
이어, 참조 화상 메모리(103)로부터 카메라 A와 B의 복호 화상을 입력하고(S102), 입력한 참조 화상으로부터 부호화 대상 화상의 각 화소에 대한 참조 시차를 구한다(S103). 즉, 참조 시차 설정부(104)에 카메라 A와 B에 관한 2매의 참조 화상이 독출되고, 카메라 C의 화상의 각 화소에 관한 참조 시차가 구해진다.
이것이 수행됨으로써 카메라 C 화상의 각 화소에 대해 2차원 벡터가 2개 요구된다. 여기서, 카메라 C의 화상 평면상의 좌표(x, y)(x 및 y는 정수값으로 픽셀의 좌표를 표현하기로 한다)에 관한 카메라 A에 대한 참조 시차 벡터를 dA[x,y], 카메라 B에 대한 참조 시차 벡터를 dB[x,y]로 한다.
여기서, 매크로 블럭의 인덱스를 MBBlk로 나타내고, 매크로 블럭수를 maxMBBlk로 나타낸다. 매크로 블럭의 인덱스(MBBlk)를 0으로 초기화한 후(S104), 이하의 처리(S105∼S111)를 매크로 블럭의 인덱스(MBBlk)에 1을 가산하면서(S110), 각 매크로 블럭에 대해 반복하여 실행한다.
우선, 블럭 분할(인덱스)(blkMode)을 0으로 초기화한 후(S105), 블럭 분할(blkMode)이 최대의 인덱스값(maxBlkMode)이 될 때까지(S108), 블럭 분할(blkMode)에 1을 가산하면서(S107), 매크로 블록(MBBlk) 및 블럭 분할(blkMode)에 관한 비트율 왜곡치(Rate Distortion Cost)를 구한다(S106). 즉, 시차 변위 설정부(105)에 있어서, 각 블럭 분할(blkMode)에 관한 비트율 왜곡치(MBCost)가 구해진다.
어느 블럭 분할(blkMode)에 관한 비트율 왜곡치(MBCost)는 각 블럭에 관한 비트율 왜곡치(blkCost)를 계산하고(블럭 총수는 maxBlk[blkMode]로 표현된다), 그 총합을 구함으로써 얻어진다.
어느 블럭에 관한 비트율 왜곡치(blkCost)는 어느 시차 변위 벡터를 이용했을 때의 비트율 왜곡치(cost)의 최소값으로서 구해진다. 따라서, 각 블럭에 cost를 최소화하는 시차 변위 벡터와 그 비트율 왜곡치를 구할 필요가 있다.
여기서, 부호화에 이용하는 시차 변위의 탐색은 참조 시차의 주변을 탐색한다고 한다.즉, 시차 변위 벡터의 후보로서 e0,e1∼eN - 1를 생각하고, 시차 벡터dA[x,y]+en에 대해 비트율 왜곡치를 계산하는 처리를 n=0,1,...,N-1에 대해 반복하여 해당 블럭의 최적의 시차 변위 벡터를 부호화한다.
또한, cost의 계산시에는, 우선 어느 시차 변위 벡터(en)를 이용했을 때의 예측 잔차의 블럭에 관한 절대값의 총합(SAD[en])이 구해진다.
나아가, 어느 시차 변위 벡터(en)를 부호화했을 때의 시차 변위 벡터의 부호량의 견적값(R[en])이 구해지고, cost는 다음 식으로 계산된다.
cost=SAD[en]+λR[en] (1)
이어, 블럭 분할 설정부(106)에 있어서, 각 매크로 블록(MBBlk)에 관하여, 비트율 왜곡치(MBCost)가 최소가 되는 블럭 분할(bestBlkMode)이 구해진다(이에 대응한 시차 변위 벡터는 이미 구해져 있다).
이상의 단계 S106에 대해, 구체적으로는 도 5에 나타내는 처리를 한다.
우선, 매크로 블럭의 비트율 왜곡치(MBCost)와 블록(blk)의 인덱스값을 0으로 초기화하고(S1061), 블록(blk)에서의 비트율 왜곡치(blkCost)를 최소로 하도록 시차 변위 벡터를 구한다(S1062).
구한 블럭의 비트율 왜곡치(blkCost)를 매크로 블럭의 비트율 왜곡치(MBCost)에 가산한 후(S1O63), 블록(blk)에 1을 가산하고, 블록(blk)이 블럭 총수(maxBlk[blkMode])가 될 때까지, 단계 S1062∼S1064를 반복한다(S1065).
블록(blk)이 블럭 총수(maxBlk[blkMode])가 되었다면, 그 때 산출된 매크로 블럭의 비트율 왜곡치(MBCost)가 현시점에서의 최소의 매크로 블럭의 비트율 왜곡치(minMBCost)보다 작은지 판정하고(S1066), 작으면, 비트율 왜곡치(MBCost)를 최소의 비트율 왜곡치(minMBCost)로서 기억하고, 그 때의 블럭 분할(blkMode)을 최적의 블럭 분할(bestBlkMode)로서 기억한다(S1067).
상기한 처리를 함으로써 매크로 블록(MBBlk)의 시차 보상에 이용하는 블록 분할 정보(bestBlkMode), 시차 변위 정보(시차 변위 벡터), 시차 보상에 의한 예측 잔차가 구해지므로, 다음에 해당 블럭 분할 정보(bestBlkMode)가 블럭 분할 정보 부호화부(107)에, bestBlkMode에 대응한 시차 변위 정보가 시차 변위 정보 부호화부(108)로 부호화된다(S109).
또, 해당 시차 변위 정보에 대응한 예측 잔차가 예측 잔차 부호화부(109)에 부호화된다.
이어, 본 실시예에서 이용하는 영상 복호 장치를 도 7에 나타낸다.
영상 복호 장치(200)는 블럭 분할정보 복호부(201), 시차 변위정보 복호부(202), 예측잔차 복호부(203), 시차 보상부(204), 참조 화상 메모리(205)를 구비한다.
도 8에 본 실시예의 영상 복호 장치(200)에 의한 복호 흐름을 나타낸다. 이것은 카메라 C를 1프레임 복호하는 흐름을 나타내고 있다. 이하에서 흐름을 상세히 설명해 나간다. 또한, 카메라 A와 B의 동일 시각의 프레임이 앞서 복호되어 있다고 하고, 그 복호 화상이 참조 화상 메모리(205)에 축적되어 있는 것으로 한다.
우선, 참조 화상 메모리(205)로부터 카메라 A와 B의 복호 화상을 입력하며(S201), 참조 화상에서 부호화 대상 화상의 각 화소에 대한 참조 시차를 구한다(S202). 즉, 시차 보상부(204)에 카메라 A와 B에 관한 2매의 참조 화상이 독출되고, 카메라 C의 화상의 각 화소에 관한 참조 시차가 구해진다. 이것이 이루어짐으로써 카메라 C의 화상의 각 화소에 대해 2차원 벡터가 2개 구해진다.
이어, 매크로 블럭의 인덱스(MBBlk)를 0으로 초기화 한 후(S203), 이하의 처리(S204∼S212)를 매크로 블럭의 인덱스(MBBlk)에 1을 가산하면서(S211), 각 매크로 블럭에 대해서 1프레임분 반복한다(1프레임의 블럭수는 maxMBBlk). 이로써 카메라 C의 1프레임이 복호된다.
각 매크로 블럭의 복호에서는, 우선 매크로 블록(MBBlk)에 관한 블럭 분할 정보(bestBlkMode)가 블럭 분할정보 복호부(201)에 의해 복호되었다(S204). 이어, 블록(blk)의 인덱스값을 0으로 초기화한 후(S205), 이하의 처리(S206∼S209)가 각 블록(blk)에 대해 반복하여 이루어진다(최대 블럭수는 maxBlk[blkMode]이다).
우선, 시차 변위정보 복호부(202)에 있어서 블록(blk)에 관한 시차 변위 정보가 복호되었다(S206), 시차 보상부(204)에 있어서, 시차 변위 정보와 참조 시차를 이용하여 블록(blk)에 관한 예측 화상(카메라A와 B의 화소값을 보간함으로써 작성)이 작성된다(S207).
여기서, 상기한 블록(blk)에 관한 반복 처리가 이루어짐으로써 매크로 블록(MBBlk)에 관한 예측 화상이 생성된다. 따라서, 다음에 예측 잔차 복호부(203)에 있어서 매크로 블록(MBBlk)에 관한 예측 잔차가 복호된다. 그리고, 시차 보상부(204)에 예측 화상과 예측 잔차의 합이 계산됨으로써 매크로 블록(MBBlk)에 관한 복호 화상이 얻어진다(S210).
이상의 처리가 1프레임분의 모든 매크로 블럭에 대해 반복되고(S211, S212), 카메라 C의 1프레임이 복호된다.
또한, 본 실시예에서는 카메라 C를 부호화함에 있어서, 서로 다른 카메라(카메라 A 및 B)를 참조함으로써 부호화했지만, 서로 다른 카메라를 참조하여 부호화하는 경우와 카메라 C의 복호 화상을 참조하여 움직임 보상을 하는 경우를 화면(1화상) 중에서 적응적으로 변환하여 부호화할 수도 있다.
구체적으로는, 예를 들어, 도 6의 블럭 분할에 포함되는 각 블럭을 단위로 시차 보상과 움직임 보상을 변환할 수도 있다. 이 경우에는, 영상 부호화측에서는 각 블럭에 시차/움직임 보상 중 어느쪽이 이용되었지 나타내는 정보를 부호화할 필요가 있는 동시에, 영상 복호측에서는 이 정보를 복호할 필요가 있다.
이상의 영상 부호화 및 영상 복호의 처리는 컴퓨터와 소프트웨어 프로그램에 의해 실현할 수 있고, 그 프로그램을 컴퓨터 독출가능한 기억 매체에 기록하여 제공하는 것도 네트워크를 통하여 제공하는 것도 가능하다.
참조 화상에서 시차를 추정하는 영상 부호화 및 복호 방법에 있어서, 시차 변위 정보로 공간적인 상관이 어느 것을 이용하고, 시차 보상에서의 예측 효율의 악화를 억제하면서도 시차 변위 정보에 관한 부호량을 적게 할 수 있고, 전체로서의 부호화 효율을 향상시킬 수 있다.

Claims (26)

  1. 복수의 영상을 하나의 영상으로 부호화함에 있어서, 복수의 영상간의 시차를 이용하여 예측하는 시차 보상에 의해 부호화하는 영상 부호화 방법으로,
    참조 화상에서 추정된 부호화 대상 화상에 대한 참조 시차를 설정하는 참조 시차 설정 단계와,
    화면 내에서의 영역 분할을 설정하는 영역 분할 설정 단계와,
    상기 영역 분할 설정 단계에서 설정된 각 영역에 관하여, 상기 참조 시차와 상기 시차 보상에 이용하는 시차의 차이인 시차 변위를 설정하는 시차 변위 설정 단계와,
    상기 영역 분할 설정 단계에서 설정된 영역 분할을 나타내는 영역 분할 정보를 부호화 하는 영역 분할 정보 부호화 단계와,
    상기 시차 변위 설정 단계에서 설정된 시차 변위를 나타내는 시차 변위 정보를 부호화하는 시차 변위 정보 부호화 단계를 갖는 것을 특징으로 하는 영상 부호화 방법.
  2. 제1항에 의한 영상 부호화 방법에 있어서,
    상기 영역 분할 설정 단계에서 설정되는 영역 분할은 직사각형 블럭에의 분할을 하는 복수의 영역 분할 방법 중에서 선택되는 것임을 특징으로 하는 영상 부호화 방법.
  3. 제1항에 의한 영상 부호화 방법에 있어서,
    상기 참조 시차 설정 단계에서 설정되는 참조 시차는 상기 부호화 대상 화상을 사용하지 않고 복수의 참조 화상으로부터 추정되는 것을 특징으로 하는 영상 부호화 방법.
  4. 제3항에 의한 영상 부호화 방법에 있어서,
    상기 참조 시차는 상기 복수의 참조 화상에서 화소 단위로 추정되는 것을 특징으로 하는 영상 부호화 방법.
  5. 복수의 영상을 하나의 영상으로 복호함에 있어서, 복수의 영상간의 시차를 이용하여 예측하는 시차 보상에 의해 복호하는 영상 복호 방법으로,
    참조 화상에서 추정된 복호 대상 화상에 대한 참조 시차를 설정하는 참조 시차 설정 단계와,
    부호화 정보에 포함되는 영역 분할을 나타내는 영역 분할 정보를 복호하는 영역 분할 정보 복호 단계와,
    상기 영역 분할 정보 복호 단계에서 복호된 영역 분할 정보가 나타내는 각 영역에 관하여, 상기 부호화 정보에 포함된 상기 참조 시차와 상기 시차 보상에 이용하는 시차의 차인 시차 변위 정보를 복호하는 시차 변위 정보 복호 단계를 갖는 것을 특징으로 하는 영상 복호 방법.
  6. 제5항에 의한 영상 복호 방법에 있어서,
    상기 영역 분할 정보 복호 단계에서 복호되는 영역 분할 정보는 직사각형 블럭에의 분할을 하는 복수의 영역 분할 방법 중에서 선택된 것임을 특징으로 하는 영상 복호 방법.
  7. 제5항에 의한 영상 복호 방법에 있어서,
    상기 시차 변위 정보 복호 단계에서 복호되 시차 변위 정보는 상기 복호 대상 화상을 사용하지 않고 복수의 참조 화상으로부터 추정된 참조 시차와 상기 시차 보상에 이용하는 시차의 차의 정보임을 특징으로 하는 영상 복호 방법.
  8. 제7항에 의한 영상 복호 방법에 있어서,
    상기 참조 시차는 상기 복수의 참조 화상으로부터 화소 단위로 추정된 것임을 특징으로 하는 영상 복호 방법.
  9. 복수의 영상을 하나의 영상으로 부호화함에 있어서, 복수의 영상간의 시차를 이용하여 예측하는 시차 보상에 의해 부호화하는 영상 부호화 장치로,
    참조 화상에서 추정된 부호화 대상 화상에 대한 참조 시차를 설정하는 참조 시차 설정 수단과,
    화면 내에서의 영역 분할을 설정하는 영역 분할 설정 수단과,
    상기 영역 분할 설정 수단으로 설정된 각 영역에 관하여, 상기 참조 시차와 상기 시차 보상에 이용하는 시차의 차인 시차 변위를 설정하는 시차 변위 설정 수단과,
    상기 영역 분할 설정 수단으로 설정된 영역 분할을 나타내는 영역 분할 정보를 부호화하는 영역 분할 정보 부호화 수단과,
    상기 시차 변위 설정 수단으로 설정된 시차 변위를 나타내는 시차 변위 정보를 부호화하는 시차 변위 정보 부호화 수단을 구비하는 것을 특징으로 하는 영상 부호화 장치.
  10. 복수의 영상을 하나의 영상으로 복호함에 있어서, 복수의 영상간의 시차를 이용하여 예측하는 시차 보상에 의해 복호하는 영상 복호 장치로,
    참조 화상으로부터 추정된 복호 대상 화상에 대한 참조 시차를 설정하는 참조 시차 설정 수단과,
    부호화 정보에 포함되는 영역 분할을 나타내는 영역 분할 정보를 복호하는 영역 분할 정보 복호 수단과,
    상기 영역 분할 정보 복호 수단으로 복호된 영역 분할 정보가 나타내는 각 영역에 관하여, 상기 부호화 정보에 포함된 상기 참조 시차와 상기 시차 보상에 이용하는 시차의 차인 시차 변위 정보를 복호하는 시차 변위 정보 복호 수단을 구비하는 것을 특징으로 하는 영상 복호 장치.
  11. 삭제
  12. 삭제
  13. 정보처리장치에 의해 실행되어 제1항, 제2항 및 제3항 중 어느 한 항에 기재된 방법의 각 단계들을 실행하도록 하는 프로그램 코드들을 포함하는 영상 부호화 프로그램을 기록한 컴퓨터 독출가능한 기억 매체.
  14. 정보처리장치에 의해 실행되어 제5항, 제6항 및 제7항 중 어느 한 항에 기재된 방법의 각 단계들을 실행하도록 하는 프로그램 코드들을 포함하는 영상 부호화 프로그램을 기록한 컴퓨터 독출가능한 기억 매체.
  15. 제1항에 의한 영상 부호화 방법에 있어서,
    상기 참조 시차 설정 단계에서는 상기 참조 시차를 상기 부호화 대상 화상의 각 화소에 대해 설정하고,
    상기 부호화 대상 화상의 각 화소에 대해 설정된 상기 참조 시차와, 그 화소가 속하는 영역에 대해 설정된 상기 시차 변위를 더하여 얻어지는 화소 단위의 시차를 이용하여, 시차 보상을 위한 예측 화상을 생성하는 예측 화상 생성 단계를 더 갖는 것을 특징으로 하는 화상 부호화 방법.
  16. 제15항에 의한 영상 부호화 방법에 있어서,
    상기 참조 시차 설정 단계에서 설정되는 화소마다의 참조 시차는 상기 부호화 대상 화상을 이용하지 않고 복수의 참조 화상으로부터 추정되며,
    상기 예측 화상 생성 단계에서는 상기 복수의 참조 화상의 화소값에 기초하여 상기 예측 화상을 생성하는 것을 특징으로 하는 영상 부호화 방법.
  17. 제16항에 의한 영상 부호화 방법에 있어서,
    상기 예측 화상 생성 단계에서는 상기 복수의 참조 화상의 화소값의 평균을 구하여 상기 예측 화상을 생성하는 것을 특징으로 하는 영상 부호화 방법.
  18. 제5항에 의한 영상 복호 방법에 있어서,
    상기 참조 시차 설정 단계에서는 상기 참조 시차를 상기 복호 대상 화상의 각 화소에 대해 설정하고,
    상기 복호 대상 화상의 각 화소에 대해 설정된 상기 참조 시차와, 그 화소가 속하는 영역에 대해 설정된 상기 시차 변위를 더하여 얻어지는 화소 단위의 시차를 이용하여 시차 보상을 위한 예측 화상을 생성하는 예측 화상 생성 단계를 더 갖는 것을 특징으로 하는 영상 복호 방법.
  19. 제18항에 의한 영상 복호 방법에 있어서,
    상기 참조 시차 설정 단계에서 설정되는 화소마다의 참조 시차는 상기 복호 대상 화상을 이용하지 않고 복수의 참조 화상으로부터 추정되며,
    상기 예측 화상 생성 단계에서는 상기 복수의 참조 화상의 화소값에 기초하여 상기 예측 화상을 생성하는 것을 특징으로 하는 영상 복호 방법.
  20. 제19항에 의한 영상 복호 방법에 있어서,
    상기 예측 화상 생성 단계에서는 상기 복수의 참조 화상의 화소값의 평균을 구하여 상기 예측 화상을 생성하는 것을 특징으로 하는 영상 복호 방법.
  21. 제9항에 의한 영상 부호화 장치에 있어서,
    상기 참조 시차 설정 수단은 상기 참조 시차를 상기 부호화 대상 화상의 각 화소에 대해 설정하고,
    사기 부화화 화상의 각 화소에 대해 설정된 상기 참조 시차와, 그 화소가 속하는 영역에 대해 설정된 상기 시차 변위를 더하여 얻어지는 화소 단위의 시차를 이용하여, 시차 보상을 위한 예측 화상을 생성하는 예측 화상 생성 수단을 더 갖는 것을 특징으로 하는 영상 부호화 장치.
  22. 제21항에 의한 영상 부호화 장치에 있어서,
    상기 참조 시차 설정 수단은 상기 화소마다의 참조 시차를 상기 부호화 대상 화상을 이용하지 않고 복수의 참조 화상으로부터 추정하고,
    상기 예측 화상 생성 수단은 상기 복수의 참조 화상의 화소값에 기초하여 상기 예측 화상을 생성하는 것을 특징으로 하는 영상 부호화 장치.
  23. 제22항에 의한 영상 부호화 장치에 있어서,
    상기 예측 화상 생성 수단은 상기 복수의 참조 화상의 화소값의 평균을 구하여 상기 예측 화상을 생성하는 것을 특징으로 하는 영상 부호화 장치.
  24. 제10항에 의한 영상 복호 장치에 있어서,
    상기 참조 시차 설정 수단은 상기 참조 시차를 상기 복호 대상 화상의 각 화소에 대해 설정하고,
    상기 복호 대상 화상의 각 화소에 대해 설정된 상기 참조 시차와, 그 화소가 속하는 영역에 대해 설정된 상기 시차 변위를 더하여 얻어지는 화소 단위의 시차를 이용하여 시차 보상을 위한 예측 화상을 생성하는 예측 화상 생성 수단을 더 갖는 것을 특징으로 하는 영상 복호 장치.
  25. 제24항에 의한 영상 복호 장치에 있어서,
    상기 참조 시차 설정 수단은 상기 화소마다의 참조 시차를 상기 복호 대상 화상을 이용하지 않고 복수의 참조 화상으로부터 추정하고,
    상기 예측 화상 생성 수단은 상기 복수의 참조 화상의 화소값에 기초하여 상기 예측 화상을 생성하는 것을 특징으로 하는 영상 복호 장치.
  26. 제25항에 의한 영상 복호 장치에 있어서,
    상기 예측 화상 생성 수단은 상기 복수의 참조 화상의 화소값의 평균을 구하여 상기 예측 화상을 생성하는 것을 특징으로 하는 영상 복호 장치.
KR20087015482A 2006-01-05 2007-01-04 영상 부호화 방법 및 복호 방법, 그들의 장치, 및 그들의프로그램 및 프로그램을 기록한 기억 매체 KR100977255B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006000393 2006-01-05
JPJP-P-2006-00000393 2006-01-05

Publications (2)

Publication Number Publication Date
KR20080078697A KR20080078697A (ko) 2008-08-27
KR100977255B1 true KR100977255B1 (ko) 2010-08-23

Family

ID=38228325

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20087015482A KR100977255B1 (ko) 2006-01-05 2007-01-04 영상 부호화 방법 및 복호 방법, 그들의 장치, 및 그들의프로그램 및 프로그램을 기록한 기억 매체

Country Status (11)

Country Link
US (1) US8451894B2 (ko)
EP (1) EP1971155B1 (ko)
JP (1) JP5234587B2 (ko)
KR (1) KR100977255B1 (ko)
CN (1) CN101361371B (ko)
BR (1) BRPI0706214B1 (ko)
CA (1) CA2634050C (ko)
ES (1) ES2388080T3 (ko)
RU (1) RU2384971C1 (ko)
TW (1) TW200806040A (ko)
WO (1) WO2007077989A1 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101023262B1 (ko) 2006-09-20 2011-03-21 니폰덴신뎅와 가부시키가이샤 화상 부호화 방법 및 복호 방법, 이들의 장치 및 이들의 프로그램과 프로그램을 기록한 기억매체
KR101031624B1 (ko) * 2006-09-20 2011-04-27 니폰덴신뎅와 가부시키가이샤 화상 부호화 방법 및 복호 방법, 그 장치 및 그 프로그램을 기록한 기억매체
US8634462B2 (en) * 2007-03-13 2014-01-21 Matthias Narroschke Quantization for hybrid video coding
US20080225947A1 (en) 2007-03-13 2008-09-18 Matthias Narroschke Quantization for hybrid video coding
CN101170702B (zh) * 2007-11-23 2010-08-11 四川虹微技术有限公司 多视角视频编码方法
KR101628383B1 (ko) 2010-02-26 2016-06-21 연세대학교 산학협력단 영상 처리 장치 및 방법
JP2011199396A (ja) * 2010-03-17 2011-10-06 Ntt Docomo Inc 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
KR101529992B1 (ko) * 2010-04-05 2015-06-18 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치
MY191783A (en) 2010-04-13 2022-07-15 Samsung Electronics Co Ltd Video encoding method and video encoding apparatus and video decoding method and video decoding apparatus, which perform deblocking filtering based on tree-structure encoding units
PT3070945T (pt) * 2010-07-20 2020-04-22 Ntt Docomo Inc Dispositivo de descodificação de previsão de imagem, método de descodificação de previsão de imagem
US9648334B2 (en) * 2011-03-21 2017-05-09 Qualcomm Incorporated Bi-predictive merge mode based on uni-predictive neighbors in video coding
CN103765902B (zh) * 2011-08-30 2017-09-29 英特尔公司 多视角视频编码方案
JP5485969B2 (ja) * 2011-11-07 2014-05-07 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
US10390041B2 (en) 2012-03-30 2019-08-20 Sun Patent Trust Predictive image coding and decoding using two reference pictures
BR122019022458B1 (pt) * 2012-06-11 2021-10-05 Samsung Electronics Co., Ltd Método decodificador de vídeo
JP2013258577A (ja) * 2012-06-13 2013-12-26 Canon Inc 撮像装置、撮像方法及びプログラム、画像符号化装置、画像符号化方法及びプログラム
JP2014082541A (ja) * 2012-10-12 2014-05-08 National Institute Of Information & Communication Technology 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラムおよび装置
CN104782128B (zh) * 2012-11-14 2017-10-24 寰发股份有限公司 用于三维或多维视图视频编码的方法及其装置
WO2014075236A1 (en) * 2012-11-14 2014-05-22 Mediatek Singapore Pte. Ltd. Methods for residual prediction with pseudo residues in 3d video coding
KR20150079742A (ko) * 2012-12-28 2015-07-08 니폰 덴신 덴와 가부시끼가이샤 영상 부호화 장치 및 방법, 영상 복호 장치 및 방법, 및 그 프로그램
CN105359529B (zh) * 2013-07-16 2018-12-07 寰发股份有限公司 用于三维或多视图视频编码的方法及装置
WO2015006922A1 (en) * 2013-07-16 2015-01-22 Mediatek Singapore Pte. Ltd. Methods for residual prediction
WO2017134957A1 (ja) * 2016-02-03 2017-08-10 シャープ株式会社 動画像復号装置、動画像符号化装置、および予測画像生成装置
CN112702598A (zh) * 2020-12-03 2021-04-23 浙江智慧视频安防创新中心有限公司 基于位移操作进行编解码的方法、装置、电子设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02130094A (ja) * 1988-11-10 1990-05-18 Nippon Telegr & Teleph Corp <Ntt> ステレオ動画像の動きベクトル情報符号化方式
JPH09275578A (ja) * 1996-04-04 1997-10-21 Sharp Corp 多視点画像符号化装置および復号装置
JPH1032840A (ja) 1996-04-05 1998-02-03 Matsushita Electric Ind Co Ltd 多視点画像伝送方法および多視点画像表示方法
JP2003259377A (ja) 2002-03-06 2003-09-12 Matsushita Electric Ind Co Ltd 動画像符号化方法、動画像復号化方法および符号列フォーマット

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3055438B2 (ja) 1995-09-27 2000-06-26 日本電気株式会社 ３次元画像符号化装置
JPH09261653A (ja) 1996-03-18 1997-10-03 Sharp Corp 多視点画像符号化装置
US6163337A (en) 1996-04-05 2000-12-19 Matsushita Electric Industrial Co., Ltd. Multi-view point image transmission method and multi-view point image display method
JP3263807B2 (ja) 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
JP3519594B2 (ja) * 1998-03-03 2004-04-19 Ｋｄｄｉ株式会社 ステレオ動画像用符号化装置
US6269175B1 (en) * 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
US7903742B2 (en) 2002-07-15 2011-03-08 Thomson Licensing Adaptive weighting of reference pictures in video decoding
CN1204757C (zh) * 2003-04-22 2005-06-01 上海大学 一种立体视频流编码/解码器及其立体视频编解码系统
JP3790764B2 (ja) 2004-04-02 2006-06-28 一成 江良 投写型表示装置および投写型表示システム
JP4379221B2 (ja) 2004-06-17 2009-12-09 ブラザー工業株式会社 ミシンおよびその制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02130094A (ja) * 1988-11-10 1990-05-18 Nippon Telegr & Teleph Corp <Ntt> ステレオ動画像の動きベクトル情報符号化方式
JPH09275578A (ja) * 1996-04-04 1997-10-21 Sharp Corp 多視点画像符号化装置および復号装置
JPH1032840A (ja) 1996-04-05 1998-02-03 Matsushita Electric Ind Co Ltd 多視点画像伝送方法および多視点画像表示方法
JP2003259377A (ja) 2002-03-06 2003-09-12 Matsushita Electric Ind Co Ltd 動画像符号化方法、動画像復号化方法および符号列フォーマット

Also Published As

Publication number Publication date
JPWO2007077989A1 (ja) 2009-06-11
EP1971155A1 (en) 2008-09-17
CA2634050A1 (en) 2007-07-12
CA2634050C (en) 2013-08-20
EP1971155B1 (en) 2012-05-16
WO2007077989A1 (ja) 2007-07-12
ES2388080T3 (es) 2012-10-08
JP5234587B2 (ja) 2013-07-10
KR20080078697A (ko) 2008-08-27
RU2008125839A (ru) 2009-12-27
TW200806040A (en) 2008-01-16
BRPI0706214B1 (pt) 2020-02-11
CN101361371A (zh) 2009-02-04
US20100220784A1 (en) 2010-09-02
EP1971155A4 (en) 2010-06-16
CN101361371B (zh) 2010-11-03
BRPI0706214A2 (pt) 2011-03-15
TWI364992B (ko) 2012-05-21
US8451894B2 (en) 2013-05-28
RU2384971C1 (ru) 2010-03-20

Similar Documents

Publication Publication Date Title
KR100977255B1 (ko) 영상 부호화 방법 및 복호 방법, 그들의 장치, 및 그들의프로그램 및 프로그램을 기록한 기억 매체
KR100968920B1 (ko) 영상 부호화 방법 및 복호 방법, 그들의 장치, 및 그들의프로그램 및 프로그램을 기록한 기억 매체
TWI711299B (zh) 利用部分成本計算的視頻解碼方法和裝置
US8290289B2 (en) Image encoding and decoding for multi-viewpoint images
US8385628B2 (en) Image encoding and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
US20040156437A1 (en) Method for encoding and decoding video information, a motion compensated video encoder and a corresponding decoder
KR101103723B1 (ko) 영상 부호화 방법 및 복호 방법, 그 장치, 그 프로그램 및 프로그램을 기록한 기록 매체
KR20130117749A (ko) 화상 처리 장치와 화상 처리 방법
Kim et al. Zoom motion estimation using block-based fast local area scaling
JP2011199362A (ja) 動画像符号化装置、動画像符号化方法及び動画像復号装置ならびに動画像復号方法
EP1927249A1 (en) Apparatus and method for encoding and decoding multi-view video
TWI499277B (zh) 多視點畫像編碼方法、多視點畫像解碼方法、多視點畫像編碼裝置、多視點畫像解碼裝置及這些程式
Wong et al. Horizontal scaling and shearing-based disparity-compensated prediction for stereo video coding
Ahmmed et al. A Two-Step Discrete Cosine Basis Oriented Motion Modeling Approach for Enhanced Motion Compensation
KR100617177B1 (ko) 움직임 추정 방법
CN117529913A (zh) 视频处理的方法、设备和介质
CN117501689A (zh) 视频处理的方法、设备和介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130723

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140722

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150717

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160805

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170804

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190808

Year of fee payment: 10