KR101023262B1 - 화상 부호화 방법 및 복호 방법, 이들의 장치 및 이들의 프로그램과 프로그램을 기록한 기억매체 - Google Patents

화상 부호화 방법 및 복호 방법, 이들의 장치 및 이들의 프로그램과 프로그램을 기록한 기억매체 Download PDF

Info

Publication number
KR101023262B1
KR101023262B1 KR20097005343A KR20097005343A KR101023262B1 KR 101023262 B1 KR101023262 B1 KR 101023262B1 KR 20097005343 A KR20097005343 A KR 20097005343A KR 20097005343 A KR20097005343 A KR 20097005343A KR 101023262 B1 KR101023262 B1 KR 101023262B1
Authority
KR
South Korea
Prior art keywords
image
vector
encoding
distance
pseudo
Prior art date
Application number
KR20097005343A
Other languages
English (en)
Other versions
KR20090053820A (ko
Inventor
신야 시미즈
마사키 기타하라
가즈토 가미쿠라
요시유키 야시마
Original Assignee
니폰덴신뎅와 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 니폰덴신뎅와 가부시키가이샤 filed Critical 니폰덴신뎅와 가부시키가이샤
Publication of KR20090053820A publication Critical patent/KR20090053820A/ko
Application granted granted Critical
Publication of KR101023262B1 publication Critical patent/KR101023262B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

참조 화상을 촬영한 카메라에서 피사체까지의 거리와 카메라 간의 위치관계에 기초하여, 상기 참조 화상의 각 화소에 대응하는 각 부호화 대상 화상 상에서의 대응점을 구하고, 상기 화소 위치에서 상기 대응점으로 향하는 화소공간 상의 시차 벡터를 산출하며, 상기 시차 벡터와 같은 시점을 가지고, 상기 시차 벡터의 각 성분을 정수값으로 반올림한 값을 각 성분으로서 가지는 예측 대상 벡터를 산출하며, 상기 시차 벡터와 같은 시점을 가지고, 상기 예측 대상 벡터와 상기 시차 벡터의 차분 벡터와 같은 크기와 방향을 가지는 참조 대상 벡터를 산출하며, 상기 참조 대상 벡터에 의해 나타나는 참조 화상 상의 화소값을 상기 예측 대상 벡터에 의해 나타나는 부호화 대상 화상 상의 화소의 예측값으로 하는 화상 부호화 방법.
Figure R1020097005343
화상, 부호화, 복호화

Description

화상 부호화 방법 및 복호 방법, 이들의 장치 및 이들의 프로그램과 프로그램을 기록한 기억매체{Image encoding method, decoding method, device thereof, program thereof, and storage medium containing the program}
본 발명은 다시점 화상의 부호화 및 복호기술에 관한 것이다.
본원은 2006년 9월 20일에 출원된 특원 2006-253845호에 기초하여 우선권을 주장하고, 그 내용을 여기에 원용한다.
다시점 화상이란, 복수의 카메라로 같은 피사체와 배경을 촬영한 복수의 화상이고, 다시점 동영상(다시점 영상)이란, 그 동영상이다. 이하에서는 하나의 카메라로 촬영된 동영상을 "2차원 동영상"이라고 부르고, 같은 피사체와 배경을 촬영한 2차원 동영상군을 "다시점 동영상"이라고 부른다.
2차원 동영상은, 시간 방향에 관하여 강한 상관이 있고, 부호화 시에는 그 상관을 이용함으로써 부호화 효율을 높이고 있다. 한편, 다시점 화상이나 다시점 동영상에서는, 각 카메라가 동기되어 있는 경우, 같은 시간에 대응한 각 카메라의 영상은 완전히 같은 상태의 피사체와 배경을 다른 위치에서 촬영한 것이므로, 카메라 간에 강한 상관이 있다. 다시점 화상이나 다시점 동영상의 부호화에 있어서는, 이 상관을 이용함으로써 부호화 효율을 높일 수 있다.
우선, 2차원 동영상의 부호화 기술에 관한 종래기술을 설명한다.
국제 부호화 표준인 H.264, MPEG-2, MPEG-4를 비롯한 종래의 많은 2차원 동영상 부호화 방식에서는, 움직임 보상, 직교 변환, 양자화, 엔트로피 부호화라는 기술을 이용하여 고효율의 부호화를 행한다. 예를 들면, H.264에서는 과거 혹은 미래의 복수매의 프레임과의 시간 상관을 이용한 부호화가 가능하다.
H.264에서 사용되고 있는 움직임 보상기술의 상세에 대해서는, 예를 들면 비특허문헌 1에 기재되어 있다. 그 개요를 설명한다.
H.264의 움직임 보상은, 부호화 대상 프레임을 다양한 크기의 블록으로 분할하고, 각 블록에서 다른 움직임 벡터와 다른 참조 화상을 가지는 것을 가능하게 한다. 또, 참조 화상에 대해 필터 처리를 함으로써 1/2 화소 위치나 1/4 화소 위치의 영상을 생성하고, 보다 미세한 1/4 화소 정밀도의 움직임 보상을 가능하게 함으로써, 종래의 국제 부호화 표준방식보다 고효율의 부호화를 달성하고 있다.
다음에, 종래의 다시점 화상이나 다시점 동영상의 부호화 방식에 대해 설명한다.
다시점 화상의 부호화 방법과 다시점 동영상의 부호화 방법의 차이는, 다시점 동영상에는 카메라 간의 상관에 덧붙여 시간 방향의 상관이 동시에 존재한다는 것이다. 그러나, 카메라 간의 상관을 이용하는 방법은 어느 쪽의 경우에도 같은 방법을 이용할 수 있다. 그 때문에, 여기서는 다시점 동영상의 부호화에 있어서 이용되는 방법에 대해 설명한다.
다시점 동영상의 부호화에 대해서는, 카메라 간의 상관을 이용하기 위해 움직임 보상을 같은 시각의 다른 카메라의 화상에 적용한 "시차 보상"에 의해 고효율로 다시점 동영상을 부호화하는 방식이 종래부터 존재한다. 여기서, 시차란, 다른 위치에 배치된 카메라의 화상 평면 상에서 피사체 상의 같은 위치가 투영되는 위치의 차이다.
도 8은 카메라 간에 생기는 시차의 개념도이다.
도 8에 나타내는 개념도에서는, 광축이 평행한 카메라의 화상 평면을 수직으로 내려다본 것으로 되어 있다. 이와 같이, 다른 카메라의 화상 평면 상에서 피사체 상의 같은 위치가 투영되는 위치는 일반적으로 대응점이라고 불린다.
시차 보상은 이 대응관계에 기초하여 부호화 대상 프레임의 각 화소값을 참조 프레임으로부터 예측하고, 그 예측 잔차와 대응관계를 나타내는 시차 정보를 부호화한다.
이 대응관계는 카메라 파라미터를 이용함으로써 에피폴라 기하구속에 기초하여 2차원 벡터가 아니라, 한쪽의 카메라를 기준으로서 그 카메라에서 피사체까지의 거리라는 1차원 양으로 나타낼 수 있다.
도 9는 에피폴라 기하구속의 개념도이다. 에피폴라 기하구속에 의하면, 어떤 카메라의 화상 상의 점에 대응하는 다른 카메라의 화상 상의 점은 에피폴라 선이라는 직선 상에 구속된다. 이 때, 그 화소에서의 카메라에서 피사체까지의 거리가 얻어진 경우, 대응점은 에피폴라 선 상에 일의로 정해진다.
예를 들면, 도 9에 나타내는 바와 같이, 카메라(A)의 화상에서 m의 위치에 투영된 피사체의 점은, 카메라(B)의 화상에 있어서 실공간에서의 피사체가 대응하는 점의 위치가 M'인 경우에는 에피폴라 선 상의 위치(m')에, 실공간에서의 피사체가 대응하는 점의 위치가 M''인 경우에는 에피폴라 선 상의 위치(m'')에, 실공간에서의 피사체가 대응하는 점의 위치가 M'''인 경우에는 에피폴라 선 상의 위치(m''')에 투영된다.
도 1O은 하나의 카메라에 대해 피사체까지의 거리가 주어졌을 때에 복수의 카메라 간에 대응점을 얻을 수 있음을 나타내는 도면이다.
일반적으로 시차는 부호화 대상 프레임에 의해 변화하기 때문에, 시차 정보는 부호화 대상 프레임마다 부호화하는 것이 필요하다. 그러나, 카메라에서 피사체까지의 거리는 피사체의 물리적인 상태에 의해 결정되기 때문에, 카메라에서 피사체까지의 거리라는 하나의 정보로 복수의 카메라의 화상 상의 대응점을 나타낼 수 있다.
예를 들면, 도 10에 나타내는 바와 같이, 카메라(A)의 시점 위치에서 피사체의 점(M)까지의 거리의 정보 하나로 카메라(A)의 화상의 점(ma)에 대응하는 카메라(B)의 화상의 대응점(mb), 카메라(C)의 화상의 대응점(mc)의 쌍방을 나타낼 수 있다.
이 성질에 의하면, 시차 정보를 참조 화상에서의 카메라에서 피사체까지의 거리로 나타냄으로써, 그 참조 화상으로부터(카메라 간의 위치관계가 얻어짐) 다른 카메라로 동시각에 찍힌 모든 프레임에 대한 시차 보상을 실현할 수 있다. 비특허 문헌 2에서는, 이 성질을 이용하여 부호화해야 하는 시차 정보의 수를 줄여 고효율의 다시점 동영상 부호화를 달성하고 있다.
또, 비특허문헌 3은, 후술하는 본 발명의 실시예의 설명에서 참조하는 기술이 기재된 선행기술문헌이고, 이것에는 복수의 카메라의 위치관계를 나타내는 파라미터나, 카메라에 의한 화상 평면에의 투영정보를 나타내는 파라미터에 관한 설명이 기재되어 있다.
비특허문헌 1: ITU-T Rec.H.264/ISO/IEC 11496-10, "Editor's Proposed Draft Text Modifications for Joint Video Specification(ITU-T Rec.H.264/ISO/IEC 14496-10 AVC), Draft 7", Final Committee Draft, Document JVT-E022, pp.10-13, and 62-68, September 2002.
비특허문헌 2: Shinya SHIMIZU, Masaki KITAHARA, Kazuto KAMIKURA and Yoshiyuki YASHIMA, "Multi-view Video Coding based on 3-D Warping with Depth Map", In Proceedings of Picture Coding Symposium 2006, SS3-6, April, 2006.
비특허문헌 3: Oliver Faugeras, Three-Dimension Computer Vision-MIT Press; BCTC/UFF-006.37 F259 1993-ISBN:0-262-06158-9, pp.33-68.
확실히 비특허문헌 2의 방법에 의하면, 부호화 대상 화상마다 시차 정보를 부호화하는 것보다도 적은 부호량으로 시차 정보를 부호화할 수 있다.
다시점 화상 부호화에서는, 부호화 대상 화상의 각 화소의 값을 부호화하는 것이 목적이기 때문에, 시차 보상에서는 부호화 대상 화상의 각 화소의 값을 예측하는 것이 필요하다. 그러나, 참조 화상의 각 화소에 대해 카메라에서 피사체까지의 거리를 부여하는 방법에서는 참조 화상측의 대응점이 고정되어 있기 때문에, 부호화 대상 화상에서의 대응점은 반드시 화소와 일치하지 않는다. 이 경우, 부호화 대상 화상의 모든 화소에서의 값을 예측하는 방법으로서 다음의 3가지가 쉽게 유추할 수 있는 방법으로서 생각된다.
첫번째는, 부호화 대상 화상에서의 대응점이 반드시 화소 위치가 되도록 거리를 정하는 방법이다.
그러나, 복수의 부호화 대상 화상에 대해 반드시 화소 위치에 대응하는 거리는 제한되어 버리기 때문에, 이 방법에서는 예측 오차가 작아지는 시차 보상이 불가능하여 최종적으로 전체의 부호화 효율이 나빠진다.
두번째는, 부호화 대상 화상에서 얻어진 대응점을 가장 가까운 화소에 반올림하는 방법이다.
이 방법에서는, 대체로 올바른 시차 보상을 달성할 수 있다고 생각되지만, 반올림함으로써 그 예측 정밀도는 적지않게 저하된다. 또한, 부호화한 시차 정보에서 얻어지는 정보를 뒤에서 반올림하기 때문에, 반올림한 정보를 부호화하는 경우에 비해 쓸데없는 정보를 부호화하게 되어 버린다.
세번째는, 참조 화상의 모든 화소에 대한 부호화 대상 화상에서의 대응점을 구한 후에, 부호화 대상 화상의 화소마다 주변에 얻어진 대응점의 화소값으로부터 보완을 하여 구하는 방법이다.
세번째의 방법에서는, 부호화한 시차 정보를 완전히 이용할 수 있다. 그러나, 이 방법에서는 이산적으로 주어진 화소값으로부터 부호화 대상 화상 전체의 화소값을 보완할 필요가 있기 때문에, 정밀도가 높은 보완을 하기 위한 계산비용이 매우 높다. 또한, 모든 화소의 대응점을 구한 후에만 시차 보상에 의한 예측 오차를 알 수 있기 때문에, 예측 오차를 최소화하는 부호화를 위한 거리를 구하고자 하는 경우, 모든 화소에 대한 시차 정보를 가정하고, 가정한 시차 정보를 이용하여 참조 화상의 모든 화소에 대한 부호화 대상 화상에서의 대응점을 구하고, 화소값이 이산적으로 주어진 화상에 대해 보완을 함으로써 부호화 대상 화상에 대한 예측 화상을 생성하여 예측 오차를 구하는 처리를 모든 시차 정보의 조합에 대해 반복하게 되어 매우 많은 연산량이 들고, 최적의 시차 정보의 집합을 얻기가 매우 어렵다.
또한, 비특허문헌 2의 방법과 같은, 참조 화상의 각 화소에 대해 카메라에서 피사체까지의 거리를 부여하는 방법에서는, 참조 화상측의 대응점이 정수 화소 단위로 고정되어 있기 때문에, H.264의 움직임 예측과 같이 참조 화상의 소수 화소 위치(1/2 화소 위치나 1/4 화소 위치 등)에서의 화소값을 이용한 미세한 움직임에 대응한 고정밀도의 보상을 할 수도 없다.
단순히 참조 화상의 소수 화소(1/2 화소나 1/4 화소 등)에서도, 카메라에서 피사체까지의 거리를 부여함으로써 정밀도가 높은 시차 보상을 가능하게 할 수 있지만, 부호화해야 할 시차 정보의 수가 증가하여 부호화 효율이 저하되는 문제점이 있다.
비록 정수 화소에 대해 주어진 거리에서 소수 화소의 거리를 추정하여 이용한다고 해도, 대응점을 구하기 위한 연산 횟수가 수배로도 증가하는 문제가 있다.
본 발명은 이러한 사정을 감안하여 이루어진 것으로, 참조 화상에서의 카메라에서 피사체까지의 거리에 기초하여 나타나는 시차 정보를 이용하여 부호화 대상 화상에 대해 시차 보상을 하는 구성을 취하는 경우에, 부호화가 필요한 시차 정보의 수를 늘리지 않고 그 부호화에 이용한 시차 정보에 포함되는 정보를 최대한 이용하고, 소수 화소 단위의 시차 보상을 함으로써 높은 부호화 효율을 달성할 수 있도록 하는 화상 부호화 기술 및 복호 기술을 제공하는 것을 목적으로 한다.
본 발명은, 상기 과제를 해결하기 위해, 복수의 카메라로 촬영된 다시점 화상을 부호화함에 있어서, 이미 부호화 완료한 참조 화상과, 상기 복수의 카메라 중에서 상기 참조 화상을 촬영한 카메라에서 피사체까지의 거리를 이용하여 카메라 간에 화상을 예측하면서 부호화를 행하는 화상 부호화 방법으로서, 상기 참조 화상의 각 화소에 대해 주어지는 상기 거리와, 상기 참조 화상을 촬영한 카메라와 부호화 대상 화상을 촬영한 각 카메라의 위치관계에 기초하여 상기 참조 화상의 각 화소에 대응하는 각 부호화 대상 화상 상에서의 대응점을 구하고, 상기 참조 화상의 화소 위치에서 상기 부호화 대상 화상 상에서의 대응점으로 향하는 화소공간 상의 시차 벡터를 산출하는 시차 벡터 설정 단계; 상기 시차 벡터와 같은 시점을 가지고, 상기 시차 벡터의 각 성분의 소수 부분의 버림 또는 각 성분의 값에 가장 가까운 정수값의 선택에 의해, 상기 시차 벡터의 각 성분을 정수값으로 반올림한 값을 벡터의 각 성분으로서 가지는 예측 대상 벡터를 산출하는 예측 대상 벡터 설정 단계; 상기 시차 벡터와 같은 시점을 가지고, 상기 예측 대상 벡터와 상기 시차 벡터의 차분 벡터와 같은 크기와 방향을 가지는 참조 대상 벡터를 산출하는 참조 대상 벡터 설정 단계; 상기 참조 대상 벡터에 의해 나타나는 참조 화상 상의 정수 또는 소수 화소 위치의 화소값을 상기 예측 대상 벡터에 의해 나타나는 부호화 대상 화상 상의 화소의 예측값으로 함으로써, 카메라 간의 화상 예측을 하는 카메라 간 화상 예측 단계;를 가지는 것을 특징으로 하는 화상 부호화 방법을 제공한다.
이에 의해, 참조 화상의 정수 화소 위치마다 주어지는 부호화 대상 화상 상의 정수 화소 위치라고는 할 수 없는 대응점의 정보를 이용하여 부호화 대상 화상의 정수 화소 위치에 대해 참조 화상의 소수 화소 위치의 화소값을 이용한 시차 보상에 의한 화상 예측이 가능하게 되고, 높은 부호화 효율의 달성이 가능하게 된다.
전형예로서, 상기 참조 화상의 각 화소에 대해 에피폴라 기하구속에 기초하여 상기 참조 화상으로부터 부호화 대상의 화상을 예측할 때의 대응점을 나타내는 의사거리를 설정하는 의사거리 설정 단계; 상기 의사거리 설정 단계에서 설정된 의사거리를 부호화하는 의사거리 부호화 단계;를 가지고, 상기 시차 벡터 설정 단계에서는, 상기 의사거리를 상기 참조 화상의 각 화소에 대해 주어지는 거리로서 이용하도록 해도 된다.
여기서 말하는 의사거리란, 참조 화상이 있는 화소에 대한 부호화 대상 화상 상의 에피폴라 직선을 생각한 경우에, 그 직선상의 1점을 특정하는 값이다. 구체적으로는, 카메라에서 참조 화소 중의 대상 화소에 찍혀 있는 것까지의 추정거리를 나타내는 것이 된다. 의사거리는 거리 그 자체이어도, 스테레오 매칭 등으로 얻어지는 추정거리이어도, 이들에 대응지어진 인덱스 값이어도 상관없다.
이 방법에 의하면, 카메라에서 피사체까지의 거리가 명확히 얻어지지 않는 경우에서도, 부호화 측에서 시차 보상에 이용한 파라미터를 복호 측에 통지함으로써, 거리 파라미터를 이용한 시차 보상을 실행할 수 있게 된다.
상기 전형예에서의 적합예로서, 상기 의사거리 설정 단계는, 취할 수 있는 값을 추정하여 정한 추정 의사거리와 카메라의 위치관계에 기초하여 구해지는 부호화 대상 화상 상에서의 대응점을 종점으로 하고, 그 추정 의사거리가 주어지는 참조 화상 중의 화소를 시점으로 하는 화소공간 상의 추정 시차 벡터를 설정하는 과정; 상기 추정 시차 벡터의 종점을 정수 화소에 반올림한 추정 예측 대상 벡터를 설정하는 과정; 상기 추정 시차 벡터와 같은 시점을 가지고, 상기 추정 예측 대상 벡터와 상기 추정 시차 벡터의 차분 벡터와 같은 크기와 방향을 가지는 추정 참조 대상 벡터를 설정하는 과정; 상기 추정 예측 대상 벡터와 상기 추정 참조 대상 벡터를 이용하여 카메라 간의 화상 예측을 하는 처리를 완전히 같은 상태의 피사체를 촬영한 각 부호화 대상 화상에 대해 행했을 때의 예측 오차의 합계가 가장 작아지는 경우의 상기 추정 의사거리를 상기 의사거리로서 설정하는 과정;을 가진다.
즉, 상기 의사거리 설정 단계에서는, 상기 시차 벡터 설정 단계와 같은 처리를 하여 추정 시차 벡터를 구하고, 추정 시차 벡터에 대해 예측 대상 벡터 설정 단계와 같은 처리를 하여 추정 예측 대상 벡터를 구하며, 추정 시차 벡터와 추정 예측 대상 벡터에 대해 상기 참조 대상 벡터 설정 단계와 같은 처리를 하여 추정 참조 대상 벡터를 구하고, 추정 예측 대상 벡터와 추정 참조 대상 벡터를 이용하여 화상 예측을 하는 처리를 완전히 같은 상태의 피사체를 촬영한 각 부호화 대상 화상에 대해 행했을 때의 예측 오차의 합계가 가장 작아지는 경우의 상기 추정 의사거리를 상기 의사거리로서 설정한다.
또, 추정 예측 대상 벡터를 구할 때의 정수 화소에의 반올림 방법은 소수 부분을 버리는 방법, 가장 가까운 정수 화소에 반올림하는 방법도 이용할 수 있지만, 시차 보상시에 행하는 대응하는 처리와 일치시키는 것으로 한다.
어떤 화소에 대한 카메라에서 피사체까지의 거리가 주어졌을 때, 그 화소로부터 아주 조금 어긋난 위치에 대한 카메라에서 피사체까지의 거리가 그 화소에 대해 주어진 거리와 거의 변하지 않는다고 가정할 수 있지만, 항상 완전히 일치한다고는 할 수 없다. 그 때문에, 적당한 의사거리를 이용한 경우는 물론이지만, 만약 실제의 거리에 매우 가까운 의사거리를 이용한 경우에서도, 상황에 따라서는 예측 오차가 큰 대응점을 이용하여 시차 보상을 할 가능성이 있다.
한편, 이 발명에 의하면, 시차 보상의 예측 오차가 다른 거리보다도 작은 의사적인 거리를 구하여 그 의사거리를 이용하기 때문에, 시차 보상의 예측 오차가 큰 대응점을 시차 보상에 사용하는 것을 회피하는 것이 가능하게 되고, 높은 부호화 효율을 달성할 수 있다.
또한, 예측 오차에 대해 그 의사거리를 부호화할 때의 부호량의 예측값에 대해 어떤 일정한 무게를 곱한 값을 더한 레이트 왜곡 비용을 최소화하는 의사거리를 구함으로써, 예측 오차는 증가했어도 부호화 효율이라는 관점에서 보다 최적의 의사거리를 구하도록 해도 된다.
또, 의사거리의 부호화에 있어서 왜곡이 존재하는 경우, 부호화한 의사거리를 복호한 복호 의사거리를 거리로서 시차 벡터 설정 단계에서 이용함으로써, 부호화측과 복호측에서 이용하는 파라미터를 일치시켜 부호화 왜곡의 일종인 드리프트를 막을 수 있다.
상기 전형예에서의 다른 적합예로서, 참조 화상에서의 영역 분할을 설정하는 영역 분할 설정 단계를 가지고, 상기 의사거리 설정 단계에서는, 상기 영역 분할 설정 단계에서 설정된 영역마다 상기 의사거리를 설정하고, 상기 의사거리 부호화 단계에서는, 상기 영역 분할 설정 단계에서 설정된 영역마다 상기 의사거리를 부호화한다.
카메라에서 피사체까지의 거리는 화상 상에서 그만큼 빈번하게 변화하지 않고, 어느 정도 모인 영역에서는 같은 거리를 가지는 경우가 많다. 그 때문에, 적절하게 영역 분할을 설정하고, 영역마다 하나의 의사거리를 설정하여 부호화함으로써, 부호화하는 의사거리의 개수를 적게 할 수 있고 부호량을 삭감할 수 있다.
이 경우, 영역 분할 정보도 부호화하여 복호측으로 건네줄 필요가 있는데, 참조 화상의 화상 전체를 영역 분할하고, 영역마다 처리를 가하여 그 영역 분할 정보와 함께 부호화되어 있는 경우에는, 그 참조 화상의 부호화 데이터에 포함되는 영역 분할 정보에 의한 영역 분할과 각 의사거리를 설정하는 영역 분할을 일치시킴으로써, 영역 분할 정보를 부호화하지 않고 끝낼 수 있다.
화상 부호화 시의 영역 분할은 각 피사체의 형상을 나타내는 형태로 단락지어지는 경우가 많다. 또한, 카메라에서 피사체까지의 거리도 피사체마다 같은 값을 가진다고 생각되기 때문에, 상기와 같이 영역 분할을 일치시킴으로써 효율적으로 영역 분할 정보의 부호량을 삭감하는 것이 가능하다.
그러나, 화상 부호화 시의 영역 분할은 텍스처(겉모양)의 차이에 따라서도 설정되는 경우가 있다. 그 때문에, 화상 부호화 시의 영역 분할과 의사거리가 같아지는 영역 분할에 차이가 생기는 경우도 있다. 이 경우, 그 차이를 나타내는 정보만을 부호화함으로써, 화상 전체의 영역 분할을 부호화하여 대량의 부호량이 발생하는 것을 방지함과 동시에, 영역 분할 오류에 의한 시차 보상의 예측 효율 저하를 방지할 수 있다.
또한, 실공간에서의 피사체의 공간적인 특성상, 카메라에서 피사체까지의 거리가 인접하는 화소나 영역 간에 크게 변화하지 않음을 이용하여 의사거리를 부호화할 때에, 이미 부호화 완료한 의사거리를 선택하고, 그 부호화 완료한 의사거리를 나타내는 정보와, 부호화 대상의 의사거리와 상기 선택한 의사거리의 차분을 부호화함으로써 의사거리의 부호량을 삭감할 수도 있다.
또한, 하나의 참조 화상에 대해 주어지는 의사거리군은, 주어지는 영역의 위치와 크기를 고려하면 화상으로 간주할 수 있다. 따라서, 그 화상을 JPEG나 JPEG2000 등의 화상 부호화 방법을 이용하여 부호화함으로써 의사거리를 효율적으로 부호화할 수 있다.
또한, 카메라에서 피사체까지의 거리는 시간적으로도 크게 변화하지 않기 때문에, 본 발명의 방법을 각 시각의 화상군에 적용함으로써 다시점 동영상을 부호화하는 경우, 각 시각의 의사거리군을 화상으로 간주하고, 그 집합을 영상으로 간주하며, 의사거리 전체를 MPEG-2나 H.264/AVC 등의 영상 부호화 방법을 이용하여 부호화함으로써 의사거리를 효율적으로 부호화할 수도 있다.
또한, 상기 예측 대상 벡터 설정 단계에서는, 각 성분이 상기 시차 벡터의 각 성분에 가장 가까운 부호화 처리 블록 크기의 정수배의 값을 가지는 벡터를 예측 대상 벡터로 하도록 해도 된다.
다시점 동영상 전체적으로 고효율의 부호화를 달성하기 위해서는, 의사거리의 부호량을 억제하면서 고효율의 시차 보상 잔차의 부호화를 행할 필요가 있다. 즉, 부호화 처리 블록마다 의사거리를 추정할 때에, 그 의사거리의 부호화에 필요한 부호량 외에 그 의사거리에 따라 시차 보상된 블록의 잔차의 부호량을 고려할 필요가 있다. 그러나, 참조 화상이 있는 부호화 대상 블록에 대해 주어지는 의사거리에 따라 시차 보상되는 블록은, 부호화 대상 화상에 있어서 복수의 부호화 처리 블록을 넘어 버릴 가능성이 있다. 이 경우, 이 블록에서의 시차 보상 잔차의 부호량을 추측하기가 매우 어렵기 때문에, 고효율의 부호화를 달성하기 위한 최적화를 정밀도 높게 행할 수 없다.
한편, 상술한 바와 같이, 각 성분이 상기 시차 벡터의 각 성분에 가장 가까운 부호화 처리 블록 크기의 정수배의 값을 가지는 벡터를 예측 대상 벡터로 하도록 하면, 부호화 대상 화상 상의 시차 보상되는 블록이 반드시 부호화 처리 블록과 일치하는 것이 보장되기 때문에, 그 블록의 시차 보상 잔차를 부호화하는 데에 필요한 부호량을 시차 보상 잔차의 부호화 방식을 고려한 후에 산출하는 것이 가능하게 된다. 그 결과, 전체적으로 고효율의 다시점 화상 부호화가 가능하게 된다.
또, 다시점 동영상을 부호화(복호)하는 경우, 각 시각의 대응하는 프레임의 집합을 다시점 화상으로 간주하여 본 발명의 화상 부호화 방법(화상 복호 방법)을 적용할 수 있다.
또, 다시점 동영상에서는 본 발명의 화상 부호화 방법만으로 화상 전체를 부호화하는 것이 아니라, 시간 방향의 상관을 이용한 움직임 보상 등의 다른 수법을 부호화 처리 대상마다 적절히 선택하여 부호화함으로써 부호화 효율을 높일 수도 있다.
본 발명에 의하면, 참조 화상의 정수 화소를 기준으로서 주어지는 부호화 대상 화상의 대응점 정보로부터, 부호화 대상 화상의 정수 화소의 위치에 대응하는 참조 화상의 소수 화소 단위의 위치를 정밀도 높게 저연산비용으로 구할 수 있고, 보다 미세한 시차에 대응한 시차 보상을 실현하여 다시점 화상 전체로서의 고효율의 화상 부호화를 실현할 수 있다.
도 1은 본 발명에서의 각 벡터의 관계를 나타내는 도면이다.
도 2는 본 발명의 실시예에 의한 화상 부호화 장치의 구성예를 나타내는 도면이다.
도 3은 화상 부호화 장치에 의한 화상 부호화 처리 흐름도이다.
도 4는 거리 화상 생성부에 의한 거리 화상 생성 처리 흐름도이다.
도 5는 시차 보상 화상 생성부에 의한 시차 보상 화상 생성 처리 흐름도이다.
도 6은 본 발명의 실시예에 의한 화상 복호 장치의 구성예를 나타내는 도면이다.
도 7은 화상 복호 장치에 의한 화상 복호 처리 흐름도이다.
도 8은 카메라 간에 생기는 시차의 개념도이다.
도 9는 에피폴라 기하구속의 개념도이다.
도 10은 하나의 카메라에 대해 피사체까지의 거리가 주어졌을 때에 복수의 카메라 간에 대응점이 얻어지는 것을 나타내는 도면이다.
<부호의 설명>
100 화상 부호화 장치
101 화상 입력부
102 참조 화상 입력부
103 참조 화상 메모리
104 거리 화상 생성부
105 거리 화상 부호화부
106 거리 화상 복호부
107 시차 보상 화상 생성부
108 부호화 대상 화상 부호화부
200 화상 복호 장치
201 거리 화상 복호부
202 참조 화상 메모리
203 시차 보상 화상 생성부
204 부호화 대상 화상 복호부
이하, 실시예에 따라 본 발명을 상세하게 설명한다.
우선, 도 1을 참조하여 본 발명의 원리를 설명한다.
처음에, 참조 화상의 각 화소에 대해 주어지는 카메라에서 피사체까지의 거리와 카메라 간의 위치관계를 이용하여 참조 화상의 각 화소의 부호화 대상 화상 상에서의 대응점을 구한다.
이 때, 화소공간 상에서 참조 화상의 화소를 시점으로 하고, 그 화소의 부호화 대상 화상 상의 대응점을 종점으로 하는 벡터를 시차 벡터라고 부른다. 이러한 구하는 방법을 하기 때문에, 시차 벡터의 시점은 반드시 정수 화소 위치이고, 종점은 반드시 정수 화소 위치라고는 할 수 없다.
다음에, 각 시차 벡터에 대해 시점이 같고 벡터의 수평성분과 수직성분의 소수부분을 버린 벡터를 구하여, 이 벡터를 예측 대상 벡터라고 부른다. 이 예측 대상 벡터는 시차 벡터의 시점과 종점에 의해 퍼지는 직사각형(좌표평면 상에서 시점좌표와 종점좌표에 의해 정의되는, 시차 벡터를 대각선으로 하는 직사각형)의 내부에서 시차 벡터의 종점에 가장 가까운 정수 화소 위치를 종점에 가지는 벡터이다.
그리고, 시차 벡터마다 그 시차 벡터와 같은 시점을 가지고, 전단계에서 구한 예측 대상 벡터에서 그 시차 벡터를 감산하여 가능한 벡터와 같은 크기와 방향을 가지는 벡터를 구하여, 이 벡터를 참조 대상 벡터라고 부른다. 이 참조 대상 벡터의 종점은 반드시 정수 화소 위치가 된다고는 할 수 없다.
본 발명에서는, 이와 같이 하여 얻어진 예측 대상 벡터와 참조 대상 벡터의 세트마다 참조 대상 벡터에 의해 나타나는 참조 화상 상의 위치의 값을 예측 대상 벡터에 의해 나타나는 부호화 대상 화상 상의 화소 위치의 예측값으로서 이용함으로써 카메라 간의 화상 예측을 실현한다.
본 발명에서는, 어떤 화소에서 아주 조금 어긋난 위치의 카메라에서 피사체까지의 거리는 그 화소에서의 카메라에서 피사체까지의 거리와 거의 같다는 가정에 기초하여 대응점을 구한다. 즉, 카메라에서 피사체까지의 거리의 구조가 단순한 쪽이 화상 예측의 정밀도가 높다.
한편, 상술한 쉽게 유추할 수 있는 수법의 두번째의 수법과 세번째의 수법에서는, 피사체의 텍스처(겉모양)가 인접 부분에서 거의 같다는 가정을 이용하고 있다. 즉, 텍스처의 구조가 단순한 쪽이 화상 예측의 정밀도가 높다.
자연 화상에 있어서 거리의 구조와 텍스처의 구조를 비교하면, 현실공간에서의 연속성의 제약이 있기 때문에, 텍스처보다도 거리가 단순한 구조를 하고 있는 경향이 있다. 따라서, 본 발명의 수법은 상술한 쉽게 유추할 수 있는 수법보다도 고정밀도의 화상 예측을 실현하고, 부호화 효율을 높일 수 있다.
또, 상기와 같이 예측 대상 벡터를 구할 때에, 소수부분을 버리고 정수부분에 반올림하는 처리를 할 수도 있지만, 가장 가까운 정수에 반올림하는 방법을 취할 수도 있다.
가장 가까운 정수에 반올림하는 처리를 하는 것이 참조 화상의 화소에 의해 가까운 점이 같은 거리를 가진다고 가정하게 되기 때문에, 예측 오차가 작아지는 시차 보상을 달성할 수 있다. 단, 이 경우에는, 소수부분을 버리는 경우보다도 연 산비용이 증가할 가능성이 있다.
이하에 설명하는 실시예에서는, 카메라(A), 카메라(B)의 2개의 카메라로 촬영된 다시점 화상을 부호화하는 경우를 상정하고, 카메라(A)의 화상을 참조 화상으로서 카메라(B)의 화상을 부호화하는 방법에 대해 설명을 한다.
또, 카메라(A)와 카메라(B)의 위치관계를 나타내는 외부 파라미터나, 카메라에 의한 화상 평면에의 투영정보를 나타내는 내부 파라미터는 별도 주어지는 것으로 한다.
이러한 파라미터에 관한 상세한 설명은 비특허문헌 3에 기재되어 있는데, 카메라를 설치했을 때에 구하는 것 혹은 촬영한 화상 쌍으로부터 추정하는 것도 가능하다.
도 2는 본 발명의 실시예에 의한 화상 부호화 장치의 구성예를 나타내는 도면이다.
화상 부호화 장치(100)는, 부호화 대상 화상인 카메라(B)의 원화상을 입력하는 화상 입력부(101), 참조 화상인 카메라(A)의 복호 화상을 입력하는 참조 화상 입력부(102), 참조 화상을 저장하는 참조 화상 메모리(103), 거리 화상을 생성하는 거리 화상 생성부(104), 거리 화상의 부호화를 행하는 거리 화상 부호화부(105), 부호화된 거리 화상을 복호하는 거리 화상 복호부(106), 참조 화상과 복호된 거리 화상으로부터 시차 보상 화상을 생성하는 시차 보상 화상 생성부(107), 시차 보상 화상을 이용하여 부호화 대상 화상을 부호화하는 부호화 대상 화상 부호화부(108)를 구비한다.
여기서, 화상 부호화 장치(100)와 후술하는 화상 복호 장치(200)(도 6 참조)의 어느 쪽에서도, 실제의 카메라에서 피사체까지의 거리를 나타낸 거리 화상에서도, 시차 보상을 위해 사용되는 의사적인 거리를 나타낸 의사거리 화상에서도, 장치나 처리는 구별하여 처리를 하는 것은 아니다. 따라서, 이하에서는, 양자를 구별하지 않고 단지 거리 화상이라고 기록하고, 이에 의해 나타나는 거리 또는 의사적인 거리도 구별하지 않고 단지 거리라고 기록한다.
이하, 도 2에 나타내는 바와 같이 구성된 화상 부호화 장치(100)가 실행하는 화상 부호화 처리에 대해 도 3 내지 도 5의 흐름도를 이용하여 상세하게 설명한다.
도 3은 화상 부호화 장치에 의한 화상 부호화 처리 흐름도이다. 도 3에 나타내는 흐름도는 화상 부호화 장치(100)에 의한 화상 부호화 처리 전체의 개요를 나타낸다.
화상 부호화 장치(100)에서는, 화상 입력부(101)에 의해 카메라(B)의 화상이 입력된다(단계 S10). 또, 참조 화상 입력부(102)에 의해 카메라(A)의 복호 화상이 참조 화상 메모리(103)에 입력되어 있다.
이하에서는, 입력된 카메라(B)의 화상을 부호화 대상 화상이라고 기록하고, 참조 화상 메모리(103) 상의 화상을 참조 화상이라고 기록한다.
다음에, 부호화 대상 화상과 참조 화상을 이용하여 거리 화상 생성부(104)에서 참조 화상에 대한 거리 화상을 생성한다(단계 S11).
그리고, 화상 부호화 장치(100) 측과 화상 복호 장치(200) 측에서 완전히 같은 정보를 이용한 시차 보상 화상 생성을 실현하기 위해, 생성된 거리 화상을 거리 화상 부호화부(105)에서 부호화하고(단계 S12), 그 부호화 데이터를 거리 화상 복호부(106)에서 복호한다(단계 S13).
다음에, 복호하여 얻어진 거리 화상과 참조 화상으로부터 시차 보상 화상 생성부(107)에서 시차 보상 화상을 생성한다(단계 S14). 마지막으로, 생성된 시차 보상 화상을 이용하여 부호화 대상 화상을 부호화 대상 화상 부호화부(108)에서 부호화한다(단계 S15).
도 3에 나타내는 화상 부호화 처리는, 카메라(B)의 하나의 화상을 부호화할 때에 행하는 처리를 나타내고, 각 시각의 화상에 대해 이 처리를 반복함으로써 다시점 동영상의 부호화를 행할 수 있다.
또, 거리 화상 부호화부(105)에서는, 기존의 임의의 부호화 수법을 이용해도 된다. 정지화상으로서 JPEG2000과 같은 화상 부호화 방식을 적용해도 되고, 다른 시각의 참조 화상에 대해 생성된 거리 화상과 함께 H.264 등의 동영상 부호화 방식을 적용해도 되며, 화소값을 단순히 가변길이 부호화해도 된다.
단, 거리 화상 복호부(106)는, 거리 화상 부호화부(105)에서 이용한 방식으로 생성되는 부호화 데이터를 복호할 수 있는 것이어야 한다.
또한, 본 발명을 다시점 동영상 부호화에 이용하는 경우, 부호화 대상 화상 부호화부(108)에서는 시차 보상 화상을 이용하여 부호화를 행하는 부호화 방식이면 임의의 것을 이용할 수 있다.
예를 들면, 시차 보상 화상과 부호화 대상 화상의 차분 화상을 생성하여 부호화하는 방식이나, 차분 화상을 그대로 부호화하는 것이 아니라, 다른 시각의 차 분 화상과 H.264에서 이용되는 움직임 보상을 하여 부호화하는 방식이나, 시차 보상 화상을 이용하여 행하는 영상 예측과 움직임 보상에 의해 행하는 영상 예측을 비교하여 예측 효율적인 예측법을 사용하여 부호화하는 방식 등이 있다.
본 실시예에서는, 화상 부호화 장치(100)의 내부에서 거리 화상을 생성하는 방식을 취하고 있지만, 센서 등을 이용하여 외부에서 생성한 거리 화상을 그대로 이용해도 된다. 그 경우에는 거리 화상 생성부(104)가 불필요하게 되고, 도 3의 흐름도에서의 단계 S11의 처리를 생략할 수 있다.
또, 거리 화상 부호화부(105)에서 가역 부호화 방식을 이용하는 경우에는, 거리 화상 복호부(106)가 불필요하게 되고, 도 3의 흐름도에서의 단계 S13의 처리를 생략할 수 있다. 단, 그 경우에는, 거리 화상이 그대로 시차 보상 화상 생성부(107)에 입력된다.
도 4는 거리 화상 생성부(104)에 의한 거리 화상 생성 처리 흐름도이다.
여기서는, 도 3의 단계 S11에서의 부호화 대상 화상과 참조 화상으로부터 거리 화상을 생성하는 거리 화상 생성 처리에 대해 보다 상세하게 설명한다.
도 4의 흐름도에서는, 참조 화상을 복수의 블록으로 분할하여 블록마다 거리를 구하는 처리를 하고 있다. 여기서, 블록의 크기를 전부 1×1(화소)로 하면, 화소마다 거리를 구하는 것에 상당한다.
이 거리를 설정하는 단위가 되는 블록을 참조 화상을 영역 분할하여 부호화 처리할 때의 부호화 처리 블록에 맞추는 실시도 매우 적합하다. 또, 각 블록을 나타내는 인덱스를 blk라고 나타내고, 하나의 화상에 대한 블록 수를 maxBlk라고 나 타낸다.
blk를 0으로 초기화한 후(단계 S20), blk를 1씩 가산하면서(단계 S35), blk가 maxBlk가 될 때까지(단계 S36) 블록마다 단계 S21 내지 단계 S36의 처리를 반복하여 실행한다.
블록마다 행해지는 처리에서는, 우선 인덱스(blk)의 블록의 참조 화상의 화소공간 상의 위치를 구하여 blk-pos라고 한다(단계 S21).
여기서, 거리 후보를 나타내는 인덱스를 depth라고 나타내고, 그 최소값을 minDepth라고 나타내며, 최대값을 maxDepth라고 나타낸다. minDepth와 maxDepth는 촬영하는 풍경을 고려하여 임의로 주어지는 부호화시의 파라미터이다.
또한, 이하의 처리에서 각 거리 후보에 대해 평가를 하는 것인데, 그 평가값으로서 절대로 취할 수 없는 최대값을 maxCost라고 나타낸다. 또, 반복 평가를 하기 위해, 가장 좋았던 평가값을 minCost라고 나타내고, 그 때의 거리 후보 인덱스를 bestDepth라고 나타내기로 한다.
depth를 minDepth로 초기화하고, minCost를 maxCost로 초기화한 후(단계 S22), depth를 1씩 가산하면서(단계 S32), depth가 maxDepth가 될 때까지(단계 S33) 거리 후보마다 단계 S23 내지 단계 S33의 처리를 반복하여 실행한다.
그리고, depth가 maxDepth가 되었을 때, bestDepth에 저장되어 있는 것을 블록 인덱스(blk)에 대한 거리의 값으로 결정한다(단계 S34).
이하, 거리 후보마다 행해지는 처리(단계 S23 내지 단계 S33)에 대해 설명한다.
우선, 거리 화상 부호화부(105)에서 이용되는 부호화 방식을 고려하여 거리 화상의 blk_pos의 위치의 거리가 depth가 된 경우, 그 depth를 부호화하는 데에 필요한 부호량을 구하여 rate라고 한다(단계 S23). 이는 실제의 부호량 또는 부호량의 예측값이어도 된다.
다음에, depth를 부호화하여 복호했을 때에 얻어지는 값을 구하여 dec_depth라고 한다(단계 S24). 그리고, blk_pos의 위치에서의 카메라에서 피사체까지의 거리가 dec_depth로 주어지는 거리인 경우의 시차 벡터를 구하여 DISP_V라고 한다(단계 S25). 이 시차 벡터는 다음의 수학식 (1)에 의해 구할 수 있다.
Figure 112009015507326-pct00001
(1)
수학식 (1)에서, 굵은 글씨로 되어 있는 변수는 벡터를 나타내고, 대문자의 변수는 행렬을 나타낸다.
행렬(A)은 카메라의 내부 파라미터 행렬을 나타내고, 행렬(R)은 카메라의 회전행렬을 나타내며, 벡터(t)는 카메라의 병진벡터를 나타낸다. 또, 첨자(t)는 부호화 대상 화상을 촬영한 카메라의 파라미터임을 나타내고, 첨자(r)는 참조 화상을 촬영한 카메라의 파라미터임을 나타낸다.
d는 거리 인덱스(dec_depth)로 나타나는 카메라에서 피사체까지의 거리를 나타낸다. 「~x」(~는 x의 상부에 부여됨)은 벡터(x)의 제차벡터(동차벡터)를 나타낸 다. 또한, 「^x」(^은 x의 상부에 부여됨)은 벡터(x)의 제차벡터 중에서 최종 성분이 1인 제차벡터를 나타낸다. 또, N차원 벡터에 대한 제차벡터는 N+1개의 요소를 가진다. 이 제차벡터의 N+1번째의 성분으로 1~N번째의 성분을 나눈 값을 1~N차원의 성분으로서 가지는 벡터가 제차벡터에 대한 통상의 벡터(상기의 예에서는 벡터(x))가 된다. 즉, N차원 벡터에 관해서는 다음의 관계가 성립한다.
Figure 112009015507326-pct00002
DISP_V가 구해지면, 그 각 성분을 정수화한 예측 대상 벡터(TAR_V)를 구한다(단계 S26). 정수화하는 방법은,
1)소수부분을 버리는 방법,
2)반올림을 하는 방법,
중 어느 것을 이용해도 된다. 그리고, 참조 대상 벡터(REF_V)를 다음의 수학식 (2)에 의해 구한다(단계 S27).
REF_V=TAR_V-DISP_V (2)
이 때, blk_pos에 포함되는 모든 화소(p)에 대해, 부호화 대상 화상 상의 위치(p+TAR_V)와 참조 화상 상의 위치(p+REF_V)가 대응점이 된다.
이 대응점의 확률의 평가값, 즉 부호화 대상 화상의 위치(blk_pos+TAR_V)의 블록을 참조 화상의 위치(blk_pos+DISP_V)의 블록으로 예측할 때의 예측 오차를 구하여 diff라고 한다(단계 S28).
확률의 평가에는 차분 절대값 합이나 제곱 오차 합이나 차분값의 분산이나 상관 계수 등의 임의의 척도를 이용할 수 있다. 일례로서, 차분 절대값 합에 의한 평가식은 이하의 수학식 (3)에 의해 나타난다.
Figure 112009015507326-pct00003
(3)
수학식 (3)에서, I는 인수로 주어지는 위치의 화상의 화소값을 돌려주는 함수를 나타낸다. p+TAR_V는 반드시 정수 화소 위치를 나타내지만, p+REF_V는 반드시 정수 화소 위치를 나타낸다고는 할 수 없다.
정수 화소 위치 이외의 위치의 값은 주변 화소의 값에서 필터 처리 등에 의해 생성할 수 있다. 또한, 주어지는 위치에 대해 엄밀하게 그 위치에 대응하는 값을 구할 필요는 없고, 어느 정도의 소수 화소 위치까지의 값만 구하여 가장 가까운 점을 이용해도 된다.
이와 같이 하여 구해진 rate와 diff에 대해 거리 후보를 다시점 동영상의 부호화 효율이라는 면에서 평가하기 위해, 다음의 수학식 (4)에서 나타나는 레이트 왜곡 비용(cost)을 계산한다(단계 S29).
cost=diff+λ×rate (4)
수학식 (4)에서, λ는 라그랑주의 미정 승수이고, 미리 설정된 값이 이용된 다. 부호화 효율이 아니라, 단순한 예측 오차만으로 거리 후보를 평가하는 경우는 λ=0에 상당한다. 여기서 구해지는 cost는 작을수록 좋다.
거리 후보(depth)의 평가값(cost)을 지금까지의 거리 후보에서의 최량의 평가값(minCost)에 비해(단계 S30) 평가가 좋은 것 같으면, 거리 후보(depth)를 최량 후보(bestDepth)로서 저장하고, 최량 평가값(minCost)을 cost로 고쳐쓴다(단계 S31).
그리고, 거리 후보 인덱스(depth)를 1만큼 늘리고(단계 S32) 아직 다른 거리 후보가 있다면, 그 거리 후보에 대해 같은 처리를 반복한다(단계 S33).
도 5는 시차 보상 화상 생성부(107)에 의한 시차 보상 화상 생성 처리 흐름도이다. 여기서는, 도 3의 단계 S14에서의 거리 화상과 참조 화상으로부터 시차 보상 화상을 생성하는 시차 보상 화상 생성 처리에 대해 보다 상세하게 설명한다.
도 5의 흐름도에서는, 거리가 주어지는 참조 화상의 블록마다 시차 보상 화상을 생성하는 처리를 하고 있다. 또, 각 블록을 나타내는 인덱스를 blk라고 나타내고, 하나의 화상에 대한 블록 수를 maxBlk라고 나타낸다.
blk를 0으로 초기화한 후(단계 S40), blk를 1씩 가산하면서(단계 S47), blk가 maxBlk가 될 때까지(단계 S48) 블록마다 단계 S41 내지 단계 S48의 처리를 반복하여 실행한다.
블록마다 행해지는 처리에서는, 우선 인덱스(blk)의 블록의 참조 화상의 화소공간 상의 위치를 구하여 blk_pos라고 하고(단계 S41), 거리 화상으로부터 블록(blk)의 거리(d)를 얻는다(단계 S42).
그리고, blk_pos의 위치에서의 카메라에서 피사체까지의 거리가 d에서 주어지는 거리인 경우의 시차 벡터(DISP_V)를 구한다(단계 S43). DISP_V는 다음의 수학식 (5)에 의해 구할 수 있다.
Figure 112009015507326-pct00004
(5)
수학식 (1)과 같이, 수학식 (5)에서 굵은 글씨로 되어 있는 변수는 벡터를 나타내고, 대문자의 변수는 행렬을 나타낸다. 행렬(A)은 카메라의 내부 파라미터 행렬을 나타내고, 행렬(R)은 카메라의 회전행렬을 나타내며, 벡터(t)는 카메라의 병진벡터를 나타낸다. 또, 첨자(t)는 부호화 대상 화상을 촬영한 카메라의 파라미터임을 나타내고, 첨자(r)는 참조 화상을 촬영한 카메라의 파라미터임을 나타낸다. 「~x」(~는 x의 상부에 부여됨)은 벡터(x)의 제차벡터(동차벡터)를 나타낸다. 또한,「^x」(^은 x의 상부에 부여됨)은 벡터(x)의 제차벡터 중에서 최종 성분이 1인 제차벡터를 나타낸다.
DISP_V가 구해지면, 그 각 성분을 정수화한 예측 대상 벡터(TAR_V)를 구한다(단계 S44). 정수화하는 방법은,
1)소수부분을 버리는 방법,
2)반올림을 하는 방법,
중 어느 것을 이용해도 되지만, 거리 화상 생성을 행한 경우에는, 거리 화상 생성부(104)에서의 도 4에 나타내는 단계 S26의 처리에서 이용된 방법과 같은 방법을 이용한다.
다음에, 참조 대상 벡터(REF_V)를 다음의 수학식 (6)에 의해 구한다(단계 S45).
REF_V=TAR_V-DISP_V (6)
그리고, blk_pos에 포함되는 모든 화소(p)에 대해, 시차 보상 화상의 위치(p+TAR_V)의 화소값을 참조 화상 상의 위치(p+REF_V)의 값으로 보상한다(단계 S46).
여기서, p+REF_V는 정수 화소 위치를 나타낸다고는 할 수 없다. 정수 화소 위치 이외의 위치의 값은 주변 화소의 값으로부터 필터 처리 등에 의해 생성할 수 있다. 또한, 주어지는 위치에 대해 엄밀하게 그 위치에 대응하는 값을 구할 필요는 없고, 어느 정도의 소수 화소 위치까지의 값만 구하여 가장 가까운 점의 것을 이용해도 된다. 그러나, 거리 화상이 거리 화상 생성부(104)에서 생성된 것인 경우에는 도 4에 나타내는 단계 S28의 처리에서 이용된 방법과 같은 방법을 이용한다.
이상의 실시예에서 블록 크기를 전부 1×1로 하면, 화소마다 거리를 구하게 되는데, 참조 화상을 n×m화소(n, m은 가변)의 블록으로 분할하고, 참조 화상을 영역 분할한 블록마다 거리(의사거리)를 설정하여, 그 영역 분할을 나타내는 정보와 영역마다의 거리(의사거리)를 부호화하도록 해도 된다.
이와 같이 참조 화상을 영역 분할한 블록마다 거리(의사거리)를 설정하는 경우에, 참조 화상이 화상 전체를 영역 분할하여 각 영역마다 부호화 처리되고, 그 영역 분할 정보와 함께 부호화되어 있을 때는 참조 화상의 부호화 데이터에 포함되는 영역 분할 정보에 따라 같은 영역 분할을 설정하고, 영역 분할을 나타내는 정보의 부호화를 생략할 수도 있다.
또한, 참조 화상의 부호화 처리 블록에 관한 영역 분할과 상기 거리를 설정하는 영역 분할이 다른 경우에, 거리를 설정하는 블록을 정하는 영역 분할을 나타내는 정보의 부호화에서는, 참조 화상의 부호화 데이터에 포함되는 영역 분할 정보가 나타내는 영역 분할과의 차이를 나타내는 정보만을 부호화함으로써, 부호량의 증가를 억제하도록 해도 된다.
또한, 상기 거리(의사거리)의 부호화에서는, 이미 부호화 완료한 거리 중에서 하나의 참조 거리를 선택하고, 그 참조 거리를 나타내는 정보와, 부호화 대상의 거리와 그 참조 거리의 차이를 부호화함으로써 부호량의 증가를 억제할 수도 있다.
또한, 상기 거리(의사거리)의 부호화에서는, 하나의 참조 화상에 대해 주어지는 의사거리군을 화상으로 간주하고, 이들의 의사거리의 집합을 JPEG 등의 소정의 화상 부호화 방법을 이용하여 부호화하도록 해도 된다.
다음에, 이와 같이 생성된 부호화 데이터를 복호하는 본 발명의 화상 복호 장치(200)에 대해 설명한다.
도 6은 본 발명의 실시예에 의한 화상 복호 장치의 구성예를 나타내는 도면이다.
화상 복호 장치(200)는, 거리 화상을 복호하는 거리 화상 복호부(201), 참조 화상인 카메라(A)의 복호 화상을 저장하는 참조 화상 메모리(202), 복호된 거리 화 상과 참조 화상으로부터 시차 보상 화상을 생성하는 시차 보상 화상 생성부(203), 생성된 시차 보상 화상을 참조하면서 부호화 대상 화상의 부호화 데이터를 복호하는 부호화 대상 화상 복호부(204)를 구비한다.
도 7은 화상 복호 장치에 의한 화상 복호 처리 흐름도이다. 도 7에서는, 카메라(B)의 화상을 1프레임 복호하는 데에서의 흐름도를 나타낸다. 이하, 도 7에 나타내는 흐름도를 상세하게 설명한다.
또, 복호되는 프레임과 같은 시각의 카메라(A)의 화상의 프레임은 앞서 복호되어 있는 것으로 하고, 그 복호 화상이 참조 화상으로서 참조 화상 메모리(202)에 저장되어 있는 것으로 한다.
우선, 거리 화상 복호부(201)에서 거리 화상의 부호화 데이터를 복호한다(단계 S50). 다음에, 복호한 거리 화상과 참조 화상 메모리(202)에 저장되어 있는 참조 화상을 이용하여 시차 보상 화상 생성부(203)에서 시차 보상 화상을 생성한다(단계 S51). 마지막으로, 생성된 시차 보상 화상을 참조하면서 부호화 대상 화상의 부호화 데이터를 부호화 대상 화상 복호부(204)에서 복호한다(단계 S52).
여기서, 부호화 대상 화상 복호부(204)에서 행해지는 처리는, 화상 부호화 장치(100)의 내부의 부호화 대상 화상 부호화부(108)에서 이용된 부호화 방식에 준한 것을 이용한다. 즉, 부호화 대상 화상 부호화부(108)에서 시차 보상 화상과 부호화 대상 화상의 차분을 부호화하는 방식을 이용하는 경우에는, 부호화 대상 화상 복호부(204)는 주어진 부호화 데이터를 복호하고, 생성한 시차 보상 화상과 더함으로써 부호화 대상 화상의 복호 화상을 얻는다.
또, 화상 복호 장치(200) 내의 거리 화상 복호부(201)는 화상 부호화 장치(100) 내의 거리 화상 복호부(106)와 같은 처리를 하는 것이다.
화상 복호 장치(200) 내의 시차 보상 화상 생성부(203)는, 화상 부호화 장치(100) 내의 시차 보상 화상 생성부(107)와 같은 도 5에 나타내는 처리를 하는 것이다.
본 실시예에서는, 거리 화상의 부호화 데이터가 주어지는 형식을 취하고 있는데, 다른 방법으로 거리 화상이 주어지는 경우에는, 거리 화상 복호부(201)는 불필요하고, 도 7의 흐름도에서의 단계 S50의 처리를 생략할 수 있다. 그 경우에는, 주어진 거리 화상이 그대로 시차 보상 화상 생성부(203)에서 이용된다.
도 4의 흐름도의 단계 S26의 처리와 도 5의 흐름도의 단계 S44의 처리에서의 TAR_V를 생성하는 부분에서 각 성분을 정수로 할 뿐만 아니라, 각 성분을 시차 벡터의 대응하는 각 성분에 가장 가까운 부호화 처리 블록 크기의 정수배로 해도 된다.
이 때, 도 4의 흐름도의 단계 S28의 처리에 있어서 blk_pos+TAR_V는 반드시 하나의 부호화 처리 블록을 나타내기 때문에, 부호화 대상 화상의 blk_pos+TAR_V로 나타나는 블록을 부호화하는 데에 필요한 부호량(code)을 구하고, 그 부호화를 행했을 때의 원화상과 복호 화상의 제곱 오차 합(SSD)을 구하며, diff를 다음의 수학식 (7)로 구함으로써, 실제의 부호량과 영상 품질 간의 관계를 감안하여 거리 화상을 생성할 수 있기 때문에, 보다 고효율의 부호화를 달성할 수 있다.
diff=SSD+λ'×code (7)
수학식 (7)에서, λ'은 라그랑주의 미정 승수이고, 미리 설정된 값이 이용된다.
또, 본 실시예에서는, 부호화 대상 화상을 촬영하고 있는 카메라가 1대인 경우를 취급하였다. 카메라가 2대 이상인 경우에서도, 다음에 설명하는 처리를 제외하고 같은 처리로 화상 부호화 및 복호를 행할 수 있다.
카메라가 2대 이상인 경우에는, 도 4에 나타나는 거리 화상을 생성하는 처리의 흐름도에서의 단계 S25 내지 단계 S28의 처리를 부호화 대상 화상마다 행하고, 각각으로 구해진 diff의 합계값을 diff로서 거리 후보의 평가를 하여 거리 화상을 생성한다.
이상의 화상 부호화의 처리는 하드웨어나 펌웨어에 한정되지 않고, 컴퓨터와 소프트웨어 프로그램에 의해서도 실현할 수 있으며, 그 프로그램을 컴퓨터 독출 가능한 기록매체에 기록하여 제공하는 것, 네트워크를 통하여 제공하는 것도 가능하다.
이상, 도면을 참조하여 본 발명의 실시예를 설명하였지만, 상기 실시예는 본 발명의 예시에 불과하고, 본 발명이 상기 실시예에 한정되는 것이 아님은 명백하다. 따라서, 본 발명의 정신 및 범위를 벗어나지 않는 범위에서 상기 실시예에 대해 구성요소의 추가, 생략, 치환, 그 밖의 변경을 해도 된다.
본 발명에 의하면, 참조 화상의 정수 화소를 기준으로서 주어지는 부호화 대상 화상의 대응점 정보로부터 부호화 대상 화상의 정수 화소의 위치에 대응하는 참 조 화상의 소수 화소 단위의 위치를 정밀도 높게 저연산비용으로 구할 수 있고, 보다 미세한 시차에 대응한 시차 보상을 실현하여 다시점 화상 전체로서의 고효율의 화상 부호화를 실현할 수 있다.

Claims (28)

  1. 복수의 카메라로 촬영된 다시점 화상을 부호화함에 있어서, 이미 부호화 완료한 참조 화상과, 상기 복수의 카메라 중에서 상기 참조 화상을 촬영한 카메라에서 피사체까지의 거리를 이용하여, 카메라 간에 화상을 예측하면서 부호화를 행하는 화상 부호화 방법으로서,
    상기 참조 화상의 각 화소에 대해 주어지는 상기 거리와, 상기 참조 화상을 촬영한 카메라와 부호화 대상 화상을 촬영한 각 카메라의 위치관계에 기초하여, 상기 참조 화상의 각 화소에 대응하는 각 부호화 대상 화상 상에서의 대응점을 구하고, 상기 참조 화상의 화소 위치에서 상기 부호화 대상 화상 상에서의 대응점으로 향하는 화소공간 상의 시차 벡터를 산출하는 시차 벡터 설정 단계;
    상기 시차 벡터와 같은 시점을 가지고, 상기 시차 벡터의 각 성분의 소수부분의 버림 또는 각 성분의 값에 가장 가까운 정수값의 선택에 의해, 상기 시차 벡터의 각 성분을 정수값으로 반올림한 값을 벡터의 각 성분으로서 가지는 예측 대상 벡터를 산출하는 예측 대상 벡터 설정 단계;
    상기 시차 벡터와 같은 시점을 가지고, 상기 예측 대상 벡터와 상기 시차 벡터의 차분 벡터와 같은 크기와 방향을 가지는 참조 대상 벡터를 산출하는 참조 대상 벡터 설정 단계;
    상기 참조 대상 벡터에 의해 나타나는 참조 화상 상의 정수 또는 소수 화소 위치의 화소값을 상기 예측 대상 벡터에 의해 나타나는 부호화 대상 화상 상의 화 소의 예측값으로 함으로써, 카메라 간의 화상 예측을 하는 카메라간 화상 예측 단계;를 가지는 것을 특징으로 하는 화상 부호화 방법.
  2. 제1항에 있어서,
    상기 참조 화상의 각 화소에 대해, 에피폴라 기하구속에 기초하여 상기 참조 화상으로부터 부호화 대상의 화상을 예측할 때의 대응점을 나타내는 의사거리를 설정하는 의사거리 설정 단계;
    상기 의사거리 설정 단계에서 설정된 의사거리를 부호화하는 의사거리 부호화 단계;를 가지고,
    상기 시차 벡터 설정 단계에서는, 상기 의사거리를 상기 참조 화상의 각 화소에 대해 주어지는 거리로서 이용하는 것을 특징으로 하는 화상 부호화 방법.
  3. 제2항에 있어서,
    상기 의사거리 설정 단계는,
    취할 수 있는 값을 추정하여 정한 추정 의사거리와 카메라의 위치관계에 기초하여 구해지는 부호화 대상 화상 상에서의 대응점을 종점으로 하고, 그 추정 의사거리가 주어지는 참조 화상 중의 화소를 시점으로 하는, 화소공간 상의 추정 시차 벡터를 설정하는 과정;
    상기 추정 시차 벡터의 종점을 정수 화소에 반올림한 추정 예측 대상 벡터를 설정하는 과정;
    상기 추정 시차 벡터와 같은 시점을 가지고, 상기 추정 예측 대상 벡터와 상기 추정 시차 벡터의 차분 벡터와 같은 크기와 방향을 가지는 추정 참조 대상 벡터를 설정하는 과정;
    상기 추정 예측 대상 벡터와 상기 추정 참조 대상 벡터를 이용하여 카메라 간의 화상 예측을 하는 처리를, 완전히 같은 상태의 피사체를 촬영한 각 부호화 대상 화상에 대해 행했을 때의 예측 오차의 합계가 가장 작아지는 경우의 상기 추정 의사거리를 상기 의사거리로서 설정하는 과정;을 가지는 것을 특징으로 하는 화상 부호화 방법.
  4. 제3항에 있어서,
    상기 의사거리 설정 단계에서는, 상기 예측 오차의 합계값과 상기 추정 의사거리를 부호화하는 데에 필요한 부호량에 무게를 부여한 값의 합으로 나타나는 레이트 왜곡 비용이 최소가 되도록 상기 의사거리를 설정하는 것을 특징으로 하는 화상 부호화 방법.
  5. 제2항에 있어서,
    상기 의사거리 부호화 단계에서 부호화된 의사거리의 부호화 데이터를 복호하는 부호화 완료 의사거리 복호 단계를 가지고,
    상기 시차 벡터 설정 단계에서는, 상기 부호화 완료 의사거리 복호 단계에서 복호하여 얻어진 복호 의사거리를 상기 참조 화상의 각 화소에 대해 주어지는 거리 로서 이용하는 것을 특징으로 하는 화상 부호화 방법.
  6. 제2항에 있어서,
    참조 화상에서의 영역 분할을 설정하는 영역 분할 설정 단계를 가지고,
    상기 의사거리 설정 단계에서는, 상기 영역 분할 설정 단계에서 설정된 영역마다 상기 의사거리를 설정하고,
    상기 의사거리 부호화 단계에서는, 상기 영역 분할 설정 단계에서 설정된 영역마다 상기 의사거리를 부호화하는 것을 특징으로 하는 화상 부호화 방법.
  7. 제6항에 있어서,
    상기 영역 분할 설정 단계에서 설정된 영역 분할을 나타내는 정보를 부호화하는 영역 분할 부호화 단계를 더 가지는 것을 특징으로 하는 화상 부호화 방법.
  8. 제6항에 있어서,
    상기 참조 화상이 화상 전체가 영역 분할되고, 각 영역마다 그 영역 분할 정보와 함께 부호화되어 있는 경우에,
    상기 영역 분할 설정 단계에서는, 참조 화상의 부호화 데이터에 포함되는 영역 분할 정보에 따라 같은 영역 분할을 설정하는 것을 특징으로 하는 화상 부호화 방법.
  9. 제7항에 있어서,
    상기 참조 화상이 화상 전체가 영역 분할되고, 각 영역마다 그 영역 분할 정보와 함께 부호화되어 있는 경우에,
    상기 영역 분할 부호화 단계에서는, 참조 화상의 부호화 데이터에 포함되는 영역 분할 정보가 나타내는 영역 분할과의 차이를 나타내는 정보만을 부호화하는 것을 특징으로 하는 화상 부호화 방법.
  10. 제2항에 있어서,
    상기 의사거리 부호화 단계에서는, 이미 부호화 완료한 의사거리 중에서 하나의 참조 의사거리를 선택하고, 그 참조 의사거리를 나타내는 정보와, 상기 의사거리 설정 단계에서 설정된 의사거리와 그 참조 의사거리의 차이를 부호화하는 것을 특징으로 하는 화상 부호화 방법.
  11. 제2항에 있어서,
    상기 의사거리 부호화 단계에서는, 하나의 참조 화상에 대해 설정되는 의사거리군을 화상으로 간주하고, 이들 의사거리의 집합을 소정의 화상 부호화 방법을 이용하여 부호화하는 것을 특징으로 하는 화상 부호화 방법.
  12. 제1항에 있어서,
    상기 예측 대상 벡터 설정 단계에서는, 각 성분이 상기 시차 벡터의 각 성분 에 가장 가까운 부호화 처리 블록 크기의 정수배의 값을 가지는 벡터를 예측 대상 벡터로 하는 것을 특징으로 하는 화상 부호화 방법.
  13. 복수의 카메라로 촬영된 다시점 화상의 부호화 데이터를 복호함에 있어서, 이미 복호 완료한 참조 화상과, 상기 복수의 카메라 중에서 상기 참조 화상을 촬영한 카메라에서 피사체까지의 거리를 이용하여 카메라 간에 화상을 예측하면서 화상을 복호하는 화상 복호 방법으로서,
    상기 참조 화상의 각 화소에 대해 주어지는 상기 거리와, 상기 참조 화상을 촬영한 카메라와 복호 대상 화상을 촬영한 각 카메라의 위치관계에 기초하여, 각 복호 대상 화상 상에서의 대응점을 구하고, 상기 참조 화상의 화소 위치에서 상기 복호 대상 화상 상에서의 대응점으로 향하는 화소공간 상의 시차 벡터를 산출하는 시차 벡터 설정 단계;
    상기 시차 벡터와 같은 시점을 가지고, 상기 시차 벡터의 각 성분의 소수부분의 버림 또는 각 성분의 값에 가장 가까운 정수값의 선택에 의해, 상기 시차 벡터의 각 성분을 정수값으로 반올림한 값을 벡터의 각 성분으로서 가지는 예측 대상 벡터를 산출하는 예측 대상 벡터 설정 단계;
    상기 시차 벡터와 같은 시점을 가지고, 상기 예측 대상 벡터와 상기 시차 벡터의 차분 벡터와 같은 크기와 방향을 가지는 참조 대상 벡터를 산출하는 참조 대상 벡터 설정 단계;
    상기 참조 대상 벡터에 의해 나타나는 참조 화상 상의 정수 또는 소수 화소 위치의 화소값을 상기 예측 대상 벡터에 의해 나타나는 복호 대상 화상 상의 화소의 예측값으로 함으로써, 카메라 간의 화상 예측을 하는 카메라 간 화상 예측 단계;를 가지는 것을 특징으로 하는 화상 복호 방법.
  14. 제13항에 있어서,
    부호화 데이터로부터, 상기 참조 화상으로부터 복호 대상 화상을 예측할 때의 대응점을 에피폴라 기하구속에 기초하여 나타내는 의사거리를 복호하는 의사거리 복호단계를 가지고,
    상기 시차 벡터 설정 단계에서는, 상기 의사거리를 상기 참조 화상의 각 화소에 대해 주어지는 거리로서 이용하는 것을 특징으로 하는 화상 복호 방법.
  15. 제14항에 있어서,
    부호화 데이터로부터 참조 화상에서의 영역 분할을 나타내는 정보를 복호하는 영역 분할 복호 단계를 가지고,
    상기 의사거리 복호 단계에서는, 상기 영역 분할 복호 단계에서 복호된 정보가 나타내는 영역마다 주어진 의사거리를 복호하는 것을 특징으로 하는 화상 복호 방법.
  16. 제15항에 있어서,
    상기 참조 화상이 화상 전체가 영역 분할되고, 각 영역마다 그 영역 분할 정 보와 함께 부호화되어 있는 경우에,
    상기 영역 분할 복호 단계에서는, 참조 화상의 부호화 데이터에 포함되는 영역 분할 정보를 복호하는 것을 특징으로 하는 화상 복호 방법.
  17. 제15항에 있어서,
    상기 참조 화상이 화상 전체가 영역 분할되고, 각 영역마다 그 영역 분할 정보와 함께 부호화되어 있는 경우에,
    상기 영역 분할 복호 단계에서는, 참조 화상의 부호화 데이터에 포함되는 영역 분할 정보가 나타내는 영역 분할과의 차이를 나타내는 정보를 복호하고, 참조 화상의 부호화 데이터에 포함되는 영역 분할 정보와 상기 차이를 나타내는 정보를 이용하여 영역 분할을 설정하는 것을 특징으로 하는 화상 복호 방법.
  18. 제14항에 있어서,
    상기 의사거리 복호 단계에서는, 부호화 데이터로부터 이미 부호화 완료한 복수의 의사거리 중 하나의 참조 의사거리를 나타내는 정보와, 복호 대상의 의사거리와 상기 참조 의사거리의 차이를 나타내는 정보를 복호하여 상기 의사거리를 복호하는 것을 특징으로 하는 화상 복호 방법.
  19. 제14항에 있어서,
    상기 의사거리 복호 단계에서는, 하나의 참조 화상에 대해 주어지는 의사거 리군을 화상으로 간주하고, 부호화 데이터로부터 상기 의사거리군을 소정의 화상 복호 방법을 이용하여 복호하는 것을 특징으로 하는 화상 복호 방법.
  20. 제13항에 있어서,
    상기 예측 대상 벡터 설정 단계에서는, 각 성분이 상기 시차 벡터의 각 성분에 가장 가까운 복호처리 블록 크기의 정수배의 값을 가지는 벡터를 예측 대상 벡터로 하는 것을 특징으로 하는 화상 복호 방법.
  21. 복수의 카메라로 촬영된 다시점 화상을 부호화함에 있어서, 이미 부호화 완료한 참조 화상과, 상기 복수의 카메라 중에서 상기 참조 화상을 촬영한 카메라에서 피사체까지의 거리를 이용하여, 카메라 간에 화상을 예측하면서 부호화를 행하는 화상 부호화 장치로서,
    상기 참조 화상의 각 화소에 대해 주어지는 상기 거리와, 상기 참조 화상을 촬영한 카메라와 부호화 대상 화상을 촬영한 각 카메라의 위치관계에 기초하여, 상기 참조 화상의 각 화소에 대응하는 각 부호화 대상 화상 상에서의 대응점을 구하고, 상기 참조 화상의 화소 위치에서 상기 부호화 대상 화상 상에서의 대응점으로 향하는 화소공간 상의 시차 벡터를 산출하는 시차 벡터 설정 수단;
    상기 시차 벡터와 같은 시점을 가지고, 상기 시차 벡터의 각 성분의 소수부분의 버림 또는 각 성분의 값에 가장 가까운 정수값의 선택에 의해, 상기 시차 벡터의 각 성분을 정수값으로 반올림한 값을 벡터의 각 성분으로서 가지는 예측 대상 벡터를 산출하는 예측 대상 벡터 설정 수단;
    상기 시차 벡터와 같은 시점을 가지고, 상기 예측 대상 벡터와 상기 시차 벡터의 차분 벡터와 같은 크기와 방향을 가지는 참조 대상 벡터를 산출하는 참조 대상 벡터 설정 수단;
    상기 참조 대상 벡터에 의해 나타나는 참조 화상 상의 정수 또는 소수 화소 위치의 화소값을 상기 예측 대상 벡터에 의해 나타나는 부호화 대상 화상 상의 화소의 예측값으로 함으로써, 카메라 간의 화상 예측을 하는 카메라간 화상 예측 수단;을 가지는 것을 특징으로 하는 화상 부호화 장치.
  22. 제21항에 있어서,
    상기 참조 화상의 각 화소에 대해, 에피폴라 기하구속에 기초하여 상기 참조 화상으로부터 부호화 대상의 화상을 예측할 때의 대응점을 나타내는 의사거리를 설정하는 의사거리 설정 수단;
    상기 의사거리 설정 단계에서 설정된 의사거리를 부호화하는 의사거리 부호화 수단;을 가지고,
    상기 시차 벡터 설정 수단은, 상기 의사거리를 상기 참조 화상의 각 화소에 대해 주어지는 거리로서 이용하는 것을 특징으로 하는 화상 부호화 장치.
  23. 삭제
  24. 제2항에 기재된 화상 부호화 방법에서의 각 단계를 컴퓨터에 실행시키기 위한 화상 부호화 프로그램을 기록한 컴퓨터 독출 가능한 기록매체.
  25. 제1항에 기재된 화상 부호화 방법에서의 각 단계를 컴퓨터에 실행시키기 위한 화상 부호화 프로그램을 기록한 컴퓨터 독출 가능한 기록매체.
  26. 복수의 카메라로 촬영된 다시점 화상의 부호화 데이터를 복호함에 있어서, 이미 복호 완료한 참조 화상과, 상기 복수의 카메라 중에서 상기 참조 화상을 촬영한 카메라에서 피사체까지의 거리를 이용하여 카메라 간에 화상을 예측하면서 화상을 복호하는 화상 복호 장치로서,
    상기 참조 화상의 각 화소에 대해 주어지는 상기 거리와, 상기 참조 화상을 촬영한 카메라와 복호 대상 화상을 촬영한 각 카메라의 위치관계에 기초하여, 각 복호 대상 화상 상에서의 대응점을 구하고, 상기 참조 화상의 화소 위치에서 상기 복호 대상 화상 상에서의 대응점으로 향하는 화소공간 상의 시차 벡터를 산출하는 시차 벡터 설정 수단;
    상기 시차 벡터와 같은 시점을 가지고, 상기 시차 벡터의 각 성분의 소수부분의 버림 또는 각 성분의 값에 가장 가까운 정수값의 선택에 의해, 상기 시차 벡터의 각 성분을 정수값으로 반올림한 값을 벡터의 각 성분으로서 가지는 예측 대상 벡터를 산출하는 예측 대상 벡터 설정 수단;
    상기 시차 벡터와 같은 시점을 가지고, 상기 예측 대상 벡터와 상기 시차 벡터의 차분 벡터와 같은 크기와 방향을 가지는 참조 대상 벡터를 산출하는 참조 대상 벡터 설정 수단;
    상기 참조 대상 벡터에 의해 나타나는 참조 화상 상의 정수 또는 소수 화소 위치의 화소값을 상기 예측 대상 벡터에 의해 나타나는 복호 대상 화상 상의 화소의 예측값으로 함으로써, 카메라 간의 화상 예측을 하는 카메라 간 화상 예측 수단;을 가지는 것을 특징으로 하는 화상 복호 장치.
  27. 삭제
  28. 제13항에 기재된 화상 복호 방법에서의 각 단계를 컴퓨터에 실행시키기 위한 화상 복호 프로그램을 기록한 컴퓨터 독출 가능한 기록매체.
KR20097005343A 2006-09-20 2007-09-18 화상 부호화 방법 및 복호 방법, 이들의 장치 및 이들의 프로그램과 프로그램을 기록한 기억매체 KR101023262B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006253845 2006-09-20
JPJP-P-2006-253845 2006-09-20

Publications (2)

Publication Number Publication Date
KR20090053820A KR20090053820A (ko) 2009-05-27
KR101023262B1 true KR101023262B1 (ko) 2011-03-21

Family

ID=39200491

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20097005343A KR101023262B1 (ko) 2006-09-20 2007-09-18 화상 부호화 방법 및 복호 방법, 이들의 장치 및 이들의 프로그램과 프로그램을 기록한 기억매체

Country Status (10)

Country Link
US (2) US8290289B2 (ko)
EP (1) EP2066133A4 (ko)
JP (1) JP4999854B2 (ko)
KR (1) KR101023262B1 (ko)
CN (1) CN101518090B (ko)
BR (1) BRPI0716810A2 (ko)
CA (1) CA2663672C (ko)
RU (1) RU2407220C2 (ko)
TW (1) TWI346509B (ko)
WO (1) WO2008035665A1 (ko)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5219199B2 (ja) * 2008-07-11 2013-06-26 日本電信電話株式会社 多視点画像符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体
JP5024962B2 (ja) * 2008-07-11 2012-09-12 日本電信電話株式会社 多視点距離情報符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体
US9179153B2 (en) 2008-08-20 2015-11-03 Thomson Licensing Refined depth map
BRPI0924045A2 (pt) 2009-01-07 2017-07-11 Thomson Licensing Estimação de profundidade conjunta
US20120224027A1 (en) * 2009-08-20 2012-09-06 Yousuke Takada Stereo image encoding method, stereo image encoding device, and stereo image encoding program
JP2011082683A (ja) * 2009-10-05 2011-04-21 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
CN102576154A (zh) 2009-10-30 2012-07-11 惠普发展公司，有限责任合伙企业 立体显示系统
KR101594048B1 (ko) * 2009-11-09 2016-02-15 삼성전자주식회사 카메라들의 협력을 이용하여 3차원 이미지를 생성하는 방법 및 상기 방법을 위한 장치
US20120320153A1 (en) * 2010-02-25 2012-12-20 Jesus Barcons-Palau Disparity estimation for stereoscopic subtitling
KR101628383B1 (ko) * 2010-02-26 2016-06-21 연세대학교 산학협력단 영상 처리 장치 및 방법
JP5281623B2 (ja) * 2010-09-29 2013-09-04 日本電信電話株式会社 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置およびそれらのプログラム
JP5248583B2 (ja) 2010-12-13 2013-07-31 株式会社東芝 動画像復号装置及び動画像復号方法
JP5092011B2 (ja) 2010-12-17 2012-12-05 株式会社東芝 動画像復号装置及び動画像復号方法
RU2480941C2 (ru) * 2011-01-20 2013-04-27 Корпорация "Самсунг Электроникс Ко., Лтд" Способ адаптивного предсказания кадра для кодирования многоракурсной видеопоследовательности
JP5357199B2 (ja) * 2011-03-14 2013-12-04 日本電信電話株式会社 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム
US9615079B2 (en) * 2011-03-18 2017-04-04 Sony Corporation Image processing apparatus and image processing method
US9648334B2 (en) 2011-03-21 2017-05-09 Qualcomm Incorporated Bi-predictive merge mode based on uni-predictive neighbors in video coding
BR122015001002B1 (pt) * 2011-06-30 2022-07-26 Sony Corporation Dispositivo e método de processamento de imagem
JP5749595B2 (ja) * 2011-07-27 2015-07-15 日本電信電話株式会社 画像伝送方法、画像伝送装置、画像受信装置及び画像受信プログラム
JP2013110643A (ja) * 2011-11-22 2013-06-06 Sharp Corp 画像符号化方法、画像符号化装置、画像復号方法、画像復号装置およびそれらのプログラム
BR122020008353B1 (pt) * 2011-12-28 2022-05-10 JVC Kenwood Corporation Dispositivo de codificação de foto em movimento e método de codificação de foto em movimento
JP2013258577A (ja) * 2012-06-13 2013-12-26 Canon Inc 撮像装置、撮像方法及びプログラム、画像符号化装置、画像符号化方法及びプログラム
JP5531282B2 (ja) * 2012-06-18 2014-06-25 日本電信電話株式会社 多視点画像符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体
US9667942B2 (en) * 2012-11-20 2017-05-30 Qualcomm Incorporated Adaptive luminance compensation in three dimensional video coding
US9350970B2 (en) 2012-12-14 2016-05-24 Qualcomm Incorporated Disparity vector derivation
CN107318027B (zh) 2012-12-27 2020-08-28 日本电信电话株式会社 图像编码/解码方法、图像编码/解码装置、以及图像编码/解码程序
JP6053200B2 (ja) * 2012-12-27 2016-12-27 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
CN103118256B (zh) * 2013-01-29 2017-02-15 北京大学深圳研究生院 基于方向和距离判别的运动矢量预测方法
US10027947B2 (en) * 2013-06-05 2018-07-17 Sony Corporation Image processing apparatus and image processing method
EP3142366A1 (en) 2015-09-14 2017-03-15 Thomson Licensing Method and apparatus for encoding and decoding a light field based image, and corresponding computer program product
US9716875B2 (en) 2015-09-18 2017-07-25 Intel Corporation Facilitating quantization and compression of three-dimensional graphics data using screen space metrics at computing devices
EP3171598A1 (en) * 2015-11-19 2017-05-24 Thomson Licensing Methods and devices for encoding and decoding a matrix of views obtained from light-field data, corresponding computer program and non-transitory program storage device
EP3383035A1 (en) * 2017-03-29 2018-10-03 Koninklijke Philips N.V. Image generation from video
JP7168848B2 (ja) * 2018-11-21 2022-11-10 日本電信電話株式会社 評価装置、評価方法、及びプログラム。
US10638130B1 (en) * 2019-04-09 2020-04-28 Google Llc Entropy-inspired directional filtering for image coding

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006073116A1 (ja) 2005-01-07 2006-07-13 Nippon Telegraph And Telephone Corporation 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2030119C1 (ru) 1991-04-19 1995-02-27 Смирнов Александр Иванович Устройство формирования стереотелевизионного изображения подвижного объекта
US5790086A (en) 1995-01-04 1998-08-04 Visualabs Inc. 3-D imaging system
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
JPH09261653A (ja) * 1996-03-18 1997-10-03 Sharp Corp 多視点画像符号化装置
JP3693407B2 (ja) * 1996-04-04 2005-09-07 シャープ株式会社 多視点画像符号化装置および復号装置
FR2756399B1 (fr) 1996-11-28 1999-06-25 Thomson Multimedia Sa Procede et dispositif de compression video pour images de synthese
JP4013286B2 (ja) * 1997-01-22 2007-11-28 松下電器産業株式会社 画像符号化装置と画像復号化装置
JP3519594B2 (ja) * 1998-03-03 2004-04-19 Ｋｄｄｉ株式会社 ステレオ動画像用符号化装置
JP4374625B2 (ja) * 1998-05-08 2009-12-02 ソニー株式会社 画像生成装置及び方法
JP4608136B2 (ja) 2001-06-22 2011-01-05 オリンパス株式会社 動きベクトル及び視差ベクトル検出装置
KR100481732B1 (ko) * 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
CN1204757C (zh) * 2003-04-22 2005-06-01 上海大学 一种立体视频流编码/解码器及其立体视频编解码系统
US7778328B2 (en) 2003-08-07 2010-08-17 Sony Corporation Semantics-based motion estimation for multi-view video coding
JP2006253845A (ja) 2005-03-08 2006-09-21 Ricoh Co Ltd 画像処理システム、画像処理装置、設定変更方法、設定変更プログラム、および該プログラムを記録した記録媒体
KR101276720B1 (ko) * 2005-09-29 2013-06-19 삼성전자주식회사 카메라 파라미터를 이용하여 시차 벡터를 예측하는 방법,그 방법을 이용하여 다시점 영상을 부호화 및 복호화하는장치 및 이를 수행하기 위한 프로그램이 기록된 기록 매체
CN100463527C (zh) * 2005-10-18 2009-02-18 宁波大学 一种多视点视频图像视差估计的方法
US7903737B2 (en) * 2005-11-30 2011-03-08 Mitsubishi Electric Research Laboratories, Inc. Method and system for randomly accessing multiview videos with known prediction dependency
CA2845591C (en) * 2006-01-05 2015-12-08 Nippon Telegraph And Telephone Corporation Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
TW200806040A (en) * 2006-01-05 2008-01-16 Nippon Telegraph & Telephone Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
BRPI0714233A2 (pt) * 2006-07-18 2013-01-15 Thomson Licensing mÉtodos e aparelho para filtragem de referÊncia adaptativa

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006073116A1 (ja) 2005-01-07 2006-07-13 Nippon Telegraph And Telephone Corporation 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体

Also Published As

Publication number Publication date
US8290289B2 (en) 2012-10-16
RU2407220C2 (ru) 2010-12-20
EP2066133A4 (en) 2015-11-18
CN101518090A (zh) 2009-08-26
US20100021072A1 (en) 2010-01-28
RU2009109204A (ru) 2010-09-20
EP2066133A1 (en) 2009-06-03
TW200822762A (en) 2008-05-16
KR20090053820A (ko) 2009-05-27
TWI346509B (en) 2011-08-01
CA2663672A1 (en) 2008-03-27
JPWO2008035665A1 (ja) 2010-01-28
BRPI0716810A2 (pt) 2013-11-05
US20130058584A1 (en) 2013-03-07
CA2663672C (en) 2014-08-12
JP4999854B2 (ja) 2012-08-15
WO2008035665A1 (fr) 2008-03-27
CN101518090B (zh) 2011-11-16

Similar Documents

Publication Publication Date Title
KR101023262B1 (ko) 화상 부호화 방법 및 복호 방법, 이들의 장치 및 이들의 프로그램과 프로그램을 기록한 기억매체
US8385628B2 (en) Image encoding and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
US10200715B2 (en) Methods and devices for encoding and decoding video pictures
JP5277257B2 (ja) 動画像復号化方法および動画像符号化方法
KR101023263B1 (ko) 예측 참조 정보 생성방법, 동영상 부호화 및 복호방법, 그들의 장치 및 그들의 프로그램을 기록한 기억매체
KR100968920B1 (ko) 영상 부호화 방법 및 복호 방법, 그들의 장치, 및 그들의프로그램 및 프로그램을 기록한 기억 매체
KR20140048320A (ko) 동영상 부호화 방법 및 복호방법, 그들의 장치 및 그들의 프로그램과 프로그램을 기록한 기억매체
JP6307152B2 (ja) 画像符号化装置及び方法、画像復号装置及び方法、及び、それらのプログラム
WO2014010584A1 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
JP6232075B2 (ja) 映像符号化装置及び方法、映像復号装置及び方法、及び、それらのプログラム
WO2014168121A1 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム
KR101750421B1 (ko) 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 프로그램, 및 동화상 복호 프로그램
JP4944046B2 (ja) 映像符号化方法，復号方法，符号化装置，復号装置，それらのプログラムおよびコンピュータ読み取り可能な記録媒体
JP5706291B2 (ja) 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
US20170019683A1 (en) Video encoding apparatus and method and video decoding apparatus and method
US20230050102A1 (en) Triangulation-Based Adaptive Subsampling of Dense Motion Vector Fields

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140203

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150206

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160205

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170303

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180302

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190304

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20200227

Year of fee payment: 10