KR20150015483A - 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램, 화상 복호 프로그램 및 기록매체 - Google Patents

화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램, 화상 복호 프로그램 및 기록매체 Download PDF

Info

Publication number
KR20150015483A
KR20150015483A KR1020147033287A KR20147033287A KR20150015483A KR 20150015483 A KR20150015483 A KR 20150015483A KR 1020147033287 A KR1020147033287 A KR 1020147033287A KR 20147033287 A KR20147033287 A KR 20147033287A KR 20150015483 A KR20150015483 A KR 20150015483A
Authority
KR
South Korea
Prior art keywords
pixel
image
interpolation
depth information
corresponding point
Prior art date
Application number
KR1020147033287A
Other languages
English (en)
Other versions
KR101641606B1 (ko
Inventor
신야 시미즈
시오리 스기모토
히데아키 기마타
아키라 고지마
Original Assignee
니폰 덴신 덴와 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 니폰 덴신 덴와 가부시끼가이샤 filed Critical 니폰 덴신 덴와 가부시끼가이샤
Publication of KR20150015483A publication Critical patent/KR20150015483A/ko
Application granted granted Critical
Publication of KR101641606B1 publication Critical patent/KR101641606B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

참조 화상에서의 피사체의 3차원 위치를 나타내는 뎁스 정보를 이용하여 부호화(복호) 대상 화상에 대해 시차 보상 예측을 행할 때에 높은 부호화 효율을 달성한다. 부호화 대상 화상의 각 화소에 대해 참조 화상 상의 대응점을 설정한다. 대응점에 의해 나타나는 부호화 대상 화상 상의 정수 화소 위치의 화소에 대한 뎁스 정보인 피사체 뎁스 정보를 설정한다. 대응점에 의해 나타나는 참조 화상 상의 정수 화소 위치 혹은 소수 화소 위치의 주변 정수 화소 위치의 화소에 대한 참조 화상 뎁스 정보와 피사체 뎁스 정보를 이용하여 화소 보간을 위한 탭 길이를 결정한다. 대응점에 의해 나타나는 참조 화상 상의 정수 화소 위치 혹은 소수 화소 위치의 화소값을 탭 길이에 따른 보간 필터를 이용하여 생성한다. 생성한 화소값을 대응점에 의해 나타나는 부호화 대상 화상 상의 정수 화소 위치의 화소의 예측값으로 함으로써, 시점 간의 화상 예측을 행한다.

Description

화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램, 화상 복호 프로그램 및 기록매체{Image encoding method, image decoding method, image encoding device, image decoding device, image encoding program, image decoding program, and recording medium}
본 발명은 다시점 화상을 부호화 및 복호하는 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램, 화상 복호 프로그램 및 기록매체에 관한 것이다.
본원은 2012년 7월 9일에 일본 출원된 특원 2012-154065호에 기초하여 우선권을 주장하고, 그 내용을 여기에 원용한다.
다시점 화상이란 복수의 카메라로 동일한 피사체와 배경을 촬영한 복수의 화상이며, 다시점 동화상(다시점 영상)이란 그의 동화상이다. 이하에서는 하나의 카메라로 촬영된 화상(동화상)을 "2차원 화상(동화상)"이라고 부르고, 동일한 피사체와 배경을 촬영한 2차원 화상(동화상) 군을 "다시점 화상(동화상)"이라고 부른다. 2차원 동화상은 시간 방향에 관해 강한 상관이 있고, 그 상관을 이용함으로써 부호화 효율을 높이고 있다.
한편, 다시점 화상이나 다시점 동화상에서는, 각 카메라가 동기되어 있는 경우, 각 카메라 영상의 같은 시각에 대응하는 프레임(화상)은 완전히 같은 상태의 피사체와 배경을 다른 위치로부터 촬영한 것이므로, 카메라 간에 강한 상관이 있다. 다시점 화상이나 다시점 동화상의 부호화에서는, 이 상관을 이용함으로써 부호화 효율을 높일 수 있다.
여기서, 2차원 동화상의 부호화 기술에 관한 종래기술을 설명한다. 국제 부호화 표준인 H.264, MPEG-2, MPEG-4를 비롯한 종래 대부분의 2차원 동화상 부호화 방식에서는, 움직임 보상, 직교변환, 양자화, 엔트로피 부호화라는 기술을 이용하여 고효율의 부호화를 행한다. 예를 들어, H.264에서는 과거 혹은 미래의 복수 매의 프레임과의 시간 상관을 이용한 부호화가 가능하다.
H.264에서 사용되고 있는 움직임 보상 기술의 상세에 대해서는 예를 들어 특허문헌 1에 기재되어 있다. 그 개요를 설명한다. H.264의 움직임 보상은 부호화 대상 프레임을 다양한 크기의 블록으로 분할하고, 각 블록에서 다른 움직임 벡터와 다른 참조 화상을 가지는 것을 가능하게 하고 있다. 또, 참조 화상에 대해 필터 처리를 행함으로써 1/2 화소 위치나 1/4 화소 위치의 영상을 생성하고, 보다 미세한 1/4 화소 정밀도의 움직임 보상을 가능하게 함으로써, 종래의 국제 부호화 표준 방식보다 고효율의 부호화를 달성하고 있다.
다음에, 종래의 다시점 화상이나 다시점 동화상의 부호화 방식에 대해 설명한다. 다시점 화상의 부호화 방법과 다시점 동화상의 부호화 방법의 차이는, 다시점 동화상에는 카메라 간의 상관에 덧붙여 시간 방향의 상관이 동시에 존재한다는 것이다. 그러나, 카메라 간의 상관을 이용하는 방법은 어느 쪽의 경우에서도 동일한 방법을 이용할 수 있다. 그 때문에, 여기서는 다시점 동화상의 부호화에서 이용되는 방법에 대해 설명한다.
다시점 동화상의 부호화에 대해서는, 카메라 간의 상관을 이용하기 위해 움직임 보상을 같은 시각의 다른 카메라로 촬영된 화상에 적용한 "시차 보상"에 의해 고효율로 다시점 동화상을 부호화하는 방식이 종래부터 존재한다. 여기서, 시차란 다른 위치에 배치된 카메라의 화상 평면상에서 피사체 상의 같은 부분이 존재하는 위치의 차이이다. 도 16은 카메라 간에 생기는 시차의 개념도이다. 도 16에 도시된 개념도에서는, 광축이 평행한 카메라의 화상 평면을 수직으로 내려다 본 것으로 되어 있다. 이와 같이, 다른 카메라의 화상 평면상에서 피사체 상의 같은 부분이 투영되는 위치는 일반적으로 대응점이라고 불린다.
시차 보상은, 이 대응 관계에 기초하여 부호화 대상 프레임의 각 화소값을 참조 프레임으로부터 예측하여 그 예측 잔차와 대응 관계를 나타내는 시차 정보를 부호화한다. 시차는 대상으로 하는 카메라의 화상마다 변화하기 때문에, 부호화 처리 대상 프레임마다 시차 정보를 부호화하는 것이 필요하다. 실제로 H.264의 다시점 부호화 방식에서는, 프레임(보다 정확하게는 시차 보상 예측을 이용하는 블록)마다 시차 정보를 부호화하고 있다.
시차 정보에 의해 얻어지는 대응 관계는, 카메라 파라미터를 이용함으로써 에피폴라(epipolar) 기하 구속에 기초하여 2차원 벡터가 아니라 피사체의 3차원 위치를 나타내는 1차원량으로 나타낼 수 있다. 피사체의 3차원 위치를 나타내는 정보로서는 다양한 표현이 존재하지만, 기준이 되는 카메라에서부터 피사체에 이르기까지의 거리나 카메라의 화상 평면과 평행이 아닌 축 상의 좌표값을 이용하는 경우가 많다. 또, 거리가 아니라 거리의 역수를 이용하는 경우도 있다. 또한, 거리의 역수는 시차에 비례하는 정보가 되기 때문에, 기준이 되는 카메라를 2개 설정하고 이들 카메라로 촬영된 화상 간에서의 시차량으로서 피사체의 3차원 위치를 표현하는 경우도 있다. 어떠한 표현을 이용하였다고 해도 그의 물리적인 의미에 본질적인 차이는 없기 때문에, 이하에서는 표현에 의한 구별을 하지 않고 이들 3차원 위치를 나타내는 정보를 뎁스(depth)라고 표현한다.
도 17은 에피폴라 기하 구속의 개념도이다. 에피폴라 기하 구속에 의하면, 어떤 카메라의 화상 상의 점에 대응하는 다른 카메라의 화상 상의 점은 에피폴라 선이라는 직선상에 구속된다. 이때, 그의 화소에 대한 뎁스가 얻어진 경우, 대응점은 에피폴라 선 상에 특유의 형태로 정해진다. 예를 들어, 도 17에 도시된 바와 같이 카메라 A의 화상에서 m의 위치에 투영된 피사체에 대한 카메라 B의 화상에서의 대응점은 실 공간에서의 피사체 위치가 M'인 경우에는 에피폴라 선 상의 위치 m'에 투영되고, 실 공간에서의 피사체 위치가 M"인 경우에는 에피폴라 선 상의 위치 m"에 투영된다.
도 18은, 하나의 카메라 화상에 대해 뎁스가 주어졌을 때에 복수의 카메라 화상 간에 대응점이 얻어지는 것을 나타내는 도면이다. 뎁스는 피사체의 3차원 위치를 나타내는 정보로서, 그 3차원 위치는 물리적인 피사체 위치에 따라 결정하기 때문에 카메라에 의존하는 정보는 아니다. 그 때문에, 뎁스라는 하나의 정보로 복수의 카메라 화상 상의 대응점을 나타낼 수 있다. 예를 들어, 도 18에 도시된 바와 같이 카메라 A의 시점 위치에서부터 피사체 상의 점에 이르기까지의 거리 D가 뎁스로서 주어진 경우, 뎁스로부터 피사체 상의 점 M이 특정됨으로써 카메라 A의 화상 상의 점 ma에 대한 카메라 B의 화상 상의 대응점 mb, 카메라 C의 화상 상의 대응점 mc를 둘 다 나타낼 수 있다. 이 성질에 의하면, 시차 정보를 참조 화상에 대한 뎁스를 이용하여 나타냄으로써, 그의 참조 화상으로부터 (카메라 간의 위치 관계가 얻어지고 있는) 다른 카메라로 동 시각에 찍힌 모든 프레임에 대한 시차 보상을 실현할 수 있다.
비특허문헌 2에서는, 이 성질을 이용하여 부호화가 필요한 시차 정보의 양을 줄여 고효율의 다시점 동화상 부호화를 달성하고 있다. 움직임 보상 예측이나 시차 보상 예측을 이용할 때에 정수 화소 단위보다 상세한 대응 관계를 이용함으로써 고정밀도의 예측을 행할 수 있는 것이 알려져 있다. 예를 들어, 전술한 바와 같이 H.264에서는 1/4 화소 단위의 대응 관계를 이용함으로써 효율적인 부호화를 실현하고 있다. 그 때문에, 참조 화상의 화소에 대한 뎁스를 부여하는 경우에서도 그 뎁스를 보다 상세하게 부여함으로써 예측 정밀도를 향상시키는 방법이 존재한다.
참조 화상의 화소에 대해 뎁스를 부여하는 경우, 그 뎁스의 정밀도를 올리면 참조 화상 상의 화소가 대응하는 부호화 대상 화상 상의 위치를 보다 상세하게 얻을 수 있는 것뿐으로, 부호화 대상 화상 상의 화소가 대응하는 참조 화상 상의 위치를 보다 상세하게 얻을 수 있는 것은 아니다. 특허문헌 1에서는, 이 문제에 대해 시차의 크기를 유지한 채로 대응 관계를 평행 이동시키고 부호화 대상 화상 상의 화소에 대한 상세한 시차 정보로서 이용함으로써 예측 정밀도를 향상시키고 있다.
특허문헌 1: 국제공개 제08/035665호
비특허문헌 1: ITU-T Recommendation H.264(03/2009), "Advanced video coding for generic audiovisual services", March, 2009. 비특허문헌 2: Shinya SHIMIZU, Masaki KITAHARA, Kazuto KAMIKURA and Yoshiyuki YASHIMA, "Multi-view Video Coding based on 3-D Warping with Depth Map", In Proceedings of Picture Coding Symposium 2006, SS3-6, April, 2006.
확실히 특허문헌 1의 방법에 의하면, 참조 화상의 정수 화소를 기준으로 주어지는 부호화(복호) 대상 화상에 대한 대응점 정보로부터 부호화(복호) 대상 화상의 정수 화소의 위치에 대응하는 참조 화상 상의 소수 화소 정밀도의 위치를 구할 수 있다. 그리고, 정수 화소 위치의 화소값으로부터 보간하여 구한 소수 화소 위치의 화소값을 이용하여 예측 화상을 생성함으로써, 보다 정밀도가 높은 시차 보상 예측을 실현하여 고효율의 다시점 화상(동화상)의 부호화를 실현할 수 있다. 소수 화소 위치에 대한 화소값의 보간은 주변 정수 화소 위치의 화소값의 가중 평균을 구함으로써 행해진다. 그때에 보다 자연스러운 보간을 실현하기 위해서는 공간적인 연속성, 즉 보간 화소와 거리를 고려한 가중 계수(weighting factor)를 이용하는 것이 필요하다. 소수 화소 위치의 화소값을 참조 화상 상에서 구하는 방식에서는, 그 보간에 이용한 화소 및 보간된 화소의 모든 위치 관계가 부호화(복호) 대상 화상 상에서도 동일한 것을 가정하고 있다.
그러나, 실제로는 이들 화소의 위치 관계가 동일한 보장은 없고, 그 가정이 무너지는 경우에는 보간 화소의 품질이 매우 나쁜 문제가 있다. 보간에 이용하는 화소와 보간 대상이 되는 화소의 거리가 멀수록 참조 화상과 부호화(복호) 대상 화상의 사이에서 위치 관계가 변화할 가능성이 높다. 그 때문에, 전술한 문제에 대해 보간 대상이 되는 화소에 인접하는 화소만을 보간에 이용함으로써, 상기 가정이 성립되지 않는 경우의 발생을 억제한다는 대처법을 생각할 수 있다. 그러나, 일반적으로 보간에 이용하는 화소는 많을수록 고성능의 보간을 실현할 수 있기 때문에, 이러한 용이하게 유추 가능한 수법에서는 비록 잘못된 보간이 행해질 가능성은 낮아진다고 해도 그 보간 성능은 현저히 낮다.
또한, 보간에 이용하는 화소에 대한 부호화(복호) 대상 화상 상의 대응점을 전부 구한 후에, 그 대응점과 부호화(복호) 대상 화상 상의 보간 대상의 화소의 위치 관계에 따라 가중치를 결정하는 방법도 있다. 그러나, 보간 화소마다 참조 화상 상의 복수의 화소에 대한 부호화(복호) 대상 화상 상의 대응점을 구할 필요가 있기 때문에 계산 비용이 매우 높은 문제가 발생한다.
본 발명은 이러한 사정을 감안하여 이루어진 것으로, 참조 화상에서의 피사체의 3차원 위치를 나타내는 뎁스 정보를 이용하여 부호화(복호) 대상 화상에 대해 시차 보상 예측을 행할 때에 높은 부호화 효율을 달성할 수 있는 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램, 화상 복호 프로그램 및 기록매체를 제공하는 것을 목적으로 한다.
본 발명은, 복수 시점의 화상인 다시점 화상을 부호화할 때에 부호화 대상 화상의 시점과는 다른 시점에 대한 부호화 완료 참조 화상과, 상기 참조 화상 중의 피사체의 뎁스 정보인 참조 화상 뎁스 정보를 이용하여 시점 간에 화상을 예측하면서 부호화를 행하는 화상 부호화 방법으로서, 상기 부호화 대상 화상의 각 화소에 대해 상기 참조 화상 상의 대응점을 설정하는 대응점 설정 단계와, 상기 대응점에 의해 나타나는 상기 부호화 대상 화상 상의 정수 화소 위치의 화소에 대한 뎁스 정보인 피사체 뎁스 정보를 설정하는 피사체 뎁스 정보 설정 단계와, 상기 대응점에 의해 나타나는 상기 참조 화상 상의 정수 화소 위치 혹은 소수 화소 위치의 주변 정수 화소 위치의 화소에 대한 상기 참조 화상 뎁스 정보와 상기 피사체 뎁스 정보를 이용하여 화소 보간을 위한 탭 길이를 결정하는 보간 탭 길이 결정 단계와, 상기 대응점에 의해 나타나는 상기 참조 화상 상의 상기 정수 화소 위치 혹은 상기 소수 화소 위치의 화소값을 상기 탭 길이에 따른 보간 필터를 이용하여 생성하는 화소 보간 단계와, 상기 화소 보간 단계에 의해 생성한 상기 화소값을 상기 대응점에 의해 나타나는 상기 부호화 대상 화상 상의 상기 정수 화소 위치의 화소의 예측값으로 함으로써, 시점 간의 화상 예측을 행하는 시점 간 화상 예측 단계를 가진다.
본 발명은, 복수 시점의 화상인 다시점 화상을 부호화할 때에 부호화 대상 화상의 시점과는 다른 시점에 대한 부호화 완료 참조 화상과, 상기 참조 화상 중의 피사체의 뎁스 정보인 참조 화상 뎁스 정보를 이용하여 시점 간에 화상을 예측하면서 부호화를 행하는 화상 부호화 방법으로서, 상기 부호화 대상 화상의 각 화소에 대해 상기 참조 화상 상의 대응점을 설정하는 대응점 설정 단계와, 상기 대응점에 의해 나타나는 상기 부호화 대상 화상 상의 정수 화소 위치의 화소에 대한 뎁스 정보인 피사체 뎁스 정보를 설정하는 피사체 뎁스 정보 설정 단계와, 상기 대응점에 의해 나타나는 상기 참조 화상 상의 정수 화소 위치 혹은 소수 화소 위치의 주변 정수 화소 위치의 화소에 대한 상기 참조 화상 뎁스 정보와 상기 피사체 뎁스 정보를 이용하여, 화소 보간에 이용하는 상기 참조 화상의 정수 화소 위치의 화소를 보간 참조 화소로서 설정하는 보간 참조 화소 설정 단계와, 상기 보간 참조 화소의 화소값의 가중합에 의해, 상기 대응점에 의해 나타나는 상기 참조 화상 상의 상기 정수 화소 위치 혹은 상기 소수 화소 위치의 화소값을 생성하는 화소 보간 단계와, 상기 화소 보간 단계에 의해 생성한 상기 화소값을 상기 대응점에 의해 나타나는 상기 부호화 대상 화상 상의 상기 정수 화소 위치의 화소의 예측값으로 함으로써, 시점 간의 화상 예측을 행하는 시점 간 화상 예측 단계를 가진다.
바람직하게는, 본 발명은, 상기 보간 참조 화소마다 상기 보간 참조 화소에 대한 상기 참조 화상 뎁스 정보와 상기 피사체 뎁스 정보의 차이에 기초하여 상기 보간 참조 화소에 대한 보간 계수를 결정하는 보간 계수 결정 단계를 더 가지며, 상기 보간 참조 화소 설정 단계는, 상기 대응점에 의해 나타나는 상기 참조 화상 상의 상기 정수 화소 위치 혹은 상기 소수 화소 위치의 상기 주변 정수 화소 위치의 화소를 상기 보간 참조 화소로서 설정하고, 상기 화소 보간 단계는 상기 보간 계수에 기초한 상기 보간 참조 화소의 화소값의 가중합을 구함으로써, 상기 대응점에 의해 나타나는 상기 참조 화상 상의 상기 정수 화소 위치 혹은 상기 소수 화소 위치의 화소값을 생성한다.
바람직하게는, 본 발명은, 상기 대응점에 의해 나타나는 상기 참조 화상 상의 상기 정수 화소 위치 혹은 상기 소수 화소 위치의 상기 주변 정수 화소 위치의 화소에 대한 상기 참조 화상 뎁스 정보와 상기 피사체 뎁스 정보를 이용하여, 화소 보간을 위한 탭 길이를 결정하는 보간 탭 길이 결정 단계를 더 가지며, 상기 보간 참조 화소 설정 단계는 상기 탭 길이의 범위 내에 존재하는 화소를 상기 보간 참조 화소로서 설정한다.
바람직하게는, 본 발명에 있어서, 상기 보간 계수 결정 단계는, 상기 보간 참조 화소의 하나에 대한 상기 참조 화상 뎁스 정보와 상기 피사체 뎁스 정보의 차이의 크기가 미리 정해진 문턱값보다 큰 경우에는, 상기 보간 계수를 제로로 하여 상기 보간 참조 화소의 하나를 상기 보간 참조 화소로부터 제외하고, 상기 차이의 크기가 상기 문턱값 이내인 경우에는 상기 차이에 기초하여 상기 보간 계수를 결정한다.
바람직하게는, 본 발명에 있어서, 상기 보간 계수 결정 단계는, 상기 보간 참조 화소의 하나에 대한 상기 참조 화상 뎁스 정보와 상기 피사체 뎁스 정보의 차이와, 상기 보간 참조 화소의 하나와 상기 대응점에 의해 나타나는 상기 참조 화상 상의 정수 화소 혹은 소수 화소의 거리에 기초하여 상기 보간 계수를 결정한다.
바람직하게는, 본 발명에 있어서, 상기 보간 계수 결정 단계는, 상기 보간 참조 화소의 하나에 대한 상기 참조 화상 뎁스 정보와 상기 피사체 뎁스 정보의 차이의 크기가 미리 정해진 문턱값보다 큰 경우에는, 상기 보간 계수를 제로로 하여 상기 보간 참조 화소의 하나를 상기 보간 참조 화소로부터 제외하고, 상기 차이의 크기가 상기 문턱값 이내인 경우에는 상기 차이와 상기 보간 참조 화소의 하나와 상기 대응점에 의해 나타나는 상기 참조 화상 상의 정수 화소 혹은 소수 화소의 거리에 기초하여 상기 보간 계수를 결정한다.
본 발명은, 다시점 화상의 복호 대상 화상을 복호할 때에 복호 완료 참조 화상과, 상기 참조 화상 중의 피사체의 뎁스 정보인 참조 화상 뎁스 정보를 이용하여 시점 간에 화상을 예측하면서 복호를 행하는 화상 복호 방법으로서, 상기 복호 대상 화상의 각 화소에 대해 상기 참조 화상 상의 대응점을 설정하는 대응점 설정 단계와, 상기 대응점에 의해 나타나는 상기 복호 대상 화상 상의 정수 화소 위치의 화소에 대한 뎁스 정보인 피사체 뎁스 정보를 설정하는 피사체 뎁스 정보 설정 단계와, 상기 대응점에 의해 나타나는 상기 참조 화상 상의 정수 화소 위치 혹은 소수 화소 위치의 주변 정수 화소 위치의 화소에 대한 상기 참조 화상 뎁스 정보와 상기 피사체 뎁스 정보를 이용하여 화소 보간을 위한 탭 길이를 결정하는 보간 탭 길이 결정 단계와, 상기 대응점에 의해 나타나는 상기 참조 화상 상의 상기 정수 화소 위치 혹은 상기 소수 화소 위치의 화소값을 상기 탭 길이에 따른 보간 필터를 이용하여 생성하는 화소 보간 단계와, 상기 화소 보간 단계에 의해 생성한 상기 화소값을 상기 대응점에 의해 나타나는 상기 복호 대상 화상 상의 상기 정수 화소 위치의 화소의 예측값으로 함으로써, 시점 간의 화상 예측을 행하는 시점 간 화상 예측 단계를 가진다.
본 발명은, 다시점 화상의 복호 대상 화상을 복호할 때에 복호 완료 참조 화상과, 상기 참조 화상 중의 피사체의 뎁스 정보인 참조 화상 뎁스 정보를 이용하여 시점 간에 화상을 예측하면서 복호를 행하는 화상 복호 방법으로서, 상기 복호 대상 화상의 각 화소에 대해 상기 참조 화상 상의 대응점을 설정하는 대응점 설정 단계와, 상기 대응점에 의해 나타나는 상기 복호 대상 화상 상의 정수 화소 위치의 화소에 대한 뎁스 정보인 피사체 뎁스 정보를 설정하는 피사체 뎁스 정보 설정 단계와, 상기 대응점에 의해 나타나는 상기 참조 화상 상의 정수 화소 위치 혹은 소수 화소 위치의 주변 정수 화소 위치의 화소에 대한 상기 참조 화상 뎁스 정보와 상기 피사체 뎁스 정보를 이용하여, 화소 보간에 이용하는 상기 참조 화상의 정수 화소 위치의 화소를 보간 참조 화소로서 설정하는 보간 참조 화소 설정 단계와, 상기 보간 참조 화소의 화소값의 가중합에 의해, 상기 대응점에 의해 나타나는 상기 참조 화상 상의 상기 정수 화소 위치 혹은 상기 소수 화소 위치의 화소값을 생성하는 화소 보간 단계와, 상기 화소 보간 단계에 의해 생성한 상기 화소값을 상기 대응점에 의해 나타나는 상기 복호 대상 화상 상의 상기 정수 화소 위치의 화소의 예측값으로 함으로써, 시점 간의 화상 예측을 행하는 시점 간 화상 예측 단계를 가진다.
바람직하게는, 본 발명은, 상기 보간 참조 화소마다 상기 보간 참조 화소에 대한 상기 참조 화상 뎁스 정보와 상기 피사체 뎁스 정보의 차이에 기초하여 상기 보간 참조 화소에 대한 보간 계수를 결정하는 보간 계수 결정 단계를 더 가지며, 상기 보간 참조 화소 설정 단계는, 상기 대응점에 의해 나타나는 상기 참조 화상 상의 상기 정수 화소 위치 혹은 상기 소수 화소 위치의 상기 주변 정수 화소 위치의 화소를 상기 보간 참조 화소로서 설정하고, 상기 화소 보간 단계는 상기 보간 계수에 기초한 상기 보간 참조 화소의 화소값의 가중합을 구함으로써, 상기 대응점에 의해 나타나는 상기 참조 화상 상의 상기 정수 화소 위치 혹은 상기 소수 화소 위치의 화소값을 생성한다.
바람직하게는, 본 발명은, 상기 대응점에 의해 나타나는 상기 참조 화상 상의 상기 정수 화소 위치 혹은 상기 소수 화소 위치의 상기 주변 정수 화소 위치의 화소에 대한 상기 참조 화상 뎁스 정보와 상기 피사체 뎁스 정보를 이용하여, 화소 보간을 위한 탭 길이를 결정하는 보간 탭 길이 결정 단계를 더 가지며, 상기 보간 참조 화소 설정 단계는 상기 탭 길이의 범위 내에 존재하는 화소를 상기 보간 참조 화소로서 설정한다.
바람직하게는, 본 발명에 있어서, 상기 보간 계수 결정 단계는, 상기 보간 참조 화소의 하나에 대한 상기 참조 화상 뎁스 정보와 상기 피사체 뎁스 정보의 차이의 크기가 미리 정해진 문턱값보다 큰 경우에는, 상기 보간 계수를 제로로 하여 상기 보간 참조 화소의 하나를 상기 보간 참조 화소로부터 제외하고, 상기 차이의 크기가 상기 문턱값 이내인 경우에는 상기 차이에 기초하여 상기 보간 계수를 결정한다.
바람직하게는, 본 발명에 있어서, 상기 보간 계수 결정 단계는, 상기 보간 참조 화소의 하나에 대한 상기 참조 화상 뎁스 정보와 상기 피사체 뎁스 정보의 차이와, 상기 보간 참조 화소의 하나와 상기 대응점에 의해 나타나는 상기 참조 화상 상의 정수 화소 혹은 소수 화소의 거리에 기초하여 상기 보간 계수를 결정한다.
바람직하게는, 본 발명에 있어서, 상기 보간 계수 결정 단계는, 상기 보간 참조 화소의 하나에 대한 상기 참조 화상 뎁스 정보와 상기 피사체 뎁스 정보의 차이의 크기가 미리 정해진 문턱값보다 큰 경우에는, 상기 보간 계수를 제로로 하여 상기 보간 참조 화소의 하나를 상기 보간 참조 화소로부터 제외하고, 상기 차이의 크기가 상기 문턱값 이내인 경우에는 상기 차이와 상기 보간 참조 화소의 하나와 상기 대응점에 의해 나타나는 상기 참조 화상 상의 정수 화소 혹은 소수 화소의 거리에 기초하여 상기 보간 계수를 결정한다.
본 발명은, 복수 시점의 화상인 다시점 화상을 부호화할 때에 부호화 대상 화상의 시점과는 다른 시점에 대한 부호화 완료 참조 화상과, 상기 참조 화상 중의 피사체의 뎁스 정보인 참조 화상 뎁스 정보를 이용하여 시점 간에 화상을 예측하면서 부호화를 행하는 화상 부호화 장치로서, 상기 부호화 대상 화상의 각 화소에 대해 상기 참조 화상 상의 대응점을 설정하는 대응점 설정부와, 상기 대응점에 의해 나타나는 상기 부호화 대상 화상 상의 정수 화소 위치의 화소에 대한 뎁스 정보인 피사체 뎁스 정보를 설정하는 피사체 뎁스 정보 설정부와, 상기 대응점에 의해 나타나는 상기 참조 화상 상의 정수 화소 위치 혹은 소수 화소 위치의 주변 정수 화소 위치의 화소에 대한 상기 참조 화상 뎁스 정보와 상기 피사체 뎁스 정보를 이용하여, 화소 보간을 위한 탭 길이를 결정하는 보간 탭 길이 결정부와, 상기 대응점에 의해 나타나는 상기 참조 화상 상의 상기 정수 화소 위치 혹은 상기 소수 화소 위치의 화소값을 상기 탭 길이에 따른 보간 필터를 이용하여 생성하는 화소 보간부와, 상기 화소 보간부에 의해 생성한 상기 화소값을 상기 대응점에 의해 나타나는 상기 부호화 대상 화상 상의 상기 정수 화소 위치의 화소의 예측값으로 함으로써, 시점 간의 화상 예측을 행하는 시점 간 화상 예측부를 구비한다.
본 발명은, 복수 시점의 화상인 다시점 화상을 부호화할 때에 부호화 대상 화상의 시점과는 다른 시점에 대한 부호화 완료 참조 화상과, 상기 참조 화상 중의 피사체의 뎁스 정보인 참조 화상 뎁스 정보를 이용하여 시점 간에 화상을 예측하면서 부호화를 행하는 화상 부호화 장치로서, 상기 부호화 대상 화상의 각 화소에 대해 상기 참조 화상 상의 대응점을 설정하는 대응점 설정부와, 상기 대응점에 의해 나타나는 상기 부호화 대상 화상 상의 정수 화소 위치의 화소에 대한 뎁스 정보인 피사체 뎁스 정보를 설정하는 피사체 뎁스 정보 설정부와, 상기 대응점에 의해 나타나는 상기 참조 화상 상의 정수 화소 위치 혹은 소수 화소 위치의 주변 정수 화소 위치의 화소에 대한 상기 참조 화상 뎁스 정보와 상기 피사체 뎁스 정보를 이용하여, 화소 보간에 이용하는 상기 참조 화상의 정수 화소 위치의 화소를 보간 참조 화소로서 설정하는 보간 참조 화소 설정부와, 상기 보간 참조 화소의 화소값의 가중합에 의해, 상기 대응점에 의해 나타나는 상기 참조 화상 상의 상기 정수 화소 위치 혹은 상기 소수 화소 위치의 화소값을 생성하는 화소 보간부와, 상기 화소 보간부에 의해 생성한 상기 화소값을 상기 대응점에 의해 나타나는 상기 부호화 대상 화상 상의 상기 정수 화소 위치의 화소의 예측값으로 함으로써, 시점 간의 화상 예측을 행하는 시점 간 화상 예측부를 구비한다.
본 발명은, 다시점 화상의 복호 대상 화상을 복호할 때에 복호 완료 참조 화상과, 상기 참조 화상 중의 피사체의 뎁스 정보인 참조 화상 뎁스 정보를 이용하여 시점 간에 화상을 예측하면서 복호를 행하는 화상 복호 장치로서, 상기 복호 대상 화상의 각 화소에 대해 상기 참조 화상 상의 대응점을 설정하는 대응점 설정부와, 상기 대응점에 의해 나타나는 상기 복호 대상 화상 상의 정수 화소 위치의 화소에 대한 뎁스 정보인 피사체 뎁스 정보를 설정하는 피사체 뎁스 정보 설정부와, 상기 대응점에 의해 나타나는 상기 참조 화상 상의 정수 화소 위치 혹은 소수 화소 위치의 주변 정수 화소 위치의 화소에 대한 상기 참조 화상 뎁스 정보와 상기 피사체 뎁스 정보를 이용하여, 화소 보간을 위한 탭 길이를 결정하는 보간 탭 길이 결정부와, 상기 대응점에 의해 나타나는 상기 참조 화상 상의 상기 정수 화소 위치 혹은 상기 소수 화소 위치의 화소값을 상기 탭 길이에 따른 보간 필터를 이용하여 생성하는 화소 보간부와, 상기 화소 보간부에 의해 생성한 상기 화소값을 상기 대응점에 의해 나타나는 상기 복호 대상 화상 상의 상기 정수 화소 위치의 화소의 예측값으로 함으로써, 시점 간의 화상 예측을 행하는 시점 간 화상 예측부를 구비한다.
본 발명은, 다시점 화상의 복호 대상 화상을 복호할 때에 복호 완료 참조 화상과, 상기 참조 화상 중의 피사체의 뎁스 정보인 참조 화상 뎁스 정보를 이용하여 시점 간에 화상을 예측하면서 복호를 행하는 화상 복호 장치로서, 상기 복호 대상 화상의 각 화소에 대해 상기 참조 화상 상의 대응점을 설정하는 대응점 설정부와, 상기 대응점에 의해 나타나는 상기 복호 대상 화상 상의 정수 화소 위치의 화소에 대한 뎁스 정보인 피사체 뎁스 정보를 설정하는 피사체 뎁스 정보 설정부와, 상기 대응점에 의해 나타나는 상기 참조 화상 상의 정수 화소 위치 혹은 소수 화소 위치의 주변 정수 화소 위치의 화소에 대한 상기 참조 화상 뎁스 정보와 상기 피사체 뎁스 정보를 이용하여, 화소 보간에 이용하는 상기 참조 화상의 정수 화소 위치의 화소를 보간 참조 화소로서 설정하는 보간 참조 화소 설정부와, 상기 보간 참조 화소의 화소값의 가중합에 의해, 상기 대응점에 의해 나타나는 상기 참조 화상 상의 상기 정수 화소 위치 혹은 상기 소수 화소 위치의 화소값을 생성하는 화소 보간부와, 상기 화소 보간부에 의해 생성한 상기 화소값을 상기 대응점에 의해 나타나는 상기 복호 대상 화상 상의 상기 정수 화소 위치의 화소의 예측값으로 함으로써, 시점 간의 화상 예측을 행하는 시점 간 화상 예측부를 구비한다.
본 발명은, 컴퓨터에 상기 화상 부호화 방법을 실행시키기 위한 화상 부호화 프로그램이다.
본 발명은, 컴퓨터에 상기 화상 복호 방법을 실행시키기 위한 화상 복호 프로그램이다.
본 발명은, 상기 화상 부호화 프로그램을 기록한 컴퓨터 판독 가능한 기록매체이다.
본 발명은, 상기 화상 복호 프로그램을 기록한 컴퓨터 판독 가능한 기록매체이다.
본 발명에 의하면, 3차원 공간상의 거리를 고려하여 화소값을 보간함으로써, 보다 고품질의 예측 화상의 생성을 실현하고 다시점 화상의 고효율의 화상 부호화를 실현할 수 있는 효과를 얻을 수 있다.
도 1은 본 발명의 제1 실시형태에서의 화상 부호화 장치의 구성을 나타내는 도면이다.
도 2는 도 1에 도시된 화상 부호화 장치(100)의 동작을 나타내는 흐름도이다.
도 3은 도 1에 도시된 시차 보상 화상 생성부(110)의 구성을 나타내는 블록도이다.
도 4는 도 1에 도시된 대응점 설정부(109)와 도 3에 도시된 시차 보상 화상 생성부(110)가 행하는 처리(시차 보상 화상 생성 처리: 단계 S103)의 처리 동작을 나타내는 흐름도이다.
도 5는 시차 보상 화상을 생성하는 시차 보상 화상 생성부(110)의 구성의 변형예를 나타내는 도면이다.
도 6은 대응점 설정부(109) 및 도 5에 도시된 시차 보상 화상 생성부(110)에서 행해지는 시차 보상 화상 처리(단계 S103)의 동작을 나타내는 흐름도이다.
도 7은 시차 보상 화상을 생성하는 시차 보상 화상 생성부(110)의 구성의 변형예를 나타내는 도면이다.
도 8은 대응점 설정부(109) 및 도 7에 도시된 시차 보상 화상 생성부(110)에서 행해지는 시차 보상 화상 처리(단계 S103)의 동작을 나타내는 흐름도이다.
도 9는 참조 화상 뎁스 정보만을 이용하는 경우의 화상 부호화 장치(100a)의 구성예를 나타내는 도면이다.
도 10은 도 9에 도시된 화상 부호화 장치(100a)가 행하는 시차 보상 화상 처리의 동작을 나타내는 흐름도이다.
도 11은 본 발명의 제3 실시형태에 의한 화상 복호 장치의 구성예를 나타내는 도면이다.
도 12는 도 11에 도시된 화상 복호 장치(200)의 처리 동작을 나타내는 흐름도이다.
도 13은 참조 화상 뎁스 정보만을 이용하는 경우의 화상 복호 장치(200a)의 구성예를 나타내는 도면이다.
도 14는 화상 부호화 장치를 컴퓨터와 소프트웨어 프로그램에 의해 구성하는 경우의 하드웨어 구성예를 나타내는 도면이다.
도 15는 화상 복호 장치를 컴퓨터와 소프트웨어 프로그램에 의해 구성하는 경우의 하드웨어 구성예를 나타내는 도면이다.
도 16은 카메라 간에 생기는 시차의 개념도이다.
도 17은 에피폴라 기하 구속의 개념도이다.
도 18은 하나의 카메라 화상에 대해 뎁스가 주어졌을 때에 복수의 카메라 화상 간에 대응점이 얻어지는 것을 나타내는 도면이다.
이하, 도면을 참조하여 본 발명의 실시형태에 의한 화상 부호화 장치 및 화상 복호 장치를 설명한다. 이하의 설명에서는, 제1 카메라(카메라 A라고 함), 제2 카메라(카메라 B라고 함)의 2개의 카메라로 촬영된 다시점 화상을 부호화하는 경우를 상정하고, 카메라 A의 화상을 참조 화상으로 하여 카메라 B의 화상을 부호화 또는 복호하는 것으로서 설명한다. 또, 뎁스 정보로부터 시차를 얻기 위해 필요한 정보는 별도로 주어져 있는 것으로 한다. 구체적으로 이 정보는 카메라 A와 카메라 B의 위치 관계를 나타내는 외부 파라미터나 카메라에 의한 화상 평면에의 투영 정보를 나타내는 내부 파라미터이지만, 이들 이외의 형태이어도 뎁스 정보로부터 시차가 얻어지는 것이면 다른 정보가 주어져 있어도 된다. 이들 카메라 파라미터에 관한 자세한 설명은 예를 들어 문헌「Olivier Faugeras, "Three-Dimensional Computer Vision", pp. 33-66, MIT Press; BCTC/UFF-006.37 F259 1993, ISBN:0-262-06158-9.」에 기재되어 있다. 이것에는 복수의 카메라의 위치 관계를 나타내는 파라미터나 카메라에 의한 화상 평면에의 투영 정보를 나타내는 파라미터에 관한 설명이 기재되어 있다.
<제1 실시형태>
도 1은 제1 실시형태에서의 화상 부호화 장치의 구성을 나타내는 블록도이다. 화상 부호화 장치(100)는, 도 1에 도시된 바와 같이 부호화 대상 화상 입력부(101), 부호화 대상 화상 메모리(102), 참조 화상 입력부(103), 참조 화상 메모리(104), 참조 화상 뎁스 정보 입력부(105), 참조 화상 뎁스 정보 메모리(106), 처리 대상 화상 뎁스 정보 입력부(107), 처리 대상 화상 뎁스 정보 메모리(108), 대응점 설정부(109), 시차 보상 화상 생성부(110) 및 화상 부호화부(111)를 구비하고 있다.
부호화 대상 화상 입력부(101)는, 부호화 대상이 되는 화상을 입력한다. 이하에서는, 이 부호화 대상이 되는 화상을 부호화 대상 화상이라고 부른다. 여기서는 카메라 B의 화상이 입력된다. 부호화 대상 화상 메모리(102)는, 입력된 부호화 대상 화상을 기억한다. 참조 화상 입력부(103)는, 시차 보상 화상을 생성할 때에 참조 화상이 되는 화상을 입력한다. 여기서는 카메라 A의 화상이 입력된다. 참조 화상 메모리(104)는, 입력된 참조 화상을 기억한다.
참조 화상 뎁스 정보 입력부(105)는, 참조 화상에 대한 뎁스 정보를 입력한다. 이하에서는, 이 참조 화상에 대한 뎁스 정보를 참조 화상 뎁스 정보라고 부른다. 참조 화상 뎁스 정보 메모리(106)는, 입력된 참조 화상 뎁스 정보를 기억한다. 처리 대상 화상 뎁스 정보 입력부(107)는, 부호화 대상 화상에 대한 뎁스 정보를 입력한다. 이하에서는, 이 부호화 대상 화상에 대한 뎁스 정보를 처리 대상 화상 뎁스 정보라고 부른다. 처리 대상 화상 뎁스 정보 메모리(108)는, 입력된 처리 대상 화상 뎁스 정보를 기억한다.
또, 뎁스 정보란 참조 화상의 각 화소에 찍힌 피사체의 3차원 위치를 나타내는 것이다. 또한, 뎁스 정보는 별도로 주어지는 카메라 파라미터 등의 정보에 의해 3차원 위치가 얻어지는 것이면 어떠한 정보라도 좋다. 예를 들어, 카메라에서부터 피사체에 이르기까지의 거리나 화상 평면과는 평행하지 않은 축에 대한 좌표값, 다른 카메라(예를 들어 카메라 B)에 대한 시차량을 이용할 수 있다.
대응점 설정부(109)는, 처리 대상 화상 뎁스 정보를 이용하여 부호화 대상 화상의 화소마다 참조 화상 상의 대응점을 설정한다. 시차 보상 화상 생성부(110)는, 참조 화상과 대응점의 정보를 이용하여 시차 보상 화상을 생성한다. 화상 부호화부(111)는, 시차 보상 화상을 예측 화상으로 하여 부호화 대상 화상을 예측 부호화한다.
다음에, 도 2를 참조하여 도 1에 도시된 화상 부호화 장치(100)의 동작을 설명한다. 도 2는, 도 1에 도시된 화상 부호화 장치(100)의 동작을 나타내는 흐름도이다. 우선, 부호화 대상 화상 입력부(101)는 부호화 대상 화상을 입력하고 부호화 대상 화상 메모리(102)에 기억한다(단계 S101). 다음에, 참조 화상 입력부(103)는 참조 화상을 입력하고 참조 화상 메모리(104)에 기억한다. 이와 병행하여 참조 화상 뎁스 정보 입력부(105)는 참조 화상 뎁스 정보를 입력하고, 참조 화상 뎁스 정보 메모리(106)에 기억한다. 또한, 처리 대상 화상 뎁스 정보 입력부(107)는 처리 대상 화상 뎁스 정보를 입력하고, 처리 대상 화상 뎁스 정보 메모리(108)에 기억한다(단계 S102).
또, 단계 S102에서 입력되는 참조 화상, 참조 화상 뎁스 정보, 처리 대상 화상 뎁스 정보는 이미 부호화 완료한 것을 복호한 것 등 복호 측에서 얻어지는 것과 동일한 것으로 한다. 이는 복호 장치에서 얻어지는 것과 완전히 동일한 정보를 이용함으로써, 드리프트(drift) 등의 부호화 잡음 발생을 억제하기 위해서이다. 단, 이러한 부호화 잡음의 발생을 허용하는 경우에는, 부호화 전의 것 등 부호화 측에서만 얻어지는 것이 입력되어도 된다. 뎁스 정보에 관해서는, 이미 부호화 완료한 것을 복호한 것 이외에 다른 카메라에 대해 복호된 뎁스 정보로부터 생성된 뎁스 정보나, 복수의 카메라에 대해 복호된 다시점 화상에 대해 스테레오 매칭 등을 적용함으로써 추정한 뎁스 정보 등도 복호 측에서 동일한 것이 얻어지는 것으로서 이용할 수 있다.
다음에, 입력이 종료되었다면, 대응점 설정부(109)는 참조 화상과 참조 화상 뎁스 정보, 처리 대상 화상 뎁스 정보를 이용하여 부호화 대상 화상의 화소 또는 미리 정해진 블록마다 참조 화상 상의 대응점 또는 대응 블록을 생성한다. 이와 병행하여 시차 보상 화상 생성부(110)는 시차 보상 화상을 생성한다(단계 S103). 여기서의 처리의 상세에 대해서는 후술한다.
시차 보상 화상이 얻어졌다면, 화상 부호화부(111)는 시차 보상 화상을 예측 화상으로 하여 부호화 대상 화상을 예측 부호화하여 출력한다(단계 S104). 부호화 결과 얻어지는 비트 스트림이 화상 부호화 장치(100)의 출력이 된다. 또, 복호 측에서 올바르게 복호 가능하다면, 부호화에는 어떠한 방법을 이용해도 된다.
MPEG-2나 H.264, JPEG 등의 일반적인 동화상 부호화 또는 화상 부호화에서는, 화상을 미리 정해진 크기의 블록으로 분할하여 블록마다 부호화 대상 화상과 예측 화상의 차분 신호를 생성하고, 차분 화상에 대해 DCT(Discrete Cosine Transform) 등의 주파수 변환을 실시하고, 그 결과 얻어진 값에 대해 양자화, 2치화(binarization), 엔트로피 부호화의 처리를 순서대로 적용함으로써 부호화를 행한다. 또, 예측 부호화 처리를 블록마다 행하는 경우, 시차 보상 화상의 생성 처리(단계 S103)와 부호화 대상 화상의 부호화 처리(단계 S104)를 블록 후에 교대로 반복함으로써 부호화 대상 화상을 부호화해도 된다.
다음에, 도 3을 참조하여, 도 1에 도시된 시차 보상 화상 생성부(110)의 구성을 설명한다. 도 3은, 도 1에 도시된 시차 보상 화상 생성부(110)의 구성을 나타내는 블록도이다. 시차 보상 화상 생성부(110)는, 보간 참조 화소 설정부(1101)와 화소 보간부(1102)를 구비하고 있다. 보간 참조 화소 설정부(1101)는, 대응점 설정부(109)에서 설정된 대응점의 화소값을 보간하기 위해 이용하는 참조 화상의 화소인 곳의 보간 참조 화소의 집합을 결정한다. 화소 보간부(1102)는, 설정된 보간 참조 화소에 대한 참조 화상의 화소값을 이용하여 대응점 위치의 화소값을 보간한다.
다음에, 도 4를 참조하여, 도 1에 도시된 대응점 설정부(109)와 도 3에 도시된 시차 보상 화상 생성부(110)의 처리 동작을 설명한다. 도 4는, 도 1에 도시된 대응점 설정부(109)와 도 3에 도시된 시차 보상 화상 생성부(110)가 행하는 처리(시차 보상 화상 생성 처리: 단계 S103)의 처리 동작을 나타내는 흐름도이다. 이 처리에서는, 부호화 대상 화상 전체에 대해 화소마다 처리를 반복함으로써 시차 보상 화상을 생성한다. 즉, 화소 인덱스를 pix, 화상 중의 총 화소 수를 numPixs라고 하면, pix를 0으로 초기화한 후(단계 S201), pix에 1씩 가산하면서(단계 S205) pix가 numPixs가 될 때까지(단계 S206) 이하의 처리(단계 S202∼단계 S205)를 반복함으로써 시차 보상 화상을 생성한다.
여기서, 화소 대신에 미리 정해진 크기의 영역마다 처리를 반복해도 되고, 부호화 대상 화상 전체 대신에 미리 정해진 크기의 영역에 대해 시차 보상 화상을 생성해도 된다. 또한, 양자를 조합하여 미리 정해진 크기의 영역마다 처리를 반복하여 동일하거나 다른 미리 정해진 크기의 영역에 대해 시차 보상 화상을 생성해도 된다. 도 4에 도시된 처리 흐름에 있어서, 화소를 「처리를 반복하는 블록」으로 치환하고, 부호화 대상 화상을 「시차 보상 화상을 생성하는 대상의 영역」으로 치환함으로써, 이들 처리 흐름에 상당한다. 이 처리를 반복하는 단위를 처리 대상 화상 뎁스 정보가 주어지는 단위에 상당하는 크기에 맞추는 실시나, 시차 보상 화상을 생성하는 대상의 영역을 부호화 대상 화상을 영역 분할하여 예측 부호화를 행할 때의 영역과 맞추는 실시도 적합하다.
화소마다 행해지는 처리에 있어서, 우선, 대응점 설정부(109)는 화소(pix)에 대한 처리 대상 화상 뎁스 정보(dpix)를 이용하여 화소(pix)에 대한 참조 화상 상의 대응점(qpix)을 얻는다(단계 S202). 또, 뎁스 정보로부터 대응점을 계산하는 처리는 주어지는 뎁스 정보의 정의에 맞추어 행해지지만, 그 뎁스 정보가 나타내는 올바른 대응점이 얻어지는 것이면 어떠한 처리를 이용해도 된다. 예를 들어, 뎁스 정보가 카메라에서부터 피사체에 이르기까지의 거리나 카메라 평면과 평행하지 않은 축에 대한 좌표값으로서 주어지는 경우는, 부호화 대상 화상을 촬영한 카메라와 참조 화상을 촬영한 카메라의 카메라 파라미터를 이용하여 화소(pix)에 대한 3차원 점을 복원하고, 그 3차원 점을 참조 화상에 투영함으로써 대응점을 얻을 수 있다.
즉, 뎁스 정보가 카메라에서부터 피사체에 이르기까지의 거리를 나타내고 있는 경우, 다음 수학식 1에 의해 3차원 점(g)의 복원이 행해지고, 수학식 2에 의해 참조 화상에의 투영이 행해져 참조 화상 상에서의 대응점의 좌표(x, y)가 얻어진다. 여기서, (upix, vpix)는 화소(pix)의 부호화 대상 화상 상에서의 좌표값을 나타낸다. Ax, Rx, tx는 카메라 x(x는 c 또는 r)의 내부 파라미터, 회전 행렬, 병진 벡터를 나타낸다. c가 부호화 대상 화상을 촬영한 카메라를 나타내고, r이 참조 화상을 촬영한 카메라를 나타낸다. 또, 회전 행렬과 병진 벡터를 합쳐 카메라의 외부 파라미터라고 부른다. 이들 수학식에서는 카메라의 외부 파라미터가 카메라 좌표계로부터 월드 좌표계(world coordinate)로의 변환을 나타내는 것으로 하고 있지만, 다른 정의가 되어 있는 경우는 그것에 따라 다른 수학식을 이용할 필요가 있다. distance(x, d)는 카메라 x에 대한 뎁스 정보(d)를 카메라 x에서부터 피사체에 이르기까지의 거리로 변환하는 함수로서, 뎁스 정보의 정의와 함께 주어져 있다. 함수 대신에 룩업 테이블(look-up table)을 이용하여 변환이 정의되어 있는 경우도 있다. k는 수학식을 만족시키는 임의의 실수이다.
Figure pct00001
Figure pct00002
또, 뎁스 정보가 카메라 평면과 평행하지 않은 축에 대한 좌표값으로서 주어지는 경우는, 상기 수학식 1에서 distance(c, dpix)가 미정 수가 되지만, g가 어떤 평면상에 존재한다는 제약으로부터 g가 2 변수로 표현되기 때문에, 수학식 1을 이용하여 3차원 점을 복원할 수 있다.
또한, 3차원 점을 통하지 않고 호모그래피(homography)라고 불리는 행렬을 이용하여 대응점을 구해도 된다. 호모그래피는 3차원 공간에 존재하는 평면상의 점에 대해 어떤 화상 상의 좌표값을 다른 화상 상의 좌표값으로 변환하는 3×3 행렬이다. 즉, 뎁스 정보가 카메라에서부터 피사체에 이르기까지의 거리나 카메라 평면과 평행하지 않은 축에 대한 좌표값으로서 주어지는 경우는, 호모그래피는 뎁스 정보의 값마다 다른 행렬이 되고, 다음 수학식 3에서 참조 화상 상에서의 대응점 좌표가 얻어진다. Hc , r, d는 뎁스 정보(d)에 대응하는 3차원 평면상의 점을 카메라 c의 화상 상의 좌표값으로부터 카메라 r의 화상 상의 좌표값으로 변환하는 호모그래피를 나타내고, k'는 수학식을 만족시키는 임의의 실수이다. 또, 호모그래피에 관한 자세한 설명은 예를 들어 「Olivier Faugeras, "Three-Dimensional Computer Vision", pp. 206-211, MIT Press; BCTC/UFF-006.37 F259 1993, ISBN:0-262-06158-9.」에 기재되어 있다.
Figure pct00003
또한, 부호화 대상 화상을 촬영한 카메라와 참조 화상을 촬영한 카메라가 동일하고 동일한 방향으로 배치되어 있는 경우, Ac와 Ar 및 Rc와 Rr이 동일해지기 때문에, 수학식 1과 수학식 2로부터 다음 수학식 4가 얻어진다. k"는 수학식을 만족시키는 임의의 실수이다.
Figure pct00004
수학식 4는, 화상 상의 위치의 차이, 즉 시차가 카메라에서부터 피사체에 이르기까지의 거리의 역수에 비례하는 것을 나타내고 있다. 이로부터, 기준이 되는 뎁스 정보에 대한 시차를 구해 두고, 그 시차를 뎁스 정보에 의해 스케일링함으로써 대응점을 구할 수 있다. 이때, 시차가 화상 상의 위치에 의존하지 않기 때문에, 연산량의 삭감을 목적으로 각 뎁스 정보에 대한 시차의 룩업 테이블을 작성해 두고, 그 테이블을 참조함으로써 시차 및 대응점을 구하는 바와 같은 실시도 적합하다.
화소(pix)에 대한 참조 화상 상의 대응점(qpix)이 얻어지면, 다음에 보간 참조 화소 설정부(1101)는, 참조 화상 뎁스 정보와 화소(pix)에 대한 처리 대상 화상 뎁스 정보(dpix)를 이용하여, 참조 화상 상의 대응점에 대한 화소값을 보간하여 생성하기 위한 보간 참조 화소의 집합(보간 참조 화소 군)을 결정한다(단계 S203). 또, 참조 화상 상의 대응점이 정수 화소 위치인 경우는, 그 대응하는 화소를 보간 참조 화소로서 설정한다.
보간 참조 화소 군은 qpix로부터의 거리, 즉 보간 필터의 탭 길이로서 결정해도 되고, 임의의 화소 집합으로서 결정해도 된다. 또, 보간 참조 화소 군은 qpix에 대해 1차원 방향에 대해 결정해도 되고, 2차원 방향에 대해 결정해도 된다. 예를 들어, qpix가 상하방향으로 정수 위치인 경우에는, qpix에 대해 좌우방향으로 존재하는 화소만을 대상으로 하는 바와 같은 실시도 적합하다.
여기서, 보간 참조 화소 군을 탭 길이로서 결정하는 방법에 대해 설명한다. 우선, 미리 정해진 최소의 탭 길이보다 1 크기만큼 큰 탭 길이를 가탭 길이로서 설정한다. 다음에, 가탭 길이의 보간 필터를 이용하여 참조 화상 상의 점(qpix)의 화소값을 보간할 때에 참조되는 점(qpix) 주변의 화소의 집합을 가보간 참조 화소 군으로서 설정한다. 화소(p)에 대한 참조 화상 뎁스 정보(rdp 및 dpix)의 차이가 미리 정해진 문턱값을 넘는 화소가 가보간 참조 화소 군 중에 별도로 정해진 개수보다 많이 존재하는 경우는, 가탭 길이보다 1만큼 작은 길이를 탭 길이로서 결정한다. 그렇지 않은 경우는, 가탭 길이를 1 크기만큼 크게 하여 가보간 참조 화소 군의 설정 및 평가를 다시 행한다. 또, 탭 길이가 정해질 때까지 가탭 길이를 크게 하여 보간 참조 화소 군의 설정을 반복해도 되고, 탭 길이에 최대값을 설정해 두고 가탭 길이가 그의 최대값보다 커졌을 때에 그의 최대값을 탭 길이로서 결정하도록 해도 된다. 나아가 취할 수 있는 탭 길이는 연속적이어도 되고 이산적이어도 된다. 예를 들어, 취할 수 있는 탭 길이를 1, 2, 4, 6으로 하여 탭 길이 1 이외에서는 보간 참조 화소의 수가 보간 대상의 화소 위치에 대해 대칭이 되는 탭 길이만을 이용하도록 하는 실시도 적합하다.
다음에, 임의의 화소의 집합으로서 보간 참조 화소 군을 설정하는 방법에 대해 설명한다. 우선, 참조 화상 상의 점(qpix) 주변의 미리 정해진 범위 내의 화소의 집합을 가보간 참조 화상 군으로서 설정한다. 다음에, 가보간 참조 화상 군의 화소마다 검사하여 보간 참조 화소로서 채용할 지의 여부를 결정한다. 즉, 검사 대상의 화소를 p라고 하면, 화소(p)에 대한 참조 화상 뎁스 정보(rdp 및 dpix)의 차이가 문턱값보다 큰 경우에는 화소(p)를 보간 참조 화소로부터 제외하고, 차이가 문턱값 이하인 경우에는 화소(p)를 보간 참조 화소로서 채용한다. 문턱값으로는 미리 정해진 값을 이용해도 되고, 가보간 참조 화상 군의 각 화소에 대한 뎁스 정보와 dpix의 차이의 평균값이나 중간값 또는 이들을 기준으로 정한 값을 이용해도 된다. 또한, 화소(p)에 대한 참조 화상 뎁스 정보(rdp 및 dpix)의 차이가 작은 순서로 미리 정해진 수만큼 보간 참조 화소로서 채용하는 방법도 있다. 이들 조건을 조합하여 사용하는 것도 가능하다.
또, 보간 참조 화소 군을 설정할 때에 상기 설명한 2가지 방법을 조합해도 된다. 예를 들어, 탭 길이를 결정한 후에 보간 참조 화소를 좁혀 임의의 화소의 집합을 생성하는 바와 같은 실시나, 보간 참조 화소의 수가 별도로 정해진 수가 될 때까지 탭 길이를 늘리면서 임의의 화소 집합의 형성을 반복하는 바와 같은 실시가 적합하다.
또한, 상술한 바와 같이 뎁스 정보를 비교하는 것 대신에 뎁스 정보를 어떤 공통되는 정보로 변환한 후에 비교해도 된다. 예를 들어, 뎁스 정보(rdp)를 참조 화상을 촬영한 카메라 또는 부호화 대상 화상을 촬영한 카메라에서부터 그의 화소에 대한 피사체에 이르기까지의 거리로 변환한 후에 비교하는 방법이나, 뎁스 정보(rdp)를 카메라 화상에 평행하지 않은 임의의 축에 대한 좌표값이나 임의의 카메라 페어에 대한 시차로 변환하여 비교하는 방법이 적합하다. 또, 뎁스 정보로부터 그의 화소에 대응하는 3차원 점을 얻고, 그 3차원 점 간의 거리를 이용하여 평가를 행하는 방법도 적합하다. 그 경우, dpix에 대응하는 3차원 점은 화소(pix)에 대한 3차원 점으로 하고, 화소(p)에 대한 3차원 점은 뎁스 정보(rdp)를 이용하여 계산할 필요가 있다.
다음에, 보간 참조 화소 군이 결정되면, 화소 보간부(1102)는 화소(pix)에 대한 참조 화상 상의 대응점(qpix)에 대한 화소값을 보간하여 시차 보상 화상의 화소(pix)의 화소값으로 한다(단계 S204). 보간 처리는 보간 참조 화소 군에서의 참조 화상의 화소값을 이용하여 보간 대상 위치(qpix)의 화소값을 결정하는 방법이면, 어떠한 방식을 이용해도 된다. 예를 들어, 각 보간 참조 화소의 화소값의 가중 평균으로서 보간 대상 위치(qpix)의 화소값을 결정하는 방법이 있다. 이 경우, 그 보간 참조 화소와 보간 대상 위치(qpix)의 거리에 기초하여 가중치를 결정해도 된다. 또, 거리가 가까울수록 큰 가중치를 부여해도 되고, Bicubic 법이나 Lanczos 법 등 일정 구간에서의 변화의 매끄러움을 가정하여 생성한 거리에 의존하는 가중치를 이용해도 된다. 또한, 보간 참조 화소를 샘플로 하여 화소값에 대한 모델(함수)을 추정하여 그 모델에 따라 보간 대상 위치(qpix)의 화소값을 결정함으로써 보간을 행해도 된다.
또한, 보간 참조 화소를 탭 길이로서 결정한 경우, 그 탭 길이마다 미리 정의된 보간 필터를 이용하여 보간을 행하는 바와 같은 실시도 적합하다. 예를 들어, 탭 길이가 1일 때는 최근방 보간(0차 보간)을 행하고, 탭 길이가 2일 때는 바이리니어 필터(bilinear filter)를 이용하여 보간하며, 탭 길이가 4일 때는 Bicubic 필터를 이용하여 보간하고, 탭 길이가 6일 때는 Lanczos3 필터나 AVC-6tap 필터를 이용하여 보간하도록 해도 된다.
시차 보상 화상의 생성에 있어서, 고정 탭 길이, 즉 대응점으로부터 일정 거리에 존재하는 참조 화상 상의 화소를 보간 대상 화소로 하고, 각 보간 참조 화소에 대한 필터 계수를 참조 화상 뎁스 정보 및 부호화 대상 화상 뎁스 정보를 이용하여 보간하는 화소마다 설정하도록 하는 방법도 있다. 도 5는, 이 경우의 시차 보상 화상을 생성하는 시차 보상 화상 생성부(110)의 구성의 변형예를 나타내는 도면이다. 도 5에 도시된 시차 보상 화상 생성부(110)는, 필터 계수 설정부(1103)와 화소 보간부(1104)를 구비하고 있다. 필터 계수 설정부(1103)는 대응점 설정부(109)에서 설정된 대응점으로부터 미리 정해진 거리에 존재하는 참조 화상의 각 화소에 대해, 대응점의 화소값을 보간할 때에 이용하는 필터의 계수를 결정한다. 화소 보간부(1104)는, 설정된 필터 계수와 참조 화상을 이용하여 대응점 위치의 화소값을 보간한다.
도 6은, 대응점 설정부(109) 및 도 5에 도시된 시차 보상 화상 생성부(110)에서 행해지는 시차 보상 화상 처리(단계 S103)의 동작을 나타내는 흐름도이다. 도 6에 도시된 처리 동작은 필터 계수를 적용적(適用的)으로 결정하면서 시차 보상 화상을 생성하는 것으로, 부호화 대상 화상 전체에 대해 화소마다 처리를 반복함으로써 시차 보상 화상을 생성하고 있다. 도 6에서, 도 4에 도시된 처리와 동일한 처리에는 동일한 부호를 부여하고 있다. 우선, 화소 인덱스를 pix, 화상 중의 총 화소 수를 numPixs라고 하면, pix를 0으로 초기화한 후(단계 S201), pix에 1씩 가산하면서(단계 S205) pix가 numPixs가 될 때까지(단계 S206) 이하의 처리(단계 S202, 단계 S207, 단계 S208)를 반복함으로써 시차 보상 화상을 생성한다.
전술한 경우와 마찬가지로, 화소 대신에 미리 정해진 크기의 영역마다 처리를 반복해도 되고, 부호화 대상 화상 전체 대신에 미리 정해진 크기의 영역에 대해 시차 보상 화상을 생성해도 된다. 또한, 양자를 조합하여 미리 정해진 크기의 영역마다 처리를 반복하여 동일하거나 다른 미리 정해진 크기의 영역에 대해 시차 보상 화상을 생성해도 된다. 도 6에 도시된 처리 흐름에 있어서, 화소를 「처리를 반복하는 블록」으로 치환하고, 부호화 대상 화상을 「시차 보상 화상을 생성하는 대상의 영역」으로 치환함으로써, 이들 처리 흐름에 상당한다.
화소마다 행해지는 처리에 있어서, 우선, 대응점 설정부(109)는 화소(pix)에 대한 처리 대상 화상 뎁스 정보(dpix)를 이용하여 화소(pix)에 대한 참조 화상 상의 대응점을 얻는다(단계 S202). 여기서의 처리는 전술한 경우와 같다. 화소(pix)에 대한 참조 화상 상의 대응점(qpix)이 얻어지면, 다음에 필터 계수 설정부(1103)는, 참조 화상 뎁스 정보와 화소(pix)에 대한 처리 대상 화상 뎁스 정보(dpix)를 이용하여, 참조 화상 상의 대응점으로부터 미리 정해진 거리의 범위 내에 존재하는 화소인 곳의 보간 참조 화소마다 대응점에 대한 화소값을 보간하여 생성할 때에 이용하는 필터 계수를 결정한다(단계 S207). 또, 참조 화상 상의 대응점이 정수 화소 위치인 경우는, 대응점이 나타내는 정수 화소 위치의 보간 참조 화소에 대한 필터 계수를 1로 하고, 그 밖의 보간 참조 화소에 대한 필터 계수를 0으로 한다.
어떤 보간 참조 화소에 대한 필터 계수는, 그 보간 참조 화소(p)에 대한 참조 뎁스 정보(rdp)를 이용하여 결정한다. 구체적인 결정법에는 여러 가지 방법을 이용할 수 있지만, 복호 측과 동일한 수법을 이용하는 것이 가능하면 어떠한 방법을 이용해도 된다. 예를 들어, rdp와 dpix를 비교하여 그 차이가 클수록 작은 가중치가 되는 필터 계수를 결정해도 된다. rdp와 dpix의 차이에 기초하는 필터 계수의 예로서는, 단순히 차이의 절대값에 비례하는 값을 이용하는 방법이나 다음 수학식 5와 같이 가우스 함수를 이용하여 결정하는 방법이 있다. 여기서, α 및 β는 필터의 강도를 조정하기 위한 파라미터이고, e는 네이피어 수(Napier's constant)이다.
Figure pct00005
또한, rdp와 dpix의 차이뿐만 아니라 p와 qpix의 거리가 넓어질수록 작은 가중치가 되는 필터 계수를 결정하는 바와 같은 실시도 적합하다. 예를 들어, 다음 수학식 6과 같이 가우스 함수를 이용하여 필터 계수를 결정해도 된다. 여기서, γ는 p와 qpix의 거리의 영향 강도를 조정하기 위한 파라미터이다.
Figure pct00006
또, 상술한 바와 같이 뎁스 정보를 직접 비교하는 것이 아니라 뎁스 정보를 어떤 공통되는 정보로 변환한 후에 비교해도 된다. 예를 들어, 뎁스 정보(rdp)를 참조 화상을 촬영한 카메라 또는 부호화 대상 화상을 촬영한 카메라에서부터 그의 화소에 대한 피사체에 이르기까지의 거리로 변환한 후에 비교하는 방법이나, 뎁스 정보(rdp)를 카메라 화상에 평행하지 않은 임의의 축에 대한 좌표값이나 임의의 카메라 페어에 대한 시차로 변환하여 비교하는 방법이 적합하다. 또, 뎁스 정보로부터 그의 화소에 대응하는 3차원 점을 얻고, 그 3차원 점 간의 거리를 이용하여 평가를 행하는 방법도 적합하다. 그 경우, dpix에 대응하는 3차원 점은 화소(pix)에 대한 3차원 점으로 하고, 화소(p)에 대한 3차원 점은 뎁스 정보(rdp)를 이용하여 계산할 필요가 있다.
다음에, 필터 계수가 결정되면, 화소 보간부(1104)는 화소(pix)에 대한 참조 화상 상의 대응점(qpix)에 대한 화소값을 보간하여 화소(pix)에서의 시차 보상 화상의 화소값으로 한다(단계 S208). 여기서의 처리는 다음 수학식 7로 주어진다. 또, S는 보간 참조 화소의 집합, DCPpix는 보간된 화소값, Rp는 화소(p)에 대한 참조 화상의 화소값을 나타낸다.
Figure pct00007
시차 보상 화상의 생성에 있어서, 상기 설명한 2가지 방법을 조합하여 보간 참조 화소의 선택과 그 보간 참조 화소에 대한 필터 계수의 결정 모두를 참조 화상 뎁스 정보 및 부호화 대상 화상 뎁스 정보를 이용하여 보간하는 화소마다 설정하는 방법도 있다. 도 7은, 이 경우의 시차 보상 화상을 생성하는 시차 보상 화상 생성부(110)의 구성의 변형예를 나타내는 도면이다. 도 7에 도시된 시차 보상 화상 생성부(110)는, 보간 참조 화소 설정부(1105)와 필터 계수 설정부(1106)와 화소 보간부(1107)를 구비하고 있다. 보간 참조 화소 설정부(1105)는, 대응점 설정부(109)에서 설정된 대응점의 화소값을 보간하기 위해 이용하는 참조 화상의 화소인 곳의 보간 참조 화소의 집합을 결정한다. 필터 계수 설정부(1106)는, 보간 참조 화소 설정부(1105)에서 설정된 보간 참조 화소에 대해 대응점의 화소값을 보간할 때에 이용하는 필터의 계수를 결정한다. 화소 보간부(1107)는, 설정된 보간 참조 화소와 필터 계수를 이용하여 대응점 위치의 화소값을 보간한다.
도 8은, 대응점 설정부(109) 및 도 7에 도시된 시차 보상 화상 생성부(110)에서 행해지는 시차 보상 화상 처리(단계 S103)의 동작을 나타내는 흐름도이다. 도 8에 도시된 처리 동작에서는, 필터 계수를 적용적으로 결정하면서 시차 보상 화상을 생성하는 것으로, 부호화 대상 화상 전체에 대해 화소마다 처리를 반복함으로써 시차 보상 화상을 생성하고 있다. 도 8에서, 도 4에 도시된 처리와 동일한 처리에는 동일한 부호를 부여하고 있다. 우선, 화소 인덱스를 pix, 화상 중의 총 화소 수를 numPixs라고 하면, pix를 0으로 초기화한 후(단계 S201), pix에 1씩 가산하면서(단계 S205) pix가 numPixs가 될 때까지(단계 S206) 이하의 처리(단계 S202, 단계 S209∼단계 S211)를 반복함으로써 시차 보상 화상을 생성한다.
전술한 경우와 마찬가지로, 화소 대신에 미리 정해진 크기의 영역마다 처리를 반복해도 되고, 부호화 대상 화상 전체 대신에 미리 정해진 크기의 영역에 대해 시차 보상 화상을 생성해도 된다. 또한, 양자를 조합하여 미리 정해진 크기의 영역마다 처리를 반복하여 동일하거나 다른 미리 정해진 크기의 영역에 대해 시차 보상 화상을 생성해도 된다. 도 8에 도시된 처리 흐름에 있어서, 화소를 「처리를 반복하는 블록」으로 치환하고, 부호화 대상 화상을 「시차 보상 화상을 생성하는 대상의 영역」으로 치환함으로써, 이들 처리 흐름에 상당한다.
화소마다 행해지는 처리에 있어서, 우선, 대응점 설정부(109)는 화소(pix)에 대한 처리 대상 화상 뎁스 정보(dpix)를 이용하여 화소(pix)에 대한 참조 화상 상의 대응점을 얻는다(단계 S202). 여기서의 처리는 전술한 경우와 같다. 화소(pix)에 대한 참조 화상 상의 대응점(qpix)이 얻어지면, 다음에 보간 참조 화소 설정부(1105)는, 참조 화상 뎁스 정보와 화소(pix)에 대한 처리 대상 화상 뎁스 정보(dpix)를 이용하여, 참조 화상 상의 대응점에 대한 화소값을 보간하여 생성하기 위한 보간 참조 화소의 집합(보간 참조 화소 군)을 결정한다(단계 S209). 여기서의 처리는 전술한 단계 S203과 같다.
다음에, 보간 참조 화소의 집합이 결정되면, 필터 계수 설정부(1106)는 참조 화상 뎁스 정보와 화소(pix)에 대한 처리 대상 화상 뎁스 정보(dpix)를 이용하여, 결정된 보간 참조 화소마다 대응점에 대한 화소값을 보간하여 생성할 때에 이용하는 필터 계수를 결정한다(단계 S210). 여기서의 처리는 주어진 보간 참조 화소의 집합에 대해 필터 계수를 결정하는 것뿐으로, 전술한 단계 S207과 같다.
다음에, 필터 계수가 결정되면, 화소 보간부(1107)는 화소(pix)에 대한 참조 화상 상의 대응점(qpix)에 대한 화소값을 보간하여 화소(pix)에서의 시차 보상 화상의 화소값으로 한다(단계 S211). 여기서의 처리는 단계 S209에서 결정된 보간 참조 화소의 집합을 이용하는 것뿐으로, 전술한 단계 S208과 같다. 즉, 전술한 수학식 7에서의 보간 참조 화소의 집합(S)으로서 단계 S209에서 결정된 보간 참조 화소의 집합을 이용한다.
<제2 실시형태>
다음에, 본 발명의 제2 실시형태에 대해 설명한다. 전술한 도 1에 도시된 화상 부호화 장치(100)에서는, 처리 대상 화상 뎁스 정보와 참조 화상 뎁스 정보의 2종류의 뎁스 정보를 이용하고 있지만, 참조 화상 뎁스 정보만을 이용하는 것으로 해도 된다. 도 9는, 참조 화상 뎁스 정보만을 이용하는 경우의 화상 부호화 장치(100a)의 구성예를 나타내는 도면이다. 도 9에 도시된 화상 부호화 장치(100a)와 도 1에 도시된 화상 부호화 장치(100)의 차이는, 처리 대상 화상 뎁스 정보 입력부(107)와 처리 대상 화상 뎁스 정보 메모리(108)를 구비하지 않고, 대응점 설정부(109) 대신에 대응점 변환부(112)를 구비하고 있는 점이다. 또, 대응점 변환부(112)는, 참조 화상 뎁스 정보를 이용하여 부호화 대상 화상의 정수 화소에 대한 참조 화상 상의 대응점을 설정한다.
화상 부호화 장치(100a)가 실행하는 처리는, 다음 2가지 점을 제외하고 화상 부호화 장치(100)가 실행하는 처리와 같다. 우선, 첫 번째 차이는, 도 2의 흐름도의 단계 S102에서, 화상 부호화 장치(100)에서는 참조 화상과 참조 화상 뎁스 정보와 처리 대상 화상 뎁스 정보가 입력되지만, 화상 부호화 장치(100a)에서는 참조 화상과 참조 화상 뎁스 정보만이 입력되는 점이다. 두 번째 차이는, 시차 보상 화상 생성 처리(단계 S103)가 대응점 변환부(112) 및 시차 보상 화상 생성부(110)에서 행해지고 그 내용이 다른 점이다.
화상 부호화 장치(100a)에서의 시차 보상 화상의 생성 처리에 대해 상세하게 설명한다. 또, 도 9에 도시된 시차 보상 화상 생성부(110)의 구성은 화상 부호화 장치(100)의 경우와 같고, 상술한 바와 같이 보간 참조 화소의 집합을 설정하도록 해도 되고 필터 계수를 설정하도록 해도 되고 그 둘 다를 설정하도록 해도 된다. 여기서는 보간 참조 화상의 집합을 설정하는 경우에 대해 설명한다. 도 10은, 도 9에 도시된 화상 부호화 장치(100a)가 행하는 시차 보상 화상 처리의 동작을 나타내는 흐름도이다. 도 10에 도시된 처리 동작은, 참조 화상 전체에 대해 화소마다 처리를 반복함으로써 시차 보상 화상을 생성하고 있다. 우선, 화소 인덱스를 refpix, 참조 화상 중의 총 화소 수를 numRefPixs라고 하면, refpix를 0으로 초기화한 후(단계 S301), refpix에 1씩 가산하면서(단계 S306) refpix가 numRefPixs가 될 때까지(단계 S307) 이하의 처리(단계 S302∼단계 S305)를 반복함으로써 시차 보상 화상을 생성한다.
여기서, 화소 대신에 미리 정해진 크기의 영역마다 처리를 반복해도 되고, 참조 화상 전체 대신에 미리 정해진 영역의 참조 화상을 이용한 시차 보상 화상을 생성해도 된다. 또한, 양자를 조합하여 미리 정해진 크기의 영역마다 처리를 반복하여 동일하거나 다른 미리 정해진 영역의 참조 화상을 이용한 시차 보상 화상을 생성해도 된다. 도 10에 도시된 처리 흐름에 있어서, 화소를 「처리를 반복하는 블록」으로 치환하고, 참조 화상을 「시차 보상 화상의 생성에 이용하는 영역」으로 치환함으로써, 이들 처리 흐름에 상당한다. 이 처리를 반복하는 단위를 참조 화상 뎁스 정보가 주어지는 단위에 상당하는 크기에 맞추는 바와 같은 실시나, 시차 보상 화상을 생성하는 대상의 영역을 부호화 대상 화상을 영역 분할하여 예측 부호화를 행할 때의 영역에 대응하는 참조 화상의 영역과 맞추는 바와 같은 실시도 적합하다.
화소마다 행해지는 처리에 있어서, 우선, 대응점 변환부(112)는, 화소(refpix)에 대한 참조 화상 뎁스 정보(rdrefpix)를 이용하여 화소(refpix)에 대한 처리 대상 화상 상의 대응점(qrefpix)을 얻는다(단계 S302). 여기서의 처리는 참조 화상과 처리 대상 화상이 바뀐 것뿐으로, 전술한 단계 S202와 같다. 화소(refpix)에 대한 처리 대상 화상 상의 대응점(qrefpix)이 얻어지면, 그 대응점 관계로부터 처리 대상 화상의 정수 화소(pix)에 대한 참조 화상 상의 대응점(qpix)을 추정한다(단계 S303). 이 방법은 어떠한 방법을 이용해도 되지만, 예를 들어 특허문헌 1에 기재된 방법을 이용해도 된다.
다음에, 처리 대상 화상의 정수 화소(pix)에 대한 참조 화상 상의 대응점(qpix)이 얻어지면, 화소(pix)에 대한 뎁스 정보를 rdrefpix로 하고 참조 화상 뎁스 정보를 이용하여, 참조 화상 상의 대응점에 대한 화소값을 보간하여 생성하기 위한 보간 참조 화소의 집합(보간 참조 화소 군)을 결정한다(단계 S304). 여기서의 처리는 전술한 단계 S203과 같다.
다음에, 보간 참조 화소 군이 결정되면, 화소(pix)에 대한 참조 화상 상의 대응점(qpix)에 대한 화소값을 보간하여 시차 보상 화상의 화소(pix)의 화소값으로 한다(단계 S305). 여기서의 처리는 전술한 단계 S204와 같다.
<제3 실시형태>
다음에, 본 발명의 제3 실시형태에 대해 설명한다. 도 11은, 본 발명의 제3 실시형태에 의한 화상 복호 장치의 구성예를 나타내는 도면이다. 화상 복호 장치(200)는, 도 11에 도시된 바와 같이 부호 데이터 입력부(201), 부호 데이터 메모리(202), 참조 화상 입력부(203), 참조 화상 메모리(204), 참조 화상 뎁스 정보 입력부(205), 참조 화상 뎁스 정보 메모리(206), 처리 대상 화상 뎁스 정보 입력부(207), 처리 대상 화상 뎁스 정보 메모리(208), 대응점 설정부(209), 시차 보상 화상 생성부(210) 및 화상 복호부(211)를 구비하고 있다.
부호 데이터 입력부(201)는, 복호 대상이 되는 화상의 부호 데이터를 입력한다. 이하에서는, 이 복호 대상이 되는 화상을 복호 대상 화상이라고 부른다. 여기서는 복호 대상 화상은 카메라 B의 화상을 가리킨다. 부호 데이터 메모리(202)는, 입력된 부호 데이터를 기억한다. 참조 화상 입력부(203)는, 시차 보상 화상을 생성할 때에 참조 화상이 되는 화상을 입력한다. 여기서는 카메라 A의 화상이 입력된다. 참조 화상 메모리(204)는, 입력된 참조 화상을 기억한다. 참조 화상 뎁스 정보 입력부(205)는, 참조 화상 뎁스 정보를 입력한다. 참조 화상 뎁스 정보 메모리(206)는, 입력된 참조 화상 뎁스 정보를 기억한다. 처리 대상 화상 뎁스 정보 입력부(207)는, 복호 대상 화상에 대한 뎁스 정보를 입력한다. 이하에서는, 이 복호 대상 화상에 대한 뎁스 정보를 처리 대상 화상 뎁스 정보라고 부른다. 처리 대상 화상 뎁스 정보 메모리(208)는, 입력된 처리 대상 화상 뎁스 정보를 기억한다.
대응점 설정부(209)는, 처리 대상 화상 뎁스 정보를 이용하여 복호 대상 화상의 화소마다 참조 화상 상의 대응점을 설정한다. 시차 보상 화상 생성부(210)는, 참조 화상과 대응점의 정보를 이용하여 시차 보상 화상을 생성한다. 화상 복호부(211)는, 시차 보상 화상을 예측 화상으로 하여 부호 데이터로부터 복호 대상 화상을 복호한다.
다음에, 도 12를 참조하여, 도 11에 도시된 화상 복호 장치(200)의 처리 동작을 설명한다. 도 12는, 도 11에 도시된 화상 복호 장치(200)의 처리 동작을 나타내는 흐름도이다. 우선, 부호 데이터 입력부(201)는 부호 데이터(복호 대상 화상)를 입력하고, 부호 데이터 메모리(202)에 기억한다(단계 S401). 이와 병행하여 참조 화상 입력부(203)는 참조 화상을 입력하고, 참조 화상 메모리(204)에 기억한다. 또한, 참조 화상 뎁스 정보 입력부(205)는 참조 화상 뎁스 정보를 입력하고, 참조 화상 뎁스 정보 메모리(206)에 기억한다. 또, 처리 대상 화상 뎁스 정보 입력부(207)는 처리 대상 화상 뎁스 정보를 입력하고, 처리 대상 화상 뎁스 정보 메모리(208)에 기억한다(단계 S402).
또, 단계 S402에서 입력되는 참조 화상, 참조 화상 뎁스 정보, 처리 대상 화상 뎁스 정보는 부호화 측에서 사용된 것과 동일한 것으로 한다. 이는 부호화 장치에서 사용한 것과 완전히 동일한 정보를 이용함으로써, 드리프트 등의 부호화 잡음 발생을 억제하기 위해서이다. 단, 이러한 부호화 잡음 발생을 허용하는 경우에는 부호화시에 사용된 것과 다른 것이 입력되어도 된다. 뎁스 정보에 관해서는, 별도로 복호한 것 이외에 다른 카메라에 대해 복호된 뎁스 정보로부터 생성된 뎁스 정보나, 복수의 카메라에 대해 복호된 다시점 화상에 대해 스테레오 매칭 등을 적용함으로써 추정한 뎁스 정보 등을 이용하는 경우도 있다.
다음에, 입력이 종료되었다면, 대응점 설정부(209)는 참조 화상과 참조 화상 뎁스 정보, 처리 대상 화상 뎁스 정보를 이용하여, 복호 대상 화상의 화소 또는 미리 정해진 블록마다 참조 화상 상의 대응점 또는 대응 블록을 생성한다. 이와 병행하여 시차 보상 화상 생성부(210)는 시차 보상 화상을 생성한다(단계 S403). 여기서의 처리는 부호화 대상 화상과 복호 대상 화상 등 부호화와 복호가 다른 것뿐으로, 도 2에 도시된 단계 S103과 같다.
다음에, 시차 보상 화상이 얻어졌다면, 화상 복호부(211)는 시차 보상 화상을 예측 화상으로 하여 부호 데이터로부터 복호 대상 화상을 복호한다(단계 S404). 복호의 결과로 얻어지는 복호 대상 화상이 화상 복호 장치(200)의 출력이 된다. 또, 부호 데이터(비트 스트림)를 올바르게 복호할 수 있다면, 복호에는 어떠한 방법을 이용해도 된다. 일반적으로 부호화시에 이용된 방법에 대응하는 방법을 이용할 수 있다.
MPEG-2나 H.264, JPEG 등의 일반적인 동화상 부호화 또는 화상 부호화로 부호화되어 있는 경우는, 화상을 미리 정해진 크기의 블록으로 분할하여 블록마다 엔트로피 복호, 역2치화, 역양자화 등을 실시한 후, IDCT(Inverse Discrete Cosine Transform) 등 역주파수 변환을 실시하여 예측 잔차 신호를 얻은 후, 예측 잔차 신호에 대해 예측 화상을 가하여 얻어진 결과를 화소값 범위에서 클리핑(clipping)함으로써 복호를 행한다.
또, 복호 처리를 블록마다 행하는 경우, 시차 보상 화상의 생성 처리(단계 S403)와 복호 대상 화상의 복호 처리(단계 S404)를 블록 후에 교대로 반복함으로써 복호 대상 화상을 복호해도 된다.
<제4 실시형태>
다음에, 본 발명의 제4 실시형태에 대해 설명한다. 도 11에 도시된 화상 복호 장치(200)에서는, 처리 대상 화상 뎁스 정보와 참조 화상 뎁스 정보의 2종류의 뎁스 정보를 이용하고 있지만, 참조 화상 뎁스 정보만을 이용하는 것으로 해도 된다. 도 13은, 참조 화상 뎁스 정보만을 이용하는 경우의 화상 복호 장치(200a)의 구성예를 나타내는 도면이다. 도 13에 도시된 화상 복호 장치(200a)와 도 11에 도시된 화상 복호 장치(200)의 차이는, 처리 대상 화상 뎁스 정보 입력부(207)와 처리 대상 화상 뎁스 정보 메모리(208)를 구비하지 않고, 대응점 설정부(209) 대신에 대응점 변환부(212)를 구비하고 있는 점이다. 또, 대응점 변환부(212)는, 참조 화상 뎁스 정보를 이용하여 복호 대상 화상의 정수 화소에 대한 참조 화상 상의 대응점을 설정한다.
화상 복호 장치(200a)가 실행하는 처리는 다음 2가지 점을 제외하고 화상 복호 장치(200)가 실행하는 처리와 같다. 우선, 첫 번째 차이는, 도 12에 도시된 단계 S402에서, 화상 복호 장치(200)에서는 참조 화상과 참조 화상 뎁스 정보와 처리 대상 화상 뎁스 정보가 입력되지만, 화상 복호 장치(200a)에서는 참조 화상과 참조 화상 뎁스 정보만이 입력되는 점이다. 두 번째 차이는, 시차 보상 화상 생성 처리(단계 S403)가 대응점 변환부(212) 및 시차 보상 화상 생성부(210)에서 행해지고 그 내용이 다른 점이다. 화상 복호 장치(200a)에서의 시차 보상 화상의 생성 처리에 대해서는 도 10을 참조하여 설명한 처리와 같다.
상술한 설명에서는, 1 프레임 중의 모든 화소를 부호화 및 복호하는 처리를 설명하였지만, 일부 화소에만 본 발명의 실시형태의 처리를 적용하고 그 밖의 화소에서는 H.264/AVC 등에서 이용되는 화면 내 예측 부호화나 움직임 보상 예측 부호화 등을 이용하여 부호화를 행해도 된다. 그 경우에는, 화소마다 어떤 방법을 이용하여 부호화하였는지를 나타내는 정보를 부호화 및 복호할 필요가 있다. 또한, 화소마다가 아니라 블록마다 다른 예측 방식을 이용하여 부호화를 행해도 된다.
또한, 상술한 설명에서는, 1 프레임을 부호화 및 복호하는 처리를 설명하였지만, 복수 프레임에 대해 처리를 반복함으로써 동화상 부호화에도 본 발명의 실시형태를 적용할 수 있다. 또한, 동화상의 일부 프레임이나 일부 블록에만 본 발명의 실시형태를 적용할 수도 있다.
상술한 설명에서는 화상 부호화 장치 및 화상 복호 장치를 중심으로 설명하였지만, 이들 화상 부호화 장치 및 화상 복호 장치의 각 부의 동작에 대응한 단계에 의해 본 발명의 화상 부호화 방법 및 화상 복호 방법을 실현할 수 있다.
도 14에, 화상 부호화 장치를 컴퓨터와 소프트웨어 프로그램에 의해 구성하는 경우의 하드웨어 구성예를 나타낸다. 도 14에 도시된 시스템은, 프로그램을 실행하는 CPU(Central Processing Unit)(50)와, CPU(50)가 액세스하는 프로그램이나 데이터가 저장되는 RAM(Random Access Memory) 등의 메모리(51)와, 카메라 등으로부터의 부호화 대상의 화상 신호를 입력하는 부호화 대상 화상 입력부(52)(디스크 장치 등에 의한 화상 신호를 기억하는 기억부로도 됨)와, 뎁스 카메라 등으로부터의 부호화 대상의 화상에 대한 뎁스 정보를 입력하는 부호화 대상 화상 뎁스 정보 입력부(53)(디스크 장치 등에 의한 뎁스 정보를 기억하는 기억부로도 됨)와, 카메라 등으로부터의 참조 대상의 화상 신호를 입력하는 참조 화상 입력부(54)(디스크 장치 등에 의한 화상 신호를 기억하는 기억부로도 됨)와, 뎁스 카메라 등으로부터의 참조 화상에 대한 뎁스 정보를 입력하는 참조 화상 뎁스 정보 입력부(55)(디스크 장치 등에 의한 뎁스 정보를 기억하는 기억부로도 됨)와, 제1 실시형태 또는 제2 실시형태로서 설명한 화상 부호화 처리를 CPU(50)에 실행시키는 소프트웨어 프로그램인 화상 부호화 프로그램(561)이 저장된 프로그램 기억 장치(56)와, CPU(50)가 메모리(51)에 로드된 화상 부호화 프로그램(561)을 실행함으로써 생성된 부호 데이터를 예를 들어 네트워크를 통해 출력하는 비트스트림 출력부(57)(디스크 장치 등에 의한 다중화 부호 데이터를 기억하는 기억부로도 됨)가 버스로 접속된 구성으로 되어 있다.
도 15에, 화상 복호 장치를 컴퓨터와 소프트웨어 프로그램에 의해 구성하는 경우의 하드웨어 구성예를 나타낸다. 도 15에 도시된 시스템은, 프로그램을 실행하는 CPU(60)와, CPU(60)가 액세스하는 프로그램이나 데이터가 저장되는 RAM 등의 메모리(61)와, 화상 부호화 장치가 본 수법에 의해 부호화한 부호 데이터를 입력하는 부호 데이터 입력부(62)(디스크 장치 등에 의한 화상 신호를 기억하는 기억부로도 됨)와, 뎁스 카메라 등으로부터의 복호 대상의 화상에 대한 뎁스 정보를 입력하는 복호 대상 화상 뎁스 정보 입력부(63)(디스크 장치 등에 의한 뎁스 정보를 기억하는 기억부로도 됨)와, 카메라 등으로부터의 참조 대상의 화상 신호를 입력하는 참조 화상 입력부(64)(디스크 장치 등에 의한 화상 신호를 기억하는 기억부로도 됨)와, 뎁스 카메라 등으로부터의 참조 화상에 대한 뎁스 정보를 입력하는 참조 화상 뎁스 정보 입력부(65)(디스크 장치 등에 의한 뎁스 정보를 기억하는 기억부로도 됨)와, 제3 실시형태 또는 제4 실시형태로서 설명한 화상 복호 처리를 CPU(60)에 실행시키는 소프트웨어 프로그램인 화상 복호 프로그램(661)이 저장된 프로그램 기억 장치(66)와, CPU(60)가 메모리(61)에 로드된 화상 복호 프로그램(661)을 실행함으로써, 부호 데이터를 복호하여 얻어진 복호 대상 화상을 재생 장치 등에 출력하는 복호 대상 화상 출력부(67)(디스크 장치 등에 의한 화상 신호를 기억하는 기억부로도 됨)가 버스로 접속된 구성으로 되어 있다.
또한, 도 1, 도 9에 도시된 화상 부호화 장치, 도 11, 도 13에 도시된 화상 복호 장치에서의 각 처리부의 기능을 실현하기 위한 프로그램을 컴퓨터 판독 가능한 기록매체에 기록하고, 이 기록매체에 기록된 프로그램을 컴퓨터 시스템에 읽어들이게 하여 실행함으로써 화상 부호화 처리와 화상 복호 처리를 행해도 된다. 또, 여기서 말하는 「컴퓨터 시스템」이란, OS(Operating System)나 주변기기 등의 하드웨어를 포함하는 것으로 한다. 또한, 「컴퓨터 시스템」은 홈페이지 제공 환경(혹은 표시 환경)을 구비한 WWW(World Wide Web) 시스템도 포함하는 것으로 한다. 또한, 「컴퓨터 판독 가능한 기록매체」란 플렉시블 디스크, 광자기 디스크, ROM(Read Only Memory), CD(Compact Disc) - ROM 등의 포터블 매체, 컴퓨터 시스템에 내장되는 하드 디스크 등의 기억 장치를 말한다. 또, 「컴퓨터 판독 가능한 기록매체」란, 인터넷 등의 네트워크나 전화 회선 등의 통신 회선을 통해 프로그램이 송신된 경우의 서버나 클라이언트가 되는 컴퓨터 시스템 내부의 휘발성 메모리(RAM)와 같이 일정 시간 프로그램을 보유하고 있는 것도 포함하는 것으로 한다.
또한, 상기 프로그램은 이 프로그램을 기억 장치 등에 저장한 컴퓨터 시스템으로부터 전송 매체를 통해 혹은 전송 매체 중의 전송파에 의해 다른 컴퓨터 시스템으로 전송되어도 된다. 여기서, 프로그램을 전송하는 「전송 매체」는, 인터넷 등의 네트워크(통신망)나 전화 회선 등의 통신 회선(통신선)과 같이 정보를 전송하는 기능을 가지는 매체를 말한다. 또한, 상기 프로그램은 전술한 기능의 일부를 실현하기 위한 것이어도 된다. 또, 상기 프로그램은 전술한 기능을 컴퓨터 시스템에 이미 기록되어 있는 프로그램과의 조합으로 실현할 수 있는 것, 이른바 차분 파일(차분 프로그램)이어도 된다.
이상, 도면을 참조하여 본 발명의 실시형태를 설명하였지만, 상기 실시형태는 본 발명의 예시에 불과하며, 본 발명이 상기 실시형태에 한정되는 것이 아님은 명백하다. 따라서, 본 발명의 기술 사상 및 범위를 벗어나지 않는 범위에서 구성요소의 추가, 생략, 치환, 기타 변경을 행해도 된다.
본 발명은, 참조 화상에서의 피사체의 3차원 위치를 나타내는 뎁스 정보를 이용하여 부호화(복호) 대상 화상에 대해 시차 보상 예측을 행할 때에 높은 부호화 효율을 달성하는 것이 불가결한 용도에 적용할 수 있다.
100, 100a…화상 부호화 장치, 101…부호화 대상 화상 입력부, 102…부호화 대상 화상 메모리, 103…참조 화상 입력부, 104…참조 화상 메모리, 105…참조 화상 뎁스 정보 입력부, 106…참조 화상 뎁스 정보 메모리, 107…처리 대상 화상 뎁스 정보 입력부, 108…처리 대상 화상 뎁스 정보 메모리, 109…대응점 설정부, 110…시차 보상 화상 생성부, 111…화상 부호화부, 1103…필터 계수 설정부, 1104…화소 보간부, 1105…보간 참조 화소 설정부, 1106…필터 계수 설정부, 1107…화소 보간부, 112…대응점 변환부, 200, 200a…화상 복호 장치, 201…부호 데이터 입력부, 202…부호 데이터 메모리, 203…참조 화상 입력부, 204…참조 화상 메모리, 205…참조 화상 뎁스 정보 입력부, 206…참조 화상 뎁스 정보 메모리, 207…처리 대상 화상 뎁스 정보 입력부, 208…처리 대상 화상 뎁스 정보 메모리, 209…대응점 설정부, 210…시차 보상 화상 생성부, 211…화상 복호부, 212…대응점 변환부

Claims (22)

  1. 복수 시점의 화상인 다시점 화상을 부호화할 때에, 부호화 대상 화상의 시점과는 다른 시점에 대한 부호화 완료 참조 화상과, 상기 참조 화상 중의 피사체의 뎁스 정보인 참조 화상 뎁스 정보를 이용하여 시점 간에 화상을 예측하면서 부호화를 행하는 화상 부호화 방법으로서,
    상기 부호화 대상 화상의 각 화소에 대해 상기 참조 화상 상의 대응점을 설정하는 대응점 설정 단계;
    상기 대응점에 의해 나타나는 상기 부호화 대상 화상 상의 정수 화소 위치의 화소에 대한 뎁스 정보인 피사체 뎁스 정보를 설정하는 피사체 뎁스 정보 설정 단계;
    상기 대응점에 의해 나타나는 상기 참조 화상 상의 정수 화소 위치 혹은 소수 화소 위치의 주변 정수 화소 위치의 화소에 대한 상기 참조 화상 뎁스 정보와 상기 피사체 뎁스 정보를 이용하여 화소 보간을 위한 탭 길이를 결정하는 보간 탭 길이 결정 단계;
    상기 대응점에 의해 나타나는 상기 참조 화상 상의 상기 정수 화소 위치 혹은 상기 소수 화소 위치의 화소값을 상기 탭 길이에 따른 보간 필터를 이용하여 생성하는 화소 보간 단계;
    상기 화소 보간 단계에 의해 생성한 상기 화소값을 상기 대응점에 의해 나타나는 상기 부호화 대상 화상 상의 상기 정수 화소 위치의 화소의 예측값으로 함으로써, 시점 간의 화상 예측을 행하는 시점 간 화상 예측 단계;를 가지는, 화상 부호화 방법.
  2. 복수 시점의 화상인 다시점 화상을 부호화할 때에, 부호화 대상 화상의 시점과는 다른 시점에 대한 부호화 완료 참조 화상과, 상기 참조 화상 중의 피사체의 뎁스 정보인 참조 화상 뎁스 정보를 이용하여 시점 간에 화상을 예측하면서 부호화를 행하는 화상 부호화 방법으로서,
    상기 부호화 대상 화상의 각 화소에 대해 상기 참조 화상 상의 대응점을 설정하는 대응점 설정 단계;
    상기 대응점에 의해 나타나는 상기 부호화 대상 화상 상의 정수 화소 위치의 화소에 대한 뎁스 정보인 피사체 뎁스 정보를 설정하는 피사체 뎁스 정보 설정 단계;
    상기 대응점에 의해 나타나는 상기 참조 화상 상의 정수 화소 위치 혹은 소수 화소 위치의 주변 정수 화소 위치의 화소에 대한 상기 참조 화상 뎁스 정보와 상기 피사체 뎁스 정보를 이용하여, 화소 보간에 이용하는 상기 참조 화상의 정수 화소 위치의 화소를 보간 참조 화소로서 설정하는 보간 참조 화소 설정 단계;
    상기 보간 참조 화소의 화소값의 가중합에 의해 상기 대응점에 의해 나타나는 상기 참조 화상 상의 상기 정수 화소 위치 혹은 상기 소수 화소 위치의 화소값을 생성하는 화소 보간 단계;
    상기 화소 보간 단계에 의해 생성한 상기 화소값을 상기 대응점에 의해 나타나는 상기 부호화 대상 화상 상의 상기 정수 화소 위치의 화소의 예측값으로 함으로써, 시점 간의 화상 예측을 행하는 시점 간 화상 예측 단계;를 가지는, 화상 부호화 방법.
  3. 청구항 2에 있어서,
    상기 보간 참조 화소마다 상기 보간 참조 화소에 대한 상기 참조 화상 뎁스 정보와 상기 피사체 뎁스 정보의 차이에 기초하여 상기 보간 참조 화소에 대한 보간 계수를 결정하는 보간 계수 결정 단계를 더 가지며,
    상기 보간 참조 화소 설정 단계는, 상기 대응점에 의해 나타나는 상기 참조 화상 상의 상기 정수 화소 위치 혹은 상기 소수 화소 위치의 상기 주변 정수 화소 위치의 화소를 상기 보간 참조 화소로서 설정하고,
    상기 화소 보간 단계는, 상기 보간 계수에 기초한 상기 보간 참조 화소의 화소값의 가중합을 구함으로써, 상기 대응점에 의해 나타나는 상기 참조 화상 상의 상기 정수 화소 위치 혹은 상기 소수 화소 위치의 화소값을 생성하는, 화상 부호화 방법.
  4. 청구항 3에 있어서,
    상기 대응점에 의해 나타나는 상기 참조 화상 상의 상기 정수 화소 위치 혹은 상기 소수 화소 위치의 상기 주변 정수 화소 위치의 화소에 대한 상기 참조 화상 뎁스 정보와 상기 피사체 뎁스 정보를 이용하여 화소 보간을 위한 탭 길이를 결정하는 보간 탭 길이 결정 단계를 더 가지며,
    상기 보간 참조 화소 설정 단계는, 상기 탭 길이의 범위 내에 존재하는 화소를 상기 보간 참조 화소로서 설정하는, 화상 부호화 방법.
  5. 청구항 3 또는 4에 있어서,
    상기 보간 계수 결정 단계는, 상기 보간 참조 화소의 하나에 대한 상기 참조 화상 뎁스 정보와 상기 피사체 뎁스 정보의 차이의 크기가 미리 정해진 문턱값보다 큰 경우에는 상기 보간 계수를 제로로 하여 상기 보간 참조 화소의 하나를 상기 보간 참조 화소로부터 제외하고, 상기 차이의 크기가 상기 문턱값 이내인 경우에는 상기 차이에 기초하여 상기 보간 계수를 결정하는, 화상 부호화 방법.
  6. 청구항 3 또는 4에 있어서,
    상기 보간 계수 결정 단계는, 상기 보간 참조 화소의 하나에 대한 상기 참조 화상 뎁스 정보와 상기 피사체 뎁스 정보의 차이와, 상기 보간 참조 화소의 하나와 상기 대응점에 의해 나타나는 상기 참조 화상 상의 정수 화소 혹은 소수 화소의 거리에 기초하여 상기 보간 계수를 결정하는, 화상 부호화 방법.
  7. 청구항 3 또는 4에 있어서,
    상기 보간 계수 결정 단계는, 상기 보간 참조 화소의 하나에 대한 상기 참조 화상 뎁스 정보와 상기 피사체 뎁스 정보의 차이의 크기가 미리 정해진 문턱값보다 큰 경우에는 상기 보간 계수를 제로로 하여 상기 보간 참조 화소의 하나를 상기 보간 참조 화소로부터 제외하고, 상기 차이의 크기가 상기 문턱값 이내인 경우에는 상기 차이와 상기 보간 참조 화소의 하나와 상기 대응점에 의해 나타나는 상기 참조 화상 상의 정수 화소 혹은 소수 화소의 거리에 기초하여 상기 보간 계수를 결정하는, 화상 부호화 방법.
  8. 다시점 화상의 복호 대상 화상을 복호할 때에, 복호 완료 참조 화상과 상기 참조 화상 중의 피사체의 뎁스 정보인 참조 화상 뎁스 정보를 이용하여 시점 간에 화상을 예측하면서 복호를 행하는 화상 복호 방법으로서,
    상기 복호 대상 화상의 각 화소에 대해 상기 참조 화상 상의 대응점을 설정하는 대응점 설정 단계;
    상기 대응점에 의해 나타나는 상기 복호 대상 화상 상의 정수 화소 위치의 화소에 대한 뎁스 정보인 피사체 뎁스 정보를 설정하는 피사체 뎁스 정보 설정 단계;
    상기 대응점에 의해 나타나는 상기 참조 화상 상의 정수 화소 위치 혹은 소수 화소 위치의 주변 정수 화소 위치의 화소에 대한 상기 참조 화상 뎁스 정보와 상기 피사체 뎁스 정보를 이용하여 화소 보간을 위한 탭 길이를 결정하는 보간 탭 길이 결정 단계;
    상기 대응점에 의해 나타나는 상기 참조 화상 상의 상기 정수 화소 위치 혹은 상기 소수 화소 위치의 화소값을 상기 탭 길이에 따른 보간 필터를 이용하여 생성하는 화소 보간 단계;
    상기 화소 보간 단계에 의해 생성한 상기 화소값을 상기 대응점에 의해 나타나는 상기 복호 대상 화상 상의 상기 정수 화소 위치의 화소의 예측값으로 함으로써, 시점 간의 화상 예측을 행하는 시점 간 화상 예측 단계;를 가지는, 화상 복호 방법.
  9. 다시점 화상의 복호 대상 화상을 복호할 때에, 복호 완료 참조 화상과 상기 참조 화상 중의 피사체의 뎁스 정보인 참조 화상 뎁스 정보를 이용하여 시점 간에 화상을 예측하면서 복호를 행하는 화상 복호 방법으로서,
    상기 복호 대상 화상의 각 화소에 대해 상기 참조 화상 상의 대응점을 설정하는 대응점 설정 단계;
    상기 대응점에 의해 나타나는 상기 복호 대상 화상 상의 정수 화소 위치의 화소에 대한 뎁스 정보인 피사체 뎁스 정보를 설정하는 피사체 뎁스 정보 설정 단계;
    상기 대응점에 의해 나타나는 상기 참조 화상 상의 정수 화소 위치 혹은 소수 화소 위치의 주변 정수 화소 위치의 화소에 대한 상기 참조 화상 뎁스 정보와 상기 피사체 뎁스 정보를 이용하여, 화소 보간에 이용하는 상기 참조 화상의 정수 화소 위치의 화소를 보간 참조 화소로서 설정하는 보간 참조 화소 설정 단계;
    상기 보간 참조 화소의 화소값의 가중합에 의해, 상기 대응점에 의해 나타나는 상기 참조 화상 상의 상기 정수 화소 위치 혹은 상기 소수 화소 위치의 화소값을 생성하는 화소 보간 단계;
    상기 화소 보간 단계에 의해 생성한 상기 화소값을 상기 대응점에 의해 나타나는 상기 복호 대상 화상 상의 상기 정수 화소 위치의 화소의 예측값으로 함으로써, 시점 간의 화상 예측을 행하는 시점 간 화상 예측 단계;를 가지는, 화상 복호 방법.
  10. 청구항 9에 있어서,
    상기 보간 참조 화소마다 상기 보간 참조 화소에 대한 상기 참조 화상 뎁스 정보와 상기 피사체 뎁스 정보의 차이에 기초하여 상기 보간 참조 화소에 대한 보간 계수를 결정하는 보간 계수 결정 단계를 더 가지며,
    상기 보간 참조 화소 설정 단계는, 상기 대응점에 의해 나타나는 상기 참조 화상 상의 상기 정수 화소 위치 혹은 상기 소수 화소 위치의 상기 주변 정수 화소 위치의 화소를 상기 보간 참조 화소로서 설정하고,
    상기 화소 보간 단계는, 상기 보간 계수에 기초한 상기 보간 참조 화소의 화소값의 가중합을 구함으로써, 상기 대응점에 의해 나타나는 상기 참조 화상 상의 상기 정수 화소 위치 혹은 상기 소수 화소 위치의 화소값을 생성하는, 화상 복호 방법.
  11. 청구항 10에 있어서,
    상기 대응점에 의해 나타나는 상기 참조 화상 상의 상기 정수 화소 위치 혹은 상기 소수 화소 위치의 상기 주변 정수 화소 위치의 화소에 대한 상기 참조 화상 뎁스 정보와 상기 피사체 뎁스 정보를 이용하여 화소 보간을 위한 탭 길이를 결정하는 보간 탭 길이 결정 단계를 더 가지며,
    상기 보간 참조 화소 설정 단계는, 상기 탭 길이의 범위 내에 존재하는 화소를 상기 보간 참조 화소로서 설정하는, 화상 복호 방법.
  12. 청구항 10 또는 11에 있어서,
    상기 보간 계수 결정 단계는, 상기 보간 참조 화소의 하나에 대한 상기 참조 화상 뎁스 정보와 상기 피사체 뎁스 정보의 차이의 크기가 미리 정해진 문턱값보다 큰 경우에는 상기 보간 계수를 제로로 하여 상기 보간 참조 화소의 하나를 상기 보간 참조 화소로부터 제외하고, 상기 차이의 크기가 상기 문턱값 이내인 경우에는 상기 차이에 기초하여 상기 보간 계수를 결정하는, 화상 복호 방법.
  13. 청구항 10 또는 11에 있어서,
    상기 보간 계수 결정 단계는, 상기 보간 참조 화소의 하나에 대한 상기 참조 화상 뎁스 정보와 상기 피사체 뎁스 정보의 차이와, 상기 보간 참조 화소의 하나와 상기 대응점에 의해 나타나는 상기 참조 화상 상의 정수 화소 혹은 소수 화소의 거리에 기초하여 상기 보간 계수를 결정하는, 화상 복호 방법.
  14. 청구항 10 또는 11에 있어서,
    상기 보간 계수 결정 단계는, 상기 보간 참조 화소의 하나에 대한 상기 참조 화상 뎁스 정보와 상기 피사체 뎁스 정보의 차이의 크기가 미리 정해진 문턱값보다 큰 경우에는 상기 보간 계수를 제로로 하여 상기 보간 참조 화소의 하나를 상기 보간 참조 화소로부터 제외하고, 상기 차이의 크기가 상기 문턱값 이내인 경우에는 상기 차이와 상기 보간 참조 화소의 하나와 상기 대응점에 의해 나타나는 상기 참조 화상 상의 정수 화소 혹은 소수 화소의 거리에 기초하여 상기 보간 계수를 결정하는, 화상 복호 방법.
  15. 복수 시점의 화상인 다시점 화상을 부호화할 때에, 부호화 대상 화상의 시점과는 다른 시점에 대한 부호화 완료 참조 화상과, 상기 참조 화상 중의 피사체의 뎁스 정보인 참조 화상 뎁스 정보를 이용하여 시점 간에 화상을 예측하면서 부호화를 행하는 화상 부호화 장치로서,
    상기 부호화 대상 화상의 각 화소에 대해 상기 참조 화상 상의 대응점을 설정하는 대응점 설정부;
    상기 대응점에 의해 나타나는 상기 부호화 대상 화상 상의 정수 화소 위치의 화소에 대한 뎁스 정보인 피사체 뎁스 정보를 설정하는 피사체 뎁스 정보 설정부;
    상기 대응점에 의해 나타나는 상기 참조 화상 상의 정수 화소 위치 혹은 소수 화소 위치의 주변 정수 화소 위치의 화소에 대한 상기 참조 화상 뎁스 정보와 상기 피사체 뎁스 정보를 이용하여 화소 보간을 위한 탭 길이를 결정하는 보간 탭 길이 결정부;
    상기 대응점에 의해 나타나는 상기 참조 화상 상의 상기 정수 화소 위치 혹은 상기 소수 화소 위치의 화소값을 상기 탭 길이에 따른 보간 필터를 이용하여 생성하는 화소 보간부;
    상기 화소 보간부에 의해 생성한 상기 화소값을 상기 대응점에 의해 나타나는 상기 부호화 대상 화상 상의 상기 정수 화소 위치의 화소의 예측값으로 함으로써, 시점 간의 화상 예측을 행하는 시점 간 화상 예측부;를 구비하는, 화상 부호화 장치.
  16. 복수 시점의 화상인 다시점 화상을 부호화할 때에, 부호화 대상 화상의 시점과는 다른 시점에 대한 부호화 완료 참조 화상과, 상기 참조 화상 중의 피사체의 뎁스 정보인 참조 화상 뎁스 정보를 이용하여 시점 간에 화상을 예측하면서 부호화를 행하는 화상 부호화 장치로서,
    상기 부호화 대상 화상의 각 화소에 대해 상기 참조 화상 상의 대응점을 설정하는 대응점 설정부;
    상기 대응점에 의해 나타나는 상기 부호화 대상 화상 상의 정수 화소 위치의 화소에 대한 뎁스 정보인 피사체 뎁스 정보를 설정하는 피사체 뎁스 정보 설정부;
    상기 대응점에 의해 나타나는 상기 참조 화상 상의 정수 화소 위치 혹은 소수 화소 위치의 주변 정수 화소 위치의 화소에 대한 상기 참조 화상 뎁스 정보와 상기 피사체 뎁스 정보를 이용하여, 화소 보간에 이용하는 상기 참조 화상의 정수 화소 위치의 화소를 보간 참조 화소로서 설정하는 보간 참조 화소 설정부;
    상기 보간 참조 화소의 화소값의 가중합에 의해, 상기 대응점에 의해 나타나는 상기 참조 화상 상의 상기 정수 화소 위치 혹은 상기 소수 화소 위치의 화소값을 생성하는 화소 보간부;
    상기 화소 보간부에 의해 생성한 상기 화소값을 상기 대응점에 의해 나타나는 상기 부호화 대상 화상 상의 상기 정수 화소 위치의 화소의 예측값으로 함으로써, 시점 간의 화상 예측을 행하는 시점 간 화상 예측부;를 구비하는, 화상 부호화 장치.
  17. 다시점 화상의 복호 대상 화상을 복호할 때에, 복호 완료 참조 화상과 상기 참조 화상 중의 피사체의 뎁스 정보인 참조 화상 뎁스 정보를 이용하여 시점 간에 화상을 예측하면서 복호를 행하는 화상 복호 장치로서,
    상기 복호 대상 화상의 각 화소에 대해 상기 참조 화상 상의 대응점을 설정하는 대응점 설정부;
    상기 대응점에 의해 나타나는 상기 복호 대상 화상 상의 정수 화소 위치의 화소에 대한 뎁스 정보인 피사체 뎁스 정보를 설정하는 피사체 뎁스 정보 설정부;
    상기 대응점에 의해 나타나는 상기 참조 화상 상의 정수 화소 위치 혹은 소수 화소 위치의 주변 정수 화소 위치의 화소에 대한 상기 참조 화상 뎁스 정보와 상기 피사체 뎁스 정보를 이용하여 화소 보간을 위한 탭 길이를 결정하는 보간 탭길이 결정부;
    상기 대응점에 의해 나타나는 상기 참조 화상 상의 상기 정수 화소 위치 혹은 상기 소수 화소 위치의 화소값을 상기 탭 길이에 따른 보간 필터를 이용하여 생성하는 화소 보간부;
    상기 화소 보간부에 의해 생성한 상기 화소값을 상기 대응점에 의해 나타나는 상기 복호 대상 화상 상의 상기 정수 화소 위치의 화소의 예측값으로 함으로써, 시점 간의 화상 예측을 행하는 시점 간 화상 예측부;를 구비하는, 화상 복호 장치.
  18. 다시점 화상의 복호 대상 화상을 복호할 때에, 복호 완료 참조 화상과 상기 참조 화상 중의 피사체의 뎁스 정보인 참조 화상 뎁스 정보를 이용하여 시점 간에 화상을 예측하면서 복호를 행하는 화상 복호 장치로서,
    상기 복호 대상 화상의 각 화소에 대해 상기 참조 화상 상의 대응점을 설정하는 대응점 설정부;
    상기 대응점에 의해 나타나는 상기 복호 대상 화상 상의 정수 화소 위치의 화소에 대한 뎁스 정보인 피사체 뎁스 정보를 설정하는 피사체 뎁스 정보 설정부;
    상기 대응점에 의해 나타나는 상기 참조 화상 상의 정수 화소 위치 혹은 소수 화소 위치의 주변 정수 화소 위치의 화소에 대한 상기 참조 화상 뎁스 정보와 상기 피사체 뎁스 정보를 이용하여, 화소 보간에 이용하는 상기 참조 화상의 정수 화소 위치의 화소를 보간 참조 화소로서 설정하는 보간 참조 화소 설정부;
    상기 보간 참조 화소의 화소값의 가중합에 의해, 상기 대응점에 의해 나타나는 상기 참조 화상 상의 상기 정수 화소 위치 혹은 상기 소수 화소 위치의 화소값을 생성하는 화소 보간부;
    상기 화소 보간부에 의해 생성한 상기 화소값을 상기 대응점에 의해 나타나는 상기 복호 대상 화상 상의 상기 정수 화소 위치의 화소의 예측값으로 함으로써, 시점 간의 화상 예측을 행하는 시점 간 화상 예측부;를 구비하는, 화상 복호 장치.
  19. 컴퓨터에 청구항 1 내지 7 중 어느 한 항에 기재된 화상 부호화 방법을 실행시키기 위한 화상 부호화 프로그램.
  20. 컴퓨터에 청구항 8 내지 14 중 어느 한 항에 기재된 화상 복호 방법을 실행시키기 위한 화상 복호 프로그램.
  21. 청구항 19에 기재된 화상 부호화 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
  22. 청구항 20에 기재된 화상 복호 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
KR1020147033287A 2012-07-09 2013-07-09 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램, 화상 복호 프로그램 및 기록매체 KR101641606B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2012-154065 2012-07-09
JP2012154065 2012-07-09
PCT/JP2013/068728 WO2014010584A1 (ja) 2012-07-09 2013-07-09 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体

Publications (2)

Publication Number Publication Date
KR20150015483A true KR20150015483A (ko) 2015-02-10
KR101641606B1 KR101641606B1 (ko) 2016-07-21

Family

ID=49916036

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147033287A KR101641606B1 (ko) 2012-07-09 2013-07-09 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램, 화상 복호 프로그램 및 기록매체

Country Status (5)

Country Link
US (1) US20150172715A1 (ko)
JP (1) JP5833757B2 (ko)
KR (1) KR101641606B1 (ko)
CN (1) CN104429077A (ko)
WO (1) WO2014010584A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3142365A1 (en) 2015-09-14 2017-03-15 Thomson Licensing Method and apparatus for encoding and decoding a light field based image, and corresponding computer program product
CN108369751B (zh) * 2015-12-14 2023-09-08 松下电器（美国）知识产权公司 三维数据编码方法、解码方法、编码装置、解码装置
KR102466996B1 (ko) 2016-01-06 2022-11-14 삼성전자주식회사 눈 위치 예측 방법 및 장치
US10404979B2 (en) * 2016-03-17 2019-09-03 Mediatek Inc. Video coding with interpolated reference pictures
US10638126B2 (en) * 2017-05-05 2020-04-28 Qualcomm Incorporated Intra reference filter for video coding
EP3767609A4 (en) * 2018-03-12 2021-12-08 Nippon Telegraph And Telephone Corporation SECRET TABLE REFERENCE SYSTEM, METHOD, DEVICE AND PROGRAM FOR SECRET CALCULATION
JP7294776B2 (ja) * 2018-06-04 2023-06-20 オリンパス株式会社 内視鏡プロセッサ、表示設定方法、表示設定プログラムおよび内視鏡システム
CN113056909A (zh) * 2018-12-31 2021-06-29 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法和解码方法
US11218724B2 (en) * 2019-09-24 2022-01-04 Alibaba Group Holding Limited Motion compensation methods for video coding
FR3125150B1 (fr) * 2021-07-08 2023-11-17 Continental Automotive Procédé d’étiquetage d’une image 3D
CN117438056B (zh) * 2023-12-20 2024-03-12 达州市中心医院(达州市人民医院) 用于消化内镜影像数据的编辑筛选与存储控制方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0835665A (ja) 1994-07-21 1996-02-06 Matsushita Electric Ind Co Ltd 高周波加熱器
KR20090039720A (ko) * 2006-07-18 2009-04-22 톰슨 라이센싱 적응적 참조 필터링을 위한 방법 및 장치
JP2009211335A (ja) * 2008-03-04 2009-09-17 Nippon Telegr & Teleph Corp <Ntt> 仮想視点画像生成方法、仮想視点画像生成装置、仮想視点画像生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
KR20110039988A (ko) * 2009-10-13 2011-04-20 엘지전자 주식회사 인터폴레이션 방법
JP2012085211A (ja) * 2010-10-14 2012-04-26 Sony Corp 画像処理装置および方法、並びにプログラム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000052642A1 (en) * 1999-02-26 2000-09-08 Koninklijke Philips Electronics N.V. Filtering a collection of samples
CA2316610A1 (en) * 2000-08-21 2002-02-21 Finn Uredenhagen System and method for interpolating a target image from a source image
US20040037366A1 (en) * 2002-08-23 2004-02-26 Magis Networks, Inc. Apparatus and method for multicarrier modulation and demodulation
US7535961B2 (en) * 2003-07-16 2009-05-19 Samsung Electronics Co., Ltd. Video encoding/decoding apparatus and method for color image
US7778328B2 (en) * 2003-08-07 2010-08-17 Sony Corporation Semantics-based motion estimation for multi-view video coding
US7508997B2 (en) * 2004-05-06 2009-03-24 Samsung Electronics Co., Ltd. Method and apparatus for video image interpolation with edge sharpening
US7468745B2 (en) * 2004-12-17 2008-12-23 Mitsubishi Electric Research Laboratories, Inc. Multiview video decomposition and encoding
BRPI0716814A2 (pt) * 2006-09-20 2013-11-05 Nippon Telegraph & Telephone Método de codificação de imagem, e método de decodificação, aparelhos para isso, aparelho de decodificação de imagem, programas para isso, e mídias de armazenamento para armazenar os programas
EP2269378A2 (en) * 2008-04-25 2011-01-05 Thomson Licensing Multi-view video coding with disparity estimation based on depth information
EP2141927A1 (en) * 2008-07-03 2010-01-06 Panasonic Corporation Filters for video coding
EP2157799A1 (en) * 2008-08-18 2010-02-24 Panasonic Corporation Interpolation filter with local adaptation based on block edges in the reference frame
WO2010021666A1 (en) * 2008-08-20 2010-02-25 Thomson Licensing Refined depth map
WO2010063881A1 (en) * 2008-12-03 2010-06-10 Nokia Corporation Flexible interpolation filter structures for video coding
WO2010073513A1 (ja) * 2008-12-26 2010-07-01 日本ビクター株式会社 画像符号化装置、画像符号化方法およびそのプログラム、ならびに画像復号装置、画像復号方法およびそのプログラム
CN102598660B (zh) * 2009-04-20 2015-04-29 杜比实验室特许公司 用于多层视频传输的自适应内插滤波器
WO2010126612A2 (en) * 2009-05-01 2010-11-04 Thomson Licensing Reference picture lists for 3dv
TWI600318B (zh) * 2010-05-18 2017-09-21 Sony Corp Image processing apparatus and image processing method
EP2591609B1 (en) * 2010-07-08 2017-09-06 Dolby Laboratories Licensing Corporation Method and apparatus for multi-layered image and video coding using reference processing signals
US8867823B2 (en) * 2010-12-03 2014-10-21 National University Corporation Nagoya University Virtual viewpoint image synthesizing method and virtual viewpoint image synthesizing system
US9565449B2 (en) * 2011-03-10 2017-02-07 Qualcomm Incorporated Coding multiview video plus depth content
US9363535B2 (en) * 2011-07-22 2016-06-07 Qualcomm Incorporated Coding motion depth maps with depth range variation
WO2013072484A1 (en) * 2011-11-18 2013-05-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-view coding with efficient residual handling

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0835665A (ja) 1994-07-21 1996-02-06 Matsushita Electric Ind Co Ltd 高周波加熱器
KR20090039720A (ko) * 2006-07-18 2009-04-22 톰슨 라이센싱 적응적 참조 필터링을 위한 방법 및 장치
JP2009211335A (ja) * 2008-03-04 2009-09-17 Nippon Telegr & Teleph Corp <Ntt> 仮想視点画像生成方法、仮想視点画像生成装置、仮想視点画像生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
KR20110039988A (ko) * 2009-10-13 2011-04-20 엘지전자 주식회사 인터폴레이션 방법
JP2012085211A (ja) * 2010-10-14 2012-04-26 Sony Corp 画像処理装置および方法、並びにプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
비특허문헌 1: ITU-T Recommendation H.264(03/2009), "Advanced video coding for generic audiovisual services", March, 2009.
비특허문헌 2: Shinya SHIMIZU, Masaki KITAHARA, Kazuto KAMIKURA and Yoshiyuki YASHIMA, "Multi-view Video Coding based on 3-D Warping with Depth Map", In Proceedings of Picture Coding Symposium 2006, SS3-6, April, 2006.

Also Published As

Publication number Publication date
US20150172715A1 (en) 2015-06-18
KR101641606B1 (ko) 2016-07-21
JPWO2014010584A1 (ja) 2016-06-23
WO2014010584A1 (ja) 2014-01-16
CN104429077A (zh) 2015-03-18
JP5833757B2 (ja) 2015-12-16

Similar Documents

Publication Publication Date Title
KR101641606B1 (ko) 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램, 화상 복호 프로그램 및 기록매체
WO2014050830A1 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
JP5947977B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
JP6307152B2 (ja) 画像符号化装置及び方法、画像復号装置及び方法、及び、それらのプログラム
KR101648094B1 (ko) 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램, 화상 복호 프로그램 및 기록매체
JP6027143B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム
JP6053200B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
JP6232076B2 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム
JP6232075B2 (ja) 映像符号化装置及び方法、映像復号装置及び方法、及び、それらのプログラム
JP5926451B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム
US10911779B2 (en) Moving image encoding and decoding method, and non-transitory computer-readable media that code moving image for each of prediction regions that are obtained by dividing coding target region while performing prediction between different views
JP5706291B2 (ja) 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
KR20160140622A (ko) 동화상 부호화 장치 및 방법, 및 동화상 복호 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right