KR101374812B1 - 다시점 영상 부호화 방법, 다시점 영상 복호 방법, 다시점 영상 부호화 장치, 다시점 영상 복호 장치 및 프로그램 - Google Patents

다시점 영상 부호화 방법, 다시점 영상 복호 방법, 다시점 영상 부호화 장치, 다시점 영상 복호 장치 및 프로그램 Download PDF

Info

Publication number
KR101374812B1
KR101374812B1 KR1020127021725A KR20127021725A KR101374812B1 KR 101374812 B1 KR101374812 B1 KR 101374812B1 KR 1020127021725 A KR1020127021725 A KR 1020127021725A KR 20127021725 A KR20127021725 A KR 20127021725A KR 101374812 B1 KR101374812 B1 KR 101374812B1
Authority
KR
South Korea
Prior art keywords
viewpoint
image
frame
view
decoding
Prior art date
Application number
KR1020127021725A
Other languages
English (en)
Other versions
KR20120117888A (ko
Inventor
신야 시미즈
히데아키 기마타
노리히코 마츠우라
Original Assignee
니폰덴신뎅와 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 니폰덴신뎅와 가부시키가이샤 filed Critical 니폰덴신뎅와 가부시키가이샤
Publication of KR20120117888A publication Critical patent/KR20120117888A/ko
Application granted granted Critical
Publication of KR101374812B1 publication Critical patent/KR101374812B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

카메라 간의 국소적인 휘도나 색의 미스매치를 동반하는 다시점 영상에서도 고능률의 부호화 수법을 실현한다. 다시점 영상의 부호화 대상 시점에서의 부호화 대상 프레임과 같은 시각에 촬영된, 부호화 대상 시점과는 다른 참조 시점에서의 이미 부호화된 참조 시점 프레임으로부터, 부호화 대상 프레임에 대응하는 시점 합성 화상이 합성된다. 미리 정해진 크기의 처리 단위 영역마다 시점 합성 화상에 대응하는, 부호화 대상 시점에서의 이미 부호화된 참조 프레임상의 참조 영역이 탐색된다. 처리 단위 영역에 대한 시점 합성 화상과 참조 영역에 대한 참조 프레임으로부터, 카메라 간 미스매치를 보정하는 보정 파라미터가 추정된다. 추정된 보정 파라미터를 사용하여 처리 단위 영역에 대한 시점 합성 화상이 보정된다. 보정된 시점 합성 화상을 사용하여 부호화 대상 시점의 영상이 예측 부호화된다.

Description

다시점 영상 부호화 방법, 다시점 영상 복호 방법, 다시점 영상 부호화 장치, 다시점 영상 복호 장치 및 프로그램{Multiview video coding method, multiview video decoding method, multiview video coding device, multiview video decoding device, and program}
본 발명은 다시점 화상 또는 다시점 동화상을 부호화하는 다시점 영상 부호화 방법 및 다시점 영상 부호화 장치, 다시점 화상 또는 다시점 동화상을 복호하는 다시점 영상 복호 방법 및 다시점 영상 복호 장치와 프로그램에 관한 것이다.
본원은 2010년 2월 24일에 일본에 출원된 일본특원2010-038680호에 대해 우선권을 주장하고 그 내용을 여기에 원용한다.
다시점(多視點) 화상이란, 복수의 카메라로 같은 피사체와 그 배경을 촬영한 복수의 화상이며, 다시점 동화상(다시점 영상)이란, 그 동화상이다. 일반적인 영상 부호화에서는 영상 중의 촬영 시각이 다른 프레임 간에 존재하는 높은 상관을 이용한 움직임 보상 예측을 사용하여 효율적인 부호화를 실현한다. 움직임 보상 예측은 H.264로 대표되는 최근의 영상 부호화 방식의 국제 표준 규격으로 채용되어 있는 수법이다. 즉, 움직임 보상 예측은, 부호화 대상 프레임과 이미 부호화된 참조 프레임 사이에 피사체의 움직임을 보상하여 화상을 생성하고, 해당 생성한 화상과 부호화 대상 프레임 사이에 프레임 간 차분을 취하여 그 차분 신호와 움직임 벡터를 부호화하는 방법이다.
다시점 영상 부호화에서는, 촬영 시각이 다른 프레임 간뿐 아니라 시점(視點)이 다른 프레임 간에도 높은 상관이 존재한다. 따라서 움직임이 아닌 시점 간의 시차(視差)를 보상하여 생성한 화상(프레임)과 부호화 대상 프레임 사이에서 프레임 간 차분을 취하여 차분 신호와 시차 벡터를 부호화하는 시차 보상 예측이라고 불리는 수법이 사용된다. 시차 보상 예측은 H.264 Annex.H로서 국제 표준 규격으로 채용되어 있다(예를 들면, 비특허문헌 1 참조).
여기에서 사용되는 시차란, 다른 위치나 방향으로 배치된 카메라의 화상 평면상에 피사체상의 같은 위치가 투영되는 위치의 차이다. 시차 보상 예측으로는, 이것을 이차원 벡터로 표현하여 부호화하고 있다. 도 7에 도시한 바와 같이, 시차가 카메라의 시점 위치와 피사체의 카메라로부터의 거리(깊이(depth))에 의존하여 발생하는 정보이므로 이 원리를 이용한 시점 합성 예측(시점 보간 예측)이라고 불리는 방식이 존재한다.
시점 합성 예측(시점 보간 예측)은, 카메라나 피사체의 삼차원적인 위치 관계에 따라 이미 처리가 종료되어 복호 결과가 얻어진 다시점 영상의 일부분을 사용하여 부호화 또는 복호 처리를 하는 다른 시점에 대한 프레임을 합성(보간)하고, 합성에 의해 얻어진 화상을 예측 화상으로서 사용하는 방식이다(예를 들면, 비특허문헌 2 참조). 피사체의 삼차원적인 위치를 표현하기 위해 카메라에서 피사체까지의 거리(깊이)를 화소마다 표현한 깊이 지도(거리 화상, 시차 화상, 차이 지도(disparity map)라고 불리기도 한다)가 사용되는 경우가 많다. 깊이 지도 이외에는 피사체의 다각형(polygon) 정보나 피사체 공간의 복셀 정보를 사용할 수도 있다.
아울러 깊이 지도를 취득하는 방법은 크게 나누면, 적외선 펄스 등을 사용하여 측정함으로써 깊이 지도를 생성하는 방법과, 다시점 영상상에 같은 피사체가 찍혀 있는 점으로 보아 삼각 측량의 원리를 사용하여 깊이를 추정한 후에 깊이 지도를 생성하는 방법이 있다. 어느 쪽 방법으로 얻어진 깊이 지도를 사용할 지는 시점 합성 예측에서 큰 문제는 아니다. 또 깊이 지도를 얻을 수 있는 것이라면 어디에서 추정하는지도 큰 문제는 아니다.
단, 예측 부호화를 행하는 경우에는 일반적으로 부호화측에서 사용한 깊이 지도와 복호측에서 사용한 깊이 지도가 일치하지 않는 경우에는 드리프트(drift)라고 불리는 부호화 왜곡이 발생하게 된다. 따라서 부호화측에서 사용한 깊이 지도를 복호측에 전송하거나, 부호화측과 복호측에서 완전히 동일한 데이터와 수법을 사용하여 깊이 지도를 추정하는 방법이 사용된다.
시차 보상 예측이나 시점 합성 예측으로는, 카메라의 촬상 소자의 응답에 개체 차가 있거나, 카메라마다 게인 컨트롤(gain control)이나 감마 보정이 이루어지거나, 씬(scene)에 방향 의존의 조명 효과가 있으면 부호화 효율이 열화된다. 이것은, 부호화 대상 프레임과 참조 프레임에서 피사체의 색이 같다는 전제로 예측하고 있기 때문이다.
이러한 피사체의 휘도나 색의 변화에 대응하기 위해 검토된 방식으로서, 휘도 보상이나 색보정이라고 불리는 것이 있다. 이것은, 참조 프레임의 휘도나 색을 보정한 것을 예측에 사용하는 프레임으로 함으로써 부호화하는 예측 잔차(residual)를 작게 억제하는 방식이다. 비특허문헌 1에 기재되어 있는 H.264에서는 1차 함수를 사용하여 보정하는 Weighted Prediction이 채용되어 있다. 또 그와는 별도로 색테이블을 사용하여 보정하는 방식도 제안되어 있다(예를 들면, 비특허문헌 3 참조).
또 이러한 피사체의 휘도나 색의 카메라 간의 미스매치(mismatch)는 피사체에 의존하는 국소적인 것이므로, 본래라면 국소적으로 다른 보정 파라미터(보정을 위한 파라미터)를 사용하여 보정하는 쪽이 바람직하다. 또 이러한 미스매치는 단순한 게인 등의 차이뿐 아니라 포커스의 차이 등 다소 복잡한 모델에 따라 발생한다. 따라서 단순한 보정 모델이 아닌 투영 프로세스 등을 모델화한 복잡한 보정 모델을 사용한 편이 바람직하다.
또한 국소적인 변화에 대응하기 위해서는 보정 파라미터를 여러 세트 준비할 필요가 있다. 일반적으로 복잡한 보정 모델은 다수의 파라미터를 가진 것으로 표현된다. 따라서 보정 파라미터를 전송하는 어프로치에서는 미스매치를 개선할 수 있었다 해도 많은 부호량을 필요로 하기 때문에 높은 부호화 효율을 달성할 수 없다.
보정 파라미터의 부호량을 늘리지 않고 미스매치의 국소성이나 복잡성에 대응 가능한 방법으로서, 복호측에서 보정 파라미터를 추정하여 사용하는 수법이 있다. 예를 들면 처리 대상 블록의 인접 영역에서는 같은 피사체가 촬영되어 있다고 가정하고 인접 영역에서의 시점 합성 화상과 복호 화상과의 차를 최소화하는 보정 파라미터를 추정하여 그 블록의 보정 파라미터로서 사용하는 수법이 있다(예를 들면, 비특허문헌 4 참조). 이 방식으로는, 보정 파라미터는 일절 보낼 필요가 없기 때문에 미스매치를 감소시킬 수 있다면 전체(total) 보정 파라미터수가 늘었어도 발생 부호량이 증가하지는 않는다.
비특허문헌 1: Rec. ITU-T H.264 "Advanced video coding for generic audiovisual services," March 2009. 비특허문헌 2: S. Shimizu, M. Kitahara, H. Kimata, K. Kamikura, and Y. Yashima, "View Scalable Multiview Video Coding Using 3-D Warping with Depth Map," IEEE Transactions on Circuits and System for Video Technology, Vol. 17, No. 11, pp. 1485-1495, November, 2007. 비특허문헌 3: K. Yamamoto, M. Kitahara, H. Kimata, T. Yendo, T. Fujii, M. Tanimoto, S. Shimizu, K. Kamikura, and Y. Yashima, "Multiview Video Coding Using View Interpolation and Color Correction," IEEE Transactions on Circuits and System for Video Technology, Vol. 17, No. 11, pp. 1436-1449, November, 2007. 비특허문헌 4: S. Shimizu, H. Kimata, and Y. Ohtani, "Adaptive Appearance Compensated View Synthesis Prediction for Multiview Video Coding," Proceedings of ICIP2009, pp. 2949-2952, November 2009.
상술한 종래기술에서는, 복호 시에 참조 가능한 인접 블록의 정보를 사용하여 보정 파라미터를 추정함으로써 보정 파라미터를 부호화하지 않고 카메라 간의 미스매치를 보정할 수 있게 된다. 따라서 다시점 영상의 효율적인 압축 부호화를 실현할 수 있다.
그러나 인접 블록에서 처리 대상 블록과는 다른 피사체가 찍혀 있었던 경우, 얻어지는 보정 파라미터는 처리 대상 블록에 찍혀 있는 피사체에 대한 미스매치를 적절하게 보정할 수 없다는 문제가 있다. 또 미스매치를 적절하게 보정할 수 없을 뿐만 아니라 오히려 미스매치를 증폭시켜 부호화 효율을 열화시킬 가능성도 있다.
이 과제에 대한 해결책으로서, 블록마다 보정할지 여부를 나타내는 플래그를 부호화하는 방법을 용이하게 생각할 수 있다. 그러나 이 방법으로는 미스매치의 증가를 방지할 수는 있지만 플래그를 부호화할 필요가 발생하기 때문에 부호화 효율을 크게 개선하기는 불가능하다.
본 발명은 이와 같은 사정을 고려하여 이루어진 것으로서, 그 목적은, 카메라 간에 국소적인 휘도나 색의 미스매치를 동반하는 다시점 영상에서도, 보정 파라미터를 별도로 부호화/복호하지 않고 효율적으로 다시점 화상이나 다시점 동화상의 부호화/복호를 실현할 수 있는 다시점 영상 부호화 방법, 다시점 영상 복호 방법, 다시점 영상 부호화 장치, 다시점 영상 복호 장치 및 프로그램을 제공하는 데 있다.
상술한 과제를 해결하기 위해 본 발명의 제1 관점은, 다시점 영상을 부호화하는 다시점 영상 부호화 방법으로서, 상기 다시점 영상의 부호화 대상 시점에서의 부호화 대상 프레임과 같은 시각에 촬영된, 상기 부호화 대상 시점과는 다른 참조 시점에서의 이미 부호화된 참조 시점 프레임으로부터, 상기 부호화 대상 시점의 상기 부호화 대상 프레임에 대응하는 시점 합성 화상을 합성하는 시점 합성 화상 생성 단계와, 미리 정해진 크기의 처리 단위 영역마다 상기 시점 합성 화상에 대응하는, 상기 부호화 대상 시점에서의 이미 부호화된 참조 프레임상의 참조 영역을 탐색하는 참조 영역 추정 단계와, 상기 처리 단위 영역에 대한 상기 시점 합성 화상과 상기 참조 영역에 대한 상기 참조 프레임으로부터, 카메라 간 미스매치를 보정하는 보정 파라미터를 추정하는 보정 파라미터 추정 단계와, 상기 추정된 보정 파라미터를 사용하여 상기 처리 단위 영역에 대한 상기 시점 합성 화상을 보정하는 시점 합성 화상 보정 단계와, 상기 보정된 시점 합성 화상을 사용하여 상기 부호화 대상 시점의 영상을 예측 부호화하는 화상 부호화 단계를 포함하는 다시점 영상 부호화 방법이다.
또 상술한 과제를 해결하기 위해 본 발명의 제2 관점은, 다시점 영상의 부호화 대상 시점에 대한 영상을 부호화할 때 상기 부호화 대상 시점에서의 부호화 대상 프레임과 같은 시각에 촬영된, 상기 부호화 대상 시점과는 다른 참조 시점에서의 이미 부호화된 참조 시점 프레임과, 상기 부호화 대상 시점에서의 이미 부호화된 참조 시점 프레임을 이용하여 예측 부호화를 수행하는 다시점 영상 부호화 방법으로서, 상기 참조 시점 프레임으로부터, 상기 부호화 대상 시점의 상기 부호화 대상 프레임과 상기 참조 프레임에 대한 시점 합성 화상을 합성하는 시점 합성 화상 생성 단계와, 미리 정해진 크기의 처리 단위 영역마다 상기 부호화 대상 프레임에 대한 시점 합성 화상에 대응하는, 상기 참조 프레임에 대한 시점 합성 화상상의 참조 영역을 탐색하는 참조 영역 추정 단계와, 상기 처리 단위 영역에 대한 상기 시점 합성 화상과 상기 참조 영역과 같은 위치의 상기 참조 프레임으로부터, 카메라 간 미스매치를 보정하는 보정 파라미터를 추정하는 보정 파라미터 추정 단계와, 상기 추정된 보정 파라미터를 이용하여 상기 처리 단위 영역에 대한 상기 시점 합성 화상을 보정하는 시점 합성 화상 보정 단계와, 상기 보정된 시점 합성 화상을 이용하여 상기 부호화 대상 시점의 영상을 예측 부호화하는 화상 부호화 단계를 포함한 다시점 영상 부호화 방법이다.
본 발명의 제1 관점 또는 제2 관점에서, 상기 시점 합성 화상의 각 화소에 대해 상기 시점 합성 화상의 확실성을 나타내는 신뢰도를 설정하는 신뢰도 설정 단계를 더 포함하고, 상기 참조 영역 추정 단계는, 상기 신뢰도에 기초하여 상기 시점 합성 화상에 대응하는, 상기 참조 프레임상의 상기 참조 영역을 탐색할 때의 각 화소의 매칭 코스트에 가중치를 부여하도록 해도 좋다.
본 발명의 제1 관점 또는 제2 관점에서, 상기 보정 파라미터 추정 단계는 상기 신뢰도에 기초하여 상기 보정 파라미터를 추정할 때의 각 화소의 매칭 코스트에 가중치를 부여하도록 해도 좋다.
본 발명의 제1 관점 또는 제2 관점에서, 상기 시점 합성 화상의 각 화소에 대해 상기 참조 영역을 올바르게 추정할 수 있었는지 여부를 나타내는 추정 정밀도를 설정하는 추정 정밀도 설정 단계를 더 포함하고, 상기 보정 파라미터 추정 단계는 상기 추정 정밀도 및 상기 신뢰도 중 어느 한쪽 또는 쌍방에 기초하여 상기 보정 파라미터를 추정할 때의 각 화소의 매칭 코스트에 가중치를 부여하도록 해도 좋다.
또 상술한 과제를 해결하기 위해 본 발명의 제3 관점은, 다시점 영상을 복호하는 다시점 영상 복호 방법으로서, 상기 다시점 영상의 복호 대상 시점에서의 복호 대상 프레임과 같은 시각에 촬영된, 상기 복호 대상 시점과는 다른 참조 시점에서의 참조 시점 프레임으로부터, 상기 복호 대상 시점의 상기 복호 대상 프레임에 대응하는 시점 합성 화상을 합성하는 시점 합성 화상 생성 단계와, 미리 정해진 크기의 처리 단위 영역마다 상기 시점 합성 화상에 대응하는, 상기 복호 대상 시점에서의 이미 복호 완료된 참조 프레임상의 참조 영역을 탐색하는 참조 영역 추정 단계와, 상기 처리 단위 영역에 대한 상기 시점 합성 화상과 상기 참조 영역에 대한 상기 참조 프레임으로부터 카메라 간 미스매치를 보정하는 보정 파라미터를 추정하는 보정 파라미터 추정 단계와, 상기 추정된 보정 파라미터를 사용하여 상기 처리 단위 영역에 대한 상기 시점 합성 화상을 보정하는 시점 합성 화상 보정 단계와, 상기 보정된 시점 합성 화상을 예측 신호로서 사용하여 상기 복호 대상 시점에서의 예측 부호화된 복호 대상 프레임을, 상기 복호 대상 시점에 대한 영상의 부호화 데이터로부터 복호하는 화상 복호 단계를 포함하는 다시점 영상 복호 방법이다.
또 상술한 과제를 해결하기 위해 본 발명의 제4 관점은, 다시점 영상의 복호 대상 시점에 대한 영상을 복호할 때 상기 복호 대상 시점에서의 복호 대상 프레임과 같은 시각에 촬영된, 상기 복호 대상 시점과는 다른 참조 시점에서의 이미 복호된 참조 시점 프레임과, 상기 복호 대상 시점에서의 이미 복호된 참조 시점 프레임을 이용하여 다시점 영상을 복호하는 다시점 영상 복호 방법으로서, 상기 참조 시점 프레임으로부터, 상기 복호 대상 시점의 상기 복호 대상 프레임과 상기 참조 프레임에 대한 시점 합성 화상을 합성하는 시점 합성 화상 생성 단계와, 미리 정해진 크기의 처리 단위 영역마다 상기 복호 대상 프레임에 대한 시점 합성 화상에 대응하는, 상기 참조 프레임에 대한 시점 합성 화상상의 참조 영역을 탐색하는 참조 영역 추정 단계와, 상기 처리 단위 영역에 대한 상기 시점 합성 화상과 상기 참조 영역과 같은 위치의 상기 참조 프레임으로부터, 카메라 간 미스매치를 보정하는 보정 파라미터를 추정하는 보정 파라미터 추정 단계와, 상기 추정된 보정 파라미터를 이용하여 상기 처리 단위 영역에 대한 상기 시점 합성 화상을 보정하는 시점 합성 화상 보정 단계와, 상기 보정된 시점 합성 화상을 예측 신호로서 이용하여 상기 복호 대상 시점에서의 예측 부호화되어 있는 복호 대상 프레임을, 상기 복호 대상 시점에 대한 영상의 부호화 데이터로부터 복호하는 화상 복호 단계를 포함한 다시점 영상 복호 방법이다.
본 발명의 제3 또는 제4 관점에서, 상기 시점 합성 화상의 각 화소에 대해 상기 시점 합성 화상의 확실성을 나타내는 신뢰도를 설정하는 신뢰도 설정 단계를 더 포함하고, 상기 참조 영역 추정 단계는, 상기 신뢰도에 기초하여 상기 시점 합성 화상에 대응하는, 상기 참조 프레임상의 상기 참조 영역을 탐색할 때의 각 화소의 매칭 코스트에 가중치를 부여하도록 해도 좋다.
본 발명의 제3 또는 제4 관점에서, 상기 보정 파라미터 추정 단계는 상기 신뢰도에 기초하여 상기 보정 파라미터를 추정할 때의 각 화소의 매칭 코스트에 가중치를 부여하도록 해도 좋다.
본 발명의 제3 또는 제4 관점에서, 상기 시점 합성 화상의 각 화소에 대해 상기 참조 영역을 올바르게 추정할 수 있었는지 여부를 나타내는 추정 정밀도를 설정하는 추정 정밀도 설정 단계를 더 포함하고, 상기 보정 파라미터 추정 단계는, 상기 추정 정밀도 및 상기 신뢰도 중 어느 한쪽 또는 쌍방에 기초하여 상기 보정 파라미터를 추정할 때의 각 화소의 매칭 코스트에 가중치를 부여하도록 해도 좋다.
또 상술한 과제를 해결하기 위해 본 발명의 제5 관점은, 다시점 영상을 부호화하는 다시점 영상 부호화 장치로서, 상기 다시점 영상의 부호화 대상 시점에서의 부호화 대상 프레임과 같은 시각에 촬영된, 상기 부호화 대상 시점과는 다른 참조 시점에서의 이미 부호화된 참조 시점 프레임으로부터, 상기 부호화 대상 시점의 상기 부호화 대상 프레임에 대응하는 시점 합성 화상을 합성하는 시점 합성 화상 생성 수단과, 미리 정해진 크기의 처리 단위 영역마다 상기 시점 합성 화상 생성 수단에 의해 합성된 상기 시점 합성 화상에 대응하는, 상기 부호화 대상 시점에서의 이미 부호화된 참조 프레임상의 참조 영역을 탐색하는 참조 영역 추정 수단과, 상기 처리 단위 영역에 대한 상기 시점 합성 화상과 상기 참조 영역 추정 수단에 의해 탐색된 상기 참조 영역에 대한 상기 참조 프레임으로부터, 카메라 간 미스매치를 보정하는 보정 파라미터를 추정하는 보정 파라미터 추정 수단과, 상기 보정 파라미터 추정 수단에 의해 추정된 상기 보정 파라미터를 사용하여 상기 처리 단위 영역에 대한 상기 시점 합성 화상을 보정하는 시점 합성 화상 보정 수단과, 상기 시점 합성 화상 보정 수단에 의해 보정된 시점 합성 화상을 사용하여 상기 부호화 대상 시점의 영상을 예측 부호화하는 화상 부호화 수단을 구비하는 다시점 영상 부호화 장치이다.
본 발명의 제5 관점에서, 상기 시점 합성 화상 생성 수단에 의해 합성된 상기 시점 합성 화상의 각 화소에 대해 상기 시점 합성 화상의 확실성을 나타내는 신뢰도를 설정하는 신뢰도 설정 수단을 더 구비하고, 상기 참조 영역 추정 수단은 상기 신뢰도 설정 수단에 의해 설정된 상기 신뢰도에 기초하여 상기 시점 합성 화상에 대응하는, 상기 참조 프레임상의 상기 참조 영역을 탐색할 때의 각 화소의 매칭 코스트에 가중치를 부여하도록 해도 좋다.
본 발명의 제5 관점에서, 상기 보정 파라미터 추정 수단은 상기 신뢰도 설정 수단에 의해 설정된 상기 신뢰도에 기초하여 상기 보정 파라미터를 추정할 때의 각 화소의 매칭 코스트에 가중치를 부여하도록 해도 좋다.
본 발명의 제5 관점에서, 상기 시점 합성 화상 생성 수단에 의해 합성된 상기 시점 합성 화상의 각 화소에 대해 상기 참조 영역을 올바르게 추정할 수 있었는지 여부를 나타내는 추정 정밀도를 설정하는 추정 정밀도 설정 수단을 더 구비하고, 상기 보정 파라미터 추정 수단은 상기 추정 정밀도 설정 수단에 의해 설정된 상기 추정 정밀도 및 상기 신뢰도 설정 수단에 의해 설정된 상기 신뢰도 중 어느 한쪽 또는 쌍방에 기초하여 상기 보정 파라미터를 추정할 때의 각 화소의 매칭 코스트에 가중치를 부여하도록 해도 좋다.
또 상술한 과제를 해결하기 위해 본 발명의 제6 관점은, 다시점 영상을 복호하는 다시점 영상 복호 장치로서, 상기 다시점 영상의 복호 대상 시점에서의 복호 대상 프레임과 같은 시각에 촬영된, 상기 복호 대상 시점과는 다른 참조 시점에서의 참조 시점 프레임으로부터, 상기 복호 대상 시점의 상기 복호 대상 프레임에 대응하는 시점 합성 화상을 합성하는 시점 합성 화상 생성 수단과, 미리 정해진 크기의 처리 단위 영역마다 상기 시점 합성 화상 생성 수단에 의해 합성된 상기 시점 합성 화상에 대응하는, 상기 복호 대상 시점에서의 이미 복호 완료된 참조 프레임상의 참조 영역을 탐색하는 참조 영역 추정 수단과, 상기 처리 단위 영역에 대한 상기 시점 합성 화상과 상기 참조 영역 추정 수단에 의해 탐색된 상기 참조 영역에 대한 상기 참조 프레임으로부터, 카메라 간 미스매치를 보정하는 보정 파라미터를 추정하는 보정 파라미터 추정 수단과, 상기 보정 파라미터 추정 수단에 의해 추정된 상기 보정 파라미터를 사용하여 상기 처리 단위 영역에 대한 상기 시점 합성 화상을 보정하는 시점 합성 화상 보정 수단과, 상기 시점 합성 화상 보정 수단에 의해 보정된 시점 합성 화상을 예측 신호로서 사용하여 상기 복호 대상 시점에서의 예측 부호화된 복호 대상 프레임을, 상기 복호 대상 시점에 대한 영상의 부호화 데이터로부터 복호하는 화상 복호 수단을 가진 다시점 영상 복호 장치이다.
또 상술한 과제를 해결하기 위해 본 발명의 제7 관점은, 다시점 영상을 부호화하는 다시점 영상 부호화 장치의 컴퓨터에, 상기 다시점 영상의 부호화 대상 시점에서의 부호화 대상 프레임과 같은 시각에 촬영된, 상기 부호화 대상 시점과는 다른 참조 시점에서의 이미 부호화된 참조 시점 프레임으로부터, 상기 부호화 대상 시점의 상기 부호화 대상 프레임에 대응하는 시점 합성 화상을 합성하는 시점 합성 화상 생성 기능, 미리 정해진 크기의 처리 단위 영역마다 상기 시점 합성 화상에 대응하는, 상기 부호화 대상 시점에서의 이미 부호화된 참조 프레임상의 참조 영역을 탐색하는 참조 영역 추정 기능, 상기 처리 단위 영역에 대한 상기 시점 합성 화상과 상기 참조 영역에 대한 상기 참조 프레임으로부터, 카메라 간 미스매치를 보정하는 보정 파라미터를 추정하는 보정 파라미터 추정 기능, 상기 추정된 보정 파라미터를 사용하여 상기 처리 단위 영역에 대한 상기 시점 합성 화상을 보정하는 시점 합성 화상 보정 기능, 상기 보정된 시점 합성 화상을 사용하여 상기 부호화 대상 시점의 영상을 예측 부호화하는 화상 부호화 기능을 실행시키는 프로그램이다.
또 상술한 과제를 해결하기 위해 본 발명의 제8 관점은, 다시점 영상을 복호하는 다시점 영상 복호 장치의 컴퓨터에, 상기 다시점 영상의 복호 대상 시점에서의 복호 대상 프레임과 같은 시각에 촬영된, 상기 복호 대상 시점과는 다른 참조 시점에서의 참조 시점 프레임으로부터, 상기 복호 대상 시점의 상기 복호 대상 프레임에 대응하는 시점 합성 화상을 합성하는 시점 합성 화상 생성 기능, 미리 정해진 크기의 처리 단위 영역마다 상기 시점 합성 화상에 대응하는, 상기 복호 대상 시점에서의 이미 복호 완료된 참조 프레임상의 참조 영역을 탐색하는 참조 영역 추정 기능, 상기 처리 단위 영역에 대한 상기 시점 합성 화상과 상기 참조 영역에 대한 상기 참조 프레임으로부터, 카메라 간 미스매치를 보정하는 보정 파라미터를 추정하는 보정 파라미터 추정 기능, 상기 추정된 보정 파라미터를 사용하여 상기 처리 단위 영역에 대한 상기 시점 합성 화상을 보정하는 시점 합성 화상 보정 기능, 상기 보정된 시점 합성 화상을 예측 신호로서 사용하여 상기 복호 대상 시점에서의 예측 부호화된 복호 대상 프레임을, 상기 복호 대상 시점에 대한 영상의 부호화 데이터로부터 복호하는 화상 복호 기능을 실행시키는 프로그램이다.
본 발명에 의하면, 카메라 간의 휘도나 색의 미스매치가 국소적으로 발생한 경우에도 보정 파라미터를 별도 부호화/복호하지 않고 효율적인 다시점 화상이나 다시점 동화상의 부호화/복호를 실현할 수 있다.
도 1은 본 발명의 제1 실시형태에 의한 다시점 영상 부호화 장치의 구성을 도시한 블록도이다.
도 2는 본 제1 실시형태에 의한 다시점 영상 부호화 장치(100)의 시점 합성 화상 보정부(108)의 구성을 도시한 블록도이다.
도 3은 본 제1 실시형태에 의한 다시점 영상 부호화 장치(100)의 동작을 설명하기 위한 흐름도이다.
도 4는 본 제2 실시형태에 의한 다시점 영상 복호 장치의 구성을 도시한 블록도이다.
도 5는 본 제2 실시형태에 의한 다시점 영상 복호 장치(200)의 시점 합성 화상 보정부(208)의 구성을 도시한 블록도이다.
도 6은 본 제2 실시형태에 의한 다시점 영상 복호 장치(200)의 동작을 설명하기 위한 흐름도이다.
도 7은 종래기술에서의 카메라 간에 발생하는 시차를 도시한 개념도이다.
본 발명의 실시형태에서는, 생성한 시점 합성 화상을 사용하여 처리중의 영역에 대한 이미 부호화된 프레임상의 대응 영역을 구하고, 부호화된 프레임에서의 대응 영역의 영상 신호를 레퍼런스로 하여 시점 합성 화상의 휘도나 색의 보정을 한다. 본 발명의 실시형태에서는, 종래 수법이 이용한 인접 영역에는 같은 피사체가 찍혀 있다는 가정이 아닌, 피사체에 의존하는 색이나 휘도의 미스매치가 시간적으로는 크게 변화하지 않는다는 가정을 이용하여 보정 파라미터를 구한다. 일반적으로, 프레임 내에는 복수의 피사체가 포함되어 있기 때문에 종래의 가정이 어긋나는 영역은 반드시 존재한다. 한편 씬 체인지 등으로 급격하게 씬이 변화하지 않는 한 시간적으로 미스매치는 변화하지 않기 때문에 본 발명의 실시형태가 유효하게 기능한다. 즉, 종래의 수법이 보정에 실패한 영역에서도 미스매치를 감소시키는 보정을 할 수 있게 되어 효율적인 다시점 영상 부호화를 실현할 수 있게 된다.
이하, 본 발명의 실시형태를 도면을 참조하여 설명하기로 한다.
아울러 이하의 설명에서는 영상(프레임)에 기호[]로 끼워진 위치를 특정 가능한 정보(좌표치 또는 좌표치에 대응시킬 수 있는 인덱스)를 부가함으로써 그 위치의 화소에 관하여 샘플링된 영상 신호를 나타내는 것으로 한다.
A. 제1 실시형태
우선, 본 발명의 제1 실시형태에 대해서 설명하기로 한다.
도 1은 본 발명의 제1 실시형태에 의한 다시점 영상 부호화 장치의 구성을 도시한 블록도이다. 도 1에서 다시점 영상 부호화 장치(100)는 부호화 대상 프레임 입력부(101), 부호화 대상 화상 메모리(102), 참조 시점 프레임 입력부(103), 참조 시점 화상 메모리(104), 시점 합성부(105), 시점 합성 화상 메모리(106), 신뢰도 설정부(107), 시점 합성 화상 보정부(108), 예측 잔차 부호화부(109), 예측 잔차 복호부(110), 복호 화상 메모리(111), 예측 잔차 산출부(112) 및 복호 화상 산출부(113)를 구비하고 있다.
부호화 대상 프레임 입력부(101)는 부호화 대상이 되는 영상 프레임(부호화 대상 프레임)을 입력한다. 부호화 대상 화상 메모리(102)는 입력된 부호화 대상 프레임을 축적한다. 참조 시점 프레임 입력부(103)는 부호화 대상 프레임과는 다른 시점(참조 시점)에 대한 참조 영상 프레임(참조 시점 프레임)을 입력한다. 참조 시점 화상 메모리(104)는 입력된 참조 시점 프레임을 축적한다. 시점 합성부(105)는 참조 시점 프레임을 사용하여 부호화 대상 프레임에 대한 시점 합성 화상을 생성한다. 시점 합성 화상 메모리(106)는 생성된 시점 합성 화상을 축적한다.
신뢰도 설정부(107)는 생성된 시점 합성 화상의 화소별 신뢰도를 설정한다. 시점 합성 화상 보정부(108)는 시점 합성 화상의 카메라 간 미스매치를 보정하여 보정 시점 합성 화상을 출력한다. 예측 잔차 산출부(112)는 부호화 대상 프레임과 보정 시점 합성 화상과의 차(예측 잔차 신호)를 생성한다. 예측 잔차 부호화부(109)는 생성된 예측 잔차 신호를 부호화하여 부호화 데이터를 출력한다. 예측 잔차 복호부(110)는 예측 잔차 신호의 부호화 데이터를 복호한다. 복호 화상 산출부(113)는 복호된 예측 잔차 신호와 보정 시점 합성 화상을 합하여 부호화 대상 프레임의 복호 화상을 생성한다. 복호 화상 메모리(111)는 생성된 복호 화상을 축적한다.
도 2는 본 제1 실시형태에 의한 다시점 영상 부호화 장치(100)의 시점 합성 화상 보정부(108)의 구성을 도시한 블록도이다. 도 2에서, 본 제1 실시형태의 시점 합성 화상 보정부(108)는 시점 합성 화상을 사용하여 부호화 대상 블록에 대응하는 참조 프레임상의 블록을 참조 영역으로서 탐색하는 참조 영역 설정부(1081)와, 참조 영역의 화소마다 대응 영역을 올바르게 설정할 수 있었는지 여부를 나타내는 추정 정밀도를 설정하는 추정 정밀도 설정부(1082)와, 시점 합성 화상에서의 카메라 간 미스매치를 보정하기 위한 파라미터를 추정하는 보정 파라미터 추정부(1083)와, 구해진 보정 파라미터에 따라 시점 합성 화상을 보정하는 화상 보정부(1084)를 구비한다.
도 3은 본 제1 실시형태에 의한 다시점 영상 부호화 장치(100)의 동작을 설명하기 위한 흐름도이다. 이 흐름도에 따라 다시점 영상 부호화 장치(100)가 실행하는 처리에 대해서 상세히 설명한다.
우선 부호화 대상 프레임 입력부(101)로부터 부호화 대상 프레임Org가 입력되어 부호화 대상 화상 메모리(102)에 저장된다(단계Sa1). 또 참조 시점 프레임 입력부(103)로부터 부호화 대상 프레임Org와 같은 시각에 참조 시점에서 촬영된 참조 시점 프레임Refn이 입력되어(n=1,2,…,N) 참조 시점 화상 메모리(104)에 축적된다(단계Sa1). 여기에서 입력되는 참조 시점 프레임은 이미 부호화 완료된 화상을 복호한 것으로 한다. 이것은, 복호 장치에서 얻어지는 정보와 같은 정보를 사용함으로써 드리프트 등의 부호화 노이즈의 발생을 억제하기 위함이다. 단, 이러한 부호화 노이즈의 발생을 허용하는 경우에는 부호화 전의 오리지널의 것이 입력되어도 좋다. 아울러 n은 참조 시점을 가리키는 인덱스이고, N은 여기에서 이용 가능한 참조 시점의 수이다.
다음으로, 시점 합성부(105)에서 참조 시점 프레임의 정보로부터, 부호화 대상 프레임과 같은 시각에 같은 시점에서 촬영된 화상을 합성하고 생성된 시점 합성 화상Syn을 시점 합성 화상 메모리(106)에 축적한다(단계Sa2). 이 시점 합성 화상Syn의 생성법에는 어떠한 방법을 사용해도 좋다. 예를 들면, 참조 시점 프레임의 영상 정보 이외에 참조 시점 프레임에 대한 깊이 정보가 주어진다면, 전술한 비특허문헌 2나 비특허문헌 5(Y. Mori, N. Fukushima, T. Fujii, and M. Tanimoto, "View Generation with 3D Warping Using Depth Information for FTV," Proceedings of 3DTV-CON2008, pp. 229-232, May 2008.) 등에 기재되어 있는 수법을 사용할 수 있다.
또 부호화 대상 프레임에 대한 깊이 정보가 얻어진 경우에는 비특허문헌 6(S. Yea and A. Vetro, "View Synthesis Prediction for Rate-Overhead Reduction in FTV," Proceedings of 3DTV-CON2008, pp. 145-148, May 2008.) 등에 기재되어 있는 수법을 사용하는 것도 가능하다. 깊이 정보가 전혀 얻어지지 않는 경우에는 비특허문헌7(J. Sun, N. Zheng, and H. Shum, "Stereo Matching Using Belief Propagation," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 25, No. 7, pp. 787-800, July 2003.) 등에 기재된 스테레오법이나 깊이 추정법이라고 불리는 수법을 사용하여 참조 시점 프레임 또는 부호화 대상 프레임에 대한 깊이 정보를 작성한 후에 전술한 바와 같은 수법을 적용하여 시점 합성 화상을 생성할 수 있다(비특허문헌 8: S. Shimizu, Y. Tonomura, H. Kimata, and Y. Ohtani, "Improved View Interpolation Prediction for Side Information in Multiview Distributed Video Coding," Proceedings of ICDSC2009, August 2009.). 깊이 정보를 명확하게는 생성하지 않고 참조 시점 프레임으로부터 시점 합성 화상을 직접 생성하는 방법도 있다(전술한 비특허문헌 3 참조).
아울러 이러한 수법을 사용하려면 기본적으로 카메라의 위치 관계나 카메라에 의한 투영 프로세스를 나타내는 카메라 파라미터가 필요하게 된다. 이러한 카메라 파라미터도 참조 시점 프레임으로부터 추정할 수 있다. 아울러 깊이 정보나 카메라 파라미터 등을 복호측에서 추정하지 않는 경우 부호화 장치 내에서 사용한 그들 정보를 별도 부호화하여 전송할 필요가 있다.
다음으로, 신뢰도 설정부(107)에서 시점 합성 화상의 각 화소에 대해 그 화소에 대한 합성을 어느 정도의 확실성으로 실현할 수 있었는지를 나타내는 신뢰도ρ를 생성한다(단계Sa3). 본 제1 실시형태에서는, 신뢰도ρ는 0∼1까지의 실수로 하는데, 큰 값일수록 신뢰도가 높다는 정의의 것이라면 어떻게 신뢰도를 표현해도 좋다. 예를 들면 1 이상의 8비트 정수로 신뢰도를 표현해도 상관없다.
신뢰도ρ는, 상술한 바와 같이 합성이 어느 정도 정확하게 행해졌는지를 나타낼 수 있다면 어떠한 것이어도 상관없다. 예를 들면 가장 간단한 것으로서는, 시점 합성 화상의 각 화소가 대응하는 참조 시점 프레임상의 화소의 화소치의 분산치를 사용하는 방법이 있다. 대응 화소 간에서 화소치가 가까울수록 같은 피사체를 동정(同定)하여 올바르게 시점 합성할 수 있었다는 것을 나타내기 때문에 분산이 작을수록 신뢰도가 높다는 것을 나타낸다. 즉, 신뢰도는 분산 역수를 사용하여 표현된다. 시점 합성 화상Syn[p]를 합성할 때 사용한 각 참조 시점 프레임의 화소를 Refn[pn]으로 표시한다면, 다음 수식(1)이나 수식(2)를 사용하여 신뢰도를 표현할 수 있다.
[수식 1]
Figure 112012066511905-pct00001
[수식 2]
Figure 112012066511905-pct00002
분산의 최소치가 0이므로 함수max를 사용하여 신뢰도를 정의할 필요가 있다. 아울러 max는, 주어진 집합에 대한 최대치를 되돌리는 함수이다. 또 기타 함수는 다음 수식(3)으로 표현되는 것이다.
[수식 3]
Figure 112012066511905-pct00003
분산 이외에도 다음 수식(4)로 표시되는, 대응하는 참조 시점 프레임의 화소의 최대치와 최소치와의 차diff(p)를 사용하는 방법도 있다. 또 분산 역수가 아닌 다음 수식(4)'와 같이 지수 함수를 사용한 신뢰도를 정의해도 좋다. 아울러 함수f는 상술한 var1, var2, diff 중 어느 것이어도 상관없다. 이 경우 함수f의 치역에 0이 포함되어 있어도 신뢰도를 정의할 수 있다.
[수식 4]
Figure 112012066511905-pct00004
이들 방법은 단순하지만 폐쇄(occlusion)의 발생을 고려하지 않기 때문에 항상 최적의 신뢰도를 얻을 수 있다고는 볼 수 없다. 그래서 폐쇄의 발생을 고려하여 참조 시점 프레임을 대응 화소의 화소치에 의해 클러스터링하고, 가장 큰 클러스터에 속하는 참조 시점 프레임의 대응 화소의 화소치에 대해 분산치나 최대치와 최소치와의 차를 계산하여 사용해도 좋다.
또 다른 방법으로서는, 시점 간의 대응점에서의 오차가 정규 분포나 라플라스 분포에 따른다고 가정하고 분포 평균치나 분산치를 파라미터로 하여 상기 수식(4)의 diff 등으로 구해지는 각 화소의 오차량에 대응하는 확률의 값을 사용하여 신뢰도를 정의해도 좋다. 그때에 분포의 모델이나 그 평균치나 분산치는 미리 정해진 것을 사용해도 좋고 사용한 모델의 정보를 부호화하여 전송해도 좋다. 일반적으로 피사체가 완전 확산 반사되어 있다면 이론적으로 분포 평균치는 0이라고 생각할 수 있기 때문에 모델을 간략화해도 좋다.
또 시점 합성 화상을 생성했을 때의 대응점이 얻어지는 깊이 부근에서 대응 화소의 화소치의 오차량이 최소라고 가정하면 깊이를 미소하게 변화시켰을 때의 오차량의 변화로부터 오차 분포 모델을 추정하고, 그 오차 분포 모델 그 자체나 그 오차 분포 모델과 시점 합성 화상 생성 시의 참조 시점 프레임상의 대응 화소의 화소치에 기초한 값을 사용하여 신뢰도를 정의하는 방법을 사용해도 좋다.
오차 분포 모델만을 사용한 정의로서는, 오차의 발생 확률이 그 오차 분포에 따를 때에 오차가 일정 범위 내에 들어가는 확률을 신뢰도로 하는 방법이 있다. 오차 분포 모델과 시점 합성 화상 생성 시의 참조 시점 프레임상의 대응 화소의 화소치를 사용한 정의로서는, 오차의 발생 확률이 추정한 오차 분포에 따르기로 한 경우에 시점 합성 화상 생성 시의 참조 시점 프레임상의 대응 화소의 화소치로 표시되는 상황이 발생하는 확률을 신뢰도로 하는 방법이 있다.
또 다른 방법으로서, 시점 합성을 할 때에 필요한 시차(깊이)를 추정할 때에 Belief Propagation이라고 불리는 수법(상술한 비특허문헌 7)을 사용했을 때에 얻어지는 시차(깊이)에 대한 확률의 값을 신뢰도로 해도 상관없다. Belief Propagation 이외에도 시점 합성 화상의 각 화소에 대해 해답의 확실성을 내부적으로 계산하는 깊이 추정 알고리즘이라면, 그 정보를 신뢰도로서 사용할 수 있다.
시점 합성 화상 생성 시에 대응점 탐색이나 스테레오법, 깊이 추정을 할 경우에는 대응점의 정보나 깊이 정보를 구하는 처리의 일부가 신뢰도 계산의 일부와 동일해지는 경우가 있다. 그와 같은 경우에는 시점 합성 화상 생성과 신뢰도 계산을 동시에 행함으로써 연산량을 삭감할 수 있다.
신뢰도의 계산이 종료되면, 부호화 대상 프레임을 블록으로 분할하고 그 영역마다 시점 합성 화상 보정부(108)에서 시점 합성 화상의 카메라 간 미스매치를 보정하면서 부호화 대상 프레임의 영상 신호를 부호화한다(단계Sa4∼Sa12). 즉, 부호화 대상 블록 인덱스를 blk, 총부호화 대상 블록수를 numBlks로 표시한다면 blk를 0으로 초기화하고(단계Sa4), 그 후 blk에 1을 가산하면서(단계Sa11) blk가 numBlks가 될 때까지(단계Sa12) 이하의 처리(단계Sa5∼Sa10)를 반복한다.
아울러 시점 합성 화상의 생성이나 신뢰도의 계산을 부호화 대상 블록마다 할 수 있다면, 그 처리도 부호화 대상 블록마다 반복하는 처리의 일부로서 수행할 수 있다. 예를 들면 부호화 대상 블록에 대한 깊이 정보가 주어진 경우가 해당된다.
부호화 대상 블록마다 반복되는 처리로는, 우선 참조 영역 설정부(1081)에서 시점 합성 화상을 사용하여 블록blk에 대응하는 참조 프레임상의 블록인 부분의 참조 영역을 찾아낸다(단계Sa5). 여기에서 참조 프레임이란, 이미 부호화 처리가 종료된 데이터를 복호하는 얻어지는 로컬 디코딩 화상이다. 이 로컬 디코딩 화상의 데이터는 복호 화상 메모리(111)에 축적되는 데이터이다.
아울러 로컬 디코딩 화상을 사용하는 것은, 복호측에서 같은 타이밍으로 취득 가능한 데이터와 동일한 것을 사용함으로써 드리프트라고 불리는 부호화 왜곡의 발생을 방지하기 위함이다. 그와 같은 부호화 왜곡의 발생을 허용한다면 로컬 디코딩 화상이 아닌 부호화 대상 프레임보다 먼저 부호화된 입력 프레임을 사용해도 좋다.
참조 영역을 구하는 처리는, 시점 합성 화상Syn[blk]를 템플릿으로 하여 적합도를 최대화 또는 괴리도를 최소화하는 대응 블록을, 복호 화상 메모리(111)에 축적되어 있는 로컬 디코딩 화상상에서 구하는 처리이다. 본 제1 실시형태에서는 괴리도를 나타내는 매칭 코스트를 사용하는 것으로 한다. 괴리도를 나타내는 매칭 코스트의 구체 예로서는, 다음 수식(5)나 수식(6)이 있다.
[수식 5]
Figure 112012066511905-pct00005
[수식 6]
Figure 112012066511905-pct00006
여기에서 vec는 대응 블록간의 벡터이고, t는 복호 화상 메모리(111)에 축적되어 있는 로컬 디코딩 화상Dec 중 하나를 나타내는 인덱스치로 한다. 이들 이외에 시점 합성 화상과 로컬 디코딩 화상 간의 차분치를 DCT(Discrete Cosine Transform: 이산 코사인 변환)나 아다마르(Hadamard) 변환 등을 사용하여 변환한 값을 사용한 방법이 있다. 그 변환을 행렬A로 표시하면 다음 수식(7)이나 수식(8)로 표시할 수 있다. 아울러 ||X||는 X의 놈(Norm)을 나타낸다.
[수식 7]
Figure 112012066511905-pct00007
[수식 8]
Figure 112012066511905-pct00008
즉, 이들 매칭 코스트를 최소화하는 블록을 구하는 처리는, 다음 수식(9)로 표시되는 (best_vec,best_t)의 조를 구하게 된다. 여기에서 argmin은 주어진 함수를 최소화하는 파라미터를 구하는 처리를 나타낸다. 도출하는 파라미터의 집합은 argmin의 하부에서 주어지는 집합이다.
[수식 9]
Figure 112012066511905-pct00009
탐색하는 프레임수, 탐색 범위 및 탐색 순서나 중단을 결정하는 방법에는 임의의 방법을 사용해도 좋다. 단, 정확하게 복호하기 위해서는 복호측에 사용하는 것과 동일한 것을 사용할 필요가 있다. 아울러 탐색 범위나 중단 방법은 연산 코스트에 큰 영향을 준다. 보다 적은 탐색 범위에서 높은 매칭 정밀도를 내기 위한 하나의 방법으로서, 탐색 중심을 적절하게 설정하는 방법이 있다. 일례로서는, 참조 시점 프레임상의 대응 영역에서 사용되었던 움직임 벡터로 표시되는 대응점을 탐색 중심으로 하는 방법이 있다.
또 복호측의 탐색에 관한 연산 코스트를 삭감하는 다른 방법으로서, 탐색하는 대상의 프레임을 한정하는 방법이 있다. 사전에 탐색 대상의 프레임 결정법을 결정해도 상관없다. 예를 들면, 가장 직전에 부호화가 종료된 프레임을 탐색 대상으로 하는 방법이 이에 상당한다. 또 탐색 대상 프레임을 한정하는 다른 방법으로서, 어떤 프레임을 대상으로 하는지를 나타내는 정보를 부호화하여 복호측에 통지하는 방법도 있다. 이 경우, 복호측에서는 탐색 대상 프레임을 나타내는 인덱스치 등의 정보를 복호하고 그에 기초하여 탐색 대상 프레임을 결정하는 기구를 구비할 필요가 있다.
본 제1 실시형태에서는, 부호화 대상 블록blk에 대응하는 블록을 하나만 구한다. 그러나 필요한 데이터는 시간적으로 다른 프레임의 영상 신호를 사용하여 표현된 부호화 대상 블록의 영상 신호의 예측치이다. 따라서 부호화 대상 블록blk 내의 각 화소에 대해 대응 화소를 구하고 그것들을 블록 형태로 나열하여 만들어지는 영상 신호를 참조 영역으로 해도 상관없다. 또 부호화 대상 블록blk에 대응하는 블록을 여러 개 설정하고 그 여러 개의 블록에서의 영상 신호의 평균치로 표시되는 영상 신호를 참조 영역으로 해도 상관없다. 이와 같이 함으로써 탐색 대상 프레임에 노이즈가 중첩되어 있는 경우나 탐색 정밀도가 낮은 경우에 그들의 영향을 줄여 보다 탄탄하게 참조 영역을 설정할 수 있게 된다.
참조 영역Ref[blk](=Dect[blk+vec])가 결정되면, 추정 정밀도 설정부(1082)에서 참조 영역Ref[blk]의 화소마다 참조 영역이 어느 정도 올바르게 얻어졌는지를 나타내는 추정 정밀도ψ를 설정한다(단계Sa6). 추정 정밀도에는 어떠한 값을 사용해도 좋지만, 시점 합성 화상 및 참조 프레임에서의 대응 화소 간의 오차량에 의존한 값을 사용할 수 있다. 예를 들면 수식(10)이나 수식(11)로 표시되는 제곱 오차나 절대값 오차의 역수나, 수식(12)나 수식(13)으로 표시되는 제곱 오차나 절대값 오차에 마이너스를 곱한 값 등이 있다. 또 다른 예로서는 오차가 라플라스 분포 등에 따른다고 가정하여 얻어진 대응 화소 간의 화상 신호의 차분에 대응하는 확률을 추정 정밀도로서 사용해도 좋다. 라플라스 분포 등의 파라미터는 별도 부여해도 좋고 참조 영역 추정 시에 계산하는 오차의 분포로부터 추정해도 좋다. 수식(14)가 평균을 0으로 하는 라플라스 분포를 사용하는 경우의 예이며, φ는 파라미터가 된다.
[수식 10]
Figure 112012066511905-pct00010
[수식 11]
Figure 112012066511905-pct00011
[수식 12]
Figure 112012066511905-pct00012
[수식 13]
Figure 112012066511905-pct00013
[수식 14]
Figure 112012066511905-pct00014
추정 정밀도의 설정이 종료되면, 보정 파라미터 추정부(1083)에서 시점 합성 화상Syn[blk]를 보정하기 위한 보정 파라미터를 추정한다(단계Sa7). 보정 방법이나 보정 파라미터 추정에는 어떠한 방법을 사용해도 좋지만, 복호측에서 사용되는 것과 같은 방법을 사용할 필요가 있다.
보정 방법의 예로서는, 오프셋치에 의한 보정, 1차함수에 의한 보정, 감마 보정 등이 있다. 각각 보정 전의 값을 in, 보정 후의 값을 out으로 하면, 이하의 수식(15),(16),(17)로 표시할 수 있다.
[수식 15]
Figure 112012066511905-pct00015
[수식 16]
Figure 112012066511905-pct00016
[수식 17]
Figure 112012066511905-pct00017
이들 예에서는, 각각 오프셋, (α,β), (γ,a,b)가 보정 파라미터이다. 부호화 대상 블록blk에 찍혀 있는 피사체의 화상 신호가 시간적으로 변화하지 않는다고 가정하면, 보정 전의 값이 시점 합성 화상의 화상 신호이고, 이상적인 보정 후의 값이 참조 영역의 화상 신호가 된다. 즉, 이 2개의 화상 신호의 괴리도로 표시되는 매칭 코스트가 작아지도록 보정 파라미터를 구함으로써 고정밀도의 보정을 할 수 있게 된다. 아울러 매칭 코스트를 2개의 화상 신호의 적합도로 표시할 경우에는 매칭 코스트를 최대화하도록 파라미터를 구하게 된다.
즉, 보정 처리를 나타내는 함수를 F로 하고, 2개의 화상 신호의 괴리도를 나타내는 매칭 코스트 함수를 C로 하면, 보정 파라미터를 구하는 처리는 다음 수식(18)로 표시할 수 있다.
[수식 18]
Figure 112012066511905-pct00018
여기에서 parF는 보정 방법F의 보정 파라미터의 집합을 나타내고, argmin은 주어진 함수를 최소화하는 파라미터를 구하는 처리를 나타낸다. 도출하는 파라미터의 집합은 argmin의 하부에서 주어진 집합이다.
매칭 코스트에는 어떠한 것을 사용해도 좋지만, 예를 들면 2개 신호의 차의 제곱을 사용할 수 있다. 또 매칭 코스트에서, 시점 합성 화상의 신뢰도나 참조 영역의 추정 정밀도나 그 두 가지 모두를 사용하여 화소마다 가중치(weight) 부여를 해도 좋다. 다음 수식(19), (20), (21), (22)는 2개 신호의 차의 제곱을 괴리도로 할 때에 각각 전혀 가중치 부여를 하지 않는 경우, 시점 합성 화상의 신뢰도에 가중치 부여를 하는 경우, 참조 영역의 추정 정밀도에 가중치 부여를 하는 경우, 시점 합성 화상의 신뢰도와 참조 영역의 추정 정밀도 모두에 가중치 부여를 하는 경우의 매칭 코스트 함수의 예를 나타낸다.
[수식 19]
Figure 112012066511905-pct00019
[수식 20]
Figure 112012066511905-pct00020
[수식 21]
Figure 112012066511905-pct00021
[수식 22]
Figure 112012066511905-pct00022
예를 들면, 오프셋치에 의한 보정으로는, 매칭 코스트 함수로서 수식(22)를 사용한 경우에는 다음 수식(23)을 사용하여 오프셋을 구할 수 있다.
[수식 23]
Figure 112012066511905-pct00023
1차함수에 의한 보정을 할 경우에는 최소 제곱법을 사용하여 제곱 오차를 최소화하는 파라미터를 도출할 수 있다.
아울러 이들 보정 파라미터는 휘도나 색차 신호마다 구해도 좋고, RGB 등의 색채널마다 구해도 좋다. 또 각 채널을 세분화하여 일정 레인지마다 다른 보정을 하는 것도 가능하다(예를 들면 R채널의 0∼127과 128∼255에서 다른 보정 파라미터를 사용한 보정을 한다).
보정 파라미터의 추정이 종료되면, 화상 보정부(1084)에서 블록blk에 대한 시점 합성 화상을 보정 파라미터에 따라 보정하고 보정 시점 합성 화상Pred를 생성한다(단계Sa8). 여기에서의 처리는, 보정 파라미터를 대입한 보정 모델에 시점 합성 화상을 입력하면 된다. 예를 들면 오프셋치를 사용한 보정을 할 경우에는 이하의 수식(24)에 따라 보정 시점 합성 화상Pred가 생성된다.
[수식 24]
Figure 112012066511905-pct00024
블록blk의 시점 합성 화상의 보정이 완료되면, 보정 시점 합성 화상Pred를 예측 화상으로서 사용하여 부호화 대상 프레임Org[blk]를 예측 부호화한다(단계Sa9). 즉, 부호화 대상 프레임Org[blk]와 보정 시점 합성 화상Pred의 차분을 예측 잔차로 하여 예측 잔차 산출부(112)에서 생성하고, 그 예측 잔차를 예측 잔차 부호화부(109)에서 부호화한다. 어떠한 부호화 방법을 사용해도 좋지만 H.264 등의 일반적인 부호화 수법으로는, 예측 잔차에 대해 DCT·양자화·2치화·엔트로피 부호화를 실시함으로써 부호화를 행한다.
부호화 결과의 비트 스트림은 다시점 영상 부호화 장치(100)의 출력이 됨과 동시에 블록마다 예측 잔차 복호부(110)에서 복호되고, 복호 결과와 보정 시점 합성 화상Pred를 복호 화상 산출부(113)에서 합하여 로컬 디코딩 화상Deccur[blk]를 구축한다. 구축된 로컬 디코딩 화상은 장래의 예측에 사용하기 위해 복호 화상 메모리(111)에 축적한다(단계Sa10).
B. 제2 실시형태
다음으로, 본 발명의 제2 실시형태에 대해서 설명하기로 한다.
도 4는 본 제2 실시형태에 의한 다시점 영상 복호 장치의 구성을 도시한 블록도이다. 도 4에서, 다시점 영상 복호 장치(200)는 부호화 데이터 입력부(201), 부호화 데이터 메모리(202), 참조 시점 프레임 입력부(203), 참조 시점 화상 메모리(204), 시점 합성부(205), 시점 합성 화상 메모리(206), 신뢰도 설정부(207), 시점 합성 화상 보정부(208), 예측 잔차 복호부(210), 복호 화상 메모리(211) 및 복호 화상 산출부(212)를 구비하고 있다.
부호화 데이터 입력부(201)는 복호 대상이 되는 영상 프레임(복호 대상 프레임)에 대한 부호화 데이터를 입력한다. 부호화 데이터 메모리(202)는 입력된 부호화 데이터를 축적한다. 참조 시점 프레임 입력부(203)는 복호 대상 프레임과는 다른 시점에 대한 영상 프레임인 참조 시점 프레임을 입력한다. 참조 시점 화상 메모리(204)는 입력된 참조 시점 프레임을 축적한다. 시점 합성부(205)는 참조 시점 프레임을 사용하여 복호 대상 프레임에 대한 시점 합성 화상을 생성한다. 시점 합성 화상 메모리(206)는 생성된 시점 합성 화상을 축적한다.
신뢰도 설정부(207)는 생성된 시점 합성 화상의 화소별 신뢰도를 설정한다. 시점 합성 화상 보정부(208)는 시점 합성 화상의 카메라 간 미스매치를 보정하여 보정 시점 합성 화상을 출력한다. 예측 잔차 복호부(210)는 부호화 데이터로부터 복호 대상 프레임과 보정 시점 합성 화상과의 차를 예측 잔차 신호로서 복호한다. 복호 화상 메모리(211)는 복호된 예측 잔차 신호와 보정 시점 합성 화상을 복호 화상 산출부(212)에서 합하여 얻어지는 복호 대상 프레임의 복호 화상을 축적한다.
아울러 상술한 다시점 영상 복호 장치(200)의 구성에서, 참조 시점 프레임 입력부(203), 참조 시점 화상 메모리(204), 시점 합성부(205), 시점 합성 화상 메모리(206), 신뢰도 설정부(207), 시점 합성 화상 보정부(208), 예측 오차 복호부(210) 및 복호 화상 메모리(211)는 각각 제1 실시형태에 의한 다시점 영상 부호화 장치(100)에서의 참조 시점 프레임 입력부(103), 참조 시점 화상 메모리(104), 시점 합성부(105), 시점 합성 화상 메모리(106), 신뢰도 설정부(107), 시점 합성 화상 보정부(108), 예측 오차 복호부(110) 및 복호 화상 메모리(111)와 같다.
또 시점 합성 화상 보정부(208)의 구성은, 상술한 제1 실시형태 의한 다시점 영상 부호화 장치(100)의 시점 합성 화상 보정부(108)(도 2)와 동일하다. 단, 이하의 설명에서는 도 5에 도시한 바와 같이, 참조 영역 설정부(2081), 추정 정밀도 설정부(2082), 보정 파라미터 추정부(2083), 화상 보정부(2084)로서 설명하기로 한다.
도 6은 본 제2 실시형태에 의한 다시점 영상 복호 장치(200)의 동작을 설명하기 위한 흐름도이다. 이 흐름도에 따라 다시점 영상 복호 장치(200)가 실행하는 처리에 대해 상세히 설명한다.
우선 부호화 데이터 입력부(201)로부터 복호 대상 프레임에 대한 부호화 데이터가 입력되어 부호화 데이터 메모리(202)에 저장된다(단계Sb1). 또 참조 시점 프레임 입력부(203)로부터, 복호 대상 프레임과 같은 시각에 참조 시점에서 촬영된 참조 시점 프레임Refn이 입력되어(n=1,2,…,N) 참조 시점 화상 메모리(204)에 축적된다(단계Sb1).
여기에서 입력되는 참조 시점 프레임은 별도로 복호된 화상으로 한다. 드리프트라고 불리는 부호화 노이즈의 발생을 막기 위해서는 부호화 장치에서 사용한 것과 동일한 것이 입력될 필요가 있다. 그러나 그 부호화 노이즈의 발생을 허용할 경우에는 부호화 장치에서 사용된 것과 다른 것이 입력되어도 좋다. 아울러 n은 참조 시점을 가리키는 인덱스이고, N은 여기에서 이용 가능한 참조 시점의 수이다.
다음으로, 시점 합성부(205)에서 참조 시점 프레임의 정보로부터, 복호 대상 프레임과 같은 시각에 같은 시점에서 촬영된 화상을 합성하고 생성된 시점 합성 화상Syn을 시점 합성 화상 메모리(206)에 축적한다(단계Sb2). 그리고 신뢰도 설정부(207)에서 시점 합성 화상의 각 화소에 대해 그 화소에 대한 합성을 어느 정도의 확실성으로 실현할 수 있었는지를 나타내는 신뢰도ρ를 생성한다(단계Sb3). 이러한 처리는 각각 제1 실시형태의 단계Sa2 및 단계Sa3와 동일하다.
신뢰도의 계산이 종료되면 미리 정해진 블록마다 시점 합성 화상 보정부(208)에서 시점 합성 화상의 카메라 간 미스매치를 보정하면서 복호 대상 프레임의 영상 신호를 복호한다(단계Sb4∼Sb12). 즉, 복호 대상 블록 인덱스를 blk, 총복호 대상 블록수를 numBlks로 표시한다면 blk를 0으로 초기화하고(단계Sb4), 그 후 blk에 1을 가산하면서(단계Sb11) blk가 numBlks가 될 때까지(단계Sb12) 이하의 처리(단계Sb5∼Sb10)를 반복한다.
아울러 시점 합성 화상의 생성이나 신뢰도의 계산을 복호 대상 블록마다 할 수 있다면, 그 처리도 복호 대상 블록마다 반복하는 처리의 일부로서 수행할 수 있다. 예를 들면, 복호 대상 블록에 대한 깊이 정보가 주어지는 경우가 해당된다. 또 후술하는 단계Sb9는 블록마다 행하지 않고 사전에 전부의 블록에 대해 행하고 그 결과를 축적하여 이용해도 좋다. 단, 그 경우에는 복호 예측 잔차 신호를 축적하는 메모리가 필요해진다.
복호 대상 블록마다 반복되는 처리로는, 우선 참조 영역 설정부(2081)(≒참조 영역 설정부(1081))에서 시점 합성 화상을 사용하여 블록blk에 대응하는 참조 프레임상의 블록인 부분의 참조 영역Ref[blk]를 찾아낸다(단계Sb5). 아울러 참조 프레임이란, 이미 복호 처리가 종료되어 복호 화상 메모리(211)에 축적되어 있는 데이터이다.
이 처리는 제1 실시형태의 단계Sa5와 같다. 탐색을 위한 매칭 코스트·탐색 대상 프레임의 결정법·참조 영역에 대한 영상 신호의 생성법 등은 부호화 장치에 사용된 방법과 동일한 것을 사용함으로써 노이즈의 발생을 방지할 수 있다.
참조 영역Ref[blk](=Dect[blk+vec])이 결정되면, 추정 정밀도 설정부(2082)(≒추정 정밀도 설정부(1082))에서 참조 영역Ref[blk]의 화소마다 참조 영역이 어느 정도 올바르게 얻어졌는지를 나타내는 추정 정밀도ψ를 설정한다(단계Sb6). 그 후, 보정 파라미터 추정부(2083)(≒보정 파라미터 추정부(1083))에서 시점 합성 화상Syn[blk]를 보정하기 위한 보정 파라미터를 추정한다(단계Sb7). 다음으로, 화상 보정부(2084)(≒화상 보정부(1084))에서 블록blk에 대한 시점 합성 화상을 보정 파라미터에 따라 보정하고 보정 시점 합성 화상Pred를 생성한다(단계Sb8). 이러한 처리는 각각 제1 실시형태의 단계Sa6, Sa7, Sa8과 같다.
블록blk의 시점 합성 화상의 보정이 완료되면, 예측 오차 복호부(210)에 의해 부호화 데이터로부터 블록blk에 대한 예측 잔차 신호를 복호한다(단계Sb9). 여기에서의 복호 처리는 부호화 수법에 대응한 처리가 된다. 예를 들면 H.264 등의 일반적인 부호화 수법으로 부호화된 경우에는 IDCT(Inverse Discrete Cosine Transform: 역이산 코사인 변환)·역양자화·다치화·엔트로피 복호 등을 실시함으로써 복호를 행한다.
마지막으로, 얻어진 복호 예측 잔차 신호DecRes와 보정 시점 합성 화상Pred를 복호 화상 산출부(212)에서 합하여 복호 대상 프레임Deccur[blk]를 구축한다. 구축된 복호 대상 프레임은, 장래의 예측에 사용하기 위해 복호 화상 메모리(211)에 축적함과 동시에 다시점 영상 복호 장치(200)의 출력이 된다(단계Sb10).
상술한 제1, 제2 실시형태에 의하면, 생성한 시점 합성 화상을 사용하여 처리 중인 영역에 대한, 이미 부호화된 프레임상의 대응 영역을 구하고 부호화된 프레임에서의 대응 영역의 영상 신호를 레퍼런스로 하여 시점 합성 화상의 휘도나 색을 보정한다. 이로써 미스매치를 감소시키는 보정을 할 수 있게 되어 효율적인 다시점 영상 부호화를 실현할 수 있다. 또 시점 합성 화상의 화소마다 합성 처리의 확실성을 나타내는 신뢰도를 설정하고, 그 신뢰도에 기초하여 화소마다 매칭 코스트를 가중치 부여한다. 그렇게 함으로써 시점 합성시의 오차에 휘둘리지 않고 고정밀도로 합성 가능한 화소를 중시하여 적절한 대응 영역을 설정할 수 있게 된다.
또 상술한 제1 실시형태의 단계Sa5와 제2 실시형태의 단계Sb5에서는, 처리 대상 프레임(부호화 대상 프레임 또는 복호 대상 프레임)의 시점 합성 화상Syn[blk]에 대응하는 참조 프레임상의 대응 블록을, 참조 프레임Dec를 사용하여 구하고 있다. 그러나 참조 프레임의 시점 합성 화상RefSyn이 얻어지는 경우에는, 참조 프레임Dec 대신에 시점 합성 화상RefSyn을 사용하여 대응 블록을 구해도 좋다. 즉, 수식(5)∼(8)에서 Dec를 RefSyn으로 치환한 매칭 코스트를 사용하여 수식(9)에서 나타나는 (best_vec,best_t)의 조를 구함으로써 참조 프레임상의 대응 블록을 구해도 좋다. 단, 이 경우에도 참조 영역Ref는 참조 프레임Dec를 사용하여 생성한다. 시점 합성 처리를 고정밀도로 할 수 있는 경우 시점 합성 화상RefSyn과 참조 프레임Dec는 동일하다고 생각되기 때문에, 이와 같이 시점 합성 화상RefSyn을 사용하여 대응 블록을 탐색하더라도 본 발명의 실시형태의 효과를 동일하게 얻을 수 있다.
시점 합성 화상RefSyn을 사용할 경우, 참조 프레임과 같은 시각에 촬영된 참조 시점 프레임을 입력하고 참조 프레임의 시점 합성 화상을 생성하여 축적할 필요가 있다. 단, 상기 실시형태에 의한 부호화 및 복호 처리가 연속하여 복수의 프레임에 적용되는 경우, 복호 화상 메모리에 처리 완료 프레임이 축적되는 동안 시점 합성 화상 메모리에 시점 합성 화상을 계속 축적함으로써 참조 프레임의 시점 합성 화상을 처리 대상 프레임마다 반복하여 합성하는 것을 회피할 수 있다.
아울러 시점 합성 화상RefSyn을 사용할 경우, 대응 영역 탐색(제1 실시형태의 단계Sa5와 제2 실시형태의 단계Sb5)에서 복호 화상 메모리에 축적된 처리 완료 프레임을 필요로 하지 않기 때문에, 대응 영역 탐색 처리는 부호화 처리나 복호 처리와 동기하여 행할 필요는 없다. 그 결과 병렬 연산 등이 가능해져 전체의 연산 시간을 삭감할 수 있다는 효과를 얻을 수 있다.
상술한 제1, 제2 실시형태에서는, 시점 합성 화상이나 참조 프레임을 그대로 사용하고 있다. 그러나 시점 합성 화상이나 참조 프레임에 발생하는 필름 그레인이나 부호화 왜곡 등의 노이즈의 영향을 받아 대응 영역 탐색 정밀도가 저하된다. 이러한 노이즈는 특정 주파수 성분(특히 고주파 성분)이므로 대응 영역 탐색에 사용하는 프레임(화상)에 대해 밴드 패스 필터(노이즈를 고주파로 할 경우에는 로 패스 필터(low pass filter))를 가한(apply) 후에 탐색함으로써 노이즈의 영향을 줄일 수 있다.
또 노이즈 등의 영향을 받아 대응 영역 탐색 정밀도가 저하된 경우, 대응 영역을 가리키는 벡터의 공간 상관이 저하된다. 그러나 통상의 영상에서는 인접 영역에는 같은 피사체가 찍혀 있기 때문에 영역 간의 벡터는 거의 동일하다고 생각되며 대응 영역을 나타내는 벡터의 공간 상관은 매우 높다. 그래서 블록마다 추정한 움직임 벡터에 대해 평균치 필터나 메디안(median) 필터를 설치하여 공간 상관을 높임으로써 대응 영역 탐색 정밀도를 향상시켜도 좋다.
상술한 제1, 제2 실시형태에서는, 처리 대상 블록이 대응 영역 탐색 블록과 같은 크기인 경우로 설명하였으나, 그들이 같은 크기일 필요가 없다는 것은 명백하다. 영상의 시간 변화는 비선형이므로 보다 작은 블록마다 대응 영역을 찾아낸 쪽이 보다 정확하게 영상 신호의 변화를 예측할 수 있다. 그러나 작은 블록을 사용할 경우에는 연산량이 증가할 뿐 아니라 영상 신호에 포함되는 노이즈의 영향도 커진다. 이 문제에 대처하기 위해 작은 영역에 대한 대응 영역을 탐색할 때에 작은 영역 둘레의 여러 개의 화소도 탐색에 사용하여 노이즈의 영향을 줄이는 것도 용이하게 유추 가능한 범위의 처리이다.
아울러 상술한 제1, 제2 실시형태에서는, 하나의 카메라의 1프레임을 부호화 또는 복호하는 처리를 설명하였으나, 이 처리를 프레임마다 반복함으로써 다시점 동화상의 부호화 또는 복호를 실현할 수 있다. 또한 카메라마다 처리를 반복함으로써 복수의 카메라의 다시점 동화상의 부호화 또는 복호를 실현할 수 있다.
상술한 바와 같이 본 발명의 실시형태에서는, 피사체에 의존하는 색이나 휘도의 미스매치가 시간적으로는 크게 변화하지 않는다는 가정을 이용하여 보정 파라미터를 구한다. 따라서 씬 체인지 등으로 급격하게 씬이 변화하는 경우에는 시간적으로 미스매치가 변화된다. 이와 같은 경우 본 발명의 실시형태에서는 적절한 보정 파라미터를 추정할 수 없어 보정에 의해 시점 합성 화상과 처리 대상 프레임의 차를 증대시킬 가능성이 있다. 그래서 씬 체인지 등의 급격한 변화 유무를 판정하여 그와 같은 급격한 영상의 변화가 없다고 판정된 경우에만 시점 합성 화상을 보정하도록 해도 좋다. 아울러 그와 같은 급격한 영상 변화를 판정하는 방법으로서, 대응 영역 탐색 결과로서 얻어진 대응 영역의 괴리도의 값을 체크하여 괴리도가 일정 이상인 경우에는 급격한 영상 변화가 발생했다고 판정하는 방법을 사용해도 좋다.
이상 설명한 처리는 컴퓨터와 소프트웨어 프로그램에 의해서도 실현할 수 있다. 또 그 프로그램을 컴퓨터 독해 가능한 기록 매체에 기록하여 제공하는 것도 가능하고, 네트워크를 통해 제공하는 것도 가능하다.
또 이상의 실시형태에서는 다시점 영상 부호화 장치 및 다시점 영상 복호 장치를 중심으로 설명하였다. 그러나 이들 다시점 영상 부호화 장치 및 다시점 영상 복호 장치의 각 부의 동작에 대응한 단계에 의해 본 발명의 다시점 영상 부호화 방법 및 다시점 영상 복호 방법을 실현할 수 있다.
이상, 도면을 참조하여 본 발명의 실시형태를 설명하였으나, 상기 실시형태는 본 발명의 예시에 불과하며 본 발명이 상기 실시형태로 한정되지 않는다는 것은 명백하다. 따라서 본 발명의 정신 및 범위를 벗어나지 않는 범위에서 구성 요소의 추가, 생략, 치환, 기타 변경을 해도 좋다.
<산업상 이용 가능성>
본 발명은 예를 들면 다시점 화상 또는 다시점 동화상의 부호화 및 복호에 이용된다. 본 발명에 의하면, 카메라 간의 휘도나 색의 미스매치가 국소적으로 발생하는 경우에도 보정 파라미터를 별도로 부호화/복호하지 않고 효율적인 다시점 화상이나 다시점 동화상의 부호화/복호를 실현할 수 있다.
100 다시점 영상 부호화 장치
101 부호화 대상 프레임 입력부
102 부호화 대상 화상 메모리
103 참조 시점 프레임 입력부
104 참조 시점 화상 메모리
105 시점 합성부
106 시점 합성 화상 메모리
107 신뢰도 설정부
108 시점 합성 화상 보정부
109 예측 잔차 부호화부
110 예측 잔차 복호부
111 복호 화상 메모리
112 예측 잔차 산출부
113 복호 화상 산출부
1081 참조 영역 설정부
1082 추정 정밀도 설정부
1083 보정 파라미터 추정부
1084 화상 보정부
200 다시점 영상 복호 장치
201 부호화 데이터 입력부
202 부호화 데이터 메모리
203 참조 시점 프레임 입력부
204 참조 시점 화상 메모리
205 시점 합성부
206 시점 합성 화상 메모리
207 신뢰도 설정부
208 시점 합성 화상 보정부
210 예측 잔차 복호부
211 복호 화상 메모리
212 복호 화상 산출부

Claims (17)

  1. 다시점 영상을 부호화하는 다시점 영상 부호화 방법으로서,
    상기 다시점 영상의 부호화 대상 시점에서의 부호화 대상 프레임과 같은 시각에 촬영된, 상기 부호화 대상 시점과는 다른 참조 시점에서의 이미 부호화된 참조 시점 프레임으로부터, 상기 부호화 대상 시점의 상기 부호화 대상 프레임에 대응하는 시점 합성 화상을 합성하는 시점 합성 화상 생성 단계,
    미리 정해진 크기의 처리 단위 영역마다 상기 시점 합성 화상에 대응하는, 상기 부호화 대상 시점에서의 이미 부호화된 참조 프레임상의 참조 영역을 탐색하는 참조 영역 추정 단계,
    상기 처리 단위 영역에 대한 상기 시점 합성 화상과 상기 참조 영역에 대한 상기 참조 프레임으로부터, 카메라 간 미스매치를 보정하는 보정 파라미터를 추정하는 보정 파라미터 추정 단계,
    상기 추정된 보정 파라미터를 사용하여 상기 처리 단위 영역에 대한 상기 시점 합성 화상을 보정하는 시점 합성 화상 보정 단계, 및
    상기 보정된 시점 합성 화상을 사용하여 상기 부호화 대상 시점의 영상을 예측 부호화하는 화상 부호화 단계
    를 포함하는 다시점 영상 부호화 방법.
  2. 다시점 영상의 부호화 대상 시점에 대한 영상을 부호화할 때 상기 부호화 대상 시점에서의 부호화 대상 프레임과 같은 시각에 촬영된, 상기 부호화 대상 시점과는 다른 참조 시점에서의 이미 부호화된 참조 시점 프레임과, 상기 부호화 대상 시점에서의 이미 부호화된 참조 프레임을 이용하여 예측 부호화를 수행하는 다시점 영상 부호화 방법으로서,
    상기 참조 시점 프레임으로부터, 상기 부호화 대상 시점의 상기 부호화 대상 프레임과 상기 참조 프레임에 대한 시점 합성 화상을 합성하는 시점 합성 화상 생성 단계,
    미리 정해진 크기의 처리 단위 영역마다 상기 부호화 대상 프레임에 대한 시점 합성 화상에 대응하는, 상기 참조 프레임에 대한 시점 합성 화상상의 참조 영역을 탐색하는 참조 영역 추정 단계,
    상기 처리 단위 영역에 대한 상기 시점 합성 화상과 상기 참조 영역과 같은 위치의 상기 참조 프레임으로부터, 카메라 간 미스매치를 보정하는 보정 파라미터를 추정하는 보정 파라미터 추정 단계,
    상기 추정된 보정 파라미터를 이용하여 상기 처리 단위 영역에 대한 상기 시점 합성 화상을 보정하는 시점 합성 화상 보정 단계, 및
    상기 보정된 시점 합성 화상을 이용하여 상기 부호화 대상 시점의 영상을 예측 부호화하는 화상 부호화 단계
    를 포함하는 다시점 영상 부호화 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 시점 합성 화상의 각 화소에 대해 상기 시점 합성 화상의 확실성을 나타내는 신뢰도를 설정하는 신뢰도 설정 단계를 더 포함하고,
    상기 참조 영역 추정 단계는,
    상기 신뢰도에 기초하여 상기 시점 합성 화상에 대응하는, 상기 참조 프레임상의 상기 참조 영역을 탐색할 때의 각 화소의 매칭 코스트에 가중치를 부여하는
    다시점 영상 부호화 방법.
  4. 제3항에 있어서,
    상기 보정 파라미터 추정 단계는,
    상기 신뢰도에 기초하여 상기 보정 파라미터를 추정할 때의 각 화소의 매칭 코스트에 가중치를 부여하는
    다시점 영상 부호화 방법.
  5. 제3항에 있어서,
    상기 시점 합성 화상의 각 화소에 대해 상기 참조 영역을 올바르게 추정할 수 있었는지 여부를 나타내는 추정 정밀도를 설정하는 추정 정밀도 설정 단계를 더 포함하고,
    상기 보정 파라미터 추정 단계는,
    상기 추정 정밀도 및 상기 신뢰도 중 어느 한쪽 또는 쌍방에 기초하여 상기 보정 파라미터를 추정할 때의 각 화소의 매칭 코스트에 가중치를 부여하는
    다시점 영상 부호화 방법.
  6. 다시점 영상을 복호하는 다시점 영상 복호 방법으로서,
    상기 다시점 영상의 복호 대상 시점에서의 복호 대상 프레임과 같은 시각에 촬영된, 상기 복호 대상 시점과는 다른 참조 시점에서의 참조 시점 프레임으로부터, 상기 복호 대상 시점의 상기 복호 대상 프레임에 대응하는 시점 합성 화상을 합성하는 시점 합성 화상 생성 단계,
    미리 정해진 크기의 처리 단위 영역마다 상기 시점 합성 화상에 대응하는, 상기 복호 대상 시점에서의 이미 복호 완료된 참조 프레임상의 참조 영역을 탐색하는 참조 영역 추정 단계,
    상기 처리 단위 영역에 대한 상기 시점 합성 화상과 상기 참조 영역에 대한 상기 참조 프레임으로부터, 카메라 간 미스매치를 보정하는 보정 파라미터를 추정하는 보정 파라미터 추정 단계,
    상기 추정된 보정 파라미터를 사용하여 상기 처리 단위 영역에 대한 상기 시점 합성 화상을 보정하는 시점 합성 화상 보정 단계, 및
    상기 보정된 시점 합성 화상을 예측 신호로서 사용하여 상기 복호 대상 시점에서의 예측 부호화된 복호 대상 프레임을, 상기 복호 대상 시점에 대한 영상의 부호화 데이터로부터 복호하는 화상 복호 단계
    를 포함하는 다시점 영상 복호 방법.
  7. 다시점 영상의 복호 대상 시점에 대한 영상을 복호할 때 상기 복호 대상 시점에서의 복호 대상 프레임과 같은 시각에 촬영된, 상기 복호 대상 시점과는 다른 참조 시점에서의 이미 복호된 참조 시점 프레임과, 상기 복호 대상 시점에서의 이미 복호된 참조 시점 프레임을 이용하여 다시점 영상을 복호하는 다시점 영상 복호 방법으로서,
    상기 참조 시점 프레임으로부터, 상기 복호 대상 시점의 상기 복호 대상 프레임과 상기 참조 프레임에 대한 시점 합성 화상을 합성하는 시점 합성 화상 생성 단계,
    미리 정해진 크기의 처리 단위 영역마다 상기 복호 대상 프레임에 대한 시점 합성 화상에 대응하는, 상기 참조 프레임에 대한 시점 합성 화상상의 참조 영역을 탐색하는 참조 영역 추정 단계,
    상기 처리 단위 영역에 대한 상기 시점 합성 화상과 상기 참조 영역과 같은 위치의 상기 참조 프레임으로부터, 카메라 간 미스매치를 보정하는 보정 파라미터를 추정하는 보정 파라미터 추정 단계,
    상기 추정된 보정 파라미터를 이용하여 상기 처리 단위 영역에 대한 상기 시점 합성 화상을 보정하는 시점 합성 화상 보정 단계, 및
    상기 보정된 시점 합성 화상을 예측 신호로서 이용하여 상기 복호 대상 시점에서의 예측 부호화되어 있는 복호 대상 프레임을, 상기 복호 대상 시점에 대한 영상의 부호화 데이터로부터 복호하는 화상 복호 단계
    를 포함하는 다시점 영상 복호 방법.
  8. 제6항 또는 제7항에 있어서,
    상기 시점 합성 화상의 각 화소에 대해 상기 시점 합성 화상의 확실성을 나타내는 신뢰도를 설정하는 신뢰도 설정 단계를 더 포함하고,
    상기 참조 영역 추정 단계는,
    상기 신뢰도에 기초하여 상기 시점 합성 화상에 대응하는, 상기 참조 프레임상의 상기 참조 영역을 탐색할 때의 각 화소의 매칭 코스트에 가중치를 부여하는
    다시점 영상 복호 방법.
  9. 제8항에 있어서,
    상기 보정 파라미터 추정 단계는,
    상기 신뢰도에 기초하여 상기 보정 파라미터를 추정할 때의 각 화소의 매칭 코스트에 가중치를 부여하는
    다시점 영상 복호 방법.
  10. 제8항에 있어서,
    상기 시점 합성 화상의 각 화소에 대해 상기 참조 영역을 올바르게 추정할 수 있었는지 여부를 나타내는 추정 정밀도를 설정하는 추정 정밀도 설정 단계를 더 포함하고,
    상기 보정 파라미터 추정 단계는,
    상기 추정 정밀도 및 상기 신뢰도 중 어느 한쪽 또는 쌍방에 기초하여 상기 보정 파라미터를 추정할 때의 각 화소의 매칭 코스트에 가중치를 부여하는
    다시점 영상 복호 방법.
  11. 다시점 영상을 부호화하는 다시점 영상 부호화 장치로서,
    상기 다시점 영상의 부호화 대상 시점에서의 부호화 대상 프레임과 같은 시각에 촬영된, 상기 부호화 대상 시점과는 다른 참조 시점에서의 이미 부호화된 참조 시점 프레임으로부터, 상기 부호화 대상 시점의 상기 부호화 대상 프레임에 대응하는 시점 합성 화상을 합성하는 시점 합성 화상 생성 수단,
    미리 정해진 크기의 처리 단위 영역마다 상기 시점 합성 화상 생성 수단에 의해 합성된 상기 시점 합성 화상에 대응하는, 상기 부호화 대상 시점에서의 이미 부호화된 참조 프레임상의 참조 영역을 탐색하는 참조 영역 추정 수단,
    상기 처리 단위 영역에 대한 상기 시점 합성 화상과 상기 참조 영역 추정 수단에 의해 탐색된 상기 참조 영역에 대한 상기 참조 프레임으로부터, 카메라 간 미스매치를 보정하는 보정 파라미터를 추정하는 보정 파라미터 추정 수단,
    상기 보정 파라미터 추정 수단에 의해 추정된 상기 보정 파라미터를 사용하여 상기 처리 단위 영역에 대한 상기 시점 합성 화상을 보정하는 시점 합성 화상 보정 수단, 및
    상기 시점 합성 화상 보정 수단에 의해 보정된 시점 합성 화상을 사용하여 상기 부호화 대상 시점의 영상을 예측 부호화하는 화상 부호화 수단
    을 구비하는 다시점 영상 부호화 장치.
  12. 제11항에 있어서,
    상기 시점 합성 화상 생성 수단에 의해 합성된 상기 시점 합성 화상의 각 화소에 대해 상기 시점 합성 화상의 확실성을 나타내는 신뢰도를 설정하는 신뢰도 설정 수단을 더 구비하고,
    상기 참조 영역 추정 수단은,
    상기 신뢰도 설정 수단에 의해 설정된 상기 신뢰도에 기초하여 상기 시점 합성 화상에 대응하는, 상기 참조 프레임상의 상기 참조 영역을 탐색할 때의 각 화소의 매칭 코스트에 가중치를 부여하는
    다시점 영상 부호화 장치.
  13. 제12항에 있어서,
    상기 보정 파라미터 추정 수단은,
    상기 신뢰도 설정 수단에 의해 설정된 상기 신뢰도에 기초하여 상기 보정 파라미터를 추정할 때의 각 화소의 매칭 코스트에 가중치를 부여하는
    다시점 영상 부호화 장치.
  14. 제12항에 있어서,
    상기 시점 합성 화상 생성 수단에 의해 합성된 상기 시점 합성 화상의 각 화소에 대해 상기 참조 영역을 올바르게 추정할 수 있었는지 여부를 나타내는 추정 정밀도를 설정하는 추정 정밀도 설정 수단을 더 구비하고,
    상기 보정 파라미터 추정 수단은,
    상기 추정 정밀도 설정 수단에 의해 설정된 상기 추정 정밀도 및 상기 신뢰도 설정 수단에 의해 설정된 상기 신뢰도 중 어느 한쪽 또는 쌍방에 기초하여 상기 보정 파라미터를 추정할 때의 각 화소의 매칭 코스트에 가중치를 부여하는
    다시점 영상 부호화 장치.
  15. 다시점 영상을 복호하는 다시점 영상 복호 장치로서,
    상기 다시점 영상의 복호 대상 시점에서의 복호 대상 프레임과 같은 시각에 촬영된, 상기 복호 대상 시점과는 다른 참조 시점에서의 참조 시점 프레임으로부터, 상기 복호 대상 시점의 상기 복호 대상 프레임에 대응하는 시점 합성 화상을 합성하는 시점 합성 화상 생성 수단,
    미리 정해진 크기의 처리 단위 영역마다 상기 시점 합성 화상 생성 수단에 의해 합성된 상기 시점 합성 화상에 대응하는, 상기 복호 대상 시점에서의 이미 복호 완료된 참조 프레임상의 참조 영역을 탐색하는 참조 영역 추정 수단,
    상기 처리 단위 영역에 대한 상기 시점 합성 화상과 상기 참조 영역 추정 수단에 의해 탐색된 상기 참조 영역에 대한 상기 참조 프레임으로부터, 카메라 간 미스매치를 보정하는 보정 파라미터를 추정하는 보정 파라미터 추정 수단,
    상기 보정 파라미터 추정 수단에 의해 추정된 상기 보정 파라미터를 사용하여 상기 처리 단위 영역에 대한 상기 시점 합성 화상을 보정하는 시점 합성 화상 보정 수단, 및
    상기 시점 합성 화상 보정 수단에 의해 보정된 시점 합성 화상을 예측 신호로서 사용하여 상기 복호 대상 시점에서의 예측 부호화된 복호 대상 프레임을, 상기 복호 대상 시점에 대한 영상의 부호화 데이터로부터 복호하는 화상 복호 수단
    을 가지는 다시점 영상 복호 장치.
  16. 다시점 영상을 부호화하는 다시점 영상 부호화 장치의 컴퓨터에,
    상기 다시점 영상의 부호화 대상 시점에서의 부호화 대상 프레임과 같은 시각에 촬영된, 상기 부호화 대상 시점과는 다른 참조 시점에서의 이미 부호화된 참조 시점 프레임으로부터, 상기 부호화 대상 시점의 상기 부호화 대상 프레임에 대응하는 시점 합성 화상을 합성하는 시점 합성 화상 생성 기능,
    미리 정해진 크기의 처리 단위 영역마다 상기 시점 합성 화상에 대응하는, 상기 부호화 대상 시점에서의 이미 부호화된 참조 프레임상의 참조 영역을 탐색하는 참조 영역 추정 기능,
    상기 처리 단위 영역에 대한 상기 시점 합성 화상과 상기 참조 영역에 대한 상기 참조 프레임으로부터, 카메라 간 미스매치를 보정하는 보정 파라미터를 추정하는 보정 파라미터 추정 기능,
    상기 추정된 보정 파라미터를 사용하여 상기 처리 단위 영역에 대한 상기 시점 합성 화상을 보정하는 시점 합성 화상 보정 기능, 및
    상기 보정된 시점 합성 화상을 사용하여 상기 부호화 대상 시점의 영상을 예측 부호화하는 화상 부호화 기능
    을 실행시키는 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.
  17. 다시점 영상을 복호하는 다시점 영상 복호 장치의 컴퓨터에,
    상기 다시점 영상의 복호 대상 시점에서의 복호 대상 프레임과 같은 시각에 촬영된, 상기 복호 대상 시점과는 다른 참조 시점에서의 참조 시점 프레임으로부터, 상기 복호 대상 시점의 상기 복호 대상 프레임에 대응하는 시점 합성 화상을 합성하는 시점 합성 화상 생성 기능,
    미리 정해진 크기의 처리 단위 영역마다 상기 시점 합성 화상에 대응하는, 상기 복호 대상 시점에서의 이미 복호 완료된 참조 프레임상의 참조 영역을 탐색하는 참조 영역 추정 기능,
    상기 처리 단위 영역에 대한 상기 시점 합성 화상과 상기 참조 영역에 대한 상기 참조 프레임으로부터, 카메라 간 미스매치를 보정하는 보정 파라미터를 추정하는 보정 파라미터 추정 기능,
    상기 추정된 보정 파라미터를 사용하여 상기 처리 단위 영역에 대한 상기 시점 합성 화상을 보정하는 시점 합성 화상 보정 기능, 및
    상기 보정된 시점 합성 화상을 예측 신호로서 사용하여 상기 복호 대상 시점에서의 예측 부호화된 복호 대상 프레임을, 상기 복호 대상 시점에 대한 영상의 부호화 데이터로부터 복호하는 화상 복호 기능
    을 실행시키는 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.
KR1020127021725A 2010-02-24 2011-02-21 다시점 영상 부호화 방법, 다시점 영상 복호 방법, 다시점 영상 부호화 장치, 다시점 영상 복호 장치 및 프로그램 KR101374812B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2010-038680 2010-02-24
JP2010038680 2010-02-24
PCT/JP2011/053742 WO2011105337A1 (ja) 2010-02-24 2011-02-21 多視点映像符号化方法、多視点映像復号方法、多視点映像符号化装置、多視点映像復号装置、及びプログラム

Publications (2)

Publication Number Publication Date
KR20120117888A KR20120117888A (ko) 2012-10-24
KR101374812B1 true KR101374812B1 (ko) 2014-03-18

Family

ID=44506745

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127021725A KR101374812B1 (ko) 2010-02-24 2011-02-21 다시점 영상 부호화 방법, 다시점 영상 복호 방법, 다시점 영상 부호화 장치, 다시점 영상 복호 장치 및 프로그램

Country Status (10)

Country Link
US (1) US20120314776A1 (ko)
EP (1) EP2541943A1 (ko)
JP (1) JP5303754B2 (ko)
KR (1) KR101374812B1 (ko)
CN (1) CN102918846B (ko)
BR (1) BR112012020993A2 (ko)
CA (1) CA2790268A1 (ko)
RU (1) RU2527737C2 (ko)
TW (1) TWI436637B (ko)
WO (1) WO2011105337A1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983835B2 (en) 2004-11-03 2011-07-19 Lagassey Paul J Modular intelligent transportation system
WO2013087880A1 (en) 2011-12-14 2013-06-20 Thomson Licensing Method and system for interpolating a virtual image from a first and a second input images
CN103379349B (zh) * 2012-04-25 2016-06-29 浙江大学 一种视点合成预测编码方法、解码方法、对应的装置及码流
US20130329800A1 (en) * 2012-06-07 2013-12-12 Samsung Electronics Co., Ltd. Method of performing prediction for multiview video processing
CN102761765B (zh) * 2012-07-16 2014-08-20 清华大学 一种用于三维立体视频的深度快速插帧方法
US9854138B2 (en) * 2012-09-20 2017-12-26 Gyrus Acmi, Inc. Fixed pattern noise reduction
CN103079083B (zh) * 2012-12-06 2015-05-06 上海大学 一种已标定平行摄像机阵列多视图像校正方法
US9615089B2 (en) 2012-12-26 2017-04-04 Samsung Electronics Co., Ltd. Method of encoding and decoding multiview video sequence based on adaptive compensation of local illumination mismatch in inter-frame prediction
JP6027143B2 (ja) 2012-12-27 2016-11-16 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム
WO2014166068A1 (en) * 2013-04-09 2014-10-16 Mediatek Inc. Refinement of view synthesis prediction for 3-d video coding
WO2014178051A2 (en) * 2013-04-30 2014-11-06 Mantisvision Ltd. Selective 3d registration
CN103402097B (zh) * 2013-08-15 2016-08-10 清华大学深圳研究生院 一种自由视点视频深度图编码方法及其失真预测方法
CN103763567B (zh) * 2013-12-31 2017-01-18 华中科技大学 一种应用于监控视频隐私保护的压缩域失真漂移补偿方法
CN105184780B (zh) * 2015-08-26 2018-06-05 京东方科技集团股份有限公司 一种立体视觉深度的预测方法和系统
CN105430397B (zh) * 2015-11-20 2018-04-17 清华大学深圳研究生院 一种3d图像体验质量预测方法及装置
US10304468B2 (en) 2017-03-20 2019-05-28 Qualcomm Incorporated Target sample generation
US10891960B2 (en) * 2017-09-11 2021-01-12 Qualcomm Incorproated Temporal offset estimation
DE102021200225A1 (de) 2021-01-12 2022-07-14 Rheinisch-Westfälische Technische Hochschule (RWTH) Aachen, Körperschaft des öffentlichen Rechts Verfahren zur Wiedergabe eines Videostreams durch einen Client

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008048487A2 (en) 2006-10-18 2008-04-24 Thomson Licensing Local illumination and color compensation without explicit signaling

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7085409B2 (en) * 2000-10-18 2006-08-01 Sarnoff Corporation Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery
US20020131500A1 (en) * 2001-02-01 2002-09-19 Gandhi Bhavan R. Method for determining a motion vector for a video signal
US6961055B2 (en) * 2001-05-09 2005-11-01 Free Radical Design Limited Methods and apparatus for constructing virtual environments
US6859494B2 (en) * 2001-07-27 2005-02-22 General Instrument Corporation Methods and apparatus for sub-pixel motion estimation
WO2003032628A1 (en) * 2001-10-08 2003-04-17 Koninklijke Philips Electronics N.V. Device and method for motion estimation
EP1442428A2 (en) * 2001-10-25 2004-08-04 Koninklijke Philips Electronics N.V. Method and apparatus for motion estimation
US7489342B2 (en) * 2004-12-17 2009-02-10 Mitsubishi Electric Research Laboratories, Inc. Method and system for managing reference pictures in multiview videos
CA2524031C (en) * 2003-05-20 2015-07-07 Interlego Ag Method and system for manipulating a digital representation of a three-dimensional object
WO2004114224A1 (ja) * 2003-06-20 2004-12-29 Nippon Telegraph And Telephone Corporation 仮想視点画像生成方法及び３次元画像表示方法並びに装置
US7728877B2 (en) * 2004-12-17 2010-06-01 Mitsubishi Electric Research Laboratories, Inc. Method and system for synthesizing multiview videos
US7468745B2 (en) * 2004-12-17 2008-12-23 Mitsubishi Electric Research Laboratories, Inc. Multiview video decomposition and encoding
US7671894B2 (en) * 2004-12-17 2010-03-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using skip and direct modes
RU2322771C2 (ru) * 2005-04-25 2008-04-20 Святослав Иванович АРСЕНИЧ Стереопроекционная система
JP2007180981A (ja) * 2005-12-28 2007-07-12 Victor Co Of Japan Ltd 画像符号化装置、画像符号化方法、及び画像符号化プログラム
CN101375593A (zh) * 2006-01-12 2009-02-25 Lg电子株式会社 处理多视图视频
WO2007081176A1 (en) * 2006-01-12 2007-07-19 Lg Electronics Inc. Processing multiview video
KR20090099546A (ko) * 2007-01-04 2009-09-22 톰슨 라이센싱 멀티 뷰 코딩된 비디오에서 높은 레벨의 신택스 레퍼런스 뷰들을 이용하여 비디오 에러 은닉을 행하는 방법 및 장치
US8320456B2 (en) * 2007-01-17 2012-11-27 Lg Electronics Inc. Method and apparatus for processing a video signal
KR100801968B1 (ko) * 2007-02-06 2008-02-12 광주과학기술원 변위를 측정하는 방법, 중간화면 합성방법과 이를 이용한다시점 비디오 인코딩 방법, 디코딩 방법, 및 인코더와디코더
TW200910975A (en) * 2007-06-25 2009-03-01 Nippon Telegraph & Telephone Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
EP2061248A1 (en) * 2007-11-13 2009-05-20 IBBT vzw Motion estimation and compensation process and device
US8351685B2 (en) * 2007-11-16 2013-01-08 Gwangju Institute Of Science And Technology Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same
JP5008203B2 (ja) 2008-08-04 2012-08-22 株式会社ニレコ 超音波式厚み検出装置、及び、超音波式エッジ位置検出装置
US8639046B2 (en) * 2009-05-04 2014-01-28 Mamigo Inc Method and system for scalable multi-user interactive visualization
US9124874B2 (en) * 2009-06-05 2015-09-01 Qualcomm Incorporated Encoding of three-dimensional conversion information with two-dimensional video sequence
BR112012020856A2 (pt) * 2010-02-23 2019-09-24 Nippon Telegraph & Telephone ver anexo.

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008048487A2 (en) 2006-10-18 2008-04-24 Thomson Licensing Local illumination and color compensation without explicit signaling
JP2010507334A (ja) 2006-10-18 2010-03-04 トムソン ライセンシング 明示的な信号伝達なしでの局所的な輝度および色の補償のための方法および装置

Also Published As

Publication number Publication date
CN102918846A (zh) 2013-02-06
CN102918846B (zh) 2015-09-09
TWI436637B (zh) 2014-05-01
JP5303754B2 (ja) 2013-10-02
JPWO2011105337A1 (ja) 2013-06-20
KR20120117888A (ko) 2012-10-24
RU2012135682A (ru) 2014-03-27
TW201218745A (en) 2012-05-01
BR112012020993A2 (pt) 2016-05-03
EP2541943A1 (en) 2013-01-02
US20120314776A1 (en) 2012-12-13
CA2790268A1 (en) 2011-09-01
WO2011105337A1 (ja) 2011-09-01
RU2527737C2 (ru) 2014-09-10

Similar Documents

Publication Publication Date Title
KR101374812B1 (ko) 다시점 영상 부호화 방법, 다시점 영상 복호 방법, 다시점 영상 부호화 장치, 다시점 영상 복호 장치 및 프로그램
KR101451286B1 (ko) 움직임 벡터 추정 방법, 다시점 영상 부호화 방법, 다시점 영상 복호 방법, 움직임 벡터 추정 장치, 다시점 영상 부호화 장치, 다시점 영상 복호 장치, 움직임 벡터 추정 프로그램, 다시점 영상 부호화 프로그램 및 다시점 영상 복호 프로그램
KR101344425B1 (ko) 다시점 화상 부호화 방법, 다시점 화상 복호 방법, 다시점 화상 부호화 장치, 다시점 화상 복호 장치, 다시점 화상 부호화 프로그램 및 다시점 화상 복호 프로그램
JP4414379B2 (ja) 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP4999854B2 (ja) 画像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
JP6053200B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
JP6027143B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム
JP6307152B2 (ja) 画像符号化装置及び方法、画像復号装置及び方法、及び、それらのプログラム
US20130301721A1 (en) Multiview image encoding method, multiview image decoding method, multiview image encoding device, multiview image decoding device, and programs of same
JP4944046B2 (ja) 映像符号化方法，復号方法，符号化装置，復号装置，それらのプログラムおよびコンピュータ読み取り可能な記録媒体
JP4851564B2 (ja) 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP5725104B2 (ja) 動画像復号装置、動画像復号方法及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP5880758B2 (ja) 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP4851563B2 (ja) 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
US20160286212A1 (en) Video encoding apparatus and method, and video decoding apparatus and method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170303

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180302

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190304

Year of fee payment: 6