KR101031624B1 - 화상 부호화 방법 및 복호 방법, 그 장치 및 그 프로그램을 기록한 기억매체 - Google Patents

화상 부호화 방법 및 복호 방법, 그 장치 및 그 프로그램을 기록한 기억매체 Download PDF

Info

Publication number
KR101031624B1
KR101031624B1 KR20097005344A KR20097005344A KR101031624B1 KR 101031624 B1 KR101031624 B1 KR 101031624B1 KR 20097005344 A KR20097005344 A KR 20097005344A KR 20097005344 A KR20097005344 A KR 20097005344A KR 101031624 B1 KR101031624 B1 KR 101031624B1
Authority
KR
South Korea
Prior art keywords
image
information
viewpoint
parallax
decoding
Prior art date
Application number
KR20097005344A
Other languages
English (en)
Other versions
KR20090053821A (ko
Inventor
신야 시미즈
마사키 기타하라
가즈토 가미쿠라
요시유키 야시마
Original Assignee
니폰덴신뎅와 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 니폰덴신뎅와 가부시키가이샤 filed Critical 니폰덴신뎅와 가부시키가이샤
Publication of KR20090053821A publication Critical patent/KR20090053821A/ko
Application granted granted Critical
Publication of KR101031624B1 publication Critical patent/KR101031624B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

다시점 화상 전체에서 하나의 기준 시점을 선택하고 기준 시점의 카메라에 대한 다른 모든 카메라의 화상과의 에피폴라 기하 구속을 감안했을 때 적절한 시차 정보인 글로벌 시차 정보를 구해 부호화하고, 기준 시점 이외의 카메라마다 글로벌 시차 정보와 카메라 파라미터로부터, 그 카메라의 화상에 대한 다른 모든 카메라의 화상과의 에피폴라 기하 구속을 감안했을 때 적절한 시차 정보인 베이스 시차 정보를 생성하고, 그 카메라의 화상에 대해 시차 보상에 사용하는 이미 부호화 완료된 참조 시점 화상과의 시차 정보를 나타내기 위해서 베이스 시차 정보를 보정하는 보정 시차 정보를 구해 부호화하고, 베이스 시차 정보를 보정 시차 정보로 보정함으로써 얻어지는 시차 정보를 사용하여 그 카메라의 화상을 부호화하는 화상 부호화 방법.
Figure R1020097005344
화상, 부호화, 복호화

Description

화상 부호화 방법 및 복호 방법, 그 장치 및 그 프로그램을 기록한 기억매체{Image encoding and decoding methods, their devices, and storage medium containing programs thereof}
본 발명은 다시점 화상 및 다시점 동영상의 부호화 및 복호기술에 관한 것이다. 본원은 2006년 9월 20일에 출원된 일본특원2006-254023호에 기초하여 우선권을 주장하고 그 내용을 여기에 원용한다.
다시점 화상이란, 여러 대의 카메라로 같은 피사체와 배경을 촬영한 여러 개의 화상으로서, 다시점 동영상(다시점 영상)이란 그 동영상이다. 이하에서는 한 대의 카메라로 촬영된 동영상을 ”2차원 동영상”이라고 부르고, 같은 피사체와 배경을 촬영한 2차원 동영상군을 다시점 동영상이라고 부른다.
2차원 동영상은 시간 방향과 강한 상관이 있으며 그 상관을 이용함으로써 부호화 효율을 높인다. 반면, 다시점 화상이나 다시점 동영상에서는 각 카메라가 동기되어 있는 경우, 같은 시간에 대응한 각 카메라의 영상은 완전히 동일한 상태의 피사체와 배경을 다른 위치에서 촬영한 것이므로 카메라간에 강한 상관이 있다. 다시점 화상이나 다시점 동영상의 부호화에서는 이 상관을 이용함으로써 부호화 효율 을 높일 수 있다.
우선, 2차원 동영상의 부호화 기술에 관한 종래 기술을 설명하기로 한다.
국제 부호화 표준인 H.264, MPEG-2, MPEG-4를 비롯한 종래의 많은 2차원 동영상 부호화 방식에서는 움직임 보상, 직교 변환, 양자화, 엔트로피 부호화라는 기술을 이용하여 고효율의 부호화를 수행한다. 움직임 보상이라고 불리는 기술이 프레임간의 시간 상관을 이용하는 방법이다.
H.264에서 사용되고 있는 움직임 보상 기술의 상세에 대해서는 하기 비특허문헌 1에 기재되어 있는데, 이하에서 개요를 설명하기로 한다.
H.264의 움직임 보상에서는, 부호화 대상 프레임을 여러가지 사이즈의 블럭으로 분할하고, 블럭마다 참조 프레임이라고 불리는 이미 부호화 완료된 프레임을 선택하고 움직임 벡터라고 불리는 대응점을 가리키는 벡터 정보를 사용하여 영상을 예측한다. 이 때에 허가되는 블럭 분할은 16×16(픽셀), 16×8, 8×16, 8×8, 8×4, 4×8, 4×4의 7종류로서, 피사체의 움직임의 방향이나 크기 차이에 세밀한 단위로 대응하여 영상을 예측할 수 있도록 되어 있다. 이로써 예측 화상과 원화상의 차분으로 표현되는 부호화 대상의 잔차가 적어지기 때문에 높은 부호화 효율을 달성힌다.
다음으로 종래의 다시점 화상이나 다시점 동영상의 부호화 방식에 대해서 설명하기로 한다.
다시점 화상의 부호화 방법과 다시점 동영상의 부호화 방법의 차이는, 다시점 동영상에는 카메라간의 상관에 추가하여 시간 방향의 상관이 동시에 존재한다는 것이다. 그러나 카메라간의 상관을 이용하는 방법은 어떤 경우라도 같은 방법을 쓸 수 있다. 따라서 여기에서는 다시점 동영상의 부호화에서 사용되는 방법에 대해서 설명하기로 한다.
다시점 동영상의 부호화에 대해서는, 카메라간의 상관을 이용하기 위해 움직임 보상을 같은 시각의 다른 카메라의 화상에 적용한 ”시차 보상”에 의해 고효율로 다시점 동영상을 부호화하는 방식이 종래부터 존재한다. 여기에서 시차란, 다른 위치에 배치된 카메라의 화상 평면상에서 피사체상의 같은 위치가 투영되는 위치의 차이이다.
이 카메라간에 생기는 시차의 개념도를 도 21에 도시한다.
이 개념도에서는 광축이 평행한 카메라의 화상 평면을 수직으로 내려다본 것으로 되어 있다. 이와 같이 다른 카메라의 화상 평면상에서 피사체상의 같은 위치가 투영되는 위치는 일반적으로 대응점이라고 불린다.
시차 보상은 이 대응 관계에 기초하여 부호화 대상 프레임의 각 화소값을 참조 프레임으로부터 예측하여 그 예측 잔차와 대응 관계를 나타내는 시차 정보를 부호화한다.
대부분의 수법에서는 시차를 화상 평면상에서의 벡터로서 표현한다. 예를 들면, 비특허문헌 2에서는 블럭 단위로 시차 보상을 하는 구조가 포함되어 있는데, 블럭 단위의 시차를 2차원 벡터로, 즉 2개의 파라미터(x성분 및 y성분)로 표현한다. 즉, 이 수법에서는 2파라미터로 구성된 시차 정보와 예측 잔차를 부호화한다.
한편, 비특허문헌 3에서는 카메라 파라미터를 부호화에 이용하고 에피폴라 기하 구속에 기초하여 시차 벡터를 1차원의 정보로서 표현함으로써 예측 정보를 효율적으로 부호화한다. 에피폴라 기하 구속 개념도를 도 22에 도시한다.
에피폴라 기하 구속에 의하면, 2대의 카메라(카메라A와 카메라B)에서 한쪽 화상 위의 점에 대응하는 다른 한쪽 화상 위의 점은 에피폴라선이라는 직선 위에 구속된다. 비특허문헌 3의 수법에서는 에피폴라선 위에서의 위치를 나타내기 위해 참조 프레임을 촬영하고 있는 카메라에서 피사체까지의 거리라는 하나의 파라미터로 전(全)부호화 대상 프레임에 대한 시차를 표현하였다.
비특허문헌 1: ITU-T Rec.H.264/ISO/IEC 11496-10, ”Editor's Proposed Draft Text Modincations for Joint Video Specification(ITU-T Rec.H.264/ISO/IEC 14496-10AVC), Draft 7”, Final Committee Draft, Document JVT-E022, pp.10-13, and 62-68, September 2002.
비특허문헌 2: Hideaki Kimata and Masaki Kitahara, ”Preliminary results on multiple view video coding(3DAV)”, document M10976 MPEG Redmond Meeting, July, 2004
비특허문헌 3: Shinya SHIMIZU, Masaki KITAHARA, Kazuto KAMIKURA and Yoshiyuki YASHIMA, “Multi-view Video Coding based on 3-D Warping with Depth Map”, In Proceedings of Picture Coding Symposium 2006, SS3-6, April, 2006.
종래의 다시점 동영상의 부호화 방법에 의하면, 카메라 파라미터가 기지(旣知)의 것인 경우, 에피폴라 기하 구속을 이용하여 카메라의 대수와 상관없이 참조 프레임에 대해 카메라에서 피사체까지의 거리라는 1차원 정보를 부호화하는 것만으로도 전부호화 대상 프레임에 대한 시차 보상을 실현할 수 있어 시차 정보를 효율적으로 부호화할 수 있다.
그러나 카메라 파라미터를 정확하게 측정하기 힘들기 때문에 카메라 파라미터에는 상당한 오차가 포함된다. 그 결과, 참조 프레임에 대한 에피폴라 기하 구속에 기초한 시차 정보를, 같은 시각의 전부호화 대상 프레임을 시차 보상하는 경우에 가장 효율적이 되도록 구할 경우, 구해지는 시차 정보에는 모든 카메라의 카메라 파라미터의 오차가 포함된다.
따라서 하나의 부호화 대상 프레임을 선택했을 때의 시차 보상의 예측 정밀도는 다른 카메라에 관한 오차의 영향을 받아 그 부호화 대상 프레임과 참조 프레임 조에 대해 구한 시차 정보를 사용하는 경우보다도 저하된다.
본 발명은 상기 사정을 감안하여 이루어진 것으로서, 다시점 동영상의 부호화시에 참조 프레임의 부호화 왜곡이나 카메라 파라미터의 측정 오차가 존재하는 경우에도 고정밀도의 시차 보상을 적은 시차 정보로 실현함으로써 종래보다도 높은 부호화 효율을 달성하는 것을 목적으로 한다.
본 발명에 의한 화상 부호화 방법의 제1 태양에서는 다시점 화상 전체에서 하나의 기준 시점을 선택하고 기준 시점의 카메라에 대한 다른 모든 카메라의 화상과의 에피폴라 기하 구속을 감안했을 때, 적절한 시차 정보인 글로벌 시차 정보를 구하여 부호화하는 단계와, 기준 시점 이외의 카메라마다 글로벌 시차 정보와 카메라 파라미터로부터, 그 카메라의 화상에 대한 다른 모든 카메라의 화상과의 에피폴라 기하 구속을 감안했을 때 적절한 시차 정보인 베이스 시차 정보를 생성하는 단계와, 그 카메라의 화상에 대해 시차 보상에 사용하는 이미 부호화 완료된 참조 시점 화상과의 시차 정보를 나타내기 위해서 베이스 시차 정보를 보정하는 보정 시차 정보를 구하여 부호화하는 단계와, 베이스 시차 정보를 보정 시차 정보로 보정함으로써 얻어지는 시차 정보를 사용하여 그 카메라의 화상을 부호화하는 단계를 가진다.
이에 따르면 보정 시차 정보가 부호화 대상의 화상에 대해 시차 보상시 참조처 화상(참조 시점 화상)만을 감안하여 구해지기 때문에 글로벌 시차 정보에 포함되는 모든 카메라 파라미터 오차의 영향이나 참조 프레임의 부호화 왜곡의 영향을 카메라마다 없앨 수 있어 높은 부호화 효율을 달성할 수 있다.
또 글로벌 시차 정보가 전체적으로 공통된 대략적인 시차 정보를 표현하기 때문에, 베이스 시차 정보의 보정량이 적고 보정 시차 정보의 부호량도 적다.
즉, 부호화 대상의 화상마다 시차 정보를 구하여 부호화하는 경우에 비해 공통 부분에 드는 부호량을 절약할 수 있기 때문에 전체적으로 부호량을 삭감할 수 있다.
본 발명에 의한 화상 부호화 방법의 제2 태양에서는 다시점 화상 전체에서 하나의 기준 시점을 선택하여 기준 시점의 카메라에 대한 다른 모든 카메라의 화상과의 에피폴라 기하 구속을 감안했을 때, 적절한 시차 정보인 글로벌 시차 정보를 구하여 부호화하는 단계와, 기준 시점 이외의 카메라마다 글로벌 시차 정보와 카메라 파라미터로부터 그 카메라의 화상에 대한 다른 모든 카메라의 화상과의 에피폴라 기하 구속을 감안했을 때에 적절한 시차 정보인 베이스 시차 정보를 생성하는 단계와, 그 카메라의 화상에 대해 시차 보상에 사용하는 이미 부호화 완료된 참조 시점 화상의 최적의 시차 보상 대응점을 나타내기 위해서 베이스 시차 정보에 의해 주어지는 대응점을 보정하는 보정 시차 벡터를 구하여 부호화하는 단계와, 베이스 시차 정보에 의해 얻어지는 대응점을 보정 시차 벡터로 보정함으로써 시차 보상을 하면서 그 카메라의 화상을 부호화하는 단계를 가진다.
이에 따르면, 보정 시차 벡터가 부호화 대상의 화상에 대해 시차 보상시의 참조처 화상(참조 시점 화상)만을 감안하여 구해지기 때문에 글로벌 시차 정보에 포함되는 모든 카메라 파라미터의 오차의 영향이나 참조 프레임의 부호화 왜곡의 영향을 카메라마다 없앨 수 있어 높은 부호화 효율을 달성할 수 있다.
또 글로벌 시차 정보가 전체적으로 공통된 대략의 시차 정보를 표현하기 때문에 베이스 시차 정보에 의해 주어지는 대응 관계 보정량이 적고 보정 시차 벡터의 부호량도 적다.
즉, 부호화 대상의 화상마다 시차 정보를 구하여 부호화하는 경우에 비해 공통 부분에 드는 부호량을 절약할 수 있기 때문에 전체적으로 부호량을 삭감할 수 있다.
상기 제1 태양에서 베이스 시차 정보와 보정 시차 정보로부터 얻어지는 시차 정보에 의해 나타나는 대응점 정보(대응점 벡터)를 더 보정하기 위해 2차원의 보정 벡터를 구하여 부호화하는 단계를 가진다.
이에 따르면, 부호화 대상 화상을 촬영하는 카메라의 카메라 파라미터의 오차나 카메라의 렌즈 왜곡에 의한 에피폴라 기하 구속에 따른 표현으로는 보정할 수 없는 작은 대응점의 불일치를 보정할 수 있기 때문에 시차 보상 예측 효율이 향상되어 높은 부호화 효율을 달성할 수 있다.
종래의 2차원의 벡터만으로 보정하는 방식과는 달리 기하 구속에 의한 오차가 보정 시차 정보에서 제거되었기 때문에 보정에 필요한 벡터는 대단히 작아져 보다 적은 부호량으로 고정밀도의 예측을 실현할 수 있다.
상기 각 태양에 관하여 기준 시점의 카메라의 화상에 대한 영역 분할을 설정하는 단계와, 그 영역 분할을 나타내는 정보를 부호화하는 단계를 가지고, 설정된 영역 분할마다 글로벌 시차 정보를 설정하여 부호화하도록 해도 좋다.
이에 따르면, 화상에 비치는 피사체에 의해 변화되는 시차 정보를 정확하게 나타낼 수 있기 때문에 글로벌 시차 정보의 정밀도가 향상됨으로써 베이스 시차 정보를 보정하기 위한 정보에 필요한 부호량을 삭감할 수 있어 높은 부호화 효율을 달성할 수 있다.
여기에서 기준 시점의 화상이, 화상 전체적으로 영역이 분할되어 영역마다 처리를 더하여 부호화되어 있는 경우에는 그 기준 시점의 화상을 부호화하기 위한 영역 분할과, 글로벌 시차 정보를 설정하는 단위를 나타내는 영역 분할을 일치시킴으로써 기준 시점의 카메라 화상의 영역 분할을 나타내는 정보를 새롭게 부호화하지 않아도 된다.
또 영상 자체와 시차 정보에서는 성질이 전혀 같지 않기 때문에 같은 영상의 성질을 가진 영역과 동일한 시차 정보의 성질을 가진 영역이 일치하지 않는 경우, 기준 시점의 화상을 부호화하기 위한 영역 분할과 완전히 일치시키지 않고 영역 분할을 약간만 변경하는 편이 나은 경우가 있다.
그 경우, 영역 분할의 차이만을 부호화함으로써 부호량을 삭감할 수 있다.
또 부호화 대상 시점의 카메라의 화상에 대한 영역 분할을 설정하는 단계와, 그 영역 분할을 나타내는 정보를 부호화하는 단계를 가지고, 설정된 영역 분할마다 보정 시차 정보나 보정 시차 벡터나 보정 벡터를 설정하여 부호화하도록 해도 좋다.
이에 따르면, 화상에 비치는 피사체에 의해 변화되는 시차 보상에 사용하는 대응점의 정보를 정확하게 나타낼 수 있기 때문에 시차 보상시의 영상 예측 정밀도가 향상되어 높은 부호화 효율을 달성할 수 있다.
여기에서 부호화 대상 시점의 화상이, 화상 전체적으로 영역 분할되어 영역마다 처리를 더하여 이 영역 분할 정보와 함께 부호화되는 경우에는 그 화상을 부호화하기 위한 영역 분할과, 시차 정보를 설정하는 단위를 나타내는 영역 분할을 일치시킴으로써 시차 정보를 설정하는 단위를 표현하는 영역 분할을 나타내는 정보를 부호화하지 않아도 된다.
또 영상 자체와 시차 정보는 성질이 완전히 동일하지는 않기 때문에 같은 영상의 성질을 가진 영역과 동일한 시차 정보의 성질을 가진 영역이 일치하지 않는 경우, 화상을 부호화하기 위한 영역 분할과, 시차 정보를 설정하는 단위를 나타내는 영역 분할을 완전히 일치시키지 않고 영역 분할을 약간만 변경하는 편이 나은 경우가 있다. 그 경우, 영역 분할의 차이만을 부호화함으로써 부호량을 삭감할 수 있다.
또 상기 각 태양에 관하여 시차 보상시에 참조하는 카메라를 설정하는 단계와, 그 카메라를 나타내는 인덱스를 부호화하는 단계를 가지고, 부호화 대상의 화상마다 구하는 보정 시차 정보나 보정 시차 벡터나 보정 벡터를, 상기 인덱스에서 나타나는 카메라의 부호화된 화상을 사용하여 시차 보상할 때에 최적이 되도록 구하도록 해도 좋다.
이에 따르면, 기준 시점의 카메라 뿐만 아니라 부호화 대상 화상의 카메라에 가까운 카메라의 영상을 참조 화상으로 할 수 있기 때문에 차폐 등의 영향으로 대응점을 취할 수 없는 부분이 적어 정확한 예측이 가능해진다. 즉, 부호화되는 시차 보상 잔차를 줄여 효율적인 부호화를 실현할 수 있다.
또 본 발명의 글로벌 시차 정보나 베이스 시차 정보는 참조 대상에 의하지 않은 정보이기 때문에 어떤 참조 대상을 사용하든 보정 시차 정보나 보정 벡터의 부호량은 적게 유지할 수 있다.
또 부호화 대상 화상에 대해 시차 정보를 구할 때 영역 분할이 설정되어 있는 경우, 그 영역마다 최적의 참조처를 선택할 수 있도록 함으로써 보다 정확한 예측이 가능해져 효율적인 부호화를 실현할 수 있다.
또 상기 각 태양에 관하여 글로벌 시차 정보를 구하기 전에 각 카메라의 화상에 대한 시차 정보인 로컬 시차 정보를 에피폴라 기하 구속에 기초하여 구하는 단계와, 그 각 카메라에 대해 구해진 로컬 시차 정보와 카메라 파라미터를 사용하여 상기 글로벌 시차 정보의 후보를 생성하는 단계를 가지고, 글로벌 시차 정보를 구하는 단계에서는 같은 영역에 대해 얻어진 글로벌 시차 정보 후보의 평균값을 그 영역의 글로벌 시차 정보로 설정하도록 해도 좋다.
이에 따르면, 시차 보상시에 각 카메라에서 사용하는 최적의 시차 정보가 되는 로컬 시차 정보를 최초로 계산하고 그것들을 사용하여 글로벌 시차 정보를 생성하게 된다.
따라서 후속 처리에서 보정해야 할 시차 정보를 최대한 줄이는 글로벌 시차 정보를 구할 수 있다. 즉, 쓸데없는 정보를 부호화하지 않게 되어 효율적인 부호화를 실현할 수 있다.
더욱이 글로벌 시차 정보 후보에서 글로벌 시차 정보를 결정할 때에 평균값 대신에 영역 내에서 가장 많이 나타난 글로벌 시차 정보 후보로 결정함으로써 후속 처리에서 보정해야 할 시차 정보를 줄일 수도 있다.
또한 로컬 시차 정보와 베이스 시차 정보의 차이로 차분 시차 정보를 설정하는 단계를 가지고 부호화 대상 시점의 카메라 화상에 대한 영역 분할을 설정하는 단계에서, 이 차분 시차 정보가 영역 내에서 거의 동일해지는 최대의 영역 분할을 설정하여 보정 시차 정보를 구하는 단계에서는, 영역 내의 차분 시차 정보로부터 보정 시차 정보를 설정하도록 할 수도 있다.
이와 같이 하면, 글로벌 시차 정보와 보정 시차 정보를 한 번의 연산으로 구할 수 있기 때문에 그것들을 각각 구하는 경우(대량의 연산이 필요)에 비해 연산량의 삭감을 실현할 수 있다.
또 영역 분할의 종류가 제한되어 있는 경우 등에는 영역 분할마다 차분 시차 정보의 분산을 요구하여 그 분산값을 기준으로 영역 분할을 선택함으로써 영역 분할을 정하는 연산도 고속으로 할 수 있게 된다.
또 상기 각 태양에 관하여 베이스 시차 정보를 설정하는 단계나, 글로벌 시차 정보 후보를 설치하는 단계에서 변환 전의 시차 정보가 주어진 화상에서의 연속성을 사용하여 변환 후의 화상 위에서 시차 정보를 연속적으로 설정할 수 있도록 할 수도 있다.
예를 들면, 변환 전에 인접한 화소에 대한 시차 정보가 거의 같음에도 불구하고 변환 후에는 인접하지 않은 화소에 대해 시차 정보를 설정하는 경우에 그 사이에 존재하는 화소에 대한 시차 정보를 그 양자의 변환 후 시차 정보로부터 보간하여 생성한다.
이와 같이 하면, 베이스 시차 정보나 글로벌 시차 정보 후보가 주어지는 영역이 많아져 보정해야 할 정보를 줄일 수 있게 되므로 부호량을 억제하여 높은 부호화 효율을 달성할 수 있다.
또 연속성을 인접 관계 뿐만 아니라 삼차원적인 정보를 나타내게 되는 시차 정보도 사용하여 보다 정확하게 판단할 수 있기 때문에 잘못된 베이스 시차 정보나 글로벌 시차 정보 후보를 생성하여 반대로 보정해야 할 정보를 증가시키는 것을 방지할 수 있다.
이상의 본 발명에 의한 화상(영상 포함) 부호화 및 대응하는 화상 복호에서는 각종 시차 정보나 시차 정보를 보정하는 정보나 영역 분할 정보를 공간적 변화 또는 시간적 변화를 감안하여 부호화할 수도 있다.
각종 시차 정보나 시차 정보를 보정하는 정보나 영역 분할 정보는 비치는 영상에 의존한 정보이기 때문에 화상 내의 상관이나 시간적인 상관이 대단히 높다.
그러므로 이에 따르면, 각종 시차 정보나 시차 정보를 보정하는 정보나 영역 분할 정보의 불필요한 부분을 없애 부호화할 수 있기 때문에 그 부호량을 줄여 높은 부호화 효율을 달성할 수 있다.
또 기준 시점의 부호화된 화상을 축소하는 단계를 가지고 글로벌 시차 정보를 구할 때 생성된 축소 화상에 대해 기준 시점의 카메라에서 피사체까지의 거리를 구하도록 하는 실시도 가능하다.
이와 같이 하면, 화상을 축소하여 영상의 자세한 정보를 삭제함으로써 카메라 파라미터 오차 등에 의해 발생하는 시차 정보의 오차나 미세한 변화를 없앨 수 있다. 이와 같은 성질을 가진 글로벌 시차 정보에 의하면 카메라 파라미터의 오차 등에 좌우되지 않는 대략적인 카메라간의 대응 관계를 얻을 수 있다.
따라서 카메라마다 부호화되는 보정 시차 정보나 보정 벡터에서 중복 수정해야 하는 오차 정보를 줄여 전체적으로 부호화 효율을 향상시킬 수 있게 된다. 또 축소 화상을 사용함으로써 시차 정보를 구할 때에 연산 대상이 되는 화소가 줄기 때문에 연산량을 삭감할 수도 있다.
나아가 다시점 동영상을 부호화(복호)할 경우, 각 시각의 프레임 집합을 다시점 화상으로 간주하여 본 발명의 화상 부호화 방법(화상 복호 방법)을 적용할 수 있다.
또한 다시점 동영상에서는 본 발명의 방법으로 화상 전체를 부호화하는 것이 아니라 시간 방향의 상관을 이용한 움직임 보상 등 다른 수법 등을 부호화 처리 대상별로 선택하여 부호화함으로써 부호화 효율을 높일 수도 있다.
본 발명에 의하면, 시차 보상을 하기 위한 정보의 대폭적인 증가를 막으면서 카메라 파라미터의 추정 오차의 영향을 고려한 예측 정밀도가 높은 시차 보상을 실현함으로써 다시점 화상 전체나 다시점 동영상 전체에 걸쳐 고효율의 부호화를 실현할 수 있다.
도 1은 본 발명에서 정의한 시차 보상에 사용하는 각 정보의 이미지도이다.
도 2는 실시예에서의 카메라 구성예의 개념도이다.
도 3은 본 발명의 실시예 1의 영상 부호화 장치를 도시한 도면이다.
도 4는 도 3의 글로벌 시차 보상 정보 설정부의 상세를 도시한 도면이다.
도 5는 도 3의 시차 보상 정보 설정부의 상세를 도시한 도면이다.
도 6은 실시예 1의 영상 부호화 흐름도이다.
도 7은 도 6의 단계S2의 처리에 관한 상세 흐름도이다.
도 8은 매크로 블럭에서의 블럭 분할의 일례를 도시한 도면이다.
도 9는 도 6의 단계S4의 처리에 관한 상세 흐름도이다.
도 10은 도 6의 단계S5의 처리에 관한 상세 흐름도이다.
도 11은 본 발명의 실시예 2의 영상 부호화 장치를 도시한 도면이다.
도 12는 도 11의 로컬 시차 보상 정보 설정부의 상세를 도시한 도면이다.
도 13은 도 11의 글로벌 시차 보상 정보 설정부의 상세를 도시한 도면이다.
도 14는 도 11의 시차 보상 정보 설정부의 상세를 도시한 도면이다.
도 15는 실시예 2에서의 영상 부호화 흐름도이다.
도 16은 도 15의 단계S402의 처리에 관한 상세 흐름도이다.
도 17은 도 15의 단계S403의 처리에 관한 상세 흐름도이다.
도 18은 도 15의 단계S406의 처리에 관한 상세 흐름도이다.
도 19는 본 발명의 실시예 3의 영상 복호 장치를 도시한 도면이다.
도 20은 실시예 3에서의 영상 복호 흐름도이다.
도 21은 카메라간에 발생하는 시차의 개념도이다.
도 22는 에피폴라 기하 구속의 개념도이다.
<부호의 설명>
100,200 영상 부호화 장치
101,201 화상 입력부
102,202 화상 메모리
103,203 기준 시점 화상 입력부
104,204 기준 시점 화상 메모리
105,206 글로벌 시차 보상 정보 설정부
106,207 베이스 시차 정보 설정부
107,208 시차 보상 정보 설정부
108,209 화상 부호화부
109,210 복호 화상 메모리
205 로컬 시차 보상 정보 설정부
1051 기준 시점 화상 블럭 분할 설정부
1052 블럭 분할 정보 부호화부
1053 글로벌 시차 정보 추정부
1054 글로벌 시차 정보 부호화부
1071,2081 부호화 대상 화상 블럭 분할 설정부
1072,2082 블럭 분할 정보 부호화부
1073,2085 참조 시점 인덱스 설정부
1074,2086 시점 인덱스 부호화부
1075,2083 보정 시차 정보 설정부
1076,2084 보정 시차 정보 부호화부
1077,2087 보정 벡터 설정부
1078,2088 보정 벡터 부호화부
1079,2089 시차 보상 효율 평가부
2051 로컬 시차 정보 블럭 분할 설정부
2052 참조 시점 인덱스 설정부
2053 로컬 시차 정보 설정부
2054 시차 보상 효율 평가부
2061 기준 시점 화상 블럭 분할 설정부
2062 블럭 분할 정보 부호화부
2063 글로벌 시차 정보 추정부
2064 글로벌 시차 정보 부호화부
300 영상 복호 장치
301 부호화 데이터 입력부
302 기준 시점 화상 입력부
303 화상 메모리
304 글로벌 시차 보상 정보 복호부
305베이스 시차 정보 설정부
306 시차 보상 정보 복호부
307 시차 보상 화상 생성부
308 화상 복호부
본 발명이 종래 기술과 가장 다른 점은, 하나의 기준 시점을 설정하고 그 기준 시점의 부호화된 화상에 대해 같은 시각의 다른 모든 부호화 대상 화상을 시차 보상하기 위해 에피폴라 기하 구속에 따른 글로벌 시차 정보를 구하고, 이 글로벌 시차 정보를 각 부호화 대상 화상에 대한 에피폴라 기하 구속에 따른 베이스 시차 정보로 변환하여 각 부호화 대상 화상의 성질이나 카메라 파라미터 오차에 따라 그 베이스 시차 정보를 보정하기 위한 시차 정보를 부호화 대상 화상마다 부호화하는 점이다.
이 에피폴라 기하 구속에 따른 시차 정보는 그 화상의 시점에서 피사체까지 의 거리나 에피폴라 직선상의 기준점에서부터의 거리나 그 거리에 대응된 인덱스값으로 표시할 수 있다.
나아가 이하에 시차 정보라고 설명한 경우, 이러한 에피폴라 기하 구속에 기초한 시차 정보를 가리키는 것으로 한다. 본 발명에서 사용하는 글로벌 시차 정보와 베이스 시차 정보의 개념에 대해서 설명하기로 한다.
〔글로벌 시차 정보〕
글로벌 시차 정보는, 기준 시점의 화상에 대해 주어지는 시차 정보이다. 이하에서는 영역마다 시차 정보가 주어지는 것으로 설명한다.
어느 영역A가 시차 정보(d)를 갖는다고 하면, 같은 시각에 촬영된 다른 시점(i=1,2,3,…,N)의 화상에 대한 대응 영역(RA(d,i))이 에피폴라 기하 구속에 따라서 얻어진다. 이 때, 각 대응 영역간의 화상의 상이도를 차분 절대값 합이나 차분 제곱 합이나 차분의 분산 등이나 여러 기준의 중요도 합 등으로 평가할 수 있다.
이 상이도를 {A,RA(d,i)li=1,2,…,N}의 모든 조합에 대해 합한 것을 영역A에서의 시차 정보(d)의 평가값이라고 부르기로 한다면, 가장 작은 평가값을 주는 시차 정보를 글로벌 시차 정보(D)라고 부른다.
또 오차의 영향을 줄이기 위해 실공간에서의 물체의 연속성을 가정하여 시차 정보(d)에 대해 보정항을 추가하여 평가값을 산출하는 경우도 있다.
상기 대응 영역을 찾기 위해 에피폴라 기하 구속을 이용할 때에 카메라 파라미터나 계산에 오차가 생기기 때문에 특정 관점(i=k)을 생각했을 때 부호화시의 부 호량(Rate(A,d,k))을 최소화시키는 시차 정보(d)는 글로벌 시차 정보(D)가 아닌 경우가 있다.
따라서 글로벌 시차 정보(D)는 그 영역 및 그 영역에 대한 다른 모든 시점의 화상에서의 대응 영역간에 유사도가 가장 높아지는 시차 정보가 된다. 개념적으로 말하면, 그 영역에서의 카메라에서 피사체까지의 대략적인 거리나 정밀도가 낮은 거리를 나타낸다고도 볼 수 있다.
〔베이스 시차 정보〕
베이스 시차 정보가 가리키는 것은 글로벌 시차 정보와 동일한 것이다. 다만 그 기준이 되는 시점이 글로벌 시차 정보의 경우는 기준 시점이고 베이스 시차 정보가 기준 시점 이외의 시점이라는 점만이 다르다.
나아가 대응하고 있는 영역에서의 글로벌 시차 정보와 베이스 시차 정보는 동일한 3차원 위치를 나타내는 정보가 되지만, 일반적으로 시차 정보는 카메라에서 피사체까지의 거리로 표시되기 때문에 시점이 변함으로써 시차 정보의 구체적인 값은 달라진다.
도 1은, 본 발명에서 정의한 시차 보상에 사용하는 각 정보의 이미지도이다. 본 발명의 화상 부호화 방법에서는 부호화 대상의 다시점 화상 중 하나의 기준 시점을 선택하여 부호화한다. 그리고 기준 시점 이외의 시점의 화상을 부호화할 때 이미 부호화 완료된 다른 시점의 화상에서 영상을 예측하여 부호화를 행한다.
이 영상을 예측하기 위해서 사용하는 부호화된 다른 시점의 화상을 참조 시점 화상이라고 부른다. 이 참조 시점 화상은, 기준 시점의 화상과 동일해도 좋고 달라도 좋다. 도 1에서는 일반적인 경우를 나타내기 위해서 다른 시점의 화상인 것으로 도시하였다.
우선, 상기에서 설명한 글로벌 시차 정보가 기준 시점의 화상에 대해 주어진다. 글로벌 시차 정보에 의해 주어지는 피사체의 3차원 위치는, 부호화 대상 시점에서 보면 베이스 시차 정보가 된다. 그리고 부호화 대상 화상 위의 화소에 대해 참조 관점 화상만을 감안했을 때 대응 화소간의 유사도가 가장 높아지는 시차 정보(이것을 로컬 시차 정보라고 부른다)를 구하고 그 시차 정보와 베이스 시차 정보의 차분을 보정 시차 정보라고 부른다.
이 부호화 대상 화상 위의 화소에 대한 시차 정보는 에피폴라 기하 구속에 따르기 때문에 도 22에 도시한 바와 같이 어떠한 시차 정보를 준다 해도 참조 시점 화상 위의 대응 영역은 참조 시점 화상 위에서 직선 위에 구속되고, 주어진 카메라 파라미터의 오차가 있으면 그 직선 위에 진짜 대응점이 존재하지 않는다.
그래서 로컬 시차 정보에 의해 주어진 대응점에서 진짜 대응점까지의 벡터를 보정 벡터라고 부른다.
글로벌 시차 정보(및 그것을 변환한 베이스 시차 정보) 뿐만 아니라 이와 같이 하여 부호화 대상 화상 위에 있는 화소에 대해 보정 시차 정보와 보정 벡터를 주어 구해진 참조 시점 화상 위의 대응점의 화상 정보를 사용하여 그 화소의 영상을 예측한다.
나아가, 이 도 1에서는 도시되지 않았으나, 글로벌 시차 정보는 다시점 화상(다시점 동영상의 표시 시각이 같은 화상군)에 대해 1화상만큼 부호화하고, 보정 시차 정보와 보정 벡터는 기준 시점을 제외한 각 시점에 대해 1화상만큼씩 부호화된다. 또 베이스 시차 정보는 글로벌 시차 정보에서 구해지는 것으로서, 부호화되는 것은 아니다.
이하, 실시형태에 따라서 본 발명을 상세히 설명하기로 한다.
여기에서 이하에 설명하는 실시형태의 예에서는, 3개의 카메라로 촬영된 다시점 동영상을 부호화하는 경우를 상정하고 카메라A를 기준 시점으로 하여 카메라B와 카메라C의 화상을 부호화하는 방법에 대해서 설명하기로 한다.
도 2에, 본 실시형태의 예에서 사용하는 카메라 구성 개념도를 도시한다. 도면 중 사각형의 도형은 각 카메라의 프레임을 나타내고, 카메라B와 카메라C의 화상이 도면 중의 번호 순서대로 입력되는 것으로 하여 설명하기로 한다.
우선, 제1 실시예(이하, 실시예 1)에 대해서 설명하기로 한다. 본 발명의 실시예 1에 관한 영상 부호화 장치의 구성도를 도 3, 도 4, 도 5에 도시한다.
도 3에 도시한 바와 같이, 실시예 1의 영상 부호화 장치(100)는 부호화 대상이 되는 카메라B와 카메라C의 원화상을 입력하는 화상 입력부(101)와, 입력된 화상을 저장하는 화상 메모리(102)와, 기준 시점인 카메라A의 복호 화상을 입력하는 기준 시점 화상 입력부(103)와, 입력된 기준 시점의 복호 화상을 저장하는 기준 시점 화상 메모리(104)와, 기준 시점에 대한 에피폴라 기하 구속에 기초한 시차 정보인 글로벌 시차 정보를 설정하는 글로벌 시차 보상 정보 설정부(105)와, 글로벌 시차 정보에서 부호화 대상 화상의 시점에 대한 에피폴라 기하 구속에 기초한 시차 정보인 베이스 시차 정보를 설정하는 베이스 시차 정보 설정부(106)와, 부호화 대상 화 상을 시차 보상하기 위한 정보를 설정하는 시차 보상 정보 설정부(107)와, 입력 화상을 실제로 예측 부호화하는 화상 부호화부(108)와, 부호화한 입력 화상을 복호한 화상을 저장하는 복호 화상 메모리(109)를 구비한다.
도 4는, 글로벌 시차 보상 정보 설정부(105)의 구성 상세를 도시한 도면이다.
이 도면에 도시한 바와 같이, 글로벌 시차 보상 정보 설정부(105)는, 기준 시점의 화상에 대한 블럭 분할을 설정하는 기준 시점 화상 블럭 분할 설정부(1051)와, 결정한 블럭 분할 정보를 부호화하는 블럭 분할 정보 부호화부(1052)와, 입력된 화상군에서 블럭마다 글로벌 시차 정보를 추정하는 글로벌 시차 정보 추정부(1053)와, 구해진 글로벌 시차 정보를 부호화하는 글로벌 시차 정보 부호화부(1054)를 구비한다.
여기에서 글로벌 시차 정보 추정부(1053)에 의해 구해진 글로벌 시차 정보는 베이스 시차 정보 설정부(106)에 통지된다.
또 블럭 분할 정보 부호화부(1052)와 글로벌 시차 정보 부호화부(1054)가 출력하는 부호화 데이터는 본 영상 부호화 장치(100)의 출력 일부를 구성한다.
도 5는, 시차 보상 정보 설정부(107)의 구성 상세를 도시한 도면이다.
이 도면에 도시한 바와 같이, 시차 보상 정보 설정부(107)는 부호화 대상 화상에 대한 블럭 분할을 설정하는 부호화 대상 화상 블럭 분할 설정부(1071)와, 결정한 블럭 분할 정보를 부호화하는 블럭 분할 정보 부호화부(1072)와, 시차 보상을 할 때에 참조 화상으로서 사용하는 화상의 시점을 나타내는 시점 인덱스를 설정하 는 참조 시점 인덱스 설정부(1073)와, 결정한 시점 인덱스를 부호화하는 시점 인덱스 부호화부(1074)와, 베이스 시차 정보를 에피폴라 기하 구속에 기초하여 보정하기 위한 정보인 보정 시차 정보를 설정하는 보정 시차 정보 설정부(1075)와, 결정한 보정 시차 정보를 부호화하는 보정 시차 정보 부호화부(1076)와, 베이스 시차 정보와 보정 시차 정보에 의해 주어지는 대응 관계를 에피폴라 기하 구속과는 상관 없이 보정하기 위한 보정 벡터를 설정하는 보정 벡터 설정부(1077)와, 결정한 보정 벡터를 부호화하는 보정 벡터 부호화부(1078)와, 각 부에 의해 설정되는 시차 보상을 위한 정보로 시차 보상을 했을 때의 예측 효율을 평가하는 시차 보상 효율 평가부(1079)를 구비한다.
여기에서 시차 보상 효율 평가부(1079)에 의해 시차 보상 효율이 가장 좋다고 판단되었을 때의 시차 보상 화상은 화상 부호화부(108)에 통지된다.
또 블럭 분할 정보 부호화부(1072)와, 시점 인덱스 부호화부(1074)와, 보정 시차 정보 부호화부(1076)와, 보정 벡터 부호화부(1078)가 출력하는 부호화 데이터는 본 영상 부호화 장치(100)의 출력 일부를 구성한다.
도 6∼도 10에, 이와 같이 구성되는 영상 부호화 장치(100)가 실행하는 처리 흐름을 도시한다. 이러한 처리 흐름에 따라서 실시예 1의 영상 부호화 장치(100)가 실행하는 처리에 대해서 상세히 설명하기로 한다.
도 6은, 실시예 1의 영상 부호화 장치(100)에서 수행되는 부호화 처리 전체의 개요를 도시하고 있다. 또 이 흐름에서는 카메라B와 카메라C로 같은 시각에 촬영된 1장씩의 화상을 부호화하는 처리를 설명한다.
우선, 화상 입력부(101)에 의해 같은 시각에 촬영된 카메라B와 카메라C의 화상이 1장씩 입력되어 화상 메모리(102)에 저장된다[단계S1]. 여기에서 입력된 화상과 같은 시각에 촬영된 카메라A의 복호 화상이 기준 시점 화상 입력부(103)에 의해 입력되어 기준 시점 화상 메모리(104)에 저장되어 있는 것으로 한다.
다음으로, 글로벌 시차 보상 정보 설정부(105)에서 화상 메모리(102)와 기준 시점 화상 메모리(104) 위의 화상에서 기준 시점 화상에서의 에피폴라 기하 구속을 만족하는 글로벌 시차 정보를 구하고 그것을 부호화한다[단계S2]. 여기에서 수행되는 처리의 상세는 나중에 도 7을 사용하여 설명하기로 한다.
이후의 단계S4∼S7의 처리는 화상 메모리(102)상의 화상마다 수행된다. 여기에서는 카메라B의 화상을 카메라C의 화상에 앞서 부호화하는 것으로 설명한다.
즉, 화상 메모리(102)에서 카메라B의 화상을 꺼내어 부호화 대상 화상으로 설정하고[단계S3], 단계S2의 처리에서 구한 글로벌 시차 정보를, 베이스 시차 정보 설정부(106)에서 부호화 대상 화상에 대한 에피폴라 기하 구속에 따른 베이스 시차 정보로 변환하고[단계S4], 그 베이스 시차 정보를 기초로 부호화 효율을 감안하여 기타 시차 보상 정보인 참조 시점 인덱스, 보정 시차 정보, 보정 벡터 등을 구하여 부호화하고[단계S5], 그 구해진 시차 보상 정보를 사용하면서 부호화 대상 화상을 화상 부호화부(108)에서 부호화한다[단계S6].
부호화된 화상은 복호되어 복호 화상 메모리(109)에 저장된다[단계S7]. 그리고 부호화된 화상이 카메라B의 화상이라면[단계S8], 다음으로 카메라C의 화상을 화상 메모리(102)에서 꺼내어 같은 순서[단계S4∼S7]로 부호화하고 모든 처리를 종료 한다. 단계S4, 단계S5에서 수행하는 처리는 나중에 상세히 설명하기로 한다.
도 7에 글로벌 시차 보상 정보 설정부(105)에서 수행되는 단계S2의 처리의 상세한 처리 흐름을 도시한다.
본 실시예 1에서는 가로세로 16화소로 구성되는 매크로 블럭 단위로 블럭 분할을 지정하고, 그 블럭 분할로 작성되는 매크로 블럭 내의 블럭(편의상, 이하에서는 ”블럭”이라고 약칭) 단위로 글로벌 시차 정보를 구해 부호화한다. 물론 매크로 블럭보다 큰 사이즈의 블럭을 사용해도 좋다.
매크로 블럭으로 적용 가능한 블럭 분할로서는 여러가지 것을 생각할 수 있는데, 예를 들면 도 8에 도시한 것을 생각할 수 있다. 도 8에 기재된 바와 같이 블럭 분할의 종류에 관한 인덱스를 blkMode로 하고, 블럭 분할(blkMode)에서의 블럭수를 maxBlk[blkMode]로 표시한다. 블럭 분할 종류의 수는 maxBlkMode로 표시한다.
또 매크로 블럭의 인덱스를 MBBlk로 표시하고, 매크로 블럭수를 maxMBBlk로 표시한다.
따라서, 여기에서의 처리는 매크로 블럭의 인덱스(MBBlk)를 0으로 초기화한 후[단계S101], MBBlk에 1을 가산하면서[단계S116], MBBlk가 maxMBBlk가 될 때까지[단계S117] 이하의 처리[단계S102∼S115]를 반복한다.
그 후, 구해진 블럭 분할 정보(BLKMode)와 글로벌 시차 정보(GDispInfo)를 각각 블럭 분할 정보 부호화부(1052)와 글로벌 시차 정보 부호화부(1054)에서 부호화한다[단계S118].
매크로 블럭마다 반복되는 처리에서는 블럭 분할 후보별로 그 분할을 평가하 여 가장 평가가 좋은 것을 그 매크로 블럭의 블럭 분할로 설정하는 것을 수행한다.
즉, 블럭 분할(blkMode)을 0으로, 그 매크로 블럭에서의 평가값의 최량값(bValue)을 절대로 취할 수 없는 최악의 평가값(wValue)으로 초기화한 후[단계S102], blkMode에 1을 가산하면서[단계S114] blkMode가 maxBlkMode가 될 때까지[단계S115] 블럭 분할(blkMode)에 대한 평가값(value)을 구하고[단계S103∼S111], value와 bValue를 비교함으로써 최량의 평가값을 주는 블럭 분할을 구하고[단계S112], 그 매크로 블럭의 분할을 BLKMode[MBBlk]에, 글로벌 시차 정보를 GDispInfo[MBBlk]에 저장하는 [단계S113]의 처리를 반복한다.
블럭 분할(blkMode)에 대한 평가값(value)은 분할된 각 블럭에서의 시차 보상 레이트 왜곡 비용을 합함으로써 구해진다.
즉, 분할된 블럭의 인덱스를 blk로 표시한다고 하면, blk를 0으로 초기화하고, value를 블럭 분할이 blkMode인 것에 따른 평가값(InitValue[blkMode])으로 초기화한 후[단계S103], blk에 1을 가산하고 value에 블럭마다의 최량 레이트 왜곡 비용(bestBlkCost)을 더하고 각 블럭의 최량 레이트 왜곡 비용을 주는 글로벌 시차 정보를 tempGDispInfo[blk]에 저장하면서[단계S110] blk가 maxBlk[blkMode]가 될 때까지[단계S111] 각 블럭에서 최량 레이트 왜곡 비용을 주는 글로벌 시차 정보를 구하는 처리[단계S104∼S109]를 반복한다.
InitValue[blkMode]는 블럭 분할이 blkMode라는 것을 나타내기 위한 정보를 부호화하기 위해 필요한 부호량에 의존한 값이 사전에 정해져 있는 것으로 한다.
블럭에 대해 최량 레이트 왜곡 비용을 주는 글로벌 시차 정보를 구하는 처리 에서는, 글로벌 시차 정보 후보의 인덱스(gDispInfo)의 최대값을 maxGDispInfo로 표시한다고 하면, gDispInfo를 0으로, 그 블럭에서의 레이트 왜곡 비용의 최량값(bestBlkCost)을 절대로 취할 수 없는 최악의 값(wBlkCost)으로 초기화한 후[단계S104], gDispInfo에 1을 가산하면서[단계S108] gDispInfo가 maxGDispInfo를 초과할 때까지[단계S109] 글로벌 시차 정보(gDispInfo)에 대한 레이트 왜곡 비용(blkCost)을 구하고[단계S105] blkCost와 bestBlkCost를 비교함으로써 최량의 레이트 왜곡 비용을 주는 글로벌 시차 정보를 구하고[단계S106], 그 글로벌 시차 정보를 bestGDispInfo에 보존하는[단계S107] 처리를 반복한다.
글로벌 시차 정보(gDispInfo)에 대한 레이트 왜곡 비용(blkCost)은 이하의 식에 따라서 구해진다.
[수학식 1]
Figure 112010076727644-pct00001
여기에서 λ1은 라그랑지(Lagrange)의 미정 승수로서 사전에 설정된 값이 이용된다. Rate()는 인수로 주어지는 글로벌 시차 정보를 부호화할 때 필요한 부호량 또는 그 예측값을 되돌려주는 함수를 나타낸다.
Σcam은 cam∈{카메라B, 카메라C}의 합을 나타내고, Σpix는 pix∈{블럭내의 화소}의 합을 나타낸다.
dbase()는 인수로서 주어지는 글로벌 시차 정보 인덱스가 나타내는 기준 시점에서 피사체까지의 거리를 되돌려주는 함수를 나타낸다.
Value()는 제1인수로서 주어지는 시점에서의 화상 위의, 제2인수로서 받는 화소 위치의 화소값을 되돌리는 함수를 나타내고, Trans(src,dst,pix,d)는 시점src에서의 화상 위의, 위치pix의 화소의 시점에서 피사체까지의 거리가 d인 경우에 화소pix의 시점dst에서의 화상 위에서의 대응 화소p를 되돌리는 함수를 나타내고 있다. 이 p는 이하의 식으로 구해진다.
[수학식 2]
Figure 112009015507472-pct00002
여기에서 A,R,t는 카메라 파라미터로서, 각각 내부 파라미터, 회전 파라미터, 병진 파라미터를 나타낸다. 내부 파라미터와 회전 파라미터는 3×3행렬이고, t는 3차원의 벡터다.
상기 「∼」가 부가된 p는, p의 제차(齊次) 좌표를 나타내고 있다. 또 「^」가 부가된 pix는, pix의 제차 좌표 중 특히 제3성분이 1인 것을 나타내고 있다.
제차 좌표는 동차(同次) 좌표라고도 불린다. 2차원 좌표에 대한 제차 좌표는 3개의 성분을 갖는다. 이 제차 좌표의 제3성분의 값으로 제1성분 및 제2성분의 값을 각각 나눈 값을 제1성분 및 제2성분으로서 가진 좌표가 제차 좌표에 대한 보통의 좌표가 된다. 카메라 파라미터의 표시 방법은 여러가지가 있는데, 본 실시예에서는 상기 식에 의해 카메라간의 대응점을 계산할 수 있는 카메라 파라미터로 한 다.
도 9에 베이스 시차 정보 설정부(106)에서 수행되는 단계S4의 처리의 상세한 처리 흐름을 도시한다.
여기에서의 처리는 기준 시점에서 촬영된 화상의 화소마다 수행된다.
즉, 화소 인덱스(bp)를 0으로 초기화한 후[단계S201], bp에 1을 가산하면서[단계S213] bp가 화상내 화소수(numPix)가 될 때까지[단계S214] 이하의 처리[단계S202∼S212]를 반복한다.
또 베이스 시차 정보 전체를 BdispInfo로 나타내고 []를 사용하여 지정된 위치의 베이스 시차 정보를 나타내는 것으로 한다. 이 베이스 시차 정보는 흐름의 처음 시점에 절대로 취할 수 없는 큰 값으로 초기화된다[단계S201].
처리를 하는 화소의 순번은 어떠한 순번이든 상관 없지만, 본 실시예 1에서는 래스터 주사 순서대로 처리를 하는 것으로 한다.
화소마다 반복하여 수행되는 처리에서는 우선 화소(bp)가 포함되는 매크로 블럭(MBBlk)과, 글로벌 시차 정보를 설정할 때에 구해진 블럭 분할에 따른 경우의 블럭 인덱스(blk)를 구한다[단계S202].
다음으로 화소(bp)가 부호화 대상 화상에서 대응하는 화소(tp)와, 거기에서의 베이스 시차 정보 후보(bDispInfo)를 글로벌 시차 정보(GDispInfo[MBBlk][blk])로부터 다음 수식을 사용하여 구한다[단계S203].
[수학식 3]
Figure 112009015507472-pct00003
여기에서 tar는 부호화 대상 화상의 시점을 나타내고, dtar()는 인수로서 주어지는 시차 정보 인덱스(즉, 베이스 시차 정보 후보(bDispInfo))가 나타내는 부호화 대상 화상의 시점에서 피사체까지의 거리를 되돌려주는 함수를 나타낸다.
즉, (i)화소(bp)(의 위치), (ii)화소(bp)에서의 글로벌 시차 정보가 나타내는 기준 시점에서 피사체까지의 거리, (iii)기준 시점의 카메라 파라미터 및 (iv)부호화 대상 화상의 시점의 카메라 파라미터에서 화소(tp)(의 위치) 및 화소(tp)에서의 베이스 시차 정보 후보를 구한다.
단, 직접 얻어지는 것은 화소(tp)(의 위치)와 화소(tp)에서의 부호화 대상 화상의 시점에서 피사체까지의 거리로서, 후자가 함수dtar의 역함수를 사용하여 상기 화소(tp)에서의 베이스 시차 정보 후보(bDispInfo)로 변환된다.
이와 같이 하여 구해진 bDispInfo는 그 위치에서 이미 구해진 베이스 시차 정보(BDispInfo[tp])와, 그것들이 나타내는 부호화 대상 화상의 시점에서 피사체까지의 거리를 척도로 하여 비교되고[단계S204], bDispInfo가 나타내는 거리가 작지 않은 경우에는 차폐(카메라에서 보이지 않았던 부분)가 발생한다고 하여 그 화소에 대한 처리를 종료한다.
bDispInfo가 나타내는 거리가 작은 경우에는 bDispInfo에서 BDispInfo[tp]의 값을 갱신한다[단계S205].
다음으로 실공간상의 물체의 연속성을 사용하여 BdispInfo를 갱신한다. 즉, bp의 왼쪽 또는 위에서 인접하는 화소의 집합(NEIGHBOR)을 생성하고[단계S206], NEIGHBOR가 공집합이 될 때까지[단계S207], 처리 완료된 화소를 NEIGHBOR에서 제거하면서[단계S212] 다음 처리[단계S208∼S211]를 반복한다.
NEIGHBOR의 요소마다 수행되는 처리에서는, 우선 NEIGHBOR의 1요소를 nbp로 했을 때 nbp에서의 글로벌 시차 정보를 GDispInfo에서 구하여 nGDispInfo로 한다[단계S208].
다음으로, nGDispInfo와 GDispInfo[MBBlk][blk]의 차분 절대값과 사전에 주어지는 문턱값(TH)을 비교한다[단계S209].
문턱값 이상인 경우에는 실공간상에서 물체는 연속되지 않기 때문에 그 요소에 대한 처리는 종료된다.
문턱값보다 작은 경우에는 상기 단계S203 처리시의 식을 사용하여 화소(nbp)가 부호화 대상 화상에서 대응하는 화소(ntp)와, 거기에서의 베이스 시차 정보(nbDispInfo)를 구한다[단계S210].
그리고 tp와 ntp 사이에 존재하는 화소의 베이스 시차 정보를 bDsipInfo와 nbDispInfo를 사용하여 보완한다[단계S211].
양단의 정보 사이의 값을 보완하는 방법이라면 어떠한 방법이라도 쓸 수 있지만 가장 단순한 방법으로서 양단의 베이스 시차 정보 사이를 선형 보완하는 방법이 있다. 계산되는 보완값에 대해 그보다도 작은 베이스 시차 정보가 이미 있는 경 우에는 차폐가 발생한다고 하여 갱신하지 않는다.
본 실시예 1에서는 각 화소에 관하여 화소 위치와 글로벌 시차 정보로부터 부호화 대상 화상에서의 대응 화소와 베이스 시차 정보를 구하는 계산이 여러 번 적용되지만, 단계S210의 처리 계산은 상기 단계S203의 처리의 식을 사용하여 수행되므로 단계S203의 처리에서의 결과를 저장해 놓을 수 있다면 그 때의 값을 사용함으로써 각 화소에 대해 한 번의 계산만으로 모두 끝나기 때문에 연산량을 절약할 수 있다.
도 10에, 시차 보상 정보 설정부(107)에서 수행되는 단계S5의 처리의 상세한 흐름을 도시한다.
본 실시예 1에서는 매크로 블럭마다 블럭 분할을 결정하고 블럭마다 참조 시점 인덱스와 보정 시차 정보와 보정 벡터를 요구하여 부호화한다. 본 실시예에서는 이 블럭마다 구하는 참조 시점 인덱스와 보정 시차 정보와 보정 벡터를 시차 보상 정보로 부르기로 한다. 나아가 어느 블럭에서 시차 보상에 사용하는 정보에는 이 시차 보상 정보 외에 베이스 시차 정보도 포함된다. 즉 여기에서는 베이스 시차 정보를 보정하기 위한 정보가 시차 보상 정보이다.
따라서 매크로 블럭 인덱스(MBBlk)를 0으로 초기화한 후[단계S301], MBBlk에 1을 가산하면서[단계S316], MBBlk가 maxMBBlk가 될 때까지[단계S317] 시차 보상 정보를 가미하면서 블럭 분할을 결정하는 처리[단계S302∼S31]를 반복하고, 구해진 시차 보상 정보를 블럭 분할 정보 부호화부(1072), 시점 인덱스 부호화부(1074), 보정 시차 정보 부호화부(1076), 보정 벡터 부호화부(1078)에서 부호화한다[단계 S318].
시차 보상 정보를 가미하면서 블럭 분할을 결정하는 처리에서는 블럭 분할 정보(blkMode)를 0으로 초기화한 후[단계S302], blkMode에 1을 가산하면서[단계S314] blkMode가 maxBlkMode가 될 때까지[단계S31] 시차 보상 정보를 가미한 매크로 블럭의 레이트 왜곡 비용(MBCost)을 구하고[단계S303∼S311], 그때까지의 최소 비용(bestMBCost)과 비교하여[단계S312] 보다 적은 비용이 되는 블럭 분할을 그 매크로 블럭의 블럭 분할(eBLKMode[MBBlk])로 결정[단계S313]하는 처리를 반복한다.
bestMBCost는 처음에 절대로 취할 수 없는 최대값(wMBCost)으로 초기화된다[단계S302].
시차 보상 정보를 가미한 매크로 블럭의 레이트 왜곡 비용을 구하는 처리에서는, 블럭 인덱스(blk)를 0으로 초기화한 후[단계S303], blk에 1을 가산하면서[단계S310] blk가 maxBlk[blkMode]가 될 때까지[단계S311] 블럭마다 최소의 레이트 왜곡 비용을 주는 시차 보상 정보(bestEDispInfo)와 그 때의 레이트 왜곡 비용(bestBlkECost)을 구하는 처리[단계S304∼S309]를 반복한다.
매크로 블럭에 대한 레이트 왜곡 비용(MBCost)은 최초로 0으로 초기화된 후[단계S303], 블럭마다의 처리가 종료되었을 때 블럭에 대한 최소 레이트 왜곡 비용(bestBlkECost)을 가산함으로써 계산된다[단계S310].
또 여기에서 결정한 시차 보상 정보는 tempEDispInfo[blk]에 저장되고[단계S310], 최종적인 매크로 블럭의 레이트 왜곡 비용을 감안하여 최량의 것이라면 EDispInfo[MBBlk]에 저장한다[단계S313].
블럭의 최소 레이트 왜곡 비용을 주는 시차 정보를 구하는 처리에서는, 참조 시점 인덱스와 보정 시차 정보와 보정 벡터의 조와 대응된 시차 보상 정보 인덱스(eDispInfo)를 0으로 초기화한 후[단계S304], eDispInfo에 1을 가산하면서[단계S308] eDispInfo가 참조 시점 인덱스와 보정 시차 정보와 보정 벡터의 조합의 수(maxEDispInfo)가 될 때까지[단계S309] eDispInfo에 대응하는 시차 보상 정보에서의 레이트 왜곡 비용(blkECost)을 구하고[단계S305], blkECost가 그때까지의 최소 레이트 왜곡 비용(bestBlkECost)보다도 작으면[단계S306] bestEDispInfo에 eDispInfo를 저장하고 bestBlkECost를 blkECost로 갱신하는 처리[단계S307]를 반복한다.
bestBlkECost는 처음에 절대로 취할 수 없는 최대값(wBlkECost)으로 초기화된다[단계S304].
단계S306의 처리에서의 레이트 왜곡 비용의 계산에는 이하의 식이 사용된다.
[수학식 4]
Figure 112009015507472-pct00004
여기에서 λ2는 라그랑지의 미정 승수로서 사전에 설정된 값이 이용된다. 또 tar는 부호화 대상 화상의 시점을 가리키고 ref,md,cmv는 각각 시차 보상 정보(eDispInfo)로 나타나는 참조 시점 인덱스, 보정 시차 정보, 보정 벡터를 나타낸 다.
다음으로 제2 실시예(이하, 실시예 2)에 대해서 설명하기로 한다. 본 발명의 실시예 2에 관한 영상 부호화 장치의 구성도를 도 11, 도 12, 도 13, 도 14에 도시한다.
도 11에 도시한 바와 같이 실시예 2의 영상 부호화 장치(200)는 부호화 대상이 되는 카메라B와 카메라C의 원화상을 입력하는 화상 입력부(201)와, 입력된 화상을 저장하는 화상 메모리(202)와, 기준 시점인 카메라A의 복호 화상을 입력하는 기준 시점 화상 입력부(203)와, 입력된 기준 시점의 복호 화상을 저장하는 기준 시점 화상 메모리(204)와, 부호화 대상의 화상에 대한 에피폴라 기하 구속에 기초한 시차 정보인 로컬 시차 정보를 설정하는 로컬 시차 보상 정보 설정부(205)와, 각 부호화 대상의 화상에 대해 설정된 로컬 시차 정보로부터, 기준 시점에 대한 에피폴라 기하 구속에 기초한 시차 정보인 글로벌 시차 정보를 설정하여 부호화하는 글로벌 시차 보상 정보 설정부(206)와, 글로벌 시차 정보를 변환함으로써 부호화 대상 화상의 시점에 대한 에피폴라 기하 구속에 기초한 시차 정보인 베이스 시차 정보를 설정한 베이스 시차 정보 설정부(207)와, 부호화 대상 화상을 시차 보상하기 위한 정보를 설정하는 시차 보상 정보 설정부(208)와, 입력 화상을 실제로 예측 부호화하는 화상 부호화부(209)와, 부호화된 입력 화상을 복호한 화상을 저장하는 복호 화상 메모리(210)를 구비한다.
나아가 복호 화상 메모리(210)는 화상 부호화부(209)가 이미 부호화 완료된 화상을 이용하기 위해 복호 화상을 저장하는 메모리를 가진 경우에는 그 메모리와 겸해도 좋다.
도 12는, 로컬 시차 보상 정보 설정부(205)의 구성 상세를 도시한 도면이다.
이 도면에 도시한 바와 같이 로컬 시차 보상 정보 설정부(205)는 로컬 시차 정보를 구한 후의 부호화 대상 화상의 블럭 분할을 설정하는 로컬 시차 정보 블럭 분할 설정부(2051)와, 시차 보상을 할 때에 참조 화상으로서 사용하는 화상의 시점을 나타내는 시점 인덱스를 설정하는 참조 시점 인덱스 설정부(2052)와, 에피폴라 기하 구속에 기초한 시차 정보를 설정하는 로컬 시차 정보 설정부(2053)와, 설정된 블럭 분할과, 참조 시점 인덱스와, 시차 정보로 시차 보상을 하는 경우의 효율을 평가하여 각 설정부에 피드백을 하는 시차 보상 효율 평가부(2054)를 구비한다.
여기에서 참조 시점 인덱스 설정부(2052)에 의해 설정된 1차 시점 인덱스는 시차 보상 정보 설정부(208)에 통지되고, 로컬 시차 정보 설정부(2053)에 의해 설정된 로컬 시차 정보는 글로벌 시차 보상 정보 설정부(206)와 시차 보상 정보 설정부(208)에 통지된다.
도 13은, 글로벌 시차 보상 정보 설정부(206)의 구성 상세를 도시한 도면이다.
이 도면에 도시한 바와 같이 글로벌 시차 보상 정보 설정부(206)는 기준 시점의 화상에 대한 블럭 분할을 설정하는 기준 시점 화상 블럭 분할 설정부(2061)와, 결정한 블럭 분할 정보를 부호화하는 블럭 분할 정보 부호화부(2062)와, 로컬 시차 보상 정보 설정부(205) 안의 로컬 시차 정보 설정부(2053)에서 통지되는 로컬 시차 정보를 사용하여 블럭마다 글로벌 시차 정보를 추정하는 글로벌 시차 정보 추 정부(2063)와, 요구된 글로벌 시차 정보를 부호화하는 글로벌 시차 정보 부호화부(2064)를 구비한다.
여기에서 글로벌 시차 정보 추정부(2063)에 의해 요구된 글로벌 시차 정보는 베이스 시차 정보 설정부(207)에 통지된다.
또 블럭 분할 정보 부호화부(2062)와, 글로벌 시차 정보 부호화부(2064)가 출력하는 부호화 데이터는 본 영상 부호화 장치(200)의 출력 중 하나가 된다.
도 14는, 시차 보상 정보 설정부(208)의 구성 상세를 도시한 도면이다.
이 도면에 도시한 바와 같이, 시차 보상 정보 설정부(208)는 베이스 시차 정보 설정부(207)에서 통지되는 베이스 시차 정보와, 로컬 시차 보상 정보 설정부(205) 안의 로컬 시차 정보 설정부(2053)에서 통지되는 로컬 시차 정보와의 차분을 사용하여 부호화 대상 화상에 대한 블럭 분할을 설정하는 부호화 대상 화상 블럭 분할 설정부(2081)와, 결정한 블럭 분할 정보를 부호화하는 블럭 분할 정보 부호화부(2082)와, 결정된 블럭 분할 정보와 상기 차분에서 베이스 시차 정보를 에피폴라 기하 구속에 기초하여 보정하기 위한 정보인 보정 시차 정보를 설정하는 보정 시차 정보 설정부(2083)와, 결정한 보정 시차 정보를 부호화하는 보정 시차 정보 부호화부(2084)와, 로컬 시차 보상 정보 설정부(205) 안의 참조 시점 인덱스 설정부(2052)에서 통지되는 1차 시점 인덱스와 블럭 분할 정보를 사용하여 블럭마다 참조 시점 인덱스를 설정하는 참조 시점 인덱스 설정부(2085)와, 결정한 시점 인덱스를 부호화하는 시점 인덱스 부호화부(2086)와, 에피폴라 기하 구속에 기초한 정보에 의해 주어지는 대응 관계를 에피폴라 기하 구속과는 상관 없이 보정하기 위한 보정 벡터를 설정하는 보정 벡터 설정부(2087)와, 결정한 보정 벡터를 부호화하는 보정 벡터 부호화부(2088)와, 각 부에 의해 설정된 정보로 시차 보상을 수행했을 때의 예측 효율을 평가하여 보정 벡터 설정부(2087)에 피드백을 하는 시차 보상 효율 평가부(2089)를 구비한다.
여기에서 시차 보상 효율 평가부(2089)에 의해 가장 시차 보상 효율이 좋다고 판단되었을 때의 시차 보상 화상은 화상 부호화부(209)에 통지된다.
또 블럭 분할 정보 부호화부(2082)와, 보정 시차 정보 부호화부(2084)와, 시점 인덱스 부호화부(2086)와, 보정 벡터 부호화부(2088)가 출력하는 부호화 데이터는 본 영상 부호화 장치(200)의 출력 중 하나가 된다.
도 15∼도 18에 이와 같이 구성되는 영상 부호화 장치(200)가 실행하는 처리 흐름을 도시한다. 이러한 처리 흐름에 따라 실시예 2의 영상 부호화 장치(200)가 실행하는 처리에 대해서 상세히 설명하기로 한다.
도 15는 실시예 2의 영상 부호화 장치(200)에서 수행되는 부호화 처리 전체의 개요를 도시하고 있다. 또 이 흐름에서는 카메라B와 카메라C에서 같은 시각에 촬영된 1장씩의 화상을 부호화하는 처리를 설명한다.
우선, 화상 입력부(201)에 의해 같은 시각에 촬영된 카메라B와 카메라C의 화상이 1장씩 입력되어 화상 메모리(202)에 저장된다[단계S401]. 여기에서 입력된 화상과 같은 시각에 촬영된 카메라A의 복호 화상이 기준 시점 화상 입력부(203)에 의해 입력되어 기준 시점 화상 메모리(204)에 저장되어 있는 것으로 한다.
다음으로, 로컬 시차 보상 정보 설정부(205)에서 화상 메모리(202)와 기준 시점 화상 메모리(204)의 화상으로부터 화상 메모리상의 화상마다 로컬 시차 정보를 구한다[단계S402]. 여기에서 수행되는 처리의 상세는 나중에 도 16을 사용하여 설명하기로 한다.
그리고 글로벌 시차 보상 정보 설정부(206)에서 로컬 시차 정보를 사용하여 기준 시점 화상에서의 에피폴라 기하 구속을 만족하는 글로벌 시차 정보를 구하여 부호화한다[단계S403]. 여기에서 수행되는 처리의 상세는 나중에 도 17을 사용하여 설명하기로 한다.
이후의 처리[단계S405∼S408]는 화상 메모리(202) 위의 화상마다 수행된다. 여기에서는 카메라B의 화상을 카메라C의 화상에 앞서 부호화한다고 설명한다.
즉, 화상 메모리(202)에서 카메라B의 화상을 꺼내어 부호화 대상 화상으로 설정하고[단계S404], 단계S403의 처리로 구한 글로벌 시차 정보를, 베이스 시차 정보 설정부(207)에서 부호화 대상 화상에 대한 에피폴라 기하 구속에 따른 베이스 시차 정보로 변환하고[단계S405], 로컬 시차 보상 정보와 베이스 시차 정보로부터 부호화 효율을 감안하여 시차 보상 정보인 참조 시점 인덱스, 보정 시차 정보, 보정 벡터 등을 시차 보상 정보 설정부(208)에서 구하여 부호화하고[단계S406], 그 구해진 시차 보상 정보를 사용하면서 부호화 대상 화상을 화상 부호화부(209)에서 부호화한다[단계S407]. 부호화한 화상은 복호되어 복호 화상 메모리(210)에 저장된다[단계S408].
그리고 부호화한 화상이 카메라B의 화상이라면[단계S409] 카메라C의 화상을 화상 메모리(202)에서 꺼내어[단계S410] 같은 순서[단계S405∼S408]로 부호화하고 모든 처리를 종료한다.
여기에서 단계S405에서 수행되는 처리는 이미 설명한 단계S4에서 수행되는 처리(도 6)와 동일한 처리이므로 설명을 생략한다.
단계S406에서 수행되는 처리의 상세는 나중에 도 18을 사용하여 설명하기로 한다.
도 16에 로컬 시차 보상 정보 설정부(205)에서 수행되는 단계S402의 처리의 상세한 처리 흐름을 도시한다. 로컬 시차 보상 정보 설정부(205)는 여기에서 나타나는 처리를 화상 메모리(202)위의 화상마다 적용한다.
본 실시예 2에서는 가로세로 16화소로 구성되는 매크로 블럭 단위로 블럭 분할을 지정하고 그 블럭 분할로 작성되는 블럭 단위로 로컬 시차 정보를 구한다. 매크로 블럭에서 적용 가능한 블럭 분할로서는 여러가지 것을 생각할 수 있지만, 예를 들면 도 8에 도시한 것을 생각할 수 있다.
실시예 1과 마찬가지로 블럭 분할 종류에 관한 인덱스를 blkMode, 블럭 분할(blkMode)에서의 블럭수를 maxBlk[blkMode], 블럭 분할 종류의 수는 maxBlkMode로 표현한다.
여기에서의 처리는, 우선 매크로 블럭의 인덱스(MBBlk)를 0으로 초기화한 후[단계S501], MBBlk에 1을 가산하면서[단계S516] MBBlk가 화상 내의 매크로 블럭수(maxMBBlk)가 될 때까지[단계S517] 블럭 분할과 로컬 시차 정보를 구하는 처리[단계S502∼S515]를 반복한다.
블럭 분할과 로컬 시차 정보를 구하는 처리에서는 각 블럭 분할에 대해 최적 의 로컬 시차 보상 정보를 구하고 그 중에서 가장 평가가 좋은 블럭 분할을 결정하는 것을 수행한다.
즉, 블럭 분할(blkMode)을 0으로, 그 매크로 블럭에서의 평가값의 최량(bestMBLCost)을 절대로 취할 없는 최대의 평가값(wMBLCost)으로 초기화한 후[단계S502], blkMode에 1을 가산하면서[단계S514], blkMode가 maxBlkMode가 될 때까지[단계S515] 블럭 분할(blkMode)에 대한 평가값(MBLCost)을 구하고[단계S503∼S511], MBLCost가 bestMBLCost보다도 작아질 것 같으면[단계S512], MBLCost를 bestMBLCost로, 그 때의 블럭 분할(blkMode)을 1BLKMode[MBBlk]로, 그 때의 블럭마다의 로컬 시차 보상 정보(tempLDispInfo)를 LDispInfo[cam]에 저장[단계S513]하는 처리를 반복한다.
여기에서 cam은 화상 메모리(202) 위의 화상에 대한 인덱스를 표시한다.
블럭 분할에 대한 평가값을 구하는 처리에서는 블럭마다 최적의 로컬 시차 보상 정보를 구하고, 그 합계값을 블럭 분할에 대한 평가값으로 하는 것을 수행한다.
즉, 블럭 인덱스(blk)를 0으로, 블럭 분할에 대한 평가값(MBLCost)을 0으로 초기화한 후[단계S503], blk에 1을 가산하면서[단계S510] blk가 maxBlk[blkMode]가 될 때까지[단계S511] 블럭(blk)에 대한 최량의 로컬 시차 보상 정보(bestLDispInfo)와 평가값(bestBlkLCost)을 구하고[단계S504∼S509], MBLCost에 bestBlkLCost를 가산하고 tempLDispInfo[blk]에 bestLDispInfo를 저장[단계S510]하는 처리를 반복한다.
여기에서는 어느 블럭에 대한 최량의 로컬 시차 보상 정보란, 대상이 되는 블럭을 다른 화상에서 예측할 때 레이트 왜곡 비용이 최소가 되는, 예측에 사용하는 화상을 나타내는 정보와 에피폴라 기하 구속에 기초한 로컬 시차 정보의 조(組)이다.
따라서 레이트 왜곡 비용이 각 로컬 시차 보상 정보에 대한 평가값이 되어 어느 블럭에 대한 최량의 로컬 시차 보상 정보와 평가값을 구하는 처리는, 레이트 왜곡 비용을 최소화하는 참조 시점 인덱스와 로컬 시차 정보의 조를 구하는 처리가 된다.
즉, 시점 인덱스와 로컬 시차 정보의 조에 대해 대응된 로컬 시차 보상 정보 인덱스(lDispInfo)를 0으로 초기화하고, 최량 레이트 왜곡 비용(bestBlkLCost)을 절대로 취할 수 없는 최대값(wBlkLCost)으로 초기화한 후[단계S504], lDispInfo에 1을 가산하면서[단계S508] lDispInfo가 시점 인덱스와 로컬 시차 정보의 조합의 수(maxLDispInfo)가 될 때까지[단계S509] lDispInfo에 대한 레이트 왜곡 비용(blkLCost)을 구하고[단계S505], blkLCost가 bestBlkLCost보다도 작으면[단계S506], blkLCost를 bestBlkLCost에 저장하고 lDispInfo를 bestLDispInfo에 저장[단계S507]하는 처리를 반복한다.
lDispInfo에 대한 레이트 왜곡 비용(blkLCost)은 이하의 식으로 구해진다.
[수학식 5]
Figure 112009015507472-pct00005
여기에서 λ3는 라그랑지의 미정 승수로서 사전에 설정된 값이 이용된다. 또 distcam()과 refer()는 인수로서 주어지는 로컬 시차 보상 정보에 대해 각각 시점(cam)에서 피사체까지의 거리, 참조하는 시점을 되돌려주는 함수를 나타낸다.
실제의 부호화시에는 이미 부호화 완료된 화상밖에 참조할 수 없기 때문에 본 실시예 2에서는 cam이 카메라B일 때에는 기준 시점만, cam이 카메라C일 때에는 기준 시점과 카메라B의 시점이 참조 시점의 후보가 된다.
도 17에, 글로벌 시차 보상 정보 설정부(206)에서 수행되는 단계S403의 처리의 상세한 처리 흐름을 도시한다. 실시예 2에서도 실시예 1과 마찬가지로 매크로 블럭 단위로 블럭 분할을 지정하고 그 블럭 분할로 작성되는 블럭 단위로 글로벌 시차 정보를 구하여 부호화한다.
우선, 로컬 시차 보상 정보 설정부(205)에서 설정된 로컬 시차 보상 정보(LDispInfo)의 한 요소인 에피폴라 기하 구속에 기초한 로컬 시차 정보로부터 글로벌 시차 정보 후보(tGDispInfo)를 생성한다[단계S601].
이 처리는, 로컬 시차 정보를 글로벌 시차 정보, 로컬 시차 정보가 주어진 시점을 기준 시점, 기준 시점을 부호화 대상 시점으로 판단하여 베이스 시차 정보 를 구할 때의 처리(도 9)를 적용함으로써 수행된다. 이와 같이 판단하여 처리되었을 때에 베이스 시차 정보에 해당하는 것이 글로벌 시차 정보 후보가 된다. 이 처리는 화상 메모리(202) 위의 화상마다 수행하고, 각각의 화상에 대한 글로벌 시차 정보 후보는 화상 인덱스(cam)를 사용하여 tGDispInfo[cam]으로 표시한다.
실시예 2에서는, 이와 같이 구해진 tGDispInfo를 사용하여 매크로 블럭마다 블럭 분할 정보를 설정하고 블럭마다 글로벌 시차 정보를 설정한다.
그러기 위해서 매크로 블럭의 인덱스(MBBlk)를 0으로 초기화한 후[단계S602], MBBlk에 1을 가산하면서[단계S613] MBBlk가 매크로 블럭수(maxMBBlk)가 될 때까지[단계S614] 모든 블럭 분할 중에서 최량의 블럭 분할과 글로벌 시차 정보를 구하는 처리[단계S603∼S612]를 수행한다.
그 후, 구해진 블럭 분할 정보(blkMode)와 글로벌 시차 정보(GDispInfo)를 각각 블럭 분할 정보 부호화부(2062)와 글로벌 시차 정보 부호화부(2064)에서 부호화한다[단계S615].
모든 블럭 분할 중 최량의 블럭 분할과 글로벌 시차 정보를 구하는 처리에서는, 블럭 분할 후보마다 그 분할을 평가하고 가장 평가가 좋은 것을 최량의 블럭 분할로 하는 것을 수행한다.
즉, 블럭 분할(blkMode)을 0으로 초기화하고 매크로 블럭에 대한 최량의 평가값(bestValue)을 절대로 취할 수 없는 최악의 평가값(wValue)으로 초기화한 후[단계S603], blkMode에 1을 가산하면서[단계S611] blkMode가 maxBlkMode가 될 때까지[단계S612] 블럭 분할(blkMode)에 대한 평가값(value)을 구하고[단계S604∼ S608], value가 bestValue보다 작으면[단계S609], value를 bestValue에, blkMode를 BLKMode[MBBlk]에 저장하고 그 때 구해진 글로벌 시차 정보(tmpGDispInfo)를 GDispInfo[MBBlk]에 저장[단계S610]하는 처리를 반복한다.
블럭 분할(blkMode)에 대한 평가값(value)은 분할된 각 블럭에서의 시차 보상 레이트 왜곡 비용을 합함으로써 구해진다.
즉, 블럭 인덱스(blk)를 0으로, value를 블럭 분할이 blkMode인 것에 따른 평가값(InitValue[blkMode])으로 초기화한 후[단계S604], blk에 1을, value에 블럭(blk)에 대한 레이트 왜곡 비용(blkCost)을 추가하고, 그 때의 글로벌 시차 정보(GDispInfo)를 tmpGDispInfo[blk]에 저장하면서[단계S607], blk가 maxBlk[blkMode]가 될 때까지[단계S608] 블럭(blk)에 대한 tGDispInfo에서 gDispInfo를 구하고[단계S605], 그 때의 blkCost를 구하는[단계S606] 처리를 반복한다.
InitValue[blkMode]는 블럭 분할이 blkMode라는 것을 나타내기 위한 정보를 부호화하기 위해 필요한 부호량에 의존한, 사전에 정해진 값이다.
블럭(blk)에 대한 tGDispInfo에서 gDispInfo를 구하는 처리에서는 블럭(blk)내의 tGDispInfo의 평균값을 구하여 gDispInfo로 한다. 이 때 평균값이 아닌 가장 많이 나타나는 값을 사용하는 방법도 있다.
또 양자 중에서 레이트 왜곡 비용을 산출하기 좋은 쪽을 선택하는 방법이나, 각각의 주변의 값 모두에 대해 레이트 왜곡 비용을 계산하기 가장 좋은 것을 선택하는 방법도 생각할 수 있지만, 이들 경우에 대해서는 본 실시예의 변경예로서 용 이하게 적용할 수 있기 때문에 설명을 생략한다.
블럭(blk)에 대한 글로벌 시차 정보가 gDispInfo일 때의 레이트 왜곡 비용(blkCost)은, 실시예 1에서의 단계S105(도 7)의 처리에서 사용하는 식과 같은 식을 사용하여 구할 수 있다. 또 연산량을 줄이기 위해 다음 수학식을 사용하여 평가해도 좋다.
[수학식 6]
Figure 112009015507472-pct00006
도 18에, 시차 보상 정보 설정부(208)에서 수행되는 단계S406의 처리의 상세한 흐름을 도시한다.
본 실시예 2에서도 실시예 1과 마찬가지로 매크로 블럭마다 블럭 분할을 결정하고, 블럭마다 참조 시점 인덱스와, 보정 시차 정보와, 보정 벡터로 이루어진 시차 보상 정보를 구해 부호화한다.
실시예 1과 다른 점은, 로컬 시차 보상 정보 설정부(205) 안의 로컬 시차 정보 설정부(2053)에서 통지되는 로컬 시차 정보를 사용하여 블럭 분할, 참조 시점 인덱스, 보정 시차 정보를 결정한 후에 보정 벡터를 구하는 점이다.
즉, 최초로 로컬 시차 정보와 베이스 시차 정보의 차분을 취함으로써 보정 시차 정보 후보(tEDispInfo)를 생성한다[단계S701].
그리고 매크로 블럭 인덱스(MBBlk)를 0으로 초기화한 후[단계S702], MBBlk에 1을 가산하면서[단계S710], MBBlk가 화상에 포함되는 매크로 블럭수(maxMBBlk)가 될 때까지[단계S711], 블럭 분할(eBLKMode[MBBlk])을 결정하고[단계S703] 시차 보상 정보(EDispInfo)를 구하는 처리[단계S704∼S709]를 반복한다.
그 후, 블럭 분할 정보(eBLKMode)와 시차 보상 정보(EDispInfo)를 부호화한다[단계S712].
단계S703의 처리에서 블럭 분할은 블럭에 포함되는 모든 화소에 대한 tEDispInfo가 같은 값이 되는 블럭 분할 중 블럭수가 가장 적은 것으로 결정된다.
상기 조건을 충족하는 블럭 분할이 여러 개 존재할 때에는 각각의 최대 블럭 사이즈가 큰 것으로 결정한다. 그래도 결정되지 않는 경우에는 조건을 충족하는 임의의 블럭 분할로 결정한다.
최초의 조건을 충족하는 블럭 분할이 존재하지 않는 경우에는 블럭수가 가장 많고 최소 블럭 사이즈가 가장 작은 것으로 결정한다.
시차 보상 정보를 구하는 처리에서는, 매크로 블럭에 대해 결정된 블럭 분할(eBLKMode[MBBlk])에 따른 블럭마다 최량의 시차 보상 정보를 구한다.
즉, 블럭 인덱스(blk)를 0으로 초기화한 후[단계S704], blk에 1을 가산하면서[단계S708] blk가 블럭수(maxBlk[eBLKMode[MBBlk]])가 될 때까지[단계S709] tEDispInfo로부터 보정 시차 정보(md)를, 로컬 시차 보상 정보 설정부(205) 안의 참조 시점 인덱스 설정부(2052)에서 통지되는 1차 시점 인덱스로부터 참조 시점 인덱스(ref)를 구하고[단계S705], 그것들을 사용하여 블럭(blk)의 레이트 왜곡 비용을 최소화하는 보정 벡터(cmv)를 구한 후[단계S706], {md,ref,cmv}의 조에 대응하는 시차 보상 정보를 구하여 EDispInfo[MBBlk][blk]에 저장[단계S707]하는 처리를 반복한다.
나아가 단계S706의 처리에 사용되는 블럭에 대한 레이트 왜곡 비용은, 실시예 1의 단계S306(도 10)의 처리로 비용을 구할 때에 사용하는 식과 같은 식을 사용하여 계산할 수 있다.
단계S705의 처리시, 보정 시차 정보는 블럭내의 화소에 대응하는 tEDispInfo 중에서 가장 많이 나타나는 것으로 결정되고, 참조 시점 인덱스는 결정된 보정 시차 정보와 tEDispInfo가 같은 값을 가진 블럭내의 화소에 대응하는 1차 시점 인덱스로 결정된다. 여기에서는 가장 많이 나타나는 것으로 결정했으나 블럭내의 값의 평균값을 사용해도 좋다.
본 실시예 2의 시차 보상 정보 설정부(208)에서는 로컬 시차 보상 정보 설정부(205)에서 통지되는 정보를 사용하여 블럭 분할과 보정 시차 정보와 참조 시점 인덱스를 레이트 왜곡 비용을 고려하지 않고 결정하는데, 실시예 1의 시차 보상 정보 설정부(107)와 마찬가지로 그것들을 레이트 왜곡 비용을 고려하여 결정해도 좋다.
또 실시예 1과도 달리 블럭 분할, 보정 시차 정보, 참조 시점 인덱스의 일부만을 레이트 왜곡 비용을 고려하여 결정하는 방법도 생각할 수 있는데, 이 경우에 대해서는 실시예 1과 실시예 2를 부분적으로 융합시킨 변경예로서 용이하게 적용할 수 있기 때문에 설명을 생략하기로 한다.
실시예 1 및 실시예 2에서는 글로벌 시차 보상 정보 설정부(105) 또는 (206) 내부의 기준 시점 화상 블럭 분할 설정부(1051) 또는 (2061)에서 블럭 분할 방법을 결정하고, 그 결과의 블럭 분할 정보를 블럭 분할 정보 부호화부(1052) 또는 (2062)에서 부호화하였다.
그러나 기준 시점 화상 블럭 분할 설정부(1051) 또는 (2061)에서 설정하는 블럭 분할을, 기준 시점 화상을 블럭 부호화했을 때의 블럭 분할과 일치시킴으로써 블럭 분할 정보를 부호화하지 않는 것으로 해도 좋다.
그 경우, 블럭 분할 정보를 나타내기 위한 부호량의 분량만큼 부호량을 삭감할 수 있게 된다.
또한 실시예 1 및 실시예 2에서는 부호화 대상 화상을 이미 부호화 완료된 다른 시점의 화상에서 시차 보상을 하여 부호화하였는데, 부호화 대상 화상의 블럭마다 시차 보상과 움직임 보상으로 예측 효율이 좋은 방법을 선택하면서 부호화하도록 해도 좋다. 이 경우, 적용 외의 블럭에 대한 시차 보상 정보는 부호량이 가장 적어지도록 설정할 수 있지만, 본 실시예의 변경예로서 용이하게 적용할 수 있기 때문에 설명을 생략한다.
또 부호화 장치의 각 부분에서 사용하는 블럭 분할의 종류는 전부 동일할 필요는 없다. 특히, 다른 블럭 분할의 크기에 비해 글로벌 시차 정보를 구할 때의 기준 시점 화상의 블럭 분할의 크기를 크게 함으로써 글로벌 시차 정보의 부호량을 억제하여 카메라 파라미터의 오차 등에 좌우되지 않는 전체의 대략적인 시차 정보를 표현할 수 있게 된다.
도 19에, 본 발명의 영상 복호 장치(300)의 실시형태의 일례(실시예 3)를 도시한다. 이 영상 복호 장치(300)는, 부호화 데이터를 입력하는 부호화 데이터 입력 부(301)와, 기준 시점인 카메라A의 복호 화상을 입력하는 기준 시점 화상 입력부(302)와, 기준 시점의 화상을 포함하는 모든 시차 보상 참조 대상이 될 수 있는 화상을 저장하는 화상 메모리(303)와, 입력된 부호화 데이터에서 기준 시점에 대한 블럭 분할 정보와 에피폴라 기하 구속에 기초한 글로벌 시차 정보를 복호하는 글로벌 시차 보상 정보 복호부(304)와, 글로벌 시차 정보에서 복호 대상의 화상의 시점에 대한 에피폴라 기하 구속에 기초한 베이스 시차 정보를 설정한 베이스 시차 정보 설정부(305)와, 입력된 부호화 데이터로부터 복호 대상의 화상에 대한 블럭 분할 정보와, 시차 보상을 할 때의 참조 화상을 나타내는 참조 시점 인덱스와, 에피폴라 기하 구속에 따라 시차 정보를 보정하는 보정 시차 정보와, 시차 보상을 할 때의 대응점을 보정하는 보정 벡터를 복호하는 시차 보상 정보 복호부(306)와, 복호한 데이터에 기초하여 복호 대상의 화상의 시점에 대한 시차 보상 화상을 생성하는 시차 보상 화상 생성부(307)와, 입력된 부호화 데이터와 생성된 시차 보상 화상으로부터 복호 대상의 화상을 복호하는 화상 복호부(308)를 구비한다.
화상을 복호할 때 이미 복호 완료된 화상을 참조할 경우, 화상 복호부(308)는 그 내부에 복호 화상을 저장하는 메모리를 갖는 경우가 있다. 그 경우, 화상 메모리(303)로서 그 메모리를 사용해도 좋다.
도 20에, 본 실시예의 복호 처리 흐름을 도시한다. 이것은 카메라B와 카메라C의 동시각(同時刻)의 프레임을 1프레임씩 복호할 때의 흐름을 도시하였다. 이하에서 흐름을 상세히 설명하기로 한다.
나아가 복호되는 프레임과 동시각의 카메라A의 프레임이 먼저 복호되어 있으 며 각 카메라의 카메라 파라미터도 얻어진 것으로 한다.
우선, 부호화 데이터 입력부(301)에 부호화 데이터가 입력된다[단계S801]. 또 여기에서 입력된 부호화 데이터에 포함되는 프레임과 동시각의 카메라A의 복호 화상이 기준 시점 화상 입력부(302)에 의해 입력되고, 화상 메모리(303)에 저장되어 있는 것으로 한다. 입력되는 부호화 데이터는 실시예 1 또는 실시예 2 등의 영상 부호화 장치가 출력하는 1프레임 분량의 전부호화 데이터이다.
다음으로, 글로벌 시차 보상 정보 복호부(304)에서 입력된 부호화 데이터 중 기준 시점 화상에 대한 블럭 분할 정보를 복호하고 그 블럭 분할에 따라서 블럭마다 글로벌 시차 정보를 복호하고 기준 시점 화상에 대한 화소마다의 글로벌 시차 정보(decGDispInfo)를 얻는다[단계S802].
그리고 베이스 시차 정보 설정부(305)에서 decGDispInfo로부터 카메라B의 시점에 대한 베이스 시차 정보(decBDispInfo)를 얻는다[단계S803].
이 처리는 상기에서 설명한 도 9의 처리 흐름에 따라서 실현된다. 단, 도 9에서의 BDispInfo는 decBDispInfo, GDispInfo는 decGDispInfo, 부호화 대상 화상은 복호 대상 화상이 된다.
베이스 시차 정보가 얻어지면, 시차 보상 정보 복호부(306)에서, 입력된 부호화 데이터 중 카메라B에 대한 블럭 분할 정보를 복호하고 그 블럭 분할에 따라 참조 시점 인덱스와, 보정 시차 정보와, 보정 벡터를 복호하고, 카메라B에 대한 화소마다의 참조 시점 인덱스(decRef)와, 보정 시차 정보(decMd)와, 보정 벡터(decCmv)를 얻는다[단계S804].
그리고 화상 메모리(303)의 화상을 참조하면서 시차 보상 화상 생성부(307)에서 카메라B에 대한 시차 보상 화상(DCImage)을 다음 식에 따라 생성한다[단계S805].
DCImage[PIX]=Value(decRef[PIX],RP)
RP=Trans(camB,decRef[PIX],PIX,
dcamB(decBDispInfo[PIX]+decMd[PIX]))
+decCmv[PIX]
여기에서 camB는 카메라B의 시점을 나타내고, PIX는 복호 대상 화상의 화소 위치를 나타낸다.
이 시차 보상 화상을 사용하여 화상 복호부(308)에서, 입력된 부호화 데이터로부터 카메라B의 화상이 복호된다[단계S806]. 복호된 화상은 화상 메모리(303)에 저장된다.
그 후, 단계S803∼S806과 같은 처리를 카메라C에 대해 실시함으로써 카메라C의 복호 화상이 복호된다[단계S807∼S810].
이상의 영상 부호화 및 영상 복호의 처리는 하드웨어나 펌웨어로 실현할 수 있지만, 컴퓨터와 소프트웨어 프로그램로도 실현할 수 있으며, 그 프로그램을 컴퓨터 독해 가능한 기록 매체에 기록하여 제공할 수도 있고 네트워크를 통해 제공할 수도 있다.
이상, 도면을 참조하여 본 발명의 실시형태를 설명하였으나, 상기 실시형태는 본 발명의 예시에 불과하며, 본 발명이 상기 실시형태에 한정되지 않는다는 것은 명백하다. 따라서 본 발명의 사상 및 범위를 벗어나지 않는 범위에서 상기 실시형태에 대해 구성 요소의 추가, 생략, 치환, 기타 변경을 해도 좋다.
본 발명에 의하면, 시차 보상을 하기 위한 정보의 대폭적인 증가를 방지하면서 카메라 파라미터의 추정 오차의 영향을 고려한 예측 정밀도가 높은 시차 보상을 실현함으로써 다시점 화상 전체나 다시점 동영상 전체에 걸쳐 고효율의 부호화를 실현할 수 있다.

Claims (31)

  1. 다시점 화상을 부호화할 때, 하나의 기준 시점을 정하고 이미 부호화 완료된 상기 기준 시점의 화상을 사용하여 상기 기준 시점 이외의 시점의 화상을 부호화하는 화상 부호화 방법으로서,
    상기 기준 시점의 부호화 완료된 화상인 참조 기준 시점 화상에 대해 에피폴라 기하 구속에 기초하여 해당 기준 시점 이외의 모든 시점의 화상과의 시차를 주는 글로벌 시차 정보를 추정하고 설정하는 글로벌 시차 정보 설정 단계와,
    상기 설정한 글로벌 시차 정보를 부호화하는 글로벌 시차 정보 부호화 단계와,
    상기 설정한 글로벌 시차 정보를, 상기 기준 시점 이외의 시점의 화상인 각 부호화 대상 시점 화상에서의, 상기 에피폴라 기하 구속에 기초하여 다른 모든 시점과의 시차를 주는 베이스 시차 정보로 변환하는 베이스 시차 정보 설정 단계와,
    상기 부호화 대상 시점 화상을 부호화할 때에 수행하는 시차 보상에 사용하는 이미 부호화 완료된 참조 시점 화상과 해당 부호화 대상 시점 화상의 시차를 주는 시차 정보의, 상기 베이스 시차 정보에 대한 차분으로 정해지는 보정 시차 정보를 설정하는 보정 시차 정보 설정 단계와,
    상기 보정 시차 정보를 부호화하는 보정 시차 정보 부호화 단계와,
    상기 베이스 시차 정보와 상기 보정 시차 정보에 의해 주어지는 대응점 정보를 사용하여 상기 참조 시점 화상에서 시차 보상을 하면서 상기 부호화 대상 시점 화상을 부호화하는 시점 화상 부호화 단계를 갖는,
    것을 특징으로 하는 화상 부호화 방법.
  2. 다시점 화상을 부호화할 때, 하나의 기준 시점을 정하고 이미 부호화 완료된 상기 기준 시점의 화상을 사용하여 상기 기준 시점 이외의 시점의 화상을 부호화하는 화상 부호화 방법으로서,
    상기 기준 시점의 부호화된 화상인 참조 기준 시점 화상에 대해 에피폴라 기하 구속에 기초하여 해당 기준 시점 이외의 모든 시점의 화상과의 시차를 주는 글로벌 시차 정보를 추정하고 설정하는 글로벌 시차 정보 설정 단계와,
    상기 설정한 글로벌 시차 정보를 부호화하는 글로벌 시차 정보 부호화 단계와,
    상기 설정한 글로벌 시차 정보를, 상기 기준 시점 이외의 시점의 화상인 각 부호화 대상 시점 화상에서의, 상기 에피폴라 기하 구속에 기초하여 다른 모든 시점과의 시차를 주는 베이스 시차 정보로 변환하는 베이스 시차 정보 설정 단계와,
    상기 부호화 대상 시점 화상을 부호화할 때에 수행하는 시차 보상에 사용하는 이미 부호화 완료된 참조 시점 화상과 해당 부호화 대상 시점 화상의 시차를 주는 시차 벡터의, 상기 베이스 시차 정보에 의해 주어지는 시차 벡터에 대한 차분으로 정해지는 보정 시차 벡터를 설정하는 보정 시차 벡터 설정 단계와,
    상기 보정 시차 벡터를 부호화하는 보정 시차 벡터 부호화 단계와,
    상기 베이스 시차 정보와 상기 보정 시차 벡터를 사용하여 상기 참조 시점 화상에서 시차 보상을 하면서 상기 부호화 대상 시점 화상을 부호화하는 시점 화상 부호화 단계를 갖는,
    것을 특징으로 하는 화상 부호화 방법.
  3. 청구항 1에 기재된 화상 부호화 방법에서,
    상기 베이스 시차 정보 설정 단계에서 설정된 베이스 시차 정보와, 상기 보정 시차 정보 설정 단계에서 설정된 보정 시차 정보를 사용하여 표현되는 시차 정보에 의해 나타나는, 상기 부호화 대상 시점 화상과 상기 참조 시점 화상간의 대응점 벡터에 대해 상기 시차 보상에 사용하는 시차 보상 벡터로부터의 변위인 보정 벡터를 설정하는 보정 벡터 설정 단계와,
    상기 보정 벡터를 부호화하는 단계를 가지고,
    상기 시점 화상 부호화 단계에서는 상기 보정 벡터에 의해 보정된 상기 시차 보상 벡터를 사용하여 시차 보상을 하는
    것을 특징으로 하는 화상 부호화 방법.
  4. 청구항 1 및 청구항 2 중 어느 한 항에 기재된 화상 부호화 방법에서,
    상기 참조 기준 시점 화상에서의 영역 분할을 설정하는 기준 시점 영역 분할 설정 단계를 가지고,
    상기 글로벌 시차 정보 설정 단계에서는 상기 기준 시점 영역 분할 설정 단계에서 설정된 영역마다 상기 글로벌 시차 정보를 추정하여 설정하는
    것을 특징으로 하는 화상 부호화 방법.
  5. 청구항 4에 기재된 화상 부호화 방법에서,
    상기 참조 기준 시점 화상이, 화상 전체가 영역 분할되어 각 영역마다 부호화 처리되어 있는 경우에,
    상기 기준 시점 영역 분할 설정 단계에서는 상기 참조 기준 시점 화상의 부호화 데이터에 포함되는 영역 분할 정보에 따라 같은 영역 분할을 설정하는
    것을 특징으로 하는 화상 부호화 방법.
  6. 청구항 4에 기재된 화상 부호화 방법에서,
    상기 기준 시점 영역 분할 설정 단계에서 설정된 영역 분할을 나타내는 영역 분할 정보를 부호화하는 기준 시점 영역 분할 부호화 단계를 더 갖는
    것을 특징으로 하는 화상 부호화 방법.
  7. 청구항 6에 기재된 화상 부호화 방법에서,
    상기 참조 기준 시점 화상이, 화상 전체가 영역 분할되어 각 영역마다 부호화 처리되어 있는 경우에,
    상기 기준 시점 영역 분할 부호화 단계에서는 상기 참조 기준 시점 화상의 부호화 데이터에 포함되는 영역 분할 정보와의 차이를 나타내는 정보만을 부호화하는
    것을 특징으로 하는 화상 부호화 방법.
  8. 청구항 1 및 청구항 2의 중 어느 한 항에 기재된 화상 부호화 방법에서,
    상기 부호화 대상 시점 화상에서의 영역 분할을 설정하는 부호화 대상 시점 영역 분할 설정 단계를 가지고,
    상기 시점 화상 부호화 단계에서는, 상기 부호화 대상 시점 영역 분할 설정 단계에서 설정된 영역마다 시차 보상 참조처를 변경하면서 부호화 대상 시점 화상을 부호화하는
    것을 특징으로 하는 화상 부호화 방법.
  9. 청구항 8에 기재된 화상 부호화 방법에서,
    상기 시점 화상 부호화 단계에서 상기 부호화 대상 시점 화상이, 화상 전체가 영역 분할되어 각 영역마다 그 영역 분할 정보와 함께 부호화되는 경우에,
    상기 시점 화상 부호화 단계에서는 상기 부호화 대상 시점 영역 분할 설정 단계에서 설정된 영역 분할을 사용하여 부호화를 하는
    것을 특징으로 하는 화상 부호화 방법.
  10. 청구항 8에 기재된 화상 부호화 방법에서,
    상기 부호화 대상 시점 영역 분할 설정 단계에서 설정된 영역 분할을 나타내는 영역 분할 정보를 부호화하는 부호화 대상 시점 영역 분할 부호화 단계를 더 갖 는
    것을 특징으로 하는 화상 부호화 방법.
  11. 청구항 10에 기재된 화상 부호화 방법에서,
    상기 시점 화상 부호화 단계에서 상기 부호화 대상 시점 화상이, 화상 전체가 영역 분할되어 각 영역마다 그 영역 분할 정보와 함께 부호화되어 있는 경우에 상기 부호화 대상 시점 영역 분할 부호화 단계에서는 상기 시점 화상 부호화 단계에서 사용한 영역 분할과의 차이를 나타내는 정보만을 부호화하는
    것을 특징으로 하는 화상 부호화 방법.
  12. 청구항 1 및 청구항 2 중 어느 한 항에 기재된 화상 부호화 방법에서,
    상기 참조 시점 화상의 시점이 되는 참조 시점을 설정하는 참조 시점 설정 단계와,
    상기 참조 시점을 나타내는 시점 인덱스를 부호화하는 단계를 가지고,
    상기 시점 화상 부호화 단계에서는 상기 설정된 참조 시점의 부호화된 화상을 상기 참조 시점 화상으로서 사용하는
    것을 특징으로 하는 화상 부호화 방법.
  13. 청구항 8에 기재된 화상 부호화 방법에서,
    상기 부호화 대상 시점 영역 분할 설정 단계에서 설정된 영역마다 상기 참조 시점 화상의 시점이 되는 참조 시점을 설정하는 참조 시점 설정 단계와,
    상기 참조 시점을 나타내는 시점 인덱스를 부호화하는 단계를 가지고,
    상기 시점 화상 부호화 단계에서는 상기 부호화 대상 시점 영역 분할 설정 단계에서 설정된 영역마다 상기 설정된 참조 시점의 부호화된 화상을 상기 참조 시점 화상으로서 사용하는
    것을 특징으로 하는 화상 부호화 방법.
  14. 청구항 1 및 청구항 2 중 어느 한 항에 기재된 화상 부호화 방법에서,
    상기 부호화 대상 시점 화상에서의 영역 분할을 설정하는 영역 분할 설정 단계와,
    상기 영역 분할 설정 단계에서 설정된 영역마다 상기 에피폴라 기하 구속에 기초하여 상기 부호화 대상 시점 화상을 시차 보상하기 위한 대응점을 주는 로컬 시차 정보를 구하는 단계와,
    상기 로컬 시차 정보를 상기 글로벌 시차 정보로 변환하는 글로벌 시차 정보 후보를 설정하는 글로벌 시차 정보 후보 설정 단계를 가지고,
    상기 글로벌 시차 정보 설정 단계에서는 각 영역내의 상기 글로벌 시차 정보 후보의 평균값 또는 각 영역내의 글로벌 시차 정보 후보 중 가장 많이 나타나는 값을 상기 글로벌 시차 정보로서 설정하는
    것을 특징으로 하는 화상 부호화 방법.
  15. 다시점 화상의 부호화 데이터를 복호할 때 하나의 기준 시점이 존재하고 이미 복호 완료된 상기 기준 시점의 화상인 참조 기준 시점 화상을 사용하여 상기 기준 시점 이외의 시점의 화상을 복호하는 화상 복호 방법으로서,
    부호화 데이터로부터, 상기 참조 기준 시점 화상에서의 상기 기준 시점 이외의 모든 시점의 화상과의 시차를 에피폴라 기하 구속에 기초하여 주는 글로벌 시차 정보를 복호하는 글로벌 시차 정보 복호 단계와,
    상기 복호된 글로벌 시차 정보를, 상기 기준 시점 이외의 시점의 화상인 각 복호 대상 시점 화상에서의, 상기 에피폴라 기하 구속에 기초하여 다른 모든 시점과의 시차를 주는 베이스 시차 정보로 변환한 베이스 시차 정보 설정 단계와,
    상기 부호화 데이터로부터, 상기 복호 대상 시점 화상을 복호할 때에 수행하는 시차 보상에 사용하는 이미 복호 완료된 참조 시점 화상과 해당 복호 대상 시점 화상과의 시차를 주는 시차 정보의, 상기 베이스 시차 정보에 대한 차분으로 정해진 보정 시차 정보를 복호하는 보정 시차 정보 복호 단계와,
    상기 베이스 시차 정보와 상기 보정 시차 정보에 의해 주어지는 대응점 정보를 사용하여 상기 참조 시점 화상에서 시차 보상을 하면서 상기 부호화 데이터로부터 상기 복호 대상 시점 화상을 복호하는 시점 화상 복호 단계를 갖는
    것을 특징으로 하는 화상 복호 방법.
  16. 다시점 화상의 부호화 데이터를 복호할 때, 하나의 기준 시점이 존재하고 이미 복호 완료된 상기 기준 시점의 화상인 참조 기준 시점 화상을 사용하여 상기 기 준 시점 이외의 시점의 화상을 복호하는 화상 복호 방법으로서,
    부호화 데이터로부터, 상기 참조 기준 시점 화상에서의 상기 기준 시점 이외의 모든 시점의 화상과의 시차를 에피폴라 기하 구속에 기초하여 주는 글로벌 시차 정보를 복호하는 글로벌 시차 정보 복호 단계와,
    상기 복호된 글로벌 시차 정보를, 상기 기준 시점 이외의 시점의 화상인 각 복호 대상 시점 화상에서의 상기 에피폴라 기하 구속에 기초하여 다른 모든 시점과의 시차를 주는 베이스 시차 정보로 변환하는 베이스 시차 정보 설정 단계와,
    상기 부호화 데이터로부터, 상기 복호 대상 시점 화상을 복호할 때에 수행하는 시차 보상에 사용하는 이미 복호 완료된 참조 시점 화상과 해당 복호 대상 시점 화상과의 대응점을 주는 시차 벡터의, 상기 베이스 시차 정보에 의해 주어지는 시차 벡터에 대한 차분으로 정해진 보정 시차 벡터를 복호하는 보정 시차 벡터 복호 단계와,
    상기 베이스 시차 정보와 상기 보정 시차 벡터에 의해 주어지는 대응점 정보를 사용하여 상기 참조 시점 화상으로부터 시차 보상을 하면서 상기 부호화 데이터로부터 상기 복호 대상 시점 화상을 복호하는 시점 화상 복호 단계를 갖는
    것을 특징으로 하는 화상 복호 방법.
  17. 청구항 15에 기재된 화상 복호 방법에서,
    상기 부호화 데이터로부터 상기 시차 보상에 사용하는 시차 보상 벡터에 대한 상기 베이스 시차 정보 설정 단계에서 설정된 베이스 시차 정보와, 상기 보정 시차 정보 복호 단계에서 복호된 보정 시차 정보를 사용하여 표현되는, 상기 복호 대상 시점 화상과 상기 참조 시점 화상간의 대응점 벡터로부터의 차분으로 정해진 보정 벡터를 복호하는 보정 벡터 복호 단계를 가지고,
    상기 시점 화상 복호 단계에서는 상기 보정 벡터에 의해 보정된 상기 시차 보상 벡터를 사용하여 시차 보상을 하는
    것을 특징으로 하는 화상 복호 방법.
  18. 청구항 15 및 청구항 16 중 어느 한 항에 기재된 화상 복호 방법에서,
    상기 부호화 데이터로부터, 상기 참조 기준 시점 화상에서의 영역 분할을 나타내는 정보를 복호하는 기준 시점 영역 분할 복호 단계를 가지고,
    상기 글로벌 시차 정보 복호 단계에서는 상기 기준 시점 영역 분할 복호 단계에서 얻어진 영역 분할 영역마다 상기 글로벌 시차 정보를 복호하는
    것을 특징으로 하는 화상 복호 방법.
  19. 청구항 18에 기재된 화상 복호 방법에서,
    상기 참조 기준 시점 화상이, 화상 전체가 영역 분할되어 각 영역마다 부호화 처리되어 있는 경우에,
    상기 기준 시점 영역 분할 복호 단계에서는, 상기 참조 기준 시점 화상의 부호화 데이터에 포함되는 영역 분할을 나타내는 정보로부터 영역 분할을 설정하는
    것을 특징으로 하는 화상 복호 방법.
  20. 청구항 18에 기재된 화상 복호 방법에서,
    참조 기준 시점 화상이, 화상 전체가 영역 분할되어 각 영역마다 부호화 처리되어 있는 경우에,
    상기 기준 시점 영역 분할 복호 단계에서는 상기 참조 기준 시점 화상의 부호화 데이터에 포함되는 영역 분할을 나타내는 정보와의 차이를 나타내는 정보를 복호하고, 해당 영역 분할을 나타내는 정보와 해당 차이를 나타내는 정보를 사용함으로써 상기 글로벌 시차 정보 복호시의 영역 분할을 설정하는
    것을 특징으로 하는 화상 복호 방법.
  21. 청구항 15 및 청구항 16 중 어느 한 항에 기재된 화상 복호 방법에서,
    상기 부호화 데이터로부터 상기 복호 대상 시점 화상에서의 영역 분할을 나타내는 정보를 복호하는 복호 대상 시점 영역 분할 복호 단계를 가지고,
    상기 시점 화상 복호 단계에서는 상기 부호화 대상 시점 영역 분할 복호 단계에서 복호된 정보에 의해 나타나는 영역 분할의 영역마다, 상기 시차 보상에 사용하는 시차 보상 벡터를 변경하면서 복호 대상 시점 화상을 복호하는
    것을 특징으로 하는 화상 복호 방법.
  22. 청구항 21에 기재된 화상 복호 방법에서,
    상기 복호 대상 시점 화상이, 화상 전체가 영역 분할되어 각 영역마다 그 영 역 분할 정보와 함께 부호화되어 있는 경우에,
    상기 복호 대상 시점 영역 분할 복호 단계에서는, 상기 복호 대상 시점 화상의 부호화 데이터에 포함되는 영역 분할을 나타내는 정보로부터 영역 분할을 설정하는
    것을 특징으로 하는 화상 복호 방법.
  23. 청구항 21에 기재된 화상 복호 방법에서,
    상기 복호 대상 시점 화상이, 화상 전체가 영역 분할되어 각 영역마다 그 영역 분할 정보와 함께 부호화되어 있는 경우에,
    상기 복호 대상 시점 영역 분할 복호 단계에서는, 상기 부호화 데이터로부터 영역 분할에 관한 상기 영역 분할 정보와의 차이를 나타내는 정보를 복호하고, 해당 영역 분할 정보와 해당 차이를 나타내는 정보를 사용함으로써 상기 시차 보상 벡터 변경용 영역 분할을 설정하는
    것을 특징으로 하는 화상 복호 방법.
  24. 청구항 15 및 청구항 16 중 어느 한 항에 기재된 화상 복호 방법에서,
    상기 부호화 데이터로부터 상기 참조 시점 화상의 시점을 가리키는 시점 인덱스를 복호하는 시점 인덱스 복호 단계와,
    상기 시점 인덱스에 의해 나타나는 시점을 참조 시점으로서 설정하는 단계를 가지고,
    상기 시점 화상 복호 단계에서는 상기 참조 시점의 복호 완료 화상을 상기 참조 시점 화상으로서 사용하는
    것을 특징으로 하는 화상 복호 방법.
  25. 청구항 21에 기재된 화상 복호 방법에서,
    상기 복호 대상 시점 영역 분할 복호 단계에서 설정된 영역마다 부호화 데이터로부터 상기 참조 시점 화상의 시점을 나타내는 시점 인덱스를 복호하는 시점 인덱스 복호 단계와,
    상기 복호 대상 시점 영역 분할 복호 단계에서 설정된 영역마다 상기 시점 인덱스에 의해 나타나는 시점을 참조 시점으로서 설정하는 단계를 가지고,
    상기 시점 화상 복호 단계에서는 상기 복호 대상 시점 영역 분할 복호 단계에서 설정된 영역마다 상기 설정된 참조 시점의 복호 완료 화상을 상기 참조 시점 화상으로서 사용하는
    것을 특징으로 하는 화상 복호 방법.
  26. 청구항 1 및 청구항 2 중 어느 한 항에 기재된 화상 부호화 방법에서의 각 단계를 실행하기 위한 수단을 구비하는
    것을 특징으로 하는 화상 부호화 장치.
  27. 삭제
  28. 청구항 1 및 청구항 2 중 어느 한 항에 기재된 화상 부호화 방법에서의 각 단계를 컴퓨터에 실행시키기 위한 화상 부호화 프로그램을 기록한 컴퓨터 독해 가능한 기록 매체.
  29. 청구항 15 및 청구항 16 중 어느 한 항에 기재된 화상 복호 방법에서의 각 단계를 실행하기 위한 수단을 구비하는
    것을 특징으로 하는 화상복 호장치.
  30. 삭제
  31. 청구항 15 및 청구항 16 중 어느 한 항에 기재된 화상 복호 방법에서의 각 단계를 컴퓨터에 실행시키기 위한 화상 복호 프로그램을 기록한 컴퓨터 독해 가능한 기록 매체.
KR20097005344A 2006-09-20 2007-09-18 화상 부호화 방법 및 복호 방법, 그 장치 및 그 프로그램을 기록한 기억매체 KR101031624B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2006-254023 2006-09-20
JP2006254023 2006-09-20

Publications (2)

Publication Number Publication Date
KR20090053821A KR20090053821A (ko) 2009-05-27
KR101031624B1 true KR101031624B1 (ko) 2011-04-27

Family

ID=39200480

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20097005344A KR101031624B1 (ko) 2006-09-20 2007-09-18 화상 부호화 방법 및 복호 방법, 그 장치 및 그 프로그램을 기록한 기억매체

Country Status (10)

Country Link
US (1) US8385628B2 (ko)
EP (1) EP2066132A4 (ko)
JP (1) JP4999853B2 (ko)
KR (1) KR101031624B1 (ko)
CN (1) CN101536529B (ko)
BR (1) BRPI0716814A2 (ko)
CA (1) CA2663084C (ko)
RU (1) RU2406257C2 (ko)
TW (1) TWI348320B (ko)
WO (1) WO2008035654A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101383486B1 (ko) 2011-12-07 2014-04-09 경희대학교 산학협력단 다중 시점 영상 부호화를 위한 다중 시점 영상의 평행화 방법

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100918862B1 (ko) * 2007-10-19 2009-09-28 광주과학기술원 참조영상을 이용한 깊이영상 생성방법 및 그 장치, 생성된깊이영상을 부호화/복호화하는 방법 및 이를 위한인코더/디코더, 그리고 상기 방법에 따라 생성되는 영상을기록하는 기록매체
JP5219199B2 (ja) * 2008-07-11 2013-06-26 日本電信電話株式会社 多視点画像符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体
CN102100070A (zh) * 2008-07-20 2011-06-15 杜比实验室特许公司 立体视频传送系统的编码器优化
US20100309287A1 (en) * 2009-03-20 2010-12-09 Rodriguez Tony F 3D Data Representation, Conveyance, and Use
JP2011060216A (ja) * 2009-09-14 2011-03-24 Fujifilm Corp 画像処理装置および画像処理方法
CN103609119A (zh) * 2010-02-23 2014-02-26 日本电信电话株式会社 运动向量推断方法、多视点视频编码方法、多视点视频解码方法、运动向量推断装置、多视点视频编码装置、多视点视频解码装置、运动向量推断程序、多视点视频编码程序及多视点视频解码程序
KR101628383B1 (ko) 2010-02-26 2016-06-21 연세대학교 산학협력단 영상 처리 장치 및 방법
RU2480941C2 (ru) 2011-01-20 2013-04-27 Корпорация "Самсунг Электроникс Ко., Лтд" Способ адаптивного предсказания кадра для кодирования многоракурсной видеопоследовательности
US9247249B2 (en) 2011-04-20 2016-01-26 Qualcomm Incorporated Motion vector prediction in video coding
BR122015001002B1 (pt) * 2011-06-30 2022-07-26 Sony Corporation Dispositivo e método de processamento de imagem
JP5367034B2 (ja) * 2011-08-24 2013-12-11 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法
WO2013031573A1 (ja) * 2011-08-31 2013-03-07 ソニー株式会社 符号化装置および符号化方法、復号装置および復号方法
TWI597976B (zh) * 2012-04-16 2017-09-01 Jvc Kenwood Corp Motion picture encoding apparatus, motion picture encoding method, and recording medium for moving picture encoding program
JP5531282B2 (ja) * 2012-06-18 2014-06-25 日本電信電話株式会社 多視点画像符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体
WO2014005280A1 (en) * 2012-07-03 2014-01-09 Mediatek Singapore Pte. Ltd. Method and apparatus to improve and simplify inter-view motion vector prediction and disparity vector prediction
US20150172715A1 (en) * 2012-07-09 2015-06-18 Nippon Telegraph And Telephone Corporation Picture encoding method, picture decoding method, picture encoding apparatus, picture decoding apparatus, picture encoding program, picture decoding program, and recording media
CN104871534A (zh) * 2012-09-25 2015-08-26 日本电信电话株式会社 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质
US9350970B2 (en) 2012-12-14 2016-05-24 Qualcomm Incorporated Disparity vector derivation
CN107318027B (zh) * 2012-12-27 2020-08-28 日本电信电话株式会社 图像编码/解码方法、图像编码/解码装置、以及图像编码/解码程序
JP2014176034A (ja) * 2013-03-12 2014-09-22 Ricoh Co Ltd 映像伝送装置
JP2015050661A (ja) * 2013-09-02 2015-03-16 キヤノン株式会社 符号化装置、符号化装置の制御方法、及び、コンピュータプログラム
EP3142366A1 (en) 2015-09-14 2017-03-15 Thomson Licensing Method and apparatus for encoding and decoding a light field based image, and corresponding computer program product
JP2017211694A (ja) * 2016-05-23 2017-11-30 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10638130B1 (en) * 2019-04-09 2020-04-28 Google Llc Entropy-inspired directional filtering for image coding
CN111372081B (zh) * 2020-03-17 2022-06-17 四川大学 基于丢失块修复的分布式多视点视频解码的方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09275578A (ja) * 1996-04-04 1997-10-21 Sharp Corp 多視点画像符号化装置および復号装置
WO2006073116A1 (ja) 2005-01-07 2006-07-13 Nippon Telegraph And Telephone Corporation 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5790086A (en) 1995-01-04 1998-08-04 Visualabs Inc. 3-D imaging system
US6049619A (en) * 1996-02-12 2000-04-11 Sarnoff Corporation Method and apparatus for detecting moving objects in two- and three-dimensional scenes
JPH09261653A (ja) 1996-03-18 1997-10-03 Sharp Corp 多視点画像符号化装置
FR2756399B1 (fr) 1996-11-28 1999-06-25 Thomson Multimedia Sa Procede et dispositif de compression video pour images de synthese
JP4013286B2 (ja) * 1997-01-22 2007-11-28 松下電器産業株式会社 画像符号化装置と画像復号化装置
JP3519594B2 (ja) * 1998-03-03 2004-04-19 Ｋｄｄｉ株式会社 ステレオ動画像用符号化装置
JP4608136B2 (ja) 2001-06-22 2011-01-05 オリンパス株式会社 動きベクトル及び視差ベクトル検出装置
EP1519582A4 (en) * 2002-06-28 2007-01-31 Sharp Kk Image data delivery system, image data sending device therefor and image data receiving device therefor
US7778328B2 (en) 2003-08-07 2010-08-17 Sony Corporation Semantics-based motion estimation for multi-view video coding
JP2006054504A (ja) * 2004-08-09 2006-02-23 Olympus Corp 画像生成方法および装置
US8204133B2 (en) 2004-10-12 2012-06-19 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding multi-view video using image stitching
JP2006254023A (ja) 2005-03-10 2006-09-21 Matsushita Electric Ind Co Ltd 字幕用表示言語選択装置およびその方法
WO2007037645A1 (en) 2005-09-29 2007-04-05 Samsung Electronics Co., Ltd. Method of estimating disparity vector using camera parameters, apparatus for encoding and decoding multi-view picture using the disparity vectors estimation method, and computer-redadable recording medium storing a program for executing the method
KR101276720B1 (ko) * 2005-09-29 2013-06-19 삼성전자주식회사 카메라 파라미터를 이용하여 시차 벡터를 예측하는 방법,그 방법을 이용하여 다시점 영상을 부호화 및 복호화하는장치 및 이를 수행하기 위한 프로그램이 기록된 기록 매체
CA2845591C (en) * 2006-01-05 2015-12-08 Nippon Telegraph And Telephone Corporation Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
TW200806040A (en) * 2006-01-05 2008-01-16 Nippon Telegraph & Telephone Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09275578A (ja) * 1996-04-04 1997-10-21 Sharp Corp 多視点画像符号化装置および復号装置
WO2006073116A1 (ja) 2005-01-07 2006-07-13 Nippon Telegraph And Telephone Corporation 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101383486B1 (ko) 2011-12-07 2014-04-09 경희대학교 산학협력단 다중 시점 영상 부호화를 위한 다중 시점 영상의 평행화 방법

Also Published As

Publication number Publication date
CA2663084C (en) 2014-08-12
US8385628B2 (en) 2013-02-26
CA2663084A1 (en) 2008-03-27
JP4999853B2 (ja) 2012-08-15
RU2009107689A (ru) 2010-09-10
KR20090053821A (ko) 2009-05-27
CN101536529A (zh) 2009-09-16
BRPI0716814A2 (pt) 2013-11-05
RU2406257C2 (ru) 2010-12-10
EP2066132A1 (en) 2009-06-03
WO2008035654A1 (fr) 2008-03-27
JPWO2008035654A1 (ja) 2010-01-28
TW200822761A (en) 2008-05-16
US20100086222A1 (en) 2010-04-08
TWI348320B (en) 2011-09-01
CN101536529B (zh) 2011-08-31
EP2066132A4 (en) 2012-11-07

Similar Documents

Publication Publication Date Title
KR101031624B1 (ko) 화상 부호화 방법 및 복호 방법, 그 장치 및 그 프로그램을 기록한 기억매체
KR101023262B1 (ko) 화상 부호화 방법 및 복호 방법, 이들의 장치 및 이들의 프로그램과 프로그램을 기록한 기억매체
TWI502969B (zh) 活動影像編碼方法及解碼方法、其電腦程式以及記錄有該電腦程式之記憶媒體
KR101374812B1 (ko) 다시점 영상 부호화 방법, 다시점 영상 복호 방법, 다시점 영상 부호화 장치, 다시점 영상 복호 장치 및 프로그램
KR20080076974A (ko) 영상 부호화 방법 및 복호 방법, 그들의 장치, 및 그들의프로그램 및 프로그램을 기록한 기억 매체
KR20080078697A (ko) 영상 부호화 방법 및 복호 방법, 그들의 장치, 및 그들의프로그램 및 프로그램을 기록한 기억 매체
JP6307152B2 (ja) 画像符号化装置及び方法、画像復号装置及び方法、及び、それらのプログラム
TWI499277B (zh) 多視點畫像編碼方法、多視點畫像解碼方法、多視點畫像編碼裝置、多視點畫像解碼裝置及這些程式
KR20150122726A (ko) 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램, 화상 복호 프로그램 및 기록매체
JP6232075B2 (ja) 映像符号化装置及び方法、映像復号装置及び方法、及び、それらのプログラム
JP5926451B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム
JP4944046B2 (ja) 映像符号化方法，復号方法，符号化装置，復号装置，それらのプログラムおよびコンピュータ読み取り可能な記録媒体
KR20160140622A (ko) 동화상 부호화 장치 및 방법, 및 동화상 복호 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140305

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150303

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160408

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170407

Year of fee payment: 7