KR20060118592A

KR20060118592A - 영상 부호화 방법 및 장치, 영상 복호 방법 및 장치,그들의 프로그램 및 그들 프로그램을 기록한 기록 매체

Info

Publication number: KR20060118592A
Application number: KR20067016556A
Authority: KR
Inventors: 마사키 기타하라; 히데아키 기마타
Original assignee: 니폰덴신뎅와 가부시키가이샤
Priority date: 2004-10-07
Filing date: 2005-09-30
Publication date: 2006-11-23
Also published as: JP4805160B2; KR100972222B1; JPWO2006038568A1; TW200621032A; US8275048B2; EP1798981A4; US20080317115A1; CN1918917A; EP1798981A1; TWI285054B; WO2006038568A1; CN103179400A; CN103179400B

Abstract

복수의 화상을 복수의 GOP로 구성하여, 각각의 GOP의 화상을 하나의 영상으로서 부호화하는 영상 부호화 방법으로서, 각 GOP에 포함되는 화상을 부호화할지 여부를 결정하고, 해당 GOP에 포함되는 화상의 부호화 데이터를 출력할지 여부를 나타내는 GOP 부호화 유무 정보를 부호화하고 해당 GOP에 포함되는 화상의 부호화 데이터를 출력하는 경우에, 해당 GOP에 포함되는 화상을 부호화한다. 전형적으로는 해당 GOP의 부호화 데이터의 복호에 의하지 않고 다른 1 이상의 GOP를 이용하여 생성되는 화상이 부호화 데이터의 복호에 의해 얻어지는 화상보다 원화상에 가까운지 여부를 판단함으로써 해당 GOP에 포함되는 화상을 부호화할지 여부를 결정한다.

Description

영상 부호화 방법 및 장치, 영상 복호 방법 및 장치, 그들의 프로그램 및 그들 프로그램을 기록한 기록 매체{Video encoding method and device, video decoding method and device, program thereof, and recording medium containing the programs}

본 발명은, 시점(視點) 위치나 시선 방향을 변경할 수 있게 하는 영상 기술 등에 적합한 영상 부호화 및 영상 복호에 관한 기술이다.

일반적으로 영상 부호화에서는 시간 방향의 상관을 사용하여 높은 부호화 효율을 실현하기 위해 프레임간 예측 부호화를 사용하고 있다. 프레임의 부호화 모드에는, 프레임간의 상관을 사용하지 않고 부호화하는 I프레임과, 과거에 부호화된 1프레임으로부터 예측하는 P프레임과, 과거에 부호화된 2프레임으로부터 예측할 수 있는 B프레임이 있다.

P프레임에서는 I프레임 또는 P프레임으로부터 예측하고, B프레임에서는 I프레임 또는 P프레임 또는 B프레임으로부터 예측할 수 있다. 특히 영상 부호화 방식 H.264에서는, 부호화 장치 내의 참조 화상 메모리에 복수의 프레임분의 복호 화상을 축적해 놓고, 그 메모리로부터 참조 화상을 선택하여 예측에 사용할 수 있다. 또 P프레임에서는 입력 동영상에서의 시간을 과거의 프레임으로부터 예측하는데, B 프레임에서는 과거의 프레임뿐만 아니라 미래의 프레임으로부터도 예측할 수 있다.

도 7(a)부에 동영상의 예측 관계의 예를 도시한다.

B프레임에 2프레임으로부터 예측하는 경우(양방향 예측)에는, 2프레임으로부터의 화상 정보를 보간하여, 1프레임분의 화상 정보를 작성하여 예측 화상을 작성한다. 제1프레임으로부터 제7프레임의 부호화 모드를 IBBPBBP의 순서로 부호화하는 경우에는, 도 7(a)부에 도시한 예측 관계가 있기 때문에, 실제로 부호화하는 경우에는 도 7(a)부에 도시한 프레임의 번호를 왼쪽부터 1∼7로 하고, 도 7(b)부에 도시한 바와 같이,"1→4→2→3→7→5→6"이라는 프레임 번호 순서대로 프레임을 부호화한다.

여기에서 인터레이스 동영상은 1프레임 내에 2필드를 가진 구성이 되는데, 상기와 같이 필드마다 예측 관계를 설정할 수 있다. 일반적으로 프레임과 필드를 총칭하여 픽쳐라고 부른다. 또 B프레임의 양방향 예측에서는, 과거의 2프레임 또는 미래의 2프레임으로부터 예측하는 것도 가능하다. 예를 들면 영상 부호화 방식 H.264에서는, 참조 화상 메모리에 복수의 프레임분의 복호 화상을 축적해 놓고, 그 메모리로부터 참조 화상을 2프레임분 선택하여 예측할 수 있다. 여기에서 선택한 프레임의 복호 후의 표시 시각은, 부호화 대상 프레임의 표시 시각의 미래여도 좋고 과거여도 좋다.

또 I픽쳐를 선두로 한 픽쳐의 집합을 GOP(group of picture)로서 설정함으로써 GOP 단위의 부호화 데이터의, 시간에 관한 랜덤 액세스 기능을 용이하게 실현할 수 있다.

GOP는, 특정 픽쳐의 부호화 데이터 전에 GOP 선두임을 나타내는 정보를 포함시킴에 따라 그 픽쳐가, 그 픽쳐 이후의 복수의 픽쳐로 구성되는 GOP의 선두라는 것을 지정할 수 있다. MPEG-2에서는, 특유의 비트 패턴을 가진 부호를 삽입함으로써 GOP의 선두라는 것을 지정한다.

즉, GOP의 선두임을 나타내는 부호 간에 1GOP의 부호화 데이터를 구성할 수 있다. 더우기, 부호화 데이터 중에 GOP의 선두임을 나타내는 정보를 부호화하는 것이 아니라, 부호화 데이터와는 독립된 정보로서 GOP구성 정보를 지정하는 것도 가능하다.

일반적으로, GOP 선두임을 나타내는 정보 뒤에는 GOP의 선두 프레임의 시각 정보도 포함되어 있으며, 시간에 관한 랜덤 액세스를 실현할 때에 이용된다. 또 각 픽쳐에도 시각 정보를 붙이는 것도 가능하다.

이 시각 정보는 예를 들면 H.263에서는 TR(Temporal Reference)라고 부른다. TR은 단위 시간을 기본으로 한, 프레임의 출력 순서를 나타내는 정보이다. 예를 들면 단위 시간을 1/30초로 설정하면, 프레임마다 값이 하나씩 증가하는 것은 프레임 레이트가 30프레임/초인 것과 등가이다. 통상 TR은 고정 길이 부호화된다.

또한 복수의 카메라 영상의 부호화에 대해서, 각 카메라 영상을 GOP로 설정하고, GOP 간에 예측 부호화를 적용하면서 하나의 영상 정보로서 부호화하는 수법이 제안되어 있다.

예를 들면, 아래에 도시한 비특허문헌 1이나 비특허문헌 2에서는, Base GOP와 InterGOP를 정의하여 GOP간의 예측 관계를 나타내는 방법을 제안하고 있다. Base GOP에 포함되는 픽쳐는 동일 GOP 내에 포함되는 픽쳐만을 참조하고, InterGOP에 포함되는 픽쳐는 동일 또는 다른 GOP 내에 포함되는 픽쳐를 참조한다. InterGOP에서는 헤더 부분에, 참조하는 GOP를 나타내는 참조 GOP 정보를 포함시킨다.

이와 같이 복수의 카메라 입력 영상을 사전에 가지고 있으면, 입력 영상을 바꿈으로써 시점 위치와 시선 방향을 변경할 수 있다. 이에 의하면 촬영한 위치에서의 영상을 얻을 수 있지만, 또한 촬영되지 않은 시점 위치나 시선 방향의 영상을 생성하는 기술이 제안되어 있다.

예를 들면, 아래에 나타내는 비특허문헌 3에서는, 복수의 카메라 입력 화상에서 광선 공간을 생성하여, 그 광선 공간에서 화상 정보를 취함으로써 촬영되지 않은 시점 위치 또는 시선 방향의 영상을 생성하는 수법이 제안되어 있다.

이와 같은 영상을 생성하는 기술에서는, 일반적으로 복수의 카메라 입력 화상에서 같은 피사체가 촬영되어 있는 경우에, 그들이 촬영되어 있는 화상 정보를 사용하여, 그 피사체에 대해서 촬영되어 있지 않은 시점 위치나 시선 방향의 화상 정보를 생성한다. 즉, 복수의 카메라 입력 화상에 걸쳐 촬영되어 있는 피사체에 대해서, 각 카메라 입력 화상의 일부분을 사용하여 화상 정보를 생성하고 있다.

이 화상 생성 기술로서는, 예를 들면 적응 필터 방법(예를 들면 비특허문헌 4 참조)나 테이블 참조법(예를 들면 비특허문헌 5 참조)을 들 수 있다.

비특허문헌 1: Hideaki Kimata and Masaki Kitahara, "Preliminary results on multiple view video coding(3DAV)," document M10976 MPEG Redmond Meeting, July, 2004.

비특허문헌 2: Hideaki Kimata, Masaki Kitahara, Kazuto Kamikura, Yoshiyuki Yashima, Toshiaki Fujii, and Masayuki Tanimoto, "System Design of Free Viewpoint Video Communication," CIT2004, Sep., 2004.

비특허문헌 3: 후지이, 기모토, 다니모토: "광선군 표현에서의 3차원 공간 정보의 압축", 3차원 화상 컨퍼런스'96, pp.1-6(1996.7).

비특허문헌 4: T.Kobayashi, T.Fujii, T.Kimoto, M.Tanimoto, "Interpolation of Ray-Space Data by Adaptive Filtering,"IS&T/SPIE Electronic Imaging 2000,2000.

비특허문헌 5: M.Kawaura, T.Ishigami, T.Fujii, T.Kimoto, M.Tanimoto, "efficient Vector Quantization of Epipolar Plane Images of Ray Space By Dividing into Oblique Blocks," Picture Coding Symposium 2001, pp.203-206, 2001.

복수의 카메라 영상 중 촬영되어 있지 않은 시점 위치나 시선 방향의 영상을 생성하는 기술로 품질이 충분히 우수한 화상을 얻을 수 있는 경우에는, 일부의 카메라 영상의 화상 정보를 부호화하지 않고, 영상 재생쪽에서 화상을 생성할 수 있기 때문에, 결과적으로 복수의 카메라 영상에 대한 부호화 효율을 향상시킬 수 있다.

그러나, 종래의 영상 부호화 방식으로는, 영상 재생쪽에서 일부의 카메라 영상의 화상을 사용하지 않아도 대응하는 화상을 생성할 수 있는지 아닌지 판정하고, 또한 생성할 수 있다는 것을 나타내는 정보를 부호화하는 장치가 없기 때문에, 실제로는 모든 카메라 영상을 부호화하여 송출하고 있으며, 부호화 효율을 향상시킬 수 없었다.

본 발명은 상기 사정을 감안하여 이루어진 것으로서, 영상 재생쪽에서 일부의 카메라 영상의 화상을 사용하지 않아도 대응하는 화상을 생성할 수 있는지 아닌지 판정하고, 또한 생성할 수 있다는 것을 나타내는 정보를 부호화하는 장치를 제공함으로써 시점 위치나 시선 방향을 변경할 수 있게 하는 영상 기술 등에 적합한 새로운 영상 부호화 및 영상 복호에 관한 기술의 제공을 목적으로 한다.

이 목적을 달성하기 위해, 본 발명의 영상 부호화 방법은, 복수의 화상을 복수의 GOP로 구성하여, 각각의 GOP의 화상을 하나의 영상으로서 부호화하는 영상 부호화 방법으로서,

각 GOP에 포함되는 화상을 부호화할지 여부를 결정하는 GOP 부호화 결정 단계와,

해당 GOP에 포함되는 화상의 부호화 데이터를 출력할지 여부를 나타내는 GOP 부호화 유무 정보를 부호화하는 GOP 부호화 유무 정보 부호화 단계와,

해당 GOP에 포함되는 화상의 부호화 데이터를 출력하는 경우에, 해당 GOP에 포함되는 화상을 부호화하는 GOP 내 화상 부호화 단계를,

가지는 영상 부호화 방법을 제공한다.

전형예로서, 상기 GOP 부호화 결정 단계에서는, 해당 GOP의 부호화 데이터의 복호에 의하지 않고 다른 1 이상의 GOP를 사용하여 생성되는 화상 쪽이 부호화 데이터의 복호에 의해 얻어지는 화상보다도 원화상에 가까운지 아닌지를 판단함으로써 해당 GOP에 포함되는 화상을 부호화할지 여부를 결정한다. 더우기, 이 방법 이외에 원화상의 변화를 평가함으로써 해당 GOP에 포함되는 화상을 부호화할지 여부를 결정하는 것도 가능하다.

해당 GOP에 포함되는 화상의 부호화 데이터를 출력하지 않는 경우에, 해당 GOP에 포함되는 화상을 생성할 때에 사용하는, 다른 1 이상의 GOP를 지정하는 생성 참조 GOP 지정 정보를 부호화하는 생성 참조 GOP 부호화 단계를 더 가져도 좋다.

또 해당 GOP에 포함되는 화상의 부호화 데이터를 출력하지 않는 경우에, 해당 GOP에 포함되는 화상을 생성할 때에 사용하는, 화상 생성 수법을 지정하는 생성 정보를 부호화하는 생성 정보 부호화 단계를 더 가져도 좋다.

본 발명은 또 복수의 화상을 복수의 GOP로 구성하여, 각각의 GOP의 화상을 하나의 영상으로서 부호화함으로써 생성된 부호화 데이터를 복호하는 영상 복호방법으로서,

각 GOP에 포함되는 화상의 부호화 데이터를 복호할지 여부를 나타내는 GOP 부호화 유무 정보를 복호하는 GOP 부호화 유무 정보 복호 단계와,

해당 GOP에 포함되는 화상의 부호화 데이터를 복호하는 경우에 GOP에 포함되는 화상을 복호하는 GOP 내 화상 복호 단계를,

가지는 영상 복호 방법을 제공한다.

해당 GOP에 포함되는 화상의 부호화 데이터를 복호하지 않는 경우에, 해당 GOP에 포함되는 화상을 생성할 때에 사용하는, 다른 1 이상의 GOP를 지정하는 생성 참조 GOP 지정 정보를 복호하는 생성 참조 GOP 복호 단계를 더 가져도 좋다.

또 해당 GOP에 포함되는 화상의 부호화 데이터를 복호하지 않는 경우에, 해당 GOP에 포함되는 화상을 생성할 때에 사용하는, 화상 생성 수법을 지정하는 생성 정보를 복호하는 생성 정보 복호 단계를 더 가져도 좋다.

본 발명은 또 복수의 화상을 복수의 GOP로 구성하여, 각각의 GOP의 화상을 1개의 영상으로서 부호화하는 영상 부호화 장치로서,

각 GOP에 포함되는 화상을 부호화할지 여부를 결정하는 GOP 부호화 결정부와,

해당 GOP에 포함되는 화상의 부호화 데이터를 출력할지 여부를 나타내는 GOP 부호화 유무 정보를 부호화하는 GOP 부호화 유무 정보 부호화부와,

해당 GOP에 포함되는 화상의 부호화 데이터를 출력하는 경우에, GOP에 포함되는 화상을 부호화하는 GOP 내 화상 부호화부를,

구비하는 영상 부호화 장치를 제공한다.

전형예로서, 상기 GOP 부호화 결정부는, 해당 GOP의 부호화 데이터의 복호에 의하지 않고 다른 1 이상의 GOP를 사용하여 생성되는 화상 쪽이 부호화 데이터의 복호에 의해 얻어지는 화상보다도 원화상에 가까운 것인지 아닌지를 판단함으로써 해당 GOP에 포함되는 화상을 부호화할지를 결정한다.

해당 GOP에 포함되는 화상의 부호화 데이터를 출력하지 않는 경우에, 해당 GOP에 포함되는 화상을 생성할 때에 사용하는, 다른 1 이상의 GOP를 지정하는 생성 참조 GOP 지정 정보를 부호화하는 생성 참조 GOP 부호화부를 더 구비하도록 해도 좋다.

또 해당 GOP에 포함되는 화상의 부호화 데이터를 출력하지 않는 경우에, 해당 GOP에 포함되는 화상을 생성할 때에 사용하는, 화상 생성 수법을 지정하는 생성 정보를 부호화하는 생성 정보 부호화부를 더 구비하도록 해도 좋다.

본 발명은 또 복수의 화상을 복수의 GOP로 구성하여, 각각의 GOP의 화상을 하나의 영상으로서 부호화함으로써 생성된 부호화 데이터를 복호하는 영상 복호 장치로서,

각 GOP에 포함되는 화상의 부호화 데이터를 복호할지 여부를 나타내는 GOP 부호화 유무 정보를 복호하는 GOP 부호화 유무 정보 복호부와,

해당 GOP에 포함되는 화상의 부호화 데이터를 복호하는 경우에, GOP에 포함되는 화상을 복호하는 GOP 내 화상 복호부를,

구비하는 영상 복호 장치를 제공한다.

해당 GOP에 포함되는 화상의 부호화 데이터를 복호하지 않는 경우에, 해당 GOP에 포함되는 화상을 생성할 때에 사용하는, 1 이상의 다른 GOP를 지정하는 생성 참조 GOP 지정 정보를 복호하는 생성 참조 GOP 복호부를 더 구비하도록 해도 좋다.

또 해당 GOP에 포함되는 화상의 부호화 데이터를 복호하지 않는 경우에, 해당 GOP에 포함되는 화상을 생성할 때에 사용하는, 화상 생성 수법을 지정하는 생성 정보를 복호하는 생성 정보 복호부를 더 구비하도록 해도 좋다.

본 발명은 또 상기 영상 부호화 방법의 실현에 사용되는 처리를 컴퓨터에 실행시키기 위한 영상 부호화 프로그램, 해당 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.

본 발명은 또 상기 영상 복호 방법의 실현에 사용되는 처리를 컴퓨터에 실행시키기 위한 영상 복호 프로그램, 해당 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.

즉, 이들 컴퓨터 프로그램은, 적당한 컴퓨터로 읽을 수 있는 기록 매체에 기록하여 제공되거나, 네트워크를 통해 제공되고, 본 발명을 실시할 때에 인스톨되어 CPU 등의 제어 수단 상에서 동작함으로써 본 발명을 실현할 수 있다.

상기 본 발명에 의하면, 카메라 입력 영상마다 GOP를 구성해놓고, 화상 생성 수법으로 카메라 입력 영상을 생성할 수 있는 경우에는, 그 GOP에 대해서 화상을 부호화하지 않고, 대신에 영상 재생쪽에서 화상을 생성하도록 지정할 수 있다.

즉, 영상 부호화쪽에서는, 화상 생성 수법으로 카메라 입력 영상을 생성할 수 있는지 아닌지 결정한다. 그리고, 카메라 입력 영상을 생성할 수 있는 경우에는, GOP에 포함되는 화상의 부호화 데이터를 출력하지 않는다고 하여 GOP 부호화 유무 정보를 부호화하고, 카메라 입력 영상을 생성할 수 없는 경우에는, GOP에 포함되는 화상의 부호화 데이터를 출력한다고 하여 GOP 부호화 유무 정보를 부호화한다. 그리고, 카메라 입력 영상을 생성할 수 없는 경우에는, GOP에 포함되는 화상을 부호화한다(GOP에 포함되는 화상의 부호화 데이터를 출력한다).

이것을 받아 영상 복호쪽에서는, GOP에 포함되는 화상의 부호화 데이터를 복호할지 여부를 나타내는 GOP 부호화 유무 정보를 복호한다. 그리고 GOP 부호화 유무 정보가 GOP에 포함되는 화상의 부호화 데이터를 복호하는 것을 나타내는 경우에는 화상의 부호화 데이터를 복호한다.

여기에서, 영상 복호쪽에서는 GOP 부호화 유무 정보가 GOP에 포함되는 화상의 부호화 데이터를 복호하지 않는 것을 나타내는 경우에는, 화상 생성 기술을 사용하여 GOP 내의 화상을 생성해도 좋다. 단, 그 GOP 내의 화상이 불필요한 경우에는 화상을 생성할 필요는 없다.

또한 본 발명에 의하면, 영상 복호쪽에서 카메라 입력 영상을 생성하는 경우에, 카메라 입력 영상을 생성할 때에 사용하는 화상을 포함하는 GOP를 지정할 수 있다. 이 때 사용하는 GOP의 화상은 부호화 데이터를 복호하여 얻어지는 것이어도 좋고, 영상 복호쪽에서 생성하여 얻어지는 것이어도 좋다.

이로써 영상 복호쪽에서, 원하는 GOP의 화상을 생성할 때, 생성에 필요한 화상이 복호 또는 생성되어 있지 않은 경우에는, 그 화상을 포함하는 GOP를 복호 또는 생성함으로써 원하는 화상을 생성할 수 있다. 여기에서 원하는 화상을 생성할 때에 사용하는 화상을 포함하는 GOP로서는, 다른 카메라 입력 영상이어도 좋고, 원하는 영상이 속한 카메라 입력 영상이어도 좋다.

또한 본 발명에 의하면, 영상 복호쪽에서 카메라 입력 영상을 생성하는 경우에 카메라 입력 영상을 생성할 때에 사용하는 화상 생성 수법을 지정할 수 있다.

이 화상 생성 수법에 관해서는, 영상 부호화쪽과 영상 복호쪽에서 사전에 복수의 화상 생성 수법을 준비해 놓고, 영상 부호화쪽에서 어떤 화상 생성 수법을 영상 복호쪽에서 사용할지를 결정해도 좋다. 이로써 영상 부호화쪽에서 화상 품질이 우수한 화상 생성 수법을 선택할 수 있다.

더우기, 재생시키고 싶은 영상이 속하는 카메라 입력 영상을 사용하여 해당 영상을 생성하는 경우에는, 그 카메라 입력 영상에 속하기 전(과거)의 GOP의 화상을 사용해도 좋다. 또 카메라의 대수가 적은 경우에는, 화상의 생성에 사용하는 GOP가 한정되기 때문에, 사용하는 GOP를 지정할 필요는 없다.

본 발명에 의하면, 영상 재생쪽에서 화상을 생성할 수 있는지 아닌지를 부호화 시에 판정하고, 또한 생성하는 것을 나타내는 정보를 부호화할 수 있기 때문에 화상 부호화쪽에서 영상을 부호화하지 않는 것을 제어할 수 있게 되고, 이로써 부호화 효율을 향상시킬 수 있게 된다.

이와 같이 하여, 본 발명에 의하면 시점 위치나 시선 방향을 변경할 수 있게 된다.

도 1은 제1 실시형태예에서의 GOP의 구성의 일례를 도시한 도면이다.

도 2는 제1 실시형태예에서의 영상 부호화 장치의 장치 구성예를 도시한 도면이다.

도 3은 제1 실시형태예에서의 영상 복호 장치의 장치 구성예를 도시한 도면이다.

도 4는 제2 실시형태예에서의 영상 부호화 장치의 장치 구성예를 도시한 도면이다.

도 5는 제2 실시형태예에서의 GOP의 구성의 일례를 도시한 도면이다.

도 6은 제2 실시형태예에서의 영상 복호 장치의 장치 구성예를 도시한 도면 이다.

도 7은 동영상의 예측 관계의 설명도이다.

[부호의 설명]

101 화상 A 입력부

102 화상 A 부호화부

103 화상 A 복호부

104 화상 A 축적 메모리

105 화상 B 입력부

106 화상 B 부호화부

107 화상 B 복호부

108 화상 B 축적 메모리

109 화상 C 입력부

110 GOP 내 화상 부호화부

111 화상 C 복호부

112 복호 화상 축적 메모리

113 원화상 축적 메모리

114 화상 생성부

115 생성 참조 GOP 부호화부

116 생성 정보 부호화부

117 GOP 부호화 결정부

118 GOP 부호화 유무 정보 부호화부

119 GOP 정보 축적 메모리

201 화상 A 복호부

202 화상 A 축적 메모리

203 화상 B 복호부

204 화상 B 축적 메모리

205 GOP 내 화상 복호부

206 복호 화상 축적 메모리

207 화상 생성부

208 생성 참조 GOP 복호부

209 생성 정보 복호부

210 GOP 부호화 유무 정보 복호부

1180 GOP 헤더/부호화 유무 정보 부호화부

2100 GOP 헤더/부호화 유무 정보 복호부

이하, 실시형태에 따라서 본 발명을 상세히 설명한다.

이하에 설명하는 실시형태예에서는, 3카메라 영상을 부호화하는 경우에 2카메라 영상을 독립적으로 부호화시켜 놓고, 1카메라 영상을 그들 2카메라 영상의 화상 정보로부터, 혹은 1카메라 영상의 과거의 화상으로부터, 그 1카메라 영상의 현재의 화상을 사용하지 않고 화상 생성 기술에 의해 생성하는지 여부를 결정하는 수 법에 대해서 도시한다.

[I] 제1 실시형태예

도 1에, 제1 실시형태예에서의 GOP를 나타낸다.

이 도면에 도시한 바와 같이, 제1 실시형태예에서는 GOP는 사전에 2프레임으로 구성된다고 정해져 있는 것으로 한다. 또 각 GOP에는 도면 중에 도시한 GOP 번호(GOP1∼GOP6)가 할당되어 있는 것으로 한다.

도 1에 도시한 3카메라 영상 A,B,C 중 C에 대해서 화상 생성 기술에 의해 생성할지 여부를 결정한다. A 또는 B에서 C를 생성하는 수법으로서는, 화상 생성 방법 X와 화상 생성 방법 Y가 사전에 준비되어 있으며, 또 C의 과거의 화상 정보로부터 화상을 생성하는 기술로서 화상 생성 방법 Z가 준비되어 있는 것으로 한다.

화상을 생성할 때에 사용하는 화상으로서 A 또는 B를 선택하는 경우에는, 화상 생성 방법을 지정하는 정보를 부호화하게 되는데, 화상을 생성할 때에 사용하는 화상으로서 C의 과거의 화상을 선택하는 경우에는, 화상 생성 방법은 Z로 일의적으로 정해지기 때문에 화상 생성 방법을 지정하는 정보를 부호화할 필요는 없다. 더우기, 화상 생성 방법 Z는 본 실시형태에서는 직전의 화상을 출력하는 수법이다.

화상 생성 방법 X는 예를 들면 적응 필터 방법이고, 화상 생성 방법 Y는 예를 들면 테이블 참조 방법이다. 이하에 설명하는 실시형태예에서는, A와 B의 복호 화상을 사용하여 C의 화상 생성 방법을 결정하는 것으로 한다.

[I-1〕 제1 실시형태예를 실현하는 본 발명의 영상 부호화 장치

도 2에, 제1 실시형태예를 실현하는 본 발명의 영상 부호화 장치의 장치 구 성의 일례를 도시한다.

이 도면에 도시한 바와 같이, 본 발명의 영상 부호화 장치는,

(가) 화상 A(카메라 입력 영상 A)에 대해 화상을 입력하는 화상 A 입력부(101)와, 화상 A 입력부(101)의 입력된 화상을 부호화하는 화상 A 부호화부(102)와, 화상 A 부호화부(102)의 부호화된 화상을 복호하는 화상 A 복호부(103)와, 화상 A 복호부(103)의 복호된 화상을 축적하는 화상 A 축적 메모리(104)를 구비하고,

(나) 화상 B(카메라 입력 영상 B)에 대해 화상을 입력하는 화상 B 입력부(105)와, 화상 B 입력부(105)의 입력된 화상을 부호화하는 화상 B 부호화부(106)와, 화상 B 부호화부(106)의 부호화된 화상을 복호하는 화상 B 복호부(107)와, 화상 B 복호부(107)의 복호된 화상을 축적하는 화상 B 축적 메모리(108)를 구비하고,

(다) 화상 C(카메라 입력 영상 C)에 대해, 화상을 입력하는 화상 C 입력부(109)와, 화상 C 입력부(109)의 입력된 화상을 부호화하는 GOP 내 화상 부호화부(110)와, GOP내 화상 부호화부(110)의 부호화된 화상을 복호하는 화상 C 복호부(111)와, 화상 C 복호부(111)의 복호된 화상을 축적하는 복호 화상 축적 메모리(112)와, 화상 C 입력부(109)의 입력된 원화상을 축적하는 원화상 축적 메모리(113)와, 원화상 C를 사용하지 않고 화상 C를 생성하는 화상 생성부(114)와, 화상 C를 생성할 때에 사용하는 GOP를 지정하는 정보(구체적으로는 GOP의 번호)를 부호화하는 생성 참조 GOP 부호화부(115)와, 화상 C의 생성에 사용되는 화상 생성 방법을 지정하는 정보를 부호화하는 생성 정보 부호화부(116)와, GOP의 화상을 부호화할지 여부를 결정하는 GOP 부호화 결정부(117)와, GOP의 화상을 부호화했는지 여 부를 지정하는 정보를 부호화하는 GOP 부호화 유무 정보 부호화부(118)를 구비한다.

여기에서, 화상 A 축적 메모리(104)와 화상 B 축적 메모리(108)는, 각각 복호 화상을 2프레임분 축적하고, 또 원화상 축적 메모리(113)는 원화상을 2프레임분 축적한다. 또 복호 화상 축적 메모리(112)는 복호 화상을 3프레임분 축적하는 것으로 한다. 더우기, 초기 상태의 각 메모리에는 전혀 화상 정보가 축적되어 있지 않은 것으로 한다.

GOP 부호화 결정부(117)는, 우선 화상 생성부(114)에서 화상 생성 방법 X를 사용하여 생성되는 2프레임분의 화상 정보(1프레임씩 생성된다)와 원화상 축적 메모리(113)에 축적된 화상 간의 평균 제곱 오차 X를 계산한다. 이 때, 화상 A 축적 메모리(104)의 화상만을 사용하는 경우의 평균 제곱 오차를 Xa로 하고, 화상 B 축적 메모리(108)의 화상만을 사용하는 경우의 평균 제곱 오차를 Xb로 하고, 화상 A 축적 메모리(104)의 화상과 화상 B 축적 메모리(108)의 화상 모두를 사용하는 경우의 평균 제곱 오차를 Xc로 한다.

또한 GOP 부호화 결정부(117)는, 화상 생성부(114)에서 화상 생성 방법 Y를 사용하여 생성되는 2프레임분의 화상 정보(1프레임씩 생성된다)와 원화상 축적 메모리(113)에 축적된 화상 간의 평균 제곱 오차 Y를 계산한다. 이 때, 화상 A 축적 메모리(104)의 화상만을 사용하는 경우의 평균 제곱 오차를 Ya로 하고, 화상 B 축적 메모리(108)의 화상만을 사용하는 경우의 평균 제곱 오차를 Yb로 하고, 화상 A 축적 메모리(104)의 화상과 화상 B 축적 메모리(108)의 화상 모두를 사용하는 경우 의 평균 제곱 오차를 Yc로 한다.

또한 GOP 부호화 결정부(117)는, GOP 내 화상 부호화부(110)에서 부호화되어 화상 C 복호부(111)에서 복호되어 복호 화상 축적 메모리(112)에 축적된 복호 화상 중 현 GOP의 복호 화상과 원화상 축적 메모리(113)에 축적된 대응하는 화상 간의 평균 제곱 오차 D를 계산한다.

또한 GOP 부호화 결정부(117)는, 복호 화상 메모리(112)에 전(前) GOP의 화상이 축적되어 있는 경우에는, 화상 생성 방법 Z로 생성되는 2프레임분의 화상 정보(1프레임씩 생성된다)와 원화상 축적 메모리(113)에 축적된 화상 간의 평균 제곱 오차 Z를 계산한다.

그리고,GOP 부호화 결정부(117)는, 이와 같이 하여 산출한 평균 제곱 오차 Xa와 Xb와 Xc와 Ya와 Yb와 Yc와 D, 혹은 평균 제곱 오차 Xa와 Xb와 Xc와 Ya와 Yb와 Yc와 D와 Z를 비교하여 가장 값이 적은 경우의 조건을, 그 GOP의 부호화 정보(GOP 부호화 유무 정보/생성 참조 GOP를 지정하는 정보/화상 생성 방법을 지정하는 정보로 구성된다)로서 결정한다. 즉, 다음과 같이 결정한다.

더우기, 이하에서는, "부호화 데이터"와 "부호화 정보"를 명확하게 구별하고 있으며, "부호화 데이터"로 기재하는 경우에는, 화상을 부호화했을 때의 데이터를 나타내고 있다.

(1) 평균 제곱 오차 Xa가 가장 적은 경우

Xa가 가장 적은 경우에는, 화상 생성 방법으로서 X를 지정하고, 생성 참조 GOP로서 화상 A의 GOP를 지정한다.

이 때, GOP 부호화 유무 정보 부호화부(118)는, 부호화 데이터를 출력하지 않는 것을 도시한 바와 같이 GOP 부호화 유무 정보를 부호화한다. 또 생성 참조 GOP 부호화부(115)는 사용한 GOP의 번호를 부호화한다. 또 생성 정보 부호화부(116)는 화상 생성 방법 X를 지정하는 정보를 부호화한다.

(2) 평균 제곱 오차 Xb가 가장 적은 경우

Xb가 가장 적은 경우에는, 화상 생성 방법으로서 X를 지정하고, 생성 참조 GOP로서 화상 B의 GOP를 지정한다.

이 때, GOP 부호화 유무 정보 부호화부(118)는 부호화 데이터를 출력하지 않는 것을 도시한 바와 같이 GOP 부호화 유무 정보를 부호화한다. 또 생성 참조 GOP 부호화부(115)는, 사용한 GOP의 번호를 부호화한다. 또 생성 정보 부호화부(116)는 화상 생성 방법 X를 지정하는 정보를 부호화한다.

(3) 평균 제곱 오차 Xc가 가장 적은 경우

Xc가 가장 적은 경우에는, 화상 생성 방법으로서 X를 지정하고, 생성 참조 GOP로서 화상 A와 화상 B의 GOP를 지정한다.

이 때, GOP 부호화 유무 정보 부호화부(118)는 부호화 데이터를 출력하지 않는 것을 도시한 바와 같이 GOP 부호화 유무 정보를 부호화한다. 또 생성 참조 GOP 부호화부(115)는 사용한 GOP의 번호를 부호화한다. 또 생성 정보 부호화부(116)는 화상 생성 방법 X를 지정하는 정보를 부호화한다.

(4) 평균 제곱 오차 Ya가 가장 적은 경우

Ya가 가장 적은 경우에는, 화상 생성 방법으로서 Y를 지정하고, 생성 참조 GOP로서 화상 A의 GOP를 지정한다.

이 때, GOP 부호화 유무 정보 부호화부(118)는 부호화 데이터를 출력하지 않는 것을 도시한 바와 같이 GOP 부호화 유무 정보를 부호화한다. 또 생성 참조 GOP 부호화부(115)는 사용한 GOP의 번호를 부호화한다. 또 생성 정보 부호화부(116)는 화상 생성 방법 Y를 지정하는 정보를 부호화한다.

(5) 평균 제곱 오차 Yb가 가장 적은 경우

Yb가 가장 적은 경우에는 화상 생성 방법으로서 Y를 지정하고, 생성 참조 GOP로서 화상 B의 GOP를 지정한다.

이 때, GOP 부호화 유무 정보 부호화부(118)는, 부호화 데이터를 출력하지 않는 것을 도시한 바와 같이 GOP 부호화 유무 정보를 부호화한다. 또 생성 참조 GOP 부호화부(115)는 사용한 GOP의 번호를 부호화한다. 또 생성 정보 부호화부(116)는 화상 생성 방법 Y를 지정하는 정보를 부호화한다.

(6) 평균 제곱 오차 Yc가 가장 적은 경우

Yc가 가장 적은 경우에는, 화상 생성 방법으로서 Y를 지정하고, 생성 참조 GOP로서 화상 A와 화상 B의 GOP를 지정한다.

(7) 평균 제곱 오차 Z가 가장 적은 경우

Z가 가장 적은 경우에는, 화상 생성 방법으로서 Z를 지정하고, 생성 참조 GOP로서 화상 C의 GOP를 지정한다.

이 때, GOP 부호화 유무 정보 부호화부(118)는 부호화 데이터를 출력하지 않는 것을 도시한 바와 같이 GOP 부호화 유무 정보를 부호화한다. 또 생성 참조 GOP 부호화부(115)는 사용한 GOP의 번호를 부호화한다.

여기에서 상술한 바와 같이, 화상을 생성할 때에 사용하는 화상으로서 C의 과거의 화상을 선택하는 경우에는, 화상 생성 방법은 Z로 일의적으로 정해지기 때문에 생성 정보 부호화부(116)는 화상 생성 방법을 지정하는 정보를 부호화할 필요가 없다.

(8) 평균 제곱 오차 D가 가장 적은 경우

D가 가장 적은 경우에는, GOP 내 화상 부호화부(110)에서 부호화된 부호화 데이터를 출력한다.

이 때, GOP 부호화 유무 정보 부호화부(118)는 부호화 데이터를 출력하는 것을 도시한 바와 같이 GOP 부호화 유무 정보를 부호화하고, GOP 내 화상 부호화부(110)는 부호화된 부호화 데이터를 출력한다.

즉 상기 (1)∼(7)의 경우에는 화상 재생측에서 카메라 영상(C)의 화상을, 그 화상 데이터를 사용하지 않아도 생성할 수 있다고 판정되고, (8)의 경우에는, 그 화상 데이터를 사용하지 않으면 해당 화상을 생성할 수 없다고 판정된다.

이와 같은 전제하에서 본 발명의 영상 부호화 장치는 카메라 입력 영상을 다음과 같이 부호화된다.

(i) 시각 T1,T2에서의 부호화 처리

우선, 시각 T1과 T2에서 화상 A와 화상 B를 부호화한다.

화상 A에 관해서는, 화상 A 입력부(101)에서 화상을 입력하고, 화상 A 부호화부(102)는 화상을 부호화하고, 화상 A 복호부(103)는 부호화 데이터를 복호하고, 화상 A 축적 메모리(104)는 복호 화상을 축적한다. 이것을 T1과 T2의 화상에 대해 실행한다. 화상 A 축적 메모리(104)에는 T1과 T2에서의 화상이 축적된다.

화상 B에 관해서는, 화상 B 입력부(105)로 화상을 입력하고, 화상 B 부호화부(106)은 화상을 부호화하고, 화상 B 복호부(107)은 부호화 데이터를 복호하고, 화상 B 축적 메모리(108)는 복호 화상을 축적한다. 이것을 T1과 T2의 화상에 대해 실행한다. 화상 B 축적 메모리(108)에는 T1과 T2에서의 화상이 축적된다.

계속해서, 화상 C 입력부(109)는 화상 C를 입력하고, 원화상 축적 메모리(113)는 입력된 화상을 축적한다. GOP 내 화상 부호화부(110)는 T1과 T2의 화상을 부호화하고, 화상 C 복호부(111)는 부호화 데이터를 복호한 복호 화상을 복호 화상 축적 메모리(112)에 축적한다.

계속해서, 화상 생성부(114)는 화상 A 축적 메모리(104)에 축적된 화상과, 화상 B 축적 메모리(108)에 축적된 화상에 대해 화상 생성 방법 X 및 화상 생성 방법 Y를 각각 적용하여 화상을 생성한다. 더우기, 전(前)프레임이 존재하지 않기 때문에, 이 시점에서는 화상 생성 방법 Z를 적용하여 화상을 생성할 수 없다.

이러한 처리를 받아 GOP 부호화 결정부(117)는 화상 생성부(114)에 생성된 화상과, 복호 화상 축적 메모리(112)에 축적된 화상을 사용하여 평균 제곱 오차 Xa 와 Xb와 Xc와 Ya와 Yb와 Yc와 D를 구한다(더우기, 이 시점에서는 평균 제곱 오차 Z에 관해서는 구할 수 없다). 그리고 이들로부터 상술한 (1)∼(8)의 논리에 따라서 GOP의 부호화 정보를 결정한다.

그리고, 본 발명의 영상 부호화 장치는 결정한 GOP의 부호화 정보에 기초하여 부호화 유무 정보를 부호화하여 출력함과 동시에 부호화 데이터를 출력하거나, 생성 참조 GOP의 번호 및 화상 생성 방법을 나타내는 정보를 부호화하여 출력한다. 단, 화상 생성 방법 Z가 사용되는 경우에는 화상 생성 방법을 나타내는 정보에 관해서는 부호화할 필요가 없다(더우기, 이 시점에서는 화상 생성 방법 Z가 사용되지 않는다).

여기에서 복호 화상 축적 메모리(112)는 GOP 내 화상 부호화부(110)로부터 부호화 데이터가 출력되는 경우에는, 화상 C 복호부(111)에서 얻어지는 복호 화상을 계속 축적한다. 한편 GOP 내 화상 부호화부(110)로부터 부호화 데이터가 출력되지 않는 경우에는, 축적되어 있는 T1과 T2의 복호 화상을 폐기하여 화상 생성부(114)에서 생성되는 화상 중 GOP 부호화 결정부(117)에서 결정된 GOP의 부호화 정보에 대응하는 화상(즉, 선택된 생성 방법에 의해 생성된 화상)을 축적한다.

(ii) 시각 T3,T4에서의 부호화 처리

계속해서, 시각 T3과 T4에서, 시각 T1과 T2와 동일한 처리를 하여 화상 A와 화상 B를 부호화한다.

화상 A 축적 메모리(104)와 화상 B 축적 메모리(108)에 축적되어 있던 복호 화상은 가장 오래된 것부터 폐기하고 새로 복호된 화상을 축적한다. 이로써 각 메 모리에는 T3과 T4의 복호 화상이 축적된다.

계속해서, 화상 C 입력부(109)는 화상 C를 입력하고, 원화상 축적 메모리(113)는 입력된 화상을 축적한다. 이 때, 원화상 축적 메모리(113)에 축적되어 있던 원화상은 가장 오래된 것부터 폐기하고 새로 입력된 화상을 축적한다. 이로써 원화상 축적 메모리(113)에는 T3과 T4의 원화상이 축적된다.

계속해서, GOP 내 화상 부호화부(110)는 T3과 T4의 화상을 부호화하고, 화상 C 복호부(111)은 부호화 데이터를 복호한 복호 화상을 복호 화상 축적 메모리(112)에 축적한다. 이 때, 복호 화상 축적 메모리(112)에 축적되어 있던 복호 화상은, 가장 오래된 것부터 폐기하고, 새로 복호된 화상을 축적한다. 이로써 복호 화상 축적 메모리(112)에는 T2와 T3과 T4의 복호 화상이 축적된다.

계속해서, 화상 생성부(114)는 화상 A 축적 메모리(104)에 축적된 화상과, 화상 B 축적 메모리(108)에 축적된 화상에 대해 화상 생성 방법 X 및 화상 생성 방법 Y를 적용하여 각각 화상을 생성한다. 또한 복호 화상 축적 메모리(112)에 축적된 T2의 화상에 대해 화상 생성 방법 Z를 적용하여 화상을 생성한다.

이들 처리를 받아 GOP 부호화 결정부(117)는 화상 생성부(114)에 생성된 화상과, 복호 화상 축적 메모리(112)에 축적된 화상을 사용하여 평균 제곱 오차 Xa와 Xb와 Xc와 Ya와 Yb와 Yc와 D와 Z를 구한다.그리고, 이들로부터 상술한 (1)∼(8)의 논리에 따라서 GOP의 부호화 정보를 결정한다.

그리고, 본 발명의 영상 부호화 장치는, 결정한 GOP의 부호화 정보에 기초하여 부호화 유무 정보를 부호화하여 출력함과 동시에 부호화 데이터를 출력하거나, 생성 참조 GOP의 번호 및 화상 생성 방법을 나타내는 정보를 부호화하여 출력한다. 단, 화상 생성 방법 Z가 선택되는 경우에는 화상 생성 방법을 나타내는 정보에 관해서는 부호화할 필요가 없다.

여기에서, 복호 화상 축적 메모리(112)는 GOP 내 화상 부호화부(100)로부터 부호화 데이터가 출력되는 경우에는, 화상 C 복호부(111)에서 얻어지는 복호 화상을 계속 축적한다. 한편, GOP 내 화상 부호화부(110)로부터 부호화 데이터가 출력되지 않는 경우에는, 축적되어 있는 T3과 T4의 복호 화상을 폐기하여 화상 생성부(114)에 생성되는 화상 중 GOP 부호화 결정부(117)에서 결정된 부호화 정보에 대응하는 화상을 축적한다.

[I-2] 제1 실시형태예를 실현하는 본 발명의 영상 복호 장치

다음으로, 제1 실시형태예를 실현하는 본 발명의 영상 복호 장치에 대해서 설명한다.

도 3에, 제1 실시형태예를 실현하는 본 발명의 영상 복호 장치의 장치 구성의 일례를 도시한다.

이 도면에 도시한 바와 같이, 본 발명의 영상 복호 장치는,

(가) 화상 A(카메라 입력 영상 A)에 대해, 화상을 복호하는 화상 A 복호부(201)와, 화상 A 복호부(201)의 복호된 화상을 축적하는 화상 A 축적 메모리(202)를 구비하고,

(나) 화상 B(카메라 입력 영상 B)에 대해, 화상을 복호하는 화상 B 복호부(203)와, 화상 B 복호부(203)의 복호된 화상을 축적하는 화상 B 축적 메모 리(204)를 구비하고,

(다) 화상 C(카메라 입력 영상 C)에 대해, 화상을 복호하는 GOP 내 화상 복호부(205)와, GOP 내 화상 복호부(205)의 복호된 화상을 축적하는 복호 화상 축적 메모리(206)과, 화상 C를 생성하는 화상 생성부(207)와, 화상 C를 생성할 때에 사용하는 GOP를 지정하는 정보(구체적로는 GOP의 번호)를 복호하는 생성 참조 GOP 복호부(208)와, 화상 C의 생성에 사용되는 화상 생성 방법을 지정하는 정보를 복호하는 생성 정보 복호부(209)와, GOP의 화상을 복호할지 여부를 지정하는 정보를 복호하는 GOP 부호화 유무 정보 복호부(210)를 구비한다.

화상 생성부(207)와 생성 참조 GOP 복호부(208)와 생성 정보 복호부(209)는 GOP의 부호화 데이터를 복호하지 않는 경우, 다음과 같이 동작한다.

우선, 생성 참조 GOP 복호부(208)는, 화상 생성에 사용하는 GOP의 번호를 복호하여 얻는다. GOP의 번호가 입력 화상 A 또는 B에 속하는 경우에는, 계속해서 생성 정보 복호부(209)는 화상 생성 방법을 지정하는 정보를 복호하고, 화상 생성 방법의 정보로서 X 또는 Y를 얻는다. 한편, GOP의 번호가 입력 화상 C에 속하는 경우에는 생성 정보 복호부(209)는 화상 생성 방법을 지정하는 정보를 복호하지 않는다.

계속해서 화상 생성부(207)는, 생성 참조 GOP 복호부(208)에서 얻어진 GOP 번호와, 생성 정보 복호부(209)에서 얻어진 화상 생성 방법의 정보가 규정하는 화상 생성 방법을 사용하여 화상을 생성한다. 여기에서 GOP의 번호가 입력 화상 C에 속하는 경우에는 화상 생성부(207)는 화상 생성 방법으로서 Z를 사용한다.

이와 같은 전제하에 본 발명의 영상 복호 장치는, 본 발명의 영상 부호화 장치로부터 출력되는 부호화 데이터를 다음과 같이 복호한다.

(i) 시각 T1,T2에서의 복호 처리

우선, 시각 T1과 T2에서 화상 A와 화상 B를 복호한다.

화상 A에 관해서는, 화상 A 복호부(201)는 부호화 데이터를 복호하고, 화상 A 축적 메모리(202)는 복호 화상을 축적한다. 이것을 T1과 T2의 화상에 대해 실행한다. 화상 A 축적 메모리(202)에는 T1과 T2에서의 화상이 축적된다.

화상 B에 관해서는, 화상 B 복호부(203)는 부호화 데이터를 복호하고, 화상 B 축적 메모리(204)는 복호 화상을 축적한다. 이것을 T1과 T2의 화상에 대해 실행한다. 화상 B 축적 메모리(204)에는 T1과 T2에서의 화상이 축적된다.

계속해서 화상 C에 대해서, GOP 부호화 유무 정보 복호부(210)는, GOP의 부호화 데이터를 복호할지 여부를 지정하는 정보를 복호한다. 이 정보에 기초하여 다음 어느 한 처리를 실행한다.

즉, GOP 부호화 유무 정보 복호부(210)가 GOP의 부호화 데이터의 복호를 지시하는 정보를 복호하는 경우에는, GOP 내 화상 복호부(205)는 부호화 데이터를 복호하여 화상을 출력하고, 또한 그 복호된 화상을 복호 화상 축적 메모리(206)에 축적한다.

한편, GOP 부호화 유무 정보 복호부(210)가 GOP의 부호화 데이터의 복호를 지시하지 않는 정보를 복호하는 경우에는, 생성 참조 GOP 복호부(208)는 화상 생성에 사용하는 GOP의 번호를 복호하여 얻는다. GOP의 번호가 입력 화상 A 또는 B에 속하기 때문에(전프레임이 존재하지 않기 때문에, 이 시점에서는 입력 화상 C에 속하지 않는다), 계속해서 생성 정보 복호부(209)는, 화상 생성 방법을 지정하는 정보를 복호하고, 화상 생성 방법의 정보로서 X 또는 Y를 얻는다. 이것을 받아서 화상 생성부(207)는 생성 참조 GOP 복호부(208)에서 얻어진 GOP 번호와, 생성 정보 복호부(209)에서 얻어진 화상 생성 방법의 정보가 규정하는 화상 생성 방법을 사용하여 화상을 생성한다.

복호 화상 축적 메모리(206)는 GOP의 부호화 데이터를 복호하는 경우에는 복호 화상을 축적하고, GOP의 부호화 데이터를 복호하지 않는 경우에는 화상 생성부(207)에서 생성되는 화상을 축적한다.

(ii) 시각 T3,T4에서의 복호 처리

계속해서 시각 T3과 T4에서, 시각 T1과 T2와 동일한 처리를 하고, 화상 A와 화상 B를 복호하고, 화상 A에 관해서는 화상 A 축적 메모리(202)에 복호 화상을 축적하고, 화상 B에 관해서는 화상 B 축적 메모리(204)에 복호 화상을 축적한다.

계속해서, 화상 C에 대해서 GOP 부호화 유무 정보 복호부(210)는 GOP의 부호화 데이터를 복호할지 여부를 지정하는 정보를 복호한다. 이 정보에 기초하여 다음 중 어느 한 처리를 실행한다.

한편, GOP 부호화 유무 정보 복호부(210)가 GOP의 부호화 데이터의 복호를 지시하지 않는 정보를 복호하는 경우에는, 생성 참조 GOP 복호부(208)는 화상 생성에 사용하는 GOP의 번호를 복호하여 얻는다. GOP의 번호가 입력 화상 A 또는 B에 속하는 경우에는, 계속해서 생성 정보 복호부(209)는 화상 생성 방법을 지정하는 정보를 복호하고, 화상 생성 방법의 정보로서 X 또는 Y를 얻는다. 한편, GOP의 번호가 입력 화상 C에 속하는 경우에는, 생성 정보 복호부(209)는 화상 생성 방법 Z가 사용되고 있는 것을 특정할 수 있기 때문에, 화상 생성 방법을 지정하는 정보를 복호하지 않는다. 이것을 받아 화상 생성부(207)는 생성 참조 GOP 복호부(208)에서 얻어진 GOP 번호와, 생성 정보 복호부(209)에서 얻어진 화상 생성 방법의 정보가 규정하는 화상 생성 방법을 사용하여 화상을 생성한다. 이 때, GOP의 번호가 입력 화상 C에 속하는 경우에는 화상 생성 방법 Z를 사용한다.

복호 화상 축적 메모리(206)는 GOP의 부호화 데이터를 복호하는 경우에는 T1,T2의 화상을 폐기하여 복호 화상을 축적하고, GOP의 부호화 데이터를 복호하지 않는 경우에는 T1,T2의 화상을 폐기하여 화상 생성부(207)에 생성되는 화상을 축적한다.

이상에 의해 본 발명의 영상 부호화 장치는 T1과 T2와 T3과 T4의 화상을 부호화하고, 한편 본 발명의 영상 복호 장치는 부호화 데이터를 복호, 또는 화상을 생성함으로써 같은 시각의 화상을 얻을 수 있다.

〔Ⅱ〕 제2 실시형태예

다음으로, 제2 실시형태예에 대해서 설명한다.

제1 실시형태예에서는, GOP는 2프레임으로서 사전에 결정해 놓았으나, GOP를 프레임마다 별도로 할지 여부를 적응적으로 결정해도 좋다. 제2 실시형태예는 이 구성을 실현하는 것이다.

도 4에, 제2 실시형태예를 실현하는 본 발명의 영상 부호화 장치의 장치 구성의 일례를 도시한다. 여기에서 도면 중에 도 2에 설명한 것과 동일한 것에 관해서는 동일한 기호로 도시했다.

제1 실시형태예와의 차이는, GOP의 부호화 정보를 축적하는 GOP 정보 축적 메모리(119)를 구비하는 것이다. 또 GOP 헤더/부호화 유무 정보 부호화부(1180)는, 부호화 유무 정보의 부호화에 덧붙여 GOP의 선두에 GOP 헤더를 부호화하는 처리를 한다. GOP 헤더는 고유의 비트 패턴으로 구성되는 고정 길이의 부호이다.

제2 실시형태예를 실현하는 본 발명의 영상 복호 장치의 장치 구성(도 6에 도시한)은, 도 3에 도시한 제1 실시형태예와 동일하다. 단, GOP 헤더/부호화 유무 정보 복호부(2100)는 각 프레임에서 GOP 헤더의 유무를 체크하고, GOP 헤더가 검출되면 별도의 (독립된) GOP로서 복호 처리를 한다.

[Ⅱ-1〕 제2 실시형태예에서의 부호화 처리

제2 실시형태예에서의 카메라 입력 영상 A와 B와 C의 부호화 방법은 다음과 같다.

우선, 시각 T1과 T2의 화상 A와 B에 대해서, 제1 실시형태예와 같이 화상을 부호화하여 복호 화상을 얻는다. 화상 A 축적 메모리(104)와 화상 B 축적 메모리(108)에는 T1과 T2의 복호 화상이 축적된다.

즉, 화상 A에 관해서는, 화상 A 입력부(101)에서 화상을 입력하여 화상 A 부호화부(102)는 화상을 부호화하고, 화상 A 복호부(103)은 부호화 데이터를 복호하고, 화상 A 축적 메모리(104)는 복호 화상을 축적한다. 이것을 T1과 T2의 화상에 대해 실행한다. 화상 A 축적 메모리(104)에는 T1과 T2에서의 화상이 축적된다.

또 화상 B에 관해서는, 화상 B 입력부(105)에서 화상을 입력하여, 화상 B 부호화부(106)는 화상을 부호화하고, 화상 B 복호부(107)은 부호화 데이터를 복호하고, 화상 B 축적 메모리(108)은 복호 화상을 축적한다. 이것을 T1과 T2의 화상에 대해 실행한다. 화상 B 축적 메모리(108)에는 T1과 T2에서의 화상이 축적된다.

(i) 시각 T1에서의 화상 C의 부호화 처리

계속해서, 시각 T1의 화상 C에 대해서, 우선 화상 C 입력부(109)는 화상을 입력하고, 원화상 축적 메모리(113)는 입력된 화상을 축적한다. GOP 내 화상 부호화부(110)는 시각 T1의 화상을 부호화하고, 화상 C 복호부(111)는 부호화 데이터를 복호한 복호 화상을 복호 화상 축적 메모리(112)에 축적한다.

계속해서, 화상 생성부(114)는 화상 A 축적 메모리(104)에 축적된 화상과, 화상 B 축적 메모리(108)에 축적된 화상에 대해, 화상 생성 방법 X 및 화상 생성 방법 Y를 각각 적용하여 시각 T1의 화상을 생성한다. 더우기, 전프레임이 존재하지 않기 때문에, 이 시점에서는 화상 생성 방법 Z를 적용하여 화상을 생성할 수 없다.

이러한 처리를 받아 GOP 부호화 결정부(117)는 화상 생성부(114)에서 생성된 화상과, 복호 화상 축적 메모리(112)에서 축적된 화상을 사용하여, 평균 제곱 오차 Xa와 Xb와 Xc와 Ya와 Yb와 Yc와 D를 구한다(더우기, 이 시점에서는 평균 제곱 오차 Z에 관해서는 구할 수 없다). 그리고 이들로부터 상술한 (1)∼(8)의 논리에 따라서 GOP의 부호화 정보를 결정한다.

그리고 GOP 부호화 결정부(117)는 결정한 GOP의 부호화 정보를 GOP 정보 축적 메모리(119)에 축적하고, GOP 부호화 유무 정보 부호화부(1180)는 GOP 헤더를 부호화하여 출력한다.

그리고, 본 발명의 영상 부호화 장치는 결정한 GOP의 부호화 정보에 기초하여 부호화 유무 정보를 부호화하여 출력함과 동시에 부호화 데이터를 출력하거나, 생성 참조 GOP의 번호 및 화상 생성 방법을 나타내는 정보를 부호화하여 출력한다. 단, 화상 생성 방법 Z가 사용되는 경우에는, 화상 생성 방법을 나타내는 정보에 관해서는 부호화할 필요가 없다(더우기, 이 시점에서는 화상 생성 방법 Z가 사용되지 않는다).

여기에서 복호 화상 축적 메모리(112)는 GOP 내 화상 부호화부(110)로부터 부호화 데이터가 출력되는 경우에는, 화상 C 복호부(111)에서 얻어지는 복호 화상을 계속 축적한다. 한편, GOP 내 화상 부호화부(110)로부터 부호화 데이터가 출력되지 않는 경우에는, 축적되어 있는 T1의 복호 화상을 폐기하여, 화상 생성부(114)에 생성되는 화상 중 GOP 부호화 결정부(117)에서 결정된 GOP의 부호화 정보에 대응하는 화상을 축적한다.

(ii) 시각 T2에서의 화상 C의 부호화 처리

계속해서 시각 T2의 화상 C에 대해서, 우선 화상 C 입력부(109)는 화상을 입력하고, 원화상 축적 메모리(113)는 입력된 화상을 축적한다. GOP 내 화상 부호화 부(110)는 시각 T2의 화상을 부호화하고, 화상 C 복호부(111)은 부호화 데이터를 복호하여 복호 화상을 복호 화상 축적 메모리(112)에 축적한다.

계속해서, 화상 생성부(114)는 화상 A 축적 메모리(104)에 축적된 화상과, 화상 B 축적 메모리(108)에 축적된 화상에 대해, 화상 생성 방법 X 및 화상 생성 방법 Y를 각각 적용하여 시각 T2의 화상을 생성한다. 또한 복호 화상 축적 메모리(112)에 축적된 화상에 대해 화상 생성 방법 Z를 적용하여 시각 T2의 화상을 생성한다.

이들 처리를 받아 GOP 부호화 결정부(117)는 화상 생성부(114)에 생성된 화상과, 복호 화상 축적 메모리(112)에 축적된 화상을 사용하여 평균 제곱 오차 Xa와 Xb와 Xc와 Ya와 Yb와 Yc와 D와 Z를 구한다. 그리고, 이들로부터 상술한 (1)∼(8)의 논리에 따라서 GOP의 부호화 정보를 결정한다.

계속해서, GOP 부호화 결정부(117)는 여기에서 결정한 GOP의 부호화 정보와, GOP 정보 축적 메모리(119)에 축적되어 있는 GOP의 부호화 정보를 비교하고, 양자의 GOP의 부호화 정보가 다른 경우에는 다른 GOP로서 화상을 부호화하는 것을 결정하고, 양자의 GOP의 부호화 정보가 같은 경우에는 같은 GOP로서 화상을 부호화하는 것을 결정한다.

그리고 GOP 부호화 결정부(117)는 결정한 GOP의 부호화 정보를 GOP 정보 축적 메모리(119)에 축적한다. 이후에는 구체적로는 다음과 같이 동작한다.

(ii-1) 다른 GOP로서 부호화하는 경우

다른 GOP로서 부호화하는 경우에는, GOP 헤더/부호화 유무 정보 부호화 부(1180)는 GOP 헤더를 부호화하여 출력한다. 그리고 본 발명의 영상 부호화 장치는, 결정한 GOP의 부호화 정보에 기초하여 부호화 유무 정보를 부호화하여 출력함과 동시에 부호화 데이터를 출력하거나, 생성 참조 GOP의 번호 및 화상 생성 방법을 나타내는 정보를 부호화하여 출력한다. 단, 화상 생성 방법 Z가 사용되고 있는 경우에는, 화상 생성 방법을 나타내는 정보에 관해서는 부호화할 필요가 없다.

여기에서, 복호 화상 축적 메모리(112)는 GOP 내 화상 부호화부(110)로부터 부호화 데이터가 출력되는 경우에는, 화상 C 복호부(111)에서 얻어지는 복호 화상을 축적하는 것을 계속한다. 한편, GOP 내 화상 부호화부(110)로부터 부호화 데이터가 출력되지 않는 경우에는 축적되어 있는 T2의 복호 화상을 폐기하여, 화상 생성부(114)에 생성되는 화상 중 GOP 부호화 결정부(117)에서 결정된 GOP의 부호화 정보에 대응하는 화상을 축적한다.

(ii-2) 같은 GOP로서 부호화하는 경우

같은 GOP로서 부호화하는 경우에, GOP 내 화상 부호화부(110)로부터 부호화 데이터를 출력하는 경우에는, 그 프레임의 부호화 데이터를 출력하고, 한편 GOP 내 화상 부호화부(110)로부터 부호화 데이터를 출력하지 않는 경우에는 복호측에 통지 완료된 하나 전의 시각의 T1에서의 GOP의 부호화 정보에 의해 복호측에서 화상 생성 방법을 특정할 수 있기 때문에 아무것도 출력하지 않는다.

여기에서 복호 화상 축적 메모리(112)는 GOP 내 화상 부호화부(110)로부터 부호화 데이터가 출력되는 경우에는, 화상 C 복호부(111)에서 얻어지는 복호 화상을 계속 축적한다. 한편, GOP 내 화상 부호화부(110)로부터 부호화 데이터가 출력 되지 않는 경우에는 축적되어 있는 T2의 복호 화상을 폐기하여 화상 생성부(114)에서 생성되는 화상 중 GOP 부호화 결정부(117)에서 결정된 부호화 정보에 대응하는 화상을 축적한다.

[Ⅱ-2〕 제2 실시형태예에서의 복호 처리

이것에 대응하는 제2 실시형태예에서의 복호 처리는 다음과 같이 동작한다.

우선, 시각 T1과 T2의 화상 A와 B에 대해서, 제1 실시형태예와 같이 화상을 복호하여 복호 화상을 얻는다. 화상 A 축적 메모리(202)와 화상 B 축적 메모리(204)에는 T1과 T2의 복호 화상이 축적된다.

즉, 화상 A에 관해서는 화상 A 복호부(201)는 부호화 데이터를 복호하고, 화상 A 축적 메모리(202)는 복호 화상을 축적한다. 이것을 T1과 T2의 화상에 대해 실행한다. 화상 A 축적 메모리(202)에는 T1과 T2에서의 화상이 축적된다.

또 화상 B에 관해서는, 화상 B 복호부(203)는 부호화 데이터를 복호하고, 화상 B 축적 메모리(204)는 복호 화상을 축적한다. 이것을 T1과 T2의 화상에 대해 실행한다. 화상 B 축적 메모리(204)에는 T1과 T2에서의 화상이 축적된다.

(i) 시각 T1에서의 화상 C의 복호 처리

계속해서 시각 T1의 화상 C에 대해서 GOP 헤더/부호화 유무 정보 복호부(2100)는 GOP 헤더의 유무를 체크한다. GOP 헤더가 있기 때문에 GOP 헤더/부호화 유무 정보 복호부(2100)는 계속해서 GOP의 부호화 데이터를 복호할지 여부를 지정하는 정보(부호화 유무 정보)를 복호한다. 이 정보에 기초하여 다음 중 어느 한 처리를 실행한다.

즉, GOP 헤더/부호화 유무 정보 복호부(2100)가 GOP의 부호화 데이터의 복호를 지시하는 정보를 복호하는 경우에는, GOP 내 화상 복호부(205)는 부호화 데이터를 복호하여 화상을 출력하고 또한 그 복호된 화상을 복호 화상 축적 메모리(206)에 축적한다.

한편 GOP 헤더/부호화 유무 정보 복호부(2100)가 GOP의 부호화 데이터의 복호를 지시하지 않는 정보를 복호하는 경우에는, 생성 참조 GOP 복호부(208)는 화상 생성에 사용하는 GOP의 번호를 복호하여 얻는다. GOP의 번호가 입력 화상 A 또는 B에 속하기 때문에(선두 프레임이기 때문에, 이 시점에서는 입력 화상 C에 속하지 않는다), 계속해서 생성 정보 복호부(209)는 화상 생성 방법을 지정하는 정보를 복호하고, 화상 생성 방법의 정보로서 X 또는 Y를 얻는다. 이것을 받아 화상 생성부(207)는 생성 참조 GOP 복호부(208)에서 얻어진 GOP 번호와, 생성 정보 복호부(209)에서 얻어진 화상 생성 방법의 정보가 규정하는 화상 생성 방법을 사용하여 화상을 생성한다.

이것을 받아, 복호 화상 축적 메모리(206)는 GOP의 부호화 데이터를 복호하는 경우에는 복호 화상을 축적하고, GOP의 부호화 데이터를 복호하지 않는 경우에는 화상 생성부(207)에 생성되는 화상을 축적한다.

(ii) 시각 T2에서의 화상 C의 복호 처리

(ii-1) GOP 헤더가 검출되는 경우의 복호 처리(GOP의 부호화 정보가 부호화되어 있는 경우)

계속해서, 시각 T2의 화상 C에 대해서 GOP 헤더/부호화 유무 정보 복호 부(2100)는 GOP 헤더의 유무를 체크한다. GOP 헤더를 검출하는 경우에는, 또한 GOP의 부호화 데이터를 복호할지 여부를 지정하는 정보를 복호한다. 이 정보에 기초하여 다음 중 한 처리를 실행한다.

즉, GOP 헤더/부호화 유무 정보 복호부(2100)가 GOP의 부호화 데이터의 복호를 지시하는 정보를 복호하는 경우에는, GOP 내 화상 복호부(205)는 부호화 데이터를 복호하여 화상을 출력하고, 또한 그 복호된 화상을 복호 화상 축적 메모리(206)에 축적한다.

한편, GOP 헤더/부호화 유무 정보 복호부(2100)가 GOP의 부호화 데이터의 복호를 지시하지 않는 정보를 복호하는 경우에는, 생성 참조 GOP 복호부(208)는 화상 생성에 사용하는 GOP의 번호를 복호하여 얻는다. GOP의 번호가 입력 화상 A 또는 B에 속하는 경우는, 계속해서 생성 정보 복호부(209)는 화상 생성 방법을 지정하는 정보를 복호하고, 화상 생성 방법의 정보로서 X 또는 Y를 얻는다. GOP의 번호가 입력 화상 C에 속하는 경우에는 생성 정보 복호부(209)는 화상 생성 방법 Z가 사용되고 있는 것을 특정할 수 있기 때문에 화상 생성 방법을 지정하는 정보를 복호하지 않는다. 이것을 받아서 화상 생성부(207)는 생성 참조 GOP 복호부(208)에서 얻어진 GOP 번호와, 생성 정보 복호부(209)에서 얻어진 화상 생성 방법의 정보가 규정하는 화상 생성 방법을 사용하여 화상을 생성한다. GOP의 번호가 입력 화상 C에 속하는 경우에는 화상 생성 방법 Z를 사용한다.

이것을 받아 복호 화상 축적 메모리(206)는 GOP의 부호화 데이터를 복호하는 경우에는 복호 화상을 축적하고, GOP의 부호화 데이터를 복호하지 않는 경우에는 화상 생성부(207)에 생성되는 화상을 축적한다.

(ii-2) GOP 헤더가 검출되지 않는 경우의 복호 처리(GOP의 부호화 정보가 부호화되어 있지 않은 경우)

GOP 헤더/부호화 유무 정보 복호부(2100)가 GOP 헤더를 검출하지 않는 경우에는 다음과 같이 동작한다.

즉, 전프레임에서 부호화 데이터를 복호한 경우에는, GOP 내 화상 복호부(205)는 현프레임에서 부호화 데이터를 복호하여 화상을 출력하고, 또한 그 복호된 화상을 복호 화상 축적 메모리(206)에 축적한다.

한편, 전프레임에서 부호화 데이터를 복호하지 않은 경우에는, 현프레임에서 전프레임에서의 GOP의 부호화 정보와 동일한 GOP의 부호화 정보가 사용되어 있는 것에 대응하여 생성 참조 GOP 복호부(208)가 전프레임에서 얻은 GOP의 번호를 복호 처리에 사용한다. 이 경우, GOP의 번호가 입력 화상 A 또는 B에 속하는 경우에는, 생성 정보 복호부(209)가 전프레임에서 화상 생성 방법을 지정하는 정보로서 X 또는 Y를 얻었기 때문에, 그것을 사용하여 복호 처리를 한다. 더우기, 여기에서는 전프레임은 선두 프레임이기 때문에, GOP의 번호가 입력 화상 C에 속하지 않지만, GOP 헤더가 검출되지 않는 경우의 일반의 복호 처리로서, GOP의 번호가 입력 화상 C에 속하는 경우에는 생성 정보 복호부(209)가 전프레임에서 화상 생성 방법을 지정하는 정보를 복호하지 않음으로써 화상 생성 방법을 지정하는 정보로서 Z를 얻었기 때문에 그것을 사용하여 복호 처리를 한다.

따라서,화상 생성부(207)는 생성 참조 GOP 복호부(208)가 전프레임에서 얻은 GOP 번호와, 생성 정보 복호부(209)가 전프레임에서 얻은 화상 생성 방법의 정보를 사용하여 화상을 생성한다.

이것을 받아 복호 화상 축적 메모리(206)는, GOP의 부호화 데이터를 복호하는 경우에는 복호 화상을 축적하고, GOP의 부호화 데이터를 복호하지 않는 경우에는 화상 생성부(207)에 생성되는 화상을 축적한다.

이상의 동작에 의해, GOP구성이 사전에 결정되어 있지 않은 경우라 해도, 본 발명의 영상 부호화 장치는 화상을 부호화하고, 본 발명의 영상 복호 장치는 부호화 데이터를 복호할 수 있다. 이 때 얻어지는 부호화 데이터의 GOP는 도 5와 같은 구성이 된다.

도시된 실시형태예에 따라서 본 발명을 설명했으나, 본 발명은 여기에 한정되지 않는다.

예를 들면, 실시형태예에서는 C의 화상의 생성 방법을 결정하기 위해 A와 B의 복호 화상을 사용했으나, A와 B의 원화상을 사용해도 좋다. 이 경우에는, 영상 부호화 장치에, 화상 A 부호화부(102)와 화상 A 복호부(103)과 화상 B 부호화부(106)과 화상 B 복호부(107)을 구비할 필요는 없다.

또 실시형태예에서는, 화상 생성 방법으로서 X와 Y를 준비했으나, 둘 중 하나만 준비해도 좋다. 이 경우에는, 영상 부호화 장치에 생성 정보 부호화부(116)을 구비할 필요가 없음과 동시에, 영상 복호 장치에 생성 정보 복호부(209)를 구비할 필요가 없다.

또 실시형태예에서는, 화상 생성 방법으로서 Z를 준비했으나, 이것을 준비하 지 않아도 좋다. 이 경우에는 C의 복호 화상을 축적할 필요가 없기 때문에 영상 부호화 장치에 화상 C 복호부(111)과 복호 화상 축적 메모리(112)를 구비할 필요가 없음과 동시에, 영상 복호 장치에 복호 화상 축적 메모리(206)를 구비할 필요가 없다.

또 실시형태예에서는 설명하지 않았으나, 화상 생성을 하기 위해 사용하는 카메라 입력 영상이 사전에 정해져 있는 경우에는, 생성에 사용하는 GOP를 지정할 필요가 없기 때문에 영상 부호화 장치에 생성 참조 GOP 부호화부(115)를 구비할 필요가 없음과 동시에 영상 복호 장치에 생성 참조 GOP 복호부(208)를 구비할 필요가 없다.

또 실시형태예에서는, C의 화상을 생성하기 위해 같은 시각의 A 또는 B의 화상을 사용했으나, 과거의 A 또는 B의 화상을 사용해도 좋고 또 복수의 과거의 화상을 사용해도 좋다.

영상 재생쪽에서 화상을 생성할 수 있는지 여부를 부호화시에 판정하고, 또한 생성하는 것을 나타내는 정보를 부호화할 수 있게 되기 때문에, 화상 부호화쪽에서 영상을 부호화하지 않는 것을 제어할 수 있게 되고, 이로써 부호화 효율을 향상시킬 수 있다. 따라서 시점 위치나 시선 방향을 변경시킬 수 있는 영상 기술 등에 적합한 영상 부호화·복호 기술을 제공할 수 있다.

Claims

복수의 화상을 복수의 GOP로 구성하여, 각각의 GOP의 화상을 하나의 영상으로서 부호화하는 영상 부호화 방법으로서,

각 GOP에 포함되는 화상을 부호화할지 여부를 결정하는 GOP 부호화 결정 단계와,

해당 GOP에 포함되는 화상의 부호화 데이터를 출력할지 여부를 나타내는 GOP 부호화 유무 정보를 부호화하는 GOP 부호화 유무 정보 부호화 단계와,

해당 GOP에 포함되는 화상의 부호화 데이터를 출력하는 경우에, 해당 GOP에 포함되는 화상을 부호화하는 GOP 내 화상 부호화 단계를,

가지는 영상 부호화 방법.
제 1항에 있어서,

상기 GOP 부호화 결정 단계에서는, 해당 GOP의 부호화 데이터의 복호에 의하지 않고 다른 1 이상의 GOP를 사용하여 생성되는 화상 쪽이 부호화 데이터의 복호에 의해 얻어지는 화상보다도 원화상에 가까운지 아닌지를 판단함으로써 해당 GOP에 포함되는 화상을 부호화할지 여부를 결정하는 영상 부호화 방법.
제 1항에 있어서,

해당 GOP에 포함되는 화상의 부호화 데이터를 출력하지 않는 경우에, 해당 GOP에 포함되는 화상을 생성할 때에 사용하는, 다른 1 이상의 GOP를 지정하는 생성 참조 GOP 지정 정보를 부호화하는 생성 참조 GOP 부호화 단계를,

더 가지는 영상 부호화 방법.
제 1항에 있어서,

해당 GOP에 포함되는 화상의 부호화 데이터를 출력하지 않는 경우에, 해당 GOP에 포함되는 화상을 생성할 때에 사용하는, 화상 생성 수법을 지정하는 생성 정보를 부호화하는 생성 정보 부호화 단계를,

더 가지는 영상 부호화 방법.
복수의 화상을 복수의 GOP로 구성하여, 각각의 GOP의 화상을 하나의 영상으로서 부호화함으로써 생성된 부호화 데이터를 복호하는 영상 복호방법으로서,

각 GOP에 포함되는 화상의 부호화 데이터를 복호할지 여부를 나타내는 GOP 부호화 유무 정보를 복호하는 GOP 부호화 유무 정보 복호 단계와,

해당 GOP에 포함되는 화상의 부호화 데이터를 복호하는 경우에 GOP에 포함되는 화상을 복호하는 GOP 내 화상 복호 단계를,

가지는 영상 복호 방법.
제 5항에 있어서,

해당 GOP에 포함되는 화상의 부호화 데이터를 복호하지 않는 경우에, 해당 GOP에 포함되는 화상을 생성할 때에 사용하는, 다른 1 이상의 GOP를 지정하는 생성 참조 GOP 지정 정보를 복호하는 생성 참조 GOP 복호 단계를,

더 가지는 영상 복호 방법.
제 5항에 있어서,

해당 GOP에 포함되는 화상의 부호화 데이터를 복호하지 않는 경우에, 해당 GOP에 포함되는 화상을 생성할 때에 사용하는, 화상 생성 수법을 지정하는 생성 정보를 복호하는 생성 정보 복호 단계를,

더 가지는 영상 복호 방법.
복수의 화상을 복수의 GOP로 구성하여, 각각의 GOP의 화상을 1개의 영상으로서 부호화하는 영상 부호화 장치로서,

각 GOP에 포함되는 화상을 부호화할지 여부를 결정하는 GOP 부호화 결정부와,

해당 GOP에 포함되는 화상의 부호화 데이터를 출력할지 여부를 나타내는 GOP 부호화 유무 정보를 부호화하는 GOP 부호화 유무 정보 부호화부와,

해당 GOP에 포함되는 화상의 부호화 데이터를 출력하는 경우에, GOP에 포함되는 화상을 부호화하는 GOP 내 화상 부호화부를,

구비하는 영상 부호화 장치.
제 8항에 있어서,

상기 GOP 부호화 결정부는, 해당 GOP의 부호화 데이터의 복호에 의하지 않고 다른 1 이상의 GOP를 사용하여 생성되는 화상의 쪽이 부호화 데이터의 복호에 의해 얻어지는 화상보다도 원화상에 가까운 것인지 아닌지를 판단함으로써 해당 GOP에 포함되는 화상을 부호화할지를 결정하는 영상 부호화 장치.
제 8항에 있어서,

해당 GOP에 포함되는 화상의 부호화 데이터를 출력하지 않는 경우에, 해당 GOP에 포함되는 화상을 생성할 때에 사용하는, 다른 1 이상의 GOP를 지정하는 생성 참조 GOP 지정 정보를 부호화하는 생성 참조 GOP 부호화부를,

더 구비하는 영상 부호화 장치.
제 8항에 있어서,

해당 GOP에 포함되는 화상의 부호화 데이터를 출력하지 않는 경우에, 해당 GOP에 포함되는 화상을 생성할 때에 사용하는, 화상 생성 수법을 지정하는 생성 정보를 부호화하는 생성 정보 부호화부를,

더 구비하는 영상 부호화 장치.
복수의 화상을 복수의 GOP로 구성하고, 각각의 GOP의 화상을 하나의 영상으로서 부호화함으로써 생성된 부호화 데이터를 복호하는 영상 복호 장치로서,

각 GOP에 포함되는 화상의 부호화 데이터를 복호할지 여부를 나타내는 GOP 부호화 유무 정보를 복호하는 GOP 부호화 유무 정보 복호부와,

해당 GOP에 포함되는 화상의 부호화 데이터를 복호하는 경우에, GOP에 포함되는 화상을 복호하는 GOP 내 화상 복호부를,

구비하는 영상 복호 장치.
제 12항에 있어서,

해당 GOP에 포함되는 화상의 부호화 데이터를 복호하지 않는 경우에, 해당 GOP에 포함되는 화상을 생성할 때에 사용하는, 1 이상의 다른 GOP를 지정하는 생성 참조 GOP 지정 정보를 복호하는 생성 참조 GOP 복호부를,

더 구비하는 영상 복호 장치.
제 12항에 있어서,

해당 GOP에 포함되는 화상의 부호화 데이터를 복호하지 않는 경우에, 해당 GOP에 포함되는 화상을 생성할 때에 사용하는, 화상 생성 수법을 지정하는 생성 정보를 복호하는 생성 정보 복호부를,

더 구비하는 영상 복호 장치.
제 1항 내지 제 4항 중 어느 한 항에 기재된 영상 부호화 방법의 실현에 사용되는 처리를 컴퓨터에 실행시키기 위한 영상 부호화 프로그램.
제 1항 내지 제 4항 중 어느 한 항에 기재된 영상 부호화 방법의 실현에 사용되는 처리를 컴퓨터에 실행시키기 위한 영상 부호화 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
제 5항 내지 제 7항 중 어느 한 항에 기재된 영상 복호 방법의 실현에 사용되는 처리를 컴퓨터에 실행시키기 위한 영상 복호 프로그램.
제 5항 내지 제 7항 중 어느 한 항에 기재된 영상 복호 방법의 실현에 사용되는 처리를 컴퓨터에 실행시키기 위한 영상 복호 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.