JP3332551B2 - 立体動画像再生装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、ＭＰＥＧ（Motion P
icture Coding Expert Group；ISO 11172(MPEG1)、ISO
13818(MPEG2)）等の画像単位内圧縮と他の画像を参照す
ることによる画像単位間圧縮を用いて圧縮を行う圧縮方
式において、圧縮符号化された立体動画像データを復号
再生する立体動画像の再生装置に関するものである。

【０００２】

【従来の技術】立体画像を形成する方法としては、従来
から種々の方法が提供されてきた。

【０００３】最も一般的なものとしては、テレビ等の画
像出力装置において、左目用、右目用の画像を同一画面
に交互に表示し、液晶シャッタ等のシャッタメガネを用
いてそれを見る方法が挙げられる。この方法は、人間の
目の両眼視差を応用したものである。この方法を用いて
立体画像を形成するには、人間の目の位置に二つのカメ
ラを置き、それぞれの画像を記録媒体に交互に記録する
という方法がとられている。そして、これらの表示方法
としては、テレビ等の出力装置の画像をインタレースと
し、そのそれぞれのフィールドやフィールド組毎に左右
画像を交互に表示し、その切換えに合わせて、人間のメ
ガネ等の形状とし、目の前に配設したシャッタの左右を
切換えることにより実現される。

【０００４】特に、レンティキュラ・レンズ方式、イン
テグラル・フォトグラフィ方式と呼ばれる立体画像の再
生方式においては、多くの方向から画像を撮影し、それ
を撮影時と同じ配置から投影することにより、２チャン
ネル方式よりも更に違和感のない立体画像を提供するこ
とができる。

【０００５】しかし、これらの画像は通常の平面の画像
データに比べ、２倍のデータ量を必要とするため、その
記録容量と再生装置等の規模を大きくする必要性があっ
た。また、これらを多チャンネルに応用した場合には、
そのチャンネル数倍分のデータ量を必要とし、特に、こ
れらのデータをデジタル化した場合には、そのデータ量
は飛躍的に増大する。

【０００６】一方、デジタル動画像の符号化方式も近年
目覚しく発達しており、特に、ＩＳＯで規格化されてい
るＭＰＥＧ方式と呼ばれる圧縮技術が、近年多方面で盛
んに取入れられている。これはデジタル動画像を、まず
数枚から十数枚のフレーム、フィールド等の中から一つ
の画像単位をその単位内で圧縮符号化し、その他の画像
は、他の画像データを参照し、差分を用いることにより
圧縮する方式である。このような方式を利用する圧縮方
式としては、その他には、例えば、Ｈ．２６１、Ｈ．２
２１等のテレビ電話の規格等があり、これにより、デー
タ量はもとの数分の一から数十分の一、場合によっては
数百分の一にまで圧縮可能であり、比較的高い画質が得
られている。

【０００７】これらの技術を応用したデジタル立体動画
像の圧縮技術として、例えば、特開昭６４−５２９０号
公報、特開昭６４−５２９１号公報、特開昭６４−５２
９２号公報において、左右別々にこの画像単位内圧縮符
号化と画像単位内圧縮符号化を用いて圧縮し、そして、
それらを再生する方法が開示されている。

【０００８】これらの装置の簡単な構成例を図４を用い
て説明する。

【０００９】図４は従来の画像単位内圧縮と他の画像を
参照することによる画像単位間圧縮を用いて圧縮を行っ
た立体動画像の再生装置のブロック構成図である。な
お、図４では簡単のため左右２チャンネルの場合につい
て述べているが、それ以上の多（ｎ）チャンネルの場合
においても、その復号システムの数を増やすことで対応
可能である。

【００１０】図において、４１は画像単位内圧縮と他の
画像を参照することによる画像単位間圧縮を用いて圧縮
された圧縮立体動画像データが記録された記録媒体であ
る。４２は記録媒体４１からの圧縮画像データの読出し
を行う記録媒体読出手段であり、記録媒体４１から圧縮
画像データＡが読出される。記録媒体４１から読出され
た圧縮画像データＡは、右側の圧縮画像データＢ（Ｒ）
及び左側の圧縮画像データＢ（Ｌ）として、左右各々の
バッファメモリ４３Ｒ，４３Ｌに送られる。なお、複数
の記録媒体４１に複数の方向に関する各々の圧縮画像デ
ータを、例えば、右側の圧縮画像データＡ（Ｒ）及び左
側の圧縮画像データＡ（Ｌ）として別々に記録すること
もできる。この場合は、右側の圧縮画像データＡ（Ｒ）
及び左側の圧縮画像データＡ（Ｌ）に対応して複数の記
録媒体読出手段４２を用意し、記録媒体読出手段４２に
おいて各方向の圧縮画像データの分離をする必要がなく
なる。

【００１１】バッファメモリ４３Ｒ，４３Ｌの出力の圧
縮画像データＣ（Ｒ）及びＣ（Ｌ）は、復号器４４Ｒ，
４４Ｌに送られる。復号器４４Ｒ，４４Ｌにおいて復号
された画像データは、立体動画像の画像データＤ（Ｒ）
及びＤ（Ｌ）が表示手段４５Ｒ，４５Ｌに送られ、立体
動画像が出力される。左右それぞれの復号器４４Ｒ，４
４Ｌは、バッファメモリ４３Ｒ，４３Ｌ内のデータ量を
蓄積符号量検出手段４６Ｒ，４６Ｌで検出し、このそれ
ぞれの側のバッファメモリ４３Ｒ，４３Ｌの蓄積符号量
を検出したデータ量が所定量を超えたときに復号器４４
Ｒ，４４Ｌに復号開始を指示し、その動作を開始し、復
号器４４Ｒ，４４Ｌにおいて復号された立体動画像の画
像データＤ（Ｒ）及びＤ（Ｌ）は表示手段４５Ｒ，４５
Ｌに送られ、立体動画像が出力されることになる。

【００１２】更に、復号器４４Ｒ，４４Ｌまでの内部構
成の詳細を図５に示す。

【００１３】図５は画像単位内圧縮と他の画像を参照す
ることによる画像単位間圧縮を用いて圧縮を行う圧縮デ
ータの復号方法の一例を示す従来のＭＰＥＧ再生システ
ムの要部ブロック回路構成図である。

【００１４】図５において、記録媒体５００に記録され
たＭＰＥＧ方式による圧縮画像データは、記録媒体読出
手段５０１により読出される。この記録媒体５００とし
ては、光、磁気ディスク、磁気テープ等の種々の記録媒
体を用いることが可能である。この記録媒体５００から
記録媒体読出手段５０１によって読出されたＭＰＥＧ方
式の圧縮画像データは、可変長復号手段５０２によって
復号される。可変長復号手段５０２によって可変長復号
化されたデータには動きベクトルデータと直交変換デー
タ（ＤＣＴデータ）とが含まれるため、データ切換手段
５０３によって動きベクトルデータと直交変換データに
分けられる。画像単位内圧縮データは全て直交変換デー
タであるため、このデータについては全て逆量子化手段
５０４に送られて逆量子化される。そして、直交変換デ
ータ復号手段５０５に送られ、画像の各画素データが得
られる。そして、画像単位内圧縮（Ｉ Picture）の場合
には、動きベクトルから発生する画像データは存在しな
いため、加算手段５０６をそのまま通り、画像ベクトル
の復号が完了する。この復号された画像データは画像メ
モリ５０７及び画像メモリ５０９、画像メモリ５１１に
記憶される。そして、この画像メモリ５０７及び画像メ
モリ５０９に記憶された画像データを基に、他の画像単
位間圧縮（Ｐ Picture，Ｂ Picture）が行われた画像を
復元する。これらの画像データの復号では、まず復元さ
れる画像を、符号化のときと同様の複数の領域として扱
い、それぞれに復号を行う。各領域毎の画像データは、
データ切換手段５０３に入力され、動きベクトルのデー
タと、差異データとに分離される。そして、動きベクト
ルのデータは動き補償手段５０８，５１０に入力され、
動き補償が行われる。差異データは、量子化と逆の変換
を行う逆量子化手段５０４に入力され、その結果が直交
変換データ復号手段５０５に入力され、差異データが復
号されることになる。この２つの出力データを加算手段
５０６で加算することにより領域の復号が行われる。そ
して画像内各領域の復号を行うことにより、１枚の画像
の復号が完了する。復号された画像の中で、他の画像に
よって参照される画像（Ｐ Picture）は、順次画像メモ
リ５０７，５０９に記憶され、他の画像の復元に用いら
れる。

【００１５】画像単位内圧縮と他の画像を参照すること
による画像単位間圧縮を用いて圧縮を行う圧縮方式で
は、画像単位間圧縮を行う画像は他の画像のデータを参
照することによりその画像を形成することになる。この
ため、画像単位内圧縮を行った画像の画質が、画像単位
間圧縮を行う画像の画質の基本となる。また、画像単位
内圧縮を行う画像は他の画像単位間圧縮を行う画像の基
準となるため、それ自体で画質を維持しなくてはならな
いため、他の画像よりも多くの符号量が割当てられる。
例えば、ＭＰＥＧ方式では、この画像単位内圧縮符号化
画像は平均符号量の２〜５倍の符号量が与えられる。そ
の結果、これらの圧縮方式では、通常、画像データ毎に
その符号量が異なってしまうことになる。特に、ＭＰＥ
Ｇ方式では、最終的に一秒間当りの転送速度がある範囲
内になればよいと規定されているに過ぎず、その変化を
吸収する方法として、バッファメモリ４３Ｒ，４３Ｌの
使用とその大きさが規定されている。

【００１６】これらの方法を用いて立体動画像の再生装
置を構成する場合には、その動作開始の段階で問題が生
じることになる。即ち、立体動画像を画像単位内圧縮と
他の画像を参照することによる画像単位間圧縮を用いて
圧縮を行った場合には、その符号量が画像によって変化
するから、再生装置の動作開始時に、これらの画像デー
タの符号量に差が生じてしまうことになる。その動作開
始に必要なデータ量は、装置全体の復号にかかる遅延に
よって決定される。このため、その復号器４４Ｒ，４４
Ｌは、データ処理能力によって決まるバッファメモリ４
３Ｒ，４３Ｌに必要なデータ量を、復号開始時に蓄積す
る必要がある。左右それぞれの復号器４４Ｒ，４４Ｌ
は、バッファメモリ４３Ｒ，４３Ｌ内のデータ量を蓄積
符号量検出手段４６Ｒ，４６Ｌにより検出している。そ
して、この検出されたデータ量が所定量を超えた場合に
復号器４４Ｒ，４４Ｌに復号開始を指示し、その動作を
開始する。しかし、立体の場合には、左右のバッファメ
モリ４３Ｒ，４３Ｌにおいて、データ転送速度状態や左
右のデータの記録媒体４１上の記録形態が異なっていた
りするために、データの増え方が異なることになり、前
述した単純に左右の復号器４４Ｒ，４４Ｌがバッファメ
モリ４３Ｒ，４３Ｌの大きさを検出する方法では、左右
の復号器４４Ｒ，４４Ｌの動作開始時間に差が生じ、左
右の画像出力の同期が取れなくなってしまう場合があ
る。

【００１７】

【発明が解決しようとする課題】前述の画像単位内圧縮
と他の画像を参照することによる画像単位間圧縮を用い
て圧縮された立体動画像データを再生する立体動画像再
生装置においては、単純に全ての復号器４４Ｒ，４４Ｌ
が独立してその画像側のバッファメモリ４３Ｒ，４３Ｌ
の量を観測して復号を開始する方式では、各撮影方向の
画像の復号開始時間に差が生じ、各撮影方向の画像の同
期がとれなくなってしまう。

【００１８】そこで、本発明は、画像単位内圧縮と他の
画像を参照することによる画像単位間圧縮を用いて圧縮
された複数の方向から撮影した画像データを再生すると
き、複数の方向の画像データの同期乱れがない立体動画
像再生装置の提供を課題とするものである。

【００１９】

【００２０】

【課題を解決するための手段】上記の課題を解決するた
め本発明は、複数の方向から撮影することによって得ら
れた各々の画像データを、画像単位内圧縮及び他の画像
データを参照することにより符号化する画像単位間圧縮
を織り交ぜて用いることにより圧縮符号化された圧縮画
像データを入力する入力手段と、前記入力手段で入力し
た複数の方向に対応する圧縮画像データを一時記憶する
バッファメモリと、前記各バッファメモリからの圧縮画
像データを復号する復号器と、前記各バッファメモリの
内部記憶量を検出する蓄積符号量検出手段と、前記複数
の復号器の状態を検出する復号器準備状態検出手段と、
前記蓄積符号量検出手段により全ての圧縮画像データに
関する前記バッファメモリの記憶量が所定量に達したこ
とが検出され、かつ前記復号器準備状態検出手段によっ
て全復号器が圧縮画像データを受入れて復号化可能にな
ったとき、前記全復号器の動作開始の指示を与える動作
開始制御手段とを具備した立体動画像再生装置である。

【００２１】

【００２２】

【作用】本発明の立体動画像再生装置は、画像単位内圧
縮と他の画像を参照することによる画像単位間圧縮を用
いて圧縮を行う圧縮方式を用いて圧縮された立体動画像
の符号化データを復号再生する立体動画像再生装置にお
いて、複数方向から撮影した画像各々に対応する全ての
バッファメモリが復号可能な容量までデータを読込んだ
ことを検出し、かつ、複数方向から撮影した画像各々に
対応する全ての復号器の復号条件が整ったときに復号を
開始する。

【００２３】

【実施例】以下、本発明の実施例について説明する。

【００２４】図１は本発明の一実施例である立体動画像
再生装置のブロック構成図である。なお、図１大文字の
名前が付けられた太線は画像データの流れ、小文字の名
前が付けられた細線は命令、指示等の制御信号の流れを
示している。

【００２５】図１において、１１は立体動画像を画像単
位内圧縮と他の画像データを参照することによる画像単
位間圧縮を用いて圧縮を行った画像の圧縮データを記録
した記録媒体であり、１２はこの記録媒体１１からデー
タを読出す記録媒体読出手段である。この記録媒体１１
としては、光、磁気ディスク、光磁気ディスク、磁気テ
ープ等の種々の記録媒体を用いることができる。記録媒
体読出手段１２としては、ディスクドライブまたはテー
ププレイヤー等が用いられる。これは、直接、記録媒体
１１を用いた場合であり、例えば、通信等を用いて本発
明を実施する場合には、記録媒体１１、記録媒体読出手
段１２は通信路を介して接続されることになる。これら
の記録媒体１１と記録媒体読出手段１２、または通信路
を介した記録媒体１１と記録媒体読出手段１２との対、
または圧縮画像データを通信路を介して入力するものに
よって、本実施例の圧縮画像データの入力手段を構成し
ている。

【００２６】また、記録媒体１１に複数の撮影方向に関
する各々の画像データを別々の記録媒体１１または平行
した２トラックまたはディスクの両面等に記録する場合
も存在する。この場合は複数の記録媒体読出手段１２を
用意し、記録媒体読出手段１２において圧縮画像データ
の分離をする必要がなくなる入力手段の構成となる。

【００２７】この記録媒体読出手段１２によって読出さ
れた圧縮画像データＡは左右の圧縮画像データＢ（Ｒ）
またはＢ（Ｌ）に分離される。左右の圧縮画像データＢ
（Ｒ），Ｂ（Ｌ）は、バッファメモリ１３Ｒ，１３Ｌに
入力される。そして、これらのバッファメモリ１３Ｒ，
１３Ｌから出力される圧縮画像データＣ（Ｒ），Ｃ
（Ｌ）は、左右の各復号器１４Ｒ，１４Ｌに入力され
る。この各復号器１４Ｒ，１４Ｌの構成例は前述した図
５に示したものと同一である。その結果、復号された画
像データＤ（Ｒ），Ｄ（Ｌ）は、表示手段１５Ｒ，１５
Ｌに入力され、立体動画像として出力される。

【００２８】また、１７Ｒ，１７Ｌは前述したようにＭ
ＰＥＧ方式においては圧縮画像データのヘッダを解釈
し、復号開始に必要なバッファメモリ１３Ｒ，１３Ｌ内
の符号量だけ圧縮画像データを蓄積したか否かを検出
し、復号開始に必要な符号量を超えたとき、信号ａ，ｂ
を「真」（例えば、正論理の場合“１”、負論理の場合
“０”）とする蓄積符号量検出手段である。前記ＭＰＥ
Ｇ方式においては圧縮画像データのヘッダで左右の復号
可能なデータ量Ｒ，Ｌを検出するが、本発明を実施する
場合には、左右の復号可能な最大データ量Ｒ，Ｌを超え
る値に閾値を固定することもできる。１８Ｒ，１８Ｌは
復号器１４Ｒ，１４Ｌの復号処理状態を判断し、所定の
符号量だけ蓄積した圧縮画像データの符号化を終了した
とき、信号ｃ，ｄを「真」（例えば、正論理の場合
“１”、負論理の場合“０”）とする復号器準備状態検
出手段である。そして、１６は蓄積符号量検出手段１７
Ｒ，１７Ｌ及び復号器準備状態検出手段１８Ｒ，１８Ｌ
の出力を受けて全信号ａ，ｂ，ｃ，ｄが「真」（例え
ば、正論理の場合“１”、負論理の場合“０”）のと
き、復号器１４Ｒ，１４Ｌの動作開始を指示する動作開
始制御手段である。

【００２９】本実施例の立体動画像再生装置のブロック
構成図を用いて動作開始時の各ブロック構成の動作を説
明する。

【００３０】動作開始直前では、左右双方のバッファメ
モリ１３Ｒ，１３Ｌの内部は初期状態であり、いかなる
圧縮画像データも記憶されていない。

【００３１】動作を開始すると、まず、記録媒体１１か
ら圧縮画像データＡが記録媒体読出手段１２で読出され
る。そして、時間の経過に伴なってバッファメモリ１３
Ｒ，１３Ｌ内にデータが蓄積される。このとき、復号器
準備状態検出手段１８Ｒ，１８Ｌが復号器１４Ｒ，１４
Ｌの内部状態をみて、テーブルの読込み等により復号処
理中であるか、復号処理を終え復号動作可能であるかを
検出し、このデータ量が復号可能な量に達すれば、それ
らの信号ｃ，ｄの各々を「真」（例えば、正論理の場合
“１”、負論理の場合“０”）とする。

【００３２】また、圧縮画像データＣ（Ｒ）またはＣ
（Ｌ）の復号器１４Ｒまたは復号器１４Ｌの前段のバッ
ファメモリ１３Ｒ，１３Ｌに蓄積されたデータ量が、復
号開始可能な状態になっているか否かを復号器準備状態
検出手段１８Ｒ，１８Ｌで検出し、復号開始可能な状態
になったとき、それらの信号ａ，ｂの各々を「真」（例
えば、正論理の場合“１”、負論理の場合“０”）とす
る。

【００３３】しかし、一方の圧縮画像データＣ（Ｒ）ま
たはＣ（Ｌ）の復号器１４Ｒまたは復号器１４Ｌの前段
のバッファメモリ１３Ｒまたは１３Ｌに蓄積されたデー
タ量が、復号開始可能な状態になっていない場合、左右
の圧縮画像データＣ（Ｒ）またはＣ（Ｌ）を同時に復号
することができない。このため、復号開始可能な状態に
なっていない側のバッファメモリ１３Ｒまたはバッファ
メモリ１３Ｌが復号可能な状態になるまで復号可能な側
の復号器１４Ｒまたは復号器１４Ｌが待つことになる。
この状態を図２を用いて説明する。

【００３４】図２は本発明の実施例の立体動画像再生装
置における左右バッファメモリの使用量推移を示す特性
図で、右目用画像に関するバッファメモリはＢ（Ｒ）で
復号可能な状態となり、左目用画像に関するバッファメ
モリはＢ（Ｌ）で復号可能となる状態を示すものであ
る。

【００３５】図２の特性図は、バッファメモリ１３Ｒ，
１３Ｌ内に記憶された圧縮画像データ量の時間変化を示
したものであり、横軸は時間経過を示し、縦軸はバッフ
ァメモリ１３Ｒ，１３Ｌ内に蓄積された圧縮画像データ
量である。ここで、１３ＲＭは右目用画像のデータ量変
化、１３ＬＭは左目用画像のデータ量変化を示してい
る。そして点線で示されたデータ量が、各々の復号器１
４Ｒ，１４Ｌが動作開始可能なデータ量、即ち、閾値で
ある。この閾値にバッファメモリ１３Ｒ，１３Ｌ内の蓄
積データ量が達した時間Ｂ（Ｒ）点または時間Ｂ（Ｌ）
点で、左右各々の復号器１４Ｒ，１４Ｌが復号可能な状
態になる。

【００３６】図２の実施例では、左右の復号器１４Ｒ，
１４Ｌが動作可能なデータ量Ｒ，Ｌは同じになっている
が、ＭＰＥＧ方式においては、圧縮データのヘッダに、
復号開始に必要なバッファメモリ１３Ｒ，１３Ｌ内の符
号量が時間の形で記録されている。これは、ＭＰＥＧ方
式がデータの定ビットレート転送を基本として考えられ
ているためであり、この転送時間と転送レートを乗じた
ものが必要な符号量となる。これを行うのが蓄積符号量
検出手段１７Ｒ，１７Ｌであり、バッファメモリ１３
Ｒ，１３Ｌの各閾値を設定し、その各閾値まで蓄積され
た後、復号器１４Ｒ，１４Ｌが復号を開始する場合のデ
ータ量Ｒ，Ｌは必ずしも同じになるものではない。この
ため、左右の復号可能なデータ量Ｒ，Ｌは画像データに
よって異なる場合もあり、これは立体動画像では左右の
時間Ｂ（Ｒ），Ｂ（Ｌ）が異なることになる。また、こ
れらのバッファメモリのデータの蓄積量は、定ビットレ
ートで転送されている場合には、実際に転送が行われた
時間を加算することにより求めることもできる。

【００３７】このとき、例えば、従来例においては、時
間Ｂ（Ｒ）で右側の復号器１４Ｒが復号を開始しても、
時間Ｂ（Ｌ）で復号が開始可能な左側の復号器１４Ｌは
復号を開始することができない。この結果、右側の復号
器１４Ｒの方が復号を先に行なうことになり、両方の復
号器１４Ｒ，１４Ｌが同時に復号を行わない。即ち、左
右の復号可能なデータ量Ｒ，Ｌの差が大きいと、左右で
画像のズレが生じてしまい、同期が取れない結果とな
る。このため、本実施例では、時間Ｂ（Ｒ）及び時間Ｂ
（Ｌ）の遅い方を待つことにより、両復号器１４Ｒ，１
４Ｌが同時に復号を開始するように設定されている。

【００３８】本実施例においては、復号器１４Ｒ，１４
Ｌが同時に復号を開始するするために、次のように構成
している。

【００３９】まず、前述したようにＭＰＥＧ方式におい
ては、圧縮データのヘッダを解釈し、復号開始に必要な
バッファメモリ１３Ｒ，１３Ｌ内の符号量だけ圧縮画像
データを蓄積したか否かを検出する蓄積符号量検出手段
１７Ｒ，１７Ｌにより、復号開始に必要な符号量だけ蓄
積したことを検出した信号ａ，ｂとして「真」（例え
ば、正論理の場合“１”、負論理の場合“０”）を得
る。復号器準備状態検出手段１８Ｒ，１８Ｌは復号器１
４Ｒ，１４Ｌの処理状態を判断し、所定の符号量だけ蓄
積した画像データの符号化を終了したとき、信号ｃ，ｄ
として「真」（例えば、正論理の場合“１”、負論理の
場合“０”）を得る。なお、ここで検出される復号器１
４Ｒ，１４Ｌの状態は、アナログ的、電気的なデータ、
復号に利用するテーブル等の読込が完了しているか否か
等のデータが含まれる。これらの信号ａ，ｂ，ｃ，ｄは
復号器１４Ｒ，１４Ｌの動作開始を指示する動作開始制
御手段１６に入力している。

【００４０】したがって、これらの信号ａ，ｂ，ｃ，ｄ
が、全て「真」（例えば、正論理の場合“１”、負論理
の場合“０”）になった場合、動作開始制御手段１６は
復号開始の指示を復号器１４Ｒ，１４Ｌに対して行う。
このようにして、両側の復号器１４Ｒ，１４Ｌの準備及
び両側のバッファメモリ１３Ｒ，１３Ｌの状態が復号可
能になったとき、双方の復号器１４Ｒ，１４Ｌに動作開
始を指示することが可能になり、立体動画像の復号再生
が開始され、両方の復号器１４Ｒ，１４Ｌが同じタイミ
ングで復号を開始することになる。

【００４１】このように、本実施例の立体動画像再生装
置は、複数の方向から撮影することによって得られた各
々の画像データを、画像単位内圧縮及び他の画像データ
を参照することにより符号化する画像単位間圧縮を織り
交ぜて用いることにより圧縮符号化された圧縮画像デー
タを入力する記録媒体１１及び記録媒体読出手段１２ま
たは通信路等からなる入力手段と、前記入力手段で入力
した複数の方向に対応する圧縮画像データを一時記憶す
るバッファメモリ１３Ｒ，１３Ｌと、各バッファメモリ
１３Ｒ，１３Ｌからの圧縮画像データを復号する復号器
１４Ｒ，１４Ｌと、各バッファメモリ１３Ｒ，１３Ｌの
内部記憶量を検出する蓄積符号量検出手段１７Ｒ，１７
Ｌと、複数の復号器１４Ｒ，１４Ｌの状態を検出する復
号器準備状態検出手段１８Ｒ，１８Ｌと、蓄積符号量検
出手段１７Ｒ，１７Ｌにより全ての圧縮画像データに関
するバッファメモリ１３Ｒ，１３Ｌの記憶量が所定量に
達したことが検出され、かつ復号器準備状態検出手段１
８Ｒ，１８Ｌによって全復号器１４Ｒ，１４Ｌが圧縮画
像データを受入れて復号化可能になったとき、全復号器
１４Ｒ，１４Ｌの動作開始の指示を与える動作開始制御
手段と、復号器１４Ｒ，１４Ｌで復号された画像出力を
表示する表示手段１５Ｒ，１５Ｌとを具備するものであ
る。

【００４２】したがって、画像単位内圧縮と他の画像を
参照することによる画像単位間圧縮を用いて圧縮を行う
圧縮方式を用いて圧縮された立体動画像の符号化データ
を復号再生する立体動画像再生装置において、複数方向
から撮影した画像の各々に対応する全てのバッファメモ
リ１３Ｒ，１３Ｌが復号可能な容量まで圧縮画像データ
を読込んだことを蓄積符号量検出手段１７Ｒ，１７Ｌが
検出し、かつ、複数方向から撮影した画像の各々に対応
する全ての復号器１４Ｒ，１４Ｌの復号条件が整ったと
きに復号を開始するものである。故に、画像単位内圧縮
と他の画像を参照することによる画像単位間圧縮を用い
て圧縮された複数の方向から撮影した画像データを再生
するとき、複数の方向の画像データの同期乱れが発生し
ないので、立体感のある映像を認識することができる。

【００４３】しかし、前述のように、ＭＰＥＧ方式にお
いては圧縮画像データのヘッダで左右の復号可能なデー
タ量Ｒ，Ｌを出力しているが、本発明を実施する場合に
は、左右の復号可能な最大データ量Ｒ，Ｌを超える値に
閾値を固定することもできるから、これを採用すること
により、復号器１４Ｒ，１４Ｌの全てが圧縮画像データ
を受入れて復号化可能になったとき、復号器１４Ｒ，１
４Ｌに動作開始の指示を与える構成として実施すること
ができる。

【００４４】即ち、本実施例の立体動画像再生装置は、
複数の方向から撮影することによって得られた各々の画
像データを、画像単位内圧縮及び他の画像データを参照
することにより符号化する画像単位間圧縮を織り交ぜて
用いることにより圧縮符号化された圧縮画像データを入
力する記録媒体１１及び記録媒体読出手段１２または通
信路等からなる入力手段と、前記入力手段で入力した複
数の方向に対応する圧縮画像データを一時記憶するバッ
ファメモリ１３Ｒ，１３Ｌと、各バッファメモリ１３
Ｒ，１３Ｌからの圧縮画像データを復号する復号器１４
Ｒ，１４Ｌと、復号された画像出力を表示する表示手段
１５Ｒ，１５Ｌとを具備し、復号器１４Ｒ，１４Ｌの全
てが圧縮画像データを受入れて復号化可能になったと
き、復号器１４Ｒ，１４Ｌに動作開始の指示を与えるよ
うに構成することができる。

【００４５】したがって、複数方向から撮影した画像の
各々に対応する全てのバッファメモリ１３Ｒ，１３Ｌが
復号可能な容量まで圧縮画像データを読込んだときに、
複数方向から撮影した画像の各々に対応する全ての復号
器１４Ｒ，１４Ｌの復号条件が整えば復号を開始するも
のである。故に、画像単位内圧縮と他の画像を参照する
ことによる画像単位間圧縮を用いて圧縮された複数の方
向から撮影した画像データを再生するとき、複数の方向
の画像データの同期乱れが発生しないので、立体感のあ
る映像を認識することができる。

【００４６】ところで、この実施例では、説明及び理解
の容易さから２チャンネルの場合を例にとって説明した
が、ｎ（ｎ＞３）チャンネルの場合には、これらのａ〜
ｄのデータを、全てのチャンネルから得ることにより、
全ての復号器が復号可能になった場合を検出し、各々の
復号器が同じタイミングで復号を開始することになる。

【００４７】また、本発明は復号器の動作の開始状態だ
けではなく、早送りや巻戻し等の特殊再生や、検索の場
合においても用いられる。これらの場合には、それまで
のデータ参照を行わない全く別の領域の復号を間欠的に
行ったり、不完全な復号を行ったりするため、それまで
再生装置内に持っていた復号のためのデータ、参照用の
画像データ、バッファメモリ内の蓄積された符号化デー
タ等はほとんど利用されない状況となり、これは動作開
始時と同様の復号器の同期開始動作が必要となる。この
ため、この場合にも全ての撮影方向に関する復号器の状
態及び左右の復号器のバッファメモリのデータ蓄積量を
調べ、全ての復号器が動作可能になった時点で復号を開
始することが必要である。

【００４８】そして、本発明を実施する場合には、多チ
ャンネルとしても容易に拡張が可能である。この場合に
は、各々の画像に関する復号器、バッファメモリ、表示
手段が必要となる。このため、この立体動画像再生装置
の動作開始時には、複数位置の画像の各々に関し、その
準備状態を検出する必要がある。

【００４９】この種の実施例を動作開始制御手段を用い
た形態としたものを図３に示す。

【００５０】図３は本発明の他の実施例であるｎチャン
ネル（ｎ＞＝３の整数）の画像出力に対応した立体動画
像再生装置のブロック構成図である。なお、図中、太線
はデータの流れ、細線は命令或いは指示等のデータの流
れを示している。

【００５１】図３において、３１は画像単位内圧縮と他
の画像を参照することによる画像単位間圧縮を用いて圧
縮を行った立体動画像データを記録した記録媒体であ
る。３２は記録媒体３１からデータを読出す記録媒体読
出手段である。なお、この記録媒体３１としては、複数
の記録媒体３１に複数の撮影方向に関する各々の圧縮画
像データを別々に記録する場合もあり、この場合は対応
する複数の記録媒体読出手段３２を用意し、対応する圧
縮画像データを独立して読出すことになるから、記録媒
体読出手段３２において撮影方向別の圧縮画像データの
分離をする必要がなくなる。また、本実施例では、記録
媒体３１を直接用いた場合であるが、通信回線を介して
実施することもできる。この場合には、記録媒体３１の
代わりに通信路となり、記録媒体読出手段３２の代わり
に通信路に対応した受信機が導入されることになる。即
ち、これらの記録媒体３１と記録媒体読出手段３２、ま
たは通信路を介した記録媒体３１と記録媒体読出手段３
２との対、または圧縮画像データを通信路を介して入力
するものによって、本実施例の圧縮画像データの入力手
段を構成している。

【００５２】この記録媒体読出手段３２によって読出さ
れた圧縮画像データは左右の圧縮画像データに分離され
て出力される。この圧縮画像データは、バッファメモリ
３３１〜３３ｎに入力される。ここで、図１で示した実
施例の蓄積符号量検出手段１７Ｒ，１７Ｌはバッファメ
モリ３３１〜３３ｎが機能し、また、復号器準備状態検
出手段１８Ｒ，１８Ｌは復号器３４１〜３４ｎが機能す
るように、それらに各機能が内包しているものとする。
そして、これらのバッファメモリ３３１〜３３ｎの出力
データは、各方向別の復号器３４１〜３４ｎに入力され
る。この復号器３４１〜３４ｎの具体的内容は、前述し
た図５に示したものと同様である。その結果復号された
画像データは、表示手段３５１〜３５ｎに入力され、立
体動画像として出力される。

【００５３】この時、このバッファメモリ３３１〜３３
ｎの状態及び復号器３４１〜３４ｎの状態を動作開始制
御手段３６が観測し、１番目からｎ番目までの全ての復
号器３４１〜３４ｎ及びバッファメモリ３３１〜３３ｎ
が復号可能な状態になったとき、始めて全ての復号器３
４１〜３４ｎに復号開始の命令を送り、立体動画像再生
装置全体の動作が開始することになる。

【００５４】ここでは、動作開始制御手段３６を設ける
構成を用いて説明を行ったが、勿論、それぞれの復号器
３４１〜３４ｎが他の復号器３４１〜３４ｎの状況を観
測する方法でも３チャンネル以上の立体動画像における
本発明の実施は可能である。

【００５５】なお、この実施例においても、前記図１及
び図２に示した実施例と同様の効果を期待することがで
きる。

【００５６】

【００５７】

【発明の効果】本発明の立体動画像再生装置は、画像単
位内圧縮と他の画像を参照することによる画像単位間圧
縮を用いて圧縮を行う圧縮方式を用いて圧縮された立体
動画像の符号化データを復号再生する立体動画像再生装
置において、複数方向から撮影した画像の各々に対応す
る全てのバッファメモリが復号可能な容量まで圧縮画像
データを読込んだことを蓄積符号量検出手段が検出し、
かつ、複数方向から撮影した画像の各々に対応する全て
の復号器の復号条件が整ったときに復号を開始するもの
である。故に、画像単位内圧縮と他の画像を参照するこ
とによる画像単位間圧縮を用いて圧縮された複数の方向
から撮影した画像データを再生するとき、複数の方向の
画像データの同期乱れが発生しないので、立体感のある
映像を認識することができる。

【図面の簡単な説明】

【図１】図１は本発明の一実施例である立体動画像再生
装置のブロック構成図である。

【図２】図２は本発明の実施例の立体動画像再生装置に
おける左右バッファメモリの使用量推移を示す特性図で
ある。

【図３】図３は本発明の他の実施例であるｎチャンネル
（ｎ≧３の整数）の画像出力に対応した立体動画像再生
装置のブロック構成図である。

【図４】図４は従来の画像単位内圧縮と他の画像を参照
することによる画像単位間圧縮を用いて圧縮を行った立
体動画像の再生装置のブロック構成図である。

【図５】図５は画像単位内圧縮と他の画像を参照するこ
とによる画像単位間圧縮を用いて圧縮を行う圧縮データ
の復号方法の一例を示す従来のＭＰＥＧ再生システムの
要部ブロック回路構成図である。

【符号の説明】

１１，３１ 記録媒体 １２，３２ 記録媒体読出手段 １３Ｒ，１３Ｌ バッファメモリ １４Ｒ，１４Ｌ 復号器 １５Ｒ，１５Ｌ 表示手段 １６，３６ 動作開始制御手段 １７Ｒ，１７Ｌ 蓄積符号量検出手段 １８Ｒ，１８Ｌ 復号器準備状態検出手段 ３３１〜３３ｎ バッファメモリ ３４１〜３４ｎ 復号器 ３５１〜３５ｎ 表示手段

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 13/00 - 15/00

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 複数の方向から撮影することによって得
   られた各々の画像データを、画像単位内圧縮及び他の画
   像データを参照することにより符号化する画像単位間圧
   縮を織り交ぜて用いることにより圧縮符号化された圧縮
   画像データを入力する入力手段と、 前記入力手段で入力した複数の方向に対応する圧縮画像
   データを一時記憶するバッファメモリと、 前記各バッファメモリからの圧縮画像データを復号する
   復号器と、 前記各バッファメモリの内部記憶量を検出する蓄積符号
   量検出手段と、 前記複数の復号器の状態を検出する復号器準備状態検出
   手段と、 前記蓄積符号量検出手段により全ての圧縮画像データに
   関する前記バッファメモリの記憶量が所定量に達したこ
   とが検出され、かつ前記復号器準備状態検出手段によっ
   て全復号器が圧縮画像データを受入れて復号化可能にな
   ったとき、前記全復号器の動作開始の指示を与える動作
   開始制御手段とを具備することを特徴とする立体動画像
   再生装置。