JPH07250350A

JPH07250350A - 立体動画像符号化装置

Info

Publication number: JPH07250350A
Application number: JP3817594A
Authority: JP
Inventors: Mineki Taoka; 峰樹田岡; Shigetaka Koma; 重孝狛; Yuichi Kanai; 雄一金井; Kazuo Osanawa; 一男長縄; Takeo Toyama; 建夫外山
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 1994-03-09
Filing date: 1994-03-09
Publication date: 1995-09-26
Anticipated expiration: 2016-12-04
Also published as: JP3234395B2

Abstract

(57)【要約】【目的】複数の方向から撮影することによって得られ
た各々の画像データを復号装置で復号するときに、各撮
影方向の正確な同期が実現できること。【構成】複数の方向から撮影することによって得られ
た各々の画像データを入力する画像入力手段１０１Ｒ，
１０１Ｌからなる入力手段と、前記入力手段で得られた
撮影方向毎の各画像データを各々符号化する符号化手段
１０２Ｒ，１０２Ｌと、前記符号化手段１０２Ｒ，１０
２Ｌで得られた撮影方向毎の符号化データを多重化し、
一連の圧縮符号化データとするマルチプレクサ１０４か
らなる多重化手段と、前記画像データの撮影方向毎の識
別符号を生成する識別符号生成手段１０７Ｒ，１０７Ｌ
と、前記識別符号生成手段１０７Ｒ，１０７Ｌで得た前
記識別符号を、符号化した撮影方向毎の各画像データに
対応して付加する符号付加手段１０８Ｒ，１０８Ｌとか
らなる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、複数の方向から撮影す
ることによって得られた各々の画像データを符号化する
立体動画像符号化装置に関するものである。

【０００２】

【従来の技術】立体画像を形成する方法としては、従来
から種々の方法が提供されてきた。

【０００３】最も一般的なものとしては、テレビ等の画
像出力装置において、左目用、右目用の画像を同一画面
に交互に表示し、液晶シャッタ等のシャッタメガネを用
いてそれを見る方法が挙げられる。この方法は、人間の
目の両眼視差を応用したものである。この方法を用いて
立体画像を形成するには、人間の目の位置に二つのカメ
ラを置き、各々の画像を記録媒体に交互に記録するとい
う方法がとられている。そして、これらの表示方法とし
ては、テレビ等の出力装置の画像をインタレースとし、
その各々のフィールドやフィールド組毎に左右画像を交
互に表示し、その切替えに合わせて、人間のメガネ等の
形状とし、目の前に配設したシャッタの左右を切替える
ことにより実現される。

【０００４】特に、レンティキュラ・レンズ方式、イン
テグラル・フォトグラフィ方式と呼ばれる立体画像の再
生方式においては、多くの方向から画像を撮影し、それ
を撮影時と同じ配置から投影することにより、２チャン
ネル方式よりも更に違和感のない立体画像を提供するこ
とができる。

【０００５】しかし、これらの画像は通常の平面の画像
データに比べ、２倍のデータ量を必要とするため、その
記録容量と再生装置等の規模を大きくする必要性があっ
た。また、これらを多チャンネルに応用した場合には、
そのチャンネル数倍分のデータ量を必要とし、特に、こ
れらのデータをデジタル化した場合には、そのデータ量
は飛躍的に増大する。

【０００６】一方、デジタル動画像の符号化方式も近年
目覚しく発達しており、特に、ＩＳＯで規格化されてい
るＭＰＥＧ（Motion Picture Coding Expert Group；IS
O 11172(MPEG1)、ISO 13818(MPEG2)）方式と呼ばれる圧
縮技術が、近年多方面で盛んに取入れられている。これ
はデジタル動画像を、まず数枚から十数枚のフレーム、
フィールド等の中から一つの画像単位をその単位内で圧
縮符号化し、その他の画像は、他の画像データを参照
し、差分を用いることにより圧縮する方式である。この
ような方式を利用する圧縮方式としては、他には、例え
ば、Ｈ．２６１、Ｈ．２２１等のテレビ電話の規格等が
あり、これにより、データ量はもとの数分の一から数十
分の一、場合によっては数百分の一にまで圧縮可能であ
り、比較的高い画質が得られている。

【０００７】これらの技術を応用したデジタル立体動画
像の圧縮技術として、例えば、特開昭６４−５２９０号
公報、特開昭６４−５２９１号公報、特開昭６４−５２
９２号公報において、左右別々にこの画像単位内圧縮符
号化と画像単位内圧縮符号化を用いて圧縮し、そして、
それらを再生する方法が開示されている。

【０００８】これらの立体動画像データを記録媒体に記
録するには、画像圧縮する場合においても、また、画像
圧縮を行わない場合においても、チャンネル数分の記録
領域を持つ記録媒体を用いるか、チャンネル数分の記録
媒体を用いる場合以外は、チャンネル数分の画像データ
またはその画像圧縮データを交互に記録する必要があ
る。

【０００９】そして、記録媒体に画像データのみが記録
されている場合には、符号化する画像数をカウントした
り、または記録媒体上の読出しアドレスを調べることに
より、複数の画像データのうちのどのチャンネルの画像
データかを判別している。しかし、記録媒体に画像デー
タ以外のデータが記録されている場合、例えば、音声情
報、文字情報、その他のリンク情報等が記録されている
場合には、その立体動画像における撮影方向の復号、表
示の順序が一定しなくなってしまう可能性がある。この
様子を図５を用いて説明する。

【００１０】図５は立体動画像に他のメディアのデータ
を導入した場合のデータ列を示すデータ列の概念図であ
る。

【００１１】なお、ここでは簡単化のために２チャンネ
ルで説明するが、３チャンネル以上の場合にも適用でき
る。

【００１２】図５のデータ列は、左目用の画像データＬ
と、右目用の画像データＲを用いることにより立体動画
像を形成するものである。画像データ列５１は、立体の
画像データのみを記録したものであり、画像データ列５
２は立体の画像データに加えて音声データＡを多重化し
て記録した例である。この場合の画像データの記録単位
の大きさとしては幾つかのパターンがある。

【００１３】最も簡単な画像データ構造としては、一単
位が画像一枚分に相当するものである。これは通常、圧
縮しない画像データに対して用いられる。この場合に
は、この画像データを受取った再生装置は、画像一枚毎
に再生を行い、終了後に次の画像の再生を行えばよいこ
とになる。

【００１４】次に、一枚の画像データを所定の大きさの
データ列に分割して記録する手法がある。これは、圧縮
された画像データの場合に多く用いられる方法である。
圧縮された画像データの場合、特に、ＭＰＥＧ方式等の
複雑な符号化方式を用いた場合には、その画像一枚当り
の圧縮符号化データの大きさが一定しない場合が多く、
その結果として、再生装置には比較的大きなバッファメ
モリを用意してその変化を緩和している。このため、立
体動画像の復号装置では、圧縮符号化されたデータとし
て画像一枚分のデータが交互に記録媒体から読出される
場合、特定のチャンネルの一枚の画像の復号を行った
後、他のチャンネルの画像データを記録媒体から読出
し、その画像一枚分の復号を行うことになる。したがっ
て、ＭＰＥＧ方式のように、複雑な復号のアルゴリズム
を使用する場合には、その演算に要する遅延時間が問題
になり、左右の復号手段の画像位相が交互に反転し、交
互に復号を行う。即ち、右目画像用の復号手段が復号を
行っている間に、左目画像用の復号手段が記録媒体から
画像データの読出しを行う状態となる。

【００１５】通常、ＭＰＥＧ方式を用いた１チャンネル
用の復号手段においては、記録媒体からの画像データの
読出しと、その復号を平行して行い、復号遅延をバッフ
ァメモリで吸収している。このため、立体動画像におい
て前述のような復号を行わなければならない場合、常に
画像単位で圧縮データをバッファメモリに読出し、バッ
ファメモリに一時的に記憶する必要が生じる。また、復
号を行っている間はデータの読出しが行えないために、
通常の遅延に加えて画像一枚分の復号時間の遅延が加算
されるために、それを吸収するだけのバッファメモリが
必要になる。このように、立体動画像で画像単位で圧縮
符号化データを記憶するには、非常に大きなバッファメ
モリが必要になる。

【００１６】このため、画像データまたは圧縮画像デー
タを、比較的小さい大きさの画像データに分割してお
き、復号装置でこれを左右に振り分け、左右のそれぞれ
の復号手段で復号を行えば、この記録単位が１チャンネ
ル画像の復号装置に必要とされるバッファメモリの容量
に対して十分に小さいときには、復号手段に与えらるデ
ータ量が短時間的に均一になるから、１チャンネルの復
号手段の動作時と同様の復号が可能になる。この画像デ
ータの分割の単位としては、その記録形態や通信形態に
適合した方法が用いられ、例えば、通信線路であればそ
の通信線路に応じたパケットサイズ、記録媒体のうちの
ディスクであればそのセクタ単位、トラック単位、ま
た、テープであれば、一定長や誤り訂正の単位等で記録
する場合がある。

【００１７】画像データの圧縮を行う場合、圧縮を行わ
ない場合のいずれの場合においても、画像データだけを
記憶媒体に記憶する場合には、その画像の転送単位数だ
けを数えてその撮影方向の決定が可能である。例えば、
２チャンネルの場合には奇数番目を右チャンネル、偶数
番目を左チャンネルというように動作させることができ
る。または、光ディスクであれば、画像データの位置を
判定し、例えば、奇数番目のセクタは右チャンネル、偶
数番目のセクタは左チャンネルというように判定するこ
とにより、左右画像データの判断及び処理を行えばよ
い。

【００１８】

【発明が解決しようとする課題】しかし、図５のデータ
列５２のようにオーディオデータや文字情報その他の情
報が記録媒体上のデータに挿入されている場合、そのま
ま画像データ数を数えたり、画像データの位置を判定す
るだけでは、その画像データが左右どちらのデータであ
るかを判定することができなくなる。このデータを前述
のように、そのまま順次判定を行う立体動画像の復号手
段で復号すると、データ列５１のような立体動画像だけ
のデータであれば、データ列５１１，５１２のように問
題なく復号されるが、データ列５２のようにオーディオ
データＡが挿入されたデータでは、データ列５２１，５
２２のように、オーディオデータＡの挿入位置から左右
の同期がズレてしまい、オーディオデータＡが入力され
た右目用復号手段は画像として復号できないため、復号
エラーとなってしまう。

【００１９】また、画像データが画像単位で順次記録さ
れている場合、その転送に失敗しても画像データが破壊
されるだけである。しかし、前述のように画像データが
左右別々に所定の大きさのデータ群に分割され、その
後、多重化される場合には、更に大きな問題となる。即
ち、これらの方法では、その分割されたデータ列の転送
を記録単位毎に切替えることにより、復号手段に画像デ
ータの分配を行っている。この場合にも画像データのみ
であれば、そのデータ転送は記録単位毎の数をカウント
することにより決定できるが、オーディオデータＡ等の
他のメディアデータが挿入される場合には、不都合が生
じてしまう。

【００２０】例えば、画像データの区切りの部分を記録
したデータ列が、他の方向の復号手段（右目用画像デー
タが左目用画像データの復号手段等）に転送されてしま
った場合は、その最後が破壊された方向の画像で復号が
不可能になるだけではなく、その先頭が破壊された他方
の画像データにも不具合が生じてしまう。特に、ＭＰＥ
Ｇ方式のように、幾つかの画像データを参照して画像デ
ータの復号を行う方式の場合には、これらの復号に失敗
した画像データが画像単位内圧縮画像であれば、その次
の画像単位内圧縮画像のデータが得られるまで、画像デ
ータは復号できないままとなってしまう。そして、この
場合には、画像データが破壊されるだけでなく、このエ
ラーは、最悪の場合、その後の画像列が左右反転した
り、３チャンネル以上の画像を用いた場合には方向性が
完全に混乱してしまい、立体として意味をなさなくなっ
てしまう可能性もある。

【００２１】このように、図５のデータ列５２のデータ
ストリームを単純にデータ単位ごとに左右の復号手段に
与えると、オーディオデータＡの位置でエラーになるば
かりか、その後の右眼用画像のデータ列５２１と、左目
用画像のデータ列５２２の同期も合わなくなってしまう
という可能性がある。

【００２２】また、立体動画像データの再生の際、画像
データ以外のデータが記録されていると、正常な復号が
不可能になり、立体動画像の再生の同期ができなくなる
可能性がある。

【００２３】そこで、本発明は、複数の方向から撮影す
ることによって得られた各々の画像データを復号装置で
復号するときに、各撮影方向の正確な同期が実現できる
立体動画像符号化装置の提供を課題とするものである。

【００２４】

【課題を解決するための手段】これらの課題を解決する
ために請求項１にかかる立体動画像符号化装置は、複数
の方向から撮影することによって得られた各々の画像デ
ータを入力する入力手段と、前記入力手段で得られた撮
影方向毎の各画像データを各々符号化する符号化手段
と、前記符号化手段で得られた撮影方向毎の符号化デー
タを多重化し、一連の圧縮符号化データとする多重化手
段と、前記画像データの撮影方向毎の識別符号を生成す
る識別符号生成手段と、前記識別符号生成手段で得た前
記識別符号を、符号化した撮影方向毎の各画像データに
対応して付加する符号付加手段とを具備するものであ
る。

【００２５】請求項２にかかる立体動画像符号化装置
は、複数の方向から撮影することによって得られた各々
の画像データを入力する入力手段と、前記入力手段で得
られた撮影方向毎の各画像データを各々符号化する符号
化手段と、前記符号化手段で符号化された符号化データ
を撮影方向毎に所定長のデータ列に設定するデータ長設
定手段と、前記データ長設定手段で得られた撮影方向毎
の符号化データを多重化し、一連の圧縮符号化データと
する多重化手段と、前記画像データの撮影方向毎の識別
符号を生成する識別符号生成手段と、前記識別符号生成
手段で得られた前記識別符号を、前記データ長設定手段
から出力された所定長のデータ列に対応して付加する符
号付加手段とを具備するものである。

【００２６】請求項３にかかる立体動画像符号化装置
は、請求項１または請求項２の識別符号生成手段を、前
記画像データの撮影方向を判断し、その判断に基づき撮
影方向毎の識別符号を生成するものである。

【００２７】

【作用】請求項１においては、複数の方向から撮影する
ことによって得られた各々の画像データを入力し、得ら
れた撮影方向毎の各画像データを各々符号化し、その符
号化データを多重化し、一連の圧縮符号化データとする
とき、前記画像データの撮影方向毎の識別符号を識別符
号生成手段で生成し、その生成した識別符号を符号化し
た撮影方向毎の各画像データに対応して付加する。

【００２８】請求項２においては、複数の方向から撮影
することによって得られた各々の画像データを入力し、
得られた撮影方向毎の各画像データを各々符号化し、そ
の符号化された符号化データを撮影方向毎に所定長のデ
ータ列に設定し、その撮影方向毎の符号化データを多重
化し、一連の圧縮符号化データとする。このとき、前記
画像データの撮影方向毎の識別符号を識別符号生成手段
で生成し、前記識別符号生成手段で得られた識別符号を
所定長のデータ列に対応して付加する。

【００２９】請求項３にかかる立体動画像符号化装置
は、請求項１または請求項２の識別符号生成手段を、前
記画像データの撮影方向を判断し、その判断に基づき撮
影方向毎の識別符号を生成する。

【００３０】

【実施例】図１は本発明の一実施例である立体動画像符
号化装置のブロック構成図である。図中、太線で示した
大文字のＡ〜Ｅは画像データまたは画像圧縮データの流
れを示しており、細線で示した小文字のａ〜ｃは撮影方
向の識別符号に関する流れを示している。

【００３１】なお、本実施例では、説明及び理解の容易
さから２チャンネルの場合で説明するが、多チャンネル
の場合にも容易に拡張可能である。

【００３２】図において、１０１Ｒ，１０１Ｌは画像入
力手段であり、ここから画像データが入力される。この
画像入力手段１０１Ｒ，１０１Ｌには、カメラ等の撮像
手段またはテレビ等の画像出力手段からの入力を用いる
場合、テープ、ディスク、メモリ等の記録媒体に立体画
像として記録された画像データを読出す場合、または電
話回線等の通信線路或いは電波、光を介在して画像デー
タを受けとる受信手段等がある。また、本実施例の画像
入力手段１０１Ｒ，１０１Ｌは、左右２チャンネルにお
いて別々の記録形態または撮像形態をとっていることを
前提としているが、本発明を実施する場合には、左右同
一の記録媒体等に記録したものでも使用可能であり、そ
の場合にはそれらのデータを左右各々の画像データに分
離する手段を介して出力されて、この画像入力手段１０
１Ｒ，１０１Ｌにデータが入力される。これらのデータ
はデータＡとして、所望の符号化を行う符号化手段１０
２Ｒ，１０２Ｌに入力される。ここでは、データＡがア
ナログデータであればＡ／Ｄ変換及び圧縮符号化等が行
われ、デジタルデータであれば、例えば、ＭＰＥＧ方式
等の圧縮符号化、またはハフマン符号化、ランレングス
符号化等の符号化のみが行われる。本実施例では使用す
る記録媒体１０６に効率的に記録するか、或いは使用す
る通信線路に適したデータに変換される。そして、符号
化手段１０２Ｒ，１０２Ｌで符号化が行われたデータＢ
は、データ分割手段１０３Ｒ，１０３Ｌに入力される。

【００３３】なお、このデータ分割手段１０３Ｒ，１０
３Ｌは、本発明を実施する場合には、必ずしも必要なも
のではないが、本実施例では左右２チャンネルの画像デ
ータのバラツキを少なくするために、データ分割手段１
０３Ｒ，１０３Ｌを用いる場合について説明する。

【００３４】即ち、圧縮を行った画像データでは、復号
手段側で演算による遅延が生じるために、立体動画像デ
ータを一画像単位で記録を行ったとき、画像データの復
号が間に合わない可能性が存在する。例えば、ＭＰＥＧ
方式と呼ばれる圧縮符号化手法を用いた圧縮画像データ
の場合には、その圧縮データの大きさが一定しない場合
が多く、その結果、比較的大きなバッファメモリを用い
てその変化を緩和吸収する必要がある。

【００３５】立体動画像の場合には、左右の復号手段の
位相が完全に反転して復号を行っており、例えば、右目
画像用の復号手段が復号を行っている間には左目画像用
の復号手段はデータを記録媒体から読出しを行っている
状態となる。通常、ＭＰＥＧを用いた１チャンネル用の
復号手段においては、記録媒体からのデータの読出し
と、復号を平行して行い、復号による遅れをバッファメ
モリで吸収している。このため、立体動画像においてこ
のような復号を行わなければならない場合、常に画像単
位で圧縮データをバッファメモリに読出し、それを記憶
する必要が生じる。また、復号を行っている間はデータ
の読出しが行えないために、通常の遅延に加えて画像一
枚分の復号時間の遅延が加算される。このために、それ
を吸収する分のバッファメモリが必要になる。このよう
に、立体動画像において画像単位で圧縮符号化データを
記憶するには、非常に大きなバッファメモリが必要にな
る。このため、データ分割手段１０３Ｒ，１０３Ｌを用
いて、所定の大きさの画像データに分割し、左右のデー
タができるだけ時間的に均一になるように復号手段に与
えることにより、通常の復号手段及びシステムを用いて
も復号が可能になる。

【００３６】データの分割を行う場合、行なわない場合
のいずれにおいても、この出力データＣは、左右二つの
方向からの画像に関する符号化データを一つの記録媒体
１０６に記録することになる。このため、これらの画像
データは左右を多重化し、一つのデータストリームにま
とめる必要がある。これを行うのがマルチプレクサ１０
４である。そして、このマルチプレクサ１０４では、他
のメディア、例えば、音声やテキストデータ等のエンコ
ーダからの出力データも多重化を行う場合もあり、特
に、本実施例では、他メディアのエンコーダ１０９、１
１０からのデータも同時に多重化を行っている。

【００３７】そして、マルチプレクサ１０４で多重化さ
れたデータＤは、記録媒体書込手段１０５に入力され、
記録媒体１０６にデータＥとして書込まれる。なお、マ
ルチプレクサ１０４の構成としては、このような形態に
限らず、例えば、立体動画像のデータだけを多重化し、
その後、この立体動画像のデータとその他のメディアデ
ータとを多重化するように分割する方法を採用してもよ
い。また、本実施例では、これらのデータは記録媒体１
０６に記録するものとしているが、本発明を実施する場
合には、これらは記録媒体１０６に記録する場合に限っ
たものではない。例えば、通信回線を用いる場合では、
この記録媒体１０６の部分が通信回線となり、記憶媒体
書込手段１０５は通信回線にデータを伝送する送信手段
となる。また、記録媒体１０６の場合には、フロッピー
ディスク、ＲＯＭカセット、磁気テープ媒体、光テープ
媒体、ＣＤ、ＣＤ−ＭＯ、ＣＤ−ＷＯ、ＬＤ、ＬＤ−Ｒ
ＯＭ、ＭＤ等の他の光デイスク、磁気ディスク、光磁気
ディスク等の種々の記録媒体が使用可能であり、記憶媒
体書込手段１０５としては、これに適合した記録媒体１
０６対応するドライブユニット等が用いられる。

【００３８】次に、本発明の左右の識別符号を付加する
方法について説明する。

【００３９】前述のように、画像データの左右チャンネ
ルの判別のために、各々のデータ列中に、左右どちらの
方向から撮影されたデータが符号化されたものかを判断
できるようにする必要がある。これには左右どちらの方
向から撮影されたデータが符号化されたものかを示す符
号を付加してやればよい。データの分割を行わない場合
には、符号化手段１０２Ｒ，１０２Ｌにおいて、その画
像一枚分のデータ中または圧縮データ中に、また、デー
タの分割を行う場合には、データ分割手段１０３Ｒ，１
０３Ｌにおいて、その各々のデータ単位中に、左右の画
像データのどちらであるという識別符号を記録する。こ
の符号は、識別符号生成手段１０７Ｒ，１０７Ｌによっ
て生成される。そして、符号化手段１０２Ｒ，１０２Ｌ
において符号の挿入が行われるときにはａの経路、デー
タ分割手段１０３Ｒ，１０３Ｌにおいて符号の挿入が行
われるときにはｂの経路を用いて、左右どちらの（ｎチ
ャンネルのうちのどれの）データであるかという識別符
号を符号付加手段１０８Ｒ，１０８Ｌが付加することに
なり、画像単位または分割されたデータ群の単位といっ
た、各データ単位にそれらの識別符号が付加される。ま
た、マルチプレクサ１０４においても、各データ単位が
左右どちらのデータか判別可能なため、ｃの経路のよう
に、マルチプレクサ１０４上で符号付加手段１０８Ｒ，
１０８Ｌが左右の識別符号を付加するようにすることが
できる。この識別符号の付加は、符号化手段１０２Ｒ，
１０２Ｌ、データ分割手段１０３Ｒ，１０３Ｌ、または
マルチプレクサ１０４の何れで行ってもよい。この識別
符号の記録の位置としては、図示しない再生装置の記録
媒体読出手段においてそのデータの各復号手段への分配
の判断を即座に行うために、画像単位または分割された
データ群の単位といった、そのデータの記録単位のでき
る限り先頭に記録することが望ましい。

【００４０】このようにして得られたデータの利用例を
図２を用いて説明する。

【００４１】図２は本発明の一実施例である立体動画像
符号化装置を使用し、立体動画像に他のメディアのデー
タを導入した場合のデータ列を示す説明図である。

【００４２】図において、２１は左右２チャンネルの立
体動画像データ、オーディオデータＡn 、テキストデー
タＴn を多重化したデータ列を示している。ここで、立
体動画像のデータには、立体画像の右眼用画像データＲ
n または左眼用画像データＬn に対しては、そのヘッド
に識別符号ＨR または識別符号ＨL が付加されるため、
この全体のストリームはその画像単位または分割された
データ群等の、データ単位毎に識別符号が解釈され、左
目用画像データ列２５、右目用画像データ列２４として
復号可能である。そして、その他の各データにも、その
データの諸元を示す識別符号が付加されれば、識別符号
ＨT の解釈によりテキストデータＴn の復号手段へテキ
ストデータ列２２を、識別符号ＨA の解釈によりオーデ
ィオデータＡn の復号手段にオーディオデータ列２３を
それぞれ得ることが可能になり、各メディアの同期再生
が可能となる。

【００４３】図３に本発明の一実施例である立体動画像
符号化装置を使用して記録したデータを復号する立体動
画像復号化装置のブロック構成図である。なお、図中、
太線で示した大文字のＡ〜Ｅは画像データまたは画像圧
縮データの流れを示している。

【００４４】図において、３１は本実施例の立体動画像
符号化装置によって符号化されたデータが記録された記
録媒体であり、記録媒体３１としては、書込みの場合に
説明したように、フロッピーディスク、ＲＯＭカセッ
ト、磁気テープ媒体、光テープ媒体、ＣＤ、ＣＤ−Ｍ
Ｏ、ＣＤ−ＷＯ、ＬＤ、ＬＤ−ＲＯＭ、ＭＤ等が用いら
れ、３２はその記録媒体３１からデータの読出しを行う
記録媒体読出手段である。また、これらのデータは記録
媒体３１に記録されたものとして扱っているが、記録媒
体３１に記録する場合に限ったものではない。通信に用
いる場合では、この部分は記録媒体３１に限らず、通信
線路となり、記録媒体読出手段３２は通信線路からのデ
ータ伝送を受けとる受信手段となる。

【００４５】この記録媒体読出手段３２によって記録媒
体３１から読出されたデータＡは、出力データＢとして
デマルチプレクサＡ３３に入力される。ここで、デマル
チプレクサＡ３３は図１に示す実施例の立体動画像符号
化装置によって付加された識別符号を参照し、復号手段
３５Ｒ，３５Ｌへの立体動画像データＣ及びそれぞれの
他のメディアのデータＸ，Ｙに分配を行う。また、立体
動画像データＣは識別符号により左右どちらの画像デー
タであるかをデマルチプレクサＢ３４が解釈し、そのデ
ータＤ（Ｒ），Ｄ（Ｌ）として分配される。また、これ
らのデマルチプレクサＢ３４の形態としては、このよう
なものに限らず、全てのデータの分配を一度に行う形態
も可能である。これらは復号手段３５Ｒと３５Ｌに送ら
れ、左右それぞれの復号が行われる。そして、復号され
た画像データＥ（Ｒ），Ｅ（Ｌ）とが、それぞれ表示手
段３６Ｒ，３６Ｌに送られ、立体動画像の再生表示が行
われる。また、デマルチプレクサＡ３３によって分離さ
れた他のメディアデータＸ，Ｙは、それぞれ、他メディ
アデータのデコーダ３７，３８によってデコードが行わ
れる。このようにして容易に立体動画像のデータ分離が
行え、各メディア間の同期再生を実現することが可能に
なる。

【００４６】図１の実施例では、符号化手段１０２Ｒ，
１０２Ｌが左右それぞれに設けた場合について述べた
が、符号化手段１０２Ｒ，１０２Ｌが一つの場合につい
てもこの拡張は容易に可能である。

【００４７】図４は本発明の他の実施例である立体動画
像符号化装置のブロック構成図である。図中、太線で示
した大文字のＡ〜Ｆは画像データまたは画像圧縮データ
の流れを示しており、細線で示した小文字のａ〜ｃは撮
影方向の識別符号に関する流れを示している。

【００４８】なお、本実施例では、説明及び理解の容易
さから２チャンネルの場合で説明するが、多チャンネル
の場合にも容易に拡張可能である。

【００４９】左右２チャンネルの立体動画像を符号化す
るのに、一つの符号化手段４０３を用いた場合を示して
いる。まず、画像入力手段４０１Ｒ，４０１Ｌから画像
データＡが入力される。この例には、カメラ等の撮像手
段、テレビ等の画像出力手段からの入力またはフロッピ
ーディスク、ＲＯＭカセット、磁気テープ媒体、光テー
プ媒体、ＣＤ、ＣＤ−ＭＯ、ＣＤ−ＷＯ、ＬＤ、ＬＤ−
ＲＯＭ、ＭＤ等の記録媒体に記録された画像データを読
出したもの、または通信線路、電波または光通信として
データを受けとる受信手段の場合もありうる。入力され
たデータは、マルチプレクサＡ４０２によってデータＢ
として多重化される。そして、一つの符号化手段４０３
によって符号化が行われてデータＣとなる。そしてデー
タＣのデータ分割手段４０４においてデータが分割され
（または前述したように分割されない場合もある。）、
その分割データＤが他メディアのエンコーダ４０９、４
１０によって符号化されたデータＸ，Ｙと共にマルチプ
レクサＢ４０５に送られ、多重化され、そのデータＥが
記録媒体書込手段４０６によってデータＦとして記録媒
体４０７に書込まれる。また、図４の実施例では、デー
タＦは記録媒体４０７に記録するものとしているが、本
発明を実施する場合には、記録媒体４０７に記録する場
合に限定されるものではない。有線または無線通信に用
いる場合では、この部分が有線または無線通信の端末と
なり、記憶媒体書込手段４０６は通信線路にデータを伝
送する送信手段となる。

【００５０】ここで、立体動画像の符号化データが左右
どちらのデータであるかは、マルチプレクサＡ４０２で
導入を決定しているから、その選択が可能である。この
ため、このマルチプレクサＡ４０２を参照することによ
り識別符号生成手段４０８が識別符号を生成し、その符
号を各画像単位または分割したデータ群の単位毎の符号
に、符号付加手段４１１が付加することになる。これら
の識別符号の付加は、データの分割が行われない場合に
は符号化手段４０３で、また、データの分割が行われる
場合にはデータ分割手段４０４またはマルチプレクサＢ
４０５の実行段階において行われる。この識別符号の付
加は、符号化手段４０３、データ分割手段４０４または
マルチプレクサＢ４０５の何れで行ってもよい。

【００５１】また、ｎチャンネルの場合についても、本
実施例は容易に拡張が可能である。ｎチャンネルの場合
には、図１、図４における記録チャンネルが複数になる
だけであり、それぞれに識別符号生成手段を設けるか、
各チャンネルを一括しての生成手段を設けるかの方法に
より、その識別符号を付加し、データを記録媒体に記録
または有線、無線の通信端末への送信を行うことにな
る。

【００５２】このように、図１及び図４の実施例の立体
動画像符号化装置は、そのデータ分割手段１０３Ｒ，１
０３Ｌまたは４０４を省略することにより、各画像自体
の画像データを取扱うことになる。

【００５３】即ち、複数の方向から撮影することによっ
て得られた各々の画像データを入力する画像入力手段１
０１Ｒ，１０１Ｌまたは４０１Ｒ，４０１Ｌからなる入
力手段と、前記入力手段で得られた撮影方向毎の各画像
データを各々符号化する符号化手段１０２Ｒ，１０２Ｌ
または４０３と、前記符号化手段１０２Ｒ，１０２Ｌま
たは４０３で得られた撮影方向毎の符号化データを多重
化し、一連の圧縮符号化データとするマルチプレクサ１
０４またはマルチプレクサＢ４０５からなる多重化手段
と、前記画像データの撮影方向毎の識別符号を生成する
識別符号生成手段１０７Ｒ，１０７Ｌまたは４０８と、
前記識別符号生成手段１０７Ｒ，１０７Ｌまたは４０８
で得た前記識別符号を、符号化した撮影方向毎の各画像
データに対応して付加する符号付加手段１０８Ｒ，１０
８Ｌまたは４１１とを具備する構成とすることができ、
これを請求項１の実施例とすることができる。

【００５４】したがって、複数の方向から撮影すること
によって得られた各々の画像データを、符号化手段１０
２Ｒ，１０２Ｌまたは４０３で各々画像データ毎に符号
化し、その画像の符号化データのそれぞれに各撮影方向
を識別する符号を付加することにより、その復号装置に
おいては、各撮影方向を識別符号を参照することにより
容易にその撮影方向を決定することができる。このた
め、それに従いそれぞれの復号手段にデータを分配し、
それを再生すれば、立体動画像の左右の良好な同期再生
ができる。この結果、他のメディアデータが共に記録さ
れた場合でも、容易に立体動画像の各々の画像符号化デ
ータや分割された画像符号化データ群といったデータ単
位毎の撮影方向を復号手段が容易に判断することがで
き、良好な同期再生が可能な符号化データを生成するこ
とが可能になる。

【００５５】故に、複数の方向から撮影することによっ
て得られた各々の画像データを復号するときに、各撮影
方向の正確な同期が実現でき、立体画像を明瞭に表示す
ることができる。

【００５６】また、図１及び図４の実施例の立体動画像
符号化装置は、複数の方向から撮影することによって得
られた各々の画像データを入力する画像入力手段１０１
Ｒ，１０１Ｌまたは４０１Ｒ，４０１Ｌからなる入力手
段と、前記入力手段で得られた撮影方向毎の各画像デー
タを各々符号化する符号化手段１０２Ｒ，１０２Ｌまた
は４０３と、前記符号化手段１０２Ｒ，１０２Ｌまたは
４０３で符号化された符号化データを撮影方向毎に所定
長のデータ列に設定するデータ分割手段１０３Ｒ，１０
３Ｌまたは４０４からなるデータ長設定手段と、前記デ
ータ長設定手段で得られた撮影方向毎の符号化データを
多重化し、一連の圧縮符号化データとするマルチプレク
サ１０４またはマルチプレクサＢ４０５からなる多重化
手段と、前記画像データの撮影方向毎の識別符号を生成
する識別符号生成手段１０７Ｒ，１０７Ｌまたは４０８
と、前記識別符号生成手段１０７Ｒ，１０７Ｌまたは４
０８で得られた前記識別符号を、前記データ長設定手段
から出力された所定長のデータ列に対応して付加する符
号付加手段１０８Ｒ，１０８Ｌまたは４１１とを具備す
る構成とすることができ、これを請求項２の実施例とす
ることができる。

【００５７】即ち、各符号化された画像データを所定の
長さのデータ列に分割し、分割した画像の符号化データ
のそれぞれに各撮影方向を識別する符号を付加すること
により、その復号装置においては、各撮影方向を識別符
号を参照することにより容易にその撮影方向を決定する
ことができる。このため、それに従いそれぞれの復号手
段にデータを分配し、再生を行えば立体動画像の左右の
良好な同期再生ができる。この結果、他のメディアデー
タが共に記録された場合でも、容易に立体動画像の各々
の画像符号化データや分割された画像符号化データ群と
いった、データ単位毎の撮影方向を復号手段が容易に判
断することができ、良好な同期再生が可能な符号化デー
タを生成することが可能になる。

【００５８】故に、複数の方向から撮影することによっ
て得られた各々の画像データを復号するときに、各撮影
方向の正確な同期が実現でき、立体画像を明瞭に表示す
ることができる。

【００５９】そして、図４の実施例の立体動画像符号化
装置の画像データの撮影方向毎の識別符号を生成する識
別符号生成手段４０８は、前記画像データの撮影方向を
判断し、その判断に基づき撮影方向毎の識別符号を生成
するものであり、これを請求項１または請求項２に記載
の実施例とすることができる。この種の実施例において
は、画像データの撮影方向を判断し、その判断に基づき
撮影方向毎の識別符号を生成するものであるから、ｎチ
ャンネルに対応する場合にも識別符号生成手段４０８及
び符号付加手段４１１の回路が１系列と少なくでき、そ
れだけ廉価に製造でき、画像の符号化データのそれぞれ
に各撮影方向を識別する符号を付加することにより、そ
の復号装置においては、各撮影方向を識別符号を参照す
ることにより容易にその撮影方向を決定することができ
る。このため、それに従いそれぞれの復号手段にデータ
を分配し、その再生を行えば立体動画像の左右の良好な
同期再生ができる。故に、複数の方向から撮影すること
によって得られた各々の画像データを復号するときに、
各撮影方向の正確な同期が実現でき、立体画像を明瞭に
表示することができる。

【００６０】

【発明の効果】以上のように、請求項１の立体動画像符
号化装置においては、複数の方向から撮影することによ
って得られた各々の画像データを、符号化手段で各々画
像データ毎に符号化し、その画像の符号化データのそれ
ぞれに各撮影方向を識別する符号を付加することによ
り、その復号装置において、各撮影方向を識別符号を参
照することにより容易にその撮影方向を決定することが
できる。このため、それに従いそれぞれの復号手段にデ
ータを分配し、それを再生すれば、立体動画像の左右の
良好な同期再生ができる。したがって、複数の方向から
撮影することによって得られた各々の画像データを復号
するときに、各撮影方向の正確な同期が実現でき、立体
画像を明瞭に表示することができる。

【００６１】請求項２の立体動画像符号化装置において
は、各符号化された画像データを所定の長さのデータ列
に分割し、分割した画像の符号化データのそれぞれに各
撮影方向を識別する符号を付加することにより、その復
号装置において、各撮影方向を識別符号を参照すること
により容易にその撮影方向を決定することができる。こ
のため、それに従いそれぞれの復号手段にデータを分配
し、再生を行えば立体動画像の左右の良好な同期再生が
できる。したがって、複数の方向から撮影することによ
って得られた各々の画像データを復号するときに、各撮
影方向の正確な同期が実現でき、立体画像を明瞭に表示
することができる。

【００６２】請求項３の立体動画像符号化装置において
は、請求項１または請求項２の画像データの撮影方向毎
の識別符号を生成する識別符号生成手段を、前記画像デ
ータの撮影方向を判断し、その判断に基づき撮影方向毎
の識別符号を生成するものであるから、識別符号生成手
段及び符号付加手段の回路が少なくでき、それだけ廉価
に製造できる。また、画像の符号化データのそれぞれに
各撮影方向を識別する符号を付加することにより、その
復号装置においては、各撮影方向を識別符号を参照する
ことにより容易にその撮影方向を決定することができ
る。このため、それに従いそれぞれの復号手段にデータ
を分配し、その再生を行えば立体動画像の左右の良好な
同期再生ができる。したがって、複数の方向から撮影す
ることによって得られた各々の画像データを復号すると
きに、各撮影方向の正確な同期が実現でき、立体画像を
明瞭に表示することができる。

【図面の簡単な説明】

【図１】図１は本発明の一実施例である立体動画像符号
化装置のブロック構成図である。

【図２】図２は本発明の一実施例である立体動画像符号
化装置を使用し、立体動画像に他のメディアのデータを
導入した場合のデータ列を示す説明図である。

【図３】図３は本発明の一実施例である立体動画像符号
化装置を使用して記録してデータを復号手段する場合の
立体動画像復号化装置のブロック構成図である。

【図４】図４は本発明の他の実施例である立体動画像符
号化装置のブロック構成図である。

【図５】図５は立体動画像に他のメディアのデータを導
入した場合のデータ列を示すデータ列の概念図である。

【符号の説明】

１０１Ｒ，１０１Ｌ画像入力手段１０２Ｒ，１０２Ｌ符号化手段１０３Ｒ，１０３Ｌデータ分割手段１０４マルチプレクサ１０５，４０６記録媒体書込手段１０６，４０７記録媒体１０７Ｒ，１０７Ｌ識別符号生成手段４０１Ｒ，４０１Ｌ画像入力手段４０２マルチプレクサＡ４０３符号化手段４０４データ分割手段４０５マルチプレクサＢ４０８識別符号生成手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者長縄一男大阪府守口市京阪本通２丁目５番５号三洋電機株式会社内 (72)発明者外山建夫大阪府守口市京阪本通２丁目５番５号三洋電機株式会社内

Claims

【特許請求の範囲】

【請求項１】複数の方向から撮影することによって得
られた各々の画像データを入力する入力手段と、前記入力手段で得られた撮影方向毎の各画像データを各
々符号化する符号化手段と、前記符号化手段で得られた撮影方向毎の符号化データを
多重化し、一連の圧縮符号化データとする多重化手段
と、前記画像データの撮影方向毎の識別符号を生成する識別
符号生成手段と、前記識別符号生成手段で得た前記識別符号を、符号化し
た撮影方向毎の各画像データに対応して付加する符号付
加手段とを具備することを特徴とする立体動画像符号化
装置。
【請求項２】複数の方向から撮影することによって得
られた各々の画像データを入力する入力手段と、前記入力手段で得られた撮影方向毎の各画像データを各
々符号化する符号化手段と、前記符号化手段で符号化された符号化データを撮影方向
毎に所定長のデータ列に設定するデータ長設定手段と、前記データ長設定手段で得られた撮影方向毎の符号化デ
ータを多重化し、一連の圧縮符号化データとする多重化
手段と、前記画像データの撮影方向毎の識別符号を生成する識別
符号生成手段と、前記識別符号生成手段で得られた前記識別符号を、前記
データ長設定手段から出力された所定長のデータ列に対
応して付加する符号付加手段とを具備することを特徴と
する立体動画像符号化装置。
【請求項３】前記画像データの撮影方向毎の識別符号
を生成する識別符号生成手段は、前記画像データの撮影
方向を判断し、その判断に基づき撮影方向毎の識別符号
を生成することを特徴とする請求項１または請求項２に
記載の立体動画像符号化装置。