JP3080486B2

JP3080486B2 - 多眼式立体映像の直交変換符号化方式

Info

Publication number: JP3080486B2
Application number: JP26174692A
Authority: JP
Inventors: 真喜子此島; 映史森松; 章中川; 喜一松田
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1992-09-30
Filing date: 1992-09-30
Publication date: 2000-08-28
Anticipated expiration: 2015-08-28
Also published as: JPH06113337A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、複数のカメラからの出
力を用いて多眼式立体映像を得るシステムに適用される
方式に関し、特に、各カメラからの出力に対するＤＣ
Ｔ，ＷＡＶＥＬＥＴ，アダマール，ＫＬ等の直交変換符
号化方式に関する。

【０００２】

【従来の技術】図７は一般的な多眼式立体映像システム
の構成を示すブロック図であるが、この図７において、
１０１は被写体、１０２は被写体１０１を撮影するカメ
ラで、このカメラ１０２は複数個設けられており、各カ
メラ１０２は、縦と横で位置（撮像方向，取付角度）を
少しずつずらして配置されている。

【０００３】各カメラ１０２の配置位置を少しずつずら
しているのは、１つのカメラからの出力を片方の眼に対
する入力として、両眼視差を形成して立体視が得られる
ようにするためである。従って、このようにカメラ１０
２を多数用いることにより、出力系でディスプレイ１０
７を見る人間が、このディスプレイ１０７を見る位置を
変えても自然な立体視が得られるようになっている。

【０００４】１０３は各カメラ１０２から入力される画
像データを符号化する符号化器、１０４は符号化器１０
３で符号化された画像データを伝送路にのせて伝送すべ
く多重化するマルチプレクス器（多重化器）、１０５は
伝送路を介して入力された多重画像データを分離するデ
マルチプレクス器（分離器）、１０６はデマルチプレク
ス器１０５で分離された画像データをディスプレイ１０
７に映し出すために復号を行なう復号器である。なお、
ディスプレイ１０７としては、例えば、レンチキュラ・
レンズ（横方向にのみ視差がある場合）、または、ハエ
の眼レンズ（縦方向，横方向に視差がある場合）を使用
する。

【０００５】上述の構成により、従来の多眼式立体映像
システムは次のように動作する。まず、静止している、
あるいは、動いている被写体１０１を、配置位置，方向
を縦および横に少しずつずらした複数のカメラ１０２で
撮影する。次に、複数のカメラ１０２から得られた画像
データを高能率符号化し、マルチプレクス器１０４によ
り多重化（マルチプレクス）する。

【０００６】その後、伝送路などを介して伝送し、受信
側ではデマルチプレクス器１０５により分離（デマルチ
プレクス）した後、復号器１０６により復号を行ない、
ディスプレイ１０７に映し出す。このディスプレイ１０
７に映し出された映像の一例として、図８にタコを被写
体としたときの、縦５眼，横５眼のそれぞれのカメラ１
０２からの出力を示す。この例では、上下方向にも視差
があることが分かる。

【０００７】さらに、他の例として、図９にホログラフ
ィック・ステレオグラムを構成する場合のシステムの一
例を示す。この図９において、復号器１０６によって復
号を行なうところまでは図７で示した多眼式立体映像シ
ステムと同様である。１０８は位相計算部１０９による
ホログラム位相計算の前処理として画像サイズを変換す
る画像サイズ変換部であり、位相計算部１０９は、画像
サイズ変化後にディスプレイ等のホログラフィック出力
系１１０へ出力するためのホログラム位相計算を行なう
ものである。

【０００８】このような構成により、上述したホログラ
フィック・ステレオグラムは、復号器１０６による復号
を行なうところまでは、図９で示した多眼式立体映像シ
ステムと同様であるが、復号器１０６で復号を行なった
後は、位相計算部１０９によるホログラム位相計算を行
なうために、画像サイズ変換部１０８により画像サイズ
を変換する。その後、位相計算部１０９で位相計算を行
ない、ホログラフィック出力系１１０によって画像を出
力する。

【０００９】ところで、通常、２次元直交変換の場合、
カメラ１０２からの出力画像（１フレーム）をＮ×Ｎ画
素のブロックに区切り、直交変換を行なっている（１次
元直交変換の場合、Ｎ×１画素の細長いブロックに区切
り直交変換を行なう）。次に、図７，図９で示したシス
テムの符号化器１０３で行なわれる従来の直交変換符号
化方式（直交変換スキャン方式）を図１０により説明す
る。この図１０は単眼の場合（通常のテレビ）の場合に
ついての符号化器の詳細構成を示すブロック図である
が、多眼式立体映像システムの符号化器１０３で行なわ
れる直交変換符号化方式も基本的に単眼の場合と同様で
あるので、ここでは、単眼の場合について説明する。

【００１０】図１０において、１１１はカメラ１０２か
らの出力に対して直交変換を施す直交変換器、１１２は
直交変換後のデータを量子化する量子化器、１１３は２
次元の場合に量子化後のデータを図１１（ａ）〜（ｃ）
に示す手段により１次元に変換するための１次元並べ変
え部、１１４は１次元に並べ変えられたデータに対して
可変長符号化を施す可変長符号化器（ＶＬＣ; Valiable
word Length Cording) である。

【００１１】このような構成により、まず、カメラ１０
２により被写体を撮像することにより画像データ信号を
得る。このとき、過去の符号化結果をローカルデコード
して得られた過去の再生画像あるいは原画像とマッチン
グをとって予測を行なってもよい。この原信号あるいは
予測誤差信号について、直交変換器１１１により１次元
直交変換あるいは２次元直交変換を行なう。直交変換の
種類としては、ＤＣＴ，ＷＡＶＥＬＥＴ，アダマール，
ＫＬ等様々であるが、どの直交変換においても、基本的
な性質として、画像データ信号を直交変換した後には、
低周波数領域側に分布が集中することが知られている。
このような性質を利用して、以下のように高能率符号化
を行なっている。なお、人間の視覚は、低周波数領域ほ
ど符号化歪みに敏感であるという視覚特性を利用して、
直交変換器１１１による直交変換後、低周波数領域を細
かく量子化するための量子化マトリックス（重み付け）
をかける場合もある。

【００１２】直交変換後もしくは量子化マトリックスを
乗算した後、量子化器１１２によって量子化を行ない、
２次元の場合、１次元並べ変え部１１３によりスキャン
して１次元に変換してから、可変長符号化器１１４によ
り可変長符号化を行なう（ＶＬＣについては、例えば標
準化方式として知られているＭＰＥＧ１の２次元ＶＣを
用いる。０ラン長と０でない係数の大きさとの組み合わ
せからなる）。

【００１３】１次元並べ変え部１１３によるスキャン手
段としては、画像データの性質に合わせて、図１１
（ａ）に示すようなジグザグスキャンや、図１１（ｂ）
に示すような縦スキャンや、図１１（ｃ）に示すような
横スキャンなどが知られている。なお、図１１（ａ）〜
（ｃ）には４×４画素のブロックの場合についてのスキ
ャン順序例が示されており、各ブロックに記入された数
字がスキャン順序を示すものである。

【００１４】図１１（ａ）に示すジグザグスキャンは、
標準化等にも採用されている一般的な例で、低周波側か
ら高周波側へ斜め方向にスキャンしていく。図１１
（ｂ）に示す縦スキャンは、低周波側から高周波側へ縦
方向にスキャンする手段で、直交変換器１１１への入力
画像データ信号が、縦方向に相関が強い場合に有効であ
る。図１１（ｃ）に示す横スキャンは、低周波側から高
周波側へ横方向にスキャンする手段で、直交変換器１１
１への入力画像データ信号が、横方向に相関が強い場合
に有効である。

【００１５】なお、多眼式立体映像システムにおいて
は、図１０に示すような直交変換符号化のための構成
が、図７に示すカメラ１０２毎にそなえられ、カメラ１
０２毎に上述と同様の直交変換符号化処理が行なわれて
いる。

【００１６】

【発明が解決しようとする課題】ところで、従来の多眼
式立体映像の直交変換符号化方式では、多眼式であって
も、単眼の場合と同様に、各カメラ１０２にて得られる
画像データ信号毎に、直交変換，量子化，可変長符号化
を行なっている。多眼式立体映像の場合、各カメラ１０
２からの出力画像データは、図８にも示したように似通
っている（相関が強い）ものが多いという特徴があるに
もかかわらず、各カメラ１０２からの画像データ信号毎
に直交変換，量子化，可変長符号化を行なって上述のよ
うな特徴を利用していないため、効率のよい符号化がで
きず、画質の劣化を招いていた。

【００１７】本発明は、このような課題に鑑み創案され
たもので、複数カメラを用いた多眼式立体映像において
特徴的な各カメラ間の相関の強さを利用し、符号化効率
および視覚特性の向上をはかった多眼式立体映像の直交
変換符号化方式を提供することを目的とする。

【００１８】

【課題を解決するための手段】図１は第１および第２の
発明の原理ブロック図で、この図１において、１は被写
体（図示せず）を撮影するカメラで、このカメラ１は複
数個設けられており、各カメラ１は、縦と横で位置（撮
像方向，取付角度）を少しずつずらして配置され、１つ
のカメラからの出力を片方の眼に対する入力として、両
眼視差を形成して立体映像を得ている。

【００１９】２は各カメラ１からの出力について直交変
換を施す直交変換器、３はデータ並べ替え手段で、この
データ並べ替え手段３は、各直交変換器２からの出力に
ついて、他のカメラ１における画像の同一位置または対
応する位置の近傍位置での直交変換出力の集合となるよ
うに、データの並べ替えを行なうものである。４はデー
タ並べ替え手段３によって並べ替えを行なわれたデータ
に対して量子化を施す量子化器、５は量子化器４からの
量子化データに対して可変長符号化を施す可変長符号化
器（ＶＬＣ）である。

【００２０】なお、データ並べ替え手段３と量子化器４
との間には、データ並べ替え後のデータに対し、各直交
変換出力の集合内で、差分符号化（ＤＰＣＭ）を施す差
分符号化手段６をそなえてもよい。また、図２は第３お
よび第４の発明の原理ブロック図で、この図２に示すよ
うに、第３および第４の発明も図１に示した第１および
第２の発明とほぼ同様に構成されているが、この第３お
よび第４の発明は、相関判定手段７が新たにそなえられ
ている点で異なっている。

【００２１】この相関判定手段７は、各カメラ１からの
出力に基づいて各カメラ１からの出力間での相関を判定
し、相関が強ければ、データ並べ替え手段３において、
各直交変換器２からの出力について他のカメラ１におけ
る画像の同一位置または対応する位置の近傍位置での直
交変換出力の集合となるようにデータを並べ替える一
方、相関が弱ければ、データ並べ替え手段３において、
同一カメラからの直交変換出力の集合となるようにデー
タを並べ替えるものである。

【００２２】

【作用】上述した第１および第２の発明の多眼式立体映
像の直交変換符号化方式では、各カメラ１からの出力が
直交変換器２により直交変換された後、各直交変換器２
からの出力データが、データ並べ替え手段３により、他
のカメラ１における画像の同一位置または対応する位置
の近傍位置での直交変換出力の集合となるように並べ替
えられる。

【００２３】そして、このようにデータ並べ替え手段３
によって並べ替えられたたデータが、量子化器４により
量子化されさらに可変長符号化器５により符号化されて
出力される。なお、多眼式立体映像では、各カメラ１の
同位置ブロックの同周波数成分（同一位置または対応す
る位置の近傍位置での直交変換出力）は似ている場合が
多いので、差分符号化手段６により、データ並べ替え後
のデータに対して各直交変換出力の集合内で差分符号化
を施して量子化を行なうことで、０となる割合を増やす
ことができる。

【００２４】また、上述した第３および第４の発明の多
眼式立体映像の直交符号化方式では、相関判定手段７に
より、各カメラ１からの出力に基づいて各カメラ１から
の出力間での相関が判定され、相関が強ければ、各カメ
ラ１からの出力が直交変換器２により直交変換された
後、各直交変換器２からの出力データが、データ並べ替
え手段３により、他のカメラ１における画像の同一位置
または対応する位置の近傍位置での直交変換出力の集合
となるように並べ替えられる。

【００２５】一方、相関判定手段７により相関が弱いと
判定された場合には、各カメラ１からの出力が直交変換
器２により直交変換された後、各直交変換器２からの出
力データが、データ並べ替え手段３により、同一カメラ
からの直交変換出力について画像の同一位置または対応
する位置の近傍位置での直交変換出力の集合となるよう
に並べ変えられる。

【００２６】そして、このようにデータ並べ替え手段３
によって並べ替えられたたデータが、量子化器４により
量子化されさらに可変長符号化器５により符号化されて
出力される。なお、上述の通り、この第３および第４の
発明においても、差分符号化手段６により、データ並べ
替え後のデータに対して各直交変換出力の集合内で差分
符号化を施して量子化を行なうことで、０となる割合を
増やすことができる。

【００２７】

【実施例】以下、図面を参照して本発明の実施例を説明
する。（ａ）第１実施例の説明図３は本発明の第１実施例を示すブロック図で、この図
３において、１は被写体（図示せず）を撮影すべく複数
個（例えば本実施例では５眼×５眼の２５個）設けられ
たカメラで、各カメラ１は、縦と横で位置（撮像方向，
取付角度）を少しずつずらして配置され、１つのカメラ
からの出力を片方の眼に対する入力とし、両眼視差を形
成して立体映像を得ている。また、本実施例では、図４
にて後述するごとく、各カメラ１からの出力画像データ
は、８×８画素の大きさのブロックとし、各カメラ１か
らの出力画像データは、直交変換器２により２次元直交
変換を施されるようになっている。

【００２８】８は各直交変換器２により２次元直交変換
されたデータを一旦記憶するメモリ、３Ａはデータ並べ
替え手段で、本実施例のデータ並べ替え手段３Ａは、各
メモリ８からのデータを切替出力することによりデータ
の並べ替えを行なうスイッチング素子３ａと、このスイ
ッチング素子３ａによる切替動作を制御するためのスイ
ッチング順序マトリックス（図４のステップＡ１参照）
を適宜設定するスイッチング順序マトリックス設定部３
ｂとから構成されている。

【００２９】スイッチング素子３ａは、スイッチング順
序マトリックス設定部３ｂにより設定されたスイッチン
グ順序マトリックスに従い切替動作するようになってお
り、各直交変換器２からの出力について他のカメラ１に
おける画像の同一位置または対応する位置の近傍位置で
の直交変換出力の集合となるように、データの並べ替え
を行なうようになっている。

【００３０】９はデータ並べ替え手段３Ａにより並べ替
えられた画像データを一旦記憶するメモリ、４はデータ
並べ替え手段３によって並べ替えを行なわれたデータに
対して量子化を施す量子化器、５は量子化器４からの量
子化データに対して可変長符号化を施す可変長符号化器
（ＶＬＣ）、６Ａはデータ並べ替え手段３Ａと量子化器
４との間に介設されデータ並べ替え後のデータに対して
各直交変換出力の集合内で差分符号化（ＤＰＣＭ：フレ
ーム内予測符号化を意味し、信号をナイキスト周波数で
標本化して、予測誤差を複数ビットで符号化するもの）
を施す差分符号化手段であり、この差分符号化手段６Ａ
は、後述する（１）式（図４のステップＡ３参照）に従
いＤＰＣＭを行なうもので、加算器１０，逆量子化器１
１，セレクタ１２，遅延回路１３，減算器１４から構成
されている。

【００３１】上述の構成により、各カメラ１からの出力
は、各直交変換器２により２次元直交変換され、それぞ
れメモリ８に一旦記憶された後、各直交変換データが、
データ並べ替え手段３Ａにより、他のカメラ１における
画像の同一位置または対応する位置の近傍位置での直交
変換出力の集合となるように並べ替えられる。本実施例
では、５眼×５眼で２５台のカメラ１をそなえ、各カメ
ラＫ₁₁〜Ｋ₅₅の出力画像ブロックをそれぞれＫＢ₁₁〜Ｋ
Ｂ₅₅とし、各ブロックＫＢ₁₁〜ＫＢ₅₅の大きさは８×８
画素とし、各ブロックＫＢ₁₁〜ＫＢ₅₅の画素データをＫ
Ｂ_klij（ｋ＝１〜４，ｌ＝１〜４，ｉ＝１〜８，ｊ＝１
〜８）で表す（図４のステップＡ１参照）。

【００３２】また、各カメラＫ₁₁〜Ｋ₅₅の配列マトリッ
クスは図４のステップＡ１に（ａ）で示すものとするほ
か、スイッチング順序マトリックス設定部３ｂにより設
定されるスイッチング順序マトリックスＳＷ（５，５）
としては、図４のステップＡ１に示された（１）〜
（３）の３種類から選択するものとし、本実施例では、
これらのうち（２）のスイッチング順序マトリックスＳ
Ｗ（５，５）を選択するものとする。

【００３３】スイッチング順序マトリックス設定部３ｂ
において（２）のスイッチング順序マトリックスＳＷ
（５，５）を選択することにより、スイッチング素子３
ａは、このマトリックスＳＷ（５，５）に従って切替駆
動されデータの並べ替えが行なわれ、並べ替え後のデー
タはメモリ９に一旦記憶される。ここで得られた配列
を、ＴＭＰ_ij（ＳＷ（ｋ，ｌ））＝ＫＢ_klijと定義する
（図４のステップＡ２参照）。ＴＭＰ₁₁，ＴＭＰ₁₂，
…，ＴＭＰ₈₈は、２５個の要素をもつ配列（カメラ１の
数と同じ）で、それぞれ違うブロックの同じ周波数成分
を集めたもので、ＴＭＰ₁₁は直流分のみ、ＴＭＰ₁₂，
…，ＴＭＰ₈₈は交流成分となっている。

【００３４】ここで、本実施例では、それぞれの配列Ｔ
ＭＰ₁₁，ＴＭＰ₁₂，…，ＴＭＰ₈₈について、符号化効率
を上げるために、差分符号化手段６Ａにより各配列ＴＭ
Ｐ₁₁，ＴＭＰ₁₂，…，ＴＭＰ₈₈内（データ並べ替え後の
データに対して各直交変換出力の集合内）でＤＰＣＭを
行ないΔＴＭＰ_ij（ｋ）を下式（１）のごとく求めつつ
（図４のステップＡ３参照）、量子化器４による量子化
を行なった後、可変長符号化器５による可変長符号化を
行なっている（図４のステップＡ４参照）。

【００３５】なぜならば、多眼式立体映像では、各カメ
ラ１の同位置ブロックの同周波数成分は似ている場合が
多く（動き補償，視差補償を行なっても相関が残る場合
が多く）、差分符号化手段６Ａにより差分をとって量子
化を行なえば、０となる割合を増やすことができるた
め、可変長符号化器５による０ランレングスを用いた可
変長符号化が有効に作用することになる。なお、差分符
号化手段６ＡによりＤＰＣＭを行なうことは必須ではな
く、ＤＰＣＭを行なうことなく量子化を実行してもよ
い。

【００３６】 ΔＴＭＰ_ij（ｋ）＝ＴＭＰ_ij（ｋ）−Ｑ’（ＴＭＰ_ij（ｋ−１）），ｋ＞１ＴＭＰ_ij（ｋ）−Ｘ_ij，ｋ＝１（１）上式（１）中、Ｘ_ijは受信側にも判る情報、例えば、あ
る定数，同一ブロック内の隣接する量子化済の係数等を
用い、ｋ＝１の場合にセレクタ１２により選択され、減
算器１４へ出力されるものである。また、Ｑ’（ＴＭＰ
_ij（ｋ−１））は加算器１０，遅延回路１３，逆量子化
器１１により得られた復号結果で、ｋ＞１の場合にセレ
クタ１２により選択され減算器１４へ出力されるもので
ある。

【００３７】（１）式により得られた差分符号化結果Δ
ＴＭＰ_ij（ｋ）は、公知の方法に従って量子化器４によ
り量子化された後、０ランと係数値とを組み合わせたＶ
ＬＣを行なうが、このとき、各ΔＴＭＰ_ij（ｋ）毎に区
切ってＶＬＣを行なう方式や、各ΔＴＭＰ_ij（ｋ）を、
縦方向，横方向，あるいはジグザグにつなげてＶＬＣを
行なう方式など、種々の方式が考えられる。

【００３８】このように、本発明の第１実施例の多眼式
立体映像の直交変換符号化方式によれば、各カメラ１か
らの出力画像ブロックの類似性を利用して、各カメラ１
の画像間にまたがって同一位置（または対応する位置の
近傍位置）の直交変換出力（係数）の集合を、データ並
べ替え手段３Ａにより並べ替えて形成してから、量子
化，ＶＬＣを行なうことにより、各カメラ１で生じてい
る冗長性を排すことができ、より効率的な符号化を行な
い、より特性のよい画像を得ることができる。

【００３９】また、差分符号化手段６Ａにより、データ
並べ替え後のデータに対して各直交変換出力の集合内で
差分符号化を施して量子化を行なうことで、０となる割
合を増やすことができ、可変長符号化効率をさらに高め
ることができる。（ｂ）第２実施例の説明図５は本発明の第２実施例を示すブロック図で、この図
５に示すように、第２実施例も、図３に示した第１実施
例とほぼ同様に構成されるものであり、図５中、既述の
符号と同一の符号は、同一部分を示しているので、その
説明は省略する。

【００４０】この第２実施例では、各カメラ１からの出
力画像データは、直交変換器２により１次元直交変換を
施すものとする。１次元直交変換の場合、相関は、各カ
メラ１からの出力画像間にも、また、画像内にもあるた
め、本実施例では、図５に示すように、第１実施例と同
様の構成に対して相関判定手段７Ａを新たにそなえ、相
関判定手段７Ａにより、各カメラ１からの画像間の相関
および画像内の相関を判定して、符号化効率の良い方に
切り替えながら量子化，可変長符号化を行なっている。

【００４１】つまり、相関判定手段７Ａは、各カメラ１
からの出力（直交変換をしない原画）に基づき、各カメ
ラ１からの画像間の相関および画像内の相関を図６のス
テップＢ２に示す判定式に従って判定し、相関が強けれ
ば、データ並べ替え手段３Ｂにおいて、各直交変換器２
からの出力について他のカメラ１における画像の同一位
置（または対応する位置の近傍位置）での直交変換出力
の集合となるようにデータを並べ替える一方、相関が弱
ければ、データ並べ替え手段３Ｂにおいて、同一カメラ
からの直交変換出力の集合となるようにデータを並べ替
えるものである。

【００４２】本実施例のデータ並べ替え手段３Ｂには、
第１実施例と同様のスイッチング素子３ａおよびスイッ
チング順序マトリックス設定部３ｂがそなえられるほか
に、スイッチング素子３ａによるスイッチング動作の速
さを変えることにより、上述した相関に応じたデータ並
べ替えを行なうべく、相関判定手段７Ａからの判定結果
に応じて２種類のクロックαとα／８とを選択的に切り
替えてカウンタ３ｄに出力するセレクタ３ｃがそなえら
れている。

【００４３】上述の構成により、第２実施例では、各カ
メラ１からの出力は、各直交変換器２により１次元直交
変換され、それぞれメモリ８に一旦記憶されると同時
に、直交変換されない原画データが相関判定手段７Ａに
入力される。本実施例では、５眼×５眼で２５台のカメ
ラ１をそなえ、各カメラＫ₁₁〜Ｋ₅₅の出力画像ブロック
をそれぞれＫＢ₁₁〜ＫＢ₅₅とし、各ブロックＫＢ₁₁〜Ｋ
Ｂ₅₅の大きさは８×１画素とし、画像内で量子化，ＶＬ
Ｃを行なう場合のブロックの個数を８とする。また、カ
メラＫ₁₁の出力画像ブロックＫＢ₁₁₁(８），ＫＢ
₁₁₂(８），…，ＫＢ₁₁₈(８）〜カメラＫ₅₅の出力画像ブ
ロックＫＢ₅₅₁(８），ＫＢ₅₅ ₂(８），…，ＫＢ₅₅₈(８）
を、図６のステップＢ１に示すように設定する。

【００４４】そして、各カメラ１からの出力画像間でデ
ータ並べ替えを行なうか、同一カメラからの画像内でデ
ータ並べ替えを行なうかの判定が、図６のステップＢ２
に示すアルゴリズム（判定式）に従い相関判定手段７Ａ
により行なわれる。この判定式により得られる値Ｈの意
味は、それぞれのカメラ１の画像内でのブロック間の似
ている度合いを表すもので、この値Ｈが所定しきい値Ｔ
Ｈよりも大きいと図６のステップＢ３で判定された場合
には、同一カメラの画像内での相関が弱い、つまり各カ
メラ１からの出力間での相関が強いと判定され、各カメ
ラ１からの出力画像間で量子化，ＶＬＣを行なうべく、
セレクタ３ｃによりクロック速度α／８が選択され（図
６のステップＢ４参照）、各カメラ１からの出力が直交
変換器２により１次元直交変換された後、各直交変換器
２からの出力データが、データ並べ替え手段３Ｂによ
り、他のカメラ１における画像の同一位置（または対応
する位置の近傍位置）での直交変換出力の集合となるよ
うに並べ替えられる。

【００４５】一方、相関判定手段７Ｂにより、値Ｈが所
定しきい値ＴＨよりも小さいと図６のステップＢ３で判
定された場合には、同一カメラの画像内での相関が強
い、つまり各カメラ１からの出力間での相関が弱いと判
定され、同一カメラの出力画像内で量子化，ＶＬＣを行
なうべく、セレクタ３ｃによりクロック速度αが選択さ
れ（図６のステップＢ５参照）、各カメラ１からの出力
が直交変換器２により１次元直交変換された後、各直交
変換器２からの出力データが、データ並べ替え手段３Ｂ
により、同一カメラからの直交変換出力について画像の
同一位置（または対応する位置の近傍位置）での直交変
換出力の集合となるように並べ変えられる。

【００４６】なお、上述したステップＢ４，Ｂ５による
クロック選択後の動作は、図４により説明した第１実施
例のものと全く同様であるので、ここでは、その説明は
省略する。このように、本発明の第２実施例の多眼式立
体映像の直交変換符号化方式によれば、各カメラ１から
の出力画像ブロックの類似性を利用して、各カメラ１の
画像間にまたがって同一位置（または対応する位置の近
傍位置）の係数に量子化，ＶＬＣを施すか、あるいは、
各カメラ１の画像内で同一位置（または対応する位置の
近傍位置）の係数に量子化，ＶＬＣを施すかを、相関判
定手段７Ａにより判定される各カメラ１からの画像間の
相関および画像内の相関に基づいて適応的に選択するこ
とができ、特に１次元直交変換を行なう場合に、第１実
施例よりもさらに効率的な符号化を実現することができ
る。

【００４７】

【発明の効果】以上詳述したように、本発明の多眼式立
体映像の直交変換符号化方式（請求項１）によれば、各
カメラの画像間にまたがって同一位置（または対応する
位置の近傍位置）の直交変換出力の集合を並べ替えて形
成してから、量子化，ＶＬＣを行なうことにより、各カ
メラで生じている冗長性を排すことができ、より効率的
な符号化を行ない、より特性のよい画像を得られるとい
う効果がある。

【００４８】また、本発明の請求項３の多眼式立体映像
の直交変換符号化方式によれば、各カメラの画像間にま
たがって同一位置（または対応する位置の近傍位置）の
係数に量子化，ＶＬＣを施すか、あるいは、各カメラの
画像内で同一位置（または対応する位置の近傍位置）の
係数に量子化，ＶＬＣを施すかを、画像間の相関に基づ
いて適応的に選択することができ、特に１次元直交変換
を行なう場合に、極めて効率的な符号化を実現でき、よ
り特性のよい画像を得られるという効果がある。

【００４９】さらに、本発明の請求項２，４の多眼式立
体映像の直交変換符号化方式によれば、データ並べ替え
後のデータに対して各直交変換出力の集合内で差分符号
化を施して量子化を行なうことで、０となる割合を増や
すことができ、請求項１，３の方式よりも、可変長符号
化効率がさらに向上するという効果がある。

【図面の簡単な説明】

【図１】第１および第２の発明の原理ブロック図であ
る。

【図２】第３および第４の発明の原理ブロック図であ
る。

【図３】本発明の第１実施例を示すブロック図である。

【図４】第１実施例の動作を説明するためのフローチャ
ートである。

【図５】本発明の第２実施例を示すブロック図である。

【図６】第２実施例の動作を説明するためのフローチャ
ートである。

【図７】一般的な多眼式立体映像システムの構成を示す
ブロック図である。

【図８】多眼式（５眼×５眼）のカメラの出力例を示す
図である。

【図９】一般的なホログラフィック・ステレオグラム・
システムの構成を示すブロック図である。

【図１０】従来の直交変換符号化方式（直交変換スキャ
ン方式）を適用された符号化器を示すブロック図であ
る。

【図１１】（ａ）〜（ｃ）はそれぞれ従来の１次元並べ
替え部によるスキャン順序例を示す図である。

【符号の説明】

１カメラ２直交変換器３，３Ａ，３Ｂデータ並べ替え手段３ａスイッチング素子３ｂスイッチング順序マトリックス設定部３ｃセレクタ３ｄカウンタ４量子化器５可変長符号化器（ＶＬＣ）６，６Ａ差分符号化手段７，７Ａ相関判定手段８，９メモリ１０加算器１１逆量子化器１２セレクタ１３遅延回路１４減算器

───────────────────────────────────────────────────── フロントページの続き (72)発明者松田喜一神奈川県川崎市中原区上小田中1015番地富士通株式会社内 (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 13/00 - 15/00

Claims

(57)【特許請求の範囲】

【請求項１】複数のカメラ（１）からの出力を用いて
多眼式立体映像を得るものにおいて、各カメラ（１）からの出力について直交変換を施したあ
と、各直交変換出力について他のカメラ（１）における画像
の同一位置または対応する位置の近傍位置での直交変換
出力の集合となるように、データの並べ替えを行ない、その後、これらのデータについて、量子化および可変長
符号化を行なうことを特徴とする、多眼式立体映像の直
交変換符号化方式。
【請求項２】複数のカメラ（１）からの出力を用いて
多眼式立体映像を得るものにおいて、各カメラ（１）からの出力について直交変換を施したあ
と、各直交変換出力について他のカメラ（１）における画像
の同一位置または対応する位置の近傍位置での直交変換
出力の集合となるように、データの並べ替えを行なった
あと、各直交変換出力の集合内で、差分符号化を施してから、これらのデータについて、量子化および可変長符号化を
行なうことを特徴とする多眼式立体映像の直交変換符号
化方式。
【請求項３】複数のカメラ（１）からの出力を用いて
多眼式立体映像を得るものにおいて、各カメラ（１）からの出力間での相関が強ければ、各カ
メラ（１）からの出力について直交変換を施したあと、
各直交変換出力について他のカメラ（１）における画像
の同一位置または対応する位置の近傍位置での直交変換
出力の集合となるように、データの並べ替えを行なう一
方、各カメラ（１）からの出力間での相関が弱ければ、各カ
メラ（１）からの出力について直交変換を施したあと、
同一カメラからの直交変換出力について画像の同一位置
または対応する位置の近傍位置での直交変換出力の集合
となるように、データの並べ替えを行ない、その後、並べ替えられたデータについて、量子化および
可変長符号化を行なうことを特徴とする、多眼式立体映
像の直交変換符号化方式。
【請求項４】複数のカメラ（１）からの出力を用いて
多眼式立体映像を得るものにおいて、各カメラ（１）からの出力間での相関が強ければ、各カ
メラ（１）からの出力について直交変換を施したあと、
各直交変換出力について他のカメラ（１）における画像
の同一位置または対応する位置の近傍位置での直交変換
出力の集合となるように、データの並べ替えを行ない、
更に各直交変換出力の集合内で、差分符号化を施す一
方、各カメラ（１）からの出力間での相関が弱ければ、各カ
メラ（１）からの出力について直交変換を施したあと、
同一カメラからの直交変換出力について画像の同一位置
または対応する位置の近傍位置での直交変換出力の集合
となるように、データの並べ替えを行ない、更に各直交
変換出力の集合内で、差分符号化を施してから、その後、並べ替えられたデータについて、量子化および
可変長符号化を行なうことを特徴とする、多眼式立体映
像の直交変換符号化方式。