JPH06284449A

JPH06284449A - 視差を利用した映像信号の帯域圧縮回路および画像符号化装置

Info

Publication number: JPH06284449A
Application number: JP6646793A
Authority: JP
Inventors: Takashi Endo; 隆史遠藤
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 1993-03-25
Filing date: 1993-03-25
Publication date: 1994-10-07

Abstract

(57)【要約】【目的】実時間で画面中での各部分領域の重要度の選
別をして情報削減を行うことを可能にし、良好な操作性
を得ることができる映像信号の帯域圧縮回路を提供する
ことを目的とする。【構成】視差信号抽出手段３０により、二つのカメラ
から得た二つの映像信号における視差を検出する。そし
て、適応的情報量制御手段３２における出力信号の情報
量を視差に応じて制御する。すなわち視差の大きい領域
に対しては情報量の小さくし、視差の少ない領域に対し
て情報量を多くする。これによって、カメラのピントが
あっている領域においては鮮明な画像を得、ピントのあ
っていない領域においては効率的な帯域圧縮を行う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、映像信号の帯域を圧縮
する回路、特に視差のある二つの映像信号を用いて画像
中の視差の程度に応じて圧縮率を部分的に変化させる帯
域圧縮回路、及びこれを利用した画像符号化装置に関す
る。

【０００２】

【従来の技術】従来より、カメラ等で得た画像データを
電子的に記憶したり、伝送することが行われている。こ
の場合画像データは情報量が多いため、そのままの形で
記憶、伝送するのは効率が悪い。そこで、各種のデータ
圧縮手法が利用されている。例えば、特開平２−２６６
７８２号公報に記載の方法では、焦点距離情報に基づい
て画像データ中に有効領域を設定して、有効領域内のみ
を符号化することにより画像情報を削減する。この従来
の符号化回路を図１０に示す。

【０００３】このように、有効領域決定部１には画像情
報の他に、光学系が現在どの距離に焦点を合わせている
かを示す焦点距離情報と、映像信号の各部分領域がどの
くらいの距離に存在しているかを示す距離分布情報が入
力される。有効領域決定部１は、入力される焦点距離情
報と距離分布情報から両者がある範囲内で合致している
領域を有効領域と判定する。これは、画面の中で重要な
部分は焦点が合っている領域であると考えられるからで
ある。

【０００４】そして、有効領域決定部１の判定結果によ
り、画面中に有効領域を設定し、符号化器２において符
号化する際の情報量の割り当てを変更する。すなわち有
効領域のみ符号化し、それ以外の領域の情報は切り捨て
ることにより情報削減を行う。符号化したデータは復号
化器３に伝送され、ここで復号化される。一方、有効領
域情報は、表示領域制御部４に供給される。そこで、表
示領域制御部４は、復号化器３から供給される画像デー
タの位置を有効領域情報に基づいて決定する。従って、
所定の位置に画像データを表示する出力画像データを作
成出力することができる。

【０００５】このように、この従来例は人の視覚の機能
を模擬したものであり、人が注目している物体には焦点
が最もよく合っているという事情を利用している。それ
ゆえ、焦点が合っているかどうかにより画像中の各領域
の重要度を選別することができ、焦点が合っていないぼ
けた領域の画像を切り捨てることにより、有効なデータ
量の削減を図ることができる。

【０００６】

【発明が解決しようとする課題】上記従来例においては
一枚の画像中の全ての部分領域においてカメラからの距
離情報を持ち、撮影している現在の光学系の合焦距離と
いちいち比較して、各部分が有効領域であるかどうかを
判定している。しかし、このような画面全体にわたった
各部分における距離情報は通常の測距装置では得られな
い。すなわち、カメラが備えている通常の測距装置は、
画面の中央など所定の部分における距離情報のみを得る
ものである。そこで、上述のような測距を行うために
は、特別の測距装置が必要であるという問題点があっ
た。

【０００７】さらに、上記従来例においては、有効領域
は画面の中央部分にかたまって存在することを前提とし
ている。このため、合焦している物体が画面の周辺に散
在している場合、有効領域と判定され伝送される領域が
画面周辺に散在することになる。そこで、これを伝送し
ても画像がばらばらの領域に分散してしまい、一枚の画
像として認識できないという問題があった。

【０００８】また、光学系の合焦位置を遠景から近景ま
で移動させながら、映像信号の各部分領域ごとに含まれ
る空間周波数のピークを測定する事により、各部分領域
の距離情報を得ることができる。しかし、この方法は、
撮影対象が静止物の場合には好適であるが、動きの速い
物体の測距は困難である。さらに、この方式では、撮影
開始を指示してから、撮影を行いかつ距離情報を測定し
終えるまでに長い時間が必要となり操作性が低下すると
いう問題点がある。

【０００９】また、立体映像信号は通常の映像信号を二
つ用いることから情報量が非常に多くなる。このためデ
ータ量を削減して、蓄積、伝送、複製、色処理等におい
て記録媒体の節約と、転送時間、処理時間の節約を行う
ことが切望されているが、立体画像であることの特徴を
生かした装置は従来には発明されていなかった。

【００１０】本発明は、上記課題に鑑みてなされたもの
であり、実時間に画面中での各部分領域の重要度の選別
をして情報削減を行うことを可能にし、良好な操作性を
得ることができる映像信号の帯域圧縮回路を提供するこ
とを目的とする。

【００１１】

【課題を解決するための手段】本発明は、視差を与えて
得られた二通りの映像信号を入力とし、二通りの映像信
号から視差信号を求める視差信号抽出手段と、得られた
視差信号に基づき、前記映像信号の情報量を部分的に制
御する適応的情報量制御を行う情報量制御手段と、を有
することを特徴とする映像信号の帯域圧縮回路である。

【００１２】前記視差信号抽出手段はより具体的には、
二通りの映像信号の差分信号を得る減算手段と、得られ
た差分信号の振幅強度を求める振幅強度検出手段と、か
ら構成することができるものである。映像信号として
は、コンポーネントのアナログ信号か、またはこれをＡ
Ｄ変換したデジタルデータを利用することができ、前記
減算手段は減算回路あるいは、デジタルデータの減算器
を用いる。前記振幅強度を求める手段は差分信号の発生
状況を強度として測定するものであり、整流回路とロー
パスフィルタによって構成することができ、またデジタ
ル信号処理手段を用いる場合も同様の手段で構成でき
る。

【００１３】また、前記視差信号抽出手段は、入力され
た二通りの映像信号をＡＤ変換し、二通りのデジタルデ
ータを得るＡＤ変換手段と、得られた二通りのデジタル
データ間で、排他的論理和を得る信号処理手段と、得ら
れた排他的論理和信号の振幅強度を求める振幅強度検出
手段と、から構成することもできる。これはさきの減算
手段を排他的論理和手段に替えたものでありほぼ同様の
機能を果たすものである。

【００１４】また、前記視差信号抽出手段は、二通りの
映像信号を交互にマルチプレクスして一つの映像信号を
得るマルチプレクス手段と、マルチプレクスされた映像
信号の特定の周波数帯域の強度を求めるフィルタ手段
と、から構成することもできる。マルチプレクス手段は
周知のマルチプレクス回路を用いることができるし、ま
た、ＡＤ変換した二つの映像信号のデータを交互に並べ
替える回路によって実現することもできる。

【００１５】また、前記視差信号抽出手段は、二通りの
映像信号に微分作用を施し、二つの微分信号を得る二つ
の微分フィルタ手段と、得られた二通りの微分信号の差
分信号を得る減算手段と、得られた差分信号の振幅強度
を検出する手段と、から構成することもできる。振幅強
度検出手段はより具体的には、ある領域で発生している
差分信号の平均的な値を求めて出力するローパス特性の
フィルタであり、デジタルフィルタ等により実現するこ
とができる。

【００１６】また、前記情報量制御手段はより具体的に
は、伝達関数の通過周波数特性を視差信号に応じて設定
する適応フィルタ手段で構成することができるものであ
る。また、前記情報量制御手段としては、画像信号を周
波数領域上に変換し、高周波成分を適応的に切り捨てる
回路により構成することもできる。または、周波数デー
タに適応的に量子化歪を導入し情報量を減少させる回路
によって構成することもできる。

【００１７】また本発明は、視差を与えて得られた二通
りの映像信号を入力とし、これを符号化する画像符号化
装置であって、二通りの映像信号から視差信号を求める
視差信号抽出手段と、画像データを所定のブロック毎に
直交変換して、その変換領域上のデータに変換する直交
変換手段と、直交変換して得たデータを量子化する量子
化手段と、量子化したデータに対しゼロのランレングス
符号化を行うゼロパック手段と、この符号出力をエント
ロピー符号化するエントロピー符号化手段と、を含み、
前記ゼロパック手段は、直交変換して得られたデータの
うち、高周波数側のデータを符号化せずに切り捨てるこ
とができ、その切り捨ての度合いを視差信号に応じて設
定することを特徴とする画像符号化装置である。

【００１８】直交変換手段は具体的には、離散コサイン
変換を行うものであり、このようなＬＳＩは数社から販
売されている。その他、直交変換としてはウォルシュ変
換あるいはルジャンドル変換等が知られているが、いず
れも所定の係数列を入力データ列に乗算してその和をと
ることにより実現できるものである。量子化手段は、所
定の量子化ステップサイズの逆数を乗算する乗算回路と
整数化回路により構成できるものである。ゼロパック手
段は具体的には、ブロック中に頻出する零を削除するた
めに、ブロックを形成しているデータを適当な順番で走
査しながら零の続いた数であるランを数え、零のランの
長さとそのランを止めている零でない係数とを組にして
符号化するものである。この回路は適当なアルゴリズム
を実行する回路で実現される。また、エントロピー符号
化手段としては、周知のハフマン符号化もしくは周知の
算術符号化を実行する回路を用いることができる。

【００１９】また本発明は、視差を与えて得られた二通
りの映像信号を入力とし、これを符号化する画像符号化
装置であって、二通りの映像信号から視差信号を求める
視差信号抽出手段と、画像データを所定のブロック毎に
直交変換して、変換領域上のデータに変換する直交変換
手段と、直交変換して得たデータを量子化する量子化手
段と、量子化したデータに対しゼロのランレングス符号
化を行うゼロパック手段と、この符号出力をエントロピ
ー符号化するエントロピー符号化手段と、を含み、前記
量子化手段は前記視差信号に応じて量子化の度合いを設
定することを特徴とする画像符号化装置である。

【００２０】前記量子化手段はより具体的には、所定の
量子化ステップサイズの逆数を乗算する処理に加えてさ
らに視差信号に応じた係数を乗算する回路とその結果を
整数化する回路により構成することができるものであ
る。

【００２１】

【作用】視差信号抽出手段は、二つの映像信号から視差
信号を抽出する。そして、この視差信号の強度に応じ
て、情報量制御手段が映像信号の各領域に対し割り当て
る情報量を制御する。

【００２２】すなわち視差の大きな領域では割り当てる
情報量を減らし、不要な情報を除去することができる。
そして視差の小さい領域では割り当てる情報量を多くし
て映像信号をそのまま通過させ、鮮明な映像信号を出力
することができる。

【００２３】また、減算手段により二つの映像信号の差
を求める。この差は視差が原因で生じたものであるか
ら、この差分信号の発生している領域付近について帯域
圧縮を行う。つまり、差分信号の振幅強度を求める手段
により映像信号のどの領域に視差があるかを検出する。
そして、この検出信号の強度に応じて、適応的情報量制
御手段は映像信号に対して情報の削減を施す。

【００２４】また、ＡＤ変換手段により二つの映像信号
をデジタルデータに変換し、撮像素子中の同一点に対応
するデータ同士で排他的論理和をとることにより、視差
信号を作る。排他的論理和はｅｘｃｌｕｓｉｖｅｏｒ
とも呼ばれ、一つのデータ中でビットの違っているビッ
トが１として残り、合致しているビットは０となる。こ
れは減算における差という意味は持っていないが、情報
的な差分であり、そのデータは負になることがなくかつ
差と同等の絶対値を持っている。よって、この信号の発
生状況を振幅強度検出手段で検出し、この検出手段の出
力により適応的情報量制御手段を制御することにより、
視差に応じた情報量制御を行うことができる。

【００２５】また、二通りの映像信号を交互にマルチプ
レクスした信号をマルチプレクス手段により作る。二つ
の映像信号に視差があれば、マルチプレクスした周波数
上に信号が発生するため、これを適当な特性のフィルタ
により検出する。この検出信号の強度は視差に対応した
ものであり、これに応じて映像信号に対して適応的情報
量制御を行うことにより、視差に応じた情報量制御を行
うことができる。

【００２６】また、二つの映像信号にそれぞれ微分フィ
ルタをかけることにより、映像信号の走査方向に垂直な
輪郭を検出する。そして、この二つの輪郭信号を減算手
段に入力して差をとることにより、視差信号を輪郭のず
れとして検出できる。輪郭信号の差においては、輪郭の
付近においてのみ大きな信号が発生するため、視差信号
を局所的に限定して検出できるのである。そして、この
差分信号に対し振幅強度検出手段により、ある程度の大
きさを持った領域における信号の和として検出し、これ
を視差信号として出力する。これはすなわち、局所的に
しか発生しない差分信号から情報圧縮するべき領域を指
定する視差信号を得るのである。そして、この信号に基
づいて適応的情報量制御手段により情報の切り捨てを行
う。これにより、視差に応じた情報量制御を行うことが
できる。

【００２７】また、適応的情報量制御手段として適応フ
ィルタ手段を用いる。これは制御信号に応じて伝達関数
の周波数特性を可変にするものであり、すなわち、視差
の大きな領域では、適応的情報量制御手段の特性を強い
ローパス特性にし、不要な情報を除去する。そして、視
差の少ない領域では、適応的情報量制御手段の特性をオ
ールパス特性にし、鮮明な映像信号を出力する。このよ
うにして視差信号の大きい部分の情報量を削減すること
ができる。

【００２８】また、本発明に係る画像符号化装置では、
二つの映像信号から視差信号検出手段により視差信号を
求め、その強度をゼロパック手段に与える。

【００２９】ＡＤ変換手段は一方の映像信号をサンプリ
ングしてデジタル化し、これをブロック毎に直交変換手
段により直交変換する。この直交変換により得たデータ
は量子化回路により整数データに丸められる。量子化さ
れたデータはブロック毎に冗長な零を除去する零のラン
レングス符号化をゼロパック手段において施される。す
なわちこれは、ブロック中に頻出する零を削除するため
に、ブロックを形成するデータを適当な順序で走査し零
の連続した数であるランを数え、零のランの長さとその
ランを止めている零でない係数とを組にして符号化する
ものである。その際、その画像領域に視差があるかどう
かに応じて、高周波数側のデータの符号化を強制的に終
了しＥＯＢ符号を出力する。これにより、視差の大きな
領域における高周波数側の成分が切り捨てられ、情報量
が削減される。なお、ゼロパック手段の出力符号に対し
てはエントロピー符号化手段においてエントロピー符号
化を行う。このようにして、視差の大きな領域では、高
周波数側のデータを打ち切ることにより情報の削減を行
い、そして視差の少ない領域では、打ち切り操作を行わ
ずそのままの係数を出力することにより鮮明な映像を符
号化することができる。また、打ち切りの位置は視差信
号の検出強度に応じて変化させることもできる。

【００３０】また、本発明に係る画像符号化装置では、
二つの映像信号から視差信号検出手段により視差信号を
求め、その強度により量子化手段を制御する。

【００３１】ＡＤ変換手段は一方の映像信号をサンプリ
ングしてデジタル化し、これをブロック毎に直交変換手
段により直交変換する。この直交変換により得たデータ
は量子化回路により整数データに丸められる。その際、
その画像領域に視差があるかどうかに応じて、量子化ス
テップサイズを変化させる。これにより、視差の大きな
領域では量子化歪が大きくなり情報量が削減される一
方、視差の小さな領域では量子化歪が小さくなり鮮明な
画像が符号化される。このようにして量子化されたデー
タはブロック毎に冗長な零を除去する零のランレングス
符号化をゼロパック手段において施される。すなわちこ
れは、ブロック中に頻出する零を削除するために、ブロ
ックを形成するデータを適当な順序で走査し零の連続し
た数であるランを数え、零のランの長さとそのランを止
めている零でない係数とを組にして符号化するものであ
る。ゼロパック手段の出力符号に対してはエントロピー
符号化手段においてエントロピー符号化を行う。

【００３２】

【実施例】以下、本発明の実施例を図面に基づいて説明
する。図１は、本発明の帯域圧縮回路が利用される視差
のある映像を撮像するシステムを示す。光学系と撮像素
子（ＣＣＤ）を一体に保持する撮像光学系１０、１２に
は、軸１０ａ，１２ａが取り付けられており。この軸１
０ａ、１２ａは、装置本体（図示せず）に設けられた軸
受け（図示せず）に回動可能に支持されている。二つの
撮像光学系１０、１２は、十数ｃｍの距離を離して同一
平面内を回動可能に取り付けられており、特定の注視点
に対してその光学軸を向けることができる。これによ
り、撮像光学系１０、１２から視差のある二つの映像信
号を出力することができる。

【００３３】二つの撮像光学系１０、１２には、駆動回
路１４が接続されており、この駆動回路１４からの信号
により撮像光学系１０、１２のＣＣＤが同期して駆動さ
れ、両撮像光学系１０、１２からは同期した映像信号が
それぞれ出力される。

【００３４】撮像光学系１０、１２からの映像信号は、
第１映像信号処理回路１６および第２映像信号処理回路
１８にそれぞれ入力され、ここでＲＧＢコンポーネント
信号が作り出される。そして、この二つのＲＧＢコンポ
ーネント信号が帯域圧縮回路２０に入力され、本発明の
特徴である帯域圧縮処理がなされる。なお、これらの回
路はすべて装置本体内に設けられる。

【００３５】図２の(a) 〜(d) は、双眼式の撮像系であ
る撮像光学系１０、１２により得られる映像信号の性質
を説明するための図である。(a) は単眼のカメラで撮影
した通常の場合の図である。ただし、被写界深度を十分
広く取ってあると仮定する。(b) は近景である机に注視
した場合である。机よりも遠方に離れるに従って視差が
生じる。(c) は中間的な位置にある窓に注視した場合で
ある。近景である机と遠景である山の両方に視差が生じ
る。ただし、視差の生じる移動方向は近景と遠景で逆で
ある。すなわち、右のカメラで撮った遠景は左のカメラ
で撮った遠景の右側にずれ、右のカメラで撮った近景は
左のカメラで撮った近景の左にずれる。(d) は遠景であ
る山に注視した場合である。近い物体ほど大きな視差が
生じる。本発明は、このような視差の生じ方を利用して
画面中での各部分領域の重要度の測定を行うものであ
り、人間の視覚に非常に適合した良好な画像を得ること
のできる帯域圧縮回路を提供する。

【００３６】第１実施例図３は、本発明の第１実施例に係る帯域圧縮回路を示す
ブロック図であり、視差信号抽出手段３０および適応的
情報量制御手段３２からなっている。そして、上述の二
つの撮像光学系１０、１２により得られた映像信号１お
よび２は、視差信号抽出手段３０に入力され、ここで二
つの映像信号の比較により視差の大きさを表す視差信号
が得られる。また、第１の映像信号は適応的情報量制御
手段３２に入力され情報量の削減が行われる。ここで、
本実施例においては、適応的情報量制御手段３２が視差
信号抽出手段３０から供給される視差信号に応じて情報
の割り当て量を部分的に変更し、適応的な情報量制御を
行う。すなわち、視差が大きい場合にはその領域のの重
要度は低いため情報量を少なくし、視差が小さい場合に
はその領域の重要度が大きいため情報量を多くする。

【００３７】このように、本実施例によれば、注視領域
に対しては十分な符号量を確保するため、注視領域にお
いて鮮明な画像を得ることができる。一方、重要度の低
い注視していない領域の符号量を削減する。これによっ
て、情報量を大幅に削減しながら、注視点及び注視点と
ほぼ同距離にある物体の映像は高画質であるため、主観
的な評価が高い映像を得ることができる。

【００３８】第２実施例図４は、本発明の第２実施例である。この例では減算器
４０および振幅強度検出回路４２が視差信号抽出手段を
構成しており、適応フィルタ４４が適応的情報量制御手
段を構成している。減算器４０は、二つの映像信号の差
分を計算する。そして、得られた差分信号を振幅強度検
出回路４２に供給する。この振幅強度検出回路４２は、
絶対値回路及びローパスフィルタ回路から構成されてお
り、入力される信号の振幅強度を検出する。振幅強度検
出回路４２は、まず差信号の絶対値を求め差の大きさに
ついての信号に変換し、その後ローパスフィルタ回路に
より、平滑化された信号を得る。従って、振幅強度検出
回路４２の出力は、二つの映像信号の差の大きさを示す
信号となっている。図２に示したように、第１、第２の
映像信号は、視差が大きいほど画像がずれており、差が
大きくなる。このため、振幅強度検出回路４２からの出
力信号は視差信号となっている。

【００３９】そしてこの実施例では、第１の映像信号が
適応フィルタ４４に入力され、視差信号に応じた周波数
帯域の信号が取り出される。この適応フィルタ４４の通
過帯域特性は振幅強度検出回路４２からの出力に基づい
て適応的に制御される。すなわち、この適応フィルタ４
４はローパスフィルタであり視差信号に応じてその通過
帯域特性を変化させる。このようにして、画像のずれが
大きい部分に対して大きな帯域圧縮を行う。

【００４０】これにより、注視領域のみ鮮明な画像が得
られ、注視していない領域は情報が少なくて済む。そこ
で、帯域を大幅に削減しながら、注視点は高画質である
ため主観的な評価が高い画像を得ることができる。

【００４１】なお上述の回路は、ＲＧＢのコンポーネン
ト信号毎に３組設けこれを同時に駆動してもよいし、も
しくは視差の検出を比較的ダイナミックレンジの広いＧ
（緑）の信号において行い、検出した視差信号を３つの
適応フイルタの制御に用いてもよい。

【００４２】また、映像信号としては、コンポーネント
のアナログ信号かまたはＡＤ変換されたデジタルデータ
を利用することができる。

【００４３】実施例３図５は、本発明の第３実施例である。この例では、サン
プル・ホールド／ＡＤ変換回路５０、５２、排他的論理
和回路５４および振幅強度検出回路５６が視差信号抽出
手段を構成しており、適応フィルタ５８が適応的情報量
制御手段を構成している。

【００４４】前段の映像信号処理回路により、二つのカ
メラから得られる二つの映像から、それぞれ３色分のコ
ンポーネント信号が作り出される。この信号は、サンプ
ルホールド／ＡＤ変換回路５０、５２に供給される。サ
ンプルホールド／ＡＤ変換回路５０、５２は、入力され
る信号をＡＤ変換し、デジタルデータとして出力する。
２系統のデジタルデータは、排他的論理和回路５４によ
り、排他的論理和がとられ、ビットごとの差が抽出され
る。すなわち、排他的論理和により二つの信号が異なる
場合に１、同一の場合に０が出力される。そして、この
ビット毎の差をとた信号を振幅強度検出回路５６に入力
し、この大きさの信号を得る。振幅強度検出回路５６は
デジタルローパスフィルタで構成することができる。

【００４５】そして、振幅強度検出回路５６で得られた
信号により、適応フィルタ５８の通過帯域を変化させ
る。すなわち第１の映像信号はこの適応フィルタ５８で
処理を受け視差のある部分に局所的に帯域圧縮を施され
る。

【００４６】実施例４図６は、本発明の第４実施例である。この例では、サン
プル・ホールド／ＡＤ変換回路６０、６２、マルチプレ
クサ６４、ハイパスフィルタ６６および振幅強度検出回
路６８が視差信号抽出手段を構成しており、適応フィル
タ７０が適応的情報量制御手段を構成している。

【００４７】前段の映像信号処理回路により、二つのＴ
Ｖカメラから得られる二つの映像から、それぞれ３つの
コンポーネント信号が作り出される。この信号は、サン
プルホールド／ＡＤ変換回路６０、６２に供給される。
サンプル・ホールド／ＡＤ変換回路６０、６２は、入力
される信号をＡＤ変換し、デジタルデータとして出力す
る。このデジタルデータはマルチプレクサ６４において
二系統のデータが交互に出力され、これがデジタルフィ
ルタから構成されるハイパスフィルタ６６に入力され
る。このハイパスフィルタ６６は、倍増されたデータ列
のナイキスト周波数ｆN 付近に通過帯域を持つフィルタ
であり、この出力は視差に対応している。すなわち視差
があると隣接するデータが交互に異なるものとなり振動
が生じるため、ｆN 付近にスペクトルが立つことを利用
したものである。

【００４８】よって、ハイパスフィルタ６６の出力を振
幅強度検出回路６８に入力し、振幅強度を得ることによ
り、視差についての信号を得ることができる。なお、振
幅強度検出回路６８は、ハイパスフィルタ６６からの信
号を受け取りその絶対値を求め、平滑化フィルタに通し
平滑化することにより、振幅強度を得ている。

【００４９】そして、この振幅強度についての信号を適
応フィルタ７０の制御に用いる。この適応フィルタ７０
はデジタルフィルタで構成され、制御信号に応じて通過
帯域を変えるようにフィルタ係数を変化させる。第１の
映像信号はこの適応フィルタ７０で処理を受け、視差の
ある部分に局所的に帯域圧縮を施されて、出力される。

【００５０】本実施例では他の実施例と異なり、ハイパ
スフィルタ６６を適当に設計することにより、視差信号
の検出感度を調整することができるという特徴がある。
すなわち他の実施例では画像の走査手順に従って各位置
ごとの信号の比較により視差信号を求めるのに対して、
本発明ではハイパスフィルタ６６のタップ数に応じて複
数の位置の信号にも感度を持つようにできるという特徴
がある。

【００５１】実施例５図７は、本発明の第５実施例である。この例では、微分
フィルタ８０、８２、減算器８４および振幅強度検出回
路８６が視差信号抽出手段を構成し、適応フィルタ８８
が適応的情報量制御手段を構成している。

【００５２】前段の映像信号処理回路は、二つのＴＶカ
メラのＣＣＤの信号から、ＲＧＢコンポーネントの映像
信号１、２を作り出しており、この映像信号１、２が微
分フィルタ８０、８２に入力される。この微分フィルタ
８０、８２により入力信号を微分すると、この出力は映
像中の輪郭を表す信号となる。そこで、この微分信号を
減算器８４に入力し、差信号を得ると、輪郭部分につい
て局在した視差信号が得られる。

【００５３】映像信号の差は、視差だけでなく映像信号
の変動の影響を受ける。すなわち、少しの視差であって
も映像信号の変動が急峻であれば大きな差分信号が得ら
れる。しかし、輪郭信号の差においては輪郭の付近にお
いて大きな信号が発生するため、視差信号を局所的に限
定して検出できるのである。

【００５４】このようにして得た差信号を振幅強度検出
回路８６に入力し、差信号の振幅強度、すなわち視差信
号を得ることができる。ここで、振幅強度検出回路８６
は、絶対値回路及びローパスフィルタにより構成しても
良いし、また、ＡＤ変換した後デジタル信号処理回路に
より構成することもできる。

【００５５】例えば、サンプル値をｘ（ｉ）として、出
力ｙ（ｉ）をｙ（ｉ）＝ｍｉｎ｛Σｘ（ｋ），ａ｝により求める。ここでｍｉｎは括弧｛｝中の二つのう
ちの小さい方を選択することを示し、ａはクリッピング
用の定数であり、またΣはｋ＝ｉ−１６〜ｉ＋１６の和
を演算する。

【００５６】この処理による出力は現在処理中の画素の
周りの３３画素に感度を持っているため、輪郭部に局所
的に発生する視差信号をその周りに十分な領域に感度を
持つような信号に変える役目を果たしている。

【００５７】出力ｙ（ｉ）に基づいて、適応フィルタ８
８の通過帯域特性を変化させる。すなわち、第１の映像
信号が、上述の視差についての信号に基づいて部分的に
帯域圧縮を施され出力される。

【００５８】実施例６図８は、第６実施例であり、視差を利用する画像符号化
装置である。このように、二つのカメラからの信号は、
それぞれプロセス回路１０２、１０４に入力され、ＲＧ
Ｂコンポーネント信号を得る。このコンポーネント信号
はＡＤ変換器１０６、１０８においてデジタルデータ列
に変換された後、メモリ１１０、１１２に記憶される。
このメモリ１１０、１１２は８ライン分のメモリであ
り、画面上の８行８列の領域（ブロック）のデータがこ
のメモリ１１０、１１２から読み出され、その後の処理
はブロック毎に行われる。

【００５９】ブロックのデータは、ＤＣＴ回路１１４に
入力され、ここで離散コサイン変換され、周波数領域上
の実数データからなる係数のブロックに変換される。そ
して、この係数ブロックは量子化回路１１６に入力さ
れ、ここで所定の量子化ステップサイズの逆数を乗算さ
れ、整数化される。量子化ステップサイズは、人の視覚
特性を利用して定められたもので、低周波数側ほど歪を
少なく許容し、高周波数側ほど歪を多く許容するように
設定されている。すなわち、低周波側の係数に対する量
子化ステップサイズを小さくし、符号量を多く割り当て
る。

【００６０】そして、このようにして量子化されたデー
タはゼロパック回路１１８により零のランレングス符号
化を施される。すなわち、連続している零についてその
ランの長さを数え、その数とそのランを止めている係数
とを組にして符号化する。

【００６１】ここで、本実施例においては、視差信号検
出手段において視差信号を求め、この視差信号に基づい
てゼロパック回路１１８における零のランレングス符号
化の打ち切りの位置を変化させる。このために、メモリ
１１０からのブロックデータの減算処理を画素毎に行う
減算器１２０と、この減算器１２０の減算結果の絶対値
の和を求める絶対値和回路１２２を有している。そし
て、この絶対値和回路１２２において得られる画素毎の
データの差の絶対値和は、そのブロックについての画像
のずれであり、視差に対応する。

【００６２】そこで、本実施例では、この視差信号に基
づいて、零のランレングス符号化の打ち切りの位置を変
化させる。すなわち、視差信号に応じて、所定の位置以
降の有効係数を全て零とし、強制的にＥＯＢ（エンド・
オブ・ブロック）を出力させる。ＥＯＢ符号は以後ブロ
ックの終わりまで零が続いている場合に、ランを止める
係数が無くなるために出力される符号である。これによ
り、視差のある領域においては部分的に圧縮率が上が
り、符号化効率が向上し、この部分における符号量を少
なくできる。

【００６３】このゼロパック回路１１８の出力は、さら
にエントロピー符号化の一つであるハフマン符号化を行
うハフマン符号化回路１２４に入力され、ハフマン符号
化される。ハフマン符号化は、出現頻度の多いシンボル
に対して短いビット数の符号を割り当てるエントロピー
符号化の一手法であり、この対応表は予め回路内部に記
憶されている。

【００６４】こうして高能率符号化された符号は、適当
な記録媒体に記録するか、あるいは、伝送路により伝送
することができる。

【００６５】なお、本発明による上述の視差の検出およ
びゼロパック回路１１８における処理は、Ｙ、Ｂ−Ｙ、
Ｒ−Ｙのコンポーネント信号毎に３組を同時に駆動して
もよいし、視差の検出を比較的ダイナミックレンジの広
いＹ信号において行い、この一つの検出信号を三つの信
号の打ち切り処理における制御に用いてもよい。

【００６６】このように、本実施例によれば、情報量削
減手段として特別な回路を設けることなく、符号化回路
を利用して符号量を制御するため簡易でかつ国際符号化
方式に準拠した符号を出力する装置が構成できる。

【００６７】上述の例では、離散コサイン変換を利用し
たが、周知の直交変換であるウォルシュ変換やルジャン
ドル変換等を利用しても良い。また、ハフマン符号化に
代え周知の算術符号化等他のエントロピー符号化を用い
ることもできる。

【００６８】実施例７図９は第７実施例である。本実施例の構成は実施例６と
同様な部分が多いため、対応する部分については同一の
番号を付し、説明を簡略にする。本実施例では、絶対値
和回路１２２の出力である視差信号によって量子化回路
１１６における量子化ステップサイズを調節する。すな
わち、視差が大きいブロックに対しては、量子化ステッ
プサイズを大きくする。これにより視差のある領域にお
いては部分的に圧縮率が上がり、符号化効率が向上す
る。

【００６９】実際には、標準的な量子化ステップサイズ
で演算を行った後に、もう一段乗算回路を設けて制御パ
ラメータを乗算し、この結果を整数化すればよい。この
制御パラメータは、量子化ステップサイズを大きくする
場合には１以下０以上の実数とし、量子化ステップサイ
ズを小さくする場合には１以上の実数とすればよい。例
えば、視差信号の検出出力を規格化して正規化係数αを
求め、このαの逆数をこの制御パラメータにすることが
できる。

【００７０】このように、本実施例によれば、視差に応
じて量子化の程度を変更する。これによっても視差の大
きい箇所において符号量を削減し、視差の小さい箇所に
符号量を多く割り当てることができ、高能率でありなが
ら主観評価の高い符号化を行うことができる。

【００７１】

【発明の効果】以上説明したように、本発明に係る映像
信号の帯域圧縮回路によれば、視差信号に応じて、映像
信号を帯域圧縮する際の割り当て情報量を制御すること
ができる。従って視差の少ない領域に対し情報量を多く
し、視差の大きい領域の情報量を小さくすることがで
き、必要な領域において鮮明な画像を得ながら高能率な
帯域圧縮を実現できる。

【００７２】また、視差信号は映像信号とほとんど同時
に抽出されるため、画面中の各領域の重要度の選別が実
時間で出来る。このため、撮影開始を指示してから映像
が記録されるまでの時間がほとんど問題とならず、操作
性の良好な撮像装置が構成でき、動いている物体を撮影
することもできる。

【００７３】また、視差信号に応じて画像中の各部分に
対して適応的情報制御を行うため、一枚の画像として一
貫した出力が得られる。そして、画像の詳細成分が含ま
れるかどうかを制御できるため、撮像された画像の大き
さを全て有効領域としながら、情報を削減し、かつ視覚
的に良好な画像を得ることができる。

【００７４】また、減算器や、排他的論理和回路を利用
して比較的簡単な構成により視差信号を抽出することが
できる。

【００７５】また、マルチプレクス手段とフィルタ手段
により視差信号を検出することにより、所望の性質のフ
ィルタを用いて、視差信号の検出感度を調整することが
できる。

【００７６】また、微分フィルタにより映像信号中の走
査方向に垂直な輪郭成分を求め、これをもとに視差信号
を検出することにより、映像信号自体の影響を受けにく
い視差信号を得ることができ、視差信号の抽出が容易か
つ正確になる。

【００７７】また、適応的情報量制御手段として適応フ
ィルタ手段を用いることにより、簡易な回路構成で応用
性の広いかつ、画質の優れた帯域圧縮回路を実現でき
る。

【００７８】また、本発明に係る画像符号化装置によれ
ば、ゼロパック手段において、係数データの切り捨ての
度合いを視差に応じて制御することにより、符号化回路
を利用して符号量を制御するため簡易でかつ国際符号化
方式に準拠した符号を出力する装置が構成できる。

【００７９】また、視差に応じて量子化の度合いを制御
することにより、符号化回路を利用して符号量を制御す
るため簡易で高能率かつ高画質な装置が構成できる。

【図面の簡単な説明】

【図１】本発明で利用する視差のある映像の撮像装置を
説明する図である。

【図２】視差信号の生じ方を説明する図である。

【図３】実施例１の発明の好適な実施例を示す図であ
る。

【図４】実施例２の発明の好適な実施例を示す図であ
る。

【図５】実施例３の発明の好適な実施例を示す図であ
る。

【図６】実施例４の発明の好適な実施例を示す図であ
る。

【図７】実施例５の発明の好適な実施例を示す図であ
る。

【図８】実施例６の発明の好適な実施例を示す図であ
る。

【図９】実施例７の発明の好適な実施例を示す図であ
る。

【図１０】従来の符号化装置を示す図である。

【符号の説明】

３０視差信号抽出手段３２適応的情報量制御手段４０、８４１２０減算器４２、５６、６８、８６振幅強度検出回路４４、５８、７０、８８適応フィルタ５０、５２、６０、６２サンプルホールド／ＡＤ変換
器５４排他的論理和回路６４マルチプレクサ６６ハイパスフィルタ８０、８２微分フィルタ１１６量子化回路１１８ゼロパック回路１２２絶対値和回路

Claims

【特許請求の範囲】

【請求項１】視差を与えて得られた二通りの映像信号
を入力とし、二通りの映像信号から視差信号を求める視差信号抽出手
段と、得られた視差信号に基づき、前記映像信号の情報量を部
分的に制御する適応的情報量制御を行う情報量制御手段
と、を有することを特徴とする映像信号の帯域圧縮回路。
【請求項２】前記視差信号抽出手段は、二通りの映像信号の差分信号を得る減算手段と、得られた差分信号の振幅強度を求める振幅強度検出手段
と、からなる請求項１記載の映像信号の帯域圧縮回路。
【請求項３】前記視差信号抽出手段は、入力された二通りの映像信号をＡＤ変換し、二通りのデ
ジタルデータを得るＡＤ変換手段と、得られた二通りのデジタルデータ間で、排他的論理和を
得る信号処理手段と、得られた排他的論理和信号の振幅強度を求める振幅強度
検出手段と、からなる請求項１記載の映像信号の帯域圧縮回路。
【請求項４】前記視差信号抽出手段は、二通りの映像信号を交互にマルチプレクスして一つの映
像信号を得るマルチプレクス手段と、マルチプレクスされた映像信号の特定の周波数帯域の強
度を求めるフィルタ手段と、からなる請求項１記載の映像信号の帯域圧縮回路。
【請求項５】前記視差信号抽出手段は、二通りの映像信号に微分作用を施し、二つの微分信号を
得る二つの微分フィルタ手段と、得られた二通りの微分信号の差分信号を得る減算手段
と、得られた差分信号の振幅強度を検出する手段と、からなる請求項１記載の映像信号の帯域圧縮回路。
【請求項６】前記情報量制御手段は、伝達関数の周波数特性を視差信号に応じて設定する適応
フィルタ手段である請求項１〜６記載の映像信号の帯域
圧縮回路。
【請求項７】視差を与えて得られた二通りの映像信号
を入力とし、これを符号化する画像符号化装置であっ
て、二通りの映像信号から視差信号を求める視差信号抽出手
段と、画像データを所定のブロック毎に直交変換して、その変
換領域上のデータに変換する直交変換手段と、直交変換して得たデータを量子化する量子化手段と、量子化したデータに対しゼロのランレングス符号化を行
うゼロパック手段と、この符号出力をエントロピー符号化するエントロピー符
号化手段と、を含み、前記ゼロパック手段は、直交変換して得られたデータの
うち、高周波数側のデータを符号化せずに切り捨てるこ
とができ、その切り捨ての度合いを視差信号に応じて制
御することを特徴とする画像符号化装置。
【請求項８】視差を与えて得られた二通りの映像信号
を入力とし、これを符号化する画像符号化装置であっ
て、二通りの映像信号から視差信号を求める視差信号抽出手
段と、画像データを所定のブロック毎に直交変換して、変換領
域上のデータに変換する直交変換手段と、直交変換して得たデータを量子化する量子化手段と、量子化したデータに対し零のランレングス符号化を行う
ゼロパック手段と、この符号出力をエントロピー符号化するエントロピー符
号化手段と、を含み、前記量子化手段は前記視差信号に応じて量子化の度合い
を設定することを特徴とする画像符号化装置。