JP2780296B2

JP2780296B2 - 画像処理方法

Info

Publication number: JP2780296B2
Application number: JP63326804A
Authority: JP
Inventors: 直哉林
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1988-12-23
Filing date: 1988-12-23
Publication date: 1998-07-30
Anticipated expiration: 2013-07-30
Also published as: JPH02171867A

Description

【発明の詳細な説明】（産業上の利用分野）本発明はデジタル信号処理に関し、特に被写体を異な
る位置から撮像し、両眼立体視の方法でカメラから被写
体までの距離を求め、求めた距離をもとにデジタルフィ
ルタを構成して画像処理をおこなう方法に関する。

（従来の技術）カメラで撮った画像にデジタルフィルタをかける画像
処理方法の従来例のブロック図を第２図に示す。第２図
はカメラにテレビジョン用のカメラ（以下TVカメラと略
す）を使った例である。第２図の画像処理方法の動作は
次にようになる。TVカメラ１で撮像した画像の輝度及び
色差信号はたとえばNTSC信号に変換され、出力される。
これは標本化回路２で標本化され、アナログデジタル変
換（以下A/D変換と略す）回路３でデジタル信号に変換
される。次に輝度信号色差信号分離（以下Y/C分離と略
す）回路13で輝度信号と色差信号に分離される。輝度信
号はデジタルフィルタ４でフィルタをかけられ、これと
Y/C分離回路13で分離された色差信号をRGB合成回路14で
加算してRGB信号を合成する。これらはデジタルアナロ
グ変換（以下D/A変換と略す）回路５でアナログ信号に
変換され、低域通過フィルタ（以下LPFと略す）６で連
続信号に変換されて出力端子７に出力される。こうして
TVカメラで撮った画像にデジタルフィルタをかけてい
る。デジタルフィルタ４は標本化された画像の輝度信号
をａ（m,n）（m,nはそれぞれ水平方向、垂直方向の座標
を表わす整数とする）、デジタルフィルタのインパルス
応答をｈ（m,n）、出力される画像の輝度信号をｂ（m,
n）としたとき、（１）式で表わされる処理を行なうも
のである。

デジタルフィルタ４としては各種のフィルタがあるが
たとえば画像の輪郭を強調する輪郭強調フィルタや画像
の高周波成分を減衰させる低域通過フィルタなどがあ
る。

（発明が解決しようとする課題）撮像した被写体が奥行きを持っている場合や、画面に
カメラからの距離が異なる被写体が写っている場合は、
撮像時のカメラの撮像光学系の設定によっては画像にピ
ントが合っている部分とピンドがはずれている部分が生
じる。カメラから被写体までの距離を考えると焦点が合
う距離の前後に人の目の許容範囲で鮮明に写っていると
判断できる範囲がある。この範囲は一般に被写界深度と
呼ばれる。この被写界深度はカメラの撮像光学系の設定
によって変わり、レンズの焦点距離が短いほど広く、ま
た絞りが小さいほど広くなる。したがって被写界深度内
にある被写体は鮮明に写り、被写界深度の外にある被写
体は焦点が合う距離からずれるほどぼける。このように
撮像した画像には鮮明に写っている部分とぼけている部
分がある場合がある。撮像素子が撮像できる明るさの範
囲が限られているので、特に被写体が暗くて絞りを大き
くして撮像しなければならない場合には被写界深度は狭
くなってしまう。またシャッタースピードを変えること
ができる種類のカメラで、動いている被写体を撮像する
時や手ぶれを防ぎたい時に鮮明な画像を撮るためにシャ
ッタースピードを速くして撮る場合がある。この場合も
必要な明るさを得るために絞りを大きくして撮影しなけ
ればならないことがある。したがって被写界深度は狭く
なってしまう。このような理由から、撮像した画像に鮮
明に写っている部分とぼけている部分が生じることが多
い。このような画像を前述した従来の画像処理方法で処
理するとデジタルフィルタのインパルス応答ｈ（m,n）
が全画面で一定なのでデジタルフィルタの効果が画面内
の場所によっては生じないことがある。例えば輪郭強調
フィルタをかけた場合には鮮明に写っていた部分の輪郭
は強調されるがぼけていた部分の輪郭はあまり強調され
ないといったことが起こることがある。また低域通過フ
ィルタの場合でも鮮明に写っていた部分とぼけていた部
分ではデジタルフィルタの効果が異なることがある。

本発明の画像処理方法はこのような従来の画像処理方
法の問題点を解決するために被写体からカメラまでの距
離によって特性が異なるデジタルフィルタをかけて、従
来の画像処理方法ではできなかった画面の広い範囲にわ
たって効果的な画像処理を行なうことを目的とする。

（課題を解決するための手段）本発明の画像処理方法は異なる位置から被写体を撮像
し、両眼立体視の方法で画面に写っている被写体とカメ
ラの間の距離を求め、この距離をもとにデジタルフィル
タのインパルス応答を計算して、これを被写体の像にか
けることにより、被写体とカメラの距離に対応した画像
処理を行なうものである。本発明の画像処理方法は被写体を第１のカメラにより第１の位置から撮像して
得た第１の画像においてこの被写体の像の位置を求め、
この被写体を第１のカメラあるいは第２のカメラにより
第１の位置とは異なる位置から撮像して得た第２の画像
においてこの被写体の像の位置を求め、第１および第２
の画像におけるこの被写体の像の位置の差からこの被写
体と第１のカメラの距離を求め、第１の画像のこの被写
体の像にこの被写体と第１のカメラの距離によって異な
る特性を持つフィルタをかけることを特徴とする画像処
理方法である。

あるいは第１の被写体および第１の被写体の周辺にある被写体
を第１のカメラにより第１の位置から撮像して得た第１
の画像において前記第１の被写体および第１の被写体の
周辺にある被写体の像の位置を求め、第１の被写体およ
び第１の被写体の周辺にある被写体を第１のカメラある
いは第２のカメラにより第１の位置とは異なる位置から
撮像して得た第２の画像において第１の被写体および第
１の被写体の周辺にある被写体の像の位置を求め、第１
および第２の画像における第１の被写体および第１の被
写体の周辺にある被写体の像の位置の差から第１の被写
体および第１の被写体の周辺にある被写体と第１のカメ
ラの距離を求め、第１の画像の第１の被写体の像に第１
の被写体および第１の被写体の周辺にある被写体と第１
のカメラの距離の組合せによって異なる特性を持つフィ
ルタをかけることを特徴とする画像処理方法である。

（作用）本発明の画像処理方法は被写体像から両眼立体視の方
法で被写体とカメラの間の距離を求める。ここで両眼立
体視について説明する。両眼立体視とは人が２つの目で
距離情報を得るのと同様に、２台のカメラでえ被写体を
撮像し、得られた２つの画像に写っている被写体の位置
の差から被写体までの距離を求める方法である。２台以
上のカメラで撮像してもよく、その場合は２台のカメラ
を使った場合より距離が正確に求められることが期待で
きる。また静止している被写体を撮る場合は１台のカメ
ラを使って２ヵ所から撮ってもよい。ここでは２台のカ
メラを使って距離情報を求める方法について説明する。
２台のカメラはTVカメラとし、これらは光学的にも電気
的にも全く同じ特性を持つとする。すなわち電気信号に
変換するときの特性や、撮像光学系の焦点距離、絞りの
大きさ、ピントを合わせた距離も等しいと仮定する。TV
カメラはNTSC方式では525本の走査線を持ち、撮像素子
上に結像した画像を走査して１次元の電気信号に変換す
る。ここでは２台のTVカメラを両眼立体視に都合がよい
ように固定するものとする。一つの固定方法は２台のTV
カメラをそれぞれの光軸が平行で、それぞれのレンズの
中心が光軸に垂直な同一平面上にあり、さらに２台のTV
カメラの対応する走査線が同一線上に載るように固定す
る方法である。ここでは説明を簡単にするため、２台の
カメラが水平に並んでいるものとし、２台を左のTVカメ
ラと右のTVカメラと呼ぶ。このとき左右のTVカメラの対
応する走査線はともに水平な同一直線上にある。すなわ
ち左のTVカメラの上からｎ番目の走査線は右のTVカメラ
の上からｎ番目の走査線と同じ水平な直線上にある。こ
の場合に左右のTVカメラのレンズの中心を通り、光軸に
垂直な平面から被写体までの距離（以下被写体までの距
離と略す）を求める方法を説明する。

このように固定された２台のTVカメラによる像の形成
のようすを第３図に示す。第３図で被写体の一点Ｐは左
のTVカメラのレンズ30により撮像素子上に結像する。こ
の撮像素子上に結像した画像を32（水平方向、垂直方向
の座標軸をそれぞれx_L′，y_L′とする）で表わしてい
る。点Ｐの像はP_L′である。画像32はレンズ30により反
転している。これをレンズ30に対して対象な位置に移動
させて通常のTV画面と同じ向きの画像34を考えこれを左
画像（水平方向、垂直方向の座標軸をそれぞれx_L，y_Lと
する）と呼ぶことにする。左画像34上の点Ｐの像をP_Lと
する。P_LはＰとP_L′を結ぶ左画像と交差する点になる。
同様に右のTVカメラのレンズ31による撮像素子に結像し
た画像を33、点Ｐの像をP_R′とし、それをレンズ31に対
して対象な位置に移動させて通常のTV画像と同じ向きの
画像35を考え、これを右画像（水平方向、垂直方向の座
標軸をそれぞれx_R，y_Rとする）と呼ぶことにする。右画
像35上の点Ｐの像をP_Rとする。なおz_Lはレンズ30の光
軸、z_Rはレンズ31の光軸でありこれらは上に述べた通り
平行でその間隔をＡとする。また左右それぞれのレンズ
と撮像素子上の結像した画像の間隔をＢとする。左のレ
ンズと左画像、右のレンズと右画像の間隔もＢとなる。
Ｂはピントを合わせる距離によって決まり、ピントを合
わせる距離をz_f、レンズの焦点距離をf_Lとするとレンズ
の法則から（２）式のようになる。

上に述べた仮定から、レンズ30と31の中心を結ぶ直線
が水平で、左画像と右画像の対応する走査線は同じ水平
な直線上にあり、かつ走査線とレンズの中心を結ぶ直線
は平行となるので、P_L′を含む走査線とP_R′を含む走査
線は同一直線上にある。したがってこれらをそれぞれ左
右のレンズに対して対称に移動させたP_Lを含む走査線と
P_Rを含む走査線も同一直線上にある。すなわちP_Lの座標
を左画像上で（X_L，Y_L）、P_Lの座標を右画像上で（X_R，
Y_R）とするとY_LとY_Rは等しい。また求めようとしている
被写体までの距離（光軸に垂直でレンズ30、31の中心を
通る平面から点Ｐまでの距離）をｚとするとｚとX_L，X_R
の関係は第４図にようになる。これは第３図で点Ｐ、
P_L、P_Rをx_Lz_L平面（x_Rz_R平面と同じ）に投影したもので
それぞれＰ″、P_L″、P_R″で示している。Ｐ″からz
_L軸、z_R軸への足をそれぞれP₁、P₂とし、第４図から線
分P₁P₂の長さに対する方程式をつくると（３）式のよう
になる。

（３）式よりいずれの場合ともｚは（４）式のように
X_L、X_Rの差で表わされる。

以上説明したように一つの点の像を左画像上、右画像
上で求めることができれば（４）式により被写体までの
距離を求めることができる。ただし実際には左画像、右
画像とも標本化して離散画像として処理するのでX_L、X_R
はその標本間隔以下の精度では求められない。したがっ
て求めた被写体までの距離には標本間隔に起因する誤差
が含まれる。また（４）式から被写体までの距離が小さ
いほどその精度が高くなることが期待できる。ただし左
画像と右画像の領域は有限なので被写体までの距離を求
めることができる範囲は左画像と右画像の両方に表われ
る領域に限られる。したがって左画像の左端付近と右画
像の右端付近に写っている被写体までの距離は求められ
ない。

次に左画像、右画像で同じ点の像を求める方法につい
て説明する。これは対応探索と呼ばれる。上に述べたよ
うに点Ｐの像が左画像の上からｎ番目の走査線にある
時、右画像でも同じ上からｎ番目の走査線上にあるので
ｎ番目の走査線上でのみ像を捜せばよい。したがって以
下では左画像と右画像の一組の走査線上で同じ点の像を
捜す方法について説明する。対応探索は人が目でみて判
断しておこなってもよいが、計算でおこなう方法もいく
つか知られておりかなり正確に対応探索ができる。これ
らはたとえば文献「0 Plus E別冊、“画像処理アルゴリ
ズムの最新動向”、高木、鳥脇、田村編、新技術コミュ
ニケーションズ社の第８章３次元情報の再構成とモデル
化」に詳しく説明されている。ここではこの中の１つの
方法を説明する。第５図にこの対応探索の方法を示す。
第５図で（ａ）に示す中央が手前にくぼんだ被写体を上
に述べた左右のTVカメラで撮像した場合の左画像の走査
線（以下左走査線と略す）上の画像信号（たとえば輝度
信号）を（ｂ）の横軸に、右画像の対応する走査線（以
下右走査線と略す）上の画像信号を（ｂ）の縦軸に表わ
している。ここで左右のTVカメラの特性は等しいと仮定
しているので、同じ被写体の像にあたる画像信号は左右
の走査線上で等しくなり、その位置が左右の走査線で変
わる。まず左走査線上の画像信号を微分してエッジを抽
出し、左端を０として左から第５図（ｂ）のように番号
をつける。同様に右走査線上の画像信号も微分してエッ
ジを抽出し、左端を０として左から番号をつける。離散
画像の微分は隣接する標本との差をとっておこなう。走
査線の両端もエッジとみなす。ここでは左走査線上の画
像信号の右端の番号は４となり、右走査線上の画像信号
の右の番号は５となる。番号ｍの左走査線上の画像信号
のエッジと番号ｎの右走査線上の画像信号のエッジの組
合せを縦線と横線の交点（m,n）として表わす。そして
このエッジの組合せの中から被写体の同じ点の像の組合
せであると判断される組合せを捜して、そのエッジの組
みを順に接続し第５図（ｂ）のように左上（0,0）から
右下（4,5）にいたるパスをつくる。ここでは第５図
（ａ）のａ〜ｅの面の対応を第５図（ｂ）に記入してあ
る。ｄの面は左画像ではｃの面に隠れてみえないのでえ
この区間のパスは垂直になっている。左走査線の左端付
近に写っていて左走査線上の画像に写っていない被写体
も同様に隠れているとみなすことになる。この左上（0,
0）から右下（4,5）にいたるパスにより左走査線上の画
像信号のエッジと右走査線上の画像信号のエッジの対応
を一意に決める。このパスを求める方法を第５図に示す
例で説明する。

まず（m,n）から（ｍ′,n′）（ｍ′はｍあるいはｍ
＋１、ｎ′はｎあるいはｎ＋１、ただしｍ′＝ｍかつ
ｎ′＝ｎではない）への接続を原子パスと呼ぶことにす
る。そして各原子パスに対してコストを定める。コスト
は例えば左走査線上の画像信号のエッジｍとｍ′にはさ
まれた区間と右走査線上の画像信号のエッジｎとｎ′に
はさまれた区間の相関から決める。すなわち、左走査線
上の画像信号のエッジｍとｍ′にはさまれた区間をa
_L（ｉ）（ｉ＝0,I−１）、右走査線上の画像信号のエッ
ジｎとｎ′にはさまれた区間をa_R（ｊ）（ｊ＝0,J−
１）としたとき、まず短い方の区間を長い方の区間と同
じ長さに伸張する。ここでＩＪとするとa_R（ｊ）（ｊ
＝0,J−１）を長さがＩになるように必要な標本を補間
してa_R′（ｉ）（ｉ＝0,I−１）をつくる。そして
（５）式の値ｄを計算してこの原子パスのコストとす
る。ｄはa_L（ｉ）とa_R′（ｉ）の差の絶対値の和に区間
の長さの重みをつけたものであり、a_L（ｉ）とa_R（ｉ）
の相関が高いほど小さくなる。

ただしｍ′＝ｍのときとｎ′＝ｎのときは、その走査
線上では他方の走査線上の区間に対応する区間がない、
すなわちほかの被写体などに隠れて見えない場合なの
で、他方の走査線上の区間の長さに比例した値をその原
子パスのコストに当てる。Ｊ＞Ｉの場合もa_L（ｉ）（ｉ
＝0,I−１）の方を補間して（５）式と同様にｄを定め
ることができる。そして（0,0）から（4,5）にいたる可
能なルートについてそのルートに沿った原子パスのコス
トの和を求め、そのコストの和が最初となるルートを上
で述べた（0,0）から（4,5）にいたるパスとする。可能
なルートとは（0,0）から上で定義した原子パスを接続
して（4,5）にいたることができるルートである。

こうして被写体を撮像した時にエッジとなる点の左走
査線上の位置と右走査線上の位置を求める。そしてこの
エッジの座標から（４）式によってこの被写体の点まで
の距離を求めることができる。エッジにはさまれた区間
に写っている被写体までの距離はその区間の両端にある
エッジとなる点までの距離から線形近似で求めることが
できる。以上説明したように撮像した時にエッジとなる
被写体の点の左走査線上の像と右走査線上の像を求め、
これから被写体までの距離を求めることができる。

また以上の説明では２台のTVカメラの光軸は平行と仮
定したが、このTVカメラの位置から光軸を同じ角度だけ
内側に傾けた場合についても同様にして被写体までの距
離を求めることができる。またここでは説明を簡単にす
るため２台のTVカメラの位置関係をこのように制限した
が、２台のTVカメラの位置関係が正確に求められていれ
ば一方のTVカメラで撮像した画像を変換して、他方のTV
カメラで撮像した画像と上に述べた関係になる画像を生
成できることがある。したがってこの場合にもここで述
べた両眼立体視の方法で被写体までの距離を求めること
ができる。さらに以上の説明では２台のTVカメラはまっ
たく同じ特性を持つと仮定したが、これらの特性が多少
違っていても、正しい対応に相当する原子パスのコスト
が正しくない対応の原子パスのコストに比べて小さけれ
ば、正しいパスが求められるので被写体までの距離を求
めることができる。また２台のTVカメラの特性の違いに
あまり影響されない原子パスのコストの決め方もある。
従って２台のTVカメラの特性が多少違っても両眼立体視
の方法で被写体までの距離を求めることができる場合が
多い。

（実施例）第１図に本発明の画像処理方法の実施例のブロック図
を示す。第１図の画像処理方法の動作は次のようになっ
ている。TVカメラ１で撮像した画像の輝度及び色差信号
はNTSC信号に変換されて変調され、出力される。これは
標本化回路２で標本化され、A/D変換回路３でデジタル
信号に変換される。次にY/C分離回路13で輝度信号と色
差信号に分離される。またTVカメラ８で撮像した画像の
輝度及び色差信号はNTSC信号に変換されて変調され、出
力される。これは標本化回路９で標本化され、A/D変換
回路10でデジタル信号に変換される。次にY/C分離回路1
5で輝度信号と色差信号に分離される。ここでTVカメラ
１とTVカメラ２は光軸が並行で、それぞれのレンズの中
心が光軸に垂直な同一平面上にあり、それぞれの対応す
る走査線が同一直線上に載るように固定されており、TV
カメラ１と２は光学的特性、電気的特性が等しくなるよ
うに調整する。デジタル信号に変換されたTVカメラ１と
２の画像の輝度信号は両眼立体視処理11で作用の項に述
べた両眼立体視の処理をおこない、TVカメラ１で撮った
画像とTVカメラ２で撮った画像にともに写っている範囲
について各標本毎に、TVカメラ１のレンズの中心を通
り、光軸に垂直な平面からその標本に写っている被写体
までの距離を求める。そしてこの距離をデジタルフィル
タ12に出力する。デジタルフィルタ12は、TVカメラ１の
画像の輝度信号の各標本に対して両眼立体視処理11から
出力された距離によって特性が変わるデジタルフィルタ
をかける。そしてデジタルフィルタ12の出力とY/C分離
回路13で分離されたTVカメラ１の画像の色差信号をRGB
合成回路14で加算してRGB信号を合成する。そしてD/A変
換回路５でアナログ信号に変換され、LPF6で連続信号に
変換それ出力端子７に出力される。こうしてTVカメラで
撮った画像の輝度信号に、写っている被写体とTVカメラ
の間の距離によって特性が変わるデジタルフィルタをか
けている。

デジタルフィルタ12はTVカメラ１で撮像され標本化さ
れた離散画像の輝度信号をａ（m,n）（m,nはそれぞれ水
平方向、垂直方向の座標を表す整数とする）、出力され
る輝度信号をｂ（m,n）,a（ｍ−m₁,n−n₁）からｂ（m,
n）への寄与を表すデジタルフィルタのインパルス応答
をｈ（m₁，n₁;m,n）としたとき、（６）式で表される処
理を行うものである。

ここでｈ（m₁，n₁;m,n）が０でない範囲は、m,nにか
かわらずm₁が−M₁〜M₁、n₁が−N₁〜N₁としている。M₁、
N₁はすべてのm,nに対するインパルス応答の０でない範
囲が含まれるような値を選ぶ。このインパルス応答の例
を次に上げる。

第１の例はTVカメラの撮像光学系による劣化を復元す
るフィルタである。TVカメラの撮像光学系の伝達関数は
レンズから被写体までの距離によって変わるので、撮像
した画像の劣化はそこに写っている被写体までの距離に
よって違う。したがって両眼立体視の方法で写っている
被写体までの距離を求め、それをもとに撮像光学系によ
る劣化を復元するフィルタを構成できる。まず撮像光学
系の伝達関数について説明する。これはたとえば文献
「J.W.Goodman,“Introduction to Fourier Optics"（M
cGraw-Hill 1968）」、「P.A.Stokseth,“Properties o
f a Defocused Optical System"（Journal of The Opti
cal Society of America Vol.59 No.10 1969）」に詳し
く述べられている。たとえばレンズが無収差で絞りが円
形の場合の伝達関数の周波数パラメタは対称性から、水
平方向、垂直方向の周波数をそれぞれu,vとして（７）
式の周波数ｓで表される。

被写体が光軸に近い場所にある場合、被写体（その像
と同じ大きさになるように拡大縮小しているとする）か
らその像を生成する伝達関数をH_L（ｓ）とするとH
_L（ｓ）はレンズから被写体までの距離z_oとピントが合
う距離のz_fの関係により（８）式（９）式のようにな
る。

（ｉ）z_o＝z_f（ピントがあっている場合）（ｉ）z_o≠z_f（ピントがあっていない場合） f_L ：レンズの焦点距離ｌ：円形開口の直径Ｂ：レンズから撮像素子上の像までの距離 λ ：撮像素子上の像を形成する光の波長の平均
（たとえば550nm） W_max ：光軸上の被写体の像を形成する光の光路差
の最大値 J_n（Ｘ） :n次の第１種Besse1関数この場合には（８）式、（９）式からわかるように
z_o，z_f,lおよびf_LからH_L（ｓ）が計算できる。このうち
z_f、ｌおよびf_Lは撮像時のTVカメラの撮像光学系の設定
値なので撮像する時に求めておくことができる。またz_o
は前述したように両眼立体視の方法で求めることができ
るのでTVカメラで撮像した画像の各標本に対するH
_L（ｓ）を計算できる。したがって撮像光学系の伝達関
数H_L（ｓ）によって劣化している画像を復元する復元フ
ィルタを構成することができる。復元フィルタにはいろ
いろな構成のしかたがあり、たとえば文献「0 Plus E別
冊、“画像処理アルゴリズムの最新動向”、高木、鳥
脇、田村編、新技術コミュニケーションズ社の第３章画
像復元」に詳しく説明されている。ここではこの中から
ウイーナー（Wiener）フィルタを使った復元フィルタを
説明する。ウイーナーフィルタの伝達関数をＷ（ｓ）
（ｓは（７）式で表される周波数）とすると、Ｗ（ｓ）
は撮像光学系の伝達関数H_L（ｓ）としたとき、（10）式
のように表される。

ここでδは劣化する前の画像と雑音の相対的な大きさ
をもとに決められる定数である。このウイーナーフィル
タはH_L（ｓ）の絶対値がδに比べて大きい周波数では、
ほぼ1/H_L（ｓ）の特性を示してH_L（ｓ）の特性を補正
し、またH_L（ｓ）の絶対値がδに比べて小さい周波数で
は、Ｗ（ｓ）の利得が大きくなるのをδで抑えて不安定
性を回避する特性を有している。

復元は次のようにおこなう。先ず両眼立体視の方法で
ａ（m,n）に写っている被写体までの距離（以下ｚ（m,
n）で表す）を求め、これと撮像時に図っておいたz_f、
ｌ、f_Lから（８）式、（９）式に従い各標本毎にH
_L（ｓ）を求め、それから（10）式に従ってＷ（ｓ）を
計算し、これを逆フーリエ変換してインバルス応答に変
換する。そしてこれからｈ（m₁，n₁;m,n）を構成する。
離散信号に対するフーリエ変換、逆フーリエ変換は離散
逆フーリエ変換を使って実行できる。この場合ｈ（m₁，
n₁;m,n）はｚ（m,n）の関数となり、ｚ（m,n）の等しい
標本点に対するｈ（m₁，n₁;m,n）は等しくなる。

インパルス応答ｈ（m₁，n₁;m,n）の第２の例として撮
像時の撮像光学系のパラメタであるz_f、ｌを変更するフ
ィルタについて説明する。これはz_f、ｌとして撮像した
画像からはz_f′、ｌ′で撮像した画像生成する処理であ
る。すなわちピントの合う距離を変えたり、被写界深度
を変えるフィルタである。この処理はz_f、ｌで撮像した
画像の劣化を第１の例で説明したようにして復元した
後、z_f′、ｌ′とした撮像光学系のフィルタをかけるこ
とにより実現できる。この処理は次のようなデジタルフ
ィルタになる。z_f、ｌに設定したTVカメラ１で撮像され
標本化された離散画像の輝度信号をａ（m,n）、以前に
説明した両眼立体視の方法で求めたａ（m,n）に写って
いる被写体までの距離をｚ（m,n）、第１の例に示した
この撮像光学系による劣化を復元するデジタルフィルタ
のインパルス応答をｈ（m₁，n₁;m,n）（範囲はm,nにか
かわらずm₁が−M₁〜M₁、n₁が−N₁〜N₁とする）。復元さ
れた輝度信号をｃ（m,n）、ｚ（m,n）とz_f′、ｌ′およ
びf_Lから（８）式、（９）式に従って、求めた撮像光学
系の伝達関数を逆フーリエ変換して得たインパルス応答
から構成されるデジタルフィルタのインパルス応答をh₂
（m₂，n₂;m,n）（範囲はm,nにかかわらずm₂が−M₂〜
M₂、n₂が−N₂〜N₂とする。M₂、N₂はすべてのm,nに対す
るインパルス応答の０でない範囲が含まれるような値を
選ぶ）、出力される輝度信号をｂ（m,n）とするとｂ
（m,n）は（６）式から（11）式のように表される。

（11）式からm₁＋m₂をm₃、n₁＋n₂をn₃として新しい変
数m₃、n₃によって（11）式で表されるデジタルフィルタ
を（12）式のように書き換えることができる。

ただしh₃（m₃，n₃;m,n）は（11）式のh₂（m₂，n₂;m,
n）h₁（m₁，n₁;m−m₂,n−n₂）のうちm₁＋m₂がm₃、n₁＋n
₂がn₃となる項を加算したものである。したがってこのh
₃（m₃，n₃;m,n）の計算するのにｚ（m,n）だけでなくま
わりのｚ（m₃，n₃）（m₃はｍ−M₁−M₂〜ｍ＋M₁＋M₂、n₃
はｎ−N₁−N₂〜ｎ＋N₁＋N₂）が必要になる。そしてこの
h₃（m₃，n₃;m,n）が（６）式のインパルス応答になる。

第２の例でｚ（m,n）によりh₂（m₂，n₂;m,n）を変え
てもよい。たとえばz_f′＜z_o＜z_f″としてｚ（m,n）＜z
_oとなる標本ではz_f′、ｌ′である撮像光学系のフィル
タをかけ、z_o≦ｚ（m,n）となる標本ではz_f″、ｌ″で
ある撮像光学系のフィルタをかけるようにすれば、z_f′
とz_f″にピントがあってz_o付近にはピントが合っていな
い画像を生成することもできる。

撮像光学系の開口が円形でない場合の伝達関数は周波
数パラメタをｕ、ｖとして（８）式、（９）式と同様に
計算でき。またこの場合も（10）時と同様に復元フィル
タを構成できる。また実際には無収差のレンズを作るの
は難しいが、収差があってもそれが小さければ伝達関数
を無収差レンズの伝達関数で近似できるので本発明の画
像処理方法は有効である。またここでは撮像光学系の伝
達関数から構成されるディジタルフィルタのみについて
述べたが、撮像光学系とは無関係の、被写体までの距離
で特性が決まるディジタルフィルタをかけてもよい。

（発明の効果）以上説明したように本発明の画像の処理方法により従
来の処理方法ではできなかった。被写体までの距離に応
じたフィルタをかけることができる。このような画像処
理方法は、奥行きを持っている被写体カメラからの距離
が異なるいくつかの被写体を、被写界深度が狭い撮像光
学系で撮った場合の画像処理に特に有効である。

【図面の簡単な説明】

第１図は本発明の画像処理方法のブロック図、第２図は
従来の画像処理方法のブロック図、第３図は左右のTVカ
メラによる像の形成を説明する図、第４図はｚとX_L、X_R
の関係を説明する図、第５図は左右の走査線上の画像の
対応探索方法を説明する図である。図において、1,8:TVカメラ、2,9:標本化回路、3,10:A/D
変換回路、4,12:ディジタルフィルタ、5:D/A変換回路、
6:LPF、11:両眼立体視処理、13,15:Y/C分離回路、14:RG
B合成回路、30,31:レンズ、32,33:画像、34:左画像、3
5:右画像。

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06T 7/00 G06T 5/20 G06T 1/00 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims

(57)【特許請求の範囲】

【請求項１】被写体を第１のカメラにより第１の位置か
ら撮像して得た第１の画像において前記被写体の像の位
置を求め、前記被写体を前記第１のカメラあるいは第２
のカメラにより前記第１の位置とは異なる位置から撮像
して得た第２の画像において前記被写体の位置を求め、
前記第１および第２の画像における前記被写体の像の位
置の差から前記被写体と前記第１のカメラの距離を求
め、前記第１の画像の前記被写体の像に前記被写体と前
記第１のカメラの距離によって異なる特性を持つフィル
タをかけることを特徴とする画像処理方法。
【請求項２】第１の被写体および前記第１の被写体の周
辺にある被写体を第１のカメラにより第１の位置から撮
像して得た第１の画像において前記第１の被写体および
前記第１の被写体の周辺にある被写体の像の位置を求
め、前記第１の被写体および前記第１の被写体の周辺に
ある被写体を前記第１のカメラあるいは第２のカメラに
より前記第１の位置とは異なる位置から撮像して得た第
２の画像において前記第１の被写体および前記第１の被
写体の周辺にある被写体の像の位置を求め、前記第１お
よび第２の画像における前記第１の被写体及び前記第１
の被写体の周辺にある被写体の像の位置の差から前記第
１の被写体および前記第１の被写体の周辺にある被写体
と前記第１のカメラの距離を求め、前記第１の画像の前
記第１の被写体の像に前記第１の被写体および前記第１
の被写体の周辺にある被写体と前記第１のカメラの距離
の組合せによって異なる特性を持つフィルタをかけるこ
とを特徴とする画像処理方法。