JP3000587B2

JP3000587B2 - 画像処理方法

Info

Publication number: JP3000587B2
Application number: JP1132763A
Authority: JP
Inventors: 直哉林
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1989-05-29
Filing date: 1989-05-29
Publication date: 2000-01-17
Anticipated expiration: 2015-01-17
Also published as: JPH02312459A

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明はデジタル信号処理に関し、特にカメラのレン
ズと結像面の間の距離を変えて撮った複数の画像から、
被写体の像が最も鮮明に見える画像を捜すことによりカ
メラから被写体までの距離を求め、求めた距離をもとに
デジタルフィルタを構成して画像処理を行う方法に関す
る。

〔従来の技術〕

カメラで撮った画像にデジタルフィルタをかける画像
処理方法の従来例を実施する画像処理装置のブロック図
を第２図に示す。第２図はカメラにテレビジョン用のカ
メラ（以下TVカメラと略す）を使った例である。

この画像処理方法は次のようになる。TVカメラ１で撮
像した画像の輝度及び色差信号は連続な電気信号に変換
されて変調され、出力される。これは標本化回路２で標
本化され、アナログデジタル変換（以下A/D変換と略
す）回路３でテジタル信号に変換される。次に輝度信号
色差信号分離（以下Y/C分離と略す）回路４で輝度信号
と色差信号に分離される。輝度信号はデジタルフィルタ
11でフィルタをかけられ、これとY/C分離回路４で分離
された色差信号をRGB合成回路７で加算してRGB信号を合
成する。これらはデジタルアナログ変換（以下D/A変換
と略す）回路８でアナログ信号に変換され、低域通過フ
ィルタ（以下LPFと略す）９で連続信号に変換されて出
力端子10に出力される。

以上のようにして、TVカメラで撮った画像にデジタル
フィルタをかけている。標本化された画像の輝度信号を
ａ（m,n）（m,nはそれぞれ水平方向、垂直方向の座標を
表す整数とする）、デジタルフィルタのインパルス応答
をｈ（m,n）（ｈ（m,n）が０でない範囲を−Ｍ≦ｍ≦M,
−Ｎ≦ｎ≦Ｎとする）、出力される画像の輝度信号をｂ
（m,n）としたとき、デジタルフィルタ11は（１）式で
表される処理を行うものである。

デジタルフィルタ11としては各種のフィルタがある
が、たとえば画像の輪郭を強調する輪郭強調フィルタや
画像の高周波成分を減衰させる低域通過フィルタなどが
ある。

〔発明が解決しようとする課題〕

被写体をカメラのレンズの光軸に沿って動かすと、そ
の像がカメラの結像面に合焦する位置がある。この被写
体の像が合焦する位置は、レンズの法則を満たす光軸に
垂直な平面上で、光軸に近い範囲であることが知られて
いる。レンズの法則とは、被写体とその合焦した像の距
離関係を表したものである。これを式で表すと、像が結
像面で合焦する被写体は、光軸に沿って測ったレンズと
結像面の間の距離をｂとした場合、光軸に沿って測った
レンズからの距離ａが（２）式を満たす光軸に垂直な平
面上にある。

ここでf_Lはレンズの焦点距離である。以下この平面を合
焦面と呼ぶことにする。またレンズから光軸に沿って測
った合焦面までの距離を合焦距離と呼ぶことにする。こ
の合焦距離は光軸に沿って測ったレンズと結像面の間の
距離ｂとレンズの焦点距離f_Lから（２）式により求める
ことができる。合焦距離の前後に、人の目の許容範囲で
像が鮮明に写っていると判断できる範囲がある。この範
囲は一般に被写界深度と呼ばれ、被写界深度内にある被
写体は鮮明に写り、被写界深度の外にある被写体は合焦
距離からずれるほどその像がぼける。この被写界深度は
カメラの撮像光学系の設定によって変わり、レンズの焦
点距離が短いほど広く、また絞りが小さいほど広くな
る。

撮像素子が撮像できる明るさの範囲が限られているの
で、特に被写体が暗くて、十分な明るさを得るために絞
りを大きくして撮像しなければならない場合には被写界
深度は狭くなる。このような条件のもとで、奥行きを持
った被写体やカメラからの距離が異なる複数の被写体を
撮像する場合は、画像に合焦して鮮明に写っている部分
と合焦せずにぼけている部分が生じる。

このような画像を前述した従来の画像処理方法で処理
すると、デジタルフィルタのインパルス応答ｈ（m,n）
が全画面で一定なため、その効果が十分に現れない部分
が生じることがある。たとえば輪郭強調フィルタをかけ
た場合には、鮮明に写っていた部分の輪郭は強調される
が、ぼけていた部分の輪郭はあまり強調されないことが
ある。また低域通過フィルタの場合でも、鮮明に写って
いた部分とぼけていた部分ではデジタルフィルタの効果
が異なることがある。

本発明の目的は、従来の全画面でデジタルフィルタの
インパルス応答が一定な画像処理方法の問題点を解決す
るために、被写体からカメラまでの距離を用いて構成し
たデジタルフィルタにより画面内の部分により異なる処
理を行い、従来の画像処理方法ではできなかった画面の
広い範囲にわたって効果的な画像処理を行うことのでき
る画像処理方法を提供することにある。

〔課題を解決するための手段〕

本発明の画像処理方法では、カメラのレンズと結像面
の間の距離を変えて撮った複数の画像すなわち合焦距離
を変えて撮った複数の画像から、そこに写っている被写
体の像が最も鮮明に見える画像を捜すことにより画面に
写っている被写体とカメラの間の距離を求める。そして
この距離をもとにデジタルフィルタのインパルス応答を
設定して、これを撮像した画像上の被写体の像にかける
処理を行うものである。

すなわち、本発明の画像処理方法は、カメラのレンズ
と結像面の間の距離を変えて複数の画像を撮像すると共
に前記距離を記録し、被写体の最も鮮明な像を含む画像
を前記複数の画像の中から選択し、この選択した画像を
撮像した時の前記距離から前記被写体と前記レンズの間
の第１の距離を求め、前記第１の距離より定まる前記レ
ンズを含む撮像系のフィルタ特性から２次元ディジタル
フィルタを構成し、この２次元ディジタルフィルタを前
記選択した画像のなかの前記被写体の像に作用させるこ
とを特徴とする。

また、本発明の画像処理方法は、カメラのレンズと結
像面の間の距離を変えて複数の画像を撮像すると共に前
記距離を記録し、第１の被写体の最も鮮明な像を含む第
１の画像を前記複数の画像の中から選択し、この選択し
た画像を撮像した時の前記距離から前記第１の被写体と
前記レンズの間の第１の距離を求め、前記第１の被写体
のまわりに写っている１つあるいは複数の被写体の最も
鮮明な像を含む画像を前記複数の画像の中からそれぞれ
選択し、これらの選択した画像を撮像した時の前記距離
から前記第１の被写体のまわりに写っている１つあるい
は複数の被写体と前記レンズまでの距離をそれぞれ求
め、これらの距離より定まる前記レンズを含む撮像系の
フィルタ特性から構成する２次元ディジタルフィルタ
と、前記第１の距離により定まる前記レンズを含む撮像
系のフィルタ特性から構成する２次元ディジタルフィル
タを縦続接続した特性をもつ２次元ディジタルフィルタ
を構成し、この２次元ディジタルフィルタを前記第１の
画像のなかの前記第１の被写体および前記第１の被写体
のまわりに写っている１つあるいは複数の被写体の像に
作用させることを特徴とする。

〔作用〕

本発明の画像処理方法では、合焦距離を変えて撮った
複数の画像から、被写体の像が最も鮮明に見える画像を
捜すことにより被写体とカメラの間の距離を求める。以
下では撮像する被写体は静止しているものとし、この被
写体とカメラの間の距離を求める方法について説明す
る。

第３（ａ）図で、被写体30のレンズ31による像が結像
面33に結像している。ここで像32は合焦しているものと
すると、被写体とその像の距離関係はさきに述べたよう
にレンズの法則を満たす。すなわち被写体30からレンズ
31までの距離（レンズ31の光軸に沿って測った距離）を
ａ、レンズ31から像32までの距離（レンズ31の光軸に沿
って測った距離）をｂ、レンズ31の焦点距離をf_Lとする
と、これらの関係は（２）式のようになる。

また一般に合焦している像は鮮明で、合焦していない
像にはぼけが生じる。そして被写界深度を狭く設定する
と、被写体が鮮明に写る距離の範囲は狭くなる。

レンズを固定し、結像面を移動させてレンズと結像面
の間の距離を変えると、合焦面とレンズの間の距離すな
わち合焦距離を変えることができる。このようにして合
焦距離を変えて複数の画像を撮像すると、被写体の像の
ぼけかたから、画像に写っている被写体とその画像を撮
ったときのカメラの間の距離を測定できる場合がある。
すなわちレンズを固定し、結像面を移動させることによ
り合焦距離を変えて複数の画像を撮像し、その時の合焦
距離を画像と共に記録しておく。そして撮像した複数の
画像の中で被写体の像が最も鮮明に写っている画像を捜
して、その画像を撮った時の合焦距離をカメラと被写体
の間の距離とすればよい。

被写体が奥行きを持っている場合にも、被写体の像を
いくつかの部分に分けて同様な処理を繰り返すことによ
り、カメラとその部分の間の距離を求めることができ
る。

また被写体が複数ある場合でも、それぞれの被写体ご
とに同様な処理を繰り返すことにより、カメラとこれら
の被写体の間の距離を求めることができる。

以下に、被写体像が最も鮮明に写っている画像を求め
る方法の一つを説明する。

レンズを固定し、結像面を移動させて合焦距離をz₁,z
₂・・・z_K（z₁＜z₂＜・・・＜z_K）に変化させて、Ｋ枚
の画像を撮像することとする。合焦距離をこのように変
えるには、（２）式のａにz₁,z₂・・・z_Kを代入して、
その時のレンズから結像面までの距離ｂ（それぞれb₁,b
₂,・・・b_Kとする）を求め、それにしたがって結像面を
移動させて撮ればよい。

このようにして合焦距離を変えると、像の倍率が変わ
る。この倍率の変化が大きくなる場合は、これを補正す
る。まずその倍率の補正について説明する。第３（ｂ）
図は、レンズ31と結像面33の間の距離がｂ′の場合の像
34を表している。被写体30の高さをd₀、像34の高さ（被
写体30とレンズ31の中心を結ぶ直線が結像面33と交わる
点までの高さ）をd₁とすると、像の倍率d₁/d₀は第３
（ｂ）図からｂ′/aに等しくなる。

レンズ31と結像面33の間の距離がb₁の時の像の倍率b₁
/aを基準にして表すことにすると、上で述べたレンズ31
と結像面33の間の距離がｂ′の場合の像の倍率は、
（４）式で表される分だけ変わる。

このようにしてレンズと結像面の間の距離を変える
と、像の倍率が変化する。したがってレンズと結像面の
間の距離を変えて同じ被写体を撮った画像では、像の大
きさが変わることになる。以下に述べる処理方法では、
撮像したＫ枚の画像にわたって同じ被写体の像が画面内
の同じ位置にある必要がある。このため上述したように
たとえばb₁の時の倍率を基準に選び、b₂からb_Kに変えて
撮った画像の倍率の変化を（４）式から計算する。そし
てこの倍率の変化に従い、撮像した画像に写っている被
写体がb₁の時と同じ位置にくるように拡大あるいは縮小
する。こうして同じ被写体の像が同じ位置に写っている
ようにすることができる。

また特にレンズと結像面の間の距離をb₂からb_Kへ変え
ても（４）式の値がほとんど変わらなければ、倍率の補
正はしなくてもよい。

このようにして倍率が等しくなるように補正したＫ枚
の画像の画素の位置を（m,n）で表す。ここでｍは画面
の水平方向、ｎは垂直方向の座標を表す整数である。位
置（m,n）の画素の値すなわち輝度信号の大きさをｇ
（m,n）とする。

一般に合焦している被写体の像の明るさの変化は大き
く、ぼけているほど明るさの変化は小さくなる。したが
ってこの像の明るさの変化の大きさを判断基準として、
被写体の像が鮮明に写っている画像を選ぶことができ
る。すなわちＫ枚の画像の中で（m,n）付近のｇ（m,n）
の変化の大きさが最も大きい画像を、位置（m,n）に写
っている被写体の像が合焦している画像とすればよい。

しかしもともと被写体の明るさの変化が少ない平坦な
部分は、合焦しているかどうか判断しにくい。判断しや
すいのは被写体の模様や境界など明るさが変化している
部分、すなわち撮像した画像でエッジとして写っている
部分である。したがってまず撮像したＫ枚の画像を各画
素ごとに平均して１枚の平均画像を作り、その平均画像
のエッジを求める。次にＫ枚の画像にわたって、このエ
ッジ付近のｇ（m,n）の変化の大きさを調べる。そして
エッジとして写っている被写体の部分とカメラの間の距
離を求め、平坦な部分として写る被写体の部分とカメラ
の間の距離は、まわりにあるエッジとして写っている被
写体とカメラの間の距離から、たとえば線形補間して求
めることにする。

画像のエッジは差分型の演算子を用いて求めることが
できる。すなわちまわりの画素の値との差をとり、これ
がある適当な値より大きくなる画素をエッジとすればよ
い。

画素の値ｇ（m,n）の変化の大きさを表す評価値とし
て、位置（m,n）付近のｇ（m,n）の標準偏差をその領域
のｇ（m,n）の平均値で割った値を用いることが提案さ
れている（塩昭夫、「情景中文字の検出のための動的２
値化処理法」電子情報通信学会論文誌D vol.J71−D No.
5 1988年５月）。

ここではこの方法を採ることとし、これについて説明
する。位置（m,n）に写っている被写体の反射率をｒ
（m,n）、その被写体を照らしている照明の強度をｉ
（m,n）とすると、画素の値ｇ（m,n）は（５）式のよう
に近似的にｒ（m,n）とｉ（m,n）の積で表すことができ
る。

ｇ（m,n）＝ｒ（m,n）ｉ（m,n）・・・（５）ｉ（m,n）は部分的にはあまり変化しないが、撮像し
た画像全体についてみると変化していることもある。そ
こでｉ（m,n）の変化にあまり影響を受けない評価値を
得るために上に述べたようにして求めたエッジの各画素
について、適当な整数P,Qを求めて周囲の（2P＋１）（2
Q＋１）画素からなる領域｛ｇ（ｍ＋i,n＋ｊ）｜ −Ｐ≦ｉ≦P, −Ｑ≦ｊ≦Ｑ｝を考える。この小さな領域内では、照明の強度ｉ（m,
n）は一定値μ_ｉであるとしてよいので、この領域に関
するｇ（m,n）の分散σ^２と平均μを求めると、それぞ
れ（６）式，（７）式のようになる。

ただし、μ_r,σ_r ²はそれぞれこの領域内の被写体の反
射率ｒ（m,n）の平均および分散である。

したがってこの領域内の標準偏差σを平均μで割った
値は、（８）式のように照明の強度ｉ（m,n）には依存
せず、被写体の反射率ｒ（m,n）の標準偏差σ_ｒと平均
μ_ｒに依存するようになる。

σ／μ＝σ_r/μ_ｒ・・・（８）撮像したＫ枚の画像の同じ領域｛ｇ（ｍ＋i,n＋ｊ）
｜−Ｐ≦ｉ≦P,−Ｑ≦ｊ≦Ｑ｝では、合焦していればｇ
（m,n）の変化は大きくなるので標準偏差σも大きくな
り、一方平均μは合焦していなくてもほとんど変わらな
いとしてよいので、（８）式で与えられる評価値でｇ
（m,n）の変化の大きさを評価できる。つまりエッジの
各画素について、（８）式で与えられる評価値を撮像し
たＫ枚の画像にわたって計算し、その値が最も大きくな
る画像を合焦している画像に選ぶことができる。そして
選んだ画像を撮ったときの合焦距離を、その画素に写っ
ている被写体とカメラの間の距離とすればよい。こうし
て被写体のエッジとして写っている部分とカメラの間の
距離を求めることができる。

被写体の平坦な部分とカメラの間の距離は、前述した
ようにまわりにあるエッジとして写っている部分とカメ
ラの間の距離から線形補間する。たとえば水平方向の両
方向にエッジを捜し、両側にエッジが見つかれば、その
２つのエッジとして写っている部分とカメラの間の距離
を線形補間して求める。両側にエッジが見つからなけれ
ば、方向を水平方向から変えて同様に両方向にエッジを
捜し、両側にエッジがみつかれば、その２つのエッジと
して写っている部分とカメラの間の距離を線形補間して
求める。これを両側にエッジが見つかるまで繰り返し、
もしみつからなければ最も近いエッジを捜し、そこに写
っている被写体とカメラの間の距離と等しくする。この
ようにして被写体の平坦な部分とカメラの間の距離を線
形補間して求める。

以上のようにして合焦距離を変えて撮った複数の画像
から、被写体とカメラの間の距離を求めることができ
る。ここではレンズと結像面の間の距離がb₁の画像に倍
率を合わせたので、このとき（合焦距離がz₁のとき）に
撮像した画像の画素位置（m,n）に写っている被写体と
カメラの間の距離を求めている。しかし倍率の補正の基
準を変えれば、合焦距離がz₁からz_Kの任意の画像の画素
位置（m,n）に写っている被写体とカメラの間の距離を
求めることができるのは明らかである。

こうして求めた距離の精度は撮像したＫ枚の画像の合
焦距離z₁,z₂・・・z_Kの設定により決まる。距離の精度
を上げるためにはz₁,z₂・・・z_Kの間隔を狭く、またＫ
を大きくすることと、撮像したカメラの撮像光学系の被
写界強度を狭くして、像が合焦してみえる距離の範囲を
狭くすればよい。

以上はレンズを固定し、結像面を移動させて合焦距離
を変える方法の説明であったが、逆に結像面を固定し、
レンズを移動させて合焦距離を変えることもできる。あ
るいはレンズと結像面を共に移動させて合焦距離を変え
ることもできる。このような場合には、第３（ｂ）図の
レンズ31と被写体34の間の距離ａが変化する。したがっ
て（４）式から被写体に奥行きがある場合や、複数の被
写体がある場合には、像の倍率がレンズと被写体の間の
距離ａによって変わってしまうことがわかる。すなわち
そのような画像では、上に述べたような画面全体を一様
に拡大あるいは縮小することでは、像の大きさを合わせ
ることはできない。しかしこのような場合でも、レンズ
の移動距離がレンズと被写体の間の距離に比べて無視で
きるほど小さい場合には、倍率の変化は無視できるとし
てよい。したがって上に述べたレンズを固定し結像面を
移動させてレンズと結像面の間の距離を変える場合と同
様に、被写体とカメラの間の距離を求めることができ
る。

以上説明したように合焦距離を変えて撮った複数の画
像から、被写体の像が最も鮮明に見える画像を捜すこと
により、被写体とカメラの間の距離を求めることができ
る。

次に本発明方法の実施に用いられる復元フィルタにつ
いて説明する。復元フィルタについては、たとえば文献
「0 Plus E別冊、“画像処理アルゴリズムの最新動
向”、高木，鳥脇，田村編、新技術コミュニケーション
ズ社」の第３章画像復元に詳しく説明されている。ここ
では復元フィルタのひとつであるウィーナー（Wiener）
フィルタについて説明する。

TVカメラの撮像光学系による劣化などの画像の劣化過
程は、一般に第４図のように表される。ここで劣化は線
形と仮定した。第４図では説明を簡単にするため画素数
は９とした。原画像をｆ（m,n）、観測画像をｇ（m,
n）、加わった雑音をｔ（m,n）（１≦ｍ≦3,1≦ｎ≦
３）とすると、観測画像はｆ（ｍ′,n′）（１≦ｍ′≦
3,1≦ｎ′≦３）からｇ（m,n）への影響を大きさを表す
劣化のインパルス応答ｈ（ｍ′,n′;m,n）を用いて、
（９）式のように表される。

ただし第４図と同様にｆ（m,n）をf_mn、ｇ（m,n）をg
_mn、ｔ（m,n）をt_mn、ｈ（ｍ′,n′;m,n）をｈ
_{ｍ′ｎ′,mn}で表してある。（９）式をさらに簡単にベ
クトルg,f,tと行列〔ｈ〕を用いて、（10）式のように
表すことにする。

ｇ＝［ｈ］ｆ＋ｔ・・・（10）原画像ｆ（m,n）の推定である復元画像（m,n）をｆ
と同様にベクトルで表すと、はウィーナーフィルタ
による復元の場合、（11）式のように表される。

＝［ｈ］^Ｔ（［ｈ］［ｈ］^Ｔ＋δ［｜］）^-1g ・・・（11）ただし、［ｈ］^Ｔは［ｈ］の転置行列、［｜］は単位行
列、δは原画像と雑音の相対的な大きさをもとに決めら
れる定数である。ここで観測画像ｇ（ｍ′,n′）から復
元画像の標本（m,n）を復元するフィルタのインパル
ス応答は、［ｈ］^Ｔ（［ｈ］［ｈ］^Ｔ＋δ［｜］）^-1の
（m,n）と同じ行に現れる。

また劣化が位置不変（あるいはシスト不変とも言う）
である場合には、よく知られているようにフーリエ変換
を使って、（11）式で表されるフィルタを簡単に実現す
ることができる。このときはｆ（ｍ′,n′）からｇ（m,
n）への影響の大きさを表す劣化のインパルス応答ｈ
（ｍ′,n′;m,n）は、位置の差（ｍ′−m,n′−ｎ）の
みの関数となり、これをｈ（m,n）と表すことができ
る。そしてｇ（m,n），（m,n）,h（m,n）の離散フー
リエ変換をそれぞれＧ（k,1），（k,l）,H（k,l）と
すると、この場合のウィーナーフィルタによる復元は
（12）式のようになる。

ただしＨ^＊（k,l）はＨ（k,l）の複素共役、δは（1
1）式と同じ定数である。この場合、ｇ（m,n）から
（m,n）を構成するフィルタのインパルス応答は、Ｈ^＊
（k,l）／（|H（k,l）|²＋δ）を離散逆フーリエ変換し
て求めることができる。

以上のように劣化が位置不変でない場合には（11）
式、位置不変である場合には（12）式からウィーナーフ
ィルタを構成できる。

〔実施例〕

第１図に本発明の画像処理方法を実施する画像処理装
置のブロック図を示す。

この画像処理装置において、まずTVカメラ１の合焦距
離をz₁,z₂・・・z_K（z₁＜z₂＜・・・z_K）に変えてＫ枚
の画像を撮像する。このＫ枚の画像の輝度及び色差信号
は連続な電気信号に変換されて変調され、出力される。
これは標本化回路２で標本化され、A/D変換回路３でデ
ジタル信号に変換される。次にY/C分離回路４で輝度信
号と色差信号に分離される。撮像されたＫ枚の画像の輝
度信号とTVカメラ１から出力されるz₁,z₂・・・z_Kは距
離検出処理回路５に入力される。

距離検出処理回路５では、作用の項で述べたように、
まず合焦距離がz₂・・・z_Kのときに撮像した画像を、合
唱距離がz₁の時に撮像した画像と像が同じ位置にくるよ
うに倍率を補正する。次にＫ枚の画像の平均画像を合成
して、そのエッジを求める。そして各エッジのσ／μを
Ｋ枚の画像にわたって計算し、エッジごとにσ／μの最
大値を与える合焦距離をz₁,z₂・・・z_Kから選択して、
それをそこに写っている被写体とカメラの間の距離とす
る。そしてエッジ以外の領域の被写体とカメラの間の距
離は、水平方向の両方向にエッジを捜し、両側にエッジ
が見つかれば、その２つのエッジとして写っている部分
とカメラの間の距離を線形補間して求める。両側にエッ
ジが見つからなければ方向を水平方向から変えて両方向
にエッジを捜し、両側にエッジが見つかれば、同様にそ
の２つのエッジとして写っている部分とカメラの間の距
離を線形補間して求める。これを両側にエッジが見つか
るまで繰り返し、もし見つからなければ最も近いエッジ
を捜し、そこに写っている被写体とカメラの間の距離と
等しくする。このようにして被写体の平坦な部分とカメ
ラの間の距離を線形補間して求める。こうして合焦距離
がz₁の時に撮像した画像の各画素に写っている被写体と
TVカメラ１の間の距離を求める。そしてその距離をデジ
タルフィルタ６に出力する。

またY/C分離回路４から出力された、合焦距離がz₁の
時に撮像した画像の輝度信号がデジタルフィルタ６に入
力され、各画素に写っている被写体とTVカメラ１の間の
距離によって特性が変わるデジタルフィルタをかける。

そしてデジタルフィルタ６の出力と、Y/C分離回路４
で分離された、合焦距離がz₁の時に撮像した画像の色差
信号を、RGB合成回路７で加算してRGB信号を合成する。

そしてD/A変換回路８でアナログ信号に変換し、LPF9
で連続信号に変換して出力端子10に出力する。

以上のようにしてTVカメラで撮った画像の輝度信号
に、写っている被写体とTVカメラの間の距離によって特
性が変わるデジタルフィルタをかけている。

合焦距離がz₁の時に撮像した画像の輝度信号をａ（m,
n）、出力する輝度信号をｂ（m,n）、ａ（ｍ−m₁,n−
n₁）からｂ（m,n）への影響の大きさを表すデジタルフ
ィルタのインパルス応答をh,（m₁,n₁;m,n）（m,m₁は水
平方向、n,n₁は垂直方向の座標を表す整数）とした時、
デジタルフィルタ６は、（13）式で表される処理を行う
ものである。

ここでh₁（m₁,n₁;m,n）が０でない範囲は、m,nにかか
わらずm₁が−M₁〜M₁、n₁が−N₁〜N₁としている。M₁,N₁
はすべてのm,nに対するインパルス応答の０でない範囲
が含まれるような値を選ぶ。このインパルス応答の例を
次に挙げる。

第１の例は、TVカメラの撮像光学系による劣化を復元
するフィルタである。TVカメラの撮像光学系の伝達関数
はレンズと被写体の間の距離によって変わるので、撮像
した画像の劣化はそこに写っている被写体とカメラのレ
ンズの間の距離（以下簡単に被写体までの距離と略す）
によって違う。したがって作用の項に述べた方法で被写
体までの距離を求め、それをもとにやはり作用の項に述
べたように撮像光学系による劣化を復元するフィルタを
構成できる。

まず撮像光学系の伝達関数について説明する。これは
たとえば文献「J.W.Goodman,“Introduction to Fourie
r Optics"（McGraw−Hill 1968）」、「P.A.Stokseth,
“Properties of a Defocused Optical System"（Journ
al of The Optical Society of America Vol.59 No.10
1969）」に詳しく述べられている。たとえばレンズが無
収差で絞りが円形の場合の伝達関数の周波数パラメタ
は、対称性から、水平方向，垂直方向の周波数をそれぞ
れu,vとして、（14）式の周波数ｓで表される。

被写体が光軸に近い場所にある場合、被写体（その像
と同じ大きさになるように拡大縮小しているとする）か
らその像を生成する伝達関数をH_L（ｓ）とすると、H
_L（ｓ）はレンズと被写体の間の距離z₀と合焦距離z_fの
関係により、（15）式，（16）式のようになる。

ただしこの場合には（15）式，（16）式からわかるように、
z₀,z_f,およびf_Lから伝達関数H_L（ｓ）が計算できる。
このうちz_f,およびf_Lは、撮像時のTVカメラの撮像光
学系の設定値なので撮像する時に求めておくことができ
る。またz₀は作用の項に述べた方法で求めることができ
るので、TVカメラで撮像した画像の各標本点に対してH_L
（ｓ）を計算できる。

前述したようにTVカメラの撮像光学系の伝達関数はレ
ンズと被写体の間の距離によって変わるので、撮像した
画像の劣化はそこに写っている被写体までの距離によっ
て異なる。したがって観測画像ｇ（m,n）に生じている
劣化が位置不変である場合、すなわちｇ（m,n）の劣化
に影響を及ぼしているすべての被写体（位置（m,n）の
まわりに写っている被写体でｇ（m,n）に劣化を及ぼし
ている被写体）までの距離が、（m,n）に写っている被
写体までの距離と等しいとみなせる場合には、（12）式
で表されるウィーナーフィルタを使って撮像光学系によ
って生じたぼけの復元ができる。そうでない場合、すな
わちｇ（m,n）の劣化に影響を及ぼしている被写体のう
ち、その被写体までの距離が（m,n）に写っている被写
体までの距離とは異なるものがある場合には、（11）式
で表されるウィーナーフィルタを使って撮像光学系によ
って生じたぼけの復元ができる。

具体的な復元の処理は次のように行う。まず作用の項
で述べた方法により、位置（m,n）に写っている被写体
までの距離（以下、ｚ（m,n）で表す）を求める。次に
デジタルフィルタ６のインパルス応答の水平方向の長さ
（ｍが−M₁〜M₁）、垂直方向の長さ（ｎが−N₁〜N₁）を
決める。長さは、たとえば最もぼけている部分の撮像光
学系のインパルス応答から決めることができる。最もぼ
けている部分は、（17）式のW_maxの絶対値が最も大きく
なる部分である。そこはｚ（m,n）が最大すなわちカメ
ラから最も遠い被写体か、あるいはｚ（m,n）が最小す
なわちカメラから最も近い被写体が写っている部分であ
る。したがってまずｚ（m,n）の最大値および最小値を
求め、そしてこれらと撮像時に測っておいたz_f,,f_Lを
（17）式に代入してW_maxを求め、その絶対値の大きい方
すなわちぼけが大きい方を選ぶ。選ばれた方のｚ（m,
n）とz_f,,f_Lから、（15）式あるいは（16）式に従い
最もぼけている部分に対応する撮像光学系の伝達関数を
計算する。これを逆フーリエ変換してインパルス応答に
変換し、これをもとに適当な整数M₁,N₁を決める。ここ
では標本化された画像を扱っているのでフーリエ変換、
逆フーリエ変換は離散フーリエ変換を使って実行でき
る。

次に各標本点（m,n）にかけるウィーナーフィルタを
構成する。各標本点（m,n）ごとに、まわりの（ｍ＋i,n
＋ｊ）の領域の被写体までの距離ｚ（ｍ＋i,n＋ｊ）
（−M₁≦ｉ≦M₁,−N₁≦ｊ≦N₁）を調べる。そしてそれ
らがすべて等しいかあるいは等しいとみなしてもよい場
合には、撮像光学系による劣化は（m,n）のまわりでは
位置不変であるとして、（12）式で表されるウィーナー
フィルタで復元を行う。そうでない場合は、撮像光学系
による劣化は（m,n）のまわりで位置不変でないので、
（11）式で表されるウィーナーフィルタによってのぼけ
の復元を行う。いずれもデジタルフィルタ６のインパル
ス応答h₁（m₁,n₁;m,n）の水平方向の長さm₁は−M₁〜
M₁、垂直方向の長さn₁は−N₁〜N₁としてよい。ここでデ
ジタルフィルタ６のインパルス応答h₁（m₁,n₁;m,n）を
求めるには、撮像光学系による劣化が（m,n）のまわり
で位置不変な場合はｚ（m,n）、（m,n）のまわりで位置
不変でない場合はｚ（ｍ＋i,n＋ｊ）（−M₁≦ｉ≦M₁,−
N₁≦ｊ≦N₁）が必要となる。以上説明したように、この
デジタルフィルタは写っている被写体までの距離に応じ
た特性をもつ。

インパルス応答h₁（m₁,n₁;m,n）の第２の例として、
合焦距離を変えたり、被写界深度を変えるデジタルフィ
ルタについて説明する。これは合焦距離，円形開口の直
径の値をそれぞれz_f,に設定して撮像した画像から、
それぞれをz_f′，′で撮像した画像を生成する処理で
ある。この処理は、z_f,で撮像した画像の劣化を第１
の例で説明したようにして復元した後、z_f′，′とし
た撮像光学系の伝達関数を持つフィルタをかけることに
より実現できる。

この処理は次のようなデジタルフィルタになる。第１
の例と同様に合焦距離を変えて複数の画像を撮り、その
うちの１つの画像を選択し、それを撮ったときの合焦距
離z_f、円形開口の直径をとする。また選択した画像の
輝度信号をａ（m,n）、作用の項で説明した方法で求め
た位置（m,n）に写っている被写体までの距離をｚ（m,
n）、第１の例に示したこの撮像光学系による劣化を復
元するデジタルフィルタのインパルス応答をh₁m₁,n₁;m,
n）（範囲は、m,nにかかわらずm₁が−M₁〜M₁、n₁が−N₁
〜N₁とする）、それにより復元された輝度信号をｃ（m,
n）とする。さらにｚ（m,n）とz_f′，′およびf_Lを使
って（15）式，（16）式により求めた撮像光学系の伝達
関数から構成されるデジタルフィルタのインパルス応答
をh₂（m₂,n₂;m,n）（m,m₂は水平方向、n,n₂は垂直方向
の座標を表す整数）、出力される輝度信号をｂ（m,n）
とする。ここでh₂（m₂,n₂;m,n）はｃ（ｍ−m₂,n−n₂）
からｂ（m,n）への影響の大きさを表すものとする。ま
たh₂（m₂,n₂;m,n）が０でない範囲は、m,nにかかわらず
m₂が−M₂〜M₂、n₂が−N₂〜N₂とする。M₂,N₂は第１の例
と同様に、z_f′，′と最もぼける部分に対する撮像光
学系の伝達関数から決めることができる。すなわちｚ
（m,n）の最大値と最小値のうち（17）式のW_maxの絶対
値が最も大きくなるとz_f′，′,f_Lから、（15）式あ
るいは（16）式に従い最もぼけている部分に対応する撮
像光学系の伝達関数を計算する。これを逆フーリエ変換
してインパルス応答に変換し、これをもとに適当な整数
M₂,N₂を決める。このような場合、ｂ（m,n）は（13）式
から（18）式のように表される。

m₁＋m₂をm₃、n₁＋n₂をn₃として新しい変数m₃,n₃によっ
て、（18）式で表されるデジタルフィルタを（19）式の
ように書き換えることができる。

ただしh₃（m₃,n₃;m,n）は、（18）式のh₂（m₂,n₂;m,n）
h₁（m₁,n₁;m−m₂,n−n₂）のうちm₁＋m₂がm₃、n₁＋n₂がn
₃となる項を加算したものである。したがってこのh₃（m
₃,n₃;m,n）を求めるには、ｚ（ｍ＋i,n＋ｊ）（−M₁−M
₂≦ｉ≦M₁＋M₂,−N₁−N₂≦ｊ≦N₁＋N₂）が必要である。
そしてこのh₃（m₃,n₃;m,n）が、（13）式のインパルス
応答になる。

第２の例で、合焦距離z_f′、円形開口の直径′を変
えて構成したh₂（m₂,n₂;m,n）をいくつか用意して、ｚ
（m,n）の値によりz_f′，′の異なるフィルタをかけ
てもよい。例えばz_f′＜z₀＜z_f″として、ｚ（m,n）＜z
₀となる画素ではz_f′，′である撮像光学系のフィル
タをかけ、z₀≦ｚ（m,n）となる画素ではz_f″，″で
ある撮像光学系のフィルタをかけるようにすれば、
z_f′,z_f″にある被写体の像は合焦して、z₀付近にある
被写体の像は合焦しない画像を生成することもできる。

撮像光学系の開口が円形でない場合の伝達関数は、周
波数パラメタをu,vとして、（15）式，（16）式と同様
に計算できる。またこの場合も、（11）式，（12）式と
同様に復元フィルタを構成できる。また実際には無収差
のレンズを作るのは難しいが、収差があってもそれが小
さければ伝達関数を無収差レンズの伝達関数で近似でき
るので、本発明の画像処理方法は有効である。

またここでは撮像光学系の伝達関数から構成されるデ
ジタルフィルタのみについて述べたが、撮像光学系とは
無関係の、被写体までの距離で特性が決まるデジタルフ
ィルタをかけてもよい。上述したようにこのデジタルフ
ィルタは、写っている被写体までの距離に応じた特性を
もっている。したがって奥行きを持っている被写体やカ
メラからの距離が異なるいくつかの被写体を被写界深度
が狭い撮像光学系で撮った場合には、画面内で部分的に
異なる処理を行うことができるので特に有効である。

〔発明の効果〕

以上説明したように本発明の画像の処理方法により、
従来の処理方法ではできなかった、被写体までの距離に
より特性の異なるフィルタをかけることができる。この
画像処理方法は、奥行きを持っている被写体やカメラか
らの距離が異なるいくつかの被写体を被写界深度が狭い
撮像光学系で撮った場合には、画面の部分により異なる
処理を行うことができるので特に有効である。

【図面の簡単な説明】

第１図は本発明の画像処理方法を実施する画像処理装置
のブロック図、第２図は従来の画像処理方法を実施する画像処理装置の
ブロック図、第３（ａ）図，第３（ｂ）図はレンズによる像の形成を
説明する図、第４図は画像の劣化過程を説明する図である。１……TVカメラ２……標本化回路３……A/D変換回路４……Y/C分離回路５……距離検出処理回路 6,11……デジタルフィルタ７……RGB合成回路８……D/A変換回路９……LPF 10……出力端子 30……被写体 31……レンズ 32……像 33……結像面

Claims

(57)【特許請求の範囲】

【請求項１】カメラのレンズと結像面の間の距離を変え
て複数の画像を撮像すると共に前記距離を記録し、被写
体の最も鮮明な像を含む画像を前記複数の画像の中から
選択し、この選択した画像を撮像した時の前記距離から
前記被写体と前記レンズの間の第１の距離を求め、前記
第１の距離より定まる前記レンズを含む撮像系のフィル
タ特性から２次元ディジタルフィルタを構成し、この２
次元ディジタルフィルタを前記選択した画像のなかの前
記被写体の像に作用させることを特徴とする画像処理方
法。
【請求項２】カメラのレンズと結像面の間の距離を変え
て複数の画像を撮像すると共に前記距離を記録し、第１
の被写体の最も鮮明な像を含む第１の画像を前記複数の
画像の中から選択し、この選択した画像を撮像した時の
前記距離から前記第１の被写体と前記レンズの間の第１
の距離を求め、前記第１の被写体のまわりに写っている１つあるいは複
数の被写体の最も鮮明な像を含む画像を前記複数の画像
の中からそれぞれ選択し、これらの選択した画像を撮像
した時の前記距離から前記第１の被写体のまわりに写っ
ている１つあるいは複数の被写体と前記レンズまでの距
離をそれぞれ求め、これらの距離より定まる前記レンズを含む撮像系のフィ
ルタ特性から構成する２次元ディジタルフィルタと、前
記第１の距離により定まる前記レンズを含む撮像系のフ
ィルタ特性から構成する２次元ディジタルフィルタを縦
続接続した特性をもつ２次元ディジタルフィルタを構成
し、この２次元ディジタルフィルタを前記第１の画像の
なかの前記第１の被写体および前記第１の被写体のまわ
りに写っている１つあるいは複数の被写体の像に作用さ
せることを特徴とする画像処理方法。