JPH09211316A - 像信号処理装置 - Google Patents
像信号処理装置Info
- Publication number
- JPH09211316A JPH09211316A JP1545896A JP1545896A JPH09211316A JP H09211316 A JPH09211316 A JP H09211316A JP 1545896 A JP1545896 A JP 1545896A JP 1545896 A JP1545896 A JP 1545896A JP H09211316 A JPH09211316 A JP H09211316A
- Authority
- JP
- Japan
- Prior art keywords
- correlation calculation
- range
- block
- image signal
- processing device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
(57)【要約】
【課題】 2次元センサーに受光された2つの像のズレ
量に応じてフォーカス状態を判定する像信号処理に際し
て、信号処理の範囲を大とすると測距エラーを防止出来
るものの適正なフォーカス状態を検知出来なくなる不都
合が生じる。 【解決手段】 本発明は像信号処理の対象範囲を広い範
囲で行なった後に、上記処理結果に応じて被測定対象物
の形状を求め、対象範囲を該形状に適した範囲に再設定
し、該再設定範囲からの像信号に対して相関演算処理を
行なわせて、適正なフォーカス状態を検知出来る像信号
処理装置を提供するものである。
量に応じてフォーカス状態を判定する像信号処理に際し
て、信号処理の範囲を大とすると測距エラーを防止出来
るものの適正なフォーカス状態を検知出来なくなる不都
合が生じる。 【解決手段】 本発明は像信号処理の対象範囲を広い範
囲で行なった後に、上記処理結果に応じて被測定対象物
の形状を求め、対象範囲を該形状に適した範囲に再設定
し、該再設定範囲からの像信号に対して相関演算処理を
行なわせて、適正なフォーカス状態を検知出来る像信号
処理装置を提供するものである。
Description
【0001】
【発明の属する技術分野】本発明は、オートフォーカス
・カメラや環境認識装置に適用可能な、距離測定あるい
はデフォーカス量演算に用いる像信号処理装置に関する
ものである。
・カメラや環境認識装置に適用可能な、距離測定あるい
はデフォーカス量演算に用いる像信号処理装置に関する
ものである。
【0002】
【従来の技術】測定装置から被測定物体までの距離を測
定する方法の一つにステレオ法があり、光学的な測定手
段として広く利用されている。
定する方法の一つにステレオ法があり、光学的な測定手
段として広く利用されている。
【0003】図8はステレオ法の概略を説明するための
図である。図8において1と2は、共に焦点距離がfの
レンズであり、3と4はこれら二つのレンズの光学中心
である。レンズ1と2の光軸5、6は平行になっている
ものとする。また、レンズは理想的なものであるとし収
差の影響は考えない。レンズの光学中心3と4の中点を
座標系の原点にとり、レンズの光軸方向をx軸、レンズ
の光学中心3と4を結ぶ軸をy軸とする。また、x軸と
y軸に直行する軸をz軸とする。ここで、平面x=−f
は二つのレンズの結像面7となる。8と9は結像面に結
ばれる像を記録する画像記録手段である。ここで、座標
(x0.y0,z0)に被測定物体10があるとする。
物体10の像は二つのレンズにより、それぞれ11と1
2で示した位置に結像する。これらの位置11、12は
物体10と光学中心3または4とを結んだ直線が結像平
面7に交わる位置である。レンズの光軸と結像面7が交
わる位置を、それぞれ画像記録手段8と9の基準位置1
3、14とすると、結像位置11、12と基準位置間1
3、14の距離p1 、p2 はそれぞれ、
図である。図8において1と2は、共に焦点距離がfの
レンズであり、3と4はこれら二つのレンズの光学中心
である。レンズ1と2の光軸5、6は平行になっている
ものとする。また、レンズは理想的なものであるとし収
差の影響は考えない。レンズの光学中心3と4の中点を
座標系の原点にとり、レンズの光軸方向をx軸、レンズ
の光学中心3と4を結ぶ軸をy軸とする。また、x軸と
y軸に直行する軸をz軸とする。ここで、平面x=−f
は二つのレンズの結像面7となる。8と9は結像面に結
ばれる像を記録する画像記録手段である。ここで、座標
(x0.y0,z0)に被測定物体10があるとする。
物体10の像は二つのレンズにより、それぞれ11と1
2で示した位置に結像する。これらの位置11、12は
物体10と光学中心3または4とを結んだ直線が結像平
面7に交わる位置である。レンズの光軸と結像面7が交
わる位置を、それぞれ画像記録手段8と9の基準位置1
3、14とすると、結像位置11、12と基準位置間1
3、14の距離p1 、p2 はそれぞれ、
【0004】
【外1】 で表わせる。ここで、bは二つのレンズの基線長であ
る。式(1)と式(2)の関係より、被測定物体10の
座標は、
る。式(1)と式(2)の関係より、被測定物体10の
座標は、
【0005】
【外2】 で表わせる。すなわち、結像面7に結像した被測定物体
の像の位置から、被測定物体の座標を決定することが可
能である。また、測定の用途によって、x0のみ判れば
所定の目的を達成される場合も多く、このような場合に
は、式(3)から明らかなように、p1 とp2 個々の値
を求めるまでもなく、2像のずれ量(p1−p2 )を観
測するだけでx0の決定が可能である。また、多くの自
動焦点カメラでは、焦点調節のためにレンズのデフォー
カス量が判ればよいことが多く、この場合には、x0を
求めるまでもなく、ずれ量(p1 −p2 )のみを観測す
れば焦点調節を行うことが可能である。したがって、本
願では特に断りのない限り、距離と像ずれを同義である
とみなす。
の像の位置から、被測定物体の座標を決定することが可
能である。また、測定の用途によって、x0のみ判れば
所定の目的を達成される場合も多く、このような場合に
は、式(3)から明らかなように、p1 とp2 個々の値
を求めるまでもなく、2像のずれ量(p1−p2 )を観
測するだけでx0の決定が可能である。また、多くの自
動焦点カメラでは、焦点調節のためにレンズのデフォー
カス量が判ればよいことが多く、この場合には、x0を
求めるまでもなく、ずれ量(p1 −p2 )のみを観測す
れば焦点調節を行うことが可能である。したがって、本
願では特に断りのない限り、距離と像ずれを同義である
とみなす。
【0006】通常、物体は面積を有し、さらにレンズの
ぼけなどにより、結像面上で一定の広がりを持つ場合が
ある。こうした場合には、結像面上で同一物体の対応点
を検出することは困難である。そこで、画像記録手段8
と9から出力される2つの画像信号に対して相関演算を
行い、この結果からずれ量を測定する手法が通常用いら
れる。
ぼけなどにより、結像面上で一定の広がりを持つ場合が
ある。こうした場合には、結像面上で同一物体の対応点
を検出することは困難である。そこで、画像記録手段8
と9から出力される2つの画像信号に対して相関演算を
行い、この結果からずれ量を測定する手法が通常用いら
れる。
【0007】相関演算の手法は様々な方法が開示されて
いる。ここでは、非常に簡単な例で概略を説明する。
いる。ここでは、非常に簡単な例で概略を説明する。
【0008】図9は、相関演算の概念を説明するための
図である。自動焦点カメラでは、ステレオ法で生じる2
つの像を電気信号に変換するために、微小光電変換受光
素子を1次元配置したラインセンサが用いられている。
図9(a)と(b)の横軸kはラインセンサの画素配列
を表わしており、図では、最左端画素をk=0番目とし
て、右方向に順次k=1,2,…,n番目の画素として
示してある。また、横軸は各画素の信号出力値である。
この信号出力f1 (k),f2 (k)は、前述の2つの
画像信号の出力値を表わすが、ここで、f2 (k)はf
1 (k)と同形であり、f2 (k)は、f1 (k)を右
にd〔画素〕ずらした状態となっている。式(5)は相
関演算式の一例である。
図である。自動焦点カメラでは、ステレオ法で生じる2
つの像を電気信号に変換するために、微小光電変換受光
素子を1次元配置したラインセンサが用いられている。
図9(a)と(b)の横軸kはラインセンサの画素配列
を表わしており、図では、最左端画素をk=0番目とし
て、右方向に順次k=1,2,…,n番目の画素として
示してある。また、横軸は各画素の信号出力値である。
この信号出力f1 (k),f2 (k)は、前述の2つの
画像信号の出力値を表わすが、ここで、f2 (k)はf
1 (k)と同形であり、f2 (k)は、f1 (k)を右
にd〔画素〕ずらした状態となっている。式(5)は相
関演算式の一例である。
【0009】
【外3】 図9(c)は、R(d)の結果例であるが、この場合R
(d)が最少となるようなdmin が2像のすれを表わす
値となる。(すなわち、前記(p1 −p2 )に相当す
る)。
(d)が最少となるようなdmin が2像のすれを表わす
値となる。(すなわち、前記(p1 −p2 )に相当す
る)。
【0010】相関演算により正しい結果を得るために
は、画像信号f1 (k),f2 (k)がある程度のコン
トラストを有している必要があり、コントラストのない
平坦な画像信号で相関演算を行っても正確なずれ量を検
出することはできず、演算結果は大きなエラーを伴う。
は、画像信号f1 (k),f2 (k)がある程度のコン
トラストを有している必要があり、コントラストのない
平坦な画像信号で相関演算を行っても正確なずれ量を検
出することはできず、演算結果は大きなエラーを伴う。
【0011】また、距離の異なる複数の物体の像が同一
センサ上に結像した場合にも正確な距離を求めることは
できない。複数の像の写りこみを防ぐためには、図8の
画像検出手段8と9の幅を各々小さくする必要がある
が、これに伴い測距範囲が限定される。例えば図8の例
で、画像検出手段8、9の幅を、基準位置13と14を
中心として狭めた場合、測定範囲はx軸周辺の物体に限
られてしまう。
センサ上に結像した場合にも正確な距離を求めることは
できない。複数の像の写りこみを防ぐためには、図8の
画像検出手段8と9の幅を各々小さくする必要がある
が、これに伴い測距範囲が限定される。例えば図8の例
で、画像検出手段8、9の幅を、基準位置13と14を
中心として狭めた場合、測定範囲はx軸周辺の物体に限
られてしまう。
【0012】さらに、画像検出手段にライセンサを用い
る方法で、図8のz=0平面付近の物体しか測距を行う
ことができない。
る方法で、図8のz=0平面付近の物体しか測距を行う
ことができない。
【0013】より多くの方向に存在する物体を一度に測
定するために、複数の光学系とセンサを用いる方法や、
比較的大きいラインセンサの領域を複数の領域に分割し
て演算を行うなどの方法が開示されているが、これらの
方法でも、任意の方向の測定を同時に行うことはできな
い。
定するために、複数の光学系とセンサを用いる方法や、
比較的大きいラインセンサの領域を複数の領域に分割し
て演算を行うなどの方法が開示されているが、これらの
方法でも、任意の方向の測定を同時に行うことはできな
い。
【0014】任意の方向に存在する複数の物体の距離を
同時に測定する手段とし、ラインセンサの代わりに、微
小受光素子を2次元配置したエリアセンサを用いる方法
が開示されている。この方法によれば、エリアセンサか
ら出力される2次元画像信号中の一部分について像ずれ
検出を行うことにより、z方向を含めた任意方向の物体
の像ずれを一度に検出することが可能である。
同時に測定する手段とし、ラインセンサの代わりに、微
小受光素子を2次元配置したエリアセンサを用いる方法
が開示されている。この方法によれば、エリアセンサか
ら出力される2次元画像信号中の一部分について像ずれ
検出を行うことにより、z方向を含めた任意方向の物体
の像ずれを一度に検出することが可能である。
【0015】また、この方法を用い多方向の距離測定を
行うことにより、空間中の物体の配置、あるいは個々の
物体の形状を認識することが可能であり、環境認識の手
段として適用できる。
行うことにより、空間中の物体の配置、あるいは個々の
物体の形状を認識することが可能であり、環境認識の手
段として適用できる。
【0016】各方向の測定を行う際、その方向に対応し
た2次元画像信号中の一部分を、ずれ量観測の対象とし
て抽出する手続きが必要であるが、通常この抽出信号は
n〔画素〕×m〔画素〕(n,m:整数)の矩形ブロッ
クで構成される。図10は、ブロックの抽出手続きの概
略を説明する図である。座標形は図9と同様である。図
10において8aと9aはエリアセンサである。ここ
で、エリアセンサ8aと9aに示す格子は微小受光素子
の画素配列を表わしている。所定方向の物体の距離を演
算するために、センサ8a上のn〔画素〕×m〔画素〕
の矩形ブロック領域15からの出力信号を抽出する。こ
のブロックの位置を変えることで、任意方向に対する測
定が可能になる。ここで、センサ9a上からブロック1
6の画像信号に対応する信号を抽出して相関演算を行う
わけであるが、このさい、抽出位置を像ずれ方向(y軸
方向)にずらしながら複数のブロックと相関演算を行
う。例えば図10では、センサ9aに点線で示したl
〔画素〕×m〔画素〕から成る演算対象領域16の範囲
内に含まれる複数のn〔画素〕×m〔画素〕から成るブ
ロック(ただしl>nである)とブロック15との信号
で相関演算を行い、像ずれ量を算出する。ここで、演算
対象領域16の位置およびその範囲は光学系の状態、測
定目的、測定対象の性質に基づいて設定する。
た2次元画像信号中の一部分を、ずれ量観測の対象とし
て抽出する手続きが必要であるが、通常この抽出信号は
n〔画素〕×m〔画素〕(n,m:整数)の矩形ブロッ
クで構成される。図10は、ブロックの抽出手続きの概
略を説明する図である。座標形は図9と同様である。図
10において8aと9aはエリアセンサである。ここ
で、エリアセンサ8aと9aに示す格子は微小受光素子
の画素配列を表わしている。所定方向の物体の距離を演
算するために、センサ8a上のn〔画素〕×m〔画素〕
の矩形ブロック領域15からの出力信号を抽出する。こ
のブロックの位置を変えることで、任意方向に対する測
定が可能になる。ここで、センサ9a上からブロック1
6の画像信号に対応する信号を抽出して相関演算を行う
わけであるが、このさい、抽出位置を像ずれ方向(y軸
方向)にずらしながら複数のブロックと相関演算を行
う。例えば図10では、センサ9aに点線で示したl
〔画素〕×m〔画素〕から成る演算対象領域16の範囲
内に含まれる複数のn〔画素〕×m〔画素〕から成るブ
ロック(ただしl>nである)とブロック15との信号
で相関演算を行い、像ずれ量を算出する。ここで、演算
対象領域16の位置およびその範囲は光学系の状態、測
定目的、測定対象の性質に基づいて設定する。
【0017】尚、以上の説明では、一方のセンサからの
出力信号に対してのみ抽出位置をずらす操作を行った
が、二つのブロックの抽出位置を互いにずらしても同様
の演算が可能である。
出力信号に対してのみ抽出位置をずらす操作を行った
が、二つのブロックの抽出位置を互いにずらしても同様
の演算が可能である。
【0018】
【発明が解決しようとする課題】従来は、一連の距離測
定において、信号抽出ブロックの形状は矩形であり、大
きさは固定されていた。
定において、信号抽出ブロックの形状は矩形であり、大
きさは固定されていた。
【0019】仮に比較的小さい信号抽出ブロックで像ず
れ検出を行う場合、ブロック内の画像のコントラストが
十分高ければ測距精度が高い、しかし、ブロックが小さ
いとブロック内にコントラストのある像が含まれないこ
とが多く、このような場合、ずれ検出を行うのは困難で
あり、大きな測定エラーが生じる頻度が高い。
れ検出を行う場合、ブロック内の画像のコントラストが
十分高ければ測距精度が高い、しかし、ブロックが小さ
いとブロック内にコントラストのある像が含まれないこ
とが多く、このような場合、ずれ検出を行うのは困難で
あり、大きな測定エラーが生じる頻度が高い。
【0020】逆に、大きいブロックで像ずれ検出を行う
場合、ブロック内にコントラストを持った像が含まれる
可能性が高く、小さいブロックの場合のように大きな測
定エラーが生じることは少ない。しかし、ブロックが大
きい場合、小さいブロックで高コントラスト像の測定を
おこなった場合に比べて、絶対的な距離測定精度は低く
なることが多い。
場合、ブロック内にコントラストを持った像が含まれる
可能性が高く、小さいブロックの場合のように大きな測
定エラーが生じることは少ない。しかし、ブロックが大
きい場合、小さいブロックで高コントラスト像の測定を
おこなった場合に比べて、絶対的な距離測定精度は低く
なることが多い。
【0021】また、大きいブロックの場合、距離の異な
る複数の物体の像が写り込むことが多くなるので、正確
な測距演算を行うことができない場合がある。こうした
症状は“遠近競合”と呼ばれる。
る複数の物体の像が写り込むことが多くなるので、正確
な測距演算を行うことができない場合がある。こうした
症状は“遠近競合”と呼ばれる。
【0022】以上のような性質により、従来の方法で
は、 ・要求される測定精度に対して適正な距離測定を行うこ
とができない ・測定対象像のコントラストに対して適正な距離測定を
行うことができない ・遠近競合の影響を適切に回避することができない などの問題があった。
は、 ・要求される測定精度に対して適正な距離測定を行うこ
とができない ・測定対象像のコントラストに対して適正な距離測定を
行うことができない ・遠近競合の影響を適切に回避することができない などの問題があった。
【0023】
【課題を解決するための手段】請求項1の本発明は、2
次元配置した光電変換素子によって、受光された2つの
像の相関演算を行いフォーカス状態または、距離状態を
検出する像信号処理装置において、前記相関演算処理さ
れる像信号の範囲を被測定対象物の形状または属性また
は受光画像のコントラストに応じて設定する設定手段を
設け、より適正なフォーカス状態または距離状態検出を
行う像信号処理装置を提供するものである。
次元配置した光電変換素子によって、受光された2つの
像の相関演算を行いフォーカス状態または、距離状態を
検出する像信号処理装置において、前記相関演算処理さ
れる像信号の範囲を被測定対象物の形状または属性また
は受光画像のコントラストに応じて設定する設定手段を
設け、より適正なフォーカス状態または距離状態検出を
行う像信号処理装置を提供するものである。
【0024】請求項2の本発明は、2次元配置した光電
変換素子によって、受光された2つの像の相関演算を行
いフォーカス状態または、距離状態を検出する像信号処
理装置において、前記相関演算処理される像信号の範囲
を第一の範囲に設定して前記相関演算を行わせた後に該
相関演算結果に応じて求められた被測定対象物の形状ま
たは属性またはコントラストに基づいて前記相関演算処
理範囲を再設定する設定手段を設け、請求項1と同様に
適正なフォーカス状態または距離状態検出を行う像信号
処理装置を提供するものである。
変換素子によって、受光された2つの像の相関演算を行
いフォーカス状態または、距離状態を検出する像信号処
理装置において、前記相関演算処理される像信号の範囲
を第一の範囲に設定して前記相関演算を行わせた後に該
相関演算結果に応じて求められた被測定対象物の形状ま
たは属性またはコントラストに基づいて前記相関演算処
理範囲を再設定する設定手段を設け、請求項1と同様に
適正なフォーカス状態または距離状態検出を行う像信号
処理装置を提供するものである。
【0025】請求項3の本発明は、請求項2の装置にお
いて、第一の範囲での相関演算結果にて求められた上記
第一の範囲における各部の特性値に応じて前記形状また
は属性を決定し、第一の範囲内の一部の領域を再設定す
る様に構成した像信号処理装置を提供するものである。
いて、第一の範囲での相関演算結果にて求められた上記
第一の範囲における各部の特性値に応じて前記形状また
は属性を決定し、第一の範囲内の一部の領域を再設定す
る様に構成した像信号処理装置を提供するものである。
【0026】請求項4の本発明は、請求項3の装置にお
いて第一の範囲での相関演算結果にて求められた上記第
一の範囲における各部の距離情報に応じて前記形状また
は属性を決定する装置を提供するものである。
いて第一の範囲での相関演算結果にて求められた上記第
一の範囲における各部の距離情報に応じて前記形状また
は属性を決定する装置を提供するものである。
【0027】請求項5の本発明は、請求項3、4の装置
において前記形状または属性が所定の形状または属性を
示す領域を前記設定手段に再設定させることにて適正な
フォーカス状態または距離状態検出を行う装置を提供す
るものである。
において前記形状または属性が所定の形状または属性を
示す領域を前記設定手段に再設定させることにて適正な
フォーカス状態または距離状態検出を行う装置を提供す
るものである。
【0028】請求項6の本発明は、2次元配置した光電
変換素子によって、受光された2つの像の相関演算を行
いフォーカス状態または、距離状態を検出する像信号処
理装置において、前記相関演算処理される像信号の範囲
を第一の範囲に設定するとともに該第一の範囲を複数の
ブロックに分割して各ブロックごとに前記相関演算を行
わせた後に該相関演算結果に応じてブロックの範囲を決
定し、該決定されたブロックごとに再度相関演算処理を
行う様に構成して請求項1と同様に適正なフォーカス状
態または距離状態検出を行う像信号処理装置を提供する
ものである。
変換素子によって、受光された2つの像の相関演算を行
いフォーカス状態または、距離状態を検出する像信号処
理装置において、前記相関演算処理される像信号の範囲
を第一の範囲に設定するとともに該第一の範囲を複数の
ブロックに分割して各ブロックごとに前記相関演算を行
わせた後に該相関演算結果に応じてブロックの範囲を決
定し、該決定されたブロックごとに再度相関演算処理を
行う様に構成して請求項1と同様に適正なフォーカス状
態または距離状態検出を行う像信号処理装置を提供する
ものである。
【0029】請求項7の本発明は、請求項6の装置にお
いて、相関演算結果に応じて被測定対象物の形状または
属性を求め該形状または属性に応じてブロックの範囲を
決定する様に構成して適正なフォーカス状態または距離
状態検出を行う像信号処理装置を提供するものである。
いて、相関演算結果に応じて被測定対象物の形状または
属性を求め該形状または属性に応じてブロックの範囲を
決定する様に構成して適正なフォーカス状態または距離
状態検出を行う像信号処理装置を提供するものである。
【0030】請求項8の本発明は、請求項6、7の装置
において相関演算結果に応じて前記第一の範囲内で相関
演算処理範囲を再設定し、該再設定された範囲を前記ブ
ロックで複数に分割して、該分割されたブロックごとに
相関演算処理を行う様にしたものである。
において相関演算結果に応じて前記第一の範囲内で相関
演算処理範囲を再設定し、該再設定された範囲を前記ブ
ロックで複数に分割して、該分割されたブロックごとに
相関演算処理を行う様にしたものである。
【0031】請求項9の本発明は、2次元配置し光電変
換素子によって、受光された2つの像の相関演算を行い
フォーカス状態または、距離状態を検出する像信号処理
装置において、前記相関演算処理される像信号の範囲を
第一の範囲に設定するとともに該第一の範囲を複数のブ
ロックに分割して各ブロックごとに前記相関演算を行わ
せた後に該相関演算結果に応じて相関演算処理範囲を前
記第一の範囲の一部に再設定するとともに、該再設定さ
れた相関演算範囲を前記ブロックより小さいブロックで
複数に分割したブロックごとに相関演算処理を行わせた
ことにより、請求項1と同様に適正なフォーカス状態ま
たは距離状態を検出する装置を提供するものである。
換素子によって、受光された2つの像の相関演算を行い
フォーカス状態または、距離状態を検出する像信号処理
装置において、前記相関演算処理される像信号の範囲を
第一の範囲に設定するとともに該第一の範囲を複数のブ
ロックに分割して各ブロックごとに前記相関演算を行わ
せた後に該相関演算結果に応じて相関演算処理範囲を前
記第一の範囲の一部に再設定するとともに、該再設定さ
れた相関演算範囲を前記ブロックより小さいブロックで
複数に分割したブロックごとに相関演算処理を行わせた
ことにより、請求項1と同様に適正なフォーカス状態ま
たは距離状態を検出する装置を提供するものである。
【0032】請求項10の本発明は、請求項9の装置に
おいて、第一の範囲を複数に分割したブロックでの相関
演算結果と再設定された相関演算処理範囲を分割したブ
ロックでの相関演算結果に応じてフォーカス状態または
距離状態を決定する様に構成した像信号処理装置を提供
するものである。
おいて、第一の範囲を複数に分割したブロックでの相関
演算結果と再設定された相関演算処理範囲を分割したブ
ロックでの相関演算結果に応じてフォーカス状態または
距離状態を決定する様に構成した像信号処理装置を提供
するものである。
【0033】請求項11の本発明は、請求項10の装置
において、再設定された相関演算処理範囲を分割したブ
ロックの各相関演算結果のうち、前記第一の範囲を複数
に分割したブロックでの相関演算結果と再設定された相
関演算処理範囲を分割したブロックでの相関演算結果が
所定状態以上異なっているブロックの相関演算結果を除
いた相関演算結果に応じてフォーカス状態または距離状
態を決定する様に構成して適正にフォーカス状態または
距離状態を検出する像信号処理装置を提供するものであ
る。
において、再設定された相関演算処理範囲を分割したブ
ロックの各相関演算結果のうち、前記第一の範囲を複数
に分割したブロックでの相関演算結果と再設定された相
関演算処理範囲を分割したブロックでの相関演算結果が
所定状態以上異なっているブロックの相関演算結果を除
いた相関演算結果に応じてフォーカス状態または距離状
態を決定する様に構成して適正にフォーカス状態または
距離状態を検出する像信号処理装置を提供するものであ
る。
【0034】
【発明の実施の形態】以下、本発明の距離測定方法又は
装置の実施の形態について説明する。
装置の実施の形態について説明する。
【0035】被写界空間中の物体から主被写体を自動的
に判断して、その主被写体に焦点を合わせるオートフォ
ーカス・カメラを例にして説明する。
に判断して、その主被写体に焦点を合わせるオートフォ
ーカス・カメラを例にして説明する。
【0036】図1は、本発明の実施の形態の一例を表わ
すブロック図である。図1において8a、9aは微小受
光画素を2次元配列したCCDなどのエリアセンサ、1
7はエリアセンサを駆動する回路、18、19はセンサ
からの出力をディジタル信号に変換するA/Dコンバー
タ、20、21はA/D変換された画像信号を格納する
フレームメモリである。22、23はフレームメモリの
所定の領域から相関演算の対象となるブロックの信号を
抽出するための回路である。アドレス指定やブロックの
形状や大きさの指定、抽出実行の開始は処理回路として
のCPU26によって制御される。ブロック信号抽出回
路22、23から出力されたブロックの信号は相関演算
回路24に入力され、相関演算結果は25の距離情報格
納メモリの所定アドレスに保存される。
すブロック図である。図1において8a、9aは微小受
光画素を2次元配列したCCDなどのエリアセンサ、1
7はエリアセンサを駆動する回路、18、19はセンサ
からの出力をディジタル信号に変換するA/Dコンバー
タ、20、21はA/D変換された画像信号を格納する
フレームメモリである。22、23はフレームメモリの
所定の領域から相関演算の対象となるブロックの信号を
抽出するための回路である。アドレス指定やブロックの
形状や大きさの指定、抽出実行の開始は処理回路として
のCPU26によって制御される。ブロック信号抽出回
路22、23から出力されたブロックの信号は相関演算
回路24に入力され、相関演算結果は25の距離情報格
納メモリの所定アドレスに保存される。
【0037】CPU26は、レンズ駆動回路25に信号
を送り焦点調節を行うことが可能である。さらに、図示
していないが、CPU26はカメラ全体のコントロール
を掌るように他の制御回路と接続されている。
を送り焦点調節を行うことが可能である。さらに、図示
していないが、CPU26はカメラ全体のコントロール
を掌るように他の制御回路と接続されている。
【0038】図2は図1のブロックの動作を説明するた
めのフローチャートである。撮影者がシャッターボタン
を押すなどの所定のきっかけによりステップ(101)
が開始される。ステップ(102)において、CPU2
6からセンサ駆動回路17、A/Dコンバータ18と1
9、フレームメモリ20と21に制御信号が送られ、セ
ンサ上に結像した画像の取り込みが行われる。
めのフローチャートである。撮影者がシャッターボタン
を押すなどの所定のきっかけによりステップ(101)
が開始される。ステップ(102)において、CPU2
6からセンサ駆動回路17、A/Dコンバータ18と1
9、フレームメモリ20と21に制御信号が送られ、セ
ンサ上に結像した画像の取り込みが行われる。
【0039】ステップ(103)においてCPU26か
らブロック信号抽出回路22、23に対して信号が送ら
れ、ブロックの形状や大きさの初期設定が行われる。こ
こでは、レンズの焦点距離や撮影モード、露出条件など
により、最適なブロックの形状と大きさが設定されるの
であるが、被写体空間全体の距離情報から主被写体の位
置を推測することが最初の相関演算の目的てあるので、
高い精度の距離情報は必要ではなく、むしろエラー頻度
の少ない距離情報が必要になる。したがって、ブロック
は比較的大きい矩形などに設定する。
らブロック信号抽出回路22、23に対して信号が送ら
れ、ブロックの形状や大きさの初期設定が行われる。こ
こでは、レンズの焦点距離や撮影モード、露出条件など
により、最適なブロックの形状と大きさが設定されるの
であるが、被写体空間全体の距離情報から主被写体の位
置を推測することが最初の相関演算の目的てあるので、
高い精度の距離情報は必要ではなく、むしろエラー頻度
の少ない距離情報が必要になる。したがって、ブロック
は比較的大きい矩形などに設定する。
【0040】ステップ(104)では、相関演算対象領
域を初期設定する。図3の(a)は撮影画面の一例であ
る。エリアセンサ内全域の距離情報を調べるため、最初
の相関演算では画像の広範囲、例えば画面全体を演算対
象領域に設定する。この場合、図3の(a)斜線で表現
した領域27(画面全体)が演算対象初期領域となり、
この領域内に複数の信号抽出領域が設定される。測距ブ
ロックの形状が矩形である場合、矩形が例えば等間隔に
並ぶように複数の信号抽出領域が設定される。
域を初期設定する。図3の(a)は撮影画面の一例であ
る。エリアセンサ内全域の距離情報を調べるため、最初
の相関演算では画像の広範囲、例えば画面全体を演算対
象領域に設定する。この場合、図3の(a)斜線で表現
した領域27(画面全体)が演算対象初期領域となり、
この領域内に複数の信号抽出領域が設定される。測距ブ
ロックの形状が矩形である場合、矩形が例えば等間隔に
並ぶように複数の信号抽出領域が設定される。
【0041】ステップ(105)では、演算対象領域内
で複数の測距点を設定して、これら個々の測距点付近の
信号において、ステップ(103)で設定したブロック
の形状と大きさにしたがって信号が抽出され、相関演算
が行われる。この結果、演算対象領域の距離の分布状態
をあらわす複数の距離情報がメモリ25に格納される。
で複数の測距点を設定して、これら個々の測距点付近の
信号において、ステップ(103)で設定したブロック
の形状と大きさにしたがって信号が抽出され、相関演算
が行われる。この結果、演算対象領域の距離の分布状態
をあらわす複数の距離情報がメモリ25に格納される。
【0042】例えば、図11の様にエリアセンサー8
a、9a全体が画面全体に対応する領域であるとして、
ステップ(103)で設定されたブロックが画面全体を
36分割する1b〜36bのブロックであるとすると、
エリアセンサー8aとエリアセンサー9aの対応する各
ブロックごとに相関演算がなされる。その結果各ブロッ
クごとの相関演算結果、即ち、距離情報が得られ、各ブ
ロックでの距離情報がメモリ25に格納される。
a、9a全体が画面全体に対応する領域であるとして、
ステップ(103)で設定されたブロックが画面全体を
36分割する1b〜36bのブロックであるとすると、
エリアセンサー8aとエリアセンサー9aの対応する各
ブロックごとに相関演算がなされる。その結果各ブロッ
クごとの相関演算結果、即ち、距離情報が得られ、各ブ
ロックでの距離情報がメモリ25に格納される。
【0043】ステップ(106)では、距離情報格納メ
モリ25に格納された距離情報を参照して主被写体の領
域を所定のアルゴリズムにより推測する。主被写体と思
しき物体が複数存在する場合は複数の領域が選択され
る。ここで、所定のアルゴリズムとは、 ・距離データから推測した物体の中で、最も近い物体の
領域を選択する方法 ・距離データから推測した物体の中で、外形あるいは大
きさが人間の形状に近いと判断された物体の領域を選択
する方法 など、撮影の目的や撮影モードに応じて様々なアルゴリ
ズムを適用することが可能であるが、このアルゴリズム
については本発明とは異なる内容であるので、詳細につ
いては省略するが、上記の外形に応じて人間に近いと判
定する方法に関しては以下の様に処理される。例えば、
上記メモリ25に格納された距離情報が図11のブロッ
ク23b、28b〜30b、34b〜36bでは2mで
あり、他のブロックでは10mであったとする。この場
合2mのブロックの領域の形状は人型に近い形状とな
り、この領域が選択される。
モリ25に格納された距離情報を参照して主被写体の領
域を所定のアルゴリズムにより推測する。主被写体と思
しき物体が複数存在する場合は複数の領域が選択され
る。ここで、所定のアルゴリズムとは、 ・距離データから推測した物体の中で、最も近い物体の
領域を選択する方法 ・距離データから推測した物体の中で、外形あるいは大
きさが人間の形状に近いと判断された物体の領域を選択
する方法 など、撮影の目的や撮影モードに応じて様々なアルゴリ
ズムを適用することが可能であるが、このアルゴリズム
については本発明とは異なる内容であるので、詳細につ
いては省略するが、上記の外形に応じて人間に近いと判
定する方法に関しては以下の様に処理される。例えば、
上記メモリ25に格納された距離情報が図11のブロッ
ク23b、28b〜30b、34b〜36bでは2mで
あり、他のブロックでは10mであったとする。この場
合2mのブロックの領域の形状は人型に近い形状とな
り、この領域が選択される。
【0044】ここでまでの主被写体位置推測を目的とし
た測定では、大きなブロックサイズによる演算によって
得られたものであるため、焦点調節に必要な精度を持っ
た情報は得られていないことが多い。従来のように、固
定されたブロックで演算を行った場合、この精度不足の
情報しか得ることができないので、精度の高いオートフ
ォーカスを行うことができない。
た測定では、大きなブロックサイズによる演算によって
得られたものであるため、焦点調節に必要な精度を持っ
た情報は得られていないことが多い。従来のように、固
定されたブロックで演算を行った場合、この精度不足の
情報しか得ることができないので、精度の高いオートフ
ォーカスを行うことができない。
【0045】これに対して本発明では、ブロックの形状
と大きさの変更を可能とすることにより、主被写体の推
定と精度の高いオートフォーカスの両立が可能である。
と大きさの変更を可能とすることにより、主被写体の推
定と精度の高いオートフォーカスの両立が可能である。
【0046】ステップ(107)で、主被写体の位置お
よび主被写体までの距離の特定が完了したかどうかを調
べる。完了していない場合、ステップ(108)に移
り、完了している場合にはステップ(112)へ移る。
最初の段階では主被写体が存在する領域が確定しただけ
であり、主被写体までの距離は確定していないのでステ
ップ(108)に移る。
よび主被写体までの距離の特定が完了したかどうかを調
べる。完了していない場合、ステップ(108)に移
り、完了している場合にはステップ(112)へ移る。
最初の段階では主被写体が存在する領域が確定しただけ
であり、主被写体までの距離は確定していないのでステ
ップ(108)に移る。
【0047】ステップ(108)では、ステップ(10
6)で評価した主被写体領域の距離情報を更に詳しく調
べるために、信号抽出ブロックの形状や大きさが新たに
設定される。最初に行った被写界空間の認識のために必
要な測距精度とオートフォーカスに必要な測距精度は異
なるので、最適な制御を行うためにブロックの形状と大
きさを変更するのである。通常このブロックは、遠近競
合などの影響を避け、オートフォーカスの精度に耐える
距離情報を得るために、初期設定されたブロックサイズ
よりも小さい矩形などに設定する。
6)で評価した主被写体領域の距離情報を更に詳しく調
べるために、信号抽出ブロックの形状や大きさが新たに
設定される。最初に行った被写界空間の認識のために必
要な測距精度とオートフォーカスに必要な測距精度は異
なるので、最適な制御を行うためにブロックの形状と大
きさを変更するのである。通常このブロックは、遠近競
合などの影響を避け、オートフォーカスの精度に耐える
距離情報を得るために、初期設定されたブロックサイズ
よりも小さい矩形などに設定する。
【0048】ステップ(109)では、ステップ(10
6)で評価した主被写体が存在すると推測された領域
を、次回の演算対象領域として設定する。図3の
(b)、斜線の領域28はステップ(106)で主被写
体が存在すると推定された領域の例であり、この領域内
に複数の信号抽出領域(ステップ108によりステップ
103で設定されたブロックより小さなブロックに設定
されている。)が設定される。
6)で評価した主被写体が存在すると推測された領域
を、次回の演算対象領域として設定する。図3の
(b)、斜線の領域28はステップ(106)で主被写
体が存在すると推定された領域の例であり、この領域内
に複数の信号抽出領域(ステップ108によりステップ
103で設定されたブロックより小さなブロックに設定
されている。)が設定される。
【0049】次に、ステップ(105)で再び相関演算
が実行されるが、2回目以降の相関演算では、ブロック
サイズが前回より小さく変更されているので、前回の演
算結果よりも高い精度で測定を行うことが可能である。
ここで、ブロックサイズを小さくした場合、コントラス
トが低い領域では大きなエラーの頻度が大きいという問
題が生じる。しかし、本発明では前回の大きなブロック
での演算結果との比較が可能であり、小さいブロックの
演算結果の信頼性を評価することができる。例えば、大
きなブロックでの演算結果に比べて演算結果が大きく異
なり不自然と判断されたブロックは信頼性が低い領域と
みなして、主被写体判断やレンズ駆動用データの候補か
ら除外することが可能である。
が実行されるが、2回目以降の相関演算では、ブロック
サイズが前回より小さく変更されているので、前回の演
算結果よりも高い精度で測定を行うことが可能である。
ここで、ブロックサイズを小さくした場合、コントラス
トが低い領域では大きなエラーの頻度が大きいという問
題が生じる。しかし、本発明では前回の大きなブロック
での演算結果との比較が可能であり、小さいブロックの
演算結果の信頼性を評価することができる。例えば、大
きなブロックでの演算結果に比べて演算結果が大きく異
なり不自然と判断されたブロックは信頼性が低い領域と
みなして、主被写体判断やレンズ駆動用データの候補か
ら除外することが可能である。
【0050】即ち、上記の如くステップ(108)でセ
ットされた小さなブロックでの相関演算結果、即ち、距
離情報がステップ(106)で初回に評価された主被写
体と推定された領域の各ブロックでの距離情報と大きく
異なる時はそのブロックは除外され残りのブロックでの
相関演算結果のみがステップ(106)での評価対象と
なる。
ットされた小さなブロックでの相関演算結果、即ち、距
離情報がステップ(106)で初回に評価された主被写
体と推定された領域の各ブロックでの距離情報と大きく
異なる時はそのブロックは除外され残りのブロックでの
相関演算結果のみがステップ(106)での評価対象と
なる。
【0051】また、相関演算の前に各演算対象ブロック
のコントラストを計算して、コントラストが高いブロッ
クについてのみ相関演算を行い、コントラストが低いブ
ロックに関しては相関演算を行わず主被写体判断やレン
ズ駆動用データの候補から除外する方法も適用可能であ
る。
のコントラストを計算して、コントラストが高いブロッ
クについてのみ相関演算を行い、コントラストが低いブ
ロックに関しては相関演算を行わず主被写体判断やレン
ズ駆動用データの候補から除外する方法も適用可能であ
る。
【0052】ステップ(106)で再び主被写体の判断
が行われるが、2回目以降では、主被写体が存在すると
推測された前回の領域に対して、さらに詳しい距離情報
が得られているので、焦点をあわせる位置をさらに限定
することが可能である。
が行われるが、2回目以降では、主被写体が存在すると
推測された前回の領域に対して、さらに詳しい距離情報
が得られているので、焦点をあわせる位置をさらに限定
することが可能である。
【0053】領域が十分限定された場合、領域内の距離
情報のうち、最も近い距離、距離の平均などに基づき焦
点調節に用いる距離情報を決定することができる。
情報のうち、最も近い距離、距離の平均などに基づき焦
点調節に用いる距離情報を決定することができる。
【0054】ステップ(106)で、主被写体の特定が
完了して焦点を合わせるべき位置が決定した場合には、
ステップ(107)にて評価が完了したとみなされ、ス
テップ(110)に移る。また、ステップ(106)
で、主被写体を特定するには不十分であると判断された
場合や、主被写体が特定できても、焦点調節に必要な精
度の距離情報が得られなかった場合には、再びステップ
(108)に移り、さらに詳細な演算と評価が行われ
る。
完了して焦点を合わせるべき位置が決定した場合には、
ステップ(107)にて評価が完了したとみなされ、ス
テップ(110)に移る。また、ステップ(106)
で、主被写体を特定するには不十分であると判断された
場合や、主被写体が特定できても、焦点調節に必要な精
度の距離情報が得られなかった場合には、再びステップ
(108)に移り、さらに詳細な演算と評価が行われ
る。
【0055】ステップ(110)では、ステップ(10
6)での演算結果に基づき主被写体に対して焦点が合う
ようにレンズが駆動される。レンズ駆動が完了すると、
ステップ(111)でフィルムへの露光といった撮影手
続きに処理が移行する。
6)での演算結果に基づき主被写体に対して焦点が合う
ようにレンズが駆動される。レンズ駆動が完了すると、
ステップ(111)でフィルムへの露光といった撮影手
続きに処理が移行する。
【0056】以上のように、被写界空間全体を認識する
のが目的の場合、すなわち、距離測定の絶対的な精度は
低くてもかまわず、むしろ極端なエラーが少ないほうが
望ましい場合には、大きい形状のブロック信号を抽出し
て測距演算を行い、また、実際に焦点を調節するのが目
的の場合、すなわち精度の高い距離測定が要求される場
合には、小さい形状のブロック信号を抽出して測距演算
を行うようにすることにより、従来不可能であった「必
要な精度に応じた測定」が可能となる。
のが目的の場合、すなわち、距離測定の絶対的な精度は
低くてもかまわず、むしろ極端なエラーが少ないほうが
望ましい場合には、大きい形状のブロック信号を抽出し
て測距演算を行い、また、実際に焦点を調節するのが目
的の場合、すなわち精度の高い距離測定が要求される場
合には、小さい形状のブロック信号を抽出して測距演算
を行うようにすることにより、従来不可能であった「必
要な精度に応じた測定」が可能となる。
【0057】また、複数の信号抽出領域を被写体の状況
などに応じて適宜設定することにより、無駄な領域の測
距を行うことなく演算時間を短縮することが可能であ
る。
などに応じて適宜設定することにより、無駄な領域の測
距を行うことなく演算時間を短縮することが可能であ
る。
【0058】なお、この実施例ではカメラへの適用を説
明したが、例えばエアコンなどに本発明を利用した場
合、室内の何処に人間が存在するかを判断してその方向
へ送風するといった環境認識分野への応用が可能であ
る。
明したが、例えばエアコンなどに本発明を利用した場
合、室内の何処に人間が存在するかを判断してその方向
へ送風するといった環境認識分野への応用が可能であ
る。
【0059】次いで、本発明の他の実施の形態(第2の
形態)として、オートフォーカス一眼レフカメラなどの
交換レンズ等の光学系を通過した光束で形成される像を
用いて測定を行う場合について説明する。
形態)として、オートフォーカス一眼レフカメラなどの
交換レンズ等の光学系を通過した光束で形成される像を
用いて測定を行う場合について説明する。
【0060】装置の構成は図1と同様であるが、CPU
26を制御するシーケンスが異なる。図4は、本発明の
第2の形態における動作を説明するフローチャートであ
る。該フローチャートに基づき動作を説明する。撮影者
がシャッターボタンを押すなどの所定のきっかけによ
り、自動焦点調節のステップ(201)が開始される。
次のステップ(202)において、CPU26からセン
サ駆動回路17、A/Dコンバータ18と19、フレー
ムメモリ20と21に制御信号が送られ、センサ上に結
像した画像信号がフレームメモリに取り込まれる。
26を制御するシーケンスが異なる。図4は、本発明の
第2の形態における動作を説明するフローチャートであ
る。該フローチャートに基づき動作を説明する。撮影者
がシャッターボタンを押すなどの所定のきっかけによ
り、自動焦点調節のステップ(201)が開始される。
次のステップ(202)において、CPU26からセン
サ駆動回路17、A/Dコンバータ18と19、フレー
ムメモリ20と21に制御信号が送られ、センサ上に結
像した画像信号がフレームメモリに取り込まれる。
【0061】ステップ(203)においてCPU26か
らブロック抽出回路22、23に対して信号が送られ、
ブロック形状や大きさの初期設定が行われる。ここで
は、レンズの焦点距離や撮影モード、露出条件などによ
り、最適な形状や大きさが設定されるのであるが、実際
に焦点調節を行うレンズを通った光で像ずれ検出を行う
場合、初期段階では、焦点位置が大きくずれていること
が多いと想定されるので、像ずれ検出に用いる像もぼけ
ている可能性が高い。ぼけた像は微細なパターンを含む
ことはなく、小さいブロックサイズでずれ観測を行って
もエラーの頻度が大きくなるので、最初は大きめの例え
ば矩形のブロックに設定することにより最適な演算が可
能となる。つまり、ブロックサイズが十分大きければ、
そのブロックは何らかのパターンを含むことが多いの
で、ずれ観測で大きなエラーが生じることは少なく、最
初の測定に適している。
らブロック抽出回路22、23に対して信号が送られ、
ブロック形状や大きさの初期設定が行われる。ここで
は、レンズの焦点距離や撮影モード、露出条件などによ
り、最適な形状や大きさが設定されるのであるが、実際
に焦点調節を行うレンズを通った光で像ずれ検出を行う
場合、初期段階では、焦点位置が大きくずれていること
が多いと想定されるので、像ずれ検出に用いる像もぼけ
ている可能性が高い。ぼけた像は微細なパターンを含む
ことはなく、小さいブロックサイズでずれ観測を行って
もエラーの頻度が大きくなるので、最初は大きめの例え
ば矩形のブロックに設定することにより最適な演算が可
能となる。つまり、ブロックサイズが十分大きければ、
そのブロックは何らかのパターンを含むことが多いの
で、ずれ観測で大きなエラーが生じることは少なく、最
初の測定に適している。
【0062】ステップ(204)では、焦点を合わせる
方向を含むように初期相関演算対象領域を設定する。こ
こで、焦点を合わせる方向は観察者の視線方向を検出す
る手段などによりあらかじめ撮影者の意志によって決め
た領域を中心に設定される。図5は、撮影画面の例であ
る。焦点を合わせる位置が図中の点29などであった場
合この点の周辺領域30(斜線で示した領域)が初期相
関演算対象領域として設定され、この領域内に複数の信
号抽出領域が設定される。
方向を含むように初期相関演算対象領域を設定する。こ
こで、焦点を合わせる方向は観察者の視線方向を検出す
る手段などによりあらかじめ撮影者の意志によって決め
た領域を中心に設定される。図5は、撮影画面の例であ
る。焦点を合わせる位置が図中の点29などであった場
合この点の周辺領域30(斜線で示した領域)が初期相
関演算対象領域として設定され、この領域内に複数の信
号抽出領域が設定される。
【0063】ステップ(205)では相関演算が実施さ
れる。相関演算の結果、演算対象領域の距離情報(フォ
ーカス情報)が図1のメモリ25に格納される。
れる。相関演算の結果、演算対象領域の距離情報(フォ
ーカス情報)が図1のメモリ25に格納される。
【0064】ステップ(206)では、演算対象領域内
の複数の相関演算結果の中からレンズ駆動に利用するデ
ータを選択する。この選択は、各ブロックの演算結果の
中から信頼性の高いものを選択するなどのアルゴリズム
が考えられるが、このアルゴリズムについては、本発明
とは異なる内容であるので、詳細については省略する。
の複数の相関演算結果の中からレンズ駆動に利用するデ
ータを選択する。この選択は、各ブロックの演算結果の
中から信頼性の高いものを選択するなどのアルゴリズム
が考えられるが、このアルゴリズムについては、本発明
とは異なる内容であるので、詳細については省略する。
【0065】ステップ(207)では、ステップ(20
6)で選択された相関演算結果からレンズが合焦状態か
あるいは非合焦状態かを判断して、合焦状態ならステッ
プ(212)へ、非合焦状態ならステップ(208)へ
移る。
6)で選択された相関演算結果からレンズが合焦状態か
あるいは非合焦状態かを判断して、合焦状態ならステッ
プ(212)へ、非合焦状態ならステップ(208)へ
移る。
【0066】ステップ(208)では、ステップ(20
6)で選択された相関演算に基づき、レンズが合焦状態
になるように駆動される。
6)で選択された相関演算に基づき、レンズが合焦状態
になるように駆動される。
【0067】ステップ(209)で再び画像の取り込み
が行われ、ステップ(210)とステップ(211)で
ブロックサイズの設定と演算領域の設定が行われる。こ
の段階では、レンズ駆動の結果、前回より合焦状態に近
い像が得られるので、測定対象像のコントラストは高く
なる。測定対象のコントラストが高ければ、ブロックの
大きさが小さくても、十分精度の高い演算を行うことが
できるので、前回の設定値より小さいブロックサイズを
設定して、距離の演算精度を高める。また、相関演算領
域はステップ(206)で相関演算の信頼性が高いと判
断された領域に限定される。即ち、ステップ(204)
で設定された領域内の小さな領域が設定される。
が行われ、ステップ(210)とステップ(211)で
ブロックサイズの設定と演算領域の設定が行われる。こ
の段階では、レンズ駆動の結果、前回より合焦状態に近
い像が得られるので、測定対象像のコントラストは高く
なる。測定対象のコントラストが高ければ、ブロックの
大きさが小さくても、十分精度の高い演算を行うことが
できるので、前回の設定値より小さいブロックサイズを
設定して、距離の演算精度を高める。また、相関演算領
域はステップ(206)で相関演算の信頼性が高いと判
断された領域に限定される。即ち、ステップ(204)
で設定された領域内の小さな領域が設定される。
【0068】次に再びステップ(205)で相関演算、
ステップ(206)でデータ選択が行われる。
ステップ(206)でデータ選択が行われる。
【0069】ステップ(207)で合焦と判断されれ
ば、ステップ(212)に移り、フィルムへの露光など
の撮影手続きに移る。
ば、ステップ(212)に移り、フィルムへの露光など
の撮影手続きに移る。
【0070】以上のように、非合焦状態のように像のコ
ントラストが少ない場合には信号抽出ブロックを大き
く、また合焦状態に近づき像のコントラストが高くなる
に従って、信号抽出ブロックを小さくして相関演算を行
うことにより、焦点位置の誤検出を抑え、かつ精度の高
いオートフォーカス機構を実現することができる。
ントラストが少ない場合には信号抽出ブロックを大き
く、また合焦状態に近づき像のコントラストが高くなる
に従って、信号抽出ブロックを小さくして相関演算を行
うことにより、焦点位置の誤検出を抑え、かつ精度の高
いオートフォーカス機構を実現することができる。
【0071】また、複数の信号抽出領域をコントラスト
の状況などに応じて適宜設定することにより、無駄な領
域の測距を行うことなく演算時間を短縮することが可能
である。
の状況などに応じて適宜設定することにより、無駄な領
域の測距を行うことなく演算時間を短縮することが可能
である。
【0072】図6は、本発明の他の実施の形態を示すフ
ローチャートである。尚、該実施の形態での装置は図1
の装置が用いられているものとする。該フローチャート
に基づき動作を説明する。撮影者がシャッターボタンを
押すなどの所定のきっかけにより、ステップ(301)
が開始される。
ローチャートである。尚、該実施の形態での装置は図1
の装置が用いられているものとする。該フローチャート
に基づき動作を説明する。撮影者がシャッターボタンを
押すなどの所定のきっかけにより、ステップ(301)
が開始される。
【0073】次のステップ(302)において、CPU
26からセンサ駆動回路17、A/Dコンバータ18と
19、フレームメモリ20と21に制御信号が送られ、
センサ上に結像した画像の取り込みが行われる。
26からセンサ駆動回路17、A/Dコンバータ18と
19、フレームメモリ20と21に制御信号が送られ、
センサ上に結像した画像の取り込みが行われる。
【0074】ステップ(303)において、CPUから
ブロック信号抽出回路22、23に対して信号が送ら
れ、ブロック初期設定が行われる。この初期ブロックの
形状や大きさは、レンズの焦点距離や撮影モード、露出
条件などにより、最適なブロックサイズが設定されるの
であるが、被写体空間全体の距離情報から主被写体の位
置を推測することが最初の相関演算の目的であるので、
高い精度の距離情報は必要でなく、むしろエラー頻度の
少ない距離情報が必要になる。したがって、ブロックは
比較的大きいサイズに設定する。
ブロック信号抽出回路22、23に対して信号が送ら
れ、ブロック初期設定が行われる。この初期ブロックの
形状や大きさは、レンズの焦点距離や撮影モード、露出
条件などにより、最適なブロックサイズが設定されるの
であるが、被写体空間全体の距離情報から主被写体の位
置を推測することが最初の相関演算の目的であるので、
高い精度の距離情報は必要でなく、むしろエラー頻度の
少ない距離情報が必要になる。したがって、ブロックは
比較的大きいサイズに設定する。
【0075】ステップ(304)では、相関演算対象領
域を初期設定する。図7の(a)は撮影画面の一例であ
る。エリアセンサ内全域の距離情報を調べるため、最初
の相関演算では画像の広範囲、例えば画面全体を演算対
象領域に設定する。この場合、図7の(a)の斜線で表
現した領域31(画面全体)が演算対象初期領域とな
る。
域を初期設定する。図7の(a)は撮影画面の一例であ
る。エリアセンサ内全域の距離情報を調べるため、最初
の相関演算では画像の広範囲、例えば画面全体を演算対
象領域に設定する。この場合、図7の(a)の斜線で表
現した領域31(画面全体)が演算対象初期領域とな
る。
【0076】ステップ(305)では、演算対象領域内
の複数のブロックについて相関演算が行われ、演算対象
領域の距離情報がメモリ25に格納される。
の複数のブロックについて相関演算が行われ、演算対象
領域の距離情報がメモリ25に格納される。
【0077】ステップ(306)では、この被写体空間
の距離情報を参照して主被写体の位置を所定のアルゴリ
ズムにより推測する。ここで、所定のアルゴリズムと
は、 ・原則的に最も距離が近い物体を選択する方法 ・距離データから構成した物体の外形が人間の形状に似
通っていると判断された物体を選択する方法 など、撮影の目的や撮影モードに応じて様々なアルゴリ
ズムを適用することが可能であるが、このアルゴリズム
については本発明とは異なる内容であるので、詳細につ
いては省略する。このアルゴリズムの判定結果により、
図7の(b)の斜線の領域32に主被写体が存在すると
推測された場合、ステップ(307)においてブロック
の形状を、主被写体の形状(斜線の領域)に設定する。
の距離情報を参照して主被写体の位置を所定のアルゴリ
ズムにより推測する。ここで、所定のアルゴリズムと
は、 ・原則的に最も距離が近い物体を選択する方法 ・距離データから構成した物体の外形が人間の形状に似
通っていると判断された物体を選択する方法 など、撮影の目的や撮影モードに応じて様々なアルゴリ
ズムを適用することが可能であるが、このアルゴリズム
については本発明とは異なる内容であるので、詳細につ
いては省略する。このアルゴリズムの判定結果により、
図7の(b)の斜線の領域32に主被写体が存在すると
推測された場合、ステップ(307)においてブロック
の形状を、主被写体の形状(斜線の領域)に設定する。
【0078】尚、主被写体の形状の判定は図2のフロー
にて述べた方法により行なわれる。
にて述べた方法により行なわれる。
【0079】従来は、抽出信号の大きさや形状を適切に
変更することができなかったため、これ以上の測距精度
を得ることができないので、遠近競合の影響を受けた不
正確な測距結果に基づきレンズを駆動してしまう場合が
ある。ここで本発明では、信号抽出ブロックの形状を、
ステップ(306)で得られた主被写体の形状に合わせ
ることにより、背景像の影響を低減することができ、ス
テップ(308)において主被写体の正確な相関演算を
行うことが可能となるのである。
変更することができなかったため、これ以上の測距精度
を得ることができないので、遠近競合の影響を受けた不
正確な測距結果に基づきレンズを駆動してしまう場合が
ある。ここで本発明では、信号抽出ブロックの形状を、
ステップ(306)で得られた主被写体の形状に合わせ
ることにより、背景像の影響を低減することができ、ス
テップ(308)において主被写体の正確な相関演算を
行うことが可能となるのである。
【0080】ステップ(309)では、ステップ(30
8)での演算結果に基づき主被写体に対して焦点が合う
ようにレンズが駆動される。レンズ駆動が完了すると、
ステップ(310)でフィルムへの露光といった撮影手
続きに処理が移行する。
8)での演算結果に基づき主被写体に対して焦点が合う
ようにレンズが駆動される。レンズ駆動が完了すると、
ステップ(310)でフィルムへの露光といった撮影手
続きに処理が移行する。
【0081】抽出信号内に距離の異なる複数の物体像が
混在する場合、相関演算により得られる像ずれ量は、各
物体が本来有する像ずれ量に対して中間的な値となるこ
とがあり、正確な像ずれ量を算出することができない。
こうした症状は遠近競合と呼ばれ、従来の演算方法では
回避することができないが、以上の実施例で示したよう
に、ブロックの形状を被測定対象の形状に適合させて、
相関演算を実施することにより、被測定対象以外の像信
号の影響を排除することが可能であり、遠近競合の問題
を回避することが可能となる。
混在する場合、相関演算により得られる像ずれ量は、各
物体が本来有する像ずれ量に対して中間的な値となるこ
とがあり、正確な像ずれ量を算出することができない。
こうした症状は遠近競合と呼ばれ、従来の演算方法では
回避することができないが、以上の実施例で示したよう
に、ブロックの形状を被測定対象の形状に適合させて、
相関演算を実施することにより、被測定対象以外の像信
号の影響を排除することが可能であり、遠近競合の問題
を回避することが可能となる。
【0082】また、この実施の形態では、主被写体と判
断された領域全体に合わせて信号抽出領域を設定した
が、実際には信号抽出領域は主被写体と判断された領域
内の一部であってもよく、例えば、被写体が人間らしい
と判断された場合、図7の(c)の斜線で示した主被写
体の顔の部分の形状に合わせて、信号抽出領域34を設
定することにより、遠近競合の影響を排除しかつ、人間
の顔に正確に焦点を合わせることが可能である。また、
人間の顔の部分、体の部分などの複数の部分に、それぞ
れの形状に合わせて複数の信号抽出領域を設定して相関
演算を行った後、複数の演算結果から信頼性の高いデー
タを選択するといった方法も可能である。
断された領域全体に合わせて信号抽出領域を設定した
が、実際には信号抽出領域は主被写体と判断された領域
内の一部であってもよく、例えば、被写体が人間らしい
と判断された場合、図7の(c)の斜線で示した主被写
体の顔の部分の形状に合わせて、信号抽出領域34を設
定することにより、遠近競合の影響を排除しかつ、人間
の顔に正確に焦点を合わせることが可能である。また、
人間の顔の部分、体の部分などの複数の部分に、それぞ
れの形状に合わせて複数の信号抽出領域を設定して相関
演算を行った後、複数の演算結果から信頼性の高いデー
タを選択するといった方法も可能である。
【0083】
【発明の効果】請求項1の発明によれば、被測定対象の
状況に応じた範囲を相関演算範囲とすることが出来るの
で適正なフォーカス状態または距離状態を検出出来るも
のである。
状況に応じた範囲を相関演算範囲とすることが出来るの
で適正なフォーカス状態または距離状態を検出出来るも
のである。
【0084】また、請求項2の発明によれば、請求項1
と同様な効果が得られる装置を提供することが出来るも
のである。
と同様な効果が得られる装置を提供することが出来るも
のである。
【0085】また、請求項3、4、5の発明によれば請
求項2の装置をより適正な構成にて提供できるものであ
る。
求項2の装置をより適正な構成にて提供できるものであ
る。
【0086】また、請求項6の発明によれば、粗い範囲
での相関演算結果に応じて適正な相関演算ブロックを決
定出来るのでより適正なフォーカス状態または距離状態
検出を行うことができる。
での相関演算結果に応じて適正な相関演算ブロックを決
定出来るのでより適正なフォーカス状態または距離状態
検出を行うことができる。
【0087】また、請求項7、8の発明によれば、請求
項6の装置をより適正な構成にて提供出来る。
項6の装置をより適正な構成にて提供出来る。
【0088】また、請求項9の発明によれば、請求項6
と同様な効果が得られる装置を提供出来る。
と同様な効果が得られる装置を提供出来る。
【0089】また、請求項10、11の発明によれば請
求項9の装置をより好適な構成にて提供出来るものであ
る。
求項9の装置をより好適な構成にて提供出来るものであ
る。
【図1】本発明に係る像信号処理装置の実施の形態を示
すブロック図である。
すブロック図である。
【図2】図1に示した装置の動作を説明するためのフロ
ーチャートである。
ーチャートである。
【図3】図2のフローを説明するための撮影画面と演算
領域を表わす図である。
領域を表わす図である。
【図4】本発明の他の実施の形態における動作を説明す
るためのフローチャートである。
るためのフローチャートである。
【図5】図4のフローを説明するための撮影画面と演算
領域を表す図である。
領域を表す図である。
【図6】本発明の他の実施の形態における動作を説明す
るためのフローチャートである。
るためのフローチャートである。
【図7】図6のフローを説明するための撮影画面と演算
領域を表わす図である。
領域を表わす図である。
【図8】ステレオ法による距離測定の原理を説明する図
である。
である。
【図9】相関演算の一例を説明する図である。
【図10】ブロック信号抽出を説明する図である。
【図11】図2のフローを説明するための説明図であ
る。
る。
1、2 レンズ 3、4 光学中心 5、6 光軸 7 結像面 8、9 画像記録手段 8a、9a エリアセンサなどの2次元画像記録手段 10 被測定物体 11、12 被測定物体結像位置 13、14 基準位置 15 ブロック信号抽出位置 16 ブロック信号抽出範囲 17 センサ駆動回路 18、19 A/Dコンバータ 20、21 フレームメモリ 22、23 ブロック信号抽出回路 24 相関演算回路 25 距離情報格納メモリ 26 CPU
Claims (11)
- 【請求項1】 2次元配置した光電変換素子によって、
受光された2つの像の相関演算を行いフォーカス状態ま
たは、距離状態を検出する像信号処理装置において、前
記相関演算処理される像信号の範囲を被測定対象物の形
状または属性または受光画像のコントラストに応じて設
定する設定手段を設けたことを特徴とする像信号処理装
置。 - 【請求項2】 2次元配置した光電変換素子によって、
受光された2つの像の相関演算を行いフォーカス状態ま
たは、距離状態を検出する像信号処理装置において、前
記相関演算処理される像信号の範囲を第一の範囲に設定
して前記相関演算を行わせた後に該相関演算結果に応じ
て求められた被測定対象物の形状または属性またはコン
トラストに基づいて前記相関演算処理範囲を再設定する
設定手段を設けたことを特徴とする像信号処理装置。 - 【請求項3】 前記処理装置は第一の範囲での相関演算
結果にて求められた上記第一の範囲における各部の特性
値に応じて前記形状または属性を決定し、第一の範囲内
の一部の領域を再設定する請求項2に記載の像信号処理
装置。 - 【請求項4】 前記処理装置は第一の範囲での相関演算
結果にて求められた上記第一の範囲における各部の距離
情報に応じて前記形状または属性を決定する請求項3に
記載の像信号処理装置。 - 【請求項5】 前記処理装置は前記形状または属性が所
定の形状または属性を示す領域を前記設定手段に再設定
させる請求項3、4に記載の像信号処理装置。 - 【請求項6】 2次元配置した光電変換素子によって、
受光された2つの像の相関演算を行いフォーカス状態ま
たは、距離状態を検出する像信号処理装置において、前
記相関演算処理される像信号の範囲を第一の範囲に設定
するとともに該第一の範囲を複数のブロックに分割して
各ブロックごとに前記相関演算を行わせた後に該相関演
算結果に応じてブロックの範囲を決定し、該決定された
ブロックごとに再度相関演算処理を行うことを特徴とす
る像信号処理装置。 - 【請求項7】 前記処理装置は、相関演算結果に応じて
被測定対象物の形状または属性を求め該形状または属性
に応じてブロックの範囲を決定する請求項6に記載の像
信号処理装置。 - 【請求項8】 前記処理装置は、相関演算結果に応じて
前記第一の範囲内で相関演算処理範囲を再設定し、該再
設定された範囲を前記ブロックで複数に分割して、該分
割されたブロックごとに相関演算処理を行う請求項6、
7に記載の像信号処理装置。 - 【請求項9】 2次元配置し光電変換素子によって、受
光された2つの像の相関演算を行いフォーカス状態また
は、距離状態を検出する像信号処理装置において、前記
相関演算処理される像信号の範囲を第一の範囲に設定す
るとともに該第一の範囲を複数のブロックに分割して各
ブロックごとに前記相関演算を行わせた後に該相関演算
結果に応じて相関演算処理範囲を前記第一の範囲の一部
に再設定するとともに、該再設定された相関演算範囲を
前記ブロックより小さいブロックで複数に分割し各ブロ
ックごとに相関演算処理を行わせたことを特徴とする像
信号処理装置。 - 【請求項10】 第一の範囲を複数に分割したブロック
での相関演算結果と再設定された相関演算処理範囲を分
割したブロックでの相関演算結果に応じてフォーカス状
態または距離状態を決定する請求項9に記載の像信号処
理装置。 - 【請求項11】 前記再設定された相関演算処理範囲を
分割したブロックの各相関演算結果のうち、前記第一の
範囲を複数に分割したブロックでの相関演算結果と再設
定された相関演算処理範囲を分割したブロックでの相関
演算結果が所定状態以上異なっているブロックの相関演
算結果を除いた相関演算結果に応じてフォーカス状態ま
たは距離状態を決定する請求項10に記載の像信号処理
装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP1545896A JPH09211316A (ja) | 1996-01-31 | 1996-01-31 | 像信号処理装置 |
US08/740,219 US5913082A (en) | 1995-10-27 | 1996-10-25 | Image signal processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP1545896A JPH09211316A (ja) | 1996-01-31 | 1996-01-31 | 像信号処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH09211316A true JPH09211316A (ja) | 1997-08-15 |
Family
ID=11889362
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP1545896A Withdrawn JPH09211316A (ja) | 1995-10-27 | 1996-01-31 | 像信号処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH09211316A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0926526A2 (en) * | 1997-12-25 | 1999-06-30 | Canon Kabushiki Kaisha | Optical device and method for selecting object of focus |
US6088539A (en) * | 1997-12-24 | 2000-07-11 | Canon Kabushiki Kaisha | Optical apparatus with focus adjusting function and focus adjustment control circuit |
JP2001304855A (ja) * | 2000-04-18 | 2001-10-31 | Olympus Optical Co Ltd | 測距装置 |
JP2007072013A (ja) * | 2005-09-05 | 2007-03-22 | Sony Corp | 撮像装置および撮像方法 |
JP2013029803A (ja) * | 2011-06-22 | 2013-02-07 | Canon Inc | 焦点検出装置 |
JP2013257512A (ja) * | 2012-06-14 | 2013-12-26 | Canon Inc | 焦点検出のための信号処理装置、信号処理方法およびプログラム、ならびに焦点検出装置を有する撮像装置 |
-
1996
- 1996-01-31 JP JP1545896A patent/JPH09211316A/ja not_active Withdrawn
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6088539A (en) * | 1997-12-24 | 2000-07-11 | Canon Kabushiki Kaisha | Optical apparatus with focus adjusting function and focus adjustment control circuit |
US6157782A (en) * | 1997-12-24 | 2000-12-05 | Canon Kabushiki Kaisha | Optical apparatus with focus adjusting function and focus adjustment control circuit |
EP0926526A2 (en) * | 1997-12-25 | 1999-06-30 | Canon Kabushiki Kaisha | Optical device and method for selecting object of focus |
EP0926526B1 (en) * | 1997-12-25 | 2005-04-13 | Canon Kabushiki Kaisha | Optical device and method for selecting object of focus |
US7071985B1 (en) | 1997-12-25 | 2006-07-04 | Canon Kabushiki Kaisha | Optical device and method for selecting object of focus |
JP2001304855A (ja) * | 2000-04-18 | 2001-10-31 | Olympus Optical Co Ltd | 測距装置 |
JP2007072013A (ja) * | 2005-09-05 | 2007-03-22 | Sony Corp | 撮像装置および撮像方法 |
JP2013029803A (ja) * | 2011-06-22 | 2013-02-07 | Canon Inc | 焦点検出装置 |
JP2013257512A (ja) * | 2012-06-14 | 2013-12-26 | Canon Inc | 焦点検出のための信号処理装置、信号処理方法およびプログラム、ならびに焦点検出装置を有する撮像装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8144974B2 (en) | Image processing apparatus, method, and program | |
US10477100B2 (en) | Distance calculation apparatus, imaging apparatus, and distance calculation method that include confidence calculation of distance information | |
US5913082A (en) | Image signal processing apparatus | |
JP2023115356A (ja) | 計測装置、撮像装置、制御方法及びプログラム | |
US11808561B2 (en) | Electronic apparatus for controlling a projector to project an image onto a screen at an actual size length, control method thereof and computer readable storage medium | |
WO2020008832A1 (ja) | 測距カメラ | |
US8179431B2 (en) | Compound eye photographing apparatus, control method therefor, and program | |
JPH09211316A (ja) | 像信号処理装置 | |
JP2008298589A (ja) | 位置検出装置及び位置検出方法 | |
US20090244313A1 (en) | Compound eye photographing apparatus, control method therefor, and program | |
JP2017021052A (ja) | 画像データ処理装置、距離算出装置、撮像装置および画像データ処理方法 | |
JP2016066995A (ja) | 像ズレ量算出装置、撮像装置、および像ズレ量算出方法 | |
JPH11109218A (ja) | 自動焦点検出装置 | |
JP2014194502A (ja) | 撮像装置および撮像システム | |
JP2002311327A (ja) | 多点測距装置 | |
JP4085720B2 (ja) | デジタルカメラ | |
JP6632406B2 (ja) | 距離算出装置、撮像装置、および距離算出方法 | |
JP2003057531A (ja) | 位相差検出方法、位相差検出装置、測距装置および撮像装置 | |
JPH11223516A (ja) | 3次元画像撮像装置 | |
JP7559015B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びコンピュータプログラム | |
CN112424566B (zh) | 测距摄像机 | |
JP2024058870A (ja) | 距離計測装置、撮像装置、距離計測装置の制御方法およびプログラム | |
JP5932361B2 (ja) | 距離情報検出装置、距離情報検出方法、及びカメラ | |
JPH10253499A (ja) | キャリブレーション装置およびキャリブレーション方法、並びに歪み補正装置および歪み補正方法 | |
JP2023004680A (ja) | 画像処理装置及び画像処理装置の制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20030401 |