JPH0258011A - 自動焦点機能付き画像処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔発明の利用分野〕 本発明はロボット用などの自動焦点機能付き画像処理装
置に係り、特にロボットの視覚として画像処理装置を使
用する場合に画像処理装置に自動焦点機能を付加したり
、あるいは画像処理装置を用いた顕微鏡画像の分析にお
ける映像系の自動焦点合わせなどにも好適な自動焦点合
わせ方式のロボット用などの自動焦点機能付き画像処理
装置に関する。

〔従来の技術〕

従来のカメラやＶＴＲ，’ＰＣＤなどの方面で実用され
ている自動焦点合わせ方式は三角測量の原理を応用した
ものであり、自動焦点合わせ特有の映像系を構成する。

第１１図（ａ）、　（ｂ）は従来のカメラに適用された
自動焦点合わせ方式（ハネウェル社）の−例を示す原理
図で、第１１図（ａ）はピントと光線の関係を示し、第
１１図（ｂ）はピントのずれ量を示す、第１１図（ａ）
のようにレンズの上（右）半分を通過してきた光線と下
（左）半分を通過してきた光線は上（右）と下（左）の
順次がピントの前後で入れ替わるという事実を検出する
のが測距あるいはピント合わせの根本であって、これが
像の横ずれ方式あるいは位相差方式と呼ばれるものの原
理である。

この場合に第１１図（ｂ）のように撮影レンズの上（右
）下（左）の光線のなす開き角をθとし、像の横ずれ量
をＳとしたときピントの外れ量りは次式で与えられる。

Ｄ＝−！５ｃｏｔ↓ この方式の構成はピント面のわずか背後に１次元面体撮
像素子を並べたものであり、この１列の固体撮像素子は
２組の撮像素子を１個飛びに組み合わせたものである。

第１２図は従来のカメラに適用された自動焦点合わせ方
式（ミノルタ社）の他の例を示す原理図で、ピントがず
れた時の横ずれの差を示す。第１２図のように撮影レン
ズで作られるほぼ光軸上の１次像はフィルム面付近にで
きる。つぎに１次像を通過した光線はその直後にあるコ
ンデンサーレンズを通る。これはさらにつぎの通過する
べき絞りマスクを撮影レンズの射出ひとみ上に結像させ
るものである。この絞りマスクとセパレーターレンズの
中心を通る２本の光線のなす角をθとし、あるいはこれ
をＦ値（Ｆ’＝’ｃｏｔｏ）で表わすと、１次像のピン
ト外れ量ｄと２つの１次像の光軸からの横ずれ量Δ■と
の関係は次式で与えられる。

ΔＩ＝ｄｔａｎθ＝２Ｆｄ つぎに１次像に対する２次像の倍率をβとすると図示の
Δ■′は次式で与えられる。

Δｌ’＝βΔ■＝１ 　Ｆ ここでΔＩ′は左右の２次像がピントの合ったときとピ
ントがずれたときの横ずれの差のそれぞれ光軸から測っ
ている距離、つまり固体撮影素子上で左右像の測ってい
る距離である。ここで２次像の横ずれが左右像間でＣＯ
Ｄセンサーの受光素子間隔１ピッチＰ分（Ｐ＝２ΔＩ’
）だとすると、これに対するピントの移動量Δｄは次式
で与えられる。

ここでＣＣＤ上の１ピツチの動きで細かいピントの移動
を見るのには、Ｆ値が小さくて１次像に対する２次像の
倍率βが大きければよい。

従来の画像解析による自動焦点合わせ方式は。

特開昭５９−８７４１５号公報に記載のように濃淡画像
を処理して焦点合わせを行う方法として濃淡画像情報の
互いに隣接する画素の濃度差が最大になるようにしたり
、微分出力（Ｘ微分、Ｘ微分、ラプラシアンなど）を単
純に加算して、加算出力が最大になるように被調整系の
光学系の光軸位置を移動調整する画像処理装置が公知で
ある。

〔発明が解決しようとする課題〕

上記従来技術は、三角測量の原理を応用した方式を画像
処理システムに適用するには外付けにする必要があるた
め、外付けの煩わしさに加えて画像処理用の映像系を間
接的に焦点合わせすることになって正確な焦点合わせが
困難であるうえ、レンズ等の条件を変更する場合の対応
が困難であって、レンズ仕様やズームの調整に合わせて
最適な焦点合わせになるようにする必要があるのに現実
的に対応が不可能である。したがってこのような不便さ
を改善するには画像処理装置の映像系を使用して、ディ
ジタル画像を処理して焦点合わせを行うのが好ましい。

また画像解析による自動焦点合わせ方式は、濃淡画像を
処理して焦点合わせを行う公知の方法では濃淡画像情報
の互いに隣接する画素の濃度差が最大になるようにした
り、微分出力（Ｘ微分、Ｘ微分、ラプラシアン等）を単
純に加算して、加算出力が最大になるように被ｍ整系の
光学系の光軸位置を移動調整する画像処理装置であるた
め、単純に画面の一部または画面全体に対して微分値の
加算をとると照明変動や対象物表面の凹凸のある場合に
各画素の微分値が小さくても全画素を総計すると大変大
きな値となる。これに対して焦点合わせに有効な情報を
提供する部分が局部的に濃度差が大変大きくても、その
画素数が全体の画素数に比較すると非常に少ないため、
焦点合わせに寄与する画素の濃度差を加算しても全体の
画素を加算したものに比較して小さい値となる。したが
って画面の大部分を占める焦点合わせに寄与しない画素
の照明の変化やノイズによる変動量が焦点合わせに寄与
する部分の情報に対して誤差として作用し、その影響が
無視できないほど大きいので濃度差を単純に画面全体（
またはその一部）にわたって加算すると良好な焦点合わ
せができない問題があった。

そらにロボットの視覚として画像処理装置を使用する場
合には、視野に現われる物体が一般的に複数個であり且
つ立体的な空間に存在してカメラとの距離もまちまちで
ある場合が普通であり、したがって同時に全部の物体に
焦点を合わせることが不可能であるし合わせる必要もな
く、ロボットの目で監視または観察したい物体を１つか
２つに限定することができる。このようなロボットの要
請に対してはロボットの視覚装置にインテリジェントな
機能を付加することにより、観察したい物体をあらかじ
めロボットシステムに見せておき形状とか大きさを記憶
させて視野に現れた物体を認識して観察したい対象物を
特定するという機能がまず必要であり、その後に特定さ
れた対象物に対して正確に焦点を合わせて画像認識すれ
ばロボットの視覚として有効な画像処理となる。しかし
上記の画像解析による自動焦点合わせ方式はこの種のロ
ボットシステムへの適用方法について配慮がなされてお
らず、ロボットの要請に対する有効な焦点合わせに対応
できない問題があった。

本発明の目的は撮像画像から焦点合わせに寄与する部分
のみを取り出して正確な焦点合わせのできるロボット用
などの自動焦点機能付き画像処理装置を提供するにある
。

〔課題を解決するための手段〕

上記目的は、対象物を映像系（移動機構を含む）を介し
て撮像する撮像カメラ（ＩＴＶカメラ）を有し、該撮像
カメラの入力画像（濃淡画像）の微分処理（Ｘ微分、Ｙ
微分、ラプラシアン等）手段と、該微分処理結果画像を
適当なしきい値で２値化する２値化処理手段と、該２値
化処理結果の面積計測手段と、該計測面積が最大値とな
るように上記映像系の位置調整を行ない自動焦点合わせ
する手段（コントローラ）とを具備し、なお上記自動焦
点合わせ後の入力画像に基づき上記対象物に対する画像
処理（画像認識処理）を行える自動焦点機能付き画像処
理装置により達成される。

またロボットシステムに使用する場合には、さらに上記
撮像カメラの視野の中から対象物（目的物）を見出して
特定する手段（概略の合焦点を得る手段と特定対象物を
検出する手段等）と、該特定対象物に対して正確な自動
焦点合わせを行う上記各手段とを具備して、インテリジ
ェントな視覚機能付きロボットシステムに使用する自動
焦点機能付き画像処理装置により達成される。

〔作用〕

上記自動焦点機能付き画像処理装置は、撮像カメラの濃
淡画像を微分処理した微分画像（差分画像）を適用な大
きさのしきい値（対象物と背景とのコントラスト等によ
り最適値をあらかじめ設定（教示可能）で２値化すると
、、焦点合わせに寄与すると思われる比較的に濃度差の
大きな画像部分の画素の情報のみを取り出すことができ
、焦点合わせに寄与しない画素の微分値の変動やノイズ
等の障害になる情報が除去できるので、この２値画像の
面積計測を行えば対象物に映像系の焦点が完全に合った
ときに計測面積が最大値を示して焦点がぼけるに従って
減少するから、上記映像系を移動させながら各位置での
面積計測を行いつつ該映像系を面積最大となる位置に調
整することにより正確な焦点合わせができる。

またロボットシステムに使用する場合には、まず撮像カ
メラの広い視野内に複数個の物体が立体的に存在する中
から特定の対象物を見出すため、上記映像系を適当な位
置にして撮像カメラの濃淡画像を取り込み、適当なしき
い値で２値化した２値画像を解析して面積や形状係数等
の特徴量による判定を行うと、上記映像系を適当量だけ
移動して概略的に焦点が合えば特定対象物（目的物）を
検出することができるから、つぎに特定対象物に対して
正確な焦点合わせを行うため、特定対象物に焦点の大体
あった画像を入力して特定対象物の輪郭画像を得て、該
輪郭画像に対して膨張処理を行い境界部分の領域を画面
上に作成した後に上記の画像入力と画像微分と２値化処
理を行い上記境界領域内についてのみ面積計算を行い、
面積最大となるように映像系の位置調整をして特定対象
物に対して正確に焦点合わせができ、これによりインテ
リジェント機能を付加した被覚装置付きのロボットシス
テムに使用できる。

〔実施例〕

以下に本発明の実施例を第１図ないし第１０図により説
明する。

第１図は本発明による自動焦点機能付き画像処理装置の
一実施例を示すハードウェア構成図である。第１図にお
いて、本発明のディジタル画像解析による自動焦点合わ
せ方法を汎用の画像処理装置を用いて実現した場合の例
を示す、１は対象物、２は映像系、３は対象物１を映像
系２を介して撮像する撮像カメラ、４は映像系２の焦点
合わせのための移動機構、５は移動機構４を含む映像系
２．６は撮像カメラ３より撮像画像を取り込んで画像処
理するとともに映像系２の焦点合わせを行う画像処理装
置である０画像処理袋［！６の構成で、７はコントロー
ラ、８は２次元画像微分機構、９は２値化機構、１０は
ヒストグラム演算機構（面積計算機構）、１１メモリ、
１２は画像メモリである。

第２回は第１図の自動焦点合わせの処理手順を示すフロ
ーチャートである６第１図のハードウェア構成で第２図
に示す処理手順により自動焦点合わせを行う。まずステ
ップ２００で撮像カメラ３のカメラ画像（濃淡画像）を
画像処理装置６の２次画像機分機構８の入力に選択し、
ステップ２０１で２次元画像微分機構８により２次元画
像微分処理を実行して結果を画像メモリ１２に格納する
。ついでステップ２０２で画像メモリ１２上の微分結果
画像を読み出して２値化機構９により適当なしきい値で
２値化処理して結果を画像メモリ１２に格納する。

さらにステップ２０３で画像メモリ１２上の２値化画像
に対してヒストグラム演算機構（面積計算機構）１０に
より２値化画像の面積計算（ヒストグラム演算）を行い
結果をメモリ（テーブル）　１１上に格納する。その後
にステップ２０５で映像系２のある一定範囲にわたって
繰り返し実行終了したかを判断し、実行未終了であれば
ステップ２０６で映像系２の移動機構４への移動指示を
コントローラ７を介して行ない、映像系２を移動機構４
により移動させて以上の処理を映像系２のある一定範囲
にねたて繰り返し実行することにより映像系２の位置を
計測面積との関係を求める。またステップ２０５で実行
終了であればステップ２０７で上記により得られた結果
を用いて計測面積が最大となる位置に映像系２を移動調
整することにより焦点合わせを行う。

第３図（ａ）　、　（ｂ）　、　（ｃ）　、　（ｄ）は
第１図（第２図）の自動焦点合わせの動作原理を示す説
明図である。

第３図において１本発明の画像微分結果を２値化するこ
とによる自動焦点合わせ方法の原理を例示し、第３図（
ａ）は撮像画像、第３図（ｂ）はそのＡ　−Ａ断面上の
画素の濃度値、第３図（ｃ）はそのＡ−Ａ断面上のｉ方
向の微分値、第３図（ｄ）はその微分値の絶対値をとっ
た値をそれぞれ示している。

第３図（ａ）に示す撮像カメラ３の濃淡画像のたとえば
Ａ−Ａ断面上の画素の濃度値は第３図（ｂ）のグラフの
ようになり、ｉ方向の中心部１＝ｉ０の黒い線で示す部
分に谷を生じ、ここで映像系２の焦点が合わない時には
実線で示す曲線Ｃのようになるが、映像系２の移動機構
４により調整して焦点合わせを行うと曲線す、ａのよう
に変化し、曲線ａが最も焦点の合ったときの分布状態で
ある。

これらの曲線ａ、ｂ、ｃの画素の濃度値をＡ−Ａ断面に
沿ってｉ方向に微分機構８で微分すると第３図（ｃ）の
グラフのような破線で示す曲！！ａＦ　ｂ。

Ｃの微分値となる。さらにこれらの微分結果の絶対値を
とると第３図（ｄ）のグラフのような破線で示す曲線ａ
、ｂ、ｃの値となる。このようになるから第３図（ａ）
の濃淡画像を画像処理して映像系２の焦点の一致具合い
を判定するのに、第３図（ｃ）のような微分値の累積か
らは判定がうまくゆかず。

一定値以上の山の量を判定に使うと好結果が得られるこ
とが分るから、例えば第３図（ｄ）のような微分値（絶
対値）結果を適当なしきい値で２値化機構９により２値
化を行い、その２値化画像のヒストグラム演算機構１０
による計測面積を焦点合わせの判定に使用するので良好
な焦点合わせが行える。この２値化機構９の２値化しき
い値は対象物１とその背景のコントラストなどにより最
適な値をあらかじめ設定しておくようにすれば、微分画
像の２値化処理により焦点合わせに寄与すると思われる
比較的に濃度差の大きい画像の部分のみを取り出して累
積することができる６ 第４図は本発明による自動焦点機能付き画像処理装置の
他の実施例を示すハードウェア構成図である。第４図に
おいて、本発明のディジタル画像解析による自動焦点合
わせ方法を微分回路と２値化回路と面積回路をパイプラ
インで結合してより高速化を計った画像処理装置を用い
て実現した場合の例を示す。第４図の第１図と同一符号
は相当部分を示すものとし、１３は画像処理装置であり
。

画像処理装置１３の構成で、１４は２次元画像機分回路
、１５は２値化回路、１６は面積回路、１７はレジスタ
、１８はこれらの回路を結合するパイプラインである。

第５図は第４図（または第１図）の視野内の複数の物体
の中から特定の物体に焦点を合わす場合の方法を示す説
明図である。本例では形状の異なる複数の物体（丸印、
角印、３角印で示す）ＩＡ。

ＩＢ、ＩＣが撮像カメラ３との距離がそれぞれ異なる距
離Ｌｌ　ｐ　Ｌ２＋　Ｌ３の位置に立体的に置かれてい
るものとする。通常のロボットの目として画像を捉える
場合には、このような撮像カメラ（ＩＴＶカメラ）３と
の距離の異なる物体を同一視野のカメラ画像３ａとして
捉えるのであって、このような複数の物体の中からｗｔ
察したい対象物（目的物）１を特定してから、映像系２
の焦点を正確に合わせて良質なカメラ画像が得られたら
、最終目的である対象物１の画像認識を行う（対象物１
の寸法形状を計測したりする）のである。本実施例では
このようなロボットの視覚装置の要請に対して、その目
的に合うような本発明の自動焦点機能を有する画像処理
装置を提供する。

第６図は第４図（または第１図）の視野内の特定対象物
に焦点を合わす処理手順を示すフローチャートで、もち
ろん本発明の自動焦点合わせ方法を用いることにより有
効に実施可能となるものである。まずステップ６００で
撮像カメラ３の視野の中から特定物体を見出すための処
理を行い、特定物体が見出されたらステップ６０１で見
出された特定の対象物１に対して正確に焦点を合わすた
めの処理を行う。このような処理は自動焦点合わせ機能
を画像処理装置１３（６）にもたせたために実現できる
のであって、従来の三角測量による自動焦点合わせ機能
を外付けしたものでは実現不可能である。

第７図は第６図のステップ６００の視野の中から特定物
体を見出すための画像処理手順を示すフローチャートで
ある。まずステップ７００で映像系２の移動機構４を操
作することにより映像系２を調整して適当な位置に置き
、ステップ７０１で撮像カメラ３からの画像を画像処理
装置１１３に入力する。

ついでステップ７０２で２値化しきい値を適当な値に決
定し、ステップ７０３で入力画像を２値化回路１５によ
り適当なしきい値で２値化し、ついでステップ７０４で
ノイズを除去した後に、ステップ７０５でラベリング処
理を行い、ステップ７０６でラベリングされた各物体ご
とに特徴量を計算して特定対象物の抽出処理を行い、ス
テップ７０７で特定対象の有無を調べる。ここで視野内
に特定対象物があったとしても、焦点が合っていないと
対象物の形状をよくとらえられないので、映像系２を移
動機構４により移動して再び上記の処理を繰り返す。こ
のようにして一定範囲にわたって映像系２を移動しても
対象物が見つからないときには処理を打ち切り、見つか
ったときには次の処理に移る。

第８図は第７図のステップ７０６の特定対象物の抽出処
理手順の一例を示すフローチャートである。

まずステップ８００で全ラベリング物体に対して面積や
形状係数などの特徴量を計算して抽出し、ステップ８０
１で面積や形状係数などの特徴量から特宝物体を探す、
第９図は同じく第７図のステップ７０６の特定対象物の
抽出処理手順の他の例を示すフローチャートである。ま
ずステップ９００でテンプレートマツチング処理を実行
し、ステップ９０１で一致度の大小により判定して特定
物体を探すことができる。

第１０図は第６図のステップ６０１の見出された特定の
対象物１に対して正確に焦点を合わすための処理手順を
示すフローチャートである。まずステップ１００で特定
対象物１の境界部の領域を決定する。ついでステップ１
０１で撮像カメラ３からの画像入力を行い、ステップ１
０２に入力画像の２次元画像微分回路１４による２次微
分処理を行う、つぎにステップ１０３で２次微分結果に
対して適当なしきい値で２値化回路１５による２値化処
理を行い、ステップ１０４で特定対象物の境界部につい
てのみ面積回路１６による面積計算を行い結果をレジス
タ（テーブル）１７に格納する。その後にステップ１０
５で必要なレンズ処理が完了したか判断し、未完了であ
ればステップ１０６で映像系２を移動機構４により微小
移動させて一定範囲について上記ステップ１０１からの
処理を行い、ステップ１０５で必要なレンズ処理が完了
であればステップ１０７で計測面積の最大となる所に映
像系２を移動することにより特定対象物１に映像系２の
焦点を合わせることができる。このようにして本実施例
によれば、本発明の自動焦点機能を有する画像処理装置
をロボットシステムに使用する場合には、インテリジェ
ント機能を付加した視覚装置を有するロボットシステム
に有効に使用できる。

【図面の簡単な説明】

第１図は本発明による自動焦点機能付き画像処理装置の
一実施例を示す構成図、第２図は第１図の自動焦点合わ
せ処理手順のフローチャート、第３図（ａ）〜（ｄ）は
第１図の自動焦点合わせ動作原理の説明図、第４図は本
発明による自動焦点機能付き画像処理装置の他の実施例
を示す構成図、第５図は第４図の特定物体に焦点を合わ
す方法の説明図、第６図は第４図の特定対象物に焦点を
合わす処理手順のフローチャート、第７図は第６図の特
定物体を見出すための処理手順のフローチャート、第８
図は第７図の特定対象物の抽出処理手順の一例のフロー
チャート、第９図は第７図の特定対象物の抽出処理手順
の他の例のフローチャート、第１０図は第６図の特定対
象物に対して正確に焦点を合わすための処理手順のフロ
ーチャート、第１１図（ａ）、　（ｂ）は従来のカメラ
の自動焦点合わせ方法の一例を示す原理図、第１２図は
従来のカメラの自動焦点合わせ方法の他の例を示す原理
図である。 １・・・対象物、２・・・映像系、３・・・撮像カメラ
、４・・・移動機構、５・・・移動機構を含む映像系、
６・・・画像処理装置、７・・・コントローラ、８・・
・２次元画像微分機構、９・・・２値化機構、ｌＯ・・
・ヒストグラム演算（面積計算）機構、１１・・・メモ
リ、　１２・・・画像メモリ、１３・・・画像処理装置
、１４・・・２次元画像微分回路、１５・・・２値化回
路、１６・・・面積回路、１７・・・レジスタ、１８・
・・パイプライン。 第２図 代理人弁理士　　秋　　本　　正　　実第 図 上町い 一一一−ん 弔 図 第 図 第 図 第 図 第 図 （ａ） （ｂ） し・）トめ外れ堂 第 図 ＣＣＤ面

Claims (1)

1. 【特許請求の範囲】 １、対象物を映像系を介して撮像する撮像カメラと、該
   撮像画像の微分処理手段と、該微分画像の２値化処理手
   段と、該２値画像の面積計測手段と、該計測面積が最大
   値となるように上記映像系の位置調整を行い自動焦点合
   わせする手段とを具備する自動焦点機能付き画像処理装
   置。 ２、上記自動焦点合わせした後の上記撮像画像に基づき
   上記対象物に対する画像処理を行う手段を具備する請求
   項１記載の自動焦点機能付き画像処理装置。 ３、上記各手段を具備してロボットシステムに使用する
   請求項１および請求項２記載の自動焦点機能付き画像処
   理装置。 ４、上記撮像カメラの視野の中から対象物を特定する手
   段と、該特定対象物に対して自動焦点合わせを行う上記
   各手段とを具備して、インテリジェント視覚機能付きロ
   ボットシステムに使用する請求項１または請求項２記載
   の自動焦点機能付き画像処理装置。