JPH0260377A - 産業又は軍事用ビデオカメラの自動焦点調節 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野］ この発明は、光学技術、電子技術及び画像処理技術の領
域に属する。この発明は、ビデオカメラによって、少な
くとも一個の操作装置が制御され、ビデオカメラを対象
物体に対し焦点の自動受動的調節装置と、操作装置を制
御するために使用されるビデオ画像の焦点合わせを自動
的に最適化する方法に関する。特に、ビデオカメラは産
業ロボットのために使用されているか、あるいはＦＬＩ
Ｒカメラの画像は自動目標追跡装置の画像制御ユニット
（所謂、ビデオトラッカー）のために使用される。ＦＬ
ＩＲカメラとしては、熱線に感じる赤外線カメラのこと
である。

〔従来の技術］ 画像のピント合わせ（焦点合わせ）を行う自動装置は非
常に良く知られている。能動的及び受動的焦点合わせ方
法に区別される。

第一の方法では、カメラから信号、例えば超音波ビーム
又は赤外線が出射され、対象物体から反射した信号が受
信される。超音波を使用する場合、出射した信号とエコ
ーの時間差から、対象物体とカメラの間の間隔（物体距
離）を検出することができる。赤外測定では、反射した
信号はカメラの出射器の横の画像幅を決める。物体距離
と画像幅の間の関数関係に基づき焦点調節が行われる。

能動的測定であるこの方法は、素人に相応しいく、経費
も制限されてい実現できる。産業上の利用では、他の干
渉源による反射のみだれ問題になる。

軍事領域では、どんな能動的目標測定も迷彩のため真先
に拒絶される。

第二の方法では、焦点の状態に関する情報が一定の判定
基準に基づき撮像した画像から直接読み出される。対物
レンズの調節は、焦点基準に相当する最適値が得られる
まで修正される。

光学結像理論の観点から、焦点基準は所謂空間周波数解
析に基づくことが知られている。この解析は、単色で平
行（時間及び空間的にコヒーレント）な光線で照らされ
た画像をフーリエ変換する集束レンズの特性に基づく。

この被フーリエ変換体、所謂空間周波数画像は、結像レ
ンズの焦点面上にあり、照射された画像構造の解析結果
に相当する。元の物体の粗い構造は、低い空間周波数に
反映され、微細な構造は高い空間周波数に反映される。

最後の微細な構造は、焦点が良（合った時のみ存在する
。何故なら、微細な構造はシャープに結像した場合にの
み再現されるからである。従って、高い空間周波数が生
じることが、対物レンズの最適焦点合わせに利用できる
判定基準となる。

もちろん、実際にはこの様な方法を使用する場合、問題
に遭遇する。何故なら、一方で対象物体は殆ど例外なく
白色（単色でない）光で照射されるため、高い空間周波
数の混合が行われ、他方で焦点面上での光強度分布の測
定を非常な高精度で行う必要があるためである。

それ故、光カメラの場合の焦点合わせは往々他の基準で
行われる。例えば、シャープに調節する必要のある画像
はＣＣＤ画像センサのアレー上の二つのレンズによって
結像される。両方のレンズに相当する間隔から、画像構
造は像面に対する焦点位置に閉し込められている。詳細
な情報は、この光カメラのデータ表から引き出せる。

電子画像再生部を備えたカメラ、例えばビデオカメラの
場合、既に述べた様に、ＣＣＤ画像解析方法が非常に頻
繁に採用されている。何故なら、能動的方法（超音波法
及び赤外法）には信頼性が少ないからである。特に、傾
いた対象物体面及びガラス板を通過する赤外線の反射の
乱れを述べておく必要がある。

産業分野で使用しないカメラの自動焦点合わせ装置は、
何よりも使用者に受け入れ易いと言う意味で取扱が容易
である必要がある。その他の点では余り問題ではない。

産業分野、例えばロボット又は軍事目的に導入されてい
るカメラの場合状況は異なる。何れの場合でも、焦点合
わせそのものに利用することが操作者に要求されていな
い、何故なら、一方で他の問題が優先され、他方で急激
に移動する対象物体の場合焦点合わせを行う時間がない
からである。それ故、焦点合わせの過程を自動化する苦
労が益々生じる。それにも係わらず、この問題を完全に
満足させる解決法とその装置がないことが知られている
。

どの焦点合わせ方法でも重要な前提は、ピントの合って
いない背景の前でシャープに調節すべき対象物体を認識
することである。この問題は、非産業分野、又は軍用分
野では重要ではない。何故なら、そこでは画像の焦点合
わせ範囲を検査装置を用いて操作者が決めるからである
。

産業ロボットのビデオカメラ画像中には、移動する対象
物体、例えば加工品又は工具を、背景に対して時として
殆ど、又は大抵認めることができないことも考えられる
。この問題は、特に絶えず変化する背景の前で移動する
軍事目標の場合、に生じる。何れの場合でも、対象物体
の認識は大きな意義が伴う。しかし、ここではこの問題
に詳しく立ち入らない。その理由は、ビデオ画像の輝度
及びコントラストの最適化は他の特許出願の内容である
からである。

（発明の課題〕 この発明の課題は、例えば産業ロボットの制御部に関連
するビデオカメラの場合、又は目標追跡プラットホーム
によって目標を追跡する場合、常時対象物体を最適にピ
ント合わせする方法とその装置を提供することにある。

〔課題の解決〕

」二記の課題は、この発明により、ビデオカメラによっ
て、少なくとも一個の操作装置が制御され、ビデオカメ
ラを対象物体に対する自動受動的焦点調節装置であって
、電算機に連結する操作装置と、電算機、カメラ及び焦
点合わせユニットに連結する画像制御ユニットとを具備
し、前記焦点合わせユニットは対象物体の画像を取り囲
む枠の内部のビデオ画像の画素の平均輝度を算出し、こ
の調節装置は制御信号をビデオカメラに転送するためこ
のビデオカメラに連結し、前記制御信号は対象を取り囲
む枠内のビデオ画像の画素の平均輝度で修正される装置
と、ビデオカメラの受動焦点合わせ装置の自動制御方法
であって、ビデオカメラの像面に対象物体の画像受け入
れる枠の視野を絞り、前記枠内のビデオ画像の平均輝度
が焦点合わせ装置を制御するために使用される方法とに
よって解決されている。上記処置は、リアルタイム画像
評価による自動焦点合わせを利用することである。

この焦点合わせは所定の限定された画像範囲で光強度の
平均値を測定し、強度の極大値を焦点調節の関数にして
調べることに基づいている。

〔実施例］ 以下にこの発明による装置の構造を図面に基づき説明す
る。

第１図には、この発明による方法を利用する装置の原理
構造がブロック図にして示しである。例えば、産業ロボ
ント２１又は全自動制御工作機械の光学監視装置が取り
扱われている。対象物体７、例えば加工品７１、又は工
具７２の捕捉と処理がビデオカメラ１で監視される。

この装置は実質上対象物体７の画像を撮像するビデオカ
メラｌと、画像情報に対応する電気アナログ信号を伝送
する画像制御ユニットとから構成されている。この画像
制御ユニットでは、画像情報が評価される。その場合、
ビデオカメラ１を最適に動作させる信号がビデオカメラ
に直接、又は佳点合わせ制御部５を介して導入される。

画像制御ユニット３の処理画像情報は、主電算機４によ
って受信され、制御信号に変換される。これ等の信号は
、例えばサーボ系を介して制御可能な操作装置２の運動
系列に変換される。更に、主電算機４は装置、例えばプ
ラットホーム２２の全運動経過を制御する。この装置は
、ビデオカメラ１に機械的に強固に連結して、このビデ
オカメラ１を対象物体７に追従させる。

画像制御ユニット３に連結するモニター６は、】　２ 対象物体７を目視で監視させることを可能にする。

更に、同様に画像制御ユニット３に連結する操作装置３
１は対象物体７を手動で割り振ることを可能にする。

画像制御ユニット３、焦点合わせ制御部５及び電算機４
は、例えば一つのユニットに統合させることができる。

画像制御ユニット３の原理構成は第２図に示しである。

このユニットは画像評価ユニット３３、対象物体輝度制
御ユニット３４及びＩ１０プロセフす３５で構成されて
いる。

ビデオカメラ１のアナログビデオ信号は、先ずＡ／Ｄ変
換器によってデジタル化される。つまり、個々の画素の
強度に関する情報を与える数の列に変換される。このデ
ジタル画像情報は、次いで画像評価ユニット３３に導入
される。そこで、デジタル化したビデオ信号の解釈が行
われる。必要であれば、所謂グレー値ヒストグラム解析
に基づき対象物体７と背景８を分離し、その輝度に関す
る情報を対象物体輝度制御ユニット３４に導入する。

このユニットは、同時に出願した他の特許明細書に詳し
く説明しであるように、制御信号を発生させる。この信
号はＩ１０プロセッサ３５を介してビデオカメラ１を制
御して、結像中で対象物体７を輝度に関して背景８から
出来る限り良好に際立たせる。

この発明の要旨であるビデオカメラ１の焦点合わせは、
焦点合わせ制御部５中で処理される。これを第１図の見
取図と第３図の場所的な画像輝度分布に基づき説明する
。

既に述べたように、ビデオカメラ１を焦点合わせに使用
する場合、受動的な焦点合わせしか問題にされない。

この発明による設計思想は、ビデオ画像６１の部分領域
の平均輝度１３を対象物体７に関するビデオカメラ１の
焦点合わせ状態の目安として使用することに基づいてい
る。この部分領域は、対象物体７の画像６２を取り囲む
枠６３によって定義される。

前記枠６３は、例えば操作者によって制御棒の形にした
操作部３１を用いて設定できる。その場合、この操作者
は前記枠６３の位置とその大きさも決めることができる
。操作者の役目は、枠を出来る限り小さくするが対象物
体の画像６２を完全に取り囲んで指定することにある。

枠６３を手動で決める外に、役目が対象物体７の認識と
最適表示にある画像制御ユニット３によって前記枠を自
動的に検出できる可能性もある。

平均輝度１３は、枠６３内にある対象物体の画素の輝度
の平均から生しる。

枠６３内の対象物体の画素６４の平均輝度１３を最適化
に基づく焦点合わせ原理は、第３図から理解できる。焦
点合わせが不十分な場合、第３ａ図から理解できるよう
に、対象物体の輝度分布１１は背景の輝度分布１２から
あまり際立っていない。何故なら、対象物体７の画像６
２は結像のシャープさのため正確に際だっていないので
、対象物体の画素６４の光強度は対象物体の画像６２の
周囲に繋がっているからである。焦点合わせが良い場合
、第３ｂ図が示すように、画素６４の対象物体７の光強
度はシャープに仕切られた物体の輪郭内に集中する。対
象物体の画像６２の点６４に帰せられる平均輝度１３は
、焦点合わせの場合、対象物体の画像６２の輝度が背景
８の輝度に比べて大きいか、あるいはその逆であるかに
応じて、極値、つまり最大値又は最小値を占める。従っ
て、対象物体の画像６２を取り巻く枠６３内の平均輝度
１３も極値を占める。焦点が変わると、背景の輝度分布
も変わる。しかし、背景に焦点を合わせないので、それ
に対応する輝度変化の影をは無視できほど小さい。

説明した焦点合わせの過程は、デジタル方式で行われる
。しかし、原理的には、この問題と、場合によっては画
像の輝度制御もデジタル処理するのでなく、ビデオカメ
ラ１のアナログ信号を処理して直接行うことも考えられ
る。この可能性は自動焦点合わせ部をビデオカメラ中に
組み込むときに有利である。

焦点合わせを行う前に、対象物体７が背景８に対して輝
度及び画像コントラスト（ビデオカメラ１のゲイン・オ
フセット制御）を選択して出来る限り良好に分離せるこ
とが前提となる。この場合、対象物体７と背景８の結像
はモニター６の画面６１を見る操作者の目で最適に合わ
せるのでなく、むしろ対象物体７の自動認識性のために
最適化される。焦点合わせ自体の期間中、カメラのゲイ
ン・オフセット制御部では何も操作が行われない。

何故なら、両方の制御系、つまり焦点合わせ制御部とゲ
イン・オフセット制御部の間では、干渉が生じないから
である。

焦点合わせの時間経過は、第４図に基づき説明される。

焦点合わせの間、命令発生器５３がら周期的な順序で変
わり、目標の動きを計算した入力データが作成される。

このデータの存在は、テストポイント５４で制御される
。存在しない場合、焦点合わせのサイクルは再び離れる
。それ以外では、テストポイント５５でより良い焦点合
わせに導く焦点調節の方向が既に設定されているが否が
が検査される。未だ充分でない場合、方向決定部５７に
よて焦点データの僅かな変化により、命令発生器から供
給されたデータが前記焦点判定条件の意味で焦点合わせ
の改善に通じているか否かを検査する。完全な場合には
、焦点合わせサイクルは直く離れるが、他の場合では命
令発生器データがそれに応して変更される。今度は焦点
合わせを改善する方向に導くデータが特定されているの
で、次の期間ではテストポイント５５を直ぐ通過する。

テストポイント５６では、次いで焦点合わせが前のサイ
クルの焦点合わせに比べて相当、つまり所定の限界値外
にある値はど変わったどうか検査される。変わっていな
い場合、焦点合わせ過程が焦点合わせ停止部５９の表示
によって中断される。

他の場合には、焦点合わせサイクルを直ちに離れる。

画像評価ユニット３３は、平均輝度１３の外に、Ｉ１０
プロセッサ３５にビデオカメラ１の画像範囲内の対象物
体の位置に関する出力を伝達する。

この情報は、前記位置出力に基づき産業ロボットの動き
を制御する主電算機４に導入される。その外、ビデオカ
メラ１が対象物体７を追跡する必要がある。このため、
ビデオカメラ１を固定したプラットホーム２２が主電算
機４の制御信号によって制御される。

第５図の図面は、この方法を目標追跡装置に応用したも
のを示している。この装置は、ビデオカメラ１、例えば
ＦＬＴＲカメラに機械的に連結している、方位方向に傾
いて動くプラットホーム２２と前記画像制御ユニット３
から成る。この画像制御ユニットはカメラ１と主電算機
４の下にプラットホーム２２の位置も、目標追跡カメラ
１中で発生したビデオ信号によって監視する。画像制御
ユニット３に連結しているモニター６は操作者おして目
標の目視追跡を可能にする。

【図面の簡単な説明】

第１図は、ビデオカメラ、画像評価ユニット及び焦点合
わせ制御装置から成る産業ロボットの例にしたこの発明
による方法を実行する装置のブロック図である。 第２図は、自動画像制御ユニットのブロック図を示す。 第３ａ図と第３ｂ図は、それぞれ対象物体に焦点合わせ
する前及び後での像面の座標に沿った輝度分布を示す。 第４図は、ビデオカメラの自動焦点合わせ制御装置の情
報の流れのブロック図である。 第５図は、軍用目標を追跡するこの発明による方法を使
用する装置のブロック図である。 図中引用記号： １・・・ビデオカメラ（ＦＬＩＲカメラ）１１・・対象
物体の輝度分布、 １２・・背景の輝度分布、 １３・・平均輝度、 ２・・・操作装置、 ２１・　・産業ロボット、 ２２・・プラットホーム、 ３・・・画像制御ユニット、 ３１・・操作部、 ３３・・画像評価ユニット、 ３４・・対象物体輝度制御ユニット、 ３５・・Ｉ１０プロセッサ、 ４　・　・ ５　・　・　・ ５３　・ ５４　・ ５５　・ ５６　・ ５７　・ ５９　・ ６　・　・　・ ７　・　・　・ ７１　・ ７２　・ ８　・　・　・ 主電算機、 焦点合わせ制御部、 ・命令発生器、 ・テストポイント、 ・テストポイント、 ・テストポイント、 ・方向決定部、 ・焦点ストップ、 モニター ・ビデオ画像、 ・全対象物体画像、 ・枠、 対象物体、 ・加工品、 ・工具、 ・目標、 背景。

Claims (1)

1. 【特許請求の範囲】 １、ビデオカメラによって、少なくとも一個の操作装置
   が制御され、ビデオカメラを対象物体に対する自動受動
   的焦点調節装置において、電算機（４）に連結する操作
   装置（２）と、電算機、カメラ及び焦点合わせユニット
   （５）に連結する画像制御ユニット（３）とを具備し、
   前記焦点合わせユニットは対象物体の画像（６２）を取
   り囲む枠（６３）の内部のビデオ画像（６１）の画素の
   平均輝度（１１）を算出し、この調節装置は制御信号を
   ビデオカメラ（１）に転送するためこのビデオカメラに
   連結し、前記制御信号は対象（６２）を取り囲む枠内の
   ビデオ画像（６１）の画素の平均輝度（１１）で修正さ
   れることを特徴とする装置。 ２、画面（６１）上で枠（６３）の位置を設定させるこ
   とのできる第一手段が具備してあることを特徴とする請
   求項１記載の装置。 ３、前記手段は、画面（６１）上で枠（６３）の位置を
   手動設定させることのできる操作部（３１）であること
   を特徴とする請求項２記載の装置。 ４、枠（６３）の大きさを画面上で設定する第二手段が
   具備されていることを特徴とする請求項２記載の装置。 ５、前記手段は、枠（６３）の大きさを画面（６１）上
   で手動設定させる操作部（３１）であることを特徴とす
   る請求項４記載の装置。 ６、画面（６１）上の枠（６３）は、画像制御ユニット
   （３）によって自動設定できることを特徴とする請求項
   １記載の装置。 ７、焦点合わせ制御ユニット（５）は、制御信号の変化
   を受け取るためビデオカメラ（１）の焦点合わせ装置に
   連結し、この焦点合わせ装置は、対象物体（６２）を取
   り囲む枠内のビデオ画像（６１）の画素の平均輝度（１
   １）が設定してある限界値内に維持されていない限り動
   作することを特徴とする請求項１記載の装置。 ８、設定した限界値は、最大値であることを特徴とする
   請求項７記載の装置。 ９、制御可能な操作装置（２）は、対象物体（７）又は
   目標（７３）の方向に向けることのできる目標追跡プラ
   ットホーム（２２）であることを特徴とする請求項１記
   載の装置。１０、ビデオカメラ（１）はＦＬＩＲカメラ
   （ｆｏｒｗａｒｄｌｏｏｋｉｎｇｉｎｆｒａｒｅｄｃａ
   ｍｅｒａ）であることを特徴とする請求項１〜７のいず
   れか１項に記載の装置。 １１、ビデオカメラの受動焦点合わせ装置の自動制御方
   法において、ビデオカメラの像面に対象物体の画像受け
   入れる枠の視野を絞り、前記枠内のビデオ画像の平均輝
   度が焦点合わせ装置を制御するために使用されることを
   特徴とする方法。 １２、ビデオカメラの焦点は、対象物体の画像を含む視
   野を絞った枠内のビデオ画像の平均輝度を最適化して調
   節されることを特徴とする請求項１１記載の方法。 １３、ビデオカメラの焦点は、枠内の対象物体のビデオ
   画像の平均輝度を最大にして調節されることを特徴とす
   る請求項１２記載の方法。 １４、枠の位置は、画面の上で手動により設定されるこ
   とを特徴とする請求項１１〜１３のいずれか１項に記載
   の方法。 １５、枠の位置は、画面の上で自動により設定されるこ
   とを特徴とする請求項１１〜１３のいずれか１項に記載
   の方法。 １６、枠の大きさは、画面の上で手動により設定される
   ことを特徴とする請求項１１〜１４のいずれか１項に記
   載の方法。 １７、枠の大きさは、画面の上で自動により設定される
   ことを特徴とする請求項１１〜１３及び１５のいずれか
   １項に記載の方法。 １８、対象物体と背景のコントラストと焦点合わせは、
   交互に最適にされることを特徴とする請求項１〜１７の
   いずれか１項に記載の方法。 １９、対象物体と背景のコントラストと焦点合わせは、
   同時に最適にされることを特徴とする請求項１〜１７の
   いずれか１項に記載の方法。 ２０、産業ロボットに連結し、加工品又は工具を光で撮
   像するビデオカメラの焦点合わせのために特許請求の範
   囲第１１〜１９項のいずれか１項の方法を使用すること
   。 ２１、移動するプラットホームに連結し、目標を光で撮
   像するビデオカメラの焦点合わせのために特許請求の範
   囲第１１〜１９項のいずれか１項の方法を使用すること
   。