JPH1153547A

JPH1153547A - 認識対象物体の物体領域抽出装置および物体領域抽出方法

Info

Publication number: JPH1153547A
Application number: JP20672297A
Authority: JP
Inventors: Shigeru Tamura; 尉田村; Hisashi Kazama; 久風間
Original assignee: Toshiba Corp; Tokyo Electric Power Co Inc
Current assignee: Toshiba Corp; Tokyo Electric Power Co Holdings Inc
Priority date: 1997-07-31
Filing date: 1997-07-31
Publication date: 1999-02-26

Abstract

(57)【要約】【課題】物体表面の模様または形状的特徴に乏しい認識
対象物体が屋外環境のような照明環境の変化が大きな環
境下にある場合に、画像中からその認識対象物体の存在
領域を抽出できるようにすること。【解決手段】参照辞書作成部１は認識対象物体の画像デ
ータ(DT)から当該物体の各位置における画像特徴量を抽
出する。そして様々な照明環境下で得た画像から画像特
徴量を抽出することにより画像特徴量の分布を作成し、
これを照合用辞書データ(DT)として保持する。物体領域
検出部２は認識対象物体を含む処理対象画像を所定サイ
ズに切り出し、この切り出した部分画像とDTを照合して
当該領域が認識対象物体に属する確率を計算すると共に
確率が高い領域を物体領域として処理対象画像から抽出
する。分布の情報を利用することで照明環境の変化を含
んだDTとし、処理対象画像から切り出した部分画像とDT
とを照合して当該領域が認識対象物体に属する確率を計
算し、確率が高い領域を物体領域として抽出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、任意の方向を向い
た３次元物体の位置（領域）を２次元画像中から検出す
る物体領域抽出装置に関し、例えば、自律型の作業ロボ
ットが自動的に対象となる物体を見つけ出し、それを掴
み上げるなどの作業を行うことを可能にする認識対象物
体の物体領域抽出装置及び物体領域抽出方法に関する。

【０００２】

【従来の技術】ロボット技術の発展に伴い、産業分野の
みならず、様々な分野でロボットが活躍するようになっ
た。そして、近年では、高所など危険な環境下における
設備の部品交換、保守などの作業を、ロボットに代行さ
せる研究が活発に行われている。

【０００３】ところで、このような危険な環境下におけ
る設備の部品交換、保守などの作業を行うためのロボッ
ト（危険環境下用の作業ロボット）は、ロボットの動作
制御を人間の手による遠隔操作により行う方式が採られ
ているが、人手を要し、かつ、操作に熟練を要する等の
扱いの面で課題を抱えることから、当該作業ロボットに
ＴＶカメラを搭載し、自律的に対象物体を認識し、作業
を行うことができるようにする自律型作業ロボットの実
現が強く望まれている。

【０００４】そして、自律型作業ロボットの実現のため
には、ロボットに「視覚機能」を搭載することが不可欠
である。つまり、ロボット自身が作業対象物体の位置や
姿勢を自律的に認識できなければならない。

【０００５】ロボット自身に、作業対象物体の位置と姿
勢の認識を自律的に行わせるようにするためには、以下
の第１及び第２の、２つの処理段階が必要となる。すな
わち、第１の処理段階は、対象の識別である。

【０００６】これは、作業空間の中から、どこに位置と
姿勢を測定すべき対象があるのかを認識する処理であ
る。そして、第２の処理段階は、対象の位置と状態の計
測であり、認識した物体の３次元的な位置と姿勢を計測
する処理である。

【０００７】作業空間は３次元空間であり、作業空間上
での対象物の位置と姿勢は３次元的に把握する必要があ
る。そして、物体の３次元的な位置と姿勢の計測には、
レーザレンジファインダを用いた方法やステレオ面像を
用いた方法、対象物体のモデルを用いて単眼カメラで認
識する方法などが研究されている。

【０００８】一方、作業空間の中から測定対象を認識す
るためには、簡便性、安全性などの面からカメラにより
作業空間を撮影し、画像処理によって測定対象を認識す
ることが望ましい。すなわち、画像中から認識対象物体
の存在領域を画像処理によって抽出する手段が必要にな
る。

【０００９】この認識対象物体の存在領域を画像処理に
よって抽出するための手段としては、従来より、いくつ
かの手法が知られている。

【００１０】例えば、まず顔画像として切り出す対象を
事前に辞書画像として登録し、続いて画像中の各領域と
辞書画像を照合して切り出しを行う手法である。この手
法は、例えば、「特開平８−８３３４１号公報：小池秀
樹：物体領域抽出方法とその装置及び物体認識装置」、
「特開平５−２２５３４４号公報：赤松茂、他：物体の
画像認識処理方法」にその詳細が示されている。

【００１１】しかしながら、これらはいずれも、人物顔
など、切り出す画像にいくらかの（特徴的な）模様が含
まれている対象を、比較的単調な背景から切り出すこと
を想定している。

【００１２】これに対して、高所など危険環境下の作業
ロボットとして、例えば電柱上の配電構造物に対して作
業するロボットを考えてみると、認識すべき作業対象
は、電柱や、腕金、碍子、ケーブル、など模様としては
極めて単調な物体である。また、背景も配電構造物や、
ビルの壁など認識対象の配電構造物と同様に模様の乏し
い物体が多い。

【００１３】そして、屋外環境で想定される背景の物体
は、実験室内の画像のように、決まった物体が撮影され
るばかりではなく、様々な物体が撮影される可能性があ
る。つまり、複数の物体が複雑にかかわりあった背景で
あっても、あるいは単調な背景（例えば全面が青空の背
景）であっても動作する必要がある。

【００１４】一方、認識対象物体を人物顔に限らず一般
的な剛体として想定した認識手法も提案されている。例
えば、「特開平８−１５３１９８号：村瀬洋：画像切り
出し認識装置」がある。これは、様々な方向から認識対
象物体を撮影し固有ベクトルを算出し、固有ベクトルの
存在領域を多様体に変換してモデルを記憶するが、ここ
でも想定している認識対象は形状的あるいは表面の模様
が特徴的な（形状的特徴や表面の模様が乏しくない）物
体である。

【００１５】また、これらいずれの手法でも、模様の微
妙な変化（顔の表情の変化）や、視線方向による物体の
見え方の変化については想定されているが、照明環境の
変化については考慮されていない。

【００１６】物体の見え方は、カメラと物体の位置およ
び姿勢の関係だけでなく、物体を照射する照明の強度や
位置によっても様々に変化する。例えば、物体に対して
照明の位置がカメラの右側にある場合物体の右側が明る
く撮影され、物体に対して左側に照明がある場合は物体
の左側が明るく撮影される。

【００１７】また、照明の強度によっても物体の見え方
は変化する。例えば、物体の形状に凹凸がある場合、そ
の凹凸に起因する陰影（自己陰影）が物体の表面に現わ
れるが、その陰影の濃さ（影の部分と明るい部分のコン
トラストの差）にも変化が現われる。

【００１８】ところが、従来の画像処理を用いた物体認
識手法では、これらの見え方の変化に対しては重視する
ことはなかった。そして、従来手法では、このような変
化に対して、平均画像を計算し、その平均画像と入力画
像を照合し、認識を行うこととなる。

【００１９】これは、従来手法が想定する画像撮影環境
は実験室内の環境であることに起因する。すなわち、従
来手法で想定する画像撮影環境は室内環境であり、従っ
て、屋外環境のように、照明変化による物体の見え方の
変化はそれほど問題にならず、物体の見え方自体に差が
生じないために平均画像で十分な識別能力が発揮でき
た。

【００２０】また、従来手法を屋外環境に適用した場合
も、物体にそれなりの特徴的な模様があったり、形状的
な特徴がある場合には、その模様や形状的な特徴を注目
することにより物体認識が可能な場合があったと考えら
れる。

【００２１】しかし、前記配電構造物の作業ロボットで
は、物体認識は屋外環境で行わなければならない。屋外
環境では照明の光源が太陽であるため、その光の強度は
室内と桁違いに大きい。したがって自己陰影などによる
見え方の変化は無視できない要素である。

【００２２】特に、表面の模様や形状的な特徴に乏しい
物体は、表面の明るさの分布だけ用いて物体と背景の識
別をしなければならない。光の変化に対する様々な見え
方のバリエーションを平均画像という一つの画像サンプ
ルで代表させてしまっては、十分な識別能力をもつ物体
領域抽出装置を構成することができない。

【００２３】

【発明が解決しようとする課題】自律型作業ロボットの
実現のためには、ロボットに「視覚機能」を搭載するこ
とが不可欠であり、そのためには画像処理を用いた物体
領域抽出の技術が必要がである。従来の物体抽出技術と
してはては、種々のものが知られているが、いずれも屋
内環境で捉えた対象物の切り出しを想定した手法であ
る。

【００２４】しかし、自律型の作業ロボットは、屋外環
境で使用するためのものであり、屋外環境では室内環境
と違って、画像処理上における技術的な課題が多い。そ
の一つは、物体の見え方の変化である。

【００２５】物体の見え方は、カメラと物体の位置およ
び姿勢の関係だけでなく、物体を照射する照明の強度や
位置によっても様々に変化する。例えば、物体に対して
照明の位置がカメラの右側にある場合物体の右側が明る
く撮影され、物体に対して左側に照明がある場合は物体
の左側が明るく撮影される。

【００２６】また、照明の強度によっても物体の見え方
は変化する。例えば、物体の形状に凹凸がある場合、そ
の凹凸に起因する陰影（自己陰影）が物体の表面に現わ
れるが、その陰影の濃さ（影の部分と明るい部分のコン
トラストの差）にも変化が現われる。

【００２７】ところが、従来の画像処理を用いた物体認
識手法では、これらの見え方の変化に対しては重視する
ことはなく、このような変化に対して、平均画像を計算
し、その平均画像と入力画像を照合し、認識を行うよう
にしていた。

【００２８】これは、従来手法が想定する画像撮影環境
は、室内環境であり、従って、屋外環境のように、照明
変化による物体の見え方の変化はそれほど問題になら
ず、物体の見え方自体に差が生じないためであった。

【００２９】もちろん、従来手法を屋外環境に適用した
場合も、物体にそれなりの特徴的な模様があったり、形
状的な特徴がある場合には、その模様や形状的な特徴を
注目することにより物体認識が可能な場合がある。

【００３０】しかし、本発明が対象とする前記配電構造
物の作業ロボットでは、認識対象が配電構造物であり、
この配電構造物は表面の模様や形状的な特徴に乏しい。
そして、物体認識は屋外環境で行わなければならない。
屋外環境では照明の光源が太陽であるため、その光の強
度は室内と桁違いに大きい。従って、自己陰影などによ
る見え方の変化は無視できない要素である。

【００３１】このような表面の模様や物体の形状の変化
の乏しい対象物の場合、表面の明るさの分布だけ用いて
物体と背景の識別をしなければならないが、光の変化に
対する様々な見え方のバリエーションを平均画像という
一つの画像サンプルで代表させてしまっては、十分な識
別能力を持つ物体領域抽出装置を構成することができな
い。

【００３２】そこで、この発明の目的とするところは、
物体表面の模様または形状的な特徴が乏しい物体に対し
て、特に屋外環境のように照明条件が変化するために見
え方が変化するような環境において、画像中からその存
在領域を抽出することができるようにした認識対象物体
の物体領域抽出装置および物体領域抽出方法を提供する
ことにある。

【００３３】

【課題を解決するための手段】上記目的を達成するため
に本発明は、認識対象物体を切り出した画像に対して各
位置の輝度情報だけでなく周囲画素との分散値を特徴量
として抽出することで、物体表面の特徴量を多次元ベク
トル化し、さらに、様々な照明環境下で認識対象物体を
撮影し、照明変化による各位置の特徴量の変化のし易さ
を、特徴量輝度ヒストグラムとして記憶し、この多次元
ヒストグラムの統計量を利用することで、注目する領域
が対象物体と背景のどちらに属するかを判別することよ
り、入力画像から認識対象物体の存在領域を抽出する。

【００３４】具体的には、物体を撮影した２次元画像を
取り込み、得られた画像データから物体の領域を抽出
し、抽出した物体の領域の画像データ値から画像特徴量
を抽出することを、様々な照明環境で撮影した２次元画
像に対して行うことで、前記物体の各位置に対する画像
特徴量の分布を作成し、前記画像特徴量の分布を前記物
体の辞書データとして記憶する参照辞書作成部と、複数
の物体が含まれる２次元画像を取り込み得られた画像デ
ータから照合領域画像を切り出し、この照合領域画像を
前記辞書データにもとづいて照合処理を施して記憶した
物体である確率を計算し、当該領域が認識対象物体に属
する確率が高い領域を物体領域として切り出す物体領域
検出部とを具備して構成したものであり、物体を撮影し
た２次元画像を取り込み、得られた画像データから物体
の領域を抽出し、抽出した物体の領域の画像データ値か
ら画像特徴量を抽出することを、様々な照明環境で撮影
した２次元画像に対して行うことで、前記物体の各位置
に対する画像特徴量の分布を作成し、前記画像特徴量の
分布を前記物体の辞書データとして記憶する事により、
モデル情報を用意し、物体領域検出対象を含む処理対象
の画像を処理するに当たっては、当該処理対象の２次元
画像を取り込んで得られた画像データから照合領域画像
を切り出し、この照合領域画像を前記辞書データにもと
づいて照合処理を施して、辞書に記憶した物体であるこ
との確率を計算し、当該領域が認識対象物体に属する確
率が高い領域を物体領域として切り出すようにしたもの
である。

【００３５】表面の模様や物体の形状の変化の乏しい対
象物の場合、画像中からその対象物を認識するには、画
像における表面の明るさの分布だけを手掛かりに物体と
背景の識別をしなければならないが、屋外の設置物であ
る場合に、光の変化に対する影響が大きく、事実上、困
難であった。しかし、この発明によれば、光の変化に対
する対象物の様々な画像を実際に取得し、辞書登録し
て、物体領域検出対象を含む処理対象の画像を処理する
に当たっては、当該処理対象の２次元画像を取り込んで
得られた画像データから照合領域画像を切り出し、この
照合領域画像を前記辞書データにもとづいて照合処理を
施し、辞書に記憶した物体であることの確率を計算し、
当該領域が認識対象物体に属する確率が高い領域を物体
領域として切り出すようにしたから、物体表面の模様ま
たは形状的な特徴が乏しい物体に対して、特に屋外環境
のように照明条件が変化するために見え方が変化するよ
うな環境においても、画像中からその存在領域を抽出す
ることができるようになる。従って、配電構造物などを
対象とする自律作業ロボットにおいても、対象構造物の
位置や姿勢を認識できる視覚システムを実現することが
可能になる。

【００３６】

【発明の実施の形態】以下、図面を用いて本発明の実施
の形態を説明する。物体表面の模様または形状的特徴に
乏しい認識対象物体が屋外環境のような照明環境の変化
が大きな環境下にある場合に、その認識対象物体を捉え
た画像中からその認識対象物体の存在領域を抽出できる
ようにするため、本発明は次のようにする。すなわち、
認識対象物体を撮影した画像データから物体の各位置に
おける画像特徴量を抽出する。様々やな照明環境で撮影
した画像から画像特徴量を抽出することにより画像特徴
量の分布を作成し、これを照合用辞書データとする。分
布の情報を利用することで照明環境の変化を含んだ照合
辞書データとなる。このようにして照合辞書データを用
意し、この辞書データを用いて処理対象画像から認識対
象物体の画像の領域を抽出する。この抽出は、まずはじ
めに処理対象の画像について、スリット状に画像を切り
出し、この切り出した部分画像と照合用辞書データを照
合して、当該領域が認識対象物体に属する確率を計算す
る。確率が高い領域を物体領域として、この部分を処理
対象画像から抽出する。

【００３７】詳細を説明する。（具体例１）図１は本発明の一例としての物体領域抽出
装置の構成を示すブロック図である。同図に示す物体領
域抽出装置は、参照辞書作成部１と物体領域検出部２か
ら構成される。

【００３８】参照辞書作成部１は、認識対象物体を様々
な環境で撮影した２次元画像から物体領域の認識に必要
となる辞書データを作成する装置であり、複数用意され
る。そして、各参照辞書作成部１は、画像入力手段１
１、前処理手段１２、特徴量抽出手段１３、特徴量分布
集積手段１４、参照辞書記憶手段１５で構成される。

【００３９】これらのうち、画像入力手段１１は画像情
報を取り込むためのものであって、撮像装置としてのＴ
Ｖカメラ（ビデオカメラ）とＡ／Ｄコンバータから構成
されるものであり、ＴＶカメラにより対象物を含む２次
元画像を撮影し、これをディジタル化して前処理手段１
２に送信するものである。

【００４０】本発明装置では、太陽光を照明光とする環
境下における認識対象物体の画像認識に適応するため
に、学習画像を用いる。そして、この学習用画像には、
認識対象物体を様々な環境で撮影した多数の画像を当て
る。なお、ここでいう様々な環境とは、物体とカメラの
位置関係の変化だけでなく、物体に対する照明条件（照
明方向やその強度）の変化に対しても含めたバリエーシ
ョンを指す。従って、“物体とカメラの位置関係の変
化”に加え、“物体に対する照明条件（照明方向やその
強度）の変化”に対しても多数の環境を設定する。

【００４１】上記“照明条件”を様々に変化させるにた
めには、認識対象物を、その中心が物体中心になるよう
に設置し、この認識対象物の周囲の様々な位置にそれぞ
れ照明装置を設置し、そのうちの一つ照明装置を選択し
て照明してそのときの画像を撮像するいった具合に、照
明光の位置を変えて照明し、撮影を行う、といったこと
で実現可能である。

【００４２】このような様々な“変化要素”を様々に変
化させた種々の“照明条件”を用意する。また、屋外環
境で照明条件の異なる画像を得るためには、太陽光が直
接照射される位置に物体を設置し、物体を撮影する位置
にカメラを設置し、この位置関係を固定したまま、日の
出から日没まで一定時間間隔で物体を撮影する方法も採
用し得る。この場合は、天気の異なる日も同様に撮影を
行えば、直射光と散乱光の割合の異なる状況で撮影が可
能である。

【００４３】本発明方法を適用する場合は、このような
学習用画像として設定する環境は、実際に認識（物体領
域の抽出）を行う環境に似せて撮影する方が良い。以上
のような方法を用いて、認識が必要となる位置関係や照
明環境に対する様々な学習用画像を撮影する。

【００４４】前処理手段１２は画像入力手段１１を介し
て得られた画像に対して、前処理を施すものであって、
窓関数などを用いて画像から物体の特徴を抽出する領域
を切り出す処理と、切り出したデータの大きさを正規化
する処理の２つを実行するものである。切り出して正規
化された画像を以後の説明では「部分画像」と呼ぶこと
にする。物体を切り出す方法としては、物体の形状に合
わせた形（輪郭）でその内側を切り出す方式の他、円形
状の重み関数を物体の注目点を中心に設定して切り出す
方式や、対象物体の形状に合わせてスリット状の部分画
像を短冊状に連続して切り出す方式などがある。

【００４５】特徴量抽出手段１３は、前記前処理手段１
２によって切り出された部分画像から特徴ベクトルを抽
出するものである。また、特徴量分布集積手段１４は、
前記特徴量抽出手段１３の抽出した特徴ベクトルを分布
として集積する処理を行うものであって、物体の各位置
で特徴ベクトルの分布（ヒストグラム）を作成し、統計
的な特徴量（平均値、中央値、標準偏差、ヒストグラム
の分布形状による分類など）を算出したり、判定したり
するものである。すなわち、特徴量分布集積手段１４
は、特徴量抽出手段１３が抽出した特徴ベクトルを集積
し、統計的な特徴量として、平均値ベクトルと分散共分
散行列を作成すると共に、算出し作成されたデータを参
照辞書記憶手段１５に辞書データとして送信する機能を
有する。

【００４６】参照辞書記憶手段１５は、特徴量分布集積
手段１４の求めた辞書データを記憶するためのものであ
って、例えば、前処理手段１２が切り出す画像の形状が
矩形の場合、この認識対象物のための辞書データは、例
えば図２に示したような情報として記憶される。

【００４７】以上が、画像中の注目すべき物体の領域を
抽出する元となる学習画像の辞書情報を作成する参照辞
書作成部１の構成である。次に、この辞書を用いて実際
の画像から注目すべき認識対象物の領域（画像中の当該
認識対象物の領域）を検出する物体領域検出部２の構成
を説明する。

【００４８】物体領域検出部２は、画像入力手段２１、
注目領域走査手段２２、サイズ変換手段２３、前処理手
段２４、判別手段２５、物体領域判定手段２６からな
る。これらのうち、画像入力手段２１はＴＶカメラ（ビ
デオカメラ）とＡ／Ｄコンバータから構成されるもので
あり、認識対象物体の映った２次元画像を物体領域抽出
のための入力データとして取り込むものである。

【００４９】また、注目領域走査手段２２は、画像を走
査して判別処理のための部分画像のデータをサイズ変換
手段２３に送るものである。サイズ変換手段２３は、部
分画像のサイズを変換するものである。そして、このサ
イズ変換手段２３は、例えば参照辞書作成のために使用
した画像中での対象物の画像中の大きさと、抽出を行う
目的で入力した画像中での対象物の画像中の大きさが異
なる場合に使用されるものである。

【００５０】前処理手段２４は、参照辞書作成のために
用いた前処理手段１２と同様の動作により、画像から物
体の特徴を抽出する領域を切り出す処理と、切り出した
データの大きさを正規化する処理の２つを実行するもの
であって、サイズ変換手段２３を介して与えられる注目
領域操作手段２２の出力に対して当該処理を行い、判別
手段２５に与えるものである。

【００５１】また、判別手段２５は、この前処理された
画像を、参照辞書記憶手段１５の参照辞書を参照して該
当するものであるか否か判断するものであって、入力画
像から切り出した部分画像が、参照辞書に登録されたど
のカテゴリーに属するものであるかを判別する手段であ
り、本発明システムにおける最も重要な要素である。

【００５２】物体領域判定手段２６は判別手段２５の判
定した結果ををデータとして記憶すると共に、これら記
憶したデータを比較して、最大評価値を得た部分領域を
もって物体領域を切り出す処理を行うものである。

【００５３】次に、上記構成の本システムの作用を説明
する。本システムにおいては、参照辞書が用意されてい
ることが前提となるので、この辞書がない場合には、ま
ずはじめに、参照辞書作成部１による参照辞書作成を行
う必要がある。

【００５４】参照辞書作成部１は、認識対象物体を様々
な環境で撮影した２次元画像から物体領域の認識に必要
となる辞書データを作成する装置であり、複数用意され
る。各参照辞書作成部１は、画像入力手段１１、前処理
手段１２、特徴量抽出手段１３、特徴量分布集積手段１
４、参照辞書記憶手段１５で構成されており、画像入力
手段１１により、もとになる画像情報を取り込む。

【００５５】画像入力手段１１は、撮像装置としてのＴ
ＶカメラとＡ／Ｄコンバータから構成されるものであ
り、ＴＶカメラにより対象物を含む２次元画像を撮影
し、これをディジタル化して前処理手段１２に送信す
る。

【００５６】本発明装置では、太陽光を照明光とする環
境下における認識対象物体の画像認識に適応するため
に、学習画像を用いる。そして、この学習用画像を取得
するために、参照作成辞書部１において、次のようにし
て様々な画像とそのデータを取得する。

【００５７】すなわち、この学習用画像には認識対象物
体を様々な環境で撮影した多数の画像を当てる。なお、
ここでいう様々な環境とは、物体とカメラの位置関係の
変化だけでなく、物体に対する照明条件（照明方向やそ
の強度）の変化に対しても含めたバリエーションを指
す。従って、“物体とカメラの位置関係の変化”に加
え、“物体に対する照明条件（照明方向やその強度）の
変化”に対しても多数の環境を設定する。

【００５８】そして、上記“照明条件”を様々に変化さ
せるにためには、認識対象物を、その中心が物体中心に
なるように設置し、この認識対象物の周囲の様々な位置
にそれぞれ照明装置を設置し、そのうちの一つ照明装置
を選択して照明してそのときの画像を撮像するいった具
合に、照明光の位置を変えて照明し、撮影を行う、とい
ったことで実現可能である。

【００５９】具体的には、例えば、半球状のカゴを考え
た場合、この半球状の対象物の物体の照明は直接照明光
の他にも環境光（部屋の灯りなど空間全体を照らす照
明）があり、環境光に対する照明装置の強度比も変化さ
せて撮影する。また、照明装置と物体の距離によっても
照明条件は変化する。

【００６０】このような様々な“変化要素”を様々に変
化させた種々の“照明条件”を用意する。また、屋外環
境で照明条件の異なる画像を得るためには、太陽光が直
接照射される位置に物体を設置し、物体を撮影する位置
にカメラを設置し、この位置関係を固定したまま、日の
出から日没まで一定時間間隔で物体を撮影する方法も採
用し得る。この場合は、天気の異なる日も同様に撮影を
行えば、直射光と散乱光の割合の異なる状況で撮影が可
能である。

【００６１】本発明方法を適用する場合は、このような
学習用画像として設定する環境は、実際に認識（物体領
域の抽出）を行う環境に似せて撮影する方が良い。例え
ば、電柱上に取り付けられる碍子を認識対象とする場と
を考えてみると、碍子は立てて取り付けられるため、太
陽によって下から照射されることはない。つまり、物体
が屋外に存在する場合には、太陽の直射光が当る方向が
限定されるので、その方向に関してデータを撮影すれば
十分である。

【００６２】以上のような方法を用いて、認識が必要と
なる位置関係や照明環境に対する様々な学習用画像を撮
影する。前処理手段１２は、窓関数などを用いて画像か
ら物体の特徴を抽出する領域を切り出す処理と、切り出
したデータの大きさを正規化する処理の２つを実行す
る。

【００６３】物体を切り出す方法としては、物体の形状
に合わせた形（輪郭）でその内側を切り出す方式の他、
円形状の重み関数を物体の注目点を中心に設定して切り
出す方式や、対象物体の形状に合わせてスリット状の部
分画像を短冊状に連続して切り出す方式（詳細は具体例
２で説明する）などがある。

【００６４】具体例１では物体の形状に合わせた形を切
り出す方式に基づいて説明する。具体例１では、物体の
見え方の変化としては光線条件の変化による変化に注目
した領域抽出装置を説明する。このため、カメラに対す
る認識対象物体の位置と姿勢の関係は固定して撮影した
ものとして以後の説明を行う。つまり、形状的な見え方
の変化は無いものとして考える。

【００６５】後で説明するように、参照辞書作成部１は
一つ以上複数作成されるが、参照辞書作成部１が複数あ
る場合は、それぞれの参照辞書作成部１が切り出す「部
分画像」の大きさ（ＴＭ素数）が等しくなるように正規
化を行う。ここで、「部分画像」とは前処理手段１２が
切り出して正規化処理した画像である。

【００６６】特徴量抽出手段１３は、前記前処理手段１
２によって切り出された部分画像から特徴ベクトルを抽
出する。本実施例で抽出する部分画像の特徴量は、各画
素の輝度だけでなく、複数個あるので特徴ベクトルとな
る。特徴ベクトルの第１の要素は各画素の輝度である。
物体表面の模様（テクスチャ）が乏しい物体の場合は、
この特徴だけでは識別能力が不足するので抽出する特徴
量を追加する。（なお、輝度情報だけで十分ならば使用
する特徴量の数が１つ、即ち、特徴ベクトルが１次元ベ
クトルでも良く、以下の処理手順と構成は同様に適用で
きる。）第２の特徴量としては、例えば、当該画素とそ
の近傍画素との輝度で計算した分散値を用いる。この分
散値は当該画素位置における輝度の変化傾向を示す。例
えば、表面の面の向きも材質も一定な部分では、この分
散値は非常に小さな値となる。

【００６７】一方、表面の向きや材質が変化する部分は
分散値が大きくなる。つまり、物体の表面の輝度は種々
の理由（表面の方向、材質、光の照射方向）により、異
なる場所で同一の値になる場合があるため、輝度だけで
は、どの部分に対応するか判別することは困難である
が、その部分の輝度の変化傾向が異なることを利用すれ
ば判別が可能になることを利用するのである。

【００６８】第２の特徴量としては、また、例えば、当
該画素とその近傍画素（例えばハミング距離２画素以内
などと決める）で、画素の輝度値の１次近似を行い、当
てはまる面の方向を求め、その面の法線方向を用いるこ
ともできる。この特徴量は、当該画素からどの方向に向
かって輝度が明るくなって行くかが表現されている。特
微量としては様々なものが考えられ、また、特徴ベクト
ルの要素数は２つに限るものではないので、識別能力が
得られるまで、次元数を増やすようにして良い。このよ
うに、特徴量は多次元ベクトルとして抽出される。

【００６９】特徴量分布集積手段１４は、特徴ベクトル
を分布として集積する処理を行うものである。特徴量抽
出手段１３で抽出された特徴ベクトルは、特徴量分布集
積手段１４により分布として集積される。

【００７０】光線条件の異なる様々な環境で撮影した学
習用画像から特徴ベクトルを抽出すると、同じ対象を同
じ方向から撮影した場合でも光線条件に差があるため
に、同じ位置の特徴ベクトルを比較してもそれぞれ値が
異なる。そこで、それぞれの画素位置ごとに、これらの
特徴量のヒストグラムを作成する。

【００７１】例えば、物体の形状的に入り組んでいる部
分は、どの照明方向に対しても影の領域になるので、そ
の位置のヒストグラムは暗めのある値を中心とした狭い
範囲に広がる分布になる。

【００７２】一方、物体の上方の部分は、どの照明方向
に対しても太陽の直射光を受けることになり、従って、
その位置のヒストグラムは“明るめのある値”を中心と
した分布になる。他方、物体の側面の部分は、太陽の向
きにより、日向側日陰側の両方に属する可能性があるの
で、ヒストグラムの形状は横に広くなる。

【００７３】また、このヒストグラムの分布形状は、位
置による違いだけでなく、物体表面の材質にも依存して
決まる。例えば、表面が滑らかで反射率が高い部分では
ヒストグラムの形状は横に広くなるし、反射率が低い部
分ではヒストグラムの広がりは小さくなる。

【００７４】このように、物体のそれぞれの位置のヒス
トグラムは、それぞれの位置の「光線状況の変化に対す
る物体表面の明るさの変化のし易さ」を表現するのであ
る。特徴量分布集積手段１４は、以上説明したように、
物体の各位置で特徴ベクトルの分布（ヒストグラム）を
作成し、統計的な特徴量（平均値、中央値、標準偏差、
ヒストグラムの分布形状による分類など）を算出した
り、判定したりする。

【００７５】分布を利用して入力データの属するカテゴ
リーを判別する方法として、ここでは、一例としてマハ
ラノビスの距離（参考文献：柳井晴夫、高根芳雄、「多
変量解析法」（１９８５））を用いた方法を説明する。
なお、分布を利用した別の判別方法は具体例３で説明す
る。

【００７６】マハラノビスの距離を用いるためには、特
徴ベクトルの各要素の平均値と分散値の他に要素間の共
分散が必要になる。このために特徴量分布集積手段１４
では、特徴量抽出手段１３で抽出された特徴ベクトルを
集積して統計的な特徴量として、平均値ベクトルと分散
共分散行列を作成する。そして、算出し作成されたデー
タを参照辞書記憶手段１５に辞書データとして送信す
る。

【００７７】参照辞書記憶手段１５ではこの送られてき
た辞書データを記憶する。ここで、前処理手段１２が切
り出す画像の形状が矩形の場合、この認識対象物のため
の辞書データは、例えば、図２に示すような情報として
参照辞書記憶手段１５に記憶される。

【００７８】図２は、格子状に配列を記憶していること
を示しており、“ｍ1 ” ，“ｍ2”，…，“ｍn ”
はそれぞれ１番目，２番目，…，ｎ番目の特徴量の平均
値を示し、“ａ11”，“ａ12”，…，“ａmn”は分散共
分散行列を示す。

【００７９】前処理手段１２で切り出す画像の形状が矩
形でない場合は、切り出した画像を走査して１次元配列
に変換し、配列の各要素で同様な辞書データを記憶すれ
ば良い。

【００８０】なお、マハラノビスの距離を用いて判別を
行う場合には、認識対象物の参照辞書の他に「認識対象
物以外の物体」の参照辞書を作成する必要がある。この
「認識対象物以外の物体」の辞書は、学習用画像の中か
ら対象物以外の領域（背景の領域）を「認譚対象物以外
の物体」として切り出し、同様な処理手順を持って辞書
パターンを作成すれば良い。

【００８１】「認識対象物以外の物体」の参照辞書作成
に用いる辞書パターン作成のための手続きは、認識対象
物体のための辞書パターン作成と同様に行う。前処理手
段１２が切り出す画像の大きさは、認識対象物体と等し
くする。

【００８２】背景を全て一律に扱って画像を切り出し、
特徴ベクトルの分布を生成すると、特徴量の分布は、全
ての位置に関して、一様に横に広がった分布になる可能
性が高い。つまり、認識対象物体の分布のように、位置
によって輝度の値の中心値が変化したり、分布の形状が
特徴的になったりしない可能性が高い。

【００８３】そのような分布であっても、本実施例の領
域抽出装置は構成できるが、辞書の認識精度を向上させ
るためには、「認識対象物以外の物体」（背景の領域）
の辞書を複数のカテゴリーとして記憶させる方法があ
る。

【００８４】例えば、学習用画像を人間が分割して、
「樹木の領域」、「金属質表面の物体の領域」、「ガラ
ス材質の物体の領域」などと分離し、それぞれに対して
辞書パターンを作成させる。

【００８５】背景の領域の辞書パターンを複数のカテゴ
リーに分割すると、物体位置を検出する際に「ここは樹
木の領域であるから、対象物の領域ではない」と明確に
判別できるメリットがある。（なお、判別の方法は後で
説明する。）以上のように、参照辞書作成部１は認識対象物体だけで
なく複数のカテゴリーのために辞書パターンを作成し、
参照辞書記憶手段１５に記憶する。（図１では参照辞書
作成部１が複数あるようになっているが、動作と手続き
は全く同じなので、装置を構成する上では、少なくとも
参照辞書記憶手段１５だけが分割して登録するカテゴリ
ーの数だけあれば良い事は自明である。）辞書作成の段階が終了すると、実際の物体領域抽出処理
が可能になる。

【００８６】物体の領域抽出処理は、屋外において、実
際の認識対象物を含む画像を取得して、これを物体領域
検出部２にて次のような処理を行うことで実現される。
物体領域検出部２は、画像入力手段２１、注目領域走査
手段２２、サイズ変換手段２３、前処理手段２４、判別
手段２５、物体領域判定手段２６からなる。

【００８７】そして、画像入力手段２１は認識対象物体
の映った２次元画像を物体領域抽出のための入力データ
として取り込む。すなわち、画像入力手段２１はＴＶカ
メラとＡ／Ｄコンバータから構成されており、認識対象
物体の映った２次元画像を物体領域抽出のための入力デ
ータとして注目領域走査手段２２に渡す。

【００８８】このデータを受けた注目領域走査手段２２
では、このデータの持つ２次元画像を走査して判別処理
のための部分画像のデータを抽出し、サイズ変換手段２
３に送る。

【００８９】サイズ変換手段２３ではこの注目領域走査
手段２２から受けた“部分画像”のサイズを変換する。
このサイズ変換手段２３は、例えば参照辞書作成のため
に使用した画像中での対象物の画像中の大きさと、抽出
を行う目的で入力した画像中での対象物の画像中の大き
さが異なる場合に使用されるものである。例えば、参照
辞書作成時の大きさに比べて入力画像の対象物の大きさ
が、“１．１倍”であった場合は、サイズ変換手段２３
によって入力画像のデータを、“１０／１１”に縮小処
理して学習画像とサイズが合うようにするためのもので
ある。

【００９０】入力画像中の対象物の大きさが未知の場合
は、縮小拡大の倍率を数段階用意して、全ての段階に対
して以後の判別と抽出処理を行い、最高の判定値を得た
結果を出力することにより、目的とする抽出が可能とな
る。

【００９１】サイズ変換手段２３での処理を経た“部分
画像”のデータは前処理手段２４に送られ、この前処理
手段２４では、参照辞書作成のために用いた参照辞書作
成部１における前処理手段１２での処理と同様の処理動
作により、画像から物体の特徴を抽出する領域を切り出
す処理と、切り出したデータの大きさを正規化する処理
の２つを実行する。

【００９２】そして、前処理手段２４にて前処理された
データは判別手段２５に渡され、これを受けた判別手段
２５においては、部分画像が参照辞書に登録されたどの
カテゴリーに属するかを判別する。

【００９３】この判別手段２５は、本発明の最も重要な
部分であって、ここで入力画像から切り出した“部分画
像”が参照辞書に登録されたどのカテゴリーに属するか
を判別する。

【００９４】説明のために前処理手段２４で切り出され
正規化された画像データを「検証データ」と呼ぶことに
する。“検証データ”の判別のために、判別手段２５は
各カテゴリーの参照辞書データと検証デー夕間のマハラ
ノビスの距離を計算する。マハラノビスの距離は式
（１）で定義され、分布の広がりを考慮したカテゴリー
代表値（通常は平均値）への距離である。

【００９５】

【数１】特に特徴ベクトルが１次元の場合は

【００９６】

【数２】となる。ｎ次元の場合も同様に定義されている。

【００９７】例えば、カテゴリーの分布が横に広がって
いる場合は、検証値がカテゴリー代表値（平均値）から
離れていても、そのカテゴリーに属する可能性が高い。
一方、カテゴリーの分布が代表値の近傍に狭くかたまっ
ている場合は、代表値から少し離れただけでも、そのカ
テゴリーに属する可能性は低くなる。マハラノビスの距
離はこのような概念を表現した距離である。

【００９８】判定手段２５は、検証データの一つの位置
に対して、各辞書パターンの対応する位置とマハラノビ
スの距離を計算する。そして、判定手段２５はこの計算
の結果、最も小さい距離と計算されたカテゴリーを以
て、その位置のデータが属するカテゴリーと判別する。

【００９９】判定手段２５は、この判別処理を検証デー
タの全ての位置のデータに対して行う。なお、本具体例
ではマハラノビスの距離を用いた判別方法を適用して説
明したために、判別基準として計算されたのは「距離」
であったが、後述する具体例３でも説明するように、参
照辞書作成部１により特徴量の分布が作成されていれ
ば、別の判別基準を用いることも可能である。

【０１００】また、当該対象物の辞書パターンさえ作成
されていれば、複数のカテゴリーの辞書パターンを利用
する必要のない判別基準も導入できる。このように、判
別基準の概念は一般に、当該位置の画素が認識対象物体
に属する「確率」として捉えられる。

【０１０１】さて、判別手段２５による判別処理の結
果、検証データの領域の中で認識対象物体に属するカテ
ゴリーと判別された回数が最も多かったカテゴリーを領
域の属するカテゴリーと判別し、「検証データのデータ
数」で「判別された回数」を割算することで、この領域
の判別評価値とする。

【０１０２】判別手段２５は「部分領域を切り出した位
置」、「サイズ変換手段２３で縮小拡大した比」と、
「判別評価値」とを物体領域判定手段２６に渡し、物体
領域判定手段２６はこれらのデータを記憶する。

【０１０３】画像入力手段２１により入力された画像全
体について、注目領域走査手段２２では入力画像全体を
走査し、各部分画像を抽出するので、これらについて、
上記の処理が施されることで、全ての部分画像に対して
判別処理が行われることになる。

【０１０４】全ての“部分画像”に対しての判別処理結
果済みのデータが物体領域判定手段２６に記憶される
と、この物体領域判定手段２６は記憶したデータ中の評
価値を比較して、最大評価値を得た部分領域をもって物
体領域を切り出す。

【０１０５】すなわち、物体領域判定手段２６は、記憶
したデータ中の評価値を比較して、最大評価値を得た
“部分領域”がどれであるかを判定し、その最大評価値
と判定した“部分領域”の画像を画像入力手段２１の取
り込んだ画像中から切り出し、もって注目物体部分の画
像を得る。

【０１０６】以上、モデルとなる画像（学習画像）とし
て、様々な条件下での注目物体の屋外での画像を予め取
得し、画像入力手段により入力された、屋外にある注目
物体を含む任意の処理対象画像から、当該注目画像部分
を抜き出すに当たっては、その画像について領域を細か
く分けた部分画像にし、その各部分画像について学習画
像と同じ画像である度合い（確率）を求め、評価して、
その結果、学習画像と同じ画像である確率の高い部分画
像を、抜き出して注目物体の領域の画像として得るよう
にしたものである。従って、太陽の照射条件が大きく変
わり、取得される画像の状況が著しい変わる屋外の注目
物体の画像についても、種々の条件下でのモデル画像を
学習画像として用意することで、精度良く注目物体部分
の画像を、抜き出すことができ、画像中から注目物体の
位置や姿勢などの情報を確実に取得できる技術が確立で
きるようになり、屋外で作業する自律作業ロボットの視
覚を確保できるようになる。

【０１０７】次に本発明の別の例を説明する。（具体例２）第２の具体例では認識対象物体が中心軸を
持つような形状の物体である場合の、物体領域抽出装置
の構成について説明する。使用するシステムは図１の構
成と同じで、参照辞書作成部１と物体領域検出部２から
構成される。

【０１０８】参照辞書作成部１は、認識対象物体を様々
な環境で撮影した２次元画像から物体領域の認識に必要
となる辞書データを作成する装置であり、複数用意され
る。そして、各参照辞書作成部１は、画像入力手段１
１、前処理手段１２、特徴量抽出手段１３、特徴量分布
集積手段１４、参照辞書記憶手段１５で構成される。ま
た、物体領域検出部２は、画像入力手段２１、注目領域
走査手段２２、サイズ変換手段２３、前処理手段２４、
判別手段２５、物体領域判定手段２６からなる。

【０１０９】画像入力手段１１は画像情報を取り込むた
めのものであり、前処理手段１２は画像入力手段１１を
介して得られた画像に対して、前処理を施すものであっ
て、物体の軸方向に沿って図４の様に小さな縦型のスリ
ット形状ＳＬm を位置を変えながらそれぞれ切り出し、
正規化する処理を行うものである。

【０１１０】また、特微量抽出手段１３は切り出された
画像から特徴ベクトルを抽出する処理を行うものであ
る。また、特徴量分布集積手段１４は抽出された特徴ベ
クトルから特徴量の分布を生成するものである。すなわ
ち、特徴量分布集積手段１４は、特徴量抽出手段１３が
抽出した特徴ベクトルを集積し、統計的な特徴量とし
て、平均値ベクトルと分散共分散行列を作成すると共
に、算出し作成されたデータを参照辞書記憶手段１５に
辞書データとして送信する機能を有する。

【０１１１】参照辞書記憶手段１５は、特徴量分布集積
手段１４の求めた辞書データを記憶するためのものであ
って、例えば、前処理手段１２が切り出す画像の形状が
矩形の場合、この認識対象物のための辞書データは、例
えば図２に示したような情報として記憶される。

【０１１２】以上が、画像中の注目すべき物体の領域を
抽出する元となる学習画像の辞書情報を作成する参照辞
書作成部１の構成である。この辞書を用いて実際の画像
から注目すべき認識対象物の領域（画像中の当該認識対
象物の領域）を検出する物体領域検出部２の構成を説明
する。

【０１１３】図１に示すように、物体領域検出部２は、
画像入力手段２１、注目領域走査手段２２、サイズ変換
手段２３、前処理手段２４、判別手段２５、物体領域判
定手段２６からなる。

【０１１４】これらのうち、画像入力手段２１はＴＶカ
メラ（ビデオカメラ）とＡ／Ｄコンバータから構成され
るものであり、認識対象物体の映った２次元画像を物体
領域抽出のための入力データとして取り込むものであ
る。

【０１１５】また、注目領域走査手段２２は、画像を走
査して判別処理のための部分画像のデータをサイズ変換
手段２３に送るものである。サイズ変換手段２３は、部
分画像のサイズを変換するものである。そして、このサ
イズ変換手段２３は、例えば参照辞書作成のために使用
した画像中での対象物の画像中の大きさと、抽出を行う
目的で入力した画像中での対象物の画像中の大きさが異
なる場合に使用されるものである。

【０１１６】前処理手段２４は、参照辞書作成のために
用いた前処理手段１２と同様の動作により、画像から物
体の特徴を抽出する領域を切り出す処理と、切り出した
データの大きさを正規化する処理の２つを実行するもの
であって、サイズ変換手段２３を介して与えられる注目
領域操作手段２２の出力に対して当該処理を行い、判別
手段２５に与えるものである。

【０１１７】また、判別手段２５は、この前処理された
画像を、参照辞書記憶手段１５の参照辞書を参照して該
当するものであるか否か判断するものであって、入力画
像から切り出した部分画像が、参照辞書に登録されたど
のカテゴリーに属するものであるかを判別する手段であ
り、本発明システムにおける最も重要な要素である。

【０１１８】物体領域判定手段２６は判別手段２５の判
定した結果をデータとして記憶すると共に、これら記憶
したデータを比較して、最大評価値を得た部分領域をも
って物体領域を切り出す処理を行うものである。

【０１１９】次に、上記構成の本システムの作用を説明
する。この具体例では認識対象物体として“中心軸を持
つような形状の物体”を対象とするが、この“中心軸を
持つような形状の物体”とは、例えば、コンピュータに
よる画像処理を応用した本発明のシステムにおける物体
領域検出処理のために、本システムに入力された画像デ
ータに含まれる図３のような物体の画像の抽出を想定し
ている。図３に示したものは、電柱上の架空配電線を支
える碍子の一種であり、この画像中では背景や影などを
含んでいる。

【０１２０】この碍子のように、形状として軸を持ち、
模様や形状が軸対象な（そして、本発明が想定するよう
にその形状や模様は比較的単純な）物体は、特に人工の
構造物の中に多く存在する。例えば、建物の様々な支柱
がそうであり、道路上にも電柱やポールなど様々なもの
が多数ある。また、本具体例で説明する方法では軸対称
であれば円柱でなく、面で構成されていても良いので、
四角い柱でも同様の構成で認識できる。一般には多角柱
の形状が認識可能である。また、軸対象ではないが、表
画の形状や模様が一様に連続している、塀や壁などでも
同様に認識できる。

【０１２１】そしてこれらの物体は基本的な設置姿勢が
決まっていることが特徴である。支柱、ポール、碍子、
柱、壁、塀などは全て軸が地画に垂直になるように設置
される。

【０１２２】本発明が想定するような自律型の作業ロボ
ット、例えば、碍子を作業対象とする作業ロボットが、
自動的に注目対象物を発見する状況を考えてみると、ま
ず認識を行いたい対象はこのような地面に垂直な姿勢に
固定された物体である。それは作業ロボットに作業をさ
せる対象が人造物であり、従って、それは構造物を支え
る部分であったり構造物の中心に位置するのであるから
当然である。

【０１２３】このように、中心軸を持つような物体は、
中心軸を地面に垂直になるように固定されており、特に
重要な認識対象物体であることが多い。一方、自律型の
作業ロボットの画像入力手段であるビデオカメラは、一
般に水平レベルは保たれたまま、画角を設定される。カ
メラの画角設定におけるカメラ移動は、通常は“パ
ン”、“チルト”、“ズーム”と呼ばれる変化だけであ
る。“ロール”とよばれる画角変化が画面の水平レベル
を変化させるが、このカメラ移動は人間にとって非常に
見にくくなるため、一般にはカメラのロールは使われる
ことは少ない。技術的にもカメラの水平レベルを保った
まま画角変化させる装置を構成することは容易である。

【０１２４】このように、カメラの姿勢と物体の姿勢に
拘束条件が存在するために、物体の参照辞書として前処
理手段１２が切り出す“部分画像”は図３のように、縦
方向の小さなスリット形状（図３の中央の白抜き枠状部
分）にする事ができる。このスリット形状は、縦に例え
ば１００画素、横に１画素の１次元スリットである。
（図では説明のために横幅を誇張して描いている。）なお、本明細書の中で用いる「スリット形状」とは、縦
か横のどちらかの幅が１画素の矩形を意味する。

【０１２５】スリット形状のパターンＳＬm を横に並べ
て当てはめれば、図４の様に全体のパターンと当てはめ
る事が出来る。また、隣り合ったスリットの上下位置を
ずらすことで物体のチルト角（奥行き方向の回転）が異
なる物体の姿勢に対しても同じパターンを当てはめれば
良いことになる。

【０１２６】塀や壁の様に軸を持たない対象物の例でも
スリットが斜めに連続して行けば、任意の角度からのパ
ターンを生成できることは明らかである。切り出す部分
画像の形状が決まったところで、全体の処理の流れを説
明する。

【０１２７】最初に参照辞書作成部１により、モデルと
なる画像情報に関しての辞書を確保する必要があり、ま
ずはそのための処理を行う。画像入力手段１１は様々な
照明環境で物体を撮影し、前処理手段１２に送信する。
前処理手段１２は物体の軸方向に沿って図４の様に小さ
な縦型のスリット形状ＳＬm を位置を変えながらそれぞ
れ切り出し、正規化する。

【０１２８】特微量抽出手段１３は切り出された画像か
ら特徴ベクトルを抽出する。この際、特徴ベクトルを抽
出する前に前処理として切り出された画像の輝度の正規
化を行う。例えば、画像の輝度の２乗和を一定値に正規
化する。例えばスリット状に切り出された画像の各画素
の輝度を“Ｉ１”，“Ｉ２”，…，“Ｉｎ”とすると輝
度の２乗和は

【０１２９】

【数３】である。２乗和Ｓ０に正規化する場合

【０１３０】

【数４】として、それぞれの画像輝度を

【０１３１】

【数５】とすればよい。正規化方法には他にも輝度最大値の正規
化や同じ区間の輝度値の正規化などいろいろ可能であ
る。

【０１３２】前処理手段１２により輝度の正規化を行う
意味は、パターンの面の向きによる明るさの変化を吸収
することにある。図５の模式図を用いて説明する。図５
では、（ａ）に示すように注目対象の物体はその右側か
ら太陽光に照明されているために、物体の右側の画が明
るく、左側の面が暗くなる。ここで図５（ｂ）の様に、
スリット状に部分画像の切り出しを行う。そして、切り
出したスリット状の部分画像はそれぞれ２乗和を正規化
して条件を整える（図５（ｃ））。

【０１３３】表面材質が異なると照明に対する表面の明
るさの変化の幅は異なり、また、物体の表面形状に凹凸
があると照明光線の向きによらず影の領域に属すること
があるため、２乗和の正規化を行ってもパターンとして
違いが現われる場合がある。（本発明の目的はそのよう
な変化に対しても対応可能な物体領域抽出装置を提供す
ることである）様々な撮影条件で撮影された画像から部分画像を切り出
して特徴ベクトルを抽出し、特徴ベクトルの分布を作成
することで、全体の明るさの変化のみならず、このよう
な部分的な変化の幅の違いも含めて認識が可能となる。

【０１３４】前処理手段１２が切り出しと輝度２乗和の
正規化を行い、算出されたデータから特徴量抽出手段１
３が特徴量の抽出を行う。特徴量抽出手段１３が抽出す
る第１の特徴量としては各画素の輝度を利用できる。

【０１３５】具体例２の場合、切り出された“部分画
像”の形が１次元スリットであるため、第２番目以降の
特微量として利用できるものは、例えば、「注目画素の
前後数画素の分散値」、「注目画素の前後数画素を１次
関数近似したときの傾き」、「注目画素の前後数画素を
主成分分析したときの第１主成分方向」、「前画素との
差分」などがある。

【０１３６】特徴量の選び方や個数は、識別能力を試し
ながら適切なものに設定すれば良いのである。例えば、
抽出する特徴量は２個とし、第１の特徴量を注目画素の
輝度、第２の特徴量を注目画素の前後５画素を主成分分
析した時の第一主成分方向、とする。

【０１３７】特徴量分布集積手段１４は特徴量の分布を
生成する。特徴量分布集積手段１４の処理のイメージを
図６に示す。今、カメラと物体の位置関係を固定し、撮
影環境（光線条件）の異なる多数のサンプル画像からス
リットパターンを切り出し（図６（ａ））、前処理手段
１２と特徴量抽出手段１３の動作により、ある注目位置
について特徴量が抽出される（図６（ｂ））。ある位置
に着目すれば、その値は（同一の物体の同一位置である
から）、近い値が算出される。

【０１３８】しかし、この値も物体位置によって光の方
向や強度に対する変化の敏感さが異なるので値がばらつ
く。この値を集積してヒストグラムを生成すると、ある
値を中心とした正規分布になる（図６（ｃ））。

【０１３９】このようにして、分布が作成される。特徴
量分布集積手段１４は、特徴量抽出手段１３が抽出した
特徴ベクトルを集積し、統計的な特徴量として、平均値
ベクトルと分散共分散行列を作成すると共に、算出し作
成されたデータを参照辞書記憶手段１５に辞書データと
して送信する。

【０１４０】参照辞書記憶手段１５は、特徴量分布集積
手段１４の求めた辞書データを記憶する。具体例２で
も、具体例１と同様にマハラノビスの距離を用いた判別
を行うので、物体領域検出部２では分布の平均値と分散
共分散行列が利用できれば良い。そこで、特徴量分布集
積手段１４はこれらの値を算出し、参照辞書記憶手段１
５がこれを記憶する。

【０１４１】具体例２において辞書が生成される処理の
模式図を図７に示す。すなわち、図７（ａ）に示す如き
注目対象物Ｇの画像があったとして、当該注目画像Ｇか
ら予め設定したスリット状ＳＬm 領域相当分の“部分画
像”の切り出しを行う。図７（ｂ）が切り出された“部
分画像”である。そして、つぎにこれを正規化する（図
７（ｃ））。これを、注目画像の各部について位置を変
えながら行う。

【０１４２】参照辞書が作成されたならば、次に物体領
域検出部２による実際の画像から注目物体の領域検出を
行う。ただし、物体領域検出部２の動作は具体例１と概
ね同様であるので、ここではその説明は省略する。な
お、この具体例では特徴ベクトルが２次元になるため、
マハラノビス距離の計算は２次元の計算方法を用いれば
良い。

【０１４３】具体例２では辞書画像の形状を縦型スリッ
トとしたため、画像中から物体の領域を出力する場合に
は反応させた縦型のスリットを複数集めて領域としなけ
ればならない。このため物体領域判定手段２６では縦型
スリットの判別評価値が予め決めた基準値以上の部分を
抽出し、「予め決めた個数の反応が連続する」という条
件を満たす領域を最終的な認識結果として出力する。

【０１４４】図１０に具体例２における入力画像の模式
図（図１０（ａ））と認識対象物体として碍子の領域を
抽出した処理結果の模式図（図１０（ｂ））を示す。こ
の連続領域の抽出方法で、抽出する物体の姿勢の範囲を
設定することが可能である。例えば、図４（ａ）に示し
たように、円柱形状の奥行き方向の角度の姿勢変化があ
る場合には、図４（ｂ）に示すように、スリット形状の
パターンＳＬm が横に並ぶことで、物体領域全体に高い
判別評価値が検出されるが、深い角度に傾きがある場合
は高い判別評価値を持つスリットの軌跡が上下に大きく
移動することになる。

【０１４５】従って、スリットの連続性の判断ではこの
軌跡の形状を利用することで、反応する対象物体の姿勢
を制限できる。また、この軌跡の形状から対象物体の姿
勢を認識することも可能である。

【０１４６】なお、このようにスリット形状の部分画像
を切り出す方法は、縦型のスリットに限られるものでは
なく、カメラと物体の拘束関係に応じて横型のスリット
や、幅が１画素の同心円状のスリットなど、様々な応用
があり得る。

【０１４７】以上、認識対象物として例えば、碍子のよ
うに、中心軸を持つような物体を対象とする場合に、モ
デルとなる画像（学習画像）として、様々な条件下での
上記注目物体の屋外での画像を予め取得し、画像入力手
段により入力された、屋外にある注目物体を含む任意の
処理対象画像から、当該注目画像部分を抜き出すに当た
っては、その画像について領域を細かく分けた部分画像
にし、その各部分画像について学習画像と同じ画像であ
る度合い（確率）を求め、評価して、その結果学習画像
と同じ画像である確率の高い部分画像を、抜き出して注
目物体の領域の画像として得るようにしたものである。
従って、太陽の照射条件が大きく変わり、取得される画
像の状況が著しい変わる屋外の注目物体の画像について
も、種々の条件かでのモデル画像を学習画像として用意
することで、精度良く注目物体部分の画像を、抜き出す
ことができ、画像中から注目物体の位置や姿勢などの情
報を確実に取得できる技術が確立できるようになり、屋
外で作業する自律作業ロボットの視覚を確保できるよう
になる。

【０１４８】（具体例３）第３の具体例では、特徴量分
布集積手段１４が生成した特徴量分布の形状が、具体例
１や具体例２で説明したような正規分布の形状にならな
かった場合の例について説明する。

【０１４９】具体例１、具体例２、では判別手段２５に
おける判別のためにマハラノビスの距離を利用したが、
マハラノビスの距離を利用するには分布の形状が正規分
布になることが前提となる。従って、特徴量分布が正規
分布とならない場合、上述の２つの例如き判定処理を判
別手段２５で行わせても、その結果は利用できない。つ
まり具体例１や具体例２での処理を適用できないのであ
る。

【０１５０】そこで、このような正規分布が得られない
場合での判別手段２５の処理方法を説明する。手法はい
くつかあるが、第１の方法は、分布を“複数の正規分布
の合成”であるとみなし、二つの分布から計算される平
均値と分散により、それぞれ参照データのマハラノビス
の距離を算出し、近い方の値をそこの距離と判定する方
法である。模式図を図８に示す。図８では、分布を、正
規分布Ａと正規分布Ｂの合成であるとみなし、それぞれ
の分布中央値への距離を示している。マハラノビスの距
離を計算することも同様に可能である。

【０１５１】第二の方法は、作成した分布（ヒストグラ
ム）を用い、参照値が当該値を示す確率をもって評価値
とする方法である。これは図９に示す如きのもので、こ
の図９では、特徴量のヒストグラムが図に示すような形
状で得られたことを示している。ここで図９に示した参
照値Ｒが入力された場合は、図中、符号Ｑf を付して示
す領域の面積が、参照辞書を作成する際にこの参照値が
得られた出現頻度であることを示している。従って、こ
のＱf 領域の面積を、ヒストグラムの面積で割れば、出
現確率が得られる。この出現確率を、用意した全ての参
照辞書に基づいて算出し、最も高い出現確率を得たカテ
ゴリーを以てこの参照データの属するカテゴリーとす
る。判別評価値には出現確率を利用する。

【０１５２】このような方法をとることで、特徴量分布
集積手段１４で生成された特徴量分布の形状が正規分布
に従わない場合も、本発明を応用することができる。ま
た、出現確率を利用する方法では、参照辞書作成部１が
辞書パターンを作成するカテゴリーを当該認識対象物の
１種だけにする方法も可能となる。

【０１５３】以上、特徴量分布集積手段１４が生成した
特徴量分布の形状が、正規分布とならなかった場合に、
適用し得る判別手段２５での判定処理の手法を説明し
た。注目対象の物体とカメラの位置、姿勢の変化に適応
できるようにする技術を説明する。

【０１５４】（具体例４）第４の具体例では、物体とカ
メラの位置と姿勢の関係が変化した場合について説明す
る。

【０１５５】具体例２で説明したように、前処理手段１
２が切り出す“部分画像”をスリット形状にした場合に
は、ある方向の物体の位置姿勢の変化に対しては、ほぼ
同様な物体領域検出部２を用いることで対処できる。

【０１５６】そして、具体例１で説明したような２次元
的な形状の“部分画像”を切り出す場合でも、位置や姿
勢の変化に対応可能である。このことについて説明す
る。基本的には、まず参照辞書作成部１が様々な位置と
姿勢に対して撮影した学習用画像から各位置及び姿勢に
対して参照辞書を記憶する。

【０１５７】物体領域検出部２は“カテゴリー”、“位
置姿勢”の２つの組合せで辞書を記憶している。まず、
“カテゴリー”を固定し、つづいて“位置姿勢”を固定
して、切り出された参照領域全体の判別評価値を算出す
る。

【０１５８】続いて次の位置姿勢に対して同様に、参照
領域全体の判別評価値を算出する。記憶した全ての位置
姿勢に対して判別評価値が得られたならば、次にこれら
のうちで最良のものを選択することで、このカテゴリー
に属すると仮定した場合の判別評価値と、位置姿勢が得
られる。

【０１５９】全てのカテゴリーに対して同様に処理を行
い、結果として最良の「カテゴリーと位置姿勢」を選択
する。要するに、“２つの変化要素”を“同時に変化さ
せて判別評価値を比較してはいけない”ことに注意すれ
ば良い。

【０１６０】２つの組合せで辞書を記憶すると、記憶量
と処理量が増加するので、この辞書データを圧縮し、効
率良く計算する方法をとることがあり得る。隣り合った
データの連続性を利用して、例えば関数、で表現するこ
とにより、データを圧縮する方法や、主成分分析（ＫＬ
展開、固有関数展開とも言う）でデータの構造を圧縮す
る方法も応用可能である。

【０１６１】このようにすることにより、具体例１で説
明したような２次元的な形状の“部分画像”を切り出す
場合でも、位置や姿勢の変化に対応可能である。以上、
本発明は、物体を撮影した２次元画像を取り込み、得ら
れた画像データから物体の領域を抽出し、抽出した物体
の領域の画像データ値から画像特徴量を抽出すること
を、様々な照明環境で撮影した２次元面像に対して行う
ことで、前記物体の各位置に対する画像特徴量の分布を
作成し、前記画像特徴量の分布を前記物体の辞書データ
として記憶する参照辞書作成部と、複数の物体が含まれ
る２次元画像を取り込み得られた画像データから照合領
域画像を切り出し、この照合領域画像を前記辞書データ
にもとづいて照合処理を施して記憶した物体である確率
を計算し、当該領域が認識対象物体に属する確率が高い
領域を物体領域として切り出す物体領域検出部とを具備
して構成したものであり、物体を撮影した２次元画像を
取り込み、得られた画像データから物体の領域を抽出
し、抽出した物体の領域の画像データ値から画像特徴量
を抽出することを、様々な照明環境で撮影した２次元画
像に対して行うことで、前記物体の各位置に対する画像
特徴量の分布を作成し、前記画像特徴量の分布を前記物
体の辞書データとして記憶する事により、モデル情報を
用意し、物体領域検出対象を含む処理対象の画像を処理
するに当たっては、当該処理対象の２次元画像を取り込
んで得られた画像データから照合領域画像を切り出し、
この照合領域画像を前記辞書データにもとづいて照合処
理を施して、辞書に記憶した物体であることの確率を計
算し、当該領域が認識対象物体に属する確率が高い領域
を物体領域として切り出すようにしたものである。

【０１６２】表面の模様や物体の形状の変化の乏しい対
象物の場合、画像中からその対象物を認識するには、画
像における表面の明るさの分布だけを手掛かりに物体と
背景の識別をしなければならないが、屋外の設置物であ
る場合に、光の変化に対する影響が大きく、事実上、困
難であった。しかし、この発明によれば、光の変化に対
する対象物の様々な画像を実際に取得し、辞書登録し
て、物体領域検出対象を含む処理対象の画像を処理する
に当たっては、当該処理対象の２次元画像を取り込んで
得られた画像データから照合領域画像を切り出し、この
照合領域画像を前記辞書データにもとづいて照合処理を
施し、辞書に記憶した物体であることの確率を計算し、
当該領域が認識対象物体に属する確率が高い領域を物体
領域として切り出すようにしたから、物体表面の模様ま
たは形状的な特徴が乏しい物体に対して、特に屋外環境
のように照明条件が変化するために見え方が変化するよ
うな環境においても、画像中からその存在領域を抽出す
ることができるようになる。

【０１６３】従って、配電構造物などを対象とする自律
作業ロボットにおいても、対象構造物の位置や姿勢を認
識できる視覚システムを実現することが可能になる。な
お、本発明は上述した例に限定されるものではなく、そ
の要旨を変更しない範囲内で種々変形して実施し得る。

【０１６４】

【発明の効果】以上説明したように、本発明によれば物
体表面の模様または形状的な特徴が乏しい物体に対し
て、特に屋外環境のように照明条件が変化するために見
え方が変化するような環境において、画像中からその存
在領域を抽出することが可能となる。この結果、自律的
に作業対象の存在位置を認識し作業を行うロボットを実
現することが可能となり、多大なる実用的効果が得られ
る。

【図面の簡単な説明】

【図１】本発明を説明するための図であって、本発明の
システム構成を示す図。

【図２】本発明を説明するための図であって、本発明シ
ステムにおいて用いる辞書パターンの説明をする模式
図。

【図３】本発明を説明するための図であって、本発明シ
ステムにおいて用いる注目対象物体とスリット状パター
ンを説明するコンピュータ処理画像データ写真。

【図４】本発明を説明するための図であって、スリット
パターンの集合で全体の形状を表現できることを説明す
るための図。

【図５】本発明を説明するための図であって、スリット
パターンの正規化で方向による変化を吸収することがで
きることを説明するための図。

【図６】本発明を説明するための図であって、スリット
から分布を作成する方法を説明するための図。

【図７】本発明を説明するための図であって、スリット
状の辞書パターンの説明をする模式図。

【図８】本発明を説明するための図であって、正規化分
布しない場合に、２つの分布と見做して解析する本発明
の手法を説明する図。

【図９】本発明を説明するための図であって、出現確率
を以て評価値とする本発明の手法を説明するための図。

【図１０】本発明を説明するための図であって、本発明
の具体例２における入力画像と、認識対象物体として碍
子の領域を抽出した処理結果の模式的に示す図。

【符号の説明】

１…参照辞書作成部２…物体領域検出部１１…画像入力手段１２…前処理手段１３…特徴量抽出手段１４…特徴量分布集積手段１５…参照辞書記憶手段２１…画像入力手段２２…注目領域走査手段２３…サイズ変換手段２４…前処理手段２５…判別手段２６…物体領域判定手段。

Claims

【特許請求の範囲】

【請求項１】種々の照明環境下で撮像して得た認識対象
物を含む各２次元画像のデータから前記認識対象物の領
域をそれぞれ抽出し、この抽出した認識対象物の領域の
画像データ値から画像特徴量を抽出して前記認識対象物
の各位置に対する画像特徴量の分布を作成することによ
り得られたこれら画像特徴量の分布を前記物体の辞書デ
ータとして記憶した参照辞書手段と、認識対象物を含む処理対象の２次元画像のデータから照
合領域画像を切り出す手段と、この切り出した照合領域画像を前記辞書データにもとづ
いて照合処理を施すとともに、前記記憶した認識対象物
である確率を求める手段と、当該領域が認識対象物体に属する確率が高い領域を物体
領域として前記処理対象の２次元画像のデータから切り
出す手段と、を具備することを特徴とする認識対象物体
の物体領域抽出装置。
【請求項２】種々の照明環境下で撮影して得た認識対象
物を含む各２次元画像のデータから前記認識対象物の領
域を抽出し、抽出した認識対象物の領域の画像データ値
から画像特徴量を抽出して前記認識対象物の各位置に対
する画像特徴量の分布を作成して、この画像特徴量の分
布を前記認識対象物の辞書データとして記憶し、認識対象物を含む処理対象の２次元画像を受けて、この
画像のデータから照合領域画像を切り出し、この切り出した照合領域画像を前記辞書データにもとづ
いて照合処理して前記記憶した認識対象物である確率を
求め、当該領域が認識対象物体に属する確率が高い領域を、前
記処理対象の２次元画像から物体領域として切り出すこ
とを特徴とする認識対象物体の物体領域抽出方法。
【請求項３】請求項１記載の物体領域抽出装置におい
て、参照辞書部は、軸を有する多角形柱状の認識対象物を撮影した２次元画
像を取り込み、得られた画像データから物体の軸に平行
なスリット形状の部分画像を抽出する手段と、前記スリ
ッ卜形状の部分画像の画像データ値から画像特徴量を抽
出すると共に、種々の照明環境下で撮影した２次元画像
に対して行うことにより、前記スリット形状の部分画像
の各位置に対する画像特徴量の分布を作成する手段と、
前記画像特徴量の分布を辞書データとして記憶する手段
と、から構成されることを特徴とする認識対象物体の物
体領域抽出装置。
【請求項４】軸を有する多角形柱状の認識対象物体を撮
影した２次元画像を取り込み、得られた画像データから
物体の軸に平行なスリット形状の部分画像を抽出し、前
記スリッ卜形状の部分画像の画像データ値から画像特徴
量を抽出する処理を、種々の照明環境下で撮影した２次
元画像に対して行うことにより、前記スリット形状の部
分画像の各位置に対する画像特徴量の分布を作成し、得
られた画像特徴量の分布を辞書データとして記憶し、認識対象物を含む処理対象の２次元画像を受けて、この
画像データから照合領域画像を切り出し、この切り出した照合領域画像を、前記辞書データにもと
づいて照合処理を施こすことにより、前記記憶した認識
対象物であることの確率を計算し、当該領域が認識対象
物体に属する確率が高い領域を物体領域として前記処理
対象の２次元画像から切り出すことを特徴とする認識対
象物体の物体領域抽出方法。
【請求項５】請求項１または請求項３いずれか記載の物
体領域抽出装置において、画像データ値から抽出する画像特徴量は、画像輝度デー
タ、または、注目画素と周囲画素との分散値、または、
注目画素と周囲画素の主成分方向など画像データ値から
計算される特徴量を少なくとも２種以上抽出し、画像特
徴量の分布を作成し辞書データを記憶することを特徴と
する認識対象物体の物体領域抽出装置。
【請求項６】請求項２並びに請求項４記載の物体領域抽
出方法において、画像データ値から抽出する画像特徴量は、少なくとも画
像輝度データ、または、注目画素とその周囲画素との分
散値、または、注目画素と周囲画素の主成分方向のう
ち、画像データ値から計算されるいずれかの特徴量を含
む少なくとも２種以上抽出し、これより画像特徴量の分
布を作成し、得た分布を辞書データとして記憶すること
を特徴とする認識対象物体の物体領域抽出方法。
【請求項７】請求項２、請求項４または請求項６いずれ
か記載の物体領域抽出方法において、照合領域画像と辞書データの照合は、生成された画像特徴量の分布を一つないし複数の正規分
布と近似して、一つないし複数の対象物の分布に対し
て、参照データのマハラノビスの距離を算出し、前記距
離がある値以下の場合に当該対象物に属すると判別する
か、または、前記距離が最小となる対象物に属すると判
別することにより行うことを特徴とする認識対象物体の
物体領域抽出方法。
【請求項８】請求項２、請求項４または請求項６いずれ
か記載の物体領域抽出方法において、照合領域画像と辞書データの照合は、生成された画像特徴量の分布中の参照データの発生頻度
によって、当該参照データの発生確率を算出し、前記確
率を用いて判別を行うことを特徴とする認識対象物体の
物体領域抽出方法。
【請求項９】請求項１、請求項３または請求項５いずれ
か記載の物体領域抽出装置において、照合領域画像と辞書データの照合処理は、生成された画像特徴量の分布を一つないし複数の正規分
布と近似して、一つないし複数の対象物の分布に対し
て、参照データのマハラノビスの距離を算出し、前記距
離がある値以下の場合に当該対象物に属すると判別する
か、または、前記距離が最小となる対象物に属すると判
別することにより行うことを特徴とする認識対象物体の
物体領域抽出装置。
【請求項１０】請求項１、請求項３または請求項５いず
れか記載の物体領域抽出装置において、照合領域画像と辞書データの照合処理は、生成された画像特徴量分布中の参照データの発生頻度よ
り、当該参照データの発生確率を算出し、前記確率を用
いて判別することにより行うことを特徴とする認識対象
物体の物体領域抽出装置。
【請求項１１】種々の照明環境下で撮影して得た認識対
象物を含む各２次元画像のデータから前記認識対象物の
領域を抽出し、抽出した認識対象物の領域の画像データ
値から、画像輝度データ、または、注目画素と周囲画素
との分散値、または、注目画素と周囲画素の主成分方向
のうち、画像データ値から計算される特徴量を少なくと
も２種以上抽出して前記認識対象物の各位置に対する画
像特徴量の分布を作成し、この画像特徴量の分布を前記
認識対象物の辞書データとして記憶する手段と、前記認識対象物を含む処理対象の２次元画像を受けてこ
の画像のデータから照合領域画像を切り出し、この照合
領域画像を前記辞書データにもとづいて照合処理を施
し、前記記憶した認識対象物である確率を計算し、当該
確率が高くなる領域を物体領域として前記処理対象の２
次元画像から切り出す物体領域検出手段と、を具備する
ことを特徴とする認識対象物体の物体領域抽出装置。
【請求項１２】種々の照明環境下で撮影して得た認識対
象物を含む各２次元画像のデータから前記認識対象物の
領域を抽出し、抽出した認識対象物の領域の画像データ
値から、画像輝度データ、または、注目画素と周囲画素
との分散値、または、注目画素と周囲画素の主成分方向
のうち、画像データ値から計算されるいずれかを含む特
徴量を少なくとも２種以上抽出して、前記認識対象物の
辞書データとして記憶し、前記認識対象物を含む処理対象の２次元画像を受けてこ
の画像のデータから照合領域画像を切り出し、この照合
領域画像を前記辞書データにもとづいて照合処理を施
し、前記記憶した認識対象物である確率を計算し、当該
確率が高くなる領域を物体領域として前記処理対象の２
次元画像から切り出すことを特徴とする認識対象物体の
物体領域抽出方法。