JP3347817B2 - 画像認識装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ＴＶカメラなどで撮影
された画像について、分類、識別、評価などを行う装置
で、そのための手法、法則などを学習方式で自動的に作
成し利用する装置に適用できる。本発明装置は、例えば
手書き文字認識や製品検査装置や果樹選別装置などに利
用されるもので、あからじめ学習用のサンプル画像を与
えておいて分類、識別、評価等の判別ルールを学習さ
せ、その学習した判別ルールに基づき、入力された画像
の分類、識別、評価などを行う装置に利用される。

【０００２】

【従来の技術】ＴＶカメラなどの画像入力装置で撮影さ
れたいくつかの画像を分類する場合、たとえば製品検査
で良品と不良品を画像を使って分類する場合、それぞれ
の画像の特徴を画像データから抽出してその特徴を使っ
て分類するのが一般的である。行おうとしている分類に
はどのような特徴が必要であるかという、分類の法則を
自動的に生成する方法に学習型とよばれるタイプがあ
る。学習型装置では、学習時に複数の学習サンプル画像
と、そのサンプルがどの分類に属するかという情報を装
置に入力し、それぞれの分類集合に共通な特徴やそれぞ
れの分類集合で異なった特徴などを、学習サンプル画像
から自動的に見つけ、それによって分類の法則を生成す
る。判定時には学習時に生成した分類法則によって入力
された画像がどの集合に分類されるかを出力する。

【０００３】また、近年盛んに研究されているニューラ
ルネットワークを用いた画像認識装置などでも、異なる
学習サンプル画像を与えてニューラルネットワークに学
習をさせ、その後入力された画像の分類、識別等を行う
ものである。

【０００４】実際には判定する場合、入力された画像が
学習サンプルとまったく同じことはきわめて希である。
そのため、学習サンプルについて同一分類になるものの
中での変動要素をつけ加えて学習する。このことで同一
集合内の変動で影響が大きい特徴は判別ルールでのウエ
イトが下がり、ほかの集合との差に影響される特徴に大
きなウエイトがかかるように判別ルールが自動作成され
る。

【０００５】

【発明が解決しようとする課題】学習をさせる場合に、
同一分類となるものでも変動要素があれば、それを変化
させた学習サンプル画像が必要になるため多くの学習サ
ンプル画像を必要とする。変動要素が複数になればその
組み合わせでさらに学習サンプルの数は増加する。さら
に判別時に安定した正確な判定を必要とすれば、ノイズ
なども変動要素として考慮しなければならない。そのた
め学習には非常に多くのサンプル画像が必要となる。ま
たその学習の為には非常に多くの手間が必要になる。

【０００６】本発明は上述の問題に鑑みなされたもの
で、学習サンプル画像を自動的に作成してこれによって
学習画像認識装置に学習させることにより、多くのサン
プル画像を作成、用意する必要をなくし、また学習時間
を短縮することができる画像認識装置を提供することを
目的とする。

【０００７】

【課題を解決するための手段】本発明は上記した事情に
着目してなされたもので、一つあるいはいくつかの変動
要素を考慮した学習サンプル画像を複数自動的に生成す
る機能と、自動生成された複数の学習サンプル画像を用
いて、自動的に学習する機能と、判別時、あるいは学習
時に変化させる事ができる、あるいは変化してしまうい
くつかのパラメータを、それぞれの学習サンプル画像に
ついて学習時に自動的に変化させながら自動的に学習す
る機能をもつことを特徴とする。

【０００８】すなわち、本発明の観点は、入力された複
数の学習サンプル画像を認識し、別途入力され学習サン
プル画像がどのグループに属するかを指示する情報に基
づいて学習サンプル画像を分類し入力画像を分類する判
別ルールを自動的に作成する学習型画像認識装置を備え
た画像認識装置において、前記学習サンプル画像として
元になる学習サンプル画像に対して当該学習サンプル画
像のグループの範囲内の変動を与えて複数の学習サンプ
ル画像を生成して前記学習型画像認識装置に与える自動
学習サンプル生成手段を備え、前記自動学習サンプル生
成手段は、前記元になる学習サンプル画像に対する変動
要素についての複数の値をあらかじめ決められた手順で
与えて、あらかじめ作成された複数の変動要素の値の組
み合わせの表に基づいて、前記元になる学習サンプル画
像に前記複数の変動要素の値を与えて、複数の学習サン
プル画像を生成する手段を含むことを特徴とする。

【０００９】また、前記あらかじめ作成された複数の変
動要素の値の組み合わせの表は、その変動要素および値
の発生頻度に基づいて作成されることができる。

【００１０】また、前記自動学習サンプル生成手段は、
複数の変動要素の値について、指定した学習回数に対応
し、学習サンプル画像の変動要素の発生頻度に基づいて
複数の変動要素の値の組み合わせを作成する手段を含む
ことができる。

【００１１】

【作用】本発明によれば、学習を行う場合に分類したい
グループそれぞれについての代表的なサンプル画像と、
このサンプル画像に当該グループ内での画像の変動要
素、及び画像を取り込む時の条件の変動要素を与えた学
習サンプル画像を多数作成する。この変動要素を元にな
る学習サンプル画像に与える方式については、電気的あ
るいは光学的あるいは機械的に与える方式やまたソフト
ウエアによりサンプル画像に画像処理を行うことにより
与えることができる。作成された多数の学習サンプル画
像を学習型画像認識装置に与えて学習をさせる。

【００１２】また、複数の変動要素については、その変
動値の組み合わせを表としてあらかじめ作成し、あるい
は変動要素の発生頻度に応じて変動値の組み合わせを作
成して、全ての変動要素の変動値の組み合わせを与える
ことなく元になる学習サンプル画像に変動を与えて学習
させる。

【００１３】

【実施例】以下図面を参照して本発明の実施例を説明す
る。

【００１４】（第一実施例） 図１に本発明第一実施例の画像認識装置のブロック図を
示す。この実施例は、学習モードでサンプル画像を入力
して学習を行う学習型画像認識装置１と、画像入力装置
３と、この画像入力装置３で入力された画像情報を一時
蓄積する画像メモリ４と、入力された画像の変換を行う
画像変換ユニット２と、画像メモリ４の画像と画像入力
装置３からの画像とを切り換えるセレクタ５と、画像変
換を行う画像の変動要素情報を持つ変動要素テーブル７
と、この変動要素テーブル７からの変動要素情報に基づ
いて画像変換ユニット２を制御する画像変換コントロー
ラ６と、これらの装置全体を制御するメインコントロー
ラ８とを備える。メインコントローラ８と、学習型画像
認識装置１、画像入力装置３、画像メモリ４、セレクタ
５、画像変換コントローラ６、変動要素テーブル７とは
バス９を介して接続されている。

【００１５】次に本第一実施例装置の動作を説明する。

【００１６】学習型画像認識装置１は画像データを入力
とし、それがどのグループに分類されるかといったクラ
スの出力を行う。また装置によっては画像から何らかの
量を認識し、その値を出力する。学習時には画像データ
とともにその画像データはどのグループに属するかを指
示することで自動的に画像データからいくつかの特徴量
を計測しそれらによって分類するためのルールを自動作
成する。図１ではメインコントローラ８の制御下におか
れていてメインコントローラ８の指示で学習モードに入
る。また学習に必要な画像の分類に関する情報などもメ
インコントローラ８からおくられる。この情報は、与え
られた学習サンプル画像がどの分類に属するかを指示す
る情報であり、いわば答えを与える先生の機能を果たす
情報であるといえる。

【００１７】画像データは画像入力装置３から入力さ
れ、必要に応じて画像メモリ４に蓄えられるともにセレ
クタ５を介して画像変換ユニット２へ入力される。画像
変換ユニット２では入力画像を画像変換コントローラ６
の指示で変換する。画像変換ユニット２の出力が学習型
画像認識装置１に入力され学習サンプルとして使われ
る。

【００１８】画像変換コントローラ６は変動要素テーブ
ル７の情報を元に画像変換ユニット２をコントロールし
必要な画像の変換を行う。またこれらはメインコントロ
ーラ８によって制御される。

【００１９】たとえば画像の回転角度が変動要素である
時は変動要素テーブル７には画像の回転を行うために必
要な情報がメインコントローラ８によって書き込まれ
る。必要な回転角度がたとえばプラスマイナス１０度で
１度単位に回転が必要であれば変換要素テーブルには、
「画像の回転」という情報と「マイナス１０度からプラ
ス１０度まで」という情報と「１度おき」という情報が
書き込まれる。

【００２０】画像変換コントローラ６はそれらの情報か
ら画像変換ユニット２をコントロールし入力画像をマイ
ナス１０度回転させたりマイナス９度回転させたりして
学習サンプル画像を作り出す。画像入力装置３によって
は画像変換ユニット２が変換したり学習型画像認識装置
１が学習したりする時間のあいだきめられた画像出力を
出し続ける事がむずかしいことがある。そのため一度画
像メモリ４に画像入力装置３からの画像を蓄え、セレク
タ５を画像メモリ４側に切り替えてこの画像を元の画像
としてつかう事もある。

【００２１】実際の学習は次のように行う。メインコン
トローラ８が学習型画像認識装置１に対して学習モード
を指示する。また変動要素テーブル７には必要な変動要
素とその値及び一度にどれくらいの変化を与えるかとい
った情報を書き込む。また元になる画像は画像入力装置
３から画像メモリ４に書き込まれる。メインコントロー
ラ８の指示で画像変換コントローラ６、画像変換ユニッ
ト２がもとの画像を変換する。たとえばマイナス１０度
の回転を行う。この変換を行われた画像が学習型画像認
識装置１の学習サンプルとして入力される。このとき同
時にその画像がどのグループに属するかといったデータ
も入力され１度の学習が行われる。次にもとの画像はそ
のままで画像変換ユニット２によってたとえばマイナス
９度の回転をされた画像が学習される。これらを繰り返
す事で１つの画像を元に自動的に変動要素を考慮した画
像がつくられ学習される。

【００２２】メインコントローラ８は変動要素テーブル
７を書き換えることで別の変動要素に付いても同様に学
習が行える。また複数の変動要素を組み合わせた学習も
行う事ができる。たとえば回転と拡大縮小といった組み
合わせである。

【００２３】この複数の変動要素の組み合わせを与える
学習についてさらに説明する。

【００２４】学習サンプル画像を生成する場合、変動要
素とその変動要素の値が多数の場合、その全組み合わせ
は膨大になることがある。この場合、メモリ容量の大き
い演算装置や計算速度の速い演算装置が必要となり、学
習サンプル画像の生成の効率が悪くなる。そのため、必
要な量の変動要素とその値の組み合わせを作成して学習
サンプル画像を生成する方法が有効である。

【００２５】例えば、元になる学習サンプル画像に与え
る変動要素の項目とその値の範囲が次の表１のような項
目であったとする。

【００２６】

【表１】 この場合、組み合わせの総数は、６×３×３×３＝１６
２（通り）となる。一般に画像の変動要因は普通ランダ
ムに発生するものであるから、すべての組み合わせを学
習データとすることは効率的とはいえない。

【００２７】そこで、表２に示すようなランダムの組み
合わせの表を用意しておき、これにより変動要素を組み
合わせると、１８通りで効率的な組み合わせを得ること
ができる。例えばＮｏ．１は、Ａ：回転−１０度、Ｂ：
拡大縮小１１０％、Ｃ：ノイズ重畳大、Ｄ：しきい値
０．４５Ｖの条件で学習することを表す。これにより各
変動要素の値が均等な出現頻度が確保されている。

【００２８】

【表２】 また、対象によって、あるいは変動要素によって全ての
組み合わせを学習したほうがよい場合があるので、表に
組み入れる変動要素を選択的に選ぶことを有効である。

【００２９】さらに、変動要素の値の中で発生頻度に分
布をもたせることもできる。この場合、表３に示すよう
にするとよい。この場合、回転については−１０度、＋
１０度は１８回のうち３回の割合だが、−１度、＋１度
は６回出現している。また、変動要素やその値の数に合
わせてたくさんの表をあらかじめ用意しておくのが大変
なときは、変動要素に対応して表を作成すればよい。

【００３０】

【表３】 この表を作成するアルゴリズムを図２にフローチャート
として説明する。すなわち、最初に学習サンプル画像の
変動要素とその変動範囲を入力する（Ｓ１）。そして分
布の形を指定する（Ｓ２）。この分布の形とは確率分布
のタイプを示すもので正規分布等の確率分布を示す。こ
れにより変動要素の組み合わせごとの発生確率表を作成
する（Ｓ３）。総学習回数が入力されると（Ｓ４）、発
生頻度表を作成し（Ｓ５）、その表で発生頻度が１にな
らないようなものは隣接する組と融合し（Ｓ６、７）、
発生頻度の小さいものがなくなったところで、表の整数
化を行い（Ｓ８）、組み合わせ表を作成する。

【００３１】このように、表を作成することにより、学
習回数を指定することで、学習条件を自動的に作成でき
る。また、分布の形については正規分布やランプ関数を
組み合わせたものなどを使用するとよい。

【００３２】さらに、変動要素に重み付けを行うことも
環境に合わせた認識能力を効率的に高める上で効果的で
ある。この場合、図２のフローチャートを重み付けを付
加するように変更することで対応できる。

【００３３】次に学習型画像認識装置１の一例を図３に
ブロックとして示す。

【００３４】タイミングコントローラ（Ｔ．Ｃ）１４
は、図示されていないがビデオ信号に同期をとって図３
の各部をコントロールする。

【００３５】画像入力１０は２値化ユニット１１で２値
化される。この２値化ユニット１１は入力された画像の
輝度あるいは色相彩度などのヒストグラムを元に入力画
像を２値化する。この２値化画像はマスク処理ユニット
１２に入力される。マスク処理ユニット１２では図４に
示すようなマスクパターンを画像に対してスキャンす
る。画像の中にマスクに対応する成分があるとその個数
をカウンタユニット１３がカウントする。これによって
画像に対してそれぞれのマスクパターンに対応する成分
が幾つあるかわかる。これを初期特徴ベクトルとして演
算する。この例では２５個のパターンがあるから２５次
元のベクトルが得られる。この初期特徴ベクトルはコン
トローラ１５にバス１８を介して読み込まれる。コント
ローラ１５はまたその画像がどの分類に対応するかとい
うクラス情報１６を外部から得る。学習時にはサンプル
画像からの初期特徴ベクトルとこのクラス情報を使いコ
ントローラ１５が判別分析のような統計的な分析を行
う。この分析によって数１のようなマトリクスＡを求め
る。初期特徴ベクトルはこのマトリクスＡで空間を変換
される。

【００３６】

【数１】 判定 は初期特徴ベクトルを求めるところまでは学習と
同じでマトリクスＡで空間を変換される。この変換され
た空間では、同一のクラスに分類される画像は近くに集
まっている。そのため判定しようとした画像のその空間
での位置がわかれば各クラスとの距離からどのクラスに
属するかを判定できる。

【００３７】また分析の手法をかえて初期特徴ベクトル
を回帰曲線に乗せるように変換を行えば入力画像がどの
クラスに分類されるかではなく、特定の量、たとえば個
数や対象物のランク付けなどを判定できる。

【００３８】次に画像変換ユニット６について説明す
る。このユニットは画像の拡大縮小回転などを１フィー
ルドで行う事ができる。

【００３９】処理は次のように行う。たとえば原点を中
心とした水平方向すなわちｘ方向の縮小については図５
のようになる。入力画像のｘ方向のピクセルの座標Ｘ_W
と出力が画像のピクセルの座標Ｘ_R は、９０％縮小の場
合、図５のようにずれた位置にある。そこで出力ピクセ
ルに近い入力点２点を使って以下の数式により直線補間
を行う。

【００４０】 Ｘ′_W ＝１／０．９Ｘ_R Ｘ_R ＝９のとき、Ｘ′_W ＝１０ Ｒ_(x=9) ＝Ｗ_(x=10) Ｘ_R ＝１のとき、Ｘ′_W ＝１．１１ Ｒ_(x=1) ＝（１−０．１１）・Ｗ_(x=1) ＋０．１１・Ｗ_{(x=2 )} すなわち、出力ピクセルＸ＝０、Ｘ＝１０．．．ではた
またま入力ピクセルと一致するため、一致するピクセル
の値をそのまま出力する。しかし一般的には一致しない
ため、たとえば出力ピクセルＸ＝１の時は、入力ピクセ
ルのＸ＝１とＸ＝２が近いためその距離に応じて係数を
掛けて足し合わせる。すなわち入力ピクセルＸ＝１の値
に（１−０．１１）、Ｘ＝２の値に０．１１を掛け足し
合わせる。

【００４１】以上は一次元の縮小の場合についてであっ
たが同様に二次元でも出力ピクセルの近傍四点の入力ピ
クセルから直線補間で求める。その直線補間を行う構成
のブロック図を図６に示す。

【００４２】入力された画像は四つのメモリＩＭ１〜Ｉ
Ｍ４に同時に書き込まれる。この書き込みのアドレスは
書き込みアドレスカウンタ（ＷＡＣ）２５でつくられ
る。このアドレスは画像に対応して順に並んでいる。次
に読み出し時は読み出しアドレスカウンタ（ＲＡＣ）２
６のアドレスはアドレス変換テーブルＲＡ１〜ＲＡ４で
変換されメモリＩＭ１〜ＩＭ４に入力される。またそれ
に対応して係数テーブルＫ１からＫ６で係数が読み出さ
れ、乗算器ＦＵ１からＦＵ４で係数をかけられ加算器Ａ
１でそれぞれ加算され定数Ｋ５を加えられ、わり算器Ｆ
Ｕ５でＫ６で割られて出力される。

【００４３】原理は図７に示すようになる。書き込みは
入力画像の順でおこなわれ図７のＷの格子にピクセルが
対応する。この例では回転をおこなっている。たとえば
いま読みだしピクセルにＲ（ｘ，ｙ）を求めようとする
と、この図のようにＷ（ｘ１，ｙ１）〜Ｗ（ｘ２，ｙ
２）の４点にそれぞれに係数をかけて得られ、次の式の
とおりとなる。

【００４４】 Ｒ_(x,y) ＝（Ｋ₁ Ｗ_(x1,y1) ＋Ｋ₂ Ｗ_(x2,y1) ＋Ｋ₃ Ｗ_(x1,y2) ＋Ｋ₄ Ｗ_{(x2, y2)} ＋Ｋ₅ ）／Ｋ₆ リアルタイムで求めるために図６では必要な４点を同時
に求められるように同じデータを書き込んだメモリを四
組持っている。また図６の点線で囲まれた部分は３０に
示すように二組ありフィールドあるいはフレーム毎に書
き込みと読み出しを交互に行う。これはタイミングコン
トローラ２０でコントロールされる。

【００４５】読み出しアドレステーブルＲＡ１〜ＲＡ
４、及び係数テーブルＫ１〜Ｋ６は一画面のピクセルに
対応する個数ある。また画像変換コントローラ６によっ
てこれらのテーブルは自由に書き換えられる。このため
画像の変換はその変換で出力に対応する入力ピクセルが
得られればどのような変換でも行える。またテーブルの
書換をビデオ信号のブランキング期間に行う事で動画に
対しての動的な変換も可能である。変換の例を図８に示
す。（ａ）は回転と拡大を同時に行った場合である。書
き込みエリアに対して読みだしは図のように内側で傾い
ている。逆に縮小をした場合、書き込みエリアに対して
読み出しが大きくなり書き込まれていない画素のデータ
が必要になるがその場合は真っ黒あるいは灰色などの決
まった値を使う事で演算ではエラーが生じないようにす
る。

【００４６】（ｂ）では斜め方向から撮影したように画
像を変形している。また（ｃ）ではレンズのゆがみに対
応したように画像を歪めている。

【００４７】また大きさや形は変形させないときでも図
１０のように明るさのむらなどの変形も可能である。図
１０は図９で示すように画像のあるラインの輝度を縦方
向にとった図である。（ｄ）はレンズのシェーディング
に対応した変形をしたものである。また（ｅ）は照明む
らのように片側が明るい映像を平にしたものである。ま
た逆に（ｆ）のように平な映像を変形させる事もでき
る。さらにネガポジ反転処理などもできる。

【００４８】学習時はこれらの変形をつかって一つの学
習サンプルから複数の映像を作り出す。変形は動画に対
してもカラー画像に対しても同様に行う事ができる。な
お図６では輝度だけを対象としたが、たとえば同様な回
路を三系統もつことでカラー画像にも適応でき、その場
合は変形だけでなく色を変化させる事もできる。これら
を組み合わせるとカラー画像で照明にむらがあって色の
シェーディングがあるような画像を作り出す事もでき
る。学習時にこの変形を行ったサンプルを加える事で色
のシェーディングに対して判定が強くなる。さらにむら
だけではなく画像全体のオフセットを加える事もでき
る。また、画像の縦横比やゆがみを加える事ができるか
らレンズの違いや光軸の傾きに対しても強くなる。

【００４９】（第二実施例） 図１１に本発明第二実施例のブロック図を示す。

【００５０】一般に画像認識装置で、画像の入力手段と
してビデオカメラを使うと、学習時と判定時とで電気
的、光学的、機械的に同一とすることは非常にむずかし
い。また判定時にも経時変化なども加わって同じ画像を
入力したつもりでも同じとはならない。このことは判定
結果を不安定にするノイズ成分となる。しかし学習型の
画像認識装置では、学習時にそういった変動要素を加え
た形で学習する事でノイズ成分に対しては鈍感にする事
ができ、ノイズに対しても安定な判別動作が期待でき
る。

【００５１】図１１に示す例はこのような電気的、光学
的あるいは機械的な変動を学習サンプル画像に与えて学
習サンプル画像を生成し、学習型画像認識装置１に与え
る構成例であり、対象物体４３を撮影するビデオカメラ
４０およびそのレンズ４１、ビデオカメラ４０を載置す
る雲台４２、照明用のライト４４とその雲台４５を備え
ている。また対象物体４３も機構４６により可動となっ
ている。また学習型画像認識装置１はＡ／Ｄコンバータ
４９と変換テーブル５０およびマスク処理ユニット１
２、コントローラ１５を備えている。

【００５２】まず、電気的な変動要素としては、ゲイ
ン、オフセット、及び非線形特性の変化などがある。図
１１の第二実施例では学習型画像認装置１内のＡＤコン
バータの部分のゲイン及びオフセットをメインコントロ
ーラ４７がコントローラ１５を介して可変できるように
なっていて、学習時にあらかじめきめた変動分の変動を
与えながら学習する。

【００５３】また非線形特性は変換テーブル５０の内容
を同様に変化させながら学習する。非線形成分のうち代
表的なものを図１２（ａ）、（ｂ）に示す。図１２
（ａ）ではガンマ特性を示す。ガンマ特性は通常カメラ
の内部ではアナログ回路でつくられるためばらつきや変
動がある。また図１２（ｂ）にはニー特性を示す。輝度
が一定レベルを越えた場合の処理でカメラの内部ではや
はりアナログ回路によっているのが一般的であるため変
動要素となる。これらは変換テーブル５０にメインコン
トローラの指示で書き込む事で、学習時に自動的に変動
させる。

【００５４】またカメラ４０によっては外部からのコン
トロールで電気的特性たとえばゲイン、ホワイトバラン
ス、シャッタースピードなどを変化させる事ができるの
でこれらもメインコントローラ４７に接続しておく事で
自動的な変動を加えて学習させる事ができる。

【００５５】光学的な変動については次のように行う。
レンズ４１は外部からのコントロールで絞り、フォーカ
ス、ズームなどを変化させる事ができる。これは上述の
電気的変動の場合と同様にメインコントローラ４７がコ
ントロールする。さらに図示されていないが、カメラ４
０の前に各種フィルタが入るときはフィルタをいくつか
用意して組み合わせたり入れ換えたりする事で分光特性
の変動を自動的に変動させる。またカメラ４０の位置は
対象物体４３に対して６自由度を持っている。これらを
コントロールするのが電動の雲台４２である。またこの
雲台の動作スピードを早くする事でブレを起こす事もで
きる。そのときはカメラのシャッタースピードは遅くし
ておいた方が効果が大きい。

【００５６】同様に対象物体４３もカメラとライト４４
に対して動くようになっている。これもまたメインコン
トローラ４７によって制御される。

【００５７】ライト４４はカメラと同様な雲台４５にあ
り、やはり動かす事ができる。また図示されてはいない
が色温度などが異なった複数のライトを使いそれらの組
み合わせを行う事で照明の変動分を自動的に再現し学習
に使う事ができる。

【００５８】（第三実施例） 第一実施例では画像の変換をハードウエアで高速に行っ
たが、複雑な処理、たとえば空間周波数領域でのフィル
ター処理、ランダムノイズや規則性ノイズを重畳させた
り、広い範囲での画像情報を使った処理などはハードウ
ェアでは規模が非常に大きくなってしまい、ソフトウェ
アでの処理のほうが望ましい場合がある。

【００５９】一般に学習はコントローラで各種パラメー
タを振りながら自動的に行うため、元になるサンプル画
像を自動的に用意する事ができれば時間はかかるが、手
間はかからない。

【００６０】本第三実施例は、ハードウエア処理ではな
く、画像入力装置３の後に画像記録装置５１を設け、こ
の画像記録装置５１に記録された学習サンプル画像を画
像メモリ５２、画像処理演算装置５３により画像処理
し、当該学習サンプルの群に属する範囲内で変動パラメ
ータを与えて複数の学習サンプル画像を生成し、学習型
画像認識装置１に学習サンプル画像として与えるもので
ある。

【００６１】この例では図１３に示すように画像入力装
置の後に画像記録装置５１を設けそれをメインコントロ
ーラ８がコントロールしている。この画像記録装置５１
は、デジタル光ディスクやデジタルビデオテープレコー
ダ、半導体メモリ装置などで、画像を記録した事でその
画像の劣化が、十分に小さいものであることが必要であ
る。

【００６２】画像記録装置５１からの画像サンプルは一
度画像メモリ５２に書き込まれる。この画像メモリ５２
は、画像処理演算装置５３と組になってソフトウェアで
画像の変換処理を行う事ができる。たとえば空間周波数
領域でのローパスフィルタをかける事でボケを加えた
り、特定周波数を強調して伝送路の歪をシミュレートし
たり、画像全体での色情報から照明のスペクトルを類推
し色温度を変換したり、分光特性の違うカメラのシミュ
レートを行ったりできる。当然これらは一通りではなく
必要に応じて段階的に何通りかの変換の度合いをつけ
る。

【００６３】自動学習の様子を図１４にフローチャート
として示しその動作を説明する。

【００６４】まず画像記録装置５１からサンプル画像を
１つ読みだし画像メモリ５２に書き込む。この画像は元
になる画像であるから、まず１回目の学習を行う。画像
記録装置５１には画像情報だけでなく、その画像がどの
クラス、あるいは特定の量がどのくらいあるかといった
学習に必要な情報も記録されている。なおこの情報は必
ずしも画像記録装置５１に記録されている必要はなく学
習時に画像と対応して得られればよい。

【００６５】次に画像処理演算装置５３は画像メモリ５
２の内容をソフトウェアで操作して必要な画像の変形を
加え、その画像についてまた学習する。このとき変形し
た画像は、その変形がノイズに相当するのであれば先に
学習したサンプルと同じクラスになるが、その変形が画
像認識に意味のある変形たとえば、画像の向きを認識し
ようとした場合のミラー反転処理などの場合は当然別の
クラスとして学習する必要がある。

【００６６】次に変動量を変えて同様に学習する。あら
かじめ設定した変動量を終えるか、または逐次学習など
では必要な分布状態になれば次のサンプル画像を読み出
し同様に学習する。

【００６７】また、第一実施例と同じく複数の変動要素
の組み合わせをサンプル画像に与えて学習サンプル画像
を生成することもできる。

【００６８】（第四実施例） 第三実施例ではソフトウェアで画像サンプルを変形し学
習するため、非常に時間がかかる。この例は少しでも時
間を減らすものであるが、第三実施例に限ったものでは
ない。

【００６９】図１５は実際の学習の時の画像例を示す。
画面５４全体に必要な情報がある場合はまれで通常は図
１５のように画面５４のなかで必要な領域５５を切り出
してその中の対象画像５６について学習、判別などの処
理をおこなう。

【００７０】そこで図１６に示すように１つの画面に複
数の対象画像を表示して、処理範囲をその中で移動する
ことで対象を選ぶ。図１６（ａ）では左上の５５が有効
処理領域のため対象画像は５６であり、画像５７などは
影響を与えない。５６の学習が終わったら次に有効範囲
を右に移動させ（図１６（ｂ））、今度は５７の画像を
学習させる。

【００７１】これによって一枚の画面で複数の画像の学
習ができるためスピードが向上する。また画像の記録容
量も少なくできる。この例のように別のクラスとして学
習されるサンプルを複数画面にならべ同時に変形を加え
学習してもよいが、同じクラスとして学習されるサンプ
ルを同一画面にならべても良い。

【００７２】図１７は有効範囲が右下である。このとき
その部分以外は影響がないためこの例では上半分を別の
画像に書換を行っている。５８がその書換のラインで５
９の部分はすでに新しい画像になっている。画像記録装
置のアクセスが遅い場合などは学習と書換を同時に行う
事で時間を短縮する。またこの例では書き換えとした
が、画像の変形処理をこのように学習と同時に行うこと
もできる。また図示していないが画像メモリ５１の容量
を増やしたり、複数備えることで同様に学習とそれ以外
の処理を平行して行う事ができる。

【００７３】（第五実施例） 図３に示した学習型画像認識装置は画像を２値化して処
理を行う。画像の入力装置としてビデオカメラを使い照
明に蛍光灯を使った場合などは、フリッカを生じるため
２値化した場合に影響が大きい。このため、フリッカが
生じるような画像入力があるとき、そのフリッカを減少
させるような２値化ユニット１１の構成を図１８に示
す。

【００７４】図１８は２値化ユニットのブロック図であ
る。この２値化ユニット１１は、入力画像からヒストグ
ラムを生成するヒストグラム生成ユニット６１と、しき
い値が設定されるしきい値設定回路６３と、入力画像と
しきい値とを比較して２値画像を出力するコンパレータ
６２を備え、ヒストグラム生成ユニット６１およびしき
い値設定回路６３はコントローラ１５により制御され
る。

【００７５】ヒストグラム生成ユニット６１は入力画像
の輝度値のヒストグラムをつくる。コントローラ１５は
このヒストグラムを元にして判別分析などの統計処理を
行って画像を２値化するためのしきい値を求める。この
しきい値をしきい値設定回路６３に設定し、このしきい
値と元の画像をコンパレータ６２で比較することで２値
画像とする。入力画像にフリッカがあるとヒストグラム
が同様にフリッカするためしきい値が安定しなくなる。
またヒストグラムを作成した画像と２値化する画像では
時間的な遅れが生じる場合がありそのときは適切な値で
はなくなってしまう。そのため学習時にはヒストグラム
から求めたしきい値を中心として変動させ幾つかの学習
を同じ画像について行う。これによって２値化の時のし
きい値の変動の影響をなくす事ができる。

【００７６】しきい値の変動量はヒストグラムのフリッ
カの状態から求める事もできるが、ヒストグラムから求
めたしきい値の時間的変化をみて、フリッカの周期より
も長い時間でのしきい値の最大値と最小値を使うのが簡
単である。その場合たとえば平均値と最大値と最小値を
つかって同じ画像にたいして３つの２値化処理を行った
３つの学習サンプルを用いて学習する。

【００７７】なお、フリッカの影響を減らすためには、
第四実施例のように画像を処理し画像の時間平均をとる
こともできる。

【００７８】（応用例） ここで本発明を具体化した例としてメロンの等級判別装
置に応用した例を挙げてその学習サンプル画像の自動生
成を説明する。

【００７９】図１９ないし図２１は与えられたメロンの
表面の網目模様の学習サンプル例で、図１９は上級、図
２０は中級、図２１は下級に分類されるものである。こ
の網目模様による選別は従来は熟練者の目視によって行
われてきた。

【００８０】本発明を実施したメロン等級判別装置は、
この学習サンプル網目模様を学習型画像認識装置１に学
習サンプル画像として与えて、網目模様による判定ルー
ルを作成させ、学習終了後に作成した判定ルールに基づ
いてメロンの等級選別を行う。この判定ルール作成は第
一実施例で説明した特徴ベクトルを用いる方法でも良い
し他の方法でもよい。

【００８１】上述の図１９ないし図２１の学習サンプル
画像に対して変動要素として画像に回転を与えて生成し
た学習サンプル画像が図２２ないし図２４である。

【００８２】学習モード時には、学習サンプル画像とし
て図１９ないし図２１の学習サンプル画像に対して回転
変動を与えた図２２ないし図２４の学習サンプル画像や
あるいは回転や縮小拡大だけでなく、ノイズ成分の重畳
等の一つの等級のグループの範囲内の変動要素を与えた
種々の学習サンプル画像を生成し学習型画像認識装置１
に与えて学習させることができる。

【００８３】

【発明の効果】上述のように、本発明は学習型画像認識
装置の学習モード時に与える学習サンプル画像を一つの
学習サンプル画像を元に多数自動的に作成して学習型画
像認識装置に与えて学習を行わせることができるため、
学習用サンプル画像の作成を省力化することができる。
また、人手を省いて自動的に学習させることができるた
め学習時間を短縮することができる。

【図面の簡単な説明】

【図１】本発明第一実施例の構成を示すブロック図。

【図２】本実施例の変動要素とその値組み合わせ表を作
成するアルゴリズムを説明するフローチャート。

【図３】本発明実施例の学習型画像認識装置の構成の一
例を示すブロック図。

【図４】マスクパターン例

【図５】画像の縮小原理を説明する図。

【図６】入力ピクセルの直線補間を行う画像変換ユニッ
トの構成の一例を示すブロック図。

【図７】画像の回転の原理を説明する図。

【図８】画像の変形例を説明する図。

【図９】画像の変換例を説明する図。

【図１０】画像の変換例を説明する図。

【図１１】本発明第二実施例の構成を示すブロック図。

【図１２】非線形成分を説明する図、（ａ）はガンマ特
性、（ｂ）はニー特性。

【図１３】本発明第三実施例の構成を示すブロック図。

【図１４】第三実施例の動作を説明するフローチャー
ト。

【図１５】学習時の画像例を示す図。

【図１６】一つの画面に複数の画像を表示して学習を行
う例を説明する図。

【図１７】一つの画面の一部の画像を書き換える様子を
説明する図。

【図１８】第五実施例の２値化ユニットの構成を示す
図。

【図１９】メロンの学習用サンプル画像例（上級）

【図２０】メロンの学習用サンプル画像例（中級）

【図２１】メロンの学習用サンプル画像例（下級）

【図２２】生成されたメロンの学習用サンプル画像例
（上級）

【図２３】生成されたメロンの学習用サンプル画像例
（中級）

【図２４】生成されたメロンの学習用サンプル画像例
（下級）

【符号の説明】

１ 学習型画像認識装置 ２ 画像変換ユニット ３ 画像入力装置 ４ 画像メモリ ５ セレクタ ６ 画像変換コントローラ ７ 変動要素テーブル ８ メインコントローラ ９、１８ バス １０ 画像入力 １１ ２値化ユニット １２ マスク処理ユニット １３ カウンタユニット １４、２０ タイミングコントローラ １５ コントローラ １６ クラス情報 ２１ メモリ ２５ 書込みアドレスカウンタ ２６ 読出しアドレスカウンタ ２７ 読出しアドレステーブル ２８ 乗算器 ２９ 係数テーブル ４０ ビデオカメラ ４１ レンズ ４２、４５ 雲台 ４３ 対象物体 ４４ ライト ４６ 機構 ４７ メインコントローラ ４８ 変換要素テーブル ４９ ＡＤコンバータ ５０ 変換テーブル ５１ 画像記録装置 ５２ 画像メモリ ５３ 画像処理演算装置 ５４ 画面 ５５ 領域 ５６ 対象画像 ５７ 画像 ５９、６０ 領域 ５８ 書き換えライン ６１ ヒストグラム生成ユニット ６２ コンパレータ ６３ しきい値設定回路

フロントページの続き (56)参考文献 特開 平５−54195（ＪＰ，Ａ) 特開 平１−230164（ＪＰ，Ａ) 特開 昭64−82191（ＪＰ，Ａ) 特開 昭60−134982（ＪＰ，Ａ) 特開 昭62−38990（ＪＰ，Ａ) 特開 昭54−84421（ＪＰ，Ａ) 特開 昭48−54836（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/00 - 7/60 G06T 1/00 G06K 9/62 - 9/82

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 入力された複数の学習サンプル画像を認
   識し、別途入力され学習サンプル画像がどのグループに
   属するかを指示する情報に基づいて学習サンプル画像を
   分類し入力画像を分類する判別ルールを自動的に作成す
   る学習型画像認識装置を備えた画像認識装置において、 前記学習サンプル画像として元になる学習サンプル画像
   に対して当該学習サンプル画像のグループの範囲内の変
   動を与えて複数の学習サンプル画像を生成して前記学習
   型画像認識装置に与える自動学習サンプル生成手段を備
   え、前記自動学習サンプル生成手段は、前記元になる学習サ
   ンプル画像に対する変動要素についての複数の値をあら
   かじめ決められた手順で与えて、あらかじめ作成された
   複数の変動要素の値の組み合わせの表に基づいて、前記
   元になる学習サンプル画像に前記複数の変動要素の値を
   与えて、複数の学習サンプル画像を生成する手段を含む
   ことを特徴とする画像認識装置。
2. 【請求項２】 前記あらかじめ作成された複数の変動要
   素の値の組み合わせの表は、その変動要素および値の発
   生頻度に基づいて作成された請求項１に記載の画像認識
   装置。
3. 【請求項３】 前記自動学習サンプル生成手段は、複数
   の変動要素の値について、指定した学習回数に対応し、
   学習サンプル画像の変動要素の発生頻度に基づいて複数
   の変動要素の値の組み合わせを作成する手段を含む請求
   項１に記載の画像認識装置。