JPH0721367A - 画像認識装置 - Google Patents
画像認識装置Info
- Publication number
- JPH0721367A JPH0721367A JP5150798A JP15079893A JPH0721367A JP H0721367 A JPH0721367 A JP H0721367A JP 5150798 A JP5150798 A JP 5150798A JP 15079893 A JP15079893 A JP 15079893A JP H0721367 A JPH0721367 A JP H0721367A
- Authority
- JP
- Japan
- Prior art keywords
- image
- learning
- learning sample
- input
- image recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
動作成させる学習型画像認識装置の学習サンプル数を自
動作成できるようにする。 【構成】 元となる学習サンプルのグループ内での変動
要因となる変動要素を考慮して、元になる学習サンプル
に電気的にあるいはソフトウエアなどによって画像の回
転とかノイズの重畳とかの変動要素であるパラメータを
変化させて与え、それぞれ元の学習サンプルから変化し
た多数の学習サンプルを作成する。この自動作成された
多数の学習サンプルを学習型画像認識装置に与え、学習
を行って判別ルールを作成し、画像認識を行う。
Description
された画像について、分類、識別、評価などを行う装置
で、そのための手法、法則などを学習方式で自動的に作
成し利用する装置に適用できる。本発明装置は、例えば
手書き文字認識や製品検査装置や果樹選別装置などに利
用されるもので、あからじめ学習用のサンプル画像を与
えておいて分類、識別、評価等の判別ルールを学習さ
せ、その学習した判別ルールに基づき、入力された画像
の分類、識別、評価などを行う装置に利用される。
れたいくつかの画像を分類する場合、たとえば製品検査
で良品と不良品を画像を使って分類する場合、それぞれ
の画像の特徴を画像データから抽出してその特徴を使っ
て分類するのが一般的である。行おうとしている分類に
はどのような特徴が必要であるかという、分類の法則を
自動的に生成する方法に学習型とよばれるタイプがあ
る。学習型装置では、学習時に複数の学習サンプル画像
と、そのサンプルがどの分類に属するかという情報を装
置に入力し、それぞれの分類集合に共通な特徴やそれぞ
れの分類集合で異なった特徴などを、学習サンプル画像
から自動的に見つけ、それによって分類の法則を生成す
る。判定時には学習時に生成した分類法則によって入力
された画像がどの集合に分類されるかを出力する。
ルネットワークを用いた画像認識装置などでも、異なる
学習サンプル画像を与えてニューラルネットワークに学
習をさせ、その後入力された画像の分類、識別等を行う
ものである。
学習サンプルとまったく同じことはきわめて希である。
そのため、学習サンプルについて同一分類になるものの
中での変動要素をつけ加えて学習する。このことで同一
集合内の変動で影響が大きい特徴は判別ルールでのウエ
イトが下がり、ほかの集合との差に影響される特徴に大
きなウエイトがかかるように判別ルールが自動作成され
る。
同一分類となるものでも変動要素があれば、それを変化
させた学習サンプル画像が必要になるため多くの学習サ
ンプル画像を必要とする。変動要素が複数になればその
組み合わせでさらに学習サンプルの数は増加する。さら
に判別時に安定した正確な判定を必要とすれば、ノイズ
なども変動要素として考慮しなければならない。そのた
め学習には非常に多くのサンプル画像が必要となる。ま
たその学習の為には非常に多くの手間が必要になる。
で、学習サンプル画像を自動的に作成してこれによって
学習画像認識装置に学習させることにより、多くのサン
プル画像を作成、用意する必要をなくし、また学習時間
を短縮することができる画像認識装置を提供することを
目的とする。
着目してなされたもので、一つあるいはいくつかの変動
要素を考慮した学習サンプル画像を複数自動的に生成す
る機能と、自動生成された複数の学習サンプル画像を用
いて、自動的に学習する機能と、判別時、あるいは学習
時に変化させる事ができる、あるいは変化してしまうい
くつかのパラメータを、それぞれの学習サンプル画像に
ついて学習時に自動的に変化させながら自動的に学習す
る機能をもつことを特徴とする。
れた複数の学習サンプル画像を認識し、別途入力され学
習サンプル画像がどのグループに属するかを指示する情
報に基づいて学習サンプル画像を分類し入力画像を分類
する判別ルールを自動的に作成する学習型画像認識装置
を備えた画像認識装置において、前記学習サンプル画像
として元になる学習サンプル画像に対して当該学習サン
プル画像のグループの範囲内の変動成分を与えて複数の
学習サンプル画像を生成して前記学習型画像認識装置に
与える自動学習サンプル生成手段を備えることを特徴と
する。
る学習サンプル画像に対する変動要素についての複数の
値をあらかじめ決められた手順で与えて複数の学習サン
プル画像を生成する手段を含むことが好ましい。
の変動要素についてあらかじめ作成されたその値の組み
合わせの表に基づいて元になる学習サンプル画像に複数
の変動要素の値を与えて学習サンプル画像を作成する手
段を含むことが好ましい。
の値の組み合わせ表は、その変動要素および値の発生頻
度に基づいて作成されることができる。
の変動要素の値について、指定した学習回数に対応し、
学習サンプル画像の変動要素の発生頻度に基づいて複数
の変動要素の値の組み合わせを作成する手段を含むこと
ができる。
サンプル画像を入力する画像入力装置を備え、この画像
入力装置を介して入力された学習サンプル画像に対して
変動成分である変換パラメータ操作を電気的に行うこと
ができる。
サンプル画像を入力する画像入力装置を備え、この画像
入力装置は、学習サンプル画像に対する機械的位置を変
動させる手段を備えて、一つの学習サンプル画像に対し
て複数の機械的位置をとり、多数の学習サンプル画像を
生成することができる。
サンプル画像を入力する画像入力装置を備え、この画像
入力手段は、学習サンプル画像に対して光学的な変動を
与える手段を備えて、一つの学習サンプル画像に対して
複数の光学的な変動を与えて多数の学習サンプル画像を
生成することができる。
らかじめ元となる複数の学習サンプル画像を記憶する画
像記憶装置と、この画像記憶装置に記憶された学習サン
プル画像を一時蓄積する画像メモリと、この画像メモリ
に蓄積された学習サンプル画像に対して変動パラメータ
演算処理を行う画像処理演算装置とを備えることができ
る。
つの画面に複数の学習サンプル画像を入力させ、当該分
割された領域内にそれぞれ一つの学習サンプル画像を入
力し、それぞれの学習サンプル画像に対して変動パラメ
ータ操作を行い、学習サンプル画像を生成する手段を備
えることができる。
画像認識装置に入力される画像信号をしきい値に基づい
て2値化信号に変換する2値化ユニットを備え、このし
きい値を入力画像から生成されたヒストグラムを統計的
に処理したしきい値を中心として変動させて複数の学習
サンプル画像を生成する手段を備え、前記学習型画像認
識装置は変動したしきい値により2値化された複数の学
習サンプル画像に基づいて学習を行う手段を備えること
を特徴とする。
し、このヒストグラムの時間変動に基づいてしきい値を
時間的に変化させて複数の学習サンプル画像を生成する
手段を備えることができる。
グループそれぞれについての代表的なサンプル画像と、
このサンプル画像に当該グループ内での画像の変動要
素、及び画像を取り込む時の条件の変動要素を与えた学
習サンプル画像を多数作成する。この変動要素を元にな
る学習サンプル画像に与える方式については、電気的あ
るいは光学的あるいは機械的に与える方式やまたソフト
ウエアによりサンプル画像に画像処理を行うことにより
与えることができる。作成された多数の学習サンプル画
像を学習型画像認識装置に与えて学習をさせる。
動値の組み合わせを表としてあらかじめ作成し、あるい
は変動要素の発生頻度に応じて変動値の組み合わせを作
成して、全ての変動要素の変動値の組み合わせを与える
ことなく元になる学習サンプル画像に変動を与えて学習
させる。
る。
画像認識装置のブロック図を示す。この実施例は、学習
モードでサンプル画像を入力して学習を行う学習型画像
認識装置1と、画像入力装置3と、この画像入力装置3
で入力された画像情報を一時蓄積する画像メモリ4と、
入力された画像の変換を行う画像変換ユニット2と、画
像メモリ4の画像と画像入力装置3からの画像とを切り
換えるセレクタ5と、画像変換を行う画像の変動要素情
報を持つ変動要素テーブル7と、この変動要素テーブル
7からの変動要素情報に基づいて画像変換ユニット2を
制御する画像変換コントローラ6と、これらの装置全体
を制御するメインコントローラ8とを備える。メインコ
ントローラ8と、学習型画像認識装置1、画像入力装置
3、画像メモリ4、セレクタ5、画像変換コントローラ
6、変動要素テーブル7とはバス9を介して接続されて
いる。
とし、それがどのグループに分類されるかといったクラ
スの出力を行う。また装置によっては画像から何らかの
量を認識し、その値を出力する。学習時には画像データ
とともにその画像データはどのグループに属するかを指
示することで自動的に画像データからいくつかの特徴量
を計測しそれらによって分類するためのルールを自動作
成する。図1ではメインコントローラ8の制御下におか
れていてメインコントローラ8の指示で学習モードに入
る。また学習に必要な画像の分類に関する情報などもメ
インコントローラ8からおくられる。この情報は、与え
られた学習サンプル画像がどの分類に属するかを指示す
る情報であり、いわば答えを与える先生の機能を果たす
情報であるといえる。
れ、必要に応じて画像メモリ4に蓄えられるともにセレ
クタ5を介して画像変換ユニット2へ入力される。画像
変換ユニット2では入力画像を画像変換コントローラ6
の指示で変換する。画像変換ユニット2の出力が学習型
画像認識装置1に入力され学習サンプルとして使われ
る。
ル7の情報を元に画像変換ユニット2をコントロールし
必要な画像の変換を行う。またこれらはメインコントロ
ーラ8によって制御される。
時は変動要素テーブル7には画像の回転を行うために必
要な情報がメインコントローラ8によって書き込まれ
る。必要な回転角度がたとえばプラスマイナス10度で
1度単位に回転が必要であれば変換要素テーブルには、
「画像の回転」という情報と「マイナス10度からプラ
ス10度まで」という情報と「1度おき」という情報が
書き込まれる。
ら画像変換ユニット2をコントロールし入力画像をマイ
ナス10度回転させたりマイナス9度回転させたりして
学習サンプル画像を作り出す。画像入力装置3によって
は画像変換ユニット2が変換したり学習型画像認識装置
1が学習したりする時間のあいだきめられた画像出力を
出し続ける事がむずかしいことがある。そのため一度画
像メモリ4に画像入力装置3からの画像を蓄え、セレク
タ5を画像メモリ4側に切り替えてこの画像を元の画像
としてつかう事もある。
トローラ8が学習型画像認識装置1に対して学習モード
を指示する。また変動要素テーブル7には必要な変動要
素とその値及び一度にどれくらいの変化を与えるかとい
った情報を書き込む。また元になる画像は画像入力装置
3から画像メモリ4に書き込まれる。メインコントロー
ラ8の指示で画像変換コントローラ6、画像変換ユニッ
ト2がもとの画像を変換する。たとえばマイナス10度
の回転を行う。この変換を行われた画像が学習型画像認
識装置1の学習サンプルとして入力される。このとき同
時にその画像がどのグループに属するかといったデータ
も入力され1度の学習が行われる。次にもとの画像はそ
のままで画像変換ユニット2によってたとえばマイナス
9度の回転をされた画像が学習される。これらを繰り返
す事で1つの画像を元に自動的に変動要素を考慮した画
像がつくられ学習される。
7を書き換えることで別の変動要素に付いても同様に学
習が行える。また複数の変動要素を組み合わせた学習も
行う事ができる。たとえば回転と拡大縮小といった組み
合わせである。
学習についてさらに説明する。
素とその変動要素の値が多数の場合、その全組み合わせ
は膨大になることがある。この場合、メモリ容量の大き
い演算装置や計算速度の速い演算装置が必要となり、学
習サンプル画像の生成の効率が悪くなる。そのため、必
要な量の変動要素とその値の組み合わせを作成して学習
サンプル画像を生成する方法が有効である。
る変動要素の項目とその値の範囲が次の表1のような項
目であったとする。
2(通り)となる。一般に画像の変動要因は普通ランダ
ムに発生するものであるから、すべての組み合わせを学
習データとすることは効率的とはいえない。
合わせの表を用意しておき、これにより変動要素を組み
合わせると、18通りで効率的な組み合わせを得ること
ができる。例えばNo.1は、A:回転−10度、B:
拡大縮小110%、C:ノイズ重畳大、D:しきい値
0.45Vの条件で学習することを表す。これにより各
変動要素の値が均等な出現頻度が確保されている。
組み合わせを学習したほうがよい場合があるので、表に
組み入れる変動要素を選択的に選ぶことを有効である。
布をもたせることもできる。この場合、表3に示すよう
にするとできる。この場合、回転については−10度、
+10度は18回のうち3回の割合だが、−1度、+1
度は6回出現している。また、変動要素やその値の数に
合わせてたくさんの表をあらかじめ用意しておくのが大
変なときは、変動要素に対応して表を作成すればよい。
として説明する。すなわち、最初に学習サンプル画像の
変動要素とその変動範囲を入力する(S1)。そして分
布の形を指定する(S2)。この分布の形とは確率分布
のタイプを示すもので正規分布等の確率分布を示す。こ
れにより変動要素の組み合わせごとの発生確率表を作成
する(S3)。総学習回数が入力されると(S4)、発
生頻度表を作成し(S5)、その表で発生頻度が1にな
らないようなものは隣接する組と融合し(S6、7)、
発生頻度の小さいものがなくなったところで、表の整数
化を行い(S8)、組み合わせ表を作成する。
習回数を指定することで、学習条件を自動的に作成でき
る。また、分布の形については正規分布やランプ関数を
組み合わせたものなどを使用するとよい。
環境に合わせた認識能力を効率的に高める上で効果的で
ある。この場合、図2のフローチャートを重み付けを付
加するように変更することで対応できる。
ブロックとして示す。
は、図示されていないがビデオ信号に同期をとって図3
の各部をコントロールする。
化される。この2値化ユニット11は入力された画像の
輝度あるいは色相彩度などのヒストグラムを元に入力画
像を2値化する。この2値化画像はマスク処理ユニット
12に入力される。マスク処理ユニット12では図4に
示すようなマスクパターンを画像に対してスキャンす
る。画像の中にマスクに対応する成分があるとその個数
をカウンタユニット13がカウントする。これによって
画像に対してそれぞれのマスクパターンに対応する成分
が幾つあるかわかる。これを初期特徴ベクトルとして演
算する。この例では25個のパターンがあるから25次
元のベクトルが得られる。この初期特徴ベクトルはコン
トローラ15にバス18を介して読み込まれる。コント
ローラ15はまたその画像がどの分類に対応するかとい
うクラス情報16を外部から得る。学習時にはサンプル
画像からの初期特徴ベクトルとこのクラス情報を使いコ
ントローラ15が判別分析のような統計的な分析を行
う。この分析によって数1のようなマトリクスAを求め
る。初期特徴ベクトルはこのマトリクスAで空間を変換
される。
同じでマトリクスAで空間を変換される。この変換され
た空間では、同一のクラスに分類される画像は近くに集
まっている。そのため判定しようとした画像のその空間
での位置がわかれば各クラスとの距離からどのクラスに
属するかを判定できる。
を回帰曲線に乗せるように変換を行えば入力画像がどの
クラスに分類されるかではなく、特定の量、たとえば個
数や対象物のランク付けなどを判定できる。
る。このユニットは画像の拡大縮小回転などを1フィー
ルドで行う事ができる。
心とした水平方向すなわちx方向の縮小については図5
のようになる。入力画像のx方向のピクセルの座標XW
と出力が画像のピクセルの座標XR は、90%縮小の場
合、図5のようにずれた位置にある。そこで出力ピクセ
ルに近い入力点2点を使って以下の数式により直線補間
を行う。
(x=2) すなわち、出力ピクセルX=0、X=10...ではた
またま入力ピクセルと一致するため、一致するピクセル
の値をそのまま出力する。しかし一般的には一致しない
ため、たとえば出力ピクセルX=1の時は、入力ピクセ
ルのX=1とX=2が近いためその距離に応じて係数を
掛けて足し合わせる。すなわち入力ピクセルX=1の値
に(1−0.11)、X=2の値に0.11を掛け足し
合わせる。
たが同様に二次元でも出力ピクセルの近傍四点の入力ピ
クセルから直線補間で求める。その直線補間を行う構成
のブロック図を図6に示す。
M4に同時に書き込まれる。この書き込みのアドレスは
書き込みアドレスカウンタ(WAC)25でつくられ
る。このアドレスは画像に対応して順に並んでいる。次
に読み出し時は読み出しアドレスカウンタ(RAC)2
6のアドレスはアドレス変換テーブルRA1〜RA4で
変換されメモリIM1〜IM4に入力される。またそれ
に対応して係数テーブルK1からK6で係数が読み出さ
れ、乗算器FU1からFU4で係数をかけられ加算器A
1でそれぞれ加算され定数K5を加えられ、わり算器F
U5でK6で割られて出力される。
入力画像の順でおこなわれ図7のWの格子にピクセルが
対応する。この例では回転をおこなっている。たとえば
いま読みだしピクセルにR(x,y)を求めようとする
と、この図のようにW(x1,y1)〜W(x2,y
2)の4点にそれぞれに係数をかけて得られ、次の式の
とおりとなる。
(x2,y1) +K3 W(x1,y2) +K4 W(x2,y2) +K5 )/
K6 リアルタイムで求めるために図6では必要な4点を同時
に求められるように同じデータを書き込んだメモリを四
組持っている。また図6の点線で囲まれた部分は30に
示すように二組ありフィールドあるいはフレーム毎に書
き込みと読み出しを交互に行う。これはタイミングコン
トローラ20でコントロールされる。
4、及び係数テーブルK1〜K6は一画面のピクセルに
対応する個数ある。また画像変換コントローラ6によっ
てこれらのテーブルは自由に書き換えられる。このため
画像の変換はその変換で出力に対応する入力ピクセルが
得られればどのような変換でも行える。またテーブルの
書換をビデオ信号のブランキング期間に行う事で動画に
対しての動的な変換も可能である。変換の例を図8に示
す。(a)は回転と拡大を同時に行った場合である。書
き込みエリアに対して読みだしは図のように内側で傾い
ている。逆に縮小をした場合、書き込みエリアに対して
読み出しが大きくなり書き込まれていない画素のデータ
が必要になるがその場合は真っ黒あるいは灰色などの決
まった値を使う事で演算ではエラーが生じないようにす
る。
像を変形している。また(c)ではレンズのゆがみに対
応したように画像を歪めている。
10のように明るさのむらなどの変形も可能である。図
10は図9で示すように画像のあるラインの輝度を縦方
向にとった図である。(d)はレンズのシェーディング
に対応した変形をしたものである。また(e)は照明む
らのように片側が明るい映像を平にしたものである。ま
た逆に(f)のように平な映像を変形させる事もでき
る。さらにネガポジ反転処理などもできる。
習サンプルから複数の映像を作り出す。変形は動画に対
してもカラー画像に対しても同様に行う事ができる。な
お図6では輝度だけを対象としたが、たとえば同様な回
路を三系統もつことでカラー画像にも適応でき、その場
合は変形だけでなく色を変化させる事もできる。これら
を組み合わせるとカラー画像で照明にむらがあって色の
シェーディングがあるような画像を作り出す事もでき
る。学習時にこの変形を行ったサンプルを加える事で色
のシェーディングに対して判定が強くなる。さらにむら
だけではなく画像全体のオフセットを加える事もでき
る。また、画像の縦横比やゆがみを加える事ができるか
らレンズの違いや光軸の傾きに対しても強くなる。
のブロック図を示す。
してビデオカメラを使うと、学習時と判定時とで電気
的、光学的、機械的に同一とすることは非常にむずかし
い。また判定時にも経時変化なども加わって同じ画像を
入力したつもりでも同じとはならない。このことは判定
結果を不安定にするノイズ成分となる。しかし学習型の
画像認識装置では、学習時にそういった変動要素を加え
た形で学習する事でノイズ成分に対しては鈍感にする事
ができ、ノイズに対しても安定な判別動作が期待でき
る。
的あるいは機械的な変動を学習サンプル画像に与えて学
習サンプル画像を生成し、学習型画像認識装置1に与え
る構成例であり、対象物体43を撮影するビデオカメラ
40およびそのレンズ41、ビデオカメラ40を載置す
る雲台42、照明用のライト44とその雲台45を備え
ている。また対象物体43も機構46により可動となっ
ている。また学習型画像認識装置1はA/Dコンバータ
49と変換テーブル50およびマスク処理ユニット1
2、コントローラ15を備えている。
ン、オフセット、及び非線形特性の変化などがある。図
11の第二実施例では学習型画像認装置1内のADコン
バータの部分のゲイン及びオフセットをメインコントロ
ーラ47がコントローラ15を介して可変できるように
なっていて、学習時にあらかじめきめた変動分の変動を
与えながら学習する。
を同様に変化させながら学習する。非線形成分のうち代
表的なものを図12(a)、(b)に示す。図12
(a)ではガンマ特性を示す。ガンマ特性は通常カメラ
の内部ではアナログ回路でつくられるためばらつきや変
動がある。また図12(b)にはニー特性を示す。輝度
が一定レベルを越えた場合の処理でカメラの内部ではや
はりアナログ回路によっているのが一般的であるため変
動要素となる。これらは変換テーブル50にメインコン
トローラの指示で書き込む事で、学習時に自動的に変動
させる。
トロールで電気的特性たとえばゲイン、ホワイトバラン
ス、シャッタースピードなどを変化させる事ができるの
でこれらもメインコントローラ47に接続しておく事で
自動的な変動を加えて学習させる事ができる。
レンズ41は外部からのコントロールで絞り、フォーカ
ス、ズームなどを変化させる事ができる。これは上述の
電気的変動の場合と同様にメインコントローラ47がコ
ントロールする。さらに図示されていないが、カメラ4
0の前に各種フィルタが入るときはフィルタをいくつか
用意して組み合わせたり入れ換えたりする事で分光特性
の変動を自動的に変動させる。またカメラ40の位置は
対象物体43に対して6自由度を持っている。これらを
コントロールするのが電動の雲台42である。またこの
雲台の動作スピードを早くする事でブレを起こす事もで
きる。そのときはカメラのシャッタースピードは遅くし
ておいた方が効果が大きい。
に対して動くようになっている。これもまたメインコン
トローラ47によって制御される。
り、やはり動かす事ができる。また図示されてはいない
が色温度などが異なった複数のライトを使いそれらの組
み合わせを行う事で照明の変動分を自動的に再現し学習
に使う事ができる。
をハードウエアで高速に行ったが、複雑な処理、たとえ
ば空間周波数領域でのフィルター処理、ランダムノイズ
や規則性ノイズを重畳させたり、広い範囲での画像情報
を使った処理などはハードウェアでは規模が非常に大き
くなってしまい、ソフトウェアでの処理のほうが望まし
い場合がある。
タを振りながら自動的に行うため、元になるサンプル画
像を自動的に用意する事ができれば時間はかかるが、手
間はかからない。
く、画像入力装置3の後に画像記録装置51を設け、こ
の画像記録装置51に記録された学習サンプル画像を画
像メモリ52、画像処理演算装置53により画像処理
し、当該学習サンプルの群に属する範囲内で変動パラメ
ータを与えて複数の学習サンプル画像を生成し、学習型
画像認識装置1に学習サンプル画像として与えるもので
ある。
置の後に画像記録装置51を設けそれをメインコントロ
ーラ8がコントロールしている。この画像記録装置51
は、デジタル光ディスクやデジタルビデオテープレコー
ダ、半導体メモリ装置などで、画像を記録した事でその
画像の劣化が、十分に小さいものであることが必要であ
る。
度画像メモリ52に書き込まれる。この画像メモリ52
は、画像処理演算装置53と組になってソフトウェアで
画像の変換処理を行う事ができる。たとえば空間周波数
領域でのローパスフィルタをかける事でボケを加えた
り、特定周波数を強調して伝送路の歪をシミュレートし
たり、画像全体での色情報から照明のスペクトルを類推
し色温度を変換したり、分光特性の違うカメラのシミュ
レートを行ったりできる。当然これらは一通りではなく
必要に応じて段階的に何通りかの変換の度合いをつけ
る。
として示しその動作を説明する。
1つ読みだし画像メモリ52に書き込む。この画像は元
になる画像であるから、まず1回目の学習を行う。画像
記録装置51には画像情報だけでなく、その画像がどの
クラス、あるいは特定の量がどのくらいあるかといった
学習に必要な情報も記録されている。なおこの情報は必
ずしも画像記録装置51に記録されている必要はなく学
習時に画像と対応して得られればよい。
2の内容をソフトウェアで操作して必要な画像の変形を
加え、その画像についてまた学習する。このとき変形し
た画像は、その変形がノイズに相当するのであれば先に
学習したサンプルと同じクラスになるが、その変形が画
像認識に意味のある変形たとえば、画像の向きを認識し
ようとした場合のミラー反転処理などの場合は当然別の
クラスとして学習する必要がある。
かじめ設定した変動量を終えるか、または逐次学習など
では必要な分布状態になれば次のサンプル画像を読み出
し同様に学習する。
の組み合わせをサンプル画像に与えて学習サンプル画像
を生成することもできる。
アで画像サンプルを変形し学習するため、非常に時間が
かかる。この例は少しでも時間を減らすものであるが、
第三実施例に限ったものではない。
画面54全体に必要な情報がある場合はまれで通常は図
15のように画面54のなかで必要な領域55を切り出
してその中の対象画像56について学習、判別などの処
理をおこなう。
数の対象画像を表示して、処理範囲をその中で移動する
ことで対象を選ぶ。図16(a)では左上の55が有効
処理領域のため対象画像は56であり、画像57などは
影響を与えない。56の学習が終わったら次に有効範囲
を右に移動させ(図16(b))、今度は57の画像を
学習させる。
習ができるためスピードが向上する。また画像の記録容
量も少なくできる。この例のように別のクラスとして学
習されるサンプルを複数画面にならべ同時に変形を加え
学習してもよいが、同じクラスとして学習されるサンプ
ルを同一画面にならべても良い。
その部分以外は影響がないためこの例では上半分を別の
画像に書換を行っている。58がその書換のラインで5
9の部分はすでに新しい画像になっている。画像記録装
置のアクセスが遅い場合などは学習と書換を同時に行う
事で時間を短縮する。またこの例では書き換えとした
が、画像の変形処理をこのように学習と同時に行うこと
もできる。また図示していないが画像メモリ51の容量
を増やしたり、複数備えることで同様に学習とそれ以外
の処理を平行して行う事ができる。
識装置は画像を2値化して処理を行う。画像の入力装置
としてビデオカメラを使い照明に蛍光灯を使った場合な
どは、フリッカを生じるため2値化した場合に影響が大
きい。このため、フリッカが生じるような画像入力があ
るとき、そのフリッカを減少させるような2値化ユニッ
ト11の構成を図18に示す。
る。この2値化ユニット11は、入力画像からヒストグ
ラムを生成するヒストグラム生成ユニット61と、しき
い値が設定されるしきい値設定回路63と、入力画像と
しきい値とを比較して2値画像を出力するコンパレータ
62を備え、ヒストグラム生成ユニット61およびしき
い値設定回路63はコントローラ15により制御され
る。
の輝度値のヒストグラムをつくる。コントローラ15は
このヒストグラムを元にして判別分析などの統計処理を
行って画像を2値化するためのしきい値を求める。この
しきい値をしきい値設定回路63に設定し、このしきい
値と元の画像をコンパレータ62で比較することで2値
画像とする。入力画像にフリッカがあるとヒストグラム
が同様にフリッカするためしきい値が安定しなくなる。
またヒストグラムを作成した画像と2値化する画像では
時間的な遅れが生じる場合がありそのときは適切な値で
はなくなってしまう。そのため学習時にはヒストグラム
から求めたしきい値を中心として変動させ幾つかの学習
を同じ画像について行う。これによって2値化の時のし
きい値の変動の影響をなくす事ができる。
カの状態から求める事もできるが、ヒストグラムから求
めたしきい値の時間的変化をみて、フリッカの周期より
も長い時間でのしきい値の最大値と最小値を使うのが簡
単である。その場合たとえば平均値と最大値と最小値を
つかって同じ画像にたいして3つの2値化処理を行った
3つの学習サンプルを用いて学習する。
第四実施例のように画像を処理し画像の時間平均をとる
こともできる。
してメロンの等級判別装置に応用した例を挙げてその学
習サンプル画像の自動生成を説明する。
表面の網目模様の学習サンプル例で、図19は上級、図
20は中級、図21は下級に分類されるものである。こ
の網目模様による選別は従来は熟練者の目視によって行
われてきた。
この学習サンプル網目模様を学習型画像認識装置1に学
習サンプル画像として与えて、網目模様による判定ルー
ルを作成させ、学習終了後に作成した判定ルールに基づ
いてメロンの等級選別を行う。この判定ルール作成は第
一実施例で説明した特徴ベクトルを用いる方法でも良い
し他の方法でもよい。
画像に対して変動要素として画像に回転を与えて生成し
た学習サンプル画像が図22ないし図24である。
て図19ないし図21の学習サンプル画像に対して回転
変動を与えた図22ないし図24の学習サンプル画像や
あるいは回転や縮小拡大だけでなく、ノイズ成分の重畳
等の一つの等級のグループの範囲内の変動要素を与えた
種々の学習サンプル画像を生成し学習型画像認識装置1
に与えて学習させることができる。
装置の学習モード時に与える学習サンプル画像を一つの
学習サンプル画像を元に多数自動的に作成して学習型画
像認識装置に与えて学習を行わせることができるため、
学習用サンプル画像の作成を省力化することができる。
また、人手を省いて自動的に学習させることができるた
め学習時間を短縮することができる。
成するアルゴリズムを説明するフローチャート。
例を示すブロック図。
トの構成の一例を示すブロック図。
性、(b)はニー特性。
ト。
う例を説明する図。
説明する図。
図。
(上級)
(中級)
(下級)
Claims (12)
- 【請求項1】 入力された複数の学習サンプル画像を認
識し、別途入力され学習サンプル画像がどのグループに
属するかを指示する情報に基づいて学習サンプル画像を
分類し入力画像を分類する判別ルールを自動的に作成す
る学習型画像認識装置を備えた画像認識装置において、 前記学習サンプル画像として元になる学習サンプル画像
に対して当該学習サンプル画像のグループの範囲内の変
動を与えて複数の学習サンプル画像を生成して前記学習
型画像認識装置に与える自動学習サンプル生成手段を備
えることを特徴とする画像認識装置。 - 【請求項2】 自動学習サンプル生成手段は、元になる
学習サンプル画像に対する変動要素についての複数の値
をあらかじめ決められた手順で与えて複数の学習サンプ
ル画像を生成する手段を含む請求項1記載の画像認識装
置。 - 【請求項3】 自動学習サンプル生成手段は、複数の変
動要素についてあらかじめ作成されたその値の組み合わ
せの表に基づいて元になる学習サンプル画像に複数の変
動要素の値を与えて学習サンプル画像を作成する手段を
含む請求項2記載の画像認識装置。 - 【請求項4】 あらじめ作成された複数の変動要素の値
の組み合わせ表は、その変動要素および値の発生頻度に
基づいて作成された請求項3記載の画像認識装置。 - 【請求項5】 自動学習サンプル生成手段は、複数の変
動要素の値について、指定した学習回数に対応し、学習
サンプル画像の変動要素の発生頻度に基づいて複数の変
動要素の値の組み合わせを作成する手段を含む請求項2
または3記載の画像認識装置。 - 【請求項6】 自動学習サンプル生成手段は、学習サン
プル画像を入力する画像入力装置を備え、この画像入力
装置を介して入力された学習サンプル画像に対して変動
要素となる変換パラメータ操作を電気的に行う請求項1
ないし5いずれか記載の画像認識装置。 - 【請求項7】 自動学習サンプル生成手段は、学習サン
プル画像を入力する画像入力装置を備え、この画像入力
装置は、学習サンプル画像に対する機械的位置を変動さ
せる手段を備えて、一つの学習サンプル画像に対して複
数の機械的位置をとり、多数の学習サンプル画像を生成
する請求項1ないし5いずれか記載の画像認識装置。 - 【請求項8】 自動学習サンプル生成手段は、学習サン
プル画像を入力する画像入力装置を備え、この画像入力
手段は、学習サンプル画像に対して光学的な変動を与え
る手段を備えて、一つの学習サンプル画像に対して複数
の光学的な変動を与えて多数の学習サンプル画像を生成
する請求項1ないし5いずれか記載の画像認識装置。 - 【請求項9】 自動学習サンプル生成手段は、あらかじ
め元となる複数の学習サンプル画像を記憶する画像記憶
装置と、この画像記憶装置に記憶された学習サンプル画
像を一時蓄積する画像メモリと、この画像メモリに蓄積
された学習サンプル画像に対して変動パラメータ演算処
理を行う画像処理演算装置とを備える請求項1ないし5
いずれか記載の画像認識装置。 - 【請求項10】 画像メモリの画面を分割して一つの画
面に複数の学習サンプル画像を入力させ、当該分割され
た領域内にそれぞれ一つの学習サンプル画像を入力し、
それぞれの学習サンプル画像に対して変動パラメータ操
作を行い、学習サンプル画像を生成する手段を備える請
求項9記載の画像認識装置。 - 【請求項11】 入力された複数の学習サンプル画像を
認識し、別途入力され学習サンプル画像がどのグループ
に属するかを指示する情報に基づいて学習サンプル画像
を分類し、入力画像を分類する判別ルールを自動的に作
成する学習型画像認識装置を備えた画像認識装置におい
て、 学習型画像認識装置に入力される画像信号をしきい値に
基づいて2値化信号に変換する2値化ユニットを備え、 このしきい値を入力画像から生成されたヒストグラムを
統計的に処理したしきい値を中心として変動させて複数
の学習サンプル画像を生成する手段を備え、 前記学習型画像認識装置は変動したしきい値により2値
化された複数の学習サンプル画像に基づいて学習を行う
手段を備えることを特徴とする画像認識装置。 - 【請求項12】 入力画像からヒストグラムを生成し、
このヒストグラムの時間変動に基づいてしきい値を時間
的に変化させて複数の学習サンプル画像を生成する手段
を備える請求項11記載の画像認識装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP15079893A JP3347817B2 (ja) | 1993-06-22 | 1993-06-22 | 画像認識装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP15079893A JP3347817B2 (ja) | 1993-06-22 | 1993-06-22 | 画像認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0721367A true JPH0721367A (ja) | 1995-01-24 |
JP3347817B2 JP3347817B2 (ja) | 2002-11-20 |
Family
ID=15504667
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP15079893A Expired - Fee Related JP3347817B2 (ja) | 1993-06-22 | 1993-06-22 | 画像認識装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3347817B2 (ja) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011086183A (ja) * | 2009-10-16 | 2011-04-28 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
EP2345980A2 (en) | 2010-01-13 | 2011-07-20 | Hitachi, Ltd. | Classifier learning image production program, method, and system |
JP2016038732A (ja) * | 2014-08-07 | 2016-03-22 | キヤノン株式会社 | 情報処理装置、その制御方法およびコンピュータプログラム |
JP2017027269A (ja) * | 2015-07-21 | 2017-02-02 | 富士通株式会社 | 画像認識プログラム、画像認識方法及び画像認識装置 |
WO2018008426A1 (ja) * | 2016-07-08 | 2018-01-11 | ソニーセミコンダクタソリューションズ株式会社 | 信号処理装置および方法、並びに撮像装置 |
JPWO2017037896A1 (ja) * | 2015-09-02 | 2018-07-05 | 富士通株式会社 | 異常検知装置、異常検知方法、及び異常検知プログラム |
CN108697310A (zh) * | 2015-12-24 | 2018-10-23 | 奥林巴斯株式会社 | 图像处理装置、图像处理方法和程序 |
JP2018169672A (ja) * | 2017-03-29 | 2018-11-01 | 三菱電機インフォメーションシステムズ株式会社 | 教師画像を生成する方法、コンピュータおよびプログラム |
WO2020195015A1 (ja) * | 2019-03-27 | 2020-10-01 | 日本電気株式会社 | 画像処理装置、画像処理方法及びプログラムが格納された非一時的なコンピュータ可読媒体 |
KR102208690B1 (ko) * | 2020-07-23 | 2021-01-28 | 주식회사 어반베이스 | 데이터 증강 기반 스타일 분석 모델 학습 장치 및 방법 |
KR102208685B1 (ko) * | 2020-07-23 | 2021-01-28 | 주식회사 어반베이스 | 데이터 증강 기반 공간 분석 모델 학습 장치 및 방법 |
WO2021054200A1 (ja) | 2019-09-18 | 2021-03-25 | 富士フイルム株式会社 | 印刷物検査装置、印刷物検査方法、プログラム及び印刷装置 |
KR20210085124A (ko) * | 2019-12-30 | 2021-07-08 | 한국과학기술연구원 | 학습된 기계학습 모델의 성능을 개선하기 위한 가상 학습데이터 생성 방법 및 이를 수행하는 장치 |
-
1993
- 1993-06-22 JP JP15079893A patent/JP3347817B2/ja not_active Expired - Fee Related
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011086183A (ja) * | 2009-10-16 | 2011-04-28 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
US8873839B2 (en) | 2009-10-16 | 2014-10-28 | Canon Kabushiki Kaisha | Apparatus of learning recognition dictionary, and method of learning recognition dictionary |
EP2345980A2 (en) | 2010-01-13 | 2011-07-20 | Hitachi, Ltd. | Classifier learning image production program, method, and system |
US8538141B2 (en) | 2010-01-13 | 2013-09-17 | Hitachi, Ltd. | Classifier learning image production program, method, and system |
JP2016038732A (ja) * | 2014-08-07 | 2016-03-22 | キヤノン株式会社 | 情報処理装置、その制御方法およびコンピュータプログラム |
JP2017027269A (ja) * | 2015-07-21 | 2017-02-02 | 富士通株式会社 | 画像認識プログラム、画像認識方法及び画像認識装置 |
US10664964B2 (en) | 2015-09-02 | 2020-05-26 | Fujitsu Limited | Abnormal detection apparatus and method |
JPWO2017037896A1 (ja) * | 2015-09-02 | 2018-07-05 | 富士通株式会社 | 異常検知装置、異常検知方法、及び異常検知プログラム |
CN108697310A (zh) * | 2015-12-24 | 2018-10-23 | 奥林巴斯株式会社 | 图像处理装置、图像处理方法和程序 |
US10748279B2 (en) | 2015-12-24 | 2020-08-18 | Olympus Corporation | Image processing apparatus, image processing method, and computer readable recording medium |
WO2018008426A1 (ja) * | 2016-07-08 | 2018-01-11 | ソニーセミコンダクタソリューションズ株式会社 | 信号処理装置および方法、並びに撮像装置 |
JP2018169672A (ja) * | 2017-03-29 | 2018-11-01 | 三菱電機インフォメーションシステムズ株式会社 | 教師画像を生成する方法、コンピュータおよびプログラム |
JPWO2020195015A1 (ja) * | 2019-03-27 | 2020-10-01 | ||
WO2020195015A1 (ja) * | 2019-03-27 | 2020-10-01 | 日本電気株式会社 | 画像処理装置、画像処理方法及びプログラムが格納された非一時的なコンピュータ可読媒体 |
WO2021054200A1 (ja) | 2019-09-18 | 2021-03-25 | 富士フイルム株式会社 | 印刷物検査装置、印刷物検査方法、プログラム及び印刷装置 |
KR20210085124A (ko) * | 2019-12-30 | 2021-07-08 | 한국과학기술연구원 | 학습된 기계학습 모델의 성능을 개선하기 위한 가상 학습데이터 생성 방법 및 이를 수행하는 장치 |
KR102208690B1 (ko) * | 2020-07-23 | 2021-01-28 | 주식회사 어반베이스 | 데이터 증강 기반 스타일 분석 모델 학습 장치 및 방법 |
KR102208685B1 (ko) * | 2020-07-23 | 2021-01-28 | 주식회사 어반베이스 | 데이터 증강 기반 공간 분석 모델 학습 장치 및 방법 |
WO2022019389A1 (ko) * | 2020-07-23 | 2022-01-27 | 주식회사 어반베이스 | 데이터 증강 기반 공간 분석 모델 학습 장치 및 방법 |
WO2022019391A1 (ko) * | 2020-07-23 | 2022-01-27 | 주식회사 어반베이스 | 데이터 증강 기반 스타일 분석 모델 학습 장치 및 방법 |
KR20220012786A (ko) * | 2020-07-23 | 2022-02-04 | 주식회사 어반베이스 | 데이터 증강 기반 스타일 분석 모델 학습 장치 및 방법 |
KR20220012784A (ko) * | 2020-07-23 | 2022-02-04 | 주식회사 어반베이스 | 데이터 증강 기반 공간 분석 모델 학습 장치 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
JP3347817B2 (ja) | 2002-11-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7443366B2 (ja) | 画像強調のための人工知能技法 | |
JP2956213B2 (ja) | 画像処理装置 | |
CN101460975B (zh) | 采用非线性和/或空间变化图像处理的光学成像系统与方法 | |
US6912313B2 (en) | Image background replacement method | |
JP4746050B2 (ja) | ビデオデータを処理するための方法及びシステム | |
JP3347817B2 (ja) | 画像認識装置 | |
CN108537749A (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
CN101335821A (zh) | 提高图像的动态范围的方法和设备 | |
CN108540716A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
Yee et al. | Segmentation and adaptive assimilation for detail-preserving display of high-dynamic range images | |
CN111460946A (zh) | 一种基于图像的芯片信息快速采集和识别方法 | |
EP3363193B1 (en) | Device and method for reducing the set of exposure times for high dynamic range video imaging | |
WO2013114803A1 (ja) | 画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム | |
CN104010134B (zh) | 用于形成具有宽动态范围的系统和方法 | |
JP2006140952A (ja) | 画像処理装置および画像処理方法 | |
KR100886323B1 (ko) | 컬러 히스토그램을 이용한 실시간 물체 추적 방법 및 장치 | |
WO2021060165A1 (ja) | 画像認識装置、画像認識システム、画像認識方法及びプログラム | |
CN114125319A (zh) | 图像传感器、摄像模组、图像处理方法、装置和电子设备 | |
US7362910B2 (en) | Color image characterization, enhancement and balancing process | |
WO2013114802A1 (ja) | 画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム | |
US11983853B1 (en) | Techniques for generating training data for machine learning enabled image enhancement | |
JP2018190394A (ja) | 監視ビデオにおけるデータの拡張方法及び装置 | |
JPH08138025A (ja) | 画像識別パラメータの決定方法及び画像認識方法 | |
KR102164524B1 (ko) | 영상 화질 보정 방법 및 이를 이용한 장치 | |
Kanon | Real-time video Bokeh |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080906 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090906 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100906 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100906 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110906 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120906 Year of fee payment: 10 |
|
LAPS | Cancellation because of no payment of annual fees |