JPH07320054A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【目的】 画像入力手段とエッジ抽出処理手段との間に
部分領域毎の階調補正処理を付加することにより、画像
中の領域のエッジを正確に抽出できる画像処理装置を提
供すること。 【構成】 画像入力手段１からの入力画像を画像分割手
段２で複数の画像ブロックに分割し、画像情報抽出手段
３で各画像ブロックの画像情報を求め、階調補正手段４
で階調補正を行う。階調補正手段４では予め画像情報と
非線形階調補正曲線との関係を学習させてあり、学習結
果を基に画像情報を判断し、選択した非線形階調補正曲
線で対象画像ブロックを補正する。画像合成手段５で補
正後の各画像ブロックを１枚の画像に再合成し、エッジ
抽出手段６で合成後の画像からエッジを抽出して、画像
出力手段7から出力する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像処理装置、特にエ
ッジ抽出処理機能を備えた画像処理装置に関するもので
ある。

【０００２】

【従来の技術】従来、画像中の物体のエッジ抽出は、Ｔ
Ｖカメラからの画像信号をＡ／Ｄ変換し、そのまま微分
オペレータなどを用いたエッジ抽出手段に入力し、エッ
ジの抽出を行うものである。図１２に従来のエッジ抽出
を行う画像処理装置のブロック図を示す。

【０００３】まず、画像入力手段111から入力したＡ／
Ｄ変換後の画像信号（１枚分）は、エッジ抽出手段112
に送出される。エッジ抽出手段112は微分部112aとしき
い値処理部112b，細線化処理部112cにより構成され、画
像入力手段111から送出される画像信号はまず微分部112
aに入力される。微分部112aは、微分オペレータを１枚
の画像の各画素ごとに並列に適用して、各画素の濃度値
を微分する。

【０００４】微分オペレータの例としてプレヴィットの
オペレータとソーベルのオペレータを図１３に示す。微
分後の画像信号はしきい値処理部112bに送出され、しき
い値処理部112bは各画素に対してしきい値処理を施す。
つまり、各画素の微分濃度値がある値よりも大きければ
１，小さければ０を出力する。しきい値処理部112bで２
値化された画像信号は細線化処理部112cに送出され、線
幅１の中心線を抽出する。細線化処理部112cで細線化さ
れた画像、即ちエッジ画像は、画像出力手段113から出
力される。

【０００５】

【発明が解決しようとする課題】しかしながら、ＴＶカ
メラは自然の被写体に比べてダイナミックレンジが狭い
ため、上記の従来の構成でエッジ抽出を行うと、影の領
域の周囲を誤って抽出したり、影の領域中のエッジを正
しく抽出できないといった問題点を有する。具体例を図
１４に示す。

【０００６】図１４(a)は人の眼で見た室内画像であ
る。窓131から外光が差込み、外光により室内の箱132に
影が生じている。窓131は非常に明るく、室内は中程
度、箱132の影の部分は暗い。しかし、人の眼はダイナ
ミックレンジが広いため、影の領域内や窓の外の景色を
認識することができる。一方、図１４(b)はＴＶカメラ
で撮像した室内画像である。先に述べたように、ＴＶカ
メラはダイナミックレンジが狭いため、窓131に絞りを
合わせると、室内が非常に暗くなり、影の領域内の箱13
2をはっきり認識することができない。

【０００７】逆に室内に絞りを合わせると、窓131の領
域の輝度が飽和して白く見え、窓131の外の景色を認識
することができない。このような状態の画像に対してそ
のままエッジ抽出を行うと、図１４(c)のように箱132の
影をエッジとして誤って抽出したり、窓131の外の景色
や箱132の影の部分のエッジを抽出できないことが多
い。

【０００８】このように、通常の画像には明るい領域と
暗い領域との両方が存在するが、明るい領域に影響を及
ぼさずに暗い領域を明るく補正するには、画像１枚に対
して１種類の階調補正では不十分であった。

【０００９】本発明は、かかる点に鑑み、明るい領域を
そのままに、かつ暗い領域を明るく補正するために、画
像を複数のブロックに分割し、各ブロックに適した階調
補正を行って、明るい領域と暗い領域の両方からエッジ
を正しく抽出することができる画像処理装置を提供する
ことを目的とする。

【００１０】

【課題を解決するための手段】本発明は上記目的を達成
するため、画像入力手段から入力された画像を複数の画
像ブロックに分割する画像分割手段と、各画像ブロック
の画像信号から１種もしくは複数種の画像信号を抽出す
る画像情報抽出手段と、画像情報抽出手段で求めた画像
情報に基づいて各画像ブロックに適した階調補正を行っ
て抽出したいエッジを強調する階調補正手段と、階調補
正後の各画像ブロックを１枚の画像に再合成する画像合
成手段と、合成後の画像からエッジを抽出するエッジ抽
出手段とを有する構成である。

【００１１】

【作用】以上のように構成した画像処理装置は、画像分
割手段に一枚の画像信号を入力すると、画像信号を複数
の画像ブロックに分割して、画像情報抽出手段に各画像
ブロックごとに画像信号を送出する。画像情報抽出手段
は、各画像ブロックの画像信号から１種もしくは複数種
の画像情報を抽出，算出し、階調補正手段に送出する。
階調補正手段は、画像情報に基づいて各画像ブロックに
適した階調補正を行って抽出したいエッジを強調する。
画像合成手段は、階調補正手段から送られる画像ブロッ
クを１枚の画像に合成する。エッジ抽出手段は、画像合
成手段から送られた画像に対して微分オペレータなどを
用いてエッジを抽出し、得られたエッジ画像を画像出力
手段から出力する。

【００１２】このように、エッジ抽出前に階調補正を施
してダイナミックレンジの広い画像にすることにより、
従来法では抽出できないエッジを抽出することができ
る。例えば、図１４(b)の画像に階調補正を施して影の
領域内の物体のエッジを強調することにより、図１４
(d)のように、箱のエッジを正しく抽出することができ
る。

【００１３】

【実施例】以下、本発明の実施例について図面を参照し
て説明する。図１は、本発明による画像処理装置の一実
施例のブロック図を示したものである。

【００１４】図１において、１は画像入力手段である。
画像入力手段１から入力した１枚分の画像信号を画像分
割手段２において複数の画像ブロックに分割する。分割
した各画像ブロックの画像信号は画像情報抽出手段３に
送出される。画像情報抽出手段３は各画像ブロックから
１種類もしくは複数種の画像情報を抽出し、階調補正手
段４に送出する。階調補正手段４は各画像ブロックの画
像情報に基づいて、画像ブロック内の画像信号に対して
階調補正を行う。

【００１５】階調補正手段４は、非線形階調補正部41と
学習型非線形階調補正曲線選択部42と学習データ格納部
43で構成される。画像情報抽出手段３で求めた画像情報
は学習型非線形階調補正曲線選択部42に送出される。学
習型非線形階調補正曲線選択部42は、予め各種状態の画
像情報と階調補正に用いるべき非線形階調補正曲線との
関係を学習させてあり、学習結果に基づいて画像情報を
判断し、補正に用いるべき非線形階調補正曲線（もしく
は非線形階調補正曲線のパラメータ）を選択する。学習
型非線形階調補正曲線選択部42の結果と画像ブロック内
の補正対象領域の画像信号が非線形階調補正部41に送出
され、非線形階調補正部41では、選択された非線形階調
補正曲線を用いて補正対象領域に階調補正を行い、補正
した画像信号の出力を行う。

【００１６】画像合成手段５は、送られてきた各画像ブ
ロックを１枚の画像に再合成する。エッジ抽出手段６
は、合成された画像からエッジを抽出する。エッジ抽出
手段６で求めた画像は画像出力手段７から出力する。

【００１７】図２は画像分割手段２における分割方法の
例である。図２(a)のように１画像をいくつかの画像ブ
ロックに分割し、画像ブロック内の画像信号から求めた
画像情報に基づいて画像ブロック全域（図中のｍ×ｎ画
素）を補正対象領域として補正処理を施す場合と、図２
(b)のように各画像ブロックが互いに重なり合うように
画像ブロックを抽出し、画像ブロック内の画像信号から
求めた画像情報に基づいて画像ブロック内の中央部分の
領域（図中のｋ×ｌ画素）に補正処理を施す場合が挙げ
られる。つまり図２(b)の分割方法は、補正対象領域の
周りの情報も考慮することができる。図２(b)の場合、
ｋ＝ｍ／２，ｌ＝ｎ／２である。

【００１８】図３(a)は、図２(b)の場合の画像分割手段
２の一実施例のブロック図である。画像ブロック抽出部
21はある点（ｘ，ｙ）を重心とする、大きさｍ×ｎ画素
の画像ブロックを抽出し、画像情報抽出手段３にその画
像ブロック内の画像信号を送出する。初期状態はｘ，ｙ
ともに０である。また、大きさｋ×ｌ画素の画像ブロッ
クを階調補正手段４に送出する。抽出後、ｘ，ｙの値は
重心設定部22により更新される。

【００１９】重心設定部22の具体的な実施例を同図(b)
に示す。画像ブロック抽出部21から送られてきたｘ，ｙ
はそれぞれ経路選択部221a，221bに送出される。一枚の
画像の大きさをＸ×Ｙとするとき、経路選択器221aは、
ｘ＜Ｘであれば加算器222aにｘを送出し、ｋを加算して
出力する。ｘ＝Ｘであれば代入器223aにｘを送出し、ｘ
に０を代入して出力する。経路選択器221bは、ｘ＜Ｘで
あればそのままｙを出力する。ｘ＝Ｘであれば経路選択
器221cに送出する。経路選択器221cでは、ｙ＜Ｙであれ
ば加算器222bにｙを送出し、ｌを加算して出力する。ｙ
＝Ｙであれば代入器223bにｙを送出し、ｙに−１を代入
して出力する。重心設定部22から出力したｘ’，ｙ’は
スイッチ23に送出され、ｙ≠−１であれば、画像ブロッ
ク抽出部21にｘ’，ｙ’（新たに設定した重心）を出力
する。上記の構成により、画像情報抽出用の画像ブロッ
クが互いに重なり合うように、ラスタスキャン方向に画
像ブロックの重心を移動させて、各画像ブロックを抽出
することができる。

【００２０】図４は画像情報抽出手段３の一実施例を示
したものである。ここでは画像情報として、画像ブロッ
ク内の画素の輝度値を求め、それらを高輝度，中輝度，
低輝度の３つのレベルに分けて各々の頻度値を画像情報
とする。図４において、31は輝度算出部であり、画像分
割手段２から送出される画像ブロックの各画素のＲ，
Ｇ，Ｂ信号から輝度信号Ｙを作成する。32は輝度レベル
値記憶部であり、輝度レベルの境界値（図中のa，b）を
記憶している。33aは輝度レベル比較器であり、輝度算
出部31から送出される輝度値を輝度レベル値記憶部32が
記憶している値ａと比較し、輝度値Ｙの方が大きければ
カウンタ35aに１を加算し、小さければＡＮＤ回路34に
１を送出する。33bも輝度レベル比較器であり、33aと同
様に輝度レベル値記憶部が記憶している値ｂと輝度値Ｙ
とを比較し、輝度値Ｙの方が大きければＡＮＤ回路34に
１を送出し、小さければカウンタ35cに１を加算する。

【００２１】ＡＮＤ回路34は、輝度レベル比較器33a，3
3bからの出力がともに１であれば、カウンタ35bに１を
加算する。これにより、第１レベル値ａよりも大きい輝
度（高輝度），第１レベル値ａと第２レベル値ｂとの間
の輝度（中輝度），第２レベル値ｂよりも小さい輝度
（低輝度）の３種類の頻度を、それぞれカウンタ35a，3
5b，35cから求めることができる。なお、ここでは輝度
を３つのレベルに分けているが、輝度レベル比較器やＡ
ＮＤ回路を並列に接続することにより、より多くのレベ
ルに分けることができる。

【００２２】以上のように構成した画像処理装置につい
て以下その動作を説明する。まず、全体の処理の流れに
ついて説明する。図１の画像入力手段１から入力した１
枚分の画像信号（画像の大きさをＸ×Ｙとする）は、画
像分割手段２で画像ブロックに分割される。以下図３
(a)を用いて画像分割手段の動作について説明する。入
力された画像信号は画像ブロック抽出部21に送出され
る。画像分割ブロック抽出部21では、画像信号から２種
類の画像ブロックを抽出する。一つは画像情報抽出手段
３に送る画像ブロック１（ｍ×ｎ画素）、もう一つは階
調補正手段４に送る画像ブロック２（ｋ×ｌ画素）であ
る。これら２つのブロックは同心矩形であり、ｋ＝ｍ／
２，ｌ＝ｎ／２とすると、画像ブロック１の面積は画像
ブロック２の４倍となる。つまり、階調補正の基準とな
る画像情報を、階調補正対象の領域だけでなく、その周
りの画素も含めて算出することにより、周りの状況を考
慮した階調補正を行うことを目的としている。

【００２３】画像ブロックの抽出は、まず、画像の左上
（重心（０，０））から開始する。各画像ブロックを抽
出した後、重心の位置座標（ｘ，ｙ）を重心設定部22に
送出する。重心設定部22ではラスタスキャン方向に、ｋ
またはｌだけシフトする。例えば、入力した重心が
（０，０）であれば、加算器222aでｘ座標にｋを加算
し、（ｋ，０）を出力する。ｘ＜Ｘの間は同様にしてｘ
座標にｋを加算する。重心が（０，ｘ）まで移動すれ
ば、代入器223aでｘ座標に０を代入、加算器222bでｙ座
標にｌを加算して、（１，０）を出力する。これらの処
理を繰り返して、重心が（Ｘ，Ｙ）となれば、代入器22
3cでｙ座標に−１を代入する。スイッチ23は、ｙ＝−１
であれば経路を解放し、画像分割処理を終了する。この
ようにして、画像ブロック１が互いに重なりを持つよう
に各画像ブロックを順次抽出し、画像情報抽出手段３と
階調補正手段４とにそれぞれ画像ブロック１，画像ブロ
ック２を送出する。

【００２４】画像情報抽出手段３は、画像分割手段から
送られる大きさｍ×ｎ画素の画像ブロックから、その画
像ブロックの状態を示す情報を抽出する。本実施例で
は、画像ブロック内の各画素の輝度を求め、それらを３
つのレベル（高輝度，中輝度，低輝度）に分類し、各レ
ベルの頻度を画像情報として用いる。以下図４を用いて
説明する。

【００２５】輝度算出部31は、画像分割手段２から送出
される画像ブロックの各画素のＲ，Ｇ，Ｂ信号から輝度
信号Ｙを作成する。ＮＴＳＣ方式のテレビジョン信号で
は輝度信号Ｙは（数１）で求められる。

【００２６】

【数１】

【００２７】算出した輝度値は、輝度レベル比較器33a
において、高輝度レベルと中輝度レベルとの境界値ａと
比較し、Ｙ≧ａであれば高輝度レベル用カウンタ35aに
１を加算する。また、輝度レベル比較器33ｂにおいて、
中輝度レベルと低輝度レベルとの境界値ｂと輝度Ｙとを
比較し、Ｙ＜ｂであれば低輝度レベル用カウンタ33cに
１を加算する。Ｙ＜ａかつＹ≧ｂであれば中輝度レベル
用カウンタ33bに１を加算する。このようにして画像ブ
ロック内の画素を分類し、３種類の画像情報を求める。
これら３種類の画像情報は（数２）の関係式で表わすこ
とができるため、階調補正手段４には最低２種類の情報
を送出すればよい。

【００２８】

【数２】

【００２９】画像情報抽出手段３で求めた画像情報と画
像分割手段２で分割した画像ブロックは階調補正手段４
に送出される。先にも述べたように、画像情報抽出手段
３で求めた画像情報は学習型非線形階調補正曲線選択部
42に送出される。学習型非線形階調補正曲線選択部42
は、予め各種状態の画像情報と階調補正に用いるべき非
線形階調補正曲線との関係を学習させてある。例えば、
全体的に暗い画像ブロックから得た画像情報と全体的に
明るく補正する非線形階調補正曲線との関係，逆光の部
分を含む画像ブロックから得た画像情報と暗い画素のみ
を明るく補正する非線形階調補正曲線との関係などを予
め学習させる（学習についてはあとで詳しく述べる）。

【００３０】このように学習させた結果に基づいて画像
情報を判断し、補正に用いるべき非線形階調補正曲線，
もしくは非線形階調補正曲線のパラメータを選択する。
選択された非線形階調補正曲線（パラメータ）の結果と
画像ブロック内の補正対象領域の画像信号が非線形階調
補正部41に送出され、非線形階調補正部41では、選択さ
れた非線形階調補正曲線を用いて補正対象領域に対して
階調補正を行い、補正した画像信号の出力を行う。この
ように、予め学習型非線形階調補正曲線選択部42におい
て学習させておくことにより、画像の状態に応じてこれ
らの中から最適な非線形階調補正曲線を選ぶことができ
る。

【００３１】図１０(a)の非線形階調補正曲線は、（数
３）で求めることができる。

【００３２】

【数３】

【００３３】学習型非線形階調補正曲線選択部42におい
て（数３）内のガンマ番号（０〜７）の中から最適な番
号を選択する。

【００３４】図１０(b)の非線形階調補正曲線はシグモ
イド関数であり、（数４）で求めることができる。図中
及び（数４）中のパラメータa，b，cにはそれぞれ複数
個の候補があり、学習型非線形階調補正曲線選択部42に
おいて、各パラメータごとに候補の中から最適値を選択
する。もしくは、各パラメータの候補の組合せの中から
最適な組合せを選択する。

【００３５】

【数４】

【００３６】以上のような学習型非線形階調補正曲線選
択部を含む階調補正手段４で補正された各画像ブロック
は、画像合成手段５で１枚の画像に再合成され、エッジ
抽出手段６に送出される。エッジ抽出手段６は図１1に
示すような従来法を用いることが出来る。エッジ抽出手
段６でエッジ抽出を行った画像は、画像出力手段７から
出力する。

【００３７】以上の本実施例の画像処理の具体例につい
て図１１を参照しながら説明する。図１１(a)は原画像
である。この画像は窓101に絞りを合わせて撮像したも
ので、室内が非常に暗く、影の領域内の箱102をはっき
り認識することができない状態にある。この画像を画像
分割手段２で４等分して各画像ブロックの状態を見る
と、画像の右下の画像ブロックが全体的に暗く、箱102
のエッジがはっきり認識できていないことがわかる。

【００３８】そこで図１１(b)に示すように、この画像
ブロックを全体的に明るく補正して、影の部分の箱102
のエッジを強調する。図１１(c)は階調補正後の各画像
ブロック（図１１(b)）に対してエッジ抽出処理を行っ
た結果である。先に述べたように、右下の画像ブロック
に対して階調補正を行って箱102のエッジを強調してあ
るため、これらにエッジ抽出処理を施すと、図１１(c)
に示すように影の部分のエッジを正しく抽出することが
できる。

【００３９】このように、エッジ抽出前に階調補正を行
ってダイナミックレンジの広い画像にすることにより、
従来法では抽出できないエッジを抽出することができ
る。また、画像を複数のブロックに分割し、各ブロック
に適した階調補正を行うことにより、明るい領域をその
ままに、かつ暗い領域を明るく補正することができ、明
るい領域と暗い領域の両方からエッジを正しく抽出する
ことができる。

【００４０】次に学習型非線形階調補正曲線選択部42の
動作について、以下の図を用いて説明する。図５、図６
は学習型非線形階調補正曲線選択部42のネットワークを
構成する単位認識ユニット421の一実施例を示したもの
である。図中(a)の信号入力部4211と量子化器4212と経
路選択部4213とで単位ユニットを構成している。

【００４１】まず、信号入力部4211は、信号入力端子42
11aを介して入力した、認識の対象となる特徴デ−タを
量子化器4212に入力する。量子化器4212は、入力された
特徴デ−タを量子化し、量子化した値を経路選択部4213
に入力する。4213aは経路入力端子、4213b1及び4213b2
は経路出力端子で、単位認識ユニットを組み合わせてネ
ットワ−クを構成するときに、これらの端子を相互に連
結するものである。経路選択部4213は、量子化器4212か
ら入力された値に基づいて、経路入力端子4213aと、経
路出力端子4213b1又は4213b2との連結の仕方を変化させ
る様に構成してある。構造記憶部4214には、量子化器の
量子化の範囲と、量子化の個数と、経路選択部の経路入
力端子数及び経路出力端子数を記憶させてある。

【００４２】内部状態記憶部4215には、それまでに入力
された信号の平均、分散、入力総回数を単位認識ユニッ
トの内部状態として記憶させてある。複製作成部4216
は、内部状態記憶部4215に記憶させた内部状態がある一
定値に達したときに、構造記憶部に記憶させた単位認識
ユニットの量子化の範囲を２分割し、前記単位認識ユニ
ットの複製を作成させるように構成してある。

【００４３】単位認識ユニットは上記以外にも以下のよ
うに構成することができる。図５(b)は、図５(a)の経路
選択部を、１個の経路入力端子4213a1を有する経路入力
部4213aと、２個の経路出力端子4213b1と4213b2を有す
る経路出力部4213bと、スイッチ4213cとによって構成し
た実施例を示すものである。スイッチ4213cは、量子化
器4212から入力された値に基づき、経路入力部4213aの
経路入力端子4213a1と経路出力部4213bの経路出力端子4
213b1又は4213b2との連結の仕方を切り換えるようにし
たものである。

【００４４】図６(a)は、図５(a)の経路選択部4213を、
１個の経路入力端子4213a1を有する経路入力部4213a
と、２個の経路出力端子4213b1と4213b2を有する経路出
力部4213bと、経路荷重部4213dとによって構成した実施
例を示したものである。荷重4213d1、及び4213d2は、経
路出力部4213bの経路出力端子4213b1及び4213b2に出力
する経路出力信号に加える重みで、荷重器4213d0は、量
子化器4212の出力する値に応じて、これらの荷重を変化
させる。荷重4213d1及び4213d2は、経路入力部4213aか
ら入力された経路信号を重み付けし、経路出力部4213b
は、この重み付けした経路信号を経路出力端子4213b1及
び4213b2に出力する。

【００４５】図６(b)は、図６(a)の荷重器4213d0を学習
器4213d4に置き換えた実施例を示すものである。荷重42
13d1〜4213d3は、経路出力部4213bの経路出力端子4213b
1〜4213b3に出力する経路出力信号に加える重みで、学
習過程においては、学習器4213d4により、経路入力端子
4213a1に入力された値に応じて経路入力端子4213a1と量
子化器4212の出力値が指し示す経路出力端子との荷重が
更新される。認識過程においては、量子化器4212には信
号は入力されず、荷重4213d1〜4213d3は経路入力端子42
13a1から入力された経路信号を重み付けし、経路出力部
4213bはこの重み付けした経路信号を経路出力端子4213b
1〜4213b3に出力する。

【００４６】図７はしきい値処理ユニット422の一実施
例を示したものである。4221は経路入力部である。4222
は加算器で、複数の経路入力端子42211〜4221n（ｎは任
意の自然数）からの入力信号を加算する。しきい値処理
器4223は、加算器4222で加算した信号に対してしきい値
処理を行い、どのように経路出力端子4224へ出力するか
を決定する。

【００４７】図８は学習型非線形階調補正曲線選択部42
の一実施例を示したものである。本実施例では２個から
なる２種類の特徴データ（第１特徴データ，第２特徴デ
ータ）に基づき、３種類の解に分類，認識するもので、
単位認識ユニットを多層の階層状に相互結合させて、ネ
ットワ−クを構成してある。第１層，第２層を構成して
ある単位認識ユニットn11〜n12，及びn21〜n24は、例え
ば、図６(a)に示した単位認識ユニットを用いており、
第３層を構成する単位認識ユニットn31〜n38は、例え
ば、図６(b)に示した単位認識ユニットを用い、第４層
は図７に示したしきい値処理ユニット422を用いる。第
１，第２層目の単位認識ユニットの信号入力端子には判
別すべき特徴データを入力し、第３層目の単位認識ユニ
ットの信号入力端子には、学習動作時のみ、入力データ
の教師データを入力する。

【００４８】43は学習データ格納部であり、学習に用い
る特徴データ及び教師データを格納してある。44は複製
作成検出部であり、複製動作を起こした全ての単位認識
ユニットを検出し、複製を作成する第１，２層目の各単
位認識ユニットの下層に連結させた単位認識ユニットの
全てを含めて複製するように指示を出す。45は最大出力
ユニット検出器であり、前記第４層のしきい値処理ユニ
ット422の出力の中から最大出力を発生するユニットを
検出する。46は認識結果出力端子であり、最大出力ユニ
ット検出器45で求めたユニット番号を認識結果として出
力する。47は比較判定器であり、最大出力ユニット検出
器45の出力と、現在入力されている特徴データに対応す
る教師データとを比較することにより認識結果を判定
し、学習時には前記認識結果を第３層の単位認識ユニッ
トに出力する。

【００４９】次に、図８に示した学習型非線形階調補正
曲線選択部42の学習動作について説明する。学習動作は
フォワード処理と複製処理及び荷重変更処理とからな
る。まず、フォワード処理について説明する。

【００５０】第１層目の単位認識ユニットn11及びn12の
経路入力端子への経路信号として、まず１を与える。ま
た、これらのユニットの量子化器への信号入力端子に
は、認識対象物の第１の一連の特徴データを入力する。
この図の場合には、第１特徴データをそれぞれ２個の単
位認識ユニットに入力する。

【００５１】第１層目の単位認識ユニットn11，n12は、
量子化器でこれらの第１特徴データを量子化し、量子化
結果を荷重器4213d0に出力する。荷重器4213d0は、予め
設定されている入力データに対応する荷重並びに隣接区
間の荷重を、対応する量子化レベル位置に設定する。こ
のように１つの単位認識ユニットにおいて複数の経路が
選択され、第２層目の単位認識ユニットn21〜n24の経路
入力端子へ、経路信号と前記荷重を掛け合わせた値が送
出される。

【００５２】第２層目の単位認識ユニットの信号入力端
子には、学習データ格納部43から読みだされた認識対象
物の第２の特徴データを入力する。第１層目の場合と同
様にして複数の経路信号が選択され、第３層目の単位認
識ユニットn31〜n38の経路入力端子へ、経路信号と前記
荷重を掛け合わせた値が送出される。

【００５３】フォワード処理の場合、第３層の単位認識
ユニットn31〜n38の信号入力端子には教師データは入力
されない。従って荷重の変更は行われず、学習時の荷重
の状態が保持されており、各単位認識ユニットの経路入
力信号にこれらの荷重を乗じて、第４層目の全単位認識
ユニットの経路入力端子へ経路信号が送られる。第４層
目のしきい値処理ユニット422の加算器4222は入力され
た経路信号を加算する。しきい値処理器4223はこの信号
をしきい値処理し、経路出力部4224に出力する。ここ
で、しきい値処理を行う関数としてはシグモイド関数，
ステップ関数等を用いることができる。

【００５４】このようにして、入力した認識対象物の特
徴データに基づき、その時点の荷重による最終層のしき
い値処理ユニットの出力が計算され、最大出力ユニット
検出器45に出力される。最大出力ユニット検出器45は、
最も大きな出力を出しているユニットの番号を検出し、
認識結果出力端子46から出力する。

【００５５】次に、複製処理について説明する。まず、
単位認識ユニットの複製作成動作について、以下図５
(a)を用いてその動作を説明する。実際に複製を作成す
るためには、他の単位認識ユニットと全く結合がなく、
使用していない空の単位認識ユニットを用意する必要が
ある。複製の基となる単位認識ユニットの信号入力部42
11の信号入力端子4211aからは、例えば１〜10迄の値を
取る信号が入力され、又、量子化器4212の量子化の範囲
は１〜10に設定してある。

【００５６】内部状態記憶部4215は順次入力されるデ−
タ信号の平均、分散、入力回数を、デ−タ信号が入力さ
れる毎に計算，記憶する。そして、入力回数と分散の積
がある一定値を越えた時に、複製作成部4216は構造記憶
部4214に記憶させてある量子化器の量子化の範囲と、量
子化の個数と、経路選択部4213の経路入力端子数及び経
路出力端子数とを参照し、この単位認識ユニットの情報
を、空の使用していない単位認識ユニットにコピ−する
と共に、他の単位認識ユニットとの結合も含めて自分と
全く同じ複製を作成する。その際に、１〜10迄必要な量
子化の範囲を分割し、例えば、基の単位認識ユニットの
量子化器の量子化の範囲を１〜５に、複製の単位認識ユ
ニットの量子化器の量子化の範囲を６〜10に設定し、基
のユニットと複製のユニットとで、機能を分担するよう
に、複製を作成する。

【００５７】次に、各単位認識ユニットが複製を作成す
る際の学習型非線形階調補正曲線選択部42全体としての
動作を説明する。第４層までの各層の単位認識ユニット
が複製を作成する際には、各ユニットの下層に連結させ
た単位認識ユニットの全てを含めて複製する必要があ
る。図９は、下層に連結させた単位認識ユニットの全て
を含めた複製の様子を示したものである。複製作成検出
部44は、前述のように、複製動作を起こした全ての単位
認識ユニットを検出し、複製を作成する各ユニットの下
層に連結させた単位認識ユニットの全てを含めて複製す
るように指示を出す。例えば図８に示すように、ユニッ
ト81は、下層に連結させた単位認識ユニット811，812を
含めて複製し、複製の単位認識ユニット82、及びその下
層の単位認識ユニット821，822が作成される。従って、
入力デ−タに対してネットワ−クの学習を行なうのみで
はなく、入力信号に応じて適応的にネットワ−クの構造
を自動的に変更，構築，及び自己組織化することが可能
である。

【００５８】次に、学習動作における荷重変更処理につ
いて説明する。まず、学習データ格納部43は、現在入力
されている特徴データに対応する教師データを、第３層
の単位認識ユニットの信号入力端子に出力する。教師デ
ータとは、n41，n42，n43のどの単位認識ユニットが最
大値を検出することが望ましいかを示すものである。単
位認識ユニットn31〜n38の量子化器は、例えばn41が第
４層の単位認識ユニットの中で最大値を出力する場合に
は、量子化レベル値（量子化結果）が単位認識ユニット
n41につながる経路に対応する値となるように設定され
ている。

【００５９】比較判定器47は、前記認識結果と前記教師
データとを比較し、比較結果が異なる場合、学習器4213
d4は、経路入力端子4213a1と量子化器4212の出力が示す
経路出力端子（ここでは、単位認識ユニットn41につな
がる経路）との連結強度である荷重を経路入力端子4213
a1から入力された値だけ増加させる。

【００６０】このようにして、全ての入力データについ
て、前記フォワード処理の認識結果と教師データとが一
致するまで、以上の学習動作を行う。

【００６１】次に、認識動作について説明する。まず、
認識過程では、内部状態記憶部に記憶させた単位認識ユ
ニットの内部状態は変化せず、従って複製作成部も動作
しない。第１，２，３層目の各単位認識ユニットは、学
習動作のフォワード処理と同様にして、各経路に伝達さ
れた信号に荷重を掛けながら次層に出力し、最終層のし
きい値処理ユニットの出力が計算される。最大出力ユニ
ット検索器45は、最大値を出力する単位認識ユニットの
番号（n41〜n43のいずれか）を検出し、認識結果として
認識結果出力端子46から出力する。

【００６２】このように、学習型非線形階調補正曲線選
択部42の学習過程は、多層の階層ネットワークに対する
フォワード処理により認識結果が算出され、その認識結
果が誤認識の場合、第３層目の単位認識ユニットの荷重
のみを学習器4213d4によって経路入力端子4213a1に伝達
された値だけ増加させるだけで学習が行えるため、全て
の単位認識ユニットの荷重を変更する必要がなく、高速
学習が可能である。また、入力データに応じて各単位認
識ユニットの内部状態が変化すると複製作成部4216が動
作して、各単位認識ユニットの複製を作成するため、入
力信号に応じて適応的にネットワークの構造を自動的に
変更，構築，及び自己組織化することが可能であり、学
習していない新規なデータ入力に対する汎化性にも優れ
ている。

【００６３】以上のように本実施例の画像処理装置は、
従来のエッジ抽出処理の前処理として、非線形階調補正
処理を行うことを特徴としており、これにより画像のダ
イナミックレンジを向上させて、影の領域内の物体のエ
ッジなど従来の処理では摘出できないようなエッジを抽
出することが可能である。また、画像一枚に対して一定
の階調補正を行うのでなく、画像領域を複数のブロック
に分割し、そのブロックに適した非線形階調補正曲線を
選択して補正することにより、細部の状況に適した補正
処理ができ、これらの補正画像から、より正確なエッジ
画像を得ることができる。さらに、上記の学習型非線形
階調補正曲線選択部を用いることによって、高速な学
習，認識が可能であり、ユーザが画像情報と非線形階調
補正曲線との関係を試行錯誤により決定する必要がな
い。

【００６４】なお、本発明の各手段は、コンピュータを
用いてソフトウェア的に実現し、あるいはそれら各機能
を有する専用のハード回路を用いて実現する事が出来
る。

【００６５】

【発明の効果】以上のように本発明の画像処理装置は、
１枚の画像信号を複数の画像ブロックに分割する画像分
割手段と、画像ブロック内の画像信号から１種もしくは
複数種の画像情報を抽出する画像情報抽出手段と、画像
情報に基づいてその画像ブロックに最適な階調補正を施
す階調補正手段と、階調補正後の画像ブロックを１枚の
画像に再合成する画像合成手段と、合成した画像に対し
てエッジ抽出を行うエッジ抽出手段とを設けたことによ
り、細部にわたって画像のダイナミックレンジを向上さ
せて、影の領域内の物体のエッジなど従来の処理では抽
出できないようなエッジを抽出することが可能である。

【００６６】また、画像情報と階調補正に用いるべき非
線形階調補正曲線との関係を予め学習によって形成し、
これにより各画像情報を判断することにより、ユーザが
画像情報と非線形階調補正曲線との関係を試行錯誤によ
り決定する必要がなく、非常に簡単に処理が行える。

【図面の簡単な説明】

【図１】本発明による画像処理装置の一実施例を示すブ
ロック図

【図２】（ａ）は情報を抽出するための画像ブロックと
階調補正を施すための画像ブロックとが一致している例
を示す図 （ｂ）は情報を抽出するための画像ブロックと階調補正
を施すための画像ブロックとが異なる例を示す図

【図３】（ａ）は図１の画像分割手段の図２(b)の場合
の一実施例を示すブロック図 （ｂ）は同図(a)の重心設定部の一実施例を示すブロッ
ク図

【図４】図１の画像情報抽出手段の一実施例を示すブロ
ック図

【図５】（ａ）は図１の学習型非線形階調補正曲線選択
部のネットワークを構成する単位認識ユニットの一実施
例を示すブロック図 （ｂ）は同図(a)の経路選択部を経路入力部，経路出力
部，スイッチで構成した例を示すブロック図

【図６】（ａ）は図５(a)の経路選択部を経路入力部，
経路出力部，経路荷重部で構成した例を示すブロック図 （ｂ）は図５(a)の荷重器を学習器に置き換えた例を示
すブロック図

【図７】図１の学習型非線形階調補正曲線選択部のネッ
トワークを構成するしきい値処理ユニットの一実施例を
示す図

【図８】図１の学習型非線形階調補正曲線選択部の一実
施例を示す図

【図９】図１の学習型非線形階調補正曲線選択部の、学
習時におけるネットワークの複製動作を示す図

【図１０】（ａ）は図１の階調補正手段で用いる非線形
階調補正曲線の第１の例を示す図 （ｂ）は図１の階調補正手段で用いる非線形階調補正曲
線の第２の例を示す図

【図１１】（ａ）は本実施例の画像処理における原画像
を示す図 （ｂ）は同影の部分の箱のエッジを強調した画像を示す
図 （ｃ）は階調補正後のエッジ抽出処理を行った結果を示
す図

【図１２】従来のエッジ抽出装置の一般的構成を示すブ
ロック図

【図１３】（ａ）はプレヴィットのオペレータを示す図 （ｂ）はソーベルのオペレータを示す図

【図１４】（ａ）は従来のエッジ抽出処理における室内
画像を示す図 （ｂ）はＴＶカメラで撮像した室内画像を示す図 （ｃ）は従来のエッジ抽出後の画像を示す図 （ｄ）は階調補正を施した画像を示す図

【符号の説明】

１ 画像入力手段 ２ 画像分割手段 ３ 画像情報抽出手段 ４ 階調補正手段 ５ 画像合成手段 ６ エッジ抽出手段 ７ 画像出力手段 21 画像ブロック抽出部 22 重心設定部 31 輝度算出部 32 輝度レベル値記憶部 33 輝度レベル比較器 34 ＡＮＤ回路 35 カウンタ 41 非線形階調補正部 42 学習型非線形階調補正曲線選択部 43 学習データ格納部 44 複製作成検出部 45 最大出力ユニット検出器 46 認識結果出力端子 47 比較判定器 81 基ユニット 82 複製 101 窓 102 箱 111 画像入力手段 112 エッジ抽出手段 112a 微分部 112b しきい値処理部 112c 細線化処理部 113 画像出力手段 131 窓 132 箱 221a〜221c 経路選択器 222a〜222b 加算器 223a〜223b 代入器 421 単位認識ユニット 422 しきい値処理ユニット 4211 信号入力部 4211a 信号入力端子 4212 量子化器 4213 経路選択部 4213a 経路入力部 4213a1 経路入力端子 4213b 経路出力部 4213b1〜4213b3 経路出力端子 4213c スイッチ 4213d 経路荷重部 4213d0 荷重器 4213d1〜4213d3 荷重 4213d4 学習器 4214 構造記憶部 4215 内部状態記憶部 4216 複製作成部 4221 経路入力部 42211〜4221n 経路入力端子 4222 加算器 4223 しきい値処理器 4224 経路出力部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 丸野 進 大阪府門真市大字門真1006番地 松下電器 産業株式会社内

Claims (5)

【特許請求の範囲】
1. 【請求項１】画像を入力する画像入力手段と、前記画像
   入力手段から入力した前記画像を複数の画像ブロックに
   分割する画像分割手段と、前記画像分割手段から送出さ
   れた前記各画像ブロックの画像信号から少なくとも１種
   類の画像情報を抽出する画像情報抽出手段と、前記画像
   情報に基づいて前記画像ブロックの画像信号に対して階
   調補正を行う階調補正手段と、前記階調補正手段で補正
   した前記各画像ブロックを１枚の画像に再合成する画像
   合成手段と、前記画像合成手段で合成した画像からエッ
   ジを抽出するエッジ抽出手段と、前記エッジ抽出手段に
   より抽出したエッジ画像を出力する画像出力手段とを備
   えたことを特徴とする画像処理装置。
2. 【請求項２】画像分割手段は、画像中のある座標（ｘ，
   ｙ）を重心とするｍ×ｎ画素の領域とｋ×ｌ画素の領域
   （但し、ｋ≦ｍ，ｌ≦ｎ）とを画像ブロックとして抽出
   し、前記ｍ×ｎ画素の画像ブロックを前記画像情報抽出
   手段に送出し、前記ｋ×ｌ画素の画像ブロックを前記階
   調補正手段に送出する画像ブロック抽出部と、次に抽出
   する前記画像ブロックの重心を算出する重心設定部とを
   具備し、前記重心設定部の出力を前記画像ブロック抽出
   部に入力して画像ブロック抽出処理を繰り返し行うもの
   であることを特徴とする請求項１記載の画像処理装置。
3. 【請求項３】階調補正手段は、前記画像情報抽出部から
   送出される画像情報と階調補正に用いるべき非線形階調
   補正曲線との関係を学習によって形成し、前記画像情報
   を前記学習結果に基づいて判断し前記階調補正に用いる
   べき前記非線形階調補正曲線を選択する学習型非線形階
   調補正曲線選択部と、前記画像情報（特徴データ信号）
   と前記画像情報に適した非線形階調補正曲線（教師デー
   タ）との組合せを前記学習に用いるデータとして格納す
   る学習データ格納部と、前記学習型非線形階調補正曲線
   選択部により選択した非線形階調補正曲線を用いて前記
   画像信号を補正する非線形階調補正部とを備えたことを
   特徴とする請求項１記載の画像処理装置。
4. 【請求項４】単位認識ユニットを多層の階層状に組合せ
   てネットワークを構成し、少なくとも複数の経路入力端
   子と前記経路入力端子からの入力信号を加算する加算器
   と前記加算器の出力信号をしきい値処理するしきい値処
   理器と前記しきい値処理器の出力を出力する経路出力端
   子によって構成したしきい値処理ユニットを最下層に配
   置し、前記ネットワークの前記最下層の前層に位置する
   前記単位認識ユニットの信号入力部に学習データ格納部
   に格納した教師データを入力する教師データ入力端子
   を、また前記最下層及び最下層の前層以外の層に位置す
   る前記単位認識ユニットの信号入力部に前記学習データ
   格納部に格納した特徴データ信号を入力する特徴データ
   信号入力端子を設けて学習型非線形階調補正曲線選択部
   を構成し、信号入力部と前記信号入力部からの入力信号
   に応じて量子化を行う量子化器と単一または複数の経路
   入力端子と単一または複数の経路出力端子と前記量子化
   器の出力に応じて経路の選択を行う経路選択部とによっ
   て構成した単位ユニットと、前記量子化器の量子化の範
   囲及び量子化の個数を量子化定数として記憶させる構造
   記憶部と、前記単位ユニットへの入力信号の平均，分
   散，入力回数を内部状態として記憶させる内部状態記憶
   部と、前記記憶させた内部状態に基づいて前記量子化の
   範囲を２分割して分割前の単位ユニットをそれぞれ作成
   する複製作成部とによって前記単位認識ユニットを構成
   したことを特徴とする請求項３記載の画像処理装置。
5. 【請求項５】画像情報抽出手段は、各画像ブロックの画
   像信号の輝度信号を抽出する輝度抽出部と、前記輝度抽
   出部により抽出した前記輝度信号を一定範囲のレベル値
   と比較して１または０を出力する複数の輝度レベル比較
   器と、前記輝度レベル比較器の出力をカウントする複数
   のカウンターとによって構成されていることを特徴とす
   る請求項１記載の画像処理装置。