JPH0342609A - カメラのパターン認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、たとえば露出制御を行なうための被写体領域
の認識あるいは自動焦点検出を行なうための被写体領域
の認識を行なうためのカメラのパターン認識装置に関す
る。

［従来の技術］ たとえば特願昭６３−２５０４６６号には、階層型ニュ
ーラルネットワークによるパターン認識を応用した焦点
検出装置か示されている。この発明による焦点検出、装
置では、複写体パターンを入力したときに複写体主要部
の位置を示す信号を出力するように、学習された結合の
強さで順次結合される人力層、中間層、出力層からなる
ネットワークが設けられる。そして、複数の光電変換素
子の出力がネットワークに人力され、ネットワークの出
力により複数の光電変換素子の出力の中から複写体主要
部の信号が選択され、それに基づいて焦点が検出される
。

また、たとえば特願昭６３−２５０４６７号には、階層
型ニューラルネットワークによるパターン認識を応用し
た露出制御装置が示されている。

この発明による露出制御装置の基本構成は、上記焦点検
出装置と同じである。この場合、ネットワークの出力に
より複数の光電変換素子の出力の中から被写体主要部の
信号が選択され、それに基ついて露出が制御される。

［発明が解決しようとする課題］ ところが、エリアイメージセンサをパターン認識以外の
他の機能、たとえば焦点検出やスチルビデオ用のイメー
ジヤなどと兼用しようとすると、画素数が非常に多くな
り、前述した従来技術の階層形ニューラルネットの入力
層の１つのユニットに上記１つの画素を対応させようと
すると、全体のユニット数が多くなりすぎ、学習に時間
がかかったり、構成が非常に複雑化するなどの問題があ
った。

本発明は、このような課題に着目してなされたもので、
その目的とするところは、エリアイメージセンサを比較
的高精細な画像信号を必要とするパターン認識以外の他
の機能、たとえば焦点検出やスチルビデオ用のイメージ
ヤなどと兼用しても、パックプロパゲーションネットワ
ークの人力層のユニットをそれほど多くする必要はなく
、かつ、高速に比較的簡単な構成でパターン認識を行な
うことかできるカメラのパターン認識装置を提供するこ
とにある。

［課題を解決するための手段］ 本発明のカメラのパターン認識装置は、被写体を撮像し
、複数画素の映像信号を加算して１つの信号として出力
する多画素読出モードを備えたエリアイメージセンサと
、このエリアイメージセンサの多画素読出モード時の出
力に基づいて前記被写体のパターンを認識する認識手段
と、前記エリアイメージセンサの多画素読出モード以外
のモード時の出力に基づいて前記パターン認識以外の処
理を行う処理手段とを具備している。

［作　用コ エリアイメージセンサに複数画素の映像信号を加算して
１つの信号として出力する多画素読出モードを備え、パ
ターン認識時は上記多画素読出モードにおける映像信号
により被写体のパターン認識を行なうものである。

［実施例］ 以下、本発明の実施例について図面を参照して説明する
。

ます、実施例を説明する前に、本実施例に用いるパター
ン認識の原理である誤差逆伝播学習（以下、パックプロ
パゲーション、あるいはＢＰと呼ぶ）のアルゴリズムに
ついて説明する。まず、第２図に示すようなニューラル
ネットを考える。このニューラルネットは次のような特
徴をもっている。

（１）　　人カニニット層と出カニニット層との間に、
隠れユニット層を任意個数もった多層構造である。

（２）　　人カニニット層から出カニニット層へ向かっ
てのリンクは存在するか、逆方向のリンクは存在しない
フィードフォワード構造である。

（３）　　同一のユニット層間での結合はない。

このような構造をもったニューラルネ・ソトに対して、
以下のような学習アルゴリズムを考える。

（１）入力データとそれに対する理想出力値を与／Ｌる
。

（２）１つの入力データに対してニューラルネ・ソトを
用いて各ユニットの入出力計算を行なう。

（３）上記１つの入力データに対する理想出力値と実際
の出力値とに基づいて、実際の出力値が理想出力値に近
くなるように、ニューラルネットにおける結合の重み（
荷重係数と呼ぶ）を変化させる。以下のプロセスをいく
つかの人力データと、それに対する理想出力値の組に対
して順に行なう。

実際のアルゴリズムは、誤差の二乗和をリンクの重みに
関して局所的に最小にする最急降下法によって求めるも
のである。いま、ｐ番目の人出力データ（入力データと
それに対する理想出力の組）に対する出カニニットＪの
出力誤差を δｐｊ＝　（ｒ　ｐｊ　−ｏ　ｐｊ）・ｈｊ　　（ｉｐ
ｊ）・・・・・・（１）で表わす。たたし、ｒｐｊ、ｏ
ｐｊはそれぞれｐ番目の人出力データにおけるｊ番目の
出カニニットの理想出力値および実際の出力値である。

１ｐｊは１ｐｊ＝写　・ｗｊｉ・ｏｐｉ　　　　　　　
　　・・・・・・（２）】 で定義され、ｐ番目の入出力データによる学習において
ｊ番目のユニットに人力される各ユニットの出力の加重
和である。

さらに、関数ｈｊは次のような意味を持つ。すなわち、
ユニットｊの出力関係を単純にｏｐｊ＝ｇｊ　　（ａｐ
ｊ）　＝ａｐｊ　　　　　・・・（３）で表わす。ただ
し、ａｐｊはｐ番目の人出力ブタに対するユニットｊの
状態、状態遷移関数をａｐｊ＝ｆｉ・（ｉ　ｐｊ）　　
　　　　　　・・・・・・（４）とするとき、これらを
合成して ｏｐｊ＝ｇｊ　　ｆｆｉ　　（ｉｐｊ）　）＝ｈｊ・（
ｉ　ｐｊ）　　　　　　　　・・・・・・（５）と書く
。つまり、ｈｊは出力関数ｇｊと状態遷移関数ｆｊとの
合成関数で、実際にはｆｊに一致している。ｈｊは微分
可能な単調非減少、非線形関数であると仮定し、ｈｊ′
はｈｊの微分を表わす。

中間ユニットについては、ｐ番目の人出力データに対す
るユニットｊの出力誤差を δｐｊ＝ｈｊ’　　・（ｉｐｊ）・Σ・δｐ…　・ｗ　
ｍ　ｊ　　・・・・・・（６）で定義する。この式は、
中間ユニットｊの出力誤差が、Ｊから直接結合された他
のユニットの出力誤差を用いて決まるという再帰的な式
になっている。

以上の定義のもとで、ｐ番目の入出力データに対するリ
ンクの重みｗｊｉの変化量は Δｐ−ｗｊｊ＝α・δｐｊ−ｏｐｊ　　　　　・・・・
・・（７）で与えられる。パックプロパゲーションによ
る学習のプロセスをまとめると以下のようになる。

（１）呈示された人力に対して、各ユニットの出力を入
力端から出力側へ向かって順に計算する。

（２）　　各出カニニットｊからの出力○ｐｊを呈示さ
れた理想出力値ｒｐｊと比較し、（１）式を用いて各出
カニニットｊに対する出力誤差δｐｊを計算する。

（３）　　各ユニットｊについて、ａｐｊと実際の出力
ｏｐｊから（７）式によりｊに直接穴るリンクの重み変
化量△ｐ−ｗｊｉを計算する。

（４）　　各出カニニットｊに入る全てのリンクの重み
ｗ　ｊ　ｉをｗｊｊ＋△ｐ−ｗｊｉに変更する。

（５）　　出力層から一段たけ人力層に近い層にある中
間ユニットｊに対して、（６）式により出力誤差δｐｊ
を計算する。

（６）　　（５）で計算している各中間ユニットｊにつ
ぃて、出力誤差δｐｊと実際の出力ｏｐｊから（７）式
によってＪに直接穴るリンクの重み変化量△ｐ−Ｗｊ１
を計算する。

（７）　　（６）で計算している各隠れユニットｊにつ
いて、ｊに入る全てのリンクの重みＷｊｉをｗ　ｊ　ｉ
　＋△ｐ−ｗｊｉに変更する。

（８）　　（５）、　（６）、　（７）と同様の計算を
、出力層に近い層から入力層の方に向けて順に全ての中
間ユニットについて行なう。

（９）　　（１）〜（８）を各入出力データに対して繰
返し行ない、全てのリンクの重みを繰返し変化させる。

なお、（１）〜（７）の証明については、各種の文献で
公知であるので、ここでは省略する。

第５図は本実施例で用いる３層ＣＣＤ形のエリアイメー
ジセンサの回路構成図である。基本的には一般的なＣＣ
Ｄ形のエリアイメージセンサと同じであるので、−膜内
な部分の説明は省略する。

本実施例で用いるエリアイメージセンサの特徴は、電極
の大きさを自在に選択し、これにより１画素の大きさを
変えることができる点にあり、そのための信号切換回路
Ｓを備えている。

第６図に３層ＣＣＤ形のエリアイメージセンサの転送プ
ロセスを示す。第６図は、電極１，４゜７．１０．・・
・にクロックφ１、電極２，５．８・・・にクロックφ
２、電極３，６，９．・・・にクロックφ３を印加した
ときの転送プロセスである。そして、第６図において、
閉成しているスイッチＳ２を開放し、開放しているスイ
ッチｓ１を閉成することにより、電極１，２，７，８．
・・・にクロックφ１、電極３，４，９．１０　　・・
・にクロックφ２、電極５，６．・・・にクロックφ３
が印加される。したがって、垂直シフトレジスタおよび
水平シフトレジスタとも同じ構成にすれば、画素の大き
さは見かけ上４倍になる。

パックプロパゲーションによる学習は、入カニニットの
数が多くなりすぎると演算時間が長くなり、実用的でな
い。特に、ＥＶＦ　（エレクトリックビューファインダ
）などと兼用したり、コントラスト法による自動焦点検
出に用いるエリアイメージセンサと、上記パターン認識
に用いるエリア０ イメージセンサとを兼用したりすると、上記パターン認
識の画素数としては多すぎる。この場合、画像処理によ
り変換する方法もあるが、カメラなど、スピードを要求
される分野では実用的でない。

これに対し本実施例では、前述したようにハード的に画
素の大きさを切換えることができるので、上記のような
欠点がない。

第１図は本発明をコントラスト方式の焦点検出回路に適
用した例である。第１図において、３１は撮影レンズ、
３２はエリアイメージセンサで、前述したように複数画
素の映像信号を加算して１つの信号として出力する多画
素読出モードを備えている。３３はセンサドライバ回路
、３４はバッファアンプ、３５はバンドパスフィルタ、
３６は検波回路、３７はＡ／Ｄ変換罷、３８は画像メモ
リ、３９は画像処理回路、４０は傾斜角検出手段、４１
はＢＰ演算回路、４２は荷重係数メモリ、４３はゲート
回路、４４はコントラスト演算回路、４５はレンズ駆動
制御回路、４６はＥＶＦ　（エレクトリックビューファ
インダ）、４７は全体的な１ 制御を司るシーケンスコントローラである。

次に、第１図の動作について説明する。センサドライバ
回路３３は、エリアイメージセンサ３２を駆動するとと
もに、同時にシーケンスコントロラ４７からの指令に基
づき、パターン認識のときは第５図および第６図で説明
した方法で１画素の大きさを大きくし、ＥＶＦあるいは
焦点検出時は１画素の大きさを小さくするように作用す
る。

エリアイメージセンサ３２からの信号は、バッファアン
プ３４を介してバンドパスフィルタ３５に送られ、ここ
でオートフォーカスに最適な周波数成分を取出す。バン
ドパスフィルタ３５の出力は、検波回路３６により検波
さ′れた後、Ａ／Ｄ変換器３７でデジタル値に変換され
、画像メモリ３８に蓄えられる。画像メモリ３８の信号
は、ＥＶＦ４６で液晶表示器などによりモニタされる。

さて、一般にエリアイメージセンサ３２の各ピクセルの
画像信号は、指定位置からあらかじめ決められた順序で
読出される。したがって、同一被写体でも、たとえば第
３図に示すようにカメラ２ ＣＭの構え方が異なると、同一被写体であると判断する
のが難しくなる。

なお、エリアイメージセンサ３２から出力される単位画
素のアナログ出力電圧に対応する信号を第２図の入力層
の１つのユニットに結合し、パターン認識の学習を行な
う。カメラの構え方が累なると、それに応じて学習を行
なう必要があり、学習に時間がかかったり、パターンを
分離するためのユニット数が膨大になるなど、実用上問
題となる。

この欠点を改善するため、たとえば第４図に示すような
傾斜角検出手段によりカメラの傾きを検出し、その検出
結果に応じてエリアイメージセンサ３２の出力信号の配
列を変換することにより、学習を効率よく行ない、パタ
ーン認識を確実に行なうことができる。

ここで、第４図の傾斜角検出手段について詳細に説明す
る。中央に導電線のばね１に接続された重り２があり、
その両側部を切片３，４て挟まれている。第４図（ａ）
はカメラＣＭを第３図（ａ）３ のように構えた状態で、重り２は切片３，４いずれにも
接続されていない。第４図（ｂ）はカメラＣＭを第３図
（ｂ）のように構えた状態で、重り２は切片３に接続さ
れている。第４図（Ｃ）はカメラＣＭを第３図（Ｃ）の
ように構えた状態で、重り２は切片４に接続されている
。

たとえば、第３図（ｂ）のようにカメラ′ＣＭを構えた
とき、エリアイメージセンサ３２の信号は（１，１）（
１，，２）（１，３）（１，４）　（２，１）（２，２
）・・・・・・（４，３）（４゜４）のように読出され
るが、画像処理回路により（１，４）（２，４）（３，
４）（４，４）（１，３）（２，３）・・・・（３，１
）（４，１）のように配列が変換され、そのアナログ出
力値に対応する信号が第２図に示すようなネットワーク
の入カニニットに順に接続される。

したがって、Ａ／Ｄ変換器３７でデジタル値に変換され
、記憶された画像メモリ３８の内容は、エリアイメージ
センサ３２の所定位置の画素信号を基準に規則的に配列
されている。したがって、この状態では第３図（ａ）（
ｂ）（ｃ）の像は全く異なる被写体像として記録されて
いる。

４ 次に、傾斜角検出手段４０により検出されたカメラの傾
き角度に応じて、画像処理回路３９により画像メモリ３
８内の画像の配列が変換される。

変換された信号は、第２図に示すパックプロパゲション
ネットワークの人カニニットに順序よく人力値として与
えられる。

ＢＰ演算回路４１では、上記した方法で学習された荷重
係数ｗｊｉを用いて前記（２）式および（５）式により
入力層から出力層に向かって順に計算し、人カバターン
に対応した出力を求める。この場合、出力は人カバター
ンに対応した黒点を合わすべき主要被写体の領域を表す
信号で出力される。

ゲート回路４３は、ＢＰ演算回路４１によって指定され
た信号により、画像メモリ３８の信号の中から主要被写
体の含まれる領域の信号のみを通過させる。コントラス
ト演算回路４４は、ゲート回路４３を通過した信号のコ
ントラストを検出する。そして、レンズ駆動制御回路４
５は、撮影レンズ３１の位置を、ゲート回路４３を通過
した信号のコントラストが最大値になる位置に駆動制御
５ する。

このような自動焦点方式は、いわゆる山登り方式として
既に公知のものである。

なお、上記実施例では、画素の大きさの切換えは２種類
であるが、さらに多くの選択をすることが可能で、自動
焦点の状態に応じて画素の大きさを切換えることも簡単
にできる。

［発明の効果コ 以上詳述したように本発明によれば、エリアイメージセ
ンサに複数画素の映像信号を加算して１つの信号として
出力する多画素読出モードを備え、パターン認識時は上
記多画素読出モードにおける映像信号により被写体のパ
ターン認識を行なうことにより、エリアイメージセンサ
を比較的高精細な画像信号を必要とするパターン認識以
外の他の機能、たとえば焦点検出やスチルビデオ用のイ
メージヤなどと兼用しても、パックプロパゲーションネ
ットワークの人力層のユニットをそれほど多くする必要
はなく、かつ、高速に比較的簡単な構成でパターン認識
を行なうことができるカメラの６ パターン認識装置を提供できる。

【図面の簡単な説明】

図は本発明の詳細な説明するためのもので、第１図は本
発明をコントラスト方式の焦点検出回路に適用した例を
示すブロック図、第２図はバタン認識を行なうためのバ
ックプロパゲーションモデルの構成図、第３図はカメラ
の構え方によるエリアイメージセンサの面上に投影され
る像と画素配列との関係を示す図、オ第４図はカメラの
傾きを検出する傾斜角検出手段を説明する図、第５図は
エリアイメージセンサの回路構成図、第６図は第５図に
示すエリアイメージセンサの転送プロセスを説明する図
である。 ３１・・・撮影レンズ、３２・・・エリアイメージセン
サ、３７・・・Ａ／Ｄ変換器、３８・・・画像メモリ、
３９・・・画像処理回路、４０・・・傾斜角検出手段、
４１・・・ＢＰＳ算回路、４２・・・荷重係数メモリ、
４３・・・ゲート回路、４４・・・コントラスト演算回
路、４５・・レンズ駆動制御回路。

Claims (1)

1. 【特許請求の範囲】 被写体を撮像し、複数画素の映像信号を加算して１つの
   信号として出力する多画素読出モードを備えたエリアイ
   メージセンサと、 このエリアイメージセンサの多画素読出モード時の出力
   に基づいて前記被写体のパターンを認識する認識手段と
   、 前記エリアイメージセンサの多画素読出モード以外のモ
   ード時の出力に基づいて前記パターン認識以外の処理を
   行う処理手段と を具備したことを特徴とするカメラのパターン認識装置
   。