JPH0342610A - カメラのパターン認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、たとえば露出制御を行なうための被写体領域
の認識あるいは自動焦点検出を行なうための被写体領域
の認識を行なうためのカメラのパターン認識装置に関す
る。

［従来の技術］ たとえば特願昭６３−２５０４６６号には、階層型ニュ
ーラルネットワークによるパターン認識を応用した焦点
検出装置が示されている。この発明による焦点検出装置
では、複写体パターンを入力したときに複写体主要部の
位置を示す信号を出力するように、学習された結合の強
さで順次結合される入力層、中間層、出力層からなるネ
ットワークが設けられる。そして、複数の光電変換素子
の出力がネットワークに人力され、ネットワークの出力
により複数の光電変換素子の出力の中から複写体主要部
の信号が選択され、それに基づいて焦点が検出される。

また、たとえば特願昭６３−２５０４６７号には、階層
型ニューラルネットワークによるパターン認識を応用し
た露出制御装置が示されている。

この発明による露出制御装置の基本構成は、上記焦点検
出装置と同じである。この場合、ネットワークの出力に
より複数の光電変換素子の出力の中から被写体主要部の
信号が選択され、それに基づいて露出が制御される。

［発明が解決しようとする課題］ ところが、エリアイメージセンサからのそれぞれの画素
信号は、あらかじめ定められた順序で読出されるので、
同じ被写体像をカメラを横位置にしたときと縦位置にし
たときとで、映像信号は全く異なったものになる。した
がって、上述した従来考えられた方法では、カメラの傾
きに応じて主要被写体を学習させる必要かあり、そのた
め学習量が膨大になり、あまり現実的ではない。

本発明は、このような課題に着目してなされたもので、
その目的とするところは、エリアイメジセンサ上に投影
される被写体が同じであれば、投影される角度が異なっ
ても、同一の映像信号が得られるので、学習パターンが
少なくて済み、構成が著しく簡単になるカメラのパター
ン認識装置を提供することにある。

［課題を解決するための手段］ 本発明のカメラのパターン認識装置は、被写体の映像信
号を出力するエリアイメージセンサと、カメラの傾斜角
度を検出する傾斜角検出手段と、この傾斜角検出手段の
出力に基づいて前記映像信号の配列を変換する信号配列
変換手段と、この信号配列変換手段の出力に基づいて前
記被写体のパターンを認識する認識手段とを具備してい
る。

［作　用］ カメラの傾斜角度を検出する傾斜角検出手段を設け、こ
の傾斜角検出手段の出力によって、エリアイメージセン
サの出力である映像信号の配列を変換し、たとえばカメ
ラを横位置にしても縦位置にしても、被写体が同一であ
れば同一の映像信号に変換し、この変換出力に基づいて
被写体のパターンを認識するものである。

［実施例］ 以下、本発明の実施例について図面を参照して説明する
。

ます、実施例を説明する前に、本実施例に用いるパター
ン認識の原理である誤差逆伝播学習（以下、パックプロ
パゲーション、あるいはＢＰと呼ぶ）のアルゴリズムに
ついて説明する。まず、第３図に示すようなニューラル
ネットを考える。このニューラルネットは次のような特
徴をもっている。

（１）人カニニット層と出カニニット層との間に、隠れ
ユニット層を任意個数もった多層構造である。

（２）　　人カニニット層から出カニニット層へ向かっ
てのリンクは存在するが、逆方向のリンクは存在しない
フィードフォワード構造である。

（３）　　同一のユニット層間での結合はない。

このような構造をもったニューラルネットに対して、以
下のような学習アルゴリズムを考える。

（１）　　入力データとそれに対する理想出力値を与え
る。

（２）１つの人力データに対してニューラルネットを用
いて各ユニットの入出力計算を行なう。

（３）上記１つの入力データに対する理想出力値と実際
の出力値とに基づいて、実際の出力値が理想出力値に近
くなるように、ニューラルネットにおける結合の重み（
荷重係数と呼ぶ）・を変化させる。以下のプロセスをい
くつかの人力データと、それに対する理想出力値の組に
対して順に行なう。

実際のアルゴリズムは、誤差の二乗和をリンクの重みに
関して局所的に最小にする最急降下法によって求めるも
のである。いま、ｐ番目の人出力データ（人力データと
それに対する理想出力の組）に対する出カニニットｊの
出力誤差を δｐｊ＝　（ｒ　ｐｊ　−ｏ　ｐＤ　　・ｈ　ｊ（ｉ　
ｐｊ）・・・・・・（１）で表わす。ただし、ｒ　ｐｊ
、　　ｏ　ｐｊはそれぞれｐ番目の入出力データにおけ
るｊ番目の出カニニットの理想出力値および実際の出力
値である。ｉｐｊはで定義され、ｐ番目の入出力データ
による学習においてｊ番目のユニットに入力される各ユ
ニットの出力の加重和である。

さらに、関数ｈｊは次のような意味を持つ。すなわち、
ユニットｊの出力関係を単純にｏｐｊ＝ｇｊ　　　（ａ
ｐｊ）　＝ａｐｊ　　　　　　・・・・・・（３）で表
わす。ただし、ａｐｊはｐ番目の人出力データに対する
ユニットｊの状態、状態遷移関数をａ　ｐｊ＝　ｆ　ｉ
　　　（ｉ　ｐｊ）　　　　　　　　　・・・・・・（
４）とするとき、これらを合成して ｏｐｊ＝ｇｊ　　　（ｆ＋　　　（ｉｐｊ））＝　ｈ　
ｊ　　’　（ｉ　ｐｊ）　　　　　　　　　　・・・・
（５）と書く。つまり、ｈｊは出力関数ｇｊと状態遷移
関数ｆｊとの合成関数で、実際にはｆｊに一致している
。ｈｊは微分可能な単調非減少、非線形関数であると仮
定し、ｈｊ′はｈｊの微分を表わす。

中間ユニットについては、ｐ番目の人出力デ帆に対する
ユニットｊの出力誤差を δｐｊ＝ｈｊ　’　　　（ｉｐｊ）　　・Σ・δｐｍ　
−ｗ　ｍｊ−（６）で定義する。この式は、中間ユニッ
トｊの出力誤差が、Ｊから直接結合された他のユニット
の出力誤差を用いて決まるという再帰的な式になってい
る。

以上の定義のもとで、ｐ番目の入出力データに対するリ
ンクの重みｗｊｉの変化量は Δｐ−ｗｊｉ＝α・δｐｊ−ｏｐｊ　　　　　・・・・
・・（７）で与えられる。パックプロパゲーションによ
る学習のプロセスをまとめると以下のようになる。

（１）　　呈示された入力に対して、各ユニットの出力
を入力側から出力側へ向かって順に計算する。

（２）　　各出カニニットｊからの出力ｏｐｊを呈示さ
れた理想出力値ｒｐｊと比較し、（１）式を用いて各出
カニニットｊに対する出力誤差δｐｊを計算する。

（３）各ユニットｊについて、δｐｊと実際の出力ｏｐ
ｊから（７）式によりｊに直接穴るリンクの重み変化量
△ｐ−ｗｊｉを計算する。

（４）　　各出カニニットｊに入る全てのリンクの重み
ｗｊｉをｗｊｊ＋△ｐ−ｗｊｉに変更する。

（５）　　出力層から一段だけ入力層に近い層にある中
間ユニットｊに対して、（６）式により出力誤差δｐｊ
を計算する。

（６）　　（５）で計算している各中間ユニットｊにつ
いて、出力誤差δｐｊと実際の出力ｏｐｊから（７）式
によってｊに直接穴るリンクの重み変化量△ｐ−ｗｊｉ
を計算する。

（７）　　（６）で計算している各隠れユニットｊにつ
いて、ｊに入る全てのリンクの重みｗｊｉをｗｊｉ十△
ｐ−ｗｊｉに変更する。

（８）　　（５）、　（６）、　（７）と同様の計算を
、出力層に近い層から人力層の方に向けて順に全ての中
間ユニットについて行なう。

（９）　　（１）〜（８）を各入出力データに対して繰
返し行ない、全てのリンクの重みを繰返し変化させる。

なお、（１）〜（７）の証明については、各種の文献で
公知であるので、ここでは省略する。

一般に、エリアイメージセンサの各ピクセルの画像信号
は、指定位置からあらかじめ決められた順序で読出され
る。したがって、同一被写体でも、たとえば第４図に示
すようにカメラＣＭの横え方が異なると、同一被写体で
あると判断するのか難しくなる。

なお、エリアイメージセンサから出力される単位画素の
アナログ出力電圧に対応する信号を第３図の人力層の１
つのユニットに結合し、パターン認識の学習を行なう。

カメラの構え方が異なると、それに応じて学習を行なう
必要かあり、学習に時間がかかったり、パターンを分離
するためのユニット数が膨大になるなど、実用上問題と
なる。

この欠点を改善するため、たとえば第５図に示すような
傾斜角検出手段によりカメラの傾きを検出し、その検出
結果に応じてエリアイメージセンサの出力信号の配列を
変換することにより、学習を効率よく行ない、パターン
認識を確実に行なうことができる。

ここで、第５図の傾斜角検出手段について詳細に説明す
る。中央に導電線のばね１に接続された重り２があり、
その両側部を切片３，４で挟まれている。第５図（ａ）
はカメラＣＭを第４図（ａ）のように構えた状態で、重
り２は切片３，４いずれにも接続されていない。第５図
（ｂ）はカメラＣＭを第４図（ｂ）のように構えた状態
で、重り２は切片３に接続されている。第５図（Ｃ）は
カメラＣＭを第４図（Ｃ）のように構えた状態で、重り
２は切片４に接続されている。

たとえば第４図（ｂ）のようにカメラＣＭを構えたとき
、エリアイメージセンサの信号は（１，１）（１，２）
（１，３）（１，４）　（２，１）（２，２）・・・・
・・（４，ａ）（４，４）のように読出されるが、画像
処理回路により（１，４）（２゜４）　（３，４）　（
４，４）　（１，３）　（２，３）・・・・・・（３，
Ｌ）（４，ｉ）のように　０ 配列が変換され、そのアナログ出力値に対応する信号が
第３図に示すようなネットワークの入カニニットに順に
接続される。

第１図は本発明をカメラの露出制御回路に適用した例で
ある。第１図において、１１は撮影レンズ、１２はエリ
アイメージセンサ、１３はセンサドライバ回路、１４は
バッファアンプ、１５はＡ／Ｄ変換器、１６は画像メモ
リ、１７はカメラの傾斜角を検出する第５図に示したよ
うな傾斜角検出手段、１８は検出した傾斜角に応じてエ
リアイメージセンサ１２の出力信号の配列を変換する画
像処理回路、１つはエリアイメージセンサ１２の出力信
号の最大値を「１」に正規化するための正規化回路、２
０はＢＰ演算回路で、第３図に示すネットワークの入カ
ニニットに対する出カニニットの出力値を求める。

２１は学習によって求められた荷重係数Ｗｊｉが保持さ
れている荷重係数メモリである。２２はＢＰ演算回路２
０による出力値により露出制御を行なうための被写界の
領域（第４図の１つのます目１ の画素に対応）を選択し、その領域の明るさ信号（ＢＶ
）を通すゲート回路である。２３はアペックス演算回路
で、シャッタ優先か絞り優先かを決め、るモード信号Ｍ
ＯＤ、フィルム感度値ＳＶ１絞り値ＡＶ、シャッタスピ
ード値ＴＶが入力され、ＢＶ＋５Ｖ＝ＴＶ十ＡＶなる演
算を行なう。そして、モード信号に応じてシャッタ制御
回路２４および絞り制御回路２５が制御されるようにな
っている。なお、２６は全体的な制御を司るシーケンス
コントローラである。

次に、第１図の露出制御回路の動作を説明する。

エリアイメージセンサ１２からの出力信号は、Ａ／Ｄ変
換器１５でデジタル値に変換された後、画像メモリ１６
に蓄えられる。画像メモリ１６の内容は、エリアイメー
ジセンサ１２の所定位置の画素信号を基準に規則的に配
列されている。したがって、この状態では第４図（ａ）
（ｂ）（ｃ）の像は全く累なる被写体像として記録され
ている。

次に、傾斜角検出手段１７により検出された力２ メラの傾き角度に応じて、画像処理回路１８により画像
メモリ１６内の画像の配列が変換される。

変換された信号は、正規化回路１つにより画素信号の最
大値を「１」に正規化される。正規化された信号は、第
３図に示すパックプロパゲーションネットワークの人カ
ニニットに順序よく入力値として与えられる。

ＢＰ演算回路２０では、上記した方法で学習された荷重
係数Ｗｊｉを用いて前記（２）式および（５）式により
入力層から出力層に向かって順に計算し、入カバターン
に対応した出力を求める。この場合、出力は人カバター
ンに対応した露出制御を行なうための明るさ情報を得る
ため被写体の領域の選択信号である。たとえば、逆光撮
影では、主要被写体がつぶれないように、主要被写体が
どの領域に属するかを選択する。

ゲート回路２２は、ＢＰ演算回路２０の出力に基づき画
像メモリ１６の信号から実際に必要とする部分の信号を
選択出力する。そして、アペックス演算回路２３におい
ては、上記選、択された領３ 域の明るさ信号ＢＶにより、ＢＶ＋５Ｖ＝ＴＶ十ＡＶな
るアペックス演算が行なわれ、その演算結果に基づきシ
ャッタ制御回路２４あるいは絞り制御回路２５の制御が
行われる。

第２図は本発明をコントラスト方式の焦点検出回路に適
用した例である。第２図において、３１は撮影レンズ、
３２はエリアイメージセンサ、３３はセンサドライバ回
路、３４はバッファアンプ、３５はバンドパスフィルタ
、３６は検波回路、３７はＡ／Ｄ変換罷、３８は画像メ
モリ、３９は画像処理回路、４０は傾斜角検出手段、４
１はＢＰ演算回路、４２は荷重係数メモリ、４３はゲー
ト回］４４はコントラスト演算回路、４５はレンズ駆動
制御回路、４６はＥＶＦ　（エレクトリックビューファ
インダ）、４７は全体的な制御を司るシーケンスコント
ローラである。

次に、第２図の焦点検出回路の動作を説明する。

センサドライバ回路３３はエリアイメージセンサ３２を
駆動する。この駆動によるエリアイメージセンサ３２か
らの信号は、バッファアンプ３４を　４ 介してバントパスフィルタ３５に送られ、ここでオート
フォーカスに最適な周波数成分を取出す。

バンドパスフィルタ３５の出力は、検波回路３６により
検波された後、Ａ／Ｄ変換器３７でデジタル値に変換さ
れ、画像メモリ３８に蓄えられる。

画像メモリ３８の信号は、ＥＶＦ’４６で液晶表示器な
どによりモニタされる。

なお、画像処理回路３９、傾斜角検出手段４０、ＢＰ演
算回路４１、荷重係数メモリ４２の作用は、第１図の画
像処理回路１８、傾斜角検出手段１７、ＢＰ演算回路２
０、荷重係数メモリ２１と同様であるので詳細は省略す
る。

第２図のパターン認識においては、黒点を合わすべき主
要被写体の領域を表す信号で出力される。

ゲート回路４３は、画像メモリ３８の信号の中からＢＰ
演算回路４１によって指定された信号により主要被写体
の含まれる領域の信号のみを通過させる。コントラスト
演算回路４４は、ゲート回路４３を通過した信号のコン
トラストを検出する。

そして、レンズ駆動制御回路４５は、撮影レンズ５ ３１の位置をゲート回路４３を通過した信号のコントラ
ストが最大値になる位置に駆動する。なお、このオート
フォーカス方式は、山登り方式として既に公知のもので
ある。

［発明の効果コ 以上詳述したように本発明によれば、カメラの傾斜角度
を検出する傾斜角検出手段を設け、この傾斜角検出手段
の出力によって、エリアイメージセンサの出力である映
像信号の配列を変換し、たとえばカメラを横位置にして
も縦位置にしても、被写体が同一であれば同一の映像信
号に変換し、この変換出力に基づいて被写体のパターン
を認識することにより、エリアイメージセンサ上に投影
される被写体が同じであれば、投影される角度が異なっ
ても、同一の映像信号が得られるので、学習パターンが
少なくて済み、構成が著しく簡単になるカメラのパター
ン認識装置を提供できる。

【図面の簡単な説明】

図は本発明の詳細な説明するためのもので、第１図は本
発明をカメラの露出制御回路に適用し６ た例を示すブロック図、第２図は本発明をコントラスト
方式の焦点検出回路に適用した例を示すブロック図、第
３図はパターン認識を行なうためのパックプロパゲーシ
ョンモデルの構成図、第４図はカメラの構え方によるエ
リアイメージセンサの面上に投影される像と画素配列と
の関係を示す図１、第５図はカメラの傾きを検出する傾
斜角検出手段を説明する図である。 １１．３１・・・・・・撮影レンズ、１’２．３２・・
・・・・エリアイメージセンサ、１５．３７・・・・・
・Ａ／Ｄ変換器、１６．２８・・・・・・画像メモリ、
１７．４０・・・・・・傾斜角検出手段、１８．３９・
・・・・・画像処理回路、２０．４１・・・・・・ＢＰ
演算回路、２１．４２・・・・・・荷重係数メモリ、２
２．４３・・・・・・ゲート回路、２３・・・・・・ア
ペックス演算回路、２４・・・・・・シャッタ制御回路
、２５・・・・・・絞り制御回路、４４・・・・・・コ
ントラスト演算回路、４５・・・・・・レンズ駆動制御
回路。

Claims (1)

1. 【特許請求の範囲】 被写体の映像信号を出力するエリアイメージセンサと、 カメラの傾斜角度を検出する傾斜角検出手段と、この傾
   斜角検出手段の出力に基づいて前記映像信号の配列を変
   換する信号配列変換手段と、この信号配列変換手段の出
   力に基づいて前記被写体のパターンを認識する認識手段
   と を具備したことを特徴とするカメラのパターン認識装置
   。