JPH11252450A - 画像処理装置及びコンピュータ読み取り可能な記憶媒体 - Google Patents
画像処理装置及びコンピュータ読み取り可能な記憶媒体Info
- Publication number
- JPH11252450A JPH11252450A JP10054866A JP5486698A JPH11252450A JP H11252450 A JPH11252450 A JP H11252450A JP 10054866 A JP10054866 A JP 10054866A JP 5486698 A JP5486698 A JP 5486698A JP H11252450 A JPH11252450 A JP H11252450A
- Authority
- JP
- Japan
- Prior art keywords
- identification
- image
- image signal
- saturation level
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
(57)【要約】
【課題】 被写体画像から容易に人物等の特定の被写体
を検出し、それに合わせてＡＦ、ＡＲ、ＡＷＢ等を行え
るようにする。 【解決手段】 ＣＣＤ３で撮像した画像信号は処理され
た後、評価値検出部９で被写体の人物部分を識別するた
めの評価値が生成される。多層フィードフォワード型ニ
ューラルネットワーク１１は上記評価値に基づいて人物
部分を識別する。この識別結果が誤りであった場合はマ
イクロプロセッサ１０により上記評価値に基づいて人物
部分を識別する。マイクロプロセッサ１２は上記の何れ
かの識別結果を用いてカメラの光量調節部１、自動焦点
調節部２、白バランス調節部７を制御する。
を検出し、それに合わせてＡＦ、ＡＲ、ＡＷＢ等を行え
るようにする。 【解決手段】 ＣＣＤ３で撮像した画像信号は処理され
た後、評価値検出部９で被写体の人物部分を識別するた
めの評価値が生成される。多層フィードフォワード型ニ
ューラルネットワーク１１は上記評価値に基づいて人物
部分を識別する。この識別結果が誤りであった場合はマ
イクロプロセッサ１０により上記評価値に基づいて人物
部分を識別する。マイクロプロセッサ１２は上記の何れ
かの識別結果を用いてカメラの光量調節部１、自動焦点
調節部２、白バランス調節部７を制御する。
Description
【０００１】
【発明の属する技術分野】本発明は、動画像を撮影する
撮像装置から得られる画像信号から特定の被写体を検出
する場合に用いて好適な画像処理装置及びコンピュータ
読み取り可能な記憶媒体に関するものである。
撮像装置から得られる画像信号から特定の被写体を検出
する場合に用いて好適な画像処理装置及びコンピュータ
読み取り可能な記憶媒体に関するものである。
【０００２】
【従来の技術】民生用のビデオカメラ等の撮像装置にお
いては、従来より自動露光制御装置（ＡＥ）、自動焦点
制御装置（ＡＦ）、自動白バランス補正装置（ＡＷＢ）
等が装備されている。それらの制御方法として従来から
主に用いられるのは、撮影した画像信号から、何らかの
評価値、例えば自動露光制御であれば撮影した画像の輝
度分布、自動焦点制御では所定の周波数成分レベル、白
バランス補正では各色信号のレベルの分布等を抽出し、
それらの評価値に基づき所定のアルゴリズムで上記各制
御を行っている。
いては、従来より自動露光制御装置（ＡＥ）、自動焦点
制御装置（ＡＦ）、自動白バランス補正装置（ＡＷＢ）
等が装備されている。それらの制御方法として従来から
主に用いられるのは、撮影した画像信号から、何らかの
評価値、例えば自動露光制御であれば撮影した画像の輝
度分布、自動焦点制御では所定の周波数成分レベル、白
バランス補正では各色信号のレベルの分布等を抽出し、
それらの評価値に基づき所定のアルゴリズムで上記各制
御を行っている。
【０００３】さて、ＡＦ、ＡＥ、ＡＷＢを行う主たる目
的は、撮影したい被写体を撮影者が意識しなくても、露
出レベル、焦点距離、白バランス等を常に良好な状態に
保ち、撮影ができるようにすることにある。しかしなが
ら上記従来の各制御方法では、被写体が何であろうと画
像の所定の範囲から抽出される評価量に従って制御する
ため、場合によって被写体以外の対象物に対して上記各
制御が行われ、撮影者の意図に合わないことが生じる。
こうした問題の従来の解決方法として、被写体は撮影画
像の中央にあることが多いということから、上記各制御
用の評価値を画像の中央付近の範囲からのみ抽出すると
いう方式がとられている。
的は、撮影したい被写体を撮影者が意識しなくても、露
出レベル、焦点距離、白バランス等を常に良好な状態に
保ち、撮影ができるようにすることにある。しかしなが
ら上記従来の各制御方法では、被写体が何であろうと画
像の所定の範囲から抽出される評価量に従って制御する
ため、場合によって被写体以外の対象物に対して上記各
制御が行われ、撮影者の意図に合わないことが生じる。
こうした問題の従来の解決方法として、被写体は撮影画
像の中央にあることが多いということから、上記各制御
用の評価値を画像の中央付近の範囲からのみ抽出すると
いう方式がとられている。
【０００４】
【発明が解決しようとする課題】しかしながら、上記従
来の方式では、被写体が画面の中央にあることが前提と
なっているため、限られた撮影条件のもとでしか効果が
ない。そこで考えられるのが、撮影画像から特定の被写
体の位置を検出し、当該位置から得られる上記評価値を
抽出し、上記各制御を行うということである。こうした
処理では、例えば撮像した画像の中から輝度分布、エッ
ジの形、色分布等の特徴量が当該被写体に合致するもの
を、マイクロコンピュータ等のソフト的処理を行う装置
で検出することが考えられる。しかしながら、動画像の
被写体は当然常に変化するものであり、上記マイクロコ
ンピュータ等のソフト的処理を行う装置で対応するに
は、膨大な量のプログラムとそのプログラムを実行する
だけの計算性能が必要となり、実際上困難である。その
ため従来はこうした技術は実現されていなかった。
来の方式では、被写体が画面の中央にあることが前提と
なっているため、限られた撮影条件のもとでしか効果が
ない。そこで考えられるのが、撮影画像から特定の被写
体の位置を検出し、当該位置から得られる上記評価値を
抽出し、上記各制御を行うということである。こうした
処理では、例えば撮像した画像の中から輝度分布、エッ
ジの形、色分布等の特徴量が当該被写体に合致するもの
を、マイクロコンピュータ等のソフト的処理を行う装置
で検出することが考えられる。しかしながら、動画像の
被写体は当然常に変化するものであり、上記マイクロコ
ンピュータ等のソフト的処理を行う装置で対応するに
は、膨大な量のプログラムとそのプログラムを実行する
だけの計算性能が必要となり、実際上困難である。その
ため従来はこうした技術は実現されていなかった。
【０００５】従って、本発明は、画像信号から特定のパ
ターンを容易に識別できるようにし、カメラに適用した
場合に特定の被写体に対してＡＦ、ＡＥ、ＡＷＢを行え
るようにすることを目的としている。
ターンを容易に識別できるようにし、カメラに適用した
場合に特定の被写体に対してＡＦ、ＡＥ、ＡＷＢを行え
るようにすることを目的としている。
【０００６】
【課題を解決するための手段】本発明による画像処理装
置においては、入力される画像信号から特定パターンを
識別する多層フィードフォワード型ニューラルネットワ
ークを用いた第１の識別手段と、上記第１の識別手段の
識別結果が誤っていることを検出する検出手段と、上記
検出に応じて上記画像信号から上記特定パターンを識別
する第２の識別手段とを設けている。
置においては、入力される画像信号から特定パターンを
識別する多層フィードフォワード型ニューラルネットワ
ークを用いた第１の識別手段と、上記第１の識別手段の
識別結果が誤っていることを検出する検出手段と、上記
検出に応じて上記画像信号から上記特定パターンを識別
する第２の識別手段とを設けている。
【０００７】本発明による記憶媒体においては、入力さ
れる画像信号から特定パターンを識別する多層フィード
フォワード型ニューラルネットワークを用いた第１の識
別手順と、上記第１の識別手順の識別結果が誤っている
ことを検出する検出手順と、上記検出に応じて上記画像
信号から上記特定パターンを識別する第２の識別手順と
を実行するためのプログラムを記憶している。
れる画像信号から特定パターンを識別する多層フィード
フォワード型ニューラルネットワークを用いた第１の識
別手順と、上記第１の識別手順の識別結果が誤っている
ことを検出する検出手順と、上記検出に応じて上記画像
信号から上記特定パターンを識別する第２の識別手順と
を実行するためのプログラムを記憶している。
【０００８】
【発明の実施の形態】以下、本発明の実施の形態を図面
と共に説明する。図１は本発明の第１の実施の形態によ
る撮像装置の構成を示すものであって、撮影された映像
から人物を特定し、当該人物に対してＡＦ、ＡＥ、ＡＷ
Ｂの各機能を重点的に動作させるものである。図１にお
いて、１は絞り等の光量調節部、２はレンズを含む自動
焦点調節部、３はＣＣＤ撮像素子、４はオートゲインコ
ントロール部、５はＡ／Ｄコンバータ、６は第１の画像
信号処理部、７は白バランスゲイン調節部、８は第２の
画像信号処理部、９は撮影された画像内の人物の部分を
識別するための評価用信号を生成する評価値検出部、１
０は第１のマイクロプロセッサ、１１は多層フィードフ
ォワード型ニューラルネットワークであって、パターン
識別の正確さを表す評価値を検出して出力する手段を含
む。１２は第２のマイクロプロセッサ、１３は輝度信号
出力端子、１４は色信号出力端子である。
と共に説明する。図１は本発明の第１の実施の形態によ
る撮像装置の構成を示すものであって、撮影された映像
から人物を特定し、当該人物に対してＡＦ、ＡＥ、ＡＷ
Ｂの各機能を重点的に動作させるものである。図１にお
いて、１は絞り等の光量調節部、２はレンズを含む自動
焦点調節部、３はＣＣＤ撮像素子、４はオートゲインコ
ントロール部、５はＡ／Ｄコンバータ、６は第１の画像
信号処理部、７は白バランスゲイン調節部、８は第２の
画像信号処理部、９は撮影された画像内の人物の部分を
識別するための評価用信号を生成する評価値検出部、１
０は第１のマイクロプロセッサ、１１は多層フィードフ
ォワード型ニューラルネットワークであって、パターン
識別の正確さを表す評価値を検出して出力する手段を含
む。１２は第２のマイクロプロセッサ、１３は輝度信号
出力端子、１４は色信号出力端子である。
【０００９】次に動作について説明する。ＣＣＤ撮像素
子３には、光量調節部１、自動焦点調節部２により調節
された光学像が結像され、この光学像を光電変換してＣ
ＣＤ画像信号として出力する。このＣＣＤ画像信号は、
オートゲインコントロール部４により適切な振幅に調節
された後、第１の画像信号処理部６で処理されて所定の
形式の信号とされ、さらに白バランスゲイン調節部７で
上記所定の形式の信号に対して白バランスゲイン調節さ
れる。次に第２の画像信号処理部８で輝度信号Ｙと色信
号Ｃとに分離され、輝度信号Ｙは、輝度信号出力端子１
３から出力され、色信号Ｃは色信号出力端子１４から出
力される。
子３には、光量調節部１、自動焦点調節部２により調節
された光学像が結像され、この光学像を光電変換してＣ
ＣＤ画像信号として出力する。このＣＣＤ画像信号は、
オートゲインコントロール部４により適切な振幅に調節
された後、第１の画像信号処理部６で処理されて所定の
形式の信号とされ、さらに白バランスゲイン調節部７で
上記所定の形式の信号に対して白バランスゲイン調節さ
れる。次に第２の画像信号処理部８で輝度信号Ｙと色信
号Ｃとに分離され、輝度信号Ｙは、輝度信号出力端子１
３から出力され、色信号Ｃは色信号出力端子１４から出
力される。
【００１０】また、評価値検出部９には、各画像信号処
理部６、８から所定の形式の画像信号が送られ、撮影し
た画像内の人物の部分を識別するための評価用信号が生
成される。この評価値検出部９の出力評価値は、第１の
マイクロプロセッサ１０と多層フィードフォワード型ニ
ューラルネットワーク１１とに送られる。
理部６、８から所定の形式の画像信号が送られ、撮影し
た画像内の人物の部分を識別するための評価用信号が生
成される。この評価値検出部９の出力評価値は、第１の
マイクロプロセッサ１０と多層フィードフォワード型ニ
ューラルネットワーク１１とに送られる。
【００１１】この多層フィードフォワード型ニューラル
ネットワーク１１は、あらかじめ様々な撮影条件におけ
る上記評価値を入力したとき、画像内の人物の部分を正
しく識別するように学習させたものである。従って、学
習させた撮影条件と同じかまたはそれに近い場合には、
上記ニューラルネットワーク１１は、適切に人物部分の
識別を行うと共に、その識別の正確さを表す評価値が出
力される。第２のマイクロプロセッサ１２は、上記正確
さを表す評価値を検出し、所定以上の評価値と判定され
た場合は、ニューラルネットワーク１１の識別結果を用
いて、光量調節部１、自動焦点調節部２、白バランスゲ
イン調節部７を画像の人物の部分に対して効果的に働く
ような制御信号を生成して制御する。
ネットワーク１１は、あらかじめ様々な撮影条件におけ
る上記評価値を入力したとき、画像内の人物の部分を正
しく識別するように学習させたものである。従って、学
習させた撮影条件と同じかまたはそれに近い場合には、
上記ニューラルネットワーク１１は、適切に人物部分の
識別を行うと共に、その識別の正確さを表す評価値が出
力される。第２のマイクロプロセッサ１２は、上記正確
さを表す評価値を検出し、所定以上の評価値と判定され
た場合は、ニューラルネットワーク１１の識別結果を用
いて、光量調節部１、自動焦点調節部２、白バランスゲ
イン調節部７を画像の人物の部分に対して効果的に働く
ような制御信号を生成して制御する。
【００１２】一方、学習させた撮影条件と著しく異なる
ような特殊な状態では、上記ニューラルネットワーク１
１の識別結果は適切なものとはならず、かつ上記正確さ
を表す評価値もそうした状態を表すことになる。第１の
マイクロプロセッサ１０は上記正確さを表す評価値を検
出し、上記ニューラルネットワーク１１が誤って識別し
た状態においてのみ、ニューラルネットワーク１１に代
わって画像内の人物の部分を識別するように動作する。
その動作のプログラムは、ニューラルネットワーク１１
が誤って識別するような条件を、このニューラルネット
ワーク１１の学習時にあらかじめ特定して置き、これら
特定の場合に対応するように組まれたものである。その
ため比較的小さなプログラム量で済み、第１のマイクロ
プロセッサ１０の負荷も、その能力内で十分対応可能な
ものとなっている。
ような特殊な状態では、上記ニューラルネットワーク１
１の識別結果は適切なものとはならず、かつ上記正確さ
を表す評価値もそうした状態を表すことになる。第１の
マイクロプロセッサ１０は上記正確さを表す評価値を検
出し、上記ニューラルネットワーク１１が誤って識別し
た状態においてのみ、ニューラルネットワーク１１に代
わって画像内の人物の部分を識別するように動作する。
その動作のプログラムは、ニューラルネットワーク１１
が誤って識別するような条件を、このニューラルネット
ワーク１１の学習時にあらかじめ特定して置き、これら
特定の場合に対応するように組まれたものである。その
ため比較的小さなプログラム量で済み、第１のマイクロ
プロセッサ１０の負荷も、その能力内で十分対応可能な
ものとなっている。
【００１３】また、第２のマイクロプロセッサ１２で
は、上記正確さを表す評価値に基づいて第１のマイクロ
プロセッサ１０の識別結果から、光量調節部１、自動焦
点調節部２、白バランスゲイン調節部７を画像の人物の
部分に対して効果的に働くように制御する。
は、上記正確さを表す評価値に基づいて第１のマイクロ
プロセッサ１０の識別結果から、光量調節部１、自動焦
点調節部２、白バランスゲイン調節部７を画像の人物の
部分に対して効果的に働くように制御する。
【００１４】図２は本発明の第２の実施の形態を示すも
ので、第１の実施の形態と同様に、撮影された映像から
人物を特定し、当該人物に対してＡＦ、ＡＥ、ＡＷＢの
各機能を重点的に動作させるものである。図２におい
て、１は光量調節部、２は自動焦点調節部、３はＣＣＤ
撮像素子、４はオートゲインコントロール部、５はＡ／
Ｄコンバータ、６は第１の画像信号処理部、７は白バラ
ンス調節部、８は第２画像信号処理部である。
ので、第１の実施の形態と同様に、撮影された映像から
人物を特定し、当該人物に対してＡＦ、ＡＥ、ＡＷＢの
各機能を重点的に動作させるものである。図２におい
て、１は光量調節部、２は自動焦点調節部、３はＣＣＤ
撮像素子、４はオートゲインコントロール部、５はＡ／
Ｄコンバータ、６は第１の画像信号処理部、７は白バラ
ンス調節部、８は第２画像信号処理部である。
【００１５】９は評価値検出部で、撮影画像を水平、垂
直８×８の６４個のブロックに分割し、各ブロックの肌
色と黒の平均レベル（合計１２８個）とを出力する。１
０は第１のマイクロプロセッサ、１３は輝度信号出力端
子、１４は色信号出力端子である。
直８×８の６４個のブロックに分割し、各ブロックの肌
色と黒の平均レベル（合計１２８個）とを出力する。１
０は第１のマイクロプロセッサ、１３は輝度信号出力端
子、１４は色信号出力端子である。
【００１６】１１は入力層、中間層、出力層からなる多
層フィードフォワード型ニューラルネットワークであっ
て、入力層は１２８個のセル、中間層はＳｉｇｍｏｉｄ
関数の出力特性を持つ３２個のセル、出力層はＳｉｇｍ
ｏｉｄ関数の出力特性を持つ９個のセルからなり、入力
層は評価値検出部９の出力する１２８個の肌色及び黒の
各ブロック平均レベルが入力される。また、出力層の９
個のセルは、画面を３×３の領域分割した各領域対応
し、当該領域に人物が存在する場合には１、存在しない
場合には０を出力するように学習させたものである。ま
た、中間層３２個の各セルは、各々のセルの出力値を別
途外部に読み出せる構成としたものである。
層フィードフォワード型ニューラルネットワークであっ
て、入力層は１２８個のセル、中間層はＳｉｇｍｏｉｄ
関数の出力特性を持つ３２個のセル、出力層はＳｉｇｍ
ｏｉｄ関数の出力特性を持つ９個のセルからなり、入力
層は評価値検出部９の出力する１２８個の肌色及び黒の
各ブロック平均レベルが入力される。また、出力層の９
個のセルは、画面を３×３の領域分割した各領域対応
し、当該領域に人物が存在する場合には１、存在しない
場合には０を出力するように学習させたものである。ま
た、中間層３２個の各セルは、各々のセルの出力値を別
途外部に読み出せる構成としたものである。
【００１７】１５は、上記ニューラルネットワーク１１
の識別結果が信頼できるものであるかを検出する識別結
果検出部、１６は第２のマイクロプロセッサである。
の識別結果が信頼できるものであるかを検出する識別結
果検出部、１６は第２のマイクロプロセッサである。
【００１８】次に動作について説明する。ＣＣＤ撮像素
子３には、光量調節部１、自動焦点調節部２により調節
された光学像が結像され、この光学像を光電変換してＣ
ＣＤ画像信号として出力する。このＣＣＤ画像信号は、
オートゲインコントロール部４により適切な振幅に調節
された後、第１の画像信号処理部６で処理されて所定の
形式の信号とされ、さらに白バランスゲイン調節部７で
上記所定の形式の信号に対して白バランスゲインを調節
される。次に第２の画像信号処理部８で輝度信号Ｙと色
信号Ｃとに分離され、輝度信号Ｙは、輝度信号出力端子
１３から出力され、色信号Ｃは色信号出力端子１４から
出力される。
子３には、光量調節部１、自動焦点調節部２により調節
された光学像が結像され、この光学像を光電変換してＣ
ＣＤ画像信号として出力する。このＣＣＤ画像信号は、
オートゲインコントロール部４により適切な振幅に調節
された後、第１の画像信号処理部６で処理されて所定の
形式の信号とされ、さらに白バランスゲイン調節部７で
上記所定の形式の信号に対して白バランスゲインを調節
される。次に第２の画像信号処理部８で輝度信号Ｙと色
信号Ｃとに分離され、輝度信号Ｙは、輝度信号出力端子
１３から出力され、色信号Ｃは色信号出力端子１４から
出力される。
【００１９】また、評価値検出部９には、第２の画像信
号処理部８から輝度信号および色差信号として画像信号
が送られる。評価部検出部９では、まず、上記輝度信号
と色差信号で表される１フィールドまたは１フレームの
画像を水平・垂直に８×８の６４個の小ブロックに分割
し、次に、各ブロック毎に肌色と黒の平均レベルをそれ
ぞれ計算して出力する。従って、この評価値検出部９か
らは合計１２８個の評価値（肌色６４個、黒６４個）が
出力される。上記１２８個の評価値は第１のマイクロプ
ロセッサ１０と多層フィードフォワード型ニューラルネ
ットワーク１１とに入力される。
号処理部８から輝度信号および色差信号として画像信号
が送られる。評価部検出部９では、まず、上記輝度信号
と色差信号で表される１フィールドまたは１フレームの
画像を水平・垂直に８×８の６４個の小ブロックに分割
し、次に、各ブロック毎に肌色と黒の平均レベルをそれ
ぞれ計算して出力する。従って、この評価値検出部９か
らは合計１２８個の評価値（肌色６４個、黒６４個）が
出力される。上記１２８個の評価値は第１のマイクロプ
ロセッサ１０と多層フィードフォワード型ニューラルネ
ットワーク１１とに入力される。
【００２０】上記ニューラルネットワーク１１は、あら
かじめ様々な条件の人物を含む入力画像、例えば一人の
人物の正面、側面、ズームアップ、またはワイド画面等
や、複数の人物の画像等、多数のテスト画像に対して、
評価値検出部９で評価値を作成して、これを学習データ
として用い、出力層の９個のセルが、その時出力すべき
答えを教師データとしてあらかじめ学習させたものであ
る（出力層の９個のセルは、前述の通り画面を９個の小
領域に分割したときの各領域に対応する）。
かじめ様々な条件の人物を含む入力画像、例えば一人の
人物の正面、側面、ズームアップ、またはワイド画面等
や、複数の人物の画像等、多数のテスト画像に対して、
評価値検出部９で評価値を作成して、これを学習データ
として用い、出力層の９個のセルが、その時出力すべき
答えを教師データとしてあらかじめ学習させたものであ
る（出力層の９個のセルは、前述の通り画面を９個の小
領域に分割したときの各領域に対応する）。
【００２１】従って、学習させた撮影条件と同じかまた
はそれに近い場合には、上記ニューラルネットワーク１
１は、適切に人物部分の識別を行う。逆に、学習した条
件と著しく異なる場合、ニューラルネットワーク１１に
よる識別結果は誤ったものとなる。
はそれに近い場合には、上記ニューラルネットワーク１
１は、適切に人物部分の識別を行う。逆に、学習した条
件と著しく異なる場合、ニューラルネットワーク１１に
よる識別結果は誤ったものとなる。
【００２２】多層フィードフォワード型ニューラルネッ
トワーク１１の出力結果が正しいかどうかを判断するに
は、出力層の出力値以外にも、中間層の出力値から推測
することができる。これは以下の理由による。即ち、多
層フィードフォワード型ニューラルネットワークは、そ
の学習の過程で、入力データに対する出力と教師データ
との差に基づき、各セル間のネットの重み係数を少しず
つ変更してゆき、変更後の出力と教師データとの差を出
し、これを何回も繰り返して学習してゆく。中間層の各
セルでは、入力層の１２８個のセルの出力値に当該中間
層のセルにつながるネットの重みをかけた１２８個の入
力値を全て加算し、それにＳｉｇｍｏｉｄ関数をかけた
値が出力されるが、Ｓｉｇｍｏｉｄ関数は例えば最小値
が０で最大値が１となるような出力値の上下に飽和する
非線形関数である。
トワーク１１の出力結果が正しいかどうかを判断するに
は、出力層の出力値以外にも、中間層の出力値から推測
することができる。これは以下の理由による。即ち、多
層フィードフォワード型ニューラルネットワークは、そ
の学習の過程で、入力データに対する出力と教師データ
との差に基づき、各セル間のネットの重み係数を少しず
つ変更してゆき、変更後の出力と教師データとの差を出
し、これを何回も繰り返して学習してゆく。中間層の各
セルでは、入力層の１２８個のセルの出力値に当該中間
層のセルにつながるネットの重みをかけた１２８個の入
力値を全て加算し、それにＳｉｇｍｏｉｄ関数をかけた
値が出力されるが、Ｓｉｇｍｏｉｄ関数は例えば最小値
が０で最大値が１となるような出力値の上下に飽和する
非線形関数である。
【００２３】従って、多層フィードフォワード型ニュー
ラルネットワークが学習の過程で順調に所望の機能を学
習するためには、ネットの重み係数を微小に変化させた
とき、中間層の出力値も微小に変化できなければならな
い。換言すれば、うまく学習が完了した状態では、中間
層の出力は、例えば０または１などの飽和状態にはなら
ないと考えることができる。
ラルネットワークが学習の過程で順調に所望の機能を学
習するためには、ネットの重み係数を微小に変化させた
とき、中間層の出力値も微小に変化できなければならな
い。換言すれば、うまく学習が完了した状態では、中間
層の出力は、例えば０または１などの飽和状態にはなら
ないと考えることができる。
【００２４】従って、識別結果の検出部１２では、多層
フィードフォワード型ニューラルネットワーク１１の中
間層の３２個のセルの出力がどれも飽和状態でなけれ
ば、当該ニューラルネットワークの識別結果は正、前記
３２個の出力のうちのどれかが飽和状態であれば、誤で
あるとする。第１のマイクロプロセッサ１０は、識別結
果検出部１５が誤の検出をした場合に、ニューラルネッ
トワーク１１に代わり、画像内の人物の部分を検出する
ように動作する。その動作のプログラムは、ニューラル
ネットワーク１１が誤って識別するような条件を、ニュ
ーラルネットワーク１１の学習時にあらかじめ特定し、
これら特定の場合に対応するように組まれたものであ
る。そのため比較的小さなプログラム量ですみ、第１の
マイクロプロセッサ１０の負荷も、その能力内で十分対
応可能なものとなっている。
フィードフォワード型ニューラルネットワーク１１の中
間層の３２個のセルの出力がどれも飽和状態でなけれ
ば、当該ニューラルネットワークの識別結果は正、前記
３２個の出力のうちのどれかが飽和状態であれば、誤で
あるとする。第１のマイクロプロセッサ１０は、識別結
果検出部１５が誤の検出をした場合に、ニューラルネッ
トワーク１１に代わり、画像内の人物の部分を検出する
ように動作する。その動作のプログラムは、ニューラル
ネットワーク１１が誤って識別するような条件を、ニュ
ーラルネットワーク１１の学習時にあらかじめ特定し、
これら特定の場合に対応するように組まれたものであ
る。そのため比較的小さなプログラム量ですみ、第１の
マイクロプロセッサ１０の負荷も、その能力内で十分対
応可能なものとなっている。
【００２５】また、第２のマイクロプロセッサ１６では
識別結果検出部１５の出力が正の場合はニューラルネッ
トワーク１１の識別結果を用い、誤の場合は第１のマイ
クロプロセッサ１０の識別結果を用いて画像内の人物の
場所を特定し、光量調節部１、自動焦点調節部２、白バ
ランス調節部７を画像の人物の部分に対して効果的に働
くように制御する。
識別結果検出部１５の出力が正の場合はニューラルネッ
トワーク１１の識別結果を用い、誤の場合は第１のマイ
クロプロセッサ１０の識別結果を用いて画像内の人物の
場所を特定し、光量調節部１、自動焦点調節部２、白バ
ランス調節部７を画像の人物の部分に対して効果的に働
くように制御する。
【００２６】尚、図１、図２の機能ブロックによるシス
テムは、ハード的に構成してもよく、また、ＣＰＵやメ
モリ等から成るマイクロコンピュータシステムに構成し
てもよい。マイクロコンピュータシステムに構成する場
合、上記メモリは本発明による記憶媒体を構成する。こ
の記憶媒体には、図１、図２について前述した処理を実
行するためのプログラムが記憶されている。またこの記
憶媒体としてはＲＯＭ、ＲＡＭ等の半導体メモリ、光デ
ィスク、光磁気ディスク、磁気媒体等を用いてもよく、
これらをＣＤ−ＲＯＭ、フロィピディスク、磁気テー
プ、不揮発性のメモリカード等して用いてもよい。
テムは、ハード的に構成してもよく、また、ＣＰＵやメ
モリ等から成るマイクロコンピュータシステムに構成し
てもよい。マイクロコンピュータシステムに構成する場
合、上記メモリは本発明による記憶媒体を構成する。こ
の記憶媒体には、図１、図２について前述した処理を実
行するためのプログラムが記憶されている。またこの記
憶媒体としてはＲＯＭ、ＲＡＭ等の半導体メモリ、光デ
ィスク、光磁気ディスク、磁気媒体等を用いてもよく、
これらをＣＤ−ＲＯＭ、フロィピディスク、磁気テー
プ、不揮発性のメモリカード等して用いてもよい。
【００２７】上述したように、本実施の形態において
は、従来のコンピュータのようにプログラムに基づく直
列処理では困難なパターン識別やクラスタリング等を、
あらかじめ学習させることにより比較的容易に行うこと
ができる多層フィードフォワード型ニューラルネットワ
ークを用い、特定の輝度分布、エッジの形、色等の特徴
量が、撮像画像中に見いだされた時、その位置を出力
し、当該位置に対してＡＦ、ＡＥ、ＡＷＢを重点的に制
御するという構成にしている。
は、従来のコンピュータのようにプログラムに基づく直
列処理では困難なパターン識別やクラスタリング等を、
あらかじめ学習させることにより比較的容易に行うこと
ができる多層フィードフォワード型ニューラルネットワ
ークを用い、特定の輝度分布、エッジの形、色等の特徴
量が、撮像画像中に見いだされた時、その位置を出力
し、当該位置に対してＡＦ、ＡＥ、ＡＷＢを重点的に制
御するという構成にしている。
【００２８】ただし、上記多層フィードフォワード型ニ
ューラルネットワークは、識別すべきパターンの数が増
える程、規模の増大、学習の困難さの増大、学習後の精
度の低下（正解率の低下）をまねくということが一般的
に言える。従って、上記特定被写体の検出を全て多層フ
ィードフォワード型ニューラルネットワークで行って
も、所望の機能を得ることが困難であると考えられる。
ューラルネットワークは、識別すべきパターンの数が増
える程、規模の増大、学習の困難さの増大、学習後の精
度の低下（正解率の低下）をまねくということが一般的
に言える。従って、上記特定被写体の検出を全て多層フ
ィードフォワード型ニューラルネットワークで行って
も、所望の機能を得ることが困難であると考えられる。
【００２９】そこで本実施の形態では、あえて多層フィ
ードフォワード型ニューラルネットワークで、全ての特
定被写体検出を行うのではなく、所定の規模と検出能力
を持つニューラルネットワークで特定被写体の検出を行
うが、ニューラルネットワークが誤って被写体検出を行
う状態を検出し、その場合には多層フィードフォワード
型ニューラルネットワークに代わって被写体検出を行う
第２の識別部を設けている。
ードフォワード型ニューラルネットワークで、全ての特
定被写体検出を行うのではなく、所定の規模と検出能力
を持つニューラルネットワークで特定被写体の検出を行
うが、ニューラルネットワークが誤って被写体検出を行
う状態を検出し、その場合には多層フィードフォワード
型ニューラルネットワークに代わって被写体検出を行う
第２の識別部を設けている。
【００３０】これにより、多層フィードフォワード型ニ
ューラルネットワークは適当な規模のもので、例えば９
０〜９５％の正解率を持つものとし、残りの５〜１０％
は第２の識別部でカバーする。このようにして、全体と
しての特定被写体検出の能力を高めることを実現するこ
とができる。
ューラルネットワークは適当な規模のもので、例えば９
０〜９５％の正解率を持つものとし、残りの５〜１０％
は第２の識別部でカバーする。このようにして、全体と
しての特定被写体検出の能力を高めることを実現するこ
とができる。
【００３１】
【発明の効果】以上説明したように、本発明によれば、
第１の識別手段に適切な規模の多層フィードフォワード
型ニューラルネットワークを用い、第２の識別手段に適
切な処理能力のマイクロプロセッサを用いることができ
るので、比較的少いプログラム量、計算量により、画像
信号から特定パターンを識別することができる。
第１の識別手段に適切な規模の多層フィードフォワード
型ニューラルネットワークを用い、第２の識別手段に適
切な処理能力のマイクロプロセッサを用いることができ
るので、比較的少いプログラム量、計算量により、画像
信号から特定パターンを識別することができる。
【００３２】従って、撮像画像の中から特定の被写体を
検出し、当該被写体に関してより効果的な処理、例えば
自動露光制御、自動焦点制御、自動白バランス調整等を
行うことができる。
検出し、当該被写体に関してより効果的な処理、例えば
自動露光制御、自動焦点制御、自動白バランス調整等を
行うことができる。
【図１】本発明の第１の実施の形態を示すブロック図で
ある。
ある。
【図２】本発明の第２の実施の形態を示すブロック図で
ある。
ある。
１ 光量調節部 ２ 自動焦点調節部 ３ ＣＣＤ撮像素子 ６ 第１の画像信号処理部 ７ 白バランスゲイン調節部 ８ 第２の画像信号処理部 ９ 評価値検出部 １０ 第１のマイクロプロセッサ １１ 多層フィードフォワード型ニューラルネットワー
ク １２、１６ 第２のマイクロプロセッサ １５ 識別結果検出部
ク １２、１６ 第２のマイクロプロセッサ １５ 識別結果検出部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 ＦＩ Ｈ０４Ｎ 5/235 Ｇ０６Ｆ 15/70 ４１０ 9/73 ４６５Ａ
Claims (10)
- 【請求項１】 入力される画像信号から特定パターンを
識別する多層フィードフォワード型ニューラルネットワ
ークを用いた第１の識別手段と、 上記第１の識別手段の識別結果が誤っていることを検出
する検出手段と、 上記検出に応じて上記画像信号から上記特定パターンを
識別する第２の識別手段とを設けたことを特徴とする画
像処理装置。 - 【請求項２】 上記第１、第２の識別手段は、上記画像
信号について上記特定パターンに関する評価を行う評価
手段を有し、その評価値に基づいてそれぞれ上記識別を
行うことを特徴とする請求項１記載の画像処理装置。 - 【請求項３】 上記第１又は第２の識別手段の識別結果
に基づいて上記画像信号の白バランスを制御する白バラ
ンス制御手段を設けたことを特徴とする請求項１記載の
画像処理装置。 - 【請求項４】 上記画像信号は撮像手段により被写体を
撮像して得られるものであり、上記第１又は第２の識別
手段の識別結果に基づいて上記撮像手段における自動露
光制御、自動焦点制御のうち少くとも１つを行うための
制御信号を生成する制御手段を設けたことを特徴とする
請求項１記載の画像処理装置。 - 【請求項５】 上記多層フィードフォワード型ニューラ
ルネットワークは、中間層に、大小双方向に飽和レベル
を持つ非線形の入出力特性を有し、上記検出手段は、上
記中間層のセルの出力が、上記飽和レベルにない場合に
は上記識別結果を正、上記飽和レベル又はそれに所定の
範囲で近い値の場合は上記識別結果を誤とすることを特
徴とする請求項１記載の画像処理装置。 - 【請求項６】 入力される画像信号から特定パターンを
識別する多層フィードフォワード型ニューラルネットワ
ークを用いた第１の識別手順と、 上記第１の識別手順の識別結果が誤っていることを検出
する検出手順と、 上記検出に応じて上記画像信号から上記特定パターンを
識別する第２の識別手順とを実行するためのプログラム
を記憶したコンピュータ読み取り可能な記憶媒体。 - 【請求項７】 上記第１、第２の識別手順は、上記画像
信号について上記特定パターンに関する評価を行う評価
手順を有し、その評価値に基づいてそれぞれ上記識別を
行うことを特徴とする請求項６記載のコンピュータ読み
取り可能な記憶媒体。 - 【請求項８】 上記第１又は第２の識別手順の識別結果
に基づいて上記画像信号の白バランスを制御する白バラ
ンス制御手順を実行するためのプログラムを記憶したこ
とを特徴とする請求項６記載のコンピュータ読み取り可
能な記憶媒体。 - 【請求項９】 上記画像信号は撮像手段により被写体を
撮像して得られるものであり、上記第１又は第２の識別
手段の識別結果に基づいて上記撮像手段における自動露
光制御、自動焦点制御のうち少くとも１つを行うための
制御信号を生成する制御手順を実行するためのプログラ
ムを記憶したことを特徴とする請求項６記載のコンピュ
ータ読み取り可能な記憶媒体。 - 【請求項１０】 上記多層フィードフォワード型ニュー
ラルネットワークは、中間層と出力層に、大小双方向に
飽和レベルを持つ非線形の入出力特性を有し、上記検出
手順は、上記中間層のセルの出力が、上記飽和レベルに
ない場合には上記識別結果を正、上記飽和レベル又はそ
れに所定の範囲で近い値の場合は上記識別結果を誤とす
ることを特徴とする請求項６記載のコンピュータ読み取
り可能な記憶媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10054866A JPH11252450A (ja) | 1998-03-06 | 1998-03-06 | 画像処理装置及びコンピュータ読み取り可能な記憶媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10054866A JPH11252450A (ja) | 1998-03-06 | 1998-03-06 | 画像処理装置及びコンピュータ読み取り可能な記憶媒体 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005061281A Division JP2005160122A (ja) | 2005-03-04 | 2005-03-04 | 撮像装置及びコンピュータ読み取り可能な記憶媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH11252450A true JPH11252450A (ja) | 1999-09-17 |
Family
ID=12982520
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10054866A Pending JPH11252450A (ja) | 1998-03-06 | 1998-03-06 | 画像処理装置及びコンピュータ読み取り可能な記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH11252450A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8120664B2 (en) | 2004-02-06 | 2012-02-21 | Nikon Corporation | Digital camera |
| JP2018113660A (ja) * | 2017-01-13 | 2018-07-19 | キヤノン株式会社 | 情報処理装置、情報処理方法、システム |
| JP2018112996A (ja) * | 2017-01-13 | 2018-07-19 | キヤノン株式会社 | 映像認識装置、映像認識方法及びプログラム |
| JP2020065173A (ja) * | 2018-10-17 | 2020-04-23 | オリンパス株式会社 | 画像処理装置、学習装置、画像処理方法、学習方法およびプログラム |
| JP2021018816A (ja) * | 2019-07-19 | 2021-02-15 | ユーアイパス, インコーポレイテッドUiPath, Inc. | ロボティックプロセスオートメーション用のコンピュータビジョンモデルの再訓練 |
| WO2022196217A1 (ja) * | 2021-03-19 | 2022-09-22 | 富士フイルム株式会社 | 撮像支援装置、撮像装置、撮像支援方法、及びプログラム |
-
1998
- 1998-03-06 JP JP10054866A patent/JPH11252450A/ja active Pending
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8120664B2 (en) | 2004-02-06 | 2012-02-21 | Nikon Corporation | Digital camera |
| US8830343B2 (en) | 2004-02-06 | 2014-09-09 | Nikon Corporation | Digital camera |
| JP2018113660A (ja) * | 2017-01-13 | 2018-07-19 | キヤノン株式会社 | 情報処理装置、情報処理方法、システム |
| JP2018112996A (ja) * | 2017-01-13 | 2018-07-19 | キヤノン株式会社 | 映像認識装置、映像認識方法及びプログラム |
| JP2020065173A (ja) * | 2018-10-17 | 2020-04-23 | オリンパス株式会社 | 画像処理装置、学習装置、画像処理方法、学習方法およびプログラム |
| JP2021018816A (ja) * | 2019-07-19 | 2021-02-15 | ユーアイパス, インコーポレイテッドUiPath, Inc. | ロボティックプロセスオートメーション用のコンピュータビジョンモデルの再訓練 |
| US11487973B2 (en) | 2019-07-19 | 2022-11-01 | UiPath, Inc. | Retraining a computer vision model for robotic process automation |
| US11688192B2 (en) | 2019-07-19 | 2023-06-27 | UiPath, Inc. | Retraining a computer vision model for robotic process automation |
| WO2022196217A1 (ja) * | 2021-03-19 | 2022-09-22 | 富士フイルム株式会社 | 撮像支援装置、撮像装置、撮像支援方法、及びプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101142316B1 (ko) | 화상 선택 장치 및 화상 선택 방법 | |
| CN101867724B (zh) | 成像装置以及成像方法 | |
| US8055029B2 (en) | Real-time face tracking in a digital image acquisition device | |
| EP1876812B1 (en) | Image capturing apparatus and control method therefor | |
| KR100924685B1 (ko) | 촬상 장치 및 그 제어 방법 | |
| US9258481B2 (en) | Object area tracking apparatus, control method, and program of the same | |
| US20110150280A1 (en) | Subject tracking apparatus, subject region extraction apparatus, and control methods therefor | |
| US20070237506A1 (en) | Image blurring reduction | |
| CN101848327B (zh) | 摄像装置及图像处理方法 | |
| CN111107276B (zh) | 信息处理设备及其控制方法、存储介质以及摄像系统 | |
| JPH0823473A (ja) | 撮像装置 | |
| KR20160030361A (ko) | 이미지 보정 장치, 이미지 보정 방법 및 기록 매체에 저장된 컴퓨터 프로그램 | |
| JP2005160122A (ja) | 撮像装置及びコンピュータ読み取り可能な記憶媒体 | |
| JP5395650B2 (ja) | 被写体領域抽出装置およびその制御方法、被写体追跡装置、並びにプログラム | |
| JPH11252450A (ja) | 画像処理装置及びコンピュータ読み取り可能な記憶媒体 | |
| JP4668863B2 (ja) | 撮像装置 | |
| JP2011071925A (ja) | 移動体追尾装置および方法 | |
| JP2021196643A (ja) | 推論装置、撮像装置、学習装置、推論方法、学習方法、及びプログラム | |
| JP4772756B2 (ja) | 撮像装置及び撮像プログラム | |
| US20110149069A1 (en) | Image processing apparatus and control method thereof | |
| JP4818997B2 (ja) | 顔検出装置及び顔検出プログラム | |
| US20210289119A1 (en) | Information processing apparatus, imaging apparatus, method, and storage medium | |
| JP3367975B2 (ja) | オートアイリス回路 | |
| JP2013152643A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP6063680B2 (ja) | 画像生成装置、画像生成方法、撮像装置、および撮像方法 |