JP4364465B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP4364465B2 JP4364465B2 JP2001284162A JP2001284162A JP4364465B2 JP 4364465 B2 JP4364465 B2 JP 4364465B2 JP 2001284162 A JP2001284162 A JP 2001284162A JP 2001284162 A JP2001284162 A JP 2001284162A JP 4364465 B2 JP4364465 B2 JP 4364465B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- face image
- face
- imaging
- edge detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Indication In Cameras, And Counting Of Exposures (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Cameras In General (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像装置に関し、特に、光学系を介して被写体からの光信号を電気信号である画像信号に変換して出力する画像撮像手段を有し、被写体の顔を検出すると自動的にレリーズボタンが押される撮像装置に関するものである。
【０００２】
【従来の技術】
近年パーソナルコンピュータの発達に相まって、その画像入力装置としてのデジタルカメラの利用が広まってきた。特に、特殊な技術をもたない撮影者が使用する場合がほとんどであり、撮影の失敗を無くすためにシャッター速度、露出、ピント合わせを被写体に合わせて自動的に設定するようになっているものが多い。また、一般に被写体は人物である場合が多く、人物特有の設定モードを特別に備えたデジタルカメラはない。特開２００１−５１３３８公報には、被写体の顔の向きを認識し、顔が所定の方向を向いた場合に、被写体記録動作を行うことのできるカメラについて開示されている。それによると、被写界の画像情報を検出する被写界像検出手段と、該被写界像検出手段からの画像情報を基に被写体の顔を認識する顔認識手段と、該顔認識手段からの情報により、顔が所定方向に向いているかを判定する判定手段と、該判定手段の判定結果に応じて被写体記録動作を行わせる制御手段とを有する。
【０００３】
【発明が解決しようとする課題】
従来、シャッター速度、露出、ピント合わせを被写体によって自動的に設定するモードを備えたデジタルカメラ撮像装置では、レリーズボタンを押して被写体を撮影するのは、撮影者の意思によった。そのため人物撮影の場合、撮影者が人物を認識してもレリーズのタイミングがずれて撮影機会を逸することがあった。また、特開２００１−５１３３８公報は、顔の向きを認識し、所定の向きであったら被写体記録動作行なう技術であり、人物が動いてしまったり、カメラがぶれている場合などは顔を鮮明に撮影できない恐れがある。
本発明は、かかる課題に鑑み、顔画像を認識、判別することで自動的にレリーズボタンを押し、シャッターチャンスを逃さず、しかも不鮮明な画像を撮影することを防ぎ、鮮明な画像のみを記録する撮像装置を提供することを目的とする。
【０００４】
【課題を解決するための手段】
本発明はかかる課題を解決するために、請求項１の発明は、光学系を介して得られた光信号を画像信号に変換して出力する画像撮像手段を有する撮像装置において、前記画像信号の中から顔画像を認識する顔画像認識手段と、該顔画像認識手段のデータから前記顔画像の各部分を判別する顔部分判別手段を更に備え、前記顔部分判別手段は、前記顔画像の各部分ごとにエッジを検出してエッジ検出値を取得し、前記顔画像の各部分に対応する前記エッジ検出値が前記顔画像の各部分に対応する閾値を超えたか否かを判定する判定手段を有し、前記判定手段は、前記顔画像の各部分に対応する前記エッジ検出値が前記各部分に対応する閾値を超えた場合に、前記顔画像の各部分が判別できたと判定し、前記顔画像の各部分に対応する前記エッジ検出値が前記各部分に対応する閾値を超えていない場合に、前記顔画像の各部分に対応する前記エッジ検出値が、前記顔画像の各部分に対応する各閾値それぞれに幅を持たせて設けられた許容範囲を所定の期間超えたか否かを判定し、前記顔画像の各部分に対応する前記エッジ検出値が、所定の期間、前記各部分に対応する各閾値に設けられた許容範囲を超えた場合に、前記顔画像の各部分が判別できたと判定し、前記顔部分判別手段により前記顔画像の各部分が全て判別できたと判定された場合、被写体の撮影を実行する撮像動作を行なうことを特徴とする。カメラで最も多い被写体は圧倒的に人物である。従って、人物を撮影する場合、そのシャッターチャンスを逃さず撮影することが重要である。そのためには、被写体が人物であることを認識しなければならない。そして、人物を特定する最適な部分は、顔であり、被写体中から顔画像を抽出し、その顔画像から目、口、鼻、眉などの各パーツが判別できて初めて鮮明な画像を撮影することができる。特に、デジタルカメラは画像信号をデジタル化して記録するため、コンピュータによる解析が容易である。かかる発明によれば、前記判定手段は、顔画像の各部分に対応するエッジ検出値が前記各部分に対応する閾値を超えた場合に、顔画像の各部分が判別できたと判定し、顔画像の各部分に対応するエッジ検出値が各部分に対応する閾値を超えていない場合に、顔画像の各部分に対応するエッジ検出値が、顔画像の各部分に対応する各閾値それぞれに幅を持たせて設けられた許容範囲を所定の期間超えたか否かを判定し、顔画像の各部分に対応するエッジ検出値が、所定の期間、前記各部分に対応する各閾値に設けられた許容範囲を超えた場合に、顔画像の各部分が判別できたと判定することで、顔部分判別の精度をある程度保ち、かつ撮影動作を行なうまでの時間を速くすることが可能となり、シャッターチャンスを逃すことなく、鮮明な顔画像を撮影することができる。また、請求項２の発明は、前記顔部分判別手段が前記顔画像の各部分の全てを判別できなかった場合、前記顔部分判別手段の動作が前記顔画像の各部分の全てを判別できるまで継続されることも本発明の有効な手段である。顔画像の判別は顔の輪郭や、目、鼻、眉、耳等の形の特徴を捉えて判別する。そして、単純に顔であることだけを判別するのであれば、輪郭を捉えれば判別可能である。しかし、顔の全てを鮮明に撮影するには各部分が全て判別できるまで判別動作を継続する必要がある。かかる技術手段によれば、前記顔画像の各部分の全てを判別できなかった場合、前記顔部分判別手段の動作が前記顔画像の各部分の全てを判別できるまで継続されるので、鮮明な画像を撮影することができる。
【０００５】
また、請求項３の発明は、前記画像信号を連続して取り込むと共に、前記顔部分判別手段により前記顔画像の各部分が全て判別できた場合に限り、前記画像信号を記憶することも本発明の有効な手段である。メモリの記憶容量は有限である。また、撮影者はメモリに記録された画像から必要な画像を選択したり、あるいは不必要な画像を消去したりする。このとき、不鮮明な画像をメモリに記録した場合、前記操作が煩雑となり、しかもメモリを無駄に使用することになる。かかる技術手段によれば、顔画像の各部分が全て判別できた場合に限り、前記画像信号を記憶するので、操作性が向上し、メモリの無駄がなくなる。また、請求項４の発明は、前記判定手段は前記顔画像の各部分ごとにエッジの特徴点を検出するエッジ検出手段から前記エッジ検出値を取得し、該エッジ検出手段からのエッジ検出値が前記顔画像の各部分に対応する閾値より小さい場合、前記エッジ検出値が前記閾値を超えるまで待機若しくは前記エッジ検出手段の動作を継続することも本発明の有効な手段である。顔の各部分の特徴はエッジにより特徴づけられる。従って、それぞれの部分のエッジは特有の閾値を持ち、エッジ検出手段からのエッジ検出値とこの閾値との比較で判断可能である。かかる技術手段によれば、エッジ検出値が前記閾値を超えるまで待機若しくは前記エッジ検出手段の動作を継続するので、確実に各部分の画像を鮮明に撮影することができる。
【０００６】
また、請求項５の発明は、前記撮像装置はデータ内容を表示する表示手段を更に備え、前記撮像装置が撮像する条件を満足した場合、前記表示手段にその旨を表示することも本発明の有効な手段である。撮影者はいつ顔画像の判別が終了したかを認識する必要がある。そのためにカメラに液晶等の表示手段があれば好ましい。かかる技術手段によれば、撮像する条件を満足した場合、前記表示手段にその旨を表示するので、シャッターチャンスを的確に捉えることができ、操作性が向上する。また、請求項６の発明は、前記撮像装置が所定の時間経過後、撮像する条件を満足しなかった場合、前記表示手段にその旨を表示することも本発明の有効な手段である。かかる技術手段によれば、撮像する条件を満足しなかった場合、前記表示手段にその旨を表示するので、撮影者が次に行なう動作を迅速に進めることができる。また、請求項７の発明は、前記撮像装置は音を発する警報手段を更に備え、前記撮像装置が撮像する条件を満足した場合、前記警報手段により音を発することも本発明の有効な手段である。撮影者はいつ顔画像の判別が終了したかを認識する必要がある。しかし、常に表示部を見ているわけではない。そこで、音により判別するようにすれば、撮影者によりわかりやすくなる。かかる技術手段によれば、撮像する条件を満足した場合、前記警報手段により音を発するので、表示を見過ごすことがなくなり、操作性がさらに向上する。また、請求項８の発明は、前記撮像装置が所定の時間経過後、撮像する条件を満足しなかった場合、前記警報手段により音を発することも本発明の有効な手段である。かかる技術手段によれば、前記撮像装置が所定の時間経過後、撮像する条件を満足しなかった場合、前記警報手段により音を発するので、撮影者が次に行なう動作を迅速に進めることができる。
【０００７】
また、請求項９の発明は、前記警報手段の音は、前記撮像装置が撮像する条件を満足した場合と満足しなかった場合とで前記音の周波数若しくはメロディを変えることも本発明の有効な手段である。警報音が警報の内容に関係なく１種類の音だけ発する場合、どちらの警報かを判別することができない。そこで、警報の内容により音を変えればさらに好ましい。かかる技術手段によれば、前記撮像装置が撮像する条件を満足した場合と満足しなかった場合とで前記音の周波数若しくはメロディを変えるので、警報内容が判別でき、より操作性が向上する。また、請求項１０の発明は、前記顔部分判別手段が顔画像を検出した場合でも、レリーズボタンを押下るか否かを選択する選択手段を更に設け、該選択手段が押下否を選択した場合、前記レリーズボタンは手動により押下されることを特徴とする。撮影者は常に人物だけを撮影するとは限らないし、また、撮影したくない人物もいる。そこで、レリーズボタンの押下を自動にするか手動にするかを撮影者が選択できればさらに好ましい。かかる技術手段によれば、選択手段が押下否を選択した場合、前記レリーズボタンは手動により押下されるので、撮影者の操作性がさらに向上する。
【０００８】
【発明の実施の形態】
以下、本発明を図に示した実施形態を用いて詳細に説明する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。
図１は、本発明の実施形態のデジタルスチルカメラのブロック図である。この構成は、被写体の光学画像を集光するレンズ１と、レンズ１により集光された光束を集束する絞り部２と、図示しない複数のレンズを移動させて合焦したり、絞り部２を駆動するモータドライバ１１と、レンズ１と絞り部２を通過した光学画像を光電変換するＣＣＤ（Charge Coupled Device：電荷結合素子）３と、ＣＣＤ３に含まれる雑音を低減するＣＤＳ(Correlated Double Sampling)４と、ＣＣＤ３からのアナログ信号をデジタル信号に変換するＡ／Ｄ変換器５と、前記ＣＣＤ３、ＣＤＳ４、Ａ／Ｄ変換器５のタイミングを発生するタイミング発生器１３と、画像処理パラメータに従って画像処理を行うデジタル信号処理回路７と、撮像画素の記録と画像処理された画像を記憶するフレームメモリ６と、液晶（ＬＣＤ：Liquid Crystal Display）により撮像画像を表示する表示部８と、デジタル信号処理回路７で処理された画像データを圧縮あるいは源画像データに伸張する画像圧縮伸張回路９と、画像圧縮伸張回路９により圧縮された画像データを格納するメモリカード１０と、制御プログラムに基づいて所定の制御を実行するマイクロコンピュータ（以下、マイコンと記す）１４と、パラメータを格納するＥＥＰＲＯＭ(Electrically Erasable and Programmable Read Only Memory)１６と、操作者がカメラ本体を操作するためのレリーズボタン等を備えたカメラ操作部１７と、フイルム枚数やストロボの発光状態を監視するＯＳＤ(On-Screen Display)１５と、被写体を照明するストロボ１２により構成される。尚、レンズ１、絞り２、ＣＣＤ３が主として画像撮像手段を構成し、表示部８、デジタル信号処理回路７、マイコン１４が主としてモニタ手段を構成し、カメラ操作部１７が主として選択手段を構成する。
【０００９】
次に、図１を参照しながら、本構成のデジタルスチルカメラ１００の動作概要について説明する。操作者は図示しないファインダから被写体を覗き、カメラ操作部１７のレリーズボタンを押すと、マイコン１４はその信号を検出してモータドライバ１１に対してレンズ１と絞り２を駆動して、被写体の画像をＣＣＤ３に合焦させる。必要であればストロボ１２を発光させる。これらの一連の動作は、自動的にマイコン１４が図示しないセンサの情報に基づいて行われる。ＣＣＤ３に合焦された画像は、タイミング発生器１３から発生されるクロックにより順次取り出され、ＣＤＳ４によりデータに含まれる雑音を低減する。ここで、ＣＣＤの出力信号に含まれる雑音は、リセット雑音が支配的である。この雑音を低減するために信号期間に含まれる映像信号とリセット雑音及び、フィールドスルー期間のみに含まれるリセット雑音から両者を引き算することによりリセット雑音をキャンセルしている。そして、そのアナログ信号をＡ／Ｄ変換器５により１０ビットのデジタル信号に変換して、デジタル信号処理回路７に入力され、フレームメモリ６に一時保管される。そして、ＥＥＰＲＯＭ１６に格納されたパラメータにより、マイコン１４からの指示によりフレームメモリ６に一時保管されたデータを処理し、その処理された画像をフレームメモリ６に再び格納する。この処理の中にホワイトバランス処理が含まれる。さらに、フレームメモリ６に書き込まれたデータを表示部８の制御部に送り、ＬＣＤにその内容を表示する。
フレームメモリ６は、少なくとも撮像画素の１画面以上の画像データを蓄積することができる画像メモリであり、例えば、ＶＲＡＭ(Video Random Access Memory)、ＳＲＡＭ(Static Random Access Memory)、ＤＲＡＭ(Dynamic Random Access Memory) 、あるいはＳＤＲＡＭ（Synchronous DRAM）などの一般に用いられているメモリを用いる。
ここで、操作者の意思により、その画像をメモリカード１０に記録しておきたい場合、カメラ操作部１７から指示をすると、マイコン１４はそれに従って、デジタル信号処理回路７に対して画像をメモリカード１０に転送する制御を実行する。つまり、画像処理された画像をフレームメモリ６から読み出し、画像圧縮伸張回路９に送る。ここで、ＪＰＥＧ（Joint Photographic Experts Group）方式で画像を圧縮し、メモリカード１０に記憶する。この符号化アルゴリズムにはＡＤＣＴ（適応離散コサイン）を用い、最初に解像度の低い画像を符号化し、次第に解像度が高くなるような階層符号化も取り入れられる。このようにメモリカードは、フレームメモリ６に格納されたデータを圧縮し、その圧縮データを格納しておくためのものである。この他に、例えば８ＭＢ程度の内部メモリあるいはスマートメディア・コンパクトフラッシュなどに記録する構成であってもよい。
また、逆にメモリカード１０の内容を表示部８に表示する場合や、外部端子により他のＰＣと接続して画像データを転送したい場合は、所望のメモリカードをカメラ本体の図示しないコネクタに挿入して、カメラ操作部１７から指示すると、マイコン１４はデジタル信号処理回路７に指示してメモリカードの圧縮された画像データを読み出し、画像圧縮伸張回路９に入力して、圧縮のアルゴリズムに従ってデータを伸張して元に戻し、表示部８に画像を表示する。
【００１０】
図２は、本発明の実施形態の顔画像認識部の概略ブロック図である。この構成は、被写体の画像を１枚分記憶する画像メモリ２０と、そのメモリから所定の単位で他のメモリあるいはレジスタに取り込む画像取り込み部２１と、全体の制御を司る制御部２２と、複数の顔の特徴を格納する顔特徴記憶部２４と、画像取り込み部２１からのデータと顔特徴記憶部２４からのデータから顔を認識して各部分を判別する認識・判別部２３と、その結果データからエッジ検出値を検出するエッジ検出部２６と、最終的な判断結果を外部に出力する出力部２５から構成されている。ここで、画像メモリ２０は図１のフレームメモリ６を使用しても良い。また、その他の部分は図１のマイコン１４により実現しても構わないし、あるいは専用のＬＳＩにより実現しても良い。尚、認識・判別部２３と顔特徴記憶部２４が主として顔画像認識手段と顔部分判別手段を構成し、エッジ検出部が主としてエッジ検出手段を構成する。
次に、顔画像の検出の説明に入る前に、公知の顔画像の認識技術について、その概要を説明しておく。尚、本発明での顔認識は従来の個人の顔として確実に認識できるレベルである必要は無く、被写体が顔か、あるいはそれ以外の他の物体かの２者択一の認識レベルで充分である。顔画像認識における対象項目は大きく分けると次の２つとなる。
１）人物の識別：対象人物が誰であるかを識別する。
２）表情識別：人物がどのような表情をしているかを識別する。
すなわち、１）の人物識別は顔の構造認識であり静的識別といえる。また、２）の表情識別は顔の形状変化の認識であり、動的識別ともいえる。本発明の場合は、前記よりさらに単純な識別といえる。また、これらの識別の手法として、１）２次元的手法、２）３次元的手法があり、コンピュータでは主に１）２次元的手法が使用されている。これらの詳しい内容はここでは省略する。また、表情識別の手法として、ＦＡＣＳ(Facial ACtion unit System)による考え方があり、これを用いると表情構成要素の特徴点の位置を用いて表現できる。
今後は、これらの技術を用いて入室管理システム、人物像データベースシステム、認識通信システム等に適用が考えられる。
【００１１】
図３は、本発明の第１の実施形態の動作フローチャートである。図１、図２と併せて参照しながら説明する。被写体の画像データは前記図１のＣＣＤにより光電変換され画像処理されて画像メモリ２０に記憶される。その画像データはある所定の単位（フレーム、バイト）に画像取り込み部２１に取り込まれる（Ｓ１）。次に、画像データは認識・判別部２３に入力され、予め記憶された各種の顔特徴データを格納した顔特徴記憶部２４とのデータから顔の認識と顔の各部分の判別を行なう。この認識の方法は各種アルゴリズムに基づいて行われる。その結果は逐一制御部２２に伝えられ、顔画像が認識され（Ｓ２）、そのデータから各部分が判別される（Ｓ３）。その結果顔画像の認識と各部分が判別された場合（ＹＥＳのルート）制御部２２は結果信号を出力部２５に出力し、カメラ操作部１７の図示しないレリーズボタンを押下する（Ｓ４）。ステップＳ２、Ｓ３で顔画像が検出されなかった場合や各部分が判別されなかった場合（ＮＯのルート）、制御部２２は結果信号を出力部２５に出力し、ステップＳ１に戻り、顔画像認識・判別動作を継続する。
以上のように、カメラで最も多い被写体は圧倒的に人物である。従って、人物を撮影する場合、そのシャッターチャンスを逃さず撮影することが重要である。そのためには、被写体が人物であることを認識しなければならない。そして、人物を特定する最適な部分は、顔であり、被写体中から顔画像を抽出し、その顔画像から目、口、鼻、眉などの各パーツが判別できて初めて鮮明な画像を撮影することができる。特に、デジタルカメラは画像信号をデジタル化して記録するため、コンピュータによる解析が容易である。これにより、操作性が向上し、シャッターチャンスを逃がすことなく鮮明な画像を撮影できる。
また、顔画像の判別は顔の輪郭や、目、鼻、眉、耳等の形の特徴を捉えて判別する。そして、単純に顔であることだけを判別するのであれば、輪郭を捉えれば判別可能である。しかし、顔の全てを鮮明に撮影するには各部分が全て判別できるまで判別動作を継続する必要がある。これにより、鮮明な画像を撮影することができる。
【００１２】
図４は、本発明の第２の実施形態の動作フローチャートである。図１、図２と併せて参照しながら説明する。被写体の画像データは前記図１のＣＣＤにより光電変換され画像処理されて画像メモリ２０に記憶される。その画像データはある所定の単位（フレーム、バイト）に画像取り込み部２１に取り込まれる（Ｓ１０）。次に、画像データは認識・判別部２３に入力され、予め記憶された各種の顔特徴データを格納した顔特徴記憶部２４とのデータから顔の認識と顔の各部分の判別を行なう。この認識の方法は各種アルゴリズムに基づいて行われる。その結果は逐一制御部２２に伝えられ、顔画像が認識され（Ｓ１１）、そのデータから各部分が判別される（Ｓ１２）。その結果顔画像の認識と各部分が判別された場合（ＹＥＳのルート）制御部２２は結果信号を出力部２５に出力し、カメラ操作部１７の図示しないレリーズボタンを押下する（Ｓ１３）。ステップＳ１１、Ｓ１２で顔画像が検出されなかった場合や各部分が判別されなかった場合（ＮＯのルート）、制御部２２は結果信号を出力部２５に出力し、ステップＳ１０に戻り、顔画像認識・判別動作を継続する。
ここで、メモリの記憶容量は有限である。また、撮影者はメモリに記録された画像から必要な画像を選択したり、あるいは不必要な画像を消去したりする。このとき、不鮮明な画像をメモリに記録した場合、前記操作が煩雑となり、しかもメモリを無駄に使用することになる。これにより、顔画像の各部分が全て判別できた場合に限り、前記画像信号を記憶するので、操作性が向上し、メモリの無駄がなくなる。
【００１３】
図５は、本発明の第３の実施形態の動作フローチャートである。図１、図２と併せて参照しながら説明する。被写体の画像データは前記図１のＣＣＤにより光電変換され画像処理されて画像メモリ２０に記憶される。その画像データはある所定の単位（フレーム、バイト）に画像取り込み部２１に取り込まれる（Ｓ１５）。次に、画像データは認識・判別部２３に入力され、予め記憶された各種の顔特徴データを格納した顔特徴記憶部２４とのデータから顔の認識と顔の各部分の判別を行なう。この認識の方法は各種アルゴリズムに基づいて行われる。その結果は逐一制御部２２に伝えられ、顔画像が認識され（Ｓ１６）、そのデータから各部分が判別される（Ｓ１７）。その結果顔画像の認識と各部分が判別された場合（ＹＥＳのルート）、顔のパーツごとにエリアを分割し（Ｓ１８）、エッジ検出部２６にデータを送る。エッジ検出部２６はエリアごとにエッジを検出し（Ｓ１９）、目のエリアのエッジがエッジ閾値Ａ以上かを判断し（Ｓ２０）、鼻のエリアのエッジがエッジ閾値Ｂ以上かを判断し（Ｓ２１）、口のエリアのエッジがエッジ閾値Ｃ以上かを判断し（Ｓ２２）、全てがＹＥＳであれば、制御部２２は結果信号を出力部２５に出力し、カメラ操作部１７の図示しないレリーズボタンを押下する（Ｓ２３）。ステップＳ２０、Ｓ２１、Ｓ２２で閾値以下の場合（ＮＯのルート）、ステップＳ１５へ戻り、顔画像認識・判別動作及びエッジ検出動作を継続する。
以上のように、顔の各部分の特徴はエッジにより特徴づけられる。従って、それぞれの部分のエッジは特有の閾値を持ち、エッジ検出部２６からのエッジ検出値とこの閾値との比較で判断可能である。これにより、エッジ検出値が前記閾値を超えるまで待機若しくは前記エッジ検出部２６の動作を継続するので、確実に各部分の画像を鮮明に撮影することができる。
また、前記ではエッジ検出値が閾値を超えるまでエッジ検出動作を継続したが、この場合検出するまで時間がかかりすぎる場合もでてくる。そこで、検出時間と、閾値に幅を持たせその許容範囲を超えた場合画像信号として取り込むか、あるいはレリーズボタンを押して撮影するようにしてもよい。これにより、所定の期間前記エッジ検出部２６からのエッジ検出値が所定の閾値を超えた場合、前記画像信号を取り込むか若しくは前記レリーズボタンを押下するので、動作時間が速くなる。
【００１４】
図６は、本発明の第４の実施形態の動作フローチャートである。図１、図２と併せて参照しながら説明する。被写体の画像データは前記図１のＣＣＤにより光電変換され画像処理されて画像メモリ２０に記憶される。その画像データはある所定の単位（フレーム、バイト）に画像取り込み部２１に取り込まれる（Ｓ３０）。次に、画像データは認識・判別部２３に入力され、予め記憶された各種の顔特徴データを格納した顔特徴記憶部２４とのデータから顔の認識と顔の各部分の判別を行なう。この認識の方法は各種アルゴリズムに基づいて行われる。その結果は逐一制御部２２に伝えられ、顔画像が認識され（Ｓ３１）、そのデータから各部分が判別される（Ｓ３２）。その結果顔画像の認識と各部分が判別された場合（ＹＥＳのルート）、図１の表示部８のＬＣＤに撮像可の旨を表示する（Ｓ３３）。ステップＳ３１かＳ３２でＮＯの場合、所定時間経過したかを判断し（Ｓ３４）、経過した場合（ＹＥＳのルート）、図１の表示部８のＬＣＤに撮像否の旨を表示する（Ｓ３５）。
以上のように、撮影者はいつ顔画像の判別が終了したかを認識する必要がある。そのためにカメラに液晶等の表示手段があれば好ましい。これにより、撮像する条件を満足した場合、前記表示部８にその旨を表示するので、シャッターチャンスを的確に捉えることができ、操作性が向上する。また、撮像する条件を満足しなかった場合、前記表示部８にその旨を表示するので、撮影者が次に行なう動作を迅速に進めることができる。
【００１５】
図７は、本発明の第５の実施形態の動作フローチャートである。図１、図２と併せて参照しながら説明する。被写体の画像データは前記図１のＣＣＤにより光電変換され画像処理されて画像メモリ２０に記憶される。その画像データはある所定の単位（フレーム、バイト）に画像取り込み部２１に取り込まれる（Ｓ４０）。次に、画像データは認識・判別部２３に入力され、予め記憶された各種の顔特徴データを格納した顔特徴記憶部２４とのデータから顔の認識と顔の各部分の判別を行なう。この認識の方法は各種アルゴリズムに基づいて行われる。その結果は逐一制御部２２に伝えられ、顔画像が認識され（Ｓ４１）、そのデータから各部分が判別される（Ｓ４２）。その結果顔画像の認識と各部分が判別された場合（ＹＥＳのルート）、図１のカメラ操作部１７の図示しない発音器で第１の警報音を発する（Ｓ４３）。ステップＳ４１かＳ４２でＮＯの場合、所定時間経過したかを判断し（Ｓ４４）、経過した場合（ＹＥＳのルート）、図１のカメラ操作部１７の図示しない発音器で第２の警報音を発する（Ｓ４５）。
以上のように、撮影者はいつ顔画像の判別が終了したかを認識する必要がある。しかし、常に表示部を見ているわけではない。そこで、音により判別するようにすれば、撮影者によりわかりやすくなる。これにより、撮像する条件を満足した場合、発音器により音を発するので、表示を見過ごすことがなくなり、操作性がさらに向上する。また、撮像装置が所定の時間経過後、撮像する条件を満足しなかった場合、発音器により音を発するので、撮影者が次に行なう動作を迅速に進めることができる。ここで、警報音が警報の内容に関係なく１種類の音だけ発する場合、どちらの警報かを判別することができない。そこで、警報の内容により音を変えればさらに好ましい。これにより、警報内容が判別でき、より操作性が向上する。
【００１６】
以上の説明で、撮影者は常に人物だけを撮影するとは限らないし、また、撮影したくない人物もいる。そこで、レリーズボタンの押下を自動にするか手動にするかを撮影者が選択できるようにすれば、撮影者の操作性がさらに向上する。
【００１７】
【発明の効果】
以上記載のごとく本発明によれば、請求項１は、前記判定手段は、顔画像の各部分に対応するエッジ検出値が前記各部分に対応する閾値を超えた場合に、顔画像の各部分が判別できたと判定し、顔画像の各部分に対応するエッジ検出値が各部分に対応する閾値を超えていない場合に、顔画像の各部分に対応するエッジ検出値が、顔画像の各部分に対応する各閾値それぞれに幅を持たせて設けられた許容範囲を所定の期間超えたか否かを判定し、顔画像の各部分に対応するエッジ検出値が、所定の期間、前記各部分に対応する各閾値に設けられた許容範囲を超えた場合に、顔画像の各部分が判別できたと判定することで、顔部分判別の精度をある程度保ち、かつ撮影動作を行なうまでの時間を速くすることが可能となり、シャッターチャンスを逃すことなく、鮮明な顔画像を撮影することができる。請求項２は、前記顔画像の各部分の全てを判別できなかった場合、前記顔部分判別手段の動作が前記顔画像の各部分の全てを判別できるまで継続されるので、鮮明な画像を撮影することができる。請求項３は、顔画像の各部分が全て判別できた場合に限り、前記画像信号を記憶するので、操作性が向上し、メモリの無駄がなくなる。請求項４は、エッジ検出値が前記閾値を超えるまで待機若しくは前記エッジ検出手段の動作を継続するので、確実に各分の画像を鮮明に撮影することができる。請求項５は、撮像する条件を満足した場合、前記表示手段にその旨を表示するので、シャッターチャンスを的確に捉えることができ、操作性が向上する。請求項６は、撮像する条件を満足しなかった場合、前記表示手段にその旨を表示するので、撮影者が次に行なう動作を迅速に進めることができる。請求項７は、撮像する条件を満足した場合、前記警報手段により音を発するので、表示を見過ごすことがなくなり、操作性がさらに向上する。請求項８は、前記撮像装置が所定の時間経過後、撮像する条件を満足しなかった場合、前記警報手段により音を発するので、撮影者が次に行なう動作を迅速に進めることができる。請求項９は、前記撮像装置が撮像する条件を満足した場合と満足しなかった場合とで前記音の周波数若しくはメロディを変えるので、警報内容が判別でき、より操作性が向上する。請求項１０は、選択手段が押下否を選択した場合、前記レリーズボタンは手動により押下されるので、撮影者の操作性がさらに向上する。
【図面の簡単な説明】
【図１】本発明の実施形態のデジタルスチルカメラのブロック図である。
【図２】本発明の実施形態の顔画像認識部の概略ブロック図である。
【図３】本発明の第１の実施形態の動作フローチャートである。
【図４】本発明の第２の実施形態の動作フローチャートである。
【図５】本発明の第３の実施形態の動作フローチャートである。
【図６】本発明の第４の実施形態の動作フローチャートである。
【図７】本発明の第５の実施形態の動作フローチャートである。
【符号の説明】
２０ 画像メモリ、２１ 画像取り込み部、２２ 制御部、２３ 認識・判別部、２４ 顔特徴記憶部、２５ 出力部、２６ エッジ検出部
【発明の属する技術分野】
本発明は、撮像装置に関し、特に、光学系を介して被写体からの光信号を電気信号である画像信号に変換して出力する画像撮像手段を有し、被写体の顔を検出すると自動的にレリーズボタンが押される撮像装置に関するものである。
【０００２】
【従来の技術】
近年パーソナルコンピュータの発達に相まって、その画像入力装置としてのデジタルカメラの利用が広まってきた。特に、特殊な技術をもたない撮影者が使用する場合がほとんどであり、撮影の失敗を無くすためにシャッター速度、露出、ピント合わせを被写体に合わせて自動的に設定するようになっているものが多い。また、一般に被写体は人物である場合が多く、人物特有の設定モードを特別に備えたデジタルカメラはない。特開２００１−５１３３８公報には、被写体の顔の向きを認識し、顔が所定の方向を向いた場合に、被写体記録動作を行うことのできるカメラについて開示されている。それによると、被写界の画像情報を検出する被写界像検出手段と、該被写界像検出手段からの画像情報を基に被写体の顔を認識する顔認識手段と、該顔認識手段からの情報により、顔が所定方向に向いているかを判定する判定手段と、該判定手段の判定結果に応じて被写体記録動作を行わせる制御手段とを有する。
【０００３】
【発明が解決しようとする課題】
従来、シャッター速度、露出、ピント合わせを被写体によって自動的に設定するモードを備えたデジタルカメラ撮像装置では、レリーズボタンを押して被写体を撮影するのは、撮影者の意思によった。そのため人物撮影の場合、撮影者が人物を認識してもレリーズのタイミングがずれて撮影機会を逸することがあった。また、特開２００１−５１３３８公報は、顔の向きを認識し、所定の向きであったら被写体記録動作行なう技術であり、人物が動いてしまったり、カメラがぶれている場合などは顔を鮮明に撮影できない恐れがある。
本発明は、かかる課題に鑑み、顔画像を認識、判別することで自動的にレリーズボタンを押し、シャッターチャンスを逃さず、しかも不鮮明な画像を撮影することを防ぎ、鮮明な画像のみを記録する撮像装置を提供することを目的とする。
【０００４】
【課題を解決するための手段】
本発明はかかる課題を解決するために、請求項１の発明は、光学系を介して得られた光信号を画像信号に変換して出力する画像撮像手段を有する撮像装置において、前記画像信号の中から顔画像を認識する顔画像認識手段と、該顔画像認識手段のデータから前記顔画像の各部分を判別する顔部分判別手段を更に備え、前記顔部分判別手段は、前記顔画像の各部分ごとにエッジを検出してエッジ検出値を取得し、前記顔画像の各部分に対応する前記エッジ検出値が前記顔画像の各部分に対応する閾値を超えたか否かを判定する判定手段を有し、前記判定手段は、前記顔画像の各部分に対応する前記エッジ検出値が前記各部分に対応する閾値を超えた場合に、前記顔画像の各部分が判別できたと判定し、前記顔画像の各部分に対応する前記エッジ検出値が前記各部分に対応する閾値を超えていない場合に、前記顔画像の各部分に対応する前記エッジ検出値が、前記顔画像の各部分に対応する各閾値それぞれに幅を持たせて設けられた許容範囲を所定の期間超えたか否かを判定し、前記顔画像の各部分に対応する前記エッジ検出値が、所定の期間、前記各部分に対応する各閾値に設けられた許容範囲を超えた場合に、前記顔画像の各部分が判別できたと判定し、前記顔部分判別手段により前記顔画像の各部分が全て判別できたと判定された場合、被写体の撮影を実行する撮像動作を行なうことを特徴とする。カメラで最も多い被写体は圧倒的に人物である。従って、人物を撮影する場合、そのシャッターチャンスを逃さず撮影することが重要である。そのためには、被写体が人物であることを認識しなければならない。そして、人物を特定する最適な部分は、顔であり、被写体中から顔画像を抽出し、その顔画像から目、口、鼻、眉などの各パーツが判別できて初めて鮮明な画像を撮影することができる。特に、デジタルカメラは画像信号をデジタル化して記録するため、コンピュータによる解析が容易である。かかる発明によれば、前記判定手段は、顔画像の各部分に対応するエッジ検出値が前記各部分に対応する閾値を超えた場合に、顔画像の各部分が判別できたと判定し、顔画像の各部分に対応するエッジ検出値が各部分に対応する閾値を超えていない場合に、顔画像の各部分に対応するエッジ検出値が、顔画像の各部分に対応する各閾値それぞれに幅を持たせて設けられた許容範囲を所定の期間超えたか否かを判定し、顔画像の各部分に対応するエッジ検出値が、所定の期間、前記各部分に対応する各閾値に設けられた許容範囲を超えた場合に、顔画像の各部分が判別できたと判定することで、顔部分判別の精度をある程度保ち、かつ撮影動作を行なうまでの時間を速くすることが可能となり、シャッターチャンスを逃すことなく、鮮明な顔画像を撮影することができる。また、請求項２の発明は、前記顔部分判別手段が前記顔画像の各部分の全てを判別できなかった場合、前記顔部分判別手段の動作が前記顔画像の各部分の全てを判別できるまで継続されることも本発明の有効な手段である。顔画像の判別は顔の輪郭や、目、鼻、眉、耳等の形の特徴を捉えて判別する。そして、単純に顔であることだけを判別するのであれば、輪郭を捉えれば判別可能である。しかし、顔の全てを鮮明に撮影するには各部分が全て判別できるまで判別動作を継続する必要がある。かかる技術手段によれば、前記顔画像の各部分の全てを判別できなかった場合、前記顔部分判別手段の動作が前記顔画像の各部分の全てを判別できるまで継続されるので、鮮明な画像を撮影することができる。
【０００５】
また、請求項３の発明は、前記画像信号を連続して取り込むと共に、前記顔部分判別手段により前記顔画像の各部分が全て判別できた場合に限り、前記画像信号を記憶することも本発明の有効な手段である。メモリの記憶容量は有限である。また、撮影者はメモリに記録された画像から必要な画像を選択したり、あるいは不必要な画像を消去したりする。このとき、不鮮明な画像をメモリに記録した場合、前記操作が煩雑となり、しかもメモリを無駄に使用することになる。かかる技術手段によれば、顔画像の各部分が全て判別できた場合に限り、前記画像信号を記憶するので、操作性が向上し、メモリの無駄がなくなる。また、請求項４の発明は、前記判定手段は前記顔画像の各部分ごとにエッジの特徴点を検出するエッジ検出手段から前記エッジ検出値を取得し、該エッジ検出手段からのエッジ検出値が前記顔画像の各部分に対応する閾値より小さい場合、前記エッジ検出値が前記閾値を超えるまで待機若しくは前記エッジ検出手段の動作を継続することも本発明の有効な手段である。顔の各部分の特徴はエッジにより特徴づけられる。従って、それぞれの部分のエッジは特有の閾値を持ち、エッジ検出手段からのエッジ検出値とこの閾値との比較で判断可能である。かかる技術手段によれば、エッジ検出値が前記閾値を超えるまで待機若しくは前記エッジ検出手段の動作を継続するので、確実に各部分の画像を鮮明に撮影することができる。
【０００６】
また、請求項５の発明は、前記撮像装置はデータ内容を表示する表示手段を更に備え、前記撮像装置が撮像する条件を満足した場合、前記表示手段にその旨を表示することも本発明の有効な手段である。撮影者はいつ顔画像の判別が終了したかを認識する必要がある。そのためにカメラに液晶等の表示手段があれば好ましい。かかる技術手段によれば、撮像する条件を満足した場合、前記表示手段にその旨を表示するので、シャッターチャンスを的確に捉えることができ、操作性が向上する。また、請求項６の発明は、前記撮像装置が所定の時間経過後、撮像する条件を満足しなかった場合、前記表示手段にその旨を表示することも本発明の有効な手段である。かかる技術手段によれば、撮像する条件を満足しなかった場合、前記表示手段にその旨を表示するので、撮影者が次に行なう動作を迅速に進めることができる。また、請求項７の発明は、前記撮像装置は音を発する警報手段を更に備え、前記撮像装置が撮像する条件を満足した場合、前記警報手段により音を発することも本発明の有効な手段である。撮影者はいつ顔画像の判別が終了したかを認識する必要がある。しかし、常に表示部を見ているわけではない。そこで、音により判別するようにすれば、撮影者によりわかりやすくなる。かかる技術手段によれば、撮像する条件を満足した場合、前記警報手段により音を発するので、表示を見過ごすことがなくなり、操作性がさらに向上する。また、請求項８の発明は、前記撮像装置が所定の時間経過後、撮像する条件を満足しなかった場合、前記警報手段により音を発することも本発明の有効な手段である。かかる技術手段によれば、前記撮像装置が所定の時間経過後、撮像する条件を満足しなかった場合、前記警報手段により音を発するので、撮影者が次に行なう動作を迅速に進めることができる。
【０００７】
また、請求項９の発明は、前記警報手段の音は、前記撮像装置が撮像する条件を満足した場合と満足しなかった場合とで前記音の周波数若しくはメロディを変えることも本発明の有効な手段である。警報音が警報の内容に関係なく１種類の音だけ発する場合、どちらの警報かを判別することができない。そこで、警報の内容により音を変えればさらに好ましい。かかる技術手段によれば、前記撮像装置が撮像する条件を満足した場合と満足しなかった場合とで前記音の周波数若しくはメロディを変えるので、警報内容が判別でき、より操作性が向上する。また、請求項１０の発明は、前記顔部分判別手段が顔画像を検出した場合でも、レリーズボタンを押下るか否かを選択する選択手段を更に設け、該選択手段が押下否を選択した場合、前記レリーズボタンは手動により押下されることを特徴とする。撮影者は常に人物だけを撮影するとは限らないし、また、撮影したくない人物もいる。そこで、レリーズボタンの押下を自動にするか手動にするかを撮影者が選択できればさらに好ましい。かかる技術手段によれば、選択手段が押下否を選択した場合、前記レリーズボタンは手動により押下されるので、撮影者の操作性がさらに向上する。
【０００８】
【発明の実施の形態】
以下、本発明を図に示した実施形態を用いて詳細に説明する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。
図１は、本発明の実施形態のデジタルスチルカメラのブロック図である。この構成は、被写体の光学画像を集光するレンズ１と、レンズ１により集光された光束を集束する絞り部２と、図示しない複数のレンズを移動させて合焦したり、絞り部２を駆動するモータドライバ１１と、レンズ１と絞り部２を通過した光学画像を光電変換するＣＣＤ（Charge Coupled Device：電荷結合素子）３と、ＣＣＤ３に含まれる雑音を低減するＣＤＳ(Correlated Double Sampling)４と、ＣＣＤ３からのアナログ信号をデジタル信号に変換するＡ／Ｄ変換器５と、前記ＣＣＤ３、ＣＤＳ４、Ａ／Ｄ変換器５のタイミングを発生するタイミング発生器１３と、画像処理パラメータに従って画像処理を行うデジタル信号処理回路７と、撮像画素の記録と画像処理された画像を記憶するフレームメモリ６と、液晶（ＬＣＤ：Liquid Crystal Display）により撮像画像を表示する表示部８と、デジタル信号処理回路７で処理された画像データを圧縮あるいは源画像データに伸張する画像圧縮伸張回路９と、画像圧縮伸張回路９により圧縮された画像データを格納するメモリカード１０と、制御プログラムに基づいて所定の制御を実行するマイクロコンピュータ（以下、マイコンと記す）１４と、パラメータを格納するＥＥＰＲＯＭ(Electrically Erasable and Programmable Read Only Memory)１６と、操作者がカメラ本体を操作するためのレリーズボタン等を備えたカメラ操作部１７と、フイルム枚数やストロボの発光状態を監視するＯＳＤ(On-Screen Display)１５と、被写体を照明するストロボ１２により構成される。尚、レンズ１、絞り２、ＣＣＤ３が主として画像撮像手段を構成し、表示部８、デジタル信号処理回路７、マイコン１４が主としてモニタ手段を構成し、カメラ操作部１７が主として選択手段を構成する。
【０００９】
次に、図１を参照しながら、本構成のデジタルスチルカメラ１００の動作概要について説明する。操作者は図示しないファインダから被写体を覗き、カメラ操作部１７のレリーズボタンを押すと、マイコン１４はその信号を検出してモータドライバ１１に対してレンズ１と絞り２を駆動して、被写体の画像をＣＣＤ３に合焦させる。必要であればストロボ１２を発光させる。これらの一連の動作は、自動的にマイコン１４が図示しないセンサの情報に基づいて行われる。ＣＣＤ３に合焦された画像は、タイミング発生器１３から発生されるクロックにより順次取り出され、ＣＤＳ４によりデータに含まれる雑音を低減する。ここで、ＣＣＤの出力信号に含まれる雑音は、リセット雑音が支配的である。この雑音を低減するために信号期間に含まれる映像信号とリセット雑音及び、フィールドスルー期間のみに含まれるリセット雑音から両者を引き算することによりリセット雑音をキャンセルしている。そして、そのアナログ信号をＡ／Ｄ変換器５により１０ビットのデジタル信号に変換して、デジタル信号処理回路７に入力され、フレームメモリ６に一時保管される。そして、ＥＥＰＲＯＭ１６に格納されたパラメータにより、マイコン１４からの指示によりフレームメモリ６に一時保管されたデータを処理し、その処理された画像をフレームメモリ６に再び格納する。この処理の中にホワイトバランス処理が含まれる。さらに、フレームメモリ６に書き込まれたデータを表示部８の制御部に送り、ＬＣＤにその内容を表示する。
フレームメモリ６は、少なくとも撮像画素の１画面以上の画像データを蓄積することができる画像メモリであり、例えば、ＶＲＡＭ(Video Random Access Memory)、ＳＲＡＭ(Static Random Access Memory)、ＤＲＡＭ(Dynamic Random Access Memory) 、あるいはＳＤＲＡＭ（Synchronous DRAM）などの一般に用いられているメモリを用いる。
ここで、操作者の意思により、その画像をメモリカード１０に記録しておきたい場合、カメラ操作部１７から指示をすると、マイコン１４はそれに従って、デジタル信号処理回路７に対して画像をメモリカード１０に転送する制御を実行する。つまり、画像処理された画像をフレームメモリ６から読み出し、画像圧縮伸張回路９に送る。ここで、ＪＰＥＧ（Joint Photographic Experts Group）方式で画像を圧縮し、メモリカード１０に記憶する。この符号化アルゴリズムにはＡＤＣＴ（適応離散コサイン）を用い、最初に解像度の低い画像を符号化し、次第に解像度が高くなるような階層符号化も取り入れられる。このようにメモリカードは、フレームメモリ６に格納されたデータを圧縮し、その圧縮データを格納しておくためのものである。この他に、例えば８ＭＢ程度の内部メモリあるいはスマートメディア・コンパクトフラッシュなどに記録する構成であってもよい。
また、逆にメモリカード１０の内容を表示部８に表示する場合や、外部端子により他のＰＣと接続して画像データを転送したい場合は、所望のメモリカードをカメラ本体の図示しないコネクタに挿入して、カメラ操作部１７から指示すると、マイコン１４はデジタル信号処理回路７に指示してメモリカードの圧縮された画像データを読み出し、画像圧縮伸張回路９に入力して、圧縮のアルゴリズムに従ってデータを伸張して元に戻し、表示部８に画像を表示する。
【００１０】
図２は、本発明の実施形態の顔画像認識部の概略ブロック図である。この構成は、被写体の画像を１枚分記憶する画像メモリ２０と、そのメモリから所定の単位で他のメモリあるいはレジスタに取り込む画像取り込み部２１と、全体の制御を司る制御部２２と、複数の顔の特徴を格納する顔特徴記憶部２４と、画像取り込み部２１からのデータと顔特徴記憶部２４からのデータから顔を認識して各部分を判別する認識・判別部２３と、その結果データからエッジ検出値を検出するエッジ検出部２６と、最終的な判断結果を外部に出力する出力部２５から構成されている。ここで、画像メモリ２０は図１のフレームメモリ６を使用しても良い。また、その他の部分は図１のマイコン１４により実現しても構わないし、あるいは専用のＬＳＩにより実現しても良い。尚、認識・判別部２３と顔特徴記憶部２４が主として顔画像認識手段と顔部分判別手段を構成し、エッジ検出部が主としてエッジ検出手段を構成する。
次に、顔画像の検出の説明に入る前に、公知の顔画像の認識技術について、その概要を説明しておく。尚、本発明での顔認識は従来の個人の顔として確実に認識できるレベルである必要は無く、被写体が顔か、あるいはそれ以外の他の物体かの２者択一の認識レベルで充分である。顔画像認識における対象項目は大きく分けると次の２つとなる。
１）人物の識別：対象人物が誰であるかを識別する。
２）表情識別：人物がどのような表情をしているかを識別する。
すなわち、１）の人物識別は顔の構造認識であり静的識別といえる。また、２）の表情識別は顔の形状変化の認識であり、動的識別ともいえる。本発明の場合は、前記よりさらに単純な識別といえる。また、これらの識別の手法として、１）２次元的手法、２）３次元的手法があり、コンピュータでは主に１）２次元的手法が使用されている。これらの詳しい内容はここでは省略する。また、表情識別の手法として、ＦＡＣＳ(Facial ACtion unit System)による考え方があり、これを用いると表情構成要素の特徴点の位置を用いて表現できる。
今後は、これらの技術を用いて入室管理システム、人物像データベースシステム、認識通信システム等に適用が考えられる。
【００１１】
図３は、本発明の第１の実施形態の動作フローチャートである。図１、図２と併せて参照しながら説明する。被写体の画像データは前記図１のＣＣＤにより光電変換され画像処理されて画像メモリ２０に記憶される。その画像データはある所定の単位（フレーム、バイト）に画像取り込み部２１に取り込まれる（Ｓ１）。次に、画像データは認識・判別部２３に入力され、予め記憶された各種の顔特徴データを格納した顔特徴記憶部２４とのデータから顔の認識と顔の各部分の判別を行なう。この認識の方法は各種アルゴリズムに基づいて行われる。その結果は逐一制御部２２に伝えられ、顔画像が認識され（Ｓ２）、そのデータから各部分が判別される（Ｓ３）。その結果顔画像の認識と各部分が判別された場合（ＹＥＳのルート）制御部２２は結果信号を出力部２５に出力し、カメラ操作部１７の図示しないレリーズボタンを押下する（Ｓ４）。ステップＳ２、Ｓ３で顔画像が検出されなかった場合や各部分が判別されなかった場合（ＮＯのルート）、制御部２２は結果信号を出力部２５に出力し、ステップＳ１に戻り、顔画像認識・判別動作を継続する。
以上のように、カメラで最も多い被写体は圧倒的に人物である。従って、人物を撮影する場合、そのシャッターチャンスを逃さず撮影することが重要である。そのためには、被写体が人物であることを認識しなければならない。そして、人物を特定する最適な部分は、顔であり、被写体中から顔画像を抽出し、その顔画像から目、口、鼻、眉などの各パーツが判別できて初めて鮮明な画像を撮影することができる。特に、デジタルカメラは画像信号をデジタル化して記録するため、コンピュータによる解析が容易である。これにより、操作性が向上し、シャッターチャンスを逃がすことなく鮮明な画像を撮影できる。
また、顔画像の判別は顔の輪郭や、目、鼻、眉、耳等の形の特徴を捉えて判別する。そして、単純に顔であることだけを判別するのであれば、輪郭を捉えれば判別可能である。しかし、顔の全てを鮮明に撮影するには各部分が全て判別できるまで判別動作を継続する必要がある。これにより、鮮明な画像を撮影することができる。
【００１２】
図４は、本発明の第２の実施形態の動作フローチャートである。図１、図２と併せて参照しながら説明する。被写体の画像データは前記図１のＣＣＤにより光電変換され画像処理されて画像メモリ２０に記憶される。その画像データはある所定の単位（フレーム、バイト）に画像取り込み部２１に取り込まれる（Ｓ１０）。次に、画像データは認識・判別部２３に入力され、予め記憶された各種の顔特徴データを格納した顔特徴記憶部２４とのデータから顔の認識と顔の各部分の判別を行なう。この認識の方法は各種アルゴリズムに基づいて行われる。その結果は逐一制御部２２に伝えられ、顔画像が認識され（Ｓ１１）、そのデータから各部分が判別される（Ｓ１２）。その結果顔画像の認識と各部分が判別された場合（ＹＥＳのルート）制御部２２は結果信号を出力部２５に出力し、カメラ操作部１７の図示しないレリーズボタンを押下する（Ｓ１３）。ステップＳ１１、Ｓ１２で顔画像が検出されなかった場合や各部分が判別されなかった場合（ＮＯのルート）、制御部２２は結果信号を出力部２５に出力し、ステップＳ１０に戻り、顔画像認識・判別動作を継続する。
ここで、メモリの記憶容量は有限である。また、撮影者はメモリに記録された画像から必要な画像を選択したり、あるいは不必要な画像を消去したりする。このとき、不鮮明な画像をメモリに記録した場合、前記操作が煩雑となり、しかもメモリを無駄に使用することになる。これにより、顔画像の各部分が全て判別できた場合に限り、前記画像信号を記憶するので、操作性が向上し、メモリの無駄がなくなる。
【００１３】
図５は、本発明の第３の実施形態の動作フローチャートである。図１、図２と併せて参照しながら説明する。被写体の画像データは前記図１のＣＣＤにより光電変換され画像処理されて画像メモリ２０に記憶される。その画像データはある所定の単位（フレーム、バイト）に画像取り込み部２１に取り込まれる（Ｓ１５）。次に、画像データは認識・判別部２３に入力され、予め記憶された各種の顔特徴データを格納した顔特徴記憶部２４とのデータから顔の認識と顔の各部分の判別を行なう。この認識の方法は各種アルゴリズムに基づいて行われる。その結果は逐一制御部２２に伝えられ、顔画像が認識され（Ｓ１６）、そのデータから各部分が判別される（Ｓ１７）。その結果顔画像の認識と各部分が判別された場合（ＹＥＳのルート）、顔のパーツごとにエリアを分割し（Ｓ１８）、エッジ検出部２６にデータを送る。エッジ検出部２６はエリアごとにエッジを検出し（Ｓ１９）、目のエリアのエッジがエッジ閾値Ａ以上かを判断し（Ｓ２０）、鼻のエリアのエッジがエッジ閾値Ｂ以上かを判断し（Ｓ２１）、口のエリアのエッジがエッジ閾値Ｃ以上かを判断し（Ｓ２２）、全てがＹＥＳであれば、制御部２２は結果信号を出力部２５に出力し、カメラ操作部１７の図示しないレリーズボタンを押下する（Ｓ２３）。ステップＳ２０、Ｓ２１、Ｓ２２で閾値以下の場合（ＮＯのルート）、ステップＳ１５へ戻り、顔画像認識・判別動作及びエッジ検出動作を継続する。
以上のように、顔の各部分の特徴はエッジにより特徴づけられる。従って、それぞれの部分のエッジは特有の閾値を持ち、エッジ検出部２６からのエッジ検出値とこの閾値との比較で判断可能である。これにより、エッジ検出値が前記閾値を超えるまで待機若しくは前記エッジ検出部２６の動作を継続するので、確実に各部分の画像を鮮明に撮影することができる。
また、前記ではエッジ検出値が閾値を超えるまでエッジ検出動作を継続したが、この場合検出するまで時間がかかりすぎる場合もでてくる。そこで、検出時間と、閾値に幅を持たせその許容範囲を超えた場合画像信号として取り込むか、あるいはレリーズボタンを押して撮影するようにしてもよい。これにより、所定の期間前記エッジ検出部２６からのエッジ検出値が所定の閾値を超えた場合、前記画像信号を取り込むか若しくは前記レリーズボタンを押下するので、動作時間が速くなる。
【００１４】
図６は、本発明の第４の実施形態の動作フローチャートである。図１、図２と併せて参照しながら説明する。被写体の画像データは前記図１のＣＣＤにより光電変換され画像処理されて画像メモリ２０に記憶される。その画像データはある所定の単位（フレーム、バイト）に画像取り込み部２１に取り込まれる（Ｓ３０）。次に、画像データは認識・判別部２３に入力され、予め記憶された各種の顔特徴データを格納した顔特徴記憶部２４とのデータから顔の認識と顔の各部分の判別を行なう。この認識の方法は各種アルゴリズムに基づいて行われる。その結果は逐一制御部２２に伝えられ、顔画像が認識され（Ｓ３１）、そのデータから各部分が判別される（Ｓ３２）。その結果顔画像の認識と各部分が判別された場合（ＹＥＳのルート）、図１の表示部８のＬＣＤに撮像可の旨を表示する（Ｓ３３）。ステップＳ３１かＳ３２でＮＯの場合、所定時間経過したかを判断し（Ｓ３４）、経過した場合（ＹＥＳのルート）、図１の表示部８のＬＣＤに撮像否の旨を表示する（Ｓ３５）。
以上のように、撮影者はいつ顔画像の判別が終了したかを認識する必要がある。そのためにカメラに液晶等の表示手段があれば好ましい。これにより、撮像する条件を満足した場合、前記表示部８にその旨を表示するので、シャッターチャンスを的確に捉えることができ、操作性が向上する。また、撮像する条件を満足しなかった場合、前記表示部８にその旨を表示するので、撮影者が次に行なう動作を迅速に進めることができる。
【００１５】
図７は、本発明の第５の実施形態の動作フローチャートである。図１、図２と併せて参照しながら説明する。被写体の画像データは前記図１のＣＣＤにより光電変換され画像処理されて画像メモリ２０に記憶される。その画像データはある所定の単位（フレーム、バイト）に画像取り込み部２１に取り込まれる（Ｓ４０）。次に、画像データは認識・判別部２３に入力され、予め記憶された各種の顔特徴データを格納した顔特徴記憶部２４とのデータから顔の認識と顔の各部分の判別を行なう。この認識の方法は各種アルゴリズムに基づいて行われる。その結果は逐一制御部２２に伝えられ、顔画像が認識され（Ｓ４１）、そのデータから各部分が判別される（Ｓ４２）。その結果顔画像の認識と各部分が判別された場合（ＹＥＳのルート）、図１のカメラ操作部１７の図示しない発音器で第１の警報音を発する（Ｓ４３）。ステップＳ４１かＳ４２でＮＯの場合、所定時間経過したかを判断し（Ｓ４４）、経過した場合（ＹＥＳのルート）、図１のカメラ操作部１７の図示しない発音器で第２の警報音を発する（Ｓ４５）。
以上のように、撮影者はいつ顔画像の判別が終了したかを認識する必要がある。しかし、常に表示部を見ているわけではない。そこで、音により判別するようにすれば、撮影者によりわかりやすくなる。これにより、撮像する条件を満足した場合、発音器により音を発するので、表示を見過ごすことがなくなり、操作性がさらに向上する。また、撮像装置が所定の時間経過後、撮像する条件を満足しなかった場合、発音器により音を発するので、撮影者が次に行なう動作を迅速に進めることができる。ここで、警報音が警報の内容に関係なく１種類の音だけ発する場合、どちらの警報かを判別することができない。そこで、警報の内容により音を変えればさらに好ましい。これにより、警報内容が判別でき、より操作性が向上する。
【００１６】
以上の説明で、撮影者は常に人物だけを撮影するとは限らないし、また、撮影したくない人物もいる。そこで、レリーズボタンの押下を自動にするか手動にするかを撮影者が選択できるようにすれば、撮影者の操作性がさらに向上する。
【００１７】
【発明の効果】
以上記載のごとく本発明によれば、請求項１は、前記判定手段は、顔画像の各部分に対応するエッジ検出値が前記各部分に対応する閾値を超えた場合に、顔画像の各部分が判別できたと判定し、顔画像の各部分に対応するエッジ検出値が各部分に対応する閾値を超えていない場合に、顔画像の各部分に対応するエッジ検出値が、顔画像の各部分に対応する各閾値それぞれに幅を持たせて設けられた許容範囲を所定の期間超えたか否かを判定し、顔画像の各部分に対応するエッジ検出値が、所定の期間、前記各部分に対応する各閾値に設けられた許容範囲を超えた場合に、顔画像の各部分が判別できたと判定することで、顔部分判別の精度をある程度保ち、かつ撮影動作を行なうまでの時間を速くすることが可能となり、シャッターチャンスを逃すことなく、鮮明な顔画像を撮影することができる。請求項２は、前記顔画像の各部分の全てを判別できなかった場合、前記顔部分判別手段の動作が前記顔画像の各部分の全てを判別できるまで継続されるので、鮮明な画像を撮影することができる。請求項３は、顔画像の各部分が全て判別できた場合に限り、前記画像信号を記憶するので、操作性が向上し、メモリの無駄がなくなる。請求項４は、エッジ検出値が前記閾値を超えるまで待機若しくは前記エッジ検出手段の動作を継続するので、確実に各分の画像を鮮明に撮影することができる。請求項５は、撮像する条件を満足した場合、前記表示手段にその旨を表示するので、シャッターチャンスを的確に捉えることができ、操作性が向上する。請求項６は、撮像する条件を満足しなかった場合、前記表示手段にその旨を表示するので、撮影者が次に行なう動作を迅速に進めることができる。請求項７は、撮像する条件を満足した場合、前記警報手段により音を発するので、表示を見過ごすことがなくなり、操作性がさらに向上する。請求項８は、前記撮像装置が所定の時間経過後、撮像する条件を満足しなかった場合、前記警報手段により音を発するので、撮影者が次に行なう動作を迅速に進めることができる。請求項９は、前記撮像装置が撮像する条件を満足した場合と満足しなかった場合とで前記音の周波数若しくはメロディを変えるので、警報内容が判別でき、より操作性が向上する。請求項１０は、選択手段が押下否を選択した場合、前記レリーズボタンは手動により押下されるので、撮影者の操作性がさらに向上する。
【図面の簡単な説明】
【図１】本発明の実施形態のデジタルスチルカメラのブロック図である。
【図２】本発明の実施形態の顔画像認識部の概略ブロック図である。
【図３】本発明の第１の実施形態の動作フローチャートである。
【図４】本発明の第２の実施形態の動作フローチャートである。
【図５】本発明の第３の実施形態の動作フローチャートである。
【図６】本発明の第４の実施形態の動作フローチャートである。
【図７】本発明の第５の実施形態の動作フローチャートである。
【符号の説明】
２０ 画像メモリ、２１ 画像取り込み部、２２ 制御部、２３ 認識・判別部、２４ 顔特徴記憶部、２５ 出力部、２６ エッジ検出部
Claims (10)
- 光学系を介して得られた光信号を画像信号に変換して出力する画像撮像手段を有する撮像装置において、
前記画像信号の中から顔画像を認識する顔画像認識手段と、該顔画像認識手段のデータから前記顔画像の各部分を判別する顔部分判別手段を更に備え、
前記顔部分判別手段は、前記顔画像の各部分ごとにエッジを検出してエッジ検出値を取得し、前記顔画像の各部分に対応する前記エッジ検出値が前記顔画像の各部分に対応する閾値を超えたか否かを判定する判定手段を有し、
前記判定手段は、前記顔画像の各部分に対応する前記エッジ検出値が前記各部分に対応する閾値を超えた場合に、前記顔画像の各部分が判別できたと判定し、
前記顔画像の各部分に対応する前記エッジ検出値が前記各部分に対応する閾値を超えていない場合に、前記顔画像の各部分に対応する前記エッジ検出値が、前記顔画像の各部分に対応する各閾値それぞれに幅を持たせて設けられた許容範囲を所定の期間超えたか否かを判定し、前記顔画像の各部分に対応する前記エッジ検出値が、所定の期間、前記各部分に対応する各閾値に設けられた許容範囲を超えた場合に、前記顔画像の各部分が判別できたと判定し、
前記顔部分判別手段により前記顔画像の各部分が全て判別できたと判定された場合、被写体の撮影を実行する撮像動作を行なうことを特徴とする撮像装置。 - 前記顔部分判別手段が前記顔画像の各部分の全てを判別できなかった場合、前記顔部分判別手段の動作が前記顔画像の各部分の全てを判別できるまで継続されることを特徴とする請求項１記載の撮像装置。
- 前記画像信号を連続して取り込むと共に、前記顔部分判別手段により前記顔画像の各部分が全て判別できた場合に限り、前記画像信号を記憶することを特徴とする請求項１、２記載の撮像装置。
- 前記判定手段は前記顔画像の各部分ごとにエッジの特徴点を検出するエッジ検出手段から前記エッジ検出値を取得し、該エッジ検出手段からのエッジ検出値が前記顔画像の各部分に対応する閾値より小さい場合、前記エッジ検出値が前記閾値を超えるまで待機若しくは前記エッジ検出手段の動作を継続することを特徴とする請求項１記載の撮像装置。
- 前記撮像装置はデータ内容を表示する表示手段を更に備え、前記撮像装置が撮像する条件を満足した場合、前記表示手段にその旨を表示することを特徴とする請求項１〜４記載の撮像装置。
- 前記撮像装置が所定の時間経過後、撮像する条件を満足しなかった場合、前記表示手段にその旨を表示することを特徴とする請求項５記載の撮像装置。
- 前記撮像装置は音を発する警報手段を更に備え、前記撮像装置が撮像する条件を満足した場合、前記警報手段により音を発することを特徴とする請求項１〜４記載の撮像装置。
- 前記撮像装置が所定の時間経過後、撮像する条件を満足しなかった場合、前記警報手段により音を発することを特徴とする請求項７記載の撮像装置。
- 前記警報手段の音は、前記撮像装置が撮像する条件を満足した場合と満足しなかった場合とで前記音の周波数若しくはメロディを変えることを特徴とする請求項７、８記載の撮像装置。
- 前記顔部分判別手段が顔画像を検出した場合でも、レリーズボタンを押下るか否かを選択する選択手段を更に設け、該選択手段が押下否を選択した場合、前記レリーズボタンは手動により押下されることを特徴とする請求項１記載の撮像装置。
Priority Applications (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001284162A JP4364465B2 (ja) | 2001-09-18 | 2001-09-18 | 撮像装置 |
| US10/244,670 US7298412B2 (en) | 2001-09-18 | 2002-09-17 | Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program |
| US11/745,753 US7973853B2 (en) | 2001-09-18 | 2007-05-08 | Image pickup device, automatic focusing method, automatic exposure method calculating an exposure based on a detected face |
| US11/745,703 US7903163B2 (en) | 2001-09-18 | 2007-05-08 | Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program |
| US11/745,775 US7787025B2 (en) | 2001-09-18 | 2007-05-08 | Image pickup device that cuts out a face image from subject image data |
| US11/745,789 US7920187B2 (en) | 2001-09-18 | 2007-05-08 | Image pickup device that identifies portions of a face |
| US11/745,686 US7978261B2 (en) | 2001-09-18 | 2007-05-08 | Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program |
| US13/012,558 US8421899B2 (en) | 2001-09-18 | 2011-01-24 | Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001284162A JP4364465B2 (ja) | 2001-09-18 | 2001-09-18 | 撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003092701A JP2003092701A (ja) | 2003-03-28 |
| JP4364465B2 true JP4364465B2 (ja) | 2009-11-18 |
Family
ID=19107535
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001284162A Expired - Fee Related JP4364465B2 (ja) | 2001-09-18 | 2001-09-18 | 撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4364465B2 (ja) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1839410B (zh) * | 2003-07-18 | 2015-05-20 | 佳能株式会社 | 图像处理设备、摄像设备、图像处理方法 |
| EP2955662B1 (en) | 2003-07-18 | 2018-04-04 | Canon Kabushiki Kaisha | Image processing device, imaging device, image processing method |
| JP2005266984A (ja) * | 2004-03-17 | 2005-09-29 | Konica Minolta Holdings Inc | 画像処理システム |
| JP4970716B2 (ja) * | 2004-09-01 | 2012-07-11 | 株式会社ニコン | 電子カメラ |
| JP4573634B2 (ja) * | 2004-11-26 | 2010-11-04 | オリンパス株式会社 | 情報端末装置及び状態表示システム |
| JP4096950B2 (ja) | 2005-02-24 | 2008-06-04 | 船井電機株式会社 | 撮像装置および自動撮影方法 |
| JP2007067560A (ja) * | 2005-08-29 | 2007-03-15 | Canon Inc | 撮像装置及びその制御方法、コンピュータプログラム及び記録媒体 |
| JP2007065290A (ja) | 2005-08-31 | 2007-03-15 | Nikon Corp | オートフォーカス装置 |
| JP2007184787A (ja) * | 2006-01-06 | 2007-07-19 | Fujifilm Corp | デジタルカメラ |
| JP4444936B2 (ja) | 2006-09-19 | 2010-03-31 | 富士フイルム株式会社 | 撮影装置および方法並びにプログラム |
| JP4315212B2 (ja) | 2007-05-02 | 2009-08-19 | カシオ計算機株式会社 | 撮像装置、撮像制御プログラム及び撮像制御方法 |
| JP2009010776A (ja) * | 2007-06-28 | 2009-01-15 | Sony Corp | 撮像装置、撮影制御方法及びプログラム |
| JP4891163B2 (ja) * | 2007-07-04 | 2012-03-07 | キヤノン株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| JP2009058834A (ja) * | 2007-08-31 | 2009-03-19 | Fujifilm Corp | 撮像装置 |
| JP5144422B2 (ja) | 2007-09-28 | 2013-02-13 | 富士フイルム株式会社 | 撮影装置及び撮影方法 |
| JP4614143B2 (ja) * | 2008-01-18 | 2011-01-19 | カシオ計算機株式会社 | 撮像装置及びそのプログラム |
| JP5169887B2 (ja) * | 2009-02-03 | 2013-03-27 | 日本電気株式会社 | デジタルカメラによる撮影画像記録方法、デジタルカメラおよびプログラム |
| CN101867718A (zh) * | 2010-02-26 | 2010-10-20 | 深圳市同洲电子股份有限公司 | 一种自动拍照的方法及装置 |
-
2001
- 2001-09-18 JP JP2001284162A patent/JP4364465B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003092701A (ja) | 2003-03-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4364464B2 (ja) | デジタルカメラ撮像装置 | |
| JP4364465B2 (ja) | 撮像装置 | |
| US7623678B2 (en) | Image pick-up apparatus having a function of automatically picking-up an object image and automatic image pick-up method | |
| US8111321B2 (en) | Imaging device and method for its image processing, with face region and focus degree information | |
| JP4421151B2 (ja) | デジタルカメラ撮像装置 | |
| US20070242149A1 (en) | Image display control apparatus, method of controlling the same, and control program therefor | |
| JP5361547B2 (ja) | 撮像装置及び撮影方法、プログラム | |
| JP4364466B2 (ja) | 撮像装置 | |
| JP2010087722A (ja) | 撮影装置及び動画像編集方法 | |
| JP2007049631A (ja) | 撮像装置 | |
| JP3613741B2 (ja) | デジタルスチルカメラ、及びテレビ会議システム | |
| JP4560805B2 (ja) | 撮像装置及びそのプログラム | |
| JP4371219B2 (ja) | デジタルカメラ | |
| JP2010237911A (ja) | 電子機器 | |
| JP2007208355A (ja) | 撮影装置および方法並びにプログラム | |
| KR20060112719A (ko) | 영상 저장 시스템 및 그 방법 | |
| JP3667065B2 (ja) | 撮像記録装置及びその制御方法 | |
| KR101467869B1 (ko) | 영상의 흔들림 정도를 표시하는 디지털 영상 처리장치 및그 제어방법 | |
| JP5640377B2 (ja) | 画像処理装置、カメラ、および画像処理プログラム | |
| JP2006253761A (ja) | 撮像装置およびプログラム | |
| JP2008172501A (ja) | 撮像装置 | |
| JP5257097B2 (ja) | 撮像装置 | |
| JP2012029119A (ja) | 表示制御装置、カメラ、および、表示装置 | |
| JP2010068297A (ja) | デジタルカメラ | |
| JP2006340281A (ja) | 画像撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070323 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070326 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090424 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090519 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090716 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090818 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090819 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120828 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120828 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130828 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |