JP5169887B2 - デジタルカメラによる撮影画像記録方法、デジタルカメラおよびプログラム - Google Patents

Description

本発明は、デジタルカメラに関し、特に、被写体として人物を撮影した際に、目を瞑った状態の画像が記録されることを避けるための技術に関する。

近年、カメラは、フィルムや感光板を使って撮影するカメラに代わって、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Mental-Oxide Semiconductor)などの固体撮像素子で捕捉した画像を高速に読み出し、デジタル符号化した画像をメモリに記憶し、コンピュータによる画像処理が可能なデジタルカメラが普及しており、単体のカメラの外、例えば携帯電話機等の携帯通信端末にもデジタルカメラが搭載されている。

またデジタルカメラは、撮影画像をその場で確認することが可能であるが、例えば撮影時に被写体が目を瞑ってしまったために撮影し直す事は撮影者にとって手間がかかり、また被写体に対して待たせているという焦燥感を感じさせる。連写撮影することにより成功画像を選択して撮影の失敗を避ける方法もあるが、多くのデータから機械的に成功画像を抽出する人為的な作業が必要である。一方で撮像素子の高速読み出し、画像処理の高度化・高速化は進んでおり人為的な作業を削除する事が可能となってきている。

例えば特許文献１、２に記載の発明では、被写体を撮影する画像撮影手段と、この画像撮影手段により撮影された被写体画像を記録可能な撮影画像記録手段と、前記画像撮影手段により撮影される被写体画像における目の周囲の部分画像を比較することにより、前記被写体画像が目を瞑った状態にある画像であるか否かを検出する検出手段と、この検出手段により、前記被写体画像が目を瞑っていない状態にある画像であると検出された場合に、当該目を瞑っていない状態にある画像を被写体画像として前記撮影画像記録手段に記録させる画像記録制御手段と、を備えることにより、瞬きした際の人物画像等の不良な撮影記録を回避できるようにしている。

また特許文献１、３に記載の発明では、ある画像中から顔領域の画像を顔領域抽出手段によって抽出し、この抽出された顔領域の画像中からその顔を構成する構成要素である目の画像を目領域抽出手段によって抽出し、この抽出した構成要素の画像を、画像合成手段により他の画像における対応部分に合成することによって、撮影した複数の集合写真の画像を利用して全員が揃って目を開いている状態の写真を合成する画像処理技術が開示されている。

また特許文献４に記載の発明では、主要被写体の目を含む領域を抽出する抽出手段と、前記抽出手段により抽出された目を含む領域から目の開閉状態を検出する検出手段と、前記検出手段による検出結果に基づいて、少なくとも目が所定の開状態よりも開いている状態で撮影されるように撮影時間又は撮影タイミングを制御する制御手段を備えることにより、被写体の目が開いた好ましい状態の画像撮影を可能にしている。

特開２０００−２５９８３３号公報 特開２００１−１０３３５０号公報 特開２００２−１９９２０２号公報 特開２００１−２１１３７７号公報

特許文献１、２に記載の発明によれば、被写体のまばたきによる失敗写真を防止する事により、ユーザの撮影時における確認の手間を軽減し、また確認漏れにより撮影自体が失敗となる事を回避できるが、撮影モードスイッチが操作されてから順次取り込まれた複数の画像データをメモリに格納し、該格納された複数の画像データの中から目を瞑っていない状態にある画像データを選択するために、一旦、これら複数の画像データを格納するための比較的大きなメモリ容量を備える必要があるという問題がある。

また、特許文献１、３に記載の発明によれば、全員が揃って目を開いている状態の集合写真プリントを合成することができるが、複数の画像データの合成を行う関係上、合成に伴う画像データの不自然さが生ずることがある。

また、特許文献４に記載の発明によれば、目を含む領域を抽出し、該抽出した目を含む領域より目の開閉状態を検出して検出した目の開閉状態に基づいて、撮影画像又は撮影タイミングを制御するので、記憶媒体の容量を増加することなく、被写体の目が開いた好ましい状態の画像撮影が可能となるが、この特許文献４に記載の発明では、目が開いているか閉じているか判定するために、撮影開始直前に被写体の目を含む領域を抽出して、目の開閉領域の面積の最大値を求めるとともに、目の開閉領域の面積が最大値に対して所定比率以下のとき目の閉じた状態として判別して目の閉じた状態の継続時間を測定する必要があり、その操作、及び構成が複雑である。

本発明の目的は、上述した課題を解決することが可能な、まばたき防止撮影技術を提供することにある。

人が目を瞬く際の一連のまばたき動作は、個人差は多少あるが、図３に示すように、約３秒に１回程度の周期で100〜150msecかけて行われる。図４に示す一般的な顔認識手段により、目、鼻、口のサーチ範囲を設定(401)して、例えば目の状態認識を行うと、目を開いた状態(402)が一番長く、まばたきの瞬間に(403)→(404)→(403)と推移して(402)に戻る。即ち、目を開いた状態(402)においてはその状態は殆ど変化しないが、まばたき動作が行われる100〜150msecの間は、目の状態が目を開いている状態(402)から急激に変化する。

本発明は、このまばたき動作時間に着目し、撮影時に撮像部から取り込む１画面の画像データの取り込み周期を、想定されるまばたき動作時間（100〜150msec程度）、あるいはそれよりも少し長い所定時間（例えば200msec程度）に設定するとともに、まばたき検出部により、撮像部から取り込んだ今回の画像データ中の被写体の目の状態と、直前の周期で取り込んだ画像データ中の被写体の目の状態とを比較し、両画像データ中の被写体の目の状態に変化がないときは、目が開いた状態であると判定して、撮像部から取り込んだ直前の画像データまたは今回の画像データを撮影画像として記録する。

両画像データ中の被写体の目の状態に変化が検出されたときは、前記直前の周期で取り込んだ画像データまたは今回取り込んだ画像データのいずれかにおいてまばたきが発生していると判定できるので、前記直前の周期で取り込んだ画像データを廃棄するとともに、次回の周期で更に１画面の画像データを取り込み、前記今回の周期で取り込んだ画像データ中の被写体の目の状態と、前記次回の周期で取り込まれた１画面の画像データ中の被写体の目の状態とを比較することによって同様の動作を繰り返す。

具体的には本発明のデジタルカメラによる撮影画像記録方法は、撮影時に画像データ取り込み手段が、撮像部から目のまばたき動作時間よりも僅かに長い時間に設定された周期で画像データを順次取り込むとともに、相前後して取り込まれた最新の２周期分の画像データを残すように更新しながらメモリに一次保存し、まばたき検出手段が、相前後して取り込まれて前記メモリに一次保存されている前記２つの画像データ中の被写体の目の状態を比較してまばたきの有無を判定し、画像データ記録手段が、まばたき無しと判定されたときの前記画像データを撮影画像として記録することを特徴とする。

本発明のデジタルカメラは、撮影時に撮像部から目のまばたき動作時間よりも僅かに長い時間に設定された周期で画像データを順次取り込むとともに、相前後して取り込まれた最新の２周期分の画像データを残すように更新しながらメモリに一次保存する機能を有する画像データ取り込み手段と、相前後して取り込まれて前記メモリに一次保存されている前記２つの画像データ中の被写体の目の状態を比較してまばたきの有無を判定する機能を有するまばたき検出手段と、該まばたき検出手段によりまばたき無しと判定されたときの前記画像データを撮影画像として記録する機能を有する画像データ記録手段と、を備えていることを特徴とする。

本発明のプログラムは、デジタルカメラが備えているコンピュータに、撮影時に撮像部から目のまばたき動作時間よりも僅かに長い時間に設定された周期で画像データを順次取り込む機能、相前後して取り込まれた最新の２周期分の画像データを残すように更新しながらメモリに一次保存する機能、相前後して取り込まれて前記メモリに一次保存されている前記２つの画像データ中の被写体の目の状態を比較してまばたきの有無を判定する機能、まばたき無しと判定されたときの前記画像データを撮影画像として記録する機能を実現させることを特徴とする。

本発明によれば、比較的簡単な構成と、少ないメモリ容量で、まばたきによる撮影失敗を避ける事が可能となる。

また、撮影の際の成功率が高くなり、商品に対する信頼感を高める事で、同メーカへのリピート率向上が図れる。

本発明の実施形態を示すデジタルカメラの要部ブロック図である。 本実施形態の動作を示すフローチャートである。 本実施形態における目のまばたき周期と撮像部から１画面毎に送出される画像データのサンプリング周期の関係を示す図である。 一般的な顔認識の手段により目の位置及びその状態（まばたき）を検出するための方法を示す図である。

図１は、本発明の実施形態を示すデジタルカメラの要部ブロック図である。

本実施形態のデジタルカメラは、撮像部(101)、画像処理部(102)、内部メモリ(104)、表示部(105)、保存部(106)、それらを制御する制御部(107)を備えている。制御部(107)は、ＣＰＵ(Central Processing Unit)、ＲＯＭ、ＲＡＭ等を含む構成からなり、ＲＯＭには、本実施形態の動作を実行するためのプログラムが格納され、ＣＰＵはＲＯＭに格納されたプログラムを読み込み、このプログラムに従って、本実施形態の動作を実行する。従って、制御部(107)は、本実施形態の撮影画像取り込み動作を実行するためのコンピュータとしての機能を有している。

撮像部(101)は高速読み出しが可能な撮像素子を用いており、そのデータは、被写体として撮影される人物のまばたき動作時間（100〜150msec）程度の時間間隔に設定された１画面読み出しサンプリング周期で撮像された画像データを取り込み、順次高速に画像処理部(102)に送り出される。

画像処理部(102)にはまばたき検出部(103)が設けられており、このまばたき検出部(103)は、今回のサンプリング周期で撮像部(101)から入力されて内部メモリ部(104)に一旦格納された画像データと、直前のサンプリング周期で撮像部(101)から入力されて内部メモリ部(104)に一旦格納されている画像データにおける各被写体の目の状態を比較することによりその状態変化を監視している。

そして、まばたき検出部(103)により両画像データにおける被写体の目の状態に変化が検出されなかったときには、被写体はまばたきしていないと判定され、今回入力された画像データと直前のサンプリング周期で入力された画像データの一方または両方が撮影画像データとして内部メモリ(104)あるいは保存部(106)に保存する処理が実行され、瞬きの生じていない撮影画像を得ることができる。この時点で撮影を終了することもできる。

まばたき検出部(103)により、今回入力された画像データにおける被写体の目の状態と、前記直前のサンプリング周期で入力された画像データにおける被写体の目の状態の間に変化が検出されたときには、今回入力された画像データまたは直前のサンプリング周期で入力され画像データのいずれかにおいて被写体がまばたきをしていると判定され、直前のサンプリング周期で入力されて内部メモリ部(104)に一旦格納された画像データを消去（廃棄）し、今回入力された画像データを内部メモリ部(104)に残して一次保存することにより、直前のサンプリング周期で入力された画像データとする。

そして、次のサンプリング周期で撮像部(101)から画像処理部(102)に画像データが入力されたとき、該入力された画像データが今回の画像データとなり、また内部メモリ部(104)に格納された前記画像データが直前のサンプリング周期で入力された画像データとなって、まばたき検出部(103)により、前記と同様にまばたき判定動作が実行される。このまばたき判定動作は、両画像データにおける目の状態に変化が検出されなくなるまで、撮像部(101)から１画面の画像データをサンプリング周期毎に入力して繰り返し実行される。

図２は、本実施形態の動作を示すフローチャートであり、図３は、本実施形態における目のまばたき周期と撮像部(101)から１画面毎に送出される画像データのサンプリング周期の関係を示す図である。また図４は、一般的な顔認識の手段により目の位置及びその状態（まばたき）を検出するための方法を示す図である。以下、本実施形態の動作について、図１〜図４を参照して説明する。

図４に示すように、顔認識手段により、目、鼻、口のサーチ範囲を設定(401)して、例えば目の状態認識を行うと、目を開いた状態(402)が一番長く、まばたきの瞬間に(403)→(404)→(403)と推移して(402)に戻る。即ち、図３に示すように、まばたき動作が行われる100〜150msecの間は、目の状態が目を開いている状態(402)から急激に変化する。

本実施形態において、被写体を撮影するためにデジタルカメラのシャッターが押下されると（ステップS1）、撮像部(101)で撮像された画像データが、図３のサンプリングタイミングｔ_１、ｔ_２、・・・で取得される。このサンプリングタイミング間隔は、まばたき動作が行われる100〜150msecより僅かに大きい値（例えば150〜200msec程度）に設定される。

先ず、サンプリングタイミングｔ_１における画像データが取得されて画像処理部(102)に入力される（ステップS2）。画像処理部(102)では、最初のサンプリング周期で取得されて入力された画像データを一旦内部メモリ部(104)に格納するとともに、該画像データから被写体の目の位置と目の状態を検出して、それらの情報を保持しておく（ステップS3，ステップS4）。集合写真のように複数の被写体（人物）からなる画像データの場合には、被写体毎にその目の位置と目の状態を検出し、その情報を保持する。

次に、サンプリングタイミングｔ_２における画像データが取得されて画像処理部(102)に入力されると（ステップS2）、画像処理部(102)では、入力された画像データを一旦内部メモリ部(104)に格納するとともに、該画像データから被写体の目の位置と目の状態を検出し、ステップS4で検出して保持されているサンプリングタイミングｔ_１の画像データにおける被写体の目の位置と目の状態との比較を、まばたき検出部(103)において行う（ステップS5）。

図３の場合、サンプリングタイミングｔ_２における画像データの目の状態はサンプリングタイミングｔ_１における画像データの目の状態から大きく変化しているので、まばたき検出部(103)は、サンプリングタイミングｔ_１またはｔ_２のいずれかにおいてまばたきが発生したと判定し（ステップS6、Yes）、内部メモリ部(104)に格納されているサンプリングタイミングｔ_１における画像データを消去して、代わりにサンプリングタイミングｔ_２における画像データを直前のサンプリング周期で入力された画像データとして内部メモリ部(104)に残すとともに、該画像データから検出した被写体の目の位置と目の状態を示す情報を保持しておく（ステップS7）。

次に、サンプリングタイミングｔ_３における画像データが取得されて画像処理部(102)に入力されると（ステップS2）。画像処理部(102)では、入力された画像データを一旦内部メモリ部(104)に格納するとともに、該画像データから被写体の目の位置と目の状態を検出し、ステップS7で内部メモリ部(104)に保持されたサンプリングタイミングｔ_２の画像データにおける被写体の目の位置と目の状態との比較を、まばたき検出部(103)において行う（ステップS5）。

サンプリングタイミングｔ_３における画像データの目の状態はサンプリングタイミングｔ_２における画像データの目の状態から大きく変化しているので、まばたき検出部(103)は、サンプリングタイミングｔ_２またはｔ_３のいずれかにおいてまばたきが発生したと判定し（ステップS6、Yes）、内部メモリ部(104)に格納されているサンプリングタイミングｔ_２における画像データを消去して、代わりにサンプリングタイミングｔ_３における画像データを直前のサンプリング周期で入力された画像データとして内部メモリ部(104)に残すとともに、該画像データから検出した被写体の目の位置と目の状態を示す情報を保持しておく（ステップS7）。

次に、サンプリングタイミングｔ_４における画像データが取得されて画像処理部(102)に入力されると（ステップS2）、画像処理部(102)では、入力された画像データを一旦内部メモリ部(104)に格納するとともに、該画像データから被写体の目の位置と目の状態を検出し、ステップS7で内部メモリ部(104)に保持されたサンプリングタイミングｔ_３の画像データにおける被写体の目の位置と目の状態との比較を、まばたき検出部(103)において行う（ステップS5）。

図３の場合、サンプリングタイミングｔ_４における画像データの目の状態とサンプリングタイミングｔ_３における画像データの目の状態はほぼ一致しているので、まばたき検出部(103)は、サンプリングタイミングｔ_３およびｔ_４では瞬きは発生していないと判定し（ステップS6、No）、メモリ部(104)に格納されているサンプリングタイミングｔ_３またはサンプリングタイミングｔ_４で取得された画像データの一方、又は両方を撮影画像データとして保存する処理を実行する（ステップS8）。

ここで、例えば取得する画像データが１枚又は２枚に設定されている場合には、上記サンプリングタイミングｔ_３またはサンプリングタイミングｔ_４で取得された画像データの一方、又は両方を撮影画像データとして保存する処理（ステップS8）を実行して撮影を終了するが、２枚以上の画像データを取得したい場合には、内部メモリ部(104)に格納されているサンプリングタイミングｔ_３における画像データを消去して、代わりにサンプリングタイミングｔ_４における画像データを直前のサンプリング周期で入力された画像データとして内部メモリ部(104)に残すとともに、該画像データから検出した被写体の目の位置と目の状態を示す情報を保持（ステップS7）して、所定枚数の画像データを取得するまで、ステップS2〜ステップS9を繰り返す。

本実施形態は、撮影時に画像データ取り込み手段が、撮像部から目のまばたき動作時間よりも僅かに長い時間に設定された周期で画像データを順次取り込むので、例えば図３のサンプリングタイミングｔ_ｎのように被写体が瞬きする直前の画像データを取得した場合、次のサンプリングタイミングｔ_ｎ＋１では被写体が瞬きをほぼ終了した時点の画像データとなり、この場合も、両サンプリングタイミングにおいて目を開いた状態の画像データとして取得することが可能である。

また、複数の人間が撮影されている集合写真等の場合、目を開いているときの各被写体の目の大きさは必ずしも一様ではないが、本実施形態では、被写体の目の領域の状態変化を、瞬き動作時間程度のタイミング周期で各被写体個々にその目の開き状態を比較して瞬き状態の判定を行うので、比較的簡単に被写体毎の瞬き状態の検出が可能となる。

また、本実施形態では、撮像部(104)から取り込まれて内部メモリ部(104)に一次保存される画像データは、相前後して取り込まれた最新の２周期分の画像データだけであり、内部メモリ部(104)の画像データ記憶容量として２枚の画像データを格納する容量があれば足りるので、少ないメモリ容量で実現可能である。

なお、上記実施形態では、デジタルカメラ単体の構成に対して本発明を適用した場合について説明したが、本実施形態のデジタルカメラを、例えば携帯電話機等の携帯通信端末に搭載して構成することも可能である。

１０１ 撮像部
１０２ 画像処理部
１０３ まばたき検出部
１０４ 内部メモリ
１０５ 表示部
１０６ 保存部
１０７ 制御部

Claims (12)

1. 撮影時に画像データ取り込み手段が、撮像部から目のまばたき動作時間よりも僅かに長い時間に設定された周期で画像データを順次取り込むとともに、相前後して取り込まれた最新の２周期分の画像データを残すように更新しながらメモリに一次保存し、まばたき検出手段が、相前後して取り込まれて前記メモリに一次保存されている２つの画像データ中の被写体の目の状態を比較してまばたきの有無を判定し、画像データ記録手段が、まばたき無しと判定されたときの前記画像データを撮影画像として記録することを特徴とするデジタルカメラによる撮影画像記録方法。
2. 前記まばたき検出手段によりまばたき有りと判定されたとき、前記画像データ取り込み手段は、前記メモリに一次保存されている画像データの中で先に取得された画像データを前記メモリから消去するとともに、次の周期で取り込んだ画像データを前記メモリに一次保存することを特徴とする請求項１に記載のデジタルカメラによる撮影画像記録方法。
3. 前記まばたき検出手段は、前記画像データ中に複数の被写体の目が存在する場合、被写体毎に前記まばたきの有無を判定することを特徴とする請求項１または２に記載のデジタルカメラによる撮影画像記録方法。
4. 前記画像データ取り込み手段は、前記まばたき検出手段がまばたき無しと判定した時点で、前記画像データの取り込みを停止することを特徴とする請求項１〜３のいずれか１項に記載のデジタルカメラによる撮影画像記録方法。
5. 前記画像データ取り込み手段は、前記撮影画像として記録された画像データの枚数が所定の枚数に達するまで、前記メモリに一次保存されている画像データの中で先に取得された画像データを前記メモリから消去するとともに、次の周期で取り込んだ画像データを前記メモリに一次保存し、前記撮影画像として記録された画像データの枚数が所定の枚数に達したとき、前記画像データの取り込みを停止することを特徴とする請求項１〜３のいずれか１項に記載のデジタルカメラによる撮影画像記録方法。
6. 撮影時に撮像部から目のまばたき動作時間よりも僅かに長い時間に設定された周期で画像データを順次取り込むとともに、相前後して取り込まれた最新の２周期分の画像データを残すように更新しながらメモリに一次保存する機能を有する画像データ取り込み手段と、相前後して取り込まれて前記メモリに一次保存されている２つの画像データ中の被写体の目の状態を比較してまばたきの有無を判定する機能を有するまばたき検出手段と、該まばたき検出手段によりまばたき無しと判定されたときの前記画像データを撮影画像として記録する機能を有する画像データ記録手段と、を備えていることを特徴とするデジタルカメラ。
7. 前記画像データ取り込み手段は、前記まばたき検出手段によりまばたき有りと判定されたとき、前記メモリに一次保存されている画像データの中で先に取得された画像データを前記メモリから消去するとともに、次の周期で取り込んだ画像データを前記メモリに一次保存する機能を有していることを特徴とする請求項６に記載のデジタルカメラ。
8. 前記まばたき検出手段は、前記画像データ中に複数の被写体の目が存在する場合、被写体毎に前記まばたきの有無を判定する機能を有していることを特徴とする請求項６または７に記載のデジタルカメラ。
9. 前記画像データ取り込み手段は、前記まばたき検出手段がまばたき無しと判定した時点で、前記画像データの取り込みを停止する機能を有していることを特徴とする請求項６〜８のいずれか１項に記載のデジタルカメラ。
10. 前記画像データ取り込み手段は、前記撮影画像として記録された画像データの枚数が所定の枚数に達するまで、前記メモリに一次保存されている画像データの中で先に取得された画像データを前記メモリから消去するとともに、次の周期で取り込んだ画像データを前記メモリに一次保存する機能と、前記撮影画像として記録された画像データの枚数が所定の枚数に達したとき、前記画像データの取り込みを停止する機能を有していることを特徴とする請求項６〜８のいずれか１項に記載のデジタルカメラ。
11. 請求項６〜１０のいずれか１項に記載のデジタルカメラを備えていることを特徴とする携帯通信端末。
12. デジタルカメラが備えているコンピュータに、撮影時に、撮像部から目のまばたき動作時間よりも僅かに長い時間に設定された周期で画像データを順次取り込む機能、相前後して取り込まれた最新の２周期分の画像データを残すように更新しながらメモリに一次保存する機能、相前後して取り込まれて前記メモリに一次保存されている２つの画像データ中の被写体の目の状態を比較してまばたきの有無を判定する機能、まばたき無しと判定されたときの前記画像データを撮影画像として記録する機能を実現させるためのプログラム。
    

Images