JP5397481B2 - 画像選別装置及び画像選別方法 - Google Patents

Description

本明細書で議論される実施態様は、画像処理技術に関するものである。

カメラ（撮像装置）のデジタル化によって、写真撮影のコストが大幅に低下したこともあり、昨今は、連写撮影が一般的に行われるようになってきている。連写撮影では、例えば１秒に数枚の撮影が行われる。

連写撮影の利用法のひとつとして、最良のシーンを撮り逃さないようにするために連写撮影を行い、得られた複数の撮影画像から、画質が良好な画像を撮影者等が選び出して保存するという技術が知られている。例えば、各画像の撮影時における、露光量、合焦位置、フラッシュ光量等の撮影条件を撮影毎に変化させて連写撮影を行い、得られた複数の画像から適切な画像を使用者が選択するという技術が知られている。

また、このような画像の選別を撮影者等が手動で行う代わりに、自動で行う技術が知られている。このような技術において、画像の画質の評価対象として、撮影時の手振れやピント調整の不良に起因する画像のボケに注目し、ボケが少ない画像を選別するというものがある。また、とりわけ被写界深度の浅い画像において、画像内に部分的に設けられた評価エリア内のみで画質評価を行うようにして、その画像の画質がエリア外の背景ボケによって不当に低く評価されないようにするという技術も知られている。

この他の背景技術として、静止している背景の前で移動する物体を撮像した画像で生じる、背景の画像と移動する物体の画像との混ざり合いを考慮して、両者の画像を分離するという技術が知られている。この技術では、まず、時系列の複数の画面における対応する画像の成分の相関に基づいて、画像の成分が時間方向に不連続に変化する画面の境界を画素毎に検出する。そして、検出された境界の前及び後の少なくとも一方の画面の画像の成分に基づき生成した画素値が、前景および背景のうちの少なくとも一方に属するか否かを判定する。

また、この他に、意図的な前景または背景のぼかしによって主要被写体を浮かび上がらせる、ポートレート撮影調の画像を生成するという技術が知られている。この技術では、まず、撮影画像を主要被写体領域である第一領域とその他の第二領域とに区画する。そして、第二領域のボケ度合いを検出し、その度合いの大きさに比例して第二領域のボケ度合いを大きくするボケ強調処理を施すというものである。

更に、この他に、カメラが動いたことによる位置ずれと、被写体が動いたことによる被写体ぶれとがない画像を作成するという技術が知られている。この技術では、撮像範囲が同一の複数の画像を合成する装置において、まず、撮像範囲が同一である複数の画像間の位置ずれを検出して、画像を位置ずれ補正する。そして、位置ずれ補正後に、画像間の個々の部分の類似性を評価し、類似性評価に応じて、画像合成方法を変更するというものである。また、この技術において、ＫＬＴトラッカー（Kanade-Lucas-Tomasi Feature Tracker）と呼ばれる周知の手法を用いて、画像の中から特徴点を抽出し追跡して、画像全体の位置ずれを検出する技術が知られている。

また、この他の関連技術として、人の顔の像に表されている眼の視線を解析して注視している位置を検出する技術が知られている。また、撮影画像から被写体である人の顔の像を検出し、この像で表されている顔の表情を認識し、その表情における笑顔の程度を算出する技術も知られている。

特開２００１−８０８７号公報 特開２０００−２０９４８３号公報 特開２００３−２３３８１７号公報 国際公開第２００７／０４９６３４号 国際公開第２００７／０３２１５６号 特開平０９−２５１３４２号公報 特開２００５−０５６３８８号公報 特開２００９−２５３８４８号公報

ジアンボ・シ（Jianbo Shi）、カルロ・トマシ（Carlo Tomasi）、「グッド・フィーチャーズ・トゥ・トラック（Good Features to Track）」、ＩＥＥＥカンファレンス・オン・コンピュータ・ビジョン・アンド・パターン・レコグニション（ＣＶＰＲ９４）・シアトル（IEEE Conference on Computer Vision and Pattern Recognition (CVPR94) Seattle）、（米国）、１９９４年６月

撮影画像における、背景ではない主要な被写体の画像領域のボケは、撮影時の手振れやピント調整の不良に起因するもの以外に、被写体自らの動きによっても生じることがある。このような、被写体自らの動きによって生じたボケは、必ずしも撮影の失敗に限られるものではなく、例えばスピード感溢れる被写体の動きの表現など、撮影者が意図した通りのものである場合もある。しかし、被写体の画像領域に生じているボケが、撮影者の意図したものであるかどうかを画像に基づき判断することは困難である。従って、撮影画像における主要な被写体の画像領域のみのボケ量に基づく画質評価は、常に適切であるとは言い切れない。

本発明は上述した問題に鑑みてなされたものであり、その解決しようとする課題は、連写撮影により得られた複数の画像から画質の良好な画像を選別する新たな手法を提供することである。

本明細書で後述する画像選別装置のひとつには、画像取得部、領域分割部、及び選別部を有するというものがある。ここで、画像取得部は、被写体を連続して撮影して得られる複数枚の撮影画像を取得する。領域分割部は、当該複数枚の撮影画像のうちの時系列で連続している２枚の撮影画像に基づいて、当該撮影画像の画像領域を、当該２枚の撮影画像間での位置が所定量以上異なる領域である動き領域と、当該動き領域以外の領域である非動き領域とに分割する。選別部は、当該複数枚の撮像画像からの少なくとも１枚以上の撮影画像の選別を、当該非動き領域内の画像のボケ量に基づいて行う。

また、本明細書で後述する画像選別方法のひとつには、以下のようにするものがある。すなわち、まず、被写体を連続して撮影して得られる複数枚の撮影画像を取得する。次に、当該複数枚の撮影画像のうちの時系列で連続している２枚の撮影画像に基づいて、当該撮影画像の画像領域を、当該２枚の撮影画像間での位置が所定量以上異なる領域である動き領域と、当該動き領域以外の領域である非動き領域とに分割する。そして、当該複数枚の撮像画像からの少なくとも１枚以上の撮影画像の選別を、当該非動き領域内の画像のボケ量に基づいて行う。

また、本明細書で後述するプログラムには、演算処理装置に実行させることによって、当該演算処理装置が、画像取得処理、領域分割処理、及び選別処理を行うというものがある。ここで、画像取得処理は、被写体を連続して撮影して得られる複数枚の撮影画像を取得する。領域分割処理は、当該複数枚の撮影画像のうちの時系列で連続している２枚の撮影画像に基づいて、当該撮影画像の画像領域を、当該２枚の撮影画像間での位置が所定量以上異なる領域である動き領域と、当該動き領域以外の領域である非動き領域とに分割する。選別処理は、当該複数枚の撮像画像からの少なくとも１枚以上の撮影画像の選別を、当該非動き領域内の画像のボケ量に基づいて行う。

本明細書で後述する画像選別装置は、連写撮影により得られた複数の画像から画質の良好な画像を適切に選別することができる。

画像選別装置の構成の一例である。 連写撮影により得られた撮影画像の例である。 図１のＣＰＵ２０により提供される各種の機能を図解した機能ブロック図である。 画像選別制御処理の第一の例の処理内容を図解したフローチャートである。 動体／非動体判別処理の処理内容を図解したフローチャートである。 動体／非動体判別処理を構成する各処理を施す前後の画像を描いた模式図である。 ボケ量算出処理の処理内容を図解したフローチャートである。 画像二次選別制御処理の処理内容を図解したフローチャートである。 部分領域の設定例（その１）である。 部分領域の設定例（その２）である。 図４の画像選別制御処理の第一の例の第一変形例を図解したフローチャートである。 図４の画像選別制御処理の第一の例の第二変形例を図解したフローチャートである。 画像選別制御処理の第二の例の処理内容を図解したフローチャートである。 縮小画像におけるボケ量算出の対象領域と、撮影画像における対応領域との関係の模式図である。 図１２の画像選別制御処理の第二の例の第一変形例を図解したフローチャートである。 図１２の画像選別制御処理の第二の例の第二変形例を図解したフローチャートである。 図１２の画像選別制御処理の第二の例の第三変形例を図解したフローチャートである。 図１２の画像選別制御処理の第二の例の第四変形例を図解したフローチャートである。

まず図１について説明する。図１には、画像選別装置の構成の一例が図解されている。この画像選別装置１は、連写撮影により得られた複数の画像から、画質の良好な画像として、撮影時の手振れによる影響が少ない画像を選別する画像選別機能と共に、連写撮影を含む撮影機能（カメラ機能）をも有している。

画像選別装置１は、レンズ群１１、撮像素子１２、Ａ／Ｄ変換部１３、レンズ駆動部１４、ＣＰＵ２０、圧縮・伸張処理部３１、メモリ３２、ユーザ操作部３３、及び外部記録Ｉ／Ｆ３４を備えている。

レンズ群１１は、画像選別装置１の有するカメラ機能を利用して被写体の撮影を行う際に、撮像素子１２の受光面に当該被写体の光学像（被写体像）を結像させる、複数の光学レンズである。

撮像素子１２は、その受光面で受光している光を、ＣＰＵ２０による制御の下で光電変換して、当該受光面に結像している被写体像の画像（撮影画像）を表している電気信号を出力する。

Ａ／Ｄ変換部１３は、撮像素子１２から出力される、アナログ信号である電気信号をデジタルデータに変換して、撮影画像を表している画像データを出力する。
レンズ駆動部１４は、ＣＰＵ２０による制御の下でレンズ群１１を構成している光学レンズの位置を光軸方向に移動させて、撮像素子１２の受光面に結像する被写体像のピントを変化させる。

ＣＰＵ（Central Processing Unit）２０は、この画像選別装置１全体の動作制御を行う演算処理装置である。なお、ＣＰＵ２０、Ａ／Ｄ変換部１３、圧縮・伸張処理部３１、メモリ３２、ユーザ操作部３３、及び外部記録Ｉ／Ｆ３４はデータバス４０を介して相互に接続されており、ＣＰＵ２０の管理の下で各種のデータを相互に授受することができる。

圧縮・伸張処理部３１は、画像データの圧縮処理及び伸張処理を行う。ここで、圧縮処理は、Ａ／Ｄ変換部１３から出力される画像データで表現されている撮影画像に対して行われ、撮影画像の品位を極力維持しながら画像データのデータ量を低減させる処理である。また、伸張処理は、圧縮処理後の画像データ（圧縮画像データ）から、当該圧縮画像データで表現されている画像を表している非圧縮の画像データ（伸張画像データ）を得る処理である。

メモリ３２は、ＲＯＭとＲＡＭとを備えている。
このメモリ３２のうちのＲＯＭ（Read Only Memory）は、所定の基本制御プログラム及び所定の画像選別制御プログラムと、これらの制御プログラムの実行の際に使用される各種のデータとが予め記録されている読み出し専用半導体メモリである。ＣＰＵ２０は、基本制御プログラムを画像選別装置１の起動時にＲＯＭから読み出して実行することにより、画像選別装置１の各構成要素の動作制御が可能になる。ＣＰＵ２０は、この後に、画像選別制御プログラムをＲＯＭから更に読み出して実行することにより、後述する各種の機能の提供が可能になる。なお、フラッシュＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）をこのＲＯＭとして使用することは、もちろん可能である。

また、メモリ３２のうちのＲＡＭ（Random Access Memory）は、ＣＰＵ２０が各種の制御プログラムを実行する際に、必要に応じて作業用記憶領域として使用する、随時書き込み読み出し可能な半導体メモリである。また、このＲＡＭは、Ａ／Ｄ変換部１３から出力される画像データの一時保持領域としても使用され、更には、圧縮・伸張処理部３１が画像データの圧縮処理及び伸張処理を行うときの、作業用記憶領域としても使用される。

ユーザ操作部３３は、この画像選別装置１の使用者により操作されるスイッチ類であり、これらのスイッチ類が操作されると、当該操作に対応付けられている各種の指示（撮影指示や連写指示など）をＣＰＵ２０が取得する。

外部記録Ｉ／Ｆ（インタフェース）３４は、データバス４０に接続されている各構成要素と、画像選別装置１に装着される外部メモリ（メモリカード）５０との間での各種のデータの授受を管理する。外部メモリ５０は、例えばフラッシュＥＥＰＲＯＭを備えており、圧縮画像データが格納される。

次に、図１の画像選別装置１が有している画像選別機能について、図２の画像例を用いて説明する。
図２に提示した画像例は、画像選別装置１が有している連写撮影により得られた２枚の撮影画像である。このうち、［Ａ］の画像では、被写体１００にはボケが生じているが、背景２００にはボケが全く生じていないのに対し、［Ｂ］の画像では、被写体１００にも背景２００にもボケが生じている。

画像選別装置１は、この２枚の画像に対し、［Ａ］の画像に生じているボケは、被写体１００自らの動きに起因するものと推定し、［Ｂ］の画像に生じているボケは、撮影時の手振れやピント調整の不良にも原因があると推定する。つまり、画像選別装置１は、［Ａ］の画像の方が［Ｂ］の画像よりも画質が良好であると評価し、この２枚の画像から［Ａ］の画像を選別する。画像選別装置１が有している画像選別機能は、このようにして、連写撮影により得られた複数の画像から画質の良好な画像を選別する。

次に、ＣＰＵ２０により提供される各種の機能について説明する。図３は、ＣＰＵ２０により提供される各種の機能を図解した機能ブロック図である。
ＣＰＵ２０は、前述した画像選別制御プログラムを実行することにより、画像取得部２１、領域分割部２２、及び選別部２３としての機能を提供する。

画像取得部２１は、被写体を連続して撮影して得られる複数枚の撮影画像を取得して、メモリ３２に格納する。この撮影画像は、撮像素子１２により出力される電気信号をＡ／Ｄ変換部１３が変換して得られた画像データである。

領域分割部２２は、画像取得部２１がメモリ３２に格納した複数枚の撮影画像のうちの時系列で連続している２枚の撮影画像に基づいて、その撮影画像の画像領域を動き領域と非動き領域とに分割する。ここで、動き領域とは、その２枚の撮影画像間での位置が所定量以上異なる領域のことをいう。また、非動き領域とは、動き領域以外の領域のことをいう。図２の画像例では、自らが動いている被写体１００の像が映っている領域が動き領域であり、自らは動いていない（静止している）背景２００の像が映っている領域が非動き領域である。

本実施形態では、領域分割部２２による撮影画像の画像領域の分割のために、位置合わせ部２２１を利用する。位置合わせ部２２１は、上述した２枚の撮影画像の位置合わせを行う。領域分割部２２は、位置合わせ部２２１により位置合わせが行われた２枚の撮影画像において同一位置である一対の画素についての画素値の差に基づいて、該撮影画像の画像領域を該動き領域と該非動き領域とに分割する。

選別部２３は、画像取得部２１が取得してメモリ３２に格納した複数枚の撮像画像からの少なくとも１枚以上の撮影画像の選別を、領域分割部２２が当該撮影画像の画像領域を分割して得た非動き領域内の画像のボケ量に基づいて行う。

なお、本実施形態において、ＣＰＵ２０が縮小画像作成部２１１としての機能を提供し、この縮小画像作成部２１１を画像取得部２１が利用するようにすることもできる。縮小画像作成部２１１は、画像取得部２１がＡ／Ｄ変換部１３から取得した撮影画像の縮小画像を作成する。このようにする場合には、画像取得部２１は、縮小画像作成部２１１が作成した縮小画像をメモリ３２に格納する。また、領域分割部２２は、前述した２枚の撮影画像の縮小画像に基づいて、当該縮小画像の画像領域を動き領域と非動き領域とに分割する。そして、選別部２３は、前述した撮影画像の選別を、領域分割部２２が当該縮小画像の画像領域を分割して得た非動き領域に対応する撮影画像の領域内の画像のボケ量に基づいて行う。このようにして領域分割部２２が領域分割を行う対象の画像を縮小画像とすることで、領域分割のための処理量が減少し、また、この領域分割のための処理のためのメモリ３２の使用量も減少する。

また、本実施形態において、ＣＰＵ２０が顔解析部２３１としての機能を提供し、この顔解析部２３１を選別部２３が利用するようにすることもできる。顔解析部２３１は、撮影画像に映っている被写体である、人の顔の像の形態を解析する。選別部２３は、非動き領域内の画像のボケ量に基づいて撮影画像を複数枚選別した場合に顔解析部２３１を利用し、複数枚選別された撮影画像からの少なくとも１枚以上の撮影画像の更なる選別を、顔解析部２３１による解析結果に基づいて行う。このようにして、被写体である人の顔の像の形態に基づいた更なる選別を画像選別装置１自らが行うようにしてもよい。

次に、ＣＰＵ２０が提供する各種機能について、更に詳しく説明する。
まず図４について説明する。図４は、画像選別制御処理の第一の例の処理内容を図解したフローチャートである。

画像選別制御処理は、画像選別装置１が画像選別機能を提供する際にＣＰＵ２０により行われる処理である。ＣＰＵ２０は、前述した画像選別制御プログラムを実行することによって、この処理を行えるようになる。

図４において、まず、Ｓ１０１では画像取得処理が行われる。この処理は、被写体を連続して撮影して得られる複数枚の撮影画像を、Ａ／Ｄ変換部１３を介して撮像素子１２から取得して、メモリ３２に格納する処理である。ＣＰＵ２０は、この処理を行うことで、画像取得部２１としての機能を提供する。

次に、Ｓ１０２において動体／非動体判別処理が行われる。この処理は、Ｓ１０１の画像取得処理によりメモリ３２に格納した複数枚の撮影画像のうちの時系列で連続している２枚の撮影画像に基づいて、その撮影画像の画像領域を、動体が映っている動き領域と、非動体が映っている非動き領域とに判別する処理である。なお、この処理の詳細は後述する。ＣＰＵ２０は、この処理を行うことで領域分割部２２としての機能を提供する。

次に、Ｓ１０３において非動体ボケ量算出処理が行われる。この処理は、Ｓ１０２の動体／非動体判別処理により判別された非動き領域の画像のボケ量を算出する処理である。そして、続くＳ１０４の判定処理において、算出された非動き領域の画像のボケ量が、Ｓ１０１の画像取得処理で取得された撮影画像から既に算出した非動き領域の画像のボケ量のうちで最小であるか否かを判定する処理が行われる。ここで、算出された非動き領域の画像のボケ量が、既に算出済のもののうちで最小であると判定したとき（判定結果がＹｅｓのとき）には、Ｓ１０５に処理を進める。一方、最小ではないと判定したとき（判定結果がＮｏのとき）には、Ｓ１０６に処理を進める。なお、非動き領域の画像のボケ量の算出手法の詳細については後述する。

次に、Ｓ１０５において、ボケ量が最小であると判定された非動き領域の画像を含んでいた撮影画像ｉを、画質最良の画像として選別する処理が行われ、その後はＳ１０６に処理を進める。

ＣＰＵ２０は、以上のＳ１０３からＳ１０５の処理を行うことで、非動き領域内の画像のボケ量に基づいた撮影画像の選別を行う選別部２３としての機能を提供する。
次に、Ｓ１０６において、Ｓ１０１の画像取得処理で取得された全ての撮影画像について、Ｓ１０３の非動体ボケ量判定処理を行ったか否かを判定する処理が行われる。ここで、全ての撮影画像について非動体ボケ量判定処理を行ったと判定したとき（判定結果がＹｅｓのとき）には、この画像選別制御処理を終了する。一方、非動体ボケ量判定処理を未だ行っていない撮影画像が残っていると判定したとき（判定結果がＮｏのとき）には、Ｓ１０２へ処理を戻し、残りの撮影画像に対してＳ１０２以降の処理が改めて施される。

次に、図４のＳ１０２の処理である、動体／非動体判別処理の詳細について、図５及び図６を参照しながら説明する。図５は、動体／非動体判別処理の処理内容を図解したフローチャートであり、図６は、動体／非動体判別処理を構成する各処理を施す前後の画像を描いた模式図である。

図５において、まず、Ｓ１１１では隣接画像ズレ幅取得処理が行われる。この処理は、メモリ３２に格納されている撮影画像のうちから時系列で連続している２枚の撮影画像（隣接画像）を読み出し、読み出した隣接画像の画像フレーム間の位置ズレ量を得るための処理である。

なお、隣接画像の画像フレーム間の位置ズレ量は、例えば次のようにして行う。すなわち、一方の隣接画像から抽出した特徴領域に対応する領域を類似性の評価結果に基づき他方の隣接画像から特定し（特徴領域の追跡）、当該特徴領域の移動量を算出する。そして、この移動量の算出を、撮影画像から抽出した複数の特徴領域について行い、得られた移動量の例えば平均を、隣接画像の画像フレーム間の位置ズレ量とする。なお、特徴領域の抽出及び追跡に、前述したＫＬＴトラッカーを利用してもよい。

次に、Ｓ１１２において画像位置合わせ処理が行われる。この処理では、メモリ３２から読み出した隣接画像の一方の画像フレームを、Ｓ１１１の隣接画像ズレ幅取得処理で得られた位置ズレ量に基づいて移動させて、２枚の隣接画像の位置合わせをする処理である。
ＣＰＵ２０は、以上のＳ１１１及びＳ１１２の処理を行うことで、位置合わせ部２２１としての機能を提供する。

次に、Ｓ１１３において、画像差分計算及びマスク作成処理が行われる。この処理は、位置合わせされた隣接画像に基づいて隣接画像内の動き領域を抽出し、当該動き領域がマスクされているマスク画像を作成する処理である。

なお、動き領域の抽出は、例えば次のようにして行われる。すなわち、まず、位置合わせ後の隣接画像において画像フレーム内で同一位置である一対の注目画素についての画素値の差を、当該画像フレーム内の全ての画素について各々求める。そして、求めた差の絶対値が所定の閾値以上である注目画素の集合により構成される画像領域を、動き領域として抽出する。ここで、この所定の閾値を、注目画素毎に個別の値を用いるようにする、例えば、注目画素の画素値と当該注目画素に同一画像内で隣接する画素の画素値との差に基づいて設定するようにしてもよい。

次に、Ｓ１１４において、非動体画像出力処理が行われる。この処理は、位置合わせ後の隣接画像にマスク画像を重畳して、動き領域内の画素の画素値を「０」とした、非動き領域の画像を得る処理である。このＳ１１４の処理が完了すると、図５の動体／非動体判別処理が終了する。

次に、図４のＳ１０３の処理である、非動体ボケ量算出処理について、図７を参照しながら説明する。図７は、ボケ量算出処理の処理内容を図解したフローチャートである。
図７において、まず、Ｓ１２１ではスムーズ画像生成処理が行われる。この処理は、前述した動体／非動体判別処理により得られた、ボケ量算出の対象である非動き領域の画像に対してスムージング（平滑化）を施す処理である。なお、スムージング処理は、例えば、広く知られている、平均化フィルタを利用して注目画素を中心とする所定領域内の画素値の平均値を求めて当該注目画素の画素値とする処理を、当該非動き領域の画像を構成する全ての画素に対して行う処理でよい。もちろん、その他の処理でスムージング処理を実現してもよい。この処理により生成される画像（スムーズ画像）は、画像内での濃淡変化が滑らかなものとなり、処理前の非動き領域の画像をボケさせた画像となる。

次に、Ｓ１２２において、Ｓ１２１のスムーズ画像作成処理により得られたスムーズ画像と、当該処理を施す前の非動き領域の画像との差分（両画像の画素毎の画素値の差の絶対値）を当該画素の画素値として、差分画像を生成する処理が行われる。

次に、Ｓ１２３において、Ｓ１２２の処理で得られた差分画像を構成する各画素の画素値の総和を算出し、算出された総和を、対象である非動き領域の画像のボケ量の少なさを示す値として出力する処理が行われ、その後はこの図７の処理が終了する。

スムーズ画像と非動き領域の画像とにおいて、両画像の差分が小さいほど両画像の差異は少なく、両画像の差分が大きいほど両画像の差異は大きい。ここで、前述したように、スムーズ画像は非動き領域の画像をボケさせた画像であるので、両画像の差分が小さいほど非動き領域の画像のボケ量が大きく、両画像の差分が大きいほど非動き領域の画像のボケ量が少ないといえる。そこで、図７のボケ量算出処理では、差分画像を構成する各画素の画素値の総和を、非動き領域の画像のボケ量の少なさを示す値として算出している。従って、図４の画像選別制御処理では、図７の処理で得られる、差分画像を構成する各画素の画素値の総和が最大である非動き領域の画像の抽出元である撮影画像が、画質最良の画像として選別されることになる。

以上までに説明した図４、図５、及び図７の各処理をＣＰＵ２０が行うことにより、図１の画像選別装置で、連写撮影により得られた複数の画像から画質の良好な画像を選別することを可能にする。画像選別装置１は、選別された画像を、画像選別装置に接続されている出力部に出力しても良い。例えば、撮影を行ったユーザに撮影内容を確認させるために、出力部の一例であるディスプレイへ選別された画像を表示することが考えられる。また例えば、メモリ３２もしくは外部記録Ｉ／Ｆ３４を介して外部メモリ５０へ選別された画像を格納することが考えられる。

なお、図４の画像選別制御処理において、非動き領域の画像のボケ量が同一と判定されることで、画質最良の画像として複数枚の画像が選別される場合がある。この場合に、選別された複数枚の撮影画像からの画質最良の画像の更なる選別を選別部２３が更に行うようにしてもよい。

ここで図８について説明する。図８は、画像二次選別制御処理の処理内容を図解したフローチャートである。この処理は、図４の画像選別制御処理によって選別された撮影画像が複数枚あった場合に、ＣＰＵ２０により行われる処理である。この処理では、非動き領域内の画像のボケ量に基づき選別された複数枚の撮影画像からの撮影画像の更なる選別を、当該撮影画像における動き領域内の画像のボケ量に基づいて行う。

図８において、まず、Ｓ１３１では、動体ボケ量算出処理が行われる。この処理は、図４のＳ１０２の動体／非動体判別処理により判別された動き領域の画像のボケ量を、非動き領域の画像のボケ量が同一と判定された各撮影画像について算出する処理である。そして、続くＳ１３２の判定処理において、算出された動き領域の画像のボケ量が、非動き領域の画像のボケ量が同一と判定された各撮影画像について既に算出した動き領域の画像のボケ量のうちで最小であるか否かを判定する処理が行われる。ここで、算出された動き領域の画像のボケ量が、既に算出済のもののうちで最小であると判定したとき（判定結果がＹｅｓのとき）には、Ｓ１３３に処理を進める。一方、最小ではないと判定したとき（判定結果がＮｏのとき）には、Ｓ１３４に処理を進める。

なお、動き領域の画像のボケ量の算出は、非動き領域の画像のボケ量の算出と同様に行うことができる。すなわち、図７に図解したボケ量算出処理の処理対象を、非動き領域の画像に代えて、動き領域の画像とすればよい。

次に、Ｓ１３３において、ボケ量が最小であると判定された動き領域の画像を含んでいた撮影画像ｊを、画質最良の画像として選別する処理が行われ、その後はＳ１３４に処理を進める。

次に、Ｓ１３４において、非動き領域の画像のボケ量が同一と判定された全ての撮影画像について、Ｓ１３１の動体ボケ量判定処理を行ったか否かを判定する処理が行われる。ここで、上述の全ての撮影画像について動体ボケ量判定処理を行ったと判定したとき（判定結果がＹｅｓのとき）には、この画像二次選別制御処理を終了する。一方、動体ボケ量判定処理を未だ行っていない撮影画像が残っていると判定したとき（判定結果がＮｏのとき）には、Ｓ１３１へ処理を戻し、残りの撮影画像に対してＳ１３１以降の処理が改めて施される。

以上の画像二次選別制御処理をＣＰＵ２０が行うことで、図１の画像選別装置で、非動き領域内の画像のボケ量に基づき選別された複数枚の撮影画像からの撮影画像の更なる選別が、当該撮影画像における動き領域内の画像のボケ量に基づいて行えるようになる。

また、図４の画像選別制御処理では、Ｓ１０１の画像取得処理により撮像素子１２から取得した撮影画像全体を対象として、画像領域の動き領域と非動き領域とへの領域分割や、非動き領域のボケ量の算出を行うようにしていた。この代わりに、撮影画像における所定の部分領域を動き領域と非動き領域とへ領域分割し、当該非動き領域について行ったボケ量の算出結果に基づいて撮影画像の選別を行うようにしてもよい。

部分領域の設定例を図９Ａ及び図９Ｂに示す。図９Ａは、互いに隣接しない複数の小領域を部分領域として撮影画像上に設定した場合の例である。また、図９Ｂは、撮影画像において左右に対向する画像フレーム端に届く帯状の領域を部分領域として当該撮影画像上に設定した場合の例である。

後のボケ量算出の対象を撮影画像における非動き領域としているため、部分領域は、撮影画像における非動き領域部分を捉えるように撮影画像上に設定する必要がある。図９Ａの例では、多数の小領域が、撮影画像全体に亘って散らしたように設定されており、非動き領域（背景が映っている領域）を高い確率で部分領域内に捉えることができる。また、図９Ｂのように、撮影画像において左右（若しくは上下）に対向する画像フレーム端に届く帯状の領域を部分領域として設定した場合にも、非動き領域を高い確率で部分領域内に捉えることができる。

撮影画像における部分領域の画像をメモリ３２で保持するために必要となる記憶容量は、撮影画像全体の保持に必要となる記憶容量よりも少なくて済むことは明らかである。従って、図９Ａや図９Ｂのように部分領域の設定を行うことで、メモリ３２の記憶容量が節約される。また、このような部分領域を対象として領域分割やボケ量の算出を行うために必要となるＣＰＵ２０の処理量も、撮影画像全体を対象とする場合よりも少なくなることは明らかである。

ここで図１０について説明する。図１０は、図４の画像選別制御処理の第一の例の第一変形例を図解したフローチャートである。
図１０に図解したＳ１４１から１４２までの処理は、図４の処理におけるＳ１０２の処理の代わりにＣＰＵ２０により行われる。

図４のＳ１０１の画像取得処理によって撮像素子１２から撮影画像が取得されると、この撮影画像がメモリ３２に格納される前に、Ｓ１４１において部分領域取得処理が行われる。この処理は、撮像素子１２から取得された撮影画像から、位置及びサイズが予め設定されている部分領域内の画像（部分領域画像）を抽出して取得し、取得した部分領域画像をメモリ３２に格納する処理である。

次に、Ｓ１４２において動体／非動体領域判別処理が行われる。この処理は、Ｓ１４１の縮小画像作成処理によりメモリ３２に格納した部分領域画像のうちの時系列で連続している２枚の部分領域画像に基づいて、その部分領域画像の画像領域を動き領域と非動き領域とに判別する処理である。なお、この処理は、図５に図解した動体／非動体判別処理と同様の処理を、部分領域画像を対象として行うようにすればよい。このように、画像領域の動き領域と非動き領域とへの判別の処理を、撮影画像全体ではなく部分領域画像に対して施すようにすることで、ＣＰＵ２０における当該判別のための処理負担が軽減し、結果として処理の高速化も期待できる。
図１０に図解されている以上の処理を終えた後は、図４のＳ１０３以降の処理が行われる。

以上の図１０の処理をＣＰＵ２０が行うことで、撮影画像から取得された部分領域画像の画像領域が動き領域と非動き領域とに判別され、当該撮影画像の選別が、当該部分領域画像における非動き領域内の画像のボケ量に基づき行われるようになる。

また、図４の画像選別制御処理では、Ｓ１０１の画像取得処理により撮像素子１２から取得した撮影画像をそのままのサイズで用いて、画像領域の動き領域と非動き領域とへの判別（領域分割）を行うようにしていた。この代わりに、撮像素子１２から取得した撮影画像の縮小画像を作成し、この縮小画像の画像領域を動き領域と非動き領域とに判別し、撮影画像の選別を、縮小画像における非動き領域に対応する撮影画像の領域内の画像のボケ量に基づいて行うようにしてもよい。

ここで図１１について説明する。図１１は、図４の画像選別制御処理の第一の例の第二変形例を図解したフローチャートである。
図１１に図解したＳ１５１から１５５までの処理は、図４の処理におけるＳ１０２及びＳ１０３の処理の代わりにＣＰＵ２０により行われる。

図４のＳ１０１の画像取得処理によって撮像素子１２から撮影画像が取得されると、この撮影画像がメモリ３２に格納される前に、Ｓ１５１において縮小画像作成処理が行われる。この処理は、撮像素子１２から取得された撮影画像に対し、縦横同率でサイズの縮小処理を施して縮小画像を作成し、作成された縮小画像をメモリ３２に格納する処理である。ＣＰＵ２０は、この処理を行うことで、縮小画像作成部２１１としての機能を提供する。

次に、Ｓ１５２において原画像圧縮・退避処理が行われる。この処理は、Ｓ１５１の縮小画像作成処理で縮小画像を作成した元の撮影画像（原画像）を圧縮・伸張処理部３１に転送して圧縮処理を行わせ、得られた圧縮画像データを外部記録Ｉ／Ｆ３４に転送して外部メモリ５０に格納する処理である。このようにして、メモリ３２ではなく外部メモリ５０で原画像を保持させるようにすることで、メモリ３２に用意しておく容量を減らすことができる。

次に、Ｓ１５３において動体／非動体領域判別処理が行われる。この処理は、Ｓ１５１の縮小画像作成処理によりメモリ３２に格納した縮小画像のうちの時系列で連続している２枚の縮小画像に基づいて、その縮小画像の画像領域を動き領域と非動き領域とに判別する処理である。なお、この処理は、図５に図解した動体／非動体判別処理と同様の処理を、縮小画像を対象として行うようにすればよい。このように、画像領域の動き領域と非動き領域とへの判別の処理を、原画像ではなく縮小画像に対して施すようにすることで、ＣＰＵ２０における当該判別のための処理負担が軽減し、結果として処理の高速化も期待できる。

次に、Ｓ１５４において原画像読込・伸張処理が行われる。この処理は、まず、Ｓ１５３の動体／非動体領域判別処理で画像領域の判別を行った縮小画像についての原画像の圧縮画像データを外部メモリ５０から外部記録Ｉ／Ｆ３４を介して読み出して圧縮・伸張処理部３１に転送して伸張処理を行わせる。そして、この伸張処理により得られた撮影画像において、縮小画像における動き領域及び非動き領域にそれぞれ対応する画像領域を、当該撮影画像における動き領域及び非動き領域とする。

次に、Ｓ１５５において非動体ボケ量算出処理が行われる。この処理は、Ｓ１５４の原画像読込・伸張処理により領域分割された原画像における非動き領域の画像のボケ量を算出する処理である。この処理は、この処理は、図７に図解したものと同様の処理を行うようにすればよい。このようにして、ボケ量の算出対象については原画像とすることで、縮小画像を算出対象とすることで生じるボケ量の精度低下を抑制することができる。
図１１に図解されている以上の処理を終えた後は、図４のＳ１０４以降の処理が行われる。

以上の図１１の処理をＣＰＵ２０が行うことで、撮影画像から作成された縮小画像の画像領域が動き領域と非動き領域とに判別され、当該撮影画像の選別が、当該縮小画像における非動き領域に対応する撮影画像の領域内の画像のボケ量に基づき行われるようになる。

なお、この図１１の処理を、前述した図１０の処理と組み合わせて撮影画像の選別を行うようにすることも可能である。次に、この両者の処理を組み合わせると共に、更に、図８の画像二次選別制御処理も組み合わせた画像選別制御処理について、図１２を参照しながら説明する。

図１２は、画像選別制御処理の第二の例の処理内容を図解したフローチャートである。ＣＰＵ２０は、前述した画像選別制御プログラムを実行することによって、この処理を行えるようになる。

図１２において、まず、Ｓ２０１で画像取得処理が行われる。この処理は、被写体を連続して撮影して得られたＮ枚（複数枚）の撮影画像を、Ａ／Ｄ変換部１３を介して撮像素子１２から取得する処理である。

次に、Ｓ２０２において縮小画像作成処理が行われる。この処理は、撮像素子１２から取得したＮ枚の撮影画像のうち時系列で連続している２枚の撮影画像ｉ及びｉ＋１に対し、縦横同率でサイズの縮小処理を施して縮小画像ｉ及びｉ＋１を作成し、作成された縮小画像ｉ及びｉ＋１をメモリ３２に格納する処理である。

次に、Ｓ２０３において原画像圧縮・退避処理が行われる。この処理は、縮小画像ｉを作成した元の撮影画像（原画像）ｉを圧縮・伸張処理部３１に転送して圧縮処理を行わせ、得られた圧縮画像データを外部記録Ｉ／Ｆ３４に転送して外部メモリ５０に格納する処理である。このようにして、メモリ３２ではなく外部メモリ５０で原画像を保持させるようにすることで、メモリ３２に用意しておく容量を減らすことができる。

次に、Ｓ２０４において、縮小画像ｉと縮小画像ｉ＋１との位置合わせ処理が行われる。この処理では、図５の動体／非動体判別処理におけるＳ１１１の隣接画像ズレ幅取得処理とＳ１１２の画像位置合わせ処理とが、縮小画像ｉ及びｉ＋１に対して行われる。

次に、Ｓ２０５において、差分算出処理が行われる。この処理では、まず、図５の動体／非動体判別処理におけるＳ１１３の処理のうちの画像差分計算及びマスク作成処理が、縮小画像ｉ及びｉ＋１に対して行われて、縮小画像ｉについての前述したマスク画像が作成される。そして、作成されたマスク画像を縮小画像ｉに重畳して、非動き領域の縮小画像ｉを得る。

次に、Ｓ２０６においてボケ判定領域計算処理が行われる。この処理では、まず、縮小画像に対する位置及びサイズが予め設定されている部分領域に含まれる領域（ボケ量算出の対象領域）を、非動き領域の縮小画像ｉから抽出する。そして、抽出された、非動き領域であり且つ部分領域である領域に対応する領域（「対応領域」と称することとする）についての、撮影画像ｉ上での位置及びサイズを、原画像に対する縮小画像の縮小率に基づき算出する。

ここで図１３について説明する。図１３は、上述した、縮小画像におけるボケ量算出の対象領域と、撮影画像における対応領域との関係を模式的に図解したものである。Ｓ２０６の処理では、縮小画像おける対象領域から、撮影画像における対応領域の撮影画像上での位置及びサイズを算出する。

なお、Ｓ２０５及びＳ２０６の処理により、縮小画像ｉにおける動き領域であり且つ部分領域である領域に対応する領域についての、撮影画像ｉ上での位置及びサイズについても、同様にして算出しておくようにする。

次に、Ｓ２０７において原画像読込・伸張処理が行われる。この処理では、まず、縮小画像ｉについての原画像である撮影画像ｉの圧縮画像データを外部メモリ５０から外部記録Ｉ／Ｆ３４を介して読み出して圧縮・伸張処理部３１に転送して伸張処理を行わせる。そして、Ｓ２０６のボケ判定領域計算処理で位置及びサイズを得た、非動き領域であり且つ部分領域である領域に対応する領域の画像（ボケ量算出の対象画像）を、伸張処理により得られた撮影画像ｉから取得する。

次に、Ｓ２０８においてスムーズ画像生成処理が行われる。この処理は、Ｓ２０７の処理で撮影画像ｉから取得した、ボケ量算出の対象画像に対してスムージング（平滑化）を施してスムーズ画像を生成する処理であり、図７のボケ量算出処理におけるＳ１２１の処理と同様の処理である。

次に、Ｓ２０９において、作成されたスムーズ画像とボケ量算出の対象画像との差分画像を生成し、その差分画像を構成する各画素の画素値の総和を、当該対象画像のボケ量の少なさを示す値として算出する処理が行われる。この処理は、図７のボケ量算出処理におけるＳ１２２及びＳ１２３の処理と同様の処理である。つまり、このＳ１２１からＳ１２３までの処理により、図４におけるＳ１０３の非動体ボケ量算出処理と同様の処理が行われる。

次に、Ｓ２１０において、Ｓ２０９の処理で算出された、撮影画像ｉから取得した対象画像のボケ量が、Ｓ２０１の画像取得処理で取得された各撮影画像から取得した対象画像のうちで最小であるか否かを判定する処理が行われる。この判定処理は、Ｓ２０９の処理で算出された、撮影画像ｉから取得した対象画像についての前述した総和が、Ｓ２０１の画像取得処理で取得された各撮影画像から取得した対象画像のうちで最大であるか否かを判定することによって行われる。ここで、算出されたボケ量が、既に算出済のもののうちで最小であると判定したとき（判定結果がＹｅｓのとき）には、Ｓ２１１に処理を進める。一方、最小ではないと判定したとき（判定結果がＮｏのとき）には、Ｓ２１２に処理を進める。

次に、Ｓ２１１において、ボケ量が最小であると判定された対象画像を含んでいた撮影画像ｉを、画質最良の画像として選別する処理が行われ、その後はＳ２１２に処理を進める。

次に、Ｓ２１２において、Ｓ２０１の画像取得処理で取得された全ての撮影画像について、Ｓ２１０の判定処理を行ったか否かを判定する処理が行われる。ここで、全ての撮影画像について当該判定処理を行ったと判定したとき（判定結果がＹｅｓのとき）には、Ｓ２１３に処理を進める。一方、当該判定処理を未だ行っていない撮影画像が残っていると判定したとき（判定結果がＮｏのとき）には、Ｓ２０２へ処理を戻し、残りの撮影画像に対してＳ２０２以降の処理が改めて施される。

次に、Ｓ２１３において、前述したＳ２１１の処理が複数回実行されて、画質最良の画像として選別された撮影画像が複数枚存在するか否かを判定する処理が行われる。ここで、選別された撮影画像が複数枚存在すると判定したとき（判定結果がＹｅｓのとき）にはＳ２１４に処理を進め、選別された撮影画像が複数枚は存在しないと判定したとき（判定結果がＮｏのとき）にはＳ２１７に処理を進める。

これより説明するＳ２１４からＳ２１６までの処理は、Ｓ２１１の処理により選別された複数枚の撮影画像から、画質最良の画像を更に選別する処理である。なお、ここでは、図８の画像二次選別制御処理と同様の選別を、縮小画像における動き領域であり且つ部分領域である領域に対応する撮影画像の領域のボケ量に基づいて行うものである。

まず、Ｓ２１４において原画像読込・伸張処理が行われる。この処理では、まず、前述したＳ２１１の処理で選別された撮影画像各々の圧縮画像データを外部メモリ５０から外部記録Ｉ／Ｆ３４を介して読み出して圧縮・伸張処理部３１に転送して伸張処理を行わせる。そして、Ｓ２０６のボケ判定領域計算処理で位置及びサイズを得た、動き領域であり且つ部分領域である領域に対応する領域の画像（ボケ量算出の対象画像）を、伸張処理により得られた撮影画像から取得する。

次に、Ｓ２１５においてスムーズ画像生成処理が行われる。この処理は、Ｓ２１４の処理で撮影画像ｉから取得した、ボケ量算出の対象画像に対してスムージング（平滑化）を施してスムーズ画像を生成する処理であり、図７のボケ量算出処理におけるＳ１２１の処理と同様の処理である。

次に、Ｓ２１６において、まず、作成されたスムーズ画像とボケ量算出の対象画像との差分画像を生成し、その差分画像を構成する各画素の画素値の総和を、当該対象画像のボケ量の少なさを示す値として算出する処理が行われる。そして、当該対象画像のボケ量が、Ｓ２１１の処理により選別された複数枚の撮影画像から取得した対象画像のうちで最小であるもの（すなわち、上述した総和が最大であるもの）を、最良画像として選別する処理が行われる。

次に、Ｓ２１７において、最良画像として選別されたもの以外の撮影画像の圧縮画像データを外部メモリ５０から消去する処理が行われ、その後は、この図１２の処理が終了する。なお、この処理により圧縮画像データが外部メモリ５０に残される画像は、Ｓ２１３の判定処理がＹｅｓであった場合にはＳ２１６の処理により選別されたものであり、Ｓ２１３の判定処理がＮｏであった場合にはＳ２１１の処理により選別されたものである。

以上の図１２の処理をＣＰＵ２０が行うことで、撮影画像から作成された縮小画像の部分領域画像の画像領域が動き領域と非動き領域とに判別され、当該撮影画像の選別を、当該非動き領域に対応する撮影画像の領域内の画像のボケ量に基づき行えるようになる。

なお、図１２の処理では、Ｓ２１１の処理により一旦選別された複数枚の撮影画像から画質最良の画像の更なる選別を、縮小画像における動き領域であり且つ部分領域である領域に対応する撮影画像の領域のボケ量に基づいて行っていた。ここで、この更なる選別を、他の基準に基づいて行うようにすることもできる。以下、この、更なる選別の手法について、幾つか説明する。

まず図１４について説明する。図１４は、図１２の画像選別制御処理の第二の例の第一変形例を図解したフローチャートである。
この図１４の処理は、一旦選別された撮影画像からの撮影画像の更なる選別を、当該一旦選別された撮影画像の撮影時における撮影順序に基づいて行うものであり、特に、最先の日時に撮影されていた撮影画像を選別するというものである。

図１４に図解したＳ２２１の処理は、図１２の処理におけるＳ２１４からＳ２１６までの処理の代わりにＣＰＵ２０により行われる。
図１２のＳ２１３の判定処理において、前述したＳ２１１の処理により選別された撮影画像が選別された撮影画像が複数枚存在すると判定したときに、Ｓ２２１の処理が行われる。このＳ２２１では、Ｓ２１１の処理で選別された撮影画像各々の圧縮画像データに付されている撮影日時情報が参照され、最先の日時が撮影日時情報に示されていた圧縮画像データに対応する撮影画像を、最良画像として選別する。

このＳ２２１の処理を終えた後は、図１２のＳ２１７の処理が行われて、最良画像として選別されたもの以外の撮影画像の圧縮画像データを外部メモリ５０から消去する処理が行われ、その後は、図１２の処理が終了する。

以上の処理をＣＰＵ２０が行うことにより、一旦選別された撮影画像からの撮影画像の更なる選別が、当該一旦選別された撮影画像の撮影時における撮影順序に基づいて行えるようになる。なお、この処理では、圧縮しておいた画像データを伸張して元の撮影画像に戻す処理を行わずに済むので、装置の処理負担が少ない。

また、一旦選別された撮影画像からの撮影画像の更なる選別を、上述したようにする代わりに、撮影画像に映っている、被写体である人の顔の像の形態の解析結果に基づいて行うようにすることもできる。以下、人の顔の像の形態の解析結果に基づいた撮影画像の更なる選別の手法について、幾つか説明する。

まず図１５について説明する。図１５は、図１２の画像選別制御処理の第二の例の第二変形例を図解したフローチャートである。
この図１５の処理は、人の顔の像に表されている瞼（まぶた）の形態を解析し、一旦選別された撮影画像のうちから、瞼が開いていると解析された顔の像を含む撮影画像を選別して、瞼が閉じている顔の像を含む撮影画像を選別から除外するというものである。

図１５に図解したＳ２３１からＳ２３５までの処理は、図１２の処理におけるＳ２１４からＳ２１６までの処理の代わりにＣＰＵ２０により行われる。
図１２のＳ２１３の判定処理において、前述したＳ２１１の処理により選別された撮影画像が選別された撮影画像が複数枚存在すると判定したときに、Ｓ２３１の処理が行われる。このＳ２３１では原画像読込・伸張処理が行われる。この処理では、前述したＳ２１１の処理で選別された撮影画像各々の圧縮画像データを外部メモリ５０から外部記録Ｉ／Ｆ３４を介して読み出して圧縮・伸張処理部３１に転送して伸張処理を行わせて、圧縮前の撮影画像（原画像）を取得する処理が行われる。

次に、Ｓ２３２において、得られた原画像から、人の目の像が表されている画像領域を認識し、更に、認識された画像領域に表されている瞼の開口度を算出する処理が行われる。車両の運転者の顔の画像における瞼の開口度を算出する技術は広く知られており、この処理では、例えばこの技術をそのまま利用する。

次に、Ｓ２３３において、算出された瞼の開口度が、前述したＳ２１１の処理により選別された各撮影画像について既に算出した瞼の開口度のうちで最大であるか否かを判定する処理が行われる。ここで、算出された瞼の開口度が、既に算出済のもののうちで最大であると判定したとき（判定結果がＹｅｓのとき）には、Ｓ２３４に処理を進める。一方、最大ではないと判定したとき（判定結果がＮｏのとき）には、Ｓ２３５に処理を進める。

次に、Ｓ２３４において、瞼の開口度が最大であると判定された画像領域を含んでいた撮影画像を、画質最良の画像として選別する処理が行われ、その後はＳ２３５に処理を進める。

次に、Ｓ２３５において、前述したＳ２１１の処理により選別された全ての撮影画像について、Ｓ２３３の判定処理を行ったか否かを判定する処理が行われる。ここで、この判定処理を上述の全ての撮影画像について行ったと判定したとき（判定結果がＹｅｓのとき）には、図１２のＳ２１７の処理が行われて、最良画像として選別されたもの以外の撮影画像の圧縮画像データを外部メモリ５０から消去する処理が行われる。そして、その後は、図１２の処理が終了する。一方、Ｓ２３３の判定処理を未だ行っていない撮影画像が残っていると判定したとき（判定結果がＮｏのとき）には、Ｓ２３１へ処理を戻し、残りの撮影画像に対してＳ２３１以降の処理が改めて施される。

以上の処理をＣＰＵ２０が行うことにより、人の顔の像に表されている瞼の形態の解析が行われ、一旦選別された撮影画像からの撮影画像の更なる選別が、当該瞼の開口量の解析結果に基づいて行えるようになる。

次に図１６について説明する。図１６は、図１２の画像選別制御処理の第二の例の第三変形例を図解したフローチャートである。
この図１６の処理は、人の顔の像に表されている眼の視線を解析し、一旦選別された撮影画像のうちから、撮影画像を撮影した装置を視線が向いていると解析された顔の像を含む撮影画像を選別するというものである。

図１６に図解したＳ２４１からＳ２４５までの処理は、図１２の処理におけるＳ２１４からＳ２１６までの処理の代わりにＣＰＵ２０により行われる。
図１２のＳ２１３の判定処理において、前述したＳ２１１の処理により選別された撮影画像が選別された撮影画像が複数枚存在すると判定したときに、Ｓ２４１の処理が行われる。このＳ２４１では原画像読込・伸張処理が行われる。この処理は、図１５のＳ２３１の処理と同様である。

次に、Ｓ２４２において、得られた原画像から、人の目の像が表されている画像領域を認識し、更に、認識された画像領域に表されている目の視線が正面を向いている度合いを算出する処理が行われる。車両の運転者の顔の画像における目の視線が正面を向いている度合いを算出する技術は広く知られており、この処理では、例えばこの技術をそのまま利用する。

次に、Ｓ２４３において、算出された度合いが、前述したＳ２１１の処理により選別された各撮影画像について既に算出した度合いのうちで最大であるか否か（視線が最も正面を向いているか否か）を判定する処理が行われる。ここで、算出された度合いが、既に算出済のもののうちで最大である（視線が最も正面を向いている）と判定したとき（判定結果がＹｅｓのとき）には、Ｓ２４４に処理を進める。一方、最大ではないと判定したとき（判定結果がＮｏのとき）には、Ｓ２４５に処理を進める。

次に、Ｓ２４４において、視線が正面を向いている度合いが最大であると判定された画像領域を含んでいた撮影画像を、画質最良の画像として選別する処理が行われ、その後はＳ２４５に処理を進める。

次に、Ｓ２４５において、前述したＳ２１１の処理により選別された全ての撮影画像について、Ｓ２４３の判定処理を行ったか否かを判定する処理が行われる。ここで、この判定処理を上述の全ての撮影画像について行ったと判定したとき（判定結果がＹｅｓのとき）には、図１２のＳ２１７の処理が行われて、最良画像として選別されたもの以外の撮影画像の圧縮画像データを外部メモリ５０から消去する処理が行われる。そして、その後は、図１２の処理が終了する。一方、Ｓ２４３の判定処理を未だ行っていない撮影画像が残っていると判定したとき（判定結果がＮｏのとき）には、Ｓ２４１へ処理を戻し、残りの撮影画像に対してＳ２４１以降の処理が改めて施される。

以上の処理をＣＰＵ２０が行うことにより、人の顔の像に表されている眼の視線の解析が行われ、一旦選別された撮影画像からの撮影画像の更なる選別が、当該視線の解析結果である、視線が正面を向いている度合いに基づいて行えるようになる。

次に図１７について説明する。図１７は、図１２の画像選別制御処理の第二の例の第四変形例を図解したフローチャートである。
この図１７の処理は、人の顔の像に表されている顔の表情を解析して笑顔の程度を算出し、一旦選別された撮影画像のうちから、その笑顔の程度（スマイル度）が最大である顔の像を含む撮影画像を選別するというものである。

図１７に図解したＳ２５１からＳ２５５までの処理は、図１２の処理におけるＳ２１４からＳ２１６までの処理の代わりにＣＰＵ２０により行われる。
図１２のＳ２１３の判定処理において、前述したＳ２１１の処理により選別された撮影画像が選別された撮影画像が複数枚存在すると判定したときに、Ｓ２５１の処理が行われる。このＳ２５１では原画像読込・伸張処理が行われる。この処理は、図１５のＳ２３１の処理と同様である。

次に、Ｓ２５２において、得られた原画像から、人の顔の像が表されている画像領域を認識し、更に、認識された画像領域に表されている顔のスマイル度を算出する処理が行われる。デジタルカメラ等での撮影画像に写っている顔の像の笑顔の程度を算出する技術は広く知られており、この処理では、例えばこの技術をそのまま利用する。

次に、Ｓ２５３において、算出されたスマイル度が、前述したＳ２１１の処理により選別された各撮影画像について既に算出したスマイル度のうちで最大であるか否かを判定する処理が行われる。ここで、算出されたスマイル度が、既に算出済のもののうちで最大である（視線が最も正面を向いている）と判定したとき（判定結果がＹｅｓのとき）には、Ｓ２５４に処理を進める。一方、最大ではないと判定したとき（判定結果がＮｏのとき）には、Ｓ２５５に処理を進める。

次に、Ｓ２５４において、スマイル度が最大であると判定された画像領域を含んでいた撮影画像を、画質最良の画像として選別する処理が行われ、その後はＳ２５５に処理を進める。

次に、Ｓ２５５において、前述したＳ２１１の処理により選別された全ての撮影画像について、Ｓ２５３の判定処理を行ったか否かを判定する処理が行われる。ここで、この判定処理を上述の全ての撮影画像について行ったと判定したとき（判定結果がＹｅｓのとき）には、図１２のＳ２１７の処理が行われて、最良画像として選別されたもの以外の撮影画像の圧縮画像データを外部メモリ５０から消去する処理が行われる。そして、その後は、図１２の処理が終了する。一方、Ｓ２５３の判定処理を未だ行っていない撮影画像が残っていると判定したとき（判定結果がＮｏのとき）には、Ｓ２５１へ処理を戻し、残りの撮影画像に対してＳ２５１以降の処理が改めて施される。

以上の処理をＣＰＵ２０が行うことにより、人の顔の像に表されている顔の表情が解析されスマイル度が算出され、一旦選別された撮影画像からの撮影画像の更なる選別が、当該視線の解析結果である、このスマイル度に基づいて行えるようになる。

１ 画像選別装置
１１ レンズ群
１２ 撮像素子
１３ Ａ／Ｄ変換部
１４ レンズ駆動部
２０ ＣＰＵ
２１ 画像取得部
２２ 領域分割部
２３ 選別部
３１ 圧縮・伸張処理部
３２ メモリ
３３ ユーザ操作部
３４ 外部記録Ｉ／Ｆ
４０ データバス
５０ 外部メモリ
１００ 被写体
２００ 背景
２１１ 縮小画像作成部
２２１ 位置合わせ部
２３１ 顔解析部

Claims (7)

1. 被写体を連続して撮影して得られる複数枚の撮影画像を取得する画像取得部、
   該複数枚の撮影画像のうちの時系列で連続している２枚の撮影画像に基づいて、該撮影画像の画像領域における所定の部分領域を、該２枚の撮影画像間での位置が所定量以上異なる領域である動き領域と、該動き領域以外の領域である非動き領域とに分割する領域分割部、及び
   該複数枚の撮像画像からの少なくとも１枚以上の撮影画像の選別を、該非動き領域内の画像のボケ量に基づいて行う選別部、
   を有する画像選別装置。
2. 該２枚の撮影画像の位置合わせを行う位置合わせ部を更に有し、
   該領域分割部は、該位置あわせ部により位置合わせが行われた２枚の撮影画像において同一位置である一対の画素についての画素値の差に基づいて、該撮影画像の画像領域を該動き領域と該非動き領域とに分割する、
   請求項１に記載の画像選別装置。
3. 該選別部は、該非動き領域内の画像のボケ量に基づいて該撮影画像を複数枚選別した場合には、該選別された撮影画像からの撮影画像の更なる選別を、該動き領域内の画像のボケ量に基づいて行う請求項１に記載の画像選別装置。
4. 該所定の部分領域は、該撮影画像において左右若しくは上下に対向する画像フレーム端に届く帯状の領域である請求項１に記載の画像選別装置。
5. 被写体を連続して撮影して得られる複数枚の撮影画像を取得し、
   該複数枚の撮影画像のうちの時系列で連続している２枚の撮影画像に基づいて、該撮影画像の画像領域における所定の部分領域を、該２枚の撮影画像間での位置が所定量以上異なる領域である動き領域と、該動き領域以外の領域である非動き領域とに分割し、
   該複数枚の撮像画像からの少なくとも１枚以上の撮影画像の選別を、該非動き領域内の画像のボケ量に基づいて行う、
   画像選別方法。
6. 演算処理装置に実行させることによって、該演算処理装置が、
   被写体を連続して撮影して得られる複数枚の撮影画像を取得する画像取得処理、
   該複数枚の撮影画像のうちの時系列で連続している２枚の撮影画像に基づいて、該撮影画像の画像領域における所定の部分領域を、該２枚の撮影画像間での位置が所定量以上異なる領域である動き領域と、該動き領域以外の領域である非動き領域とに分割する領域分割処理、及び
   該複数枚の撮像画像からの少なくとも１枚以上の撮影画像の選別を、該非動き領域内の画像のボケ量に基づいて行う選別処理、
   を行うプログラム。
7. 被写体を連続して撮影して得られる複数枚の撮影画像を取得する画像取得部、
   該複数枚の撮影画像のうちの時系列で連続している２枚の撮影画像に基づいて、該撮影画像の画像領域における所定の部分領域を、該２枚の撮影画像間での位置が所定量以上異なる領域である動き領域と、該動き領域以外の領域である非動き領域とに分割する領域分割部、
   該複数枚の撮像画像からの少なくとも１枚以上の撮影画像の選別を、該非動き領域内の画像のボケ量に基づいて行う選別部、及び
   該選別部により選別された画像を出力する出力部、
   を有する画像選別装置。

Images