JP5397481B2 - 画像選別装置及び画像選別方法 - Google Patents
画像選別装置及び画像選別方法 Download PDFInfo
- Publication number
- JP5397481B2 JP5397481B2 JP2011545860A JP2011545860A JP5397481B2 JP 5397481 B2 JP5397481 B2 JP 5397481B2 JP 2011545860 A JP2011545860 A JP 2011545860A JP 2011545860 A JP2011545860 A JP 2011545860A JP 5397481 B2 JP5397481 B2 JP 5397481B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- region
- images
- captured
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
- G06V10/993—Evaluation of the quality of the acquired pattern
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
本明細書で議論される実施態様は、画像処理技術に関するものである。
カメラ(撮像装置)のデジタル化によって、写真撮影のコストが大幅に低下したこともあり、昨今は、連写撮影が一般的に行われるようになってきている。連写撮影では、例えば1秒に数枚の撮影が行われる。
連写撮影の利用法のひとつとして、最良のシーンを撮り逃さないようにするために連写撮影を行い、得られた複数の撮影画像から、画質が良好な画像を撮影者等が選び出して保存するという技術が知られている。例えば、各画像の撮影時における、露光量、合焦位置、フラッシュ光量等の撮影条件を撮影毎に変化させて連写撮影を行い、得られた複数の画像から適切な画像を使用者が選択するという技術が知られている。
また、このような画像の選別を撮影者等が手動で行う代わりに、自動で行う技術が知られている。このような技術において、画像の画質の評価対象として、撮影時の手振れやピント調整の不良に起因する画像のボケに注目し、ボケが少ない画像を選別するというものがある。また、とりわけ被写界深度の浅い画像において、画像内に部分的に設けられた評価エリア内のみで画質評価を行うようにして、その画像の画質がエリア外の背景ボケによって不当に低く評価されないようにするという技術も知られている。
この他の背景技術として、静止している背景の前で移動する物体を撮像した画像で生じる、背景の画像と移動する物体の画像との混ざり合いを考慮して、両者の画像を分離するという技術が知られている。この技術では、まず、時系列の複数の画面における対応する画像の成分の相関に基づいて、画像の成分が時間方向に不連続に変化する画面の境界を画素毎に検出する。そして、検出された境界の前及び後の少なくとも一方の画面の画像の成分に基づき生成した画素値が、前景および背景のうちの少なくとも一方に属するか否かを判定する。
また、この他に、意図的な前景または背景のぼかしによって主要被写体を浮かび上がらせる、ポートレート撮影調の画像を生成するという技術が知られている。この技術では、まず、撮影画像を主要被写体領域である第一領域とその他の第二領域とに区画する。そして、第二領域のボケ度合いを検出し、その度合いの大きさに比例して第二領域のボケ度合いを大きくするボケ強調処理を施すというものである。
更に、この他に、カメラが動いたことによる位置ずれと、被写体が動いたことによる被写体ぶれとがない画像を作成するという技術が知られている。この技術では、撮像範囲が同一の複数の画像を合成する装置において、まず、撮像範囲が同一である複数の画像間の位置ずれを検出して、画像を位置ずれ補正する。そして、位置ずれ補正後に、画像間の個々の部分の類似性を評価し、類似性評価に応じて、画像合成方法を変更するというものである。また、この技術において、KLTトラッカー(Kanade-Lucas-Tomasi Feature Tracker)と呼ばれる周知の手法を用いて、画像の中から特徴点を抽出し追跡して、画像全体の位置ずれを検出する技術が知られている。
また、この他の関連技術として、人の顔の像に表されている眼の視線を解析して注視している位置を検出する技術が知られている。また、撮影画像から被写体である人の顔の像を検出し、この像で表されている顔の表情を認識し、その表情における笑顔の程度を算出する技術も知られている。
ジアンボ・シ(Jianbo Shi)、カルロ・トマシ(Carlo Tomasi)、「グッド・フィーチャーズ・トゥ・トラック(Good Features to Track)」、IEEEカンファレンス・オン・コンピュータ・ビジョン・アンド・パターン・レコグニション(CVPR94)・シアトル(IEEE Conference on Computer Vision and Pattern Recognition (CVPR94) Seattle)、(米国)、1994年6月
撮影画像における、背景ではない主要な被写体の画像領域のボケは、撮影時の手振れやピント調整の不良に起因するもの以外に、被写体自らの動きによっても生じることがある。このような、被写体自らの動きによって生じたボケは、必ずしも撮影の失敗に限られるものではなく、例えばスピード感溢れる被写体の動きの表現など、撮影者が意図した通りのものである場合もある。しかし、被写体の画像領域に生じているボケが、撮影者の意図したものであるかどうかを画像に基づき判断することは困難である。従って、撮影画像における主要な被写体の画像領域のみのボケ量に基づく画質評価は、常に適切であるとは言い切れない。
本発明は上述した問題に鑑みてなされたものであり、その解決しようとする課題は、連写撮影により得られた複数の画像から画質の良好な画像を選別する新たな手法を提供することである。
本明細書で後述する画像選別装置のひとつには、画像取得部、領域分割部、及び選別部を有するというものがある。ここで、画像取得部は、被写体を連続して撮影して得られる複数枚の撮影画像を取得する。領域分割部は、当該複数枚の撮影画像のうちの時系列で連続している2枚の撮影画像に基づいて、当該撮影画像の画像領域を、当該2枚の撮影画像間での位置が所定量以上異なる領域である動き領域と、当該動き領域以外の領域である非動き領域とに分割する。選別部は、当該複数枚の撮像画像からの少なくとも1枚以上の撮影画像の選別を、当該非動き領域内の画像のボケ量に基づいて行う。
また、本明細書で後述する画像選別方法のひとつには、以下のようにするものがある。すなわち、まず、被写体を連続して撮影して得られる複数枚の撮影画像を取得する。次に、当該複数枚の撮影画像のうちの時系列で連続している2枚の撮影画像に基づいて、当該撮影画像の画像領域を、当該2枚の撮影画像間での位置が所定量以上異なる領域である動き領域と、当該動き領域以外の領域である非動き領域とに分割する。そして、当該複数枚の撮像画像からの少なくとも1枚以上の撮影画像の選別を、当該非動き領域内の画像のボケ量に基づいて行う。
また、本明細書で後述するプログラムには、演算処理装置に実行させることによって、当該演算処理装置が、画像取得処理、領域分割処理、及び選別処理を行うというものがある。ここで、画像取得処理は、被写体を連続して撮影して得られる複数枚の撮影画像を取得する。領域分割処理は、当該複数枚の撮影画像のうちの時系列で連続している2枚の撮影画像に基づいて、当該撮影画像の画像領域を、当該2枚の撮影画像間での位置が所定量以上異なる領域である動き領域と、当該動き領域以外の領域である非動き領域とに分割する。選別処理は、当該複数枚の撮像画像からの少なくとも1枚以上の撮影画像の選別を、当該非動き領域内の画像のボケ量に基づいて行う。
本明細書で後述する画像選別装置は、連写撮影により得られた複数の画像から画質の良好な画像を適切に選別することができる。
まず図1について説明する。図1には、画像選別装置の構成の一例が図解されている。この画像選別装置1は、連写撮影により得られた複数の画像から、画質の良好な画像として、撮影時の手振れによる影響が少ない画像を選別する画像選別機能と共に、連写撮影を含む撮影機能(カメラ機能)をも有している。
画像選別装置1は、レンズ群11、撮像素子12、A/D変換部13、レンズ駆動部14、CPU20、圧縮・伸張処理部31、メモリ32、ユーザ操作部33、及び外部記録I/F34を備えている。
レンズ群11は、画像選別装置1の有するカメラ機能を利用して被写体の撮影を行う際に、撮像素子12の受光面に当該被写体の光学像(被写体像)を結像させる、複数の光学レンズである。
撮像素子12は、その受光面で受光している光を、CPU20による制御の下で光電変換して、当該受光面に結像している被写体像の画像(撮影画像)を表している電気信号を出力する。
A/D変換部13は、撮像素子12から出力される、アナログ信号である電気信号をデジタルデータに変換して、撮影画像を表している画像データを出力する。
レンズ駆動部14は、CPU20による制御の下でレンズ群11を構成している光学レンズの位置を光軸方向に移動させて、撮像素子12の受光面に結像する被写体像のピントを変化させる。
レンズ駆動部14は、CPU20による制御の下でレンズ群11を構成している光学レンズの位置を光軸方向に移動させて、撮像素子12の受光面に結像する被写体像のピントを変化させる。
CPU(Central Processing Unit)20は、この画像選別装置1全体の動作制御を行う演算処理装置である。なお、CPU20、A/D変換部13、圧縮・伸張処理部31、メモリ32、ユーザ操作部33、及び外部記録I/F34はデータバス40を介して相互に接続されており、CPU20の管理の下で各種のデータを相互に授受することができる。
圧縮・伸張処理部31は、画像データの圧縮処理及び伸張処理を行う。ここで、圧縮処理は、A/D変換部13から出力される画像データで表現されている撮影画像に対して行われ、撮影画像の品位を極力維持しながら画像データのデータ量を低減させる処理である。また、伸張処理は、圧縮処理後の画像データ(圧縮画像データ)から、当該圧縮画像データで表現されている画像を表している非圧縮の画像データ(伸張画像データ)を得る処理である。
メモリ32は、ROMとRAMとを備えている。
このメモリ32のうちのROM(Read Only Memory)は、所定の基本制御プログラム及び所定の画像選別制御プログラムと、これらの制御プログラムの実行の際に使用される各種のデータとが予め記録されている読み出し専用半導体メモリである。CPU20は、基本制御プログラムを画像選別装置1の起動時にROMから読み出して実行することにより、画像選別装置1の各構成要素の動作制御が可能になる。CPU20は、この後に、画像選別制御プログラムをROMから更に読み出して実行することにより、後述する各種の機能の提供が可能になる。なお、フラッシュEEPROM(Electrically Erasable Programmable ROM)をこのROMとして使用することは、もちろん可能である。
このメモリ32のうちのROM(Read Only Memory)は、所定の基本制御プログラム及び所定の画像選別制御プログラムと、これらの制御プログラムの実行の際に使用される各種のデータとが予め記録されている読み出し専用半導体メモリである。CPU20は、基本制御プログラムを画像選別装置1の起動時にROMから読み出して実行することにより、画像選別装置1の各構成要素の動作制御が可能になる。CPU20は、この後に、画像選別制御プログラムをROMから更に読み出して実行することにより、後述する各種の機能の提供が可能になる。なお、フラッシュEEPROM(Electrically Erasable Programmable ROM)をこのROMとして使用することは、もちろん可能である。
また、メモリ32のうちのRAM(Random Access Memory)は、CPU20が各種の制御プログラムを実行する際に、必要に応じて作業用記憶領域として使用する、随時書き込み読み出し可能な半導体メモリである。また、このRAMは、A/D変換部13から出力される画像データの一時保持領域としても使用され、更には、圧縮・伸張処理部31が画像データの圧縮処理及び伸張処理を行うときの、作業用記憶領域としても使用される。
ユーザ操作部33は、この画像選別装置1の使用者により操作されるスイッチ類であり、これらのスイッチ類が操作されると、当該操作に対応付けられている各種の指示(撮影指示や連写指示など)をCPU20が取得する。
外部記録I/F(インタフェース)34は、データバス40に接続されている各構成要素と、画像選別装置1に装着される外部メモリ(メモリカード)50との間での各種のデータの授受を管理する。外部メモリ50は、例えばフラッシュEEPROMを備えており、圧縮画像データが格納される。
次に、図1の画像選別装置1が有している画像選別機能について、図2の画像例を用いて説明する。
図2に提示した画像例は、画像選別装置1が有している連写撮影により得られた2枚の撮影画像である。このうち、[A]の画像では、被写体100にはボケが生じているが、背景200にはボケが全く生じていないのに対し、[B]の画像では、被写体100にも背景200にもボケが生じている。
図2に提示した画像例は、画像選別装置1が有している連写撮影により得られた2枚の撮影画像である。このうち、[A]の画像では、被写体100にはボケが生じているが、背景200にはボケが全く生じていないのに対し、[B]の画像では、被写体100にも背景200にもボケが生じている。
画像選別装置1は、この2枚の画像に対し、[A]の画像に生じているボケは、被写体100自らの動きに起因するものと推定し、[B]の画像に生じているボケは、撮影時の手振れやピント調整の不良にも原因があると推定する。つまり、画像選別装置1は、[A]の画像の方が[B]の画像よりも画質が良好であると評価し、この2枚の画像から[A]の画像を選別する。画像選別装置1が有している画像選別機能は、このようにして、連写撮影により得られた複数の画像から画質の良好な画像を選別する。
次に、CPU20により提供される各種の機能について説明する。図3は、CPU20により提供される各種の機能を図解した機能ブロック図である。
CPU20は、前述した画像選別制御プログラムを実行することにより、画像取得部21、領域分割部22、及び選別部23としての機能を提供する。
CPU20は、前述した画像選別制御プログラムを実行することにより、画像取得部21、領域分割部22、及び選別部23としての機能を提供する。
画像取得部21は、被写体を連続して撮影して得られる複数枚の撮影画像を取得して、メモリ32に格納する。この撮影画像は、撮像素子12により出力される電気信号をA/D変換部13が変換して得られた画像データである。
領域分割部22は、画像取得部21がメモリ32に格納した複数枚の撮影画像のうちの時系列で連続している2枚の撮影画像に基づいて、その撮影画像の画像領域を動き領域と非動き領域とに分割する。ここで、動き領域とは、その2枚の撮影画像間での位置が所定量以上異なる領域のことをいう。また、非動き領域とは、動き領域以外の領域のことをいう。図2の画像例では、自らが動いている被写体100の像が映っている領域が動き領域であり、自らは動いていない(静止している)背景200の像が映っている領域が非動き領域である。
本実施形態では、領域分割部22による撮影画像の画像領域の分割のために、位置合わせ部221を利用する。位置合わせ部221は、上述した2枚の撮影画像の位置合わせを行う。領域分割部22は、位置合わせ部221により位置合わせが行われた2枚の撮影画像において同一位置である一対の画素についての画素値の差に基づいて、該撮影画像の画像領域を該動き領域と該非動き領域とに分割する。
選別部23は、画像取得部21が取得してメモリ32に格納した複数枚の撮像画像からの少なくとも1枚以上の撮影画像の選別を、領域分割部22が当該撮影画像の画像領域を分割して得た非動き領域内の画像のボケ量に基づいて行う。
なお、本実施形態において、CPU20が縮小画像作成部211としての機能を提供し、この縮小画像作成部211を画像取得部21が利用するようにすることもできる。縮小画像作成部211は、画像取得部21がA/D変換部13から取得した撮影画像の縮小画像を作成する。このようにする場合には、画像取得部21は、縮小画像作成部211が作成した縮小画像をメモリ32に格納する。また、領域分割部22は、前述した2枚の撮影画像の縮小画像に基づいて、当該縮小画像の画像領域を動き領域と非動き領域とに分割する。そして、選別部23は、前述した撮影画像の選別を、領域分割部22が当該縮小画像の画像領域を分割して得た非動き領域に対応する撮影画像の領域内の画像のボケ量に基づいて行う。このようにして領域分割部22が領域分割を行う対象の画像を縮小画像とすることで、領域分割のための処理量が減少し、また、この領域分割のための処理のためのメモリ32の使用量も減少する。
また、本実施形態において、CPU20が顔解析部231としての機能を提供し、この顔解析部231を選別部23が利用するようにすることもできる。顔解析部231は、撮影画像に映っている被写体である、人の顔の像の形態を解析する。選別部23は、非動き領域内の画像のボケ量に基づいて撮影画像を複数枚選別した場合に顔解析部231を利用し、複数枚選別された撮影画像からの少なくとも1枚以上の撮影画像の更なる選別を、顔解析部231による解析結果に基づいて行う。このようにして、被写体である人の顔の像の形態に基づいた更なる選別を画像選別装置1自らが行うようにしてもよい。
次に、CPU20が提供する各種機能について、更に詳しく説明する。
まず図4について説明する。図4は、画像選別制御処理の第一の例の処理内容を図解したフローチャートである。
まず図4について説明する。図4は、画像選別制御処理の第一の例の処理内容を図解したフローチャートである。
画像選別制御処理は、画像選別装置1が画像選別機能を提供する際にCPU20により行われる処理である。CPU20は、前述した画像選別制御プログラムを実行することによって、この処理を行えるようになる。
図4において、まず、S101では画像取得処理が行われる。この処理は、被写体を連続して撮影して得られる複数枚の撮影画像を、A/D変換部13を介して撮像素子12から取得して、メモリ32に格納する処理である。CPU20は、この処理を行うことで、画像取得部21としての機能を提供する。
次に、S102において動体/非動体判別処理が行われる。この処理は、S101の画像取得処理によりメモリ32に格納した複数枚の撮影画像のうちの時系列で連続している2枚の撮影画像に基づいて、その撮影画像の画像領域を、動体が映っている動き領域と、非動体が映っている非動き領域とに判別する処理である。なお、この処理の詳細は後述する。CPU20は、この処理を行うことで領域分割部22としての機能を提供する。
次に、S103において非動体ボケ量算出処理が行われる。この処理は、S102の動体/非動体判別処理により判別された非動き領域の画像のボケ量を算出する処理である。そして、続くS104の判定処理において、算出された非動き領域の画像のボケ量が、S101の画像取得処理で取得された撮影画像から既に算出した非動き領域の画像のボケ量のうちで最小であるか否かを判定する処理が行われる。ここで、算出された非動き領域の画像のボケ量が、既に算出済のもののうちで最小であると判定したとき(判定結果がYesのとき)には、S105に処理を進める。一方、最小ではないと判定したとき(判定結果がNoのとき)には、S106に処理を進める。なお、非動き領域の画像のボケ量の算出手法の詳細については後述する。
次に、S105において、ボケ量が最小であると判定された非動き領域の画像を含んでいた撮影画像iを、画質最良の画像として選別する処理が行われ、その後はS106に処理を進める。
CPU20は、以上のS103からS105の処理を行うことで、非動き領域内の画像のボケ量に基づいた撮影画像の選別を行う選別部23としての機能を提供する。
次に、S106において、S101の画像取得処理で取得された全ての撮影画像について、S103の非動体ボケ量判定処理を行ったか否かを判定する処理が行われる。ここで、全ての撮影画像について非動体ボケ量判定処理を行ったと判定したとき(判定結果がYesのとき)には、この画像選別制御処理を終了する。一方、非動体ボケ量判定処理を未だ行っていない撮影画像が残っていると判定したとき(判定結果がNoのとき)には、S102へ処理を戻し、残りの撮影画像に対してS102以降の処理が改めて施される。
次に、S106において、S101の画像取得処理で取得された全ての撮影画像について、S103の非動体ボケ量判定処理を行ったか否かを判定する処理が行われる。ここで、全ての撮影画像について非動体ボケ量判定処理を行ったと判定したとき(判定結果がYesのとき)には、この画像選別制御処理を終了する。一方、非動体ボケ量判定処理を未だ行っていない撮影画像が残っていると判定したとき(判定結果がNoのとき)には、S102へ処理を戻し、残りの撮影画像に対してS102以降の処理が改めて施される。
次に、図4のS102の処理である、動体/非動体判別処理の詳細について、図5及び図6を参照しながら説明する。図5は、動体/非動体判別処理の処理内容を図解したフローチャートであり、図6は、動体/非動体判別処理を構成する各処理を施す前後の画像を描いた模式図である。
図5において、まず、S111では隣接画像ズレ幅取得処理が行われる。この処理は、メモリ32に格納されている撮影画像のうちから時系列で連続している2枚の撮影画像(隣接画像)を読み出し、読み出した隣接画像の画像フレーム間の位置ズレ量を得るための処理である。
なお、隣接画像の画像フレーム間の位置ズレ量は、例えば次のようにして行う。すなわち、一方の隣接画像から抽出した特徴領域に対応する領域を類似性の評価結果に基づき他方の隣接画像から特定し(特徴領域の追跡)、当該特徴領域の移動量を算出する。そして、この移動量の算出を、撮影画像から抽出した複数の特徴領域について行い、得られた移動量の例えば平均を、隣接画像の画像フレーム間の位置ズレ量とする。なお、特徴領域の抽出及び追跡に、前述したKLTトラッカーを利用してもよい。
次に、S112において画像位置合わせ処理が行われる。この処理では、メモリ32から読み出した隣接画像の一方の画像フレームを、S111の隣接画像ズレ幅取得処理で得られた位置ズレ量に基づいて移動させて、2枚の隣接画像の位置合わせをする処理である。
CPU20は、以上のS111及びS112の処理を行うことで、位置合わせ部221としての機能を提供する。
CPU20は、以上のS111及びS112の処理を行うことで、位置合わせ部221としての機能を提供する。
次に、S113において、画像差分計算及びマスク作成処理が行われる。この処理は、位置合わせされた隣接画像に基づいて隣接画像内の動き領域を抽出し、当該動き領域がマスクされているマスク画像を作成する処理である。
なお、動き領域の抽出は、例えば次のようにして行われる。すなわち、まず、位置合わせ後の隣接画像において画像フレーム内で同一位置である一対の注目画素についての画素値の差を、当該画像フレーム内の全ての画素について各々求める。そして、求めた差の絶対値が所定の閾値以上である注目画素の集合により構成される画像領域を、動き領域として抽出する。ここで、この所定の閾値を、注目画素毎に個別の値を用いるようにする、例えば、注目画素の画素値と当該注目画素に同一画像内で隣接する画素の画素値との差に基づいて設定するようにしてもよい。
次に、S114において、非動体画像出力処理が行われる。この処理は、位置合わせ後の隣接画像にマスク画像を重畳して、動き領域内の画素の画素値を「0」とした、非動き領域の画像を得る処理である。このS114の処理が完了すると、図5の動体/非動体判別処理が終了する。
次に、図4のS103の処理である、非動体ボケ量算出処理について、図7を参照しながら説明する。図7は、ボケ量算出処理の処理内容を図解したフローチャートである。
図7において、まず、S121ではスムーズ画像生成処理が行われる。この処理は、前述した動体/非動体判別処理により得られた、ボケ量算出の対象である非動き領域の画像に対してスムージング(平滑化)を施す処理である。なお、スムージング処理は、例えば、広く知られている、平均化フィルタを利用して注目画素を中心とする所定領域内の画素値の平均値を求めて当該注目画素の画素値とする処理を、当該非動き領域の画像を構成する全ての画素に対して行う処理でよい。もちろん、その他の処理でスムージング処理を実現してもよい。この処理により生成される画像(スムーズ画像)は、画像内での濃淡変化が滑らかなものとなり、処理前の非動き領域の画像をボケさせた画像となる。
図7において、まず、S121ではスムーズ画像生成処理が行われる。この処理は、前述した動体/非動体判別処理により得られた、ボケ量算出の対象である非動き領域の画像に対してスムージング(平滑化)を施す処理である。なお、スムージング処理は、例えば、広く知られている、平均化フィルタを利用して注目画素を中心とする所定領域内の画素値の平均値を求めて当該注目画素の画素値とする処理を、当該非動き領域の画像を構成する全ての画素に対して行う処理でよい。もちろん、その他の処理でスムージング処理を実現してもよい。この処理により生成される画像(スムーズ画像)は、画像内での濃淡変化が滑らかなものとなり、処理前の非動き領域の画像をボケさせた画像となる。
次に、S122において、S121のスムーズ画像作成処理により得られたスムーズ画像と、当該処理を施す前の非動き領域の画像との差分(両画像の画素毎の画素値の差の絶対値)を当該画素の画素値として、差分画像を生成する処理が行われる。
次に、S123において、S122の処理で得られた差分画像を構成する各画素の画素値の総和を算出し、算出された総和を、対象である非動き領域の画像のボケ量の少なさを示す値として出力する処理が行われ、その後はこの図7の処理が終了する。
スムーズ画像と非動き領域の画像とにおいて、両画像の差分が小さいほど両画像の差異は少なく、両画像の差分が大きいほど両画像の差異は大きい。ここで、前述したように、スムーズ画像は非動き領域の画像をボケさせた画像であるので、両画像の差分が小さいほど非動き領域の画像のボケ量が大きく、両画像の差分が大きいほど非動き領域の画像のボケ量が少ないといえる。そこで、図7のボケ量算出処理では、差分画像を構成する各画素の画素値の総和を、非動き領域の画像のボケ量の少なさを示す値として算出している。従って、図4の画像選別制御処理では、図7の処理で得られる、差分画像を構成する各画素の画素値の総和が最大である非動き領域の画像の抽出元である撮影画像が、画質最良の画像として選別されることになる。
以上までに説明した図4、図5、及び図7の各処理をCPU20が行うことにより、図1の画像選別装置で、連写撮影により得られた複数の画像から画質の良好な画像を選別することを可能にする。画像選別装置1は、選別された画像を、画像選別装置に接続されている出力部に出力しても良い。例えば、撮影を行ったユーザに撮影内容を確認させるために、出力部の一例であるディスプレイへ選別された画像を表示することが考えられる。また例えば、メモリ32もしくは外部記録I/F34を介して外部メモリ50へ選別された画像を格納することが考えられる。
なお、図4の画像選別制御処理において、非動き領域の画像のボケ量が同一と判定されることで、画質最良の画像として複数枚の画像が選別される場合がある。この場合に、選別された複数枚の撮影画像からの画質最良の画像の更なる選別を選別部23が更に行うようにしてもよい。
ここで図8について説明する。図8は、画像二次選別制御処理の処理内容を図解したフローチャートである。この処理は、図4の画像選別制御処理によって選別された撮影画像が複数枚あった場合に、CPU20により行われる処理である。この処理では、非動き領域内の画像のボケ量に基づき選別された複数枚の撮影画像からの撮影画像の更なる選別を、当該撮影画像における動き領域内の画像のボケ量に基づいて行う。
図8において、まず、S131では、動体ボケ量算出処理が行われる。この処理は、図4のS102の動体/非動体判別処理により判別された動き領域の画像のボケ量を、非動き領域の画像のボケ量が同一と判定された各撮影画像について算出する処理である。そして、続くS132の判定処理において、算出された動き領域の画像のボケ量が、非動き領域の画像のボケ量が同一と判定された各撮影画像について既に算出した動き領域の画像のボケ量のうちで最小であるか否かを判定する処理が行われる。ここで、算出された動き領域の画像のボケ量が、既に算出済のもののうちで最小であると判定したとき(判定結果がYesのとき)には、S133に処理を進める。一方、最小ではないと判定したとき(判定結果がNoのとき)には、S134に処理を進める。
なお、動き領域の画像のボケ量の算出は、非動き領域の画像のボケ量の算出と同様に行うことができる。すなわち、図7に図解したボケ量算出処理の処理対象を、非動き領域の画像に代えて、動き領域の画像とすればよい。
次に、S133において、ボケ量が最小であると判定された動き領域の画像を含んでいた撮影画像jを、画質最良の画像として選別する処理が行われ、その後はS134に処理を進める。
次に、S134において、非動き領域の画像のボケ量が同一と判定された全ての撮影画像について、S131の動体ボケ量判定処理を行ったか否かを判定する処理が行われる。ここで、上述の全ての撮影画像について動体ボケ量判定処理を行ったと判定したとき(判定結果がYesのとき)には、この画像二次選別制御処理を終了する。一方、動体ボケ量判定処理を未だ行っていない撮影画像が残っていると判定したとき(判定結果がNoのとき)には、S131へ処理を戻し、残りの撮影画像に対してS131以降の処理が改めて施される。
以上の画像二次選別制御処理をCPU20が行うことで、図1の画像選別装置で、非動き領域内の画像のボケ量に基づき選別された複数枚の撮影画像からの撮影画像の更なる選別が、当該撮影画像における動き領域内の画像のボケ量に基づいて行えるようになる。
また、図4の画像選別制御処理では、S101の画像取得処理により撮像素子12から取得した撮影画像全体を対象として、画像領域の動き領域と非動き領域とへの領域分割や、非動き領域のボケ量の算出を行うようにしていた。この代わりに、撮影画像における所定の部分領域を動き領域と非動き領域とへ領域分割し、当該非動き領域について行ったボケ量の算出結果に基づいて撮影画像の選別を行うようにしてもよい。
部分領域の設定例を図9A及び図9Bに示す。図9Aは、互いに隣接しない複数の小領域を部分領域として撮影画像上に設定した場合の例である。また、図9Bは、撮影画像において左右に対向する画像フレーム端に届く帯状の領域を部分領域として当該撮影画像上に設定した場合の例である。
後のボケ量算出の対象を撮影画像における非動き領域としているため、部分領域は、撮影画像における非動き領域部分を捉えるように撮影画像上に設定する必要がある。図9Aの例では、多数の小領域が、撮影画像全体に亘って散らしたように設定されており、非動き領域(背景が映っている領域)を高い確率で部分領域内に捉えることができる。また、図9Bのように、撮影画像において左右(若しくは上下)に対向する画像フレーム端に届く帯状の領域を部分領域として設定した場合にも、非動き領域を高い確率で部分領域内に捉えることができる。
撮影画像における部分領域の画像をメモリ32で保持するために必要となる記憶容量は、撮影画像全体の保持に必要となる記憶容量よりも少なくて済むことは明らかである。従って、図9Aや図9Bのように部分領域の設定を行うことで、メモリ32の記憶容量が節約される。また、このような部分領域を対象として領域分割やボケ量の算出を行うために必要となるCPU20の処理量も、撮影画像全体を対象とする場合よりも少なくなることは明らかである。
ここで図10について説明する。図10は、図4の画像選別制御処理の第一の例の第一変形例を図解したフローチャートである。
図10に図解したS141から142までの処理は、図4の処理におけるS102の処理の代わりにCPU20により行われる。
図10に図解したS141から142までの処理は、図4の処理におけるS102の処理の代わりにCPU20により行われる。
図4のS101の画像取得処理によって撮像素子12から撮影画像が取得されると、この撮影画像がメモリ32に格納される前に、S141において部分領域取得処理が行われる。この処理は、撮像素子12から取得された撮影画像から、位置及びサイズが予め設定されている部分領域内の画像(部分領域画像)を抽出して取得し、取得した部分領域画像をメモリ32に格納する処理である。
次に、S142において動体/非動体領域判別処理が行われる。この処理は、S141の縮小画像作成処理によりメモリ32に格納した部分領域画像のうちの時系列で連続している2枚の部分領域画像に基づいて、その部分領域画像の画像領域を動き領域と非動き領域とに判別する処理である。なお、この処理は、図5に図解した動体/非動体判別処理と同様の処理を、部分領域画像を対象として行うようにすればよい。このように、画像領域の動き領域と非動き領域とへの判別の処理を、撮影画像全体ではなく部分領域画像に対して施すようにすることで、CPU20における当該判別のための処理負担が軽減し、結果として処理の高速化も期待できる。
図10に図解されている以上の処理を終えた後は、図4のS103以降の処理が行われる。
図10に図解されている以上の処理を終えた後は、図4のS103以降の処理が行われる。
以上の図10の処理をCPU20が行うことで、撮影画像から取得された部分領域画像の画像領域が動き領域と非動き領域とに判別され、当該撮影画像の選別が、当該部分領域画像における非動き領域内の画像のボケ量に基づき行われるようになる。
また、図4の画像選別制御処理では、S101の画像取得処理により撮像素子12から取得した撮影画像をそのままのサイズで用いて、画像領域の動き領域と非動き領域とへの判別(領域分割)を行うようにしていた。この代わりに、撮像素子12から取得した撮影画像の縮小画像を作成し、この縮小画像の画像領域を動き領域と非動き領域とに判別し、撮影画像の選別を、縮小画像における非動き領域に対応する撮影画像の領域内の画像のボケ量に基づいて行うようにしてもよい。
ここで図11について説明する。図11は、図4の画像選別制御処理の第一の例の第二変形例を図解したフローチャートである。
図11に図解したS151から155までの処理は、図4の処理におけるS102及びS103の処理の代わりにCPU20により行われる。
図11に図解したS151から155までの処理は、図4の処理におけるS102及びS103の処理の代わりにCPU20により行われる。
図4のS101の画像取得処理によって撮像素子12から撮影画像が取得されると、この撮影画像がメモリ32に格納される前に、S151において縮小画像作成処理が行われる。この処理は、撮像素子12から取得された撮影画像に対し、縦横同率でサイズの縮小処理を施して縮小画像を作成し、作成された縮小画像をメモリ32に格納する処理である。CPU20は、この処理を行うことで、縮小画像作成部211としての機能を提供する。
次に、S152において原画像圧縮・退避処理が行われる。この処理は、S151の縮小画像作成処理で縮小画像を作成した元の撮影画像(原画像)を圧縮・伸張処理部31に転送して圧縮処理を行わせ、得られた圧縮画像データを外部記録I/F34に転送して外部メモリ50に格納する処理である。このようにして、メモリ32ではなく外部メモリ50で原画像を保持させるようにすることで、メモリ32に用意しておく容量を減らすことができる。
次に、S153において動体/非動体領域判別処理が行われる。この処理は、S151の縮小画像作成処理によりメモリ32に格納した縮小画像のうちの時系列で連続している2枚の縮小画像に基づいて、その縮小画像の画像領域を動き領域と非動き領域とに判別する処理である。なお、この処理は、図5に図解した動体/非動体判別処理と同様の処理を、縮小画像を対象として行うようにすればよい。このように、画像領域の動き領域と非動き領域とへの判別の処理を、原画像ではなく縮小画像に対して施すようにすることで、CPU20における当該判別のための処理負担が軽減し、結果として処理の高速化も期待できる。
次に、S154において原画像読込・伸張処理が行われる。この処理は、まず、S153の動体/非動体領域判別処理で画像領域の判別を行った縮小画像についての原画像の圧縮画像データを外部メモリ50から外部記録I/F34を介して読み出して圧縮・伸張処理部31に転送して伸張処理を行わせる。そして、この伸張処理により得られた撮影画像において、縮小画像における動き領域及び非動き領域にそれぞれ対応する画像領域を、当該撮影画像における動き領域及び非動き領域とする。
次に、S155において非動体ボケ量算出処理が行われる。この処理は、S154の原画像読込・伸張処理により領域分割された原画像における非動き領域の画像のボケ量を算出する処理である。この処理は、この処理は、図7に図解したものと同様の処理を行うようにすればよい。このようにして、ボケ量の算出対象については原画像とすることで、縮小画像を算出対象とすることで生じるボケ量の精度低下を抑制することができる。
図11に図解されている以上の処理を終えた後は、図4のS104以降の処理が行われる。
図11に図解されている以上の処理を終えた後は、図4のS104以降の処理が行われる。
以上の図11の処理をCPU20が行うことで、撮影画像から作成された縮小画像の画像領域が動き領域と非動き領域とに判別され、当該撮影画像の選別が、当該縮小画像における非動き領域に対応する撮影画像の領域内の画像のボケ量に基づき行われるようになる。
なお、この図11の処理を、前述した図10の処理と組み合わせて撮影画像の選別を行うようにすることも可能である。次に、この両者の処理を組み合わせると共に、更に、図8の画像二次選別制御処理も組み合わせた画像選別制御処理について、図12を参照しながら説明する。
図12は、画像選別制御処理の第二の例の処理内容を図解したフローチャートである。CPU20は、前述した画像選別制御プログラムを実行することによって、この処理を行えるようになる。
図12において、まず、S201で画像取得処理が行われる。この処理は、被写体を連続して撮影して得られたN枚(複数枚)の撮影画像を、A/D変換部13を介して撮像素子12から取得する処理である。
次に、S202において縮小画像作成処理が行われる。この処理は、撮像素子12から取得したN枚の撮影画像のうち時系列で連続している2枚の撮影画像i及びi+1に対し、縦横同率でサイズの縮小処理を施して縮小画像i及びi+1を作成し、作成された縮小画像i及びi+1をメモリ32に格納する処理である。
次に、S203において原画像圧縮・退避処理が行われる。この処理は、縮小画像iを作成した元の撮影画像(原画像)iを圧縮・伸張処理部31に転送して圧縮処理を行わせ、得られた圧縮画像データを外部記録I/F34に転送して外部メモリ50に格納する処理である。このようにして、メモリ32ではなく外部メモリ50で原画像を保持させるようにすることで、メモリ32に用意しておく容量を減らすことができる。
次に、S204において、縮小画像iと縮小画像i+1との位置合わせ処理が行われる。この処理では、図5の動体/非動体判別処理におけるS111の隣接画像ズレ幅取得処理とS112の画像位置合わせ処理とが、縮小画像i及びi+1に対して行われる。
次に、S205において、差分算出処理が行われる。この処理では、まず、図5の動体/非動体判別処理におけるS113の処理のうちの画像差分計算及びマスク作成処理が、縮小画像i及びi+1に対して行われて、縮小画像iについての前述したマスク画像が作成される。そして、作成されたマスク画像を縮小画像iに重畳して、非動き領域の縮小画像iを得る。
次に、S206においてボケ判定領域計算処理が行われる。この処理では、まず、縮小画像に対する位置及びサイズが予め設定されている部分領域に含まれる領域(ボケ量算出の対象領域)を、非動き領域の縮小画像iから抽出する。そして、抽出された、非動き領域であり且つ部分領域である領域に対応する領域(「対応領域」と称することとする)についての、撮影画像i上での位置及びサイズを、原画像に対する縮小画像の縮小率に基づき算出する。
ここで図13について説明する。図13は、上述した、縮小画像におけるボケ量算出の対象領域と、撮影画像における対応領域との関係を模式的に図解したものである。S206の処理では、縮小画像おける対象領域から、撮影画像における対応領域の撮影画像上での位置及びサイズを算出する。
なお、S205及びS206の処理により、縮小画像iにおける動き領域であり且つ部分領域である領域に対応する領域についての、撮影画像i上での位置及びサイズについても、同様にして算出しておくようにする。
次に、S207において原画像読込・伸張処理が行われる。この処理では、まず、縮小画像iについての原画像である撮影画像iの圧縮画像データを外部メモリ50から外部記録I/F34を介して読み出して圧縮・伸張処理部31に転送して伸張処理を行わせる。そして、S206のボケ判定領域計算処理で位置及びサイズを得た、非動き領域であり且つ部分領域である領域に対応する領域の画像(ボケ量算出の対象画像)を、伸張処理により得られた撮影画像iから取得する。
次に、S208においてスムーズ画像生成処理が行われる。この処理は、S207の処理で撮影画像iから取得した、ボケ量算出の対象画像に対してスムージング(平滑化)を施してスムーズ画像を生成する処理であり、図7のボケ量算出処理におけるS121の処理と同様の処理である。
次に、S209において、作成されたスムーズ画像とボケ量算出の対象画像との差分画像を生成し、その差分画像を構成する各画素の画素値の総和を、当該対象画像のボケ量の少なさを示す値として算出する処理が行われる。この処理は、図7のボケ量算出処理におけるS122及びS123の処理と同様の処理である。つまり、このS121からS123までの処理により、図4におけるS103の非動体ボケ量算出処理と同様の処理が行われる。
次に、S210において、S209の処理で算出された、撮影画像iから取得した対象画像のボケ量が、S201の画像取得処理で取得された各撮影画像から取得した対象画像のうちで最小であるか否かを判定する処理が行われる。この判定処理は、S209の処理で算出された、撮影画像iから取得した対象画像についての前述した総和が、S201の画像取得処理で取得された各撮影画像から取得した対象画像のうちで最大であるか否かを判定することによって行われる。ここで、算出されたボケ量が、既に算出済のもののうちで最小であると判定したとき(判定結果がYesのとき)には、S211に処理を進める。一方、最小ではないと判定したとき(判定結果がNoのとき)には、S212に処理を進める。
次に、S211において、ボケ量が最小であると判定された対象画像を含んでいた撮影画像iを、画質最良の画像として選別する処理が行われ、その後はS212に処理を進める。
次に、S212において、S201の画像取得処理で取得された全ての撮影画像について、S210の判定処理を行ったか否かを判定する処理が行われる。ここで、全ての撮影画像について当該判定処理を行ったと判定したとき(判定結果がYesのとき)には、S213に処理を進める。一方、当該判定処理を未だ行っていない撮影画像が残っていると判定したとき(判定結果がNoのとき)には、S202へ処理を戻し、残りの撮影画像に対してS202以降の処理が改めて施される。
次に、S213において、前述したS211の処理が複数回実行されて、画質最良の画像として選別された撮影画像が複数枚存在するか否かを判定する処理が行われる。ここで、選別された撮影画像が複数枚存在すると判定したとき(判定結果がYesのとき)にはS214に処理を進め、選別された撮影画像が複数枚は存在しないと判定したとき(判定結果がNoのとき)にはS217に処理を進める。
これより説明するS214からS216までの処理は、S211の処理により選別された複数枚の撮影画像から、画質最良の画像を更に選別する処理である。なお、ここでは、図8の画像二次選別制御処理と同様の選別を、縮小画像における動き領域であり且つ部分領域である領域に対応する撮影画像の領域のボケ量に基づいて行うものである。
まず、S214において原画像読込・伸張処理が行われる。この処理では、まず、前述したS211の処理で選別された撮影画像各々の圧縮画像データを外部メモリ50から外部記録I/F34を介して読み出して圧縮・伸張処理部31に転送して伸張処理を行わせる。そして、S206のボケ判定領域計算処理で位置及びサイズを得た、動き領域であり且つ部分領域である領域に対応する領域の画像(ボケ量算出の対象画像)を、伸張処理により得られた撮影画像から取得する。
次に、S215においてスムーズ画像生成処理が行われる。この処理は、S214の処理で撮影画像iから取得した、ボケ量算出の対象画像に対してスムージング(平滑化)を施してスムーズ画像を生成する処理であり、図7のボケ量算出処理におけるS121の処理と同様の処理である。
次に、S216において、まず、作成されたスムーズ画像とボケ量算出の対象画像との差分画像を生成し、その差分画像を構成する各画素の画素値の総和を、当該対象画像のボケ量の少なさを示す値として算出する処理が行われる。そして、当該対象画像のボケ量が、S211の処理により選別された複数枚の撮影画像から取得した対象画像のうちで最小であるもの(すなわち、上述した総和が最大であるもの)を、最良画像として選別する処理が行われる。
次に、S217において、最良画像として選別されたもの以外の撮影画像の圧縮画像データを外部メモリ50から消去する処理が行われ、その後は、この図12の処理が終了する。なお、この処理により圧縮画像データが外部メモリ50に残される画像は、S213の判定処理がYesであった場合にはS216の処理により選別されたものであり、S213の判定処理がNoであった場合にはS211の処理により選別されたものである。
以上の図12の処理をCPU20が行うことで、撮影画像から作成された縮小画像の部分領域画像の画像領域が動き領域と非動き領域とに判別され、当該撮影画像の選別を、当該非動き領域に対応する撮影画像の領域内の画像のボケ量に基づき行えるようになる。
なお、図12の処理では、S211の処理により一旦選別された複数枚の撮影画像から画質最良の画像の更なる選別を、縮小画像における動き領域であり且つ部分領域である領域に対応する撮影画像の領域のボケ量に基づいて行っていた。ここで、この更なる選別を、他の基準に基づいて行うようにすることもできる。以下、この、更なる選別の手法について、幾つか説明する。
まず図14について説明する。図14は、図12の画像選別制御処理の第二の例の第一変形例を図解したフローチャートである。
この図14の処理は、一旦選別された撮影画像からの撮影画像の更なる選別を、当該一旦選別された撮影画像の撮影時における撮影順序に基づいて行うものであり、特に、最先の日時に撮影されていた撮影画像を選別するというものである。
この図14の処理は、一旦選別された撮影画像からの撮影画像の更なる選別を、当該一旦選別された撮影画像の撮影時における撮影順序に基づいて行うものであり、特に、最先の日時に撮影されていた撮影画像を選別するというものである。
図14に図解したS221の処理は、図12の処理におけるS214からS216までの処理の代わりにCPU20により行われる。
図12のS213の判定処理において、前述したS211の処理により選別された撮影画像が選別された撮影画像が複数枚存在すると判定したときに、S221の処理が行われる。このS221では、S211の処理で選別された撮影画像各々の圧縮画像データに付されている撮影日時情報が参照され、最先の日時が撮影日時情報に示されていた圧縮画像データに対応する撮影画像を、最良画像として選別する。
図12のS213の判定処理において、前述したS211の処理により選別された撮影画像が選別された撮影画像が複数枚存在すると判定したときに、S221の処理が行われる。このS221では、S211の処理で選別された撮影画像各々の圧縮画像データに付されている撮影日時情報が参照され、最先の日時が撮影日時情報に示されていた圧縮画像データに対応する撮影画像を、最良画像として選別する。
このS221の処理を終えた後は、図12のS217の処理が行われて、最良画像として選別されたもの以外の撮影画像の圧縮画像データを外部メモリ50から消去する処理が行われ、その後は、図12の処理が終了する。
以上の処理をCPU20が行うことにより、一旦選別された撮影画像からの撮影画像の更なる選別が、当該一旦選別された撮影画像の撮影時における撮影順序に基づいて行えるようになる。なお、この処理では、圧縮しておいた画像データを伸張して元の撮影画像に戻す処理を行わずに済むので、装置の処理負担が少ない。
また、一旦選別された撮影画像からの撮影画像の更なる選別を、上述したようにする代わりに、撮影画像に映っている、被写体である人の顔の像の形態の解析結果に基づいて行うようにすることもできる。以下、人の顔の像の形態の解析結果に基づいた撮影画像の更なる選別の手法について、幾つか説明する。
まず図15について説明する。図15は、図12の画像選別制御処理の第二の例の第二変形例を図解したフローチャートである。
この図15の処理は、人の顔の像に表されている瞼(まぶた)の形態を解析し、一旦選別された撮影画像のうちから、瞼が開いていると解析された顔の像を含む撮影画像を選別して、瞼が閉じている顔の像を含む撮影画像を選別から除外するというものである。
この図15の処理は、人の顔の像に表されている瞼(まぶた)の形態を解析し、一旦選別された撮影画像のうちから、瞼が開いていると解析された顔の像を含む撮影画像を選別して、瞼が閉じている顔の像を含む撮影画像を選別から除外するというものである。
図15に図解したS231からS235までの処理は、図12の処理におけるS214からS216までの処理の代わりにCPU20により行われる。
図12のS213の判定処理において、前述したS211の処理により選別された撮影画像が選別された撮影画像が複数枚存在すると判定したときに、S231の処理が行われる。このS231では原画像読込・伸張処理が行われる。この処理では、前述したS211の処理で選別された撮影画像各々の圧縮画像データを外部メモリ50から外部記録I/F34を介して読み出して圧縮・伸張処理部31に転送して伸張処理を行わせて、圧縮前の撮影画像(原画像)を取得する処理が行われる。
図12のS213の判定処理において、前述したS211の処理により選別された撮影画像が選別された撮影画像が複数枚存在すると判定したときに、S231の処理が行われる。このS231では原画像読込・伸張処理が行われる。この処理では、前述したS211の処理で選別された撮影画像各々の圧縮画像データを外部メモリ50から外部記録I/F34を介して読み出して圧縮・伸張処理部31に転送して伸張処理を行わせて、圧縮前の撮影画像(原画像)を取得する処理が行われる。
次に、S232において、得られた原画像から、人の目の像が表されている画像領域を認識し、更に、認識された画像領域に表されている瞼の開口度を算出する処理が行われる。車両の運転者の顔の画像における瞼の開口度を算出する技術は広く知られており、この処理では、例えばこの技術をそのまま利用する。
次に、S233において、算出された瞼の開口度が、前述したS211の処理により選別された各撮影画像について既に算出した瞼の開口度のうちで最大であるか否かを判定する処理が行われる。ここで、算出された瞼の開口度が、既に算出済のもののうちで最大であると判定したとき(判定結果がYesのとき)には、S234に処理を進める。一方、最大ではないと判定したとき(判定結果がNoのとき)には、S235に処理を進める。
次に、S234において、瞼の開口度が最大であると判定された画像領域を含んでいた撮影画像を、画質最良の画像として選別する処理が行われ、その後はS235に処理を進める。
次に、S235において、前述したS211の処理により選別された全ての撮影画像について、S233の判定処理を行ったか否かを判定する処理が行われる。ここで、この判定処理を上述の全ての撮影画像について行ったと判定したとき(判定結果がYesのとき)には、図12のS217の処理が行われて、最良画像として選別されたもの以外の撮影画像の圧縮画像データを外部メモリ50から消去する処理が行われる。そして、その後は、図12の処理が終了する。一方、S233の判定処理を未だ行っていない撮影画像が残っていると判定したとき(判定結果がNoのとき)には、S231へ処理を戻し、残りの撮影画像に対してS231以降の処理が改めて施される。
以上の処理をCPU20が行うことにより、人の顔の像に表されている瞼の形態の解析が行われ、一旦選別された撮影画像からの撮影画像の更なる選別が、当該瞼の開口量の解析結果に基づいて行えるようになる。
次に図16について説明する。図16は、図12の画像選別制御処理の第二の例の第三変形例を図解したフローチャートである。
この図16の処理は、人の顔の像に表されている眼の視線を解析し、一旦選別された撮影画像のうちから、撮影画像を撮影した装置を視線が向いていると解析された顔の像を含む撮影画像を選別するというものである。
この図16の処理は、人の顔の像に表されている眼の視線を解析し、一旦選別された撮影画像のうちから、撮影画像を撮影した装置を視線が向いていると解析された顔の像を含む撮影画像を選別するというものである。
図16に図解したS241からS245までの処理は、図12の処理におけるS214からS216までの処理の代わりにCPU20により行われる。
図12のS213の判定処理において、前述したS211の処理により選別された撮影画像が選別された撮影画像が複数枚存在すると判定したときに、S241の処理が行われる。このS241では原画像読込・伸張処理が行われる。この処理は、図15のS231の処理と同様である。
図12のS213の判定処理において、前述したS211の処理により選別された撮影画像が選別された撮影画像が複数枚存在すると判定したときに、S241の処理が行われる。このS241では原画像読込・伸張処理が行われる。この処理は、図15のS231の処理と同様である。
次に、S242において、得られた原画像から、人の目の像が表されている画像領域を認識し、更に、認識された画像領域に表されている目の視線が正面を向いている度合いを算出する処理が行われる。車両の運転者の顔の画像における目の視線が正面を向いている度合いを算出する技術は広く知られており、この処理では、例えばこの技術をそのまま利用する。
次に、S243において、算出された度合いが、前述したS211の処理により選別された各撮影画像について既に算出した度合いのうちで最大であるか否か(視線が最も正面を向いているか否か)を判定する処理が行われる。ここで、算出された度合いが、既に算出済のもののうちで最大である(視線が最も正面を向いている)と判定したとき(判定結果がYesのとき)には、S244に処理を進める。一方、最大ではないと判定したとき(判定結果がNoのとき)には、S245に処理を進める。
次に、S244において、視線が正面を向いている度合いが最大であると判定された画像領域を含んでいた撮影画像を、画質最良の画像として選別する処理が行われ、その後はS245に処理を進める。
次に、S245において、前述したS211の処理により選別された全ての撮影画像について、S243の判定処理を行ったか否かを判定する処理が行われる。ここで、この判定処理を上述の全ての撮影画像について行ったと判定したとき(判定結果がYesのとき)には、図12のS217の処理が行われて、最良画像として選別されたもの以外の撮影画像の圧縮画像データを外部メモリ50から消去する処理が行われる。そして、その後は、図12の処理が終了する。一方、S243の判定処理を未だ行っていない撮影画像が残っていると判定したとき(判定結果がNoのとき)には、S241へ処理を戻し、残りの撮影画像に対してS241以降の処理が改めて施される。
以上の処理をCPU20が行うことにより、人の顔の像に表されている眼の視線の解析が行われ、一旦選別された撮影画像からの撮影画像の更なる選別が、当該視線の解析結果である、視線が正面を向いている度合いに基づいて行えるようになる。
次に図17について説明する。図17は、図12の画像選別制御処理の第二の例の第四変形例を図解したフローチャートである。
この図17の処理は、人の顔の像に表されている顔の表情を解析して笑顔の程度を算出し、一旦選別された撮影画像のうちから、その笑顔の程度(スマイル度)が最大である顔の像を含む撮影画像を選別するというものである。
この図17の処理は、人の顔の像に表されている顔の表情を解析して笑顔の程度を算出し、一旦選別された撮影画像のうちから、その笑顔の程度(スマイル度)が最大である顔の像を含む撮影画像を選別するというものである。
図17に図解したS251からS255までの処理は、図12の処理におけるS214からS216までの処理の代わりにCPU20により行われる。
図12のS213の判定処理において、前述したS211の処理により選別された撮影画像が選別された撮影画像が複数枚存在すると判定したときに、S251の処理が行われる。このS251では原画像読込・伸張処理が行われる。この処理は、図15のS231の処理と同様である。
図12のS213の判定処理において、前述したS211の処理により選別された撮影画像が選別された撮影画像が複数枚存在すると判定したときに、S251の処理が行われる。このS251では原画像読込・伸張処理が行われる。この処理は、図15のS231の処理と同様である。
次に、S252において、得られた原画像から、人の顔の像が表されている画像領域を認識し、更に、認識された画像領域に表されている顔のスマイル度を算出する処理が行われる。デジタルカメラ等での撮影画像に写っている顔の像の笑顔の程度を算出する技術は広く知られており、この処理では、例えばこの技術をそのまま利用する。
次に、S253において、算出されたスマイル度が、前述したS211の処理により選別された各撮影画像について既に算出したスマイル度のうちで最大であるか否かを判定する処理が行われる。ここで、算出されたスマイル度が、既に算出済のもののうちで最大である(視線が最も正面を向いている)と判定したとき(判定結果がYesのとき)には、S254に処理を進める。一方、最大ではないと判定したとき(判定結果がNoのとき)には、S255に処理を進める。
次に、S254において、スマイル度が最大であると判定された画像領域を含んでいた撮影画像を、画質最良の画像として選別する処理が行われ、その後はS255に処理を進める。
次に、S255において、前述したS211の処理により選別された全ての撮影画像について、S253の判定処理を行ったか否かを判定する処理が行われる。ここで、この判定処理を上述の全ての撮影画像について行ったと判定したとき(判定結果がYesのとき)には、図12のS217の処理が行われて、最良画像として選別されたもの以外の撮影画像の圧縮画像データを外部メモリ50から消去する処理が行われる。そして、その後は、図12の処理が終了する。一方、S253の判定処理を未だ行っていない撮影画像が残っていると判定したとき(判定結果がNoのとき)には、S251へ処理を戻し、残りの撮影画像に対してS251以降の処理が改めて施される。
以上の処理をCPU20が行うことにより、人の顔の像に表されている顔の表情が解析されスマイル度が算出され、一旦選別された撮影画像からの撮影画像の更なる選別が、当該視線の解析結果である、このスマイル度に基づいて行えるようになる。
1 画像選別装置
11 レンズ群
12 撮像素子
13 A/D変換部
14 レンズ駆動部
20 CPU
21 画像取得部
22 領域分割部
23 選別部
31 圧縮・伸張処理部
32 メモリ
33 ユーザ操作部
34 外部記録I/F
40 データバス
50 外部メモリ
100 被写体
200 背景
211 縮小画像作成部
221 位置合わせ部
231 顔解析部
11 レンズ群
12 撮像素子
13 A/D変換部
14 レンズ駆動部
20 CPU
21 画像取得部
22 領域分割部
23 選別部
31 圧縮・伸張処理部
32 メモリ
33 ユーザ操作部
34 外部記録I/F
40 データバス
50 外部メモリ
100 被写体
200 背景
211 縮小画像作成部
221 位置合わせ部
231 顔解析部
Claims (7)
- 被写体を連続して撮影して得られる複数枚の撮影画像を取得する画像取得部、
該複数枚の撮影画像のうちの時系列で連続している2枚の撮影画像に基づいて、該撮影画像の画像領域における所定の部分領域を、該2枚の撮影画像間での位置が所定量以上異なる領域である動き領域と、該動き領域以外の領域である非動き領域とに分割する領域分割部、及び
該複数枚の撮像画像からの少なくとも1枚以上の撮影画像の選別を、該非動き領域内の画像のボケ量に基づいて行う選別部、
を有する画像選別装置。 - 該2枚の撮影画像の位置合わせを行う位置合わせ部を更に有し、
該領域分割部は、該位置あわせ部により位置合わせが行われた2枚の撮影画像において同一位置である一対の画素についての画素値の差に基づいて、該撮影画像の画像領域を該動き領域と該非動き領域とに分割する、
請求項1に記載の画像選別装置。 - 該選別部は、該非動き領域内の画像のボケ量に基づいて該撮影画像を複数枚選別した場合には、該選別された撮影画像からの撮影画像の更なる選別を、該動き領域内の画像のボケ量に基づいて行う請求項1に記載の画像選別装置。
- 該所定の部分領域は、該撮影画像において左右若しくは上下に対向する画像フレーム端に届く帯状の領域である請求項1に記載の画像選別装置。
- 被写体を連続して撮影して得られる複数枚の撮影画像を取得し、
該複数枚の撮影画像のうちの時系列で連続している2枚の撮影画像に基づいて、該撮影画像の画像領域における所定の部分領域を、該2枚の撮影画像間での位置が所定量以上異なる領域である動き領域と、該動き領域以外の領域である非動き領域とに分割し、
該複数枚の撮像画像からの少なくとも1枚以上の撮影画像の選別を、該非動き領域内の画像のボケ量に基づいて行う、
画像選別方法。 - 演算処理装置に実行させることによって、該演算処理装置が、
被写体を連続して撮影して得られる複数枚の撮影画像を取得する画像取得処理、
該複数枚の撮影画像のうちの時系列で連続している2枚の撮影画像に基づいて、該撮影画像の画像領域における所定の部分領域を、該2枚の撮影画像間での位置が所定量以上異なる領域である動き領域と、該動き領域以外の領域である非動き領域とに分割する領域分割処理、及び
該複数枚の撮像画像からの少なくとも1枚以上の撮影画像の選別を、該非動き領域内の画像のボケ量に基づいて行う選別処理、
を行うプログラム。 - 被写体を連続して撮影して得られる複数枚の撮影画像を取得する画像取得部、
該複数枚の撮影画像のうちの時系列で連続している2枚の撮影画像に基づいて、該撮影画像の画像領域における所定の部分領域を、該2枚の撮影画像間での位置が所定量以上異なる領域である動き領域と、該動き領域以外の領域である非動き領域とに分割する領域分割部、
該複数枚の撮像画像からの少なくとも1枚以上の撮影画像の選別を、該非動き領域内の画像のボケ量に基づいて行う選別部、及び
該選別部により選別された画像を出力する出力部、
を有する画像選別装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2009/007038 WO2011074049A1 (ja) | 2009-12-18 | 2009-12-18 | 画像選別装置及び画像選別方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2011074049A1 JPWO2011074049A1 (ja) | 2013-04-25 |
JP5397481B2 true JP5397481B2 (ja) | 2014-01-22 |
Family
ID=44166851
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011545860A Expired - Fee Related JP5397481B2 (ja) | 2009-12-18 | 2009-12-18 | 画像選別装置及び画像選別方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8773548B2 (ja) |
JP (1) | JP5397481B2 (ja) |
WO (1) | WO2011074049A1 (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5495930B2 (ja) * | 2010-05-10 | 2014-05-21 | キヤノン株式会社 | 画像処理装置、方法、およびプログラム |
JP5868053B2 (ja) * | 2011-07-23 | 2016-02-24 | キヤノン株式会社 | 画像処理方法、画像処理装置、およびプログラム |
JPWO2013099021A1 (ja) * | 2011-12-28 | 2015-04-30 | ピタフォー モバイル エルエルシー | 情報処理装置、情報処理方法並びに情報処理用プログラム及び情報記録媒体並びに撮像システム |
WO2013099021A1 (ja) * | 2011-12-28 | 2013-07-04 | SHIROTO Hisanori | 情報処理装置、情報処理方法並びに情報処理用プログラム及び情報記録媒体並びに撮像システム |
JP5983737B2 (ja) * | 2012-04-03 | 2016-09-06 | ソニー株式会社 | 画像処理装置、画像処理装置の制御方法およびプログラム |
JP6191160B2 (ja) * | 2012-07-12 | 2017-09-06 | ノーリツプレシジョン株式会社 | 画像処理プログラムおよび画像処理装置 |
DE102013203433A1 (de) * | 2013-02-28 | 2014-08-28 | Bundesdruckerei Gmbh | Vorrichtung zur Erfassung personenspezifischer Daten |
KR101443031B1 (ko) * | 2013-04-04 | 2014-09-23 | 주식회사 슈프리마 | 얼굴 인식 서비스 제공 방법 |
US9350916B2 (en) | 2013-05-28 | 2016-05-24 | Apple Inc. | Interleaving image processing and image capture operations |
US9262684B2 (en) | 2013-06-06 | 2016-02-16 | Apple Inc. | Methods of image fusion for image stabilization |
US9491360B2 (en) | 2013-06-06 | 2016-11-08 | Apple Inc. | Reference frame selection for still image stabilization |
US9384552B2 (en) | 2013-06-06 | 2016-07-05 | Apple Inc. | Image registration methods for still image stabilization |
US20150071547A1 (en) | 2013-09-09 | 2015-03-12 | Apple Inc. | Automated Selection Of Keeper Images From A Burst Photo Captured Set |
US10096114B1 (en) * | 2013-11-27 | 2018-10-09 | Google Llc | Determining multiple camera positions from multiple videos |
US9591237B2 (en) | 2015-04-10 | 2017-03-07 | Qualcomm Incorporated | Automated generation of panning shots |
US9584716B2 (en) * | 2015-07-01 | 2017-02-28 | Sony Corporation | Method and apparatus for autofocus area selection by detection of moving objects |
JP6701677B2 (ja) * | 2015-11-12 | 2020-05-27 | カシオ計算機株式会社 | 撮像装置、撮像装置の画像評価方法及び撮像装置の画像評価プログラム |
US9990536B2 (en) * | 2016-08-03 | 2018-06-05 | Microsoft Technology Licensing, Llc | Combining images aligned to reference frame |
US10482610B2 (en) * | 2017-11-01 | 2019-11-19 | Adobe Inc. | Detection of partially motion-blurred video frames |
JP2020136898A (ja) * | 2019-02-19 | 2020-08-31 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、電子機器、および撮像方法 |
WO2020256698A1 (en) * | 2019-06-18 | 2020-12-24 | Huawei Technologies Co., Ltd. | Dynamic image resolution assessment |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000209483A (ja) * | 1999-01-18 | 2000-07-28 | Nikon Corp | 画像選別機能を有する電子カメラ、およびプログラムを記録した記録媒体 |
JP2009135561A (ja) * | 2007-01-12 | 2009-06-18 | Sanyo Electric Co Ltd | ぶれ検出装置、ぶれ補正装置及び方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09251342A (ja) | 1996-03-15 | 1997-09-22 | Toshiba Corp | 注視箇所推定装置とその方法及びそれを使用した情報表示装置とその方法 |
US7088865B2 (en) | 1998-11-20 | 2006-08-08 | Nikon Corporation | Image processing apparatus having image selection function, and recording medium having image selection function program |
JP4160205B2 (ja) | 1999-06-18 | 2008-10-01 | オリンパス株式会社 | 電子スチルカメラ |
JP4088819B2 (ja) | 2002-02-08 | 2008-05-21 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP4612806B2 (ja) | 2003-07-18 | 2011-01-12 | キヤノン株式会社 | 画像処理装置、画像処理方法、撮像装置 |
WO2007032082A1 (ja) | 2005-09-16 | 2007-03-22 | Fujitsu Limited | 画像処理方法及び画像処理装置 |
CN101297545B (zh) | 2005-10-28 | 2012-05-02 | 株式会社尼康 | 摄影装置、图像处理装置 |
US20080170124A1 (en) | 2007-01-12 | 2008-07-17 | Sanyo Electric Co., Ltd. | Apparatus and method for blur detection, and apparatus and method for blur correction |
JP4914398B2 (ja) | 2008-04-09 | 2012-04-11 | キヤノン株式会社 | 表情認識装置、撮像装置、方法及びプログラム |
US8179466B2 (en) * | 2009-03-11 | 2012-05-15 | Eastman Kodak Company | Capture of video with motion-speed determination and variable capture rate |
-
2009
- 2009-12-18 WO PCT/JP2009/007038 patent/WO2011074049A1/ja active Application Filing
- 2009-12-18 JP JP2011545860A patent/JP5397481B2/ja not_active Expired - Fee Related
-
2012
- 2012-06-11 US US13/493,152 patent/US8773548B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000209483A (ja) * | 1999-01-18 | 2000-07-28 | Nikon Corp | 画像選別機能を有する電子カメラ、およびプログラムを記録した記録媒体 |
JP2009135561A (ja) * | 2007-01-12 | 2009-06-18 | Sanyo Electric Co Ltd | ぶれ検出装置、ぶれ補正装置及び方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2011074049A1 (ja) | 2011-06-23 |
US20120249826A1 (en) | 2012-10-04 |
JPWO2011074049A1 (ja) | 2013-04-25 |
US8773548B2 (en) | 2014-07-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5397481B2 (ja) | 画像選別装置及び画像選別方法 | |
US8861806B2 (en) | Real-time face tracking with reference images | |
US8805112B2 (en) | Image sharpness classification system | |
JP4772839B2 (ja) | 画像識別方法および撮像装置 | |
US9607240B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, image capturing method, and non-transitory computer-readable medium for focus bracketing | |
US9251589B2 (en) | Depth measurement apparatus, image pickup apparatus, and depth measurement program | |
US8144207B2 (en) | Computer program product for photographic subject tracking, photographic subject tracking device, and camera | |
US9563967B2 (en) | Photographic subject tracking device and camera | |
JP5803467B2 (ja) | 画像処理装置および撮像装置、ならびに画像処理方法 | |
JP5699432B2 (ja) | 画像処理装置 | |
CN110796041B (zh) | 主体识别方法和装置、电子设备、计算机可读存储介质 | |
JP2009123081A (ja) | 顔検出方法及び撮影装置 | |
JP2010279054A (ja) | 撮像装置、画像処理装置、撮像方法、及び画像処理方法 | |
US20130293741A1 (en) | Image processing apparatus, image capturing apparatus, and storage medium storing image processing program | |
JP2011071925A (ja) | 移動体追尾装置および方法 | |
JP2010200270A (ja) | 画像処理装置、カメラおよびプログラム | |
JP5278307B2 (ja) | 画像処理装置及び方法、並びにプログラム | |
JP2006332743A (ja) | 電子カメラおよび画像処理プログラム | |
JP6120632B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP6556033B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6776532B2 (ja) | 画像処理装置、撮像装置、電子機器及び画像処理プログラム | |
JP5631181B2 (ja) | 画像処理装置及びその制御方法、及びプログラム | |
JP5853369B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5445127B2 (ja) | 画像処理装置及び方法、並びにプログラム | |
JP6314281B1 (ja) | 画像処理方法及び前景領域取得方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130702 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130829 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130924 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131007 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |