WO2013031241A1 - 電子カメラ、画像処理装置、および画像処理プログラム - Google Patents

電子カメラ、画像処理装置、および画像処理プログラム Download PDF

Info

Publication number
WO2013031241A1
WO2013031241A1 PCT/JP2012/005543 JP2012005543W WO2013031241A1 WO 2013031241 A1 WO2013031241 A1 WO 2013031241A1 JP 2012005543 W JP2012005543 W JP 2012005543W WO 2013031241 A1 WO2013031241 A1 WO 2013031241A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
images
recognition
evaluation
image
Prior art date
Application number
PCT/JP2012/005543
Other languages
English (en)
French (fr)
Inventor
佑子 中田
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to CN201280042306.2A priority Critical patent/CN103797786B/zh
Priority to US14/238,659 priority patent/US9792677B2/en
Publication of WO2013031241A1 publication Critical patent/WO2013031241A1/ja
Priority to US15/715,745 priority patent/US10489898B2/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00005Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for relating to image data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00326Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus
    • H04N1/00328Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an apparatus processing optically-read information
    • H04N1/00336Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an apparatus processing optically-read information with an apparatus performing pattern recognition, e.g. of a face or a geographic feature
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/215Recording a sequence of still pictures, e.g. burst mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00026Methods therefor
    • H04N1/00068Calculating or estimating
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0084Digital still camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/21Intermediate information storage
    • H04N2201/218Deletion of stored data; Preventing such deletion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/782Television signal recording using magnetic recording on tape
    • H04N5/783Adaptations for reproducing at a rate different from the recording rate

Abstract

【課題】 複数の画像の再生順を、被写体の特性に応じた最適なものとすること。 【解決手段】 被写体を撮像して、複数の画像を生成する撮像部と、撮像部により生成した複数の画像について、評価を行う評価部と、評価部による評価結果に基づいて、撮像部により生成した複数の画像のうち、一部の画像を選択する選択部と、選択部により選択された複数の画像について、シーン認識を行う認識部と、認識部による認識結果に基づいて、シーン認識が行われた複数の画像の再生順を決定する決定部とを備える。

Description

電子カメラ、画像処理装置、および画像処理プログラム
 本発明は、電子カメラ、画像処理装置、および画像処理プログラムに関する。
 従来より、複数の画像を生成して記録媒体に記録した後に、露出、コントラスト、ボケなどの観点から画像の評価を行い、評価が所定の基準より低い画像を、上述した記録媒体から削除する技術が知られている(例えば、特許文献1参照)。
 特許文献1の発明では、露出条件評価、コントラスト評価、ボケ、焦点ボケの評価などにより画像評価処理を実行している。そして、画像評価の結果、記録媒体から削除されなかった画像には、通常、時系列に連番の名称が付与される。
特開2006-50494号公報
 ところで、上述した画像評価の結果、記録媒体から削除されなかった画像は、通常、複数枚の画像であり、ユーザは、これらの画像を順次再生して、最も好ましい1枚(あるいは数枚)の画像を選択する。記録媒体から削除されなかった画像には、時系列に連番の名称が付与されているため、これらの画像を再生する際には、複数の画像が時系列で再生されることになる。
 しかし、集合写真や記念撮影など、主要被写体に大きな動きがない被写体である場合には、時系列に再生されることに特にメリットはない。そのため、ユーザは、複数の画像を順次画像送りしたり、戻したりして比較を行わなくてはならす、どの画像が最も好ましい画像であるかの判断がすぐにはつかないという問題がある。
 本発明は、上記問題に鑑みてなされたものであり、複数の画像の再生順を、被写体の特性に応じた最適なものとすることを目的とする。
 本発明の電子カメラは、被写体を撮像して、複数の画像を生成する撮像部と、前記撮像部により生成した前記複数の画像について、評価を行う評価部と、前記評価部による評価結果に基づいて、前記撮像部により生成した前記複数の画像のうち、一部の画像を選択する選択部と、前記選択部により選択された複数の画像について、シーン認識を行う認識部と、前記認識部による認識結果に基づいて、前記シーン認識が行われた複数の画像の再生順を決定する決定部とを備える。
 なお、前記決定部により決定した前記再生順に応じて、前記シーン認識が行われた複数の画像のそれぞれの名称を決定する命名部を備えても良い。
 また、前記決定部は、前記認識部による認識結果に基づいて、前記評価部による評価が高い順に前記再生順を決定するか、または、前記撮像部による撮像順に合わせて再生順を決定しても良い。
 また、前記決定部は、前記認識部による認識の結果、主要被写体に連続的な変化があるシーンである場合には、前記撮像部による撮像順に合わせて前記再生順を決定し、前記主要被写体に連続的な変化がない場合には、前記評価部による評価が高い順に前記再生順を決定しても良い。
 また、前記評価部は、前記認識部による認識結果がポートレートのシーンである場合には、背景領域が目立つか否かをさらに評価し、前記決定部は、前記認識部による認識結果が前記ポートレートのシーンである場合には、前記評価部による評価の結果、前記背景領域が目立たない順に前記再生順を決定しても良い。
 また、前記撮像部により生成した前記複数の画像を記録媒体に記録する記録部と、
 前記評価部による評価結果に基づいて、前記記録媒体に記録された複数の画像のうち、前記選択部により選択された一部の画像を削除する削除部とを備え、
 前記認識部は、前記削除部により削除されなかった複数の画像について、前記シーン認識を行っても良い。
 また、前記記録部は、前記決定部により決定した前記再生順を示す情報を、前記削除部により削除されなかった前記複数の画像と関連づけて記録しても良い。
 本発明の画像処理装置は、処理対象の画像として、複数の画像を取得する取得部と、前記取得部により取得した前記複数の画像について、評価を行う評価部と、前記取得部により取得した前記複数の画像について、シーン認識を行う認識部と、前記認識部による認識結果に基づいて、前記シーン認識が行われた複数の画像の再生順を決定する決定部とを備える。
 なお、前取得部により取得した前記複数の画像を記録媒体に記録する記録部と、前記評価部による評価結果に基づいて、前記記録媒体に記録された複数の画像のうち、一部の画像を削除する削除部とを備え、前記取得部は、前記複数の画像として、撮像および生成された複数の画像を取得し、前記認識部は、前記削除部により削除されなかった複数の画像について、前記シーン認識を行っても良い。
 本発明の画像処理プログラムは、処理対象の画像に対する画像処理をコンピュータで実現するための画像処理プログラムであって、前記処理対象の画像として、複数の画像を取得する取得ステップと、前記取得ステップにおいて取得した前記複数の画像について、評価を行う評価ステップと、前記取得ステップにおいて取得した前記複数の画像について、シーン認識を行う認識ステップと、前記認識ステップにおける認識結果に基づいて、前記シーン認識が行われた複数の画像の再生順を決定する決定ステップとを備える。
 本発明によれば、複数の画像の再生順を、被写体の特性に応じた最適なものとすることができる。
一の実施形態における電子カメラの構成例を示すブロック図 一の実施形態における電子カメラの動作を示す流れ図
 図1は、一の実施形態における電子カメラ10の構成例を示すブロック図である。電子カメラ10は、撮像レンズ11と、シャッタ12と、撮像素子13と、AFE14と、画像処理部15と、第1メモリ16と、第2メモリ17と、記録I/F18と、CPU19と、操作部20と、バス21とを備えている。ここで、画像処理部15、第1メモリ16、第2メモリ17、記録I/F18、CPU19は、バス21を介してそれぞれ接続されている。また、シャッタ11、撮像素子13、AFE14、操作部20は、それぞれCPU19と接続されている。
 シャッタ12は、撮影レンズ11と撮像素子13との間に配置されるメカシャッタである。
 撮像素子13は、撮像レンズ11による結像を撮像する撮像デバイスである。一の実施形態の撮像素子13は、例えば、任意の受光素子の画像信号をランダムアクセスで読み出し可能なCMOS型の固体撮像素子で構成される。なお、撮像素子13の出力はAFE14に接続されている。
 AFE14は、撮像素子13の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このAFE14は、相関二重サンプリングや、画像信号のゲインの調整や、画像信号のA/D変換を行う。そして、AFE14の出力は画像処理部15に接続されている。なお、CPU19は、AFE14により画像信号のゲインを調整することで、ISO感度に相当する撮像感度の調整を行う。
 画像処理部15は、AFE14から出力されたデジタルの画像信号に対して各種の画像処理(色補間処理、階調変換処理、ホワイトバランス調整など)を施す。
 第1メモリ16は、画像処理の前工程や後工程で画像のデータを一時的に記憶する。例えば、第1メモリ16は、揮発性の記憶媒体であるSDRAMにより構成される。また、第2メモリ17は、CPU19によって実行されるプログラムや、各画像信号でのSN比と撮像感度の値との対応関係を示すデータテーブルなどを記憶する不揮発性のメモリである。
 記録I/F18は、不揮発性の記憶媒体22を接続するためのコネクタを有している。そして、記録I/F18は、コネクタに接続された記憶媒体22に対して後述の本画像のデータの書き込み/読み込みを実行する。上記の記憶媒体22は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図1では記憶媒体22の一例としてメモリカードを図示する。
 CPU19は、電子カメラ10の動作を統括的に制御するプロセッサである。例えば、CPU19は、被写体の撮影を行うための撮影モードでの動作時において、ユーザの撮像指示入力に応じて撮像素子13を駆動させて、不揮発性の記憶媒体22への記録を伴う本画像の撮像処理を実行する。
 また、撮影モードでのCPU19は、本画像の撮像に先立って公知の自動露出演算を実行し、撮像条件の1パラメータである撮像感度を設定する。また、CPU19は、ユーザの入力に基づいて上記の撮像感度を設定してもよい。
 操作部20は、ユーザの操作を受け付ける複数のスイッチを有している。この操作部20は、例えば、本画像の撮像指示を受け付けるレリーズ釦や、十字状のカーソルキーや、決定釦などで構成される。
 なお、電子カメラ10は、複数の画像を連続して撮像し、生成した複数の画像を一旦記録し、その後に画像評価を行って評価の低い画像を削除する、いわゆるベストショットモードを備える。このモードは、操作部20を介したユーザの操作に基づいて設定されても良いし、CPU19により自動で設定されても良い。なお、ベストショットモードにおいては、ユーザは、操作部20のレリーズ釦を1回操作することにより撮影指示を行う。
 次に、ベストショットモードでの電子カメラ10の動作例を、図2の流れ図を用いて説明する。
 ステップS101において、CPU19は、ユーザによる撮影指示が行われたか否かを判定する。CPU19は、操作部20を介したユーザによる撮影指示が行われるまで待機し、撮影指示が行われるとステップS102に進む。
 ステップS102において、CPU19は、各部を制御して、n枚目の画像を撮影する。なお、初回のステップS102においては、n=1である。なお、以下では、n回目の撮影により生成された画像を、Img[n]と称する。例えば、1回目の撮影により生成された画像は、Img[1]である。
 ステップS103において、CPU19は、ステップS102の撮像により生成したn枚目の画像を記録I/F18を介して記憶媒体22に記録する。なお、CPU19は、記憶媒体22に記録する代わりに、第1メモリ16に記録しても良い。
 ステップS104において、CPU19は、ステップS102からステップS103の処理をN枚分終了したか否かを判定する。CPU19は、N枚分終了していないと判定するとステップS105に進み、N枚分終了したと判定すると、後述するステップS106に進む。なお、Nとは予め定められた撮影枚数(例えばN=20)である。この枚数は、固定のものであっても良いし、CPU19により自動で定められたものであっても良いし、操作部20を介したユーザ操作により定められたものであっても良い。
 ステップS105において、CPU19は、n=n+1として、ステップS102に戻る。すなわち、CPU19は、N回の撮影を繰り返し(ステップS102)、N枚の画像を記録する(ステップS103)。
 ステップS106において、CPU19は、記憶媒体22に記録されたN枚の画像のそれぞれについて、評価値E[n]を算出する。なお、以下では、n枚目の画像について算出された評価値を、評価値E[n]と称する。例えば、1枚目の画像について算出された評価値は、評価値E[1]である。評価値の算出は、例えば、輝度情報、焦点情報、コントラスト情報、エッジ情報などに基づいて、公知技術と同様に行われる。
 ステップS107において、CPU19は、記憶媒体22に記録されたN枚の画像のそれぞれについて、ステップS106で算出した評価値E[n]に基づいて、画像の評価を行う。画像の評価は、例えば、評価値E[n]を点数化するなど、公知技術と同様に行われる。点数化においては、例えば、露出、コントラスト、ボケ、笑顔、目瞑りなどのファクターにより、総合的な評価が行われるのが好ましい。
 ステップS108において、CPU19は、削除する画像を決定する。CPU19は、ステップS107で行った評価に基づき、評価の低い方から所定の枚数(例えば、15枚)の画像を削除する画像として選択する。このような選択を行うことにより、評価の高い画像を選択的に残すことができる。なお、削除する画像の枚数は、固定のものであっても良いし、CPU19により自動で定められたものであっても良いし、操作部20を介したユーザ操作により定められたものであっても良い。なお、削除する画像を決定する際に、評価値E[n]と閾値との比較に基づいて決定を行う際には、選択的に残される画像(削除されない画像)が1枚以上になるように、上述した閾値を調整すると良い。
 ステップS109において、CPU19は、ステップS108で決定した画像を記録媒体22から削除する。
 なお、ステップS103において、撮影により生成した画像を第1メモリ16に記録した場合には、CPU19は、第1メモリから画像を削除し、残りの画像を記録I/F18を介して記憶媒体22に記録する。
 ステップS110において、CPU19は、シーン認識を行う。CPU19は、記憶媒体22に記録された画像(ステップS109において削除されなかった画像)に基づいて、公知技術と同様にシーン認識を行う。例えば、CPU19は、画像の画像情報や、撮影情報(絞り値、シャッタースピード、ISO感度、焦点距離など)を総合的に解析し、主要被写体がどのようなものであるかを認識する。
 このシーン認識は、被写体に動きの軌跡が含まれるか否かを推測するためのものである。例えば、ポートレートや集合写真のようなシーンにおいては、被写体に動きの軌跡は含まれない(含まれにくい)と推測できる。また、例えば、被写体がスポーツを行っている人物や乗り物などのようなシーンにおいては、被写体に動きの軌跡が含まる(含まれやすい)と推測できる。
 ステップS111において、CPU19は、ステップS110で行ったシーン認識の結果に基づいて、「被写体に動きの軌跡が含まれるか否か」を判定する。CPU19は、「被写体に動きの軌跡が含まれる」と判定するとステップS112に進み、「被写体に動きの軌跡が含まれない」と判定すると、後述するステップS113に進む。基本的には、「被写体に動きの軌跡が含まれる」場合には、時系列の再生順が好ましく、「被写体に動きの軌跡が含まれない」場合には、時系列の再生順でなくて良いと考えることができる。
 なお、撮影期間が長い場合で、かつ、記憶媒体22に記録された画像(ステップS109において削除されなかった画像)の数が少ない場合など、「被写体に動きの軌跡が含まれるか否か」を判定できない場合がある。このような場合には、CPU19は、ステップS112およびステップS113のうち、予め定められた方(例えば、ステップS113)に進む構成としても良い。
 ステップS111において、「被写体に動きの軌跡が含まれる」と判定すると、ステップS112において、CPU19は、ステップS102で説明した撮影の撮像順に合わせて、記憶媒体22に記録された画像(ステップS109において削除されなかった画像)の再生順を決定する。
 「被写体に動きの軌跡が含まれる」場合とは、主要被写体がゴルフスイングをしている人物である場合や、走行中の車である場合などである。このような場合には、主要被写体が連続的な動作を行っていたり、主要被写体が連続的に変化している可能性が高いため、再生順は時系列であることが好ましい。したがって、CPU19は、複数の画像の撮影の撮像順に合わせて、再生順を決定する。このように再生順を決定することにより、再生時に、ユーザは、時系列で変化する複数の画像を目視して動きの軌跡を確認することができる。そのため、ユーザは、違和感なく複数の画像を比較することができるとともに、何れの画像が最も好ましい画像であるかの判断を迅速に行うことができる。
 一方、ステップS111において、「被写体に動きの軌跡が含まれない」と判定すると、ステップS113において、CPU19は、ステップS107で説明した評価の結果に基づいて、評価の高い順に、記憶媒体22に記録された画像(ステップS109において削除されなかった画像)の再生順を決定する。
 「被写体に動きの軌跡が含まれない」場合とは、被写体が集合写真や記念撮影の人物である場合や、風景などの場合である。このような場合には、主要被写体自身には大きな動きや変化はないが、笑顔や目瞑りなどのディテールが異なる可能性が高いため、再生順が時系列であることにメリットはない。したがって、CPU19は、評価の高い順に、再生順を決定する。このように再生順を決定することにより、再生時に、ユーザは、評価の高い方から順次複数の画像を目視して比較することができるとともに、何れの画像が最も好ましい画像であるかの判断を迅速に行うことができる。
 特に、被写体がいわゆるポートレートなどである場合には、「背景領域が目立つか否か」も重要なファクターとなる。そこで、顕著性マップなどにより「背景領域が目立つか否か」を評価に加味しても良い。顕著性マップとは、色、輝度、エッジ量、エッジの方向性などに基づき、周囲の領域に対する特異性を示すマップである。このようなマップを用いて評価を行うことにより、背景領域を基準として、画像の評価を行うことができる。なお、「背景領域が目立つか否か」の評価は、ステップS106で説明した評価値E[n]の算出時およびステップS107で説明した評価時にあわせて行っても良いし、ステップS110で説明したシーン認識の結果に基づき、「背景領域が目立つか否か」の評価が効果的であると判断できる場合に行っても良いし、ステップS113において再生順を決定する際に行っても良い。
 また、ステップS113において、評価の高い順に、再生順を決定する際に、ステップS110で説明したシーン認識の結果に基づいて、再生順の決定方法を変えても良い。例えば、集合写真においては、全体的な評価の高い順に再生順を決定し、ポートレートにおいては、「背景領域が目立つか否か」の評価が高い順に再生順を決定しても良い。
 ステップS114において、CPU19は、ステップS112またはステップS113で決定した再生順に応じて、記憶媒体22に記録された各画像(ステップS109において削除されなかった画像)の名称を決定する。通常、画像の生成時には、数字やアルファベットなどの昇順に応じて再生が行われる。そこで、CPU19は、上述した再生順に応じて、各画像の名称を決定する。
 ステップS115において、CPU19は、ステップS114で決定した各画像の名称を記録して、一連の処理を終了する。CPU19は、記憶媒体22に記録された画像(ステップS109において削除されなかった画像)のそれぞれの名称を、ステップS114で決定した名称に変更する。
 なお、一連の処理による複数の画像(ステップS109において削除されなかった複数の画像)をグループ化して記録する場合には、再生順が1番である画像を代表画像(メイン画像)としても良い。
 以上説明したように、本実施形態によれば、被写体を撮像して、複数の画像を生成し、生成した複数の画像について、評価を行う。そして、評価結果に基づいて、撮像部により生成した複数の画像のうち、一部の画像を選択し、選択した複数の画像について、シーン認識を行う。さらに、認識結果に基づいて、シーン認識が行われた複数の画像の再生順を決定する。したがって、複数の画像の再生順を、被写体の特性に応じた最適なものとすることができる。
 特に、本実施形態によれば、シーン認識の結果に基づき、主要被写体に連続的な変化があるか否かを推測し、主要被写体に連続的な変化があるか否かに応じて、再生順を決定することにより、被写体の特性に応じた最適な再生順を決定することができる。そして、上述したように再生順を決定することにより、同じシーンで複数枚記録された画像を再生する際、常に人間の感覚にあった順序で再生を行うことができるので、ユーザは、違和感なく画像を鑑賞することができるとともに、何れの画像が最も好ましい画像であるかの判断を迅速に行うことができる。
 なお、本実施形態では、N枚の画像を撮影(ステップS102)および記録(ステップS103)した後に、評価値E[n]の算出(ステップS106)を行う例を示したが、本発明はこの例に限定されない。例えば、N枚の画像を撮影(ステップS102)した後すぐに、評価値E[n]の算出(ステップS106)を開始しても良い。
 また、本実施形態では、再生順を決定する因子として、評価および撮像順を例に挙げて説明したが、本発明はこの例に限定されない。例えば、電子カメラ10が、予め登録された特定の人物を認証して撮影する機能を有する場合には、個人認証用の登録順に応じて再生順を決定しても良い。上述した機能は、例えば、運動会のかけっこにおけるゴールシーンなどで利用される。例えば、個人認証用の登録順が高い(優先順位が高い)人物の部分の評価がより高い、あるいは、人物がより大きく写っている画像の再生順を早くし、この人物の部分の評価がより低い、あるいは、人物がより小さく写っている画像の再生順を遅くしても良い。なお、このような再生順の決定は、上述された機能が有効になっている場合に常に実行しても良いし、ステップS110で説明したシーン認識の結果を加味して、実行するか否かを判断しても良い。
 また、本実施形態では、ステップS110で説明したシーン認識の結果に応じて、再生順を決定するための規則性を変更する例を示したが、本発明はこの例に限定されない。例えば、ポートレートや風景モードなどの撮影モードが設定された場合に、その撮影モードに応じて、再生順を決定するための規則性を変更する構成としても良い。さらに、ユーザが、所定の条件と再生順を決定するための規則性との関係を予め設定しておき、その条件を満たした場合には、上述した関係に基づいて再生順を決定するための規則性を変更しても良い。
 また、本実施形態では、再生順に応じて各画像の名称を決定する例を示したが、本発明はこの例に限定されない。例えば、各画像の名称は変更せずに、再生順を示す情報を、各画像と対応づけて記録する構成としても良い。例えば、画像の付帯情報(タグ情報)などに、再生順を示す情報や、再生順を決定するための規則性を示す情報などを記録しても良い。
 また、本実施形態では、ベストショットモード時に図2のフローチャートに示した一連の処理を行う例を示したが、本発明はこの例に限定されない。例えば、連写モードにおいて複数の画像を生成する場合にも本発明を同様に適用することができる。また、ユーザにより選択された複数の画像を対象として、ステップS106以降の処理を行っても良い。
 また、上述した実施形態では、本発明の技術を図1に示した電子カメラ10において実現する例について説明した。しかしながら、本発明はこれに限定されない。例えば、図1に示した電子カメラ10以外の構成の電子カメラにも本発明を同様に適用することができる。
 また、コンピュータと画像処理プログラムとにより、上記実施形態で説明した画像処理装置をソフトウェア的に実現しても良い。この場合、図2のフローチャートで説明したステップS106以降の処理の一部または全部をコンピュータで実現する構成とすれば良い。または、
 さらに、上述したコンピュータ以外にも、デジタルの画像の再生表示機能やレタッチ機能を有する電子機器(例えば、フォトビューアー、デジタルフォトフレーム、写真の印刷装置など)などに本発明を同様に適用することができる。また、上述した実施形態で説明した電子カメラ10は、携帯電話端末などのカメラモジュールとして実装されるものであってもよい。
 また、上述した実施形態では、各処理をソフトウェア的に実現する例を説明したが、ASIC等によってこれらの各処理をハードウエア的に実現しても勿論かまわない。
10…電子カメラ、13…撮像素子、14…AFE、16…第1メモリ、17…第2メモリ、19…CPU、22…記憶媒体
 

Claims (10)

  1.  被写体を撮像して、複数の画像を生成する撮像部と、
     前記撮像部により生成した前記複数の画像について、評価を行う評価部と、
     前記評価部による評価結果に基づいて、前記撮像部により生成した前記複数の画像のうち、一部の画像を選択する選択部と、
     前記選択部により選択された複数の画像について、シーン認識を行う認識部と、
     前記認識部による認識結果に基づいて、前記シーン認識が行われた複数の画像の再生順を決定する決定部と
     を備えたことを特徴とする電子カメラ。
  2.  請求項1に記載の電子カメラにおいて、
     前記決定部により決定した前記再生順に応じて、前記シーン認識が行われた複数の画像のそれぞれの名称を決定する命名部を備える
     ことを特徴とした電子カメラ。
  3.  請求項1に記載の電子カメラにおいて、
     前記決定部は、前記認識部による認識結果に基づいて、前記評価部による評価が高い順に前記再生順を決定するか、または、前記撮像部による撮像順に合わせて再生順を決定する
     ことを特徴とした電子カメラ。
  4.  請求項3に記載の電子カメラにおいて、
     前記決定部は、前記認識部による認識の結果、主要被写体に連続的な変化があるシーンである場合には、前記撮像部による撮像順に合わせて前記再生順を決定し、前記主要被写体に連続的な変化がない場合には、前記評価部による評価が高い順に前記再生順を決定する
     ことを特徴とした電子カメラ。
  5.  請求項4に記載の電子カメラにおいて、
     前記評価部は、前記認識部による認識結果がポートレートのシーンである場合には、背景領域が目立つか否かをさらに評価し、
     前記決定部は、前記認識部による認識結果が前記ポートレートのシーンである場合には、前記評価部による評価の結果、前記背景領域が目立たない順に前記再生順を決定する
     ことを特徴とした電子カメラ。
  6.  請求項1から請求項5の何れか1項に記載の電子カメラにおいて、
     前記撮像部により生成した前記複数の画像を記録媒体に記録する記録部と、
     前記評価部による評価結果に基づいて、前記記録媒体に記録された複数の画像のうち、前記選択部により選択された一部の画像を削除する削除部とを備え、
     前記認識部は、前記削除部により削除されなかった複数の画像について、前記シーン認識を行う
     ことを特徴とする電子カメラ。
  7.  請求項6に記載の電子カメラにおいて、
     前記記録部は、前記決定部により決定した前記再生順を示す情報を、前記削除部により削除されなかった前記複数の画像と関連づけて記録する
     ことを特徴とした電子カメラ。
  8.  処理対象の画像として、複数の画像を取得する取得部と、
     前記取得部により取得した前記複数の画像について、評価を行う評価部と、
     前記取得部により取得した前記複数の画像について、シーン認識を行う認識部と、
     前記認識部による認識結果に基づいて、前記シーン認識が行われた複数の画像の再生順を決定する決定部と
     を備えたことを特徴とする画像処理装置。
  9.  請求項8に記載の画像処理装置において、
     前取得部により取得した前記複数の画像を記録媒体に記録する記録部と、
     前記評価部による評価結果に基づいて、前記記録媒体に記録された複数の画像のうち、一部の画像を削除する削除部とを備え、
     前記取得部は、前記複数の画像として、撮像および生成された複数の画像を取得し、
     前記認識部は、前記削除部により削除されなかった複数の画像について、前記シーン認識を行う
     ことを特徴とする画像処理装置。
  10.  処理対象の画像に対する画像処理をコンピュータで実現するための画像処理プログラムであって、
     前記処理対象の画像として、複数の画像を取得する取得ステップと、
     前記取得ステップにおいて取得した前記複数の画像について、評価を行う評価ステップと、
     前記取得ステップにおいて取得した前記複数の画像について、シーン認識を行う認識ステップと、
     前記認識ステップにおける認識結果に基づいて、前記シーン認識が行われた複数の画像の再生順を決定する決定ステップと
     を備えたことを特徴とする画像処理プログラム。
     
PCT/JP2012/005543 2011-09-02 2012-08-31 電子カメラ、画像処理装置、および画像処理プログラム WO2013031241A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201280042306.2A CN103797786B (zh) 2011-09-02 2012-08-31 电子照相机、图像处理装置
US14/238,659 US9792677B2 (en) 2011-09-02 2012-08-31 Electronic camera, image processing device, and image processing program
US15/715,745 US10489898B2 (en) 2011-09-02 2017-09-26 Electronic camera, image-processing device, and image-processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011191542A JP5879831B2 (ja) 2011-09-02 2011-09-02 電子カメラおよび画像処理プログラム
JP2011-191542 2011-09-02

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/238,659 A-371-Of-International US9792677B2 (en) 2011-09-02 2012-08-31 Electronic camera, image processing device, and image processing program
US15/715,745 Continuation US10489898B2 (en) 2011-09-02 2017-09-26 Electronic camera, image-processing device, and image-processing program

Publications (1)

Publication Number Publication Date
WO2013031241A1 true WO2013031241A1 (ja) 2013-03-07

Family

ID=47755768

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/005543 WO2013031241A1 (ja) 2011-09-02 2012-08-31 電子カメラ、画像処理装置、および画像処理プログラム

Country Status (4)

Country Link
US (2) US9792677B2 (ja)
JP (1) JP5879831B2 (ja)
CN (3) CN103797786B (ja)
WO (1) WO2013031241A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5879831B2 (ja) * 2011-09-02 2016-03-08 株式会社ニコン 電子カメラおよび画像処理プログラム
CN104574353B (zh) * 2014-09-12 2017-08-01 苏州大学 基于视觉显著性的表面缺陷判定方法
JP2017173252A (ja) * 2016-03-25 2017-09-28 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
CN107967339B (zh) * 2017-12-06 2021-01-26 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
JP6638852B1 (ja) * 2018-08-31 2020-01-29 ソニー株式会社 撮像装置、撮像システム、撮像方法および撮像プログラム
US20220094846A1 (en) * 2019-01-31 2022-03-24 Huawei Technologies Co., Lid. Method for selecting image based on burst shooting and electronic device
US20220129653A1 (en) * 2019-02-15 2022-04-28 Ark Limited Dynamic two-dimensional code evaluation method, dynamic two-dimensional code evaluation system, and dynamic two-dimensional code evaluation program

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001285689A (ja) * 2000-03-31 2001-10-12 Olympus Optical Co Ltd 電子カメラ
JP2004046591A (ja) * 2002-07-12 2004-02-12 Konica Minolta Holdings Inc 画像評価装置
JP2008263425A (ja) * 2007-04-12 2008-10-30 Nikon Corp データ記録装置、およびデータ記録プログラム
JP2009272740A (ja) * 2008-05-01 2009-11-19 Nikon Corp 撮像装置、画像選択方法及び画像選択プログラム
JP2010166519A (ja) * 2009-01-19 2010-07-29 Sony Corp 表示制御装置、表示制御方法及びプログラム
JP2010178318A (ja) * 2009-02-02 2010-08-12 Olympus Imaging Corp 撮影装置および撮影方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005027159A (ja) * 2003-07-04 2005-01-27 Canon Inc 記録装置及び方法
JP4415188B2 (ja) 2004-08-09 2010-02-17 カシオ計算機株式会社 画像撮影装置
JP4748656B2 (ja) * 2005-06-14 2011-08-17 キヤノン株式会社 画像管理装置及びその制御方法、並びにプログラム及び記憶媒体
JP2007028555A (ja) * 2005-07-21 2007-02-01 Sony Corp カメラシステム,情報処理装置,情報処理方法,およびコンピュータプログラム
CN101909156B (zh) * 2005-11-02 2013-01-16 奥林巴斯株式会社 电子照相机及其图像处理方法
CN102760630B (zh) * 2006-02-17 2015-09-23 株式会社日立高新技术 扫描型电子显微镜装置以及使用它的摄影方法
JP4254873B2 (ja) * 2007-02-16 2009-04-15 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
JP5251215B2 (ja) * 2007-04-04 2013-07-31 株式会社ニコン デジタルカメラ
US20090324098A1 (en) * 2008-06-27 2009-12-31 Sony Ericsson Mobile Communications Ab Mobile phone with selective photographic system and method
KR20100076793A (ko) * 2008-12-26 2010-07-06 삼성전자주식회사 디지털 이미지 처리 장치 및 방법, 컴퓨터 판독가능 저장매체, 및 전자 장치 및 그 제어 방법
JP2011010275A (ja) * 2009-05-26 2011-01-13 Sanyo Electric Co Ltd 画像再生装置及び撮像装置
JP2011009976A (ja) * 2009-06-25 2011-01-13 Hitachi Ltd 画像再生装置
WO2011093367A1 (ja) * 2010-02-01 2011-08-04 株式会社 ニコン 情報付加装置、電子カメラ、及び情報付加プログラム
JP5879831B2 (ja) * 2011-09-02 2016-03-08 株式会社ニコン 電子カメラおよび画像処理プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001285689A (ja) * 2000-03-31 2001-10-12 Olympus Optical Co Ltd 電子カメラ
JP2004046591A (ja) * 2002-07-12 2004-02-12 Konica Minolta Holdings Inc 画像評価装置
JP2008263425A (ja) * 2007-04-12 2008-10-30 Nikon Corp データ記録装置、およびデータ記録プログラム
JP2009272740A (ja) * 2008-05-01 2009-11-19 Nikon Corp 撮像装置、画像選択方法及び画像選択プログラム
JP2010166519A (ja) * 2009-01-19 2010-07-29 Sony Corp 表示制御装置、表示制御方法及びプログラム
JP2010178318A (ja) * 2009-02-02 2010-08-12 Olympus Imaging Corp 撮影装置および撮影方法

Also Published As

Publication number Publication date
CN106961556A (zh) 2017-07-18
CN103797786A (zh) 2014-05-14
CN103797786B (zh) 2017-06-09
US20140240537A1 (en) 2014-08-28
CN106982331A (zh) 2017-07-25
CN106982331B (zh) 2020-06-09
CN106961556B (zh) 2020-06-09
US20180061035A1 (en) 2018-03-01
US9792677B2 (en) 2017-10-17
US10489898B2 (en) 2019-11-26
JP2013055455A (ja) 2013-03-21
JP5879831B2 (ja) 2016-03-08

Similar Documents

Publication Publication Date Title
JP5879831B2 (ja) 電子カメラおよび画像処理プログラム
JP4748244B2 (ja) 画像選択装置、画像選択方法及びプログラム
JP5631106B2 (ja) 画像処理装置、その制御方法、及びプログラム、並びに撮像装置
JP5218508B2 (ja) 撮像装置
JP4888191B2 (ja) 撮像装置
US20140153900A1 (en) Video processing apparatus and method
KR101475427B1 (ko) 다수의 촬영 조건을 가지는 간격 촬영 방법 및 이를 적용한촬영 장치
JP5126207B2 (ja) 撮像装置
US20110234838A1 (en) Image processor, electronic camera, and image processing program
CN105744179A (zh) 摄像装置、摄像控制方法
JP4894708B2 (ja) 撮像装置
JP2008092299A (ja) 電子カメラ
CN104935804A (zh) 摄像装置以及摄像方法
JP5381498B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
JP4534750B2 (ja) 画像処理装置および画像処理プログラム
JP4665731B2 (ja) カメラ、および画像管理プログラム
US10043299B2 (en) Image processing apparatus for generating a new moving image from a moving image
JP2017192114A (ja) 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
JP6318535B2 (ja) 撮像装置
JP2009017368A (ja) デジタルカメラ
KR20160109603A (ko) 촬영 장치 및 촬영 방법
JP5754308B2 (ja) 電子カメラ、画像処理装置、および画像処理プログラム
JP2019050591A (ja) 電子機器、プログラム
JP5353175B2 (ja) 撮像装置
JP2018026838A (ja) カメラ、画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12828336

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14238659

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 12828336

Country of ref document: EP

Kind code of ref document: A1