JP6660236B2 - 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体 - Google Patents

Description

本発明は、複数の画像ダイジェスト再生用の画像を選抜する画像処理技術に関する。

従来、静止画や動画を記録媒体に記録するときに、記録媒体に記録された静止画や動画をプレビュー再生することができるデジタルカメラが知られている。このようなプレビュー機能を有するデジタルカメラでは、記録媒体に膨大な量の静止画や動画が記録されていると、全ての画像を閲覧するのに長時間を要する。このため、特許文献１には、動画から重要なシーンだけを抽出し、ダイジェスト再生する技術が記載されている。特に、特許文献１では、サッカーなどの試合を記録した動画において、重要なシーンを音声の大小で判別し、所定の音声レベルを超えるシーンを抜粋し、ダイジェスト再生するものである。

特開２００７−２６７３５１号公報

ところが、上記特許文献１のように音声レベルだけでシーンを抜粋すると、一定箇所のシーンばかりが抽出されてしまうことがある。例えば、特許文献１は、ゴールシーンのように観客が盛り上がったシーンを抽出するのには適しているが、ゴールシーンに至る経緯は抽出されず、ゴールシーンばかりが連続してダイジェスト再生されてしまう。

このような課題に対して、画像中の被写体情報を評価値として画像選抜に用いることでシーンの偏りなどがない質の高いダイジェスト再生用の画像を生成することができる。しかしながら、レンズ交換式のカメラなどで撮影された画像についてダイジェスト再生用の画像選抜を行う場合、レンズ特性が大きく異なるものもあるため、例えばコンパクトデジタルカメラと同様の評価基準を適用すると不都合が発生する可能性がある。例えば、非常に浅い深度にて撮影可能なＥＦ−Ｍ２２ｍの単焦点レンズにより得られた画像と、ＥＦ−Ｍ１８−５５ｍｍのズームレンズにより得られた画像を同等の基準で評価すると、周辺ボケに関して失敗画像ではないものを失敗画像と判断してしまう可能性がある（図６参照）。

本発明は、上記課題に鑑みてなされ、その目的は、画像の撮影に用いられたレンズを考慮してダイジェスト再生用の画像選抜を行う技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の画像処理装置は、複数の画像からダイジェスト再生用の画像を選抜する画像処理装置であって、画像ごとに撮影時の撮影情報を取得する情報取得手段と、前記撮影情報と評価基準とに基づいて画像の評価値を求める画像評価手段と、前記評価値に基づいて画像を順位づけすることでダイジェスト再生用の画像を選抜する画像選抜手段と、を有し、前記画像評価手段は、各画像の撮影に用いられたレンズの情報に基づいて前記評価基準を変更する。

本発明によれば、画像の撮影に用いられたレンズを考慮してダイジェスト再生用の画像選抜を行うことで、画像選抜における誤判断を回避し、質の高いダイジェスト再生用画像を生成することができる。

本実施形態の装置構成を示すブロック図。 本実施形態のダイジェスト再生用の画像選抜処理を示すフローチャート。 選択範囲が１日の場合のクラスタリングを示した図。 画像選抜における評価値算出方法の説明図。 画像選抜における動きベクトルに基づく評価値算出方法の説明図。 レンズ種別の違いによる画像選抜結果を例示する図。 レンズ種別を例示する図。 レンズ種別による評価基準の違いを例示する図。 コントラスト評価値の算出方法の説明図。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。

［実施形態１］
以下、本実施形態の画像処理装置としてデジタルカメラ等の撮像装置に適用した例ついて説明する。

＜装置構成＞
以下、図１を参照して、本実施形態の撮像装置の構成および機能ついて説明する。

操作部１０１は、本実施形態のデジタルカメラ（以下、カメラ）の操作者がカメラに対して各種の指示を入力するために操作するスイッチやボタンなどにより構成されている。操作部１０１の中には、電源スイッチ、シャッタースイッチ、タッチセンサ（表示パネルに対してタッチ操作可能な操作部材）も含む。制御部１０２は、図１に示すカメラの各種機能を統括して制御するための、ＣＰＵ、ＲＡＭ、ＲＯＭや、専用の回路などを含む。ＣＰＵは、不揮発性メモリであるＲＯＭに格納されたプログラムをワークメモリとしてのＲＡＭに展開し実行することで、後述する撮影からプレビューまでの処理を実現する。

センサ部１０３は、ＣＣＤ、ＣＭＯＳセンサ等の撮像素子を含み、レンズ群１０８ａおよびメカ機構１０９ａを介して入射される光を受け、その光量に応じた電荷を蓄積し画像信号を出力する。本実施形態では、カメラ本体の前面に対して交換レンズ部１２２が着脱可能なレンズ交換式のカメラであり、交換レンズ部１２２は、本実施形態のデジタルカメラ以外の他のカメラにも装着可能である。交換レンズ部１２２は、フォーカスレンズやズームレンズを含むレンズ群１０８ａと、絞りやシャッターを含むメカ機構１０９ａを含む。レンズ情報取得部１２３は、交換レンズ部１２２からレンズ情報を取得し、撮影された画像データに付与する。

Ａ／Ｄ変換部１０４は、センサ部１０３から出力されたアナログ画像信号に対して、サンプリング、ゲイン調整、Ａ／Ｄ変換等を行い、デジタル画像信号として出力する。画像処理部１０５は、Ａ／Ｄ変換部１０４から出力されたデジタル画像信号に対して各種の画像処理を行い、処理済みのデジタル画像信号を出力する。例えば、Ａ／Ｄ変換部１０４から受けたデジタル画像信号を、ＹＵＶ画像信号に変換して出力する。

被写体検出部１１５は、画像処理部１０５から得られたデジタル画像信号を用いて被写体の検出を行う。本実施形態では、被写体として人物の顔検出処理を行い、検出された顔のサイズや位置などの顔情報を被写体情報として抽出する。表情検出部１１６は、被写体検出部１１５により得られた顔情報を用いて顔の表情検出処理を行う。表情検出部１１６は、顔のエッジ情報を用いて、笑顔のレベルを判定し、これを数値化した笑顔度を算出する（図４（ｃ））。撮影情報作成部１１７は、被写体検出部１１５により得られた被写体情報や表情検出部１１６により得られた笑顔度、およびユーザ設定などの撮影設定情報などを撮影情報としてまとめ、エンコーダ部１１２に出力する。

表示部１０７は、液晶画面などにより構成され、制御部１０２の制御により各種の表示を行なう。また、表示部１０７は、タッチセンサが一体構成されている。ＡＦ処理部１０８は画像処理部１０５によって得られた画像をもとにレンズ１０８ａを制御し、ピントを合わせる。ＡＥ処理部１０９は、被写体検出部１１５によって得られた被写体輝度と適正輝度との差分を算出し、メカ機構１０９ａを制御する。ＥＦ処理部１１０は、発光判断がされた場合に被写体が適正となりうる光量で発光部１１１を発光させる。発光部１１１は、ＬＥＤを光源としたストロボ装置である。発光部１１１は、デジタルカメラ本体に内蔵されてもよいし、着脱可能であってもよい。

エンコーダ部１１２は、出力されたデジタル画像信号（画像データ）のフォーマットをＪＰＥＧなどのフォーマットに変換し、画像記録部１１３に出力する。また、エンコーダ部１１２は、撮影情報作成部１１７から受けた撮影情報を画像データのヘッダへと書き込む処理も行う。

画像記録部１１３は、エンコーダ部１１２から受けたフォーマット変換済みの画像データをメモリ部１２５に記録する。メモリ部１２５は、カメラの内部メモリや、カメラに挿入されているメモリカードやハードディスクなどの外部メモリなどである。外部接続部１１４は、パーソナルコンピュータ等の外部装置と通信可能に接続するためのインタフェースである。外部接続部１１４を外部装置に接続することで、表示部１０７に表示される画面を外部装置に表示することが可能となる。

再生期間設定部１１８は、本実施形態のダイジェスト再生を行う場合に再生範囲内の画像を指定する。本実施形態ではユーザが１日や一週間などの再生期間を設定することを想定している。

画像評価部１１９では、画像データのヘッダに記録された撮影情報に基づき、再生範囲内に指定された画像の評価値を算出する。この評価値算出に関して、例えば、図４（ａ）においては、顔サイズが大きいほど評価値が高くなり、図４（ｂ）においては、顔位置が画面中心に近いほど評価値が高くなる。また、顔検出処理において笑顔度も算出しており、この笑顔度は笑顔の度合いが大きいほど高い値が算出される（図４（ｃ）参照）。

また、本実施形態では、動画再生を目的としており、素材となる画像データとしては静止画だけでなく動画も含まれる。ダイジェスト再生用の画像として動画を選抜する場合には、例えば図５に示すように被写体の動きベクトルを算出し、被写体の動きが大きいほど評価値を高く設定して画像選抜を行う。また。動画を選抜する場合は、笑顔度や顔サイズの変動も評価しており、例えば、笑顔度が安定して高い動画やそのショットの後半に笑顔度のピークがくる動画なども選抜される。なお、動画を選抜する際には、被写界深度が浅いレンズでは奥行き方向の被写体の動きに関する評価基準を厳しくする。

画像分類部１２０は、再生範囲内に指定された画像それぞれに対して撮影日時を用いたクラスタリングを行う。

画像選抜部１２１は、設定された再生期間に応じて選抜枚数を設定し、評価値に基づき画像選抜を行う。

＜撮影から再生までの動作＞
次に、本実施形態のデジタルカメラを用いて画像の撮像を行い、ダイジェスト再生用の画像を作成し、イベントを保存するか否かを決定する前にプレビューを行うまでの動作について説明する。

カメラの操作者が、操作部１０１に含まれる電源スイッチをオンにすると、電源スイッチから制御部１０２へ通知され、制御部１０２は、カメラを構成する各部への電力供給を開始する。電力供給が開始されると、メカ機構１０９ａのシャッターが開くので、センサ部１０３には、交換レンズ部１２２のレンズ１０８ａおよびメカ機構１０９ｂを通じて被写体像光が入射し、センサ部１０３に電荷が蓄積される。制御部１０２は、センサ部１０３に蓄積された電荷を読み出し、Ａ／Ｄ変換部１０４にアナログ画像信号として出力する。

Ａ／Ｄ変換部１０４は、センサ部１０３から出力されたアナログ画像信号に対して、サンプリング、ゲイン調整、Ａ／Ｄ変換等を行う。画像処理部１０５は、Ａ／Ｄ変換部１０４から出力されたデジタル画像信号に対して各種画像処理を行い、処理済みのデジタル画像信号を出力する。画像処理部１０５により処理されたデジタル画像信号は制御部１０２を介してＡＥ処理部１０９へ送られる。ＡＥ処理部１０９は、被写体検出部１１５により検出された被写体の輝度と適正輝度との差分を算出し、メカ機構１０９ａにより適正な露出条件へ自動で収束させる制御を行う。

また、被写体検出部１１５は、画像処理部１０５により処理されたデジタル画像信号を用いて被写体（顔）検出処理を行い、被写体情報（顔のサイズ、位置）を取得する。ＡＦ処理部１０８は、被写体情報を用いて撮影者から被写体までの距離情報を取得し、レンズ１０８ａを駆動して最適なピントへ自動で収束させる制御を行う。表情検出部１１６は、被写体情報を用いて被写体（顔）の表情検出を行う。本実施形態では、被写体としての顔のエッジ情報を用いて表情検出を行い、顔の表情が笑顔であるほど高いスコアが検出される。

撮影者がシャッタースイッチを半押しすることにより、制御部１０２がシャッタースイッチから撮影準備指示信号ＳＷ１の通知を受けると、その時点で得られた画像信号を用いてＡＦ処理およびＡＥ処理を行い、撮影に最適なピントおよび露出条件を取得する。

撮影者がシャッタースイッチを半押しから全押しすることにより、制御部１０２がシャッタースイッチから撮影準備指示信号ＳＷ１の通知を受けた後さらに撮影指示信号ＳＷ２の通知を受けると、本撮影動作に移行する。制御部１０２は、本撮影動作に移行すると、レンズ１０８ａおよびメカ機構１０９ａを通過しセンサ部１０３に蓄積された被写体光像に応じた電荷を読み出し、Ａ／Ｄ変換部１０４によりアナログ画像信号から変換したデジタル画像信号を画像処理部１０５に出力する。なお、制御部１０２は、画像処理部１０５により処理された画像データから現在の輝度値を検出する。また、制御部１０２は、検出した輝度値が所定の閾値よりも低いと判定した場合は、ＥＦ処理部１１０に発光制御指令を出力し、ＥＦ処理部１１０は発光部１１１を本撮影動作に合わせて発光させる。

Ａ／Ｄ変換部１０４により信号処理が行われ、画像処理部１０５により画像処理が行われたデジタル画像信号は、エンコーダ部１１２により所定のファイルフォーマットに変換され、画像記録部１１３によりメモリ部１２５に記録される。ここで、撮影情報作成部１１７は、被写体検出部１１５により得られた被写体情報や表情検出部１１６により得られた笑顔度、およびユーザ設定などの撮影設定情報などを撮影情報としてまとめ、エンコーダ部１１２に出力する。エンコーダ部１１２は、撮影情報作成部１１７により作成された撮影情報を、画像記録部１１３による画像ファイルの記録と同時に画像ファイルのヘッダ領域に書き込む。

なお、再生期間設定部１１８、画像評価部１１９、画像分類部１２０、および画像選抜部１２１は、本実施形態のダイジェスト再生用の画像選抜を行うブロックである。各ブロックは、メモリ部１２５に記録されている画像ファイルをダイジェスト再生する場合に、制御部１０２の制御により、メモリ部１２５に格納されている複数の画像から所定の条件に該当する画像をダイジェスト再生用の画像として選抜する。なお、本実施形態の再生期間の設定からダイジェスト画像選抜までの詳細な処理については後述する。

ダイジェスト再生用に選抜された画像は、タイトル処理、色フィルタ処理などの加工処理が施された後、表示部１０７または外部接続部１１４を介して外部モニタに表示される。

＜ダイジェスト再生用の画像選抜処理＞
次に、図２を参照して、本実施形態のダイジェスト再生用の画像選抜処理について説明する。

なお、図２の処理は、制御部１０２のＣＰＵがＲＯＭに格納されたプログラムを、ＲＡＭに読み出して実行することにより実現される。また、図２の処理は、制御部１０２から制御部から再生期間設定部１１８にダイジェスト再生用の再生期間設定指示がなされると開始される。

ステップＳ２０１では、再生期間設定部１１８は、画像記録部１１３によりメモリ部１２５に格納されている複数の画像から再生範囲を設定し、再生範囲内の画像を指定する。本実施形態ではユーザが１日や一週間などの再生期間を設定することを想定している。

ステップＳ２０２では、画像評価部１１９は、ステップＳ２０１で指定された再生範囲内の画像について、画像のＥｘｉｆ情報に基づいて撮影に用いられたレンズ種別ごとに分類する。本実施形態では、図７に例示するように焦点距離に応じたレンズ種別の分類を行う。主に、焦点距離２４ｍｍ未満のものを超広角レンズ、２４〜３５ｍｍのものを広角レンズ、３５ｍｍ〜４０ｍｍのものを準広角レンズとする。また、焦点距離４０〜６０ｍｍのものを標準レンズ、６０ｍｍ〜１３５ｍｍのものを中望遠レンズ、１３５ｍｍ〜３００ｍｍのものを望遠レンズ、３００ｍｍ以上のものを超望遠レンズとする。なお、本実施形態では、これらの分類をさらに大別し、広角・準広角を広角レンズ、中望遠・望遠・超望遠を望遠レンズにまとめている。

ステップＳ２０３では、画像評価部１１９は、レンズ種別ごとの画像の撮影枚数に応じて、選抜枚数を設定する。

ステップＳ２０４では、画像評価部１１９は、画像記録部１１３によりメモリ部１２５に格納されているレンズ種別ごとの評価基準情報を取得する。本実施形態では、レンズ種別が多いため、カメラ側では評価基準情報を持たずに、撮影時に交換レンズ部１２２からレンズの評価基準情報を取得しメモリ部１２５に記録することを想定している。なお、評価基準情報をカメラ側で予め保持するようにしてもよい。

ステップＳ２０５〜Ｓ２１０では、画像評価部１１９は、ステップＳ２０４で取得したレンズ種別ごとの評価基準情報に基づき、各画像の評価値を算出する。具体的には、画像評価部１１９は、広角レンズの場合（Ｓ２０５でＹＥＳ）は広角レンズ用の評価基準を用いて評価値を算出する（Ｓ２０６）。また、標準レンズの場合（Ｓ２０７でＹＥＳ）は標準レンズ用の評価基準を用いて評価値を算出し（Ｓ２０８）、望遠レンズの場合（Ｓ２０９）は望遠レンズ用の評価基準を用いて評価値を算出する（Ｓ２１０）。ここで、評価値算出に使用される情報は、主に撮影時に得られた情報で、画像ファイルのヘッダ領域に書き込まれている情報である。例えば、被写体検出部１１５により得られた顔の位置情報やサイズ情報である。顔のサイズ情報と評価値との関係は、図４（ａ）に示すように顔サイズが大きいほど評価値が高く設定され、顔の位置情報と評価値との関係は、図４（ｂ）に示すように顔位置が画面中心に近いほど評価値が高く設定される。なお、歪曲収差の大きいレンズでは、顔位置による評価値について位置を補正した上で再度評価値を算出するようにしてもよい。なお、本実施形態では画像のヘッダ領域に顔の表情情報も書き込まれている。顔の表情情報と評価値との関係は、図４（ｃ）に示すように笑顔度が大きいほど評価値が高く設定される。なお、評価値算出に使用される情報は、上記３種類の情報に限らず、合焦情報、ＹＵＶヒストグラム、ズーム情報、ジャイロセンサにより検出される角速度情報、加速度センサにより検出される加速度ベクトル情報などを使用しても良い。

ステップＳ２１１では、画像評価部１１９は、ステップＳ２０５〜Ｓ２１０で得られた評価値を加算して総合評価値を算出し、この総合評価値を評価値の高い順に順位づけ（ソート）する。

ここで、レンズ種別に応じた評価基準の違いを説明する。

画像を評価する際に画面内のエッジ強度を求めるため、図９に示すように画面をブロック分割した画像から、各ブロックに対してエッジ信号を抽出し、各ブロックのエッジ部分のピークホールドにて得られたエッジ信号の大小にて画像のコントラスト評価を行う。そして、図８に示すように画面内のエッジ強度が強いほど、コントラスト評価値が高く設定される。これは被写体および背景にピントが合っていることや、像ブレが発生していないことを確認するためである。しかしながら、レンズ交換式のカメラでは、レンズ特性によっては、背景ぼけを持ち味とした望遠レンズもあり、このようなレンズを他のレンズと同様に評価した場合、被写体にピントは合っているが、背景がぼけているような画像であると、評価値が落ちることになる。このような背景に鑑み、本実施形態においては、図８に示すように、標準レンズの場合は評価基準Ａ、広角レンズの場合は評価基準Ｂ、望遠レンズの場合は評価基準Ｃを用いてコントラスト評価値を算出する。このようにしてレンズ特性に適した画像選抜を行うことが可能となる。

ステップＳ２１２では、画像分類部１２０は、ユーザにより設定された選抜範囲内の画像の撮影総時間を算出する。本実施形態では、選抜範囲内の画像のうち一番最初に撮影された画像と、一番最後に撮影された画像との時間差を撮影総時間とする。この撮影総時間が１日以下の場合、１時間を１つのイベントの区切りとし、１時間あたり１クラスタとして、選抜範囲の総クラスタ数を決定する。例えば、撮影開始時刻が８：００、撮影終了時刻が２０：００の場合、１時間を１つのイベント発生期間と考え、時系列に並べられた画像の時間差が近いものを同一イベントとして分類し、１２個のクラスタを生成する。

ステップＳ２１３では、画像分類部１２０は、ステップＳ２１２で決定された総クラスタ数に応じてクラスタリングを行う（図３（ｂ））。ステップＳ２１４では、制御部１０２は、ユーザが設定した目標再生時間を画像分類部１２０に通知する。

ステップＳ２１５では、画像分類部１２０では、目標再生時間から総選抜枚数を決定する。本実施形態では、静止画１枚当たりの再生時間を４秒とし、これで目標再生時間を除算して再生可能枚数を求める。ステップＳ２１６では、画像選抜部１２１は、ステップＳ２１５で決定された総選抜枚数を用いて、各クラスタを再生時間で正規化する（図３（ｃ））。なお、正規化を行う場合に、クラスタ内の再生可能枚数が少ないと正規化により画像が０となってしまうことがあるため、本実施形態では小数点以下を切り上げて処理する。

ステップＳ２１７では、画像選抜部１２１は、各クラスタにおいて選抜可能な枚数だけ評価値の上位から画像を選抜する。なお、本実施形態では、ステップＳ２０５〜Ｓ２１０で得られた評価値を加算した総合評価値に基づいて画像選抜を行ったが、ダイジェスト再生用の選抜画像の種別を増やすために、評価値ごとに選抜を行ってもよい。

その後、画像選抜部１２１は、選抜された画像を時系列順に並べ替え（ステップＳ２１８）、１つの動画として結合し（ステップＳ２１９）、結合された動画を再生し、これを印刷用のプレビューとして表示部１０７に表示する（ステップＳ２２０）。なお、このプレビューのエンドロールに、画像選抜に使用したレンズ情報を表示してもよい。

プレビュー終了後は、表示部１０７に保存メニューが表示され、このイベントを動画として保存するか否かをユーザに選択させ、処理を終了する。

なお、本実施形態では、レンズ特性としてレンズの焦点距離による分類を行ったが、単焦点レンズ、ズームレンズ、マクロレンズにも適した被写体が存在し、これによる分類も含むものとする。例えば、単焦点レンズであって開放Ｆ値が明るいレンズではボケ味が強く出るため、周辺ボケを許容するように望遠レンズと同じような傾向のコントラスト評価基準を用いることとする。また、画像選抜の際に評価値が同等である場合は、ズームレンズよりも単焦点レンズの評価値を高く設定する。また、マクロレンズは被写体を大きく撮影できるため、昆虫や草花の撮影に適している。このように、画像評価部１１９で画像のシーン判定を行い、判定された撮影シーンに適した特徴を持つレンズで撮影された画像が優先的に選抜されるように評価値を高く設定してもよい。

また、現在カメラに装着されているレンズの評価値を高く設定したり、装着中のレンズに応じて予め決められた画像が選抜されるようにしてもよい。また、画像を選抜する際に、明らかに周辺光量落ち、歪曲、ボケ感の異なる画像が連続しないように、レンズ特性に応じた最適な画像を選抜するようにしてもよい。また、オート色効果が設定された場合、そのレンズに不適なフィルタはかけないようにする、例えば、魚眼レンズで撮影された画像に周辺光量を上げるためのフィルタをかけないようにしてもよい。

以上のように、本実施形態によれば、画像の撮影に用いられたレンズを考慮してダイジェスト再生用の画像選抜を行うことで、画像選抜における誤判断を回避し、質の高いダイジェスト再生用画像を作成することができる。

［他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０２…制御部、１０５…画像処理部、１０７…表示部、１１７…撮影情報作成部、１１８…再生期間設定部、１１９…画像評価部、１２０…画像分類部、１２１…画像選抜部、１２２…交換レンズ部、１２３…レンズ情報取得部

Claims (20)

1. 複数の画像からダイジェスト再生用の画像を選抜する画像処理装置であって、
   画像ごとに撮影時の撮影情報を取得する情報取得手段と、
   前記撮影情報と評価基準とに基づいて画像の評価値を求める画像評価手段と、
   前記評価値に基づいて画像を順位づけすることでダイジェスト再生用の画像を選抜する画像選抜手段と、を有し、
   前記画像評価手段は、各画像の撮影に用いられたレンズの情報に基づいて前記評価基準を変更することを特徴とする画像処理装置。
2. 前記撮影情報は、各画像の撮影に用いられたレンズの情報としてレンズ種別に関する情報を含み、
   前記画像評価手段は、前記複数の画像をレンズ種別ごとに分類し、前記分類されたレンズ種別ごとの画像の枚数に応じて選抜枚数を設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像選抜手段は、前記評価値に基づいて順位づけされた画像について前記評価値の高い画像から順に所定の再生時間に基づいて決められる枚数の画像を選抜することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記選抜された画像を時系列の順に並び替えて１つの動画として結合し、再生する再生手段をさらに有することを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。
5. 前記撮影情報は、前記画像から検出された被写体情報を含むことを特徴とする請求項１ないし４のいずれか１項に記載の画像処理装置。
6. 前記被写体情報は、被写体の位置およびサイズを含み、
   前記評価値は、前記被写体情報を用いて算出されることを特徴とする請求項５に記載の画像処理装置。
7. 前記被写体は人物の顔であり、前記顔の表情を検出する表情検出手段をさらに有し、
   前記被写体情報は、顔の位置、サイズ、画面中心からの距離、および笑顔度の少なくともいずれかを含むことを特徴とする請求項６に記載の画像処理装置。
8. 前記評価値は、ジャイロセンサにより検出される角速度情報、または加速度センサにより検出される加速度ベクトル情報を用いて算出されることを特徴とする請求項１ないし７のいずれか１項に記載の画像処理装置。
9. 前記画像として動画を選抜する場合、前記評価値は、被写体の動きベクトルを用いて算出されることを特徴とする請求項１ないし８のいずれか１項に記載の画像処理装置。
10. 画像の撮影シーンを判定する判定手段をさらに有し、
    前記画像評価手段は、判定されたシーンに適したレンズで撮影された画像の評価値を高く設定することを特徴とする請求項１ないし９のいずれか１項に記載の画像処理装置。
11. 前記評価値は、画像から得られるコントラスト評価値を用いて算出され、
    画面内のエッジ部分の強度が強いほど、コントラスト評価値が高く設定されることを特徴とする請求項１ないし１０のいずれか１項に記載の画像処理装置。
12. 前記画像評価手段は、前記コントラスト評価値について、同等の強度のエッジ部分を評価する場合、焦点距離が小さいレンズよりも、焦点距離が大きいレンズの評価値を高く設定することを特徴とする請求項１１に記載の画像処理装置。
13. 前記評価値が同等の場合、ズームレンズよりも単焦点レンズの評価値を高く設定することを特徴とする請求項１２に記載の画像処理装置。
14. 前記画像処理装置は、レンズ交換式の撮像装置であり、
    前記画像評価手段は、前記撮像装置に装着されているレンズで撮影された画像の評価値を高く設定することを特徴とする請求項１ないし１３のいずれか１項に記載の画像処理装置。
15. 前記撮像装置に装着されているレンズからレンズの情報を取得するレンズ情報取得手段をさらに有することを特徴とする請求項１４に記載の画像処理装置。
16. ダイジェスト再生の際に前記撮像装置に装着されているレンズの情報を表示する表示手段をさらに有することを特徴とする請求項１４または１５に記載の画像処理装置。
17. 前記画像評価手段は、撮影時に使用したレンズの特性に応じて、異なる評価基準を使用して画像の評価値を求めることを特徴とする請求項１ないし１６のいずれか１項に記載の画像処理装置。
18. 前記画像評価手段は、撮影時に使用したレンズの焦点距離に応じて、異なる評価基準を用いて画像の評価値を求めることを特徴とする請求項１７に記載の画像処理装置。
19. 複数の画像からダイジェスト再生用の画像を選抜する画像処理方法であって、
    情報取得手段が、画像ごとに撮影時の撮影情報を取得する情報取得ステップと、
    画像評価手段が、前記撮影情報と評価基準とに基づいて画像の評価値を求める画像評価ステップと、
    画像選抜手段が、前記評価値に基づいて画像を順位づけすることでダイジェスト再生用の画像を選抜する画像選抜ステップと、を有し、
    前記画像評価ステップでは、各画像の撮影に用いられたレンズの情報に基づいて前記評価基準を変更することを特徴とする画像処理方法。
20. コンピュータを、請求項１ないし１８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。