JP5489582B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は画像処理装置及び画像処理方法に関し、特に、代表画像を表示するために用いて好適な技術に関する。

従来、ビデオカメラやＤＶＤレコーダ等の装置においては、記録媒体に記録した動画データや静止画データを再生する際、その代表画像の一覧画面を表示している。そして、一覧表示された代表画像の中から所望の画像をユーザが選択し、再生を指示することにより、元の動画データや静止画データを再生する機能を備えている（例えば、特許文献１参照）。このとき、記録された動画データや静止画データを再生し、そのサイズを代表画像に適したサイズに変換して表示している。

特開２００４−２０６７７４号公報

前述のように代表画像を生成して表示する場合、元の動画や静止画のデータ量が大きい程、記録媒体から再生するのに多くの時間がかかるため、その代表画像を表示するまでに長い時間待たされることになる。その結果、決められた順に代表画像を表示する場合には、この様なデータ量の大きな画像の代表画像を表示するまでは次の代表画像が表示されないため、次の代表画像がデータ量の小さい画像の代表画像であっても表示するまで長い時間待たされることになる。なお、どのような画像が記録されているのかを確認するためには、ある程度の数の代表画像が表示されている必要がある。このため、データ量の大きい画像が記録されている場合には、ユーザはどのような画像が記録されているのかをすぐに確認できないという問題点がある。

本発明は前述の問題点に鑑み、少ない時間でより多くの代表画像を表示できるようにすることを目的としている。

本発明の画像処理装置は、ＲＡＷファイル形式と、所定の圧縮方式により圧縮された圧縮画像のファイル形式とを含む複数のファイル形式の画像ファイルを処理する画像処理装置であって、記録媒体に記録された前記画像ファイルに含まれる画像データを用いて前記記録媒体に記録された複数の前記画像ファイルの代表画像を生成し、前記代表画像を表示装置に表示する表示手段と、前記記録媒体に記録された複数の前記画像ファイルの代表画像を前記表示装置に表示する場合に、前記画像ファイルのファイル形式に基づいて優先度を決定し、前記優先度に従って前記表示手段により前記代表画像を表示する画像ファイルの順番を制御する制御手段とを備え、前記制御手段は、前記圧縮画像のファイル形式の前記画像ファイルの代表画像を前記ＲＡＷファイル形式の前記画像ファイルの代表画像よりも先に表示するように前記表示手段を制御することを特徴とする。

本発明によれば、表示画面に複数の代表画像を表示させようとするときに、少ない時間でより多くの代表画像を表示させることができる。これにより、ユーザはどのような画像が記録されているのかをすぐに確認することができる。

実施形態に係るデジタルビデオカメラの構成例を示すブロック図である。 システム制御部の詳細な構成例を示すブロック図である。 優先度を判定して代表画像を表示する処理手順の一例を示すフローチャートである。 優先度を判定する処理手順の一例を示すフローチャートである。 記録媒体内のデータの構造例を示す図である。 優先度管理テーブルの一例を示す図である。 代表画像を表示する処理手順の一例を示すフローチャートである。 表示部に表示された代表画像の一例を示す図である。 優先度判定テーブルの一例を示す図である。

（第１の実施形態）
以下、本発明の実施形態について図面を参照しながら説明する。なお、本発明はビデオカメラ、デジタルスチルカメラ、携帯電話、パーソナルコンピュータ、テレビなどの動画像もしくは静止画像を表示可能な機器に対して適用が可能である。

図１は、本実施形態に係るデジタルビデオカメラ１００の構成例を示すブロック図である。
図１に示すようにデジタルビデオカメラ１００は、撮像部１０１、映像信号処理部１０２、音声信号処理部１０３、マイク１０４、システム制御部１０５、フレームメモリ１０６、及びメモリ１０７を備えている。さらに、ビデオ／オーディオコーデック１０８、ストリームバッファ１０９、記録再生制御部１１０、内蔵記録媒体１１１、外付け記録媒体１１２、操作部１１３、表示部１１４、多重化処理部１１５、及び静止画コーデック１１６を備えている。

映像信号処理部１０２は、撮像部１０１で得られた映像信号にＡ／Ｄ変換及び適切な画像処理を施す。マイク１０４は、外部の音声を取り込むものであり、音声信号処理部１０３は、マイク１０４で得られた音声信号にＡ／Ｄ変換及び適切な信号処理を施す。システム制御部１０５は、プログラムを実行して各種処理を行い、デジタルビデオカメラ１００全体を制御する。フレームメモリ１０６は、記録時においては撮影して得られた動画像データ及び音声データを符号化して多重化するまで格納する。また、再生時においては多重分離して復号化された動画像データ及び音声データを出力するまで格納する。

ビデオ／オーディオコーデック１０８は、動画像データ及び音声データをそれぞれＭＰＥＧ等公知の符号化方式に従い圧縮符号化する。静止画コーデック１１６は、非圧縮の静止画像データを、ＪＰＥＧ等の所定の圧縮フォーマットに従って圧縮符号化する。メモリ１０７は、システム制御部１０５が用いる情報を一時的に保存しておくためのメモリである。

記録再生制御部１１０は、内蔵記録媒体１１１及び外付け記録媒体１１２に対し、記録及び再生を制御する。外付け記録媒体１１２は、着脱可能な記録媒体である。具体的には、ＭＭＣ、ＳＤ、コンパクトフラッシュ（登録商標）、ＰＣカードなどのメモリカード、あるいはハードディスク、ＣＤ−ＲＷ、ＤＶＤ−Ｒ／ＲＷ、ＭＤなどの光（あるいは光磁気）記録メディアなどである。外付け記録媒体１１２は、不図示の記録媒体装着、排出機構により、デジタルビデオカメラ１００に対してユーザが容易に装着、排出できる。内蔵記録媒体１１１は、デジタルビデオカメラ１００の本体内に内蔵されている記録媒体であり、前記の装着、排出機構などによりユーザが容易に交換できない構成となっている。内蔵記録媒体１１１は、外付け記録媒体１１２と同等のものが本体内部に内蔵されていてもよく、ＮＡＮＤ、ＮＯＲなどのフラッシュメモリであってもよい。本実施形態では、これらの内蔵記録媒体１１１または外付け記録媒体１１２にストリームデータや静止画像データが記録または再生される。

本実施形態では、内蔵記録媒体１１１及び外付け記録媒体１１２は共に、ランダムアクセスの記録媒体であり、また、後述の様に、各記録媒体に記録するデータを全てファイルとして管理する。そして、記録再生制御部１１０は、内蔵記録媒体１１１及び外付け記録媒体１１２のそれぞれのフォーマットに対応したファイルシステムに従って、記録するデータを管理する。

操作部１１３は、ユーザの操作に応じて記録または再生の指示を行うためのインターフェイスである。また、操作部１１３は、ユーザの操作に応じて、デジタルビデオカメラ１００に対して設定等を指示する。表示部１１４は液晶パネル等の表示デバイスを有しており、記録時は撮像部１０１から入力された映像を表示し、再生時は記録再生制御部１１０によって再生された映像を表示する。また、デジタルビデオカメラ１００に対する設定メニュー等を表示する機能も有している。多重化処理部（マルチプレクサ・デマルチプレクサ）１１５は、記録時には圧縮符号化された動画像データ及び音声データを多重化してストリームデータを生成し、再生時にはストリームデータを多重分離して動画像データ及び音声データを生成する。ストリームバッファ１０９は、多重化されたストリームデータを保持する。

本実施形態のデジタルビデオカメラ１００は、操作部１１３により電源が投入されると、デジタルビデオカメラ１００は撮影モードで動作を開始し、撮像部１０１で得られた動画像が表示部１１４に表示される。また、操作部１１３により再生モードへの切り替えスイッチを操作すると、デジタルビデオカメラ１００が再生モードに切り替わる。そして、再生モードへの切り替え時、或いは、代表画像（インデックス）一覧表示の指示があったときに、後述の如く内蔵記録媒体１１１、または外付け記録媒体１１２に記録された代表画像の一覧画面を表示部１１４に表示する。

動画像を撮影（記録）する時は、操作部１１３から動画記録の指示を受けると、撮像部１０１で得られた映像信号を映像信号処理部１０２においてデジタルデータ（動画像データ）に変換し、フレームメモリ１０６に格納する。このとき、マイク１０４により取得した音声信号も音声信号処理部１０３においてデジタルデータ（音声データ）に変換し、フレームメモリ１０６に格納する。ビデオ／オーディオコーデック１０８は、フレームメモリ１０６に格納された動画像データ及び音声データをそれぞれ圧縮し、多重化処理部１１５により多重化して、ストリームデータとしてストリームバッファ１０９に格納する。そして、記録再生制御部１１０は、ストリームバッファ１０９に格納されたストリームデータを内蔵記録媒体１１１もしくは外付け記録媒体１１２へ動画像ファイルとして記録する。

ユーザは操作部１１３を操作することにより、内蔵記録媒体１１１及び外付け記録媒体１１２のうち、何れかを選択し、選択した方の記録媒体に動画像ファイルを記録する。そして、記録停止の指示があると、ストリームデータの記録を停止する。本実施形態では、撮影開始の指示から撮影停止の指示までの間に記録した一つのシーンの動画、音声のストリームデータを一つのファイルとして記録する。

一方、静止画像を撮影（記録）する時は、操作部１１３から静止画記録の指示を受けると、撮像部１０１で得られた映像信号を映像信号処理部１０２においてデジタルデータ（静止画像データ）に変換し、フレームメモリ１０６に格納する。静止画コーデック１１６は、フレームメモリ１０６に格納された静止画像データをシステム制御部１０５から指示された目標圧縮率に合わせて符号化し、符号化した静止画像データをメモリ１０７に格納する。そして、記録再生制御部１１０は、メモリ１０７に格納された静止画像データを内蔵記録媒体１１１もしくは外付け記録媒体１１２へ静止画像ファイルとして記録する。

再生モードにて動画像を再生する時は、操作部１１３から再生の指示を受けると、システム制御部１０５は、以下のような制御を行う。まず、内蔵記録媒体１１１または外付け記録媒体１１２から動画ファイルを再生し、ファイルに格納されたストリームデータをストリームバッファ１０９に格納するよう記録再生制御部１１０を制御する。このとき、ユーザは操作部１１３を操作することにより、内蔵記録媒体１１１及び外付け記録媒体１１２のうち、何れかを選択し、選択した方の記録媒体から動画像ファイルを再生する。多重化処理部１１５は、ストリームバッファ１０９に格納されたストリームデータを動画像データ及び音声データに分離する。そして、ビデオ／オーディオコーデック１０８は、分離された動画像データ及び音声データをそれぞれ復号化してフレームメモリ１０６に格納する。そして、展開された動画像データを映像信号処理部１０２によって適切な信号処理を施し、表示部１１４の液晶パネルに動画像として表示する。また、展開された音声データを音声信号処理部１０３により適切な信号処理を施し、不図示のスピーカーから音声として出力する。そして、再生停止の指示があると、記録媒体からのストリームデータの再生を停止する。再生が停止されると、表示部１１４には、後述の様に、代表画像の一覧画面が表示される。

一方、静止画像を再生する時は、操作部１１３から再生の指示を受けると、システム制御部１０５は、内蔵記録媒体１１１または外付け記録媒体１１２から静止画像データを再生し、メモリ１０７に格納するよう記録再生制御部１１０を制御する。静止画コーデック１１６は、メモリ１０７に格納された静止画像データを復号化し、フレームメモリ１０６に格納する。そして、システム制御部１０５の制御により、表示部１１４の液晶パネルに静止画像として表示する。

また、再生モードへの切り替え指示、或いは、操作部１１３から一覧表示の指示を受けると、システム制御部１０５は、以下のような制御を行う。まず、内蔵記録媒体１１１または外付け記録媒体１１２から画像データを再生することにより代表画像データを生成するよう記録再生制御部１１０を制御する。このとき、動画像について、例えば、一つのシーンの先頭フレームなど、ストリーム中の一つのフレームの画像データを使って代表画像データを生成する。また、予め縮小画像が動画像ファイルに含まれている場合は、その縮小画像データから代表画像データを生成してもよい。なお、縮小画像をそのまま代表画像として用いることが可能な場合は、そのまま代表画像データとして用いてもよい。そして、システム制御部１０５は、生成した代表画像データをメモリ１０７に格納する。次に、静止画コーデック１１６により代表画像データを復号してフレームメモリ１０６に格納し、システム制御部１０５の制御により、表示部１１４の一覧表示の所定の位置にその代表画像を表示する。

図２は、図１におけるシステム制御部１０５の詳細な機能構成例を示すブロック図である。
図２に示すように、システム制御部１０５は、プログラムを実行する不図示のＣＰＵと、エントリ取得部２０２と、優先度判断部２０３とを備えている。

エントリ取得部２０２は、内蔵記録媒体１１１及び外付け記録媒体１１２のファイルシステムに従ってファイルやディレクトリのエントリを取得する。優先度判断部２０３は、後述の様に、代表画像データの生成を開始してから代表画像を表示するまでの時間を判断し、ファイルを読み出して代表画像データを生成する順番（代表画像を表示する順番）を決定する。

図３は、優先度を判定して代表画像を表示する処理手順の一例を示すフローチャートである。本実施形態において、代表画像を表示する方法は大きく分けて二つの処理からなる。具体的には、内蔵記録媒体１１１または外付け記録媒体１１２から静止画像ファイル、動画像ファイルを取得し、表示する優先度を判定する処理（Ｓ３０１）と、判定結果を元に代表画像を表示する処理（Ｓ３０２）とからなる。

まず、静止画像ファイル、動画像ファイルを取得し、表示する優先度を判定する処理（Ｓ３０１）について、図４のフローチャートを参照しながら説明する。図４は、優先度を判定する処理手順の一例を示すフローチャートである。なお、図４に示す各処理は、システム制御部１０５の制御により行われる。
操作部１１３から代表画像を表示するよう指示を受けると、エントリを取得する（Ｓ４０１）。具体的にはまず、記録媒体にどのようなファイルが存在するかを確認する。

図５（ａ）は、記録媒体内のデータの配置例を示す図である。
図５（ａ）において、先頭領域であるブートセクタ５０１には、管理情報のパラメータデータが記録され、管理テーブル５０２には、ファイルの使用状況を表すテーブルが記録されている。また、画像ファイル（静止画、動画）等が記録されているデータ領域５０４が配置されている。データ領域５０４には、画像ファイルの他、デジタルビデオカメラ１００では取扱いのできないファイルや、サブディレクトリ等が記録されている。

図５（ｂ）は、図５（ａ）のルートディレクトリ５０３の構成例を示す図である。
図５（ｂ）に示すように、ルートディレクトリ５０３は、ブートセクタ５０１に記録されたエントリ数のエントリの集合体で構成され、それぞれ３２バイトで構成されるエントリ０，エントリ１，エントリ２，エントリ３，・・・が存在する。このようにＳ４０１では、システム制御部１０５のエントリ取得部２０２は、記録再生制御部１１０を介して内蔵記録媒体１１１または外付け記録媒体１１２に記録されているすべてのエントリを読み出し、メモリ１０７に格納する。

また、システム制御部１０５は、代表画像を表示する優先度を管理する優先度管理テーブルを生成する。システム制御部１０５は、優先度の管理ファイルを生成し、例えば内蔵記録媒体１１１に優先度管理テーブルの内容を管理ファイルとして書き込む。優先度管理テーブルはエントリ番号、ファイル名、画像ファイルのフォーマット、画像の幅、高さ、縮小画像の有無、優先度等の情報を格納する。また、エントリはファイルが登録されるごとにカウントアップされていくものである。なお、管理ファイルを生成せずに、メモリ１０７に優先度管理テーブルなど同等の内容を保持しておいてもよく、ファイルシステムのデータ領域５０４にユーザが自由に利用できる領域があればその領域を利用して優先度の管理を行ってもよい。

次に、システム制御部１０５は、メモリ１０７に格納されているエントリから先頭のエントリを読み出す（Ｓ４０２）。そして、読み出したエントリに対応するファイルが本実施形態のデジタルビデオカメラ１００に対応しており、再生可能なファイルであるか否かを確認する（Ｓ４０３）。本実施形態のデジタルビデオカメラ１００は、ＪＰＥＧ形式やＲＡＷ形式の静止画像ファイルやＭＰＥＧ形式の動画像ファイルに対応しているものとする。ここで、ＲＡＷ形式の静止画像ファイルとは、ＣＣＤセンサやＣＭＯＳセンサなどの撮像素子から出力され、映像信号処理を施すことなくデジタル化して非圧縮で記録したものである。

システム制御部１０５は、Ｓ４０２で読み出したエントリに対応するファイルの拡張子の情報を取得し、メモリ１０７に格納する。本実施形態のデジタルビデオカメラ１００で再生できるファイル形式の拡張子の情報はメモリ１０７に格納されており、読み出したファイルの拡張子と比較して対応しているかどうかを確認する。この確認の結果、拡張子が対応しているものでない場合は、優先度の管理ファイルへの書き込みは行わないため、Ｓ４１０に進む。なお、優先度の管理ファイルに書き込まれなかったファイルの画像は図３のＳ３０２において表示されない。

一方、拡張子が対応しているものである場合は、記録再生制御部１１０は、このエントリに対応したファイルのファイルヘッダを内蔵記録媒体１１１または外付け記録媒体１１２から読み出す（Ｓ４０４）。ここで、画像ファイルは、画像ファイルの構造についての規格、画像データのパラメータ等の情報が書き込まれるファイルヘッダと、ＪＰＥＧ規格等の画像データの記録圧縮データ等が書き込まれる画像データ領域とを有する。システム制御部１０５は、画像データに関するパラメータの中から画像ファイルのフォーマット、圧縮率、解像度などのファイルヘッダの情報を取得してメモリ１０７に格納する。

次に、取得したファイルヘッダの情報に、縮小画像に関する情報があるか否かを判断する（Ｓ４０５）。縮小画像に関する情報がある場合にはその縮小画像を用いて代表画像を生成することができる。例えば、ＪＰＥＧ形式の静止画像ファイルにはインデックス表示用の画像としてファイルヘッダに縮小画像が記録されているものがある。この場合、ファイルサイズの小さい縮小画像データを読み出すので、画像ファイルへアクセスする時間が減少する。また、縮小画像から代表画像を生成すると代表画像の解像度が小さくなるため代表画像の復号時間が短くなる。このことから、このような代表画像を優先的に表示するようにする。

このように、Ｓ４０５の判断の結果、読み出したエントリのファイルヘッダに縮小画像に関する情報がある場合は表示までの時間が短いということになる。したがって、システム制御部１０５の優先度判断部２０３は、ファイル名やファイルヘッダの情報などとともに優先度の管理ファイルにその画像ファイルの優先度として、最も優先度が高いことを示す所定値（ここでは１）を書き込む（Ｓ４０６）。

一方、縮小画像に関する情報がない場合は、画像ファイルの画素数が所定値以下であるかどうかを確認する（Ｓ４０７）。画素数が大きい画像の場合、ファイルサイズが大きいため記録媒体から読み出して代表画像データを生成し、復号化するまで多くの時間がかかる。また、代表画像を主画像から生成する際に縮小処理を行うため、元の画像の画素数と代表画像の画素数とに応じて、代表画像を作成する際に要する時間が異なる。本実施形態では、表示までの一連の処理時間がユーザにストレスを与えないような時間に収まるように、ここでの閾値としての画素数を設定する。

以上のように画素数が所定値以下である場合は、システム制御部１０５の優先度判断部２０３は、ファイル名やヘッダ情報などとともに優先度の管理ファイルに、この画像ファイルの優先度が２番目であることを示す所定値（ここでは２）を書き込む（Ｓ４０８）。それとは反対に画像ファイルの画素数が閾値を超える場合は、システム制御部１０５の優先度判断部２０３は、ファイル名やヘッダ情報などとともに優先度の管理ファイルに、最も優先度が低いことを示す所定値（ここでは３）を書き込む（Ｓ４０９）。この様に、優先度が低いほど、画像ファイルの代表画像を表示するまでに要する時間が長いことを示している。

次に、ルートディレクトリ５０３内に次のエントリがまだ存在するか否かを確認し（Ｓ４１０）、次のエントリがない場合には処理を終了する。一方、ルートディレクトリ５０３内に次のエントリが存在するときには、次のエントリをメモリ１０７から取得する（Ｓ４１１）。

図６は、図４の処理により生成決定される優先度管理テーブルの一例を示す図である。
図６に示すように、記録媒体から読み出して代表画像を生成して表示するまでの時間が短いものに対して高い優先度が設定されるようになっている。なお、図６ではエントリの順番はファイル名でソートされているが、画像ファイルのサイズ、日付等でソートをしてエントリの順番を変更してもよい。後述の様に、本実施形態では、代表画像の一覧画面を生成する際に、この管理テーブルに記述された順番に従って代表画像の表示位置を決定する。本実施形態では、ルートディレクトリにすべてのファイルのエントリがあることを想定して優先度を付加する方法を説明したが、サブディレクトリがルートディレクトリの下にある場合にはその中のファイルのエントリも同様な方法で優先度を付加する。また、記録媒体が複数あるときも記録媒体ごとに優先度の判断を行う。

次に、優先度に基づいて代表画像を表示する処理（Ｓ３０２）について、図７のフローチャートを参照しながら説明する。図７は、優先度に基づいて代表画像を表示する処理手順の一例を示すフローチャートである。なお、図７に示す各処理は、システム制御部１０５の制御により行われる。

まず、システム制御部１０５は、表示条件を初期設定する（Ｓ７０１）。表示条件は、代表画像に表示すべき代表画像のエントリと、表示する代表画像の優先度の情報を含む。例えば、図８（ａ）の様に、一画面に六画面の代表画像を表示する場合、表示する順に６個のエントリを代表画像のエントリとして設定する。ここでは、図６の管理テーブルにおける先頭のエントリから順に、６個のエントリの代表画像を表示するものとする。また、優先度管理テーブルで優先度が１の画像ファイルのみを表示する設定を最初に行う。次に、システム制御部１０５は、優先度管理テーブルの先頭のエントリをメモリ１０７から取得する（Ｓ７０２）。そして、システム制御部１０５は、読み出したエントリのファイルの優先度が表示条件にあうか否かを確認する（Ｓ７０３）。優先度が表示条件に合わない場合は、予めメモリ１０７に格納されている代替画像を表示部１１４に表示する（Ｓ７０４）。本実施形態では、代替画像として、代表画像を作成中である旨の情報を表示する。

一方、優先度が表示条件に合う場合は、記録再生制御部１１０は、読み出したエントリに該当する画像ファイルを読み出して代表画像データを生成する。そして、ビデオ／オーディオコーデック１０８または静止画コーデック１１６により代表画像データを復号し、システム制御部１０５は、所望のサイズにリサイズして表示部１１４へ代表画像を表示する（Ｓ７０５）。表示部１１４へ出力するときのレイアウトは、図６に示す優先度管理テーブルおけるエントリの順番に並べてもよく、画像ファイルを読み出した順番で並べてもよい。

次に、システム制御部１０５は、優先度管理テーブルに次のエントリがないか否かを確認する（Ｓ７０６）。次のエントリがある場合は、システム制御部１０５は、優先度管理テーブルにおける次のエントリをメモリ１０７から読み出す（Ｓ７０７）。一方、次のエントリがない場合は、優先度１〜３の画像ファイルの代表画像をすべて表示したか否かを確認する（Ｓ７０８）。本実施形態では優先度を３段階に設けているが、画像を表示させるシステムの構成によって優先度を何段階に設定してもよい。一方、優先度１〜３の画像ファイルの代表画像をすべて表示していない場合は、表示条件となる優先度を１下げる（Ｓ７０９）。例えば、優先度が１である画像ファイルの代表画像をすべて表示したら、表示条件となる優先度を下げて優先度２を表示条件とする。本実施形態では、以上のような手順により表示する順序を決定する。

この様に代表画像の一覧画面を表示した後、ユーザが操作部１１３を操作して、一覧画面の切り替えを指示すると、再度図７の処理を実行し、Ｓ７０１にて次の一覧画面にて表示すべき代表画像のエントリを設定し直し、代表画像を表示する。また、本実施形態では、代表画像の一覧画面を表示する際に、管理テーブルの先頭のエントリから順に表示する場合を説明したが、エントリの途中から表示することももちろん可能である。

図８（ａ）は、図７の処理手順により図６の優先度管理テーブルに基づいて表示部１１４に表示された代表画像の一例を示す図である。なお、図８（ａ）に示す例は、優先度１の画像ファイルに対して代表画像の表示が終了した段階のものである。また、図８（ａ）では表示部１１４に６枚の代表画像を並べる構成になっているが何枚並べる構成にしてもよい。画像１００１は図６のエントリ０に相当する画像ファイルの代表画像であり、画像１００２は図６のエントリ１に相当する画像ファイルの代表画像である。以下同様に、画像１００３はエントリ２、画像１００４はエントリ３、画像１００５はエントリ４、画像１００６はエントリ５の画像ファイルの代表画像である。また、画面のレイアウトは左上から右下に向かってエントリの順番で表示されている。優先度が１ではない画像ファイルに関しては、Ｓ７０９で表示条件が変更されるまでメモリ１０７に予め格納されている「画像表示待ち」という通知の代替画像が表示される。

図８（ｂ）は、優先度管理テーブルに基づいて表示部１１４に表示された代表画像の他の一例を示す図であり、図８（ａ）に示す例と同様に優先度１の画像ファイルの代表画像のみを表示した段階のものである。図８（ｂ）では、撮影日時が近いものを横一列に並べており、短い時間で多くの画像を効率よく確認することができる。このように表示する代表画像が多いとより効果的である。

なお、本実施形態では、縮小画像の有無と、画像の画素数とに基づいて代表画像を表示する際に要する時間を判別し、その判別結果により優先度を設定していたが、これらの条件以外の条件を使ってもよい。例えば、画像データの圧縮方式や圧縮率、ファイルのサイズなどのパラメータも条件の１つとしてもよい。

本実施形態では、画像ファイルのエントリを取得するときに優先度管理テーブルを生成し、生成した優先度管理テーブルに従って代表画像を表示する方法について説明した。一方、画像ファイルのエントリを取得しながら代表画像を表示してもよい。この場合、図９のような優先度判定テーブルを予めメモリ１０７に格納しておき、ファイル名を取得したら画像ファイルの解析を行う。例えば、優先度判定テーブルには、縮小画像の有無、画像ファイルが記録されている記録媒体、画像ファイルのフォーマットなどの情報があり、優先度を決めるための条件として定められている。そして、優先度判定テーブルの中から該当する条件を探し出し、該当条件の優先度に従って表示するかどうかを判断し、条件に適合する場合に代表画像を表示する構成でもかまわない。

以上のように本実施形態によれば、縮小画像を有する画像ファイルの代表画像を優先的に表示し、縮小画像を有していない画像ファイルについてはサイズによって代表画像を表示する順番を決定するようにした。これにより、表示画面に複数の代表画像を表示させようとするときに、少ない時間でより多くの代表画像を表示させることができる。

（本発明に係る他の実施形態）
以上、本発明に係る画像処理装置の実施形態の例について説明したが、本発明は前述の実施形態の例に限定されるものではなく、各種の態様が採り得る。前述した本発明の実施形態における画像処理装置を構成する各手段、並びに画像処理方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図３、図４及び図７に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

１０５ システム制御部、１１０ 記録再生制御部、１１４ 表示部

Claims (4)

1. ＲＡＷファイル形式と、所定の圧縮方式により圧縮された圧縮画像のファイル形式とを含む複数のファイル形式の画像ファイルを処理する画像処理装置であって、
   記録媒体に記録された前記画像ファイルに含まれる画像データを用いて前記記録媒体に記録された複数の前記画像ファイルの代表画像を生成し、前記代表画像を表示装置に表示する表示手段と、
   前記記録媒体に記録された複数の前記画像ファイルの代表画像を前記表示装置に表示する場合に、前記画像ファイルのファイル形式に基づいて優先度を決定し、前記優先度に従って前記表示手段により前記代表画像を表示する画像ファイルの順番を制御する制御手段とを備え、
   前記制御手段は、前記圧縮画像のファイル形式の前記画像ファイルの代表画像を前記ＲＡＷファイル形式の前記画像ファイルの代表画像よりも先に表示するように前記表示手段を制御することを特徴とする画像処理装置。
2. 前記表示手段は、前記画像ファイルの縮小画像が前記記録媒体に記録されている場合には前記縮小画像を用いて前記代表画像を生成し、前記画像ファイルの縮小画像が前記記録媒体に記録されていない場合には前記画像ファイルに含まれる画像データを用いて前記代表画像を生成し、
   前記制御手段は更に、前記画像ファイルの前記縮小画像が前記記録媒体に記録されているか否かに基づいて前記優先度を決定し、前記記録媒体に記録された前記圧縮画像のファイル形式の複数の前記画像ファイルのうち、前記縮小画像が記録されている画像ファイルの代表画像を、前記縮小画像が記録されていない画像ファイルの代表画像よりも先に表示するように前記表示手段を制御することを特徴とする請求項１に記載の画像処理装置。
3. 前記圧縮画像のファイル形式は、ＪＰＥＧ形式を含むことを特徴とする請求項１または２に記載の画像処理装置。
4. ＲＡＷファイル形式と、所定の圧縮方式により圧縮された圧縮画像のファイル形式とを含む複数のファイル形式の画像ファイルを処理する画像処理方法であって、
   記録媒体に記録された前記画像ファイルに含まれる画像データを用いて前記記録媒体に記録された複数の前記画像ファイルの代表画像を生成し、前記代表画像を表示装置に表示する表示工程と、
   前記記録媒体に記録された複数の前記画像ファイルの代表画像を前記表示装置に表示する場合に、前記画像ファイルのファイル形式に基づいて優先度を決定し、前記優先度に従って前記表示工程により前記代表画像を表示する画像ファイルの順番を制御する制御工程とを備え、
   前記制御工程は、前記圧縮画像のファイル形式の前記画像ファイルの代表画像を前記ＲＡＷファイル形式の前記画像ファイルの代表画像よりも先に表示するように前記表示工程を制御することを特徴とする画像処理方法。

Images