JP5428243B2

JP5428243B2 - 画像処理装置および電子カメラ並びに画像振り分けプログラム

Info

Publication number: JP5428243B2
Application number: JP2008219682A
Authority: JP
Inventors: 良上原
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2008-08-28
Filing date: 2008-08-28
Publication date: 2014-02-26
Anticipated expiration: 2028-08-28
Also published as: JP2010056884A

Description

本発明は、入力する画像を撮影対象毎に振り分ける画像処理技術に関する。

近年、大容量のメモリを搭載した電子カメラが広く普及している。一般に、このような電子カメラは、画像を撮影順に所定の番号を付けてメモリに記憶するようになっている。このため、様々な撮影対象の画像が同じ記憶領域に一緒に記憶されていた。

一方、電子カメラで撮影される人物の顔を認識し、その人物に応じた撮影条件を設定する技術が知られている（例えば、特許文献１参照）。
特開２００７−１５０６０３号公報

従来技術では、撮影対象が異なる撮影画像が電子カメラのメモリの同じ記憶領域に一緒に記憶されるため、撮影した画像を撮影対象に応じてそれぞれ別々のフォルダに分類して記憶したい場合は、撮影者が撮影後に画像を１枚ずつ見ながら分類する必要があった。特に、スポーツ撮影など同じ被写体を大量に撮影する場合や、大容量メモリに数年間に亘る大量の撮影画像が保存されている場合など、膨大な数の撮影画像を撮影対象毎に分類する作業は煩雑で手間が掛かるという問題があった。また、撮影される人物の顔を認識して撮影条件を変える従来技術は、人物の顔に限定されるため顔の認識が難しいアングルや風景などの被写体には適用することが難しいという問題があった。

本発明の目的は、予め登録された撮影対象に応じて自動的に撮影画像を振り分けることが可能な画像処理装置および電子カメラ並びに画像振り分けプログラムを提供することである。

本発明に係る画像処理装置は、撮影時の焦点検出領域情報を含む画像を入力する画像入力部と、画像認識用の少なくとも１つの画像パターンを事前に登録する画像パターン登録部と、前記画像パターン毎に異なる記憶先情報を記憶する記憶部と、前記画像入力部から入力した画像において、前記画像パターン登録部で登録された前記画像パターンの検出を前記焦点検出領域情報が示す焦点検出領域から開始して順に周辺領域に拡大しながら検出する画像認識部と、前記画像認識部が検出した前記画像パターン毎に前記記憶先情報が示す記憶先に、前記画像入力部から入力する画像を記憶する制御部とを有することを特徴とする。

或いは、本発明に係る画像処理装置は、撮影時の焦点検出領域情報を含む撮影済みの画像を再生する画像再生部と、前記画像再生部で再生中の画像から画像認識用の少なくとも１つの画像パターンを登録する画像パターン登録部と、前記画像パターン毎に異なる記憶先情報を記憶する記憶部と、前記画像再生部が再生する画像において、前記画像パターン登録部で登録された前記画像パターンの検出を前記焦点検出領域情報が示す焦点検出領域から開始して順に周辺領域に拡大しながら検出する画像認識部と、前記画像認識部が検出した前記画像パターン毎に前記記憶先情報が示す記憶先に、前記画像再生部から入力する画像を記憶する制御部とを有することを特徴とする。

本発明に係る電子カメラは、撮像部と前記撮像部で画像を撮影する際の焦点検出領域を設定するＡＦ部とを有する電子カメラであって、画像認識用の少なくとも１つの画像パターンを撮影前に登録する画像パターン登録部と、前記画像パターン毎に異なる記憶先情報を記憶する記憶部と、前記撮像部で撮影した画像において、前記画像パターン登録部で登録された前記画像パターンの検出を前記ＡＦ部で設定された前記焦点検出領域から開始して順に周辺領域に拡大しながら検出する画像認識部と、前記画像認識部が検出した前記画像パターン毎に前記記憶先情報が示す記憶先に、前記撮像部から入力する画像を記憶する制御部とを有することを特徴とする。

或いは、本発明に係る電子カメラは、撮像部と前記撮像部で画像を撮影する際の焦点検出領域を設定するＡＦ部とを有する電子カメラであって、画像認識用の少なくとも１つの画像パターンを撮影前に登録する画像パターン登録部と、前記撮像部で撮影した画像において、前記画像パターン登録部で登録された前記画像パターンの検出を前記ＡＦ部で設定された前記焦点検出領域から開始して順に周辺領域に拡大しながら検出する画像認識部と、前記画像認識部が検出した前記画像パターンを示す画像パターン情報を前記撮像部で撮影した画像に付加して記憶する制御部とを有することを特徴とする。

本発明に係る画像振り分けプログラムは、撮影時の焦点検出領域情報を含む画像を入力する画像入力手順と、画像認識用の少なくとも１つの画像パターンを事前に登録する画像パターン登録手順と、前記画像パターン毎に異なる記憶先情報を記憶する記憶手順と、前記画像入力手順で入力した画像において、前記画像パターン登録手順で登録された前記画像パターンの検出を前記焦点検出領域情報が示す焦点検出領域から開始して順に周辺領域に拡大しながら検出する画像認識手順と、前記画像認識手順が検出した前記画像パターン毎に前記記憶先情報が示す記憶先に、前記画像入力手順で入力する画像を記憶する制御手順とを有することを特徴とする。

本発明によれば、入力する画像の撮影対象を認識し、自動的に撮影対象に応じた記憶場所に振り分けて記憶することができるので、撮影対象毎に分類する煩雑な作業が不要になる。

以下、本発明に係る画像処理装置および電子カメラ並びに画像振り分けプログラムに関する各実施形態について図面を用いて詳しく説明する。

（第１の実施形態）
図１は、本実施形態に係る電子カメラ１０１の構成を示すブロック図である。尚、第１の実施形態に係る電子カメラ１０１は、本発明に係る画像処理装置および画像振り分けプログラムの機能を含んでいる。
［電子カメラ１０１の構成］
図１において、電子カメラ１０１は、光学レンズ系１０２と、撮像部１０３と、ＡＦＥ（アナログフロントエンド）１０４と、Ａ／Ｄ変換部１０５と、画像メモリ１０６と、画像処理部１０７と、表示処理部１０８と、表示モニタ１０９と、カードＩ／Ｆ１１０と、メモリカード１１１と、ＣＰＵ（中央演算ユニット）１１２と、メモリ１１３と、操作部１１４と、ＡＦセンサ１１５と、レンズ駆動部１１６と、閃光発光部１１７とで構成される。

光学レンズ系１０２を通して入射する被写体光は、撮像部１０３の受光面に結像される。撮像部１０３の受光面には、二次元状に光電変換部が配置され、受光した光量に応じて電気信号に変換する。ＡＦＥ１０４は、撮像部１０３から出力される電気信号のノイズ除去やゲイン調整などを行う。Ａ／Ｄ変換部１０５は、ＡＦＥ１０４から出力されるアナログの電気信号をデジタルの画像データに変換し、撮影画像として画像メモリ１０６に一時的に記憶する。

画像処理部１０７は、画像メモリ１０６に一時的に記憶された画像のホワイトバランス処理や色補間処理、或いは画像圧縮処理などの画像処理を行う。特に、本実施形態では、画像処理部１０７は画像パターン認識処理も行う。尚、画像パターン認識処理については、後で詳しく説明する。

画像処理部１０７で画像処理された撮影画像は、画像メモリ１０６やカードＩ／Ｆ１１０を介して接続されているメモリカード１１１に記憶される。特に、本実施形態では、撮影する画像の撮影対象に応じてメモリカード１１１の中に予め登録された記憶フォルダ（記憶先）に自動的に振り分けて記憶する。例えば、図１に示すように、記憶フォルダ１５１には「人物Ａ−背番号８」，記憶フォルダ１５２には「人物Ｂ−背番号４」，記憶フォルダ１５３には「風景Ａ−富士山」，記憶フォルダ１５４には「風景Ｂ−自動車」がそれぞれ登録されている。画像処理部１０７は、画像パターン認識処理によって撮影対象を判別し、撮影対象に対応する記憶フォルダに撮影画像を記憶する。例えば、スポーツシーンで撮影した画像において、背番号８を付けた人物Ａを画像パターン認識した場合、その撮影画像は「人物Ａ−背番号８」用に登録された記憶フォルダ１５１に記憶される。ここで、該当する撮影対象が登録されていない場合は、「その他」用の記憶フォルダ１５５に記憶する。尚、画像パターンの登録処理（以降、サンプル登録処理と称す）や撮影時の画像振り分け処理などについては、後で詳しく説明する。

表示処理部１０８は、画像メモリ１０６に記憶されている画像やカードＩ／Ｆ１１０を介して接続されているメモリカード１１１に記憶されている画像を読み出して、表示モニタ１０９に表示する。また、表示処理部１０８は、ＣＰＵ１１２から出力される文字情報も表示モニタ１０９に表示する。

ＣＰＵ１１２は、予め内部に記憶されたプログラムによって動作し、操作部１１４から入力する撮影者の操作情報に応じて、電子カメラ１０１の各部を制御する。例えば、操作部１１４でレリーズ釦２０１（後述）が押されると、撮像部１０３，ＡＦＥ１０４，Ａ／Ｄ変換部１０５，画像メモリ１０６の各部に画像取り込みのタイミングを与え、必要に応じて閃光発光部１１７を発光させて画像を撮影し、画像メモリ１０６に取り込む。或いは、操作部１１４のズーム釦２０２（後述）が押されると、レンズ駆動部１１６に指令して、光学レンズ系１０２のズーム位置を可変する。また、ＡＦセンサ１１５からフォーカス情報を入力して合焦位置を求め、レンズ駆動部１１６に指令してフォーカスレンズ位置を可変し、焦点を合わせる。

ここで、本実施形態では、ＣＰＵ１１２は予め撮影者が操作部１１４を操作して設定したＡＦエリア（オートフォーカスする画面上の領域）で合焦位置を求めて、フォーカス制御するものとし、ＡＦエリア情報は、撮影画像のデータに付加されてメモリカード１１１に記憶される。例えば、図２に示すように、メモリカード１１１内に記憶される画像は、その画像が撮影された時のＡＦエリア情報（焦点検出領域情報）が付加されて記憶される。例えば、Ａ１．ｊｐｇの画像ファイルには撮影時のＡＦエリアの位置Ａ１と範囲Ａ１とが付加される。同様に、Ａ２．ｊｐｇの画像ファイルには撮影時のＡＦエリアの位置Ａ２と範囲Ａ２とが付加され、Ａ３．ｊｐｇの画像ファイルには撮影時のＡＦエリアの位置Ａ３と範囲Ａ３とが付加される。尚、ＡＦエリア情報の付加は、例えば、Ｅｘｉｆ規格の画像ファイルの場合、ユーザエリアに記憶される。

尚、メモリ１１３は、ＣＰＵ１１２や画像処理部１０７などの処理に必要なパラメータやテーブルなどを記憶しておくためのメモリである。
［電子カメラ１０１の撮影モード］
次に、本実施形態に係る電子カメラ１０１の撮影モードについて説明する。本実施形態に係る電子カメラ１０１は、図３に示すように、撮影モード選択メニューにおいて、「通常撮影モード」２５１と「振り分け撮影モード」２５２とを選択することができる。図３は、電子カメラ１０１の表示モニタ１１０側の様子を描いた説明図である。図３において、操作部１１４に含まれる操作ボタンの一部として、レリーズ釦２０１と、ズーム釦２０２と、振り分け釦２０３と、カーソル釦２０４と、ＯＫ釦２０５とを有する。

「通常撮影モード」２５１と「振り分け撮影モード」２５２との選択は、カーソル釦２０４とＯＫ釦２０５とを用いて行う。例えば、カーソル釦２０４で「振り分け撮影モード」２５２を選択し、ＯＫ釦２０５を押すと選択が確定する。図３では、「振り分け撮影モード」２５２を選択した状態（太枠で囲まれている）を示している。

一方、「通常撮影モード」２５１が選択された場合は、撮影画像の自動振り分けを行わず、一般的な電子カメラと同様に撮影された画像はメモリカード１１２の中の同じフォルダに順番に記憶される。

次に、「振り分け撮影モード」２５２が選択された場合について説明する。「振り分け撮影モード」２５２が選択された場合は、先ず、サンプル登録処理を行う。サンプル登録処理は、撮影された画像を撮影対象別に自動的に振り分けて記憶するための記憶フォルダを登録する処理である。
［サンプル登録処理］
ここで、サンプル登録処理について、図４のフローチャートを用いて説明する。尚、図４の処理は、図１の画像処理部１０７とＣＰＵ１１２とが連携し、ＣＰＵ１１２に予め記憶されたプログラムによって処理される。以下、サンプル登録処理を順に説明する。

（ステップＳ１０１）サンプル登録処理を開始する。例えば、図３で説明したように、「振り分け撮影モード」２５２が選択されるとサンプル登録処理が開始される。

（ステップＳ１０２）既にサンプル登録されている登録フォルダの一覧を表示する。図５（ａ）は登録フォルダ名の一覧表示の例である。例えば、表示モニタ１０９の画面には、図１の記憶フォルダ１５１のフォルダ名「人物Ａ−背番号８」３０１と，記憶フォルダ１５２のフォルダ名「人物Ｂ−背番号４」３０２と，記憶フォルダ１５３のフォルダ名「風景Ａ−富士山」３０３とが表示されている。

例えば、図５（ａ）において、新規にサンプル登録を行う場合は、表示モニタ１０９の画面に表示されている「新規作成」３０４を選択する。尚、「新規作成」３０４の選択方法は、カーソル釦２０４でカーソル３０５を動かして「新規作成」３０４に合わせ、ＯＫ釦２０５を押下して選択する。選択されると「新規作成」３０４が太線枠で表示される。

また、既存フォルダを選択する場合は、例えば、図５（ｂ）に示すように、カーソル釦２０４でカーソル３０５を動かしてフォルダ名「人物Ａ−背番号８」３０１に合わせ、ＯＫ釦２０５を押下して選択する。選択されるとフォルダ名「人物Ａ−背番号８」３０１が太線枠で表示される。

また、複数の既存フォルダを選択する場合は、例えば、図５（ｃ）に示すように、カーソル釦２０４でカーソル３０５を動かしてフォルダ名「人物Ａ−背番号８」３０１に合わせ、ＯＫ釦２０５を押下して選択し、さらに、カーソル釦２０４でカーソル３０５を動かしてフォルダ名「人物Ｂ−背番号４」３０２に合わせ、ＯＫ釦２０５を押下して選択する。選択されるとフォルダ名「人物Ａ−背番号８」３０１とフォルダ名「人物Ｂ−背番号４」３０２とが太線枠で表示される。

このようにして、既存のフォルダを使用するか新規作成を行うかを選択した後、「終了」３０６にカーソル釦２０４でカーソル３０５を合わせてＯＫ釦２０５を押下し、フォルダ選択メニューを終了する。

（ステップＳ１０３）ステップＳ１０２で選択した内容に応じて、新規にサンプル登録するか否かを判別する。例えば、ステップＳ１０２で「新規作成」３０４が選択されていた場合はステップＳ１０４に進み、既存のフォルダ名が選択されていた場合はステップＳ１０７に進む。

（ステップＳ１０４）新規にサンプル登録するために、電子カメラ１０１でサンプル登録したい画像を捉えてレリーズ釦２０１を押下する。この時、画像パターン認識するための情報が分かり易いように、できるだけ撮影画面一杯にサンプル登録したい画像を捉えるのが好ましい。

（ステップＳ１０５）撮像部１０３から画像メモリ１０６に画像を取り込み、図６に示すように、画像パターン認識用の画像として表示モニタ１０９に表示する。

（ステップＳ１０６）図６の入力枠４０１に示すように、新たにサンプル登録する画像パターン認識用の画像に対応する記憶フォルダ名を入力する。尚、フォルダ名の入力は、例えば、カーソル釦２０４を用いて入力枠４０１にひらがなや変換後の漢字などをスクロール表示してＯＫ釦２０５で選択して入力する。これにより、入力されたフォルダ名に対応する記憶フォルダがメモリカード１１１内に作成される。この時、作成された記憶フォルダのフォルダ名（記憶先情報）と、ステップＳ１０５で作成した画像パターン認識用の画像とが対応するテーブルをメモリ１１３に記憶する。例えば、図７に示すように、フォルダ名「人物Ａ−背番号８」に対応させて画像パターン認識用の画像を認識パターンＡとしてメモリ１１３に記憶する。このように、メモリ１１３には、図７に示すような認識パターンテーブルが記憶されており、ＣＰＵ１１２はフォルダ名と認識パターンとの対応を知ることができる。ここで、ステップＳ１０７で指定したフォルダまたは新たにサンプル登録したフォルダは、例えば、図７の認識パターンテーブルのように、指定されたフォルダ（画像パターン認識して振り分けるフォルダ）が分かるようになっている。尚、画像パターン認識用の画像もメモリ１１３に記憶される。

ここで、画像パターン認識用の画像は、図６に示すような画像そのものでも構わないが、エッジ抽出した輪郭画像であっても構わない。或いは、文字認識や色認識を行っても構わない。例えば図６の場合は、背番号「８」と、ユニフォームの色など認識情報として記憶しても構わない。

（ステップＳ１０７）ステップＳ１０２で選択されていた既存のフォルダ名に対応する記憶フォルダを撮影画像の記憶場所に指定する。例えば、図５（ｂ）の場合は、図１のメモリカード１１１内の記憶フォルダ１５１を指定し、図５（ｃ）の場合は、図１のメモリカード１１１内の記憶フォルダ１５１と記憶フォルダ１５２とを指定する。尚、どのフォルダが指定されているかは、後述する認識パターンテーブルに記憶される。

（ステップＳ１０８）既存のフォルダが指定された場合、その既存のフォルダに登録済みの画像パターン認識用の画像を使用するのか、指定された既存のフォルダに新たに画像パターン認識用の画像をサンプル登録するのかを選択します。新たにサンプル登録する場合はステップＳ１０９に進み、既存のフォルダに登録済みの画像パターン認識用の画像を使用する場合はステップＳ１１１に進んでサンプル登録処理を終了する。尚、本処理ステップによって、同一人物が異なるユニフォームを着用する場合などに対応することができる。例えば、サッカーや野球などにおいては、同一選手であってもホーム球場での試合と、アウェー球場（対戦相手のホーム球場）での試合とでユニフォームの色が変わる場合が有り、このような場合に既存のフォルダに異なるユニフォームの選手を新たにサンプル登録することができる。

（ステップＳ１０９）ステップＳ１０４と同じ処理を行う。つまり、新規にサンプル登録するために、電子カメラ１０１でサンプル登録したい画像を捉えてレリーズ釦２０１を押下する。

（ステップＳ１１０）ステップＳ１０５と同じ処理を行う。つまり、撮像部１０３から画像メモリ１０６に画像を取り込み、図６に示すように、画像パターン認識用の画像として表示モニタ１０９に表示する。

（ステップＳ１１１）サンプル登録処理を終了する。

このようにして、事前にサンプル登録処理を行い、電子カメラ１０１で撮影する際に分類する画像の撮影対象毎（認識パターン毎）に対応する記憶フォルダを準備しておく。
［自動振り分け処理］
次に、撮影された画像を撮影対象別に自動的に振り分ける処理について説明する。本実施形態では、撮影対象毎に予め登録した画像認識パターンと撮影画像のパターンとが一致するか否かを画像パターン認識によって判断する。図８は、電子カメラ１０１で撮影を行う際の自動振り分け処理を示したフローチャートである。尚、図８の処理は、図１の画像処理部１０７とＣＰＵ１１２とが連携し、ＣＰＵ１１２に予め記憶されたプログラムによって処理される。以下、レリーズ釦押下時の画像振り分け処理を順に説明する。

（ステップＳ２０１）レリーズ釦押下時の画像振り分け処理を開始する。

（ステップＳ２０２）撮像部１０３から画像メモリ１０６に画像を取り込む。

（ステップＳ２０３）取り込んだ撮影画像において画像パターン認識を行う。ＣＰＵ１１２は、事前のサンプル登録処理で登録または指定した認識パターンを用いて画像パターン認識処理を行うよう画像処理部１０７に指令する。この時、画像処理部１０７は、ＡＦセンサ１１５から入力した撮影時のＡＦエリアの位置から順に周辺領域へ拡大しながら撮影画像全体に亘って画像パターン認識処理を行う。例えば、図７の場合は、認識パターンＡが指定されているので、画像処理部１０７は、ステップＳ２０２で画像メモリ１０６に画像を取り込んだ時のＡＦエリア位置から順に、認識パターンＡに相当する部分があるか否かを画像パターン認識する。この時、画像パターン認識した時点で認識パターンＡについての検出処理を終了する。

例えば、図６の認識パターンの場合、背番号「８」の画像パターン認識を行うことによって識別する。尚、この時、ユニフォームの色情報、例えば「黄色」などの情報を利用するようにすれば、より一層、被写体の認識精度を向上することができる。

（ステップＳ２０４）認識結果を判別する。認識パターンＡに相当する部分があった場合はステップＳ２０５に進み、認識パターンＡに相当する部分がなかった場合はステップＳ２０６に進む。

（ステップＳ２０５）認識パターンに対応するメモリカード１１１内の記憶フォルダに、画像メモリ１０６に一時的に記憶されている撮影画像を保存する。

（ステップＳ２０６）認識できなかった場合は、メモリカード１１１内の所定の記憶フォルダ（例えば、図１の「その他」の記憶フォルダ１５５）に、画像メモリ１０６に一時的に記憶されている撮影画像を保存する。

（ステップＳ２０７）レリーズ釦押下時の画像振り分け処理を終了する。尚、連続撮影の場合は、ステップＳ２０１からステップＳ２０７までの一連の処理を繰り返す。また、複数の認識パターンが登録または指定されている場合は、ステップＳ２０３において、複数の認識パターンについて画像認識処理を行うか、或いはステップＳ２０３からステップＳ２０６の処理を繰り返す。

このように、本実施形態では、撮影したその場で撮影対象に応じて自動的に振り分けて撮影対象毎に設けた記憶フォルダに分類して記憶するので、撮影後に分類する必要がない。

特に、撮影対象の判別は、ＡＦエリア位置から開始するので撮影対象を速く検出しやすい。これは、撮影者がＡＦエリアに設定している領域は撮影したい被写体がある場合が多いからである。この結果、撮影画像全体を端から順にサーチして画像パターン認識を行う場合に比べて大幅な時間短縮が可能となり、連写などにも対応することができる。尚、ステップＳ２０３において、画像処理部１０７は、ＡＦセンサ１１５から入力した撮影時のＡＦエリアの位置から順に周辺領域へ拡大しながら撮影画像全体に亘って画像パターン認識処理を行うようにしたが、ＡＦエリアの位置近傍のみに限定して画像パターン認識処理を行っても構わない。この場合は、さらに処理を高速化することができる。

また、本実施形態では、撮影画像を撮影対象毎の認識パターンに対応するメモリカード１１１内の記憶フォルダに記憶するようにしたが、撮影対象毎に記憶フォルダを設けずに、撮影画像に撮影対象を示す認識パターン情報を付加して撮影画像をメモリカード１１１に保存するようにしても構わない。この場合は、ステップＳ２０５およびステップＳ２０６の処理は、撮影対象毎に記憶フォルダに分けて保存するのではなく、撮影対象を示す認識パターン情報を付加して撮影画像をメモリカード１１１に保存する。尚、撮影対象を示す認識パターン情報は、例えば、Ｅｘｉｆ規格の画像ファイルの場合、撮影画像のユーザエリアに記憶される。

（第２の実施形態）
次に、第２の実施形態に係る電子カメラ１０１について説明する。尚、第２の実施形態に係る電子カメラ１０１は、本発明に係る画像処理装置および画像振り分けプログラムの機能を含んでいる。また、本実施形態に係る電子カメラ１０１の構成は、第１の実施形態の図１と同じである。

第１の実施形態に係る電子カメラ１０１は、撮影時にその場で撮影画像を撮影対象毎に分類して記憶フォルダに記憶するようにしたが、本実施形態に係る電子カメラ１０１は、撮影後に画像を振り分ける。従って、電子カメラ１０１である必要はなく、例えば、電子カメラ１０１で撮影した画像をメモリカード１１１に入れて、パソコンなどに装着して画像振り分け処理を行っても構わない。この場合、パソコンは、本発明に係る画像処理装置に相当し、パソコンで走らせるプログラムは、本発明に係る画像処理プログラムに相当する。

図９は、本実施形態に係る電子カメラ１０１において、撮影後に画像振り分け処理を行う際のフローチャートである。尚、図９の処理は、図１の画像処理部１０７とＣＰＵ１１２とが連携し、ＣＰＵ１１２に予め記憶されたプログラムによって処理される。以下、撮影後の画像振り分け処理について順に説明する。尚、第１の実施形態で説明したように、振り分けたい画像の認識パターンは、事前にサンプル登録処理がなされているものとする。

（ステップＳ３０１）撮影後の画像振り分け処理を開始する。

（ステップＳ３０２）メモリカード１１１に記憶されている撮影済みの画像を順に画像メモリ１０６に一時的に読み出す。尚、処理対象となる撮影済みの画像は、任意のフォルダやファイルを指定しても構わないし、ルートディレクトリなど所定のフォルダをデフォルトとして、その中に記憶されている撮影画像を処理対象としても構わない。

（ステップＳ３０３）画像パターン認識を行う。ＣＰＵ１１２は、第１の実施形態の図２で説明したように、画像メモリ１０６から読み出した画像に付加されているＡＦエリア情報を取り出す。そして、画像処理部１０７に指令し、そのＡＦエリア位置から順に周辺領域へ拡大しながら撮影画像全体に亘って画像パターン認識処理を行う。尚、画像パターン認識処理は、第１の実施形態で説明したように、サンプル登録処理で指定した認識パターンに合致するか否かを画像パターン認識する。以降の画像パターン認識処理は、第１の実施形態で説明した図８のステップＳ２０３の処理と同じである。

（ステップＳ３０４）ステップＳ２０４と同様に、認識結果を判別する。認識パターンに相当する部分があった場合はステップＳ３０５に進み、認識パターンに相当する部分がなかった場合はステップＳ３０６に進む。

（ステップＳ３０５）ステップＳ２０５と同様に、認識結果に対応するメモリカード１１１内の記憶フォルダに、画像メモリ１０６に一時的に記憶されている撮影画像を保存する。

（ステップＳ３０６）ステップＳ２０６と同様に、認識パターンに相当する部分がなかった場合や認識できなかった場合は、メモリカード１１１内の所定の記憶フォルダに画像メモリ１０６に一時的に記憶されている撮影画像を保存する。

（ステップＳ３０７）メモリカード１１１に記憶されている処理対象の画像を全て読み出したか否かを判別する。全て終了した場合は、ステップＳ３０８に進み、未処理の画像がある場合は、ステップＳ３０２に戻って、同様の処理を繰り返す。尚、複数の認識パターンが登録または指定されている場合は、ステップＳ３０３において、複数の認識パターンについて画像認識処理を行うか、或いはステップＳ３０３からステップＳ３０６の処理を繰り返す。

（ステップＳ３０８）撮影後の画像振り分け処理を終了する。

このようにして、本実施形態に係る電子カメラ１０１は、撮影後に、撮影対象の画像を撮影対象に応じて振り分けることができる。特に、画像に付加して記憶されている撮影時のＡＦエリア情報を用いて、ＡＦエリア位置から開始するので撮影対象を速く検出しやすく、高速に処理することができる。尚、ステップＳ３０３において、画像処理部１０７は、ＡＦセンサ１１５から入力した撮影時のＡＦエリアの位置から順に周辺領域へ拡大しながら撮影画像全体に亘って画像パターン認識処理を行うようにしたが、ＡＦエリアの位置近傍のみに限定して画像パターン認識処理を行っても構わない。この場合は、さらに処理を高速化することができる。

また、本実施形態では、メモリカード１１１をパソコンなどに装着して、撮影中に振り分けなかった画像を追加で振り分けることができるので、後日、特定の撮影対象の画像が必要になった場合でも容易に分類することができる。

尚、本実施形態では、第１の実施形態と同様に、撮影画像を撮影対象毎の認識パターンに対応するメモリカード１１１内の記憶フォルダに記憶するようにしたが、撮影対象毎に記憶フォルダを設けずに、撮影画像に撮影対象を示す認識パターン情報を付加して撮影画像をメモリカード１１１に保存するようにしても構わない。この場合は、ステップＳ３０５およびステップＳ３０６の処理は、撮影対象毎に記憶フォルダに分けて保存するのではなく、撮影対象を示す認識パターン情報を付加して撮影画像をメモリカード１１１に保存する。尚、撮影対象を示す認識パターン情報は、例えば、Ｅｘｉｆ規格の画像ファイルの場合、撮影画像のユーザエリアに記憶される。

（第３の実施形態）
次に、第３の実施形態に係る電子カメラ１０１について説明する。尚、第３の実施形態に係る電子カメラ１０１は、本発明に係る画像処理装置および画像振り分けプログラムの機能を含んでいる。また、本実施形態に係る電子カメラ１０１の構成は、第１の実施形態の図１と同じである。

第１の実施形態に係る電子カメラ１０１は、撮影時に画像を記憶フォルダに振り分けて記憶するようにしたが、本実施形態に係る電子カメラ１０１は、既に撮影された画像を再生中に新たに分類したい画像が生じた場合に、新たにサンプル登録して画像振り分け処理を行う。従って、電子カメラ１０１である必要はなく、例えば、電子カメラ１０１で撮影した画像をメモリカード１１１に入れて、パソコンなどに装着して画像振り分け処理を行っても構わない。この場合、パソコンは、本発明に係る画像処理装置に相当し、パソコンで走らせるプログラムは、本発明に係る画像処理プログラムに相当する。

図１０は、本実施形態に係る電子カメラ１０１において、再生中の画像振り分け処理を行う際のフローチャートである。尚、図１０の処理は、図１の画像処理部１０７とＣＰＵ１１２とが連携し、ＣＰＵ１１２に予め記憶されたプログラムによって処理される。以下、再生中の画像振り分け処理を順に説明する。

（ステップＳ４０１）再生中の画像振り分け処理を開始する。

（ステップＳ４０２）メモリカード１１１に記憶されている撮影済みの画像を再生して表示モニタ１０９に表示する。例えば、メモリカード１１１の中のユーザが選択したフォルダ内の画像を順に再生する。

（ステップＳ４０３）表示モニタ１０９に表示している再生画像を見て、新規にサンプル登録するか否かを選択する。例えば、再生されて表示モニタ１０９に表示されている画像を新規にサンプル登録したい場合はステップＳ４０４に進み、サンプル登録しない場合はステップＳ４０２に戻って画像の再生を続ける。尚、新規にサンプル登録したい場合は、例えば、図５で説明したように、再生画像に重畳して「新規作成」３０４を表示するようにして、カーソル釦２０４でカーソル３０５を動かして「新規作成」３０４に合わせ、ＯＫ釦２０５を押下して選択する。

（ステップＳ４０４）新規登録処理（画像パターン認識用の画像の指定とフォルダ作成）を行う。画像パターン認識用の画像は、図１１に示すように、再生画像５０１全体を画像パターン認識用の画像として用いても構わないが、画像パターン認識用の画像エリア５０２をカーソル釦２０４などを用いて指定するようにしても構わない。これにより、分類したい撮影対象が画面一杯に写っていない場合でも、分類したい撮影対象を明確にすることができるので、認識精度を向上することができる。

一方、新規にフォルダを作成するために、新たにサンプル登録する画像パターン認識用の画像に対応する記憶フォルダ名を入力する。ステップＳ１０６と同様に、作成された記憶フォルダのフォルダ名と画像パターン認識用の画像とが対応するテーブルおよび画像パターン認識用の画像がメモリ１１３に記憶される。

（ステップＳ４０５）画像の振り分け登録を開始するか否かを判断する。尚、振り分け登録の開始は、例えば、図３の振り分け釦２０３を押下することにより開始される。或いは、表示モニタ１０９上に「振り分け登録開始」釦を表示して、カーソル釦２０４とＯＫ釦２０５とで選択するようにしても構わない。

画像の振り分け登録を開始する場合はステップＳ４０６に進み、画像の振り分け登録を開始せずに引き続き画像再生を行う場合はステップＳ４０２に戻る。

ここまでの処理は、再生画像の中から新たに分類したい撮影対象をサンプル登録する処理である。以降の処理は、新たにサンプル登録した画像を一括して撮影対象毎に分類する処理である。

（ステップＳ４０６）撮影済みの画像を順に画像メモリ１０６に読み出す。尚、処理対象となる撮影済みの画像は、任意のフォルダやファイルを指定しても構わないし、ルートディレクトリなど所定のフォルダをデフォルトとして、その中に記憶されている撮影画像を処理対象としても構わない。

（ステップＳ４０７）画像パターン認識を行う。ＣＰＵ１１２は、第１の実施形態の図２で説明したように、画像メモリ１０６から読み出した画像に付加されているＡＦエリア情報を取り出す。そして、画像処理部１０７に指令し、そのＡＦエリア位置から順に周辺領域へ拡大しながら撮影画像全体に亘って画像パターン認識処理を行う。以降の画像パターン認識処理は、第１の実施形態で説明した図８のステップＳ２０３の処理と同じである。

（ステップＳ４０８）ステップＳ２０４と同様に、認識結果を判別する。認識パターンに相当する部分があった場合はステップＳ４０９に進み、認識パターンに相当する部分がなかった場合はステップＳ４１０に進む。

（ステップＳ４０９）ステップＳ２０５と同様に、認識パターンに対応するメモリカード１１１内の記憶フォルダに、画像メモリ１０６に一時的に記憶されている撮影画像を保存する。尚、この時、図１２に示すように、表示モニタ１０９に分類する画像とフォルダ名を所定時間だけ表示するようにしても構わない。

（ステップＳ４１０）ステップＳ２０６と同様に、認識できなかった場合は、メモリカード１１１内の所定の記憶フォルダに画像メモリ１０６に一時的に記憶されている撮影画像を保存する。

（ステップＳ４１１）処理対象の画像を全て読み出したか否かを判別する。全て終了した場合は、ステップＳ４１２に進み、未処理の画像がある場合は、ステップＳ４０６に戻って、同様の処理を繰り返す。尚、複数の認識パターンが登録または指定されている場合は、ステップＳ４０７において、複数の認識パターンについて画像認識処理を行うか、或いはステップＳ４０７からステップＳ４１０の処理を繰り返す。

（ステップＳ４１２）再生中の画像振り分け処理を終了する。

このようにして、本実施形態に係る電子カメラ１０１は、撮影された画像を再生中に新たに分類したい撮影対象を見つけた場合でも、その画像を新たにサンプル登録することができ、サンプル登録後に一括して撮影画像を新たにサンプル登録した撮影対象毎に分類することができる。特に、画像に付加して記憶されている撮影時のＡＦエリア情報を用いて、ＡＦエリア位置から開始するので撮影対象を速く検出しやすく、高速に処理することができる。尚、ステップＳ４０７において、画像処理部１０７は、ＡＦセンサ１１５から入力した撮影時のＡＦエリアの位置から順に周辺領域へ拡大しながら撮影画像全体に亘って画像パターン認識処理を行うようにしたが、ＡＦエリアの位置近傍のみに限定して画像パターン認識処理を行っても構わない。この場合は、さらに処理を高速化することができる。

また、本実施形態では、メモリカード１１１をパソコンなどに装着して、再生中に新たにサンプル登録できるので、撮影中に振り分けなかった画像を追加で振り分けることができ、後日、特定の撮影対象の画像が必要になった場合でも容易に分類することができる。

尚、本実施形態では、第１の実施形態と同様に、撮影画像を撮影対象毎の認識パターンに対応するメモリカード１１１内の記憶フォルダに記憶するようにしたが、撮影対象毎に記憶フォルダを設けずに、撮影画像に撮影対象を示す認識パターン情報を付加して撮影画像をメモリカード１１１に保存するようにしても構わない。この場合は、ステップＳ４０９およびステップＳ４１０の処理は、撮影対象毎に記憶フォルダに分けて保存するのではなく、撮影対象を示す認識パターン情報を付加して撮影画像をメモリカード１１１に保存する。尚、撮影対象を示す認識パターン情報は、例えば、Ｅｘｉｆ規格の画像ファイルの場合、撮影画像のユーザエリアに記憶される。

以上、各実施形態において説明してきたように、本発明に係る画像処理装置および電子カメラ並びに画像振り分けプログラムは、入力する画像の撮影対象を認識し、自動的に撮影対象に応じた記憶場所に振り分けて記憶することができるので、撮影対象毎に分類する煩雑な作業が不要になる。

第１の実施形態に係る電子カメラ１０１のブロック図である。記憶される画像データの一例を示す説明図である。撮影モード選択画面の一例を示す説明図である。サンプル登録処理を示すフローチャートである。フォルダ選択画面の一例を示す説明図である。フォルダ名入力画面の一例を示す説明図である。認識パターンテーブルの一例を示す説明図である。撮影時の処理を示すフローチャートである。撮影後の振り分け処理を示すフローチャートである。再生中の振り分け処理を示すフローチャートである。画像パターン認識の一例を示す説明図である。振り分け中の再生画像の一例を示す説明図である。

符号の説明

１０１・・・電子カメラ１０２・・・光学レンズ系
１０３・・・撮像部１０４・・・ＡＦＥ
１０５・・・Ａ／Ｄ変換部１０６・・・画像メモリ
１０７・・・画像処理部１０８・・・メモリ
１０９・・・表示処理部１１０・・・表示モニタ
１１１・・・カードＩ／Ｆ１１２・・・メモリカード
１１３・・・ＣＰＵ１１４・・・操作部
１１５・・・ＡＦセンサ
２０１・・・レリーズ釦２０３・・・振り分け釦
２０４・・・カーソル釦２０５・・・ＯＫ釦

Claims

撮影時の焦点検出領域情報を含む画像を入力する画像入力部と、
画像認識用の少なくとも１つの画像パターンを事前に登録する画像パターン登録部と、
前記画像パターン毎に異なる記憶先情報を記憶する記憶部と、
前記画像入力部から入力した画像において、前記画像パターン登録部で登録された前記画像パターンの検出を前記焦点検出領域情報が示す焦点検出領域から開始して順に周辺領域に拡大しながら検出する画像認識部と、
前記画像認識部が検出した前記画像パターン毎に前記記憶先情報が示す記憶先に、前記画像入力部から入力する画像を記憶する制御部と
を有することを特徴とする画像処理装置。
撮影時の焦点検出領域情報を含む撮影済みの画像を再生する画像再生部と、
前記画像再生部で再生中の画像から画像認識用の少なくとも１つの画像パターンを登録する画像パターン登録部と、
前記画像パターン毎に異なる記憶先情報を記憶する記憶部と、
前記画像再生部が再生する画像において、前記画像パターン登録部で登録された前記画像パターンの検出を前記焦点検出領域情報が示す焦点検出領域から開始して順に周辺領域に拡大しながら検出する画像認識部と、
前記画像認識部が検出した前記画像パターン毎に前記記憶先情報が示す記憶先に、前記画像再生部から入力する画像を記憶する制御部と
を有することを特徴とする画像処理装置。
撮像部と前記撮像部で画像を撮影する際の焦点検出領域を設定するＡＦ部とを有する電子カメラであって、
画像認識用の少なくとも１つの画像パターンを撮影前に登録する画像パターン登録部と、
前記画像パターン毎に異なる記憶先情報を記憶する記憶部と、
前記撮像部で撮影した画像において、前記画像パターン登録部で登録された前記画像パターンの検出を前記ＡＦ部で設定された前記焦点検出領域から開始して順に周辺領域に拡大しながら検出する画像認識部と、
前記画像認識部が検出した前記画像パターン毎に前記記憶先情報が示す記憶先に、前記撮像部から入力する画像を記憶する制御部と
を有することを特徴とする電子カメラ。
撮像部と前記撮像部で画像を撮影する際の焦点検出領域を設定するＡＦ部とを有する電子カメラであって、
画像認識用の少なくとも１つの画像パターンを撮影前に登録する画像パターン登録部と、
前記撮像部で撮影した画像において、前記画像パターン登録部で登録された前記画像パターンの検出を前記ＡＦ部で設定された前記焦点検出領域から開始して順に周辺領域に拡大しながら検出する画像認識部と、
前記画像認識部が検出した前記画像パターンを示す画像パターン情報を前記撮像部で撮影した画像に付加して記憶する制御部と
を有することを特徴とする電子カメラ。
撮影時の焦点検出領域情報を含む画像を入力する画像入力手順と、
画像認識用の少なくとも１つの画像パターンを事前に登録する画像パターン登録手順と、
前記画像パターン毎に異なる記憶先情報を記憶する記憶手順と、
前記画像入力手順で入力した画像において、前記画像パターン登録手順で登録された前記画像パターンの検出を前記焦点検出領域情報が示す焦点検出領域から開始して順に周辺領域に拡大しながら検出する画像認識手順と、
前記画像認識手順が検出した前記画像パターン毎に前記記憶先情報が示す記憶先に、前記画像入力手順で入力する画像を記憶する制御手順と
を有することを特徴とする画像振り分けプログラム。