JP7204851B2 - 画像表示方法 - Google Patents

Description

本発明は、カメラで撮影した複数の画像を分類整理して保存し、所望の画像を容易に検索できる撮像装置に関する。

被写体像をＣＣＤ（Charge Coupled Device）等の電子デバイスにより電気信号に変換し、メモリに記録するデジタルカメラの普及が著しい。また最近では、このデジタルカメラ機能が携帯電話やスマートホン、タブレット端末等の情報端末機器に搭載されることも一般的となった。

また、デジタルカメラ等に用いられる記憶素子は、大容量化が進み、撮影される画像データが多量に生成されるため、画像データの分類及び整理が煩雑になっている。特に、多数の画像をサムネイル一覧画像として表示させる場合は、アプリケーションソフトを用いて画像データに付与された時刻、位置情報等のメタデータに基づいて分類することができる。しかし、多数の画像データをグループに分類する作業が必要となり、非常に手間がかかり利便性に欠けていた。このような欠点を解消するために、複数の画像に対して区切りとなる画像を生成して挿入することで、撮影した複数の画像を分類して整理する手法が提案されている。

例えば特許文献１には、前回生成された画像の生成日と今回生成された画像の生成日とが異なる場合に、または、前回生成された時に用いられた撮影機材と今回生成された時に用いられた撮影機材とが異なる場合に、シャッターを閉じて撮影した画像に日付画像等を重畳し、区切り画像として挿入する構成が記載されている。

特開２０１０－５０７０５号公報

特許文献１に記載の技術では、生成日情報、撮影機材情報、連写情報、音声入力情報など複数の種類の情報に基づいて区切り画像を生成している。その際、区切り画像の生成条件となる複数の種類の情報の間では優先順位が設定されず対等に扱われている。例えば特許文献１の図５には、生成日情報を重畳した画像（ａ）、撮影機材情報を重畳した画像（ｂ）、生成日情報と撮影機材情報を重畳した画像（ｃ）が示されるが、画像（ｃ）において生成日情報と撮影機材情報とは対等に扱われている。

区切り画像の生成条件が複数種類存在することは、画像検索の際に検索条件を複数選択できるのでユーザにとって好ましい。しかしそれらが対等の関係にあると、ある検索条件１で検索しようとするとき、他の検索条件２に対する区切り画像が目障りとなり、使い勝手が悪くなる。さらに、所望の検索条件にヒットする画像群は１つのグループとして連続して表示されることが望ましい。

本発明の目的は、撮影した画像を複数の異なる条件で分類するとともに、撮影した画像を所望の条件で容易に検索できる撮像装置及びその表示方法を提供することである。

本発明の撮像装置は、被写体を撮影する撮像部と、前記撮像部により取得された複数の撮影画像に対し、前記撮影画像を分類する表示タイトルを含むタイトル画像を生成して挿入するタイトル生成実行部と、前記撮影画像と前記タイトル画像を格納するストレージ部と、前記ストレージ部に格納された前記撮影画像と前記タイトル画像を一覧表示する表示部と、前記表示部に一覧表示されている複数の前記撮影画像と前記タイトル画像から、所望の撮影画像を検索する画像検索実行部を備え、前記タイトル生成実行部は、前記撮影画像を分類する表示タイトルの種別ごとに設定された優先順位に従って、前記タイトル画像を階層的に生成することを特徴とする。

本発明によれば、複数の撮影画像が分類条件の優先順位に従い自動的に階層的に分類整理されるので、所望の画像を容易かつ迅速に検索することができる。

実施例１に係る撮像装置の外観図。 実施例１に係る撮像装置のブロック図。 実施例１に係る撮像装置のソフトウェア構成図。 実施例１に係るタイトル画像制御表。 タイトル画像の表示画面の例を示す図。 実施例１の撮像動作を示すフローチャート。 タイトル画像生成処理を示すフローチャート。 タイトル画像生成処理を示すフローチャート。 その他のタイトル画像制御表。 その他のタイトル画像の生成例を示す図。 実施例２に係るタイトル画像制御表。 実施例２に係る家族構成テーブル。 実施例２の撮像動作を示すフローチャート。 画像解析処理を示すフローチャート。 タイトル画像生成処理を示すフローチャート。 その他のタイトル画像制御表。 その他のタイトル画像の生成例を示す図。 実施例３に係る画像検索時の表示画面の一例を示す図。 優先順位を変更して撮影画像を並べ替える例を示す図。

以下、本発明の実施形態の例を、図面を用いて説明する。なお、以下に説明する実施の形態は本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって、適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

図１に本実施例の撮像装置の外観図を示す。ここでは、撮像装置１００がスマートホン等の情報端末機器の場合であり、（ａ）は表面図、（ｂ）は背面（裏面）図であり、（ａ）の表面側には撮影した画像や様々な情報を表示する表示部１２１が配置されている。本実施例の撮像装置１００では、撮像部（カメラ）を３箇所に設けている。（ａ）に示すように、第３撮像部１２５は表示部１２１と同一面（表面）に配置し、（ｂ）に示すように、第１撮像部１２３と第２撮像部１２４は、表示部１２１と反対面（背面）に配置している。表示部１２１と同一面に配置する第３撮像部１２５はインカメラ、表示部１２１と反対面に配置する第１撮像部１２３、第２撮像部１２４はアウトカメラとも呼ばれる。第１撮像部１２３、第２撮像部１２４に隣接する位置には、フラッシュ部１２９を配置している。

その他撮像装置１００の入出力部として、音声入力部（マイク）１３３、音声出力部（スピーカ）１３１、操作キー１４０ｋ、タッチパネル１４０ｔが配置されている。

なお、撮像装置１００は、スマートホンの他、デジタルスチルカメラ、カメラ機能を備えた携帯電話、タブレット端末、ＰＤＡ（Personal Digital Assistants）やノート型ＰＣ（Personal Computer）であってもよい。また、動画撮影可能なビデオカメラや携帯型ゲーム機、またはその他の携帯用デジタル機器であってもよい。従って、撮像部（カメラ）の構成は上記に限らず、情報端末機器の機能に応じて、第１撮像部１２３と第２撮像部１２４を一体で構成したり、第１～第３撮像部を統合して、１つのカメラを背面側あるいは表示部１２１側に配置したりする構成であってもよい。

図２Ａは、本実施例の撮像装置のブロック図である。撮像装置１００は、主制御部１０１、システムバス１０２、メモリ部１０４、ストレージ部１１０、映像処理部１２０、音声処理部１３０、操作部１４０、通信処理部１５０、センサ部１６０、拡張インタフェース部１７０、で構成される。

主制御部１０１は、所定のプログラムに従って撮像装置１００全体を制御するマイクロプロセッサユニットである。システムバス１０２は主制御部１０１と撮像装置１００内の各部との間でデータ送受信を行うためのデータ通信路である。

メモリ部１０４は基本動作プログラムやその他のアプリケーションプログラム実行時のプログラム領域、及び各種アプリケーションプログラム実行時に、必要に応じて画像データ等を一時的に保持する一時記憶領域となる。メモリ部１０４は主制御部１０１と一体構成であってもよい。

ストレージ部１１０は、撮像装置１００の各種設定情報や、撮像装置１００で撮影した静止画像データや動画像データ等を記憶する。またストレージ部１１０には、撮像装置１００が実行する各種のアプリケーションプログラムを格納している。主制御部１０１は、ストレージ部１１０に格納されたアプリケーションプログラムをメモリ部１０４に展開し、さらに展開したアプリケーションプログラムを実行することにより、撮像装置１００は各種の機能を実現する。アプリケーションプログラムはインターネットを介してアプリケーションサーバからダウンロードすることで、機能拡張することができる。

ストレージ部１１０は、撮像装置１００に電源が供給されていない状態であっても記憶している情報を保持する必要がある。したがって、例えばフラッシュＲＯＭやＳＳＤ（Solid State Drive）、ＨＤＤ（Hard Disc Drive）等のデバイスが用いられる。

映像処理部１２０は、表示部１２１、映像信号処理部１２２、第１撮像部１２３、第２撮像部１２４、第３撮像部１２５で構成される。表示部１２１は、例えば液晶パネル等の表示デバイスであり、映像信号処理部１２２で処理した画像データを撮像装置１００のユーザに提供する。映像信号処理部１２２は、第１撮像部１２３、第２撮像部１２４、第３撮像部１２５で撮影された画像データを処理する。

音声処理部１３０は、音声出力部１３１、音声信号処理部１３２、音声入力部１３３、で構成される。音声出力部１３１はスピーカであり、音声信号処理部１３２で処理した音声信号を撮像装置１００のユーザに提供する。音声入力部１３３はマイクであり、ユーザの声などを音声データに変換して入力する。なお、音声入力部１３３は撮像装置１００と別体であり、有線通信または無線通信により撮像装置１００と接続されるものであってもよい。

操作部１４０は、撮像装置１００に対する操作指示の入力を行う指示入力部であり、図１に示したように、表示部１２１に重ねて配置したタッチパネル１４０ｔ及びボタンスイッチを並べた操作キー１４０ｋが相当する。なお、このタッチパネル機能は表示部１２１が備え持っているものであってもよい。他の操作法として、後述の拡張インタフェース部１７０に接続したキーボード等を用いて撮像装置１００の操作を行ってもよい。あるいは、有線通信または無線通信により接続された別体の情報端末機器を用いて撮像装置１００の操作を行ってもよい。

通信処理部１５０は、ＬＡＮ（Local Area Network）通信部１５１、移動体電話網通信部１５２、近接無線通信部１５３、で構成される。ＬＡＮ通信部１５１は、インターネットの無線通信用アクセスポイントと無線通信により接続してデータの送受信を行う。移動体電話網通信部１５２は、移動体電話通信網の基地局との無線通信により、電話通信（通話）及びデータの送受信を行う。近接無線通信部１５３は、対応するリーダ／ライタとの近接時に無線通信を行う。ＬＡＮ通信部１５１、移動体電話網通信部１５２、近接無線通信部１５３は、それぞれ符号回路や復号回路、アンテナ等を備えるものとする。さらに、赤外線通信部等を備えていてもよい。

センサ部１６０は、撮像装置１００の状態を検出するためのセンサ群であり、本実施例では、ＧＰＳ（Global Positioning System）受信部１６１、加速度センサ１６２、ジャイロセンサ１６３、地磁気センサ１６４、照度センサ１６５、近接センサ１６６、で構成される。これらのセンサ群により、撮像装置１００の位置、動き、傾き、方角、及び周囲の明るさ、周囲物の近接状況、等を検出する。

拡張インタフェース部１７０は、撮像装置１００の機能を拡張するためのインタフェース群であり、本実施例では、映像／音声インタフェース、ＵＳＢ（Universal Serial Bus）インタフェース、メモリインタフェース等で構成されるものとする。映像／音声インタフェースは、外部映像／音声出力機器からの映像信号／音声信号の入力、外部映像／音声入力機器への映像信号／音声信号の出力、等を行う。ＵＳＢインタフェースはキーボードやその他のＵＳＢ機器の接続を行う。メモリインタフェースはメモリカードやその他のメモリ媒体を接続してデータの送受信を行う。

なお、図２Ａに示した撮像装置１００の構成はスマートホン等の情報端末機器の場合であり、対象とする情報端末機器の機能に応じて適宜変更できることは言うまでもない。

図２Ｂは、本実施例の撮像装置のソフトウェア構成図であり、メモリ部１０４、及びストレージ部１１０におけるソフトウェア構成を示す。

ストレージ部１１０には、各種情報／データ記憶領域１１０ａを備え、またカメラ機能プログラム１１０ｂ、タイトル生成プログラム１１０ｃ、画像解析プログラム１１０ｄ、画像検索プログラム１１０ｅを格納している。各種情報／データ記憶領域１１０ａは、撮像装置１００の各種設定情報や、撮像装置１００で撮影した静止画像データや動画像データ等を記憶する。また、カメラ機能プログラム１１０ｂは撮影を実行するためのプログラム、タイトル生成プログラム１１０ｃはタイトル画像を生成するためのプログラム、画像解析プログラム１１０ｄは撮影した画像の解析を行うためのプログラム、画像検索プログラム１１０ｅは撮影した画像の検索を行うためのプログラムである。

メモリ部１０４には、情報端末機器としての基本動作を行う基本動作実行部１０４ａと撮像機能に関する動作を行う各種実行部１０４ｂ～１０４ｅ、及び撮影した画像等を一時記憶する一時記憶領域１０４ｆを備える。ストレージ部１１０に格納された上記の各プログラム１１０ｂ～１１０ｅは、メモリ部１０４に展開される。そして、主制御部１０１が各プログラムを実行することで、カメラ機能実行部１０４ｂ、タイトル生成実行部１０４ｃ、画像解析実行部１０４ｄ、画像検索実行部１０４ｅを構成し、各種機能動作を実行する。

本実施例では、撮像装置の各種機能動作をソフトウェアで実現する構成としたが、上記の各種実行部１０４ｂ～１０４ｅの動作をハードウェアで実現する構成も可能である。

以下、本実施例の撮像装置による動作、特にタイトル画像の生成について詳細に説明する。本実施例では、複数の撮影画像を分類するための区切り画像を「タイトル画像」と呼ぶ。タイトル画像は分類するためのキーワード（表示タイトル）を含んで生成される。その際、表示タイトルの種別に応じて優先順位を設け、優先順位に従って階層的にタイトル画像を生成することに特徴がある。

図３は、タイトル画像の生成ルールを定めたタイトル画像制御表である。タイトル画像制御表（Ｔ０）は事前にユーザにより設定されて、ストレージ部１１０の各種情報／データ記憶領域１１０ａに格納されている。ここではタイトル画像の表示タイトルの種別として、「年」、「季節」、「月」、「日」、「場所」を登録している。タイトル生成実行部１０４ｃは、撮影条件のうち「年」、「季節」・・・等が異なるときにそれらの表示タイトルを有するタイトル画像を生成する。なお、表示タイトルの種別はこれに限定されず、時刻情報及び位置情報（ＧＰＳ情報）に基づき区別できるものであれば任意に追加できる。「季節」の定義は、春（３月～５月）、夏（６月～８月）、秋（９月～１１月）、冬（１２月～２月）としているが、期間は任意に設定できる。また、「場所」とは単に異なる場所ではなく、前回の撮影位置と今回の撮影位置とが所定距離以上離れていれば異なる場所と定義する。この例では条件欄に記載のように、１０ｋｍの距離以上離れている場合とする。

タイトル画像制御表では、表示タイトルの種別に応じて優先順位のフラグ（＝１、２、・・・）を設定している。ここでは、表示タイトルが「年」、「季節」、「月」・・・の順に優先順位を与えている。タイトル画像生成フラグは、タイトル画像を生成する場合（フラグ＝１）と、タイトル画像を生成しない場合（フラグ＝０）を定め、この例では、表示タイトルが「日」、「場所」についてはタイトル画像を生成しないものとする。

また、タイトル画像合成フラグは、先に生成した他の種別のタイトル画像と合成する場合（フラグ＝１）と、合成しない場合（フラグ＝０）を定める。この例では、「年」と「季節」については他の種別のタイトル画像と合成せず、「月」については他の種別のタイトル画像と合成するものとする。ただし、自身のタイトル画像合成フラグ＝０であっても、後に生成された他の種別のタイトル画像のタイトル画像合成フラグ＝１の場合には、後に生成されたタイトル画像と合成される場合がある。なお、タイトル画像合成フラグ＝×印はノット・ケア（無関係）を意味する。

さらに本実施例では、生成するタイトル画像のデザインを表示タイトルの優先順位に従って変えている。具体的には後述するように、タイトル画像のサイズ（縦横比）、画像内の文字サイズ、画像の背景色、画像の解像度の少なくとも１つを異ならせることで、タイトル画像の目立ち易さを変えている。つまりタイトル画像を優先順位に従って階層的に表示することで、ユーザは、優先順位の高いタイトル画像を容易に識別し、優先順位の高い表示タイトルに属する撮影画像を迅速に検索することを可能にしている。

図４は、タイトル画像の表示画面の例を示す図である。撮像装置１００で撮影した一連の画像１０を、表示部１２１にサムネイル表示している。（ａ）は撮影画像１０をタイトル画像なしに時系列に配列して一覧表示した状態であり、撮影順は矢印の方向、すなわち画面の左から右方向へ、また上から下方向となっている。（ｂ）は撮影画像１０にタイトル画像１１～１３を生成・挿入して一覧表示した状態である。

タイトル画像の生成ルールは図３のタイトル画像制御表（Ｔ０）に従い、撮影条件のうち「年」、「季節」、「月」が変わるごとにその表示タイトルの内容を示すタイトル画像（この例では黒画面に白抜き文字）を生成して、撮影画像の区切りの位置に挿入している。タイトル画像１１は「年」の区切りに挿入したもので、優先順位が最も高く画像のサイズを最大としている。タイトル画像１２は「季節」の区切りに、タイトル画像１３は「月」の区切りに挿入し、優先順位に従い画像のサイズを小さくしている。なお、「季節」と「月」とが同時に変わる場合には、タイトル画像１２とタイトル画像１３とを合成して表示している。

このように、タイトル画像を優先順位に従って画像サイズを変えて階層的に表示することで、ユーザは、優先順位の高い表示タイトル「年」に属する撮影画像を迅速に検索することができる。

図５は、撮像装置１００の撮像動作を示すフローチャートである。この撮像動作は、メモリ部１０４に構成されたカメラ機能実行部１０４ｂとタイトル生成実行部１０４ｃにより制御される。

操作部１４０から第１撮像部１２３、第２撮像部１２４、及び第３撮像部１２５のいずれかに対し撮像の指示がなされると、撮像処理を実行する（Ｓ２０１）。これにより指示された撮像部（例えば第１撮像部１２３）から撮影画像を取得する（Ｓ２０２）。次に、内蔵の時計機構（図示せず）とＧＰＳ受信部１６１から撮影時の時刻情報と位置情報を取得し、撮影画像のメタデータとする（Ｓ２０３）。取得した撮影画像とメタデータを関連付けて、メモリ部１０４の一時記憶領域１０４ｆに一時保存する（Ｓ２０４）。

次に、内部処理用の変数ＰＲＩを１に初期設定する（Ｓ２０５）。この変数ＰＲＩはタイトル画像の優先順位のパラメータである。ストレージ部１１０に格納しているタイトル画像制御表を参照し、変数ＰＲＩに設定された優先順位の表示タイトルを検索する（Ｓ２０６）。例えば図３のタイトル画像制御表（Ｔ０）の場合は、変数ＰＲＩ＝１に対し表示タイトル「年」が検索される。次にタイトル画像制御表の設定に従い、検索した表示タイトル（例えば「年」）を対象にタイトル画像生成処理を実行する（Ｓ２０７）。タイトル画像生成処理の具体的な内容は後述するが、対象となる表示タイトルのタイトル画像生成フラグ＝１（タイトル画像を生成すべきもの）であって、前回の撮影画像と撮影条件が一致しないときにタイトル画像を生成する。生成したタイトル画像は、メモリ部１０４内の一時記憶領域１０４ｆに一時保存する。タイトル画像生成処理終了後、処理した表示タイトルの優先順位は最下位かどうか判定する（Ｓ２０８）。

Ｓ２０８の判定で、処理した表示タイトルの優先順位が最下位ではない時には、変数ＰＲＩに１を加算し（Ｓ２０９）、Ｓ２０６に戻る。そして、次の優先順位の表示タイトルについて同様の処理を行う。図３の制御表（Ｔ０）場合は、変数ＰＲＩ＝２の優先順位である表示タイトル「季節」を対象にタイトル画像生成処理を行う。

Ｓ２０８の判定で、処理した表示タイトルの優先順位が最下位である時には、タイトル画像生成処理を終了する。そして、一時保存されたタイトル画像をストレージ部１１０の各種情報／データ記憶領域１１０ａに格納する（Ｓ２１０）。なお、Ｓ２０７で生成されるタイトル画像の数（Ｎ）は、０個から設定された優先順位の最大設定数までの範囲となる。次に、メモリ部１０４の一時記憶領域１０４ｆに一時保存されていた画像データとメタデータを、ストレージ部１１０の各種情報／データ記憶領域１１０ａに格納する（Ｓ２１１）。これで撮像処理を終了する。

図６Ａと図６Ｂは、図５のタイトル画像生成処理（Ｓ２０７）の詳細を示すフローチャートである。タイトル画像生成処理（Ｓ２０７）では、各表示タイトルを対象にタイトル画像の生成を行うが、ここでは表示タイトルが「年」と「場所」について説明する。他の表示タイトル「季節」、「月」、「日」についても同様の処理であり説明を省略する。

図６Ａは、「年」を対象とするタイトル画像生成処理を示すフローチャートである。図５のＳ２０６に続いて実行される。
タイトル画像制御表を参照し、タイトル画像生成フラグが１に設定されているか判定する（Ｓ３０１）。生成フラグが１に設定されていない時には、本処理を終了する。

生成フラグが１に設定されている時には、ストレージ部１１０に格納されている画像のうち、前回撮影した画像のメタデータからその撮影年を読み出し、メモリ部１０４に一時保存された今回の撮影画像の撮影年と一致するかどうか判定する（Ｓ３０２）。Ｓ３０２で撮影年が一致している時には、本処理を終了する。

Ｓ３０２で撮影年が不一致の時には、当該表示タイトルの優先順位に応じたデザインのタイトル画像を生成する。すなわち、優先順位に応じて予め定めた画像サイズ（縦横比）とし、撮影年を示す文字（西暦年、和暦年等）を含むタイトル画像を生成して、メモリ部１０４の一時記憶領域１０４ｆに一時保存する（Ｓ３０３）。なお、タイトル画像の背景画像には、当該年の干支を示す画像やカレンダー等を用いてもよい。また、表示タイトルが「季節」の場合は、背景画像として季節感のある画像、例えば、桜、海、紅葉、雪景色等の画像を用いてもよい。

次に、タイトル画像制御表のタイトル画像合成フラグが１に設定されているか判定する（Ｓ３０４）。合成フラグが１に設定されていない時には、本処理を終了する。すなわち先に生成した他のタイトル画像と合成せず、単独のタイトル画像となる。

合成フラグが１に設定されている時には、先に生成しメモリ部１０４に一時保存している優先順位が上位のタイトル画像があるか判定する（Ｓ３０５）。先に一時保存されたタイトル画像がない時には、本処理を終了する。

先に一時保存されたタイトル画像がある時には、先に生成したタイトル画像と今回生成したタイトル画像を合成して、メモリ部１０４に一時保存する（Ｓ３０６）。なお、このときの合成処理では、今回生成したタイトル画像を縮小または変形して、先に生成した上位のタイトル画像との階層差が明確になるようにする。例えば、今回生成したタイトル画像は画面内で下段に配置したり、表示タイトルの文字サイズを小さくしたりするデザインとする。これでタイトル画像生成処理を終了し、図５のＳ２０８へ移行する。

図６Ｂは、「場所」を対象とするタイトル画像生成処理を示すフローチャートである。
タイトル画像制御表を参照し、タイトル画像生成フラグが１に設定されているか判定する（Ｓ３１１）。生成フラグが１に設定されていない時には、本処理を終了する。

生成フラグが１に設定されている時には、ストレージ部１１０に格納されている前回撮影した画像のメタデータからその撮影場所を読み出し、メモリ部１０４に一時保存された今回の撮影画像の撮影場所と一致するかどうか判定する（Ｓ３１２）。この判定では、両者の撮影場所間の距離が、タイトル画像制御表の条件欄に記載された距離（図３では１０ｋｍ）未満であれば一致するとみなす。なお、撮影画像が撮像装置を移動して得られる動画像である場合には、撮影開始位置あるいは撮影終了位置など、撮影場所として比較する位置を適宜決めておけばよい。Ｓ３１２で撮影場所が一致している時には、本処理を終了する。

Ｓ３１２で撮影場所が不一致の時には、当該表示タイトルの優先順位に応じたデザインのタイトル画像を生成する。すなわち、優先順位に応じて予め定めた画像サイズ（縦横比）とし、撮影場所を示す文字（例、箱根、日光等）を含むタイトル画像を生成して、メモリ部１０４の一時記憶領域１０４ｆに一時保存する（Ｓ３１３）。なお、タイトル画像の背景画像には、当該場所の地図画像や当該場所を代表するランドマーク画像等を用いてもよい。これらの文字や画像は、通信処理部１５０よりインターネットを経由して提供サーバから入手することができる。

次に、タイトル画像制御表のタイトル画像合成フラグが１に設定されているか判定する（Ｓ３１４）。合成フラグが１に設定されていない時には、本処理を終了する。

合成フラグが１に設定されている時には、先に生成しメモリ部１０４に一時保存している優先順位が上位のタイトル画像があるか判定する（Ｓ３１５）。先に一時保存されたタイトル画像がない時には、本処理を終了する。

先に一時保存されたタイトル画像がある時には、先に生成したタイトル画像と今回生成したタイトル画像を合成して、メモリ部１０４に一時保存する（Ｓ３１６）。このときの合成処理は、図６ＡのＳ３０６の説明と同様である。あるいは、今回生成したタイトル画像が地図やランドマーク等の画像である場合、前記地図やランドマークを背景として、先に生成したタイトル画像の文字を重畳するように合成しても良い。これでタイトル画像生成処理を終了し、図５のＳ２０８へ移行する。

図７Ａと図７Ｂは、タイトル画像のその他の生成例を示す図である。図７Ａは、タイトル画像制御表のその他の例として（Ｔ１）～（Ｔ４）の場合を示す。ここでは、タイトル画像生成フラグ＝０となる項目は省略している。なお、制御表（Ｔ２）は図３の制御表（Ｔ０）と同じ内容である。図７Ｂでは、これらの各制御表に従い生成されるタイトル画像の例を示す。

図７Ｂの（初期状態）として、ストレージ部１１０に２枚の撮影画像Ｐ１，Ｐ２がメタデータと共に記憶されている時に、新たに撮像処理が実行されてメモリ部１０４の一時記憶領域１０４ｆに撮影画像Ｐ３とメタデータが一時保存された状態を想定する。この場合、画像Ｐ２が前回の画像、画像Ｐ３が今回の画像となる。各画像の下にはメタデータである撮影日時と撮影場所の情報を記述している。この時、図７Ａの各タイトル画像制御表に従いどのようにタイトル画像が生成されるかを説明する。

制御表（Ｔ１）の場合は、優先順位が「年」、「季節」、「月」の順であり、これらのタイトル画像生成フラグは１、タイトル画像合成フラグは０である。この場合、前回の撮影画像Ｐ２の撮影日時と今回の撮影画像Ｐ３の撮影日時は「年」、「季節」、「月」共に不一致であるので、年のタイトル画像２１、季節のタイトル画像２２、月のタイトル画像２３の順に生成される。その際、優先順位に従ってタイトル画像のサイズを変えている。また、文字サイズを変えてもよい。合成フラグは全て０なので、タイトル画像の合成は行わない。生成された３つのタイトル画像は、撮影画像Ｐ３の直前に挿入される。

制御表（Ｔ２）の場合は、制御表（Ｔ１）に対して「月」のタイトル画像合成フラグが１に設定されているので、季節と月のタイトル画像２２，２３が合成される。

制御表（Ｔ３）の場合は、優先順位が「場所」、「年」の順であり、これらのタイトル画像生成フラグは１、タイトル画像合成フラグは０である。この場合、前回の撮影場所であるＡ地点と今回の撮影場所であるＢ地点との距離は１００ｋｍであり、制御表の条件欄に記載の１０ｋｍ以上離れている。また、撮影年が異なっているので、場所のタイトル画像２４と年のタイトル画像２５が生成される。

制御表（Ｔ４）の場合は、制御表（Ｔ３）に対して「年」のタイトル画像合成フラグが１に設定されているので、場所と年のタイトル画像２４，２５が合成される。

このように、所望のタイトル画像制御表を設定することで、優先順位に従って階層構造を有するタイトル画像を生成し、区切り画像として挿入することができる。その結果、複数の撮影画像を所望の優先順位に従って分類整理することができる。

実施例１では、撮影画像のメタデータである時刻情報及び位置情報（ＧＰＳ情報）に基づいてタイトル画像を生成した。実施例２では、さらに、撮影画像内の被写体の種類を判別し、それに基づきタイトル画像を生成するものである。そのため撮像装置１００の構成として、図２Ｂにおける画像解析実行部１０４ｄを使用し、例えば、画像内に人物等が存在するかどうかを判断してメタデータを追加する。以下の説明では、実施例１で利用したメタデータを「メタデータ１」、実施例２で追加したメタデータを「メタデータ２」として区別する。

図８Ａは、本実施例におけるタイトル画像を生成するためのタイトル画像制御表である。タイトル画像制御表（Ｔ５）では表示タイトルの種別として、被写体の種類である「家族」、「人物」、「風景」を追加している。ここで、「家族」とは人物が写っている画像で、かつ人物に家族が含まれている画像である。「人物」とは家族以外の人物が写っている画像である。「風景」とは人物が写っていない画像である。

図８Ｂは、「家族」画像の判定を行うための条件を定めた家族構成テーブルである。家族構成テーブル（Ｔ６）は、家族の顔画像リンクと一致人数とからなる。撮影画像に家族の顔画像リンク先の顔画像と一致するものがあるか判定し、一致した人数が所定人数（ここでは２名以上）であれば家族の画像と判定する。

なお、画像解析実行部１０４ｄでは、画像解析による人物認識及び家族認識（顔認識による）を行うが、パターン認識と機械学習等を用いた公知の技術（例えばViola-Jones法等）を用いればよく、特にその実現方法を限定しない。また、ここでは追加する表示タイトルとして家族、人物、風景を取り上げたが、画像解析結果を用いるものであれば、山、動物、友達、同窓生等でもよく、特に限定されない。

各々の表示タイトルには実施例１と同様に優先順位が設定され、優先順位に従ってデザインが異なるタイトル画像を生成することで、タイトル画像の階層構造を実現する。このタイトル画像制御表（Ｔ５）、及び家族構成テーブル（Ｔ６）は事前にユーザにより設定されてストレージ部１１０に格納されている。

図９は、撮像装置１００の撮像動作を示すフローチャートである。Ｓ４０１～Ｓ４０３は撮影画像の取得とメタデータの取得処理であり、実施例１のＳ２０１～Ｓ２０３と同一であるので説明を省略する。なお、Ｓ４０３で取得するのはメタデータ１とする。

画像解析実行部１０４ｄにより撮影画像を解析し、当該画像が家族画像か、人物画像か、風景画像かを判別し、判別結果をメタデータ２として作成する（Ｓ４０４）。画像解析処理の詳細は後述する。撮影画像とメタデータ１，２を関連付けて、メモリ部１０４の一時記憶領域１０４ｆに一時保存する（Ｓ４０５）。

次に、内部処理用の変数ＰＲＩを１に初期設定する（Ｓ４０６）。ストレージ部１１０に格納しているタイトル画像制御表を参照し、変数ＰＲＩに設定された優先順位の表示タイトルを検索する（Ｓ４０７）。例えば図８Ａのタイトル画像制御表（Ｔ５）の場合は、変数ＰＲＩ＝１に対し表示タイトル「家族」が検索される。次にタイトル画像制御表の設定に従い、検索した表示タイトルを対象にタイトル画像生成処理を実行する（Ｓ４０８）。

タイトル画像生成処理の具体的な内容は後述するが、今回の撮影画像が対象とする表示タイトルに変わったときにタイトル画像を生成するだけでなく、前回の撮影画像が対象とする表示タイトルであって今回の撮影画像が対象とする表示タイトル以外に変わったときには、対象とする表示タイトルが「終了」したことを示すタイトル画像を生成する。生成したタイトル画像は、メモリ部１０４内の一時記憶領域１０４ｆに一時保存する。タイトル画像生成処理終了後、処理した表示タイトルの優先順位は最下位かどうか判定する（Ｓ４０９）。

Ｓ４０９の判定で、処理した表示タイトルの優先順位が最下位ではない時には、変数ＰＲＩに１を加算し（Ｓ４１０）、Ｓ４０７に分岐する。そして、次の優先順位の表示タイトルについて同様の処理を行う。図８Ａの制御表（Ｔ５）場合は、変数ＰＲＩ＝２の優先順位である表示タイトル「風景」を対象にタイトル画像生成処理を行う。

Ｓ４０９の判定で、処理した表示タイトルの優先順位が最下位である時には、タイトル画像生成処理を終了する。そして、一時保存されたタイトル画像をストレージ部１１０の各種情報／データ記憶領域１１０ａに格納する（Ｓ４１１）。次に、メモリ部１０４の一時記憶領域１０４ｆに一時保存されていた画像データとメタデータ１，２を、ストレージ部１１０の各種情報／データ記憶領域１１０ａに格納する（Ｓ４１２）。これで撮像処理を終了する。

図１０Ａは、図９の画像解析処理（Ｓ４０４）の詳細を示すフローチャートである。
画像解析実行部１０４ｄにより撮影画像を解析する（Ｓ５０１）。撮影画像に人物が含まれているか判定する（Ｓ５０２）。撮影画像に人物が含まれていないと判定した時には、撮影画像は「風景」画像であると判別してメタデータ２を作成する（Ｓ５０７）。

撮影画像に人物が含まれていると判定した時には、その人物には家族が含まれるか判定する（Ｓ５０３）。この家族の判定のために、図８Ｂに示した家族構成テーブル（Ｔ６）を用いる。家族構成テーブルには家族の顔画像リンクがあり、撮影画像に含まれる人物と家族の顔画像リンク先の顔画像とが一致するか判定する。この判定は家族構成テーブルに登録された全家族について順次実施する。

撮影画像に家族が含まれると判定した時は、含まれる家族の人数が所定人数以上かを判定する（Ｓ５０４）。すなわち、顔画像が一致した人数が家族構成テーブルの「一致人数」以上であるか判定する。家族の人数が一致人数以上と判定した時には、撮影画像は「家族」画像であると判別してメタデータ２を作成する（Ｓ５０５）。

Ｓ５０３で撮影画像に家族が含まれないと判定した時、あるいはＳ５０４で家族の人数が一致人数未満と判定した時には、撮影画像は「人物」画像であると判別してメタデータ２を作成する（Ｓ５０６）。
これで画像解析処理を終了し、図９のＳ４０５へ移行する。

図１０Ｂは、図９のタイトル画像生成処理（Ｓ４０８）の詳細を示すフローチャートである。図９のＳ４０７に続いて実行される。ここでは対象とする表示タイトルが「家族」の場合を例に説明する。なお、表示タイトルが「人物」や「風景」の場合も同様の処理となる。

タイトル画像制御表を参照し、「家族」のタイトル画像生成フラグが１に設定されているか判定する（Ｓ５１１）。生成フラグが１に設定されていない時には、本処理を終了する。

生成フラグが１に設定されている時には、一時保存された今回の撮影画像のメタデータ１，２から今回の撮影画像が「家族」画像かどうか判定する（Ｓ５１２）。今回の画像が家族画像であると判定したときはＳ５１３へ進み、今回の画像が家族画像でないと判定したときはＳ５１５へ進む。

Ｓ５１３では、ストレージ部１１０に格納されている前回撮影した画像のメタデータ１，２から前回の画像が家族画像かどうか判定する。前回の撮影画像が家族画像であると判定したときは、本処理を終了する。前回の撮影画像が家族画像でないと判定したときはタイトル画像を生成する。すなわち、当該表示タイトルである「家族」の優先順位に応じたデザイン（画像サイズ等）で「家族」を示す文字を含むタイトル画像を生成して、メモリ部１０４の一時記憶領域１０４ｆに一時保存する（Ｓ５１４）。なお、タイトル画像の背景画像として、典型的な家族画像（家族の代表者、または全員の画像）あるいは一時保存されている家族の撮影画像等を用いてもよい。その後Ｓ５１７へ進む。

Ｓ５１５では、Ｓ５１３と同様に前回の画像が家族画像かどうか判定する。前回の撮影画像が家族画像でないと判定したときは、本処理を終了する。前回の撮影画像が家族画像であると判定したときはタイトル画像を生成する。ただしこの場合は、「家族」の優先順位に応じたデザインであって「家族終了」を示す文字を含むタイトル画像を生成して、メモリ部１０４の一時記憶領域１０４ｆに一時保存する（Ｓ５１６）。なお、タイトル画像の背景画像として「終了」を強調する画像等を合成してもよい。その後Ｓ５１７へ進む。

Ｓ５１７では、タイトル画像制御表のタイトル画像合成フラグが１に設定されているか判定する。合成フラグが１に設定されていない時には、本処理を終了する。合成フラグが１に設定されている時には、先に生成しメモリ部１０４に一時保存している優先順位が上位のタイトル画像があるか判定する（Ｓ５１８）。先に一時保存されたタイトル画像がない時には、本処理を終了する。先に一時保存されたタイトル画像がある時には、先に生成したタイトル画像と今回生成したタイトル画像を合成して、メモリ部１０４に一時保存する（Ｓ５１９）。タイトル画像の合成では、優先順位に従って上下の配置関係や文字サイズを異ならせる。これでタイトル画像生成処理を終了し、図９のＳ４０９へ移行する。

図１１Ａと図１１Ｂは、タイトル画像の様々な生成例を示す図である。図１１Ａは、タイトル画像制御表の例として（Ｔ７）～（Ｔ９）の場合を示す。ここでは、タイトル画像生成フラグ＝０の項目は一部省略している。図１１Ｂでは、これらの各制御表に従い生成されるタイトル画像の例を示す。

図１１Ｂの（初期状態）では、ストレージ部１１０に２枚の撮影画像Ｐ４，Ｐ５がメタデータ１，２と共に記憶されている時に、新たに撮像処理が実行されてメモリ部１０４の一時記憶領域１０４ｆに撮影画像Ｐ６とメタデータ１，２が一時保存された状態を想定する。この場合、画像Ｐ５が前回の画像、画像Ｐ６が今回の画像となる。各画像の下にはメタデータ１である撮影日時とメタデータ２である画像解析の結果（家族、人物、風景）の情報を記述している。この時に、図１１Ａの各タイトル画像制御表によりどのようにタイトル画像が生成されるかを説明する。

制御表（Ｔ７）の場合は、優先順位が「家族」、「人物」、「年」の順であり、タイトル画像生成フラグは１、タイトル画像合成フラグは０である。この場合、前回の撮影画像（Ｐ５）の画像解析結果が「人物」であり今回の撮影画像（Ｐ６）の画像解析結果が「家族」であること、また撮影年が異なっていることから、「家族」のタイトル画像３１、「人物終了」のタイトル画像３２、「年」のタイトル画像３３の３つのタイトル画像が優先順位に従って生成される。合成フラグは全て０なので、タイトル画像の合成は行わない。

制御表（Ｔ８）の場合は、制御表（Ｔ７）に対して「人物」のタイトル画像合成フラグが１に設定されているので、「家族」と「人物終了」のタイトル画像３１，３２が合成される。

制御表（Ｔ９）の場合は、制御表（Ｔ７）に対してタイトル画像生成フラグが「人物」のみ１である。この場合、前回の撮影画像が「人物」であり今回の撮影画像（Ｐ６）が「家族」であるので、優先順位２に相当する「人物終了」のタイトル画像３２のみが生成される。

このように本実施例では、撮影画像の画像解析結果で作成したメタデータ２を含めて参照し、タイトル画像制御表で設定した優先順位を持つ階層構造のタイトル画像を生成できる。したがって表示タイトルの種別を増やし複数の撮影画像をより使いやすい項目で分類整理することが可能となる。

実施例３では、ストレージ部１１０に記憶されている撮影画像の検索法について説明する。撮影画像の検索処理を効率的に行うため、本実施例では、メモリ部１０４に構成した画像検索実行部１０４ｅにより以下のように検索を実行する。

図１２は、画像検索時の表示画面の一例を示す図である。（ａ）は、撮影画像の一覧表示状態を示し、撮影画像１０の区切り位置にはタイトル画像が挿入されている。ここでは図７Ａのタイトル制御表（Ｔ１）に従い、「年」、「季節」、「月」の優先順位に従ってそれぞれのタイトル画像２１，２２，２３を階層的に生成している。なお、タイトル画像の合成は行っていない。ユーザは操作部１４０により例えば所望のタイトル画像をタップすることで、検索対象を選択する。その際、優先順位に従ってタイトル画像のサイズ等を変えているので、上位のタイトル画像を容易に識別して選択できる。

（ｂ）は「２０１６年」のタイトル画像２１を選択した場合で、「２０１６年」のタイトル画像に含まれる撮影画像（破線２１ａで示す対象範囲）がハイライト表示される。（ｃ）は「春」のタイトル画像２２を選択した場合（対象範囲２２ａ）、（ｄ）は「３月」のタイトル画像２３を選択した場合（対象範囲２３ａ）である。このように、選択したタイトル画像に属する撮影画像が他の画像よりも強調して表示されるため、ユーザは迅速に所望の画像を探すことができる。

図１２の場合は撮影画像が時系列に配置されているので、「年」で検索する場合は、対象となる画像の範囲は連続しているので検索しやすい。一方、「春」や「３月」で検索する場合は、「年」の違いにより対象となる画像の範囲が分散するので、異なる「年」に渡って検索するときは検索しにくくなる。そこで、タイトル画像の優先順位を変更して、撮影画像の配置を並べ替えることについて説明する。

図１３は、優先順位を変更して撮影画像を並べ替える例を示す図である。（ａ）は、「年」のタイトル画像２１を最優先とした場合の一覧表示で、図１２（ａ）と同様の配置である。これに対し（ｂ）は、「季節」のタイトル画像２２が最優先となるよう変更した場合の一覧表示である。このときユーザは、例えば（ａ）の画面で「春」のタイトル画像２２の位置をドラッグして「２０１６年」のタイトル画像２１と入れ替えるように操作する。

ユーザのドラッグ操作を検知すると、タイトル生成実行部１０４ｃは現在のタイトル画像制御表（Ｔ１）に対し、「季節」の優先順位フラグ＝１、「年」の優先順位フラグ＝２に変更して新たな優先順位に従ったタイトル画像を生成する。そして、ストレージ部１１０に記憶されている撮影画像の順序を新たな優先順位に従って並べ替える処理（ソート処理）を行う。この並べ替え処理では、（ａ）で生成済みのタイトル画像による分類された画像群をグループとして扱うことができるので、各画像のメタデータを逐一参照することなしに短時間で処理可能となる。その結果（ｂ）のように、「春」の新たなタイトル画像２２’には異なる「年」に渡る撮影画像が連続して配置されるので（破線２２ａ’で示す）、ユーザは容易に検索することができる。

以上、本発明のいくつかの実施例を説明したが、言うまでもなく、本発明の技術を実現する構成は前記実施例に限られるものではなく、様々な変形例が考えられる。例えば、前記実施例では撮像装置により撮影したタイミングでタイトル画像を生成しているが、撮影終了後に複数の撮影データを解析することによりタイトル画像制御表に従ってタイトル画像を生成し、区切り画像として挿入してもよい。また、文中や図中に現れる数値等はあくまでも一例であり、異なるものを用いても本発明の効果を損なうことはない。

前記した本発明の機能等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、マイクロプロセッサユニット等がそれぞれの機能等を実現するプログラムを解釈して実行することによりソフトウェアで実現してもよい。ハードウェアとソフトウェアを併用して構成してもよい。

１０：撮影画像、１１～１３，２１～２５，３１～３３：タイトル画像、１００：撮像装置、１０４：メモリ部、１０４ｃ：タイトル生成実行部、１０４ｄ：画像解析実行部、１０４ｅ：画像検索実行部、１０４ｆ：一時記憶領域、１１０：ストレージ部、１１０ａ：各種情報／データ記憶領域、１２１：表示部、１２３～１２５：撮像部（カメラ）、１４０：操作部。

Claims (7)

1. 画像表示方法であって、
   撮像部で第一の撮影画像を生成する撮影ステップと、
   前記第一の撮影画像と、前記第一の撮影画像に関する第一の撮影情報を記憶する記憶ステップと、
   前記第一の撮影情報と、前記第一の撮影画像と異なる第二の撮影画像に関する第二の撮影情報とを比較した結果に基づいてタイトル画像を生成するタイトル画像生成ステップと、
   前記第一の撮影画像を含む複数の画像と前記タイトル画像とを一覧表示する画像表示ステップと、を備え、
   前記タイトル画像生成ステップにおいて前記比較した結果が所定のデータを有する場合、前記所定のデータに基づいて階層的に生成することを特徴とする画像表示方法。
2. 請求項１に記載の画像表示方法において、
   前記第一の撮影情報及び前記第二の撮影情報は、撮影年、撮影季節、撮影月、撮影日、撮影場所、の何れかの撮影情報を少なくとも含むことを特徴とする画像表示方法。
3. 請求項２に記載の画像表示方法において、
   前記タイトル画像生成ステップでは、前記撮影情報の優先順位を記憶したタイトル画像制御テーブルに基づいて、前記タイトル画像を前記優先順位に従って階層的に生成することを特徴とする画像表示方法。
4. 請求項１に記載の画像表示方法において、
   前記画像表示ステップでは、前記複数の画像を所定の条件に基づいて配列した際に、前記タイトル画像生成ステップで生成した前記タイトル画像が前記第一の撮影画像と前記第二の撮影画像の間に挿入して表示することを特徴とする画像表示方法。
5. 請求項４に記載の画像表示方法において、
   前記タイトル画像生成ステップにおいて、前記比較した結果が所定のデータを有する場合、
   前記画像表示ステップにおいて、前記第一の撮影画像から前記所定のデータを有する画像の表示を開始することを示すタイトル画像を生成し、
   前記画像表示ステップにおいて、前記生成したタイトル画像を前記第一の撮影画像と前記第二の撮影画像の間に挿入して表示することを特徴とする画像表示方法。
6. 請求項４に記載の画像表示方法において、
   前記タイトル画像生成ステップにおいて、前記比較した結果が所定のデータを有する場合、
   前記画像表示ステップにおいて、前記第二の撮影画像で前記所定のデータを有する画像の表示が終了することを示すタイトル画像を生成し、
   前記画像表示ステップにおいて、前記生成したタイトル画像を前記第一の撮影画像と前記第二の撮影画像の間に挿入して表示することを特徴とする画像表示方法。
7. 請求項１に記載の画像表示方法において、
   前記タイトル画像生成ステップは、前記撮影ステップで第一の撮影画像を撮影した後に実行されることを特徴とする画像表示方法。

Images