JP5592977B2 - 画像表示装置、および画像表示方法 - Google Patents

Description

本発明は、タッチパネル式の操作部材を有する画像表示装置、および画像表示方法に関する。

近年、画像を記録する記録媒体の記録容量が増大してきており、大量の画像を記録できるようになってきている。この反面、記録媒体に大量に記録された画像の中から、ユーザが所望する画像を検索するのは困難になっている。

このような画像の検索技術に関し、例えば特許文献１では、プリントすべき画像を検索するために、メモリカードに記録された複数の画像の中で出現頻度の最も高い人物や所定の指定手段によって指定された人物の画像を検索するようにしている。

特開２００７−１４０８９７号公報

特許文献１による画像検索の手法はプリントすべき画像を自動的に検索できる利便性がある反面、検索自体に楽しみのあるものではない。このような場合、検索に時間がかかると、ユーザが写真鑑賞の興を削がれるおそれがある。

本発明は、上記の事情に鑑みてなされたものであり、画像を楽しく簡単に切り換えながら鑑賞できる画像表示装置、および画像表示方法を提供することを目的とする。

上記の目的を達成するために、本発明の第１の態様の画像表示装置は、記録部に記録された画像を表示する表示部と、上記表示部の表示画面上のタッチ位置と該タッチ位置が検出された後のスライド方向とを検出するタッチパネルと、上記タッチ位置から上記表示部に表示された画像の中の第１の人物を検出し、上記タッチ位置からのスライド方向に従って、上記検出された第１の人物の部分の画像をシフトさせる画像シフト部と、上記シフトによって生じる空き部分を別の画像によって置き換えるとともに、上記タッチ位置を基準として上記スライド方向と逆側に存在する第２の人物の部分の画像を、上記記録部に記録された画像から第２の人物の別の画像を検索し該画像と置き換える置換部とを具備することを特徴とする。

また、上記の目的を達成するために、本発明の第２の態様の画像表示装置は、記録部に記録された画像を表示する表示部と、上記表示部の表示画面上のタッチ位置と該タッチ位置が検出された後のスライド方向とを検出するタッチパネルと、上記タッチ位置から上記表示部に表示された画像の中の人物を検出し、上記タッチ位置からのスライド方向に従って、上記検出された人物の部分の画像をシフトさせる画像シフト部と、上記タッチ位置に対応した人物以外の人物の部分の画像を残すとともに、上記シフトによって生じる空き部分を別の画像によって置き換える置換部とを具備することを特徴とする。
また、上記目的を達成するために、本発明の第３の態様の画像表示方法は、記録部に記録された画像を表示する表示部と、上記表示部の表示画面上のタッチ位置と該タッチ位置が検出された後のスライド方向とを検出するタッチパネルと、を有する画像表示装置の画像表示方法において、上記タッチ位置から上記表示部に表示された画像の中の第１の人物を検出し、上記タッチ位置からのスライド方向に従って、上記検出された第１の人物の部分の画像をシフトさせ、上記シフトによって生じる空き部分を別の画像によって置き換えるとともに、上記タッチ位置を基準として上記スライド方向と逆側に存在する第２の人物の部分の画像を、上記記録部に記録された画像から第２の人物の別の画像を検索し該画像と置き換えることを特徴とする。

本発明によれば、画像を楽しく簡単に切り換えながら鑑賞できる画像表示装置、および画像表示方法を提供することができる。

本発明の第１の実施形態に係る画像表示装置の構成を示す図である。 タッチパネルの一例としての光感応式のタッチパネルの構成を示した図である 。 本発明の第１の実施形態に係るカメラのメインの動作を示すフローチャートで ある。 画像分類の処理について示すフローチャートである。 図５（ａ）は分類結果ファイルの一例を示しており、図５（ｂ）は分類結果フ ァイルに記録される顔の位置及び顔の大きさについて説明するための図である。 スライド方向判定処理について示すフローチャートである。 ユーザの指等がタッチしていない位置にいる検索用人物を検出するための処理 について示すフローチャートである。 検索用人物が写っている他の画像を記録部から検索するための処理について示 すフローチャートである。 画像シフト処理について示すフローチャートである。 顔の幅と画像の切れ目との関係を示す図である。 本発明の第１の実施形態において、画像シフト方向が顔の並び方向と一致 している場合の画像シフト処理について示した例示した図である。 本発明の第１の実施形態において、画像シフト方向が顔の並び方向と一致 していない場合の画像シフト処理について示した例示した図である。 本発明の第２の実施形態における動画再生モードの動作を示すフローチャ ートである。 動画像の例を示す図である。 本発明の第２の実施形態における画像シフト処理について例示した図であ る。

以下、図面を参照して本発明の実施形態を説明する。
［第１の実施形態］
まず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る画像表示装置の構成を示す図である。ここで、図１に示す画像表示装置は、デジタルカメラ（以下、単にカメラという）を例としている。

図１に示すカメラ１００は、制御部１０１と、操作部１０２と、撮像部１０３と、顔検出部１０４と、表示部１０５と、タッチパネル１０６と、記録部１０７と、時計部１０８と、通信部１０９とを有している。

制御部１０１は、カメラ用に構成されたＬＳＩ等から構成されており、ユーザによる操作部１０２の操作を受けて図１のカメラ１００内部の各ブロックの制御を行う。また、制御部１０１は、撮像部１０３によって取得された画像に対してホワイトバランス補正等の画像処理や圧縮伸張処理等を施すことも行う。さらに、制御部１０１は、タッチパネル１０６の操作に応じて記録部１０７に記録された所定の画像を検索する検索部としての機能
、及び表示部１０５に表示中の画像を検索された所定の画像で置き換える置換部としての機能も有する。これらの画像の検索動作及び置き換え動作については後述する。

操作部１０２は、ユーザがカメラ１００の操作を行うための操作部材である。操作部１０２には、例えば、カメラ１００の電源のオン/オフを切り替えるための電源ボタン、ユーザが撮影の実行を指示するためのレリーズボタン、ユーザが画像の再生を指示するための再生ボタン、ユーザがカメラ１００に関する各種の選択操作を行うための選択ボタン等が含まれる。

撮像部１０３は、撮影レンズ、撮像素子、Ａ/Ｄ変換部等から構成されている。撮影レンズは、図示しない被写体からの光束を撮像素子に入射させるためのレンズである。撮像素子は、撮影レンズからの光束に基づく被写体の像を電気信号に変換する。Ａ/Ｄ変換部は、撮像素子で得られたアナログの電気信号をデジタルデータ（以降、画像データという）に変換する。

顔検出部１０４は、撮像部１０３において得られた画像データ中の顔領域を検出する。
顔領域は、例えば目や鼻、口等の顔の特徴部分を画像中から検出することで行う。

表示部１０５は、例えばカメラ１００の背面に設けられ、撮像部１０３を介して取得された画像や記録部１０７に記録された画像等の各種の画像を表示する。この表示部１０５は、例えば液晶ディスプレイ等から構成されている。この表示部１０５により、ユーザは被写体の構図やシャッターチャンスを確認することができる。

タッチパネル１０６は、表示部１０５と一体的に設けられ、ユーザによる表示部１０５の表示画面上におけるタッチ位置と、タッチ後のスライド操作がなされた場合のスライド操作方向及びスライド操作量とを検出する。

図２は、タッチパネル１０６の一例としての光感応式のタッチパネルの構成を示した図である。図２（ａ）に示す表示部１０５は、液晶ディスプレイの例を示しており、表示パネル１０５ａとバックライト１０５ｂとを有している。表示パネル１０５ａは、液晶を含む画素が２次元に配列されて構成され、制御部１０１の制御に従って各画素の光の透過率を変化させるようになされている。バックライト１０５ｂは、例えば白色発光ダイオード（ＬＥＤ）を光源とし、制御部１０１の制御に従って表示パネル１０５ａの背面から光照射を行う。本実施形態の例において、タッチパネル１０６としての光センサは、表示パネル１０５ａの各画素に配置されている。

このような構成において、例えば、図２（ａ）に示すようにして、ユーザの指２００が表示パネル１０５ａに接触すると、指２００が接触している位置において、バックライト１０５ｂから出射された光が反射され、その反射光が光センサにおいて受光される。制御部１０１は各画素に配置された光センサからの出力信号の有無を監視しており、信号の出力がなされた光センサの位置からユーザの指２００のタッチ位置を検出する。

また、図２（ｂ）の矢印Ａで示すようにして、ユーザの指２００がスライドされた場合には、信号の出力がなされる光センサの位置も矢印Ａ方向にずれる。この信号の出力がなされる光センサの位置変化方向及び位置変化量から、ユーザの指２００のスライド操作方向及びスライド操作量を検出することが可能である。

なお、タッチパネル１０６としては光感応式に限らず、ユーザの指等の接触圧力によりタッチ操作を検出する感圧式のタッチパネル等の各種の構成のタッチパネルを用いることも可能である。

記録部１０７は、撮像部１０３を介して取得され、制御部１０１において圧縮された画像データが記録される。なお、この記録部１０７には、時計部１０８によって計時された撮影日時等の撮影条件が付加された画像ファイルとして画像データが記録される。また、記録部１０７には、画像データの分類情報を示す分類結果ファイルも記録される。時計部１０８は、画像の撮影がなされた日時等を計時する。

通信部１０９は、ＵＳＢインターフェース等のカメラ１００が外部機器と通信するための通信回路である。

次に、本実施形態に係るカメラ１００の動作について説明する。図３は、本実施形態に係るカメラ１００のメインの動作を示すフローチャートである。

図３において、カメラ１００の制御部１０１は、まず、カメラ１００の電源がオンされたか否かを判定する（ステップＳ１０１）。ステップＳ１０１の判定において、電源がオフされている場合に、制御部１０１は図３の処理を終了させる。

一方、ステップＳ１０１の判定において、電源がオンされた場合に、制御部１０１はカメラ１００の動作モードが撮影モードであるか否かを判定する（ステップＳ１０２）。ステップＳ１０２の判定において、カメラ１００の動作モードが撮影モードである場合に、制御部１０１は、スルー画表示を行うべく、撮像部１０３を動作させる。この際、制御部１０１は、顔検出部１０４を動作させ、撮像部１０３を介して得られる画像データ中の顔領域を検出する（ステップＳ１０３）。その後、制御部１０１は、露出演算を行う（ステップＳ１０４）。この露出演算において、制御部１０１は、撮像部１０３を介して得られる画像データに基づいて、被写体の明るさを測定する。そして、測定した被写体の明るさに基づき、制御部１０１は、後述する撮影時において撮像部１０３を介して得られる画像の明るさを適正な明るさとするような露出量を演算する。撮影時においては、ステップＳ１０４で得られた露出量に従って撮像部１０３の制御が行われる。

次に、制御部１０１は、表示部１０５にスルー画表示を行う（ステップＳ１０５）。このスルー画表示において、制御部１０１は、撮像部１０３を介して得られる画像を逐次処理して表示部１０５に表示させる。撮像部１０３を連続動作させ、該連続動作によって得られる画像を連続的にカメラ１００の表示部１０５に表示させることにより、表示部１０５を電子ファインダとして利用することが可能である。このようなスルー画表示により、ユーザは構図やシャッターチャンスを決定することが可能である。

スルー画表示の後、制御部１０１は、撮影者によって操作部１０２のレリーズボタンが押されたか否かを判定する（ステップＳ１０６）。ステップＳ１０６の判定において、レリーズボタンが押されていない場合には、処理がステップＳ１０１に戻る。この場合に、制御部１０１は、カメラ１００の電源がオンであるか否かを再び判定する。一方、ステップＳ１０６の判定において、レリーズボタンが押された場合に、制御部１０１は、ステップＳ１０３で演算された露出量に応じて撮影動作を実行し、撮影動作の結果、撮像部１０３を介して得られる画像データに対して各種の画像処理を施した上で画像ファイルを生成し、該生成した画像ファイルを記録部１０７に記録させる（ステップＳ１０７）。その後
、制御部１０１は、記録部１０７に記録した画像ファイル中の画像データの分類を行う（ステップＳ１０８）。画像分類の後、制御部１０１は、分類結果に基づいて分類結果ファイルを作成して記録部１０７に記録させるか、或いは既に分類結果ファイルが作成されている場合には分類結果ファイルを更新する（ステップＳ１０９）。その後、処理がステップＳ１０１に戻る。

ここで、ステップＳ１０８の画像分類について説明する。図４は、画像分類の処理について示すフローチャートである。なお、図４に示す画像分類の手法は一例であって、適宜変更が可能である。

図４において、制御部１０１は、顔検出部１０４の顔検出結果から、記録部１０７に記録させた画像データに顔領域が含まれているか否かを判定する（ステップＳ２０１）。ステップＳ２０１の判定において、画像データに顔領域が含まれている場合に、制御部１０１は、画像データに含まれている顔領域の大きさが所定量以上であるか否かを判定する（ステップＳ２０２）。

ステップＳ２０２の判定において、顔領域の大きさが所定量以上でない場合には、記録部１０７に記録させた画像データをスナップ写真に分類する（ステップＳ２０３）。一方
、ステップＳ２０２の判定において、顔領域の大きさが所定量以上である場合には、記録部１０７に記録させた画像データをポートレート写真に分類する（ステップＳ２０４）。
ステップＳ２０１の判定において画像データ中に顔領域が含まれていることが判定されているので、顔領域の大きさから、人物に主眼を置いて撮影されたポートレート写真であるか否かを判定する。ステップ２０３又はステップＳ２０４の後、制御部１０１は、画像データ中の顔領域の数、位置、大きさ、特徴を検出する（ステップＳ２０５）。この顔領域の数、位置、大きさ、特徴の検出については後述する。

また、ステップＳ２０３の判定において、画像データに顔領域が含まれていない場合に
、制御部１０１は、例えば撮影レンズの焦点位置情報から、記録部１０７に記録させた画像データ中の被写体が所定距離以上の遠距離の被写体であるか否かを判定する（ステップＳ２０６）。

ステップＳ２０６の判定において、遠距離の被写体でない場合に、制御部１０１は、記録部１０７に記録させた画像データがマクロ撮影によって得られた画像データであるか否かを判定する（ステップＳ２０７）。ステップＳ２０７の判定において、マクロ撮影によって得られた画像データでない場合に、制御部１０１は、記録部１０７に記録させた画像データをペット写真に分類する（ステップＳ２０８）。また、ステップＳ２０７の判定において、マクロ撮影によって得られた画像データである場合に、制御部１０１は、記録部１０７に記録させた画像データを花の写真に分類する（ステップＳ２０９）。さらに、ステップＳ２０６の判定において、遠距離の被写体である場合に、制御部１０１は、記録部１０７に記録させた画像データを風景写真に分類する（ステップＳ２１０）。

図５（ａ）は分類結果ファイルの一例を示している。図５（ａ）に示す分類結果ファイルは、「分類結果」、「顔の数」、「顔の位置、特徴、大きさ」、「撮影日時」の項目を有している。

「分類結果」は、画像分類処理による画像分類結果が記録される。「顔の数」はステップＳ２０５において検出された画像データ中の顔領域の数が記録される。

「顔の位置、特徴、大きさ」は画像内のどの位置に、どの程度の大きさの、どのような顔が含まれているかが記録される。本実施形態においては、例えば、図５（ｂ）のようにして１画面をＡ１〜Ａ９の９つの領域に分割し、このＡ１〜Ａ９によって顔の位置を示すようにしている。また、顔の大きさは、Ａ１〜Ａ９の領域に対する大きさによってＤ１〜Ｄ３で示す３段階の大きさで示すようにしている。Ｄ１は、顔領域の大きさがＡ１〜Ａ９の領域の大きさよりも小さい場合である。また、Ｄ２は、顔領域がＡ１〜Ａ９の領域に内接している（大きさがほぼ等しい）場合である。また、Ｄ３は、顔領域の大きさがＡ１〜Ａ９の領域の大きさよりも大きい場合である。さらに、顔の特徴については、顔の特徴を示す識別子を画像データ毎に記録する。例えば、画像１は、Ａ４の領域に特徴Ｐ−Ａ（例えば家族を示す）の顔がＤ２の大きさで存在し、且つＡ７の領域に特徴Ｐ−Ａの顔がＤ３の大きさで存在していることを示す。

「撮影日時」は、時計部１０８によって記録された撮影日時が記録される。カメラ１００にＧＰＳ機能を設けることにより、撮影位置を記録できるようにしても良い。

ここで、再び図３の説明に戻る。ステップＳ１０２の判定において、カメラ１００の動作モードが撮影モードでない場合に、制御部１０１は、カメラ１００の動作モードが再生モードであるか否かを判定する（ステップＳ１１０）。ステップＳ１１０の判定において
、カメラ１００の動作モードが再生モードでない場合には、処理がステップＳ１０１に戻る。一方、ステップＳ１１０の判定において、カメラ１００の動作モードが再生モードである場合に、制御部１０１は再生モードの処理を行う。この場合に、制御部１０１は、記録部１０７に記録された画像ファイルの中で、最後に記録された（撮影日時が最新の）画像ファイルを再生して表示部１０５に表示させる（ステップＳ１１１）。その後、制御部１０１は、タッチパネル１０６の出力から、ユーザの指等による表示部１０５の表示画面上へのタッチ操作がなされたか否かを判定する（ステップＳ１１２）。ステップＳ１１２の判定において、タッチ操作がなされた場合に、制御部１０１は、ユーザの指等のスライド操作がなされたか否かを判定する（ステップＳ１１３）。ステップＳ１１３の判定において、スライド操作がなされている場合に、制御部１０１は、タッチパネル１０６の出力から、スライド方向の検出を行う（ステップＳ１１４）。

ステップＳ１１３のタッチ操作の有無の判定、及びステップＳ１１４のスライド方向の検出について図６を参照して説明する。ステップＳ１１１における最終の画像の表示後、制御部１０１は、タッチパネル１０６の出力から、表示部１０５の表示画面上において指等による反射光の光量が大きい位置を検出する（ステップＳ３０１）。この位置がタッチ操作位置となる。次に、制御部１０１は、タッチパネル１０６の出力から、タッチ操作位置に対応した反射光の光量が大きい位置が変化したか否かを判定する（ステップＳ３０２）。ステップＳ３０２の判定において、位置変化がない場合にはスライド操作がなされていないと判定する。この場合には、図６の処理が終了する。一方、ステップＳ３０２の判定において、位置変化があった場合に、制御部１０１は、その位置変化方向をスライド方向とする（ステップＳ３０３）。この場合には、処理が図３のステップＳ１１５に移行する。

ここで、再び図３の説明に戻る。ステップＳ１１４において、スライド方向を検出した後、制御部１０１は、ユーザの指等がタッチしていない位置にいる人物を検出する（ステップＳ１１５）。

図７を参照して、ステップＳ１１５の処理の詳細について説明する。まず、制御部１０１は、画像データ中の人物の顔の並び方向を判別する（ステップＳ４０１）。例えば、画像の水平方向に沿って複数の顔が並んでいる場合には、並び方向は水平方向となる。なお、画像データ中に１つしか顔がない場合には、顔の並び方向を判別する必要はない。

次に、制御部１０１は、顔の並び方向とスライド方向とが略一致しているか否かを判定する（ステップＳ４０２）。ステップＳ４０２の判定において、顔の並び方向とスライド方向とが一致している場合に、制御部１０１は、タッチ位置を基準としてスライド方向と反対側に存在する全ての人物をユーザの指等がタッチしていない位置にいる人物として検出する（ステップＳ４０３）。一方、ステップＳ４０２の判定において、顔の並び方向とスライド方向とが一致していない場合に、制御部１０１は、タッチ位置に存在している人物以外の全ての人物の顔領域をユーザの指等がタッチしていない位置にいる人物として検出する（ステップＳ４０４）。本実施形態においては、このようにして検出した人物を検索用人物とし、該検索用人物が写っている画像を記録部１０７から検索する。この処理の詳細については後述する。

ここで、再び図３の説明に戻る。ステップＳ１１５において、ユーザの指等がタッチしていない位置にいる人物を検出した後、制御部１０１は、ステップＳ１１５において検出した検索用人物の写っている他の画像を記録部１０７から検索する（ステップＳ１１６）
。

図８を参照して、ステップＳ１１６の処理の詳細について説明する。まず、制御部１０１は、分類結果ファイルを参照して、現在再生中の画像における検索用人物の顔の特徴を判別する（ステップＳ５０１）。続いて、制御部１０１は、判別した顔の特徴と同じ特徴を有する画像を記録部１０７から検索する（ステップＳ５０２）。その後、制御部１０１は、検索した画像の中で表示回数の少ない画像の表示優先度を高くする（ステップＳ５０３）。さらに、制御部１０１は、検索した画像の中で現在再生中の画像と顔の位置、大きさが同じ画像の表示優先度を高くする（ステップＳ５０４）。

ここで、再び図３の説明に戻る。ステップＳ１１６において、画像の検索を行った後、制御部１０１は、ユーザによるスライド操作に従って画像をシフトさせつつ、シフトさせた部分を検索した画像で置き換えるように画像合成を行う画像シフト処理を行う（ステップＳ１１７）。

図９を参照して画像シフト処理の詳細について説明する。まず、制御部１０１は、ステップＳ１１５において検出した検索用人物の顔領域の上下方向を判別する（ステップＳ６０１）。この判別した上下方向により、ステップＳ１１５において検出した人物が写っている領域を判別する。次に、制御部１０１は、図１０に示すようにして、ステップＳ１１５において検出した人物の顔領域の中心から顔の幅Ｆだけタッチ位置に近い位置の画像部分を切れ目位置３０１に設定する（ステップＳ６０２）。即ち、人物の顔領域の中心から顔の幅Ｆだけタッチ位置に近い位置を切れ目位置とすることにより、以後の画像シフト後に、ステップＳ１１５において検出した人物部分が残ることになる。

次に、制御部１０１は、表示部１０５に表示させている画像を、切れ目位置３０１を基準としてスライド方向側とスライド方向に対して反対側の２つの画像に分ける。そして、２つに分けた画像のうち、スライド方向側の画像を、所定量だけスライド方向にシフトさせた合成画像を生成する（ステップＳ６０３）。この際、制御部１０１は、画像のシフトによって表示部１０５の表示画面からはみ出す部分については合成しない（ステップＳ６０４）。さらに、制御部１０１は、ステップＳ１１６において検索した画像の中で表示優先度の高い画像を選択し、画像シフトによって空いた位置を、選択した画像においてシフトによって空いた位置と同じ位置の画像で置き換えた合成画像を生成して表示部１０５に表示させる（ステップＳ６０５）。

画像を合成した後、制御部１０１は、タッチパネル１０６の出力から、画像シフトが完了したか、即ちユーザのスライド操作量に対応した画像シフトを行ったか否かを判定する（ステップＳ６０６）。ステップＳ６０６の判定において、画像シフトが完了してない場合には処理がステップＳ６０３に戻る。この場合には、画像シフトが継続される。一方、ステップＳ６０６の判定において、画像シフトが完了した場合には、現在表示部１０５に表示中の画像がステップＳ１１６において選択した画像に置き換わる。この場合、制御部１０１は図９の処理を終了させて、図３のステップＳ１１２以後の処理を行う。

図１１は、スライド操作がなされた後の、画像シフト処理について示した図である。例えば、図１１（ａ）に示す３人の人物が写った画像のうちで真中の人物６０１に対してユーザの指がタッチしており、この後、ユーザの指が図面左方向にスライドしたとする。この場合、ステップＳ１１５において、スライド方向と反対側の人物６０２が検索用人物として検出される。そして、ステップＳ１１６において、検索用人物である人物６０２が写っている画像が検索される。さらに、ステップＳ１１７において、人物６０２の顔領域の中心から顔の幅だけ離れた位置である切れ目３０１から、その左側にある画像部分が図１１（ｂ）で示す左方向（矢印Ｂ方向）にシフトされる。その後、図１１（ｃ）に示すようにして、人物６０２が写っている画像の一部６０３が合成される。シフトの終了後は、図１１（ｄ）に示すようにして、人物６０２と同じ人物６０２ａが写っている別の画像に完全に置き換わる。

なお、ステップＳ１１６の処理の結果、検出した人物の写った他の画像が検索できない場合もあり得る。このような場合には、単に画像シフトのみを行うようにし、画像の置き換えは行わない。また、この際、画像の検索が行えなかった旨を警告表示等するようにしても良い。

図１２は、スライド方向が下方（矢印Ｃ方向）の例を示している。この例では、２人の人物がタッチされた例を示している。また、この例では顔の並び方向とスライド方向とが一致していないため、ステップＳ１１５において検出される検索用人物は図１１の場合と同じ人物６０２となる。画像の置き換え自体は画像のシフト方向が下方向である以外は図１１と同様である。なお、人物６０１のみがタッチされている場合には、人物６０２と人物６０４の両方が写っている画像が検索される。

図１１、図１２のようにして画像の検索を行えるようにすることで、ユーザは単に検索したい人物以外の人物を選択してその部分をスライドするだけで画像の検索を行うことが可能である。

なお、画像シフトの際に、あたかも紙の写真が破けているかのような音を発するようにしても良い。

ここで、再び図３の説明に戻る。ステップＳ１１３の判定において、スライド操作がなされていない場合に、制御部１０１は、画像の表示を終了するか否かを判定する（ステップＳ１１８）。この判定は、例えばユーザの指等のタッチ位置が表示部１０５の表示画面に表示された図示しない表示終了ボタンであるか否かから判定する。ステップＳ１１８の判定において、画像の表示を終了する場合には、処理がステップＳ１０１に戻る。一方、ステップＳ１１８の判定において、画像の表示を終了しない場合に、制御部１０１は、記録部１０７に記録された画像のサムネイル表示を行うか否かを判定する（ステップＳ１１９）。この判定は、例えばユーザの指等のタッチ位置が表示部１０５の表示画面に表示された図示しないサムネイル表示ボタンであるか否かから判定する。

ステップＳ１１９の判定において、サムネイル表示を行う場合に、制御部１０１は、記録部１０７に記録された画像のサムネイル画像を表示部１０５に表示させる（ステップＳ１２０）。その後、制御部１０１は、タッチパネル１０６の出力から、サムネイル画像の選択がなされたか、即ちユーザの指等が表示部１０５に表示されたサムネイル画像の何れかにタッチしたか否かを判定する（ステップＳ１２１）。ステップＳ１２１の判定において、ユーザの指等が表示部１０５に表示されたサムネイル画像の何れかにタッチしていた場合に、制御部１０１は、そのタッチ位置のサムネイル画像に対応した画像を表示部１０５に拡大表示する（ステップＳ１２２）。また、ステップＳ１２１の判定において、ユーザの指等が表示部１０５に表示されたサムネイル画像の何れにもタッチしていない場合に、処理がステップＳ１１２に戻る。

また、ステップＳ１１９の判定において、サムネイル表示を行わない場合には、所定時間の経過後に、制御部１０１は、記録部１０７に記録された画像ファイルの中で次に撮影日時の新しい画像を表示部１０５に表示させる（ステップＳ１２３）。その後、処理がステップＳ１１２に戻る。

以上説明したように、第１の実施形態によれば、タッチパネル１０６を用いたユーザの直感的な操作で画像の検索を行うことが可能である。これにより、ユーザは楽しみながら画像の検索を行うことが可能である。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。上述の第１の実施形態は、ユーザのスライド操作に応じて静止画像の検索を行うものである。これに対し、第２の実施形態は
、ユーザのスライド操作に応じて動画像中の所定のコマの検索を行うものである。なお、カメラの構成としては、基本的には図１に示したものが適用される。ただし、第２の実施形態におけるカメラ１００は、記録部１０７に記録されている動画像ファイルの再生も可能なものを想定している。

図１３は、第２の実施形態における動画再生モードの動作を示すフローチャートである
。この図１３の動画再生モードは、図３の再生モード（静止画再生モード）とは別の動作モードとして良い。図３の再生モードと、図１３の再生モードとを別の動作モードとした場合、これらの動作モードの切り替えは、例えばユーザの操作部１０２或いはタッチパネル１０６の操作によって行うことができる。

カメラ１００の動作モードが動画再生モードに設定された場合、制御部１０１は、記録部１０７に記録されている動画像ファイルを再生して動画像を表示部１０５に表示させる（ステップＳ７０１）。ここで再生する動画像ファイルは、例えばユーザの操作部１０２の操作によって選択された動画像ファイルや記録部１０７に最後に記録された動画像ファイルである。

動画像ファイルの再生の後、制御部１０１は、タッチパネル１０６の出力から、ユーザの指等による表示部１０５の表示画面上へのタッチ操作がなされたか否かを判定する（ステップＳ７０２）。ステップＳ７０２の判定において、タッチ操作がなされた場合に、制御部１０１は、動画像の表示を一時停止させる（ステップＳ７０３）。そして、制御部１０１は、タッチパネル１０６の出力から、ユーザの指等のスライド操作がなされたか否かを判定する（ステップＳ７０４）。ステップＳ７０４の判定において、スライド操作がなされている場合に、制御部１０１は、タッチパネル１０６の出力から、スライド方向の検出を行う（ステップＳ７０５）。タッチ操作の有無、スライド方向の検出の処理は第１の実施形態において説明した処理と同様であるので説明を省略する。

スライド方向を検出した後、制御部１０１は、ユーザの指等がタッチしていない位置にいる人物を検索用人物として検出するとともに、検索用人物を基準としてスライド方向側に存在する人物を検索対象外人物として検出する（ステップＳ７０６）。検索用人物を検出する処理は第１の実施形態において説明した処理と同様である。また、検索対象外人物の検索はステップＳ４０３の処理と類似しており、タッチ位置を基準としてスライド方向と同方向に存在する人物を検出する点のみが異なる。

ステップＳ７０６の検索の後、制御部１０１は、ステップＳ７０６において検出した検索用人物が写っていて且つ検索対象外人物が写っていないコマを現在の再生対象となっている動画像ファイル中から検索する（ステップＳ７０７）。検索用人物が写っていて且つ検索対象外人物が写っていないコマは、一時停止されたコマに対して大きく変化しているコマである。このようなコマを置き換え後のコマとすればユーザは似たようなコマばかりを見る必要がなく所望のコマを検索し易い。また、ステップＳ７０７では、検索用人物が写っていて且つ検索対象外人物が写っていないコマを検索対象としているが、検索用人物が写っていて且つスライド方向側に別の人物が写っているコマを検索対象とするようにしても良い。

ステップＳ７０７の後、制御部１０１は、検索用人物が写っていて且つ検索対象外人物が写っていないコマが動画像ファイルから検索できたか否かを判定する（ステップＳ７０８）。ステップＳ７０８の判定において、検索用人物が写っていて且つ検索対象外人物が写っていないコマが動画像ファイルから検索できた場合に、制御部１０１は、ユーザによるスライド操作に従って現在表示中のコマをシフトさせつつ、シフトさせた部分を検索したコマで置き換えるように画像合成を行う画像シフト処理を行う（ステップＳ７０９）。
この処理も第１の実施形態において説明した処理とほぼ同様であり、合成対象の画像が動画ファイルの各コマの画像である点のみが異なる。

例えば、図１４に示すような３コマを含む動画像ファイルの１コマ目の再生中に、図１５（ａ）に示すようにしてユーザの指等が画像中の人物７０２にタッチし、その後、表示部１０５の表示画面に対して右方向にスライド操作がなされたとする。この場合、１コマ目の画像においてユーザがタッチしていない位置にいる人物７０１が検索対象用人物となる。また、人物７０２が検索対象外人物となる。これにより、ステップＳ７０７の検索の結果、２コマ目ではなく、検索用人物である人物７０１が写っていて且つ検索対象外人物である人物７０２が写っていない３コマ目が置き換え対象のコマとして検索される。これにより図１５（ｂ）で示すような画像シフトが実行され、画像シフトの実行後に図１５（ｃ）に示すようにして表示部１０５の表示が３コマ目に置き換わる。

画像シフトによって画像の置き換えが行われた後、制御部１０１は、置き換え後のコマを次回の動画ファイルの再生対象コマとして選択する（ステップＳ７１０）。その後、処理がステップＳ７０１に戻り、次回はステップＳ７１０で選択されたコマから動画像ファイルの再生が行われる。

また、ステップＳ７０８の判定において、検索用人物が写っていて且つ検索対象外人物が写っていないコマが動画像ファイルから検索できなかった場合に、制御部１０１は、検索用人物の部分を拡大して現在再生中のコマに重畳表示させる（ステップＳ７１１）。その後、制御部１０１は、現在再生中のコマを次回の動画ファイルの再生対象コマとして選択する（ステップＳ７１３）。その後、処理がステップＳ７０１に戻り、次回はステップＳ７１３で選択されたコマから動画像ファイルの再生が行われる。

また、ステップＳ７０２においてタッチ操作がなされていない場合又はステップ７０４の判定においてスライド操作がない場合に、制御部１０１は、動画像ファイルの再生を終了するか否かを判定する（ステップＳ７１２）。この判定は、例えばユーザの指等のタッチ位置が表示部１０５の表示画面に表示された図示しない終了ボタンであるか否かから判定する。ステップＳ７１２の判定において、動画像ファイルの再生を終了する場合に、制御部１０１は図１３の処理を終了させる。一方、ステップＳ７１２の判定において、動画像ファイルの再生を終了しない場合には処理がステップＳ７１３に移行する。

以上説明したように、第２の実施形態によれば、タッチパネル１０６を用いたユーザの直感的な操作で楽しみながら動画像中の所望のコマの検索を行うことが可能である。また
、コマの検索は検索用人物が写っていて且つ検索対象外人物が写っていないコマを検索するようにしているので、ユーザは似たようなコマばかりを見る必要がなく所望のコマを検索し易い。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。上述の実施形態では、画像表示装置の例としてデジタルカメラを示している。しかしながら
、本実施形態はタッチパネルを有する各種の画像表示装置に適用可能である。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１００…カメラ、１０１…制御部、１０２…操作部、１０３…撮像部、１０４…顔検出部、１０５…表示部、１０６…タッチパネル、１０７…記録部、１０８…時計部、１０９…通信部

Claims (8)

1. 記録部に記録された画像を表示する表示部と、
   上記表示部の表示画面上のタッチ位置と該タッチ位置が検出された後のスライド方向とを検出するタッチパネルと、
   上記タッチ位置から上記表示部に表示された画像の中の第１の人物を検出し、上記タッチ位置からのスライド方向に従って、上記検出された第１の人物の部分の画像をシフトさせる画像シフト部と、
   上記シフトによって生じる空き部分を別の画像によって置き換えるとともに、上記タッチ位置を基準として上記スライド方向と逆側に存在する第２の人物の部分の画像を、上記記録部に記録された画像から第２の人物の別の画像を検索し該画像と置き換える置換部と、
   を具備することを特徴とする画像表示装置。
2. 上記置換部は、上記第２の人物の顔と同じ大きさかつ同じ位置に顔がある画像を上記記録部から検索することを特徴とする請求項１に記載の画像表示装置。
3. 上記置換部は、上記表示部への表示回数が少ない画像を上記記録部から検索することを特徴とする請求項１に記載の画像表示装置。
4. 上記表示部に表示される画像は、複数のコマの画像からなる動画像であり、
   上記置換部は、上記動画像中の複数のコマの画像の中で上記第２の人物の別の画像を検索することを特徴とする請求項１に記載の画像表示装置。
5. 上記置換部は、上記動画像中の複数のコマの画像の中で上記第１の人物を含まない画像を検索することを特徴とする請求項４に記載の画像表示装置。
6. 記録部に記録された画像を表示する表示部と、
   上記表示部の表示画面上のタッチ位置と該タッチ位置が検出された後のスライド方向とを検出するタッチパネルと、
   上記タッチ位置から上記表示部に表示された画像の中の人物を検出し、上記タッチ位置からのスライド方向に従って、上記検出された人物の部分の画像をシフトさせる画像シフト部と、
   上記タッチ位置に対応した人物以外の人物の部分の画像を残すとともに、上記シフトによって生じる空き部分を別の画像によって置き換える置換部と、
   を具備することを特徴とする画像表示装置。
7. 上記表示部に表示される画像は、複数のコマの画像からなる動画像であり、
   上記置換部は、上記動画像中の複数のコマの画像の中で上記別の画像の検索を行うことを特徴とする請求項６に記載の画像表示装置。
8. 記録部に記録された画像を表示する表示部と、上記表示部の表示画面上のタッチ位置と該タッチ位置が検出された後のスライド方向とを検出するタッチパネルと、を有する画像表示装置の画像表示方法において、
   上記タッチ位置から上記表示部に表示された画像の中の第１の人物を検出し、上記タッチ位置からのスライド方向に従って、上記検出された第１の人物の部分の画像をシフトさせ、上記シフトによって生じる空き部分を別の画像によって置き換えるとともに、上記タッチ位置を基準として上記スライド方向と逆側に存在する第２の人物の部分の画像を、上記記録部に記録された画像から第２の人物の別の画像を検索し該画像と置き換えることを特徴とする画像表示方法。