JP4914778B2 - カメラ - Google Patents

カメラ Download PDF

Info

Publication number
JP4914778B2
JP4914778B2 JP2007180302A JP2007180302A JP4914778B2 JP 4914778 B2 JP4914778 B2 JP 4914778B2 JP 2007180302 A JP2007180302 A JP 2007180302A JP 2007180302 A JP2007180302 A JP 2007180302A JP 4914778 B2 JP4914778 B2 JP 4914778B2
Authority
JP
Japan
Prior art keywords
image
search
displayed
display
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007180302A
Other languages
English (en)
Other versions
JP2008182662A5 (ja
JP2008182662A (ja
Inventor
貴史 藤井
一樹 桜井
健世 伊藤
武 石野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Imaging Corp
Original Assignee
Olympus Imaging Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Imaging Corp filed Critical Olympus Imaging Corp
Priority to JP2007180302A priority Critical patent/JP4914778B2/ja
Priority to US11/900,791 priority patent/US8599251B2/en
Publication of JP2008182662A publication Critical patent/JP2008182662A/ja
Publication of JP2008182662A5 publication Critical patent/JP2008182662A5/ja
Application granted granted Critical
Publication of JP4914778B2 publication Critical patent/JP4914778B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Description

本発明は、画像検索機能を備えたカメラに関する。
近年、デジタルカメラには、アルバム機能やカレンダー機能などの様々な画像管理機能が搭載されており、撮影画像の整理や検索に使用されている。
アルバム機能は、メモリカードなどの記録媒体内に撮影画像をアルバムとして整理することができる機能であり、この機能を使用すれば、ユーザはアルバムを基に所望の画像を検索することができる。例えば特許文献1、2、及び3には、このようなアルバム機能を有効に活用するための技術が開示されている。
カレンダー機能は、撮影画像を撮影日付ごとに整理することができる機能であり、この機能を使用すれば、ユーザは撮影日付を基に所望の画像を検索することができる。
その他、画像を検索する装置や方法としては、例えば特許文献4及び5に記載されている装置や方法がある。
また、近年のデジタルカメラは、搭載される記録媒体(例えばメモリカード等)の大容量化に伴い、多数の画像(画像データ)を記録することができるようになった。このように記録媒体に多数の画像が記録されるようになると、デジタルカメラのユーザによっては、記録された多数の画像の中から任意の条件を満たす画像だけを検索して再生したい場合がある。例えば、特定の地域で撮影された画像だけを確認したい場合や、特定の時間帯に撮影された画像だけを確認したい場合などである。また、これらの場合において更に、その特定の地域を任意に拡大したり縮小したりして、その範囲の地域で撮影された画像だけを確認したい場合や、その特定の時間帯を任意に広げたり縮めたりして、その範囲の時間帯で撮影された画像だけを確認したい場合などもある。
なお、複数の画像の中から所定の条件を満たす画像を検索する装置として、例えば特許文献6には、画像の記憶容量が不足した時に、撮影を継続できるように、削除すべき画像の候補を所定の条件の下に検索して表示し、ユーザに画像削除を促すようにした撮像装置が提案されている。
さらに、近年のデジタルカメラにおいては、撮影と再生の機能が用途に合うように多機能化されている。撮影機能に関して言えば、例えば、撮影者が希望する表情等をした画像を容易に撮影できるように、撮影時(撮影モード時)に、撮影部で得られた画像データから人の顔部分を検出し、その中から1つを選択すると、選択された顔部分を含む顔領域の顔画像を拡大表示したり、選択された顔部分を表示部内で追跡したりする機能を備えたデジタルカメラがある(例えば特許文献7参照)。再生機能に関して言えば、例えば、登録した画像をアルバム毎に再生可能なアルバム機能や、登録した画像をカレンダーの月毎等に再生可能なカレンダー機能などを備えたデジタルカメラがある。
また、近年における記録媒体の低価格大容量化に伴って、多数の撮影画像を記録することも可能になり、従来のような記録媒体の交換や記録媒体に記録された撮影画像の移動等といった煩わしさ無しに撮影を継続することができるようになった。
特開2000−242649号公報 特開2001−167118号公報 特開平10−254901号公報 特開平6−12494号公報 特開2004−120225号公報 特開2002−369125号公報 特開2005−102175号公報
ところで、デジタルカメラにおけるアルバム機能は、画像を登録する際の操作の難しさやアルバム作成の手間がかかる。一方で、カレンダー機能では日付を基にした整理や検索はできるが、その他の切り口でのグルーピングができない。例えば、同じ場所の違う季節の写真の一群を見たい(見せたい)ときや、笑顔が写っている写真の一群を見たい(見せたい)とき、または海や夜景写真の一群を見たい(見せたい)ときに、既存のアルバム機能やカレンダー機能では、実現する手段が無い。
また、上記のデジタルカメラにおいて、アルバム機能を使用して画像検索を行う場合にも、予め撮影画像の一つ一つをアルバムに登録しておかなければならず面倒である。また、カレンダー機能を使用して画像検索を行う場合には、前述のとおり、撮影日付といった、限られた条件でしか撮影画像を検索することができない。このように、上記のデジタルカメラでは、ユーザが簡単に所望の画像を検索することができなかった。そこで、より使い勝手を向上させるためにも、ユーザが、予め検索元候補とする画像を登録しておき、その中から必要に応じて検索元とする画像を選択すれば、その画像の特徴部分やその画像の付随情報を基に自動的に画像を検索するような機能の実現、及び、その機能を誰もが簡単に使用できるような操作性が望まれている。しかしながら、従来において、上記特許文献1乃至7を含め、そのような機能を有する装置は開示されていない。
また、デジタルカメラのような携帯機器においては、装置の小型化が要求されるため、操作部は少なく且つ装置に占める面積も小さい。一方、撮影や再生の機能は用途に合うように多機能化している。また、メモリの低価格大容量化に伴い、多量の画像を記憶することができるようになった。このように便利になった反面、上記の操作部の構成のために操作方法が複雑になり、使い方を理解しないとどのように使えばよいのかが分からなくなるという問題が生じている。
更に、例えばお気に入りの画像が保存されている場合にお気に入りの画像とこの画像の特徴を有する他の画像とを、保存された大量の画像の中から探し出して表示することは非常に困難で上記特許文献1乃至7にも示唆されていない。
また、上記のデジタルカメラにおいて、過去の画像を見たいと思ってデジタルカメラを使うことがある一方、デジタルカメラの使用中に気に入っている画像を見たくなったり、表示された画像を見ているうちに急に以前撮影した画像を見たくなることもよくある。そこで、上記のデジタルカメラ等のように画像の撮影及び再生が可能な装置において、より使い勝手を向上させるためにも、撮影待機時にスルー画形式(撮像した画像をリアルタイムで表示する形式)で表示される画像や再生時に表示される画像、の特徴部分やその画像の付随情報を基に自動的に画像を検索するような機能の実現、及び、その機能を誰もが簡単に使用できるような操作性が望まれている。しかしながら、従来において、上記特許文献1乃至7を含め、そのような機能を有する装置は開示されていない。
また、従来において、ユーザが多数の画像の中から任意の条件を満たす画像だけを検索して再生しようとする場合に、その条件の範囲(例えば上記の地域や時間帯などの範囲)を任意に変更することができ、且つ、それを簡単な操作で行うことができるような装置は存在していない。上記特許文献6に提案されている撮像装置では、検索の条件は変更できても、その条件の範囲は変更できない。
また、記録媒体に多数の撮影画像が記録されるようになると、その多数の撮影画像の中から所望の撮影画像を探し出すのが困難になるという問題も生じている。例えば、撮影画像を再生している時に、その撮影画像の特徴部分を有する他の撮影画像を記録媒体から探し出して表示することは非常に困難である。これは、上記特許文献7のデジタルカメラでは勿論のこと、上記のアルバム機能やカレンダー機能を用いても解決できない。
本発明は、上記実情に鑑み、所望の画像を簡単且つ容易に検索可能なカメラを提供することを目的とする。
本発明の第1の態様に係るカメラは、被写体像を撮像する撮像手段と、画像としての複数の静止画及び動画と画像以外の情報とを記憶する記憶手段と、一または複数の画像を表示する、或いは、前記撮像手段が出力する画像を表示する表示手段と、前記表示手段に表示された画像から、検索元画像とする画像を選択する検索元画像選択手段と、前記選択された検索元画像の一部から、画像の特徴部を指定する画像特徴部指定手段と、前記画像特徴部指定手段で指定された特徴に基づいて前記記憶手段に記憶された画像から類似画像を検索する画像検索手段と、を有し、前記表示手段は、前記検索元画像選択手段で選択された検索元画像の縮小画像、前記画像検索手段による検索の結果として前記画像特徴部指定手段で指定された特徴部を表わすアイコン、および、前記画像検索手段で検索された画像を同一画面上に表示する、カメラである。
本発明の第2の態様に係るカメラは、上記第1の態様において、前記画像特徴指定手段は、前記画像の一部分または複数部分を囲むことにより特徴部分を指定する、ことを特徴とする。
本発明の第3の態様に係るカメラは、上記第1の態様において、前記画像特徴指定手段は、前記画像の一部分または複数部分の形状をなぞることにより特徴部分を指定する、ことを特徴とする。
本発明の第の態様に係るカメラは、上記第1の態様において、前記表示手段は、前記検索元画像選択手段が選択した画像と前記画像検索手段が出力した画像とを識別可能な形式で順次に表示する、ことを特徴とする。
本発明の第の態様に係るカメラは、上記第の態様において、前記画像の付帯情報に応じて画像を並べ替える並べ替え手段、を更に有し、前記画像検索手段が出力した画像を前記並べ替え手段で並べ替える、ことを特徴とする。
また、本発明は、上記のカメラの他、その画像検索方法、そのプログラム、及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体として構成することもできる。
本発明によれば、所望の画像を簡単且つ容易に検索することができる。
以下、図面を参照しながら本発明の実施の形態を説明する。
<第1の実施形態>
本発明の第1の実施形態に係るカメラは、所望の画像を簡単且つ容易に検索可能なカメラであって、特に、画像を基に、要求に合った画像を簡単に閲覧できるカメラである。
本実施形態では、選択した画像の様々な特徴部を抽出し、その抽出した特徴部のそれぞれを検索条件として他の記憶媒体に記憶された画像を検索してグルーピングしてユーザに提示するカメラについて説明する。
本実施形態にかかるカメラは、表示手段と、画像選択手段と、検索モード設定手段と、特徴抽出手段と、画像検索手段と、関連付け格納手段と、表示制御手段とを備える。カメラは、例えば、デジタルカメラ、パーソナルコンピュータ(PC)、PDA(Personal Digital Assistant)等である。
表示手段は、本実施形態では表示部に対応し、画像データが再生表示される。画像選択手段は、本実施形態では操作部に対応し、前記表示手段に表示された画像データからいずれかの画像データを選択することができる。
検索モード設定手段は、本実施形態では検索元画像に関する特徴抽出を設定する操作画面(例えば、図14、図15)に対応し、前記画像データに基づいて画像検索をする検索モードを設定することができる。
特徴抽出手段は、前記検索モードに基づいて前記選択された画像データである検索基準画像データから複数の特徴部を抽出することができる。本実施形態では設定された条件で特徴抽出処理を行うCPU(Central Processing Unit)に対応する。
画像検索手段は、前記抽出された特徴部を検索条件として、所定の記憶媒体に格納された画像データ群から該条件に適合する画像データを検索することができる。本実施形態では特徴抽出処理により抽出された検索元画像の特徴部に基づいて所定の記憶媒体に格納された画像データ群を検索するCPUに対応する。
関連付け格納手段は、前記画像検索手段により検索された1以上の画像データと前記検索基準画像データとの関連付けを示す情報が格納されたグループ管理テーブルである。
表示制御手段は、前記関連付け格納手段に基づいて、前記抽出した複数の特徴部のそれぞれを表象する図形データ(アイコン)と、該特徴部に基づいて検索された画像データ(代表的候補画像)とを対応付けて前記表示手段に表示させる制御を行うことができる。
このように構成することにより、選択した画像の様々な特徴部を抽出し、その抽出した特徴部のそれぞれを検索条件として他の記憶媒体に記憶された画像を検索してグルーピングすることができる。それにより、記憶媒体に格納された画像を様々な特徴部に基づきグループ化を可能としたアルバム機能を実現することができる。また、アイコンを参照することで、どのような特徴部に基づいて代表的候補画像がグルーピングされているかを確認することができる。
また、前記表示制御手段は、前記画像検索手段により検索された複数の画像データ群と共に、前記特徴抽出手段による特徴抽出の対象となった前記検索基準画像データまたは該検索基準画像データの所定領域を表示させることができる。
このように構成することにより、どのような検索元画像のどのような特徴部に基づいて検索されたかを確認することができる。
前記カメラは、さらに、特徴選択手段を備えるができる。特徴選択手段は、前記特徴抽出手段により前記検索基準画像データから複数の特徴部が抽出された場合、該複数の特徴部のうちの少なくとも1つを前記検索条件とするために選択させる。本実施形態で言えば、複数抽出された特徴部のうち任意の特徴部を選択するためのカーソル操作やタッチペンでの操作を可能とする操作部に対応する。
このように構成することにより、任意の特徴部を簡単に選択することができる。
また、前記画像検索手段は、前記特徴選択手段により選択された特徴部を前記検索条件として検索を行い、前記表示制御手段は、前記検索基準画像データにおいて前記特徴部が抽出された画像領域が指定された場合、前記検索された画像データ群のうち該画像領域に対応した画像データを表示させる。
このように構成することにより、例えば、検索元画像の一部の画像領域を検索条件としてカーソルやタッチ操作で選択した場合に、そのカーソルを合わせた領域やタッチ操作で指定した類似の画像を検索して表示させることができる。
前記カメラは、さらに、検索候補表示手段を備えるができる。検索候補表示手段は、本実施形態でいえば応用型の画像検索フローに対応し、前記特徴抽出部により前記選択された画像データから抽出された前記特徴部を、前記検索条件とするための検索候補として、該画像データと共に前記表示手段に表示させる。
このように構成することにより、ユーザに対してグルーピングするために可能な検索条件の全てを提案することができる。
前記カメラは、さらに、属性情報検索条件設定手段を備えることができる。属性情報検索条件設定手段は、本実施形態で言えば、付加情報を検索条件に追加する検索モードに対応し、前記画像データの属性情報を前記検索条件として設定する。
このように構成することにより、前記画像データの特徴部のみならず、属性情報も加えて検索を行うことができる。
また、前記表示制御手段は、前記検索された画像群を時系列で表示させることができる。このように構成することにより、検索された画像を撮影日時の新しい順で表示させることができる。
それでは、以下に本発明の実施形態について詳述する。
図1は、本実施形態におけるカメラの1つであるデジタルカメラのハードウェア構成の概要を示す。デジタルカメラ(またはデジタルスチルカメラ(DSC))1は、レンズ2、撮像素子3、撮像部4、画像バッファメモリ5、表示処理部6、表示部7、画像処理部8、内蔵メモリ9、外部メモリ10、外部インターフェース(以下、インターフェースをI/Fと称する)11、圧縮伸張部12、FlashROM13、CPU(中央処理演算装置)14、操作部16、GPS17、気圧計18、マイク19、バス20から構成される。
レンズ2は、被写体像を撮像素子3へ結像する。撮像素子3は、撮影レンズ2の作用により撮像素子3上に結像されている被写体像を光電変換して画像を表現している電気信号を出力する。撮像素子3は、例えば、CCD(Charge Coupled Device)である。
撮像部4は、ノイズ成分を低減させるCDS(Correlated DoubleSampling)、信号レベルを安定化させるAGC(Automatic Gain Control)、及びアナログ電気信号をデジタル電気信号に変換するA/D等を有する。そうして、この撮像部4は、撮像素子3から出力されたアナログ電気信号のノイズ成分を低減させると共に、信号レベルを安定化させ、それをデジタル電気信号に変換して出力する。
画像バッファメモリ5は、撮像部4から出力されるデジタル電気信号である画像データ(静止画若しくは動画を表現している画像データ、以下同じ)や画像処理部8による各種画像処理における処理中の画像データ、及び本実施形態における検索を行ってグループ化した画像を管理するためのグループ管理データ等の一時保存用として使用される。画像バッファメモリ5、例えば、DRAM(ダイナミックランダムアクセスメモリ)である。
表示処理部6は、画像処理部8により画像処理された画像データから、表示部材7が表示可能な映像信号を生成してこの表示部7へ出力する、等といった処理を行う。これにより、表示部7には、その映像信号に基づく映像(静止画や動画等)が表示される。
表示部7は、例えば、LCDディスプレイ、液晶ディスプレイ、有機ELディスプレイ、又はタッチパネル等である。
画像処理部8は、画像データの記録の際に行うガンマ補正やホワイトバランス補正等の補正処理や、画像を構成する画素数を増減させる画像の拡大・縮小処理(リサイズ処理)、等といった各種の画像処理を行う。
内蔵メモリ9は、CPU14による制御処理の実行のためのワークエリアとして使用されたり、または一定量の撮影画像データを格納する保存用等として使用されたりする記憶装置である。
外部メモリ10は、このデジタルカメラ1に着脱可能な記録媒体であって、このデジタルカメラ1で撮影された静止画若しくは動画を表現している画像データ等が記録される保存用の記録媒体である。例えば、この外部メモリ10は、xDカード、スマートメディア(登録商標)やコンパクトフラッシュ(登録商標)等のメモリカード等である。この外部メモリ10は、デジタルカメラ1に装着させることにより、デジタルカメラ1と外部メモリ10との間でのデータの授受を行う。
外部I/F11は、外部の機器と所定の通信規格で接続するためのインターフェースである。所定の通信規格とは、例えば、USB(ユニバーサルシリアルバス)やその他の有線通信規格、またはIrDA(Infrared Data Association)やその他の無線通信規格である。
圧縮伸長部12は、画像データの記録・再生のための、例えば、JPEG(Joint Photographic Experts Group)方式等による画像データの圧縮・伸張処理を行う。
FlashROM13は、電気的に書き換え動作を行わせることが可能な不揮発性メモリであり、CPU14により実行されるカメラプログラムの他、本実施形態にかかるプログラムデータ、アイコンデータ、そのカメラプログラムの実行中に使用される各種データ、及び所定の操作を行って選択された画像(登録画像)、アイコン画像等が格納されている。
CPU14は、ROM14に格納されている所定のカメラプログラムを読み出して実行することで、このデジタルカメラ全体の動作を制御する。また、CPU14は、本発明の実施形態にかかるプログラムを読み出して、後述する処理を実行する。CPU14の制御のうち表示に関する制御を行う機能を表示制御部15という。
操作部16は、撮影者からの各種指示を受け付け、それをCPU14へ通知するための各種ボタン等である。操作部16は、例えば、ダイヤル、メニューボタン、XY操作ボタン、OKボタン、サムネイル選択ボタン等である。また、操作部16の操作にはタッチパネルによる操作も含まれる。
メニューボタンは、表示部7へのメニュー表示指示を可能にさせるためのものである。XY操作ボタンは、表示部7に表示されている各種項目や画像等の選択を可能にさせるためのものである。OKボタンは、選択されている項目や画像等の決定指示を可能にさせるためのものである。ダイヤルは、カメラの動作モードを切り換えるためのものである。
GPS(Global Positioning System)17は、経度及び緯度を検知する装置である。気圧計18は、気圧を計測する装置である。マイク19と、音声または周囲の音が入力されると、その音を検出して電気信号に変換する装置である。
バス20は、CPU14が各種回路や機構等を制御するためにそのような回路(機構)と接続するためのバスである。
図2は、本実施形態におけるデジタルカメラに格納される画像データファイルの管理構造を示す。デジタルカメラ1において、取り扱いの対象となるファイル(画像データ及びそれに付随するデータ等)は、FlashROM13、内蔵メモリ9、外部メモリ10のいずれかに格納されている。
上述の通り、デジタルカメラ1により撮像された画像は、内蔵メモリ9、外部メモリ10のいずれかに格納されている。このとき、格納された画像は各メモリ内で画像ルートフォルダ配下に管理される。画像ルートフォルダは画像データファイルを格納する根元のフォルダであり、そのフォルダ内の直下には、画像データファイル(例えばJPEG形式)が格納される。
FlashROM13には、後述するように、内蔵メモリ9または外部メモリ(xD/CF/SD等)10より選択された画像が複製されて登録される。以下、FlashROM13に登録された画像を登録画像Eという。登録画像Eのデータサイズは元画像と同等か、またはメモリ容量によっては縮小画像となりうる。登録画像Eは、元画像とのリンクはない。登録画像は、FlashROM13(フラッシュメモリ)に登録するものであるから、登録可能なメモリ容量に制限があるため、登録枚数は有限である。
図3は、内蔵メモリ9または外部メモリ10に格納された画像をFlashROM13に登録するフローを示す。まず、ユーザは操作部16を用いて内蔵メモリ9または外部メモリ10に格納されている画像を表示部7に表示させて、その表示された画像を参照しながら任意に画像を選択する(ステップ1。以下、ステップを「S」と称する)。
画像は、S1の操作を繰り返すことにより複数枚選択することができる(S2)。ユーザは、画像の選択が終了したら、操作部16を操作してメニューより「登録」を選択する(S3)。
CPU14は、その選択された画像が予め決められた制限枚数以内か否かを判断する(S4)。その選択された画像が予め決められた制限枚数以内であると判断した場合(S4で「YES」へ進む。)、CPU14は、その選択された画像群をFlashROM13に格納する(S5)。それから、CPU14は、表示部7に「登録しました」をコメント表示させる(S6)。
一方、その選択された画像が予め決められた制限枚数を超えていると判断した場合(S4で「NO」へ進む。)、CPU14は、表示部7に「これ以上登録できません」をコメント表示させる(S7)。
図4は、本実施形態における検索元画面と検索対象画像の関係を示す。図4(a)は、FlashROM13に登録した登録画像Eの中から1枚を選択し、内蔵メモリ9及び/または外部メモリ10に格納された画像を検索対象として、その選択した画像に関連する画像を検索する様子を示す。
図4(b)は、外部メモリ10に格納された画像の中から1枚を選択し、内蔵メモリ9及び/または外部メモリ10に格納された画像を検索対象として、その選択した画像に関連する画像を検索する様子を示す。なお、内蔵メモリ9及び外部メモリ10から検索されてグルーピングされた画像は、外部メモリ10の画像を優先して表示部7に表示させるようにしている。
図4(c)は、内蔵メモリ9に格納された画像の中から1枚を選択し、内蔵メモリ9及び/または外部メモリ10に格納された画像を検索対象として、その選択した画像に関連する画像を検索する様子を示す。
図4(d)は、撮影画像(FlashROM13、内蔵メモリ9、または外部メモリ10に格納された画像)の中から1枚を選択し、ネットワーク30(インターネット、LAN、WAN等)経由でデジタルカメラ以外の媒体(例えば、データサーバ33等)に格納された画像や無線通信33経由でデジタルカメラ以外の媒体(例えば、パーソナルコンピュータ32等)に格納された画像を検索対象として、その選択した画像に関連する画像を検索する様子を示す。
図5は、本実施形態において内蔵メモリ9または外部メモリ10で管理される画像ファイル構造の一例を示す。1つの画像ファイル40は、「属性情報」41、「主画像」データ42、「インデックス表示用サムネイル画像」データ43、「1コマ表示用画像」データ44から構成される。
「属性情報」41は、撮影日時、撮影条件、撮影環境等のデータのことである。「主画像」データ42は、撮影した画像データのことである。「インデックス表示用サムネイル画像」データ43は、サムネイル画像用に「主画像」よりも情報量を少なくした画像データのことである。
「1コマ表示用画像」データ44は、表示部7に1コマ表示モードで表示させるために「主画像」よりも情報量を少なくした画像データ、いわゆるQVGA画像(320×240ピクセルの解像度の画像データ)のことである。「1コマ表示用画像」データ44が、後述する検索対象となる画像データである。
内蔵メモリ9−外部メモリ10間で画像データの複製や移動をする場合には、画像ファイル単位で行われる。内蔵メモリ9または外部メモリ10からFlashROM13へ画像データが登録される場合には、主画像データを除外したデータ構造からなる画像ファイル単位で行われる。なお、FlashROM13のメモリ許容量によっては主画像データが含まれていてもよい。
図6は、本実施形態における画像検索の概要を示す。左側の破線で囲まれた部分50は、ユーザの操作を示す。右側の破線で囲まれた部分は、デジタルカメラ1の動作を示す。以下では、図4で説明した検索タイプのうち図4(a)を例に説明する。
まず、ユーザは、操作部16を操作して表示部7にFlashROM13の登録画像Eを表示させる。このとき、登録画像Eは、図16で示すように、1コマ表示モード(51)で表示させたり、インデックス表示モード(52)で表示させたりすることができる。
次に、ユーザは1コマ表示モードで表示させた画像51、またはインデックス表示モードで表示させた画像群52から選択した1つの画像に基づいて、その画像の特徴を抽出する操作を操作部16を用いて行う(53)。すなわち、選択した画像内のどのような特徴に基づいて、画像のグルーピングを行うかを選択する。
画像の特徴を抽出する方法としては、(i)画像検索範囲に基づく抽出方法、(ii)付帯情報との組み合わせた抽出方法、(iii)特徴指定による画像抽出方法がある。以下では、これらの方法について説明する。
(i)画像検索範囲に基づく抽出方法とは、画像の検索範囲を全体画像とするかまたは画像内の一部分とするかを指定するものである。画像の検索範囲を全体画像した場合の特徴抽出として、画像全体の色味であったり、その画像に人物が写っているならその人物の顔を認識したり、その画像内にある物体(水平線、円柱、自動車等)を認識したり、またはその他の画像の特徴(例えば、コントラスト等)を認識したりする方法がある。
また、画像の検索範囲を画像の一部分した場合の特徴抽出として、その一部分として選択した部分(操作部16を操作することで画像内の一部を枠で囲ったり、タッチパネル操作によりその所定部分を囲ったり、なぞったりした部分)について上記の全体画像と同様の特徴抽出を行うことができる。また、その選択した部分について文字検出を行うこともできる。また、デジタルカメラ側で予めその部分について解析を行って、抽出可能な特徴を抽出し、その抽出した特徴を検索対象候補としてユーザに提示し、ユーザはその候補から検索対象とする特徴を選択することができる。
(ii)付帯情報との組み合わせた抽出方法とは、画像データとその画像データに付帯している情報(図5の属性情報41)とを組み合わせて画像の抽出を行う方法である。画像データに付帯している情報としては、撮影時の周囲の音/音声、撮影日時、撮影場所(経度/緯度情報)、高さ情報(標高/水深)がある。これらの付帯情報は、デジタルカメラに設けられているGPS17、気圧計18、マイク19等から取得される情報であり、画像ファイル40の属性情報41として画像データとともに記憶されている。このような付帯情報についても抽出の対象とすることができる。
(iii)特徴指定による画像抽出方法とは、デジタルカメラにより提示された検索対象となる特徴の候補を選択する方法である。1つの方法として、「メニュー候補より選択」する方法がある。「メニュー候補より選択」とは、デジタルカメラ1に予め固有の検索対象となる特徴の候補が設定(メニュー候補)されており、そのメニュー候補をユーザに提示することにより、ユーザがそのメニュー候補から抽出する特徴を選択する方法である。
また、他の方法として、「画像認識からの候補より選択」する方法がある。「画像認識からの候補より選択」とは、デジタルカメラ側で予めその選択された画像について解析を行って抽出可能な特徴の数だけ抽出し、その抽出した特徴を検索対象候補としてユーザに提示し、ユーザはその候補から検索対象とする特徴を選択することができる方法である。
このようにして、ユーザは特徴抽出により得られた特徴を、グルーピングのための検索条件とすることができる。そして、ユーザは、検索条件としての検索実行指示(INPUT)をデジタルカメラ1に与える。
デジタルカメラ1側では、その入力された検索条件に適合する画像を内蔵メモリ9及び/または外部メモリ10から検索する(54)。デジタルカメラ1は、その検索条件に適合した画像を同一グループとして、表示部7に表示させる(55)。
図7は、本実施形態における入力画像の各特徴に基づいてグルーピングされる出力画像の一例を示す。INPUT画像60は、図6の1コマ表示で表示させた画像51、またはインデックス表示させた画像群52から選択した1つの画像に相当する。このINPUT画像60について、ユーザが破線61で囲まれた人物を選択して顔認識を行い、この認識された顔を検索条件にしたとする。そうすると、デジタルカメラ1は、内蔵メモリ9及び/または外部メモリ10からその検索条件に適合する画像群として、グループAに示す画像64,65を表示部7に表示させる。
また、このINPUT画像60について、ユーザが破線62に囲まれた家を選択して画像認識を行い、この認識された家を検索条件にしたとする。そうすると、デジタルカメラ1は、内蔵メモリ9及び/または外部メモリ10からその検索条件に適合する画像群として、グループBに示す画像66,67を表示部7に表示させる。
また、このINPUT画像60について、ユーザが破線63に囲まれた山の稜線を選択して画像認識を行い、この認識された山の稜線を検索条件にしたとする。そうすると、デジタルカメラ1は、内蔵メモリ9及び/または外部メモリ10からその検索条件に適合する画像群として、グループCに示す画像68,69を表示部7に表示させる。
図8は、本実施形態におけるグループ管理テーブルの一例を示す。グループ管理テーブル59は、同一特徴で検索されてグルーピングされた画像を管理するためのテーブルであり、画像バッファメモリ5に一時的に作成されるものである。
グループ管理テーブル59は、「グループID」59a、「検索元画像ファイル名」59b、「検索された画像のファイル名」59c、「撮影日付」59d、「格納場所」59eのデータ項目から構成される。
「グループID」59aには、グループを一意に管理するためのIDが格納される。「検索元画像ファイル名」59bには、検索元画像のファイル名が格納される。「検索された画像のファイル名」59cには、検索された画像のファイル名が格納される。「撮影日付」59dには、「検索された画像のファイル名」59cで指定された画像の撮影日時が格納される。「格納場所」59eには、「検索された画像のファイル名」59cで指定された画像の格納先(内蔵メモリ9/外部メモリ10 等)が格納される。
検索元画像から抽出された特徴を検索条件として検索し、その結果その検索条件に適合する画像があれば、その検出された画像毎のレコードがグループ管理テーブル59に追加される。
次に、図9〜図13のフローチャートを参照しながら、図6及び図7で説明した内容を詳述する。画像検索のフローには、基本型(図9参照)と応用型(図11参照)が存在する。基本型の画像検索フローは、検索元画像の特徴に関わらず、デジタルカメラ1に固定的に設定された検索メニューより検索条件を指定して検索元画像の特徴抽出を行い、その抽出された特徴と同一の特徴を有する画像を検索するフローである。一方、応用型の検索フローは、検索元画像の特徴に応じた検索メニューに基づいて、その抽出された特徴と同一の特徴を有する画像を検索するフローである。
図9は、本実施形態における画像検索のフロー(基本型)を示す。ユーザは、まず、操作部16を操作して検索条件の初期設定を行う(S11)。ここでは、デジタルカメラ1に予め検索条件(日付/顔認識/形状/色味に基づいて検索するか等の条件、検索範囲の指定、付帯情報の組み合わせ)がメニューとして設定されているので、ユーザは表示部7に表示されたそのメニューからいずれかの検索条件で検索するか操作部16により選択する。また、いずれの記憶媒体(FlashROM13,内蔵メモリ9、外部メモリ10等)に格納された画像を検索対象とするかも設定する。
次に、ユーザは、検索する基準となる検索元画像を選択する(S12)。ここでは、表示部7には(1)登録画像、(2)外部メモリ10内の画像、(3)内蔵メモリ9内の画像のいずれの画像を検索元画像とするかを選択する画面が表示されるので、ユーザは、いずれかの記憶媒体からの画像を1枚選択する(S13)。
ユーザは、1枚の検索元画像を選択した後、表示部7を確認しながら操作部16により所定の操作を行って、その検索元画像の特徴を抽出する操作を行う(S14)。特徴抽出処理の詳細は後述する。
次に、デジタルカメラ1のCPU14は、S14の操作により得られた検索元画像の特徴を検索条件とし、その検索条件に適合する画像群をS11で選択された記憶媒体から検索し、検索された画像があればグルーピングを行う(S15)。グルーピングが行われると、図8で説明したように、グループ管理テーブル70にその検出された画像に対応するレコードが追加される。
S15の検索の結果、検索条件に適合した画像群があれば(S16で「YES」へ進む)、表示制御部15はそれらの画像群を同一グループとして表示部7に表示させる(S17)。
一方、S15の検索の結果、検索条件に適合した画像群がなければ(S16で「NO」へ進む)、表示制御部15は「関連画像はありません」旨のコメントを表示部7に表示させる(S18)。
図10は、S14の特徴抽出操作の詳細なフローを示す。図6(及びS12)で説明したように、ユーザは、操作部16を操作して表示部7に検索元画像を表示させる。このとき、検索元画面は、1コマ表示(51)で表示させたり、インデックス表示(52)で表示させたりすることができる。インデックス表示(52)させた場合、ユーザは操作部16を操作して、検索元画像としていずれか1枚を選択する必要がある。
次に、S11において検索元画像について検索範囲指定がなされている場合(S21で「YES」へ進む)、ユーザは操作部16を操作して、画像内のうちの一部分を検索範囲として指定することができる(S22)。この場合、ユーザは、操作部16を操作することで画像内の一部を枠で囲ったり、タッチパネル操作によりその所定部分を囲ったり、なぞったりして検索範囲を指定することができる。このように検索範囲を指定するのは、1条件につき、その指定された画像領域を1回スキャンするので、特徴抽出条件として複数設定された場合にそのスキャンする範囲をなるべく少なくして抽出処理の処理速度の効率を向上させるためである。
S11において検索元画像について検索範囲指定がなされている場合(S21で「NO」へ進む)、検索元画像から特徴抽出するための検索範囲は、その検索元画像の全範囲が検索範囲とされる。
次に、ユーザは、S11において付帯情報と組み合わせて画像検索を行うと設定している場合(S23で「YES」へ進む)、ユーザは操作部16を操作して表示部7に表示させた、検索元画像の属性情報(音声情報/日付情報/場所情報/高さ(水深)等)の中から検索条件に付加するものを選択する(S24)。
それから、検索対象の中で、S24で選択した付帯情報の条件に合うものを検索先の記憶媒体から絞り込む(S25)。この処理は、付帯情報を検索条件とする検索については、画像認識による画像抽出よりも検索速度が格段に速いため、検索対象画像の絞り込みを行って検索対象画像の枚数を減少させておくためである。
一方、S11において付帯情報と組み合わせて画像検索を行うと設定している場合(S23で「NO」へ進む)、当該処理は終了する。
図11は、本実施形態における画像検索のフロー(応用型)を示す。ユーザは、まず、操作部16を操作して検索条件の初期設定を行う(S30)。ここでは、デジタルカメラ1に予め検索条件(検索範囲の指定、付帯情報の組み合わせ)がメニューとして設定されているので、ユーザは表示部7に表示されたそのメニューからいずれかの検索条件で検索するか操作部16により選択する。また、いずれの記憶媒体(FlashROM13,内蔵メモリ9、外部メモリ10等)に格納された画像を検索対象とするかも設定する。
次に、ユーザは、検索する基準となる検索元画像を選択する(S31)。ここでは、表示部7には(1)登録画像、(2)外部メモリ10内の画像、(3)内蔵メモリ9内の画像のいずれの画像を検索元画像とするかを選択する画面が表示されるので、ユーザは、いずれかの記憶媒体からの画像を1枚選択する(S32)。
ユーザは、1枚の検索元画像を選択した後、操作部16により所定の操作を行って、デジタルカメラ1にその検索元画像について特徴抽出を実行させる(S32)。このとき、デジタルカメラ1に条件候補出力機能がなければ左側の処理ルート(S34〜S35)へ進み、条件候補出力機能があれば右側の処理ルート(S36〜S38)へ進む(S33)。
ここで、条件候補出力機能とは、図6の画像の特徴を抽出する操作(53)内の方法(iii)で説明した「画像認識からの候補より選択」のことである。なお、左側の処理ルート(S34〜S35)は、図6の画像の特徴を抽出する操作(53)内の方法(iii)で説明した「メニュー候補より選択」のことである。
条件候補出力機能がない場合(S33で「NO」へ進む)、検索元画像について特徴抽出操作を行う(S34)。特徴抽出操作の詳細は図10と同様である。
S34の操作後、デジタルカメラ1に予め固有の検索対象となる特徴の候補と、S34で抽出された特徴と、から重複する特徴のみが検索項目候補として表示部7に表示されるので、ユーザはその検索項目候補から抽出の対象となる特徴を選択する(S35)。S35の詳細は、図12を用いて後述する。S35の後、S39へ進む。
次に、条件候補出力機能がある場合(S33で「YES」へ進む)、検索元画像について特徴抽出操作を行う(S36)。特徴抽出操作の詳細は図10と同様である。
S36の処理後、デジタルカメラ1の表示制御手段15は、S36の特徴抽出による画像認識で得られた特徴の全てを検索条件候補として表示部7に表示させる(S37)。S37の詳細は、図13を用いて後述する。
ユーザは、S37で表示された検索対象候補から検索対象とする特徴(検索項目)を操作部16を用いて選択する(S38)。S38の後、S39へ進む。
S35またはS38の終了後、デジタルカメラ1のCPU14は、S35またはS38の操作により得られた検索元画像の特徴を検索条件とし、その検索条件に適合する画像群をS30で選択された記憶媒体から検索し、検索された画像があればグルーピングを行う(S39)。グルーピングが行われると、図8で説明したように、グループ管理テーブル70にその検出された画像に対応するレコードが追加される。
S39の検索の結果、検索条件に適合した画像群があれば(S40で「YES」へ進む)、表示制御部15はそれらの画像群を同一グループとして表示部7に表示させる(S41)。
一方、S39の検索の結果、検索条件に適合した画像群がなければ(S40で「NO」へ進む)、表示制御部15は「関連画像はありません」旨のコメントを表示部7に表示させる(S42)。
図12は、S35の処理の詳細なフローを示す。デジタルカメラ1のCPU14は、S32で選択された検索元画像について画像認識を行う(S34の特徴抽出操作)。この画像認識されて得られた特徴のうち、デジタルカメラ1に予め設定されている検索項目候補(文字検出、色味検出、顔検出、物体検出、水平線検出、コントラスト検出、被写体検出等)と一致する特徴項目をデジタルカメラのCPU14が判断する。CPU14の表示制御手段15は、その一致した項目を検索項目候補として表示部7に表示させる(S51)。
ユーザは、その表示部7に表示された検索項目候補の中から、検索条件とする検索項目を選択する(S52)。
図13は、S37の処理の詳細なフローを示す。デジタルカメラ1のCPU14は、検索元画像について顔画像の検出を行う(S61)。ここで、顔画像とは、検索元画像に含まれる人物の顔を形成する画像領域のことである。顔画像は、顔の各パーツの位置情報に基づく一般的な顔認識アルゴリズムによる画像処理により認識することができる。例えば、色相の検出をして肌色を認識して、その認識した部分の輪郭を検出する(例えば、その輪郭の形状が丸か否かの形状認識を行う)。形状が認識された部分に目があるか否かを色味とコントラストより判断する。さらに、どちらを向いているかを両目の間隔(距離)と、口や影の付き方で判断する。なお、顔の各パーツの位置情報は、FlashROM13に記憶されている。
検索元画像から顔画像が検出された場合(S61で「顔画像あり」へ進む)、次の画像検索範囲の限定を行う(S62)。次の画像検索範囲の限定とは、次の画像認識による特徴抽出の画像検索において、全画像領域のうちS61で検出された画像領域を除いた範囲に検索範囲を限定することをいう。このようにすることで、検索速度を向上させることができる。よって、S63の文字検出は、S61で検出された画像領域を除いた範囲について検索が行われる。
検索元画像から顔画像が検出されなかった場合(S61で「顔画像なし」へ進む)、またはS62が終了した場合、検索元画像から文字の検出画像の検出を行う(S63)。ここで、文字画像とは、検索元画像に含まれる文字を形成する画像領域のことである。文字検出は、例えば、予めFlashROM13に登録されている文字パターンと照合することにより文字画像を認識することができる。例えば、予めカメラ内部に文字形状パターン(日本語、英語等)が格納されている。画像に対し、全体から部分へ絞り込みながら、また、文字形状パターンを拡大/縮小させて、その予め格納された文字形状パターンとの一致検索を行う。パターン整合は、文字形状に対し、色味やフチ取り等の要素も検出する。
検索元画像から文字画像が検出された場合(S63で「文字画像あり」へ進む)、S62と同様にして、次の画像検索範囲の限定を行う(S64)。
検索元画像から文字画像が検出されなかった場合(S63で「顔画像なし」へ進む)、またはS64が終了した場合、形状パターン検出を行う(S65)。形状パターン検出とは、色合い検出やコントラスト検出等を組み合わせて行うことができる。例えば、輝度値の高低差に基づいて物体の輪郭を抽出することができる。形状パターン検出は、S62やS64で画像検索範囲が限定されていればその限定された範囲で形状パターン検出を行い、画像検索範囲が限定されていなければ、全画面について形状パターン検出を行う。例えば、元画像より認識した形状パターンを一時記憶し、検索体対象画像の全体画像の輪郭を生成する。その輪郭の検出された検索対象画像に対し、全体から部分へ絞り込みながら、また形状パターンを拡大/縮小させて、その一時記憶した形状パターンとの一致検索を行う。
次に、上述した内容を表示部7の表示形態及び操作部16による操作状況の観点から説明する。
図14は、本実施形態におけるデジタルカメラが事前に検索基準画像を画像認識しない場合での検索指示操作の様子を示す。同図は、図9の画像検索のフロー(基本型)に対応する検索指示操作の様子を示す。なお、図11の左側の処理ルート(S34〜S35)に対応する検索指示操作についても同様に適用することができる。
図14(a)は、検索条件をメニュー候補より選択する場合を示す。まず、ユーザは検索元画像となる1枚の画像70を選択する。それから、操作部16の所定のキーを操作することで、ユーザは表示部7に検索条件の候補(文字認識、日付、色味検索、形状認識)のメニュー71を表示させる。
ユーザはそのメニュー71に表示された候補から、例えば、操作部16のキー操作により「日付」を選択して、決定キーを押下する。そうすると、その検索元画像と同一の撮影日の日付を検索条件として、検索が実行される。そうして、その検索条件に適合する画像が複数枚検出され、検索結果画像72として表示される。
図14(b)は、検索条件をアイコン表示されたメニュー候補より選択する場合を示す。まず、ユーザは検索元画像となる1枚の画像70を選択する。それから、ユーザは操作部16の所定のキーを操作することで、表示部7に、検索条件を図形により表象したアイコン(アイコン76:形状認識、アイコン77:顔画像認識、アイコン78:撮影位置(経度、緯度)、アイコン79:色味認識、アイコン80:高度計/圧力計(高度と水深))のメニュー75を表示させる。このとき、検索元画像70は表示枠73の右上に縮小されて表示される。図14の検索条件及び、そのメニュー、アイコンはいずれもFlashROM13に予め記憶される。
また、アイコンは、カーソル74を移動させることにより選択することができる。このカーソル74は、表示枠73の右上に縮小されて表示された検索元画像70上に表示されるカーソル81と連動している。そのため、カーソル74でアイコン77(顔画像認識)を選択すると、その顔認識の対象となる画像領域にカーソル81が表示される。
そうして、ユーザは、そのアイコン表示メニュー57の候補から、例えば、操作部16のキー操作によりアイコン77(顔画像認識)を選択して、決定キーを押下する。そうすると、デジタルカメラ1により、その検索元画像のうちカーソル81で選択された画像領域について画像認識された顔を検索条件として、検索が実行される。そうして、その検索条件に適合する画像が複数枚検出され、検索結果画像72として表示される。
図14(c)は、検索条件を付帯情報より選択する場合を示す。まず、ユーザは検索元画像となる1枚の画像70を選択する。それから、操作部16の所定のキーを操作することで、ユーザは表示部7に当該検索元画像の付帯情報(属性情報)を表示させる。
ユーザはその表示された付帯情報から、例えば、操作部16のキー操作により付帯情報「ISO 400」(ISO感度値)を選択する。なお、タッチパネル83及びタッチペン84で付帯情報を選択するようにしてもよい。この場合、タッチペン84がその選択した付帯情報が表示されているタッチパネル83上に表示された画像上に触れるとカーソルがあたるようになっている。
そうすると、その検索元画像と同一のISO感度値を検索条件として、検索が実行される。そうして、その検索条件に適合する画像が複数枚検出され、検索結果画像72として表示される。
図15は、本実施形態におけるデジタルカメラが事前に検索基準画像を画像認識する場合での検索指示操作の様子を示す。同図は、図11の右側の処理ルート(S36〜S38)に対応する検索指示操作の様子を示す。
図15(a)は、検索条件を選択候補より選択する場合を示す。まず、ユーザは検索元画像となる1枚の画像90を選択する。そうすると、デジタルカメラ1の条件候補出力機能により、その検索元画像90から検索条件となりうる特徴を自動で抽出し、その抽出した特徴を選択候補として表示させる。
選択候補の表示方法としては、例えば、同図に示すように、検索元画像90上の特徴を抽出した各領域を破線で示す枠で囲むようにしてもよい。枠91は、山の稜線を形状認識して抽出したものである。枠92は、看板中の文字「八百屋」を文字認識して特徴を抽出したものである。枠93は、人物の顔の画像認識を行って特徴を抽出したものである。
タッチパネル操作またはキー操作により枠91,92,93のいずれかを検索条件として設定することができる。タッチパネルの場合には、タッチペン94で例えば枠93により囲まれた領域を触れると枠93にカーソルがあたり、枠93が選択される。また、キー操作の場合には、操作部16のXY操作ボタンを操作してカーソルを例えば枠93に移動させることにより、枠93が選択される。
それから、タッチパネル操作またはキー操作により、その選択した枠に基づく検索が実行される。そうして、その検索条件に適合する画像が複数枚検出され、検索結果画像95として表示される。
図15(b)は、検索条件を形状認識より設定する場合を示す。まず、ユーザはタッチパネル上で検索元画像となる1枚の画像90を選択する。
それから、ユーザは、タッチパネル上に表示された検索元画像90のうちデジタルカメラ1に形状認識させたい部分の輪郭をタッチペン94でなぞったり、その部分を囲む枠をタッチペン94で描く。
それから、タッチパネル操作またはキー操作により、その選択した枠に基づく検索が実行される。そうして、その検索条件に適合する画像が複数枚検出され、検索結果画像95として表示される。
図15(c)は、各検索項目に対する代表結果表示方式の場合を示す。この方式は、図15(a)の方法を拡張したものである。図15(a)では、デジタルカメラ1の条件候補出力機能により、その検索元画像90から検索条件となりうる特徴を自動で抽出し、その抽出した特徴を選択候補として表示させて検索の実行は行われなかった。図15(c)では、図15(a)に、さらに、抽出された各特徴について検索まで行い、各検索条件を表象したアイコンと共にその検索結果画像の一部を表示させるものである。
まず、ユーザはタッチパネル上で検索元画像となる1枚の画像90を選択する。そして、キー操作を行うと、デジタルカメラ1の条件候補出力機能により、その検索元画像90から検索条件となりうる特徴を自動で抽出して、その抽出された各特徴について検索を実行する。
検索終了後、表示枠96の左上に検索元画像90が縮小して表示される。そして、各検索条件を表象したアイコン97と、その検索条件で検索された画像の一部98が対応付けられてレコード形式で表示される。ここで表示される検索された画像の一部98とは、各検索条件毎の代表的な候補画像(例えば検索して得られた画像のうち日付順でソートして新しい日付から3枚または古い日付から3枚の画像)のことである。
表示されたレコードのいずれかをカーソル99で選択すると、その選択された検索条件に基づく画像群のみが、検索結果画像95として表示される。
次に、検索元画像の選択時、検索条件となりうる特徴を検索条件候補として表示させる時、及び検索実行後において、表示部16に表示される画像の表示モードのバリエーションについて説明する。
図16は、本実施形態における検索元画像の選択時の表示モードの一例を示す。図16(a)は、1コマ表示モードを示す。図16(b)は、インデックス表示モードを示す。
図16(a)において、1コマ表示モードでは、図5で説明したファイル構造の「1コマ表示用画像」44の画像が表示される。
図16(b)では、一例として3行×3列のインデックス表示方式で表示されている。この場合、図5の「インデックス表示用サムネイル画像」43が表示される。操作部16でカーソル100を移動させることにより、各画像を選択することができる。
図17は、本実施形態における検索条件候補表示モードの一例を示す。図17(a)は、検索条件となりうる特徴を検索項目の候補を文字、またはその検索条件を表象したアイコンで表示させるモードを示す。図17(a)は、図14(a)の検索条件選択時の表示モードに相当する表示モードであり、検索条件の候補メニュー101が表示されている。
図17(b)は、検索箇所の候補を枠線で表示させる表示モードを示す。図17(b)は、図15(a)の検索条件選択時の表示モードに相当する表示モードである。枠線のカーソル102を移動させて検索条件とする画像領域を選択することができる。選択されると枠線が破線から実線に表示態様が変化する。
図17(c)は、ユーザがなぞった箇所が検索候補となる表示モードを示す。図17(c)は、図15(b)の検索条件選択時の表示モードに相当する表示モードである。図17(c)では、タッチパネル105に表示された画像の山の稜線103をタッチペン104でなぞっている例である。
図18は、本実施形態における代表結果表示モードを示す。図18は、図15(c)で説明した代表結果表示方式で表示させたモードの他の表示例である。
図18(a)は、1コマ表示モードで検索元画像を表示させ、その下側部分に5枚の代表的候補画像110のサムネイル画像が横並びに表示されている。図18(b)は、1コマ表示モードで検索元画像を表示させ、その右端に5枚の代表的候補画像110のサムネイル画像が縦並びに表示されている。
図18(c)は、インデックス表示モードで検索元画像を表示させ、そのインデックス表示部の下側部分に5枚の代表的候補画像110のサムネイル画像が横並びに表示されている。
図18(d)は、インデックス表示モードで検索元画像を表示させ、カーソルで選択された検索元画像を囲むように、6枚の代表的候補画像110のサムネイル画像が表示されている。
図18の代表結果表示モードは、図9の基本型のフローでは、初期設定(S11)で検索条件が一意に決まっているので、その検索条件に適合している画像のうち例えば日付の新しい3つの画像を表示させる。図11の応用型のフローでは、デジタルカメラ1の検索条件(複数)と検索結果の代表画像を表示させる。
図19は、本実施形態におけるグルーピング結果表示モードを示す。同図は、検索元画像の特徴を検索条件として検索した結果得られた画像群を表示させるモードである。
図19(a)は、1コマ表示モードで検索結果画像を表示させた場合(その1)を示す。検索結果画像121は、1コマ表示で表示され、操作部16を操作することで、同一検索条件で検索された他の画像(同一グループの画像)を再生表示させることができる。なお、表示枠の左下に検索元画像120がサムネイル表示されている。
図19(b)は、1コマ表示モードで検索結果画像を表示させた場合(その2)を示す。検索結果画像123がめくるような形式で表示される以外は、図19(a)と同様である。
図19(c)は、インデックス表示モードで検索結果画像を表示させた場合(その1)を示す。検索結果画像は、インデックス表示123で表示され、操作部16を操作することで、同一検索条件で検索された他の画像にカーソルを移動させることができる。なお、表示枠の左下に検索元画像120がサムネイル表示されている。
図19(d)は、インデックス表示モードで検索結果画像を表示させた場合(その2)を示す。インデックス表示124の各サムネイル画像が少しずれたような形式で表示される以外は、図19(c)と同様である。
本実施形態によれば、選択した画像の様々な特徴を抽出し、その抽出した特徴のそれぞれを検索条件として他の記憶媒体に記憶された画像を検索してグルーピングすることができる。それにより、記憶媒体に格納された画像を様々な特徴に基づきグループ化を可能としたアルバム機能を実現することができる。
以上より、様々な検索パラメータにより画像グルーピングを1まとまりのアルバムとして見せることができる。また、漠然とした要求で画像を閲覧することができる。
よって、画像を基に、要求に合った画像を簡単に閲覧できる。
<第2の実施形態>
本発明の第2の実施形態に係るカメラは、所望の画像を簡単且つ容易に検索可能なカメラであって、特に、表示されている画像を基に簡単な操作で所望の画像を保存された画像から検索して表示することができるカメラである。
図20は、本実施形態に係るカメラであるデジタルカメラのブロック図である。
同図において、撮影レンズ201は、被写体像を撮像素子202へ結像する。撮像素子202は、撮影レンズ201の作用により撮像素子202上に結像されている被写体像を光電変換して画像を表現している電気信号を出力する。撮像素子202は、例えば、CCDやCMOS(Complementary Metal Oxide Semiconductor)から成るイメージセンサである。
撮像部203は、ノイズ成分を低減させるCDS、信号レベルを安定化させるAGC、及び、アナログ電気信号をデジタル電気信号に変換するA/D変換器等を有し、撮像素子202から出力されたアナログ電気信号のノイズ成分を低減させると共に、信号レベルを安定化させ、それをデジタル電気信号に変換して出力する。
画像バッファメモリ204は、撮像部203から出力されるデジタル電気信号である画像データや、画像処理部205による各種画像処理における処理中の画像データ、並びに、検索部206により検索された画像のコマ情報などの一時保存用として使用される。画像バッファメモリ204は、例えば、SDRAM(Synchronous Dynamic Random Access Memory)である。
画像処理部205は、画像データの記録・再生のための、例えばJPEG方式等による画像データの圧縮・伸張処理や、画像データの記録の際に行うガンマ補正やホワイトバランス補正等の補正処理、並びに、画像を構成する画素数を増減させる画像の拡大・縮小処理(リサイズ処理)等といった各種の画像処理を行う。
検索部206は、登録されているお気に入り画像(検索元候補とする画像)の一つを検索元として、その画像の特徴部分やその画像の付随情報を基に画像を検索し、検索した画像のコマ情報を画像バッファメモリ204に格納する等の処理を行う。
GPS207は、経度及び緯度を計測する。気圧計/水深計208は、気圧/水深を計測する。マイク(録音部)209は、音声を電気信号に変換する。
表示処理部210は、画像処理部205により画像処理された画像データから、表示部211が表示可能な映像信号を生成してこの表示部211へ出力する等といった処理を行う。これにより、表示部211には、その映像信号に基づく映像が表示される。表示部211は、例えば、LCD(Liquid Crystal Display)、タッチパネル式のLCD、又は、有機ELディスプレイ等である。
内蔵保存メモリ212は、当該デジタルカメラに内蔵された記録媒体であって、画像を表現している画像データ(例えばJPGデータ)等が記録される保存用の記録媒体である。この内蔵保存メモリ212は、例えば、電気的に書き換え動作を行わせることが可能な不揮発性メモリであるFlashROMである。
外部保存メモリ213は、当該デジタルカメラに着脱可能な記録媒体であって、撮影された画像を表現している画像データ(例えばJPGデータ)等が記録される保存用の記録媒体である。この外部保存メモリ213は、例えば、xDカード、スマートメディア(登録商標)、コンパクトフラッシュ(登録商標)等のメモリカード等である。
外部I/F214は、外部の機器と所定の有線通信規格で接続するためのインターフェースである。所定の有線通信規格とは、例えば、USBやその他の有線通信規格である。
通信I/F215は、外部の機器と所定の無線通信規格で接続するためのインターフェースである。所定の無線通信規格とは、例えば、IrDAやその他の無線通信規格である。
FlashROM216は、電気的に書き換え動作を行わせることが可能な不揮発性メモリであり、CPU217により実行されるカメラプログラムの他、そのカメラプログラムの実行中に使用される各種データ等が格納されている。また、検索部206による検索の際に検索元と成り得るお気に入り画像の画像データ等も格納される。
CPU217は、FlashROM216に格納されているカメラプログラムを読み出して実行することで、当該デジタルカメラ全体の動作を制御する。また、CPU217は、カメラプログラムの実行により表示制御を行うことで、表示制御部217aを実現する。また、CPU217は、カメラプログラムの実行により画像の読み出し制御を行うことで、読み出し制御部217bを実現する。
操作部218は、ユーザ(例えば撮影者)からの各種指示を受け付け、それをCPU217へ通知するための各種ボタン等である。操作部218は、例えば、後述のシャッターボタン、ズームボタン、MENUボタン、モードダイヤル、上下左右ボタン、及び、OKボタン等である。また、操作部218の操作にはタッチパネルによる操作も含まれる。
図21は、本実施形態に係るデジタルカメラの背面図である。
同図において、TFT221は、表示部211の表示画面である。シャッターボタン222は、撮影指示を行うためのボタンである。ズームボタン223は、ワイド側又はテレ側にズーミング指示を行うためのボタンである。MENUボタン224は、TFT221に各種メニューを表示させる指示や画像検索を実行可能な状態に戻す指示等を行うためのボタンである。モードダイヤル225は、撮影モード、再生モード(通常画像再生モードの一例)、お気に入り登録モード(検索画像登録モードの一例)、お気に入り再生モード(検索画像再生モードの一例)、編集モード、及び、通信モード等の各種動作モードのうちの何れかの動作モードを設定するためのダイヤルである。上下左右ボタン226は、TFT221に表示されているカーソルの移動指示や、TFT221に表示されている画像のコマ送り指示等を行うためのボタンである。OKボタン227は、TFT221に表示されている選択項目や選択画像の確定指示や画像の検索指示等を行うためのボタンである。
次に、本実施形態に係るデジタルカメラの動作について説明する。
図22は、本実施形態に係るデジタルカメラの基本動作を示すフローチャートである。本フローは、不図示のパワースイッチがONされた時に開始する。
同図に示したように、本フローが開始すると、まず、所定のパワーオン(PW ON)処理を行う(ステップ(以下単に「S」という)201)。
続いて、モードダイヤル225により撮影モードが設定されているか否かを判定する(S202)。ここで、その判定結果がYESの場合には、画像の撮影が可能な撮影モードの処理(S203)へ移行する。
S202の判定結果がNOの場合には、続いて、モードダイヤル225により再生モードが設定されているか否かを判定する(S204)。ここで、その判定結果がYESの場合には、画像の再生が可能な再生モードの処理(S205)へ移行する。
S204の判定結果がNOの場合には、続いて、モードダイヤル225によりお気に入り登録モードが設定されているか否かを判定する(S206)。ここで、その判定結果がYESの場合には、お気に入り画像の登録が可能なお気に入り登録モードの処理(S207)へ移行する。この処理では、詳しくは後述するが、画像検索時の検索元と成り得るお気に入り画像を登録する等の処理が行われる。
S206の判定結果がNOの場合には、続いて、モードダイヤル225によりお気に入り再生モードが設定されているか否かを判定する(S208)。ここで、その判定結果がYESの場合には、検索元とするお気に入り画像に基づいて画像を検索すること等が可能なお気に入り再生モードの処理(S209)へ移行する。この処理では、詳しくは後述するが、登録されているお気に入り画像の一つを検索元として選択し、そのお気に入り画像の特徴部分やその画像の付随情報を基に画像を検索し、検索された画像を表示する等の処理が行われる。
S208の判定結果がNOの場合には、続いて、モードダイヤル225により編集モードが設定されているか否かを判定する(S210)。ここで、その判定結果がYESの場合には、画像の編集が可能な編集モードの処理(S211)へ移行する。
S210の判定結果がNOの場合には、続いて、モードダイヤル225により通信モードが設定されているか否かを判定する(S212)。ここで、その判定結果がYESの場合には、外部の機器との間の通信が可能な通信モードの処理(S213)へ移行する。
S212の判定結果がNOの場合には、続いて、モードダイヤル225により設定されている他のモードに応じた処理を行う(S214)。
このようにしてモードダイヤル225により設定されているモードに応じた処理へ移行し、そして、その処理が終了すると、続いて、パワースイッチがオフされたか否か(PW OFF操作が為されたか否か)を判定し(S215)、その判定結果がYESの場合には所定のパワーオフ(PW OFF)処理を行い(S216)、本動作を終了する。一方、その判定結果がNOの場合にはS202へ戻る。
なお、本フローの撮影モードの処理(S203)において、撮影された画像の画像データは、図23に示す構造を有する画像ファイルとして、内蔵保存メモリ212又は外部保存メモリ213に保存される。同図において、属性情報は、画像の撮影日時や撮影条件(シャッタースピード、露出値、経度と緯度、気圧、水深など)などを含む、撮影された画像の付随情報である。主画像は、撮影された画像(画像データ)である。インデックス表示用サムネイル画像は、主画像がインデックス表示用に縮小されたサムネイル画像(画像データ)である。1コマ表示用画像は、主画像が1コマ表示用に縮小された画像(画像データ)である。
図24は、上記のお気に入り登録モードの処理(S207)を詳細に示すフローチャートである。
同図に示したように、本フローでは、まず、ユーザによる操作部218の操作に応じて、登録するお気に入り画像の選択/解除処理を行う(S221)。この処理では、内蔵保存メモリ212に格納されている撮影画像、又は及び、外部保存メモリ213に格納されている撮影画像の中から、1つ以上の撮影画像をお気に入り画像として選択することができ、また、その選択を解除することもできる。
続いて、お気に入り画像の選択が終了したか否かを判定する(S222)。この判定は、OKボタン227が押下されたか否かを判定することによって行われる。ここで、その判定結果がNOの場合(OKボタン227が押下されていない場合)には、S221へ戻る。
一方、S222の判定結果がYESの場合(OKボタン227が押下された場合)には、続いて、お気に入り画像として選択されている撮影画像枚数が、登録制限枚数以内であるか否かを判定する(S223)。なお、本実施形態では、登録制限枚数を9枚とする。
S223の判定において、その判定結果がNOの場合には、「登録制限枚数を超えています」というコメントをTFT221に表示し(S224)、S221へ戻る。
一方、S223の判定結果がYESの場合には、お気に入り画像として選択されている撮影画像をお気に入り画像として登録し(S225)、「登録しました」というコメントをTFT221に表示し(S226)、リターンする。お気に入り画像の登録は、お気に入り画像として登録する撮影画像の画像ファイルをFlashROM216にコピーすることによって行われる。FlashROM216にコピーされた撮影画像とコピー元の撮影画像は互いに独立しており、例えば、コピー元の撮影画像が消去されても、FlashROM216にコピーされた撮影画像は消去されずに残ったままとなる。
図25は、上記のお気に入り再生モードの処理(S209)を詳細に示すフローチャートである。また、図26は、その処理中にTFT221に表示される内容を説明する図である。
図25に示したように、本フローでは、まず、モードダイヤル225の状態を検出し(S231)、モードダイヤル225によりお気に入り再生モードが設定されているか否かを判定する(S232)。ここで、その判定結果がNOの場合にはリターンし、YESの場合には、登録されているお気に入り画像の表示と選択の処理を行う(S233)。
このS233において、お気に入り画像の表示では、予め設定されている表示形式(所定コマ数毎に画像を表示可能なインデックス表示形式、又は、1コマ毎に画像を表示可能な1コマ表示形式)に応じて、FlashROM216に格納されているお気に入り画像の画像ファイルに含まれるインデックス表示用サムネイル画像又は1コマ表示用画像を読み出し、TFT221に表示する。例えば、インデックス表示形式が設定されていたときには、お気に入り画像のインデックス表示用サムネイル画像を読み出してインデックス表示形式(本実施形態では3×3のインデックス表示形式とする)でTFT221に表示する。(図26の表示画面231参照)。1コマ表示形式が設定されていたときには、お気に入り画像の1コマ表示用画像を読み出して1コマ表示形式でTFT221に表示する(図26の表示画面232参照)。ここで、お気に入り画像が複数ある場合には、ユーザによる上下左右ボタン226の操作により、お気に入り画像を順次1コマ表示することが可能になっている。なお、このお気に入り画像の表示では、ユーザによる操作部218の操作により、表示形式をインデックス表示形式又は1コマ表示形式に自由に変更することが可能になっている。
また、S233において、お気に入り画像の選択では、検索元とするお気に入り画像を一つ選択する。例えば、インデックス表示形式でお気に入り画像が表示されていたときには、カーソル位置のお気に入り画像を検索元として選択する(図26の表示画面231内のカーソル233参照)。なお、カーソルは、ユーザによる上下左右ボタン226の操作に応じて移動可能になっている。1コマ表示形式でお気に入り画像が表示されていたときには、表示されているお気に入り画像を検索元として選択する。
続いて、OKボタン227が押下されたか否かを判定し(S234)、その判定結果がYESの場合にはS235へ進み、NOの場合にはS233へ戻る。なお、S234がYESの場合(OKボタン227が押下された場合)には、選択されているお気に入り画像が、検索元として確定したことになる。また、このときのOKボタン227の押下に応じて、お気に入り再生モードが設定されたままの場合には後述の画像検索(S236)が開始されることから、OKボタン227は、画像検索を行うように指示する指示手段を兼ねるものでもある。
S234の判定結果がYESの場合には、続いて、モード変更が有るか否かを判定し(S235)、その判定結果がYESの場合にはリターンする。なお、この判定は、モードダイヤル225によりお気に入り再生モード以外のモードが設定されているか否かを判定することにより行われる。
S235の判定結果がNOの場合には、検索元として確定されているお気に入り画像の特徴部分やその画像の付随情報に基づいて、検索部206が、その特徴部分や付随情報と同一又は類似の特徴部分や付随情報を有する撮影画像を、内蔵保存メモリ212又は及び外部保存メモリ213から検索する(S236)。
続いて、検索された撮影画像をグルーピングする(S237)。グルーピングは、検索された撮影画像のコマ情報を取得し、これを画像バッファメモリ204に格納することによって行われる。なお、内蔵保存メモリ212又は及び外部保存メモリ213に保存されている撮影画像には、撮影日時に応じてコマ番号が割り振られており、検索された撮影画像のコマ番号をコマ情報として取得しておくことによって、後で、そのコマ情報を基に、検索された撮影画像を読み出すことが可能になっている。
続いて、条件適合画像の有無(検索された撮影画像の有無)を判定する(S238)。ここで、その判定結果が「なし」の場合には、「検索条件に対する関連画像がありません」というコメントをTFT221に表示し(S239)、S233へ戻る。
一方、S238の判定結果が「あり」の場合には、検索された画像(検索元のお気に入り画像の特徴部分やその付随情報に関連する画像)をTFT221に表示する(S240)。具体的には、予め設定されている表示形式(インデックス表示形式又は1コマ表示形式)に応じて、画像バッファメモリ204に格納されているコマ情報に対応する撮影画像のインデックス表示用サムネイル画像又は1コマ表示用画像を、内蔵保存メモリ212又は及び外部保存メモリ213から読み出し、TFT221に表示する(S240)。例えば、インデックス表示形式が設定されていたときには、コマ情報に対応する撮影画像のインデックス表示用サムネイル画像を読み出してインデックス表示形式(本実施形態では3×3のインデックス表示形式とする)でTFT221に表示する(図26の表示画面234参照)。ここで、コマ情報に対応する撮影画像が9つを超えていた場合には、ユーザによる上下左右ボタン226の操作により、カーソル(図26の表示画面234内のカーソル233参照)を移動させ、コマ情報に対応する撮影画像を順次インデックス表示形式で表示することが可能になっている。1コマ表示形式が設定されていたときには、コマ情報に対応する撮影画像の1コマ表示用画像を読み出して1コマ表示形式でTFT221に表示する(図26の表示画面235参照)。ここで、コマ情報に対応する撮影画像が複数ある場合には、ユーザによる上下左右ボタン226の操作により、コマ情報に対応する撮影画像を順次1コマ表示することが可能になっている。なお、コマ情報に対応する撮影画像の表示においては、検索元のお気に入り画像と当該画像の付随情報も同一画面上に表示される(図26の表示画面234、235内の検索元画像236および付随情報としての日付237参照)。また、このコマ情報に対応する撮影画像の表示においても、ユーザによる操作部218の操作により、表示形式をインデックス表示形式又は1コマ表示形式に自由に変更することが可能になっている。
続いて、モード変更が有るか否か、又は、MENUボタン224が押下されたか否かを判定し(S241)、その判定結果がYESの場合にはS232へ戻り、NOの場合にはS240へ戻る。ここで、モード変更が有るか否かの判定は、モードダイヤル225によりお気に入り再生モード以外のモードが設定されているか否かを判定することにより行われる。また、S241の判定でメニューボタン224が押下され、お気に入り再生モードが設定されたままの場合には、処理がS233へ進むことから、その場合には、そのS233において、他のお気に入り画像を新たな検索元として選択することによって、異なる条件での検索を引き続き行うことができる。
なお、本フローにおいて、画像検索(S236)およびグルーピング(S237)の処理は、例えば次のような処理によって行われる。
図27は、その処理の一例を示すフローチャートである。
同図に示したフローでは、まず、検索元画像として確定しているお気に入り画像の特徴部分(例えば顔、形状、色味などの特徴部分)と、そのお気に入り画像の付随情報(例えばシャッタースピードや露出値など)を抽出する(S251)。なお、特徴部分は、検索元のお気に入り画像の画像ファイルに含まれる主画像から抽出され、付随情報は、その画像ファイルに含まれる属性情報から抽出される。
続いて、N=1とし(S252)、コマ番号Nの撮影画像の画像ファイルに含まれる主画像と付随情報(属性情報)を、内蔵保存メモリ212又は及び外部保存メモリ213から読み出し(S253)、その主画像の特徴部分及び付随情報と、S251で抽出された特徴部分及び付随情報との間の類似度を判定する(S254)。
なお、この類似度の判定の際には、画像の特徴部分および付随情報の類似度を判定するようにしてもよいし、或いは、画像の特徴部分のみの類似度を判定するようにしてもよいし、若しくは、付随情報のみの類似度を判定するようにしてもよい。画像の特徴部分のみの類似度を判定するようにした場合には、S251にて画像の特徴部分のみを抽出し、S253にて画像の特徴部分のみを読み出すようにしてもよい。付随情報のみの類似度を判定するようにした場合には、S251にて付随情報のみを抽出し、S253にて付随情報のみを読み出すようにしてもよい。
続いて、S254の判定結果から、コマ番号Nの撮影画像の特徴部分や付帯情報と、S251で抽出された特徴部分や付随情報とが類似(同一も含む)するか否かを判定し(S255)、その判定結果がYESの場合には、コマ番号Nをコマ情報として画像バッファメモリ204に格納し(S256)、NOの場合にはS256をスキップする。
続いて、コマ終了であるか否か、すなわち、コマ番号Nが最終コマ番号であるか否かを判定し(S257)、その判定結果がYESの場合にはリターンし、NOの場合にはN=N+1として(S258)、S253に戻る。
このようなフローによって、検索元画像として確定されているお気に入り画像の特徴部分や付随情報と同一又は類似の特徴部分や付随情報を有する撮影画像が内蔵保存メモリ212又は及び外部保存メモリ213から検索され、その撮影画像のコマ番号がコマ情報として画像バッファメモリ204に格納される。
なお、このフローにおいて、類似度の判定の前に、画像の何れの特徴部分や画像の何れの付随情報を用いて類似度を判定するのかをユーザに選択させるようにすることも可能である。この場合には、上記のS251において、検索元のお気に入り画像の特徴部分やその付帯情報を抽出した後、それらをユーザに提示し、その中から類似度の判定に使用する1つ以上のものをユーザに選択させるようにしてもよい。
また、図25に示したフローにおいて、関連画像をTFT221に表示(S240)の処理では、検索された撮影画像(コマ情報に対応する撮影画像)をTFT221に表示する際に、その検索された撮影画像と共に、検索元のお気に入り画像、又は及び、検索元のお気に入り画像の付随情報を表示するようにすることも可能である。例えば、検索元のお気に入り画像の特徴部分に基づいて画像を検索した場合には、検索された撮影画像と共に検索元のお気に入り画像を表示するようにし、検索元のお気に入り画像の特徴部分及びその付随情報、又は、検索元のお気に入り画像の付随情報に基づいて画像を検索した場合には、検索された撮影画像と共に検索元のお気に入り画像とその付随情報を表示するようにしてもよい。
図28は、図25に示したお気に入り再生モードの処理中にTFT221に表示される画面例である。
図28において、表示画面241は、お気に入り画像が1コマ表示形式で表示されたときの画面例である。ここで、お気に入り画像が複数ある場合には、上下左右ボタン226の操作により、お気に入り画像を順次1コマ表示させることができる。表示画面242は、お気に入り画像がインデックス表示形式で表示されたときの画面例である。ここでは、上下左右ボタン226の操作により、カーソル243を移動させることができる。お気に入り画像の表示では、操作部218の操作により、表示形式をインデックス表示形式又は1コマ表示形式へ自由に変更することができる。
お気に入り画像が表示されているときにOKボタンが押下されると、1コマ表示されているお気に入り画像244又はインデックス表示されているお気に入り画像の中のカーソル243の位置のお気に入り画像244が検索元画像として確定され、検索元画像に基づいて画像検索が行われる。この例では、検索元画像の特徴部分として顔の特徴部分が抽出され、この特徴部分と同一又は類似の特徴部分を有する撮影画像が検索されたものとする。
表示画面245は、そのような画像検索により検索された撮影画像が1コマ表示形式で表示されたときの画面例である。ここで、検索された撮影画像が複数ある場合には、上下左右ボタン226の操作により、検索された撮影画像を順次1コマ表示させることができる。表示画面246は、検索された撮影画像がインデックス表示形式で表示されたときの画面例である。ここで、検索された撮影画像が9つを超える場合には、上下左右ボタン226の操作により、カーソル243を移動させ、検索された撮影画像を順次インデックス表示させることができる。検索された撮影画像が表示されているときには、検索元のお気に入り画像244も、検索された撮影画像と共に同一表示画面上に表示される。なお、この例では、画像の特徴部分に基づいて画像を検索したので、検索された撮影画像と共に、検索元のお気に入り画像は表示するものの、検索元のお気に入り画像の付随情報は表示しないものとしている。この検索された撮影画像が表示されているときにも、操作部218の操作により、表示形式をインデックス表示形式又は1コマ表示形式に自由に変更することができる。
図29は、図25に示したお気に入り再生モードの処理(S209)による検索例を模式的に示す図である。
図29に示したように、例えば、お気に入り画像aを検索元としたときには、撮影画像B、C、F、及びGが検索され、お気に入り画像bを検索元としたときには、撮影画像A、B、E、及びFが検索される。
このように、所望の画像特徴部分や所望の付随情報を有する画像を、お気に入り画像として登録しておくだけで、同じような画像特徴部分や付随情報を有する撮影画像を容易に検索することができる。また、検索された撮影画像をアルバムとして観賞することもでき、その場合には、ユーザが撮影画像を一つ一つ登録することなく、それを行うことができる(同図の「アルバム1」,「アルバム2」参照)。
以上、本実施形態によれば、ユーザが予め所望の画像特徴部分や所望の付随情報を有する画像をお気に入り画像として登録しておけば、同じような(同一又は類似の)画像特徴部分や付随情報を有する画像を容易に検索することができる。
また、お気に入り画像の登録や、登録したお気に入り画像に基づく画像検索及び画像検索結果の表示は、モードダイヤル225の設定操作だけで可能になるので、従来のように、ボタン操作を何度も繰り返して目的とする設定画面を表示部に表示させる等といった面倒な操作は必要なく、誰でも簡単に使用することができる。
よって、表示されている画像を基に簡単な操作で所望の画像を保存された画像から検索して表示することができる。
なお、本実施形態では、図25及び図27に示したフローを用いて説明したように、検索された画像のコマ番号をコマ情報として画像バッファメモリ204に格納しておき、そのコマ情報を基に、検索された画像を表示するようにしていたが、例えば、検索された画像のファイルパス(画像ファイルの格納位置を示すパス)の情報を画像バッファメモリ204に格納しておき、そのファイルパスの情報を基に、検索された画像を表示するようにすることも可能である。
また、本実施形態に係るカメラは、デジタルカメラに限らず、例えばカメラ付き携帯電話機やカメラ付きPDA(Personal Digital Assistants)など、画像の撮影および再生が可能なその他の装置とすることも可能である。
<第3の実施形態>
本発明の第3の実施形態に係るカメラは、所望の画像を簡単且つ容易に検索可能なカメラであって、特に、撮影や再生等で画像表示を行う際に、状況によらず簡単な操作で容易に所望の画像を検索可能にするカメラである。
図30は、本実施形態に係るカメラであるデジタルカメラのブロック図である。
同図において、撮影レンズ301は、被写体像を撮像素子302へ結像する。撮像素子302は、撮影レンズ301の作用により撮像素子302上に結像されている被写体像を光電変換して画像を表現している電気信号を出力する。撮像素子302は、例えば、CCDである。
撮像部303は、ノイズ成分を低減させるCDS、信号レベルを安定化させるAGC、及び、アナログ電気信号をデジタル電気信号に変換するA/D等を有し、撮像素子302から出力されたアナログ電気信号のノイズ成分を低減させると共に、信号レベルを安定化させ、それをデジタル電気信号に変換して出力する。
画像バッファメモリ304は、撮像部303から出力されるデジタル電気信号である画像データや、画像処理部305による各種画像処理における処理中の画像データ、並びに、検索部306により検索された画像のコマ情報(画像のリンク情報の一例)などの一時保存用として使用される。画像バッファメモリ304は、例えば、SDRAMである。
画像処理部305は、画像データの記録・再生のための、例えばJPEG方式等による画像データの圧縮・伸張処理や、画像データの記録の際に行うガンマ補正やホワイトバランス補正等の補正処理、並びに、画像を構成する画素数を増減させる画像の拡大・縮小処理(リサイズ処理)等といった各種の画像処理を行う。
検索部306は、撮影モードにおいてスルー画形式(撮像した画像をリアルタイムに表示する形式)で表示される画像や再生モードにおいて再生(表示)される画像を検索元の画像として、その画像の特徴部分やその画像の付随情報を基に画像を検索し、検索した画像のコマ情報を画像バッファメモリ304に格納する等の処理を行う。
GPS307は、経度及び緯度を計測する。気圧計/水深計308は、気圧/水深を計測する。マイク(録音部)309は、音声を電気信号に変換する。
表示処理部310は、画像処理部305により画像処理された画像データから、表示部311が表示可能な映像信号を生成してこの表示部311へ出力する等といった処理を行う。これにより、表示部311には、その映像信号に基づく映像が表示される。表示部311は、例えば、LCD、タッチパネル式のLCD、又は、有機ELディスプレイ等である。
内蔵保存メモリ312は、当該デジタルカメラに内蔵された記録媒体であって、画像を表現している画像データ(例えばJPGデータ)等が記録される保存用の記録媒体である。この内蔵保存メモリ312は、例えば、電気的に書き換え動作を行わせることが可能な不揮発性メモリであるFlashROMである。
外部保存メモリ313は、当該デジタルカメラに着脱可能な記録媒体であって、撮影された画像を表現している画像データ(例えばJPGデータ)等が記録される保存用の記録媒体である。この外部保存メモリ313は、例えば、xDカード、スマートメディア(登録商標)、コンパクトフラッシュ(登録商標)等のメモリカード等である。
外部I/F314は、外部の機器と所定の有線通信規格で接続するためのインターフェースである。所定の有線通信規格とは、例えば、USBやその他の有線通信規格である。
通信I/F315は、外部の機器と所定の無線通信規格で接続するためのインターフェースである。所定の無線通信規格とは、例えば、IrDAやその他の無線通信規格である。
FlashROM316は、電気的に書き換え動作を行わせることが可能な不揮発性メモリであり、CPU317により実行されるカメラプログラムの他、そのカメラプログラムの実行中に使用される各種データ等が格納されている。
CPU317は、FlashROM316に格納されているカメラプログラムを読み出して実行することで、当該デジタルカメラ全体の動作を制御する。また、CPU317は、カメラプログラムの実行により表示制御を行うことで、表示制御部317aを実現する。
操作部318は、ユーザ(例えば撮影者)からの各種指示を受け付け、それをCPU317へ通知するための各種ボタン等である。操作部318は、例えば、後述のシャッターボタン、ズームボタン、MENUボタン、お気に入りボタン、上下左右ボタン、及び、OKボタン等である。また、操作部318の操作にはタッチパネルによる操作も含まれる。
図31は、本実施形態に係るデジタルカメラの背面図である。
同図において、TFT321は、表示部311の表示画面である。シャッターボタン322は、撮影指示を行うためのボタンである。ズームボタン323は、ワイド側又はテレ側にズーミング指示を行うためのボタンである。MENUボタン324は、TFT321に各種メニューを表示させる指示等を行うためのボタンである。お気に入りボタン325は、画像の検索指示と検索解除指示を行うためのボタンである。上下左右ボタン326は、TFT321に表示されているカーソルの移動指示や、TFT321に表示されている画像のコマ送り指示等を行うためのボタンである。OKボタン327は、TFT321に表示されている選択項目や選択画像の確定指示等を行うためのボタンである。
なお、本実施形態では、後述の撮影モードや再生モード等の各種動作モードの設定を、MENUボタン324、上下左右ボタン326、及び、OKボタン327の操作によって行うものとするが、例えば、各種の動作モードの設定を可能にするモードダイヤルをデジタルカメラの背面に設け、そのダイヤル操作に応じて動作モードの設定を行うようにすることもできる。
次に、本実施形態に係るデジタルカメラの動作について説明する。
図32は、本実施形態に係るデジタルカメラの基本動作を示すフローチャートである。本フローは、不図示のパワースイッチがONされた時に開始する。
同図に示したように、本フローが開始すると、まず、所定のパワーオン(PW ON)処理を行う(ステップ(以下単に「S」という)301)。
続いて、撮影モードが設定されているか否かを判定する(S302)。ここで、その判定結果がYESの場合には、画像の撮影が可能な撮影モードの処理(S303)へ移行する。この処理では、撮影処理の他、詳しくは後述するが、スルー画形式で表示される画像を検索元の画像として、その画像の特徴部分を基に画像を検索し、検索された画像を表示する等の処理が実行可能になっている。
S302の判定結果がNOの場合には、続いて、再生モードが設定されているか否かを判定する(S304)。ここで、その判定結果がYESの場合には、画像の再生が可能な再生モードの処理(S305)へ移行する。この処理では、再生処理の他、詳しくは後述するが、再生(表示)される画像を検索元の画像として、その画像の特徴部分やその画像の付随情報を基に画像を検索し、検索された画像を表示する等の処理が実行可能になっている。
S304の判定結果がNOの場合には、続いて、編集モードが設定されているか否かを判定する(S306)。ここで、その判定結果がYESの場合には、画像の編集が可能な編集モードの処理(S307)へ移行する。
S306の判定結果がNOの場合には、続いて、通信モードが設定されているか否かを判定する(S308)。ここで、その判定結果がYESの場合には、外部の機器との間の通信が可能な通信モードの処理(S309)へ移行する。なお、この処理では、お気に入りボタン325による指示は受け付けられない。
S308の判定結果がNOの場合には、続いて、設定されている他のモードに応じた処理を行う(S310)。
このようにして、設定されているモードに応じた処理へ移行し、そして、その処理が終了すると、続いて、パワースイッチがオフされたか否か(PW OFF操作が為されたか否か)を判定し(S311)、その判定結果がYESの場合には所定のパワーオフ(PW OFF)処理を行い(S312)、本動作を終了する。一方、その判定結果がNOの場合にはS302へ戻る。
次に、上記の撮影モードの処理(S303)を、図33乃至36を用いて詳細に説明する。
図33は、撮影モードの処理(S303)を詳細に示すフローチャートである。図34は、その処理中にTFT321に表示される内容を説明する図である。図35は、その処理中の撮影処理により記録される画像ファイルの構造例を示す図である。
図33に示したように、本フローでは、まず、スルー画形式で画像をTFT321に表示する(S321)。具体的には、撮像素子302によって撮像した画像を、撮像部、画像処理部、及び表示制御部等により所定の処理を行い、表示部311に表示する、といった一連の処理を繰り返し行うことによって、撮像した画像をリアルタイムにTFT321に表示する(図34の表示画面331参照)。
続いて、シャッターボタンが押下されたか否か(レリーズが行われたか否か)を判定する(S322)。ここで、その判定結果がYESの場合には、撮影処理を行う(S323)。この撮影処理では、撮影された画像が、図35に示した構造を有する画像ファイルとして、内蔵保存メモリ312又は外部保存メモリ313に記録される。図35において、属性情報は、画像の撮影日時や撮影条件(シャッタースピード、露出値、経度と緯度、気圧または水深など)などを含む、撮影された画像の付随情報である。主画像は、撮影された画像(画像データ)である。インデックス表示用サムネイル画像は、主画像がインデックス表示用に縮小されたサムネイル画像(画像データ)である。1コマ表示用画像は、主画像が1コマ表示用に縮小された画像(画像データ)である。
撮影処理(図33のS323)が終了すると、続いて、後述の検索元とする画像や検索結果を無効にする等の検索解除処理を行い(S335)、リターンする。
なお、上記のようにS322がYESの場合(シャッターボタン322が押下された場合)には、その時から検索解除処理が終了するまでの間(S322がYES、S323、及びS335の処理が終了するまでの間)は、お気に入りボタン325による指示は受け付けつけられない。
一方、S322の判定結果がNOの場合には、続いて、お気に入りボタン325が押下されたか否かを判定し(S324)、その判定結果がNOの場合には、S321へ戻る。
S324の判定結果がYESの場合(お気に入りボタン325が押下された場合)には、続いて、その時点でTFT321にスルー画形式で表示されている画像をキャプチャーする(取り込む)(S325)。
続いて、そのキャプチャーされた画像を検索元の画像とし、その画像の特徴部分に基づいて、検索部306が、その特徴部分と同一又は類似の特徴部分を有する撮影画像を、内蔵保存メモリ312又は及び外部保存メモリ313から検索する(S326)。
続いて、検索された撮影画像をグルーピングする(S327)。グルーピングは、検索された撮影画像のコマ情報を取得し、これを画像バッファメモリ304に格納することによって行われる。なお、内蔵保存メモリ312又は及び外部保存メモリ313に保存された撮影画像(画像ファイル)には、撮影日時に応じてコマ番号が割り振られ、検索された撮影画像のコマ番号をコマ情報として取得しておくことによって、後で、そのコマ情報を基に、検索された撮影画像を読み出すことが可能になっている。
続いて、条件適合画像の有無(検索された撮影画像の有無)を判定する(S328)。ここで、その判定結果が「なし」の場合には、「検索条件に対する関連画像がありません」というコメントをTFT321に表示し(S329)、S322へ戻る。
一方、S328の判定結果が「あり」の場合には、検索された画像(検索元の画像の特徴部分に関連する画像)を、検索元の画像(S325でキャプチャーされた画像)と共にTFT321に表示する(S330)。具体的には、画像バッファメモリ304に格納されているコマ情報に対応する撮影画像の画像ファイルに含まれるインデックス表示用サムネイル画像を、内蔵保存メモリ312又は及び外部保存メモリ313から読み出し、検索元の画像と共にTFT321に表示する。例えば、図34に示した表示画面332のように、検索元の画像333と共に、コマ情報に対応する撮影画像のインデックス表示用サムネイル画像を4つ(画像334、335、336、及び337)表示画面の左側に並べて表示する、或いは、表示画面338のように、表示画面の下側に並べて表示する。何れの例においても、コマ情報に対応する撮影画像が4つを超える場合には、ユーザによる上下左右ボタンの26の操作により、コマ情報に対応する残りの撮影画像のインデックス表示用サムネイル画像を同様にして順次表示させることが可能になっている。なお、コマ情報に対応する撮影画像を、検索元の画像と共に表示する形式は、これらに限らず、その他の形式であっても構わない。
続いて、モード変更が有るか否かを判定し(S331)、その判定結果がYESの場合にはS332へ進み、NOの場合にはS333へ進む。ここで、モード変更が有るか否かの判定は、設定されている動作モードが撮影モード以外の動作モードに変更されたか否かを判定することによって行われる。
S331の判定結果がYESの場合には、続いて、検索元とする画像や検索結果を無効にする等の検索解除処理を行い(S332)、リターンする。
S331の判定結果がNOの場合には、続いて、お気に入りボタン325が押下されたか否かを判定し(S333)、その判定結果がNOの場合にはS330へ戻り、YESの場合には、検索元とする画像や検索結果を無効にする等の検索解除処理を行って(S334)、リターンする。ここで、撮影モードが設定されたままの場合には、処理が再びS321へ戻ることから、その場合には、その後のS324において、他の画像をキャプチャーして新たな検索元とすることによって、異なる条件での検索を引き続き行うことができる。すなわち、撮影モードが設定されているときには、お気に入りボタン325が押下される度に、検索指示と検索解除指示が交互に繰り返されることになる。この際、検索指示受付と検索解除受付とを識別できるように、各々の状態を表す表示やボタンの照明等を行うと更にわかり易い。
図36は、図33に示した撮影モードの処理中にTFT321に表示される画面例である。
図36において、表示画面341は、スルー画形式で画像が表示されているときの、ある時の画面例である。
このようにスルー画形式で画像が表示されているときに、お気に入りボタン325が押下されると、撮影準備中であってもその時に表示されていた画像がキャプチャーされる。そして、そのキャプチャーされた画像を検索元の画像として、その画像の特徴部分に基づいて画像検索が行われる。この例では、検索元画像の特徴部分として顔の特徴部分が抽出され、この特徴部分と同一又は類似の特徴部分を有する撮影画像が検索されたものとする。この検索は、例えばパターンマッチング方式や意味的連想画像検索方式などの公知の手法を用いて行う。
表示画面342は、検索元の画像343と共に、表示画面342の左側に、検索された撮影画像が5つ(画像344、345、346、347、348)並べて表示されたときの画面例である。表示画面349は、表示画面の下側に、検索された撮影画像が5つ(画像344、345、346、347、348)並べて表示されたときの画面例である。何れの例においても、検索された撮影画像が5つを超える場合には、上下左右ボタン326の操作により、検索された残りの撮影画像を同様にして順次表示させることができる。
なお、本実施形態では、上述のように、撮影モードの処理において、スルー画形式で画像がTFT321に表示されているときにお気に入りボタン325が押下されると、この時に表示されていた画像をキャプチャーし、そのキャプチャーした画像を検索元の画像としたが、例えば、お気に入りボタン325が押下されると、この時に、スルー画形式の表示のために撮像素子302により撮像され、撮像部303及び画像処理部305により所定の処理が行われた画像を取得し、その取得した画像を検索元の画像とすることもできる。
次に、上記の再生モードの処理(S305)を、図37乃至39を用いて詳細に説明する。
図37は、再生モードの処理(S305)を詳細に示すフローチャートである。図38は、その処理中にTFT321に表示される内容を説明する図である。
図37に示したように、本フローでは、まず、再生画像の表示および選択を行う(S341)。
このS341において、まず、再生画像の表示では、予め設定されている表示形式(所定コマ数毎に画像を表示可能なインデックス表示形式、又は、1コマ毎に画像を表示可能な1コマ表示形式)に応じて、内蔵保存メモリ312又は及び外部保存メモリ313に記録されている撮影画像の画像ファイルに含まれるインデックス表示用サムネイル画像又は1コマ表示用画像を再生画像として読み出し、TFT321に表示する。例えば、1コマ表示形式が設定されていたときには、撮影画像の1コマ表示用画像を再生画像として読み出して、1コマ表示形式でTFT321に表示する(図38の表示画面351参照)。ここで、再生画像が複数ある場合には、ユーザによる上下左右ボタン326の操作により、再生画像を順次1コマ表示することが可能になっている。インデックス表示形式が設定されていたときには、撮影画像のインデックス表示用サムネイル画像を再生画像として読み出して、インデックス表示形式(本実施形態では3×3のインデックス表示形式とする)でTFT321に表示する。(図38の表示画面52参照)。ここで、再生画像が9つを超える場合には、ユーザによる上下左右ボタン326の操作により、再生画像を順次インデックス表示することが可能になっている。なお、この再生画像の表示では、ユーザによる操作部318の操作により、表示形式をインデックス表示形式又は1コマ表示形式に自由に変更することが可能になっている。
また、S341において、再生画像の選択では、検索元とする再生画像を一つ選択する。例えば、1コマ表示形式で再生画像が表示されていたときには、表示されている再生画像を検索元として選択する。インデックス表示形式で再生画像が表示されていたときには、カーソル位置の再生画像を検索元として選択する(図38の表示画面52内のカーソル353参照)。なお、カーソルは、ユーザによる上下左右ボタン326の操作に応じて移動可能になっている。
続いて、お気に入りボタン325が押下されたか否かを判定し(S342)、その判定結果がNOの場合には、S341へ戻る。
S342の判定結果がYESの場合(お気に入りボタン325が押下された場合)には、続いて、検索元として選択されている再生画像の特徴部分やその付随情報に基づいて、検索部306が、その特徴部分や付随情報と同一又は類似の特徴部分や付随情報を有する撮影画像を、内蔵保存メモリ312又は及び外部保存メモリ313から検索する(S343)。
続いて、検索された撮影画像をグルーピングする(S344)。グルーピングは、検索された撮影画像のコマ情報を取得し、これを画像バッファメモリ304に格納することによって行われる。
続いて、条件適合画像の有無(検索された撮影画像の有無)を判定する(S345)。ここで、その判定結果が「なし」の場合には、「検索条件に対する関連画像がありません」というコメントをTFT321に表示し(S346)、S342へ戻る。
一方、S345の判定結果が「あり」の場合には、検索された画像(検索元の画像の特徴部分やその付随情報に関連する画像)をTFT321に表示する(S347)。具体的には、予め設定されている表示形式(インデックス表示形式又は1コマ表示形式)に応じて、画像バッファメモリ304に格納されているコマ情報に対応する撮影画像の画像ファイルに含まれるインデックス表示用サムネイル画像又は1コマ表示用画像を、内蔵保存メモリ312又は及び外部保存メモリ313から読み出し、TFT321に表示する。例えば、インデックス表示形式が設定されていたときには、コマ情報に対応する撮影画像のインデックス表示用サムネイル画像を読み出してインデックス表示形式(本実施形態では3×3のインデックス表示形式とする)でTFT321に表示する(図38の表示画面354参照)。ここで、コマ情報に対応する撮影画像が9つを超える場合には、ユーザによる上下左右ボタン326の操作により、カーソル(図38の表示画面354内のカーソル353参照)を移動させ、コマ情報に対応する撮影画像を順次インデックス表示形式で表示することが可能になっている。1コマ表示形式が設定されていたときには、コマ情報に対応する撮影画像の1コマ表示用画像を読み出して1コマ表示形式でTFT321に表示する(図38の表示画面355参照)。ここで、コマ情報に対応する撮影画像が複数ある場合には、ユーザによる上下左右ボタン326の操作により、コマ情報に対応する撮影画像を順次1コマ表示することが可能になっている。なお、コマ情報に対応する撮影画像の表示においては、検索元の再生画像とその付随情報も同一画面上に表示される(図38の表示画面354、355内の検索元画像356および付随情報としての日付357参照)。また、このコマ情報に対応する撮影画像の表示においても、ユーザによる操作部318の操作により、表示形式をインデックス表示形式又は1コマ表示形式に自由に変更することが可能になっている。
続くS348乃至351では、図35に示したS331乃至334と同様の処理が行われるので、ここでは説明を省略する。
なお、本フローにおいて、関連画像をTFT321に表示(S347)の処理では、検索された撮影画像(コマ情報に対応する撮影画像)をTFT321に表示する際に、その検索された撮影画像と共に、検索元の再生画像、又は及び、検索元の再生画像の付随情報を表示するようにすることも可能である。例えば、検索元とする再生画像の特徴部分に基づいて画像を検索した場合には、検索された撮影画像と共に検索元の再生画像を表示するようにし、検索元とする再生画像の特徴部分及びその付随情報、又は、検索元とする再生画像の付随情報に基づいて画像を検索した場合には、検索された撮影画像と共に検索元の再生画像とその付随情報を表示するようにしてもよい。
図39は、図37に示した再生モードの処理中にTFT321に表示される画面例である。
図39において、表示画面361は、再生画像が1コマ表示形式で表示されたときの画面例である。ここで、再生画像が複数ある場合には、上下左右ボタン326の操作により、再生画像を順次1コマ表示させることができる。表示画面362は、再生画像がインデックス表示形式で表示されたときの画面例である。ここでは、上下左右ボタン326の操作により、カーソル363を移動させ、再生画像を順次インデックス表示させることができる。この再生画像の表示では、操作部318の操作により、表示形式をインデックス表示形式又は1コマ表示形式へ自由に変更することができる。
再生画像が表示されているときにお気に入りボタン325が押下されると、1コマ表示されている再生画像364又はインデックス表示されている再生画像の中のカーソル363の位置の再生画像364を検索元画像として、その検索元画像に基づいて画像検索が行われる。この例では、検索元画像の特徴部分として顔の特徴部分が抽出され、その特徴部分と同一又は類似の特徴部分を有する撮影画像が検索されたものとする。
表示画面365は、検索された撮影画像が1コマ表示形式で表示されたときの画面例である。ここで、検索された撮影画像が複数ある場合には、上下左右ボタン326の操作により、検索された撮影画像を順次1コマ表示させることができる。表示画面366は、検索された撮影画像がインデックス表示形式で表示されたときの画面例である。ここで、検索された撮影画像が9つを超える場合には、上下左右ボタン326の操作により、カーソル363を移動させ、検索された撮影画像を順次インデックス表示させることができる。検索された撮影画像が表示されているときには、検索元の再生画像364も、検索された撮影画像と共に同一表示画面上に表示される。なお、この例では、画像の特徴部分に基づいて画像を検索したので、検索された撮影画像と共に、検索元の再生画像は表示するようにしたものの、その付随情報は表示しないようにしている。この検索された撮影画像が表示されているときにも、操作部318の操作により、表示形式をインデックス表示形式又は1コマ表示形式に自由に変更することができる。このように通常の再生モードで画像再生している場合にもお気に入りボタンが押下されると、その時に表示されていた画像がキャプチャーされ、この画像を検索元の画像として画像検索が行われる。
以上、撮影モードの処理(S303)および再生モードの処理(S305)について詳細に説明したが、撮影モードの処理における画像検索(S326)とグルーピング(S327)の処理、および、再生モードの処理における画像検索(S343)とグルーピング(S344)の処理は、例えば次のようにして行われる。
図40は、その処理の一例を示すフローチャートである。
同図に示したフローでは、まず、検索元とする画像の特徴部分(例えば顔、形状、色味などの特徴部分)や、その画像の付随情報(例えばシャッタースピードや露出値など)を抽出する(S361)。但し、撮影モードにおいては、検索元とする画像(図33のS325でキャプチャーされた画像)の特徴部分を抽出するものとし、再生モードにおいては、検索元とする画像の特徴部分やその付随情報(図37のS341で選択された再生画像の画像ファイルに含まれる主画像の特徴部分や、その画像ファイルに含まれる付随情報(属性情報))を抽出するものとする。
続いて、N=1とし(S362)、コマ番号Nの撮影画像の画像ファイルに含まれる主画像と付随情報(属性情報)を内蔵保存メモリ312又は及び外部保存メモリ313から読み出し(S363)、その主画像の特徴部分やその付随情報と、S351で抽出された特徴部分や付随情報との間の類似度を判定する(S364)。但し、撮影モードにおいては、コマ番号Nの撮影画像の画像ファイルに含まれる主画像を内蔵保存メモリ312又は及び外部保存メモリ313から読み出し、その主画像の特徴部分と、S361で抽出された特徴部分との間の類似度を判定するものとする。なお、再生モードにおいては、画像の特徴部分およびその付随情報の類似度を判定するようにしてもよいし、或いは、画像の特徴部分のみの類似度を判定するようにしてもよいし、若しくは、画像の付随情報のみの類似度を判定するようにしてもよい。
続いて、S364の判定結果から、コマ番号Nの撮影画像の特徴部分や付随情報と、S361で抽出された特徴部分や付随情報とが類似(同一も含む)するか否かを判定する(S365)。但し、撮影モードにおいては、コマ番号Nの撮影画像の特徴部分と、S361で抽出された特徴部分とが類似(同一も含む)するか否かを判定するものとする。
S365の判定結果がYESの場合には、コマ番号Nをコマ情報として画像バッファメモリ304に格納し(S366)、NOの場合にはS366をスキップする。
続いて、コマ終了であるか否か、すなわち、コマ番号Nが最終コマ番号であるか否かを判定し(S367)、その判定結果がYESの場合にはリターンし、NOの場合にはN=N+1として(S368)、S363に戻る。
このようなフローによって、撮影モードにおいては、検索元画像の特徴部分と同一又は類似の特徴部分を有する撮影画像が内蔵保存メモリ312又は及び外部保存メモリ313から検索され、再生モードにおいては、検索元画像の特徴部分や付随情報と同一又は類似の特徴部分や付随情報を有する撮影画像が内蔵保存メモリ312又は及び外部保存メモリ313から検索される。そして、検索された撮影画像のコマ番号がコマ情報として画像バッファメモリ304に格納される。
なお、このフローにおいて、類似度の判定の前に、画像の何れの特徴部分や画像の何れの付随情報を用いて類似度を判定するのかをユーザに選択させるようにすることも可能である。例えば、撮影モードの場合には、上記のS361において、検索元の画像の複数の特徴部分を抽出した後、それらをユーザに提示し、その中から類似度の判定に使用する1つ以上のものをユーザに選択させるようにしてもよい。或いは、再生モードの場合には、上記のS361において、検索元の画像の1つ以上の特徴部分やその付随情報を抽出した後、それらをユーザに提示し、その中から類似度の判定に使用する1つ以上のものをユーザに選択させるようにしてもよい。
図41は、撮影モードの処理(S303)、又は、再生モードの処理(S305)における検索例を模式的に示す図である。
同図に示したように、例えば、画像aを検索元としたときには、撮影画像B、C、F、及びGが検索され、画像bを検索元としたときには、撮影画像A、B、E、及びFが検索される。
このように、所望の画像特徴部分や所望の付随情報を有する画像を検索元とすることで、同じような画像特徴部分や付随情報を有する撮影画像を容易に検索することができる。また、検索された撮影画像をアルバムとして観賞することもでき、その場合には、ユーザが撮影画像を一つ一つ登録することなく、それを行うことができる(同図の「アルバム1」,「アルバム2」参照)。
以上、本実施形態によれば、ユーザは、撮影モードにおいて、所望の画像特徴部分を有する画像をスルー画形式で表示させ、お気に入りボタン325を押下すれば、同じような(同一又は類似の)画像特徴部分を有する画像を容易に検索することができる。また、ユーザは、再生モードにおいて、所望の画像特徴部分や所望の付随情報を有する画像を再生させ、お気に入りボタン325を押下すれば、同じような(同一又は類似の)画像特徴部分や付随情報を有する画像を容易に検索することができる。
これにより、ユーザは、記録前の画像や記録後の画像を用いて容易に画像を検索することができる。また、撮影モードや再生モードにおいてほぼいつでも画像検索を行うことができ、所望の画像を見たいときに見ることができる。
また、検索された画像の表示形式を、撮影モードの場合と再生モードの場合とで変えることで、検索された画像を見易く且つ分かり易くすることができる。
また、撮影モードや再生モードにおいて、検索元とする画像の指定と検索指示は、お気に入りボタン325を押下する操作だけで可能になるので、操作が分かり易く、従来のように、ボタン操作を何度も繰り返して目的とする設定画面(例えば画像検索を行うための設定画面)を表示部に表示させる等といった面倒な操作は必要なく、誰でも簡単に使用することができる。
よって、撮影や再生等で画像表示を行う際に、状況によらず簡単な操作で容易に所望の画像を検索することができる。
なお、本実施形態では、図33、図37、及び図40に示したフローを用いて説明したように、検索された画像のコマ番号をコマ情報として画像バッファメモリ304に格納しておき、そのコマ情報を基に、検索された画像を表示するようにしていたが、例えば、検索された画像のファイルパス(画像ファイルの格納位置を示すパス)の情報(画像のリンク情報の一例)を画像バッファメモリ304に格納しておき、そのファイルパスの情報を基に、検索された画像を表示するようにすることも可能である。
また、本実施形態では、撮影モードと再生モードにおける画像検索について示したが、他のモードにおいても同様に検索を行うようにしてもよい。但し、外部と通信を行う通信モードのように動作時間に制約を受ける動作モードの場合には、お気に入りボタンの受付を禁止し、動作モードを優先させるようにしてもよく、動作モードに合わせてお気に入りボタンの許可/禁止を行うようにしてもよい。
また、本実施形態に係るカメラは、デジタルカメラに限らず、例えばカメラ付き携帯電話機やカメラ付きPDAなど、画像の撮影および再生が可能なその他の装置とすることも可能である。
<第4の実施形態>
本発明の第4の実施形態に係るカメラは、所望の画像を簡単且つ容易に検索可能なカメラであって、特に、ユーザが画像検索を行う際に用いる検索条件の範囲を任意に変更することができ、且つ、それを簡単な操作で行うことができるカメラである。
図42は、本実施形態に係るカメラであるデジタルカメラのブロック図である。
同図において、撮影レンズ401は、被写体像を撮像素子402へ結像する。撮像素子402は、撮影レンズ401の作用により撮像素子402上に結像されている被写体像を光電変換して画像を表現している電気信号を出力する。撮像素子402は、例えば、CCDやCMOSから成るイメージセンサである。
撮像回路403は、ノイズ成分を低減させるCDSと、信号レベルを安定化させるAGCと、アナログ電気信号をデジタル電気信号に変換するA/D変換器などを有し、撮像素子402から出力されたアナログ電気信号のノイズ成分を低減させると共に、信号レベルを安定化させ、それをデジタル電気信号に変換して出力する。
撮像回路403と、AE(Automatic Exposure)部404と、AF(Automatic Focus)部405と、画像処理回路406と、着脱メモリ407と、GPS部408と、CPU409と、SDRAM410は、バス411を介して接続されており、各々がバス411を介してデータの送信又はデータの送受が可能になっている。
SDRAM410は、撮像回路403から出力されるデジタル電気信号である画像データや、画像処理回路406による各種画像処理における処理中の画像データなどの一時保存用として使用される。
画像処理回路406は、画像データの記録・再生のための、例えばJPEG方式等による画像データの圧縮・伸張処理や、画像データの記録の際に行うガンマ補正やホワイトバランス補正等の補正処理、並びに、画像を構成する画素数を増減させる画像の拡大・縮小処理(リサイズ処理)等といった各種の画像処理を行う。
AE部404は、撮像回路403から出力されるデジタル電気信号である画像データを基に露出制御を行う。AF部405は、撮像回路403から出力されるデジタル電気信号である画像データを基に焦点調節制御を行う。
着脱メモリ407は、当該デジタルカメラに着脱可能な記録媒体であって、撮影された画像を表現している画像データ(例えばJPGデータ)等が記録される保存用の記録媒体である。この着脱メモリ407は、例えば、xDカード、スマートメディア(登録商標)、コンパクトフラッシュ(登録商標)等のメモリカード等である。
GPS408は、経度及び緯度を計測する。
CPU409は、内蔵メモリ412に記憶されているカメラプログラムを読み出して実行することで、当該デジタルカメラ全体の動作を制御する。また、CPU409は、カメラプログラムの実行によって、画像検索を行う検索部、表示制御を行う表示制御部、画像検索時の条件を更新する検索条件更新部、及び、画像の表示位置を他のウィンドウへ移動させる制御を行う画像移動制御部などを実現する。
このCPU409には、内蔵メモリ412、パワーSW413、モードSW414、操作部材415、通信手段16、及び表示駆動回路417が接続されている。
内蔵メモリ412には、CPU409により実行されるカメラプログラムの他、そのカメラプログラムの実行中に使用される各種データが記憶されている。各種データの中には、例えば、画像検索に使用可能な検索項目(「日付」、「時間」、「場所」、「撮影モード」、「露出値」、「ホワイトバランス」等のパラメータ)と、各検索項目の初期範囲と、画像検索に使用可能な検索式、などのデータが含まれる。また、内蔵メモリ412には、画像検索時に使用する、後述の検索条件情報なども記憶される。この内蔵メモリ412は、電気的に書き換え動作を行わせることが可能な例えばFlashROMなどの不揮発性メモリである。
表示駆動回路417は、CPU409の表示制御の下に、表示部材418を駆動して、表示部材418に画像等を表示させる。これにより、表示部材418には、例えば、着脱メモリ407に記録された画像データに係る画像等が表示される。この表示部材418は、例えば、LCD、タッチパネル式のLCD、又は、有機ELディスプレイ等である。
通信部416は、外部の機器と所定の有線通信規格又は無線通信規格で接続するためのインターフェースである。所定の有線通信規格とは、例えば、USBやその他の有線通信規格であり、所定の無線通信規格とは、例えば、IrDAやその他の無線通信規格である。
パワーSW413は、ユーザ(例えば撮影者)の操作に応じて、当該デジタルカメラの電源をON/OFFする指示をCPU409へ通知するためのスイッチである。モードSW414は、ユーザの操作に応じて、動作モードを切り替える指示をCPU409へ通知するためのスイッチである。なお、当該デジタルカメラは、画像の撮影が可能な撮影モード及び画像の再生が可能な再生モードを含む複数の動作モードを備えている。
操作部材415は、ユーザの操作に応じて、対応する指示をCPU409へ通知するためのボタン等である。例えば、表示部材418にメニュー画面を表示させる指示や動作を1つ前に戻す指示等を行うためのメニューボタン、撮影開始指示を行うためのレリーズボタン、表示部材418に表示されている画像や項目を選択する指示や動作を1つ前に戻す指示等を行うための上下左右ボタン(上ボタン、下ボタン、左ボタン、及び右ボタン)、及び、選択されている画像や項目を確定する指示を行うためのOKボタン等である。
電源回路419は、電池420から供給される電圧を当該デジタルカメラの各部へ供給する。この電池420は、例えば充電式の電池である。
次に、上記のように構成されたデジタルカメラの動作を説明する。
図43は、このデジタルカメラの基本動作を示すフローチャートである。
同図に示したように、この基本動作では、まず、カメラの状態がパワーOFF状態であるときに、パワーSW413のON操作が為されたか否かを判定する(ステップ(以下単に「S」という)401)。ここで、その判定結果がNoの場合には、本判定を繰り返す。
S1の判定結果がYesの場合には、動作モードとして撮影モードを設定し、所定のセットアップ処理を行って、カメラの状態を撮影待機状態へ遷移する(S402)。
続いて、メニューボタンが操作(押下)されたか否かを判定し(S403)、その判定結果がYesの場合には、メニューボタンの操作に応じたメニュー動作を行う(S404)。
S403の判定結果がNoの場合、若しくは、S404の後は、レリーズボタンが操作(押下)されたか否かを判定し(S405)、その判定結果がYesの場合には、レリーズ動作(撮影動作)を行う(S406)。このレリーズ動作では、撮影された画像に係る画像データが画像ファイルとして着脱メモリ407に記録される。この画像ファイルには、その画像データは勿論のこと、その画像データの付帯情報も含まれる。付帯情報には、撮影時の、日付、時間、場所(緯度及び経度)、撮影モードの種類、露出値、ホワイトバランス等の情報が含まれる。なお、撮影時の場所(緯度、経度)の情報は、GPS408により得られる。
S405の判定結果がNoの場合、若しくは、S406の後は、モードSW414の操作により、動作モードが再生モードへ切り換えられたか否かを判定し(S407)、その判定結果がYesの場合には、動作モードとして再生モードを設定し、再生動作を行う(S408)。この再生動作では、着脱メモリ407に記録された画像データに係る画像の再生のほか、詳しくは後述するが、再生されている画像を検索元画像として、内蔵メモリ412に記憶された検索条件情報に基づいて画像検索を行うことなども可能になっている。
S407の判定結果がNoの場合、若しくは、S408の後は、操作部材415に対するその他の操作や、モードSW414に対するその他の操作が為されたか否かを判定し(S409)、その判定結果がYesの場合には、その操作に応じた動作を行う(S410)。
S409の判定結果がNoの場合、若しくは、S410の後は、パワーSW413のOFF操作が為されたか否かを判定し(S411)、その判定結果がNoの場合には、S403へ処理が戻る。
S411の判定結果がYesの場合には、所定の終了処理を行って、カメラの状態をパワーOFF状態へ遷移し(S412)、本フローを終了する。
次に、上記の再生動作(S408)について詳細に説明する。
この再生動作では、再生されている画像を検索元画像として画像検索を行うことが可能になっている。この画像検索では、設定された検索条件と検索元画像の付帯情報(撮影時の時間や場所等の情報)とに基づいて検索範囲が決定され、その検索範囲に含まれる画像の検索が行われる。そして、その検索結果として、検索画像(検索された画像)と検索外画像(検索されなかった画像)とが同時に表示される。この時に検索外画像を指定すると、その検索外画像が検索範囲に含まれるように、検索範囲の追加が行われる。或いは検索画像を指定すると、その検索画像が検索範囲から外れるように、検索範囲の削除が行われる。もちろん、追加や削除が行われた後の検索範囲に含まれる画像の検索も可能になっている。
図44(a),(b)は、このような再生動作中における画像検索動作を詳細に示すフローチャートである。図45(a),(b),(c)は、その画像検索動作の一部処理を詳細に示すフローチャートである。図46(a),(b),(c),(d),(e),(f)は、その画像検索動作中の検索条件情報の更新例を説明するための図である。図47は、その画像検索動作中における表示部材418の画面遷移例を示す図である。図48は、検索範囲の一例を表すイメージ図である。
図44(a)に示したように、再生動作を開始すると、まず、カメラの状態を再生状態へ遷移し(S421)、着脱メモリ407に記録されている所定コマ数分の画像データを読み出してインデックス形式(例えば3×3のインデックス形式)で表示し、所定位置に表示された画像(例えば画面左上に表示された画像)に対して、位置を示すポインタとしてのカーソル(本実施形態では枠の形をしたカーソルとする)を表示する。なお、ここでは、画像の再生形式をインデックス形式として説明するが、操作部材415の操作により、再生形式を1コマ形式に変更することも可能である。
続いて、上下左右ボタンが操作(押下)されたか否かを判定し(S422)、その判定結果がYesの場合には、そのボタン操作に応じてカーソルを移動する(S423)。但し、画面上端の画像にカーソルが表示されているときに上ボタンが押下された場合、又は、画面下端の画像にカーソルが表示されているときに下ボタンが押下された場合には、そのボタン操作に応じて、所定コマ数分の他の画像データを着脱メモリ407から読み出して表示し、所定位置に表示された画像(例えば画面左上に表示された画像)に対してカーソルを表示する。
S422の判定結果がNoの場合、若しくは、S423の後は、OKボタンが操作(押下)されたか否かを判定し(S424)、その判定結果がYesの場合には、画像検索・抽出の処理を行う(S425)。この処理では、詳しくは図45(a)を用いて後述するが、検索元の確定、選択画像(検索元画像)に関連するパラメータで画像検索、及び、検索条件(検索範囲を含む)の記憶などの処理を行う。また、この処理により、カメラの状態が後述の抽出外画像操作状態へ遷移する。
S424の判定結果がNoの場合には、メニューボタンが操作(押下)されたか否かを判定し(S426)、その判定結果がYesの場合にはS422へ戻り、Noの場合にはリターンする。
ここで、上記の画像検索・抽出の処理(S425)を、図45(a)に示したフローチャートと図46(a),(b),(c),(d)を用いて、より詳細に説明する。
まず、図45(a)に示したフローチャートの説明に入る前に、図46(a),(b)を用いて、内蔵メモリ412に記憶されている、画像検索に使用可能な検索項目と、各検索項目の初期範囲と、画像検索に使用可能な検索式の一例を説明する。
同図(a)は、内蔵メモリ412に記憶されている、画像検索に使用可能な検索項目(パラメータ)と各検索項目の範囲の一例を示す図である。同図(a)に示したように、例えば「a」は、パラメータとして「日付」を表し、その範囲として「±0」を表している。「b」は、パラメータとして「時間」を表し、その範囲として「±0:20」を表している。同様にして、「c」、「d」、「e」、「f」はそれぞれ図示のパラメータと範囲を表している。但し、「d」の「撮影モード」については範囲を定義できないので、これを未定義とする。
同図(b)は、内蔵メモリに記憶されている、画像検索に使用可能な検索式の一例を示す図である。同図(b)に示したように、この例では、画像検索に使用可能な検索式として2つの検索式がある。「条件1」は検索式「b」を示し、「条件2」は検索式「a*b+c」を示す。なお、検索式に含まれる「a」、「b」、「c」は、同図(a)に示した「a」、「b」、「c」に対応する。また、「*」と「+」は論理積と論理和を表す。なお、この例では検索式に「a」、「b」、「c」しか用いていないが、もちろん「d」、「e」、「f」を更に含む検索式を用いることも可能である。
このようなデータが内蔵メモリ412に記憶されていることを前提に、上記の画像検索・抽出の処理(S425)を、図45(a)に示したフローチャートと図46(c),(d)を用いて説明する。
図45(a)に示したように、画像検索・抽出の処理では、まず、上記のS424においてOKボタンが押下された時にカーソルが表示されていた画像を検索元画像として確定する(S431)。
続いて、画像検索に使用する検索条件として「条件1」(検索式「b」)をデフォルト設定する(S432)。
続いて、操作部材415の操作により、検索条件の変更指示があったか否かを判定し(S433)、その判定結果がYesの場合には、その操作に応じて、設定されている検索条件を変更する(S434)。本例では、図46(b)に示したように、2つの条件が用意されているので、ユーザは検索条件を「条件2」に変更することができる。但し、この検索条件の変更では、図46(a)に示したパラメータを基にユーザが任意に検索式を作成し、その検索式による検索条件に変更することも可能である。
S433の判定結果がNoの場合、若しくは、S434の後は、設定(若しくは変更)された検索条件(検索式)と、その検索式に含まれるパラメータと、そのパラメータの範囲と、そのパラメータに対応する検索元画像の情報と、を検索条件情報として内蔵メモリ412に記憶する(S435)。なお、パラメータに対応する検索元画像の情報は、着脱メモリ407に記録されている検索元画像に係る画像データの付帯情報から読み出される。
この検索条件情報の記憶では、例えば、検索条件として「条件1」(検索式「b」)が設定されている場合には、検索条件として検索式「b」と、パラメータとして「時間」と、その範囲として「±0:20」と、パラメータに対応する検索元画像の情報として検索元画像の撮影時間とを、検索条件情報として内蔵メモリ412に記憶する。図46(c)は、このときの検索条件情報の一例を示す図である。但し、この例では、検索元画像の撮影時間が「13:20」であったとする。
或いは、例えば、検索条件としてユーザにより任意に作成された条件(検索式「a+b+c+d+e+f」)が設定されている場合には、その検索式と、図46(a)に示した全てのパラメータ及び各パラメータの範囲と、各パラメータに対応する検索元画像の情報として検索元画像の撮影時の日付、時間、場所、撮影モード、露出値、ホワイトバランスとを、検索条件情報として内蔵メモリ412に記憶する。図46(d)は、このときの検索条件情報の一例を示す図である。但し、この例では、検索元画像の撮影時の日付、時間、場所、撮影モード、露出値、ホワイトバランスが、「2006/08/08」、「13:20」、「N:45,E:135」、「風景」、「-3EV」、「5000k」であったとする。なお、「N:45,E:135」における、「N」と「E」は「北緯」と「東経」を表す。
S435が終了すると、続いて、内蔵メモリ412に記憶されている検索条件情報に基づいて、着脱メモリ407に記録されている画像データの中から、検索条件に合致する画像データの検索を実行する(S436)。
例えば、検索条件として「条件1」(検索式「b」)が設定されている場合には、撮影時間が13:20±0:20であるという検索範囲に含まれる画像データの検索が実行される。或いは、検索条件として「条件2」(検索式「a*b+c」)が設定されている場合には、撮影日付が2006/08/08±0、且つ、撮影時間が13:20±0:20、又は、撮影場所がN:45±0,E:135±0、であるという検索範囲に含まれる画像データの検索が実行される(但し、検索元画像の撮影時の日付、時間、場所が2006/08/08、13:20、N:45,E:135であったとする)。
本例では、設定されている検索条件を「条件1」(検索式「b」)とし、この検索条件に合致する画像データの検索が実行されたとする。なお、画像データの検索は、着脱メモリ407に記録されている各画像データの付帯情報を参照しながら行われる。
続いて、検索条件に合致した画像データ、すなわち画像検索により抽出された画像データを着脱メモリ407から読み出し、その画像データに係る画像(以下単に「抽出画像」という)を、表示部材418の表示画面上の抽出画像ウィンドウ内に表示し、また、検索条件に合致しなかった画像データ、すなわち画像検索により抽出されなかった画像データを着脱メモリ407から読み出し、その画像データに係る画像(以下単に「抽出外画像」という)を、その表示画面上の抽出外画像ウィンドウ内に表示する(S437)。これにより、抽出画像と抽出外画像とが、同一表示画面上に識別可能に同時に表示される。本例では、抽出画像ウィンドウ内に2×2の4つの抽出画像を表示することができ、抽出外画像ウィンドウ内に1×4の4つの抽出外画像を表示することができるものとする。
また、S437では、抽出外画像ウィンドウに対してウィンドウ枠を表示し、抽出外画像ウィンドウ内の所定位置に表示されている抽出外画像(例えば左端に表示されている抽出外画像)に対してカーソルを表示する。なお、ウィンドウ枠が表示されるウィンドウは、画像操作が可能なウィンドウであることを表す。
これにより、カメラの状態が、抽出外画像ウィンドウ内の抽出外画像に対して操作が可能な状態(抽出外画像操作状態)へ遷移する。
そして、S437が終了すると、リターンする。
このような図45(a)に示した画像検索・抽出の処理を含む図44(a)に示した動作中の画面遷移例を、図47の一部を用いて説明すると次のようになる。
同図において、点線枠431内に概念的に示した、着脱メモリ407に記録されている画像データに係る画像(再生画像群)の再生時において、カーソルが表示されている画像が画像432であるときにOKボタン433が押下されると、図45(a)に示した処理に従って、画像432を検索元画像として画像検索が行われ、表示部材418に表示画面334が表示される。この表示画面334には、2×2の抽出画像を含む抽出画像ウィンドウ435と1×4の抽出外画像を含む抽出外画像ウィンドウ436が表示される。また、抽出外画像ウィンドウ436にはウィンドウ枠437が表示され、抽出外画像ウィンドウ436内において、左端の抽出外画像441に対してカーソル438が表示される。これにより、カメラの状態が抽出外画像操作状態へ遷移する。
このように、カメラの状態が再生状態であるときは、ユーザがOKボタンを押下することにより、再生中の画像が検索元画像として確定され、この検索元画像に基づく画像検索を行うことができる。
次に、上記の画像検索・抽出の処理(図44(a)のS425)が終了してカメラの状態が抽出外画像操作状態へ遷移した後の動作を、図44(b)に示したフローチャートを用いて説明する。
同図(b)に示したように、この動作では、まず、カメラの状態が抽出外画像操作状態へ遷移していない場合に限り(例えば後述のS454がYesの後に処理が行われる場合など)、カメラの状態を抽出外画像操作状態へ遷移する(S441)。ここで、抽出外画像操作状態へ遷移する場合には、抽出画像ウィンドウに対して表示されていたウィンドウ枠を抽出外画像ウィンドウへ移動し、抽出外画像ウィンドウ内の所定位置に表示されている抽出外画像(例えば左端に表示されている抽出外画像)に対してカーソルを表示して、抽出外画像に対する操作が可能な状態にする。この場合、ウィンドウ枠が表示されていない抽出画像ウィンドウ内のカーソルは非表示となる。
続いて、左右ボタンが操作(押下)されたか否かを判定し(S442)、その判定結果がYesの場合には、そのボタン操作に応じて、抽出外画像ウィンドウ内のカーソルを右又は左に1つ移動する(S443)。すなわち、右ボタンが押下された場合にはカーソルを右へ1つ移動し、左ボタンが押下された場合にはカーソルを左へ1つ移動する。但し、抽出外画像ウィンドウ内の左端の抽出外画像にカーソルが表示されているときに左ボタンが押下された場合、又は、右端の抽出外画像にカーソルが表示されているときに右ボタンが押下された場合には、そのボタン操作に応じて、4つの他の抽出外画像に係る画像データを着脱メモリ407から読み出し、その4つの抽出外画像を抽出外画像ウィンドウ内に表示し、所定位置に表示された抽出外画像(例えば左端に表示された抽出外画像)に対してカーソルを表示する。
S442の判定結果がNoの場合、若しくは、S443の後は、上ボタンが操作(押下)されたか否かを判定し(S444)、その判定結果がYesの場合には、S451へ進む。
S444の判定結果がNoの場合には、OKボタンが操作(押下)されたか否かを判定し(45)、その判定結果がNoの場合には、S441へ戻る。
S445がYesの場合には、カーソルが表示されている抽出外画像を、抽出画像として追加する抽出外画像として確定(決定)し、カーソルの色を変更して表示を固定する(S446)。このようにカーソルの色が変更されることで、ユーザは、抽出画像として追加する抽出外画像が確定されたことを認識することができる。なお、カーソルの色を変更するとは、表示されているカーソルの枠の色を他の色に変更することをいう。変更前の枠の色と変更後の枠の色は、ユーザが任意に変更可能である。
続いて、左右ボタンが操作(押下)されたか否かを判定し(S447)、その判定結果がYesの場合には、S446で行われた確定を解除し(S448)、S441へ戻る。なお、その解除により、カーソルの色も元に戻る。このように、ユーザは、左右ボタンを押下することにより、抽出画像として追加する抽出外画像を変更することが可能になる。
S447がNoの場合には、上ボタンが操作(押下)されたか否かを判定し(S449)、その判定結果がNoの場合には、S447へ戻る。
S449の判定結果がYesの場合には、S446で確定されている抽出外画像を、抽出画像として追加(抽出画像に追加)する処理を行う(S450)。この処理では、詳しくは図45(b)を用いて後述するが、検索条件(検索範囲を含む)の更新、及び、抽出外画像を抽出画像として追加(抽出画像に追加)するなどの処理を行う。
S450の後、若しくは、S444がYesの場合には、カメラの状態が抽出画像操作状態へ遷移していない場合に限り(例えば、S444がYesの後に処理が行われる場合など)、カメラの状態を抽出画像操作状態へ遷移する(S451)。ここで、抽出画像操作状態へ遷移する場合には、抽出外画像ウィンドウに対して表示されていたウィンドウ枠を抽出画像ウィンドウへ移動し、抽出画像ウィンドウ内の所定位置に表示されている抽出画像(例えば左下に表示されている抽出画像)に対してカーソルを表示して、抽出画像に対する操作が可能な状態にする。この場合、ウィンドウ枠が表示されていない抽出外画像ウィンドウ内のカーソルは非表示となる。
続いて、左右ボタンが操作(押下)されたか否かを判定し(S452)、その判定結果がYesの場合には、そのボタン操作に応じて、抽出画像ウィンドウ内カーソルを右又は左に1つ移動する(S453)。すなわち、右ボタンが押下された場合にはカーソルを右へ1つ移動し、左ボタンが押下された場合にはカーソルを左へ1つ移動する。但し、抽出画像ウィンドウ内の右上の抽出画像にカーソルが表示されているときに右ボタンが押下された場合には、抽出画像ウィンドウ内の左下の抽出画像にカーソルを移動し、抽出画像ウィンドウ内の左下の抽出画像にカーソルが表示されているときに左ボタンが押下された場合には、抽出画像ウィンドウ内の右上の抽出画像にカーソルを移動する。また、抽出画像ウィンドウ内の左上の抽出画像にカーソルが表示されているときに左ボタンが押下された場合、又は、右下の抽出画像にカーソルが表示されているときに右ボタンが押下された場合には、そのボタン操作に応じて、4つの他の抽出画像に係る画像データを着脱メモリ407から読み出し、その4つの抽出画像を抽出画像ウィンドウ内に表示し、所定位置に表示された抽出画像(例えば左上に表示された抽出画像)に対してカーソルを表示する。
S452の判定結果がNoの場合、若しくは、S453の後は、下ボタンが操作(押下)されたか否かを判定し(S454)、その判定結果がYesの場合には、S441へ戻る。
S454の判定結果がNoの場合には、OKボタンが操作(押下)されたか否かを判定し(55)、その判定結果がNoの場合には、S451へ戻る。
S455がYesの場合には、抽出画像ウィンドウ内のカーソルが表示されている抽出画像を、抽出外画像として追加する抽出画像として確定(決定)し、カーソルの色を変更して表示を固定する(S456)。このようにカーソルの色が変更されることで、ユーザは、抽出外画像として追加する抽出画像が確定されたことを認識することができる。
続いて、左右ボタンが操作(押下)されたか否かを判定し(S457)、その判定結果がYesの場合には、S456で行われた確定を解除し(S458)、S451へ戻る。なお、その解除により、カーソルの色も元に戻る。このように、ユーザは、左右ボタンを押下することによって、抽出外画像として追加する抽出画像を変更することが可能になる。
S457の判定結果がNoの場合には、下ボタンが操作(押下)されたか否かを判定する(S459)。
S459の判定結果がYesの場合には、S456で確定されている抽出画像を、抽出外画像として追加(抽出画像から削除)する処理を行う(S460)。この処理では、詳しくは図45(c)を用いて後述するように、検索条件(検索範囲を含む)の更新、及び、抽出画像を抽出外画像として追加(抽出画像から削除)するなどの処理を行う。そして、この処理が終了すると、S441へ戻る。
一方、S459の判定結果がNoの場合には、メニューボタンが操作(押下)されたか否かを判定し(S461)、その判定結果がNoの場合にはS457へ戻り、Yesの場合にはリターンする。
ここで、上記の、抽出外画像を抽出画像として追加(抽出画像に追加)する処理(S450)と、抽出画像を抽出外画像として追加(抽出画像から削除)する処理(S460)とを、より詳細に説明する。
まず、抽出外画像を抽出画像として追加(抽出画像に追加)する処理(S450)を、図45(b)に示したフローチャートと図46(e)を用いて説明する。
図45(b)に示したように、この処理では、まず、S446で確定された抽出外画像(以下単に「確定抽出外画像」という)に係る画像データの付帯情報から、設定されている検索条件(検索式)に含まれるパラメータに対応する情報を読み出し、その情報に基づく検索範囲を追加して検索条件を拡張する(S471)。本例では、設定されている検索条件を条件1(検索式「b」)としていることから、確定抽出外画像に係る画像データの付帯情報から撮影時間を読み出し、その撮影時間を中心値とする±0:05の検索範囲を追加して検索条件を拡張する。ここでは、確定抽出外画像の撮影時間が13:50であったとし、13:50±0:05の検索範囲が追加されるとする。これにより、検索範囲は、撮影時間が13:20±0:20であるという範囲に、撮影時間が13:50±0:05であるという範囲を加えた検索範囲に拡張され、結果として検索条件が拡張される。
続いて、拡張された検索条件を内蔵メモリ412に記憶する(S472)。具体的には、上記の追加する検索範囲(以下単に「追加検索範囲」という)の情報を検索条件情報に加えて内蔵メモリ412に記憶する。図46(e)は、検索条件情報に追加された追加検索範囲の情報の一例を示す図である。このように、検索条件情報に追加検索範囲が追加されることで、拡張された検索条件の記憶が行われる。
続いて、内蔵メモリ412に記憶されている検索条件情報に基づいて、着脱メモリ407に記録されている画像データの中から、検索条件に合致する画像データの検索を実行する(S473)。すなわち、拡張された検索条件に合致する画像データの検索が行われる。本例では、検索条件情報に基づいて、撮影時間が13:20±0:20であるという検索範囲または撮影時間が13:50±0:05であるという検索範囲に含まれる画像データの検索を実行する。
続いて、上記のS437(図45(a)参照)と同様に、拡張された検索条件に合致した画像データを着脱メモリ407から読み出し、その画像データに係る画像(抽出画像)を表示部材418の表示画面上の抽出画像ウィンドウ内に表示し、また、拡張された検索条件に合致しなかった画像データを着脱メモリ407から読み出し、その画像データに係る画像(抽出外画像)を表示画面上の抽出外画像ウィンドウ内に表示する(S474)。但し、上記の確定抽出外画像が抽出画像として追加されたことをユーザが認識できるように、この時の抽出画像ウィンドウ内には、必ず、上記の確定抽出外画像であった画像を表示するようにする。
また、S474では、抽出外画像ウィンドウに対して表示されていたウィンドウ枠を抽出画像ウィンドウに移動し、抽出画像ウィンドウ内の所定位置に表示されている抽出画像(例えば左下に表示されている抽出画像)に対してカーソルを表示する。なお、ウィンドウ枠が表示されていない抽出外画像ウィンドウ内のカーソルは非表示となる。
これにより、カメラの状態が、抽出画像ウィンドウ内の抽出画像に対する操作が可能な状態(抽出画像操作状態)へ遷移する。
そして、S474が終了すると、リターンする。
次に、上記の、抽出画像を抽出外画像として追加(抽出画像から削除)する処理(図44(b)のS460)を、図45(c)に示したフローチャートと図46(f)と図48を用いて説明する。
図45(c)に示したように、この処理では、まず、S456で確定された抽出画像(以下単に「確定抽出画像」という)に係る画像データの付帯情報から、設定されている検索条件(検索式)に含まれるパラメータに対応する情報を読み出し、その情報に基づく検索範囲を削除して検索条件を縮小する(S481)。本例では、設定されている検索条件を条件1(検索式「b」)としていることから、確定抽出画像に係る画像データの付帯情報から撮影時間を読み出し、その撮影時間を中心値とする±0:05の検索範囲を削除して検索条件を縮小する。ここでは、確定抽出画像の撮影時間が13:00であったとし、13:00±0:05の検索範囲が削除されるとする。これにより、検索範囲は、撮影時間が13:20±0:20であるという範囲に、撮影時間が13:50±0:05であるという範囲を加えた検索範囲から、更に、撮影時間が13:00±0:05であるという範囲を削除した検索範囲に縮小され、結果として検索条件が縮小される。
続いて、縮小された検索条件を内蔵メモリ412に記憶する(S482)。具体的には、上記の削除する検索範囲(以下単に「削除検索範囲」という)の情報を検索条件情報に加えて内蔵メモリ412に記憶する。図46(f)は、検索条件情報に追加された削除検索範囲の情報の一例を示す図である。このように、検索条件情報に削除検索範囲が追加されることで、縮小された検索条件の記憶が行われる。
続いて、内蔵メモリ412に記憶されている検索条件情報に基づいて、着脱メモリ407に記録されている画像データの中から、検索条件に合致する画像データの検索を実行する(S483)。すなわち、縮小された検索条件に合致する画像データの検索が行われる。本例では、検索条件情報に基づいて、撮影時間が13:20±0:20であるという検索範囲または撮影時間が13:50±0:05であるという検索範囲に含まれる画像データであって、且つ、撮影時間が13:00±0:05であるという検索範囲に含まれない画像データの検索を実行する。図48は、このときの縮小された検索条件を表すイメージ図である。点線で示す削除範囲451は、上記の確定抽出画像の撮影時間を中心値とする削除検索範囲を示し、初期範囲452は、上記の検索元画像の撮影時間を中心値とする検索範囲を示し、追加範囲453は、上記の確定抽出外画像の撮影時間を中心値とする追加検索範囲を示す。これにより、最終的には、撮影時間が13:05〜13:40であるか、又は、13:45〜13:55である画像データの検索が行われることになる。なお、点線で示す削除範囲451のうち、12:55〜12:59までの部分は元々選択されていない。
続いて、上記のS437(図45(a)参照)と同様に、縮小された検索条件に合致した画像データを着脱メモリ407から読み出し、その画像データに係る画像(抽出画像)を表示部材418の表示画面上の抽出画像ウィンドウ内に表示し、また、縮小された検索条件に合致しなかった画像データを着脱メモリ407から読み出し、その画像データに係る画像(抽出外画像)を表示画面上の抽出外画像ウィンドウ内に表示する(S484)。但し、上記の確定抽出画像が抽出外画像として追加されたことをユーザが認識できるように、この時の抽出外画像ウィンドウ内には、必ず、上記の確定抽出画像であった画像を表示するようにする。
また、S484では、抽出画像ウィンドウに対して表示されていたウィンドウ枠を抽出外画像ウィンドウに移動し、抽出外画像ウィンドウ内の所定位置に表示されている抽出外画像(例えば左端に表示されている抽出画像)に対してカーソルを表示する。なお、ウィンドウ枠が表示されていない抽出画像ウィンドウ内のカーソルは非表示となる。
これにより、カメラの状態が、抽出外画像ウィンドウ内の抽出外画像に対する操作が可能な状態(抽出外画像操作状態)へ遷移する。
そして、S484が終了すると、リターンする。
このような図45(b)に示した抽出外画像を抽出画像として追加する処理と、図45(c)に示した抽出画像を抽出外画像として追加する処理とを含む図44(b)に示した動作中の画面遷移例を、図47の残りの部分を用いて説明すると次のようになる。
同図において、カメラの状態が抽出外画像操作状態である、表示画面334が表示されているときは、左右ボタン(左ボタン439,右ボタン440)の押下により、抽出外画像ウィンドウ436内に表示されているカーソル438を移動させて抽出外画像を選択することができる。ここで、抽出外画像ウィンドウ436内の左端の抽出外画像441にカーソル438が表示されているときにOKボタン433が押下されると、選択されている抽出外画像441が、抽出画像として追加する抽出外画像として確定され、表示画面442に示したように、カーソル438の色が変更される。但し、ここでは、図面の都合から、変更後のカーソル438の色を斜線で表している。カーソル438の色の変更は、例えば、カーソル438の通常色が緑であるときには赤に変更される。これにより、ユーザは、抽出画像として追加する抽出外画像として抽出外画像441が確定されたことを認識することができる。ここで更に、上ボタン443が押下されると、図45(b)に示した処理に従って、検索条件を拡張、記憶し、拡張された検索条件に基づく画像検索が行われて表示画面444が表示される。この表示画面444には、拡張された検索条件に基づく画像検索により、2×2の抽出画像が抽出画像ウィンドウ435に表示され、1×4の抽出外画像が抽出外画像ウィンドウ436に表示される。但し、抽出外画像441が抽出画像として追加されたことをユーザが認識できるように、この時の抽出画像ウィンドウ435内には、必ず、その抽出外画像441が抽出画像441´として表示される。これにより、抽出画像として追加する抽出外画像が、抽出外画像ウィンドウから抽出画像ウィンドウへ移動したことになる。そして、不図示ではあるが、抽出外画像ウィンドウ436に表示されていたウィンドウ枠437が抽出画像ウィンドウ435に移動し、抽出画像ウィンドウ435内の所定位置に表示された抽出画像に対してカーソルが表示される。なお、抽出外画像ウィンドウ436内のカーソル438は非表示となる。これにより、カメラの状態が抽出画像操作状態へ遷移する。
一方、表示画面334において、下ボタン45が押下されると、表示画面445に示したように、抽出外画像ウィンドウ436に表示されていたウィンドウ枠437が抽出画像ウィンドウ435に移動し、抽出画像ウィンドウ435内の左下に表示された抽出画像に対してカーソル446が表示される。なお、抽出外画像ウィンドウ436内のカーソル438は非表示となる。これにより、カメラの状態が抽出画像操作状態へ遷移する。この表示画面445では、左右ボタン(左ボタン439、右ボタン440)の押下により、抽出画像ウィンドウ435内に表示されているカーソル446を移動させて抽出画像を選択することができる。ここで、抽出画像ウィンドウ435内の左下の抽出画像447にカーソル446が表示されているときにOKボタン433が押下されると、選択されている抽出画像447が、抽出外画像として追加する抽出画像として確定され、表示画面448に示したように、カーソル446の色が変更される。但し、ここでは、図面の都合から、変更後のカーソル446の色を斜線で表している。カーソル446の色の変更は、例えば、上記と同様に、カーソル446の通常色が緑であるときには赤に変更される。これにより、ユーザは、抽出外画像として追加する抽出画像として抽出画像447が確定されたことを認識することができる。ここで更に、下ボタン45が押下されると、図45(c)に示した処理に従って、検索条件を縮小、記憶し、縮小された検索条件に基づく画像検索が行われて表示画面449が表示される。この表示画面449には、縮小された検索条件に基づく画像検索により、2×2の抽出画像が抽出画像ウィンドウ435に表示され、1×4の抽出外画像が抽出外画像ウィンドウ436に表示される。但し、抽出画像447が抽出外画像として追加されたことをユーザが認識できるように、この時の抽出外画像ウィンドウ436内には、必ず、その抽出画像447が抽出外画像447´として表示される。これにより、抽出外画像として追加する抽出画像が、抽出画像ウィンドウから抽出外画像ウィンドウへ移動したことになる。そして、不図示ではあるが、抽出画像ウィンドウ435に表示されていたウィンドウ枠437が抽出外画像ウィンドウ436に移動し、抽出外画像ウィンドウ436内の所定位置に表示された抽出外画像に対してカーソル438が表示される。なお、抽出画像ウィンドウ435内のカーソル446は非表示となる。これにより、カメラの状態が抽出外画像操作状態へ遷移する。
なお、表示画面445においては、上ボタン443を押下することによって、表示画面334に戻ることができる。
このように、カメラの状態が抽出外画像操作状態(例えば表示画面334の状態)であるときは、ユーザが左右ボタン及びOKボタンを押下することにより、抽出画像として追加する抽出外画像が選択・確定され、ここで更に上ボタンを押下することで、その抽出外画像(確定抽出外画像)に基づく検索範囲が追加され、拡張された検索条件に基づく画像検索を行うことができる。また、抽出外画像操作状態では、上ボタンの押下により、ウィンドウ枠を移動して、カメラの状態を抽出画像操作状態へ遷移することもできる。
また、カメラの状態が抽出画像操作状態(例えば表示画面445の状態)であるときは、ユーザが左右ボタン及びOKボタンを押下することにより、抽出外画像として追加する抽出画像が選択・確定され、ここで更に下ボタンを押下することで、その抽出画像に基づく検索範囲が削除され、縮小された検索条件に基づく画像検索を行うことができる。また、抽出画像操作状態では、下ボタンの押下により、ウィンドウ枠を移動して、カメラの状態を抽出外画像操作状態へ遷移することもできる。
また、このように、ウィンドウ枠の移動方向とボタンの操作方向(上下ボタンの操作)とが一致すること、確定抽出外画像の移動方向とボタンの操作方向(上ボタン)とが一致すること、及び、確定抽出画像の移動方向とボタンの操作方向(下ボタン)とが一致することになるので、ユーザにとっては操作が大変分かり易くなる。
以上、本実施形態によれば、ユーザが着脱メモリ407に記録されている画像データの中から、任意の条件を満たす画像データだけを検索して再生しようとする場合に、その条件(例えば図46(b)に示した「条件1」や「条件2」)の変更は勿論のこと、その条件の範囲(例えば撮影時間に係る検索範囲)も任意に変更することができる。しかも、その条件の範囲の変更を、画像検索結果として画面に表示されている画像を指定する等の簡単な操作だけで行うことができる。これにより、ユーザは、画像検索結果に対して、簡単で分かり易く検索条件を意図にあったものに更新できる。
よって、ユーザが画像検索を行う際に用いる検索条件の範囲を任意に変更することができ、且つ、それを簡単な操作で行うことができる。
なお、本実施形態では、図46(e),(f)に示したように、追加検索範囲および削除検索範囲は、共に、確定された画像の撮影時間を中心値とする±0:05の範囲とした。しなしなから、その範囲は±0:05に限らず、例えば、追加検索範囲と削除検索範囲とが重複しないように、確定された画像に対して時間的に隣り合う画像との間の撮影時間間隔に応じて、その範囲を可変にすることも可能である。或いは、追加検索範囲と削除検索範囲とが重複しないように、時間的に隣り合う画像間の撮影時間間隔が最も短い時間間隔を、一律に、その範囲とすることも可能である。
また、本実施形態では、図46(c),(e),(f)に示したように、検索条件情報として、検索元画像の撮影時間を中心値とする検索範囲の情報と、確定抽出外画像の撮影時間を中心値とする追加検索範囲の情報と、確定抽出画像の撮影時間を中心値とする削除検索範囲の情報と、を記憶するようにした。しかしながら、これらの情報の代わりに、検索元画像、確定抽出外画像、及び確定抽出画像の各々のリンク情報を記憶するようにし、そのリンク情報を基に、各画像の付帯情報の中から必要な情報を読み出し、上記の検索元画像の撮影時間を中心値とする初期範囲と、確定抽出外画像の撮影時間を中心値とする追加検索範囲と、確定抽出画像の撮影時間を中心値とする削除検索範囲と、を得るようにすることも可能である。
また、本実施形態では、抽出画像として追加可能な抽出外画像数(追加検索範囲の数)に上限を設けることも可能である。また、同様に、抽出外画像として追加可能な抽出画像数(削除検索範囲の数)に上限を設けることも可能である。
また、本実施形態では、検索条件情報を内蔵メモリ412に記憶するものであったが、検索条件情報の記憶形態はこれに限らない。例えば、図49(a)に示すように、検索条件情報を画像管理ファイルとして内蔵メモリ412に記憶するようにすることも可能である。又は、同図(b)に示すように、検索条件情報を画像管理ファイルとして着脱メモリ407に記録するようにすることも可能である。或いは、同図(c)に示すように、検索条件情報を画像ファイル内の付帯情報に含めて着脱メモリ407に記録するようにすることも可能である。
<第5の実施形態>
本発明の第5の実施形態に係るカメラは、所望の画像を簡単且つ容易に検索可能なカメラであって、特に、再生されている撮影画像を基に、記録されている撮影画像の中から所望の撮影画像を簡単かつ分かり易い方法で抽出し再生することができるカメラである。
図50は、本実施形態に係るカメラであるデジタルカメラの構成例を示す図である。
同図において、デジタルカメラは被写体像を撮像素子507(例えばCCD、CMOS等)上に結像させる撮影レンズ501を有する。この撮影レンズ501は、フォーカス調整を行うフォーカスレンズ系502a、絞り503、シャッタ504、及び焦点距離を可変させる変倍レンズ系502bからなる。この撮像素子507により光電変換されて読み取られた被写体の撮影画像は、画像取り出し部508により取り出され、画像処理部509で必要な画像処理を受けた後、記憶制御部510によりフラッシュメモリ等の内部メモリ(内部記憶部)11或いはメモリカード(例えばxD-Picture Card(商標)等)などの外部メモリ(外部記憶部)512に記憶される。この記憶処理に並行して、表示制御部513により、表示部(例えばTFT等)14の画面上に被写体画像が表示される。
また、焦点検出部515は撮像素子507により光電変換されて得られた撮影画像を基に焦点検出を行い、得られた結果から撮像素子507上に被写体像を合焦状態に結像するように、レンズ駆動部516によってフォーカスレンズ系502aを光軸方向に変位駆動する。そして、駆動変位されたレンズ位置を基に被写体距離情報を算出する。
また、撮像素子507により光電変換されて読み取られた被写体の撮影画像を基に、測光部517が被写体の輝度を計測し、計測された輝度に対応する測光部517の出力に応じて絞り駆動部518が絞り503を駆動し、撮像素子感度設定部519が撮像素子507の感度を変更設定する。なお、ユーザ(撮影者)のカメラ操作に従い絞り値を設定する絞り値設定部520の出力に応じても絞り503を駆動し、撮像素子507の感度を変更設定することが可能になっている。
ストロボ部521は、図示しないストロボ発光用コンデンサに電荷を溜め、撮影するタイミングにおいてストロボ発光用コンデンサに溜まっている電荷をストロボ発光部(例えばキセノン管等)522に流すことによりストロボ発光させる。
シャッタ504は通常は開いており、被写体の像を表示部514の画面上に逐次表示することにより、表示部514がファインダの役目を果たす。ユーザがレリーズスイッチ523を操作することにより撮影が開始されると、シャッタ504を閉じてから、上述した通りの処理に従い、被写体の画像を取り出し、記憶し、表示する。撮影時にシャッタ504を閉じるのは、画像を取り出している最中に被写体が動いたりカメラが動いたりして撮像素子507上の被写体像が変わってしまうのを防ぐためである。なお、シャッタ504の開閉は、シャッタ駆動部524が行う。また、ユーザのカメラ操作に従いシャッタ速度を設定するシャッタ速度設定部525の出力に応じてシャッタ駆動部524がシャッタ504を駆動することで、所望のシャッタ速度でシャッタ504を開閉させることが可能になっている。
ズームスイッチ526は、ズームダウンスイッチ526aとズームアップスイッチ526bとからなる。撮影モードにおいてユーザがズームスイッチ526を操作すると、ズームスイッチ526の出力に応じてズーム駆動部527が変倍レンズ系502bを光軸方向に変位駆動し、フォーカスレンズ系502aの焦点距離を変更する。再生モードにおいてユーザがズームスイッチ526を操作すると、ズームスイッチ526の出力に応じて、再生画像の拡大又は縮小、或いは、再生形式をインデックス再生又は1コマ再生へ切り換える。
モード設定部528は、ユーザのカメラ操作に従い動作モードを設定する。設定可能な動作モードには、撮影モードや再生モード等の各種動作モードが含まれる。
スイッチ群529は、ユーザから各種の指示を受け付けるスイッチ群であり、ユーザのボタン操作に応じてオン/オフするスイッチを含む。ボタンとしては、パワーボタンや、後述のメニューボタン、お気に入りボタン、上下左右ボタン、又はOKボタン等がある。
外部機器制御部530は、外部機器(例えばパーソナルコンピュータ等)532との間で通信を行うための制御を行う。
カメラ制御部531は、CPU31a、ROM31b、及びSDRAM31cからなる。CPU31aは、上述の各部にバスライン533を介して接続されており、ROM31bに格納されている制御プログラムに従いこのデジタルカメラ全体の制御を行うとともに、各スイッチ523,526,529、例えばタッチパネル等により実現される表示部514上に表示される各種機能スイッチ・キー等からの状態信号、モード設定部528によるモード設定信号、シャッタ速度設定部525によるシャッタ速度設定信号、絞り値設定部520による絞り値設定信号などに対応してデジタルカメラの各機能の実行制御を行う。SDRAM31cは、画像データを一時記憶する作業領域として用いられる。ROM31bは、上述の制御プログラムや、デジタルカメラのその他の各種機能を実行させるためのプログラムを格納したもので、プログラマブルROM、フラッシュROMなどが用いられる。ROM31bには、この他、プログラムの実行に必要な各種データや後述のお気に入りファイルも記憶される。
図51は、本実施形態に係るデジタルカメラの背面図である。
同図において、TFT541は、表示部514の表示画面である。シャッターボタン542は、撮影指示を行うためのボタンである。このシャッターボタン542が押下されると、レリーズスイッチ523がオンする。
ズームボタン543(543a、543b)は、ワイド側(広角側)又はテレ側(望遠側)にズーミング指示を行うためのボタンである。ズームボタン543aが押下されると、ズームスイッチ526aがオンし、ワイド側にズーミングが行われる。ズームボタン543bが押下されると、ズームスイッチ526bがオンし、テレ側にズーミングが行われる。但し、再生モードにおいて、ズームボタン543(543a、543b)は、再生画像の拡大又は縮小、或いは、再生形式をインデックス再生又は1コマ再生へ切り替えるためのボタンも兼ねている。
メニューボタン544は、TFT541に各種メニューを表示させる指示やキャンセルする指示等を行うためのボタンである。お気に入りボタン545は、詳しくは後述する、画像の検索処理を開始指示するためのボタンである。上下左右ボタン546(上ボタン546a、下ボタン546b、左ボタン546c、右ボタン546d)は、TFT541に表示されているカーソル(カーソル枠も含む)の移動指示や、TFT541に表示されている画像のコマ送り指示等を行うためのボタンである。OKボタン547は、TFT541に表示されている項目や画像の確定指示等を行うためのボタンである。このOKボタン547の押下により、後述の画像検索に使用されるカテゴリや部分画像の指定が可能になっている。
なお、本実施形態では、撮影モードや再生モード等の各種動作モードの設定を、メニューボタン544、上下左右ボタン546、及びOKボタン547の操作によって可能にするものとするが、例えば、各種の動作モードを設定可能にするモードダイヤルをデジタルカメラの背面に設け、そのダイヤル操作に応じて動作モードの設定を行うようにすることもできる。
また、本実施形態では、撮影モードとして、撮影条件をカメラが自動的に設定して撮影できるオートモードや、撮影シーンに応じて適切な撮影条件をカメラが自動的に設定して撮影できる、ポートレートモード、セルフポートレートモード、寝顔モード、風景モード、夜景モード、夕日モード、風景&人物モード、夜景&人物モード、及びマクロモードといった複数のモードを備えており、これらのモードも、メニューボタン544、上下左右ボタン546、及びOKボタン547の操作によって設定することが可能になっている。
次に、本実施形態に係るデジタルカメラの動作について説明する。なお、本動作は、前述のとおり、CPU31aが、ROM31bに格納されているプログラムを読み出し実行することによって行われる。
図52は、本実施形態に係るデジタルカメラの全体動作を示すフローチャートである。
同図に示したように、本実施形態に係るデジタルカメラがパワーオフ状態であるときに、ユーザによるパワーオン操作(不図示のパワーボタンの押下)を検出すると(ステップ(以下単に「S」という)501)、パワーオン状態になり(S502)、動作モードを撮影モードにして撮影モードでの初期化処理を行い(S503)、撮影待機状態になる(S504)。なお、撮影モードでの初期化処理(S503)では、フォーカスレンズ系502aや変倍レンズ系502bを撮影可能な位置へ移動させる等の、撮影に必要な準備処理が行われる。
続いて、操作キー入力を検出する(S505)。まず、操作入力がパワーオフ操作入力(不図示のパワーボタンの押下)であったか否かを判定し(S506)、その判定結果がYesの場合には、パワーオフ状態になり(S507)、本フローが終了する。
S506がNoの場合には、S505で検出した操作入力がレリーズ操作(シャッターボタン542の押下(レリーズスイッチ523のオン))であったか否かを判定し(S508)その判定結果がYesの場合には、撮影動作を行う(S509)。なお、この撮影動作において撮影された画像は、内部メモリ511又は外部メモリ512に画像ファイルとして記録される。画像ファイルには、撮影画像を表す画像データは勿論のこと、その撮影画像の付随情報も含まれる。付随情報には、撮影日時や撮影時の撮影条件などの情報が含まれる。撮影条件の情報には、撮影時の撮影モード(前述のオートモード、ポートレートモード、風景モード等)や、フラッシュ発光の有無及びその種類や、セルフタイマーのON/OFFや、被写体距離(遠距離、中・近距離、マクロ領域)や、シャッタースピードや、露出値などの情報が含まれる。なお、被写体距離は、焦点検出部515によって得られたものである。
そして、その撮影動作(S509)が終了すると、S504へ戻る。
S508がNoの場合には、S505で検出した操作入力がズーム操作(ズームボタン543の押下(ズームスイッチ526のオン))であったか否かを判定し(S510)その判定結果がYesの場合には、ズーム動作を行い(S511)、S504へ戻る。
S510がNoの場合には、S505で検出した操作入力が、再生モードを設定する操作以外のメニュー操作(メニューボタン544等の押下)であったか否かを判定し(S512)その判定結果がYesの場合には、対応する設定動作を行い(S513)、S504へ戻る。
S512がNoの場合には、S505で検出した操作入力が、再生モードを設定するメニュー操作(メニューボタン544等の押下)であったか否かを判定し(S514)その判定結果がNoの場合にはS504へ戻る。
S514がYesの場合には、動作モードを撮影モードから再生モードへ変更し(S515)、再生モードでの初期化処理を行い(S516)、1コマ再生状態になる(S517)。なお、再生モードでの初期化処理(S516)では、再生に必要な準備動作が行われる。また、S517の1コマ再生状態では、内部メモリ511又は外部メモリ512に記録されている1つの撮影画像(例えば最も最近に撮影された撮影画像)が読み出されTFT541に表示される。
続いて、操作キー入力を検出すると(S518)、まず、その操作入力がパワーオフ操作(不図示のパワーボタンの押下)であったか否かを判定し(S519)、その判定結果がYesの場合には、パワーオフ状態になり(S520)、本フローが終了する。
S519がNoの場合には、S518で検出した操作入力が上下左右操作(上下左右ボタン546の押下)であったか否かを判定し(S521)、その判定結果がYesの場合には、その操作に応じてコマ送り/戻し動作を行う(S522)。このコマ送り/戻し動作では、上下左右ボタン546の押下に応じて、内部メモリ511又は外部メモリ512に記録されている撮影画像を読み出しTFT541に表示することが可能になっている。この動作では、例えば、1コマ再生状態のときには、左右ボタン546c、546dの押下に応じて、内部メモリ511又は外部メモリ512に記録されている撮影画像を1コマ毎に読み出しTFT541に表示することが可能になっている。或いは、インデックス再生状態のときには、上下ボタン546a、546bの押下に応じて、内部メモリ511又は外部メモリ512に記録されている撮影画像を所定コマ数毎に読み出しTFT541に表示することが可能になっている。また、このインデックス再生状態のときには、表示されている複数の撮影画像の中の1つに対してカーソルが表示され、左右ボタン546c、546dの押下に応じてカーソルを移動させることも可能になっている。
S521がNoの場合には、S518で検出した操作入力がテレ操作(ズームボタン543bの押下(ズームスイッチ526bのオン))であったか否かを判定し(S523)、その判定結果がYesの場合には、TFT541に1コマ再生されている撮影画像を拡大して1コマ再生し(S524)、S518へ戻る。但し、インデックス再生状態のときには、再生形式をインデックス再生から1コマ再生に変更し(S524)、S518へ戻る。再生形式が1コマ再生に変更されると、1コマ再生状態になる。
S523がNoの場合には、S518で検出した操作入力がワイド操作(ズームボタン543aの押下(ズームスイッチ526aのオン))であったか否かを判定し(S525)、その判定結果がYesの場合には、TFT541に拡大されて1コマ再生されている撮影画像を縮小して1コマ再生し(S526)、S518へ戻る。但し、拡大されてなく通常のサイズで1コマ再生が行われていた場合には、再生形式を1コマ再生からインデックス再生に変更し(S526)、S518へ戻る。再生形式がインデックス再生に変更されると、インデックス再生状態になる。
S525がNoの場合には、S518で検出した操作入力が消去操作(図示しない消去ボタンの押下)であったか否かを判定し(S527)、その判定結果がYesの場合には、TFT541に1コマ再生されている撮影画像(画像ファイル)を内部メモリ511又は外部メモリ512から消去し(S528)、S517へ戻る。但し、インデックス再生状態のときには、カーソルが表示されている撮影画像(画像ファイル)を内部メモリ511又は外部メモリ512から消去し(S528)、S517へ戻る。
S527がNoの場合には、S518で検出した操作入力が、撮影モードを設定する操作以外のメニュー操作(メニューボタン544等の押下)であったか否かを判定し(S529)、その判定結果がYesの場合には、対応する設定動作を行い(S530)、S517へ戻る。
S529がNoの場合には、S518で検出した操作入力がお気に入り操作(お気に入りボタン545の押下)であったか否かを判定し(S531)、その判定結果がYesの場合には、お気に入り再生処理を行う(S532)。この処理の詳しい内容については図53を用いて後述するが、この処理では、再生されている撮影画像を基に、その撮影画像の部分画像と同一又は類似の部分画像を有する撮影画像を内部メモリ511又は外部メモリ512から検索し表示することが可能になっている。お気に入り再生処理(S532)が終了すると、S518へ戻る。
S531がNoの場合には、S518で検出した操作入力が、撮影モードを設定するメニュー操作(メニューボタン544等の押下)であったか否かを判定し(S533)、その判定結果がNoの場合にはS517へ戻る。
S533がYesの場合には、動作モードを再生モードから撮影モードへ変更し(S534)、S3へ戻る。
図53は、上記のお気に入り再生処理(S532)の内容を詳細に示すフローチャートである。
同図に示したように、このお気に入り再生処理では、まず、この処理に入る前の再生状態が1コマ再生状態であったときには、1コマ再生されていた撮影画像をそのままTFT541に1コマ表示し、インデックス再生状態であったときには、カーソルが表示されていた撮影画像をTFT541に1コマ表示する(S541)。なお、この時に1コマ表示された撮影画像は、検索元画像となる。
続いて、1コマ表示されている撮影画像から、画像検索時に使用可能な部分画像に対応するカテゴリを抽出選択肢としてピックアップ(抽出)する(S542)。なお、この処理の詳しい内容については図54を用いて後述するが、この処理にて抽出選択肢としてピックアップ可能なカテゴリは、「顔」、「花」、「稜線」、及び「水平線」の中の何れか1つ以上である。但し、抽出選択肢としてピックアップするカテゴリが無かった場合には、不図示ではあるが、このお気に入り再生処理を終了し、リターンする。
S542で抽出選択肢がピックアップされたときには、ピックアップされた抽出選択肢を、1コマ表示されている撮影画像と一緒にTFT541に表示すると共に、ピックアップされた抽出選択肢の1つに対してカーソルを表示する(S543)。ここでいうカーソルとは、図55の符号56で示された枠の形で表示されたものを指す。
続いて、ユーザによるカメラの操作入力を検出すると(S544)、まず、そのボタン操作が左右ボタン(左ボタン546c又は右ボタン546d)の押下であったか否かを判定し(S545)、その判定結果がYesの場合には、そのボタン操作に応じて、表示されているカーソルを他の抽出選択肢に移動し(S546)、S544へ戻る。これにより、ユーザは、画像検索時に使用する部分画像に対応するカテゴリを自由に選択することができる。但し、S542でピックアップされた抽出選択肢が1つだけの場合にはS546をスキップし、S544へ戻る。
S545がNoの場合には、S544で検出した操作入力がOKボタン547の押下であったか否かを判定し(S547)、その判定結果がNoの場合には、S544へ戻る。
S547がYesの場合には、カーソルが表示されている抽出選択肢を、画像検索時に使用するカテゴリとして確定し、1コマ表示されている撮影画像から、そのカテゴリに対応する部分画像を全て抽出する(S548)。例えば「顔」カテゴリが、画像検索時に使用するカテゴリとして確定された場合には、1コマ表示されている撮影画像から、顔として認識可能な部分画像が抽出される。なお、このようにS547がYesの場合(OKボタン547が押下された場合)には、画像検索時に使用するカテゴリが指定されたことになる。
続いて、1コマ表示されている撮影画像上において、抽出した画像に対応する部分に対して部分画像枠を表示すると共に、その1つの部分画像枠に対してカーソル枠を表示する(S549)。これにより、撮影画像上において、抽出された部分画像と他の部分とが識別可能に表示される。
続いて、ユーザによる操作入力を検出すると(S550)、まず、そのボタン操作が左右ボタン(左ボタン546c又は右ボタン546d)の押下であったか否かを判定し(S551)、その判定結果がYesの場合には、そのボタン操作に応じて、表示されているカーソル枠を他の部分画像枠に移動し(S552)、S550へ戻る。これにより、ユーザは、画像検索時に使用する部分画像を自由に選択することができる。但し、S548で抽出された部分画像が1つだけの場合にはS552をスキップし、S550へ戻る。
S551がNoの場合には、S550で検出した操作入力がメニューボタン544の押下であったか否かを判定し(S553)、その判定結果がYesの場合には、S541へ戻る。このように処理がS541へ戻ることによって、画像検索時に使用する部分画像に対応するカテゴリとして確定されていたカテゴリがキャンセルされ、ユーザは、そのカテゴリを指定し直すことができる。
S553がNoの場合には、S550で検出した操作入力がOKボタン547の押下であったか否かを判定し(S554)、その判定結果がNoの場合には、S550へ戻る。
S554がYesの場合には、カーソル枠が表示されている部分画像枠内の部分画像を、画像検索時に使用する部分画像として確定する(S555)。なお、このようにS554がYesの場合(OKボタン547が押下された場合)には、画像検索時に使用する部分画像が指定されたことになる。
続いて、内部メモリ511及び外部メモリ512に記録されている撮影画像の中から1つの撮影画像を読み出し(S556)、その撮影画像上に、S555で確定された部分画像と同一又は類似の部分画像が有るか否かを識別する(S557)。
続いて、その識別結果から、その撮影画像上に、S555で確定された部分画像と同一又は類似の部分画像が有るか否かを判定し(S558)、その判定結果Yesの場合には、ROM31bに格納されているお気に入りファイルに、判定が行われた撮影画像のリンク情報を登録する(S559)。但し、このときに、ROM31bにお気に入りファイルが格納されていなければ、お気に入りファイルを作成し、これにそのリンク情報を登録し、ROM31bに格納する。
S558がNoの場合、又は、S559の処理が終了すると、続いて、内部メモリ511及び外部メモリ512に記録されている撮影画像の中に、S558の判定処理を行っていない未処理の撮影画像が有るか否かを判定し(S560)、その判定結果がYesの場合には、その未処理の撮影画像を1つ読み出し(S561)、S557へ戻る。
このようなS556乃至561の処理を行うことによって、内部メモリ511及び外部メモリ512に記録されている撮影画像の中から、S555で確定された部分画像と同一又は類似の部分画像を有する撮影画像を全て抽出し、そのリンク情報をお気に入りファイルに登録する。
そして、S560がNoになると、続いて、お気に入りファイルに最初に登録されたリンク情報に応じた1つの撮影画像を内部メモリ511又は外部メモリ512から読み出し(S562)、TFT541に表示する(S563)。なお、このときには、S555で確定された部分画像と同一又は類似の部分画像に対して部分画像枠を表示する。これにより、その部分画像と他の部分とが識別可能に表示される。
続いて、ユーザによる操作入力を検出すると(S564)、まず、そのボタン操作が左右ボタン(左ボタン546c又は右ボタン546d)の押下であったか否かを判定し(S565)、その判定結果がYesの場合には、そのボタン操作に応じて、お気に入りファイルに登録されているリンク情報であって、表示されている撮影画像のリンク情報の前又は後に登録されたリンク情報に応じた1つの撮影画像を内部メモリ511又は外部メモリ512から読み出し(S566)、S563に戻る。
S565がNoの場合には、S564で検出した操作入力がメニューボタン544の押下であったか否かを判定し(S567)、その判定結果がYesの場合にはS549へ戻る。このように処理がS549へ戻ることによって、画像検索時に使用する部分画像として確定されていた部分画像がキャンセルされ、ユーザは、その部分画像を指定し直すことができる。
S567がNoの場合には、S564で検出した操作入力がお気に入りボタン545の押下であったか否かを判定し(S568)、その判定結果がNoの場合にはS564へ戻り、Yesの場合にはリターンしてお気に入り再生処理を終了する。
図54は、上記の抽出選択肢をピックアップする処理(S542)の内容を示すフローチャートである。
同図に示したように、この処理では、S541で1コマ表示されている撮影画像から、「顔」、「花」、「稜線」、及び「水平線」の各カテゴリに対応する部分画像の検出を行い、その結果、実際に検出することができた部分画像に対応するカテゴリを、抽出選択肢としてピックアップし(S571)、リターンする。
なお、撮影画像から例えば「顔」カテゴリに対応する部分画像の検出を行う場合には、撮影画像から、顔として認識可能な部分画像の検出を行う。このステップでは、画面内の全ての顔を検出する必要はなく、1つ検出されたら「顔」をピックアップすることで短時間で行う。他の各カテゴリについても同様である。ここで、検出は、例えばパターンマッチング方式、意味的連想画像検索方式など公知の検索方法を用いればよい。
図55は、上記のお気に入り再生処理(S532)が行われたときの、ボタン操作に応じたTFT541の画面遷移の一例を示す図である。
同図において、表示画面551に示したように、1コマ再生状態で撮影画像552が表示されているときに、お気に入りボタン545が押下されると、お気に入り再生処理の実行が開始される。
お気に入り再生処理の実行が開始されると、表示画面551に表示されていた撮影画像552から、「顔」、「花」、「稜線」、及び「水平線」の各カテゴリに対応する部分画像の検出が行われる。この例では、「顔」及び「花」のカテゴリに対応する部分画像が検出され、抽出選択肢として「顔」と「花」のカテゴリがピックアップされたとする。そして、表示画面553に示したように、抽出選択肢としてピックアップされた「顔」カテゴリを示す項目554(以下単に「顔」54とする)と「花」カテゴリを示す項目55(以下単に「花」555とする)とが撮影画像552と一緒に表示されると共に、「顔」554に対してカーソル556が表示される。
この表示画面553の状態であるときには、左ボタン546c又は右ボタン546dが押下されると、カーソル556が他方の抽出選択肢に移動する。例えば、カーソル556の表示位置が、「顔」554から「花」555へ、或いは、「花」555から「顔」554へ移動する。また、OKボタン547が押下されると、カーソル556が表示されている抽出選択肢が、画像検索時に使用する部分画像のカテゴリとして確定される。
このようにして、例えば「顔」554が確定されたとすると、撮影画像552から、「顔」カテゴリに対応する部分画像、すなわち、顔として認識可能な部分画像が抽出される。そして、表示画面557に示したように、1コマ表示されている撮影画像552上において、抽出された部分画像に対応する部分に対して部分画像枠558、559、560が表示されると共に、その1つの部分画像枠559に対してカーソル枠561が表示される。
この表示画面557の状態であるときには、メニューボタン544が押下されると、表示画面553の状態に戻り、ユーザは抽出選択肢を指定し直すことができる。また、左ボタン546c又は右ボタン546dが押下されると、カーソル枠561が他の部分画像枠に移動する。例えば、カーソル枠561の表示位置が、部分画像枠559から部分画像枠558又は560へ移動する。また、OKボタン547が押下されると、カーソル枠561が表示されている部分画像枠内の部分画像が、画像検索時に使用する部分画像として確定される。
このようにして、例えば部分画像枠559内の部分画像が確定されたとすると、内部メモリ511及び外部メモリ512に記録されている撮影画像の中から、部分画像枠559内の部分画像と同一又は類似の部分画像を有する撮影画像が全て抽出され、そのリンク情報がお気に入りファイルに登録される。そして、表示画面562に示したように、お気に入りファイルに最初に登録されたリンク情報に応じた撮影画像563が内部メモリ511又は外部メモリ512から読み出され表示される。このときには、撮影画像563上において、部分画像枠559内の部分画像と同一又は類似の部分画像に対して部分画像枠564が表示される。
この表示画面562の状態であるときには、左ボタン546c又は右ボタン546dが押下されると、お気に入りファイルに登録されている他のリンク情報に応じた撮影画像が内部メモリ511又は外部メモリ512から読み出され表示される。例えば、表示画面565に示した撮影画像566や、表示画面567に示した撮影画像568が表示される。このときには、表示画面562と同様に、部分画像枠559内の部分画像と同一又は類似の部分画像に対して部分画像枠564が表示される。
このように、お気に入りファイルに登録されているリンク情報に応じた撮影画像(例えば63、66、又は68)が表示されているときに、メニューボタン544が押下されると、表示画面557の状態に戻り、ユーザは画像検索時に使用する部分画像を指定し直すことができる。また、お気に入りボタン545が押下されると、お気に入り再生処理が終了し、再生モードにおける1コマ再生状態に戻る。
以上、本実施例に係るデジタルカメラによれば、ユーザが、再生されている撮影画像を基にカメラから提示されたカテゴリの中から検索に使用するカテゴリを指定し、次に、指定したカテゴリに応じてカメラから提示された撮影画像上の部分画像の中から検索に使用する部分画像を指定するだけで、その部分画像と同一又は類似の部分画像を有する撮影画像を内部メモリ511又は外部メモリ512から検索し表示することができる。従って、ユーザは、再生されている撮影画像を基に所望の撮影画像を簡単に探し出すことができる。また、ユーザは、カメラから提示されるカテゴリと部分画像を指定するだけで所望の撮影画像を探し出すことができるので、操作が非常に分かり易い。
また、カメラから提示されるカテゴリは、再生されている撮影画像から実際に検出された部分画像に対応するカテゴリであるので、ユーザがカテゴリを指定したにもかかわらず、対応する部分画像が抽出されず検索を行えないといった問題が生じることはない。
よって、再生されている撮影画像を基に、記録されている撮影画像の中から所望の撮影画像を簡単かつ分かり易い方法で抽出し再生することができる。
なお、本実施形態に係るデジタルカメラの動作において、図53に示したS542で行われる、抽出選択肢をピックアップする処理は、図54に示した処理以外にも、例えば、検索元画像となる撮影画像の付随情報に含まれる撮影条件の情報を基に、抽出選択肢をピックアップするように処理することも可能である。
図56(a),(b) は、撮影条件の情報を基に抽出選択肢をピックアップするようにしたときの、撮影条件と抽出選択肢との対応関係の一例を示す図である。
同図(a) に示したように、撮影条件の情報に含まれる撮影モードがオートモード以外の場合には、そのオートモード以外の撮影モードに応じて、抽出選択肢がピックアップされる。
ここでは、ポートレートモード、セルフポートレートモード、及び寝顔モードの場合には、撮影画像に顔が含まれる可能性が高いことから、抽出選択肢として「顔」カテゴリを選択するようにしている。
風景モード、夜景モード、及び夕日モードの場合には、撮影画像に稜線や水平線が含まれる可能性が高いことから、抽出選択肢として「稜線」及び「水平線」のカテゴリを選択するようにしている。
風景&人物モード及び夜景&人物モードの場合には、撮影画像に顔や稜線や水平線が含まれる可能性が高いことから、抽出選択肢として「顔」、「稜線」、及び「水平線」のカテゴリを選択するようにしている。
マクロモードの場合には、撮影画像に花が含まれる可能性が高いことから、抽出選択肢として「花」カテゴリを選択するようにしている。
また、同図(b) に示したように、撮影条件の情報に含まれる撮影モードがオートモードの場合には、撮影条件の情報に含まれる、フラッシュ発光が有りで赤目軽減発光であるか否か、セルフタイマーがONであるか否か、又は、被写体距離が遠距離、中・近距離、若しくはマクロ領域であるか否かに応じて、抽出選択肢がピックアップされる。
ここでは、フラッシュ発光が有りで赤目軽減発光の場合には、撮影画像に顔が含まれる可能性が高いことから、抽出選択肢として「顔」カテゴリを選択するようにしている。
セルフタイマーがONである場合にも、撮影画像に顔が含まれる可能性が高いことから、抽出選択肢として「顔」カテゴリを選択するようにしている。
被写体距離が遠距離である場合には、撮影画像に稜線や水平線が含まれる可能性が高いことから、抽出選択肢として「稜線」及び「水平線」のカテゴリを選択するようにしている。被写体距離が中・近距離である場合には、撮影画像に顔や稜線や水平線が含まれる可能性が高いことから、抽出選択肢として「顔」、「稜線」、及び「水平線」のカテゴリを選択するようにしている。被写体距離がマクロ領域である場合には、撮影画像に花が含まれる可能性が高いことから、抽出選択肢として「花」カテゴリを選択するようにしている。
但し、撮影モードがオートモードであるときに抽出選択肢をピックアップする場合には、詳しくは図56(c) を用いて説明するように、撮影条件(フラッシュ発光の有無、セルフタイマーのON/OFF、及び被写体距離)に優先順位を設け、その優先順位に従って抽出選択肢がピックアップされる。
図56(c) は、このように撮影条件の情報を基に抽出選択肢をピックアップするようにした処理を示すフローチャートである。
同図(c) に示したように、この処理では、まず、検索元画像となる撮影画像(図53のS541で1コマ表示されている撮影画像)の付随情報を読み出し、その付随情報から、撮影時の撮影モードがオートモードであるか否かを判定する(S581)。
S581の判定結果がNoの場合には、その付随情報から、撮影時の撮影モードがポートレートモード、セルフポートレートモード、又は、寝顔モードであるか否かを判定し(S582)、その判定結果がYesの場合には、抽出選択肢として「顔」カテゴリをピックアップして(S583)、リターンする。
S582の判定結果がNoの場合には、その付随情報から、撮影時の撮影モードが風景モード、夜景モード、又は、夕日モードであるか否かを判定し(S584)、その判定結果がYesの場合には、抽出選択肢として「稜線」と「水平線」のカテゴリをピックアップし(S585)、リターンする。
S584の判定結果がNoの場合には、その付随情報から、撮影時の撮影モードが風景&人物モード、又は、夜景&人物モードであるか否かを判定し(S586)、その判定結果がYesの場合には、抽出選択肢として「顔」と「稜線」と「水平線」のカテゴリをピックアップし(S587)、リターンする。
S586の判定結果がNoの場合には、その付随情報から、撮影時の撮影モードがマクロモードであるか否かを判定し(S588)、その判定結果がYesの場合には、抽出選択肢として「花」カテゴリをピックアップし(S589)、リターンする。
S588の判定結果がNoの場合には、図54に示したS571と同様の処理を行い(S590)、リターンする。
一方、S581の判定結果がYesの場合には、その付随情報から、撮影時に赤目軽減発光のフラッシュ発光をしたか否かを判定し(S591)、その判定結果がYesの場合には、抽出選択肢として「顔」カテゴリをピックアップし(S592)、リターンする。
S591の判定結果がNoの場合には、その付随情報から、撮影時にセルフタイマーがONされたか否かを判定し(S593)、その判定結果がYesの場合には、抽出選択肢として「顔」カテゴリをピックアップし(S592)、リターンする。
S593の判定結果がNoの場合には、その付随情報から、撮影時の被写体距離が遠距離であるか否かを判定し(S594)、その判定結果がYesの場合には、抽出選択肢として「稜線」と「水平線」のカテゴリをピックアップし(S595)、リターンする。
S594の判定結果がNoの場合には、その付随情報から、撮影時の被写体距離が中・近距離であるか否かを判定し(S596)、その判定結果がYesの場合には、抽出選択肢として「顔」と「稜線」と「水平線」のカテゴリをピックアップし(S597)、リターンする。
S596の判定結果がNoの場合には、その付随情報から、撮影時の被写体距離がマクロ領域であるか否かを判定し(S598)、その判定結果がYesの場合には、抽出選択肢として「花」カテゴリをピックアップし(S599)、リターンする。
S598の判定結果がNoの場合には、図54に示したS571と同様の処理を行い(S600)、リターンする。
このような処理によれば、抽出選択肢のピックアップを、検索元画像となる撮影画像の付随情報に含まれる撮影条件の情報を基に行うことができる。
また、本実施形態に係るデジタルカメラの動作において、図53に示したS542で行われる、抽出選択肢をピックアップする処理では、図54を用いて説明したように、検出することができた部分画像のカテゴリを全て抽出選択肢としてピックアップするものであったが、例えば、カテゴリに優先順位を持たせ、優先順位の高いカテゴリから順に対応する部分画像の検出を行い、部分画像の検出ができた時点で、ピックアップする抽出選択肢を決定するように処理することもできる。
図57は、そのようにして抽出選択肢をピックアップするようにした処理を示すフローチャートである。
同図に示したように、この処理では、まず、検索元画像となる撮影画像(図53のS541で1コマ表示されている撮影画像)から、「顔」カテゴリに対応する部分画像の検出を行って、それを検出できたか否かを判定し(S611)、その判定結果がYesの場合には、「顔」カテゴリを抽出選択肢として決定、ピックアップし(S612)、リターンする。
S611の判定結果がNoの場合には、撮影画像から、「稜線」カテゴリに対応する部分画像の検出を行って、それを検出できたか否かを判定し(S613)、その判定結果がYesの場合には、「稜線」と「水平線」のカテゴリを抽出選択肢として決定、ピックアップし(S614)、リターンする。
S613の判定結果がNoの場合には、撮影画像から、「水平線」カテゴリに対応する部分画像の検出を行って、それを検出できたか否かを判定し(S615)、その判定結果がYesの場合には、「稜線」と「水平線」のカテゴリを抽出選択肢として決定、ピックアップし(S616)、リターンする。
S615の判定結果がNoの場合には、撮影画像から、「花」カテゴリに対応する部分画像の検出を行って、それを検出できたか否かを判定し(S617)、その判定結果がYesの場合には、「花」カテゴリを抽出選択肢として決定、ピックアップし(S618)、リターンする。
S617の判定結果がNoの場合には、そのままリターンする。
このような処理によれば、カテゴリに優先順位を持たせて、優先順位の高いカテゴリから順に対応する部分画像の検出を行い、部分画像の検出ができた時点で、ピックアップする抽出選択肢を決定するように処理することができる。
また、本実施形態に係るデジタルカメラの動作において、図53に示したS548とS549では、ユーザの操作入力により選択、確定されたカテゴリに対応する部分画像を撮影画像から抽出すると、図55の表示画面557に示したように、抽出した部分画像に対応する部分に対して部分画像枠を表示すると共に、その1つの部分画像枠に対してカーソル枠を表示するようにしていたが、例えば、この処理を次のように変形することも可能である。つまり、撮影画像から、ユーザの操作入力により選択、確定されたカテゴリに対応する部分画像を抽出すると、抽出した部分画像を所定の大きさにリサイズし、それを1コマ表示されている撮影画像と並べて表示すると共に、そのリサイズした部分画像の1つに対してカーソル枠を表示する。
図58は、そのように変形した場合のお気に入り再生処理が行われたときの、ボタン操作に応じたTFT541の画面遷移の一例を示す図である。なお、同図は、図55に示した表示画面557が表示画面571に置き換えられたところのみが異なり、その他は図55と同じである。
図58に示したように、表示画面553の状態であるときに、ユーザによるボタン操作により例えば「顔」カテゴリが選択、確定されると、その「顔」カテゴリに対応する部分画像が、1コマ表示されている撮影画像552から抽出され、所定の大きさにリサイズされる。そして、表示画面571に示すように、リサイズされた部分画像572、573、574が、1コマ表示されている撮影画像552と並べて表示されると共に、部分画像573に対してカーソル枠575が表示される。
その他の画面遷移については、図55に示したものと同様なので、ここでは説明を省略する。
このような処理により、ユーザに提示する部分画像を、1コマ表示されている撮影画像と並べて表示させることができる。
また、本実施形態に係るデジタルカメラの動作において、図53に示したお気に入り再生処理では、お気に入りファイルに登録されたリンク情報に応じた撮影画像を1コマ毎にTFT541に表示するものであったが、例えば、所定コマ数毎にインデックス形式でTFT541に表示することもできる。
図59(a),(b) は、お気に入りファイルに登録されたリンク情報に応じた撮影画像をインデックス形式で表示したときの画面例である。
同図(a) に示した例は、図55に示した撮影画像563、566、及び568をインデックス形式で表示したときの画面例であり、各画像上に、図55に示した撮影画像563、566、及び568と同様に、同一又は類似の部分画像に対して部分画像枠も表示するようにした例である。同図(b) に示した例は、その部分画像枠を表示しないようにした画面例である。
このようにインデックス形式で表示することにより、ユーザは、検索された画像を複数の画像毎に見ることができる。
また、このお気に入り再生処理では、お気に入りファイルに登録されたリンク情報に応じた撮影画像を表示する際の表示形式を、ユーザのカメラ操作に応じて、インデックス形式又は1コマ形式に変更するように構成することもできる。
また、本実施形態に係るカメラは、デジタルカメラに限らず、例えばカメラ付き携帯電話機やカメラ付きPDAなど、画像の撮影および再生が可能なその他の携帯型の装置とすることも可能である。
以上、実施形態1乃至5について説明したが、各実施形態に係るカメラにおいては、他の実施形態に係るカメラの一部構成をさらに加えるように構成することもできるし、又は及び、他の実施形態に係るカメラで行われていた一部処理をさらに行うように構成することもできる。
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の要旨を逸脱しない範囲において、各種の改良及び変更を行っても良いのはもちろんである。
(付記1)
被写体像を撮像する撮像手段と、
画像としての複数の静止画及び動画と画像以外の情報とを記憶する第一の記憶手段と、
一または複数の画像を表示する、或いは、前記撮像手段が出力する画像を表示する表示手段と、
検索元画像を指定する検索元指定手段と、
検索条件を指定する検索条件指定手段と、
検索対象を指定する検索対象指定手段と、
前記検索元指定手段が指定した画像に類していて前記検索条件指定手段が指定した条件に沿った画像を、前記検索対象指定手段が指定した対象から検索する検索手段と、
を有することを特徴とするカメラ。
(付記2)
前記第一の記憶手段は、CFカード、マイクロドライブ、スマートメディア、xDカード、SDカード、メモリースティック、の何れかまたは全部である、
ことを特徴とする付記1に記載のカメラ。
(付記3)
前記画像は画像の他に一または複数の付帯情報を持ち、
前記検索条件指定手段は前記付帯情報の一部または全部を指定する、
ことを特徴とする付記1に記載のカメラ。
(付記4)
前記付帯情報は、撮影時の、撮影モード、露出モード、シャッタ速度、絞り値、ISO感度、被写体輝度、被写体光源、露出補正値、焦点距離、ホワイトバランス、ホワイトバランス補正値、フラッシュ発光有無、フラッシュ発光量補正値、フラッシュ発光タイミング、シャープネス補正値、コントラスト補正値、彩度補正値、明るさ補正値、画像サイズ、画像解像度、日時、あるいは前記カメラの、名前、メーカー名、シリアルナンバー、ファームウェアナンバー、の何れかまたは全部である、
ことを特徴とする付記3に記載のカメラ。
第1の実施形態におけるカメラの1つであるデジタルカメラのハードウェア構成の概要を示す図である。 第1の実施形態におけるデジタルカメラに格納される画像データファイルの管理構造を示す図である。 内蔵メモリまたは外部メモリに格納された画像をFlashROMに登録するフローを示す図である。 第1の実施形態における検索元画面と検索対象画像の関係を示す図である。 第1の実施形態において内蔵メモリまたは外部メモリで管理される画像ファイル構造の一例を示す図である。 第1の実施形態における画像検索の概要を示す図である。 第1の実施形態における入力画像の各特徴に基づいてグルーピングされる出力画像の一例を示す図である。 第1の実施形態におけるグループ管理テーブルの一例を示す図である。 第1の実施形態における画像検索のフロー(基本型)を示す図である。 S14の特徴抽出操作の詳細なフローを示す図である。 第1の実施形態における画像検索のフロー(応用型)を示す図である。 S35の処理の詳細なフローを示す図である。 S37の処理の詳細なフローを示す図である。 第1の実施形態におけるデジタルカメラが事前に検索基準画像を画像認識しない場合での検索指示操作の様子を示す図である。 第1の実施形態におけるデジタルカメラが事前に検索基準画像を画像認識する場合での検索指示操作の様子を示す図である。 第1の実施形態における検索元画像の選択時の表示モードの一例を示す図である。 第1の実施形態における検索条件候補表示モードの一例を示す図である。 第1の実施形態における代表結果表示モードを示す図である。 第1の実施形態におけるグルーピング結果表示モードを示す図である。 第2の実施形態に係るデジタルカメラのブロック図である。 第2の実施形態に係るデジタルカメラの背面図である。 第2の実施形態に係るデジタルカメラの基本動作を示すフローチャートである。 画像ファイルの構造を示す図である。 お気に入り登録モードの処理(S207)を詳細に示すフローチャートである。 お気に入り再生モードの処理(S209)を詳細に示すフローチャートである。 お気に入り再生モードの処理中にTFTに表示される内容を説明する図である。 画像検索(S236)およびグルーピング(S237)の処理の一例を示すフローチャートである。 お気に入り再生モードの処理中にTFTに表示される画面例である。 お気に入り再生モードの処理(S209)による検索例を模式的に示す図である。 第3の実施形態に係るデジタルカメラのブロック図である。 第3の実施形態に係るデジタルカメラの背面図である。 第3の実施形態に係るデジタルカメラの基本動作を示すフローチャートである。 撮影モードの処理(S303)を詳細に示すフローチャートである。 撮影モードの処理中にTFTに表示される内容を説明する図である。 撮影処理により記録される画像ファイルの構造を示す図である。 撮影モードの処理中にTFTに表示される画面例である。 再生モードの処理(S305)を詳細に示すフローチャートである。 再生モードの処理中にTFTに表示される内容を説明する図である。 再生モードの処理中にTFTに表示される画面例である。 画像検索およびグルーピングの処理の一例を示すフローチャートである。 撮影モードの処理(S303)、又は、再生モードの処理(S305)における検索例を模式的に示す図である。 第4の実施形態に係るデジタルカメラのブロック図である。 デジタルカメラの基本動作を示すフローチャートである。 (a),(b)は、再生動作中における画像検索動作を詳細に示すフローチャートである。 (a)は画像検索・抽出の処理(S425)を示すフローチャート、(b)は抽出外画像を抽出画像として追加する処理(S450)を示すフローチャート、(c)は抽出画像を抽出外画像として追加する処理(S460)を示すフローチャートである。 (a),(b),(c),(d),(e),(f)は、画像検索動作中の検索条件情報の更新例を説明するための図である。 画像検索動作中における表示部材の画面遷移例を示す図である。 検索範囲の一例を表すイメージ図である。 (a),(b),(c)は、検索条件情報の記憶形態例を示す図である。 第5の実施形態に係るデジタルカメラの構成例を示す図である。 第5の実施形態に係るデジタルカメラの背面図である。 第5の実施形態に係るデジタルカメラの全体動作を示すフローチャートである。 お気に入り再生処理(S532)の内容を詳細に示すフローチャートである。 抽出選択肢をピックアップする処理(S542)の内容を示すフローチャートである。 お気に入り再生処理(S532)が行われたときの、ボタン操作に応じたTFTの画面遷移の一例を示す図である。 (a),(b) は、撮影条件の情報を基に抽出選択肢をピックアップするようにしたときの、撮影条件と抽出選択肢との対応関係の一例を示す図、(c) は、撮影条件の情報を基に抽出選択肢をピックアップするようにした処理を示すフローチャートである。 優先順位を持たせたカテゴリを基に抽出選択肢をピックアップするようにした処理を示すフローチャートである。 変形例に係るお気に入り再生処理が行われたときの、ボタン操作に応じたTFT541の画面遷移の一例を示す図である。 (a),(b) は、お気に入りファイルに登録されたリンク情報に応じた撮影画像をインデックス形式で表示したときの画面例である。
符号の説明
1 デジタルカメラ
2 レンズ
3 撮像素子
4 撮像部
5 画像バッファメモリ
6 表示処理部
7 表示部
8 画像処理部
9 内蔵メモリ
10 外部メモリ
11 外部I/F
12 圧縮伸張部
13 FlashROM
14 CPU
15 表示制御部
16 操作部
17 GPS
18 気圧計
19 マイク
20 バス
201 撮影レンズ
202 撮像素子
203 撮像部
204 画像バッファメモリ
205 画像処理部
206 検索部
207 GPS
208 気圧計/水深計
209 マイク
210 表示処理部
211 表示部
212 内蔵保存メモリ
213 外部保存メモリ
214 外部I/F
215 通信I/F
216 FlashROM
217 CPU
217a 表示制御部
217b 読み出し制御部
218 操作部
221 TFT
222 シャッターボタン
223 ズームボタン
224 MENUボタン
225 モードダイヤル
226 上下左右ボタン
227 OKボタン
231、232 表示画面
233 カーソル
234、235 表示画面
236 お気に入り画像
237 付随情報としての日付
241、242 表示画面
243 カーソル
244 お気に入り画像
245、246 表示画面
301 撮影レンズ
302 撮像素子
303 撮像部
304 画像バッファメモリ
305 画像処理部
306 検索部
307 GPS
308 気圧計/水深計
309 マイク
310 表示処理部
311 表示部
312 内蔵保存メモリ
313 外部保存メモリ
314 外部I/F
315 通信I/F
316 FlashROM
317 CPU
317a 表示制御部
318 操作部
321 TFT
322 シャッターボタン
323 ズームボタン
324 MENUボタン
325 お気に入りボタン
326 上下左右ボタン
327 OKボタン
331、332 表示画面
333 検索元画像
334、335、336、337 関連画像
338 表示画面
341、342 表示画面
343 検索元画像
344、345、346、347、348 関連画像
349 表示画面
351、352 表示画面
353 カーソル
354、355 表示画面
356 検索元画像
357 付随情報としての日付
361、362 表示画面
363 カーソル
364 再生画像
365、366 表示画面
401 撮影レンズ
402 撮像素子
403 撮像回路
404 AE部
405 AF部
406 画像処理回路
407 着脱メモリ
408 GPS
409 CPU
410 SDRAM
411 バス
412 内蔵メモリ
413 パワーSW
414 モードSW
415 操作部材
416 通信部
417 表示駆動回路
418 表示部材
419 電源回路
420 電池
431 再生画像群
432 画像
433 OKボタン
434 表示画面
435 抽出画像ウィンドウ
436 抽出外画像ウィンドウ
437 ウィンドウ枠
438 カーソル
439 左ボタン
440 右ボタン
441 抽出外画像
442 表示画面
443 上ボタン
444、445 表示画面
446 カーソル
447 抽出画像
448、449 表示画面
451 削除範囲
452 初期範囲
453 追加範囲
501 撮影レンズ
502a フォーカスレンズ系
502b 変倍レンズ系
503 絞り
504 シャッタ
506 色分解フィルタ
507 撮像素子
508 画像取り出し部
509 画像処理部
510 記憶制御部
511 内部メモリ
512 外部メモリ
513 表示制御部
514 表示部
515 焦点検出部
516 レンズ駆動部
517 測光部
518 絞り駆動部
519 撮像素子感度設定部
520 絞り値設定部
521 ストロボ部
522 ストロボ発光部
523 レリーズスイッチ
524 シャッタ駆動部
525 シャッタ速度設定部
526 ズームスイッチ
527 ズーム駆動部
528 モード設定部
529 スイッチ群
530 外部機器制御部
531 カメラ制御部
532 外部機器
533 バスライン
541 TFT
542 シャッターボタン
543 ズームボタン
544 メニューボタン
545 お気に入りボタン
546 上下左右ボタン
547 OKボタン
551 表示画面
552 撮影画像
553 表示画面
554、555 カテゴリ
556 カーソル
557 表示画面
558、559、560 部分画像枠
561 カーソル
562 表示画面
563 撮影画像
564 部分画像枠
665 表示画面
566 撮影画像
567 表示画面
568 撮影画像
571 表示画面
572、573、574 部分画像
575 カーソル枠

Claims (6)

  1. 被写体像を撮像する撮像手段と、
    画像としての複数の静止画及び動画と画像以外の情報とを記憶する記憶手段と、
    一または複数の画像を表示する、或いは、前記撮像手段が出力する画像を表示する表示手段と、
    前記表示手段に表示された画像から、検索元画像とする画像を選択する検索元画像選択手段と、
    前記選択された検索元画像の一部から、画像の特徴部を指定する画像特徴部指定手段と、
    前記画像特徴部指定手段で指定された特徴に基づいて前記記憶手段に記憶された画像から類似画像を検索する画像検索手段と、を有し、
    前記表示手段は、前記検索元画像選択手段で選択された検索元画像の縮小画像、前記画像検索手段による検索の結果として前記画像特徴部指定手段で指定された特徴部を表わすアイコン、および、前記画像検索手段で検索された画像を同一画面上に表示する、
    ことを特徴とするカメラ。
  2. 前記画像特徴指定手段は、前記画像の一部分または複数部分を囲むことにより特徴部分を指定する、
    ことを特徴とする請求項1に記載のカメラ。
  3. 前記画像特徴指定手段は、前記画像の一部分または複数部分の形状をなぞることにより特徴部分を指定する、
    ことを特徴とする請求項1に記載のカメラ。
  4. 前記表示手段は、前記検索元画像選択手段が選択した画像と前記画像検索手段が出力した画像とを識別可能な形式で順次に表示する、
    ことを特徴とする請求項1に記載のカメラ。
  5. 前記画像の付帯情報に応じて画像を並べ替える並べ替え手段、
    を更に有し、
    前記画像検索手段が出力した画像を前記並べ替え手段で並べ替える、
    ことを特徴とする請求項に記載のカメラ。
  6. 被写体像を撮像する撮像手段と、
    画像としての複数の静止画及び動画と画像以外の情報とを記憶する記憶手段と、
    一または複数の画像を表示する、或いは、前記撮像手段が出力する画像を表示する表示手段と、
    を有するカメラのコンピュータに
    前記表示手段に表示された画像から、検索元画像とする画像を選択する検索元画像選択機能と、
    前記選択された検索元画像の一部から、画像の特徴部を指定する画像特徴部指定機能と、
    前記画像特徴部指定機能で指定された特徴に基づいて前記記憶手段に記憶された画像から類似画像を検索する画像検索機能と、
    を実現させるためのプログラムであって、
    前記表示手段は、前記検索元画像選択機能で選択された検索元画像の縮小画像、前記画像検索機能による検索の結果として前記画像特徴部指定機能で指定された特徴部を表わすアイコン、および、前記画像検索機能で検索された画像を同一画面上に表示する、
    ことを特徴とするプログラム。
JP2007180302A 2006-09-14 2007-07-09 カメラ Expired - Fee Related JP4914778B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007180302A JP4914778B2 (ja) 2006-09-14 2007-07-09 カメラ
US11/900,791 US8599251B2 (en) 2006-09-14 2007-09-12 Camera

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
JP2006249258 2006-09-14
JP2006249258 2006-09-14
JP2006295223 2006-10-31
JP2006295223 2006-10-31
JP2006303882 2006-11-09
JP2006303882 2006-11-09
JP2006316229 2006-11-22
JP2006316229 2006-11-22
JP2006349598 2006-12-26
JP2006349598 2006-12-26
JP2007180302A JP4914778B2 (ja) 2006-09-14 2007-07-09 カメラ

Publications (3)

Publication Number Publication Date
JP2008182662A JP2008182662A (ja) 2008-08-07
JP2008182662A5 JP2008182662A5 (ja) 2010-08-19
JP4914778B2 true JP4914778B2 (ja) 2012-04-11

Family

ID=39726203

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007180302A Expired - Fee Related JP4914778B2 (ja) 2006-09-14 2007-07-09 カメラ

Country Status (1)

Country Link
JP (1) JP4914778B2 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8315463B2 (en) * 2006-11-14 2012-11-20 Eastman Kodak Company User interface for face recognition
JP5211900B2 (ja) * 2008-07-10 2013-06-12 ソニー株式会社 情報処理装置、情報処理方法、プログラム
JP5259315B2 (ja) * 2008-09-16 2013-08-07 オリンパスイメージング株式会社 画像検索装置、デジタルカメラ、画像検索方法および画像検索用プログラム
JP5197328B2 (ja) * 2008-11-28 2013-05-15 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP5401962B2 (ja) * 2008-12-15 2014-01-29 ソニー株式会社 画像処理装置、画像処理方法および画像処理プログラム
WO2010073619A1 (ja) * 2008-12-26 2010-07-01 パナソニック株式会社 撮像装置
JP5147737B2 (ja) * 2009-01-05 2013-02-20 株式会社日立製作所 撮像装置
US20100287502A1 (en) * 2009-05-11 2010-11-11 Olympus Imaging Corp. Image search device and image search method
JP5471124B2 (ja) * 2009-07-29 2014-04-16 ソニー株式会社 画像検索装置、画像検索方法及び画像検索プログラム
US8670597B2 (en) 2009-08-07 2014-03-11 Google Inc. Facial recognition with social network aiding
US20110096135A1 (en) * 2009-10-23 2011-04-28 Microsoft Corporation Automatic labeling of a video session
JP5473646B2 (ja) * 2010-02-05 2014-04-16 キヤノン株式会社 画像検索装置、制御方法、プログラム及び記憶媒体
JP5025782B2 (ja) 2010-02-17 2012-09-12 キヤノン株式会社 画像検索装置及び画像検索方法
JP5541962B2 (ja) * 2010-05-11 2014-07-09 オリンパスイメージング株式会社 撮像装置
JP5728167B2 (ja) * 2010-05-12 2015-06-03 キヤノン株式会社 情報処理装置およびその制御方法、コンピュータプログラム
JPWO2012001963A1 (ja) * 2010-07-02 2013-08-22 パナソニック株式会社 画像出力装置、画像出力方法、および画像表示装置
JP5601513B2 (ja) * 2010-08-12 2014-10-08 カシオ計算機株式会社 画像表示装置及びプログラム
JP2012164064A (ja) * 2011-02-04 2012-08-30 Olympus Corp 画像処理装置
JP5713279B2 (ja) * 2012-09-20 2015-05-07 カシオ計算機株式会社 画像分類装置、電子アルバム作成装置、及び画像分類方法、プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005080216A (ja) * 2003-09-03 2005-03-24 Casio Comput Co Ltd 画像処理装置、画像処理方法及びそのプログラム
JP2005157764A (ja) * 2003-11-26 2005-06-16 Canon Inc 画像検索装置、画像検索方法、プログラムおよび記憶媒体
JP2005301889A (ja) * 2004-04-15 2005-10-27 Fuji Photo Film Co Ltd 画像比較プログラム
JP2006101186A (ja) * 2004-09-29 2006-04-13 Nikon Corp カメラ
JP2006164008A (ja) * 2004-12-09 2006-06-22 Matsushita Electric Ind Co Ltd 画像検索装置および画像検索方法

Also Published As

Publication number Publication date
JP2008182662A (ja) 2008-08-07

Similar Documents

Publication Publication Date Title
JP4914778B2 (ja) カメラ
US8599251B2 (en) Camera
CN101146178A (zh) 摄像机
US8988347B2 (en) Image processing apparatus, image displaying method, and image displaying program
JP3862404B2 (ja) 画像処理装置およびその方法、画像ファイルフォーマット、記憶媒体
US20070014543A1 (en) Image processing apparatus and control method therefor
KR101475939B1 (ko) 이미지 처리 장치의 제어 방법과 이미지 처리 장치, 이미지파일
KR20090055516A (ko) 기록 장치 및 방법, 프로그램, 재생장치 및 방법
US20080069540A1 (en) Image reproducing apparatus, image reproducing method, and computer-readable storage medium
JP2010134664A (ja) 画像処理装置、画像表示方法および画像表示プログラム
US20130100329A1 (en) Image pickup apparatus
JP2006244051A (ja) 表示装置および表示制御方法
JP4901258B2 (ja) カメラ及びデータ表示方法
JP2007110262A (ja) 画像鑑賞用ソフトウェア及び画像蓄積装置
JP5120716B2 (ja) 撮像装置、撮像制御方法及びプログラム
JP4725854B2 (ja) 画像表示装置及び画像表示方法
JP2007110261A (ja) デジタルカメラ
JP4371219B2 (ja) デジタルカメラ
JP4906685B2 (ja) 撮像装置、その制御方法及びプログラム
US20080068483A1 (en) Image reproducing apparatus and image reproducing method
JP5460001B2 (ja) 画像検索装置、画像検索装置の制御方法、プログラム及び記録媒体
JP5181935B2 (ja) 画像処理装置、プログラム及び被写体検出方法
JP2006237963A (ja) 画像表示装置、撮影装置及び画像表示方法
JP2010183565A (ja) 撮像装置、画像検索装置およびプログラム
KR101477535B1 (ko) 이미지 검색 방법 및 장치, 이를 이용한 디지털 촬영 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100705

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100705

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120117

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120123

R151 Written notification of patent or utility model registration

Ref document number: 4914778

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150127

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees