以下、本発明の実施形態の幾つかを、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
<<第1実施形態>>
本発明の第1実施形態を説明する。図1は、第1実施形態に係る撮像装置1の概略全体ブロック図である。撮像装置1は、静止画像を撮影及び記録可能なデジタルスチルカメラ、又は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。
撮像装置1は、符号11〜22によって参照される各部位を備える。撮像装置1内の1つの構成要素から出力される情報(信号又はデータなど)を、撮像装置1内の他の構成要素は自由に参照することができる。
図2に、撮像部11の内部構成図を示す。撮像部11は、光学系35と、絞り32と、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどから成る撮像素子33と、光学系35や絞り32を駆動制御するためのドライバ34と、を有している。光学系35は、ズームレンズ30及びフォーカスレンズ31を含む複数枚のレンズから形成される。ズームレンズ30及びフォーカスレンズ31は光軸方向に移動可能である。ドライバ34は、主制御部19からの制御信号に基づいてズームレンズ30及びフォーカスレンズ31の各位置並びに絞り32の開度を駆動制御することにより、撮像部11の焦点距離(画角)及び焦点位置並びに撮像素子33への入射光量(換言すれば、絞り値)を制御する。
撮像素子33は、光学系35及び絞り32を介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られた電気信号をAFE12に出力する。より具体的には、撮像素子33は、マトリクス状に二次元配列された複数の受光画素を備え、各撮影において、各受光画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各受光画素からのアナログ信号は、撮像装置1内で生成される駆動パルスに従って順次AFE12に出力される。
AFE12は、撮像部11(撮像素子33)から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。AFE12は、このデジタル信号をRAWデータとして出力する。RAWデータは、被写体の画像の画像データの一種である。AFE12における信号増幅の増幅度は、主制御部19によって制御される。
内部メモリ13は、SDRAM(Synchronous Dynamic Random Access memory)等にて形成され、撮像装置1内で利用される各種のデジタルデータを一時記録する。画像処理部14は、内部メモリ13又は記録媒体15に記録された画像の画像データに対して、必要な画像処理を施す。記録媒体15は、磁気ディスクや半導体メモリ等から成る不揮発性メモリである。画像処理部14による画像処理後の画像データや上記RAWデータを、記録媒体15に記録することができる。記録制御部16は、記録媒体15に各種のデータを記録させるために必要な記録制御を行う。表示部17は、撮像部11の撮影によって得られた画像や、記録媒体15に記録されている画像などを表示する。本明細書において、単に表示及び表示画面と言った場合、それは、表示部17における表示及び表示画面を指すものとする。
操作部18は、ユーザが撮像装置1に対して各種操作を行うための部位である。図3(a)に、表示部17の表示画面に正対する方向から見た、撮像装置1の外観平面図を示す。図3(a)では、被写体としての人物が表示部17に表示されている状態が示されている。操作部18には、静止画像の撮影を指示するためのシャッタボタン41と、撮像部11の撮影における画角の増大又は減少を指示するためのズームレバー42と、1又は2以上のボタンから成る設定ボタン43と、十字キー(4方向キー)44と、が備えられている。図3(b)に示す如く、十字キー44は、十字キー44の中心から見て右側、上側、左側及び下側に位置する、4つのキー44[1]、44[2]、44[3]及び44[4]から成る。
尚、撮像装置1がデジタルビデオカメラである場合、シャッタボタン41を、動画像の撮影開始及び撮影終了を指示するボタンとして機能させることもできる。シャッタボタン41、ズームレバー42、設定ボタン43及び十字キー44に対するユーザの操作を、総称して、ボタン操作と呼ぶ。また、ボタン操作の内容を示す情報をボタン操作情報と呼ぶ。
主制御部19は、ボタン操作の内容及び後述のタッチパネル操作の内容等に従いつつ、撮像装置1内の各部位の動作を統括的に制御する。表示制御部20は、表示部17の表示内容を制御する。
タイムスタンプ生成部21は、撮像装置1に内蔵されたタイマ等を用いて、静止画像又は動画像の撮影時刻を表すタイムスタンプ情報を作成する。GPS情報取得部22は、GPS(Global Positioning System)衛星から送られてくるGPS信号を受信することにより撮像装置1の現在地を認識する。
撮像装置1の動作モードには、画像(静止画像又は動画像)の撮影及び記録が可能な第1の動作モードと、記録媒体15に記録された画像(静止画像又は動画像)を表示部17又は外部の表示装置にて再生表示する第2の動作モードと、が含まれる。ボタン操作に応じて、各動作モード間の遷移は実施される。
第1の動作モードでは、所定のフレーム周期にて周期的に被写体の撮影が行われ、撮像部11の出力に基づき被写体の撮影画像列を表す画像データが得られる。撮影画像列に代表される画像列とは、時系列で並ぶ画像の集まりを指す。1つのフレーム周期分の画像データによって1枚分の画像が表現される。
表示部17には、タッチパネルが備えられている。図4は、タッチパネルの概略分解図である。表示部17におけるタッチパネルには、液晶ディスプレイ等から成る表示画面51と、操作体が表示画面51上に触れている位置(圧力を加えている位置)を検出するタッチ検出部52と、が設けられている。操作体は、指やペンなどであるが、以下の説明では、操作体が指であるとする。本明細書における指とは、撮像装置1のユーザの指である。
図5(a)に示す如く、表示画面51上の位置は、二次元のXY座標面上の位置として定義される。また更に、図5(b)に示す如く、撮像装置1において、任意の二次元画像もXY座標面上の画像として取り扱われる。図5(b)において、符号300が付された矩形枠は、二次元画像の外形枠を表している。XY座標面は、表示画面51及び二次元画像300の水平方向に伸びるX軸と、表示画面51及び二次元画像300の垂直方向に伸びるY軸と、を座標軸として有する。本明細書において述べられる画像は、全て、特に記述なき限り二次元画像である。表示画面51及び二次元画像300上における或る注目点の位置を(x,y)にて表す。xは、該注目点のX軸座標値を表すと共に、表示画面51及び二次元画像300上における該注目点の水平位置を表す。yは、該注目点のY軸座標値を表すと共に、表示画面51及び二次元画像300上における該注目点の垂直位置を表す。
表示画面51及び二次元画像300において、注目点のX軸座標値であるxの値が増加するにつれて該注目点の位置はX軸の正側である右側(XY座標面における右側)に移動し、注目点のY軸座標値であるyの値が増加するにつれて該注目点の位置はY軸の正側である下側(XY座標面における下側)に移動するものとする。従って、表示画面51及び二次元画像300において、注目点のX軸座標値であるxの値が減少するにつれて該注目点の位置は左側(XY座標面における左側)に移動し、注目点のY軸座標値であるyの値が減少するにつれて該注目点の位置は上側(XY座標面における上側)に移動する。
二次元画像300を表示画面51にて表示する際(二次元画像300を表示画面51の全体を使って表示する際)、二次元画像300上の位置(x,y)における画像は、表示画面51上の位置(x,y)に表示される。
図4のタッチ検出部52は、操作体が表示画面51に触れている際、その触れている位置(x,y)を表すタッチ操作情報をリアルタイム出力する。操作体で表示画面51を触れる操作を、以下、タッチパネル操作と呼ぶ。
第1実施形態では、以下、静止画像又は動画像を撮影可能な第1の動作モードにおける撮像装置1な動作を説明する。図6は、第1実施形態の動作に特に関与する、撮像装置1の一部ブロック図である。シーン判定部60及び被写体検出部61は、画像処理部14に設けられる。表示メニュー作成部62及び撮影制御部63は、主制御部19に設けられる。表示メニュー作成部62は、表示制御部20に設けられても良い。
画像処理部14及び表示制御部20には、入力画像の画像データが与えられる。入力画像とは、1フレーム周期分のRAWデータによって表される1枚の静止画像、又は、その静止画像に対して所定の画像処理(デモザイキング処理、ノイズ除去処理など)を施して得られる静止画像である。第1の動作モードでは、入力画像が所定のフレーム周期にて順次得られる(即ち、入力画像列が得られる)。表示制御部20は、入力画像列を表示画面51上に動画像として表示させることができる。
被写体検出部61は、入力画像の画像データに基づき、入力画像に含まれる被写体を検出する被写体検出処理を実行する。被写体検出処理によって、入力画像上の被写体の種類が検出される。
被写体検出処理には、入力画像中の顔を検出する顔検出処理が含まれる。顔検出処理では、入力画像の画像データに基づいて、入力画像の画像領域から人物の顔部分を含む領域である顔領域を検出して抽出する。被写体検出処理に、顔認識処理を含めるようにしても良い。顔認識処理では、顔検出処理によって入力画像から抽出された顔を有する人物が、予め設定された1又は複数の登録人物の内の、何れの人物であるかを認識する。顔検出処理及び顔認識処理の方法として様々な手法が知られており、被写体検出部61は、公知の方法を含む任意の方法によって顔検出処理及び顔認識処理を実行可能である。
被写体検出処理にて検出されるべき被写体の種類は、顔及び人物だけではない。例えば、被写体検出処理にて、入力画像上における、車、山、木、花、海、雪、空なども検出することができる。それらの検出に、輝度情報の分析、色相情報の分析、エッジ検出、輪郭検出、画像マッチング、パターン認識など、各種の画像処理を利用可能であり、公知の方法を含む任意の方法を利用可能である。例えば、検出されるべき被写体が車である場合、入力画像の画像データに基づいて入力画像上のタイヤを検出することにより、或いは、入力画像の画像データと予め用意された車の画像の画像データとを用いた画像マッチングにより、入力画像上の車を検出することができる。
シーン判定部60は、入力画像の画像データに基づいて、入力画像の撮影シーンを判定する。この判定を行う処理を、シーン判定処理と呼ぶ。複数の登録シーンが予めシーン判定部60に設定されている。複数の登録シーンには、例えば、人物が注目された撮影シーンであるポートレートシーン、風景が注目された撮影シーンである風景シーン、動物(犬、猫など)が注目された撮影シーンである動物シーン、海が注目された撮影シーンであるビーチシーン、雪景色が注目された撮影シーンであるスノウシーン、日中の撮影状態を表す日中シーン、夜景の撮影状態を表す夜景シーンなどが含まれる。本明細書における動物は、人物以外の動物を意味する。
シーン判定部60は、注目した入力画像の画像データからシーン判定処理に有益な画像特徴量を抽出することで、その注目した入力画像の撮影シーンを上記複数の登録シーンの中から選択し、これによって、注目した入力画像の撮影シーンを判定する。シーン判定部60によって判定された撮影シーンを判定シーンと呼ぶ。シーン判定処理を、被写体検出部61による被写体検出処理の結果を用いて行うことができる。以下では、特に、被写体検出処理の結果を用いてシーン判定処理が行われるときの動作を説明する。
表示メニュー作成部62は、上述の被写体検出処理の結果及びシーン判定処理の結果に基づいて、表示メニューを作成する。表示メニュー作成部62にて表示メニューが作成された場合、表示制御部20は、入力画像と同時に表示メニューを表示画面51に表示させる。例えば、入力画像上に表示メニューを重畳した画像を表示画面51に表示させる。表示制御部20は、表示メニューの表示位置を決定するためにタッチ操作情報を利用する。
撮影制御部63は、タッチ操作情報及びボタン操作情報に基づき、ユーザによるシャッタ指示の有無を監視し、シャッタ指示が成されたことを確認すると、自身の決定した撮影モードにて対象画像の撮影を行わせる。より具体的には、撮像部11及び画像処理部14を用いて対象画像の画像データを生成させる。対象画像とは、シャッタ指示の直後に得られる入力画像に基づく静止画像である(図7参照)。シャッタボタン41を押すボタン操作は、シャッタ指示の1つである。また、詳細は後述するが、特定のタッチパネル操作によってシャッタ指示を成すこともできる。
撮影制御部63に内在する撮影モードテーブル(不図示)には、第1〜第Nの撮影モードが記憶されている。ここで、Nは2以上の整数である(例えば、N=10)。撮影モードテーブルに記憶された第1〜第Nの撮影モードには、ポートレートモード、風景モード、高速シャッタモード、ビーチモード、スノーモード、日中モード、夜景モード等が含まれている。
撮影制御部63は、被写体検出処理の結果、シーン判定処理の結果、タッチ操作情報及びボタン操作情報の全部又は一部に基づき、対象画像の撮影モードとして最適と考えられる1つの撮影モードを第1〜第Nの撮影モードの中から選択する。ここで選択された撮影モードを、以下、選択撮影モードと呼ぶ。上記撮影モードテーブルに記憶された各撮影モードは、選択撮影モードの候補である候補撮影モードとして機能し、各撮影モードは対象画像の撮影条件を規定する。
対象画像の撮影条件には、対象画像の元となる入力画像の撮影時におけるシャッタスピード(即ち、入力画像の画像データを撮像素子33から得るための、撮像素子33の露光時間の長さ)、対象画像の元となる入力画像の撮影時における絞り値、対象画像の元となる入力画像の撮影時におけるISO感度、画像処理部14において対象画像を生成するために入力画像に行われるべき画像処理(以下、特定画像処理という)の内容などが含まれる。ISO感度は、ISO(International Organization for Standardization)によって規定された感度を意味し、ISO感度を調節することで入力画像の明るさ(輝度レベル)を調節することができる。実際には、ISO感度に応じてAFE12における信号増幅の増幅度を決定する。撮影制御部63は、選択撮影モードにより規定される撮影条件にて入力画像及び対象画像の画像データが得られるように、撮像部11、AFE12及び画像処理部14を制御する。
図7に示す如く、画像処理部14は、シャッタ指示の直後に得られる入力画像(以下、原画像と呼ぶ)に対し、特定画像処理を行うことで対象画像を生成する。選択撮影モードによっては、特定画像処理が何らなされないこともあり、この場合には、対象画像は原画像そのものとなる。
上記の第1〜第Nの撮影モードに関し、第iの撮影モードによって規定される撮影条件と、第jの撮影モードによって規定される撮影条件は互いに異なる。これは、通常、互いに異なる任意の整数i及びjに対して成立するが(但し、i≦N且つj≦N)、第1〜第Nの撮影モードに含まれるNA個の撮影モードの撮影条件は互いに同じでありうる(NAはN未満の整数)。例えば、N=10のとき、第1〜第9の撮影モードについての撮影条件は互いに異なるが、第9及び第10の撮影モードについての撮影条件は互いに同じである、といった場合もある(この場合、NA=2)。
具体的には例えば、撮影制御部63は、ポートレートモード及び風景モード間で絞り値を変えることよって、ポートレートモードにて撮影された対象画像の被写界深度を風景モードにて撮影された対象画像の被写界深度よりも浅くする。図8(a)の画像310は、風景モードにて撮影された対象画像を表し、図8(b)の画像320は、ポートレートモードにて撮影された対象画像を表す。対象画像310及び320は共通の被写体を撮影したものであるが、被写界深度の相違に基づき、対象画像310では人物も風景も鮮明に現れている一方で、対象画像320では人物は鮮明であるものの風景はぼけている。図8(b)では、山の輪郭線を太くすることでぼけを表現している(後述の図10の対象画像410についても同様)。
撮影制御部63は、ポートレートモード及び風景モード間で絞り値を共通にしておく一方で、ポートレートモード及び風景モード間で特定画像処理を異ならせることで、ポートレートモードにおける被写界深度を風景モードにおける被写界深度よりも浅くしても良い。即ち例えば、対象画像に対する撮影モードが風景モードである場合には、原画像に対する特定画像処理に背景ぼかし処理を含めない一方、対象画像に対する撮影モードがポートレートモードである場合には、原画像に対する特定画像処理に背景ぼかし処理を含める。背景ぼかし処理は、原画像において人物の画像データが存在する画像領域以外の画像領域をぼかす処理(ガウシアンフィルタを用いた空間フィルタリングなど)である。このような、背景ぼかし処理の有無による特定画像処理の相違によっても、ポートレートモードによる対象画像及び風景モードによる対象画像間で被写界深度を実質的に異ならせることができる。
また例えば、対象画像に対する撮影モードが風景モードである場合には、原画像に対する特定画像処理に肌色補正を含めない一方、対象画像に対する撮影モードがポートレートモードである場合には、原画像に対する特定画像処理に肌色補正を含めるようにしても良い。肌色補正は、人物の顔の画像部分の内、肌色に分類される部分の色を補正する処理である。
また例えば、高速シャッタモードでは、ポートレートモード等よりもシャッタスピードが速くされる(即ち、対象画像の画像データを撮像素子33から得るための、撮像素子33の露光時間の長さが短くされる)。また例えば、ビーチモードにおいては、原画像上で海の色相を有している画像部分の色を補正する処理を特定画像処理に含める。この他、撮影モードごとの撮影条件を様々な観点から設定しておくことが可能であり、撮影モードごとの撮影条件の設定に、公知の任意の設定方法を利用することも可能である。
[第1撮影動作例]
次に、図9及び図10を参照し、撮像装置1の第1撮影動作例を説明する。第1撮影動作例では、撮像部11の撮影範囲内に、第1の被写体としての人物SUB1及び第2の被写体としての犬SUB2と人物SUB1及び犬SUB2の後方側に位置する山とが含まれている状態を想定する。この想定を、便宜上、想定αと呼ぶ。図9は、この想定αの下における表示画面51を示している。この想定αの下において、ユーザが対象画像の撮影を行うときの表示画面51の様子及び得られる対象画像の例を、図10に示す。時刻tAi+1は、時刻tAiよりも後の時刻であるとする。iは整数である。図10において、符号HANDが付された手の絵は、ユーザの手を表している。手HANDは、ユーザの実際の手であり、表示画面51上に表示される像ではない。
時刻tA1において、ユーザは、表示画面51上の位置PAをタッチする(時刻tA1以前では、表示画面51が何ら指で触れられていないものとする)。タッチとは、表示画面51上の特定部分を指で触れる操作である。この位置PAをタッチしている時間が比較的短い場合、時刻tA1を起点とするタッチは短タッチであると判断され、それが比較的長い場合、時刻tA1を起点とするタッチは長タッチであると判断される。
より具体的には、時刻tA1を起点とするタッチが時刻(tA1+Δt)までに解除された場合、時刻tA1を起点とするタッチは短タッチであると判断され、時刻tA1を起点とするタッチが時刻(tA1+Δt)まで続いた場合、時刻tA1を起点とするタッチは長タッチであると判断される。Δtは、時間を単位とする所定値である(但し、Δt>0)。時刻(tA1+Δt)は、時刻tA1から時間Δtだけ経過した時刻を意味する。主制御部19は、タッチ操作情報に基づき、表示画面51に成されたタッチが短タッチ及び長タッチの何れであるかを判断することができる。
一方、位置PAのタッチが成されると、被写体検出部61は、位置PAを基準位置として設定し、現時点の入力画像の画像データに基づき、基準位置の被写体の種類及び基準位置の周辺被写体の種類を検出するための被写体検出処理を実行する。基準位置の被写体とは、基準位置に画像データを有する被写体であり、基準位置の周辺被写体とは、基準位置の被写体の周辺に位置する被写体である。例えば、図11に示す如く、被写体検出部61は、基準位置PAを中心とする判定領域401を入力画像400上に設定し、判定領域401内の画像データに基づき判定領域401内に存在している被写体の種類を検出することで基準位置の被写体及び周辺被写体の種類を検出する。尚、基準位置の周辺被写体の種類の検出は必須ではなく、基準位置の周辺被写体が検出されないこともある。入力画像400は、時刻tA1に撮影された入力画像又は時刻tA1の直後に撮影された入力画像である。判定領域401は、入力画像400の全体画像領域の一部である(後述する他の判定領域についても同様)。判定領域400に代表される任意の判定領域の形状は、矩形以外であっても良いが、それが矩形であることを想定する。
第1撮影動作例においては、図10に示す如く、位置PAに人物SUB1の画像データが存在している。従って、基準位置の被写体の種類は人物であると判断される。また、基準位置の周辺被写体の種類が山であると判断されたとする。
時刻tA1を起点とするタッチが短タッチである場合、時刻tA1より後であって且つ時刻(tA1+Δt)よりも前の時刻において指が表示画面51から離される。撮影制御部63は、タッチ操作情報に基づき、この指の離れを確認すると、シーン判定部60と協働して、直ちに撮影モードのオート選択を行って対象画像の撮影を行わせる(この場合、表示画面51に触れていた指を表示画面51から離す操作がシャッタ指示として機能する)。
撮影モードのオート選択では、基準位置の被写体の種類に基づきシーン判定処理を成し、そのシーン判定処理の結果から選択撮影モードを決定した後、その選択撮影モードにて撮像部11及び画像処理部14に対象画像の撮影を行わせる(対象画像の画像データの生成を行わせる)。基準位置の被写体の種類が人物である場合、撮影モードのオート選択によって、判定シーンがポートレートシーンとなり且つ選択撮影モードがポートレートモードに設定される。結果、ポートレートモードにて撮影された対象画像410が得られる。図10に対応する第1撮影動作例とは異なるが、仮に、基準位置の被写体の種類が犬である場合、撮影モードのオート選択によって、判定シーンが動物シーンとなり且つ選択撮影モードが高速シャッタモードに設定される。結果、高速シャッタモードにて撮影された対象画像が得られる。
時刻tA1を起点とするタッチが長タッチである場合、シーン判定部60によって第1及び第2の候補判定シーンが決定され、時刻(tA1+Δt)よりも後の時刻tA2において、表示メニューMAが現時点の入力画像と共に表示画面51に表示される(第1及び第2の候補判定シーンについては後述)。表示メニューMAは、基準位置PAを中心とする位置に表示される。例えば、図10に示す如く、表示メニューMAを現時点の入力画像上に重畳して表示する。この際、入力画像の内、表示メニューMAが重畳される部分の画像が透けて見えるようにアルファブレンディング等を利用して表示メニューMAの重畳を行うとよい。
表示メニューMAは、図6の表示メニュー作成部62によって作成される。図12(a)には、表示メニューMAの構成要素である基本アイコンMBASEが示されている。図12(b)には、時刻tA2において実際に表示される表示メニューMAとしての表示メニューMA1が示されている。図12(c)は、基本アイコンMBASEの構成を示すための図である。
基本アイコンMBASEは、夫々が長方形の形状を有する領域ARC及びAR1〜AR4を結合した外形を有する。領域ARCを中心にして、領域ARCの右側、上側、左側及び下側に、夫々、領域AR1、AR2、AR3及びAR4が結合される。領域ARCの中心は基準位置PAに配置される。基本アイコンMBASEにおける領域AR1〜AR4の夫々に、被選択項目を表す文字、図形又はそれらの組み合わせを重畳することにより、表示メニューMAが形成される。説明の具体化のため、今、被選択項目が文字にて表されることを想定する。被選択項目を表す文字は、上述の被写体検出処理の結果を用いたシーン判定処理の結果に基づき、決定される。
基準位置を基準とする判定領域内の画像データから決定される判定シーンを特に候補判定シーンと呼ぶ。候補判定シーンは、複数個、決定される。図10に対応する第1撮影動作例では、基準位置の被写体の種類が人物であると判断されているため、シーン判定部60において、第1の候補判定シーンは人物に対応するポートレートシーンであると決定される。また、基準位置の周辺被写体の種類が山であると判断されているため、シーン判定部60において、第2の候補判定シーンは山に対応する風景シーンであると決定される。これらの決定内容に基づき、表示メニュー作成部62は、表示メニューMA1の領域AR1及びAR2に表示すべき文字を夫々「ポートレート」及び「風景」とする。即ち、第1及び第2の候補判定シーンを夫々領域AR1及びAR2に対応させ、第1及び第2の候補判定シーンに対応する文字を領域AR1及びAR2に表示する。他方、表示メニューMA1の領域AR3及びAR4に表示する文字は夫々「オート」及び「撮影」とする。領域AR1〜AR4は、夫々、第1〜第4の被選択項目を表示する領域である。
図10の例において、実際には図12(b)の表示メニューMA1が時刻tA2における表示画面51に表示されるが、図示の煩雑化防止のため、図10では、表示メニューMA1の代わりに基本アイコンMBASEのみが示されている。また、実際には、時刻tA2において、指が表示画面51に触れられているはずであるが、図示の便宜上、図10では、表示画面51上に指が触れている様子の図示を割愛している。表示メニューMA1の表示は、後述の項目選択操作が成されるまで継続される。
時刻tA2よりも後の時刻tA3において、ユーザは、項目選択操作を成す。項目選択操作は、表示メニュー(本例においてMA1)における第1〜第4の被選択項目の何れかを選択する操作(換言すれば、領域AR1〜AR4の何れかを選択する操作)である。撮影制御部63又は主制御部19は、タッチ操作情報に基づき、項目選択操作の有無を確認する。
第iの被選択項目を選択する項目選択操作は、
図13(a)に示す如く、指と表示画面51との接触を維持したまま指を基準位置PAを起点として領域ARiまで移動させる操作、又は、
図13(b)に示す如く、指と表示画面51との接触を維持したまま指を基準位置PAを起点として領域ARiまで移動させた後、指を表示画面51から離す操作、又は、
図13(c)に示す如く、指と表示画面51との接触を維持したまま、指を基準位置PAを起点として領域ARiまで移動させ、更に、基準位置PAから領域ARiに向かう方向に沿って指を領域ARiの外側まで移動させる操作である。
また、図13(d)に示す如く、時刻tA2において表示画面51に触れている指を一旦表示画面51から離した後、領域ARiをタッチする操作が、第iの被選択項目を選択する項目選択操作であっても良い。或いは、図13(e)に示す如く、時刻tA2において表示画面51に触れている指を一旦表示画面51から離した後、領域ARiをタッチし、更にその後、指を表示画面51から離す操作が、第iの被選択項目を選択する項目選択操作であっても良い。
更に或いは、十字キー44に対するボタン操作を、項目選択操作として機能させても良い(図3(a)及び(b)参照)。即ち、表示メニューMA1が表示されている状態において、キー44[i]を押す操作が、第iの被選択項目を選択する項目選択操作であっても良い。
項目選択操作において選択された被選択項目を選択項目という。第1〜第4の被選択項目は、夫々、表示メニューMA1の領域AR1〜AR4に対応する被選択項目であるため、第iの被選択項目が選択項目となると領域ARiに対応する撮影モードにて対象画像の撮影が成される。即ち、撮影制御部63は、時刻tA3において項目選択操作が成されたことを確認すると、選択項目に応じた撮影モードにて撮像部11及び画像処理部14に対象画像の撮影を行わせる(対象画像の画像データの生成を行わせる)。例えば、図11(b)の表示メニューMA1が表示されている状態において、第1の被選択項目が選択項目になると、第1の候補判定シーンであるポートレートシーンに対応した撮影モード、即ちポートレートモードにて対象画像の撮影を行わせ、第2の被選択項目が選択項目になると、第2の候補判定シーンである風景シーンに対応した撮影モード、即ち風景モードにて対象画像の撮影を行わせる。図10には、領域AR2に対応する第2の被選択項目が選択項目となっている場合が例示されており、第2の被選択項目が選択項目となる結果、風景モードで撮影された対象画像420が得られる。
他方、第3の被選択項目が選択項目になると、撮影制御部63は、撮影モードのオート選択により対象画像の撮影を行わせる(結果、短タッチをした場合と同様の対象画像が得られる)。
また、第4の被選択項目が選択項目になると、撮影制御部63は、全体画像シーン判定結果に基づく撮影モードを選択撮影モードとして用いて対象画像の撮影を行わせる。全体画像シーン判定結果とは、入力画像の全体の画像データを用いて行ったシーン判定処理の結果を指す。従って、全体画像シーン判定結果による判定シーンが、ポートレートシーンである場合において、第4の被選択項目が選択項目になると、撮影制御部63は、ポートレートシーンに対応したポートレートモードにて対象画像の撮影を行わせる。
[第2撮影動作例]
第1撮影動作例が変形された第2撮影動作例を説明する。第2撮影動作例では、時刻tA1において、位置PAではなく犬SUB2の画像データが存在する位置PA’がタッチされ、この結果、位置PA’が基準位置として設定されるものとする。この場合、被写体検出部61は、図14に示す如く、基準位置PA’を中心とする判定領域402を入力画像400上に設定し、判定領域402内の画像データに基づき判定領域402内に存在している被写体の種類を検出することで基準位置PA’の被写体及び周辺被写体の種類を検出する。位置PA’には犬SUB2の画像データが存在している。従って、基準位置PA’の被写体の種類は犬であると判断される。また、基準位置の周辺被写体の種類が山であると判断されたとする。そうすると、時刻tA1を起点とするタッチが長タッチである場合、時刻tA2及びそれ以降において、図11(b)の表示メニューMA1の代わりに図15の表示メニューMA2が作成されて表示される。
第2撮影動作例では、基準位置PA’の被写体の種類が犬であると判断されているため、シーン判定部60において、第1の候補判定シーンは動物シーンであると決定される。また、基準位置の周辺被写体の種類が山であると判断されているため、シーン判定部60において、第2の候補判定シーンは風景シーンであると決定される。これらの決定内容に基づき、表示メニュー作成部62は、表示メニューMA2の領域AR1及びAR2に表示すべき文字を夫々「高速」及び「風景」とする。即ち、第1及び第2の候補判定シーンを夫々領域AR1及びAR2に対応させ、第1及び第2の候補判定シーンに対応する文字を領域AR1及びAR2に表示する。他方、表示メニューMA2の領域AR3及びAR4に表示する文字は夫々「オート」及び「撮影」とする。
図15の表示メニューMA2が表示されている状態において、第1の被選択項目が選択項目になると、第1の候補判定シーンである動物シーンに対応した撮影モード、即ち高速シャッタモードにて対象画像の撮影が行われ、第2の被選択項目が選択項目になると、第2の候補判定シーンである風景シーンに対応した撮影モード、即ち風景モードにて対象画像の撮影が行われる。第3又は第4の被選択項目が選択項目となった場合の動作は、第1撮影動作例におけるそれと同様である。
[動作フローチャート]
次に、図16を参照して、1枚の対象画像を得る動作の手順を説明する。図16は、この動作の手順を表すフローチャートである。
静止画像を撮影可能な第1の動作モードでは入力画像が所定のフレーム周期にて順次得られ、ステップS11において、入力画像列が動画像として表示される。入力画像列を動画像として表示する処理は、ステップS18又はS19にて対象画像の撮影が成されるまで継続し、ステップS18又はS19による対象画像の撮影後、ステップS11への回帰が実行される。
ステップS11に続くステップS12において、主制御部19は、タッチ操作情報に基づき、表示画面51にタッチが成されているか否か(即ち、指が表示画面51を触れたか否か)を確認する。表示画面51にタッチが成されている場合には、ステップS12からステップS13への遷移が発生するが、それが成されていない場合にはステップS12の確認処理が繰り返される。
ステップS13において、画像処理部14及び主制御部19は、タッチされた位置を基準位置として設定する。また、ステップS13において、被写体検出部61により、基準位置の被写体の種類及び基準位置の周辺被写体の種類を検出するための被写体検出処理が成され、更に、シーン判定部60により、その被写体検出処理の結果を用いたシーン判定処理が成されることで上述の第1及び第2の候補判定シーンが決定される。
ステップS13の処理後、又は、ステップS13の処理と並行してステップS14の処理が実行される。ステップS14において、主制御部19は、タッチ操作情報に基づき、表示画面51に成されたタッチが長タッチであるかを判断し、そのタッチが長タッチである場合にはステップS14からステップS15への遷移を発生させる一方、それが短タッチである場合にステップS14からステップS19への遷移を発生させる。
ステップS15において、表示メニュー作成部62は、ステップS13におけるシーン判定処理の結果に基づき表示メニューMAを作成し、続くステップS16において、その表示メニューMAが表示制御部20の制御の下、表示画面51に表示される。上述したように、表示メニューMAは現時点の入力画像と共に表示され、表示メニューMAの表示は項目選択操作が成されるまで継続される。
ステップS17において、撮影制御部63(又は主制御部19)は、タッチ操作情報に基づき項目選択操作の有無を確認し、項目選択操作が成されたことが確認された場合にのみステップS17からステップS18への遷移を発生させる。ステップS18において、撮影制御部63は、選択項目に応じた撮影モードにて撮像部11及び画像処理部14に対象画像の撮影を行わせる(対象画像の画像データの生成を行わせる)。従って、項目選択操作はシャッタ指示として機能する。他方、ステップS19では、撮影制御部63により撮影モードのオート選択が実行され、該オート選択にて決定された撮影モードにて直ちに対象画像の撮影が成される。ステップS18又はS19で得られた対象画像の画像データは記録媒体15に記録される。
ユーザの指定位置における被写体(ユーザがタッチした部分の被写体)は、ユーザの注目している被写体であると考えられる。そこで、本実施形態では、指定位置における被写体の種類を検出し、検出結果に応じて表示メニューの内容を適応的に変更する。例えば、上述の如く、指定位置における被写体が人物であるならばポートレートモードによる撮影を指示する被選択項目を表示メニューに含める、或いは、指定位置における被写体が動物であるならば高速シャッタモードによる撮影を指示する被選択項目を表示メニューに含める。
指定位置における被写体がユーザの注目被写体であると考えれば、それらの被選択項目は、指定位置の入力操作の次にユーザにより選択される可能性が高いと言える。故に、上述のような表示メニューの作成及び表示は操作性の向上に寄与すると言える。例えば、ユーザが動物の撮影に適した高速シャッタモードの使用を希望している場合において、仮に、上記特許文献1の方法の如く表示メニューにシャッタボタン、ズームアップボタン及びズームダウンボタン等しか含まれていないならば(或いは、表示メニューの表示自体がないのであれば)、ユーザは、撮影モードを複数の登録モードの中から選択するためのメニューを表示させる第1操作を成した後、第1操作によって表示されたメニューから高速シャッタモードを選択する第2操作を成し、その後にシャッタ指示操作を成す必要がある。これに対し、本実施形態では、注目被写体としての動物をタッチすれば被写体検出処理を介して自動的に図15の表示メニューMA2が表示されるため、その後、高速シャッタモードに対応する表示位置に指を滑らせる等の簡便な操作を行うだけで、高速シャッタモードによる撮影指示を完了させることができる。
また、表示画面51と指との接触時間を短くすることで、ユーザは対象画像の即時撮影を指示することも可能であるため、シャッタチャンスを逃すこともない。指が表示画面51に接触したことをトリガとして用いて対象画像の撮影を行うことも可能であるが、接触の瞬間、及び、接触後のある程度の期間中は、撮像装置1の筐体が揺れて手ぶれの影響を受けやすい。これに対し、本実施形態では、短タッチにてシャッタ指示を行う際、指が表示画面51から離れたことをトリガとして用いて対象画像の撮影を行うようにしている(指が表示画面51から離れたことが検出された後に、対象画像の元となる入力画像の露光を開始するようにしている)。これにより、対象画像の手ぶれが抑制される。図13(b)及び(e)の項目選択操作によるシャッタ指示についても同様である。また更に、指を表示画面51上で滑らせたときに発生する手ぶれの量は、通常、指を表示画面51に接触させた瞬間に発生する手ぶれの量よりも少ない。従って、図13(a)又は(c)の項目選択操作によるシャッタ指示についても、対象画像の手ぶれ抑制効果が期待される。
尚、上述の例では、表示画面51に対する指の接触時間が比較的長い場合にのみ表示メニューを作成及び表示するようにしているが、その接触時間に関係なく表示メニューを作成及び表示するようにしてもよい。即ち、図16のステップS13の処理後、ステップS14の分岐処理を無視して、常にステップS15への遷移を発生させるようにしてもよい良い。
また、上述の例では、第1及び第2の被選択項目に対応する第1及び第2の候補判定シーンを夫々領域AR1及びAR2に対応させ、文字「オート」及び「撮影」に対応する第3及び第4の被選択項目を夫々領域AR3及びAR4に対応させているが、第1〜第4の被選択項目と領域AR1〜AR4との対応関係は、これに限定されない。
例えば、ユーザによる項目選択の履歴に基づいて、これらの対応関係を変化させても良い。即ち例えば、第1及び第2の候補判定シーンが夫々「ポートレートシーン」及び「風景シーン」であって表示メニューMA1を表示した際に、「風景」に対応する領域AR2を選択する項目選択操作が高い頻度で成されていたことを想定する。また、撮像装置1の筐体の形状などを考慮すれば、領域AR1を選択する項目選択操作が領域AR2を選択する項目選択操作よりも行いやすいことを想定する。主制御部19は、それらの項目選択操作の履歴を撮像装置1内の履歴メモリ(不図示)に保存しておく。その履歴の保存後、次に、第1及び第2の候補判定シーンが夫々「ポートレートシーン」及び「風景シーン」であると判断された場合、図17に示す如く、表示画面51に表示する表示メニューMAを表示メニューMA1から表示メニューMA1’へと変更するようにしても良い。表示メニューMA1’では、第1の候補判定シーンに対応する「ポートレート」の文字が領域AR2に示され、第2の候補判定シーンに対応する「風景」の文字が領域AR1に示されている(その他の点において、表示メニューMA1及びMA1’は同様である)。表示メニューMA1’の表示が成されているときに、第1の被選択項目を選択する項目選択操作を成せば風景モードにて対象画像の撮影が成され、第2の被選択項目を選択する項目選択操作を成せばポートレートモードにて対象画像の撮影が成される。
また、上述の例では、長タッチが成されたときに、判定領域内の画像データに基づきシーン判定部60により第1及び第2の候補判定シーンを決定させ、第1及び第2の候補判定シーンに対応する2つの被選択項目を表示メニューMAに含めるようにしているが、判定領域内の画像データに基づき決定される候補判定シーンの個数は1であっても良いし、3以上であっても良い。その個数が1であるとき、第1の候補判定シーンに対応する1つの被選択項目が表示メニューMAに含められ、その個数が3であるとき、第1〜第3の候補判定シーンに対応する3つの被選択項目が表示メニューMAに含められる(その個数が4以上の場合も同様)。
<<第2実施形態>>
本発明の第2実施形態を説明する。第2実施形態に係る撮像装置は、第1実施形態と同様、撮像装置1である。第2実施形態において特に述べない事項に関しては、第1実施形態の記載が第2実施形態にも適用される。図18は、第2実施形態の動作に特に関与する、撮像装置1の一部ブロック図である。被写体検出部61及び表示メニュー作成部62は、図6に示されるそれらと同じものである。第2実施形態では、画像処理部14内の画像検索部64が有意に機能するため、図18に画像検索部64が示されている。
第2実施形態では、記録媒体15にP枚の静止画像の画像データが記録されていることを想定する。Pは2以上の整数である。また、記録媒体15に記録された各静止画像を記録画像とも呼ぶ。記録媒体15から任意の記録画像の画像データが画像処理部14及び表示制御部20に供給される。第2実施形態では、記録画像が入力画像として機能する。
図19に、1つの画像ファイルの構造を示す。図1の記録制御部16は、1つの静止画像又は動画像に対して記録媒体15内に1つの画像ファイルを作成することができる。画像ファイルの構造を任意の規格に準拠させることができる。画像ファイルは、静止画像又は動画像の画像データそのもの或いはその圧縮データが格納されるべき本体領域と、付加データが格納されるべきヘッダ領域と、からなる。
図20に示す如く、或る静止画像に対する付加データに、その静止画像の特徴ベクトルを表す特徴ベクトル情報、その静止画像に含まれている被写体の種類を表す被写体情報、その静止画像の撮影時刻(換言すれば、撮影による静止画像の生成時刻)を表すタイムスタンプ情報、及び、その静止画像の撮影地点(換言すれば、撮影によって静止画像が生成された地点)を表す撮影地点情報を含めることができ、以下の説明では、静止画像に対する付加データに、それらの情報が全て含まれていることを想定する。その他、或る静止画像に対する付加データには、その静止画像のサムネイルの画像データや、ファイル名情報、ISO感度情報なども含まれる。
付加データの説明を具体化するために、1つの画像ファイルに保存されるべき任意の1枚の静止画像を符号500によって参照する。静止画像500の付加データに含められるべき特徴ベクトル情報は、静止画像500に対する特徴ベクトル導出処理に基づいて作成される。特徴ベクトル導出処理は、画像処理部14にて実行される。
画像処理部14は、例えば、図21に示す如く、静止画像500の全体画像領域を6分割することにより、静止画像500の全体画像領域内に6つの分割画像領域とも言うべき6つの分割ブロックBL[1]〜BL[6]を設定し、分割ブロックごとに特徴ベクトル導出処理を実行することで分割ブロックごとに特徴ベクトルを導出する。但し、分割ブロックの個数である6は例示であり、その個数を6以外とすることも可能である。特徴ベクトルの導出対象となる画像領域又は分割ブロックを特徴評価領域と呼ぶ。特徴ベクトルは、特徴評価領域内の画像の特徴を表しており、特徴評価領域内の物体の形状及び色などに応じた画像特徴量である。公知の方法を含む任意の特徴ベクトル導出方法を特徴ベクトル導出処理に用いることができる。例えば、画像処理部14は、MPEG(Moving Picture Experts Group)7に規定された方法を用いて特徴評価領域の特徴ベクトルを導出することができる。特徴ベクトルは、J次元の特徴空間に配置されるJ次元ベクトルである(Jは2以上の整数)。
静止画像500の付加データに含められるべき被写体情報は、被写体検出部61による、静止画像500に対する被写体検出処理に基づいて作成される。被写体検出処理の方法は、第1実施形態で述べたものと同様である。例えば、静止画像500から人物が検出されたならば、静止画像500内に人物が存在していることを表す被写体情報が付加データに含められ、静止画像500から犬が検出されたならば、静止画像500内に犬が存在していることを表す被写体情報が付加データに含められ、静止画像500から人物及び犬が検出されたならば、静止画像500内に人物及び犬が存在していることを表す被写体情報が付加データに含められる。また更に、被写体検出処理が顔認識処理を含んでいる場合において、静止画像500から第i登録人物が検出されたならば、静止画像500内に第i登録人物が存在していることを表す被写体情報が付加データに含められる。
静止画像500の付加データに含められるべきタイムスタンプ情報及び撮影地点情報は、図1のタイムスタンプ生成部21及びGPS情報取得部22にて作成される。静止画像500のサムネイルは、静止画像500の画像サイズを縮小して得た画像であり、一般的には、静止画像500の画素の一部を間引くことで生成される。上述のような付加データは、静止画像500の画像ファイルを記録媒体15内に作成するときに生成される。
第2実施形態では、特に記述なき限り、以下、撮像装置1における第2の動作モードの動作を説明する。上述したように、第2の動作モードでは、記録媒体15に記録された画像(静止画像又は動画像)を表示部17にて表示することができる。第2の動作モードにおいて、ユーザは、所定のタッチパネル操作又はボタン操作により、P枚の記録画像の中の1つを選択的に表示画面51に表示させることができ、その表示された記録画像を特に基準画像(基準記録画像)と呼ぶ。今、図22に示す基準画像510が表示された場合を想定する。基準画像510には、第1及び第2の被写体としての人物SUB1及び犬SUB2の画像データが存在している。
[第1再生動作例]
図23を参照して第1再生動作例を説明する。図23には、第1再生動作例における表示画面51の変化の様子が示されている。時刻tBi+1は、時刻tBiよりも後の時刻であるとする(上述したようにiは整数)。図23において、符号HANDが付された手の絵は、ユーザの手を表している。手HANDは、ユーザの実際の手であり、表示画面51上に表示される像ではない。
基準画像510が表示されている時刻tB1において、ユーザが、表示画面51上の位置PBをタッチしたとする(時刻tB1以前では、表示画面51が何ら指で触れられていないものとする)。
位置PBのタッチが成されると、被写体検出部61は、位置PBを基準位置として設定し、基準画像510の画像データに基づき、基準位置の被写体の種類を検出するための被写体検出処理を実行する。上述したように、基準位置の被写体とは、基準位置に画像データを有する被写体である。例えば、図24に示す如く、被写体検出部61は、基準位置PBを中心とする判定領域511を基準画像510上に設定して、判定領域511内の画像データに基づき判定領域511内に存在している被写体の種類を検出することで基準位置の被写体を検出する。判定領域511は、基準画像510の全体画像領域の一部である。図23に示す如く、位置PBには人物SUB1の画像データが存在している。従って、基準位置の被写体の種類は人物であると判断される。
被写体検出処理の完了後、表示メニュー作成部62は該被写体検出処理の結果を用いて表示メニューMBを作成し、時刻tB2において、表示制御部20は表示メニューMBを基準画像510と共に表示画面51に表示させる。例えば、図23に示す如く、表示メニューMBを基準画像510上に重畳して表示する。この際、例えば、表示メニューMBを基準位置PBを中心とする位置に表示する。また、基準画像510の内、表示メニューMBが重畳される部分の画像が透けて見えるようにアルファブレンディング等を利用して表示メニューMBの重畳を行うとよい。
図12(a)及び(c)に示される基本アイコンMBASEの領域AR1〜AR4の夫々に、被選択項目を表す文字、図形又はそれらの組み合わせを重畳することにより、表示メニューMBが形成される(説明の具体化のため、今、被選択項目が文字にて表されることを想定する)。但し、第1再生動作例において、基本アイコンMBASEの領域AR0の中心は基準位置PBに配置される。図25には、時刻tB2において実際に表示される表示メニューMBとしての表示メニューMB1が示されている。実際には表示メニューMB1が時刻tB2における表示画面51に表示されるが、図示の煩雑化防止のため、図23では、表示メニューMB1の代わりに基本アイコンMBASEのみが示されている。表示メニューMB1の表示は、後述の項目選択操作が成されるまで継続される。
表示メニューMB1の領域AR2、AR3及びAR4に表示される文字は、夫々、「類似画像」、「日時」及び「場所」である。表示メニューMB1の領域AR1に表示される文字は、位置PBを基準として成した被写体検出処理の結果に基づいて決定される。第1再生動作例において、基準位置PBの被写体の種類は人物であると判断されているため、表示メニューMB1のAR1に表示される文字は「人物」とされる。領域AR1〜AR4は、夫々、第1〜第4の被選択項目を表示する領域である。
時刻tB2よりも後の時刻tB3において、ユーザは、項目選択操作を成す。第1実施形態にて述べたように、項目選択操作は、表示メニュー(本例においてMB1)における第1〜第4の被選択項目の何れかを選択する操作である。主制御部19は、タッチ操作情報に基づき、項目選択操作の有無を確認する。第1実施形態で述べた項目選択操作の方法が、第2実施形態にも適用される。この適用の際、第1実施形態に記載の“MA”、“MA1”、“PA”及び“tAi”を、夫々、“MB”、“MB1”、“PB”及び“tBi”に読み替えればよい。
第1実施形態と同様、項目選択操作において選択された被選択項目を選択項目という。図18の画像検索部64は、項目選択操作が成されると、選択項目に応じた検索条件にて画像検索処理を実行する。第1〜第4の被選択項目は、夫々、表示メニューMB1の領域AR1〜AR4に対応する被選択項目であるため、第iの被選択項目が選択項目となると領域ARiに対応する検索条件にて画像検索処理が成される。画像検索部64は、検索条件に適合する記録画像を非基準画像群から検索し、検索結果を表示制御部20に出力する。非基準画像群とは、基準画像510を除く、記録媒体15に保存された複数の記録画像(従って、(P−1)枚の記録画像)を指す。非基準画像群を形成する1つ1つの画像を非基準画像(非基準記録画像)と呼ぶ。検索条件に適合する記録画像を条件適合画像と呼ぶ。画像検索処理により条件適合画像が決定される。
文字「人物」に対応する第1の被選択項目が選択項目となった場合、画像検索部64は、被写体の種類の一致性を検索条件として設定し、基準画像510の位置PBにおける被写体の種類と同じ種類の被写体を含んだ非基準画像を条件適合画像として非基準画像群から検索する。第1再生動作例では、基準画像510の位置PBにおける被写体の種類が人物であるため、人物を被写体として含んだ非基準画像を条件適合画像として検索する。画像検索部64は、各非基準画像の画像ファイルのヘッダ領域から読み出された被写体情報に基づき、条件適合画像を検索することができる。
文字「類似画像」に対応する第2の被選択項目が選択項目となった場合、画像検索部64は、画像の類似性を検索条件として設定し、位置PBを基準とした画像領域内の画像の類似画像を内包する非基準画像を条件適合画像として非基準画像群から検索する。より具体的には例えば、まず、基準画像510の判定領域511についての特徴ベクトルVEC511を特徴ベクトル導出処理によって求めておく。一方において、画像検索部64は、各非基準画像の画像ファイルのヘッダ領域から特徴ベクトル情報を読み出す。特徴ベクトル情報にて表される、或る1枚の非基準画像の分割ブロックBL[i]に対する特徴ベクトルをVECC[i]にて表す。
画像検索部64は、特徴ベクトルVEC511及びVECC[i]間の距離d[i]を求める。任意の第1特徴ベクトルと任意の第2特徴ベクトルとの距離は、第1及び第2特徴ベクトルの各始点を特徴空間の原点に配置したときの、特徴空間における第1及び第2特徴ベクトルの終点間の距離(ユークリッド距離)である、と定義される。距離d[i]を求める演算を、iに1以上且つ6以下の各整数を代入した上で個別に実行する。これにより、距離d[1]〜d[6]が求められる。画像検索部64は、距離d[1]〜d[6]を求める演算を(P−1)枚の非基準画像の夫々に対して実行することで、合計(6×(P−1))個の距離を求める。その後、(6×(P−1))個の距離の内、所定の基準距離dTH以下の距離を特定し、特定した距離に対応する非基準画像を条件適合画像として設定する。例えば、第1の非基準画像の分割ブロックBL[1]〜BL[6]に対して求められた6つの距離の何れかが基準距離dTH以下である場合、第1の非基準画像は判定領域511内の画像の類似画像を内包していると判断して第1の非基準画像を条件適合画像として設定し、第2の非基準画像の分割ブロックBL[1]〜BL[6]に対して求められた6つの距離が全て基準距離dTHより大きい場合、第2の非基準画像は上記類似画像を内包していないと判断して第2の非基準画像を条件適合画像として設定しない。
尚、上記類似画像を内包する非基準画像を、画像マッチング等を利用して非基準画像群から検索するようにしても良い。但し、画像マッチング等を利用した検索は相応の処理時間を要するため、上述の如く、特徴ベクトル情報を利用した方法の採用が望ましい。
文字「日時」に対応する第3の被選択項目が選択項目となった場合、画像検索部64は、タイムスタンプ情報の類似性を検索条件として設定し、基準画像510の撮影時刻に類似する時刻で撮影された非基準画像を条件適合画像として非基準画像群から検索する。より具体的には例えば、P枚の記録画像についてのタイムスタンプ情報に基づき、基準画像510の撮影時刻T510と各非基準画像の撮影時刻とを比較し、撮影時刻T510から見た時間の差異が所定時間以下の撮影時刻を持つ非基準画像を、条件適合画像として設定する。
文字「場所」に対応する第4の被選択項目が選択項目となった場合、画像検索部64は、撮影地点情報の類似性を検索条件として設定し、基準画像510の撮影地点に類似する地点で撮影された非基準画像を条件適合画像として非基準画像群から検索する。より具体的には例えば、P枚の記録画像についての撮影地点情報に基づき、基準画像510の撮影地点と各非基準画像の撮影地点とを比較することで前者及び後者間の距離を導出し、その距離が所定距離以下になる非基準画像を条件適合画像として設定する。
画像検索処理後の時刻tB4において、画像制御部20の制御の下、画像検索処理の結果が表示される。例えば、時刻tB4において、条件適合画像のサムネイル又は条件適合画像のファイル名が一覧表示される。図23では、文字「人物」に対応する第1の被選択項目が選択項目になったことが想定されており、時刻tB4において、各々に人物を含んだ条件適合画像のサムネイルが一覧表示されている。
[第2再生動作例]
第2再生動作例を説明する。第2再生動作例は、第1再生動作例の一部を変形した再生動作例であり、以下、第1再生動作例との相違点のみを説明する(後述の第3再生動作例についても同様)。被写体検出処理が顔認識処理を含んでいて且つ基準画像510内の人物SUB1が第1登録人物であることを想定する。この場合、基準位置の被写体の種類は第1登録人物であると判断されるため、図26(a)の表示メニューMB2が作成され、時刻tB2及びそれ以降において、図25の表示メニューMB1の代わりに図26(a)の表示メニューMB2が表示される。表示メニューMB2の領域AR1には文字「第1登録人物」が表示される。第1登録人物という文字ではなく、事前に設定された第1登録人物の呼び名(第1登録人物の氏名等)を表示するようにしてもよい。領域AR1の表示文字が異なる点を除き、表示メニューMB1及びMB2は同様である。
文字「第1登録人物」に対応する第1の被選択項目が選択項目となった場合、画像検索部64は、被写体の種類の一致性を検索条件として設定し、基準画像510の位置PBにおける被写体の種類である第1登録人物を含んだ非基準画像を条件適合画像として非基準画像群から検索する。画像検索部64は、非基準画像の画像ファイルのヘッダ領域から読み出された被写体情報に基づき、条件適合画像を検索することができる(後述の第3再生動作例においても同様)。第2再生動作例において、第2、第3又は第4の被選択項目が選択項目となったときの動作は第1再生動作例のそれと同様である(後述の第3再生動作例においても同様)。
[第3再生動作例]
第3再生動作例を説明する。時刻tB1において人物SUB1の表示部分ではなく犬SUB2の表示部分がタッチされた場合、即ち、位置PBに犬SUB2の画像データが存在している場合、基準位置の被写体の種類は犬であると判断される。このため、図26(b)の表示メニューMB3が作成され、時刻tB2及びそれ以降において、図25の表示メニューMB1の代わりに図26(b)の表示メニューMB3が表示される。表示メニューMB3の領域AR1には文字「犬」が表示される。領域AR3の表示文字が異なる点を除き、表示メニューMB1及びMB3は同様である。
文字「犬」に対応する第1の被選択項目が選択項目となった場合、画像検索部64は、被写体の種類の一致性を検索条件として設定し、基準画像510の位置PBにおける被写体の種類である犬を含んだ非基準画像を条件適合画像として非基準画像群から検索する。
[動作フローチャート]
次に、図27を参照して、上述の画像検索処理を利用する際における動作の手順を説明する。図27は、この動作の手順を表すフローチャートである。
ステップS31において、ユーザの指定した基準画像が表示される。ステップS31に続くステップS32において、主制御部19は、タッチ操作情報に基づき、表示画面51にタッチが成されているか否か(即ち、指が表示画面51を触れたか否か)を確認する。表示画面51にタッチが成されている場合には、ステップS32からステップS33への遷移が発生してステップS33〜S36の処理が順次実行されるが、それが成されていない場合にはステップS32の確認処理が繰り返される。
ステップS33において、画像処理部14及び主制御部19は、タッチされた位置を基準位置として設定する。また、ステップS33において、被写体検出部61により、基準位置の被写体の種類を検出するための被写体検出処理が成される。続くステップS34において、表示メニュー作成部62はステップS33における被写体検出処理の結果を用いて表示メニューMBを作成し、ステップS35において、表示制御部20は、その作成された表示メニューMBを基準画像と共に表示させる。但し、表示メニューMBだけを表示させることも可能である。表示メニューMBの表示は項目選択操作が成されるまで継続される。
ステップS36において、主制御部19は、タッチ操作情報に基づき項目選択操作の有無を確認し、項目選択操作が成されたことが確認された場合にのみステップS36からステップS37への遷移を発生させる。ステップS37において、画像検索部64は、選択項目(即ち、ステップS36の項目選択操作にて選択された被選択項目)に応じた検索条件を設定し、記録媒体15の記録内容を参照しつつ該検索条件を用いて画像検索処理を実行することにより条件適合画像を非基準画像群から抽出する。この画像検索処理の結果は、ステップS37に続くステップS38にて表示される。例えば、上述したように、条件適合画像のサムネイル又は条件適合画像のファイル名が一覧表示される。
一覧表示された条件適合画像のサムネイルの何れか又はファイル名の何れかをユーザがタッチパネル操作又はボタン操作にて選択すれば、選択されたサムネイル又はファイル名に対応する条件適合画像が表示画面51上で拡大表示される。ユーザは、必要に応じ、その拡大表示された条件適合画像に対し何らかの処理を成すべきことを、撮像装置1に指示(外部プリンタへの出力指示など)することができる。
ユーザの指定位置における被写体(ユーザがタッチした部分の被写体)は、ユーザの注目している被写体であると考えられる。そこで、本実施形態では、指定位置における被写体の種類を検出し、検出結果に応じて表示メニューの内容を適応的に変更する。例えば、上述の如く、指定位置における被写体が第1登録人物であるならば第1登録人物を含む画像の検索を指示する被選択項目を表示メニューに含める、或いは、指定位置における被写体が犬であるならば犬を含む画像の検索を指示する被選択項目を表示メニューに含める。
指定位置における被写体がユーザの注目被写体であると考えれば、それらの被選択項目は、指定位置の入力操作の次にユーザにより選択される可能性が高いと言える。故に、上述のような表示メニューの作成及び表示は操作性の向上に寄与すると言える。例えば、ユーザが第1登録人物を含む画像の検索を希望している場合、従来装置では、まず、検索条件入力用の設定画面を表示させる操作を成す必要があった。その後、ユーザは、その設定画面上において第1登録人物を検索条件に含めるための操作を成す必要があった。これに対し、本実施形態では、注目被写体としての第1登録人物をタッチすれば被写体検出処理を介して自動的に図26(a)の表示メニューMB2が表示されるため、その後、第1登録人物に対応する表示位置に指を滑らせる等の簡便な操作を行うだけで、所望の検索指示を完了させることができる。
また、本実施形態によれば、ユーザのタッチ部分画像の類似画像の検索を簡単に指示することが可能となる。従来装置において、これと等価な検索を実行させるためには、検索モードを起動させるための操作、図24に示すような判定領域の位置及び大きさを指定する操作が必要となる。これに対し、本実施形態では、注目被写体のタッチ後に、文字「類似画像」の表示位置に指を滑らせる等の簡便な操作を行うだけで、所望の検索指示を完了させることができる。
尚、上述の例では、基準位置に配置された被写体の種類に対応する第1の被選択項目を領域AR1に対応させ、文字「類似画像」、「日時」及び「場所」に対応する第2〜第4の被選択項目を領域AR2〜AR4に対応させているが、第1〜第4の被選択項目と領域AR1〜AR4との対応関係は、これに限定されない。
例えば、第1実施形態と同様、ユーザによる項目選択の履歴に基づいて、これらの対応関係を変化させても良い。即ち例えば、基準画像上の人物がタッチされることで表示メニューMB1が表示されている際に、文字「類似画像」に対応する領域AR2を選択する項目選択操作が高い頻度で成されていたことを想定する。また、撮像装置1の筐体の形状などを考慮すれば、領域AR1を選択する項目選択操作が領域AR2を選択する項目選択操作よりも行いやすいことを想定する。主制御部19は、それらの項目選択操作の履歴を撮像装置1内の履歴メモリ(不図示)に保存しておく。その履歴の保存後、人物を含む他の基準画像が表示されて基準画像上の人物がタッチされた場合、図28に示す如く、表示画面51に表示する表示メニューMBを表示メニューMB1から表示メニューMB1’へと変更するようにしても良い。表示メニューMB1’では、第2の被選択項目に対応していた「類似画像」の文字が領域AR1に示され、第1の被選択項目に対応していた「人物」の文字が領域AR2に示されている(その他の点において、表示メニューMB1及びMB1’は同様である)。
<<第3実施形態>>
本発明の第3実施形態を説明する。記録媒体15の記録データに基づく上述の各処理を、撮像装置と異なる電子機器(例えば、画像再生装置;不図示)にて実現することも可能である(撮像装置も電子機器の一種である)。
例えば、撮像装置1において、撮影によって複数の入力画像を取得し、各入力画像の画像データ並びに上述の付加データを格納した画像ファイルを記録媒体15に記録しておく。そして、画像処理部14、表示部17、操作部18、主制御部19及び表示制御部20と同等の機能を有する部位を当該電子機器に設けておき、記録媒体15の記録データを当該電子機器に与えることで、当該電子機器において第2実施形態にて述べた処理を実現することができる。
<<変形等>>
上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈1〜注釈6を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
[注釈1]
上述の各実施形態では、表示メニュー(MA又はMB)に含まれる被選択項目の個数が4となっているが、その個数は4以外でも良い。また、上述の第1実施形態では、基準位置PAを基準とする被写体検出処理の結果に応じて、表示メニューに含まれる被選択項目の内の2つが変化しうるが、被写体検出処理の結果に応じて決定される被選択項目の個数は1であっても良いし、3以上であっても良い。同様に、上述の第2実施形態では、基準位置PBを基準とする被写体検出処理の結果に応じて、表示メニューに含まれる被選択項目の内の1つが変化しうるが、被写体検出処理の結果に応じて決定される被選択項目の個数は2以上であっても良い。
[注釈2]
上述の各実施形態では、ユーザのタッチパネル操作によって基準位置が指定されているが、ユーザのボタン操作によって基準位置が指定されてもよい。
[注釈3]
上述の各実施形態では、記録媒体15が撮像装置1に設けられた記録媒体であることを想定しているが、記録媒体15は、撮像装置1の外に設けられたものであってもよい。
[注釈4]
撮像装置1は、任意の機器(携帯電話機などの携帯端末)に搭載されるものであっても良い。
[注釈5]
図1の撮像装置1及び第3実施形態に係る電子機器を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置1又は電子機器を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置(例えばコンピュータ)上で実行することによって、その機能を実現するようにしてもよい。
[注釈6]
被写体を物体と言い換えることもでき、図6の被写体検出部61に代表される被写体検出部を物体検出部又は物体種類検出部と呼ぶこともできる。