JP6403368B2 - 携帯端末、画像検索プログラムおよび画像検索方法 - Google Patents

Description

この発明は携帯端末、画像検索プログラムおよび画像検索方法に関し、特にカメラモジュールを有する、携帯端末、画像検索プログラムおよび画像検索方法に関する。

背景技術の一例が特許文献１に開示されている。この特許文献１の電子ファイルの検索方法では、文書のページでイメージデータが表示されているときに、イメージデータの一部を、そのイメージデータの検索条件として登録することが出来る。登録されたイメージデータの一部はイメージ部品データと呼ばれ、イメージ部品データが検索条件として選択されると、検索結果としてイメージデータが得られる。
特開平5-233778号公報［G06F 3/048］

ところが、特許文献１の電子ファイルの検索方法では、イメージデータを検索するためには、イメージ部品データを予め登録しておかなければならない。また、イメージデータを検索するときには、登録されているイメージ部品データから所望のデータを選択しなければならず、このような操作には手間がかかる。

それゆえに、この発明の主たる目的は、新規な、携帯端末、画像検索プログラムおよび画像検索方法を提供することである。

この発明の他の目的は、画像検索を容易に行うことが出来る、携帯端末、画像検索プログラムおよび画像検索方法を提供することである。

この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために記述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。

第１の発明は、カメラモジュール、表示部および表示部へのタッチ操作を受け付けるタッチパネルを有する、携帯端末であって、タッチパネルに対するタッチ操作を受け付ける第１受付部、カメラモジュールから取得されたリアルタイム動画像を分割する分割領域の焦点距離の相対位置関係を検出する検出部、リアルタイム動画像のタッチ操作された分割領域の焦点距離と略同じ値の焦点距離が対応付けられた分割領域を特定し、前記タッチ操作された分割領域と前記特定された分割領域とを含む抽出範囲内の画像を検索対象画像として抽出する抽出部、検索対象画像に基づき所定の情報を検索する検索部、およびリアルタイム動画像において、検索部により検索された検索結果を、検索対象画像と重畳しないように出力する出力部を備える、携帯端末である。

第１の発明では、携帯端末（１０：実施例において対応する部分を例示する参照符号。以下、同じ。）のカメラモジュール（５０‐５４）はリアルタイム動画像を出力する。たとえば、そのリアルタイム動画像が取得され、表示部（１４）には取得されたリアルタイム動画像に基づくプレビュー画像が表示される。表示部へのタッチ操作を受け付けるタッチパネル（１６）がさらに設けられる。第１受付部（３０，Ｓ１３）は、たとえばプレビュー画像に対して被写体を選択するためにタッチパネルに対してタッチ操作がされると、その操作を抽出操作として受け付ける。検出部（３０，Ｓ１９）は、たとえばユーザが被写体を選択する操作を行ったときに、カメラモジュールから取得されたリアルタイム動画像アルタイム動画像を分割する分割領域の焦点距離の相対位置関係を検出する。抽出部（３０，Ｓ２３，Ｓ９５，Ｓ９７）は、たとえばユーザによって選択された被写体が含まれるように、検出された相対位置関係に基づいて、取得されたリアルタイム動画像から検索対象画像を抽出する。つまり、リアルタイム動画像のタッチ操作された分割領域の焦点距離と略同じ値の焦点距離が対応付けられた分割領域を特定し、前記タッチ操作された分割領域と前記特定された分割領域とを含む抽出範囲内の画像を検索対象画像として抽出する。検索部（３０，Ｓ３１）は、検索対象画像に基づいて、たとえばその検索対象画像と関連する所定の情報を検索する。出力部（３０，Ｓ６３）は、リアルタイム動画像において、たとえば表示部に検索結果を出力し、検索結果は、検索対象画像と重畳しないように表示部に表示される。

第１の発明によれば、被写体どうしの相対位置関係を利用することで、検索対象画像を適切に抽出することが出来るため、画像検索の検索精度を向上させることが出来る。

第２の発明は、第１の発明に従属し、第１受付部は、カメラモジュールから取得されたリアルタイム動画像が表示されているとき、検索対象画像を抽出する抽出操作を受け付け、検出部は、第１受付部が抽出操作を受け付けたとき、相対位置関係を検出する。

第２の発明では、第１受付部（３０，Ｓ１３）は、たとえばプレビュー画像に対して被写体を選択する操作がされると、その操作を抽出操作として受け付ける。そして、抽出操作を受け付けたとき、検出部は、被写体どうしの相対位置関係を検出する。

第２の発明によれば、ユーザは撮影中に興味を持った被写体について、画像検索を行うことが出来る。

第３の発明は、第１の発明または第２の発明に従属し、相対位置関係に基づいて、カメラモジュールから取得されたリアルタイム動画像に対して抽出範囲を設定する設定部をさらに備え、抽出部は、抽出範囲に基づいて、画像から検索対象画像を抽出する。

第３の発明では、たとえば、プレビュー画像は複数の分割領域（Ｒ）に分割され、ユーザから任意の分割領域が指定されたとき、設定部（３０，Ｓ２１）は、指定された分割領域と、その分割領域に含まれる被写体と同じ位置（距離）に存在する被写体が含まれる分割領域とを抽出範囲として設定する。たとえば、抽出部は、抽出範囲内のリアルタイム動画像を検索対象画像として抽出する。

第３の発明によれば、抽出範囲を設定することで、ユーザは抽出される検索対象画像を把握することが出来る。

第４の発明は、第１の発明ないし第３の発明のいずれかに従属し、カメラモジュールは、レンズを含み、検出部は、レンズの焦点距離を利用して、カメラモジュールから取得された画像から被写体どうしの相対位置関係を検出する。

第４の発明では、カメラモジュールはレンズ（５４）を含む。たとえば、レンズをテレ端からワイド端に移動させたときのレンズの焦点距離を利用して、検出部は、被写体どうしの相対位置関係を検出する。

第４の発明によれば、レンズの焦点距離を利用して相対位置関係を検出することが可能であるため、カメラモジュールを備える既存の携帯端末であってもソフトウェアを更新または追加することで、被写体どうしの相対位置関係を検出できるようになる。

第５の発明は、第１の発明ないし第４の発明のいずれかに従属し、検索対象画像を変更する変更操作を受け付ける第２受付部をさらに備え、検出部は、第２受付部が変更操作を受け付けたとき、相対位置関係を再検出し、抽出部は、第２受付部が変更操作を受け付けたとき、当該変更操作および再検出された相対位置関係に基づいて、カメラモジュールから取得されたリアルタイム動画像から他の検索対象画像を抽出する。

第５の発明では、第２受付部（３０，Ｓ２５）は、たとえば他の検索対象を指定する操作を、変更操作として受け付ける。変更操作がされると、被写体どうしの相対位置関係が再検出される。そして、再検出された相対位置関係に基づいて、取得されたリアルタイム動画像から他の検索対象画像を抽出する。

第５の発明によれば、ユーザは、検索対象を誤って選択したとしても、任意に変更することが出来る。

第６の発明は、第１の発明ないし第５の発明のいずれかに従属し、検索部による検索結果が複数あるとき、出力される検索結果の切替操作を受け付ける第３受付部、および第３受付部が切り替え操作を受け付けたとき、出力される検索結果を切り替える切替部をさらに備える。

第６の発明では、複数の検索結果が出力された場合、第３受付部（３０，Ｓ６７）は、出力する検索結果を切り替える切替操作を受け付ける。切替部（３０，Ｓ６９）は、切替操作を受け付けたとき、出力される検索結果を切り替える。

第６の発明によれば、複数の検索結果が取得された場合、ユーザは複数の検索結果のそれぞれを確認することが出来る。

第７の発明は、第１の発明ないし第６の発明のいずれかに従属し、抽出部は、色情報に基づいて検索対象画像を抽出する。

第７の発明では、たとえば、検索対象を指定するタッチ操作がされたとき、タッチ位置の色情報と略同じ色の範囲が選択される。抽出部は、その領域から検索対象画像を抽出する。

第７の発明によれば、色情報を利用することで、ユーザが意図する検索対象を、より適切に抽出することが出来る。

第８の発明は、第１の発明ないし第７の発明のいずれかに従属し、抽出部は、顔検出を利用して検索対象画像を抽出する。

第８の発明では、たとえばタッチされた周辺のプレビュー画像に対して顔検出処理を実行し、顔が検出されれば、検出された顔の画像が検索対象画像として抽出される。

第８の発明によれば、顔検出処理を利用することで、ユーザが意図する検索対象を、より適切に抽出することが出来る。

第９の発明は、第１の発明ないし第８の発明のいずれかに従属し、検索部は、検索対象画像についての検索結果を、ネットワーク上のサーバに記憶されるデータベースから出力する。

第９の発明では、ネットワーク上のサーバ（１０２）に記憶されるデータベースから、検索対象画像についての検索結果が出力される。

第９の発明によれば、ユーザは、サーバ上に記憶されるデータベースに対して画像検索を行うことが出来る。

第１０の発明は、第１の発明ないし第９の発明のいずれかに従属し、データベースを記憶する記憶部をさらに備え、検索部は、検索対象画像についての検索結果を、記憶部に記憶されるデータベースから出力する。

第１０の発明では、記憶部（４４）に記憶されるデータベースから、検索対象画像についての検索結果が出力される。

第１０の発明によれば、携帯端末の記憶部に記憶されているデータベースに対して画像検索を行うことが出来る。

第１１の発明は、カメラモジュール（５０−５４）、表示部（１４）および表示部へのタッチ操作を受け付けるタッチパネル（１６）を有する、携帯端末（１０）のプロセッサ（３０）を、タッチパネルに対するタッチ操作を受け付ける第１受付部（３０，Ｓ１３）、カメラモジュールから取得されたリアルタイム動画像を分割する分割領域の焦点距離の相対位置関係を検出する検出部（３０，Ｓ１９）、リアルタイム動画像のタッチ操作された分割領域の焦点距離と略同じ値の焦点距離が対応付けられた分割領域を特定し、前記タッチ操作された分割領域と前記特定された分割領域とを含む抽出範囲内の画像を検索対象画像として抽出する抽出部（Ｓ２３，Ｓ９５，Ｓ９７）、検索対象画像に基づき所定の情報を検索する検索部（Ｓ３１）、および検索部により検索された検索結果を出力する出力部（Ｓ６３）として機能させる、画像検索プログラムである。

第１１の発明でも、第１の発明と同様、被写体どうしの相対位置関係を利用することで、検索対象画像を適切に抽出することが出来るため、画像検索の検索精度を向上させることが出来る。

第１２の発明は、カメラモジュール（５０−５４）、表示部（１４）および表示部へのタッチ操作を受け付けるタッチパネル（１６）を有する、携帯端末（１０）における画像検索方法であって、携帯端末のプロセッサ（３０）が、カメラモジュールから取得されたリアルタイム動画像を分割する分割領域の焦点距離の相対位置関係を検出する検出ステップ（Ｓ１９）、リアルタイム動画像のタッチ操作された分割領域の焦点距離と略同じ値の焦点距離が対応付けられた分割領域を特定し、前記タッチ操作された分割領域と前記特定された分割領域とを含む抽出範囲内の画像を検索対象画像として抽出する抽出ステップ（Ｓ２３，Ｓ９５，Ｓ９７）、検索対象画像に基づき所定の情報を検索する検索ステップ（Ｓ３１）、および検索ステップにより検索された検索結果を出力する出力ステップ（Ｓ６３）を実行する、画像検索方法である。

第１２の発明でも、第１の発明と同様、被写体どうしの相対位置関係を利用することで、検索対象画像を適切に抽出することが出来るため、画像検索の検索精度を向上させることが出来る。
第１３の発明は、カメラモジュール、表示部およびタッチ操作を検出するタッチパネルを有する、携帯端末であって、カメラモジュールから取得されたリアルタイム動画像を分割する分割領域の焦点距離の相対位置関係を検出する検出部、リアルタイム動画像のタッチ操作された分割領域の焦点距離と略同じ値の焦点距離が対応付けられた分割領域を特定し、前記タッチ操作された分割領域と前記特定された分割領域とを含む抽出範囲内の画像を検索対象画像として抽出する抽出部、検索対象画像に基づき所定の情報を検索する検索部、およびリアルタイム動画像において、検索部により検索された検索結果を出力する出力部を備え、検索部は、所定の情報を検索しているときにリアルタイム動画像において、検索対象画像が表示されている範囲に対する第２タッチ操作があると、所定の情報の検索を解除する、携帯端末である。
第１４の発明は、第１３の発明に従属し、検索部は、所定の情報を検索しているときに検索対象画像が表示されている範囲外に対する第３タッチ操作があると、リアルタイム動画像から新たな検索対象画像を抽出する。

この発明によれば、画像検索を容易に行うことが出来る。

この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１はこの発明の一実施例の携帯電話機の外観の一例を示す外観図であり、図１（Ａ）は携帯電話機の表面の外観を示し、図１（Ｂ）は携帯電話機の裏面の外観を示す。 図２は図１に示す携帯電話機の電気的な構成を示す図解図である。 図３は図１に示すディスプレイにプレビュー画像が表示されている状態の一例を示す図解図である。 図４は図３に示すプレビュー画像においてＡＦ処理を行う手順の一例を示す図解図であり、図４（Ａ）はプレビュー画像に対してタッチ操作がされている状態の一例を示し、図４（Ｂ）はＡＦ処理によって被写体にピントが合った状態の一例を示す。 図５は図１に示すディスプレイに表示されるプレビュー画像に対して設定される分割領域の一例を示す図解図である。 図６は図２に示すＲＡＭに記憶される相対位置関係テーブルの一例を示す図解図である。 図７は図１に示すディスプレイに表示されるプレビュー画像において検索モードに切り替える操作の一例を示す図解図であり、図７（Ａ）は検索キーに対してタップ操作がされている状態の一例を示し、図７（Ｂ）は検索モードに切り替わった状態の一例を示す。 図８は図１に示すディスプレイに表示されるプレビュー画像から検索対象画像が抽出される処理の流れの一例を示す図解図であり、図８（Ａ）は任意の位置にタップ操作がされている状態の一例を示し、図８（Ｂ）は相対位置関係が検出されると共に、タップ操作がされた被写体にピントが合わせられた状態の一例を示し、図８（Ｃ）は抽出範囲が設定された状態の一例を示す。 図９は図１に示すディスプレイに表示される検索対象画像によって画像検索を行う操作の一例を示す図解図であり、図９（Ａ）は画像検索を行うためのタッチ操作の一例を示し、図９（Ｂ）は検索結果が表示されている状態の一例を示す。 図１０は図１に示すディスプレイに他の実施例の検索モードのプレビュー画像が表示されている状態の一例を示す図解図である。 図１１は図２に示すＲＡＭのメモリマップの一例を示す図解図である。 図１２は図２に示すプロセッサのカメラ機能処理の一部の一例を示すフロー図である。 図１３は図２に示すプロセッサのカメラ機能処理の他の一部の一例であって、図１２に後続するフロー図である。 図１４は図２に示すプロセッサの画像検索処理の一例を示すフロー図である。 図１５は図１に示すディスプレイに表示されるプレビュー画像から検索対象画像が抽出される処理の流れの他の一例を示す図解図であり、図１５（Ａ）は任意の位置にタップ操作がされている状態の一例を示し、図１５（Ｂ）は相対位置関係が検出されると共に、タップ操作がされた被写体にピントが合わせられた状態の一例を示し、図１５（Ｃ）は抽出範囲が設定された状態の一例を示し、図１５（Ｄ）は抽出範囲から検索対象画像が抽出されている状態の一例を示し、図１５（Ｅ）は抽出された検索対象画像が表示されている状態の一例を示す。 図１６は図１５に示すプレビュー画像において検索対象画像を変更する操作の一例を示す図解図であり、図１６（Ａ）は他の検索対象画像を抽出するためのタッチ操作の一例であり、図１６（Ｂ）は他の検索対象画像が抽出されている状態の一例を示す。 図１７は図１５に示すプレビュー画像において検索対象画像の抽出を解除する操作の一例を示す図解図であり、図１７（Ａ）は検索対象画像に対してタッチ操作がされている状態の一例を示し、図１７（Ｂ）は検索対象画像の抽出が解除された状態の一例を示す。 図１８は図１に示すディスプレイに表示されるプレビュー画像から検索対象画像が抽出される処理の流れのその他の一例を示す図解図であり、図１８（Ａ）は人間の顔に対してタップ操作がされている状態の一例を示し、図１８（Ｂ）は検出された人間の顔が検索対象画像として抽出され、かつ検索を行うタッチ操作が行われている状態の一例を示し、図１８（Ｃ）は検索結果が表示されている状態の一例を示す。 図１９は図１８に示す検索結果を他の検索結果に切り換える操作の一例を示す図解図であり、図１９（Ａ）はカーソルに対してタッチ操作がされている状態の一例を示し、図１９（Ｂ）は他の検索結果が表示されている状態の一例を示す。 図２０は図２に示すプロセッサの第２実施例のカメラ機能処理の一部の一例を示すフロー図である。

＜第１実施例＞
図１（Ａ），（Ｂ）を参照して、この発明の一実施例の携帯電話機１０は、一例としてスマートフォン（smartphone）であり、縦長の扁平矩形のハウジング１２を含む。ただし、この発明は、デジタルカメラ、タブレット端末、タブレットＰＣ、ノートＰＣおよびＰＤＡなど任意の携帯端末に適用可能であることを予め指摘しておく。

ハウジング１２の主面（表面）には、表示部とも呼ばれる、たとえば液晶や有機ＥＬなどのディスプレイ１４が設けられる。ディスプレイ１４の上には、タッチパネル１６が設けられる。

ハウジング１２の縦方向一端の主面側にスピーカ１８が内蔵され、縦方向他端の主面側にマイク２０が内蔵される。

ハウジング１２の主面には、タッチパネル１６と共に入力操作手段を構成するハードキーとして、この実施例では、通話キー２２ａ、終話キー２２ｂおよびメニューキー２２ｃが設けられる。

また、ハウジング１２の他面（裏面）には、カメラモジュールのレンズ５４などに通じるレンズ開口２４が設けられる。

たとえば、ユーザは、ディスプレイ１４に表示されたダイヤルパッドに対して、タッチパネル１６によってタッチ操作を行うことで電話番号を入力でき、通話キー２２ａを操作して音声通話を開始することができる。終話キー２２ｂを操作すれば、音声通話を終了することができる。なお、ユーザは終話キー２２ｂを長押しすることによって、携帯電話機１０の電源をオン／オフすることができる。

また、メニューキー２２ｃが操作されると、ディスプレイ１４にホーム画面が表示される。ユーザは、その状態でディスプレイ１４に表示されているオブジェクトなどに対して、タッチパネル１６によるタッチ操作を行うことによってオブジェクトを選択し、その選択を確定させることができる。

また、カメラ機能が実行されると、ディスプレイ１４に被写界と対応するプレビュー画像（スルー画像）が表示される。そして、ユーザは、レンズ開口２４が設けられている他面を任意の被写体に向けて撮影操作を行うことで、撮影することが出来る。

なお、携帯電話機１０は、電話機能以外に、メール機能およびブラウザ機能などを実行可能である。また、以下の説明では、ディスプレイ１４に表示されるキーなどのＧＵＩおよびアイコンなどは、まとめてオブジェクトと言うことがある。

図２を参照して、図１に示す実施例の携帯電話機１０は、コンピュータまたはＣＰＵと呼ばれるプロセッサ３０などを含む。プロセッサ３０には、無線通信回路３２、Ａ／Ｄ変換器３６、Ｄ／Ａ変換器３８、入力装置４０、表示ドライバ４２、フラッシュメモリ４４、ＲＡＭ４６、タッチパネル制御回路４８およびカメラ制御回路５０などが接続される。

プロセッサ３０は、携帯電話機１０の全体制御を司る。ＲＡＭ４６には、フラッシュメモリ４４に予め設定されているプログラムの全部または一部が使用に際して展開され、プロセッサ３０はこのＲＡＭ４６上のプログラムに従って動作する。また、ＲＡＭ４６はさらに、プロセッサ３０のワーキング領域ないしバッファ領域として用いられる。

入力装置４０は、図１に示すハードキー２２を含むものである。そのため、ハードキー２２に対するユーザからのキー操作を受け付ける操作受付部を構成する。ユーザが操作したハードキーの情報（キーデータ）はプロセッサ３０に入力される。

無線通信回路３２は、アンテナ３４を通して、音声通話やメールなどのための電波を送受信するための回路である。実施例では、無線通信回路３２は、ＣＤＭＡ方式での無線通信を行うための回路である。たとえば、ユーザがタッチパネル１６を操作して発呼（音声発信）を指示すると、無線通信回路３２は、プロセッサ３０の指示の下、音声発信処理を実行し、アンテナ３４を介して音声発信信号を出力する。音声発信信号は、基地局および通信網を経て相手の電話機に送信される。そして、相手の電話機において音声着信処理が行われると、通信可能状態が確立され、プロセッサ３０は通話処理を実行する。

また、無線通信回路３２はアンテナ３４を介して、ネットワーク（通信網、電話網）１００と無線接続される。データサーバ１０２は、有線または無線で、ネットワーク１００と接続される。したがって、携帯電話機１０は、ネットワーク１００を介してデータサーバ１０２と通信を確立することが出来る。

Ａ／Ｄ変換器３６には図１に示すマイク２０が接続され、上述のようにマイク２０からの音声信号はこのＡ／Ｄ変換器３６でディジタルの音声データに変換され、プロセッサ３０に入力される。一方、Ｄ／Ａ変換器３８にはスピーカ１８が接続される。Ｄ／Ａ変換器３８は、ディジタルの音声データを音声信号に変換して、アンプを介してスピーカ１８に与える。したがって、音声データに基づく音声がスピーカ１８から出力される。そして、通話処理が実行されている状態では、マイク２０によって集音された音声が相手の電話機に送信され、相手の電話機で集音された音声が、スピーカ１８から出力される。

なお、プロセッサ３０は、たとえばユーザによるボリューム調整操作に応答して、Ｄ／Ａ変換器３８に接続されるアンプの増幅率を制御することによって、スピーカ１８から出力される音声の音量を調整することが出来る。

表示ドライバ４２には図１に示すディスプレイ１４が接続され、したがって、ディスプレイ１４はプロセッサ３０から出力される映像または画像データに従って映像または画像を表示する。表示ドライバ４２は表示する画像データを一時的に記憶するビデオメモリを含んでおり、プロセッサ３０から出力されたデータはこのビデオメモリに記憶される。そして、表示ドライバ４２は、ビデオメモリの内容に従って、ディスプレイ１４に画像を表示する。つまり、表示ドライバ４２は、プロセッサ３０の指示の下、当該表示ドライバ４２に接続されたディスプレイ１４の表示を制御する。そのため、プロセッサ３０は表示制御部と呼ばれることもある。なお、ディスプレイ１４には、バックライトが設けられており、表示ドライバ４２はプロセッサ３０の指示に従って、そのバックライトの明るさや、点灯／消灯を制御する。

タッチパネル制御回路４８には、タッチパネル１６が接続される。タッチパネル制御回路４８は、タッチパネル１６に必要な電圧などを付与するとともに、タッチパネル１６に対するユーザによるタッチの開始を示すタッチ開始信号、ユーザによるタッチの終了を示す終了信号、およびユーザがタッチしたタッチ位置を示す座標データをプロセッサ３０に入力する。したがって、プロセッサ３０はこの座標データに基づいて、ユーザがどのオブジェクトに対してタッチしたかを判断することが出来る。

実施例では、タッチパネル１６は、その表面と指などの物体（以下、便宜上合わせて指と言う。）との間に生じる静電容量の変化を検出する静電容量方式のタッチパネルである。タッチパネル１６は、たとえば１本または複数本の指がタッチパネル１６に触れたことを検出する。そのため、タッチパネル１６はポインティングデバイスとも呼ばれる。タッチパネル制御回路４８は、タッチパネル１６のタッチ有効範囲内でのタッチ操作を検出して、そのタッチ操作の位置を示す座標データをプロセッサ３０に出力する。つまり、ユーザは、タッチパネル１６の表面に対してタッチ操作を行うことによって、操作位置や、操作方向などを携帯電話機１０に入力する。

本実施例のタッチ操作には、タップ操作、ロングタップ操作、フリック操作、スライド操作などが含まれる。

タップ操作は、タッチパネル１６の表面に指を接触（タッチ）させた後、短時間のうちにタッチパネル１６の表面から指を離す（リリースする）操作である。ロングタップ操作は、所定時間以上、指をタッチパネル１６の表面に接触させ続けた後、指をタッチパネル１６の表面から離す操作である。フリック操作は、タッチパネル１６の表面に指を接触させ、任意の方向へ所定速度以上で指を弾く操作である。スライド操作は、タッチパネル１６の表面に指を接触させたまま任意の方向へ移動させた後、タッチパネル１６の表面から指を離す操作である。

また、上記のスライド操作には、ディスプレイ１４の表面に表示されたオブジェクトに指を触れ、オブジェクトを移動させるスライド操作、いわゆるドラッグ操作も含まれる。また、ドラッグ操作の後、タッチパネル１６の表面から指を離す操作をドロップ操作と呼ぶ。

なお、以下の説明では、タップ操作、ロングタップ操作、フリック操作、スライド操作、ドラッグ操作およびドロップ操作は、それぞれ「操作」を省略して記述されることがある。また、タッチ操作はユーザの指だけに限らず、スタイラスペンなどによって行われてもよい。

カメラ制御回路５０には、イメージセンサ５２およびレンズ５４のレンズ位置を調整するモータ（図示せず）などが接続される。また、カメラ制御回路５０は、携帯電話機１０で静止画像または動画像を撮影するための回路である。たとえば、カメラ機能を実行する操作が行われると、プロセッサ３０はカメラ制御回路５０を起動して、カメラ機能を実行する。なお、カメラ制御回路５０、イメージセンサ５２およびレンズ５４は、まとめてカメラモジュールまたは撮影部と呼ばれる。

たとえば、被写体の光学像はイメージセンサ５２に照射され、イメージセンサ５２の撮像エリアには、たとえばSXGA(1280×1024画素)に対応する受光素子が配置されており、撮像エリアでは、光電変換によって、被写体の光学像に対応する電荷つまりSXGAの生画像信号が生成される。なお、ユーザは、画像データのサイズを、SXGAの他に、XGA(1024×768画素)およびVGA(640×480画素)などに変更することができる。

カメラ機能が実行されると、被写体のリアルタイム動画像つまりプレビュー画像をディスプレイ１４に表示するべく、プロセッサ３０は、カメラ制御回路５０に内蔵されるイメージセンサドライバを起動させ、露光動作および指定された読み出し領域に対応する電荷読み出し動作を、イメージセンサドライバに命令する。

イメージセンサドライバは、イメージセンサ５２の撮像面の露光と、当該露光によって生成された電荷の読み出しとを実行する。この結果、生画像信号が、イメージセンサ５２から出力される。また、出力された生画像信号はカメラ制御回路５０に入力され、カメラ制御回路５０は入力された生画像信号に対して、色分離、白バランス調整、YUV変換などの処理を施し、YUV形式の画像データを生成する。そして、YUV形式の画像データはプロセッサ３０に入力される。

ここで、カメラ制御回路５０は生画像信号からフォーカス評価値を算出し、そのフォーカス評価値をプロセッサ３０に出力する。プロセッサ３０は、カメラ制御回路５０から出力されたフォーカス評価値に基づいて、ＡＦ（オートフォーカス）処理を実行する。ＡＦ処理が実行されると、カメラ制御回路５０はプロセッサ３０の指示の下、レンズ５４の焦点距離ｆを調整する。その結果、被写体にピントが合わせられたスルー画像がディスプレイ１４に表示される。

また、プロセッサ３０に入力されたYUV形式の画像データは、プロセッサ３０によってＲＡＭ４６に格納（一時記憶）される。さらに、格納されたYUV形式の画像データは、プロセッサ３０でRGBデータに変換された後に、ＲＡＭ４６から表示ドライバ４２に与えられる。そして、RGB形式の画像データがディスプレイ１４に出力される。これによって、被写体を表す低解像度（たとえば、320×240画素）のプレビュー画像がディスプレイ１４に表示される。

静止画像の撮影操作が行われると、プロセッサ３０は、静止画像の本撮影処理を実行する。つまり、プロセッサ３０は、イメージセンサ５２から出力されるSXGAの生画像信号に信号処理を施して、ＲＡＭ４６に一旦格納し、フラッシュメモリ４４に対する記憶処理を実行する。記憶処理が実行されると、プロセッサ３０を通してＲＡＭ４６から撮影画像データが読み出される。そして、プロセッサ３０は、読み出した撮影画像データにメタ情報を関連付けて、一つのファイルとしてフラッシュメモリ４４に記憶する。さらに、プロセッサ３０は、図示しないスピーカから、本撮影処理が実行されていること通知する音を出力させる。

なお、携帯電話機１０にメモリカードが接続される場合、撮影画像データはメモリカードに記憶されてもよい。また、撮影画像データに関連付けられるメタ情報は、Ｅｘｉｆフォーマットで記憶される。

また、ユーザが動画像を撮影する設定をして撮影操作を行うと、プロセッサ３０は、動画像用の本撮影処理を実行する。このとき、プロセッサ３０は、カメラ制御回路５０に対して、VGAの生画像信号を所定のフレームレートで出力させる命令を発行する。そして、プロセッサ３０は、静止画像の本撮影処理と同様、所定のフレームレートで読み出された各生画像信号に対して複数の処理を加えた後に、動画像データをフラッシュメモリ４４に記憶する。

なお、フラッシュメモリ４４にはアドレス帳データが記憶されている。そして、フラッシュメモリ４４に記憶されているアドレス帳データと撮影画像データとはまとめてデータベースと呼ばれることがある。

図３はディスプレイ１４にプレビュー画像が表示されている状態の一例を示す図解図である。ディスプレイ１４の表示範囲は状態表示領域６０および機能表示領域６２を含む。状態表示領域６０には、アンテナ３４による電波受信状態を示すピクト、二次電池の残電池容量を示すピクトおよび時刻が表示される。機能表示領域６２には、カメラ画面が表示される。カメラ画面には、カメラモジュールの出力に基づくプレビュー画像が表示されると共に、カメラ画面の左側にはズームスライダーおよびメニューキーが表示され、カメラ画面の右側にはシャッターキー、閲覧キーおよび検索キーが表示される。

ズームスライダーに対してスライド操作がされると、デジタルズーム処理または光学ズーム処理によって画角が変化する。

メニューキーに対してタップ操作がされると、ホワイトバランスおよび露出補正などの設定を変更するためのＧＵＩが表示される。シャッターキーに対してタップ操作がされると、上述した本撮影処理が実行される。閲覧キーに対してタップ操作がされると、フラッシュメモリ４４に記憶されている撮影画像データを閲覧可能にする閲覧機能が実行される。そして、検索キーに対してタッチ操作がされると、検索モードが設定される。検索モードについては後述するため、ここでの詳細な説明は省略する。

また、プレビュー画像において任意の位置にタップ操作がされると、タップされた被写体にピントが合うように、ＡＦ処理が実行される。たとえば、図３では、手前の花壇に対してピントがあった状態であるが、図４（Ａ）に示すように、背後の自動車に対してタップされると、その自動車にピントが合うようにＡＦ処理が実行される。その結果、ディスプレイ１４には、図４（Ｂ）に示すように、自動車にピントが合った状態のプレビュー画像が表示される。

ここで、本実施例では、本撮影処理が実行されるときに、被写体どうしの相対位置関係を検出し、検出した相対位置関係をメタ情報として記憶する。

具体的には、図５を参照して、プレビュー画像に対して９つの分割領域Ｒ１−Ｒ９を設定する。シャッターキーが操作されると、レンズ５４の焦点距離ｆをワイド端からテレ端に変化させ、焦点距離ｆが変化しているときの各分割領域Ｒのそれぞれのフォーカス評価値を算出する。また、フォーカス評価値が最大値となったときの焦点距離ｆをそれぞれ特定し、特定された焦点距離ｆ１−ｆ９が、分割領域Ｒ１−Ｒ９にそれぞれ対応付けられて、図６に示す相対位置関係テーブルに記憶される。そして、このようにして焦点距離ｆ１−ｆ９が記憶された相対位置関係テーブルは、撮影画像データのメタ情報の一部として記憶される。

たとえば、被写体どうしの相対位置が異なる場合、それぞれの被写体が含まれる分割領域Ｒと対応する各焦点距離ｆは異なる。一方、被写体どうしの相対位置が同じである場合、それぞれの被写体が含まれる分割領域Ｒと対応する各焦点距離ｆは略同じ値となる。つまり、分割領域Ｒ５の焦点距離ｆ５および分割領域Ｒ６の焦点距離ｆ６を比較したときに、異なっていれば、分割領域Ｒ５に含まれる被写体と分割領域Ｒ６に含まれる被写体とは、携帯電話機１０から異なる位置（距離）に存在していることとなる。また、２つの分割領域Ｒの焦点距離ｆが略同じであれば、それぞれの分割領域Ｒに含まれる被写体は、携帯電話機１０から略同じ位置（距離）に存在していることがわかる。つまり、複数の分割領域Ｒに対して、フォーカス評価値が最大となった時の焦点距離ｆを記憶することで、被写体どうしの相対位置関係を検出することが出来る。このように、レンズ５４の焦点距離ｆを利用して相対位置関係を検出することが可能であるため、カメラモジュールを備える既存の携帯端末でもソフトウェアを更新または追加することで、被写体どうしの相対位置関係を検出できるようになる。

なお、本実施例では、焦点距離ｆを略同じ値と判断する範囲は、０．０−０．２ｍｍとする。ただし、他の実施例では上述の範囲より狭く設定されてもよいし、広く設定されてもよい。

また、本実施例では分割領域Ｒの数を９つとしたが、他の実施例ではさらに多くてもよいし、少なくてもよい。また、分割領域Ｒの大きさは全てが同じであってもよいし、全部または一部が異なる大きさであってもよい。

次に、検索モードについて説明する。図７（Ａ），（Ｂ）を参照して、上述したように、検索キーに対してタップ操作がされると、検索モードに遷移する。検索モードでは、検索キーの色が反転すると共に、ズームスライダーおよびメニューキーの表示が消去される。そして、検索モードでは、画像検索によって画像を利用してデータサーバ１０２またはフラッシュメモリ４４に記憶されるデータベースから、検索用の画像についての検索結果を得ることが出来る。検索モードで検索キーに対してタップ操作がされると、撮影モードに戻る。画像検索のアルゴリズム等については、広く一般的な技術であるため詳細な説明は省略する。

図８（Ａ）−（Ｃ）を参照して、たとえばプレビュー画像において被写体を示す位置にタップ操作がされると、相対位置関係テーブルに、各分割領域Ｒの焦点距離ｆが記憶され、かつタッチ位置に基づいてＡＦ処理が実行される。そして、焦点距離ｆが記憶された相対位置関係テーブルに基づいて、タップされた分割領域Ｒに含まれる被写体と略同じ位置に存在する被写体を含む分割領域Ｒが特定される。つまり、タップされた分割領域Ｒの焦点距離ｆと略同じ値の焦点距離ｆが対応付けられた分割領域Ｒが特定される。たとえば、分割領域Ｒ５と分割領域Ｒ８との焦点距離ｆが略同じであれば、分割領域Ｒ５に対してタップ操作がされると、分割領域Ｒ５と共に、分割領域Ｒ８が特定される。そして、分割領域Ｒ５および分割領域Ｒ８は１つの抽出範囲として設定され、抽出範囲内の画像が検索対象画像として抽出される。また、検索対象画像が抽出されると、抽出範囲以外のプレビュー画像の色はグレースケールに変更される。このように、抽出範囲を設定することで、ユーザは抽出される検索対象画像を把握することが出来る。

また、抽出範囲に対してタップ操作がされると、検索対象画像の抽出が解除される。さらに、抽出範囲以外の位置にタップ操作がされると、検索対象画像が変更される。つまり、抽出範囲以外の位置にタップ操作が行われると、既に抽出されていた検索対象画像の抽出が解除され、タップ操作が行われた抽出範囲内の画像が新たな検索対象画像として抽出される。上記の態様によれば、ユーザは、検索対象を誤って選択したとしても、任意に変更することが出来る。

図９（Ａ）を参照して、検索対象画像が抽出された状態で、シャッターキーが操作されると、検索対象画像による検索結果を得るために、画像検索処理が実行される。具体的には、データサーバ１０２およびフラッシュメモリ４４に記憶されるデータベースから、検索対象画像と関連する情報が検索される。たとえばここでは、検索対象画像には被写体として花が含まれており、データサーバ１０２のデータベースから花の名称や特徴などの情報が検索結果として得られる。そして、図９（Ｂ）に示すように、得られた検索結果を含む検索結果ポップアップＰが、検索対象画像に関連付けて表示される。

また、図９（Ｂ）に示す検索結果ポップアップＰの中には、テキストが表示されているが、検索結果として画像が得られた場合は、その画像も検索結果ポップアップＰの中に表示される。さらに、検索結果ポップアップＰに対してダブルタップ操作がされると、得られた検索結果が機能表示領域６２に拡大して表示される。そして、検索結果ポップアップＰの外側にタップ操作がされると、検索結果が消去されると共に抽出範囲の設定が解除され、検索対象を任意に選択することが出来る図７（Ｂ）に示す状態に戻る。なお、複数の検索結果を取得した場合には、切替操作によって検索結果ポップアップに表示される検索結果が切り換えられる。

このように、本実施例では、被写体どうしの相対位置関係を利用することで、検索対象画像を適切に抽出することが出来る。そのため、画像検索の検索精度を向上させることが出来る。また、ユーザは撮影中に興味を持った被写体について、画像検索を行うことが出来る。特に、ユーザはタッチパネル１６に対する直感的な操作で、検索対象を指定して画像検索を容易に行うことが出来る。

ここで、表示されている検索対象画像は矩形ではない場合が多い。ところが、画像検索を行う際には検索に利用する画像は矩形である必要がある。そこで、本実施例では、検索対象画像が抽出されると、その検索対象画像を囲うことが出来る最小面積の矩形を定義し、その矩形の中に検索対象画像を張り付けることで、画像検索を行うことが可能な状態に加工する。なお、このように加工された検索対象画像において、元の検索対象画像が描かれていない部分は、所定の色（たとえば、白ま）で彩色されるか、無色透明にされる。

なお、他の実施例では、タッチ操作による検索対象画像の抽出ではなく、カメラ画面に表示されるガイドリングＧによって検索対象画像が抽出されてもよい。たとえば、図１０を参照して、他の実施例の検索モードでは、カメラ画面にガイドリングＧが表示される。そして、ユーザはガイドリングＧの中に検索対象が入るように携帯電話機１０の位置を調整した後にシャッターキーを操作すれば、ガイドリングＧの位置に基づいて検索対象画像が抽出される。つまり、図１０の状態でシャッターキーが操作されると、分割領域Ｒ５に含まれる花に対してタッチされた場合と同様に、被写体どうしの相対位置関係が検出され、抽出範囲が設定される。そして、抽出範囲から検索対象画像が抽出され、画像検索処理が実行される。つまり、ガイドリングＧが表示されている状態では、ユーザはタッチ操作を行うことなく、検索対象画像を抽出することが出来る。そのため、シャッターキーをソフトキーではなく、ハードウエアキーとした場合は、タッチパネル１６を利用することなく、画像検索を実施することが出来るようになる。したがって、タッチパネル１６を有しないデジタルカメラなどの携帯端末であっても、本実施例を適用することが出来る。

上述では第１実施例の特徴を概説した。以下では、図１１に示すメモリマップおよび図１２−図１４に示すフロー図を用いて詳細に説明する。

図１１を参照して、ＲＡＭ４６には、プログラム記憶領域３０２とデータ記憶領域３０４とが形成される。プログラム記憶領域３０２は、先に説明したように、フラッシュメモリ４４（図２）に予め設定しているプログラムデータの一部または全部を読み出して記憶（展開）しておくための領域である。

プログラム記憶領域３０２には、カメラ機能を実行するためのカメラ機能プログラム３１０および画像検索を行うための画像検索プログラム３１２などが記憶される。なお、プログラム記憶領域３０２には、メール機能、ブラウザ機能などの機能を実行するためのプログラムも記憶される。

続いて、ＲＡＭ４６のデータ記憶領域３０４には、タッチバッファ３３０、プレビュー画像バッファ３３２、相対位置関係バッファ３３４、検索対象画像バッファ３３６および検索結果バッファ３３８などが設けられる。また、データ記憶領域３０４には、タッチ座標マップ３４０が記憶されると共に、タッチフラグ３４２も設けられる。

タッチバッファ３３０には、タッチパネル制御回路４８が出力するタッチ座標のデータ、タッチ操作の始点および終点のタッチ座標のデータなどが一時的に記憶される。プレビュー画像バッファ３３２には、カメラモジュールから出力された画像が一時的に記憶される。そして、カメラ機能が実行されたときには、プレビュー画像バッファ３３２に記憶されている画像に基づいてプレビュー画像が表示される。相対位置関係バッファ３３４には、相対位置関係が検出されたときに、相対位置関係テーブルが一時的に記憶される。検索対象画像バッファ３３６には、抽出された検索対象画像が一時的に記憶される。検索結果バッファ３３８には検索対象画像による検索結果が一時的に記憶される。

タッチ座標マップ３４０は、タッチ操作におけるタッチ座標とディスプレイ１４の表示座標とを対応付けるためのデータである。つまり、タッチパネル１６に対して行われたタッチ操作の結果が、タッチ座標マップ３４０に基づいてディスプレイ１４の表示に反映される。

タッチフラグ３４２は、タッチパネル１６に対してタッチされているか否かを判断するためのフラグである。たとえば、タッチフラグ３４２は、１ビットのレジスタで構成される。タッチフラグ３４２がオン（成立）されると、レジスタにはデータ値「１」が設定される。一方、タッチフラグ３４２がオフ（不成立）されると、レジスタにはデータ値「０」が設定される。また、タッチフラグ３４２は、タッチパネル制御回路４８の出力に基づいてオン／オフが切り換えられる。

なお、データ記憶領域３０４には、ＧＵＩなどのオブジェクトを表示するためのデータが記憶されたり、プログラムの実行に必要な、他のフラグやタイマ（カウンタ）が設けられたりする。

プロセッサ３０は、Ｗｉｎｄｏｗｓ（登録商標）ベースのＯＳや、Ａｎｄｒｏｉｄ（登録商標）およびｉＯＳ（登録商標）などのＬｉｎｕｘ（登録商標）ベースのＯＳなどその他のＯＳの制御下で、図１２、図１３に示すカメラ機能処理および図１４に示す画像検索処理などを含む、複数のタスクを並列的に処理する。

図１２はカメラ機能処理のフロー図の一部である。カメラ機能処理は、たとえばカメラ機能を実行する操作がされると開始される。ステップＳ１でプロセッサ３０は、プレビュー画像を表示する。たとえば、プロセッサ３０は、カメラ制御回路５０を動作させ、カメラ制御回路５０の出力に基づくプレビュー画像を、プレビュー画像バッファ３３２から読み出す。そして、読み出されたプレビュー画像はディスプレイ１４に表示される。

続いて、ステップＳ３でタッチ操作がされたか否かを判断する。つまり、タッチフラグ３４２がオンであるかが判断される。ステップＳ３で“ＮＯ”であれば、つまりタッチ操作がされなければ、プロセッサ３０はステップＳ３の処理を繰り返す。また、ステップＳ３で“ＹＥＳ”であれば、たとえばユーザによってタップ操作がされると、ステップＳ５でプロセッサ３０は、検索キーにタップされたか否かを判断する。つまり、検索モードを設定するタッチ操作がされたかが判断される。

ステップＳ５で“ＮＯ”であれば、つまり検索キーに対してタッチ操作がされていなければ、ステップＳ７でプロセッサ３０は、終了か否かを判断する。つまり、カメラ機能を終了させるタッチ操作されたかが判断される。ステップＳ７で“ＹＥＳ”であれば、つまりカメラ機能を終了させるタッチ操作がされた場合、プロセッサ３０はカメラ機能処理を終了する。一方、ステップＳ７で“ＮＯ”であれば、つまりカメラ機能を終了させるタッチ操作がされていなければ、ステップＳ９でプロセッサ３０は、タッチ位置に基づいて処理を実行する。たとえば、プレビュー画像の任意の位置にタップ操作がされた場合は、ＡＦ処理が実行される。また、シャッターキーにタップ操作がされた場合は、本撮影処理が実行される。そして、ステップＳ９の処理が終了すれば、プロセッサ３０はステップＳ３の処理に戻る。

また、ステップＳ５で“ＹＥＳ”であれば、つまり検索キーに対してタップされると、ステップＳ１１で検索モードが設定される。たとえば、検索モードが設定されると、図７に示すカメラ画面が表示される。

続いて、ステップＳ１３でプロセッサ３０は、抽出操作がされたか否かを判断する。たとえば、抽出操作としてプレビュー画像に対するタップ操作を受け付けたかが判断される。なお、ステップＳ１３の処理を実行するプロセッサ３０は第１受付部として機能する。ステップＳ１３で“ＮＯ”であれば、つまり抽出操作がされなければ、ステップＳ１５でプロセッサ３０は、検索キーに対してタップがされたか否かを判断する。つまり、撮影モードに遷移させる操作がされたかが判断される。ステップＳ１５で“ＹＥＳ”であれば、つまり検索キーに対してタップされると、ステップＳ１７でプロセッサ３０は、検索モードを解除する。たとえば、図３に示すカメラ画面が再び表示される。そして、ステップＳ１７の処理が終了すれば、プロセッサ３０はステップＳ３の処理に戻る。

また、ステップＳ１５で“ＮＯ”であれば、つまり検索キーにタップされていなければ、プロセッサ３０はステップＳ１３の処理に戻る。さらに、ステップＳ１３で“ＹＥＳ”であれば、つまりプレビュー画像に対してタップする抽出操作がされると、ステップＳ１９でプロセッサ３０は、相対位置関係を検出する。つまり、プロセッサ３０は、レンズ５４を駆動させる命令をカメラモジュール（カメラ制御回路５０）に出し、各分割領域Ｒにおいてフォーカス評価値が最大となったときの焦点距離ｆを相対位置関係テーブルに記憶させる。また、相対位置関係テーブルが相対位置関係バッファ３３４に記憶されると、タッチされた分割領域Ｒのフォーカス評価値が最大値となるように、カメラモジュールはレンズ５４を移動させる。つまり、相対位置関係を検出した結果を利用して、ＡＦ処理が実行される。続いて、ステップＳ２１でプロセッサ３０は、抽出範囲を設定する。つまり、相対位置関係テーブルに基づいて、タッチ操作がされた分割領域Ｒと略同じ焦点距離ｆが対応付けられている分割領域Ｒを特定し、特定された分割領域Ｒを抽出範囲として設定する。続いて、ステップＳ２３でプロセッサ３０は、検索対象画像を抽出する。つまり、設定された抽出範囲に含まれる画像の画像データを抽出し、抽出した画像データを検索対象画像バッファ３３６に記憶させる。また、検索対象画像が抽出されると、抽出範囲以外のプレビュー画像の色がグレースケールにされる。なお、ステップＳ１９の処理を実行するプロセッサ３０は検出部として機能し、ステップＳ２１の処理を実行するプロセッサ３０は設定部として機能し、ステップＳ２３の処理を実行するプロセッサ３０は抽出部として機能する。

続いて、ステップＳ２５でプロセッサ３０は、変更操作か否かを判断する。つまり、抽出範囲以外のプレビュー画像に対するタップ操作を受け付けたかが判断される。ステップＳ２５で“ＹＥＳ”であれば、つまり変更操作がされると、プロセッサ３０はステップＳ１９の処理に戻る。一方、ステップＳ２５で“ＮＯ”であれば、つまり変更操作がされていなければ、ステップＳ２７でプロセッサ３０は、解除操作か否かを判断する。つまり、プロセッサ３０は、抽出範囲に対するタップ操作を受け付けたかを判断する。ステップＳ２７で“ＹＥＳ”であれば、つまり解除操作がされると、プロセッサ３０はステップＳ１３の処理に戻る。一方、ステップＳ２７で“ＮＯ”であれば、つまり解除操作がされなければ、ステップＳ２９でプロセッサ３０は、検索操作か否かを判断する。つまり、シャッターキーに対するタップ操作を受け付けたかが判断される。ステップＳ２９で“ＮＯ”であれば、つまり検索操作がされなければ、プロセッサ３０はステップＳ２５の処理に戻る。一方、ステップＳ２９で“ＹＥＳ”であれば、つまり検索操作がされると、ステップＳ３１でプロセッサ３０は、画像検索処理を実行する。この画像検索処理の詳細については後述するため、ここでの詳細な説明は省略する。そして、ステップＳ３１の処理が終了すれば、プロセッサ３０はステップＳ１３の処理に戻る。なお、ステップＳ２５の処理を実行するプロセッサ３０は第２受付部として機能し、ステップＳ３１の処理を実行するプロセッサ３０は検索部として機能する。

図１４は画像検索処理のフロー図である。たとえば、ステップＳ３１の処理が実行されると、画像検索処理が開始される。ステップＳ５１でプロセッサ３０は、データサーバ１０２から検索対象画像を検索する。つまり、データサーバ１０２とのデータ通信を確立した後、検索対象画像をデータサーバ１０２に送信すると共に、検索対象画像データに基づく画像検索をデータサーバ１０２に要求する。続いて、ステップＳ５３でプロセッサ３０は、検索結果を取得できたか否かを判断する。つまり、検索対象画像についての検索結果をデータサーバ１０２から受信したかが判断される。ステップＳ５３で“ＮＯ”であれば、つまりデータサーバ１０２には検索対象画像に関連する情報が記憶されておらず、データサーバ１０２から検索結果を取得することが出来なければ、プロセッサ３０はステップＳ５７の処理に進む。また、ステップＳ５３で“ＹＥＳ”であれば、つまりデータサーバ１０２から検索結果を取得することが出来れば、ステップＳ５５でプロセッサ３０は、検索結果を記憶する。つまり、データサーバ１０２から受信した検索結果が検索結果バッファ３３８に記憶される。

続いて、ステップＳ５７でプロセッサ３０は、フラッシュメモリ４４から検索対象画像を検索する。たとえば、フラッシュメモリ４４に記憶される複数の撮影画像およびアドレス帳データを含むデータベースから、検索対象画像と関連する情報を検索する。続いて、ステップＳ５９でプロセッサ３０は、検索結果を取得できたか否かを判断する。つまり、フラッシュメモリ４４に検索対象画像と関連する情報が記憶されていたかを判断する。ステップＳ５９で“ＮＯ”であれば、つまり検索対象画像と関連する情報がフラッシュメモリ４４に記憶されていなければ、プロセッサ３０はステップＳ６３の処理に進む。また、ステップＳ５９で“ＹＥＳ”であれば、つまり検索対象画像と関連する情報がフラッシュメモリ４４に記憶されていれば、ステップＳ６１でプロセッサ３０は、検索結果を記憶する。たとえば、検索対象画像についての検索結果としてアドレスデータが得られた場合、そのアドレスデータが検索結果バッファ３３８に記憶される。

続いて、ステップＳ６３でプロセッサ３０は、検索結果を表示する。つまり、検索結果バッファ３３８に記憶されている内容を含む検索結果ポップアップＰがディスプレイ１４に表示される。ただし、検索結果バッファ３３８に検索結果が記憶されていない場合は、検索結果ポップアップＰの中には、「検索結果を得ることが出来ませんでした。」などの文字列が表示され、検索結果が得られなかったことが通知される。なお、ステップＳ６３の処理を実行するプロセッサ３０は出力部として機能する。

続いて、ステップＳ６５でプロセッサ３０は、検索結果が複数か否かを判断する。つまり、検索結果バッファ３３８に複数の検索結果が記憶されているかが判断される。ステップＳ６５で“ＹＥＳ”であれば、つまり検索結果が複数であれば、ステップＳ６７でプロセッサ３０は、切替操作か否かを判断する。たとえば、検索結果を切り替えるためのタッチ操作を受け付けたかが判断される。ステップＳ６７で“ＮＯ”であれば、つまり切替操作がされなければ、プロセッサ３０はステップＳ７１の処理に進む。一方、ステップＳ６７で“ＹＥＳ”であれば、つまり切替操作がされると、ステップＳ６９でプロセッサ３０は、検索結果の表示を切り替える。つまり、検索結果ポップアップＰの中には、他の検索結果が表示される。そして、ステップＳ６９の処理が終了すれば、プロセッサ３０はステップＳ６５の処理に戻る。なお、ステップＳ６７の処理を実行するプロセッサ３０は第３受付部として機能し、ステップＳ６９の処理を実行するプロセッサ３０は切替部として機能する。

ステップＳ６５で“ＮＯ”であれば、つまり検索結果バッファ３３８に記憶されている検索結果が１つであれば、ステップＳ７１でプロセッサ３０は、終了か否かを判断する。つまり、検索結果ポップアップＰの表示を終了（消去）する操作がされたかが判断される。ステップＳ７１で“ＮＯ”であれば、つまり検索結果ポップアップＰの表示を消去する操作がされなければ、プロセッサ３０はステップＳ６５の処理に戻る。一方、ステップＳ７１で“ＹＥＳ”であれば、つまり検索結果ポップアップＰの表示を消去する操作がされると、ステップＳ７３でプロセッサ３０は、検索結果の表示を消去する。つまり、検索結果ポップアップＰの表示が消去される。そして、ステップＳ７３の処理が終了すれば、プロセッサ３０は、画像検索処理を終了して、カメラ機能処理に戻る。

＜第２実施例＞
第２実施例では、抽出範囲が設定された後に、色情報に基づく領域選択や、顔検出処理などの画像処理を加えることで検索対象画像をより適切に抽出する。なお、第２実施例の携帯電話機１０は、第１実施例と略同じであるため、外観および電気的な構成などの説明は省略する。

まず、色情報に基づく領域選択を利用して検索対象画像を抽出する処理について説明する。図１５（Ａ）−（Ｃ）を参照して、検索モードで任意の被写体（たとえば、花）を示す位置にタップ操作がされると、第１実施例と同様、抽出範囲が設定される。次に、図１５（Ｄ）を参照して、抽出範囲が設定されると、タッチ位置の色情報と略同じ色情報を持つ領域が選択される。第２実施例では、このようにして選択された領域から検索対象画像が抽出される。たとえば、図１５（Ｅ）に示すように「花」の一部が検索対象画像として抽出された場合、抽出された部分（図面では太線で指示）以外のプレビュー画像の色はグレースケールにされる。

そして、このように検索対象画像が抽出されている状態でシャッターキーが操作されると、検索対象画像についての検索結果が中に表示される検索結果ポップアップＰがディスプレイ１４に表示される。

このように、色情報を利用することで、ユーザが意図する検索対象を、より適切に抽出することが出来る。

図１６（Ａ），（Ｂ）を参照して、検索対象画像が抽出されている状態で、他の被写体を示す位置にタッチ操作がされると、相対位置関係が再検出され、検索対象画像が再抽出される。また、略同時に、新たにタッチされた分割領域Ｒに含まれる被写体にピントが合うようにＡＦ処理が行われる。たとえば、奥の花壇の花に対してタップ操作がされると、奥の花壇の花にピントが合わせられた状態になると共に、タップ操作がされた花の一部が検索対象画像として抽出される。

図１７（Ａ），（Ｂ）を参照して、検索対象画像に対してタップ操作がされると、検索対象の選択が解除されプレビュー画像の色がグレースケールではなくなる。つまり、カメラ画面が、検索対象が抽出される前の状態に戻る。このように、ユーザは、検索対象画像を誤って選択してしまっても、その選択を解除することが出来る。なお、選択対象画像の選択が解除された後に、同じ分割領域Ｒ内にタッチされた場合は、色情報によって領域を選択するときの閾値などの抽出条件を変更して、検索対象画像が抽出される。

次に、顔検出処理を利用して検索対象画像を抽出する処理について説明する。図１８（Ａ）−（Ｃ）を参照して、プレビュー画像に対してタップ操作がされると、第１実施例と同様、抽出範囲が設定される。そして、設定された抽出範囲に対して顔検出処理が実行され、顔が検出されれば、検出された顔が検索対象画像として抽出される。そして、検索対象画像が抽出された状態でシャッターキーが操作されると画像検索処理が実行され、検索結果ポップアップＰがディスプレイ１４に表示される。このように、顔検出処理を利用することで、ユーザが意図する検索対象を、より適切に抽出することが出来る。

また、図１８（Ｃ）に示すように、検索結果ポップアップＰにカーソルＣが含まれている場合、複数の検索結果が取得されたことが示される。図１９（Ａ），（Ｂ）を参照して、カーソルＣに対してタップ操作がされると、検索結果ポップアップＰに表示される検索結果が切り替わる。つまり、複数の検索結果が取得された場合、ユーザは複数の検索結果のそれぞれを確認することが出来る。なお、元（前）の検索結果を表示させる場合は、左側に表示されているカーソルＣに対してタップ操作をすればよい。また、３つ以上の検索結果が取得されている場合は、次の検索結果を表示するためのカーソルＣが、検索結果ポップアップＰの右側に表示される。

また、図１９（Ａ）に示す検索結果はデータサーバ１０２から取得されたものである。たとえば、人間の顔の画像が検索対象画像として抽出された場合、その人間の顔がデータサーバ１０２のデータベースから検索される。この場合、その人間の顔が写る写真がアップロードされているＳＮＳのページ（ＨＰ）のＵＲＬが検索結果として取得されることがある。そのため、図１９（Ａ）に示す検索結果では、ＳＮＳのページ（ＨＰ）の名称およびＵＲＬが検索結果として表示されている。このように、ユーザは、データサーバ１０２上に記憶されるデータベースに対して画像検索を行うことが出来る。

なお、データサーバの１０２のデータベースから情報を検索する際には、Ｙａｈｏｏ！（登録商標）やＧｏｏｇｌｅ（登録商標）などの検索サイトが利用されてもよい。また、検索サイトによって検索結果を取得した場合、最上位に示された検索結果が検索結果ポップアップＰに表示される。また、複数の検索サイトから検索可能な状態であれば、セマンティック検索に対応している検索サイトで検索が行われるように設定されていてもよい。

また、図１９（Ｂ）に示す検索結果はフラッシュメモリ４４から取得されたものである。たとえば、フラッシュメモリ４４に記憶されるアドレス帳データにおいて、画像が関連付けられたアドレスデータがある場合、そのアドレスデータも検索対象となる。そして、ここでは検索対象画像に含まれる顔とアドレスデータに関連づけられた画像に含まれる顔との関連性が高ければ、そのアドレスデータが検索結果として取得される。そのため、図１９（Ｂ）に示す検索結果では、アドレスデータに含まれる、名前、メールアドレスおよび登録されている画像が検索結果として表示されている。つまり、携帯電話機１０のフラッシュメモリ４４に記憶されているデータベースに対して画像検索を行うことが出来る。

上述では第２実施例の特徴を概説した。以下では、図２０に示すフロー図を用いて、第２実施例について詳細に説明する。

図２１は、第２実施例のカメラ機能処理の一部のフロー図である。なお、第２実施例のカメラ機能処理では、ステップＳ１−Ｓ２１およびステップＳ２５−Ｓ３１の処理は略同じであるため、詳細な説明は省略する。

第２実施例のカメラ機能処理が実行されると、プロセッサ３０はステップＳ１−Ｓ２１の処理を実行する。また、ステップＳ２１の処理で抽出範囲が設定されると、プロセッサ３０はステップＳ９１で、顔検出処理を実行する。つまり、抽出範囲に顔が含まれているかを判断するために、抽出範囲に対して顔検出処理が実行される。続いて、ステップＳ９３でプロセッサ３０は、顔が検出されたか否かを判断する。つまり、抽出範囲で顔が検出され、かつ検出された顔にタッチ位置が含まれているかが判断される。

ステップＳ９３で“ＮＯ”であれば、つまり顔が検出されていなければ、ステップＳ９５でプロセッサ３０は、タッチ位置の色情報に基づいて検索対象画像を抽出する。たとえば、図１５（Ａ）に示すようにタップ操作がされた場合、タップされた花の色に基づいて領域が選択される。そして、選択された領域から、検索対象画像が抽出される。なお、顔が検出されていた場合であっても、その顔にタッチ位置が含まれていなければ、ステップＳ９３では“ＮＯ”と判断される。

また、ステップＳ９３で“ＹＥＳ”であれば、つまり顔が検出され、かつその顔にタッチ操作がされていれば、検出された顔に基づいて検索対象画像を抽出する。たとえば、図１８（Ａ）のように人間の顔にタップ操作がされた場合、その顔が検出されるため、検出された顔が検索対象画像として抽出される。

そして、ステップＳ９５またはステップＳ９７の処理で抽出された検索対象画像は、検索対象画像バッファ３３６に記憶される。また、ステップＳ９５またはステップＳ９７の処理が終了すれば、プロセッサ３０はステップＳ２５の処理に進む。なお、ステップＳ９５またはステップ９７の処理を実行するプロセッサ３０は抽出部として機能する。

なお、フラッシュメモリ４４に記憶される撮影画像から検索対象画像を抽出して画像検索を行ってもよい。たとえば、閲覧機能が実行され、フラッシュメモリ４４に記憶されている撮影画像の一覧がサムネイル表示されているときに、任意の撮影画像が選択されると撮影画像データおよび対応するメタデータが読み出される。この状態で、撮影画像に写る任意の被写体に対してタップ操作がされると、メタデータに含まれる相対位置関係テーブルに基づいて抽出範囲が設定され、検索対象画像が抽出される。そして、検索対象画像が抽出されると、上述したように画像検索が行われ、検索結果が表示される。

また、レンズ５４は、複数のズーム用のレンズおよび複数のフォーカス用のレンズから構成されていてもよい。この場合、フォーカス用のレンズのレンズ位置を変更させることで、焦点距離ｆを変化させずにピントを合わせることが可能である。そして、このような場合は、相対位置関係テーブルには、焦点距離ｆに代えてフォーカス用のレンズ位置が記憶されてもよい。

また、被写体までの距離を推定または測定することが出来る場合は、上述した焦点距離ｆに代えて被写体までの距離が相対位置関係テーブルに記憶されてもよい。

また、図示は省略するが、複数の被写体に対してマルチタッチ操作を行うことで、複数の検索対象画像が抽出される。また、他の実施例では、複数の検索対象画像が選択された場合、選択された検索対象画像において最も手前の被写体と最も奥の被写体との間に存在する被写体も検索対象画像として抽出されてもよい。つまり、他の実施例では、複数の抽出範囲に基づいて定められる焦点距離の範囲に含まれる、複数の抽出範囲の全てが選択される。たとえば、奥行きを持つ被写体を撮影した場合、被写体の手前の部分をタップ操作すると、被写体の手前の部分だけが検索対象画像として抽出されてしまう。そこで、手前の部分と奥の部分との２ヶ所にマルチタッチ操作を行うと、被写体全体をまとめて検索対象画像として抽出することができる。したがって、他の実施例では、ユーザが検索対象画像を抽出するときの操作が簡略化される。

また、タップ操作ではなく、任意の領域を囲うようスライド操作がされたときに、その任意の領域から検索対象画像が抽出されてもよい。

また、フラッシュメモリ４４に記憶されるデータベースには、アドレス帳データおよび撮影画像以外のデータが含まれていてもよい。

また、その他の実施例では、検索対象画像を抽出せずにシャッターキーが操作された場合、プレビュー画像の全体が検索対象画像として抽出され、画像検索処理が実行されてもよい。

また、さらにその他の実施例では、携帯電話機１０がＴＶ放送を表示可能な場合、任意のシーンをキャプチャーし、そのキャプチャーした画像から検索対象画像を抽出して画像検索を行ってもよい。

また、本実施例では、検索結果をディスプレイ１４に表示していたが、さらにその他の実施例はスピーカ１８から音声によって出力されてもよいし、他の端末またはＰＣなどに転送され、他の端末またはＰＣから出力（表示も含む）されてもよい。

また、本実施例で用いられたプログラムは、データ配信用のサーバのＨＤＤに記憶され、ネットワークを介して携帯電話機１０に配信されてもよい。また、ＣＤ，ＤＶＤ，ＢＤ（Blue-Ray Disk）などの光学ディスク、ＵＳＢメモリおよびメモリカードなどの記憶媒体に複数のプログラムを記憶させた状態で、その記憶媒体が販売または配布されてもよい。そして、上記したサーバや記憶媒体などを通じてダウンロードされた、プログラムが本実施例と同等の構成の携帯電話機にインストールされた場合、本実施例と同等の効果が得られる。

そして、本明細書中で挙げた、具体的な数値は、いずれも単なる一例であり、製品の仕様変更などに応じて適宜変更可能である。

１０ … 携帯電話機
１４ … ディスプレイ
１６ … タッチパネル
３０ … プロセッサ
４４ … フラッシュメモリ
４６ … ＲＡＭ
４８ … タッチパネル制御回路
５０ … カメラ制御回路
５２ … イメージセンサ
５４ … レンズ
１００ … ネットワーク
１０２ … データサーバ

Claims (14)

1. カメラモジュール、表示部および前記表示部へのタッチ操作を受け付けるタッチパネルを有する、携帯端末であって、
   前記タッチパネルに対するタッチ操作を受け付ける第１受付部、
   前記カメラモジュールから取得されたリアルタイム動画像を分割する分割領域の焦点距離の相対位置関係を検出する検出部、
   前記リアルタイム動画像のタッチ操作された分割領域の焦点距離と略同じ値の焦点距離が対応付けられた分割領域を特定し、前記タッチ操作された分割領域と前記特定された分割領域とを含む抽出範囲内の画像を検索対象画像として抽出する抽出部、
   前記検索対象画像に基づき所定の情報を検索する検索部、および
   前記リアルタイム動画像において、前記検索部により検索された検索結果を、前記検索対象画像と重畳しないように出力する出力部を備える、携帯端末。
2. 前記第１受付部は、前記カメラモジュールから取得されたリアルタイム動画像が表示されているとき、検索対象画像を抽出する抽出操作を受け付け、
   前記検出部は、前記第１受付部が抽出操作を受け付けたとき、前記相対位置関係を検出する、請求項１記載の携帯端末。
3. 前記相対位置関係に基づいて、前記カメラモジュールから取得されたリアルタイム動画像に対して前記抽出範囲を設定する設定部をさらに備え、
   前記抽出部は、前記抽出範囲に基づいて、前記リアルタイム動画像から前記検索対象画像を抽出する、請求項１または２記載の携帯端末。
4. 前記カメラモジュールは、レンズを含み、
   前記検出部は、前記レンズの焦点距離を利用して、前記カメラモジュールから取得されたリアルタイム動画像から分割領域の前記相対位置関係を検出する、請求項１ないし３のいずれかに記載の携帯端末。
5. 検索対象画像を変更する変更操作を受け付ける第２受付部をさらに備え、
   前記検出部は、前記第２受付部が変更操作を受け付けたとき、前記相対位置関係を再検出し、
   前記抽出部は、前記第２受付部が変更操作を受け付けたとき、当該変更操作および再検出された相対位置関係に基づいて、前記カメラモジュールから取得されたリアルタイム動画像から他の検索対象画像を抽出する、請求項１ないし４のいずれかに記載の携帯端末。
6. 前記検索部による検索結果が複数あるとき、出力される検索結果の切替操作を受け付ける第３受付部、および
   前記第３受付部が切り替え操作を受け付けたとき、出力される検索結果を切り替える切替部をさらに備える、請求項１ないし５のいずれかに記載の携帯端末。
7. 前記抽出部は、色情報に基づいて検索対象画像を抽出する、請求項１ないし６のいずれかに記載の携帯端末。
8. 前記抽出部は、顔検出を利用して検索対象画像を抽出する、請求項１ないし７のいずれかに記載の携帯端末。
9. 前記検索部は、前記検索対象画像についての検索結果を、ネットワーク上のサーバに記憶されるデータベースから出力する、請求項１ないし８のいずれかに記載の携帯端末。
10. データベースを記憶する記憶部をさらに備え、
    前記検索部は、前記検索対象画像についての検索結果を、前記記憶部に記憶されるデータベースから出力する、請求項１ないし９のいずれかに記載の携帯端末。
11. カメラモジュール、表示部および前記表示部へのタッチ操作を受け付けるタッチパネルを有する、携帯端末のプロセッサを、
    前記タッチパネルに対するタッチ操作を受け付ける第１受付部、
    前記カメラモジュールから取得されたリアルタイム動画像を分割する分割領域の焦点距離の相対位置関係を検出する検出部、
    前記リアルタイム動画像のタッチ操作された分割領域の焦点距離と略同じ値の焦点距離が対応付けられた分割領域を特定し、前記タッチ操作された分割領域と前記特定された分割領域とを含む抽出範囲内の画像を検索対象画像として抽出する抽出部、
    前記検索対象画像に基づき所定の情報を検索する検索部、および
    前記リアルタイム動画像において、前記検索部により検索された検索結果を、前記検索対象画像と重畳しないように出力する出力部として機能させる、画像検索プログラム。
12. カメラモジュール、表示部および前記表示部へのタッチ操作を受け付けるタッチパネルを有する、携帯端末における画像検索方法であって、前記携帯端末のプロセッサが、
    前記タッチパネルに対するタッチ操作を受け付けるステップ、
    前記カメラモジュールから取得されたリアルタイム動画像を分割する分割領域の焦点距離の相対位置関係を検出する検出ステップ、
    前記リアルタイム動画像のタッチ操作された分割領域の焦点距離と略同じ値の焦点距離が対応付けられた分割領域を特定し、前記タッチ操作された分割領域と前記特定された分割領域とを含む抽出範囲内の画像を検索対象画像として抽出する抽出ステップ、
    前記検索対象画像に基づき所定の情報を検索する検索ステップ、および
    前記リアルタイム動画像において、前記検索ステップにより検索された検索結果を、前記検索対象画像と重畳しないように出力する出力ステップを実行する、画像検索方法。
13. カメラモジュール、表示部およびタッチ操作を検出するタッチパネルを有する、携帯端末であって、
    前記カメラモジュールから取得されたリアルタイム動画像を分割する分割領域の焦点距離の相対位置関係を検出する検出部、
    前記リアルタイム動画像のタッチ操作された分割領域の焦点距離と略同じ値の焦点距離が対応付けられた分割領域を特定し、前記タッチ操作された分割領域と前記特定された分割領域とを含む抽出範囲内の画像を検索対象画像として抽出する抽出部、
    前記検索対象画像に基づき所定の情報を検索する検索部、および
    前記リアルタイム動画像において、前記検索部により検索された検索結果を出力する出力部を備え、
    前記検索部は、前記所定の情報を検索しているときに前記リアルタイム動画像において、前記検索対象画像が表示されている範囲に対する第２タッチ操作があると、前記所定の情報の検索を解除する、携帯端末。
14. 前記検索部は、前記所定の情報を検索しているときに前記検索対象画像が表示されている範囲外に対する第３タッチ操作があると、前記リアルタイム動画像から新たな検索対象画像を抽出する、請求項１３記載の携帯端末。

Images