JP5398570B2

JP5398570B2 - 情報処理装置及びその制御方法

Info

Publication number: JP5398570B2
Application number: JP2010027116A
Authority: JP
Inventors: 正則齊藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2010-02-10
Filing date: 2010-02-10
Publication date: 2014-01-29
Anticipated expiration: 2030-02-10
Also published as: JP2011164949A

Description

本発明は、タッチパネルを備えた情報処理装置、及びその制御方法、及びプログラム並びに記録媒体に関する。

特開２０００−１６３４４３号公報

タッチパネルを用いた従来機器には、画面上に表示された複数の検索条件に同時または所定時間以内に指で接触することによって、選択された検索条件の論理積を取るものがある（例えば特許文献１参照）。

しかし、従来例ではタッチパネル上の複数の箇所を同時または所定時間以内に指定する必要があるので、以下のような問題点があった。

第１に、タッチパネル上の複数の箇所を同時に指定する場合、一度に複数の接触点を検知することができるタッチパネルが必須となる。また、２つ以上の指示物を用いて指定する必要があり、物理的な制約となる。

第２に、タッチパネル上の複数の箇所を所定時間以内に指定する場合、ある程度以上の早い動きが要求される。また、所定時間が長すぎると、ユーザが意図しないところで論理積を取ってしまい、誤った検索条件が設定されてしまう可能性がある。

本発明は、このような不都合を解消する情報処理装置、及びその制御方法、及びプログラム、並びに記録媒体を提示することを目的とする。

本発明に係る情報処理装置は、表示手段に対するタッチ操作を検出可能なタッチ検出手段と、
前記表示手段に、それぞれ異なる検索条件を示す複数の表示アイテムを表示するように制御する表示制御手段と、
前記表示手段に対してタッチしたまま複数の表示アイテムが指定されると、指定された該複数の表示アイテムがそれぞれ示す検索条件の論理積による検索条件を設定し、前記表示手段に対するタッチによって少なくとも1つの表示アイテムが指定された後に該タッチが離され、再タッチされたことによって少なくとも１つの表示アイテムが指定されると、タッチが離される前に指定された前記少なくとも1つの表示アイテムが示す検索条件と、前記再タッチによって指定された少なくとも1つの表示アイテムが示す検索条件との論理和による検索条件を設定するように制御する制御手段とを具備することを特徴とする。

本発明では、論理積や論理和を含んだ検索条件を簡単にかつ明示的に設定できる。

本発明の一実施例の概略構成ブロック図である。本実施例の外観斜視図である。撮影画像の顔領域検出例である。説明例の論理関係を示すベン図である。本実施例の検索条件設定操作例である。図５に示す例に対する検索条件設定のフローチャートである。検索項目の表示画面例である。図７に示す画面に対する検索条件設定操作例である。図８に示す例に対する検索条件設定のフローチャートである。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明に係る情報処理装置の一実施例を構成するデジタルカメラの概略構成ブロック図を示す。図２は、本実施例の背面図を示す。

カメラ１０のＣＰＵ１２は、メモリ１４をワークエリアとして、全体を制御する。ＣＰＵ１２で動作するプログラムソフトウエア、例えば、以下に説明する検索条件設定プログラムは、図示しない不揮発性メモリ又はＲＯＭに格納されている。

撮像部１６は、被写体の光学像を電気画像データに変換し、メモリ１４に一時格納する。個人認識部１８は、メモリ１４に格納される画像データを参照して、画像中の顔領域を分離抽出し、特徴抽出により個人を認識する。具体的には、個人認識部１８は、まず、メモリ１４の画像データにバンドパスフィルタを作用させてエッジ成分を検出する。得られたエッジ成分からパターンマッチングにより顔要素（目、鼻、口及び耳）の候補群を抽出して各パーツを対応付け、予め設定した非顔条件フィルタを通すことで顔を検出する。検出された顔要素の特徴を抽出して個人の顔を特定し、その個人特定情報をＣＰＵ１２に供給する。

ＣＰＵ１２は、撮影中の被写体画像を画像表示部２０に表示する。ＣＰＵ１２は、ユーザのシャッタ操作又はレリーズ操作に従い、メモリ１４に格納される撮影画像を所定方式で圧縮符号化する。すなわち、ＣＰＵ１２は、画像データを圧縮伸長する機能を有する。ＣＰＵ１２は、シャッタ操作時の撮影画像データに対する個人認識部１８の認識結果を取り込み、圧縮画像データと共にインタフェース２６を介して記録媒体２８に記録する。このようにして、個人認識結果が、撮影画像のメタデータとして撮影画像データと共に記録媒体２８に記録される。記録媒体２８は、メモリカード又はハードディスク等からなる。

再生モードでは、ＣＰＵ１２は、記録媒体２８に記録された所望の画像の圧縮画像データを読み出し、伸長してメモリ１４に展開する。そして、画像表示部２０は、メモリ１４に展開される再生画像データを画像表示する。再生モードでも、個人認識部１８は、メモリ１４に格納される画像データを参照して、画像中の顔領域を分離抽出し、個人を認識できる。

画像表示部２０はまた、カメラ１０を設定するための種々のメニューを表示する。画像表示部２０の表示面にはタッチパネル２２が装備され、ユーザはタッチパネル２２の操作で種々の指示をＣＰＵ１２に入力できる。タッチパネル２２は、ユーザの指又は専用ペン等によるタッチ操作の検知により、タッチ位置座標を出力するデバイスである。タッチパネル２２を画像表示部２０の表示画像と組み合わせることで、恰もユーザが画像表示部２０の表示画面上に要素を直接的に操作するかのようなユーザインタフェースを実現できる。

操作部２４は、シャッタボタン、モードダイアル、十字キー及び決定キー等からなり、一般に、タッチパネル２２との併用が可能である。

コネクタ３０は、カメラ１０を外部機器に接続する接続手段である。外部機器は、例えば、パーソナルコンピュータ、又は携帯電話等の通信装置等である。

上記手段１２〜３０は、データバス３２に接続しており、データバス３２を介して必要なデータを送受信する。例えば、タッチパネル２２が検出するタッチ操作と操作位置座標の情報は、データバス３２を介してＣＰＵ１２に供給される。

ＣＰＵ１２は、タッチパネル２２の出力から、タッチパネル２２を指やペンで触れたこと、離れたこと、及び、タッチ位置座標を検出できる。従って、ＣＰＵ１２はまた、接触状態で移動する場合、タッチ位置座標の変化を追跡することで移動経路を検出できる。なお、タッチパネル２２を指やペンで触れたことを「タッチダウン」と称し、タッチパネル２２を指やペンで触れている状態にあることを、「タッチオン」と称する。タッチパネル２２に触れていた指やペンをタッチパネル２２から離すことを「タッチアップ」と称し、タッチパネルに何も触れていない状態を「タッチオフ」と称する。タッチパネル２２を指やペンで触れたまま移動することを「ムーブ」と称する。

また、タッチパネル２２を一定速度以上で短い距離をなぞるように触れる操作を、フリックと称する。換言すると、この操作は、タッチパネル２２上を指ではじくように素早くなぞる操作である。ＣＰＵ１２は、移動速度が遅い場合には、ドラッグ操作と判定する。

タッチパネル２２には、抵抗膜方式、静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のものがあり、何れであってもよい。

図２は、本実施例の背面から見た斜視図を示す。底面に、記録媒体２８を挿入するスロット３４が設けられ、蓋３６によりスロット３４を開閉できる。スロット３４に挿入された記録媒体２８は、インタフェース２６に接続する。本体の上面に操作部２４のシャッタボタン２４ａが配置され、背面に操作部２４のモードダイアル２４ｂが配置されている。シャッタボタン２４ａは、撮影指示に使用される。モードダイアル２４ｂは、各種モードの切り替えに使用される。

本実施例は、タッチパネル２２上のタッチ操作により、画面上の複数の検索項目間で論理検索条件を簡単な操作で設定できる。この機能を使って、再生画像上で複数の人物についての検索条件を設定し、記録媒体２８の記録画像から該当する画像を検索する動作を説明する。

図３（ａ）は、検索条件の設定に使用する、画像表示部２０に表示される再生画像例を示す。ＣＰＵ１２は検索条件設定用に指定された画像データを記録媒体２８から読み出して、顔領域を示す枠付きで画像表示部２０に表示させる。指定画像データのメタデータに顔認識結果が含まれない場合、ＣＰＵ１２は、指定画像データを個人認識部１８に転送して、個人認識を実行させ、その結果に基づき顔領域を示す枠を画像表示部２０の表示画像に重畳表示させる。個人認識部１８の認識結果として、図３（ｂ）に示すように、人物Ａ〜Ｅとその顔領域が識別されたとする。

本実施例では、図３（ａ）に示す表示画像上で、人物Ａ〜Ｅの内の複数の人物をタッチ操作で指定しつつ、指定した人物間の論理関係も同時に指定して、検索条件を設定できる。ＣＰＵ１２は、設定された検索条件を記録媒体２８に記録される撮影画像に適用し、検索条件に合致する画像を抽出する。

この説明例では、画像に含まれる人物の顔部分が検索項目として評価される。ＣＰＵ１２は、タッチパネル２２に指を接触させたままで複数の検索項目をなぞる操作を、これら複数の検索項目を論理積で接続することと解釈する。ＣＰＵ１２は、タッチパネル２２から指を離して他の検索項目上をタッチする操作を、指を離す前の検索項目と、タッチした検索項目とを論理和で接続することと解釈する。なお、論理積で複数の検索項目を指定した後に、タッチパネル２２から指を離して他の検索項目上をタッチした場合、論理積で接続する検索項目と、当該他の検索項目との論理和となる。

３人を複合指定する場合には、例えば、図４（ａ），（ｂ），（ｃ）にベン図として示すような各ケースが考えられる。図４（ａ）に示す例は、人物Ａ，Ｂ，Ｃの何れをも含む場合である。図４（ｂ）に示す例は、人物Ａ，Ｂを含むか、又は、人物Ｃを含む場合である。図４（ｃ）に示す例は、人物Ａ、Ｂ，Ｃの何れか一人以上を含む場合である。

図４（ａ），（ｂ），（ｃ）に示す例に対するタッチパネル２２の操作を、それぞれ、図５（ａ），（ｂ），（ｃ）に示す。

図４（ａ）に示すケースに対しては、図５（ａ）に示すように、タッチパネル２２面上に指を接触させたまま、人物Ａ，Ｂ，Ｃの顔枠内を指が通るようになぞれば良い。

図４（ｂ）に示すケースに対しては、図５（ｂ）に示すように人物Ａの顔枠内から人物Ｂの顔枠内を通るように指をタッチパネル２２から離すことなく移動させる。その後、一旦、タッチパネル２２から指を離してから、人物Ｃの顔枠内をタッチする。もちろん、人物Ｃを指定してから、人物Ａ，Ｂを指定してもよい。

図４（ｃ）に示すケースに対しては、タッチパネル２２の人物Ａ，Ｂ，Ｃの顔枠内のみを個別にタッチする。タッチする人物の順番は、制約されない。

操作部２４又はタッチパネル２２の特定のキー、例えば決定キーを操作することで、検索入力が終了し、検索式が確定する。ＣＰＵ１２は、確定した検索式に従い、記録媒体２８に記録される撮影画像のメタデータを検索する。ＣＰＵ１２は、検索条件に合致した撮影画像のサムネイルを作成し、画像表示部２０にサムネイル画を表示する。

図６は、本実施例の検索条件設定動作のフローチャートを示す。検索条件の設定を開始する操作に従い、ＣＰＵ１２が、図６に示す動作をスタートする。ＣＰＵ１２の検索条件設定プログラムが、タッチパネル２２からのタッチオン検出信号を待機する（Ｓ６０１）。タッチ動作が検出されると（Ｓ６０１）、ＣＰＵ１２は、タッチされた部分の軌跡の記録を始める（Ｓ６０２）。ＣＰＵ１２は、タッチオフの検出まで（Ｓ６０３）、タッチ部分の記録を続け、一度のタッチ動作の軌跡を記録する。

ＣＰＵ１２は、記録されたタッチ動作の軌跡と再生画像内にある人物の顔枠との重なりを判断する（Ｓ６０４）。重なりが無い場合（Ｓ６０４）、Ｓ６０１に戻る。重なりがある場合（Ｓ６０４）、ＣＰＵ１２は、複数の顔枠と重なりがあるかどうかを判断する（Ｓ６０５）。複数の顔枠と重なっている場合（Ｓ６０５）、ＣＰＵ１２は、顔枠が示す複数の人物の論理積を検索条件として追加する（Ｓ６０６）。複数の顔枠と重なっていない場合（Ｓ６０５）、つまり一つの顔枠しか指定されていない場合、ＣＰＵ１２は、指定された人物を検索条件として追加する（Ｓ６０７）。

ユーザから検索条件の設定が終了したかどうかを受け付ける（Ｓ６０８）。検索条件追加が終了していない場合（Ｓ６０９）、Ｓ６０１に戻り、新たな検索条件を設定する。検索条件追加が終了した場合（Ｓ６０９）、ＣＰＵ１２は、設定した全ての検索条件の論理和を取り、最終的な検索条件とする。そして、ＣＰＵ１２は、最終的な検索条件で記録媒体２８に記録される撮影画像のメタデータを検索し、検索条件に合った撮影画像を抽出する（Ｓ６１０）。

画像表示部２０の画面上では、一度のタッチ動作で選択された顔枠を異なる色や線種で表示する。これにより、同じグループに属した人物と、他のグループに属した人物、及び選択されていない人物とを画面上で区別できるようになる。また、タッチ部の軌跡を表示することによって、どの顔枠が同じグループに属しているかを分かりやすくすることができる。

このように、本実施例では、複数の人物（検索項目）の論理集合条件を簡単な操作で設定できる。

別の検索条件設定画面による検索条件設定例を説明する。図７は、検索項目を表示する画面例を示す。図７では、検索項目の条件アイコンとして、人物Ａ〜Ｄの顔、春夏秋冬（季節）、及び朝昼夜（時間帯）の各アイコンが表示されている。顔画像は、撮影時に自動的に、又は再生時の別メニューで、個人認識部１８により抽出され記録媒体２８に記録されたものである。

人物Ａのアイコンが選択されると、人物Ａが写った撮影画像が抽出をする検索条件が設定される。同様に人物Ｂ，Ｃ，Ｄのアイコンが選択されると、人物Ｂ、Ｃ，Ｄが写った撮影画像を抽出する検索条件が設定される。春の条件アイコンは、３月から５月に撮影された画像を抽出する検索条件となる。夏の条件アイコンは、６月から８月に撮影された画像を抽出する検索条件となる。秋の条件アイコンは、９月から１１月に撮影された画像を抽出する検索条件となる。冬の条件アイコンは、１２月から２月に撮影された画像を抽出する検索条件となる。朝の条件アイコンは、午前６時から午前１２時までに撮影された画像を抽出する検索条件となる。昼の条件アイコンは、午前１２時から午後６時までに撮影された画像を抽出する検索条件となる。夜の条件アイコンは、午前０時から午前６時まで、または午後６時から午前０時までに撮影された画像を抽出する検索条件となる。

図８（ａ）は、人物Ａ、夏及び昼の条件を同時に満たす検索条件を設定する操作例を示す。タッチパネル２２から指を離すこと無しに、人物Ａの顔アイコン、夏アイコン及び昼アイコンの各アイコン上を指でなぞる。

図８（ｂ）は、人物Ｂ又は人物Ｃの秋の撮影画像を検索する検索条件を設定する操作例を示す。タッチパネル２２から指を離すこと無しに、人物Ｂの顔アイコンと秋の条件アイコンを指でなぞる。一旦、タッチパネル２２から指を離し、次に人物Ｃの顔アイコンと秋の条件アイコンを、タッチパネル２２から指を離すこと無しに指でなぞる。人物Ｃを選択してから、人物Ｂを選択しても良い。

図８（ｃ）は、人物Ｃ，Ｄが冬の夜に撮影された画像を検索する検索条件を設定する操作例を示す。タッチパネル２２から指を離すこと無しに、人物Ｃ，Ｄの顔アイコン、冬の条件アイコン及び夜の条件アイコンを指でなぞる。アイコンの通過順序は、図示例に限定されない。

図９は、図７に示す設定画面例に対するＣＰＵ１２の動作フローチャートを示す。検索条件の設定を開始する操作に従い、ＣＰＵ１２は、図９に示す動作をスタートする。

ＣＰＵ１２は、タッチパネル２２からのタッチオン検出信号を待機する（Ｓ９０１）。タッチ動作が検出されると（Ｓ９０１）、ＣＰＵ１２は、タッチされた部分の軌跡の記録を始める（Ｓ９０２）。ＣＰＵ１２は、タッチオフの検出まで（Ｓ９０３）、タッチ部分の記録を続け、一度のタッチ動作の軌跡を記録する。

ＣＰＵ１２は、記録されたタッチ動作の軌跡と設定画面上の条件アイコンとの重なりを判断する（Ｓ９０４）。重なりが無い場合（Ｓ９０４）、Ｓ９０１に戻る。重なりがある場合（Ｓ９０４）、ＣＰＵ１２は、複数の条件アイコンとの重なりがあるかどうかを判断する（Ｓ９０５）。複数の条件アイコンと重なっている場合（Ｓ９０５）、ＣＰＵ１２は、複数の条件アイコンの論理積を検索条件として追加する（Ｓ９０６）。複数の条件アイコンと重なっていない場合（Ｓ９０５）、つまり一つの条件アイコンしか指定されていない場合、ＣＰＵ１２は、指定された条件アイコンの条件を検索条件として追加する（Ｓ９０７）。

ユーザから検索条件の設定が終了したかどうかを受け付ける（Ｓ９０８）。検索条件追加が終了していない場合（Ｓ９０９）、Ｓ９０１に戻り、新たな検索条件を設定する。検索条件追加が終了した場合（Ｓ９０９）、ＣＰＵ１２は、設定した全ての検索条件の論理和を取り、最終的な検索条件とする。そして、ＣＰＵ１２は、最終的な検索条件で記録媒体２８に記録される撮影画像のメタデータを検索し、検索条件に合った撮影画像を抽出する（Ｓ９１０）。

検索条件設定画面上で、一度のタッチ動作で選択された条件アイコンの枠等を異なる色や線種で表示する。これにより、同じグループに属した条件と、他のグループに属した条件、及び選択されていない条件とを画面上で区別できるようになる。また、タッチ部の軌跡を表示することによって、どの条件が同じグループに属しているかを分かりやすくすることができる。互いに離れた位置にある条件アイコンをタッチパネル２２から指を離さずに指定しやすくするために、隣接している条件アイコンとの間隔を十分に空けて配置するのが良い。

このように、本実施例では、人物だけでなく、撮影の季節及び日時等、複数の検索項目の論理集合条件を簡単な操作で設定できる。

以上の説明から容易に理解できるように、本発明によれば、論理積や論理和を含んだ検索条件を簡単にかつ明示的に設定できる。

撮像装置の実施例を説明したが、本発明は、複数のデータから検索条件に合致するデータを検索する際の検索条件を設定又は入力し、検索を実行する情報処理装置一般に適用可能である。

本発明の好適な実施例を詳述したが、本発明は、上述の実施例に限定されず、発明の要旨を逸脱しない範囲で様々な形態が本発明に含まれうる。

上述の実施例の機能を実現するソフトウェアのプログラムを、記録媒体から直接又は有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給し、インストールされるプログラムコード自体も、本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。

プログラムの供給方法として、コンピュータネットワーク上のサーバに本発明を構成するコンピュータプログラムを記憶し、クライアントコンピュータが当該コンピュータプログラムをダウンロードして実行するような形態もありうる。

Claims

表示手段に対するタッチ操作を検出可能なタッチ検出手段と、
前記表示手段に、それぞれ異なる検索条件を示す複数の表示アイテムを表示するように制御する表示制御手段と、
前記表示手段に対してタッチしたまま複数の表示アイテムが指定されると、指定された該複数の表示アイテムがそれぞれ示す検索条件の論理積による検索条件を設定し、前記表示手段に対するタッチによって少なくとも1つの表示アイテムが指定された後に該タッチが離され、再タッチされたことによって少なくとも１つの表示アイテムが指定されると、タッチが離される前に指定された前記少なくとも1つの表示アイテムが示す検索条件と、前記再タッチによって指定された少なくとも1つの表示アイテムが示す検索条件との論理和による検索条件を設定するように制御する制御手段と
を有することを特徴とする情報処理装置。
前記制御手段は、前記表示手段に対してタッチしたままのタッチ位置の移動軌跡によって指定された複数の表示アイテムがそれぞれ示す検索条件の論理積による検索条件を設定するように制御することを特徴とする請求項１に記載の情報処理装置。
前記制御手段は、前記タッチ位置の移動軌跡と重なる位置に表示されていた複数の表示アイテムがそれぞれ示す検索条件の論理積による検索条件を設定するように制御することを特徴とする請求項２に記載の情報処理装置。
前記表示制御手段は、前記移動軌跡を表示するように制御することを特徴とする請求項２または３に記載の情報処理装置。
前記表示制御手段は、前記複数の表示アイテムを、互いに間隔を空けた配置で表示するように制御することを特徴とする請求項１乃至４の何れか1項に記載の情報処理装置。
前記表示制御手段は、指定済みの表示アイテムを、指定されていない表示アイテムと識別可能な表示形態で表示するように制御することを特徴とする請求項1乃至５の何れか1項に記載の情報処理装置。
前記制御手段によって設定された検索条件によって検索を行う検索手段を更に有することを特徴とする請求項１乃至６の何れか1項に記載の情報処理装置。
前記表示アイテムは、検索対象に付加されたメタデータについての検索条件を示すことを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
前記検索条件によって検索される検索対象は、画像データであることを特徴とする請求項1乃至８の何れか1項に記載の情報処理装置。
前記表示アイテムは、検索対象となる画像データに写っている人物の条件を示すことを特徴とする請求項９に記載の情報処理装置。
前記表示制御手段は、前記表示アイテムとして、前記表示手段に表示されている画像から検出された人物を示す表示アイテムを、前記表示手段に表示されている前記画像に重畳して表示するように制御することを特徴とする請求項1乃至１０の何れか1項に記載の情報処理装置。
前記情報処理装置は、撮像手段を有する撮像装置であることを特徴とする請求項1乃至１１の何れか1項に記載の情報処理装置。
表示手段に対するタッチ操作を検出可能なタッチ検出ステップと、
前記表示手段に、それぞれ異なる検索条件を示す複数の表示アイテムを表示するように制御する表示制御ステップと、
前記表示手段に対してタッチしたまま複数の表示アイテムが指定されると、指定された該複数の表示アイテムがそれぞれ示す検索条件の論理積による検索条件を設定し、前記表示手段に対するタッチによって少なくとも1つの表示アイテムが指定された後に該タッチが離され、再タッチされたことによって少なくとも１つの表示アイテムが指定されると、タッチが離される前に指定された前記少なくとも1つの表示アイテムが示す検索条件と、前記再タッチによって指定された少なくとも1つの表示アイテムが示す検索条件との論理和による検索条件を設定するように制御する制御ステップと
を有することを特徴とする情報処理装置の制御方法。
コンピュータを、請求項１乃至１２のいずれか１項に記載された情報処理装置の各手段として機能させるためのプログラム。
コンピュータを、請求項１乃至１２のいずれか１項に記載された情報処理装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。