JP5134517B2 - 情報処理装置及び方法 - Google Patents

Description

本発明は、ジェスチャ入力による操作が可能な情報処理装置及びその方法に関する。

近年の機器には、タッチパネルを用いた入力方式を取り入れた機器が多く存在する。入力にタッチパネルを用いることで、ジェスチャ入力等の直感的な入力を行うことができる。ジェスチャ入力とは、あらかじめ決められた動作を特定の機器の操作に対応づけておき、タッチパネルに対し、ペンや指でジェスチャを入力することで特定の操作を実行する入力方式である。

このようなタッチパネルを用いた機器では、ペンや指でなぞるという同じ入力に対し、ユーザが行いたい処理によって機器側で実行する操作を切り替えることで、効率的に入力を行えるようになる。例えば、文字を入力しているのかジェスチャを入力しているのか切り分けるといったことである。このように同じ入力に対して、異なる操作を実行できるように処理を切り替える例としては以下のような例がある。

特許文献１では、文字入力処理とポインティング処理の２つの入力し処理を切り替えるために、タッチパネルの２点以上を同時に触るといった方法で処理の切り替えを実現している。また、特許文献２では、水平スクロール、垂直スクロール、ページ送りという処理をスイッチの押下で切り替えている。
特開平１０−２２８３５０号公報 特開２００６−２９５８８９号公報

特許文献１によれば、同一のタッチパネル上で２つの異なる処理を実現することが可能である。しかし、文字入力処理とポインティング処理を切り替えるたびに煩雑な切り替え操作（タッチパネルの２点以上を同時に触る）を行う必要があった。また、特許文献２においても、水平スクロール、垂直スクロール、ページ送り処理を切り替えるたびにスイッチを押下する必要があり、行いたい処理に切り替えるためには、選択操作を繰り返す必要があった。

本発明は上記の課題を鑑みてなされたものであり、煩雑な操作なしで同じジェスチャ入力に対して複数の異なる処理を割り当てることを可能にすることを目的とする。

上記の目的を達成するための本発明の一態様による情報処理装置は以下の構成を備える。すなわち、
タッチパネルを有し、前記タッチパネルを介してなされたジェスチャ入力を処理する情報処理装置であって、
第１の処理状態において、ユーザからの、第２の処理状態への移行の指示を受け付ける指示受付け手段と、
前記指示受付け手段で受け付けた前記指示に応じて、前記第２の処理状態で受け付けるべきジェスチャ入力の操作回数を設定する設定手段と、
前記指示受付け手段により指示を受け付けた後、前記設定手段で設定された操作回数のジェスチャ入力については、前記第２の処理状態におけるジェスチャ入力として対応する処理を実行し、前記操作回数のジェスチャ入力が行われた後のジェスチャ入力については、前記第１の処理状態におけるジェスチャ入力として対応する処理を実行する処理手段とを備える。

また、上記の目的を達成するための本発明の他の態様による情報処理方法は、
タッチパネルを有し、前記タッチパネルを介してなされたジェスチャ入力を処理する情報処理装置による情報処理方法であって、
指示受付け手段が、第１の処理状態において、ユーザからの、第２の処理状態への移行の指示を受け付ける指示受付け工程と、
設定手段が、前記指示受付け工程で受け付けた前記指示に応じて、前記第２の処理状態で受け付けるべきジェスチャ入力の操作回数を設定する設定工程と、
処理手段が、前記指示受付け工程により指示を受け付けた後、前記設定工程で設定された操作回数のジェスチャ入力については、前記第２の処理状態におけるジェスチャ入力として対応する処理を実行し、前記操作回数のジェスチャ入力が行われた後のジェスチャ入力については、前記第１の処理状態におけるジェスチャ入力として対応する処理を実行する処理工程とを有する。

本発明によれば、煩雑な操作なしで同じジェスチャ入力に対して複数の異なる処理を割り当てることができる。

以下、添付の図面を参照しながら本発明の好適な実施形態について説明する。
［第１実施形態］

本発明を適用できる情報処理装置１０１は、例えばプリンタのユーザインターフェース（ＵＩ）提示部に組み込むことができる。

本実施形態では、対象として画像を用い、複製対象として複製画像を用いて説明する。

図５の（ａ）は、本実施形態の情報処理装置１０１を適用した際のＵＩ提示部の一例を示す図である。ＵＩ提示部は画面がタッチパネル５０１で構成されており、画像表示エリア５０２の画像に対し、指やペンを用いてジェスチャ入力を行うことができる。また、印刷指定ボタン５０３を押下し、印刷の指示を入力することで、当該指示の入力時に最前面に表示されている画像の印刷指定をすることができる。なお、印刷指定ボタン５０３は一例であり、このようなボタンの押下に限らず印刷の指定が可能であれば、どうのような方法を用いても構わない。このようなＵＩ提示部は、たとえばプリンタに適用することができる。

次に、図１の機能構成図と図２のフローチャートを用いて、情報処理装置１０１について説明する。また、図３は、図２のステップＳ２０１の処理（印刷指定読み込み処理）の詳細を示すフローチャートである。また、図４は、図２のステップＳ２０３の処理（ジェスチャ認識処理）の詳細を示すフローチャートである。

第１実施形態では、図５の（ｂ）に示したような画像を指先ではじくジェスチャという１つのジェスチャ入力に対して、画像送り処理と印刷の振り分け処理の２つの処理を切り替えて扱う例について述べる。画像送り処理とは、画像閲覧のために表示する画像を切替えていく処理である。また、振り分け処理とは、グルーピングされた複数の画像を後にまとめて印刷するために、ジェスチャ入力によりはじいた方向で画像を振り分け、グルーピングするものである。コマンドデータベース１０８には、図８の（ａ）に示されるように、これらの処理（振り分け処理、画像送り処理）がジェスチャ入力（指ではじくジェスチャ）に対応付けられて登録されている。

指示入力装置１０３は、印刷指定の処理を実行するための指示入力を受け付け、指示受付け部１０５は指示入力装置１０３からの指示入力を保持する。本実施形態では、印刷指定のための指示入力が印刷指定ボタン５０３を介して指示受付け部１０５に受け付けられる。ステップＳ２０１の印刷指定読込み処理では、印刷指定ボタン５０３の押下による印刷指定の指示がなされているかどうかを読み込み、印刷指定が入力されているか否かに応じた処理を行う。

ステップＳ２０１の印刷指定読み込み処理について図３を用いて詳細に説明する。ステップＳ３０１において、対象複製部１０７は、指示受付け部１０５が保持している印刷指定の情報を見に行く。指示受付け部１０５に印刷指定が存在するならば処理はステップＳ３０１からステップＳ３０２へ進む。一方、印刷指定がなければ何も処理を行わずに印刷指定読込み処理を終了してステップＳ２０２へ進む。

ステップＳ３０２において、対象複製部１０７は、印刷指定がなされた際に、ディスプレイ／タッチパネル１０２の画像表示エリア５０２の最前面に表示されている画像（操作対象のオブジェクト）の複製画像を生成する。そして、表示制御部１１０は、対象複製部１０７からの指示により、表示されている画像を生成された複製画像で置き換えて表示する処理を行う。ここでいう複製画像の生成とは、印刷指定された画像の実体を増やすものではなく、見た目上だけ増えたように画像表示エリアに表示することである。複製される画像の数は、指示入力によって指示された処理（本例では印刷指定）に応じた操作回数と同じ数である。本実施形態では、印刷指定において画像を最大３方向に振り分けることができるため、印刷指定がなされるたびに３枚の複製画像が生成される。ここで複製された画像の枚数が最大の振り分け回数となる。但し、操作回数の設定は、上記実施形態に限られるものではなく、例えば第２実施形態で後述するように、数値入力によりユーザが指定できるようにしてもよい。

印刷指定が行われる前の状態のＵＩ提示部を図６の（ａ）に示す。図６の（ａ）の状態から印刷指定ボタン５０３が押下されるケースについて考える（図６の（ｂ））。印刷指定ボタン５０３が押下されると、最前面に表示されている画像が、上述したように３枚の複製画像６０１に置き換えられる（図６の（ｃ））。

以上のように、ステップＳ２０１においては、印刷指定ボタン５０３の押下による指示の受付けにより、「画像送り処理」を行う第１の処理状態から「画像振り分け処理」を行う第２の処理状態へと処理が移行する。そして、ステップＳ４０２では、その時点で先頭に表示されていたオブジェクトの複製画像が、画像振り分け処理で扱う枚数分だけ生成される。ステップＳ２０２以降で詳細を説明するが、この複製画像の枚数が、第２の処理状態であるところの画像振り分け処理に関して設定された操作回数となる。そしてこの操作回数のジェスチャ入力については、画像振り分け処理におけるジェスチャ入力として対応する処理が実行されることになる。そして、未処理の複製画像がなくなると、すなわち操作回数のジェスチャ入力が行われた後のジェスチャ入力については、第１の処理状態であるところの画像送り処理におけるジェスチャ入力として対応する処理が実行される。

次に、ステップＳ２０２において、ジェスチャ受付け部１０４は、ディスプレイ／タッチパネル１０２を介して入力されるジェスチャ入力を受付け可能な状態にして、ジェスチャ入力があるまで待機する。ジェスチャが入力されたら処理はステップＳ２０３へ進む。なお、ジェスチャ入力は、複製画像についても同様に行えるものとする。すなわち、ディスプレイ／タッチパネル１０２の最前面に表示されているオブジェクトが複製であっても無くても、ジェスチャ入力は受け付けられる。

ステップＳ２０３において、コマンド切替え部１０６は、ステップＳ２０２で受け付けられたジェスチャ入力を認識し、当該ジェスチャに応じた処理を行う。本実施形態では、図８の（ａ）に示したように、ジェスチャの対象が複製画像であれば、印刷する画像の振り分け処理を行い、それ以外の画像であれば、画像送り処理を行う。以下、図４のフローチャートを参照して、ステップＳ２０３のジェスチャ認識処理について説明する。

ステップＳ４０１において、コマンド切替え部１０６は、ジェスチャ入力の行われた対象が複製画像であるか否かを判断する。すなわち、当該ジェスチャ入力が行われた時点で、ディスプレイ／タッチパネル１０２の最前面に表示されていた画像が、複製か否かを判断する。この判断により、当該ジェスチャ入力が第１の処理状態（画像送り処理）のものか第２の処理状態（画像振り分け処理）のものかを判断し、対応した処理賀実行されることになる。ステップＳ４０１の判断において、ＹＥＳであれば処理はステップＳ４０２へ進み、ＮＯであればそのままステップＳ２０４へ進む。ステップＳ２０４では、画像送り処理が実行されて、ディスプレイ／タッチパネル１０２の画面上に次の画像を表示させるため、ステップＳ４０１からステップＳ２０４へ進んだ場合には、単に通常の画像送りが行われることになる。また、ステップＳ４０１では、ジェスチャ入力の対象が複製画像か否かを判断しているが、ジェスチャ入力に応じて操作回数を減算し、操作回数が０になったか否かを判断することでジェスチャ入力に対する処理を切り替えるようにしてもよい。

ステップＳ４０２において、コマンド切替え部１０６は、ジェスチャ入力に対応した処理を実行する。例えば、入力されたジェスチャが画像を指ではじくジェスチャであった場合には、「画像を指ではじくジェスチャ」であり対象が「複製画像」という条件でコマンドデータベース１０８に問い合わせ、登録されている処理を実行する。本実施形態では、図８の（ａ）の如くジェスチャが登録されており、「振り分け処理」が実行されることになる。

振り分け処理では、以下の２つの処理が行われる。
１：複製画像が持つ画像ＩＤ（対象のオブジェクトのＩＤ）を取得する。
２：当該ジェスチャによって複製画像が送られた方向を取得し、画像ＩＤと対応付けて記憶する。

３枚生成された画像Ａの複製画像に対し、画像を指ではじくジェスチャを入力する例を図７に示す。図７の（ａ）は、最前面に表示されている３枚の複製画像うち、１枚目に画像を指ではじくジェスチャを入力している図である。この場合、対象が画像Ａの複製画像であり、左方向への画像を指ではじくジェスチャであるので、コマンド切替え部１０６は、左の方向に画像Ａが送られたという情報を操作結果保持部１０９に記憶する。同様に図７の（ｂ）の場合であれば、対象が画像Ａの複製画像であり、上方向への画像を指ではじくジェスチャであるので、上方向に画像Ａが送られたという情報が操作結果保持部１０９に記憶される。操作結果保持部１０９には、図８の（ｂ）に示すように画像のＩＤと方向の対応付けがなされた状態で保持される。なお、左方向に送ったらＡさん用の画像、上方向に送ったらＢさん用の画像といったように、予め方向とユーザを割り当てておき、ユーザごとに印刷する画像を振り分けておいてもよい。

本実施形態では、印刷指定時に常に振り分け可能な方向の数だけ複製画像を作成する。そのため、図７の（ｃ）で示すように余分な複製画像を、振り分け可能でない方向にはじくことで、印刷の枚数を調整する。この場合振り分けた情報は記憶されないものとする。すなわち、複製画像に対する所定のジェスチャ入力（本例では、振り分けが対応していない方向）に応じて、オブジェクトに対して処理を行うことなく当該複製画像が破棄されて、操作回数のみが減少する。このようにすることで、設定された枚数と振り分けるべき図７の（ｃ）の処理が終了した時点で、画像Ａの複製画像が無くなるため、画像Ａを印刷する際の振り分け処理が終了する。

図７の（ｄ）の場合、画像Ｂは複製画像ではない。したがって、コマンド切替え部１０６は、入力されたジェスチャが画像を指ではじくジェスチャであり、対象が複製画像ではないという条件でコマンドデータベース１０８に問い合わせを行う。図８の（ａ）に示されるように、この条件の場合は、単に画像送りの処理が行われることになる。

次に、ステップＳ２０４において、表示制御部１１０は、コマンド切替え部１０６の指示により、画像表示エリア５０２の画像の表示を更新する処理を行う。複製画像を含む全ての画像に対して、それぞれに画像を指ではじくジェスチャが入力された場合には、次の画像を表示するように画像表示エリアの表示を更新する。すなわち、複製画像は指ではじくジェスチャにより画面から消去されていく。

ステップＳ２０５において、コマンド切替え部１０６は、複製画像が存在するかどうか（画面に表示されているかどうか）を判断する。この判断の結果、ＹＥＳならばステップＳ２０２へ進み、ＮＯならば処理を終了する。ステップＳ２０５でＮＯが選択されるまで、ステップＳ２０２からステップＳ２０４までの処理を繰り返す。

以上のような処理が終了すると、操作結果保持部１０９には図８の（ｂ）に示されるような情報が保持される。したがって、各「方向」にユーザを割り当てておけば、「方向」ごとに印刷処理を行うことで、異なる部数、異なる画像の組み合わせで、ユーザごとに印刷を行うことができる。

なお、上記実施形態によれば、印刷指定ボタン５０３による指示の受付けに応じて操作回数と同数のオブジェクトの複製画像を生成しし、順次にディスプレイに表示し、複製画像の各々について一つずつのジェスチャ入力を受け付けるようにした。しかしながら、複製画像の表示形態はこれに限られるものではなく、例えば、複数の複製画像を同時にディスプレイに表示するようにしてもよい。例えば、４枚の複製画像を同時にディスプレイに表示し、それぞれの複製画像に対して上述した「指ではじくジェスチャ」を行うことにより、画像振り分け処理を実行することができる。もちろん、第１の処理状態、第２の処理状態も上記実施形態の例（画像送り処理と画像振り分け処理）に限られるものではない。

以上のように、本実施形態によれば、機器へのジェスチャ入力を行う際に、同じジェスチャ入力に対して、煩雑な切り替え操作をすることなしに複数の異なる処理を割り当てることができるという効果がある。
［第２実施形態］

第１実施形態では、印刷の指定によって複製画像を生成し、ジェスチャ入力に対応する処理を対象の違いで切り替える例について説明した。第２実施形態では、印刷の指定を数値の入力で行い、さらに印刷枚数の指定を修正する例について説明する。

第２実施形態においても、処理の対象として画像を、複製対象として複製画像を用いて説明する。

図９は第２実施形態の全体の流れを表すフローチャートである。また、図１０は、第２実施形態によるキャンセル処理（ステップＳ９０７）の詳細を表すフローチャートである。

第２実施形態で、用いるジェスチャは、第１実施形態と同様に、画像を指ではじくジェスチャである。コマンドデータベース１０８には、図８の（ａ）で示したようにジェスチャが登録されているものとする。図１１の（ａ）で示すように、印刷枚数指定エリア１１１０に、１０キーの押下や公知の技術である手書き入力で数値を入力することで、入力時に最前面に表示されている画像の印刷枚数を指定することができる。すなわち、指示入力装置１０３からの印刷枚数指定エリア１１１０への印刷枚数の入力は、印刷指定の入力を兼ねている。また、印刷枚数の入力は、数値を入力できればどのような方法を用いても構わない。

ステップＳ９０１の印刷指定読込み処理では、対象複製部１０７が、指示受付け部１０５より印刷枚数指定エリア１１１０に入力されている印刷枚数を読み込み、入力結果に応じた処理を行う。なお、指示受付け部１０５は、指示入力装置１０３で入力された印刷枚数を保持しているものとする。なお、印刷枚数指定エリア１１１０において指定が可能な数値に制限を設けてもよい。例えば、装置が最大３枚までの振り分けを行えるのであれば、指定可能な数値として３以下とする制限を設けてもよい。

第２実施形態のステップＳ９０１の処理（印刷指定読み込み処理）について、図３のフローチャートを用いて更に説明する。ステップＳ３０１において、対象複製部１０７は、印刷枚数指定エリア１１１０に入力され、指示受付け部１０５で保持されている印刷枚数の情報を読み込む。指示受付け部１０５に印刷枚数指定のための数値が存在するならば、処理はステップＳ３０２へ進み、存在しない場合は何も処理を行わずに印刷指定読み込み処理を終了してステップＳ９０２へ進む。

ステップＳ３０２では、第１実施形態とは異なり、対象複製部１０７は、印刷枚数指定エリア１１１０に入力された数値の数だけ複製画像を生成する。

次に、ステップＳ９０２において、コマンド切替え部１０６は、ユーザから印刷枚数の指定に対するキャンセルを示すジェスチャ入力があったかどうか判断する。キャンセルの入力があれば処理はステップＳ９０７へ進み、なければステップＳ９０３へ進む。

ステップＳ９０３において、第１実施形態のステップＳ２０２と同様に、本実施形態に相応しいジェスチャ入力の受付け処理を行う。ステップＳ９０４において、コマンド切替え部１０６は、第１実施形態のステップＳ２０３と同様に、本実施形態に相応しいジェスチャ認識処理を行う。そして、ステップＳ９０５において、コマンド切替え部１０６は、第１実施形態のステップＳ２０４と同様に、本実施形態に相応しい画像の表示の更新を行う。そして、複製画像が存在する限りステップＳ９０２からステップＳ９０７までの処理を繰り返す。複製画像がなくなれば、処理を終了する（ステップＳ９０６）。すなわち、ステップＳ９０３〜Ｓ９０６の処理は第１実施形態（ステップＳ２０２〜Ｓ２０５）と同様であり、それらの詳細な説明は省略する。

一方、キャンセルに対応したジェスチャ入力が認識された場合は、ステップＳ９０７において、コマンド切替え部１０６が印刷のキャンセル処理を行う。第２実施形態におけるキャンセル処理は、傾いている複製画像を整列させる方法と印刷枚数指定エリアに修正を加える方法の２通りの方法があるものとする。以下、それぞれについて説明する。

図１１は第２実施形態によるキャンセル処理を説明する図である。図１１の（ｂ）の状態の複製画像に２通りのキャンセル処理を行う場合について説明する。

第２実施形態では、複製画像を生成した際に複製画像の見た目を通常の画像とは異なるものに変更する。本実施形態では、複数の複製画像を重ねて、ずらして表示する。すなわち、図１１の（ａ）に示すように複製画像以外の画像は整列していて、複製画像は傾けて表示するものとする。なお、それぞれの画像の見た目は、通常の画像の見た目と複製の画像の見た目が異なっていれば、どのような見た目でも構わない。

図１１の（ａ）に示す状態に対して、図９に示した処理に沿って下記の３点の処理を行った結果が図１１の（ｂ）である。
１．印刷枚数としての数値“２”の受付け。
２．２枚の複製画像の生成処理。
３．１枚目の複製画像に左方向への画像を指ではじくジェスチャによる振り分け処理。

そのため、１１０２では、本装置は下記の２つの情報を持った状態となる。
情報１．印刷の振り分け用の複製画像が残り１枚、
情報２．左方向に１枚の複製画像が振り分け済み

ここで、図１１の（ｃ）に示すように矢印の方向に複製画像をずらして整列する入力を行うと、ステップＳ９０２においてコマンド切替え部１０６はキャンセルに対応する操作が入力されたと判断し、ステップＳ９０７のキャンセル処理を実行する。或いは、印刷枚数指定エリア１１１０の数値を変更した場合も、コマンド切替え部１０６はキャンセルに対応する操作が入力されたと判断し、ステップＳ９０７のキャンセル処理を実行する。ステップＳ９０７のキャンセル処理について図１０のフローチャートを用いて詳細に説明する。

ステップＳ１００１において、入力が複製画像を整列させる処理であると判断されれば、ステップＳ１００２に進み、整列された複製画像を削除する。複製画像を整列させるために用いる入力は、指やペンを用いたドラッグ操作でもよいし、別途ジェスチャを用意したジェスチャ入力でも構わない。また、整列が可能であれば、どのような入力でも構わない。複製画像を削除した結果、複製画像が無くなった場合には、上記の情報１と情報２の内、情報１だけを取り消し、図１１の（ｄ）のように印刷の指定がなされていない状態に戻る。また、複製画像が２枚以上残っている状態であれば、複製画像を１枚削除するだけにする。つまり、既に行われた振り分け処理は有効にして、整列された複製画像のみを削除する処理を行う。

一方、上記のように複製画像を整列して処理を取り消すのではなく、図１１の（ｅ）で示すように、印刷枚数指定エリアに取り消しの操作を入力するケースを考える。本実施形態では、１０キーなどの指示入力装置１０３から“０”と入力されたとする。この場合もステップＳ９０２でキャンセルに対応する操作が入力されたと判断し、ステップＳ９０７のキャンセル処理のフローに入る。

ステップＳ１００１では、複製画像を整列させる処理ではないと判断され、処理はステップＳ１００３へ進む。ステップＳ１００３において、コマンド切替え部１０６は、操作結果保持部１０９に記憶している画像のＩＤと送った方向の情報を削除する。そして、ステップＳ１００４において、コマンド切替え部１０６は、表示されている複製画像を全て削除する。すなわち上記の情報１と情報２の両方を取り消し、図１１の（ｆ）のように印刷の指定がなされていない状態に戻す。印刷枚数指定エリアへの取り消し操作は、１０キーによる入力に限らず、ジェスチャ入力や、手書き入力で行ってもよい。

なお、所定の指示入力に応じて、操作回数のジェスチャ入力が受け付けられる前に、第２の処理状態（画像振り分け処理）を解除して第１の処理状態（画像送り処理）へ戻す構成は、上記取り消し操作を行う構成に限られるものではない。例えば、その時点までの振り分け結果は維持し、残りの複製画像を消去する（残りの操作回数を０にする）ようにしてもよい。また、指示入力装置１０３からの数値入力として、残りの操作回数を０以外の数値に指定するようにしてもよい。この場合、その時点までの振り分け結果を維持するとともに、操作回数を指示入力装置１０３からの数値に変更する。このようにすれば、操作回数を増減させることも可能である。

以上のように、第２実施形態によれば、２通りの印刷枚数指定の取り消し方法を行えるようにしたので、残りの印刷の指定を取り消す際に、直感的な方法で複製画像を削除し、印刷の指定を取り消すことができる。
［第３実施形態］

以上、第１実施形態、第２実施形態では、特定の処理を実行する指示入力として、印刷指定を実行するための指示入力を説明した。しかしながら、本発明は、そのような処理に限られるものではない。例えば、特定の処理として、デジタルカメラで撮影した画像にメタデータを付与する処理にも適用することができる。第３実施形態では、このようなメタデータを付与する処理への本発明の適用例を説明する。

本実施形態では、対象として画像を、複製対象として複製画像を用いて説明する。また、本実施形態では、情報処理装置１０１はデジタルカメラの一部を構成するものであり、ＵＩ提示部はデジタルカメラのＵＩを形成する。

本実施形態について図１２、図１３を用いて説明する。

図１３で示すように、方向と付与したいメタデータを対応付けた情報をあらかじめコマンドデータベース１０８に保持しておく。第３実施形態では、付与できるメタデータは最大で３種類（日付、場所、撮影者）であるものとする。以下、図１２の（ａ）において、画像１２０２に数値入力エリア１２０３で指定した数のメタデータを付与する例を説明する。

第３実施形態によるデジタルカメラのＵＩ提示部は、図１に示した情報処理装置１０１が適用されたものでありディスプレイ／タッチパネル１０２で構成されたタッチパネル１２０４を有する。タッチパネル１２０４には数値を入力するための数値入力エリア１２０３が設けられている。数値入力エリア１２０３には、公知の技術である手書き入力を用いることで、指で数字を描き、描いた数値の入力を行うことができるものとする。画像の撮影後にＵＩ提示部へ撮影した画像を提示して、保存するか、消去するかの選択処理が可能なＵＩであるとする。もちろん、第２実施形態と同様に、数値入力エリア１２０３に指定可能な数値として、制限を設けてもよい。

本実施形態で用いるジェスチャは、画像を指ではじくジェスチャのみとし、コマンドデータベース１０８に登録されているジェスチャと対象の関係は図１４のようになる。

画像の撮影後に、図１２の（ｂ）で示すように左方向に複製ではない画像をはじくジェスチャが入力されたとする。この場合は、図１４に示した情報を有するコマンドデータベース１０８に問い合わせることにより、当該画像の保存処理が実行される。逆に、複製ではない画像を右にはじけば、当該画像は保存せずに消去される。左、または右にはじくジェスチャ入力の後は、また撮影モードに戻るものとする。本実施形態では、数値入力エリア１２０３に数値が入力される前の第１の処理状態は画像の選択処理を実行する状態であり、数値の入力により移行する第２の処理状態は画像へのメタデータの付与処理を実行する状態である。

上方向へ複製ではない画像をはじくジェスチャを入力しても、対応する処理は設定されていないのでなにも起こらない。

一方ここで、図１２の（ｃ）で示すように画像の撮影後に数値入力エリア１２０３に“２”と入力したとする。第２実施形態で説明したように２枚の複製画像を生成し、表示されている画像と置き換える処理を行う。ここで入力する数字は、画像に付与するメタデータの数を表している。第２実施形態で扱う３種類のメタデータ（図１３）のうち、日付のデータ、場所のデータの２つのメタデータを画像に付与するケースについて説明する。

図１２の（ｄ）のように、日付を付与するのであれば、複製画像を左へはじく。ここで、コマンド切替え部１０６は、コマンドデータベース１０８に、左へはじくジェスチャで対象が複製画像という条件で、実行すべき処理を問い合わせる。図１４に示したように、この条件に対応する処理は、画像への日付データの付与なので、コマンド切替え部１０６は、システムから時間を取得し、これをメタデータとして当該画像に付与する。

また同様に、場所の情報を付与するのならば、複製画像を上へはじく。この場合、コマンド切替え部１０６は、コマンドデータベース１０８に、上へはじくジェスチャで対象が複製画像という条件で、実行すべき処理を問い合わせる。図１４に示したように、この条件に対応する処理は、画像への場所のデータの付与なので、例えば、予めユーザが登録しておいたシステムに登録されている撮影場所の情報を付与する。なお、本装置にＧＰＳ機能などを持たせておき、そこから場所の情報を取得し、これをメタデータとして付与するようにしても構わない。

以上のようにして、数値入力エリア１２０３に入力した数値の分のメタデータを付与し終えたら、日付データと場所のデータを付与された画像を保存して撮影モードに戻る。なお、上記の処理は、図２〜図４のフローチャートにより示される処理を流用することで実現できることは明らかである。その場合、ステップＳ４０２における処理が、上述したメタデータの付与をする処理となる。また、ステップＳ２０４では、ステップＳ４０２を経ている場合には、当該複製画像の元の画像（何らかのメタデータが付与された画像）を保存して当該複製画像を消去する。一方、Ｓ４０１からそのままステップＳ２０４が実行された場合は、複製画像以外のものに対するジェスチャ入力であるので、上述した画像の選択処理が実行されることになる。

以上のように、第３実施形態によれば、簡便な操作で、メタデータの付与が可能となる。
［第４実施形態］

以上、第１〜第３実施形態では、第１の処理状態と第２の処理状態において画像を操作する処理を例に挙げて説明したが、本発明はこのような処理に限られるものではない。第４実施形態では、デジタルカメラの顔認識によリ撮影を開始するセルフタイマーを用いた撮影に適用する例を説明する。

本実施形態について図１４を用いて説明する。第４実施形態によるデジタルカメラのＵＩ提示部は、図１に示した情報処理装置１０１が適用されたものであり、ディスプレイ／タッチパネル１０２で構成されたタッチパネル１４０４を有する。タッチパネル１４０４には、撮影を開始するための撮影人数を指定する数値を入力するための撮影人数指定エリア１４０３が設けられている。

タッチパネル１４０４内には、撮影予定の画像１４０２が表示され、１４０５のシャッターを押下することで、撮影予定の画像が撮影され保存される。撮影人数指定エリア１４０３には、公知の技術である手書き入力を用い、指やペンで数字を描くことにより人数の入力ができるものとする。撮影予定の画像１４０２に指先やペンでポインティングすると、その点に焦点を合わせるものとする。

以下、画像認識処理を利用したセルフタイマーを用いて、４人の被写体の画像を撮影する例について述べる。図１６は第４実施形態による処理を説明するフローチャートである。

図１５の（ａ）のように、撮影人数の指定を行わない場合は、撮影予定の画像の表示エリアに４人の顔が含まれると画像認識処理が判断した時点で撮影が行われる。この場合は、撮影予定の画像１４０２をポインティングすると、ポインティングされた点に焦点を当てた画像を撮影することができる（図１６のステップＳ１６０１でＮＯ→ステップＳ１６０２）。

一方、図１５の（ａ）に示されるように、撮影人数指定エリア１４０３に数値が入力された場合は、上記とは異なる動作をする。すなわち、数値指定がある場合には、操作画面を複数のエリアに分け、ポインティング操作がなされたエリアと回数を対応付けて登録する。ポインティング操作の回数は指定された数値だけ可能である（ステップＳ１６０１でＹＥＳ、ステップＳ１６０３、ステップＳ１６０４）。この操作の結果、各エリアに、ポインティング操作の数の顔が認識された時点で、撮影が実行されるようになる。

より具体的には、撮影人数指定エリア１４０３への数値入力に応じて、図１５の（ｃ）で示すように撮影予定の画像１４０２の表示エリアを４つの部分に区切り、撮影予定の画像１４０２の表示エリアを人物のレイアウト指定エリアに意味付けを変更する。そして、例えば、撮影人数指定エリア１４０３へ“４”と入力された場合、４回のポインティング操作がレイアウト指定の操作として受け付けられる。例えば、区切られた４つのエリアに対して、１のエリアを２回、２のエリアを２回ポインティングしたとする。その場合は、画像認識処理により撮影予定の画像表示エリアに４人の顔が含まれており、且つ１のエリアに２つの顔、２のエリアに２つの顔が含まれると判断された時点で撮影が実行される。

なお、第４本実施形態では画像の表示エリアを対角線により４つに区切っているが、区切り型、区切る数はこれに限られるものではなく、どのように区切っても構わない。また、図１５の（ｄ）に示したように、残りのポインティングが可能な回数を表すために、“４”と入力された時点で、撮影予定の画像を撮影人数分複製して表示し、ポインティングするたびに一枚ずつ複製画像がめくれるような表示を行ってもよい。

以上のように、第４実施形態によれば、ポインティングジェスチャに対して、焦点をあわせるべき位置を指定する処理と、レイアウトの決定処理という２通りの処理を割り当てることができる。また、第４実施形態によれば、自動で、人物のレイアウトを考慮した撮影が可能になる。
［第５実施形態］

上記第１〜第４実施形態では、対象、または複製対象へ対するジェスチャ入力が最前面の場合についてのみ述べたが、入力の対象は最前面に限らない。例えば、図１１の（ａ）において、２枚の複製画像のうち２枚目の画像（最全面から２番目の画像）を指ではじくジェスチャを入力した場合には、ジェスチャを入力した画像よりも前面の全ての画像に対して指ではじくジェスチャが入力されたものとしてもよい。これは、同一の画像ＩＤを２つ同一の方向に関連付けることになる。また、１つの操作により、残りの操作回数が２つ減ることと等価である。
［他の実施形態］

以上、実施形態を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

尚、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図に示したフローチャートに対応したコンピュータプログラムである。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

コンピュータプログラムを供給するためのコンピュータ読み取り可能な記憶媒体としては以下が挙げられる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムをハードディスク等の記録媒体にダウンロードすることが挙げられる。この場合、ダウンロードされるプログラムは、圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布するという形態をとることもできる。この場合、所定の条件をクリアしたユーザに、インターネットを介してホームページから暗号を解く鍵情報をダウンロードさせ、その鍵情報を使用して暗号化されたプログラムを実行し、プログラムをコンピュータにインストールさせるようにもできる。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどとの協働で実施形態の機能が実現されてもよい。この場合、ＯＳなどが、実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれて前述の実施形態の機能の一部或いは全てが実現されてもよい。この場合、機能拡張ボードや機能拡張ユニットにプログラムが書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行なう。

本実施形態によるＵＩ提示部を提供する情報処理装置の機能構成例を示すブロック図である。 第１実施形態による、ジェスチャ入力に対する処理を説明するフローチャートである。 第１実施形態における印刷枚数指定の読み込み処理に関するフローチャートである。 第１実施形態におけるジェスチャ認識処理に関するフローチャートである。 第１実施形態におけるＵＩ提示部の例を示す図である。 第１実施形態におけるＵＩ提示部の例を示す図である。 第１実施形態における複製画像に対するジェスチャ入力の例を示す図である。 第１実施形態のコマンドデータベースにおける登録ジェスチャと、振り分け結果を説明する図である。 第２実施形態におけるジェスチャ入力に対する処理を説明するフローチャートである。 第２実施形態におけるキャンセル処理を説明するフローチャートである。 第２実施形態におけるジェスチャ入力及び処理の流れを説明する図である。 第３実施形態におけるジェスチャ入力及び処理の流れを説明する図である。 第３実施形態における、ジェスチャ入力とメタデータの付与処理の関係を説明する図である。 第１実施形態のコマンドデータベースにおける登録ジェスチャを説明する図である。 第４実施形態におけるジェスチャ入力と処理の流れを説明する図である。 第４実施形態による処理を説明するフローチャートである。

Claims (14)

1. タッチパネルを有し、前記タッチパネルを介してなされたジェスチャ入力を処理する情報処理装置であって、
   第１の処理状態において、ユーザからの、第２の処理状態への移行の指示を受け付ける指示受付け手段と、
   前記指示受付け手段で受け付けた前記指示に応じて、前記第２の処理状態で受け付けるべきジェスチャ入力の操作回数を設定する設定手段と、
   前記指示受付け手段により指示を受け付けた後、前記設定手段で設定された操作回数のジェスチャ入力については、前記第２の処理状態におけるジェスチャ入力として対応する処理を実行し、前記操作回数のジェスチャ入力が行われた後のジェスチャ入力については、前記第１の処理状態におけるジェスチャ入力として対応する処理を実行する処理手段とを備えることを特徴とする情報処理装置。
2. 前記指示受付け手段は、前記指示として数値の指定を受け付け、
   前記設定手段は、前記指示受付け手段が受け付けた数値を前記操作回数に設定することを特徴とする請求項１に記載の情報処理装置。
3. 前記処理手段は、
   前記指示受付け手段による指示の受付けに応じて前記操作回数と同数の、オブジェクトの複製画像を生成し、前記複製画像を同時にまたは順次にディスプレイに表示し、前記複製画像の各々について一つずつのジェスチャ入力を受け付けることを特徴とする請求項１または２に記載の情報処理装置。
4. 前記複製画像の一つに対する所定のジェスチャ入力に応じて、当該一つの複製画像を破棄して前記操作回数を減少させるキャンセル手段を更に備えることを特徴とする請求項３に記載の情報処理装置。
5. 所定の指示入力に応じて、前記操作回数のジェスチャ入力が受け付けられたか否かに関わらず前記第２の処理状態を解除して前記第１の処理状態へ戻す解除手段を更に備えることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記処理手段は、複数の前記複製画像をずらしながら、別のオブジェクトの画像ともずらして前記ディスプレイに表示し、
   前記キャンセル手段における前記所定のジェスチャ入力は、前記複製画像を前記別のオブジェクトの画像に整列させる操作であることを特徴とする請求項４に記載の情報処理装置。
7. 前記処理手段は、複数の前記複製画像をずらしながら前記ディスプレイに表示し、ずらして表示された複数の前記複製画像の１つに対してジェスチャ入力が行われた場合に、当該１つの複製画像とそれよりも前面に重ねて表示されている複製画像の全てに対して、当該ジェスチャ入力に対応する処理を実行することを特徴とする請求項３に記載の情報処理装置。
8. 前記処理手段は、前記指示受付け手段が受け付けた数値を表示し、ジェスチャが入力される毎に表示される数値を減少させることを特徴とする請求項２に記載の情報処理装置。
9. 前記第１の処理状態は、ジェスチャ入力による画像閲覧のための画像送り処理を実行している状態であって、
   前記第２の処理状態は、ジェスチャ入力による画像の振り分け処理を実行している状態であることを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
10. 前記第１の処理状態は、画像を保存するか否かの選択を行なう処理を実行している状態であって、
    前記第２の処理状態は、ジェスチャ入力による画像へのメタデータを付与する処理を実行している状態であることを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
11. 前記情報処理装置はデジタルカメラの少なくとも一部を構成し、
    前記指示は前記デジタルカメラにおける画像認識処理を利用したセルフタイマーにおいて、撮影を開始する人数の指定であり、
    前記第２の処理状態は、ジェスチャ入力により前記指示により指定された人数のレイアウトを設定する処理を実行している状態であり、
    前記第１の処理状態は、ジェスチャ入力により焦点の位置を指定する処理を実行している状態であることを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
12. タッチパネルを有し、前記タッチパネルを介してなされたジェスチャ入力を処理する情報処理装置による情報処理方法であって、
    指示受付け手段が、第１の処理状態において、ユーザからの、第２の処理状態への移行の指示を受け付ける指示受付け工程と、
    設定手段が、前記指示受付け工程で受け付けた前記指示に応じて、前記第２の処理状態で受け付けるべきジェスチャ入力の操作回数を設定する設定工程と、
    処理手段が、前記指示受付け工程により指示を受け付けた後、前記設定工程で設定された操作回数のジェスチャ入力については、前記第２の処理状態におけるジェスチャ入力として対応する処理を実行し、前記操作回数のジェスチャ入力が行われた後のジェスチャ入力については、前記第１の処理状態におけるジェスチャ入力として対応する処理を実行する処理工程とを有することを特徴とする情報処理方法。
13. 請求項１２に記載の情報処理方法をコンピュータに実行させるコンピュータプログラム。
14. 請求項１２に記載の情報処理方法をコンピュータに実行させるコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体。

Images