WO2010084841A1

WO2010084841A1 - 情報処理装置及びプログラム

Info

Publication number: WO2010084841A1
Application number: PCT/JP2010/050502
Authority: WO
Inventors: 克彦梅津
Original assignee: シャープ株式会社
Priority date: 2009-01-20
Filing date: 2010-01-18
Publication date: 2010-07-29
Also published as: JP4880003B2; JP2010170170A

Abstract

　タッチされた位置の検出が同時に複数可能な入力検知部と、表示部とを備えた情報処理装置において、表示部に複数の候補項目を表示し、入力検知部によりタッチが検知されている間、タッチされた位置に基づいて、表示された候補項目の中から選択項目を選択する。そして、選択された選択項目をドラッグさせた場合に、当該選択項目を移動表示する。それにより、表示されている候補項目から複数選択する場合に、選択されている項目の位置を任意に移動させることができ、利用者が候補項目を選択しやすいユーザインタフェースを提供可能な、利便性の高い情報処理装置等を提供することとなる。

Description

情報処理装置及びプログラム

　本発明はタッチされた位置の検出が同時に複数可能な入力検知部と、表示部とを備えた情報処理装置等に関するものである。

　従来から、情報処理装置において様々な入力方法が提案されている。利用者が情報処理装置において行う入力方法には、キー入力を利用したものや、タッチパネルを利用したものが知られている。これらの入力操作は、文字等の文章を入力する場合の他に、機能を選択する場合に行われたり、入退室や決済時に暗証番号等を入力することにより認証が行われたりする場合にも利用されている。

　例えば、利用者がキーを利用して認証をする場合、一つずつキー入力をする方法の他に複数のキー入力を行う方法が提案されている（例えば、特許文献１参照）。複数のキー操作によって認証を行うことから、一つずつキー入力をするよりセキュリティ強度を強くすることが出来る。

特開２００８－１５２７５７号公報

　近年、入力デバイスとして様々な装置が提供されている。ここで、従前からあるタッチパネルを発展させたものとして、光センサを内蔵したシステム液晶と呼ばれるものがある。

　ここで、光センサを内蔵したシステム液晶について、図を用いて簡単に説明する。まず、システム液晶Ｄ８０の概要を図２５にしめす。システム液晶Ｄ８０は、表示信号による表示装置の機能と、読み取り信号による入力装置の機能とを実現する。システム液晶Ｄ８０を画素単位に拡大して記載したのがＤ８２であり、画素（Ｄ９０）毎に光センサが内蔵されており、利用者からの操作（タッチ）を検知できる。

　図２６は、システム液晶の１画素分の断面図である。システム液晶の上面（利用者がタッチする側）から保護板Ｄ９０２、ガラス板Ｄ９０４、カラーフィルタＤ９０６、撮像素子Ｄ９０８、ガラス板Ｄ９１０、バックライトＤ９１２が配置されている。また、カラーフィルタＤ９０６は、ＲＧＢ色として、赤色のＤ９０６Ｒ、緑色のＤ９０６Ｇ及び青色のＤ９０６Ｂが配置されており、色毎に撮像素子が配置されている。

　まず、表示用のバックライトＤ９１２から光が照射される。照射された光は、システム液晶の表示面（保護板Ｄ９０２）に接触されている被写体（利用者の指Ｄ８４）で反射される。反射された光は、撮像素子Ｄ９０８により画像処理が施される。これにより、被写体が、システム液晶の表示面（保護板Ｄ９０２）に接触されたこと（タッチ）が検出されることとなる。

　そして、画素毎に設置された撮像素子により画像処理が施されるため、複数の被写体の接触位置（座標）を検出することができる。すなわち、従前のタッチパネル（例えば、抵抗膜を利用したタッチパネルや、静電容量の変化を利用したタッチパネル、電磁誘導を利用したタッチパネル等）は、タッチした位置として検知できる箇所は１つであったが、上述のシステム液晶を利用したタッチパネルはタッチした位置を複数同時に検出することができる。

　したがって、システム液晶を利用したタッチパネルを利用して、表示された画像、数字、文字、記号等の候補となる項目（候補項目）を表示して利用者に選択させる場合、複数の項目を選択させるといった利用方法が考えられる。

　この場合、表示される候補項目は通常表示領域（システム液晶）の任意の位置に表示されることとなる。しかし、表示された候補項目のうち、利用者が選択しようとする候補項目が必ずしも選択しやすい位置に表示されるとは限らないという問題点があった。

　例えば、表示された画像の中から利用者が選択して正当な利用者であることを認証する認証システムについて考える。この場合、利用者がタッチにより、認証する画像を選択することとなる。ここで、利用者は認証をするために、複数の画像を選択するが、画像の表示位置によっては、選択しにくい（タッチしにくい）場合が生じてしまう。具体的には、利用者が人差し指と薬指を使ってタッチした後に次の項目をタッチする場合、残った指が届く範囲に所望する項目が必ず表示されているとは限らなかった。したがって、利用者は、一度タッチした状態を解除し、もう一度選択し直すといった必要があった。

　また、メニューを選択する場合についても、利便性が高いシステムが提供されているとは言えなかった。一例として、ユーザが親階層のメニュー項目を選択すると、子階層のメニューが展開され表示されるシステムがある。

　しかし、子階層のメニューが必ずしも一画面に収まって表示されるとは限らない。したがって、子階層のメニューの表示を切り替える必要があるが、そのためには別途スクロール操作等を行う必要があり、使い勝手の良い情報処理装置を提供出来ているとは言えなかった。

　上述した課題に鑑み、本発明が目的としているところは、表示されている候補項目から複数選択する場合に、選択されている項目の位置を任意に移動させることにより、利用者が候補項目を選択しやすいユーザインタフェースを提供可能な、利便性の高い情報処理装置等を提供することである。

　上述した課題に鑑み、本発明の情報処理装置は、タッチされた位置の検出が同時に複数可能な入力検知部と、表示部とを備えた情報処理装置において、前記表示部に複数の候補項目を表示する制御を行う候補項目表示制御部と、前記入力検知部によりタッチが検知されている間、タッチされた位置に基づいて、前記表示された候補項目の中から選択項目を選択する選択項目選択部と、を備え、前記選択項目部は、前記候補項目の中から第１の選択項目を選択する第１選択項目選択部と、前記第１の選択項目が選択されているときに、前記表示された候補項目の中から第２の選択項目を選択する第２選択項目選択部と、を有し、前記第１選択項目選択部により選択された第１の選択項目をドラッグさせた場合に、当該選択項目を移動表示する制御を行う移動表示制御部を備えることを特徴とする。

　また、本発明の情報処理装置において、前記移動表示制御部が前記第１の選択項目を移動表示する制御を開始した後に、前記第２選択項目選択部が前記第２の選択項目を選択すると、前記第１の選択項目及び前記第２の選択項目により特定される動作を行うことを特徴とする。

　また、本発明の情報処理装置において、前記移動表示制御部は、前記第１項目選択部により選択された第１の選択項目を前記表示された他の候補項目にドラッグさせた場合には、前記他の候補項目の位置に、当該第１選択項目を移動表示する制御を行うことを特徴とする。

　また、本発明の情報処理装置において、前記移動表示制御部は、前記第１の選択項目と、前記他の候補項目とを入れ替える表示をすることを特徴とする。

　また、本発明の情報処理装置において、前記移動表示制御部は、前記第１の選択項目を、前記他の候補項目の位置に挿入し再表示を行うことを特徴とする。

　また、本発明の情報処理装置は、前記候補項目として複数の画像を記憶する候補画像記憶部と、前記候補画像の中から正解の画像を記憶する正解画像記憶部と、を備え、前記候補項目表示制御部は、前記候補画像記憶部に記憶されている画像を複数表示する制御を行い、前記項目選択部は、前記表示されている候補の画像の中から、一又は複数の画像を選択画像として選択し、前記選択画像と、前記正解画像記憶部に記憶されている正解の画像とが一致する場合には、正当な利用者であると認証する認証部を更に有することを特徴とする。

　また、本発明の情報処理装置において、前記認証部は、前記選択項目のうち、一の選択項目において検知されているタッチが解除されたときに認証を行うことを特徴とする。

　本発明の情報処理装置は、タッチされた位置の検出が同時に複数可能な入力検知部と、表示部とを備えた情報処理装置において、前記表示部に複数の親階層の項目を表示する制御を行う親階層表示制御部と、前記入力検知部によりタッチが検知されている間、タッチされた位置に基づいて、前記表示された親階層の項目を選択する親階層項目選択部と、前記親階層項目選択部により選択された親階層から選択可能な子階層の項目を表示する制御を行う子階層表示制御部と、親階層の項目が選択されているときに、更に子階層の項目を選択する子階層項目選択部と、前記選択された子階層の項目を、前記表示された他の子階層の項目にドラッグさせることにより、前記子階層の項目の位置に、前記選択された子階層の項目を移動表示する制御を行う子階層移動表示制御部と、を備えることを特徴とする。

　本発明のプログラムは、タッチされた位置の検出が同時に複数可能な入力検知部と、表示部とを備えたコンピュータに、前記表示部に複数の候補項目を表示する制御を行う候補項目表示制御機能と、前記入力検知部によりタッチが検知されている間、タッチされた位置に基づいて、前記表示された候補項目の中から選択項目を選択する選択項目選択機能と、を実現させるプログラムであって、前記選択項目機能は、前記候補項目の中から第１の選択項目を選択する第１選択項目選択機能と、前記第１の選択項目が選択されているときに、前記表示された候補項目の中から第２の選択項目を選択する第２選択項目選択機能と、を含み、前記第１選択項目選択機能により選択された第１の選択項目をドラッグさせた場合に、当該選択項目を移動表示する制御を行う移動表示制御機能を実現させることを特徴とする。

　本発明によれば、表示部に複数の候補項目を表示し、入力検知部により複数のタッチが検知されている間、タッチされた位置に基づいて、前記表示された候補項目の中から選択項目が選択される。そして、第１の選択項目が選択されているときに、第２の選択項目が選択される場合において、第１の選択項目を、ドラッグさせた場合に、当該選択項目を移動表示することができるようになる。したがって、表示されている候補項目の中から一つの選択項目をタッチして選択し、所望する位置にドラッグすることにより、移動表示することが可能となる。これにより、利用者が項目を選択しやすい任意の位置に移動させることが可能となる。

　例えば、選択項目として一又は複数の画像等（画像の他に、文字・数字・記号等利用者が識別できるものであれば良い）を表示させた場合、利用者が表示された画像等から移動させるための画像を第１の選択項目として選択する。そして、第１の選択項目をドラッグすることにより、第２の選択項目が選択しやすい位置に移動表示させる。こうすることにより、利用者は第２の選択項目を容易に選択することが可能となる。

　また、本発明によれば、移動表示制御部が前記第１の選択項目を移動表示する制御を開始した後に、前記第２選択項目選択部が前記第２の選択項目を選択すると、前記第１の選択項目及び前記第２の選択項目により特定される動作を行うことができる。したがって、第１の選択項目の移動表示を開始した後に、第２の選択項目も併せて選択されることとなり、これにより特定される動作（例えば、認証処理であったり、選択処理等）が実行されることになる。なお、ここで第２の選択項目は、第１の選択項目の移動表示が開始した後に選択されればよく、移動表示の途中であっても、移動表示が終わった後であっても良い。

　また、本発明によれば、第１の選択項目を他の候補項目の位置にドラッグすることにより、当該選択項目を移動表示することができる。したがって、選択項目を利用者が所望する位置に移動表示させることが出来るようになる。

　また、本発明によれば、第１の選択項目と、移動先となる他の候補項目とを入れ替える表示をすることとなる。

　また、本発明によれば、第１の選択項目を、移動先となる他の候補項目の位置に挿入し再表示を行うこととなる。

　また、本発明によれば、候補画像記憶部に記憶されている画像を複数表示し、前記表示されている候補の画像の中から、複数の画像を選択画像として選択し、選択画像と、正解の画像とが一致する場合には、認証を行うことができる。したがって、画像を用いて認証を行う場合に、利用者が複数の画像を選択する場合に、押しにくい場所に正解画像が表示されているとしても、選択する画像を移動させることにより、画像の場所が移動してタッチしやすい位置に表示されることとなる。

　また、本発明によれば、項目選択部により選択されている選択項目のうち、一の選択項目において検知されているタッチが解除されたときに認証を行うこととなる。したがって、利用者がタッチを解除するだけで認証を行うことができ、利便性の高い情報処理装置を提供することが可能となる。

　また、本発明によれば、複数の親階層の項目が表示され、タッチされた位置に基づいて、表示された親階層の項目を選択し、選択された親階層の項目に応じて子階層の項目を表示する。そして、親階層の項目が選択されているときに、更に子階層の項目を選択して表示された他の子階層の項目に移動させることができる。これにより、子階層が総て表示されていない場合であっても、利用者は容易に子階層の項目を表示し、選択することが可能となる。

第１実施形態における情報処理装置の外観を説明するための図である。第１実施形態における情報処理装置の構成を説明するための図である。第１実施形態における判定制御処理の動作を説明するための図である。第１実施形態における判定制御処理の動作を説明するための図である。（ａ）候補画像ＤＢの構成の一例を示す図である。（ｂ）正解画像ＤＢの構成の一例を示す図である。第１実施形態における正解登録処理の動作フローである。第１実施形態における認証処理の動作フローである。第１実施形態における認証処理の動作フローである。第１実施形態における候補画像の選択動作について説明する図である。第１実施形態における認証処理の動作フローである。第１実施形態における動作例を説明するための図である。第１実施形態における動作例を説明するための図である。第１実施形態における動作例を説明するための図である。第１実施形態における動作例を説明するための図である。第１実施形態における動作例を説明するための図である。第２実施形態における情報処理装置の構成を説明するための図である。第２実施形態におけるメニューリストについて説明するための図である。第２実施形態におけるメニュー表示処理の動作フローである。第２実施形態における動作例を説明するための図である。第２実施形態における動作例を説明するための図である。第２実施形態における動作例を説明するための図である。第２実施形態における動作例を説明するための図である。第２実施形態における動作例を説明するための図である。第２実施形態における動作例を説明するための図である。システム液晶の原理について説明するための図である。システム液晶の原理について説明するための図である。

　以下添付図面を参照しながら、本発明の実施の形態について説明し、本発明の理解に供する。尚、以下の実施の形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する性格のものではない。

　〔実施の形態〕
　まず、本発明を適用した情報処理装置１の装置の概観を示す。本実施形態では、情報処理装置１の一例として携帯電話に適用した場合について説明する。例えば、図１（ａ）は、携帯電話の表示画面が縦表示の場合であり、図１（ｂ）は表示画面が横表示の場合の一例を示す図である。

　［１．第１実施形態］
　はじめに、第１実施形態について説明する。第１実施形態は、認証をする場合に選択する候補項目として画像を用いる認証システムについて、本発明を適用した場合について説明する。すなわち、まず、候補項目として候補画像を表示する。そして、候補画像の中から選択項目として選択画像が選択されることとなる。以下、図面を用いて詳細に説明する。

　［１．１　装置構成］
　図２に本発明を適用した情報処理装置１の装置の構成を示す。情報処理装置１は、制御部１００に、認証制御部１１０と、表示データ制御部１２０と、移動判定制御部１３０と、記憶部１４０と、システム液晶１５０とがバスを介して接続されている。また、表示データ制御部１２０には、表示位置制御部１２５が接続されている。

　制御部１００は、情報処理装置１の動作を制御するための機能部であり、ＣＰＵ等、情報処理装置１に必要な制御回路によって構成されている。制御部１００は、記憶部１４０に記憶されている各種プログラムを読み出して実行することにより各種機能を実現することとなる。

　認証制御部１１０は、利用者により選択された画像が、後述する正解画像ＤＢ１４４に記憶されている画像と一致するか否かを判定することにより認証制御を行うための機能部である。認証した結果に応じて、情報処理装置１は各種処理を実行する。例えば、情報処理装置１が入退室の制御に用いられている場合には、認証が正しく行われた場合には入退室が許可されることとなる。また、情報処理装置１が、決済処理において利用されている場合には、認証が正しく行われた場合に決済処理が実行されることとなる。

　表示データ制御部１２０は、制御部１００の指示に基づいて後述するシステム液晶１５０（表示部１５２）に表示するデータを制御する機能部である。表示データ制御部１２０は、制御部１００から入力された（指示された）表示画像を表示し、表示位置制御部１２５から入力される制御信号に基づいて表示位置に表示する。

　表示位置制御部１２５は、表示する画像（例えば、候補画像）の表示位置を決定し、表示データ制御部１２０を制御する機能部である。表示データ制御部１２０が表示部１５２に出力する表示信号の内容を、具体的に制御することとなる。そして、表示データ制御部１２０は、表示位置制御部１２５から入力される制御信号に基づいて表示部１５２に出力することとなる。

　移動判定制御部１３０は、選択されている画像（選択画像）を移動（ドラッグ）したときに、選択画像が移動したか否かの判定制御を行う機能部である。ここで、判定制御について、図３及び図４の図を用いて簡単に説明する。ここでは、Ａという選択画像を、移動先となるＤの画像（移動画像）の位置に移動させる場合の移動判定法について説明する。

　図３に示すように、画像Ａ（選択画像）は（ｘ１，ｙ１）－（ｘ２，ｙ２）の範囲に表示されている画像である。また、画像Ｄ（移動画像）は（ｘ３，ｙ３）－（ｘ４，ｙ４）の範囲に表示されている画像である。

　ここで、利用者により、画像Ａの中のポイントＰ（Ｘｐ，Ｙｐ）がタッチされる。ここで、ポイントＰは、画像Ａの中心として説明する。なお、移動判定制御部１３０は、後述する入力検知部１５４にたいして一定間隔でポーリングを行い、常に抑えられている位置（座標）が検知可能である。

　図４（ａ）は、座標Ｐ（Ｘｐ，Ｙｐ）が、ｘ１＜Ｘｐ＜ｘ３、ｙ１＜Ｙｐ＜ｙ３の位置にあるため、画像が移動されたと判定されず、入れ替えなどの処理は行わない。図４（ｂ）は、座標Ｐ（Ｘｐ，Ｙｐ）が、ｘ３＜Ｘｐ＜ｘ５、ｙ１＜Ｙｐ＜ｙ３の位置にあるため、画像が移動されたと判定されず、入れ替えなどの処理は行わない。ここで、ｘ５は画像Ｂ（画像Ｄ）が右方向に隣接する画像の左辺の座標又は画像間隔分のマージンである。また、ｙ５は画像Ｃ（画像Ｄ）が下方向に隣接する画像の上辺の座標又は画像間隔分のマージンである。

　図４（ｃ）は、座標Ｐ（Ｘｐ，Ｙｐ）が、ｘ１＜Ｘｐ＜ｘ３、ｙ３＜Ｙｐ＜ｙ５の位置にあるため、画像が移動されたと判定されず、入れ替えなどの処理は行わない。図４（ｄ）は、座標Ｐ（Ｘｐ，Ｙｐ）が、ｘ３＜Ｘｐ＜ｘ５、ｙ３＜Ｙｐ＜ｙ５の位置にあるため、画像が移動されたと判定する。ここで、座標Ｐ（Ｘｐ，Ｙｐ）の位置から、画像Ｄが移動画像と判定され、入れ替えの処理を実行する。

　なお、上述した説明は、図４に示す座標に基づいて説明したが、途中の座標の軌跡により判定することとしても良いことは勿論である。すなわち、入力検知部１５４は、所定時間の間隔でポーリングを行うことにより、随時座標Ｐの位置を検出する。そして、座標Ｐの軌跡により、どのように移動したかを判定し、画像の入れ替え処理を実行することとしても良い。この場合、２つの画像が選択され、同時に移動している場合に有効な処理である。

　なお、ここでは移動先に画像がある場合について説明したが、移動先に画像が無い場合は入れ替えの処理を行わず、画像が移動されたと判断した場合は、選択画像の移動処理のみを行う。

　記憶部１４０は、情報処理装置１が動作するための各種データ及びプログラムを記憶しておく機能部である。制御部１００は、記憶部１４０に記憶されているプログラムを読み出して実行する事により、各種機能を実現することとなる。

　ここで記憶部１４０には、候補画像ＤＢ１４２と、正解画像ＤＢ１４４と、正解登録プログラム１４６と、認証プログラム１４８とが記憶されている。

　候補画像ＤＢ１４２は、図５（ａ）に示すように、認証のときに、選択する候補として表示する画像（候補画像）が記憶されているＤＢである。本実施形態においては、候補画像の一例としてＪＰＥＧ形式にて記憶されているものとするが、他の画像形式でも良いことは勿論である。

　正解画像ＤＢ１４４は、利用者により認証の正解画像が登録されているＤＢである。図５（ｂ）に示すように、正解画像ＤＢ１４４には、正解となる画像が登録されている。なお、この正解画像は、候補画像ＤＢ１４２に記憶されている候補画像の中から選択されたものである。

　システム液晶１５０は、表示部１５２と、入力検知部１５４とを備えた表示装置である。詳細な動作については上述したが、表示部１５２は、例えば液晶ディスプレイにより構成されており、表示データ制御部１２０からの表示制御信号に基づいて、各種情報を表示する。また、入力検知部１５４は、複数のタッチ位置を同時に検知可能なタッチパネルにより構成されており、利用者からタッチされた箇所の座標を検知する。

　［１．２　処理の流れ］
　続いて、本実施形態における処理の流れについて説明する。まず、正解画像を登録する正解登録処理について図６に基づいて説明する。ここで、正解登録処理は、制御部１００が、記憶部１４０に記憶されている正解登録プログラム１４６を読み出して実行することにより実現される処理である。

　まず、候補画像ＤＢ１４２から候補画像を読み出して画像一覧を作成し表示する（ステップＳ１００）。ここで、利用者により正解とする正解画像が選択される（ステップＳ１０２）。なお、ここで選択される正解画像は、１つ以上であれば良い。

　そして、画像が選択された後に、正解画像として登録される操作がされた場合には（ステップＳ１０４；Ｙｅｓ）、正解画像として、正解画像ＤＢ１４４に登録される（ステップＳ１０６）。

　つづいて、認証処理について、図７及び図８に基づいて説明する。ここで、認証処理は、制御部１００が、記憶部１４０に記憶されている認証プログラム１４８を読み出して実行することにより実現される処理である。

　まず、制御部１００は、候補画像ＤＢ１４２から、候補画像の一覧をランダムに作成し、表示する（図７のステップＳ１５０）。ここで、表示される候補画像の個数は、予め決められた個数であったり、利用者が設定した個数であったり、表示部１５２の表示領域を考慮して決定された個数であったり、何れでも良い。なお、本実施形態においては、９つの候補画像が表示されることとして説明する。

　そして、利用者により何れかの候補画像の一つが選択されると（ステップＳ１５２；Ｙｅｓ）、選択された画像を選択画像として一時記憶する（ステップＳ１５４）。ここで、候補画像を選択する方法としては、入力検知部１５４がタッチを検知し、検知した位置に基づいて、どの候補画像が選択されたかを判定し、選択画像として記憶する。

　ここで、候補画像の選択について、図９を用いて説明する。図９（ａ）に示すように、
　・画像Ａ＜（ｘ１，ｙ１）－（ｘ２，ｙ２）＞
　・画像Ｂ＜（ｘ３，ｙ１）－（ｘ４，ｙ２）＞
　・画像Ｃ＜（ｘ１，ｙ３）－（ｘ２，ｙ４）＞
　・画像Ｄ＜（ｘ３，ｙ３）－（ｘ４，ｙ４）＞
　が表示されているとする。

　例えば、同時に点Ｍ、点Ｎの２点のタッチが入力検知部１５４により検出され、それぞれ座標Ｍ（Ｘｍ，Ｙｍ）、座標Ｎ（Ｘｎ，Ｙｎ）で表されるとする。点Ｍの座標がｘ１＜Ｘｍ＜ｘ２、ｙ１＜Ｙｍ＜ｙ２の位置にあった場合、点Ｍは（ｘ１，ｙ１）－（ｘ２，ｙ２）の範囲に表示されている画像Ａの領域にあるため、項目選択部は画像Ａが選択されたと判定する。この場合の各表示画像に対応する領域の座標は、表示位置制御部１２５に記憶されている。同様に、点Ｎの座標がｘ１＜Ｘｎ＜ｘ２、ｙ１＜Ｙｎ＜ｙ２の位置にあった場合、点Ｎも画像Ａの領域にあるため、項目選択部は画像Ａを選択したと判定する。この場合、点Ｍ、点Ｎの２点のタッチが検出されたが、項目選択部が選択する画像は画像Ａのみになる（図９（ｂ））。

　しかし、点Ｎの座標がｘ３＜Ｘｎ＜ｘ４、ｙ３＜Ｙｎ＜ｙ４の位置にあった場合、点Ｎは（ｘ３，ｙ３）－（ｘ４，ｙ４）の範囲に表示されている画像Ｄの領域にあるため、制御部１００は画像Ｄが選択されたと判定する。この場合は点Ｍ、点Ｎの２点のタッチが検出され、選択される画像は画像Ａと画像Ｄになる。このように同時に複数のタッチが検知されても、前者は画像Ａのみが選択され、後者は画像Ａと画像Ｄの複数画像の選択が行われる（図９（ｃ））。

　なお、検出された座標が、どの画像の領域からも外れている場合は、画像の選択は行われない。例えば、点Ｎの座標がｘ２＜Ｘｎ＜ｘ３、ｙ３＜Ｙｎ＜ｙ４の位置にあった場合、点Ｎにより画像は選択されず、点Ｍにより選択された画像のみが選択画像となる（図９（ｄ））。

　そして、選択された画像を選択画像として記憶する。なお、画像が選択されたことを表す装飾表示（例えば、選択画像を反転させる、枠線で囲んで表示する、点滅表示させる）等を施してもよい。

　そして、選択画像が選択されたまま、すなわち、候補画像が継続してタッチされている（タッチが検知され続けている）状態において、所定時間が経過した場合には（ステップＳ１５６；Ｙｅｓ）、選択画像以外の候補画像の一覧を再作成し、再度表示する（ステップＳ１５８）。

　例えば、候補画像の中から９つの画像が表示されており、選択画像として１つ選択されている場合には、候補画像ＤＢ１４２から選択画像以外の８つ分の候補画像を再度読み出し、一覧表示を再作成して表示する。

　なお、現在表示されている候補画像と、再表示された候補画像とを必ず異なる画像としても良いし、そのような制限を設けなくても良い。また、再表示のときに、同一の画像が同じ位置に表示されないよう制限を設けても良い。これらの表示方法については、制約を大きくすることによりセキュリティ強度を強くすることが可能となり、制約を小さくすることにより利便性を向上させることが可能となる。

　続いて、更に次の候補画像の中から、次の画像が選択されたか否かを判定する（ステップＳ１６０）。次の画像が追加して選択された場合には（ステップＳ１６０；Ｙｅｓ）、追加して選択された画像も選択画像として記憶する（ステップＳ１６２）。

　続いて、選択画像の移動を検知すると、選択画像の移動を描画する（図８のステップＳ１６４；Ｙｅｓ→ステップＳ１６６）。具体的には、入力検知部１５４が検知した座標が所定の閾値以上移動（ドラッグ）されると、選択画像が移動したと判定され、選択画像の移動の描画を開始することとなる。

　そして、選択画像の移動が所定時間停止すると（ステップＳ１６８；Ｙｅｓ）、選択画像を停止した位置へ移動し、画像を入れ替える処理を実行する（ステップＳ１７０）。ここで、画像を入れ替える方法としては種々の方法が考えられるが、例えば、選択画像と移動先となる画像だけを入れ替えても良いし、途中の画像を１つずつずらすような描画をしてもよい。

　続いて、利用者により画像認証が実行されたか否かを判定する（ステップＳ１７２）。ここで、利用者により画像認証を行う操作がなされた場合はステップＳ１７４に処理を移行し（ステップＳ１７２；Ｙｅｓ→ステップＳ１７４）、画像認証を行う操作がなされていない場合には、ステップＳ１５６から処理を繰り返し実行する（ステップＳ１７２；Ｎｏ→ステップＳ１５６）。

　ここで、画像認証を行うための操作としては種々の方法が考えられる。例えば、選択画像の選択状態が解除されたことを画像認証を行うためのトリガーとして判定する（すなわち、入力検知部１５４のタッチが継続しているか否か（利用者の指でタッチしている場合には、離れた指があるか否か）を判定する）場合や、認証ボタンが利用者により選択されたことを画像認証を行うためのトリガーとして判定する場合等である。

　そして、画像認証を行う場合は、現在の選択画像が、正解画像ＤＢ１４４に登録されている正解画像と一致するか否かを判定する（ステップＳ１７４）。ここで、選択画像と、正解画像とが一致した場合には認証が成功したと判定する（ステップＳ１７４；Ｙｅｓ→ステップＳ１７６）。他方、選択画像と、正解画像とが一致しない場合には、認証が失敗したと判定する（ステップＳ１７６；Ｎｏ→ステップＳ１７８）。

　なお、ステップＳ１７２の画像認証を行う操作のトリガーとして、例えば、選択画像と正解画像が一致した場合には、自動的に認証が行われることとしても良い。この場合の動作フローを図１０に示す。

　すなわち、ステップＳ１７２を実行せずに、現在選択中の選択画像と、正解画像とが一致しているかをステップＳ１７４にて判定する。そして、選択画像が正解画像と一致している場合には、認証成功と判定し（ステップＳ１７４；Ｙｅｓ→ステップＳ１７６）、一致していない場合にはステップＳ１５６から処理を繰り返し実行する。これにより、利用者は「認証を実行する」といった操作を意識することなく認証処理を実行することが可能となる。

　［１．３　動作例］
　続いて、本実施形態の動作例について、説明する。図１１は、システム液晶に表示された表示画面Ｗ１００の一例を説明するための図である。

　表示画面Ｗ１００には、候補画像ＤＢ１４２から９つの候補画像が読み出され一覧表示されている（図７のステップＳ１５０）。認証に用いる正解画像が表示されていない場合には、利用者は任意の画像を一つ選択する（ステップＳ１５２；Ｙｅｓ→ステップＳ１５４）。本図では、画像Ｍ１００が選択画像として利用者Ｆ１００により選択（タッチ）されている。なお、この場合、画像Ｍ１００は利用者の人差し指でタッチされている。なお、図１１には正解画像が表示されていないため、候補画像を更新表示させるために、利用者は画像Ｍ１００を選択している。

　図１１の状態で所定時間経過すると（ステップＳ１５６；Ｙｅｓ）、選択されている画像Ｍ１００以外の候補画像が更新されて表示されることとなる（ステップＳ１５８）。図１２は、画像Ｍ１００以外の候補画像が更新表示された場合の表示画面Ｗ１０２の一例である。ここで、利用者Ｆ１０２は、正解画像である画像Ｍ１０２を更に選択する（ステップＳ１６０；Ｙｅｓ→ステップＳ１６２）。ここで、画像Ｍ１００は利用者の人差し指で、画像Ｍ１０２は利用者の薬指で選択されている。

　図１２の状態で所定時間経過すると、選択されている画像Ｍ１００及び画像Ｍ１０２以外の候補画像が更新されて表示されることとなる（ステップＳ１５６；Ｙｅｓ→ステップＳ１５８）。図１３は、画像Ｍ１００及び画像Ｍ１０２以外の画像が更新表示された場合の表示画面Ｗ１０４の一例である。ここで、表示画面Ｗ１０４に、正解画像となる画像Ｍ１０４が表示されている。ここで、利用者は画像Ｍ１０４を選択しようとするが、現在の表示位置では選択しにくい位置となってしまう。

　このとき、選択画像である画像Ｍ１００を、移動先の画像Ｍ１０６の位置に移動させることにより、中指で自然に画像Ｍ１０４を選択することが可能となる。したがって、選択画像である画像Ｍ１００を移動する（図８のステップＳ１６４→ステップＳ１６６）。具体的には、画像Ｍ１００を選択している指をドラッグ（タッチしたまま水平に移動）する動作を行う。

　そして、画像Ｍ１００を選択している指が、画像Ｍ１０６の位置まで来たときに、所定時間経過するまで移動させずに停止させる。これにより、選択画像である画像Ｍ１００と、移動先となる画像Ｍ１０６との位置が入れ替わることとなる（ステップＳ１６８；Ｙｅｓ→ステップＳ１７０）。

　図１４は、画像Ｍ１００と、画像Ｍ１０６との位置を入れ替えた場合の表示場面Ｗ１０６の一例を示す図である。画像Ｍ１００と画像Ｍ１０６とが入れ替わっており、さらに画像Ｍ１０４が利用者の中指により選択されている。

　図１４の状態で正解画像が総て選択されているので、利用者は画像認証を実行する。本図では、正解画像ではない画像Ｍ１００の選択状態を解除することにより画像認証を実行する（ステップＳ１７２；Ｙｅｓ）。図１５は、図１４において画像Ｍ１００の選択状態が解除された場合の表示画面Ｗ１０８の一例を示す図である。

　画像の選択状態が解除された（画像認証の操作がなされた）ことから、認証制御部１１０は、現在選択されている選択画像と、正解画像ＤＢ１４４を照合する（ステップＳ１７４）。そして、選択画像と、正解画像が一致する場合には認証が成功したと判定する（ステップＳ１７４；Ｙｅｓ→ステップＳ１７６）。

　このように、本実施形態によれば、利用者が複数の画像（項目）を選択する場合に、所定時間が経過する毎に、選択されている画像以外の画像の表示位置、内容が変化することとなる。さらに、選択している画像を利用者が所望の位置に移動させることが可能となる。これにより、利用者は画像（項目）を選択する場合に、無理な押し方をすることなく、自然に画像を選択することが可能となり、利便性の高い認証システムを実現することができる。

　なお、上述した実施形態については、候補項目として画像を利用する例について説明したが、例えば数字、文字、図形、記号、写真、色等、他の項目を表示し、当該項目から選択することにより認証を行うこととしても良いことは勿論である。

　また、上述した実施形態については、選択画像を解除することで認証を行う例について説明したが、例えば認証ボタンを他の画像と同じ表示部に表示し、それを選択することで認証を行うこととしても良い。また、認証ボタンは表示部への表示ではなく、端末の表面・側面・裏面などに配置し、それを押下することで認証を行うこととしても良い。特に、側面・裏面に配置した場合、選択画面と認証ボタンを同時に押すことを第３者が視認することを難しくする。

　また、上述した実施形態では認証の例について説明したが、例えばメニューの選択や、数字等の入力に用いてもよい。すなわち、本発明を適用する範囲は、タッチされた位置を同時に複数の検出が可能な情報処理装置において、その情報処理装置に表示された第１の項目を押さえた状態のまま移動させ（ドラッグ）、かつ、第１の項目を押さえた状態のまま第２の項目を押せるユーザインタフェースを持つ物であればよい。

　また、上述した実施形態においては、利用者が選択画像を一つ選択した後の場合について説明したが、一つ目の選択画像から移動（ドラッグ）可能としても良いことは勿論である。

　この場合、図７のステップＳ１５４において選択画像を記憶し、その後図８のステップＳ１６４に処理を移行する。この場合、最初に選択した画像の位置を任意の位置に動かすことが可能となる。したがって、利用者にとって選択画像を選択しやすい位置に動かすことが可能となり、利便性が向上する。

　また、上述した実施形態のステップＳ１７０において選択画像を入れ替えることとして処理を説明したが、必ずしも入れ替える描写を行う必要は無い。すなわち、画像が表示されていない位置に移動させる場合であっても良い。

　［２．第２実施形態］
　つづいて、第２実施形態について説明する。第２実施形態は、利用者が選択する項目として、メニュー項目を選択する場合を例にとって説明する。すなわち、まず、親階層の項目として、第１階層のメニュー項目を表示する。そして、選択された第１階層に応じて、子階層の項目である第２階層のメニュー項目が表示されることとなる。以下、図面を用いて詳細に説明する。

　［２．１　装置構成］
　図１６に本発明を適用した情報処理装置２の構成を示す。情報処理装置２は、制御部１００に、メニュー制御部２１０と、表示データ制御部１２０と、移動判定制御部１３０と、記憶部２４０と、システム液晶１５０（表示部１５２及び入力検知部１５４）がバスを介して接続されている。また、表示データ制御部１２０には、表示位置制御部１２５が接続されている。なお、第１実施形態において説明した構成要素と同一のものについては、同一の符号を付し、その説明を省略する。

　メニュー制御部２１０は、表示するメニューの切り替え、更新指示等の制御を行う制御部である。後述するメニューリスト２４２から、必要となるメニュー項目を読み出してメニュー画面を表示する制御を行う。例えば、親メニューが利用者により選択されると、親メニューに対応する子メニューが表示されることとなる。

　記憶部２４０は、情報処理装置２が動作するための各種データ及びプログラムを記憶しておく機能部である。制御部１００は、記憶部２４０に記憶されているプログラムを読み出して実行する事により、各種機能を実現することとなる。ここで記憶部２４０は、メニューリスト２４２と、メニュー表示プログラム２４４とを記憶している。

　メニューリスト２４２は、情報処理装置２におけるメニュー項目（例えば、「Ｗｅｂ」）を項目番号（例えば、「Ａ」）と対応づけて記憶しているリストである。メニューリスト２４２のデータ構造の一例を図１７に示す。ここで、「Ａ」「Ｂ」「Ｃ」「Ｄ」等は、第１階層（親階層）のメニューを示している。また、第１階層（親階層）に対応する第２階層（子階層）のメニューもそれぞれ記憶されている。例えば、「Ｂ－１」は、「Ｂ」を親階層とする子階層のメニューである。

　［２．２　処理の流れ］
　つづいて、第２実施形態における処理であるメニュー表示処理について、図１８を用いて説明する。メニュー表示処理は、制御部１００が、記憶部２４０に記憶されているメニュー表示プログラム２４４を読み出して実行することにより実現される処理である。

　まず、表示データ制御部１２０は、第１階層（親階層）のメニューを表示する（ステップＳ２００）。ここで、メニューとしては、アイコンと、メニュー項目とが表示されることとする。そして、表示された第１階層（親階層）のアイコンをタッチすることにより、第１選択アイコンを決定する（ステップＳ２０２）。

　利用者により決定された第１選択アイコンを、所定位置に移動すると（ステップＳ２０４；Ｙｅｓ）、第１選択アイコンに対応する第２階層（子階層）のメニューを表示する（ステップＳ２０６）。

　ここで、第２階層（子階層）のメニューで表示できないメニューがある場合には（ステップＳ２０８；Ｙｅｓ）、表示できない第２階層（子階層）のメニューのアイコンを、アイコン表示領域に表示する（ステップＳ２１０）。

　ここで、第１選択アイコンが所定の位置から外れた場合には（ステップＳ２１２；Ｙｅｓ）、ステップＳ２００にもどり、第１階層（親階層）のメニューを再度表示する。他方。第１選択アイコンが所定位置から外れず、更に第２階層（子階層）のメニュー（メニュー項目が表示されているメニューアイコン）が選択されると、選択された機能を実行する（ステップＳ２１４；Ｙｅｓ→ステップＳ２２０）。

　第１選択アイコンを選択（タッチ）したまま、第２選択アイコンの移動動作を検知した場合には（ステップＳ２１２；Ｎｏ→ステップＳ２１４；Ｎｏ→ステップＳ２１６；Ｙｅｓ）、第２階層（子階層）のメニューの表示更新処理を実行し、ステップＳ２１２から処理を繰り返し実行する。（ステップＳ２１８→ステップＳ２１２）。

　［２．３　動作例］
　つづいて、第２実施形態における動作例について図を用いて説明する。

　図１９は、第１階層（親階層）を表示する表示画面Ｗ２００の一例を示す図である。表示画面Ｗ２００には、第１階層のメニュー項目Ｋ２００が表示されている（図１８のステップＳ２００）。ここで、利用者Ｆ２００がメニューアイコンＫ２０２「Ｂ」をタッチし、第１選択アイコンとする（ステップＳ２０２）。なお、利用者Ｆ２００がタッチする方法としては、例えば手（指）でタッチしてもよいし、スタイラスでタッチしても良い。

　図１９の状態で、メニューアイコンＫ２０２を所定位置に移動させた場合に遷移する画面が図２０の表示画面Ｗ２１０である。利用者Ｆ２１０により第１選択アイコンＫ２１０が所定位置に移動し、タッチされた状態となっている。

　そして、第１選択アイコンＫ２１０に対応する第２階層のメニューがメニュー表示領域Ｒ２１０に表示される（ステップＳ２０６）。ここで、メニュー表示領域Ｒ２１０には、メニュー項目として７つまで表示可能である。したがって、図１７に示すように、「Ｂ」に対応する第２階層のメニューは１２個あるため、５つのメニュー項目が表示できないこととなる。この、表示できないメニュー項目については、アイコンとしてアイコン表示領域Ｒ２１２に表示されている。本図では、「８～１２」のメニューのアイコンが表示されることとなる（ステップＳ２０８；Ｙｅｓ→ステップＳ２１０）。

　なお、本図においては、第１選択アイコン以外の第１階層（親階層）のアイコンＫ２１２が表示されているが、第１選択アイコンＫ２１０が所定位置に移動された後に非表示としても良い。

　この状態で、アイコン表示領域Ｒ２１２にあるアイコンが選択され、移動を検知した場合に遷移する画面が図２１の表示画面Ｗ２２０である。表示画面Ｗ２２０は、利用者Ｆ２１０により第１選択アイコンＫ２１０がタッチされたままの状態である。

　また、利用者Ｆ２１２により、アイコン表示領域Ｒ２１２に表示されているアイコンの中から、第２選択アイコンＫ２２０が選択され、メニュー表示領域Ｒ２２０（例えば、「４」の場所）に移動（ドラッグ）される。これにより、第２階層（子階層）のメニューの表示が更新されることとなる（ステップＳ２１６；Ｙｅｓ→ステップＳ２１８）。

　ここで、第２選択アイコンがメニュー表示領域Ｒ２２０に移動された場合の例について説明する。まず、図２２は、入れ替えに関する例である。すなわち、図２１の第２選択アイコンＫ２２０が、メニュー表示領域Ｒ２２０の「４」の場所に移動されると、移動された場所のメニュー項目と、移動した第２選択アイコンのメニュー項目とが入れ替わる方法である。本図に示すように、第２階層のメニュー「４」と、「１０」とが入れ替えて表示されることになる。そして、メニュー表示領域Ｒ２３０に表示されていた第２階層のメニュー「４」は、アイコン表示領域Ｒ２３２に表示されることとなる。

　つづいて、図２３の表示画面Ｗ２４０は、メニューが挿入される例である。「１０」が「４」の位置に移動させられると、「３」と「４」との間に「１０」のメニューが挿入される。これにより、第２階層のメニュー「７」が、アイコン表示領域Ｒ２４２に移動し、表示されることとなる。

　つづいて、図２４の表示画面Ｗ２５０は、メニューが再配置される例である、「１０」が「４」の位置に移動させられると、「１０」を中心にメニューが再配置される。この場合、「１０」の前の「７～９」と、「１１～１」とがメニュー表示領域Ｒ２５０に表示されており、メニュー「２～６」が、アイコン表示領域Ｒ２５２に表示されることとなる。

　このように、本実施形態によれば、メニュー項目の総てが表示画面に表示しきれない場合であっても、利用者がアイコンを移動させることにより、メニューの再表示が容易に行えることとなる。したがって、利用者はより平易な操作で、メニューを切り替えて表示可能となり、容易に所望するメニューを選択することが出来るようになる。

　なお、本実施形態においては、第１階層と第２階層（親階層と子階層）のメニュー例について説明したが、第３階層、第４階層と更に多くの階層にて実現されても良い。この場合、第１階層のタッチした状態を解除することにより、第１階層のメニュー表示に戻ることとなる。すなわち、複雑な階層メニューであっても、容易な操作で、最初のメニュー表示に戻ることができる。更に、第２階層のタッチした状態を解除することにより第２階層のメニュー表示に戻る等、任意のメニュー階層に戻ることも可能である。

　［３．変形例］
　以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も特許請求の範囲に含まれる。

　また、上述した実施形態においてはシステム液晶を利用することとして説明したが、同様の装置であれば実現可能であることは勿論である。さらに、表示部１５２及び入力検知部１５４は、情報処理装置１及び２に一体となっているものとして説明したが、外部の機器として接続されるもので有ってもよい。

１、２　情報処理装置
　１００　制御部
　１１０　認証制御部
　１２０　表示データ制御部
　１２５　表示位置制御部
　１３０　移動判定制御部
　１４０　記憶部
　　１４２　候補画像ＤＢ
　　１４４　正解画像ＤＢ
　　１４６　正解登録プログラム
　　１４８　認証プログラム
　１５０　システム液晶
　　１５２　表示部
　　１５４　入力検知部
　２１０　メニュー制御部
　２４０　記憶部
　　２４２　メニューリスト
　　２４４　メニュー表示プログラム

Claims

　タッチされた位置の検出が同時に複数可能な入力検知部と、表示部とを備えた情報処理装置において、
　前記表示部に複数の候補項目を表示する制御を行う候補項目表示制御部と、
　前記入力検知部によりタッチが検知されている間、タッチされた位置に基づいて、前記表示された候補項目の中から選択項目を選択する選択項目選択部と、
　を備え、
　前記選択項目選択部は、
　前記候補項目の中から第１の選択項目を選択する第１選択項目選択部と、
　前記第１の選択項目が選択されているときに、前記表示された候補項目の中から第２の選択項目を選択する第２選択項目選択部と、
　を有し、
　前記第１選択項目選択部により選択された第１の選択項目をドラッグさせた場合に、当該選択項目を移動表示する制御を行う移動表示制御部を備えることを特徴とする情報処理装置。
　前記移動表示制御部が前記第１の選択項目を移動表示する制御を開始した後に、前記第２選択項目選択部が前記第２の選択項目を選択すると、前記第１の選択項目及び前記第２の選択項目により特定される動作を行うことを特徴とする請求項１に記載の情報処理装置。
　前記移動表示制御部は、前記第１選択項目選択部により選択された第１の選択項目を前記表示された他の候補項目にドラッグさせた場合には、前記他の候補項目の位置に、当該第１の選択項目を移動表示する制御を行うことを特徴とする請求項２に記載の情報処理装置。
　前記移動表示制御部は、前記第１の選択項目と、前記他の候補項目とを入れ替える表示をすることを特徴とする請求項３に記載の情報処理装置。
　前記移動表示制御部は、前記第１の選択項目を、前記他の候補項目の位置に挿入し再表示を行うことを特徴とする請求項３に記載の情報処理装置。
　前記候補項目として複数の画像を記憶する候補画像記憶部と、
　前記候補画像の中から正解の画像を記憶する正解画像記憶部と、
　を備え、
　前記候補項目表示制御部は、前記候補画像記憶部に記憶されている画像を複数表示する制御を行い、
　前記項目選択部は、前記表示されている候補の画像の中から、一又は複数の画像を選択画像として選択し、
　前記選択画像と、前記正解画像記憶部に記憶されている正解の画像とが一致する場合には、正当な利用者であると認証する認証部を更に有することを特徴とする請求項１から３の何れかに記載の情報処理装置。
　前記認証部は、前記選択項目のうち、一の選択項目において検知されているタッチが解除されたときに認証を行うことを特徴とする請求項６に記載の情報処理装置。
　タッチされた位置の検出が同時に複数可能な入力検知部と、表示部とを備えた情報処理装置において、
　前記表示部に複数の親階層の項目を表示する制御を行う親階層表示制御部と、
　前記入力検知部によりタッチが検知されている間、タッチされた位置に基づいて、前記表示された親階層の項目を選択する親階層項目選択部と、
　前記親階層項目選択部により選択された親階層から選択可能な子階層の項目を表示する制御を行う子階層表示制御部と、
　親階層の項目が選択されているときに、更に子階層の項目を選択する子階層項目選択部と、
　前記選択された子階層の項目を、前記表示された他の子階層の項目にドラッグさせることにより、前記子階層の項目の位置に、前記選択された子階層の項目を移動表示する制御を行う子階層移動表示制御部と、
　を備えることを特徴とする情報処理装置。
　タッチされた位置の検出が同時に複数可能な入力検知部と、表示部とを備えたコンピュータに、
　前記表示部に複数の候補項目を表示する制御を行う候補項目表示制御機能と、
　前記入力検知部によりタッチが検知されている間、タッチされた位置に基づいて、前記表示された候補項目の中から選択項目を選択する選択項目選択機能と、
　を実現させるプログラムであって、
　前記選択項目選択機能は、
　前記候補項目の中から第１の選択項目を選択する第１選択項目選択機能と、
　前記第１の選択項目が選択されているときに、前記表示された候補項目の中から第２の選択項目を選択する第２選択項目選択機能と、
　を含み、
　前記第１選択項目選択機能により選択された第１の選択項目をドラッグさせた場合に、当該選択項目を移動表示する制御を行う移動表示制御機能を実現させるためのプログラム。