JP6088772B2 - 情報処理装置、制御方法、制御プログラム、および記録媒体 - Google Patents

Description

本発明は、タッチパネルを備え、ユーザが手で保持しながらジェスチャ操作を行う情報処理装置、制御方法、制御プログラム、および記録媒体に関する。

表示画面の表示をユーザに対して提示しながらジェスチャ操作を受け付けるタッチパネルにおいては、複数点の接触によるマルチタッチを検出できるものが電子機器において広く利用されている。

このような電子機器のうち、特にスマートフォンなどの携帯可能な小型端末においてマルチタッチを行うためには、一方の手で端末を把持したうえで、もう一方の手でマルチタッチを行う必要があるため、片手で操作を行うことは難しかった。

特許文献１には、異なる側面に設けられたタッチセンサへのジェスチャ操作や隣接する２つの側面にまたがるジェスチャ操作を行うことで、正面部のタッチパネルに依存することなく、ジェスチャ操作を行うことができる情報処理装置が開示されている。

特開２０１０−２６２５５７号公報（２０１０年１１月１８日公開）

しかしながら、特許文献１に記載の情報処理装置では、正面部のタッチパネルと側面タッチセンサを同時に併用するものではないため、正面部のタッチパネルに対するジェスチャ操作を行えるものではなかった。異なる側面に設けられたタッチセンサへのジェスチャ操作や隣接する２つの側面にまたがるジェスチャ操作を行うものであるため、情報処理装置を把持した手によって行うことは依然として困難なままである。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、ユーザが手で保持しながら複数の操作を同時に行うときの操作性を向上させることができる情報処理装置、制御方法、制御プログラム、および記録媒体を実現することにある。

上記の課題を解決するために、本発明の一態様に係る情報処理装置は、同時に操作入力された複数の指示に従って表示情報を表示する表示部を備える情報処理装置であって、上記表示部の表示面に対する第１指示を取得する第１操作入力部と、筐体の上記表示部とは別の部位に設けられた、第２指示を取得する第２操作入力部とを備えるとともに、上記第１指示と上記第２指示との双方を取得したときに、所定の複合指示を特定する入力指示特定手段と、上記入力指示特定手段によって特定された上記複合指示に従って上記表示部を制御する表示制御手段とをさらに備えることを特徴とする。

また、本発明の一態様に係る情報処理装置の制御方法は、 同時に操作入力された複数の指示に従って表示情報を表示する表示部を備える情報処理装置の制御方法であって、上記情報処理装置は、上記表示部の表示面に対する第１指示を取得する第１操作入力部と、筐体の上記表示部とは別の部位に設けられた、第２指示を取得する第２操作入力部とを備え、上記第１指示と上記第２指示との双方を取得したときに、所定の複合指示を特定する入力指示特定ステップと、上記入力指示特定ステップにて特定された上記複合指示に従って上記表示部を制御する表示制御ステップとを含むことを特徴とする。

本発明の一態様によれば、表示面に対する操作入力および表示部とは別の部位に対する操作入力との２つの操作入力を受け付け、それぞれの操作入力による単独指示とは異なる、複合指示として処理することができる。よって、それぞれ単独での操作入力では入力が困難であった指示の入力を、簡単でかつ直観的な操作によって行うことが可能となるという効果を奏する。

本発明の実施形態に係るスマートフォンの要部構成を示す機能ブロック図である。 上記スマートフォンの動作例を示すフローチャートである。 上記スマートフォンの外観の概要、および、片手でタッチパネルおよび側面タッチセンサの操作を行うときの一例を示す図である。 上記スマートフォンの実施例１を示すものであり、タッチパネルの操作を検知してから側面タッチセンサの操作を検知したときの動作を示す表示画面の遷移図である。 上記スマートフォンの実施例２を示すものであり、タッチパネルの操作を検知してから側面タッチセンサの操作を検知したときの動作を示す表示画面の遷移図である。 上記スマートフォンの実施例３を示すものであり、タッチパネルの操作を検知してから側面タッチセンサの操作を検知したときの動作を示す表示画面の遷移図である。 上記スマートフォンの実施例４を示すものであり、側面タッチセンサの操作を検知してからタッチパネルの操作を検知したときの動作を示す表示画面の遷移図である。 上記スマートフォンの実施例５を示すものであり、側面タッチセンサの操作を検知してからタッチパネルの操作を検知したときの動作を示す表示画面の遷移図である。

以下、本発明の実施の一形態について、図１〜図７に基づいて説明すれば、以下のとおりである。ここでは、本発明を、側面タッチセンサ２（第２操作入力部）とタッチパネル３（第１操作入力部、表示面タッチセンサ）とを備えるスマートフォン１（情報処理装置）に適用した例について説明する。本発明は、タッチパネル３を有する電子機器全般に適用可能であり、特に、ＰＨＳ（Personal Handy phone System）、携帯電話、ハンディターミナルなどのような、携帯型の電子機器に好適に適用可能である。

〔スマートフォン１の構成〕
図１は、スマートフォン１の、要部構成を示す機能ブロック図である。スマートフォン１は、少なくとも１つの表示画面（表示面）である表示部３２を備え、該表示画内に表示情報を表示する機能を有している。表示情報とは、ユーザがスマートフォン１において実行するアプリケーションソフトウェア（アプリ）の実行時に表示される情報、文字列または画像などである。

ここで、スマートフォン１の外観の一例について図３を参照して説明する。スマートフォン１は、その筐体の一表面にタッチパネル３を備え、タッチパネル３と隣接する側面に、さらに側面タッチセンサ２を備えている。この例では、側面タッチセンサ２はタッチパネル３を含む面（主面）に隣接する右側の面に設けられている。なお、側面タッチセンサ２の場所は、右側面に限定されず、スマートフォン１の筐体の所望の面であってもよい。しかしながら、スマートフォン１をユーザが片手で保持したまま、タッチパネル３の操作と同時に側面タッチセンサ２の操作ができる位置に配置されることが望ましい。

例えば、図３に示すように、スマートフォン１は縦長に形成されており、スマートフォン１を右手に把持するユーザは、例えば右手人差し指Ｆで側面タッチセンサ２の操作を行い、右手親指Ｔでタッチパネル３の操作を行うことができる。

なお、スマートフォン１の形状は縦長であることに限定されない。例えば、縦横比を変えて、ユーザが左右方向に画角の広い表示面を利用できるように形成されてもよい。この場合、例えば、側面タッチセンサ２は、タッチパネル３を含む主面と隣接する上側側面の右端近傍に配置することが望ましい。これにより、右手人差し指の動作による操作が可能となる。側面タッチセンサ２、タッチパネル３への２つのジェスチャ操作、およびこれらの組み合わせに対応する複合指示の規定方法については詳細に後述する。

つぎに、図１に示すように、スマートフォン１は、側面タッチセンサ２、タッチパネル３、入力指示特定部４、テーブル部５、および表示制御部６を備えている。そして、これらの部材がスマートフォン１の筐体内部に格納されている。なお、スマートフォン１は、通信装置、マイク、スピーカなど、電話機として機能するために必要な装置を備えているが、これらについては、発明と直接関係がないため、ここでは図示していない。

側面タッチセンサ２は、ユーザによるジェスチャ操作による指示（第２指示）の入力を受け付ける。そのため、側面タッチセンサ２は、少なくとも、操作検知部２１（第２操作入力部）を備えている。なお、本発明は、側面タッチセンサ２に限定されることはなく、タッチパネル操作と組み合わせる操作入力を受け付けることが可能な、如何なる操作入力手段であってもよい。

タッチパネル３は、表示情報を表示するとともに、ユーザの操作を受け付けるユーザインターフェースである。そのため、タッチパネル３は、表示面である表示部３２と、表示面上へのユーザによるタッチ操作による指示（第１指示）の入力を受け付けるタッチ操作検知部３１（第１操作入力部、表示面タッチセンサ）とを備えている。

詳細には、表示部３２は、ユーザが視認できるように情報を表示する表示画面であり、ジェスチャ操作についてのガイド情報（メニュー）の表示も行う。

なお、表示部３２としては、例えばＬＣＤ（液晶ディスプレイ：Liquid Crystal Display）、ＰＤＰ（プラズマディスプレイ:Plasma Display Panel）、または有機ＥＬ（Organic LED）などの、薄型フラットパネルディスプレイ（Flat Panel Display）が好ましい。

また、タッチ操作検知部３１は、表示面へのタッチ操作入力を受け付けることが可能なものであれば、特に限定されない。例えば、抵抗膜方式、静電容量方式などの電気的な検出方法によるセンサでもよいし、物理的に接触した圧力を検出するセンサでもよい。また、タッチパネル３を光センサ液晶として実現してもよい。この場合、光センサ液晶が備える複数の光センサがタッチ操作検知部３１として機能する。

入力指示特定部４は、側面タッチセンサ２の操作検知部２１、およびタッチパネル３のタッチ操作検知部３１のいずれか一方、あるいは双方から入力指示を取得する。また、入力指示特定部４は、表示制御部６から、表示部３２が表示しているアプリケーションが受け付けることが可能な指示についての情報（アプリ情報）を取得する。

詳細には、入力指示特定部４は、側面タッチセンサ２の操作検知部２１、およびタッチパネル３のタッチ操作検知部３１のいずれか一方の操作（単独ジェスチャ操作）を取得したとき、アプリ情報に基づいて、単独指示を特定する。そして、入力指示特定部４は、特定した単独指示を表示制御部６に送る。

また、入力指示特定部４は、側面タッチセンサ２の操作検知部２１、およびタッチパネル３のタッチ操作検知部３１の双方から同時に操作（複合ジェスチャ操作）を取得したとき、アプリ情報、およびテーブル部５に保持している複合指示情報に基づいて複合指示を特定する。そして、入力指示特定部４は、特定した複合指示を表示制御部６に送る。

テーブル部５は、入力指示特定部４が、側面タッチセンサ２およびタッチパネル３への２つのジェスチャ操作の組み合わせに対応する複合指示を特定するためのルックアップテーブルを保持している。

側面タッチセンサ２、タッチパネル３への２つのジェスチャ操作、およびこれらの組み合わせに対応する複合指示は、スマートフォン１を把持するユーザが、タッチパネル３の操作と側面タッチセンサ２の操作とを行うときに、想定される手指の配置を考慮した無理のない動作によって、かつ違和感のない操作性となるように規定されることか好ましい。

例えば、図３に示した例ではスマートフォン１は縦に長く形成されており、主面にタッチパネル３を備え、その主面と隣接する右側の面に側面タッチセンサ２を備えている。これにより、右手だけ（片手）でスマートフォン１を把持したときにおいても、右手親指でタッチパネル３を操作し、右手人差し指で側面タッチセンサ２を好適に操作することができる。この場合、右手親指を用いた無理のない動作（タッチ操作、あるいは選択操作など）でのタッチパネル３の操作と、右手人差し指を用いた無理のない動作（タッチ操作、スライド操作など）での側面タッチセンサ２の操作とによって、側面タッチセンサ２、タッチパネル３への２つのジェスチャ操作、およびこれらの組み合わせに対応する複合指示は規定される。この点に関しては、後に実施例の説明において詳述する。

表示制御部６は、入力指示特定部４が特定した指示（単独指示、複合指示）に従って、表示部３２に表示する情報を制御する。また、表示制御部６は、ユーザのジェスチャ操作についてのガイド情報（メニュー）の表示を制御するメニュー表示制御部６１（メニュー表示制御手段）を備えている。このメニュー表示制御部６１の動作については、後述する。

〔スマートフォン１の動作〕
図２は、スマートフォン１の動作例を示すフローチャートである。

スマートフォン１がタッチパネル３の表示面（表示部３２）にアプリケーション（画像、文字列、アイコンなどを含む）を表示しているとき、ユーザはタッチパネル操作による指示（第１指示）、および側面タッチセンサ操作による指示（第２指示）の少なくとも一方を入力することができる。

まず、タッチ操作検知部３１がタッチパネル３へのジェスチャ操作を検知したときに（ステップ１、以下単にＳ１と記す）、側面タッチセンサ２の操作検知部２１において側面タッチセンサ操作を検知していない場合は（Ｓ２でＮＯ）、入力指示特定部４は、タッチ操作検知部３１から取得した単独指示を表示制御部６に送る。表示制御部６は、取得した単独指示に従って表示情報を表示部３２に表示する（Ｓ３）。

そして、タッチパネル操作による単独指示に従って表示しているとき、メニュー表示制御部６１は、側面タッチセンサ２のジェスチャ操作を組み合わせた場合の複合指示に関するメニューを表示部３２に表示させる（Ｓ４）。そして、ユーザによる側面タッチセンサ操作が行われるまで、タッチパネル操作による単独指示に従って表示を継続する。

また、タッチ操作検知部３１がタッチパネル３へのジェスチャ操作を検知したときに（Ｓ１）、側面タッチセンサ２の操作検知部２１において側面タッチセンサ操作を受け付けている場合は（Ｓ２でＹＥＳ）、タッチ操作検知部３１から取得した単独指示に従った表示を行わず、側面タッチセンサ２のジェスチャ操作を組み合わせた場合の複合指示に関するメニューを表示部３２に表示させて（Ｓ４）、ユーザによる側面タッチセンサ操作が行われるまで待機する。

その後、すなわち、取得したタッチパネル操作を処理し、側面タッチセンサ操作の入力を待機している状態において、側面タッチセンサ操作を操作検知部２１が検知すると（Ｓ５）、タッチパネル操作はすでに検知している（Ｓ６でＹＥＳ）ので、入力指示特定部４は、タッチパネル３および側面タッチセンサ２の双方から指示を取得したことになる。

そこで、入力指示特定部４は、タッチパネル３および側面タッチセンサ２の双方から取得した指示、および表示制御部６から取得したアプリ情報に基づき、テーブル部５に保持している複合指示情報を参照して、複合指示を特定する（Ｓ８；入力指示特定ステップ）。そして、特定された複合指示は、入力指示特定部４から表示制御部６に送られ、表示制御部６は取得した複合指示に従って表示情報を表示部３２に表示する（Ｓ９；表示制御ステップ）。

これに対して、タッチパネル操作の前に側面タッチセンサ操作が行われた場合には、上記とは逆の手順で処理を行う。

すなわち、タッチパネル操作の前に、操作検知部２１が側面タッチセンサ２へのジェスチャ操作を検知したときに（Ｓ５）、タッチパネル３のタッチ操作検知部３１においてタッチパネル操作を検知していない場合は（Ｓ６でＮＯ）、入力指示特定部４は、操作検知部２１から取得した単独指示を表示制御部６に送る。表示制御部６は、取得した単独指示に従って表示情報を表示部３２に表示する（Ｓ７）。そして、ユーザによるタッチパネル操作が行われるまで待機する。

その後、すなわち、取得した側面タッチセンサ操作を処理し、タッチパネル操作の入力を待機している状態において、タッチパネル操作をタッチ操作検知部３１が検知すると（Ｓ１）、タッチパネル操作はすでに検知している（Ｓ２でＹＥＳ）ので、入力指示特定部４は、側面タッチセンサ２およびタッチパネル３の双方から指示を取得したことになる。このとき、メニュー表示制御部６１は、側面タッチセンサ２のジェスチャ操作を組み合わせた場合の複合指示に関するメニューを表示部３２に表示させる（Ｓ４）。

そして、入力指示特定部４は、側面タッチセンサ２およびタッチパネル３の双方から取得した指示、および表示制御部６から取得したアプリ情報に基づき、テーブル部５に保持している複合指示情報を参照して、複合指示を特定する（Ｓ８）。そして、特定された複合指示は、入力指示特定部４から表示制御部６に送られ、表示制御部６は取得した複合指示に従って表示情報を表示部３２に表示する（Ｓ９）。

上記の構成により、スマートフォン１は、タッチパネル３と側面タッチセンサ２との両方の操作による指示入力を受け付け、それぞれの単独指示とは異なる、複合指示として処理することができる。これにより、タッチパネル操作単独、あるいは側面タッチセンサ単独による指示入力では困難であった指示入力を受け付けることができる。

（実施例１）
ここでは、タッチパネル３と側面タッチセンサ２とに対して操作を行うことによって、所望の位置を中心にして画像を拡大、あるいは縮小して表示する実施例について説明する。

図４は、タッチパネル３の操作を検知してから側面タッチセンサ２の操作を検知したときの動作を示す表示画面の遷移図である。

まず、図４の状態ａは、タッチパネル３に画像が表示されているときに、タッチ操作が位置Ｔ１において検知された（図２のＳ１）状態を示している。このとき、側面タッチセンサ２の操作はまだ検知されていない（図２のＳ２でＮＯ）。なお、図４の状態ａでは、説明のために位置Ｔ１を示す破線の円を示しているが、表示画面には表示しなくてもよい。

そして、図４の状態ａでは、側面タッチセンサ２に近接した表示画面の領域に、側面タッチセンサ２のジェスチャ操作を組み合わせた場合の複合指示に関するメニュー３２１が表示されている（図２のＳ４）。

具体的には、複合指示のメニュー３２１は、位置Ｔ１を中心とした画像の拡大（＋）／縮小（−）の指示操作を示すものであり、側面タッチセンサ２へのジェスチャ操作が画面上方向である場合には画像を拡大し、画面下方向である場合には縮小できることを示している。

次に、側面タッチセンサ２がジェスチャ操作Ｆ１を検知すると（図２のＳ５）、タッチパネル操作と側面タッチセンサ操作との組み合わせから複合指示が特定される（図２でＳ８）。具体的には、図４の状態ｂに示すように、タッチパネル３に対して位置Ｔ１が指定されており、側面タッチセンサ２に対して画面上方向への操作が入力されているため、位置Ｔ１を中心として、画像を拡大して表示する（図２でＳ９）。

なお、側面タッチセンサ２におけるジェスチャ操作Ｆ１によって、拡大か縮小かの選択だけではなく、拡縮の倍率も入力できるようにしてもよい。例えば、ジェスチャ操作Ｆ１が行われるときに、側面タッチセンサ２と接触したユーザの指が動いた距離、あるいは指の動く速度などに基づいて、倍率が入力できるようにしてもよい。

本実施例によれば、スマートフォン１は、タッチパネル３に対する位置Ｔ１を指定する操作と、側面タッチセンサ２に対する方向を指定するジェスチャ操作Ｆ１とを取得することにより、画像を位置Ｔ１を中心に拡大／縮小することができる。すなわち、ユーザは、タッチパネル３と側面タッチセンサ２とに対して同時に、片手による簡単な操作を行うことによって、所望の位置を中心にして画像を拡大、あるいは縮小して表示することができる。

（実施例２）
次に、タッチパネル３と側面タッチセンサ２とに対して操作を行うことによって、所望の位置を中心にして画像を回転して表示する実施例について説明する。

図５は、タッチパネル３の操作を検知してから側面タッチセンサ２の操作を検知したときの動作を示す表示画面の遷移図である。

まず、図５の状態ａは、タッチパネル３に画像が表示されているときに、タッチ操作が位置Ｔ２において検知された（図２のＳ１）状態を示している。このとき、側面タッチセンサ２の操作はまだ検知されていない（図２のＳ２でＮＯ）。なお、図５の状態ａでは、説明のために位置Ｔ２を示す破線の円を示しているが、表示画面には表示しなくてもよい。

そして、図５の状態ａでは、側面タッチセンサ２に近接した表示画面の領域に、側面タッチセンサ２のジェスチャ操作を組み合わせた場合の複合指示に関するメニュー３２２が表示されている（図２のＳ４）。

具体的には、複合指示のメニュー３２２は、位置Ｔ２を中心とした画像の回転の指示操作を示すものであり、側面タッチセンサ２へのジェスチャ操作が画面上方向である場合には画像を反時計回りに回転し、画面下方向である場合には時計回りに回転できることを示している。

次に、側面タッチセンサ２がジェスチャ操作Ｆ２を検知すると（図２のＳ５）、タッチパネル操作と側面タッチセンサ操作との組み合わせから複合指示が特定される（図２でＳ８）。具体的には、図５の状態ｂに示すように、タッチパネル３に対して位置Ｔ２が指定されており、側面タッチセンサ２に対して画面上方向への操作が入力されているため、位置Ｔ２を中心として、画像を反時計回りに回転して表示する（図２でＳ９）。

なお、側面タッチセンサ２におけるジェスチャ操作Ｆ２によって、回転方向の選択だけではなく、その回転角度も入力できるようにしてもよい。例えば、ジェスチャ操作Ｆ２が行われるときに、側面タッチセンサ２と接触したユーザの指が動いた距離、あるいは指の動く速度などに基づいて、回転角度が入力できるようにしてもよい。

本実施例によれば、スマートフォン１は、タッチパネル３に対する位置Ｔ２を指定する操作と、側面タッチセンサ２に対する方向を指定するジェスチャ操作Ｆ２とを取得することにより、画像を位置Ｔ２を中心に回転することができる。すなわち、ユーザは、タッチパネル３と側面タッチセンサ２とに対して同時に、片手による簡単な操作を行うことによって、所望の位置を中心にして画像を回転して表示することができる。

（実施例３）
次に、タッチパネル３へのタッチ操作によって、画面に表示されたアプリの動作メニューから所望の対象を選択する指示を入力する場合について説明する。

図６は、タッチパネル３の操作を検知してから側面タッチセンサ２の操作を検知したときの動作を示す表示画面の遷移図である。

まず、図６の状態ａは、タッチパネル３にアプリのアイコンが表示されているときに、タッチ操作が位置Ｔ３において検知され（図２のＳ１）、アプリＥが選択された状態を示している。このとき、側面タッチセンサ２の操作はまだ検知されていない（図２のＳ２でＮＯ）。なお、図６の状態ａでは、説明のために位置Ｔ３を示す破線の円を示しているが、表示画面には表示しなくてもよい。

そして、図６の状態ａでは、側面タッチセンサ２に近接した表示画面の領域に、側面タッチセンサ２のジェスチャ操作を組み合わせた場合の複合指示に関するメニュー３２３が表示されている（図２のＳ４）。

具体的には、複合指示のメニュー３２３は、選択されたアイコンＥのタッチ操作によって起動するアプリＥが備える動作メニューのリスト表示であり、最初のカーソルの位置は動作Ｅ３の位置にある。

次に、側面タッチセンサ２がジェスチャ操作Ｆ３を検知すると（図２のＳ５）、タッチパネル操作と側面タッチセンサ操作との組み合わせから複合指示が特定される（図２でＳ８）。具体的には、図６の状態ｂに示すように、タッチパネル３に対して位置Ｔ３が指定されており、側面タッチセンサ２に対して画面上方向への操作が入力されているため、位置Ｔ３に対応するアイコンＥが備える動作メニューを動作Ｅ３から上方へ移動して、動作Ｅ１が選択されて表示される（図２でＳ９）。

そして、側面タッチセンサ２に対してジェスチャ操作Ｆ３の後に、接触していたユーザの指が離されたこと（図６の状態ｃのジェスチャ操作Ｆ４）を検知すると、動作Ｅ１の選択が確定され、アプリＥの動作Ｅ１が実行される。

本実施例によればスマートフォン１は、タッチパネル３に対する位置Ｔ３を指定する操作と、側面タッチセンサ２に対する方向を指定するジェスチャ操作Ｆ３とを取得することにより、アプリＥの動作メニューから動作を選択することができる。すなわち、ユーザは、タッチパネル３と側面タッチセンサ２とに対して同時に、片手による簡単な操作を行うことによって、所望のアプリの動作を指定することができる。

（実施例４）
次に、タッチパネル３と側面タッチセンサ２とに対して操作を行うことによって、画像をスクロール（移動）させているときに一時停止して表示する実施例について説明する。

図７は、側面タッチセンサ２の操作を検知してからタッチパネル３の操作を検知したときの動作を示す表示画面の遷移図である。

まず、図７の状態ａでは、タッチパネル３に画像が表示されているときに、側面タッチセンサ２に対して画面下方向への側面タッチセンサ２に対するジェスチャ操作Ｆ５が検知され（図２のＳ５）、表示画像が画面下方向へスクロールしている（図２のＳ７）。このとき、タッチパネル３の操作はまだ検知されていない（図２のＳ６でＮＯ）。

次に、タッチパネル３がタッチ操作Ｔ４を検知すると（図２のＳ５）、タッチパネル操作と側面タッチセンサ操作との組み合わせから複合指示が特定される（図２でＳ８）。具体的には、図７の状態ｂに示すように、側面タッチセンサ２に対してジェスチャ操作Ｆ５が検知されており、タッチパネル３に対してタッチ操作Ｔ４が入力されているため、スクロールが停止した状態で画像が表示される（図２でＳ９）。

その後、図７の状態ｃのように、タッチ操作Ｔ４が検知されなくなれば、側面タッチセンサ２に対するジェスチャ操作Ｆ５による画像のスクロールが再開する。

本実施例によれば、スマートフォン１は、側面タッチセンサ２に対する方向を指定するジェスチャ操作Ｆ５を取得している間、表示画像を指定方向へ移動させて表示し、さらに、タッチパネル３に対するタッチ操作Ｔ４を取得すると、表示画像の移動を停止することができる。すなわち、ユーザは、タッチパネル３と側面タッチセンサ２とに対して同時に、片手による簡単な操作を行うことによって、移動と停止を切替えながら画像を表示することができる。

なお、側面タッチセンサ操作による画像の移動（スクロール）の停止と再開との切替えを、タッチパネル３のタッチ操作Ｔ４を検出するたびに切り替えるようにしてもよい。これにより、ユーザは、タッチ操作Ｔ４を継続したまま表示を視認しなくてもよくなるため、利便性が向上する。

（実施例５）
次に、タッチパネル３と側面タッチセンサ２とに対して操作を行うことによって、表示画面上の一部領域を選択する実施例について説明する。なお、ここでは、一部領域を選択することにより、当該一部領域に表示されているアイコンをまとめて選択する場合について説明する。

図８は、側面タッチセンサ２の操作を検知してからタッチパネル３の操作を検知したときの動作を示す表示画面の遷移図である。

図８の状態ａでは、複数のアイコンＰが表示画面に表示されているときに、側面タッチセンサ２に対するジェスチャ操作Ｆ６が検知され（図２のＳ５）、タッチパネル３に対するドラッグ操作が無効になった状態を示している（図２のＳ７）。このとき、タッチパネル３の操作はまだ検知されていない（図２のＳ６でＮＯ）。

次に、タッチパネル３がタッチ操作Ｔ５を検知すると（図２のＳ５）、タッチパネル操作と側面タッチセンサ操作との組み合わせから複合指示が特定される（図２でＳ８）。具体的には、図８の状態ｂのように、タッチパネル３に対するタッチ操作Ｔ５として入力された軌道を検知する。そして、図８の状態ｃのように、タッチパネル３において複数のアイコンＰの中から、タッチ操作Ｔ５として検知した軌道上、あるいは軌道の曲線によって囲まれる領域にあるアイコンＱを選択して表示する（図２でＳ８）。なお、選択されたアイコンＱは側面タッチセンサ２に対するジェスチャ操作Ｆ６が検出されなくなる（図８の状態ｃのジェスチャ操作Ｆ７）ことで確定されるようにしてもよい。

本実施例によれば、スマートフォン１は、側面タッチセンサ２に対するジェスチャ操作Ｆ６を取得している間、タッチパネル３に対するドラッグ操作を無効として、画面の一部領域を指定するためのタッチ操作Ｔ５を可能とする。すなわち、ユーザは、タッチパネル３と側面タッチセンサ２とに対して同時に、片手による簡単な操作を行うことによって、画面の一部領域を指定することで、例えば、アイコンをまとめて選択することができる。

〔まとめ〕
本発明の一態様に係る情報処理装置（スマートフォン１）は、同時に操作入力された複数の指示に従って表示情報を表示する表示部（表示部３２）を備える情報処理装置であって、上記表示部の表示面に対する第１指示（タッチパネル操作による指示）を取得する第１操作入力部（タッチパネル３、タッチ操作検知部３１）と、筐体（スマートフォン１）の上記表示部とは別の部位に設けられた、第２指示（側面タッチセンサ操作による指示）を取得する第２操作入力部（側面タッチセンサ２、操作検知部２１）とを備えるとともに、上記第１指示と上記第２指示との双方を取得したときに、所定の複合指示を特定する入力指示特定手段（入力指示特定部４）と、上記入力指示特定手段によって特定された上記複合指示に従って上記表示部を制御する表示制御手段（表示制御部６）とをさらに備える構成である。

また、本発明の一態様に係る情報処理装置の制御方法は、同時に操作入力された複数の指示に従って表示情報を表示する表示部を備える情報処理装置の制御方法であって、上記情報処理装置は、上記表示部の表示面に対する第１指示を取得する第１操作入力部と、筐体の上記表示部とは別の部位に設けられた、第２指示を取得する第２操作入力部とを備え、上記第１指示と上記第２指示との双方を取得したときに、所定の複合指示を特定する入力指示特定ステップ（Ｓ８）と、上記入力指示特定ステップにて特定された上記複合指示に従って上記表示部を制御する表示制御ステップ（Ｓ９）とを含む方法である。
上記の構成および方法によれば、上記情報処理装置は、第１操作入力部から表示部に対する第１指示を取得し、第２操作入力部から表示部とは別の部位に対する第２指示を取得する。そして、第１指示と第２指示との両方を取得したとき、第１表示と第２指示とを組み合わせることで特定される所定の複合指示を特定し、複合指示に従って表示情報を表示する。

これにより、第１操作入力部のみ、あるいは第２操作入力部のみを用いた操作では入力が困難な複合指示の入力を、簡単でかつ直観的な操作によって行うことができるという効果を奏する。

さらに、本発明の一態様に係る情報処理装置は、上記第２操作入力部は、筐体の上記表示部が設けられた面と隣接する面に設けられた側面タッチセンサであることが望ましい。

上記の構成によれば、さらに、情報処理装置を保持する側の手の指を有効に利用して、上記第２指示の入力が行われる。これにより、第２操作入力部への入力操作を、簡単でかつ直観的な操作によって行うことができる。

さらに、本発明の一態様に係る情報処理装置は、上記表示部および上記第１操作入力部は、両者が一体に構成されたタッチパネル（タッチパネル３）であることが望ましい。

上記の構成によれば、さらに、ユーザは表示部に表示された情報に対するタッチ操作によって、第１操作入力部の入力操作を行うことができる。これにより、第１操作入力部の入力操作を、直観的で簡単な操作によって行うことができる。

さらに、本発明の一態様に係る情報処理装置は、上記第１指示を取得したとき、該第１指示を用いて入力可能な上記複合指示の内容を、該第１指示と組み合わせ可能な上記第２指示と対応づけて表示するメニュー表示制御手段（メニュー表示制御部６１）を備えるようにしてもよい。
上記の構成によれば、さらに、情報処理装置は、第１指示を取得したとき、第２指示として次にどのような操作入力を行えば、いかなる複合指示を入力することができるかをユーザに通知する。これにより、複合指示を利用するユーザに対して、適切に複合指示の入力方法を示すことができ、利便性を向上させることができる。

なお、上記情報処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記の各手段として動作させることにより上記情報処理装置をコンピュータにて実現させる情報処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

〔ソフトウェアによる実現例〕
最後に、スマートフォン１の各ブロック、特に入力指示特定部４および表示制御部６は、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。

後者の場合、スマートフォン１は、各機能を実現するプログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるスマートフォン１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記スマートフォン１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、一時的でない有形の媒体（non-transitory tangible medium）、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ（登録商標）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable logic device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。

また、スマートフォン１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は、タッチパネルを備え、ユーザが手で保持しながらジェスチャ操作を行うスマートフォンなどの携帯端末に好適に利用することができる。

１ スマートフォン（情報処理装置）
２ 側面タッチセンサ（第２操作入力部）
３ タッチパネル（第１操作入力部、表示面タッチセンサ）
４ 入力指示特定部（入力指示特定手段）
６ 表示制御部（表示制御手段）
２１ 操作検知部（第２操作入力部）
３１ タッチ操作検知部（第１操作入力部、表示面タッチセンサ）
３２ 表示部
６１ メニュー表示制御部（メニュー表示制御手段）
Ｓ８ 入力指示特定ステップ
Ｓ９ 表示制御ステップ

Claims (11)

1. 同時に操作入力された複数の指示に従って表示情報を表示する表示部を備える情報処理装置であって、
   上記表示部の表示面に対する第１指示を取得する第１操作入力部と、
   筐体の上記表示部とは別の部位に設けられた、第２指示を取得する第２操作入力部とを備えるとともに、
   上記第１指示と上記第２指示との双方を取得したときに、所定の複合指示を特定する入力指示特定手段と、
   上記入力指示特定手段によって特定された上記複合指示に従って上記表示部を制御する表示制御手段と、
   上記第１指示を取得したとき、該第１指示を用いて入力可能な上記複合指示の内容を、該第１指示と組み合わせ可能な上記第２指示と対応づけて表示するメニュー表示制御手段と、をさらに備え、
   上記複合指示の内容は、上記表示部が表示しているアプリケーションが上記第２操作入力部で受け付けることが可能な、表示画像に対して画像処理を施すための操作についてのガイド情報であることを特徴とする情報処理装置。
2. 同時に操作入力された複数の指示に従って表示情報を表示する表示部を備える情報処理装置であって、
   上記表示部の表示面に対する第１指示を取得する第１操作入力部と、
   筐体の上記表示部とは別の部位に設けられた、第２指示を取得する第２操作入力部とを備えるとともに、
   上記第１指示と上記第２指示との双方を取得したときに、所定の複合指示を特定する入力指示特定手段と、
   上記入力指示特定手段によって特定された上記複合指示に従って上記表示部を制御する表示制御手段と、
   上記第１指示を取得したとき、該第１指示を用いて入力可能な上記複合指示の内容を、該第１指示と組み合わせ可能な上記第２指示と対応づけて表示するメニュー表示制御手段
   と、をさらに備え、
   上記入力指示特定手段は、上記表示部が表示しているアプリケーションが上記第２操作入力部で受け付けることが可能な、上記表示部が表示している表示画像に対する画像処理の指示についての情報に基づいて上記複合指示を特定することを特徴とする情報処理装置。
3. 上記第２操作入力部は、筐体の上記表示部が設けられた面と隣接する面に設けられた側面タッチセンサであることを特徴とする請求項１または２に記載の情報処理装置。
4. 上記表示部および上記第１操作入力部は、両者が一体に構成されたタッチパネルであることを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
5. 上記メニュー表示制御手段は、上記表示部に表示されている画像の拡大／縮小の指示に関する上記複合指示についてのメニューを表示させることを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。
6. 上記メニュー表示制御手段は、上記表示部に表示されている画像の回転方向の指示に関する上記複合指示についてのメニューを表示させることを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。
7. 上記メニュー表示制御手段は、上記表示部に表示されているアプリケーションが受け付けることが可能な指示に関する上記複合指示についてのメニューを表示させることを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。
8. 同時に操作入力された複数の指示に従って表示情報を表示する表示部を備える情報処理装置の制御方法であって、
   上記情報処理装置は、上記表示部の表示面に対する第１指示を取得する第１操作入力部と、筐体の上記表示部とは別の部位に設けられた、第２指示を取得する第２操作入力部とを備え、
   上記第１指示と上記第２指示との双方を取得したときに、所定の複合指示を特定する入力指示特定ステップと、
   上記入力指示特定ステップにて特定された上記複合指示に従って上記表示部を制御する表示制御ステップと、
   上記第１指示を取得したとき、該第１指示を用いて入力可能な上記複合指示の内容を、該第１指示と組み合わせ可能な上記第２指示と対応づけて表示するメニュー表示制御ステップと、をさらに含み、
   上記複合指示の内容は、上記表示部が表示しているアプリケーションが上記第２操作入力部で受け付けることが可能な、表示画像に対して画像処理を施すための操作についてのガイド情報を上記表示部に表示させることを特徴とする情報処理装置の制御方法。
9. 同時に操作入力された複数の指示に従って表示情報を表示する表示部を備える情報処理装置の制御方法であって、
   上記情報処理装置は、上記表示部の表示面に対する第１指示を取得する第１操作入力部と、筐体の上記表示部とは別の部位に設けられた、第２指示を取得する第２操作入力部とを備え、
   上記第１指示と上記第２指示との双方を取得したときに、所定の複合指示を特定する入力指示特定ステップと、
   上記入力指示特定ステップにて特定された上記複合指示に従って上記表示部を制御する表示制御ステップと、
   上記第１指示を取得したとき、該第１指示を用いて入力可能な上記複合指示の内容を、該第１指示と組み合わせ可能な上記第２指示と対応づけて表示するメニュー表示制御ステ
   ップと、をさらに含み、
   上記入力指示特定ステップにおいて、上記表示部が表示しているアプリケーションが上記第２操作入力部で受け付けることが可能な、上記表示部が表示している表示画像に対する画像処理の指示についての情報に基づいて上記複合指示を特定することを特徴とする情報処理装置の制御方法。
10. 請求項１から７のいずれか１項に記載の情報処理装置を動作させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
11. 請求項１０に記載の制御プログラムを記録したコンピュータ読取り可能な記録媒体。

Images