JP6034281B2 - オブジェクト選択方法、装置及びコンピュータ・プログラム - Google Patents

Description

本発明は、表示画面に表示されたオブジェクトの選択方法に関し、特にオブジェクトとの距離がオブジェクト指示手段と離れている場合のオブジェクト指示、選択、取得方法、装置、及びコンピュータ・プログラムに関する。

近年、タッチパネルを搭載した情報処理装置が種々開発されている。タッチパネルは、ディスプレイに直接接触することにより直感的に情報を操作することができる。また片手のみでオブジェクトを選択、操作できる。しかし接触を試みる対象オブジェクトと指とが離れている場合には機器を持ち替えたり、もう片方の手で選択しなければならない。

特許文献１には、画像表示制御装置において、手の届く範囲をドラッグすることで手の届かない所望の画像を手元に引き寄せる技術が記載されている。しかしながら、特許文献１は、ドラッグの始点、終点を延長した線上にある画像を引き寄せる方法であるため遠方にある任意の画像を選択して引き寄せできない。また他の画像が手元に表示されている場合にはドラッグして引き寄せることができない。

特開２００６−０１１９１４

本発明はかかる事情に鑑みてなされたものであり、直感性に優れたオブジェクト選択操作が行える方法、装置、及びコンピュータ・プログラムを提供することを課題とする。
また別の課題は、遠方にある任意の位置にあるオブジェクトを選択操作する方法、装置、及びコンピュータ・プログラムを提供することを課題とする。
また別の課題は、オブジェクト指示手段の動作速度に応じて、オブジェクト選択のためのカーソルの経路を拡大する方法、装置、及びコンピュータ・プログラムを提供することを課題とする。
また別の課題は、遠方オブジェクトを含む領域を引き寄せ、その領域内オブジェクトの選択操作可能とする方法、装置、及びコンピュータ・プログラムを提供することを課題とする。

上記課題を解決するために本発明は、表示機能を有するタッチパネルとデータ通信することが可能に接続してある情報処理装置により、表示されているオブジェクトを選択する方法であって、ユーザがタッチパネル上で指を所定の速度以上で移動させることに応答して、軌跡拡大モードに入るステップと、軌跡拡大モードにおいて前記指の移動速度に応じて指の軌跡を拡大して表示するステップと、拡大した軌跡の終点にあるオブジェクトを選択状態にするステップとを含む方法として実現される。

また、前記選択状態において、ユーザがタッチパネル上で指をおいたまま移動させることに応答して、軌跡の終点を微調整するステップを含むようにする。

また、前記微調整後に、ユーザが指を引き寄せる操作をしたことに応答して、前記軌跡の終点の既定の範囲を切り取り、指の近傍に表示するようにする。

さらに、前記表示するステップが、拡大した軌跡に加えて指の軌跡も合わせて表示するようにする。

上記方法の各ステップをコンピュータ・ハードウェアによる手段として実現した装置として実現する。

上記方法の各ステップをコンピュータに実行させるコンピュータ・プログラムとして実現する。

最後に、上記コンピュータ・プログラムを、コンピュータ可読記録媒体に記録したコンピュータ可読記録媒体として実現する。

本発明の実施の形態１に係る情報処理装置の構成を示すブロック図である。 本発明の実施の形態１に係るタッチパネル２１の構成を示すブロック図である。 本発明の実施の形態１に係る情報処理装置１の機能ブロック図である。 本発明の実施形態１に係る情報処理装置１と親指との俯瞰図を示す。 スマートフォンにおける本発明の動作例である。 拡大軌跡の微調整方法を示す図である。 オブジェクトの選択例を示す図である。 領域の引き寄せの例を示す図である。 本発明の軌跡拡大モード時の状態遷移図である。 軌跡指定中の処理のフローチャートである。 カーソル位置微調整処理のフローチャートである。 オブジェクトの選択処理のフローチャートである。 引き寄せ領域表示処理のフローチャートである。 ステップ１３１０のより詳細なフローチャートである。 ステップ１３２０のより詳細なフローチャートである。

以下、本発明の実施の形態に係る、オブジェクトを表示し、指示し、選択するための装置について、図面に基づいて具体的に説明する。以下の実施の形態は、特許請求の範囲に記載された発明を限定するものではなく、実施の形態の中で説明されている特徴的事項の組み合わせの全てが解決手段の必須事項であるとは限らないことは言うまでもない。

また、本発明は多くの異なる態様にて実施することが可能であり、実施の形態の記載内容に限定して解釈されるべきではない。

以下の実施の形態では、コンピュータシステムにコンピュータ・プログラムを導入した装置について説明するが、当業者であれば明らかな通り、本発明はその一部をコンピュータで実行することが可能なコンピュータ・プログラムとして実施することができる。したがって、本発明は、データ通信することが可能に接続してある所の表示装置で表示されているオブジェクトを指示し、選択する装置というハードウェアとしての実施の形態と、ソフトウェアとしての実施の形態と、ソフトウェアとハードウェアとの組み合わせの実施の形態をとることができる。コンピュータ・プログラムは、ハードディスク、ＤＶＤ、ＣＤ、光記憶装置、磁気記憶装置等の任意のコンピュータで読み取ることが可能な記録媒体に記録することができる。

本発明の実施の形態によれば、機械的なスイッチ、ボタンを必要とすることなく、遠隔に表示された所望のオブジェクトをユーザビリティ良く指示することができる。

（実施の形態１）
図１は、本発明の実施の形態１に係る情報処理装置の構成を示すブロック図である。本発明の実施の形態１に係る情報処理装置１は、少なくともＣＰＵ（中央演算装置）１１、メモリ１２、記憶装置１３、Ｉ／Ｏインタフェース１４、ビデオインタフェース１５、ディスクドライブ１６、通信インタフェース１７及び上述したハードウェアを接続する内部バス１８で構成されている。

ＣＰＵ１１は、内部バス１８を介して情報処理装置１の上述したようなハードウェア各部と接続されており、上述したハードウェア各部の動作を制御するとともに、記憶装置１３に記憶されたコンピュータ・プログラム１００に従って、種々のソフトウェア的機能を実行する。メモリ１２にはコンピュータ・プログラム１００の実行時にロードモジュールが展開され、コンピュータ・プログラム１００の実行時に発生する一時的なデータ等が記憶される。

記憶装置１３は、内蔵型の固定型記憶装置で、ＲＯＭ等で構成されている。記憶装置１３に記憶されたコンピュータ・プログラム１００は、プログラム及びデータ等の情報を記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体９０から、可搬型ディスクドライブ１６によりダウンロードされ、実行時には記憶装置１３からメモリ１２へ展開して実行される。もちろん、通信インタフェース１７を介して接続されている外部コンピュータからダウンロードされたコンピュータ・プログラムであっても良い。

通信インタフェース１７は内部バス１８に接続されており、インターネット、ＬＡＮ、ＷＡＮ等の外部のネットワークに接続されることにより、外部コンピュータ等とデータ送受信を行うことが可能となっている。

Ｉ／Ｏインタフェース１４は、タッチパネル２１と接続され、データの入力を受け付ける。また、ビデオインタフェース１５は、タッチパネル２１と一体となったディスプレイ２２と接続され、オブジェクトの画像を表示する。オブジェクトの通常選択においてはタッチパネル２１とディスプレイ２２の一体化が好ましいが必須ではない。本発明特有のオブジェクト指示機構はタッチパネル２１とディスプレイ２２が分離されていても支障なく機能することに留意されたい。ユーザはディスプレイ２２に表示されているオブジェクトを本発明特有の方法、構成により指示、選択する。

図２は、本発明の実施の形態１に係るタッチパネル２１の構成を示すブロック図である。図２に示すように、実施の形態１に係るタッチパネル２１は、少なくともタッチパネル部（ディスプレイ）２００、発振回路４１、検出位置制御回路４２、演算回路４３、Ｘ軸入力側スイッチ４４、Ｙ軸入力側スイッチ４５、Ｘ軸出力側スイッチ４６、Ｙ軸出力側スイッチ４７、制御回路４８を備えている。

図２は典型的なタッチパネルの構造を図示するものであり種々の方式が知られている。タッチパネル２１の位置検出方法はマトリクス・スイッチ方式以外に、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式、またこれらの混合が知られている。静電容量方式の場合はタッチパネルと指またはポインタとの静電容量を用いた距離の測定に加えて他点接触検出も可能である。

タッチパネル部２００は、Ｘ軸方向の位置を検出するためのＸ軸電極線と、Ｙ軸方向の位置を検出するためのＹ軸電極線がマトリックス上に配置されたタッチパネルである。発振回路４１は、パルス信号を発生する発振回路である。検出位置制御回路４２は、タッチパネル部２００のＸ軸電極線又はＹ軸電極線のうち、いずれを接続するかを制御する制御回路である。

演算回路４３は、タッチパネル部２００からの信号を検出して、指による接触位置又は近接位置を演算する回路である。Ｘ軸入力側スイッチ４４は、Ｘ軸電極線の入力端へパルス信号を入力するためのスイッチであり、Ｙ軸入力側スイッチ４５は、Ｙ軸電極線の入力端へパルス信号を入力するためのスイッチである。また、Ｘ軸出力側スイッチ４６は、Ｘ軸電極線の出力端を演算回路４３に接続するためのスイッチであり、Ｙ軸出力側スイッチ４７は、Ｙ軸電極線の出力端を演算回路４３に接続するためのスイッチである。

制御回路４８は、タッチパネル２１の全体の動作を制御するとともに、検出位置制御回路４２に対して、複数の電極を所定の本数接続した状態で指の接触位置又は近接位置の検出を指示する。位置検出が行われた場合、検出された位置付近の電極を個別接続し、その他の電極を所定の本数接続した状態とするよう指示を行う。

タッチパネル２１からの出力信号として、例えば接触状態である、近接状態である、離隔状態である等に関する情報を取得する場合、指とタッチパネル２１との間の距離も、静電電圧の変動により推算することができる。また指の動きの傾斜角度も推算することができる。

図３は、本発明の実施の形態１に係る情報処理装置１の機能ブロック図である。図３において、情報処理装置１の接触状態検知部１０１は、タッチパネル２１からの出力信号を受信して、指先とタッチパネル２１との垂直距離、指の接触状態に関する情報を抽出する。指の接触状態に関する情報とは、例えば指が接触状態である、近接状態である、離隔状態である等に関する情報であり、タッチパネル２１の各センサからの出力信号により判断することができる。なお近接状態の場合、指とタッチパネル間の静電容量等を用いてその距離を算出する。

接触状態検知部１０１は指の接触状態を検知し、指がそのまま移動している場合にはその信号を速度判定部１０５に送信する。また必要に応じて描画部１０２へオブジェクト、指の軌跡４４の描画を指示する。

描画部１０２は、指の接触状態、指の移動速度、選択操作に関する情報に応じて、ディスプレイ２２にオブジェクトを描画する。例えば、指の移動速度が所定の速度を超えた場合にスケール判断部１０３の指示により拡大した指の軌跡をディスプレイ２２に描画する。その他、選択操作などによりオブジェクトの表示属性を変化させる。表示属性とは色、形状、点滅、明度などを指す。

スケール判断部１０３は、速度判断部１０５で計測された指の移動速度が所定の速度を超えた場合に、軌跡拡大モードであると判定し、指の軌跡を拡大し、指の移動速度に応じて指の軌跡を拡大して描画するよう、描画部１０２に指示する。ここで、所定の移動速度とは、例えば５dot/ms である。指の移動情報は選択／操作判断部１０４に送信される。

選択／操作判断部１０４はスケール判断部から送信された指の動き情報に基づきオブジェクトの選択、操作を行い、必要に応じて描画部１０２へオブジェクトの描画を指示する。

なお、本実施の形態１では、軌跡拡大モードの判定に指の移動速度を用いているが、移動速度に加えて他の信号を判定条件に入れても良い。他の判定条件の例として、タッチパネル上の所定の位置を他の指で押さえ状態である。外部スイッチをソフト的、ハード的に設けて、それらがＯＮであること。その他、センサ情報が特定の信号を出力していることを条件にする等、種々考えられる。

図４に本発明の実施形態１に係る情報処理装置１と親指との俯瞰図を示す。ユーザはディスプレイ２２の到達不能な所に表示されているオブジェクト５０を選択したいと思っている。そこで親指をタッチパネル上でタッチしたまま始点Ｓから終点Ｅへスライドさせる。本発明の特有の態様によれば、指の移動速度が所定の速度を超える場合には指の軌跡拡大モードに入る。そして拡大された指の軌跡５２が始点Ｓ終点Ｅ’としてディスプレイ２２に表示される。好ましくは指の移動速度に応じて軌跡のスケールを拡大するようにする。また拡大軌跡５２の表示と共に実際の指の移動軌跡５４（始点Ｓ終点Ｅ）を表示するようにしても良い。

以下、移動速度および軌跡５２の描画方法について説明する。移動速度ｖはｘ軸方向の移動速度をＶｘ、ｙ軸方向の移動速度をＶｙとして次式で表さられる。
ｖ＝√（Ｖｘ＾２＋Ｖｙ＾２）

ここで所定の移動速度をＣとして、指の移動速度がｖ＞Ｃのとき、軌跡５２で次に描画される点座標（Ｘ，Ｙ）は次式で表される。ただしｖ≦Ｃの場合、すなわちユーザが指をゆっくり動かした場合には軌跡拡大モードに入らない。
Ｘ＝Ｘ’＋ａ・Ｖx／Ｃx （|Ｖｘ|＞Ｃｘのとき）
Ｙ＝Ｙ’＋ａ・Ｖy／Ｃy （|Ｖｙ|＞Ｃｙのとき）

ここで座標（Ｘ’、Ｙ’）は軌跡５２の直前の点座標である。またａは軌跡全体の拡大率を表すスケール係数である。Ｃｘ、Ｃｙは各軸方向固有のスケール倍率を適用するための正の固定値である。具体的にはＣｘはｘ軸方向の所定の限界速度を表し、Ｃｙはｙ軸方向の所定の限界速度を表す。これらの限界速度を超えた時に座標値が計算される。

なお軸方向の移動速度Ｖｘ、Ｖｙは負の値も在り得ることに留意されたい。この軌跡の座標の計算方法は一例であって、この他、種々変形が可能である。

図５は、スマートフォンにおける本発明の動作例である。親指を始点ＳからＥへすばやく移動すると、始点Ｓから終点Ｅ’への拡大された軌跡５２が親指の移動速度に応じて拡大表示される。終点Ｅ’にオブジェクトが存在している場合にはそのオブジェクト５６を選択状態とする。もしくは終点Ｅ’に一番近いオブジェクトが選択状態となり、拡大軌跡もそれに合わせて補正する。

図６に拡大軌跡の微調整方法を図示する。図５の状態から指をタッチパネル上に置いたまま移動させると、図６に示されるように描画された拡大軌跡の終点Ｅ’の位置を微調整することができる。終点Ｅ’の位置が移動する毎に拡大軌跡が再描画される。そして終点Ｅ’の位置に存在するオブジェクトが選択状態となる。

図７にオブジェクトの選択例を示す。図６の状態から、ユーザが指を離して、タッチパネルをタップすると、そのオブジェクトが最終的に選択される。

図８に領域の引き寄せの例を図示する。図６の微調整後の状態から、指で引き寄せる操作を行うと、終点Ｅ’の周囲が切り取られて手元（図８では親指の可動範囲）に表示される。なお「引き寄せる」操作と「微調整」の操作は指の移動速度で判断する。既定の速度以上で移動した場合には「引き寄せ」操作であると判断する。切り取る領域の大きさは指の可動範囲を考慮して予め決めておく。

さらに手元に引き寄せられた領域から選択したいオブジェクトを選択することができる。その他引き寄せる際に、切り取り領域を拡大もしくは縮小するようにしても良い。

図９に、本発明の軌跡拡大モード時の状態遷移図を示す。状態は大きく分けて４つの状態、軌跡指定、カーソル微調整、引き寄せ領域表示、オブジェクト選択からなる。ここでカーソルとは拡大した軌跡の終点Ｅ’を意味する。まず軌跡指定中に指が停止すると、カーソル位置の微調整状態となり、ここで引き寄せ操作が行わると引き寄せ領域表示状態となる。各状態において指がタッチパネルを離れるとオブジェクトの選択状態となる。ここでタップイベントによりオブジェクトが最終的に選択され、軌跡拡大モードは終了する。

図１０に、軌跡指定中の処理のフローチャートを示す。まずステップ１０１０で指がタッチパネル状にあるかを判断する。ここで指がタッチパネルを離れると処理はオブジェクト選択状態へ移る。ステップ１０１０の判断がＹＥＳの場合、ステップ１０２０で指が移動を停止したかを判断する。停止した場合には処理はオブジェクト選択状態へ移る。

ステップ１０２０の判断がＮＯの場合にはステップ１０３０で軌跡の記録を行う。移動後のカーソル位置、すなわち前述した座標（Ｘ’、Ｙ’）が計算され、その位置、時刻を記録する。次にステップ１０５０で拡大した軌跡の表示を行う。そして処理はステップ１０１０へ戻る。

図１１に、カーソル位置微調整処理のフローチャートを示す。まずステップ１１１０で指がタッチパネル状にあるかを判断する。ここで指がタッチパネル状にある場合には処理はオブジェクト選択状態へ移る。ステップ１１１０の判断がＮＯの場合、ステップ１１２０で指が移動したかを判断する。移動していない場合には処理はステップ１１１０に戻る。

ステップ１１２０の判断がＹＥＳの場合にはステップ１１３０で指の座標取得、移動方向取得、移動速度の算出を行う。次にステップ１１５０で取得した移動速度が所定の値を上回る場合には引き寄せ操作がなされたと判断し、処理は引き寄せ操作の処理に移る。なお移動速度の閾値超えに加えて、移動方向として軌跡の始点方向への移動もしくは、タッチパネルの下隅（手元）への移動を条件としても良い。

図１２に、オブジェクトの選択処理のフローチャートを示す。まずステップ１２１０でタップイベントの取得に成功したかを判断する。成功しなかった場合にはステップ１２２０でタイムアウトしたか判断し、している場合には軌跡拡大モードをキャンセルする。タイムアウトしていない場合には処理はステップ１２１０へ戻る。

ステップ１２１０の判断においてタップイベントの取得に成功した場合には、ステップ１２３０でタップイベントを軌跡終点上のオブジェクトに転送する。これによりオブジェクトが最終的に選択されることになる。次にステップ１２５０で拡大した軌跡または引き寄せた領域表示を消し、拡大軌跡モードを終了する。

図１３に、引き寄せ領域表示処理のフローチャートを示す。まずステップ１３１０で切り取り領域の算出を行う。次にステップ１３２０で算出領域を手元に表示する。そして処理はオブジェクト選択処理へ移る。

図１４に、ステップ１３１０のより詳細なフローチャートを示す。まずステップ１４１０で切り取られる領域（矩形領域Ａ）をディスプレイ２２における座標として求める。この座標から後に手元に表示するウィンドウの縦、横のサイズが決定される。

次にステップ１４２０で矩形領域Ａのコンテンツ内の位置Ｂを決定する。これはディスプレイ２２がスマートフォン等のように表示面積が小さい場合には広いコンテンツの一部を表示しているケースが多い。そのコンテンツ内のどこに矩形領域Ａが位置しているかを位置Ｂとして取得する。

図１５に、ステップ１３２０のより詳細なフローチャートを示す。まずステップ１５１０で矩形領域Ａと同一サイズのウィンドウを手元に作成する。

次にステップ１５２０で作成したウィンドウ内にディスプレイ２２に表示しているものと同じコンテンツを表示する。この時ウィンドウ内の表示開始位置をコンテンツ内の位置Ｂから表示する。このようにすることでウィンドウ内も同一のコンテンツが手元に表示され、かつ引き寄せ後のウィンドウ内での同様にオブジェクトの操作選択が可能となる。

なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨の範囲内であれば多種の変更、改良等が可能である。

１ 情報処理装置
１１ ＣＰＵ
１２ メモリ
１３ 記憶装置
１４ Ｉ／Ｏインタフェース
１５ ビデオインタフェース
１６ 可搬型ディスクドライブ
１７ 通信インタフェース
１８ 内部バス
２１ タッチパネル
２２ ディスプレイ
４１ 発振回路
４２ 拡大軌跡
４４ 指の軌跡
４６ 選択されるオブジェクト
５０ オブジェクト
５２ 拡大軌跡
５４ 指の軌跡
５６ 選択されるオブジェクト
９０ 可搬型記録媒体
１００ コンピュータ・プログラム
１０１ 接触状態検知部
１０２ 描画部
１０３ スケール判断部
１０４ 選択／操作判断部
１０５ 速度判定部
２００ タッチパネル部

Claims (10)

1. 表示機能を有するタッチパネルとデータ通信することが可能に接続してある情報処理装置により、表示されているオブジェクトを選択する方法であって、
   ユーザがタッチパネル上で指を所定の速度以上で移動させることに応答して、軌跡拡大モードに入るステップと、
   軌跡拡大モードにおいて前記指の移動速度に応じて指の軌跡を拡大して表示するステップと、
   拡大した軌跡の終点にあるオブジェクトを選択状態にするステップと、
   を含む方法。
2. 前記選択状態において、ユーザがタッチパネル上で指をおいたまま移動させることに応答して、軌跡の終点を微調整するステップを含む、請求項１記載の方法。
3. 前記微調整後に、ユーザが指を引き寄せる操作をしたことに応答して、前記軌跡の終点の既定の範囲を切り取り、指の近傍に表示するステップを、さらに含む請求項２記載の方法。
4. 前記表示するステップが、拡大した軌跡に加えて指の軌跡も合わせて表示するステップである、請求項１記載の装置。
5. 表示機能を有するタッチパネルとデータ通信することが可能に接続してある情報処理装置により、表示されているオブジェクトを選択する装置であって、
   ユーザがタッチパネル上で指を所定の速度以上で移動させることに応答して、軌跡拡大モードに入る手段と、
   軌跡拡大モードにおいて前記指の移動速度に応じて指の軌跡を拡大して表示する手段と、
   拡大した軌跡の終点にあるオブジェクトを選択状態にする手段と、
   を含む装置。
6. 前記選択状態において、ユーザがタッチパネル上で指をおいたまま移動させることに応答して、軌跡の終点を微調整する手段を含む、請求項５記載の装置。
7. 前記微調整後に、ユーザが指を引き寄せる操作をしたことに応答して、前記軌跡の終点の既定の範囲を切り取り、指の近傍に表示する手段を、さらに含む請求項６記載の装置。
8. 前記表示する手段が、拡大した軌跡に加えて指の軌跡も合わせて表示する手段である、請求項５記載の装置。
9. 請求項１〜４の何れか１項に記載の方法の各ステップをコンピュータに実行させる、コンピュータ・プログラム。
10. 請求項９に記載のコンピュータ・プログラムを、コンピュータ可読記録媒体に記録した、コンピュータ可読記録媒体。

Images