JP6041742B2 - タッチパネル表示制御装置 - Google Patents

Description

本発明は、指などの指示体によるジェスチャ操作が可能なタッチパネル用の表示制御装置に関する。

一般に、コンピュータを用いたデータ処理では、コンピュータがユーザの操作を認識してそれに応じた処理を実行する。このような処理を行うデバイスの多くは、ユーザが操作をやり直しできるように、過去に実行した処理を取り消して元の状態に戻すアンドゥ機能を有している。アンドゥ機能は、誤操作の取り消しだけでなく、例えばスマートフォンなどの情報表示装置では、ユーザの操作によって変化した画面表示を元の画面（メニュー画面など）に戻す目的でも利用される。

例えば下記の特許文献１には、３次元画像処理装置において、各処理段階の示す画像を一覧表示し、ユーザが選択した画像に対応した処理段階まで遡るアンドゥ処理を行う技術が提案されている。

特開２００３−２０３２４８号公報

タッチパネル技術の発展に伴い、ユーザの指などの指示体による様々なジェスチャ操作（タップ、ピンチなど）を行える機器が実用化されている。ジェスチャ操作は、直感的に操作を行えるという利点があるが、その反面、過去に行ったジェスチャ操作の内容は記憶に残りにくい。

また、一般的なアンドゥ処理は操作を一つずつ遡るため、情報表示装置に対してジェスチャ操作による画面の切り替えを連続して行った後に、その画面表示を元の画面に戻すのは手間が掛かる。さらに、ジェスチャ操作に不慣れなユーザがタッチパネル式の情報表示装置を取り扱う場合、ユーザが意図しないジェスチャ操作が認識されて、予期せぬ画面に切り替わり、ユーザが現在の画面表示の状態を把握できなくなることも考えられる。そのため、ジェスチャ操作による画面遷移が可能な情報表示装置では、容易に所望の画面に戻すことができるアンドゥ機能が望まれる。

本発明は以上のような課題を解決するためになされたものであり、ジェスチャ操作により画面表示が遷移するタッチパネルにおいて、容易に所望の画面に戻すことを可能にするタッチパネル表示制御装置を提供することを目的とする。

本発明に係るタッチパネル表示制御装置は、タッチパネルの画面に画像を表示させる表示処理部と、タッチパネルに対するジェスチャ操作の内容を解析する操作解析部と、表示処理部がジェスチャ操作の前にタッチパネルの画面に表示させていた画像と、操作解析部が解析した当該ジェスチャ操作の内容を示す画像とを合成した操作履歴画像を生成する操作履歴画像生成部と、操作履歴画像を記憶する操作履歴画像記憶部と、タッチパネルの画面に、操作履歴画像記憶部に記憶されている操作履歴画像を時系列的に表示させ、ユーザにより選択された操作履歴画像に対応するジェスチャ操作まで遡って処理を行う制御部と、を備え、ジェスチャ操作は、ユーザの指によって行われるものであり、ジェスチャ操作の種類として複数の種類が予め定められており、ジェスチャ操作の内容を示す画像は、当該ジェスチャ操作が複数の種類のうちのどれに該当するかを示す図形であって、当該ジェスチャ操作の種類に対応する指の形を表す図形を含むものである。

本発明によれば、ユーザは、時系列的に表示された操作履歴画像を選択することにより、選択された操作履歴画像に対応する操作まで遡るアンドゥ処理を容易に実行することができる。また、操作履歴画像は、ジェスチャ操作前のタッチパネルの表示状態とそのジェスチャ操作の内容を具体的に示しているので、ユーザは、戻りたい画面と取り消されるジェスチャ操作を容易に特定することができる。

本発明の実施の形態に係るタッチパネル表示制御装置の構成図である。 タッチパネルの画面表示の遷移例を示す図である。 操作履歴画像の例を示す図である。 操作履歴画像の例を示す図である。 操作履歴画像の例を示す図である。 操作履歴一覧画面の例を示す図である。 本発明の実施の形態に係るタッチパネル表示制御装置における操作履歴画像の作成・記憶処理を示すフローチャートである。 本発明の実施の形態に係るタッチパネル表示制御装置におけるジェスチャ操作のアンドゥ処理を示すフローチャートである。

図１は、本発明の実施の形態に係るタッチパネル表示制御装置１０の構成図である。タッチパネル表示制御装置１０は、タッチパネル１と、表示処理部２、操作解析部３、操作履歴画像生成部４、操作履歴画像記憶部５およびそれらの動作を制御する制御部６を備えている。なお、表示処理部２、操作解析部３、操作履歴画像生成部４および制御部６は、ソフトウェアに基づくＣＰＵを用いたプログラム処理によって実現される。操作履歴画像記憶部５は、ハードディスク、リムーバブルディスク、メモリなどの記憶媒体によって構成される。

タッチパネル１は、画像を表示する機能、および画面に対するユーザーのジェスチャ操作（タッチ操作）を受け付ける機能を有する。タッチパネル表示制御装置１０は、ユーザのジェスチャ操作に応じてタッチパネル１の表示を制御するものである。

本実施の形態では、タッチパネル表示制御装置１０がその制御対象であるタッチパネル１を備える構成を示す。そのような構成のタッチパネル表示制御装置１０としては、携帯電話、スマートフォン、ナビゲーション装置、デジタルオーディオプレイヤ、ゲーム機などがある。ただし、タッチパネル１はタッチパネル表示制御装置１０に外付けされるものであってもよい。その場合、表示処理部２および操作解析部３が外付けのタッチパネル１に搭載されてもよい。例えば、スマートフォンなどの情報表示装置の画面を外付けのタッチパネルに表示させ、ユーザがそのタッチパネルを操作することで情報表示装置をリモート操作できるディスプレイシステムでは、そのような構成となることが考えられる。

表示処理部２は、タッチパネル１の画面に画像を表示させるための画像信号を生成する機能を有している。

操作解析部３は、ユーザがタッチパネル１に対して行ったジェスチャ操作を認識し、そのジェスチャ操作の内容を解析する機能を有している。ジェスチャ操作としては、例えば、画面を指で叩く「タップ」、画面にタッチした指を移動させる「ドラッグ」、画面上で指を払う「フリック」、画面にタッチした２本の指を開く「ピンチアウト」、画面にタッチした２本の指を閉じる「ピンチイン」などがある。各ジェスチャ操作の用途は様々であるが、一般的に、タップはアイコンやリンクの選択、ドラッグは選択したアイコンの移動や画面のスクロール、フリックはページ切り替えや自動スクロール、ピンチアウトは画面の拡大、ピンチインは画面の縮小に用いられることが多い。

操作解析部３が解析したジェスチャ操作の内容は、制御部６へ伝えられ、制御部６はジェスチャ操作の内容に応じて表示処理部２を制御し、タッチパネル１の画面表示を変化させる。それにより、タッチパネル１の画面表示が、ユーザのジェスチャ操作に応じて遷移することになる。

図２に、ユーザのジェスチャ操作によるタッチパネル１の画面表示の遷移例を示す。同図は、タッチパネル表示制御装置１０がスマートフォンであると仮定した場合の例であり、タッチパネル１の画面表示の状態がユーザのジェスチャ操作に応じて状態（ａ）→状態（ｂ）→状態（ｃ）→状態（ｄ）の順に遷移する様子が示されている。

まず、状態（ａ）のようにタッチパネル１に各種のアプリケーションプログラム（以下「アプリ」という）のアイコンが表示された状態を想定する。状態（ａ）において、ユーザが「地図（ＭＡＰ）」のアイコンをタップすると、地図アプリが起動して、タッチパネル１の画面は、地図が表示された状態（ｂ）となる。状態（ｂ）において、ユーザが画面の右上部分でピンチアウトを行うと、タッチパネル１の画面は、その部分の地図が拡大された状態（ｃ）となる。状態（ｃ）において、ユーザが画面を右上方向にドラッグすると、その方向に地図がスクロールし、タッチパネル１の画面は、地図の表示範囲が状態（ｃ）から移動した状態（ｄ）となる。

図１に戻り、操作履歴画像生成部４は、ユーザがタッチパネル１に対するジェスチャ操作を行ったときに、その直前にタッチパネル１が表示していた画像と、そのジェスチャ操作の内容を示す画像とを合成した「操作履歴画像」を生成する機能を有している。より具体的には、操作履歴画像生成部４は、操作解析部３が解析したジェスチャ操作の内容を取得して、その内容に対応した画像データを生成すると共に、表示処理部２からジェスチャ操作の前にタッチパネル１の画面に表示させていた画像データを取得し、それら２つの画像データを合成処理して操作履歴画像を生成する。

例えば、ユーザがタッチパネル１に対して、図２の状態（ａ）から状態（ｂ）に遷移させるタップを実行したときは、状態（ａ）でタッチパネル１に表示されていた画像（スクリーンショット）と、ジェスチャ操作の内容が「地図」のアイコンのタップであることを示す画像とを合成し、図３のような操作履歴画像を生成する。ジェスチャ操作の内容を示す画像は、ジェスチャ操作の「種類」、「位置」、「動き」に対応する画像を含んでいる。図３において、ジェスチャ操作の種類を示す画像は、指の形を表す図形であり、タップは１本の伸ばした手の図形で表現されている。また、タップの位置は手の図形の指先に描かれている円で示されており、タップでの指示体（指）の動きは円の数で示されている（シングルタップは１つの円、ダブルタップは二重円として表現される）。

また、ユーザが、図２の状態（ｂ）から状態（ｃ）に遷移させるピンチアウトを実行したときは、状態（ｂ）でタッチパネル１に表示されていた画像と、ジェスチャ操作の内容が画面右上部分のピンチアウトであることを示す画像とを合成し、図４のような操作履歴画像を生成する。図４において、ピンチアウトは指を２本伸ばした手の図形で表現されている。また、ピンチアウトの位置はユーザによるタッチ位置の間の領域（拡大の中心箇所）に円で示されており、ピンチアウトでの指の動きは矢印で示されている。

なお、複数のタッチ位置を含むジェスチャ操作の位置の決め方は任意でよい。例えば、ピンチアウトやピンチインのようにタッチ位置が二つの場合は、その二つのタッチ位置の中間点をジェスチャ操作とすることが考えられる。また、タッチ位置が三つ以上の場合は、各タッチ点を頂点とする多角形の重心をジェスチャ操作の位置とすることが考えられる。

さらに、ユーザが、図２の状態（ｃ）から状態（ｄ）に遷移させるドラッグを実行したときは、状態（ｃ）でタッチパネル１に表示されていた画像と、ジェスチャ操作の内容が右上方向へのドラッグであることを示す画像とを合成し、図５のような操作履歴画像を生成する。図５において、ドラッグは指を１本伸ばした手の図形で表現されている。また、ドラッグの始点位置は円で示され、ドラッグでの指の動きは矢印で示され、ドラッグの終点位置はその矢印の先端で示されている。

図１に戻り、操作履歴画像記憶部５は、操作履歴画像生成部４が生成した操作履歴画像を記憶する機能を有している。操作履歴画像記憶部５は、生成された操作履歴画像を自動的に記憶させる。また、操作履歴画像記憶部５の容量には限りがあるため、操作履歴画像記憶部５は、記憶している操作履歴画像の数が上限に達すると、古いものから順に自動的に削除する。この上限は、操作履歴画像記憶部５の容量に応じて予め定められたものでもよいし、その値をユーザが任意に設定できるようにしてもよい。

制御部６は、ユーザからの要求に応じて、操作履歴画像記憶部５に記憶されている操作履歴画像を一覧表示した「操作履歴一覧画面」をタッチパネル１に表示させることができる。また制御部６は、操作履歴一覧画面でユーザが選択した操作履歴画像に対応するジェスチャ操作まで遡るアンドゥ処理を行うことができる。

図６は、操作履歴一覧画面の例であり、タッチパネル１の画面表示を図２の状態（ａ）から状態（ｄ）まで遷移させるジェスチャ操作が行われた直後に呼び出された操作履歴一覧画面を示している。操作履歴一覧画面では、操作履歴画像が時系列的に並べられる。図６の例では、状態（ａ）から状態（ｄ）までのジェスチャ操作に伴って生成された３つの操作履歴画像が、右上から時系列的（新しい順）に並べて表示されている。

図６では、一度に９枚の操作履歴画像を表示できる操作履歴一覧画面を示している。操作履歴画像の数が、操作履歴一覧画面に表示可能な数よりも多い場合には、操作履歴一覧画面を複数ページに分け、「前へ」または「次へ」のアイコンのタップ、またはタッチパネル１のフリック、あるいはタッチパネル表示制御装置１０に設けられたハードキーの操作によって、各ページ間を移動できるようにするとよい。

操作履歴一覧画面の呼び出し方法は、タッチパネル表示制御装置１０に設けられたハードキーを用いる方法や、タッチパネル１の画面上に操作履歴一覧画面の呼び出し用アイコンを設ける方法、予め定めた特定のジェスチャ操作によって操作履歴一覧画面が呼び出される方法などが考えられる。

ユーザは、操作履歴一覧画面に表示されている操作履歴画像のいずれかをタップ等の操作で選択することができる。ユーザにより操作履歴画像が選択されると、制御部６は、選択された操作履歴画像に対応する操作まで遡るアンドゥ処理を実行する。例えば図６の操作履歴一覧画面において、左上に表示されている操作履歴画像（３番目に新しい操作履歴画像）がユーザにより選択された場合、制御部６は、図２の状態（ｄ）から３つのジェスチャ操作をまとめてアンドゥし、タッチパネル１の画面を状態（ａ）に戻す。

このように、ユーザは、操作履歴一覧画面に表示されている操作履歴画像のうちから、戻りたい画面の画像を選択するワンタッチ操作によって、その画面まで遡るアンドゥ処理をまとめてタッチパネル表示制御装置１０に行わせることができる。ジェスチャ操作の内容は記憶に残りにくいが、操作履歴一覧画面に表示される操作履歴画像は、ジェスチャ操作前のタッチパネル１の表示画像（スクリーンショット）とそのジェスチャ操作の内容を具体的に示す画像なので、ユーザは、戻りたい画面と取り消されるジェスチャ操作を容易に特定することができる。

図７は、本実施の形態に係るタッチパネル表示制御装置１０における操作履歴画像の作成・記憶処理を示すフローチャートである。

ユーザがタッチパネル１に対して行ったジェスチャ操作が操作解析部３に認識されると（ステップＳ１１でＹＥＳ）、操作履歴画像生成部４は、操作解析部３からジェスチャ操作の解析結果（ジェスチャ操作の内容）を取得し（ステップＳ１２）、表示処理部２からタッチパネル１に表示させている画像（ジェスチャ操作が認識された瞬間の画像）のデータを取得する（ステップＳ１３）。そして、操作履歴画像生成部４は、ジェスチャ操作の内容を示す画像のデータを生成し、それを表示処理部２から取得した画像のデータと合成処理して、操作履歴画像を作成する（ステップＳ１４）。

次に、制御部６は、操作履歴画像記憶部５に記憶されている操作履歴画像の数を確認し（ステップＳ１５）、上限に達していないことを確認できれば（ステップＳ１５でＹＥＳ）、操作履歴画像記憶部５に新たな操作履歴画像を記憶させる（ステップＳ１７）。また、操作履歴画像記憶部５に記憶されている操作履歴画像の数が上限に達していれば（ステップＳ１５でＮＯ）、そのうち最も古い操作履歴画像を削除し（ステップＳ１６）、その数を上限未満にしてから（ステップＳ１５でＹＥＳ）、新たな操作履歴画像を操作履歴画像記憶部５に記憶させる（ステップＳ１７）。

図７の処理は、ユーザがタッチパネル１に対するジェスチャ操作を行う度に実行され、それにより、ジェスチャ操作ごとの操作履歴画像が操作履歴画像記憶部５に蓄積される。

図８は、本実施の形態に係るタッチパネル表示制御装置１０におけるジェスチャ操作のアンドゥ処理を示すフローチャートである。

ユーザにより操作履歴画像の呼び出し操作が行われると（ステップ２１でＹＥＳ）、制御部６は、操作履歴画像記憶部５から操作履歴画像を読み出す（ステップＳ２２）。そして、表示処理部２を制御して、操作履歴画像を時系列的に並べた図６のような操作履歴一覧画面をタッチパネル１に表示させ（ステップＳ２３）、ユーザがいずれかの操作履歴画像を選択するのを待つ（ステップＳ２４）。

ユーザがタップなどの操作により操作履歴画像の１つを選択すると（ステップＳ２４でＹＥＳ）、制御部６は、選択された操作履歴画像に対応するジェスチャ操作まで遡るようにアンドゥ処理を実行する（ステップＳ２５）。その結果、タッチパネル１の画面表示は、選択された操作履歴画像に対応するジェスチャ操作が行われる前の状態に戻る。

＜変形例＞
以上の実施の形態では、操作履歴画像記憶部５に記憶されている操作履歴画像の数が上限に達すると古いものが自動的に削除される構成としたが、操作履歴画像の削除を行うか否かの判断基準は操作履歴画像の数以外でもよい。例えば、行われてから一定時間経過したジェスチャ操作に対応する操作履歴画像が自動的に削除される構成としてもよい。

また、操作履歴画像の作成機能のオン／オフをユーザが切り替え可能にしてもよい。その場合、タッチパネル表示制御装置１０は、ユーザが操作履歴画像の作成機能をオンにてからオフにするまでの間にのみ、操作履歴画像の作成および記憶を実行する。

操作履歴画像の作成において、ジェスチャ操作の内容を示す画像と合成する画像として、タッチパネル１の画面全体の画像（スクリーンショット）を用いた例を示したが、ジェスチャ操作が行われた位置を含む特定の範囲（例えば、ジェスチャ操作の対象となったウィンドウの領域や、ジェスチャ操作の位置を中心とする一定面積の矩形の領域など）を切り出した画像を用いてもよい。

上の説明では、タッチパネル１のジェスチャ操作を行う指示体をユーザの指と仮定し、操作履歴画像に指の図形を含ませたが、例えば電子ペンなど別の指示体が用いられる場合には、操作履歴画像に、その指示体に応じた画像（電子ペンの図形など）を含ませることが望ましい。操作履歴画像に指示体の画像が含まれることで、ユーザが操作履歴画像から直感的にジェスチャ操作の内容を把握できるようになる。

なお、本発明は、その発明の範囲内において、実施の形態を適宜、変形、省略することが可能である。

１ タッチパネル、２ 表示処理部、３ 操作解析部、４ 操作履歴画像生成部、５ 操作履歴画像記憶部、６ 制御部、１０ タッチパネル表示制御装置。

Claims (6)

1. タッチパネルの画面に画像を表示させる表示処理部と、
   前記タッチパネルに対するジェスチャ操作の内容を解析する操作解析部と、
   前記表示処理部が前記ジェスチャ操作の前に前記タッチパネルの画面に表示させていた画像と、前記操作解析部が解析した当該ジェスチャ操作の内容を示す画像とを合成した操作履歴画像を生成する操作履歴画像生成部と、
   前記操作履歴画像を記憶する操作履歴画像記憶部と、
   前記タッチパネルの画面に、前記操作履歴画像記憶部に記憶されている前記操作履歴画像を時系列的に表示させ、ユーザにより選択された前記操作履歴画像に対応する前記ジェスチャ操作まで遡って処理を行う制御部と、
   を備え、
   前記ジェスチャ操作は、ユーザの指によって行われるものであり、前記ジェスチャ操作の種類として複数の種類が予め定められており、
   前記ジェスチャ操作の内容を示す画像は、当該ジェスチャ操作が前記複数の種類のうちのどれに該当するかを示す図形であって、当該ジェスチャ操作の種類に対応する指の形を表す図形を含む
   タッチパネル表示制御装置。
2. 前記複数の種類は、タップ、ドラッグ、フリック、ピンチアウト、ピンチインのうちの１つ以上を含む
   請求項１記載のタッチパネル表示制御装置。
3. 前記ジェスチャ操作の内容を示す画像は、前記タッチパネルの画面上における当該ジェスチャ操作が行われた位置を示す画像を含む
   請求項１または請求項２記載のタッチパネル表示制御装置。
4. 前記ジェスチャ操作の内容を示す画像は、当該ジェスチャ操作における指示体の動きを示す画像を含む
   請求項１から請求項３のいずれか一項記載のタッチパネル表示制御装置。
5. 前記操作履歴画像記憶部は、行われてから一定時間経過したジェスチャ操作に対応する前記操作履歴画像を自動的に削除する
   請求項１から請求項４のいずれか一項記載のタッチパネル表示制御装置。
6. 前記操作履歴画像記憶部は、記憶している前記操作履歴画像の数が予め定められた数を超えると、最も前に行われたジェスチャ操作に対応する前記操作履歴画像を自動的に削除する
   請求項１から請求項４のいずれか一項記載のタッチパネル表示制御装置。

Images