JP5862967B2 - 表示制御装置、表示制御方法、およびプログラム - Google Patents

Description

本技術は、表示制御装置、表示制御方法、およびプログラムに関し、特に、視認性の高いフィードバックを提示することができるようにした表示制御装置、表示制御方法、およびプログラムに関する。

GUI(Graphical User Interface)に対するタッチパネルを使った操作としてダイレクト操作とジェスチャー操作の２種類の操作が知られている。

ダイレクト操作は、GUIを構成するボタンやスライドバーなどの操作対象を、タップ、ドラッグ、フリック等により操作するものである。ジェスチャー操作は、ドラッグ、フリック等により画面上に所定の軌跡を描き、その軌跡に対応した処理を実行させるものである。

ダイレクト操作が行われたときのフィードバックとして、操作されたボタンを光らせたり、ボタンの色や形状を変化させたりすることが知られている。また、ジェスチャー操作が行われたときのフィードバックとして、特許文献１には、タッチ面に配置した複数の光点表示部を指の動作に応じて発光させる技術が開示されている。

特開２０１２−９４０１０号公報

音楽の再生機能を搭載した機器の中には、いわゆるビジュアライザー機能を有するものがある。ビジュアライザー機能は、曲などのコンテンツの再生時に、変化する画像によって視覚的な効果を与える機能である。

ビジュアライザー機能を有する機器において、ジェスチャー操作に対するフィードバックとして例えば特許文献１に開示されているように光点表示部を発光させるとした場合、視認性を高めるためには、ビジュアライザーの全体の明度を落としたり、ボタンのレイアウトを変えたりするなどの調整が必要になることがある。

本技術はこのような状況に鑑みてなされたものであり、例えばビジュアライザー機能を有する機器に対するジェスチャー操作のフィードバックとして、視認性の高いフィードバックを提示することができるようにするものである。

本技術の一側面の表示制御装置は、操作に用いられる複数のボタンとともに、操作に用いられる画像とは異なる、画面内を動く複数の装飾画像を表示部に表示させる表示制御部と、前記表示部に対するユーザの接触操作を検出する検出部と、所定の軌跡の前記接触操作に応じた処理を実行する処理部とを備え、前記表示制御部は、前記ボタンと前記装飾画像の表示中に前記所定の軌跡の前記接触操作が検出されたとき、前記装飾画像から構成される、検出された前記所定の軌跡の前記接触操作に応じた形状のフィードバック画像を表示させる。

前記表示制御部には、複数の前記装飾画像の全てを用いて構成される前記フィードバック画像を表示させることができる。

前記表示制御部には、前記所定の軌跡の前記接触操作が検出されたときの位置から、複数の前記装飾画像をそれぞれ移動させて前記フィードバック画像を表示させることができる。

前記表示制御部には、前記装飾画像に重ねて、再生中の曲に関する情報を表示させることができる。

前記所定の軌跡の前記接触操作が検出された場合、所定の音を出力させる出力制御部をさらに設けることができる。

本技術の一側面においては、操作に用いられる複数のボタンとともに、操作に用いられる画像とは異なる、画面内を動く複数の装飾画像が表示部に表示され、前記表示部に対するユーザの接触操作が検出される。前記ボタンと前記装飾画像の表示中に所定の軌跡の前記接触操作が検出されたとき、前記装飾画像から構成される、検出された前記所定の軌跡の前記接触操作に応じた形状のフィードバック画像が表示され、前記所定の軌跡の前記接触操作に応じた処理が実行される。

本技術によれば、視認性の高いフィードバックを提示することができる。

本技術の一実施形態に係る電子機器の外観の例を示す図である。 表示部の構成例を示す図である。 音楽再生画面の例を示す図である。 壁紙画像の例を示す図である。 ビジュアライザー画像の例を示す図である。 曲情報の例を示す図である。 ビジュアライザー画像の動きの例を示す図である。 図７の画面に続く画面の例を示す図である。 図８の画面に続く画面の例を示す図である。 図９の画面に続く画面の例を示す図である。 図１０の画面に続く画面の例を示す図である。 音楽再生画面の遷移の例を示す図である。 電子機器のハードウェア構成例を示すブロック図である。 電子機器の機能構成例を示すブロック図である。 電子機器の一連の処理について説明するフローチャートである。 ビジュアライザー画像の他の例を示す図である。 図１６の画面に続く画面の例を示す図である。 図１７の画面に続く画面の例を示す図である。 軌跡画像の例を示す図である。 図１９の画面に続く画面の例を示す図である。 ジェスチャー操作の例を示す図である。 軌跡画像の他の例を示す図である。 図２２の画面に続く画面の例を示す図である。 音楽再生画面の遷移の例を示す図である。 電子機器の他の一連の処理について説明するフローチャートである。 コンピュータの構成例を示すブロック図である。

以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．第１の実施の形態（ビジュアライザー画像を用いたフィードバックの例）
２．第２の実施の形態（軌跡画像を用いたフィードバックの例）

＜第１の実施の形態（ビジュアライザー画像を用いたフィードバックの例）＞
［電子機器の外観の例］
図１は、本技術の一実施形態に係る電子機器の外観の例を示す図である。

電子機器１は、カーオーディオ機器などの電子機器である。直方体の形状を有する電子機器１の筐体の正面には、そのほぼ全体にわたって表示部１１が設けられる。電子機器１は、内部のメモリに記憶されている音楽データを再生する機能を有している。

図２は、表示部１１の構成例を示す図である。

表示部１１は、ディスプレイ２２にタッチパネル２１が重ねて設けられることによって構成される。ユーザは、曲の選択、再生開始、一時停止などの音楽の再生に関する各種の操作を、表示部１１の表面に指などでタッチして入力することができる。

電子機器１の内部にはグラフィックプロセッサ２３が設けられる。グラフィックプロセッサ２３は、図示せぬマイコン（マイクロコンピュータ）による制御に従ってディスプレイ２２に各種の情報を表示したり、タッチパネル２１により検出されたユーザのタッチ操作の情報をマイコンに出力したりする。

電子機器１がカーオーディオ機器ではなく、携帯電話機、タブレット端末、PC、ゲーム機などの、ディスプレイに重ねて設けられたタッチパネルによってユーザの操作を検出可能な各種の機器とすることができる。

［音楽再生画面の例］
図３は、表示部１１に表示される音楽再生画面の例を示す図である。

図３の音楽再生画面は、例えば電子機器１のメニュー画面から音楽再生機能が選択され、再生する曲が選択されたときに表示される。表示部１１には、曲名、アーティスト名、アルバム名、再生時刻、ジャケット画像などの曲に関する情報が、ビジュアライザー(Visualizer)機能によって表示される画像を背景として表示される。

すなわち、電子機器１には、所定の形状の画像を変化させて視覚的な効果を与えるビジュアライザー機能が搭載されている。

図３の例においては、ビジュアライザー機能により、カラフルな円形画像が画面内を移動するような画像が表示される。曲情報の背景にある円に斜線や模様を付していることは、それぞれ色が付いていることを示している。以下、適宜、ビジュアライザー機能により表示される画像をビジュアライザー画像という。

音楽再生画面は、壁紙画像のレイヤ、ビジュアライザー画像のレイヤ、曲情報のレイヤ、およびジェスチャー操作画像のレイヤが下から順に配置されることによって構成される。

図４は、壁紙画像の例を示す図である。

図４の例においては無地の所定の色の画像が壁紙画像とされている。ユーザは、あらかじめ用意されている複数の画像の中から所定の画像を選択し、壁紙画像として設定することができる。

図５は、ビジュアライザー画像の例を示す図である。

図５のビジュアライザー画像は、６個の円形の画像である円形画像３１−１乃至３１−６から構成される。例えば円形画像３１−１乃至３１−６はそれぞれ異なる色の画像である。円形画像３１−１乃至３１−６は、操作に用いられる画像とは異なり、画面の装飾を目的として表示される装飾画像である。

図６は、曲情報の例を示す図である。

曲情報は、ツールボタン領域４１、曲情報領域４２、ジャケット画像領域４３、操作ボタン領域４４、および設定情報領域４５から構成される。

ツールボタン領域４１は、電子機器１のトップ画面を表示するときに操作されるTopボタンなどの表示領域である。曲情報領域４２は、曲のタイトル（ファイル名）、アーティスト名、アルバム名（フォルダ名）などの、再生対象になっている曲に関する情報の表示領域である。ジャケット画像領域４３は、再生対象になっている曲のジャケット画像の表示領域である。

操作ボタン領域４４は、前の曲に戻るときに操作されるボタン４４−１、再生の開始／一時停止を行うときに操作されるボタン４４−２、次の曲に進むときに操作されるボタン４４−３、アルバムを切り替えるときに操作されるボタン４４−４，４４−５などの、曲の再生に関する操作に用いられるボタンの表示領域である。電子機器１においては、曲がアルバム単位で管理されており、再生するアルバムの順番、曲の順番がプレイリストなどを用いて管理されている。

操作ボタン領域４４には、再生モードを選択するときに操作されるボタン４４−６、再生メニューを表示するときに操作されるボタン４４−７、設定メニューを表示するときに操作されるボタン４４−８も表示される。操作ボタン領域４４に表示されるボタンはダイレクト操作によって操作されるボタンである。

設定情報領域４５は、音量を表すインジケータや時刻などの表示領域である。

このようなレイヤが重なって構成される音楽再生画面が表示されているとき、ユーザは、操作ボタン領域４４に表示されるボタンを用いた操作と同じ操作をジェスチャー操作によっても行うことができる。電子機器１には、ユーザのタッチ操作の軌跡を検出する機能が設けられている。

例えば、左方向のドラッグが行われた場合、再生する曲を前の曲に戻る処理が行われる。左方向のドラッグは、ボタン４４−１を用いた操作と同じ操作のための「前の曲」のジェスチャー操作である。なお、ドラッグは、画面上にタッチし、その状態のまま指を移動させてから離す操作である。

また、右方向のドラッグが行われた場合、再生する曲を次の曲に進める処理が行われる。右方向のドラッグは、ボタン４４−３を用いた操作と同じ操作のための「次の曲」のジェスチャー操作である。

上方向のドラッグが行われた場合、再生するアルバムを１つ前のアルバムに切り替える処理が行われる。上方向のドラッグは、ボタン４４−４を用いた操作と同じ操作のための「前のアルバム」のジェスチャー操作である。

下方向のドラッグが行われた場合、再生するアルバムを１つ後のアルバムに切り替える処理が行われる。下方向のドラッグは、ボタン４４−５を用いた操作と同じ操作のための「次のアルバム」のジェスチャー操作である。

曲の一時停止中にタップが行われた場合、曲の再生が開始され、曲の再生中にタップが行われた場合、曲の一時停止が行われる。タップは、画面上にタッチし、タッチした位置を中心とする規定の範囲内で離す操作である。

ジェスチャー操作が検出されたとき、ジェスチャー操作を検出したことを表すフィードバック画像がビジュアライザー画像を用いて表示される。

［フィードバック画像の例］
ここで、フィードバック画像の詳細について説明する。説明の便宜上、適宜、曲情報の図示を省略する。

図７は、ビジュアライザー画像の動きの例を示す図である。

白抜き矢印で示すように、ビジュアライザー画像を構成する円形画像３１−１乃至３１−６は、それぞれ異なる方向に一定の速度で移動する。

円形画像３１−１は矢印＃１で示すように現在位置から右上に移動し、円形画像３１−２は矢印＃２で示すように現在位置から左下に移動する。円形画像３１−３は矢印＃３で示すように現在位置から右下に移動し、円形画像３１−４は矢印＃４で示すように現在位置から右下に移動する。円形画像３１−５は矢印＃５で示すように現在位置から左上に移動し、円形画像３１−６は矢印＃６で示すように現在位置から下に移動する。

円形画像３１−１乃至３１−６は、画面の端まで移動したとき、反射して方向を変える。このように、ビジュアライザー画像は、複数の円形画像がランダムに跳ね回るような印象の画像である。

図８は、図７の画面に続く画面の例を示す図である。

図８は、それぞれの円形画像が画面の端に近い位置に移動した状態を示している。この状態においてユーザが実線矢印で示すように位置Ｐ１から位置Ｐ２まで右方向のドラッグを行った場合、「次の曲」のジェスチャー操作が検出され、図９に示す矢印画像６１が表示される。右向きの矢印の画像である矢印画像６１はジェスチャー操作画像のレイヤに表示される画像である。矢印画像６１は一時的に表示される。「次の曲」のジェスチャー操作が検出されたとき、矢印画像６１が表示されずに、図１０以降の画面が表示されるようにしてもよい。

図１０は、図９の画面に続く画面の例を示す図である。

図１０に示すように、円形画像３１−１乃至３１−６は、それぞれ、ジェスチャー操作が検出されたときの位置から、画面の中央付近に移動し、図１１に示すように所定の位置に配置されることによってフィードバック画像７１を構成する。

フィードバック画像７１は、円形画像３１−３、円形画像３１−１、円形画像３１−２、円形画像３１−４が横一列に並び、円形画像３１−２の上に円形画像３１−５が、円形画像３１−２の下に円形画像３１−６がそれぞれ配置されることによって構成される。円形画像３１−１乃至３１−６がこのように配置されることによって１つの右向きの矢印が表現される。

再生する曲を次の曲に進める処理が行われた後、フィードバック画像７１を構成する円形画像３１−１乃至３１−６は離れ、ビジュアライザー画像を構成する装飾画像としての移動を再開する。フィードバック画像７１の表示時間は、例えば矢印画像６１の表示時間より長い時間である。

図１２は、音楽再生画面の遷移の例を示す図である。

図１２の上段に示すように、ビジュアライザー画像が曲情報の背景として表示される音楽再生画面に対して右方向のドラッグが行われた場合、矢印画像６１が曲情報に重ねて表示される。

矢印画像６１が表示された後、矢印＃１１の先に示すように、ビジュアライザー画像を構成要素とするフィードバック画像７１が曲情報の背景として表示される。フィードバック画像７１の表示に合わせて所定の音がスピーカから出力される。

他のジェスチャー操作が検出された場合も同様に、ジェスチャー操作の種類に応じた形状を表現するフィードバック画像が、ビジュアライザー画像を用いて表示される。例えば、左方向のドラッグが行われ、「前の曲」のジェスチャー操作が検出された場合、左向きの矢印を表現するフィードバック画像が円形画像３１−１乃至３１−６を用いて表示される。

また、上方向のドラッグが行われ、「前のアルバム」のジェスチャー操作が検出された場合、上向きの矢印を表現するフィードバック画像が円形画像３１−１乃至３１−６を用いて表示される。下方向のドラッグが行われ、「次のアルバム」のジェスチャー操作が検出された場合、下向きの矢印を表現するフィードバック画像が円形画像３１−１乃至３１−６を用いて表示される。なお、フィードバック画像は矢印を表現する画像に限られない。ジェスチャー操作を表現する各種の形状の画像をフィードバック画像として表示させることが可能である。

このように、電子機器１においては、ビジュアライザー機能と、ジェスチャー操作のフィードバックにデザイン的なつながりがあるGUIが実現される。

ユーザは、ジェスチャー操作が検出されたことを、ビジュアライザー画像を構成要素とするフィードバック画像から確認することができる。

また、ビジュアライザー画像を構成要素としてフィードバック画像を表示するようにしたため、フィードバックをユーザに与える際に、ビジュアライザー画像の明度を落としたり、曲情報やボタンのレイアウトを調整したりするなどの処理が不要になる。

さらに、フィードバックをビジュアライザー画像全体で表示するようにしたため、視認性を向上させることが可能になる。

以上のような画面表示を行う電子機器１の一連の処理についてはフローチャートを参照して説明する。

［電子機器の構成例］
図１３は、電子機器１のハードウェア構成例を示すブロック図である。

電子機器１は、タッチパネル２１、ディスプレイ２２、グラフィックプロセッサ２３の他に、マスターマイコン１０１、およびスピーカ１０２から構成される。

ディスプレイ２２は、LCD(Liquid Crystal Display)や有機EL(Electroluminescence)ディスプレイなどにより構成され、グラフィックプロセッサ２３による制御に従って、メニュー画面、音楽再生画面などの各種の画面を表示する。

タッチパネル２１は、表示部１１の表面に対するユーザのタッチ操作を検出し、タッチ操作が行われた位置を表すアナログ信号をグラフィックプロセッサ２３に出力する。

グラフィックプロセッサ２３はマスターマイコン１０１と相互通信を行う。グラフィックプロセッサ２３は、マスターマイコン１０１から供給された画面データに基づいて、各種の画面をディスプレイ２２に表示させる。また、グラフィックプロセッサ２３は、タッチパネル２１から供給された信号を受信し、タッチ操作が行われた位置（座標）を表す情報をマスターマイコン１０１に出力する。

マスターマイコン１０１は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などにより構成される。マスターマイコン１０１は、ROMに記憶されているプログラムを実行し、電子機器１の全体の動作を制御する。

例えば、マスターマイコン１０１は、グラフィックプロセッサ２３を制御し、音楽再生画面をディスプレイ２２に表示させる。また、マスターマイコン１０１は、スピーカ１０２に音声信号を出力し、フィードバック画像の表示に合わせて音を出力させる。マスターマイコン１０１は、図示せぬメモリに記憶されている音楽データを再生し、スピーカ１０２から音楽を出力させるなどの処理も行う。

スピーカ１０２は、マスターマイコン１０１から供給された信号に基づいて音を出力する。

図１４は、電子機器１の機能構成例を示すブロック図である。図１４に示す機能部のうちの少なくとも一部は、図１３のマスターマイコン１０１により所定のプログラムが実行されることによって実現される。

電子機器１においては、ジェスチャー操作検出部１１１、表示制御部１１２、処理実行部１１３、および出力制御部１１４が実現される。グラフィックプロセッサ２３から供給された、タッチ操作が行われた座標を表す情報は、ジェスチャー操作検出部１１１、表示制御部１１２、および処理実行部１１３に供給される。

ジェスチャー操作検出部１１１は、グラフィックプロセッサ２３から供給された情報に基づいてジェスチャー操作を検出する。例えば、ジェスチャー操作検出部１１１は、ユーザによるタッチ操作の軌跡を特定し、特定した軌跡と、予め設定されている所定のパターンの軌跡が一致する場合、ジェスチャー操作が行われたものとして判定する。ジェスチャー操作検出部１１１に対しては、「前の曲」、「次の曲」、「前のアルバム」、「次のアルバム」などのそれぞれのジェスチャー操作に対応する軌跡を表す情報が予め設定されている。

ジェスチャー操作検出部１１１は、ジェスチャー操作が行われたことを検出した場合、ユーザにより行われたジェスチャー操作の種類を表す情報を出力する。ジェスチャー操作検出部１１１から出力された情報は、表示制御部１１２、処理実行部１１３、および出力制御部１１４に供給される。

表示制御部１１２は、グラフィックプロセッサ２３に画面データを供給し、ディスプレイ２２の画面表示を制御する。表示制御部１１２は、ジェスチャー操作の種類を表す情報がジェスチャー操作検出部１１１から供給された場合、音楽再生画面に表示させているビジュアライザー画像を制御し、ジェスチャー操作の種類に応じたフィードバック画像を表示させる。

また、表示制御部１１２は、処理実行部１１３により行われた処理に応じてディスプレイ２２の画面表示を切り替える。

処理実行部１１３は、ユーザのタッチ操作に応じた処理を実行する。処理実行部１１３は、処理を実行することによって画面表示が変わる場合、処理の結果を表す情報を表示制御部１１２に出力する。

例えば、処理実行部１１３は、「次の曲」のジェスチャー操作が行われたことをジェスチャー操作検出部１１１から供給された情報に基づいて特定した場合、再生する曲を次の曲に切り替える。また、処理実行部１１３は、再生する曲を次の曲に切り替えたことを表す情報を表示制御部１１２に出力する。表示制御部１１２においては、切り替え後の曲に関する情報を表示するように曲情報の表示が切り替えられる。

出力制御部１１４は、ジェスチャー操作が行われたことを表す情報がジェスチャー操作検出部１１１から供給された場合、スピーカ１０２を制御し、所定の音を出力させる。

［電子機器の処理］
次に、図１５のフローチャートを参照して、電子機器１の一連の処理について説明する。図１５の処理は、図３の音楽再生画面が表示されているときに開始される。

ステップＳ１において、タッチパネル２１は、ユーザのタッチ操作を検出する。タッチパネル２１は、タッチ操作が行われた位置を表す信号をグラフィックプロセッサ２３に出力する。

ステップＳ２において、グラフィックプロセッサ２３は、タッチ操作が行われた座標を検出する。グラフィックプロセッサ２３は、検出した座標を表す情報をマスターマイコン１０１に出力する。

ステップＳ３において、ジェスチャー操作検出部１１１は、ユーザが、規定時間内に規定移動範囲内でリリースしたか否かをグラフィックプロセッサ２３から供給された情報に基づいて判定する。ここでは、規定時間内のタッチ操作の軌跡が規定移動範囲内にある場合、タップが行われたと判定され、規定移動範囲を超えている場合、ドラッグ操作が行われたと判定される。

規定時間内に規定移動範囲内でリリースしたとステップＳ３において判定された場合、ステップＳ４において、処理実行部１１３はタップに応じた処理を実行する。例えば、操作ボタン領域４４に表示されている一時停止ボタン上でタップが行われた場合、処理実行部１１３は曲の再生を停止する。

一方、規定時間内に規定移動範囲内でリリースしていないとステップＳ３において判定した場合、ステップＳ５において、ジェスチャー操作検出部１１１は、ジェスチャー操作が行われたか否かを判定する。タッチ操作の軌跡が予め設定されているパターンの軌跡である場合、ジェスチャー操作が行われたとして判定され、予め設定されているパターンと異なる軌跡である場合、ジェスチャー操作ではないドラッグが行われたと判定される。

ジェスチャー操作が行われたとステップＳ５において判定した場合、ステップＳ６において、ジェスチャー操作検出部１１１はジェスチャー操作を受け付ける。ジェスチャー操作検出部１１１は、受け付けたジェスチャー操作の種類を表す情報を出力する。

ステップＳ７において、表示制御部１１２は、ユーザにより行われたジェスチャー操作の種類に応じた形状を表現するフィードバック画像を音楽再生画面に表示させる。すなわち、表示制御部１１２は、ビジュアライザー画像として表示していたそれぞれの円形画像を移動させ、フィードバック画像を表示させる。

ステップＳ８において、処理実行部１１３は、ユーザにより行われたジェスチャー操作に応じた処理を実行する。

一方、ジェスチャー操作が行われていないとステップＳ５において判定した場合、ステップＳ９において、ジェスチャー操作検出部１１１は無効な操作が行われたとして判断する。

ステップＳ４においてタップに応じた処理が実行された後、ステップＳ８においてジェスチャー操作に応じた処理が実行された後、またはステップＳ９において無効な操作が行われたと判断された後、処理は終了される。以上の処理が、音楽再生画面が表示されている間、繰り返し行われる。

以上の処理により、ビジュアライザー機能と、ジェスチャー操作のフィードバックにデザイン的なつながりがあるGUIが実現される。

［変形例］
ビジュアライザー画像を構成する装飾画像の形状は、円形に限られるものではない。

図１６は、ビジュアライザー画像の他の例を示す図である。

図１６のビジュアライザー画像は、６個の縦長の長方形の枠の画像である枠画像１５１−１乃至１５１−６から構成される。枠画像１５１−１乃至１５１−６は、画面左上から画面中央付近に向かって直線的に、前後の画像と一部重ねて配置されることによって構成される。枠画像１５１−１乃至１５１−６は、操作に用いられる画像とは異なり、画面の装飾を目的として表示される装飾画像である。

枠画像１５１−１乃至１５１−６は、それぞれ、白抜き矢印＃２１で示すように画面左上方から右下方に移動する。先頭の画像は、所定の位置まで移動したときに消え、最後尾の画像として再度表示される。図１６の白抜き矢印＃２１は実際に表示される画像ではない。

このようなビジュアライザー画像が表示される音楽再生画面に対して右方向のドラッグが行われ、「次の曲」のジェスチャー操作が検出された場合、右向きの矢印の画像である矢印画像６１が一時的に表示される。この場合においても、矢印画像６１が表示されないようにすることが可能である。

また、図１７に示すように、枠画像１５１−１乃至１５１−６のうち、例えばそのとき先頭にある枠画像１５１−１のみが画面中央に表示される。画面中央に表示された枠画像１５１−１は変形し、図１８に示すようにフィードバック画像１６１として表示される。フィードバック画像１６１は、１つの右向きの矢印を表現する画像である。

この例においては、フィードバック画像が、ビジュアライザー画像を構成する、１つの枠画像を構成要素として表示されることになる。

このように、フィードバック画像を構成する装飾画像を各種の形状の画像とすることが可能である。また、ビジュアライザー画像を構成する全ての装飾画像を用いてフィードバック画像を表示するのではなく、一部の複数の装飾画像や１つの装飾画像を用いてフィードバック画像を表示するようにすることも可能である。

＜第２の実施の形態（軌跡画像を用いたフィードバックの例）＞
次に、ユーザによるタッチ操作の軌跡を表す画像である軌跡画像を構成要素としてフィードバック画像を表示する場合の例について説明する。

この例においては、フィードバック画像を構成する画像は、ビジュアライザー機能によって表示される画像ではなく、軌跡画像となる。軌跡画像は、例えば曲情報のレイヤの上のレイヤに表示される、所定の透明度を有する色付きの画像である。軌跡画像も、操作に用いられる画像とは異なり、画面の装飾を目的として表示される装飾画像である。

図１９は、軌跡画像の例を示す図である。

図１９に示すように、ユーザが例えば画面上の位置Ｐ１１にタッチ操作を行った場合、位置Ｐ１１の周りに軌跡画像２０１が表示される。また、位置Ｐ１１にタッチしたまま、図２０の実線矢印で示すように、ユーザが左下方向の位置Ｐ１２まで指を移動させた場合、ユーザの指の軌跡に沿って軌跡画像２０２が表示される。

このように、電子機器１においては、ユーザのタッチ操作の軌跡に応じて、その軌跡を表す軌跡画像が表示される。軌跡画像の表示は、グラフィックプロセッサ２３からの情報を受信した表示制御部１１２により行われる。

図２１は、ジェスチャー操作の例を示す図である。

図２１の実線矢印で示すように、位置Ｐ２１から位置Ｐ２２まで右方向のドラッグが行われた場合、図２２に示す軌跡画像２１１が表示されるとともに、「次の曲」のジェスチャー操作がジェスチャー操作検出部１１１により検出される。

図２３は、図２２の画面に続く画面の例を示す図である。

「次の曲」のジェスチャー操作がジェスチャー操作検出部１１１により検出された場合、表示制御部１１２は、軌跡画像２１１を変形させ、ジェスチャー操作の種類に応じた形状を表現するフィードバック画像２２１を表示させる。フィードバック画像２２１は、軌跡画像２１１を構成要素とする、１つの右方向の矢印を表現する画像である。

図２４は、音楽再生画面の遷移の例を示す図である。

図２４の上段に示すように、音楽再生画面に対して右方向のドラッグが行われた場合、軌跡画像２１１が曲情報に重ねて表示される。

軌跡画像２１１が表示された後、矢印＃３１の先に示すように、軌跡画像２１１を変形させたフィードバック画像２２１が曲情報に重ねて表示される。フィードバック画像２２１の表示に合わせて所定の音がスピーカから出力される。

他のジェスチャー操作が検出された場合も同様に、ジェスチャー操作の種類に応じた形状を表現するフィードバック画像が、軌跡画像を用いて表示される。例えば、左方向のドラッグが行われ、「前の曲」のジェスチャー操作が検出された場合、左向きの矢印を表現するフィードバック画像が軌跡画像を用いて表示される。

また、上方向のドラッグが行われ、「前のアルバム」のジェスチャー操作が検出された場合、上向きの矢印を表現するフィードバック画像が軌跡画像を用いて表示される。下方向のドラッグが行われ、「次のアルバム」のジェスチャー操作が検出された場合、下向きの矢印を表現するフィードバック画像が軌跡画像を用いて表示される。フィードバック画像は矢印を表現する画像に限られない。ジェスチャー操作を表現する各種の形状の画像をフィードバック画像として表示させることが可能である。

このように、電子機器１においては、ユーザのタッチ操作の軌跡を表示する機能と、ジェスチャー操作のフィードバックにデザイン的なつながりがあるGUIが実現される。

ユーザは、ジェスチャー操作が検出されたことを、軌跡画像を構成要素とするフィードバック画像から確認することができる。

［電子機器の処理］
次に、図２５のフローチャートを参照して、軌跡画像を構成要素とするフィードバック画像を表示する電子機器１の一連の処理について説明する。図２５の処理は、基本的に、図１５の処理と同様の処理である。重複する説明については適宜省略する。

ステップＳ１１において、タッチパネル２１は、ユーザのタッチ操作を検出する。

ステップＳ１２において、グラフィックプロセッサ２３は、タッチ操作が行われた座標を検出する。

ステップＳ１３において、表示制御部１１２は、タッチ操作の軌跡を表す軌跡画像を表示させる。

ステップＳ１４において、ジェスチャー操作検出部１１１は、ユーザが、規定時間内に規定移動範囲内でリリースしたか否かを判定する。

規定時間内に規定移動範囲内でリリースしたとステップＳ１４において判定された場合、ステップＳ１５において、処理実行部１１３はタップに応じた処理を実行する。

一方、規定時間内に規定移動範囲内でリリースしていないとステップＳ１４において判定した場合、ステップＳ１６において、ジェスチャー操作検出部１１１は、ジェスチャー操作が行われたか否かを判定する。

ジェスチャー操作が行われたとステップＳ１６において判定した場合、ステップＳ１７において、ジェスチャー操作検出部１１１はジェスチャー操作を受け付ける。

ステップＳ１８において、表示制御部１１２は、ユーザにより行われたジェスチャー操作に応じた形状を表現するフィードバック画像を表示させる。すなわち、表示制御部１１２は、軌跡画像を変形させてフィードバック画像を表示させる。

ステップＳ１９において、処理実行部１１３は、ユーザにより行われたジェスチャー操作に応じた処理を実行する。

一方、ジェスチャー操作が行われていないとステップＳ１６において判定した場合、ステップＳ２０において、ジェスチャー操作検出部１１１は無効な操作が行われたとして判断する。

ステップＳ１５においてタップに応じた処理が実行された後、ステップＳ１９においてジェスチャー操作に応じた処理が実行された後、またはステップＳ２０において無効な操作が行われたと判断された後、処理は終了される。以上の処理が、音楽再生画面が表示されている間、繰り返し行われる。

＜変形例＞
以上においては、音楽再生画面に対してジェスチャー操作が行われた場合のフィードバック画像について説明したが、ジェスチャー操作の対象となる画面は他の画面であってもよい。例えば、メニュー画面、静止画や動画の再生画面、テキスト入力画面に対してジェスチャー操作が行われた場合に、ビジュアライザー画像を構成要素として、または軌跡画像を構成要素としてフィードバック画像を表示するようにしてもよい。

また、ビジュアライザー画像または軌跡画像を構成要素としてフィードバック画像を表示するものとしたが、ジェスチャー操作の検出時に表示されている各種の装飾画像からフィードバック画像が構成されるようにすることも可能である。

［コンピュータの構成例］
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図２６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

CPU２５１、ROM２５２、RAM２５３は、バス２５４により相互に接続されている。

バス２５４には、さらに、入出力インタフェース２５５が接続されている。入出力インタフェース２５５には、キーボード、マウスなどよりなる入力部２５６、ディスプレイ、スピーカなどよりなる出力部２５７が接続される。また、入出力インタフェース２５５には、ハードディスクや不揮発性のメモリなどよりなる記憶部２５８、ネットワークインタフェースなどよりなる通信部２５９、リムーバブルメディア２６１を駆動するドライブ２６０が接続される。

以上のように構成されるコンピュータでは、CPU２５１が、例えば、記憶部２５８に記憶されているプログラムを入出力インタフェース２５５及びバス２５４を介してRAM２５３にロードして実行することにより、上述した一連の処理が行われる。

CPU２５１が実行するプログラムは、例えばリムーバブルメディア２６１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部２５８にインストールされる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

［構成の組み合わせ例］
本技術は、以下のような構成をとることもできる。

（１）
操作に用いられる画像とは異なる装飾画像を表示部に表示させる表示制御部と、
前記表示部に対するユーザの接触操作を検出する検出部と、
所定の軌跡の前記接触操作に応じた処理を実行する処理部と
を備え、
前記表示制御部は、前記装飾画像が表示されている場合において前記所定の軌跡の前記接触操作が検出されたとき、前記装飾画像から構成される、前記所定の軌跡の前記接触操作を検出したことを表すフィードバック画像を表示させる
表示制御装置。

（２）
前記表示制御部は、ビジュアライザーの機能によって、画面内を動く前記装飾画像を表示させる
前記（１）に記載の表示制御装置。

（３）
前記表示制御部は、複数の前記装飾画像を表示し、複数の前記装飾画像の全てを用いて構成される前記フィードバック画像を表示させる
前記（２）に記載の表示制御装置。

（４）
前記表示制御部は、前記所定の軌跡の前記接触操作が検出されたときの位置から、複数の前記装飾画像をそれぞれ移動させて前記フィードバック画像を表示させる
前記（３）に記載の表示制御装置。

（５）
前記表示制御部は、複数の前記装飾画像を表示し、１つの前記装飾画像を変形させて前記フィードバック画像を表示させる
前記（２）に記載の表示制御装置。

（６）
前記表示制御部は、前記装飾画像に重ねて、再生中の曲に関する情報を表示させる
前記（２）乃至（５）のいずれかに記載の表示制御装置。

（７）
前記表示制御部は、前記装飾画像として前記接触操作の軌跡を表す画像を表示し、前記軌跡を表す画像を変形させて前記フィードバック画像を表示させる
前記（１）に記載の表示制御装置。

（８）
前記表示制御部は、前記装飾画像を、再生中の曲に関する情報に重ねて表示させる
前記（７）に記載の表示制御装置。

（９）
前記所定の軌跡の前記接触操作が検出された場合、所定の音を出力させる出力制御部をさらに備える
前記（１）乃至（８）のいずれかに記載の表示制御装置。

（１０）
操作に用いられる画像とは異なる装飾画像を表示部に表示させ、
前記表示部に対するユーザの接触操作を検出し、
所定の軌跡の前記接触操作に応じた処理を実行し、
前記装飾画像が表示されている場合において前記所定の軌跡の前記接触操作が検出されたとき、前記装飾画像から構成される、前記所定の軌跡の前記接触操作を検出したことを表すフィードバック画像を表示させる
ステップを含む表示制御方法。

（１１）
操作に用いられる画像とは異なる装飾画像を表示部に表示させ、
前記表示部に対するユーザの接触操作を検出し、
所定の軌跡の前記接触操作に応じた処理を実行し、
前記装飾画像が表示されている場合において前記所定の軌跡の前記接触操作が検出されたとき、前記装飾画像から構成される、前記所定の軌跡の前記接触操作を検出したことを表すフィードバック画像を表示させる
ステップを含む処理をコンピュータに実行させるプログラム。

１ 電子機器， １１ 表示部， ２１ タッチパネル， ２２ ディスプレイ， ２３ グラフィックプロセッサ， １０１ マスターマイコン， １０２ スピーカ， １１１ ジェスチャー操作検出部， １１２ 表示制御部， １１３ 処理実行部， １１４ 出力制御部

Claims (7)

1. 操作に用いられる複数のボタンとともに、操作に用いられる画像とは異なる、画面内を動く複数の装飾画像を表示部に表示させる表示制御部と、
   前記表示部に対するユーザの接触操作を検出する検出部と、
   所定の軌跡の前記接触操作に応じた処理を実行する処理部と
   を備え、
   前記表示制御部は、前記ボタンと前記装飾画像の表示中に前記所定の軌跡の前記接触操作が検出されたとき、前記装飾画像から構成される、検出された前記接触操作に応じた形状のフィードバック画像を表示させる
   表示制御装置。
2. 前記表示制御部は、複数の前記装飾画像の全てを用いて構成される前記フィードバック画像を表示させる
   請求項１に記載の表示制御装置。
3. 前記表示制御部は、前記所定の軌跡の前記接触操作が検出されたときの位置から、複数の前記装飾画像をそれぞれ移動させて前記フィードバック画像を表示させる
   請求項１または２に記載の表示制御装置。
4. 前記表示制御部は、前記装飾画像に重ねて、再生中の曲に関する情報を表示させる
   請求項１乃至３のいずれかに記載の表示制御装置。
5. 前記所定の軌跡の前記接触操作が検出された場合、所定の音を出力させる出力制御部をさらに備える
   請求項１乃至４のいずれかに記載の表示制御装置。
6. 操作に用いられる複数のボタンとともに、操作に用いられる画像とは異なる、画面内を動く複数の装飾画像を表示部に表示させ、
   前記表示部に対するユーザの接触操作を検出し、
   前記ボタンと前記装飾画像の表示中に所定の軌跡の前記接触操作が検出されたとき、前記装飾画像から構成される、検出した前記接触操作に応じた形状のフィードバック画像を表示させ、
   前記所定の軌跡の前記接触操作に応じた処理を実行する
   ステップを含む表示制御方法。
7. 操作に用いられる複数のボタンとともに、操作に用いられる画像とは異なる、画面内を動く複数の装飾画像を表示部に表示させ、
   前記表示部に対するユーザの接触操作を検出し、
   前記ボタンと前記装飾画像の表示中に所定の軌跡の前記接触操作が検出されたとき、前記装飾画像から構成される、検出した前記接触操作に応じた形状のフィードバック画像を表示させ、
   前記所定の軌跡の前記接触操作に応じた処理を実行する
   ステップを含む処理をコンピュータに実行させるプログラム。

Images