JP6417062B1 - 電子機器、制御方法およびプログラム - Google Patents

Abstract

【課題】入力操作について操作性を向上させた電子機器、制御方法およびプログラムを提供する。
【解決手段】電子機器１は、自機器に触れずにジェスチャを検出するセンサ（近接センサ１８）と、タッチセンサ２６と、第１画面および第２画面を表示するディスプレイ１４と、近接センサ１８が配置された位置に応じて、近接センサ１８によって検出されるジェスチャおよびタッチセンサによって検出されるタッチを第１画面の操作および第２画面の操作にそれぞれ対応付けるコントローラ１１と、を備える。
【選択図】図１

Description

本開示は、電子機器、制御方法およびプログラムに関する。

例えばスマートフォンおよびタブレット端末等の電子機器は、一般にタッチパネルを備えている。ユーザは、このような電子機器を、タッチパネルに触れることで制御するのが一般的である。近年、ユーザが電子機器から離れて行うジェスチャを例えば赤外線センサ等の近接センサによって検出し、ジェスチャによって入力操作を実行する電子機器が知られている（例えば特許文献１）。

特開２０１５−２２５４９３号公報

このような電子機器は、例えば画面をスクロールする操作を、タッチパネルへの接触でも、ジェスチャでも実行可能にし得る。ユーザは、例えば手が汚れている場合等に、ジェスチャによる入力操作を有効にすることによって、タッチパネルに接触することなく、画面をスクロールできる。

ここで、近年、タッチパネルディスプレイに複数の画面を表示する電子機器が使用されている。このような電子機器では、例えば各画面の操作、画面の切り替えおよび画面の位置変更等といった従来よりも多くの操作が実行され得る。このような電子機器の操作性を向上させるために、多くの操作に対応する多様な入力が求められている。

また、電子機器が情報を表示する機能を備える場合に、ユーザが例えばスクロール量等をカスタマイズしたい場合がある。一般に電子機器が備えるメニュー画面で設定することも可能であるが、ユーザにとって階層化された項目をたどって選択する等の手間がかかり、複数のスクロール量を併用したい場合に対応していない。このような電子機器の操作性を向上させるために、異なる複数の移動量に対応する多様な入力が求められている。

かかる事情に鑑みてなされた本開示の目的は、入力操作について操作性を向上させた電子機器、制御方法およびプログラムを提供することにある。

本開示の電子機器は、自機器に触れずにジェスチャを検出するセンサと、タッチセンサと、第１画面および第２画面を表示するディスプレイと、前記センサが配置された位置に応じて、前記センサによって検出されるジェスチャおよび前記タッチセンサによって検出されるタッチを前記第１画面の操作および前記第２画面の操作にそれぞれ対応付けるコントローラと、を備える。

本開示の制御方法は、自機器に触れずにジェスチャを検出するセンサと、タッチセンサと、第１画面および第２画面を表示するディスプレイと、を備える電子機器の制御方法であって、前記センサが配置された位置に応じて、前記センサによって検出されるジェスチャおよび前記タッチセンサによって検出されるタッチを前記第１画面の操作および前記第２画面の操作にそれぞれ対応付けるステップ、を含む。

本開示のプログラムは、自機器に触れずにジェスチャを検出するセンサと、タッチセンサと、第１画面および第２画面を表示するディスプレイと、を備える電子機器に、前記センサが配置された位置に応じて、前記センサによって検出されるジェスチャおよび前記タッチセンサによって検出されるタッチを前記第１画面の操作および前記第２画面の操作にそれぞれ対応付けるステップ、を実行させる。

本開示の一実施形態によれば、入力操作について操作性を向上させた電子機器、制御方法およびプログラムを提供することができる。

一実施形態に係る電子機器の概略構成図である。 ユーザがジェスチャにより電子機器を操作する様子を例示する図である。 近接センサの概略構成図である。 各赤外フォトダイオードが検出する検出値の推移を示す図である。 電子機器をジェスチャで操作する状況を例示する図である。 ユーザがジェスチャにより電子機器を操作する様子を例示する図である。 電子機器をジェスチャで操作する状況を例示する図である。 電子機器の画面表示を例示する図である。 ジェスチャによる操作の一例を示す図である。 タッチによる操作の一例を示す図である。 ジェスチャによる操作の一例を示す図である。 タッチによる操作の一例を示す図である。 図１２の操作後のジェスチャによる操作の一例を示す図である。 タッチによる操作の一例を示す図である。 タッチによる操作の一例を示す図である。 ジェスチャによる操作の一例を示す図である。 タッチによる操作の一例を示す図である。 ジェスチャによる操作の一例を示す図である。 ジェスチャおよびタッチによる操作の一例を示す図である。 電子機器のユーザ動作に応じた処理を例示するフローチャートである。 画面の移動量の違いを説明するための図である。 タッチによる操作の一例を示す図である。 ジェスチャによる操作の一例を示す図である。 タッチによる操作の一例を示す図である。 ジェスチャによる操作の一例を示す図である。 ジェスチャによる操作の一例を示す図である。 電子機器のユーザ動作に応じた処理を例示するフローチャートである。 電子機器のユーザ動作に応じた処理を例示するフローチャートである。 測距センサを模式的に示す図である。 図２９に示す受光部における受光素子の配置の一例を模式的に示す図である。 各受光素子により検出される対象物までの距離の推移を模式的に示す図である。

（電子機器の構成）
図１に示すように一実施形態の電子機器１は、近接センサ１８（ジェスチャセンサ）と、タッチセンサ２６と、コントローラ１１と、を備える。また、電子機器１は、タイマー１２と、カメラ１３と、ディスプレイ１４と、マイク１５と、ストレージ１６と、通信ユニット１７と、スピーカー２５と、を備える。電子機器１は、さらにＵＶセンサ１９と、照度センサ２０と、加速度センサ２１と、地磁気センサ２２と、気圧センサ２３と、ジャイロセンサ２４と、を備える。図１は例示である。電子機器１は図１に示す構成要素の全てを備えなくてよい。また、電子機器１は図１に示す以外の構成要素を備えていてよい。

タイマー１２はコントローラ１１からタイマー動作の指示を受け、所定時間経過した時点で、その旨を示す信号をコントローラ１１に出力する。タイマー１２は、図１に示すようにコントローラ１１とは独立して設けられていてよいし、コントローラ１１が内蔵する構成であってよい。

カメラ１３は、電子機器１の周囲の被写体を撮像する。カメラ１３は一例として、電子機器１のディスプレイ１４が設けられる面に設けられるインカメラである。また、カメラ１３は一例として、電子機器１の筐体の背面（ディスプレイ１４が設けられる面の反対側の面）に設けられるアウトカメラである。カメラ１３はインカメラおよびアウトカメラを含み得る。

ディスプレイ１４は画面を表示する。画面は、例えば文字、画像、記号および図形等の少なくとも一つを含む。ディスプレイ１４は、液晶ディスプレイ（Liquid Crystal Display）であってよい。ディスプレイ１４は、有機ＥＬパネル（Organic Electro-Luminescence Panel）または無機ＥＬパネル（Inorganic Electro-Luminescence Panel）等であってよい。本実施形態において、ディスプレイ１４は、タッチセンサ２６と一体化したタッチパネルディスプレイ（タッチスクリーンディスプレイ）である。

マイク１５は、人が発する声を含む、電子機器１の周囲の音を検出する。

ストレージ１６は記憶部としてプログラムおよびデータを記憶する。ストレージ１６は、コントローラ１１の処理結果を一時的に記憶する。ストレージ１６は、半導体記憶デバイスおよび磁気記憶デバイス等の任意の記憶デバイスを含んでよい。ストレージ１６は、複数の種類の記憶デバイスを含んでよい。ストレージ１６は、メモリカード等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。

ストレージ１６に記憶されるプログラムには、フォアグランドまたはバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する制御プログラムとを含む。アプリケーションは、例えば、ジェスチャに応じた処理をコントローラ１１に実行させる。制御プログラムは、例えば、ＯＳ（Operating System）である。アプリケーションおよび制御プログラムは、通信ユニット１７による通信または記憶媒体を介してストレージ１６にインストールされてよい。ストレージ１６に記憶されるデータは、例えば静止画（写真）、動画、地図、高速道路のＩＣ（Inter Change、インターチェンジ）等の情報、交通情報等の各種の情報を含む。例えば地図および交通情報は通信ユニット１７を介して取得および更新され得る。

通信ユニット１７は、有線または無線により通信するためのインタフェースである。一実施形態の通信ユニット１７によって行われる通信方式は無線通信規格である。例えば、無線通信規格は２Ｇ、３Ｇおよび４Ｇ等のセルラーフォンの通信規格を含む。例えばセルラーフォンの通信規格は、ＬＴＥ（Long Term Evolution）およびＷ−ＣＤＭＡ（Wideband Code Division Multiple Access）を含む。また、例えばセルラーフォンの通信規格は、ＣＤＭＡ２０００およびＰＤＣ（Personal Digital Cellular）を含む。また、例えばセルラーフォンの通信規格は、ＧＳＭ（登録商標）（Global System for Mobile communications）およびＰＨＳ（Personal Handy-phone System）等を含む。例えば、無線通信規格は、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）およびＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）を含む。また、例えば無線通信規格は、ＩｒＤＡ（Infrared Data Association）およびＮＦＣ（Near Field Communication）等を含む。通信ユニット１７は、上述した通信規格の１つまたは複数をサポートすることができる。

スピーカー２５は音を出力する。電子機器１が通話可能な機器である場合に、例えば通話の際に、相手の声がスピーカー２５から出力される。また、例えばニュースまたは天気予報等の読み上げの際に、その内容がスピーカー２５から音で出力される。

近接センサ１８は、電子機器１の周囲の対象物との相対距離および対象物の移動方向等を非接触で検出する。本実施形態において、近接センサ１８は１つの光源用赤外ＬＥＤ（Light Emitting Diode）と４つの赤外フォトダイオードとを有する。近接センサ１８は、光源用赤外ＬＥＤから赤外光を対象物に向けて照射する。近接センサ１８は、対象物からの反射光を赤外フォトダイオードの入射光とする。そして、近接センサ１８は赤外フォトダイオードの出力電流に基づいて対象物との相対距離を測定することができる。また、近接センサ１８は、対象物からの反射光がそれぞれの赤外フォトダイオードに入射する時間差により対象物の移動方向を検出する。したがって、近接センサ１８は、電子機器１のユーザが電子機器１に触れずに行うエアジェスチャ（以下単に「ジェスチャ」という）を用いた操作を検出することができる。ここで、近接センサ１８は可視光フォトダイオードを有していてよい。

タッチセンサ２６は、ユーザの指またはスタイラスペン等の接触を検出して、その接触位置を特定するセンサである。上記のように、本実施形態において、タッチセンサ２６はディスプレイ１４と一体化されて、タッチパネルディスプレイを構成する。タッチセンサ２６は、指またはスタイラスペン等が接触した位置を同時に複数検出することができる。

コントローラ１１は、例えばＣＰＵ（Central Processing Unit）等のプロセッサである。コントローラ１１は、他の構成要素が統合されたＳｏＣ（System-on-a-Chip）等の集積回路であってよい。コントローラ１１は、複数の集積回路を組み合わせて構成されてよい。コントローラ１１は、電子機器１の動作を統括的に制御して各種の機能を実現する。ここで、電子機器１が車両に搭載されるカーナビゲーションシステムを構成する装置である場合、コントローラ１１はＣＰＵであって、通信ユニット１７およびストレージ１６とともにＥＣＵ（Electronic Control Unit、電子制御ユニット）を構成し得る。

具体的にはコントローラ１１は、ストレージ１６に記憶されているデータを必要に応じて参照する。コントローラ１１は、ストレージ１６に記憶されているプログラムに含まれる命令を実行してディスプレイ１４等の他の機能部を制御することによって各種機能を実現する。例えばコントローラ１１は、ユーザによる接触のデータをタッチセンサ２６から取得する。例えばコントローラ１１は、近接センサ１８が検出したユーザのジェスチャに関する情報を取得する。また、例えばコントローラ１１は、アプリケーションの起動状況を把握する。

ＵＶセンサ１９は、太陽光等に含まれる紫外線（Ultraviolet）量を測定することができる。

照度センサ２０は、当該照度センサ２０に入射する周囲光の照度を検出する。照度センサ２０は、例えばフォトダイオードを用いたものでよい。また、照度センサ２０は、例えばフォトトランジスタを用いたものでよい。

加速度センサ２１は、電子機器１に働く加速度の方向および大きさを検出する。加速度センサ２１は、検出した加速度の情報を出力信号とする。加速度センサ２１は、例えばｘ軸方向、ｙ軸方向およびｚ軸方向の加速度を検出する３軸（３次元）タイプである。加速度センサ２１は、例えばピエゾ抵抗型であってよい。また、加速度センサ２１は、例えば静電容量型であってよい。

地磁気センサ２２は地磁気の向きを検出して、電子機器１の向きを測定可能にする。

気圧センサ２３は、電子機器１の外側の気圧（大気圧）を検出する。

ジャイロセンサ２４は、電子機器１の角速度を検出する。コントローラ１１は、ジャイロセンサ２４により取得された角速度を時間積分することにより、電子機器１の向きの変化を測定することができる。

（ジェスチャによる電子機器の操作）
図２は、ユーザがジェスチャにより電子機器１を操作する様子を示す。図２において、電子機器１は一例としてスタンドによって支持される。代替例として電子機器１は壁に立てかけられたり、テーブルに置かれたりしてよい。近接センサ１８がユーザのジェスチャを検出すると、コントローラ１１は検出されたジェスチャに基づく処理を行う。図２の例では、ジェスチャに基づく処理はレシピが表示されている画面のスクロールである。例えば、ユーザが電子機器１の長手方向上方へと手を動かすジェスチャを行うと、ユーザの手の動きに連動して画面が上方へとスクロールする。また、例えば、ユーザが電子機器１の長手方向下方へと手を動かすジェスチャを行うと、ユーザの手の動きに連動して画面が下方へとスクロールする。ここで、近接センサ１８によるジェスチャ検出に代えて、カメラ１３が撮影した画像に基づいてコントローラ１１がジェスチャ検出を実行してよい。

図２の例では、画面は２つに分割されている。図２の例では、２つの画面のうち上の画面にレシピが表示されており、上記のようにジェスチャによってスクロールさせることが可能である。２つの画面のうち下の画面には、複数のアイコンが並んだホーム画面が表示されている。ユーザは下の画面のアイコンへのタッチによって、アイコンに対応付けられたアプリケーションを起動することができる。本明細書において、ユーザのタッチパネルディスプレイへのタッチ動作（接触動作）は単にタッチと表記される。タッチは、例えばタップ、ダブルタップ、ロングタップ（長押し）およびスライド等の様々な動作を含む。

図２に示す電子機器１はスマートフォンである。代替例として電子機器１は例えば、携帯電話端末、ファブレット、タブレットＰＣまたはフィーチャーフォン等でよい。また、電子機器１は、上記のものに限定されず、例えば、ＰＤＡ、リモコン端末、携帯音楽プレイヤー、ゲーム機、電子書籍リーダ、カーナビゲーション、家電製品または産業用機器（ＦＡ機器）等でよい。

（近接センサによるジェスチャ検出手法）
ここで、図３および図４を参照しながら、コントローラ１１が近接センサ１８の出力に基づいてユーザのジェスチャを検出する手法を説明する。図３は、電子機器１を正面から見たときの近接センサ１８の構成例を示す図である。近接センサ１８は、光源用赤外ＬＥＤ１８０と、４つの赤外フォトダイオードＳＵ，ＳＲ，ＳＤおよびＳＬと、を有する。４つの赤外フォトダイオードＳＵ，ＳＲ，ＳＤおよびＳＬは、レンズ１８１を介して検出対象物からの反射光を検出する。４つの赤外フォトダイオードＳＵ，ＳＲ，ＳＤおよびＳＬは、レンズ１８１の中心から見て対称的に配置されている。ここで、図３に示される仮想線Ｄ１は電子機器１の長手方向と略平行であるとする。図３の仮想線Ｄ１上に、赤外フォトダイオードＳＵと赤外フォトダイオードＳＤとが離れて配置されている。そして、図３の仮想線Ｄ１の方向において、赤外フォトダイオードＳＲおよびＳＬは、赤外フォトダイオードＳＵと赤外フォトダイオードＳＤとの間に配置されている。

図４は、４つの赤外フォトダイオードＳＵ，ＳＲ，ＳＤおよびＳＬの検出対象物（例えばユーザの手等）が、図３の仮想線Ｄ１の方向に沿って移動したときの検出値の推移を例示する。ここで、仮想線Ｄ１の方向において、赤外フォトダイオードＳＵと赤外フォトダイオードＳＤとが最も離れている。そのため、図４に示すように、赤外フォトダイオードＳＵの検出値（破線）の変化（例えば上昇）と、赤外フォトダイオードＳＤの検出値（細い実線）の同じ変化（例えば上昇）との時間差が最も大きい。コントローラ１１は、フォトダイオードＳＵ，ＳＲ，ＳＤおよびＳＬの検出値の所定の変化の時間差を把握することによって、検出対象物の移動方向を判定できる。

コントローラ１１は、近接センサ１８からフォトダイオードＳＵ，ＳＲ，ＳＤおよびＳＬの検出値を取得する。そして、コントローラ１１は、例えば検出対象物の仮想線Ｄ１の方向への移動を把握するために、フォトダイオードＳＤの検出値からフォトダイオードＳＵの検出値を減算した値を所定の時間で積分してよい。図４の例では、領域Ｒ４１およびＲ４２において積分値は非ゼロの値となる。この積分値の変化（例えば正値、ゼロ、負値の変化）から、コントローラ１１は、仮想線Ｄ１の方向における検出対象物の移動を把握できる。

また、コントローラ１１は、フォトダイオードＳＬの検出値からフォトダイオードＳＲの検出値を減算した値を所定の時間で積分してよい。この積分値の変化（例えば正値、ゼロ、負値の変化）から、コントローラ１１は、仮想線Ｄ１に直交する方向（電子機器１の短手方向に略平行な方向）における検出対象物の移動を把握できる。

代替例として、コントローラ１１はフォトダイオードＳＵ，ＳＲ，ＳＤおよびＳＬの全ての検出値を用いて演算を行ってよい。すなわち、コントローラ１１は検出対象物の移動方向を、電子機器１の長手方向および短手方向の成分に分離して演算することなく把握してよい。

近接センサ１８で検出されるジェスチャは、例えば左右のジェスチャ、上下のジェスチャ、斜めのジェスチャ、時計回りで円を描くジェスチャ、および反時計回りで円を描くジェスチャ等である。例えば左右へのジェスチャとは、電子機器１の短手方向と略平行な方向に行われるジェスチャである。上下のジェスチャとは、電子機器１の長手方向と略平行な方向に行われるジェスチャである。斜めのジェスチャとは、電子機器１と略平行な平面において、電子機器１の長手方向と短手方向とのいずれとも平行でない方向に行われるジェスチャである。

（キッチンモード）
図５は、ユーザがジェスチャにより電子機器１を操作する状況の一例を示す。図５の例で、ユーザは料理のレシピを電子機器１のディスプレイ１４に表示しながら、キッチンでレシピに従って料理をしている。図５の例において、近接センサ１８はユーザのジェスチャを検出する。そして、コントローラ１１は近接センサ１８が検出したジェスチャに基づく処理を行う。例えば、コントローラ１１は特定のジェスチャ（例えばユーザが手を上下に動かすジェスチャ）に応じてレシピをスクロールする処理が可能である。料理中は、ユーザの手が汚れたり、濡れたりすることがある。しかし、ユーザは電子機器１に触れることなくレシピをスクロールすることができる。したがって、ディスプレイ１４が汚れること、および料理中のユーザの手にディスプレイ１４の汚れがうつることを回避できる。

ここで、電子機器１はモードを複数有する。モードとは電子機器１の全体の動作について制限等を与える動作モード（動作状態または動作状況）を意味する。モードは同時に１つだけ選択可能である。本実施形態において、電子機器１のモードは少なくとも第１モード、第２モードおよび第３モードを含む。第１モードは通常の動作モード（通常モード）である。第２モードは、キッチンでレシピを表示しながら料理を行うのに最適な電子機器１の動作モード（キッチンモード）である。また、第３モードは、移動体、特に車両に設けられて様々な情報（例えば地図等の運転または操縦に役立つ情報）を提供するのに最適な電子機器１の動作モード（カーモード）である。上記で説明したように、第２モードの場合には、ジェスチャによる操作が可能である。また、以下に説明するように、第３モードの場合にも、ジェスチャによる操作が可能である。ここで、移動体は、例えば車両、船舶および航空機等を含み得る。車両は、例えば電気自動車、ハイブリッド電気自動車、ガソリン自動車、バイク、二輪車および福祉車両等を含み得る。車両は、例えば鉄道車両を含んでよい。移動体は、ユーザによって運転または操縦されてよい。移動体の運転または操縦に関するユーザ操作の少なくとも一部が自動化されていてよい。

（カーモード）
図６は、ユーザがカーモードで動作する電子機器１をジェスチャにより操作する様子を示す。図６において、電子機器１は一例として自動車のコンソールパネルに設置される。代替例として電子機器１は自動車内に設けられた支持具によって指示されてよい。また、支持具はダッシュボードの上に設置されてよい。また、図６に示すように、カーモードで動作する電子機器１は、横向き（長手方向が左右となる向き）で使用されてよい。近接センサ１８がユーザのジェスチャを検出すると、コントローラ１１は検出されたジェスチャに基づく処理を行う。図６の例では、ジェスチャに基づく処理は広域地図が表示されている画面の移動である。例えば、ユーザが電子機器１の長手方向左方へと手を動かすジェスチャを行うと、ユーザの手の動きに連動して画面が左方へと移動する。ここで、ユーザの手を動かすジェスチャの向きと、画面が移動する向きとの対応は任意に設定可能である。例えば、ユーザが左方へと手を動かすジェスチャを行うと、画面は左方でなく右方へ移動してよい。

上記の通り、図６に示す電子機器１はコンソールパネルに設置および取り外しが可能なスマートフォンである。別の例として、電子機器１は車両に設置されたカーナビゲーション装置でよい。このとき、電子機器１のモードは第２モードを含まなくてよい。

図７は、ユーザがジェスチャにより電子機器１を操作する状況の一例を示す。図７に示すように、例えば電子機器１は、ディスプレイ１４が自動車のコンソールパネルにおいて中央に位置するように、配置される。図７の例で、ユーザは、目的地までの経路を電子機器１のディスプレイ１４に表示させた状態で、表示された経路を参照しながら、電子機器１が搭載された自動車に乗り込んで、当該自動車を運転する。このとき、近接センサ１８はユーザのジェスチャを検出可能な状態である。コントローラ１１は近接センサ１８が検出したジェスチャに基づく処理を行う。

電子機器１は、タッチパネルディスプレイにおいて、ユーザからのタッチを受け付け可能である。しかしながら、タッチの位置を確認するためにユーザが運転中にディスプレイ１４に長く視線を移すことは好ましくない。本開示の電子機器１は、ユーザにジェスチャによる操作を可能にする。そのため、運転中のユーザが長くディスプレイ１４を見るようなことはない。

ここで、電子機器１がキッチンモードまたはカーモードで動作する場合に、ユーザはジェスチャおよびタッチを用いて電子機器１を操作することが可能である。本開示の電子機器１は、ジェスチャおよびタッチを以下に説明するように画面の操作に対応付けることによって、例えば複数の画面を表示する場合および画面の移動量を調整する場合等における、入力操作についての操作性を向上させ得る。

（第１の手法）
図８は電子機器１の画面表示の一例を示す。図８に示すように、電子機器１のディスプレイ１４は、第１画面１４１および第２画面１４２を表示する。つまり、電子機器１はマルチウィンドウ機能を備えており、ディスプレイ１４に画面を分割して表示する。第１画面１４１および第２画面１４２のそれぞれは、互いに独立に、アプリケーションを実行できる。図８の例では、第１画面１４１に料理のレシピが表示されている。また、図８の例では、第２画面１４２に複数のアイコン３０が並んだホーム画面が表示されている。また、電子機器１はキッチンモードで動作している。ここで、第１画面１４１と第２画面１４２とは一部が重複して表示されてよい。第１の手法および後述する第２の手法では、近接センサ１８によって検出されるジェスチャおよびタッチセンサ２６によって検出されるタッチを第１画面１４１の操作および第２画面１４２の操作にそれぞれ対応付ける。また、タッチセンサ２６は上記のようにディスプレイ１４と一体化されてタッチパネルディスプレイを構成する。

第１の手法として、電子機器１のコントローラ１１は、ジェスチャを第１画面１４１の操作に対応付ける。また、電子機器１のコントローラ１１は、タッチを第２画面１４２の操作に対応付ける。図８の例では、近接センサ１８は電子機器１のディスプレイ１４の上部、つまり、第２画面１４２よりも第１画面１４１に近い側に配置されている。コントローラ１１は、ジェスチャを近接センサ１８が配置された位置から第２画面１４２よりも近い第１画面１４１の操作に対応付けて、タッチを第２画面１４２の操作に対応付ける。

ここで、コントローラ１１は、ジェスチャと第１画面１４１の操作、および、タッチと第２画面１４２の操作を、例えばテーブル等によって関連付けて、ストレージ１６に記憶させてよい。コントローラ１１は、例えば上下方向に手を動かすジェスチャと画面のスクロールとを関連付けたテーブルをストレージ１６に予め記憶させる。また、コントローラ１１は、ダブルタップとアプリケーションの実行とを関連付けたテーブルをストレージ１６に予め記憶させる。そして、コントローラ１１は、ストレージ１６からこのようなテーブルを読み出し、テーブルに従ってジェスチャおよびタッチに対応付けられた操作を実行する。

図９は、ジェスチャによる操作の一例を示す図である。第１の手法では、コントローラ１１は、近接センサ１８によって上下方向に手を動かすジェスチャが検出された場合に、第１画面１４１に表示された料理のレシピを上下方向にスクロールさせる。ジェスチャの手を動かす向き（例えば上向き）に応じた第１画面１４１のスクロールの向きは、同じ（例えば上向き）でも、逆向き（例えば下向き）でよい。

ここで、ユーザがジェスチャで操作可能な画面（第１画面１４１）を区別できるように、第１画面１４１は第２画面１４２と異なる態様で表示されてよい。本実施形態において、第１画面１４１は、枠の色が第２画面１４２と異なる。例えば、第１画面１４１の枠の色は赤色である。また、例えば、第２画面１４２の枠の色は黒色である。図９以降の図面において、第１画面１４１の枠が二重に示されていることは、枠の色が異なることを意味する。ここで、別の例として、ユーザが区別可能なように、第１画面１４１（または第２画面１４２）に特定のピクト等が表示されてよい。

また、ユーザに対して、近接センサ１８によってジェスチャが検出されたことを示すために、第１画面１４１の枠の表示態様が変化してよい。例えば、第１画面１４１の枠は、ジェスチャが検出されると、線の太さ（例えばより太くなる等）、種類（例えば点線になる、点滅する等）または色（例えば赤から青になる等）が変化してよい。

図１０は、タッチによる操作の一例を示す図である。第１の手法では、コントローラ１１は、例えばタッチセンサ２６によって上下方向のスライドが検出された場合に、第２画面１４２に表示されたアイコン３０が並んだホーム画面を上下方向にスクロールさせる。

（第２の手法）
第１の手法において、コントローラ１１は、ジェスチャを近接センサ１８が配置された位置から第２画面１４２よりも近い第１画面１４１の操作に対応付けた。ここで、第１画面１４１は近接センサ１８が配置された位置から第２画面１４２より遠い場合もあり得る。第２の手法では、コントローラ１１は、ジェスチャを近接センサ１８が配置された位置から第２画面１４２よりも遠い第１画面１４１の操作に対応付けて、タッチを第２画面１４２の操作に対応付ける。

図１１は、第２の手法におけるジェスチャによる操作の一例を示す図である。第２の手法では、コントローラ１１は、近接センサ１８によって上下方向に手を動かすジェスチャが検出された場合に、近接センサ１８から遠い側の第１画面１４１に表示されたアイコン３０が並んだホーム画面を上下方向にスクロールさせる。ここで、ジェスチャの手を動かす向き（例えば上向き）に応じた第１画面１４１のスクロールの向きは、同じ（例えば上向き）でも、逆向き（例えば下向き）でよい。また、第２の手法において、ユーザはタッチによって近接センサ１８に近い側の第２画面１４２に表示された料理のレシピをスクロールさせることが可能である。

第１の手法および第２の手法では、コントローラ１１は、近接センサ１８が配置された位置に応じて、ジェスチャおよびタッチを第１画面１４１の操作および第２画面１４２の操作にそれぞれ対応付ける。つまり、複数に分割された画面のそれぞれは、ジェスチャまたはタッチによって操作可能である。特に、図８に示すように、ディスプレイ１４が２つの画面を表示する場合に、一方の画面がジェスチャによって操作されて、他方の画面がタッチによって操作されるため、ユーザが操作方法を容易に把握できる。

ここで、ユーザは、例えばメニュー画面から選択できる電子機器１の設定によって、第１の手法または第２の手法を選択できてよい。第１の手法では、ユーザは近接センサ１８が配置された位置から近い第１画面１４１をジェスチャで操作する。ユーザは、近接センサ１８の近くで手を動かす（ジェスチャを実行する）ため、直感的に、操作する画面（第１画面１４１）がわかり易い。また、第２の手法では、ユーザは近接センサ１８が配置された位置から遠い第１画面１４１をジェスチャで操作する。ユーザは、ジェスチャの操作対象である第１画面１４１を、自分の手で遮ることがない（ジェスチャを行う手で覆うことがない）ため、画面（第１画面１４１）が見易い。ユーザは、操作する画面が直感的にわかり易いことを好む場合に、第１の手法を選択してよい。また、ユーザは、画面が見易いことを好む場合に、第２の手法を選択してよい。

（第３の手法）
第３の手法では、コントローラ１１は、ジェスチャを近接センサ１８が配置された位置から第２画面１４２よりも近い第１画面１４１の操作に対応付けて、タッチを第２画面１４２の操作だけでなく、更に画面間の操作および画面の消去の操作の少なくとも１つに対応付ける。タッチによって画面間の操作および画面の消去の操作の少なくとも１つが実行されること以外は、第１の手法と同じである。ここで、画面間の操作とは、複数の画面の間で実行される操作である。画面間の操作は、例えば、後述する表示内容の入れ替え、表示内容のコピーまたは表示内容の移動等を含む。

上記のように、タッチは、例えばタップ、ダブルタップ、ロングタップおよびスライド等の様々な動作を含む。また、上記のように、コントローラ１１は、一部のタッチと、第２画面１４２の操作と、を対応付ける。第３の手法では、コントローラ１１は、第２画面１４２の操作に対応付けていないタッチを、画面間の操作および画面の消去の操作の少なくとも１つに対応付ける。例えば、コントローラ１１は、ロングタップ後の上下方向のスライドを、第１画面１４１と第２画面１４２の表示内容の入れ替えに対応付けてよい。また、例えば、コントローラ１１は、ロングタップ後の左右方向のスライドを、第２画面１４２の消去に対応付けてよい。第２画面１４２の消去は、第２画面１４２で表示されているアプリケーションを終了させる。

図１２は、第３の手法におけるタッチによる操作の一例を示す図である。第３の手法では、コントローラ１１は、ユーザが第２画面１４２をロングタップした後に上向きにスライドした場合に、第２画面１４２が第１画面１４１に重なるように表示を変更する。そして、更にユーザが第２画面１４２を上向きにスライドさせると、第１画面１４１と第２画面１４２の表示内容が入れ替わる。つまり、第１画面１４１に複数のアイコン３０が並んだホーム画面が表示される。また、第２画面１４２に料理のレシピが表示される。

図１３は、図１２の画面間の操作後に、ジェスチャによる操作が実行される場合を例示する図である。コントローラ１１は、近接センサ１８によって上下方向に手を動かすジェスチャが検出された場合に、第１画面１４１に入れ替わって表示されたホーム画面を上下方向にスクロールさせる。

また、図１４は、第３の手法におけるタッチによる操作の別の例を示す図である。第３の手法では、コントローラ１１は、ユーザが第２画面１４２をロングタップした後に右向きにスライドした場合に、第２画面１４２が右側に移動するように表示を変更する。そして、更にユーザが第２画面１４２を右向きにスライドさせると、第２画面１４２がディスプレイ１４に表示されなくなり、消去される。

ここで、第３の手法では、別の例として、コントローラ１１は、ジェスチャを近接センサ１８が配置された位置から第２画面１４２よりも遠い第１画面１４１の操作に対応付けてよい。このとき、タッチによって画面間の操作および画面の消去の操作の少なくとも１つが実行されること以外は、第２の手法と同じである。

また、更に別の例として、コントローラ１１は、タッチを第２画面１４２の操作に対応付けることなく、画面間の操作および画面の消去の操作の少なくとも１つだけに対応付けてよい。

また、更に別の例として、コントローラ１１は、タッチでなくジェスチャを画面間の操作および画面の消去の操作の少なくとも１つに対応付けてよい。例えば、コントローラ１１は、円を描くジェスチャの後の上下方向のジェスチャを、第１画面１４１と第２画面１４２の表示内容の入れ替えに対応付けてよい。また、例えば、コントローラ１１は、円を描くジェスチャの後の左右方向のジェスチャを、第２画面１４２の消去に対応付けてよい。

第３の手法は、コントローラ１１が、第１画面１４１の操作または第２画面１４２の操作だけでなく、画面間の操作および画面の消去の操作をタッチまたはジェスチャに対応付ける。そのため、第３の手法は、更に多様な入力が可能である。

（第４の手法）
第４の手法では、コントローラ１１は、第２画面１４２で実行可能なタッチの１つである特定のタッチを第２画面１４２の特定の操作に対応付けて、ジェスチャの１つを第１画面１４１の特定の操作に対応付ける。特定の操作は、例えばノーティフィケーションの表示である。また、第２画面１４２で実行可能なタッチの１つは、第２画面１４２の外部から第２画面１４２の内部へのスライドである。

図１５は、第４の手法におけるタッチによる操作の一例を示す図である。第４の手法では、コントローラ１１は、ユーザが第２画面１４２の外部から下向きに第２画面１４２の内部までスライドした場合に、通知を示すノーティフィケーションを表示する。ここで、図１５の例では、第２の手法と同様に、近接センサ１８が配置された位置から第２画面１４２よりも遠い位置に第１画面１４１が表示される。

ここで、画面の外部から内部へとスライドすることによって、ノーティフィケーションが引き出されるように表示されることは、ユーザに直感的な操作を可能にする。しかし、図１５の例で、ユーザが第１画面１４１の外部から下向きに第１画面１４１の内部までスライドしようとすると、ユーザは第１画面１４１の上方にある第２画面１４２にタッチすることになる。すると、ユーザのタッチは、第２画面１４２に対するものと扱われる。つまり、第１画面１４１に対して、第２画面１４２と同じタッチによってノーティフィケーションを表示させることはできない。

ここで、本開示の電子機器１はジェスチャによる操作が可能である。そのため、電子機器１は、第２画面１４２での特定のタッチを第１画面１４１にそのまま適用できない場合に、ジェスチャによって第１画面１４１における特定の操作を実行可能である。上記の例では、特定のタッチは画面の外部から画面の内部までの下向きのスライドである。また、特定のタッチに対応付けられる操作（特定の操作）はノーティフィケーションの表示である。

図１６は、第４の手法におけるジェスチャによる操作の一例を示す図である。図１６に示すように、コントローラ１１は、手を下向きに移動するジェスチャの１つを、第１画面１４１におけるノーティフィケーションの表示に対応付けている。

第４の手法は、ディスプレイ１４に複数の画面が表示されて、画面によって始点または終点が異なる領域に含まれるようなタッチを用いる場合に有用である。領域は例えば画面の表示領域である。上記の例では、第２画面１４２でノーティフィケーションを表示させる場合に、始点を画面の表示領域（第１画面１４１および第２画面１４２）の外部とする下向きのスライドが用いられる。しかし、第１画面１４１で下向きのスライドを実行すると、始点は画面の表示領域の内部になる。つまり、画面によって始点が異なる領域に含まれる。このような場合に、コントローラ１１は、ジェスチャを用いることによって、複数の画面のいずれでも特定の操作（例えばノーティフィケーションの表示）を実行可能にする。

（第５の手法）
第５の手法では、コントローラ１１は、同時に表示されるアクティブウィンドウおよび非アクティブウィンドウのうち、アクティブウィンドウの操作にタッチおよびジェスチャを対応付ける。また、コントローラ１１は、ジェスチャをアクティブウィンドウの設定項目の一覧の表示に対応付ける。ここで、アクティブウィンドウは、ユーザが操作を行える状態にある画面のことである。また、非アクティブウィンドウは、ユーザが操作を行えない状態にある画面のことである。ここで、非アクティブウィンドウで実行されるアプリケーション等は、バックグラウンドで動作してよい。

図１７は、第５の手法におけるタッチによる操作の一例を示す図である。図１７の例では、ユーザがディスプレイ１４に表示された複数の画面（上側の画面および下側の画面）のうち、上側の画面にタッチしている。タッチされた上側の画面はアクティブウィンドウに設定される。また、下側の画面は非アクティブウィンドウに設定される。ここで、ユーザが下側の画面にタッチすると、下側の画面がアクティブウィンドウに設定される。つまり、アクティブウィンドウは画面の一部をタッチすることによって切り替え可能である。

アクティブウィンドウは、上記の第１画面１４１および第２画面１４２に対応する。つまり、ユーザはタッチおよびジェスチャによってアクティブウィンドウを操作することができる。また、アクティブウィンドウは、非アクティブウィンドウである第３画面１４３とともに、ディスプレイ１４に表示される。図１７に示すように、コントローラ１１は、アクティブウィンドウにおいて、タッチセンサ２６によって上下方向にスライドするタッチが検出された場合に、表示された料理のレシピを上下方向にスクロールさせる。

図１８は、第５の手法におけるジェスチャによる操作の一例を示す図である。図１８に示すように、コントローラ１１は、手を左右方向（水平方向）に移動するジェスチャを、アクティブウィンドウにおけるメニュー（設定項目の一覧）の表示に対応付けている。図１８の例では、手を右向きに移動させるジェスチャに対応して、メニューがアクティブウィンドウの左端から右向きに引き出されるように表示される。ここで、別の例として、手を左向きに移動させるジェスチャに対応して、メニューがアクティブウィンドウの右端から左向きに引き出されるように表示されてよい。また、別の例として、手を下向きに移動させるジェスチャに対応して、ノーティフィケーションがアクティブウィンドウの上端から下向きに引き出されるように表示されてよい。

第５の手法は、アクティブウィンドウに対して、タッチおよびジェスチャによる操作が可能である。そのため、第５の手法は、１つの画面に対して多様な入力が可能である。また、第５の手法では、コントローラ１１は、ジェスチャを、少なくともメニューの表示に対応付ける。そのため、ユーザは設定項目の変更または確認を実行したい場合に、ジェスチャによって素早くメニューを表示させることができる。

第５の手法では、上記の例のように、アクティブウィンドウの直接的な操作（例えばスクロール等の画面の移動または画面の消去）をタッチに対応させて、補助的な操作（例えばメニュー等の別画面の表示）をジェスチャに対応させてよい。逆に、直接的な操作をジェスチャに、補助的な操作をタッチに対応させることが可能である。操作の種類に応じてタッチまたはジェスチャに対応付けることによって、ユーザはより直感的にアクティブウィンドウの操作が可能である。

また、タッチとジェスチャとで、動きの方向または向きが異なっていてよい。例えば、タッチが第１の方向（一例として上下方向）の動きであるのに対して、ジェスチャは第２の方向（一例として左右方向）の動きだけを使用してよい。また、例えば、タッチが第１の向き（一例として下向きおよび左向き）の動きであるのに対して、ジェスチャは第２の向き（一例として上向きおよび右向き）の動きだけを使用してよい。１つのアクティブウィンドウに対してタッチおよびジェスチャを使用可能であるため、ユーザは同じ方向または同じ向きの動きがあると混同する可能性がある。そのため、タッチとジェスチャとで方向または向きが重複しないようにすることで、ユーザが容易にタッチおよびジェスチャの使い分けができるようにしてよい。

（第６の手法）
図８から図１８においてキッチンモードで動作している場合の電子機器１を示したが、電子機器１がカーモードで動作する場合にも、ジェスチャおよびタッチを第１画面１４１の操作および第２画面１４２の操作にそれぞれ対応付けることができる。

図１９は、第６の手法におけるジェスチャおよびタッチによる操作の一例を示す図である。図１９の例では、近接センサ１８は運転席側にあり、運転者のジェスチャを良好に検出する。近接センサ１８により近い第１画面１４１には、目的地まで車両の航行を導くための地図が表示されている。地図には、丸印で示された車両の現在位置および道路名等が示されている。また、近接センサ１８から離れた第２画面１４２には、オーディオの操作画面が表示されている。オーディオの操作画面は、例えば選択されているアルバムおよび曲名、音量ボタン等が示されている。

図１９に示すように、コントローラ１１は、手を上下左右に移動するジェスチャを、第１画面１４１における地図の移動に対応付けている。また、コントローラ１１は、音量ボタン（上向きおよび下向きの矢印が付されたボタン）へのタッチを、第２画面１４２における音量の調整に対応付けている。

運転者は、ジェスチャによって地図を移動させることが可能である。運転者は、タッチの位置を確認するためにディスプレイ１４を長くみるようなことなく、電子機器１を操作することができる。また、助手席側の第２画面１４２において、運転しないユーザはタッチによってオーディオの音量調整が可能である。

第６の手法では、コントローラ１１は、運転席側にある近接センサ１８の位置に応じて、ジェスチャおよびタッチを第１画面１４１の操作および第２画面１４２の操作にそれぞれ対応付ける。このとき、運転者は、安全にジェスチャによる電子機器１の操作が可能である。また、助手席側のユーザは、タッチによって様々な操作が可能である。ここで、電子機器１がカーモードで動作する場合に、近接センサ１８の位置は図１９に示す位置に限定されない。例えば、近接センサ１８は、電子機器１の使用時に助手席側より運転席側に近くなるような位置であれば自由に設置してよい。

（フローチャート）
図２０は、上記の第１の手法から第６の手法に対応する、電子機器１のユーザ動作に応じた処理を例示するフローチャートである。

電子機器１のコントローラ１１は、ディスプレイ１４に第１画面１４１および第２画面１４２が表示される場合に（ステップＳ１のＹｅｓ）、ステップＳ２の処理に進む。ここで、ユーザによってマルチウィンドウ機能が使用された場合に、第１画面１４１および第２画面１４２が表示され得る。電子機器１のコントローラ１１は、第１画面１４１および第２画面１４２に対応するアクティブウィンドウと、非アクティブウィンドウとが表示される場合にも、ステップＳ２の処理に進む。

電子機器１のコントローラ１１は、ディスプレイ１４に第１画面１４１および第２画面１４２が表示されていない場合に（ステップＳ１のＮｏ）、処理を終了する。

電子機器１のコントローラ１１は、近接センサ１８によってジェスチャを検出した場合に（ステップＳ２のＹｅｓ）、ジェスチャに対応付けられた第１画面１４１の操作を実行する（ステップＳ３）。

電子機器１のコントローラ１１は、近接センサ１８によってジェスチャを検出しない場合に（ステップＳ２のＮｏ）、または、ステップＳ３の処理の後に、ステップＳ４の処理に進む。ここで、電子機器１のコントローラ１１は、所定の時間（例えば１分）にジェスチャを検出しない場合に、ステップＳ４の処理に進んでよい。

電子機器１のコントローラ１１は、タッチセンサ２６によってタッチを検出した場合に（ステップＳ４のＹｅｓ）、タッチに対応付けられた第２画面１４２の操作を実行する（ステップＳ５）。

電子機器１のコントローラ１１は、タッチセンサ２６によってタッチを検出しない場合に（ステップＳ４のＮｏ）、または、ステップＳ５の処理の後に、ステップＳ１の処理に戻る。ここで、電子機器１のコントローラ１１は、所定の時間（例えば１分）にタッチを検出しない場合に、ステップＳ１の処理に戻ってよい。

（第７の手法）
電子機器１のコントローラ１１は、ジェスチャおよびタッチを異なる複数の移動量に対応させることによって、電子機器１の操作性を向上させることが可能である。以下において、異なる複数の移動量が１つのアプリケーションで併用される実施例が説明される。以下において、画面は複数（マルチウィンドウ）であり得るが、画面が１つである場合を例に説明する。また、電子機器１は、ジェスチャによる操作が可能なモードで動作している。

図２１は写真を表示するためのアプリケーションの画面である。図２１の例では、複数の写真を縮小したサムネイル３１が一覧で表示されている。サムネイル３１には、所定の順番（例えば撮影日時順）に従った番号が付されている。以下において、写真のそれぞれを区別する場合に、番号が用いられる。例えば、１番の写真とは、図２１で「１」の番号が付された写真を意味する。このアプリケーションにおいて、ユーザが例えば１番の写真のサムネイル３１をタップすると、１番の写真がディスプレイに大きく表示される。

写真を表示するためのアプリケーションでは、写真の数が増加するとユーザが所望の写真を表示させるまでに多くのタッチが必要になることがある。そのため、表示のスクロール量（例えばスキップする何枚）を大きくしたいとの要望があった。一方、このようなアプリケーションにおいて、ユーザは１枚ずつ順に表示する機能を必要とする。

第７の手法では、コントローラ１１は、ジェスチャおよびタッチを、異なる移動量で画面を変化させる操作に対応付ける。詳細には、コントローラ１１は、ジェスチャに基づく基本操作あたりの画面の移動量を、タッチに基づく基本操作あたりの画面の移動量よりも大きくなるように設定する。ここで、画面の移動量は、例えばスクロール量等であって、画面の表示内容の変化の大きさを意味する。画面の移動量は、上記のように、写真を表示させるアプリケーション等での表示内容の変化（例えばスキップする枚数）の大きさを含む。また、画面の移動量は、例えば地図をスクロールさせた場合の座標の変化を含む。また、画面の移動量は、例えば動画再生のアプリケーションで早送りを指示した場合の変化量（例えば早送りする時間）を含む。また、基本操作とは一度の操作である。ジェスチャであれば、例えば一回の手を下方向に移動させる動作である。また、タッチであれば、例えば一回のタッチである。

図２１の例では、コントローラ１１は、タッチに基づく基本操作あたりの画面の移動量Ｓ１、すなわち写真の変化する枚数を１枚に設定する。また、コントローラ１１は、ジェスチャ（例えば手を水平方向に移動する動作）に基づく基本操作あたりの画面の移動量Ｓ２、すなわち写真の変化する数を１０枚に設定する。コントローラ１１は、タッチに基づく基本操作あたりの画面の移動量Ｓ１およびジェスチャに基づく基本操作あたりの画面の移動量Ｓ２をストレージ１６に記憶してよい。

図２２は、第７の手法におけるタッチによる操作の一例を示す図である。図２２の例では、ディスプレイ１４に１番の写真が表示されている場合に、ユーザが例えば接触した指を左向きに移動させるタッチを１回行う。コントローラ１１は、タッチセンサ２６によってタッチを検出すると、ストレージ１６からタッチに基づく基本操作あたりの画面の移動量Ｓ１を取得する。そして、コントローラ１１は、１枚分の写真を変化させて、ディスプレイ１４に２番の写真を表示させる。ここで、ユーザのタッチの向きと写真の番号の変化との対応は任意に設定され得る。例えば、ユーザが例えば接触した指を下向きに移動させるタッチを１回行うと、ディスプレイ１４に番号が１つ増加した写真が表示されてよい。

図２３は、第７の手法におけるジェスチャによる操作の一例を示す図である。図２３の例では、ディスプレイ１４に１番の写真が表示されている場合に、ユーザが例えば右向きに手を移動させる動きのジェスチャを１回行う。コントローラ１１は、近接センサ１８によってジェスチャを検出すると、ストレージ１６からジェスチャに基づく基本操作あたりの画面の移動量Ｓ２を取得する。そして、コントローラ１１は、１０枚分の写真を変化させて、ディスプレイ１４に１１番の写真を表示させる。ここで、ユーザのジェスチャ（例えば水平方向の手の動き）の向きと写真の番号の変化との対応は任意に設定され得る。例えば、ユーザが左向きのジェスチャを１回行うと、ディスプレイ１４に番号が１０だけ増加した写真が表示されてよい。また、例えば、ユーザが左向きのジェスチャを１回行うと、ディスプレイ１４に番号が１０だけ減少した写真が表示されてよい。

第７の手法では、上記の例のように、タッチによって小さく画面を移動させる操作が可能であるとともに、ジェスチャによって大きく画面を移動させる操作が可能である。したがって、ユーザはジェスチャを用いることによって、タッチよりも大きく画面を移動させて（例えば先の例では離れた番号の写真を表示させて）、例えばタッチを何回も繰り返す場合に比べて、効率的な操作を行うことができる。例えば、図２１の例で、１２番目の写真を表示させる場合に、ユーザは１２回のタッチを繰り返すのではなく、１回のジェスチャと２回のタッチを行うだけでよい。つまり、ユーザはより少ない動作で画面を移動させて、所望のデータを表示させることが可能である。

ここで、コントローラ１１は、ジェスチャによる操作を所定の条件が満たされる場合にだけ実行可能にしてよい。例えば、上記の写真を表示するためのアプリケーションの例において、写真のデータが１回のジェスチャによる移動量（１０枚）に満たない場合に、コントローラ１１は、ジェスチャによる操作ができないようにしてよい。このとき、コントローラ１１は、近接センサ１８をオフ状態にして、消費電力を抑えることが可能である。また、上記の写真を表示するためのアプリケーションの例において、画面の移動量は写真の枚数を単位としているが、例えば撮影時の時間に基づいて設定されてよい。例えば、ジェスチャによる移動量は１年に設定し得る。このとき、ユーザは１回のジェスチャによって、１年前または１年後の写真を表示させることができる。また、このとき、写真の撮影日時の差が１回のジェスチャによる移動量（１年）に満たない場合に、コントローラ１１は、近接センサ１８をオフ状態にして、ジェスチャによる操作ができないようにしてよい。

（第８の手法）
例えば、電子機器１がカーモードで動作しており、車両の現在位置の周辺の地図を見たい場合に、ユーザはタッチパネルディスプレイをタッチ（例えばタップ）することで画面を移動させることが可能である。ここで、ユーザは車両の現在位置から離れた交差点（曲がり角）の情報を知りたいことがあり得る。しかし、特に地図を拡大表示しているような場合に、ユーザは所望の交差点を表示させるまでに多くのタッチを実行することがある。そのため、自動的に次の交差点が表示されるようにしたいとの要望があった。一方、このようなナビゲーション装置において、従来のタッチによる小さな画面遷移の機能も必要である。電子機器１のコントローラ１１は、ジェスチャおよびタッチを異なる情報に対応付けることによって、異なる移動量での画面の表示を可能にする。

図２４は、第８の手法におけるタッチによる操作の一例を示す図である。図２４の例では、ディスプレイ１４（タッチパネルディスプレイ）に地図が表示されている。図形Ｐはユーザの乗る車両の現在位置を示す。例えばユーザがタッチパネルディスプレイをタップすると、コントローラ１１はタッチパネルディスプレイからタップされた位置の座標を取得する。そして、コントローラ１１はタップされた位置がディスプレイ１４の中心になるように座標の計算を行って、計算結果に基づいて地図を移動させる。このように、第８の手法において、コントローラ１１は、タッチセンサ２６によって検出されるタッチに対応付けられた座標の情報（第２の情報の一例）に基づいて画面の移動量を決定する。ここで、別の例として、コントローラ１１は、１回のタップでの画面の移動量を一定にしてよい。例えば、ユーザがタッチパネルディスプレイの中心から左上にある位置をタップすると、画面全体を反対向き（右下向き）に一定の移動量だけシフトさせて表示してよい。ここで、一定の移動量は例えば距離（例えば５００メートル等）で決定されてよい。

図２５は、第８の手法におけるジェスチャによる操作の一例を示す図である。ユーザが例えば左向きに手を移動させる動きのジェスチャを１回行う。コントローラ１１は、近接センサ１８によってジェスチャを検出すると、ストレージ１６から地図の情報を取得する。地図の情報は、道路および交差点の情報を含む。そして、コントローラ１１は、車両の現在位置から左方にあって、車両が現在通っている道路の次の交差点Ｉを検索する。そして、コントローラ１１は、検索された交差点Ｉの位置がディスプレイ１４の中心付近に表示されるように地図を移動させる。このように、第８の手法において、コントローラ１１は、近接センサ１８によって検出されるジェスチャに対応付けられた交差点の情報（第１の情報の一例）に基づいて画面の移動量を決定する。ここで、コントローラ１１は、検索された交差点Ｉの詳細な情報（例えば拡大表示）を、例えばポップアップ等の別の画面で示してよい。また、別の例として、コントローラ１１は、ジェスチャの手の向きに関係なく、車両の現在の進行方向での次の交差点Ｉを検索してよい。

第８の手法では、上記の例のように、コントローラ１１は、タッチおよびジェスチャを、異なる２つの情報（例えば座標の情報および交差点の情報）にそれぞれ対応付ける。そして、コントローラ１１は、異なる２つの情報に基づいて、互いに異なる画面の移動量を設定する。ユーザはジェスチャを用いることによって、タッチと異なる移動量で画面を移動させて（例えば先の例では次の交差点まで移動させて）、例えばタッチを何回も繰り返す場合に比べて、効率的な操作を行うことができる。

（第９の手法）
例えば、電子機器１がカーモードで動作しており、高速道路で渋滞に巻き込まれた場合に、ユーザは渋滞がどこまで続いているかを素早く知りたいことがある。しかし、従来のナビゲーション装置は、続くＩＣの名称を渋滞が発生中であるか否かを示す背景色とともに、順に表示することが一般的であった。したがって、ユーザは渋滞が発生していないＩＣをスクロールさせて確認するために、多くのタッチが必要であった。電子機器１のコントローラ１１は、ジェスチャおよびタッチを異なる情報に対応付けることによって、異なる移動量での画面の表示を可能にする。

図２６は、第９の手法におけるジェスチャによる操作の一例を示す図である。電子機器１は、ディスプレイ１４に地図と、ポップアップ画面１４４に示されるＩＣの名称等の情報を表示している。ユーザは例えば下向きに手を移動させる動きのジェスチャを１回行う。コントローラ１１は、近接センサ１８によってジェスチャを検出すると、ストレージ１６から交通情報を取得する。そして、コントローラ１１は、車両が通過する予定のＩＣのうち、渋滞が解消された最初のＩＣ（図２６の例では「ＧＨＩ」）を検索する。そして、コントローラ１１は、検索されたＩＣが前の２つのＩＣ（図２６の例では「ＡＢＣ」および「ＤＥＦ」）とともに表示されるように、ポップアップ画面１４４の表示を移動させる。ここで、「ＡＢＣ」および「ＤＥＦ」は渋滞が発生していることを示す背景色で表示される。このように、第９の手法において、コントローラ１１は、近接センサ１８によって検出されるジェスチャに対応付けられた交通情報（第１の情報の一例）に基づいて画面の移動量を決定する。ここで、ユーザはタッチによってポップアップ画面の表示を移動させることも可能である。このとき、ポップアップ画面１４４に示されるＩＣの名称等の情報は１つずつシフトされる。

第９の手法では、第８の手法と同様に、コントローラ１１は、タッチおよびジェスチャを、異なる２つの情報（例えばＩＣの情報および交通情報）にそれぞれ対応付ける。そして、コントローラ１１は、異なる２つの情報に基づいて、互いに異なる画面の移動量を設定する。ユーザはジェスチャを用いることによって、タッチと異なる移動量で画面を移動させて、例えばタッチを何回も繰り返す場合に比べて効率的な操作を行うことができる。ここで、別の例として、コントローラ１１は、高速道路のサービスエリアまたはパーキングエリアの情報を用いてよい。例えば、コントローラ１１は、交通情報に基づいて、ユーザのジェスチャによって駐車可能な（満車でない）サービスエリアまたはパーキングエリアを直ちに表示させてよい。

（フローチャート）
図２７は、上記の第７の手法に対応する、電子機器１のユーザ動作に応じた処理を例示するフローチャートである。

電子機器１のコントローラ１１は、タッチセンサ２６によってタッチを検出した場合に（ステップＳ１０１のＹｅｓ）、タッチに基づく基本操作あたりの画面の移動量で、画面を移動させる（ステップＳ１０２）。

電子機器１のコントローラ１１は、タッチセンサ２６によってタッチを検出しない場合に（ステップＳ１０１のＮｏ）、または、ステップＳ１０２の処理の後に、ステップＳ１０３の処理に進む。

電子機器１のコントローラ１１は、近接センサ１８によってジェスチャを検出した場合に（ステップＳ１０３のＹｅｓ）、ジェスチャに基づく基本操作あたりの画面の移動量で、画面を移動させる（ステップＳ１０４）。

電子機器１のコントローラ１１は、ステップＳ１０４の処理の後で、画面の移動について終了指示がある場合に（ステップＳ１０５のＹｅｓ）、一連の処理を終了する。

電子機器１のコントローラ１１は、近接センサ１８によってジェスチャを検出しない場合に（ステップＳ１０３のＮｏ）、または、画面の移動について終了指示がない場合に（ステップＳ１０５のＮｏ）、ステップＳ１０１の処理に戻る。

また、図２８は、上記の第８の手法および第９の手法に対応する、電子機器１のユーザ動作に応じた処理を例示するフローチャートである。

電子機器１のコントローラ１１は、タッチセンサ２６によってタッチを検出した場合に（ステップＳ２０１のＹｅｓ）、タッチに対応付けられた第２の情報に基づく画面の移動量で、画面を移動させる（ステップＳ２０２）。

電子機器１のコントローラ１１は、タッチセンサ２６によってタッチを検出しない場合に（ステップＳ２０１のＮｏ）、または、ステップＳ２０２の処理の後に、ステップＳ２０３の処理に進む。

電子機器１のコントローラ１１は、近接センサ１８によってジェスチャを検出した場合に（ステップＳ２０３のＹｅｓ）、ジェスチャに対応付けられた第１の情報に基づく画面の移動量で、画面を移動させる（ステップＳ２０４）。

電子機器１のコントローラ１１は、ステップＳ２０４の処理の後で、画面の移動について終了指示がある場合に（ステップＳ２０５のＹｅｓ）、一連の処理を終了する。

電子機器１のコントローラ１１は、近接センサ１８によってジェスチャを検出しない場合に（ステップＳ２０３のＮｏ）、または、画面の移動について終了指示がない場合に（ステップＳ２０５のＮｏ）、ステップＳ２０１の処理に戻る。

以上のように、本開示の電子機器１のコントローラ１１は、近接センサ１８によって検出されるジェスチャおよびタッチセンサ２６によって検出されるタッチをそれぞれ適切に操作に対応付ける。そのため、本開示の電子機器１は、入力操作について操作性が向上する。

（その他の実施形態）
本開示を図面および実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形および修正を行うことが容易であることに注意されたい。したがって、これらの変形および修正は本開示の範囲に含まれることに留意されたい。例えば、各手段または各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段またはステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。

例えば、上記の第１から第９の手法は組み合わせることが可能である。例えば第７から第９の手法のそれぞれは、複数の画面を有する第５の手法の表示形態を組み合わせることができる。

また、複数の画面が表示される場合の態様は、図８の例のように１つのディスプレイ１４で画面が分割されるものに限定されない。例えば電子機器１が正面と背面とにディスプレイ１４を備える場合に、背面のディスプレイ１４に第１画面１４１が表示されて、正面のディスプレイ１４に第２画面１４２が表示されてよい。

上記の実施形態では、ジェスチャは、近接センサ１８により検出されると説明したが、必ずしも近接センサ１８により検出されなくてよい。ジェスチャは、自機器に触れずにユーザのジェスチャを検出可能な任意のセンサにより検出されてよい。このようなセンサの一例は、例えば、カメラ１３等を含む。

自機器に触れずにユーザのジェスチャを検出可能なセンサは、例えば測距センサを含んでよい。例えば、電子機器１は、近接センサ１８に代えて、又は近接センサ１８とともに、測距センサを含み、測距センサにより、ジェスチャを検出してよい。

測距センサは、対象物との距離を測定可能なセンサである。測距センサは、例えばＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサにより構成されていてよい。ＴｏＦセンサとして構成される測距センサは、正弦波変調光（赤外レーザ光）を対象物に向けて照射する発光部と、照射された赤外レーザ光の対象物からの反射光を受光する受光部とを備える。受光部は、例えば複数の受光素子を配置したイメージセンサを有する。ＴｏＦセンサは、赤外レーザ光を照射してから、各受光素子で反射光を受光するまでの時間（飛行時間）を測定する。ＴｏＦセンサは、照射した赤外レーザ光と、受光した反射光との位相差に基づき、飛行時間を測定できる。ＴｏＦセンサは、測定した飛行時間に基づき、照射した赤外レーザ光を反射した対象物までの距離を測定できる。ＴｏＦセンサは、対象物からの反射光が複数の受光素子それぞれに入射する時間差により対象物の移動方向を検出することができる。これにより、ＴｏＦセンサも、近接センサ１８で説明した原理と同様の原理で、ユーザが行うジェスチャを検出することができる。測距センサは、電子機器１において、例えば近接センサ１８が配置された面と同じ面に配置されてよい。

ここで、図２９から図３１を参照しながら、コントローラ１０が測距センサの出力に基づいてユーザのジェスチャを検出する方法を説明する。図２９は、測距センサ１２６を模式的に示す図である。図２９は、側面視における測距センサ１２６を示している。測距センサ１２６は、発光部１２６ａと受光部１２６ｂとを備える。発光部１２６ａ及び受光部１２６ｂは、電子機器１の長手方向と略平行に配置されているとする。発光部１２６ａは、赤外レーザ光を対象物に向けて照射する。受光部１２６ｂは、照射された赤外光の対象物からの反射光を受光する。

受光部１２６ｂは、複数の受光素子を備えていてよい。例えば、受光部１２６ｂは、図３０に示すように、３行×３列に配置された９つの受光素子を備えていてよい。９つの受光素子は、それぞれ対象物からの反射光を受光する。受光部１２６ｂにおいて、上段には、電子機器１の短手方向と略平行に、左から順にＣｈ１１、Ｃｈ１２及びＣｈ１３の３つの受光素子が配置されている。受光部１２６ｂにおいて、中段には、電子機器１の短手方向と略平行に、左から順にＣｈ２１、Ｃｈ２２及びＣｈ２３の３つの受光素子が配置されている。受光部１２６ｂにおいて、下段には、電子機器１の短手方向と略平行に、左から順にＣｈ３１、Ｃｈ３２及びＣｈ３３の３つの受光素子が配置されている。

測距センサ１２６は、発光部１２６ａが照射した赤外レーザ光と、受光部１２６ｂの９つの受光素子がそれぞれ受光した反射光との位相差に基づき、９つの受光素子それぞれから対象物までの距離を測定できる。測距センサ１２６は、９つの受光素子それぞれから対象物までの距離と、時間経過に伴う距離の変化に基づいて、ジェスチャを検出することができる。

例えば、ユーザが手を左から右に動かすジェスチャを行ったとする。このとき、例えば中段の受光素子Ｃｈ２１、Ｃｈ２２及びＣｈ２３により検出される、対象物までの距離をそれぞれＤ２１、Ｄ２２及びＤ２３とする。図３１は、各受光素子により検出される対象物までの距離の推移を模式的に示す図である。例えば図３１に模式的に示すように、まず、対象物である手が最初に左側に配置された受光素子Ｃｈ２１に近づくため、受光素子Ｃｈ２１により検出される対象物の距離Ｄ２１が近くなる。その後、対象物である手が中央に配置された受光素子Ｃｈ２２に近づくと、受光素子Ｃｈ２２により検出される対象物の距離Ｄ２２が近くなる。最後に、対象物である手が右側に移動すると、右側に配置された受光素子Ｃｈ２３により検出される対象物の距離Ｄ２３が近くなる。各受光素子Ｃｈ２１、Ｃｈ２２及びＣｈ２３に近づいた手が遠ざかる順序も、Ｃｈ２１、Ｃｈ２２、Ｃｈ２３の順である。そのため、距離Ｄ２１、Ｄ２２及びＤ２３は、この順序で大きくなる（初期値に戻る）。上下方向のジェスチャも、同様の原理により、例えば長手方向に配置された受光素子Ｃｈ１２、Ｃｈ２２及びＣｈ３２を用いて検出することができる。このように、測距センサ１２６は、９つの受光素子それぞれから対象物までの距離と、時間経過に伴う距離の変化に基づいて、ジェスチャを検出することができる。

なお、ここでは、受光部１２６ｂが９つの受光素子を備えるとして説明したが、受光部１２６ｂが備える受光素子の数量はこれに限られない。複数の受光素子の配置も図３０に示す配置に限られない。受光部１２６ｂが備える受光素子の数量及びその配置は、検出するジェスチャの種類に応じて、適宜定められてよい。

また、測距センサ１２６の発光部１２６ａは、複数の発光素子を備えていてよい。この場合、各発光素子から発光される赤外レーザ光と、受光部１２６ｂが受光する反射光との位相差に基づき、９つの発光素子それぞれから対象物までの距離を測定できる。この場合においても、測距センサ１２６は、９つの発光素子それぞれから対象物までの距離と、時間経過に伴う距離の変化に基づいて、上述の原理を応用することにより、ジェスチャを検出することができる。

本開示内容の多くの側面は、プログラム命令を実行可能なコンピュータシステムその他のハードウェアにより実行される、一連の動作として示される。コンピュータシステムその他のハードウェアには、例えば、汎用コンピュータ、ＰＣ（パーソナルコンピュータ）、専用コンピュータ、ワークステーションが含まれる。また、コンピュータシステムその他のハードウェアには、ＰＣＳ（Personal Communications System、パーソナル移動通信システム）、移動（セルラー）電話機およびデータ処理機能を備えた移動電話機が含まれる。また、コンピュータシステムその他のハードウェアには、ＲＦＩＤ受信機、ゲーム機、電子ノートパッドおよびラップトップコンピュータ、が含まれる。また、コンピュータシステムその他のハードウェアには、ＧＰＳ（Global Positioning System）受信機およびその他のプログラム可能なデータ処理装置が含まれる。各実施形態では、種々の動作または制御方法は、例えばプログラム命令（ソフトウェア）で実装された専用回路（例えば、特定機能を実行するために相互接続された個別の論理ゲート）により実行されることに留意されたい。また、各実施形態では、種々の動作または制御方法は、例えば一以上のプロセッサにより実行される論理ブロックおよび／またはプログラムモジュール等により実行されることに留意されたい。論理ブロックおよび／またはプログラムモジュール等を実行する一以上のプロセッサには、例えば、一以上のマイクロプロセッサおよびＣＰＵ（中央演算処理ユニット）が含まれる。また、このようなプロセッサには、例えばＡＳＩＣ（Application Specific Integrated Circuit）およびＤＳＰ（Digital Signal Processor）が含まれる。また、このようなプロセッサには、例えばＰＬＤ（Programmable Logic Device）およびＦＰＧＡ（Field Programmable Gate Array）が含まれる。また、このようなプロセッサには、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子機器、ここに記載する機能を実行可能に設計されたその他の装置が含まれる。また、このようなプロセッサには、上記の具体例の組合せが含まれる。ここに示す実施形態は、例えば、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコードまたはこれらいずれかの組合せにより実装される。命令は、必要なタスクを実行するためのプログラムコードまたはコードセグメントであってよい。そして、命令は、機械読取り可能な非一時的記憶媒体その他の媒体に格納することができる。コードセグメントは、手順、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラスまたは命令、データ構造もしくはプログラムステートメントのいずれかの任意の組合せを示すものであってよい。コードセグメントは、他のコードセグメントまたはハードウェア回路と、情報、データ引数、変数または記憶内容の送信および／または受信を行い、これにより、コードセグメントが他のコードセグメントまたはハードウェア回路と接続される。

ここで用いられるストレージ１６は、さらに、ソリッドステートメモリ、磁気ディスクおよび光学ディスクの範疇で構成されるコンピュータ読取り可能な有形のキャリア（媒体）として構成することができる。かかる媒体には、ここに開示する技術をプロセッサに実行させるためのプログラムモジュール等のコンピュータ命令の適宜なセットまたはデータ構造が格納される。コンピュータ読取り可能な媒体には、一つ以上の配線を備えた電気的接続、磁気ディスク記憶媒体、磁気カセット、磁気テープ、その他の磁気記憶装置が含まれる。また、コンピュータ読取り可能な媒体には、光学記憶装置（例えば、ＣＤ（Compact Disk）、レーザーディスク（登録商標）が含まれる。また、コンピュータ読取り可能な媒体には、ＤＶＤ（登録商標）（Digital Versatile Disc）、フロッピー（登録商標）ディスクおよびブルーレイディスク（登録商標))が含まれる。また、コンピュータ読取り可能な媒体には、可搬型コンピュータディスク、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read-Only Memory）が含まれる。また、コンピュータ読取り可能な媒体には、ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）が含まれる。また、コンピュータ読取り可能な媒体には、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）が含まれる。また、コンピュータ読取り可能な媒体には、フラッシュメモリ等の書換え可能でプログラム可能なＲＯＭもしくは情報を格納可能な他の有形の記憶媒体または上記の具体例いずれかの組合せが含まれる。メモリは、プロセッサまたはプロセッシングユニットの内部および／または外部に設けることができる。ここで用いられるように、「メモリ」という語は、あらゆる種類の長期記憶用、短期記憶用、揮発性、不揮発性またはその他のメモリを意味する。つまり、「メモリ」は特定の種類および／または数に限定されない。また、記憶が格納される媒体の種類も限定されない。

１ 電子機器
１１ コントローラ
１２ タイマー
１３ カメラ
１４ ディスプレイ
１５ マイク
１６ ストレージ
１７ 通信ユニット
１８ 近接センサ
１９ ＵＶセンサ
２０ 照度センサ
２１ 加速度センサ
２２ 地磁気センサ
２３ 気圧センサ
２４ ジャイロセンサ
２５ スピーカー
２６ タッチセンサ
３０ アイコン
３１ サムネイル
１２６ 測距センサ
１２６ａ 発光部
１２６ｂ 受光部
１４１ 第１画面
１４２ 第２画面
１４３ 第３画面
１８０ 光源用赤外ＬＥＤ
１８１ レンズ
ＳＵ，ＳＲ，ＳＤ，ＳＬ フォトダイオード

Claims (7)

1. 自機器に触れずにジェスチャを検出するセンサと、
   タッチセンサと、
   第１画面および第２画面を表示するディスプレイと、
   前記センサが配置された位置に応じて、前記センサによって検出されるジェスチャおよび前記タッチセンサによって検出されるタッチを前記第１画面の操作および前記第２画面の操作にそれぞれ対応付けるコントローラと、を備え、
   前記コントローラは、
   前記第１画面が前記タッチによってアクティブウィンドウに設定された場合に、前記ジェスチャの１つを前記アクティブウィンドウの設定項目の一覧の表示に対応付ける、
   電子機器。
2. 前記コントローラは、
   前記ジェスチャを前記センサが配置された位置から前記第２画面よりも近い前記第１画面の操作に対応付けて、前記タッチを前記第２画面の操作に対応付ける、請求項１に記載の電子機器。
3. 前記コントローラは、
   前記ジェスチャを前記センサが配置された位置から前記第２画面よりも遠い前記第１画面の操作に対応付けて、前記タッチを前記第２画面の操作に対応付ける、請求項１に記載の電子機器。
4. 前記コントローラは、
   前記タッチを、更に画面間の操作および画面の消去の操作の少なくとも１つに対応付ける、請求項１から３のいずれか一項に記載の電子機器。
5. 前記コントローラは、
   前記第２画面で実行可能な前記タッチの１つである特定のタッチを前記第２画面の特定の操作に対応付けて、
   前記ジェスチャの１つを前記第１画面の前記特定の操作に対応付ける、請求項１から４のいずれか一項に記載の電子機器。
6. 自機器に触れずにジェスチャを検出するセンサと、タッチセンサと、第１画面および第２画面を表示するディスプレイと、を備える電子機器の制御方法であって、
   前記センサが配置された位置に応じて、前記センサによって検出されるジェスチャおよび前記タッチセンサによって検出されるタッチを前記第１画面の操作および前記第２画面の操作にそれぞれ対応付けるステップと、
   前記第１画面が前記タッチによってアクティブウィンドウに設定された場合に、前記ジェスチャの１つを前記アクティブウィンドウの設定項目の一覧の表示に対応付けるステップと、
   を含む制御方法。
7. 自機器に触れずにジェスチャを検出するセンサと、タッチセンサと、第１画面および第２画面を表示するディスプレイと、を備える電子機器に、
   前記センサが配置された位置に応じて、前記センサによって検出されるジェスチャおよび前記タッチセンサによって検出されるタッチを前記第１画面の操作および前記第２画面の操作にそれぞれ対応付けるステップと、
   前記第１画面が前記タッチによってアクティブウィンドウに設定された場合に、前記ジェスチャの１つを前記アクティブウィンドウの設定項目の一覧の表示に対応付けるステップと、
   を実行させるプログラム。
   

Images