JP6758922B2 - 電子機器及びその制御方法 - Google Patents

Description

本発明は、特に、操作面に対する接触強度を検知可能な電子機器、電子機器の制御方法、プログラム及び記憶媒体に用いて好適な技術に関する。

従来、多くの電子機器において、ユーザーによる操作の入力を受け付けるためにタッチパネルが使用されている。さらに、近年においては、指の接触強度を多段階で検知可能なタッチパネルがユーザーインターフェイスに活用されている。

特許文献１には、電子ペン等の入力手段に制限されることなく、基板の入力面への接触によって該基板の入力面に印加された圧力を算出できる圧力算出装置において、入力により得られる信号波形の極大値に基づいて印加圧力を決定する方法が開示されている。また、特許文献２には、押圧入力の初期の部分に応答して新しい状態のプレビュー表示を提供し、その後、前の状態に戻すか、入力の最後に新しい状態に入るかどうかを判定し、ユーザーの認知負担を軽減するユーザーインターフェイスが開示されている。

このように、タッチパネルの接触強度を検知可能な電子機器において、ユーザーが与えた任意のタッチ強度に応じて異なる処理を実行することができれば、様々なアプリケーションで活用することができる。

特開２０１３−１９６４４６号公報 特表２０１５−５１９６５５号公報

タッチパネルの接触強度を検知可能な電子機器においては、操作を容易にするために、タッチ強度を確定するプロセスは、１ストロークのタッチ操作（１回のタッチして押し込む操作）で実現され、他の操作との組み合わせが必要ないことが望ましい。一方、ユーザーのタッチ操作は様々な態様が存在し、ユーザーが１ストロークのタッチ操作中に接触強度の強弱を調整した後に、意図したタッチ強度（調整された接触強度）で確定する必要がある。

特許文献１に記載の方法は、タッチ操作で極大値となる圧力をユーザーが意図するタッチ強度とみなしてしまう。そのため、ユーザーが１ストロークのタッチ操作中に接触強度の強弱を調整した場合には、ユーザーが意図しない処理が選択されてしまう可能性がある。また、特許文献２に記載の方法は、タッチ強度は２段階の判定しかなされず、強いタッチ操作が行われた場合は、その時点で処理が確定してしまう。そのため、ユーザーが１ストロークのタッチ操作中に接触強度の強弱を調整した場合には、同様にユーザーが意図しない処理が選択されてしまう可能性がある。

本発明は前述の問題点に鑑み、タッチ強度に応じて異なる処理を実行可能な機器において、ユーザーがタッチ操作中に接触強度の強弱を調整した場合に、ユーザーが意図する処理を実行できるようにすることを目的としている。

本発明に係る電子機器は、操作面へのタッチ操作を検知するタッチ検知手段と、前記操作面に対する押圧力を検知する圧力検知手段と、前記タッチ検知手段によって前記操作面からタッチが離されたことが検知されると、該タッチが離されたことが検知された時点から少なくとも所定の時間もしくは前記圧力検知手段による検出周期の所定周期分遡った時点で前記圧力検知手段によって検知されていた押圧力に基づいた処理を行うように制御する制御手段とを有することを特徴とする。

本発明によれば、タッチ強度に応じて異なる処理を実行可能な機器において、ユーザーがタッチ操作中に接触強度の強弱を調整した場合に、ユーザーが意図する処理を実行することができる。

実施形態に係る電子機器の構成例を示すブロック図である。 第１の実施形態において、タッチ位置に基づいた映像効果を動画へ適用する処理手順の一例を示すフローチャートである。 第１の実施形態において、ディスプレイに表示される画面構成例を示す図である。 第１の実施形態において、ディスプレイに表示される画面構成の他の例を示す図である。 タッチ強度の暫定値及び確定値の算出方法の一例を説明するための図である。 タッチ強度の暫定値及び確定値の算出方法の他の一例を説明するための図である。 タッチ強度の暫定値及び確定値の算出方法のその他の一例を説明するための図である。 第２の実施形態において、タッチ強度に基づいた検索に係る制御の処理手順の一例を示すフローチャートである。 第２の実施形態において、ディスプレイに表示される画面構成例を示す図である。

以下、図面を参照して、本発明の実施形態を詳細に説明する。
（第１の実施形態）
第１の実施形態として、電子機器において動画コンテンツデータに映像効果を付与する操作に対して、本発明を適用した例を説明する。

図１は、本実施形態に係る電子機器１０１の構成例を示すブロック図である。なお、本発明は図１の構成に限定されるものではない。例えば、電子機器１０１内の複数のブロックが担う機能は、ひとつのＡＳＩＣで実現されていてもよい。あるいは、あるブロックの機能が他のブロックに内包されていてもよい。また、一部のブロックは物理的に独立したデバイスであってもよく、その場合はブロック間が有線または無線のインターフェイスによって接続される。

図１において、ＣＰＵ１０２は、後述のＲＯＭ１０４または記憶媒体１１３から読み出されたプログラムに基づいて電子機器１０１内の各ブロックを制御することにより、所定の処理を行う。また、ＣＰＵ１０２は、記憶媒体１１３から読み出したプログラムやデータをＲＡＭ１０３に転送した後、ＲＡＭ１０３から読み出して処理を行う。また、処理後のデータは、ＲＯＭ１０４上に格納された後、所定のブロックへ出力される。また、ＲＡＭ１０３の一部は、画面表示用のＶＲＡＭとして使用され、ＶＲＡＭを用いた画面描画処理がＣＰＵ１０２もしくはＧＰＵ１０５により行われる。

ＲＯＭ１０４には、電子機器１０１が動作するための基本的なプログラムやデータが記録されており、ＣＰＵ１０２から直接読み出される。構成によっては、ＣＰＵ１０２が利用するすべてのプログラムがＲＯＭ１０４に記録されていてもよい。

ＧＰＵ（Graphics Processing Unit）１０５は、ＣＰＵ１０２の指示に基づいてＲＡＭ１０３内のＶＲＡＭを用いて画面描画処理を行う。なお、ＧＰＵ１０５はビデオアクセラレーション機能を備えていてもよい。その場合、ＧＰＵ１０５は記憶媒体１１３から読み出された動画コンテンツデータを、ＣＰＵ１０２を介さずにデコードして、ＶＲＡＭへフレーム単位で順次展開することにより、動画の再生を行う。なお、ＧＰＵ１０５がビデオアクセラレーション機能を備えていない場合には、ＣＰＵ１０２がデコード処理を行う。

また、ＧＰＵ１０５は、記憶媒体１１３から読み出された動画コンテンツデータに対して、各種の映像効果を適用することが可能である。例えば、輝度調整、色調整、シャープネス調整、ぼかし効果、モザイク効果、ブラー効果、歪曲補正、手ぶれ補正などが適用できる。これらの映像効果を、ＧＰＵ１０５の代わりにＣＰＵ１０２が行ったり、ＣＰＵ１０２とＧＰＵ１０５で分担して処理を行ったりしてもよい。

入力コントローラ１０６は、後述のタッチパネル１１１から入力信号を読み出してノイズキャンセルなどの処理を行った後、ＣＰＵ１０２へ通知する。
ビデオコントローラ１０７は、ＲＡＭ１０３内のＶＲＡＭに格納されたデータを読み出して、映像信号としてディスプレイ１１２へ出力する。ビデオコントローラ１０７は、複数のデータが合成されたデータを出力することもできる。例えば、ビデオコントローラ１０７は、ＯＳＤ機能により映像データに文字や画像などのデータが重畳されたデータを出力することができる。

ストレージコントローラ１０８は、記憶媒体１１３と他のブロックとの間のデータの転送を司る。
システムタイマー１０９は、ＣＰＵ１０２に対して処理タイミングを割り込みによって通知する。このようにＣＰＵ１０２は、システムタイマー１０９からの割り込みによって所定の処理を決められたタイミングで行うことができる。
ネットワークインターフェイス１１０は、インターネットなどの外部のネットワークに接続し、定められたプロトコルを用いて相互のデータ送受信を行うことができる。

ディスプレイ１１２は、ビデオコントローラ１０７から出力された映像信号を入力し、その映像を表示するための表示部である。
また、電子機器１０１は、操作部の一つとして、ディスプレイ１１２に対する接触を検知可能なタッチパネル１１１を有する。タッチパネル１１１とディスプレイ１１２とは一体的に構成することができる。例えば、光の透過率がディスプレイ１１２の表示を妨げないようにタッチパネル１１１を構成し、ディスプレイ１１２の表示面の上層にタッチパネル１１１を取り付けるようにする。そして、タッチパネル１１１における入力座標と、ディスプレイ１１２上の表示座標とを対応付ける。これにより、恰もユーザーがディスプレイ１１２上に表示された画面を直接的に操作可能であるかのようなＧＵＩ（グラフィカルユーザーインターフェイス）を構成することができる。

ＣＰＵ１０２は、タッチパネル１１１への以下の操作（ディスプレイ１１２の操作面に対する以下の操作）、あるいは状態を検知できる。
・タッチパネル１１１にタッチしていなかった指やペンが新たにタッチパネル１１１にタッチしたこと。すなわち、タッチの開始（以下、タッチダウン（Touch-Down）と称する）。
・タッチパネル１１１を指やペンでタッチしている状態であること（以下、タッチオン（Touch-On）と称する）。
・タッチパネル１１１を指やペンでタッチしたまま移動していること（以下、タッチムーブ（Touch-Move）と称する）。
・タッチパネル１１１へタッチしていた指やペンを離したこと。すなわち、タッチの終了（以下、タッチアップ（Touch-Up）と称する）。
・タッチパネル１１１に何もタッチしていない状態（以下、タッチオフ（Touch-Off）と称する）。

タッチダウンが検知されると、同時にタッチオンであることも検知される。タッチダウンの後、タッチアップが検知されない限りは、通常はタッチオンが検知され続ける。タッチムーブが検知されるのもタッチオンが検知されている状態である。タッチオンが検知されていても、タッチ位置が移動していなければタッチムーブは検知されない。タッチしていた全ての指やペンがタッチアップしたことが検知された後は、タッチオフとなる。

これらの操作・状態や、タッチパネル１１１上に指やペンがタッチしている位置座標は、入力コントローラ１０６を通じてＣＰＵ１０２に通知される。そして、ＣＰＵ１０２は、通知された情報に基づいてタッチパネル１１１上にどのような操作が行われたかを判定する。タッチムーブについてはタッチパネル１１１上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル１１１上の垂直成分・水平成分毎に判定できる。

また、タッチパネル１１１上をタッチダウンから一定のタッチムーブを経てタッチアップをしたとき、ストロークを描いたこととする。素早くストロークを描く操作をフリックと呼ぶ。フリックは、タッチパネル１１１上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作であり、言い換えればタッチパネル１１１上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検知され、そのままタッチアップが検知されるとフリックが行われたと判定できる。また、所定距離以上を、所定速度未満でタッチムーブしたことが検知された場合はドラッグが行われたと判定するものとする。更に、複数箇所（例えば２点）を同時にタッチして、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインとを総称してピンチ操作（あるいは単にピンチ）と称する。

また、タッチパネル１１１は、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。方式によって、タッチパネルに対する接触があったことでタッチがあったと検知する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検知する方式ものがあるが、いずれの方式でもよい。

圧力検知部１１４は、ディスプレイ１１２の操作面に対する押圧力（タッチ強度）を検知する。圧力検知部１１４は、ディスプレイ１１２に対するタッチ操作によって押圧された場合の押圧力の強度を連続的に検知することができる。圧力検知部１１４としては、ディスプレイ１１２の操作面に対する押圧力によって歪む部分に、歪みゲージセンサを設置し、この歪みゲージセンサからの出力値によってディスプレイ１１２の操作面に対する押圧力を検知する構成とすることができる。あるいは、ディスプレイ１１２と平行に静電容量センサを備えるようにしてもよい。この静電容量センサにより、ディスプレイ１１２の操作面に対する押圧力によって操作面が歪んだことによる、操作面上の指と静電容量センサとの距離を静電容量値から算出する。そして、この距離に基づいて押圧力を算出してもよく、あるいは距離を押圧力と同等に扱うものとしても良い。また、圧力検知部１１４は、ディスプレイ１１２の操作面に対する押圧力を検知可能なものであれば、他の方式のものでも良い。さらに、圧力検知部１１４は、タッチパネル１１１と一体に構成されるものであっても良い。

記憶媒体１１３には、ＣＰＵ１０２が処理を行うためのプログラムや、ＣＰＵ１０２の処理対象となる動画コンテンツデータが格納されている。記憶媒体１１３は、電子機器１０１に内蔵されたフラッシュメモリーであってもよいし、外部のＨＤＤやメモリーカードや磁気ディスクや光ディスクを、図示しないインターフェイス装置やドライブ装置に装着して利用する形態であってもよい。あるいは、ネットワークで接続されたサーバー装置であってもよい。

図２は、本実施形態において、電子機器１０１がタッチ位置に基づいた映像効果を動画へ適用する処理手順の一例を示すフローチャートである。なお、図２に示すフローチャートの動作は、ＣＰＵ１０２がＲＯＭ１０４または記憶媒体１１３に記憶されたプログラムをＲＡＭ１０３に読み出して、電子機器１０１の各部を制御することによって実現される。また、図３は、ディスプレイ１１２に表示される画面構成例を示す図であり、図２と合わせて説明する。

まず、ユーザーにより、動画の再生中にタッチパネル１１１が操作されると処理を開始する。そして、Ｓ２０１において、ＣＰＵ１０２は、記憶媒体１１３から読み出された動画コンテンツデータの再生一時停止が指示されるまで待機する。そして、ＣＰＵ１０２が、動画コンテンツデータの再生一時停止が指示さたと判定した場合はＳ２０２へ進む。

次に、Ｓ２０２において、ＣＰＵ１０２は、動画コンテンツデータ内の選択された１つの動画フレームをデコードしてディスプレイ１１２へ表示し、再生一時停止状態とする。
そしてＳ２０３において、ＧＰＵ１０５は動画フレーム上に一時停止状態のＧＵＩを重畳して表示する。このときの画面構成を図３（Ａ）に示す。

図３（Ａ）において、被写体３０１ａ、３０２ａ、３０３ａはそれぞれ、動画に映っている被写体である。再生開始ボタン３０４、前スキップボタン３０５、後スキップボタン３０６、およびスライドバー３０７は、それぞれ動画フレーム上に重畳表示されたＧＵＩ要素である。各要素の表示位置に対応する箇所がタッチパネル１１１上でタッチされると、ＣＰＵ１０２はタッチ検知に応じて、それぞれの要素に対応した制御を行う。

次にＳ２０４において、ＣＰＵ１０２は、ユーザーにより再生開始ボタン３０４がタッチされたことを検知したか否かを判定する。ＣＰＵ１０２が、再生開始ボタン３０４がタッチされたことを検知したと判定した場合は処理を終了する。そして、ＣＰＵ１０２は動画の再生を再開する。

一方、ＣＰＵ１０２が、再生開始ボタン３０４がタッチされたことを検知していないと判定した場合は、処理はＳ２０５へ進む。そして、Ｓ２０５において、ＣＰＵ１０２は、ＧＵＩ要素以外の動画フレーム上がタッチダウンされたか否かを判定する。ＣＰＵ１０２がＧＵＩ要素以外の動画フレーム上がタッチダウンされたと判定した場合、処理はＳ２０６へ進み、ＣＰＵ１０２がＧＵＩ要素以外の動画フレーム上がタッチダウンされていないと判定した場合、処理はＳ２０４に戻る。

Ｓ２０６においては、ＧＰＵ１０５は、Ｓ２０３で重畳表示したＧＵＩを動画フレームから消去する。ここでＧＵＩを消去することによって、タッチオン中にプレビュー表示される映像効果をより視認しやすくすることができる。
続いてＳ２０７において、圧力検知部１１４は、Ｓ２０５でタッチダウンされた後のタッチ強度をタッチパネル１１１から検知する。
次に、Ｓ２０８において、ＣＰＵ１０２は、圧力検知部１１４によりＳ２０７で検知されたタッチ強度の情報をＲＡＭ１０３に一時記憶し、タッチ強度履歴を更新する。

次に、Ｓ２０９において、ＣＰＵ１０２は、ＲＡＭ１０３で更新されたタッチ強度履歴から、タッチ強度の暫定値を算出することができたか否かを判定する。なお、タッチ強度の暫定値の算出方法については後述する。ＣＰＵ１０２がタッチ強度の暫定値を算出することができたと判定した場合は、処理はＳ２１０へ進み、ＣＰＵ１０２がタッチ強度の暫定値を算出することができなかったと判定した場合は、処理はＳ２１１へ進む。

Ｓ２１０においては、ＧＰＵ１０５は、Ｓ２０９で算出した暫定値に基づいて、ディスプレイ１１２へプレビュー表示を行う。図３（Ｂ）および図３（Ｃ）はそれぞれ、被写体３０２ｂの顔部分をタッチオンしているときのプレビュー表示状態を示している。

図３（Ｂ）及び図３（Ｃ）に示す例では、タッチオン位置の周囲の領域に対して、暫定値の大きさに基づいてぼかし効果を適用している。図３（Ｂ）は、暫定値が比較的小さいときのプレビュー表示画面の例を示している。タッチオン位置の周辺に位置する被写体３０２ｂの胴体部分と、被写体３０１ｂ、被写体３０３ｂには、それぞれ弱くぼかし効果がかかっているが、被写体３０２ｂの顔部分はシャープに表示されている。一方、図３（Ｃ）は、暫定値が比較的大きいときのプレビュー表示画面の例を示している。タッチオン位置の周辺に位置する被写体３０２ｃの胴体部分と、被写体３０１ｃ、被写体３０３ｃには、それぞれ図３（Ｂ）に示す例よりも強くぼかし効果がかかっているが、被写体３０２ｃの顔部分はシャープに表示されている。なお、この状態において、被写体３０２ｂまたは被写体３０２ｃから他の被写体、例えば被写体３０３ｂまたは被写体３０３ｃへドラッグ操作を行えば、シャープに表示する被写体を被写体３０３ｂまたは被写体３０３ｃに変更することも可能である。

Ｓ２１１においては、ＣＰＵ１０２は、Ｓ２０５でタッチダウンを検知した後でタッチアップを検知したか否かを判定する。ＣＰＵ１０２がタッチアップを検知したと判定した場合、処理はＳ２１２へ進み、ＣＰＵ１０２がタッチアップを検知していないと判定した場合、処理はＳ２０７に戻り、周期的にタッチ強度を検知することになる。

Ｓ２１２においては、ＣＰＵ１０２は、Ｓ２０９の処理と同様の方法によって、タッチ強度の確定値を算出することができたか否かを判定する。ＣＰＵ１０２が、タッチ強度の確定値を算出することができたと判定した場合、処理はＳ２１３へ進む。なお、後述するタッチ強度の確定値の算出方法によっては、必ず処理がＳ２１３に進む場合がある。

Ｓ２１３においては、ＧＰＵ１０５は、Ｓ２１２で算出した確定値に基づいて、ディスプレイ１１２へプレビュー表示を行う。このとき、ＧＰＵ１０５は、処理を確認するための確認画面としてダイアログを重畳してプレビュー表示する。この時の画面構成例を図３（Ｄ）に示す。

図３（Ｄ）において、被写体３０１ｄ、被写体３０２ｄ、被写体３０３ｄはそれぞれ、Ｓ２１２で算出した確定値に基づいたプレビュー表示内の被写体である。確認ダイアログ３０８は、プレビュー表示しているぼかし効果を確定するか否かを問い合わせるためのダイアログであり、確認ダイアログ３０８内のボタンによってタッチ操作を受けつけ可能である。また、このときに、確認ダイアログ３０８以外の画面領域をタッチダウンすることにより、確認ダイアログ３０８を一時的に消去し、確認ダイアログ３０８に隠れた部分の映像効果を確認できるようにしてもよい。また、確認ダイアログ３０８以外の画面領域を再びタッチダウンすることによってＳ２０７からの処理を再び行うようにしてもよい。このようなプレビュー表示を行うことによって、確定値に基づいたぼかし効果を本当に適用してもよいかを落ち着いて確認することができる。

次に、Ｓ２１４において、ＣＰＵ１０２は、確認ダイアログ３０８において効果を適用する操作（実行指示）がされたか否かを判定する。具体的には、ＣＰＵ１０２は、確認ダイアログ３０８内の効果適用のアイコンでタッチダウンおよびタッチアップを検知したか否かを判定する。ＣＰＵ１０２が、確認ダイアログ３０８において効果を適用する操作がされたと判定した場合、処理はＳ２１５へ進む。

Ｓ２１５においては、ＧＰＵ１０５は、Ｓ２１３でプレビュー表示した映像効果を動画コンテンツデータ本体に適用する。このとき、Ｓ２１３のプレビュー表示と同等の映像効果を動画コンテンツデータ全体に適用してもよいし、指定した一定期間のみ適用されるようにしてもよい。また、Ｓ２１３でシャープに表示されていた被写体３０２ｄを前後のフレームで追尾することにより、被写体３０２ｄが動いてもシャープに表示され続けるようにしてもよい。そして、処理が完了すると、Ｓ２０３へ戻る。

一方、Ｓ２１４の判定で、ＣＰＵ１０２が、確認ダイアログ３０８において効果を適用しない操作がされたと判定した場合、処理はＳ２１６へ進む。そして、Ｓ２１６において、ＣＰＵ１０２は、Ｓ２１２で算出した確定値を破棄する。そして、処理はＳ２０３へ戻る。

一方、Ｓ２１２の判定で、ＣＰＵ１０２が、タッチ強度の確定値を算出することができなかったと判定した場合、処理はＳ２１７へ進む。そして、Ｓ２１７において、ＧＰＵ１０５は、タッチ強度の確定値の算出に失敗したことを示すエラー表示をディスプレイ１１２に一定時間表示する。このときの表示状態例を図３（Ｅ）に示す。図３（Ｅ）に示すように、被写体３０１ａ、被写体３０２ａ、被写体３０３ａはそれぞれ、効果適用前の図３（Ａ）に示す状態に相当する状態になっている。エラーダイアログ３０９は、タッチ強度の確定値の算出に失敗したことを示すダイアログである。

なお、図２に示した処理は、ぼかし以外の映像効果にも同じように適用可能である。図４は、タッチオンした被写体にモザイク効果を適用するときに、ディスプレイ１１２に表示される画面構成例を示す図である。なお、図３と同じ表示要素には同一の番号を付与している。

図４（Ａ）は、図３（Ａ）に相当する状態の画面構成例を示しており、被写体４０１ａ、被写体４０２ａ、被写体４０３ａはそれぞれ、動画に映っている被写体である。
図４（Ｂ）は、図３（Ｂ）に相当する状態の画面構成例を示しており、タッチオンされている被写体４０２ｂの顔部分に比較的小さなブロックのモザイク効果が適用されている。被写体４０１ｂおよび被写体４０３ｂは被写体４０２ｂから離れているため、モザイク効果は適用されていない。

図４（Ｃ）は、図３（Ｃ）に相当する状態の画面構成例を示しており、タッチオンされている被写体４０２ｃの顔部分に比較的大きなブロックのモザイク効果が適用されている。被写体４０１ｃおよび被写体４０３ｃは被写体４０２ｃから離れているため、モザイク効果は適用されていない。
図４（Ｄ）は、図３（Ｄ）に相当する状態の画面構成例を示しており、確定値に基づいたモザイク効果が適用され、確認ダイアログ３０８が表示されている。

図５〜図７は、それぞれ図２のＳ２０９およびＳ２１２において、暫定値および確定値を算出する方法を説明するための図である。算出方法には３種類の方法が考えられ、各図がそれぞれの方法に対応している。いずれの図も、横軸に時間の経過、縦軸に圧力検知部１１４が検知するタッチ強度を示しており、Ｓ２０５のタッチダウン検知からＳ２１１のタッチアップ検知までのタッチ強度の経過をそれぞれ４パターン示している。タッチオンおよびタッチアップの瞬間は、いずれの図においてもタッチ強度が０となっている。時間の計測は、システムタイマー１０９を用いて行われる。

図５は、タッチアップ発生時点から規定時間（もしくは規定検知回数／規定検出周期分）だけ遡った時点のタッチ強度を確定値とする方法を説明するための図である。
図５（Ａ）は、タッチ強度の曲線が、タッチ強度の最大地点からゆるやかにタッチアップへ向かう場合の例を示している。この場合、規定時間を適切に設定することによって、タッチアップへ向かう以前の安定したタッチ強度を確定値とする。
図５（Ｂ）は、一度強くタッチした後で弱めに調整し直し、それからタッチアップした場合の例を示している。この場合は、意図する弱めの値を確定値とする。
図５（Ｃ）は、タッチアップ直前に手ぶれや装置の振動などの影響でタッチ強度が強くなってしまった場合の例を示している。この場合は、それ以前の安定した値を確定値とする。
図５（Ｄ）は、タッチオンの期間が規定時間よりも短い場合の例を示している。この場合は、規定時間遡った時点のタッチ強度が検知されていないため、確定値を算出することができない。

このように図５に示す方法を採用した場合、ユーザーが１ストロークのタッチ操作中に強度を強くしすぎた場合も、その後に弱く調整してからタッチアップすれば、ユーザーの意図する弱い値を確定値とすることができる。特に、図５（Ｃ）に示す例のように、タッチアップ直前に外乱によって誤って短時間強くなってしまった場合、その強いタッチ強度を考慮せずに、ユーザーの意図する値を確定値とすることができる。また、図５（Ｄ）に示す例のように、誤って短時間にタッチダウンとタッチアップとを行った場合にも、エラー表示を行って映像効果を付与しないようにすることができる。

図６は、タッチアップ発生時点から規定時間（もしくは規定検知回数／規定検出周期分）だけ遡った時点とタッチアップ発生時点との間でのタッチ強度の最大値を確定値とする方法を説明するための図である。この場合、図６（Ａ）および図６（Ｂ）に示す例は、タッチアップ発生時点から規定時間（もしくは規定検知回数／規定検出周期分）だけ遡った時点で最大値となるため、それぞれ図５（Ａ）及び図５（Ｂ）の場合と同じ確定値が得られる。
一方、図６（Ｃ）に示す例の場合は、タッチアップ直前の強いタッチを意図的なタッチ操作と見なして、規定時間内の最大値を確定値とする。
また、図６（Ｄ）に示す例のように、タッチオンしている期間が規定時間よりも短い場合であっても、確定値算出エラーとせずに、タッチオン期間内の最大値を確定値とする。このように、微妙な調整と瞬間的な動作との両方が求められるような場面では、図５に示す方法よりも適している。

このように図６に示す方法を採用した場合、ユーザーが１ストロークのタッチ操作中に強度を強くしすぎた場合も、その後に弱く調整してからタッチアップすれば、ユーザーの意図する弱い値を確定値とすることができる。特に、図６（Ｃ）に示す例のように、タッチアップ直前に意図的に短時間強く押した場合に、その強いタッチ強度を考慮して確定値を算出することができる。また、図６（Ｄ）に示す例のように、タップ操作のように短時間にタッチダウンとタッチアップとを行った場合にも、ユーザーの意図する値を確定値とすることができる。

図７は、タッチアップ発生時点から直近の安定期間内のタッチ強度に基づいて確定値を決定する方法を説明するための図である。この方法では、ＣＰＵ１０２は、タッチ強度の変化量または変動の傾き（勾配）が閾値以下であり、且つタッチ強度を規定時間以上検知（もしくは規定回数以上検知／規定検出周期分以上検知）した安定期間を探索し、その安定期間におけるタッチ強度の平均値を確定値とする。この方法によれば、様々な外部環境化で使用されるモバイル機器などで、規定時間が一意に決定しづらい場合にも、ユーザーの意図を安定して反映させることができる。

図７（Ａ）および図７（Ｂ）に示す例おいては、タッチ強度が急激に小さくなる直前に安定期間が存在する場合の例であり、この場合は、結果的に図５及び図６に示した方法によって算出される確定値に近い確定値が算出されている。
図７（Ｃ）に示す例においては、タッチアップ直前にタッチ強度が不安定である期間が存在するため、その期間以前の安定した期間からタッチ強度の確定値を算出する。
また、図７（Ｄ）に示す例のように安定期間が存在しない場合は、エラーとしてもよく、タッチオン期間のタッチ強度の最大値を確定値とし、エラーを回避するようにしてもよい。

このように図７に示す方法を採用した場合、ユーザーが１ストロークのタッチ操作中に強度を強くしすぎた場合も、その後に弱く調整してからタッチアップすれば、ユーザーの意図する弱い値を確定値とすることができる。特に、タッチアップ直前に意図的に短時間強く押した場合であっても、最も安定したタッチ強度を考慮して確定値を算出することができる。

なお、いずれの方法においても、暫定値の算出方法は確定値の算出方法と基本的には同様である。すなわち、暫定値の算出を行うその瞬間にタッチアップが発生したと見なし、同様の方法で算出した確定値を暫定値とすればよい。このようにすることよって、その時点で直ちにタッチアップが発生したら確定値がどのような値になるかが、暫定値として表され、タッチアップ移行中の中途半端なタッチ強度が暫定値として見えてしまうことも回避できる。逆に、暫定値の算出方法は確定値の算出方法と異なり、規定時間遡らずにその時点（現時点）で検知されている圧力とするようにしてもよい。このようにすることよって、その時点で直ちにタッチアップが発生した場合に確定値がどのような値になるかが、暫定値として応答性良く表すことができる。

以上のように本実施形態によれば、ユーザーはタッチムーブせずに１点でタッチ強度を調整するだけの簡易な手順によって映像効果の強弱を調整することができる。例えば、タッチ位置およびタッチ強度によって、映像効果の注目地点と映像効果の強さとの両方を、１ストロークの操作で直感的に調整することができる。また、ボタン操作やスライドバーなどによる強度値の調整と比べると、ＧＵＩ画面の占有面積を小さくできるため、ダイアログを重畳表示した場合にも映像の視認性を損なわずに映像効果の調整を行うことができる。

また、本実施形態の場合、タッチ強度の暫定値に基づいてディスプレイ１１２に映像効果を付与した映像を予告（プレビュー表示）するようにした。これにより、ユーザーは、ぼかし効果やモザイク効果などの映像効果を確認しながら、所望のタッチ強度を決定することができる。

（第２の実施形態）
以下、第２の実施形態として、ネットワーク端末である電子機器においてＷｅｂブラウザを利用して検索結果を閲覧する操作に対して、本発明を適用した例を説明する。なお、本実施形態に係る電子機器の内部構成は、第１の実施形態と同様であるため、説明は省略する。

本実施形態では、ＣＰＵ１０２は、ＷｅｂブラウザプログラムをＲＯＭ１０４から読み出して実行し、ネットワークインターフェイス１１０から取得したＷｅｂページをディスプレイ１１２に表示することができる。Ｗｅｂブラウザプログラムと連携するソフトウェアキーボードとしてユーザーがタッチパネル１１１を操作すると、ＣＰＵ１０２はその操作内容を取得し、外部の検索エンジンサイトにキーワードを送信してＷｅｂページ検索を行うことができる。

図８は、本実施形態に係る電子機器１０１において、タッチ強度に基づいた検索に係る制御の処理手順の一例を示すフローチャートである。このフローチャートの動作は、ＣＰＵ１０２がＲＯＭ１０４または記憶媒体１１３に記憶されたプログラムをＲＡＭ１０３に読み出して、電子機器１０１の各部を制御することによって実現される。なお、本フロー以前の処理によってＷｅｂブラウザプログラムが起動しており、検索キーワードが入力済みであることとする。また、図９は、図８に示す処理によってディスプレイ１１２に表示されるＷｅｂブラウザ内のページ構成例を示す図であり、図８と合わせて説明する。

まず、ユーザーによって、検索キーワードがタッチパネル１１１を介して入力され、検索が実行されると処理を開始する。そして、Ｓ８０１において、ＣＰＵ１０２は、変数ｐを１に初期化する。
次に、Ｓ８０２において、ＣＰＵ１０２は、ネットワークインターフェイス１１０を介して外部の検索エンジンサイトに検索結果ページｐをリクエストする。

そして、Ｓ８０３において、ＣＰＵ１０２は、Ｓ８０２のリクエストの応答としてネットワークインターフェイス１１０を介して検索結果ページｐを取得するまで待機する。ＣＰＵ１０２が検索結果ページｐを取得すると、次にＳ８０４において、ＣＰＵ１０２は、Ｓ８０３で取得した検索結果ページｐをディスプレイ１１２に表示する。このときの表示例を図９（Ａ）に示す。

図９（Ａ）において、検索キーワードの入力フォーム９０１には、現在の検索結果に対する検索キーワードが表示されており、異なる検索キーワードが入力され、検索ボタン９０２が押下されると、再検索を行うことができる。項目９０３〜９０５はそれぞれ、検索結果の内容を示す記述である。検索結果は、４項目以上を同時に表示する構成であっても構わない。「前へ」ボタン９０６は、現在表示している検索結果の前のページに対応するボタンである。番号ボタン群９０７は、現在表示しているページの前後数ページのページ番号を示すボタン群である。「次へ」ボタン９０８は、現在表示している検索結果の後のページに対応するボタンである。

次に、Ｓ８０５において、ＣＰＵ１０２は、検索結果である項目９０３〜９０５のいずれかの位置でタッチダウンおよびタッチアップを検知したか否かを判定する。ＣＰＵ１０２が検索結果である項目９０３〜９０５のいずれかの位置でタッチダウンおよびタッチアップを検知したと判定した場合、処理はＳ８０６へ進む。
Ｓ８０６においては、ＣＰＵ１０２は、Ｓ８０５でタッチされた検索結果に対応するページを外部ネットワークへリクエストする。そして、ＣＰＵ１０２が該当するページを取得すると、ＣＰＵ１０２は、そのページをディスプレイ１１２に表示し、処理を終了する。

一方、Ｓ８０５の判定で、ＣＰＵ１０２が検索結果である項目９０３〜９０５のいずれの位置でもタッチダウンおよびタッチアップを検知していないと判定した場合、処理はＳ８０７へ進む。そして、Ｓ８０７において、ＣＰＵ１０２は、番号ボタン群９０７に含まれる何れかの番号ボタンの位置でタッチダウンおよびタッチアップを検知したか否かを判定する。ＣＰＵ１０２が番号ボタン群９０７に含まれる何れかの番号ボタンの位置でタッチダウンおよびタッチアップを検知したと判定した場合、処理はＳ８０８へ進む。
Ｓ８０８においては、ＣＰＵ１０２は、該当する番号ボタンの番号ｍを変数ｐに代入する。その後、処理はＳ８０２に戻る。

一方、Ｓ８０７の判定で、ＣＰＵ１０２が番号ボタン群９０７に含まれる何れの番号ボタンの位置でもタッチダウンおよびタッチアップを検知していないと判定した場合、処理はＳ８０９へ進む。そして、Ｓ８０９において、ＣＰＵ１０２は、「前へ」ボタン９０６もしくは「次へ」ボタン９０８の位置でタッチダウンを検知したか否かを判定する。ＣＰＵ１０２が「前へ」ボタン９０６の位置でも「次へ」ボタン９０８の位置でもタッチダウンを検知していないと判定した場合、処理はＳ８０５へ戻る。

一方、Ｓ８０９の判定で、ＣＰＵ１０２が「前へ」ボタン９０６もしくは「次へ」ボタン９０８の位置でタッチダウンを検知したと判定した場合、処理はＳ８１０に進む。そして、Ｓ８１０において、圧力検知部１１４は、タッチダウンされた後のタッチ強度をタッチパネル１１１から検知する。
そして、Ｓ８１１において、ＣＰＵ１０２は、圧力検知部１１４によりＳ８１０で検知されたタッチ強度の情報をＲＡＭ１０３に一時記憶し、タッチ強度履歴を更新する。

次に、Ｓ８１２において、ＣＰＵ１０２は、Ｓ８１１で更新したタッチ強度履歴から、タッチ強度の暫定値ｎ₁を算出することができたか否かを判定する。なお、暫定値の算出方法については第１の実施形態と同様である。ＣＰＵ１０２がタッチ強度の暫定値ｎ₁を算出することができたと判定した場合、処理はＳ８１３へ進み、ＣＰＵ１０２がタッチ強度の暫定値ｎ₁を算出することができなかったと判定した場合、処理はＳ８１４へ進む。

Ｓ８１３においては、ＧＰＵ１０５は、Ｓ８１２で算出した暫定値ｎ₁に基づいてディスプレイ１１２にプレビュー表示を行う。図９（Ｂ）は、Ｓ８０９で「次へ」ボタン９０８がタッチダウンされた場合に、Ｓ８１３で表示される画面の例を示す図である。図９（Ｂ）において、ポップアップ９０９ａは、Ｓ８１２で得られた暫定値ｎ₁に基づいて移動するページ数を示す表示であり、Ｓ８１０からＳ８１４までの処理の繰り返しによって、表示内容が変化する。

本実施形態では、圧力検知部１１４が検知したタッチ強度に応じて、進むまたは戻るページ数を決定する。例えば、タッチ強度の数段階の閾値によって区間が設けられており、暫定値がどの区間に属するかによってジャンプするページ数が決定される。

次に、Ｓ８１４において、ＣＰＵ１０２は、Ｓ８１０でタッチダウンを検知した後でタッチアップを検知したか否かを判定する。ＣＰＵ１０２がタッチアップを検知したと判定した場合、処理はＳ８１５へ進み、ＣＰＵ１０２がタッチアップを検知していないと判定した場合、処理はＳ８１０へ戻る。

Ｓ８１５においては、ＣＰＵ１０２は、第１の実施形態と同様の方法によって、タッチ強度の確定値ｎ₂を算出することができたか否かを判定する。ＣＰＵ１０２がタッチ強度の確定値ｎ₂を算出することができたと判定した場合、処理はＳ８１６へ進み、ＣＰＵ１０２がタッチ強度の確定値ｎ₂を算出することができなかったと判定した場合、処理はＳ８０５へ戻る。

Ｓ８１６においては、ＧＰＵ１０５は、Ｓ８１５で算出した確定値ｎ₂に基づいてディスプレイ１１２にプレビュー表示を行う。このときの表示例を図９（Ｃ）に示す。図９（Ｃ）において、ポップアップ９０９ｂは、Ｓ８１５で得られた確定値ｎ₂に基づいて移動するページ数の表示である。なお、暫定値の状態との区別がつくように、図９（Ｂ）に示すポップアップ９０９ａと比べて、表示形態（色や形状、大きさなど）を変化させている。

次に、Ｓ８１７において、ＣＰＵ１０２は、確定値ｎ₂によって決定される移動先のページ数ｎ'を変数ｐに代入する。そして、処理はＳ８０２に戻る。

以上のように実施形態によれば、ユーザーはタッチムーブせずに１点でタッチ強度を調整するだけの簡易な手順によって、表示するページを所望のページへジャンプさせることができる。特に、番号ボタン群９０７のページ範囲を超えたページにもダイレクトにジャンプして表示させることができる。また、番号ボタン群９０７やスライドバーなどによってジャンプ先のページ番号を変更する場合と比べると、ＧＵＩ画面の占有面積を小さくできる。そのため、これらの表示要素を省略することにより、メインコンテンツである検索結果を、ディスプレイ１１２により多く（あるいはより大きく）一覧できるようにすることができる。

なお、ＣＰＵ１０２が行うものとして説明した上述の各種制御は１つのハードウェアが行ってもよいし、複数のハードウェア（例えば、複数のプロセッサーや回路）が処理を分担することで、装置全体の制御を行ってもよい。
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

また、上述した実施形態においては、本発明を電子機器に適用した場合を例にして説明したが、これはこの例に限定されずタッチ入力が可能で、かつタッチ強度を検知可能な表示制御装置であれば適用可能である。すなわち、本発明はパーソナルコンピュータやＰＤＡ、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなどに適用可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０２ ＣＰＵ
１１４ 圧力検知部

Claims (15)

1. 操作面へのタッチ操作を検知するタッチ検知手段と、
   前記操作面に対する押圧力を検知する圧力検知手段と、
   前記タッチ検知手段によって前記操作面からタッチが離されたことが検知されると、該タッチが離されたことが検知された時点から少なくとも所定の時間もしくは前記圧力検知手段による検出周期の所定周期分遡った時点で前記圧力検知手段によって検知されていた押圧力に基づいた処理を行うように制御する制御手段と
   を有することを特徴とする電子機器。
2. 前記圧力検知手段によって検知された押圧力の情報を記憶する記憶手段をさらに有し、
   前記制御手段は、前記タッチ検知手段によってタッチが離されたことが検知された時点から少なくとも所定の時間もしくは前記圧力検知手段による検出周期の所定周期分遡った時点で前記圧力検知手段によって検知されていた押圧力の情報を前記記憶手段から取得して該押圧力に基づいた処理を行うように制御することを特徴とする請求項１に記載の電子機器。
3. 前記タッチ検知手段でタッチが検知されており、かつ、前記圧力検知手段によって押圧力が検知されている際に、現時点から少なくとも所定の時間もしくは前記圧力検知手段による検出周期の所定周期分遡った時点で前記圧力検知手段によって検知されていた押圧力に基づいて行われる処理を示す表示を表示部に表示するように制御する表示制御手段を更に有することを特徴とする請求項１又は２に記載の電子機器。
4. 前記タッチ検知手段でタッチが検知されており、かつ、前記圧力検知手段によって押圧力が検知されている際に、現時点で前記圧力検知手段によって検知されていた押圧力に基づいて行われる処理を示す表示を表示部に表示するように制御する表示制御手段を更に有することを特徴とする請求項１又は２に記載の電子機器。
5. 前記タッチ検知手段で前記操作面からタッチが離されたことが検知されると、該タッチが離されたことが検知された時点から少なくとも所定の時間もしくは前記圧力検知手段による検出周期の所定周期分遡った時点で前記圧力検知手段によって検知されていた押圧力に基づいた処理の確認画面が表示部に表示され、前記制御手段は、前記確認画面が表示された後にユーザーからの実行指示があったことに応じて前記処理を行うように制御することを特徴とする請求項１乃至４の何れか１項に記載の電子機器。
6. 前記タッチ検知手段によってタッチが離されたことが検知された時点から少なくとも所定の時間もしくは前記圧力検知手段による検出周期の所定周期分遡った時点で前記圧力検知手段によって押圧力が検知されていない場合に、表示部にエラー表示を行うことを特徴とする請求項１乃至５の何れか１項に記載の電子機器。
7. 操作面へのタッチ操作を検知するタッチ検知手段と、
   前記操作面に対する押圧力を検知する圧力検知手段と、
   前記タッチ検知手段によって前記操作面からタッチが離されたことが検知されると、該タッチが離されたことが検知された時点から少なくとも所定の時間もしくは前記圧力検知手段による検出周期の所定周期分遡った時点までの間に前記圧力検知手段によって検知されていた押圧力の最大値に基づいた処理を行うように制御する制御手段と
   を有することを特徴とする電子機器。
8. 前記圧力検知手段によって検知された押圧力の情報を記憶する記憶手段をさらに有し、
   前記制御手段は、前記タッチ検知手段によってタッチが離されたことが検知された時点
   から少なくとも所定の時間もしくは前記圧力検知手段による検出周期の所定周期分遡った時点までの間に前記圧力検知手段によって周期的に検知されていた押圧力の最大値の情報を前記記憶手段から取得して該押圧力の最大値に基づいた処理を行うように制御することを特徴とする請求項７に記載の電子機器。
9. 前記タッチ検知手段でタッチが検知されており、かつ、前記圧力検知手段によって押圧力が検知されている際に、現時点から少なくとも所定の時間もしくは前記圧力検知手段による検出周期の所定周期分遡った時点までの間に前記圧力検知手段によって周期的に検知されていた押圧力の最大値に基づいて行われる処理を示す表示を表示部に表示するように制御する表示制御手段を更に有することを特徴とする請求項７又は８に記載の電子機器。
10. 前記タッチ検知手段でタッチが検知されており、かつ、前記圧力検知手段によって押圧力が検知されている際に、現時点で前記圧力検知手段によって検知されていた押圧力に基づいて行われる処理を示す表示を表示部に表示するように制御する表示制御手段を更に有することを特徴とする請求項７又は８に記載の電子機器。
11. 前記タッチ検知手段で前記操作面からタッチが離されたことが検知されると、該タッチが離されたことが検知された時点から少なくとも所定の時間もしくは前記圧力検知手段による検出周期の所定周期分遡った時点までの間に前記圧力検知手段によって検知されていた押圧力の最大値に基づいた処理の確認画面が表示部に表示され、前記制御手段は、前記確認画面が表示された後にユーザーからの実行指示があったことに応じて前記処理を行うように制御することを特徴とする請求項７乃至１０の何れか１項に記載の電子機器。
12. 操作面へのタッチ操作を検知するタッチ検知工程と、
    前記操作面に対する押圧力を検知する圧力検知工程と、
    前記タッチ検知工程において前記操作面からタッチが離されたことが検知されると、該タッチが離されたことが検知された時点から少なくとも所定の時間もしくは前記圧力検知工程による検出周期の所定周期分遡った時点で前記圧力検知工程において検知されていた押圧力に基づいた処理を行うように制御する制御工程と
    を有することを特徴とする電子機器の制御方法。
13. 操作面へのタッチ操作を検知するタッチ検知工程と、
    前記操作面に対する押圧力を検知する圧力検知工程と、
    前記タッチ検知工程において前記操作面からタッチが離されたことが検知されると、該タッチが離されたことが検知された時点から少なくとも所定の時間もしくは前記圧力検知工程による検出周期の所定周期分遡った時点までの間に前記圧力検知工程において検知されていた押圧力の最大値に基づいた処理を行うように制御する制御工程と
    を有することを特徴とする電子機器の制御方法。
14. コンピュータを、請求項１乃至１１の何れか１項に記載の電子機器の各手段として機能させるためのプログラム。
15. コンピュータを、請求項１乃至１１の何れか１項に記載の電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。