JPWO2013191028A1 - 検知装置、検知方法、及びプログラム - Google Patents

検知装置、検知方法、及びプログラム Download PDF

Info

Publication number
JPWO2013191028A1
JPWO2013191028A1 JP2014521333A JP2014521333A JPWO2013191028A1 JP WO2013191028 A1 JPWO2013191028 A1 JP WO2013191028A1 JP 2014521333 A JP2014521333 A JP 2014521333A JP 2014521333 A JP2014521333 A JP 2014521333A JP WO2013191028 A1 JPWO2013191028 A1 JP WO2013191028A1
Authority
JP
Japan
Prior art keywords
user
user operation
target
area
start position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014521333A
Other languages
English (en)
Inventor
山野 郁男
郁男 山野
宏之 水沼
宏之 水沼
英祐 野村
英祐 野村
顕博 小森
顕博 小森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2013191028A1 publication Critical patent/JPWO2013191028A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • G06F3/04855Interaction with scrollbars
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224Touch pad or touch panel provided on the remote control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position

Abstract

本開示は、接触や押圧を伴うユーザ操作の操作性を向上させることができるようにする検知装置、検知方法、及びプログラムに関する。処理部は、ユーザ操作の対象とされるとともに、ユーザ操作に応じて検知される、ユーザ操作の操作内容又は操作対象の少なくとも一方が異なるユーザ操作領域を重複して配置した操作面に対する接触が開始されたときの操作面上の位置を表す開始位置を取得し、IR送信部は、開始位置に基づいて、重複して配置された複数のユーザ操作領域のうち、ユーザ操作の対象とされたユーザ操作領域に対応付けられた動作を決定する。なお、操作面は、コンテンツを表示する表示画面とは異なる箇所に設けられている。本開示は、例えば、テレビジョン受像機を制御するためのリモートコントローラ等に適用できる。

Description

本開示は、検知装置、検知方法、及びプログラムに関し、特に、例えば、接触や押圧を伴うユーザ操作の操作性を向上させるようにした検知装置、検知方法、及びプログラムに関する。
従来、例えば、テレビジョン受像機のリモートコントローラでは、チャンネルボタンやボリュームボタン等の押下を検知したことに対応して、テレビジョン受像機のチャンネルやボリューム(音量)を制御するようにしている。
ところが、近年、放送番組の他、Webブラウザ等を表示可能なテレビジョン受像機の登場により、操作面に対するユーザの指等による接触や押圧を伴うユーザ操作を検知可能なリモートコントローラが登場してきている。
なお、このリモートコントローラは、同一の操作面に対する異なるユーザ操作に応じて、異なるコマンドを出力することができる(例えば、特許文献1参照)。
すなわち、例えば、操作面には、テレビジョン受像に表示されたWebブラウザ上のポインタを移動させる際に操作されるポインタ操作領域や、テレビジョン受像機の音量を変更させる際に操作されるボリュームボタン領域が重複して配置されている。
このため、例えば、ユーザは、操作面内のポインタ操作領域上で、ユーザの指等を接触させた状態で移動させる接触移動操作を行うことにより、ポインタを移動させることができる。
また例えば、ユーザは、操作面内のポインタ操作領域を押圧する押圧操作を行うことにより、ポインタにより指示されたURL(Uniform Resource Locator)等のリンク先を選択する決定を行うことができる。これにより、ユーザは、Webブラウザの表示を、選択したリンク先の表示に変更することができる。
さらに例えば、ユーザは、操作面内のボリュームボタン領域を押圧する押圧操作を行うことにより、テレビジョン受像機の音量を変更させることができる。
特開2009−151691号公報
ところで、操作面には、上述したように、ポインタ操作領域とボリュームボタン領域が重複して配置されている。
したがって、例えば、ユーザが、ポインタ操作領域とボリュームボタン領域が重複して配置された重複領域上で押圧操作を行った場合、ユーザの意図に反して、テレビジョン受像機の音量が変更されてしまうことが生じ得る。
すなわち、例えば、ユーザが、ポインタにより指示されたURL等のリンク先を選択する決定を意図して、重複領域を押圧する押圧操作を行ったにも拘らず、テレビジョン受像機の音量が変更されてしまうことがあり、操作面に対するユーザ操作の操作性が良くないものとなっていた。
本開示は、このような状況に鑑みてなされたものであり、接触や押圧を伴うユーザ操作の操作性を向上させるようにするものである。
本開示の一側面の検知装置は、ユーザ操作を検知する検知装置であって、ユーザ操作の対象とされるとともに、前記ユーザ操作に応じて検知される、前記ユーザ操作の操作内容又は操作対象の少なくとも一方が異なるユーザ操作領域を重複して配置した操作面に対する接触が開始されたときの前記操作面上の位置を表す開始位置を取得する取得部と、前記開始位置に基づいて、重複して配置された複数の前記ユーザ操作領域のうち、前記ユーザ操作の対象とされたユーザ操作領域に対応付けられた動作を決定する決定部とを含み、前記操作面は、コンテンツを表示する表示画面とは異なる箇所に設けられている検知装置である。
前記取得部は、前記操作面を対象とした新たな接触が開始されたことに対応して、新たな前記接触が開始されたときの前記操作面上の前記開始位置を取得することができる。
前記操作面に対する接触が終了したときから、前記操作面に対する新たな接触が開始されるまでに要した所要時間を計測する時間計測部をさらに設けることができ、前記決定部は、前記所要時間にも基づいて、前記ユーザ操作の対象とされたユーザ操作領域に対応付けられた動作を決定することができる。
前記決定部は、前記表示画面上の前記コンテンツの状態にも基づいて、前記ユーザ操作の対象とされたユーザ操作領域に対応付けられた動作を決定することができる。
前記決定部は、前記コンテンツが再生中である場合、前記開始位置に拘らず、前記コンテンツを操作対象とする前記対象ユーザ操作領域に対応付けられた動作を決定し、前記コンテンツが再生中ではない場合、前記開始位置に基づいて、前記ユーザ操作の対象とされたユーザ操作領域に対応付けられた動作を決定することができる。
前記決定部は、ユーザによる前記操作面の視認の有無にも基づいて、前記対象ユーザ操作領域に対応付けられた動作を決定することができる。
前記決定部は、前記ユーザが前記操作面を視認している場合、前記開始位置に基づいて、前記ユーザ操作の対象とされたユーザ操作領域に対応付けられた動作を決定し、前記ユーザが前記操作面を視認していない場合、前記開始位置に拘らず、予め決められた前記対象ユーザ操作領域に対応付けられた動作を決定することができる。
前記ユーザの撮像を行う撮像部から得られた撮像画像に基づいて、前記ユーザが前記操作面を視認しているか否かを判定する判定部をさらに設けることができる。
前記決定部は、前記表示画面上の前記コンテンツを再生するための前記押圧操作が行われたことに対応して、前記開始位置に拘らず、前記コンテンツを操作対象とする前記対象ユーザ操作領域に対応付けられた動作を決定することができる。
前記操作面に対する接触又は押圧の少なくとも一方を検出する検出部をさらに設けることができ、前記取得部は、前記検出部の検出結果に基づいて、前記開始位置を算出することにより取得することができる。
前記取得部は、前記ユーザ操作に応じて前記開始位置を検出する操作入力装置から送信される前記開始位置を受信することにより取得することができる。
本開示の一側面の検知方法は、ユーザ操作を検知する検知装置の検知方法であって、前記検知装置による、ユーザ操作の対象とされるとともに、前記ユーザ操作に応じて検知される、前記ユーザ操作の操作内容又は操作対象の少なくとも一方が異なるユーザ操作領域を重複して配置した操作面に対する接触が開始されたときの前記操作面上の位置を表す開始位置を取得する取得ステップと、前記開始位置に基づいて、重複して配置された複数の前記ユーザ操作領域のうち、前記ユーザ操作の対象とされたユーザ操作領域に対応付けられた動作を決定する決定ステップとを含み、前記操作面は、コンテンツを表示する表示画面とは異なる箇所に設けられている検知方法である。
本開示の一側面のプログラムは、コンピュータを、ユーザ操作の対象とされるとともに、前記ユーザ操作に応じて検知される、前記ユーザ操作の操作内容又は操作対象の少なくとも一方が異なるユーザ操作領域を重複して配置した操作面に対する接触が開始されたときの前記操作面上の位置を表す開始位置を取得する取得部と、前記開始位置に基づいて、重複して配置された複数の前記ユーザ操作領域のうち、前記ユーザ操作の対象とされたユーザ操作領域に対応付けられた動作を決定する決定部として機能させるためのプログラムであって、前記操作面は、コンテンツを表示する表示画面とは異なる箇所に設けられているプログラムである。
本開示の一側面によれば、ユーザ操作の対象とされるとともに、前記ユーザ操作に応じて検知される、前記ユーザ操作の操作内容又は操作対象の少なくとも一方が異なるユーザ操作領域を重複して配置した操作面に対する接触が開始されたときの前記操作面上の位置を表す開始位置が取得され、前記開始位置に基づいて、重複して配置された複数の前記ユーザ操作領域のうち、前記ユーザ操作の対象とされたユーザ操作領域に対応付けられた動作が決定される。なお、前記操作面は、コンテンツを表示する表示画面とは異なる箇所に設けられている。
本開示によれば、接触や押圧を伴うユーザ操作の操作性を向上させることが可能となる。
本技術を適用したリモートコントローラの外観例を示す図である。 タッチパッドの詳細な構成例を示す図である。 リモートコントローラの構成例を示すブロック図である。 ユーザの意図に反して、表示画面がスクロールしてしまうときの一例を示す図である。 本技術を適用した他のリモートコントローラの外観例を示す図である。 ユーザの意図に反して、コンテンツの早送りが行われてしまうときの一例を示す図である。 ユーザの意図するタップ操作を判定する判定方法の一例を示す図である。 図3のリモートコントローラが行う操作検知処理を説明するためのフローチャートである。 ステップS24における対象領域選択処理の詳細を説明するためのフローチャートである。 リモートコントローラの他の構成例を示すブロック図である。 押圧操作時における座標の変化等の一例を示す図である。 図10のリモートコントローラが行う座標ロック処理を説明するためのフローチャートである。 コンピュータのハードウェアの構成例を示すブロック図である。
以下、本開示における実施の形態(以下、実施の形態という)について説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態(ユーザの指等が最初に接触した位置に基づいて、ユーザ操作の対象とされるユーザ操作領域を選択するときの一例)
2.第2の実施の形態(ユーザの押圧操作が行われたとき、ポインタ等の座標をしばらくの間、固定するときの一例)
3.変形例
<1.第1の実施の形態>
[リモートコントローラ21の外観例]
図1は、リモートコントローラ21の外観例を示している。
このリモートコントローラ21の表面には、操作ボタン41とともに、リモートコントローラ21の一部を形成するタッチパッド42の操作面42aが設けられている。
このため、ユーザは、操作ボタン41及び操作面42aを用いて、テレビジョン受像機22の電源をオンするための操作等を行うことができる。なお、タッチパッド42については、図2を参照して詳述する。
操作ボタン41は、電源ボタンや、再生ボタン、停止ボタン等の他、ドラッグボタン41a等から構成され、ユーザにより操作される。
ドラッグボタン41aは、予め決められた機能を有するボタンに他の機能を割り当て可能なファンクションキーである。
すなわち、例えば、ユーザが、ドラッグボタン41aを押下した状態で、テレビジョン受像機21の電源のオン又はオフする機能を有する電源ボタンを押下した場合、電源ボタンは、例えば再生ボタン等のような他のボタンとして機能するものとなる。
なお、ユーザは、自身の指等で操作面42aを押圧した状態で、自身の指を操作面42a上で移動させる第1のドラッグ操作を行うことができる。
その他、例えば、ユーザは、ドラッグボタン41aを押下した状態で、自身の指を操作面42a上で移動させる第2のドラッグ操作を行うことができる。
第1のドラッグ操作と第2のドラッグ操作は、いずれも、テレビジョン受像機22の表示画面に表示された操作対象を移動させる場合や、テレビジョン受像機22の表示画面上の所定の領域を選択する場合等に行われる。
ユーザは、第1のドラッグ操作を行う場合、操作面42aのみを操作すればよいため、例えば、両手を使う事無く、片手で、第1のドラッグ操作を行うことができる。
また、ユーザが、ドラッグボタン41aを用いた第2のドラッグ操作を行う場合、操作面42aから指等を離しても、ドラッグボタン41aを押下した状態であれば、第2のドラッグ操作が解除される事態を防止できる。
このため、ユーザは、再度、操作面42aに指などを接触させれば、第2のドラッグ操作の続きを行うことができる。
操作面42aには、ユーザが行う操作を表すユーザ操作の対象とされるユーザ操作領域として、ポインタ操作領域A、エッジスクロール領域B1、エッジスクロール領域B2、FRボタン領域C1、及びFFボタン領域C2が設けられている。
ここで、ユーザ操作の種類(操作内容)としては、上述したドラッグ操作の他、接触移動操作や押圧操作等が存在する。
接触移動操作とは、ユーザが自身の指等を操作面42aに接触させた状態で、例えば、操作対象としてのポインタ等を移動させたい方向に、ユーザの指等を移動させる操作をいう。なお、ポインタは、テレビジョン受像機22の表示画面に表示される。
また、押圧操作とは、ユーザが自身の指等を用いて、操作面42a上の位置を押圧する操作をいう。
なお、押圧操作としては、例えば、ユーザの指等を操作面42aに接触させたままで操作面42a上の位置を押圧するクリック操作と、ユーザの指等が操作面42aに接触していない状態で、操作面42a上の位置をタップする(軽く叩く)ようにして押圧するタップ操作の2種類が存在する。
ポインタ操作領域Aは、図1に示されるように、操作面42aの表面に全体的に設けられており、接触移動操作及び押圧操作の対象とされる。
すなわち、例えば、ポインタ操作領域Aは、テレビジョン受像機22の表示画面に表示されるポインタ等を操作対象とし、操作対象としてのポインタ等を移動させる際に、接触移動操作の対象とされる。
また、例えば、ポインタ操作領域Aは、ポインタ等で指し示された位置に存在するURL(Uniform Resource Locator)等のリンク先を操作対象とし、操作対象としてのリンク先を指定する際に、押圧操作の対象とされる。
ポインタ操作領域Aにおいて、図中右側に存在する、図中上下方向(縦方向)に延びる縦長の部分領域には、エッジスクロール領域B1が重複して設けられている。
エッジスクロール領域B1は、テレビジョン受像機22の表示画面を上下方向にスクロールさせるためのスクロールバーを操作対象として、そのスクロールバーを移動させる際に接触移動操作の対象とされる。
また、エッジスクロール領域B1において、エッジスクロール領域B1の下端部分は、テレビジョン受像機22の表示画面に表示されたコンテンツを操作対象とし、操作対象としてのコンテンツの早送りをする際に、押圧操作の対象とされる。
なお、エッジスクロール領域B1の下端部分は、FFボタン領域C2が設けられた部分と同一の部分を表す。
さらに、ポインタ操作領域Aにおいて、図中下側に存在する、図中左右方向(横方向)に延びる横長の部分領域には、エッジスクロール領域B2が重複して設けられている。
エッジスクロール領域B2は、テレビジョン受像機22の表示画面を左右方向にスクロールさせるためのスクロールバーを操作対象として、そのスクロールバーを移動させる際に接触移動操作の対象とされる。
また、エッジスクロール領域B2において、エッジスクロール領域B2の左端部分は、テレビジョン受像機22の表示画面に表示されたコンテンツを操作対象とし、操作対象としてのコンテンツの巻き戻しをする際に、押圧操作の対象とされる。
なお、エッジスクロール領域B2の左端部分は、FRボタン領域C1が設けられた部分と同一の部分を表す。
さらに、エッジスクロール領域B2において、エッジスクロール領域B2の右端部分は、テレビジョン受像機22の表示画面に表示されたコンテンツを操作対象とし、操作対象としてのコンテンツの早送りをする際に、押圧操作の対象とされる。
なお、エッジスクロール領域B2の右端部分は、FFボタン領域C2が設けられた部分と同一の部分を表す。
FRボタン領域C1は、テレビジョン受像機22の表示画面に表示されたコンテンツを操作対象とし、操作対象としてのコンテンツの巻き戻しを行う際に、押圧操作の対象とされる。
また、FFボタン領域C2は、テレビジョン受像機22の表示画面に表示されたコンテンツを操作対象とし、操作対象としてのコンテンツの早送りを行う際に、押圧操作の対象とされる。
なお、FRボタン領域C1及びFFボタン領域C2は、コンテンツを操作対象とし、操作対象としてのコンテンツの巻き戻し及び早送りを行う際に押圧操作の対象とされるボタン領域Cを形成する。
すなわち、操作面42aには、ユーザ操作の操作内容が同一であるものの、操作対象が異なるユーザ操作領域として、ポインタ操作領域Aとエッジスクロール領域B1,B2が重複して配置されている。
また、操作面42aには、操作内容と操作対象のいずれも異なるユーザ操作領域として、ポインタ操作領域Aとボタン領域Cが重複して配置されているとともに、エッジスクロール領域B1,B2とボタン領域Cが重複して配置されている。
なお、上述のように、ポインタ操作領域Aでは、例えば、ポインタ及びリンク先等が操作対象とされ、ユーザ操作の操作内容として、接触移動操作及び押圧操作が採用される。
また、エッジスクロール領域B1,B2では、例えば、スクロールバー及びコンテンツが操作対象とされ、ユーザ操作の操作内容として、接触移動操作及び押圧操作が採用される。
さらに、ボタン領域Cでは、例えば、コンテンツが操作対象とされ、ユーザ操作の操作内容として、押圧操作が採用される。
以下では、ポインタ操作領域A、エッジスクロール領域B1,B2、及びボタン領域Cを、それぞれ、ユーザ操作領域A,B1,B2,Cともいう。
リモートコントローラ21は、例えば、操作面42aに対する、ユーザ指等の接触又は押圧の少なくとも一方の検出結果に基づいて、操作面42a上の開始位置を算出する。なお、操作面42aに対する接触や押圧は、タッチパッド42により検出される。
また、開始位置とは、操作面42aに対する接触が開始されたときの、操作面42a上の位置を表す。
すなわち、例えば、リモートコントローラ21は、操作面42aに対する、ユーザ指等の接触の検出結果に基づいて、ユーザの指等と操作面42aとが接触する接触面の重心等を、開始位置として算出する。
また、例えば、リモートコントローラ21は、操作面42aに対する、ユーザ指等の押圧の検出結果に基づいて、ユーザの指等による圧力が最も大きな位置を、開始位置として算出することもできる。
さらに、例えば、リモートコントローラ21は、ユーザ指等による接触及び押圧の検出結果に基づいて、開始位置を算出してもよい。第1の実施の形態では、リモートコントローラ21は、ユーザ指等による接触及び押圧の検出結果に基づいて、開始位置を算出するものとする。
また、リモートコントローラ21は、算出した操作面上42a上の開始位置に基づいて、操作面42a上の複数のユーザ操作領域A,B1,B2,Cの中から、ユーザ操作の対象とされるユーザ操作領域を表す対象ユーザ操作領域を選択する。
さらに、リモートコントローラ21は、操作面42a上の対象ユーザ操作領域に対する接触や押圧の検出結果に基づいて、ユーザ操作の操作内容、及びユーザ操作の操作対象を検知する。
そして、リモートコントローラ21は、その検知結果に基づいて、テレビジョン受像機22を制御する。
すなわち、例えば、リモートコントローラ21は、ユーザ操作の操作内容、及びユーザ操作の操作対象の検知結果に基づいて、テレビジョン受像機22を制御するためのIR信号を生成し、無線信号として、テレビジョン受像機22に出射する。
テレビジョン受像機22は、リモートコントローラ21からのIR信号を受信し、受信したIR信号に基づいて、例えば、操作対象とされたポインタ等を、ユーザ操作の操作内容に応じて移動させる処理を行う。
[タッチパッド42の詳細]
次に、図2は、タッチパッド42の詳細な構成例を示している。
タッチパッド42は、リモートコントローラ21の一部を形成しており、操作面42a、スイッチ42b、並びに、弾性体42c1及び42c2から構成される。
操作面42aは、操作面42aの静電容量の変化を検知する静電容量センサ等を有し、操作面42aの静電容量の変化に基づいて、操作面42aに対する、ユーザの指等の接触を検出する。
スイッチ42bは、操作面42aの裏側(ユーザの指等の接触や押圧が行われる面の裏側)に設けられ、操作面42aにより加圧されることにより、オフ状態からオン状態とされる。すなわち、スイッチ42bは、オン状態とされたことに対応して、操作面42aに対する、ユーザの指等の押圧を検出する。
なお、操作面42aでの検出結果、及びスイッチ42bでの検出結果は、ユーザ操作の操作内容及び操作対象を検知する処理部43(図3で後述する)に出力される。
弾性体42c1及び42c2は、バネ等の弾性体であり、操作面42aに対する押圧が行われていないとき、操作面42aが、リモートコントローラ21の底面と平行になるように、支持する。
ところで、操作面42aは、静電容量の変化に基づいて、操作面42aに対する、ユーザの指等の押圧(加圧)も検出することができる。このため、操作面42aにおいて、操作面42aに対する押圧も検出することとすれば、スイッチ42bを省略することができる。
[リモートコントローラ21の構成例]
次に、図3は、リモートコントローラ21の構成例を示している。
リモートコントローラ21は、ドラッグボタン41aを含む操作ボタン41、操作面42a及びスイッチ42bを主に含むタッチパッド42、処理部43、領域選択部44、時間計測部45、及びIR送信部46から構成される。
操作ボタン41は、図1に示したように、電源ボタンや、再生ボタン、停止ボタン等の他、ドラッグボタン41a等からなり、ユーザにより操作される。操作ボタン41は、ユーザに操作されたことに対応して、ユーザの操作に対応する操作信号を、処理部43に供給する。
タッチパッド42は、図2に示したように、主に、操作面42a及びスイッチ42bから構成される。操作面42aは、操作面42aの静電容量の変化に基づいて、操作面42bに対する接触を検出し、その検出結果を、処理部43に供給する。
スイッチ42bは、操作面42aに対する押圧を検出し、その検出結果を、処理部43に供給する。
処理部43は、操作面42a及びスイッチ42bからの検出結果に基づいて、操作面42a上の開始位置として、操作面42aに対する、ユーザの指等の接触が開始されたときの位置を算出し、領域選択部44に供給する。
また、処理部43は、操作面42a及びスイッチ42bから供給される検出結果と、領域選択部44からの対象ユーザ操作領域(を表す情報)に基づいて、ユーザ操作の操作内容、及びユーザ操作の操作対象を検知し、その検知結果を、IR送信部46に供給する。
さらに、処理部43は、操作面42aに対する一連のユーザ操作が終了されたとき、操作面42a及びスイッチ42bからの検出結果に基づいて、直前のユーザ操作が、ポインタ等を移動させる移動接触操作であったか否かを判定する。
そして、処理部43は、操作面42a及びスイッチ42bからの検出結果に基づいて、直前のユーザ操作が、ポインタ等を移動させる移動接触操作であったと判定した場合、時間計測部45を制御して、後述する所要時間の計測を開始させる。
また、処理部43は、操作面42aに対する新たな一連のユーザ操作が開始されたとき、時間計測部45を制御して、所要時間の計測を終了させる。
これにより、時間計測部45は、処理部43からの制御に従い、ユーザの指などが操作面42aから離れたときから、接触するまでに要した所要時間を計測し、領域選択部44に供給する。
さらに、処理部43は、操作ボタン41からの操作信号に基づいて、操作ボタン41に対するユーザ操作の操作内容及び操作対象を検知し、その検知結果をIR送信部46に供給する。
領域選択部44は、処理部43からの開始位置に基づいて、操作面42a上の複数のユーザ操作領域A,B1,B2,Cの中から、ユーザ操作の対象とされるユーザ操作領域を表す対象ユーザ操作領域を選択し、処理部43に供給する。
また、領域選択部44は、時間計測部45から、所要時間が供給される場合、処理部43からの開始位置の他、時間計測部45からの所要時間にも基づいて、複数のユーザ操作領域A,B1,B2,Cの中から、対象ユーザ操作領域を選択する。
なお、領域選択部44が、処理部43からの開始位置に基づいて、対象ユーザ操作領域を選択する第1の選択方法は、図4乃至図6を参照して詳述する。また、領域選択部44が、処理部43からの開始位置の他、時間計測部45からの所要時間にも基づいて、対象ユーザ操作領域を選択する第2の選択方法は、図7を参照して詳述する。
時間計測部45は、上述のように、処理部43からの制御にしたがって、ユーザの指などが操作面42aから離れたときから、接触するまでに要した所要時間を計測し、その計測により得られる所要時間を、領域選択部44に供給する。
IR送信部46は、処理部43からの検知結果に基づいて、テレビジョン受像機22を制御するためのIR信号を生成し、無線信号として、テレビジョン受像機22に送信する。すなわち、例えば、IR送信部46は、処理部43からの検知結果に基づいて、対象ユーザ操作領域に対応付けられた動作を決定し、決定した動作を行わせるためのIR信号を生成して送信する。
次に、図4は、クリック操作後に、接触移動操作を行ったことにより、ユーザの意図に反して、テレビジョン受像機22の表示画面がスクロールしてしまうときの一例を示している。
図4のAには、一連のユーザ操作として、FRボタン領域C1内のクリック位置61でクリック操作を行うとともに、クリック位置61から、FFボタン領域C2内のクリック位置62まで接触移動操作を行い、クリック位置62で新たなクリック操作を行うときの一例が示されている。
なお、ユーザは、所望の再生位置からコンテンツを再生するために、テレビジョン受像機22に表示されるコンテンツの巻き戻しと早送りを行うことを意図して、図4のAに示した一連のユーザ操作を行っているものとする。
また、クリック位置61は、操作面42a上の開始位置であるものとする。
図4のBには、テレビジョン受像機22の表示画面において、図4のAに示される一連のユーザ操作により、スクロールバー63が図中右方向に移動することにより、ユーザの意図に反して、コンテンツ64を表示中の表示画面がスクロールされるときの一例が示されている。
例えば、ユーザが、図4のAに示されるような一連のユーザ操作を行った場合、テレビジョン受像機22の表示画面では、図4のBに示されるように、クリック位置61でのクリック操作により、コンテンツ64の巻き戻しが行われる。
そして、テレビジョン受像機22の表示画面では、エッジスクロール領域B2内で行われる接触移動操作により、スクロールバー61が、ユーザの意図に反して移動し、表示画面がスクロールされてしまうことが生じ得る。
このため、リモートコントローラ21の領域選択部44は、操作面42a上の開始位置としてのクリック位置61に基づいて、複数のユーザ操作領域A,B1,B2,Cの中から、ボタン領域Cを、対象ユーザ操作領域Cとして選択するようにしている。
そして、処理部43は、操作面42aに対する一連のユーザ操作が終了するまで、領域選択部44で選択された対象ユーザ操作領域Cを対象としたユーザ操作のみを検知するようにしている。
これにより、図4のAに示された一連のユーザ操作が終了するまでの間、処理部43において、ボタン領域C(FRボタン領域C1及びFFボタン領域C2)を対象とした押圧操作のみが検知される。
なお、処理部43は、例えば、ユーザの指等が操作面42aから離れたと判定したときに、図4のAに示した一連のユーザ操作の終了を識別する。
また、例えば、処理部43は、操作面42a上の任意の位置で、予め決められた時間以上、ユーザの指が接触していると判定したときに、図4のAに示した一連のユーザ操作の終了を識別するようにしてもよい。
この場合、処理部43は、例えば、一連のユーザ操作の終了を識別後、操作面42a上の任意の位置で、予め決められた時間以上、ユーザの指が接触していると判定したとき、ユーザの指等の接触が新たに開始されたものとして、新たな開始位置を算出する。
なお、本技術は、図1に示したようなリモートコントローラ21に限定されず、例えば、図5に示されるようなリモートコントローラ21'についても適用することができる。
図5のリモートコントローラ21'は、リモートコントローラ21'の表面全体が操作面42a'とされる。
この操作面42a'には、図5下側に示されるように、例えば、音量(ボリューム)を変更する際に操作されるボリューム操作領域B2'、電源ボタンとして機能する電源ボタン領域、ポインタ操作領域、メニューボタンとして機能するメニューボタン領域、及び十字キーとして機能する十字キー領域が設けられている。
ボリューム操作領域B2'では、コンテンツの音量が操作対象とされ、ユーザ操作の操作内容として、接触移動操作が採用される。
このため、例えば、ユーザが、ボリューム操作領域B2'上で、ユーザの指等を図中左方向から右方向に移動させる接触移動操作を行った場合、表示画面に表示されるコンテンツの音量は、より大きな音量とされる。
また、例えば、ユーザが、ボリューム操作領域B2'上で、ユーザの指等を図中右方向から左方向に移動させる接触移動操作を行った場合、表示画面に表示されるコンテンツの音量は、より小さな音量とされる。
なお、ユーザの指等の移動距離が大である程、又はユーザの指等の移動時の動きが速い程、音量はより大きく変化するものとなる。
ボリューム操作領域B2'において、図5上側に示されるように、図中左側に存在する矩形の領域には、ボリュームダウン領域C1'が重複して設けられ、図中右側に存在する矩形の領域には、ボリュームアップ領域C2'が重複して設けられている。
ボリュームダウン領域C1'及びボリュームアップ領域C2'は、コンテンツの音量を操作対象とし、ユーザ操作の操作内容として、押圧操作を採用したボリューム領域C'を構成する。
例えば、ユーザが、ボリュームダウン領域C1'上で押圧操作を行った場合、表示画面に表示されるコンテンツの音量は、予め決められた変化量だけ小さな音量とされる。
また、例えば、ユーザが、ボリュームアップ領域C2'上で押圧操作を行った場合、表示画面に表示されるコンテンツの音量は、予め決められた変化量だけ大きな音量とされる。
図5において、操作面42a'には、ユーザ操作の操作内容が異なるものの、操作対象が同一のユーザ操作領域として、ボリューム操作領域B2'とボリューム領域C'(ボリュームダウン領域C1'及びボリュームアップ領域C2')が重複して配置されている。
例えば、ユーザが、ボリュームダウン領域C1'及びボリュームアップ領域C2'に対するクリック操作を行うことにより、音量を調整する一連のユーザ操作を行う場合、ユーザの意図に反して、図4で説明した場合と同様の現象が生じ得る。
なお、ボリューム操作領域B2'、ボリュームダウン領域C1'、及びボリュームアップ領域C2'は、それぞれ、図4のAに示したエッジスクロール領域B2、FRボタン領域C1、及びFFボタン領域C2に対応する。
すなわち、例えば、ユーザが、ボリュームダウン領域C1'上のクリック位置61'でクリック操作を行った後、ボリュームダウン領域C2'上のクリック位置62'で新たにクリック操作を行うために、クリック位置61'からクリック位置62'まで指を移動する。
この場合、ボリューム操作領域B2'において、クリック位置61'からクリック位置62'までの接触移動操作が行われることとなり、ユーザの意図に反して、ユーザの指の速さ等に応じた変化量だけ、音量が大きくなってしまうことが生じ得る。
このため、リモートコントローラ21'においても同様に、操作面42a'上の開始位置としてのクリック位置61'に基づいて、複数のユーザ操作領域B2'及びC'の中から、ボリューム領域C'を、対象ユーザ操作領域C'として選択するようにしている。
そして、リモートコントローラ21'は、操作面42a'に対する一連のユーザ操作が終了するまで、対象ユーザ操作領域Cを対象としたユーザ操作のみを検知するようにしている。
これにより、音量を調整する一連のユーザ操作が終了するまでの間、リモートコントローラ21'において、ボリューム領域C'(ボリュームダウン領域C1'及びボリュームアップ領域C2')を対象とした押圧操作のみが検知される。
すなわち、図1乃至図5を参照して説明したように、本技術は、以下のようなリモートコントローラに適用できる。
つまり、本技術は、ユーザ操作の対象とされるとともに、ユーザ操作に応じて検知される、ユーザ操作の操作内容又はユーザ操作の操作対象の少なくとも一方が異なるユーザ操作領域を重複して配置した操作面を有するリモートコントローラに適用できる。
具体的には、例えば、本技術は、ユーザ操作の操作内容が同一であり、操作対象が異なるユーザ操作領域が重複して配置される操作面42aを有するリモートコントローラ21に適用できる。
また、例えば、本技術は、ユーザ操作の操作内容と操作対象のいずれも異なるユーザ操作領域が重複して配置される操作面42aを有するリモートコントローラ21にも適用できる。
さらに、本技術は、ユーザ操作の操作内容が異なり、操作対象が同一のユーザ操作領域として、ボリューム操作領域B2'とボリューム領域C'が重複して配置される操作面42a'を有するリモートコントローラ21'に適用できる。
次に、図6は、ポインタを移動させる接触移動操作後に、ポインタにより指示される位置で決定を行うクリック操作を行ったことにより、ユーザの意図に反して、コンテンツの早送りが行われてしまうときの一例を示している。
図6のAには、一連のユーザ操作として、ユーザの指を操作面42aに接触させた状態で、ユーザの指を開始位置81からクリック位置82まで接触移動操作を行い、接触移動操作後のクリック位置82でクリック操作を行うときの一例が示されている。
なお、開始位置81は、エッジスクロール領域B1,B2、FRボタン領域C1、及びFFボタン領域C2のいずれも重複していないポインタ操作領域A上の位置であるものとする。
図6のBには、図6のAに示される一連のユーザ操作により、ユーザの意図に反して、コンテンツ84の早送りが行われてしまうときの一例が示されている。
例えば、ユーザが、図6のAに示されるような一連のユーザ操作を行った場合、テレビジョン受像機22の表示画面では、開始位置81からクリック位置82までを移動する接触移動操作により、図6のBに示されるように、ポインタ83が上から下方向に移動される。
そして、テレビジョン受像機22の表示画面では、FFボタン領域C2内のクリック位置82で行われるクリック操作により、ユーザの意図に反して、コンテンツ84の早送りが行われることが生じ得る。
すなわち、例えば、ユーザは、ポインタ83で指示されたURL等のリンク先を選択する決定を意図して、クリック操作を行ったにも拘らず、コンテンツ84の早送りが行われることが生じ得る。
このため、リモートコントローラ21の領域選択部44は、操作面42a上の開始位置81に基づいて、複数のユーザ操作領域A,B1,B2,Cの中から、ポインタ操作領域Aを、対象ユーザ操作領域Aとして選択するようにしている。
そして、処理部43は、操作面42aに対する一連のユーザ操作が終了するまで、領域選択部44で選択された対象ユーザ操作領域Aを対象としたユーザ操作のみを検知するようにしている。
よって、処理部43は、クリック位置82でのクリック操作を、ポインタ83で指示されたURL等のリンク先を選択する決定を意図するクリック操作として検知するため、ユーザの意図に反して、コンテンツ84の早送りが行われる事態を防止することが可能となる。
ところで、図6のAでは、クリック位置82でクリック操作を行うときの例を説明したが、例えば、ユーザは、クリック位置82で一度、ユーザの指の接触を解除した後、クリック位置82でタップ操作を行うことが考えられる。
この場合、ユーザの指の接触を解除した直後にタップ操作を行うときには、ポインタ83で指示した位置での決定を意図するタップ操作である。また、ユーザの指の接触を解除して、ある程度の時間の経過後に、タップ操作を行うときには、コンテンツ84の早送りを意図するタップ操作である。
次に、図7は、クリック位置82で行われるタップ操作が、ポインタ83で指示した位置での決定を意図するタップ操作であるのか、それとも、コンテンツ84の早送りを意図するタップ操作であるのかを判定するときの一例を示している。
図7において、横軸は時間を表し、縦軸は、操作面42a上の、Y軸方向の位置yを表す。ここで、Y軸方向とは、エッジスクロール領域B1が縦長に延びる方向をいう。なお、図7では、説明を簡単にするため、Y軸と垂直なX軸方向の位置xを省略している。
また、図7において、位置y1,y2,y3,y4は、それぞれ、操作面42aに対する接触が開始されたときの開始位置を表す。
さらに、位置y1,y2,y3,y4において、位置y1,y2は、それぞれ、エッジスクロール領域B1,B2、FRボタン領域C1、及びFFボタン領域C2のいずれも重複していないポインタ操作領域A上の位置を表す。また、位置y3,y4は、FFボタン領域C2上の位置を表す。
さらに、位置y1',y2',y3',y4'は、それぞれ、FFボタン領域C2上の位置であって、操作面42aに対する接触が解除されたときの位置を表す。
領域選択部44は、図7左側に示されるように、位置y1から位置y1'まで接触移動操作が行われ、位置y1'でクリック操作が行われた場合、開始位置81としての開始位置y1に基づいて、ポインタ操作領域Aを、対象ユーザ操作領域Aとして選択する。
この場合、位置y1'でのクリック操作は、ポインタ83で指示した位置での決定を意図するクリック操作として、処理部43により検知される。
また、領域選択部44は、図7中央に示されるように、位置y2から位置y2'まで接触移動操作が行われ、位置y2'でユーザの指等の接触を解除してからタップ操作が行われるまでの所要時間T1が、予め決められた一定時間Tw未満であるか否かに基づいて、対象ユーザ操作領域を選択する。
ここで、所要時間T1とは、位置y2'でユーザの指等の接触が解除されたときから、タップ操作により、ユーザの指等が位置y3で接触するまでに要した時間をいう。
図7中央において、所要時間T1は、一定時間Tw未満であるため、領域選択部44は、ポインタ操作領域Aを、対象ユーザ操作領域Aとして選択する。
この場合、位置y3でのタップ操作は、ポインタ83で指示した位置での決定を意図するタップ操作として、処理部43により検知され、コンテンツ84の早送りを意図するタップ操作は検知されない。
さらに、領域選択部44は、図7右側に示されるように、位置y3'でユーザの指等の接触を解除してからタップ操作が行われるまでの所要時間T2が、予め決められた一定時間Tw未満であるか否かに基づいて、対象ユーザ操作領域を選択する。
ここで、所要時間T2とは、位置y3'でユーザの指等の接触が解除されたときから、タップ操作により、ユーザの指等が位置y4で接触するまでに要した時間をいう。
図7右側において、所要時間T2は、一定時間Tw未満ではないため、領域選択部44は、ボタン領域C(FRボタン領域C1及びFFボタン領域C2)を、対象ユーザ操作領域Cとして選択する。
この場合、位置y4でのタップ操作は、コンテンツ84の早送りを意図するタップ操作として、処理部43により検知される。
[図3のリモートコントローラ21の動作説明]
次に、図8のフローチャートを参照して、図3のリモートコントローラ21が行う操作検知処理について説明する。
ステップS21において、タッチパッド42は、操作面42aに対する接触や押圧を検出し、その検出結果を、処理部43に供給する。
すなわち、タッチパッド42の操作面42aは、内蔵する静電容量センサ等から得られる静電容量の変化に基づいて、操作面42aに対する、ユーザの指等の接触を検出し、その検出結果を、処理部43に供給する。
また、タッチパッド42のスイッチ42bは、操作面42aに対する押圧を検出し、その検出結果を、処理部43に供給する。
ステップS22では、処理部43は、操作面42a及びスイッチ42bからの検出結果に基づいて、ユーザの指等が、操作面42aに接触したか否かを判定し、ユーザの指等が、操作面42aに接触したと判定するまで、ステップS21及びステップS22の処理を繰り返す。
そして、ステップS22では、処理部43は、操作面42a及びスイッチ42bからの検出結果に基づいて、ユーザの指等が、操作面42aに接触したと判定した場合、処理をステップS23に進める。
ステップS23では、処理部43は、操作面42a及びスイッチ42bからの検出結果に基づいて、操作面42a上の開始位置を算出し、領域選択部44に供給する。
ステップS24では、領域選択部44は、処理部43からの、操作面42a上の開始位置に基づいて、複数のユーザ操作領域A,B1,B2,Cの中から、一連のユーザ操作の対象とされる対象ユーザ操作領域を選択する対象領域選択処理を行う。
領域選択部44は、対象領域選択処理により選択した対象ユーザ操作領域を処理部43に供給する。
なお、ステップS24における対象領域選択処理は、図9のフローチャートを参照して詳述する。
ステップS25では、処理部43は、操作面42a及びスイッチ42bからの検出結果と、領域選択部44からの対象ユーザ操作領域に基づいて、操作面42aに対するユーザ操作の操作内容、及びユーザ操作の操作対象を検知し、その検知結果を、IR送信部46に供給する。
ステップS26では、IR送信部46は、処理部43から検知結果に基づいて、テレビジョン受像機22を制御するためのIR信号を生成し、無線信号として、テレビジョン受像機22に送信(出射)する。
ステップS27では、処理部43は、操作面42a及びスイッチ42bからの検出結果に基づいて、操作面42aに接触していたユーザの指等が、操作面42aから離れたか否かを判定する。
処理部43は、操作面42a及びスイッチ42bからの検出結果に基づいて、ユーザの指等が、操作面42aから離れていないと判定した場合、処理をステップS25に戻し、ステップS25において、それ以降、同様の処理が行われる。
また、処理部43は、操作面42a及びスイッチ42bからの検出結果に基づいて、ユーザの指等が、操作面42aから離れたと判定した場合、つまり、一連のユーザ操作が終了したと判定した場合、処理をステップS28に進める。
ステップS28では、処理部43は、一連のユーザ操作の終了を判定したことに対応して、直前のユーザ操作が、ポインタ操作領域Aを対象とした接触移動操作であったか否かを判定する。
処理部43は、直前のユーザ操作が、ポインタ操作領域Aを対象とした接触移動操作ではないと判定した場合、ステップS29をスキップして操作検知処理を終了する。
また、ステップS28において、処理部43は、直前のユーザ操作が、ポインタ操作領域Aを対象とした接触移動操作であると判定した場合、処理をステップS29に進め、時間計測部45を制御する。
ステップS29では、時間計測部45は、処理部43からの制御にしたがって、ユーザの指等が、操作面42aから離れたときから、再度、操作面42aに接触するまでに要した所要時間を計測する。
なお、ステップS29において、時間計測部45は、処理部43からの制御にしたがって、所要時間の計測を終了し、計測した所要時間を、領域選択部44に供給して、この操作検知処理は終了される。すなわち、処理部43は、新たな操作検知処理のステップS22において、ユーザの指等が操作面42aに接触したと判定するまで、時間計測部45に所要時間の計測を行わせる。
[対象領域選択処理の詳細]
次に、図9のフローチャートを参照して、図8のステップS24における対象領域選択処理の詳細を説明する。
ステップS41では、領域選択部44は、処理部43からの、操作面42a上の開始位置が、ユーザ操作領域C上の位置であるか否かを判定する。
領域選択部44は、処理部43からの操作面42a上の開始位置が、ユーザ操作領域C上の位置ではないと判定した場合、処理をステップS42に進める。
ステップS42では、領域選択部44は、処理部43からの操作面42a上の開始位置が、ユーザ操作領域B1又はB2上の位置であるか否かを判定する。
そして、領域選択部44は、処理部43からの操作面42a上の開始位置が、ユーザ操作領域B1又はB2上の位置ではないと判定した場合、すなわち、ユーザ操作領域B1,B2及びCのいずれも重複していないユーザ操作領域A上の位置であると判定した場合、処理をステップS43に進める。
ステップS43では、領域選択部44は、ユーザ操作領域Aを、対象ユーザ操作領域Aとして選択する。
また、ステップS42において、領域選択部44は、処理部43からの操作面42a上の開始位置が、ユーザ操作領域B1又はB2上の位置であると判定した場合、処理をステップS44に進め、開始位置を含むユーザ操作領域B(ユーザ操作領域B1又はB2の一方)を選択する。
ステップS41において、領域選択部44は、処理部43からの操作面42a上の開始位置が、ユーザ操作領域C上の位置であると判定した場合、処理をステップS45に進める。
ステップS45では、領域選択部44は、時間計測部45から所要時間が供給されたか否かに基づいて、直前のユーザ操作が、ユーザ操作領域(ポインタ操作領域)Aを対象とした接触移動操作であったか否かを判定する。
領域選択部44は、直前のユーザ操作が、ユーザ操作領域Aを対象とした接触移動操作ではないと判定した場合、ステップS46をスキップして、処理をステップS47に進める。
また、ステップS45では、領域選択部44は、直前のユーザ操作が、ユーザ操作領域Aを対象とした接触移動操作であると判定した場合、すなわち、時間計測部45から所要時間が供給されている場合、処理をステップS46に進める。
ステップS46では、領域選択部44は、時間計測部45からの所要時間が、予め決められた一定時間Tw未満であるか否かを判定し、所要時間が一定時間Tw未満であると判定した場合、処理をステップS43に進め、ユーザ操作領域Aを、対象ユーザ操作領域Aとして選択する。
また、ステップS46では、領域選択部44は、時間計測部45からの所要時間が、予め決められた一定時間Tw未満ではないと判定した場合、処理をステップS47に進め、ユーザ操作領域Cを、対象ユーザ操作領域Cとして選択する。その後、処理は、図8のステップS24に戻り、それ以降の処理が行なわれる。
以上説明したように、操作検知処理では、例えば、操作面42a上の開始位置に基づいて、複数のユーザ操作領域の中から、ユーザ操作の対象とされる対象ユーザ操作領域を選択するようにした。
このため、ユーザ操作に応じて検知される、ユーザ操作の操作内容又は操作対象の少なくとも一方が異なるユーザ操作領域A,B1,B2,Cを重複して配置した操作面42aを有するリモートコントローラ21等において、ユーザの意図に反した操作が検知される事態を防止できる。
よって、リモートコントローラ21において、操作面42aに対する操作性を向上させることが可能となる。
ところで、ユーザが、操作面42aに対して押圧操作を行う場合、操作面42aに対する圧力の変化に応じて、ユーザの指が触れる操作面42a上の接触面も変化する。
ユーザ操作に応じて算出される座標は、例えば、ユーザの指と操作面42aとの接触面の面積に基づき算出されるため、押圧操作時には、ユーザの意図に反したポインタの移動が生じ得る。なお、座標は、例えば、表示画面上の、ポインタ83の位置を表すものとして算出される。
そこで、押圧操作時には、操作面42aに対するユーザ操作に拘らず、ポインタ83等の座標を固定するようにして、ユーザの意図に反したポインタ83の移動を防止することが望ましい。
<2.第2の実施の形態>
[リモートコントローラ21の他の構成例]
次に、図10は、ユーザの意図に反したポインタの移動を防止することにより、操作性をより向上させるようにしたリモートコントローラ21の他の構成例を示している。
なお、図10のリモートコントローラ21において、図3のリモートコントローラ21と同様に構成される部分には、同一の符号を付すようにしているので、それらの説明は、以下、適宜省略する。
すなわち、図10のリモートコントローラ21では、図3の処理部43に代えて、計時部101aを内蔵する処理部101が設けられているとともに、新たに座標保持部102が設けられている他は、図3のリモートコントローラ21と同様に構成される。
処理部101は、図3の処理部43と同様の処理を行う。すなわち、例えば、処理部101は、操作面42a及びスイッチ42bからの検出結果と、領域選択部44からの対象ユーザ操作領域に基づいて、ユーザ操作の操作内容及び操作対象を検知する。
また例えば、処理部101は、領域選択部44からの対象ユーザ操作領域として、ポインタ操作領域Aが供給された場合、検知したユーザ操作の操作内容に基づいて、ポインタ83の座標を算出し、IR送信部46に供給する。
IR送信部46は、処理部101からの検知結果に基づいて、処理部101から供給される座標を含むIR信号を生成し、テレビジョン受像機22に送信する。
なお、第2の実施の形態では、処理部101が、ポインタ83の座標を算出するものとして説明する。しかし、IR送信部46が、処理部101からの検知結果に含まれる、ユーザ操作の操作内容に基づいて、ポインタ83の座標を算出し、算出した座標を含むIR信号を生成するようにしてもよい。
さらに、例えば、処理部101は、ポインタ操作領域Aを対象としたユーザの押下操作が行われたときに算出した座標を、座標保持部102に供給して保持させる。
ところで、操作面42aは、静電容量の変化に基づいて、操作面42aに対する、ユーザの指等の押圧の有無も検出することができる。このため、操作面42aにおいて、操作面42aに対する押圧の有無も検出することとすれば、スイッチ42bを省略することができる。
処理部101は、スイッチ42bがオフ状態とされたときから、座標保持部102に保持済みの座標を、例えばポインタ83の座標として、ユーザ操作の操作内容及び操作対象の検知結果とともに、IR送信部46に供給する。
そして、処理部101は、座標保持部102に保持済みの座標を、ポインタ83の座標としてIR送信部46に供給する処理を、スイッチ42bがオフ状態とされてからの経過時間が、予め決められた座標固定時間を経過するまで行う。
すなわち、例えば、処理部101は、スイッチ42bからの検出結果に基づいて、スイッチ42bがオン状態とされたことを識別したことに対応して、座標保持部102に保持済みの座標を、ポインタ83の座標として、IR送信部46に供給する。
そして、処理部101は、スイッチ42bからの検出結果に基づいて、スイッチ42bがオフ状態とされたことを識別したことに対応して、内蔵する計時部101aに計時を開始させる。
なお、例えば、処理部101は、計時部101aを内蔵し、計時部101aは、スイッチ42bがオフ状態とされたときからの経過時間を計時する。
処理部101は、内蔵する計時部101aの計時結果に基づいて、スイッチ42bがオフ状態とされたときから予め決められた座標固定時間を経過したか否かを判定する。
そして、処理部101は、スイッチ42bがオフ状態とされたときから座標固定時間を経過するまで、座標保持部102に保持済みの座標を、IR送信部46に供給する。
なお、ユーザが、操作面42bの押圧を終了した直後から、ポインタ83を移動させる接触移動操作等を行うことは殆どないことが、一般的なユーザのログデータ等を解析した解析結果等によりわかっている。
このため、例えば、座標固定時間は、操作面42bの押圧を終了した直後から、ポインタ83を移動させる接触移動操作等を行うまでの平均的な時間以下の時間とされる。
IR送信部46は、処理部101からの検知結果に基づいて、同じく処理部101から供給される座標を含むIR信号を生成し、テレビジョン受像機22に送信する。IR信号に含まれる座標は、例えば、テレビジョン受像機22の表示画面上のポインタ83等の位置を表す情報として用いられる。
なお、座標固定時間は、予め決められているものとしたが、その他、例えば、ユーザに応じて異なる座標固定時間とすることができる。
すなわち、例えば、図10のリモートコントローラ21の使用前に、処理部101は、ユーザに、操作面42aを対象とした押圧操作を行わせ、その押圧操作から得られる接触面の面積や、スイッチ42bがオン状態とされる押圧時間などにより、座標固定時間を決定する。
さらに、例えば、処理部101は、ユーザの押圧操作により得られる接触面の面積や押圧時間等の履歴を保持するようにしておき、その履歴に基づいて、座標固定時間を変更するようにしてもよい。
また例えば、座標固定時間は、スイッチ42bがオン状態とされている時間を表す押圧時間に基づいて、適宜、決まるようにしてもよい。
座標保持部102は、処理部101から供給される座標を保持する。
次に、図11は、ユーザの押圧操作時における座標の変化などを示している。
図11のAは、ユーザの押圧操作が行われたときに、操作面42aとユーザの指等との接触面の重心が変化(変位)する様子の一例を示している。
図11のBは、ユーザの押圧操作に応じて、スイッチ42bがオン状態又はオフ状態とされるときの一例を示している。
図11のCは、座標を固定せずに、算出される座標をそのまま出力するときの座標の変化の様子の一例を示している。
図11のDは、スイッチ42bがオン状態とされている時間を表す押圧時間だけ、座標を固定(ロック)したときの座標の変化の様子の一例を示している。
図11のEは、さらに、スイッチ42bがオン状態とされたときから、押圧時間よりも長い座標固定時間だけ、座標を固定したときの座標の変化の様子の一例を示している。
図11のAに示されるように、ユーザの押圧操作により、操作面42aとの接触面の重心が変化することが、本発明者が行なった実験により分かっている。
図11のCに示されるような座標を用いる場合、ポインタ83の位置で決定を行うための押圧操作が行われたことに対応し、ユーザの意図に反して、ポインタ83が上下に移動してしまうことが生じ得る。
このため、図11のDに示されるように、スイッチ42bがオン状態とされている押圧時間だけ、ポインタ83の座標を固定するようにして、ポインタ83が、ユーザの意図に反して移動する事態を抑止することが望ましい。
しかしながら、押圧時間だけ、ポインタ83の座標を固定する場合、スイッチ42bがオフ状態とされた後、図11のDに示されるように、ポインタ83が上方向に移動してしまうことが生じ得る。
このため、本開示では、図11のEに示されるように、スイッチ42bがオフ状態とされた後も、しばらくの間、ポインタ83等の座標を固定(ロック)するようにして、ポインタ83が、ユーザの意図に反して移動する事態を防止するようにしている。
なお、スイッチ42bがオン状態とされたときの座標は、スイッチ42bがオン状態とされる直前の座標とは異なるものとなるが、その差異は僅かなものであることが、本発明者の行なった実験によりわかっている。
このため、図10のリモートコントローラ21では、スイッチ42bがオン状態とされたときの座標を、ポインタ83等の座標として固定するようにしている。
また、図10のリモートコントローラ21では、スイッチ42bがオン状態とされたときから、所定時間だけ前の座標(例えば、オン状態とされる直前の座標)を、ポインタ83等の座標として固定するようにしてもよい。なお、この場合、図10のリモートコントローラ21は、算出した座標を一定期間だけ保持するメモリを有しているものとする。
このように構成すれば、スイッチ42bがオン状態とされる際に、ポインタ83等の座標が変化する事態を防止できる。
[図10のリモートコントローラ21の動作説明]
次に、図12のフローチャートを参照して、図10のリモートコントローラ21が行う座標ロック処理について説明する。
ステップS61では、処理部101は、操作面42a及びスイッチ42bからの検出結果と、領域選択部44からの対象ユーザ操作領域に基づいて、ユーザ操作の操作内容及び操作対象を検知する。そして、処理部101は、その検知結果に基づいて、ユーザの指などが接触している操作面42a上の位置に対応する、ポインタ83等の座標を算出する。
すなわち、例えば、処理部101は、領域選択部44からの対象ユーザ操作領域として、ポインタ操作領域Aが供給された場合、検知結果に含まれるユーザ操作の操作内容に基づいて、ポインタ83の座標を算出する。
ステップS62では、処理部101は、操作面42a及びスイッチ42bからの検出結果に基づいて、操作面42aに対する押圧の有無、つまり、スイッチ42bがオン状態とされたか否かを判定する。処理部101は、オン状態とされず、オフ状態のままであると判定した場合、処理をステップS63に進める。
なお、処理部101は、操作面42aの検出結果、又はスイッチ42bからの検出結果の一方に基づいて、操作面42aに対する押圧の有無を判定することもできる。
すなわち、例えば、処理部101は、操作面42aによる、操作面42aに対する押圧の有無の検出結果に基づいて、操作面42aに対する押圧の有無を判定する。なお、操作面42aは、操作面42aの静電容量の変化に基づいて、操作面42aに対する押圧の有無を検出できる。
これは、処理部101が、操作面42aの静電容量の変化に基づいて、操作面42aに対する押圧の有無を判定することと等価であると言える。
また、例えば、処理部101は、スイッチ42bがオン状態又はオフ状態のいずれかであるかを表す、スイッチ42bからの検出結果に基づいて、操作面42aに対する押圧の有無を判定する。これは、処理部101が、スイッチ42bがオン状態であるか否かに基づいて、操作面42aに対する押圧の有無を判定することと等価であると言える。
ステップS63では、処理部101は、ステップS61で算出した座標をIR送信部46に供給する。そして、IR送信部46は、処理部101からの座標を含むIR信号を生成し、処理をステップS66に進める。
また、ステップS62では、処理部101は、操作面42a及びスイッチ42bからの検出結果に基づいて、スイッチ42bがオン状態とされたと判定した場合、処理をステップS64に進める。
ステップS64では、処理部101は、スイッチ42bがオン状態とされたときの座標として、直前のステップS61で算出した座標を、座標保持部102に供給して、上書きにより保持させる。
ステップS65では、処理部101は、座標保持部102から、座標保持部102に保持されている座標を読み出し、IR送信部46に供給する。そして、IR送信部46は、処理部101からの座標を含むIR信号を生成し、処理をステップS66に進める。
ステップS66では、IR送信部46は、生成したIR信号を、無線信号として、テレビジョン受像機22に送信することにより、テレビジョン受像機22を制御する。
ステップS67では、処理部101は、スイッチ42bがオフ状態とされたときからの経過時間を計時する計時部101aの計時結果に基づいて、スイッチ42bがオフ状態とされたときから座標固定時間だけ経過したか否かを判定する。なお、処理部101には、計時部101aが内蔵されている。
処理部101は、計時部101aの計時結果に基づいて、スイッチ42bがオフ状態とされたときから座標固定時間だけ経過していないと判定した場合、処理をステップS65に戻し、それ以降同様の処理を行う。
また、処理部101は、計時部101aの計時結果に基づいて、スイッチ42bがオフ状態とされたときから座標固定時間だけ経過したと判定した場合、処理をステップS61に戻し、それ以降同様の処理を繰り返す。
以上説明したように、座標ロック処理によれば、スイッチ42bがオン状態とされたときから、スイッチ42bがオン状態とされたときの座標を、IR信号に含めて送信するようにした。
さらに、スイッチ42bがオフ状態とされた後も、座標固定時間の間、スイッチ42bがオン状態とされたときの座標を、IR信号に含めて送信するようにしている。
これにより、テレビジョン受像機22の表示画面に表示されるポインタ83の座標は、ユーザの押下操作が行われたときから一定の間、固定されることとなる。
このため、例えば、テレビジョン受像機22の表示画面上のポインタ83が、ユーザの意図に反して移動してしまう事態を防止できるので、操作面42aを用いたユーザ操作の操作性をより向上させることが可能となる。
第2の実施の形態では、図10のリモートコントローラ21が、タッチパッド42からの検出結果等に基づいて、ポインタ83の座標を算出するようにしたが、テレビジョン受像機22側で座標を算出して固定するようにしてもよい。
この場合、例えば、図10のリモートコントローラ21が、タッチパッド42からの検出結果と、領域選択部44からの対象ユーザ操作領域に基づいて、ユーザ操作の操作内容及び操作対象を検知する。また、図10のリモートコントローラ21は、タッチパッド42からの検出結果に基づいて、操作面42aに対する押圧の有無を判定することにより、操作面42aに対する押圧の有無を表す押圧情報を生成(取得)する。
さらに、図10のリモートコントローラ21は、検知した検知結果と、生成した押圧情報を、テレビジョン受像機22に送信する。そして、テレビジョン受像機22が、図10のリモートコントローラ21からの検知結果と押圧情報を受信し、受信した検知結果と押圧情報に基づいて、図12の座標ロック処理と同様の処理を行う。
すなわち、例えば、テレビジョン受像機22は、受信した検知結果に基づいて、ポインタ83の座標を算出する。さらに、テレビジョン受像機22は、受信した押圧情報に基づいて、スイッチ42bがオン状態とされたと判定したときからしばらくの間、ポインタ83の座標を固定させるように、内蔵のディスプレイを制御する。このようにして、テレビジョン受像機22は、ユーザの意図に反して、ポインタ83が移動する事態を防止する。
<3.変形例>
第1の実施の形態では、リモートコントローラ21が、例えば、操作面42a上の開始位置に基づいて、対象ユーザ操作領域を選択するようにした。
しかしながら、その他、例えば、領域選択部44は、操作面42a上の開始位置の他、テレビジョン受像機22の表示画面に表示されるコンテンツの状態にも基づいて、対象ユーザ操作領域を選択するようにしてもよい。
なお、リモートコントローラ21において、コンテンツの状態は、例えば、リモートコントローラ21に対するユーザ操作に基づき認識される。また、例えば、テレビジョン受像機22からリモートコントローラ21に、適宜、コンテンツの状態を送信するようにして、コンテンツの状態を、リモートコントローラ21に認識させるようにしてもよい。
すなわち、例えば、テレビジョン受像機22の表示画面に、再生中のコンテンツが表示されている場合に、ユーザの指等が操作面42aに接触したとき、領域選択部44は、操作面42a上の開始位置に拘らず、予め決められた対象ユーザ操作領域を選択してもよい。
具体的には、例えば、領域選択部44は、操作面42a上の開始位置に拘らず、予め決められた対象ユーザ操作領域として、再生中のコンテンツを操作対象とするユーザ操作領域(例えば、ボタン領域C)を選択する。
なお、例えば、テレビジョン受像機22の表示画面に、再生中のコンテンツが表示されていない場合に、ユーザの指等が操作面42aに接触したとき、領域選択部44は、操作面42a上の開始位置に基づいて、対象ユーザ操作領域を選択することとなる。
なお、領域選択部44は、操作面42a上の開始位置とコンテンツの状態を用いる他、操作面42a上の開始位置、タップ操作までの所要時間、及びコンテンツの状態を用いて、対象ユーザ操作領域を選択することもできる。
さらに、例えば、ユーザが、ポインタ操作領域Aを対象とした接触移動操作により、ポインタ83をコンテンツ上に移動させたところで、押下操作を行った場合、テレビジョン受像機22の表示画面には、再生中のコンテンツが表示されることとなる。
この場合、例えば、領域選択部44は、ユーザの押下操作に対応して、操作面42a上の開始位置等に拘らず、再生対象のコンテンツを操作対象とするユーザ操作領域(例えば、ボタン領域C)を、対象ユーザ操作領域として選択するようにしてもよい。
なお、再生対象のコンテンツは、例えば、インターネット等を介してテレビジョン受像機22と接続されたサーバに保持されているものとする。
また、例えば、領域選択部44は、操作面42a上の開始位置の他、ユーザの状態にも基づいて、対象ユーザ操作領域を選択するようにしてもよい。
すなわち、例えば、ユーザが操作面42aを視認している場合、領域選択部44は、操作面42a上の開始位置に基づいて、対象ユーザ操作領域を選択する。
これは、ユーザが操作面42aを視認した状態で、ユーザ操作を行う場合、ユーザ操作の対象とされる所望のユーザ操作領域を、ユーザの指などで正確に触れることができることによる。
また、例えば、ユーザが操作面42aを視認していない場合、領域選択部44は、操作面42a上の開始位置に拘らず、予め決められた対象ユーザ操作領域を選択する。
具体的には、例えば、ユーザが操作面42aを視認していない場合、ユーザは、テレビジョン受像機22の表示画面に表示されたコンテンツを視聴している可能性が高い。このため、例えば、領域選択部44は、コンテンツを操作対象とする対象ユーザ操作領域(例えば、ボタン領域C)を選択する。
なお、領域選択部44は、操作面42a上の開始位置とユーザの状態を用いる他、操作面42a上の開始位置、タップ操作までの所要時間、及びユーザの状態を用いて、対象ユーザ操作領域を選択することもできる。
ここで、ユーザの状態は、例えば、ユーザの撮像を行う撮像部から得られる撮像画像に基づいて、リモートコントローラ21により判定される。なお、撮像部は、例えば、リモートコントローラ21又はテレビジョン受像機22の一方に設けられているように構成することができる。
第1の実施の形態では、リモートコントローラ21が、タッチパッド42からの検出結果に基づいて、操作面42a上の開始位置を算出し、算出した開始位置に基づいて、対象ユーザ操作領域を選択するようにした。そして、リモートコントローラ21は、選択した対象ユーザ操作領域を対象とするユーザ操作を検知するようにした。
しかしながら、その他、例えば、テレビジョン受像機22が、リモートコントローラ21の操作面42aに対するユーザ操作を検知するように構成することができる。
この場合、リモートコントローラ21が、算出した開始位置や、タッチパッド42からの検出結果を、テレビジョン受像機22に送信する。
これに対して、テレビジョン受像機22は、リモートコントローラ21から、開始位置や検出結果を受信し、受信した開始位置に基づいて、対象ユーザ操作領域を選択する。そして、テレビジョン受像機22は、同じくリモートコントローラ21から受信した検出結果に基づいて、選択した対象ユーザ操作領域を対象とするユーザ操作を検知して、検知したユーザ操作に応じた処理を行う。つまり、テレビジョン受像機22は、リモートコントローラ21から受信した検出結果に基づいて、対象ユーザ操作領域に対応付けられた動作を決定し、決定した動作(例えば、ポインタ83を移動させる動作等)を行う。このことは、第2の実施の形態においても同様である。
その他、例えば、テレビジョン受像機22にセットトップボックスが接続されている場合、テレビジョン受像機22に代えて、セットトップボックスが、リモートコントローラ21からの開始位置や検出結果を受信するようにして、ユーザ操作を検知するようにしてもよい。
ここで、セットトップボックスとは、受信した放送信号をテレビジョン受像機22で再生可能な信号に変換するための装置をいう。
また、第1及び第2の実施の形態では、コンテンツを表示する表示画面とは異なる箇所に設けられた操作面42aを有するリモートコントローラ21について説明した。しかしながら、本技術は、例えば、コンテンツ等を表示する表示画面としても機能する操作面42aを有するスマートフォン等にも適用することができる。
ところで、図1乃至図9で説明した本技術は、以下の構成をとることができる。
(1)ユーザ操作を検知する検知装置において、ユーザ操作の対象とされるとともに、前記ユーザ操作に応じて検知される、前記ユーザ操作の操作内容又は操作対象の少なくとも一方が異なるユーザ操作領域を重複して配置した操作面に対する接触が開始されたときの前記操作面上の位置を表す開始位置を取得する取得部と、前記開始位置に基づいて、重複して配置された複数の前記ユーザ操作領域のうち、前記ユーザ操作の対象とされたユーザ操作領域に対応付けられた動作を決定する決定部とを含み、前記操作面は、コンテンツを表示する表示画面とは異なる箇所に設けられている検知装置。
(2)前記取得部は、前記操作面を対象とした新たな接触が開始されたことに対応して、新たな前記接触が開始されたときの前記操作面上の前記開始位置を取得する前記(1)に記載の検知装置。
(3)前記操作面に対する接触が終了したときから、前記操作面に対する新たな接触が開始されるまでに要した所要時間を計測する時間計測部をさらに含み、前記決定部は、前記所要時間にも基づいて、前記ユーザ操作の対象とされたユーザ操作領域に対応付けられた動作を決定する前記(1)又は(2)に記載の検知装置。
(4)前記決定部は、前記表示画面上の前記コンテンツの状態にも基づいて、前記ユーザ操作の対象とされたユーザ操作領域に対応付けられた動作を決定する前記(1)又は(2)に記載の検知装置。
(5)前記決定部は、前記コンテンツが再生中である場合、前記開始位置に拘らず、前記コンテンツを操作対象とする前記対象ユーザ操作領域に対応付けられた動作を決定し、前記コンテンツが再生中ではない場合、前記開始位置に基づいて、前記ユーザ操作の対象とされたユーザ操作領域に対応付けられた動作を決定する前記(4)に記載の検知装置。
(6)前記決定部は、ユーザによる前記操作面の視認の有無にも基づいて、前記対象ユーザ操作領域に対応付けられた動作を決定する前記(1)又は(2)に記載の検知装置。
(7)前記決定部は、前記ユーザが前記操作面を視認している場合、前記開始位置に基づいて、前記ユーザ操作の対象とされたユーザ操作領域に対応付けられた動作を決定し、前記ユーザが前記操作面を視認していない場合、前記開始位置に拘らず、予め決められた前記対象ユーザ操作領域に対応付けられた動作を決定する前記(6)に記載の検知装置。
(8)前記ユーザの撮像を行う撮像部から得られた撮像画像に基づいて、前記ユーザが前記操作面を視認しているか否かを判定する判定部をさらに含む前記(6)又は(7)に記載の検知装置。
(9)前記決定部は、前記表示画面上の前記コンテンツを再生するための前記押圧操作が行われたことに対応して、前記開始位置に拘らず、前記コンテンツを操作対象とする前記対象ユーザ操作領域に対応付けられた動作を決定する前記(1)又は(2)に記載の検知装置。
(10)前記操作面に対する接触又は押圧の少なくとも一方を検出する検出部をさらに含み、前記取得部は、前記検出部の検出結果に基づいて、前記開始位置を算出することにより取得する前記(1)乃至(9)に記載の検知装置。
(11)前記取得部は、前記ユーザ操作に応じて前記開始位置を検出する操作入力装置から送信される前記開始位置を受信することにより取得する前記(1)乃至(9)に記載の検知装置。
(12)ユーザ操作を検知する検知装置の検知方法において、前記検知装置による、ユーザ操作の対象とされるとともに、前記ユーザ操作に応じて検知される、前記ユーザ操作の操作内容又は操作対象の少なくとも一方が異なるユーザ操作領域を重複して配置した操作面に対する接触が開始されたときの前記操作面上の位置を表す開始位置を取得する取得ステップと、前記開始位置に基づいて、重複して配置された複数の前記ユーザ操作領域のうち、前記ユーザ操作の対象とされたユーザ操作領域に対応付けられた動作を決定する決定ステップとを含み、前記操作面は、コンテンツを表示する表示画面とは異なる箇所に設けられている検知方法。
(13)コンピュータを、ユーザ操作の対象とされるとともに、前記ユーザ操作に応じて検知される、前記ユーザ操作の操作内容又は操作対象の少なくとも一方が異なるユーザ操作領域を重複して配置した操作面に対する接触が開始されたときの前記操作面上の位置を表す開始位置を取得する取得部と、前記開始位置に基づいて、重複して配置された複数の前記ユーザ操作領域のうち、前記ユーザ操作の対象とされたユーザ操作領域に対応付けられた動作を決定する決定部として機能させるためのプログラムであって、前記操作面は、コンテンツを表示する表示画面とは異なる箇所に設けられているプログラム。
また、図10乃至図12で説明した本技術は、以下の構成をとることができる。
(1)表示画面上の操作対象を操作するユーザ操作の対象とされる操作面に対する押圧の有無を表す押圧情報を取得する取得部と、前記押圧情報に基づいて、少なくとも前記操作面に対する押圧が行われている間、前記操作面を対象とする前記ユーザ操作に拘らず、前記操作対象の座標を固定させる制御部とを含む情報処理装置。
(2)前記操作面に対する押圧が検出されなくなったときから経過した経過時間を計時する計時部を含み、前記制御部は、さらに、前記経過時間が、前記押圧が検出されなくなってから前記操作対象の座標を固定する時間を表す座標固定時間を経過するまでの間、前記操作対象の座標を固定させる前記(1)に記載の情報処理装置。
(3)前記制御部は、前記操作対象の座標を、前記操作面に対する押圧が検出されたときの座標に固定させる前記(1)又は(2)に記載の情報処理装置。
(4)前記制御部は、予め決められた前記座標固定時間が経過するまでの間、前記操作対象の座標を固定させる前記(2)に記載の情報処理装置。
(5)前記制御部は、前記ユーザ操作の押圧が行われていた押圧時間に基づき算出される前記座標固定時間が経過するまでの間、前記操作対象の座標を固定させる前記(2)に記載の情報処理装置。
(6)ユーザが行なった前記押圧の履歴を表す履歴情報に基づいて、前記座標固定時間を変更する変更部をさらに含み、前記制御部は、変更済みの前記座標固定時間が経過するまでの間、前記操作対象の座標を固定させる前記(1)又は(2)に記載の情報処理装置。
(7)前記取得部は、前記操作面に対する押圧の有無を判定することにより、前記押圧情報を取得する前記(1)に記載の情報処理装置。
(8)前記操作面をさらに含み、前記取得部は、前記操作面の静電容量の変化に基づいて、前記操作面に対する押圧の有無を判定することにより、前記押圧情報を取得する前記(7)に記載の情報処理装置。
(9)前記取得部は、前記操作面に対する押圧の有無を判定する操作入力装置から送信される前記押圧情報を受信することにより取得する前記(1)に記載の情報処理装置。
(10)ユーザ操作に応じて処理を行う情報処理装置の情報処理方法において、前記情報処理装置による、表示画面上の操作対象を操作するユーザ操作の対象とされる操作面に対する押圧の有無を表す押圧情報を取得する取得ステップと、前記押圧情報に基づいて、少なくとも前記操作面に対する押圧が行われている間、前記操作面を対象とする前記ユーザ操作に拘らず、前記操作対象の座標を固定させる制御ステップとを含む情報処理方法。
(11)コンピュータを、表示画面上の操作対象を操作するユーザ操作の対象とされる操作面に対する押圧の有無を表す押圧情報を取得する取得部と、前記押圧情報に基づいて、少なくとも前記操作面に対する押圧が行われている間、前記操作面を対象とする前記ユーザ操作に拘らず、前記操作対象の座標を固定させる制御部として機能させるためのプログラム。
上述した一連の処理は、例えばハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。
[コンピュータの構成例]
図13は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示している。
CPU(Central Processing Unit)201は、ROM(Read Only Memory)202、又は記憶部208に記憶されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)203には、CPU201が実行するプログラムやデータ等が適宜記憶される。これらのCPU201、ROM202、及びRAM203は、バス204により相互に接続されている。
CPU201にはまた、バス204を介して入出力インタフェース205が接続されている。入出力インタフェース205には、キーボード、マウス、マイクロホン等よりなる入力部206、ディスプレイ、スピーカ等よりなる出力部207が接続されている。CPU201は、入力部206から入力される指令に対応して各種の処理を実行する。そして、CPU201は、処理の結果を出力部207に出力する。
入出力インタフェース205に接続されている記憶部208は、例えばハードディスクからなり、CPU201が実行するプログラムや各種のデータを記憶する。通信部209は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
また、通信部209を介してプログラムを取得し、記憶部208に記憶してもよい。
入出力インタフェース205に接続されているドライブ210は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア211が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部208に転送され、記憶される。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録(記憶)する記録媒体は、図13に示すように、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini-Disc)を含む)、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア211、又は、プログラムが一時的もしくは永続的に格納されるROM202や、記憶部208を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部209を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
さらに、本開示は、上述した第1及び第2の実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
21,21' リモートコントローラ, 22 テレビジョン受像機, 41 操作ボタン, 41a ドラッグボタン, 42 タッチパッド, 42a 操作面, 42b スイッチ, 42c1,42c2 弾性体, 43 処理部, 44 領域選択部, 45 時間計測部, 46 IR送信部, 101 処理部, 101a 計時部, 102 座標保持部

Claims (13)

  1. ユーザ操作を検知する検知装置において、
    ユーザ操作の対象とされるとともに、前記ユーザ操作に応じて検知される、前記ユーザ操作の操作内容又は操作対象の少なくとも一方が異なるユーザ操作領域を重複して配置した操作面に対する接触が開始されたときの前記操作面上の位置を表す開始位置を取得する取得部と、
    前記開始位置に基づいて、重複して配置された複数の前記ユーザ操作領域のうち、前記ユーザ操作の対象とされたユーザ操作領域に対応付けられた動作を決定する決定部と
    を含み、
    前記操作面は、コンテンツを表示する表示画面とは異なる箇所に設けられている
    検知装置。
  2. 前記取得部は、前記操作面を対象とした新たな接触が開始されたことに対応して、新たな前記接触が開始されたときの前記操作面上の前記開始位置を取得する
    請求項1に記載の検知装置。
  3. 前記操作面に対する接触が終了したときから、前記操作面に対する新たな接触が開始されるまでに要した所要時間を計測する時間計測部をさらに含み、
    前記決定部は、前記所要時間にも基づいて、前記ユーザ操作の対象とされたユーザ操作領域に対応付けられた動作を決定する
    請求項2に記載の検知装置。
  4. 前記決定部は、前記表示画面上の前記コンテンツの状態にも基づいて、前記ユーザ操作の対象とされたユーザ操作領域に対応付けられた動作を決定する
    請求項2に記載の検知装置。
  5. 前記決定部は、
    前記コンテンツが再生中である場合、前記開始位置に拘らず、前記コンテンツを操作対象とする前記対象ユーザ操作領域に対応付けられた動作を決定し、
    前記コンテンツが再生中ではない場合、前記開始位置に基づいて、前記ユーザ操作の対象とされたユーザ操作領域に対応付けられた動作を決定する
    請求項4に記載の検知装置。
  6. 前記決定部は、ユーザによる前記操作面の視認の有無にも基づいて、前記対象ユーザ操作領域を選択する
    請求項2に記載の検知装置。
  7. 前記決定部は、
    前記ユーザが前記操作面を視認している場合、前記開始位置に基づいて、前記ユーザ操作の対象とされたユーザ操作領域に対応付けられた動作を決定し、
    前記ユーザが前記操作面を視認していない場合、前記開始位置に拘らず、予め決められた前記対象ユーザ操作領域に対応付けられた動作を決定する
    請求項6に記載の検知装置。
  8. 前記ユーザの撮像を行う撮像部から得られた撮像画像に基づいて、前記ユーザが前記操作面を視認しているか否かを判定する判定部
    をさらに含む請求項6に記載の検知装置。
  9. 前記決定部は、前記表示画面上の前記コンテンツを再生するための前記押圧操作が行われたことに対応して、前記開始位置に拘らず、前記コンテンツを操作対象とする前記対象ユーザ操作領域に対応付けられた動作を決定する
    請求項2に記載の検知装置。
  10. 前記操作面に対する接触又は押圧の少なくとも一方を検出する検出部をさらに含み、
    前記取得部は、前記検出部の検出結果に基づいて、前記開始位置を算出することにより取得する
    請求項1に記載の検知装置。
  11. 前記取得部は、前記ユーザ操作に応じて前記開始位置を検出する操作入力装置から送信される前記開始位置を受信することにより取得する
    請求項1に記載の検知装置。
  12. ユーザ操作を検知する検知装置の検知方法において、
    前記検知装置による、
    ユーザ操作の対象とされるとともに、前記ユーザ操作に応じて検知される、前記ユーザ操作の操作内容又は操作対象の少なくとも一方が異なるユーザ操作領域を重複して配置した操作面に対する接触が開始されたときの前記操作面上の位置を表す開始位置を取得する取得ステップと、
    前記開始位置に基づいて、重複して配置された複数の前記ユーザ操作領域のうち、前記ユーザ操作の対象とされたユーザ操作領域に対応付けられた動作を決定する決定ステップと
    を含み、
    前記操作面は、コンテンツを表示する表示画面とは異なる箇所に設けられている
    検知方法。
  13. コンピュータを、
    ユーザ操作の対象とされるとともに、前記ユーザ操作に応じて検知される、前記ユーザ操作の操作内容又は操作対象の少なくとも一方が異なるユーザ操作領域を重複して配置した操作面に対する接触が開始されたときの前記操作面上の位置を表す開始位置を取得する取得部と、
    前記開始位置に基づいて、重複して配置された複数の前記ユーザ操作領域のうち、前記ユーザ操作の対象とされたユーザ操作領域に対応付けられた動作を決定する決定部と
    して機能させるためのプログラムであって、
    前記操作面は、コンテンツを表示する表示画面とは異なる箇所に設けられている
    プログラム。
JP2014521333A 2012-06-22 2013-06-11 検知装置、検知方法、及びプログラム Pending JPWO2013191028A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012141489 2012-06-22
JP2012141489 2012-06-22
PCT/JP2013/066026 WO2013191028A1 (ja) 2012-06-22 2013-06-11 検知装置、検知方法、及びプログラム

Publications (1)

Publication Number Publication Date
JPWO2013191028A1 true JPWO2013191028A1 (ja) 2016-05-26

Family

ID=49768628

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014521333A Pending JPWO2013191028A1 (ja) 2012-06-22 2013-06-11 検知装置、検知方法、及びプログラム

Country Status (3)

Country Link
US (2) US10558352B2 (ja)
JP (1) JPWO2013191028A1 (ja)
WO (1) WO2013191028A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6100820B2 (ja) * 2015-03-10 2017-03-22 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、ポインティングデバイスの操作方法、及びコンピュータが実行可能なプログラム
JP2017224195A (ja) * 2016-06-16 2017-12-21 パイオニア株式会社 入力装置
CN106375812A (zh) * 2016-09-05 2017-02-01 深圳Tcl数字技术有限公司 电视机智能操作提示方法、装置及系统
CN109521893B (zh) * 2018-10-17 2022-11-25 京东方科技集团股份有限公司 触控笔、触控面板、触控感测系统及其控制方法
JP2021077010A (ja) * 2019-11-07 2021-05-20 株式会社東海理化電機製作所 指示入力装置、制御装置、およびコンピュータプログラム
JP2021093177A (ja) * 2021-02-10 2021-06-17 パイオニア株式会社 入力装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11339684A (ja) * 1998-05-26 1999-12-10 Sony Corp 陰極線管用電子銃
US6765557B1 (en) * 2000-04-10 2004-07-20 Interlink Electronics, Inc. Remote control having touch pad to screen mapping
JP2007122793A (ja) * 2005-10-26 2007-05-17 Olympus Imaging Corp 再生装置
JP2007280019A (ja) 2006-04-06 2007-10-25 Alps Electric Co Ltd 入力装置およびこの入力装置を使用したコンピュータシステム
US8120586B2 (en) * 2007-05-15 2012-02-21 Htc Corporation Electronic devices with touch-sensitive navigational mechanisms, and associated methods
JP5239328B2 (ja) 2007-12-21 2013-07-17 ソニー株式会社 情報処理装置及びタッチ動作認識方法
JP4577586B2 (ja) * 2008-03-26 2010-11-10 株式会社デンソー 車両用操作装置
US8106783B2 (en) 2008-03-12 2012-01-31 Denso Corporation Input apparatus, remote controller and operating device for vehicle
US20100085314A1 (en) * 2008-10-08 2010-04-08 Research In Motion Limited Portable electronic device and method of controlling same
US20100088632A1 (en) * 2008-10-08 2010-04-08 Research In Motion Limited Method and handheld electronic device having dual mode touchscreen-based navigation
US8963844B2 (en) * 2009-02-26 2015-02-24 Tara Chand Singhal Apparatus and method for touch screen user interface for handheld electronic devices part I
US8566045B2 (en) 2009-03-16 2013-10-22 Apple Inc. Event recognition
US9311112B2 (en) 2009-03-16 2016-04-12 Apple Inc. Event recognition
US8566044B2 (en) 2009-03-16 2013-10-22 Apple Inc. Event recognition
US8285499B2 (en) 2009-03-16 2012-10-09 Apple Inc. Event recognition
US8745518B2 (en) * 2009-06-30 2014-06-03 Oracle America, Inc. Touch screen input recognition and character selection
KR102033764B1 (ko) * 2010-10-06 2019-10-17 삼성전자주식회사 리모트 컨트롤러에서의 ui 표시 방법 및 이를 이용한 리모트 컨트롤러
CN203287883U (zh) 2010-12-20 2013-11-13 苹果公司 电子设备及其信息处理装置
KR101645685B1 (ko) 2010-12-20 2016-08-04 애플 인크. 이벤트 인식
JP5731294B2 (ja) * 2011-06-27 2015-06-10 アルプス電気株式会社 入力パッドを用いた入力方法および入力装置
CN104106039A (zh) * 2012-02-15 2014-10-15 索尼爱立信移动通讯股份有限公司 由用户注视确定的触摸板的功能

Also Published As

Publication number Publication date
US11372538B2 (en) 2022-06-28
WO2013191028A1 (ja) 2013-12-27
US10558352B2 (en) 2020-02-11
US20200142584A1 (en) 2020-05-07
US20150169215A1 (en) 2015-06-18

Similar Documents

Publication Publication Date Title
US11520467B2 (en) Input device and user interface interactions
US11372538B2 (en) Detection device and detection method
EP2287809B1 (en) Image processing device, image processing method, and computer program
US8913026B2 (en) System for linking and controlling terminals and user terminal used in the same
KR100827228B1 (ko) 터치 기능을 갖는 영역 분할 수단을 제공하는 장치 및 그방법
US20150058729A1 (en) Method and apparatus for controls based on concurrent gestures
US20120179967A1 (en) Method and Apparatus for Gesture-Based Controls
CA2823388A1 (en) Method and apparatus for gesture based controls
EP2663087A2 (en) Media system and method of providing recommended search term corresponding to an image
JP2010055274A (ja) 再生装置、再生方法、およびプログラム
US20090085764A1 (en) Remote control apparatus and method thereof
US20150339026A1 (en) User terminal device, method for controlling user terminal device, and multimedia system thereof
US10528186B2 (en) Systems and methods for controlling playback of a media asset using a touch screen
WO2012104288A1 (en) A device having a multipoint sensing surface
CN102253796A (zh) 信息处理系统和信息处理装置
WO2014099893A2 (en) Multi-tough gesture for movement of media
WO2011158401A1 (ja) 入力装置、判定方法及び判定プログラム
US20140333421A1 (en) Remote control device, display apparatus, and method for controlling the remote control device and the display apparatus thereof
US20130244730A1 (en) User terminal capable of sharing image and method for controlling the same
KR20150066112A (ko) 리모컨에 의해 제어 가능한 디스플레이 장치 및 이를 포함하는 디스플레이 시스템와 그 제어 방법
KR20170072666A (ko) 디스플레이 장치, 원격 제어 장치 및 그 제어 방법
US20140091986A1 (en) Information display apparatus, control method, and computer program product
KR101515912B1 (ko) 이미지 공유가 가능한 사용자 단말기 및 이의 제어 방법
JP2014110560A (ja) 情報処理装置、サーバ装置およびプログラム
CN107256125A (zh) 存储装置、移动终端及其多媒体循环播放的控制方法