JP6391486B2 - 情報処理装置、操作制御システムおよび操作制御方法 - Google Patents

Description

本発明は、情報処理装置、操作制御システムおよび操作制御方法に関し、特に、ユーザの指によって操作できるようになされた情報処理装置、操作制御システムおよび操作制御方法に用いて好適なものである。

従来、入力装置としてタッチパネルを備えた車載装置が多く存在する。これにより、車載装置は、ユーザが指でタッチパネルの接触操作を行うことにより、その接触操作に応じた機能を実行することができるようになっている。例えば、ディスプレイに地図画面が表示されているときに、ユーザが１本の指により、地図画面内の任意の地点に対するタッチ操作を行うと、その地点を処理（例えば、目的地設定処理、地点登録処理等）の対象地点として指定することができる。また、ディスプレイに地図画面が表示されているときに、ユーザが１本の指により、タッチパネルのスワイプ操作を行うと、そのスワイプ操作がなされた方向に地図画面をスクロールさせることができる。

また、車載装置の中には、２本の指による直感的な操作を行うことができるようになっているものもある。例えば、２本の指をタッチパネルに接触させたまま、２本の指の間隔を狭める操作（ピンチイン操作）を行うことにより地図画面を縮小したり、２本の指の間隔を広げる操作（ピンチアウト操作）を行うことにより地図画面を拡大したりすることができる。このように、２本の指を用いたタッチパネルの操作により、１本の指を用いたタッチパネルの操作では成し得なかった機能を実行できるようになる。

これ以外にも、情報処理装置の操作方法として、例えば、下記特許文献１には、オペレータの手首に装着された筋電信号検出装置によって筋電信号を検出して、検出された筋電信号に基づいて指の動作および手を握る力を認識し、認識された指の動作と手を握る力との組み合わせに対応付けられている命令を実行する技術が開示されている。この技術によれば、キーボード操作を熟知していないユーザであっても、キーボードに因らずに手のジェスチャのみによって制御対象を簡単に制御できるとされている。

なお、下記特許文献２には、加速度センサや圧力センサ等の振動検出センサの検出信号より振動モードを検出し、検出された振動モードと予め測定済みの各硬さに対応した振動モードとに基づいて、生体の被測定部位の硬さ測定を行う技術が開示されている。

特開平７−２４８８７３号公報 特開昭５９−１６８８３５号公報

しかしながら、ユーザが車両の運転中に、２本の指を用いたタッチパネルの操作（例えば、ピンチイン操作、ピンチアウト操作等）を行うことは困難であった。モニタの位置によっては手が不自然な姿勢となったり、車両の振動によって指がタッチパネルから離れてしまったりするからである。１本の指によるタッチパネルの接触操作では、このような問題が生じにくいが、操作の種類が少ない（通常、タッチ操作とスワイプ操作との２種類のみである）ため、実行できる機能がごく少数に限られてしまう。

なお、上記特許文献１に係る技術は、手のジェスチャによる複数種類の操作が可能である。しかしながら、上記特許文献１に係る技術は、接触操作を伴わないために、誤動作が生じやすい。例えば、上記特許文献１に係る技術を車載装置に適用した場合、運転手の手の動きを誤ってジェスチャとして検出してしまい、運転手が意図しない処理が実行されてしまう虞がある。

本発明は、このような問題を解決するために成されたものであり、誤動作を生じさせることなく、より多くの機能を１本の指による操作部の接触操作で実行することができるようにすることを目的とする。

上記した課題を解決するために、本発明では、ユーザの指による異なる種類の接触操作が可能なタッチパネルにより構成された操作部を備えた情報処理装置において、ユーザの片方の手の複数の指の各々の状態を特定可能な情報を取得し、取得された情報に基づいて、ユーザの当該片方の手のいずれか１本の指による操作部の接触操作が行われたときの、複数の指の各々の状態を特定し、特定された複数の指の各々の状態の組み合わせである手の状態と、１本の指による操作部の接触操作の種類との組み合わせに対応付けられている機能を、操作部の接触操作に応じて実行するようにしている。

上記のように構成した本発明によれば、ユーザは、いずれか１本の指にて操作部の接触操作を行う際に、複数の指の各々の状態を変化させるだけで、異なる複数の機能を情報処理装置に実行させることができる。特に、本発明によれば、ユーザが操作部に指を接触させない限り、そのときの指の状態に応じた機能が実行されることはない。すなわち、本発明によれば、誤動作を生じさせることなく、より多くの機能を１本の指による操作部の接触操作で実行することができる。

本発明の第１実施形態に係る操作制御システムの機能構成例を示すブロック図である。 本発明の第１実施形態に係るリストバンドの構成例を示す図である。 本発明の第１実施形態に係る指状態特定情報記憶部に記憶されている指状態特定情報の一例を示す図である。 本発明の第１実施形態に係る対応機能情報記憶部に記憶されている対応機能情報の一例を示す図である。 本発明の一実施形態に係る車載装置による処理の一例を示すフローチャートである。 本発明の第２実施形態に係る操作制御システムの機能構成例を示すブロック図である。 本発明の第２実施形態に係る対応機能情報記憶部に記憶されている対応機能情報の一例を示す図である。

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本発明の第１実施形態に係る操作制御システム１の機能構成例を示すブロック図である。図１に示す操作制御システム１は、車載装置１０とリストバンド２０とを備えて構成されている。

車載装置１０は、特許請求の範囲に記載の情報処理装置の一例であって、自動車等の車両に搭載されている装置である。車載装置１０は、例えば、ナビゲーション機能、オーディオ機能等を備えている。

リストバンド２０は、特許請求の範囲に記載の外部機器の一例であって、図２（ｂ）に示すようにユーザの手首に装着される装置である。図２（ａ）に示すように、リストバンド２０は、複数の圧力センサ２１および送信部２２を備えている。これにより、リストバンド２０は、複数の圧力センサ２１によってユーザの手首から検出した圧力値を車載装置１０へ送信できるようになっている。

図１に示すように、車載装置１０は、ディスプレイ１０１、タッチパネル１０２、スピーカ１０３、指状態特定情報記憶部１０４および対応機能情報記憶部１０５を備えている。また、車載装置１０は、その機能構成として、取得部１１１、指状態特定部１１２、機能実行部１１３および学習部１１４を備えている。

上記各機能ブロック１１１〜１１４は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１１１〜１１４は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。

ディスプレイ１０１は、各種情報（例えば、メニュー画面、地図画面、オーディオ操作画面等）を表示する。ディスプレイ１０１には、例えば液晶ディスプレイ、有機ＥＬディスプレイ等が用いられる。スピーカ１０３は、各種音声（例えば、ナビゲーション案内音声、オーディオ音声等）を出力する。

タッチパネル１０２は、各種操作（例えば、メニュー操作、地図画面の拡大操作、地図画面の縮小操作、ボリュームアップ操作、ボリュームダウン操作等）を行うための操作部の一例である。タッチパネル１０２は、ディスプレイ１０１の表面に重ねて設けられている。なお、本発明の操作部は、タッチパネルに限らず、タッチパネル以外の他の装置（例えば、１本の指で操作可能なハードウェアキー等）であってもよい。

指状態特定情報記憶部１０４は、ユーザの手の状態（複数の指の各々の状態の組み合わせ）を特定するための情報（以下、「指状態特定情報」と称する）を記憶する。指状態特定情報は、リストバンド２０が備える８つの圧力センサ２１の圧力値の組み合わせに関する３つのパターンに対し、ユーザの手の３つの状態（「人差し」、「パー」、「チョキ」）を対応付けて記憶したものである。なお、指状態特定情報の詳細については、図３を用いて後述する。

対応機能情報記憶部１０５は、ユーザの手の状態とタッチパネル１０２に対する接触操作の内容とに応じて機能実行部１１３によって実行される機能を特定するための情報（以下、「対応機能情報」と称する）を記憶する。対応機能情報は、ユーザの３つの手の状態（「人差し」、「パー」、「チョキ」）と２種類の接触操作（タッチ、スワイプ）との組み合わせに応じて、機能実行部１１３によって実行される機能を対応付けて記憶したものである。なお、対応機能情報の詳細については、図４を用いて後述する。

取得部１１１は、ユーザの複数の指の各々の状態を特定可能な情報（以下、「指状態特定可能情報」と称する）を取得する。指状態特定部１１２は、取得部１１１によって取得された指状態特定可能情報に基づいて、ユーザのいずれか１本の指によるタッチパネル１０２の接触操作が行われたときの、ユーザの手の状態（複数の指の各々の状態の組み合わせ）を特定する。機能実行部１１３は、指状態特定部１１２によって特定されたユーザの手の状態（複数の指の各々の状態の組み合わせ）に対応付けられている機能を、タッチパネル１０２の接触操作に応じて実行する。

本実施形態では、取得部１１１は、指状態特定可能情報として、リストバンド２０から送信された、ユーザの手首の筋肉からの圧力値を取得する。これに応じて、指状態特定部１１２は、取得部１１１によって取得されたユーザの手首の筋肉からの圧力値に基づいて、指状態特定情報記憶部１０４に記憶されている指状態特定情報を参照することにより、複数の指のうちの伸長状態にある指の組み合わせを特定する。

本実施形態では、リストバンド２０は、８つの圧力センサ２１によって検出された圧力値を、繰り返し送信するようになっている。これに応じて、取得部１１１は、リストバンド２０から送信された圧力値を繰り返し取得する。指状態特定部１１２は、取得部１１１が繰り返し取得した圧力値のうち、タッチパネル１０２に対する接触がなされた直前に取得した圧力値に基づいて、指状態特定情報記憶部１０４に記憶されている指状態特定情報を参照することにより、複数の指のうちの伸長状態にある指の組み合わせを特定する。

また、本実施形態では、指状態特定部１１２は、複数の圧力センサ２１のうちの第１の閾値ｔｈ１より大きい圧力値（第１の強度分類に属する圧力値）が得られた圧力センサと、第１の閾値ｔｈ１より小さく第２の閾値ｔｈ２より大きい圧力値（第２の強度分類に属する圧力値）が得られた圧力センサとの組み合わせに基づいて、複数の指のうちの伸長状態にある指の組み合わせを特定する。そして、機能実行部１１３は、対応機能情報記憶部１０５に記憶されている対応機能情報にて、指状態特定部１１２によって特定された伸長状態にある指の組み合わせに対応付けられている機能を、タッチパネル１０２の接触操作に応じて実行する。

学習部１１４は、ユーザの手首にリストバンド２０が装着されたとき、ユーザの手の状態（伸長状態にある指の組み合わせ）毎に、ユーザの手首の筋肉からの圧力値を８つの圧力センサ２１から取得する。そして、学習部１１４は、取得した手の状態毎の圧力値に基づいて、手の状態毎の指状態特定情報を生成し、当該指状態特定情報を指状態特定情報記憶部１０４に記憶させる。

例えば、ユーザが車載装置１０を学習モードに切り換えて、手を各状態（例えば、「人差し」、「パー」、「チョキ」）に順次変化させる。これにより、学習部１１４は、ユーザの手の状態毎に、８つの圧力センサ２１によって検出された圧力値を、取得部１１１を介してリストバンド２０から取得する。そして、学習部１１４は、図３に示すように、手の状態毎に、８つの圧力センサ２１のうち、第１の強度分類に属する圧力値（圧力値＞第１のｔｈ１）が得られた圧力センサ２１に「○」を設定し、第２の強度分類に属する圧力値（第１の閾値ｔｈ１＞圧力値＞第２の閾値ｔｈ２）が得られた圧力センサ２１に「△」を設定し、それ以外の圧力センサ２１に「−」を設定する。これにより、学習部１１４は、図３に示すような、手の状態毎に圧力センサ毎の強度分類が設定された指状態特定情報を生成する。そして、学習部１１４は、生成した指状態特定情報を、指状態特定情報記憶部１０４に記憶させる。

このように、ユーザの手首の筋肉から検出した圧力値に基づく指状態特定情報を学習部１１４によって生成し、指状態特定情報記憶部１０４に記憶させておくことにより、指状態特定部１１２は、取得部１１１によって取得されたユーザの手首の筋肉からの圧力値から、第１の強度分類に属する圧力値が得られた圧力センサ２１と、第２の強度分類に属する圧力値が得られた圧力センサ２１との組み合わせを特定して、組み合わせに対応付けられている手の状態を、指状態特定情報記憶部１０４に記憶されている指状態特定情報から特定することができる。

このように、本実施形態の車載装置１０は、ユーザが手首にリストバンド２０を装着したときに、実際にユーザの手首の筋肉から検出した圧力値に基づいて指状態特定情報を生成するため、リストバンド２０の取り付け位置（手首に対する基部２０Ａの回転角度）のユーザ毎の差異を吸収することができる。

また、本実施形態の車載装置１０は、第１の強度分類が得られた圧力センサ２１と、第２の強度分類が得られた圧力センサ２１との組み合わせにより、ユーザンの手の状態を特定するようにし、第１の強度分類および第２の強度分類に圧力値の幅を持たせるようにしたため、８つの圧力センサ２１から得られる圧力値のユーザ毎の差異を吸収して、ユーザを問わずユーザの手の状態を一意に特定することができる。

〔リストバンド２０の構成例〕
図２は、本発明の第１実施形態に係るリストバンド２０の構成例を示す図である。図２（ａ）に示すように、リストバンド２０は、円環状の基部２０Ａを備えている。図２（ｂ）に示すように、リストバンド２０は、基部２０Ａの筒内をユーザの手首が通されることにより、ユーザの手首に装着される。

基部２０Ａの内周面には、８つの圧力センサ２１が周方向に並べて配置されている。これにより、リストバンド２０をユーザの手首に装着したとき、各圧力センサ２１が、ユーザの手首の外周面に沿って配置されることとなる。そして、各圧力センサ２１は、ユーザの手首の皮膚表面を介して、ユーザの手首の筋肉からの圧力値を検出することができるようになる。

基部２０Ａの外周面には、送信部２２が設けられている。送信部２２は、車載装置１０との無線通信（例えば、Bluetooth（登録商標）、Wi-Fi、赤外線通信等）を行うことにより、８つの圧力センサ２１によって検出されたユーザの手首の筋肉からの圧力値を車載装置１０へ送信する。

リストバンド２０は、例えば、基部２０Ａの内径を手首よりも小さくしつつ、基部２０Ａに弾性部材（例えば、ゴム等）を用いたり、腕時計のベルトのように基部２０Ａを環状とする際の結合位置を調整可能な構成とすることにより、ユーザの手首に装着されたときに、複数の圧力センサ２１がユーザの手首の皮膚表面に密着されるようにすることが好ましい。これにより、各圧力センサ２１が、ユーザの手首の筋肉からの圧力値をより確実に検出できるようになる。

〔指状態特定情報の一例〕
図３は、本発明の第１実施形態に係る指状態特定情報記憶部１０４に記憶されている指状態特定情報の一例を示す図である。図３に示すように、指状態特定情報では、リストバンド２０が備える８つの圧力センサ２１の圧力値（強度分類）の組み合わせ毎に、手の状態（伸長状態にある指の組み合わせ）が示されている。

図３に示す例では、手の状態の一例として、「人差し」、「チョキ」、「パー」が設定されている。「人差し」は、人差し指のみが伸長状態にある手の状態である。「チョキ」は、人差し指および中指が伸長状態にある手の状態である。「パー」は、全ての指が伸長状態にある手の状態である。

図３において、「○」、「△」および「−」は、圧力センサ２１から得られた圧力値の強度分類を示す記号である。「○」（第１の強度分類）は、圧力センサ２１から得られた圧力値が比較的大きいことを示す。具体的には、「○」には、第１の閾値ｔｈ１より大きい圧力値が分類される。「△」（第２の強度分類）は、圧力センサ２１から得られた圧力値が比較的小さいことを示す。具体的には、「△」には、第１の閾値ｔｈ１より小さく第２の閾値ｔｈ２より大きい圧力値が分類される。「−」は、圧力値が極めて小さいこと（またはゼロ）を示す。具体的には、「−」には、第２の閾値ｔｈ２より小さい圧力値が分類される。

指状態特定部１１２は、図３に示す指状態特定情報を参照して、８つの圧力センサ２１のうちの第１の強度分類「○」に属する圧力値（圧力値＞第１の閾値ｔｈ１）が得られた圧力センサ２１と、第２の強度分類「△」に属する圧力値（第１の閾値ｔｈ１＞圧力値＞第２の閾値ｔｈ２）が得られた圧力センサ２１との組み合わせを特定することにより、その組み合わせに対応付けられている手の状態（「人差し」、「チョキ」、「パー」のいずれか）を特定することができる。

例えば、圧力センサ３，５から第１の強度分類「○」に属する圧力値が得られ、且つ、圧力センサ７，８から第２の強度分類「△」に属する圧力値が得られた場合、指状態特定部１１２は、図３に示す指状態特定情報に基づき、ユーザの手の状態が「人差し」であると特定する。

ユーザが手を所定の状態としたとき、ユーザを問わず特定の手首の筋肉が動作して、その動作に応じた圧力がユーザの手首に生じることが知られている。特に、手の状態に応じて、比較的強い圧力値が得られる位置と、比較的弱い圧力値が得られる位置と、極めて弱い圧力値が得られる位置とが、それぞれユーザの手首に生じることが知られている。しかしながら、ユーザの手首の筋肉の筋力はユーザ毎にさまざまである。このため、ユーザの手首に生じる圧力値の大きさもユーザ毎にさまざまである。そこで、本実施形態では、上記したように第１の強度分類が得られた圧力センサ２１と、第２の強度分類が得られた圧力センサ２１との組み合わせにより、ユーザの手の状態を特定するようにし、すなわち、第１の強度分類および第２の強度分類に圧力値の幅を持たせるようにしている。これにより、８つの圧力センサ２１から得られる圧力値のユーザ毎の差異を吸収して、ユーザを問わずユーザの手の状態を一意に特定することができるようにしている。

〔対応機能情報の一例〕
図４は、本発明の第１実施形態に係る対応機能情報記憶部１０５に記憶されている対応機能情報の一例を示す図である。図４に示すように、対応機能情報記憶部１０５に記憶されている対応機能情報では、手の状態（「人差し」、「チョキ」または「パー」）毎に、表示画面（「全て」、「地図画面」または「地図画面以外」）および接触操作の内容（「タッチ」または「スワイプ」）に応じて機能実行部１１３によって実行される機能が対応付けられている。

機能実行部１１３は、指状態特定部１１２によって特定された手の状態と、タッチパネル１０２に対する接触操作の内容と、図４に示す対応機能情報とに基づいて、実行する機能を特定する。

例えば、図４の対応機能情報によれば、ユーザの手の状態として「パー」が特定され、且つ、地図画面に対する「スワイプ」操作がなされた場合、機能実行部１１３は、地図拡大機能を実行する。また、ユーザの手の状態として「チョキ」が特定され、且つ、地図画面に対する「スワイプ」がなされた場合、機能実行部１１３は、地図縮小機能を実行する。また、ユーザの手の状態として「パー」が特定され、且つ、地図画面以外の表示画面に対する「スワイプ」操作がなされた場合、機能実行部１１３は、ボリュームアップ機能を実行する。また、ユーザの手の状態として「チョキ」が特定され、且つ、地図画面以外の表示画面に対する「スワイプ」操作がなされた場合、機能実行部１１３は、ボリュームダウン機能を実行する。

また、図４の対応機能情報によれば、表示画面の種類を問わず、ユーザの手の状態として「人差し」が特定され、且つ、「タッチ」操作がなされた場合、機能実行部１１３は、その表示画面にて通常の「タッチ」操作に割り当てられている機能を実行する。また、ユーザの手の状態として「人差し」が特定され、且つ、「スワイプ」操作がなされた場合、機能実行部１１３は、その表示画面にて通常の「スワイプ」操作に割り当てられている機能を実行する。

すなわち、本実施形態では、ユーザの手の状態として「人差し」が特定された場合、機能実行部１１３によって実行される機能は、操作対象の表示画面において１本の指による通常の接触操作（タッチ操作またはスワイプ操作）による機能（例えば、ボタン操作、スクロール操作等）と同様である。一方、ユーザの手の状態として「パー」または「チョキ」が特定された場合、操作対象の表示画面において１本の指による通常の接触操作では成し得なかった機能（例えば、２本の指を用いたピンチイン／ピンチアウト操作による縮小／拡大機能等）を、機能実行部１１３によって実行できるようになっている。

〔車載装置１０による処理の一例〕
図５は、本発明の第１実施形態に係る車載装置１０による処理の一例を示すフローチャートである。図５に示す処理は、例えば、タッチパネル１０２による操作が可能な表示画面がディスプレイ１０１に表示されている間、車載装置１０によって実行される。

まず、８つの圧力センサ２１によって検出された圧力値がリストバンド２０から送信されてくる毎に、指状態特定部１１２が、当該圧力値をリストバンド２０から取得部１１１を介して取得する（ステップＳ５０２）。また、指状態特定部１１２が、ユーザのいずれか１本の指によるタッチパネル１０２への接触がなされたか否かを判断する（ステップＳ５０４）。指状態特定部１１２は、タッチパネル１０２から所定の操作信号を受け取ったか否かによって、ユーザのいずれか１本の指によるタッチパネル１０２への接触がなされたか否かを判断することができる。ここで、ユーザのいずれか１本の指によるタッチパネル１０２への接触がなされていないと指状態特定部１１２が判断した場合（ステップＳ５０４：Ｎｏ）、車載装置１０は、再度、リストバンド２０から圧力値を取得して（ステップＳ５０２）、ステップＳ５０４の判断処理を行う。

一方、ユーザのいずれか１本の指によるタッチパネル１０２への接触がなされたと指状態特定部１１２が判断した場合（ステップＳ５０４：Ｙｅｓ）、指状態特定部１１２が、ステップＳ５０２で取得された圧力値に基づいて、指状態特定情報記憶部１０４に記憶されている指状態特定情報（図３参照）を参照することにより、ユーザの手の状態（「人差し」、「パー」または「チョキ」）を特定する（ステップＳ５０６）。

その後、機能実行部１１３が、ステップＳ５０６にてユーザの手の状態として「パー」または「チョキ」が特定されたか否かを判断する（ステップＳ５０８）。ここで、「パー」または「チョキ」が特定されたと機能実行部１１３が判断した場合（ステップＳ５０８：Ｙｅｓ）、機能実行部１１３が、タッチパネル１０２へのスワイプ操作がなされたか否かを判断する（ステップＳ５１０）。ここで、タッチパネル１０２へのスワイプ操作がなされていないと機能実行部１１３が判断した場合（ステップＳ５１０：Ｎｏ）、機能実行部１１３が、再度、ステップＳ５１０の判断処理を行う。

一方、タッチパネル１０２へのスワイプ操作がなされたと機能実行部１１３が判断した場合（ステップＳ５１０：Ｙｅｓ）、機能実行部１１３が、対応機能情報記憶部１０５に記憶されている対応機能情報（図４参照）にて「パー」または「チョキ」に対応付けられている機能を、タッチパネル１０２へのスワイプ操作に応じて実行する（ステップＳ５１２）。そして、車載装置１０は、図５に示す一連の処理を終了する。

ステップＳ５０８にて、「パー」または「チョキ」が特定されていないと機能実行部１１３が判断した場合（ステップＳ５０８：Ｎｏ）、機能実行部１１３が、ステップＳ５０６にてユーザの手の状態として「人差し」が特定されたか否かを判断する（ステップＳ５１４）。ここで、「人差し」が特定されていないと機能実行部１１３が判断した場合（ステップＳ５１４：Ｎｏ）、車載装置１０は、いずれの機能も実行せずに、図５に示す一連の処理を終了する。一方、「人差し」が特定されたと機能実行部１１３が判断した場合（ステップＳ５１４：Ｙｅｓ）、機能実行部１１３が、タッチパネル１０２に対する接触操作の内容（タッチまたはスワイプ）を特定する（ステップＳ５１６）。そして、機能実行部１１３が、ステップＳ５１６にて特定された接触操作による通常の機能を実行する（ステップＳ５１８）。そして、車載装置１０は、図５に示す一連の処理を終了する。

以上説明したとおり、本発明の第１実施形態によれば、ユーザは、いずれか１本の指にてタッチパネル１０２の接触操作を行う際に、複数の指の各々を所定の状態に変化させることにより、複数の指の各々の状態に応じた機能を車載装置１０に実行させることができる。特に、本発明の第１実施形態によれば、ユーザがタッチパネル１０２に指を接触させない限り、そのときの指の状態に応じた機能が実行されることはない。すなわち、本発明の第１実施形態によれば、誤動作を生じさせることなく、より多くの機能を１本の指によるタッチパネル１０２の接触操作で実行することができる。さらに、本発明の第１実施形態によれば、ユーザの手の状態として、伸長状態にある指の特定のみを行えばよいため、比較的簡単な構成により、ユーザの手の状態を特定することができる。

〔第２実施形態〕
次に、本発明の第２実施形態について説明する。第１実施形態では、ユーザの一方の手首に装着される一つのリストバンド２０を外部機器として用いる例を説明したが、第２実施形態では、ユーザの両方の手首に装着される二つのリストバンド２０Ａ，２０Ｂを外部機器として用いる例を説明する。

図６は、本発明の第２実施形態に係る操作制御システム１ａの機能構成例を示すブロック図である。図６に示す操作制御システム１ａは、車載装置１０の代わりに車載装置１０ａを備える点、および、一つのリストバンド２０の代わりに二つのリストバンド２０Ａ，２０Ｂを備える点で、図１に示した操作制御システム１と異なる。リストバンド２０Ａ，２０Ｂは、それぞれ、第１実施形態のリストバンド２０と同様の構成を有する。リストバンド２０Ａはユーザの一方の手首に装着される。リストバンド２０Ｂはユーザの他方の手首に装着される。

車載装置１０ａは、指状態特定情報記憶部１０４、対応機能情報記憶部１０５、取得部１１１、指状態特定部１１２、機能実行部１１３、学習部１１４の代わりに、指状態特定情報記憶部１０４ａ、対応機能情報記憶部１０５ａ、取得部１１１ａ、指状態特定部１１２ａ、機能実行部１１３ａ、学習部１１４ａを備える点で、図１に示した車載装置１０と異なる。

指状態特定情報記憶部１０４ａは、ユーザの一方の手の状態を特定するための指状態特定情報と、ユーザの他方の手の状態を特定するための指状態特定情報とを記憶する。各指状態特定情報は、第１実施形態の指状態特定情報（図３参照）と同様である。すなわち、８つの圧力センサ２１から取得した圧力値に基づく、第１の強度分類に属する圧力値が得られた圧力センサ２１と、第２の強度分類に属する圧力値が得られた圧力センサ２１との組み合わせに基づいて、手の状態（「人差し」、「パー」、「チョキ」）を特定できるように構成されている。

学習部１１４ａは、ユーザの一方の手首にリストバンド２０Ａが装着されたとき、ユーザの一方の手の状態毎に、リストバンド２０Ａの８つの圧力センサ２１によって検出されたユーザの手首の筋肉からの圧力値を取得する。そして、学習部１１４ａは、リストバンド２０Ａから取得した手の状態毎の圧力値に基づいて、ユーザの一方の手についての指状態特定情報を生成し、当該指状態特定情報を指状態特定情報記憶部１０４に記憶させる。

また、学習部１１４ａは、ユーザの他方の手首にリストバンド２０Ｂが装着されたとき、ユーザの他方の手の状態毎に、リストバンド２０Ｂの８つの圧力センサ２１によって検出されたユーザの手首の筋肉からの圧力値を取得する。そして、学習部１１４ａは、リストバンド２０Ｂから取得した手の状態毎の圧力値に基づいて、ユーザの他方の手についての指状態特定情報を生成し、当該指状態特定情報を指状態特定情報記憶部１０４に記憶させる。

対応機能情報記憶部１０５ａは、ユーザの一方の手の状態（伸長状態にある指の組み合わせ）と、ユーザの他方の手の状態（伸長状態にある指の組み合わせ）との組み合わせ毎に、機能実行部１１３ａによって実行される機能が対応付けられている対応機能情報を記憶する。

図７は、本発明の第２実施形態に係る対応機能情報記憶部１０５ａに記憶されている対応機能情報の一例を示す図である。図７に示すように、対応機能情報記憶部１０５ａに記憶されている対応機能情報では、一方の手の状態（「人差し」、「チョキ」または「パー」）と、他方の手の状態（「人差し」、「チョキ」または「パー」）との組み合わせ毎に、表示画面（「全て」、「地図画面」または「地図画面以外」）およびタッチパネル１０２に対する操作内容（「タッチ」または「スワイプ」）に応じて機能実行部１１３ａによって実行される機能が対応付けられている。

取得部１１１ａは、リストバンド２０Ａ，２０Ｂの各々から、８つの圧力センサ２１によって検出されたユーザの手首の筋肉からの圧力値を取得する。

指状態特定部１１２ａは、リストバンド２０Ａから取得部１１１ａを介して取得した圧力値（特許請求の範囲に記載の第１の情報に相当）に基づいて、指状態特定情報記憶部１０４ａに記憶されているユーザの一方の手の状態を特定するための指状態特定情報を参照することにより、ユーザの一方の手の状態（伸長状態にある指の組み合わせ）を特定する。

また、指状態特定部１１２ａは、リストバンド２０Ｂから取得部１１１ａを介して取得した圧力値（特許請求の範囲に記載の第２の情報に相当）に基づいて、指状態特定情報記憶部１０４ａに記憶されているユーザの他方の手の状態を特定するための指状態特定情報を参照することにより、ユーザの他方の手の状態（伸長状態にある指の組み合わせ）を特定する。

機能実行部１１３ａは、対応機能情報記憶部１０５ａに記憶されている対応機能情報（図７参照）を参照して、指状態特定部１１２ａによって特定されたユーザの一方の手の状態と、指状態特定部１１２ａによって特定されたユーザの他方の手の状態との組み合わせに対応付けられている機能を、ユーザの何れか１本の指（一方の手の指または他方の手の指のいずれであってもよい）によるタッチパネル１０２の接触操作に応じて実行する。

例えば、ディスプレイ１０１に地図画面が表示されているときに、指状態特定部１１２ａによって一方の手の状態が「チョキ」であると特定されるとともに、他方の手の状態が「パー」であると特定され、さらに、タッチパネル１０２によって「スワイプ」操作が行われたとする。この場合、図７の対応機能情報によれば、機能実行部１１３ａによって地図２段階縮小機能が実行されることとなる。

以上説明したとおり、本発明の第２実施形態によれば、ユーザは、いずれか１本の指にてタッチパネル１０２の操作を行う際に、両手の各々を所定の状態に変化させることにより、一方の手の状態と他方の手の状態との組み合わせに応じた機能を、車載装置１０ａに実行させることができる。すなわち、本発明の第２実施形態によれば、第１実施形態よりも組み合わせの数を多くすることができるため、より多くの機能を１本の指によるタッチパネル１０２の接触操作で実行することができる。

なお、上記各実施形態では、手の状態（伸長状態にある指の組み合わせ）として、「人差し」、「チョキ」、「パー」のいずれか）を特定するようにしているが、本発明はこれに限らない。例えば、人差し指以外の指が１本だけ伸長している手の状態や、「チョキ」および「パー」以外にも、複数の指が伸長している手の状態を含めるようにしてもよい。特に上記第２実施形態においては、タッチパネル１０２の操作を行わない方の手の状態に「グー」（いずれの指も伸長状態にない手の状態）を含めるようにしてもよい。

また、上記各実施形態では、外部機器としてリストバンド２０，２０Ａ，２０Ｂを用い、当該リストバンド２０，２０Ａ，２０Ｂの複数の圧力センサ２１から取得した圧力値に基づいて複数の指の各々の状態を特定するようにしているが、本発明はこれに限らない。例えば、ユーザの手首に装着されたリストバンド以外の外部機器（例えば、ユーザの手首の皮膚表面に貼付可能なシート状の外部機器等）に設けられた複数の圧力センサから圧力値を取得し、取得した圧力値に基づいて複数の指の各々の状態を特定するようにしてもよい。

また、例えば、外部機器として撮像装置を用い、当該撮像装置から複数の指が写し出されている画像を取得し、取得した画像に基づいて複数の指の各々の状態を特定するようにしてもよい。また、外部機器として複数の筋電センサを用い、当該複数の筋電センサから取得した筋電信号に基づいて、複数の指の各々の状態を特定するようにしてもよい。また、各指が伸長状態にあるか否かを自身で特定可能な外部機器（例えば、グローブ型コントローラ）から、各指が伸長状態にあるか否かを示す情報を取得し、取得した情報に基づいて、伸長状態にある指の組み合わせを特定するようにしてもよい。上記したいずれの外部機器を用いた場合であっても、比較的簡単な構成により、ユーザの手の状態を特定することができる。

また、上記各実施形態では、リストバンド２０，２０Ａ，２０Ｂから送信された圧力値を車載装置１０，１０ａが繰り返し取得し、タッチパネル１０２に対する接触がなされたときに、その直前に取得した圧力値を受け付けるようにしているが、本発明はこれに限らない。例えば、タッチパネル１０２に対する接触がなされたときに、車載装置１０，１０ａからリストバンド２０，２０Ａ，２０Ｂへ圧力値を要求し、これに応じてリストバンド２０，２０Ａ，２０Ｂから送信された圧力値を取得して受け付けるようにしてもよい。

また、図５のフローチャートでは、指状態特定部１１２によって手の状態として「パー」または「チョキ」が特定されなかった場合、指状態特定部１１２によって手の状態として「人差し」が特定されたか否かを判断するようにしているが、本発明はこれに限らない。例えば、指状態特定部１１２によって手の状態として「パー」または「チョキ」が特定されなかった場合、「人差し」が特定されたか否かの判断を行うことなく、タッチパネル１０２に対する接触操作の内容（タッチまたはスワイプ）を特定して、特定された接触操作による通常の機能を実行するようにしてもよい。この場合、指状態特定部１１２による「人差し」の特定は不要である。したがって、図３に示す指状態特定情報および図４に示す対応機能情報において、「人差し」に対応する情報は不要である。

その他、上記各実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

１，１ａ 操作制御システム
１０，１０ａ 車載装置（情報処理装置）
１０１ ディスプレイ
１０２ タッチパネル（操作部）
１０３ スピーカ
１０４，１０４ａ 指状態特定情報記憶部
１０５，１０５ａ 対応機能情報記憶部
１１１，１１１ａ 取得部
１１２，１１２ａ 指状態特定部
１１３，１１３ａ 機能実行部
１１４，１１４ａ 学習部
２０，２０Ａ，２０Ｂ リストバンド（外部機器）
２１ 圧力センサ
２２ 送信部

Claims (12)

1. ユーザの指による異なる種類の接触操作が可能なタッチパネルにより構成された操作部と、
   前記ユーザの片方の手の複数の指の各々の状態を特定可能な情報を取得する取得部と、
   前記取得部に
   よって取得された前記情報に基づいて、前記ユーザの前記片方の手のいずれか１本の指による前記操作部の接触操作が行われたときの、複数の指の各々の状態を特定する指状態特定部と、
   前記指状態特定部によって特定された前記複数の指の各々の状態の組み合わせである手の状態と、前記１本の指による前記操作部の接触操作の種類との組み合わせに対応付けられている機能を、前記操作部に対して行われた種類の接触操作に応じて実行する機能実行部と
   を備えたことを特徴とする情報処理装置。
2. 前記機能実行部は、前記指状態特定部によって特定された手の状態と、前記１本の指による前記操作部の接触操作の種類と、表示画面の内容との組み合わせとに対応付けられている機能を、前記操作部に対して行われた種類の接触操作に応じて実行する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記機能実行部は、
   地図画面が表示されているときに、前記指状態特定部によって特定された手の状態が、予め定められた異なる２つの状態のうちのいずれかの状態で、共通する特定の種類の接触操作が行われた場合、手の状態に応じて地図拡大と地図縮小とのいずれかを実行する
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記機能実行部は、
   地図画面以外の画面が表示されているときに、前記指状態特定部によって特定された手の状態が、予め定められた異なる２つの状態のうちのいずれかの状態で、共通する特定の種類の接触操作が行われた場合、手の状態に応じてボリュームアップとボリュームダウンとのいずれかを実行する
   ことを特徴とする請求項２または３に記載の情報処理装置。
5. 予め定められた異なる２つの状態はいずれも、人差し指のみが伸長状態である状態を含まず、
   前記機能実行部は、
   表示画面の内容にかかわらず、人差し指のみが伸長状態である状態で所定の種類の接触操作が行われた場合、操作対象の表示画面において１本の指で当該所定の種類の接触操作が行われた場合に通常実行される機能を実行する
   ことを特徴とする請求項３または４に記載の情報処理装置。
6. 前記指状態特定部は、前記取得部によって取得された前記情報に基づいて、前記複数の指のうちの伸長状態にある指を特定し、
   前記機能実行部は、前記指状態特定部によって特定された前記伸長状態にある指の組み合わせである手の状態と、前記１本の指による前記操作部の接触操作の種類との組み合わせに対応付けられている機能を、前記操作部に対して行われた種類の接触操作に応じて実行する
   ことを特徴とする請求項１から５のいずれか一項に記載の情報処理装置。
7. 前記取得部は、前記ユーザの手首の外周面上に装着された複数の圧力センサによって検出された、前記ユーザの手首の筋肉からの圧力値を、前記情報として取得し、
   前記指状態特定部は、前記取得部によって取得された前記ユーザの手首の筋肉からの圧力値に基づいて、前記複数の指のうちの前記伸長状態にある指を特定する
   ことを特徴とする請求項６に記載の情報処理装置。
8. 前記指状態特定部は、前記複数の圧力センサのうちの第１の閾値より大きい第１の強度分類に属する前記圧力値が得られた圧力センサと、前記第１の閾値より小さく第２の閾値より大きい第２の強度分類に属する前記圧力値が得られた圧力センサとの組み合わせに基づいて、前記複数の指のうちの前記伸長状態にある指を特定する
   ことを特徴とする請求項７に記載の情報処理装置。
9. 前記伸長状態にある指の組み合わせ毎に、前記複数の圧力センサから取得した前記圧力値に基づいて、前記第１の強度分類に属する前記圧力値が得られた圧力センサと、前記第２の強度分類に属する前記圧力値が得られた圧力センサとの組み合わせを、その伸長状態にある指の組み合わせからなる手の状態に対応付けて記憶部に記憶させておく学習部をさらに備え、
   前記指状態特定部は、前記取得部によって取得された前記ユーザの手首の筋肉からの圧力値から、前記第１の強度分類に属する前記圧力値が得られた圧力センサと、前記第２の強度分類に属する前記圧力値が得られた圧力センサとの組み合わせを特定し、前記記憶部にて当該組み合わせに対応付けられている前記手の状態を特定する
   ことを特徴とする請求項８に記載の情報処理装置。
10. 前記取得部は、前記ユーザの一方の手の複数の指の各々の状態を特定可能な第１の情報と、前記ユーザの他方の手の複数の指の各々の状態を特定可能な第２の情報とを取得し、
    前記指状態特定部は、前記取得部によって取得された前記第１の情報に基づいて、前記ユーザのいずれか１本の指による前記操作部の接触操作が行われたときの、前記ユーザの一方の手の複数の指の各々の状態を特定するとともに、前記取得部によって取得された前記第２の情報に基づいて、前記ユーザのいずれか１本の指による前記操作部の接触操作が行われたときの、前記ユーザの他方の手の複数の指の各々の状態を特定し、
    前記機能実行部は、前記指状態特定部によって特定された前記一方の手の複数の指の各々の状態と、前記指状態特定部によって特定された前記他方の手の複数の指の各々の状態と、前記１本の指による前記操作部の接触操作の種類との組み合わせに対応付けられている機能を、前記ユーザのいずれか１本の指による前記操作部の接触操作に応じて実行する
    ことを特徴とする請求項１から９のいずれか一項に記載の情報処理装置。
11. ユーザの指による異なる種類の接触操作が可能なタッチパネルにより構成された操作部を備えた情報処理装置と、前記ユーザの片方の手の複数の指の各々の状態を特定可能な情報を生成および送信可能な外部機器とを備えた操作制御システムであって、
    前記外部機器は、
    前記情報を生成する情報生成部と、
    前記情報生成部によって生成された前記情報を前記情報処理装置へ送信する送信部とを備え、
    前記情報処理装置は、
    前記外部機器から送信された前記情報を取得する取得部と、
    前記取得部によって取得された前記情報に基づいて、前記ユーザの前記片方の手のいずれか１本の指による前記操作部の接触操作が行われたときの、複数の指の各々の状態を特定する指状態特定部と、
    前記指状態特定部によって特定された前記複数の指の各々の状態の組み合わせである手の状態と、前記１本の指による前記操作部の接触操作の種類との組み合わせに対応付けられている機能を、前記操作部に対して行われた種類の接触操作に応じて実行する機能実行部と
    を備えたことを特徴とする操作制御システム。
12. ユーザの指による異なる種類の接触操作が可能なタッチパネルにより構成された操作部を備えた情報処理装置による操作制御方法であって、
    前記情報処理装置の取得部が、前記ユーザの片方の手の複数の指の各々の状態を特定可能な情報を取得する取得工程と、
    前記情報処理装置の指状態特定部が、前記取得工程において取得された前記情報に基づいて、前記ユーザの前記片方の手のいずれか１本の指による前記操作部の接触操作が行われたときの、複数の指の各々の状態を特定する指状態特定工程と、
    前記情報処理装置の機能実行部が、前記指状態特定工程において特定された前記複数の指の各々の状態の組み合わせである手の状態と、前記１本の指による前記操作部の接触操作の種類との組み合わせに対応付けられている機能を、前記操作部に対して行われた種類の接触操作に応じて実行する機能実行工程と
    を含むことを特徴とする操作制御方法。

Images