JP7282639B2

JP7282639B2 - 制御装置、制御方法、およびプログラム

Info

Publication number: JP7282639B2
Application number: JP2019164228A
Authority: JP
Inventors: 剛史大西; 史明廣瀬; 裕真中井
Original assignee: Tokai Rika Co Ltd
Current assignee: Tokai Rika Co Ltd
Priority date: 2019-09-10
Filing date: 2019-09-10
Publication date: 2023-05-29
Anticipated expiration: 2039-09-10
Also published as: JP2021043617A; US20220350406A1; DE112020004273T5; WO2021049083A1; US11829532B2

Description

本発明は、制御装置、制御方法、およびプログラムに関する。

近年、利用者による操作に対し、フィードバックを出力する種々の装置が開発されている。上記のような装置には、利用者の五感に対する刺激の呈示をフィードバックとして用いるものが存在する。例えば、特許文献１には、操作面に対する利用者の操作に対し、振動と音響とを用いたフィードバックを出力する装置が開示されている。

特開２０１８－３６８１８号公報

特許文献１に開示されるように、利用者による操作に対し、感覚刺激を用いたフィードバックを出力する場合、当該フィードバックを確実に利用者に知覚させるとともに、当該フィードバックが利用者にとって不利益とならないよう制御することが重要となる。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、操作性をより向上させるフィードバックを実現することが可能な仕組みを提供することにある。

上記課題を解決するために、本発明のある観点によれば、対象物が接触する接触領域を有した入力部に対する操作がなされたと判定された場合、触覚を介して刺激を呈示する触覚呈示、および聴覚を介して刺激を呈示する聴覚呈示を制御する制御部、を備え、前記制御部は、前記触覚呈示および前記聴覚呈示のうちの少なくとも一つが前記入力部の利用者にとって知覚可能であり、かつ前記利用者にとって不快ではない範囲である適正範囲となるように、前記触覚呈示に係る前記接触領域の基準位置からの差分を示す変位および前記聴覚呈示に係る音の強度を制御する、制御装置が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、対象物が接触する接触領域を有した入力部に対する操作がなされたと判定された場合、触覚を介して刺激を呈示する触覚呈示、および聴覚を介して刺激を呈示する聴覚呈示を制御すること、を含み、前記制御することは、前記触覚呈示および前記聴覚呈示のうちの少なくとも一つが前記入力部の利用者にとって知覚可能であり、かつ前記利用者にとって不快ではない範囲である適正範囲となるように、前記触覚呈示に係る前記接触領域の基準位置からの差分を示す変位および前記聴覚呈示に係る音の強度を制御すること、をさらに含む、制御方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータに、対象物が接触する接触領域を有した入力部に対する操作がなされたと判定された場合、触覚を介して刺激を呈示する触覚呈示、および聴覚を介して刺激を呈示する聴覚呈示を制御する制御機能、を実現させ、前記制御機能に、前記触覚呈示および前記聴覚呈示のうちの少なくとも一つが前記入力部の利用者にとって知覚可能であり、かつ前記利用者にとって不快ではない範囲である適正範囲となるように、前記触覚呈示に係る前記接触領域の基準位置からの差分を示す変位および前記聴覚呈示に係る音の強度を制御させる、プログラムが提供される。

以上説明したように本発明によれば、操作性をより向上させるフィードバックを実現することが可能な仕組みが提供される。

本発明の一実施形態に係るシステム１の構成例を示す図である。同実施形態に係る接触領域１１１の変位について説明するための図である。同実施形態に係る多変量分析により算出した目的変数と説明変数の関係をマップ化したものである。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜１．実施形態＞
＜＜１．１．構成例＞＞
図１は、本発明の一実施形態に係るシステム１の構成例を示す図である。図１に示すように、本実施形態に係るシステム１は、入力装置１００、制御装置２００、および音響出力装置３００を備えてもよい。

（入力装置１００）
本実施形態に係る入力装置１００は、システム１に対する利用者の入力操作を検出し、当該入力操作に係る情報を制御装置２００に対し出力する。また、本実施形態に係る入力装置１００は、制御装置２００が出力する制御信号に基づいて、上記入力操作を行った利用者の触覚を介して刺激を呈示する触覚呈示を行う。

本実施形態に係る入力装置１００は、例えば、図１に示すように、入力部１１０、検出部１２０、触覚呈示部１３０、および支持部１４０を備えてもよい。

本実施形態に係る入力部１１０は、利用者が入力操作を行うための構成であり、入力操作に際し、対象物が接触する接触領域１１１を有する。ここで、上記の対象物とは、例えば、利用者の指などの身体の一部や、利用者が把持して用いるペン状のツール等であってもよい。利用者は、指や上記ツールなどを用いて接触領域１１１に対する押下操作やなぞり操作を行うことで、システム１に対する各種の命令を入力する。本実施形態に係る入力部１１０は、例えば、各種のタッチパネルであってもよい。

本実施形態に係る検出部１２０は、入力部１１０が有する接触領域１１１に対する対象物の接触を検出し、当該対象物の接触に係る情報を制御装置２００に対し出力する。本実施形態に係る検出部１２０は、例えば、接触領域１１１に対する利用者の入力操作に伴い変化する圧力の変化を電気信号に変換する感圧センサであってもよい。また、検出部１２０は、接触領域１１１に対する利用者の入力操作に伴い変化する静電容量の変化を電気信号に変換する静電容量センサであってもよい。

本実施形態に係る触覚呈示部１３０は、利用者の触覚を介して刺激を呈示する構成である。本実施形態に係る触覚呈示部１３０は、例えば、検出部１２０が、入力部１１０が有する接触領域１１１に対象物が接触したことを検出した場合、すなわち、入力部１１０に対する操作がなされたと判定された場合、制御装置２００が出力する制御信号に基づいて触覚呈示を行ってもよい。

本実施形態に係る触覚呈示部１３０は、例えば、振動刺激を用いた触覚呈示を行ってもよい。この場合、触覚呈示部１３０は、振動を発生させることが可能な偏心モータ（ＥＲＭ：ＥｃｃｅｎｔｒｉｃＲｏｔａｔｉｎｇＭａｓｓ）、リニア・バイブレータ（ＬＲＡ：ＬｉｎｅａｒＲｅｓｏｎａｎｔＡｃｔｕａｔｏｒ）、ピエゾ（圧電）素子等の各種のアクチュエータであってもよい。

一方、本実施形態に係る触覚呈示部１３０は、温度変化を伴う触覚呈示や、力覚に関する触覚呈示（例えば、物体に押される感覚の呈示、物体と接触した感覚の呈示、又は締め付けられる感覚の呈示など）を行う構成、または皮膚感覚に関する触覚呈示（例えば、ざらざらした感覚の呈示、又はつるつるした感覚の呈示など）を行ってもよい。本実施形態に係る触覚呈示部１３０は、呈示する触覚呈示の特性に応じた各種の構成を取り得る。

本実施形態に係る支持部１４０は、入力部１１０、検出部１２０、および触覚呈示部１３０を支持する構成である。本実施形態に係る支持部１４０は、システム１の仕様に応じた素材および形状で形成される。

（制御装置２００）
本実施形態に係る制御装置２００は、入力装置１００および音響出力装置３００の動作を制御する。本実施形態に係る制御装置２００は、図１に示すように、制御部２１０および記憶部２２０を備えてもよい。

本実施形態に係る制御部２１０は、検出部１２０が、入力部１１０が有する接触領域１１１に対象物が接触したと判定した場合、あるいは、検出部１２０が出力する電気信号に基づいて規定の入力操作がなされた判定された場合、触覚呈示部１３０による触覚呈示、および音響出力装置３００による、利用者の聴覚を介した刺激の呈示である聴覚呈示を制御する。この際、本実施形態に係る制御部２１０は、触覚呈示および聴覚呈示のうちの少なくとも一つが、利用者にとって知覚可能であり、かつ当該利用者にとって不快ではない範囲である適正範囲となるように、触覚呈示に係る接触領域１１１の基準位置からの差分を示す変位および聴覚呈示に係る音の強度を制御する、ことを特徴の一つとする。制御部２１０の機能は、例えば、例えば、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）やマイクロプロセッサ等の電子回路によって構成される。本実施形態に係る制御部２１０が有する機能の詳細については別途詳細に説明する。

本実施形態に係る記憶部２２０は、入力装置１００、制御装置２００、および音響出力装置３００の動作に係る各種の情報を記憶する。記憶部２２０は、例えば、入力装置１００に出力させる触覚呈示の態様や、音響出力装置３００に出力させる聴覚呈示の態様を定義するための情報等を記憶する。

（音響出力装置３００）
本実施形態に係る音響出力装置３００は、制御装置２００が出力する制御信号に基づいて、聴覚呈示を行う。本実施形態に係る音響出力装置３００は、例えば、スピーカであってもよい。

以上、本実施形態に係るシステム１の構成例について述べた。なお、図１を用いて説明した上記の構成はあくまで一例であり、本実施形態に係るシステム１の構成は係る例に限定されない。例えば、本実施形態に係る入力装置１００、制御装置２００、および音響出力装置３００が有する各機能は、単一の装置により実現されてもよい。本実施形態に係るシステム１の構成は、仕様や運用に応じて柔軟に変形可能である。

＜＜１．２．詳細＞＞
続いて、本実施形態に係る触覚呈示および聴覚呈示の制御について詳細に説明する。本実施形態に係る制御部２１０は、例えば、利用者による入力部１１０への入力操作に対するフィードバックとして、触覚呈示部１３０に触覚呈示を出力させ、当該触覚呈示と同期して音響出力装置３００に聴覚呈示を出力させる。このように、触覚呈示および聴覚呈示を同期して行うことで、いずれかのみが行われる場合と比較して、利用者が自身の入力操作がシステム１に認識されたことを、より明確に把握することが可能となる。

一方、触覚呈示と聴覚呈示を同期して行う場合であっても、各呈示の態様により利用者が知覚する感覚や、想起する印象が異なることが想定される。

例えば、触覚呈示に用いられる振動が激しすぎる場合や、聴覚呈示に用いられる音が大きすぎる場合等、感覚呈示の強度が高すぎると、利用者がフィードバックを不快に感じる可能性がある。反対に、触覚呈示に用いられる振動が小さすぎる場合や、聴覚呈示に用いられる音が小さすぎる等、感覚呈示の強度が小さすぎると、利用者がフィードバックを知覚することができないことが想定される。

上記のような事態を回避するためには、触覚呈示および聴覚呈示のうちの少なくとも一つが利用者にとって知覚可能であり、かつ当該利用者にとって不快ではない範囲である適正範囲を精度高く規定し、当該適正範囲に従って触覚呈示および聴覚呈示を制御することが重要となる。さらには、触覚呈示および聴覚呈示のそれぞれが上記適正範囲となるように制御を行う場合、操作性をより向上させるフィードバックを実現することが可能となる。

本願の出願人は、上記の適正範囲を規定するために、触覚呈示に係る基準位置からの差分を示す変位（以下、単に、変位、と示す場合がある）および聴覚呈示に係る音の強度に着目して実験を行った。ここで、上記の変位とは、触覚呈示の強度を示す指標の一例である。例えば、触覚呈示に振動刺激を用いる場合、上記の変位とは、触覚呈示部１３０の振動によって生じる接触領域１１１の基準位置からの差分を示す変位であってもよい。また、上記の変位は、触覚呈示部１３０の振動によって生じる入力部１１０の基準位置からの差分を示す変位であってもよいし、触覚呈示部１３０の基準位置からの差分を示す変位であってもよい。

図２は、本実施形態に係る接触領域１１１の変位について説明するための図である。図２には、触覚呈示部１３０への印加後における接触領域１１１の変位が時間軸に沿って示されている。なお、ここでは、１周期の変位の遷移を示している。振動を発生させる触覚呈示部１３０への印加を行うと、図２に示すように、所定時間の経過後に変位は急激に上昇して最大値を迎え、その後低下する。この際、本実施形態に係る触覚呈示の変位とは、触覚呈示部１３０への印加により生じる変位の最大値と基準位置との差（変位幅）としてもよい。本実施形態に係る制御部２１０は、変位の最大値と基準位置との差（変位幅）が上述した適正範囲に収まるように触覚呈示部１３０を制御する。なお、上記の基準位置は、変位の最小値としてもよいし、０としてもよい。また、基準位置は、触覚呈示部１３０への印加前における変位の値でとしてもよい。

一方、聴覚呈示に係る音の強度は、例えば、音圧の大きさを規定値との比の常用対数によって表現した音圧レベル［ｄＢ］や、人の聴覚が感じる音の強さであり感覚量のひとつであるラウドネス［ｓｏｎｅ］であってもよい。

なお、実験においては、一例として、触覚呈示に振動刺激を用い、触覚呈示に係る変位を加速度の最大値と基準位置との差（変位幅）として定義し、変位の異なる複数の触覚呈示を規定した。また、聴覚呈示に係る音の強度を音圧レベルとして定義し、音の強度の異なる複数の聴覚呈示を規定した。

また、実験では、車両のドライビングシミュレータを用いた運転環境中において入力部１１０を操作する複数の被験者に対して、上記のように規定した触覚呈示と聴覚呈示の全組み合わせをそれぞれフィードバックとして呈示し、フィードバックの強さ感、フィードバックのわかり易さ、また総合的な観点としてのフィードバックの適切さについて主観的評価を求めた。

上記のような実験の結果、フィードバックの強さ感については、触覚呈示に係る変位が大きくなるにつれ、または聴覚呈示に係る音の強度が高くなるにつれ、フィードバックの強さ感が増加することがわかった。また、触覚呈示に係る変位または聴覚呈示に係る音の強度を所定以上とした場合、フィードバックに対する被験者の評価が「不快」に傾くことがわかった。

また、フィードバックのわかり易さについては、触覚呈示に係る変位が小さくなるにつれ、または聴覚呈示に係る音の強度が低くなるにつれ、フィードバックのわかり易さが減少することがわかった。

また、総合的な観点であるフィードバックの適切さについては、触覚呈示に係る変位、または聴覚呈示に係る音の強度が所定以上、または所定以下である場合にフィードバックの適切さが減少することがわかった。当該結果は、触覚呈示に係る変位、または聴覚呈示に係る音の強度が増加するにつれフィードバックの強さ感が不快なレベルに近づき、触覚呈示に係る変位、または聴覚呈示に係る音の強度が減少するにつれフィードバックのわかり易さが減少することが原因であると想定される。

本願の出願人は上述の適正範囲をさらに精度高く規定するために、上記の被験者の評価に基づく多変量分析を行った。多変量分析とは、ある対象から得られた互いに関連のある多種類のデータを統合的に要約する等の分析作業の総称を指す。ここでは、上記の規定に基づく触覚呈示および聴覚呈示を用いたフィードバックの適切さに対する被験者の評価を目的変数とし、触覚呈示に係る変位および聴覚呈示に係る音の強度を説明変数とした重回帰分析を行った。なお、目的変数は、下記の数式（１）を用いて求めた。数式（１）におけるｘ１は、触覚呈示に係る変位（変位幅）であり、ｘ２は、聴覚呈示に係る音の強度（音圧レベル）である。

…（１）

また、図３は、重回帰分析により算出した目的変数と説明変数の関係をマップ化したものである。図３では、横軸に触覚呈示に係る変位（変位幅）の大きさが、縦軸に聴覚呈示に係る音の強度が示されている。また、図３では、被験者による評価の平均が複数の段階ごとに対応するハッチングで表されている。なお、図３では、複数の段階のうち段階Ｌ１～Ｌ５を含むマップの一部を示している。

段階Ｌ１～Ｌ５は、数値が小さいほど、被験者たちが、フィードバックがより適切であると評価したことを示している。例えば、段階Ｌ１は、触覚呈示および聴覚呈示のそれぞれが快適であると被験者たちが評価した範囲であり、段階Ｌ２は、触覚呈示および聴覚呈示のそれぞれが知覚可能であり、かつ不快ではないと被験者たちが評価した範囲である。一方、段階Ｌ３以下は、触覚呈示または聴覚呈示の少なくともいずれかがわかり辛い、または知覚不能である、あるいは触覚呈示または聴覚呈示の少なくともいずれかが不快であると被験者たちが評価した範囲である。この場合、本実施形態に係る制御部２１０は、触覚呈示に係る変位と聴覚呈示に係る音の強度とが、マップ上において段階Ｌ２以上の範囲（適正範囲）に収まるように各値（パラメータ）を制御してもよい。すなわち、係る制御によれば、利用者にとって知覚可能であり、不快ではないフィードバックを実現することが可能となる。

また、例えば、図３に示すように、触覚呈示のみを用いたフィードバックＦ１を行う場合、触覚呈示の変位が大きすぎることで利用者が不快さを感じる可能性もある（段階Ｌ３）。しかし、フィードバックＦ２のように、聴覚呈示を併せて用いることで、例えば、利用者の評価を段階Ｌ１まで引き上げることが可能である。このように、本実施形態に係るシステム１では、触覚呈示に係る変位および聴覚呈示に係る音の強度の組み合わせを制御することで、利用者に知覚可能であり、かつ不快ではないフィードバックを実現することが可能である。

なお、本実施形態に係る制御部２１０は、触覚呈示および聴覚呈示のそれぞれが、利用者が快適と感じる範囲であり、上記適正範囲の一部である快適範囲となるように、変位および音の強度を制御してもよい。すなわち、本実施形態に係る制御部２１０は、変位および音の強度が段階Ｌ１の範囲（快適範囲）となるように、制御してもよい。係る制御によれば、利用者にとってわかり易く、かつ快適であるフィードバックを実現することが可能である。

なお、上記のような触覚呈示および聴覚呈示を用いたフィードバックは、車両等の移動体に搭乗する利用者へのフィードバックに特に有効であると考えられる。例えば、利用者が車両等を運転しながら入力部１１０に対する操作を行う場合、車室内においては走行に伴う振動や各種の環境音が発生することが想定される。この際、例えば、移動体の振動が激しい状況において触覚呈示のみを用いたフィードバックを行う場合や、環境音が大きい状況において聴覚呈示のみを用いたフィードバックを行う場合、利用者が当該フィードバックを知覚できない事態も想定される。

一方、本実施形態に係る制御部２１０によれば、上述のような多変量分析により算出した目的変数に基づく触覚呈示および聴覚呈示の両方を用いたフィードバックを行うことで、上記のような状況においても、利用者に知覚可能であるかつ不快ではない適切なフィードバックを実現することが可能である。このように、本実施形態に係る制御部２１０は、移動体に搭乗する利用者による入力部１１０の操作に対する触覚呈示および聴覚呈示の出力を制御してもよい。なお、上記では多変量分析の一例として重回帰分析を示したが、本実施形態に係る目的変数は、例えば、判別分析、ロジスティクス回帰分析、数量化１類、数量化２類などにより求められてもよい。また、実験手法は採用する多変量分析の特性に応じて設計されてよい。

＜２．補足＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記では、触覚呈示および聴覚呈示に対する評価を目的変数とした多変量分析により適正範囲を定義し、触覚呈示および聴覚呈示のそれぞれが当該適正範囲となるように触覚呈示に係る波形の特徴量および聴覚呈示に係る波形の特徴量を制御する場合を例に挙げて説明した。一方、本実施形態に係る適正範囲は、触覚呈示および聴覚呈示のそれぞれで別個に定義されてもよい。この場合、制御部２１０は、触覚呈示および聴覚呈示のうちの少なくとも一つが適正範囲となるように、触覚呈示に係る波形の特徴量および聴覚呈示に係る波形の特徴量を制御してよい。

例えば、上記では、触覚呈示の一例として振動刺激を挙げたが、本発明に係る触覚呈示は係る例に限定されない。本実施形態に係る触覚呈示は、温度変化を伴う触覚呈示であってもよいし、力覚に関する触覚呈示であってもよい。この場合であっても、上述のような被験者評価および重回帰分析を行うことで、適正範囲となる変化量を特定することが可能である。

また、本明細書において説明した各装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記録媒体（非一時的な媒体：ｎｏｎ－ｔｒａｎｓｉｔｏｒｙｍｅｄｉａ）に予め格納される。そして、各プログラムは、例えば、コンピュータによる実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。上記記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

１：システム、１００：入力装置、１１０：入力部、１１１：接触領域、１２０：検出部、１３０：触覚呈示部、１４０：支持部、２００：制御装置、２１０：制御部、２２０：記憶部、３００：音響出力装置

Claims

対象物が接触する接触領域を有した入力部に対する操作がなされたと判定された場合、触覚を介して刺激を呈示する触覚呈示、および聴覚を介して刺激を呈示する聴覚呈示を制御する制御部、
を備え、
前記制御部は、前記触覚呈示および前記聴覚呈示のうちの少なくとも一つが前記入力部の利用者にとって知覚可能であり、かつ前記利用者にとって不快ではない範囲である適正範囲となるように、前記触覚呈示に係る前記接触領域の基準位置からの差分を示す変位および前記聴覚呈示に係る音の強度を制御し、
前記適正範囲は、前記触覚呈示および前記聴覚呈示に対する評価を目的変数とし、前記触覚呈示に係る前記変位および前記聴覚呈示に係る音の強度を説明変数とした多変量分析により定義される、
制御装置。
前記制御部は、前記触覚呈示および前記聴覚呈示のそれぞれが、前記利用者が快適と感じる範囲であり、前記適正範囲の一部である快適範囲となるように、前記変位および前記音の強度を制御する、
請求項１に記載の制御装置。
前記制御部は、移動体に搭乗する前記利用者による前記入力部の操作に対する前記触覚呈示および前記聴覚呈示の出力を制御する、
請求項１または請求項２のいずれか一項に記載の制御装置。
対象物が接触する接触領域を有した入力部に対する操作がなされたと判定された場合、触覚を介して刺激を呈示する触覚呈示、および聴覚を介して刺激を呈示する聴覚呈示を制御すること、
を含み、
前記制御することは、前記触覚呈示および前記聴覚呈示のうちの少なくとも一つが前記入力部の利用者にとって知覚可能であり、かつ前記利用者にとって不快ではない範囲である適正範囲となるように、前記触覚呈示に係る前記接触領域の基準位置からの差分を示す変位および前記聴覚呈示に係る音の強度を制御すること、をさらに含み、
前記適正範囲は、前記触覚呈示および前記聴覚呈示に対する評価を目的変数とし、前記触覚呈示に係る前記変位および前記聴覚呈示に係る音の強度を説明変数とした多変量分析により定義される、
制御方法。
コンピュータに、
対象物が接触する接触領域を有した入力部に対する操作がなされたと判定された場合、触覚を介して刺激を呈示する触覚呈示、および聴覚を介して刺激を呈示する聴覚呈示を制御する制御機能、
を実現させ、
前記制御機能に、前記触覚呈示および前記聴覚呈示のうちの少なくとも一つが前記入力部の利用者にとって知覚可能であり、かつ前記利用者にとって不快ではない範囲である適正範囲となるように、前記触覚呈示に係る前記接触領域の基準位置からの差分を示す変位および前記聴覚呈示に係る音の強度を制御させ、
前記適正範囲は、前記触覚呈示および前記聴覚呈示に対する評価を目的変数とし、前記触覚呈示に係る前記変位および前記聴覚呈示に係る音の強度を説明変数とした多変量分析により定義される、
プログラム。