JP7072744B2 - 空中ハプティクス制御装置、空中ハプティクスシステム及び空中ハプティクス制御方法 - Google Patents

Description

本開示は、空中ハプティクス制御装置、空中ハプティクスシステム及び空中ハプティクス制御方法に関する。

従来、空中に光を投影することにより、空中に映像を表示する装置（以下「空中ディスプレイ装置」という。）が開発されている。また、空中に超音波を送信することにより、空中に触覚を提示する装置（以下「空中ハプティクス装置」という。）が開発されている。また、空中ディスプレイ装置及び空中ハプティクス装置を用いて、空中におけるＨＭＩ（Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）を実現するシステムが開発されている。特許文献１には、かかるシステムが開示されている。

特開２０１７－１６２１９５号公報

空中ハプティクス装置により実現される触覚刺激に要求される精度（以下「要求精度」という。）は、種々の要因により変動するものである。具体的には、例えば、要求精度は、ユーザによる操作入力が手探りによるものであるか目視によるものであるかに応じて変動するものである。また、例えば、要求精度は、ＨＭＩが単純であるか複雑であるかに応じて変動するものである。

特許文献１記載のシステムは、かかる要求精度の変動に対応するための構成を有していない。このため、かかる要求精度の変動に対応することができない問題があった。

本開示は、上記のような課題を解決するためになされたものであり、空中ハプティクス装置における触覚刺激の要求精度の変動に対応することを目的とする。

本開示に係る空中ハプティクス制御装置は、空中ハプティクス装置により実現される触覚刺激に対する要求精度の判定に用いられる判定用情報を取得する判定用情報取得部と、判定用情報を用いて要求精度を判定する要求精度判定部と、要求精度に応じて異なる選択密度により、空中ハプティクス装置におけるハプティクスドライバ群に含まれる複数個のハプティクスドライバのうちの複数個の駆動対象ハプティクスドライバを選択するドライバ選択部と、を備えるものである。

本開示によれば、上記のように構成したので、空中ハプティクス装置における触覚刺激の要求精度の変動に対応することができる。

実施の形態１に係る空中ハプティクスシステムの要部を示すブロック図である。 実施の形態１に係る空中ハプティクスシステムにおける空中ハプティクス装置の要部を示すブロック図である。 実施の形態１に係る空中ハプティクスシステムにおける制御装置のうちの駆動制御部の要部を示すブロック図である。 格子状に配置された複数個の駆動対象ハプティクスドライバの例を示す説明図である。 市松模様状に配置された複数個の駆動対象ハプティクスドライバの例を示す説明図である。 実施の形態１に係る空中ハプティクスシステムにおける空中ハプティクス制御装置の要部のハードウェア構成を示すブロック図である。 実施の形態１に係る空中ハプティクスシステムにおける空中ハプティクス制御装置の要部の他のハードウェア構成を示すブロック図である。 実施の形態１に係る空中ハプティクスシステムにおける空中ハプティクス制御装置の要部の他のハードウェア構成を示すブロック図である。 実施の形態１に係る空中ハプティクスシステムにおける空中ハプティクス制御装置の動作を示すフローチャートである。 実施の形態１に係る空中ハプティクスシステムにおける空中ハプティクス制御装置のうちの要求精度判定部の動作を示すフローチャートである。 ユーザの視線が表示領域に向けられていない状態の例を示す説明図である。 第１選択密度により複数個の駆動対象ハプティクスドライバが選択されて、駆動周波数が第１駆動周波数に設定された状態の例を示す説明図である。 ユーザの視線が表示領域に向けられている状態の例を示す説明図である。 第２選択密度により複数個の駆動対象ハプティクスドライバが選択されて、駆動周波数が第２駆動周波数に設定された状態の例を示す説明図である。 実施の形態１に係る他の空中ハプティクスシステムの要部を示すブロック図である。 実施の形態１に係る他の空中ハプティクスシステムの要部を示すブロック図である。 実施の形態１に係る他の空中ハプティクスシステムの要部を示すブロック図である。 実施の形態２に係る空中ハプティクスシステムの要部を示すブロック図である。 実施の形態２に係る空中ハプティクスシステムにおける空中ハプティクス制御装置の動作を示すフローチャートである。 実施の形態２に係る空中ハプティクスシステムにおける空中ハプティクス制御装置のうちの要求精度判定部の動作を示すフローチャートである。 スライド操作用のＵＩを含む操作画面に対応する映像の例を示す説明図である。 第１選択密度により複数個の駆動対象ハプティクスドライバが選択されて、駆動周波数が第１駆動周波数に設定された状態の例を示す説明図である。 タップ操作用のＵＩを含む操作画面に対応する映像の例を示す説明図である。 第２選択密度により複数個の駆動対象ハプティクスドライバが選択されて、駆動周波数が第２駆動周波数に設定された状態の例を示す説明図である。 実施の形態２に係る他の空中ハプティクスシステムの要部を示すブロック図である。 実施の形態２に係る他の空中ハプティクスシステムの要部を示すブロック図である。 実施の形態２に係る他の空中ハプティクスシステムの要部を示すブロック図である。 実施の形態３に係る空中ハプティクスシステムの要部を示すブロック図である。 実施の形態３に係る空中ハプティクスシステムにおける空中ハプティクス制御装置の動作を示すフローチャートである。 実施の形態３に係る空中ハプティクスシステムにおける空中ハプティクス制御装置のうちの要求精度判定部の動作を示すフローチャートである。 実施の形態３に係る他の空中ハプティクスシステムの要部を示すブロック図である。 実施の形態３に係る他の空中ハプティクスシステムの要部を示すブロック図である。 実施の形態３に係る他の空中ハプティクスシステムの要部を示すブロック図である。

以下、この開示をより詳細に説明するために、この開示を実施するための形態について、添付の図面に従って説明する。

実施の形態１．
図１は、実施の形態１に係る空中ハプティクスシステムの要部を示すブロック図である。図２は、実施の形態１に係る空中ハプティクスシステムにおける空中ハプティクス装置の要部を示すブロック図である。図３は、実施の形態１に係る空中ハプティクスシステムにおける制御装置のうちの駆動制御部の要部を示すブロック図である。図１～図３を参照して、実施の形態１に係る空中ハプティクスシステムについて説明する。

図１に示す如く、空中ハプティクスシステム１は、制御装置２、視線検出装置３、空中ハプティクス装置４及び空中ディスプレイ装置５を含むものである。制御装置２は、システム制御部１１、駆動制御部１２、表示制御部１３、電流検出部１４及び操作検出部１５を含むものである。また、制御装置２は、判定用情報取得部２１、要求精度判定部２２、ドライバ選択部２３及び周波数設定部２４を含むものである。判定用情報取得部２１、要求精度判定部２２、ドライバ選択部２３及び周波数設定部２４により、空中ハプティクス制御装置１００の要部が構成されている。

制御装置２は、例えば、車載用の情報通信機器により構成されている。すなわち、制御装置２は、例えば、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）により構成されている。以下、制御装置２が車載用の情報通信機器により構成されている場合の例を中心に説明する。すなわち、空中ハプティクスシステム１が車載用である場合の例を中心に説明する。

空中ハプティクスシステム１のユーザＵは、例えば、車両（不図示）の搭乗者である。すなわち、ユーザＵは、例えば、当該車両の運転者、当該車両の同乗者、又は当該車両の運転者及び当該車両の同乗者の各々である。以下、ユーザＵが当該車両の運転者である場合の例を中心に説明する。

視線検出装置３は、ユーザＵの視線方向Ｌを検出するものである。視線検出装置３は、当該検出された視線方向Ｌを示す情報（以下「視線方向情報」という。）を出力するものである。視線検出装置３は、例えば、ＤＭＳ（Ｄｒｉｖｅｒ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ）又はＯＭＳ（Ｏｃｃｕｐａｎｔ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ）により構成されている。視線方向Ｌの検出には、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。

図２に示す如く、空中ハプティクス装置４は、ハプティクスドライバ群ＤＧを用いるものである。ハプティクスドライバ群ＤＧは、複数個のハプティクスドライバＤを含むものである。個々のハプティクスドライバＤは、例えば、超音波トランスデューサにより構成されている。

複数個のハプティクスドライバＤは、一次元状に配列されている。または、複数個のハプティクスドライバＤは、二次元状に配列されている。図２に示す例においては、Ｍ×Ｎ個のハプティクスドライバＤがＮ行Ｍ列のマトリクス状に配列されている。ここで、Ｎは、２以上の任意の整数である。また、Ｍは、２以上の任意の整数である。

以下、複数個のハプティクスドライバＤが二次元状に配列されている場合の例を中心に説明する。より具体的には、Ｍ×Ｎ個のハプティクスドライバＤがＮ行Ｍ列のマトリクス状に配列されている場合の例を中心に説明する。

空中ディスプレイ装置５は、空中に光を投影することにより、空中に映像を表示するものである。空中ディスプレイ装置５により映像が表示される領域（以下「表示領域」という。）Ａ１は、空中ハプティクス装置４により触覚が提示される領域（以下「空中ハプティクス領域」という。）Ａ２に対応している。すなわち、空中ディスプレイ装置５は、空中ハプティクス装置４に対応するものである。空中ディスプレイ装置５は、例えば、３Ｄ－ＨＵＤ（Ｔｈｒｅｅ－Ｄｉｍｅｎｓｉｏｎａｌ Ｈｅａｄ－Ｕｐ Ｄｉｓｐｌａｙ）により構成されている。

システム制御部１１は、制御装置２全体の動作を制御するものである。これにより、システム制御部１１は、空中ハプティクスシステム１全体の動作を制御するものである。システム制御部１１は、例えば、専用の回路により構成されている。

駆動制御部１２は、システム制御部１１による指示に基づき、個々のハプティクスドライバＤを駆動する制御を実行するものである。駆動制御部１２は、例えば、専用の回路により構成されている。

すなわち、図３に示す如く、駆動制御部１２は、搬送波信号生成部３１、振動波信号生成部３２、変調部３３及び増幅部３４を含むものである。

搬送波信号生成部３１は、システム制御部１１による指示に基づき、所定の周波数（以下「搬送波周波数」という。）ｆを有する超音波（以下「搬送波」という。）に対応する電気信号（以下「搬送波信号」という。）を生成するものである。搬送波信号生成部３１は、当該生成された搬送波信号を変調部３３に出力するものである。

振動波信号生成部３２は、システム制御部１１による指示に基づき、所望の触覚刺激に対応する振動を実現するための超音波（以下「振動波」という。）に対応する電気信号（以下「振動波信号」という。）を生成するものである。振動波信号生成部３２は、当該生成された振動波信号を変調部３３に出力するものである。

変調部３３は、振動波信号生成部３２により出力された振動波信号を用いて、搬送波信号生成部３１により出力された搬送波信号を変調するものである。変調部３３は、当該変調された搬送波信号（以下「変調波信号」という。）を増幅部３４に出力するものである。

増幅部３４は、変調部３３により出力された変調波信号を増幅するものである。これにより、当該出力された変調波信号は、所定のレベルに増幅される。増幅部３４は、当該増幅された変調波信号（以下「送信信号」という。）をハプティクスドライバ群ＤＧに出力するものである。

ここで、搬送波信号生成部３１は、個々のハプティクスドライバＤに対応する搬送波信号を生成する。振動波信号生成部３２は、個々のハプティクスドライバＤに対応する振動波信号を生成する。変調部３３は、個々のハプティクスドライバＤについて、対応する振動波信号を用いて対応する搬送波信号を変調する。増幅部３４は、個々のハプティクスドライバＤに対応する変調波信号を増幅する。増幅部３４は、個々のハプティクスドライバＤに対応する送信信号を出力する。

これにより、個々のハプティクスドライバＤが駆動する。すなわち、個々のハプティクスドライバＤが空中に超音波ＵＳを送信する。これにより、空中ハプティクス領域Ａ２に触覚が提示される。すなわち、空中ハプティクス領域Ａ２におけるハプティクスが実現される。

なお、空中ハプティクス領域Ａ２のうちの指示体（例えばユーザの指）Ｐが存在する領域においては、対応するハプティクスドライバＤにより送信された超音波ＵＳが指示体Ｐにより反射されて、当該反射された超音波ＵＳ’が当該対応するハプティクスドライバＤにより受信される。当該対応するハプティクスドライバＤは、当該受信された超音波ＵＳ’に対応する電気信号（以下「受信信号」という。）を出力する。

表示制御部１３は、システム制御部１１による指示に基づき、空中ディスプレイ装置５を用いて、種々の画面に対応する映像を表示する制御を実行するものである。表示制御部１３は、例えば、専用の回路により構成されている。

ここで、空中ディスプレイ装置５により表示される映像は、種々の操作用の画面（以下「操作画面」という。）に対応する映像を含むものである。個々の操作画面におけるＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）は、ハンドジェスチャによる操作入力用のＵＩを含むものである。以下、個々の操作画面におけるＵＩを「画面ＵＩ」という。

具体的には、例えば、画面ＵＩは、スライド操作による操作入力用のＵＩ（以下「スライド操作用のＵＩ」という。）を含むものである。または、例えば、画面ＵＩは、フリック操作による操作入力用のＵＩ（以下「フリック操作用のＵＩ」という。）を含むものである。または、例えば、画面ＵＩは、タップ操作による操作入力用のＵＩ（以下「タップ操作用のＵＩ」という。）を含むものである。

以下、スライド操作又はフリック操作に比して単純な操作（例えばタップ操作）を総称して「単純操作」ということがある。また、単純操作による操作入力用のＵＩを「単純操作用のＵＩ」ということがある。

電流検出部１４は、個々のハプティクスドライバＤにおける電流値Ｉを検出するものである。より具体的には、電流検出部１４は、個々のハプティクスドライバＤについて、送信信号に対応する電流値Ｉ＿１を検出するとともに、受信信号に対応する電流値Ｉ＿２を検出するものである。電流検出部１４は、例えば、専用の回路により構成されている。

操作検出部１５は、電流検出部１４により検出された電流値Ｉを用いて、ユーザＵにより操作画面に対して入力された操作を検出するものである。操作検出部１５は、例えば、専用の回路により構成されている。

すなわち、空中ハプティクス領域Ａ２のうちの指示体Ｐが存在する領域においては、対応するハプティクスドライバＤに送信信号が入力されるとともに、当該対応するハプティクスドライバＤにより受信信号が出力される。通常、受信信号は、対応する送信信号に対して減衰したものとなる。また、受信信号は、対応する送信信号に対して位相差を有するものとなる。

このため、個々のハプティクスドライバＤにおける電流値Ｉ＿１，Ｉ＿２の差分値ΔＩに基づき、対応する領域における指示体Ｐの有無を判定することができる。操作検出部１５は、かかる判定の結果に基づき、ハンドジェスチャによる操作を検出する。具体的には、例えば、操作検出部１５は、スライド操作、フリック操作又はタップ操作を検出する。

判定用情報取得部２１は、後述する要求精度判定部２２による判定に用いられる情報（以下「判定用情報」という。）を取得するものである。ここで、判定用情報取得部２１により取得される判定用情報は、視線方向情報を含むものである。すなわち、判定用情報取得部２１は、視線検出装置３により出力された視線方向情報を取得するものである。

要求精度判定部２２は、判定用情報取得部２１により取得された判定用情報を用いて、空中ハプティクス装置４により実現される触覚刺激に要求される精度（すなわち要求精度）ＲＡを判定するものである。

より具体的には、要求精度判定部２２は、要求精度ＲＡが互いに異なる第１要求精度ＲＡ＿１及び第２要求精度ＲＡ＿２のうちのいずれであるかを判定するものである。ここで、第１要求精度ＲＡ＿１は、第２要求精度ＲＡ＿２に比して高い精度に対応するものである。他方、第２要求精度ＲＡ＿２は、第１要求精度ＲＡ＿１に比して低い精度に対応するものである。

すなわち、要求精度判定部２２は、上記取得された判定用情報に含まれる視線方向情報を用いて、ユーザＵの視線が表示領域Ａ１に向けられているか否かを判定する。換言すれば、要求精度判定部２２は、ユーザＵの視線が空中ハプティクス領域Ａ２に向けられているか否かを判定する。これにより、要求精度判定部２２は、ユーザＵによる操作入力が手探りよるものであるか目視によるものであるかを判定する。

ユーザＵの視線が表示領域Ａ１に向けられていない場合（すなわちユーザＵによる操作入力が手探りによるものである場合）、要求精度判定部２２は、要求精度ＲＡが第１要求精度ＲＡ＿１であると判定する。他方、ユーザＵの視線が表示領域Ａ１に向けられている場合（すなわちユーザＵによる操作入力が目視によるものである場合）、要求精度判定部２２は、要求精度ＲＡが第２要求精度ＲＡ＿２であると判定する。

ドライバ選択部２３は、ハプティクスドライバ群ＤＧに含まれるＭ×Ｎ個のハプティクスドライバＤのうちの複数個のハプティクスドライバ（以下「駆動対象ハプティクスドライバ」という。）Ｄ＿Ｄを選択するものである。ここで、Ｍ×Ｎ個のハプティクスドライバＤのうちの複数個の駆動対象ハプティクスドライバＤ＿Ｄの密度（以下「選択密度」という。）ＳＤは、要求精度判定部２２による判定結果に応じて異なるものである。

すなわち、要求精度ＲＡが第１要求精度ＲＡ＿１であると判定された場合、ドライバ選択部２３は、互いに異なる第１選択密度ＳＤ＿１及び第２選択密度ＳＤ＿２のうちの第１選択密度ＳＤ＿１により複数個の駆動対象ハプティクスドライバＤ＿Ｄを選択する。他方、要求精度ＲＡが第２要求精度ＲＡ＿２であると判定された場合、ドライバ選択部２３は、第２選択密度ＳＤ＿２により複数個の駆動対象ハプティクスドライバＤ＿Ｄを選択する。ここで、第１選択密度ＳＤ＿１は、第２選択密度ＳＤ＿２に比して高い密度に対応するものである。他方、第２選択密度ＳＤ＿２は、第１選択密度ＳＤ＿１に比して低い密度に対応するものである。

具体的には、例えば、要求精度ＲＡが第１要求精度ＲＡ＿１であると判定された場合、ドライバ選択部２３は、Ｍ×Ｎ個のハプティクスドライバＤのうちの全てのハプティクスドライバＤを駆動対象ハプティクスドライバＤ＿Ｄに選択する。他方、要求精度ＲＡが第２要求精度ＲＡ＿２であると判定された場合、ドライバ選択部２３は、Ｍ×Ｎ個のハプティクスドライバＤのうちの格子状に配置された複数個のハプティクスドライバＤを駆動対象ハプティクスドライバＤ＿Ｄに選択する。または、ドライバ選択部２３は、Ｍ×Ｎ個のハプティクスドライバＤのうちの市松模様状に配置された複数個のハプティクスドライバＤを駆動対象ハプティクスドライバＤ＿Ｄに選択する。

以下、Ｍ×Ｎ個のハプティクスドライバＤのうちの複数個の駆動対象ハプティクスドライバＤ＿Ｄを除く０個以上のハプティクスドライバＤを「非駆動対象ハプティクスドライバ」ということがある。また、非駆動対象ハプティクスドライバに「Ｄ＿ＮＤ」の符号を用いることがある。

図４は、格子状に配置された複数個の駆動対象ハプティクスドライバＤ＿Ｄの例を示している。すなわち、図４に示す如く、５行５列のマトリクス状に配列された２５個のハプティクスドライバＤがハプティクスドライバ群ＤＧに含まれている。また、１６個の駆動対象ハプティクスドライバＤ＿Ｄ及び９個の非駆動対象ハプティクスドライバＤ＿ＮＤがハプティクスドライバ群ＤＧに含まれている。１６個の駆動対象ハプティクスドライバＤ＿Ｄは、格子状に配置されている。

図５は、市松模様状に配置された複数個の駆動対象ハプティクスドライバＤ＿Ｄの例を示している。すなわち、図５に示す如く、５行５列のマトリクス状に配列された２５個のハプティクスドライバＤがハプティクスドライバ群ＤＧに含まれている。また、１２個の駆動対象ハプティクスドライバＤ＿Ｄ及び１３個の非駆動対象ハプティクスドライバＤ＿ＮＤがハプティクスドライバ群ＤＧに含まれている。１２個の駆動対象ハプティクスドライバＤ＿Ｄは、市松模様状に配置されている。

ドライバ選択部２３は、個々の駆動対象ハプティクスドライバＤ＿Ｄを駆動の対象に含めることを駆動制御部１２に指示するようになっている。換言すれば、ドライバ選択部２３は、個々の非駆動対象ハプティクスドライバＤ＿ＮＤを駆動の対象から除外することを駆動制御部１２に指示するようになっている。

周波数設定部２４は、個々の駆動対象ハプティクスドライバＤ＿Ｄにより送信される超音波ＵＳの周波数（以下「駆動周波数」という。）Ｆを、要求精度判定部２２による判定結果に応じて異なる値に設定するものである。

すなわち、要求精度ＲＡが第１要求精度ＲＡ＿１であると判定された場合、周波数設定部２４は、駆動周波数Ｆを、互いに異なる駆動周波数Ｆ＿１，Ｆ＿２のうちのより高い駆動周波数（以下「第１駆動周波数」という。）Ｆ＿１に設定する。これは、例えば、互いに異なる搬送波周波数ｆ＿１，ｆ＿２のうちのより高い搬送波周波数ｆ＿１に対応する搬送波信号の生成を搬送波信号生成部３１に指示することにより実現される。

他方、要求精度ＲＡが第２要求精度ＲＡ＿２であると判定された場合、周波数設定部２４は、駆動周波数Ｆを、互いに異なる駆動周波数Ｆ＿１，Ｆ＿２のうちのより低い駆動周波数（以下「第２駆動周波数」という。）Ｆ＿２に設定する。これは、例えば、互いに異なる搬送波周波数ｆ＿１，ｆ＿２のうちのより低い搬送波周波数ｆ＿２に対応する搬送波信号の生成を搬送波信号生成部３１に指示することにより実現される。

駆動制御部１２は、ドライバ選択部２３による指示に基づき、個々の駆動対象ハプティクスドライバＤ＿Ｄを駆動の対象に含めるようになっている。換言すれば、駆動制御部１２は、ドライバ選択部２３による指示に基づき、個々の非駆動対象ハプティクスドライバＤ＿ＮＤを駆動の対象から除外するようになっている。このとき、搬送波信号生成部３１は、周波数設定部２４による指示に基づき、搬送波周波数ｆ＿１又は搬送波周波数ｆ＿２に対応する搬送波信号を生成するようになっている。

このようにして、空中ハプティクスシステム１の要部が構成されている。

以下、判定用情報取得部２１により実行される処理を総称して「判定用情報取得処理」ということがある。また、要求精度判定部２２により実行される処理を総称して「要求精度判定処理」ということがある。また、ドライバ選択部２３により実行される処理を総称して「ドライバ選択処理」ということがある。また、周波数設定部２４により実行される処理を総称して「周波数設定処理」ということがある。

以下、判定用情報取得部２１が有する機能を総称して「判定用情報取得機能」ということがある。また、要求精度判定部２２が有する機能を総称して「要求精度判定機能」ということがある。また、ドライバ選択部２３が有する機能を総称して「ドライバ選択機能」ということがある。また、周波数設定部２４が有する機能を総称して「周波数設定機能」ということがある。

以下、判定用情報取得機能に「Ｆ１」の符号を用いることがある。また、要求精度判定機能に「Ｆ２」の符号を用いることがある。また、ドライバ選択機能に「Ｆ３」の符号を用いることがある。また、周波数設定機能に「Ｆ４」に符号を用いることがある。

次に、図６～図８を参照して、空中ハプティクス制御装置１００の要部のハードウェア構成について説明する。

図６に示す如く、空中ハプティクス制御装置１００は、プロセッサ４１及びメモリ４２を有している。メモリ４２には、複数個の機能（判定用情報取得機能、要求精度判定機能、ドライバ選択機能及び周波数設定機能を含む。）Ｆ１～Ｆ４に対応するプログラムが記憶されている。プロセッサ４１は、メモリ４２に記憶されているプログラムを読み出して実行する。これにより、複数個の機能Ｆ１～Ｆ４が実現される。

または、図７に示す如く、空中ハプティクス制御装置１００は、処理回路４３を有している。処理回路４３は、複数個の機能Ｆ１～Ｆ４に対応する処理を実行する。これにより、複数個の機能Ｆ１～Ｆ４が実現される。

または、図８に示す如く、空中ハプティクス制御装置１００は、プロセッサ４１、メモリ４２及び処理回路４３を有している。メモリ４２には、複数個の機能Ｆ１～Ｆ４のうちの一部の機能に対応するプログラムが記憶されている。プロセッサ４１は、メモリ４２に記憶されているプログラムを読み出して実行する。これにより、かかる一部の機能が実現される。また、処理回路４３は、複数個の機能Ｆ１～Ｆ４のうちの残余の機能に対応する処理を実行する。これにより、かかる残余の機能が実現される。

プロセッサ４１は、１個以上のプロセッサにより構成されている。個々のプロセッサは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ又はＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）を用いたものである。

メモリ４２は、１個以上の不揮発性メモリにより構成されている。または、メモリ４２は、１個以上の不揮発性メモリ及び１個以上の揮発性メモリにより構成されている。すなわち、メモリ４２は、１個以上のメモリにより構成されている。個々のメモリは、例えば、半導体メモリ又は磁気ディスクを用いたものである。より具体的には、個々の揮発性メモリは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を用いたものである。また、個々の不揮発性メモリは、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ソリッドステートドライブ又はハードディスクドライブを用いたものである。

処理回路４３は、１個以上のデジタル回路により構成されている。または、処理回路４３は、１個以上のデジタル回路及び１個以上のアナログ回路により構成されている。すなわち、処理回路４３は、１個以上の処理回路により構成されている。個々の処理回路は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ ｏｎ ａ Ｃｈｉｐ）又はシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）を用いたものである。

ここで、プロセッサ４１が複数個のプロセッサにより構成されているとき、複数個の機能Ｆ１～Ｆ４と複数個のプロセッサとの対応関係は任意である。すなわち、複数個のプロセッサの各々は、複数個の機能Ｆ１～Ｆ４のうちの対応する１個以上の機能に対応するプログラムを読み出して実行するものであっても良い。プロセッサ４１は、複数個の機能Ｆ１～Ｆ４の各々に対応する専用のプロセッサを含むものであっても良い。

また、メモリ４２が複数個のメモリにより構成されているとき、複数個の機能Ｆ１～Ｆ４と複数個のメモリとの対応関係は任意である。すなわち、複数個のメモリの各々は、複数個の機能Ｆ１～Ｆ４のうちの対応する１個以上の機能に対応するプログラムを記憶するものであっても良い。メモリ４２は、複数個の機能Ｆ１～Ｆ４の各々に対応する専用のメモリを含むものであっても良い。

また、処理回路４３が複数個の処理回路により構成されているとき、複数個の機能Ｆ１～Ｆ４と複数個の処理回路との対応関係は任意である。すなわち、複数個の処理回路の各々は、複数個の機能Ｆ１～Ｆ４のうちの対応する１個以上の機能に対応する処理を実行するものであっても良い。処理回路４３は、複数個の機能Ｆ１～Ｆ４の各々に対応する専用の処理回路を含むものであっても良い。

次に、図９に示すフローチャートを参照して、空中ハプティクス制御装置１００の動作について説明する。

まず、判定用情報取得部２１が判定用情報取得処理を実行する（ステップＳＴ１）。次いで、要求精度判定部２２が要求精度判定処理を実行する（ステップＳＴ２）。次いで、ドライバ選択部２３がドライバ選択処理を実行する（ステップＳＴ３）。次いで、周波数設定部２４が周波数設定処理を実行する（ステップＳＴ４）。

次に、図１０に示すフローチャートを参照して、要求精度判定部２２の動作について説明する。すなわち、ステップＳＴ２にて実行される処理について説明する。

まず、要求精度判定部２２は、ステップＳＴ１にて取得された判定用情報に含まれる視線方向情報を用いて、ユーザＵの視線が表示領域Ａ１に向けられているか否かを判定する（ステップＳＴ１１）。

ユーザＵの視線が表示領域Ａ１に向けられていない場合（ステップＳＴ１１“ＮＯ”）、すなわちユーザＵによる操作入力が手探りによるものである場合、要求精度判定部２２は、要求精度ＲＡが第１要求精度ＲＡ＿１であると判定する（ステップＳＴ１２）。

他方、ユーザＵの視線が表示領域Ａ１に向けられている場合（ステップＳＴ１１“ＹＥＳ”）、すなわちユーザＵによる操作入力が目視によるものである場合、要求精度判定部２２は、要求精度ＲＡが第２要求精度ＲＡ＿２であると判定する（ステップＳＴ１３）。

次に、図１１～図１４を参照して、空中ハプティクス制御装置１００におけるドライバ選択処理及び周波数設定処理の具体例について説明する。また、空中ハプティクス制御装置１００の効果について説明する。

図１１は、ユーザＵの視線が表示領域Ａ１に向けられていない状態の例を示している。すなわち、図１１は、ユーザＵが手探りによる操作入力をしようとしている状態の例を示している。より具体的には、図１１は、車両（不図示）の運転者の視線が前方に向けられている状態の例を示している。すなわち、図１１は、当該車両の運転者が当該車両の走行中に操作入力をしようとしている状態の例を示している。

この場合、要求精度判定部２２により、要求精度ＲＡが第１要求精度ＲＡ＿１であると判定される。そして、ドライバ選択部２３により、第１選択密度ＳＤ＿１にて複数個の駆動対象ハプティクスドライバＤ＿Ｄが選択される。具体的には、例えば、４行４列のマトリクス状に配列された１６個のハプティクスドライバＤのうちの全てのハプティクスドライバＤが駆動対象ハプティクスドライバＤ＿Ｄに選択される（図１２参照）。そして、駆動周波数Ｆが第１駆動周波数Ｆ＿１に設定される。

図１３は、ユーザＵの視線が表示領域Ａ１に向けられている状態の例を示している。すなわち、図１３は、ユーザＵが目視による操作入力をしようとしている状態の例を示している。より具体的には、図１３は、車両（不図示）の運転者の視線が表示領域Ａ１に向けられている状態の例を示している。すなわち、図１３は、当該車両の運転者が当該車両の停止中に操作入力をしようとしている状態の例を示している。

この場合、要求精度判定部２２により、要求精度ＲＡが第２要求精度ＲＡ＿２であると判定される。そして、ドライバ選択部２３により、第２選択密度ＳＤ＿２にて複数個の駆動対象ハプティクスドライバＤ＿Ｄが選択される。具体的には、例えば、４行４列のマトリクス状に配列された１６個のハプティクスドライバＤのうちの市松模様状に配置された８個のハプティクスドライバＤが駆動対象ハプティクスドライバＤ＿Ｄに設定される（図１４参照）。そして、駆動周波数Ｆが第２駆動周波数Ｆ＿２に設定される。

ここで、第１選択密度ＳＤ＿１を用いることにより、ドライバ選択部２３により選択される駆動対象ハプティクスドライバＤ＿Ｄの個数Ｘが多くなる。例えば、図１２に示す例においては、Ｘ＝１６である。他方、第２選択密度ＳＤ＿２を用いることにより、ドライバ選択部２３により選択される駆動対象ハプティクスドライバＤ＿Ｄの個数Ｘが少なくなる。例えば、図１４に示す例においては、Ｘ＝８である。

また、一般に、超音波の周波数が高いほど、かかる超音波の指向性が高くなる。換言すれば、超音波の周波数が低いほど、かかる超音波の指向性が低くなる。このため、駆動周波数Ｆが第１駆動周波数Ｆ＿１に設定されることにより、個々の駆動対象ハプティクスドライバＤ＿Ｄにより送信される超音波ＵＳの指向性が高くなる（図１２参照）。他方、駆動周波数Ｆが第２駆動周波数Ｆ＿２に設定されることにより、個々の駆動対象ハプティクスドライバＤ＿Ｄにより送信される超音波ＵＳの指向性が低くなる（図１４参照）。

ここで、個数Ｘを多くする（すなわち第１選択密度ＳＤ＿１を用いる）とともに超音波ＵＳの指向性を高くする（すなわち第１駆動周波数Ｆ＿１を用いる）ことにより、高精度な触覚刺激を実現することができる。

他方、個数Ｘを少なくする（すなわち第２選択密度ＳＤ＿２を用いる）ことにより、触覚刺激の精度が低下するものの、空中ハプティクス装置４における消費電力を低減することができる。また、このとき、超音波ＵＳの指向性を低くする（すなわち第２駆動周波数Ｆ＿２を用いる）ことにより、空中ハプティクス装置４における消費電力を低減しつつ、空中ハプティクス領域Ａ２における触覚刺激が部分的に欠落するのを抑制することができる。すなわち、空中ハプティクス領域Ａ２における触覚刺激が逆格子状に欠落したり、又は空中ハプティクス領域Ａ２における触覚刺激が市松模様状に欠落したりするのを抑制することができる、

ユーザＵが手探りによる操作入力をするときは（図１１参照）、手探りによる操作入力をスムーズにする観点から、高精度な触覚刺激を実現するのが好適である。このとき、空中ハプティクスシステム１においては、図１２に示す如く、個数Ｘが多くなる（すなわち第１選択密度ＳＤ＿１が用いられる）とともに、超音波ＵＳの指向性が高くなる（すなわち第１駆動周波数Ｆ＿１が用いられる）。これにより、高精度な触覚刺激を実現することができる。この結果、手探りによる操作入力をスムーズにすることができる。

他方、ユーザＵが目視による操作入力をするときは（図１３参照）、ユーザＵが手探りによる操作入力をするときに比して、高精度な触覚刺激が不要である。このとき、空中ハプティクスシステム１においては、図１４に示す如く、個数Ｘが少なくなる（すなわち第２選択密度ＳＤ＿２が用いられる）とともに、超音波ＵＳの指向性が低くなる（すなわち第２駆動周波数Ｆ＿２が用いられる）。これにより、空中ハプティクス装置４における消費電力を低減することができる。

なお、複数個の駆動対象ハプティクスドライバＤ＿Ｄが市松模様状に配置されていることにより、複数個の駆動対象ハプティクスドライバＤ＿Ｄが格子状に配置されている場合に比して、以下のような効果を得ることができる。

すなわち、複数個の駆動対象ハプティクスドライバＤ＿Ｄが格子状に配置されているとき、複数個の駆動対象ハプティクスドライバＤ＿Ｄのうちの各２個の駆動対象ハプティクスドライバＤ＿Ｄについて、当該２個の駆動対象ハプティクスドライバＤ＿Ｄが互いに隣接することがある（図４参照）。他方、複数個の駆動対象ハプティクスドライバＤ＿Ｄが市松模様状に配置されているとき、当該２個の駆動対象ハプティクスドライバＤ＿Ｄが互いに隣接することはない（図５参照）。ここで、「隣接する」とは、Ｎ行Ｍ列のマトリクスにおける行方向又は列方向に隣接することを意味する。

換言すれば、複数個の駆動対象ハプティクスドライバＤ＿Ｄが格子状に配置されているときは、個々の駆動対象ハプティクスドライバＤ＿Ｄに隣接する駆動対象ハプティクスドライバＤ＿Ｄの個数Ｙが異なり得るものである。他方、複数個の駆動対象ハプティクスドライバＤ＿Ｄが市松模様状に配置されているときは、個数Ｙが一定である（Ｙ＝０）。

このため、複数個の駆動対象ハプティクスドライバＤ＿Ｄが市松模様状に配置されていることにより、複数個の駆動対象ハプティクスドライバＤ＿Ｄが格子状に配置されている場合に比して、空中ハプティクス領域Ａ２における触覚刺激のむらの発生を抑制することができる。換言すれば、空中ハプティクス領域Ａ２における触覚刺激を容易に均一にすることができる。また、かかる触覚刺激を効率良く実現することができる。

次に、図１５を参照して、空中ハプティクスシステム１の変形例について説明する。

図１５に示す如く、空中ハプティクス制御装置１００は、周波数設定部２４を含まないものであっても良い。すなわち、判定用情報取得部２１、要求精度判定部２２及びドライバ選択部２３により空中ハプティクス制御装置１００の要部が構成されているものであっても良い。

次に、図１６及び図１７を参照して、空中ハプティクスシステム１の他の変形例について説明する。

図１６又は図１７に示す如く、空中ハプティクスシステム１は、センサ６を含むものであっても良い。センサ６は、例えば、カメラ又は赤外線センサにより構成されている。操作検出部１５は、ハンドジェスチャによる操作を検出するにあたり、電流値Ｉを用いるのに代えてセンサ６を用いるものであっても良い。センサ６による操作の検出には、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。

以上のように、実施の形態１に係る空中ハプティクス制御装置１００は、空中ハプティクス装置４により実現される触覚刺激に対する要求精度ＲＡの判定に用いられる判定用情報を取得する判定用情報取得部２１と、判定用情報を用いて要求精度ＲＡを判定する要求精度判定部２２と、要求精度ＲＡに応じて異なる選択密度ＳＤにより、空中ハプティクス装置４におけるハプティクスドライバ群ＤＧに含まれる複数個のハプティクスドライバＤのうちの複数個の駆動対象ハプティクスドライバＤ＿Ｄを選択するドライバ選択部２３と、を備える。これにより、要求精度ＲＡの変動に対応することができる。

また、ドライバ選択部２３は、要求精度判定部２２により要求精度ＲＡが第２要求精度ＲＡ＿２よりも高い第１要求精度ＲＡ＿１であると判定された場合、第２選択密度ＳＤ＿２よりも高い第１選択密度ＳＤ＿１により複数個の駆動対象ハプティクスドライバＤ＿Ｄを選択する。これにより、高精度な触覚刺激を実現することができる。

また、空中ハプティクス制御装置１００は、要求精度判定部２２により要求精度ＲＡが第１要求精度ＲＡ＿１であると判定された場合、複数個の駆動対象ハプティクスドライバＤ＿Ｄの各々における駆動周波数Ｆを第２駆動周波数Ｆ＿２よりも高い第１駆動周波数Ｆ＿１に設定する周波数設定部２４を備える。これにより、高精度な触覚刺激を実現することができる。

また、ドライバ選択部２３は、要求精度判定部２２により要求精度ＲＡが第１要求精度ＲＡ＿１よりも低い第２要求精度ＲＡ＿２であると判定された場合、第１選択密度ＳＤ＿１よりも低い第２選択密度ＳＤ＿２により複数個の駆動対象ハプティクスドライバＤ＿Ｄを選択するものであり、空中ハプティクス制御装置１００は、要求精度判定部２２により要求精度ＲＡが第２要求精度ＲＡ＿２であると判定された場合、複数個の駆動対象ハプティクスドライバＤ＿Ｄの各々における駆動周波数Ｆを第１駆動周波数Ｆ＿１よりも低い第２駆動周波数Ｆ＿２に設定する周波数設定部２４を備える。これにより、空中ハプティクス装置４における消費電量を低減することができる。また、空中ハプティクス領域Ａ２における触覚刺激が部分的に欠落するのを抑制することができる。

また、判定用情報は、空中ハプティクス装置４及び空中ハプティクス装置４に対応する空中ディスプレイ装置５を含む空中ハプティクスシステム１のユーザＵの視線方向Ｌを示す視線方向情報を含む。これにより、ユーザＵによる操作入力が手探りによるものであるか目視によるものであるかに応じた要求精度ＲＡの判定を実現することができる。

また、要求精度判定部２２は、ユーザＵの視線が空中ディスプレイ装置５における表示領域Ａ１に向けられていない場合、要求精度ＲＡが第１要求精度ＲＡ＿１であると判定する。これにより、ユーザＵによる操作入力が手探りによるものであるとき、高精度な触覚刺激を実現することができる。

また、要求精度判定部２２は、ユーザＵの視線が空中ディスプレイ装置５における表示領域Ａ１に向けられている場合、要求精度ＲＡが第２要求精度ＲＡ＿２であると判定する。これにより、ユーザＵによる操作入力が目視によるものであるとき、空中ハプティクス装置４における消費電力を低減することができる。

また、実施の形態１に係る空中ハプティクス制御方法は、判定用情報取得部２１が、空中ハプティクス装置４により実現される触覚刺激に対する要求精度ＲＡの判定に用いられる判定用情報を取得するステップＳＴ１と、要求精度判定部２２が、判定用情報を用いて要求精度ＲＡを判定するステップＳＴ２と、ドライバ選択部２３が、要求精度ＲＡに応じて異なる選択密度ＳＤにより、空中ハプティクス装置４におけるハプティクスドライバ群ＤＧに含まれる複数個のハプティクスドライバＤのうちの複数個の駆動対象ハプティクスドライバＤ＿Ｄを選択するステップＳＴ３と、を備える。これにより、要求精度ＲＡの変動に対応することができる。

実施の形態２．
図１８は、実施の形態２に係る空中ハプティクスシステムの要部を示すブロック図である。図１８を参照して、実施の形態２に係る空中ハプティクスシステムについて説明する。なお、図１８において、図１に示すブロックと同様のブロックには同一符号を付して説明を省略する。

図１８に示す如く、空中ハプティクスシステム１ａは、制御装置２ａ、空中ハプティクス装置４及び空中ディスプレイ装置５を含むものである。制御装置２ａは、システム制御部１１、駆動制御部１２、表示制御部１３、電流検出部１４及び操作検出部１５を含むものである。また、制御装置２ａは、判定用情報取得部２１ａ、要求精度判定部２２ａ、ドライバ選択部２３及び周波数設定部２４を含むものである。判定用情報取得部２１ａ、要求精度判定部２２ａ、ドライバ選択部２３及び周波数設定部２４により、空中ハプティクス制御装置１００ａの要部が構成されている。

判定用情報取得部２１ａは、後述する要求精度判定部２２ａによる判定に用いられる情報（すなわち判定用情報）を取得するものである。ここで、判定用情報取得部２１ａにより取得される判定用情報は、空中ディスプレイ装置５における表示中の画面ＵＩを示す情報（以下「画面ＵＩ情報」という。）を含むものである。画面ＵＩ情報は、例えば、システム制御部１１から取得される。

要求精度判定部２２ａは、判定用情報取得部２１ａにより取得された判定用情報を用いて、空中ハプティクス装置４により実現される触覚刺激に要求される精度（すなわち要求精度）ＲＡを判定するものである。より具体的には、要求精度判定部２２ａは、要求精度ＲＡが互いに異なる第１要求精度ＲＡ＿１及び第２要求精度ＲＡ＿２のうちのいずれであるかを判定するものである。

すなわち、要求精度判定部２２ａは、上記取得された判定用情報に含まれる画面ＵＩ情報を用いて、表示中の画面ＵＩが単純操作用のＵＩであるか否かを判定する。表示中の画面ＵＩが単純操作用のＵＩでない場合（例えば表示中の画面ＵＩがスライド操作用のＵＩ又はフリック操作用のＵＩである場合）、要求精度判定部２２ａは、要求精度ＲＡが第１要求精度ＲＡ＿１であると判定する。他方、表示中の画面ＵＩが単純操作用のＵＩである場合（例えば表示中の画面ＵＩがタップ作用のＵＩである場合）、要求精度判定部２２ａは、要求精度ＲＡが第２要求精度ＲＡ＿２であると判定する。

このようにして、空中ハプティクスシステム１ａの要部が構成されている。

以下、判定用情報取得部２１ａにより実行される処理を総称して「判定用情報取得処理」ということがある。また、判定用情報取得部２１ａが有する機能を総称して「判定用情報取得機能」ということがある。また、かかる判定用情報取得機能に「Ｆ１ａ」の符号を用いることがある。

以下、要求精度判定部２２ａにより実行される処理を総称して「要求精度判定処理」ということがある。また、要求精度判定部２２ａが有する機能を総称して「要求精度判定機能」ということがある。また、かかる要求精度判定機能に「Ｆ２ａ」の符号を用いることがある。

空中ハプティクス制御装置１００ａの要部のハードウェア構成は、実施の形態１にて図６～図８を参照して説明したものと同様である。このため、詳細な説明は省略する。

すなわち、空中ハプティクス制御装置１００ａは、複数個の機能（判定用情報取得機能、要求精度判定機能、ドライバ選択機能及び周波数設定機能を含む。）Ｆ１ａ，Ｆ２ａ，Ｆ３，Ｆ４を有している。複数個の機能Ｆ１ａ，Ｆ２ａ，Ｆ３，Ｆ４の各々は、プロセッサ４１及びメモリ４２により実現されるものであっても良く、又は処理回路４３により実現されるものであっても良い。

ここで、プロセッサ４１は、複数個の機能Ｆ１ａ，Ｆ２ａ，Ｆ３，Ｆ４の各々に対応する専用のプロセッサを含むものであっても良い。また、メモリ４２は、複数個の機能Ｆ１ａ，Ｆ２ａ，Ｆ３，Ｆ４の各々に対応する専用のメモリを含むものであっても良い。また、処理回路４３は、複数個の機能Ｆ１ａ，Ｆ２ａ，Ｆ３，Ｆ４の各々に対応する専用の処理回路を含むものであっても良い。

次に、図１９に示すフローチャートを参照して、空中ハプティクス制御装置１００ａの動作について説明する。なお、図１９において、図９に示すステップと同様のステップには同一符号を付している。

まず、判定用情報取得部２１ａが判定用情報取得処理を実行する（ステップＳＴ１ａ）。次いで、要求精度判定部２２ａが要求精度判定処理を実行する（ステップＳＴ２ａ）。次いで、ドライバ選択部２３がドライバ選択処理を実行する（ステップＳＴ３）。次いで、周波数設定部２４が周波数設定処理を実行する（ステップＳＴ４）。

次に、図２０に示すフローチャートを参照して、要求精度判定部２２ａの動作について説明する。すなわち、ステップＳＴ２ａにて実行される処理について説明する。

まず、要求精度判定部２２ａは、ステップＳＴ１ａにて取得された判定用情報に含まれる画面ＵＩ情報を用いて、表示中の画面ＵＩが単純操作用のＵＩであるか否かを判定する（ステップＳＴ２１）。

表示中の画面ＵＩが単純操作用のＵＩでない場合（ステップＳＴ２１“ＮＯ”）、要求精度判定部２２ａは、要求精度ＲＡが第１要求精度ＲＡ＿１であると判定する（ステップＳＴ２２）。他方、表示中の画面ＵＩが単純操作用のＵＩである場合（ステップＳＴ２１“ＹＥＳ”）、要求精度判定部２２ａは、要求精度ＲＡが第２要求精度ＲＡ＿２であると判定する（ステップＳＴ２３）。

次に、図２１～図２４を参照して、空中ハプティクス制御装置１００ａにおけるドライバ選択処理及び周波数設定処理の具体例について説明する。また、空中ハプティクス制御装置１００ａの効果について説明する。

図２１は、スライド操作用のＵＩを含む操作画面に対応する映像の例を示している。より具体的には、地図画面に対応する映像の例を示している。図中、矢印Ａは、スライド操作における指示体Ｐのスライド範囲を示している。

この場合、要求精度判定部２２ａにより、要求精度ＲＡが第１要求精度ＲＡ＿１であると判定される。そして、ドライバ選択部２３により、第１選択密度ＳＤ＿１にて複数個の駆動対象ハプティクスドライバＤ＿Ｄが選択される。具体的には、例えば、４行４列のマトリクス状に配列された１６個のハプティクスドライバＤのうちの全てのハプティクスドライバＤが駆動対象ハプティクスドライバＤ＿Ｄに選択される（図２２参照）。そして、駆動周波数Ｆが第１駆動周波数Ｆ＿１に設定される。

図２３は、タップ操作用のＵＩを含む操作画面に対応する映像の例を示している。より具体的には、メニュー画面に対応する映像の例を示している。図２３に示す如く、メニュー画面は、４個のボタンＢ＿１～Ｂ＿４を含むものである。

この場合、要求精度判定部２２ａにより、要求精度ＲＡが第２要求精度ＲＡ＿２であると判定される。そして、ドライバ選択部２３により、第２選択密度ＳＤ＿２にて複数個の駆動対象ハプティクスドライバＤ＿Ｄが選択される。具体的には、例えば、４行４列のマトリクス状に配列された１６個のハプティクスドライバＤのうちの格子状に配置された８個のハプティクスドライバＤが駆動対象ハプティクスドライバＤ＿Ｄに選択される（図２４参照）。そして、駆動周波数Ｆが第２駆動周波数Ｆ＿２に設定される。

通常、画面ＵＩがスライド操作用のＵＩ又はフリック操作用のＵＩであるときは、画面ＵＩがタップ操作用のＵＩであるときに比して、高精度な触覚刺激が要求される。換言すれば、画面ＵＩがタップ操作用のＵＩであるときは、画面ＵＩがスライド操作用のＵＩ又はフリック操作用のＵＩであるときに比して、高精度な触覚刺激が不要である。

そこで、空中ハプティクスシステム１ａにおいては、表示中の画面ＵＩが単純操作用のＵＩでない場合（図２１参照）、図２２に示す如く、個数Ｘが多くなる（すなわち第１選択密度ＳＤ＿１が用いられる）とともに、超音波ＵＳの指向性が高くする（すなわち第１駆動周波数Ｆ＿１が用いられる）。これにより、高精度な触覚刺激を実現することができる。他方、表示中の画面ＵＩが単純操作用のＵＩである場合（図２３参照）、図２４に示す如く、個数Ｘが少なくなる（すなわち第２選択密度ＳＤ＿２が用いられる）とともに、超音波ＵＳの指向性が低くなる（すなわち第２駆動周波数Ｆ＿２が用いられる）。これにより、空中ハプティクス装置４における消費電力を低減することができる。

次に、図２５を参照して、空中ハプティクスシステム１ａの変形例について説明する。

図２５に示す如く、空中ハプティクス制御装置１００ａは、周波数設定部２４を含まないものであっても良い。すなわち、判定用情報取得部２１ａ、要求精度判定部２２ａ及びドライバ選択部２３により空中ハプティクス制御装置１００ａの要部が構成されているものであっても良い。

次に、図２６及び図２７を参照して、空中ハプティクスシステム１ａの他の変形例について説明する。

図２６又は図２７に示す如く、空中ハプティクスシステム１ａは、センサ６を含むものであっても良い。操作検出部１５は、ハンドジェスチャによる操作を検出するにあたり、電流値Ｉを用いるのに代えてセンサ６を用いるものであっても良い。

以上のように、実施の形態２に係る空中ハプティクス制御装置１００ａにおいて、判定用情報は、空中ハプティクス装置４に対応する空中ディスプレイ装置５における画面ＵＩを示す画面ＵＩ情報を含む。これにより、表示中の画面ＵＩが単純操作用のＵＩであるか否かに応じた要求精度ＲＡの判定を実現することができる。

また、要求精度判定部２２ａは、画面ＵＩが単純操作用のＵＩでない場合、要求精度ＲＡが第１要求精度ＲＡ＿１であると判定する。これにより、表示中の画面ＵＩが単純操作用のＵＩでないとき、高精度な触覚刺激を実現することができる。具体的には、例えば、表示中の画面ＵＩがスライド操作用のＵＩ又はフリック操作用のＵＩであるとき、高精度な触覚刺激を実現することができる。

また、要求精度判定部２２ａは、画面ＵＩが単純操作用のＵＩである場合、要求精度ＲＡが第２要求精度ＲＡ＿２であると判定する。これにより、表示中の画面ＵＩが単純操作用のＵＩであるとき、空中ハプティクス装置４における消費電力を低減することができる。具体的には、例えば、表示中の画面ＵＩがタップ操作用のＵＩであるとき、空中ハプティクス装置４における消費電力を低減することができる。

実施の形態３．
図２８は、実施の形態３に係る空中ハプティクスシステムの要部を示すブロック図である。図２８を参照して、実施の形態３に係る空中ハプティクスシステムについて説明する。なお、図２８において、図１に示すブロックと同様のブロックには同一符号を付して説明を省略する。

図２８に示す如く、空中ハプティクスシステム１ｂは、制御装置２ｂ、視線検出装置３、空中ハプティクス装置４及び空中ディスプレイ装置５を含むものである。制御装置２ｂは、システム制御部１１、駆動制御部１２、表示制御部１３、電流検出部１４及び操作検出部１５を含むものである。また、制御装置２ｂは、判定用情報取得部２１ｂ、要求精度判定部２２ｂ、ドライバ選択部２３及び周波数設定部２４を含むものである。判定用情報取得部２１ｂ、要求精度判定部２２ｂ、ドライバ選択部２３及び周波数設定部２４により、空中ハプティクス制御装置１００ｂの要部が構成されている。

判定用情報取得部２１ｂは、後述する要求精度判定部２２ｂによる判定に用いられる情報（すなわち判定用情報）を取得するものである。ここで、判定用情報取得部２１ｂにより取得される判定用情報は、視線方向情報及び画面ＵＩ情報を含むものである。視線方向情報は、視線検出装置３から取得される。画面ＵＩ情報は、例えば、システム制御部１１から取得される。

要求精度判定部２２ｂは、判定用情報取得部２１ｂにより取得された判定用情報を用いて、空中ハプティクス装置４により実現される触覚刺激に要求される精度（すなわち要求精度）ＲＡを判定するものである。より具体的には、要求精度判定部２２ｂは、要求精度ＲＡが互いに異なる第１要求精度ＲＡ＿１及び第２要求精度ＲＡ＿２のうちのいずれであるかを判定するものである。

すなわち、要求精度判定部２２ｂは、上記取得された判定用情報に含まれる視線方向情報を用いて、ユーザＵの視線が表示領域Ａ１に向けられているか否かを判定する。また、要求精度判定部２２ｂは、上記取得された判定用情報に含まれる画面ＵＩ情報を用いて、表示中の画面ＵＩが単純操作用のＵＩであるか否かを判定する。

ユーザＵの視線が表示領域Ａ１に向けられていない場合（すなわちユーザＵによる操作入力が手探りによるものである場合）、要求精度判定部２２ｂは、要求精度ＲＡが第１要求精度ＲＡ＿１であると判定する。また、ユーザＵの視線が表示領域Ａ１に向けられている場合（すなわちユーザＵによる操作入力が目視によるものである場合）において、表示中の画面ＵＩが単純操作用のＵＩでないとき（例えば表示中の画面ＵＩがスライド操作用のＵＩ又はフリック操作用のＵＩであるとき）、要求精度判定部２２ｂは、要求精度ＲＡが第１要求精度ＲＡ＿１であると判定する。

他方、ユーザＵの視線が表示領域Ａ１に向けられている場合（すなわちユーザＵによる操作入力が目視によるものである場合）において、表示中の画面ＵＩが単純操作用のＵＩであるとき（例えば表示中の画面ＵＩがタップ操作用のＵＩであるとき）、要求精度判定部２２ｂは、要求精度ＲＡが第２要求精度ＲＡ＿２であると判定する。

このようにして、空中ハプティクスシステム１ｂの要部が構成されている。

以下、判定用情報取得部２１ｂにより実行される処理を総称して「判定用情報取得処理」ということがある。また、判定用情報取得部２１ｂが有する機能を総称して「判定用情報取得機能」ということがある。また、かかる判定用情報取得機能に「Ｆ１ｂ」の符号を用いることがある。

以下、要求精度判定部２２ｂにより実行される処理を総称して「要求精度判定処理」ということがある。また、要求精度判定部２２ｂが有する機能を総称して「要求精度判定機能」ということがある。また、かかる要求精度判定機能に「Ｆ２ｂ」の符号を用いることがある。

空中ハプティクス制御装置１００ｂの要部のハードウェア構成は、実施の形態１にて図６～図８を参照して説明したものと同様である。このため、詳細な説明は省略する。

すなわち、空中ハプティクス制御装置１００ｂは、複数個の機能（判定用情報取得機能、要求精度判定機能、ドライバ選択機能及び周波数設定機能を含む。）Ｆ１ｂ，Ｆ２ｂ，Ｆ３，Ｆ４を有している。複数個の機能Ｆ１ｂ，Ｆ２ｂ，Ｆ３，Ｆ４の各々は、プロセッサ４１及びメモリ４２により実現されるものであっても良く、又は処理回路４３により実現されるものであっても良い。

ここで、プロセッサ４１は、複数個の機能Ｆ１ｂ，Ｆ２ｂ，Ｆ３，Ｆ４の各々に対応する専用のプロセッサを含むものであっても良い。また、メモリ４２は、複数個の機能Ｆ１ｂ，Ｆ２ｂ，Ｆ３，Ｆ４の各々に対応する専用のメモリを含むものであっても良い。また、処理回路４３は、複数個の機能Ｆ１ｂ，Ｆ２ｂ，Ｆ３，Ｆ４の各々に対応する専用の処理回路を含むものであっても良い。

次に、図２９に示すフローチャートを参照して、空中ハプティクス制御装置１００ｂの動作について説明する。なお、図２９において、図９に示すステップと同様のステップには同一符号を付している。

まず、判定用情報取得部２１ｂが判定用情報取得処理を実行する（ステップＳＴ１ｂ）。次いで、要求精度判定部２２ｂが要求精度判定処理を実行する（ステップＳＴ２ｂ）。次いで、ドライバ選択部２３がドライバ選択処理を実行する（ステップＳＴ３）。次いで、周波数設定部２４が周波数設定処理を実行する（ステップＳＴ４）。

次に、図３０に示すフローチャートを参照して、要求精度判定部２２ｂの動作について説明する。すなわち、ステップＳＴ２ｂにて実行される処理について説明する。

まず、要求精度判定部２２ｂは、ステップＳＴ１ｂにて取得された判定用情報に含まれる視線方向情報を用いて、ユーザＵの視線が表示領域Ａ１に向けられているか否かを判定する（ステップＳＴ３１）。また、要求精度判定部２２ｂは、ステップＳＴ１ｂにて取得された判定用情報に含まれる画面ＵＩ情報を用いて、表示中の画面ＵＩが単純操作用のＵＩであるか否かを判定する（ステップＳＴ３２）。

ユーザＵの視線が表示領域Ａ１に向けられていない場合（ステップＳＴ３１“ＮＯ”）、要求精度判定部２２ｂは、要求精度ＲＡが第１要求精度ＲＡ＿１であると判定する（ステップＳＴ３３）。また、ユーザＵの視線が表示領域Ａ１に向けられている場合において（ステップＳＴ３１“ＹＥＳ”）、表示中の画面ＵＩが単純操作用のＵＩでないとき（ステップＳＴ３２“ＮＯ”）、要求精度判定部２２ｂは、要求精度ＲＡが第１要求精度ＲＡ＿１であると判定する（ステップＳＴ３３）。

他方、ユーザＵの視線が表示領域Ａ１に向けられている場合において（ステップＳＴ３１“ＹＥＳ”）、表示中の画面ＵＩが単純操作用のＵＩであるとき（ステップＳＴ３２“ＹＥＳ”）、要求精度判定部２２ｂは、要求精度ＲＡが第２要求精度ＲＡ＿２であると判定する（ステップＳＴ３４）。

このように、視線方向情報及び画面ＵＩ情報を用いることにより、視線方向Ｌ及び画面ＵＩに応じて要求精度ＲＡを判定することができる。そして、当該判定された要求精度ＲＡに応じて、高精度な触覚刺激を実現したり、又は空中ハプティクス装置４における消費電力を低減したりすることができる。

次に、図３１を参照して、空中ハプティクスシステム１ｂの変形例について説明する。

図３１に示す如く、空中ハプティクス制御装置１００ｂは、周波数設定部２４を含まないものであっても良い。すなわち、判定用情報取得部２１ｂ、要求精度判定部２２ｂ及びドライバ選択部２３により空中ハプティクス制御装置１００ｂの要部が構成されているものであっても良い。

次に、図３２及び図３３を参照して、空中ハプティクスシステム１ｂの他の変形例について説明する。

図３２又は図３３に示す如く、空中ハプティクスシステム１ｂは、センサ６を含むものであっても良い。操作検出部１５は、ハンドジェスチャによる操作を検出するにあたり、電流値Ｉを用いるのに代えてセンサ６を用いるものであっても良い。

以上のように、実施の形態３に係る空中ハプティクス制御装置１００ｂにおいて、判定用情報は、空中ハプティクス装置４及び空中ハプティクス装置４に対応する空中ディスプレイ装置５を含む空中ハプティクスシステム１ｂのユーザＵの視線方向Ｌを示す視線方向情報を含み、かつ、空中ディスプレイ装置５における画面ＵＩを示す画面ＵＩ情報を含む。これにより、視線方向Ｌ及び画面ＵＩに応じた要求精度ＲＡの判定を実現することができる。

また、要求精度判定部２２ｂは、ユーザＵの視線が空中ディスプレイ装置５における表示領域Ａ１に向けられていない場合、要求精度ＲＡが第１要求精度ＲＡ＿１であると判定する。これにより、ユーザＵによる操作入力が手探りによるものであるとき、高精度な触覚刺激を実現することができる。

また、要求精度判定部２２ｂは、ユーザＵの視線が空中ディスプレイ装置５における表示領域Ａ１に向けられている場合において、画面ＵＩが単純操作用のＵＩでないとき、要求精度ＲＡが第１要求精度ＲＡ＿１であると判定する。これにより、ユーザＵによる操作入力が目視によるものである場合において、画面ＵＩが単純操作用のＵＩでないとき（例えば画面ＵＩがスライド操作用のＵＩ又はフリック操作用のＵＩであるとき）、高精度な触覚刺激を実現することができる。

また、要求精度判定部２２ｂは、ユーザＵの視線が空中ディスプレイ装置５における表示領域Ａ１に向けられている場合において、画面ＵＩが単純操作用のＵＩであるとき、要求精度ＲＡが第２要求精度ＲＡ＿２であると判定する。これにより、ユーザＵによる操作入力が目視によるものである場合において、画面ＵＩが単純操作用のＵＩであるとき（例えば画面ＵＩがタップ操作用のＵＩであるとき）、空中ハプティクス装置４における消費電力を低減することができる。

なお、本願開示はその開示の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

本開示に係る空中ハプティクス制御装置、空中ハプティクスシステム及び空中ハプティクス制御方法は、例えば、車載用の情報通信機器に用いることができる。

１，１ａ，１ｂ 空中ハプティクスシステム、２，２ａ，２ｂ 制御装置、３ 視線検出装置、４ 空中ハプティクス装置、５ 空中ディスプレイ装置、６ センサ、１１ システム制御部、１２ 駆動制御部、１３ 表示制御部、１４ 電流検出部、１５ 操作検出部、２１，２１ａ，２１ｂ 判定用情報取得部、２２，２２ａ，２２ｂ 要求精度判定部、２３ ドライバ選択部、２４ 周波数設定部、３１ 搬送波信号生成部、３２ 振動波信号生成部、３３ 変調部、３４ 増幅部、４１ プロセッサ、４２ メモリ、４３ 処理回路、１００，１００ａ，１００ｂ 空中ハプティクス制御装置、Ｄ ハプティクスドライバ、ＤＧ ハプティクスドライバ群。

Claims (20)

1. 空中ハプティクス装置により実現される触覚刺激に対する要求精度の判定に用いられる判定用情報を取得する判定用情報取得部と、
   前記判定用情報を用いて前記要求精度を判定する要求精度判定部と、
   前記要求精度に応じて異なる選択密度により、前記空中ハプティクス装置におけるハプティクスドライバ群に含まれる複数個のハプティクスドライバのうちの複数個の駆動対象ハプティクスドライバを選択するドライバ選択部と、
   を備える空中ハプティクス制御装置。
2. 前記ドライバ選択部は、前記要求精度判定部により前記要求精度が第２要求精度よりも高い第１要求精度であると判定された場合、第２選択密度よりも高い第１選択密度により前記複数個の駆動対象ハプティクスドライバを選択することを特徴とする請求項１記載の空中ハプティクス制御装置。
3. 前記要求精度判定部により前記要求精度が前記第１要求精度であると判定された場合、前記複数個の駆動対象ハプティクスドライバの各々における駆動周波数を第２駆動周波数よりも高い第１駆動周波数に設定する周波数設定部を備えることを特徴とする請求項２記載の空中ハプティクス制御装置。
4. 前記ドライバ選択部は、前記要求精度判定部により前記要求精度が第１要求精度よりも低い第２要求精度であると判定された場合、第１選択密度よりも低い第２選択密度により前記複数個の駆動対象ハプティクスドライバを選択するものであり、
   前記要求精度判定部により前記要求精度が前記第２要求精度であると判定された場合、前記複数個の駆動対象ハプティクスドライバの各々における駆動周波数を第１駆動周波数よりも低い第２駆動周波数に設定する周波数設定部を備える
   ことを特徴とする請求項１記載の空中ハプティクス制御装置。
5. 前記要求精度判定部により前記要求精度が前記第２要求精度であると判定された場合における前記複数個の駆動対象ハプティクスドライバは、格子状に配置されていることを特徴とする請求項４記載の空中ハプティクス制御装置。
6. 前記要求精度判定部により前記要求精度が前記第２要求精度であると判定された場合における前記複数個の駆動対象ハプティクスドライバは、市松模様状に配置されていることを特徴とする請求項４記載の空中ハプティクス制御装置。
7. 前記判定用情報は、前記空中ハプティクス装置及び前記空中ハプティクス装置に対応する空中ディスプレイ装置を含む空中ハプティクスシステムのユーザの視線方向を示す視線方向情報を含むことを特徴とする請求項２から請求項６のうちのいずれか１項記載の空中ハプティクス制御装置。
8. 前記要求精度判定部は、前記ユーザの視線が前記空中ディスプレイ装置における表示領域に向けられていない場合、前記要求精度が前記第１要求精度であると判定することを特徴とする請求項７記載の空中ハプティクス制御装置。
9. 前記要求精度判定部は、前記ユーザの視線が前記空中ディスプレイ装置における表示領域に向けられている場合、前記要求精度が前記第２要求精度であると判定することを特徴とする請求項７記載の空中ハプティクス制御装置。
10. 前記判定用情報は、前記空中ハプティクス装置に対応する空中ディスプレイ装置における画面ＵＩを示す画面ＵＩ情報を含むことを特徴とする請求項２から請求項６のうちのいずれか１項記載の空中ハプティクス制御装置。
11. 前記要求精度判定部は、前記画面ＵＩが単純操作用のＵＩでない場合、前記要求精度が前記第１要求精度であると判定することを特徴とする請求項１０記載の空中ハプティクス制御装置。
12. 前記要求精度判定部は、前記画面ＵＩが単純操作用のＵＩである場合、前記要求精度が前記第２要求精度であると判定することを特徴とする請求項１０記載の空中ハプティクス制御装置。
13. 前記判定用情報は、前記空中ハプティクス装置及び前記空中ハプティクス装置に対応する空中ディスプレイ装置を含む空中ハプティクスシステムのユーザの視線方向を示す視線方向情報を含み、かつ、前記空中ディスプレイ装置における画面ＵＩを示す画面ＵＩ情報を含むことを特徴とする請求項２から請求項６のうちのいずれか１項記載の空中ハプティクス制御装置。
14. 前記要求精度判定部は、前記ユーザの視線が前記空中ディスプレイ装置における表示領域に向けられていない場合、前記要求精度が前記第１要求精度であると判定することを特徴とする請求項１３記載の空中ハプティクス制御装置。
15. 前記要求精度判定部は、前記ユーザの視線が前記空中ディスプレイ装置における表示領域に向けられている場合において、前記画面ＵＩが単純操作用のＵＩでないとき、前記要求精度が前記第１要求精度であると判定することを特徴とする請求項１３記載の空中ハプティクス制御装置。
16. 前記要求精度判定部は、前記ユーザの視線が前記空中ディスプレイ装置における表示領域に向けられている場合において、前記画面ＵＩが単純操作用のＵＩであるとき、前記要求精度が前記第２要求精度であると判定することを特徴とする請求項１３記載の空中ハプティクス制御装置。
17. 請求項１記載の空中ハプティクス制御装置と、
    前記空中ハプティクス装置と、
    を備える空中ハプティクスシステム。
18. 前記空中ハプティクス装置に対応する空中ディスプレイ装置を備えることを特徴とする請求項１７記載の空中ハプティクスシステム。
19. 車載用であることを特徴とする請求項１７又は請求項１８記載の空中ハプティクスシステム。
20. 判定用情報取得部が、空中ハプティクス装置により実現される触覚刺激に対する要求精度の判定に用いられる判定用情報を取得するステップと、
    要求精度判定部が、前記判定用情報を用いて前記要求精度を判定するステップと、
    ドライバ選択部が、前記要求精度に応じて異なる選択密度により、前記空中ハプティクス装置におけるハプティクスドライバ群に含まれる複数個のハプティクスドライバのうちの複数個の駆動対象ハプティクスドライバを選択するステップと、
    を備える空中ハプティクス制御方法。

Images