JP7290972B2 - 車両の同乗者コミュニケーション装置 - Google Patents

Description

本発明は、車両の同乗者コミュニケーション装置に関する。

自動車には、ドライバの他にも、乳幼児などの同乗者が乗車できる。
この場合、ドライバなどの乗員が同乗者の状態を確認などしようとする場合、乗員は後部座席などに乗車している同乗者の方向を見て、同乗者の状態を観察することになる。
このようなわき見への対策として、特許文献１では、ドライバの前にデイスプレイを設置し、このデイスプレイに同乗者を撮像した映像を表示する。

特開２０１５－１２８９１５号公報

しかしながら、デイスプレイに同乗者を映したとしても、ドライバは、同乗者の状態を確認できるだけである。
同乗者に異変や不快な状況が見受けられる場合、ドライバは、シートに着座している状態のままで、同乗者に対して何かをできるわけではない。ドライバは、たとえば車両を止めて、同乗者のところへ体を動かして、異変や不快な状況が生じている同乗者に対して対処することになる。

このように車両では、同乗者に対する対処が可能となるようにすることが望まれる。
特に、今後自動運転が普及してドライバが常時運転をしなくてもよい状況になると、ドライバは、同乗者がいる場合、走行中にシートから体を動かして、同乗者に対して対処しがちになると予想される。しかしながら、ドライバは、シートから体を動かしてしまうと、走行中の車両の異常などに対して即座に対応することが難しくなる。

本発明の一実施の形態に係る車両の同乗者コミュニケーション装置は、車両のシートに着座する乗員の前に、同乗者の映像を投影する投影デバイスと、投影された同乗者の映像に対する乗員の操作を検出する操作検出デバイスと、同乗者に対して、検出される乗員の操作に応じた出力を行う出力デバイスと、前記操作検出デバイスにより検出される同乗者の映像に対する乗員の操作に応じて、乗員の操作部位へ、超音波場による触覚刺激を出力する刺激出力デバイスと、前記操作検出デバイスにより検出される同乗者の映像に対する乗員の操作を判定する操作判定部と、を有し、前記操作判定部は、同乗者の映像に対する乗員の操作を、映像を車両の前後方向に沿って押す操作または引く操作として判定し、同乗者への前記出力デバイスは、判定された車両の前後方向に沿った操作に基づいて、同乗者に対して前後方向に沿う動きを与える出力をし、乗員への前記刺激出力デバイスは、判定された車両の前後方向に沿った操作に基づいて、映像を操作する乗員の操作部位の前側または後側へ触覚刺激を出力する。
本発明の一実施の形態に係る車両の同乗者コミュニケーション装置は、車両のシートに着座する乗員の前に、同乗者の映像を投影する投影デバイスと、投影された同乗者の映像に対する乗員の操作を検出する操作検出デバイスと、同乗者に対して、検出される乗員の操作に応じた出力を行う出力デバイスと、前記操作検出デバイスにより検出される同乗者の映像に対する乗員の操作に応じて、乗員の操作部位へ、超音波場による触覚刺激を出力する刺激出力デバイスと、前記操作検出デバイスにより検出される同乗者の映像に対する乗員の操作を判定する操作判定部と、を有し、前記操作判定部は、同乗者の映像に対する乗員の操作として、乗員の操作部位の動きを判定し、同乗者への前記出力デバイスは、前記乗員の操作部位の動きに対応する動きを与えるように、同乗者に対して出力をし、乗員への前記刺激出力デバイスは、映像を操作する乗員の操作部位に対して、前記乗員の操作部位の動きに対応する触覚刺激を出力する。
好適には、前記出力デバイスは、同乗者が着座するシートまたは同乗者が乗る乗車補助具を駆動するアクチュエータであり、前記操作検出デバイスにより検出される同乗者の映像に対する乗員の操作に応じて、前記アクチュエータを作動させる、とよい。

好適には、前記出力デバイスは、同乗者が着座するシートまたは同乗者が乗る乗車補助具を駆動するアクチュエータであり、前記操作検出デバイスにより検出される同乗者の映像に対する乗員の操作に応じて、前記アクチュエータを作動させる、とよい。

本発明では、投影デバイスが、車両のシートに着座する乗員の前に、同乗者の映像を投影し、操作検出デバイスが、投影された同乗者の映像に対する乗員の操作を検出する。そして、同乗者に対して出力を行う出力デバイスは、操作検出デバイスにより検出される乗員の操作に応じて、出力を行う。たとえば、出力デバイスは、同乗者が着座するシートまたは同乗者が乗る乗車補助具を駆動するアクチュエータであり、操作検出デバイスにより検出される同乗者の映像に対する乗員の操作に応じて、アクチュエータを作動させる。これにより、乗員は、シートに着座した状態のままで、同じ車両に同乗する同乗者に対して、操作を与えて対処することができる。
しかも、本実施形態では、投影デバイスは、同乗者の状態を示すように、車内カメラにより撮像された画像から同乗者のみを全体的に切り出した映像を投影する。これにより、乗員は、同乗者の状態の変化を、シートに着座した状態のままで、その前に投影される映像のみで把握することができる。

図１は、本発明の実施形態に係る同乗者コミュニケーション装置が適用される自動車の説明図である。 図２は、図１の自動車に設けられる、同乗者コミュニケーション装置の説明図である。 図３は、図２の非接触操作装置の構成要素の車室での配置の一例を説明する図である。図３には、指先または手で映像を操作するドライバが併せて示されている。 図４は、図２の操作ＥＣＵによる、ドライバと同乗者とのコミュニケーション処理のフローチャートである。 図５は、ドライバと同乗者とのコミュニケーションの一例を模式的に説明する図である。

以下、本発明の実施形態を、図面に基づいて説明する。

図１は、本発明の実施形態に係る同乗者コミュニケーション装置１０が適用される自動車１の説明図である。
図１の自動車１は、車両の一例である。自動車１は、車室２を有する。車室２には、前後二列で複数のシート３が配置される。シート３には、自動車１に乗車したドライバなどが着座する。

ところで、自動車１には、ドライバの他にも、乳幼児などの同乗者が乗車できる。乳幼児は、その体格によってはチャイルドシートや座面調整クッションなどの乗車補助具を使って、シート３の上に乗車する。チャイルドシートや座面調整クッションは、シートベルトを通すことにより、シート３に対して移動しないように保持され得る。
このように乳幼児などの同乗者が乗車している場合、ドライバは、移動の途中で、同乗者の状態を確認することがある。ドライバは、後側のシート３に乗車している同乗者の方向を見て、同乗者の状態を目視により観察する。この場合、ドライバは、上体を大きくねじって後ろへ向けた、所謂わき見状態となる。
しかも、確認した乳幼児などの同乗者の状態に異変や不快な状況が見受けられる場合には、ドライバは、たとえば自動車１を止めて、シート３から離れて同乗者のところまで体を移動させて、異変や不快な状況が生じている同乗者に対処することになる。
このような同乗者の確認や対処作業は、ドライバにとって負担である。
今後自動運転が普及してドライバが常時運転をしなくてもよくなったとしても、ドライバにとって負担であることには変わりない。
そして、仮にたとえばドライバが走行中にシート３から体を動かして、同乗者に対して対処している最中に、自動車１の走行環境が変化したり自動車１に異常が生じたりしてしまうと、ドライバはそれらの事態に即座に対応することができない。
このように自動車１では、ドライバなどの乗員が、同乗者に対して容易に対処できるようにすることが望まれる。

図２は、図１の自動車１に設けられる、同乗者コミュニケーション装置１０の説明図である。
図２の同乗者コミュニケーション装置１０は、非接触操作装置１１、検出制御装置２４、リアシート制御装置２６、およびこれらを接続する自動車１のネットワーク２８、を有する。

自動車１のネットワーク２８には、たとえばＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＬＩＮ（Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ）といった通信方式のものがある。この他にも、自動車１のネットワーク２８は、コンピュータシステムで用いるＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏ／Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）などの通信方式を採用してもよい。ネットワーク２８には、この他にもたとえば自動車１の走行を制御するために、自動運転装置４１、駆動制御装置４２、操舵制御装置４３、制動制御装置４４、他の自動車などと通信する通信装置４５、などの複数の制御装置が接続されてよい。

検出制御装置２４は、自動車１に設けられる各種の検出センサに接続され、検出センサの動作を制御する。検出制御装置２４に接続される検出センサには、たとえば車内カメラ２５がある。車内カメラ２５は、車内である車室２を撮像する。本実施形態において、車内カメラ２５は、特に、後側のシート３に乗車している同乗者の全体を撮像する。検出制御装置２４は、車内カメラ２５の撮像画像を、ネットワーク２８へ出力する。

リアシート制御装置２６は、後側のシート３の背部を駆動する背部アクチュエータ２７に接続される。背部アクチュエータ２７は、後側のシート３の背部を駆動して、座部に対する立倒を制御する。これにより、同乗者への出力デバイスとしての背部アクチュエータ２７は、同乗者に対して、検出されるドライバの操作に応じた出力を行うことが可能である。なお、リアシート制御装置２６は、後側のシート３の座部を駆動する座部アクチュエータに接続されてもよい。背部アクチュエータ２７または座部アクチュエータは、同乗者が着座するシート３を駆動することにより、シート３に取り付けられる乗車補助具を駆動することができる。

非接触操作装置１１は、車内通信部１２、タイマ１３、映像投影デバイス１４、操作検出デバイス１５、刺激出力デバイス１６、音出力デバイス１７、メモリ１８、およびこれらが接続される操作ＥＣＵ１９、を有する。

メモリ１８は、たとえば不揮発性メモリである。メモリ１８は、非接触操作用のプログラム、およびデータを記録する。プログラムには、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）により処理を実行するものであってもよい。プログラムには、ＡＩ処理のための学習プログラムが含まれてよい。データには、非接触操作の際に投影する映像の三次元モデルデータなどが含まれる。三次元モデルデータは、非接触操作のための映像データであり、たとえばモデルの表面を構成する複数のポリゴンデータを有する。

操作ＥＣＵ１９は、たとえば中央処理装置、ＡＳＩＣ、ＤＳＰなどのマイクロコンピュータでよい。操作ＥＣＵ１９は、メモリ１８から非接触操作用のプログラムを読み込んで実行する。これにより、操作ＥＣＵ１９には、非接触操作装置１１の制御部が実現される。非接触操作装置１１の制御部は、非接触操作装置１１の全体の動作を制御し、非接触操作装置１１に非接触操作のための各種の機能を実現する。たとえば、操作ＥＣＵ１９には、非接触操作のための各種の機能として、映像制御部２０、操作判定部２１、刺激応答出力部２２、音応答出力部２３、が実現される。

車内通信部１２は、ネットワーク２８に接続される。車内通信部１２は、ネットワーク２８を通じて、たとえば図中に例示するように、検出制御装置２４、リアシート制御装置２６、などとの間で情報（データ）を送受する。たとえば、車内通信部１２は、検出制御装置２４から、車内カメラ２５により撮像される後側のシート３に乗車している同乗者の撮像画像を受信する。車内通信部１２は、後側のシート３の背部の立傾ける制御データを、ネットワーク２８へ出力する。

タイマ１３は、経過時間または時刻を計測する。

映像制御部２０は、車内カメラ２５により撮像された撮像画像から、同乗者の全体的な画像部分を切り出して、投影する映像データを生成する。映像制御部２０は、生成した映像データを、映像投影デバイス１４へ出力する。

映像投影デバイス１４は、前側のシート３に着座するドライバの前の空間へ、映像データに基づく映像を投影する。映像投影デバイス１４は、たとえばホログラム方式、ミラー方式により、ドライバの前の空間に映像を投影してよい。これにより、ドライバの前の空間には、同乗者の全体的な画像が投影される。

操作検出デバイス１５は、ドライバのたとえば手や指先などの操作部位による映像への操作を検出する。操作検出デバイス１５は、たとえば２つの撮像素子が並べて配列された操作ステレオカメラ３３でよい。この場合、操作検出デバイス１５は、２つの撮像素子の画像により、ドライバのたとえば手や指先などの操作部位の、車室２の中空における位置を検出する。これにより、操作検出デバイス１５は、投影された同乗者の映像に対するドライバの操作を検出することができる。

操作判定部２１は、操作検出デバイス１５からたとえば操作ステレオカメラ３３の画像といった検出情報を取得し、それに基づいてドライバの操作部位の位置や動きを判定する。動きには、移動の方向、速度、加速度などの操作部位の運動の情報が含まれる。操作判定部２１は、たとえばＡＩ処理により画像からドライバの操作部位の特徴を含む画素位置を取得し、操作ステレオカメラ３３の画像についての三角測量法により操作部位の位置情報を生成する。操作判定部２１は、時間をずらした撮像結果から、指先の動き、たとえば移動方向、移動速度、移動の加速度などの情報を生成する。
また、操作判定部２１は、映像の投影基準位置を基準にして、ドライバの操作部位の位置や動きを判定して、映像に対する操作を判定してよい。操作判定部２１は、投影される映像へのドライバの操作部位の接触の有無、接触までの残距離、接触する深さなどを判定してよい。操作判定部２１は、判定したこれらの操作情報を、操作ＥＣＵ１９の各部へ出力する。操作判定部２１は、操作情報を、映像制御部２０、刺激応答出力部２２、音応答出力部２３、へ出力する。映像制御部２０は、ドライバの操作に応じて投影用の映像データを更新して映像投影デバイス１４へ出力してよい。これにより、映像投影デバイス１４によりドライバの前へ投影される映像は、操作に応答するように更新される。
また、操作判定部２１は、操作情報に基づいて、車室２の空間に投影されている映像に対するドライバの操作がなされたと判断した場合、そのドライバの操作による入力情報を、車内通信部１２を通じて自動車１の各部へ出力する。

刺激出力デバイス１６は、たとえば電気信号により、ドライバの操作部位に対して触感を与えることができるものであればよい。非接触に触感を与えるデバイスとしては、たとえば超音波の場を生成して、ドライバの操作部位へ超音波の場または場の変動を与えることにより、操作部位の皮膚に触感を与えるものがある。刺激出力デバイス１６は、たとえば手の下に離れた平面に、複数の超音波素子３５が配列される素子アレイでよい。複数の超音波素子３５から選択的に超音波を出力することにより、ドライバの手のたとえば指先といった局所的な部位に、物体に触れているかのような触感を与えることができる。
この他にもたとえば、刺激出力デバイス１６は、複数の圧力出力素子が配列される素子アレイを有してもよい。

刺激応答出力部２２は、刺激出力デバイス１６へ電気信号を出力し、操作に応じた超音波を複数の超音波素子３５から選択的に出力する。これにより、刺激応答出力部２２は、車室２に超音波場を生成することができる。刺激応答出力部２２は、操作判定部２１により映像と接触していると判断されるドライバの操作部位へ局所的に超音波の場または場の変動を与える。人は、超音波場にたとえば手を入れると、手の表面の皮膚により超音波場を感じ取ることができる。これにより、刺激応答出力部２２は、車室２の空間に投影されている映像に対して非接触の操作をするドライバの操作部位に対して、超音波場による触感の刺激を操作に対する応答として出力することができる。

音出力デバイス１７は、たとえば音信号により駆動されるスピーカでよい。
音応答出力部２３は、音出力デバイス１７へ音信号を出力し、操作に応じた音を音出力デバイス１７から出力する。音応答出力部２３は、メモリ１８に記録されている音声データを選択して取得し、音声データから生成した音信号を音出力デバイス１７としてのスピーカへ出力する。これにより、ドライバは、操作に応じた音を聞くことができる。

図３は、図２の非接触操作装置１１の構成要素の車室２での配置の一例を説明する図である。図３には、指先または手で映像を操作するドライバが併せて示されている。
非接触操作装置１１は、自動車１の車室２に設けられる。
図３には、図３の映像投影デバイス１４、操作検出デバイス１５、および、刺激出力デバイス１６の具体的な組み合わせ例の模式的な説明図である。
図３には、映像投影デバイス１４として、表示スクリーン３１、ハーフミラー３２が図示されている。操作検出デバイス１５として、操作ステレオカメラ３３が図示されている。刺激出力デバイス１６として、素子アレイが図示されている。

刺激出力デバイス１６は、中空の四角枠体３４を有する。四角枠体３４の４つの面のそれぞれには、複数の超音波素子３５が配列された素子アレイが設けられる。四角枠体３４の上下左右の面の素子アレイを動作させることにより、図示するように四角枠体３４の内へ入れた指先には、超音波場が作用する。これにより、人は指先が触られている触感を得ることができる。

ハーフミラー３２は、刺激出力デバイス１６の中空の四角枠体３４について、人の反対側に設けられる。ハーフミラー３２は、一点鎖線で示す四角枠体３４の軸心に対して４５度で傾けて設けられる。ハーフミラー３２の下側には、同乗者の映像を表示するための表示スクリーン３１が配置される。これにより、人からは、刺激出力デバイス１６についての中空の四角枠体３４の内側に、同乗者の映像が視認できる。同乗者の映像は、中空の四角枠体３４の内側に視認できる。

操作ステレオカメラ３３は、たとえばハーフミラー３２の後側に設けてよい。これにより、操作ステレオカメラ３３の２つの撮像素子は、四角枠体３４の軸心に対して対象となる位置に設けられる。これにより、操作ステレオカメラ３３は、刺激出力デバイス１６の中空の四角枠体３４に入る指や手などを撮像することができる。以下、必要に応じて、四角枠体３４の軸心に沿った方向をＺ方向とよび、それに垂直な方向をＹ方向およびＸ方向とよぶ。また、通常は、Ｚ方向が自動車１の前後方向とするとよい。

なお、図２の非接触操作装置１１の構成要素は、図３に示すように一か所にまとめて配置される必要はない。

たとえば、刺激出力デバイス１６の中空の四角枠体３４は、ドライバの前に配置された場合、ドライバがハンドルなどを操作する際に操作の邪魔となる可能性がある。中空の四角枠体３４は、図１に示すように、車体の外周面に沿って四角枠状に設けられてよい。この場合、ドライバが着座するシート３の前に、四角枠体３４などの構造物を設ける必要がない。投影される映像に対応する操作エリアは、四角枠体３４の内側に位置することになる。また、中空の四角枠体３４は、必ずしも正四角形の枠形状でなくてもよい。車体の外周に沿って素子アレイを配置してもよい。また、車室２の内面に全体的に、素子アレイを配置してもよい。

ハーフミラー３２は、基本的に、刺激出力デバイス１６の中空の四角枠体３４を基準として、ドライバの頭部とは反対側に設ければよい。また、映像を四角枠体３４の内側の中空に投影するためだけであれば、ハーフミラー３２の替わりに、フル反射ミラーを用いてよい。また、刺激出力デバイス１６の中空の四角枠体３４を基準として、ドライバの頭部とは反対側に表示スクリーン３１そのものを配置してもよい。この場合、ハーフミラー３２またはフル反射ミラーは不要である。このようなハーフミラー３２またはフル反射ミラーおよび表示スクリーン３１は、たとえばトーボード、フロントガラス、ルーフなどに配置してよい。

操作ステレオカメラ３３などの操作検出デバイス１５は、ルームミラー、バックミラーなどに配置してよい。また、ＤＭＳなどのドライバ監視装置の撮像素子により、車室２を撮像してもよい。操作ステレオカメラ３３などの操作検出デバイス１５は、ドライバについての指先や手などの検出しようとする部位が撮像できるものであればよい。また、画像によらず、たとえば車室２をレーザースキャンして、ドライバの指先や手などを検出してもよい。

図４は、図２の操作ＥＣＵ１９による、ドライバと同乗者とのコミュニケーション処理のフローチャートである。
操作ＥＣＵ１９は、同乗者の映像を周期的に更新して投影する場合、図４の処理を繰り返し実行する。操作ＥＣＵ１９は、たとえば動画を表示するための映像のリフレッシュレートにより、図４の処理を周期的に実行してよい。

ステップＳＴ１において、操作ＥＣＵ１９は、車内通信部１２から、車内カメラ２５により撮像された後側のシート３に着座する同乗者の撮像画像を取得する。

ステップＳＴ２において、操作ＥＣＵ１９は、映像制御部２０として、車内カメラ２５により撮像された同乗者の撮像画像から、ＡＩによる画像認識技術を用いて同乗者の撮像範囲を特定し、同乗者の撮像部分を切り出した映像データを生成する。操作ＥＣＵ１９は、同乗者の撮像部分を３Ｄモデルの表面にテクスチャ化して貼り付けて、３次元的な同乗者の映像データを生成してもよい。操作ＥＣＵ１９は、同乗者のみを全体的に切り出した映像を、同乗者の顔などの部分を相対的に大きくするなどしたデフォルメした映像データを生成してもよい。

ステップＳＴ３において、操作ＥＣＵ１９は、映像制御部２０として、生成した同乗者の映像データを、映像投影デバイス１４へ出力する。これにより、映像投影デバイス１４は、前側のシート３に着座するドライバの前の空間へ、映像データに基づく映像を投影する。ドライバは、シート３に着座して前方向を向いた状態のまま、自分の直前に投影される同乗者の全体的な画像を観察して、同乗者の状態を確認することができる。車内カメラ２５により同乗者の全体が撮像されている場合、映像投影デバイス１４は、同乗者のみを全体的に切り出した映像を投影することができる。

ステップＳＴ４において、操作ＥＣＵ１９は、操作判定部２１として、投影している同乗者の映像に対する、ドライバの操作の有無を判断する。ドライバは、たとえば指先や手を使って、投影されてい映像の同乗者に触れたり、押したり、引いたりする。操作ＥＣＵ１９は、映像を投影する際の投影基準位置に基づいて、ドライバの前の空間に、投影する映像についての仮想的な接触面を設定する。操作ＥＣＵ１９は、操作検出デバイス１５の検出に基づいて、ドライバの指先や手といった操作部位の位置が、仮想的な接触面に到達している場合、ドライバによる映像の操作があると判断し、処理をステップＳＴ５へ進める。ドライバの指先や手といった操作部位の位置が、仮想的な接触面よりも自動車１の後ろ側にあって接触面に到達していない場合、ドライバによる映像の操作がないと判断し、図４の処理を終了する。

ステップＳＴ５において、操作ＥＣＵ１９は、操作判定部２１として、同乗者の映像に対するドライバの操作の種類（操作方法）を判定する。操作の種類には、たとえば仮想的な接触面に沿って操作部位が動くなでる操作、仮想的な接触面に略垂直な方向へ操作部位が動く押す操作または引く操作、がある。操作ＥＣＵ１９は、これらの操作の種類を登録したテーブルをメモリ１８から読み込み、検出されている操作部位の動きがどの種類の操作であるか否かを判定してよい。たとえば操作部位が自動車１の前後方向に沿った動きである場合、操作ＥＣＵ１９は、映像を押したり引いたりする操作であると判定する。

ステップＳＴ６において、操作ＥＣＵ１９は、操作判定部２１として、操作部位の動きの大きさ、速さを、判定した操作の種類での動きとして評価して判定する。操作ＥＣＵ１９は、以前の撮像画像の際の操作部位の位置と、今回の撮像画像の際の操作部位の位置との違いにより、操作部位の動きの大きさ、速さを判定すればよい。これにより、操作ＥＣＵ１９は、以前の撮像画像の後においてなされた操作部位の動きの大きさ、速さを得ることができる。

ステップＳＴ７において、操作ＥＣＵ１９は、判定した操作の種類および操作部位の動きに対応するように、背部アクチュエータ２７の駆動と、触覚刺激の出力とを選択する。
操作ＥＣＵ１９は、判定した操作の種類により、背部アクチュエータ２７の駆動パターンを選択する。たとえば、操作ＥＣＵ１９は、自動車１の前後方向に沿った操作である場合、同乗者のシート３の背部を自動車１の前後方向へ立倒駆動する駆動パターンを選択する。操作ＥＣＵ１９は、操作部位の動きの大きさに対応する駆動量を演算する。
また、操作ＥＣＵ１９は、判定した操作の種類により、触覚刺激の刺激パターンを選択する。たとえば、操作ＥＣＵ１９は、自動車１の前後方向に沿った操作である場合、操作部位の前側または後側へ触覚刺激を出力する刺激パターンを選択する。操作ＥＣＵ１９は、操作部位の動きの大きさに対応する出力量を演算する。

ステップＳＴ８において、操作ＥＣＵ１９は、刺激応答出力部２２として、選択した刺激パターンおよび大きさの刺激データを、刺激応答出力部２２へ出力する。刺激出力デバイス１６は、刺激テータに基づいて、ドライバの操作部位に対して、超音波場による触覚刺激を出力する。これにより、刺激出力デバイス１６は、同乗者の映像に対するドライバの操作に応じて、ドライバの操作部位へ触覚刺激を出力することができる。

ステップＳＴ９において、操作ＥＣＵ１９は、選択した駆動パターンおよび大きさの駆動データを、ネットワーク２８へ出力する。リアシート制御装置２６は、ネットワーク２８から駆動データを取得する。リアシート制御装置２６は、背部アクチュエータ２７を、駆動データに基づいて駆動する。これにより、背部アクチュエータ２７は、同乗者が乗車しているシート３の背部を、同乗者の映像に対するドライバの操作に応じて駆動して動かすことができる。

図５は、ドライバと同乗者とのコミュニケーションの一例を模式的に説明する図である。
図５（Ａ）は、後側のシート３に着座している同乗者の状態である。同乗者は、背部が立った状態のシート３に着座している。図５（Ａ）は、ドライバによる映像の操作前の状態に対応する。
図５（Ｂ）は、ドライバによる、同乗者の映像に対する操作状態である。ドライバは、自身の前近傍に表示される同乗者の投影画像により、同乗者の状態を観察して把握できる。ドライバは、わき見状態により、後側のシート３に着座している同乗者を直接に目視することなく、同乗者の状態を観察できる。そして、たとえば同乗者が寝ている場合、ドライバは、手により、同乗者の映像を自動車１の前へ向かって押す。これにより、操作部位である手には、手の前側に、操作に応じた触覚刺激が与えられる。
図５（Ｃ）は、後側のシート３に着座している同乗者についての、操作後の状態である。後側のシート３の背部は、ドライバの操作により後ろへ倒れ、リクライニングした状態となる。後側のシート３に着座している同乗者は、リクライニングした状態のシート３に着座できる。

さらに、図５（Ｄ）に示すように、手により、同乗者の映像を自動車１の後へ向かって引く。これにより、操作部位である手には、手の後側に、操作に応じた触覚刺激が与えられる。また、後側のシート３の背部は、立った状態に戻すように駆動される。同乗者は、図５（Ａ）に示すように、背部が立った状態のシート３に着座することができる。
このように、ドライバは、投影される映像により後側のシート３の同乗者の様子を確認しながら、同乗者の映像に対する操作により、同乗者のシート３を適切な姿勢が得られるように立倒することができる。

以上のように、本実施形態では、映像投影デバイス１４が、自動車１のシート３に着座するドライバの前の空間に、同乗者の映像を投影し、操作検出デバイス１５が、投影された同乗者の映像に対するドライバの操作を検出する。そして、同乗者に対して出力を行う背部アクチュエータ２７は、操作検出デバイス１５により検出されるドライバの操作に応じて、出力を行う。たとえば、背部アクチュエータ２７は、操作検出デバイス１５により検出される同乗者の映像に対するドライバの操作に応じて、同乗者が着座するシート３を駆動する。これにより、ドライバは、シート３に着座した状態のままで、同じ自動車１に同乗する同乗者に対して、操作を与えて対処することができる。
しかも、本実施形態では、映像投影デバイス１４は、操作中の同乗者の状態を示すように、車内カメラ２５により撮像された画像から同乗者のみを全体的に切り出した映像を投影する。これにより、ドライバは、同乗者の状態の変化を、シート３に着座した状態のままで、その前の空間に投影される映像のみで把握することができる。

本実施形態では、さらに、操作検出デバイス１５により検出される同乗者の映像に対するドライバの操作に応じて、ドライバの操作部位へ、超音波場による触覚刺激を出力する刺激出力デバイス１６、を有する。これにより、ドライバは、映像に対する操作についての応答を得ることができる。ドライバは、同乗者に対する出力のための操作について、その応答を得ることができる。ドライバは、同乗者に対して適切な出力がなされるように、感覚的に操作を調整することができる。
特に、操作検出デバイス１５により検出される同乗者の映像に対するドライバの操作を判定する操作判定部２１、を設けて、同乗者への背部アクチュエータ２７とドライバへの刺激出力デバイス１６とを、操作判定部２１により判定されるドライバの同じ操作に基づいて、各々の出力を同期的に調整する。これにより、ドライバは、操作に対する触覚刺激により、操作の程度を把握でき、触覚的な感覚で、同乗者に対する操作を調整することができる。

本実施形態では、さらに、操作判定部２１は、同乗者の映像に対するドライバの操作を、映像を自動車１の前後方向に沿って押す操作または引く操作として判定する。そして、同乗者への背部アクチュエータ２７は、判定された自動車１の前後方向に沿った操作に基づいて、同乗者のシート３の背部を自動車１の前後方向に沿って立倒駆動することで、同乗者に対して前後方向に沿う動きの操作を与える。その一方で、ドライバへの刺激出力デバイス１６は、判定された自動車１の前後方向に沿った操作に基づいて、映像を操作するドライバの操作部位の前側または後側へ触覚刺激を出力する。これにより、同乗者には、ドライバの操作方向に沿って動きが与えられる。また、ドライバは、同乗者に対して実際に与えられている動き、および自身の操作部位の前側または後側に与えられる触覚刺激により、実際に同乗者に触れて操作をしているかのような実感を得ながら、同乗者に対して操作をすることができる。
特に、同乗者への出力を、前後方向に沿った一方向の動きに限定することにより、ドライバの操作により同乗者がその一方向とは異なる左右方向へも併せて振られてしまうことがなくなり、同乗者が前後左右へ振られることにより体調を崩すことなどが起き難くなると予想される。

また、本実施形態では、さらに、操作判定部２１は、同乗者の映像に対するドライバの操作として、ドライバの操作部位の動きの大きさや速さを判定する。そして、同乗者への背部アクチュエータ２７は、ドライバの操作部位の動きに対応する大きさや速さの動きを与えるように、同乗者のシート３の背部を立倒駆動することで、同乗者に対して操作の出力をし、ドライバへの刺激出力デバイス１６は、映像を操作するドライバの操作部位に対して、ドライバの操作部位の動きに対応する大きさや速さの触覚刺激を出力する。これにより、ドライバは、中空に投影される映像に対して触感のない操作しているにもかかわらず、触覚刺激のたとえば大きさにより同乗者に対する出力の大きさを把握することができる。ドライバは、同乗者への操作の大きさや速さを把握して、過度なものとならないように操作を調整することができる。

以上の実施形態は、本発明の好適な実施形態の例であるが、本発明は、これに限定されるのもではなく、発明の要旨を逸脱しない範囲において種々の変形または変更が可能である。

たとえば上記実施形態では、背部アクチュエータ２７は、同乗者が乗車するシート３の背部を立倒するように駆動する。
この他にもたとえば、アクチュエータは、同乗者が乗車するシート３の座部を左右や前後に駆動してもよい。
また、アクチュエータは、シート３に装着される乗車補助具を、左右や前後に駆動してもよい。

上記実施形態では、非接触操作装置１１は、ドライバの前に同乗者の映像を投影し、ドライバによる同乗者の映像の操作を検出している。
この他にもたとえば、非接触操作装置１１は、助手席としてのシート３に着座する乗員の前に同乗者の映像を投影し、助手席の乗員による同乗者の映像の操作を検出してもよい。
また、自動車１に３列以上でシート３が前後に並べて設けられる場合、非接触操作装置１１は、それぞれの列のシート３に対応して設けられてもよい。非接触操作装置１１を操作者の前に対して設けることにより、操作者はシート３に着差した状態のままで、同乗者に対する操作をすることが可能となる。

１…自動車（車両）、２…車室、３…シート、１０…同乗者コミュニケーション装置、１２…車内通信部、１４…映像投影デバイス、１５…操作検出デバイス、１６…刺激出力デバイス、１８…メモリ、１９…操作ＥＣＵ、２０…映像制御部、２１…操作判定部、２２…刺激応答出力部、２５…車内カメラ、２６…リアシート制御装置、２７…背部アクチュエータ

Claims (4)

1. 車両のシートに着座する乗員の前に、同乗者の映像を投影する投影デバイスと、
   投影された同乗者の映像に対する乗員の操作を検出する操作検出デバイスと、
   同乗者に対して、検出される乗員の操作に応じた出力を行う出力デバイスと、
   前記操作検出デバイスにより検出される同乗者の映像に対する乗員の操作に応じて、乗員の操作部位へ、超音波場による触覚刺激を出力する刺激出力デバイスと、
   前記操作検出デバイスにより検出される同乗者の映像に対する乗員の操作を判定する操作判定部と、
   を有し、
   前記操作判定部は、同乗者の映像に対する乗員の操作を、映像を車両の前後方向に沿って押す操作または引く操作として判定し、
   同乗者への前記出力デバイスは、判定された車両の前後方向に沿った操作に基づいて、同乗者に対して前後方向に沿う動きを与える出力をし、
   乗員への前記刺激出力デバイスは、判定された車両の前後方向に沿った操作に基づいて、映像を操作する乗員の操作部位の前側または後側へ触覚刺激を出力する、
   車両の同乗者コミュニケーション装置。
   
2. 車両のシートに着座する乗員の前に、同乗者の映像を投影する投影デバイスと、
   投影された同乗者の映像に対する乗員の操作を検出する操作検出デバイスと、
   同乗者に対して、検出される乗員の操作に応じた出力を行う出力デバイスと、
   前記操作検出デバイスにより検出される同乗者の映像に対する乗員の操作に応じて、乗員の操作部位へ、超音波場による触覚刺激を出力する刺激出力デバイスと、
   前記操作検出デバイスにより検出される同乗者の映像に対する乗員の操作を判定する操作判定部と、
   を有し、
   前記操作判定部は、同乗者の映像に対する乗員の操作として、乗員の操作部位の動きを判定し、
   同乗者への前記出力デバイスは、前記乗員の操作部位の動きに対応する動きを与えるように、同乗者に対して出力をし、
   乗員への前記刺激出力デバイスは、映像を操作する乗員の操作部位に対して、前記乗員の操作部位の動きに対応する触覚刺激を出力する、
   車両の同乗者コミュニケーション装置。
   
3. 同乗者を全体的に撮像する車内カメラ、を有し、
   前記投影デバイスは、同乗者の状態を示すように、前記車内カメラにより撮像された画像から同乗者のみを全体的に切り出した映像を投影する、
   請求項１または２記載の、車両の同乗者コミュニケーション装置。
   
4. 前記出力デバイスは、同乗者が着座するシートまたは同乗者が乗る乗車補助具を駆動するアクチュエータであり、
   前記操作検出デバイスにより検出される同乗者の映像に対する乗員の操作に応じて、前記アクチュエータを作動させる、
   請求項１から３のいずれか一項記載の、車両の同乗者コミュニケーション装置。
   

Images