JP6888499B2 - 車両内コミュニケーション装置 - Google Patents

車両内コミュニケーション装置 Download PDF

Info

Publication number
JP6888499B2
JP6888499B2 JP2017182126A JP2017182126A JP6888499B2 JP 6888499 B2 JP6888499 B2 JP 6888499B2 JP 2017182126 A JP2017182126 A JP 2017182126A JP 2017182126 A JP2017182126 A JP 2017182126A JP 6888499 B2 JP6888499 B2 JP 6888499B2
Authority
JP
Japan
Prior art keywords
vehicle
communication
information
audio
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017182126A
Other languages
English (en)
Other versions
JP2019057869A (ja
JP2019057869A5 (ja
Inventor
聖史 森
聖史 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2017182126A priority Critical patent/JP6888499B2/ja
Publication of JP2019057869A publication Critical patent/JP2019057869A/ja
Publication of JP2019057869A5 publication Critical patent/JP2019057869A5/ja
Application granted granted Critical
Publication of JP6888499B2 publication Critical patent/JP6888499B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、自車両と自車両外との間でコミュニケーション可能な車両内コミュニケーション装置に関する。
特許文献1には、立体映像を生成するための立体視用映像である第一の映像を取得する第一映像取得部と、前記第一の映像を、制御装置に送信する第一映像送信部とを具備する第一端末装置、立体映像を出力する場合の、臨場感を決定し得る1以上のパラメータを格納しているパラメータ格納部と、前記1以上のパラメータのうちのいずれかの変更に関する情報を受け付け、当該変更に関する情報を用いて、新しい1以上のパラメータを得るパラメータ調整部と、前記パラメータ調整部が得た新しい1以上のパラメータを、前記パラメータ格納部に蓄積するパラメータ蓄積部と、前記第一の映像を受信する映像受信部と、前記パラメータ格納部に格納されている1以上のパラメータに従って、第一の映像を調整し、立体視用映像である第一調整映像を取得する第一調整映像取得部と、前記第一調整映像を前記第二端末装置に送信する第一調整映像送信部とを具備する制御装置、及び、前記第一調整映像を受信する第二映像受信部と、記第二映像受信部が受信した第一調整映像を出力する第二調整映像出力部とを具備する第二端末装置、を備えた遠隔コミュニケーションシステムが提案されている。これにより、特許文献1では、対話相手の映像の飛び出し量、解像度、色調などを操作して、相手の存在感の強弱を調整して臨場感を持たせることができる。
特開2010−263542号公報
しかしながら、特許文献1のような遠隔コミュニケーション装置を車両に搭載した場合には、移動空間である車両において、運転者が臨場感を持たせたコミュニケーションを行う際に、安全に配慮する必要があるため、改善の余地がある。
本発明は、上記事実を考慮して成されたもので、車両内において安全な状態で自車両外の人と臨場感のあるコミュニケーションが可能な車両内コミュニケーション装置の提供を目的とする。
上記目的を達成するために請求項1に記載の発明は、車内に自車両外に存在する人の立体映像及び音声の少なくとも一方を提供する提供部と、運転者の運転負荷を検出する検出部と、前記検出部によって前記運転負荷がないことが検出された場合に、車内に前記立体映像及び音声の少なくとも一方を提供し、前記検出部によって前記運転負荷があることが検出された場合に、前記立体映像及び音声の少なくとも一方の提供を保留するように、前記提供部を制御する制御部と、を備える。
請求項1に記載の発明によれば、提供部では、車内に自車両外に存在する人の立体映像及び音声の少なくとも一方が提供される。
そして、検出部では、運転負荷が検出され、制御部では、検出部によって運転負荷がないことが検出された場合に、車内に立体映像及び音声の少なくとも一方を提供し、検出部によって運転負荷があることが検出された場合に、立体映像及び音声の少なくとも一方の提供を保留するように、提供部が制御される。これにより、車両内において安全な状態で自車両外の人と臨場感のあるコミュニケーションが可能となる。
なお、自車両内の運転者の映像及び音声の少なくとも一方を表す車内情報を前記自車両外へ送信する送信部を更に備えてもよい。この場合、送信部は、自車両の速度、加速度、位置情報を前記自車両外へ更に送信してもよい。
また、車内に自車両外に存在する人の立体映像及び音声の少なくとも一方を提供する提供部と、運転者の運転負荷を検出する検出部と、前記検出部によって前記運転負荷がないことが検出された場合に、車内に前記立体映像及び音声の少なくとも一方を提供し、前記検出部によって前記運転負荷があることが検出された場合に、前記立体映像及び音声の少なくとも一方の提供を保留するように、前記提供部を制御する制御部と、自車両内の運転者の映像及び音声の少なくとも一方を表す車内情報を前記自車両外へ送信する送信部と、を備え、前記送信部が、自車両の速度、加速度、位置情報を前記自車両外へ更に送信する車両内コミュニケーション装置としてもよい。
或いは、車内に立体映像を提供する提供部と、運転者の運転負荷を検出する検出部と、前記検出部によって前記運転負荷がないことが検出された場合に、車内に前記立体映像を提供し、前記検出部によって前記運転負荷があることが検出された場合に、前記立体映像の提供を保留するように、前記提供部を制御する制御部と、を備えた車両内コミュニケーション装置としてもよい。
以上説明したように本発明によれば、車両内において安全な状態で自車両外の人と臨場感のあるコミュニケーションが可能な車両内コミュニケーション装置を提供を提供できる、という効果がある。
本実施形態に係る車両内コミュニケーション装置を含むコミュニケーションシステムの概略構成を示すブロック図である。 本実施形態に係るコミュニケーションシステムにおける車両内コミュニケーション装置と家側装置との通信の様子を示す図である。 本実施形態に係るコミュニケーションシステムにおける車両内コミュニケーション装置の制御ECUで行われる処理の流れの一例を示すフローチャートである。 本実施形態に係るコミュニケーションシステムにおける家側装置の制御部で行われる処理の流れの一例を示すフローチャートである。 変形例のコミュニケーションシステムの概略構成を示すブロック図である。 変形例のコミュニケーションシステムにおける車両内コミュニケーション装置の制御ECUで行われる処理の流れの一例を示すフローチャートである。 変形例のコミュニケーションシステムにおける家側装置の制御部で行われる処理の流れの一例を示すフローチャートである。
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。図1は、本実施形態に係る車両内コミュニケーション装置を含むコミュニケーションシステムの概略構成を示すブロック図である。
本実施形態に係るコミュニケーションシステム10は、車両内コミュニケーション装置12及び家側装置14が、携帯電話回線等を含むネットワーク16を介して接続されている。なお、図1では、それぞれ単一の車両内コミュニケーション装置12及び家側装置14がネットワーク16を介して接続した例を示すが、少なくとも一方が複数でもよい。
車両内コミュニケーション装置12は、車両に搭載されてネットワーク16に接続された家側装置14や、他の車両に搭載された車両内コミュニケーション装置12と通信を行う。
車両内コミュニケーション装置12は、車両周辺監視部18、モニターカメラ20、マイク22、スピーカ24、3D(three-dimensional)立体表示装置26、及び高速移動体通信デバイス28を備え、制御ECU(Electronic Control Unit)30に接続されている。なお、車両周辺監視部18及び制御ECU30は検出部に対応し、スピーカ24及び3D立体表示装置26は提供部に対応し、高速移動体通信デバイス28は送信部に対応し、制御ECU30は制御部に対応する。
車両周辺監視部18は、安全にコミュニケーションシステム10を使える状態にあるかを検出するために車両周辺の状況を監視する。具体的には、車両周辺監視部18は、カメラ、レーダー(Radar)、及びライダー(LIDER:Laser Imaging Detection and Ranging)のうち少なくとも一つを含む。カメラは、例えば、車両のフロントガラス上部の室内側に設けられ、車両の外部状況を撮影することにより撮像情報を取得する。カメラは、単眼カメラであってもよく、ステレオカメラであってもよい。ステレオカメラの場合、両眼視差を再現するように配置された二つの撮像部を有する。ステレオカメラの撮像情報には、奥行き方向の情報も含まる。レーダーは、電波(例えばミリ波)を車両の周囲に送信し、障害物で反射された電波を受信することで障害物を検出する。ライダーは、光を車両の周囲に送信し、障害物で反射された光を受信することで反射点までの距離を計測し、障害物を検出する。なお、カメラ、ライダー及びレーダーは、必ずしも重複して備える必要はない。
モニターカメラ20は、車室内に設けられ、車室内の運転者や乗員を撮影し、撮影画像を映像情報として制御ECU30に出力する。なお、モニターカメラ32は、ステレオカメラ等の立体映像情報を取得可能なカメラが適用される。
マイク22は、車室内に設けられ、車室内の音声を電気信号に変換して音声情報として制御ECU30に出力する。
スピーカ24は、車室内に設けられ、制御ECU30から送信される音声情報等を物理振動に変えて音声などの音を発生する。
3D立体表示装置26は、家側装置14等から送信される映像情報等に基づいて、3次元の立体映像を表示する。3D立体表示装置26は、例えば、図2に示すように、2つのプロジェクタ26A、26Bとスクリーン26Cを含み、2つのプロジェクタ26A、26Bから映像情報に基づく映像をスクリーン26Cに投影することにより、立体映像を表示する。プロジェクタ26A、26Bは、例えば、車室内天井等に設け、スクリーン26Cは、座席間のセンタコンソール部分等に設けてもよいし、サイドウインドに映像を投影可能な加工を施してもよい。なお、3D立体表示装置26は、これに限るものではなく、各種周知技術により立体表示するものを適用してもよい。例えば、特開2008−131219号公報や、特開2017−151283号公報に記載の技術を適用してもよい。或いは、立体表示が可能な液晶表示装置等の表示装置を適用して車両内に設けてもよい。
高速移動体通信デバイス28は、携帯電話回線網や公衆回線網のネットワーク16に接続し、ネットワーク16に接続された家側装置14や他の車両内コミュニケーション装置12と情報の授受を行う。高速移動体通信デバイス28は、例えば、モニターカメラ20によって撮影された撮影画像情報及びマイク22によって取得された音声情報を車内情報としてネットワーク16経由で家側装置14や他の車両内コミュニケーション装置12に送信する。また、家側装置14や他の車両内コミュニケーション装置12から映像情報及び音声情報等をネットワーク16経由で受信する。
また、制御ECU30は、ネットワーク16に接続された家側装置14や他の車両内コミュニケーション装置12との通信を制御して、コミュニケーションを図るための各種制御を行う。
一方、家側装置14は、ネットワーク16に接続された他の家側装置14や、車両に搭載された車両内コミュニケーション装置12と通信を行う。
家側装置14は、モニターカメラ32、マイク34、スピーカ36、表示装置38、及び屋内通信デバイス42を備え、制御装置40に各々が接続されている。家側装置14は、例えば、パーソナルコンピュータや、携帯電話端末、タブレット等の各種コンピュータを適用することができる。
モニターカメラ32は、家に在宅の利用者を撮影し、撮影画像を映像情報として制御装置40に出力する。なお、モニターカメラ32は、ステレオカメラ等の立体映像情報を取得可能なカメラが適用される。
マイク34は、家に在宅の利用者の音声を電気信号に変換して音声情報として制御装置40に出力する。
スピーカ36は、制御ECU30から送信される音声情報等を物理振動に変えて音声などの音を発生する。
表示装置38は、車両内コミュニケーション装置12等から送信される映像情報等に基づいて、映像を表示する。
屋内通信デバイス42は、携帯電話回線網や公衆回線網のネットワーク16に接続し、ネットワーク16に接続された車両内コミュニケーション装置12や他の家側装置14と通信を行う。屋内通信デバイス42は、例えば、モニターカメラ32によって撮影された撮影画像情報及びマイク34によって取得された音声情報をネットワーク16経由で車両内コミュニケーション装置12に送信する。また、車両内コミュニケーション装置12から映像情報及び音声情報等をネットワーク16経由で受信する。
また、制御装置40は、ネットワーク16に接続された家側装置14や他の車両内コミュニケーション装置12との通信を制御して、コミュニケーションを図るための各種制御を行う。
そして、制御ECU30が車両内コミュニケーション装置12の通信制御を行い、制御装置40が、家側装置14の通信制御を行うことで、図2に示すように、映像と音声とによりネットワーク16に接続された機器間のコミュニケーションを図ることができる。
ところで、上述のように構成された車両内コミュニケーション装置12では、車両に搭載されているため、運転者が利用する場合には、運転と両立して安全に使用することが望まれる。
そこで、本実施形態では、車両内コミュニケーション装置12は、運転者の運転負荷を検出して、自動運転中などの運転負荷がない場合に、自車両外の利用者(他車両及び家の少なくとも一方に存在する利用者)とのコミュニケーションを許可する制御を行う。具体的には、制御ECU30が、車両周辺監視部18による車両周辺の監視結果に基づいて、コミュニケーションシステム10を安全に使用できる状態であるかを運転負荷として検出する。例えば、制御ECU30は、車両周辺監視部18の監視結果に基づいて自動運転モードへ移行する制御を行い、車両が自動運転モードに入るなど、運転者に運転負荷がない場合に、安全に使用できる状態と判定する。そして、車両内コミュニケーション装置12及び家側装置14の双方から得られる映像情報及び音声情報をネットワーク16を介して相互に転送して、映像を表示して音声を発生することにより、双方向リアルタイムコミュニケーションを実現する。なお、自動運転モードへの移行の判定は、車両周辺監視部18の監視結果に基づいて周知の自動運転技術を用いて判定することができる。
また、コミュニケーションの途中であっても、車両周辺監視部18の監視結果からコミュニケーションシステム10を安全に使用できない状態が検出された場合には、制御ECU30が、通信を一時保留してコミュニケーションを中断する。これにより、運転者が安全にコミュニケーションシステム10を利用することが可能となる。
続いて、上述のように構成された本実施形態に係るコミュニケーションシステム10で行われる具体的な処理について説明する。
まず、 車両内コミュニケーション装置12の制御ECU30で行われる具体的な処理について説明する。図3は、本実施形態に係るコミュニケーションシステム10における車両内コミュニケーション装置12の制御ECU30で行われる処理の流れの一例を示すフローチャートである。なお、図3の処理は、例えば、車両内コミュニケーション装置12または家側装置14からコミュニケーションの開始指示が行われて通信が確立した場合に開始する。
ステップ100では、制御ECU30が、自装置の映像情報及び音声情報を取得して相手装置(家側装置14または他の車両内コミュニケーション装置12)への送信を開始してステップ102へ移行する。すなわち、制御ECU30が高速移動体通信デバイス28を制御することで、モニターカメラ20によって撮影した映像情報及びマイク22によって取得した音声情報を車内情報として高速移動体通信デバイス28からネットワーク16経由で相手装置に送信する。
ステップ102では、制御ECU30が、ネットワーク16を介して相手装置から音声情報及び映像情報を受信してステップ104へ移行する。
ステップ104では、制御ECU30が、車両周辺監視部18の車両周辺監視結果を取得してステップ106へ移行する。
ステップ106では、制御ECU30が、運転負荷なしであるか否かを判定する。該判定は、例えば、車両が自動運転モードであるか否かなどを判定し、運転者に運転負荷がない場合に、安全に使用できる状態と判定する。該判定が否定された場合にはステップ108へ移行し、肯定された場合にはステップ110へ移行する。
ステップ108では、制御ECU30が、システムを保留、すなわち、相手装置から受信した映像情報及び音声情報を表示及び発音を行わずに保留にしてステップ112へ移行する。これにより、安全に使用できる状態にない場合は、コミュニケーションシステム10の利用が禁止される。なお、表示または音声の一方のみを保留してもよい。
一方、ステップ110では、制御ECU30が、相手装置から受信した音声情報に基づく音声、及び映像情報に基づく映像を再生してステップ112へ移行する。これにより、3D立体表示装置26及びスピーカ24により、車両外に存在する人の立体映像及び音声が運転者に提供されて相手装置との双方向リアルタイムコミュニケーションを実現できる。
ステップ112では、制御ECU30が、通信終了か否かを判定する。該判定は、通信の終了が自装置または相手装置から指示されたか否かを判定する。或いは、通信切断が予め定めた時間以上継続したか否かを判定する。該判定が否定された場合にはステップ100に戻って上述の処理を繰り返し、判定が肯定された場合には一連の処理を終了する。
続いて、家側装置14の制御装置40行われる具体的な処理について説明する。図4は、本実施形態に係るコミュニケーションシステム10における家側装置14の制御装置40で行われる処理の流れの一例を示すフローチャートである。なお、図4の処理は、例えば、車両内コミュニケーション装置12または家側装置14からコミュニケーションの開始指示が行われて通信が確立した場合に開始する。
ステップ200では、制御装置40が、自装置の映像情報及び音声情報を取得して相手装置(家側装置14または他の車両内コミュニケーション装置12)への送信を開始してステップ202へ移行する。すなわち、モニターカメラ32によって撮影した映像情報、及びマイク34によって取得した音声情報を相手装置に送信する。
ステップ202では、制御装置40が、ネットワーク16を介して相手装置から音声情報及び映像情報を受信してステップ204へ移行する。
ステップ204では、制御装置40が、相手装置から受信した音声情報に基づく音声、及び映像情報に基づく映像を再生してステップ206へ移行する。これにより、表示装置38及びスピーカ36により、運転者の映像及び音声が在宅の人に提供されて相手装置との双方向リアルタイムコミュニケーションを実現できる。
ステップ206では、制御装置40が、通信終了か否かを判定する。該判定は、通信の終了が自装置または相手装置から指示されたか否かを判定する。或いは、通信切断が予め定めた時間以上継続したか否かを判定する。該判定が否定された場合にはステップ200に戻って上述の処理を繰り返し、判定が肯定された場合には一連の処理を終了する。
このように、本実施形態に係るコミュニケーションシステム10では、立体表示が可能とされているので、車両の内外の人と臨場感のあるコミュニケーションが可能となる。利用形態の一例としては、運転者と家で留守番している子供や、遠隔地の家族、他車の友人と移動空間を共有し、ユーザ経験も共有することが可能となる。
また、車両内コミュニケーション装置12では、運転負荷がない状態の場合にコミュニケーションシステム10の利用が可能となるので、車両内において安全な状態で車外の人と臨場感のあるコミュニケーションが可能となる。
続いて、本実施形態に係るコミュニケーションシステム10の変形例について説明する。図5は、変形例のコミュニケーションシステムの概略構成を示すブロック図である。なお、上記の実施形態と同一構成については同一符号を付して説明を省略する。
変形例のコミュニケーションシステム11は、図5に示すように、上記の実施形態に対して、車両内コミュニケーション装置12に、速度・加速度センサ27及び位置測位部29が更に設けられている。また、家側装置14に、VR表示デバイス37及び振動・傾斜機能付シート39が更に設けられている。
速度・加速度センサ27は、車両の速度及び加速度を検出し、検出結果を制御ECU30に出力する。
位置測位部29は、車両の位置を測位し、測位した車両の位置情報を制御ECU30に出力する。位置測位部29は、例えば、GPS(Global Positioning System)受信機等を適用して、3個以上のGPS衛星から信号を受信することにより、車両の位置(例えば車両の緯度及び経度)を測位する。
VR表示デバイス37は、3次元の立体映像を表示する。例えば、ヘッド・マウント・ディスプレイ(HMD)等を適用し、高品質な3D映像を表示する。
振動・傾斜機能付シート39は、車両の状態を再現するために、シートに振動を発生する振動発生部や、シートを傾斜させる傾斜発生部を備えて、車両の走行に関する振動や傾斜を再現可能とされている。
変形例では、速度・加速度センサ27及び位置測位部29を更に備えることで、車両の走っている実際の位置や車両の状態をより正確に検出し、家側装置14のVR表示デバイス37や振動・傾斜機能付シート39で車両の状態を再現することが可能とされている。
これにより、家に在宅の相手が、リアルタイムで同じ空間にいるかのような反応を返すことができ、空間の共有感覚を向上できる。
続いて、上述のように構成された変形例のコミュニケーションシステム11で行われる具体的な処理について説明する。
まず、 車両内コミュニケーション装置12の制御ECU30で行われる具体的な処理について説明する。図6は、変形例のコミュニケーションシステム11における車両内コミュニケーション装置12の制御ECU30で行われる処理の流れの一例を示すフローチャートである。なお、図6の処理は、例えば、車両内コミュニケーション装置12または家側装置14からコミュニケーションの開始指示が行われて通信が確立した場合に開始する。また、図3と同一処理については同一符号を付して説明する。
ステップ100では、制御ECU30が、自装置の映像情報及び音声情報を取得して相手装置(家側装置14または他の車両内コミュニケーション装置12)への送信を開始してステップ101へ移行する。すなわち、制御ECU30が高速移動体通信デバイス28を制御することで、モニターカメラ20によって撮影した映像情報及びマイク22によって取得した音声情報を車内情報として高速移動体通信デバイス28からネットワーク16経由で相手装置に送信する。
ステップ101では、制御ECU30が、速度・加速度情報、及び測位情報を取得して送信開始し、ステップ102へ移行する。すなわち、速度・加速度センサ27によって検出された速度・加速度情報、及び位置測位部29によって測位された測位情報を取得して、家側装置14に順次送信する。
ステップ102では、制御ECU30が、ネットワーク16を介して相手装置から音声情報及び映像情報を受信してステップ104へ移行する。
ステップ104では、制御ECU30が、車両周辺監視部18の車両周辺監視結果を取得してステップ106へ移行する。
ステップ106では、制御ECU30が、運転負荷なしであるか否かを判定する。該判定は、例えば、車両が自動運転モードであるか否かなどを判定し、運転者に運転負荷がない場合に、安全に使用できる状態と判定する。該判定が否定された場合にはステップ108へ移行し、肯定された場合にはステップ110へ移行する。
ステップ108では、制御ECU30が、システムを保留、すなわち、相手装置から受信した映像情報及び音声情報を表示及び発音を行わずに保留にしてステップ112へ移行する。これにより、安全に使用できる状態にない場合は、コミュニケーションシステム10の利用が禁止される。なお、表示または音声の一方のみを保留してもよい。
一方、ステップ110では、制御ECU30が、相手装置から受信した音声情報に基づく音声、及び映像情報に基づく映像を再生してステップ112へ移行する。これにより、3D立体表示装置26及びスピーカ24により、車両外に存在する人の立体映像及び音声が提供されて相手装置との双方向リアルタイムコミュニケーションを実現できる。
ステップ112では、制御ECU30が、通信終了か否かを判定する。該判定は、通信の終了が自装置または相手装置から指示されたか否かを判定する。或いは、通信切断が予め定めた時間以上継続したか否かを判定する。該判定が否定された場合にはステップ100に戻って上述の処理を繰り返し、判定が肯定された場合には一連の処理を終了する。
続いて、家側装置14の制御装置40行われる具体的な処理について説明する。図7は、変形例のコミュニケーションシステム11における家側装置14の制御装置40で行われる処理の流れの一例を示すフローチャートである。なお、図7の処理は、例えば、車両内コミュニケーション装置12または家側装置14からコミュニケーションの開始指示が行われて通信が確立した場合に開始する。また、図4と同一処理については同一符号を付して説明する。
ステップ200では、制御装置40が、自装置の映像情報及び音声情報を取得して相手装置(家側装置14または他の車両内コミュニケーション装置12)への送信を開始してステップ201へ移行する。すなわち、モニターカメラ32によって撮影した映像情報、及びマイク34によって取得した音声情報を相手装置に送信する。
ステップ201では、制御装置40が、車両内コミュニケーション装置12から送信された速度・加速度情報、及び測位情報を受信してステップ202へ移行する。
ステップ202では、制御装置40が、ネットワーク16を介して相手装置から音声情報及び映像情報を受信してステップ203へ移行する。
ステップ203では、制御装置40が、受信した音声情報及び映像情報に基づいて、表示装置38及びVR表示デバイス37に音声及び映像を再生し、かつ速度・加速度情報及び測位情報に基づいて振動・傾斜機能付シート39を駆動し、ステップ206へ移行する。これにより、VR表示デバイス37により、運転者の映像及び音声が在宅の人に提供されて相手装置との双方向リアルタイムコミュニケーションを実現できる。また、車両の走っている状態も振動・傾斜機能付シート39で再現することができ、同じ空間を共有している感覚を向上できる。
ステップ206では、制御装置40が、通信終了か否かを判定する。該判定は、通信の終了が自装置または相手装置から指示されたか否かを判定する。或いは、通信切断が予め定めた時間以上継続したか否かを判定する。該判定が否定された場合にはステップ200に戻って上述の処理を繰り返し、判定が肯定された場合には一連の処理を終了する。
なお、上記の実施形態では、車両内コミュニケーション装置12と家側装置14との通信を一例として説明したが、これに限るものではなく、異なる車両に搭載された車両内コミュニケーション装置12の間の通信に適用してもよい。
また、上記の実施形態における車両内コミュニケーション装置12の制御ECU30で行われる処理は、プログラムを実行することにより行われるソフトウエア処理としてもよいし、ハードウエアで行う処理としてもよい。或いは、ソフトウエア及びハードウエアの双方を組み合わせた処理としてもよい。また、ソフトウエアの処理とした場合には、プログラムを各種記憶媒体に記憶して流通させるようにしてもよい。
さらに、本発明は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。
10、11 コミュニケーションシステム
12 車両内コミュニケーション装置
14 家側装置
16 ネットワーク
18 車両周辺監視部(検出部)
20 モニターカメラ
22 マイク
24 スピーカ(提供部)
26 3D立体表示装置(提供部)
28 高速移動体通信デバイス(送信部)
30 制御ECU(検出部及び制御部)

Claims (4)

  1. 車内に自車両外に存在する人の立体映像及び音声の少なくとも一方を提供する提供部と、
    運転者の運転負荷を検出する検出部と、
    前記検出部によって前記運転負荷がないことが検出された場合に、車内に前記立体映像及び音声の少なくとも一方を提供し、前記検出部によって前記運転負荷があることが検出された場合に、前記立体映像及び音声の少なくとも一方の提供を保留するように、前記提供部を制御する制御部と、
    を備えた車両内コミュニケーション装置。
  2. 自車両内の運転者の映像及び音声の少なくとも一方を表す車内情報を前記自車両外へ送信する送信部を更に備えた請求項1に記載の車両内コミュニケーション装置。
  3. 前記送信部は、自車両の速度、加速度、位置情報を前記自車両外へ更に送信する請求項2に記載の車両内コミュニケーション装置。
  4. 車内に自車両外に存在する人の立体映像及び音声の少なくとも一方を提供する提供部と、
    運転者の運転負荷を検出する検出部と、
    前記検出部によって前記運転負荷がないことが検出された場合に、車内に前記立体映像及び音声の少なくとも一方を提供し、前記検出部によって前記運転負荷があることが検出された場合に、前記立体映像及び音声の少なくとも一方の提供を保留するように、前記提供部を制御する制御部と、
    自車両内の運転者の映像及び音声の少なくとも一方を表す車内情報を前記自車両外へ送信する送信部と、
    を備え、
    前記送信部が、自車両の速度、加速度、位置情報を前記自車両外へ更に送信する車両内コミュニケーション装置。
JP2017182126A 2017-09-22 2017-09-22 車両内コミュニケーション装置 Active JP6888499B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017182126A JP6888499B2 (ja) 2017-09-22 2017-09-22 車両内コミュニケーション装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017182126A JP6888499B2 (ja) 2017-09-22 2017-09-22 車両内コミュニケーション装置

Publications (3)

Publication Number Publication Date
JP2019057869A JP2019057869A (ja) 2019-04-11
JP2019057869A5 JP2019057869A5 (ja) 2019-12-19
JP6888499B2 true JP6888499B2 (ja) 2021-06-16

Family

ID=66106553

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017182126A Active JP6888499B2 (ja) 2017-09-22 2017-09-22 車両内コミュニケーション装置

Country Status (1)

Country Link
JP (1) JP6888499B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7163876B2 (ja) * 2019-07-02 2022-11-01 トヨタ車体株式会社 車内会話支援装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002087111A (ja) * 2000-09-13 2002-03-26 Nissan Motor Co Ltd 車両用情報提供装置
JP3980303B2 (ja) * 2001-08-24 2007-09-26 アルパイン株式会社 車載用tv電話システム
JP2005098868A (ja) * 2003-09-25 2005-04-14 Matsushita Electric Ind Co Ltd 車載コミュニケーション装置
JP5090275B2 (ja) * 2008-07-03 2012-12-05 株式会社デンソーアイティーラボラトリ 通信処理装置
JP5726201B2 (ja) * 2010-10-19 2015-05-27 三菱電機株式会社 3次元立体視表示装置、3次元立体視表示制御装置、およびlsi回路
US8675061B2 (en) * 2010-11-01 2014-03-18 Richard D. Balentine Digital video projection display system
JP5769503B2 (ja) * 2011-06-02 2015-08-26 アルパイン株式会社 画像表示装置およびプログラム
JP5924153B2 (ja) * 2012-06-21 2016-05-25 株式会社デンソー 車載表示装置およびプログラム
US20180270344A1 (en) * 2015-03-19 2018-09-20 Mitsubishi Electric Corporation Unconfirmed-information output apparatus, and unconfirmed-information output method

Also Published As

Publication number Publication date
JP2019057869A (ja) 2019-04-11

Similar Documents

Publication Publication Date Title
EP3794851B1 (en) Shared environment for vehicle occupant and remote user
US11410634B2 (en) Information processing apparatus, information processing method, display system, and mobile object
US10410562B2 (en) Image generating device and image generating method
JP6205533B2 (ja) バランス車の駐車方法及び装置
JP7099326B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US20180182261A1 (en) Real Time Car Driving Simulator
JP2019086805A (ja) 車内システム
US20220319122A1 (en) Method for operating a head-mounted display apparatus in a motor vehicle, control device, and head-mounted display apparatus
KR102190072B1 (ko) 콘텐츠 발견
US10889238B2 (en) Method for providing a spatially perceptible acoustic signal for a rider of a two-wheeled vehicle
JP6888499B2 (ja) 車両内コミュニケーション装置
JP2019145951A (ja) 車両遠隔操作装置、車両遠隔操作システム及び車両遠隔操作方法
JP2020020987A (ja) 車内システム
JP2023179496A (ja) 画像処理装置及び画像処理方法
US20240087339A1 (en) Information processing device, information processing system, and information processing method
US20240105052A1 (en) Information management device, information management method and storage medium
US20240104604A1 (en) Information management device, information management method and storage medium
EP4307722A1 (en) Road-based vehicle and method and system for controlling an acoustic output device in a road-based vehicle
US20240083249A1 (en) Information processing system
JP2024038605A (ja) 情報処理システム
US20240087334A1 (en) Information process system
JP2024046018A (ja) 情報管理装置、情報管理方法、およびプログラム
JP2021150834A (ja) 音響出力装置、音響出力システム及び音響出力方法

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191106

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200804

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201002

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201208

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210420

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210503

R151 Written notification of patent or utility model registration

Ref document number: 6888499

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151