JP6324858B2 - 運転支援装置、情報提示端末、運転支援方法、運転支援システム、プログラム、及び、記録媒体 - Google Patents

運転支援装置、情報提示端末、運転支援方法、運転支援システム、プログラム、及び、記録媒体 Download PDF

Info

Publication number
JP6324858B2
JP6324858B2 JP2014194274A JP2014194274A JP6324858B2 JP 6324858 B2 JP6324858 B2 JP 6324858B2 JP 2014194274 A JP2014194274 A JP 2014194274A JP 2014194274 A JP2014194274 A JP 2014194274A JP 6324858 B2 JP6324858 B2 JP 6324858B2
Authority
JP
Japan
Prior art keywords
identifier
driving support
video data
driver
receiving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014194274A
Other languages
English (en)
Other versions
JP2016066213A (ja
Inventor
拓郎 上野
拓郎 上野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2014194274A priority Critical patent/JP6324858B2/ja
Publication of JP2016066213A publication Critical patent/JP2016066213A/ja
Application granted granted Critical
Publication of JP6324858B2 publication Critical patent/JP6324858B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、主に、乗り物に設置される運転支援機器、および、そのような運転支援機器によって運転者に注意を促すことが必要な状況の発生が検出された場合に運転者が注意すべき内容を提示する情報提示端末に関する。
昨今では、運転支援装置(例えば、特許文献1のカーナビゲーション装置や衝突回避装置等)を搭載した自動車が急速に普及している。
運転支援装置の中には、内蔵カメラが周囲を撮影することにより生成した撮影映像を解析することによって、運転者に注意を促すことが必要な状況の発生を検出するものもある。また、そのような運転支援装置の中には、スマートフォンと連携する機能を備えたものもある。
特開2014−13148号公報(2014年1月23日公開)
上記のような運転支援装置の一例として、例えばスマートフォンをドライブレコーダとして機能させる目的で、内蔵カメラが生成した映像をスマートフォンに向けて送信する運転支援装置を実現することを考える。
そのような運転支援装置が、スマートフォンへのカメラ映像の送信中に運転者に注意を促すことが必要な状況の発生を検出した場合にその状況を運転者に知らせる方法の一例として、注意を促すメッセージをこれから送信するカメラ映像の映像フレームに埋め込んだ上で、該映像フレームをスマートフォンに送信する方法が考えられる。
しかしながら、そのような方法を用いた場合、以下の理由から、運転支援装置が上記の状況を検出してから運転者がその状況を把握するまでのタイムラグが大きくなってしまうという問題がある。
・上記メッセージを映像フレームに埋め込む処理に時間がかかる。
・映像フレームのデータサイズはテキストデータのサイズと比較して一般的に大きいので、運転支援装置が上記メッセージを含む映像フレームを送信してからスマートフォンが該映像フレームを受信するまでの時間が長い。
・スマートフォンにおける映像フレームのデコードに時間がかかる。
そして、そのようなタイムラグの大きさは、安全運転への支障ともなり得る。
本発明は、上記課題に鑑みて成されたものであり、その主な目的は、カメラ映像の送信中に運転者に注意を促すことが必要な状況の発生を検出した場合にその状況を運転者に素早く伝えることが可能な運転支援装置を実現することにある。
上記の課題を解決するために、本発明の一態様に係る運転支援装置は、カメラと、運転者に注意を促すことが必要な状況の発生を検出する検出手段と、上記検出手段によって上記状況が検出された直後に、上記運転者が注意すべき内容に応じた識別子を、上記識別子の受信直後に上記運転者に上記内容を提示する機能を備えた情報提示端末に向けて送信する識別子送信手段と、上記カメラが出力する撮像映像を示す映像データを上記情報提示端末に向けて送信する映像データ送信手段と、を備えている。
本発明の一態様に係る運転支援装置は、カメラ映像の送信中に運転者に注意を促すことが必要な状況の発生を検出した場合に、その状況を運転者に素早く伝えることができる。
本発明の実施形態1に係る運転支援システムに含まれる運転支援装置およびスマートフォンの構成を示すブロック図である。 本発明の実施形態1および2に係る運転支援装置およびスマートフォンの外観を概略的に示した図である。 本発明の実施形態1〜3に関する図であり、運転者に注意を促すことが必要な状況が発生した際等に送信される識別子について説明するための図である。 実施形態1〜3に関する図であり、上記識別子を構成する状況種別値および注意レベル値に応じた、通知デバイスが行うべき動作の内容を説明するための図である。 実施形態1〜2に係る運転支援装置(及び、実施形態3に係るスマートフォン)が内蔵カメラの作動中に繰り返し行う動作を示すフローチャートである。 実施形態1〜2に係るスマートフォン(及び、実施形態3に係るディスプレイオーディオ)によって並列的に行われる2つの動作を示す2つのフローチャートである。 実施形態1〜2に係る運転支援装置の利点を説明するための図である。 実施形態1〜2に係る運転支援装置の利点を説明するための別の図である。 実施形態2に係る運転支援システムに含まれる運転支援装置およびスマートフォンの構成を示すブロック図である。 実施形態3に係る運転支援システムに含まれるスマートフォンおよびディスプレイオーディオの構成を示すブロック図である。
〔実施形態1〕
本発明の一実施形態に係る運転支援システムについて図1〜図8を参照して説明する。
(運転支援システムの概要)
運転支援システムの概要について図1および図2を参照しながら説明する。
図1は、運転支援システムに含まれる運転支援装置10およびスマートフォン20の構成を示すブロック図である。図2は、運転支援装置10およびスマートフォン20の外観を概略的に示すブロック図である。
図1及び図2に示すように、本実施形態に係る運転支援システムは、運転支援装置10およびスマートフォン20を含んでいる。
運転支援装置10は、自動車に取り付けられている専用の運転支援装置であり、自動車の走行に関する情報(車速情報等)を得ることができる。
また、スマートフォン20は、運転支援装置10に登録されている情報提示端末である。スマートフォン20は、運転者によって所持され、運転者が自動車に乗っている間だけ自動車に一時的に設置される。なお、本実施形態では、運転支援装置が設置される乗り物の一例として自動車を採用しているが、本発明に係る運転支援装置は、自動車用の運転支援装置に限られない。即ち、本発明に係る運転支援装置の範囲には、バイク用、自転車用、若しくは、船舶用の運転支援装置、又は、その他の乗り物用の運転支援装置も含まれる。
スマートフォン20が運転支援装置10の近くに設置されると、運転支援装置10とスマートフォン20とは、図2に示すように、無線通信(本実施形態では、WiFi(登録商標)通信)が可能となるように互いに接続される。
自動車のエンジンが作動している間、運転支援装置10は、運転者に注意を促すことが必要な状況の発生を検出するために、接続先の情報提示端末に向けて送信する内蔵カメラの撮像映像を解析するようになっている。
本実施形態では、運転支援装置10が、そのような状況の発生を検出した直後に、運転者が注意すべき内容に応じた32ビットの識別子を接続先の情報提示端末に向けて送信する点に特徴があるが、この特徴については以降で詳細に説明する。なお、本実施形態では識別子を32ビットで構成しているが、識別子のビット数は32ビットに限定されない。即ち、識別子は、ある程度小さいビット数で構成されていればよい。
以下、運転システムに含まれる運転支援装置10およびスマートフォン20の構成について、図1を参照しながら説明する。
(運転支援装置10の構成)
図1に示すように、運転支援装置10は、制御部101、カメラ102、マイク103、RAM104、及び、通信部105を備えている。
制御部101は、運転支援装置10全体を統括的に制御するCPUである。制御部101は、撮影動画データ生成部11、撮影映像解析部12、及び、送信処理部13として機能する。
撮影動画データ生成部11は、カメラ102から入力される撮影映像信号に基づいて映像フレームを生成するとともに、マイク103から入力される録音信号に基づいて、対応する音声データを生成する。撮影動画データ生成部11は、上記映像フレームおよび上記音声データの生成を反復することにより、ストリーミング送信用の撮影動画データを生成する。
撮影映像解析部12は、撮影動画データ生成部11によって映像フレームを生成される度に、その映像フレームをすぐに解析することによって、運転者に注意を促すことが必要な各種状況について、その状況に対する注意レベルを特定する。
撮影映像解析部12(検出手段)は、映像フレームの解析によって、上記各種状況について、該当する状況が発生した(その状況に対する注意レベルが“安全”でなくなった)ことを検出した場合、該当する状況の深刻度に変化があった場合、又は、該当する状況から脱した(その状況に対する注意レベルが“安全”になった)ことを検出した場合に、規定の識別子(後で詳細に説明する)を送信処理部13に供給する。
また、撮影映像解析部12は、運転者に注意を促すことが必要な状況が有ると判定した場合には、運転者が注意すべき内容に応じたメッセージが解析の対象となった映像フレームに埋め込まれるように、撮影動画データを更新する。
送信処理部13(識別子送信手段)は、識別子が供給されるとすぐに、その識別子のパケットの生成処理および送信処理を実行する。
また、送信処理部13(映像データ送信手段)は、撮影動画データのパケットを順次送信する。
カメラ102は、運転者が乗っている自動車の周辺(本実施形態では、自動車の前方)を撮影する動画対応カメラである。なお、カメラ102は、自動車の前方ではなく、自動車の側方又は後方を撮影するようになっていてもよい。
マイク103は、自動車の周囲の音を取り込む。マイク103は、指向性の小さいマイクであることが望ましい。
RAM104は、ストリーミング送信中の撮影動画データが記録される記録媒体である。
通信部105は、スマートフォン20との間の通信に使用されるWiFi通信モジュールである。
(スマートフォン20の構成)
図1に示すように、スマートフォン20は、制御部201、通信部202、バッファ203、ディスプレイ204、フラッシュメモリ205、スピーカ206、及び、LED部207を備えている。
制御部201は、スマートフォン20全体を統括的に制御するCPUである。制御部201は、運転支援装置10のメーカーによって提供されたインストール済のアプリケーションを実行することにより、受信処理部21、映像処理部22、音声処理部23、重畳メッセージ決定部24、及び、LED発光制御部25として機能する。なお、本実施形態では、上記アプリケーションはリアルタイム再生モードと録画再生モードとの両方を備えているが、本発明は、そのような構成に限定されない。例えば、上記アプリケーションは、リアルタイム再生モードのみを備えていてもよい。
受信処理部21(映像データ受信手段)は、撮影動画データのパケットを受信すると、受信したパケットをバッファ203に一時的に記録する。受信処理部21は、バッファ203に記録されたパケットを読み出して、映像フレームおよび音声データ(該映像フレームと同期再生されるべき音声データ)を構成し、映像フレームを映像処理部22に供給するとともに、音声データを音声処理部23に供給する。
また、受信処理部21(識別子受信手段)は、識別子のパケットを受信するとすぐに、音声処理部23、重畳メッセージ決定部24、及び、LED発光制御部25に、識別子を供給する。
また、受信処理部21は、撮影動画データをフラッシュメモリ205に記録する。
映像処理部22(表示処理手段)は、リアルタイム再生モードでは、受信処理部21から映像フレームが供給される度に、該映像フレームをディスプレイ204に表示する。また、映像処理部22は、録画再生モードでは、データ読出処理部(図示せず)によってフラッシュメモリ205から撮影動画データが読み出されると、撮影動画データに含まれる映像フレーム群をディスプレイ204に順次表示する。
とりわけ、映像処理部22(提示手段)は、重畳メッセージ決定部24からメッセージが供給されると、以降に表示する各映像フレームにそのメッセージを重畳表示させるようになっている。なお、映像処理部22は、メッセージの重畳表示を、そのメッセージの重畳表示を停止すべき旨の指示を重畳メッセージ決定部24から受け付けるまで継続する。
音声処理部23は、リアルタイム再生モードでは、受信処理部21から音声データが供給される度に、該音声データが表す音声をスピーカ206から出力する。また、音声処理部23は、録画再生モードでは、データ読出処理部(図示せず)によってフラッシュメモリ205から撮影動画データが読み出されると、撮影動画データに含まれる音声データが表す音声を、ディスプレイ204に表示されている映像と同期するように出力する。
音声処理部23(提示手段)は、識別子(具体的には、運転者に注意を促すことが必要な特定の状況から脱したことを示す識別子以外の識別子)が受信処理部21から供給されるとすぐに、識別子の値に応じたメッセージを繰り返し音声出力する処理を開始する。なお、音声処理部23は、新たな識別子が受信処理部21から供給されるまでこの処理を継続する。
重畳メッセージ決定部24は、識別子(具体的には、運転者に注意を促すことが必要な特定の状況から脱したことを示す識別子以外の識別子)が受信処理部21から供給されるとすぐに、識別子に応じたメッセージを映像処理部22に供給する。
重畳メッセージ決定部24は、運転者に注意を促すことが必要な状況から脱したことを示す識別子が受信処理部21から供給されるとすぐに、重畳表示を停止すべき旨の指示を映像処理部22に供給する。
LED発光制御部25(提示手段)は、受信処理部21から識別子が供給されるとすぐに、供給された識別子に基づいて、LED部207の発光を制御する。
通信部202は、運転支援装置10との間の通信に使用されるWiFi通信モジュールである。
バッファ203は、撮影動画データのパケットを一時的に記録するためのバッファである。
ディスプレイ204(表示画面)は、カメラ102が出力する撮影映像と運転者が注意すべき内容を示すメッセージとを表示する映像表示デバイスである。
フラッシュメモリ205は、前述のアプリケーションがインストールされている記録媒体である。
スピーカ206は、マイク103により取り込まれた音声と、運転者が注意すべき内容を示す音声メッセージと、を出力する音声出力デバイスである。
LED部207は、発光色の異なる複数のLED素子から構成されているLEDデバイスであり、運転者が注意すべき内容を運転者が認識できるような態様で発光する。
(識別子の詳細について)
次に、運転者に注意を促すことが必要な特定の状況が発生した際等に送信される識別子の詳細について、図3を参照しながら以下に説明する。図3は、識別子について説明するための図である。
前述のように、本実施形態における識別子は、32ビットで表現される。
識別子の先頭の8ビット(1番目のオクテット)は予約値である。予約値には、"0x00"〜"0xff"の任意の値を設定することができる。
識別子の次の8ビット(2番目のオクテット)は、運転者に注意を促すことが必要な状況の種別を示す状況種別値である。例えば、図3の(a)からわかるように、該運転者の自動車と前方を走行中の自動車との車間距離が短くなった場合には、この状況種別値には"0x01"が設定される。また、該運転者の自動車と道路を横断しようとする前方の歩行者との間の距離が短くなった場合にはこの状況種別値に"0x02"が設定され、該自動車が区画線(車道中央線や車線境界線等)に接近したりはみ出し走行したりした場合には、この状況種別値に"0x04"が設定される。
識別子の更に次の8ビット(3番目のオクテット)は、運転者が払うべき注意のレベルを示す注意レベル値である。運転者に注意を促すことが必要な状況から脱した場合、この注意レベル値には"0x01"が設定される。
また、図3の(b)からわかるように、上記の状況の深刻度が低い場合には、この注意レベル値に"0x02"が設定され、上記の状況の深刻度が高い場合には、この注意レベル値に"0x04"が設定される。例えば、運転者の自動車が区画線に接近した場合には、この注意レベル値に"0x02"が設定され、運転者の自動車がはみ出し走行した場合には、この状況種別値に"0x04"が設定される。
識別子の末尾の8ビット(4番目のオクテット)は、運転者に注意を促すことが必要な状況を運転者に通知すべきデバイス(通知デバイス)の種別を示す通知デバイス種別値である。運転支援装置10において、映像表示デバイス、音声出力デバイス、及び、LEDデバイスの3つのデバイスを通知デバイスとするようなユーザ設定が成されている場合、図3の(c)からわかるように、通知デバイス種別値には"0x07"が設定される。
(運転支援システムの動作)
次に、運転支援システムの動作の概略について図4〜図6を参照して説明する。図4は、状況種別値および注意レベル値に応じた、通知デバイスが行うべき動作の内容を説明するための図である。図5は、カメラ102の作動中に運転支援装置10が繰り返し(即ち、映像フレームを生成する度に)行う動作を示すフローチャートである。図6は、スマートフォン20によって並列的に行われる2つの動作を示す2つのフローチャートである。
まず、運転支援装置10が繰り返し行う動作について説明する。
(ステップS1)
撮影映像解析部12は、生成された映像フレームを解析することにより、運転者に注意を促すことが必要な各種状況(例えば、前方を走行中の自動車への接近)について、該当する状況に対する注意レベルを判定する。この判定処理には、公知の運転支援システムに採用されているアルゴリズムを採用してもよい。
そして、撮影映像解析部12は、該当する状況に対する注意レベルが“安全”でないと判定した場合には、その状況の種別に応じたオブジェクトを解析対象の映像フレームに埋め込む。例えば、撮影映像解析部12は、「運転者の自動車と前方を走行中の自動車との車間距離が短くなった」と判定した場合、解析対象の映像フレーム内の自動車の像を指し示すオブジェクトを、該映像フレームに埋め込む。
(ステップS2)
続いて、撮影映像解析部12は、今回の解析結果(直近のステップS1での解析結果)が前回の解析結果と異なるか否かを判定する。運転支援装置10は、今回の解析結果が前回の解析結果と異なる判定した場合にはステップS3に進み、今回の解析結果が前回の解析結果と同じであると判定した場合にはステップS4に進む。
(ステップS3)
撮影映像解析部12は、今回の解析結果に応じた識別子のパケットを生成する。
例えば、前回の解析によって「運転者の自動車が区画線に接近している」と判定し、今回の解析によって「該自動車が区間線に接近していない」と判定するとともに「該自動車と前方を走行中の自動車との車間距離が短くなった」と判定した場合、撮影映像解析部12は、例えば、識別子"0x00010207"と、識別子"0x00040107"と、を生成する。
そして、送信処理部13は、通信部105を介して、撮影映像解析部12によって生成されたパケットをスマートフォン20に送信する。
運転支援装置10は、ステップS3の後、ステップS4に進む。
(ステップS4)
送信処理部13は、解析対象の映像フレームのパケット群、および、対応する録音音声のパケット群を生成し、通信部105を介して、これらのパケット群をスマートフォン20に送信する。
次に、前述のアプリケーションを実行中のスマートフォン20が並列的に行う2つの動作について図4および図6を参照しながら説明する。
まず、1つの目の動作(撮像映像および録音音声を出力する動作)について図6の(a)を参照しながら説明する。図6の(a)は、該動作を示すフローチャートである。
(ステップS11)
受信処理部21は、ステップS4にて送信されるパケット群が送信されてくるのを待ち受ける。即ち、受信処理部21は、ステップS4にて送信された全パケットの受信およびバッファ203への記録が完了するまでステップS11を繰り返し、ステップS4にて送信された全パケットの受信およびバッファ203への記録が完了すると、ステップS12に進む。
(ステップS12)
受信処理部21は、FIFO(First In First Out)の規則に従ったタイミングで、直前のステップS11にてバッファ203に記録されたパケット群を読み出す。受信処理部21は、読み出したパケット群から、撮影映像の映像フレーム、および、録音音声を表す音声データを構成し、映像フレームを映像処理部22に供給するとともに、音声データを音声処理部23に供給する。
映像処理部22は、受信処理部21から供給された映像フレーム(または、重畳メッセージ決定部24から供給されたメッセージを該映像フレームに重畳することにより得られる映像フレーム)をすぐにディスプレイ204に表示する。同時に、音声処理部23は、受信処理部21から供給された音声データが表す録音音声をスピーカ206から出力する。
次に、2つ目の動作(識別子に関連する動作)について図6の(b)を参照しながら説明する。図6の(b)は、該動作を示すフローチャートである。
(ステップS21)
受信処理部21は、ステップS3にて送信されるパケット(識別子)が送信されてくるのを待ち受ける。即ち、受信処理部21は、ステップS3にて送信される識別子を受信するまでステップS21を繰り返し、ステップS3にて送信された識別子を受信すると、ステップS22に進む。
(ステップS22)
受信処理部21は、識別子を受信するとすぐに、受信した識別子を、音声処理部23、重畳メッセージ決定部24、及び、LED発光制御部25に供給する。
(ステップS23)
音声処理部23、重畳メッセージ決定部24、及び、LED発光制御部25の各部は、識別子を受け取るとすぐに、識別子に応じた処理の必要性の有無を判定する。
具体的には、音声処理部23は、通知デバイス種別値の下位2ビット目が“0”である場合には識別子に応じた処理の必要性が無いと判定し、通知デバイス種別値の下位2ビット目が“1”である場合には識別子に応じた処理の必要性が有ると判定する。
同様に、重畳メッセージ決定部24は、通知デバイス種別値の下位1ビット目が“0”である場合には識別子に応じた処理の必要性が無いと判定し、通知デバイス種別値の下位1ビット目が“1”である場合には識別子に応じた処理の必要性が有ると判定する。また、LED発光制御部25は、通知デバイス種別値の下位3ビット目が“0”である場合には識別子に応じた処理の必要性が無いと判定し、通知デバイス種別値の下位3ビット目が“1”である場合には識別子に応じた処理の必要性が有ると判定する。
(ステップS24)
識別子に応じた処理の必要性が有ると判定した各部は、状況種別値および注意レベル値に基づいて、実行すべき処理の内容を特定する。
例えば、図4の(a)および(b)に示すように、識別子"0x00010207"を受け取った音声処理部23は、「前方に注意してください」との音声を標準の音量で繰り返し再生すべきであることを特定し、「前方に注意してください」との標準の音量の音声を繰り返しスピーカ206に出力させる。また、例えば、識別子"0x00040107"を受け取った音声処理部23は、「走行位置を確認してください」との音声を繰り返し再生する処理を終了すべきであることを特定し、そのような音声をスピーカ206に出力させることを終了する。
また、例えば、識別子"0x00010207"を受け取った重畳メッセージ決定部24は、「前方に注意してください」との標準の文字サイズのメッセージを映像処理部22に供給すべきであることを特定し、該メッセージを映像処理部22に供給する。また、例えば、識別子"0x00040107"を受け取った重畳メッセージ決定部24は、「走行位置を確認してください」とのメッセージの重畳表示を停止すべきであることを特定し、そのようなメッセージの重畳表示を停止すべき旨の指示を映像処理部22に供給する。
また、例えば、識別子"0x00010207"を受け取ったLED発光制御部25は、橙色のLED素子を連続点灯させるべきことを特定し、橙色のLED素子が絶え間なく発光するようにLED部207の発光を制御する。また、例えば、識別子"0x00040107"を受け取ったLED発光制御部25は、黄色のLED素子を消灯させるべきことを特定し、黄色のLED素子の発光が終了するようにLED部207の発光を制御する。
なお、図4からわかるように、音声処理部23、重畳メッセージ決定部24、及び、LED発光制御部25の各部による識別子に応じた処理の内容は、該識別子に含まれる状況種別値と注意レベル値との組み合わせ毎に異なっている。そして、状況種別値と注意レベル値との組み合わせ毎の具体的な上記処理の内容については、ステップS24の説明と図4とを参照した当業者であれば、十分に理解できるであろう。
(運転支援システムの利点)
図7および図8を参照し、本実施形態に係る運転支援システムの利点について、比較例に係る運転支援システムと比較しながら説明する。図7および図8は、本実施形態に係る運転支援装置の利点を説明するための図である。
比較例に係る運転支援システムの運転支援装置は、スマートフォンへのカメラ映像の送信中に運転者に注意を促すことが必要な状況の発生を検出した場合に、注意を促すためのメッセージをこれから送信する映像フレームに埋め込んだ上で、該映像フレームをスマートフォンに送信するようになっている。
図7および図8の(a)は、運転者に注意を促すことが必要な状況の発生を検出してからその状況を運転者に通知するまでのタイムラグを、比較例に係る運転支援システムについて示している。また、図7および図8の(b)は、このタイムラグを、本実施形態に係る運転支援システムについて示している。なお、図8における、“A”等と表記された各ブロックは、映像フレームを模式的に示している。また、図8の時間軸における各ブロックの占める位置は、該ブロックに対応する映像フレームを運転支援装置が生成する時刻、及び、該ブロックに対応する映像フレームをスマートフォンが表示する時刻を、おおまかに示している。
図7の(a)と(b)(図8の(a)と(b))を対比するとわかるように、本実施形態に係る運転支援システムにおける上記のタイムラグ(図7におけるt3-t0、及び、図8におけるt(e')-t(e))は、比較例に係る運転支援システムにおける上記のタイムラグ(図7におけるt3'-t0、及び、図8におけるt(h)-t(e))よりも短くなっている。
本実施形態に係る運転支援システムにおける上記のタイムラグは、主に、識別子というサイズの小さいデータの送信のレイテンシに起因するものであり、本実施形態に係る運転支援システムは、上記の状況を検出するために参照した映像フレームのエンコード、送信およびデコードといった時間がかかる処理を完了する前に、運転者に上記の状況を通知できるからである。
(運転支援装置10の利点)
以上の実施形態1の説明から以下のことが言える。
即ち、運転支援装置10は、カメラ102と、運転者に注意を促すことが必要な状況の発生を検出する撮影映像解析部12(検出手段)と、撮影映像解析部12によって上記状況が検出された直後に、上記運転者が注意すべき内容に応じた識別子を、上記識別子の受信直後に上記運転者に上記内容を提示する機能を備えたスマートフォン20(情報提示端末)に向けて送信する送信処理部13(識別子送信手段)と、を備えている。
送信処理部13(映像データ送信手段)は、カメラ102が出力する撮像映像の映像データをスマートフォン20に向けて送信する。
運転支援システムの利点に関する上記説明からもわかるように、運転支援装置10は、カメラ映像の送信中に運転者に注意を促すことが必要な状況の発生を検出した場合に、その状況を運転者に素早く伝えることができる、という効果を奏する。
〔実施形態2〕
以下、更に図9を参照して、本発明の別の一実施形態に係る運転支援システムについて説明する。図9は、本実施形態に係る運転支援システムに含まれる運転支援装置10’およびスマートフォン20’の構成を示すブロック図である。なお、説明の便宜上、実施形態1にて説明した部材と同じ機能を有する部材については、基本的に、同じ符号を付記した上でその説明を省略する。
(本実施形態に係る運転支援システムの概要)
本実施形態に係る運転支援システムは、実施形態1に係る運転支援システムと類似しているが、以下の点で実施形態1に係る運転支援システムと異なっている。
即ち、本実施形態に係る運転支援装置は、撮影動画データのパケットの送信に使用するチャンネルとは異なる通信チャンネルを使用して、識別子のパケットを送信するようになっている。
(運転支援装置10’の構成)
図9に示すように、運転支援装置10’は、制御部101、カメラ102、マイク103、RAM104、通信部105A、及び、通信部105Bを備えている。
制御部101は、運転支援装置10’全体を統括的に制御するCPUである。制御部101は、撮影動画データ生成部11、撮影映像解析部12’、及び、送信処理部13として機能する。
撮影映像解析部12’は、撮影動画データの更新を行わない点を除き、撮影映像解析部12と同様に機能する。
通信部105Aは、撮影動画データのパケットをスマートフォン20’に送信するために使用される無線LAN(WiFi)通信モジュールである。
通信部105Bは、識別子のパケットをスマートフォン20’に送信するために使用されるBluetooth(登録商標)通信モジュールであり、周波数ホッピング機能を備えている。
(スマートフォン20’の構成)
通信部202Aは、撮影動画データのパケットを運転支援装置10’から受信するために使用されるWiFi通信モジュールである。
通信部202Bは、識別子のパケットを運転支援装置10’から受信するために使用されるBluetooth通信モジュールであり、周波数ホッピング機能を備えている。
(運転支援システムの動作)
本実施形態に係る運転支援システムは、基本的に、実施形態1に係る運転支援システムと同様に図5および図6のフローチャートに従って動作するが、本実施形態に係る運転支援システムの動作は、以下の点で、実施形態1に係る運転支援システムの動作と異なっている。
・ステップS3において、送信処理部13は、通信部105ではなく通信部105Bを介して、撮影映像解析部12’によって生成された識別子のパケットをスマートフォン20に送信する。
・ステップS4において、送信処理部13は、解析対象の映像フレームのパケット群、および、対応する録音音声のパケット群を、通信部105ではなく通信部105Aを介して、スマートフォン20に送信する。
・ステップS11において、受信処理部21は、通信部202ではなく通信部202Aを介して、ステップS4にて送信された、映像フレームのパケット群、及び、対応する音声のパケット群を受信する。
・ステップS21において、受信処理部21は、通信部202ではなく通信部202Bを介して、識別子のパケットを受信する。
(本実施形態に係る運転支援システムの利点)
大量のパケットが通信帯域を圧迫すると、パケットロスの発生頻度が高くなり、パケットロスに起因する輻輳が頻繁に発生し得る。これに関し、本実施形態に係る運転支援システムでは、撮影動画データの大量のパケットがWiFi通信の通信帯域を圧迫している状況下での、識別子のパケットのスマートフォンへの到達時間への影響を小さくすることができる。識別子のパケットは、周波数ホッピング方式のBluetooth通信により送信されるからである。
従って、本実施形態に係る運転支援システムは、カメラ映像の送信中に運転者に注意を促すことが必要な状況の発生を検出した場合に、撮影動画データの送受信に使用されるWiFi通信の状態に関係なく、その状況を運転者に素早く伝えることができる、という効果を奏する。
(実施形態2に関する付記事項1)
本実施形態に係る運転支援装置は、実施形態1に係る運転支援装置と同様に、近距離通信用の通信部を1つだけ備えていてもよい。同様に、本実施形態に係るスマートフォンは、実施形態1に係るスマートフォンと同様に、近距離通信用のモジュール(例えば、WiFi通信モジュール)を1つだけ備えていてもよい。
この場合、運転支援装置は、ある通信チャンネルを通じて識別子のパケットをスマートフォンに送信し、該通信チャンネルとは論理的に異なる別の通信チャンネルを通じて、撮影動画データのパケットをスマートフォンに送信することになる。
例えば、上記近距離通信用の通信部としてWiFi通信モジュールを備える運転支援装置は、ある帯域(例えば2.4GHz帯の第1チャンネル(中心周波数:2412MHz))を通じて識別子のパケットを送信し、別の帯域(例えば、2.4GHz帯の第11チャンネル(中心周波数:2462MHz))を通じて撮影動画データのパケットを送信してもよい。
(実施形態2に関する付記事項2)
送信処理部13は、通信部105Bを介して撮影動画データのパケットを送信し、通信部105Aを介して識別子のパケットを送信してもよい。ただし、送信処理部13は、図9に示すように、通信部105Aを介して撮影動画データのパケットを送信し、通信部105Bを介して識別子のパケットを送信するのが望ましい。
Bluetooth通信は周波数ホッピングを採用した通信方式であるため、WiFi通信によって特定の周波数帯域が圧迫されている時であっても、識別子のパケットの送信は、その影響を受けづらいからである。
(実施形態2に関する付記事項3)
本実施形態に係る運転支援装置は、識別子のパケットの送信に使用する通信部を一方の通信部から他方の通信部へと切り替えると共に、撮影動画データのパケットの送信に使用する通信部を該他方の通信部から該一方の通信部へと切り替える処理を、動的に行ってもよい。
例えば、送信処理部は、Bluetooth通信の現在の実効速度とWiFi通信の現在の実効速度とを比較し、識別子のパケットの送信に使用する通信の実効速度が撮影動画データのパケットの送信に使用する通信の実効速度よりも低いことを検出したタイミングで、上記の切り替え処理を行ってもよい。
(実施形態2に関する付記事項4)
本実施形態に係るスマートフォンにインストールされているアプリケーションは、運転支援装置とのWiFi接続を確立せずに、識別子のパケットのみを受信する節電モードを備えてもよい。
〔実施形態3〕
以下、更に図10を参照して、本発明の更に別の一実施形態に係るシステムについて説明する。図10は、本実施形態に係る運転支援システムに含まれるスマートフォン1000およびディスプレイオーディオ2000の構成を示すブロック図である。なお、説明の便宜上、実施形態1にて説明した部材と同じ機能を有する部材については、基本的に、同じ符号を付記した上でその説明を省略する。
(本実施形態に係る運転支援システムの概要)
スマートフォン1000には、スマートフォンを運転支援装置10とほぼ同じように機能させるアプリケーションがインストールされている。
ディスプレイオーディオ2000は、自動車に装着されており、スマートフォン20にインストールされているアプリケーションの機能に類似している機能と、ディスプレイオーディオの機能と、を兼ね備えたプログラムを起動時に実行するようになっている。
(スマートフォン1000の構成)
図10に示すように、スマートフォン1000は、制御部101、カメラ102、RAM104、及び、通信部105を備えている。
制御部101は、スマートフォン1000全体を統括的に制御するCPUである。制御部101は、上述のアプリケーションを実行することにより、撮影動画データ生成部11、撮影映像解析部12、及び、送信処理部13として機能する。
撮影動画データ生成部11は、カメラ102から入力される撮影映像信号に基づいて映像フレームを生成する。撮影動画データ生成部11は、上記映像フレームの生成を反復することにより、ストリーミング送信用の撮影動画データを生成する。
(ディスプレイオーディオ2000の構成)
図10に示すように、ディスプレイオーディオ2000は、制御部201、通信部202、バッファ203、ディスプレイ204、フラッシュメモリ205、及び、スピーカ206を備えている。
制御部201は、ディスプレイオーディオ2000全体を統括的に制御するCPUである。制御部201は、ディスプレイオーディオ2000の起動時に上述のプログラムを実行することにより、受信処理部21’、映像処理部22’、音声処理部23’、及び、重畳メッセージ決定部24として機能する。
受信処理部21’は、受信した識別子を音声処理部23および重畳メッセージ決定部24だけに供給する点、及び、撮影動画データをフラッシュメモリ205に記録しない点を除き、実施形態1に係る受信処理部21と同様に機能する。
映像処理部22’は、フラッシュメモリ205に記録されている音楽を再生するためのUI画面をディスプレイ204に表示する。映像処理部22’は、受信処理部21’から映像フレームが供給される度に、該映像フレームを該UI画面の隣に表示する。
映像処理部22’は、映像処理部22と同様に、重畳メッセージ決定部24からメッセージが供給されると、以降に表示する各映像フレームにそのメッセージを重畳表示させるようになっている。
音声処理部23’は、フラッシュメモリ205に記録されている音楽を再生する。音声処理部23’は、受信処理部21’から音声データが供給される度に、再生中の音楽の音量を小さくした上で該音声データが表す音声をスピーカ206から出力する。
音声処理部23’は、音声処理部23と同様に、識別子(具体的には、運転者に注意を促すことが必要な状況から脱したことを示す識別子以外の識別子)が受信処理部21’から供給されるとすぐに、識別子の値に応じたメッセージを繰り返し音声出力する処理を開始する。
(運転支援システムの動作)
本実施形態に係る運転支援システムは、基本的に、実施形態1に係る運転支援システムと同様に図5および図6のフローチャートに従って動作するが、本実施形態に係る運転支援システムの動作は、以下の点で、実施形態1に係る運転支援システムの動作と異なっている。
・ステップS3において、送信処理部13は、撮影映像解析部12によって生成された識別子のパケットをディスプレイオーディオ2000に送信する。
・ステップS4において、送信処理部13は、解析対象の映像フレームのパケット群のみをディスプレイオーディオ2000に送信する。
・ステップS11において、受信処理部21’は、スマートフォン1000から映像フレームのパケット群のみを受信する。
・ステップS22における識別子の供給先は、音声処理部23’、及び、重畳メッセージ決定部24である。即ち、ステップS23の処理を行うのは、音声処理部23’、及び、重畳メッセージ決定部24であり、ステップS24の処理を行うのは、音声処理部23’、及び/又は、重畳メッセージ決定部24である。
(本実施形態に係る運転支援システムの利点)
以上の説明からわかるように、本実施形態に係る運転支援システムは、高価な専用の運転支援装置10、10’を必要とすることなく、カメラ映像の送信中に運転者に注意を促すことが必要な状況の発生を検出した場合にその状況を運転者に素早く伝えることができる。
(その他の付記事項1)
運転支援装置には、撮影動画データをスマートフォンに送信するためのソフトウェアとして、ライブストリーミング配信用のソフトウェアがインストールされていてもよい。
また、運転支援装置がスマートフォンに撮影動画データを送信し、スマートフォンが撮影動画データを再生する構成に代えて、運転支援装置が撮影動画データを再生し、撮影動画データの再生画面および再生音声のデータをスマートフォンに送信する構成を採用してもよい。
後者の構成を採用する場合、後者の構成を実現するためのソフトウェアは、VNC(ヴァーチャルネットワークコンピューティング)のソフトウェアであってもよいし、Miracast(ミラキャスト)であってもよい。
(その他の付記事項2)
運転者に注意を促すことが必要な状況を通知可能なデバイスは、映像表示デバイス、音声出力デバイス、および、LEDデバイスには、限定されない。
例えば、スマートフォンは、内蔵のフラッシュライト(図示せず)の発光を制御するフラッシュライト発光制御部(図示せず)を備えていてもよい。
フラッシュライト発光制御部は、フラッシュライトを通知デバイスに設定する旨を示す通知デバイス種別値を含む識別子が受信処理部から供給された場合に、状況種別値に基づいてフラッシュライトの発光パターンを決定するとともに、注意レベル値に基づいてフラッシュライトの発光強度を決定してもよい。
そして、フラッシュライト発光制御部は、決定した発光パターンおよび発光強度に基づいて、フラッシュライトを発光させてもよい。
また、例えば、スマートフォンは、内蔵のバイブレーションユニット(図示せず)の動作を制御するバイブレーションユニット制御部(図示せず)を備えていてもよい。
バイブレーションユニット制御部は、バイブレーションユニットを通知デバイスに設定する旨を示す通知デバイス種別値を含む識別子が受信処理部から供給された場合に、状況種別値に基づいてバイブレーションユニットの振動パターンを決定するとともに、注意レベル値に基づいてバイブレーションユニットの振動強度を決定してもよい。
そして、バイブレーションユニット制御部は、決定した振動パターンおよび振動強度に基づいて、バイブレーションユニットを振動させてもよい。
〔ソフトウェアによる実現例〕
運転支援装置10、10’の制御ブロック(特に、撮影動画データ生成部11、撮影映像解析部12、12’、および送信処理部13)、並びに、スマートフォン20、20’の制御ブロック(特に、受信処理部21、21’、映像処理部22、22’、音声処理部23、23’、重畳メッセージ決定部24、およびLED発光制御部25)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
後者の場合、運転支援装置10、10’、及び、スマートフォン20、20’は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
〔まとめ〕
本発明の態様1に係る運転支援装置(例えば、運転支援装置10、10’)は、カメラ(例えば、カメラ102)と、運転者に注意を促すことが必要な状況の発生を検出する検出手段(例えば、撮影映像解析部12、12’)と、上記検出手段によって上記状況が検出された直後に、上記運転者が注意すべき内容に応じた識別子を、上記識別子の受信直後に上記運転者に上記内容を提示する機能を備えた情報提示端末(例えば、スマートフォン20、20’)に向けて送信する識別子送信手段(例えば、送信処理部13)と、上記カメラが出力する撮像映像の映像データを上記情報提示端末に向けて送信する映像データ送信手段(例えば、送信処理部13)と、を備えている。
上記の構成によれば、上記運転支援装置は、上記カメラが出力する撮像映像の映像データを上記情報提示端末に向けて送信している間に運転者に注意を促すことが必要な状況の発生を検出すると、上記識別子をすぐに上記情報提示端末に送信する。上記識別子のデータサイズは非常に小さいため、通常、上記運転支援装置が上記識別子を送信してから上記情報提示端末が上記識別子を受信するまでの時間は非常に短い時間である。
従って、カメラ映像を上記情報提示端末に向けて送信している間に上記運転支援装置が運転者に注意を促すことが必要な状況の発生を検出するとすぐに、上記情報提示端末は、上記運転者が注意すべき内容を上記運転者に提示する。
これにより、上記運転支援装置は、カメラ映像の送信中に運転者に注意を促すことが必要な状況の発生を検出した場合に、その状況を運転者に素早く伝えることができる、という効果を奏する。
本発明の態様2に係る運転支援装置(例えば、運転支援装置10’)では、上記態様1において、上記識別子送信手段(例えば、撮影映像解析部12’)は、上記映像データ送信手段が上記映像データの送信に使用する通信チャンネル(例えば、WiFi通信のチャンネル)とは異なる通信チャンネル(例えば、Bluetooth通信のチャンネル)を使用して、上記識別子を送信してもよい。
上記の構成によれば、上記運転支援装置は、上記映像データの送信に使用する通信チャンネルの帯域が圧迫されている時であっても、その影響を全く受けないか、又は、その影響をあまり受けずに、識別子を送信できる。
従って、上記運転支援装置は、運転者に注意を促すことが必要な状況を運転者に素早く伝えることができる、という更なる効果を奏する。
本発明の態様3に係る運転支援装置は、上記態様2において、上記識別子送信手段が、周波数ホッピング機能を備えた通信モジュール(例えば、通信部105B)を介して、上記識別子を送信してもよい。
上記の構成によれば、上記運転支援装置は、非常に短い時間が経過する度に上記識別子の送信に用いる帯域を切り替える。
従って、上記映像データの送信に使用する通信チャンネルの帯域が圧迫されている時に該帯域と上記識別子の送信に使用される通信チャンネルの帯域とが重なるために、上記識別子の送信に影響が及ぶことがあっても、影響が及ぶのは一時的である。
これにより、上記運転支援装置は、上記運転支援装置の周囲において特定の帯域が圧迫されている時であっても、その影響をあまり受けずに、運転者に注意を促すことが必要な状況を運転者に素早く伝えることができる、という更なる効果を奏する。
本発明の態様4に係る運転支援装置では、上記態様2において、上記識別子送信手段は、上記映像データ送信手段が上記映像データの送信に使用する通信モジュールによって使用される帯域とは異なる帯域を使用する別の通信モジュールを介して、上記識別子を送信してもよい。
上記の構成によれば、上記識別子の送信に使用される通信チャンネルの帯域と上記映像データの送信に使用される通信チャンネルの帯域とは重なっていないため、該帯域が圧迫されている時であっても、上記識別子の送信には影響が及ばない。
従って、上記運転支援装置は、上記運転支援装置の周囲において特定の帯域が圧迫されている時であっても、その影響を全く受けずに、運転者に注意を促すことが必要な状況を運転者に素早く伝えることができる、という更なる効果を奏する。
本発明の態様5に係る情報提示端末(例えば、スマートフォン20、20’)は、運転者が注意すべき内容に応じた識別子を外部の運転支援装置(例えば、運転支援装置10、10’)から受信する識別子受信手段(例えば、受信処理部21)と、上記運転支援装置のカメラ(例えば、カメラ102)が出力する撮像映像の映像データを上記運転支援装置から受信する映像データ受信手段(例えば、受信処理部21)と、上記撮像映像を表示画面(例えば、ディスプレイ204)に表示する表示処理手段(例えば、映像処理部22)と、上記識別子受信手段が上記識別子を受信した直後に、上記運転者に上記内容を提示する提示手段(例えば、映像処理部22、音声処理部23、及び、LED発光制御部25)と、を備えている。
上記の構成によれば、上記情報提示端末は、上記運転支援装置から受信中のカメラ映像を表示している間に、運転者に注意を促すことが必要な状況を運転者に素早く(そのような状況をカメラ映像から認識できるようになるタイミングよりも早く)伝えることができる、という効果を奏する。
本発明の態様6に係る情報提示端末(例えば、スマートフォン20’)では、上記態様5において、上記識別子受信手段は、上記映像データ受信手段が上記映像データの受信に使用する通信チャンネル(例えば、WiFi通信のチャンネル)とは異なる通信チャンネル(例えば、Bluetooth通信のチャンネル)を使用して、上記識別子を受信してもよい。
上記の構成によれば、上記運転支援装置は、上記映像データの受信に使用する通信チャンネルの帯域が圧迫されている時であっても、その影響を全く受けないか、又は、その影響をあまり受けずに、識別子を受信できる。
従って、上記情報提示端末は、運転者に注意を促すことが必要な状況を運転者に素早く伝えることができる、という更なる効果を奏する。
本発明の態様7に係る情報提示端末は、上記態様6において、上記識別子受信手段が、周波数ホッピング機能を備えた通信モジュール(例えば、通信部202B)を介して、上記識別子を受信してもよい。
上記の構成によれば、上記情報提示端末は、非常に短い時間が経過する度に上記識別子の受信に用いる帯域を切り替える。
従って、上記映像データの送信に使用する通信チャンネルの帯域が圧迫されている時に該帯域と上記識別子の送信に使用される通信チャンネルの帯域とが重なるために、上記識別子の受信に影響が及ぶことがあっても、影響が及ぶのは一時的である。
従って、上記情報提示端末は、上記運転支援装置の周囲において特定の帯域が圧迫されている時であっても、その影響をあまり受けずに、運転者に注意を促すことが必要な状況を運転者に素早く伝えることができる、という更なる効果を奏する。
本発明の態様8に係る情報提示端末では、上記態様6において、上記識別子受信手段は、上記映像データ受信手段が上記映像データの受信に使用する通信モジュールによって使用される帯域とは異なる帯域を使用する別の通信モジュールを介して、上記識別子を受信してもよい。
上記の構成によれば、上記識別子の受信に使用される通信チャンネルの帯域と上記映像データの受信に使用される通信チャンネルの帯域とは重なっていないため、該帯域が圧迫されている時であっても、上記識別子の受信には影響が及ばない。
従って、上記情報提示端末は、上記情報提示端末の周囲において特定の帯域が圧迫されている時であっても、その影響を全く受けずに、運転者に注意を促すことが必要な状況を運転者に素早く伝えることができる、という更なる効果を奏する。
なお、本発明の態様9に係る情報提示端末では、上記態様5から8のいずれかの態様において、上記提示手段は、上記識別子受信手段が上記識別子を受信した直後に、上記映像が表示されている上記表示画面に、上記識別子に応じたメッセージを表示してもよい。
本発明の態様10に係る運転支援システムは、上記態様1に係る運転支援装置と、上記態様5に係る情報提示端末と、を含んでいる。
上記の構成によれば、上記運転支援システムは、上記態様1に係る運転支援装置と同様の作用効果を奏する。
本発明の態様11に係る運転支援方法は、カメラを備えた運転支援装置による運転支援方法において、運転者に注意を促すことが必要な状況の発生を検出する検出ステップ(例えば、ステップS1)と、上記検出ステップにて上記状況が検出された直後に、上記運転者が注意すべき内容に応じた識別子を、上記識別子の受信直後に上記運転者に上記内容を提示する機能を備えた情報提示端末に向けて送信する識別子送信ステップ(例えば、ステップS3)と、上記カメラが出力する撮像映像の映像データを上記情報提示端末に向けて送信する映像データ送信ステップ(例えば、ステップS4)と、を含んでいる。
上記の構成によれば、上記運転支援方法は、上記態様1に係る運転支援装置と同様の作用効果を奏する。
本発明の態様12に係る運転支援方法は、情報提示端末による運転支援方法であって、外部の運転支援装置のカメラが出力する撮像映像の映像データを上記運転支援装置から受信する映像データ受信ステップ(例えば、ステップS11)と、上記撮像映像を表示画面に表示する表示処理ステップ(例えば、ステップS12)と、運転者が注意すべき内容に応じた識別子を上記運転支援装置から受信する識別子受信ステップ(例えば、ステップS21)と、上記識別子受信ステップにて上記識別子を受信した直後に、上記運転者に上記内容を提示する提示ステップ(例えば、ステップS12)と、を含んでいる。
上記の構成によれば、上記運転支援方法は、上記態様4に係る情報提示端末と同様の作用効果を奏する。
本発明の各態様に係る運転支援装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記運転支援装置が備える各手段として機能させることにより上記運転支援装置をコンピュータにて実現させるプログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
同様に、本発明の各態様に係る情報提示端末は、コンピュータによって実現してもよく、この場合には、コンピュータを上記情報提示端末が備える各手段として機能させることにより上記情報提示端末をコンピュータにて実現させるプログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
本発明は、カメラを備えた運転支援装置、及び、スマートフォンに好適に適用することができる。
10 運転支援装置
101 制御部(コンピュータ)
11 撮影動画データ生成部
12 撮影映像解析部(検出手段)
13 送信処理部(識別子送信手段、映像データ送信手段)
105 通信部(通信モジュール)
20 スマートフォン(情報提示端末)
201 制御部(コンピュータ)
21 受信処理部(識別子受信手段、映像データ受信手段)
22 映像処理部(表示処理手段、提示手段)
23 音声処理部(提示手段)
24 重畳メッセージ決定部
25 LED発光制御部(提示手段)
202 通信部(通信モジュール)
1000 スマートフォン(運転支援装置)
2000 ディスプレイオーディオ(情報提示端末)

Claims (14)

  1. カメラと、
    運転者に注意を促すことが必要な状況の発生を検出する検出手段と、
    上記検出手段によって上記状況が検出された直後に、上記運転者が注意すべき内容に応じた識別子を、上記識別子の受信直後に上記運転者に上記内容を提示する機能を備えた情報提示端末に向けて送信する識別子送信手段と、
    上記カメラが出力する撮像映像を示す映像データを上記情報提示端末に向けて送信する映像データ送信手段と、を備え
    上記識別子送信手段は、上記映像データ送信手段が上記映像データの送信に使用する通信チャンネルとは異なる通信チャンネルを使用して、上記識別子を送信する、ことを特徴とする運転支援装置。
  2. カメラと、
    運転者に注意を促すことが必要な状況の発生を検出する検出手段と、
    上記検出手段によって上記状況が検出された直後に、上記運転者が注意すべき内容に応じた識別子を、上記識別子の受信直後に上記運転者に上記内容を提示する機能を備えた情報提示端末に向けて送信する識別子送信手段と、
    上記カメラが出力する撮像映像を示す映像データを上記情報提示端末に向けて送信する映像データ送信手段と、を備え、
    上記識別子送信手段は、上記映像データ送信手段が上記映像データの送信に使用する通信チャンネルとは異なる通信チャンネルを使用して、上記識別子を送信し
    上記識別子送信手段は、周波数ホッピング機能を備えた通信モジュールを介して、上記識別子を送信する、ことを特徴とする運転支援装置。
  3. カメラと、
    運転者に注意を促すことが必要な状況の発生を検出する検出手段と、
    上記検出手段によって上記状況が検出された直後に、上記運転者が注意すべき内容に応じた識別子を、上記識別子の受信直後に上記運転者に上記内容を提示する機能を備えた情報提示端末に向けて送信する識別子送信手段と、
    上記カメラが出力する撮像映像を示す映像データを上記情報提示端末に向けて送信する映像データ送信手段と、を備え、
    上記識別子送信手段は、上記映像データ送信手段が上記映像データの送信に使用する通信チャンネルとは異なる通信チャンネルを使用して、上記識別子を送信し
    上記識別子送信手段は、上記映像データ送信手段が上記映像データの送信に使用する通信モジュールによって使用される帯域とは異なる帯域を使用する別の通信モジュールを介して、上記識別子を送信する、ことを特徴とする運転支援装置。
  4. 運転者が注意すべき内容に応じた識別子を外部の運転支援装置から受信する識別子受信手段と、
    上記運転支援装置のカメラが出力する撮像映像を示す映像データを上記運転支援装置から受信する映像データ受信手段と、
    上記撮像映像を表示画面に表示する表示処理手段と、
    上記識別子受信手段が上記識別子を受信した直後に、上記運転者に上記内容を提示する提示手段と、を備え
    上記識別子受信手段は、上記映像データ受信手段が上記映像データの受信に使用する通信チャンネルとは異なる通信チャンネルを使用して、上記識別子を受信する、ことを特徴とする情報提示端末。
  5. 運転者が注意すべき内容に応じた識別子を外部の運転支援装置から受信する識別子受信手段と、
    上記運転支援装置のカメラが出力する撮像映像を示す映像データを上記運転支援装置から受信する映像データ受信手段と、
    上記撮像映像を表示画面に表示する表示処理手段と、
    上記識別子受信手段が上記識別子を受信した直後に、上記運転者に上記内容を提示する提示手段と、を備え、
    上記識別子受信手段は、上記映像データ受信手段が上記映像データの受信に使用する通信チャンネルとは異なる通信チャンネルを使用して、上記識別子を受信し、
    上記識別子受信手段は、周波数ホッピング機能を備えた通信モジュールを介して、上記識別子を受信する、ことを特徴とする情報提示端末。
  6. 運転者が注意すべき内容に応じた識別子を外部の運転支援装置から受信する識別子受信手段と、
    上記運転支援装置のカメラが出力する撮像映像を示す映像データを上記運転支援装置から受信する映像データ受信手段と、
    上記撮像映像を表示画面に表示する表示処理手段と、
    上記識別子受信手段が上記識別子を受信した直後に、上記運転者に上記内容を提示する提示手段と、を備え、
    上記識別子受信手段は、上記映像データ受信手段が上記映像データの受信に使用する通信チャンネルとは異なる通信チャンネルを使用して、上記識別子を受信し、
    上記識別子受信手段は、上記映像データ受信手段が上記映像データの受信に使用する通信モジュールによって使用される帯域とは異なる帯域を使用する別の通信モジュールを介して、上記識別子を受信する、ことを特徴とする情報提示端末。
  7. 上記提示手段は、上記識別子受信手段が上記識別子を受信した直後に、上記撮像映像が表示されている上記表示画面に、上記識別子に応じたメッセージを表示する、ことを特徴とする請求項からのいずれか1項に記載の情報提示端末。
  8. 請求項1から3のいずれか1項に記載の運転支援装置と、請求項4から7のいずれか1項に記載の情報提示端末と、を含んでいる、ことを特徴とする運転支援システム。
  9. カメラを備えた運転支援装置による運転支援方法において、
    運転者に注意を促すことが必要な状況の発生を検出する検出ステップと、
    上記検出ステップにて上記状況が検出された直後に、上記運転者が注意すべき内容に応じた識別子を、上記識別子の受信直後に上記運転者に上記内容を提示する機能を備えた情報提示端末に向けて送信する識別子送信ステップと、
    上記カメラが出力する撮像映像を示す映像データを上記情報提示端末に向けて送信する映像データ送信ステップと、を含んでおり、
    上記識別子送信ステップにおいて、上記映像データ送信ステップにて上記映像データの送信に使用する通信チャンネルとは異なる通信チャンネルを使用して、上記識別子を送信することを特徴とする運転支援方法。
  10. 情報提示端末による運転支援方法であって、
    外部の運転支援装置のカメラが出力する撮像映像を示す映像データを上記運転支援装置から受信する映像データ受信ステップと、
    上記撮像映像を表示画面に表示する表示処理ステップと、
    運転者が注意すべき内容に応じた識別子を上記運転支援装置から受信する識別子受信ステップと、
    上記識別子受信ステップにて上記識別子を受信した直後に、上記運転者に上記内容を提示する提示ステップと、を含んでおり、
    上記識別子受信ステップにおいて、上記映像データ受信ステップにて上記映像データの受信に使用する通信チャンネルとは異なる通信チャンネルを使用して、上記識別子を受信する、ことを特徴とする運転支援方法。
  11. 請求項1からの何れか1項に記載の運転支援装置としてコンピュータを機能させるためのプログラムであって、コンピュータを上記各手段として機能させるためのプログラム。
  12. 請求項11に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
  13. 請求項からの何れか1項に記載の情報提示端末としてコンピュータを機能させるためのプログラムであって、コンピュータを上記各手段として機能させるためのプログラム。
  14. 請求項13に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2014194274A 2014-09-24 2014-09-24 運転支援装置、情報提示端末、運転支援方法、運転支援システム、プログラム、及び、記録媒体 Expired - Fee Related JP6324858B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014194274A JP6324858B2 (ja) 2014-09-24 2014-09-24 運転支援装置、情報提示端末、運転支援方法、運転支援システム、プログラム、及び、記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014194274A JP6324858B2 (ja) 2014-09-24 2014-09-24 運転支援装置、情報提示端末、運転支援方法、運転支援システム、プログラム、及び、記録媒体

Publications (2)

Publication Number Publication Date
JP2016066213A JP2016066213A (ja) 2016-04-28
JP6324858B2 true JP6324858B2 (ja) 2018-05-16

Family

ID=55805564

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014194274A Expired - Fee Related JP6324858B2 (ja) 2014-09-24 2014-09-24 運転支援装置、情報提示端末、運転支援方法、運転支援システム、プログラム、及び、記録媒体

Country Status (1)

Country Link
JP (1) JP6324858B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7525779B2 (ja) 2020-07-14 2024-07-31 日亜化学工業株式会社 発光装置及び照明装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020161001A (ja) * 2019-03-27 2020-10-01 パナソニックIpマネジメント株式会社 移動体制御システム、移動体、移動体制御方法、及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5003399B2 (ja) * 2007-10-11 2012-08-15 株式会社Jvcケンウッド 道路通信システム,通信端末,データ再生処理方法およびデータ再生用プログラム
US8669857B2 (en) * 2010-01-13 2014-03-11 Denso International America, Inc. Hand-held device integration for automobile safety
JP2013124957A (ja) * 2011-12-15 2013-06-24 Car Mate Mfg Co Ltd 携帯情報端末を用いたナビゲーションシステム
JP2014044485A (ja) * 2012-08-24 2014-03-13 Jvc Kenwood Corp 車載器、情報提供システム、車載器の制御方法、及び、プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7525779B2 (ja) 2020-07-14 2024-07-31 日亜化学工業株式会社 発光装置及び照明装置

Also Published As

Publication number Publication date
JP2016066213A (ja) 2016-04-28

Similar Documents

Publication Publication Date Title
CN110958475A (zh) 一种跨设备的内容投射方法及电子设备
US9648155B2 (en) Mobile terminal, onboard device, control method, and control program
CN111641979B (zh) 一种Wi-Fi点对点业务的实现方法以及相关设备
JP2007049513A (ja) 車々間通信装置、車々間通信システムおよび動画情報のアプリケーション適用可否判断方法
US20140267727A1 (en) Systems and methods for determining the field of view of a processed image based on vehicle information
CN109257722B (zh) 用于与外部电子装置进行通信的电子装置及其控制方法
CN112398855A (zh) 应用内容跨设备流转方法与装置、电子设备
CN112394895A (zh) 画面跨设备显示方法与装置、电子设备
JP2017527156A (ja) ナンバー・プレート情報に基づく車両通信識別子
JP2006352522A (ja) 通信制御装置、および通信制御方法
US20140320637A1 (en) Vehicular image processing apparatus and method of providing information using the vehicular image processing apparatus
JP6324858B2 (ja) 運転支援装置、情報提示端末、運転支援方法、運転支援システム、プログラム、及び、記録媒体
CN112954648A (zh) 一种移动终端和车载终端的交互方法、终端以及系统
KR20130019916A (ko) 블루투스 통신을 이용한 멀티미디어 시스템 및 그 제어방법
CN107018291A (zh) 车载综合系统及提供车外影像的方法
US9253522B2 (en) Method for controlling data flow of mirror link system
US20200036765A1 (en) Method and device for transmitting content
WO2014192260A1 (ja) 車載通信装置およびプログラム
US10477268B2 (en) Information processing apparatus, communication system, information processing method and non-transitory computer readable medium
JP2009184453A (ja) 車載情報出力装置及び情報出力制御方法
JP2019175376A (ja) 車両用通信装置、車両、及び、車車間通信システム
KR101723748B1 (ko) 차량용 클러스터의 턴-시그널 음원 변경장치 및 그 방법
CN117318761A (zh) 一种电力线通信系统、设备状态查询方法及设备
JP5646441B2 (ja) 車載装置と携帯情報端末との間で利用される無線によるコンテンツ転送システム
CN105407382A (zh) 车辆间的无线通信方法、多媒体快播方法与缓存方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180313

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180411

R150 Certificate of patent or registration of utility model

Ref document number: 6324858

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees