JP7423956B2 - 映像送信装置、映像送信方法、及び、映像送信プログラム - Google Patents

Description

本発明は、車両運転中の車内を撮影した映像を送信する映像送信装置、映像送信方法、及び、映像送信プログラムに関する。

近年、車両の運転操作の一部または全部を自動的に実施して該車両を自動的に運転する自動運転システムの開発が進められている。この種の自動運転システムでは、車両周囲の状況に応じて、自動運転レベルを切り替えることにより、運転者の負担を軽減する技術が提案されている（例えば、特許文献１参照）。

国際公開第２０１６／０８００７０号

ところで、上記した自動運転システムでは、運転者（乗員）が操作することなく、システムが運転操作の全部を行い、該車両を自動的に運転する完全な自動運転の普及にはまだ時間を要する状況にある。このため、現状では、運転者が運転操作を行う手動運転と、システムが運転操作の一部をサポートする自動運転との間で自動運転レベルを切り替えながら走行する自動運転技術が先行することが見込まれる。

このような自動運転技術において、自動運転時に車両が正常に走行している場合であっても運転者（乗員）の健康状態などを適切に見守ることが望まれる。一方、システムが主体的に運転操作を行う場合のように、自動運転レベルによっては運転者が必ずしも運転席に着座しているとは限らない。

本発明は、上記に鑑みてなされたものであって、自動運転中の運転者を見守ることができる映像送信装置、映像送信方法、及び、映像送信プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る映像送信装置は、自動運転レベルを取得する自動運転情報取得部と、車両に設置されて前記車両の運転席を撮影する第１撮影部と、前記第１撮影部よりも前記車両の内部を広域に撮影する第２撮影部と、前記自動運転レベルがレベル４以上である場合、前記第２撮影部により撮影された映像情報を送信処理させる判定部と、を備えることを特徴とする。

本発明によれば、自動運転レベルによって車内の映像情報を切り替えて送信することができ、車両内の運転者の状態を適切に見守ることができる。

図１は、本実施形態に係る車載通信装置を含む車両見守りシステムの構成を示すブロック図である。 図２は、自動運転レベルと運転席への着座の要否の関係を示す図である。 図３は、車載通信装置の機能構成を示すブロック図である。 図４は、車載通信装置が搭載された車両の平面図である。 図５は、車両の部分断面図である。 図６は、サーバの機能構成を示すブロック図である。 図７は、車載通信装置の動作手順を示すフローチャートである。 図８は、サーバの動作手順を示すフローチャートである。 図９は、見守り端末の表示部に表示される表示画面例を示す図である。 図１０は、見守り端末の表示部に表示される表示画面例を示す図である。 図１１は、見守り端末の表示部に表示される表示画面例を示す図である。 図１２は、変形例に係る車載通信装置の機能構成を示すブロック図である。

以下に、本発明に係る実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、以下の実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。

図１は、本実施形態に係る車載通信装置を含む車両見守りシステムの構成を示すブロック図である。図２は、自動運転レベルと運転席への着座の要否の関係を示す図である。車両見守りシステム２００は、自動運転が可能な車両に搭乗した運転者（ドライバー）の車内での様子や状態（例えば健康状態など）を見守るシステムである。運転者とは、車両の運転操作をする者であり、自動運転中の車両において運転操作をしていない状態を含むものとする。車両見守りシステム２００は、図１に示すように、車両２１０に搭載された車載通信装置（映像送信装置）１と、サーバ２と、見守り端末３とを備えて構成される。車載通信装置１及び見守り端末３は、それぞれネットワーク４を介してサーバ２に接続されている。このネットワーク４は、各車載通信装置１とサーバ２、または、サーバ２と見守り端末３を中継するものであり、例えば、ＷＩ－ＦＩ（登録商標）、ＬＴＥ、５Ｇなどの無線通信路が用いられる。

車両２１０は、自動運転が可能な、例えば自動車などの車両である。ここで、自動運転とは、自動運転システム（不図示）が車両２１０の運転操作の一部または全部を実施して該車両２１０を自動的に運転するものをいう。自動運転システムは、既存の技術を用いることができ、例えば、車両２１０に搭載された自動運転制御装置と、車外の道路状況などの情報を外部機器から取得する道路状況取得部と、カメラなどを用いて車両周囲の外界状況の情報を取得する外界状況取得部と、ＧＰＳ受信機などの位置情報や車速情報などから自車両の走行位置を推定する走行位置推定部などを備えて構成される。自動運転制御装置は、道路状況取得部、外界状況取得部、及び走行位置推定部から得られる自動運転中の走行環境や自車両の走行状態などに基づき、自動運転レベルを選択し、該自動運転レベルに応じた車両の操舵制御、加速制御、及び制動制御を実行する。なお、自動運転システムは上記したものに限るものではなく、他の構成によるものであってもよい。

次に、自動運転レベルについて説明する。自動運転レベルは、上記した自動運転システムの状態を運転者の寄与度などに応じて各レベルに段階的に分類したものであり、例えば、ＳＡＥ（Society of Automotive Engineers, inc：米国自動車技術会）の規格（Ｊ３０１６）により規定されている。

自動運転レベルは、図２に示すように、レベル０からレベル５までの６段階に分類されている。レベル０（運転自動化なし）は、自動運転システムが介在せずに、運転者が完全に車両を操作する必要がある状態をいう。このため、レベル０は、運転者による手動運転に相当する。また、レベル１（運転支援）は、運転者が主体でステアリング（操舵）、加減速（加速・制動）の操作を行うが、その一部を自動運転システムがサポートする状態をいう。レベル２（部分運転自動化）は、運転者が主体であるものの、ステアリング（操舵）、加減速（加速・制動）のすべての操作を自動運転システムがサポートする状態をいう。

レベル３（条件付き運転自動化）は、高速道路や空港などの特定の走行場所において、自動運転システムが主体ですべての運転操作を行う。ただし、レベル３では、緊急時や自動運転システムがうまく作動しない時には、運転者が自動運転システムに代わって運転操作をする必要がある。

レベル４（高度運転自動化）は、上記した特定の走行場所であれば、緊急時であっても自動運転システムがすべての運転操作を行う。このレベル４では、『自動運転システムがすべての動的運転タスク、及び作動継続が困難な場合への応答を限定領域において持続的に実行する。作動継続が困難な場合、利用者が介入の要求に応答することは期待されない』と定義されている。このため、レベル３とは異なり、レベル４では緊急時にも運転者が対応せず、すべて自動運転システム側が自動運転の主体となり、運転者は自動運転中に運転席に着座する必要がない。レベル５（完全運転自動化）は、場所の限定なく、自動運転システムがすべての運転操作を行う完全自動運転であり、運転者が運転席に着座する必要がない。本明細書における所定レベルは、自動運転中に運転者が運転席に着座することを要しない自動運転レベルをいい、具体的にはレベル４以上である。

このように、自動運転レベルが所定レベル（レベル４）以上の場合、運転者は運転席に着座する必要がなく、車両２１０内で自由に座席を移動することができる。このため、本実施形態の車両見守りシステム２００は、自動運転レベルに応じて、車内を撮影した映像情報を切り替えて見守り端末３に提供するものである。

次に、車両見守りシステム２００を構成する車載通信装置１、サーバ２、及び見守り端末３について説明する。図３は、車載通信装置の機能構成を示すブロック図である。図４は、車載通信装置が搭載された車両の平面図であり、図５は車両の部分断面図である。図６は、サーバの機能構成を示すブロック図である。車載通信装置１は、図３に示すように、車外撮影部１１、車内撮影部（第１撮影部）１２、車内広域撮影部（第２撮影部）１３、生体情報取得部１４、自動運転情報取得部１５、判定部１６、セレクタ１７、圧縮部１８、送信部１９、及び記憶部２０を備える。

車外撮影部１１は、図４及び図５に示すように、例えば、車両２１０のバックミラー（ルームミラー）２１１の裏などの車外を撮影するのに適した位置に設置されて車両２１０前方の車外を撮影するカメラである。車外撮影部１１は、有線もしくは無線接続されて撮影した映像情報を圧縮部１８に出力する。車内撮影部１２は、例えば、車両２１０のダッシュボード２１２上などの運転席２１３を撮影するのに適した位置に設置され、運転席２１３や運転席２１３に着座した運転者２１４を撮影するカメラである。車内広域撮影部１３は、車内全体を撮影するカメラである。車内広域撮影部１３のレンズは車内撮影部１２より広角に撮影できる広角レンズや魚眼レンズなどが装着されている。本実施形態では、車内広域撮影部１３は、車両２１０の天井部２１５の中央などの車内を広域に撮影するのに適した位置に設置されて、例えば、車両の後部座席２１６や後部座席２１６に着座した乗員（自動運転中の運転者を含む）２１７や、後部座席２１６を倒して横になって寝た状態にある乗員を撮影する。車内撮影部１２、及び車内広域撮影部１３は、それぞれ有線もしくは無線接続されて撮影した映像情報をそれぞれセレクタ１７に出力する。

生体情報取得部１４は、例えば、運転者２１４の腕などに装着されて運転者２１４の脈拍数や血圧などの生体情報を常時、または定期的に取得する。この生体情報取得部１４は、運転操作を阻害せずに生体情報を取得するのに適した位置に設けるのが好ましい。生体情報取得部１４は、無線接続されて取得した生体情報を送信部１９に出力する。ここでは、生体情報取得部１４は運転者２１４に装着されているものとしたが、運転者２１４の運転席２１３への着座の有無に関わらず、計測できればこれに限らない。例えば、車内撮影部１２や車内広域撮影部１３などの映像から生体情報を取得してもよい。

自動運転情報取得部１５は、車両２１０に搭載された自動運転システム（不図示）から自動運転中であるか否かを示す自動運転実施情報と、上記した自動運転レベルとを取得する。判定部１６は、自動運転情報取得部１５が取得した自動運転実施情報及び自動運転レベルに基づき、車両２１０が自動運転中であるか否か、及び、自動運転レベルが所定レベル（レベル４）以上であるか否かを判定する。また、判定部１６は、自動運転実施情報及び自動運転レベルに基づき、セレクタ１７や送信部１９の動作を制御する。自動運転情報取得部１５及び判定部１６は、マイクロプロセッサまたはマイクロコンピュータで構成されているが、車両２１０のＥＣＵ（Electronic Control Unit）に上記した機能を実行させてもよい。また、自動運転情報取得部１５及び判定部１６は、ハードウェアの構成に限るものではなく、ソフトウェアで構成されていてもよいし、さらに、ソフトウェアとハードウェアとを組み合わせて構成してもよい。判定部１６の各構成要素を動作させるソフトウェア（プログラム）は、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されてコンピュータプログラムプロダクトとして提供される。ソフトウェアを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、ソフトウェアをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、ソフトウェアを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。本実施形態では、判定部１６は、自動運転レベルに応じて、車内撮影部１２及び車内広域撮影部１３が撮影した映像情報を切り替え、切り替えられた少なくとも一方を送信部１９に送信させる。

セレクタ１７には、車内撮影部１２及び車内広域撮影部１３が撮影した映像情報がそれぞれ入力される。セレクタ１７は、判定部１６の制御に基づき、入力された車内撮影部１２と車内広域撮影部１３の各映像情報を切り替え、少なくとも一方の映像情報を出力する。圧縮部１８は、車外撮影部１１、車内撮影部１２及び車内広域撮影部１３が撮影した映像情報を送信に適したビットレートに圧縮し、圧縮映像情報を送信部１９及び記憶部２０に出力する。送信部１９は、圧縮映像情報を含む各種情報をサーバ２に送信する。記憶部２０は、車外撮影部１１、車内撮影部１２、及び車内広域撮影部１３がそれぞれ撮影したすべての映像情報を含む各種情報を記憶する。この際、記憶部２０は、圧縮部１８にて圧縮された圧縮映像情報を記憶してもよいし、撮影した映像情報をそのまま記憶してもよい。なお、圧縮部１８は、送信部１９の通信環境が円滑な通信を可能であれば必ずしも設けることを要しない。

また、車載通信装置１は、図３に示すように、運転情報取得部２１、車両特定情報取得部２２及び位置情報取得部２３と、を備えている。運転情報取得部２１は、自動運転システムまたは車両２１０のＥＣＵから、該車両２１０の速度、加速度、急加速、急減速、ふらつき等を含む運転情報を取得する。取得した運転情報は、送信部１９及び記憶部２０に出力される。車両特定情報取得部２２は、ＥＣＵなどから、該車両２１０の車台番号、車両登録番号等を含む車両情報を取得し、送信部１９及び記憶部２０に出力する。位置情報取得部２３は、自動運転システムまたはＧＰＳ受信機（不図示）等から、車両２１０が走行する現在位置の緯度及び経度情報を含む位置情報を取得し、送信部１９及び記憶部２０に出力する。ここでは、該車両２１０の車台番号、車両登録番号等を含む車両情報を取得し、送信部１９及び記憶部２０に出力するとしたが、該車両２１０が特定できればよく、例えば、事前に登録しておいた車両が特定できるようなＩＤやトークンを出力してもよい。

サーバ２は、各車載通信装置１から送信された映像情報を含む各種情報を収集して記憶するとともに、見守り端末３にこれらの情報を提供するものであり、例えば、クラウドやオンプレミスに設置されたコンピュータなどによって構成される。サーバ２は、図６に示すように、受信部３１、自動運転情報取得部３２、判定部３３、生体情報分析部３４、運転情報分析部３５、送信部３６及び記憶部３７を備えて構成される。自動運転情報取得部３２、判定部３３、生体情報分析部３４、運転情報分析部３５は、マイクロプロセッサまたはマイクロコンピュータで構成されている。

受信部３１は、車載通信装置１から送信された圧縮映像情報を含む各種情報（自動運転実施情報、自動運転レベル、生体情報、車両情報、位置情報、運転情報）を受信する。自動運転情報取得部３２は、受信した情報の中から自動運転実施情報と自動運転レベルとを取得する。判定部３３は、自動運転情報取得部３２が取得した自動運転実施情報及び自動運転レベルに基づき、車両２１０が自動運転中であるか否か、及び、自動運転レベルが所定レベル（レベル４）以上であるか否かを判定する。また、判定部３３は、生体情報分析部３４や運転情報分析部３５、送信部３６の各動作を制御する。

生体情報分析部３４は、受信した運転者の生体情報を分析する。この際、受信した自動運転レベルに基づいて、自動運転に対する生体分析結果（自動運転向け生体分析結果）または手動運転に対する生体分析結果（手動運転向け生体分析結果）を出力する。

より具体的には、生体情報分析部３４は、受信した自動運転レベルに基づいて、生体情報に含まれる第１のパラメータ群から構成される自動運転向け生体分析結果または生体情報に含まれる第２のパラメータ群から構成される手動運転向け生体分析結果のいずれかを出力する。一例として、自動運転向け生体分析結果は、脈拍数、心拍数、体温や血圧などの生体情報の第１のパラメータ群から構成される。一方、手動運転向け生体分析結果は、脈拍数や血圧などの生体情報の第２のパラメータ群から構成される。所定レベル（レベル４）以上の自動運転レベルでは、運転者が車両２１０の運転操作をする必要がないため、手動運転と比較して、出力すべき結果が異なるためである。

また、生体情報分析部３４は、受信した自動運転レベルに基づいて、生体情報から第１の分析手法により算出された自動運転向け生体分析結果または生体情報から第２の分析手法により算出された手動運転向け生体分析結果のいずれかを出力してもよい。ここで生体情報から第１の分析手法により算出された自動運転向け生体分析結果の一例を説明する。生体情報分析部３４は、運転者の日常生活における脈拍数（安静覚醒時脈拍数）と自動運転中の脈拍数（自動運転時脈拍数）から自動運転向け生体分析結果を式１に従って演算することができる。なお、式１において、ＡＢＳ（）は絶対値を算出する。

自動運転向け生体分析結果＝安静覚醒時脈拍数－ＡＢＳ（安静覚醒時脈拍数－自動運転時脈拍数）・・・式１

自動運転向け生体分析結果は、安静覚醒時脈拍数を最大値としており、安静覚醒時脈拍数に近いほどリラックスしていることを示す。

一方、生体情報から第２の分析手法により算出された手動運転向け生体分析結果の一例について説明する。生体情報分析部３４は、例えば、運転中に単位期間（１分）あたりの脈拍数を複数（１０回）測定し、この脈拍の平均値と、脈拍のばらつきを手動運転向け生体分析結果として演算する。脈拍の平均値と、脈拍のばらつきは、運転に対する集中度を示す。

ここでは、生体情報分析部３４は、自動運転向け生体分析結果及び手動運転向け生体分析結果を脈拍数から算出したが、心拍数から同様に算出してもよいし、心拍数、体温や血圧を同様に算出して各算出結果を乗算してもよい。また、生体情報分析部３４は、算出した結果を直接出力するのではなく、特定の閾値を設け、算出した結果からリラックスの度合いや集中度合いなどを判定し、これらを示す指標を出力してもよい。

さらに、生体情報分析部３４は、脈拍など生体情報を用いずに、受信した自動運転レベルに基づいて、車内撮影部１２または車内広域撮影部１３が撮影した映像情報から、第３の分析手法により分析された自動運転向け生体分析結果または第４の分析手法により分析された手動運転向け生体分析結果のいずれかを出力してもよい。

ここで、映像情報から、第３の分析手法により分析された自動運転向け生体分析結果の一例について説明する。生体情報分析部３４は、車内撮影部１２または車内広域撮影部１３が撮影した映像情報から、運転者や乗員が運転席２１３や後部座席２１６に着座している場合に、体軸に対して顔（頭部）の傾きの角度が前後左右のいずれかの方向に所定角度（例：１５度）以上の状態が所定期間以上連続していると判定された場合には警告情報を自動運転向け生体分析結果として出力してもよい。

一方、映像情報から、第４の分析手法により分析された手動運転向け生体分析結果の一例について説明する。生体情報分析部３４は、車内撮影部１２または車内広域撮影部１３が撮影した映像情報から、所定時間内の運転者の瞬きの回数や、あくびの回数を解析し、所定の閾値以上である場合には警告情報を手動運転向け生体分析結果として出力してもよい。

さらに、生体情報分析部３４は、受信した自動運転レベルに基づいて、車内撮影部１２または車内広域撮影部１３が撮影した映像情報及び生体情報から、第５の分析手法により分析された自動運転向け生体分析結果または第６の分析手法により分析された手動運転向け生体分析結果のいずれかを出力してもよい。

ここで、映像情報及び生体情報から、第５の分析手法により分析された自動運転向け生体分析結果の一例を説明する。生体情報分析部３４は、車内撮影部１２または車内広域撮影部１３が撮影した映像情報から運転者が仰向けやうつ伏せの状態で一定期間継続して横たわっていると分析された場合には、安眠状態であるのか失神状態（危険な状態）であるのかを区別するために、日常生活における安眠時の生体情報（脈拍、心拍数、体温、血圧）と自動運転中に運転者が横たわっている時の生体情報（脈拍、心拍数、体温、血圧）の比率を生体情報毎に演算し、これらの比率の少なくとも１つが生体情報毎に設定された所定区間（例：８５％から１１５％）から外れた場合には失神状態にあると判定して、警告情報を自動運転向け生体分析結果として出力してもよい。また、生体情報分析部３４は、車内撮影部１２または車内広域撮影部１３が撮影した映像情報から運転者と乗員が対面している状態（顔と顔が向き合っている）と分析されて、上述した式１で算出した値が所定値よりも低い場合には、運転者が緊張状態にあると判断して、警告情報を自動運転向け生体分析結果として出力してもよい。

一方、映像情報及び生体情報から、第６の分析手法により分析された手動運転向け生体分析結果の一例を説明する。生体情報分析部３４は、車内撮影部１２または車内広域撮影部１３が撮影した映像情報から、所定時間内の運転者の瞬きの回数や、あくびの回数、顔が所定角度以上に上下左右を向いている（よそ見をしている）回数を解析し、所定の閾値以上である場合には、運転中に単位期間（１分）あたりの脈拍数を複数（１０回）測定し、この脈拍の平均値と、脈拍のばらつきが所定の閾値以上のときには、警告情報を手動運転向け生体分析結果として出力してもよい。

運転情報分析部３５は、受信した運転情報を分析し、受信した自動運転レベルに基づいて、自動運転向け運転分析結果または手動運転向け運転分析結果を出力する。ここで、自動運転向け運転分析結果には、受信した運転情報（車両の速度、加速度など）に加えて、燃料やバッテリー残量に基づく走行可能距離、目的地までの到着残り時間、ライトの点灯の有無など自動運転時に注意すべき（チェック項目となる）運転情報が含まれる。所定レベル（レベル４）以上の自動運転レベルでは、車両２１０（自動運転システム）が自己の運転操作をするため、運転情報分析部３５は定期的に自動運転向け運転分析結果を出力する。そして、自動運転の継続を阻害する分析結果が出た場合（例えば、目的地に到着するまでに燃料がなくなる場合）には、事前に車載通信装置１（運転者）にその旨を連絡して、燃料の補給を行うことができる。

また、手動運転向け運転分析結果には、受信した運転情報（車両の速度、加速度など）に加えて、急加速、急減速、ふらつき、車間距離などの安全運転の指標となる運転情報が含まれる。なお、生体情報分析部３４は、この手動運転向け運転分析結果を組み合わせて、運転者の集中度、眠気、疲れ具合などを分析してもよい。

送信部３６は、生体情報分析部３４、運転情報分析部３５、判定部３３、及び受信部３１から出力される各種情報を送信する見守り端末３に送信する。また、記憶部３７は、生体情報分析部３４、運転情報分析部３５、判定部３３、及び受信部３１から出力される各種情報を記憶する。記憶部３７に記憶された各種情報は、生体情報分析部３４、運転情報分析部３５、送信部３６から読み出し可能である。また記憶部３７には、予め運転者の日常生活における脈拍数（安静覚醒時脈拍数）を記憶してもよい。

また、見守り端末３は、例えば、周知のＣＰＵ、ＲＯＭ、ＲＡＭを備えた、例えばコンピュータ装置やスマートフォンなどの携帯端末で構成される。見守り端末３は、図示を省略したが、各種情報を送受信する通信部と、受信した各種情報を表示する表示部と、表示部への表示制御を行う表示制御部とを少なくとも備えて構成されている。

次に、車両見守りシステム２００の動作について説明する。図７は、車載通信装置１の動作手順を示すフローチャートである。図８は、サーバの動作手順を示すフローチャートである。まず、車載通信装置１の動作手順について説明する。図７に示すように、車載通信装置１の判定部１６は、自動運転情報取得部１５が取得した自動運転実施情報に基づき、車両２１０が自動運転中であるか否かを判定する（ステップＳ１）。自動運転中でないと判定された（ステップＳ１；Ｎｏ）場合、処理はステップＳ３に移行される。また、自動運転中であると判定された（ステップＳ１；Ｙｅｓ）場合、判定部１６は、取得した自動運転レベルが所定レベル（レベル４）以上であるか否かを判定する（ステップＳ２）。このレベル４は、高度運転自動化レベルであり、運転者が運転席に着座することなく自動運転を実現するレベルである。

この判定において、自動運転レベルがレベル４以上でない場合（ステップＳ２；Ｎｏ）には、運転者は運転席に着座している必要があるため、判定部１６は、運転席を撮影した車内映像を選択し（ステップＳ３）、車内撮影部１２が撮影した映像情報を出力するようにセレクタ１７を制御する。一方、自動運転レベルがレベル４以上である場合（ステップＳ２；Ｙｅｓ）には、運転者は運転席に着座する必要がないため、判定部１６は、車内全体を広域に撮影した車内広域映像を選択し（ステップＳ４）、車内広域撮影部１３が撮影した映像情報を出力するようにセレクタ１７を制御する。このように、判定部１６は、取得した自動運転レベルに応じて車内の映像情報を切り替えて出力させるため、車内の運転者を適切に撮影することができる。

続いて、圧縮部１８は、車外撮影部１１が撮影した車外映像情報と、セレクタ１７から出力された車内映像情報または車内広域映像情報をそれぞれ送信に適したビットレートに圧縮（ステップＳ５）し、この圧縮映像情報を送信部１９に出力する。そして、送信部１９は、圧縮映像情報と、自動運転情報取得部１５が取得した車両２１０の自動運転実施情報及び自動運転レベルと、生体情報取得部１４が取得した運転者の生体情報と、運転情報取得部２１が取得した車両２１０の運転情報と、車両特定情報取得部２２が取得した車両２１０の車両情報と、位置情報取得部２３が取得した車両２１０位置情報と、をサーバ２に送信する（ステップＳ６）。なお、本実施形態では、通信量を抑制するために、判定部１６は、車内広域映像と車内映像のいずれかを選択して切り替えるものとしたが、車内映像を常に選択し、自動運転実施情報が自動運転中で、かつ自動運転レベルがレベル４以上であれば、車内広域映像を追加して選択するようにしてもよい。

また、ステップＳ６の後、またはステップＳ６と並行して、記憶部２０は、車外撮影部１１、車内撮影部１２、及び車内広域撮影部１３がそれぞれ撮影したすべての映像情報と、自動運転情報取得部１５が取得した車両２１０の自動運転実施情報及び自動運転レベルと、生体情報取得部１４が取得した運転者の生体情報と、運転情報取得部２１が取得した車両２１０の運転情報と、車両特定情報取得部２２が取得した車両２１０の車両情報と、位置情報取得部２３が取得した車両２１０位置情報と、を記憶し（ステップＳ７）、処理を終了する。このステップＳ１～Ｓ７の処理は、所定時間ごとに繰り返し実行される。

次に、サーバ２の動作手順について説明する。図８に示すように、サーバ２の判定部３３は、受信した自動運転実施情報に基づき、該当する車両２１０が自動運転中であるか否かを判定する（ステップＳ２１）。自動運転中でないと判定された（ステップＳ２１；Ｎｏ）場合、処理はステップＳ２３に移行される。また、自動運転中であると判定された（ステップＳ２１；Ｙｅｓ）場合、判定部３３は、取得した自動運転レベルが所定レベル（レベル４）以上であるか否かを判定する（ステップＳ２２）。

この判定において、自動運転レベルがレベル４以上でない場合（ステップＳ２２；Ｎｏ）には、生体情報分析部３４は、受信した運転者の生体情報を分析して運転者の集中度を含む手動運転向け生体分析結果を生成する（ステップＳ２３）。また、運転情報分析部３５は、車両の運転情報を分析して安全運転の指標となる運転情報を含む手動運転向け運転分析結果を生成する（ステップＳ２４）。

一方、自動運転レベルがレベル４以上である場合（ステップＳ２２；Ｙｅｓ）には、生体情報分析部３４は、受信した運転者の生体情報を分析して、運転者のリラックス度を含む自動運転向け生体分析結果を生成する（ステップＳ２５）。また、運転情報分析部３５は、車両の運転情報を分析して自動運転時のチェック項目となる自動運転向け運転分析結果を生成する（ステップＳ２６）。

送信部３６は、受信した圧縮映像データ、自走運転実施情報、自動運転レベル、車両情報、位置情報、生体情報、運転情報に加えて、生成した自動運転向け運転分析結果または手動運転向け運転分析結果、自動運転向け生体分析結果または手動運転向け生体分析結果を見守り端末３に送信する（ステップＳ２７）。また、ステップＳ２７の後、またはステップＳ２７と並行して、記憶部３７は、受信した圧縮映像情報、自走運転実施情報、自動運転レベル、車両情報、位置情報、生体情報、運転情報に加えて、生成した自動運転向け運転分析結果または手動運転向け運転分析結果、自動運転向け生体分析結果または手動運転向け生体分析結果を記憶し（ステップＳ２８）、処理を終了する。このステップＳ２１～Ｓ２８の処理は、所定時間ごとに繰り返し実行される。

次に、見守り端末３の情報表示例について説明する。図９～図１１は、見守り端末の表示部に表示される表示画面例を示す図である。図９に示すように、見守り端末３は、各種の情報を表示する表示部４０を備える。この表示部４０は、例えば、液晶ディスプレイ（ＬＣＤ）等で構成されたモニタ部である。表示部４０は、複数の領域に区画されており、本実施形態では、運転情報表示エリア４１、生体情報表示エリア４２、地図表示エリア４３、映像表示エリア４４、及び優先映像表示エリア４５の５つに区画されて表示されている。優先映像表示エリア４５は、各エリアの中で最も大きく、表示部４０の約半分の大きさに設定されている。運転情報表示エリア４１、生体情報表示エリア４２、地図表示エリア４３及び映像表示エリア４４は、それぞれ等分割されている。各エリアの大きさは、一例であり、適宜変更してもよい。

図９では、自動運転レベルがレベル４未満（手動運転中）の場合の画面表示例を示している。この場合、運転情報表示エリア４１、生体情報表示エリア４２には、それぞれ手動運転向け運転分析結果５１、手動運転向け生体分析結果５２が表示される。また、地図表示エリア４３には、見守り端末３が取得した地図情報５３と、車両２１０の現在の位置情報に基づく自車両アイコン２１０Ａが表示される。また、映像表示エリア４４には、圧縮映像情報に含まれる車内映像情報５４が表示され、優先映像表示エリア４５には、圧縮映像情報に含まれる車外映像情報５５が表示される。

自動運転レベルがレベル４未満では、運転者は、運転席に着座している必要がある。このため、映像表示エリア４４には、上記した車内撮影部１２が撮影した運転席及び運転者を含む車内映像情報５４が表示される。また、生体情報表示エリア４２には、例えば、運転者の集中度を含む手動運転向け生体分析結果５２が表示されるため、画面を通じて、手動運転中の運転者の様子や状態を適切に見守ることができる。なお、車内映像情報５４を優先映像表示エリア４５に切り替えて表示してもよい。

また、自動運転レベルがレベル４以上の場合には、図１０に示すように、自動運転中の画面表示例が表示される。この場合、運転情報表示エリア４１、生体情報表示エリア４２には、それぞれ自動運転向け運転分析結果６１、自動運転向け生体分析結果６２が表示される。また、映像表示エリア４４には、圧縮映像情報に含まれる車外映像情報５５が表示され、優先映像表示エリア４５には、圧縮映像情報に含まれる車内広域映像情報５６が表示される。自動運転レベルがレベル４以上では、運転者は、運転席に着座している必要がないため、優先映像表示エリア４５には、上記した車内広域撮影部１３が車内全体を撮影した車内広域映像情報５６が表示される。また、生体情報表示エリア４２には、例えば、運転者のリラックス度を含む自動運転向け生体分析結果５２が表示されるため、画面を通じて、自動運転中の運転者の様子や状態を適切に見守ることができる。

さらに、自動運転レベルがレベル４以上の場合には、図１１に示すように、車内映像情報５４及び車内広域映像情報５６を含む自動運転中の画面表示例を表示することもできる。この場合、映像表示エリア４４には、車内映像情報５４が表示されるため、運転者が車内のどこにいても映像情報として表示することができ、画面を通じて、自動運転中の運転者の様子や状態を適切に見守ることができる。

次に、本実施形態の変形例について説明する。図１２は、変形例に係る車載通信装置の機能構成を示すブロック図である。上記実施形態と同一の構成については、同一の符号を付して説明を省略する。この変形例では、車載通信装置１Ａは、上記した生体情報分析部３４と、運転情報分析部３５とを備えている点で構成を異にしている。

すなわち、生体情報分析部３４は、車載通信装置１Ａ内で、自動運転向け運転分析結果または手動運転向け運転分析結果を生成し、また、運転情報分析部３５は、自動運転向け生体分析結果または手動運転向け生体分析結果を生成する。このため、上記実施形態のように、サーバ２で分析処理をする必要がなく、装置構成の簡素化を実現できる。なお、図１２では、記憶部２０には、生体情報分析部３４から出力される自動運転向け生体分析結果と手動運転向け生体分析結果との少なくとも一方、及び、運転情報分析部３５から出力される自動運転向け生体分析結果と手動運転向け生体分析結果との少なくとも一方が記憶されるようになっているが、これに限るものではない。具体的には、生体情報取得部１４及び運転情報取得部２１からそれぞれ出力される生体情報や運転情報を合わせて記憶部２０に記憶してもよい。

以上、本実施形態によれば、自動運転レベルを取得する自動運転情報取得部１５と、車両２１０に設置されて車両２１０の運転席２１３を撮影する車内撮影部１２と、車内撮影部１２よりも車両２１０の内部を広域に撮影する車内広域撮影部１３と、自動運転レベルがレベル４以上である場合、車内広域撮影部１３により撮影された車内広域映像情報を送信処理させる判定部１６とを備えるため、自動運転レベルに応じて車内の映像情報を切り替えて送信することができ、車内の運転者の状態を適切に見守ることができる。

また、本実施形態によれば、車内撮影部１２及び車内広域撮影部１３により撮影される車内映像情報及び車内広域映像情報がそれぞれ入力され、これら入力された各映像情報の少なくとも一方を出力するセレクタ１７と、セレクタ１７から出力された映像情報を送信する送信部１９と、を備え、判定部１６は、自動運転レベルがレベル４未満の場合、車内広域撮影部１３により撮影された車内広域映像情報を送信部１９に出力させるようにセレクタ１７を制御し、自動運転レベルがレベル４以上の場合、車内撮影部１２及び車内広域撮影部１３により撮影された車内映像情報と車内広域映像情報映像情報との両方を送信部１９に出力させるようにセレクタ１７を制御するため、取得した自動運転レベルに応じて車内の映像情報を切り替えて出力することができ、車内の運転者を適切に撮影することができる。

また、本実施形態によれば、車両２１０の運転者の生体情報を取得する生体情報取得部１４と、取得した生体情報を分析した手動運転向け生体分析結果及び自動運転向け生体分析結果を出力する生体情報分析部３４と、を備え、判定部１６は、自動運転中の自動運転レベルがレベル４未満の場合、生体情報分析部３４に手動運転向け生体分析結果を出力させ、自動運転中の自動運転レベルがレベル４以上の場合、生体情報分析部３４に自動運転向け生体分析結果を出力させるため、自動運転中の運転者の生体情報を適切に見守ることができる。

また、本実施形態によれば、生体情報分析部３４は、生体情報と、車内撮影部１２または車内広域撮影部１３により撮影された映像情報と、を分析した手動運転向け生体分析結果及び自動運転向け生体分析結果を出力するため、自動運転中の運転者の生体情報を適切に見守ることができる。

以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されるものではない。

１、１Ａ 車載通信装置（映像送信装置）
２ サーバ
３ 見守り端末
１１ 車外撮影部
１２ 車内撮影部（第１撮影部）
１３ 車内広域撮影部（第２撮影部）
１４ 生体情報取得部
１５ 自動運転情報取得部
１６ 判定部
１７ セレクタ
１９ 送信部
２０ 記憶部
３４ 生体情報分析部
３５ 運転情報分析部
５１ 手動運転向け運転分析結果
５２ 手動運転向け生体分析結果（手動運転に対する生体分析結果）
６１ 自動運転向け運転分析結果
６２ 自動運転向け生体分析結果（自動運転に対する生体分析結果）
２００ 運転見守りシステム
２１０ 車両
２１３ 運転席
２１４ 運転者

Claims (6)

1. 自動運転レベルを取得する自動運転情報取得部と、
   車両に設置されて前記車両の運転席を撮影する第１撮影部と、
   前記第１撮影部よりも前記車両の内部を広域に撮影する第２撮影部と、
   前記自動運転レベルがレベル４以上である場合、前記第２撮影部により撮影された映像情報を送信処理させる判定部と、
   を備えることを特徴とする映像送信装置。
2. 前記第１撮影部及び前記第２撮影部により撮影される映像情報がそれぞれ入力され、これら入力された映像情報の少なくとも一方を出力するセレクタと、
   前記セレクタから出力された映像情報を送信する送信部と、を備え、
   前記判定部は、前記自動運転レベルが前記レベル４未満の場合、前記第１撮影部により撮影された映像情報を前記送信部に出力させるように前記セレクタを制御し、前記自動運転レベルが前記レベル４以上の場合、前記第１撮影部及び前記第２撮影部により撮影された両方の映像情報を前記送信部に出力させるように前記セレクタを制御することを特徴とする請求項１に記載の映像送信装置。
3. 前記車両の運転者の生体情報を取得する生体情報取得部と、
   取得した生体情報を分析した手動運転に対する生体分析結果及び自動運転に対する生体分析結果を出力する生体情報分析部と、を備え、
   前記判定部は、前記自動運転中の前記自動運転レベルが前記レベル４未満の場合、前記生体情報分析部に手動運転に対する生体分析結果を出力させ、前記自動運転中の前記自動運転レベルが前記レベル４以上の場合、前記生体情報分析部に自動運転に対する生体分析結果を出力させることを特徴とする請求項１または２に記載の映像送信装置。
4. 前記生体情報分析部は、前記生体情報と、前記第１撮影部または前記第２撮影部により撮影された映像情報と、を分析した手動運転に対する生体分析結果及び自動運転に対する生体分析結果を出力することを特徴とする請求項３に記載の映像送信装置。
5. 自動運転レベルを取得するステップと、
   車両の運転席を撮影する第１の撮影ステップと、
   前記第１の撮影ステップよりも前記車両の内部を広域に撮影する第２の撮影ステップと、
   前記自動運転レベルがレベル４以上である場合、前記第２の撮影ステップにより撮影された映像情報を送信処理させるステップと、
   を備えることを特徴とする映像送信方法。
6. 自動運転レベルを取得するステップと、
   車両の運転席を撮影する第１の撮影ステップと、
   前記第１の撮影ステップよりも前記車両の内部を広域に撮影する第２の撮影ステップと、
   前記自動運転レベルがレベル４以上である場合、前記第２の撮影ステップにより撮影された映像情報を送信処理させるステップと、
   をコンピュータに実行させることを特徴とする映像送信プログラム。

Images