JP6382118B2 - 画像調整方法、サーバ及び動画撮影システム - Google Patents

画像調整方法、サーバ及び動画撮影システム Download PDF

Info

Publication number
JP6382118B2
JP6382118B2 JP2015009065A JP2015009065A JP6382118B2 JP 6382118 B2 JP6382118 B2 JP 6382118B2 JP 2015009065 A JP2015009065 A JP 2015009065A JP 2015009065 A JP2015009065 A JP 2015009065A JP 6382118 B2 JP6382118 B2 JP 6382118B2
Authority
JP
Japan
Prior art keywords
vehicle
shooting
bit rate
information
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015009065A
Other languages
English (en)
Other versions
JP2016134816A (ja
Inventor
昇 木山
昇 木山
辰昭 長船
辰昭 長船
加藤 淳
淳 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2015009065A priority Critical patent/JP6382118B2/ja
Publication of JP2016134816A publication Critical patent/JP2016134816A/ja
Application granted granted Critical
Publication of JP6382118B2 publication Critical patent/JP6382118B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、複数の車載カメラにおける動画撮影時の画像調整方法、サーバ及び動画撮影システムに関する。
近年、自動車の走行履歴(プローブデータ)を活用した様々なテレマティクスサービスが提供されている。その中でも、ドライブレコーダで撮影された動画と、自動車の走行時の各種センサ情報(車速・ブレーキ・位置など)とを組み合わせることで、車両風景を活用したテレマティクスサービスも提供されている。
一方で、テレマティクスセンタと接続する自動車(コネクティッドビークル)の台数が爆発的に増加しているため、プローブデータの保存には非常に大規模なストレージが必要となっている。また、動画データを収集する場合には、通常集めていたプローブデータと比較して非常に大きなデータを扱うため、さらにデータの肥大化が進んでいる。加えて、自動運転を見据えて自動車に搭載される車載カメラの台数は増加傾向にあり、これらのデータ全てをセンタで収集して解析、サービスに活用するビックデータサービスでは、膨大なコストが必要であるという問題点がある。
これらの問題への対策方法として、プローブデータ、特に動画データの圧縮方式が検討されている。具体的には、自動車に搭載されるセンサ情報を活用することで、例えば左ウィンカー点灯時には車両の左側を撮影するカメラのみを高画質(高ビットレート)で撮影し、それ以外のカメラを低画質(低ビットレート)で撮影する技術が提案されている(特許文献1)。これにより、車両に搭載する全てのカメラを使って動画を撮影する場合に、アプリケーションにとって必要なデータを削ることなく、全体的な動画サイズの圧縮を行うことができる。
特開2012−19450号公報
従来技術においては、車載カメラにおける動画データの圧縮率が実際の運転シーンに強く依存する。すなわち、車載カメラにおける動画撮影時の映像ビットレートの上限値が存在しないため、例えば端末のメモリ空き容量やストレージ空き容量、通信速度に応じて車載カメラで撮影可能な動画の映像ビットレートには上限があるにもかかわらず、右左折が多い場合には動画を圧縮できないという問題が発生する。
また、従来技術では、高画質で動画を撮影する方向は、例えばウィンカーや車速など、車両センサを用いて判断可能な情報や、対象物との車間距離など、車載カメラを用いて算出可能な情報を用いて車両単体が自律的に決定している。しかし、例えば100メートル先の事故発生現場など、車両単体で検知できない道路環境の変化に応じて、高画質で撮影したい方向の要件を変更することができない。
本発明は、車両単体で検知できない道路環境の変化に応じて、高画質で撮影したい方向の要件を変更可能な技術を提供することを目的とする。
本発明の代表的な一例は次の通りである。すなわち、本発明に係る画像調整方法は、車両制御装置により、
サーバから複数の車載カメラにおける撮影画像データ量の上限値及び撮影位置を示す情報を受信する処理と、
受信した前記上限値及び前記撮影位置を示す情報を記憶部に格納する処理と、
当該車両、前記撮影位置との位置関係及び前記上限値に基づき、前記複数の車載カメラそれぞれにおける撮影画像の画質を調整する処理と、
を実施する。
本発明によれば、車両が単体で検知できない道路環境の変化に応じて、高画質で撮影したい方向の要件を変更することができる。
本発明の実施例1における、複数車載カメラを用いた動画撮影システムの構成例を示す図である。 本発明の実施例1における、車両200に搭載される車載カメラ260〜263の設置状況及び各カメラの撮影可能範囲を説明するための図である。 本発明の実施例1における、テレマティクスセンタ100の撮影地点DB121、プローブDB122及び地図DB123のテーブルの構成例を示す図である。 本発明の実施例1における、テレマティクスセンタ100と複数の車両200を含む動画撮影システムの動作を説明するための図である。 本発明の実施例1における、テレマティクスセンタ100の動画撮影条件決定部111の処理(S511)及びプローブ受信処理部113の処理(S513)の詳細を示す図である。 本発明の実施例1における、車両200のビットレート決定処理部213の処理(S504)の詳細を示す図である。 本発明の実施例1における、テレマティクスセンタ100の入出力装置130に表示される画面の一例を示す図である。 本発明の実施例2における、テレマティクスセンタ100の動画撮影条件決定部111の処理(S511)及びプローブ受信処理部113の処理(S513)の詳細を示す図である。 本発明の実施例2における、車両200のビットレート決定処理部213の処理の詳細を示す図である。 本発明の実施例2における、テレマティクスセンタ100の入出力装置130に表示される画面の一例を示す図である。 本発明の実施例3における、複数車載カメラを用いた動画撮影システムの全体構成例を示す図である。 本発明の実施例3における、テレマティクスセンタ100と複数の車両200を含む動画撮影システムの動作を説明するための図である。 本発明の実施例3における、テレマティクスセンタ100のビットレート決定処理部114による処理の詳細を示す図である。 本発明の実施例3における、車両遠隔操作装置300の形態の一例を示す図である。
以下では、図1〜図14を参照しながら、本発明の実施例を説明する。
図1は、本発明の実施例1における、複数車載カメラを用いた動画撮影システムの構成例を示す図である。
図1に示すように、複数車載カメラを用いた動画撮影システムは、車両200に動画撮影条件を指示し、車両200から動画データを収集するテレマティクスセンタ100と、運転中のプローブデータを送信する車両200と、テレマティクスセンタ100と車両200との間で通信を可能とするネットワーク10から構成される。ネットワーク10は、例えば携帯電話網、インターネット網、無線LAN(Local Area Network)等の近距離無線通信、あるいはそれら複数の組み合わせで構成されたものなどが挙げられる。なお、本文中におけるプローブデータとは、車両を構成する各種センサ群から取得可能なデータのことであり、例えば車両位置、その車両位置を取得した時刻、車速、加速度、ブレーキ開度、車両センサ値、車載カメラで撮影した画像及び動画などの各種データが含まれる。
テレマティクスセンタ100は、中央演算処理装置110と、記憶装置120と、入出力装置130と、通信部140を具備する。
中央演算処理装置110は、例えばCPU(Central Processing Unit)やRAM(Random Access Memory)などから構成され、所定の動作プログラムを実行することで、テレマティクスセンタ100の機能を実現する処理を行う。また中央演算処理装置110には、機能として、収集したプローブデータを基に、各車両の位置等に応じた動画撮影の条件を算出する動画撮影条件決定部111と、算出した動画撮影条件を走行中の車両に対して配信する動画撮影条件配信部112と、車両200からプローブデータを受信し蓄積するプローブ受信処理部113が含まれる。
記憶装置120は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、フラッシュメモリ、ROM(Read Only Memory)などから構成され、中央演算処理装置110が実行するプログラム、及びプログラム実行に必要なデータ群などが格納される。また記憶装置120には、動画撮影条件決定部111で算出した動画撮影条件を蓄積する撮影地点データベース(以下、「データベース」は「DB」と記す)121、車両から送信されるプローブデータを蓄積するプローブDB122、道路情報を含む地図データを蓄積する地図DB123、対象車両の車種情報などを蓄積する車両DB124、対象車両に乗車中のユーザに関する情報を記憶するユーザDB125などが格納される。
通信部140は、有線LANや無線LANなどの有線通信あるいは無線通信あるいはその両方に必要な通信規格に準拠するネットワークカードなどから構成され、車両200と各種プロトコルに基づきデータを送受信する。車両200から受信したデータはプローブ受信処理部113へ渡される。
なお、テレマティクスセンタ100には、例えば通信部140に装着されているネットワークカードに依存して、データ受信における通信ビットレートの上限があり、この上限通信ビットレート値は、テレマティクスセンタ100が既知であるものとする。
車両200は、中央演算処理装置210と、記憶装置220と、タッチパネルやキーボード、マウスなどの組み合わせからなる入出力装置230と、自動車の進行方向の方位角(アジマス)を測定する方向測定装置240と、GPS(Grobal Positioning System)や無線LANを用いた位置測位装置250と、車外風景を撮影するための複数の車載カメラ装置260〜263と、車両の制御を実現する複数のECU(Electronic Control Unit)270、271と、通信部280を具備する。車両200は、例えば位置測位装置250を利用することで現在時刻を知ることができる。
中央演算処理装置210は、例えばCPUやRAMなどから構成され、所定の動作プログラムを実行することで、車両200の機能を実現する処理を行う。また中央演算処理装置210は、機能として、ECU270、271から取得可能な車両センサ値を取得し蓄積する車両状態確認部211と、設定された映像ビットレートに基づき動画を撮影し蓄積する車載カメラ動画撮影部212と、テレマティクスセンタ100から配信される動画撮影条件に基づき、各車載カメラの映像ビットレートを決定するビットレート決定処理部213と、蓄積した位置、方位角、車両センサ値、動画をプローブデータとしてテレマティクスセンタ100に送信するプローブデータ送信部214と、現在時刻における車両200の位置、進行方向方位角、車載カメラ260〜263を用いて周囲の交通標識看板を認識する看板認識部215などが含まれる。
記憶装置220は、例えば、HDD、SSD、フラッシュメモリ、ROMなどから構成され、中央演算処理装置210が実行するプログラム、及びプログラム実行に必要なデータ群などが格納される。また記憶装置220には、テレマティクスセンタ100に送信するプローブデータを一時的に蓄積するプローブDB221と、道路情報を含む地図データを記憶する地図DB222が格納される。
通信部280は、有線LAN(Local Area Network)や無線LANなどの有線通信あるいは無線通信あるいはその両方に必要な通信規格に準拠するネットワークカードなどから構成され、テレマティクスセンタ100と各種プロトコルに基づきデータを送受信する。テレマティクスセンタ100から送信されるデータは、ビットレート決定処理部213へ渡される。
図2は、本発明の実施例1における、車両200に搭載される車載カメラ260〜263の設置状況及び各カメラの撮影可能範囲を説明するための図である。
図2において、車両200には、前後左右に車載カメラ260〜263が装着されている。各車載カメラ260〜263はそれぞれ90°ずつ撮影方向が異なるように設置されている。
車両200は、東方向を基準として進行方向を+180°〜−180°の範囲で表現することが可能であり、図2に示す例では車両200は+αの方向に車両が向いていることを表している。
各車載カメラ260〜263は、それぞれが撮影する正面方向の軸(撮影中心軸)があり、例えば車載カメラ261の場合には、中心軸が90°+αの方向にあると表現することができる。また、各車載カメラ260〜263には撮影範囲角として2θがあるもと定義する。したがって、カメラ261が撮影可能な範囲は、東を基準とした場合には、90°+α−θから90°+α+θと表現することができる。車載カメラ261と同様に、他の車載カメラ260、262、263も同様に東を基準とした撮影中心軸と撮影可能な範囲を持つ。
図3は、本発明の実施例1における、テレマティクスセンタ100の撮影地点DB121、プローブDB122及び地図DB123のテーブルの構成例を示す図である。
撮影地点DB121は、2つのテーブルから構成される。撮影地点DB121の第1のテーブルは、動画撮影条件を表すものとして、撮影対象となる地点を一意に特定するための識別子である地点ID400と、撮影地点の位置情報を表す撮影位置402と、その撮影位置402において異常な走行挙動などを行い、動画撮影を開始すべきと判断した車両の台数を表す検出車両数403と、その撮影位置402の動画撮影を開始すべき撮影位置402と車両位置との距離を示す撮影開始距離404と、その撮影位置402における撮影地点の撮影優先度を示す撮影優先度405と、その撮影位置402に到達した時に撮影地点が存在する方角を示す撮影方角406から構成される。なお、撮影開始距離404は実施例1及び後述の実施例2において利用される項目であり、撮影優先度405及び撮影方角406は、後述の実施例2において利用される項目である。したがって、実施例1では撮影優先度405および撮影方角406が空欄(Null値)であっても良い。
撮影地点DB121の第2のテーブルは、撮影地点を検出した際の情報を表すものとして、車両200がいつその撮影地点を検出したかを示す検出日時411と、検出した車両を一意に特定するための識別子である検出車両412と、この撮影地点を検出した車両200の位置を表す検出位置413と、車両200の進行方向に対するこの撮影地点の方向を示す検出方向414と、その撮影地点を撮影した動画から、目的の画像(本実施例では看板画像)のみを切り取った画像ファイルを示す看板画像415と、看板画像を画像認識し、どの種別の看板であるかを特定できているか否かを表す検出結果416と、これらの検出情報を一意に特定するための識別子である検出ID400とから構成される。なお、検出方向414、看板画像415及び検出結果416は、後述の実施例2において利用される項目である。したがって、実施例1では、検出方向414、看板画像415及び検出結果416は空欄(Null値)であっても良い。
また、プローブDB122のテーブルは、車両200から送信されるプローブデータの一部を表すものとして、車両200を一意に特定するための識別子である車両ID420と、その車両200がある時刻にある地点を通過したことを示す通過地点421と、通過時刻422と、その地点を通過時の速度を示す車速423と、その地点を通過時の操舵角を示す舵角424とから構成される。
また、地図DB123のテーブルは、看板に関する情報を表すものとして、看板を一意に特定するための識別子である看板ID430と、その看板の設置箇所を示す設置位置431と、以前送信されたプローブデータに含まれる動画から、看板の画像のみを切り取った画像ファイルを示す看板画像433と、画像認識の結果、その看板がどの様な種別であったかを示す看板種別434と、その看板に記載されている情報を示す看板記載内容435とから構成される。
図4は、本発明の実施例1における、テレマティクスセンタ100と複数の車両200を含む動画撮影システムの動作を説明するための図である。なお、テレマティクスセンタ100では、中央演算処理装置110が動画撮影条件決定部111、動画撮影条件配信部112及びプローブ受信処理部113を実行し、車両200では、中央演算処理装置210が車両状態確認部211、車載カメラ動画撮影部212、ビットレート決定処理部213及びプローブデータ送信部214を実行する。 先ず車両200の車両状態確認部211は、ドライバーが車両200の運転を開始したか否かを確認する(S500)。車両状態確認部211が運転開始を検知する方法としては、例えばECU270、271を介してイグニッションがONになったことを表すセンサ値変化を検出したことを運転開始と判断する方法や入出力装置230に「運転開始」を指示するボタンを設置し、ドライバーがそのボタンを押下したことを検出し、これを運転開始と判断する方法が考えられる。また、例えば位置測位装置250を用いて、車両200の現在位置が急激に変化したことなど、他の車両センサ値の変化を運転開始の判断基準として用いても良い。
車両状態確認部211が運転開始を検出できなかった場合(S500でNo)には、再度運転開始を確認するためS500を実行する。なお、上記の通り「運転開始」指示ボタン押下の検出を運転開始と見立てる場合は、S500はイベントドリブンな処理であってもよく、センサ値の変化を運転開始と見立てる場合は、S500はループ処理であれば良い。
車両状態確認部211が運転開始を検出した場合(S500でYes)には、車載カメラ動画撮影部212は全車載カメラ260〜263による動画撮影と、ECU270、271によるセンサ値取得と、撮影動画データ及び取得したセンサ値の記憶を開始し、撮影を開始したことをテレマティクスセンタ100に通知する(S501)。撮影開始時の、全車載カメラ260〜263における動画撮影時の映像ビットレートは固定値であり、その値としては車載カメラ260〜263それぞれの最大映像ビットレートの合計値や固定値1Mbps、0Mbpsなどが考えられる。0Mbpsでの撮影とは、各車載カメラ260〜263で撮影し、取得した動画データを全く記憶せず、その動画データの記憶容量を増やさないことを意味する。すなわち、0Mbpsでの撮影中は動画ファイル生成を中断し、0より大きい値での映像ビットレートを再度指定された際に動画ファイル生成を再開する。
テレマティクスセンタ100のプローブ受信処理部113は、車両200から撮影開始通知を受信し、その車両200が運転中であることを示す情報を車両DB124に格納する(S510)。
次にテレマティクスセンタ100の動画撮影条件決定部111は、S513で受信し蓄積されたプローブ情報を用いて、動画撮影地点の撮影位置402や撮影開始距離404を算出し、これらの情報と車両1台あたりの車載カメラにおける動画撮影時の映像ビットレートの上限値(以下、「上限ビットレート」と記す)の情報を含む動画撮影条件情報を生成する(S511)。なお、上限ビットレートは、固定値であっても、テレマティクスセンタ100の中央演算処理装置210の性能に応じた値であっても良い。また、上限ビットレートは、最新の車両200の位置情報や車種に基づく制約を加えても良い。S511の詳細処理については、図5を用いて後述する。
次にテレマティクスセンタ100の動画撮影条件配信部112は、車両DB124を利用して走行中の車両を特定し、走行中の全車両に対してS511で生成した動画撮影条件情報を配信する(S512)。
車両200のビットレート決定処理部213は、テレマティクスセンタ100から動画撮影条件情報を受信し、記憶装置220やメモリに格納する(S502)。
車両200の車両状態確認部211は、動画撮影条件を変更するべく、車両センサ値を取得し、取得した車両センサ値から車両200の現在位置を含む車両状態を確認する(S503)。
次にビットレート決定処理部213は、S503で取得した車両センサ値と、S502で受信した動画撮影条件情報に含まれる撮影地点の情報を用いて、各車載カメラ260〜263における映像ビットレートを決定する(S504)。S504の詳細処理については、図6を用いて後述する。
次に車両200のプローブデータ送信部214は、運転開始から蓄積し、テレマティクスセンタ100に未送信の、動画データや車両センサ値を含むプローブデータを、テレマティクスセンタ100に送信する(S505)。
テレマティクスセンタ100のプローブ受信処理部113は、車両200からプローブデータを受信し、受信したプローブデータから撮影地点を検出するとともに、プローブデータをプローブDB122に、撮影地点の検出結果を撮影地点DB121に格納する(S513)。S513の詳細処理については、図5を用いて後述する。次に動画撮影条件決定部111は、S513の処理を行った後、再度S511の処理を行い、最新のプローブデータを用いて動画撮影条件情報を生成する。
車両200の車両状態確認部211は、プローブ情報を送信した後、運転が終了しているか否かを確認する(S506)。運転が終了していない場合(S506でNo)、車両状態確認部211は、再度S502の処理を実行する。運転が終了している場合(S506でYes)は、車両200の車載カメラ動画撮影部212は、全車載カメラでの動作撮影を終了し、撮影を終了したことをテレマティクスセンタ100に通知し(S507)、処理を終了する。
テレマティクスセンタ100のプローブ受信処理部113は、車両200から撮影終了通知を受信し、当該車両200が運転中ではないことを車両DB124に記憶し(S514)、当該車両200に対する処理を終了する。
図5は、本発明の実施例1における、テレマティクスセンタ100の動画撮影条件決定部111の処理(S511)及びプローブ受信処理部113の処理(S513)の詳細を示す図である。
先ずプローブ受信処理部113の処理(S513)を説明する。プローブ受信処理部113は、複数の車両200のプローブデータを受信し、受信したプローブデータをプローブDB122に格納する。次にプローブ受信処理部113は、そのプローブデータに含まれる通過時刻422のうち、最も過去である時刻を基準として、プローブデータをX秒間隔に分割する(S600)。次にプローブ受信処理部113は、最も過去である時刻を基準として最初のX秒間分のプローブデータを取得する(S601)。次にプローブ受信処理部113は、取得したプローブデータに含まれる舵角424の時系列変化に対して、それらの分散値を算出し(S602)、算出した舵角の分散値が一定値σ以上か否かを確認する(S603)。舵角の分散値を確認する目的は、車両200が異常な運転挙動(障害物の回避行動)を行い、直進道路走行やカーブ走行では起こり得ないハンドル操作が発生したことを検知するためである。
算出した分散値が一定値σ以上となる場合(S603でYes)には、プローブ受信処理部113は、X秒間のプローブデータに含まれる通過地点421の重心を求め、この値を車両200による撮影地点の検出位置413として決定する。また、プローブ受信処理部113は、撮影地点を検出した車両200を一意に識別する識別子を検出車両412とし、上記X秒間のプローブデータに含まれる通過時刻422の平均を検出日時411として算出する。次にプローブ受信処理部113は、撮影地点を検出した際の検出情報(検出日時411、検出車両412、検出位置413)と、これら検出情報を一意に識別する検出ID410とを撮影地点DB121に登録する(S604)。
算出した分散が一定値σ以下である場合(S603でNo)には、プローブ受信処理部113は、撮影地点を検出した際の検出情報の登録処理(S604)を行わず、S605の処理を実行する。
S603でNOの場合、あるいはS604の処理実行後、プローブ受信処理部113は、次のX秒間分のプローブデータが存在するかを確認する(S605)。次のX秒間分のプローブデータが存在する場合(S605でYes)には、プローブ受信処理部113は、再度S601の処理を実行する。プローブ受信処理部113は、2回目以降のS601の処理を実行する場合、最も過去である時刻ではなく、前回取得したX秒間分のプローブデータを基準として次のX秒間分のデータを取得する。
次のX秒間分のプローブデータが存在しない場合(S605でNO)、プローブ受信処理部113は、撮影地点を検出した際の検出情報の登録処理が終了したものと判断し、S513の処理を終了する。
次に動画撮影条件決定部111の処理(S511)を説明する。動画撮影条件決定部111は、S513で受信した最新のプローブデータを用いて動画撮影条件情報を生成するために、先ず既存の動画撮影条件情報400〜406を全て削除する(S606)。
次に動画撮影条件決定部111は、撮影地点を検出した際の過去の検出情報を考慮して車両200に配信する撮影地点を決定するために、撮影地点DB121を参照し、検出日時411が現在時刻からN時間以内である検出位置413が有るか否かを確認する(S607)。検出位置413が無い場合(S607でNo)、動画撮影条件決定部111は、動画撮影条件情報を生成することなくS511の処理を終了する。
検出位置413が有る取場合(S607でYes)、動画撮影条件決定部111は、検出位置413の集約処理を行う。なお、検出位置413が1つしかない場合には、検出位置413の集約処理は不要である。検出位置413の集約処理の具体的な処理は次の通りである。先ず動画撮影条件決定部111は、S607において、検出日時411が現在時刻からN時間以内の検出位置413は、車両200の異常行動の原因となった位置となるが、位置測位装置250の誤差により、わずかな位置のずれが発生している可能性がある。そこで、本実施例では、S604で検出したある撮影地点の1つを中心として、半径Sメートルの同一円内にある複数の撮影地点については、それらの撮影地点は同一の地点を表しているものと判断し、それらの撮影地点を1つに集約し、その点(本実施例では、重心)を車両200に配信する撮影地点とする(S608)。なお、複数の撮影地点を1つに集約する方法としては、同一円内による特定方法でなくてもよい。その他の例としては、群平均法やウォード法などのクラスタリング法を用いることが考えられる。この場合、集約する各々のクラスタ間の距離が一定距離を超えないよう、クラスタリングすることになる。
そして、1つに集約された複数の撮影地点のそれぞれに対応付いた検出ID410の数を算出し、この値を検出車両数403とし、この検出車両数403を用いて、各撮影地点に対する車両200の撮影開始距離404を算出する(S609)。本実施例では、各撮影地点に対して、その検出車両数403の比に応じて撮影開始距離404を割り当てる。具体的な例としては、検出車両数403が600台の撮影地点Aと、検出車両数403が400台の撮影地点Bに対して、地点Aには60メートル、地点Bには40mの撮影開始距離404を設定するなど、検出車両台数403に比例した値を設定する方法が考えられる。なお、撮影開始距離の設定においては、検出車両台数に反比例した値でも良い。同様に、検出車両台数そのものの逆比ではなく、検出車両台数Mを入力として値を出力する任意の関数e(M)によって算出された値の逆比を基準としても良い。
S609の処理によって各撮影地点に対する車両200撮影開始距離404が割り当てられた後、その撮影地点を特定する一意な地点ID400、S608で求めた撮影地点の撮影位置402、S609で算出した検出車両数403及び検出車両数403に応じた撮影開始距離404を、最新の動画撮影条件として撮影地点DB121に格納し(S610)、S511の処理を終了する。
図6は、本発明の実施例1における、車両200のビットレート決定処理部213の処理(S504)の詳細を示す図である。
ビットレート決定処理部213は、S502でテレマティクスセンタ100から受信した動画撮影条件情報に含まれる撮影地点の情報と、S503において確認した車両の現在位置の情報を用いて、各撮影地点の、車両200の現在地からの距離と車両200の現在進行方向に対する方角を計算する(S700)。
次にビットレート決定処理部213は、各撮影地点と車両200との距離が撮影開始距離404より短い撮影地点が有るかを確認する(S701)。
各撮影地点と車両200との距離が撮影開始距離404より短い撮影地点が1つも無い場合(S701でNo)、ビットレート決定処理部213は、S502で受信した上限ビットレートを、4つの車載カメラ260〜263のそれぞれに対して均等に割り当てる(S702)。
各撮影地点と車両200との距離が撮影開始距離404より短い撮影地点がある場合(S701でYes)、ビットレート決定処理部213は、その撮影地点が2つ以上有るかを確認する(ステップ703)。
そのような撮影地点が1つしかない場合(S703でNo)、ビットレート決定処理部213は、その撮影地点の車両200の現在進行方向に対する方角を確認し、その方角に中心軸が近いカメラを2つ特定する(S704)。次にビットレート決定処理部213は、撮影地点の車両200の現在進行方向に対する方角と特定した2つの車載カメラの中心軸がなす角度を算出し、その角度の逆比に基づいてそれぞれの車載カメラに対して上限ビットレートを割り当てる(S705)。例えば、車両200に対して100Mbpsが割り当てられ、2つの車載カメラ260、261がそれぞれ撮影地点の方角に対して30°、45°の位置に中心軸があるとき、その逆比は1/30:1/45=3:2であることから、より撮影地点の方角に中心軸が近い車載カメラ260に対して高いビットレートが割り当てられる。
各撮影地点と車両200との距離が撮影開始距離404より短い撮影地点が2つ以上存在する場合(S703でYes)、ビットレート決定処理部213は、まず各撮影地点と現在地との距離の逆比に基づいて上限ビットレートを割り当てる(S706)。これにより、より近い点には高いビットレートを割り当てることができる。次にビットレート決定処理部213は、ビットレートが割り当てられた各対象地点について、その地点の方角に中心軸が近い車載カメラを2つ特定する(S707)。次にビットレート決定処理部213は、撮影地点の方角と特定した2つの車載カメラの中心軸がなす角度を算出し、その角度の逆比に基づいてそれぞれの車載カメラにその撮影地点に割り当てられたビットレートをさらに割り当てる(S708)。そして、ビットレート決定処理部213は、撮影地点毎に各々2つの車載カメラへビットレートを割り当てた後、車載カメラ毎に割り当てられたビットレートを合計し、そのカメラの現在地における動画撮影のビットレートとして決定する(S709)。
図7は、本発明の実施例1における、テレマティクスセンタ100の入出力装置130に表示される画面の一例を示す図である。
図7において、テレマティクスセンタ100の入出力装置130には、撮影地点を地図と共に表示する画面800と、新しく撮影地点を手動で追加する場合の追加を行うためのボタン801と、現在時刻における撮影地点の位置を示す画像802と、画像803と、当該撮影地点において車両200が動画撮影を開始する領域を表す804と、当該撮影地点に関する情報を表示する領域805と、当該撮影地点付近にて異常運転挙動を行った車両台数を表示する領域806と、当該撮影地点付近にて撮影した動画の日時一覧を表示する領域807と、領域807で表示されている日時において撮影した動画のビットレートを表示する領域808が表示される。
領域805は、画像802や画像803で表される複数の撮影地点のうち、テレマティクスセンタ100の管理者が入出力装置130を用いて選択した場合に表示される。なお、選択の有無に関わらず、全ての撮影地点の詳細情報を表示しても良い。
テレマティクスセンタ100の管理者は、例えばボタン801や入出力装置130を用いることで、画面800に表れる任意の地図上の地点に対して、撮影地点を手動で設定することができる。手動で設定された撮影地点は、撮影地点DB121に登録される。また、撮影開始距離404を入力する方法として、手動で設定した撮影地点を中心とする円の半径を調整する機能があっても良い。
図8〜図10は、本発明の実施例2における、複数車載カメラを用いた動画撮影システムの処理フローを示す図である。なお、システム構成例は実施例1の図1に示すものと、車両200とテレマティクスセンタ100とのデータ送受信のフローは図4に示すものと同様である。
図8は、本発明の実施例2における、テレマティクスセンタ100の動画撮影条件決定部111の処理(S511)及びプローブ受信処理部113の処理(S513)の詳細を示す図である。
図8に示すように、プローブ受信処理部113は、S513で随時取得する複数の車両200のプローブデータに対して、送信された動画データを確認し、動画中に含まれる看板情報を検出し、さらに看板情報を検出した時刻における通過地点421も特定する(S900)。次にプローブ受信処理部113は、看板情報を検出できたかを確認する(S901)。看板情報を検出することができない場合(S901でNo)には、今回のS513の処理における処理では、検出情報を生成することなく処理を終了する。
S900において看板情報を検出できた場合(S901でYes)、プローブ受信処理部113は、看板を検出した通過地点421の位置情報を基準に、地図DB123を用いて、既に地図DB123に登録されている、看板の設置位置431と車両200との距離がRメートル以下である看板ID430を取得する(S902)。次にプローブ受信処理部113は、S900で検出した看板情報全てについて、その看板画像を認識し、地図DB121の看板画像433と照合し、該当看板情報(看板ID430、看板画像433、看板種別434、看板記載内容435)の有無を確認する(S903)。
既に地図DB123に登録されている看板情報とは全く一致しない、あるいは正確に一致するかが判断できない場合には(S903でYes)は、プローブ受信処理部113は、新設された看板であり、重点的に撮影したい被撮影対象物であること、検出した車両の車両ID420を検出車両412として、看板情報を検出した車両200の位置情報である通過地点421を検出位置413として、車両200が看板情報を検出した時刻である通過時刻422を検出日時411として、検出した看板情報を撮影した車載カメラの軸と車両の進行方向の情報を用いてその通過地点421を基準に看板を検出した方向を算出し、それを検出方向414として、検出した看板の画像データを検出画像415として、S902にて未登録の看板画像があると判断したか、あるいは正確に一致するかが判断できなかったかの結果を検出結果416として、検出結果を一意に示す検出ID410と対応付けて撮影地点DB121に登録する(S904)。
検出した看板情報が地図DB121に登録された看板情報と一致した場合(S903でNo)には、プローブ受信処理部113は、今回のS513の処理における処理では、検出情報を生成することなく処理を終了する。
実施例1と同様に、図8において、先ず動画撮影条件決定部111は、撮影地点DB121に登録されている既存の動作撮影条件情報400〜406を全て削除する(S905)。
次に動画撮影条件決定部111は、撮影地点を検出した際の過去の検出情報を考慮して車両200に配信する撮影地点を決定するために、撮影地点DB121を参照し、検出日時411が現在時刻からN時間以内である検出位置413が有るか否かを確認する(S906)。検出位置413が無い場合(S906でNo)、動画撮影条件決定部111は、動画撮影条件情報を生成することなくS511の処理を終了する。
検出位置413が有る場合(S906でYes)、動画撮影条件決定部111は、検出位置413の集約処理を行う。なお、検出位置413が1つしかない場合には、検出位置413の集約処理は不要である。検出位置413の集約処理の具体的な処理は次の通りである。
S906において取り出した検出日時411が現在時刻からN時間以内の検出位置413は、看板が存在する地点としては一致するものの、位置測位装置250の誤差により、わずかな位置のずれが発生している可能性がある。動画撮影条件決定部111は、それらの地点を1つの地点として集約するため、取得したある撮影地点の1つを中心として、半径Sメートルの同一円内に存在する複数の撮影地点について、それらの撮影地点は同一の地点を表しているものと判断し、それらの撮影地点の重心と撮影方向の平均値を車両に配信する撮影地点とする(S907)。なお、複数の撮影地点を集約する方法としては、同一円内による特定方法でなくてもよい。その他の例としては、群平均法やウォード法などのクラスタリング法を用いることが考えられる。この場合、集約する各々のクラスタ間の距離が一定距離を超えないよう、クラスタリングすることになる。
次に動画撮影条件決定部111は、過去と現在のデータを集約した複数の撮影地点及び撮影方向について、これに対応付いた検出ID410の数を算出し、この算出数を検出車両数403とし、この検出車両数403を用いて、各撮影地点に対する車両200の撮影開始距離404を算出する。さらに動画撮影条件決定部111は、その撮影地点における撮影対象について、検出ID410に対応付いた検出画像415を画像認識することで最も可能性の高い看板種別を特定し、その地点における撮影優先度405を決定する(S908)。撮影優先度405は、その撮影地点の優先度が高い程、高画質で動画撮影を行いたいことを示す指標であり、優先度が高い程、後述するS1008において対象となる撮影地点の動画撮影時の映像ビットレートが向上する。この優先度は、例えば看板種別に応じて一意に決定されるものであっても良い。また、看板検出履歴に登録された時刻が、テレマティクスセンタ100で測定する現在時刻に近いほど、優先度を上げても良い。
複数の撮影地点と撮影方向に撮影開始距離404と撮影優先度405が割り当てられた後、動画撮影条件決定部111は、その撮影地点を特定する一意な地点ID400と、重心の位置を示す撮影位置402と、集約した地点の数、すなわち異常走行を行った車両数を示す検出車両数403と、検出車両数403に応じた撮影開始距離404と、決定した撮影優先度405と、算出した撮影方向の平均である撮影方角406とを再新の動画撮影条件情報として動画撮影条件DB121に格納する(S909)
図9は、本発明の実施例2における、車両200のビットレート決定処理部213の処理の詳細を示す図である。
ビットレート決定処理部213は、S502でテレマティクスセンタ100から受信した動画撮影条件に含まれる撮影地点情報と、S503において確認した車両の現在位置の情報を用いて、車両200から全ての撮影地点に対して距離と、到達時の自動車の向きを計算する(S1000)。本実施例においては、撮影地点には撮影方向に関する情報が含まれていることを想定している。そのため、S700の様に現在地から撮影地点を見た方角を測定し、その方角に基づいて車載カメラにビットレートを割り当てるのではなく、対象となる撮影地点を通過する際の進行方向の情報を基準に、撮影方向を撮影可能な車載カメラを特定し、ビットレートを割り当てる処理を行う。したがって、S1000では、到着時の自動車の向きを計算している。
次にビットレート決定処理部213は、各撮影地点と車両200との距離が撮影開始距離404より短い撮影地点が有るかを確認する(S1001)。
各撮影地点と車両との距離が撮影開始距離404より短い地点が1つも無い場合(S1001でNo)、ビットレート決定処理部213は、上限ビットレートを車両進行方向及び左右方向を撮影可能な車載カメラに割り当てる(S1002)。なお、ビットレートの割り当て方法としては、等配分でも良いし、例えば進行方向の車載カメラに50%、左右方向の車載カメラに25%ずつなど、傾斜をかけても良い。
各撮影地点と車両200との距離が撮影開始距離404より短い撮影地点が有る場合(S1001でYes)、ビットレート決定処理部213は、その撮影地点が2つ以上有るかを確認する(S1003)。
そのような地点が1つしかない場合(S1003でNo)には、ビットレート決定処理部213は、その1地点を基準として、4つの車載カメラ260〜263に対して、上限ビットレートを割り当てる。具体的には、先ずビットレート決定処理部213は、S1000で算出した、撮影地点における、撮影方向を確認し、その方角に中心軸が近い車載カメラを2つ特定する(S1004)。次にビットレート決定処理部213は、撮影地点における撮影方向と特定した2つの車載カメラの中心軸がなす角度を算出し、その角度の逆比に基づいてそれぞれの車載カメラに上限ビットレートを割り当てる(S1005)。
各撮影地点と車両との距離が撮影開始距離Dより短い地点が2つ以上有る場合(S1003でYes)、ビットレート決定処理部213は、先ず各撮影地点において、上限ビットレートを均等に配分した後、車両200がその地点に到達した時にその撮影方向を撮影可能な車載カメラで、中心軸が近い車載カメラを2つ特定する(S1006)。次にビットレート決定処理部213は、撮影地点の方角と特定した2つの車載カメラの中心軸がなす角度を算出し、その角度の逆比に基づいてそれぞれの車載カメラにその撮影地点に割り当てられたビットレートをさらに割り当てる(S1007)。次にビットレート決定処理部213は、撮影地点毎に各々2つの車載カメラへビットレートを割り当てた後、車載カメラ毎に割り当てられたビットレートを合計し、その車載カメラの現在地における動画撮影時のビットレートとして決定する(S1008)。ビットレートの割当では、各地点の撮影優先度405を考慮しても良い。すなわち、例えば優先度1の地点Aと優先度3の地点Bが撮影対象地点として候補に挙がっている場合、車両100に割り当てられたビットレート100Mbpsを、その優先度の逆比で配分することで、地点Aに75Mbps、地点Bに25Mbpsの動画撮影ビットレートを割り当てても良い。また、優先度そのものの逆比ではなく、撮影優先度405の値Pを入力して値を出力する任意の関数d(P)によって算出された値の逆比であっても良い。
図10は、本発明の実施例2における、テレマティクスセンタ100の入出力装置130に表示される画面の一例を示す図である。
図10において、テレマティクスセンタ100の入出力装置130には、図7に示すものに加えて、新しく撮影地点を手動で追加する場合に撮影方向を指定するためのボタン1100と、現在時刻における撮影地点の位置を示す画像1101と、当該撮影地点における車両200に対して指示する動画撮影方向を表す画像1102と、当該撮影地点に関する情報を表示する領域1103と、当該撮影地点における撮影方向の詳細な角度を示す領域1104と、当該地点に置いて識別された看板の種別を示す領域1105が表示される。なお、看板情報は推定できていない場合は、領域1105は表示しなくても良い。
領域1103は、画像1101で表される複数の撮影地点の内、テレマティクスセンタ100の管理者が入出力装置130を用いて選択した場合に表示される。なお、選択の有無に関わらず、全ての撮影地点の詳細情報を表示しても良い。
テレマティクスセンタ100の管理者は、例えばボタン801、ボタン1100や入出力装置130を用いることで、画面800に表れる任意の地図上の地点に対して、撮影地点及び撮影方向を手動で設定することができる。手動で設定された撮影地点及び撮影方向は、撮影地点DB121に登録される。また、検出方向414を入力する方法として、手動で設定した撮影地点を視点として終点を地図上の任意の点に設定可能な矢印を描画する機能があっても良い。
図11は、本発明の実施例3における、複数車載カメラを用いた動画撮影システムの全体構成例を示す図である。
図11に示すように、複数車載カメラを用いた動画撮影システムは、実施例1に示す動画撮影システムに対して、さらに車両200の遠隔操作を行う車両遠隔操作装置300を含む。車両遠隔操作装置300とテレマティクスセンタ100とは、ネットワーク20で接続されている。ネットワーク20としては、例えば携帯電話網、インターネット網、無線LAN(Local Area Network)等の近距離無線通信、あるいはそれら複数の組み合わせで構成されたものなどが挙げられる。
テレマティクスセンタ100は、実施例1のテレマティクスセンタ100の構成に加えて、中央演算処理装置110には、車両200の各車載カメラの動画撮影ビットレートを決定するビットレート決定処理部114と、車両200から送信されるプローブ情報を記憶装置120に記憶した上で車両遠隔操作装置300に送信するプローブ転送処理部115が含まれる。さらに、記憶装置120には、車両200で撮影した動画を記憶する動画DB126が含まれる。
車両200には、実施例1の車両200の構成に加えて、中央演算処理装置110に、車両遠隔操作装置300から送信される車両の遠隔操作命令を実行し走行状態を変化さえる車両遠隔操作処理部216が含まれる。
車両遠隔操作装置300は、中央演算処理装置310と、記憶装置320と、車両2200を遠隔操作する運転者(ドライバー)の視線がどちらであるかを確認する視線方向取得装置330と、車両を遠隔操作する上でのハンドル操作やアクセルペダル操作などの入力を行う車両操作入力装置340と、遠隔操作している車両の車速や車外風景を表示する車両状態出力装置350と、通信部360を具備する。
中央演算処理装置310は、例えばCPUやRAMなどから構成され、所定の動作プログラムを実行することで、車両200の機能を実現する処理を行う。また中央演算処理装置310には、機能として、視線方向取得装置330で取得したドライバーの視線方向を情報としてテレマティクスセンタ100に送信する視線方向送信部311、テレマティクスセンタ100から転送されるプローブ情報を車両状態出力装置350に表示するプローブ情報出力部312が含まれる。
車両200の記憶装置220は、例えば、HDD、SSD、フラッシュメモリ、ROMなどから構成され、中央演算処理装置210が実行するプログラム、及びプログラム実行に必要なデータ群などが格納される。
通信部360は、有線LAN(Local Area Network)や無線LANなどの有線通信あるいは無線通信あるいはその両方に必要な通信規格に準拠するネットワークカードなどから構成され、テレマティクスセンタ100と各種プロトコルに基づきデータを送受信する。テレマティクスサセンタ100から送信されるデータは、プローブ情報出力部312へ渡される。
図12は、本発明の実施例3における、テレマティクスセンタ100と複数の車両200を含む動画撮影システムの動作を説明するための図である。
車両遠隔操作装置300の視線方向送信部311は、ドライバーが車両200の遠隔操作を開始したか否かを確認する(S1200)。遠隔操作の開始を確認する方法としては、車両操作入力装置340に「遠隔操作開始」を入力するボタンを設置し、ドライバーがそのボタンを押下したことを遠隔操作開始の判断として用いる方法が考えられる。
視線方向送信部311が遠隔操作開始を検出できなかった場合(S1200でNo)、再度遠隔操作開始を確認するためS1200を実行する。なお、上記の通りボタン押下を遠隔操作開始と見立てる場合は、S1200はイベントドリブンな処理であっても良い。
視線方向送信部311が遠隔操作開始を検出した場合(S1200でYes)、遠隔操作を開始することをテレマティクスセンタ100に通知する(S1201)。テレマティクスセンタ100のプローブ転送処理部115は、車両遠隔操作装置300からの遠隔操作開始を基に、車両200に対して車載カメラによる動画を含むプローブデータの送信と動画撮影開始を車両200に指示する(S1210)。車両200の車載カメラ動画撮影部212は、あらかじめ設定された固定ビットレート、あるいは遠隔操作通知の情報が伝送された際の通信速度を基準としたビットレートを、全てのカメラに等分割で割り当てた上で、全車載カメラでの動画撮影を含むプローブデータの蓄積を開始する(S1220)。
車両200のプローブデータ送信部213は、車両200のプローブデータを収集し、テレマティクスセンタ100に送信する(S1221)。プローブデータを受信したテレマティクスセンタ100のプローブ転送処理部115は、そのデータを車両遠隔操作装置300に転送する(S1211)。プローブデータを受信した車両遠隔操作装置300のプローブ情報出力部312は、そのデータを車両状態出力装置350に出力する(S1202)。この時、車両遠隔操作装置300の視線方向送信部311は、プローブデータ受信時の通信速度を確認し、記憶する(S1203)。
次に、車両遠隔操作装置300の視線方向送信部311は、車両操作入力装置340を介したドライバーの遠隔操作を検知し、その操作情報をテレマティクスセンタ100に送信する(S1204)。テレマティクスセンタ100のプローブ転送処理部115は、車両遠隔操作装置300から送信される遠隔操作情報を車両200に転送する(S1212)。車両200の車両遠隔操作処理部216は、テレマティクスセンタ100から車両遠隔操作情報を受信すると、その情報に基づいてECU270等に制御命令を出し、車両を操作する(S1222)。
次に車両遠隔操作装置300の視線方向送信部311は、視線方向取得装置330を介して、遠隔操作するドライバーの視線が変化していないかを確認する(S1205)。視線の変化を検知していない場合(S1205でNo)、次に視線方向送信部311は、S1208を実行する。視線の変化を検知した場合(S1205でYes)、遠隔操作するドライバーの現在の視線を算出する(S1206)。次に視線方向送信部311は、視線の変化状況と現在の視線方向の情報と各車載カメラの動画撮影ビットレートの変更指示をテレマティクスセンタ100に送信する(S1207)。テレマティクスセンタ100のビットレート決定処理部114は、その視線情報と、車両DB240に含まれる車載カメラの配置情報から、各車載カメラにおける動画撮影時のビットレートを算出し、そのビットレートの情報とビットレートの変更指示を車両200に配信する(S1213)。ビットレートの算出方法は図13を用いて後述する。車両200の車載カメラ動画撮影部212は、テレマティクスセンタ100からビットレートの情報とビットレートの変更指示を受信する(S1223)。そして、車両200は、そのビットレートの情報に基づいて車載カメラのビットレートを変更する(S1224)。
ビットレートの変更指示が完了した車両遠隔操作装置300は、車両200の遠隔操作が終了したかを確認する(S1208)。遠隔操作の終了を確認する方法としては、S1200と同様、車両操作入力装置340を介してドライバーが入力する方法が考えられる。
遠隔操作が終了していない場合(S1208でNo)、遠隔操作を継続するため、S1202を再度実行する。
遠隔操作が終了している場合(S1208でYes)、遠隔操作装置300は遠隔操作を終了したことをテレマティクスセンタ100に通知する(S1209)。テレマティクスセンタ100のプローブ転送処理115は、遠隔操作車両300から受信した遠隔操作終了の通知を、車両200に転送する(S1214)。車両200は、テレマティクスセンタ100から送信される遠隔操作終了の通知を受信し、遠隔操作処理を終了する(S1225)。
図13は、本発明の実施例3における、テレマティクスセンタ100のビットレート決定処理部114による処理の詳細を示す図である。
ビットレート決定処理部114は、S1202で受信したプローブデータから、自動車の進行方向を確認する(S1300)。次にビットレート決定処理部114は、視線方向取得装置330を介して、遠隔操作するドライバーが自動車の正面方向に対してどちらを向いているかを確認する(S1301)。次にビットレート決定処理部114は、S1300とS1301で測定した自動車の進行方向と視線方向から、東を基準した視線方向、すなわち高ビットレートで撮影すべき方向を算出する(S1302)。
次にビットレート決定処理部114は、車両200の車速が一定値V以下であるかを確認する(S1303)。車速が一定値V以上であれば、高速で移動しているため、遠隔操作を行うドライバーは進行方向に対して重点的に注意を向ける可能性が高いと考えられる。そのため、ビットレート決定処理部114は、進行方向に対してより高精細な動画が必要であると判断し、進行方向を撮影可能なカメラに対して、上限動画撮影ビットレートの10%を割り当てる(S1304)。ここでの上限動画撮影ビットレートとは、S1203で算出した、動画転送時における通信速度のことであり、車両遠隔操作装置300の通信部360、ネットワーク20、テレマティクスセンタ100の通信部140、ネットワーク10、車両200の通信部280の性能に応じて決定される。なお、テレマティクスセンタ100などのサーバは、通信部140に依存した上限通信速度が決められており、サーバに接続する端末の増加に応じて、端末1台当たりの通信速度は遅くなる。本実施例においても、車両遠隔操作装置300と車両200の複数の組み合わせを、1つのテレマティクスセンタ100で支える場合、その組み合わせ数が増えるにつれて通信速度は遅くなる。
なお、割り当てるビットレートは10%以外の固定値でも良く、速度Vを入力として割合を出力する任意の関数h(V)によって算出された割合であっても良い。この場合、S1303を実行することなく、任意の車速に応じて進行方向を撮影可能な車載カメラへのビットレート割り当てを実行しても良い。また、例えばプローブデータなどを用いて、車両200が加速中であることが判明した場合、進行方向の撮影可能なカメラにより多くのビットレートを割り当てても良い。
処理S1304を実行後、あるいは車両200の車速が一定値V以下であった場合(S1303でYes)、ビットレート決定処理部114は、車両操作入力装置340を介して、遠隔操作するドライバーがハンドルを操作中であるかを確認する(S1305)。ハンドルを操作中である場合(S1305でNo)、ドライバーは交差点右左折あるいはカーブ走行中であり、進行方向に対して右あるいは左側に対して重点的に注意を向ける可能性が高いと考える。そのため、ビットレート決定処理部114は、進行方向と45°の角度をなす左右前方方向の高精細な動画が必要であると判断し、進行方向と45°の角度をなす左右前方方向を撮影可能なカメラに対して、上限動画撮影ビットレートの10%をそれぞれ割り当てる(S1306)。なお、右折あるいは左折するようにハンドル操作しているかを区別した上で、右前方のみあるいは左前方を撮影可能な車載カメラのみに対してビットレートを割り当てても良い。
なお、割り当てるビットレートは10%以外の固定値でも良く、ハンドルの操作状況を表す1秒間の方位角変量Δを入力として割合を出力する任意の関数i(Δ)によって算出された割合であっても良い。この場合、S1305を実行することなく、任意の車速に応じて左右前方方向を撮影可能な車載カメラへのビットレート割り当てを実行しても良い。同様に、重点的に撮影する方向は、進行方向と45°を成す角度以外でも良く、45°以外の固定値であっても良い。さらに、重点的に撮影する方向は、ハンドルの操作量(右回転あるいは左回転量)を表す回転角ψを入力として角度を出力する任意の関数k(ψ)によって算出された方向であっても良い。
処理S1306を実行後、あるいはハンドル操作をしていない場合(S1305でYes)、ビットレート決定処理部114は、視線方向取得装置330を介して、視線が正面方向以外の左右に振れてX秒以上が経過していないかを確認する(S1307)。視線方向が左右に振れてX秒以上経過している場合(S1307でYes)には、運転中は長時間視線が左右に振れることはないため、間もなく進行方向に視線が戻ると考えられる。そのため、ビットレート決定処理部114は、進行方向の高精細な動画が必要であると判断し、進行方向を撮影可能なカメラに対して、上限動画撮影ビットレートの10%を割り当てる(S1308)。なお、割り当てるビットレートは10%以外の固定値でも良く、視線逸脱時間Y秒を入力として割合を出力とする任意の関数j(Y)によって算出された割合であっても良い。また、例えば地図情報やルート案内情報を活用することで、間もなく交差点を曲がり終えることが判明している場合には、その情報を活用して進行方向のカメラの動画撮影ビットレートを向上させても良い。
処理S1308を実行後、あるいは視線方向がX秒以下しか左右に振れていない場合(S1307でNo)、ビットレート決定処理部114は、視線方向を撮影方向と見なした上で、各車載カメラに対して上限動画撮影ビットレートを割り当てる。割り当てる方法は、S708と同様、各車載カメラの中心軸と撮影方向がなす角度の逆比を用いる方法が考えられる。
図14は、本発明の実施例3における、車両遠隔操作装置300の形態の一例を示す図である。
図14において、車両遠隔操作装置300は、複数のカメラによりドライバーの視線がどちらを向いているかを特定する視線方向種痘装置330と、疑似的な運転席を実現し、ハンドル操作やアクセルペダル操作の入力を受け付ける車両操作入力装置340と、複数のモニタと電子パネルにて構成される車両状態出力装置350とから構成されている。
車両状態出力装置350を構成するモニタには、図12の処理S1202で受信したプローブデータに含まれる動画データを、その撮影方向がドライバーの正面と車両の正面が一致するように出力される。また、車速やエンジン回転数などその他のプローブ情報は、電子パネルに表示される。
以上本発明の実施例について説明したが、本発明は上記実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記実施例1では、車両200が車載カメラを4つ、ECUを2つ具備しているが、その数を限定する物ではない。また、上記中央演算処理装置210、記憶装置220、入出力装置230、通信部280は、車両200とは別の端末で実現しても良い。具体的には、自動車に搭載されるPND(Portable Navigation Device)やスマートフォン、ドライブレコーダや、携帯端末を自動車に固定するためのクレードルなど、それらの組み合わせにて構成されることが考えられる。これらの端末は、例えばOBD(On Board Diagnostics)などのコネクタを用いることで、車両に搭載されるセンサである240、250、260〜263、270〜271とデータを送受信することが考えられる。また上記ビットレート決定処理部213や看板認識部215は、車両200ではなく、テレマティクスセンタ100に具備しても良い。また、車両200は、記憶装置220にある地図DB222の代わりに、テレマティクスセンタ200の記憶装置120に記憶されている地図DB123を用いても良い。その場合、車両200が地図DB123を利用する場合には、ネットワーク10を介してテレマティクスセンタ100に問い合わせることなどが考えられる。
また、上記実施例1では、車両200は、車載カメラ群260〜263が全く同じ性能の車両を想定しているが、これに限定されるものではなく、各車載カメラが異なる撮影範囲角を持っても良い。また、上記実施例1では4つのカメラで車両200の周辺360°全てを撮影できることを想定しているが、これに限定するものではなく、例えば不定間隔の角度で設置された7つのカメラで車両200の周辺を撮影しても良い。また、必ずしも車両周辺360°全てを撮影しなければならないわけではなく、車両200に対して撮影できない範囲角が存在しても良い。
また、図4において、各処理を順に実行する際に、一定時間処理を中断(スリープ)しても良い。
また、図4において、車両200がS501において動画撮影を開始した後に、S502で動画撮影条件情報を受信しているが、S501を実行する前にテレマティクスセンタ100に車両200から問い合わせ、動画撮影条件を要求した上で撮影開始時に各車載カメラ260〜263のビットレートを決定しても良い。
また、図4において、車両200の処理S502〜S506、及びテレマティクスセンタ100の処理S511からS513の処理を順に実行するようにしたが、それに限定するものではない。すなわち、動画撮影条件を生成し配信するS502、S511、S512と、車両状態を確認しビットレートを決定するS503、S504と、プローブ情報を生成し送信するS505、S513と、運転終了を判断するS506は、その順番が前後しても良く、また並列的に処理が実行されても良い。この場合、動画データを含むプローブ情報の送信処理S505は、一定時間のプローブデータを纏めて送信するのではなく、ストリーミング形式でテレマティクスセンタ100に送信しても良い。
また、運転終了後であっても車載カメラによる撮影を中断せず、例えば盗難防止を目的として継続して動画を撮影しても良い。その際、撮影する動画のビットレートについては、テレマティクスセンタから指示を出しても良い。
また、上記実施例1では、車両の異常挙動検出手段として方位角を用いたが、これに限定するものではない。その他には、例えば車両200の車速情報や位置情報の時系列変化を見ることで、渋滞発生箇所を特定しそれを撮影対象とすることができる。また、ある特定の車両が故障を起こした場合にテレマティクスセンタ100に送信されるDTC(Diagnostic Trouble Codes)や、事故を起こした場合にテレマティクスセンタ100に送信される緊急信号(Emergency Call)を用いることで、故障車両や事故車両が停止している地点を撮影地点とすることも考えられる。それら複数の車両センサ情報を組み合わせることで、撮影地点を特定しても良い。
また、直近N時間以内に登録された撮影地点に対して、地点算出時刻401と現在時刻との差が大きい、すわなち過去に算出された撮影地点であるほど、ビットレートの割当が減るよう、重み付けを行っても良い。この場合、例えば現在時刻と地点算出時刻401の差分の逆比を用いて、重み付けを行う方法などが考えられる。
また、上記実施例1では、動画撮影条件としてテレマティクスセンタ100の撮影開始距離を含めたが、撮影地点と上限ビットレート情報を動画撮影条件としても良い。この場合、車両200の車載カメラ群260〜263は、撮影地点に接近した場合に限り、特定のビットレートあるいはカメラが対応する最大ビットレートでの撮影において撮影することが想定される。
また、テレマティクスセンタ100による車両200への上限ビットレートの指定は、例えばテレマティクスセンタ100と車両200の間でのデータのやり取りにおける通信速度や、テレマティクスセンタ100の記憶装置120の空き容量、記憶装置120に動画を蓄積するための費用に応じて決定しても良い。
また、上記実施例1では、S704及びS707において、撮影地点に対して2つの車載カメラを割り当てているが、これに限定されるものではない。例えば、1つの車載カメラにビットレートを全て割り当てても良いし、全ての車載カメラに対して撮影地点の方角と中心軸とのなす角度を算出し、その逆比でビットレートを割り当てても良い。
また、S705及びS708において、撮影地点に応じて車載カメラにビットレートを割り当てる方法としては、撮影地点の方角と中心軸との成す角度φの逆比ではなく、当分割でも良い。また、角度そのものの逆比ではなく、角度φを入力として値を出力する任意の関数f(φ)によって算出された値の逆比であっても良い。
また、S706における、現在地との距離に応じて各撮影地点にビットレートを配分する方法としては、距離の逆比ではなく、等分割でも良い。また、距離そのものの逆比ではなく、距離(例えば、d)を入力として値を出力する任意の関数g(d)によって算出された値の逆比であっても良い。
また、上記実施例1〜3では、動画撮影時のビットレートを割り当てられた車載カメラは、そのビットレートを固定値として固定ビットレート(Constant Bitrate)方式で動画を撮影しても良いし、平均ビットレート(Average Bitrate)方式で動画を撮影しても良い。
また、上記実施例1〜3では、車載カメラによる動画撮影を想定しているが、静止画であっても良い。この場合、動画撮影ビットレートの大小決定は静止画撮影時の解像度の大小決定に置き換えることが考えられる。
また、車両200に搭載される車載カメラ群260〜263は、可動性を持ち、その中心軸が変化できる構造を持っていても良い。また、撮影可能範囲及び中心軸の定義は地面に水平な方向に限定されるものではなく、地面に垂直な方向を考慮しても良い。
また、上記実施例2においては、看板情報を基準とした撮影方向の決定と優先度付けなどを実施しているが、被撮影対象物は看板に限定することなく、例えば建築物などの風景などを基準として同様の処理を実行しても良い。
また、上記実施例2におけるS901及びS902で、テレマティクスセンタ100の動画撮影条件決定部111の処理S511の実行とは関係なく、テレマティクスセンタ100がバックグランドで並列的に処理を実行し、既に地図DB222に登録された看板であるか否かを確認しても良い。
また、上記実施例2におけるS908において、撮影優先度を決定したが、撮影地点と撮影方向のみを決定しても良い。この場合、車両200の車載カメラ260〜263は、撮影地点に接近した場合に限り、撮影方向を撮影可能な車載カメラに対して、特定のビットレートあるいは車載カメラが対応する最大ビットレートでの撮影において撮影することが想定される。
また、上記実施例2におけるS1004及びS1006において、撮影地点に対して2つの車載カメラを割り当てているが、これに限定されることはない。例えば、1つの車載カメラにビットレートを全て割り当てても良いし、全ての車載カメラに対して撮影地点の方角と中心軸とのなす角度を算出し、その逆比でビットレートを割り当てても良い。
また、S1004及びS1006における、撮影地点に応じて車載カメラにビットレートを割り当てる方法としては、撮影地点の方角と中心軸との成す角度φの逆比ではなく、等分割でも良い。また、角度そのものの逆比ではなく、角度φを入力として値を出力する任意の関数f(φ)によって算出された値の逆比であっても良い。
また、S1006においては、撮影地点に対して均等にビットレートを割り当てているが、例えば撮影地点における撮影方向に存在する対象物の種別に応じて、そのビットレート配分に傾斜を書けても良い。例えば、事前に対象物が速度制限標識と交通案内標識であることが判明していて、その詳細が分からないために動画を撮影する場合には、交通案内標識をより高精細にとれるよう、ビットレートを配分しても良い。
また、上記実施例3において、テレマティクスセンタ100の機能は全て、車両遠隔操作装置300に含まれ、車両遠隔操作装置300と車両200が直接通信しても良い。また、視線方向取得装置330と車両状態出力装置350は同一の装置であっても良い。具体的にはヘッドマウントディスプレイなどが考えらえる。 また、上記実施例3において、図12に示した各処理を順に実行する際に、一定時間処理を中断(スリープ)しても良い。また、車両遠隔操作装置300の処理S1202〜S1207、テレマティクスセンタ100の処理S1211〜S1214、及び車両200の処理S1211〜S1224を順に実行するように記載しているが、それに限定するものではない。すなわち、プローブ情報を受信するS1202、S1211、S1221と、車両を遠隔で操作するS1204、S1212、S1222と、視線を検知しビットレートを変更するS1205、S1206、S1207、S1213、S1223、S1224は、その順番が前後しても良く、また並列的に処理が実行されても良い。この場合、動画データを含むプローブ情報の送信処理S1221は、一定時間のプローブデータを纏めて送信するのではなく、ストリーミング形式でテレマティクスセンタ100や車両遠隔操作装置300に送信しても良い。
また、上記実施例3の図12において、車両200がS1220において動画撮影を開始した後に、S1224で動画撮影のビットレート条件を受信し変更しているが、S1220を実行する前あるいは後に、車両200から車両遠隔操作装置300へデータをアップロードする際の通信速度を計測するなどして、車両遠隔操作装置300から動画撮影のビットレート条件を車両200に送信しても良い。
また、図14では正面方向に対してのみモニタや視線を検出するカメラを設置しているが、それに限定されるものではなく、車両操作入力装置340を囲む形で360°周囲全てに車載カメラで撮影した動画が表示されるようモニタを設置しても良い。
100・・・テレマティクスセンタ、
200・・・車両、10、20、30・・・ネットワーク、300・・・車両遠隔操作装置。

Claims (6)

  1. 車両制御装置により、
    サーバから複数の車載カメラにおける撮影画像データ量の上限値及び撮影位置を示す情報を受信する処理と、
    受信した前記上限値及び前記撮影位置を示す情報を記憶部に格納する処理と、
    当該車両、前記撮影位置との位置関係及び前記上限値に基づき、前記複数の車載カメラそれぞれにおける撮影画像の画質を調整する処理と、
    を実施する、
    ことを特徴とする画質調整方法。
  2. 前記車両制御装置により、
    前記サーバから前記複数の車載カメラにおける映像ビットレートの上限値及び前記撮影位置を示す情報を受信する処理と、
    受信した前記上限値及び前記撮影位置を示す情報を前記記憶部に格納する処理と、
    当該車両、前記撮影位置との位置関係及び前記上限値に基づき、前記複数の車載カメラそれぞれにおける前記映像ビットレートを調整し前記撮影画像の画質を調整する処理と、
    を実施する、
    ことを特徴とする請求項1に記載の画質調整方法。
  3. 前記車両制御装置により、
    当該車両との距離が所定値以下の前記撮影位置の数が2つ以上か否かを判定し、2つ以上の場合、前記撮影位置それぞれと当該車両との距離に応じて、前記映像ビットレートの上限値を前記撮影位置それぞれに対して割り当てる処理と、
    前記撮影位置ごとに、前記複数の車載カメラの中心軸に対する該撮影位置の方角に基づき、該撮影位置を撮影する複数の車載カメラを特定する処理と、
    特定した前記複数の車載カメラそれぞれに対して、該撮影位置に対する前記映像ビットレートを、該車載カメラの中心軸に対する該撮影位置の方角に基づき割り当てる処理と、
    を実施する、
    ことを特徴とする請求項2に記載の画質調整方法。
  4. 前記車両制御装置により、
    当該車両との距離が所定値以下の前記撮影位置の数が2つ以上か否かを判定し、2つ以上でない場合、前記複数の車載カメラの中心軸に対する該撮影位置の方角に基づき、
    該撮影位置を撮影する複数の車載カメラを特定する処理と、
    特定した前記複数の車載カメラそれぞれに対して、該撮影位置に対する前記映像ビットレートを、該車載カメラの中心軸に対する該撮影位置の方角に基づき割り当てる処理と、
    を実施する、
    ことを特徴とする請求項2に記載の画質調整方法。
  5. 車両遠隔操作装置及びサーバを含み、
    前記車両遠隔操作装置は、
    車両からのプローブ情報をサーバを介して受信し、これを第1の記憶部に格納し、
    前記第1の記憶部の前記プローブ情報に基づき前記車両の進行方向を算出し、
    前記車両の進行方向に対する遠隔操作者の視線方向の情報を取得し、これを前記第1の記憶部に格納し、
    前記視線方向の情報を含む複数の車載カメラにおける動画撮影時の映像ビットレートの変更指示情報を前記サーバへ送信し、
    前記サーバは、
    前記車両から前記プローブ情報を取得し、これを第2の記憶部に格納するとともに、前記車両遠隔操作装置へ送信し、
    前記車両遠隔操作装置から前記視線方向の情報を含む前記複数の車載カメラにおける映像ビットレートの変更指示を受信し、前記視線方向の情報を前記第2の記憶部に格納し、
    前記プローブ情報に基づき前記車両の進行方向を算出し、
    算出した前記進行方向と前記視線方向の情報に基づき、前記複数の車載カメラそれぞれにおける映像ビットレートを算出し、
    算出した各車載カメラにおける映像ビットレートの情報を前記車両へ送信する、
    ことを特徴とする動画撮影システム。
  6. 前記サーバは、
    前記進行方向と前記視線方向の情報に基づき、撮影方向を算出し、
    算出した前記撮影方向を撮影可能な前記車載カメラに対して前記映像ビットレートを割り当る、
    ことを特徴とする請求項5に記載の動画撮影システム。
JP2015009065A 2015-01-21 2015-01-21 画像調整方法、サーバ及び動画撮影システム Active JP6382118B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015009065A JP6382118B2 (ja) 2015-01-21 2015-01-21 画像調整方法、サーバ及び動画撮影システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015009065A JP6382118B2 (ja) 2015-01-21 2015-01-21 画像調整方法、サーバ及び動画撮影システム

Publications (2)

Publication Number Publication Date
JP2016134816A JP2016134816A (ja) 2016-07-25
JP6382118B2 true JP6382118B2 (ja) 2018-08-29

Family

ID=56464585

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015009065A Active JP6382118B2 (ja) 2015-01-21 2015-01-21 画像調整方法、サーバ及び動画撮影システム

Country Status (1)

Country Link
JP (1) JP6382118B2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6932878B2 (ja) * 2017-07-14 2021-09-08 株式会社アイシン 経路探索装置及びコンピュータプログラム
JP2019087969A (ja) * 2017-11-10 2019-06-06 株式会社トヨタマップマスター 走行現調支援装置
JP2019125258A (ja) * 2018-01-18 2019-07-25 アイシン・エィ・ダブリュ株式会社 情報収集システム、及び情報収集プログラム
US11941975B2 (en) 2018-03-28 2024-03-26 Sumitomo Electric Industries, Ltd. Driving assistance system, onboard device, method, and computer program
US20220368860A1 (en) * 2019-10-07 2022-11-17 Nec Corporation Transmission method, transmission system, and system control device
WO2021153198A1 (ja) * 2020-01-27 2021-08-05 ソニーグループ株式会社 撮像制御装置および撮像制御方法
WO2022024268A1 (ja) * 2020-07-29 2022-02-03 日本電気株式会社 通信制御方法、通信システム、及び送信装置
JP7452394B2 (ja) * 2020-11-26 2024-03-19 株式会社デンソー 圧縮率マップ生成装置、圧縮率情報提供装置、及び圧縮画像送信装置
JP7501470B2 (ja) 2021-08-19 2024-06-18 トヨタ自動車株式会社 走行映像表示方法、走行映像表示システム
CN114268728B (zh) * 2022-02-28 2022-07-08 杭州速玛科技有限公司 一种无人作业车辆协同记录被破坏现场的方法
JP7476257B2 (ja) 2022-06-03 2024-04-30 ソフトバンク株式会社 サーバおよび車両

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002123880A (ja) * 2000-10-13 2002-04-26 Denso Corp 緊急時対応システム及び緊急時対応装置
JP4735243B2 (ja) * 2005-12-26 2011-07-27 アイシン・エィ・ダブリュ株式会社 車両情報提供システム
JP4569837B2 (ja) * 2007-03-30 2010-10-27 アイシン・エィ・ダブリュ株式会社 地物情報収集装置及び地物情報収集方法
JP2012004970A (ja) * 2010-06-18 2012-01-05 Nippon Hoso Kyokai <Nhk> コンテンツ配信装置、配信サーバー装置及びプログラム
JP5692894B2 (ja) * 2010-07-09 2015-04-01 矢崎エナジーシステム株式会社 ドライブレコーダおよびドライブレコーダの映像記録方法
WO2013099488A1 (ja) * 2011-12-28 2013-07-04 日産自動車株式会社 監視システム

Also Published As

Publication number Publication date
JP2016134816A (ja) 2016-07-25

Similar Documents

Publication Publication Date Title
JP6382118B2 (ja) 画像調整方法、サーバ及び動画撮影システム
KR102464898B1 (ko) 차량과 관련된 영상 정보를 공유하는 방법 및 장치
JP6885298B2 (ja) 自動運転車両
JP6368651B2 (ja) 走行環境認識システム
WO2015129045A1 (ja) 画像取得システム、端末、画像取得方法および画像取得プログラム
JP2018055191A (ja) データ収集システム
JP6840058B2 (ja) 管理装置及び管理方法
JP2022538097A (ja) ナビゲート可能なネットワークに関するユーザ提供データの収集
JP2020009174A (ja) 車載装置および車両捜索システム
JP2014164316A (ja) 車載カメラを用いた情報提供システム
CN111323041A (zh) 信息处理系统、存储介质和信息处理方法
KR20140100611A (ko) 길안내 시스템의 동작 방법 및 휴대 기기의 길안내 방법
JP2017188164A (ja) 画像取得装置、端末および画像取得システム
JP7348724B2 (ja) 車載装置および表示方法
CN111311919B (zh) 服务器、车载装置、非易失性存储介质、信息提供系统、提供信息的方法,以及车辆
JP2010146443A (ja) 車載カメラ制御システム
JP2016173764A (ja) 撮影装置、撮影システム、撮影方法および撮影プログラム
JP2017096635A (ja) 目的地設定システム、方法およびプログラム
JP2008232967A (ja) 情報配信サービスシステム
JP7333702B2 (ja) 車両の危険状況判別装置、車両の危険状況判別方法、及びプログラム
JP2021026457A (ja) 画像配信装置及び方法並びに画像配信システム
JP6239331B2 (ja) 情報配信システム、情報端末装置
JP7233997B2 (ja) 隊列走行支援システム
JP2020004015A (ja) 画像データ送信装置、画像データ提供サーバ、及び画像データ送信プログラム
EP4145418A1 (en) Communication apparatus, information processing apparatus, delivery system, and control methods and programs therefor

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170110

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170112

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180703

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180801

R150 Certificate of patent or registration of utility model

Ref document number: 6382118

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150