JP7024603B2 - データ記録装置 - Google Patents

データ記録装置 Download PDF

Info

Publication number
JP7024603B2
JP7024603B2 JP2018099087A JP2018099087A JP7024603B2 JP 7024603 B2 JP7024603 B2 JP 7024603B2 JP 2018099087 A JP2018099087 A JP 2018099087A JP 2018099087 A JP2018099087 A JP 2018099087A JP 7024603 B2 JP7024603 B2 JP 7024603B2
Authority
JP
Japan
Prior art keywords
recording
sensor
period
tracking
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018099087A
Other languages
English (en)
Other versions
JP2019204289A (ja
Inventor
勇介 林
泰宏 ▲高▼城
展秀 鎌田
諒 五十嵐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2018099087A priority Critical patent/JP7024603B2/ja
Priority to US16/388,295 priority patent/US11100338B2/en
Priority to CN201910366926.5A priority patent/CN110533795B/zh
Publication of JP2019204289A publication Critical patent/JP2019204289A/ja
Application granted granted Critical
Publication of JP7024603B2 publication Critical patent/JP7024603B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D41/00Fittings for identifying vehicles in case of collision; Fittings for marking or recording collision areas
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/008Registering or indicating the working of vehicles communicating information to a remotely located station
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • G07C5/085Registering performance data using electronic data carriers
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • G07C5/085Registering performance data using electronic data carriers
    • G07C5/0866Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)

Description

本開示は、データ記録装置に関する。
特許文献1は、車載カメラを用いたデータ記録装置を開示する。データ記録装置は、車載カメラにより撮像された車両周囲の撮影画像を、過去一定枚数分だけ撮影画像を記録できる記録媒体に記録する。データ記録装置は、車両と障害物との相対位置又は相対速度が所定の条件を満たしたときに撮影画像の記録を開始する。データ記録装置は、車両と障害物との相対位置又は相対速度が所定の条件を満たさなくなったとき、または、加速度が所定値以上となる衝突が発生したときに撮影画像の記録を終了する。
特開2010-068069号公報
特許文献1に記載のデータ記録装置は、車両と障害物との相対位置又は相対速度が所定の条件を満たす期間の全てを記録期間として設定している。このため、データの利用目的によっては記録する必要のないデータが含まれることがある。例えば、記録されたデータを事後的に解析する場合において、センサによる物体追跡の失敗に起因した事象であるか否かを検証するためには、物体追跡に成功しているセンサの検出データは必ずしも必要ではない。本開示は、物体追跡を検証するために必要なセンサの検出データを適切に記録することができるデータ記録装置を提供する。
本開示の一態様に係るデータ記録装置は、移動体の周囲の環境を検出データとして検出する少なくとも1つのセンサと、検出データが時刻と関連付けて格納されるバッファと、バッファに格納された検出データに基づいて移動体の周囲に存在する物体の追跡を行う追跡部と、追跡部による物体の追跡において物体のロストが発生したか否かを判定する判定部と、予め定められた記録条件が満たされたことに応じて、判定部により物体のロストが発生したと判定された期間を記録期間として決定する期間決定部と、バッファに格納された検出データのうち、記録期間に対応する検出データを記録媒体に記録する記録部と、を備える。
このデータ記録装置では、物体のロストが発生したと判定された期間が記録期間として決定される。記録期間に対応する検出データは記録媒体に記録される。センサを用いた物体追跡を検証するためには、物体のロストが発生したときの検出データがあればよい。よって、このデータ記録装置は、物体追跡を検証するために必要なセンサの検出データを適切に記録することができる。
一実施形態においては、期間決定部は、判定部により物体のロストが発生したと判定された期間のうち物体のロストが発生した時刻のみを記録期間として決定してもよい。この場合、この装置は、物体のロストが発生したと判定された期間を記録期間とする場合と比べて記録するデータ容量を低減することができる。
本開示の種々の態様によれば、物体追跡を検証するために必要なセンサの検出データを適切に記録することができる。
図1は、一実施形態に係るデータ記録装置を備えた車両の構成の一例を示すブロック図である。 図2は、記録期間の設定例を説明する図である。 図3は、データ記録装置の動作を示すフローチャートである。 図4は、図3の記録処理のフローチャートである。 図5は、記録期間の他の設定例を説明する図である。 図6は、データ記録システムの構成を示すブロック図である。 図7は、データ記録システムの記録処理のフローチャートである。
以下、図面を参照して、例示的な実施形態について説明する。以下の説明において、同一又は相当要素には同一符号を付し、重複する説明は繰り返さない。
[第1実施形態]
[データ記録装置の概要]
一実施形態に係るデータ記録装置は、移動体に搭載され、移動体に備わるセンサにより検出された検出データを記録媒体に記録する装置である。移動体とは、存在位置を変更可能な物体であり、一例として、自動車、列車、飛行機、ロボット、ドローンなどである。移動体は、後述のとおり、センサの検出データに基づいて物体追跡を行う。記録媒体は、情報を記録する媒体であり、移動体に備わる。
データ記録装置に記録された検出データは、所定のタイミングで通信速度の比較的高い有線通信を介してサーバ装置に集約され得る。あるいは、記録媒体ごと交換し、その後、無線通信により時間をかけてサーバ装置に集約されてもよい。所定のタイミングの一例は、店舗などにおける移動体のメンテナンス時、移動体の停泊時などである。サーバ装置は、移動体から集約した検出データに基づいて移動体の物体追跡について検証を行うことができる。サーバ装置は、複数の移動体から集約した検出データに基づいて、1つの移動体の物体追跡について分析を行うこともできる。
[データ記録装置の一例]
以下では、移動体が自動車である場合を例として説明する。図1は、一実施形態に係るデータ記録装置を備えた車両の構成の一例を示すブロック図である。図1に示されるように、データ記録装置1は、乗用車などの車両2に搭載される。車両2は、物体追跡に基づいた自動運転や運転支援、追跡結果の報知などを実行可能である。以下では、車両2は、センサ検出結果に基づいて自動運転で走行するとともに、自動運転中において運転者の運転操作によって介入が可能な車両である場合を例として説明する。自動運転とは、運転者が運転操作をすることなく、予め設定された目的地に向かって自動で車両2を走行させる車両制御である。
車両2は、第1センサ3Aと、第2センサ3Bと、ECU4と、記録媒体5とを備える。
第1センサ3Aは、車両2の周囲の環境を検出データとして検出する検出機器である。車両2の周囲の環境とは、車両2の外部状況である。検出データとは、外部状況を反映した情報である。第1センサ3Aは、一例としてカメラ又はレーダセンサである。
カメラは、車両2の外部状況を撮像する撮像機器である。カメラは、一例として車両2のフロントガラスの裏側に設けられる。カメラは、車両2の外部状況に関する撮像情報を取得する。カメラは、単眼カメラであってもよく、ステレオカメラであってもよい。ステレオカメラは、両眼視差を再現するように配置された二つの撮像部を有する。ステレオカメラの撮像情報には、奥行き方向の情報も含まれる。
レーダセンサは、電波(例えばミリ波)又は光を利用して車両2の周辺の物体を検出する検出機器である。レーダセンサには、例えば、ミリ波レーダ又はライダー(LIDAR:Laser Imaging Detection and Ranging)が含まれる。レーダセンサは、電波又は光を車両2の周辺に送信し、障害物で反射された電波又は光を受信することで物体を検出する。
第2センサ3Bは、第1センサ3Aと同様に、車両2の周辺の状況(外部状況)を検出する検出機器である。第2センサ3Bは、第2センサ3Bと比較して、取付位置又は検出機構の少なくとも一方が相違する。例えば、第1センサ3Aはカメラであり、第2センサ3Bはライダーである。例えば、第1センサ3Aは、フロントガラスに取り付けられたカメラであり、第2センサ3Bは、車両2の上部に設けられたカメラである。
第1センサ3A及び第2センサ3Bは、検出結果として検出データを出力する。検出データは、後述する物体追跡に用いられる。車両2は、第1センサ3Aのみ備え、第2センサ3Bを備えなくてもよい。あるいは、車両2は、物体追跡のために、第3センサ、第4センサなどの更なるセンサを含み得る。車両2は、車両2の周囲の環境を検出データとして検出する少なくとも1つのセンサを備えていればよい。
ECU4は、CPU(Central Processing Unit)、ROM(Read OnlyMemory)、RAM(Random Access Memory)、CAN(Controller Area Network)通信回路などを有する電子制御ユニットである。ECU4は、例えばCAN通信回路を用いて通信するネットワークに接続され、上述した車両2の構成要素と通信可能に接続される。ECU4は、例えば、CPUが出力する信号に基づいて、CAN通信回路を動作させてデータを入出力し、データをRAMに記録し、ROMに記録されているプログラムをRAMにロードし、RAMにロードされたプログラムを実行することで、後述するECU4の構成要素の機能を実現する。ECU4は、複数の電子制御ユニットから構成されてもよい。
ECU4は、第1センサバッファ10(バッファの一例)と、第2センサバッファ11(バッファの一例)と、記録条件判定部12と、追跡部13と、追跡状態判定部14(判定部の一例)と、記録期間決定部15(期間決定部の一例)と、記録センサ決定部16と、記録部17とを備える。
第1センサバッファ10は、第1センサ3Aに対応して設けられた記録媒体又は記録領域である。記録領域とは、記録媒体に対して論理的に設定された記録領域である。第1センサバッファ10は、第1センサ3Aの検出データを時刻と関連付けて格納する。第1センサバッファ10は、容量が限定されている。第1センサバッファ10は、容量を超えた場合、最も古い検出データを削除して最新の検出データを格納する先入先出制御によって管理され得る。
第2センサバッファ11は、第2センサ3Bに対応して設けられた記録媒体又は記録領域である。第2センサバッファ11は、第2センサ3Bの検出データを時刻と関連付けて格納する。第2センサバッファ11は、第1センサバッファ10と同様に、先入先出制御によって管理され得る。
第1センサバッファ10と第2センサバッファ11とは論理的に区別されていればよい。つまり、第1センサバッファ10と第2センサバッファ11とは異なる記録媒体に設定されてもよいし、同一の記録媒体に設定されてもよい。センサとセンサバッファとは一対一で対応付けられている。つまり、車両2が第3センサを備える場合には、ECU4は第3センサバッファを備える。
記録条件判定部12は、記録条件が満たされたか否かを判定する。記録条件とは、センサの検出結果を記録するために予め設定された基準である。記録条件の一例は、車両2が他車両と接触したことである。例えば、記録条件判定部12は、図示しない接触センサや加速度センサなどの検出結果に基づいて、車両2と他車両との接触を判定することができる。記録条件判定部12は、車両2が他車両と接触した場合や、所定値以上の加速度変化が検出された場合には、記録条件が満たされたと判定する。記録条件の他の例は、自動運転中において運転者の介入があったことである。例えば、記録条件判定部12は、図示しないステアリングセンサなどの検出結果や、自動運転システムの出力情報に基づいて、自動運転中において運転者の介入があった場合には、記録条件が満たされたと判定する。
追跡部13は、バッファに格納された検出データに基づいて移動体の周囲に存在する物体の追跡を行う。バッファは、追跡に関するセンサに対応するバッファであり、一例として第1センサバッファ10及び第2センサバッファ11を含む。物体とは、追跡対象である。追跡部13は、検出データに基づいて物体を認識し、認識された物体の動きを認識する。物体の動きとは、時間経過を伴う物体の位置である。追跡部13は、時系列の検出データに基づいて追跡を行う。追跡部13は、テンプレートマッチングを用いた領域単位で物体を追跡してもよいし、KLT法などを用いて特徴点単位で物体を追跡してもよい。
追跡部13の追跡結果は、一例として車両2の自動運転に用いることができる。例えば、追跡部13の追跡結果は、自動運転の進路生成時に必要になる。進路は、経路と速度パターンを含む。他車両を追跡することにより、車両2が取るべき進路が決定する。追跡部13の追跡結果は、運転支援(車線逸脱防止機能、先行車両追従機能など)や、情報支援(追跡結果のモニタ表示)などにも利用することができる。
追跡状態判定部14は、追跡部13による物体の追跡において物体のロストが発生したか否かを判定する。物体のロストとは、物体を見失うことである。つまり、物体のロストとは、追跡部13が、認識していた物体を認識できなくなることである。物体のロストと検出を繰り返すと、追跡結果としては、物体の位置が大きく変位したり、1つの物体が2つに分離したりする。追跡状態判定部14は、追跡部13の追跡結果に基づいて、突然検出されなくなった物体の有無、突然検出位置が大きく変位した物体の有無、ある位置から複数に分離した物体の有無などに基づいて、物体のロストが発生しているか否かを判定する。追跡状態判定部14は、追跡部13の追跡結果を監視し、リアルタイムで判定を行う。追跡状態判定部14は、追跡部13の追跡結果を記録したメモリなどを用いて、追跡部13により物体のロストが発生しているか否かを判定してもよい。つまり、追跡とは時間差があってもよく、追跡状態判定部14は、オフラインによって得られた追跡結果を判定してもよい。
記録期間決定部15は、予め定められた記録条件が満たされたことに応じて、追跡状態判定部14により物体のロストが発生したと判定された期間を記録期間として決定する。記録期間とは、記録媒体5に格納されるデータの条件である。センサにより記録期間に検出されたデータは記録媒体5に格納される。物体のロストが発生したと判定された期間については後述する。
記録期間決定部15は、一例として、記録条件判定部12により予め定められた記録条件が満たされたと判定された場合には、ロストが発生していると判定された期間を記録期間として決定する。記録期間決定部15は、一例として、記録条件判定部12により予め定められた記録条件が満たされていないと判定された場合には、予め定められた期間を記録期間として決定する。
記録センサ決定部16は、予め定められた記録条件が満たされたことに応じて、記録すべき検出データを出力するセンサを記録対象センサとして決定する。記録センサ決定部16は、一例として、追跡に関わるセンサのうち、追跡対象を検出可能な位置に設けられたセンサを決定する。記録センサ決定部16は、例えば、追跡対象の位置と、各センサの撮影範囲とに基づいて、追跡対象を検出可能な位置に設けられたセンサを決定する。
記録部17は、バッファに格納された検出データのうち、記録期間に対応する検出データを記録媒体5に記録する。バッファは、追跡に関するセンサに対応するバッファであり、一例として第1センサバッファ10及び第2センサバッファ11を含む。記録部17は、記録センサ決定部16によって記録対象センサが決定されている場合には、記録対象センサに対応するバッファに格納された検出データのうち、記録期間に対応する検出データを記録媒体5に記録する。記録部17は、検出データにその他の情報も関連付けて記録媒体5に記録してもよい。
記録媒体5は、データを記録する装置であり、一例として、HDD(Hard DiskDrive)やフラッシュメモリが挙げられる。記録媒体5に格納されたデータは、サーバ装置に集約される対象となる。記録媒体5は、第1センサバッファ10及び第2センサバッファ11と論理的に分離していればよく、物理的には、第1センサバッファ10及び/又は第2センサバッファ11と同一であってもよいし、異なってもよい。
データ記録装置1は、上述した第1センサバッファ10と、第2センサバッファ11と、記録条件判定部12と、追跡部13と、追跡状態判定部14と、記録期間決定部15と、記録センサ決定部16と、記録部17とを備える。データ記録装置1は、他の装置又はECUから記録条件の判定結果を受信する場合には、記録条件判定部12を備えなくてもよい。データ記録装置1は、追跡に用いるセンサが1つである場合には、記録センサ決定部16を備えなくてもよい。
[物体のロストが発生したと判定された期間の一例]
物体のロストが発生したと判定された期間の一例を説明する。図2は、記録期間の設定例を説明する図である。図2に示されるように、追跡結果G1~G8は、左から右へ時系列で並んでいる。追跡結果は描画される必要はないが、ここでは説明のために描画している。追跡結果G1~G8は、時刻t1~t8における追跡結果であるとする。
追跡部13の追跡対象の一例は先行車両である。追跡結果G1~G8に示されるように、追跡結果G1,G2,G4,G6,G7,G8は先行車両を認識している例である。一方、追跡結果G3,G5は、先行車両をロストしている例である。ロストが発生していない期間L1は、追跡が安定している期間である。一方、ロストが発生している時刻t3,t5を含む期間L2は、追跡が不安定な期間である。記録期間決定部15は、追跡が不安定となった期間L2を記録期間RLとして決定する。
図中においては、記録期間決定部15は、ロストが発生している時刻t3,t5の前後の時刻を含めた時刻t2~t6を期間L2として決定しているが、これに限定されない。例えば、記録期間決定部15は、ロストが発生した時刻を用いて時刻t3~t5を期間L2として設定してもよいし、時刻t2~t5を期間L2として設定してもよい。要は、期間L2は、少なくともロストした時刻を含むように設定されればよい。
[データ記録装置の動作例]
図3は、データ記録装置の動作を示すフローチャートである。図3に示されるフローチャートは、例えばデータ記録装置1の動作開始ボタンがONされたタイミングで実行される。なお、データ記録装置1の追跡部13及び追跡状態判定部14は、センサがONされたタイミングから常に動作しているものとする。
図3に示されるように、データ記録装置1の記録条件判定部12は、判定処理(S10)として、記録条件が満たされたか否かを判定する。記録条件判定部12は、車両2が他車両と接触した場合、所定値以上の加速度変化が検出された場合、運転者の介入があった場合など、予め定められた条件に基づいて、記録条件が満たされたか否かを判定する。
記録条件が満たされたと判定された場合(S10:YES)、データ記録装置1は、記録処理(S12)を実行する。記録処理(S12)の詳細は後述する。記録条件が満たされていないと判定された場合(S10:NO)、及び、記録処理(S12)が終了した場合、図3に示されるフローチャートは終了する。データ記録装置1は、終了条件が満たされていない場合には、図3に示されるフローチャートを最初から再実行する。終了条件とは、例えば、データ記録装置1の動作終了ボタンがONされたタイミングである。
[記録処理の詳細]
図4は、図3の記録処理のフローチャートである。図4においては、追跡物体が先行車両であるとする。図4に示されるように、データ記録装置1は、判定処理(S20)として、追跡物体が存在するか否かを判定する。検出データに動的物体が含まれる場合、追跡部13は、動的物体を追跡する。追跡部13による追跡が開始されている場合、データ記録装置1は、追跡物体が存在すると判定する。
追跡物体が存在すると判定された場合(S20:YES)、データ記録装置1は、ロスト判定処理(S22)として、追跡状態判定部14によりロストが発生していると判定されたか否かを判定する。
追跡状態判定部14によりロストが発生していると判定された場合(S22:YES)、データ記録装置1は、エラーコード設定処理(S24)として、エラーコード「1」を設定する。エラーコードは、検出データが取得されたシーンを示す識別子であり、検出データに関連付けられる。エラーコードは、サーバ装置などによって検出データを読み込む際に活用され得る。エラーコード「1」は、追跡物体を認識しているものの追跡が不安定となっている場面であることを示す。
続いて、データ記録装置1の記録期間決定部15は、第1期間決定処理(S26)として、ロストを含む指定期間を記録期間に決定する。例えば、図2の期間L2を記録期間RLに設定する。
続いて、データ記録装置1の記録センサ決定部16は、センサ決定処理(S28)として、記録対象センサを車載センサの中から決定する。記録センサ決定部16は、先行車両の検出が可能な位置に搭載されたセンサを記録対象センサと決定する。つまり、記録センサ決定部16は、追跡物体を検出範囲に含むセンサを記録対象センサと決定する。例えば、第1センサ3Aが車両2の前方の情報を取得し、第2センサ3Bが車両2の後方の情報を取得するセンサである場合、記録センサ決定部16は、第1センサ3Aを記録対象センサと決定する。
続いて、データ記録装置1の記録部17は、記録処理(S30)として、記録媒体5に検出データを記録する。記録部17は、第1期間決定処理(S26)で決定された記録期間に対応する検出データであって、センサ決定処理(S28)で決定された記録対象センサの検出データを、記録媒体5に記録する。記録部17は、エラーコード設定処理(S24)で設定されたエラーコードと、検出データとを関連付けて記録媒体5に記録することもできる。さらに、記録部17は、図示しないGPS受信機の受信データなどの補助データを、検出データと関連付けて記録媒体5に記録してもよい。記録処理(S30)が終了すると、図4に示されるフローチャートは終了する。これにより、エラーコード「1」、検出データ及び補助データを1セットとするデータが記録される。
追跡物体が存在しないと判定された場合(S20:NO)、又は、追跡状態判定部14によりロストが発生していないと判定された場合(S22:NO)には、追跡が不安定な状態が存在せず、記録条件が満たされた原因が特定できない状態である。可能性として、未検出車両への衝突や接近によって記録条件が満たされる場合がある。このため、データ記録装置1は、データ収集継続処理(S32)として、未検出車両が検出されることを期待して、第1センサ3A及び第2センサ3Bによる検出を予め定められた期間継続する。
続いて、データ記録装置1は、判定処理(S34)として、予め定められた期間において新たな追跡物体を検出したか否かを判定する。
予め定められた期間において新たな追跡物体を検出したと判定された場合(S34:YES)、データ記録装置1は、エラーコード設定処理(S36)として、エラーコード「2」を設定する。エラーコード「2」は、追跡が不安定な状態が存在せず、事後的に新たな追跡物体が検出された場面であることを示す。
続いて、データ記録装置1の記録期間決定部15は、第2期間決定処理(S38)として、予め定められた期間を記録期間として設定する。記録期間決定部15は、新たに対象車両が検出されるまでの期間を記録期間として設定してもよい。記録期間決定部15は、新たに対象車両が検出された時刻の前後の所定期間を記録期間として設定してもよい。
第2期間決定処理(S38)が終了すると、上述のとおり、センサ決定処理(S28)及び記録処理(S30)が実行される。記録処理(S30)が終了すると、図4に示されるフローチャートは終了する。これにより、エラーコード「2」、検出データ及び補助データを1セットとするデータが記録される。
予め定められた期間において新たな追跡物体を検出していないと判定された場合(S40:NO)、データ記録装置1は、エラーコード設定処理(S36)として、エラーコード「3」を設定する。エラーコード「3」は、追跡が不安定な状態が存在せず、新たな追跡物体が検出されてもいない場面であることを示す。
続いて、データ記録装置1の記録期間決定部15は、第3期間決定処理(S42)として、予め定められた期間を記録期間として設定する。記録期間決定部15は、初期設定期間を記録期間として設定してもよい。
続いて、データ記録装置1の記録センサ決定部16は、センサ決定処理(S44)として、車載センサの全てのセンサを記録対象センサに決定する。センサ決定処理(S44)が終了すると、上述のとおり、記録処理(S30)が実行される。記録処理(S30)が終了すると、図4に示されるフローチャートは終了する。これにより、エラーコード「3」、検出データ及び補助データを1セットとするデータが記録される。
[第1実施形態のまとめ]
データ記録装置1では、物体のロストが発生したと判定された期間L2が記録期間RLとして決定される。記録期間RLに対応する検出データは記録媒体5に記録される。第1センサ3A及び第2センサ3Bを用いた物体追跡を検証するためには、物体のロストが発生したときの検出データがあればよい。例えば、先行車両が遠方に存在して見え方が小さいために、センサが検出したり、ロストしたりする場面がある。あるいは、先行車両がトラックの場合において、キャブと荷台部分との2つを別な車両と認識したり、1つの車両と認識したりする場面がある。これらのような場面においては、物体のロストが発生したときの検出データがあれば、物体追跡のアルゴリズムを強化したり改善したりすることができる。よって、このデータ記録装置1は、物体追跡を検証するために必要なセンサの検出データを適切に記録することができる。
さらに、例えば、先行車両の形状、表面状態、角度などにより、レーダセンサの戻りが少なく、そもそも先行車両を追跡できていない場合もある。そして、ドライバが自動運転に介入した後に、当該先行車両を検出することができた場合には、データ記録装置1検出が行われるまでの間の期間を記録期間として設定する。これにより、レーダセンサの戻りが少ない場面における検出データを取得することができるので、必要最小限の検出データを用いて、物体追跡のアルゴリズムを強化したり改善したりすることができる。
さらに、このデータ記録装置1は、物体の追跡が安定している期間は、検出データを記録媒体5に記録しない。このため、データ容量を削減することができる。記録媒体5に記録するデータ容量が低減した場合、記録媒体5からサーバ装置へ転送する容量も低減することから、通信容量の低減を図ることもできる。
[第2実施形態]
第2実施形態に係るデータ記録装置は、第1実施形態に係るデータ記録装置1と比較して、記録期間決定部15によって決定される記録期間が相違し、その他は同一である。以下では、第1実施形態と第2実施形態との相違点について説明し、重複する説明は省略する。
第2実施形態に係るデータ記録装置の記録期間決定部15は、追跡状態判定部14により物体のロストが発生したと判定された期間L2のうち物体のロストが発生した時刻のみを記録期間として設定する。第2実施形態に係るデータ記録装置のその他の構成は、データ記録装置1と同一である。
[物体のロストが発生したと判定された期間の他の例]
物体のロストが発生したと判定された期間の他の例を説明する。図5は、記録期間の他の設定例を説明する図である。図5に示されるように、図2と比較すると、期間L2を記録期間RLとするのではなく、期間L2のうち先行車両のロストが発生している時刻t3,t5のみを記録期間RLと決定している点が相違する。
[第2実施形態のまとめ]
第2実施形態に係るデータ記録装置によれば、物体のロストが発生したと判定された期間L2を記録期間RLとする場合と比べて、記録媒体5に記録するデータ容量を低減することができる。記録媒体5に記録するデータ容量が低減した場合、記録媒体5からサーバ装置へ転送する容量も低減することから、通信容量の低減を図ることもできる。
[第3実施形態]
第3実施形態に係るデータ記録装置は、第1実施形態に係るデータ記録装置1と同一の構成であり、車両2によって設定された記録期間を、管理センタを介して他車両へ展開する点が相違し、その他は同一である。以下では、第1実施形態及び第2実施形態と重複する説明は省略する。
図6は、データ記録システムの構成を示すブロック図である。図6に示されるように、データ記録システム100は、車両2と、管理センタ6と、他車両7とを備える。
車両2は、第1実施形態の車両2と比べて、ECU4が通信部18を備える点が相違し、その他は同一である。図中では、第1センサ3A及び第2センサ3Bをセンサ群20として示している。通信部18は、管理センタ6と無線通信を行うネットワーク機器である。通信部18は、データ記録装置1により決定された記録期間RLを管理センタ6へ送信する。
管理センタ6は、CPU、ROM、RAMなどを有するコンピュータである。管理センタ6は、車両2と通信する通信部50を備える。通信部50は、車両2の通信部18と無線通信を行うネットワーク機器である。管理センタ6は、車両2から記録期間RLを受信して、他車両7へ送信する。
他車両7は、1又は複数のセンサからなるセンサ群70と、ECU71と、記録媒体72とを有する。センサ群70は、他車両7の周囲の環境を検出する少なくとも1つのセンサを含む。ECU71は、CPU、ROM、RAM、CAN通信回路などを有する電子制御ユニットである。ECU71は、通信部710及び記録部711を有する。
通信部710は、管理センタ6の通信部50と無線通信を行うネットワーク機器である。通信部710は、管理センタ6から記録期間RLを受信する。記録部711は、受信された記録期間RLに対応するセンサ群70の検出データを記録媒体72に格納する。記録媒体72は、データを記録する装置であり、一例として、HDDやフラッシュメモリである。
管理センタ6は、少なくとも一台の他車両7を備えていればよい。つまり、他車両7は複数台あってもよい。
[データ記録システムの動作例]
図7は、データ記録システムの記録処理のフローチャートである。図7に示されるフローチャートは、例えば車両2において記録期間が決定したタイミングで実行される。
図7に示されるように、車両2の通信部18は、送信処理(S50)として、記録期間を管理センタ6へ送信する。管理センタ6の通信部50は、受信処理(S60)として、車両2から記録期間を受信する。管理センタ6の通信部50は、送信処理(S62)として、他車両7へ記録期間を送信する。
他車両7の通信部710は、受信処理(S64)として、管理センタ6から記録期間を受信する。他車両7の記録部711は、記録処理(S66)として、車両2で決定された記録期間を記録媒体72に記録する。以上で、図7に示されるフローチャートは終了する。
[第3実施形態のまとめ]
第3実施形態に係るデータ記録装置を含むデータ記録システムによれば、車両2で設定された記録期間を他車両7へ展開することができる。これにより、車両2の角度から確認できない内容などについては、他車両7の検出データを用いて検証することもできる。
上述した実施形態は、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。
例えば、図4において、エラーコード設定処理(S24,S36,S40)及びセンサ決定処理(S28、S44)は、実行しなくてもよい。エラーコード設定処理、期間決定処理、センサ決定処理は、順不同で実行することができる。
記録媒体5と、第1センサバッファ10などのセンサのバッファとを物理的に1つの記録装置で運用する場合には、記録媒体5への書き込み動作に替えて、記録すべきデータを書き込み禁止とすることで、実施形態と同一の効果を得ることができる。
記録媒体5の容量を使い切った場合には、データに優先度を設定し、優先度の低いデータから削除してもよい。優先度は、エラーコードから設定してもよい。例えば、エラーコード「1」は、エラーコード「2」,「3」よりも優先度を高く設定されてもよい。あるいは、エラーコードに基づいて、データの一部を削除してもよい。例えば、エラーコード「2」,「3」であれば、期間を長く設定しているため、データの最初の部分を削除することができる。
1…データ記録装置、2…車両、3A…第1センサ(センサの一例)、3B…第2センサ(センサの一例)、5…記録媒体、10…第1センサバッファ(バッファの一例)、11…第2センサバッファ(バッファの一例)、13…追跡部、14…追跡状態判定部(判定部の一例)、15…記録期間決定部(期間決定部の一例)、17…記録部。

Claims (2)

  1. 移動体の周囲の環境を検出データとして検出する少なくとも1つのセンサと、
    前記検出データが時刻と関連付けて格納されるバッファと、
    前記バッファに格納された前記検出データに基づいて前記移動体の周囲に存在する物体の追跡を行う追跡部と、
    前記追跡部による前記物体の追跡において前記物体のロストが発生したか否かを判定する判定部と、
    前記移動体が他の物体と接触し、前記移動体の所定値以上の加速度変化が検出され、又は、前記移動体の自動運転中に運転者が介入した場合であって、かつ、追跡物体を認識しているものの追跡が不安定となっているときには、前記判定部により前記物体のロストが発生したと判定された期間を記録期間として決定する期間決定部と、
    前記バッファに格納された前記検出データのうち、前記記録期間に対応する前記検出データを記録媒体に記録する記録部と、
    を備える、データ記録装置。
  2. 前記期間決定部は、前記判定部により前記物体のロストが発生したと判定された期間のうち前記物体のロストが発生した時刻のみを前記記録期間として決定する、請求項1に記載のデータ記録装置。
JP2018099087A 2018-05-23 2018-05-23 データ記録装置 Active JP7024603B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018099087A JP7024603B2 (ja) 2018-05-23 2018-05-23 データ記録装置
US16/388,295 US11100338B2 (en) 2018-05-23 2019-04-18 Data recording device
CN201910366926.5A CN110533795B (zh) 2018-05-23 2019-05-05 数据记录装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018099087A JP7024603B2 (ja) 2018-05-23 2018-05-23 データ記録装置

Publications (2)

Publication Number Publication Date
JP2019204289A JP2019204289A (ja) 2019-11-28
JP7024603B2 true JP7024603B2 (ja) 2022-02-24

Family

ID=68613720

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018099087A Active JP7024603B2 (ja) 2018-05-23 2018-05-23 データ記録装置

Country Status (3)

Country Link
US (1) US11100338B2 (ja)
JP (1) JP7024603B2 (ja)
CN (1) CN110533795B (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7230173B2 (ja) * 2019-03-01 2023-02-28 株式会社日立製作所 置去り物検知装置および置去り物検知方法
CN111145387B (zh) * 2019-12-26 2023-08-18 均胜均安汽车电子(上海)有限公司 一种用于车辆碰撞数据记录和提取的装置及方法
CN111968270A (zh) * 2020-08-21 2020-11-20 广州集佳科技有限公司 一种新能源汽车远程监控记录仪
JP7447768B2 (ja) * 2020-11-12 2024-03-12 トヨタ自動車株式会社 車載中継装置
CN113345126B (zh) * 2021-04-30 2023-05-09 中船航海科技有限责任公司 船舶航行数据记录装置及利用操舵仪记录航行数据的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005275500A (ja) 2004-03-23 2005-10-06 Zenrin Co Ltd 消失点決定方法
JP2009093255A (ja) 2007-10-04 2009-04-30 Seiko Epson Corp ドライブレコーダ、ドライブレコーダシステム、ドライブレコーダの制御方法およびプログラム
JP2016124479A (ja) 2015-01-07 2016-07-11 トヨタ自動車株式会社 車両走行制御装置
JP2017130871A (ja) 2016-01-22 2017-07-27 トヨタ自動車株式会社 車両用画像生成装置
JP2018055474A (ja) 2016-09-29 2018-04-05 パナソニックIpマネジメント株式会社 運行管理システム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07182485A (ja) * 1993-12-24 1995-07-21 Toshiba Corp 移動物体記録装置
JPH08235484A (ja) * 1995-02-28 1996-09-13 Fujitsu Ten Ltd 事故時のデータ記録装置
US6882287B2 (en) * 2001-07-31 2005-04-19 Donnelly Corporation Automotive lane change aid
JP2003134427A (ja) 2001-10-19 2003-05-09 Matsushita Electric Ind Co Ltd 車両用ドライブレコーダ
JP2006350970A (ja) * 2005-06-20 2006-12-28 Hitachi Medical Corp 個体識別システム及び個体識別方法
US9201842B2 (en) * 2006-03-16 2015-12-01 Smartdrive Systems, Inc. Vehicle event recorder systems and networks having integrated cellular wireless communications systems
GB0614184D0 (en) * 2006-07-18 2006-08-23 Farnham John Integrated data logging unit
JP2010068069A (ja) 2008-09-09 2010-03-25 Denso Corp 車両周辺撮影システム
JP5233711B2 (ja) 2009-02-06 2013-07-10 トヨタ自動車株式会社 走行状態記録装置
JP5618627B2 (ja) 2010-05-27 2014-11-05 矢崎エナジーシステム株式会社 車両用ドライブレコーダおよび記録情報管理方法
US20140071283A1 (en) * 2012-09-07 2014-03-13 Khan Ali Yousafi Identification system
CN103020260A (zh) * 2012-12-24 2013-04-03 中国科学院半导体研究所 视频查询方法
EP3640890B1 (en) * 2014-05-22 2023-06-21 Mobileye Vision Technologies Ltd. Systems and methods for braking a vehicle based on a detected object
JP6079705B2 (ja) * 2014-06-23 2017-02-15 トヨタ自動車株式会社 車両用緊急通報装置
KR101592740B1 (ko) * 2014-07-24 2016-02-15 현대자동차주식회사 차량용 광각카메라의 영상 왜곡 보정 장치 및 방법
US10553120B2 (en) * 2014-09-15 2020-02-04 L3 Technologies, Inc. Fail safe aircraft monitoring and tracking
JP2016119547A (ja) 2014-12-19 2016-06-30 トヨタ自動車株式会社 車両データのリモート収集システム
CN105989599A (zh) * 2015-02-15 2016-10-05 西安酷派软件科技有限公司 一种图像处理方法、装置和终端
JP2017138694A (ja) 2016-02-02 2017-08-10 ソニー株式会社 映像処理装置及び映像処理方法
CN105760490B (zh) * 2016-02-17 2019-07-23 北京金山安全软件有限公司 一种存储资源的方法、装置及电子设备
US9919714B2 (en) * 2016-04-19 2018-03-20 GM Global Technology Operations LLC Control systems and methods for loss of communication
CN106375870B (zh) * 2016-08-31 2019-09-17 北京旷视科技有限公司 视频标注方法及装置
CN106982340B (zh) * 2016-11-26 2023-02-28 顺德职业技术学院 一种机器视觉跟踪下目标视频存储的方法及系统
CN107424240A (zh) * 2017-07-25 2017-12-01 郑州云海信息技术有限公司 一种行车记录仪数据的存储方法、装置及系统
US10984543B1 (en) * 2019-05-09 2021-04-20 Zoox, Inc. Image-based depth data and relative depth data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005275500A (ja) 2004-03-23 2005-10-06 Zenrin Co Ltd 消失点決定方法
JP2009093255A (ja) 2007-10-04 2009-04-30 Seiko Epson Corp ドライブレコーダ、ドライブレコーダシステム、ドライブレコーダの制御方法およびプログラム
JP2016124479A (ja) 2015-01-07 2016-07-11 トヨタ自動車株式会社 車両走行制御装置
JP2017130871A (ja) 2016-01-22 2017-07-27 トヨタ自動車株式会社 車両用画像生成装置
JP2018055474A (ja) 2016-09-29 2018-04-05 パナソニックIpマネジメント株式会社 運行管理システム

Also Published As

Publication number Publication date
JP2019204289A (ja) 2019-11-28
US11100338B2 (en) 2021-08-24
US20190362161A1 (en) 2019-11-28
CN110533795A (zh) 2019-12-03
CN110533795B (zh) 2021-10-29

Similar Documents

Publication Publication Date Title
JP7024603B2 (ja) データ記録装置
US10696229B2 (en) Event recording system for a vehicle
US9911335B2 (en) Systems and methods for automatically documenting an accident
US8666599B2 (en) Driving support system
EP3223195B1 (en) Device and method for detecting object
US10726727B2 (en) In-vehicle device, information processing system, and information processing method
JP2006292475A (ja) 物体検出装置
US11847562B2 (en) Obstacle recognition assistance device, obstacle recognition assistance method, and storage medium
JP2020113212A (ja) 異常検出装置、異常検出プログラム、異常検出方法、異常検出システム及び車載器
JP2021091390A (ja) 最も信頼できる入力を決定および使用することによる動的および可変学習
US20200223429A1 (en) Vehicular control system
KR20210063244A (ko) 자율주행차량의 이벤트 데이터 기록을 위한 시스템
WO2014136378A1 (ja) 車外画像保存システム、車外画像保存装置、及び車車間通信装置
JP7069726B2 (ja) 通知装置及び車載機
JP6193177B2 (ja) 動作支援システム及び物体認識装置
US20200126328A1 (en) Terminal device and collection method
JP6284328B2 (ja) 軸重違反車両撮影装置及び軸重違反車両撮影システム
KR102296848B1 (ko) 차량용 사고 영상 기록 장치 및 방법
CN114783180A (zh) 车辆碰撞事故记录方法、系统及车辆
JP6252462B2 (ja) 画像記録装置
JP2016133932A (ja) 車載装置、車載システム、画像データ処理方法及び画像データ処理プログラム
JP2021033521A (ja) 情報処理装置、自動車制御方法、自動車制御プログラムおよび車両
JP2019149076A (ja) ドライブレコーダ、及び画像記録方法
US11577753B2 (en) Safety architecture for control of autonomous vehicle
WO2022144952A1 (ja) 車両制御装置、車両制御方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200923

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220124

R151 Written notification of patent or utility model registration

Ref document number: 7024603

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151