JP6743732B2 - 画像記録システム、画像記録方法、画像記録プログラム - Google Patents

画像記録システム、画像記録方法、画像記録プログラム Download PDF

Info

Publication number
JP6743732B2
JP6743732B2 JP2017049003A JP2017049003A JP6743732B2 JP 6743732 B2 JP6743732 B2 JP 6743732B2 JP 2017049003 A JP2017049003 A JP 2017049003A JP 2017049003 A JP2017049003 A JP 2017049003A JP 6743732 B2 JP6743732 B2 JP 6743732B2
Authority
JP
Japan
Prior art keywords
image
resolution
obstacle
attribute
storage unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017049003A
Other languages
English (en)
Other versions
JP2018152785A (ja
Inventor
裕士 中田
裕士 中田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2017049003A priority Critical patent/JP6743732B2/ja
Priority to US15/913,318 priority patent/US10671861B2/en
Priority to CN201810200470.0A priority patent/CN108574811B/zh
Publication of JP2018152785A publication Critical patent/JP2018152785A/ja
Application granted granted Critical
Publication of JP6743732B2 publication Critical patent/JP6743732B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Emergency Alarm Devices (AREA)
  • Image Processing (AREA)

Description

本開示は、画像記録システム、画像記録方法、及び画像記録プログラムに関する。
撮像装置で撮影された画像を信号処理装置で信号処理した後、画像処理装置で撮影画像の特徴を抽出し、映像信号と共にコンピュータに送って記憶装置に記録する技術が知られている（例えば、特許文献１参照）。
特開2010-124474号公報
ところで、車両の画像記憶部に記憶した画像データを外部へ読み出すことは、例えばＣＡＮ（controller area network）のような車両ネットワークを介して実現できるが、通信速度が比較的低速であり、外部への画像データの読み出しに比較的長い時間を要するという課題がある。
そこで、一側面によれば、本発明は、車両に搭載されるカメラで撮像した画像を、外部へと比較的高速に読み出すことを可能とすることを目的とする。
一側面によれば、車両に搭載されるカメラで撮像した画像と、前記画像の撮像時における前記車両と障害物との衝突までの衝突余裕時間と、前記障害物の属性の認識結果と、を対応付けて記憶する画像記憶部と、
前記障害物の属性ごと、かつ前記衝突余裕時間ごとに出力解像度を記憶した障害物属性別解像度情報を記憶する障害物属性別解像度記憶部と、
外部からの出力要求に応じて、前記画像記憶部から一の画像を読出す際に、前記障害物属性別解像度情報と、前記一の画像に係る前記衝突余裕時間及び前記認識結果とに基づいて、前記一の画像の解像度を低くする品質変更処理を行う品質変更部とを含む、画像記録システムが提供される。
上記の態様によれば、品質変更処理を行うことで、車両に搭載されるカメラで撮像した画像のデータ量が削減され、外部へと比較的高速に読み出すことが可能となる。また、画像の撮像時における車両と障害物との衝突の可能性を表す指標値に基づいて、画像の重要性を考慮した効率的な品質変更処理を実現できる。
一側面によれば、車両に搭載されるカメラで撮像した画像を、外部へと比較的高速に読み出すことが可能となる。
実施形態１による画像記録システム（処理装置）のハードウェア構成の一例を示す図である。 実施形態１による処理装置の機能ブロックの一例を示す図である。 画像記憶部内のデータの一例を示す図である。 ＴＴＣ別解像度情報の一例を示す図である。 障害物属性別解像度情報の一例を示す図である。 画像記憶処理部による画像記憶処理の一例を示すフローチャートである。 記録期間の開始時及び終了時の説明図である。 画像出力処理部による画像出力処理の一例を示すフローチャートである。 出力要求の説明図である。 実施形態１による解像度変更処理の一例を示すフローチャートである。 実施形態２による画像記録システム（処理装置）の機能ブロックの一例を示す図である。 実施形態２による画像記憶処理部による画像記憶処理の一例を示すフローチャートである。 実施形態２による解像度変更処理の一例を示すフローチャートである。
以下、添付図面を参照しながら各実施形態について詳細に説明する。
［実施形態１］
実施形態１では、画像記録システムは、処理装置７を含む。
図１は、実施形態１による処理装置７のハードウェア構成の一例を示す図である。図１には、処理装置７のハードウェア構成に関連付けて、車載電子機器群８が模式的に図示されている。処理装置７は、例えばＣＡＮ（controller area network）やＬＩＮ（Local Interconnect Network）、イーサネット（登録商標）などの車両ネットワーク９を介して、車載電子機器群８に接続される。
処理装置７は、バス１９で接続されたＣＰＵ（Central Processing Unit）１１、ＲＡＭ（Random Access Memory）１２、ＲＯＭ（Read Only Memory）１３、補助記憶装置１４、ドライブ装置１５、及び通信インターフェース１７、並びに、通信インターフェース１７に接続された有線送受信部２５及び無線送受信部２６を含む。但し、無線送受信部２６は省略されてもよい。
補助記憶装置１４は、例えばＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）やＨＤＤ（Hard Disk Drive）などである。
有線送受信部２５は、ＣＡＮ（controller area network）やＬＩＮ（Local Interconnect Network）などの車両ネットワークを利用して通信可能な送受信部を含む。無線送受信部２６は、携帯電話における無線通信網を利用して無線通信可能な送受信部である。尚、処理装置７は、有線送受信部２５に加えて、通信インターフェース１７に接続される第２無線送受信部（図示せず）を備えてもよい。この場合、第２無線送受信部は、近距離無線通信（ＮＦＣ：Near Field Communication）部、ブルートゥース（Bluetooth、登録商標）通信部、Ｗｉ−Ｆｉ（Wireless-Fidelity）送受信部、赤外線送受信部などを含んでもよい。
尚、処理装置７は、記録媒体１６と接続可能であってもよい。記録媒体１６は、所定のプログラムを格納する。この記録媒体１６に格納されたプログラムは、ドライブ装置１５を介して処理装置７の補助記憶装置１４等にインストールされる。インストールされた所定のプログラムは、処理装置７のＣＰＵ１１により実行可能となる。
車載電子機器群８は、カメラ８０と、自車位置測定装置８１と、加速度センサ８２と、前方レーダセンサ８３、ＰＣＳ（Pre-Crash Safety）・ＥＣＵ（Electronic Control Unit）８４と、ディスプレイ８６等を含む。
カメラ８０は、自車前方（自車周辺の環境の一例）を撮像する。以下、カメラ８０で撮像される画像を、「前方環境画像Ｉ」とも称する。尚、カメラ８０は、自車側方を撮像するカメラや、自車後方を撮像するカメラ、車内を撮像するカメラ等であってもよい。
自車位置測定装置８１は、GNSS(Global Navigation Satellite System)衛星からの電波に基づいて、自車位置を測位する。加速度センサ８２は、車体に発生する加速度を検出する。加速度センサ８２は、例えば３軸の各角速度成分を検出する。
前方レーダセンサ８３は、電波（例えばミリ波）、光波（例えばレーザー）又は超音波を検出波として用いて、自車前方における前方障害物（典型的には、前方車両）（以下、単に「障害物」と称する）の状態を検出する。前方レーダセンサ８３は、障害物と自車との関係を示す情報、例えば自車を基準とした障害物の相対速度や距離、横位置を所定の周期で検出する。このようにして前方レーダセンサ８３により検出された障害物情報は、例えば所定周期でＰＣＳ・ＥＣＵ８４に送信される。
ＰＣＳ・ＥＣＵ８４は、前方レーダセンサ８３からの情報に基づいて、自動制動開始条件の成否を判定する。自動制動開始条件は、自車前方の障害物との衝突の可能性があるときに成立する。ＰＣＳ・ＥＣＵ８４は、自動制動開始条件が成立する場合は、自動的に自車を制動する自動制動制御を行う。例えば、障害物との衝突回避制御では、ＰＣＳ・ＥＣＵ８４は、障害物との衝突までの時間：ＴＴＣ（Time to Collision）を算出し、当該算出したＴＴＣが所定閾値Ｔｈ１（例えば１．０［秒］）を下回った場合に自動制動開始条件が満たされたと判定する。尚、ＴＴＣは、例えば、障害物までの距離を、障害物に対する相対速度で割り算することで導出される。所定閾値Ｔｈ１は、障害物の属性に応じて異なってもよい。例えば障害物の属性が"歩行者"の場合は、所定閾値Ｔｈ１＝１．０［秒］であり、障害物の属性が"自転車"の場合は、所定閾値Ｔｈ１＝０．７［秒］であり、障害物の属性が"車両"の場合は、所定閾値Ｔｈ１＝０．５［秒］である。
尚、自動制動制御とは、自車に自動的に制動力を付与する制御である。例えば、自動制動制御とは、運転者によるブレーキペダルの操作が行われていない状況下で、ブレーキアクチュエータ（車載電子機器群８の一要素、図示せず）により各輪のホイールシリンダ圧を増圧することで実現される。自動制動制御の実行中の目標制御値は、ブレーキペダルの操作量以外の因子に基づいて決定される値である。
尚、ＰＣＳ・ＥＣＵ８４は、前方レーダセンサ１２に代えて又はそれに加えて、カメラ８０を用いて、自動制動開始条件の成否を判定してもよい。この場合、カメラ８０は、ステレオカメラであってもよい。ＰＣＳ・ＥＣＵ８４は、例えば画像処理装置を含み、障害物の状態や障害物の属性を画像認識する。障害物の属性は、例えば車両、自転車、歩行者などの種別を表す。障害物の属性は、パターンマッチングや、機械学習に基づく属性認識エンジンを用いて判断できる。ＰＣＳ・ＥＣＵ８４は、画像認識結果に基づいて、障害物と自車との関係を示す情報、例えば自車を基準とした障害物の相対速度や距離、横位置を所定の周期ごとに検出できる。尚、画像処理機能（例えば、障害物の位置算出機能）は、ＰＣＳ・ＥＣＵ８４に接続される画像処理装置により実現されてもよい。
ディスプレイ８６は、例えばタッチパネル式の液晶ディスプレイである。ディスプレイ８６は、自車の乗員（乗員）が目視可能な位置に配置される。ディスプレイ８６は、自車内に固定されるディスプレイであるが、自車内に持ち込まれうる携帯端末のディスプレイであってもよい。この場合、携帯端末と処理装置７との間の通信は、第２無線送受信部（例えばブルートゥース通信部）を介して実現できる。
処理装置７には、車両ネットワーク９を介して、ツール９０（外部装置の一例）を接続できる。
ツール９０は、前方環境画像Ｉの出力要求を後述の処理装置７に与えるために使用される外部装置である。但し、ツール９０は、その他の用途を有する汎用性のあるツールであってもよい。また、ツール９０は、車両メーカから権限を付与されるディーラ等に用意される特別なツールを含み、その他、一般的なユーザが使用できるツールであってもよい。一般的なユーザが使用できるツールとしては、スマートフォンやタブレット端末の形態であってもよい。ツール９０は、通常、車両ネットワーク９には接続されていない。ツール９０は、後述の画像記憶処理部７２４内の前方環境画像Ｉ（カメラ８０で撮像された画像）を読み出す際に、後述の処理装置７に出力要求を与えるために車両ネットワーク９に接続される。
図２は、処理装置７の機能ブロックの一例を示す図である。
処理装置７は、前方環境画像Ｉが撮像された際のＴＴＣ（車両と障害物との衝突の可能性を表す指標値の一例）（以下、「撮像時ＴＴＣ」と称する）に基づいて、前方環境画像Ｉの品質を低くする品質変更処理を行う。前方環境画像Ｉの品質とは、画像のデータ量の影響する品質であり、品質に係る指標値は、画像の解像度や画像の色数（各画素が有しうる色数）を含む。解像度は、例えば一インチ当たりの画素数「ｄｐｉ：pixel per inch」で定義されるが、640x480や、1280x960や、Full HD（Full High Definition）や4Kといった、縦横の画素数など画素数関係の指標値で定義されてもよい。尚、縦横の画素数を落とす品質変更処理は、単純なシュリンク処理であってよい。さらに色数は、例えばモノクロ、8bitカラー、24bitカラーのような、表現される色の数である。色数は、例えば色深度（bits per pixel（bpp））という指標値で定義されてもよい。尚、色数を落とす品質変更処理は、単純な処理であってよい。また、品質変更処理は、不可逆的な圧縮処理により実現されてよい。これは、不可逆的な圧縮処理を行うと、画像が劣化し、例えば画像の見易さ（鮮明さなど）が低下するためである。
例えば、品質変更処理は、前方環境画像Ｉの解像度及び色数の双方を低くすることや、いずれか一方のみを低くすることを含む。解像度変更処理の更なる具体例は後述する。以下（後述の実施形態２についても同様）では、一例として、品質変更処理は、前方環境画像Ｉの解像度を低下する処理であるとする。尚、品質変更処理が色数を落とす処理である場合や、色数を落とす処理を含む場合は、色数は、後述の出力解像度と同様の態様で（同様の考え方に基づいて）設定されればよい。これは、色数が高くなるほど、画像のデータ量が大きくなる点で解像度で共通し、解像度の場合と略同様に扱うことができるためである。
処理装置７は、画像記憶部７１０と、ＴＴＣ別解像度記憶部７１２と、障害物属性別解像度記憶部７１４とを含む。画像記憶部７１０、ＴＴＣ別解像度記憶部７１２、及び障害物属性別解像度記憶部７１４は、補助記憶装置１４により実現できる。また、処理装置７は、画像取得部７２２と、画像記憶処理部７２４と、解像度変更部７２６（品質変更部の一例）と、画像出力処理部７２８とを含む。画像取得部７２２、画像記憶処理部７２４、解像度変更部７２６、及び画像出力処理部７２８は、ＣＰＵ１１がＲＯＭ１３や補助記憶装置１４内の１つ以上のプログラムを実行することで実現できる。
画像記憶部７１０は、前方環境画像Ｉを記憶する。実施形態１では、一例として、前方環境画像Ｉは、イベントＩＤと対応付けて、画像記憶部７１０内の記録領域に記憶される。イベントＩＤとは、記録領域への前方環境画像Ｉの記録を行う画像記憶処理のトリガとなるイベント（後述）に付与されるＩＤ（Identification）である。図３は、画像記憶部７１０内のデータの一例を示す図である。図３において、「＊＊」は何らかの情報が入っていることを示す。図３に示す例では、画像記憶部７１０は、複数の記録領域（図３の記録領域Ｂ１、Ｂ２等）を有し、記録領域ごとに前方環境画像Ｉに係る画像データ（例えば"記録領域Ｂ１"に記憶されたフレーム１〜Ｎの前方環境画像Ｉからなる画像データ参照）が記憶される。また、前方環境画像Ｉに係る画像データは、タイムスタンプと、撮像時ＴＴＣとに対応付けて記憶される。タイムスタンプは、ＣＰＵ１１のクロックごとに加算されるタイムスタンプカウンタの値に基づいて生成される。タイムスタンプは、例えばイグニッションスイッチのオン時からの経過時間を示す。撮像時ＴＴＣは、ＰＣＳ・ＥＣＵ８４から得られるＴＴＣに基づいて取得できる。また、ＰＣＳ・ＥＣＵ８４が障害物の属性を認識した場合は、障害物の属性がイベントＩＤに対応付けて記憶される。障害物の属性は、同様にＰＣＳ・ＥＣＵ８４から取得できる。尚、図３では、イベントＩＤ"000002"については、障害物の属性が"Ｎ／Ａ"であり、ＰＣＳ・ＥＣＵ８４が障害物の属性を認識しなかったまたはできなかったことを表す。他方、イベントＩＤ"000001"については、障害物の属性が"車両"であり、ＰＣＳ・ＥＣＵ８４が障害物の属性を"車両"と認識したことを表す。
ＴＴＣ別解像度記憶部７１２は、撮像時ＴＴＣごとに出力解像度が対応付けられたＴＴＣ別解像度情報が記憶される。出力解像度とは、前方環境画像Ｉを読み出して出力する際の解像度である。例えば、ＴＴＣ別解像度情報は、撮像時ＴＴＣが小さいほど出力解像度が高くなる態様で、予め用意される。図４は、ＴＴＣ別解像度情報の一例を示す図である。図４では、撮像時ＴＴＣの範囲（撮像時ＴＴＣ≧α１、α１＞撮像時ＴＴＣ≧α２等）ごとに、出力解像度（図３の"低"、"中"等）が記憶される。尚、ＴＴＣ別解像度情報は、事後的な変更が可能とされてよい。出力解像度が"高"とは、カメラ８０で得られる解像度に対応する。
障害物属性別解像度記憶部７１４は、障害物の属性ごとに出力解像度が対応付けられた障害物属性別解像度情報が記憶される。図５は、障害物属性別解像度情報の一例を示す図である。図５では、障害物の属性（車両、歩行者等）ごと、かつ、撮像時ＴＴＣごとに、出力解像度（図５の"低"、"中"等）が記憶される。尚、障害物属性別解像度情報は、事後的な変更が可能とされてよい。尚、図５において、α１〜α３、β１〜β３、γ１〜γ３は、撮像時ＴＴＣの範囲を規定する境界値であり、障害物の属性に応じて異なる場合がある。α３、β３、γ３は、例えば"０"である。α１〜α３、β１〜β３、及びγ１〜γ３は、ユーザにより変更が可能とされてもよい。
本実施形態では、一例として、障害物属性別解像度情報は、図５に示すように、障害物の属性ごとに、ＴＴＣ別解像度情報を含む形態である。変形例では、図５に示す障害物属性別解像度情報は、図４に示すＴＴＣ別解像度情報を含む形態であってもよい。この場合、障害物の属性が"不明"である場合、図４に示すＴＴＣ別解像度情報が使用される態様で、障害物の属性ごとに、ＴＴＣ別解像度情報が用意されてよい。また、図４及び図５では、一例として、α１〜α３が共通であるが、図４のα１〜α３と、図５のα１〜α３とは、異なってもよい。
画像取得部７２２は、カメラ８０から前方環境画像Ｉを取得する。画像取得部７２２は、カメラ８０から前方環境画像Ｉを所定のフレーム周期毎に取得する。画像取得部７２２は、取得した前方環境画像Ｉを、例えばＦＩＦＯ（First‐In, First‐Out）形式で画像記憶部７１０に保存する。例えば、画像取得部７２２は、記録期間Ｔ１にわたる前方環境画像Ｉを、ＦＩＦＯ形式でリングバッファ(図示せず)に書き込む。
画像記憶処理部７２４は、所定のイベントを検出した場合に、リングバッファに記憶されている画像データ（記録期間Ｔ１内の複数時点の前方環境画像Ｉを含む画像データ）を、画像記憶部７１０内の所定の記録領域に記録（転送）する。
解像度変更部７２６は、前方環境画像Ｉの解像度を低くする解像度変更処理を行う。解像度変更処理は、例えば画素を間引く処理や、例えば４画素分を１画素に平均化する処理（いわゆるピラミッド処理）により実現されてもよい。尚、ピラミッド処理は、例えば、画像ピラミッドとしてガウシアンピラミッドを構築することで実現されてもよい。実施形態１では、解像度変更部７２６は、ツール９０を介して入力される外部からの出力要求に応答して、画像記憶部７１０から前方環境画像Ｉを読み出す際に、解像度変更処理を行う。解像度変更処理は、前方環境画像Ｉ全体の解像度の変更を行う処理であるが、前方環境画像Ｉの一部の解像度の変更を行う処理であってもよい。
解像度変更部７２６は、撮像時ＴＴＣに基づいて、前方環境画像Ｉの解像度を低くする。具体的には、解像度変更部７２６は、一の前方環境画像Ｉについては、該一の前方環境画像Ｉに係る撮像時ＴＴＣと、ＴＴＣ別解像度記憶部７１２内のＴＴＣ別解像度情報（図４）とに基づいて、該撮像時ＴＴＣに対応付けられた出力解像度に、該一の前方環境画像Ｉの解像度を変更する。
解像度変更部７２６は、ＰＣＳ・ＥＣＵ８４が障害物の属性を認識していた場合（即ち画像記憶部７１０において、後述の読出対象イベントＩＤに障害物の属性が対応付けられている場合）、障害物属性別解像度記憶部７１４内の障害物属性別解像度情報（図５）に基づいて、撮像時ＴＴＣと、障害物の属性とに基づいて、前方環境画像Ｉの解像度を低くする。具体的には、解像度変更部７２６は、読出対象イベントＩＤ（後述）における一の前方環境画像Ｉについては、該一の前方環境画像Ｉに係る撮像時ＴＴＣと、読出対象のイベントＩＤに対応付けられた障害物の属性と、ＴＴＣ別解像度記憶部７１２内のＴＴＣ別解像度情報とに基づいて、該撮像時ＴＴＣ及び該障害物の属性に対応付けられた出力解像度に、該一の前方環境画像Ｉの解像度を変更する。
画像出力処理部７２８は、前方環境画像Ｉの出力要求を受けると、画像記憶部７１０内の前方環境画像Ｉを出力する。実施形態１では、一例として、出力要求は、ツール９０を介して入力される。画像出力処理部７２８は、解像度変更部７２６による解像度変更処理を経た前方環境画像Ｉをツール９０に出力する。
実施形態１によれば、解像度変更部７２６を備えることで、前方環境画像Ｉの解像度を変更可能とすることができる。即ち、実施形態１によれば、画像記憶部７１０から前方環境画像Ｉを読み出す際に、解像度変更部７２６が解像度変更処理を行うことで、画像出力処理部７２８は、解像度変更処理を経た前方環境画像Ｉを、ツール９０に出力できる。解像度変更処理を経た前方環境画像Ｉは、解像度変更処理に起因して解像度が低くされた場合は、解像度変更処理後にデータ量が低減される。従って、解像度変更部７２６が解像度変更処理を行うことで、解像度変更処理を行わない場合に比べて、高速に前方環境画像Ｉを画像記憶部７１０から読み出すことができる。
尚、上述した実施形態１では、前方環境画像Ｉの出力要求は、ツール９０を介して入力され、画像記憶部７１０から読み出される前方環境画像Ｉは、ツール９０に出力されるが、これに限られない。例えば、前方環境画像Ｉの出力要求は、ツール９０を介して入力され、画像記憶部７１０から読み出される前方環境画像Ｉは、ツール９０以外の外部装置（例えば、サーバ）に出力されてもよい。この場合、サーバへの出力は、無線送受信部２６を用いて実現できる。また、前方環境画像Ｉの出力要求は、ツール９０以外の外部装置（例えばサーバ）を介して入力され、画像記憶部７１０から読み出される前方環境画像Ｉは、出力要求元のサーバに出力されてもよい。或いは、前方環境画像Ｉの出力要求は、ツール９０を介して入力され、画像記憶部７１０から読み出される前方環境画像Ｉは、自車内のディスプレイ８６（表示装置の一例）に出力（表示）されてもよい。或いは、前方環境画像Ｉの出力要求は、自車内の装置を介して入力され、画像記憶部７１０から読み出される前方環境画像Ｉは、自車内のディスプレイ８６に出力されてもよい。
また、上述した実施形態１において、ＰＣＳ・ＥＣＵ８４が障害物の属性を認識する機能を備えない場合は、障害物属性別解像度記憶部７１４は省略されてもよい。
次に、図６乃至図９を参照して、実施形態１による画像記録システム（処理装置７）の動作例の要部について、フローチャートを用いて説明する。
図６は、画像記憶処理部７２４による画像記憶処理の一例を示すフローチャートである。図６に示す処理は、例えば、イグニッションスイッチのオン状態において、所定周期毎に実行される。
ステップＳ６００では、画像記憶処理部７２４は、ＰＣＳ・ＥＣＵ８４から書き込み要求を受信したか否かを判定する。ＰＣＳ・ＥＣＵ８４は、ＴＴＣが所定閾値Ｔｈ２以下となる所定のイベント（以下、「イベント」と称する）を検出した場合に、書き込み要求を車両ネットワーク９に送信する。ＰＣＳ・ＥＣＵ８４が障害物の属性を認識した場合は、書き込み要求には、障害物の属性を特定できる情報が含められる。この場合、画像記憶処理部７２４は、ＰＣＳ・ＥＣＵ８４からの書き込み要求に基づいて、今回のイベントに係る障害物の属性を検知できる。尚、所定閾値Ｔｈ２が所定閾値Ｔｈ１よりも大きい場合は、自動制動開始条件の成立は、イベントの発生を事前に伴う。判定結果が"ＹＥＳ"の場合は、ステップＳ６０２に進み、それ以外の場合は、今回周期の処理を終了する。
ステップＳ６０２では、画像記憶処理部７２４は、今回のイベントに対してイベントＩＤを付与する。
ステップＳ６０４では、画像記憶処理部７２４は、今回のイベントの属性に応じて記録期間Ｔ１の開始時及び終了時を設定する。例えば、記録期間Ｔ１は、図７に示すように、イベント検出時ｔ２から始まる期間Ａ（ｔ２〜ｔ４）、イベント検出時ｔ２に終了する期間Ｃ（ｔ０〜ｔ２）、又はイベント検出時ｔ２の前後を含む期間Ｂ（ｔ１〜ｔ３）である。衝突前イベントの場合、例えば期間Ａが用いられるが、これに限られない。
ステップＳ６０６では、画像記憶処理部７２４は、今回のイベントに係る画像データの記録先の記録領域（画像記憶部７１０内の記録領域）を決定する。記録領域は空きがあればそれを用いる。尚、記録領域は有限であるので（図３参照）、記録領域の全てに画像データが既に記憶されている場合は、例えば、最も古い画像データが記録されている記録領域が使用されてもよいし、イベントＩＤに応じて優先度を設けてもよい。
ステップＳ６０８では、画像記憶処理部７２４は、ステップＳ６０４で設定した記録期間Ｔ１の終了時に到達したか否か（即ち現時点が記録期間Ｔ１の終了時であるか否か）を判定する。判定結果が"ＹＥＳ"の場合は、ステップＳ６１０に進み、それ以外の場合は、ステップＳ６０９を経由しつつ、記録期間Ｔ１の終了時を待機する待機状態となる。尚、図示しないが、待機状態においてイグニッションスイッチがオフしたときは、ステップＳ６１０に進み、ステップＳ６１０の処理を行ってから終了する。
ステップＳ６０９では、画像記憶処理部７２４は、記録期間Ｔ１中に所定周期毎にＰＣＳ・ＥＣＵ８４から得られるＴＴＣに、その時点のタイムスタンプを付与する。
ステップＳ６１０では、画像記憶処理部７２４は、リングバッファに記憶されている画像データのうちの、ステップＳ６０４で設定した記録期間Ｔ１中の前方環境画像Ｉを、ステップＳ６０６で決定した記録領域（画像記憶部７１０内の記録領域）に記録（転送）する。
ステップＳ６１２では、画像記憶処理部７２４は、画像記憶部７１０において、ステップＳ６０６で決定した記録領域に、ステップＳ６０２で付与したイベントＩＤを対応付ける（図３参照）。
ステップＳ６１４では、画像記憶処理部７２４は、各前方環境画像Ｉに付与されるタイムスタンプと、各ＴＴＣに付与されるタイムスタンプ（ステップＳ６０９）とに基づいて、画像記憶部７１０において各前方環境画像Ｉに各ＴＴＣを対応付ける。画像記憶部７１０において各前方環境画像Ｉに対応付けられたＴＴＣは、撮像時ＴＴＣとして機能する。
ステップＳ６１６では、画像記憶処理部７２４は、ステップＳ６００で得た書き込み要求に、障害物の属性を特定できる情報が含まれているか否かを判定する。判定結果が"ＹＥＳ"の場合は、ステップＳ６１８に進み、それ以外の場合は、今回周期の処理を終了する。
ステップＳ６１８では、画像記憶処理部７２４は、画像記憶部７１０においてイベントＩＤに対応付けて障害物の属性を記憶する。
図６に示す画像記憶処理によれば、イベントが発生した場合に、記録期間Ｔ１にわたる画像データ（複数時点の前方環境画像Ｉ）を画像記憶部７１０に記憶できる。この際、画像記憶部７１０においては、イベントＩＤを対応付けて、各前方環境画像Ｉが記憶されると共に、各前方環境画像Ｉに対応付けて撮像時ＴＴＣが記憶される。また、ＰＣＳ・ＥＣＵ８４が障害物の属性を認識したイベントの場合は、画像記憶部７１０においては、イベントＩＤを対応付けて、障害物の属性が記憶される。
図８は、画像出力処理部７２８による画像出力処理の一例を示すフローチャートである。図８に示す画像出力処理は、車両ネットワーク９にツール９０が接続された状態において、所定周期毎に実行される。
ステップＳ８００では、画像出力処理部７２８は、ツール９０から出力要求を受信したか否かを判定する。実施形態１では、一例として、出力要求は、図９に示す各種情報を含む送信信号として、ツール９０から車両ネットワーク９に送信される。図９では、送信信号は、送信信号ＩＤと、読出対象イベントＩＤと、要求解像度とを含む。送信信号ＩＤは、送信信号の種別が"出力要求"であることを画像出力処理部７２８が検知できる情報である。読出対象イベントＩＤは、画像記憶部７１０内のどのイベントＩＤに係る画像データの出力を要求しているかを、画像出力処理部７２８が特定できる情報である。読出対象イベントＩＤは、読み出し対象の記録領域を指定する情報であってもよい。尚、ツール９０のユーザは、例えば、ツール９０を用いて抽出できるダイアグ情報に含まれるイベント情報に基づいて、読出対象イベントＩＤを指定してもよい。要求解像度は、ユーザによる出力解像度の要求値であり、実施形態１では、一例として、"高"又は"低"の２値である。要求解像度が"高"の場合は"低"の場合よりも読み出し速度が遅くなるので、ユーザは、必要な解像度と、所望の読み出し速度とを考慮して、出力解像度の要求値を選択することになる。判定結果が"ＹＥＳ"の場合は、ステップＳ８０２に進み、それ以外の場合は、今回周期の処理を終了する。
ステップＳ８０２では、画像出力処理部７２８は、要求解像度が"低"であるか否かを判定する。判定結果が"ＹＥＳ"の場合は、ステップＳ８０４に進み、それ以外の場合は、ステップＳ８１０に進む。
ステップＳ８０４では、画像出力処理部７２８は、ステップＳ８００で得た読出対象イベントＩＤを解像度変更部７２６に与えて、解像度変更部７２６に解像度変更処理を実行させる。この解像度変更処理は、図１０を参照して後述する。
ステップＳ８０６では、画像出力処理部７２８は、解像度変更部７２６による解像度変更処理が完了したか否かを判定する。判定結果が"ＹＥＳ"の場合は、ステップＳ８０８に進み、それ以外の場合は、解像度変更部７２６による解像度変更処理を待機する待機状態となる。
ステップＳ８０８では、画像出力処理部７２８は、ステップＳ８０６での解像度変更処理を経た前方環境画像Ｉをツール９０に出力する。
ステップＳ８１０では、画像出力処理部７２８は、読出対象イベントＩＤに係るイベントＩＤに対応付けられた全ての前方環境画像Ｉを、画像記憶部７１０から読み出し、そのまま（即ち解像度変更処理を行うことなく）ツール９０に出力する。
図８に示す処理によれば、画像出力処理部７２８は、ツール９０から出力要求を受信すると、要求解像度に応じた出力解像度で前方環境画像Ｉをツール９０に出力する。これにより、出力解像度よりも読み出し速度を優先させたいユーザに対しては、比較的高速に読出対象イベントＩＤに係る画像データを出力できる。
尚、図８に示す例では、画像出力処理部７２８は、出力要求内の要求解像度に応じて解像度変更処理の要否を判定しているが、これに限られない。画像出力処理部７２８は、常に解像度変更処理を実行させることとしてもよい。この場合、出力要求内の要求解像度は不要である。或いは、画像出力処理部７２８は、出力要求のユーザの属性や、出力要求を受信した際の自車位置等に基づいて、解像度変更処理の要否を判定してもよい。
図１０は、解像度変更部７２６による解像度変更処理の一例を示すフローチャートである。図１０に示す解像度変更処理は、図８のステップＳ８０４に係る読出対象イベントＩＤの入力をトリガとして実行される。
ステップＳ１０００では、解像度変更部７２６は、画像記憶部７１０（図３参照）において、読出対象イベントＩＤに対応付けられた障害物の属性が記憶されているか否かを判定する。判定結果が"ＹＥＳ"の場合は、ステップＳ１００２に進み、それ以外の場合は、ステップＳ１００４に進む。
ステップＳ１００２では、解像度変更部７２６は、障害物属性別解像度記憶部７１４内の障害物属性別解像度情報（図５）に基づいて、障害物の属性に応じたＴＴＣ別解像度情報を抽出する。
ステップＳ１００４では、解像度変更部７２６は、ＴＴＣ別解像度記憶部７１２内のＴＴＣ別解像度情報（図４）を抽出する。
ステップＳ１００２又はステップＳ１００４が終了すると、ステップＳ１００６に進む。ステップＳ１００６以降では、ステップＳ１００２又はステップＳ１００４で抽出されたＴＴＣ別解像度情報が用いられる。ステップＳ１００６以降の説明では、ステップＳ１００２又はステップＳ１００４で抽出されたＴＴＣ別解像度情報を、単に「ＴＴＣ別解像度情報」とも称する。
ステップＳ１００６では、解像度変更部７２６は、ｋ＝１に設定する。
ステップＳ１００８では、解像度変更部７２６は、読出対象イベントＩＤに対応付けられた複数の前方環境画像Ｉのうちから、ｋ番目の前方環境画像Ｉを画像記憶部７１０から読み出す。例えば、ｋ番目の前方環境画像Ｉとは、読出対象イベントＩＤに対応付けられた複数の前方環境画像Ｉのうちの、時系列でｋ番目に撮像された前方環境画像Ｉであってよい。
ステップＳ１０１０では、解像度変更部７２６は、ＴＴＣ別解像度記憶部７１２内のデータ（図３参照）に基づいて、ｋ番目の前方環境画像Ｉに対応付けられた撮像時ＴＴＣを取得する。
ステップＳ１０１２では、解像度変更部７２６は、ステップＳ１０１０で得た撮像時ＴＴＣと、ＴＴＣ別解像度情報（図４又は図５）とに基づいて、ステップＳ１０１０で得た撮像時ＴＴＣに対応付けられた出力解像度（"低"、"中"又は"高"）を取得する。
ステップＳ１０１４では、解像度変更部７２６は、ステップＳ１０１２で得た出力解像度が"高"であるか否かを判定する。判定結果が"ＹＥＳ"の場合は、ステップＳ１０１８に進み、それ以外の場合（即ち出力解像度が"低"又は"中"である場合）は、ステップＳ１０１６に進む。
ステップＳ１０１６では、解像度変更部７２６は、ステップＳ１０１２で得た出力解像度に、ｋ番目の前方環境画像Ｉの解像度を変更する（低くする）。
ステップＳ１０１８では、解像度変更部７２６は、ｋを"１"だけインクリメントする。
ステップＳ１０２０では、解像度変更部７２６は、ｋが、読出対象イベントＩＤに対応付けられた複数の前方環境画像Ｉの総数Ｎよりも大きいか否かを判定する。判定結果が"ＹＥＳ"の場合は、そのまま終了し、それ以外の場合は、ステップＳ１００８からの処理を継続する。
図１０に示す処理によれば、解像度変更部７２６は、障害物の属性に応じたＴＴＣ別解像度情報を用いて、前方環境画像Ｉごとに、撮像時ＴＴＣに応じて、前方環境画像Ｉの解像度を変更（又は維持）できる。
［実施形態２］
実施形態２では、画像記録システムは、処理装置７Ａを含む。実施形態２は、上述した実施形態１に対して、解像度変更処理を行うタイミングが異なる。以下では、実施形態２に特有に構成について主に説明し、実施形態２において上述した実施形態１と同様であってよい構成要素については、同一の参照符号を付して説明を省略する場合がある。
図１１は、実施形態２による処理装置７Ａの機能ブロックの一例を示す図である。
実施形態２による処理装置７Ａは、上述した実施形態１による処理装置７に対して、ハードウェア構成は同じであるが、画像記憶処理部７２４、解像度変更部７２６及び画像出力処理部７２８が、画像記憶処理部７２４Ａ、解像度変更部７２６Ａ（品質変更部の一例）及び画像出力処理部７２８Ａでそれぞれ置換された点が異なる。尚、画像記憶処理部７２４Ａ、解像度変更部７２６Ａ及び画像出力処理部７２８Ａは、ＣＰＵ１１がＲＯＭ１３や補助記憶装置１４内の１つ以上のプログラムを実行することで実現できる。
画像記憶処理部７２４Ａは、上述した実施形態１による画像記憶処理部７２４に対して、解像度変更部７２６Ａによる解像度変更処理を経てから前方環境画像Ｉを、画像記憶部７１０に記憶する点が異なる。換言すると、解像度変更部７２６Ａは、画像記憶部７１０に前方環境画像Ｉが記憶される際に、解像度変更処理を行う。尚、「画像記憶部７１０に前方環境画像Ｉが記憶される際」とは、「画像記憶部７１０に前方環境画像Ｉが記憶される直前」や、「画像記憶部７１０に前方環境画像Ｉが記憶される直後」を含む概念である。解像度変更処理は、タイミング以外は、上述した実施形態１と同じである。
画像出力処理部７２８Ａは、上述した実施形態１による画像出力処理部７２８に対して、ツール９０からの出力要求に応じて、画像記憶部７１０から読み出した前方環境画像Ｉを、そのまま（即ち解像度変更処理を行うことなく）ツール９０に出力する点が異なる。
実施形態２によっても、上述した実施形態１と同様の効果を得ることができる。即ち、実施形態２によっても、解像度変更部７２６Ａを備えることで、前方環境画像Ｉを、画像記憶部７１０から比較的高速に読み出すことが可能となる。
尚、実施形態２では、解像度変更部７２６Ａは、画像記憶部７１０に前方環境画像Ｉが記憶される際に、解像度変更処理を行うが、これに限られない。例えば、解像度変更部７２６Ａは、画像記憶部７１０に前方環境画像Ｉが記憶された後、出力要求に応じて前方環境画像Ｉが画像記憶部７１０から読み出されるまでに、解像度変更処理を行うこととしてもよい。
次に、図１２を参照して、実施形態２による画像記録システム（処理装置７Ａ）の動作例の要部について、フローチャートを用いて説明する。
図１２は、画像記憶処理部７２４Ａによる画像記憶処理の一例を示すフローチャートである。図１２に示す画像記憶処理は、例えば、イグニッションスイッチのオン状態において、所定周期毎に実行される。
ステップＳ１２００では、画像記憶処理部７２４Ａは、第１画像記憶処理を実行する。第１画像記憶処理は、図６に示した画像記憶処理（ステップＳ６００〜ステップＳ６１８）のとおりである。ステップＳ６１６での判定結果が"ＮＯ"の場合、又は、ステップＳ６１８が終了すると、ステップＳ１２０２に進む。
ステップＳ１２０２では、画像記憶処理部７２４Ａは、ユーザによる設定解像度が"低"であるか否かを判定する。設定解像度は、ユーザにより変更可能な設定値である。判定結果が"ＹＥＳ"の場合は、ステップＳ１２０４に進み、それ以外の場合は、ステップＳ１２１０に進む。
ステップＳ１２０４では、画像記憶処理部７２４Ａは、今回のイベントのイベントＩＤを解像度変更部７２６Ａに与えて、解像度変更部７２６Ａに解像度変更処理を実行させる。この解像度変更処理は、図１３を参照して後述する。
ステップＳ１２０６では、画像記憶処理部７２４Ａは、解像度変更部７２６Ａによる解像度変更処理が完了したか否かを判定する。判定結果が"ＹＥＳ"の場合は、ステップＳ１２０８に進み、それ以外の場合は、解像度変更部７２６Ａによる解像度変更処理を待機する待機状態となる。
ステップＳ１２０８では、画像記憶処理部７２４Ａは、ステップＳ１２０６での解像度変更処理を経た前方環境画像Ｉを、今回のイベントのイベントＩＤに係る記録領域（画像記憶部７１０内の記録領域）に記憶（上書き）する。
図１２に示す処理によれば、画像記憶処理部７２４Ａは、イベントが発生した場合に、ユーザによる設定解像度に応じて、解像度変更部７２６Ａによる解像度変更処理を経た前方環境画像Ｉを、画像記憶部７１０に記憶できる。
尚、図１２に示す処理では、ユーザによる設定解像度に応じて、解像度変更処理の要否を判定しているが、これに限られない。画像記憶処理部７２４Ａは、常に解像度変更部７２６Ａに解像度変更処理を実行させることとしてもよい。この場合、設定解像度は不要である。或いは、画像記憶処理部７２４Ａは、現在の自車位置等に基づいて、解像度変更処理の要否を判定してもよい。
また、図１２に示す処理では、画像記憶処理部７２４Ａは、今回のイベントに係る前方環境画像Ｉを、画像記憶部７１０内の記録領域に一旦記憶してから、解像度変更部７２６Ａに解像度変更処理を実行させているが、これに限られない。例えば、画像記憶処理部７２４Ａは、解像度変更部７２６Ａをして、リングバッファに記憶されている画像データのうちの、記録期間Ｔ１中の前方環境画像Ｉに対して解像度変更処理を実行させ、かつ、解像度変更処理された前方環境画像Ｉを、画像記憶部７１０内の記録領域に記憶させることとしてもよい。
図１３は、解像度変更部７２６Ａによる解像度変更処理の一例を示すフローチャートである。図１３に示す解像度変更処理は、図１２のステップＳ１２０４に係る今回のイベントＩＤの入力をトリガとして実行される。
ステップＳ１３００では、解像度変更部７２６Ａは、画像記憶部７１０（図３参照）において、今回のイベントＩＤに対応付けられた障害物の属性が記憶されているか否かを判定する。判定結果が"ＹＥＳ"の場合は、ステップＳ１３０２に進み、それ以外の場合は、ステップＳ１３０４に進む。
ステップＳ１３０２では、解像度変更部７２６Ａは、障害物属性別解像度記憶部７１４内の障害物属性別解像度情報（図５）に基づいて、障害物の属性に応じたＴＴＣ別解像度情報を抽出する。
ステップＳ１３０４では、解像度変更部７２６Ａは、ＴＴＣ別解像度記憶部７１２内のＴＴＣ別解像度情報を抽出する。
ステップＳ１３０２又はステップＳ１３０４が終了すると、ステップＳ１３０６に進む。ステップＳ１３０６以降では、ステップＳ１３０２又はステップＳ１３０４で抽出されたＴＴＣ別解像度情報が用いられる。ステップＳ１３０６以降の説明では、ステップＳ１３０２又はステップＳ１３０４で抽出されたＴＴＣ別解像度情報を、単に「ＴＴＣ別解像度情報」とも称する。
ステップＳ１３０６では、解像度変更部７２６Ａは、ｋ＝１に設定する。
ステップＳ１３０８では、解像度変更部７２６Ａは、今回のイベントＩＤに対応付けられた複数の前方環境画像Ｉのうちから、ｋ番目の前方環境画像Ｉを画像記憶部７１０から読み出す。例えば、ｋ番目の前方環境画像Ｉとは、今回のイベントＩＤに対応付けられた複数の前方環境画像Ｉのうちの、時系列でｋ番目に撮像された前方環境画像Ｉであってよい。
ステップＳ１３１０では、解像度変更部７２６Ａは、ＴＴＣ別解像度記憶部７１２内のデータ（図３参照）に基づいて、ｋ番目の前方環境画像Ｉに対応付けられた撮像時ＴＴＣを取得する。
ステップＳ１３１２では、解像度変更部７２６Ａは、ステップＳ１３１０で得た撮像時ＴＴＣと、ＴＴＣ別解像度情報（図４又は図５）とに基づいて、ステップＳ１３１０で得た撮像時ＴＴＣに対応付けられた出力解像度（"低"、"中"又は"高"）を取得する。
ステップＳ１３１４では、解像度変更部７２６Ａは、ステップＳ１３１２で得た出力解像度が"高"であるか否かを判定する。判定結果が"ＹＥＳ"の場合は、ステップＳ１３１８に進み、それ以外の場合（即ち出力解像度が"低"又は"中"である場合）は、ステップＳ１３１６に進む。
ステップＳ１３１６では、解像度変更部７２６Ａは、ステップＳ１３１２で得た出力解像度に、ｋ番目の前方環境画像Ｉの解像度を変更する（低くする）。
ステップＳ１３１８では、解像度変更部７２６Ａは、ｋを"１"だけインクリメントする。
ステップＳ１３２０では、解像度変更部７２６Ａは、ｋが、今回のイベントＩＤに対応付けられた複数の前方環境画像Ｉの総数Ｎ１よりも大きいか否かを判定する。判定結果が"ＹＥＳ"の場合は、そのまま終了し、それ以外の場合は、ステップＳ１３０８からの処理を継続する。
図１３に示す処理によれば、解像度変更部７２６Ａは、障害物の属性に応じたＴＴＣ別解像度情報を用いて、前方環境画像Ｉごとに、撮像時ＴＴＣに応じて、前方環境画像Ｉの解像度を変更（又は維持）できる。
以上、各実施形態について詳述したが、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施形態の構成要素を全部又は複数を組み合わせることも可能である。
例えば、上述した実施形態１（実施形態２も同様）では、車両と障害物との衝突の可能性を表す指標値の一例として、撮像時ＴＴＣが用いられるが、これに限られない。例えば、撮像時ＴＴＣと他のパラメータとの組み合わせで導出される指標値が使用されてもよい。例えば、撮像時ＴＴＣと、他のパラメータとして横位置（前方環境画像Ｉの撮像時の横位置）との組み合わせで導出される指標値が用いられてもよい。この指標値は、横位置が小さいほど（自車と障害物との横方向の位置の差が小さいほど）高くなり、かつ、撮像時ＴＴＣが小さいほど高くなる態様であってよい。この場合、ＴＴＣ別解像度情報に代えて、指標値ごとに出力解像度が対応付けられた指標値別解像度情報が用いられる。指標値別解像度情報では、指標値が低いほど出力解像度が低くなる態様で、指標値ごとに出力解像度が対応付けられる。
また、車両と障害物との衝突の可能性を表す指標値の他の例は、所定領域内に障害物が検出されたか否かを表す値（即ち、"ＴＲＵＥ"か"ＦＡＬＳＥ"）であってもよい。所定領域は、車両と衝突の可能性がある障害物の存在領域として予め規定される。所定領域内の障害物は、上述の前方レーダセンサ８３により検出できる。例えば、前方レーダセンサ８３が超音波を用いる測距センサである場合、障害物の有無を表す値が、車両と障害物との衝突の可能性を表す指標値の他の例となる。この場合、所定領域は、測距センサの検知領域に対応してよい。この場合、処理装置７は、指標値が"ＦＡＬＳＥ（所定領域内に障害物が検出されていないことを表す値）"であるときに撮像された前方環境画像Ｉに対して品質変更処理を行う。尚、前方レーダセンサ８３が測距センサである場合、例えば図６に示す画像記憶処理において、画像記憶処理部７２４は、前方レーダセンサ８３が障害物を検出したイベントに応答して、記録期間Ｔ１の開始時及び終了時を設定する（ステップＳ６０４参照）。この場合、期間Ａ、期間Ｂ、及び期間Ｃのいずれかが使用されてもよいし、前方レーダセンサ８３が障害物を検出している間が記録期間Ｔ１として設定されてもよい。
また、上述した実施形態１（実施形態２も同様）では、前方レーダセンサ８３が用いられているが、前方レーダセンサ８３に代えて又は加えて、車両側方及び／又は車両後方を監視するレーダセンサや画像センサが用いられてもよい。例えば、車両側方を監視する側方レーダセンサを用いる場合、側方レーダセンサによる障害物の検出の有無を表す値が、所定領域内に障害物が検出されたか否かを表す値の他の例（車両と障害物との衝突の可能性を表す指標値の他の例）となる。この場合、所定領域は、側方レーダセンサの検知領域に対応してよい。この場合、処理装置７は、指標値が"ＦＡＬＳＥ（側方レーダセンサより障害物が検出されていないことを表す値）"であるときに撮像された前方環境画像Ｉに対して品質変更処理を行う。尚、前方レーダセンサ８３が側方レーダセンサである場合、例えば図６に示す画像記憶処理において、画像記憶処理部７２４は、側方レーダセンサが障害物を検出したイベントに応答して、記録期間Ｔ１の開始時及び終了時を設定する（ステップＳ６０４参照）。この場合、期間Ａ、期間Ｂ、及び期間Ｃのいずれかが使用されてもよいし、側方レーダセンサが障害物を検出している間が記録期間Ｔ１として設定されてもよい。
車両と障害物との衝突の可能性を表す指標値の他の例は、車両と障害物との衝突の可能性を示唆する警報を行う警報制御の作動状態であってよい。この場合、車両と障害物との衝突の可能性を表す指標値は、車両と障害物との衝突の可能性を示唆する警報を行う警報制御が作動中であるときに"ＴＲＵＥ"となり、それ以外は"ＦＡＬＳＥ"となる値であってよい。車両と障害物との衝突の可能性を示唆する警報を行う警報制御は、例えばＰＣＳの警報、ＣＴＡ（Cross Traffic Alert）等であってよい。この場合、処理装置７は、指標値が"ＦＡＬＳＥ"であるときに撮像された前方環境画像Ｉに対して品質変更処理を行う。
また、上述した実施形態１（実施形態２も同様）では、処理装置７は、車両と障害物との衝突の可能性を表す指標値に基づいて、前方環境画像Ｉの品質を低くする品質変更処理を行うが、これに限られない。例えば、処理装置７は、車両の走行状態に基づいた指標値に基づいて、前方環境画像Ｉの品質を低くする品質変更処理を行うこととしてもよい。車両の走行状態に基づいた指標値とは、例えば、「止まれ標識」や「赤信号」、「運転者による急操舵」、「運転者による急制動」等に関する指標値であってよい。
例えば、「止まれ標識」に関する指標値は、車両が「止まれ標識」に接近している状態であるときに"ＴＲＵＥ"となり、それ以外は"ＦＡＬＳＥ"となる値であってよい。この場合、処理装置７は、指標値が"ＦＡＬＳＥ"であるときに撮像された前方環境画像Ｉに対して品質変更処理を行う。尚、止まれ標識については、画像認識等により認識できる。また、「止まれ標識」に限られず、標識または信号などの道路関連オブジェクトが検出された場合に"ＴＲＵＥ"となる指標値が用いられてもよい。
同様に、「赤信号」に関する指標値は、車両が「赤信号」に接近しかつ運転者が赤信号を見落としている可能性があるときに"ＴＲＵＥ"となり、それ以外は"ＦＡＬＳＥ"となる値であってよい。この場合、処理装置７は、指標値が"ＦＡＬＳＥ"であるときに撮像された前方環境画像Ｉに対して品質変更処理を行う。尚、赤信号については、路車間通信システムを介して得られる信号機の状態（赤信号等の状態）により検出できる。また、運転者が赤信号を見落としている可能性は、車両が「赤信号」の交差点に接近しているのにもかかわらず運転者がアクセルペダルを踏み込み続けている場合に検出されてよい。例えば、ITS（Intelligent Transport Systems）から各種指示が車両側に送信される場合、指標値は、ITSからの指示に基づき"ＴＲＵＥ"又は"ＦＡＬＳＥ"を取る値であってよい。ただし、指標値は、ITSの指示のうち所定の条件（例えば、止まる必要がある（赤信号や、黄信号、一時停止等）であるときだけ"ＴＲＵＥ"になる値であってもよい。
また、「運転者による急操舵」に関する指標値は、車両が急操舵状態であるときに"ＴＲＵＥ"となり、それ以外は"ＦＡＬＳＥ"となる値であってよい。この場合、処理装置７は、指標値が"ＦＡＬＳＥ"であるときに撮像された前方環境画像Ｉに対して品質変更処理を行う。尚、急操舵状態は、ステアリングセンサからの状態に基づいて検出できる。
また、「運転者による急制動」に関する指標値は、車両が急制動状態であるときに"ＴＲＵＥ"となり、それ以外は"ＦＡＬＳＥ"となる値であってよい。この場合、処理装置７は、指標値が"ＦＡＬＳＥ"であるときに撮像された前方環境画像Ｉに対して品質変更処理を行う。尚、急制動状態は、ステアリングセンサからの状態に基づいて検出できる。
その他、車両の走行状態に基づいた指標値は、介入制御の作動状態であるときに"ＴＲＵＥ"となり、それ以外は"ＦＡＬＳＥ"となる値であってよい。同様に、介入制御は、ＶＳＣ（Vehicle Stability Control）、ＡＢＳ（Antilock Brake System）、ＴＲＣ（TRaction Control）、ＬＫＡ（Lane Keeping Assist）などがある。この場合、処理装置７は、指標値が"ＦＡＬＳＥ"であるときに撮像された前方環境画像Ｉに対して品質変更処理を行う。
７ 処理装置
７Ａ 処理装置
８ 車載電子機器群
９ 車両ネットワーク
１２ 前方レーダセンサ
１４ 補助記憶装置
１５ ドライブ装置
１６ 記録媒体
１７ 通信インターフェース
１９ バス
２５ 有線送受信部
２６ 無線送受信部
８０ カメラ
８１ 自車位置測定装置
８２ 加速度センサ
８３ 前方レーダセンサ
８６ ディスプレイ
９０ ツール
７１０ 画像記憶部
７１２ ＴＴＣ別解像度記憶部
７１４ 障害物属性別解像度記憶部
７２２ 画像取得部
７２４ 画像記憶処理部
７２４Ａ 画像記憶処理部
７２６ 解像度変更部
７２６Ａ 解像度変更部
７２８ 画像出力処理部
７２８Ａ 画像出力処理部

Claims (7)

  1. 車両に搭載されるカメラで撮像した画像と、前記画像の撮像時における前記車両と障害物との衝突までの衝突余裕時間と、前記障害物の属性の認識結果と、を対応付けて記憶する画像記憶部と、
    前記障害物の属性ごと、かつ前記衝突余裕時間ごとに出力解像度を記憶した障害物属性別解像度情報を記憶する障害物属性別解像度記憶部と、
    外部からの出力要求に応じて、前記画像記憶部から一の画像を読出す際に、前記障害物属性別解像度情報と、前記一の画像に係る前記衝突余裕時間及び前記認識結果とに基づいて、前記一の画像の解像度を低くする品質変更処理を行う品質変更部と、
    を含む、画像記録システム。
  2. 前記出力要求に含まれる出力解像度の要求値に応じて、前記品質変更処理を実行するか否かを制御する画像出力処理部を有する、請求項１に記載の画像記録システム。
  3. 前記衝突余裕時間ごとに出力解像度を記憶した衝突余裕度別解像度情報を記憶する衝突余裕度別解像度記憶部を有し、
    前記品質変更部は、前記画像記憶部に前記認識結果が記憶されていない場合、前記衝突余裕度別解像度情報と、前記一の画像に係る前記衝突余裕時間とに基づいて、前記一の画像の解像度を低くする品質変更処理を行う、請求項１又は２に記載の画像記録システム。
  4. 前記画像は、複数時点で撮像された複数フレームの画像であり、
    前記品質変更部は、前記複数フレームの画像のうち、第１時点で撮像された画像よりも、前記第１時点よりも前記衝突余裕時間が長い第２時点で撮像された画像の方が、解像度が低くなる態様で、前記品質変更処理を行う、請求項１ないし３のいずれか一項に記載の画像記録システム。
  5. 前記品質変更部は、外部装置又は表示装置に前記画像を出力することを要求する前記出力要求に応じて前記一の画像が前記画像記憶部から読み出される際に、前記品質変更処理を行う、請求項１ないし４のうちのいずれか１項に記載の画像記録システム。
  6. 車両に搭載されるカメラで撮像した画像と、前記画像の撮像時における前記車両と障害物との衝突までの衝突余裕時間と、前記障害物の属性の認識結果と、を対応付けて画像記憶部に記憶し、
    前記障害物の属性ごと、かつ前記衝突余裕時間ごとに出力解像度を記憶した障害物属性別解像度情報を障害物属性別解像度記憶部に記憶し、
    外部からの出力要求に応じて、前記画像記憶部から一の画像を読出す際に、前記障害物属性別解像度情報と、前記一の画像に係る前記衝突余裕時間及び前記認識結果とに基づいて、前記一の画像の解像度を低くすることを含む、コンピュータにより実行される画像記録方法。
  7. 車両に搭載されるカメラで撮像した画像と、前記画像の撮像時における前記車両と障害物との衝突までの衝突余裕時間と、前記障害物の属性の認識結果と、を対応付けて画像記憶部に記憶し、
    前記障害物の属性ごと、かつ前記衝突余裕時間ごとに出力解像度を記憶した障害物属性別解像度情報を障害物属性別解像度記憶部に記憶し、
    外部からの出力要求に応じて、前記画像記憶部から一の画像を読出す際に、前記障害物属性別解像度情報と、前記一の画像に係る前記衝突余裕時間及び前記認識結果とに基づいて、前記一の画像の解像度を低くすることを含む、コンピュータにより実行される画像記録プログラム。
JP2017049003A 2017-03-14 2017-03-14 画像記録システム、画像記録方法、画像記録プログラム Active JP6743732B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017049003A JP6743732B2 (ja) 2017-03-14 2017-03-14 画像記録システム、画像記録方法、画像記録プログラム
US15/913,318 US10671861B2 (en) 2017-03-14 2018-03-06 Image recording system, image recording method and image recording program
CN201810200470.0A CN108574811B (zh) 2017-03-14 2018-03-12 图像记录系统、图像记录方法和图像记录程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017049003A JP6743732B2 (ja) 2017-03-14 2017-03-14 画像記録システム、画像記録方法、画像記録プログラム

Publications (2)

Publication Number Publication Date
JP2018152785A JP2018152785A (ja) 2018-09-27
JP6743732B2 true JP6743732B2 (ja) 2020-08-19

Family

ID=63519463

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017049003A Active JP6743732B2 (ja) 2017-03-14 2017-03-14 画像記録システム、画像記録方法、画像記録プログラム

Country Status (3)

Country Link
US (1) US10671861B2 (ja)
JP (1) JP6743732B2 (ja)
CN (1) CN108574811B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102592825B1 (ko) * 2018-08-31 2023-10-23 현대자동차주식회사 충돌 회피 제어 장치 및 그 방법
KR102569900B1 (ko) * 2018-12-04 2023-08-23 현대자동차주식회사 전방위 센서퓨전 장치 및 그의 센서퓨전 방법과 그를 포함하는 차량
CN110046569B (zh) * 2019-04-12 2022-04-12 北京百度网讯科技有限公司 一种无人驾驶数据处理方法、装置及电子设备
CN110751633A (zh) * 2019-10-11 2020-02-04 上海眼控科技股份有限公司 基于深度学习的多轴大车制动检测方法、装置、系统
JP7348874B2 (ja) * 2020-04-06 2023-09-21 トヨタ自動車株式会社 傾斜角検出装置及び制御装置
JP7276280B2 (ja) 2020-08-18 2023-05-18 トヨタ自動車株式会社 車両用画像記録装置及び車両用画像記録方法
JPWO2023127353A1 (ja) * 2021-12-28 2023-07-06

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3153839B2 (ja) * 1993-08-23 2001-04-09 三菱電機株式会社 車両用予防安全装置
JPH07237521A (ja) * 1994-03-02 1995-09-12 Toyota Motor Corp 車両用サイドエアバッグ制御装置
JPH09301122A (ja) * 1996-05-14 1997-11-25 Suzuki Motor Corp 車載用巻き込み警報装置
WO2005088970A1 (ja) * 2004-03-11 2005-09-22 Olympus Corporation 画像生成装置、画像生成方法、および画像生成プログラム
US7409295B2 (en) * 2004-08-09 2008-08-05 M/A-Com, Inc. Imminent-collision detection system and process
CN101437128A (zh) * 2004-08-10 2009-05-20 索尼株式会社 显示设备和显示方法
JP4360403B2 (ja) * 2006-12-27 2009-11-11 トヨタ自動車株式会社 車載用障害物検知装置
JP4706733B2 (ja) * 2008-08-07 2011-06-22 株式会社日本自動車部品総合研究所 エンジン始動制御装置
JP4636474B2 (ja) * 2008-11-17 2011-02-23 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 映像変換装置、映像再生装置、映像変換再生システム及びプログラム
JP2010134745A (ja) * 2008-12-05 2010-06-17 Fujitsu Ten Ltd ドライブレコーダ及びドライブレコーダの映像記録方法
JP4692673B2 (ja) 2009-12-21 2011-06-01 ソニー株式会社 画像記録方法及び画像記録装置
KR101316235B1 (ko) * 2011-05-23 2013-10-08 현대자동차주식회사 저장용량 저감 사고기록장치 및 그 방법
JP2015049842A (ja) * 2013-09-04 2015-03-16 トヨタ自動車株式会社 注意喚起表示装置及び注意喚起表示方法
KR101611194B1 (ko) * 2014-04-04 2016-04-11 주식회사 와이즈오토모티브 차량 주변 이미지 생성 장치 및 방법
KR101860610B1 (ko) * 2015-08-20 2018-07-02 엘지전자 주식회사 디스플레이 장치 및 이를 포함하는 차량
JP6583319B2 (ja) * 2017-03-14 2019-10-02 トヨタ自動車株式会社 画像記録システム、画像記録方法、画像記録プログラム

Also Published As

Publication number Publication date
CN108574811B (zh) 2020-11-06
US20180268227A1 (en) 2018-09-20
JP2018152785A (ja) 2018-09-27
US10671861B2 (en) 2020-06-02
CN108574811A (zh) 2018-09-25

Similar Documents

Publication Publication Date Title
JP6743732B2 (ja) 画像記録システム、画像記録方法、画像記録プログラム
JP6583319B2 (ja) 画像記録システム、画像記録方法、画像記録プログラム
JP7124816B2 (ja) 車両事故再現データに基づいた車両コンポーネントの修正
US8379924B2 (en) Real time environment model generation system
US20180017799A1 (en) Heads Up Display For Observing Vehicle Perception Activity
US10891495B2 (en) Information processing apparatus, information processing method, and program
WO2018123360A1 (en) Image processing device, image processing method, and image processing system
EP2107504A1 (en) Method and device for generating a real time environment model for vehicles
WO2017112205A1 (en) Dynamic sensor range in advanced driver assistance systems
KR102492637B1 (ko) 주행 성향 분석 방법, 주행 성향 분석 장치 및 차량 제어 시스템
WO2019148819A1 (zh) 辅助车辆行驶的方法及装置
US11158190B2 (en) Recommended driving output device, recommended driving output method and recommended driving output system
JP2015007953A (ja) 車両乗車人数の監視装置及び車両乗車人数の監視方法並びにコンピュータ可読記憶媒体
US11180082B2 (en) Warning output device, warning output method, and warning output system
JP4466299B2 (ja) 車両用警報装置、車両用警報方法及び車両用警報発生プログラム
KR101729486B1 (ko) Avm 시스템에서의 사각 지대 감시 방법 및 그 avm 시스템
CN109318799B (zh) 汽车、汽车adas系统及其控制方法
WO2019193928A1 (ja) 車両システム、空間領域推測方法及び空間領域推測装置
TW201600376A (zh) 結合感測器的車用智能影像安全系統
EP4176373A1 (en) Systems and methods for detecting projection attacks on object identification systems
WO2018042976A1 (ja) 画像生成装置、画像生成方法、記録媒体、および画像表示システム
JP7429246B2 (ja) 対象を識別する方法とシステム
JP2019074862A (ja) 推奨運転出力装置、推奨運転出力システム、及び推奨運転出力方法
US10868975B2 (en) Image processing system for acquiring an image picked up by a camera provided in a vehicle an image processing method executed by a computer and a non-transitory storage medium storing an image processing program executed by a computer
CN111415434A (zh) 使用外部车辆显示器进行车辆通信

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181120

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190827

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191217

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200630

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200713

R151 Written notification of patent or utility model registration

Ref document number: 6743732

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151