JP6635075B2 - 画像記録システム、画像記録方法、画像記録プログラム - Google Patents

画像記録システム、画像記録方法、画像記録プログラム Download PDF

Info

Publication number
JP6635075B2
JP6635075B2 JP2017045351A JP2017045351A JP6635075B2 JP 6635075 B2 JP6635075 B2 JP 6635075B2 JP 2017045351 A JP2017045351 A JP 2017045351A JP 2017045351 A JP2017045351 A JP 2017045351A JP 6635075 B2 JP6635075 B2 JP 6635075B2
Authority
JP
Japan
Prior art keywords
image
resolution
vehicle
country
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017045351A
Other languages
English (en)
Other versions
JP2018151701A (ja
Inventor
裕士 中田
裕士 中田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2017045351A priority Critical patent/JP6635075B2/ja
Priority to US15/909,332 priority patent/US10868975B2/en
Priority to CN201810185795.6A priority patent/CN108574810B/zh
Publication of JP2018151701A publication Critical patent/JP2018151701A/ja
Application granted granted Critical
Publication of JP6635075B2 publication Critical patent/JP6635075B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K31/00Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator
    • B60K31/0008Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator including means for detecting potential obstacles in vehicle path
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K31/00Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator
    • B60K31/0008Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator including means for detecting potential obstacles in vehicle path
    • B60K2031/0016Identification of obstacles; Selection of a target vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K31/00Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator
    • B60K31/0008Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator including means for detecting potential obstacles in vehicle path
    • B60K2031/0025Detecting position of target vehicle, e.g. vehicle driving ahead from host vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K31/00Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator
    • B60K31/0008Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator including means for detecting potential obstacles in vehicle path
    • B60K2031/0033Detecting longitudinal speed or acceleration of target vehicle
    • B60K2360/179
    • B60K35/28
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4023Decimation- or insertion-based scaling, e.g. pixel or line decimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本開示は、画像記録システム、画像記録方法、及び画像記録プログラムに関する。
建設機械などの管理対象の位置情報を用いて管理対象の使用可否判定を行う認証システムが知られている(例えば、特許文献1参照)。
特開2008-191825号公報
近年、いわゆるドライブレコーダ等のようなカメラを搭載する車両が多くなっているが、カメラによる撮像画像の解像度を高くすると、走行環境等の解析が容易となる反面、プライバシーに関する問題が生じうる。プライバシーに関する規制は、国や地域ごとに異なり得る。しかしながら、現状では、車両に設けられるカメラで撮像した画像の解像度を、車両位置やユーザ(画像を解析するユーザ)等に応じて変更することできない。また、カメラによる撮像画像の色数についても同様である。画像の画素数や画像の色数は総称して画像の品質と呼ぶこともできる。
そこで、一側面によれば、本発明は、車両に設けられるカメラで撮像した画像の品質を変更可能とすることを目的とする。
一側面によれば、車両に設けられるカメラで撮像した画像を取得する画像取得部と、
前記画像が記憶される画像記憶部と、
前記画像の出力要求に応じて前記画像が前記画像記憶部から読み出される際に、前外部装置又は表示装置に前記画像を出力する際の車両位置と、国又は地域ごとに所定基準が対応付けられた国/地域別情報とに基づいて、前記画像の品質の現在値が、外部装置又は表示装置に前記画像を出力する際の車両位置が属する国又は地域に対応付けられた前記所定基準を超えている場合に、前記所定基準以下まで前記画像の品質を低くする品質変更処理を行う品質変更部とを含む、画像記録システムが提供される。
上記の態様によれば、品質変更処理を行うことで、車両に設けられるカメラで撮像した画像の品質を変更可能とすることができる。また、画像を撮像した際の車両位置、外部装置又は表示装置に前記画像を出力する際の車両位置、及び、画像の出力要求の要求元を表す要求元情報のうちの、少なくともいずれか1つに基づいて、プライバシーに関する規制や、出力要求の要求元を考慮した品質変更処理を実現できる。
一側面によれば、車両に設けられるカメラで撮像した画像の品質を変更可能とすることができる。
実施形態1による画像記録システム(処理装置)のハードウェア構成の一例を示す図である。 実施形態1による処理装置の機能ブロックの一例を示す図である。 画像記憶部の説明図である。 国/地域別許容値情報の一例を示す図である。 ユーザ別許容値情報の一例を示す図である。 解像度変更処理の説明図である。 解像度変更処理の説明図である。 画像記憶処理部による画像記憶処理の一例を示すフローチャートである。 記録期間T1の開始時及び終了時の説明図である。 画像出力処理部による画像出力処理の一例を示すフローチャートである。 出力要求の説明図である。 実施形態2による画像記録システム(処理装置)の機能ブロックの一例を示す図である。 実施形態2による画像記憶処理部による画像記憶処理の一例を示すフローチャートである。 実施形態3による画像記録システムの一例を示す概略構成図である。 実施形態3による処理装置及びサーバの機能ブロックの一例を示す図である。 画像出力処理部による画像出力処理の一例を示すフローチャートである。 サーバの処理部による許容値通知処理の一例を示すフローチャートである。 実施形態4による処理装置及びサーバの機能ブロックの一例を示す図である。 画像記憶処理部による画像記憶処理の一例を示すフローチャートである。 サーバの許容値通知部による許容値通知処理の一例を示すフローチャートである。
以下、添付図面を参照しながら各実施例について詳細に説明する。
[実施形態1]
実施形態1では、画像記録システムは、処理装置7を含む。
図1は、実施形態1による処理装置7のハードウェア構成の一例を示す図である。図1には、処理装置7のハードウェア構成に関連付けて、車載電子機器群8が模式的に図示されている。処理装置7は、例えばCAN(controller area network)やLIN(Local Interconnect Network)、イーサネット(登録商標)などの車両ネットワーク9を介して、車載電子機器群8に接続される。
処理装置7は、バス19で接続されたCPU(Central Processing Unit)11、RAM(Random Access Memory)12、ROM(Read Only Memory)13、補助記憶装置14、ドライブ装置15、及び通信インターフェース17、並びに、通信インターフェース17に接続された有線送受信部25及び無線送受信部26を含む。但し、実施形態1では、後述する実施形態3とは異なり、無線送受信部26は省略されてもよい。
補助記憶装置14は、例えばEEPROM(Electrically Erasable Programmable Read-Only Memory)やHDD(Hard Disk Drive)などである。
有線送受信部25は、CAN(controller area network)やLIN(Local Interconnect Network)などの車両ネットワークを利用して通信可能な送受信部を含む。無線送受信部26は、携帯電話における無線通信網を利用して無線通信可能な送受信部である。尚、処理装置7は、有線送受信部25に加えて、通信インターフェース17に接続される第2無線送受信部(図示せず)を備えてもよい。この場合、第2無線送受信部は、近距離無線通信(NFC:Near Field Communication)部、ブルートゥース(Bluetooth、登録商標)通信部、Wi−Fi(Wireless-Fidelity)送受信部、赤外線送受信部などを含んでもよい。
尚、処理装置7は、記録媒体16と接続可能であってもよい。記録媒体16は、所定のプログラムを格納する。この記録媒体16に格納されたプログラムは、ドライブ装置15を介して処理装置7の補助記憶装置14等にインストールされる。インストールされた所定のプログラムは、処理装置7のCPU11により実行可能となる。
車載電子機器群8は、カメラ80と、自車位置測定装置81と、加速度センサ82と、前方レーダセンサ83、PCS(Pre-Crash Safety)・ECU(Electronic Control Unit)84等を含む。
カメラ80は、自車前方(自車周辺の環境の一例)を撮像する。以下、カメラ80で撮像される画像を、「前方環境画像I」とも称する。尚、カメラ80は、自車側方を撮像するカメラや、自車後方を撮像するカメラ、車内を撮像するカメラ等であってもよい。
自車位置測定装置81は、GNSS(Global Navigation Satellite System)衛星からの電波に基づいて、自車位置を測位する。加速度センサ82は、車体に発生する加速度を検出する。加速度センサ82は、例えば3軸の各角速度成分を検出する。
前方レーダセンサ83は、電波(例えばミリ波)、光波(例えばレーザー)又は超音波を検出波として用いて、自車前方における前方障害物(典型的には、前方車両)の状態を検出する。前方レーダセンサ83は、前方障害物と自車との関係を示す情報、例えば自車を基準とした前方障害物の相対速度や距離、横位置を所定の周期で検出する。このようにして前方レーダセンサ83により検出された前方障害物情報は、例えば所定周期でPCS・ECU84に送信される。
PCS・ECU84は、前方レーダセンサ83からの情報に基づいて、自動制動開始条件の成否を判定する。自動制動開始条件は、自車前方の障害物との衝突の可能性があるときに成立する。PCS・ECU84は、自動制動開始条件が成立する場合は、自動的に自車を制動する自動制動制御を行う。例えば、前方障害物との衝突回避制御では、PCS・ECU84は、前方障害物との衝突までの時間:TTC(Time to Collision)を算出し、当該算出したTTCが所定閾値Th1(例えば1.5[秒])を下回った場合に自動制動開始条件が満たされたと判定する。尚、TTCは、例えば、前方障害物までの距離を、前方障害物に対する相対速度で割り算することで導出される。
尚、自動制動制御とは、自車に自動的に制動力を付与する制御である。例えば、自動制動制御とは、運転者によるブレーキペダルの操作が行われていない状況下で、ブレーキアクチュエータ(車載電子機器群8の一要素、図示せず)により各輪のホイールシリンダ圧を増圧することで実現される。自動制動制御の実行中の目標制御値は、ブレーキペダルの操作量以外の因子に基づいて決定される値である。
尚、PCS・ECU84は、前方レーダセンサ12に代えて又はそれに加えて、カメラ80を用いて、自動制動開始条件の成否を判定してもよい。この場合、カメラ80は、ステレオカメラであってもよい。PCS・ECU84は、例えば画像処理装置を含み、前方障害物の状態を画像認識する。PCS・ECU84は、画像認識結果に基づいて、前方障害物と自車との関係を示す情報、例えば自車を基準とした前方障害物の相対速度や距離、横位置を所定の周期ごとに検出できる。尚、画像処理機能(例えば、前方障害物の位置算出機能)は、PCS・ECU84に接続される画像処理装置により実現されてもよい。
ディスプレイ86は、例えばタッチパネル式の液晶ディスプレイである。ディスプレイ86は、自車の乗員(乗員)が目視可能な位置に配置される。ディスプレイ86は、自車内に固定されるディスプレイであるが、自車内に持ち込まれうる携帯端末のディスプレイであってもよい。この場合、携帯端末と処理装置7との間の通信は、第2無線送受信部(例えばブルートゥース通信部)を介して実現できる。
処理装置7には、車両ネットワーク9を介して、ツール90(外部装置の一例)を接続できる。
ツール90は、前方環境画像Iの出力要求を後述の処理装置7に与えるために使用される外部装置である。但し、ツール90は、その他の用途を有する汎用性のあるツールであってもよい。また、ツール90は、車両メーカから権限を付与されるディーラ等に用意される特別なツールを含み、その他、一般的なユーザが使用できるツールであってもよい。一般的なユーザが使用できるツールとしては、スマートフォンやタブレット端末の形態であってもよい。ツール90は、通常、車両ネットワーク9には接続されていない。ツール90は、後述の画像記憶処理部724内の前方環境画像I(カメラ80で撮像された画像)を読み出す際に、後述の処理装置7に出力要求を与えるために車両ネットワーク9に接続される。
図2は、処理装置7の機能ブロックの一例を示す図である。
処理装置7は、所定基準以下まで前方環境画像Iの品質を低くする品質変更処理を行う装置である。前方環境画像Iの品質とは、画像の見易さ(物体などの識別性)の影響する品質であり、品質に係る指標値は、画像の解像度や画像の色数(各画素が有しうる色数)を含む。所定基準は、例えば、解像度の許容値を含み、解像度の許容値は、例えば一インチ当たりの画素数「dpi:pixel per inch」で規定されるが、640x480や、1280x960や、Full HD(Full High Definition)や4Kといった、縦横の画素数など画素数関係の指標値で規定されてもよい。尚、縦横の画素数を落とす品質変更処理は、単純なシュリンク処理であってよい。さらに所定基準は、例えば、画像の色数の許容値(所定色数の一例)を含み、例えばモノクロ、8bitカラー、24bitカラーである。色数は、例えば色深度(bits per pixel(bpp))という指標値で規定されてもよい。尚、色数を落とす品質変更処理は、単純な処理であってよい。また、品質変更処理は、不可逆的な圧縮処理により実現されてよい。これは、不可逆的な圧縮処理を行うと、画像が劣化し、例えば画像の見易さ(鮮明さなど)が低下するためである。この場合、所定基準は、圧縮率で規定されてもよい。
例えば、品質変更処理は、前方環境画像Iの解像度及び色数の双方を低くすることや、いずれか一方のみを低くすることを含む。解像度変更処理の更なる具体例は後述する。以下(後述の実施形態2,3,4についても同様)では、一例として、品質変更処理は、前方環境画像Iの解像度を低下する処理であるとする。尚、品質変更処理が色数を落とす処理である場合や、色数を落とす処理を含む場合は、色数の許容値は、後述の解像度の許容値と同様の態様で(同様の考え方に基づいて)設定されればよい。これは、色数の許容値が高くなるほど、画像の見易さが高くなる点で解像度で共通し、解像度の場合と略同様に扱うことができるためである。
処理装置7は、画像記憶部710と、国/地域別許容値情報記憶部712と、ユーザ別許容値情報記憶部714とを含む。画像記憶部710、国/地域別許容値情報記憶部712、及びユーザ別許容値情報記憶部714は、補助記憶装置14により実現できる。また、処理装置7は、画像取得部722と、画像記憶処理部724と、解像度変更部726(品質変更部の一例)と、画像出力処理部728とを含む。画像取得部722、画像記憶処理部724、解像度変更部726、及び画像出力処理部728は、CPU11がROM13や補助記憶装置14内の1つ以上のプログラムを実行することで実現できる。
画像記憶部710は、前方環境画像Iを記憶する。実施形態1では、一例として、前方環境画像Iは、イベントIDと対応付けて、画像記憶部710内の記録領域に記憶される。イベントIDとは、記録領域への前方環境画像Iの記録を行う画像記憶処理のトリガとなるイベント(後述)に付与されるID(Identification)である。図3には、イベントIDと記録領域との関係の一例を示す図である。図3に示す例では、画像記憶部710は、複数の記録領域(図3の記録領域B1〜B5等)を有し、記録領域ごとに前方環境画像Iに係る画像データ(図3の画像データC1〜C5等参照)が記憶される。また、前方環境画像Iに係る画像データは、前方環境画像Iが撮像された際の自車位置に対応付けて記憶される。一の画像データに対応付けて記憶される自車位置は、該一の画像データを形成する複数の前方環境画像Iのいずれかが撮像された際の自車位置であり、例えば該一の画像データを形成する複数の前方環境画像Iのうちの、1番目の前方環境画像Iの自車位置である。
国/地域別許容値情報記憶部712は、国又は地域ごとに解像度の許容値が対応付けられた国/地域別許容値情報が記憶される。解像度の許容値は、国や地域により異なる場合がある。例えば、解像度の許容値は、プライバシーに関する規制に基づいて定められる場合がある。国/地域別許容値情報は、予め用意される。図4Aは、国/地域別許容値情報の一例を示す図である。図4Aでは、国/地域IDごとに、解像度の許容値(図4AのA1,A2等)が記憶される。尚、国/地域別許容値情報は、プライバシーに関する規制の事後的な変更に応じて変更可能である。
ユーザ別許容値情報記憶部714は、ユーザごとに解像度の許容値が対応付けられたユーザ別許容値情報が記憶される。図4Bは、ユーザ別許容値情報の一例を示す図である。図4Bでは、ユーザIDごとに、解像度の許容値(図4BのA1,A2等)が記憶される。尚、ユーザ別許容値情報は、プライバシーに関する規制の事後的な変更に応じて変更可能である。
画像取得部722は、カメラ80から前方環境画像Iを取得する。画像取得部722は、カメラ80から前方環境画像Iを所定のフレーム周期毎に取得する。画像取得部722は、取得した前方環境画像Iを、例えばFIFO(First‐In, First‐Out)形式で画像記憶部710に保存する。例えば、画像取得部722は、記録期間T1にわたる前方環境画像Iを、FIFO形式でリングバッファ(図示せず)に書き込む。
画像記憶処理部724は、所定のイベントを検出した場合に、リングバッファに記憶されている画像データ(記録期間T1内の複数時点の前方環境画像Iを含む画像データ)を、画像記憶部710内の所定の記録領域に記録(転送)する。
解像度変更部726は、前方環境画像Iの解像度を低くする解像度変更処理を行う。解像度変更処理は、例えば画素を間引く処理や、例えば4画素分を1画素に平均化する処理(いわゆるピラミッド処理)により実現されてもよい。尚、ピラミッド処理は、例えば、画像ピラミッドとしてガウシアンピラミッドを構築することで実現されてもよい。実施形態1では、解像度変更部726は、ツール90を介して入力される外部からの出力要求に応答して、画像記憶部710から前方環境画像Iを読み出す際に、解像度変更処理を行う。解像度変更処理は、前方環境画像I全体の解像度の変更を行う処理であるが、例えば、図5A及び図5Bに示すように、前方環境画像Iの一部の解像度の変更を行う処理であってもよい。図5Aは、解像度変更処理前の前方環境画像Iを示し、図5Bは、解像度変更処理後の前方環境画像Iを示す。図5A及び図5Bに示す例では、前方環境画像Iの一部として、前方車両のナンバープレート(500,501参照)に対して解像度変更処理が実行されている。
解像度変更部726は、前方環境画像Iを撮像した際の自車位置(以下、「撮像時自車位置」と称する)、ツール90に前方環境画像Iを出力する際の自車位置(以下、「出力時自車位置」と称する)、及び、前方環境画像Iの出力要求を行うユーザID(要求元を表す要求元情報の一例)うちの、少なくともいずれか1つに基づいて、解像度変更処理を行う。
例えば、解像度変更部726は、読出し対象の前方環境画像Iに対応付けられた自車位置(撮像時自車位置)と、国又は地域別許容値情報記憶部712内の国/地域別許容値情報(図4A参照)とに基づいて、読出し対象の前方環境画像Iの解像度の現在値が、撮像時自車位置が属する国又は地域に対応付けられた許容値を超えている場合に、読出し対象の前方環境画像Iに対して解像度変更処理を行う。また、解像度変更部726は、出力時自車位置と、国又は地域別許容値情報記憶部712内の国/地域別許容値情報とに基づいて、読出し対象の前方環境画像Iの解像度の現在値が、出力時自車位置が属する国又は地域に対応付けられた許容値を超えている場合に、読出し対象の前方環境画像Iに対して解像度変更処理を行う。また、解像度変更部726は、前方環境画像Iの出力要求を行うユーザIDと、ユーザ別許容値情報記憶部714内のユーザ別許容値情報(図4B参照)とに基づいて、読出し対象の前方環境画像Iの解像度の現在値が、要求元に係るユーザIDに対応付けられた許容値を超えている場合に、解像度変更処理を行う。
画像出力処理部728は、前方環境画像Iの出力要求を受けると、画像記憶部710内の前方環境画像Iを出力する。実施形態1では、一例として、出力要求は、ツール90を介して入力される。画像出力処理部728は、解像度変更部726による解像度変更処理を経た前方環境画像Iをツール90に出力する。
実施形態1によれば、解像度変更部726を備えることで、前方環境画像Iの解像度を変更可能とすることができる。即ち、実施形態1によれば、画像記憶部710から前方環境画像Iを読み出す際に、解像度変更部726が解像度変更処理を行うことで、画像出力処理部728は、解像度変更処理を経た前方環境画像Iを、ツール90に出力できる。これにより、国や地域ごとに異なり得るプライバシーに関する規制や、要求元のユーザIDを考慮して、解像度を変更してから前方環境画像Iを出力できる。
尚、上述した実施形態1では、前方環境画像Iの出力要求は、ツール90を介して入力され、画像記憶部710から読み出される前方環境画像Iは、ツール90に出力されるが、これに限られない。例えば、前方環境画像Iの出力要求は、ツール90を介して入力され、画像記憶部710から読み出される前方環境画像Iは、ツール90以外の外部装置(例えば、実施形態3等におけるサーバ3のような、サーバ)に出力されてもよい。この場合、サーバへの出力は、無線送受信部26を用いて実現できる。また、前方環境画像Iの出力要求は、ツール90以外の外部装置(例えばサーバ)を介して入力され、画像記憶部710から読み出される前方環境画像Iは、出力要求元のサーバに出力されてもよい。或いは、前方環境画像Iの出力要求は、ツール90を介して入力され、画像記憶部710から読み出される前方環境画像Iは、自車内のディスプレイ86(表示装置の一例)に出力(表示)されてもよい。或いは、前方環境画像Iの出力要求は、自車内の装置を介して入力され、画像記憶部710から読み出される前方環境画像Iは、自車内のディスプレイ86に出力されてもよい。
次に、図6乃至図9を参照して、実施形態1による画像記録システム(処理装置7)の動作例の要部について、フローチャートを用いて説明する。
図6は、画像記憶処理部724による画像記憶処理の一例を示すフローチャートである。図6に示す処理は、例えば、イグニッションスイッチのオン状態において、所定周期毎に実行される。
ステップS600では、画像記憶処理部724は、所定のイベントを検出したか否かを判定する。所定のイベントは、例えば、加速度センサ82に基づいて所定の衝撃が検知されるイベントや、駐車開始のイベント、TTCが所定閾値Th2(≧所定閾値Th1)以下となるイベント等である。TTCが所定閾値Th2以下となるイベントは、PCS・ECU84からの情報に基づいて判断できる。尚、所定閾値Th2が所定閾値Th1よりも大きい場合は、自動制動開始条件の成立は、TTCが所定閾値Th2以下となるイベントの発生を事前に伴う。判定結果が"YES"の場合は、ステップS602に進み、それ以外の場合は、今回周期の処理を終了する。
ステップS602では、画像記憶処理部724は、今回のイベントに対してイベントIDを付与する。
ステップS604では、画像記憶処理部724は、今回のイベントの属性に応じて記録期間T1の開始時及び終了時を設定する。例えば、記録期間T1は、図7に示すように、イベント検出時t2から始まる期間A(t2〜t4)、イベント検出時t2に終了する期間C(t0〜t2)、又はイベント検出時t2の前後を含む期間B(t1〜t3)である。
ステップS606では、画像記憶処理部724は、今回のイベントに係る画像データの記録先の記録領域(画像記憶部710内の記録領域)を決定する。記録領域は空きがあればそれを用いる。尚、記録領域は有限であるので(図3参照)、記録領域の全てに画像データが既に記憶されている場合は、例えば、最も古い画像データが記録されている記録領域が使用されてもよいし、イベントIDに応じて優先度を設けてもよい。
ステップS608では、画像記憶処理部724は、ステップS604で設定した記録期間T1の終了時に到達したか否か(即ち現時点が記録期間T1の終了時であるか否か)を判定する。判定結果が"YES"の場合は、ステップS610に進み、それ以外の場合は、記録期間T1の終了時を待機する待機状態となる。尚、図示しないが、待機状態においてイグニッションスイッチがオフしたときは、ステップS610に進み、ステップS610の処理を行ってから終了する。
ステップS610では、画像記憶処理部724は、リングバッファに記憶されている画像データのうちの、ステップS604で設定した記録期間T1中の前方環境画像Iを、ステップS606で決定した記録領域に記録(転送)する。この際、画像記憶処理部724は、画像記憶部710において、ステップS606で決定した記録領域に、ステップS602で付与したイベントIDを対応付ける(図3参照)。
図6に示す画像記憶処理によれば、所定のイベントが発生した場合に、イベントの属性に応じた記録期間T1にわたる画像データ(複数時点の前方環境画像I)を画像記憶部710に記憶できる。
尚、図6では、記録期間T1は一定であるが、記録期間T1は、イベントの属性に応じて変更されてもよい。また、図6では、画像記憶部710は、複数のイベントを同時に保持できる記録領域を備えるが、単一のイベントのみを保持できる記録領域を備える構成であってもよい。
図8は、画像出力処理部728による画像出力処理の一例を示すフローチャートである。図8に示す画像出力処理は、車両ネットワーク9にツール90が接続された状態において、所定周期毎に実行される。
ステップS800では、画像出力処理部728は、ツール90から出力要求を受信したか否かを判定する。実施形態1では、一例として、出力要求は、図9に示す各種情報を含む送信信号として、ツール90から車両ネットワーク9に送信される。図9では、送信信号は、送信信号IDと、読出対象イベントIDと、ユーザIDとを含む。送信信号IDは、送信信号の種別が"出力要求"であることを画像出力処理部728が検知できる情報である。読出対象イベントIDは、画像記憶部710内のどのイベントIDに係る画像データの出力を要求しているかを、画像出力処理部728が特定できる情報である。読出対象イベントIDは、読み出し対象の記録領域を指定する情報であってもよい。尚、ツール90のユーザは、例えば、ツール90を用いて抽出できるダイアグ情報に含まれるイベント情報に基づいて、読出対象イベントIDを指定してもよい。また、読出対象イベントIDは、2つ以上のイベントIDを含んでもよい。ユーザIDは、要求元のユーザに係る。ユーザIDは、ツール90自体に付与されたIDであってもよい。或いは、ユーザIDは、ツール90に対してユーザが認証を行う際に使用されるIDと同じであってよい。この場合、ユーザIDは、一のツール90に対して、一のツール90を使用するユーザが異なれば異なる。判定結果が"YES"の場合は、ステップS802に進み、それ以外の場合は、今回周期の処理を終了する。
ステップS802では、画像出力処理部728は、自車位置測定装置81から現在の自車位置(=出力時自車位置)を取得する。
ステップS804では、画像出力処理部728は、ステップS802で取得した出力時自車位置と、国又は地域別許容値情報記憶部712内の国/地域別許容値情報(図4A参照)とに基づいて、出力時自車位置が属する国又は地域に対応付けられた解像度の許容値を取得する。以下、ステップS804で得られる解像度の許容値を、「出力位置に基づく解像度許容値」と称する。
ステップS806では、画像出力処理部728は、ステップS800で得た出力要求内のユーザID(図9参照)を取得する。
ステップS808では、画像出力処理部728は、ステップS806で得たユーザIDと、ユーザ別許容値情報記憶部714内のユーザ別許容値情報(図4B参照)とに基づいて、要求元に係るユーザIDに対応付けられた許容値を取得する。以下、ステップS806で得られる解像度の許容値を、「ユーザIDに基づく解像度許容値」と称する。
ステップS810では、画像出力処理部728は、ステップS800で得た出力要求内の読出対象イベントID(図9参照)を取得する。
ステップS812では、画像出力処理部728は、ステップS810で得た読出対象イベントIDと、画像記憶部710内にデータ(図3参照)に基づいて、読出対象イベントIDに係るイベントIDに対応付けられた撮像時自車位置を取得する。
ステップS814では、画像出力処理部728は、ステップS812で取得した撮像時自車位置と、国又は地域別許容値情報記憶部712内の国/地域別許容値情報(図4A参照)とに基づいて、撮像時自車位置が属する国又は地域に対応付けられた解像度の許容値を取得する。以下、ステップS814で得られる解像度の許容値を、「撮像位置に基づく解像度許容値」と称する。
ステップS816では、画像出力処理部728は、ステップS804で得た出力位置に基づく解像度許容値と、ステップS808で得たユーザIDに基づく解像度許容値と、ステップS814で得た撮像位置に基づく解像度許容値とに基づいて、最小の許容値を抽出(選択)する。
ステップS818では、画像出力処理部728は、ステップS816で得た最小の許容値が、読出対象イベントIDに係るイベントIDに対応付けられた前方環境画像Iの解像度の現在値よりも低いか否かを判定する。前方環境画像Iの解像度の現在値は、カメラ80で得られる解像度のままであり、既知である。判定結果が"YES"の場合は、ステップS820に進み、それ以外の場合は、ステップS824に進む。
ステップS820では、画像出力処理部728は、ステップS816で得た最小の許容値を解像度変更部726に与えて、解像度変更部726に解像度変更処理を実行させる。この場合、解像度変更部726は、読出対象イベントIDに係るイベントIDに対応付けられた全ての前方環境画像Iを、画像記憶部710から読み出し、各前方環境画像Iの解像度を、最小の許容値、又は、最小の許容値以下に変更する。この際、解像度変更部726は、一の前方環境画像Iについて、該一の前方環境画像Iのうちの特定の一部の解像度のみ、最小の許容値、又は、最小の許容値以下に変更してもよい。この場合、特定の一部は、プライバシーに関する規制で定められうる部位であってよい。
ステップS822では、画像出力処理部728は、ステップS820での解像度変更処理を経た前方環境画像Iをツール90に出力する。
ステップS824では、画像出力処理部728は、読出対象イベントIDに係るイベントIDに対応付けられた全ての前方環境画像Iを、画像記憶部710から読み出し、そのまま(即ち解像度変更処理を行うことなく)ツール90に出力する。
図8に示す処理によれば、画像出力処理部728は、ツール90から出力要求を受信すると、出力位置に基づく解像度許容値と、ユーザIDに基づく解像度許容値と、撮像位置に基づく解像度許容値のうちの、最小の許容値を抽出し、該最小の許容値を超えることのない解像度の前方環境画像Iをツール90に出力する。これにより、国や地域ごとに異なり得るプライバシーに関する規制や、ユーザIDを考慮して、解像度を変更してから前方環境画像Iを出力できる。
尚、図8に示す例では、画像出力処理部728は、出力位置に基づく解像度許容値と、ユーザIDに基づく解像度許容値と、撮像位置に基づく解像度許容値のうちの、最小の許容値を超えることのない解像度の前方環境画像Iをツール90に出力するが、これに限られない。即ち、出力位置に基づく解像度許容値と、ユーザIDに基づく解像度許容値と、撮像位置に基づく解像度許容値のうちの、1つだけ、又は2つだけが考慮されてもよい。例えば、画像出力処理部728は、出力位置に基づく解像度許容値だけを考慮し、出力位置に基づく解像度許容値を超えることのない解像度の前方環境画像Iをツール90に出力することとしてもよい。或いは、画像出力処理部728は、出力位置に基づく解像度許容値と、ユーザIDに基づく解像度許容値のうちの、最小の許容値を超えることのない解像度の前方環境画像Iをツール90に出力することとしてもよい。
[実施形態2]
実施形態2では、画像記録システムは、処理装置7Aを含む。実施形態2は、上述した実施形態1に対して、解像度変更処理を行うタイミングが異なる。以下では、実施形態2に特有に構成について主に説明し、実施形態2において上述した実施形態1と同様であってよい構成要素については、同一の参照符号を付して説明を省略する場合がある。
図10は、実施形態2による処理装置7Aの機能ブロックの一例を示す図である。
実施形態2による処理装置7Aは、上述した実施形態1による処理装置7に対して、ハードウェア構成は同じであるが、画像記憶処理部724、解像度変更部726及び画像出力処理部728が、画像記憶処理部724A、解像度変更部726A(品質変更部の一例)及び画像出力処理部728Aでそれぞれ置換された点が異なる。尚、画像記憶処理部724A、解像度変更部726A及び画像出力処理部728Aは、CPU11がROM13や補助記憶装置14内の1つ以上のプログラムを実行することで実現できる。
画像記憶処理部724Aは、上述した実施形態1による画像記憶処理部724に対して、解像度変更部726Aによる解像度変更処理を経てから前方環境画像Iを、画像記憶部710に記憶する点が異なる。換言すると、解像度変更部726Aは、画像記憶部710に前方環境画像Iが記憶される際に、解像度変更処理を行う。尚、「画像記憶部710に前方環境画像Iが記憶される際」とは、「画像記憶部710に前方環境画像Iが記憶される直前」や、「画像記憶部710に前方環境画像Iが記憶される直後」を含む概念である。解像度変更処理は、タイミング以外は、上述した実施形態1と同じである。
画像出力処理部728Aは、上述した実施形態1による画像出力処理部728に対して、ツール90からの出力要求に応じて、画像記憶部710から読み出した前方環境画像Iを、そのまま(即ち解像度変更処理を行うことなく)ツール90に出力する点が異なる。
実施形態2によっても、上述した実施形態1と同様の効果を得ることができる。即ち、国や地域ごとに異なり得るプライバシーに関する規制や、要求元のユーザIDを考慮して、解像度を変更してから前方環境画像Iを出力できる。
尚、実施形態2では、解像度変更部726Aは、画像記憶部710に前方環境画像Iが記憶される際に、解像度変更処理を行うが、これに限られない。例えば、解像度変更部726Aは、画像記憶部710に前方環境画像Iが記憶された後、出力要求に応じて前方環境画像Iが画像記憶部710から読み出されるまでに、解像度変更処理を行うこととしてもよい。
次に、図11を参照して、実施形態2による画像記録システム(処理装置7A)の動作例の要部について、フローチャートを用いて説明する。
図11は、画像記憶処理部724Aによる画像記憶処理の一例を示すフローチャートである。図11に示す画像記憶処理は、例えば、イグニッションスイッチのオン状態において、所定周期毎に実行される。
ステップS1100では、画像記憶処理部724Aは、第1画像記憶処理を実行する。第1画像記憶処理は、図6に示した画像記憶処理(ステップS600〜ステップS610)のとおりである。ステップS610が終了すると、ステップS1102に進む。
ステップS1102は、画像記憶処理部724Aは、自車位置測定装置81から現在の自車位置(=撮像時自車位置)を取得する。
ステップS1104は、画像記憶処理部724Aは、ステップS1102で取得した撮像時自車位置と、国又は地域別許容値情報記憶部712内の国/地域別許容値情報(図4A参照)とに基づいて、撮像時自車位置が属する国又は地域に対応付けられた解像度の許容値(撮像位置に基づく解像度許容値)を取得する。
ステップS1106は、画像記憶処理部724Aは、ステップS1104で得た撮像位置に基づく解像度許容値が、読出対象イベントIDに係るイベントIDに対応付けられた前方環境画像Iの解像度の現在値よりも低いか否かを判定する。前方環境画像Iの解像度の現在値は、カメラ80で得られる解像度のままであり、既知である。判定結果が"YES"の場合は、ステップS1108に進み、それ以外の場合は、そのまま終了する。
ステップS1108は、画像記憶処理部724Aは、ステップS1104で得た撮像位置に基づく解像度許容値を解像度変更部726Aに与えて、解像度変更部726Aに解像度変更処理を実行させる。この場合、解像度変更部726Aは、今回のイベントのイベントIDに係る記録領域(画像記憶部710内の記録領域)内の全ての前方環境画像Iを、画像記憶部710から読み出し、各前方環境画像Iの解像度を、撮像位置に基づく解像度許容値、又は、撮像位置に基づく解像度許容値以下に変更する。
ステップS1110は、画像記憶処理部724Aは、ステップS1108で解像度変更処理を経た前方環境画像Iを、今回のイベントのイベントIDに係る記録領域(画像記憶部710内の記録領域)に記憶(上書き)する。
図11に示す処理によれば、画像記憶処理部724Aは、所定のイベントが発生した場合に、撮像位置に基づく解像度許容値に応じて解像度変更処理を経た前方環境画像Iを、画像記憶部710に記憶できる。
尚、図11に示す処理では、画像記憶処理部724Aは、今回のイベントに係る前方環境画像Iを、画像記憶部710内の記録領域に一旦記憶してから、解像度変更部726Aに解像度変更処理を実行させているが、これに限られない。例えば、画像記憶処理部724Aは、解像度変更部726Aをして、リングバッファに記憶されている画像データのうちの、記録期間T1中の前方環境画像Iに対して解像度変更処理を実行させ、かつ、解像度変更処理された前方環境画像Iを、画像記憶部710内の記録領域に記憶させることとしてもよい。
[実施形態3]
実施形態3では、画像記録システムは、処理装置7Bと、サーバ3とを含む。即ち、画像記録システムは、自車と、サーバ3とに分散して設けられる。以下では、実施形態3に特有に構成について主に説明し、実施形態3において上述した実施形態1と同様であってよい構成要素については、同一の参照符号を付して説明を省略する場合がある。
図12は、画像記録システム1の一例を示す概略構成図である。画像記録システム1は、処理装置7Bと、サーバ3とを含む。処理装置7B及びサーバ3は、互いに通信可能である。例えば、処理装置7Bは、無線送受信部26(図1参照)を備えることでサーバ3との通信が可能である。
図13は、処理装置7B及びサーバ3の機能ブロックの一例を示す図である。
実施形態3による処理装置7Bは、上述した実施形態1による処理装置7に対して、ハードウェア構成は同じであるが、地域別許容値情報記憶部712が無くなり、画像出力処理部728が画像出力処理部728Bで置換された点が異なる。尚、画像出力処理部728Bは、CPU11がROM13や補助記憶装置14内の1つ以上のプログラムを実行することで実現できる。
画像出力処理部728Bは、上述した実施形態1による画像出力処理部728に対して、サーバ3から出力位置に基づく解像度許容値及び撮像位置に基づく解像度許容値の通知を受ける点が異なる。
サーバ3は、物理的なコンピュータや仮想的なコンピュータにより形成される。サーバ3は、許容値通知部310と、地域別許容値情報記憶部312とを含む。許容値通知部310は、サーバ3内のCPU(図示せず)が記憶装置(図示せず)内の1つ以上のプログラムを実行することで実現できる。地域別許容値情報記憶部312は、サーバ3内の補助記憶装置(図示せず)により実現できる。
許容値通知部310は、地域別許容値情報記憶部312内のデータに基づいて、画像出力処理部728Bに、出力位置に基づく解像度許容値及び撮像位置に基づく解像度許容値を処理装置7Bに通知する。地域別許容値情報記憶部312内のデータは、地域別許容値情報記憶部712内のデータ(図4A参照)と同じである。
実施形態3によっても、上述した実施形態1と同様の効果を得ることができる。即ち、国や地域ごとに異なり得るプライバシーに関する規制や、要求元のユーザIDを考慮して、解像度を変更してから前方環境画像Iを出力できる。実施形態3では、地域別許容値情報記憶部312がサーバ3に記憶されるので、地域別許容値情報記憶部312内のデータに変更の必要が生じた場合、サーバ3において一括的に変更できる。
尚、実施形態3では、出力位置に基づく解像度許容値と、ユーザIDに基づく解像度許容値と、撮像位置に基づく解像度許容値のうちの、出力位置に基づく解像度許容値及び撮像位置に基づく解像度許容値がサーバ3により判断されて処理装置7Bに通知されるが、これに限られない。出力位置に基づく解像度許容値と、ユーザIDに基づく解像度許容値と、撮像位置に基づく解像度許容値のうちの、任意の1つだけ、又は、他の2つの組み合わせ、若しくは全てが、サーバ3により判断されて処理装置7Bに通知されてもよい。
次に、図14及び図15を参照して、実施形態3による画像記録システム1の動作例の要部について、フローチャートを用いて説明する。
図14は、処理装置7Bの画像出力処理部728Bによる画像出力処理の一例を示すフローチャートである。図14に示す画像出力処理は、車両ネットワーク9にツール90が接続された状態において、所定周期毎に実行される。
ステップS1400では、画像出力処理部728Bは、ツール90から出力要求を受信したか否かを判定する。
ステップS1402では、画像出力処理部728Bは、自車位置測定装置81から現在の自車位置(=出力時自車位置)を取得する。
ステップS1404では、画像出力処理部728Bは、ステップS1400で得た出力要求内の読出対象イベントID(図9参照)を取得する。
ステップS1406では、画像出力処理部728Bは、ステップS1404で得た読出対象イベントIDと、画像記憶部710内にデータ(図3参照)に基づいて、読出対象イベントIDに係るイベントIDに対応付けられた撮像時自車位置を取得する。
ステップS1408では、画像出力処理部728Bは、ステップS1402で得た出力時自車位置及びステップS1406で得た撮像時自車位置に基づいて、出力位置に基づく解像度許容値及び撮像位置に基づく解像度許容値を要求する送信信号(以下、「許容値要求」と称する)を、サーバ3に送信する。許容値要求は、ステップS1402で得た出力時自車位置及びステップS1406で得た撮像時自車位置を、サーバ3の許容値通知部310が特定できる情報を含む。また、許容値要求は、自車をサーバ3の許容値通知部310が特定できる情報(例えば車両IDなど)を含む。
ステップS1410では、画像出力処理部728Bは、ステップS1408で送信した許容値要求に対するサーバからの応答(以下、「許容値応答」と称する)を、受信したか否かを判定する。判定結果が"YES"の場合は、ステップS1412に進み、それ以外の場合は、許容値応答を待機する待機状態となる。
ステップS1412では、画像出力処理部728Bは、サーバ3から受信した許容値応答に基づいて、出力位置に基づく解像度許容値及び撮像位置に基づく解像度許容値を取得する。許容値応答には、図15を参照して後述するように、出力位置に基づく解像度許容値及び撮像位置に基づく解像度許容値を処理装置7Bが取得できる情報が含められる。
ステップS1414では、画像出力処理部728Bは、ステップS1400で得た出力要求内のユーザID(図9参照)を取得する。
ステップS1416では、画像出力処理部728Bは、ステップS1414で得たIDと、ユーザ別許容値情報記憶部714内のユーザ別許容値情報(図4B参照)とに基づいて、要求元に係るユーザIDに対応付けられた許容値(ユーザIDに基づく解像度許容値)を取得する。
ステップS1418では、画像出力処理部728Bは、ステップS1412で得た出力位置に基づく解像度許容値及び撮像位置に基づく解像度許容値と、ステップS1416で得たユーザIDに基づく解像度許容値とに基づいて、最小の許容値を抽出する。
ステップS1420では、画像出力処理部728Bは、ステップS1416で得た最小の許容値が、読出対象イベントIDに係るイベントIDに対応付けられた前方環境画像Iの解像度の現在値よりも低いか否かを判定する。前方環境画像Iの解像度の現在値は、カメラ80で得られる解像度のままであり、既知である。判定結果が"YES"の場合は、ステップS1422に進み、それ以外の場合は、ステップS1426に進む。
ステップS1422では、画像出力処理部728Bは、ステップS1418で得た最小の許容値を解像度変更部726に与えて、解像度変更部726に解像度変更処理を実行させる。ステップS1422は、上述したステップS820と同様である。
ステップS1424では、画像出力処理部728Bは、ステップS1422で解像度変更処理を経た前方環境画像Iをツール90に出力する。
ステップS1426では、画像出力処理部728Bは、読出対象イベントIDに係るイベントIDに対応付けられた全ての前方環境画像Iを、画像記憶部710から読み出し、そのまま(即ち解像度変更処理を行うことなく)ツール90に出力する。
図14に示す処理によれば、画像出力処理部728Bは、ツール90から出力要求を受信すると、出力位置に基づく解像度許容値及び撮像位置に基づく解像度許容値をサーバ3から取得する。そして、画像出力処理部728Bは、出力位置に基づく解像度許容値及び撮像位置に基づく解像度許容値と、ユーザIDに基づく解像度許容値のうちの、最小の許容値を抽出し、該最小の許容値を超えることのない解像度の前方環境画像Iをツール90に出力する。これにより、国や地域ごとに異なり得るプライバシーに関する規制や、ユーザIDを考慮して、解像度を変更してから前方環境画像Iを出力できる。
図15は、サーバ3の許容値通知部310による許容値通知処理の一例を示すフローチャートである。図15に示す許容値通知処理は、所定周期毎に実行される。
ステップS1500では、許容値通知部310は、車両の処理装置7Bから許容値要求(図14のステップS1408参照)を受信したか否かを判定する。判定結果が"YES"の場合は、ステップS1502に進み、それ以外の場合は、今回周期の処理を終了する。
ステップS1502では、許容値通知部310は、ステップS1500で得た許容値要求に基づいて、出力時自車位置及び撮像時自車位置を取得する。
ステップS1504では、許容値通知部310は、ステップS1502で得た出力時自車位置及び撮像時自車位置と、地域別許容値情報記憶部312内の地域別許容値情報(図4A参照)とに基づいて、出力位置に基づく解像度許容値及び撮像位置に基づく解像度許容値を取得する。具体的には、許容値通知部310は、出力時自車位置が属する国又は地域に対応付けられた解像度の許容値及び撮像時自車位置が属する国又は地域に対応付けられた解像度の許容値を、それぞれ、出力位置に基づく解像度許容値及び撮像位置に基づく解像度許容値として取得する。
ステップS1506では、許容値通知部310は、ステップS1504で得た出力位置に基づく解像度許容値及び撮像位置に基づく解像度許容値を、許容値応答として、許容値要求を行った車両に係る処理装置7Bに送信する。
図15に示す処理によれば、許容値通知部310は、車両の処理装置7Bから許容値要求に応答して、出力位置に基づく解像度許容値及び撮像位置に基づく解像度許容値を処理装置7Bに通知できる。
尚、実施形態3において、画像記憶部710は、サーバ3に設けられてもよい。この場合、画像取得部722は、取得した前方環境画像Iをサーバ3に送信する。また、この場合、画像記憶処理部724及び解像度変更部726の機能は、サーバ3より実現される。この場合、画像出力処理部728Bは、ツール90から出力要求を受けると、そのときの自車位置(出力時自車位置)と共に、出力要求をサーバ3に転送し、サーバ3から出力用の前方環境画像Iを受信して出力すればよい。サーバ3は、出力要求内の読出対象イベントIDに係るイベントIDに対応付けられた撮像時自車位置と、出力要求内のユーザIDと、出力時自車位置とに基づいて、撮像位置に基づく解像度許容値と、ユーザIDに基づく解像度許容値と、出力位置に基づく解像度許容値とをそれぞれ導出する。そして、サーバ3は、撮像位置に基づく解像度許容値、ユーザIDに基づく解像度許容値、及び出力位置に基づく解像度許容値のうちの、最小の許容値に応じて、出力用の前方環境画像Iを生成する。
[実施形態4]
実施形態4では、画像記録システムは、処理装置7Cと、サーバ3Cとを含む。以下では、実施形態4に特有に構成について主に説明し、実施形態3において上述した実施形態3と同様であってよい構成要素については、同一の参照符号を付して説明を省略する場合がある。
図16は、処理装置7C及びサーバ3Cの機能ブロックの一例を示す図である。
実施形態4による処理装置7Cは、上述した実施形態1による処理装置7に対して、ハードウェア構成は同じであるが、地域別許容値情報記憶部712が無くなり、画像記憶処理部724、解像度変更部726及び画像出力処理部728Bが、画像記憶処理部724C、解像度変更部726C(品質変更部の一例)及び画像出力処理部728Cでそれぞれ置換された点が異なる。尚、画像記憶処理部724C、解像度変更部726C及び画像出力処理部728Cは、CPU11がROM13や補助記憶装置14内の1つ以上のプログラムを実行することで実現できる。
画像記憶処理部724Cは、上述した実施形態3による画像記憶処理部724に対して、解像度変更部726Cによる解像度変更処理を経てから前方環境画像Iを、画像記憶部710に記憶する点が異なる。換言すると、解像度変更部726Cは、画像記憶部710に前方環境画像Iが記憶される際に、解像度変更処理を行う。画像記憶処理部724Cは、サーバ3Cから撮像位置に基づく解像度許容値の通知を受ける。
画像出力処理部728Cは、上述した実施形態1による画像出力処理部728に対して、ツール90からの出力要求に応じて、画像記憶部710から読み出した前方環境画像Iを、そのまま(即ち解像度変更処理を行うことなく)ツール90に出力する点が異なる。
サーバ3Cは、上述した実施形態3によるサーバ3に対して、許容値通知部310が許容値通知部310Cで置換された点が異なる。尚、許容値通知部310Cは、サーバ3C内のCPU(図示せず)が記憶装置(図示せず)内の1つ以上のプログラムを実行することで実現できる。
許容値通知部310Cは、地域別許容値情報記憶部312内のデータに基づいて、画像出力処理部728Cに、撮像位置に基づく解像度許容値を処理装置7Cに通知する。
実施形態4によっても、上述した実施形態3と同様の効果を得ることができる。
尚、実施形態4では、解像度変更部726Cは、画像記憶部710に前方環境画像Iが記憶される際に、解像度変更処理を行うが、これに限られない。例えば、解像度変更部726Cは、画像記憶部710に前方環境画像Iが記憶された後、出力要求に応じて前方環境画像Iが画像記憶部710から読み出されるまでに、解像度変更処理を行うこととしてもよい。
次に、図17及び図18を参照して、実施形態4による画像記録システム1の動作例の要部について、フローチャートを用いて説明する。
図17は、画像記憶処理部724Cによる画像記憶処理の一例を示すフローチャートである。図17に示す画像記憶処理は、例えば、イグニッションスイッチのオン状態において、所定周期毎に実行される。
ステップS1700では、画像記憶処理部724Cは、第1画像記憶処理を実行する。第1画像記憶処理は、図6に示した画像記憶処理(ステップS600〜ステップS610)のとおりである。ステップS610が終了すると、ステップS1702に進む。
ステップS1702は、画像記憶処理部724Cは、自車位置測定装置81から現在の自車位置(=撮像時自車位置)を取得する。
ステップS1704は、画像記憶処理部724Cは、ステップS1702で取得した撮像時自車位置に基づいて、撮像位置に基づく解像度許容値を要求する送信信号(許容値要求)を、サーバ3Cに送信する。許容値要求は、ステップS1702で得た撮像時自車位置を、サーバ3Cの許容値通知部310Cが特定できる情報を含む。許容値要求は、自車をサーバ3Cの許容値通知部310Cが特定できる情報(例えば車両IDなど)を含む。
ステップS1706では、画像記憶処理部724Cは、ステップS1704で送信した許容値要求に対するサーバからの応答(許容値応答)を、受信したか否かを判定する。判定結果が"YES"の場合は、ステップS1708に進み、それ以外の場合は、許容値応答を待機する待機状態となる。
ステップS1708では、画像記憶処理部724Cは、サーバ3Cから受信した許容値応答に基づいて、撮像位置に基づく解像度許容値を取得する。許容値応答には、図18を参照して後述するように、撮像位置に基づく解像度許容値を処理装置7Cが取得できる情報が含められる。
ステップS1710では、画像記憶処理部724Cは、ステップS1708で得た撮像位置に基づく解像度許容値が、読出対象イベントIDに係るイベントIDに対応付けられた前方環境画像Iの解像度の現在値よりも低いか否かを判定する。前方環境画像Iの解像度の現在値は、カメラ80で得られる解像度のままであり、既知である。判定結果が"YES"の場合は、ステップS1712に進み、それ以外の場合は、そのまま終了する。
ステップS1712は、画像記憶処理部724Cは、ステップS1708で得た撮像位置に基づく解像度許容値を解像度変更部726Cに与えて、解像度変更部726Cに解像度変更処理を実行させる。この場合、解像度変更部726Cは、今回のイベントのイベントIDに係る記録領域(画像記憶部710内の記録領域)内の全ての前方環境画像Iを、画像記憶部710から読み出し、各前方環境画像Iの解像度を、撮像位置に基づく解像度許容値、又は、撮像位置に基づく解像度許容値以下に変更する。
ステップS1714は、画像記憶処理部724Cは、ステップS1712で解像度変更処理を経た前方環境画像Iを、今回のイベントのイベントIDに係る記録領域(画像記憶部710内の記録領域)に記憶(上書き)する。
図17に示す処理によれば、画像記憶処理部724Cは、所定のイベントが発生した場合に、撮像位置に基づく解像度許容値をサーバ3Cから取得する。そして、画像記憶処理部724Cは、撮像位置に基づく解像度許容値に応じて解像度変更処理を経た前方環境画像Iを、画像記憶部710に記憶できる。
尚、図17に示す処理では、画像記憶処理部724Cは、今回のイベントに係る前方環境画像Iを、画像記憶部710内の記録領域に一旦記憶してから、解像度変更部726Cに解像度変更処理を実行させているが、これに限られない。例えば、画像記憶処理部724Cは、解像度変更部726Cをして、リングバッファに記憶されている画像データのうちの、記録期間T1中の前方環境画像Iに対して解像度変更処理を実行させ、かつ、解像度変更処理された前方環境画像Iを、画像記憶部710内の記録領域に記憶させることとしてもよい。
図18は、サーバ3Cの許容値通知部310Cによる許容値通知処理の一例を示すフローチャートである。図18に示す許容値通知処理は、所定周期毎に実行される。
ステップS1800では、許容値通知部310Cは、車両の処理装置7Cから許容値要求(図17のステップS1704参照)を受信したか否かを判定する。判定結果が"YES"の場合は、ステップS1802に進み、それ以外の場合は、今回周期の処理を終了する。
ステップS1802では、許容値通知部310Cは、ステップS1800で得た許容値要求に基づいて、撮像時自車位置を取得する。
ステップS1804では、許容値通知部310Cは、ステップS1802で得た撮像時自車位置と、地域別許容値情報記憶部312内の地域別許容値情報(図4A参照)とに基づいて、撮像位置に基づく解像度許容値を取得する。具体的には、許容値通知部310Cは、撮像時自車位置が属する国又は地域に対応付けられた解像度の許容値を、撮像位置に基づく解像度許容値として取得する。
ステップS1806では、許容値通知部310Cは、ステップS1804で得た撮像位置に基づく解像度許容値を、許容値応答として、許容値要求を行った車両に係る処理装置7Cに送信する。
図15に示す処理によれば、許容値通知部310Cは、車両の処理装置7Cから許容値要求に応答して、撮像位置に基づく解像度許容値を処理装置7Cに通知できる。
尚、実施形態4において、画像記憶部710は、サーバ3Cに設けられてもよい。この場合、画像取得部722は、取得した前方環境画像Iをサーバ3Cに送信する。この際、送信した前方環境画像Iに係る撮像時自車位置がサーバ3Cに送信される。また、この場合、画像記憶処理部724C及び解像度変更部726Cの機能は、サーバ3Cより実現される。この場合、画像出力処理部728Cは、ツール90から出力要求を受けると、出力要求をサーバ3Cに転送し、サーバ3Cから出力用の前方環境画像Iを受信して出力すればよい。サーバ3Cは、撮像時自車位置に基づいて、撮像位置に基づく解像度許容値に応じた出力用の前方環境画像Iを生成し、画像取得部722に記憶する。サーバ3Cは、処理装置7Cから出力要求を受けると、画像取得部722内から、対応する出力用の前方環境画像Iを抽出し、処理装置7Cに送信する。
以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施例の構成要素を全部又は複数を組み合わせることも可能である。
例えば、上述した実施形態1(実施形態2,3,4も同様)では、画像記憶部710には、所定のイベントの発生時に、該イベントに関連した前方環境画像Iが記憶されるが、これに限られない。これに加えて又は代えて、常に現時点から所定時間内の複数の前方環境画像Iが画像記憶部710にFIFO形式で記憶されてもよい。
1 画像記録システム
3 サーバ
3C サーバ
7 処理装置
7A 処理装置
7B 処理装置
7C 処理装置
8 車載電子機器群
9 車両ネットワーク
12 前方レーダセンサ
14 補助記憶装置
15 ドライブ装置
16 記録媒体
17 通信インターフェース
19 バス
25 有線送受信部
26 無線送受信部
80 カメラ
81 自車位置測定装置
82 加速度センサ
83 前方レーダセンサ
84 PCS・ECU
90 ツール
310 許容値通知部
310C 許容値通知部
312 地域別許容値情報記憶部
710 画像記憶部
712 地域別許容値情報記憶部
714 ユーザ別許容値情報記憶部
722 画像取得部
724 画像記憶処理部
724A 画像記憶処理部
724C 画像記憶処理部
726 解像度変更部
726A 解像度変更部
726C 解像度変更部
728 画像出力処理部
728A 画像出力処理部
728B 画像出力処理部
728C 画像出力処理部

Claims (9)

  1. 車両に設けられるカメラで撮像した画像を取得する画像取得部と、
    前記画像が記憶される画像記憶部と、
    前記画像の出力要求に応じて前記画像が前記画像記憶部から読み出される際に、外部装置又は表示装置に前記画像を出力する際の車両位置と、国又は地域ごとに所定基準が対応付けられた国/地域別情報とに基づいて、前記画像の品質の現在値が、外部装置又は表示装置に前記画像を出力する際の車両位置が属する国又は地域に対応付けられた前記所定基準を超えている場合に、前記所定基準以下まで前記画像の品質を低くする品質変更処理を行う品質変更部とを含む、画像記録システム。
  2. 車両に設けられるカメラで撮像した画像を取得する画像取得部と、
    前記画像が記憶される画像記憶部と、
    記画像を撮像した際の車両位置と、国又は地域ごとに所定基準が対応付けられた国/地域別情報とに基づいて、前記画像の品質の現在値が、前記画像を撮像した際の車両位置が属する国又は地域に対応付けられた前記所定基準を超えている場合に、前記所定基準以下まで前記画像の品質を低くする品質変更処理を行う画像記録システム。
  3. 前記車両に設けられる、請求項1又は2に記載の画像記録システム。
  4. 前記車両と、サーバとに分散して設けられる、請求項1又は2に記載の画像記録システム。
  5. 前記所定基準以下まで前記画像の品質を低くすることは、前記画像の解像度を所定の許容値以下まで低くすること、及び、前記画像の色数を所定色数以下まで低くすることのうちの少なくともいずれか一方を含む、請求項1ないしのうちのいずれか1項に記載の画像記録システム。
  6. 車両に設けられるカメラで撮像した画像を取得する処理
    前記画像を画像記憶部に記憶する処理、及び
    前記画像の出力要求に応じて前記画像が前記画像記憶部から読み出される際に、外部装置又は表示装置に前記画像を出力する際の車両位置と、国又は地域ごとに所定基準が対応付けられた国/地域別情報とに基づいて、前記画像の品質の現在値が、外部装置又は表示装置に前記画像を出力する際の車両位置が属する国又は地域に対応付けられた前記所定基準を超えている場合に、前記所定基準以下まで前記画像の品質を低くする処理、
    コンピュータ実行する、画像記録方法。
  7. 車両に設けられるカメラで撮像した画像を取得する処理、
    前記画像を画像記憶部に記憶する処理、及び
    前記画像を撮像した際の車両位置と、国又は地域ごとに所定基準が対応付けられた国/地域別情報とに基づいて、前記画像の品質の現在値が、前記画像を撮像した際の車両位置が属する国又は地域に対応付けられた前記所定基準を超えている場合に、前記所定基準以下まで前記画像の品質を低くする処理、
    をコンピュータが実行する、画像記録方法。
  8. 車両に設けられるカメラで撮像した画像を取得する処理
    前記画像を画像記憶部に記憶する処理、及び
    前記画像の出力要求に応じて前記画像が前記画像記憶部から読み出される際に、外部装置又は表示装置に前記画像を出力する際の車両位置と、国又は地域ごとに所定基準が対応付けられた国/地域別情報とに基づいて、前記画像の品質の現在値が、外部装置又は表示装置に前記画像を出力する際の車両位置が属する国又は地域に対応付けられた前記所定基準を超えている場合に、前記所定基準以下まで前記画像の品質を低くする処理、
    コンピュータに実行させる、画像記録プログラム。
  9. 車両に設けられるカメラで撮像した画像を取得する処理、
    前記画像を画像記憶部に記憶する処理、及び
    前記画像を撮像した際の車両位置と、国又は地域ごとに所定基準が対応付けられた国/地域別情報とに基づいて、前記画像の品質の現在値が、前記画像を撮像した際の車両位置が属する国又は地域に対応付けられた前記所定基準を超えている場合に、前記所定基準以下まで前記画像の品質を低くする処理、
    をコンピュータに実行させる、画像記録プログラム。
JP2017045351A 2017-03-09 2017-03-09 画像記録システム、画像記録方法、画像記録プログラム Active JP6635075B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017045351A JP6635075B2 (ja) 2017-03-09 2017-03-09 画像記録システム、画像記録方法、画像記録プログラム
US15/909,332 US10868975B2 (en) 2017-03-09 2018-03-01 Image processing system for acquiring an image picked up by a camera provided in a vehicle an image processing method executed by a computer and a non-transitory storage medium storing an image processing program executed by a computer
CN201810185795.6A CN108574810B (zh) 2017-03-09 2018-03-07 图像处理系统、图像处理方法以及非暂态存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017045351A JP6635075B2 (ja) 2017-03-09 2017-03-09 画像記録システム、画像記録方法、画像記録プログラム

Publications (2)

Publication Number Publication Date
JP2018151701A JP2018151701A (ja) 2018-09-27
JP6635075B2 true JP6635075B2 (ja) 2020-01-22

Family

ID=63445302

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017045351A Active JP6635075B2 (ja) 2017-03-09 2017-03-09 画像記録システム、画像記録方法、画像記録プログラム

Country Status (3)

Country Link
US (1) US10868975B2 (ja)
JP (1) JP6635075B2 (ja)
CN (1) CN108574810B (ja)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100548418B1 (ko) * 2003-10-31 2006-02-02 엘지전자 주식회사 카메라 일체형 휴대 단말기의 촬영 제한 방법 및 시스템
JP4450206B2 (ja) * 2004-12-24 2010-04-14 株式会社デンソー プローブシステム
JP2008191825A (ja) 2007-02-02 2008-08-21 Nec Electronics Corp 位置情報を用いた認証システム
JP2011028651A (ja) * 2009-07-28 2011-02-10 Yupiteru Corp 車両用映像記録装置
JP5302227B2 (ja) * 2010-01-19 2013-10-02 富士通テン株式会社 画像処理装置、画像処理システム、および、画像処理方法
JP5637633B2 (ja) * 2010-07-06 2014-12-10 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 画像配信装置
WO2012133982A1 (ko) * 2011-03-25 2012-10-04 엘지전자 주식회사 영상처리장치 및 영상처리장치의 제어 방법
CN103548340B (zh) * 2011-05-24 2017-12-29 日产自动车株式会社 车辆用监视装置以及车辆的监视方法
JP2014078910A (ja) 2012-10-12 2014-05-01 Sony Corp 画像処理装置、画像処理システム、画像処理方法、及びプログラム
US9350914B1 (en) * 2015-02-11 2016-05-24 Semiconductor Components Industries, Llc Methods of enforcing privacy requests in imaging systems
US10452926B2 (en) * 2016-12-29 2019-10-22 Uber Technologies, Inc. Image capture device with customizable regions of interest

Also Published As

Publication number Publication date
JP2018151701A (ja) 2018-09-27
US20180262697A1 (en) 2018-09-13
US10868975B2 (en) 2020-12-15
CN108574810B (zh) 2020-12-25
CN108574810A (zh) 2018-09-25

Similar Documents

Publication Publication Date Title
US11606516B2 (en) Image processing device, image processing method, and image processing system
CN108574811B (zh) 图像记录系统、图像记录方法和图像记录程序
US11027654B2 (en) Vehicle vision system with compressed video transfer via DSRC link
EP3288002A1 (en) Drive recorder
JP6583319B2 (ja) 画像記録システム、画像記録方法、画像記録プログラム
US20200117926A1 (en) Apparatus, method, and system for controlling parking of vehicle
WO2017029847A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN107810506B (zh) 具有隐私保护的远程查看系统
US20220319192A1 (en) Driving assistance device, driving assistance method, and non-transitory computer-readable medium
CN110891160A (zh) 影像传输装置、影像传输方法、以及记录介质
CN110871791A (zh) 汽车的泊车控制方法、装置及存储介质
JPWO2018016151A1 (ja) 画像処理装置と画像処理方法
JPWO2018016150A1 (ja) 画像処理装置と画像処理方法
JP6922169B2 (ja) 情報処理装置および方法、車両、並びに情報処理システム
JP6635075B2 (ja) 画像記録システム、画像記録方法、画像記録プログラム
US11810363B2 (en) Systems and methods for image processing using mobile devices
JP6927787B2 (ja) 車載器および運転支援装置
CN110995981B (zh) 图像处理装置及其控制方法、非暂时性可读记录介质、信息处理系统
JP6974059B2 (ja) 車載器および運転支援装置
US11303815B2 (en) Imaging apparatus and imaging method
CN114640794A (zh) 相机、相机处理方法、服务器、服务器处理方法以及信息处理设备
WO2023189568A1 (ja) 画像生成装置、方法及びプログラム
WO2023026601A1 (ja) 情報処理装置、駐車支援装置、および方法
TW202240475A (zh) 資訊處理裝置、資訊處理系統、資訊處理方法及記錄媒體
CN116194965A (zh) 确定相机系统的图像数据的正确性

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190910

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190911

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191202

R151 Written notification of patent or utility model registration

Ref document number: 6635075

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151