JP7192570B2 - 記録再生装置、記録再生方法およびプログラム - Google Patents

記録再生装置、記録再生方法およびプログラム Download PDF

Info

Publication number
JP7192570B2
JP7192570B2 JP2019033740A JP2019033740A JP7192570B2 JP 7192570 B2 JP7192570 B2 JP 7192570B2 JP 2019033740 A JP2019033740 A JP 2019033740A JP 2019033740 A JP2019033740 A JP 2019033740A JP 7192570 B2 JP7192570 B2 JP 7192570B2
Authority
JP
Japan
Prior art keywords
recording
event
data
line
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019033740A
Other languages
English (en)
Other versions
JP2020140304A (ja
Inventor
啓太 林
聡隆 村田
拓之 照内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2019033740A priority Critical patent/JP7192570B2/ja
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to EP19917219.8A priority patent/EP3933789B1/en
Priority to CN202310529891.9A priority patent/CN116437192A/zh
Priority to CN201980069607.6A priority patent/CN112955937B/zh
Priority to PCT/JP2019/048844 priority patent/WO2020174813A1/ja
Publication of JP2020140304A publication Critical patent/JP2020140304A/ja
Priority to US17/321,224 priority patent/US11425329B2/en
Priority to JP2022184023A priority patent/JP7371752B2/ja
Application granted granted Critical
Publication of JP7192570B2 publication Critical patent/JP7192570B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22Display screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • G07C5/085Registering performance data using electronic data carriers
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • G07C5/085Registering performance data using electronic data carriers
    • G07C5/0866Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149Instrument input by detecting viewing direction not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/167Vehicle dynamics information
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/176Camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30268Vehicle interior
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Television Signal Processing For Recording (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は記録再生装置、記録再生方法およびプログラムに関する。
車両の周囲の状況等を撮影して映像等のデータを取得する手段と、車両が何らかの衝撃を受けたことを検出する手段とを有し、車両に対する衝撃を検出した時点に基づいて所定期間の映像等を再生可能に保存するドライブレコーダが普及している。例えば特許文献1には、加速度の推移に基づき映像データを記録するドライブレコーダが開示されている。このようなドライブレコーダは、事故等によるイベントを検出した場合に、事故の状況を再生可能に保存する。またドライブレコーダは、危険運転等により異常な加速度が検出された場合には、危険運転の状況を再生可能に保存する。
特開2009-087007号公報
しかしながら、ドライブレコーダのユーザは、ドライブレコーダの操作方法を熟知していない場合が少なくない。また事故等のイベントが発生した場合に、ユーザは咄嗟に煩雑な操作を行うことができない。そのためにユーザはドライブレコーダが保存したイベントの映像等を適切に再生できない場合がある。
本発明はこのような課題を解決するためになされたものであり、煩雑な操作をすることなく保存したデータの再生を行う記録再生装置等を提供する。
本発明にかかる記録再生装置は、移動体に設置され、カメラが撮影した撮影データを記録および再生する記録再生装置であって、撮影データ取得部、イベン検出部、記録制御部、表示部、視線検出部および再生制御部を有している。撮影データ取得部は、前記撮影データを取得する。イベント検出部は、前記移動体に対するイベントが発生したことを検出する。記録制御部は、前記イベントの検出に基づいて前記撮影データの少なくとも一部から予め設定された期間分の前記撮影データをイベント記録データとして保存する。視線検出部は、ユーザの視線が前記イベント記録データを表示する表示部に向いていることを検出する。再生制御部は、イベントが検出されてから予め設定された期間内に、視線検出部が表示部に視線が向いていることを検出した場合に、イベント記録データの再生を開始する。
本発明にかかる記録再生方法は、移動体に設置されたカメラが撮影した撮影データを記録および再生する記録再生方法であって、撮影データ取得ステップ、イベント検出ステップ、記録制御ステップ、視線検出ステップおよび再生制御ステップを有している。撮影データ取得ステップは、前記撮影データを取得する。イベント検出ステップは、前記移動体に対するイベントが発生したことを検出する。記録制御ステップは、前記イベントの検出に基づいて前記撮影データの少なくとも一部から予め設定された期間分の前記撮影データをイベント記録データとして保存する。視線検出ステップは、ユーザの視線が前記イベント記録データを表示する表示部に向いていることを検出する。再生制御ステップは、イベントが検出されてから予め設定された期間内に、ユーザの視線が表示ステップに向いていることを検出した場合に、イベント記録データの再生を開始する。
本発明にかかるプログラムは、記録再生装置を動作させるコンピュータに実行させるプログラムである。記録再生方法は、撮影データ取得ステップ、イベント検出ステップ、記録制御ステップ、視線検出ステップおよび再生制御ステップを有している。撮影データ取得ステップは、前記撮影データを取得する。イベント検出ステップは、前記移動体に対するイベントが発生したことを検出する。記録制御ステップは、前記イベントの検出に基づいて前記撮影データの少なくとも一部から予め設定された期間分の前記撮影データをイベント記録データとして保存する。視線検出ステップは、ユーザの視線が前記イベント記録データを表示する表示部に向いていることを検出する。再生制御ステップは、イベントが検出されてから予め設定された期間内に、視線検出ステップにおいて表示ステップに視線が向いていることを検出した場合に、イベント記録データの再生を開始する。
本発明により、煩雑な操作をすることなく保存したデータの再生を行う記録再生装置等を提供することができる。
実施の形態1にかかる記録再生装置の構成を示すブロック図である。 実施の形態1にかかる記録再生装置の右側面図である。 実施の形態1にかかる記録再生装置の背面図である。 実施の形態1にかかる記録再生装置の正面図である。 記録再生装置が記憶する撮影データと時間との関係を示す第1の図である。 記録再生装置が記憶する撮影データと時間との関係を示す第2の図である。 記録再生装置がイベントの発生を検出する場合のフローチャートである。 実施の形態1にかかる記録再生装置がイベント記録データを再生する場合のフローチャートである。 実施の形態1の変形例にかかる記録再生装置の概観図である。 実施の形態1の変形例にかかる記録部の構成を示すブロック図である。 実施の形態1の変形例にかかる再生装置の構成を示すブロック図である。 実施の形態2にかかる視線検出カメラが取得した撮影データの例を示す図である。 実施の形態2にかかる記録再生装置がイベント記録データを再生する場合のフローチャートである。
説明の明確化のため、以下の記載および図面は、適宜、省略、および簡略化がなされている。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
<実施の形態1>
以下、図を参照して実施の形態1の構成について説明する。本実施の形態にかかる記録再生装置10は、移動体である自動車等の車両に設置して用いられ、カメラが撮影した撮影データを記録および再生するものであって、例えばドライブレコーダと呼ばれる装置である。記録再生装置10は、突発的な衝撃などが加えられた場合に加えられた衝撃をトリガとして、予め設定された期間分の撮影データを「イベント記録データ」として再生可能に記録する機能を有している。自動車の運転者等は、このイベント記録データを再生し、再生したイベント記録データの映像を見ることによりイベントの状況を把握できる。
図1は、実施の形態1にかかる記録再生装置の構成を示すブロック図である。図に示すように、記録再生装置10は、各構成要素の制御を司る制御部100および制御部100に接続された複数の構成要素を有している。制御部100は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、メモリ、および複数のインタフェース等が実装された回路基板を有する制御装置であって、格納されているプログラムを実行して種々の処理を実行する。
以下に制御部100の詳細について説明する。制御部100は、撮影データ取得部120、バッファメモリ121、撮影データ処理部122、記録制御部123、再生制御部124、操作制御部125、表示制御部126、イベント検出部127、位置情報取得部128、タイマ129、視線検出部130および発光制御部131を有しており、これらの処理および制御を実行する構成は、制御部100が実行するプログラムによって実現される。便宜的に、これらの構成はそれぞれバスライン110に接続しているように表現する。
撮影データ取得部120は、カメラ150から供給された撮影データを取得する。撮影データ取得部120は、バスライン110を介して撮影データをバッファメモリ121に供給する。また撮影データ取得部120は、視線検出カメラ151から供給された撮影データを取得し、取得した撮影データを視線検出部130に供給する。
バッファメモリ121は、揮発性または不揮発性のメモリ装置である。バッファメモリ121は、撮影データ取得部120を介してカメラ150が定期的に生成する撮影データを順次受け取り、受け取った撮影データを一時的に記憶する。バッファメモリ121が一時的に記憶する撮影データは予め設定された期間分である。バッファメモリ121は、予め設定された期間を経過した撮影データを順次消去するか、あるいは、新たに受け取った撮影データを順次上書きする。
撮影データ処理部122は、バッファメモリ121が記憶している撮影データから、予め設定された方式に準拠した形式の撮影ファイルを生成する。予め設定された方式とは、例えばH.264やMPEG-4(Moving Picture Experts Group)などの方式である。
なお、撮影データ処理部122は、撮影データを処理し、予め設定された画角の撮影ファイルを生成してもよい。また、撮影データ処理部122は、バッファメモリ121が出力した撮影データを処理し、予め設定された時間または予め設定された画角の撮影データを生成し、ファイル名称等のヘッダ情報等を付加して、撮影ファイルを生成してもよい。さらに、撮影データ処理部122は、バッファメモリ121が出力した撮影データを処理し、撮影データのノイズ除去や歪み補正等を行ってもよく、撮影データに時刻情報、車両の速度情報または車両の位置情報などを表示した撮影ファイルを生成してもよい。
記録制御部123は、撮影データ処理部122が生成した撮影ファイルを記録装置160に保存させる制御を行う。イベント検出部127がイベントを検出した場合、記録制御部123は、イベントの検出に基づいて予め設定された期間分の撮影ファイルを上書き禁止されたイベント記録データとして記録装置160に保存する。記録制御部123は、イベント記録データを、記録装置160における所定の記録領域に保存する。所定の記録領域とは例えば、上書きまたは消去禁止とすることを定められた記憶領域である。あるいは、記録制御部123により記録装置160に供給されたイベント記録データは、上書きまたは消去禁止であることを示すフラグをファイル内に含めて保存してもよい。
また記録制御部123は、記録装置160に保存したイベント記録データが過去に再生制御部124によって再生処理が行われたか否かを示す情報を記録装置160に記録する。これにより再生制御部124はどのイベント記録データが未再生であるかを識別できる。
なお、記録制御部123は、イベント検出部127がイベントを検出していない場合、撮影ファイルを上書き可能な状態として記録装置160に記憶させてもよい。記録装置160に記憶させる、イベント記録データとは異なる撮影ファイルをここでは「通常ファイル」と称する。記録制御部123は、記録装置160の記憶容量が上限となった場合、通常ファイルのうち古いものを消去して新たに生成された通常ファイルを記録装置160に記録してもよい。
再生制御部124は、予め設定された条件下において、保存されているイベント記録データを再生するための処理を行う。予め設定された条件とは、イベントが検出されてから予め設定された期間内に、ユーザの視線が表示部141に向いていることを検出した場合である。この場合、再生制御部124は、視線検出部130からユーザの視線が表示部141に向いていることを示す信号を受け取る。
再生制御部124はタイマ129を監視してイベントが検出されてから予め設定された期間が経過したか否かを判断する。イベント記録データを再生する場合、再生制御部124は、記録装置160に記録されたイベント記録データを読取り、読取ったイベント記録データを表示制御部126に供給する。なお上記予め設定された期間は例えば1分、3分、5分など、事故等のイベントの発生後に、イベントの確認を行うために、イベント記録データの再生要求が生じるために適切な期間である。
再生制御部124は、イベントが検出されてから、つまりイベントが検出された時刻から予め設定された期間内に、ユーザの視線が表示部141に向いていることを検出した場合、イベント記録データの再生を開始する。再生制御部124は、イベントが検出された後、イベント記録データの保存が終了してから予め設定された期間内に、ユーザの視線が表示部141に向いていることを検出した場合、イベント記録データの再生を開始することとしてもよい。また、イベント記録データの保存が終了する前にユーザの視線が表示部141に向いていることを検出した場合、イベント記録データの保存が終了してから保存されたイベント記録データの再生を開始することとしてもよく、イベント記録データの保存が終了する前にイベント記録データの再生が可能であれば、イベント記録データの再生を開始してもよい。
操作制御部125は、操作部140が受け付けた操作情報を取得し、操作情報に基づいた操作指示を、各構成要素に出力する。操作制御部125は、操作部140から再生対象となる各種データの選択指示を取得した場合、再生制御部124に記録装置160に記録されているファイルなどを選択させる。操作制御部125は、操作部140から各種データの再生に関する指示を取得した場合、再生制御部124に再生に関する処理を行わせる。各種データの再生に関する指示とは、例えば、再生開始、一時停止、再生停止、拡大表示などである。
表示制御部126は、表示部141に対し、様々な情報を表示させる制御を行う。例えば、表示制御部126は、カメラ150が撮影中の撮影データを表示部141に表示させる。また、表示制御部126は、再生制御部124から供給されたイベント記録データを受け取り、受け取ったイベント記録データを表示部141に表示させる。表示制御部126は、表示部141に、操作部140の機能としてタッチセンサが重畳されている場合、タッチセンサに対応したアイコンなどを表示部141に適宜表示させる。
イベント検出部127は、加速度センサ142が検出する加速度に関する情報を受け取るとともに、受け取った情報の信号の大きさや信号パターンから所定のイベントが発生したことを検出する。外部から受ける加速度とは、記録再生装置10が記録再生装置の外部から受ける加速度であって、例えば自動車が他の物体と衝突したときに発生する衝撃などにより生じる加速度である。
イベント検出部127は、加速度センサ142から受け取った情報が所定のイベントの発生に該当することを検出した場合には、イベントの発生を検出したことを示す信号を撮影データ処理部122に供給する。イベントの発生とは、例えば、急ブレーキによる衝撃や、車両に対して物体が衝突した場合の衝撃など、事故に該当する場合に生じる加速度が検出される場合である。例えば、予め設定された方向に対して、予め設定された大きさを越える加速度が、予め設定された期間を越えて検出された場合や、予め設定された期間に加速度の変化が大きかった場合などに、イベント検出部127はイベントの発生を検出する。なおイベント検出部127は、3軸座標の座標軸であるX軸、Y軸およびZ軸の加速度を検出するものであってもよいし、これらのうち少なくとも1方向の加速度を検出するものであってもよい。またこれら3軸方向から受ける加速度に重み付けを行ってもよい。またイベント検出部127は、イベントの発生を検出したことを示す信号をタイマ129にも供給する。
位置情報取得部128は、GPS(Global Positioning System)受信部143が受信したGPS衛星からの信号を受け取り、受け取った信号から現在位置に関する情報である位置情報を取得し、取得した位置情報を記録制御部123に供給する。位置情報には例えば、GPS衛星から信号を受け取った時刻における車両の緯度および経度が含まれる。
タイマ129は、イベント検出部127からイベントの発生を検出したことを示す信号を受け取り、これをトリガ信号としてタイマのカウント値をリセットして作動を開始する。またタイマ129は、作動を開始すると、予め設定された期間までカウントを行う。
視線検出部130は、撮影データ取得部120が視線検出カメラ151から取得した撮影データを受け取り、受け取った撮影データからユーザの視線が表示部141に向いていることを検出する。視線検出部130は、受け取った撮影データからユーザの顔に含まれる目の位置を認識し、検出した目における瞳孔およびプルキニエ像の動きを解析することにより視線を検出する。なお、視線検出の技術については既に当業者の間に広く知られているものであり、ここでは詳述を省略する。
視線検出部130は、撮影データ取得部120から視線検出カメラ151のフレームレート(例えば30フレーム毎秒)に対応した撮影データを受け取る。ユーザの視線が表示部141に向いていることを検出する場合の一例は、ユーザの視線が予め設定された期間(例えば1秒間)継続して表示部141に向いている場合である。ユーザの視線が表示部141に向いていることを検出する場合の別の例は、ユーザの視線が予め設定された期間(例えば1.5秒間)に80パーセント以上の頻度で表示部141に向いている場合である。このように、予め設定された期間にユーザの視線が表示部141に向いている頻度が高い場合に、視線検出部130は、ユーザの視線が表示部141に向いていることを示す信号を再生制御部124に供給する。
発光制御部131は、発光装置152を制御するドライバである。発光制御部131は、視線検出を行う場合に、適宜発光装置152を点灯させるための信号を発光装置152に供給する。
次に、制御部100に接続している各構成について説明する。記録再生装置10は、操作部140、表示部141、加速度センサ142、GPS受信部143、カメラ150、視線検出カメラ151、発光装置152および記録装置160を有している。
操作部140は、記録再生装置10に対してユーザが行う操作を受け付けるユーザインタフェースである。ユーザインタフェースは、例えば操作ボタンであってもよいし、表示部141に重畳して設置されたタッチセンサであってもよい。またユーザインタフェースは、赤外線や無線通信の受信部であって、リモコン等から送信される信号を受け付けるものであってもよい。操作部140は、受け付けた操作に関する情報である操作情報を、所定のインタフェースを介して制御部100に供給する。操作情報は例えば、イベント記録開始の指示やイベント記録データの再生を行う指示等である。
表示部141は、表示制御部126の制御により各種情報を表示する表示装置である。表示部141は、例えば、液晶パネルや有機EL(Electro Luminescence)などの表示パネルを少なくとも有している。表示部141は、表示制御部126に接続し、表示制御部126から供給される信号を表示する。表示部141は、イベント記録データに含まれる映像を表示するように構成されている。
加速度センサ142は、例えば3軸加速度センサであって、記録再生装置10の任意の場所に設置されている。加速度センサ142は、加速度センサ142に印加された加速度を検出し、検出した加速度に応じて、検出した加速度に関する情報を制御部100に供給する。加速度センサ142は、イベント検出部127に接続しており、検出した加速度に関する情報をイベント検出部127に供給する。なお、加速度センサ142が制御部100に供給する加速度に関する状態は、適宜、他の構成も利用可能であり、より具体的には、再生制御部124も加速度センサ142から受け取る加速度に関する情報を利用する。なお、加速度センサ142は、3軸加速度センサに代えて、1軸または2軸加速度センサであってもよい。
GPS受信部143は、GPSあるいはGNSS(Global Navigation Satellite System)と称される衛星測位システムにより車両の現在位置に関する情報を受信する。GPS受信部143は、GPS信号を受信するためのアンテナであってもよいし、車両が取得する位置情報を受け取るための通信インタフェースであってもよい。GPS受信部143は、受信した現在位置に関する信号を、位置情報取得部128に供給する。
カメラ150は、対物レンズ、撮像素子およびA-D(Analog to Digital)変換素子等を有する撮像装置である。カメラ150は、移動体である車両の周囲の景色を含む映像を撮像し、撮像した映像のデータである撮影データを生成する。カメラ150は、生成した撮影データを撮影データ取得部120に供給する。
視線検出カメラ151は、撮影したユーザの顔に含まれるユーザの視線を検出するための撮像装置である。視線検出カメラ151は、ユーザの顔を撮影し、撮像した映像のデータである映像データを生成する。視線検出カメラ151は、生成した映像データを撮影データ取得部120に供給する。
発光装置152は、視線検出を行うための光を発する装置であって、例えばLED(light-emitting diode)である。発光装置152は、例えば850ナノメートルの波長を有する赤外光を、視線検出カメラ151の撮影範囲に向けて発する。発光装置152が赤外光を発し、視線検出カメラ151が赤外光を反射したユーザの眼球を撮影することにより、ユーザの視線を検出できる。
記録装置160は、カメラ150から供給された撮影データを格納する記録装置である。記録装置160は、例えばフラッシュメモリを含むメモリカードや、SSD(Solid State Drive)またはHDD(Hard Disc Drive)等の不揮発性の記録装置である。記録装置160は、記録制御部123に接続し、記録制御部123から所定のデータを受け取り、受け取ったデータを記録する。また、記録装置160は、再生制御部124の指示に応じて再生制御部124に対して記録しておいたイベント記録データを含むイベントファイルを供給する。記録装置160は記録再生装置10から脱着可能に構成されていてもよいし、取り外しできない構成であってもよい。
次に、図2~図4を参照しながら記録再生装置10の機械的な構成について説明する。図2は、実施の形態1にかかる記録再生装置10の右側面図である。図3は、実施の形態1にかかる記録再生装置10を撮影方向から見た背面図である。図4は、実施の形態1にかかる記録再生装置10を表示方向から見た正面図である。なお、構成要素の位置関係を説明するための便宜的なものとして、図2~4には、右手系の直交座標系が付されている。また、以降の図において、直交座標系が付されている場合、図2~4のX軸、Y軸、およびZ軸方向と、これらの直交座標系のX軸、Y軸、およびZ軸方向はそれぞれ一致している。
図2に示すように、記録再生装置10は、ブラケット900を介して車両のウィンドシールドWSに固定される。ブラケット900は、接着部901、保持部902およびボールジョイント903を有している。
接着部901はウィンドシールドWSに接する面に接着剤が塗布された部材である。ブラケット900は、接着部901がウィンドシールドWSの任意の位置に接着することにより固定される。
保持部902は、記録再生装置10が有する着脱部921に着脱可能且つ装着した記録再生装置10が車両の走行等で外れたり、撮影向きのずれが生じないように嵌合する。例えば保持部902は、記録再生装置10が有する着脱部921の所定の方向に対してスライドして係合可能なリブまたは溝を有しており、所定の寸法までスライドすると、ロック機構(不図示)によりロックされガタツキなく固定される。
ボールジョイント903は、接着部901と保持部902との角度を調整可能に設けられた関節機構であり、所定の外力が加えられた場合に可動する。接着部901がウィンドシールドWSに接着し、保持部902が記録再生装置10と嵌合している状態では、所定の外力が加えられない限りボールジョイント903は動かないように構成されている。
記録再生装置10を利用するユーザは、接着部901をウィンドシールドWSに接着するとともに、保持部902に記録再生装置10の着脱部921を嵌合させる。これにより記録再生装置10は車両に固定される。
なお、車両に固定された記録再生装置10を取り外す場合、ユーザは、記録再生装置10の着脱部921を保持部902から解除する。着脱部921を保持部902から解除する場合、ユーザは、ロック機構(不図示)を解除したうえで着脱部921を保持部902から引き離すようにスライドさせる。これにより記録再生装置10は車両から取り外され、ユーザは記録再生装置10を把持できる。
図2~図4に示すように、記録再生装置10は、その正面および背面が矩形の主面となり、正面から投影した矩形の短辺に対して数分の一程度の厚みを有する略直方体形状を成している。記録再生装置10は、周囲が樹脂製のケース920に覆われている。
記録再生装置10は、背面にカメラ150の対物レンズが露呈しており、上面には着脱部921が設けられている。したがって、記録再生装置10は、上面に設けられた着脱部921がブラケット900の保持部に嵌合し、カメラ150の対物レンズが車両の進行方向に露呈した状態で車両に固定される。記録再生装置10は、このように車両に固定された状態で正面がユーザ側に向いている。記録再生装置10の正面には、表示部141が有する表示パネル、視線検出カメラ151および発光装置152が配置されている。記録再生装置10がこのように設置されることにより、記録再生装置10は進行方向の映像を撮像するとともに、撮像した映像をユーザに表示する。図4に示す表示部141はイベント記録データを表示している状態である。
また記録再生装置10は、表示部141の表示面側に視線検出カメラ151および発光装置152を有している。このように構成されていることにより、発光装置152は表示部141に対向するユーザの顔面に対して赤外光を照射し、視線検出カメラ151は、赤外光が照射されたユーザの顔面を撮影する。記録再生装置10の表示パネルの大きさは、例えば対角線が1.5インチから4インチ程度である。また、ケース920の大きさは例えば、幅方向(X軸方向)が5センチメートルから10センチメートル程度である。
次に、図5を参照しながら、撮影データについて説明する。図5は、記録再生装置が記憶する撮影データと時間との関係を示す第1の図である。図の横軸は時刻を表しており、時刻t10から時刻t11に向かって矢印の方向(右方向)に時間が経過することを示している。
時間軸に沿って示された長尺形状は、時刻t11における撮影データC11である。撮影データC11は、カメラ150が生成した撮影データであって、バッファメモリ121に記憶されている。記録再生装置10は、予め設定された期間Pnの撮影データを常に記憶しておくように設定されている。期間Pnは、例えば60秒、120秒あるいは150秒などの期間である。時刻t11における撮影データC11は、時刻t11から期間Pnを遡った時刻t10から時刻t11までの撮影データである。またバッファメモリ121に記憶される撮影データは時刻の経過とともに、期間Pnより過去の撮影データは順次消去される。
ここで、図5に示す例では、時刻t11において、記録再生装置10がイベントの発生を検出したものとする。そのため、記録再生装置10はこの後、時刻t11を基準としてイベント記録データを生成する処理を行う。
次に、図6を参照しながら、イベントの発生を検出した後の撮影データとイベント記録データについて説明する。図6は、記録再生装置が記憶する撮影データと時間との関係を示す第2の図である。図6は時刻t11より後の時刻t21におけるデータの構成を示している。時刻t21においてバッファメモリ121に記憶されているのは時刻t21から期間Pnを遡った時刻t20から時刻t21までの撮影データC21である。
撮影データC21の下に示されている矩形は、イベント記録データE11である。イベント記録データE11は、時刻t11に検出されたイベントに応じて撮影データから抽出されたものである。本実施の形態において記録再生装置10は、イベントを検出した時刻t11を基準として、時刻t11から期間P1を遡った時刻tsをイベント記録データの開始時刻と設定する。また本実施の形態において、記録再生装置10は、イベントを検出した時刻t11を基準として期間P2を経過した時刻teをイベント記録データの終了時刻として設定する。期間P1および期間P2は、例えば10秒、15秒あるいは20秒などの期間である。すなわち、記録再生装置10は、時刻tsから時刻teまでの期間の撮影データをイベント記録データE11として保存する。
上述のようにイベント記録データを生成することにより、記録再生装置10は、発生したイベントの前後の期間について、撮影データを記録できる。したがって、ユーザは、イベントが発生した後に記録再生装置10が保存したイベント記録データを再生することにより、イベント発生前後における車両の周囲の状況を視認できる。
なお、記録再生装置10は、イベント記録データに加えて、通常ファイルを記録装置160に記録してもよい。その場合、記録再生装置10は、バッファメモリ121に記憶されている撮影データから所定の期間の撮影データを抽出し、抽出した撮影データを通常ファイルとして記録装置160に記録する。記録再生装置10は、通常ファイルを記録する処理と、イベント記録データを保存する処理とを並列して行ってもよい。
次に、図7を参照しながら記録再生装置10が行う処理について説明する。図7は、記録再生装置がイベントの発生を検出する場合のフローチャートである。図7は、記録再生装置10がイベントを検出する場合に制御部100が行う処理を示している。図7に示すフローチャートは、車両の動作の開始などに基づいて記録再生装置10に車両から電源が供給されるなど、任意の条件で開始される。
まず制御部100は、撮影データの取得を開始する(ステップS10)。ステップS10においては、制御部100はイベントの検出も開始する。撮影データはカメラ150から定期的(例えば30フレーム毎秒)に供給される。撮影データ取得部120はカメラ150から供給される撮影データをバッファメモリ121に供給する。バッファメモリ121は予め設定された期間(例えば60秒)の撮影データを記憶し、予め設定された期間の撮影データが記憶された後は、古い撮影データを削除しながら新しい撮影データを順次記憶する。
次にイベント検出部127は、加速度センサ142から供給される情報からイベントの発生を検出したか否かを判断する(ステップS11)。イベントの発生を検出したと判断した場合(ステップS11:Yes)、記録制御部123は、イベント記録データを生成し、記録装置160に記録させる(ステップS12)。一方、ステップS11において、イベントの発生を検出したと判定しない場合(ステップS11:No)、制御部100はイベント記録データの生成を行わず、ステップS13に進む。
次に、制御部100は、一連の処理を終了するか否かを判断する(ステップS13)。処理を終了すると判断しない場合(ステップS13:No)、制御部100はステップS11に戻り再びイベントの発生を検出したか否かの判断を行う。一方、処理を終了すると判断した場合(ステップS13:Yes)、制御部100は処理を終了する。
次に図8を参照しながら、制御部100が行うイベント記録データの再生処理について説明する。図8は、記録再生装置がイベント記録データを再生する場合のフローチャートである。図8の処理は、図7の処理におけるステップS11がYesとなったとき、つまりイベントが検出されたときに開始される。
まず再生制御部124は、イベントが検出されたことにより、タイマ129のカウント値をリセットし(ステップS110)、続いてタイマ129の作動を開始させる(ステップS111)。なお、タイマ129は、時間の経過とともに順次カウント値をインクリメントする。次に、再生制御部124は、タイマ129のカウント値を読取り、カウント値が期間PXを経過しているか否かを判断する(ステップS112)。カウント値が期間PXを経過していると判断した場合(ステップS112:Yes)、制御部100は図8に示す処理を終了させる。
ステップS112においてカウント値が期間PXを経過していると判断しない場合(ステップS112:No)、再生制御部124は、視線検出部130から受け取った視線検出に関する信号から、ユーザの視線が表示部141に向いているか否かを判断する(ステップS113)。
ユーザの視線が表示部141に向いていると判断しない場合(ステップS113:No)、制御部100は再度ステップS112においてカウント値が期間PXを経過しているか否かを判断する。一方、ステップS113において、ユーザの視線が表示部141に向いていると判断した場合(ステップS113:Yes)、再生制御部124は、タイマ129のカウントを停止させ(ステップS114)、再生対象となるイベント記録データの再生を開始する(ステップS115)。再生対象のイベント記録データとは、図8の処理を開始するトリガとなったイベントに基づき、図7の処理で保存されたイベント記録データ、つまり視線が表示部に向いた直近で保存されたイベント記録データである。
次に、再生制御部124は、イベント記録データの再生を終了させるか否かを判断する(ステップS116)。具体的には、再生制御部124は、例えばユーザの操作を受け付ける操作制御部125がイベント記録データの再生の停止を受け付けたかどうかを検出する。再生終了の操作を受け付けない場合(ステップS116:No)、制御部100はイベント記録データの再生を継続する。一方、再生終了の操作を受け付けた場合(ステップS116:Yes)、再生制御部124はイベント記録データの再生を終了させる処理を行ない(ステップS117)、図8に示す処理を終了させる。
以上、制御部100が行うイベント記録データの再生処理について説明した。上述の処理において、ステップS114およびステップS115は順序が入れ替わってもよいし、同時処理が実行されてもよい。
ステップS115で、イベント記録データの再生を開始する際に、ユーザに再生の開始を許可する操作を促す表示を行ない、ユーザから許可があった場合にイベント記録データの再生を開始してもよい。これにより、記録再生装置10は、煩雑な操作を要せず、ユーザの意思に従ってイベント記録データを再生する。
以上、実施の形態1について説明した。上述の構成により、記録再生装置10は、所定のイベントが発生してから予め設定された期間PXが経過する前にユーザの視線が表示部141に向いている場合、直近のイベント記録データを再生する。したがって、例えば事故等のイベントの直後に、ユーザは記録再生装置の表示部を見つめることによりイベント記録データを確認できる。したがって、実施の形態1によれば、煩雑な操作をすることなく保存したデータの再生を行う記録再生装置等を提供することができる。
<実施の形態1の変形例>
次に実施の形態1の変形例について説明する。実施の形態1の変形例にかかる記録再生装置は、撮影データを生成するカメラ150および撮影データ取得部120を少なくとも有する記録装置と、視線検出カメラ151および表示部141を少なくとも有する再生装置とが分離して存在している。
図9は、実施の形態1の変形例にかかる記録再生装置の概観図である。図に示すように、記録再生装置10は、記録部20および再生部30を有している。図の上側に示した記録部20は、カメラ150および着脱部921を有しており、ブラケット900に固定され、車両の進行方向の風景を撮影する。図の下側に示した再生部30は、記録部20から分離して存在し、視線検出カメラ151、発光装置152および表示部141を有している。再生部30は、バッテリを内蔵し、ユーザが持ち運ぶことが可能な構成となっている携帯端末である。記録部20と再生部30とは無線通信により接続される。図に示す再生部30は、表示部141においてイベント記録データC1を表示している状態である。なお、図に示すように、表示部141には、イベント記録データの映像に加えて、イベントが発生した日時や緯度経度、走行速度などが表示されていてもよい。
図10を参照しながら記録部20の構成について説明する。図10は、実施の形態1の変形例にかかる記録部の構成を示すブロック図である。記録部20は主な構成として、制御部200および、制御部200にそれぞれ接続するカメラ150、記録装置160、操作部240、加速度センサ142、GPS受信部143および通信部270を有している。また、制御部200は、撮影データ取得部120、バッファメモリ121、撮影データ処理部122、記録制御部123、再生制御部124、操作制御部225、イベント検出部127、位置情報取得部128、タイマ129および通信制御部232を有しており、これらの構成はそれぞれバスライン110に接続している。上述の構成のうち、実施の形態1にかかる記録再生装置10が有する構成と同様の機能を有するものは、同じ符号が付されている。ここでは同じ符号が付されている構成に関する説明を適宜省略し、新たな符号が付されている構成について説明する。
操作部240は、記録部20に対してユーザが行う操作を受け付けるユーザインタフェースである。ユーザインタフェースは、例えば操作ボタンであってもよいし、タッチセンサであってもよい。またユーザインタフェースは、赤外線や無線通信の受信部であって、リモコン等から送信される信号を受け付けるものであってもよい。操作部240は、通信部270を介して再生部30から所定の操作の指示を受け付けるインタフェースであってもよい。操作部240は、受け付けた操作に関する情報である操作情報を、所定のインタフェースを介して操作制御部225に供給する。操作情報は例えば、イベント記録開始の指示である。
通信部270は、再生部30と通信可能に接続するインタフェースであり、例えばアンテナおよびアンテナを介して送信する信号の変調または復調を行う回路等により構成される。通信部270は、再生部30からの信号を受け取るとともに、再生部30に対してイベント記録データの送信を行う。
操作制御部225は、操作部240が受け付けた操作情報を取得し、操作情報に基づいた操作指示を、各構成要素に出力する。通信制御部232は、通信部270を介して行う再生部30との通信を制御する。例えば通信制御部232は、再生部30からイベント記録データの再生を要求する信号を受け取ると、この要求信号を再生制御部124に供給する。また通信制御部232は、再生制御部124が再生部30からの要求に応じてイベント記録データを出力する場合、このイベント記録データを、通信部270を介して再生部30に送信する。
次に図11を参照しながら再生部30について説明する。図11は、実施の形態1の変形例にかかる再生部の構成を示すブロック図である。再生部30は、主な構成として、制御部300および制御部300にそれぞれ接続する、表示部141、視線検出カメラ151、発光装置152、操作部340および通信部370を有している。また、制御部300は、撮影データ取得部120、撮影データ取得部120、発光制御部131、表示制御部126、視線検出部130、バッファメモリ321、通信制御部332および操作制御部325を有しており、これらの構成はそれぞれバスライン310に接続している。
通信部370は、記録部20に通信可能に接続するインタフェースであり、例えば記録部20が有する通信部270と同等の構成を有する。通信部370は、記録部20に対してイベント記録データを要求する信号を送信するとともに、記録部20からイベント記録データを受信し、受信したイベント記録データを通信制御部332に供給する。
操作制御部325は、操作部340が受け付けた操作情報を取得し、操作情報に基づいた操作指示を、各構成要素に出力する。通信制御部332は、通信部370を介して行う記録部20との通信を制御する。例えば通信制御部332は、通信部370を介して、再生部30にイベント記録データの再生を要求する信号を送信する。また、通信制御部332は、通信部370を介して受け取ったイベント記録データをバッファメモリ321に供給する。
操作部340は、再生部30に対してユーザが行う操作を受け付けるユーザインタフェースである。ユーザインタフェースは、例えば操作ボタンであってもよいし、表示部141に重畳して設置されたタッチセンサであってもよい。操作部340は、受け付けた操作に関する情報である操作情報を、所定のインタフェースを介して操作制御部325に供給する。操作情報は例えば、イベント記録データを再生開始させる指示や、再生中のイベント記録データを再生終了させる指示等である。
バッファメモリ321は、揮発性のメモリである。バッファメモリ321は、記録部20から送信されたイベント記録データを一時的に記憶し、記憶したイベント記録データを表示制御部126に供給する。
なお、上述の再生部30は、無線通信機能を有するスマートフォンやタブレット等によって実現することもできる。再生部30としてスマートフォンを使用する場合、例えばこのスマートフォンにイベント記録データを再生するためのアプリケーションプログラムをインストールしておき、インストールされたアプリケーションプログラムを実行することにより、再生部30としての機能が発揮されるように構成されていてもよい。
以上、実施の形態1の変形例について説明した。実施の形態1の変形例にかかる記録再生装置10は、所定のイベントが発生した場合、イベント記録データを記録部20内の記録装置160に記録する。実施の形態1の変形例にかかる記録再生装置10は、イベント発生後、期間PXを経過する前に、再生部30が有する視線検出部130によりユーザの視線が表示部141に向いていることを検出した場合、表示部141にイベント記録データを表示する。このような構成により、実施の形態1の変形例にかかる記録再生装置10を利用するユーザは、手元に所持する再生部30を見つめることにより直近に発生したイベントのイベント記録データを視認できる。よって、実施の形態1の変形例によれば、煩雑な操作をすることなく保存したデータの再生をユーザの見やすい姿勢で好適に行う記録再生装置等を提供することができる。
<実施の形態2>
次に、実施の形態2について説明する。実施の形態2にかかる記録再生装置は、イベント記録データを再生する処理において、視線検出部130の機能が実施の形態1と異なる。実施の形態2にかかる記録再生装置10において、視線検出部130は、視線検出カメラ151から取得した撮影データから、ユーザの両目の位置を検出し、検出した両目の間隔を測定する。
図12は、実施の形態2にかかる視線検出カメラ151が取得した撮影データの例を示す図である。図に示す映像D1は、視線検出カメラ151が取得した撮影データの映像である。映像D1には、向かって左側にユーザU1が、そして向かって右側にユーザU2が撮影されている。ユーザU1の顔はユーザU2の顔より視線検出カメラ151の近くに存在する。視線検出部130は、撮影データに含まれる画素値から人間の顔と目を認識し、認識した顔に含まれる2個の目の、撮影データ上の距離を算出する。例えばユーザU1の両目の距離B1はユーザU2の両目の距離B2より大きい値になる。このように、視線検出カメラ151が撮影したユーザの顔は、両目の間隔が近いほどユーザの顔が離れており、両目の間隔が離れているほどユーザの顔が近くにある傾向となる。視線検出部130は、ユーザの両目の間隔に相当する値が予め設定された閾値Bthより大きいか否かを判断する。そして、記録再生装置10は、両目の間隔が閾値Bthより大きい場合にイベント記録データの再生を開始するように設定される。すなわち再生制御部124は、ユーザの両目の間隔を算出し、算出した値が予め設定された閾値より大きい場合に、イベント記録データの再生を開始する。閾値Bthは、例えば、平均的な両目の幅に基づき、ユーザの顔が表示部141の表示面から50cm程度まで近接したときの値などが設定される。
次に、図13を参照しながら実施の形態2にかかる記録再生装置の処理について説明する。図13は、実施の形態2にかかる記録再生部がイベント記録データを再生する場合のフローチャートである。実施の形態2にかかるフローチャートは、ステップS113とステップS114との間にステップS120が存在する点が実施の形態1の処理と異なる。以下に実施の形態1のフローチャートと同じ内容は適宜省略し、実施の形態1と異なる点について説明する。
ステップS113において、ユーザの視線が表示部141に向いていると判断した場合(ステップS113:Yes)、再生制御部124は、ユーザの両目の距離BXが閾値Bthより大きいか否かを判断する(ステップS120)。距離BXが閾値Bthより大きいと判断しない場合(ステップS120:No)、制御部100はステップS112に進む。一方、距離BXが閾値Bthより大きいと判断した場合(ステップS120:Yes)、再生制御部124は、ステップS114に進む。
以上、実施の形態2について説明した。上述の構成により、実施の形態2にかかる記録再生装置10は、所定のイベントが発生してから予め設定された期間PXが経過する前にユーザの視線が表示部141に向いており、且つ、ユーザの顔が表示部141から離れていない場合に、直近のイベント記録データを再生する。したがって、例えば事故等のイベントの直後に、ユーザは記録再生装置の表示部に近付き、表示部を見つめることによりイベント記録データを確認できる。よって、実施の形態2によれば、煩雑な操作をすることなく保存したデータの再生を行う記録再生装置等を提供することができる。
なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、および電磁波を含む。一時的なコンピュータ可読媒体は、電線および光ファイバ等の有線通信路、または無線通信路を介して、プログラムをコンピュータに供給できる。
また本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更が可能である。例えば、上述の記録再生装置は自動車に搭載するドライブレコーダの例として説明したが、記録再生装置はオートバイ、自転車等の様々な種類の車両に搭載されてもよい。また記録再生装置が搭載される対象は車両に限られず、鉄道、船舶、航空機などの移動体であってもよい。また記録再生装置は人間や歩行ロボットなどが装着して利用するものであってもよい。
10 記録再生装置
20 記録部
30 再生部
100 制御部
110 バスライン
120 撮影データ取得部
121 バッファメモリ
122 撮影データ処理部
123 記録制御部
124 再生制御部
125 操作制御部
126 表示制御部
127 イベント検出部
128 位置情報取得部
129 タイマ
130 視線検出部
131 発光制御部
140、240、340 操作部
141 表示部
142 加速度センサ
143 GPS受信部
150 カメラ
151 視線検出カメラ
152 発光装置
160 記録装置
232、332 通信制御部
270、370 通信部
900 ブラケット
901 接着部
902 保持部
903 ボールジョイント
920 ケース
921 着脱部
C11、C21 撮影データ
E11 イベント記録データ
D1 映像
WS ウィンドシールド

Claims (6)

  1. 移動体で用いられ、カメラが撮影した撮影データを記録および再生する記録再生装置であって、
    前記撮影データを取得する撮影データ取得部と、
    前記移動体に対するイベントが発生したことを検出するイベント検出部と、
    前記イベントの検出に基づいて前記撮影データの少なくとも一部から予め設定された期間分の前記撮影データをイベント記録データとして保存する記録制御部と、
    記イベント記録データを表示する表示部に視線が向いていることを検出する視線検出部と、
    前記イベントが検出された直後の予め設定された期間内に、前記視線検出部が前記表示部に視線が向いていることを検出した場合に、直近に保存された前記イベント記録データの再生を開始する再生制御部と、を備える
    記録再生装置。
  2. 前記視線検出部は、ユーザの両目の位置をさらに検出し、
    前記再生制御部は、前記ユーザの両目の間隔に基づいて、前記イベント記録データの再生を開始することを判断する
    請求項1に記載の記録再生装置。
  3. 前記再生制御部は、前記ユーザの両目の間隔が予め設定された閾値より大きい場合に、前記イベント記録データの再生を開始する
    請求項2に記載の記録再生装置。
  4. 前記表示部の表示面側に設けられた視線検出カメラをさらに有し、
    前記撮影データ取得部は、前記視線検出カメラが撮影した視線撮影データを取得し、
    前記視線検出部は、前記視線撮影データに基づいてユーザの視線が前記表示部に向いていることを検出する
    請求項1~3のいずれか一項に記載の記録再生装置。
  5. 移動体で用いられたカメラが撮影した撮影データを取得する撮影データ取得ステップと、
    前記移動体に対するイベントが発生したことを検出するイベント検出ステップと、
    前記イベントの検出に基づいて前記撮影データの少なくとも一部から予め設定された期間分の前記撮影データをイベント記録データとして保存する記録制御ステップと、
    記イベント記録データを表示する表示部に視線が向いていることを検出する視線検出ステップと、
    前記イベントが検出された直後の予め設定された期間内に、前記視線検出ステップにおいて前記表示部に視線が向いていることを検出した場合に、直近に保存された前記イベント記録データの再生を開始する再生制御ステップと、を備える
    記録再生方法。
  6. 記録再生装置を動作させるコンピュータに実行させるプログラムであって、
    撮影データを取得する撮影データ取得ステップと、
    移動体に対するイベントが発生したことを検出するイベント検出ステップと、
    前記イベントの検出に基づいて前記撮影データの少なくとも一部から予め設定された期間分の前記撮影データをイベント記録データとして保存する記録制御ステップと、
    記イベント記録データを表示する表示部に視線が向いていることを検出する視線検出ステップと、
    前記イベントが検出された直後の予め設定された期間内に、前記視線検出ステップにおいて前記表示部に視線が向いていることを検出した場合に、直近に保存された前記イベント記録データの再生を開始する再生制御ステップと、を備える
    プログラム。
JP2019033740A 2019-02-27 2019-02-27 記録再生装置、記録再生方法およびプログラム Active JP7192570B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2019033740A JP7192570B2 (ja) 2019-02-27 2019-02-27 記録再生装置、記録再生方法およびプログラム
CN202310529891.9A CN116437192A (zh) 2019-02-27 2019-12-13 再现装置、再现方法和存储介质
CN201980069607.6A CN112955937B (zh) 2019-02-27 2019-12-13 记录再现装置、记录再现方法和存储介质
PCT/JP2019/048844 WO2020174813A1 (ja) 2019-02-27 2019-12-13 記録再生装置、記録再生方法およびプログラム
EP19917219.8A EP3933789B1 (en) 2019-02-27 2019-12-13 Recording/reproducing device, recording/reproducing method, and program
US17/321,224 US11425329B2 (en) 2019-02-27 2021-05-14 Recording/reproducing device, recording/reproducing method, and program for movable object and recording and reproducing captured by camera
JP2022184023A JP7371752B2 (ja) 2019-02-27 2022-11-17 再生装置、再生方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019033740A JP7192570B2 (ja) 2019-02-27 2019-02-27 記録再生装置、記録再生方法およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022184023A Division JP7371752B2 (ja) 2019-02-27 2022-11-17 再生装置、再生方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2020140304A JP2020140304A (ja) 2020-09-03
JP7192570B2 true JP7192570B2 (ja) 2022-12-20

Family

ID=72238593

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019033740A Active JP7192570B2 (ja) 2019-02-27 2019-02-27 記録再生装置、記録再生方法およびプログラム
JP2022184023A Active JP7371752B2 (ja) 2019-02-27 2022-11-17 再生装置、再生方法およびプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022184023A Active JP7371752B2 (ja) 2019-02-27 2022-11-17 再生装置、再生方法およびプログラム

Country Status (5)

Country Link
US (1) US11425329B2 (ja)
EP (1) EP3933789B1 (ja)
JP (2) JP7192570B2 (ja)
CN (2) CN112955937B (ja)
WO (1) WO2020174813A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6828772B2 (ja) * 2019-06-27 2021-02-10 株式会社Jvcケンウッド 記録制御装置、記録装置、記録制御方法、及び記録制御プログラム
US11623565B1 (en) * 2020-11-05 2023-04-11 Olubukola Okunoye Indestructible auto vehicle event recording box

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007036846A (ja) 2005-07-28 2007-02-08 Nippon Telegr & Teleph Corp <Ntt> 動画再生装置およびその制御方法
JP2008140334A (ja) 2006-12-05 2008-06-19 Asahi Research Kk 撮影画像記録再生装置
JP2009087007A (ja) 2007-09-28 2009-04-23 Fujitsu Ten Ltd ドライブレコーダ
JP2014126997A (ja) 2012-12-26 2014-07-07 Denso Corp 操作装置、及び操作検出方法
US20170060234A1 (en) 2015-08-26 2017-03-02 Lg Electronics Inc. Driver assistance apparatus and method for controlling the same

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4669448B2 (ja) * 2006-07-13 2011-04-13 株式会社デンソーアイティーラボラトリ 情報記録装置、情報記録方法およびプログラム
WO2009041718A1 (ja) * 2007-09-28 2009-04-02 Fujitsu Ten Limited ドライブレコーダ
JP5230748B2 (ja) * 2008-09-26 2013-07-10 パナソニック株式会社 視線方向判定装置及び視線方向判定方法
KR101491169B1 (ko) * 2009-05-07 2015-02-06 현대자동차일본기술연구소 차량의 탑재기기 조작 장치 및 그 제어 방법
JP2011227571A (ja) * 2010-04-15 2011-11-10 Fujitsu Ltd 情報処理方法、情報処理プログラム及び情報処理装置
JP5561219B2 (ja) * 2011-03-25 2014-07-30 株式会社デンソー 視線方向検出装置
JP5630518B2 (ja) * 2012-03-14 2014-11-26 株式会社デンソー 運転支援装置
CN103295370B (zh) * 2012-09-13 2015-07-22 上海凯融信息科技有限公司 监视人眼离屏幕距离防近视的方法和系统
JP6095985B2 (ja) * 2013-01-09 2017-03-15 富士通テン株式会社 再生装置、再生システム、再生方法及びプログラム
DE102013009217A1 (de) * 2013-05-31 2014-12-04 Man Truck & Bus Ag Verfahren und Vorrichtung zur Umfelderfassung und -überwachung von Fahrzeugen, insbesondere von Nutzfahrzeugen
US9881221B2 (en) * 2013-10-24 2018-01-30 Conduent Business Services, Llc Method and system for estimating gaze direction of vehicle drivers
US9354073B2 (en) * 2013-12-09 2016-05-31 Harman International Industries, Inc. Eye gaze enabled navigation system
CN103707781B (zh) * 2013-12-26 2016-02-24 苏州清研微视电子科技有限公司 基于距离图像的驾驶员座椅位置自动调整系统
DE102015202846B4 (de) * 2014-02-19 2020-06-25 Magna Electronics, Inc. Fahrzeugsichtsystem mit Anzeige
JP6454851B2 (ja) * 2014-08-07 2019-01-23 フォーブ インコーポレーテッド 3次元上の注視点の位置特定アルゴリズム
US9547365B2 (en) * 2014-09-15 2017-01-17 Google Inc. Managing information display
US10599214B2 (en) * 2014-10-21 2020-03-24 Tobii Ab Systems and methods for gaze input based dismissal of information on a display
EP3040809B1 (en) * 2015-01-02 2018-12-12 Harman Becker Automotive Systems GmbH Method and system for controlling a human-machine interface having at least two displays
KR101659034B1 (ko) * 2015-01-20 2016-09-23 엘지전자 주식회사 차량의 주행 모드 전환 장치 및 그 방법
GB2535544B (en) * 2015-02-23 2018-10-03 Jaguar Land Rover Ltd Display control apparatus and method
KR20170054080A (ko) * 2015-11-09 2017-05-17 삼성전자주식회사 전자장치 및 그의 동작 방법
US10116873B1 (en) * 2015-11-09 2018-10-30 Ambarella, Inc. System and method to adjust the field of view displayed on an electronic mirror using real-time, physical cues from the driver in a vehicle
CN108701415B (zh) * 2016-02-25 2021-08-03 富士胶片株式会社 驾驶辅助装置、驾驶辅助方法及驾驶辅助程序
JP6512174B2 (ja) * 2016-05-19 2019-05-15 株式会社デンソー 車載警告システム
JP2017213191A (ja) * 2016-05-31 2017-12-07 富士通株式会社 視線検出装置、視線検出方法、及び視線検出プログラム
KR20180056867A (ko) * 2016-11-21 2018-05-30 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
KR102685268B1 (ko) * 2017-01-17 2024-07-16 엘지전자 주식회사 차량 및 차량의 디스플레이 제어 방법
US10396272B2 (en) * 2017-05-04 2019-08-27 International Business Machines Corporation Display distortion for alignment with a user gaze direction
US11400862B2 (en) * 2017-06-16 2022-08-02 Boe Technology Group Co., Ltd. Vision-based interactive control apparatus and method of controlling rear-view mirror for vehicle
JP6822325B2 (ja) * 2017-06-21 2021-01-27 日本電気株式会社 操縦支援装置、操縦支援方法、プログラム
JP6976089B2 (ja) * 2017-06-29 2021-12-08 株式会社デンソーテン 運転支援装置および運転支援方法
CN109257484B (zh) * 2017-07-14 2021-05-25 西安中兴新软件有限责任公司 一种显示屏亮度处理方法、终端设备和可读存储介质
US11587419B2 (en) * 2017-08-04 2023-02-21 Toyota Research Institute, Inc. Methods and systems providing an intelligent camera system
JP2019033740A (ja) 2017-08-10 2019-03-07 株式会社エバージーン 汗のかきやすさを判定する方法
JP7009882B2 (ja) * 2017-09-26 2022-01-26 富士通株式会社 表示プログラム、表示方法、及び表示装置
US10872254B2 (en) * 2017-12-22 2020-12-22 Texas Instruments Incorporated Digital mirror systems for vehicles and methods of operating the same
US20190246036A1 (en) * 2018-02-02 2019-08-08 Futurewei Technologies, Inc. Gesture- and gaze-based visual data acquisition system
EP3521977B1 (en) * 2018-02-06 2020-08-12 Smart Eye AB A method and a system for visual human-machine interaction
CN111788088A (zh) * 2018-02-27 2020-10-16 三菱电机株式会社 车辆用显示控制装置和显示控制方法
US11325472B2 (en) * 2018-04-11 2022-05-10 Mitsubishi Electric Corporation Line-of-sight guidance device
JP6705470B2 (ja) * 2018-06-06 2020-06-03 株式会社Jvcケンウッド 記録再生装置、記録再生方法、およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007036846A (ja) 2005-07-28 2007-02-08 Nippon Telegr & Teleph Corp <Ntt> 動画再生装置およびその制御方法
JP2008140334A (ja) 2006-12-05 2008-06-19 Asahi Research Kk 撮影画像記録再生装置
JP2009087007A (ja) 2007-09-28 2009-04-23 Fujitsu Ten Ltd ドライブレコーダ
JP2014126997A (ja) 2012-12-26 2014-07-07 Denso Corp 操作装置、及び操作検出方法
US20170060234A1 (en) 2015-08-26 2017-03-02 Lg Electronics Inc. Driver assistance apparatus and method for controlling the same

Also Published As

Publication number Publication date
EP3933789B1 (en) 2024-06-26
JP7371752B2 (ja) 2023-10-31
CN112955937A (zh) 2021-06-11
US11425329B2 (en) 2022-08-23
CN116437192A (zh) 2023-07-14
WO2020174813A1 (ja) 2020-09-03
JP2020140304A (ja) 2020-09-03
EP3933789A4 (en) 2022-04-27
JP2023009260A (ja) 2023-01-19
US20210274124A1 (en) 2021-09-02
CN112955937B (zh) 2023-06-02
EP3933789A1 (en) 2022-01-05

Similar Documents

Publication Publication Date Title
JP7371752B2 (ja) 再生装置、再生方法およびプログラム
US11978255B2 (en) Recording control apparatus, recording apparatus, recording control method, and recording control program
US11908254B2 (en) Recording control apparatus, recording apparatus, recording control method, and program
JP2019212110A (ja) 記録再生装置、記録再生方法、およびプログラム
US11917285B2 (en) Recording control apparatus, recording apparatus, recording control method, and recording control program
JP7200740B2 (ja) 記録再生装置、記録再生方法およびプログラム
JP7156087B2 (ja) 記録再生装置、記録再生方法およびプログラム
JP6708320B1 (ja) 記録装置、記録方法、およびプログラム
JP7463727B2 (ja) 記録再生装置、記録再生方法およびプログラム
JP7310196B2 (ja) 記録装置、記録方法およびプログラム
JP7287194B2 (ja) 撮影データ記録システム、撮影データ記録方法およびプログラム
JP7424040B2 (ja) 記録装置、記録方法およびプログラム
JP2021100205A (ja) 記録装置、記録方法およびプログラム
JP2021099740A (ja) 記録システム、記録方法およびプログラム
JP2021036219A (ja) 運転支援システム、運転支援方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220901

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221121

R150 Certificate of patent or registration of utility model

Ref document number: 7192570

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150