WO2019168057A1 - 画像処理装置、画像処理方法、記憶媒体 - Google Patents

画像処理装置、画像処理方法、記憶媒体 Download PDF

Info

Publication number
WO2019168057A1
WO2019168057A1 PCT/JP2019/007644 JP2019007644W WO2019168057A1 WO 2019168057 A1 WO2019168057 A1 WO 2019168057A1 JP 2019007644 W JP2019007644 W JP 2019007644W WO 2019168057 A1 WO2019168057 A1 WO 2019168057A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
image
image processing
moving body
processing apparatus
Prior art date
Application number
PCT/JP2019/007644
Other languages
English (en)
French (fr)
Inventor
和樹 稲垣
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US16/976,799 priority Critical patent/US20210004616A1/en
Publication of WO2019168057A1 publication Critical patent/WO2019168057A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/0969—Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and a storage medium.
  • Patent Document 1 discloses a technique for acquiring a driver's clear face image.
  • the above-described technology describes that when the steering angle of the steering wheel is within a predetermined range including the straight traveling direction of the vehicle, the driver's face image is captured by the in-vehicle camera.
  • the vehicle is often driven while observing the surroundings, and the driver's front face image is acquired appropriately The possibility of not being possible remains. Therefore, there is a demand for a technique that can more appropriately acquire a front face image of the driver.
  • An example of an object of the present invention is to provide an image processing apparatus, an image processing method, and a storage medium that solve the above-described problems.
  • the image processing apparatus determines whether the moving body driven by the driver is moving forward based on the acquired information, and determines that the moving body is moving forward A determination unit that determines that the photographing timing is in a good state.
  • the image processing method determines whether the moving body driven by the driver is moving forward based on the acquired information, and determines that the driver is moving forward. And determining that the photographing timing is in a good state.
  • the storage medium determines whether the moving body driven by the driver is moving forward based on the acquired information, and determines that the driver is moving forward
  • a program for causing a computer to determine that the photographing timing is in a good state is stored.
  • the face image of the front of the driver can be acquired more appropriately.
  • FIG. 1 is a functional block diagram of an image processing apparatus according to an embodiment of the present invention. It is a figure which shows the hardware constitutions of the drive recorder by embodiment of this invention. It is a figure which shows the processing flow of the driving
  • FIG. 1 is a diagram showing an appearance of an operating condition monitoring system according to an embodiment of the present invention.
  • the driving condition monitoring system 100 is provided in a vehicle (inside a frame constituting the outer shell of the vehicle). The inside of the vehicle may be a region surrounded by a frame that constitutes the outline of the vehicle.
  • the driving situation monitoring system 100 includes an image processing device 1 and a drive recorder 2.
  • the drive recorder 2 includes an in-vehicle camera 21 that captures the interior of the vehicle.
  • the drive recorder 2 may include a vehicle exterior camera 20 that captures a straight traveling direction outside the vehicle.
  • the image processing apparatus 1 may be provided in a car navigation system that is an aspect of the vehicle-mounted device.
  • FIG. 2 is a diagram showing the configuration of the driving situation monitoring system according to the embodiment of the present invention.
  • the image processing apparatus 1 and the drive recorder 2 are connected for communication.
  • the image processing apparatus 1 and the drive recorder 2 may be connected via a wireless communication network or a wired communication network.
  • FIG. 3 is a hardware configuration diagram of the image processing apparatus.
  • the image processing apparatus 1 includes hardware such as a CPU (Central Processing Unit) 101, a ROM (Read Only Memory) 102, a RAM (Random Access Memory) 103, a mass storage device 104, a communication module 105, and the like. Including a computer equipped.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • FIG. 4 is a functional block diagram of the image processing apparatus.
  • the image processing apparatus 1 is activated when the power is turned on, and executes a driving condition monitoring program stored in advance. As a result, the image processing apparatus 1 can execute functions as the control unit 11, the information acquisition unit 12, the imaging timing determination unit (determination unit) 13, the image use unit 14, and the output unit 15.
  • the control unit 11 controls the image processing apparatus 1.
  • the information acquisition unit 12 acquires information used by the image processing apparatus 1 for processing from another apparatus or the like.
  • Information acquired by the information acquisition unit 12 may be vehicle acceleration, vehicle speed, vehicle operation information, and route information of the vehicle.
  • the imaging timing determination unit 13 determines whether the moving body driven by the driver is moving forward based on the acquired information.
  • the imaging timing determination unit 13 determines that the imaging timing is in a good state when it is determined that the moving body is moving forward.
  • the imaging timing determination unit 13 determines that the imaging timing is not in a good state when it is determined that the moving body is not moving forward.
  • the imaging timing being in a good state may be that there is a high possibility that the driver's front face is included in the image captured by the drive recorder 2 at the imaging timing.
  • the image utilization unit 14 performs predetermined processing using the driver's face image photographed at the photographing timing in a good state.
  • the output unit 15 outputs or transmits a driver's face image shot at a shooting timing in a good state to a predetermined device that performs processing using the face image.
  • the imaging timing determination unit 13 may determine whether the vehicle is moving forward based on the acceleration of the vehicle driven by the driver.
  • the photographing timing determination unit 13 may determine whether the vehicle is moving forward based on the speed of the vehicle driven by the driver.
  • the photographing timing determination unit 13 may determine whether the vehicle is moving forward based on operation information of the vehicle driven by the driver.
  • the operation information includes an accelerator depression amount, a steering wheel steering angle, and the like.
  • the imaging timing determination unit 13 may determine whether the vehicle is moving forward based on route information of the vehicle that the driver drives.
  • the route information may be information indicating a route that the vehicle plans to follow to reach the destination.
  • FIG. 5 is a diagram showing a hardware configuration of the drive recorder.
  • the drive recorder 2 includes an outside camera 20, an inside camera 21, an acceleration sensor 22, a communication device 23, a control device 24, a storage device 25, and the like.
  • the vehicle exterior camera 20 and the vehicle interior camera 21 perform shooting to generate moving images and still images.
  • the acceleration sensor 22 detects the acceleration of the vehicle.
  • the communication device 23 is connected to the image processing apparatus 1 for communication.
  • the control device 24 controls each function of the drive recorder 2.
  • the storage device 25 stores moving images, still images, accelerations detected by the acceleration sensor 22, other information acquired from the outside of the drive recorder 2, and the like.
  • the control device 24 of the drive recorder 2 includes a computer having a CPU, a ROM, a RAM, and the like.
  • FIG. 6 is a diagram showing a processing flow of the driving situation monitoring system.
  • the drive recorder 2 starts its operation (step S101).
  • the acceleration sensor 22 of the drive recorder 2 starts sensing the acceleration of the vehicle after the start of the drive recorder 2 (step S102).
  • the acceleration sensor 22 records acceleration information indicating triaxial acceleration in the storage device 25 at predetermined intervals.
  • the three axes mean a straight direction, a vertical direction perpendicular to the straight direction, and a horizontal direction orthogonal to the straight direction.
  • the vehicle exterior camera 20 and the vehicle interior camera 21 start photographing (step S103).
  • the control device 24 acquires vehicle speed information, vehicle operation information, and vehicle route information at predetermined intervals, and sequentially records these information in the storage device 25.
  • the control device 24 can acquire speed information from a speed detection sensor provided in the vehicle.
  • the control device 24 can obtain operation information from an operation detection sensor provided in the vehicle.
  • the control device can acquire route information from an in-vehicle device such as a car navigation system or an external server device connected via a communication network.
  • the vehicle exterior camera 20 photographs an object in the traveling direction outside the vehicle (a scene in front of the traveling direction) using a vehicle exterior lens, and records the captured image in the storage device 25 at predetermined intervals.
  • the vehicle interior camera 21 uses the vehicle interior lens to photograph an object in the direction toward the driver's face in the vehicle (a scene behind the traveling direction (including the driver's face)), and stores it in the storage device 25 at a predetermined interval.
  • the captured image is recorded every time.
  • the control device 24 of the drive recorder 2 outputs the acceleration information, speed information, operation information, route information, and captured image recorded in the storage device 25 to the image processing device 1 (step S104).
  • the control device 24 may transmit at least one of acceleration information, speed information, and accelerator depression amount (an example of operation information). In the case where the image processing apparatus 1 is used to determine the photographing timing, the control apparatus 24 may further transmit operation information and route information other than the accelerator depression amount.
  • the information acquisition unit 12 acquires at least one of acceleration information, speed information, and accelerator depression amount, operation information other than the accelerator depression amount, and information used for determination of shooting timing among route information. (Step S105).
  • the information acquisition unit 12 sequentially records the acquired information on the mass storage device 104.
  • the imaging timing determination unit 13 reads one or more of acceleration information, speed information, operation information, and path information used for determining imaging timing each time the information is acquired.
  • the shooting timing determination unit 13 determines whether the shooting timing is good using the read information (step S106).
  • the shooting timing determination unit 13 determines that the shooting timing is in a good state when the first condition that the acceleration in the traveling direction is equal to or greater than a predetermined threshold is satisfied.
  • the first condition is a condition showing a high probability that the driver is visually recognizing the straight direction (substantially straight direction), such as a situation where the acceleration is rapidly increasing.
  • the shooting timing determination unit 13 determines that the shooting timing is in a good state when the second condition that the speed in the traveling direction is equal to or greater than a predetermined threshold is satisfied.
  • the second condition is a condition indicating a high probability that the driver is viewing the straight direction (substantially straight direction), such as a high speed situation.
  • the shooting timing determination unit 13 determines that the shooting timing is in a good state when the third condition that the accelerator depression amount is equal to or greater than a predetermined threshold is satisfied.
  • the third condition is a condition showing a high probability that a driver with high acceleration or high speed is visually recognizing the straight direction (substantially straight direction).
  • the shooting timing determination unit 13 determines whether the shooting timing is in a good state using any one or a plurality of conditions from the first condition to the third condition, and the shooting timing is good using the following conditions. You may determine whether it is in a state. For example, the shooting timing determination unit 13 may determine that the shooting timing is in a good state when the fourth condition that the route information on which the vehicle is currently traveling further satisfies the fourth condition. In addition, when the shooting timing determination unit 13 further satisfies the fifth condition that the steering angle of the steering wheel is within a predetermined range (centered) with respect to the angle in the straight direction, the shooting timing is determined to be in a good state. You may judge. One or both of the fourth condition and the fifth condition may be further used. The steering angle of the steering wheel is within a predetermined range is the angle in the straight direction
  • the shooting timing determination unit 13 determines that the shooting timing is in a good state
  • the shooting timing determination unit 13 reads the in-vehicle shot image acquired at the shooting timing from the large-capacity storage device 104 (step S107).
  • the shooting timing determination unit 13 outputs the vehicle interior shot image to the image use unit 14 (step S108).
  • the image using unit 14 uses the input image taken inside the vehicle for a predetermined process. For example, the image using unit 14 performs authentication using the driver's face information shown in the image taken inside the vehicle, and performs an authentication process that identifies the driver's identifier.
  • the shooting timing determination unit 13 may output the read vehicle interior shot image to the output unit 15.
  • the output unit 15 may output the vehicle interior shot image to a predetermined device.
  • the output unit 15 may transmit the vehicle interior shot image to a remote cloud server connected via wireless communication.
  • the cloud server may perform an authentication process using the in-vehicle captured image.
  • the vehicle inside shot image may be an image taken by the vehicle inside camera
  • the authentication process when performing the authentication process, the authentication process can be performed using a photographed image with a high possibility that the driver's face was photographed from the front.
  • the image processing apparatus 1 and the apparatus that is the transmission destination of the in-vehicle captured image can suppress repeated authentication processing using a plurality of captured images and execution of re-transmission of captured images. Can be reduced.
  • the image processing apparatus 1 and the apparatus that is the transmission destination of the vehicle interior captured image acquire a captured image that is captured when the speed and acceleration are equal to or higher than a predetermined value and the face image of the front of the driver is reflected with higher accuracy. Can do.
  • FIG. 7 is a diagram illustrating an example of the configuration of the image processing apparatus.
  • the image processing apparatus 1 may include at least the photographing timing determination unit 13.
  • the shooting timing determination unit 13 determines whether the moving body driven by the driver is moving forward based on the acquired information, and determines that the shooting timing is in a good state when the moving body is moving forward.
  • the image processing apparatus 1 and the drive recorder 2 described above have a computer system inside.
  • Each process described above is stored in a computer-readable recording medium in the form of a program, and the above process is performed by the computer reading and executing the program.
  • the computer-readable recording medium means a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, a semiconductor memory, or the like.
  • the computer program may be distributed to the computer via a communication line, and the computer that has received the distribution may execute the program.
  • the program may be for realizing a part of the above-described functions. Furthermore, what can implement
  • the present invention may be applied to an image processing apparatus, an image processing method, and a storage medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

画像処理装置は、取得した情報に基づいて運転者が運転する移動体が前進しているかを判定し、前記移動体が前進していると判断した場合に撮影タイミングが良好状態であると判定する判定部を備える。

Description

画像処理装置、画像処理方法、記憶媒体
　本発明は、画像処理装置、画像処理方法、記憶媒体に関する。
　運転者の運転状況を記録するドライブレコーダが近年多く利用されている。ドライブレコーダの中には運転者の顔を撮影できるものがある。特許文献１には運転者の鮮明な顔画像を取得するための技術が開示されている。
日本国特許第６０５２０６２号公報
　上述の技術ではハンドルの操舵角が車両の直進方向を含む所定範囲内である場合に、車載カメラで運転者の顔画像を撮影することが記載されている。しかしながらハンドルの操舵角が直進方向を示す場合であっても運転開始直後の低速時の場合などでは、周囲を目視しながら車両を運転することが多く、運転者の正面の顔画像を適切に取得できない可能性も残る。従って運転者の正面の顔画像をより適切に取得できる技術が望まれている。
　この発明の目的の一例は、上述の課題を解決する画像処理装置、画像処理方法、記憶媒体を提供することである。
　本発明の第１の態様によれば、画像処理装置は、取得した情報に基づいて運転者が運転する移動体が前進しているかを判定し、前記移動体が前進していると判断した場合に撮影タイミングが良好状態であると判定する判定部を備える。
　本発明の第２の態様によれば、画像処理方法は、取得した情報に基づいて運転者が運転する移動体が前進しているかを判定し、前記運転者が前進していると判断された場合に撮影タイミングが良好状態であると判定することを含む。
　本発明の第３の態様によれば、記憶媒体は、取得した情報に基づいて運転者が運転する移動体が前進しているかを判定し、前記運転者が前進していると判断された場合に撮影タイミングが良好状態であると判定する、ことをコンピュータに実行させるプログラムを記憶している。
　本発明の実施形態によれば、運転者の正面の顔画像をより適切に取得することができる。
本発明の実施形態による運転状況監視システムの外観を示す図である。 本発明の実施形態による運転状況監視システムの構成を示す図である。 本発明の実施形態による画像処理装置のハードウェア構成図である。 本発明の実施形態による画像処理装置の機能ブロック図である。 本発明の実施形態によるドライブレコーダのハードウェア構成を示す図である。 本発明の実施形態による運転状況監視システムの処理フローを示す図である。 本発明の別の実施形態による画像処理装置の構成を示す図である。
　以下、本発明の実施形態による運転状況監視システムを図面を参照して説明する。
　図１は本発明の実施形態による運転状況監視システムの外観を示す図である。
　運転状況監視システム１００は一例としては車両内（車両の外郭を構成するフレームの内側）に備わる。車両内とは、車両の外郭を構成するフレームに囲まれる領域であってもよい。運転状況監視システム１００は画像処理装置１とドライブレコーダ２とを備える。ドライブレコーダ２は、車内を撮影する車内側カメラ２１を備える。ドライブレコーダ２は、車外直進方向を撮影する車外側カメラ２０を備えていてもよい。画像処理装置１は車載器の一態様であるカーナビゲーションシステム内に設けられていてもよい。
　図２は本発明の実施形態による運転状況監視システムの構成を示す図である。
　図２で示すように運転状況監視システム１００においては、画像処理装置１とドライブレコーダ２とが通信接続されている。画像処理装置１とドライブレコーダ２とは無線通信ネットワークや有線通信ネットワークを介して接続されてよい。
　図３は画像処理装置のハードウェア構成図である。
　図３が示すように画像処理装置１はＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、大容量記憶装置１０４、通信モジュール１０５等の各ハードウェアを備えたコンピュータを含む。
　図４は画像処理装置の機能ブロック図である。
　画像処理装置１は電源が投入されると起動し、予め記憶する運転状況監視プログラムを実行する。これにより画像処理装置１は、制御部１１、情報取得部１２、撮影タイミング判定部（判定部）１３、画像利用部１４、出力部１５としての機能が実行可能になる。
　制御部１１は画像処理装置１を制御する。
　情報取得部１２は画像処理装置１が処理に利用する情報を他の装置等から取得する。情報取得部１２が取得する情報は、車両の加速度、車両の速度、車両の操作情報、車両の移動する経路情報であってよい。
　撮影タイミング判定部１３は、取得した情報に基づいて運転者が運転する移動体が前進しているかを判定する。撮影タイミング判定部１３は、移動体が前進していると判定した場合に撮影タイミングが良好状態であると判定する。撮影タイミング判定部１３は、移動体が前進していないと判定した場合に撮影タイミングが良好状態でないと判定する。撮影タイミングが良好状態であるとは、その撮影タイミングにおいてドライブレコーダ２が運転者を撮影した画像に運転者の正面顔が含まれている可能性が高いことであってもよい。撮影タイミングが良好状態であるとは、その撮影タイミングにおいて運転者の顔が移動体が前進している方向を向いている可能性が高いことあってもよい。撮影タイミングが良好状態であるとは、その撮影タイミングにおいて移動体が前進している方向とは反対方向の車内の光景を撮影した画像に運転者の正面顔が含まれている可能性が高いことであってもよい。
　画像利用部１４は良好状態な撮影タイミングにおいて撮影された運転者の顔画像を用いて所定の処理を行う。
　出力部１５は良好状態な撮影タイミングにおいて撮影された運転者の顔画像を、その顔画像を用いて処理を行う所定の装置に出力または送信する。
　撮影タイミング判定部１３は、運転者が運転する車両の加速度に基づいて車両が前進しているかを判定してよい。撮影タイミング判定部１３は、運転者が運転する車両の速度に基づいて車両が前進しているかを判定してもよい。撮影タイミング判定部１３は運転者が運転する車両の操作情報に基づいて車両が前進しているかを判定してもよい。操作情報は、アクセル踏込量、ハンドル操舵角度等である。撮影タイミング判定部１３は運転者が運転する車両の移動する経路情報に基づいて車両が前進しているかを判定してもよい。経路情報とは、目的地に到達するために車両が辿る予定の経路を示す情報であってもよい。本実施形態においては移動体が車両である場合の例を用いて説明するが、本発明の実施形態はこのような場合に限定されない。運転者が乗り込んで操作する移動体であればどのような移動体であってもよい。
　図５はドライブレコーダのハードウェア構成を示す図である。
　ドライブレコーダ２は、車外側カメラ２０、車内側カメラ２１、加速度センサ２２、通信装置２３、制御装置２４、記憶装置２５などを含む。車外側カメラ２０、車内側カメラ２１は撮影を行って動画像、静止画像を生成する。加速度センサ２２は車両の加速度を検知する。通信装置２３は画像処理装置１と通信接続する。
　制御装置２４はドライブレコーダ２の各機能を制御する。記憶装置２５は動画像、静止画像、加速度センサ２２で検知した加速度やその他のドライブレコーダ２の外部から取得した情報等を記憶する。ドライブレコーダ２の制御装置２４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータを含む。
　図６は運転状況監視システムの処理フローを示す図である。
　次に運転状況監視システムの処理フローについて順を追って説明する。
　まずドライブレコーダ２における処理について説明する。
　車両の電気系統が起動するとドライブレコーダ２が動作を始動する（ステップＳ１０１）。ドライブレコーダ２の加速度センサ２２はドライブレコーダ２の始動後に車両の加速度のセンシングを開始する（ステップＳ１０２）。加速度センサ２２は所定の間隔毎に、三軸の加速度を示す加速度情報を記憶装置２５に記録する。三軸とは、直進方向、直進方向に直行する垂直方向、それら直進方向と垂直方向に直交する水平方向を意味する。また車外側カメラ２０、車内側カメラ２１が撮影を開始する（ステップＳ１０３）。制御装置２４は所定の間隔毎に車両の速度情報、車両の操作情報、車両の経路情報を取得し、それらの情報を順次記憶装置２５へ記録する。制御装置２４は速度情報を車両に備わる速度検知センサから取得できる。制御装置２４は操作情報を車両に備わる操作検知センサから取得できる。制御装置は経路情報をカーナビゲーションシステムなどの車載器や通信ネットワークを介して接続された外部のサーバ装置等から取得できる。
　車外側カメラ２０は車外側レンズを用いて車外の進行方向の対象物（進行方向の前方の光景）を撮影し、記憶装置２５に所定の間隔毎にその撮影画像を記録する。車内側カメラ２１は車内側レンズを用いて車内の運転者の顔に向かう方向の対象物（進行方向の後方の光景（運転者の顔を含む））を撮影し、記憶装置２５に所定の間隔毎にその撮影画像を記録する。そしてドライブレコーダ２の動作中、ドライブレコーダ２の制御装置２４は記憶装置２５に記録された加速度情報、速度情報、操作情報、経路情報、撮影画像を画像処理装置１へ出力する（ステップＳ１０４）。なお制御装置２４は、加速度情報、速度情報、アクセル踏込量（操作情報の一例）のうち少なくとも一つを送信すればよい。画像処理装置１において撮影タイミングの判定の利用に用いられる場合には、制御装置２４はさらに、アクセル踏込量以外の他の操作情報、経路情報を送信してよい。
　画像処理装置１においては情報取得部１２が加速度情報、速度情報、アクセル踏込量の少なくとも一つと、アクセル踏込量以外の操作情報、経路情報のうち撮影タイミングの判定に利用される情報とを取得する（ステップＳ１０５）。情報取得部１２はそれら取得した情報を大容量記憶装置１０４へ順次記録する。撮影タイミング判定部１３はそれら情報を取得する度に、撮影タイミングの判定に利用する加速度情報、速度情報、操作情報、経路情報のうちの何れか一つまたは複数を読み取る。撮影タイミング判定部１３は読み取った情報を用いて撮影タイミングが良好かを判定する（ステップＳ１０６）。
　より具体的には撮影タイミング判定部１３は、進行方向の加速度が所定の閾値以上であるという第一条件を満たす場合に、撮影タイミングが良好状態であると判定する。第一条件は加速度が急上昇している状況など、運転者が直進方向（ほぼ直進方向）を視認している確率の高い状況を示す条件である。
　また撮影タイミング判定部１３は、進行方向の速度が所定の閾値以上であるという第二条件を満たす場合に、撮影タイミングが良好状態であると判定する。第二条件は速度が速く状況など、運転者が直進方向（ほぼ直進方向）を視認している確率の高い状況を示す条件である。
　また撮影タイミング判定部１３は、操作情報がアクセル踏込量である場合には、アクセル踏込量が所定の閾値以上であるという第三条件を満たす場合に、撮影タイミングが良好状態であると判定する。第三条件は加速度が大きいまたは速度が速い運転者が直進方向（ほぼ直進方向）を視認している確率の高い状況を示す条件である。
　撮影タイミング判定部１３は第一条件から第三条件の何れか１つまたは複数の条件を用いて撮影タイミングが良好状態であるか判定することに加え、さらに以下の条件を用いて撮影タイミングが良好状態であるか判定してよい。
　例えば、撮影タイミング判定部１３は、現在車両が走行する経路情報が直進であるという第四条件をさらに満たす場合に、撮影タイミングが良好状態であると判定してよい。
　また撮影タイミング判定部１３は、ハンドルの操舵角が直進方向の角度を基準とする（中心とする）所定の範囲内であるという第五条件をさらに満たす場合に、撮影タイミングが良好状態であると判定してよい。第四条件と第五条件は一方、または両方をさらに用いてもよい。ハンドルの操舵角が所定の範囲内とは、直進方向の角度
　撮影タイミング判定部１３は、撮影タイミングが良好状態であると判定すると、その撮影タイミングにおいて取得した車内側撮影画像を大容量記憶装置１０４から読み取る（ステップＳ１０７）。撮影タイミング判定部１３はその車内側撮影画像を画像利用部１４へ出力する（ステップＳ１０８）。画像利用部１４は入力された車内側撮影画像を所定の処理に利用する。例えば、画像利用部１４は車内側撮影画像に映る運転者の顔情報を用いて認証を行い、運転者の識別子を特定する認証処理を行う。撮影タイミング判定部１３は読み取った車内側撮影画像を出力部１５へ出力してもよい。出力部１５は、所定の装置へその車内側撮影画像を出力してもよい。例えば出力部１５は無線通信を介して接続された遠隔のクラウドサーバへ、車内側撮影画像を送信してもよい。クラウドサーバは、その車内側撮影画像を用いて認証処理を行ってもよい。車内側撮影画像とは、車内側カメラ２１によって撮影された画像であってもよい。
　上述の処理によれば認証処理を行うにあたり、運転者の顔が正面から撮影された可能性の高い撮影画像を用いて認証処理を行うことができる。これにより上述の画像処理装置１や車内側撮影画像の送信先の装置は、複数の撮影画像を用いた認証処理の繰り返しや、撮影画像の再送信の実行を抑制することができるため、処理負荷を軽減することができる。
　また画像処理装置１や車内側撮影画像の送信先の装置は、速度や加速度が所定の値以上の場合に撮影された、より精度高く運転者の正面の顔画像の映る撮影画像を取得することができる。
　図７は画像処理装置の構成の一例を示す図である。
　画像処理装置１は少なくとも撮影タイミング判定部１３を備えればよい。撮影タイミング判定部１３は、取得した情報に基づいて運転者が運転する移動体が前進しているかを判定し、移動体が前進している場合に撮影タイミングが良好状態であると判定する。
　上述の画像処理装置１およびドライブレコーダ２は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
　また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
　この出願は、２０１８年３月２日に出願された日本国特願２０１８－０３８０７８を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明は、画像処理装置、画像処理方法、および記憶媒体に適用してもよい。
１・・・画像処理装置
２・・・ドライブレコーダ
１１・・・制御部
１２・・・情報取得部
１３・・・撮影タイミング判定部
１４・・・画像利用部
１５・・・出力部
２１・・・車内側カメラ
２２・・・加速度センサ
２４・・・制御装置

Claims (10)

  1. 　取得した情報に基づいて運転者が運転する移動体が前進しているかを判定し、前記移動体が前進していると判断した場合に撮影タイミングが良好状態であると判定する判定部、
    　を備える画像処理装置。
  2. 　前記判定部は、前記移動体の加速度に基づいて、前記移動体が前進しているかを判定する請求項１に記載の画像処理装置。
  3. 　前記判定部は、前記移動体の速度に基づいて、前記移動体が前進しているかを判定する請求項１または請求項２に記載の画像処理装置。
  4. 　前記判定部は、前記移動体に対する操作を示す操作情報に基づいて、前記移動体が前進しているかを判定する請求項１から請求項３の何れか一項に記載の画像処理装置。
  5. 　前記判定部は、前記移動体が移動する経路を示す経路情報に基づいて、前記移動体が前進しているかを判定する請求項１から請求項４の何れか一項に記載の画像処理装置。
  6. 　前記良好状態な撮影タイミングにおいて撮影された前記運転者の顔画像を用いて所定の処理を行う画像利用部、
    　をさらに備える請求項１から請求項５の何れか一項に記載の画像処理装置。
  7. 　前記良好状態な撮影タイミングにおいて撮影された前記運転者の顔画像を、前記該顔画像を用いて処理を行う所定の装置に送信する送信部、
    　をさらに備える請求項１から請求項６の何れか一項に記載の画像処理装置。
  8. 　前記撮影タイミングが良好状態であるとは、前記撮影タイミングにおいて前記運転者を撮影した画像に前記運転者の正面顔が含まれている可能性が高いことである
    　請求項１から請求項７の何れか一項に記載の画像処理装置。
  9. 　取得した情報に基づいて運転者が運転する移動体が前進しているかを判定し、
    　前記運転者が前進していると判断された場合に撮影タイミングが良好状態であると判定する
    　ことを含む画像処理方法。
  10. 　取得した情報に基づいて運転者が運転する移動体が前進しているかを判定し、
    　前記運転者が前進していると判断された場合に撮影タイミングが良好状態であると判定する、
    　ことをコンピュータに実行させるプログラムを記憶した記憶媒体。
PCT/JP2019/007644 2018-03-02 2019-02-27 画像処理装置、画像処理方法、記憶媒体 WO2019168057A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/976,799 US20210004616A1 (en) 2018-03-02 2019-02-27 Image-processing device, image-processing method, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-038078 2018-03-02
JP2018038078A JP6933161B2 (ja) 2018-03-02 2018-03-02 画像処理装置、画像処理方法、プログラム

Publications (1)

Publication Number Publication Date
WO2019168057A1 true WO2019168057A1 (ja) 2019-09-06

Family

ID=67805349

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/007644 WO2019168057A1 (ja) 2018-03-02 2019-02-27 画像処理装置、画像処理方法、記憶媒体

Country Status (3)

Country Link
US (1) US20210004616A1 (ja)
JP (1) JP6933161B2 (ja)
WO (1) WO2019168057A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220172493A1 (en) * 2020-11-30 2022-06-02 Faurecia Clarion Electronics Co., Ltd. Information processing apparatus, and recording medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008089530A (ja) * 2006-10-05 2008-04-17 Alpine Electronics Inc 車載用ナビゲーション装置及び車両進行方向検出方法
WO2011071177A1 (ja) * 2009-12-11 2011-06-16 オプテックス株式会社 運転挙動検出方法および装置
JP2016539446A (ja) * 2013-10-29 2016-12-15 キム，ジェ−チョル 動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置
JP6052062B2 (ja) * 2013-05-29 2016-12-27 株式会社デンソー 人物探索システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5692500B2 (ja) * 2010-08-25 2015-04-01 株式会社アドヴィックス 車両の前進判定装置
US10377303B2 (en) * 2014-09-04 2019-08-13 Toyota Motor Engineering & Manufacturing North America, Inc. Management of driver and vehicle modes for semi-autonomous driving systems
US11164459B2 (en) * 2017-03-14 2021-11-02 Hyundai Mobis Co., Ltd. Apparatus and method of safety support for vehicle
WO2018195671A1 (en) * 2017-04-28 2018-11-01 Klashwerks Inc. In-vehicle monitoring system and devices

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008089530A (ja) * 2006-10-05 2008-04-17 Alpine Electronics Inc 車載用ナビゲーション装置及び車両進行方向検出方法
WO2011071177A1 (ja) * 2009-12-11 2011-06-16 オプテックス株式会社 運転挙動検出方法および装置
JP6052062B2 (ja) * 2013-05-29 2016-12-27 株式会社デンソー 人物探索システム
JP2016539446A (ja) * 2013-10-29 2016-12-15 キム，ジェ−チョル 動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220172493A1 (en) * 2020-11-30 2022-06-02 Faurecia Clarion Electronics Co., Ltd. Information processing apparatus, and recording medium
US11915495B2 (en) * 2020-11-30 2024-02-27 Faurecia Clarion Electronics Co., Ltd. Information processing apparatus, and recording medium

Also Published As

Publication number Publication date
JP2019153938A (ja) 2019-09-12
US20210004616A1 (en) 2021-01-07
JP6933161B2 (ja) 2021-09-08

Similar Documents

Publication Publication Date Title
JP6193912B2 (ja) ドライブレコーダ
KR101947493B1 (ko) Ｏｂｄ 정보를 이용한 차량용 영상 기록 장치 및 방법
JP5804508B2 (ja) ドライブレコーダ
JP6711631B2 (ja) 監視システム
WO2015145543A1 (ja) 物体検出装置、物体検出方法、および移動ロボット
JP6705470B2 (ja) 記録再生装置、記録再生方法、およびプログラム
JP2017045396A (ja) 画像記録装置および画像記録方法
JP2001304876A (ja) 車載カメラによる画像記録・再生方式
CN206209911U (zh) 具有智能的行车纪录器
JP5387847B2 (ja) 記録システム
JP2023063433A (ja) 端末装置、送信方法、収集装置および収集システム
JP2012038229A (ja) ドライブレコーダー
WO2019168057A1 (ja) 画像処理装置、画像処理方法、記憶媒体
WO2014136378A1 (ja) 車外画像保存システム、車外画像保存装置、及び車車間通信装置
JP2021157831A (ja) 余所見判定装置、余所見判定システム、余所見判定方法、プログラム
CN113544750B (zh) 车辆用记录控制装置、车辆用记录装置、车辆用记录控制方法和存储介质
JP2019200728A (ja) 車載カメラ
JP2016139233A (ja) 運行記録装置、運行記録システム、及び運行管理システム
JP2023051997A (ja) 車載映像記録装置及びその制御方法
JP5914121B2 (ja) ドライブレコーダ
JP2009230343A (ja) ドライブレコーダー装置
JP2020109572A (ja) 撮像情報記憶装置、撮像情報記憶方法及びプログラム
JP5040831B2 (ja) 車両用撮影装置および撮影方法
KR20200119417A (ko) 차량용 사고 영상 기록 장치 및 방법
JP2006290276A (ja) 車載用ドライブレコーダおよびこれを備えた車載用ナビゲーションシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19760578

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19760578

Country of ref document: EP

Kind code of ref document: A1