JP7163152B2 - 画像処理装置、撮像装置、移動体及び画像処理方法 - Google Patents

画像処理装置、撮像装置、移動体及び画像処理方法 Download PDF

Info

Publication number
JP7163152B2
JP7163152B2 JP2018222847A JP2018222847A JP7163152B2 JP 7163152 B2 JP7163152 B2 JP 7163152B2 JP 2018222847 A JP2018222847 A JP 2018222847A JP 2018222847 A JP2018222847 A JP 2018222847A JP 7163152 B2 JP7163152 B2 JP 7163152B2
Authority
JP
Japan
Prior art keywords
moving body
state
behavior
processor
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018222847A
Other languages
English (en)
Other versions
JP2020087140A (ja
Inventor
祥武 大和田
尚典 福島
亮介 茂木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2018222847A priority Critical patent/JP7163152B2/ja
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to EP19889363.8A priority patent/EP3888977A4/en
Priority to US17/297,293 priority patent/US20220024452A1/en
Priority to PCT/JP2019/043135 priority patent/WO2020110611A1/ja
Priority to CN201980077158.XA priority patent/CN113165575B/zh
Publication of JP2020087140A publication Critical patent/JP2020087140A/ja
Priority to JP2022167921A priority patent/JP7292484B2/ja
Application granted granted Critical
Publication of JP7163152B2 publication Critical patent/JP7163152B2/ja
Priority to JP2023093283A priority patent/JP7474370B2/ja
Priority to JP2024064862A priority patent/JP2024096873A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/006—Alarm destination chosen according to type of event, e.g. in case of fire phone the fire service, in case of medical emergency phone the ambulance
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Public Health (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Emergency Alarm Devices (AREA)

Description

本開示は、画像処理装置、撮像装置、移動体及び画像処理方法に関する。
従来、車載カメラにより、相手車両の状態、歩行者の状態、進入先道路の状態、などを検出し、右折可能或いは右折不可能である場合にのみ運転者への通知を行うことで、運転者に真に必要な情報を提供する運転支援装置が知られている（例えば、特許文献１参照）。
特開２００８－２４３０６５号公報
しかしながら、従来技術のように、単純に相手車両の状態を検出するのみでは、例えば、相手車両が自車両に対して、煽り運転を行っているか否かを正確に判定することができないという問題がある。今後、自動運転機能を備える車両が一般化していく社会において、煽り運転の誤判定が、交通の円滑化を妨げる要因となることが懸念される。
本開示の目的は、上述した課題を解決し、交通の円滑化を図ることができる画像処理装置を提供することにある。
本開示の実施形態に係る画像処理装置は、プロセッサと、出力部とを備える。前記プロセッサは、移動体の周辺を撮像した周辺映像及び前記移動体に搭載されるマイクから他の移動体の状態を検出し、該検出した他の移動体の状態に基づき、前記移動体の挙動を決定する挙動決定処理を行う。前記出力部は、前記プロセッサにより決定された前記移動体の挙動を指示する情報を前記移動体に出力する。前記プロセッサは、前記挙動決定処理として、前記周辺映像から検出した他の移動体の第１の状態及び前記マイクから検出した前記移動体に対して前記他の移動体がクラクションで威嚇する状態に基づき、前記移動体の第１の挙動を決定し、該決定した第１の挙動を指示する情報を前記出力部を介して前記移動体に出力する。そして、前記プロセッサは、前記移動体による前記第１の挙動後の周辺映像から検出した前記他の移動体の第２の状態及び前記マイクから検出した前記移動体に対して前記他の移動体がクラクションで威嚇する状態の継続或いは繰り返しに基づき、前記他の移動体が危険運転を行っていると判定した場合、前記移動体の第２の挙動を決定する。
本開示の実施形態に係る撮像装置は、上述した画像処理装置と、前記周辺映像を取得する入力部と、を備える。
本開示の実施形態に係る移動体は、上述した撮像装置を搭載する。
本開示の実施形態に係る画像処理方法は、画像処理装置が実行する画像処理方法であって、移動体の周辺を撮像した周辺映像及び前記移動体に搭載されるマイクから検出した他の移動体の状態を検出し、該検出した他の移動体の第１の状態及び前記マイクから検出した前記移動体に対して前記他の移動体がクラクションで威嚇する状態に基づき、前記移動体の第１の挙動を決定するステップと、前記決定した第１の挙動を指示する情報を前記移動体に出力するステップと、前記移動体による前記第１の挙動後の周辺映像から検出した前記他の移動体の第２の状態及び前記マイクから検出した前記移動体に対して前記他の移動体がクラクションで威嚇する状態の継続或いは繰り返しに基づき、前記他の移動体が危険運転を行っていると判定した場合、前記移動体の第２の挙動を決定するステップと、を含む。
本開示によれば、交通の円滑化を図ることができる。
本開示の一実施形態に係る画像処理装置の構成の例を示す図である。 相手車両が自車両に対して、第１の煽り運転を行っている場合における自車両の挙動の一例を示す図である。 相手車両が自車両に対して、第１の煽り運転を行っている場合における自車両の挙動の一例を示す図である。 相手車両が自車両に対して、第１の煽り運転を行っている場合における自車両の挙動の一例を示す図である。 相手車両が自車両に対して、第２の煽り運転を行っている場合における自車両の挙動の一例を示す図である。 相手車両が自車両に対して、第２の煽り運転を行っている場合における自車両の挙動の一例を示す図である。 相手車両が自車両に対して、第２の煽り運転を行っている場合における自車両の挙動の一例を示す図である。 相手車両が自車両に対して、第３の煽り運転を行っている場合における自車両の挙動の一例を示す図である。 相手車両が自車両に対して、第３の煽り運転を行っている場合における自車両の挙動の一例を示す図である。 相手車両が自車両に対して、第３の煽り運転を行っている場合における自車両の挙動の一例を示す図である。 相手車両が自車両に対して、第４の煽り運転を行っている場合における自車両の挙動の一例を示す図である。 相手車両が自車両に対して、第４の煽り運転を行っている場合における自車両の挙動の一例を示す図である。 相手車両が自車両に対して、第４の煽り運転を行っている場合における自車両の挙動の一例を示す図である。 相手車両が自車両に対して、第５の煽り運転を行っている場合における自車両の挙動の一例を示す図である。 相手車両が自車両に対して、第５の煽り運転を行っている場合における自車両の挙動の一例を示す図である。 相手車両が自車両に対して、第５の煽り運転を行っている場合における自車両の挙動の一例を示す図である。 相手車両が自車両に対して、第６の煽り運転を行っている場合における自車両の挙動の一例を示す図である。 相手車両が自車両に対して、第６の煽り運転を行っている場合における自車両の挙動の一例を示す図である。 相手車両が自車両に対して、第６の煽り運転を行っている場合における自車両の挙動の一例を示す図である。 本開示の一実施形態に係る画像処理方法の一例を示すフローチャートである。 状態遷移図の一例を示す図である。 本開示の一実施形態に係る画像処理方法における第１の煽り運転判定処理の一例を示すフローチャートである。 本開示の一実施形態に係る画像処理方法における第２の煽り運転判定処理の一例を示すフローチャートである。 本開示の一実施形態に係る画像処理方法における第３の煽り運転判定処理の一例を示すフローチャートである。 本開示の一実施形態に係る画像処理方法における第４の煽り運転判定処理の一例を示すフローチャートである。 本開示の一実施形態に係る画像処理方法における第５の煽り運転判定処理の一例を示すフローチャートである。 本開示の一実施形態に係る画像処理方法における第６の煽り運転判定処理の一例を示すフローチャートである。
以下、本開示の実施の形態について図面を参照して例示説明する。各図中、同一符号は、同一又は同等の構成要素を示している。
本明細書では、「煽り運転」として、６種類の具体例を挙げて説明する。「煽り運転」とは、相手車両の運転者が何らかの原因又は目的で、自車両の運転者の運転を煽り、交通の円滑化を妨げる行為である。第１の煽り運転を、「自車両に対して相手車両が車間距離を詰める運転」とする。第２の煽り運転を、「自車両に対して相手車両がクラクションで威嚇する運転」とする。第３の煽り運転を、「自車両の後方で相手車両が蛇行する運転」とする。第４の煽り運転を、「自車両の後方で相手車両がパッシングする運転」とする。第５の煽り運転を、「自車両に対して相手車両が張り付き又は追廻する運転」とする。第６の煽り運転を、「自車両に対して相手車両が幅寄せする運転」とする。
＜画像処理装置の構成＞
図１を参照して、本実施形態に係る画像処理装置１０の構成について説明する。図１は、本実施形態に係る画像処理装置１０の構成の一例を示す図である。
図１に示すように、画像処理装置１０は、移動体１（例えば、自車両）に搭載され、移動体１の周辺を撮像した周辺映像から他の移動体（例えば、相手車両）の状態を検出する。画像処理装置１０は、検出した他の移動体の状態に基づき、移動体１に実行させる挙動を決定する。画像処理装置１０は、移動体１に実行させる挙動を指示する情報を移動体１へと出力する。移動体１は、撮像装置１Ａの他、例えば、車速センサ、測距センサ、マイク、レーダ、ソナー、及びライダーなど、を更に備える。
移動体１としては、例えば、自動運転機能を備える車両がある。本実施形態において、「自動運転」とは、車両を運転するユーザ操作の一部又は全部を自動化することを含む。例えば、自動運転は、ＳＡＥ（Society of Automotive Engineers）において定義されるレベル１ないし５を含んでもよい。以下では、移動体１は、ＳＡＥで定義されるレベル４以上の全自動運転機能を備えるものとして説明する。
画像処理装置１０は、出力部としての通信インターフェース１２と、プロセッサ１３と、記憶部１４と、を備える。移動体１には、画像処理装置１０と、入力部としての撮像部１１と、を備える撮像装置１Ａが搭載される。
撮像部１１は、移動体１の周辺を撮像した周辺映像を取得し、取得した周辺映像をプロセッサ１３へと出力する。撮像部１１は、例えば、移動体１に搭載された車載カメラである。撮像部１１は、移動体１に複数台搭載されてもよい。移動体１に４台の車載カメラが搭載される場合、例えば、１台目の車載カメラは、移動体１の前方の周辺領域と、移動体１の前側面の少なくとも一部と、を撮像可能な位置に配置される。例えば、２台目の車載カメラは、移動体１の後方の周辺領域と、移動体１の後側面の少なくとも一部と、を撮像可能な位置に配置される。例えば、３台目の車載カメラは、移動体１の左側方の周辺領域と、移動体１の左側面の少なくとも一部と、を撮像可能な位置に配置される。例えば、４台目の車載カメラは、移動体１の右側方の周辺領域と、移動体１の右側面の少なくとも一部と、を撮像可能な位置に配置される。撮像部１１がこのように配置されることにより、撮像部１１は、移動体１の四方の周辺領域を撮像することが可能になる。
撮像部１１は、少なくとも撮像光学系と、撮像素子とを備える。
撮像光学系は、例えば、１個以上のレンズ及び絞りなどの光学部材を含む。撮像光学系が備えるレンズは、例えば、魚眼レンズなどの画角の広いレンズである。撮像光学系は、被写体像を撮像素子の受光面に結像させる。
撮像素子は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサ又はＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどを含む。撮像素子の受光面上には、複数の画素が配列されている。撮像素子は、受光面上に結像された被写体像を撮像して撮像画像を生成する。撮像部１１は、撮像素子により生成された撮像画像を、有線又は無線を介して、プロセッサ１３へと出力する。撮像部１１は、移動体１に搭載されたＥＣＵ（Electronic Control Unit）、ディスプレイ及びナビゲーション装置などの外部装置に撮像画像を出力してもよい。また、撮像部１１は、撮像画像に対して、ホワイトバランス調整処理、露出調整処理及びガンマ補正処理などの所定の画像処理を施す機能を有していてもよい。
通信インターフェース１２は、有線又は無線を介して、移動体１の各種制御系と通信を行うインターフェースである。通信インターフェース１２は、移動体１の走行を制御する制御系、移動体１の走行以外（例えば、ライトの点灯・消灯、ウィンカの点滅、クラクションの鳴動、など）を制御する制御系、などと通信を行う。
記憶部１４は、例えば、一次記憶装置又は二次記憶装置などを含む。記憶部１４は、画像処理装置１０の動作に必要な種々の情報及びプログラムなどを記憶する。
プロセッサ１３は、例えば、ＤＳＰ（Digital Signal Processor）などの専用のプロセッサ、又は、ＣＰＵ（Central Processing Unit）などの汎用プロセッサを含む。プロセッサ１３は、画像処理装置１０全体の動作を制御する。例えば、プロセッサ１３は、撮像部１１が撮像した周辺映像から他の移動体の状態を検出し、検出した他の移動体の状態に基づき、移動体１の挙動を決定する挙動決定処理を行う。プロセッサ１３が検出する他の移動体の状態としては、例えば、第１の状態、第２の状態、第３の状態などが挙げられる。
プロセッサ１３は、他の移動体の第１の状態として、例えば、移動体１に対して車間距離を詰める状態、移動体１に対してクラクションで威嚇する状態、移動体１の後方で蛇行する状態、移動体１の後方でパッシングする状態、移動体１に対して張り付き又は追廻する状態、移動体１に対して幅寄せする状態、の何れかを検出する。プロセッサ１３は、他の移動体の第２の状態として、例えば、第１の状態の継続、第１の状態の繰り返し、の何れかを検出する。プロセッサ１３は、他の移動体の第３の状態として、例えば、第１の状態の継続、第１の状態の繰り返し、の何れかを検出する。
プロセッサ１３は、通信インターフェース１２を介して移動体１の各種制御系にアクセスし、移動体１の挙動を決定する。プロセッサ１３が決定する移動体１の挙動としては、例えば、第１の挙動、第２の挙動、第３の挙動などが挙げられる。
プロセッサ１３は、移動体１の第１の挙動として、例えば、法定速度での走行継続、車線変更、他の移動体に対する注意喚起のためのクラクションの鳴動、最寄のコンビニエンスストアへの退避、最寄のサービスエリア或いはパーキングエリアへの退避、の何れかを決定する。例えば、プロセッサ１３は、移動体１の走行を制御する制御系にアクセスし、法定速度での走行継続、車線変更、最寄のコンビニエンスストアへの退避、最寄のサービスエリア或いはパーキングエリアへの退避、など移動体１における第１の挙動を決定する。例えば、プロセッサ１３は、移動体１の走行以外を制御する制御系にアクセスし、他の移動体に対する注意喚起のためのクラクションの鳴動、など移動体１における第１の挙動を決定する。
プロセッサ１３は、移動体１の第２の挙動として、例えば、警察への通報、停止、減速、最寄のコンビニエンスストアへの退避、最寄のサービスエリア或いはパーキングエリアへの退避、ドライブレコーダへの記録、周辺映像を所定のネットワークにアップロードする、他の移動体が危険運転を行っているという表示、の何れかを決定する。第２の挙動とは、移動体１が第１の挙動を行った後もなお、他の移動体によって第１の状態が継続或いは第１の状態が繰り返される際に、移動体１が行う挙動であり、「危険回避の挙動」ともいう。
例えば、プロセッサ１３は、移動体１の走行を制御する制御系にアクセスし、停止、減速、最寄のコンビニエンスストアへの退避、最寄のサービスエリア或いはパーキングエリアへの退避、など移動体１における第２の挙動を決定する。例えば、プロセッサ１３は、移動体１の走行以外を制御する制御系にアクセスし、ドライブレコーダへの記録、他の移動体が危険運転を行っているという表示、など移動体１における第２の挙動を決定する。
プロセッサ１３は、移動体１の第３の挙動として、例えば、警察への通報、停止、最寄のコンビニエンスストアへの退避、最寄のサービスエリア或いはパーキングエリアへの退避、停止後のドアロック、の何れかを決定する。第３の挙動とは、移動体１が第２の挙動を行った後もなお、他の移動体によって第１の状態が継続或いは第１の状態が繰り返される際に、移動体１が行う挙動であり、「緊急避難の挙動」ともいう。
例えば、プロセッサ１３は、移動体１の走行を制御する制御系にアクセスし、停止、最寄のコンビニエンスストアへの退避、最寄のサービスエリア或いはパーキングエリアへの退避、など移動体１における第３の挙動を決定する。例えば、プロセッサ１３は、移動体１の走行以外を制御する制御系にアクセスし、停止後のドアロック、など移動体１における第３の挙動を決定する。
プロセッサ１３は、挙動決定処理として、以下の動作を行う。プロセッサ１３は、撮像部１１が撮像した周辺映像から他の移動体の状態を検出し、検出した他の移動体の第１の状態に基づき、移動体１の第１の挙動を決定する。プロセッサ１３は、決定した第１の挙動を指示する情報を通信インターフェース１２を介して移動体１の制御系に出力する。
例えば、プロセッサ１３は、移動体１の第１の挙動を決定し、法定速度での走行継続、車線変更、他の移動体に対する注意喚起のためのクラクションの鳴動、最寄のコンビニエンスストアへの退避、最寄のサービスエリア或いはパーキングエリアへの退避、などを指示する情報を、通信インターフェース１２を介して移動体１に出力し、移動体１にこれらの動作を実行させる。
また、プロセッサ１３は、移動体１による第１の挙動後に、撮像部１１が撮像した周辺映像から他の移動体の状態を検出し、検出した他の移動体の第２の状態に基づき、他の移動体が危険運転を行っていると判定した場合、移動体１の第２の挙動を決定する。プロセッサ１３は、決定した第２の挙動を指示する情報を通信インターフェース１２を介して移動体１の制御系に出力する。
例えば、プロセッサ１３は、移動体１の第２の挙動を決定し、警察への通報、停止、減速、最寄のコンビニエンスストアへの退避、最寄のサービスエリア或いはパーキングエリアへの退避、ドライブレコーダへの記録、周辺映像を所定のネットワークにアップロードする、他の移動体が危険運転を行っているという表示、などを指示する情報を、通信インターフェース１２を介して移動体１に出力し、移動体１にこれらの動作を実行させる。
即ち、プロセッサ１３は、移動体１の第１の挙動に対してもなお、他の移動体が危険運転を行っていると判定する場合、他の移動体が煽り運転を行っていると推定する。そして、プロセッサ１３は、他の移動体が煽り運転を行っているか否かを、より正確に検出するために、移動体１の第２の挙動を決定する。
また、プロセッサ１３は、移動体１による第２の挙動後に、撮像部１１が撮像した周辺映像から他の移動体の状態を検出し、検出した他の移動体の第３の状態に基づき、他の移動体が危険運転を行っていると判定した場合、移動体１の第３の挙動を決定する。プロセッサ１３は、決定した第３の挙動を指示する情報を通信インターフェース１２を介して移動体１の制御系に出力する。
例えば、プロセッサ１３は、移動体１の第３の挙動を決定し、警察への通報、停止、最寄のコンビニエンスストアへの退避、最寄のサービスエリア或いはパーキングエリアへの退避、停止後のドアロック、などを指示する情報を、通信インターフェース１２を介して移動体１に出力し、移動体１にこれらの動作を実行させる。
即ち、プロセッサ１３は、移動体１の第２の挙動に対してもなお、他の移動体が危険運転を行っていると判定する場合、他の移動体が煽り運転を行っていると推定する。そして、プロセッサ１３は、他の移動体が煽り運転を行っているか否かを、より正確に検出するために、移動体１の第３の挙動を決定する。
上述のように、プロセッサ１３は、移動体１による第１の挙動後に、撮像部１１が撮像した周辺映像から検出した他の移動体の第２の状態に基づき、他の移動体が危険運転を行っていると判定した場合、移動体１の第２の挙動を決定する。更に、プロセッサ１３は、移動体１による第２の挙動後に、撮像部１１が撮像した周辺映像から検出した他の移動体の第３の状態に基づき、他の移動体が危険運転を行っていると判定した場合、移動体１の第３の挙動を決定する。
本実施形態に係る画像処理装置１０によれば、移動体１の周辺を撮像した周辺映像から他の移動体の第１の状態を検出し、第１の状態に基づき、移動体１の第１の挙動を決定する。そして、移動体１の第１の挙動後、移動体１の周辺を撮像した周辺映像から他の移動体の第２の状態を検出し、第２の状態に基づき、他の移動体が危険運転を行っていると判定した場合、移動体１の第２の挙動を決定する。即ち、移動体１の第１の挙動後もなお、他の移動体が危険運転を行っているか否かを判定することで、他の移動体が移動体に対して、煽り運転を行っているか否かを正確に判定することができる。即ち、単純に他の移動体の状態を検出するのみで、他の移動体が移動体に対して、煽り運転を行っているか否かを判定していた従来と比較して、煽り運転の判定精度を高めることができる。これにより、移動体１は、煽り運転を実際に行っている他の移動体に対して適切な措置を取ることができるため、交通の円滑化を図ることができる。
＜移動体１の挙動の具体例＞
次に、図２乃至図７を参照して、他の移動体２が移動体１に対して煽り運転を行っている場合における移動体１の挙動の具体例について説明する。
〔第１の煽り運転の場合〕
図２Ａに示すように、画像処理装置１０は、移動体１の後方の周辺領域を撮像可能な位置に配置される撮像部１１により、移動体１の後方の周辺領域を撮像する。また、画像処理装置１０は、移動体１と他の移動体２との車間距離を算出する。
画像処理装置１０は、移動体１の後方の周辺映像、及び移動体１と他の移動体２との車間距離に基づいて、他の移動体２が第１の煽り運転を行っていると推定する。この場合、図２Ｂに示すように、画像処理装置１０は、移動体１の第１の挙動として、「車線変更」を決定し、当該第１の挙動を指示する情報を移動体１へと出力する。
その後、画像処理装置１０は、移動体１の後方の周辺映像、及び移動体１と他の移動体２との車間距離に基づいて、移動体１の第１の挙動後もなお、他の移動体２による第１の煽り運転が継続していると判定した場合、移動体１の第２の挙動を決定する。この場合、図２Ｃに示すように、画像処理装置１０は、移動体１の第２の挙動として、「最寄のコンビニエンスストアへの退避」を決定し、当該第２の挙動を指示する情報を移動体１へと出力する。
〔第２の煽り運転の場合〕
図３Ａに示すように、画像処理装置１０は、移動体１の後方の周辺領域を撮像可能な位置に配置される撮像部１１により、移動体１の後方の周辺領域を撮像する。また、画像処理装置１０は、移動体１に搭載されるマイクにより、他の移動体２のクラクションの鳴動を検出する。
画像処理装置１０は、移動体１の後方の周辺映像、及び他の移動体２のクラクションの鳴動に基づいて、他の移動体２が第２の煽り運転を行っていると推定する。この場合、図３Ｂに示すように、画像処理装置１０は、移動体１の第１の挙動として、「車線変更」を決定し、当該第１の挙動を指示する情報を移動体１へと出力する。
その後、画像処理装置１０は、移動体１の後方の周辺映像、及び他の移動体２のクラクションの鳴動に基づいて、移動体１の第１の挙動後もなお、他の移動体２による第１の煽り運転が継続していると判定した場合、移動体１の第２の挙動を決定する。この場合、図３Ｃに示すように、画像処理装置１０は、移動体１の第２の挙動として、「最寄のコンビニエンスストアへの退避」を決定し、当該第２の挙動を指示する情報を移動体１へと出力する。
〔第３の煽り運転の場合〕
図４Ａに示すように、画像処理装置１０は、移動体１の後方の周辺領域を撮像可能な位置に配置される撮像部１１により、移動体１の後方の周辺領域を撮像する。また、画像処理装置１０は、移動体１と他の移動体２との車間距離を算出する。
画像処理装置１０は、移動体１の後方の周辺映像、及び移動体１と他の移動体２との車間距離に基づいて、他の移動体２が第３の煽り運転を行っていると推定する。この場合、図４Ｂに示すように、画像処理装置１０は、移動体１の第１の挙動として、「車線変更」を決定し、当該第１の挙動を指示する情報を移動体１へと出力する。
その後、画像処理装置１０は、移動体１の後方の周辺映像、及び移動体１と他の移動体２との車間距離に基づいて、移動体１の第１の挙動後もなお、他の移動体２による第１の煽り運転が継続していると判定した場合、移動体１の第２の挙動を決定する。この場合、図４Ｃに示すように、画像処理装置１０は、移動体１の第２の挙動として、「最寄のコンビニエンスストアへの退避」を決定し、当該第２の挙動を指示する情報を移動体１へと出力する。
〔第４の煽り運転の場合〕
図５Ａに示すように、画像処理装置１０は、移動体１の後方の周辺領域を撮像可能な位置に配置される撮像部１１により、移動体１の後方の周辺領域を撮像する。また、画像処理装置１０は、移動体１と他の移動体２との車間距離を算出する。また、画像処理装置１０は、撮像部１１により撮像された周辺映像に基づいて、他の移動体２が移動体１の後方で前方灯を明滅させていること、或いは、他の移動体２が移動体１の後方で前方灯を高輝度の状態で上向きに点灯させていること、を検出する。
画像処理装置１０は、移動体１の後方の周辺映像、移動体１と他の移動体２との車間距離、及び他の移動体２の前方灯の様子に基づいて、他の移動体２が第４の煽り運転を行っていると推定する。この場合、図５Ｂに示すように、画像処理装置１０は、移動体１の第１の挙動として、「車線変更」を決定し、当該第１の挙動を指示する情報を移動体１へと出力する。
その後、画像処理装置１０は、移動体１の後方の周辺映像、移動体１と他の移動体２との車間距離、及び他の移動体２の前方灯の様子に基づいて、移動体１の第１の挙動後もなお、他の移動体２による第１の煽り運転が継続していると判定した場合、移動体１の第２の挙動を決定する。この場合、図５Ｃに示すように、画像処理装置１０は、移動体１の第２の挙動として、「最寄のコンビニエンスストアへの退避」を決定し、当該第２の挙動を指示する情報を移動体１へと出力する。
〔第５の煽り運転の場合〕
図６Ａに示すように、画像処理装置１０は、移動体１の後方の周辺領域を撮像可能な位置に配置される撮像部１１により、移動体１の後方の周辺領域を撮像する。また、画像処理装置１０は、移動体１と他の移動体２との車間距離を算出する。
画像処理装置１０は、移動体１の後方の周辺映像、及び移動体１と他の移動体２との車間距離に基づいて、他の移動体２が第５の煽り運転を行っていると推定する。この場合、図６Ｂに示すように、画像処理装置１０は、移動体１の第１の挙動として、「車線変更」を決定し、当該第１の挙動を指示する情報を移動体１へと出力する。
その後、画像処理装置１０は、移動体１の後方の周辺映像、及び移動体１と他の移動体２との車間距離に基づいて、移動体１の第１の挙動後もなお、他の移動体２による第５の煽り運転が継続していると判定と判定した場合、移動体１の第２の挙動を決定する。この場合、図６Ｃに示すように、画像処理装置１０は、移動体１の第２の挙動として、「最寄のコンビニエンスストアへの退避」を決定し、当該第２の挙動を指示する情報を移動体１へと出力する。
その後、画像処理装置１０は、移動体１の周辺映像、及び移動体１と他の移動体２との車間距離に基づいて、移動体１の第２の挙動後もなお、他の移動体２による第５の煽り運転が継続していると判定した場合、移動体１の第３の挙動を決定する。この場合、図６Ｃに示すように、画像処理装置１０は、移動体１の第３の挙動として、「ドアをロックして、警察への通報」を決定し、当該第３の挙動を指示する情報を移動体１へと出力する。
〔第６の煽り運転の場合〕
図７Ａに示すように、画像処理装置１０は、移動体１の後方の周辺領域、移動体１の後側面の少なくとも一部の領域、移動体１の右方の周辺領域、移動体１の右側面の少なくとも一部の領域、を撮像可能な位置に配置される撮像部１１により、移動体１の後方、後側面、右方、右側面の周辺領域を撮像する。また、画像処理装置１０は、移動体１と他の移動体２との車間距離を算出する。
画像処理装置１０は、移動体１の後方の周辺映像、移動体１の右方の周辺映像、及び移動体１と他の移動体２との車間距離に基づいて、他の移動体２が第６の煽り運転を行っていると推定する。この場合、図７Ｂに示すように、画像処理装置１０は、移動体１の第１の挙動として、「他の移動体に対する注意喚起のためのクラクションの鳴動」を決定し、当該第１の挙動を指示する情報を移動体１へと出力する。
その後、画像処理装置１０は、移動体１の後方の周辺映像、移動体１の右方の周辺映像、及び移動体１と他の移動体２との車間距離に基づいて、移動体１の第１の挙動後もなお、他の移動体２による第６の煽り運転が継続していると判定した場合、移動体１の第２の挙動を決定する。この場合、図７Ｃに示すように、画像処理装置１０は、移動体１の第２の挙動として、「車線変更、減速」を決定し、当該第２の挙動を指示する情報を移動体１へと出力する。
その後、画像処理装置１０は、移動体１の後方の周辺映像、及び移動体１と他の移動体２との車間距離に基づいて、移動体１の第２の挙動後もなお、他の移動体２による第６の煽り運転が継続していると判定した場合、移動体１の第３の挙動を決定する。この場合、画像処理装置１０は、第３の挙動として、「衝突回避の為の停止」を決定し、当該挙動を指示する情報を移動体１へと出力する。
表１は、一般道路の走行において、プロセッサ１３により決定される移動体１の第１の挙動及び移動体１の第２の挙動、周辺映像などに基づいて、プロセッサ１３により検出される他の移動体２の第１の状態及び他の移動体２の第２の状態をまとめた表である。
Figure 0007163152000001
例えば、他の移動体２の第１の状態が、「他の移動体２が移動体１との車間距離を詰める」である場合、プロセッサ１３は、移動体１の第１の挙動として、「法定速度を遵守し、走行を継続する」或いは「進路変更先の車線の安全を確認し、車線変更する」を決定する。
更に、他の移動体２の第２の状態が、「他の移動体２の第１の状態が継続している」或いは「他の移動体２が移動体１に張り付き、追い回す」である場合、プロセッサ１３は、移動体１の第２の挙動として、「最寄のコンビニ等に立ち寄り、道を譲る」を決定する。
例えば、他の移動体２の第１の状態が、「他の移動体２が移動体１に対し、クラクションを鳴らす」である場合、プロセッサ１３は、移動体１の第１の挙動として、「法定速度を遵守し、走行を継続する」或いは「進路変更先の車線の安全を確認し、車線変更する」を決定する。
更に、他の移動体２の第２の状態が、「他の移動体２の第１の状態が継続している」或いは「他の移動体２が移動体１に張り付き、追い回す」である場合、プロセッサ１３は、移動体１の第２の挙動として、「最寄のコンビニ等に立ち寄り、道を譲る」を決定する。
例えば、他の移動体２の第１の状態が、「他の移動体２が移動体１後方で蛇行運転をする」である場合、プロセッサ１３は、移動体１の第１の挙動として、「法定速度を遵守し、走行を継続する」或いは「進路変更先の車線の安全を確認し、車線変更する」を決定する。
更に、他の移動体２の第２の状態が、「他の移動体２の第１の状態が継続している」或いは「他の移動体２が移動体１に張り付き、追い回す」である場合、プロセッサ１３は、移動体１の第２の挙動として、「最寄のコンビニ等に立ち寄り、道を譲る」を決定する。
例えば、他の移動体２の第１の状態が、「他の移動体２が移動体１に対し、パッシングする」である場合、プロセッサ１３は、移動体１の第１の挙動として、「法定速度を遵守し、走行を継続する」或いは「進路変更先の車線の安全を確認し、車線変更する」を決定する。
更に、他の移動体２の第２の状態が、「他の移動体２の第１の状態が継続している」或いは「他の移動体２が移動体１に張り付き、追い回す」である場合、プロセッサ１３は、移動体１の第２の挙動として、「最寄のコンビニ等に立ち寄り、道を譲る」を決定する。
例えば、他の移動体２の第１の状態が、「他の移動体２が移動体１に張り付き、追い回す」である場合、プロセッサ１３は、移動体１の第１の挙動として、「最寄のコンビニ等に立ち寄り、道を譲る」或いは「進路変更先の車線の安全を確認し、車線変更する」を決定する。
更に、他の移動体２の第２の状態が、「他の移動体２の第１の状態が継続している」である場合、プロセッサ１３は、移動体１の第２の挙動として、「最寄のコンビニ等に停車し、警察に通報する」を決定する。
例えば、他の移動体２の第１の状態が、「他の移動体２が移動体１に対し、幅寄せを行う」である場合、プロセッサ１３は、移動体１の第１の挙動として、「他の移動体２に対し、注意喚起の為クラクションを鳴らす」を決定する。
更に、他の移動体２の第２の状態が、「他の移動体２が幅寄せ行為を止める」或いは「他の移動体２が幅寄せ行為を継続する」である場合、プロセッサ１３は、移動体１の第２の挙動として、「走行を継続する」或いは「衝突回避の為、減速する」を決定する。
表２は、高速道路の走行において、プロセッサ１３により決定される移動体１の第１の挙動及び移動体１の第２の挙動、周辺映像などに基づいて、プロセッサ１３により検出される他の移動体２の第１の状態及び他の移動体２の第２の状態をまとめた表である。
Figure 0007163152000002
例えば、他の移動体２の第１の状態が、「他の移動体２が移動体１との車間距離を詰める」である場合、プロセッサ１３は、移動体１の第１の挙動として、「法定速度を遵守し、走行を継続する」或いは「進路変更先の車線の安全を確認し、車線変更する」を決定する。
更に、他の移動体２の第２の状態が、「他の移動体２の第１の状態が継続している」或いは「他の移動体２が移動体１に張り付き、追い回す」である場合、プロセッサ１３は、移動体１の第２の挙動として、「一旦サービスエリア或いはパーキングエリアといった安全な場所に避難する」を決定する。
例えば、他の移動体２の第１の状態が、「他の移動体２が移動体１に対し、クラクションを鳴らす」である場合、プロセッサ１３は、移動体１の第１の挙動として、「法定速度を遵守し、走行を継続する」或いは「進路変更先の車線の安全を確認し、車線変更する」を決定する。
更に、他の移動体２の第２の状態が、「他の移動体２の第１の状態が継続している」或いは「他の移動体２が移動体１に張り付き、追い回す」である場合、プロセッサ１３は、移動体１の第２の挙動として、「一旦サービスエリア或いはパーキングエリアといった安全な場所に避難する」を決定する。
例えば、他の移動体２の第１の状態が、「他の移動体２が移動体１後方で蛇行運転をする」である場合、プロセッサ１３は、移動体１の第１の挙動として、「法定速度を遵守し、走行を継続する」或いは「進路変更先の車線の安全を確認し、車線変更する」を決定する。
更に、他の移動体２の第２の状態が、「他の移動体２の第１の状態が継続している」或いは「他の移動体２が移動体１に張り付き、追い回す」である場合、プロセッサ１３は、移動体１の第２の挙動として、「一旦サービスエリア或いはパーキングエリアといった安全な場所に避難する」を決定する。
例えば、他の移動体２の第１の状態が、「他の移動体２が移動体１に対し、パッシングする」である場合、プロセッサ１３は、移動体１の第１の挙動として、「法定速度を遵守し、走行を継続する」或いは「進路変更先の車線の安全を確認し、車線変更する」を決定する。
更に、他の移動体２の第２の状態が、「他の移動体２の第１の状態が継続している」或いは「他の移動体２が移動体１に張り付き、追い回す」である場合、プロセッサ１３は、移動体１の第２の挙動として、「一旦サービスエリア或いはパーキングエリアといった安全な場所に避難する」を決定する。
例えば、他の移動体２の第１の状態が、「他の移動体２が移動体１に張り付き、追い回す」である場合、プロセッサ１３は、移動体１の第１の挙動として、「最寄のサービスエリア或いはパーキングエリアに入る」或いは「進路変更先の車線の安全を確認し、車線変更する」を決定する。
更に、他の移動体２の第２の状態が、「他の移動体２の第１の状態が継続している」である場合、プロセッサ１３は、移動体１の第２の挙動として、「警察に通報する」或いは「最寄のサービスエリア或いはパーキングエリアに入り、警察に通報する」を決定する。
例えば、他の移動体２の第１の状態が、「他の移動体２が移動体１に対し、幅寄せを行う」である場合、プロセッサ１３は、移動体１の第１の挙動として、「他の移動体２に対し、注意喚起の為クラクションを鳴らす」を決定する。
更に、他の移動体２の第２の状態が、「他の移動体２が幅寄せ行為を止める」或いは「他の移動体２が幅寄せ行為を継続する」である場合、プロセッサ１３は、移動体１の第２の挙動として、「走行を継続する」或いは「衝突回避の為、減速する」を決定する。
上述のように、画像処理装置１０は、移動体１の周辺を撮像した周辺映像から他の移動体２２の第１の状態を検出し、第１の状態に基づき、移動体１の第１の挙動を決定する。そして、画像処理装置１０は、移動体１の第１の挙動後、移動体１の周辺を撮像した周辺映像から他の移動体２２の第２の状態を検出し、第２の状態に基づき、他の移動体２２が危険運転を行っていると判定した場合、移動体１の第２の挙動を決定する。即ち、画像処理装置１０が、移動体１の第１の挙動後もなお、他の移動体２２が危険運転を行っているか否かを判定することで、他の移動体２が移動体に対して、煽り運転を行っているか否かを正確に判定することができる。これにより、移動体１は、煽り運転を実際に行っている他の移動体２２に対して適切な措置を取ることができるため、交通の円滑化を図ることができる。
＜画像処理装置の動作＞
次に、図８を参照して、本実施形態に係る画像処理装置１０における画像処理方法について説明する。図８は、本実施形態に係る画像処理装置１０における画像処理方法の一例を示すフローチャートである。
ステップＳ０：プロセッサ１３は、初期化処理を行う。
ステップＳ１：プロセッサ１３は、第１の煽り運転判定処理を行う。プロセッサ１３が、第１の煽り運転判定処理に使用する情報としては、例えば、移動体１の車速、移動体１の車速に応じた移動体１と他の移動体２との車間距離（表３参照）、移動体１の所定範囲内に他の移動体２が滞留する滞留時間、などが挙げられる。
Figure 0007163152000003
例えば、プロセッサ１３は、移動体１の所定範囲内に他の移動体２が３秒以上滞留する場合、他の移動体２が第１の煽り運転を行っていると判定する。例えば、プロセッサ１３は、移動体１の所定範囲内に他の移動体２が３秒より短い時間滞留する場合、他の移動体２が第１の煽り運転を行っていないと判定する。
ステップＳ２：プロセッサ１３は、第２の煽り運転判定処理を行う。プロセッサ１３が、第２の煽り運転判定処理に使用する情報としては、例えば、移動体１の車速、移動体１の車速に応じた移動体１と他の移動体２との車間距離（表３参照）、他の移動体２のクラクションの鳴動回数及び鳴動音量、などが挙げられる。
例えば、プロセッサ１３は、他の移動体２が１分間に５回以上、クラクションを鳴動させた場合、他の移動体２が第２の煽り運転を行っていると判定する。例えば、プロセッサ１３は、他の移動体２が１分間に５回より少ない回数、クラクションを鳴動させた場合、他の移動体２が第２の煽り運転を行っていないと判定する。
ステップＳ３：プロセッサ１３は、第３の煽り運転判定処理を行う。プロセッサ１３が、第３の煽り運転判定処理に使用する情報としては、例えば、移動体１の車速、移動体１の車速に応じた移動体１と他の移動体２との車間距離（表３参照）、移動体１の所定範囲内に他の移動体２が滞留する滞留時間、他の移動体２における蛇行運転の振幅、他の移動体２における蛇行運転の周期、などが挙げられる。
例えば、プロセッサ１３は、他の移動体２における蛇行運転の振幅が９００ｍｍ以上であり、他の移動体２における蛇行運転の周期が１秒以上５秒以下である場合、他の移動体２が第３の煽り運転を行っていると判定する。例えば、プロセッサ１３は、他の移動体２における蛇行運転の振幅が９００ｍｍより小さい場合、或いは、他の移動体２における蛇行運転の周期が５秒より長い場合、他の移動体２が第３の煽り運転を行っていないと判定する。なお、９００ｍｍとは、標準的な車両の幅である１８００ｍｍの略半分である。
ステップＳ４：プロセッサ１３は、第４の煽り運転判定処理を行う。プロセッサ１３が、第４の煽り運転判定処理に使用する情報としては、例えば、移動体１の車速、移動体１の車速に応じた移動体１と他の移動体２との車間距離（表３参照）、移動体１の所定範囲内に他の移動体２が滞留する滞留時間、他の移動体２における前方灯の照度、他の移動体２におけるパッシングの頻度、他の移動体２におけるパッシングの明暗周期、などが挙げられる。
例えば、プロセッサ１３は、他の移動体２における前方灯の照度が10,000lx以上である場合、他の移動体２が第４の煽り運転を行っていると判定する。例えば、プロセッサ１３は、他の移動体２における前方灯の照度が10,000lxより小さい場合、他の移動体２が第４の煽り運転を行っていないと判定する。
例えば、プロセッサ１３は、他の移動体２におけるパッシングの明暗周期が５００ミリ秒以上２秒以下である場合、他の移動体２が第４の煽り運転を行っていると判定する。例えば、プロセッサ１３は、他の移動体２におけるパッシングの明暗周期が２秒より長い場合、他の移動体２が第４の煽り運転を行っていないと判定する。
ステップＳ５：プロセッサ１３は、第５の煽り運転判定処理を行う。プロセッサ１３が、第５の煽り運転判定処理に使用する情報としては、例えば、移動体１の車速、移動体１の車速に応じた移動体１と他の移動体２との車間距離（表３参照）、移動体１の所定範囲内に他の移動体２が滞留する滞留時間、他の移動体２が張り付き及び追廻を行う回数、などが挙げられる。
例えば、プロセッサ１３は、移動体１が車線変更した後もなお、他の移動体２が張り付き及び追廻を２回以上繰り返して行う場合、他の移動体２が第５の煽り運転を行っていると判定する。例えば、プロセッサ１３は、移動体１が車線変更した後、他の移動体２が張り付き及び追廻を行わない場合、他の移動体２が第５の煽り運転を行っていないと判定する。
ステップＳ６：プロセッサ１３は、第６の煽り運転判定処理を行う。プロセッサ１３が、第６の煽り運転判定処理に使用する情報としては、例えば、移動体１の車速、移動体１の車速に応じた移動体１と他の移動体２との車間距離（表３参照）、移動体１と他の移動体２との側面における距離、他の移動体２が幅寄せを行う回数、などが挙げられる。
例えば、プロセッサ１３は、移動体１と他の移動体２との側面における距離が２ｍより短い場合、他の移動体２が第６の煽り運転を行っていると判定する。例えば、プロセッサ１３は、移動体１と他の移動体２との側面における距離が２ｍ以上である場合、他の移動体２が第６の煽り運転を行っていないと判定する。
例えば、プロセッサ１３は、移動体１が車線変更した後もなお、他の移動体２が幅寄せを２回以上繰り返して行う場合、他の移動体２が第６の煽り運転を行っていると判定する。例えば、プロセッサ１３は、移動体１が車線変更した後、他の移動体２が幅寄せを行わない場合、他の移動体２が第６の煽り運転を行っていないと判定する。
プロセッサ１３は、上述のステップＳ１～ステップＳ６における煽り運転判定処理を、並行して実行する。プロセッサ１３は、１つのステップのみで、煽り運転判定処理を実行してもよいし、複数のステップを組み合わせて、煽り運転判定処理を実行してもよい。複数のステップを組み合わせて、煽り運転判定処理を実行することで、他の移動体２が煽り運転を行っているか否かを、より正確に判定することが可能になる。
次に、図９を参照して、煽り判定状態フラグについて簡単に説明する。図９は、煽り判定状態フラグにおける状態遷移図の一例を示す図である。
図９に示すように、煽り判定状態フラグは、例えば、「無し」の状態、「仮確定」の状態、「確定」の状態、という３つの状態を有する。プロセッサ１３は、煽り判定状態フラグを管理し、上述のステップＳ１～ステップＳ６のような煽り運転判定処理を実行する。
状態Ａは、「無し」の状態、即ち、初期状態である。
状態Ｂは、「仮確定」の状態である。状態Ｂにおいて、プロセッサ１３は、他の移動体２の第１の状態に基づき、煽り運転が行われていると推定すると、移動体１へとアクション指示を出力する。状態Ｂにおいて、プロセッサ１３は、他の移動体２の第１の状態に基づき、煽り運転が行われていないと推定すると、移動体１へとアクション指示を出力しない（状態Ｂ→状態Ａ）。
状態Ｃは、「確定」の状態である。状態Ｃにおいて、プロセッサ１３は、他の移動体２の第２の状態に基づき、煽り運転が行われていると推定すると、移動体１へと危険回避行動指示を出力する。状態Ｃにおいて、プロセッサ１３は、他の移動体２の第２の状態に基づき、煽り運転が行われていないと推定すると、移動体１へと危険回避行動指示を出力しない（状態Ｃ→状態Ａ）。
本実施形態に係る画像処理方法によれば、煽り判定状態フラグが３つの状態を有し、例えば、「仮確定」の状態で、プロセッサ１３が移動体１へとアクション指示を出力し、例えば、「確定」の状態で、プロセッサ１３が移動体１へと危険回避行動指示を出力する。即ち、本実施形態に係る画像処理方法によれば、他の移動体２の第１の状態のみで、他の移動体２が移動体１に対して、煽り運転を行っているか否かを判定するのではなく、移動体１の第１の挙動後における他の移動体２の第２の状態を考慮して、他の移動体２が移動体１に対して、煽り運転を行っているか否かを判定する。これにより、煽り運転の誤判定を抑制し、移動体１と他の移動体２との間で、無駄な争いが発生する蓋然性を低減させることができるため、交通の円滑化を図ることができる。
＜煽り運転判定処理の具体例＞
次に、図１０乃至図１５を参照して、本実施形態に係る煽り運転判定処理の具体例について説明する。
〔第１の煽り運転判定処理〕
図１０は、第１の煽り運転判定処理の一例を示すフローチャートである。第１の煽り運転判定処理は、画像処理装置１０に搭載されるプロセッサ１３により実行される。
ステップＳ１１：プロセッサ１３は、移動体１に搭載される車速センサから、移動体１の車速を取得する。
ステップＳ１２：プロセッサ１３は、表３に基づいて、移動体１と他の移動体２との適切な車間距離を算出する。即ち、プロセッサ１３は、移動体１の車速に応じて、安全な車間距離、危険な車間距離を決定する。
ステップＳ１３：プロセッサ１３は、移動体１の周辺を撮像した周辺映像に基づいて、移動体１の所定範囲内に、他の移動体２が存在しているか否かを判定する。プロセッサ１３は、移動体１の所定範囲内に、他の移動体２が存在していると判定した場合（ステップＳ１３：Ｙｅｓ）、ステップＳ１４の処理へと進む。プロセッサ１３は、移動体１の所定範囲内に、他の移動体２が存在していないと判定した場合（ステップＳ１３：Ｎｏ）、ステップＳ２０の処理へと進む。
ステップＳ１４：プロセッサ１３は、移動体１の所定範囲内に他の移動体２が滞留する時間が、３秒以上であるか否かを判定する。プロセッサ１３は、車両滞留時間が、３秒以上であると判定した場合（ステップＳ１４：Ｙｅｓ）、ステップＳ１５の処理へと進む。プロセッサ１３は、車両滞留時間が、３秒より短いと判定した場合（ステップＳ１４：Ｎｏ）、ステップＳ２０の処理へと進む。
ステップＳ１５：プロセッサ１３は、第１の煽り判定フラグが、「無し」の状態であるか、「仮確定」の状態であるか、「確定」の状態であるか、を判定する。プロセッサ１３は、第１の煽り判定フラグが、「確定」の状態であると判定した場合（ステップＳ１５：「確定」）、ステップＳ１７の処理へと進む。プロセッサ１３は、第１の煽り判定フラグが、判定状態の「仮確定」であると判定した場合（ステップＳ１５：「仮確定」）、ステップＳ１６の処理へと進む。プロセッサ１３は、第１の煽り判定フラグが、判定状態の「無し」の状態であると判定した場合（ステップＳ１５：「無し」）、ステップＳ１８の処理へと進む。
ステップＳ１６：プロセッサ１３は、第１の煽り判定フラグを、「仮確定」の状態から「確定」の状態へと切り替える。
ステップＳ１７：プロセッサ１３は、移動体１の挙動（第２の挙動）を指示する情報を、通信インターフェース１２を介して移動体１に出力し、危険回避行動指示を移動体１に出力する。
ステップＳ１８：プロセッサ１３は、第１の煽り判定フラグを、「無し」の状態から「仮確定」の状態へと切り替える。
ステップＳ１９：プロセッサ１３は、移動体１の挙動（第１の挙動）を指示する情報を、通信インターフェース１２を介して移動体１に出力し、アクション指示を移動体１に出力する。
ステップＳ２０：プロセッサ１３は、第１の煽り判定フラグを、「無し」の状態とする。即ち、プロセッサ１３は、他の移動体２の運転者が煽り運転を行おうという意図を有していないと推定し、移動体１の全自動運転を継続させる。
〔第２の煽り運転判定処理〕
図１１は、第１の煽り運転判定処理の一例を示すフローチャートである。第１の煽り運転判定処理は、画像処理装置１０に搭載されるプロセッサ１３により実行される。
ステップＳ２１：プロセッサ１３は、移動体１に搭載される車速センサから、移動体１の車速を取得する。
ステップＳ２２：プロセッサ１３は、表３に基づいて、移動体１と他の移動体２との適切な車間距離を算出する。即ち、プロセッサ１３は、移動体１の車速に応じて、安全な車間距離、危険な車間距離を決定する。
ステップＳ２３：プロセッサ１３は、移動体１の周辺を撮像した周辺映像に基づいて、移動体１の所定範囲内に、他の移動体２が存在しているか否かを判定する。プロセッサ１３は、移動体１の所定範囲内に、他の移動体２が存在していると判定した場合（ステップＳ２３：Ｙｅｓ）、ステップＳ１４の処理へと進む。プロセッサ１３は、移動体１の所定範囲内に、他の移動体２が存在していないと判定した場合（ステップＳ２３：Ｎｏ）、ステップＳ３０の処理へと進む。
ステップＳ２４：プロセッサ１３は、移動体１に搭載されるマイクから、クラクションの鳴動が、連続検知されているか否かを判定する。プロセッサ１３は、クラクションの鳴動が連続検知されていると判定した場合（ステップＳ２４：Ｙｅｓ）、ステップＳ２５の処理へと進む。プロセッサ１３は、クラクション鳴動が連続検知されていないと判定した場合（ステップＳ２４：Ｎｏ）、ステップＳ３０の処理へと進む。
ステップＳ２５：プロセッサ１３は、第２の煽り判定フラグが、「無し」の状態であるか、「仮確定」の状態であるか、「確定」の状態であるか、を判定する。プロセッサ１３は、第２の煽り判定フラグが、「確定」の状態であると判定した場合（ステップＳ２５：「確定」）、ステップＳ２７の処理へと進む。プロセッサ１３は、第２の煽り判定フラグが、判定状態の「仮確定」であると判定した場合（ステップＳ２５：「仮確定」）、ステップＳ２６の処理へと進む。プロセッサ１３は、第２の煽り判定フラグが、判定状態の「無し」の状態であると判定した場合（ステップＳ２５：「無し」）、ステップＳ２８の処理へと進む。
ステップＳ２６：プロセッサ１３は、第２の煽り判定フラグを、「仮確定」の状態から「確定」の状態へと切り替える。
ステップＳ２７：プロセッサ１３は、移動体１の挙動（第２の挙動）を指示する情報を、通信インターフェース１２を介して移動体１に出力し、危険回避行動指示を移動体１に出力する。
ステップＳ２８：プロセッサ１３は、第２の煽り判定フラグを、「無し」の状態から「仮確定」の状態へと切り替える。
ステップＳ２９：プロセッサ１３は、移動体１の挙動（第２の挙動）を指示する情報を、通信インターフェース１２を介して移動体１に出力し、アクション指示を移動体１に出力する。
ステップＳ３０：プロセッサ１３は、第２の煽り判定フラグを、「無し」の状態とする。即ち、プロセッサ１３は、他の移動体２の運転者が煽り運転を行おうという意図を有していないと推定し、移動体１の全自動運転を継続させる。
〔第３の煽り運転判定処理〕
図１２は、第３の煽り運転判定処理の一例を示すフローチャートである。第３の煽り運転判定処理は、画像処理装置１０に搭載されるプロセッサ１３により実行される。
ステップＳ３１：プロセッサ１３は、移動体１に搭載される車速センサから、移動体１の車速を取得する。
ステップＳ３２：プロセッサ１３は、表３に基づいて、移動体１と他の移動体２との適切な車間距離を算出する。即ち、プロセッサ１３は、移動体１の車速に応じて、安全な車間距離、危険な車間距離を決定する。
ステップＳ３３：プロセッサ１３は、移動体１の周辺を撮像した周辺映像に基づいて、移動体１の所定範囲内に、他の移動体２が存在しているか否かを判定する。プロセッサ１３は、移動体１の所定範囲内に、他の移動体２が存在していると判定した場合（ステップＳ３３：Ｙｅｓ）、ステップＳ３４の処理へと進む。プロセッサ１３は、移動体１の所定範囲内に、他の移動体２が存在していないと判定した場合（ステップＳ３３：Ｎｏ）、ステップＳ４０の処理へと進む。
ステップＳ３４：プロセッサ１３は、移動体１の所定範囲内に他の移動体２が滞留する時間が、３秒以上であり、且つ、他の移動体２が蛇行行動をしているか否かを判定する。プロセッサ１３は、車両滞留時間が、３秒以上であり、且つ、他の移動体２が蛇行行動をしていると判定した場合（ステップＳ３４：Ｙｅｓ）、ステップＳ３５の処理へと進む。プロセッサ１３は、車両滞留時間が、３秒以上であり、且つ、他の移動体２が蛇行行動をしていると判定しない場合（ステップＳ３４：Ｎｏ）、ステップＳ４０の処理へと進む。プロセッサ１３は、例えば、他の移動体２における蛇行の振幅が所定振幅以上であること、他の移動体２における蛇行の周期が所定周期に含まれていること、などに基づいて、他の移動体２が蛇行行動をしているか否かを判定する。
ステップＳ３５：プロセッサ１３は、第３の煽り判定フラグが、「無し」の状態であるか、「仮確定」の状態であるか、「確定」の状態であるか、を判定する。プロセッサ１３は、第３の煽り判定フラグが、「確定」の状態であると判定した場合（ステップＳ３５：「確定」）、ステップＳ３７の処理へと進む。プロセッサ１３は、第３の煽り判定フラグが、判定状態の「仮確定」であると判定した場合（ステップＳ３５：「仮確定」）、ステップＳ３６の処理へと進む。プロセッサ１３は、第３の煽り判定フラグが、判定状態の「無し」の状態であると判定した場合（ステップＳ３５：「無し」）、ステップＳ３８の処理へと進む。
ステップＳ３６：プロセッサ１３は、第３の煽り判定フラグを、「仮確定」の状態から「確定」の状態へと切り替える。
ステップＳ３７：プロセッサ１３は、移動体１の挙動（第２の挙動）を指示する情報を、通信インターフェース１２を介して移動体１に出力し、危険回避行動指示を移動体１に出力する。
ステップＳ３８：プロセッサ１３は、第３の煽り判定フラグを、「無し」の状態から「仮確定」の状態へと切り替える。
ステップＳ３９：プロセッサ１３は、移動体１の挙動（第３の挙動）を指示する情報を、通信インターフェース１２を介して移動体１に出力し、アクション指示を移動体１に出力する。
ステップＳ４０：プロセッサ１３は、第３の煽り判定フラグを、「無し」の状態とする。即ち、プロセッサ１３は、他の移動体２の運転者が煽り運転を行おうという意図を有していないと推定し、移動体１の全自動運転を継続させる。
〔第４の煽り運転判定処理〕
図１３は、第４の煽り運転判定処理の一例を示すフローチャートである。第４の煽り運転判定処理は、画像処理装置１０に搭載されるプロセッサ１３により実行される。
ステップＳ４１：プロセッサ１３は、移動体１に搭載される車速センサから、移動体１の車速を取得する。
ステップＳ４２：プロセッサ１３は、表３に基づいて、移動体１と他の移動体２との適切な車間距離を算出する。即ち、プロセッサ１３は、移動体１の車速に応じて、安全な車間距離、危険な車間距離を決定する。
ステップＳ４３：プロセッサ１３は、移動体１の周辺を撮像した周辺映像に基づいて、移動体１の所定範囲内に、他の移動体２が存在しているか否かを判定する。プロセッサ１３は、移動体１の所定範囲内に、他の移動体２が存在していると判定した場合（ステップＳ４３：Ｙｅｓ）、ステップＳ４４の処理へと進む。プロセッサ１３は、移動体１の所定範囲内に、他の移動体２が存在していないと判定した場合（ステップＳ４３：Ｎｏ）、ステップＳ５０の処理へと進む。
ステップＳ４４：プロセッサ１３は、移動体１の所定範囲内に他の移動体２が滞留する時間が、３秒以上であり、且つ、他の移動体２がパッシング行動をしているか否かを判定する。プロセッサ１３は、車両滞留時間が、３秒以上であり、且つ、他の移動体２がパッシング行動をしていると判定した場合（ステップＳ４４：Ｙｅｓ）、ステップＳ４５の処理へと進む。プロセッサ１３は、車両滞留時間が、３秒以上であり、且つ、他の移動体２がパッシング行動をしていると判定しない場合（ステップＳ４４：Ｎｏ）、ステップＳ５０の処理へと進む。プロセッサ１３は、例えば、他の移動体２が移動体１の後方で前方灯を明滅させていること、或いは、他の移動体２が移動体１の後方で前方灯を高輝度の状態で点灯させていること、などに基づいて、他の移動体２が蛇行行動をしているか否かを判定する。
ステップＳ４５：プロセッサ１３は、第４の煽り判定フラグが、「無し」の状態であるか、「仮確定」の状態であるか、「確定」の状態であるか、を判定する。プロセッサ１３は、第４の煽り判定フラグが、「確定」の状態であると判定した場合（ステップＳ４５：「確定」）、ステップＳ４７の処理へと進む。プロセッサ１３は、第４の煽り判定フラグが、判定状態の「仮確定」であると判定した場合（ステップＳ４５：「仮確定」）、ステップＳ４６の処理へと進む。プロセッサ１３は、第４の煽り判定フラグが、判定状態の「無し」の状態であると判定した場合（ステップＳ４５：「無し」）、ステップＳ４８の処理へと進む。
ステップＳ４６：プロセッサ１３は、第４の煽り判定フラグを、「仮確定」の状態から「確定」の状態へと切り替える。
ステップＳ４７：プロセッサ１３は、移動体１の挙動（第２の挙動）を指示する情報を、通信インターフェース１２を介して移動体１に出力し、危険回避行動指示を移動体１に出力する。
ステップＳ４８：プロセッサ１３は、第４の煽り判定フラグを、「無し」の状態から「仮確定」の状態へと切り替える。
ステップＳ４９：プロセッサ１３は、移動体１の挙動（第４の挙動）を指示する情報を、通信インターフェース１２を介して移動体１に出力し、アクション指示を移動体１に出力する。
ステップＳ５０：プロセッサ１３は、第４の煽り判定フラグを、「無し」の状態とする。即ち、プロセッサ１３は、他の移動体２の運転者が煽り運転を行おうという意図を有していないと推定し、移動体１の全自動運転を継続させる。
〔第５の煽り運転判定処理〕
図１４は、第５の煽り運転判定処理の一例を示すフローチャートである。第５の煽り運転判定処理は、画像処理装置１０に搭載されるプロセッサ１３により実行される。
ステップＳ５１：プロセッサ１３は、移動体１に搭載される車速センサから、移動体１の車速を取得する。
ステップＳ５２：プロセッサ１３は、表３に基づいて、移動体１と他の移動体２との適切な車間距離を算出する。即ち、プロセッサ１３は、移動体１の車速に応じて、安全な車間距離、危険な車間距離を決定する。
ステップＳ５３：プロセッサ１３は、移動体１の周辺を撮像した周辺映像に基づいて、移動体１の所定範囲内に、他の移動体２が存在しているか否かを判定する。プロセッサ１３は、移動体１の所定範囲内に、他の移動体２が存在していると判定した場合（ステップＳ５３：Ｙｅｓ）、ステップＳ５４の処理へと進む。プロセッサ１３は、移動体１の所定範囲内に、他の移動体２が存在していないと判定した場合（ステップＳ５３：Ｎｏ）、ステップＳ６０の処理へと進む。
ステップＳ５４：プロセッサ１３は、移動体１の所定範囲内に他の移動体２が滞留する時間が、３秒以上であり、且つ、移動体１が車線変更した後も、他の移動体２が張り付き及び追廻を継続しているか否かを判定する。プロセッサ１３は、移動体１の所定範囲内に他の移動体２が滞留する時間が、３秒以上であり、且つ、移動体１が車線変更した後も、他の移動体２が張り付き及び追廻を継続していると判定した場合（ステップＳ５４：Ｙｅｓ）、ステップＳ５５の処理へと進む。プロセッサ１３は、移動体１の所定範囲内に他の移動体２が滞留する時間が、３秒以上であり、且つ、移動体１が車線変更した後も、他の移動体２が張り付き及び追廻を継続していると判定しない場合（ステップＳ５４：Ｎｏ）、ステップＳ６０の処理へと進む。
ステップＳ５５：プロセッサ１３は、第５の煽り判定フラグが、「無し」の状態であるか、「仮確定」の状態であるか、「確定」の状態であるか、を判定する。プロセッサ１３は、第５の煽り判定フラグが、「確定」の状態であると判定した場合（ステップＳ５５：「確定」）、ステップＳ５７の処理へと進む。プロセッサ１３は、第５の煽り判定フラグが、判定状態の「仮確定」であると判定した場合（ステップＳ５５：「仮確定」）、ステップＳ５６の処理へと進む。プロセッサ１３は、第５の煽り判定フラグが、判定状態の「無し」の状態であると判定した場合（ステップＳ５５：「無し」）、ステップＳ１８の処理へと進む。
ステップＳ５６：プロセッサ１３は、第５の煽り判定フラグを、「仮確定」の状態から「確定」の状態へと切り替える。
ステップＳ５７：プロセッサ１３は、移動体１の挙動（第２の挙動）を指示する情報を、通信インターフェース１２を介して移動体１に出力し、危険回避行動指示を移動体１に出力する。
ステップＳ５８：プロセッサ１３は、第５の煽り判定フラグを、「無し」の状態から「仮確定」の状態へと切り替える。
ステップＳ５９：プロセッサ１３は、移動体１の挙動（第５の挙動）を指示する情報を、通信インターフェース１２を介して移動体１に出力し、アクション指示を移動体１に出力する。
ステップＳ６０：プロセッサ１３は、第５の煽り判定フラグを、「無し」の状態とする。即ち、プロセッサ１３は、他の移動体２の運転者が煽り運転を行おうという意図を有していないと推定し、移動体１の全自動運転を継続させる。
〔第６の煽り運転判定処理〕
図１５は、第６の煽り運転判定処理の一例を示すフローチャートである。第６の煽り運転判定処理は、画像処理装置１０に搭載されるプロセッサ１３により実行される。
ステップＳ６１：プロセッサ１３は、移動体１に搭載される車速センサから、移動体１の車速を取得する。
ステップＳ６２：プロセッサ１３は、表３に基づいて、移動体１と他の移動体２との適切な車間距離を算出する。即ち、プロセッサ１３は、移動体１の車速に応じて、安全な車間距離、危険な車間距離を決定する。
ステップＳ６３：プロセッサ１３は、移動体１の周辺を撮像した周辺映像に基づいて、移動体１の所定範囲内に、他の移動体２が存在しているか否かを判定する。プロセッサ１３は、移動体１の所定範囲内に、他の移動体２が存在していると判定した場合（ステップＳ６３：Ｙｅｓ）、ステップＳ６４の処理へと進む。プロセッサ１３は、移動体１の所定範囲内に、他の移動体２が存在していないと判定した場合（ステップＳ６３：Ｎｏ）、ステップＳ７０の処理へと進む。
ステップＳ６４：プロセッサ１３は、移動体１の所定範囲内に他の移動体２が滞留する時間が、３秒以上であるか否かを判定する。プロセッサ１３は、車両滞留時間が、３秒以上であると判定した場合（ステップＳ６４：Ｙｅｓ）、ステップＳ６５の処理へと進む。プロセッサ１３は、車両滞留時間が、３秒より短いと判定した場合（ステップＳ６４：Ｎｏ）、ステップＳ７０の処理へと進む。
ステップＳ６５：プロセッサ１３は、第６の煽り判定フラグが、「無し」の状態であるか、「仮確定」の状態であるか、「確定」の状態であるか、を判定する。プロセッサ１３は、第６の煽り判定フラグが、「確定」の状態であると判定した場合（ステップＳ６５：「確定」）、ステップＳ６７の処理へと進む。プロセッサ１３は、第６の煽り判定フラグが、判定状態の「仮確定」であると判定した場合（ステップＳ６５：「仮確定」）、ステップＳ６６の処理へと進む。プロセッサ１３は、第６の煽り判定フラグが、判定状態の「無し」の状態であると判定した場合（ステップＳ６５：「無し」）、ステップＳ６８の処理へと進む。
ステップＳ６６：プロセッサ１３は、第６の煽り判定フラグを、「仮確定」の状態から「確定」の状態へと切り替える。
ステップＳ６７：プロセッサ１３は、移動体１の挙動（第２の挙動）を指示する情報を、通信インターフェース１２を介して移動体１に出力し、危険回避行動指示を移動体１に出力する。
ステップＳ６８：プロセッサ１３は、第６の煽り判定フラグを、「無し」の状態から「仮確定」の状態へと切り替える。
ステップＳ６９：プロセッサ１３は、移動体１の挙動（第６の挙動）を指示する情報を、通信インターフェース１２を介して移動体１に出力し、アクション指示を移動体１に出力する。
ステップＳ７０：プロセッサ１３は、第６の煽り判定フラグを、「無し」の状態とする。即ち、プロセッサ１３は、他の移動体２の運転者が煽り運転を行おうという意図を有していないと推定し、移動体１の全自動運転を継続させる。
上述のように、本実施形態に係る画像処理方法によれば、他の移動体２の第１の状態のみで、他の移動体２が移動体１に対して、煽り運転を行っているか否かを判定するのではなく、移動体１の第１の挙動後における他の移動体２の第２の状態を考慮して、他の移動体２が移動体１に対して、煽り運転を行っているか否かを判定する。これにより、煽り運転の誤判定を抑制し、移動体１と他の移動体２との間で、無駄な争いが発生する蓋然性を低減させることができるため、交通の円滑化を図ることができる。
＜変形例＞
本実施形態では、移動体１の第１の挙動として、法定速度での走行継続、車線変更、他の移動体に対する注意喚起のためのクラクションの鳴動、最寄のコンビニエンスストアへの退避、最寄のサービスエリア或いはパーキングエリアへの退避、などを一例に挙げて説明したが、これに限られるものではない。移動体１の第１の挙動は、これらの動作を適宜、組み合わせた挙動であってもよい。また、移動体１が音声出力機能を備える場合には、移動体１の第１の挙動には、音声出力が含まれてもよい。また、移動体１が地面などへの投影機能を備える場合には、移動体１の第１の挙動には、歩道などへのメッセージなどの所定の像の投影が含まれてもよい。
また、本実施形態では、移動体１の第２の挙動として、警察への通報、停止、減速、最寄のコンビニエンスストアへの退避、最寄のサービスエリア或いはパーキングエリアへの退避、ドライブレコーダへの記録、周辺映像を所定のネットワークにアップロードする、他の移動体が危険運転を行っているという表示、などを一例に挙げて説明したが、これに限られるものではない。また、移動体１が音声出力機能を備える場合には、移動体１の第２の挙動には、音声出力が含まれてもよい。また、移動体１が地面などへの投影機能を備える場合には、移動体１の第２の挙動には、歩道などへのメッセージなどの所定の像の投影が含まれてもよい。
また、本実施形態では、移動体１の第３の挙動として、警察への通報、停止、最寄のコンビニエンスストアへの退避、最寄のサービスエリア或いはパーキングエリアへの退避、停止後のドアロック、などを一例に挙げて説明したが、これに限られるものではない。また、移動体１が音声出力機能を備える場合には、移動体１の第３の挙動には、音声出力が含まれてもよい。また、移動体１が地面などへの投影機能を備える場合には、移動体１の第３の挙動には、歩道などへのメッセージなどの所定の像の投影が含まれてもよい。
例えば、プロセッサ１３は、走行車線の端部で減速して走行を継続する、徐々に走行車線から外れる、路肩に停車する、などのように、他の移動体２の状態を避ける動作を順次行い、動作毎に、他の移動体２が危険運転を行っているか否かを判定してもよい。また、例えば、プロセッサ１３は、所定回数だけ第１の挙動、第２の挙動、第３の挙動を繰り返しても、他の移動体２が危険運転を止めない場合、移動体１の全自動運転を解除するようにしてもよい。
また、本実施形態では、移動体１に搭載された画像処理装置１０により、周辺映像からの他の移動体２の第１の状態、第２の状態、及び第３の状態の検出、他の移動体２の第１の状態に基づいた第１の挙動の決定、他の移動体２の第２の状態に基づいた第２の挙動の決定、他の移動体２の第３の状態に基づいた第３の挙動の決定、などを行う例を用いて説明したが、これに限られるものではない。例えば、主にプロセッサ１３が備える、周辺映像からの他の移動体２の第１の状態、第２の状態、及び第３の状態の検出、他の移動体２の第１の状態に基づいた第１の挙動の決定、他の移動体２の第２の状態に基づいた第２の挙動の決定、他の移動体２の第３の状態に基づいた第３の挙動の決定、などの機能を、ネットワーク上のサーバなどが有していてもよい。この場合、移動体１はネットワークを介してサーバと通信可能であり、移動体１からは周辺映像をサーバに送信する。サーバは、移動体１から取得した周辺映像から他の移動体２の第１の状態、第２の状態、及び第３の状態の検出、或いは、他の移動体２の第１の状態に基づいた第１の挙動の決定、他の移動体２の第２の状態に基づいた第２の挙動の決定、他の移動体２の第３の状態に基づいた第３の挙動の決定、などを行い、決定した挙動を指示する情報を、ネットワークを介して移動体１に送信する。
また、本実施形態では、煽り判定状態フラグが、「無し」の状態、「仮確定」の状態、「確定」の状態、という３つの状態を有する場合を一例に挙げて説明したが、煽り判定状態フラグは、これに限られるものではない。また、本実施形態では、煽り判定状態フラグを用いて、煽り運転判定処理を行う場合を一例に挙げて説明したが、公知のアルゴリズムによって、煽り運転判定処理を行うことも可能である。
また、本実施形態では、プロセッサが、撮像部１１により撮像された周辺映像に基づいて、他の移動体２の状態を検出する場合を一例に挙げて説明したが、この例に限定されない。プロセッサは、移動体１に搭載される各種センサに基づいて、他の移動体２の状態を検出してよい。例えば、プロセッサは、移動体１に搭載される測距センサにより、移動体１と他の移動体２との車間距離を検出してよい。例えば、プロセッサは、移動体１に搭載される照度センサにより、他の移動体２による前方灯の明滅を検出してよい。
また、本実施形態において「第１」、「第２」、「第３」、「第４」、「第５」、及び「第６」などの記載は、当該構成を区別するための識別子である。本開示における「第１」及び「第２」などの記載で区別された構成は、当該構成における番号を交換することができる。例えば、第１の煽り運転は、第２の煽り運転と識別子である「第１」と「第２」とを交換することができる。第２の煽り運転は、第３の煽り運転と識別子である「第２」と「第３」とを交換することができる。第３の煽り運転は、第４の煽り運転と識別子である「第３」と「第４」とを交換することができる。第４の煽り運転は、第５の煽り運転と識別子である「第４」と「第５」とを交換することができる。第５の煽り運転は、第６の煽り運転と識別子である「第５」と「第６」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」、「第２」、「第３」、「第４」、「第５」、及び「第６」などの識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。
本開示の一実施形態を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。従って、これらの変形及び修正は本開示の範囲に含まれることに留意されたい。
１ 移動体
１Ａ 撮像装置
２ 他の移動体
１０ 画像処理装置
１１ 撮像部（入力部）
１２ 通信インターフェース（出力部）
１３ プロセッサ
１４ 記憶部

Claims (13)

  1. 移動体の周辺を撮像した周辺映像及び前記移動体に搭載されるマイクから他の移動体の状態を検出し、該検出した他の移動体の状態に基づき、前記移動体の挙動を決定する挙動決定処理を行うプロセッサと、
    前記プロセッサにより決定された前記移動体の挙動を指示する情報を前記移動体に出力する出力部と、を備え、
    前記プロセッサは、前記挙動決定処理として、前記周辺映像から検出した他の移動体の第１の状態及び前記マイクから検出した前記移動体に対して前記他の移動体がクラクションで威嚇する状態に基づき、前記移動体の第１の挙動を決定し、該決定した第１の挙動を指示する情報を前記出力部を介して前記移動体に出力し、前記移動体による前記第１の挙動後の周辺映像から検出した前記他の移動体の第２の状態及び前記マイクから検出した前記移動体に対して前記他の移動体がクラクションで威嚇する状態の継続或いは繰り返しに基づき、前記他の移動体が危険運転を行っていると判定した場合、前記移動体の第２の挙動を決定する、画像処理装置。
  2. 前記他の移動体の前記第１の状態は、前記移動体に対して前記他の移動体が車間距離を詰める状態、前記移動体の後方で前記他の移動体が蛇行する状態、前記移動体の後方で前記他の移動体がパッシングする状態、前記移動体に対して前記他の移動体が張り付き又は追廻する状態、前記移動体に対して前記他の移動体が幅寄せする状態、のうち何れか１つを含む、
    請求項１に記載の画像処理装置。
  3. 前記移動体は、マイクを更に備え、
    前記プロセッサは、前記挙動決定処理として、前記周辺映像及び前記マイクから検出した前記移動体に対して前記他の移動体がクラクションで威嚇する状態に基づき、前記移動体の第１の挙動を決定し、該決定した第１の挙動を指示する情報を前記出力部を介して前記移動体に出力し、前記移動体による前記第１の挙動後の周辺映像及び前記マイクから検出した前記移動体に対して前記他の移動体がクラクションで威嚇する状態の継続或いは繰り返しに基づき、前記他の移動体が危険運転を行っていると判定した場合、前記移動体の第２の挙動を決定する、
    請求項１に記載の画像処理装置。
  4. 前記他の移動体の前記第２の状態は、前記第１の状態の継続、前記第１の状態の繰り返し、のうち何れか１つを含む、
    請求項１又は２に記載の画像処理装置。
  5. 前記移動体の第１の挙動は、法定速度での走行継続、車線変更、クラクションの鳴動、退避箇所への退避、のうち何れか１つを含む、
    請求項１から４のいずれか一項に記載の画像処理装置。
  6. 前記移動体の第２の挙動は、警察への通報、停止、減速、退避箇所への退避、ドライブレコーダへの記録、前記周辺映像を所定のネットワークにアップロード、前記他の移動体が危険運転を行っているという表示、のうち何れか１つを含む、
    請求項１から５のいずれか一項に記載の画像処理装置。
  7. 前記プロセッサは、
    前記移動体による前記第２の挙動後の周辺映像から検出した前記他の移動体の第３の状態に基づき、前記他の移動体が危険運転を行っていると判定した場合、前記移動体の第３の挙動を決定する、
    請求項１から６のいずれか一項に記載の画像処理装置。
  8. 前記他の移動体の前記第３の状態は、前記第１の状態の継続、前記第１の状態の繰り返し、のうち何れか１つを含む、
    請求項７に記載の画像処理装置。
  9. 前記移動体の第３の挙動は、警察への通報、停止、退避箇所への退避、停止後のドアロック、のうち何れか１つを含む、
    請求項７又は８に記載の画像処理装置。
  10. 前記移動体は、車速センサ、測距センサ、マイク、レーダ、ソナー、ライダー、のうち何れか一つを更に備える、
    請求項１から９のいずれか一項に記載の画像処理装置。
  11. 請求項１から１０のいずれか一項に記載の画像処理装置と、
    前記周辺映像を取得する入力部と、を備える撮像装置。
  12. 請求項１１に記載の撮像装置を搭載する移動体。
  13. 画像処理装置が実行する画像処理方法であって、
    移動体の周辺を撮像した周辺映像及び前記移動体に搭載されるマイクから検出した他の移動体の状態を検出し、該検出した他の移動体の第１の状態及び前記マイクから検出した前記移動体に対して前記他の移動体がクラクションで威嚇する状態に基づき、前記移動体の第１の挙動を決定するステップと、
    前記決定した第１の挙動を指示する情報を前記移動体に出力するステップと、
    前記移動体による前記第１の挙動後の周辺映像から検出した前記他の移動体の第２の状態及び前記マイクから検出した前記移動体に対して前記他の移動体がクラクションで威嚇する状態の継続或いは繰り返しに基づき、前記他の移動体が危険運転を行っていると判定した場合、前記移動体の第２の挙動を決定するステップと、を含む画像処理方法。
JP2018222847A 2018-11-28 2018-11-28 画像処理装置、撮像装置、移動体及び画像処理方法 Active JP7163152B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2018222847A JP7163152B2 (ja) 2018-11-28 2018-11-28 画像処理装置、撮像装置、移動体及び画像処理方法
US17/297,293 US20220024452A1 (en) 2018-11-28 2019-11-01 Image processing apparatus, imaging apparatus, moveable body, and image processing method
PCT/JP2019/043135 WO2020110611A1 (ja) 2018-11-28 2019-11-01 画像処理装置、撮像装置、移動体及び画像処理方法
CN201980077158.XA CN113165575B (zh) 2018-11-28 2019-11-01 图像处理装置、拍摄装置、移动体、以及图像处理方法
EP19889363.8A EP3888977A4 (en) 2018-11-28 2019-11-01 IMAGE PROCESSING DEVICE, IMAGING DEVICE, MOVING BODY AND IMAGE PROCESSING METHOD
JP2022167921A JP7292484B2 (ja) 2018-11-28 2022-10-19 画像処理装置、撮像装置及び移動体
JP2023093283A JP7474370B2 (ja) 2018-11-28 2023-06-06 画像処理装置、車両、画像処理方法、画像処理プログラム及びサーバ
JP2024064862A JP2024096873A (ja) 2018-11-28 2024-04-12 画像処理装置、車両、画像処理方法、画像処理プログラム及びサーバ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018222847A JP7163152B2 (ja) 2018-11-28 2018-11-28 画像処理装置、撮像装置、移動体及び画像処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022167921A Division JP7292484B2 (ja) 2018-11-28 2022-10-19 画像処理装置、撮像装置及び移動体

Publications (2)

Publication Number Publication Date
JP2020087140A JP2020087140A (ja) 2020-06-04
JP7163152B2 true JP7163152B2 (ja) 2022-10-31

Family

ID=70852372

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018222847A Active JP7163152B2 (ja) 2018-11-28 2018-11-28 画像処理装置、撮像装置、移動体及び画像処理方法

Country Status (5)

Country Link
US (1) US20220024452A1 (ja)
EP (1) EP3888977A4 (ja)
JP (1) JP7163152B2 (ja)
CN (1) CN113165575B (ja)
WO (1) WO2020110611A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022038741A1 (ja) * 2020-08-20 2022-02-24 三菱電機株式会社 運転支援装置および運転支援方法
JP7439696B2 (ja) 2020-08-25 2024-02-28 スズキ株式会社 運転評価装置
JP2022049189A (ja) * 2020-09-16 2022-03-29 株式会社デンソーテン 画像記録装置および画像記録方法
JP7174801B2 (ja) * 2020-11-10 2022-11-17 神達數位股▲ふん▼有限公司 車両の危険な走行状態を検出する方法及びシステム、並びにその方法を実行するためのプログラムを格納した非一時的なコンピュータ可読媒体

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005182198A (ja) 2003-12-16 2005-07-07 Fujitsu Ten Ltd 追突防止装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06162400A (ja) * 1992-11-18 1994-06-10 Nissan Motor Co Ltd 先行車両接近警報装置
JP2007072641A (ja) * 2005-09-06 2007-03-22 Equos Research Co Ltd 危険車両検出装置
JP2008243065A (ja) 2007-03-28 2008-10-09 Fujitsu Ten Ltd 運転支援装置および運転支援方法
JP5499277B2 (ja) * 2008-01-22 2014-05-21 株式会社国際電気通信基礎技術研究所 危険運転予防意識判定システムおよび危険運転予防意識判定方法
JP5064257B2 (ja) * 2008-01-31 2012-10-31 矢崎総業株式会社 車両用周辺状況記録装置
JP2010271906A (ja) * 2009-05-21 2010-12-02 Kenwood Corp 車両の運転支援装置
JP5316640B2 (ja) * 2009-06-17 2013-10-16 トヨタ自動車株式会社 走行支援装置
US8457827B1 (en) * 2012-03-15 2013-06-04 Google Inc. Modifying behavior of autonomous vehicle based on predicted behavior of other vehicles
US10347127B2 (en) * 2013-02-21 2019-07-09 Waymo Llc Driving mode adjustment
US20150307025A1 (en) * 2014-04-24 2015-10-29 SAVTi Identifying and Responding to Tailgating Vehicles
JP5962706B2 (ja) * 2014-06-04 2016-08-03 トヨタ自動車株式会社 運転支援装置
JP6090381B2 (ja) * 2015-07-29 2017-03-08 横浜ゴム株式会社 衝突防止システム
US9944291B2 (en) * 2015-10-27 2018-04-17 International Business Machines Corporation Controlling driving modes of self-driving vehicles
CN108430848B (zh) * 2016-01-18 2021-01-05 三菱电机株式会社 驾驶辅助装置、驾驶辅助方法以及计算机可读取的记录介质
JP6855796B2 (ja) * 2017-01-11 2021-04-07 スズキ株式会社 運転支援装置
CN108288312A (zh) * 2017-03-06 2018-07-17 腾讯科技（深圳）有限公司 驾驶行为确定方法及装置
US10710580B2 (en) * 2018-04-10 2020-07-14 Valeo Schalter Und Sensoren Gmbh Tailgating situation handling by an automated driving vehicle

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005182198A (ja) 2003-12-16 2005-07-07 Fujitsu Ten Ltd 追突防止装置

Also Published As

Publication number Publication date
US20220024452A1 (en) 2022-01-27
WO2020110611A1 (ja) 2020-06-04
EP3888977A4 (en) 2022-07-27
EP3888977A1 (en) 2021-10-06
CN113165575A (zh) 2021-07-23
JP2020087140A (ja) 2020-06-04
CN113165575B (zh) 2024-06-21

Similar Documents

Publication Publication Date Title
JP7163152B2 (ja) 画像処理装置、撮像装置、移動体及び画像処理方法
US11539894B2 (en) In-vehicle camera system and image processing apparatus
CA2949200C (en) Processing apparatus, processing system, processing program, and processing method
JP4738778B2 (ja) 画像処理装置、運転支援装置および運転支援システム
CN111699680B (zh) 行车记录仪、显示控制方法以及存储介质
JP7014822B2 (ja) 画像処理装置、撮像装置、移動体および画像処理方法
JP2009211309A (ja) 走行支援装置
JP2011145892A (ja) 運転支援装置
WO2016194296A1 (en) In-vehicle camera system and image processing apparatus
JP2020160850A (ja) 処理装置
JP7292484B2 (ja) 画像処理装置、撮像装置及び移動体
JP2013250694A (ja) 画像処理装置
JP6891082B2 (ja) 物体距離検出装置
JP2020109559A (ja) 信号機認識方法及び信号機認識装置
JP3395634B2 (ja) オプティカルフロー式後方情報検出装置
JP2020009386A (ja) 周辺認識装置及び車載カメラシステム
JP7511727B2 (ja) 画像処理装置、撮像装置、移動体、および画像処理方法
JPH0471000A (ja) 車両用状況認識装置
KR20240113057A (ko) 자동차 신호체계
JP2022049345A (ja) 警告装置及び警告方法
JP2006134232A (ja) 車両用立体物検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220920

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221019

R150 Certificate of patent or registration of utility model

Ref document number: 7163152

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150