JP7184591B2 - 車両用画像処理装置、車両用画像処理方法、プログラムおよび記憶媒体 - Google Patents

車両用画像処理装置、車両用画像処理方法、プログラムおよび記憶媒体 Download PDF

Info

Publication number
JP7184591B2
JP7184591B2 JP2018194136A JP2018194136A JP7184591B2 JP 7184591 B2 JP7184591 B2 JP 7184591B2 JP 2018194136 A JP2018194136 A JP 2018194136A JP 2018194136 A JP2018194136 A JP 2018194136A JP 7184591 B2 JP7184591 B2 JP 7184591B2
Authority
JP
Japan
Prior art keywords
vehicle
image data
buffer
image processing
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018194136A
Other languages
English (en)
Other versions
JP2020064341A (ja
Inventor
健太 中尾
喜一 杉本
知浩 松本
謙介 二橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Heavy Industries Ltd
Original Assignee
Mitsubishi Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Heavy Industries Ltd filed Critical Mitsubishi Heavy Industries Ltd
Priority to JP2018194136A priority Critical patent/JP7184591B2/ja
Priority to DE102019007001.1A priority patent/DE102019007001B4/de
Priority to US16/595,701 priority patent/US11450029B2/en
Priority to CN201910952932.9A priority patent/CN111038387B/zh
Publication of JP2020064341A publication Critical patent/JP2020064341A/ja
Application granted granted Critical
Publication of JP7184591B2 publication Critical patent/JP7184591B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Organic Low-Molecular-Weight Compounds And Preparation Thereof (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本開示は、車両に設置された複数のカメラによる周囲環境認識に関する。
近年、車両に設置された複数のカメラを用いて車両の周囲環境認識を行い、状況に応じて自動的に車両を制動するといった技術が多く開発されており、車両の運転支援や自動運転化が進んできている。このような技術は、自車両のみならず、その周囲の人や他の車両などが移動することから、周囲環境認識から警報、制動等の制御へのフィードバックを考慮してカメラによる撮影画像をリアルタイムに処理する必要があるが、複数のカメラの各々毎にプロセッサを設けると車両のコストが膨大になる。
このような課題に対して、特許文献１には、複数のステレオカメラがそれぞれＩ／Ｏに接続され、撮影された画像データをＣＰＵ（画像処理ＩＣ）がＲＡＭを用いて適宜画像処理する構成において、状況判断・画像選択部が、複数のステレオカメラで撮影された画像のうちどの画像を画像処理部に出力するかを支援の態様により決定し、画像処理部（前処理部以降）が画像処理を行うことが開示されている。これによって、処理能力の高い演算装置等を不要とでき、コストを低減することが可能とされる。
同様に、特許文献２には、入力部に入力されたフロントカメラの画像情報を対象とする前方認識処理、およびリアカメラの画像情報を対象とする後方認識処理を実行可能なＣＰＵ（演算部）が、自車両の状態情報（前進及び後退、走行状態を示す情報）に基づいて、前方認識処理及び後方認識処理としてそれぞれ実行される処理を選別して行うことが開示されている。これによって、前方認識処理及び後方認識処理に対して別々のＣＰＵを設けた場合と比較して、構成を簡素にできるとされる。
その他、特許文献３には、車両の周囲環境を撮像した撮像画像の一部を、車両の走行環境や走行状態を含む車両状況に応じて対象領域として選択し、その選択した対象領域について画像処理を行うことで、撮像画像全体を画像処理することに比較して処理負荷の抑制が図ることが開示されている。
特開２０１３－９３０１３号公報 特開２０１８－９５０６７号公報 特開２０１５－２１０５８４号公報
しかしながら、特許文献１では、状況判断・画像選択部による画像選択のために、複数のステレオカメラの各々による撮影で生成された全ての画像データはＣＰＵに一旦入力される。このため、ＣＰＵは、上記の画像選択の前段階において全ての画像データを取り込むための処理を行う必要があり、その分だけ、画像処理に割り当てる稼働時間が少なくなる。同様に、特許文献２でも、ＣＰＵは、フロントカメラおよびリアカメラの各々の画像情報が全て入力され、入力された全ての画像情報に対して補正処理（歪み補正）を行った後に、上記の選別を行う。よって、ＣＰＵは、全ての画像データを取り込むための処理や、選別外の画像情報に対しても処理を行う必要があるなど、その分だけ、画像処理に割り当てる稼働時間が少なくなる。このように、画像処理のためのプロセッサが行う処理が多くなると、撮影画像をリアルタイムに処理するためにプロセッサにはその分だけ高い処理能力が求められるので、車両のコストの低減が十分にできない可能性がある。
上述の事情に鑑みて、本発明の少なくとも一実施形態は、車両のコストを抑制しつつ、複数のカメラの撮影画像をより高速に画像処理することが可能な車両用画像処理装置を提供することを目的とする。
（１）本発明の少なくとも一実施形態に係る車両用画像処理装置は、
車両に設置された複数のカメラからそれぞれ逐次入力される画像データを前記複数のカメラと対応付けて蓄積するよう構成された複数のバッファと、
前記車両の状態情報に基づいて選択する前記バッファから前記画像データを取得して画像処理を実行するよう構成されたプロセッサと、
前記複数のバッファの各々の前記画像データを前記プロセッサに転送するための信号線と、
前記プロセッサから要求された前記バッファの前記画像データを前記信号線に出力するよう構成された転送コントローラと、を備える。
上記（１）の構成によれば、画像処理のためのプロセッサは、複数のカメラでそれぞれ撮影された画像データが蓄積されるバッファから、転送コントローラにより画像データが転送されるまでは画像データに対するなんらの処理も行わず、転送されることで取得された画像データに対してのみ画像処理を行う。これによって、プロセッサの負荷を軽減でき、より多くの稼働時間を画像処理に割り当てることができる。また、プロセッサは、複数のバッファにそれぞれ蓄積されたカメラ毎の画像データのうち、例えば車速やシフトポジションなどの車両の状態情報に基づいて画像処理の対象とすべきバッファを決定するなどして、画像処理の対象とするカメラを複数の中の少なくとも一部に絞ることで、単位時間に処理すべき画像データ数を削減することができる。
このように、画像処理のためのプロセッサは、車両の状態情報に基づいて決定したカメラの画像データを画像処理の対象としつつ、そのような対象の画像データを取得するまでは処理を行わないことにより、複数のカメラを通した車両の周囲の環境認識（人や物の移動検知）をより高速（迅速）に行うことができる。したがって、複数のカメラの各々毎にプロセッサを設けることや、より処理能力に優れた高価なプロセッサの使用を回避できるので、車両のコストを低減することができる。
（２）幾つかの実施形態では、上記（１）の構成において、
前記プロセッサは、
前記状態情報に基づいて、前記複数のバッファのうちの少なくとも１つの前記バッファを選択対象として決定し、前記選択対象に含まれる前記バッファの選択頻度を他のバッファの選択頻度よりも高くすることにより、前記選択対象に含まれる前記１以上の前記バッファを逐次選択するよう構成される。
上記（２）の構成によれば、プロセッサは、複数のカメラのうちから画像処理の対象とするカメラ（バッファ）を決定し、決定した１以上のカメラに対応するバッファから順番に画像データを取得して画像処理することにより、単位時間当たりに所定数の画像データの画像処理を実行する。このように、画像処理の対象とするカメラを複数の中の少なくとも一部に絞ることによって単位時間に処理すべき画像データ数を削減することができ、複数のカメラを通した車両の周囲の環境認識（人や物の移動検知）をリアルタイム性良く行うことができる。
（３）幾つかの実施形態では、上記（１）～（２）の構成において、
前記複数のバッファおよび前記転送コントローラが設けられたキャプチャユニットと、
前記転送コントローラによって前記信号線に出力される、前記プロセッサが前記画像処理を実行する前記画像データを保持するよう構成されたワークバッファと、
前記プロセッサおよび前記ワークバッファが設けられたプロセッサユニットと、をさらに備え、
前記信号線は、前記キャプチャユニットの前記複数のバッファと、前記プロセッサユニットの前記ワークバッファとを相互に接続することが可能に構成される。
上記（３）の構成によれば、複数のバッファで管理されている複数のカメラの各々の画像データは、キャプチャユニットとプロセッサユニットとを接続する信号線を通って、プロセッサユニットに設けられたワークバッファに転送されることで、プロセッサで画像処理されるように構成される。このように、キャプチャユニットにおける複数のバッファの管理や転送処理と、プロセッサユニットにおける画像処理とをハードウェア的に分離することで、上述のように、複数のカメラを通した車両の周囲の環境認識（人や物の検知）をリアルタイム性良く行うことができる。
（４）幾つかの実施形態では、上記（１）～（３）の構成において、
前記状態情報は車速を含んでおり、
前記プロセッサは、前記車速と閾値との比較に基づいて、前記バッファの選択を実行する。
一般に、プロセッサが単位時間当たり画像処理できる画像データ数には上限がある。したがって、複数のカメラの画像データを順次処理していった場合、カメラ（バッファ）の数が多いほど、単位時間に画像処理されるカメラ当たりの画像データ数は少なくなる。そして、この数が少なくなると、その分だけ、各カメラから順次送られてくる画像データの画像処理に遅れが生じるので、当該カメラの画像処理を通した環境認識のタイムラグが大きくなる。
上記（４）の構成によれば、プロセッサは、車速と閾値との比較に基づいて、画像処理の対象とするバッファを決定するなどして選択する。画像処理を通した環境認識におけるタイムラグは、車速が速いほど致命的になり易い反面、車速が遅いと許容範囲となり易い。よって、車速が遅いほどより多くのカメラを画像処理の対象としても、車両の運転支援を適切に行うことが可能である。したがって、車速との関係で画像処理の対象とするカメラを選択することにより、処理能力が比較的劣るプロセッサであっても、複数のカメラによる環境認識を通した車両の運転支援を、リアルタイム性良く適切に実行することができる。
（５）幾つかの実施形態では、上記（４）の構成において、
前記複数のカメラは、前記車両の周囲を１台以上で撮影するための前記１台以上のカメラを含み、
前記閾値は、第１閾値を含み、
前記プロセッサは、前記車速が前記第１閾値よりも小さい場合には、前記車両の全周囲を撮影するための前記１台以上のカメラで撮影された前記画像データが蓄積される前記バッファを選択する。
例えば車両が動き出す前の停止時や、車両がクリープ現象等によって非常に低速に移動している状態（発進時状態）では、車両は操舵角次第で様々な位置に移動することが可能である。このため、画角が比較的広く、近距離を適切に撮影することが可能な近距離カメラなどを用いて自車両の全周囲（少なくとも水平方向の全方位）を監視する必要がある。
上記（５）の構成によれば、プロセッサは、上述したような状態（発進時状態）を第１閾値により検知した場合には、車両の周囲（全方位）の画像を得るために必要となるな１台以上のカメラ（１台以上の近距離カメラなど）の撮影画像を画像処理の対象にする。これによって、複数のカメラによる監視を通した車両の状況に応じた運転支援を、リアルタイム性良く適切に実行することができる。
例えば、車両に設置される複数のカメラが、車両の前後左右の各々を撮影するための合計で４台の近距離カメラが車両に設置されている場合など、全周囲を得るためには画像処理の対象となるカメラ数が多くなり易い。よって、複数のカメラの画像を１画像ずつ順番に切り替えて画像処理を実行した場合、カメラの数が多いほど、各カメラ（各バッファ）あたりの画像データの処理周期は長期化する。しかし、車両が非常に低速であることから、車両の運転支援として許容される（問題ない）レベルで、各カメラの撮影画像の画像処理を実行することが可能である。
（６）幾つかの実施形態では、上記（４）～（５）の構成において、
前記複数のカメラは、前記車両の前方および後方をそれぞれ撮影するためのカメラを含み、
前記状態情報は、前記車両のギアのシフトポジションをさらに含み、
前記閾値は、第１閾値、および前記第１閾値よりも大きい第２閾値を含み、
前記プロセッサは、前記車速が前記第１閾値以上で、かつ、前記第２閾値よりも小さい場合において、前記シフトポジションが前進を示す場合には、前記車両の前方を撮影するための前記カメラで撮影された前記画像データが蓄積される前記バッファのみを選択し、前記シフトポジションが後退を示す場合には、前記車両の後方を撮影するための前記カメラで撮影された前記画像データが蓄積される前記バッファのみを選択する。
例えば車両の進行方向に対する左右方向への急な移動が操舵角次第で可能となるような状態（低速走行状態）では、近距離カメラ（前述）などを用いて自車両の進行方向を広範囲に監視する必要がある。
上記（６）の構成によれば、プロセッサは、上述したような状態（低速走行状態）を第１閾値および第２閾値により検知した場合には、車両の進行方向の画像を撮影するカメラの撮影画像を画像処理の対象にする。これによって、複数のカメラによる監視を通した車両の状況に応じた運転支援を、リアルタイム性良く適切に実行することができる。
（７）幾つかの実施形態では、上記（４）～（６）の構成において、
前記複数のカメラは、前記車両の進行方向における遠距離を撮影するための遠距離カメラ、および前記車両の進行方向を撮影するための、前記遠距離カメラよりも画角が広くかつ近距離を撮影するための近距離カメラを含み、
前記閾値は、第２閾値を含み、
前記プロセッサは、前記車速が前記第２閾値以上の場合には前記遠距離カメラで撮影された前記画像データが蓄積される前記バッファを選択し、前記車速が前記第２閾値よりも小さい場合には前記近距離カメラで撮影された前記画像データが蓄積される前記バッファを選択する。
操舵による車両の急な方向転換ができないよう比較的車速が速い走行状態では、画像処理を通した環境認識（人や物の検知）から車両の運転者などへのフィードバック（例えば車両の自動制動や運転者への警報など）に許容される時間がより短くなってしまう。このため、車両の遠方を監視することにより、遠方における対象物（人や物）の検知をより早期に行う必要がある。
上記（７）の構成によれば、プロセッサは、上述したような走行状態を第２閾値により検知した場合には、車両の進行方向の遠方を撮影する遠距離カメラの撮影画像を画像処理の対象にする。このように、例えば１台などの少ない数のカメラの撮影画像を画像処理の対象とすることにより、複数のカメラによる監視を通した車両の状況に応じた運転支援を、リアルタイム性良く適切に実行することができる。
（８）幾つかの実施形態では、上記（４）～（７）の構成において、
前記閾値は、切替開始閾値、および前記切替開始閾値との差が第１値となる切替完了閾値を含み、
前記プロセッサは、
単位時間当たり所定数の前記画像データの前記画像処理を実行するよう構成されると共に、
前記切替開始閾値と前記切替完了閾値との間に前記車速がある場合には、前記単位時間当たりに前記画像処理する前記所定数の画像データが、前記車速が前記切替開始閾値から前記切替完了閾値に近づくほど、前記切替開始閾値になる前のものから前記切替完了閾値になった場合のものに置き換わるように、選択する前記バッファを切り替える。
画像処理の対象とするカメラ（バッファ）を所定閾値で厳密に切り変えると、車両から得られる車速に誤差が含まれる場合などに、閾値付近において車速に応じた適切なバッファが選択されず、適切な環境認識が行われない場合が生じる虞がある。
上記（８）の構成によれば、プロセッサの画像処理の対象とするカメラ（バッファ）が所定の閾値（上記の第１閾値や第２閾値など）で完全に切り替わるように、その前段階から徐々に切り替える。これによって、車両から取得する車速に誤差がある場合であっても、車両の周囲環境認識を適切に行うことができる。
（９）幾つかの実施形態では、上記（８）の構成において、
前記プロセッサは、
前記車速が前記切替開始閾値になった場合には、前記切替完了閾値になった場合に選択すべき前記バッファに対応する前記カメラと、撮影方向において最も関連のない前記カメラに対応する前記バッファから切り替える。
上記（９）の構成によれば、車両から取得する車速に誤差がある場合であっても、車両の周囲環境認識を適切に行うことができる。
（１０）幾つかの実施形態では、上記（１）～（９）の構成において、
特定場所における監視方向の指示を含む特性情報を取得する取得部を、さらに備え、
前記プロセッサは、前記走行位置および前記特性情報に基づいて前記バッファを選択する。
上記（１０）の構成によれば、プロセッサは、特性情報によって指示される監視方向を撮影するカメラの画像データを画像処理の対象とする。様々な場所を走行する車両においては、例えば事故が多い場所などで、特定の方向を重点的に監視する必要が出てくる場合があるが、特性情報に基づいて画像処理の対象とするカメラを切り替えることで、より安全性の高い運転支援を行うことができる。
（１１）幾つかの実施形態では、上記（１）～（１０）の構成において、
前記車両は産業用車両であり、
前記状態情報は、車速および操舵角を含んでおり、
前記プロセッサは、前記状態情報に基づいて前記車両の旋回が右旋回か左旋回かを判定すると共に、前記右旋回時には進行方向に向かって少なくとも前方右側および後方左側が撮影される前記画像データが蓄積される前記バッファを選択し、前記左旋回時には進行方向に向かって少なくとも前方左側および後方右側が撮影される前記画像データが蓄積される前記バッファを選択する。
例えばフォークリフトなどの産業用車両はホイールベースが短く操舵角も大きいため、ハンドルを切った状態での発進時などは、進行方向の前方よりも左右方向に十分注意を払う必要がある。具体的には、右旋回時には進行方向における前方右側だけでなくその後方左側も、左旋回時には進行方向における前方左側だけでなく後方右側も同時に監視しておく必要がある。
上記（１１）の構成によれば、プロセッサは、車速および操舵角に基づいて旋回方向を判定し、その判定結果に基づいて、画像処理の対象とするカメラを選択する。このように、車両の旋回方向（操舵角）に応じて右側などの一方の側だけでなくその反対側（左側）の画像データも画像処理の対象とすることで、左右の旋回時には進行方向と反対側にも注意を払いつつ、人や物の検知を行うなどを行うことで、より安全性の高い運転支援を行うことができる。
（１２）幾つかの実施形態では、上記（１１）の構成において、
前記複数のカメラは、前記車両の右側を撮影するための右側撮影カメラ、および左側を撮影するための左側撮影カメラを含み、
前記プロセッサは、右旋回時には、前記右側撮影カメラおよび前記左側撮影カメラでそれぞれ撮影された前記画像データの左側の一部の領域に対して前記画像処理を実行し、前記左旋回時には、前記右側撮影カメラおよび前記左側撮影カメラでそれぞれ撮影された前記画像データの右側の一部の領域に対して前記画像処理を実行する。
車両の旋回方向（操舵角）に応じて右側などの一方の側だけでなくその反対側（左側）の画像データも画像処理の対象とすると、画像処理の対象とするカメラの台数が増加するため、各バッファ（カメラ）に蓄積されている画像データのプロセッサによる画像処理の頻度が小さくなる（周期が遅くなる）。
上記（１２）の構成によれば、プロセッサは、車両の旋回時に取得した各画像データの一部の領域を画像処理する。操舵角に応じて、右旋回時の右側のカメラは車両前方側のみの領域（画像左側）を、左側のカメラは車両後方側のみの領域（画像左側）に限定して処理を行うなど、一部領域のみを画像処理するようにするので、各バッファからの画像データの取得周期の長期化を抑制することができる。これによって、カメラの台数が増えた場合であっても、より安全性の高い運転支援をリアルタイム性良く行うことができる。
（１３）幾つかの実施形態では、上記（１）～（１２）の構成において、
前記状態情報は、操舵角と、前記車両のギアのシフトポジションと、を含み、
前記プロセッサは、前記操舵角および前記シフトポジションに基づいて、前記バッファから取得した前記画像データに含まれる一部の領域に対して前記画像処理を実行する。
上記（１３）の構成によれば、操舵角およびシフトポジションに基づいて、各画像データの一部を抽出し画像処理の対象とする。これによって、各画像データにおいて、操舵角およびシフトポジションに基づいて予測される車両の走行経路が含まれないような部分領域に対する画像処理を省略することができる。よって、各画像データに対する画像処理の負荷を低減することができ、単位時間当たりに画像処理が可能な画像データ数の増大を図ることができる。よって、高速な車速などでの要求実行時間に対応することもできる。
（１４）幾つかの実施形態では、上記（１）～（１３）の構成において、
前記複数のカメラは、前記車両の第１方向を撮影するための第１カメラ、および前記第１方向とは異なる方向を撮影するための第２カメラを含み、
前記第１カメラおよび前記第２カメラによりそれぞれ撮影された前記画像データの輝度に基づいて、前記複数のカメラの各々の撮影パラメータを調節する調節部を、さらに備える。
上記（１４）の構成によれば、画像処理の対象となるカメラの順光や逆光を検知し、カメラの撮影パラメータを調節することで、太陽光による明るさの変動の影響を最小限にすることができ、安定した環境認識を行うことができる。
（１５）本発明の少なくとも一実施形態に係る車両用画像処理方法は、
車両に設置された複数のカメラからそれぞれ逐次入力される画像データを前記複数のカメラと対応付けて蓄積するよう構成された複数のバッファと、
車速を含む前記車両の状態情報に基づいて選択する前記バッファから前記画像データを取得して画像処理を実行するよう構成されたプロセッサと、
前記複数のバッファの各々の前記画像データを前記プロセッサに転送するための信号線と、
前記プロセッサから要求された前記バッファの前記画像データを前記信号線に出力するよう構成された転送コントローラと、を有するコンピュータの前記プロセッサに実行させる車両用画像処理方法であって、
前記車速と閾値との比較に基づいて、前記バッファの選択を実行するステップを、備える。
上記（１５）の構成によれば、上記（１）と同様の効果を奏する。
（１６）本発明の少なくとも一実施形態に係る車両用画像処理プログラムは、
車両に設置された複数のカメラからそれぞれ逐次入力される画像データを前記複数のカメラと対応付けて蓄積するよう構成された複数のバッファと、
車速を含む前記車両の状態情報に基づいて選択する前記バッファから前記画像データを取得して画像処理を実行するよう構成されたプロセッサと、
前記複数のバッファの各々の前記画像データを前記プロセッサに転送するための信号線と、
前記プロセッサから要求された前記バッファの前記画像データを前記信号線に出力するよう構成された転送コントローラと、を備えたコンピュータの前記プロセッサに、
前記車速と閾値との比較に基づいて、前記バッファの選択を実行するステップを、実行させる。
上記（１６）の構成によれば、上記（１）と同様の効果を奏する。
（１７）本発明の少なくとも一実施形態に係る記憶媒体は、
上記（１６）に記載の車両用画像処理プログラムを記憶したコンピュータ読み取り可能な記憶媒体である。
上記（１７）の構成によれば、記憶媒体に記憶された車両用画像処理プログラムを実行させることにより、上記（１）と同様の効果を奏する。
本発明の少なくとも一実施形態によれば、車両のコストを抑制しつつ、複数のカメラの撮影画像をより高速に画像処理することが可能な車両用画像処理装置が提供される。
本発明の一実施形態に係る車両用画像処理装置のハードウェア構成を模式的に示す図である。 本発明の一実施形態に係る複数のカメラの車両への設置例を示す図である。 本発明の一実施形態に係る車両用画像処理装置の機能ブロックを示す図である。 本発明の一実施形態に係る選択対象のバッファの決定手法を示すフロー図であり、車速に応じてカメラを選択する。 本発明の一実施形態に係る車速が第１閾値よりも小さい場合（Ｖ＜Ｌ１）のバッファ（カメラ）の選択順序を示す図である。 本発明の一実施形態に係る車速が第１閾値以上かつ第２閾値未満の場合（Ｌ１≦Ｖ＜Ｌ２）のバッファ（カメラ）の選択順序を示す図である。 本発明の一実施形態に係る車速が第２閾値以上の場合（Ｌ２≦Ｖ）のバッファ（カメラ）の選択順序を示す図である。 本発明の一実施形態に係る車速の増大時における第１閾値付近でのバッファの段階的な切替を説明するための図である。 本発明の一実施形態に係る車速の増大時における第２閾値付近でのバッファの段階的な切替を説明するための図である。 本発明の一実施形態に係るフォークリフト車両の旋回時に監視する方向および領域を示す図である。 本発明の一実施形態に係るフォークリフト車両の旋回時のバッファの決定手法を示すフロー図である。 本発明の一実施形態に係る画像処理の対象とする画像データにおける走行経路を示す図である。 本発明の一実施形態に係る車両用画像処理装置が車両の逆光状態を判定する場合を説明するための図である。
以下、添付図面を参照して本発明の幾つかの実施形態について説明する。ただし、実施形態として記載されている又は図面に示されている構成部品の寸法、材質、形状、その相対的配置等は、本発明の範囲をこれに限定する趣旨ではなく、単なる説明例にすぎない。
例えば、「ある方向に」、「ある方向に沿って」、「平行」、「直交」、「中心」、「同心」或いは「同軸」等の相対的或いは絶対的な配置を表す表現は、厳密にそのような配置を表すのみならず、公差、若しくは、同じ機能が得られる程度の角度や距離をもって相対的に変位している状態も表すものとする。
例えば、「同一」、「等しい」及び「均質」等の物事が等しい状態であることを表す表現は、厳密に等しい状態を表すのみならず、公差、若しくは、同じ機能が得られる程度の差が存在している状態も表すものとする。
例えば、四角形状や円筒形状等の形状を表す表現は、幾何学的に厳密な意味での四角形状や円筒形状等の形状を表すのみならず、同じ効果が得られる範囲で、凹凸部や面取り部等を含む形状も表すものとする。
一方、一の構成要素を「備える」、「具える」、「具備する」、「含む」、又は、「有する」という表現は、他の構成要素の存在を除外する排他的な表現ではない。
図１は、本発明の一実施形態に係る車両用画像処理装置１のハードウェア構成を模式的に示す図である。図２は、本発明の一実施形態に係る複数のカメラ８の車両９への設置例を示す図である。図３は、本発明の一実施形態に係る車両用画像処理装置１の機能ブロックを示す図である。
車両用画像処理装置１（以下、適宜、画像処理装置１）は、一般自動車や、フォークリフトなどの産業用車両である車両９に設置（搭載）された複数（複数台）のカメラ８でそれぞれ撮影される撮影画像（画像データＧ）の画像処理を行うための装置である。図１に示すように、画像処理装置１には、複数のカメラ８が個別の配線などによりそれぞれ接続されており、複数のカメラ８の各々より撮影された撮影画像は、画像処理装置１に入力される。この複数のカメラ８の数は任意であり、その目的やカメラの仕様（画角や撮影可能距離など）に応じて定められれば良い。また、複数のカメラ８の各々は、複数のカメラ８の各々で撮影される画像が、画像処理装置１に対して連続的に入力される。
図１～図２に示す実施形態では、各カメラ８は、１秒間に所定数の画像を生成するようになっている。また、本実施形態では、図２に示すように、車両９には合計で６台のカメラ８が設置されており、その各々が車両９の外周方向を撮影するように設置されている。より詳細には、６台のカメラ８のうち、４台が近距離撮影用の近距離カメラ８１であり、２台が遠距離撮影用の遠距離カメラ８２となっている。近距離カメラ８１は、遠距離カメラよりも、画角（視野角）が広く、相対的に近い距離を適切に撮影可能なカメラである。逆に言うと、遠距離カメラ８２は、近距離カメラ８１よりも、画角が狭く、相対的に遠方距離を適切に撮影可能なカメラである。このため、４台の近距離カメラ８１は、車両９の前後左右の４箇所に分けてそれぞれ設置されることで、４台の近距離カメラ８１により車両９の全周を網羅的に撮影するようになっている。また、２台の遠距離カメラ８２は、車両９の前（運転席があるフロント）と後ろ（リア）の２箇所に分けてそれぞれ設置されることで、車両９の前方および後方の各々の遠方を撮影ように設定されている。
そして、画像処理装置１は、上記のように車両９に設置された複数のカメラ８から順次入力される撮影画像をリアルタイムに処理するために、図１に示すように、複数のバッファ２と、プロセッサ３と、信号線４と、転送コントローラ５と、を備える。
これらの構成について、それぞれ説明する。
複数のバッファ２は、車両９に設置された複数のカメラ８からそれぞれ逐次入力される画像データＧを複数のカメラ８の各々毎に蓄積するよう構成される記憶部である。図１に示すように、各カメラ８に対して専用のバッファ２が設けられており、カメラ８毎に画像データＧが管理（記憶）される。図１に示す実施形態では、各バッファ２はキュー（ＦＩＦＯ）であり、バッファ２への入力順に取り出されるようになっている。各バッファ２はリングバッファ構造を有していても良い。また、各バッファ２を少数の画像データＧのみ記憶可能なような容量としても良く、より容量が小さいメモリを用いることにより、コストの低減が図れる。図１に示す実施形態では、Ａ／Ｄ変換部２２により、各カメラ８からのアナログの撮影画像の情報がデジタルに変換されて、画像データＧが各バッファ２に蓄積されるようになっている。また、後述する転送コントローラ５によって各バッファ２が管理されることで、画像データＧの各バッファ２への蓄積（記憶）がなされるようになっている。
プロセッサ３は、上記の複数のバッファ２のうち、例えば車速ＶやシフトポジションＳｐなどの車両９の状態情報Ｓに基づいて選択するバッファ２から画像データＧを取得して画像処理を実行するよう構成される。具体的には、各プロセッサ３は、主記憶装置にロードされたプログラム（画像処理プログラム）の命令に従って動作（データの演算など）することで、順次、複数のバッファ２のいずれかから画像データＧを取得すると共に、取得した各画像データＧに対して画像処理（人、物の検知など）を実行する。また、図１に示すように、プロセッサ３の数は、車両９のコストを低減するために、複数のバッファ２の数よりも少ない。図１に示す実施形態では、画像処理装置１が備えるプロセッサ３は、図示されたＣＰＵの１台である。
より詳細には、プロセッサ３は、図３に示すような機能を備える画像処理プログラムに従って動作することにより、車両９の状態情報Ｓに基づいて、複数のバッファ２のうちの少なくとも１つのバッファ２を選択対象として決定し、この選択対象に含まれるバッファ２の選択頻度を、選択対象に含まれない他のバッファ２の選択頻度よりも高くすることにより、選択対象に含まれる１以上のバッファ２を逐次選択するよう構成される。具体的には、選択対象に含まれないバッファ２の選択頻度を０など非常に小さくするなど、プロセッサ３によって選択されないようにしても良い。図３に示す実施形態では、画像処理プログラムは、コンピュータに、選択対象のバッファ２を決定する選択対象バッファ決定部７１と、決定された選択対象に含まれる１以上のバッファ２を順次選択し、選択したバッファ２の画像データＧを取得する画像データ取得部７２と、取得した画像データＧの画像処理を実行する画像処理部７３と、を実現させるようになっている。
通常、１つのプロセッサ３によって、単位時間当たりに画像処理可能な画像データＧの数には限りがあるため、全てのカメラ８からの画像データＧをリアルタイムに監視しようとすると、処理能力の優れたプロセッサ３や、カメラ８毎にプロセッサ３を設ける必要性などが生じる。しかし、一般には、走行時には、進行方向の逆方向を監視する必要性は乏しいなど、走行状況に応じて監視すべき方向には優先度（重要度）がある。よって、車両９の状態情報Ｓに基づいて、車両９の走行状況を判定し、その時々で実行する運転支援の内容に応じて、画像処理の対象とすべきカメラ８を、車両９に設置された複数のカメラ８の中の少なくとも一部に限定して、プロセッサ３に画像処理させるようにする。これによって、選択対象に複数のバッファ２が含まれるとしても、画像処理の対象となるバッファ２の数がより少なくなるようにされるので、プロセッサ３が画像データＧを取得する頻度がバッファ２毎に高くなり（画像処理される周期が短くなり）、各カメラ８を通した環境認識のリアルタイム性を確保することが可能となる。
信号線４は、上述した複数のバッファ２の各々の画像データＧをプロセッサ３に転送するための転送路である。信号線４は、画像データＧをシリアル転送するよう構成されても良いし、パラレル転送するように構成されても良い。よって、複数のバッファ２の各画像データＧは、信号線４を通って、プロセッサ３に転送される。
転送コントローラ５は、上述した画像処理用のプロセッサ３と通信可能に構成され、
複数のバッファ２における画像データＧの蓄積を管理すると共に、プロセッサ３から要求されたバッファ２の画像データＧを信号線４に出力するよう構成される。つまり、転送コントローラ５は、各カメラ８との通信や、通信された画像データＧが各バッファ２に適切に記憶されるようにメモリアドレスの管理をしつつ、各バッファ２に画像データＧを適切に記憶させる。上述したように、プロセッサ３は、車両９の状態情報Ｓに基づいて、選択対象とするバッファ２を決定し、その中のバッファ２を順次選択する度に、選択したバッファ２の画像データＧを取得する。この際、プロセッサ３が、転送コントローラ５に対して、取得すべきバッファ２を指定して画像データＧを要求すると、転送コントローラ５は、要求されたバッファ２の画像データＧを信号線４に出力することで、プロセッサ３に転送する。プロセッサ３は、転送コントローラ５に対する上記の要求（制御信号）を上記の信号線４を介して行っても良いし、別途設けた制御用の信号線を介して行っても良い。
このように、画像データＧのプロセッサ３への転送は転送コントローラ５が行うため、プロセッサ３は、画像データＧの転送処理を行うことなく、その間に画像処理のために稼働時間を割り当てることが可能となる。よって、プロセッサ３は、処理能力のより多くを画像処理に割りあてることができ、処理能力が比較的低くても、各カメラ８を通した運転支援が適切にできるほどのリアルタイム性を確保することが可能となる。
要するに、上記の構成を備える画像処理装置１においては、画像処理のためのプロセッサ３は、転送コントローラ５が画像データＧの転送処理を行うので、複数のカメラ８でそれぞれ撮影された画像データＧが蓄積されるバッファ２から、転送コントローラ５により画像データＧが転送されるまでは画像データＧに対するなんらの処理も行わず、転送されることで取得された画像データＧに対してのみ画像処理を行う。しかも、プロセッサ３は、複数のバッファ２にそれぞれ蓄積されたカメラ８毎の画像データＧのうち、車両９の状態情報Ｓに基づいて画像処理の対象とすべきバッファ２を決定するなどして、画像処理の対象とするカメラ８を複数の中の少なくとも一部に絞ることで、単位時間に処理すべき画像データ数を削減する。
このように、プロセッサ３は、車両９の状態情報Ｓに基づいて決定したカメラ８の画像データＧを画像処理の対象としつつ、そのような対象の画像データＧを取得するまでは処理を行わないことにより、複数のカメラ８を通した車両９の周囲の環境認識（人や物の検知）をより迅速に行うことができる。したがって、複数のカメラ８の各々毎にプロセッサ３を設けることや、より処理能力に優れた高価なプロセッサ３の使用を回避できるので、車両９のコストを低減することができる。
幾つかの実施形態では、図１に示すように、画像処理装置１は、上述した複数のバッファ２および転送コントローラ５が設けられたキャプチャユニット１１（ボード）と、転送コントローラ５によって信号線４に出力される、プロセッサが３画像処理を実行する画像データＧを保持するよう構成された画像処理バッファ６（ワークバッファ）と、プロセッサ３および画像処理バッファ６が設けられたプロセッサユニット１２（ボード）と、をさらに備えても良い。この場合、上記の信号線４は、キャプチャユニット１１の複数のバッファ２と、プロセッサユニット１２の画像処理バッファ６とを相互に接続することが可能に構成される。なお、上記のキャプチャユニット１１はＦＰＧＡ等のプログラマブルロジックデバイスで構築されても良い。
つまり、転送コントローラ５がプロセッサ３の要求に応じて転送した画像データＧは、プロセッサユニット１２に設けられた画像処理バッファ６に記憶される。そして、プロセッサ３は、画像処理バッファ６に格納された画像データＧに対して画像処理を実行する。図１に示す実施形態の画像処理バッファ６はキュー（ＦＩＦＯ）であり、プロセッサ３は、画像処理バッファ６へ記憶されている１以上の画像データＧを、画像処理バッファ６へ記憶された順番で画像処理するようになっている。
また、図１に示す実施形態では、画像処理装置１は、上記の車両９の状態情報Ｓを、車両９に設置されたＥＣＵなどの車両状態監視部１４から取得するようになっている。より詳細には、車両状態監視部１４は、車両９に設置された車両ネットワーク１５（ＣＡＮなど）を介して車速Ｖや、シフトポジションＳｐなどを含む車両９の状態情報Ｓを収集し、プロセッサユニット１２に設けられている状態情報Ｓを記憶するためのバッファ（状態情報バッファ６２）に格納する。この車両状態監視部１４による状態情報Ｓの収集と、状態情報バッファ６２への状態情報Ｓの格納は周期的に行われ、最新の状態情報Ｓが状態情報バッファ６２に記憶される。よって、プロセッサ３は、上記の状態情報バッファ６２にアクセスすることにより、車両９の最新の状態情報Ｓを取得することが可能となっており、取得した状態情報Ｓに基づいて、これから選択対象とするバッファ２を決定する。
なお、図１に示す実施形態では、車両状態監視部１４は、車両側の他のユニット（制御ユニット１３）に設けられているが、この制御ユニット１３とプロセッサユニット１２とは、車両ネットワーク１５によって接続されても良いし、個別の配線で接続されていても良い。
上記の構成によれば、複数のバッファ２で管理されている複数のカメラ８の各々の画像データＧは、キャプチャユニット１１とプロセッサユニット１２とを接続する信号線４を通って、プロセッサユニット１２に設けられた画像処理バッファ６に転送されることで、プロセッサ３で画像処理されるように構成される。このように、キャプチャユニット１１における複数のバッファ２の管理や転送処理と、プロセッサユニット１２における画像処理とをハードウェア的に分離することで、上述のように、複数のカメラ８を通した車両９の周囲の環境認識（人や物の移動検知）をリアルタイム性良く行うことができる。
次に、上述した選択対象のバッファ２の決定手法に関する幾つかの実施形態について、図４～図１０を用いて説明する。図４は、本発明の一実施形態に係る選択対象のバッファ２の決定手法を示すフロー図であり、車速Ｖに応じてカメラ８を選択する。図５は、本発明の一実施形態に係る車速Ｖが第１閾値Ｌ１よりも小さい場合（Ｖ＜Ｌ１）のバッファ２（カメラ８）の選択順序を示す図である。図６は、本発明の一実施形態に係る車速Ｖが第１閾値Ｌ１以上かつ第２閾値Ｌ２未満の場合（Ｌ１≦Ｖ＜Ｌ２）のバッファ２（カメラ８）の選択順序を示す図である。図７は、本発明の一実施形態に係る車速Ｖが第２閾値Ｌ２以上の場合（Ｌ２≦Ｖ）のバッファ２（カメラ８）の選択順序を示す図である。図８は、本発明の一実施形態に係る車速Ｖの増大時における第１閾値Ｌ１付近でのバッファの段階的な切替を説明するための図である。図９は、本発明の一実施形態に係る車速Ｖの増大時における第２閾値Ｌ２付近でのバッファの段階的な切替を説明するための図である。図１０は、本発明の一実施形態に係るフォークリフト車両の旋回時に監視する方向および領域を示す図である。また、図１１は、本発明の一実施形態に係るフォークリフト車両の旋回時のバッファ２の決定手法を示すフロー図である。
なお、以下の説明では、上述した画像処理プログラムの命令に従ってプロセッサ３が動作することで、実現されるものとする。また、後述する第１閾値Ｌ１、第２閾値Ｌ２、第３閾値Ｌ３は、Ｌ１＜Ｌ２＜Ｌ３の関係にあるものとする。
幾つかの実施形態では、車両９の状態情報Ｓは車速Ｖを含んでいる。そして、図４に示すように、プロセッサ３は、車速Ｖと、予め定めた閾値Ｌとの比較に基づいて、上述したバッファ２の選択を実行しても良い。図１～図４に示す実施形態では、プロセッサ３は、画像処理プログラムの選択対象バッファ決定部７１の命令に従って、車速Ｖと複数の閾値Ｌ（Ｌ１～Ｌ３）との比較に基づいて、上述した選択対象となる１以上のバッファ２を決定する。具体的には、図４のステップＳ１において、プロセッサ３（選択対象バッファ決定部７１）は、運転者が車両９を動かす意思があることを、シフトポジションＳｐがパーキングではないことで確認する。そして、選択対象バッファ決定部７１および画像データ取得部７２の命令に従って、シフトポジションＳｐがパーキング（Ｐ）ではない場合に、ステップＳ２以降で車速Ｖに応じた、カメラ８（バッファ２）の選択を行うようになっている。
一般に、プロセッサが単位時間当たり画像処理できる画像データ数には上限がある。したがって、複数のカメラ８の画像データＧを順次処理していった場合、カメラ８（バッファ２）の数が多いほど、単位時間に画像処理されるカメラ８当たりの画像データ数は少なくなる。そして、この数が少なくなると、その分だけ、各カメラ８から順次送られてくる画像データＧの画像処理に遅れが生じるので、当該カメラの画像処理を通した環境認識のタイムラグが大きくなる。しかしながら、画像処理を通した環境認識におけるタイムラグは、車速Ｖが速いほど致命的になり易い反面、車速Ｖが遅いと許容範囲となり易い。つまり、車速Ｖが遅いほどより多くのカメラ８を画像処理の対象としても、車両９の運転支援を適切に行うことが可能である。このことから、本実施形態では、車速Ｖに応じて、複数のバッファ２を切り替えることで、車両９に設置された複数のカメラ８のうちから、運転支援に応じた優先度の高いカメラ８の撮影画像の画像処理を実行する。
具体的には、例えば車両９が動き出す前の停止時や、車両９がクリープ現象等によって非常に低速に移動している状態（発進時状態）では、車両９は操舵角次第で様々な位置に移動することが可能である。このため、画角が比較的広く、近距離を適切に撮影することが可能な近距離カメラ８１などを用いて自車両の全周囲を監視する必要があると考えられる。
よって、幾つかの実施形態では、図２に示すように、複数のカメラ８は、車両９の周囲を１台以上で撮影するための１台以上のカメラ８（図２では４台の近距離カメラ８１）を含む。また、車速Ｖと比較される上記の閾値Ｌは、第１閾値Ｌ１を含む。この場合においては、図４に示すように、プロセッサ３は、車速Ｖが第１閾値Ｌ１よりも小さい場合（Ｖ＜Ｌ１）には、車両の全周囲を撮影するための上記の１台以上のカメラ８で撮影された画像データＧが蓄積されるバッファ２を選択しても良い。
図４に示す実施形態では、ステップＳ２においてＶ＜Ｌ１の場合には、ステップＳ３において、図５に示すような、近距離カメラ８１の画像データＧの画像処理による周辺環境認識を実行する。すなわち、プロセッサ３は、４台の近距離カメラ８１の各々から入力される画像データＧが蓄積される４つのバッファ２（２ａ～２ｄ）を選択対象とする。この際、選択対象となる複数のバッファ２の選択順序は任意であるが、例えば図５に示すように行っても良い。図５に示す実施形態では、プロセッサ３は、第１近距離カメラ８１ａ（車両９の前）、第２近距離カメラ８１ｂ（車両９の右横）、第３近距離カメラ８１ｃ（車両９の後ろ）、第４近距離カメラ８１ｄ（車両９の左横）の順番で、これらの近距離カメラ８１の撮影により得られた画像データＧを画像処理するようになっているので（図５のＳ３１～Ｓ３４参照）、第１バッファ２ａ、第２バッファ２ｂ、第３バッファ２ｃ、第４バッファ２ｄ、第１バッファ２ａ・・・の順でバッファ２を選択しつつ、画像データＧを順次取得するようになっている。
なお、図１に示す実施形態のように、全周囲を得るためには画像処理の対象となるカメラ数が多くなり易い。よって、複数のカメラ８の画像を１画像ずつ順番に切り替えて画像処理を実行した場合、カメラ８の数が多いほど、各カメラ８（各バッファ２）あたりの画像データＧの処理周期は長期化する。しかし、車両９が非常に低速であることから、車両９の運転支援として許容される（問題ない）レベルで、各カメラ８の撮影画像の画像処理を実行することが可能である。
また、車速Ｖが上記の第１閾値Ｌ１以上の場合でも、例えば車両９の進行方向に対する左右方向への急な移動が操舵角次第で可能となるような状態（低速走行状態）では、近距離カメラ８１などを用いて自車両の進行方向を広範囲に監視する必要があると考えられる。
よって、他の幾つかの実施形態では、図２に示すように、複数のカメラ８は、少なくとも、車両９の前方および後方をそれぞれ撮影するためのカメラ８（図２では車両９の前後に設置された２台の近距離カメラ８１）を含む。また、車両９の状態情報Ｓは、車両９のギアのシフトポジションＳｐをさらに含む。車速Ｖと比較される上記の閾値Ｌは、第１閾値Ｌ１、および第１閾値Ｌ１よりも大きい第２閾値Ｌ２を含む。この場合においては、図４、図６に示すように、プロセッサ３は、車速Ｖが第１閾値Ｌ１以上で、かつ、第２閾値Ｌ２よりも小さい場合（Ｌ１≦Ｖ＜Ｌ２）において、シフトポジションＳｐが前進を示す場合には、車両９の前方を撮影するためのカメラ８（図２では第１近距離カメラ８１ａ）で撮影された画像データＧが蓄積されるバッファ２を選択し、シフトポジションＳｐが後退を示す場合には、車両９の後方を撮影するためのカメラ８（図２では第３近距離カメラ８１ｃ）で撮影された画像データＧが蓄積されるバッファ２を選択しても良い。
図４に示す実施形態では、上述したステップＳ２においてＶ＜Ｌ１ではなく、次のステップＳ４でＬ１≦Ｖ＜Ｌ２の場合には、ステップＳ５において、上記のステップＳ３とは異なる近距離カメラ８１の画像データＧの画像処理による周辺環境認識を実行する。具体的には、図６に示すように、プロセッサ３（選択対象バッファ決定部７１）は、ステップＳ６１において、シフトポジションＳｐを確認する。そして、シフトポジションＳｐが前進の場合には、ステップＳ６２において、車両９の前方の近距離を撮影する第１近距離カメラ８１ａの画像データＧが蓄積される第１バッファ２ａを選択対象とする。逆に、シフトポジションＳｐが後退の場合には、ステップＳ６３において、車両９の後方の近距離を撮影する第３近距離カメラ８１ｃの画像データＧが蓄積される第３バッファ２ｃを選択対象とする。
逆に、操舵による車両９の急な方向転換ができないよう比較的車速が速い走行状態では、画像処理を通した環境認識（人や物の検知）から車両９の運転者などへのフィードバック（例えば車両９の自動制動や運転者への警報など）に許容される時間がより短くなってしまう。このため、車両９の遠方を監視することにより、遠方における対象物（人や物）の検知をより早期に行う必要があると考えられる。
よって、幾つかの実施形態では、図２に示すように、複数のカメラ８は、車両９の進行方向における遠距離を撮影するための遠距離カメラ８２、および車両９の進行方向を撮影するための、遠距離カメラ８２よりも画角が広くかつ近距離を撮影するための近距離カメラ８１を含む。また、車速Ｖと比較される上記の閾値Ｌは、第２閾値Ｌ２を含む。そして、図４、図７に示すように、プロセッサ３は、車速Ｖが第２閾値Ｌ２以上の場合には遠距離カメラ８２で撮影された画像データＧが蓄積されるバッファ２（図１の２ｅ～２ｆ）を選択し、車速Ｖが第２閾値Ｌ２よりも小さい場合には近距離カメラ８１で撮影された画像データＧが蓄積されるバッファ２（図１の２ａ～２ｄ）を選択しても良い。
図４に示す実施形態では、上述したステップＳ４においてＶ＜Ｌ２ではなく、次のステップＳ６でＬ２≦Ｖ＜Ｌ３（Ｌ２≦Ｖでも良い）の場合には、ステップＳ７において、遠距離カメラ８２の画像データＧの画像処理による周辺環境認識を実行する。具体的には、図７に示すように、プロセッサ３（選択対象バッファ決定部７１）は、ステップＳ７１において、シフトポジションＳｐを確認する。そして、シフトポジションＳｐが前進の場合には、ステップＳ７２において、プロセッサ３（同上）は、車両９の前方の遠距離を撮影する第１遠距離カメラ８２ａの画像データＧが蓄積される第５バッファ２ｅを選択対象とする。逆に、シフトポジションＳｐが後退の場合には、ステップＳ７３において、車両９の後方の遠距離を撮影する第２遠距離カメラ８２ｂの画像データＧが蓄積される第６バッファ２ｆを選択対象とする。
上記の構成によれば、プロセッサ３は、車速Ｖと閾値Ｌとの比較に基づいて、画像処理の対象とするバッファ２を決定するなどして選択する。このように、車速Ｖとの関係で画像処理の対象とするカメラ８（バッファ２）を選択することにより、処理能力が比較的劣るプロセッサ３であっても、複数のカメラ８による環境認識を通した車両の運転支援を、リアルタイム性良く適切に実行することが可能となる。
また、幾つかの実施形態では、図８～図９に示すように、車速Ｖと比較される上記の閾値Ｌは、切替開始閾値Ｌｓ、およびこの切替開始閾値Ｌｓとの差が第１値Ｗとなる切替完了閾値Ｌｅを含んでも良い。この場合、プロセッサ３は、切替開始閾値Ｌｓと切替完了閾値Ｌｅとの間に車速Ｖがある場合には、単位時間当たりに画像処理する所定数の画像データＧが、車速Ｖが切替開始閾値Ｌｓから切替完了閾値Ｌｅに近づくほど、切替開始閾値Ｌｓになる前のものから切替完了閾値Ｌｅになった場合のものに置き換わるように、選択するバッファ２を切り替えても良い。換言すれば、車速Ｖに応じて優先度（重要度）が高いものとなるカメラ８（図８では第１近距離カメラ８１ａ）の割合を徐々に増加する。
プロセッサ３の画像処理の対象とするカメラ８（バッファ２）を所定の閾値Ｌ（第１閾値Ｌ１や第２閾値Ｌ２）で厳密に切り変えると、車両９から得られる車速Ｖに誤差が含まれる場合などに、閾値Ｌ付近において車速Ｖに応じた適切なバッファ２が選択されず、適切な環境認識が行われない場合が生じる虞がある。よって、本実施形態では、選択対象とするバッファ２を徐々に切り替えるようにする。
ここで、プロセッサ３は、単位時間当たりに所定数の画像データＧに対して画像処理を実行するので、この所定数の画像データＧは、選択対象の１以上のバッファ２から取得される画像データＧで構成される。切替開始閾値Ｌｓは、この所定数を構成する画像データＧが取得されるバッファ２の一部を、切替完了閾値Ｌｅに車速Ｖがなった場合にプロセッサ３が選択することになる１以上のバッファ２のいずれかに切り替える契機を与える閾値Ｌである。また、切替完了閾値Ｌｅは、例えば上述した第１閾値Ｌ１あるいは第２閾値Ｌ２であり、切替開始閾値Ｌｓは、切替完了閾値Ｌｅから第１値Ｗだけプラス又はマイナスされた値となる。具体的には、例えば切替完了閾値Ｌｅが上述した第１閾値Ｌ１である場合には、切替開始閾値Ｌｓは、Ｌｅ＋Ｗ（ただし、Ｌｅ＋Ｗ＜Ｌ２）またはＬｅ－Ｗである。例えば切替完了閾値Ｌｅが上述した第２閾値Ｌ２である場合には、切替開始閾値Ｌｓは、Ｌｅ＋ＷまたはＬｅ－Ｗ（ただし、Ｌｅ－Ｗ＞Ｌ１）である。切替開始閾値Ｌｓと切替完了閾値Ｌｅとの間には、図８～図９に示すように、上記の切り替えをより段階的に行うために、さらに１以上の閾値（段階閾値Ｌｍ）が設けられても良い。
図８に示す実施形態では、切替完了閾値Ｌｅが上記の第１閾値Ｌ１であり、切替開始閾値Ｌｓがこの第１閾値Ｌ１よりも第１値Ｗだけ小さい場合（Ｌｓ＝Ｌｅ－Ｗ）である。この場合、図１～図３に示す実施形態では、プロセッサ３は、第１閾値Ｌ１（Ｌｅ）より車速Ｖが小さいと、４台の近距離カメラ８１に対応する４つのバッファ２（２ａ～２ｄ）を順次選択し（図５参照）、車速Ｖが第１閾値Ｌ１以上となると、車両９の前方を撮影する第１近距離カメラ８１ａに対応する第１バッファ２ａのみを選択するようになっている（図６参照）。
よって、シフトポジションＳｐが前進で、車速Ｖが０から順次増大されていく場合、車速Ｖが切替開始閾値Ｌｓよりも小さい場合（Ｖ＜Ｌｓ）には、プロセッサ３（画像データ取得部７２）は、第１バッファ２ａ、第２バッファ２ｂ、第３バッファ２ｃ、第４バッファ２ｄと順次選択した後に、再度第１バッファ２ａに戻って同じ順番での選択を繰返している。その後、車速Ｖが切替開始閾値Ｌｓになると、プロセッサ３（同上）は、それまでに選択対象に含まれていたバッファ２（２ａ～２ｄ）のうち、第２バッファ２ｂ、第３バッファ２ｃ、第４バッファ２ｄのうちの少なくとも１つを第１バッファ２ａに置き換える。
この際、図８に示すように、プロセッサ３は、車速Ｖが切替開始閾値Ｌｓになった場合には、切替完了閾値Ｌｅになった場合に選択すべきバッファ２（図８では第１バッファ２ａのみ）に対応するカメラ８（図８では前方撮影用の第１近距離カメラ８１ａ）と、撮影方向において最も関連のないカメラ８（図８では後方撮影用の第３近距離カメラ８１ｃ）に対応するバッファ２（図８では第３バッファ２ｃ）から切り替えても良い。
図８に示す実施形態では、プロセッサ３は、車両９の後方を撮影する第３近距離カメラ８１ｃに対応する第３バッファ２ｃを、第１バッファ２ａに切り替えている。つまり、切替完了閾値Ｌｅ（第１閾値Ｌ１）になると、それまで車両９の前後左右の４方向の画像データＧを画像処理の対象としていたところから前方のみを監視するようになることからすると、後方は、前方に対して逆方向なので、画像データＧが車両９の左、右、後ろのうちで最も重要度が低いといえる。よって、プロセッサ３は、切替開始閾値Ｌｓでは第３バッファ２ｃを切り替えている。
また、図８に示す実施形態では、切替開始閾値Ｌｓと切替完了閾値Ｌｅとの間に段階閾値Ｌｍが設けられており、車速Ｖが切替開始閾値Ｌｓから増大して段階閾値Ｌｍになると（Ｖ＝Ｌｍ）、車両９の右を撮影する第２近距離カメラ８１ｂに対応する第２バッファ２ｂを、第１バッファ２ａに切り替えている。そして、車速Ｖがさらに増大されて、切替完了閾値Ｌｅになると（Ｖ＝Ｌｅ）、プロセッサ３は、車両９の左を撮影する第４近距離カメラ８１ｄに対応する第４バッファ２ｄを、第１バッファ２ａに切り替えている。これによって、プロセッサ３は、第１閾値Ｌ１では第１近距離カメラ８１ａに対応する第１バッファ２ａを選択対象として、画像処理を行うようになる。このようにして、車速Ｖに応じて重要性が高いものとなるカメラ８（図８では第１近距離カメラ８１ａ）の割合が徐々に増加される。
他方、図９に示す実施形態では、切替完了閾値Ｌｅが上記の第２閾値Ｌ２であり、切替開始閾値Ｌｓがこの第２閾値Ｌ２よりも第１値Ｗだけ小さい場合（Ｌｓ＝Ｌｅ－Ｗ）である。この場合、図１～図３に示す実施形態では、上述したように、プロセッサ３は、車速Ｖが第１閾値Ｌ１以上、第２閾値Ｌ２未満では、車両９の前方を撮影する第１近距離カメラ８１ａに対応する第１バッファ２ａのみを選択し（図６参照）、車速Ｖが第２閾値Ｌ２以上になると、車両９の前方を撮影する第１遠距離カメラ８２ａに対応する第５バッファ２ｅのみを選択するようになっている（図７参照）。
よって、シフトポジションＳｐが前進で、車速Ｖが第１閾値Ｌ１から順次増大されていく場合、車速Ｖが切替開始閾値Ｌｓよりも小さい場合（Ｖ＜Ｌｓ）には、プロセッサ３は第１バッファ２ａのみを選択する。その後、車速Ｖが切替開始閾値Ｌｓになると、プロセッサ３は、それまでの選択対象に第５バッファ２ｅを含める（追加する）と共に、それまでの選択対象であった第１バッファ２ａの選択頻度を少なくする。図９に示す実施形態では、画像処理される連続する３つの画像データＧのうちの最後の第１バッファ２ａが第５バッファ２ｅに置き換えられることで、第１バッファ２ａの選択頻度が下げられている。さらに車速Ｖが増大され、段階閾値Ｌｍになると、連続する３つの画像データＧのうちの最後から２つ目までが第５バッファ２ｅに置き換えられている。さらに車速Ｖが増大され、切替完了閾値Ｌｅになると、第５バッファ２ｅのみ選択するなっている。このようにして、車速Ｖに応じて重要性が高いものとなるカメラ８（図９では第１遠距離カメラ８２ａ）の割合が徐々に増加される。
なお、上記の説明は、車速Ｖが増大する場合について説明したが、車速Ｖが減速していく際に、切替開始閾値Ｌｓ、段階閾値Ｌｍ、切替完了閾値Ｌｅの順を通過する場合についても同様である。
上記の構成によれば、プロセッサ３の画像処理の対象とするカメラ８（バッファ２）が所定の閾値Ｌ（上記の第１閾値Ｌ１や第２閾値Ｌ２など）で完全に切り替わるように、その前段階から徐々に切り替える。これによって、車両９から取得する車速Ｖに誤差がある場合であっても、車両９の周囲環境認識を適切に行うことができる。
また、幾つかの実施形態では、画像処理装置１は、特定場所における監視方向の指示を含む特性情報を取得する特性情報取得部７４（取得部）を、さらに備え、プロセッサ３は、特性情報に基づいてバッファ２を選択しても良い。様々な場所を走行する車両９においては、例えば右方向からの飛び出し事故が多いなど、特定方向を重点的に監視するのが運転支援として望ましいような場所（特定場所）がある。そこで、画像処理装置１は、上記の特性情報を取得し、特性情報で指示される監視方向を撮影するカメラ８に対応するバッファ２を選択対象に含めるようにする。この際、特性情報で指示される監視方向を撮影するカメラ８に対応するバッファ２の選択頻度を、同様に選択対象に含まれている他のバッファ２よりも高くしても良い。
より詳細には、画像処理装置１（画像処理プログラム）は、図３に示すように、上記の特性情報取得部７４に加えて、車両９の走行位置を取得する位置取得部７５を、さらに備えていても良い。図３に示す実施形態では、上記の各特性情報は特定場所に対応付けられており、車両９の走行位置が、特性情報に対応付けられている特定場所になった場合には、特性情報で指示される監視方向を撮影するカメラ８に対応するバッファ２を選択対象に含めるようにしている。これら、特性情報取得部７４および位置取得部７５は、上記のプロセッサ３が画像処理プログラムの命令に従って動作することで実現されても良いし、他のハードウェアを用いて実現されても良い。図３に示す実施形態では、監視方向の指示が選択対象バッファ決定部７１に入力されることにより、監視方向を撮影するカメラ８に対応したバッファ２が選択対象に含まれるようになっている。
なお、車両９の走行位置は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）やＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）などの自己位置認識技術により取得しても良いし、道路に設置されるビーコン局との通信や、移動体通信ネットワークの基地局との通信や、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）による近距離無線通信などの無線通信技術を用いて外部と通信することにより、外部から走行位置（位置情報）を取得しても良い。また、特定場所および特性情報は予めデータベース化されており、外部との通信を適宜行うことにより、それらの情報を取得しても良いし、画像処理装置１がこのデータベースを保持していても良い。あるいは、画像処理装置１は、ビーコン局などの機器が特定場所の付近に設置され、ビーコン局などの機器からの通信を受信すると、この通信により得られる特性情報に含まれる監視方向の情報に基づいて、その方向を撮影するカメラ８に対応するバッファ２を選択対象に含めるようにしても良い。
上記の構成によれば、プロセッサ３は、特性情報によって指示される監視方向を撮影するカメラ８の画像データＧを画像処理の対象とする。様々な場所を走行する車両９においては、例えば事故が多い場所などで、特定の方向を重点的に監視する必要が出てくる場合があるが、特性情報に基づいて画像処理の対象とするカメラ８を切り替えることで、より安全性の高い運転支援を行うことができる。
また、幾つかの実施形態では、車両９が産業用車両である場合などには、車両９の状態情報Ｓは、車速Ｖおよび操舵角Ａを含んでおり、プロセッサ３は、状態情報Ｓに基づいて車両９の旋回が右旋回か左旋回かを判定しても良い。そして、プロセッサ３は、車両９が右旋回時には進行方向に向かって少なくとも前方右側および後方左側が撮影される画像データＧが蓄積されるバッファ２を選択し、左旋回時には進行方向に向かって少なくとも前方左側および後方右側が撮影される画像データＧが蓄積されるバッファ２を選択しても良い。
図１０に示すように、例えばフォークリフトなどの産業用車両はホイールベースが短く操舵角も大きいため、ハンドルを切った状態での発進時などは、進行方向の前方よりも左右方向に十分注意を払う必要がある。具体的には、右旋回時には進行方向における前方右側だけでなくその後方左側も、左旋回時には進行方向における前方左側だけでなく後方右側も同時に監視しておく必要がある。
ただし、上記のように進行方向の逆方向側を撮影した画像データＧまで画像処理の対象とすると、プロセッサ３が画像処理の対象とするカメラ８の台数が単純に増加するので、選択対象に含まれる各バッファ２の各々の選択頻度が少なくなる（選択する周期が長くなる）。
そこで、幾つかの実施形態では、図１０～図１１に示すように、複数のカメラ８は、車両９の右側を撮影するための右側撮影カメラ（図２では第２近距離カメラ８１ｂ）、および左側を撮影するための左側撮影カメラ（図２では第４近距離カメラ８１ｄ）を含む。そして、プロセッサ３は、画像処理プログラムの画像処理部７３の命令に従って動作することにより、右旋回時には、上記の右側撮影カメラおよび左側撮影カメラでそれぞれ撮影された画像データＧの左側の一部の領域（部分領域Ｇｐ。図１０では画像データＧの左半分）に対して画像処理を実行し、左旋回時には、上記の右側撮影カメラおよび左側撮影カメラでそれぞれ撮影された画像データＧの右側の部分領域Ｇｐ（図１０では画像データＧの右半分）域に対して画像処理を実行しても良い。これによって、より安全性の高い運転支援をリアルタイム性良く行うことができる。
図１１は、図４のステップＳ２からステップＳ３への遷移に対応しており、図４のステップＳ２において車速Ｖが上記の第１閾値Ｌ１よりも小さい場合（Ｖ＜Ｌ１）には、図１１のステップＳ２１において操舵角Ａを確認し、操舵角Ａが舵角閾値Ａｔ以下の場合（Ａ≦Ａｔ）には、既に説明した図４ステップＳ３に進む。逆に、図１１のステップＳ２１において、操舵角Ａが舵角閾値Ａｔよりも大きい場合（Ａ＞Ａｔ）には、ステップＳ２２において操舵角Ａを確認する。そして、操舵角Ａが右旋回を示す場合には、ステップＳ２３において上記の右側撮影カメラおよび左側撮影カメラでそれぞれ撮影された画像データＧの左半分の領域に対して画像処理を実行する。逆に、操舵角Ａが左旋回を示す場合には、ステップＳ２４において上記の右側撮影カメラおよび左側撮影カメラでそれぞれ撮影された画像データＧの右半分の領域に対して画像処理を実行する。
上記の構成によれば、プロセッサ３は、車速Ｖおよび操舵角Ａに基づいて旋回方向を判定し、その判定結果に基づいて、画像処理の対象とするカメラ８を選択する。このように、車両の旋回方向（操舵角）に応じて右側などの一方の側だけでなくその反対側（左側）の画像データＧも画像処理の対象とすることで、左右の旋回時には進行方向と反対側にも注意を払いつつ、人や物の検知を行うなどを行うことで、より安全性の高い運転支援を行うことができる。
次に、その他の実施形態について、図１２～図１３を用いて説明する。図１２は、本発明の一実施形態に係る画像処理の対象となる画像データＧにおける走行経路を示す図である。また、図１３は、本発明の一実施形態に係る車両用画像処理装置１が車両９の逆光状態を判定する場合を説明するための図である。
幾つかの実施形態では、上述した車両９の状態情報Ｓは、操舵角Ａと、シフトポジションＳｐと、を含む。そして、図１２に示すように、プロセッサ３は、画像処理プログラムの画像処理部７３の命令に従って動作することにより、操舵角ＡおよびシフトポジションＳｐに基づいて、バッファ２から取得した画像データＧに含まれる一部の領域（部分領域Ｇｐ）に対して画像処理を実行する。図１２に示すカメラ画像には、遠くに地平線ｈが写っており、道路ｒが右方向へカーブしているが、車両９が道路ｒに沿って走行する場合には、走行経路以外の領域を対象とした自動検知処理の必要性は高くないと考えられる。このように画像データＧの部分領域Ｇｐのみに対して画像処理を実行することによって、画像処理を行う各画像データＧの情報量を小さくすることができ、１つの画像データＧの画像処理の実行時間を短くすることができる。
例えば、幾つかの実施形態では、図１２に示すように、操舵角ＡおよびシフトポジションＳｐに基づいて、車両９が走行する経路を推定すると共に、推定結果に基づいて画像データＧの上記の部分領域Ｇｐを決定しても良い。図１２に示す実施形態では、プロセッサ３は、推定した走行経路の画像処理を実行するようになっており、推定した走行経路のみを対象に自動検知処理などを実行する。例えば、上記の車速Ｖと比較される閾値Ｌが第３閾値Ｌ３を含み、図４に示すように、プロセッサ３は、車速Ｖが第３閾値Ｌ３以上になると、操舵角ＡおよびシフトポジションＳｐに基づく走行経路の予測結果に基づいて、バッファ２から取得した画像データＧに含まれる部分領域Ｇｐに対して画像処理を実行しても良い。この走行経路の予測は周知の手法により行えば良いが、自車両のサイズやカメラ８の取り付け位置や取付角度（光軸角度）、カメラ８の内部パラメータを考慮しても良い。これによって、車速Ｖが第２閾値Ｌ２を超えてさらに速くなった場合などに、画像処理の対象となるカメラ８の数を絞るだけでなく、取得した各画像データＧの画像処理の対象領域を小さくするようにすれば、プロセッサ３が単位時間に実行可能な画像データＧの数を増大することで、リアルタイムの環境認識を可能にすることができる。
他の幾つかの実施形態では、車速Ｖおよび操舵角Ａに応じて定めた画像データＧの例えば上部や左右の一部の領域を画像処理の対象から外すなど、車速Ｖ、操舵角ＡおよびシフトポジションＳｐに基づいて、画像データＧにおける画像処理すべき部分領域Ｇｐが定まるようにしておいても良い。例えば図１２では、操舵角Ａから車両９が右にカーブして走行することが分かるので、車速Ｖを考慮しつつ、撮影画像の上部や左側のあるサイズの領域を、画像処理の対象から外しても良い。
上記の構成によれば、操舵角ＡおよびシフトポジションＳｐに基づいて、各画像データＧの一部を抽出し画像処理の対象とする。これによって、各画像データＧにおいて、操舵角ＡおよびシフトポジションＳｐに基づいて予測される車両の走行経路が含まれないような部分領域に対する画像処理を省略することができる。よって、各画像データＧに対する画像処理の負荷を低減することができ、単位時間当たりに画像処理が可能な画像データＧ数の増大を図ることができる。よって、高速な車速Ｖなどでの要求実行時間に対応することもできる。
また、幾つかの実施形態では、図１３に示すように、複数のカメラ８は、車両９の一方方向を撮影するための第１カメラ８ａおよび、この一方向とは異なる方向を撮影するための第２カメラ８ｂを含む。そして、図３に示すように画像処理装置１は、上記の第１カメラ８ａおよび第２カメラ８ｂによりそれぞれ撮影された画像データＧの輝度に基づいて、複数のカメラ８の各々の撮影パラメータを調節する調節部７６を、さらに備えても良い。調節部７６は、上記のプロセッサ３が画像処理プログラムの命令に従って動作することで実現されても良いし、他のハードウェアを用いて実現されても良い。図１３に示す実施形態では、第１カメラ８ａは第１遠距離カメラ８２ａであり、第２カメラ８ｂは第１カメラ８ａが撮影する一方向とは逆方向を撮影する第２遠距離カメラ８２ｂとなっている。ただし、本実施形態に本発明は限定されない。他の幾つかの実施形態では、第１カメラ８ａが遠距離カメラ８２、第２カメラ８ｂが近距離カメラであるなど、第１カメラ８ａと第２カメラ８ｂとは撮影方向が異なれば、同種のものでなくても良い。
上述したように、車両９の全周囲をカメラ８で撮影していることから、屋外では太陽光との位置関係によって、あるカメラ８では逆光、あるカメラ８では順光となり、全てのカメラの撮影パラメータが同じであると、適切な画質（例えば明るさ）の画像が得られないカメラが存在する可能性がある。そこで、本実施形態では、その時々の画像処理の対象となるカメラ８以外のカメラ８を一時的に選択対象に含めるなどすることで、画像データＧの明るさを評価することで光などに関する周囲環境を推定し、必要に応じてカメラ８の撮影パラメータを自動調節し、どのような環境でも適切な画質の画像データＧが各カメラ８から得られるようにする。
具体的には、上述した実施形態では、車速Ｖが第１閾値Ｌ１以上である場合には、進行方向を撮影するためのカメラ８（第１近距離カメラ８１ａや、第１遠距離カメラ８２ａ）のみで環境認識を行っており、例えばこのカメラ８が上記の第１カメラ８ａとなる。この際、プロセッサ３は、例えば周期的（１０秒に１回など）に、進行方向の逆方向などを撮影するためのカメラ８（第３近距離カメラ８１ｃや、第２遠距離カメラ８２ｂ）で撮影される画像データＧを取得する。例えばこのカメラ８が上記の第２カメラ８ｂとなる。そして、第１カメラ８ａおよび第２カメラ８ｂの各々の画像データのＧの輝度を評価する。
その後、例えば、第１カメラ８ａの撮影画像のみで構成される複数の画像データＧの平均輝度（第１平均輝度Ｉ１）、および、第１カメラ８ａおよび第２カメラ８ｂの各々の撮影画像で構成される複数の画像データＧの平均輝度（第２平均輝度Ｉ２）をそれぞれ評価しても良い。例えば、時間に沿って連続して取得する画像データＧのうち、進行方向の逆方向を撮影した画像データＧを含む連続した複数の画像データＧの第２平均輝度Ｉ２を評価すると共に、この逆方向の画像データＧを含まない複数の連続の画像データＧの第１平均輝度Ｉ１を評価しても良い。そして、Ｉ１＜Ｉ２ならその時の進行方向を撮影するカメラ８は逆光状態にあると判断し、逆光状態のカメラ８が生成する画像データＧが明るくなるようにするなど、適切に撮影できるように第１カメラ８ａの撮影パラメータの設定を変更する。Ｉ１＞Ｉ２の場合は、逆に、第１カメラ８ａの明るさを下げるよう設定を変更する。
図１３に示す実施形態では、第１カメラ８ａの画像データＧの輝度は逆光のため相対的に低く、第２カメラ８ｂの画像データＧの輝度は順光のため相対的に高い。よって、Ｉ１＜Ｉ２となるので、調節部７６は、進行方向の第１カメラ８ａは逆光と判断して、第１カメラ８ａの画像データＧが明るくなるように、撮影パラメータの設定変更を行う。
上記の構成によれば、画像処理の対象となるカメラ８の順光や逆光を検知し、カメラ８の撮影パラメータを調節することで、太陽光による明るさの変動の影響を最小限にすることができ、安定した環境認識を行うことができる。
本発明は上述した実施形態に限定されることはなく、上述した実施形態に変形を加えた形態や、これらの形態を適宜組み合わせた形態も含む。
なお、上記の特性情報取得部７４は取得部の一例である。
また、上記のプログラムは、コンピュータに後述する各機能部を実現させるためのソフトウェアであり、コンピュータによる読み込みが可能な記憶媒体に記憶されても良い。
１ 車両用画像処理装置（画像処理装置）
１１ キャプチャユニット
１２ プロセッサユニット
１３ 制御ユニット
１４ 車両状態監視部
１５ 車両ネットワーク
２ バッファ
２ａ 第１バッファ
２ｂ 第２バッファ
２ｃ 第３バッファ
２ｄ 第４バッファ
２ｅ 第５バッファ
２ｆ 第６バッファ
２２ Ａ／Ｄ変換部
３ プロセッサ
４ 信号線
５ 転送コントローラ
６ ワークバッファ（画像処理バッファ）
６２ 状態情報バッファ
７１ 選択対象バッファ決定部
７２ 画像データ取得部
７３ 画像処理部
７４ 特性情報取得部（取得部）
７５ 位置取得部
７６ 調節部
８ カメラ
８ａ 第１カメラ
８ｂ 第２カメラ
８１ 近距離カメラ
８１ａ 第１近距離カメラ
８１ｂ 第２近距離カメラ
８１ｃ 第３近距離カメラ
８１ｄ 第４近距離カメラ
８２ 遠距離カメラ
８２ａ 第１遠距離カメラ
８２ｂ 第２遠距離カメラ
９ 車両

Ｇ 画像データ
Ｇｐ 部分領域
ｒ 道路
ｈ 地平線
Ｌ 閾値
Ｌ１ 第１閾値
Ｌ２ 第２閾値
Ｌ３ 第３閾値
Ｌｅ 切替完了閾値
Ｌｍ 段階閾値
Ｌｓ 切替開始閾値
Ｓ 車両の状態情報
Ｖ 車速
Ｓｐ シフトポジション
Ａ 操舵角
Ｗ 第１値
Ｉ１ 第１平均輝度
Ｉ２ 第２平均輝度

Claims (23)

  1. 車両に設置された複数のカメラからそれぞれ逐次入力される画像データを前記複数のカメラと対応付けて蓄積するよう構成された複数のバッファと、
    前記車両の状態情報に基づいて選択する前記バッファから前記画像データを取得して画像処理を実行するよう構成されたプロセッサと、
    前記複数のバッファの各々の前記画像データを前記プロセッサに転送するための信号線と、
    前記プロセッサから要求された前記バッファの前記画像データを前記信号線に出力するよう構成された転送コントローラと、を備え、
    前記状態情報は車速を含んでおり、
    前記プロセッサは、前記車速と閾値との比較に基づいて、前記バッファの選択を実行し、
    前記複数のカメラは、前記車両の進行方向における遠距離を撮影するための遠距離カメラ、および前記車両の進行方向を撮影するための、前記遠距離カメラよりも画角が広くかつ近距離を撮影するための近距離カメラを含み、
    前記閾値は、第２閾値を含み、
    前記プロセッサは、前記車速が前記第２閾値以上の場合には前記遠距離カメラで撮影された前記画像データが蓄積される前記バッファを選択し、前記車速が前記第２閾値よりも小さい場合には前記近距離カメラで撮影された前記画像データが蓄積される前記バッファを選択する
    ことを特徴とする車両用画像処理装置。
  2. 車両に設置された複数のカメラからそれぞれ逐次入力される画像データを前記複数のカメラと対応付けて蓄積するよう構成された複数のバッファと、
    前記車両の状態情報に基づいて選択する前記バッファから前記画像データを取得して画像処理を実行するよう構成されたプロセッサと、
    前記複数のバッファの各々の前記画像データを前記プロセッサに転送するための信号線と、
    前記プロセッサから要求された前記バッファの前記画像データを前記信号線に出力するよう構成された転送コントローラと、を備え、
    前記状態情報は車速を含んでおり、
    前記プロセッサは、前記車速と閾値との比較に基づいて、前記バッファの選択を実行し、
    前記閾値は、切替開始閾値、および前記切替開始閾値との差が第１値となる切替完了閾値を含み、
    前記プロセッサは、
    単位時間当たり所定数の前記画像データの前記画像処理を実行するよう構成されると共に、
    前記切替開始閾値と前記切替完了閾値との間に前記車速がある場合には、前記単位時間当たりに前記画像処理する前記所定数の画像データが、前記車速が前記切替開始閾値から前記切替完了閾値に近づくほど、前記切替開始閾値になる前のものから前記切替完了閾値になった場合のものに置き換わるように、選択する前記バッファを切り替える
    ことを特徴とする車両用画像処理装置。
  3. 車両に設置された複数のカメラからそれぞれ逐次入力される画像データを前記複数のカメラと対応付けて蓄積するよう構成された複数のバッファと、
    前記車両の状態情報に基づいて選択する前記バッファから前記画像データを取得して画像処理を実行するよう構成されたプロセッサと、
    前記複数のバッファの各々の前記画像データを前記プロセッサに転送するための信号線と、
    前記プロセッサから要求された前記バッファの前記画像データを前記信号線に出力するよう構成された転送コントローラと、を備え、
    前記車両は産業用車両であり、
    前記状態情報は、車速および操舵角を含んでおり、
    前記プロセッサは、前記状態情報に基づいて前記車両の旋回が右旋回か左旋回かを判定すると共に、前記右旋回時には進行方向に向かって少なくとも前方右側および後方左側が撮影される前記画像データが蓄積される前記バッファを選択し、前記左旋回時には進行方向に向かって少なくとも前方左側および後方右側が撮影される前記画像データが蓄積される前記バッファを選択する
    ことを特徴とする車両用画像処理装置。
  4. 前記プロセッサは、
    前記状態情報に基づいて、前記複数のバッファのうちの少なくとも１つの前記バッファを選択対象として決定し、前記選択対象に含まれる前記バッファの選択頻度を他のバッファの選択頻度よりも高くすることにより、前記選択対象に含まれる前記１以上の前記バッファを逐次選択するよう構成されることを特徴とする請求項１～３のいずれか１項に記載の車両用画像処理装置。
  5. 前記複数のバッファおよび前記転送コントローラが設けられたキャプチャユニットと、
    前記転送コントローラによって前記信号線に出力される、前記プロセッサが前記画像処理を実行する前記画像データを保持するよう構成されたワークバッファと、
    前記プロセッサおよび前記ワークバッファが設けられたプロセッサユニットと、をさらに備え、
    前記信号線は、前記キャプチャユニットの前記複数のバッファと、前記プロセッサユニットの前記ワークバッファとを相互に接続することが可能に構成されることを特徴とする請求項１～４のいずれか１項に記載の車両用画像処理装置。
  6. 前記状態情報は車速を含んでおり、
    前記プロセッサは、前記車速と閾値との比較に基づいて、前記バッファの選択を実行することを特徴とする請求項３に記載の車両用画像処理装置。
  7. 前記複数のカメラは、前記車両の周囲を１台以上で撮影するための前記１台以上のカメラを含み、
    前記閾値は、第１閾値を含み、
    前記プロセッサは、前記車速が前記第１閾値よりも小さい場合には、前記車両の全周囲を撮影するための前記１台以上のカメラで撮影された前記画像データが蓄積される前記バッファを選択することを特徴とする請求項１、２、６のいずれか１項に記載の車両用画像処理装置。
  8. 前記複数のカメラは、前記車両の前方および後方をそれぞれ撮影するためのカメラを含み、
    前記状態情報は、前記車両のギアのシフトポジションをさらに含み、
    前記閾値は、第１閾値、および前記第１閾値よりも大きい第２閾値を含み、
    前記プロセッサは、前記車速が前記第１閾値以上で、かつ、前記第２閾値よりも小さい場合において、前記シフトポジションが前進を示す場合には、前記車両の前方を撮影するための前記カメラで撮影された前記画像データが蓄積される前記バッファのみを選択し、前記シフトポジションが後退を示す場合には、前記車両の後方を撮影するための前記カメラで撮影された前記画像データが蓄積される前記バッファのみを選択することを特徴とする請求項１、２、６、７のいずれか１項に記載の車両用画像処理装置。
  9. 前記複数のカメラは、前記車両の進行方向における遠距離を撮影するための遠距離カメラ、および前記車両の進行方向を撮影するための、前記遠距離カメラよりも画角が広くかつ近距離を撮影するための近距離カメラを含み、
    前記閾値は、第２閾値を含み、
    前記プロセッサは、前記車速が前記第２閾値以上の場合には前記遠距離カメラで撮影された前記画像データが蓄積される前記バッファを選択し、前記車速が前記第２閾値よりも小さい場合には前記近距離カメラで撮影された前記画像データが蓄積される前記バッファを選択することを特徴とする請求項２、６、７、８のいずれか１項に記載の車両用画像処理装置。
  10. 前記閾値は、切替開始閾値、および前記切替開始閾値との差が第１値となる切替完了閾値を含み、
    前記プロセッサは、
    単位時間当たり所定数の前記画像データの前記画像処理を実行するよう構成されると共に、
    前記切替開始閾値と前記切替完了閾値との間に前記車速がある場合には、前記単位時間当たりに前記画像処理する前記所定数の画像データが、前記車速が前記切替開始閾値から前記切替完了閾値に近づくほど、前記切替開始閾値になる前のものから前記切替完了閾値になった場合のものに置き換わるように、選択する前記バッファを切り替えることを特徴とする請求項１、６、７～９のいずれか１項に記載の車両用画像処理装置。
  11. 前記プロセッサは、
    前記車速が前記切替開始閾値になった場合には、前記切替完了閾値になった場合に選択すべき前記バッファに対応する前記カメラと、撮影方向において最も関連のない前記カメラに対応する前記バッファから切り替えることを特徴とする請求項２または１０に記載の車両用画像処理装置。
  12. 特定場所における監視方向の指示を含む特性情報を取得する取得部を、さらに備え、
    前記プロセッサは、前記走行位置および前記特性情報に基づいて前記複数のバッファの少なくとも１つを選択することを特徴とする請求項１～１１のいずれか１項に記載の車両用画像処理装置。
  13. 前記車両は産業用車両であり、
    前記状態情報は、車速および操舵角を含んでおり、
    前記プロセッサは、前記状態情報に基づいて前記車両の旋回が右旋回か左旋回かを判定すると共に、前記右旋回時には進行方向に向かって少なくとも前方右側および後方左側が撮影される前記画像データが蓄積される前記バッファを選択し、前記左旋回時には進行方向に向かって少なくとも前方左側および後方右側が撮影される前記画像データが蓄積される前記バッファを選択することを特徴とする請求項１、２、４、５、７～１２のいずれか１項に記載の車両用画像処理装置。
  14. 前記複数のカメラは、前記車両の右側を撮影するための右側撮影カメラ、および左側を撮影するための左側撮影カメラを含み、
    前記プロセッサは、右旋回時には、前記右側撮影カメラおよび前記左側撮影カメラでそれぞれ撮影された前記画像データの左側の一部の領域に対して前記画像処理を実行し、前記左旋回時には、前記右側撮影カメラおよび前記左側撮影カメラでそれぞれ撮影された前記画像データの右側の一部の領域に対して前記画像処理を実行することを特徴とする請求項３または１３に記載の車両用画像処理装置。
  15. 前記状態情報は、操舵角と、前記車両のギアのシフトポジションと、を含み、
    前記プロセッサは、前記操舵角および前記シフトポジションに基づいて前記車両が走行する経路を推定すると共に、前記推定結果に基づいて、前記バッファから取得した前記画像データに含まれる一部の領域に対して前記画像処理を実行することを特徴とする請求項１～１４のいずれか１項に記載の車両用画像処理装置。
  16. 前記複数のカメラは、前記車両の第１方向を撮影するための第１カメラ、および前記第１方向とは異なる方向を撮影するための第２カメラを含み、
    前記第１カメラおよび前記第２カメラによりそれぞれ撮影された前記画像データの輝度に基づいて、前記複数のカメラの各々の撮影パラメータを調節する調節部を、さらに備えることを特徴とする請求項１～１５のいずれか１項に記載の車両用画像処理装置。
  17. 車両に設置された複数のカメラからそれぞれ逐次入力される画像データを前記複数のカメラと対応付けて蓄積するよう構成された複数のバッファと、
    車速を含む前記車両の状態情報に基づいて選択する前記バッファから前記画像データを取得して画像処理を実行するよう構成されたプロセッサと、
    前記複数のバッファの各々の前記画像データを前記プロセッサに転送するための信号線と、
    前記プロセッサから要求された前記バッファの前記画像データを前記信号線に出力するよう構成された転送コントローラと、を有するコンピュータの前記プロセッサに実行させる車両用画像処理方法であって、
    前記車速と閾値との比較に基づいて、前記バッファの選択を実行するステップを、備え、
    前記複数のカメラは、前記車両の進行方向における遠距離を撮影するための遠距離カメラ、および前記車両の進行方向を撮影するための、前記遠距離カメラよりも画角が広くかつ近距離を撮影するための近距離カメラを含み、
    前記閾値は、第２閾値を含み、
    前記プロセッサは、前記車速が前記第２閾値以上の場合には前記遠距離カメラで撮影された前記画像データが蓄積される前記バッファを選択し、前記車速が前記第２閾値よりも小さい場合には前記近距離カメラで撮影された前記画像データが蓄積される前記バッファを選択する
    ことを特徴とする車両用画像処理方法。
  18. 車両に設置された複数のカメラからそれぞれ逐次入力される画像データを前記複数のカメラと対応付けて蓄積するよう構成された複数のバッファと、
    車速を含む前記車両の状態情報に基づいて選択する前記バッファから前記画像データを取得して画像処理を実行するよう構成されたプロセッサと、
    前記複数のバッファの各々の前記画像データを前記プロセッサに転送するための信号線と、
    前記プロセッサから要求された前記バッファの前記画像データを前記信号線に出力するよう構成された転送コントローラと、を有するコンピュータの前記プロセッサに実行させる車両用画像処理方法であって、
    前記車速と閾値との比較に基づいて、前記バッファの選択を実行するステップを、備え、
    前記閾値は、切替開始閾値、および前記切替開始閾値との差が第１値となる切替完了閾値を含み、
    前記プロセッサは、
    単位時間当たり所定数の前記画像データの前記画像処理を実行するよう構成されると共に、
    前記切替開始閾値と前記切替完了閾値との間に前記車速がある場合には、前記単位時間当たりに前記画像処理する前記所定数の画像データが、前記車速が前記切替開始閾値から前記切替完了閾値に近づくほど、前記切替開始閾値になる前のものから前記切替完了閾値になった場合のものに置き換わるように、選択する前記バッファを切り替える
    ことを特徴とする車両用画像処理方法。
  19. 車両に設置された複数のカメラからそれぞれ逐次入力される画像データを前記複数のカメラと対応付けて蓄積するよう構成された複数のバッファと、
    車速を含む前記車両の状態情報に基づいて選択する前記バッファから前記画像データを取得して画像処理を実行するよう構成されたプロセッサと、
    前記複数のバッファの各々の前記画像データを前記プロセッサに転送するための信号線と、
    前記プロセッサから要求された前記バッファの前記画像データを前記信号線に出力するよう構成された転送コントローラと、を有するコンピュータの前記プロセッサに実行させる車両用画像処理方法であって、
    前記車速と閾値との比較に基づいて、前記バッファの選択を実行するステップを、備え、
    前記車両は産業用車両であり、
    前記状態情報は、車速および操舵角を含んでおり、
    前記プロセッサは、前記状態情報に基づいて前記車両の旋回が右旋回か左旋回かを判定すると共に、前記右旋回時には進行方向に向かって少なくとも前方右側および後方左側が撮影される前記画像データが蓄積される前記バッファを選択し、前記左旋回時には進行方向に向かって少なくとも前方左側および後方右側が撮影される前記画像データが蓄積される前記バッファを選択する
    ことを特徴とする車両用画像処理方法。
  20. 車両に設置された複数のカメラからそれぞれ逐次入力される画像データを前記複数のカメラと対応付けて蓄積するよう構成された複数のバッファと、
    車速を含む前記車両の状態情報に基づいて選択する前記バッファから前記画像データを取得して画像処理を実行するよう構成されたプロセッサと、
    前記複数のバッファの各々の前記画像データを前記プロセッサに転送するための信号線と、
    前記プロセッサから要求された前記バッファの前記画像データを前記信号線に出力するよう構成された転送コントローラと、を備えたコンピュータの前記プロセッサに、
    前記車速と閾値との比較に基づいて、前記バッファの選択を実行するステップを、実行させる車両用画像処理プログラムであって、
    前記複数のカメラは、前記車両の進行方向における遠距離を撮影するための遠距離カメラ、および前記車両の進行方向を撮影するための、前記遠距離カメラよりも画角が広くかつ近距離を撮影するための近距離カメラを含み、
    前記閾値は、第２閾値を含み、
    前記プロセッサは、前記車速が前記第２閾値以上の場合には前記遠距離カメラで撮影された前記画像データが蓄積される前記バッファを選択し、前記車速が前記第２閾値よりも小さい場合には前記近距離カメラで撮影された前記画像データが蓄積される前記バッファを選択する
    ことを特徴とする車両用画像処理プログラム。
  21. 車両に設置された複数のカメラからそれぞれ逐次入力される画像データを前記複数のカメラと対応付けて蓄積するよう構成された複数のバッファと、
    車速を含む前記車両の状態情報に基づいて選択する前記バッファから前記画像データを取得して画像処理を実行するよう構成されたプロセッサと、
    前記複数のバッファの各々の前記画像データを前記プロセッサに転送するための信号線と、
    前記プロセッサから要求された前記バッファの前記画像データを前記信号線に出力するよう構成された転送コントローラと、を備えたコンピュータの前記プロセッサに、
    前記車速と閾値との比較に基づいて、前記バッファの選択を実行するステップを、実行させる車両用画像処理プログラムであって、
    前記閾値は、切替開始閾値、および前記切替開始閾値との差が第１値となる切替完了閾値を含み、
    前記プロセッサは、
    単位時間当たり所定数の前記画像データの前記画像処理を実行するよう構成されると共に、
    前記切替開始閾値と前記切替完了閾値との間に前記車速がある場合には、前記単位時間当たりに前記画像処理する前記所定数の画像データが、前記車速が前記切替開始閾値から前記切替完了閾値に近づくほど、前記切替開始閾値になる前のものから前記切替完了閾値になった場合のものに置き換わるように、選択する前記バッファを切り替える
    ことを特徴とする車両用画像処理プログラム。
  22. 車両に設置された複数のカメラからそれぞれ逐次入力される画像データを前記複数のカメラと対応付けて蓄積するよう構成された複数のバッファと、
    車速を含む前記車両の状態情報に基づいて選択する前記バッファから前記画像データを取得して画像処理を実行するよう構成されたプロセッサと、
    前記複数のバッファの各々の前記画像データを前記プロセッサに転送するための信号線と、
    前記プロセッサから要求された前記バッファの前記画像データを前記信号線に出力するよう構成された転送コントローラと、を備えたコンピュータの前記プロセッサに、
    前記車速と閾値との比較に基づいて、前記バッファの選択を実行するステップを、実行させる車両用画像処理プログラムであって、
    前記車両は産業用車両であり、
    前記状態情報は、車速および操舵角を含んでおり、
    前記プロセッサは、前記状態情報に基づいて前記車両の旋回が右旋回か左旋回かを判定すると共に、前記右旋回時には進行方向に向かって少なくとも前方右側および後方左側が撮影される前記画像データが蓄積される前記バッファを選択し、前記左旋回時には進行方向に向かって少なくとも前方左側および後方右側が撮影される前記画像データが蓄積される前記バッファを選択する
    ことを特徴とする車両用画像処理プログラム。
  23. 請求項２０～２２のいずれか１項に記載の車両用画像処理プログラムを記憶したコンピュータ読み取り可能な記憶媒体。
JP2018194136A 2018-10-15 2018-10-15 車両用画像処理装置、車両用画像処理方法、プログラムおよび記憶媒体 Active JP7184591B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018194136A JP7184591B2 (ja) 2018-10-15 2018-10-15 車両用画像処理装置、車両用画像処理方法、プログラムおよび記憶媒体
DE102019007001.1A DE102019007001B4 (de) 2018-10-15 2019-10-08 FAHRZEUGBILDVERARBEITUNGSVORRICHTUNG, FAHRZEUGBILDVERARBEITUNGSVERFAHREN, PROGRAMM und SPEICHERMEDIUM
US16/595,701 US11450029B2 (en) 2018-10-15 2019-10-08 Vehicle image processing device, vehicle image processing method, program and storage medium
CN201910952932.9A CN111038387B (zh) 2018-10-15 2019-10-09 车辆用图像处理装置及图像处理方法、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018194136A JP7184591B2 (ja) 2018-10-15 2018-10-15 車両用画像処理装置、車両用画像処理方法、プログラムおよび記憶媒体

Publications (2)

Publication Number Publication Date
JP2020064341A JP2020064341A (ja) 2020-04-23
JP7184591B2 true JP7184591B2 (ja) 2022-12-06

Family

ID=69954827

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018194136A Active JP7184591B2 (ja) 2018-10-15 2018-10-15 車両用画像処理装置、車両用画像処理方法、プログラムおよび記憶媒体

Country Status (4)

Country Link
US (1) US11450029B2 (ja)
JP (1) JP7184591B2 (ja)
CN (1) CN111038387B (ja)
DE (1) DE102019007001B4 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6607272B2 (ja) * 2018-03-02 2019-11-20 株式会社Ｊｖｃケンウッド 車両用記録装置、車両用記録方法及びプログラム
KR20210030523A (ko) * 2019-09-09 2021-03-18 현대자동차주식회사 차량 및 그 제어 방법
US20240152592A1 (en) * 2021-03-26 2024-05-09 Nec Corporation Authentication terminal, authentication system, authentication method, and non-transitory computer readable medium
US11987266B2 (en) * 2022-02-25 2024-05-21 Hitachi Astemo, Ltd. Distributed processing of vehicle sensor data
CN115719325B (zh) * 2022-12-07 2023-11-17 钧捷科技（北京）有限公司 基于无人驾驶的路况图像处理系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006148327A (ja) 2004-11-17 2006-06-08 Olympus Corp 画像生成装置
JP2006311003A (ja) 2005-04-27 2006-11-09 Nissan Motor Co Ltd 車両用画像生成装置および方法
JP2007214769A (ja) 2006-02-08 2007-08-23 Nissan Motor Co Ltd 車両用映像処理装置、車両周囲監視システム並びに映像処理方法
JP2017151541A (ja) 2016-02-22 2017-08-31 日立オートモティブシステムズ株式会社 情報処理装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6734896B2 (en) 2000-04-28 2004-05-11 Matsushita Electric Industrial Co., Ltd. Image processor and monitoring system
JP2006180446A (ja) 2004-11-26 2006-07-06 Nissan Motor Co Ltd 映像撮像装置及び映像撮像方法
US7782374B2 (en) * 2005-03-03 2010-08-24 Nissan Motor Co., Ltd. Processor and processing method for generating a panoramic image for a vehicle
JP2011131678A (ja) * 2009-12-24 2011-07-07 Fujitsu Ten Ltd 画像処理装置、画像処理システム、および、画像処理方法
JP2013093013A (ja) 2011-10-06 2013-05-16 Ricoh Co Ltd 画像処理装置、車両
JP2015210584A (ja) 2014-04-24 2015-11-24 トヨタ自動車株式会社 画像処理装置
JP6340969B2 (ja) * 2014-07-14 2018-06-13 アイシン精機株式会社 周辺監視装置、及びプログラム
JP6582644B2 (ja) * 2014-08-11 2019-10-02 セイコーエプソン株式会社 撮像装置、撮像表示装置、及び、車両
JP6361415B2 (ja) * 2014-09-24 2018-07-25 株式会社デンソー 車両用画像処理装置
RU2668782C1 (ru) 2015-06-05 2018-10-02 Ниссан Мотор Ко., Лтд. Устройство выявления светофора и способ выявления светофора
US20170132476A1 (en) * 2015-11-08 2017-05-11 Otobrite Electronics Inc. Vehicle Imaging System
JP6620733B2 (ja) 2016-12-13 2019-12-18 株式会社デンソー 認識装置
US20180314253A1 (en) * 2017-05-01 2018-11-01 Mentor Graphics Development (Deutschland) Gmbh Embedded automotive perception with machine learning classification of sensor data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006148327A (ja) 2004-11-17 2006-06-08 Olympus Corp 画像生成装置
JP2006311003A (ja) 2005-04-27 2006-11-09 Nissan Motor Co Ltd 車両用画像生成装置および方法
JP2007214769A (ja) 2006-02-08 2007-08-23 Nissan Motor Co Ltd 車両用映像処理装置、車両周囲監視システム並びに映像処理方法
JP2017151541A (ja) 2016-02-22 2017-08-31 日立オートモティブシステムズ株式会社 情報処理装置

Also Published As

Publication number Publication date
CN111038387B (zh) 2023-05-19
CN111038387A (zh) 2020-04-21
DE102019007001B4 (de) 2023-09-28
US20200118294A1 (en) 2020-04-16
JP2020064341A (ja) 2020-04-23
US11450029B2 (en) 2022-09-20
DE102019007001A1 (de) 2020-04-16

Similar Documents

Publication Publication Date Title
JP7184591B2 (ja) 車両用画像処理装置、車両用画像処理方法、プログラムおよび記憶媒体
EP3467698B1 (en) Method for monitoring blind spot of vehicle and blind spot monitor using the same
US11192557B2 (en) Road profile along a predicted path
US11307580B2 (en) Autonomous vehicle parking system
JP6447722B2 (ja) 信号機検出装置及び信号機検出方法
JP6805364B2 (ja) 駐車場内に存在する隆起した物体を検出するための方法およびシステム
EP3113148B1 (en) Local location computation device and local location computation method
WO2020133005A1 (zh) 车辆控制方法、相关设备及计算机存储介质
JP2020500389A (ja) 駐車場内に存在する隆起した物体を検出するための方法およびシステム
JP2012073927A (ja) 運転支援装置
CN110281925B (zh) 行驶控制装置、车辆以及行驶控制方法
CN111862226B (zh) 用于车辆中的摄像机校准和图像预处理的硬件设计
CN113705272A (zh) 可行驶区域检测方法、装置、设备及存储介质
US10974719B2 (en) Mobile object control system, mobile object control method, and program
JP6387710B2 (ja) カメラシステム、測距方法、およびプログラム
JP2008060988A (ja) 走行環境情報取得装置
JP4804202B2 (ja) ステレオ式監視装置
JP4209647B2 (ja) 画像処理装置および画像処理方法
JP7050098B2 (ja) 車両制御装置、車両制御方法、およびプログラム
CN115443651A (zh) 基于车辆摄像头在车辆上的位置和基于当前运动参数来确定摄像头图像的当前聚焦区域
JP4204818B2 (ja) 画像処理装置
JP2020009386A (ja) 周辺認識装置及び車載カメラシステム
JP7005762B2 (ja) カメラ装置の標識認識方法及び標識認識装置
CN114521180B (en) Object detection device, travel control system, and travel control method
CN114521180A (zh) 物体检测装置、行驶控制系统以及行驶控制方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211001

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221124

R150 Certificate of patent or registration of utility model

Ref document number: 7184591

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350