JPWO2020129517A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JPWO2020129517A1
JPWO2020129517A1 JP2020561232A JP2020561232A JPWO2020129517A1 JP WO2020129517 A1 JPWO2020129517 A1 JP WO2020129517A1 JP 2020561232 A JP2020561232 A JP 2020561232A JP 2020561232 A JP2020561232 A JP 2020561232A JP WO2020129517 A1 JPWO2020129517 A1 JP WO2020129517A1
Authority
JP
Japan
Prior art keywords
identification area
image processing
image
unit
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020561232A
Other languages
English (en)
Other versions
JP7201706B2 (ja
Inventor
亮輔 鴇
亮輔 鴇
裕史 大塚
裕史 大塚
郭介 牛場
郭介 牛場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Astemo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Astemo Ltd filed Critical Hitachi Astemo Ltd
Publication of JPWO2020129517A1 publication Critical patent/JPWO2020129517A1/ja
Application granted granted Critical
Publication of JP7201706B2 publication Critical patent/JP7201706B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

周辺に存在する歩行者の全身を検知できない場合においても、歩行者か否かの識別を正しく行うことができる画像処理装置を実現する。昼間に足元が見切れた場合のカメラ画像1101では歩行者の頭部まで含めた上半身を識別領域とするために識別領域11020を補正した結果は、識別領域1102となる。夜間に自車両の前照灯がロービームでのカメラ画像1103では歩行者の頭部が検知領域に含まれていないと判断できるカメラ画像1103について歩行者の頭部まで含めた上半身を識別領域とするために識別領域11030を補正し、識別領域1104とする。夜間に自車両の前照灯がハイビームでのカメラ画像1105では、歩行者の足元が見切れた画像11060について、歩行者の頭部まで含めた上半身を識別領域とするために補正し、識別領域1106とする。

Description

本発明は、車載カメラにおける歩行者を識別する画像処理装置に関する。
近年、車載センシング装置の普及により、運転支援システムや自動運転システムの開発が進められている。より高度なシステムの開発においては、自動車周辺に存在する物体を車両か歩行者かなどといった種別を識別する必要がある。
自動車周辺に存在する物体の種別の識別には、特許文献1に記載されているように、あらかじめ機械学習によって作成した識別器を用いて、車載カメラやレーダーなどによって検出された物体を識別するという手法が取り入れられている。
特開2013−232080号公報
従来技術における歩行者の識別は、検知した領域内に歩行者の全身が映っているものとして、歩行者の全身の識別処理を行うことで識別性能を保っている。
そのため、歩行者の下半身が画角外に出てしまうような近距離に歩行者が存在する場合や、生垣やガードレールなどで歩行者の下半身が隠れる場合、夜間の前照灯の照射具合により歩行者の全身が検出できない等の場合に、歩行者識別性能が低下してしまっていた。
本発明の目的は、周辺に存在する歩行者の全身を検知できない場合においても、歩行者か否かの識別を正しく行うことができる画像処理装置を実現することである。
上記目的を達成するため、本発明は次のように構成される。
画像処理装置において、外環境の画像情報を検出する検出部と、前記検出部の検出した前記画像情報から立体物を識別する識別領域の補正量を算出する識別領域補正量算出部と、前記識別領域補正量算出部が算出した前記補正量に基づいて、前記立体物を識別するための前記画像情報の前記識別領域を補正する識別領域補正部と、前記識別領域補正部により補正された識別領域内の立体物を識別処理する識別処理部と、を備える。
本発明によれば、周辺に存在する歩行者の全身を検知できない場合においても、歩行者か否かの識別を正しく行うことができる画像処理装置を実現することができる。
本発明の一実施例に係る画像処理装置の全体構成を示すブロック図である。 ステレオカメラ装置内の処理フローを示す図である。 カメラ画像上での立体物検知処理の結果を図示した図である。 一実施例の処理構成を示す図である。 一実施例の処理構成の詳細を示す図である。 夜間のカメラ画像と立体物検知処理の動作結果の一例を示す図である。 立体物検知処理において検知領域に遮蔽物を含んでしまった場合の立体物検知結果を示す図である。 立体物の足元が見切れる状態を示す画像を示す図である。 カメラの画角と歩行者との距離関係を示す図である。 前照灯照射範囲と歩行者との距離関係を示す図である。 識別領域補正処理結果の例を示す図である。
本発明の実施形態について添付図面を参照して説明する。
図1は、本発明の一実施例に係る画像処理装置の全体構成を示すブロック図である。
図1において、本発明の一実施例における車載ステレオカメラ装置100は、車両に搭載され、車両前方の撮影対象領域の外環境の画像情報に基づいて車外環境を認識する装置である。車載ステレオカメラ装置100は、例えば、道路の白線、歩行者、車両、その他の立体物、信号、標識、点灯ランプなどの認識を行い、当該ステレオカメラ装置100を搭載した車両(自車両)のブレーキ、ステアリング調整などの調整を行う。
車載ステレオカメラ装置100は、画像情報を取得する左右に配置された2つのカメラ(左カメラ101、右カメラ102(外環境を撮像し、画像を得る撮像部))と、カメラ101、102の撮像を制御して、撮像した画像を取り込むための画像入力インタフェース103を備える。
この画像入力インタフェース103を通して取り込まれた画像は、バス109を通してデータが送られ、画像処理部104や、演算処理部105で処理され、処理途中の結果や最終結果となる画像データなどが記憶部106に記憶される。
画像処理部104は、カメラ101の撮像素子から得られる第1の画像と、カメラ102の撮像素子から得られる第2の画像とを比較して、それぞれの画像に対して、カメラ101およびカメラ102の撮像素子に起因するデバイス固有の偏差の補正や、ノイズ補間などの画像補正を行い、これを記憶部106に記憶させる。
更に、カメラタ101からの第1の画像と、カメラ102からの第2の画像との間で、相互に対応する箇所を計算して、視差情報を計算し、先程と同様に、これを記憶部106に記憶させる。
演算処理部105は、記憶部106に蓄えられた画像および視差情報(画像上の各点に対する距離情報)を使い、車両周辺の環境を知覚するために必要な、各種物体の認識を行う。
各種物体とは、人、車、その他の障害物、信号機、標識、車のテールランプやヘッドライド、などである。これら認識結果や中間的な計算結果の一部が、先程と同様に、記憶部106に記録される。撮像した画像に対して各種物体認識を行った後に、これら認識結果を用いて車両の制御に必要な指令値等が計算される。
計算の結果として得られた車両の制御方針や、物体認識結果の一部はCANインタフェース107を通して、車載ネットワークCAN110に伝えられ、これにより車両の制動が行われる。
また、これらの動作について、各処理部が異常動作を起こしていないか、データ転送時にエラーが発生していないかどうかなどを、制御処理部108が監視しており、異常動作を防ぐ構成となっている。
上記の画像処理部104は、内部バス109を介して制御処理部108、記憶部106、演算処理部105および左カメラ101及び右カメラ102の撮像素子との間の入出力部103と外部車載ネットワークCAN110との入出力部107に接続されている。
画像入力インタフェース103、画像処理部104、記憶部106、演算処理部105、入出力部107および制御処理部108は、単一または複数のコンピュータユニットにより構成されている。
記憶部106は、例えば画像処理部104によって得られた画像情報や、演算処理部105によって走査された結果作られた画像情報等を記憶するメモリ等により構成されている。
外部車載ネットワークCAN110との入出力部107は、車載ステレオカメラ装置100から出力された情報を、外部車載ネットワークCAN110を介して自車両の制御システム(図示せず)に出力する。
図2は、ステレオカメラ装置100内の処理フローを示す図である。
まず、車載ステレオカメラ装置100内において、左右のカメラ101と102により画像が撮像され、各々で撮像した画像データ203、204のそれぞれについて、撮像素子が持つ固有の癖を吸収するための補正などの画像処理205を画像処理部104が行う。その処理結果は画像バッファ206に蓄えられる。画像バッファ206は、図1の記憶部106に設けられる。
更に、補正された2つの画像を使って、画像同士の照合を行い、これにより左右カメラで得た画像の視差情報を得る。左右画像の視差により、対象物体上のある着目点が、左右カメラ101および102の画像上の何処と何処に対応するかが明らかとなり、三角測量の原理によって、対象物までの距離が得られることになる。
これを行うのが視差処理207である。画像処理205および視差処理207は、図1の画像処理部104で行われ、最終的に得られた画像、および視差情報は記憶部106に蓄えられる。
上記によって得られた視差画像を用いて、3次元空間上の立体物を検知する検知処理208を行う。更に上記の記憶部106に記憶された画像、および視差情報を用いて、各種物体認識処理209を行う。認識対象の物体としては、人、車、その他の立体物、標識、信号機、テールランプなどがあり、認識処理の詳細は対象の特性とシステム上かけられる処理時間などの制約によって決定されている。
更に、物体認識の結果と、自車両の状態(速度、舵角など)とを勘案して、車両制御処理210によって、例えば、乗員に警告を発し、自車両のブレーキングや舵角調整などの制動を行う、あるいは、それによって対象物の回避制御を行う方針を決め、その結果はCANインタフェース107を通して出力する。
立体物検知処理208、各種物体認識処理209および車両制御処理210は、図1の演算処理部105で行われる。これらの各処理各手段は、例えば単一または複数のコンピュータユニットにより構成され、相互にデータを交換可能に構成されている。
上記視差処理207により左右画像の各画素の視差または距離が得られ、立体物検知処理208で3次元空間上の立体物としてグルーピングされ,その画像上の位置と領域を元に各種物体認識処理209が実施される。この時、各種物体認識処理209が安定して物体の認識を行うためには、画像上の立体物領域と認識したい対象の映りが一致している必要がある。
しかし、ステレオカメラにおいては、外環境の明るさやカメラ間の撮像性能のばらつき、ガラス面の異物などによって発生するオクルージョン、などによって、認識したい画像上の物体領域を完全に一致させることができない場合がある。
これは、ミリ波などのレーダーと、カメラなどの画像センサを組み合わせた場合でも同様である。そこで、各種認識処理において、本発明の一実施例が適用される。
以下では、ステレオカメラ装置を前提に構成を述べる。
図3はカメラ画像上での立体物検知処理208の結果を図示した図である。
図3において、立体物検知処理208の結果である立体物領域301は、3次元空間上に存在する歩行者、車両、樹木や街灯などの路面上高さを持った物体ごとに得られ、画像上の領域として投影される。
立体物領域301は図3のように矩形であっても、視差や距離から得られる不定形の領域であっても構わない。後段の処理において計算機での扱いを容易にするため一般的には矩形として扱われる。本実施例では以下、領域は矩形として扱い、立体物の一例として歩行者を用いて各処理の詳細を述べる。
図4は、本実施例の処理構成を示す図である。上述したように、各種物体認識209は演算処理部105にて行われる。よって、図4に示した構成は、演算処理部105の内部構成である。
なお、以下ではステレオカメラを前提に構成を述べる。
図4において、検出部401は、撮像部であるカメラ101、102が撮像した外環境の画像情報から撮像部から立体物までの距離等を検出し、明るさや天候といった外環境の状況や立体物検知処理208から得られた検知対象物体領域の距離分布などをもとに検知対象物体領域に遮蔽物が含まれているか等を検出する。
領域補正量算出部(識別領域補正量算出部)402は、検出部401が検出した画像情報から立体物を識別する識別領域の補正量を算出する。つまり、検出した外環境の明るさ、立体物との距離、前照灯照射範囲、遮蔽物の位置やサイズの少なくとも一つに基づいて、立体物の識別領域の補正量を算出する。
識別領域補正部403では、領域補正量算出部402によって算出された補正量をもとに識別領域の補正を実施する。
識別処理部404にて、設定された(補正された)識別領域内の立体物が識別処理される。識別処理には、例えば以下のような技術があげられる。
あらかじめ用意した認識対象らしさを有するテンプレートと識別領域を比較するテンプレートマッチング、輝度画像やHOGやHaar−Likeといった特徴量と、サポートベクターマシンやAda−BoostやDeepLearningといった機械学習手法を合わせた識別器(ソフトウェア)を利用する手法がある。
また、エッジ形状などを人為的に決めた閾値判定で認識しても良い
図5は本実施例の処理構成の詳細(図4に示した各部の詳細)を示す図である。
図5において、検出部401の外環境判定処理501は、立体物検知処理208が行われたときの外環境の明るさの状態の判定を行う。図6は外環境の例を示す図であり、夜間のカメラ画像と立体物検知処理208の動作結果の一例を示すカメラ画像601の図である。
図3に示すように、外環境が昼間であれば、画像中に移っている歩行者の全体が立体物領域(検知領域)301に含まれるように検知される。しかし、夜間など暗くなってしまう場合、図6に示すように、歩行者と背景が分離できず、立体物検知処理208において、検知領域602には歩行者の下半分は含まれるが、上半分は含まれず、歩行者の全体が含まれていないことが想定される。
外環境の明るさの判定においては、画像中の輝度分布などを画像処理によって求める、車両の内部情報から時刻を直接取得するなどして判定してもよい。また、露光調整を実施したカメラのシャッタースピードが閾値以下であれば昼間、閾値以上であれば夜間というように判定することもできる。
また、シャッタースピードだけでなく、画像中の輝度分布や前後フレーム間の輝度の変化などを観測し、トンネル内や薄暮といったような詳細な外環境の判定を行うことも可能である。
図5において、検出部401の遮蔽物検出処理502は、立体物検知処理208が行われたときに検知領域内に歩行者以外の物体が含まれているかを検出し、歩行者が遮蔽されているかを判定する。
図7は立体物検知処理208において検知領域701に遮蔽物を含んでしまった場合の立体物検知結果を示す図である。図7において、検知領域(識別領域)701の視差分布702を見て、視差の異なる領域が多く含まれている場合、各領域の距離を算出し、歩行者(立体物)が遮蔽物703により遮蔽されていると判断し、手前方向と奥行方向にある領域をもって検知領域内にて遮蔽物703と歩行者との領域を判別する。そして、遮蔽物703を検知領域(識別領域)701から除外するように識別領域の補正量が算出され、補正した識別領域内の立体物が識別される。
図5において、領域補正量算出部402の距離判定処理503では、検知した立体物が歩行者である場合に歩行者の足元が見切れる距離にいるかを判定し、識別領域の補正量の算出を行う。図8は、立体物(図8では歩行者)の足元が見切れる状態を示す画像を示す図である。図8に示すように、立体物の足元が見切れるか否かは画像上における検知領域801の下端が撮像した画像の下端に接しているかで判定することができる。
また、図9はカメラの画角と歩行者との距離関係を示す図である。図9に示すように、立体物が歩行者である場合に、足元が画像中から見切れてしまう距離は、検知した立体物と車両との距離、カメラ撮影画角901、カメラ設置高さ、カメラの姿勢から算出する手法なども考えられる。
足元が画像中から見切れてしまう距離は、距離設定値として予め設定して記憶部106に格納しておき、足元が画像中から見切れてしまう距離の条件として撮像部(左カメラ101、右カメラ102)が検知した距離が距離設定値以下か否かにより判断する。
識別領域補正部403は、検知した距離が距離設定値以下の場合であって、検知した立体物の上部(頭部)が識別領域に入っていないと判断できる場合は、識別領域の上部領域を広げる(拡張する)補正を行う。この場合、識別領域補正部403は、検知した距離が距離設定値以下の範囲内において、検知した距離が、大きいほど識別領域の上端領域の補正量が小さくなるように補正する。
図5において、領域補正量算出部402の前照灯照射範囲判定補正処理504は、車両の前照灯(外環境の前方を照射する前照灯)の照射状態から識別領域に歩行者の頭部が含まれるように識別領域の補正量を算出する。図10は、前照灯照射範囲と歩行者との距離関係を示す図である。図10の(A)に示すように、前照灯がロービームの場合(前照灯の照射範囲が低く設定されている場合)、路面を照らす方向に前照灯の光軸が向くため、歩行者が車両に近いほど光の当たる範囲1001は足元側になり、頭部付近は照らされなくなってしまう。
そのため、図10の(B)に示すように、カメラ画像1002で歩行者を観測すると頭部は暗くなり、背景と混じってしまうため、立体物検知処理208の結果は歩行者の頭部を含まない検知領域1003となる。
図10の(C)に示すように、ハイビームの場合(前照灯の照射範囲が高く設定されている場合)は、光軸が上を向くため歩行者が近傍にいる場合においても頭部が照射範囲1004に含まれるようになる。この時のカメラ画像1005で歩行者を観測すると、図10の(D)に示すように、頭部にも光が当たり、立体物検知処理208の結果は歩行者の頭部を含む検知領域1006となる。
そのため、ロービームとハイビーム、それぞれに応じた補正量の算出を行う。補正量の決め方は、例えば、ロービームの場合、照射範囲と距離に応じて頭部が含まれにくい位置に歩行者がいるとするならば、実空間上のサイズで一頭身分、例えば25cmを識別領域の上端方向の補正量とする(識別領域の上部領域を広げる補正を行う)。また、ハイビームの場合であれば、頭部が含まれやすくなるため、補正量は四半頭身分の、例えば6cmとするといった具合である。
ロービーム、ハイビームの判定は、自車両の内部情報を直接参照する、撮像した画像に対し画像処理を行い輝度の分布などを算出することなどで判定してもよい。また、車両が装備している前照灯の種類(LED、ハロゲンなど)によって、それらの光の拡散の特性を考慮して補正量の値を算出することも可能である。外環境判定処理501の結果を用いて補正量を変更することも可能である。例えば、外環境判定処理501では、薄暮程度の暗さと判定された場合、前照灯がロービームであっても歩行者の頭部まで十分に検知できるものと判定し、夜間のロービームの場合に対して補正量を少なくするといった調整も可能である。
領域補正量算出部402の検出結果補正処理505では、検出部401によって検知領域に遮蔽物があると判定された場合、遮蔽物検出処理502の結果を用いて、識別領域内に遮蔽物が含まれないように識別領域の補正量を算出する。例えば、図7の視差分布702から手前側の物体と奥行側の物体を視差分布に応じてクラスタリングし、遮蔽物703と歩行者の領域を分別し、遮蔽物703の領域を含めないように識別領域の補正量を算出することが挙げられる。
また、検出結果補正処理505において、視差情報だけでなく、カラー情報や特徴量の抽出などを用いて遮蔽物703と歩行者との位置関係などを詳細に求めて遮蔽物703を含めないように補正量を算出する処理を行ってもよい。
識別領域補正部403の識別領域補正処理506は、領域補正量算出部402によって算出された各補正量をもとに識別領域のリサイズを実施する。立体物検知領域を識別領域のベースとして、距離判定補正処理503、前照灯照射範囲判定補正処理504、検出結果補正処理505によって算出した補正量を総合して最終的な識別領域へ補正する。
識別領域補正処理506は、上記の判断結果をもとに、たとえば立体物の検知枠の上部から地面までの高さの半分にあたる領域を、識別領域として再設定するように補正する。
対象物が歩行者である場合は、歩行者の頭部を含めた上半身が識別領域内に含まれるように識別領域を補正し、補正した識別領域内の対象物が歩行者か否かを判断する。これによって、歩行者か否かの識別精度を向上することができる。
図11は、識別領域補正処理結果の例を示す図である。
図11の(A)において、例えば、昼間に足元が見切れた場合のカメラ画像1101では、歩行者の頭部まで含めた上半身を識別領域とするために、識別領域11020を補正した結果は、識別領域1102となる。
また、図11の(B)において、夜間に自車両の前照灯がロービームでのカメラ画像1103では、歩行者の頭部が検知領域に含まれていないと判断できるカメラ画像1103について、歩行者の頭部まで含めた上半身を識別領域とするために識別領域11030を補正し、識別領域1104とする。
また、図11の(C)において、夜間に自車両の前照灯がハイビームでのカメラ画像1105では、歩行者の足元が見切れた画像11060について、歩行者の頭部まで含めた上半身を識別領域とするために補正し、識別領域1106とする。
識別領域補正算出部402は、ロービームの場合(外環境の前方を照射する前照灯の照射範囲が低く設定されている場合)には、識別領域の上部領域の補正量が、ハイビームの場合(前照灯の照射範囲が高く設定されている場合)に比べて大きくなるように補正することとなる。
なお、識別領域の補正量の算出結果から補正後の識別領域と補正前の検知領域とが一致する場合もあり得る。
以上のように、本発明の一実施例によれば、歩行者の一部が遮蔽物で遮蔽されていると判断する場合は、各領域の自車両からの距離を算出し、手前領域の物体を判別して遮蔽物として除去し、残った画像により歩行者か否かを判別するように構成される。
また、対象物の足元が見切れたと判断した場合、頭部を含む上半身部分が識別領域となるように識別領域を補正し、頭部が照射されていないと判断した場合は、頭部まで含む領域が識別領域となるように識別領域を補正し、頭部を含む上半身を有する識別領域を用いて、歩行者か否かを判別するように構成される。
したがって、自車両周辺に存在する歩行者の全身を検知できない場合においても、歩行者か否かの識別を正しく行うことができる画像処理装置を実現することができる。
認識処理404では、識別器を複数用意し、識別領域の補正結果をもとに識別器の切り替えをおこなってもよい。
例えば、補正結果から歩行者の上半身部分が識別領域となった場合は、全身の識別器ではなく、歩行者の上半身の学習データを用いて作成した識別器を用いて識別を行うことが挙げられる。
なお、上述した例は、本発明を車両に搭載される画像処理装置に適用した場合の例であるが、本発明は、車両以外の移動体(物品搬送車等)に搭載される画像理装置にも適用可能である。
また、上述した例は、歩行者(人)を識別する画像処理装置の例であるが、人以外の移動物体を識別する画像処理装置にも適用可能である。例えば、他車両、小動物等を識別する画像処理装置にも適用可能である。
上述した検知領域は対象物を検知するための領域であり、識別領域は検知領域内の検知した対象物を識別するための領域である。よって、識別領域は検知領域を補正する場合が多いが、補正した結果、両者が同一となる場合もあり得る。
100・・・ステレオカメラ装置、 101・・・左カメラ、 102・・・右カメラ、 103・・・画像入力インタフェース、 104・・・画像処理部、 105・・・演算処理部、 106・・・記憶部、 107・・・CANインタフェース、 108・・・制御処理部、 109・・・内部バス、 110・・・外部車載ネットワークCAN、 203、204・・・画像データ、 205・・・画像処理、 206・・・画像バッファ、 207・・・視差処理、 208・・・立体物検知処理、 209・・・各種物体認識処理、 210・・・車両制御処理、 301・・・立体物領域、 401・・・検出部、 402・・・領域補正算出部、 403・・・識別領域補正部、 404・・・識別処理部、 501・・・外環境検出処理、 502・・・遮蔽物検出処理、 503・・・距離判定補正処理、 504・・・前照灯照射範囲判定補正処理、 505・・・検出結果補正処理、 506・・・識別領域補正処理、 601、1002、1005、1101、1103、1105・・・カメラ画像、 701、801、1003、1006・・・検知領域、 702・・・視差分布、 703・・・遮蔽物、 901・・・カメラ撮影画角、 1001・・・光が当たる範囲、 1102、1104、1106、11020、11030、11060・・・識別領域

Claims (7)

  1. 外環境の画像情報を検出する検出部と、
    前記検出部の検出した前記画像情報から立体物を識別する識別領域の補正量を算出する識別領域補正量算出部と、
    前記識別領域補正量算出部が算出した前記補正量に基づいて、前記立体物を識別するための前記画像情報の前記識別領域を補正する識別領域補正部と、
    前記識別領域補正部により補正された識別領域内の立体物を識別処理する識別処理部と、
    を備えることを特徴とする画像処理装置。
  2. 請求項1に記載の画像処理装置において、
    前記検出部は、前記外環境の明るさを検出し、
    前記識別領域補正量算出部は、前記検出部で検出した前記明るさに基づき、前記識別領域の補正量を算出することを特徴とする画像処理装置。
  3. 請求項1に記載の画像処理装置において、
    前記検出部は、前記立体物を遮蔽する遮蔽物を検出し、
    前記識別領域補正量算出部は、前記検出部で検出した前記遮蔽物を前記識別領域から除外するように前記識別領域の補正量を算出することを特徴とする画像処理装置。
  4. 請求項2に記載の画像処理装置において、
    前記識別領域補正算出部は、前記外環境の前方を照射する前照灯の照射範囲が低く設定されている場合には、前記識別領域の上部領域の補正量が、前記前照灯の前記照射範囲が高く設定されている場合に比べて大きくなるように補正することを特徴とする画像処理装置。
  5. 請求項2または3に記載の画像処理装置において、
    前記外環境を撮像し、画像を得る撮像部を、さらに備え、
    前記検出部は、前記撮像部から前記立体物までの距離を検出し、
    前記識別領域補正部は、前記検出部により検出した距離が距離設定値以下の場合であって、前記立体物の上部が前記識別領域に入っていないと判断すると、前記識別領域の上部領域を広げる補正を行うことを特徴とする画像処理装置。
  6. 請求項5に記載の画像処理装置において、
    前記識別領域補正部は、前記検出部により検出した距離が距離設定値以下の場合、前記検出部により検出された距離が大きいほど前記識別領域の前記上端領域の補正の大きさが小さくなるように補正することを特徴とする画像処理装置。
  7. 請求項6に記載の画像処理装置において、
    前記立体物は歩行者であって、前記画像処理装置は、車両に搭載されることを特徴とする画像処理装置。
JP2020561232A 2018-12-18 2019-11-19 画像処理装置 Active JP7201706B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018236756 2018-12-18
JP2018236756 2018-12-18
PCT/JP2019/045181 WO2020129517A1 (ja) 2018-12-18 2019-11-19 画像処理装置

Publications (2)

Publication Number Publication Date
JPWO2020129517A1 true JPWO2020129517A1 (ja) 2021-10-07
JP7201706B2 JP7201706B2 (ja) 2023-01-10

Family

ID=71101241

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020561232A Active JP7201706B2 (ja) 2018-12-18 2019-11-19 画像処理装置

Country Status (3)

Country Link
JP (1) JP7201706B2 (ja)
CN (1) CN113228130B (ja)
WO (1) WO2020129517A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023107532A (ja) * 2022-01-24 2023-08-03 株式会社豊田自動織機 人検知システムの画像処理装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011086097A (ja) * 2009-10-15 2011-04-28 Daihatsu Motor Co Ltd 障害物検出装置
JP2013250734A (ja) * 2012-05-31 2013-12-12 Denso Corp 人検出装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4425642B2 (ja) * 2004-01-08 2010-03-03 富士重工業株式会社 歩行者抽出装置
JP2007058805A (ja) * 2005-08-26 2007-03-08 Fuji Heavy Ind Ltd 前方環境認識装置
JP5383246B2 (ja) * 2009-02-20 2014-01-08 本田技研工業株式会社 車両の周辺監視装置
JP2011165170A (ja) * 2010-01-15 2011-08-25 Toyota Central R&D Labs Inc 対象物検出装置及びプログラム
JP5548667B2 (ja) * 2011-11-24 2014-07-16 富士重工業株式会社 車外環境認識装置
KR101498114B1 (ko) * 2013-11-28 2015-03-05 현대모비스 주식회사 보행자를 검출하는 영상 처리 장치 및 그 방법
JP6091586B1 (ja) * 2015-11-12 2017-03-08 三菱電機株式会社 車両用画像処理装置および車両用画像処理システム
JP6786279B2 (ja) * 2016-07-05 2020-11-18 日立オートモティブシステムズ株式会社 画像処理装置
JP6501749B2 (ja) * 2016-12-26 2019-04-17 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP6772059B2 (ja) * 2016-12-28 2020-10-21 株式会社デンソーテン 電子制御装置、電子制御システムおよび電子制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011086097A (ja) * 2009-10-15 2011-04-28 Daihatsu Motor Co Ltd 障害物検出装置
JP2013250734A (ja) * 2012-05-31 2013-12-12 Denso Corp 人検出装置

Also Published As

Publication number Publication date
CN113228130A (zh) 2021-08-06
WO2020129517A1 (ja) 2020-06-25
CN113228130B (zh) 2023-01-17
JP7201706B2 (ja) 2023-01-10

Similar Documents

Publication Publication Date Title
CN111212756B (zh) 用于控制载运工具的照明系统的方法和设备
JP6537385B2 (ja) 車載環境認識装置
CN104185588B (zh) 用于确定道路宽度的车载成像系统及方法
US10635896B2 (en) Method for identifying an object in a surrounding region of a motor vehicle, driver assistance system and motor vehicle
US7366325B2 (en) Moving object detection using low illumination depth capable computer vision
US7899213B2 (en) Image processing system and vehicle control system
JP6132412B2 (ja) 車外環境認識装置
Alcantarilla et al. Night time vehicle detection for driving assistance lightbeam controller
US8848980B2 (en) Front vehicle detecting method and front vehicle detecting apparatus
US9280900B2 (en) Vehicle external environment recognition device
US20070221822A1 (en) Headlight, Taillight And Streetlight Detection
JP2018097766A (ja) 画像処理装置、外界認識装置
JP6786279B2 (ja) 画像処理装置
US11465629B2 (en) Recognition processing apparatus, recognition processing method, and recognition processing program
US20200074212A1 (en) Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium
JP6468568B2 (ja) 物体認識装置、モデル情報生成装置、物体認識方法、および物体認識プログラム
US9524645B2 (en) Filtering device and environment recognition system
JP4007578B2 (ja) 前照灯照射範囲制御方法及び前照灯装置
JP2011253222A (ja) 前方領域検出装置及び車両制御装置
JP2011033594A (ja) 車両用距離算出装置
JP7201706B2 (ja) 画像処理装置
JP7261006B2 (ja) 車外環境認識装置
JP6533244B2 (ja) 対象物検知装置、対象物検知方法、及び対象物検知プログラム
JP2013101432A (ja) 障害物検出装置及びプログラム
JP6983334B2 (ja) 画像認識装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220809

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221222

R150 Certificate of patent or registration of utility model

Ref document number: 7201706

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150