JP6412934B2 - 物体検出装置、物体検出装置を設置した車両およびプログラム - Google Patents

物体検出装置、物体検出装置を設置した車両およびプログラム Download PDF

Info

Publication number
JP6412934B2
JP6412934B2 JP2016523160A JP2016523160A JP6412934B2 JP 6412934 B2 JP6412934 B2 JP 6412934B2 JP 2016523160 A JP2016523160 A JP 2016523160A JP 2016523160 A JP2016523160 A JP 2016523160A JP 6412934 B2 JP6412934 B2 JP 6412934B2
Authority
JP
Japan
Prior art keywords
region
object detection
vehicle
area
detection device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016523160A
Other languages
English (en)
Other versions
JPWO2015182148A1 (ja
Inventor
直人 大原
直人 大原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Publication of JPWO2015182148A1 publication Critical patent/JPWO2015182148A1/ja
Application granted granted Critical
Publication of JP6412934B2 publication Critical patent/JP6412934B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems

Description

関連出願へのクロスリファレンス
本出願は、日本国特許出願2014−110239号(2014年5月28日出願)の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。
本発明は、物体検出装置および物体検出装置を設置した車両に関する。
従来、路面および路面上の物体を撮像した画像の広範囲を固定的なウィンドウによって区画し、ウィンドウ毎に被写体の物体認識を行う車両用路上物体認識装置が知られている(例えば、特許文献1)。
特開平7−225126号公報
物体検出を行うべき被写体およびその撮影画像内の位置は、運転状況(例えば、速度や操舵)によって異なる。特許文献1記載のようにウィンドウが固定的な場合には、様々な運転状況に対応できるように、物体検出を行うウィンドウを広範囲に設けることが必要となる。しかしながら、ウィンドウを広範囲に設けることは複雑な画像処理量が増えることにつながり、車載カメラのようにリアルタイムの処理が求められるシステムにとっては大きな負担となる。負担が増すことによって、生じる熱も増えるため、当該熱を放熱する機構を設ける必要がある。
本発明の目的は、様々な運転状況に対応しながらもシステム負荷を抑えた物体検出を行うことができる物体検出装置および車両を提供することにある。
本発明に係る物体検出装置は、車両に設置され、前記車両の周辺を撮像する撮像部と、
前記撮像部が撮像した画像を取得し、前記画像内の第1の領域および第2の領域から物体検出を行う制御部とを備え、
前記第1の領域は、前記第2の領域より前記車両から遠距離にある被写体領域に設定され、
前記制御部は、
前記車両の運転状況に応じて、前記第1の領域の位置を前記第2の領域の位置より大きく変更し、前記第1の領域および前記第2の領域の少なくとも一方の形状を前記車両の照明の光の照射形状に合うように変更する。
本発明に係る車両には、周辺を撮像する撮像部と、前記撮像部が撮像した画像を取得し、前記画像内の第1の領域および第2の領域空物体検出を行う制御部とを有し、前記第1の領域は、前記第2の領域より前記車両から遠距離にある被写体領域に設定され、前記制御部は、前記車両の運転状況に応じて、前記第1の領域の位置を前記第2の領域の位置より大きく変更し、前記第1の領域および前記第2の領域の少なくとも一方の形状を前記車両の照明の光の照射形状に合うように変更する物体検出装置が設置される。
本発明によれば、様々な運転状況に対応しながらもシステム負荷を抑えた物体検出を行うことができる。
本発明の一実施形態に係る物体検出システムの機能ブロック図である。 本発明の一実施形態に係る物体検出装置が設置された車両を示す図である。 本発明の一実施形態に係る車両の前方の撮像画像を示す図である。 本発明の一実施形態に係る車両の前方の撮像画像を示す図である。 本発明の一実施形態に係る車両の前方の撮像画像を示す図である。 本発明の一実施形態に係る車両の前方の撮像画像を示す図である。 本発明の一実施形態に係る車両の前方の撮像画像を示す図である。 本発明の一実施形態に係る車両の前方の撮像画像を示す図である。 本発明の一実施形態に係る物体検出装置の動作フローを示す図である。 本発明の一実施形態に係る物体検出装置の動作フローを示す図である。
以下、本発明の一実施形態を図面に基づいて説明する。
図1に示すように、一実施形態に係る物体検出システム1は、物体検出装置2と、バス5と、表示装置6と、ECU7(Electronic Control Unit)とを含む。なお、本発明に係る物体検出システム1の各機能を説明するが、物体検出システム1が備える他の機能を排除することを意図したものではないことに留意されたい。本実施形態に係る物体検出装置2は例えば自動車などの車両に設置することを想定しているが、自動車以外の車両に設置して使用することも可能である。
図1に示すように、本実施形態に係る物体検出システム1においては、バス5に物体検出装置2、表示装置6およびECU7が接続され、それらはバス5を介してCAN(Controller Area Network)通信を行う。物体検出装置2、表示装置6およびECU7は、CAN通信以外の通信規格によって通信を行ってもよい。
図1に示す以外にも、バス5には電子機器関連の要素が接続されるが、以下の説明においては、特に、自動車を構成する各機能部のうち画像などの各種情報が取得される要素および画像などの各種の情報が映像として出力される要素を中心に説明し、他の機能部を構成する要素の図示および説明は省略する。
物体検出装置2は、例えば、モノカメラまたはステレオカメラであって、撮像部3と、制御部4とを備える。撮像部3は、画角の広い光学系、および、CMOSまたはCCDなどの撮像素子を有し、光学系が結像する画像を撮像素子が撮像する。
制御部4は、撮像部3が撮像した撮像画像を取得する。また、制御部4は、ECU7から運転状況を情報として取得する。後に詳細に説明するが、制御部4は撮像画像内で、物体検出(被写体検出)を行う、第1の領域および第2の領域を含む複数の領域の少なくとも1つの位置、形状、および当該複数の領域の数を決定する。さらに、制御部4は、物体検出を行うことを決定した領域のみにおいて、物体検出を行う。または、制御部4は、その領域のみに対して物体検出を行うのではなく、その領域に対して他の領域よりも精度の高い物体検出を行うようにしてもよい。
制御部4は、物体検出の実行結果(例えば、当該領域における被写体の有無、および種類)に応じて、所定の信号(例えば、警告、速度調整、操舵調整、制動調整などを外部機器に実行させる信号)を出力する。また、制御部4は、撮像画像全体または一部を抽出して、所定の画像処理(例えば色補間処理、ホワイトバランス調整処理、およびγ補正処理など)を実行し、表示画像として出力し得る。
物体検出装置2は、制御部4が各種の制御を行った画像を出力し、表示装置6に表示させる。本実施形態において、物体検出装置2は、図1に示すように制御部4を備え、関連する各種の制御を行うユニットとして説明する。図1においては、物体検出装置2が撮像部3および制御部4を単一の筐体内に含まれた態様で記載されているが、カメラモジュールを撮像部として機能させ、且つ、カメラモジュールの外部のMPUをその制御部として機能させることによっても、物体検出装置2を構成可能である。
表示装置6は例えば、液晶ディスプレイまたは有機ELディスプレイ等で構成し、各種の情報および映像等を表示する。また、表示装置6は例えば、タッチパネルで構成することができる。例えば、表示装置6は、車両の各種の車両情報を表示したり、GPS等を利用したナビゲーションシステムの画面を表示したりすることができる。本実施形態においては、表示装置6は、物体検出装置2が出力した映像も表示可能である。
ECU7は、車両に設置される各種システムの制御を行う。本実施形態では、ECU7は例えば、エンジン、ブレーキ、ステアリング(操舵装置)、方向指示器、照明のECUである。ECU7は、運転状況として、速度、加速度、ブレーキ操作、ステアリングの舵角、方向指示器の示す方向、照明の状態(点灯または消灯、ハイビームまたはロービーム)等の情報を、車両の多様な機器から取得する。ECU7は、取得した運転状況を、各種システムの制御に用いる。また、ECU7は、取得したこれらの運転状況を制御部4に出力する。
図2に示す通り、車両8には少なくとも撮像部3および表示装置6が設置される。撮像部3は、車両8の前方を撮像可能な位置(例えば、車両8の内側の、フロントガラスに接する位置)に設置され、車両8の周辺を撮像する。具体的には撮像部3は、路面および路面上の物体を撮像する。
図2においては、物体検出装置2は車両8の前方を撮像可能な位置に設置されているが、前方ではなく側方や後方といった周辺を撮像可能な位置に設置して利用することも可能である。
次に、制御部4が撮像画像内において実行する処理について説明する。この処理では、物体検出を行ういわゆる関心領域ROI(Region Of Interest)の位置、形状、および数を決定する。
図3は、撮像部3が撮像し制御部4に出力する、車両8の前方の撮像画像10を示す図である。物体検出装置2は、物体検出装置2を設置する車両8から、少なくとも、比較的遠い位置(例えば、車両8の前方70m〜80m)および比較的近い位置(例えば、車両8の前方5m〜40m)それぞれに対応する画像内の位置において物体検出を行う。比較的遠い位置および比較的近い位置は、それぞれ撮像画像10内の第1の領域Fおよび第2の領域Sに対応するので、第1の領域Fは第2の領域Sよりも車両8から遠距離にある被写体領域に設定されるということができる。また、領域の形は四角形に限定されない。
撮像部3は車両8内で所定の姿勢で設置されることが定められており、図3に示すように、当該姿勢においては、第1の領域Fおよび第2の領域Sの縦方向の位置関係が予め定まっている。図3に示す通り、第1の領域Fの基準位置Cf(例えば、領域の中心)は、第2の領域Sの基準位置Csより撮像画像10内において上部に位置する。
第1の領域Fは第2の領域Sよりも比較的小さい。これは、同じ被写体は、車両8から離れる程、撮像画像内において小さくなるためである。
制御部4は、取得した運転状況が車両8の左右の進行方向に関する方向情報(例えば、舵角の情報や、方向指示器の操作情報)を含むときには、当該運転状況に基づいて第1の領域Fおよび第2の領域Sの、撮像画像10内における横方向の位置を決定する。
図4は、撮像部3が撮像した車両8の前方の撮像画像10を示す図である。例えば制御部4が、車両8が直進していると運転状況から判別するときには、第1の領域Fおよび第2の領域Sそれぞれの基準位置CfおよびCs(図4において点で示す、画像の中心)と撮像画像10の横方向の中心線CLが重なるように、第1の領域Fおよび第2の領域Sの横方向の位置を決定する。この位置を中心位置と呼ぶ。
図5は、撮像部3が撮像した車両8の前方の撮像画像10を示す図である。制御部4が、運転状況から車両8が左方に進行すると判別するときには、図5に示すように、第1の領域Fおよび第2の領域Sそれぞれの基準位置CfおよびCsが撮像画像10の中心線CLよりも左方に位置するように、第1の領域Fおよび第2の領域Sの横方向位置を決定する。また、制御部4は、第1の領域Fおよび第2の領域Sの横方向の位置を決定する際、第1の領域Fの中心位置からの変位量が第2の領域Sの変位量より大きくなるように位置を決定する。さらには、制御部4は、車両8の操舵量に応じて、第1の領域Fおよび第2の領域Sの横方向の位置を決定してもよい。例えば、制御部4は、車両8の操舵量が大きくなる程、中心位置からの変位量が大きな位置を第1の領域Fおよび第2の領域Sの横方向の位置に決定してよい。
また、制御部4は、運転状況が車両8の速度に関する速度情報を含むときには、当該情報に基づいて第1の領域Fおよび第2の領域Sの間で更に物体検出を行う領域の数を決定する。変更前後の領域の数は限定されないが、一例として変更前の領域の数が2つである場合を以下に示す。
図6は、撮像部3が撮像した車両8の前方の撮像画像10を示す図である。制御部4は、車両8の速度が第1の閾値を超えたと運転状況から判別するときには、図6に示すように、第1の領域Fおよび第2の領域Sの間の所定の大きさの領域を第3の領域M1に定める。この場合には、第1の領域Fおよび第2の領域Sの位置をそれぞれ上下にずらして第3の領域M1を定めてもよいし、第1の領域Fおよび第2の領域Sの位置をずらさずに、第3の領域M1を、それらの少なくとも一方に重なるようにまたはいずれにも重ならないように定めてもよい。なお、第3の領域M1を定める位置は、第1の領域Fおよび第2の領域Sの間に限定されない。
図7は、撮像部3が撮像した車両8の前方の撮像画像10を示す図である。制御部4は、更に、車両8の速度が第1の閾値のみならず第2の閾値を超えたと運転状況から判別するときには、図7に示すように、撮像画像10内に第4の領域M2を定めてもよい。第4の領域M2を定める位置は、第3の領域M1を定める位置と同様に任意である。
また、制御部4は、運転状況が車両8の照明(ヘッドライト等)の状況に関する照明情報を含むときには、当該情報に基づいて、第1の領域Fおよび第2の領域Sの少なくとも一方の形状を変更する。
図8は、撮像部3が撮像した車両8の前方の撮像画像10を示す図である。例えば、ハイビームからロービームへもしくはその逆へ、またはオフからオンへ照明の状況が変更されたと制御部4が運転状況から判別するときには、図8に示すように、制御部4は、ヘッドライト等から放射した光の照射範囲に合うように第2の領域Sの形状を変更する。光の照射範囲によっては、制御部4は第1の領域Fの形状を変更する。
上述したように制御部4は、ECU7から取得した運転状況に基づいて、撮像部3から取得した画像内において物体検出を行うべき領域の位置、形状および数を決定する。制御部4は、物体検出を行うべき領域の位置、形状および数を連続的に決定し、その結果、物体検出を行うべき領域の位置、形状および数が運転状況に応じて変更される。
次に、制御部4が実行する、確定した領域における物体検出のための処理を簡単に説明する。制御部4は、第1の領域Fに対し、超解像の画像補間、クロップ、勾配算出、例えばSVM学習データを用いてHOG等の物体検出処理を実行することによって、第1の領域Fに車などの所定の被写体が存在するか否かを判別する。また制御部4は、第2の領域に対し、クロップ、勾配算出、例えばSVM学習データを用いてHOG等の物体検出処理を実行することによって、第2の領域に車などの所定の被写体が存在するか否かを判別する。また、必要に応じて制御部4は、他にも歪み補正(ディストーション補正)、エッジ強調、コントラスト調整、ガンマ調整等の画像処理をそれぞれの領域に対して実施してもよい。制御部4は、領域のそれぞれに対して同一のまたは異なる画像処理を行ってもよい。
このように、一実施形態に係る制御部4は、運転状況に応じて領域の位置、形状、および数の少なくともいずれか1つを変更して物体検出を行うため、撮像部3から取得した画像の広範囲にわたって物体検出を行う必要がなくなる。このことによって、画像処理量が減るため、様々な運転状況に対応しながらもシステム負荷を抑えた物体検出を行うことができる。
図9は、一実施形態に係る物体検出装置の動作フローを示す図である。制御部は、運転状況をECUから受信する(ステップS1)。制御部は、撮像部から取得した撮像画像内の物体検出を行う領域を方向情報に応じた位置に設定する(ステップS2)。例えば、車両が直進していると制御部が判別するときには、領域の基準位置(例えば、中心)と撮像画像の中心線が重なる中心位置に領域を設定する。また、車両が左方に進行していると判別するときには、領域の基準位置が撮像画像の中心線よりも左方に位置するように領域の横方向の位置を決定する。このとき、領域のうち車両に比較的近い位置にある領域は比較的小さく左に、車両から比較的遠い位置にある領域は比較的大きく左に変位するように横方向の位置を決定してもよい。
次に、制御部は、ECUから取得した運転状況に含まれる速度情報に基づいて、車両の速度が第1の閾値より大きいか否かを判別する(ステップS3)。大きい場合には(ステップS3のYes)、制御部は、領域の数を増やす(ステップS4)。増やす数は限定されない。例えば、車両の速度が時速60kmより速い場合には、例えば複数の領域の間に物体検出を行う領域を新たに定める。定める位置は限定されないことに留意されたい。更に、制御部は、ECUから取得した速度が、第1の閾値を上回る第2の閾値よりも大きいか否かを判別する(ステップS5)。大きい場合には(ステップS5のYes)、制御部は物体検出を行う領域の数を更に増やす(ステップS6)。例えば、車両の速度が時速80kmより速い場合には、新たな領域を更に定める。一方、ステップS3において大きくないと制御部が判別した場合には(ステップS3のNo)、制御部は領域の数を変更しない。
また、制御部は、ECUから取得した運転状況に照明情報が含まれる場合には(ステップS7のYes)、ヘッドライト等から放射した光の照射範囲に合うように、領域の形状を変更する(ステップS8)。一方で制御部が照明情報を受信しなかった場合には(ステップS7のNo)、領域の形状は変更しない。
このように、制御部は領域の物体検出を行うべき領域の位置、形状および数を運転状況に応じて決定し領域を確定する(ステップS9)。
なお、ステップS3―ステップS6では、車両の速度が所定の閾値(第1の閾値または第2の閾値)より大きい場合に領域の数を増やすのみであったが、変形例として、車両の速度が所定の閾値より小さい場合に領域の数を減らすようにしてもよい。
図10は、一実施形態に係る物体検出装置の動作フローを示す図である。
制御部は、確定した領域が車両から比較的近い位置(近側)にあるか比較的遠い位置(遠側)にあるかを判別する(ステップS11)。近側にあるか遠側にあるかは、それぞれ、画像内において下部に位置するか上部に位置するかで判別する。次に制御部は、近側にある領域に対してクロップを行い(ステップS12)、次いで勾配を算出する(ステップS13)。一方、制御部は、遠側の領域に対して画像補間(インターポレーション)およびクロップを行い(ステップS14)、次いで領域の勾配を算出する(ステップS15)。その後、制御部は、物体検出処理を実施する(ステップS16)。制御部はこのように物体検出を行って、領域に所定の被写体が存在するか否かを判別する。
このように制御部は、物体検出を行うべき領域を運転状況に応じて確定し、その領域のみに対して物体検出を行う。このため、撮像部から取得した撮像画像の広範囲にわたって物体検出を行う必要がなくなる。このことによって、画像処理量が減るため、結果として様々な運転状況に対応しながらもシステム負荷を抑えた物体検出を行うことができる。
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各部材、各部、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能である。また、本発明を方法の発明として実施する場合にも、複数の部やステップなどを1つに組み合わせたり、或いは分割したりすることが可能である。
また、本発明に係る物体検出装置をコンピュータで構成した場合には、各機能を実現する処理内容を記述したプログラムを、そのコンピュータの内部または外部の記憶部に格納しておき、そのコンピュータの中央演算処理装置(CPU)によってこのプログラムを読み出して実行させることで実現することができる。また、このようなプログラムは、例えばDVDまたはCD−ROMなどの可搬型記録媒体の販売、譲渡、貸与等によって流通させることができるほか、そのようなプログラムを、例えばネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することによって、流通させることができる。また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバから転送されたプログラムを、一旦、自己の記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。
1 物体検出システム
2 物体検出装置
3 撮像部
4 制御部
5 バス
6 表示装置
7 ECU
8 車両
10 撮像画像

Claims (17)

  1. 車両に設置され、前記車両の周辺を撮像する撮像部と、
    前記撮像部が撮像した画像を取得し、前記画像内の第1の領域および第2の領域から物体検出を行う制御部とを備え、
    前記第1の領域は、前記第2の領域より前記車両から遠距離にある被写体領域に設定され、
    前記制御部は、
    前記車両の運転状況に応じて、前記第1の領域の位置を前記第2の領域の位置より大きく変更し、前記第1の領域および前記第2の領域の少なくとも一方の形状を前記車両の照明の光の照射形状に合うように変更する、物体検出装置。
  2. 請求項に記載の物体検出装置であって、
    前記制御部は、
    前記車両の運転状況に応じて前記画像内に第3の領域を設定し、
    前記第3の領域から物体検出を行う、物体検出装置。
  3. 車両に設置され、前記車両の周辺を撮像する撮像部と、
    前記撮像部が撮像する画像内において物体検出を行う制御部とを備え、
    前記制御部は、前記車両の運転状況に応じて前記画像内において物体検出を行う領域の数を変更し、前記領域の形状を前記車両の照明の光の照射形状に合うように変更する、物体検出装置。
  4. 請求項に記載の物体検出装置であって、
    前記制御部は、
    物体検出を行う第1の領域および第2の領域を前記画像内に含み、
    前記車両の運転状況に応じて前記画像内に第3の領域を設定し、
    前記第3の領域から物体検出を行う、物体検出装置。
  5. 請求項に記載の物体検出装置であって、
    前記第1の領域は、前記第2の領域よりも前記車両から遠距離にある被写体領域に設定される、物体検出装置。
  6. 請求項のいずれか1項に記載の物体検出装置であって、
    前記制御部は、前記第3の領域を前記第1の領域と前記第2の領域との間に設定する、物体検出装置。
  7. 請求項に記載の物体検出装置であって、
    前記制御部は、前記第3の領域を設定する際に、前記第1の領域および第2の領域の位置をそれぞれ上下にずらす、物体検出装置。
  8. 請求項またはに記載の物体検出装置であって、
    前記制御部は、前記第3の領域を設定する際に、前記第1の領域および第2の領域の少なくとも一方に一部を重ねて設定する、物体検出装置。
  9. 請求項1乃至のいずれか1項に記載の物体検出装置であって、
    前記運転状況は、方向指示器の操作、速度、舵角および照明の状態の少なくともいずれか1つを含む、物体検出装置。
  10. 請求項1乃至のいずれか1項に記載の物体検出装置であって、
    前記制御部は、前記領域のそれぞれに対して所定の画像処理を行う、物体検出装置。
  11. 請求項1に記載の物体検出装置であって、
    前記所定の画像処理は、歪み補正および画像補間の少なくともいずれか1つを含む、物体検出装置。
  12. 請求項1乃至1のいずれか1項に記載の物体検出装置であって、
    前記第1の領域は、前記第2の領域より領域が小さい、物体検出装置。
  13. 請求項1乃至1のいずれか1項に記載の物体検出装置であって、
    前記第1の領域の基準位置は、前記第2の領域の基準位置より前記画像の上部に位置する、物体検出装置。
  14. 周辺を撮像する撮像部と、前記撮像部が撮像した画像を取得し、前記画像内の第1の領域および第2の領域空物体検出を行う制御部とを有し、前記第1の領域は、前記第2の領域より前記車両から遠距離にある被写体領域に設定され、前記制御部は、前記車両の運転状況に応じて、前記第1の領域の位置を前記第2の領域の位置より大きく変更し、前記第1の領域および前記第2の領域の少なくとも一方の形状を前記車両の照明の光の照射形状に合うように変更する物体検出装置を設置した、車両。
  15. コンピュータに、
    車両の周辺を撮像するステップと、
    前記撮像するステップにおいて撮像した画像内の第1の領域および第2の領域から物体検出を行うステップと、
    前記車両の運転状況に応じて、前記第1の領域の位置を前記第2の領域の位置より大きく変更し、前記第1の領域および前記第2の領域の少なくとも一方の形状を前記車両の照明の光の照射形状に合うように変更するステップとを実行させ、
    前記第1の領域は、前記第2の領域より前記車両から遠距離にある被写体領域に設定されている、プログラム。
  16. 周辺を撮像する撮像部と、前記撮像部が撮像する画像内において物体検出を行う制御部とを有し、前記制御部は、前記車両の運転状況に応じて前記画像内において物体検出を行う領域の数を変更し、前記領域の形状を前記車両の照明の光の照射形状に合うように変更する物体検出装置を設置した、車両。
  17. コンピュータに、
    車両の周辺を撮像するステップと、
    前記車両の運転状況に応じて、前記撮像するステップにおいて撮像した画像内において物体検出を行う領域の数を変更し、前記領域の形状を前記車両の照明の光の照射形状に合うように変更するステップと、
    前記車両の運転状況に応じて、前記画像内において前記第1の領域および前記第2の領域の位置を変更するステップと、
    前記第1の領域の位置を前記第2の領域の位置より大きく変更するステップとを実行させ、
    前記第1の領域は、前記第2の領域より前記車両から遠距離にある被写体領域に設定されている、プログラム。
JP2016523160A 2014-05-28 2015-05-28 物体検出装置、物体検出装置を設置した車両およびプログラム Active JP6412934B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014110239 2014-05-28
JP2014110239 2014-05-28
PCT/JP2015/002705 WO2015182148A1 (ja) 2014-05-28 2015-05-28 物体検出装置および物体検出装置を設置した車両

Publications (2)

Publication Number Publication Date
JPWO2015182148A1 JPWO2015182148A1 (ja) 2017-04-20
JP6412934B2 true JP6412934B2 (ja) 2018-10-24

Family

ID=54698493

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016523160A Active JP6412934B2 (ja) 2014-05-28 2015-05-28 物体検出装置、物体検出装置を設置した車両およびプログラム

Country Status (4)

Country Link
US (1) US10354148B2 (ja)
JP (1) JP6412934B2 (ja)
DE (1) DE112015002483T5 (ja)
WO (1) WO2015182148A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6350555B2 (ja) * 2016-02-10 2018-07-04 トヨタ自動車株式会社 車両用ヘッドランプ配光制御装置及び方法
US10648832B2 (en) 2017-09-27 2020-05-12 Toyota Research Institute, Inc. System and method for in-vehicle display with integrated object detection
KR101982263B1 (ko) * 2018-01-10 2019-05-27 주식회사 만도 차량 제어 장치 및 차량 제어 방법

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07225126A (ja) 1994-02-14 1995-08-22 Mitsubishi Motors Corp 車両用路上物体認識装置
EP1621177A1 (en) * 2004-07-29 2006-02-01 Fresenius Kabi Deutschland GmbH Medical container with improved peelable seal
US7720580B2 (en) * 2004-12-23 2010-05-18 Donnelly Corporation Object detection system for vehicle
JP2007164671A (ja) * 2005-12-16 2007-06-28 Matsushita Electric Ind Co Ltd 障害物接近判断装置および障害物衝突警告システム
JP4902368B2 (ja) * 2007-01-24 2012-03-21 三洋電機株式会社 画像処理装置及び画像処理方法
JP2008276308A (ja) * 2007-04-25 2008-11-13 Sanyo Electric Co Ltd 動画像処理装置、動画像処理システムおよびナビゲーション装置
US8068135B2 (en) * 2007-07-06 2011-11-29 Chol Kim Device and method for detection and prevention of motor vehicle accidents
US20120300072A1 (en) 2007-07-06 2012-11-29 Chol Kim Device and method for detection and prevention of motor vehicle accidents
JP5074365B2 (ja) * 2008-11-28 2012-11-14 日立オートモティブシステムズ株式会社 カメラ装置
JP5441549B2 (ja) * 2009-07-29 2014-03-12 日立オートモティブシステムズ株式会社 道路形状認識装置
JP5212748B2 (ja) * 2010-09-29 2013-06-19 アイシン精機株式会社 駐車支援装置
JP2012252501A (ja) * 2011-06-02 2012-12-20 Toyota Central R&D Labs Inc 走行路認識装置及び走行路認識用プログラム
JP5690688B2 (ja) 2011-09-15 2015-03-25 クラリオン株式会社 外界認識方法,装置,および車両システム
US20140002237A1 (en) * 2012-06-14 2014-01-02 Fist Enterprises, Llc Apparatus and Method for Vehicle Operation Using Biometric Fingerprint identification
JP5829980B2 (ja) 2012-06-19 2015-12-09 トヨタ自動車株式会社 路側物検出装置
JP5986206B2 (ja) 2012-07-27 2016-09-06 京セラ株式会社 画像処理装置、撮像装置、移動体、プログラム、および領域設定方法
EP2963922B1 (en) * 2013-02-28 2019-02-27 Aisin Seiki Kabushiki Kaisha Program and device for controlling vehicle
US9886636B2 (en) * 2013-05-23 2018-02-06 GM Global Technology Operations LLC Enhanced top-down view generation in a front curb viewing system
CN106464847B (zh) * 2014-06-20 2019-06-25 歌乐株式会社 影像合成系统和用于其的影像合成装置与影像合成方法

Also Published As

Publication number Publication date
US10354148B2 (en) 2019-07-16
DE112015002483T5 (de) 2017-02-23
WO2015182148A1 (ja) 2015-12-03
JPWO2015182148A1 (ja) 2017-04-20
US20170076160A1 (en) 2017-03-16

Similar Documents

Publication Publication Date Title
CN109389026B (zh) 车道检测方法和设备
JP6137081B2 (ja) 車載機器
JP6350596B2 (ja) 表示システム
JP6586849B2 (ja) 情報表示装置及び情報表示方法
JP6277933B2 (ja) 表示制御装置、表示システム
US10885787B2 (en) Method and apparatus for recognizing object
US10595003B2 (en) Stereo camera apparatus and vehicle comprising the same
JPWO2015174208A1 (ja) 画像認識装置及びその制御方法
US20200180635A1 (en) Apparatus for controlling driving of a vehicle, a system having the same and a method thereof
US10764510B2 (en) Image conversion device
JP6081247B2 (ja) 車両後方画像の表示切替装置および表示切替方法
JP6412934B2 (ja) 物体検出装置、物体検出装置を設置した車両およびプログラム
US10936851B2 (en) Method and apparatus for recognizing object
JP7419721B2 (ja) 回路装置、電子機器及び移動体
US11189048B2 (en) Information processing system, storing medium storing program, and information processing device controlling method for performing image processing on target region
WO2018042976A1 (ja) 画像生成装置、画像生成方法、記録媒体、および画像表示システム
JP2011215769A (ja) 車線位置検出装置および車線位置検出方法
JP5979023B2 (ja) 車両用撮像装置
CN116353604A (zh) 设置在自动驾驶车辆中的电子装置及其工作方法
JP2020086956A (ja) 撮影異常診断装置
JP2017114218A (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP2019153932A (ja) 汚れ報知装置
JP2015011665A (ja) 走行路面標示検知装置および走行路面標示検知方法
WO2020162498A1 (ja) 情報処理装置
JP6644256B2 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180403

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180904

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181001

R150 Certificate of patent or registration of utility model

Ref document number: 6412934

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150