JP7309630B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP7309630B2 JP7309630B2 JP2020021886A JP2020021886A JP7309630B2 JP 7309630 B2 JP7309630 B2 JP 7309630B2 JP 2020021886 A JP2020021886 A JP 2020021886A JP 2020021886 A JP2020021886 A JP 2020021886A JP 7309630 B2 JP7309630 B2 JP 7309630B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- image
- region
- unit
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
図1を用いて、実施例1における物体検知装置を搭載した車載カメラシステムの概要を説明する。当該車載カメラシステムにおいて、車両100にカメラ101が搭載される。カメラ101には物体検知装置102が搭載されており、例えば前方の物体までの距離や相対速度を計測して車両制御部103に送信する。車両制御部103は、物体検知装置102から受け取った距離や相対速度からブレーキ・アクセル105、ステアリング104を制御する。
物体検知部241においては、撮像素子201で撮影された画像を用いて物体の検知と追跡を行う。画像を用いた物体の検知手段については、例えば俯瞰画像の差分を用いた手法が公知である。この手法では、図3に示す通り、時系列に撮像した2枚の画像301、302を用いて物体の検知を行う。2枚の画像301、302のうち過去に撮像された画像301を俯瞰画像に変換すると同時に、車速などの情報から車両の運動による見え方の変化を算出し、今フレームで撮像されると予測される画像304を生成する。予測した画像304と実際に今フレームで撮像された画像302を俯瞰画像に変換した画像305を比較し、差分画像306を作成する。差分画像306は各画素における差分の値を持っており、差分のない領域が黒、差分がある領域が白で表される。予測に誤差がなければ、道路面については同一の画像となり差分が発生しないが、障害物(立体物など)303の存在する領域には差分が発生する。この差分を検出することによって物体を検知することができる。今フレームで検知された物体は過去フレームで検知された物体と画像上での位置やテクスチャの相関によって比較され、同一物体と判断された場合に対応付けることで画像上において同一物体の追跡を行うことができる。なお、画像から物体を検知および追跡する手段についてはこれに限られないことは勿論である。
領域分離部242においては、前記の検出した物体(画像上において追跡している物体)の撮像されている領域(画像領域)を複数の領域(部分領域)に分離する。分離手段については様々な手法が考えられるが、例えば対象が歩行者であった場合は、検知領域を単純に上下(2つ)の領域に分割することができる。
領域選択部243においては、分離された複数の領域(部分領域)のうちTTC算出部244に受け渡す(すなわち、拡大率算出に用いる)領域を選択する。ここでTTC算出部244においては、物体の拡大率からTTCを算出する(後で説明)。拡大率を精度良く算出するためには、画像上での見え方の変化が、距離の変化に起因する拡大縮小以外にはないことが望ましい。対象が歩行者であれば、歩行時の足の動きなどが含まれる領域は不適であるため、本実施例では、上下2つに分割された領域のうち、上半身に当たる上部領域を選択する。
TTC算出部244においては、領域選択部243から受け取った画像領域(部分領域)の拡大率から、対象物体と衝突するまでの衝突予測時間であるTTCを算出する。時刻tと時刻t-1に検知した物体について考える。図5に、2時刻において撮像された画像501、502とその際の自車504と対象物(物体)503の位置関係を示す俯瞰図505、506を示した。時刻tにおいては時刻t-1より物体503との距離が小さくなっており、それに伴い画像上での物体503の大きさが拡大していることがわかる。このとき、物体503の実際の高さをH[mm]、物体503の画面上での高さをh[px]、自車504と物体503の距離をZ[mm]、自車504と物体503の相対速度をrv[mm/s]、カメラの焦点距離をf[mm]、処理周期をS[sec]とすると、以下の式(1)~(4)が成り立つ。
[数1]
[数2]
[数3]
[数4]
実施例2は実施例1の変形例であり、物体検知部241で検知する物体の種別が識別されているとき、領域選択部243が物体の種別に応じて選択条件を変更する実施例を示す。物体の種別ごとに変形が少ないと予想される領域を事前知識として与えておくことで、識別の結果に応じて適切な領域を選択することができる。
実施例3は実施例1の変形例であり、領域分離部242で物体の撮像領域を変形の大きさによって分離し、領域選択部243では変形が小さいと判断された領域を選択する実施例を示す。物体の検知された全領域に対して変形の大小を判定するため、物体の識別処理や事前知識を必要とせず、任意の対象物体に対して適切な領域を選択することができる。
実施例4は実施例1の変形例であり、対象が歩行者などの繰り返しのモーションであるときに有効な実施例を示す。例えば歩行モーションはある一定パターンの繰り返しであるため、一定時間ごとに同一のポーズを取る時刻が発生する。本実施例においては、決まった2時刻の物体検知結果でなく、過去の物体検知結果を含む物体検知領域から同一のポーズである2時刻を抽出し、領域選択することで、領域選択部243によって選択される領域の面積を最大化することができる。
実施例5は実施例1の変形例であり、カメラ(単眼カメラ)101以外の測距可能なセンサが同時に利用可能であるときに有効な実施例を示す。例えばステレオカメラと単眼カメラの例について、図14にその監視領域を示す。2台のカメラ1001、1002で監視可能な領域(ステレオ領域ともいう)1003においては三角測量の原理によって対象となる物体までの距離を計測するが、1台のカメラ(ここでは、カメラ1001またはカメラ1002)でのみ監視可能な領域(単眼領域ともいう)1004、1005においては三角測量が使えず、本実施例のような手法でTTCを算出する必要がある。同様にミリ波レーダーやLiDARといった測距可能なセンサと単眼カメラを同時に用いた場合、複数センサで同時に観測可能な領域と、単眼カメラでのみ観測可能な領域が存在する。このように、単眼カメラ以外の測距可能なセンサ(ステレオカメラ、ミリ波レーダー、LiDARなど)が同時に利用可能であるとき、単眼カメラとそれ以外の測距可能なセンサを含む複数手段で同時にTTCを算出可能である。
と考えてもよい。
Claims (4)
- 画像から物体を検知する物体検知部と、
前記物体を検知した画像領域を複数の部分領域に分離する領域分離部と、
前記分離した複数の部分領域から拡大率算出に用いる部分領域を選択する領域選択部と、
前記選択された部分領域を用いて算出した拡大率から、対象となる前記物体と衝突するまでの衝突予測時間を算出するTTC算出部と、を備え、
前記領域選択部は、複数手段で同時に前記衝突予測時間を算出可能であるとき、前記衝突予測時間の整合のとれる領域を抽出して変形小領域として保存しておき、前記拡大率による前記衝突予測時間の算出のみが可能になったときは、前記拡大率算出に用いる部分領域として前記保存された変形小領域を選択することを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置であって、
前記領域分離部および前記領域選択部は、前記検知した物体の種別に応じた画像上の特定領域を分離および選択することを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置であって、
前記領域選択部は、前記画像上において追跡している物体の撮像されている画像領域におけるオプティカルフローを用いて、前記拡大率算出に用いる部分領域を選択することを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置であって、
前記領域選択部は、前記画像上において追跡している物体に対して、過去撮像された画像領域の中から、前記拡大率算出に用いる部分領域を選択することを特徴とする画像処理装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020021886A JP7309630B2 (ja) | 2020-02-12 | 2020-02-12 | 画像処理装置 |
PCT/JP2020/047353 WO2021161655A1 (ja) | 2020-02-12 | 2020-12-18 | 画像処理装置 |
DE112020005046.7T DE112020005046T5 (de) | 2020-02-12 | 2020-12-18 | Bildverarbeitungsvorrichtung |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020021886A JP7309630B2 (ja) | 2020-02-12 | 2020-02-12 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021128470A JP2021128470A (ja) | 2021-09-02 |
JP7309630B2 true JP7309630B2 (ja) | 2023-07-18 |
Family
ID=77292355
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020021886A Active JP7309630B2 (ja) | 2020-02-12 | 2020-02-12 | 画像処理装置 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP7309630B2 (ja) |
DE (1) | DE112020005046T5 (ja) |
WO (1) | WO2021161655A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009157581A (ja) | 2007-12-26 | 2009-07-16 | Toyota Central R&D Labs Inc | 歩行者検出装置 |
JP2012098776A (ja) | 2010-10-29 | 2012-05-24 | Daihatsu Motor Co Ltd | 運転支援装置 |
JP2016009331A (ja) | 2014-06-24 | 2016-01-18 | 本田技研工業株式会社 | 車両周辺監視装置 |
WO2016152807A1 (ja) | 2015-03-20 | 2016-09-29 | 株式会社デンソー | 衝突余裕時間算出装置及び衝突回避システム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012029382A1 (ja) | 2010-08-31 | 2012-03-08 | 本田技研工業株式会社 | 車両周辺監視装置 |
-
2020
- 2020-02-12 JP JP2020021886A patent/JP7309630B2/ja active Active
- 2020-12-18 DE DE112020005046.7T patent/DE112020005046T5/de active Pending
- 2020-12-18 WO PCT/JP2020/047353 patent/WO2021161655A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009157581A (ja) | 2007-12-26 | 2009-07-16 | Toyota Central R&D Labs Inc | 歩行者検出装置 |
JP2012098776A (ja) | 2010-10-29 | 2012-05-24 | Daihatsu Motor Co Ltd | 運転支援装置 |
JP2016009331A (ja) | 2014-06-24 | 2016-01-18 | 本田技研工業株式会社 | 車両周辺監視装置 |
WO2016152807A1 (ja) | 2015-03-20 | 2016-09-29 | 株式会社デンソー | 衝突余裕時間算出装置及び衝突回避システム |
Also Published As
Publication number | Publication date |
---|---|
DE112020005046T5 (de) | 2022-08-11 |
JP2021128470A (ja) | 2021-09-02 |
WO2021161655A1 (ja) | 2021-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6682833B2 (ja) | 物体認識アルゴリズムの機械学習のためのデータベース構築システム | |
JP4919036B2 (ja) | 移動物体認識装置 | |
JP6144656B2 (ja) | 歩行者の視覚的認識が困難であり得ることを運転者に警告するシステム及び方法 | |
US20180150704A1 (en) | Method of detecting pedestrian and vehicle based on convolutional neural network by using stereo camera | |
CN112997187A (zh) | 基于鸟瞰图点云的二维对象边界框信息估计 | |
WO2016129403A1 (ja) | 物体検知装置 | |
JP5136504B2 (ja) | 物体識別装置 | |
JP6574611B2 (ja) | 立体画像に基づいて距離情報を求めるためのセンサシステム | |
JP5999127B2 (ja) | 画像処理装置 | |
JP5353455B2 (ja) | 周辺監視装置 | |
US10194059B2 (en) | Image processing apparatus and image processing method | |
JP2007065924A (ja) | 画像処理装置 | |
CN108645375B (zh) | 一种用于车载双目系统快速车辆测距优化方法 | |
JP4937844B2 (ja) | 歩行者検出装置 | |
Yuan et al. | Adaptive forward vehicle collision warning based on driving behavior | |
JP2004145660A (ja) | 障害物検出装置 | |
JP2010079582A (ja) | 物体を検出する装置、方法及びプログラム | |
CN114495064A (zh) | 一种基于单目深度估计的车辆周围障碍物预警方法 | |
KR102359083B1 (ko) | 움직이는 객체 검출 장치 및 방법 | |
Liu et al. | Vehicle detection and ranging using two different focal length cameras | |
KR20180047149A (ko) | 충돌 위험 경고 장치 및 방법 | |
CN111497741A (zh) | 碰撞预警方法及装置 | |
Dinesh Kumar et al. | Stereo camera and LIDAR sensor fusion-based collision warning system for autonomous vehicles | |
KR102003387B1 (ko) | 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체 | |
JP7309630B2 (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220713 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230411 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230512 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230606 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230705 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7309630 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |