JP6869672B2 - 物体追従システム、物体追従装置、物体追従方法、及び物体追従プログラム - Google Patents
物体追従システム、物体追従装置、物体追従方法、及び物体追従プログラム Download PDFInfo
- Publication number
- JP6869672B2 JP6869672B2 JP2016179154A JP2016179154A JP6869672B2 JP 6869672 B2 JP6869672 B2 JP 6869672B2 JP 2016179154 A JP2016179154 A JP 2016179154A JP 2016179154 A JP2016179154 A JP 2016179154A JP 6869672 B2 JP6869672 B2 JP 6869672B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- feature points
- recognized
- feature point
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 37
- 238000012545 processing Methods 0.000 claims description 53
- 238000001514 detection method Methods 0.000 claims description 32
- 239000000284 extract Substances 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 2
- 239000013589 supplement Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 15
- 238000007796 conventional method Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
Images
Description
(1)現フレーム(フレームt+1)の正対応特徴点の位置情報を平均化して、新たに設定するROIの基準位置(例えば中心)とする。
(2)前フレーム(フレームt)の正対応特徴点から現フレーム(t+1)の対応する正対応特徴点に向かうベクトル(オプティカルフロー)を各正対応特徴点の組について求めて、その平均ベクトルを求め、現フレームのROIを当該平均ベクトルだけ移動させて、新たに設定するROIとする。
(3)(1)の位置情報を平均した位置から、(2)の平均ベクトルだけ移動させた位置を新たに設定するROIの基準位置(例えば中心)とする。
なお、(1)〜(3)のいずれにおいても、ROIのサイズは現フレームのROIのサイズと同じとすることができるが、ROIのサイズを可変にしてもよい。具体的には、ROIのサイズは、オプティカルフローの向き情報に基づいて変更してよい。例えば、オプティカルフローの向きがROIの外側に向いている場合には、サイズを、例えば1.1倍に拡大し、オプティカルフローの向きがROIの内側に向いている場合には、サイズを、例えば0.9倍に縮小する等の方法でROIのサイズを変更することができる。
10 カメラ
20 物体追従装置
21 物体検出部
22 特徴点抽出部
23 追従処理部
Claims (7)
- 車両に設置され、前記車両の外部を連続的に撮影して撮影画像を生成するカメラと、
前記撮影画像において認識対象の物体を追従する物体追従装置と、
を備えた物体追従システムであって、
前記物体追従装置は、
前記撮影画像の第1フレームから前記認識対象の物体を検出する物体検出部と、
前記第1フレームから前記物体検出部にて検出された前記認識対象の物体の特徴点を抽出する特徴点抽出部と、
前記第1フレームの次の第2フレームにおいて、前記認識対象の物体を追従する追従処理部と、
を備え、
前記追従処理部は、前記第2フレームにおいて特徴点を抽出し、前記第1フレームの特徴点を前記第2フレームの特徴点と照合して対応特徴点を求めることで、前記認識対象の物体を追従し、かつ、前記第2フレームの次の第3フレームのために、前記第2フレームにおいて新たな特徴点を追加し、
前記追従処理部は、前記第1フレームにて検出された前記認識対象の物体を含むように前記第2フレームに設定された注目領域にて前記特徴点を抽出する、物体追従システム。 - 前記追従処理部は、前記第2フレームの特徴点についてブロック照合を行うことで、前記第1フレームの特徴点の近傍にある前記第2フレームの特徴点を前記対応特徴点とする、請求項1に記載の物体追従システム。
- 前記追従処理部は、前記第2フレームの前記対応特徴点に基づいて、前記第3フレームのために前記注目領域を移動し、移動された前記注目領域から前記第3フレームのために追加する特徴点を抽出する、請求項1に記載の物体追従システム。
- 前記追従処理部は、前記第2フレームにおいて所定数の前記特徴点を抽出し、前記特徴点として抽出されたが前記対応特徴点とされなかった前記特徴点を補う数の新たな前記特徴点を前記第3フレームのために追加する、請求項3に記載の物体追従システム。
- 車両に設置されたカメラにて車両の外部を連続的に撮影して生成された撮影画像を取得し、前記撮影画像において認識対象の物体を追従する物体追従装置であって、
前記撮影画像の第1フレームから前記認識対象の物体を検出する物体検出部と、
前記第1フレームから前記物体検出部にて検出された前記認識対象の物体の特徴点を抽出する特徴点抽出部と、
前記第1フレームの次の第2フレームにおいて特徴点を抽出し、前記第1フレームの特徴点を前記第2フレームの特徴点と照合して対応特徴点を求めることで、前記認識対象の物体を追従し、かつ、前記第2フレームの次の第3フレームのために、前記第2フレームにおいて新たな特徴点を追加し、前記第1フレームにて検出された前記認識対象の物体を含むように前記第2フレームに設定された注目領域にて前記特徴点を抽出する追従処理部と、
を備えた、物体追従装置。 - 車両に設置されたカメラで、車両の外部を連続的に撮影して撮影画像を生成するステップと、
前記撮影画像の第1フレームから認識対象の物体を検出するステップと、
前記第1フレームから前記認識対象の物体を検出ステップにて検出された前記認識対象の物体の特徴点を抽出するステップと、
前記第1フレームの次の第2フレームにおいて特徴点を抽出するステップと、
前記第1フレームの特徴点を前記第2フレームの特徴点と照合して対応特徴点を求めることで、前記認識対象の物体を追従するステップと、
前記第2フレームの次の第3フレームのために、前記第2フレームにおいて新たな特徴点を追加するステップと、
を含み、
前記特徴点を抽出するステップは、前記第1フレームにて検出された前記認識対象の物体を含むように前記第2フレームに設定された注目領域にて前記特徴点を抽出する、物体追従方法。 - 車両に設置されたカメラにて車両の外部を連続的に撮影して生成された撮影画像を取得し、前記撮影画像において認識対象の物体を追従する物体追従装置のコンピュータを、
前記撮影画像の第1フレームから前記認識対象の物体を検出する物体検出部、
前記第1フレームから前記物体検出部にて検出された前記認識対象の物体の特徴点を抽出する特徴点抽出部、及び
前記第1フレームの次の第2フレームにおいて特徴点を抽出し、前記第1フレームの特徴点を前記第2フレームの特徴点と照合して対応特徴点を求めることで、前記認識対象の物体を追従し、かつ、前記第2フレームの次の第3フレームのために、前記第2フレームにおいて新たな特徴点を追加し、前記第1フレームにて検出された前記認識対象の物体を含むように前記第2フレームに設定された注目領域にて前記特徴点を抽出する追従処理部、
として機能させる物体追従プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016179154A JP6869672B2 (ja) | 2016-09-14 | 2016-09-14 | 物体追従システム、物体追従装置、物体追従方法、及び物体追従プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016179154A JP6869672B2 (ja) | 2016-09-14 | 2016-09-14 | 物体追従システム、物体追従装置、物体追従方法、及び物体追従プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018045405A JP2018045405A (ja) | 2018-03-22 |
JP6869672B2 true JP6869672B2 (ja) | 2021-05-12 |
Family
ID=61693100
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016179154A Active JP6869672B2 (ja) | 2016-09-14 | 2016-09-14 | 物体追従システム、物体追従装置、物体追従方法、及び物体追従プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6869672B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020080535A1 (ja) * | 2018-10-18 | 2020-04-23 | 国立研究開発法人科学技術振興機構 | 対象追跡方法、対象追跡システムおよび対象追跡プログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2667885B2 (ja) * | 1988-11-01 | 1997-10-27 | 住友重機械工業株式会社 | 移動物体の自動追尾装置 |
JP2003115052A (ja) * | 2001-10-09 | 2003-04-18 | National Institute Of Advanced Industrial & Technology | 画像処理方法及び画像処理装置 |
JP4025556B2 (ja) * | 2002-02-28 | 2007-12-19 | 日本電信電話株式会社 | 特徴点追跡画像決定装置、特徴点追跡画像決定方法、この方法のプログラム、およびこのプログラムを記録した記録媒体 |
JP2006318345A (ja) * | 2005-05-16 | 2006-11-24 | Sony Corp | 物体追跡方法、物体追跡方法のプログラム、物体追跡方法のプログラムを記録した記録媒体及び物体追跡装置 |
JP5394952B2 (ja) * | 2010-03-03 | 2014-01-22 | セコム株式会社 | 移動物体追跡装置 |
JP2015230515A (ja) * | 2014-06-03 | 2015-12-21 | 株式会社ニコン | 被写体追尾装置およびカメラ |
JP2016012226A (ja) * | 2014-06-27 | 2016-01-21 | トヨタ自動車株式会社 | 対象物認識装置 |
-
2016
- 2016-09-14 JP JP2016179154A patent/JP6869672B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018045405A (ja) | 2018-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8994823B2 (en) | Object detection apparatus and storage medium storing object detection program | |
US8958600B2 (en) | Monocular 3D pose estimation and tracking by detection | |
CN110659543B (zh) | 基于手势识别的车辆控制方法、系统及车辆 | |
Keller et al. | The benefits of dense stereo for pedestrian detection | |
US8005266B2 (en) | Vehicle surroundings monitoring apparatus | |
US20150161796A1 (en) | Method and device for recognizing pedestrian and vehicle supporting the same | |
US10192444B2 (en) | Forward collision warning system and method | |
JP2016148962A (ja) | 物体検知装置 | |
JP2011257984A (ja) | 対象物検出装置及びプログラム | |
JP5894201B2 (ja) | 境界線認識装置 | |
KR20090098167A (ko) | 거리센서를 이용한 차선인식 방법 및 그 시스템 | |
KR20150002038A (ko) | 하라이크 특징과 아다브스트에 기반한 칼만 필터와 클러스터링 알고리즘을 이용하여 실시간으로 차량을 인식 및 추적하는 방법 | |
WO2016059643A1 (en) | System and method for pedestrian detection | |
CN114219829A (zh) | 车辆跟踪方法、计算机设备及存储装置 | |
JP6869672B2 (ja) | 物体追従システム、物体追従装置、物体追従方法、及び物体追従プログラム | |
JP2008226163A (ja) | 車両の安全装置 | |
JP2012118683A (ja) | 歩行者認識装置 | |
JP2004259215A (ja) | 顔検出システムとその方法 | |
JP2010072947A (ja) | 障害物検出装置 | |
KR20140104516A (ko) | 차선 인식 방법 및 장치 | |
JP4772622B2 (ja) | 周辺監視システム | |
KR20170138842A (ko) | 템플릿 매칭 기반의 차량 추적 시스템 및 방법 | |
JP5829155B2 (ja) | 歩行者検出装置及びプログラム | |
Park et al. | TLD based vehicle tracking system for AR-HUD using HOG and online SVM in EHMI | |
KR102267256B1 (ko) | 장애물 검출 방법, 장치 및 그를 컴퓨터 판독 가능한 기록매체 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181105 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190919 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191001 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191127 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200430 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20200430 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20200515 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20200519 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20200605 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20200609 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20200908 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20210302 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20210406 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20210406 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210414 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6869672 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |