JP4246690B2 - 画像情報処理システム、画像情報処理方法、画像情報処理プログラムおよび自動車 - Google Patents
画像情報処理システム、画像情報処理方法、画像情報処理プログラムおよび自動車 Download PDFInfo
- Publication number
- JP4246690B2 JP4246690B2 JP2004347736A JP2004347736A JP4246690B2 JP 4246690 B2 JP4246690 B2 JP 4246690B2 JP 2004347736 A JP2004347736 A JP 2004347736A JP 2004347736 A JP2004347736 A JP 2004347736A JP 4246690 B2 JP4246690 B2 JP 4246690B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- variable
- image area
- image information
- measured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000010365 information processing Effects 0.000 title claims description 60
- 238000003672 processing method Methods 0.000 title claims description 20
- 238000005259 measurement Methods 0.000 claims description 35
- 238000000034 method Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 17
- 238000006073 displacement reaction Methods 0.000 claims description 2
- 239000013598 vector Substances 0.000 description 35
- 239000002131 composite material Substances 0.000 description 32
- 230000006870 function Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- B60K2360/21—
Description
第8発明の画像情報処理方法は、移動体に搭載された赤外線カメラにより撮影された対象物の画像を処理して、前記移動体に搭載された画像表示装置に前記対象物の画像情報を表示させる方法であって、前記移動体の走行状態に応じた第1変数を測定する第1変数測定ステップと、前記赤外線カメラを通じて前記対象物の位置に応じた第2変数を測定する第2変数測定ステップと、前記第2変数測定ステップにおいて測定された前記第2変数に基づき、前記対象物に応じた画像領域を第1画像領域として認識する第1画像領域認識ステップと、前記第1変数測定ステップにおいて測定された前記第1変数と、前記第2変数測定ステップにおいて測定された前記第2変数とに基づき、前記第1画像領域認識ステップにおいて認識される画像領域を推定した上で第2画像領域として認識する第2画像領域認識ステップと、前記第1画像領域認識ステップにおいて認識された前記第1画像領域が安定である場合、その第1画像領域に応じた第1画像情報を前記画像表示装置に表示させる一方、前記第1画像領域認識ステップにおいて認識された前記第1画像領域が不安定である場合、前記第2画像領域認識手段により認識された前記第2画像領域に応じた第2画像情報を前記画像表示装置に表示させる画像情報制御ステップとを備えていることを特徴とする。
Qn−=[0,−sin{ω(n−1)δt/2},0,cos{ω(n−1)δt/2}],
Qn−*=[0,sin{ω(n−1)δt/2},0,cos{ω(n−1)δt/2}] ・・(1)
(3)車両位置p1(n−1)からカメラ位置pc(n−1)まで延びるベクトル(図3線分b(n−1)参照)は、後輪軸の延長線が旋回軸O(n−1)にあるという条件により定まる時刻n−1における車両の姿勢と、メモリにより記憶保持されている後輪軸中央部および赤外線カメラ210の位置関係に関するデ−タとに基づいて定められる。
Qn+=[0,sin{ω(n)δt/2},0,cos{ω(n)δt/2}],
Qn+*=[0,−sin{ω(n)δt/2},0,cos{ω(n)δt/2}] ・・(2)
(9)車両位置p1(n)からカメラ位置pc(n)まで延びるベクトル(図3線分b(n)参照)は、メモリにより記憶保持されている後輪軸中央部および赤外線カメラ210の位置関係に関するデ−タとに基づいて定められる。
第1画像領域A1および第2画像領域A2がそれぞれ合成画像領域Aに反映される程度を示す第1重み係数C1および第2重み係数C2は、前回の制御サイクルn−1における第1画像領域A1(n−1)を基準とした、今回の制御サイクルnにおける第1画像領域A1(n)および第2画像領域A2(n)のそれぞれの偏差等の諸因子に基づき可変に設定されてもよい。
Claims (10)
- 移動体に搭載された赤外線カメラにより撮影された対象物の画像を処理して、前記移動体に搭載された画像表示装置に前記対象物の画像情報を表示させるシステムであって、
前記移動体の走行状態に応じた第1変数を測定する第1変数測定手段と、
前記赤外線カメラを通じて対象物の位置に応じた第2変数を測定する第2変数測定手段と、
前記第2変数測定手段により測定された前記第2変数に基づき、前記対象物に応じた画像領域を第1画像領域として認識する第1画像領域認識手段と、
前記第1変数測定手段により測定された前記第1変数と、前記第2変数測定手段により測定された前記第2変数とに基づき、前記第1画像領域認識手段により認識される画像領域を推定した上で第2画像領域として認識する第2画像領域認識手段と、
前記第1画像領域認識手段により認識された前記第1画像領域が安定である場合、その第1画像領域に応じた第1画像情報を前記画像表示装置に表示させる一方、前記第1画像領域認識手段により認識された前記第1画像領域が不安定である場合、前記第2画像領域認識手段により認識された前記第2画像領域に応じた第2画像情報を前記画像表示装置に表示させる画像情報制御手段とを備えていることを特徴とする画像情報処理システム。 - 請求項1記載の画像情報処理システムにおいて、
前記第2画像領域認識手段が、前記第1変数測定手段により測定された第1変数と、前記第2変数測定手段により測定された前記第2変数とに基づき、前記第2変数測定手段により将来測定される前記第2変数を推定した上で、この推定した前記第2変数に基づいて前記第2画像領域を認識することを特徴とする画像情報処理システム。 - 請求項2記載の画像情報処理システムにおいて、
前記第2変数測定手段が前記第2変数の一部または全部を対象物の位置を表すクォ−タニオンとして測定し、
前記第2画像領域認識手段が、前記第1変数測定手段により測定された前記第1変数と、前記第2変数測定手段により測定された前記第2変数とに基づいた空間変位を表現するクォ−タニオンを用いて前記第2変数を推定することを特徴とする画像情報処理システム。 - 請求項3記載の画像情報処理システムにおいて、
前記第1変数測定手段が、前記移動体の速度およびある軸回りの角速度を前記第1変数として測定し、
前記第2画像領域認識手段が、前記第1変数測定手段により測定された前記速度および前記角速度により特定される旋回運動を表現するクォ−タニオンを用いて前記第2変数を推定することを特徴とする画像情報処理システム。 - 請求項1記載の画像情報処理システムにおいて、
前記第2変数測定手段により測定された前記第2変数が不安定である場合、前記第2画像領域認識手段が、それより前に前記第2変数測定手段により測定された前記第2変数に基づいて前記第2画像領域を認識することを特徴とする画像情報処理システム。 - 請求項5記載の画像情報処理システムにおいて、
前記第2画像領域認識手段が、前記第2変数測定手段による前記第2変数の測定が不能になったとき、または、前記第2変数測定手段により測定された前記第2変数の変動量が閾値を超えたとき、前記第2変数が不安定であると判定することを特徴とする画像情報処理システム。 - 請求項1記載の画像情報処理システムにおいて、
前記画像情報制御手段が、前記第1画像領域認識手段により前記第1画像領域の一または複数の代表点と、前記第2画像領域認識手段により認識された前記第2画像領域の一または複数の代表点との偏差またはその平均が閾値を超えたとき前記第1画像領域が不安定であると判定することを特徴とする画像情報処理システム。 - 移動体に搭載された赤外線カメラにより撮影された対象物の画像を処理して、前記移動体に搭載された画像表示装置に前記対象物の画像情報を表示させる方法であって、
前記移動体の走行状態に応じた第1変数を測定する第1変数測定ステップと、
前記赤外線カメラを通じて前記対象物の位置に応じた第2変数を測定する第2変数測定ステップと、
前記第2変数測定ステップにおいて測定された前記第2変数に基づき、前記対象物に応じた画像領域を第1画像領域として認識する第1画像領域認識ステップと、
前記第1変数測定ステップにおいて測定された前記第1変数と、前記第2変数測定ステップにおいて測定された前記第2変数とに基づき、前記第1画像領域認識ステップにおいて認識される画像領域を推定した上で第2画像領域として認識する第2画像領域認識ステップと、
前記第1画像領域認識ステップにおいて認識された前記第1画像領域が安定である場合、その第1画像領域に応じた第1画像情報を前記画像表示装置に表示させる一方、前記第1画像領域認識ステップにおいて認識された前記第1画像領域が不安定である場合、前記第2画像領域認識手段により認識された前記第2画像領域に応じた第2画像情報を前記画像表示装置に表示させる画像情報制御ステップとを備えていることを特徴とする画像情報処理方法。 - 移動体に搭載された赤外線カメラにより撮影された対象物の画像を処理して、前記移動体に搭載された画像表示装置に前記対象物の画像情報を表示させる機能をコンピュ−タに付与するプログラムであって、
前記移動体の走行状態に応じた第1変数を測定する第1変数測定機能と、
前記赤外線カメラを通じて前記対象物の位置に応じた第2変数を測定する第2変数測定機能と、
前記第2変数測定機能により測定された前記第2変数に基づき、前記対象物に応じた画像領域を第1画像領域として認識する第1画像領域認識機能と、
前記第1変数測定機能により測定された前記第1変数と、前記第2変数測定機能により測定された前記第2変数とに基づき、前記第1画像領域認識機能により認識される画像領域を推定した上で第2画像領域として認識する第2画像領域認識機能と、
前記第1画像領域認識機能により認識された前記第1画像領域が安定である場合、その第1画像領域に応じた第1画像情報を前記画像表示装置に表示させる一方、前記第1画像領域認識機能により認識された前記第1画像領域が不安定である場合、前記第2画像領域認識手段により認識された前記第2画像領域に応じた第2画像情報を前記画像表示装置に表示させる画像情報制御機能とを前記コンピュ−タに付与することを特徴とする画像情報処理プログラム。 - 請求項1記載の画像情報処理システムが搭載されていることを特徴とする前記移動体としての自動車。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004347736A JP4246690B2 (ja) | 2004-11-30 | 2004-11-30 | 画像情報処理システム、画像情報処理方法、画像情報処理プログラムおよび自動車 |
US11/289,119 US7672481B2 (en) | 2004-11-30 | 2005-11-29 | Image information processing system, image information processing method, image information processing program, and automobile |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004347736A JP4246690B2 (ja) | 2004-11-30 | 2004-11-30 | 画像情報処理システム、画像情報処理方法、画像情報処理プログラムおよび自動車 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008297526A Division JP4876117B2 (ja) | 2008-11-21 | 2008-11-21 | 画像情報処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006157727A JP2006157727A (ja) | 2006-06-15 |
JP4246690B2 true JP4246690B2 (ja) | 2009-04-02 |
Family
ID=36567429
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004347736A Expired - Fee Related JP4246690B2 (ja) | 2004-11-30 | 2004-11-30 | 画像情報処理システム、画像情報処理方法、画像情報処理プログラムおよび自動車 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7672481B2 (ja) |
JP (1) | JP4246690B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4376653B2 (ja) * | 2004-02-17 | 2009-12-02 | 富士重工業株式会社 | 車外監視装置 |
EP1912157A1 (en) * | 2006-10-09 | 2008-04-16 | MAGNETI MARELLI SISTEMI ELETTRONICI S.p.A. | Digital image processing system for automatically representing surrounding scenes to the driver of a vehicle for driving assistance, and corresponding operating method |
JP5281265B2 (ja) * | 2007-10-02 | 2013-09-04 | キヤノン株式会社 | 印刷処理方法およびそれを実現する情報処理装置 |
US9218363B2 (en) * | 2011-11-24 | 2015-12-22 | Telefonaktiebolaget L M Ericsson (Publ) | System and method for maintaining location information in a database |
CN104508595B (zh) * | 2012-06-12 | 2017-07-18 | 金泰克斯公司 | 提供多级对准稳定性指示的车辆成像系统 |
JP6039401B2 (ja) * | 2012-12-18 | 2016-12-07 | キヤノン株式会社 | 印刷データ処理装置、印刷データ処理方法、およびプログラム |
CN104751138B (zh) * | 2015-03-27 | 2018-02-23 | 东华大学 | 一种车载红外图像彩色化辅助驾驶系统 |
JP6847885B2 (ja) * | 2018-03-20 | 2021-03-24 | 株式会社東芝 | 情報処理装置、情報処理方法及びプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2800531B2 (ja) * | 1992-02-28 | 1998-09-21 | 三菱電機株式会社 | 車両用障害物検出装置 |
US5670935A (en) * | 1993-02-26 | 1997-09-23 | Donnelly Corporation | Rearview vision system for vehicle including panoramic view |
US6734896B2 (en) * | 2000-04-28 | 2004-05-11 | Matsushita Electric Industrial Co., Ltd. | Image processor and monitoring system |
WO2002007443A1 (fr) * | 2000-07-19 | 2002-01-24 | Matsushita Electric Industrial Co., Ltd. | Systeme de controle |
JP4615139B2 (ja) | 2001-03-30 | 2011-01-19 | 本田技研工業株式会社 | 車両の周辺監視装置 |
JP3764086B2 (ja) | 2001-10-29 | 2006-04-05 | 本田技研工業株式会社 | 車両用情報提供装置 |
US7277558B2 (en) * | 2001-11-27 | 2007-10-02 | Lockheed Martin Corporation | Method and system for estimating the position of moving objects in images |
JP2004206267A (ja) | 2002-12-24 | 2004-07-22 | Fujitsu Ten Ltd | 物標検出装置、及び物標検出方法 |
-
2004
- 2004-11-30 JP JP2004347736A patent/JP4246690B2/ja not_active Expired - Fee Related
-
2005
- 2005-11-29 US US11/289,119 patent/US7672481B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2006157727A (ja) | 2006-06-15 |
US20060115123A1 (en) | 2006-06-01 |
US7672481B2 (en) | 2010-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4985142B2 (ja) | 画像認識装置および画像認識装置の画像認識処理方法 | |
JP5503728B2 (ja) | 車両の周辺監視装置 | |
US9308917B2 (en) | Driver assistance apparatus capable of performing distance detection and vehicle including the same | |
JP5310745B2 (ja) | 走行支援装置 | |
KR101579100B1 (ko) | 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량 | |
JP4420011B2 (ja) | 物体検知装置 | |
CN115393536A (zh) | 利用相机进行车辆环境建模 | |
JP4267657B2 (ja) | 車両周辺監視装置 | |
JP6775188B2 (ja) | ヘッドアップディスプレイ装置および表示制御方法 | |
WO2017069191A1 (ja) | キャリブレーション装置、キャリブレーション方法、及び、キャリブレーションプログラム | |
JP4173896B2 (ja) | 車両周辺監視装置 | |
JP5834810B2 (ja) | カメラキャリブレーション装置、乗員支援装置、カメラキャリブレーション用歪み係数生成方法 | |
JP4797877B2 (ja) | 車両用映像表示装置及び車両周囲映像の表示方法 | |
JP4670528B2 (ja) | 撮像装置のずれ検出方法、撮像装置のずれ補正方法及び撮像装置 | |
JP6471522B2 (ja) | カメラパラメータ調整装置 | |
US7672481B2 (en) | Image information processing system, image information processing method, image information processing program, and automobile | |
JP2004310522A (ja) | 車両用画像処理装置 | |
KR20210112672A (ko) | 객체를 검출하기 위한 프로세서 및 객체 검출 방법 | |
JP4020071B2 (ja) | 周囲状況表示装置 | |
JP2015067030A (ja) | 運転支援装置 | |
JP2020042355A (ja) | 周辺監視装置 | |
JP3319383B2 (ja) | 走行路認識装置 | |
JP4876117B2 (ja) | 画像情報処理システム | |
JP7436331B2 (ja) | 画像処理装置 | |
JP4629638B2 (ja) | 車両の周辺監視装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061128 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080917 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080930 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090106 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090108 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120116 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120116 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130116 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130116 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140116 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |