JP3732115B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP3732115B2 JP3732115B2 JP2001154528A JP2001154528A JP3732115B2 JP 3732115 B2 JP3732115 B2 JP 3732115B2 JP 2001154528 A JP2001154528 A JP 2001154528A JP 2001154528 A JP2001154528 A JP 2001154528A JP 3732115 B2 JP3732115 B2 JP 3732115B2
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- temperature
- recognition
- image
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、リアルタイムの対象物認識を行うために、制御あるいは警報のための情報を提供する画像処理装置に関するものである。
【０００２】
【従来の技術】
車載用カメラによる撮像手段を用いて、車両外部の物体を認識する光学式の物体認識装置として、特開２００１−３３２３８号公報に記載されているように、受光部の一部を遮光した領域の輝度値より撮像された画像の有効性を判断するものがある。
また、温度検出装置付きカメラとして、特開２０００−３４７２８４号公報に記載されているように、機構部品に係る撮影動作が保証されない低温時または高温時には撮影を禁止するものがある。
【０００３】
【発明が解決しようとする課題】
特開２００１−３３２３８号公報の物体認識装置においては、画像の有効性を判定するにあたり、遮光領域全体を画像処理のために走査する必要があり、リアルタイムの認識に用いると処理時間の点で不利である。
一方、撮像素子が高温・低温になると、特定の画素の輝度値が白飛び・黒飛びとなる固定パターンノイズが発生し、固定パターンノイズを含む輝度分布を基に画像処理した認識結果の信頼性は大幅に低下する。よって、この認識結果を基に実施する警報・制御においては誤りが発生する。
例えば、レーンマーキングのように白い物体を検出対象としている画像処理装置においては、高温時に発生する固定パターンノイズの白飛び画素を誤検出して車線認識を誤ることがあり、この誤認識結果を基に車線逸脱警報あるいは車両制御を行うことにより、危険な状況に陥る可能性がある。
このような固定パターンノイズの問題があるため、特開２０００−３４７２８４号公報の温度検出装置付きカメラのように、機構部品に係る不具合のみ問題とするのではなく、撮像素子も考慮する必要がある。
【０００４】
この発明は、上述のような課題を解決するためになされたものであり、リアルタイムに対象物認識を信頼性よく行うことができる画像処理装置を得ることを目的としている。
【０００５】
【課題を解決するための手段】
この発明に係わる画像処理装置においては、画像を撮像する撮像手段、この撮像手段により撮像された画像から対象物を抽出する認識画像処理手段、撮像手段の温度を測定する温度測定手段、認識画像処理手段の出力を送信する通信手段を備え、温度測定手段によって測定された温度が所定の範囲内にないとき、認識画像処理手段は、対象物の抽出を継続して行うと共に、通信手段は、認識画像処理手段の出力の使用を禁止する認識結果使用禁止信号を送信するものである。
また、車両に搭載され、車両走行について警報を行う制御ユニットと共に警報システムを構成する画像処理装置において、画像を撮像する撮像手段、この撮像手段により撮像された画像から対象物を抽出する認識画像処理手段、撮像手段の温度を測定する温度測定手段、認識画像処理手段の出力を制御ユニットに送信する通信手段を備え、温度測定手段によって測定された温度が所定の範囲内にないとき、認識画像処理手段は、対象物の抽出を継続して行うと共に、通信手段は、認識画像処理手段の出力の使用を禁止する認識結果使用禁止信号を制御ユニットに送信するものである。
【０００６】
また、通信手段は、温度測定手段によって測定された温度が所定の範囲内にないとき、撮像手段の温度調整を要求する信号を出力するものである。
【０００７】
また、撮像手段の温度について、認識画像処理手段による認識の信頼性を保証する温度を設定する認識信頼性保証温度設定手段を備えたものである。
【０００８】
【発明の実施の形態】
以下、この発明の実施の形態を図を用いて説明する。
実施の形態１．
図１は、この発明の実施の形態１による画像処理装置を簡略化して示す構成図である。
図１において、１は撮影手段、２は撮影手段１によって得られた画像全体あるいは一部を一時記憶する画像記憶手段、３は画像記憶手段２より画像データを読み出し、対象物をリアルタイムで抽出する認識画像処理手段、４は撮影手段１について温度測定を行う温度測定手段、５は認識画像処理手段３による認識画像処理の結果及び温度測定手段４による温度測定の結果を受けて、外部へ送信出力する通信手段である。
図２は、この発明の実施の形態１による画像処理装置の処理フローを示すフローチャートである。
【０００９】
次に、図２のフローチャートを用いて動作について説明する。
ステップＳ１で、撮影手段１により対象物を撮影し、ステップＳ２で、撮影画像を画像記憶手段２の画像メモリに輝度値データとして取り込み、一時記憶する。なお、記憶する輝度値データは、対象物認識に係る領域だけでもよい。次いで、ステップＳ３において、認識画像処理手段３により、画像メモリより輝度値データを読み出し、輝度分布の時系列的、空間的特徴を基に対象物を抽出する。
【００１０】
ステップＳ４において、温度測定手段４の温度センサにより撮像手段１の温度を取得し、固定パターンノイズを発生する温度かどうか、すなわち認識信頼性保証温度範囲内かどうかを判定する。温度測定は、撮像素子に対して行うのが望ましいが、カメラ取り付け条件などにより困難な場合は、カメラ周辺温度で代用してもよい。ステップＳ４で、温度測定手段４が認識信頼性保証温度範囲内と判定すると、ステップＳ５において、画像認識結果を制御ユニットへ通信手段５により出力する。ステップＳ４で、温度測定手段４が認識信頼性保証温度範囲外と判定すると、ステップＳ６において、認識結果使用禁止信号及び温度調整要求（予め定められた信号）を、制御ユニットへ通信手段５により出力する。これは、通常の出力データにフラグを用意しておくか、フラグの代わりに認識結果データを０リセットしてもよい。
これを受けた制御ユニットは、使用者に温度調整を促すメッセージを表示するか、自動的に温度調整を実施する。
【００１１】
実施の形態１によれば、撮影手段における固定パターンノイズ発生を、撮影手段に対する温度測定手段により判定し、画質異常の画像に対する認識結果を使用禁止とすることにより、認識結果を基に行う警報・制御の誤警報・誤制御をシステムとして回避することができる。
また、撮像手段に対する温度測定手段を備えることで、認識に係る処理時間を増加させることなく、温度測定できる。
【００１２】
実施の形態２．
実施の形態１記載の画像処理装置について、レーンキープ、レーン逸脱警報システム（警報システム）に用いる車線認識画像処理装置を例に説明する。
図３は、この発明の実施の形態２による画像処理装置を車載用カメラに応用した全体構成図である。
図３において、６は画像処理ユニットで、撮影手段である撮像素子７と撮像素子７に対する既存の温度測定手段である温度センサ８を有している。９は画像処理ユニット６に接続された制御ユニット、１０は制御ユニット９によって制御されるアクチュエータ、１１は制御ユニット９によって制御される警報ブザー、１２は制御ユニット９によって制御されるデフロスタであり、６〜１２でシステムを構成する。
【００１３】
図４は、この発明の実施の形態２による画像処理装置を用いた正常な車載カメラ出力画像を示す図である。
図４において、１３は車両前方を撮影した車載カメラの出力画像、１４は自車線のレーンマーキングであり、いずれも画角内に収まっているものとする。
図５は、この発明の実施の形態２による画像処理装置を用いた高温時の固定パターンノイズを含む車載カメラ出力画像を示す図である。
図５において、１３、１４は図４におけるものと同一のものである。１５は車両前方を撮影した車載カメラの出力画像１３において高温時に発生した固定パターンノイズである。
【００１４】
図６は、図４の画像処理のレーンマーキング認識結果であり、正常認識を表す説明図であり、図４に示すカメラの出力画像１３に対する車線認識結果を示している。
図６において、１３、１４は図４におけるものと同一のものである。１６は左右のレーンマーキング１４の認識結果であり、太線で表されている。この例ではレーンマーキング内側を検出位置とし、レーンマーキングを２次式で近似して表している。
図７は、図５の画像処理のレーンマーキング認識結果であり、誤認識を表す説明図であり、図５に示すカメラの出力画像１３に対する車線認識結果を示している。
図７において、１３〜１５は図５におけるものと同一のものである。１６はレーンマーキング１４の認識結果である。
レーンマーキング１４近傍に同じ輝度レベルの固定パターンノイズ１５が発生しているため、固定パターンノイズ１５の一部をレーンマーキング１４位置として誤検出し、認識結果１６が実際のレーンマーキング位置１４と大きく異なる。
【００１５】
図７に示す認識結果を基に、制御ユニット９がレーンキープのためにアクチュエータ１０へ指令し、あるいは警報ブザー１１にレーン逸脱警報を指令すると、実際の走行車線の形状と異なる制御となり、危険な状況に陥る可能性がある。
図７のように誤認識のおそれのある出力画像となったことを、温度センサ８により得られた撮像素子７の温度より判定し、画像処理ユニット６としては、制御ユニット９に対して、認識結果使用禁止信号及び温度調整要求を出力する。
認識結果使用禁止信号を受けた制御ユニット９は、レーンキープやレーン逸脱警報を行うための指令を、アクチュエータ１０及び警報ブザー１１に発しないものとする。また、制御ユニット９は、画像処理ユニット６が車室内、例えばルームミラー背面に取り付けられている場合、画像処理ユニット６の周辺温度を下げるべく、カーエアコンのデフロスタ１２を自動的に作動させる、あるいは運転者に操作を促す。
画像処理ユニット６に対する冷却手段あるいは外気温低下などの外的環境により、撮像素子７の温度が許容範囲内に収まったとき、画像処理ユニット６は、温度センサ８によりこれを判定し、自動的に認識結果使用禁止信号を解除する。
【００１６】
実施の形態２によれば、車線認識画像処理装置において、撮像手段における固定パターンノイズ発生時に、既存の温度調整手段を適用することにより、画像処理装置に温度調整手段を付加することなく認識結果を基に行う警報・制御の誤警報・誤制御をシステムとして回避することができる。
【００１７】
実施の形態３．
実施の形態３は、実施の形態２記載の画像処理装置について、認識信頼性温度範囲外から撮像手段の温度が復帰する場合についてのものである。撮像手段の温度が認識信頼性温度範囲外にある場合、画像処理を停止せず認識結果使用禁止信号を出力することで、認識画像処理手段の出力をマスクし、温度が認識信頼性温度範囲内に復帰したときの出力中断時間を最小限に抑える。
実施の形態３の処理フローは、図２に示すものと同様のもので、画像処理のステップＳ１〜Ｓ３を実施してから、ステップＳ４で温度をチェックし、出力についてはステップＳ５かステップＳ６によるかを決定する。
【００１８】
図８は、この発明の実施の形態３による画像処理装置を用いたレーンマーキング画像処理開始直後あるいはレーンマーキング未抽出状態の左右レーンマーキング探索領域を表す説明図である。
図８において、１３、１４、１６は図６におけるものと同一のものである。１７、１８はレーンマーキング画像処理開始直後またはレーンマーキング未抽出状態の左右レーンマーキング探索領域で、１７は左レーンマーキング探索領域であり、１８は右レーンマーキング探索領域である。
図９は、この発明の実施の形態３による画像処理装置を用いたレーンマーキング抽出時の左右レーンマーキング追跡領域を表す説明図である。
図９において、１３、１４、１６は図６におけるものと同一のものである。１９、２０はレーンマーキング抽出時の左右レーンマーキング追跡領域で、１９は左レーンマーキング追跡領域であり、２０は右レーンマーキング追跡領域である。
【００１９】
以下、画像処理停止状態からの再開が、認識復帰までに時間がかかる点について説明する。
図８に、レーンマーキング画像処理開始直後あるいはレーンマーキング未抽出状態の左右レーンマーキング探索領域１７、１８を表すように、レーンマーキングが画面のどこに位置するかの事前情報がないため、広い領域から探索する必要があり、抽出するまでに処理時間がかかる。
一方、図９に、レーンマーキング抽出時の左右レーンマーキング追跡領域１９、２０で表されるように、前回の抽出位置を基準に追跡領域を設定できるため、左右レーンマーキング探索領域１７、１８に比べて狭い領域に限定して追跡することができる。
一旦、画像処理を停止すると、図８の状態から画像処理を再開しなければならず、認識復帰までに時間がかかるが、画像処理を停止せずに認識結果出力マスクにしておくと、図９の状態から画像処理が再開でき、直ちに認識復帰が行われる。
【００２０】
実施の形態３によれば、撮像手段の温度が、許容温度範囲外から許容範囲内に復帰した場合、画像処理を停止させていないため、直ちに認識結果出力が可能となり、認識結果出力の利用中断時間を最小限に抑えることができる。
【００２１】
実施の形態４．
実施の形態４は、実施の形態２記載の画像処理装置について、画像処理装置ごとに認識信頼性保証温度を設定する認識信頼性保証温度設定手段を設けたものである。
図１０は、この発明の実施の形態４による画像処理装置を用いた左右レーンマーキング探索領域外に固定パターンノイズが発生している画像を示す図である。
図１０において、１３、１４、１５は図５におけるものと１７、１８は図８におけるものとそれぞれ同一のものである。
図１１は、この発明の実施の形態４による画像処理装置を用いた左右レーンマーキング探索領域内に固定パターンノイズが発生し、誤認識のおそれがある画像を示す図である。
図１１において、１３、１４、１５、１７、１８は図１０におけるものと同一ものである。
【００２２】
固定パターンノイズ発生は、撮像素子ごとに固有であり、温度領域に応じて決まった位置の画素が白飛び、黒飛びを起こすという特徴がある。
例えば、ある温度では、図１０のように、固定パターンノイズ１５が発生しているものとする。このとき、台形で示す画像処理に参照する領域すなわち左右レーンマーキング探索領域１７、１８内には、固定パターンノイズが含まれないため、認識信頼性には影響しない。図９の左右レーンマーキング追跡領域１９、２０は、左右レーンマーキング探索領域１７、１８に包含されるため、ここでは左右レーンマーキング探索領域１７、１８のみ取り上げる。
図１０の状態よりさらに温度が上昇すると、図１１のように、左右レーンマーキング探索領域１７、１８内に固定パターンノイズ１５が発生し、誤認識をするおそれがある。すなわち、左右レーンマーキング探索領域１７、１８内に固定パターンノイズ１５が発生する温度が、その画像処理装置の認識信頼性保証の限界温度となる。
実施の形態４では、このように認識信頼性保証の限界温度が、画像処理装置ごとに固有であるため、画像処理装置ごとに認識信頼性保証温度を設定する。
【００２３】
実施の形態４によれば、認識信頼性保証温度のさらなる信頼性確保と同時に、撮像素子の固定パターンノイズ発生温度を越えて認識信頼性保証温度を設定することができる。
【００２４】
【発明の効果】
この発明は、以上説明したように構成されているので、以下に示すような効果を奏する。
画像を撮像する撮像手段、この撮像手段により撮像された画像から対象物を抽出する認識画像処理手段、撮像手段の温度を測定する温度測定手段、認識画像処理手段の出力を送信する通信手段を備え、温度測定手段によって測定された温度が所定の範囲内にないとき、認識画像処理手段は、対象物の抽出を継続して行うと共に、通信手段は、認識画像処理手段の出力の使用を禁止する認識結果使用禁止信号を送信するので、撮像手段における固定パターンノイズ発生による認識画像処理装置の誤認識の結果を用いて、誤った警報・制御を行うのを回避することができるとともに、認識画像処理手段の出力の利用を早く再開することができる。
【００２５】
また、車両に搭載され、車両走行について警報を行う制御ユニットと共に警報システムを構成する画像処理装置において、画像を撮像する撮像手段、この撮像手段により撮像された画像から対象物を抽出する認識画像処理手段、撮像手段の温度を測定する温度測定手段、認識画像処理手段の出力を制御ユニットに送信する通信手段を備え、温度測定手段によって測定された温度が所定の範囲内にないとき、認識画像処理手段は、対象物の抽出を継続して行うと共に、通信手段は、認識画像処理手段の出力の使用を禁止する認識結果使用禁止信号を制御ユニットに送信するので、撮像手段における固定パターンノイズ発生による認識画像処理装置の誤認識の結果を用いて、誤った警報・制御を行うのを回避することができるとともに、認識画像処理手段の出力の利用を早く再開することができる。
【００２６】
また、通信手段は、温度測定手段によって測定された温度が所定の範囲内にないとき、撮像手段の温度調整を要求する信号を出力するので、撮像手段の温度調整を行うことができる。
【００２７】
また、撮像手段の温度について、認識画像処理手段による認識の信頼性を保証する温度を設定する認識信頼性保証温度設定手段を備えたので、画像処理装置毎に認識信頼性保証温度設定を行うことができる。
【図面の簡単な説明】
【図１】 この発明の実施の形態１による画像処理装置を簡略化して示す構成図である。
【図２】 この発明の実施の形態１による画像処理装置の処理フローを示すフローチャートである。
【図３】 この発明の実施の形態２による画像処理装置を車載用カメラに応用した全体構成図である。
【図４】 この発明の実施の形態２による画像処理装置を用いた正常な車載カメラ出力画像を示す図である。
【図５】 この発明の実施の形態２による画像処理装置を用いた高温時の固定パターンノイズを含む車載カメラ出力画像を示す図である。
【図６】 図４の画像処理のレーンマーキング認識結果であり、正常認識を表す説明図である。
【図７】 図５の画像処理のレーンマーキング認識結果であり、誤認識を表す説明図である。
【図８】 この発明の実施の形態３による画像処理装置を用いたレーンマーキング画像処理開始直後あるいはレーンマーキング未抽出状態の左右レーンマーキング探索領域を表す説明図である。
【図９】 この発明の実施の形態３による画像処理装置を用いたレーンマーキング抽出時の左右レーンマーキング追跡領域を表す説明図である。
【図１０】 この発明の実施の形態４による画像処理装置を用いた左右レーンマーキング探索領域外に固定パターンノイズが発生している画像を示す図である。
【図１１】この発明の実施の形態４による画像処理装置を用いた左右レーンマーキング探索領域内に固定パターンノイズが発生し、誤認識のおそれがある画像を示す図である。
【符号の説明】
１ 撮影手段、２ 画像記憶手段、３ 認識画像処理手段、
４ 温度測定手段、５ 通信手段、６ 画像処理ユニット、７ 撮像素子、
８ 温度センサ、９ 制御ユニット、１０ アクチュエータ、
１１ 警報ブザー、１２ デフロスタ、１３ カメラ出力画像、
１４ レーンマーキング、１５ 固定パターンノイズ、
１６ レーンマーキング認識結果、１７ 左レーンマーキング探索領域、
１８ 右レーンマーキング探索領域、１９ 左レーンマーキング追跡領域、
２０ 右レーンマーキング追跡領域。
【発明の属する技術分野】
この発明は、リアルタイムの対象物認識を行うために、制御あるいは警報のための情報を提供する画像処理装置に関するものである。
【０００２】
【従来の技術】
車載用カメラによる撮像手段を用いて、車両外部の物体を認識する光学式の物体認識装置として、特開２００１−３３２３８号公報に記載されているように、受光部の一部を遮光した領域の輝度値より撮像された画像の有効性を判断するものがある。
また、温度検出装置付きカメラとして、特開２０００−３４７２８４号公報に記載されているように、機構部品に係る撮影動作が保証されない低温時または高温時には撮影を禁止するものがある。
【０００３】
【発明が解決しようとする課題】
特開２００１−３３２３８号公報の物体認識装置においては、画像の有効性を判定するにあたり、遮光領域全体を画像処理のために走査する必要があり、リアルタイムの認識に用いると処理時間の点で不利である。
一方、撮像素子が高温・低温になると、特定の画素の輝度値が白飛び・黒飛びとなる固定パターンノイズが発生し、固定パターンノイズを含む輝度分布を基に画像処理した認識結果の信頼性は大幅に低下する。よって、この認識結果を基に実施する警報・制御においては誤りが発生する。
例えば、レーンマーキングのように白い物体を検出対象としている画像処理装置においては、高温時に発生する固定パターンノイズの白飛び画素を誤検出して車線認識を誤ることがあり、この誤認識結果を基に車線逸脱警報あるいは車両制御を行うことにより、危険な状況に陥る可能性がある。
このような固定パターンノイズの問題があるため、特開２０００−３４７２８４号公報の温度検出装置付きカメラのように、機構部品に係る不具合のみ問題とするのではなく、撮像素子も考慮する必要がある。
【０００４】
この発明は、上述のような課題を解決するためになされたものであり、リアルタイムに対象物認識を信頼性よく行うことができる画像処理装置を得ることを目的としている。
【０００５】
【課題を解決するための手段】
この発明に係わる画像処理装置においては、画像を撮像する撮像手段、この撮像手段により撮像された画像から対象物を抽出する認識画像処理手段、撮像手段の温度を測定する温度測定手段、認識画像処理手段の出力を送信する通信手段を備え、温度測定手段によって測定された温度が所定の範囲内にないとき、認識画像処理手段は、対象物の抽出を継続して行うと共に、通信手段は、認識画像処理手段の出力の使用を禁止する認識結果使用禁止信号を送信するものである。
また、車両に搭載され、車両走行について警報を行う制御ユニットと共に警報システムを構成する画像処理装置において、画像を撮像する撮像手段、この撮像手段により撮像された画像から対象物を抽出する認識画像処理手段、撮像手段の温度を測定する温度測定手段、認識画像処理手段の出力を制御ユニットに送信する通信手段を備え、温度測定手段によって測定された温度が所定の範囲内にないとき、認識画像処理手段は、対象物の抽出を継続して行うと共に、通信手段は、認識画像処理手段の出力の使用を禁止する認識結果使用禁止信号を制御ユニットに送信するものである。
【０００６】
また、通信手段は、温度測定手段によって測定された温度が所定の範囲内にないとき、撮像手段の温度調整を要求する信号を出力するものである。
【０００７】
また、撮像手段の温度について、認識画像処理手段による認識の信頼性を保証する温度を設定する認識信頼性保証温度設定手段を備えたものである。
【０００８】
【発明の実施の形態】
以下、この発明の実施の形態を図を用いて説明する。
実施の形態１．
図１は、この発明の実施の形態１による画像処理装置を簡略化して示す構成図である。
図１において、１は撮影手段、２は撮影手段１によって得られた画像全体あるいは一部を一時記憶する画像記憶手段、３は画像記憶手段２より画像データを読み出し、対象物をリアルタイムで抽出する認識画像処理手段、４は撮影手段１について温度測定を行う温度測定手段、５は認識画像処理手段３による認識画像処理の結果及び温度測定手段４による温度測定の結果を受けて、外部へ送信出力する通信手段である。
図２は、この発明の実施の形態１による画像処理装置の処理フローを示すフローチャートである。
【０００９】
次に、図２のフローチャートを用いて動作について説明する。
ステップＳ１で、撮影手段１により対象物を撮影し、ステップＳ２で、撮影画像を画像記憶手段２の画像メモリに輝度値データとして取り込み、一時記憶する。なお、記憶する輝度値データは、対象物認識に係る領域だけでもよい。次いで、ステップＳ３において、認識画像処理手段３により、画像メモリより輝度値データを読み出し、輝度分布の時系列的、空間的特徴を基に対象物を抽出する。
【００１０】
ステップＳ４において、温度測定手段４の温度センサにより撮像手段１の温度を取得し、固定パターンノイズを発生する温度かどうか、すなわち認識信頼性保証温度範囲内かどうかを判定する。温度測定は、撮像素子に対して行うのが望ましいが、カメラ取り付け条件などにより困難な場合は、カメラ周辺温度で代用してもよい。ステップＳ４で、温度測定手段４が認識信頼性保証温度範囲内と判定すると、ステップＳ５において、画像認識結果を制御ユニットへ通信手段５により出力する。ステップＳ４で、温度測定手段４が認識信頼性保証温度範囲外と判定すると、ステップＳ６において、認識結果使用禁止信号及び温度調整要求（予め定められた信号）を、制御ユニットへ通信手段５により出力する。これは、通常の出力データにフラグを用意しておくか、フラグの代わりに認識結果データを０リセットしてもよい。
これを受けた制御ユニットは、使用者に温度調整を促すメッセージを表示するか、自動的に温度調整を実施する。
【００１１】
実施の形態１によれば、撮影手段における固定パターンノイズ発生を、撮影手段に対する温度測定手段により判定し、画質異常の画像に対する認識結果を使用禁止とすることにより、認識結果を基に行う警報・制御の誤警報・誤制御をシステムとして回避することができる。
また、撮像手段に対する温度測定手段を備えることで、認識に係る処理時間を増加させることなく、温度測定できる。
【００１２】
実施の形態２．
実施の形態１記載の画像処理装置について、レーンキープ、レーン逸脱警報システム（警報システム）に用いる車線認識画像処理装置を例に説明する。
図３は、この発明の実施の形態２による画像処理装置を車載用カメラに応用した全体構成図である。
図３において、６は画像処理ユニットで、撮影手段である撮像素子７と撮像素子７に対する既存の温度測定手段である温度センサ８を有している。９は画像処理ユニット６に接続された制御ユニット、１０は制御ユニット９によって制御されるアクチュエータ、１１は制御ユニット９によって制御される警報ブザー、１２は制御ユニット９によって制御されるデフロスタであり、６〜１２でシステムを構成する。
【００１３】
図４は、この発明の実施の形態２による画像処理装置を用いた正常な車載カメラ出力画像を示す図である。
図４において、１３は車両前方を撮影した車載カメラの出力画像、１４は自車線のレーンマーキングであり、いずれも画角内に収まっているものとする。
図５は、この発明の実施の形態２による画像処理装置を用いた高温時の固定パターンノイズを含む車載カメラ出力画像を示す図である。
図５において、１３、１４は図４におけるものと同一のものである。１５は車両前方を撮影した車載カメラの出力画像１３において高温時に発生した固定パターンノイズである。
【００１４】
図６は、図４の画像処理のレーンマーキング認識結果であり、正常認識を表す説明図であり、図４に示すカメラの出力画像１３に対する車線認識結果を示している。
図６において、１３、１４は図４におけるものと同一のものである。１６は左右のレーンマーキング１４の認識結果であり、太線で表されている。この例ではレーンマーキング内側を検出位置とし、レーンマーキングを２次式で近似して表している。
図７は、図５の画像処理のレーンマーキング認識結果であり、誤認識を表す説明図であり、図５に示すカメラの出力画像１３に対する車線認識結果を示している。
図７において、１３〜１５は図５におけるものと同一のものである。１６はレーンマーキング１４の認識結果である。
レーンマーキング１４近傍に同じ輝度レベルの固定パターンノイズ１５が発生しているため、固定パターンノイズ１５の一部をレーンマーキング１４位置として誤検出し、認識結果１６が実際のレーンマーキング位置１４と大きく異なる。
【００１５】
図７に示す認識結果を基に、制御ユニット９がレーンキープのためにアクチュエータ１０へ指令し、あるいは警報ブザー１１にレーン逸脱警報を指令すると、実際の走行車線の形状と異なる制御となり、危険な状況に陥る可能性がある。
図７のように誤認識のおそれのある出力画像となったことを、温度センサ８により得られた撮像素子７の温度より判定し、画像処理ユニット６としては、制御ユニット９に対して、認識結果使用禁止信号及び温度調整要求を出力する。
認識結果使用禁止信号を受けた制御ユニット９は、レーンキープやレーン逸脱警報を行うための指令を、アクチュエータ１０及び警報ブザー１１に発しないものとする。また、制御ユニット９は、画像処理ユニット６が車室内、例えばルームミラー背面に取り付けられている場合、画像処理ユニット６の周辺温度を下げるべく、カーエアコンのデフロスタ１２を自動的に作動させる、あるいは運転者に操作を促す。
画像処理ユニット６に対する冷却手段あるいは外気温低下などの外的環境により、撮像素子７の温度が許容範囲内に収まったとき、画像処理ユニット６は、温度センサ８によりこれを判定し、自動的に認識結果使用禁止信号を解除する。
【００１６】
実施の形態２によれば、車線認識画像処理装置において、撮像手段における固定パターンノイズ発生時に、既存の温度調整手段を適用することにより、画像処理装置に温度調整手段を付加することなく認識結果を基に行う警報・制御の誤警報・誤制御をシステムとして回避することができる。
【００１７】
実施の形態３．
実施の形態３は、実施の形態２記載の画像処理装置について、認識信頼性温度範囲外から撮像手段の温度が復帰する場合についてのものである。撮像手段の温度が認識信頼性温度範囲外にある場合、画像処理を停止せず認識結果使用禁止信号を出力することで、認識画像処理手段の出力をマスクし、温度が認識信頼性温度範囲内に復帰したときの出力中断時間を最小限に抑える。
実施の形態３の処理フローは、図２に示すものと同様のもので、画像処理のステップＳ１〜Ｓ３を実施してから、ステップＳ４で温度をチェックし、出力についてはステップＳ５かステップＳ６によるかを決定する。
【００１８】
図８は、この発明の実施の形態３による画像処理装置を用いたレーンマーキング画像処理開始直後あるいはレーンマーキング未抽出状態の左右レーンマーキング探索領域を表す説明図である。
図８において、１３、１４、１６は図６におけるものと同一のものである。１７、１８はレーンマーキング画像処理開始直後またはレーンマーキング未抽出状態の左右レーンマーキング探索領域で、１７は左レーンマーキング探索領域であり、１８は右レーンマーキング探索領域である。
図９は、この発明の実施の形態３による画像処理装置を用いたレーンマーキング抽出時の左右レーンマーキング追跡領域を表す説明図である。
図９において、１３、１４、１６は図６におけるものと同一のものである。１９、２０はレーンマーキング抽出時の左右レーンマーキング追跡領域で、１９は左レーンマーキング追跡領域であり、２０は右レーンマーキング追跡領域である。
【００１９】
以下、画像処理停止状態からの再開が、認識復帰までに時間がかかる点について説明する。
図８に、レーンマーキング画像処理開始直後あるいはレーンマーキング未抽出状態の左右レーンマーキング探索領域１７、１８を表すように、レーンマーキングが画面のどこに位置するかの事前情報がないため、広い領域から探索する必要があり、抽出するまでに処理時間がかかる。
一方、図９に、レーンマーキング抽出時の左右レーンマーキング追跡領域１９、２０で表されるように、前回の抽出位置を基準に追跡領域を設定できるため、左右レーンマーキング探索領域１７、１８に比べて狭い領域に限定して追跡することができる。
一旦、画像処理を停止すると、図８の状態から画像処理を再開しなければならず、認識復帰までに時間がかかるが、画像処理を停止せずに認識結果出力マスクにしておくと、図９の状態から画像処理が再開でき、直ちに認識復帰が行われる。
【００２０】
実施の形態３によれば、撮像手段の温度が、許容温度範囲外から許容範囲内に復帰した場合、画像処理を停止させていないため、直ちに認識結果出力が可能となり、認識結果出力の利用中断時間を最小限に抑えることができる。
【００２１】
実施の形態４．
実施の形態４は、実施の形態２記載の画像処理装置について、画像処理装置ごとに認識信頼性保証温度を設定する認識信頼性保証温度設定手段を設けたものである。
図１０は、この発明の実施の形態４による画像処理装置を用いた左右レーンマーキング探索領域外に固定パターンノイズが発生している画像を示す図である。
図１０において、１３、１４、１５は図５におけるものと１７、１８は図８におけるものとそれぞれ同一のものである。
図１１は、この発明の実施の形態４による画像処理装置を用いた左右レーンマーキング探索領域内に固定パターンノイズが発生し、誤認識のおそれがある画像を示す図である。
図１１において、１３、１４、１５、１７、１８は図１０におけるものと同一ものである。
【００２２】
固定パターンノイズ発生は、撮像素子ごとに固有であり、温度領域に応じて決まった位置の画素が白飛び、黒飛びを起こすという特徴がある。
例えば、ある温度では、図１０のように、固定パターンノイズ１５が発生しているものとする。このとき、台形で示す画像処理に参照する領域すなわち左右レーンマーキング探索領域１７、１８内には、固定パターンノイズが含まれないため、認識信頼性には影響しない。図９の左右レーンマーキング追跡領域１９、２０は、左右レーンマーキング探索領域１７、１８に包含されるため、ここでは左右レーンマーキング探索領域１７、１８のみ取り上げる。
図１０の状態よりさらに温度が上昇すると、図１１のように、左右レーンマーキング探索領域１７、１８内に固定パターンノイズ１５が発生し、誤認識をするおそれがある。すなわち、左右レーンマーキング探索領域１７、１８内に固定パターンノイズ１５が発生する温度が、その画像処理装置の認識信頼性保証の限界温度となる。
実施の形態４では、このように認識信頼性保証の限界温度が、画像処理装置ごとに固有であるため、画像処理装置ごとに認識信頼性保証温度を設定する。
【００２３】
実施の形態４によれば、認識信頼性保証温度のさらなる信頼性確保と同時に、撮像素子の固定パターンノイズ発生温度を越えて認識信頼性保証温度を設定することができる。
【００２４】
【発明の効果】
この発明は、以上説明したように構成されているので、以下に示すような効果を奏する。
画像を撮像する撮像手段、この撮像手段により撮像された画像から対象物を抽出する認識画像処理手段、撮像手段の温度を測定する温度測定手段、認識画像処理手段の出力を送信する通信手段を備え、温度測定手段によって測定された温度が所定の範囲内にないとき、認識画像処理手段は、対象物の抽出を継続して行うと共に、通信手段は、認識画像処理手段の出力の使用を禁止する認識結果使用禁止信号を送信するので、撮像手段における固定パターンノイズ発生による認識画像処理装置の誤認識の結果を用いて、誤った警報・制御を行うのを回避することができるとともに、認識画像処理手段の出力の利用を早く再開することができる。
【００２５】
また、車両に搭載され、車両走行について警報を行う制御ユニットと共に警報システムを構成する画像処理装置において、画像を撮像する撮像手段、この撮像手段により撮像された画像から対象物を抽出する認識画像処理手段、撮像手段の温度を測定する温度測定手段、認識画像処理手段の出力を制御ユニットに送信する通信手段を備え、温度測定手段によって測定された温度が所定の範囲内にないとき、認識画像処理手段は、対象物の抽出を継続して行うと共に、通信手段は、認識画像処理手段の出力の使用を禁止する認識結果使用禁止信号を制御ユニットに送信するので、撮像手段における固定パターンノイズ発生による認識画像処理装置の誤認識の結果を用いて、誤った警報・制御を行うのを回避することができるとともに、認識画像処理手段の出力の利用を早く再開することができる。
【００２６】
また、通信手段は、温度測定手段によって測定された温度が所定の範囲内にないとき、撮像手段の温度調整を要求する信号を出力するので、撮像手段の温度調整を行うことができる。
【００２７】
また、撮像手段の温度について、認識画像処理手段による認識の信頼性を保証する温度を設定する認識信頼性保証温度設定手段を備えたので、画像処理装置毎に認識信頼性保証温度設定を行うことができる。
【図面の簡単な説明】
【図１】 この発明の実施の形態１による画像処理装置を簡略化して示す構成図である。
【図２】 この発明の実施の形態１による画像処理装置の処理フローを示すフローチャートである。
【図３】 この発明の実施の形態２による画像処理装置を車載用カメラに応用した全体構成図である。
【図４】 この発明の実施の形態２による画像処理装置を用いた正常な車載カメラ出力画像を示す図である。
【図５】 この発明の実施の形態２による画像処理装置を用いた高温時の固定パターンノイズを含む車載カメラ出力画像を示す図である。
【図６】 図４の画像処理のレーンマーキング認識結果であり、正常認識を表す説明図である。
【図７】 図５の画像処理のレーンマーキング認識結果であり、誤認識を表す説明図である。
【図８】 この発明の実施の形態３による画像処理装置を用いたレーンマーキング画像処理開始直後あるいはレーンマーキング未抽出状態の左右レーンマーキング探索領域を表す説明図である。
【図９】 この発明の実施の形態３による画像処理装置を用いたレーンマーキング抽出時の左右レーンマーキング追跡領域を表す説明図である。
【図１０】 この発明の実施の形態４による画像処理装置を用いた左右レーンマーキング探索領域外に固定パターンノイズが発生している画像を示す図である。
【図１１】この発明の実施の形態４による画像処理装置を用いた左右レーンマーキング探索領域内に固定パターンノイズが発生し、誤認識のおそれがある画像を示す図である。
【符号の説明】
１ 撮影手段、２ 画像記憶手段、３ 認識画像処理手段、
４ 温度測定手段、５ 通信手段、６ 画像処理ユニット、７ 撮像素子、
８ 温度センサ、９ 制御ユニット、１０ アクチュエータ、
１１ 警報ブザー、１２ デフロスタ、１３ カメラ出力画像、
１４ レーンマーキング、１５ 固定パターンノイズ、
１６ レーンマーキング認識結果、１７ 左レーンマーキング探索領域、
１８ 右レーンマーキング探索領域、１９ 左レーンマーキング追跡領域、
２０ 右レーンマーキング追跡領域。
Claims (4)
- 画像を撮像する撮像手段、この撮像手段により撮像された画像から対象物を抽出する認識画像処理手段、上記撮像手段の温度を測定する温度測定手段、上記認識画像処理手段の出力を送信する通信手段を備え、上記温度測定手段によって測定された温度が所定の範囲内にないとき、上記認識画像処理手段は、対象物の抽出を継続して行うと共に、上記通信手段は、上記認識画像処理手段の出力の使用を禁止する認識結果使用禁止信号を送信することを特徴とする画像処理装置。
- 車両に搭載され、車両走行について警報を行う制御ユニットと共に警報システムを構成する画像処理装置において、画像を撮像する撮像手段、この撮像手段により撮像された画像から対象物を抽出する認識画像処理手段、上記撮像手段の温度を測定する温度測定手段、上記認識画像処理手段の出力を上記制御ユニットに送信する通信手段を備え、上記温度測定手段によって測定された温度が所定の範囲内にないとき、上記認識画像処理手段は、対象物の抽出を継続して行うと共に、上記通信手段は、上記認識画像処理手段の出力の使用を禁止する認識結果使用禁止信号を上記制御ユニットに送信することを特徴とする画像処理装置。
- 上記通信手段は、上記温度測定手段によって測定された温度が所定の範囲内にないとき、上記撮像手段の温度調整を要求する信号を出力することを特徴とする請求項１または請求項２記載の画像処理装置。
- 上記撮像手段の温度について、上記認識画像処理手段による認識の信頼性を保証する温度を設定する認識信頼性保証温度設定手段を備えたことを特徴とする請求項１〜請求項３のいずれか一項記載の画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001154528A JP3732115B2 (ja) | 2001-05-23 | 2001-05-23 | 画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001154528A JP3732115B2 (ja) | 2001-05-23 | 2001-05-23 | 画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002354463A JP2002354463A (ja) | 2002-12-06 |
| JP3732115B2 true JP3732115B2 (ja) | 2006-01-05 |
Family
ID=18998855
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001154528A Expired - Fee Related JP3732115B2 (ja) | 2001-05-23 | 2001-05-23 | 画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3732115B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4242334B2 (ja) | 2004-11-30 | 2009-03-25 | 本田技研工業株式会社 | 車両周辺監視装置 |
| JP4708443B2 (ja) * | 2008-01-31 | 2011-06-22 | トヨタ自動車株式会社 | 作動制御マップおよび白線認識装置 |
| JP5541099B2 (ja) * | 2010-11-05 | 2014-07-09 | 株式会社デンソー | 道路区画線認識装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0837612A (ja) * | 1994-07-22 | 1996-02-06 | Canon Inc | 撮像装置 |
| JP3462812B2 (ja) * | 1999-09-22 | 2003-11-05 | 富士重工業株式会社 | 車載カメラの電源制御方法ならびに装置 |
| JP2001213240A (ja) * | 2000-02-04 | 2001-08-07 | Hitachi Ltd | 車載用カメラ装置 |
-
2001
- 2001-05-23 JP JP2001154528A patent/JP3732115B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002354463A (ja) | 2002-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10728537B2 (en) | Photographing device and photographing method | |
| JP6458439B2 (ja) | 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法 | |
| US8115809B2 (en) | Vehicle surroundings monitoring apparatus | |
| US10769816B2 (en) | Thermal image processing device, infrared imaging apparatus, thermal image processing method, and thermal image processing program | |
| US11917308B2 (en) | Imaging device, image recording device, and imaging method for capturing a predetermined event | |
| JP2018173760A (ja) | 映像記録装置および映像記録方法 | |
| JP2005096554A (ja) | タイヤ空気圧監視システム | |
| JP3732115B2 (ja) | 画像処理装置 | |
| JP2004173037A (ja) | 車載カメラの光軸ずれ検出装置 | |
| JP6970568B2 (ja) | 車両の周辺監視装置と周辺監視方法 | |
| JP7827507B2 (ja) | 乗員状態認識装置、乗員状態認識方法、及び、乗員状態認識プログラム | |
| KR102010407B1 (ko) | 스마트 리어뷰 시스템 | |
| KR20130053605A (ko) | 차량의 주변영상 표시 장치 및 그 방법 | |
| JP3723282B2 (ja) | 測距型全方位視覚センサ | |
| JP2001357396A (ja) | 画像処理装置および画像認識装置 | |
| JP4224449B2 (ja) | 画像抽出装置 | |
| JPH07200986A (ja) | 画像式歩行者検出装置 | |
| KR102497614B1 (ko) | 적응형 범용 감시 시스템 및 그 구동방법 | |
| JP2010093623A (ja) | 画像処理装置 | |
| CN113011222A (zh) | 一种活体检测系统、方法及电子设备 | |
| JP2985558B2 (ja) | 運転状態検出装置 | |
| JP2005278898A (ja) | 視線検出装置 | |
| JP7732184B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| JP2009059007A (ja) | 車両用セキュリティーシステム | |
| JP2001092979A (ja) | 不適切画像検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050121 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050201 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050302 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051004 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051011 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091021 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091021 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101021 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111021 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121021 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131021 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |