JP3293441B2 - 撮像装置 - Google Patents
撮像装置Info
- Publication number
- JP3293441B2 JP3293441B2 JP00182196A JP182196A JP3293441B2 JP 3293441 B2 JP3293441 B2 JP 3293441B2 JP 00182196 A JP00182196 A JP 00182196A JP 182196 A JP182196 A JP 182196A JP 3293441 B2 JP3293441 B2 JP 3293441B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- detected
- correction
- vanishing point
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Traffic Control Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は撮像装置、特に撮像
装置におけるＣＣＤカメラ等の撮像手段の取付け時又は
取付け後のずれ補正に関する。
装置におけるＣＣＤカメラ等の撮像手段の取付け時又は
取付け後のずれ補正に関する。
【０００２】
【従来の技術】カメラ等の撮像手段により撮像されたデ
ータに基づいて各種制御を行うシステムは、各分野にお
いて多種に及んでいる。例えば、車両にＣＣＤカメラを
搭載して道路に沿って設けられたセンターラインを検出
するライン検出装置が特開平４−１５８４１０号公報に
記載されている。このライン検出装置は、撮像手段であ
るＣＣＤカメラから出力される輝度信号を二値化して、
その二値化データの変化状態によりセンターラインを検
出するものである。このように、撮像対象物であるセン
ターラインを検出することができれば、この技術を自動
操縦、居眠り防止、方向指示器未指示での車線変更防止
等各種装置の制御に応用することができる。また、車両
に搭載した撮像手段からのデータに基づいて自車と他車
との相対的位置を計測したりすることもできる。
ータに基づいて各種制御を行うシステムは、各分野にお
いて多種に及んでいる。例えば、車両にＣＣＤカメラを
搭載して道路に沿って設けられたセンターラインを検出
するライン検出装置が特開平４−１５８４１０号公報に
記載されている。このライン検出装置は、撮像手段であ
るＣＣＤカメラから出力される輝度信号を二値化して、
その二値化データの変化状態によりセンターラインを検
出するものである。このように、撮像対象物であるセン
ターラインを検出することができれば、この技術を自動
操縦、居眠り防止、方向指示器未指示での車線変更防止
等各種装置の制御に応用することができる。また、車両
に搭載した撮像手段からのデータに基づいて自車と他車
との相対的位置を計測したりすることもできる。
【０００３】このように、車両に取り付けられた撮像手
段は、各種制御を行うための基礎となる入力データ源で
あるため、撮像対象物の画像上における相対位置を正確
に検出しなくてはならない。
段は、各種制御を行うための基礎となる入力データ源で
あるため、撮像対象物の画像上における相対位置を正確
に検出しなくてはならない。
【０００４】
【発明が解決しようとする課題】しかしながら、車内に
ネジ等で取り付けられた撮像手段は、走行時の振動等に
よりずれが生じてしまう場合がある。このように撮像手
段がずれた状態で得られた撮像データを用いて演算等が
行われると撮像対象物の位置を誤検出してしまう。従っ
て、撮像手段からの入力データを利用する警報装置や車
間制御付クルーズコントロールシステムに撮像手段がず
れた状態で得られた撮像データをそのまま用いることは
できない。
ネジ等で取り付けられた撮像手段は、走行時の振動等に
よりずれが生じてしまう場合がある。このように撮像手
段がずれた状態で得られた撮像データを用いて演算等が
行われると撮像対象物の位置を誤検出してしまう。従っ
て、撮像手段からの入力データを利用する警報装置や車
間制御付クルーズコントロールシステムに撮像手段がず
れた状態で得られた撮像データをそのまま用いることは
できない。
【０００５】一方、車内に所定の方向を向けて精度よく
取り付けることや車内に一度取り付けた撮像手段を絶対
にずれないようにすることは、至難の業である。仮にで
きたとしても車体側及び撮像手段側の加工精度を高精度
にしてかつ精密に取り付けるためには、多くの時間を費
やしてしまうし多大な費用を発生させてしまう。
取り付けることや車内に一度取り付けた撮像手段を絶対
にずれないようにすることは、至難の業である。仮にで
きたとしても車体側及び撮像手段側の加工精度を高精度
にしてかつ精密に取り付けるためには、多くの時間を費
やしてしまうし多大な費用を発生させてしまう。
【０００６】本発明は以上のような問題を解決するため
になされたものであり、その目的は、取り付けられた撮
像手段が多少ずれたとしても撮像対象物の相対位置を正
確に検出することができる撮像装置を提供することにあ
る。
になされたものであり、その目的は、取り付けられた撮
像手段が多少ずれたとしても撮像対象物の相対位置を正
確に検出することができる撮像装置を提供することにあ
る。
【０００７】
【課題を解決するための手段】以上のような目的を達成
するために、本発明に係る撮像装置は、車両に搭載され
た撮像手段と、前記撮像手段の両側に引かれた平行線が
前記撮像手段の撮像領域内の無限遠方における一点で交
わり消失する消失点を、前記撮像手段が基準映像を撮像
した撮像データから検出したとき、その検出した消失点
を前記撮像手段の基準点位置として予め求めておき、そ
の基準点位置と走行時に前記撮像手段による撮像データ
から検出した消失点とのずれ量を検出するずれ量検出手
段と、前記ずれ量検出手段が検出したずれ量に基づいて
撮像対象物の座標を補正する補正手段とを有することを
特徴とする。このため、撮像手段の撮影方向が経時的に
ずれたとしても基準点位置を正確に検出できるので、撮
像領域内における撮影対象物の基準点位置からの相対位
置も正確に検出できる。
するために、本発明に係る撮像装置は、車両に搭載され
た撮像手段と、前記撮像手段の両側に引かれた平行線が
前記撮像手段の撮像領域内の無限遠方における一点で交
わり消失する消失点を、前記撮像手段が基準映像を撮像
した撮像データから検出したとき、その検出した消失点
を前記撮像手段の基準点位置として予め求めておき、そ
の基準点位置と走行時に前記撮像手段による撮像データ
から検出した消失点とのずれ量を検出するずれ量検出手
段と、前記ずれ量検出手段が検出したずれ量に基づいて
撮像対象物の座標を補正する補正手段とを有することを
特徴とする。このため、撮像手段の撮影方向が経時的に
ずれたとしても基準点位置を正確に検出できるので、撮
像領域内における撮影対象物の基準点位置からの相対位
置も正確に検出できる。
【０００８】また、前記ずれ量検出手段が検出したずれ
量が予め設定された閾値より大きいときには前記補正手
段による位置座標の補正を禁止する補正禁止手段を有す
ることを特徴とする。つまり、ずれ量を検出するために
適切でないデータをずれ量検出から積極的に外すことが
できるので、ずれ量をより正確に検出することができ
る。
量が予め設定された閾値より大きいときには前記補正手
段による位置座標の補正を禁止する補正禁止手段を有す
ることを特徴とする。つまり、ずれ量を検出するために
適切でないデータをずれ量検出から積極的に外すことが
できるので、ずれ量をより正確に検出することができ
る。
【０００９】
【００１０】また、車両の走行状態を検出する走行状態
検出手段と、前記走行状態検出手段が検出した走行状態
から前記ずれ量検出手段がずれ量を正しく検出できない
と判断したときには前記補正手段による位置座標の補正
を禁止する補正禁止手段とを有することを特徴とする。
検出手段と、前記走行状態検出手段が検出した走行状態
から前記ずれ量検出手段がずれ量を正しく検出できない
と判断したときには前記補正手段による位置座標の補正
を禁止する補正禁止手段とを有することを特徴とする。
【００１１】
【発明の実施の形態】以下、図面に基づいて、本発明の
好適な実施の形態について説明する。
好適な実施の形態について説明する。
【００１２】図１は、本発明に係る撮像装置の一実施の
形態を示したブロック構成図である。図１には、所定の
領域を撮像する撮像手段としてのＣＣＤカメラ２と、所
定の領域内における予め特定された基準点位置とＣＣＤ
カメラ２による撮像データから検出した基準点位置との
ずれ量を検出するずれ量検出手段として、また走行状態
に応じて位置座標の補正を禁止する補正禁止手段として
のずれ量算出部４と、ずれ量算出部４が検出したずれ量
に基づいて基準点位置の座標の補正を行い、更に撮像対
象物の座標を補正する補正手段としての位置ずれ補正部
６と、ＣＣＤカメラ２が搭載された車両の走行状態を検
出する走行状態検出手段としての走行状態検出部８とが
示されている。
形態を示したブロック構成図である。図１には、所定の
領域を撮像する撮像手段としてのＣＣＤカメラ２と、所
定の領域内における予め特定された基準点位置とＣＣＤ
カメラ２による撮像データから検出した基準点位置との
ずれ量を検出するずれ量検出手段として、また走行状態
に応じて位置座標の補正を禁止する補正禁止手段として
のずれ量算出部４と、ずれ量算出部４が検出したずれ量
に基づいて基準点位置の座標の補正を行い、更に撮像対
象物の座標を補正する補正手段としての位置ずれ補正部
６と、ＣＣＤカメラ２が搭載された車両の走行状態を検
出する走行状態検出手段としての走行状態検出部８とが
示されている。
【００１３】ところで、ＣＣＤカメラ２の両側に引かれ
た平行線は、撮像領域内の無限遠方における一点で交わ
り消失するが、その点（消失点）は幾何学的に求めるこ
とができる。図２は、この消失点を説明するための概念
図である。例えば、センターラインや路側帯を示す線の
ような白線が道路上を走行する車両の両側にある場合、
車両が直線かつ平坦な道路を白線に沿って走行さえして
いれば、車両に搭載され走行方向を撮像するＣＣＤカメ
ラ２により撮像された白線は、図２に示したように同じ
一点で常に交わるはずである。本実施の形態において特
徴的なことは、この消失点を撮像領域内において不変的
な座標値を持つ基準点位置として定め、その予め特定さ
れた撮像領域内の消失点と実際の撮像データから検出し
た消失点とを必要時に比較することでＣＣＤカメラ２の
ずれ量を検出することである。通常は、撮像領域内にお
いて座標位置の変わらない不変的な基準点として用いら
れる消失点を、本実施の形態においては、移動する可能
性のある点としてとらえ、この消失点の位置座標を用い
てずれ量を検出するようにした。ずれ量さえ検出できれ
ば、撮像領域における消失点の正確な位置座標を検出す
ることができ、更に撮像領域に含まれる撮影対象物の消
失点からの相対位置を正確に検出することができる。こ
れにより、撮像データに基づいて行う各種システムの誤
動作を防止することができ、撮像装置を利用したシステ
ムの信頼性の向上を図ることができる。また、ＣＣＤカ
メラ２の撮影方向の調整等を行うことができる。
た平行線は、撮像領域内の無限遠方における一点で交わ
り消失するが、その点（消失点）は幾何学的に求めるこ
とができる。図２は、この消失点を説明するための概念
図である。例えば、センターラインや路側帯を示す線の
ような白線が道路上を走行する車両の両側にある場合、
車両が直線かつ平坦な道路を白線に沿って走行さえして
いれば、車両に搭載され走行方向を撮像するＣＣＤカメ
ラ２により撮像された白線は、図２に示したように同じ
一点で常に交わるはずである。本実施の形態において特
徴的なことは、この消失点を撮像領域内において不変的
な座標値を持つ基準点位置として定め、その予め特定さ
れた撮像領域内の消失点と実際の撮像データから検出し
た消失点とを必要時に比較することでＣＣＤカメラ２の
ずれ量を検出することである。通常は、撮像領域内にお
いて座標位置の変わらない不変的な基準点として用いら
れる消失点を、本実施の形態においては、移動する可能
性のある点としてとらえ、この消失点の位置座標を用い
てずれ量を検出するようにした。ずれ量さえ検出できれ
ば、撮像領域における消失点の正確な位置座標を検出す
ることができ、更に撮像領域に含まれる撮影対象物の消
失点からの相対位置を正確に検出することができる。こ
れにより、撮像データに基づいて行う各種システムの誤
動作を防止することができ、撮像装置を利用したシステ
ムの信頼性の向上を図ることができる。また、ＣＣＤカ
メラ２の撮影方向の調整等を行うことができる。
【００１４】次に、本実施の形態における動作につい
て、ＣＣＤカメラ２の車両への取付時におけるずれ補正
方法と車両の走行中におけるずれ補正方法とに分けて説
明する。まず、ＣＣＤカメラ２の車両への取付時におけ
るずれ補正方法について図３を用いて説明する。
て、ＣＣＤカメラ２の車両への取付時におけるずれ補正
方法と車両の走行中におけるずれ補正方法とに分けて説
明する。まず、ＣＣＤカメラ２の車両への取付時におけ
るずれ補正方法について図３を用いて説明する。
【００１５】ＣＣＤカメラ２の車両への取付時は、図３
（ａ）に示したように、ＣＣＤカメラ２をフロントガラ
スの上部のところに搭載する車両の真正面にスクリーン
１２を立て、このスクリーン１２に写された映像を基準
映像として撮像することでＣＣＤカメラ２の位置を調整
する。基準映像は、平坦な直線道路に白線が引かれた映
像であり、スクリーン１２とＣＣＤカメラ２との距離が
わかれば、撮像領域内における消失点の座標値は、理論
的に前もって算出することができる。この消失点の座標
値を基準座標とする。ずれ量算出部４は、基準映像を撮
像した撮像データから白線を抽出し基準点である消失点
を検出する。撮像領域内における消失点の算出方法は、
従来からある方法を用いればよい。この撮像データから
検出された消失点の座標と基準座標とを比較することで
基準点位置からのずれ量を検出することができる。ずれ
量がわかれば、ＣＤＤカメラ２のずれを調整することが
できる。
（ａ）に示したように、ＣＣＤカメラ２をフロントガラ
スの上部のところに搭載する車両の真正面にスクリーン
１２を立て、このスクリーン１２に写された映像を基準
映像として撮像することでＣＣＤカメラ２の位置を調整
する。基準映像は、平坦な直線道路に白線が引かれた映
像であり、スクリーン１２とＣＣＤカメラ２との距離が
わかれば、撮像領域内における消失点の座標値は、理論
的に前もって算出することができる。この消失点の座標
値を基準座標とする。ずれ量算出部４は、基準映像を撮
像した撮像データから白線を抽出し基準点である消失点
を検出する。撮像領域内における消失点の算出方法は、
従来からある方法を用いればよい。この撮像データから
検出された消失点の座標と基準座標とを比較することで
基準点位置からのずれ量を検出することができる。ずれ
量がわかれば、ＣＤＤカメラ２のずれを調整することが
できる。
【００１６】このように、消失点を位置補正を行うため
の基準点位置として利用することで容易にＣＣＤカメラ
２のずれを補正することができる。この消失点の座標値
（Ｘｓ，Ｙｓ）は、撮像装置内に記憶される。
の基準点位置として利用することで容易にＣＣＤカメラ
２のずれを補正することができる。この消失点の座標値
（Ｘｓ，Ｙｓ）は、撮像装置内に記憶される。
【００１７】ところで、ＣＣＤカメラ２の初期の状態か
らのずれ量を検出できれば、走行時のずれは検出でき
る。つまり、理論値ではなく基準映像を実際に撮像した
データから得られた座標を基準座標とし、この基準座標
と走行時において得られた消失点とを比較してもずれ量
を検出することはできる。従って、基準映像を撮像した
データから検出した消失点をそのまま基準座標として用
いることができる。この場合、基準映像を撮像したデー
タから検出した消失点の座標値（Ｘｓ，Ｙｓ）を撮像装
置内に記憶する。こうすれば、ＣＣＤカメラ２が多少真
正面からずれて取り付けられても何ら問題はない。従っ
て、ＣＣＤカメラ２をそれほど厳密に取り付ける必要は
ないので、厳密に取り付けるための手段等は不要で、か
つ取付作業に多大な時間をかける必要もない。なお、消
失点の座標値を（０，０）として記憶し、走行時に発生
するＣＤＤカメラ２のずれを相対的な位置ずれとして取
り扱ってもよい。
らのずれ量を検出できれば、走行時のずれは検出でき
る。つまり、理論値ではなく基準映像を実際に撮像した
データから得られた座標を基準座標とし、この基準座標
と走行時において得られた消失点とを比較してもずれ量
を検出することはできる。従って、基準映像を撮像した
データから検出した消失点をそのまま基準座標として用
いることができる。この場合、基準映像を撮像したデー
タから検出した消失点の座標値（Ｘｓ，Ｙｓ）を撮像装
置内に記憶する。こうすれば、ＣＣＤカメラ２が多少真
正面からずれて取り付けられても何ら問題はない。従っ
て、ＣＣＤカメラ２をそれほど厳密に取り付ける必要は
ないので、厳密に取り付けるための手段等は不要で、か
つ取付作業に多大な時間をかける必要もない。なお、消
失点の座標値を（０，０）として記憶し、走行時に発生
するＣＤＤカメラ２のずれを相対的な位置ずれとして取
り扱ってもよい。
【００１８】前述のスクリーン１２を用いた方法でなく
てもＣＤＤカメラ２に単なる図を撮像させてもよいし、
図３（ｂ）のように、平行に引かれた基準白線１４を実
際に撮像させて消失点を算出させるようにしてもよい。
てもＣＤＤカメラ２に単なる図を撮像させてもよいし、
図３（ｂ）のように、平行に引かれた基準白線１４を実
際に撮像させて消失点を算出させるようにしてもよい。
【００１９】図４は、本実施の形態におけるＣＣＤカメ
ラ２のずれを検出する方法を示したフローチャートであ
り、図５は、求めたずれ量の利用したずれ補正方法を示
したフローチャートである。これらのフローチャートを
用いて、車両の走行中におけるずれ補正方法について説
明する。以下の説明では、走行中におけるずれの検出で
使用する消失点の座標値（Ｘｓ，Ｙｓ）の初期座標を
（０，０）とする。なお、消失点の座標値（Ｘｓ，Ｙ
ｓ）は、学習により変動する。
ラ２のずれを検出する方法を示したフローチャートであ
り、図５は、求めたずれ量の利用したずれ補正方法を示
したフローチャートである。これらのフローチャートを
用いて、車両の走行中におけるずれ補正方法について説
明する。以下の説明では、走行中におけるずれの検出で
使用する消失点の座標値（Ｘｓ，Ｙｓ）の初期座標を
（０，０）とする。なお、消失点の座標値（Ｘｓ，Ｙ
ｓ）は、学習により変動する。
【００２０】ＣＣＤカメラ２からの走行中の撮像データ
により白線を抽出し（ステップ１０１）、消失点（Ｘ
ｄ，Ｙｄ）を検出する（ステップ１０２）。そして、Ｘ
方向及びＹ方向のずれ量を算出する前にフィルタ処理を
行い、適切なずれ量が得られるようにするわけである
が、それは次の理由による。
により白線を抽出し（ステップ１０１）、消失点（Ｘ
ｄ，Ｙｄ）を検出する（ステップ１０２）。そして、Ｘ
方向及びＹ方向のずれ量を算出する前にフィルタ処理を
行い、適切なずれ量が得られるようにするわけである
が、それは次の理由による。
【００２１】前述したように、平行な直線は決められた
一点である消失点で交差し消失するわけであるが、実際
の道路では常に平坦であったり直線道路ばかりではな
く、坂道があったりカーブ路があったり、センターライ
ンのない道路もある。本実施の形態においては、ずれ量
の検出において実際の撮像データに基づいて後述する学
習を行うが、カーブ等では一時的に見かけ上消失点がず
れてしまうため、そのような必ずしも学習するのに適切
でない状態の道路を撮像したデータを参考にして学習さ
せると、正しいずれ量を算出できなくなってしまう。つ
まり、消失点を正しく求めるのに不要なデータは、参考
にしないようにする必要がある。更に、平坦な直線道路
であっても、車両は常に白線と平行して走行するわけで
はないので、長時間の計測結果を用いて学習的にずれ量
を検出する必要がある。従って、このような理由からフ
ィルタ処理を行う必要がある。本実施の形態において
は、ずれ量算出部４により次に示すフィルタ処理を行
う。
一点である消失点で交差し消失するわけであるが、実際
の道路では常に平坦であったり直線道路ばかりではな
く、坂道があったりカーブ路があったり、センターライ
ンのない道路もある。本実施の形態においては、ずれ量
の検出において実際の撮像データに基づいて後述する学
習を行うが、カーブ等では一時的に見かけ上消失点がず
れてしまうため、そのような必ずしも学習するのに適切
でない状態の道路を撮像したデータを参考にして学習さ
せると、正しいずれ量を算出できなくなってしまう。つ
まり、消失点を正しく求めるのに不要なデータは、参考
にしないようにする必要がある。更に、平坦な直線道路
であっても、車両は常に白線と平行して走行するわけで
はないので、長時間の計測結果を用いて学習的にずれ量
を検出する必要がある。従って、このような理由からフ
ィルタ処理を行う必要がある。本実施の形態において
は、ずれ量算出部４により次に示すフィルタ処理を行
う。
【００２２】ステップ１０３において、初期座標である
消失点の各座標値Ｘｓ，Ｙｓと走行中にＣＤＤカメラ２
が撮像したデータから検出した消失点の各座標値Ｘｄ，
Ｙｄとの差の絶対値と、予め設定された固定値ΔＸ，Δ
Ｙとの大小によりフィルタ処理を行う。固定値の方が小
さければ、前回までの消失点の座標値（最初は（０，
０））から実際に検出した消失点が急変して大きくずれ
たことになるので、道路がカーブしているなどと判断し
てＣＣＤカメラ２のずれ量検出のために学習するデータ
として採用しない。なお、固定値ΔＸ，ΔＹには、前述
したように直前までのずれ量検出処理で検出した消失点
の座標値から一気に変化したデータを学習の対象外とす
るのに適切であると思われる値が設定される。
消失点の各座標値Ｘｓ，Ｙｓと走行中にＣＤＤカメラ２
が撮像したデータから検出した消失点の各座標値Ｘｄ，
Ｙｄとの差の絶対値と、予め設定された固定値ΔＸ，Δ
Ｙとの大小によりフィルタ処理を行う。固定値の方が小
さければ、前回までの消失点の座標値（最初は（０，
０））から実際に検出した消失点が急変して大きくずれ
たことになるので、道路がカーブしているなどと判断し
てＣＣＤカメラ２のずれ量検出のために学習するデータ
として採用しない。なお、固定値ΔＸ，ΔＹには、前述
したように直前までのずれ量検出処理で検出した消失点
の座標値から一気に変化したデータを学習の対象外とす
るのに適切であると思われる値が設定される。
【００２３】ステップ１０４において、検出した消失点
の座標値（Ｘｄ，Ｙｄ）が固定値内であれば、前回まで
の座標値の演算結果Ｘｓ-1，Ｙｓ-1を重みづけ平均する
ことにより学習を行い、消失点座標値の変化量をなまし
て消失点の座標値（Ｘｓ，Ｙｓ）を算出する。このなま
し処理は、図４に示した演算式に限らず他の演算式を用
いてもよく、応答性の遅いディジタルフィルタ等を用い
てもよい。なお、図４に示したｎは学習した回数を示す
が、フローチャートにはｎのカウント処理は図示しな
い。
の座標値（Ｘｄ，Ｙｄ）が固定値内であれば、前回まで
の座標値の演算結果Ｘｓ-1，Ｙｓ-1を重みづけ平均する
ことにより学習を行い、消失点座標値の変化量をなまし
て消失点の座標値（Ｘｓ，Ｙｓ）を算出する。このなま
し処理は、図４に示した演算式に限らず他の演算式を用
いてもよく、応答性の遅いディジタルフィルタ等を用い
てもよい。なお、図４に示したｎは学習した回数を示す
が、フローチャートにはｎのカウント処理は図示しな
い。
【００２４】ステップ１０５、１０７において、更に、
座標値毎に設定されたガード値Ｘｓmax ，Ｙｓmax とス
テップ１０４で算出した消失点の座標値の各絶対値との
大小比較によりずれ量の適正を判断する。算出した各座
標のずれ量Ｘｓ，Ｙｓがガード値より大きければ、正負
いずれかのガード値をずれ量とすることで更になます
（ステップ１０６、１０８）。このように、学習結果に
上下限を設定することで異常な学習値への発散を防止し
ている。以上の処理を繰り返し行うことで、消失点を用
いてＣＤＤカメラ２のずれ量を検出する。なお、ステッ
プ１０５，１０６とステップ１０７，１０８は、逆の順
番でもかまわない。
座標値毎に設定されたガード値Ｘｓmax ，Ｙｓmax とス
テップ１０４で算出した消失点の座標値の各絶対値との
大小比較によりずれ量の適正を判断する。算出した各座
標のずれ量Ｘｓ，Ｙｓがガード値より大きければ、正負
いずれかのガード値をずれ量とすることで更になます
（ステップ１０６、１０８）。このように、学習結果に
上下限を設定することで異常な学習値への発散を防止し
ている。以上の処理を繰り返し行うことで、消失点を用
いてＣＤＤカメラ２のずれ量を検出する。なお、ステッ
プ１０５，１０６とステップ１０７，１０８は、逆の順
番でもかまわない。
【００２５】以上のようにして、本実施の形態によれ
ば、撮像データから検出した消失点の座標値に対してフ
ィルタ処理を行いＣＤＤカメラ２のずれ量Ｘｓ，Ｙｓの
検出を行うが、上記フィルタ処理を全て行う必要はなく
適宜組み合わせて用いればよい。また、ステップ１０４
において算出した消失点の座標値（Ｘｓ，Ｙｓ）がガー
ド値より大きいということは、それだけＣＤＤカメラ２
が初期の状態の座標値（０，０）から累積してずれたと
いうことなので、図示しない警報手段からドライバに通
知するようにしてもよい。
ば、撮像データから検出した消失点の座標値に対してフ
ィルタ処理を行いＣＤＤカメラ２のずれ量Ｘｓ，Ｙｓの
検出を行うが、上記フィルタ処理を全て行う必要はなく
適宜組み合わせて用いればよい。また、ステップ１０４
において算出した消失点の座標値（Ｘｓ，Ｙｓ）がガー
ド値より大きいということは、それだけＣＤＤカメラ２
が初期の状態の座標値（０，０）から累積してずれたと
いうことなので、図示しない警報手段からドライバに通
知するようにしてもよい。
【００２６】ところで、本実施の形態においては、図１
に示したように、走行状態検出部８を設けている。走行
状態検出部８は、道路条件や天候を検出するセンサ等で
構成される。例えば、道路条件として、カーブ路は舵角
センサやヨーレートセンサ等で検出し、登降坂路は傾斜
センサや重力センサ等で推定する。また、天候は、ワイ
パースイッチ、ヘッドランプスイッチのオン／オフで推
定する。天候まで走行状態の対象としたのは、雨天時や
夜間は白線の検出がしにくい場合が多いので誤った学習
をする場合があるからである。ずれ量算出部４は、走行
状態検出部８が検出した上記所定の条件によりずれ量検
出処理を行うかどうかの判断を行うことで、図４に示し
たフィルタ処理と同様に不要なデータを学習の対象から
外し位置座標の補正学習の禁止を行うことができる。本
実施の形態においては、消失点位置のずれを検出して基
準となる消失点位置を補正することが目的なので、適切
でない撮像データは積極的に対象としない。
に示したように、走行状態検出部８を設けている。走行
状態検出部８は、道路条件や天候を検出するセンサ等で
構成される。例えば、道路条件として、カーブ路は舵角
センサやヨーレートセンサ等で検出し、登降坂路は傾斜
センサや重力センサ等で推定する。また、天候は、ワイ
パースイッチ、ヘッドランプスイッチのオン／オフで推
定する。天候まで走行状態の対象としたのは、雨天時や
夜間は白線の検出がしにくい場合が多いので誤った学習
をする場合があるからである。ずれ量算出部４は、走行
状態検出部８が検出した上記所定の条件によりずれ量検
出処理を行うかどうかの判断を行うことで、図４に示し
たフィルタ処理と同様に不要なデータを学習の対象から
外し位置座標の補正学習の禁止を行うことができる。本
実施の形態においては、消失点位置のずれを検出して基
準となる消失点位置を補正することが目的なので、適切
でない撮像データは積極的に対象としない。
【００２７】このように、走行路の形状等によって撮像
領域内の消失点位置が変化する場合や天候等環境によっ
て消失点を誤検出しやすい場合に生じた消失点位置のず
れは、ＣＣＤカメラ２のずれによる消失点位置のずれで
はないと判断する。本実施の形態によれば、このような
場合においては消失点位置の座標の補正を禁止すること
で、より信頼性の高い消失点位置の補正学習を行うこと
ができる。
領域内の消失点位置が変化する場合や天候等環境によっ
て消失点を誤検出しやすい場合に生じた消失点位置のず
れは、ＣＣＤカメラ２のずれによる消失点位置のずれで
はないと判断する。本実施の形態によれば、このような
場合においては消失点位置の座標の補正を禁止すること
で、より信頼性の高い消失点位置の補正学習を行うこと
ができる。
【００２８】次に、図５に基づいて検出したずれ量を用
いたずれ補正方法について説明する。図５に示した補正
方法では、算出したずれ量Ｘｓ，Ｙｓに基づいて上下左
右のずれ角を算出する。ずれ角Δθｘ，Δθｙは、以下
の式で求めることができる。
いたずれ補正方法について説明する。図５に示した補正
方法では、算出したずれ量Ｘｓ，Ｙｓに基づいて上下左
右のずれ角を算出する。ずれ角Δθｘ，Δθｙは、以下
の式で求めることができる。
【００２９】Δθｘ＝ｔａｎ-1（Ｘｓ／Ｌｘ） Δθｙ＝ｔａｎ-1（Ｙｓ／Ｌｙ） 但し、Ｌｘ，ＬｙはＣＣＤカメラの焦点距離である。ず
れ角が算出されると、この値Δθｘ，Δθｙ及び消失点
の補正された位置座標を参考にして、撮像領域に含まれ
る撮影対象物の消失点からの相対位置を正確に検出する
ことができる。また、ＣＣＤカメラの向きを調整する手
段があればそのずれ角分動かし調整することができる。
れ角が算出されると、この値Δθｘ，Δθｙ及び消失点
の補正された位置座標を参考にして、撮像領域に含まれ
る撮影対象物の消失点からの相対位置を正確に検出する
ことができる。また、ＣＣＤカメラの向きを調整する手
段があればそのずれ角分動かし調整することができる。
【００３０】なお、前述した実施の形態においては、撮
像領域内に含まれる白線の消失点位置を基準点位置とし
て設定したが、条件や用途を限定すれば消失点以外を基
準点とすることができる。例えば、常にセンターライン
がある道路でありセンターラインと一定の間隔をあけて
走行するのであれば、撮像領域の決められた位置座標に
センターラインは現れるはずなので、撮像データにおけ
るセンターライン上のある任意の点、またはセンターラ
インと車両とが交わる点を基準点としてもよい。このよ
うに、撮像領域に含まれるいずれかの対象物を基準点と
することができ、長時間の観測、学習によって信頼性を
向上させることができる。
像領域内に含まれる白線の消失点位置を基準点位置とし
て設定したが、条件や用途を限定すれば消失点以外を基
準点とすることができる。例えば、常にセンターライン
がある道路でありセンターラインと一定の間隔をあけて
走行するのであれば、撮像領域の決められた位置座標に
センターラインは現れるはずなので、撮像データにおけ
るセンターライン上のある任意の点、またはセンターラ
インと車両とが交わる点を基準点としてもよい。このよ
うに、撮像領域に含まれるいずれかの対象物を基準点と
することができ、長時間の観測、学習によって信頼性を
向上させることができる。
【００３１】また、前述した実施の形態では、移動体で
ある車両にＣＣＤカメラ２を搭載し、車両の走行時の振
動等でＣＣＤカメラ２の撮影方向がずれた場合の例で説
明したが、例えば、どこかに固定したカメラが振動や強
風等の影響で撮像方向がずれるような場合にも適用する
ことができる。なお、この場合の位置補正を禁止する所
定の条件は変わるということはいうまでもない。
ある車両にＣＣＤカメラ２を搭載し、車両の走行時の振
動等でＣＣＤカメラ２の撮影方向がずれた場合の例で説
明したが、例えば、どこかに固定したカメラが振動や強
風等の影響で撮像方向がずれるような場合にも適用する
ことができる。なお、この場合の位置補正を禁止する所
定の条件は変わるということはいうまでもない。
【００３２】
【発明の効果】本発明によれば、予め特定された撮像領
域内の基準点位置と実際の撮像データから検出した基準
点位置とを必要時に比較するようにしたので、撮像手段
のずれ量を検出することが可能となる。このずれ量に基
づいて撮像領域内に含まれる撮影対象物の位置座標の補
正を行うことで、撮像手段の撮影方向が多少ずれたとし
ても、撮像領域内における撮影対象物の相対位置を正確
に検出することが可能となる。
域内の基準点位置と実際の撮像データから検出した基準
点位置とを必要時に比較するようにしたので、撮像手段
のずれ量を検出することが可能となる。このずれ量に基
づいて撮像領域内に含まれる撮影対象物の位置座標の補
正を行うことで、撮像手段の撮影方向が多少ずれたとし
ても、撮像領域内における撮影対象物の相対位置を正確
に検出することが可能となる。
【００３３】また、補正禁止手段を設けたので、基準点
位置とのずれ量を求めるのに適切でないデータを積極的
に除外できるようにしたので、ずれ量をより正確に検出
することができ、撮影対象物の相対位置を正確に検出す
ることが可能となる。また、この撮影対象物の相対位置
に基づいて制御を行うシステムの信頼性を向上させるこ
とが可能となる。
位置とのずれ量を求めるのに適切でないデータを積極的
に除外できるようにしたので、ずれ量をより正確に検出
することができ、撮影対象物の相対位置を正確に検出す
ることが可能となる。また、この撮影対象物の相対位置
に基づいて制御を行うシステムの信頼性を向上させるこ
とが可能となる。
【図１】 本発明に係る撮像装置の一実施の形態を示し
たブロック構成図である。
たブロック構成図である。
【図２】 撮像領域内の消失点を説明するために用いる
概念図である。
概念図である。
【図３】 本実施の形態において、ＣＣＤカメラの車両
への取付時におけるずれ補正方法を説明するために用い
る図である。
への取付時におけるずれ補正方法を説明するために用い
る図である。
【図４】 本実施の形態におけるＣＣＤカメラ２のずれ
を検出する方法を示したフローチャートである。
を検出する方法を示したフローチャートである。
【図５】 本実施の形態におけるずれ補正方法を示した
フローチャートである。
フローチャートである。
２ ＣＣＤカメラ、４ ずれ量算出部、６ 位置ずれ補
正部、８ 走行状態検出部、１２ スクリーン、１４
基準白線。
正部、８ 走行状態検出部、１２ スクリーン、１４
基準白線。
フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) G01B 11/00 B60R 11/04 G08G 1/09 H04N 7/18
Claims (3)
- 【請求項１】 車両に搭載された撮像手段と、前記撮像手段の両側に引かれた平行線が前記撮像手段の
撮像領域内の無限遠方における一点で交わり消失する消
失点を、前記撮像手段が基準映像を撮像した撮像データ
から検出したとき、その検出した消失点を前記撮像手段
の基準点位置として予め求めておき、その 基準点位置と
走行時に前記撮像手段による撮像データから検出した消
失点とのずれ量を検出するずれ量検出手段と、 前記ずれ量検出手段が検出したずれ量に基づいて撮像対
象物の座標を補正する補正手段と、 を有することを特徴とする撮像装置。 - 【請求項２】 請求項１記載の撮像装置において、前記ずれ量検出手段が検出したずれ量が予め設定された
閾値より大きいときには 前記補正手段による位置座標の
補正を禁止する補正禁止手段を有することを特徴とする
撮像装置。 - 【請求項３】 請求項１記載の撮像装置において、車 両の走行状態を検出する走行状態検出手段と、前記走行状態検出手段が検出した走行状態から前記ずれ
量検出手段がずれ量を正しく検出できないと判断したと
きには 前記補正手段による位置座標の補正を禁止する補
正禁止手段を有することを特徴とする撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00182196A JP3293441B2 (ja) | 1996-01-09 | 1996-01-09 | 撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00182196A JP3293441B2 (ja) | 1996-01-09 | 1996-01-09 | 撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09189517A JPH09189517A (ja) | 1997-07-22 |
| JP3293441B2 true JP3293441B2 (ja) | 2002-06-17 |
Family
ID=11512234
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP00182196A Expired - Fee Related JP3293441B2 (ja) | 1996-01-09 | 1996-01-09 | 撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3293441B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109703465A (zh) * | 2018-12-28 | 2019-05-03 | 百度在线网络技术（北京）有限公司 | 车载图像传感器的控制方法和装置 |
| US11557052B2 (en) | 2020-02-14 | 2023-01-17 | Samsung Electronics Co., Ltd. | Vanishing point extraction devices and methods of extracting vanishing point |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100568396B1 (ko) | 1998-10-08 | 2006-04-05 | 마츠시타 덴끼 산교 가부시키가이샤 | 운전조작 보조장치 |
| JP2006322855A (ja) * | 2005-05-19 | 2006-11-30 | Denso Corp | 無限遠点決定装置 |
| JP2006268865A (ja) * | 2006-04-07 | 2006-10-05 | Pioneer Electronic Corp | ナビゲーション装置 |
| WO2010146695A1 (ja) * | 2009-06-18 | 2010-12-23 | 富士通株式会社 | 画像処理装置および画像処理方法 |
| JP5747482B2 (ja) | 2010-03-26 | 2015-07-15 | 日産自動車株式会社 | 車両用環境認識装置 |
| JP5665458B2 (ja) * | 2010-09-27 | 2015-02-04 | 京セラ株式会社 | 運転支援装置及び運転支援表示の表示方法 |
| JP2012093872A (ja) * | 2010-10-26 | 2012-05-17 | Fujitsu Ten Ltd | 画像認識装置、及び、画像認識方法 |
| WO2013030932A1 (ja) * | 2011-08-29 | 2013-03-07 | パイオニア株式会社 | ナビゲーション装置、画像表示装置、サーバ、調整装置、及び前方画像表示方法 |
| JPWO2013030932A1 (ja) * | 2011-08-29 | 2015-03-23 | パイオニア株式会社 | ナビゲーション装置、画像表示制御装置、サーバ、調整装置、及び前方画像表示制御方法 |
| KR101957256B1 (ko) * | 2012-08-09 | 2019-03-12 | 현대모비스 주식회사 | 차량 카메라 장착 각도 보정 장치 및 방법 |
| KR101323609B1 (ko) * | 2012-08-21 | 2013-11-01 | 주식회사 엠씨넥스 | 카메라 모듈의 광축 정렬 장치 |
| JP6015276B2 (ja) * | 2012-09-19 | 2016-10-26 | 日産自動車株式会社 | カメラ取り付け誤差補正装置及びカメラ取り付け誤差補正方法 |
| KR102114386B1 (ko) * | 2013-11-21 | 2020-05-22 | 현대모비스 주식회사 | 차량용 미러리스 시스템 |
| JP6265095B2 (ja) * | 2014-09-24 | 2018-01-24 | 株式会社デンソー | 物体検出装置 |
| JP2016159780A (ja) * | 2015-03-02 | 2016-09-05 | パイオニア株式会社 | 撮影装置、制御方法、プログラム及び記憶媒体 |
| KR102327342B1 (ko) * | 2015-09-10 | 2021-11-18 | 주식회사 만도모빌리티솔루션즈 | 차량용 카메라 보정 장치 |
-
1996
- 1996-01-09 JP JP00182196A patent/JP3293441B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109703465A (zh) * | 2018-12-28 | 2019-05-03 | 百度在线网络技术（北京）有限公司 | 车载图像传感器的控制方法和装置 |
| US11557052B2 (en) | 2020-02-14 | 2023-01-17 | Samsung Electronics Co., Ltd. | Vanishing point extraction devices and methods of extracting vanishing point |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09189517A (ja) | 1997-07-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3293441B2 (ja) | 撮像装置 | |
| US11308720B2 (en) | Vehicular imaging system | |
| EP2422320B1 (en) | Object detection device | |
| US7965871B2 (en) | Moving-state determining device | |
| US7638747B2 (en) | Vehicular auto light system | |
| WO2007111220A1 (ja) | 道路区画線検出装置 | |
| JP2000059764A (ja) | 車両の位置検出装置 | |
| US20110109743A1 (en) | Method and system for evaluating brightness values in sensor images of image-evaluating adaptive cruise control systems | |
| JP2020109560A (ja) | 信号機認識方法及び信号機認識装置 | |
| JP4798576B2 (ja) | 付着物検出装置 | |
| JP3868915B2 (ja) | 前方監視装置及びその方法 | |
| JP2020109559A (ja) | 信号機認識方法及び信号機認識装置 | |
| JP2842005B2 (ja) | 車両用障害物検出装置 | |
| JP6362945B2 (ja) | 車載画像処理装置 | |
| JP4794764B2 (ja) | 車外監視装置 | |
| JP2019120631A (ja) | カメラずれ検出装置およびカメラずれ検出方法 | |
| JPH05257531A (ja) | ライン検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090405 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090405 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100405 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100405 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110405 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |