JP4516448B2 - 領域抽出装置及び領域抽出方法 - Google Patents

Description

本発明は、画像中の所望の対象領域を抽出する領域抽出装置及び領域抽出方法に関する。

走行中の車両から前方を撮像した場合における画像中の所望の対象領域を抽出する従来技術が下記の特許文献１に開示されている。特許文献１に開示されている技術は、入力画像の水平ラインごとに統計値（例えば、輝度値の統計量、平均値、ヒストグラムをとった場合のピーク値など）を算出し、統計量に関数を当てはめ、関数との差を基にして所望の領域である走行路領域を抽出するものである。
特許第３２１９０５３号公報（段落０００８）

しかしながら、特許文献１に開示された技術では、水平ラインごとに求められた統計量が縦方向にほぼ連続的に変化することが必要であり、道路上の縦方向に模様やノイズが存在した場合、関数を当てはめることが困難になるという問題がある。また、時間的な連続性を考慮していないため、道路上に模様やノイズが存在した場合、抽出結果が時間的に安定しない場合がある。

本発明は、上記問題を解決するためのものであり、ノイズの影響及び時間的な連続性を考慮し、例えば道路に相当する対象領域に模様やノイズが存在した場合でも、対象領域を安定して抽出することができる領域抽出装置及び領域抽出方法を提供することを目的とする。

上記目的を達成するために、本発明によれば、観測領域を２次元の時系列データとして取得する２次元時系列データ取得手段と、取得された前記時系列データの所定の時刻における２次元データにより構成される２次元データ構成領域に対して、所望の対象領域が存在すると推測される領域に注目領域を設定する注目領域設定手段と、設定された前記注目領域の特徴を表す特徴情報を算出し、算出された前記特徴情報に基づいて前記注目領域における前記特徴情報の確率密度を算出する観測確率密度算出手段と、算出された前記確率密度と、前時刻において算出された前記対象領域の特徴を表す特徴情報の確率密度である対象領域確率密度とに基づいて、前記対象領域確率密度を更新する対象領域確率密度更新手段と、前記２次元データ構成領域全体の特徴を表す特徴情報を算出し、算出された前記２次元データ構成領域全体の特徴情報と更新された前記対象領域確率密度とに基づいて、前記２次元データ構成領域の前記対象領域以外の領域である背景領域の特徴を表す特徴情報を算出し、算出された前記背景領域の前記特徴情報に基づいて前記背景領域における前記特徴情報の確率密度を算出する背景領域確率密度算出手段と、更新された前記対象領域確率密度と前記背景領域における前記特徴情報の確率密度とに基づいて、前記対象領域を抽出する領域抽出手段とを備える領域抽出装置が提供される。この構成により、例えば道路に相当する対象領域に模様やノイズが存在した場合でも、一般的な確率密度関数を使用し、時系列情報を使用することにより、対象領域を安定して抽出することができる。

また、本発明において、前記２次元時系列データ取得手段が前記観測領域を撮影する手段又は前記観測領域を検知する手段であることは、本発明の好ましい態様である。この構成により、カメラやセンサなどを用いて観測領域を撮影、検知することができる。

また、本発明において、前記注目領域が前記領域抽出手段によって抽出された前記対象領域の結果に基づいて更新されることは、本発明の好ましい態様である。この構成により、より適切に注目領域を設定することができる。

また、本発明において、前記特徴情報が画素の濃淡値の情報であることは、本発明の好ましい態様である。この構成により、それぞれの確率密度関数を容易に評価することができる。

また、本発明において、前記対象領域確率密度更新手段がベイジアンフィルタリング手法を用いて前記対象領域確率密度を更新することは、本発明の好ましい態様である。この構成により、確率密度関数がガウス分布でない場合に有効である。

また、本発明において、前記領域抽出手段がレベルセット法によって前記対象領域を抽出することは、本発明の好ましい態様である。この構成により、対象領域を連続領域として抽出することができると同時に、微小領域の発生を抑制することができる。

また、本発明によれば、画像中の所望の対象領域を抽出する領域抽出装置により実行される領域抽出方法であって、観測領域を２次元の時系列データとして取得するステップと、取得された前記時系列データの所定の時刻における２次元データにより構成される２次元データ構成領域に対して、所望の対象領域が存在すると推測される領域に注目領域を設定するステップと、設定された前記注目領域の特徴を表す特徴情報を算出し、算出された前記特徴情報に基づいて前記注目領域における前記特徴情報の確率密度を算出するステップと、算出された前記確率密度と、前時刻において算出された前記対象領域の特徴を表す特徴情報の確率密度である対象領域確率密度とに基づいて、前記対象領域確率密度を更新するステップと、前記２次元データ構成領域全体の特徴を表す特徴情報を算出し、算出された前記２次元データ構成領域全体の特徴情報と更新された前記対象領域確率密度とに基づいて、前記２次元データ構成領域の前記対象領域以外の領域である背景領域の特徴を表す特徴情報を算出し、算出された前記背景領域の前記特徴情報に基づいて前記背景領域における前記特徴情報の確率密度を算出するステップと、更新された前記対象領域確率密度と前記背景領域における前記特徴情報の確率密度とに基づいて、前記対象領域を抽出するステップとを有する前記領域抽出装置により実行される領域抽出方法が提供される。この構成により、例えば道路に相当する対象領域に模様やノイズが存在した場合でも、一般的な確率密度関数を使用し、時系列情報を使用することにより、対象領域を安定して抽出することができる。

また、本発明において、前記観測領域を２次元の時系列データとして取得するステップが前記観測領域を撮影するステップ又は前記観測領域を検知するステップであることは、本発明の好ましい態様である。この構成により、カメラやセンサなどを用いて観測領域を撮影、検知することができる。

また、本発明において、前記注目領域が抽出された前記対象領域の結果に基づいて更新されることは、本発明の好ましい態様である。この構成により、より適切に注目領域を設定することができる。

また、本発明において、前記特徴情報が画素の濃淡値の情報であることは、本発明の好ましい態様である。この構成により、それぞれの確率密度関数を容易に評価することができる。

また、本発明において、ベイジアンフィルタリング手法を用いて前記対象領域確率密度を更新することは、本発明の好ましい態様である。この構成により、確率密度関数がガウス分布でない場合に有効である。

また、本発明において、レベルセット法によって前記対象領域を抽出することは、本発明の好ましい態様である。この構成により、対象領域を連続領域として抽出することができると同時に、微小領域の発生を抑制することができる。

本発明の領域抽出装置及び領域抽出方法は、上記構成を有し、ノイズの影響及び時間的な連続性を考慮し、例えば道路に相当する対象領域に模様やノイズが存在した場合でも、対象領域を安定して抽出することができる。

＜第１の実施の形態＞
以下、本発明の第１の実施の形態について図１から図７を用いて説明する。図１は本発明の第１の実施の形態に係る領域抽出装置の構成を示す構成図である。図２は本発明の第１の実施の形態に係る領域抽出装置の撮像手段によって撮像された映像のある時刻における画像フレームを示す図である。図３は本発明の第１の実施の形態に係る領域抽出装置におけるＲＯＩの特徴を示す濃淡値のヒストグラム及びその観測確率密度を示す図である。図４は本発明の第１の実施の形態に係る領域抽出装置における画像フレーム全体の特徴を示す濃淡値のヒストグラム、対象領域特徴確率密度、背景ヒストグラム、背景特徴確率密度を示す図である。図５は本発明の第１の実施の形態に係る領域抽出装置におけるレベルセット法を用いた抽出の方法について説明するための図である。図６は本発明の第１の実施の形態に係る領域抽出装置における領域抽出のフローについて説明するためのフローチャートである。図７は本発明の第１の実施の形態に係る領域抽出装置における対象領域特徴確率密度及び背景特徴確率密度の他の一例を示す図である。

まず、本発明の第１の実施の形態に係る領域抽出装置の構成について図１を用いて説明する。図１に示すように、領域抽出装置１００は、２次元時系列データ取得手段１０１、ＲＯＩ設定手段１０２、観測確率密度算出手段１０３、対象領域特徴確率密度更新手段１０４、背景確率密度設定手段１０５、領域抽出手段１０６、記憶手段１０７から構成されている。ここで、以下に示す第１の実施の形態では、走行する車両に搭載した場合の領域抽出装置１００について説明するが、これに限られるものではなく、抽出する領域がある程度決められた範囲内で時間と共に変化する場合の領域抽出であれば領域抽出装置１００を用いることが可能である。また、本発明の第１、第２の実施の形態では、２次元時系列データ取得手段１０１として後述する撮像手段を例にとって説明するが、２次元時系列データ取得手段１０１はこれに限られるものではなく、対象物を検知するセンサなどの手段であってもよい。

撮像手段１０１は、車両の所定の位置に配置され、車両前方の映像を撮像する。撮像された映像は、静止画の画像フレームとされ、その画像フレームに対してＲＯＩ設定手段１０２によって注目領域が設定される。撮像手段１０１としては、例えばＣＣＤカメラなどの撮像機器が挙げられる。ここで、撮像手段１０１によって撮像された映像のある時刻における画像フレームを図２に示す。図２に示すように、画像フレーム２００内には、所望の対象領域である走行路領域２０１と、走行路領域２０１以外の領域である背景領域２０２から構成されている。また、走行路領域２０１内には、後述するＲＯＩ設定手段１０２によって設定される矩形の注目領域２０３（ＲＯＩ２０３とも言う）が示されている。このＲＯＩ２０３は、対象領域である走行路領域２０１が存在すると期待される位置に設定される。また、図２では、ＲＯＩ２０３の形状を矩形としているが、これに限られるものではなく、円形や楕円などの形状であってもよい。

ＲＯＩ設定手段１０２は、上述したように、撮像手段１０１によって撮像された映像の画像フレーム２００に対して、所望の対象領域（走行路領域）２０１が存在すると推測される領域にＲＯＩ２０３を設定する。観測確率密度算出手段１０３は、設定されたＲＯＩ２０３の画像の特徴を表す画像特徴情報を算出し、算出された画像特徴情報に基づいてＲＯＩ２０３の画像における統計的性質を表す観測確率密度を算出する。画像特徴情報とは、例えば各画素の濃淡値の情報などである。ここで、具体的に画像特徴情報に基づいて観測確率密度を算出する方法について説明する。

観測確率密度算出手段１０３は、画像特徴情報、例えば各画素の濃淡値を算出し、図３（ａ）に示すような濃淡値のヒストグラムを求める。なお、このヒストグラム値の総和が値１となるように正規化する。ヒストグラムの横軸は濃淡値Ｉ、縦軸はその頻度Ｈを示している。そして、このヒストグラムを基に観測確率密度を、例えば下記の式（１）によって算出する。ただし、式（１）に示すＮはヒストグラム値が存在する点の個数、Ｈはヒストグラムの値、{ EMBED Equation.3 , }は窓関数、ωは窓関数の幅である。この窓関数は、例えば式（２）のように表される。

式（１）によって算出される観測確率密度は図３（ｂ）のように表される。対象領域特徴確率密度更新手段１０４は、観測確率密度算出手段１０３によって算出された観測確率密度と、現時刻に対する前時刻（例えば、現時刻が時刻ｔであれば前時刻は一期前の時刻ｔ−１）の対象領域である走行路領域２０１の画像特徴を表す画像特徴情報の確率密度である対象領域特徴確率密度とに基づいて、対象領域特徴確率密度を更新する。この更新は、例えばパーティクルフィルタなどのベイジアンフィルタリング手法を用いることによって実現することができる。この手法については公知の技術であり、IEEE Transactions on Signal Processing,50(2),2002の「A tutorial on particle filters for online nonlinear/non-gaussian bayesian tracking」（Simon Maskell M.Sanjeev Arulampalam,Neil Gordon,and Tim Clapp著）に記載されているため、説明を省略する。

背景確率密度設定手段１０５は、まず画像フレーム２００全体の画像特徴情報を算出する。この画像特徴情報は、上述したように、例えば各画素の濃淡値の情報などである。そして、背景確率密度設定手段１０５は、画像特徴情報、例えば各画素の濃淡値の情報に基づいて、図４（ａ）に示すような濃淡値のヒストグラムを求める。図３（ａ）と同様、ヒストグラムの横軸は濃淡値、縦軸はその頻度を示している。次に、背景確率密度設定手段１０５は、対象領域特徴確率密度更新手段１０４によって更新された、図４（ｂ）に示す対象領域特徴確率密度（ｐ_F）に対して、所定の閾値ＴＨを設定する。

そして、背景確率密度設定手段１０５は、対象領域特徴確率密度が閾値ＴＨより高くなる点を図４（ａ）のヒストグラムから取り除き、図４（ｃ）に示すような背景の特徴を示す背景ヒストグラムを生成する。このとき、背景確率密度設定手段１０５は、背景ヒストグラムのヒストグラム値の総和が１になるような正規化を施し、上述した式（１）及び式（２）を用いて同様の方法で連続した、背景領域２０２における画像特徴情報の確率密度である背景特徴確率密度（ｐ_B）を算出する。

領域抽出手段１０６は、更新された対象領域特徴確率密度と背景特徴確率密度とを用いて、画像フレーム２００内の対象領域（走行路領域）２０１を抽出する。画像フレーム２００内の対象領域（走行路領域）２０１の抽出には、例えばレベルセット法を用いる。以下では、レベルセット法を用いた抽出の方法について図５を用いて説明する。図５に示すように、画像フレーム２００の座標系において、ある初期領域、例えば円を設け、初期領域の内部に正の値、領域の境界で０、領域の外部で負の値を持つような関数（レベルセット関数）φを設定する。これにより、領域の境界５００はレベルセット関数のゼロ等位集合（０の等高線）となり、φの正負により領域の内部と外部とを判定することができる。具体的には、レベルセット関数を、下記の式（３）に示す微分方程式に従って逐次的に更新する。ただし、ｐ_B及びｐ_Fは、それぞれ上述した背景特徴確率密度及び対象領域特徴確率密度であり、αとβは実数定数である。

式（３）によってレベルセット関数φを更新することにより、対象領域（走行路領域）２０１の形状も変化し、ｐ_Bとｐ_Fがバランスの取れた状態（すなわち、対象領域（走行路領域）２０１の画素は内部、背景の画素は外部となる形状）に収束する。そして、領域抽出手段１０６は、レベルセット関数φの更新が収束した段階で抽出された領域を出力する。記憶手段１０７は、上述した対象領域特徴確率密度の情報や領域抽出装置１００自身を制御するための制御プログラムなどを格納しておくメモリなどである。

次に、本発明の第１の実施の形態に係る領域抽出装置における領域抽出のフローについて図６を用いて説明する。図６に示すように、まず、撮像手段１０１が車両前方映像を撮像し、現時刻における画像フレームを取得する（ステップＳ６０１）。ＲＯＩ設定手段１０２は、画像フレーム内に、対象領域が存在すると期待される場所にＲＯＩ２０３を設定する（ステップＳ６０２）。観測確率密度算出手段１０３は、ＲＯＩ２０３が設定された領域において、観測確率密度を算出する（ステップＳ６０３）。対象領域特徴確率密度更新手段１０４は、観測確率密度算出手段１０３によって算出された観測確率密度と、現時刻に対する前時刻の対象領域である走行路領域２０１の画像特徴を表す画像特徴情報の確率密度である対象領域特徴確率密度とに基づいて、対象領域特徴確率密度を更新する（ステップＳ６０４）。

背景確率密度設定手段１０５は、画像全体のヒストグラムを求め、ｐ_Fが閾値ＴＨより高い濃淡値を取り除く。その後、ヒストグラム値の総和が１になるような正規化を施し、上述した式（１）及び式（２）を用いて、連続した背景領域２０２における画像特徴情報の確率密度である背景特徴確率密度（ｐ_B）を算出する（ステップＳ６０５）。領域抽出手段１０６は、レベルセット関数φの更新が収束した段階で領域を抽出（出力）する（ステップＳ６０６）。そして、領域抽出手段１０６又は不図示の判定手段が、処理終了の条件（例えば、次画像フレームの有無など）が成立したか否かを判定し（ステップＳ６０７）、処理終了の条件が成立したと判定された場合には処理を終了する。一方、処理終了の条件が成立しないと判定された場合には、ステップＳ６０１に戻り処理を続行する。

なお、上述した第１の実施の形態において、ステップＳ６０６でレベルセット法による領域抽出を行う代わりに、各画素について対象領域特徴確率密度（ｐ_F）と背景特徴確率密度（ｐ_B）との大小関係によって対象領域を抽出するようにしてもよい。また、ステップＳ６０２において、固定のＲＯＩ２０３を用いる代わりに、前時刻で抽出された対象領域を用いるようにしてもよい。また、ステップＳ６０５において、背景特徴確率密度（ｐ_B）を全画像フレームから求める代わりに、図７に示すように、対象領域特徴確率密度（ｐ_F）が閾値ＴＨより小さい箇所を、例えば一定値で近似することによって簡略化した背景特徴確率密度（ｐ_B）を求めることも可能である。

＜第２の実施の形態＞
以下、本発明の第２の実施の形態について図８を用いて説明する。図８は本発明の第２の実施の形態に係る領域抽出装置の構成を示す構成図である。図８に示すように、第２の実施の形態では、領域抽出手段１０６によって抽出された過去の対象領域結果を、ＲＯＩ設定手段１０２において最新の画像フレームにおけるＲＯＩ２０３として設定するようにしたものである。このような構成にすることで、より適切にＲＯＩ２０３を設定することができる。なお、第２の実施の形態における各構成要素の機能などは第１の実施の形態における各構成要素と同様であるため説明を省略する。

本発明に係る領域抽出装置及び領域抽出方法は、ノイズの影響及び時間的な連続性を考慮し、例えば道路に相当する対象領域に模様やノイズが存在した場合でも、対象領域を安定して抽出することができるため、画像中の所望の対象領域を抽出する領域抽出装置及び領域抽出方法などに有用である。

本発明の第１の実施の形態に係る領域抽出装置の構成を示す構成図である。 本発明の第１の実施の形態に係る領域抽出装置の撮像手段によって撮像された映像のある時刻における画像フレームを示す図である。 本発明の第１の実施の形態に係る領域抽出装置におけるＲＯＩの特徴を示す濃淡値のヒストグラム及びその観測確率密度を示す図である。 本発明の第１の実施の形態に係る領域抽出装置における画像フレーム全体の特徴を示す濃淡値のヒストグラム、対象領域特徴確率密度、背景ヒストグラム、背景特徴確率密度を示す図である。 本発明の第１の実施の形態に係る領域抽出装置におけるレベルセット法を用いた抽出の方法について説明するための図である。 本発明の第１の実施の形態に係る領域抽出装置における領域抽出のフローについて説明するためのフローチャートである。 本発明の第１の実施の形態に係る領域抽出装置における対象領域特徴確率密度及び背景特徴確率密度の他の一例を示す図である。 本発明の第２の実施の形態に係る領域抽出装置の構成を示す構成図である。

符号の説明

１００ 領域抽出装置
１０１ ２次元時系列データ取得手段（撮像手段）
１０２ ＲＯＩ設定手段（注目領域設定手段）
１０３ 観測確率密度算出手段
１０４ 対象領域特徴確率密度更新手段（対象領域確率密度更新手段）
１０５ 背景確率密度設定手段（背景領域確率密度算出手段）
１０６ 領域抽出手段
１０７ 記憶手段
２００ 画像フレーム
２０１ 対象領域（走行路領域）
２０２ 背景領域
２０３ ＲＯＩ（注目領域）
５００ 領域の境界

Claims (12)

1. 観測領域を２次元の時系列データとして取得する２次元時系列データ取得手段と、
   取得された前記時系列データの所定の時刻における２次元データにより構成される２次元データ構成領域に対して、所望の対象領域が存在すると推測される領域に注目領域を設定する注目領域設定手段と、
   設定された前記注目領域の特徴を表す特徴情報を算出し、算出された前記特徴情報に基づいて前記注目領域における前記特徴情報の確率密度を算出する観測確率密度算出手段と、
   算出された前記確率密度と、前時刻において算出された前記対象領域の特徴を表す特徴情報の確率密度である対象領域確率密度とに基づいて、前記対象領域確率密度を更新する対象領域確率密度更新手段と、
   前記２次元データ構成領域全体の特徴を表す特徴情報を算出し、算出された前記２次元データ構成領域全体の特徴情報と更新された前記対象領域確率密度とに基づいて、前記２次元データ構成領域の前記対象領域以外の領域である背景領域の特徴を表す特徴情報を算出し、算出された前記背景領域の前記特徴情報に基づいて前記背景領域における前記特徴情報の確率密度を算出する背景領域確率密度算出手段と、
   更新された前記対象領域確率密度と前記背景領域における前記特徴情報の確率密度とに基づいて、前記対象領域を抽出する領域抽出手段とを、
   備える領域抽出装置。
2. 前記２次元時系列データ取得手段は、前記観測領域を撮影する手段又は前記観測領域を検知する手段である請求項１に記載の領域抽出装置。
3. 前記注目領域は、前記領域抽出手段によって抽出された前記対象領域の結果に基づいて更新される請求項１又は２に記載の領域抽出装置。
4. 前記特徴情報は、画素の濃淡値の情報である請求項１から３のいずれか１つに記載の領域抽出装置。
5. 前記対象領域確率密度更新手段は、ベイジアンフィルタリング手法を用いて前記対象領域確率密度を更新する請求項１から４のいずれか１つに記載の領域抽出装置。
6. 前記領域抽出手段は、レベルセット法によって前記対象領域を抽出する請求項１から５のいずれか１つに記載の領域抽出装置。
7. 画像中の所望の対象領域を抽出する領域抽出装置により実行される領域抽出方法であって、
   観測領域を２次元の時系列データとして取得するステップと、
   取得された前記時系列データの所定の時刻における２次元データにより構成される２次元データ構成領域に対して、所望の対象領域が存在すると推測される領域に注目領域を設定するステップと、
   設定された前記注目領域の特徴を表す特徴情報を算出し、算出された前記特徴情報に基づいて前記注目領域における前記特徴情報の確率密度を算出するステップと、
   算出された前記確率密度と、前時刻において算出された前記対象領域の特徴を表す特徴情報の確率密度である対象領域確率密度とに基づいて、前記対象領域確率密度を更新するステップと、
   前記２次元データ構成領域全体の特徴を表す特徴情報を算出し、算出された前記２次元データ構成領域全体の特徴情報と更新された前記対象領域確率密度とに基づいて、前記２次元データ構成領域の前記対象領域以外の領域である背景領域の特徴を表す特徴情報を算出し、算出された前記背景領域の前記特徴情報に基づいて前記背景領域における前記特徴情報の確率密度を算出するステップと、
   更新された前記対象領域確率密度と前記背景領域における前記特徴情報の確率密度とに基づいて、前記対象領域を抽出するステップとを、
   有する前記領域抽出装置により実行される領域抽出方法。
8. 前記観測領域を２次元の時系列データとして取得するステップは、前記観測領域を撮影するステップ又は前記観測領域を検知するステップである請求項７に記載の領域抽出方法。
9. 前記注目領域は、抽出された前記対象領域の結果に基づいて更新される請求項７又は８に記載の領域抽出方法。
10. 前記特徴情報は、画素の濃淡値の情報である請求項７から９のいずれか１つに記載の領域抽出方法。
11. ベイジアンフィルタリング手法を用いて前記対象領域確率密度を更新する請求項７から１０のいずれか１つに記載の領域抽出方法。
12. レベルセット法によって前記対象領域を抽出する請求項７から１１のいずれか１つに記載の領域抽出方法。
    

Images