JPWO2019167238A1 - 画像処理装置および画像処理方法 - Google Patents

Abstract

画像処理装置（１）が、対象画像から道路標示を検出し、道路標示を含む道路領域の道路端を検出し、道路端のエッジの傾きから道路の方位を示す角度を推定し、道路の方位を示す角度に応じて対象画像を回転させてから歪みを補正して、補正後の対象画像を用いて道路標示を認識する。

Description

この発明は、道路標示を認識する画像処理装置および画像処理方法に関する。

道路標示を自動で認識する技術は、車両の自動運転を実現するために不可欠である。
例えば、非特許文献１には、複数の角度で道路標示が撮影された画像を用いて道路標示を自動で認識する技術が記載されている。

Ｊａｃｋ Ｇｒｅｅｎｈａｌｇｈ， Ｍａｊｉｄ Ｍｉｒｍｅｈｄｉ， "Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒｅｃｏｇｎｉｔｉｏｎ ｏｆ Ｐａｉｎｔｅｄ Ｒｏａｄ Ｓｕｒｆａｃｅ Ｍａｒｋｉｎｇｓ" ，ＩＣＰＲＡＭ ２０１５ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ Ａｐｐｌｉｃａｔｉｏｎｓ ａｎｄ Ｍｅｔｈｏｄ Ｖｏｌ．１， ｐｐ．１３０−１３８．

非特許文献１に記載された従来の技術では、道路標示が複数の角度で撮影された画像を準備する必要があるという課題があった。

この発明は上記課題を解決するものであり、道路標示が複数の角度で撮影された画像を用いなくても、道路標示を自動で認識することができる画像処理装置および画像処理方法を得ることを目的とする。

この発明に係る画像処理装置は、標示検出部、道路端検出部、道路方位推定部、画像回転部、歪補正部および標示認識部を備える。標示検出部は、道路に描画された道路標示が撮影された対象画像から道路標示を検出する。道路端検出部は、標示検出部によって検出された道路標示を含む道路領域の道路端を、対象画像から検出する。道路方位推定部は、道路端検出部によって検出された道路端のエッジの傾きに基づいて、道路領域における道路の方位を示す角度を推定する。画像回転部は、道路方位推定部によって推定された道路の方位を示す角度に応じて対象画像を回転させる。歪補正部は、画像回転部によって回転された対象画像の歪みを補正する。標示認識部は、歪補正部によって補正された対象画像を用いて道路標示を認識する。

この発明によれば、画像処理装置が、対象画像から道路標示を検出し、道路標示を含む道路領域の道路端を検出し、道路端のエッジの傾きから道路の方位を示す角度を推定し、道路の方位を示す角度に応じて対象画像を回転させてから歪みを補正して、補正後の対象画像を用いて道路標示を認識する。これにより、画像処理装置は、道路標示が複数の角度で撮影された画像を用いなくても、道路標示を自動で認識することができる。

この発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。 実施の形態１に係る画像処理方法を示すフローチャートである。 図３Ａは標示検出処理の概要を示す図である。図３Ｂは道路端検出処理の概要を示す図である。図３Ｃは道路方位推定処理の概要を示す図である。図３Ｄは回転補正処理の概要を示す図である。 この発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。 実施の形態２に係る画像処理方法を示すフローチャートである。 図６Ａは標示検出処理の概要を示す図である。図６Ｂは路面セグメンテーション処理の概要を示す図である。図６Ｃは道路方位推定処理の概要を示す図である。図６Ｄは回転補正処理の概要を示す図である。 図７Ａは、実施の形態１または実施の形態２に係る画像処理装置の機能を実現するハードウェア構成を示すブロック図である。図７Ｂは、実施の形態１または実施の形態２に係る画像処理装置の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。

以下、この発明をより詳細に説明するため、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る画像処理装置１の構成を示すブロック図である。画像処理装置１は、車両に搭載され、撮影装置２によって道路標示が撮影された画像を画像処理して認識用の画像を生成し、標示モデルデータベース（以下、標示モデルＤＢと記載する）３の内容と認識用画像に基づいて道路標示の種類を認識する。図１に示すように、画像処理装置１は、標示検出部１０、道路端検出部１１、道路方位推定部１２、画像回転部１３、歪補正部１４および標示認識部１５を備える。

撮影装置２は、車両に搭載されて、車両の周辺を撮影する装置であり、例えば、カメラまたはレーダ装置によって実現される。撮影装置２によって撮影された画像は、画像処理装置１に出力される。標示モデルＤＢ３には、道路標示の認識モデルが登録されている。道路標示の認識モデルは、道路標示の種類ごとに事前に学習されたものである。
認識モデルの学習には、サポートベクターマシン（以下、ＳＶＭと記載する）あるいは畳み込みニューラルネットワーク（以下、ＣＮＮと記載する）を用いてもよい。

標示検出部１０は、対象画像から道路標示を検出する。対象画像は、撮影装置２により撮影されて標示検出部１０が入力した画像のうち、道路標示が撮影された画像である。
例えば、標示検出部１０は、撮影装置２から入力した画像に対して、道路標示に関するパターン認識を施し、パターン認識の結果に基づいて検出された道路標示を含む画像範囲を特定する。上記画像範囲を示すデータおよび上記対象画像は、標示検出部１０から道路端検出部１１に出力される。

道路端検出部１１は、標示検出部１０によって検出された道路標示を含んだ道路領域の道路端を対象画像から検出する。例えば、道路端検出部１１は、標示検出部１０から入力した上記画像範囲を示すデータに基づいて、対象画像中の道路標示を含む道路領域を特定し、特定した道路領域の端部にある白色領域を、道路端に描画された白線とみなして検出する。道路端検出部１１によって検出された白線（道路端）を示すデータおよび上記対象画像は、道路端検出部１１から道路方位推定部１２に出力される。

道路方位推定部１２は、道路端検出部１１によって検出された道路端のエッジの傾きに基づいて、道路領域における道路の方位を示す角度を推定する。例えば、道路方位推定部１２は、道路端にある白線に沿って設定した複数の線分のエッジを抽出し、複数の線分のエッジの傾き角度の平均値を、道路の方位を示す角度データとみなして算出する。道路の方位を示す角度データおよび上記対象画像は、道路方位推定部１２から画像回転部１３に出力される。

画像回転部１３は、道路方位推定部１２によって推定された道路の方位を示す角度に応じて対象画像を回転させる。道路標示は道路の路面上に描画されているので、対象画像では、道路の曲がりに応じて道路標示が傾いてみえる。
また、回転後の対象画像中の道路標示は、標示モデルＤＢ３に登録された認識モデルの学習に使用された道路標示と同じ方向であることが望ましい。
そこで、認識モデルが、上下方向の直線道路に描画された道路標示を用いて学習された場合、画像回転部１３は、対象画像中の道路が上下方向に沿ってみえるように、道路の方位を示す角度に応じて対象画像を回転させる。この回転処理により、回転前の対象画像で傾いて見えていた道路標示が、回転後の対象画像では上下方向に沿ってみえるように補正される。

歪補正部１４は、画像回転部１３によって回転された対象画像の歪みを補正する。対象画像中の道路および道路標示の形状自体は回転前と同じであるため、回転後の対象画像では、これらの形状が歪んでみえる。そこで、歪補正部１４は、回転処理後の対象画像における道路および道路標示の形状の上記歪みが低減されるように補正する。例えば、歪補正部１４は、回転処理後の対象画像から道路および道路標示のエッジを抽出し、抽出したエッジに基づいて、上記歪みが低減されるように道路および道路標示の形状を変更する。

標示認識部１５は、歪補正部１４によって補正された対象画像（認識用画像）を用いて道路標示を認識する。例えば、標示認識部１５は、標示モデルＤＢ３に登録された認識モデルを用いて、歪補正後の対象画像における道路標示の種類を特定する。
このように、画像処理装置１は、道路標示が複数の角度で撮影された画像を用いなくても、道路標示が一定の方向（例えば、上下方向）に沿ってみえる対象画像を用いて、道路標示を自動で認識することができる。

次に動作について説明する。
図２は、実施の形態１に係る画像処理方法を示すフローチャートであり、対象画像から道路標示を検出してから道路標示を認識するまでの一連の処理を示している。
まず、標示検出部１０は、撮影装置２によって撮影された画像を入力し、入力した画像から道路標示を検出する（ステップＳＴ１）。例えば、標示検出部１０は、入力した画像に対して道路標示に関するパターン認識を施して、道路標示を含む画像範囲を特定する。このように道路標示が検出された画像が対象画像であり、この対象画像、および上記画像範囲を示すデータは、標示検出部１０から道路端検出部１１に出力される。

図３Ａは、標示検出処理の概要を示す図である。図３Ａに示す対象画像２０には、矢印形状の道路標示２１が撮影されている。対象画像２０中の道路は、右下から左上に向かう曲線道路であり、道路標示２１は、道路の曲がりに応じて傾いてみえる。
標示検出部１０は、対象画像２０に対して道路標示に関するパターン認識を施し、認識結果から道路標示２１を含む画像範囲を特定する。
例えば、標示検出部１０は、対象画像２０における道路標示２１の上端のＹ座標Ａ１と道路標示２１の下端のＹ座標Ａ２を特定する。Ｙ座標Ａ１，Ａ２は、道路標示２１を含む画像範囲を示すデータである。

次に、道路端検出部１１は、対象画像に対して白線検出処理を施す（ステップＳＴ２）。例えば、道路端検出部１１は、標示検出部１０から入力した上記画像範囲を示すデータに基づいて、対象画像中の道路標示を含む道路領域を特定し、特定した道路領域の端部にある白色領域を白線とみなして検出する。

図３Ｂは、道路端検出処理の概要を示す図である。対象画像２０中の道路には、一方の端に白線２２ａが描画され、他方の端に白線２２ｂが描画されている。道路端検出部１１は、標示検出部１０から入力したＹ座標Ａ１，Ａ２に基づいて、道路標示２１を含む道路領域を特定する。当該道路領域は、Ｙ座標Ａ１に対応する画像位置に引いた破線Ｂ１と、Ｙ座標Ａ２に対応する画像位置に引いた破線Ｂ２との間の領域である。

例えば、道路端検出部１１は、対象画像２０から特定した道路領域について画素ごとに色特徴量を判別し、画素ごとの色特徴量を判別した結果に基づいて道路領域から白色領域を抽出する。道路端検出部１１は、道路領域から抽出した白色領域のうち、当該道路領域の端部にあり、かつ道路に沿っている白色領域２３ａ，２３ｂを、白線２２ａ，２２ｂが撮影された領域とみなして検出する。道路端検出部１１によって対象画像２０から検出された白色領域２３ａ，２３ｂを示すデータは、対象画像２０とともに道路方位推定部１２に出力される。

道路方位推定部１２は、道路端検出部１１によって検出された道路端のエッジを抽出する（ステップＳＴ３）。例えば、道路方位推定部１２は、白線２２ａに対応する白色領域２３ａのエッジを抽出し、白線２２ｂに対応する白色領域２３ｂのエッジを抽出する。
次に、道路方位推定部１２は、道路端のエッジの傾きに基づいて、道路領域における道路の方位を示す角度を推定する（ステップＳＴ４）。

図３Ｃは、道路方位推定処理の概要を示す図である。例えば、道路方位推定部１２は、道路標示２１を含む道路領域における白色領域２３ａ，２３ｂを、白線２２ａ，２２ｂに沿った線分ごとの小領域に分割する。図３Ｃにおいて、白色領域２３ａを構成する複数の線分の小領域が領域群２４ａであり、白色領域２３ｂを構成する複数の線分の小領域が領域群２４ｂである。

道路方位推定部１２は、領域群２４ａ，２４ｂに含まれる小領域ごとの画像特徴を利用して、小領域ごとのエッジを抽出する。この処理が道路端エッジ抽出処理である。
例えば、道路方位推定部１２は、小領域の画素ごとに画素値の勾配強度および勾配方向を求め、画素値の勾配強度に対して勾配方向をヒストグラム化したＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴を求める。道路方位推定部１２は、ＨＯＧ特徴を用いて、線分である小領域のエッジを抽出し、エッジの角度（線分の角度）を特定する。この処理は、領域群２４ａ，２４ｂに含まれる全ての小領域について実施される。

道路方位推定部１２は、領域群２４ａ，２４ｂに含まれる全ての小領域のエッジの角度を平均した値を、道路標示２１が描画された道路の方位を示す角度と推定して算出する。この処理が道路方位推定処理である。なお、領域群２４ａ，２４ｂに含まれる全ての小領域のエッジの角度の平均値を、道路の方位を示す角度と推定したが、これに限定されるものではない。道路の方位を示す角度として確からしい値であれば、小領域のエッジの角度の最大値または最小値といった他の統計値であってもよい。

次に、画像回転部１３は、道路の方位を示す角度に応じて対象画像を回転させる（ステップＳＴ５）。例えば、道路標示の認識モデルが、上下方向の直線道路に描画された道路標示を用いて学習された場合、画像回転部１３は、対象画像中の道路が上下方向に沿ってみえるように、道路の方位を示す角度に応じて対象画像を回転させる。この処理が回転補正処理である。

図３Ｄは、回転補正処理の概要を示す図である。図３Ａ、図３Ｂおよび図３Ｃに示したように、対象画像２０中の道路の方位は、右下から左上に向かう方位である。画像回転部１３は、この道路が上下方向に沿ってみえるように、道路の方位を示す角度に応じて対象画像２０を回転させる。回転後の対象画像２０Ａでは、道路が上下方向に沿ってみえる。なお、領域群２５ａ，２５ｂは、道路端の小領域から構成されており、これらの小領域のエッジは上下方向に沿っている。

次に、歪補正部１４は、画像回転部１３によって回転された対象画像の歪みを補正する（ステップＳＴ６）。例えば、歪補正部１４は、回転処理後の対象画像２０Ａから道路標示２１のエッジを抽出し、抽出したエッジに基づいて、道路標示２１の歪みがなくなるように道路標示の形状を変更する。

標示認識部１５は、歪補正部１４によって補正された対象画像を用いて道路標示を認識する（ステップＳＴ７）。例えば、標示認識部１５は、歪補正部１４によって補正された対象画像を認識用画像として入力し、標示モデルＤＢ３に登録された認識モデルと認識用画像とを用いて、道路標示の種類を特定する。

以上のように、実施の形態１に係る画像処理装置１は、対象画像から道路標示を検出し、道路標示を含む道路領域の道路端を検出し、道路端のエッジの傾きから道路の方位を示す角度を推定し、道路の方位を示す角度に応じて対象画像を回転させてから歪みを補正して、補正後の対象画像を用いて道路標示を認識する。これにより、画像処理装置１は、道路標示が複数の角度で撮影された画像を用いなくても、道路標示を自動で認識することができる。

実施の形態１に係る画像処理装置１において、道路端検出部１１が、道路領域の白線を対象画像から検出する。道路方位推定部１２は、白線を道路端とみなして、白線のエッジの傾きに基づいて道路領域における道路の方位を示す角度を推定する。これにより、道路端検出部１１は、道路標示を含む道路領域の道路端を的確に検出することができる。

実施の形態１に係る画像処理装置１において、道路方位推定部１２は、道路端に沿った複数の線分の傾きの統計値（例えば、平均値）に基づいて道路の方位を示す角度を推定する。これにより、道路方位推定部１２は、道路標示が描画された道路の方位を示す角度として確からしい値を推定することができる。

実施の形態２．
実施の形態２では、白線が描画されていない道路の道路端を検出する処理について説明する。図４は、実施の形態２に係る画像処理装置１Ａの構成を示すブロック図である。
画像処理装置１Ａは、車両に搭載され、撮影装置２によって道路標示が撮影された画像を画像処理して認識用の画像を生成し、標示モデルＤＢ３の内容と認識用の画像に基づいて道路標示の種類を認識する。図４に示すように、画像処理装置１Ａは、標示検出部１０、道路端検出部１１Ａ、道路方位推定部１２、画像回転部１３、歪補正部１４および標示認識部１５を備えて構成される。なお、図４において、図１と同一の構成要素には同一の符号を付して説明を省略する。

道路端検出部１１Ａは、対象画像の画素ごとの属性に基づいて対象画像における道路領域を推定し、推定した道路領域の道路端を対象画像から検出する。例えば、道路端検出部１１Ａは、対象画像の画素ごとの属性に基づいて対象画像における道路領域を推定し、推定した道路領域からエッジを抽出して、抽出したエッジに基づいて道路端を検出する。

次に動作について説明する。
図５は、実施の形態２に係る画像処理方法を示すフローチャートであり、対象画像から道路標示を検出してから道路標示を認識するまでの一連の処理を示している。
まず、標示検出部１０は、撮影装置２によって撮影された画像を入力し、入力した画像から道路標示を検出する（ステップＳＴ１ａ）。図６Ａは、標示検出処理の概要を示す図である。標示検出部１０は、実施の形態１と同様の手順で、対象画像２０における道路標示２１の上端のＹ座標Ａ１と道路標示２１の下端のＹ座標Ａ２を特定する。

道路端検出部１１Ａは、対象画像に対して白線検出処理を施す（ステップＳＴ２ａ）。例えば、道路端検出部１１Ａは、標示検出部１０から入力した上記画像範囲を示すデータに基づいて対象画像中の道路標示を含む道路領域を特定し、特定した道路領域の白色領域を探索する。

次に、道路端検出部１１Ａは、対象画像中の道路に白線があるか否かを判定する（ステップＳＴ３ａ）。例えば、道路端検出部１１Ａは、前述したように道路領域から抽出した白色領域の中に、白線に対応する白色領域があるか否かを判定する。白線に対応する白色領域とは、道路領域の端部にあり、かつ道路に沿った白色領域である。ここでは、道路に白線が描画されていないので、道路領域の端部から白色領域が検出されない。

対象画像中の道路に白線がない場合（ステップＳＴ３ａ；ＮＯ）、道路端検出部１１Ａは、対象画像に対して路面セグメンテーション処理を施す（ステップＳＴ４ａ）。
路面セグメンテーション処理とは、対象画像の画素ごとに属性を判定し、属性の判定結果から道路の画像領域を推定する、いわゆるセマンティックセグメンテーションである。

図６Ｂは、路面セグメンテーション処理の概要を示す図である。例えば、道路端検出部１１Ａは、画像中の物体を識別するための辞書データを参照して、対象画像２０の画素がどの物体の属性であるかを画素ごとに判定する。辞書データは、画像中の物体をカテゴリごとに識別するためのデータであり、事前に学習されたものである。カテゴリとしては、道路または建物といった地物があり、車両または歩行者といった車外に存在し得る物体が挙げられる。

道路端検出部１１Ａは、対象画像２０の画素のうち、道路の属性であると判定した画素から構成された領域を、道路領域Ｃとみなして抽出する。次に、道路端検出部１１Ａは、抽出した道路領域Ｃのうち、標示検出部１０から入力したＹ座標Ａ１，Ａ２に基づいて、道路標示２１を含む道路領域を特定する。続いて、道路端検出部１１Ａは、特定した道路領域のうち、道路の属性ではない画素から構成された領域との境界部分の領域を、道路端に対応する領域とみなして検出する。道路端検出部１１Ａによって対象画像２０から検出された道路端に対応する領域を示すデータは、対象画像２０とともに道路方位推定部１２に出力される。

対象画像中の道路に白線がある場合（ステップＳＴ３ａ；ＹＥＳ）、または、ステップＳＴ４ａの処理が完了すると、道路方位推定部１２は、道路端検出部１１Ａによって検出された道路端のエッジを抽出する（ステップＳＴ５ａ）。
続いて、道路方位推定部１２は、道路端のエッジの傾きに基づいて、道路領域における道路の方位を示す角度を推定する（ステップＳＴ６ａ）。

図６Ｃは、道路方位推定処理の概要を示す図である。例えば、道路方位推定部１２は、道路端に対応する領域を、道路に沿った線分ごとの小領域に分割する。ここで、道路領域は、Ｙ座標Ａ１に対応する画像位置に引いた破線Ｄ１と、Ｙ座標Ａ２に対応する画像位置に引いた破線Ｄ２との間の領域である。図６Ｃにおいて、一方の道路端に対応する領域を構成する複数の線分の小領域が領域群２６ａであり、他方の道路端に対応する領域を構成する複数の線分の小領域が領域群２６ｂである。

道路方位推定部１２は、実施の形態１と同様の手順で、領域群２６ａ，２６ｂに含まれる小領域ごとの画像特徴を利用して、小領域ごとのエッジを抽出する。この処理は、領域群２６ａ，２６ｂに含まれる全ての小領域について実施される。そして、道路方位推定部１２は、領域群２６ａ，２６ｂに含まれる全ての小領域のエッジの角度を平均した値を、道路標示２１が描画された道路の方位を示す角度と推定して算出する。

次に、画像回転部１３は、道路の方位を示す角度に応じて対象画像を回転させる（ステップＳＴ７ａ）。図６Ｄは、回転補正処理の概要を示す図である。例えば、道路標示の認識モデルが上下方向の直線道路に描画された道路標示を用いて学習された場合、画像回転部１３は、領域群２６ａ，２６ｂに含まれる全ての小領域のエッジが上下方向に沿うように対象画像２０を回転させる。これにより、回転後の対象画像２０Ｂでは、画像中の道路が上下方向に沿ってみえる。なお、領域群２７ａ，２７ｂは、道路端の小領域から構成されており、これらの小領域のエッジは上下方向に沿っている。

次に、歪補正部１４は、実施の形態１と同様の手順で、画像回転部１３によって回転された対象画像の歪みを補正する（ステップＳＴ８ａ）。例えば、歪補正部１４は、回転処理後の対象画像２０Ａから道路標示２１のエッジを抽出し、抽出したエッジに基づいて道路標示２１の歪みがなくなるように道路標示の形状を変更する。

最後に、標示認識部１５は、実施の形態１と同様の手順で、歪補正部１４によって補正された対象画像を用いて道路標示を認識する（ステップＳＴ９ａ）。例えば、標示認識部１５は、歪補正部１４によって補正された対象画像を認識用画像として入力し、標示モデルＤＢ３に登録された認識モデルと認識用画像とを用いて、道路標示の種類を特定する。

以上のように、実施の形態２に係る画像処理装置１Ａにおいて、道路端検出部１１Ａが、対象画像の画素ごとに属性を判定し、画素ごとの属性の判定結果に基づいて対象画像における道路領域を推定し、推定した道路領域の道路端を検出する。
この処理を行うことにより、道路端検出部１１Ａは、白線が描画されていない道路であっても、道路標示を含む道路領域の道路端を的確に検出することができる。
また、画像処理装置１Ａは、実施の形態１と同様に、道路標示が複数の角度で撮影された画像を用いなくても、道路標示が一定の方向（例えば、上下方向）に沿ってみえる対象画像を用いて、道路標示を自動で認識することができる。

実施の形態３．
画像処理装置１における、標示検出部１０、道路端検出部１１、道路方位推定部１２、画像回転部１３、歪補正部１４および標示認識部１５の機能は、処理回路により実現される。すなわち、画像処理装置１は、図２に示したステップＳＴ１からステップＳＴ７までの処理を実行するための処理回路を備える。同様に、画像処理装置１Ａにおける、標示検出部１０、道路端検出部１１Ａ、道路方位推定部１２、画像回転部１３、歪補正部１４および標示認識部１５の機能は、処理回路により実現され、この処理回路は、図５に示したステップＳＴ１ａからステップＳＴ９ａまでの処理を実行するためのものである。これらの処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってもよい。

図７Ａは、画像処理装置１または画像処理装置１Ａの機能を実現するハードウェア構成を示すブロック図である。図７Ｂは、画像処理装置１または画像処理装置１Ａの機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。図７Ａおよび図７Ｂにおいて、記憶装置１００は、標示モデルＤＢ３を記憶する記憶装置である。記憶装置１００は、画像処理装置１または画像処理装置１Ａとは独立して設けられた記憶装置であってもよい。例えば、画像処理装置１または画像処理装置１Ａは、クラウド上に存在する記憶装置１００を利用してもよい。撮影装置１０１は、図１および図４に示した撮影装置であり、カメラまたはレーダ装置によって実現される。

上記処理回路が、図７Ａに示す専用のハードウェアの処理回路１０２である場合、処理回路１０２は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）またはこれらを組み合わせたものが該当する。
画像処理装置１における、標示検出部１０、道路端検出部１１、道路方位推定部１２、画像回転部１３、歪補正部１４および標示認識部１５の機能を別々の処理回路で実現してもよいし、これらの機能をまとめて１つの処理回路で実現してもよい。
また、画像処理装置１Ａにおける、標示検出部１０、道路端検出部１１Ａ、道路方位推定部１２、画像回転部１３、歪補正部１４および標示認識部１５の機能を別々の処理回路で実現してもよいし、これらの機能をまとめて１つの処理回路で実現してもよい。

上記処理回路が、図７Ｂに示すプロセッサ１０３である場合、画像処理装置１における、標示検出部１０、道路端検出部１１、道路方位推定部１２、画像回転部１３、歪補正部１４および標示認識部１５の機能は、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組み合わせによって実現される。また、画像処理装置１Ａにおける、標示検出部１０、道路端検出部１１Ａ、道路方位推定部１２、画像回転部１３、歪補正部１４および標示認識部１５の機能についても、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組み合わせによって実現される。なお、ソフトウェアまたはファームウェアは、プログラムとして記述されてメモリ１０４に記憶される。

プロセッサ１０３は、メモリ１０４に記憶されたプログラムを読み出して実行することにより、画像処理装置１における、標示検出部１０、道路端検出部１１、道路方位推定部１２、画像回転部１３、歪補正部１４および標示認識部１５の機能を実現する。
すなわち、画像処理装置１は、プロセッサ１０３によって実行されるとき、図２に示したステップＳＴ１からステップＳＴ７までの処理が結果的に実行されるプログラムを記憶するためのメモリ１０４を備えている。これらのプログラムは、標示検出部１０、道路端検出部１１、道路方位推定部１２、画像回転部１３、歪補正部１４および標示認識部１５の手順または方法をコンピュータに実行させる。
メモリ１０４は、コンピュータを、標示検出部１０、道路端検出部１１、道路方位推定部１２、画像回転部１３、歪補正部１４、および標示認識部１５として機能させるためのプログラムが記憶されたコンピュータ可読記憶媒体であってもよい。
これは、画像処理装置１Ａにおいても同様である。

メモリ１０４には、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ−ＥＰＲＯＭ）などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤなどが該当する。

標示検出部１０、道路端検出部１１、道路方位推定部１２、画像回転部１３、歪補正部１４および標示認識部１５の機能について一部を専用のハードウェアで実現して、一部をソフトウェアまたはファームウェアで実現してもよい。
例えば、標示検出部１０、道路端検出部１１および道路方位推定部１２は、専用のハードウェアである処理回路で機能を実現する。また、画像回転部１３、歪補正部１４および標示認識部１５は、プロセッサ１０３がメモリ１０４に記憶されたプログラムを読み出して実行することによって機能を実現する。これは、画像処理装置１Ａにおいても同様である。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせにより上記機能を実現することができる。

なお、本発明は上記実施の形態に限定されるものではなく、本発明の範囲内において、実施の形態のそれぞれの自由な組み合わせまたは実施の形態のそれぞれの任意の構成要素の変形もしくは実施の形態のそれぞれにおいて任意の構成要素の省略が可能である。

この発明に係る画像処理装置は、道路標示が複数の角度で撮影された画像を用いなくても、道路標示を自動で認識することができるので、例えば、認識した道路標示に基づいて車両の運転を支援する運転支援装置に利用可能である。

１，１Ａ 画像処理装置、２，１０１ 撮影装置、３ 標示モデルＤＢ、１０ 標示検出部、１１，１１Ａ 道路端検出部、１２ 道路方位推定部、１３ 画像回転部、１４ 歪補正部、１５ 標示認識部、２０，２０Ａ，２０Ｂ 対象画像、２１ 道路標示、２２ａ，２２ｂ 白線、２３ａ，２３ｂ 白色領域、２４ａ，２４ｂ，２５ａ，２５ｂ，２６ａ，２６ｂ，２７ａ，２７ｂ 領域群、１００ 記憶装置、１０２ 処理回路、１０３ プロセッサ、１０４ メモリ。

この発明に係る画像処理装置は、標示検出部、道路端検出部、道路方位推定部、画像回転部、歪補正部および標示認識部を備える。標示検出部は、道路に描画された道路標示が撮影された対象画像から道路標示を検出する。道路端検出部は、標示検出部によって検出された道路標示を含む道路領域の道路端を、対象画像から検出する。道路方位推定部は、道路端検出部によって検出された道路端のエッジの傾きに基づいて、道路領域における道路の方位を示す角度を推定する。画像回転部は、道路方位推定部によって推定された道路の方位を示す角度に応じて対象画像を回転させる。歪補正部は、画像回転部によって回転された対象画像の歪みを補正する。標示認識部は、歪補正部によって補正された対象画像を用いて道路標示を認識する。さらに、道路端検出部は、対象画像の画素ごとに属性を判定し、道路の属性の画素から構成された領域と道路の属性ではない画素から構成された領域との境界を前記道路端として検出する。

この発明に係る画像処理装置は、標示検出部、道路端検出部、道路方位推定部、画像回転部、歪補正部および標示認識部を備える。標示検出部は、道路に描画された道路標示が撮影された対象画像から道路標示を検出する。道路端検出部は、標示検出部によって検出された道路標示を含む道路領域の道路端を、対象画像から検出する。道路方位推定部は、道路端検出部によって検出された道路端のエッジの傾きに基づいて、道路領域における道路の方位を示す角度を推定する。画像回転部は、道路方位推定部によって推定された道路の方位を示す角度に応じて対象画像を回転させる。歪補正部は、画像回転部によって回転された対象画像の歪みを補正する。標示認識部は、歪補正部によって補正された対象画像を用いて道路標示を認識する。
さらに、道路端検出部は、道路領域の白線を対象画像から検出し、道路方位推定部は、白線を道路端とみなして、白線のエッジの傾きに基づいて道路領域における道路の方位を示す角度を推定する。道路端検出部は、対象画像から白線が検出されない場合、対象画像の画素ごとに属性を判定し、道路の属性の画素から構成された領域と道路の属性ではない画素から構成された領域との境界を道路端として検出する。道路方位推定部は、道路端検出部によって検出された道路端のエッジの傾きに基づいて、道路領域における道路の方位を示す角度を推定する。

Claims (8)

1. 道路に描画された道路標示が撮影された対象画像から前記道路標示を検出する標示検出部と、
   前記標示検出部によって検出された前記道路標示を含む道路領域の道路端を、前記対象画像から検出する道路端検出部と、
   前記道路端検出部によって検出された前記道路端のエッジの傾きに基づいて、前記道路領域における道路の方位を示す角度を推定する道路方位推定部と、
   前記道路方位推定部によって推定された道路の方位を示す角度に応じて前記対象画像を回転させる画像回転部と、
   前記画像回転部によって回転された前記対象画像の歪みを補正する歪補正部と、
   前記歪補正部によって補正された前記対象画像を用いて前記道路標示を認識する標示認識部とを備えたこと
   を特徴とする画像処理装置。
2. 前記道路端検出部は、前記道路領域の白線を前記対象画像から検出し、
   前記道路方位推定部は、前記白線を前記道路端とみなして、前記白線のエッジの傾きに基づいて前記道路領域における道路の方位を示す角度を推定すること
   を特徴とする請求項１記載の画像処理装置。
3. 前記道路端検出部は、前記対象画像の画素ごとに属性を判定し、画素ごとの属性の判定結果に基づいて前記対象画像における前記道路領域を推定し、推定した前記道路領域の前記道路端を検出すること
   を特徴とする請求項１記載の画像処理装置。
4. 前記道路方位推定部は、前記道路端に沿った複数の線分のエッジの傾きの統計値に基づいて道路の方位を示す角度を推定すること
   を特徴とする請求項１から請求項３のいずれか１項記載の画像処理装置。
5. 標示検出部が、道路に描画された道路標示が撮影された対象画像から前記道路標示を検出するステップと、
   道路端検出部が、前記標示検出部によって検出された前記道路標示を含む道路領域の道路端を、前記対象画像から検出するステップと、
   道路方位推定部が、前記道路端検出部によって検出された前記道路端のエッジの傾きに基づいて、前記道路領域における道路の方位を示す角度を推定するステップと、
   画像回転部が、前記道路方位推定部によって推定された道路の方位を示す角度に応じて前記対象画像を回転させるステップと、
   歪補正部が、前記画像回転部によって回転された前記対象画像の歪みを補正するステップと、
   標示認識部が、前記歪補正部によって補正された前記対象画像を用いて前記道路標示を認識するステップとを備えたこと
   を特徴とする画像処理方法。
6. 前記道路端検出部は、前記道路領域の白線を前記対象画像から検出し、
   前記道路方位推定部は、前記白線を前記道路端とみなして、前記白線のエッジの傾きに基づいて前記道路領域における道路の方位を示す角度を推定すること
   を特徴とする請求項５記載の画像処理方法。
7. 前記道路端検出部は、前記対象画像の画素ごとの属性に基づいて前記対象画像における前記道路領域を推定し、推定した前記道路領域の前記道路端を前記対象画像から検出すること
   を特徴とする請求項５記載の画像処理方法。
8. 前記道路方位推定部は、前記道路端に沿った複数の線分のエッジの傾きの統計値に基づいて道路の方位を示す角度を推定すること
   を特徴とする請求項５から請求項７のいずれか１項記載の画像処理方法。

Images