JP6986854B2 - 画像処理装置、撮像装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、画像処理方法、及びプログラムに関する。

従来より、画像の奥行き情報の推定や遠景・近景などのシーンの推定に適用可能な消失点の検出を行う技術が知られている。消失点とは、例えば遠近法や透視図法などで用いられる、平行な直線群が集まる無限遠点のことである。消失点を検出する技術として、画像から複数の線分を検出し、線分の傾きや交点など種々の特徴量を用いて消失点の座標を算出する技術がある。

また、特許文献１では、画像から検出した複数の線分のうち、画像の上辺側及び下辺側の領域に存在するものや水平方向に近いものなど、消失点の検出に不要なノイズ的線分を排除する技術が開示されている。特許文献２では、画像を拡大する際に拡大前のエッジの方向を検出し、拡大後に近隣するエッジ信号同士を結ぶ方向をその向きに近づけることで線の途切れを抑える技術が開示されている。

特開２００５−２７５５００号公報 特開２００９−３０１５８５号公報

特許文献１に開示されている構成では、奥行き方向に伸びていない線分や放射状の被写体に含まれる線分などを効果的に排除できず、消失点の座標を精度良く算出できない可能性がある。また特許文献２に開示されている構成では、線分を構成するエッジ信号以外の信号も拡大時に結合されてしまい、結果的に線分検出の処理時間が増大したり検出精度が低下したりする可能性がある。

本発明はこのような状況に鑑みてなされたものであり、消失点の検出精度を向上させる技術を提供することを目的とする。

上記課題を解決するために、本発明は、画像から線分を検出する線分検出手段と、前記画像の奥行き方向の距離を示す距離情報を取得する取得手段と、前記線分検出手段により検出された線分から、消失点検出用の線分を選択する選択手段と、前記消失点検出用の線分に基づき、前記画像の消失点を検出する消失点検出手段と、を備え、前記取得手段は、前記距離情報により示される距離の信頼度を示す信頼度情報を取得し、前記選択手段は、前記線分検出手段により検出された各線分について、前記距離情報により示される距離のうち前記信頼度が第４の閾値以上である距離に基づいて、前記距離が前記線分に沿って単調変化傾向にあるか否かを判定し、前記距離情報により示される距離が前記線分に沿って単調変化傾向にある場合に前記線分を選択することを特徴とする画像処理装置を提供する。

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

本発明によれば、消失点の検出精度を向上させることが可能となる。

撮像装置１００の構成を示すブロック図。 画像処理部１０４において消失点検出処理に関係する構成を示すブロック図。 撮像部１０２の画素配列構成を示す図。 （Ａ）消失点検出処理のフローチャート、（Ｂ）Ｓ４０４の線分選択処理の詳細を示すフローチャート。 （Ａ）撮像画像の一例を示す図、（Ｂ）距離マップ画像の一例を示す図、（Ｃ）距離信頼度マップ画像の一例を示す図。 （Ａ）撮像画像５０１に対応するエッジ画像６０１を示す図、（Ｂ）エッジ画像６０１に対応する線分検出結果を示す図、（Ｃ）線分選択結果を示す図。 （Ａ）図６（Ｂ）の線分６０３Ａに沿う距離の変化を示す図、（Ｂ）図６（Ｂ）の線分６０３Ｂに沿う距離の変化を示す図。 消失点の座標の算出方法を示す図。 図５（Ａ）の撮像画像５０１において選択された４つの線分に基づいて算出された消失点を示す図。 （Ａ）消失点検出用の線分が消失点に到達している場合を示す図、（Ｂ）消失点検出用の線分が消失点に到達していない場合を示す図。 第２の実施形態に係る、消失点検出処理のフローチャート。 図５（Ａ）の撮像画像５０１に対応するエッジ画像１２０１を示す図。 エッジ信号の周辺領域の各画素におけるエッジ信号の有無に関する複数のパターンを示す図。 （Ａ）図１２のエッジ画像１２０１から不要なエッジ信号を除去することにより得られるエッジ画像１４０１を示す図、（Ｂ）図１２のエッジ画像１２０１に３×３tapのメディアンフィルタを適用することにより得られるエッジ画像１４０２を示す図。 （Ａ）エッジ画像１４０１に対応する線分検出結果を示す図、（Ｂ）エッジ画像１４０１に対応する線分検出結果における各線分の中心点を示す図。 走行中の車両の車載カメラから得られる画像の一例を示す図。 エッジ信号の周辺領域の各画素におけるエッジ信号の有無に関する複数のパターンが画像の領域に応じて異なる様子を示す図。 補正処理のフローチャート。 補正強度マップを示す図。

以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。

［第１の実施形態］
本実施形態では、画像における各種の特徴量、及び被写体の距離情報を用いて、消失点の有無の判定及び座標の算出を行う技術について説明する。なお本実施形態では、最も効果が見込めるシーンの１つである遠景撮影を想定して説明を行う。しかしながら、本実施形態で説明する技術は、遠景撮影以外のシーンにおいても適用可能である。また、以下では、画像処理装置の一例として撮像装置について説明するが、本実施形態の画像処理装置は撮像装置に限定されず、例えばパーソナルコンピュータ（ＰＣ）などであってもよい。

図１は、撮像装置１００の構成を示すブロック図である。図１において、光学系１０１は、ズームレンズやフォーカスレンズなどから構成されるレンズ群、絞り調整装置、及び、シャッター装置を備えている。光学系１０１は、撮像部１０２に到達する被写体像の倍率、ピント位置、及び光量を調整する。撮像部１０２は、光学系１０１を通過した被写体の光束を光電変換して電気信号に変換するＣＣＤやＣＭＯＳセンサ等の光電変換素子である。Ａ／Ｄ変換部１０３は、入力されたアナログ画像信号をデジタル画像データに変換する。

画像処理部１０４は、入力された画像データに対して、現像処理などの各種画像処理を行う。また、画像処理部１０４は、後述する消失点検出処理も行う。図２は、画像処理部１０４において消失点検出処理に関係する構成を示すブロック図である。各ブロックが担う処理の詳細については後述する。画像処理部１０４は、Ａ／Ｄ変換部１０３から出力された画像データのみでなく、記録部１０７から読み出した画像データに対しても同様の処理を行うことができる。

制御部１０５は、撮影時の露光量を算出し、光学系１０１及び撮像部１０２を通じて、絞り、シャッタースピード、及びセンサのアナログゲインなどを制御する。表示部１０６は、画像処理部１０４から出力される画像データをＬＣＤなどの表示用部材に逐次表示することにより、電子ビューファインダ（ＥＶＦ）として機能する。記録部１０７は、画像データを記録する機能を有し、例えば、半導体メモリが搭載されたメモリカードや、光磁気ディスク等の回転記録媒体を収容したパッケージなどを用いた情報記録媒体などを含んでもよい。

図３は、撮像部１０２の画素配列構成を示す図である。撮像部１０２は、二次元的に規則的に配列された複数の画素３０２を含む。画素３０２の各々は、マイクロレンズ３０１と、一対の光電変換部３０３Ａ，３０４Ｂとから構成される。光電変換部３０３Ａ，３０４Ｂは、マイクロレンズ３０１を介して光学系１０１の射出瞳の異なる領域（瞳部分領域）を受光するように構成され、瞳分割を行う。光電変換部３０３Ａ，３０４Ｂのそれぞれについて、各瞳部分領域の視点に対応する信号（視点信号）が生成される。これら複数の視点信号は、光強度の空間分布及び角度分布の情報であるＬＦ（Ｌｉｇｈｔ Ｆｉｅｌｄ）データと等価である。また、各瞳部分領域に対応する視点信号を加算することで、通常の撮像信号を生成することができる。

図４（Ａ）は、消失点検出処理のフローチャートである。Ｓ４０１で、距離情報取得部２０１（図２参照）は、撮像部１０２により取得されたＬＦデータに基づき、撮像画像の各領域における被写体の距離を示す距離マップ画像（距離情報）、及び、距離の信頼度を示す距離信頼度マップ画像（信頼度情報）を生成する。図５（Ａ）は、撮像画像の一例を示す図である。距離情報取得部２０１は、撮像画像５０１に対応するＬＦデータの位相差（複数の視点画像の位相差）に基づき、距離マップ画像及び距離信頼度マップ画像を生成する。距離マップ画像の具体的な生成方法については、任意の既知の方法を利用可能である。一例を挙げると、特開２０１６−９０６２号公報に記載された技術を用いて画素毎に算出したデフォーカス量から距離マップ画像を生成することができる。ここで、信頼度とは、上述した位相差（像ずれ量）が各領域でどの程度検出しやすいかを表す値である。像ずれ量を検出しにくい領域で算出された距離は正確でない可能性が高いため、その領域に対しては信頼度が低いことを示す値が割り当てられる。像ずれ量を検出しにくい領域とは、例えば空や自動車のボディといった被写体の模様の変化が乏しい領域である。距離情報取得部２０１は、このような領域を検出し、低い信頼度を割り当てる。距離情報取得部２０１は、模様の変化が乏しいかを判定する指標として、エッジ積分値を用いる。具体的には、距離情報取得部２０１は、撮像画像５０１における微小ブロック内の画素のエッジ振幅の絶対値を積分することで、エッジ積分値を算出する。そして、距離情報取得部２０１は、算出したエッジ積分値と予め設定した閾値とを比較し、算出したエッジ積分値が閾値よりも小さい場合、模様の変化が乏しい領域であると判定し、その領域には模様の変化に富んだ領域よりも低い信頼度を割り当てる。このような処理を、分割した微小ブロックごとに繰り返し行うことで、被写体距離の分布に対する距離信頼度マップ画像を生成することができる。図５（Ｂ）は、距離マップ画像の一例を示す図である。距離マップ画像５０２において、画素が白色に近いほど（画素値が大きいほど）撮像装置１００からの距離が近いことを示している。図５（Ｃ）は、距離信頼度マップ画像の一例を示す図である。距離信頼度マップ画像５０３において、白色の領域は距離マップ画像５０２が示す距離値の信頼度が高く、黒色の領域は被写体の模様の変化が乏しいために距離値の信頼度が低いことを示している。

なお、ＬＦデータ及び撮像画像５０１は、例えば記録部１０７に事前に記録されており、画像処理部１０４により記録部１０７から読み出される。或いは、画像処理部１０４が消失点検出処理を実行する際に、撮像装置１００が被写体を撮影することによりＬＦデータ及び撮像画像５０１を生成してもよい。

Ｓ４０２で、エッジ検出部２０２は、撮像画像５０１からエッジ信号を検出し、エッジ画像を生成する。エッジ信号の検出方法としては、例えば元画像（撮像画像５０１）と元画像にＬＰＦ（ローパスフィルタ）を適用した画像との差分を算出する方法や、元画像にソーベルフィルタを適用した画像を用いる方法など、任意の既知の方法を利用可能である。図６（Ａ）に、撮像画像５０１に対応するエッジ画像６０１を示す。

Ｓ４０３で、線分検出部２０３は、Ｓ４０２で生成したエッジ画像６０１から線分を検出する。具体的には、線分検出部２０３は、エッジ画像６０１に対してハフ変換を適用することによって閾値以上の長さを持つ線分を抽出する処理を行う。図６（Ｂ）に、エッジ画像６０１に対応する線分検出結果を示す。図６（Ｂ）において、画像６０２は、エッジ画像６０１に対応する線分検出結果を示した画像であり、白色でハイライト表示した部分が線分として検出された領域である。これを見ると、直線状の被写体からだけではなく、細かいテクスチャを持つ被写体からも線分が検出されていることがわかる。これは、細かいテクスチャを持つ被写体については、ハフ変換において一直線上に振幅の大きい点（エッジ）が局所的に多数存在していることから、これらが１つの線分として検出されるためである。

Ｓ４０４で、線分選択部２０４は、Ｓ４０３において検出された線分の中から、消失点の検出に用いる線分（消失点検出用の線分）を選択する。図４（Ｂ）は、Ｓ４０４の線分選択処理の詳細を示すフローチャートである。

Ｓ４１１で、線分選択部２０４は、Ｓ４０３において検出された全ての線分に対して処理が完了したか否かを判定する。全ての線分に対して処理が完了していない場合、線分選択部２０４は処理をＳ４１２へ進め、全ての線分に対して処理が完了している場合、線分選択部２０４は処理をＳ４０５へ進める。

Ｓ４１２で、線分選択部２０４は、被写体距離が処理対象の線分（Ｓ４０３において検出された線分が順に処理対象として選択される）に沿って単調変化傾向（単調増加傾向又は単調減少傾向）にあるか否かを判定する。被写体距離が単調変化傾向にない場合、Ｓ４１３で、線分選択部２０４は、処理対象の線分を消失点検出用の線分から除外し、処理をＳ４１１に戻す。被写体距離が単調変化傾向にある場合、Ｓ４１４で、線分選択部２０４は、処理対象の線分を消失点検出用の線分として選択し、処理をＳ４１１に戻す。

Ｓ４１２における条件分岐の理由について説明する。消失点に向かう線分に対応する被写体の奥行き方向の位置は、通常、消失点の反対側から消失点に向かって、撮像装置１００に近い位置から遠い位置へと変化する。従って、消失点に向かう線分に沿って距離マップ画像（図５（Ｂ））の画素値の変化を見た場合、大きい値（近距離）から小さい値（遠距離）へと単調減少する可能性が高い（前述の通り、本実施形態の距離マップ画像では、画素値が大きいほど距離が近い）。但し、消失点に向かう線分であっても、例えば距離の誤検出などの理由により、距離（画素値）が単調減少しない区間（増加区間又は不変区間）が存在する可能性がある。そのため、消失点に向かう線分に沿う距離（画素値）は、必ずしも全区間を通して単調減少するとは限らないが、全体としては単調減少傾向になることが期待される。また、消失点の検出前は、線分のどの方向が消失点の側であるか不明であるため、消失点の側から距離（画素値）を見始めた場合、距離（画素値）が単調増加傾向になる。そこで、線分選択部２０４は、距離（画素値）が線分に沿って単調増加傾向又は単調減少傾向にある場合に、この線分は消失点に向かう線分である可能性が高いと判断し、消失点検出用の線分として選択する。

被写体距離（画素値）が処理対象の線分に沿って単調変化傾向にあるか否かを判定する処理の具体例について説明する。線分選択部２０４は、処理対象の線分を複数の区間に分割し、各区間の端点に対応する位置の距離（画素値）を距離マップ画像から取得する。図７（Ａ）は、図６（Ｂ）の線分６０３Ａを５区間に分割した場合の各区間の端点に対応する画素値をプロットして直線で結んだグラフである。図７（Ａ）において、横軸は線分６０３Ａにおける位置を示し、位置１が左端の位置に対応し、位置２から位置６まで順に１つずつ右側の位置に対応する。また、縦軸は画素値を示す。同様に、図７（Ｂ）は、図６（Ｂ）の線分６０３Ｂを１０区間に分割した場合の各区間の端点に対応する画素値をプロットして直線で結んだグラフである。線分選択部２０４は、距離が連続的に増加する区間（単調増加区間）の長さ、及び、距離が連続的に減少する区間（単調減少区間）の長さを検出する。この時、距離が不変である区間（例えば、図７（Ａ）の位置４から位置５の区間）があっても、そのような区間の長さが閾値以下である場合には、単調増加区間（又は単調減少区間）に含めてもよい。単調増加区間に関する不変区間の閾値（第２の閾値）と、単調減少区間に関する不変区間の閾値（第３の閾値）とは、同じであってもよいし、異なっていてもよい。ここでは、いずれの閾値も１であるものとする。その結果、図７（Ａ）の例では、単調減少区間の長さとして２（位置１から位置３、及び位置４から位置６）が検出され、単調増加区間の長さとして２（位置３から位置５）が検出される。同様に、図７（Ｂ）の例では、単調減少区間の長さとして２（位置５から位置７）が検出され、単調増加区間の長さとして５及び４（位置１から位置６、及び位置７から位置１１）が検出される。線分選択部２０４は、検出された長さ（区間数）の最大値の、全区間数に対する割合が閾値以上（例えば５０％以上）の場合、被写体距離が単調変化傾向にあると判定し、そうでない場合、被写体距離が単調変化傾向にないと判定する。図７（Ａ）の例では、検出された長さの最大値は２、全区間数は５なので、検出された長さの最大値は全区間数の５０％未満である。従って、線分選択部２０４は、線分６０３Ａについては、被写体距離が単調変化傾向にないと判定する。同様に、図７（Ｂ）の例では、検出された長さの最大値は５、全区間数は１０なので、検出された長さの最大値は全区間数の５０％以上である。従って、線分選択部２０４は、線分６０３Ｂについては、被写体距離が単調変化傾向にあると判定する。

なお、単調変化傾向の判定方法に関する上記の例に対しては、様々な変更が可能である。より一般化すると、線分選択部２０４は、処理対象の線分において閾値以上（第１の閾値以上）の長さを持つ単調増加区間又は単調減少区間が存在する場合に、被写体距離がこの線分に沿って単調変化傾向にあると判定する。この閾値（第１の閾値）は、処理対象の線分の長さに基づいて変化してもよい。この場合、線分が長いほど、閾値が大きくなる。

また、単調増加区間（又は単調減少区間）の長さを検出する際に、増加量（又は減少量）が急峻な区間については、単調増加区間（又は単調減少区間）から除外してもよい。また、線分選択部２０４は、距離信頼度マップ画像５０３を参照し、黒色の領域（信頼度が広い領域）に対応する距離の値については、判定対象から除外してもよい。より一般化すると、線分選択部２０４は、信頼度が閾値以上（第４の閾値以上）である距離に基づいて、単調変化傾向の判定を行う。

また、単調変化傾向の判定方法は上記に限られたものではなく、他の方法を用いてもよい。例えば、プロットの点数を線分の長さによらず同一にしながら、各プロット点における値を線分上の周辺の値の平均値とすることで判定してもよい。或いは、プロットした点群から最小二乗法などによって近似直線を算出し、その値の変化から判定してもよい。これらにより、距離マップの値の変化に対する敏感度を抑えたロバストな判定を行うことが可能となる。

図６（Ｃ）に、線分選択結果を示す。図６（Ｃ）の画像６０４に示すように、エッジ画像６０１（図６（Ａ）参照）において検出された７つの線分（図６（Ｂ）参照）のうち、４つの線分が選択されている。

図４（Ａ）に戻り、Ｓ４０５で、消失点検出部２０５は、Ｓ４０４で選択した線分を用いて消失点の座標を算出する。具体的な算出方法を図８に示す。図８において、４つの太線で描かれた線分は座標の算出に用いるために選択された４つの線分の一例をｘｙ座標空間で表したものである。また、これら４つの線分をｘ軸方向及びｙ軸方向に伸ばした直線を点線で示している。まず、消失点検出部２０５は、各直線の傾き及び切片に基づいて、２つの直線の対が交わる交点の座標を算出する。そして、消失点検出部２０５は、座標が算出された複数の交点の中で最も多くの直線が交わる（又は近傍を通る）交点を、最終的な消失点として選択する。図８においては、直線の交点が複数存在するので、最も多くの直線、即ち３つの直線が通る黒点で示した交点の座標が、消失点の座標として算出される。図９に、図５（Ａ）の撮像画像５０１において選択された４つの線分に基づいて算出された消失点を示す。図９において、斜線の円で示された点が消失点である。なお、Ｓ４０４で選択された線分の数が０又は１の場合、直線の交点が存在しないことになるため、消失点検出部２０５は、消失点なしと判定する。

Ｓ４０６で、消失点検出部２０５は、下記の式（１）に従い、Ｓ４０５で検出した消失点に対する信頼度VpConfを算出する。式（１）において、LineNumは、Ｓ４０４で選択した線分の本数を示し、IntersctNumは、検出した消失点の座標を通る直線の本数を示す。

式（１）から理解できるように、選択した線分の本数に対して消失点を通る直線の本数の割合が高いほど、信頼度VpConfは大きい値となる。

続いて、消失点検出部２０５は、選択した線分及び消失点の座標を用いて信頼度VpConfを補正する。補正は、図１０（Ａ）に示すように消失点に対して線分が途切れていない（線分が消失点に到達している）場合と、図１０（Ｂ）に示すように消失点に対して線分が途切れている（線分が消失点に到達していない）場合とに分けて行われる。消失点検出部２０５は、消失点の座標と消失点を構成する各線分の端点の座標とを比較する。消失点検出部２０５は、差分が閾値以下（第５の閾値以下）である線分の本数が消失点を構成する全線分数に対して半数以上の場合、「消失点に対して線分が途切れていない場合」と判定し、そうでない場合、「消失点に対して線分が途切れている場合」と判定する。

消失点に対して線分が途切れていない場合、消失点検出部２０５は、Ｓ４０５で算出した消失点の座標に対応する距離マップ画像５０２の画素値（例えば１４ビットの値）を参照し、画素値が閾値ThNear（例えば３０００）より大きいか否かを判定する。消失点検出部２０５は、消失点の画素値が閾値ThNearより大きい（距離が閾値より近い）場合、信頼度VpConfの値を小さくし、そうでない場合、信頼度VpConfの値を変化させない。これは、原則的に消失点は無限遠に存在するものであり、その点が近い距離の値を示している場合には、その座標の信頼度を低くすることが目的である。距離マップの画素値DisMapが閾値ThNearよりも大きい場合、消失点検出部２０５は、下記の式（２）に従って信頼度VpConfの値を補正する。

他方、消失点に対して線分が途切れている場合、図１０（Ｂ）に示すように消失点と同じｘｙ座標に近距離被写体が存在する可能性がある。そのため、消失点の座標に対応する距離マップ画像５０２の画素値が大きい（即ち、距離が近い）場合であっても、一概に消失点の信頼度が低いとは限らない。そこで、この場合、消失点検出部２０５は信頼度VpConfの値を変えない。

以上説明したように、第１の実施形態によれば、撮像装置１００は、画像から線分を検出し、検出した線分から焦点検出用の線分を選択する。その際に、撮像装置１００は、画像の奥行き方向の距離が線分に沿って単調変化傾向にある場合に、この線分を焦点検出用の線分として選択する。これにより、消失点の検出精度を向上させることが可能となる。

なお、本実施形態では、距離情報を取得する構成として、図３に示したような、撮像光学系の瞳の異なる領域から到来する光束が生ずる複数の被写体像の位相差に基づいて距離情報を取得する構成について説明した。しかしながら、他の構成を代用又は併用して距離情報を取得してもよい。例えば、複数のレンズ及び撮像素子を有する複眼カメラの構成とすることで、より精度の良い像ずれ量を検出することが可能となる。或いは、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラの構成とすることで、模様の変化が乏しい被写体に対する測距性能を向上させることが可能となる。

また本実施形態では、距離の変化を参照することで必要な線分を選択し消失点の座標を算出する構成について説明したが、更に他の情報を加えてもよい。例えば、消失点の座標を算出する際に最も多くの直線が通る交点を多数決式に決定するのではなく、各直線の傾きに応じて重み付けした上で交点を選択するようにしてもよい。例えば、本実施形態の図３に示したような左右に一対の光電変換部を有する画素配列においては、垂直線と比較すると水平線に対して像ずれ量の検出精度が低くなる。従って、垂直線に近ければ近いほど重みを大きくし、水平線に近ければ近いほど重みを小さくすることで、距離の変化に対する信頼度がより高い直線の交点から消失点の座標を算出することが可能となる。当然、図３の画素配列における光電変換部が上下に一対並んで構成されている場合には、水平線に近い直線ほど重みを大きくすればよい。

［第２の実施形態］
第２の実施形態では、消失点検出処理において、消失点の検出に不要なエッジ信号をエッジ画像から除去する構成について説明する。第２の実施形態において、撮像装置１００の基本的な構成は、第１の実施形態と同様である。以下、主に第１の実施形態と異なる点について説明する。

図１１は、第２の実施形態に係る、消失点検出処理のフローチャートである。Ｓ１１０１で、エッジ検出部２０２は、撮像画像５０１からエッジ信号を検出し、エッジ画像を生成する。ここでは、エッジ検出部２０２は、撮像画像５０１の輝度信号に対して３×３のソーベルフィルタを適用し、更に所定の閾値で２値化するものとする。これにより、例えば図１２に示すエッジ画像１２０１が得られる。図１２において、黒で示す領域がエッジ領域であり、白で示す領域が非エッジ領域である。

Ｓ１１０２で、エッジ検出部２０２は、Ｓ１１０１で生成したエッジ画像から不要なエッジ信号を除去する処理を行う。ここで、不要なエッジ信号とは、消失点検出に用いる線分を検出する処理において不要なエッジ信号、即ち線分を構成するものではない孤立したエッジ信号である。エッジ画像の中に不要なエッジ信号が多く残っていると、線分の検出のための処理負荷が増大したり、消失点に無関係の線分を誤検出したりする可能性がある。

図１３を参照して、不要なエッジ信号の除去（必要なエッジ信号の選択）の詳細について説明する。図１３は、エッジ信号の周辺領域の各画素におけるエッジ信号の有無に関する複数のパターンを示す図である。図１３において、「○」印は着目位置のエッジ画素（選択又は除外を行う対象のエッジ画素）を示し、斜線で示す画素はエッジ信号が存在することを示し、白色の画素はエッジ信号が存在しても存在しなくてもよいことを示す。図１３には、着目位置のエッジ画素を取り囲む８画素の周辺領域の構成について、１２種類のパターンが示されているが、パターンの数は１２に限定されず、１以上の任意の数であってよい。エッジ検出部２０２は、着目位置のエッジ画素を取り囲む８画素の周辺領域が１２種類のパターンのうちの少なくとも１つに該当するか否かを判定する。周辺領域の各画素におけるエッジ信号の有無が特定のパターンに対応する場合、この周辺領域はこの特定のパターンに該当すると判断される。周辺領域が１２種類のパターンのうちの少なくとも１つに該当する場合、エッジ検出部２０２は、着目位置のエッジ画素を残し、いずれにも該当しない場合、エッジ検出部２０２は、着目位置のエッジ画素を０（非エッジ信号）にする。これにより、線分を構成するエッジ信号の細い連なりを保持しながら、前述したような不要なエッジ信号のみ除去することができる。換言すると、エッジ検出部２０２は、周辺領域の各画素におけるエッジ信号の有無が１２種類のパターンのうちの少なくとも１つに該当するという条件を満たすエッジ信号を選択（エッジ選択）し、それ以外のエッジ信号を除外する。なお、パターンの大きさは、着目位置のエッジ画素を含む３×３＝９画素に限らず、より広範囲を参照するようなパターンを適用してもよい。

図１４（Ａ）のエッジ画像１４０１は、図１２のエッジ画像１２０１から不要なエッジ信号を除去することにより得られたエッジ画像である。エッジ画像１２０１と比べると、エッジ画像１４０１においては、孤立した細かいエッジ信号は低減されつつも細い線は残っていることが分かる。また、比較のために、エッジ画像１２０１に３×３tapのメディアンフィルタを適用することにより得られるエッジ画像１４０２を図１４（Ｂ）に示す。エッジ画像１４０２においては、孤立した細かいエッジ信号だけではなく、細い線に対応するエッジ信号も除去されている。従って、エッジ画像１４０２においては、エッジ画像１４０１と比べて、線分を構成する必要なエッジ信号が多く失われている。

Ｓ１１０３で、線分検出部２０３は、Ｓ１１０２で得られたエッジ画像１４０１から線分を検出する。線分を検出するための処理の詳細は、第１の実施形態で説明した図４（Ａ）のＳ４０３と同様である。図１５（Ａ）に、エッジ画像１４０１に対応する線分検出結果を示す。図１５（Ａ）において、画像１５０１は、エッジ画像１４０１に対応する線分検出結果を示した画像であり、白色でハイライト表示した部分が線分として検出された領域である。

Ｓ１１０４で、線分選択部２０４は、Ｓ１１０３において検出された線分の中から、消失点の検出に用いる線分（消失点検出用の線分）を選択する。第１の実施形態では、距離マップ画像を用いて線分における距離値の変化を参照して選択する構成について述べたが、本実施形態では各線分の傾きを参照して選択する構成について説明する。但し、距離値の変化を参照する構成と組み合わせて線分を選択することも可能である。

ここでは、線分選択部２０４は、画像における各線分の位置する座標が、領域に対応した傾きに該当するか否かを判定する処理を行う。具体的には、線分選択部２０４は、画像の左側領域（例えば、左半分の領域）においては傾きが右上がりの線分を、画像の右側領域（例えば、右半分の領域）においては傾きが左上がりの線分を、消失点検出用の線分として選択する。この選択基準は、例えば車道を走行中の車両における車載カメラなどで得られた画像などに特に適している。図１６の画像１６０１は、走行中の車両の車載カメラから得られる画像の一例を示したものである。車両が左車線を走行している間は、画像の左側には車線外側線、即ち傾きが右上がりの線分が、右側には車線境界線、即ち傾きが左上がりの線分が、それぞれ存在する傾向がある。図１５（Ｂ）において、各線分の中心点を白い円で示す。これを見ると、検出された全ての線分の中心点が画像中央より右側に存在している。線分選択部２０４は、これらの線分のうち傾きが右上がりとなっている線分１５０２を除外し、最終的にそれ以外の３本の線分を選択する。

Ｓ１１０５で、消失点検出部２０５は、Ｓ１１０４で選択した線分を用いて消失点の座標を算出する。具体的な算出方法は、第１の実施形態で説明した図４（Ａ）のＳ４０５と同様である。結果的に、図９において斜線の円で示される消失点の座標が得られる。

以上説明したように、第２の実施形態によれば、撮像装置１００は、エッジ画像から線分を検出し、検出した線分から焦点検出用の線分を選択する。その際に、撮像装置１００は、各エッジ画素の周辺領域が所定のパターンに該当するか否かに基づき、消失点の検出に不要なエッジ信号を除去する。これにより、線分の検出のための処理負荷を低減しつつ、消失点の検出精度を向上させることが可能となる。

なお、本実施形態では、消失点検出に用いる線分の選択処理として、Ｓ１１０４で述べたような画像内の領域に対応する傾きに該当しない線分を除外する構成について説明した。しかしながら、線分を除外する代わりに、線分の交点を用いた消失点の座標算出時に、重み付けの値を小さくするようにしてもよい。

また、本実施形態では、エッジ信号の除去に関して、Ｓ１１０２で述べたような図１３で示した１２種類のパターンをエッジ画像全体で一様に用いる構成について説明した。しかしながら、エッジ検出部２０２は、対象のエッジ信号の画像における領域に応じて異なるパターンを使用してもよい。例えば、前述したように車載カメラなどにおける画像内の領域毎の線分の傾きに見られる傾向を利用する。この場合、エッジ画像の左半分では右上がりの角度を有するエッジパターンのみを、右半分では左上がりの角度を有するエッジパターンのみを利用する。これにより、消失点に関連しない線分を構成するエッジ信号がより除去されやすくなる。図１７は、領域毎のパターンを示した図であり、画像の中央線（点線）を境にして各々異なる５つのパターンが対応付けられている。

なお、パターンの組み合わせは図１７に示すものに限られない。また、領域の分割の仕方も、図１７に示すものに限られず、他の分割の仕方も可能である。例えば、画像の中央点を境に４つの領域に分割し、画像の右上及び左下の領域では右上がりの角度を有するパターンを、画像の左上及び右下の領域では左上がりの角度を有するパターンを使用してもよい。更に、この思想は、Ｓ１１０４の線分選択処理やＳ１１０５の消失点算出処理においても適用可能である。

また、車載カメラから図１６で示したような画像が得られるのは、一般的に車両が前方へ走行中である場合であり、駐停車時や発進時、右左折時などは前述したような線分の傾きの傾向は当てはまらない可能性がある。従って、撮像装置１００の動きをジャイロセンサやＧＰＳなどから取得し、走行中にのみ線分やエッジの傾き情報を使用することで、線分検出処理や線分選択処理に対するロバスト性を向上させることが可能となる。例えば、取得された動き情報が撮像装置１００を搭載した車両の前進を示す場合に、エッジ検出部２０２は、対象のエッジ信号の画像における領域が左側領域であるか右側領域であるかに応じて異なるパターンを使用して、エッジ信号の選択（除外）を行う。

更に、撮像装置１００の動きだけでなく、アオリやロール成分などを含む撮像装置１００の傾きや高さ（標高）に応じて、消失点の信頼度の値を補正するようにしてもよい。例えば、地上から撮影する際に撮像装置１００が上方にあおられている場合には消失点は画像の中央よりも下側に、下方にあおられている場合には消失点は画像の中央よりも上側にある傾向がある。従って、これらの関係が成り立つ場合には信頼度の値を上げ、成り立たない場合には信頼度の値を下げるようにしてもよい。また、撮像装置１００が縦方向に傾けられて縦撮りされている場合には、上述した上下の関係が左右に置き換えらえることになり、また、エッジ信号の除去に用いる画像内の領域に応じたパターンや線分の傾きの優先度もそれに対応して変わることになる。

［第３の実施形態］
第３の実施形態では、消失点座標の情報を利用した補正処理について説明する。第３の実施形態において、撮像装置１００の基本的な構成は、第１の実施形態と同様である。以下、主に第１の実施形態と異なる点について説明する。

図１８は、補正処理のフローチャートである。Ｓ１８０１で、撮像装置１００は、図１６の画像における消失点の座標を算出する。具体的な算出方法としては、第１の実施形態又は第２の実施形態で説明した算出方法を使用可能である。

Ｓ１８０２で、画像処理部１０４は、Ｓ１８０１において算出した消失点の座標を用いて、領域毎に階調補正処理を行う際の補正強度マップを生成する。図１９は、生成された補正強度マップを示したものであり、斜線の丸は検出した消失点の位置を示す。また、分割ブロック毎の濃度は、黒に近いほど補正強度が大きく、白に近いほど補正強度が小さいことを表している。消失点の近傍は距離が遠いことから、実際の画像において霞や靄などでコントラストが低下していたり、夜間には照明光が届きにくく低輝度になっていたりして、画像を視認しにくい。そのため、消失点の近傍では補正処理の効果を強くするために大きな補正強度が設定されている。

Ｓ１８０３で、画像処理部１０４は、Ｓ１８０２において生成した補正強度マップを用いて領域毎に階調補正処理を行う。画像処理部１０４は、階調補正処理として、暗部や明部の明るさを優先的に補正する階調特性と、主に中間輝度のコントラストを補正する階調特性とを、撮影シーンに応じて決定し補正する。例えば、夜景などのＢｖ値が所定値よりも小さいシーンにおいては明るさを強く補正し、そうでない場合にはコントラストを強調するように制御することで、シーンに適した効果を得ることができる。局所的な明るさやコントラストを補正する方法については、例えば特開２０１４−１５４１０８号公報で述べられているような公知の技術を用いることができる。即ち、画像処理部１０４は、補正強度が大きいブロックほどコントラストがより強くなるような階調特性を用いて補正を行う。なお、階調補正の手段としてはこれに限らず、他の方法であっても良い。ここで、分割ブロックの大きさは任意であり、ブロック間の境界領域については急激な効果の切り替わりが画像中で目立たないように隣接ブロック同士にオーバーラップ領域を持たせた上で、加重加算するようにしてもよい。

以上説明したように、第３の実施形態によれば、撮像装置１００は、算出した消失点座標に基づいて補正強度マップを生成し、消失点からの距離に応じた補正強度で各種の補正処理を行う。その際に、撮像装置１００は、消失点に近い領域ほど明るさやコントラストなどの補正効果を上げるように、距離別補正処理を実施する。これにより、処理負荷の増大を抑えながら撮像した画像の視認性を向上させることが可能となる。

なお、本実施形態では、補正処理として明るさやコントラストを補正する構成について述べたが、これに限らず、色相や彩度などを変更するようにしてもよい。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…撮像装置、１０１…光学系、１０２、撮像部、１０３…Ａ／Ｄ変換部、１０４…画像処理部、１０５…制御部、１０６…表示部、１０７…記録部

Claims (18)

1. 画像から線分を検出する線分検出手段と、
   前記画像の奥行き方向の距離を示す距離情報を取得する取得手段と、
   前記線分検出手段により検出された線分から、消失点検出用の線分を選択する選択手段と、
   前記消失点検出用の線分に基づき、前記画像の消失点を検出する消失点検出手段と、
   を備え、
   前記取得手段は、前記距離情報により示される距離の信頼度を示す信頼度情報を取得し、
   前記選択手段は、前記線分検出手段により検出された各線分について、
   前記距離情報により示される距離のうち前記信頼度が第４の閾値以上である距離に基づいて、前記距離が前記線分に沿って単調変化傾向にあるか否かを判定し、
   前記距離情報により示される距離が前記線分に沿って単調変化傾向にある場合に前記線分を選択する
   ことを特徴とする画像処理装置。
2. 前記選択手段は、前記線分において第１の閾値以上の長さを持つ単調増加区間又は単調減少区間が存在する場合に、前記距離が前記線分に沿って単調変化傾向にあると判定し、
   前記単調増加区間は、前記線分の複数の位置に対応する前記距離が前記線分に沿って連続的に増加する区間であり、
   前記単調減少区間は、前記線分の複数の位置に対応する前記距離が前記線分に沿って連続的に減少する区間である
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記選択手段は、前記線分において第１の閾値以上の長さを持つ単調増加区間又は単調減少区間が存在する場合に、前記距離が前記線分に沿って単調変化傾向にあると判定し、
   前記単調増加区間は、前記線分の複数の位置に対応する前記距離が前記線分に沿って減少する部分が存在せず、かつ、前記距離が不変である部分の長さが第２の閾値以下の区間であり、
   前記単調減少区間は、前記線分の複数の位置に対応する前記距離が前記線分に沿って増加する部分が存在せず、かつ、前記距離が不変である部分の長さが第３の閾値以下の区間である
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記第１の閾値は、前記線分の長さに基づき、前記線分が第１の長さである場合よりも、前記線分が前記第１の長さよりも長い第２の長さである場合の方が大きい
   ことを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記消失点検出手段は、前記消失点検出用の線分を含む直線の交点を前記消失点として検出する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記消失点検出手段により検出された前記消失点を構成する前記消失点検出用の線分の数に基づいて、前記消失点の信頼度を決定する決定手段を更に備える
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記決定手段は、前記消失点を構成する前記消失点検出用の線分が前記消失点から第５の閾値以下の距離に到達している場合、前記消失点に対応する前記距離情報により示される距離に更に基づいて前記消失点の信頼度を決定する
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記消失点検出用の線分を含む直線の交点が複数存在する場合、前記消失点検出手段は、最も多くの直線が通過する交点を前記消失点として検出する
   ことを特徴とする請求項５乃至７のいずれか１項に記載の画像処理装置。
9. 前記画像に対して、領域毎に前記消失点からの距離に応じた補正強度で補正処理を行う補正手段を更に備える
   ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記補正処理は、前記画像の明るさ、コントラスト、色相、及び彩度のうちの少なくとも１つを補正する処理を含む
    ことを特徴とする請求項９に記載の画像処理装置。
11. 請求項１乃至１０のいずれか１項に記載の画像処理装置と、
    前記画像を生成する撮像手段と、
    を備えることを特徴とする撮像装置。
12. 画像からエッジ信号を検出するエッジ検出手段と、
    前記検出されたエッジ信号のうち、所定の条件を満たすエッジ信号を選択するエッジ選択手段と、
    を更に備え、
    前記線分検出手段は、前記選択されたエッジ信号から線分を検出し、
    前記所定の条件は、対象のエッジ信号の周辺領域の各画素におけるエッジ信号の有無が所定の１以上のパターンのうちの少なくとも１つに該当するという条件である
    ことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
13. 前記エッジ選択手段は、前記所定の１以上のパターンとして、前記対象のエッジ信号の前記画像における領域に応じて異なるパターンを使用する
    ことを特徴とする請求項１２に記載の画像処理装置。
14. 前記検出された線分のうち、前記画像の右側領域に存在し左上がりの傾きを持つ線分と、前記画像の左側領域に存在し右上がりの傾きを持つ線分とを、消失点検出用の線分として選択する線分選択手段を更に備え、
    前記消失点検出手段は、前記消失点検出用の線分に基づき、前記画像の消失点を検出する
    ことを特徴とする請求項１２又は１３に記載の画像処理装置。
15. 請求項１２乃至１４のいずれか１項に記載の画像処理装置と、
    前記画像を生成する撮像手段と、
    を備えることを特徴とする撮像装置。
16. 前記画像が生成された時の前記撮像装置の動きを示す動き情報を取得する取得手段を更に備え、
    前記動き情報が前記撮像装置を搭載した車両の前進を示す場合、前記エッジ選択手段は、前記所定の１以上のパターンとして、前記対象のエッジ信号の前記画像における領域が前記画像の左側領域であるか右側領域であるかに応じて異なるパターンを使用する
    ことを特徴とする請求項１５に記載の撮像装置。
17. 画像処理装置が実行する画像処理方法であって、
    画像から線分を検出する線分検出工程と、
    前記画像の奥行き方向の距離を示す距離情報を取得する取得工程と、
    前記線分検出工程により検出された線分から、消失点検出用の線分を選択する選択工程と、
    前記消失点検出用の線分に基づき、前記画像の消失点を検出する消失点検出工程と、
    を備え、
    前記取得工程では、前記距離情報により示される距離の信頼度を示す信頼度情報を取得し、
    前記選択工程では、前記線分検出工程により検出された各線分について、
    前記距離情報により示される距離のうち前記信頼度が第４の閾値以上である距離に基づいて、前記距離が前記線分に沿って単調変化傾向にあるか否かを判定し、
    前記距離情報により示される距離が前記線分に沿って単調変化傾向にある場合に前記線分を選択する
    ことを特徴とする画像処理方法。
18. コンピュータを、請求項１乃至１０及び１２乃至１４のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images