JP6967464B2 - 画像処理装置 - Google Patents

Description

本発明は、画像処理装置に関する。

本技術分野の背景技術として、特許文献１がある。この公報には、課題として「本発明は、画像認識装置に係り、ローリングシャッタ方式で同じ対象を撮影する一対の撮像手段間の光軸ズレに伴う対象の誤検出を防止することにある。」と記載され、解決手段として、「それぞれローリングシャッタ方式の撮像センサを用いて同じ対象を撮影する第１及び第２の撮像手段と、第１の撮像手段から得られる画像情報と第２の撮像手段から得られる画像情報とに基づいて、対象の視差又は位置を検出する対象検出手段と、第１の撮像手段と第２の撮像手段との光軸ズレ量に応じて、該第１の撮像手段及び該第２の撮像手段において読み出しを行うラインの範囲を変更する読出範囲変更手段と、を備える。」と記載されている（要約参照）。

また、従来、広角レンズを有するカメラが知られている。例えば、特許文献２には、広角レンズ（いわゆる、魚眼レンズ）を有する撮像装置が開示されている。

特開2012-227773号公報

特開2004-354572号公報

従来、ローリングシャッタ方式を用いたステレオカメラの同期調整方法について、光軸ずれを考慮して同期信号を生成する試みが行われている。しかし、図８に示すようなひずみの大きいレンズを使用した場合の同期信号の生成は考慮されていない。

本発明の目的は、ひずみが大きいレンズを使用した場合でも、対象物を精度よく検出することができる画像処理装置を提供することにある。

上記目的を達成するために、本発明は、第１の同期信号に合わせて第１の画像を撮像する第１の撮像部と、第２の同期信号に合わせて第２の画像を撮像する第２の撮像部と、注目する領域を示す注目エリアを設定する注目エリア設定部と、前記第１の画像の前記注目エリアと前記注目エリアに対応する前記第２の画像の領域において前記第１の撮像部と前記第２の撮像部の撮像タイミングを合わせるように前記第１の同期信号と前記第２の同期信号の位相差を設定する位相差設定部と、前記位相差に基づいて前記第１の同期信号と前記第２の同期信号を生成する同期信号生成部と、所定強度以上の自車の上下の揺れを検出するシーン判定部と、を備える画像処理装置であって、前記注目エリア設定部は、所定強度以上の自車の上下の揺れが検出された場合に、前記第１の画像の中央部と前記第１の画像の周辺部を所定の時間比率で切り替えて、前記注目エリアに設定する。

本発明によれば、ひずみが大きいレンズを使用した場合でも、対象物を精度よく検出することができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

第１の実施形態による画像処理装置の構成図である。 第２の実施形態による画像処理装置の構成図である。 第３の実施形態による画像処理装置の構成図である。 第４の実施形態による画像処理装置の構成図である。 第５の実施形態による画像処理装置の構成図である。 位相差の概念図である。 ステレオカメラの原理を示した図である。 ひずみの大きいレンズの歪みを示す図である。

以下、添付図面を参照して本発明の実施形態について説明する。なお、添付図面は本発明の原理に則った具体的な実施形態を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。

（第１の実施形態）
近年、ステレオカメラなど複数の撮像部（カメラ）を用いて歩行者や車両などの移動体を検出する移動体検出装置が実用化されている。ステレオカメラとは、同時刻に撮像された複数の画像上における同一対象物（立体物）の位置ずれ（視差）を、テンプレートマッチングにより算出し、算出した視差をもとに対象物（立体物）の実空間上の位置を、周知の変換式により算出する装置である。

このステレオカメラは、２台の撮像部で撮像した一対の画像を用いて、歩行者などの対象物の距離を算出し、対象物の認識を行なうものであり、不審者の侵入や異常を検知する監視システムや車の安全走行を支援する車載システムなどに適用することができる。

上述の監視システムや車載システムで利用されるステレオカメラは、位置間隔をあけて撮像された一対の画像に対して三角測量技術を適用して距離を求めるというものであり、少なくとも２つの撮像部と、これらの撮像部で撮像された２つの撮像画像に対して三角測量処理を行う画像処理部であるステレオ画像処理ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）と、を備えているのが一般的である。

この画像処理部であるステレオ画像処理ＬＳＩ は、一対の画像に含まれる画素情報を重ね合わせて２つの画像の一致した位置のずれ量（視差）を求めるという処理を行なうことによって、三角測量処理を実現する。そのため、一対の画像間には視差以外のずれが存在しないことが理想的であり、各々の撮像部ごとに、光学特性や信号特性のずれがないよう調整するか、カメラ間の位置関係などを求めておく必要がある。

図７は、ステレオカメラの一般的な原理を示した図である。図７において、δは視差、Ｚ は計測距離（レンズから計測点までに距離）、ｆ は焦点距離（撮像面からレンズまでの距離）、ｂ は基線長（２つの撮像素子間の長さ）をそれぞれ表し、これらの間には次式（１）で示すような関係が成り立つ。

図１は、本発明の第１の実施形態におけるステレオカメラである画像処理装置１の全体の構成を示す。第１の撮像部であるカメラ１００と第２の撮像部であるカメラ１０１を備え、ステレオでの距離計測が可能な構成である。

カメラ１００、カメラ１０１は一例としてＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを使用したものであり、同期信号に基づいて駆動する。すなわち、カメラ１００（第１の撮像部）は、同期信号Ｓｉｇ１（第１の同期信号）に合わせて画像（第１の画像）を撮像し、カメラ１０１（第２の撮像部）は、同期信号Ｓｉｇ２（第２の同期信号）に合わせて画像（第２の画像）を撮像する。動作方式は、走査ライン毎に時間をずらして順次シャッタ動作が行われるローリングシャッタ方式であり、この方式により画素信号の読み出しが行われる。

同期信号生成部１０２は、前記カメラ１００および１０１が同じ時刻のシーンを撮影するように撮影のタイミングを同期するための信号である同期信号を生成する。距離の測定は前述の通り、左右の画像の見え方のずれで測定するため、同時刻の画像を撮影することが前提である。そこで、左右の撮影タイミングが同じになるような信号を生成し、その信号を前記カメラ１００および１０１に出力する。

画像処理部１０３は、カメラ１００、カメラ１０１の画像のレンズによる歪みが平行になるように画像処理（補正）する幾何変換部１０３１と、相関値演算部１０３２と、注目エリア設定部１０３３と、位相差設定部１０３４を備える。

幾何変換部１０３１は、画素毎の読出し位置テーブルをあらかじめ用意しておき、画素毎の読出し位置テーブルにしたがって画像を再構成する方法や、水平移動、垂直移動、拡大縮小、回転、せん断計算を組み合わせて計算する方法などを用いて画像の歪みを補正する。

相関値演算部１０３２は、幾何変換部１０３１で変換された２つの画像から、相関が高い位置を水平方向に探索して、その位置を特定する演算を行う（ステレオマッチング）。ステレオカメラのカメラ１００の探索開始位置とカメラ１０１での相関が最も高い位置の差が視差δとなる。

ここで、物体の距離が近いと視差δは大きくなり、物体の距離が遠いと視差δは小さくなる。本実施形態における相関値の算出方法は、差分絶対値和ＳＡＤ（Sum of Absolute Difference ）を用いるが、本発明はこれに限定されるものではない。相関値の算出には数画素を１ブロックとしてブロックごとに比較を行い、相関値の指標である差分絶対値和ＳＡＤが最も小さくなったところを相関値が高いとする。

画像処理部１０３は、画素毎に算出された中央付近（中央部）と周辺付近（周辺部）の相関値の平均を取る。同期信号生成部１０２には、左右の同期信号のずれ量Δｔが入力される。同期信号生成部１０２は、同期信号のずれ量Δｔによって、左右の同期信号をずらす。すなわち、同期信号生成部１０２は、ずれ量Δｔ（位相差）に基づいて同期信号Ｓｉｇ１（第１の同期信号）と同期信号Ｓｉｇ２（第２の同期信号）を生成する。

画像処理部１０３は、同期信号生成部１０２に一定量のずれ量Δｔを複数回与え、相関値の平均値を中央付近と周辺付近で別々に算出する。そして、Δｔを変えて（Δｔ１、Δｔ２、…、Δｔｎ）、中央付近と周辺付近のそれぞれについて相関値の平均値の算出を繰り返す。中央付近と周辺それぞれの相関値の平均値が最大となる点Δｔが同一の場合、そのずれ量Δｔを設定する。中央付近と周辺の相関値の平均値の最大となる点が異なる場合（例えば、中央付近：Δｔ１、周辺：Δｔ２）は、どちらか一方に合わせるか、どちらの相関値の平均値が同程度になるようにする。

以上により、周辺付近と中央付近で全体に相関値がよく取れないことがあっても、どちらか一方もしくは両方の平均程度にあわせることができる。たとえば中央付近をより重点的に見たい場合は中央に、周辺を見たい場合には周辺に合わせることで、状況によって精度のいい距離測定を行うことができる。

換言すれば、画像処理部１０３は、注目する領域を示す注目エリアを設定する注目エリア設定部１０３３として機能する。本実施例では、注目エリアは周辺付近と中央付近のどちらか一方もしくは両方である。また、画像処理部１０３は、カメラ１００（第１の撮像部）で撮像される画像（第１の画像）の注目エリアとこの注目エリアに対応するカメラ１０１（第２の撮像部）によって撮像される画像（第２の画像）の領域においてカメラ１００とカメラ１０１の撮像タイミングを合わせるような同期信号Ｓｉｇ１（第１の同期信号）と同期信号Ｓｉｇ２（第２の同期信号）のずれ量Δｔ（位相差）を設定する位相差設定部１０３４として機能する。

なお、明るさセンサ等により周辺環境について所定の明るさが検出された場合に、注目エリア設定部１０３３は、中央部と周辺部の間の中間部を注目エリアに設定してもよい。ＣＭＯＳセンサ（カメラ１００とカメラ１０１）の電子シャッタの速度が速いときはＳＣＡＮ速度が速いため同期ずれは小さくなる。

（第２の実施形態）
図２に示すように、本発明の第２の実施形態のステレオカメラ（画像処理装置１）は、第１の実施形態と比較して、注目エリア設定部２０１と位相差設定部１０４を画像処理部１０３Ａと別に備える。また、注目エリア設定部２０１は、優先順位データベース２０１１（優先順位ＤＢ）を備える。なお、本実施形態の画像処理部１０３Ａは、一例として、幾何変換部１０３１と相関値演算部１０３２から構成される。

注目エリア設定部２０１は、画像処理によって歩行者や車の位置と距離を特定する。これらの対象物に優先度をつけ、優先度の高いものに対して注目エリアを設定する。すなわち、優先順位データベース２０１１は、例えば、対象物とその優先度を記憶する。優先度のつけ方として、例えば、自分の車両に近いもの、歩行者、進行路上に位置していて、かつ、短い時間で衝突する可能性のあるものに高い優先度をつける。

これにより、車両の制御に重要なものを優先して精度のいい距離測定ができるため、自車の制御を安定化することができる
換言すれば、注目エリア設定部２０１は、状況に応じて注目エリアを設定する。注目エリアとして、歩行者の領域が選択された場合、首元ありのもっとも細く写る部分にエリアを設定して位相差（同期信号のずれ量Δｔ）をその部分にあうようにすると、歩行者のシルエットである頭頂部を安定して検出することができる。すなわち、注目エリア設定部２０１は、対象物として歩行者が検出された場合に、歩行者の頭部の位置でカメラ１００（第１の撮像部）とカメラ１０１（第２の撮像部）の撮像タイミングを合わせるような同期信号のずれ量Δｔ（位相差）を設定する。

なお、注目エリア設定部２０１は、所定の優先度が付された対象物が検出された場合に、所定の優先度が付された対象物が検出された領域を注目エリアに設定してもよい。所定の優先度とは、例えば、所定の優先度以上のもの、最も優先度の高いもの等をいう。

また、位相差設定部１０４は、注目エリア設定部２０１によって設定された注目エリアＡ＿ｔｒｇに対して、カメラ１００（第１の撮像部）で撮像される画像（第１の画像）の注目エリアＡ＿ｔｒｇとこの注目エリアＡ＿ｔｒｇに対応するカメラ１０１（第２の撮像部）によって撮像される画像（第２の画像）の領域においてカメラ１００とカメラ１０１の撮像タイミングを合わせるような同期信号Ｓｉｇ１（第１の同期信号）と同期信号Ｓｉｇ２（第２の同期信号）のずれ量Δｔ（位相差）を設定する。

なお、注目エリア設定部２０１、対象物の大きさに応じて注目エリアの大きさを変えてもよい。例えば、注目エリア設定部２０１は、対象物の全体が含まれるように注目エリアを設定する。これにより、対象物の距離を精度よく算出することができる。

（第３の実施形態）
図３に示すように、本発明の第３の実施形態のステレオカメラ（画像処理装置１）は、第２の実施形態の構成要素に加え、車速センサ３０１を備える。車速センサ３０１は注目エリア設定部２０１に接続されている。なお、本実施形態の注目エリア設定部２０１Ａは、第２の実施形態の優先順位データベース２０１１を有していない。

車速が速いときは中央付近のみを監視すればよいので、注目エリア設定部２０１は中央部分に同期が合うようにエリアを設定する。逆に、車速が遅いときは周辺を広く監視しなければいけないので周辺に同期があうように位相差（同期信号のずれ量Δｔ）を生成する。すなわち、注目エリア設定部２０１Ａは、自車速に応じて注目エリアを設定する。

詳細には、注目エリア設定部２０１Ａは、自車速が所定速度以上となる高速走行の場合に、画像（第１の画像）においてカメラ１００（第１の撮像部）の光軸中心付近（又は消失点付近）を注目エリアに設定し、自車速が所定速度未満となる低速走行の場合に、画像（第１の画像）の周辺部を注目エリアに設定する。なお、本実施形態では、カメラ１００（第１の撮像部）によって撮像される画像（第１の画像）を基準画像とするが、カメラ１０１（第２の撮像部）によって撮像される画像（第２の画像）を基準画像としてもよい。

これにより、例え一意に最適な同期量を決定できなくても、車両制御に必要なエリアを幅広く且つ必要十分にカバーすることができる。図６に車速によって同期位置をずらしたときの同期信号の概念図を示す。車速が速いときと遅いときで同期信号のずれ量Δｔ（位相差）を可変にしている様子を表している。図６の例では、車速が速いときの同期信号のずれ量Δｔ１は車速が遅いときの同期信号のずれ量Δｔ２よりも大きい。すなわち、同期信号のずれ量Δｔは、車速が早くなるにつれて大きくなる。

（第４の実施形態）
図４に示すように、本発明の第４の実施形態のステレオカメラ（画像処理装置１）は、第３の実施形態の構成要素に加えて、幾何補正量算出部４０１を備える。幾何補正量算出部４０１は、注目エリアＡ＿ｔｒｇについてカメラ１００（第１の撮像部）によって撮像される画像（第１の画像）に対するカメラ１０１（第２の撮像部）によって撮像される画像（第２の画像）の幾何補正量ΔＹ（ｉ）（垂直方向のずれ）を算出する。詳細には、幾何補正量ΔＹ（ｉ）は、画像のライン（ｉ）ごとに算出される。

位相差設定部１０４Ａは、左右のカメラのラインごとの幾何補正量ΔＹ（ｉ）から時間的なずれ量を算出し、同期の位相差（同期信号のずれ量Δｔ）として同期信号生成部１０２に入力する。すなわち、位相差設定部１０４Ａは、幾何補正量ΔＹ（ｉ）に応じて同期信号のずれ量Δｔ（位相差）を設定する。

各カメラ１００、１０１は製造時のばらつきによって異なるひずみ量をもつ。したがって各カメラの幾何補正量ΔＹ（ｉ）（キャリブレーションデータ）をあらかじめ持っておき、注目位置（注目エリアＡ＿ｔｒｇ）によってどの程度補正すべきかを算出することができる。

これにより、特性の異なる複数台のカメラを組み合わせても、精度のよい位相差（同期信号のずれ量Δｔ）を算出することができる。

（第５の実施形態）
図５に示すように、本発明の第５の実施形態のステレオカメラ（画像処理装置１）は、第４の実施形態の構成に加えて、シーン判定部５０１を備える。シーン判定部５０１は、ＧＰＳの地図情報や画像の解析情報により注目エリアＡ＿ｔｒｇを限定する情報Ａ＿ｔｒｇ＿ｌｍｔを算出する。

ＧＰＳ情報で交差点と検知されたときは、交差点の危険箇所を重点的に測定できるように位相差を調整する。すなわち、シーン判定部５０１は、ＧＰＳ情報から交差点の危険箇所を検出し、注目エリアＡ＿ｔｒｇを限定する情報Ａ＿ｔｒｇ＿ｌｍｔとしてその情報を出力する。幾何補正量算出部４０１は、注目エリアＡ＿ｔｒｇのうち交差点の危険箇所について幾何補正量ΔＹ（ｉ）を算出する。

また、画像の輝度やエッジの状況を解析して、輝度パターンがとれず（例えば、真っ黒、濃淡がない等）、距離算出が困難であると判定された場合、その領域を除いた位置で、重要なエリアに対して同期を合わせるように位相差（同期信号のずれ量Δｔ）を算出する。すなわち、シーン判定部５０１は、視差の計算ができない領域を検出し、注目エリアＡ＿ｔｒｇを限定する情報Ａ＿ｔｒｇ＿ｌｍｔとしてその情報を出力する。幾何補正量算出部４０１は、視差の計算ができない領域が検出された場合、注目エリアＡ＿ｔｒｇのうち視差の計算ができない領域を除く領域について幾何補正量ΔＹ（ｉ）を算出する。

これにより、視差計算が安定的に計算できる場所に対して、優先的に正しく視差を算出することができるようになる。距離が安定的に検出できそうもないエリアに同期信号をあわせても、距離が算出できなければ無駄になってしまうため、本方式は効率がよい。

なお、シーン判定部５０１は、自車速Ｖの変化率等から緊急ブレーキ状態を検出し、注目エリア設定部２０１Ａは、緊急ブレーキ状態が検出された場合に、注目エリアＡ＿ｔｒｇを固定して幾何補正量ΔＹ（ｉ）を算出するようにしてもよい。これにより、画像が意図せず乱れないようにすることができる。

また、シーン判定部５０１は、加速度センサ等により所定強度以上の自車の上下の揺れを検出し、注目エリア設定部２０１Ａは、所定強度以上の自車の上下の揺れが検出された場合に、カメラ１００（第１の撮像部）で撮像される画像（第１の画像）の中央部と画像（第１の画像）の周辺部を所定の時間比率で切り替えて、前記注目エリアに設定する。所定の時間比率が１：１の場合、中央部と周辺部を交互に切り替えることになる。ピッチング（上下の揺れ）が大きいときは影響をとても大きく受けるため、一意に定められないため切り替えて対応する。

以上説明したように、本実施形態によれば、ひずみが大きいレンズを使用した場合でも、対象物を精度よく検出することができる。

なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上述した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD（Solid State Drive）等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。

なお、本発明の実施形態は、以下の態様であってもよい。

（１）．複数の撮像部を備え、各撮像部の同期制御を行う同期制御部と、各撮像部への同期信号の位相差を設定する位相差設定部と、
注目領域を決定する注目エリア設定部とを備え、注目エリア設定部のエリアにしたがって位相差設定部が位相値を可変する画像処理装置。

（２）．（１）に記載の画像処理装置であって、各撮像部の幾何補正量を算出する幾何補正量算出部を備え、注目エリアに撮像のタイミングが合うような位相差を算出することを特徴とする画像処理装置。

（３）．（１）又は（２）に記載の画像処理装置であって、自車速検出部を備え,
同期信号制御部が自車速に応じて位相差の調整位置を切り替えることを特徴とする画像処理装置。

（４）．（１）又は（２）に記載の画像処理装置であって、前記注目エリア決定部は車速センサ情報により、高速走行時は、撮像部の光軸中心付近を設定し、低速時は周辺部を設定する。注目エリア決定部は、シーン判断部が進行路上の制御対象物を検出した場合は、制御対象領域を設定する。注目エリア決定部は、シーン判断部が緊急ブレーキ状態のときは設定領域を固定にして画像が意図せず乱れないようにする。

（５）．（１）〜（４）のいずれかに記載の画像処理装置であって、注目エリア決定部が、歩行者を注目しているときには、頭部の位置に同期する位相値を設定することを特徴とする画像処理装置。

（６）．（１）〜（４）のいずれかに記載の画像処理装置であって、視差計算可能性判定部を備え、視差計算可能性判定部が視差計算困難と判定した領域には位相差をあわせないようにすることを特徴とする画像処理装置。

（７）．（１）〜（６）のいずれかに記載の画像処理装置であって、自車速検出部と、撮像部の姿勢変化を検出する姿勢変化検出部と、同期信号制御部が姿勢変化検出部の結果に応じて時分割制御に切り替えることを特徴とする画像処理装置。

（８）．（１）〜（７）のいずれかに記載の画像処理装置であって、注目エリア決定部が、画面の任意のエリアを、任意の周期タイミングで切り替えることを特徴とする画像処理装置。

上記（１）〜（８）によれば、撮像装置（撮像部）で撮像した画像に関して、その画像に含まれる画質が劣化した部分の影響を小さくすることができる。

１００、１０１…カメラ
１０２…同期信号生成部
１０３、１０３Ａ…画像処理部
１０４、１０４Ａ…位相差設定部
２０１、２０１Ａ…注目エリア設定部
３０１…車速センサ
４０１…幾何補正量算出部
５０１…シーン判定部
１０３１…幾何変換部
１０３２…相関値演算部
１０３３…注目エリア設定部
１０３４…位相差設定部
２０１１…優先順位データベース

Claims (4)

1. 第１の同期信号に合わせて第１の画像を撮像する第１の撮像部と、
   第２の同期信号に合わせて第２の画像を撮像する第２の撮像部と、
   注目する領域を示す注目エリアを設定する注目エリア設定部と、
   前記第１の画像の前記注目エリアと前記注目エリアに対応する前記第２の画像の領域において前記第１の撮像部と前記第２の撮像部の撮像タイミングを合わせるように前記第１の同期信号と前記第２の同期信号の位相差を設定する位相差設定部と、
   前記位相差に基づいて前記第１の同期信号と前記第２の同期信号を生成する同期信号生成部と、
   所定強度以上の自車の上下の揺れを検出するシーン判定部と、を備える画像処理装置であって、
   前記注目エリア設定部は、所定強度以上の自車の上下の揺れが検出された場合に、前記第１の画像の中央部と前記第１の画像の周辺部を所定の時間比率で切り替えて、前記注目エリアに設定することを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記注目エリア設定部は、
   状況に応じて前記注目エリアを設定する
   ことを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置であって、
   前記注目エリアについて前記第１の画像に対する前記第２の画像のラインごとの垂直方向のずれである幾何補正量を算出する幾何補正量算出部を備え、
   前記位相差設定部は、
   前記幾何補正量から時間的なずれ量である位相差を算出する
   ことを特徴とする画像処理装置。
4. 請求項３のいずれかに記載の画像処理装置であって、
   前記シーン判定部は、
   視差の計算ができない領域を検出し、
   前記幾何補正量算出部は、
   視差の計算ができない領域が検出された場合、前記注目エリアのうち視差の計算ができない領域を除く領域について前記幾何補正量を算出する
   画像処理装置。

Images