JP5891751B2 - 画像間差分装置および画像間差分方法 - Google Patents

Description

本発明は、２つの画像間の差分を算出する画像間差分技術に関する。

画像間差分は画像処理分野において非常によく用いられる方法である。例えば、特許文献１の技術では、撮影範囲が部分的に重複する複数台の撮像装置によって撮像された画像を仮想視点から見た鳥瞰図画像に変換し、それぞれの鳥瞰図画像間の差分を求めることにより、障害物を検出する技術にも用いられている。また、特許文献２の技術では、背景のみが撮影された背景画像と、背景と移動体とが撮影された画像との差分画像を２値化し、時系列に沿ったこの２値化画像に基づいて移動体の動きを検出している。

特開２００８−０４８３１７号公報 特開２００６−０５９２５２号公報

このような技術をはじめとして、画像処理においては、高精度に移動体や障害物を検出するためには、外乱の影響等を受けにくいロバストな画像間差分技術が求められている。しかしながら、上述の特許文献では単に画素値間の差分を行っているだけで、画像間差分におけるロバスト性の向上には言及していない。

本発明は上記課題に鑑みてなされたものであり、その目的は、外乱の影響を受け難いロバストな画像間差分技術を提供することである。

上記課題を解決するため、本発明の画像間差分装置は、画像を構成する各々の画素の画素位置における画素値の勾配方向を求める勾配方向算出部と、各々の前記画素を対象画素として設定するとともに、当該対象画素の周囲に所定の大きさの領域をヒストグラム算出領域として設定し、当該ヒストグラム算出領域に含まれる前記画素の画素位置における前記勾配方向の度数分布を当該対象画素の画素位置におけるヒストグラムとして生成するヒストグラム生成部と、第１の前記画像の差分対象となる前記画素の画素位置における第１の前記ヒストグラムと、第２の前記画像の比較対象となる前記画素の画素位置における第２の前記ヒストグラムと、の差分値を当該差分対象となる画素と当該比較対象となる画素との画素差分値として算出する画素差分部と、前記差分対象となる画素の画素位置における画素値を前記画素差分値に基づいて設定することにより差分画像を生成する画像差分部と、を備えている。

この構成では、画像間差分を算出する際の特徴量として、画素位置における画素値の勾配方向のヒストグラム（以下、ＨＯＧ（Histgrams of Oriented Gradients）と称する）を用いている。このＨＯＧは、注目する画素を含む所定の大きさの領域に含まれる画素の画素位置における画素値の勾配方向の度数分布を表している。画素値の勾配方向とは、ある画素の画素値とその画素に隣接する画素の画素値との関係を示すものである。そのため、例えば、ある画像と、その画像全体の輝度を明るくした画像とでは、上述のＨＯＧは略同一となる。したがって、ＨＯＧを特徴量とすることにより、画素値変化等に対してロバストな画像間差分を行うことができる。

本発明の画像間差分装置の好適な実施形態の一つでは、第１のカメラと、当該第１のカメラの撮影範囲と部分的に重複する撮影範囲を有する第２のカメラと、により撮影された撮影画像を取得する画像取得部と、前記第２のカメラにより撮影された前記撮影画像を前記第１のカメラの視点位置から撮影された画像に視点変換した視点変換画像を生成する視点変換部と、を備え、前記第１の画像が前記第１のカメラにより撮影された前記撮影画像であり、前記第２の画像が前記視点変換画像である。

この構成では、視点変換を施されていない画像と、視点変換を施されている画像との間で画像間差分が行われる。視点変換を行う場合には画素値の補間処理等が行われるため、そのような処理を施された画素周辺では、画像の歪等が生じる。そのため、単に輝度値等に基づいた画像間差分を行うと、そのような歪を生じた箇所では正確な差分値が得られ難く、誤検出等の原因となる。これに対して、本発明では、上述したようにＨＯＧを特徴量として用いているため、そのような歪が生じた場合でも、安定した画像間差分を行うことができる。

本発明の画像間差分装置の好適な実施形態の一つでは、前記第１の画像の前記差分対象となる前記画素に対応する前記第２の画像における前記画素の周囲に所定の大きさの領域を設定し、前記画素差分部に対して当該領域に含まれる画素を順次前記比較対象となる画素として設定することにより、前記第１の画像の前記差分対象となる画素と前記第２の画像の前記領域に含まれる各々の画素との前記画素差分値を算出させ、当該各々の画素差分値に基づいて前記差分対象となる画素の画素位置における前記画素差分値を算出する領域差分部を備えている。

この構成では、差分対象となる画素に対する画素差分値を算出する際に、その差分対象となる画素の画素位置におけるＨＯＧと、一の比較対象となる画素の画素位置におけるＨＯＧとだけを比較するのではなく、差分対象となる画素位置におけるＨＯＧと、差分対象となる画素の周囲に設定された領域に含まれる各々の画素の画素位置におけるＨＯＧとに基づいて差分値を算出している。換言すると、画素対画素の比較を行うのではなく、画素対領域の比較により画素差分値を算出している。これにより、２つの画像間で多少の位置ずれ等が生じていても、安定した画像間差分を行うことができる。

上述のように、画素と領域とを比較して差分値を算出すると、演算量の増大により処理速度が低下するため、好ましくない。そのため、本発明の画像間差分装置の好適な実施形態の一つでは、前記領域差分部は、画素差分部によって前記第１の画像の前記差分対象となる画素と前記第２の画像の前記領域に含まれる各々の画素との前記画素差分値を算出する際に、算出された当該差分対象となる画素と当該領域に含まれる前記比較対象となる画素との前記画素差分値が所定の閾値以下であれば、当該差分対象となる画素と当該領域に含まれる前記画素との前記画素差分値の算出を打ち切り、前記差分対象となる画素の画素位置における画素差分値として差異がないことを示す値を設定する。

この構成では、領域差分部が差分対象画素と第２画像において設定された領域に含まれる各々の画素とから各々の画素差分値を算出する際に、算出された画素差分値が閾値以下となった場合に、それ以降の画素差分値の算出を打ち切り、差異がないことを示す値を差分対象画素に対する画素差分値として設定する。これにより、不要な画素差分値の算出を回避することができ、演算量および速度低下を抑制することができる。

単調な風景を撮影したような画像では、勾配方向が得られない（すなわち、無方向）画素が多くなり、そのような画像においてＨＯＧを算出すると無方向の度数が優位となる。本発明の画像間差分装置の好適な実施形態の一つでは、このような画像の特性に鑑みて、前記勾配方向は無方向および複数の有方向を含み、前記画素差分部は、前記第１のヒストグラムの前記無方向の度数と前記第２のヒストグラムの前記無方向の度数との差を算出し、当該差の絶対値が所定の閾値よりも大きい場合には、前記有方向の度数の差を算出せずに、前記第１のヒストグラムと前記第２のヒストグラムとが差異を有することを示す値を前記画素差分値とする。

この構成では、ＨＯＧどうしの差異を算出する際に、最初に無方向の度数どうしの差を算出し、その差の絶対値が閾値よりも大きい場合に、以降の演算を打ち切り、第１のヒストグラムと第２のヒストグラムとが差異を有することを示す値を画素差分値として出力している。これにより、演算量および速度低下を抑制することができる。

また、上記課題を解決するため、本発明の画像間差分方法は、第１の画像の各画素位置における画素値の勾配方向を求めるステップと、第２の画像の各画素位置における画素値の勾配方向を求めるステップと、前記第１の画像を構成する各画素を対象画素とするとともに、当該対象画素の周囲に所定の大きさの領域をヒストグラム算出領域として設定し、当該ヒストグラム算出領域に含まれる当該画素の画素位置における前記勾配方向の度数分布を当該対象画素の画素位置におけるヒストグラムとして生成するステップと、前記第２の画像を構成する各画素を対象画素とするとともに、当該対象画素の周囲に所定の大きさの領域をヒストグラム算出領域として設定し、当該ヒストグラム算出領域に含まれる当該画素の画素位置における前記勾配方向の度数分布を当該対象画素の画素位置におけるヒストグラムとして生成するステップと、前記第１の画像の各画素を差分対象画素とし、当該第１の画像の当該差分対象画素の画素位置における第１のヒストグラムと、前記第２の画像の比較対象となる前記画素の画素位置における第２のヒストグラムと、の差分値を当該差分対象となる画素と当該比較対象となる画素との画素差分値として算出するステップと、前記差分対象となる画素の画素位置における画素値を前記画素差分値に基づいて設定することにより差分画像を生成するステッププと、を備えている。当然ながら、このような画像間差分方法にも、上述した画像間差分装置の付加的特徴を適用することができる。

本発明の画像間差分装置が適用された車両周辺撮影装置を搭載した車両の平面図である。 実施例１における車両周辺撮影装置の機能ブロック図である。 実施例１における車両周辺撮影装置の処理の流れを表すフローチャートである。 実施例１における画像間差分の処理の流れを表すフローチャートである。 フロントカメラの撮影画像と左サイドカメラの撮影画像をフロントカメラの視点位置から撮影した画像に視点変換した視点変換画像の例である。 第１画像と第２画像の視点変換画像との差分画像の例である。 実施例１における表示画像の例である。 実施例２における車両周辺撮影装置の機能ブロック図である。 実施例２における画素差分値の算出の処理の流れを表すフローチャートである。 計算の打ち切りを導入した実施例２における画素差分値の算出の処理の流れを表すフローチャートである。

以下に、図面を用いて本発明の画像間差分装置の実施形態を説明する。本実施形態では、画像間差分装置を車両周辺撮影装置に適用している。図１は本実施形態の車両周辺撮影装置を搭載した車両Ｖの平面図である。本実施形態の車両Ｖは、前方，後方，右方および左方をそれぞれ撮影するフロントカメラＦ，リアカメラＲ，右サイドカメラＳＲ，左サイドカメラＳＬを備えている。なお、特にこれらを区別する必要がない場合は、カメラＣと総称する。

カメラＣは、車両Ｖの周辺の情景、特に、車両Ｖの周囲に存在する立体物である障害物を撮影可能に設置されている。そのため、カメラＣは、その光軸が水平よりも少し下方に向くように設置されている。

また、カメラＣは広角レンズを備えており、隣接するカメラＣの撮影範囲は互いに部分的に重複している。図１には、カメラＣとともにその撮影範囲および撮影範囲が重複する領域（ハッチング部分）を示している。例えば、フロントカメラＦの撮影範囲と右サイドカメラＳＲの撮影範囲とは車両Ｖの右前方において重複している。すなわち、フロントカメラＦおよび右サイドカメラＳＲはいずれも、車両Ｖの右前方を撮影することができる。

なお、フロントカメラＦと右サイドカメラＳＲ、右サイドカメラＳＲとリアカメラＲ、リアカメラＲと左サイドカメラＳＬ、左サイドカメラＳＬとフロントカメラＦのそれぞれの組み合わせが本発明の第１のカメラ（以下、第１カメラと称する）と第２のカメラ（以下、第２カメラと称する）となる。なお、第１カメラと第２カメラとは入れ換えても構わない。

本実施形態では、カメラＣは、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を用いて、毎秒１５〜３０フレームの２次元画像を撮影し、デジタル変換して動画データを出力するデジタルカメラを用いている。

また、図２に示すように、車両Ｖの車内には各種表示を行うディスプレイＤが備えられている。本実施例では、ディスプレイＤは、ナビゲーションシステムのモニタ装置を兼用している。そのため、ディスプレイＤは、表示部Ｄａおよび表示部Ｄａ上に形成されたタッチパネルＤｂを有している。表示部Ｄａは液晶ディスプレイによって構成することができ、タッチパネルＤｂは、表示部Ｄａと共に形成され、指などによる接触位置をロケーションデータとして出力することができる感圧式や静電式の指示入力装置により構成することができる。

図２は、本実施例における車両周辺撮影装置のシステム構成図である。本実施例における車両周辺撮影装置は、ＣＰＵ（central processing unit）を中核としてメモリ、その他の周辺回路と共に構成されたＥＣＵ（electronic control unit）１を備えている。当然ながら、ＣＰＵに代えて、ＤＳＰ（digital signal processor）など、他の論理演算プロセッサや論理回路を中核として構成しても構わない。

カメラＣにより撮影された車両Ｖの周辺の情景はこのＥＣＵ１に入力される。また、ＥＣＵ１は、各種情報やカメラＣによって撮影された撮影画像や撮影画像を処理した画像等を表示部Ｄａに表示したり、運転者がタッチパネルＤｂを操作した情報を取得したりする機能を備えている。

また、ＥＣＵ１は車内ネットワーク（図示せず）を介して種々のシステムやセンサと通信可能に接続されている。車内ネットワークとしてはＣＡＮ（controller area network）を用いることができる。

図に示すように、ＥＣＵ１は、制御部１０と、カメラＣによって撮影された撮影画像を取得する画像取得部１１と、取得した撮影画像に前処理を施す前処理部１２と、撮影画像を任意の視点から撮影された画像に視点変換した視点変換画像を生成する視点変換部１３と、画像間の差分を算出する画像差分部１４と、各カメラＣにより撮影された画像を合成する画像合成部２０と、を備えている。なお、これらの機能部は、ソフトウェアとＣＰＵとが協働することにより実現されているが、ハードウェアを用いて実現しても構わない。

制御部１０は、ＥＣＵ１に構成されている各機能部全体の処理の流れの制御をはじめとして、各種制御を行う。

画像取得部１１は、フロントカメラＦ，リアカメラＲ，右サイドカメラＳＲ，左サイドカメラＳＬのそれぞれから画像を取得する。なお、上述したように、本実施形態のカメラＣは撮影画像としてデジタル動画を出力するものであるため、画像取得部１１はカメラＣから取得した動画から１フレームを抽出して静止画像（以下、画像と略称する）を生成する。このとき、全てのカメラＣの動画から同じタイムフレームを抽出することが望ましい。

前処理部１２は、取得した画像に対して前処理を施す。本実施形態では、前処理として平滑化処理を施しており、これにより、路面のアスファルト等のざらつきによる障害物の誤検出を抑制している。平滑化処理は、Gaussianフィルタ等の公知の方法を用いることができる。また、前処理部１２では必要に応じて他の画像処理を行っても構わない。

視点変換部１３は、画像の視点変換を行い、視点変換画像を生成する。例えば、カメラＣにより撮影された画像を、車両Ｖの上方に鉛直下向きの視点を有する仮想的なカメラから撮影された画像（以下、トップビュー画像と称する）に変換したり、一のカメラＣにより撮影された画像を他のカメラＣの視点位置から撮影された画像に視点変換したりする。後者の場合には、例えば、左サイドカメラＳＬにより撮影された画像をフロントカメラＦの視点位置から撮影された画像に視点変換する。なお、視点変換は、公知の方法を用いることができる。

本発明の画像間差分装置としての画像差分部１４は、２つの画像間の差分を算出し、差分画像を生成する。画像間差分部１４は、画像の各画素位置におけるＨＯＧに基づいて差分を行っている。そのため、画像差分部１４は、画像の各画素位置における画素値の勾配方向を算出する勾配方向算出部１４ａ、画像の各画素位置におけるＨＯＧを算出するヒストグラム生成部１４ｂ、２つの画像の各画素位置におけるＨＯＧに基づいて、その画素位置における差分値を算出する画素差分部１４ｃを備えている。

勾配方向算出部１４ａは、画像を構成する各画素の画素位置における画素値の勾配方向を算出する。なお、本実施形態では、画素値として輝度値を用い、カメラＣがカラーカメラの場合には、前処理部１２において画像をモノクロ変換しておく。例えば、画素位置（ｘ，ｙ）における画素値をｆ（ｘ，ｙ）とすると、画素位置（ｘ，ｙ）におけるｘ方向の変化量ΔｘはΔｘ＝２ｆ（ｘ＋１，ｙ）−２ｆ（ｘ−１，ｙ）、ｙ方向における変化量ΔｙはΔｙ＝２ｆ（ｘ，ｙ＋１）−２ｆ（ｘ，ｙ−１）と表すことができ、勾配角度θはθ＝ｔａｎ―¹（Δｙ／Δｘ）となる。ただし、この算出方法では、実際の勾配方向がθであるかθ＋πであるかが不明である。そのため、本実施形態では、Δｘが正の場合のθ（−π／２＜θ＜π／２）を４段階に符号化した値を勾配方向するとともに、Δｘが負の場合のθ（−π／２≦θ≦π／２）を４段階に符号化した値を勾配方向としている。具体的には、０≦θ＜π／４およびπ／４≦θ＜π／２のそれぞれに対して符号（勾配方向）０，１を割り当て、−π／２＜θ≦−π／４および−π／４＜θ＜０のそれぞれに対して勾配方向６，７を割り当てる。そして、Δｘが負の場合には、（勾配方向＋４）ｍｏｄ８を勾配方向とする。ここで、「ｍｏｄ」は剰余を算出する演算子である。これにより、算出された勾配角度θは８段階の勾配方向に符号化される。なお、ΔｘおよびΔｙがともに０の場合には、無方向（＝８）としている。したがって、本実施形態では、勾配方向は、無方向と、８つの方向（有方向）とのいずれかである。

ヒストグラム生成部１４ｂは、勾配方向算出部１４ａにより算出された勾配方向に基づいて、画像の各画素位置におけるＨＯＧを求める。具体的には、注目画素の周囲に領域（以下、ヒストグラム生成領域と称する）を設定し、そのヒストグラム生成領域に含まれる各画素の画素位置における勾配方向を取得し、勾配方向毎の度数を積算する。この度数分布が注目画素の画素位置におけるＨＯＧとなる。注目画素を走査することにより、画像の各画素位置におけるＨＯＧを求めることができる。なお、本実施形態では、ヒストグラム生成領域は、注目画素を中心とする５×５の大きさとしているが、ヒストグラム生成領域の設定は適宜変更可能である。

画素差分部１４ｃは、第１の画像の差分対象となる画素（以下、差分対象画素と称する）の画素位置におけるＨＯＧと第２の画像の比較対象となる画素（以下、比較対象画素と称する）におけるＨＯＧとに基づいて、差分対象画素と比較対象画素との差分値（以下、画素差分値と称する）を算出する。具体的には、第１の画像の差分対象画素の画素位置におけるＨＯＧと第２の画像の比較対象画素の画素位置におけるＨＯＧとの差異を求めて、その差分対象画素の画素位置における画素差分値とする。なお、本実施例では、差分対象画素の画素位置と比較対象画素の画素位置とは同じである。

ＨＯＧどうしの差異は、各勾配方向における度数の差の絶対値和を用いることができる。すなわち、勾配方向をｉ（＝０〜８）、第１の画像の差分対象画素の画素位置におけるＨＯＧをＨＯＧ１、第２の画像の比較対象画素の画素位置におけるＨＯＧをＨＯＧ２とし、ＨＯＧの勾配方向ｉの度数をＨＯＧ［ｉ］とすると、差分対象画素の画素位置における画素差分値ｄは、

と表すことができる。

画像差分部１４は、画素差分部１４ｃに対して、画像の各画素を順次差分対象画素として設定することにより、全画素位置における画素差分値を取得し、その画素差分値に応じて設定された画素値を持つ差分画像を生成する。

画像合成部２０は、各カメラＣにより撮影された画像を合成した合成画像を生成する。

以下に、図３のフローチャートを用いて本実施例における車両周辺撮影装置の処理の流れを説明する。なお、以下の説明では、フロントカメラＦを第１カメラ、左サイドカメラＳＬを第２カメラとした場合のみを説明するが、他のカメラＣについても同様の処理が行われる。

本実施形態では、運転者がタッチパネルＤｂを操作して、車両周辺撮影装置の作動を明示的に指示した場合に以下の処理が実行されるが、車両Ｖに搭載されている各種センサ等の出力に基づいて、制御部１０が処理を実行するか否かを判断する構成としても構わない。

まず、運転者がタッチパネルＤｂを操作して、車両周辺撮影装置の作動を指示すると、その指示は制御部１０により取得され、指示を取得した制御部１０は、画像取得部１１に対して画像を取得する旨の指示を送る。これに対して、画像取得部１１は第１カメラおよび第２カメラから画像を取得する（＃０１）。以下、これらの画像をそれぞれ主撮影画像および副撮影画像と称する。取得された主撮影画像および副撮影画像はメモリ（図示せず）に記憶される。

画像の取得が完了すると、制御部１０は、視点変換部１３に対して、副撮影画像を主カメラの視点から撮影した画像に視点変換するよう指示を送る。これに対して、視点変換部１３は、公知の方法により、副撮影画像から視点変換画像を生成する（＃０２）。生成された視点変換画像は、メモリに記憶される。なお、各カメラＣの視点位置（車両座標系中におけるカメラ原点の座標および光軸方向）または、視点変換のための変換テーブルは予めメモリ等に記録されており、視点変換処理に用いられる。

視点変換画像の生成が完了すると、制御部１０は、画像差分部１４に対して、主撮影画像と視点変換画像との差分を算出するように指示を送る。これに対して、画像差分部１４は主撮影画像と視点変換画像との差分画像を生成し、メモリに記憶させる（＃０３）。

図４は本実施形態における画像間差分の処理の流れを表すフローチャートである。ここでは、画像間差分を行う２つの画像を第１画像および第２画像と称し、本実施形態では主撮影画像が第１画像であり、視点変換画像が第２画像である。まず、勾配方向算出部１４ａは、上述の方法により、第１画像および第２画像の各画素位置における輝度値の勾配方向を算出し、２次元配列形式でメモリに記憶する（＃２１，＃２２）。

次に、ヒストグラム生成部１４ｂは、上述の処理により算出した各画素位置における勾配方向を用いて、上述の処理により、第１画像および第２画像の各画素位置におけるＨＯＧを算出する（＃２３，＃２４）。各画素位置におけるＨＯＧは９の要素を持つ１次元配列であるため、算出された全画素位置におけるＨＯＧは３次元配列形式でメモリに記憶される。

画像差分部１４は、第１画像から順次１つの画素を差分対象画素として選択し、画素差分部１４ｃに対して差分対象画素の画素位置における画素差分値を算出するよう指示を送る。

具体的には、まず、画像差分部１４は第１画像から位置の画素を差分対象画素として選択する（＃２５）。選択された差分対象画素の画素位置は画像差分部１４から画素差分部１４ｃ送られる。上述したように、本実施例では差分対象画素の画素位置と比較対象画素の画素位置とは同一であるため、差分対象画素の画素位置を取得した画素差分部１４ｃは、メモリから第１画像の差分対象画素の画素位置におけるＨＯＧと第２画像の差分対象画素の画素位置におけるＨＯＧとを取得し、上述の式（１）により画素差分値ｄを算出する（＃２６）。算出された画素差分値ｄは画像差分部１４に送られる。

画像差分部１４は、メモリ上に画素差分値を記憶するための２次元配列を確保しておき、その２次元配列の差分対象画素の画素位置に対応する位置に取得した画素差分値ｄを記憶させる。これにより、差分画像が生成される。なお、算出された画素差分値ｄをそのまま差分画像の画素値として使用するのではなく、正規化等の処理を施しても構わない。また、算出された画素差分値ｄと所定の閾値とを比較することにより、差分画像を真値と偽値とを有する２値画像としても構わない。この場合、真値を有する画素の画素位置は差異があり、偽値を有する画素の画素位置は差異がないことを示している。

上述の処理が完了すると、画像差分部１４は未処理、すなわち、差分対象画素として選択していない画素の有無を判定し（＃２７）、未処理画素が存在すれば（＃２７のＹｅｓ分岐）、処理を＃２５に移行して上述の処理を繰り返す。

図５（ａ）および（ｂ）に、主撮影画像としてのフロントカメラＦにより撮影された画像と、副撮影画像としての左サイドカメラＳＬにより撮影された画像をフロントカメラＦの視点位置から撮影された画像に視点変換した視点変換画像の例を示す。また、図６は図５（ａ）の画像と図５（ｂ）の画像との差分画像である。なお、図５（ｂ）の視点変換画像は、図５（ａ）と位置合せを行った後、図５（ａ）と重複する部分のみをクリッピングしたものである。図に示すように、主撮影画像および視点変換画像には白線Ｗと障害物Ａとが含まれている。また、図５から明らかなように、主撮影画像中の白線Ｗと視点変換画像中の白線Ｗとは、略同じ位置となっている。したがって、主撮影画像と視点変換画像との画像間差分をとると、図６に示すように、白線Ｗに対応する領域では優位な画素差分値は算出されない。一方、図６に示すように、障害物Ａに対応する領域、特に、障害物Ａの上部に対応する領域では優位な画素差分値が算出される。したがって、差分画像内に優位な画素差分値を有する領域があるか否かを判定すれば、車両Ｖの周辺に障害物が存在するか否かを判定することができる。

この差分画像を運転者に提示することにより、運転者は車両Ｖの周辺に存在する障害物の有無を判断することはできるが、より運転者の判断が容易になるように、本実施形態では、表示部Ｄａにトップビュー画像を表示し、その画像中に障害物を示す指標を重畳表示している。

そのため、差分画像が生成されると、制御部１０は、画像合成部２０に対して、トップビュー画像の生成、および、トップビュー画像に障害物を示す指標を重畳させるよう指示を送る。これに対して、画像合成部２０は、視点変換部１２を用いて、各カメラＣの撮影画像および差分画像をトップビュー画像に視点変換する（＃１０）。なお、差分画像は主撮影画像を基準として生成されたものであるため、主撮影画像と同じ視点変換処理を受ける。

また、画像合成部２０は差分画像から障害物を検出する（＃１１）。上述したように、障害物は差分画像中で優位な画素値を有する領域である。そのため、差分画像に対して２値化および領域分割を施せば、障害物の領域が検出できる。また、差分画像に対してエッジ抽出および２値化を施せば、障害物の輪郭を抽出することができる。画像合成部２０は、このようにして障害物を検出し、上述の処理により合成したトップビュー画像に対して、障害物の位置を示す指標を合成する（＃１２）。このようにして生成された画像はメモリに記憶され、制御部１０の指示によって表示部Ｄａに表示される（＃１３）。

図７は上述の処理によって表示部Ｄａに表示される表示画像の例である。図７（ａ）では、トップビュー画像に対して障害物Ａの輪郭を表す指標Ｅを合成している。一方、図７（ｂ）では、トップビュー画像に対して障害物Ａの路面との接地位置を示す指標Ｅを合成している。なお、この例では、トップビュー画像を合成する際に、フロントカメラＦの撮影範囲と左サイドカメラＳＬの撮影範囲との重複する範囲は双方の画像を合成しているため、障害物Ａの形状は実際の形状とは異なっている。

本実施例における車両周辺撮影装置は、画像差分部１４の処理の流れが実施例１と異なっている。実施例１では、第１画像の差分対象画素と、第２の画像の比較対象画素とのＨＯＧを比較することにより画素差分値を算出した。すなわち、実施例１では画素と画素とを比較することによって画素差分値を算出した。これに対して、本実施例では、画素と領域とを比較することにより画素差分値を算出している。そのため、本実施例における画像差分部１４は、図８の機能ブロック図に示すように領域差分部１４ｄを備えている。

領域差分部１４ｄは、第２画像において差分対象画素の周囲に所定の大きさの領域（以下、比較対象領域と称する）を設定し、画素差分部１４ｃに対して、比較対象領域に含まれる各々の画素を順次比較対象画素として設定することにより、差分対象画素と比較対象領域に含まれる各々の画素との画素差分値を算出する。さらに、領域差分部１４ｄは、これらの画素差分値に基づいて、最終的な差分対象画素に対する画素差分値を算出する。

以下に、本実施例における画像差分部１４の処理の流れを説明する。なお、本実施例における画像差分部１４の全体の処理は実施例１と略同様であり、画素差分値を算出する＃２６の処理が図９のフローチャートの処理に置き換えられる。したがって、ここではこの画素差分値を算出する処理を中心に説明する。

＃２１から＃２５の処理により、第１画像および第２画像の各画素位置におけるＨＯＧが算出され、第１画像中の一の画素が差分対象画素として設定される。このとき、領域差分部１４ｄは、第２画像の差分対象画素の周囲に所定の大きさの比較対象領域を設定する（＃３１）。本実施例では、比較対象領域は差分対象画素を中心とする５×５の領域としている。すなわち、差分対象画素の画素位置を（ｘ，ｙ）とすると比較対象領域は（ｘ−２，ｙ−２）と（ｘ＋２，ｙ＋２）とを結ぶ直線を対角線にもつ矩形領域である。なお、比較対象領域における差分対象画素の位置や比較対象領域の大きさは適宜変更可能である。

次に、領域差分部１４ｄは、比較対象領域に含まれる一の画素を比較対象画素として設定し（＃３２）、画素差分部１４ｃにより、第１画像の差分対象画素と第２画像の比較対象画素との画素差分値を算出する（＃３３）。この処理を、比較対象領域に含まれる全ての画素に対して行う（＃３４のＹｅｓ分岐）。

上記の処理により、比較対象領域に含まれる画素と同数の画素差分値が得られる。本実施例では、２５の画素差分値が得られる。領域差分部１４ｄは、この複数の画素差分値から、差分対象画素に対する最終的な画素差分値を算出する（＃３５）。具体的には、算出された複数の画素差分値の全てが所定の閾値よりも大きければ、真値を差分対象画素に対する画素差分値とし、一つでも所定の閾値以下の画素差分値があれば、偽値を差分対象画素に対する画素差分値ｄとする。

本実施例における画素差分値ｄの算出を数式化すると式（２）のようになる。ここで、ｄ_iは＃３３において算出される各々の画素差分値である。

このように、差分対象画素に対する画素差分値を算出することにより、第２画像中の差分対象画素に対応する画素が位置ずれしていた場合であっても、その画素が比較対象領域に含まれていれば、その差分対象画素に対する画素差分値は偽値となる。したがって、本実施例のようにして差分対象画素に対する画素差分値を算出すれば、位置ずれに対してロバストな画像間差分を行うことができる。

このように、本実施例では一の差分対象画素に対して複数の画素差分値を算出することにより、位置ずれに対するロバスト性を向上させている。しかしながら、比較対象領域を５×５に設定すると、一の差分対象画素に対する画素差分値を求めるための計算コストは、単純計算で実施例１の２５倍となる。このような計算コストの増大は、処理速度の低下やより高速なＣＰＵを必要とするなど、好ましくない状況を招く。そのため、計算コストを低減することによる高速化が必要となる。以下に、高速化手法を説明する。

〔高速化手法１〕
ここでは、計算の打ち切りによる高速化について説明する。図１０は、計算の打ち切り処理を導入した差分対象画素に対する画素差分値の算出処理の流れを表すフローチャートである。なお、＃４１から＃４３の処理は＃３１から＃３３の処理と同様であるため説明は省略する。

差分対象画素と比較対象画素との画素差分値ｄ_iが算出されると（＃４３）、算出された画素差分値ｄ_iと所定の閾値ＴＨとが比較される（＃４３）。このとき、算出された画素差分値ｄ_iが閾値ＴＨ以下の場合には（＃４４のＹｅｓ分岐）、式（２）における論理式（ｄ_i＞ＴＨ）が偽となり、式（２）により算出される画素差分値ｄはそれ以降の画素差分値ｄ_iに関係なく、必ず偽値となる。そのため、算出された画素差分値ｄ_iが閾値ＴＨ以下の場合には（＃４４のＹｅｓ分岐）、差分対象画素の画素差分値を偽値に設定し（＃４５）、処理を終了する。すなわち、閾値以下の画素差分値ｄ_iが算出されると、その比較対象画素に含まれる画素に対する画素差分値ｄ_iの算出を打ち切る。これにより、不要な演算を削減し、処理を高速化することができる。

一方、算出された画素差分値ｄ_iが閾値ＴＨよりも大きければ（＃４４のＮｏ分岐）、比較対象領域の全ての画素を比較対象画素として設定するまで上記の処理を繰り返す（＃４３〜＃４６）。そして、未処理の画素が存在しなくなると（＃４６のＮｏ分岐）、差分対象画素に対する画素差分値ｄを真値に設定する（＃４７）。

〔別実施形態〕
（１）式（１）における算出処理を以下のようにしても構わない。まず、無方向の度数の差分の絶対値｜ＨＯＧ１[８]−ＨＯＧ２[８]｜を算出し、この値が所定の閾値ＴＨ１よりも大きければ、画素差分値ｄを真値とし、この値が所定の閾値以下の場合は式（１）により算出した値ｄを論理式（ｄ＞ＴＨ２）に代入した結果を画素差分値とする構成としても構わない。ここで、ＴＨ２は画素間の差異の有無を判定するための閾値である。この方法は、路面のような画素値の変化が小さな領域を多く含む画像のような、無方向となる画素値の勾配方向を多く有する画像に対しては演算量の削減を図ることができるため、好ましい。

（２）上述の実施形態では、予め画像の全画素位置におけるＨＯＧを算出してメモリに記憶させていた。しかしながら、上述したように、ＨＯＧの記憶には３次元配列が必要なため、メモリ容量の小さな装置においてＨＯＧを記憶させておくとメモリ容量を圧迫して好ましくない。そのため、画素差分値を算出する際に、逐次ＨＯＧを算出するように構成しても構わない。ただし、このように構成すると実施例２のように領域単位で比較を行うと、ＨＯＧの算出が重複して行われ、演算量が増加し、速度低下を招く。この場合には、以下のようにして、重複する演算を回避することにより、演算量の増加を抑制することが望ましい。

まず、実施例２の処理により、一の差分対象画素（以下、第１差分対象画素と称する）の画素位置におけるＨＯＧが算出され、第１差分対象画素に対する比較対象領域（以下、第１比較対象領域）が設定される。そして、第１比較対象領域内の各画素位置におけるＨＯＧを算出する。ここで算出した各ＨＯＧは各画素位置に関連付けてメモリに記憶される。このようにして、ＨＯＧが算出されると、実施例２の方法により、第１差分対象画素に対する画素差分値が算出される。

次に、第１比較対象領域に含まれる一の差分対象画素（以下、第２差分対象画素と称する）が選択され、第２差分対象画素の画素位置におけるＨＯＧが算出される。また、その第２差分対象画素に対する比較対象領域（以下、第２比較対象領域と称する）が設定される。

ここで、第２比較対象領域内の各画素位置におけるＨＯＧの算出を行うが、第１比較対象領域と第２比較対象領域とは部分的に重複しており、第１比較対象領域内の各画素位置におけるＨＯＧはメモリに記憶されている。したがって、ここでは、第１比較対象領域と第２比較対象領域との重複領域内の各画素位置におけるＨＯＧはメモリから取得できるため、算出は不要である。すなわち、第１比較対象領域と第２比較対象領域とが重複していない領域内の各画素位置におけるＨＯＧのみを算出すればよい。

例えば、比較対象領域を５×５とし、第１差分対象画素の画素位置を（ｘ，ｙ）、第２差分対象領域の画素位置を（ｘ＋１，ｙ）とすると、第２比較対象領域の２５の画素のうち、２０画素が第１比較対象領域に含まれている。したがって、５つのＨＯＧを算出すれば済むことになる。

（３）上述の実施形態では、主撮影画像を第１画像、視点変換画像を第２画像として画像間差分を行った。実施例１において、これらの関係を入れ換えても結果は同じであるが、実施例２において、これらの関係を入れ換えると結果が異なる可能性がある。そこで、主撮影画像を第２画像、視点変換画像を第２画像として第１差分画像を算出するとともに、視点変換画像を第１画像、主撮影画像を第２画像として第２差分画像を算出し、第１差分画像および第２差分画像のいずれも差異がないことを示す値（偽値）であれば、その画素の画素値を差異がないことを示す値とし、少なくとも一方が差異があることを示す値（真値）であれば、その画素の画素値を差異があることを示す値（真）とする。すなわち、第１差分画像および第２差分画像の座標位置（ｘ、ｙ）における画素値をそれぞれｆ１（ｘ，ｙ），ｆ２（ｘ，ｙ）とすると、最終的な差分画像の座標位置（ｘ，ｙ）における画素値は
ｆ（ｘ，ｙ）＝ｆ１（ｘ，ｙ） ｏｒ ｆ２（ｆ，ｙ）
となる。このように、双方向から比較することにより、ロバスト性を向上させることができる。

本発明は、障害物検出をはじめとして移動体検出やオプティカルフロー検出等の演算を行う際の画像間差分技術に適用することができる。

Ｃ：カメラ
Ｃ１：第１カメラ
Ｃ２：第２カメラ
Ｆ：フロントカメラ
Ｒ：リアカメラ
ＳＲ：右サイドカメラ
ＳＬ：左サイドカメラ
１３：視点変換部
１４：画像差分部
１４ａ：勾配方向算出部
１４ｂ：ヒストグラム生成部
１４ｃ：画素差分部
１４ｄ：領域差分部

Claims (6)

1. 画像を構成する各々の画素の画素位置における画素値の勾配方向を求める勾配方向算出部と、
   各々の前記画素を対象画素として設定するとともに、当該対象画素の周囲に所定の大きさの領域をヒストグラム算出領域として設定し、当該ヒストグラム算出領域に含まれる前記画素の画素位置における前記勾配方向の度数分布を当該対象画素の画素位置におけるヒストグラムとして生成するヒストグラム生成部と、
   第１の前記画像の差分対象となる前記画素の画素位置における第１の前記ヒストグラムと、第２の前記画像の比較対象となる前記画素の画素位置における第２の前記ヒストグラムと、の差分値を当該差分対象となる画素と当該比較対象となる画素との画素差分値として算出する画素差分部と、
   前記差分対象となる画素の画素位置における画素値を前記画素差分値に基づいて設定することにより差分画像を生成する画像差分部と、を備えた画像間差分装置。
2. 第１のカメラと、当該第１のカメラの撮影範囲と部分的に重複する撮影範囲を有する第２のカメラと、により撮影された撮影画像を取得する画像取得部と、
   前記第２のカメラにより撮影された前記撮影画像を前記第１のカメラの視点位置から撮影された画像に視点変換した視点変換画像を生成する視点変換部と、を備え、
   前記第１の画像が前記第１のカメラにより撮影された前記撮影画像であり、前記第２の画像が前記視点変換画像である請求項１記載の画像間差分装置。
3. 前記第１の画像の前記差分対象となる前記画素に対応する前記第２の画像における前記画素の周囲に所定の大きさの領域を設定し、前記画素差分部に対して当該領域に含まれる画素を順次前記比較対象となる画素として設定することにより、前記第１の画像の前記差分対象となる画素と前記第２の画像の前記領域に含まれる各々の画素との前記画素差分値を算出させ、当該各々の画素差分値に基づいて前記差分対象となる画素の画素位置における前記画素差分値を算出する領域差分部を備えた請求項１または２記載の画像間差分装置。
4. 前記領域差分部は、画素差分部によって前記第１の画像の前記差分対象となる画素と前記第２の画像の前記領域に含まれる各々の画素との前記画素差分値を算出する際に、算出された当該差分対象となる画素と当該領域に含まれる前記比較対象となる画素との前記画素差分値が所定の閾値以下であれば、当該差分対象となる画素と当該領域に含まれる前記画素との前記画素差分値の算出を打ち切り、前記差分対象となる画素の画素位置における画素差分値として差異がないことを示す値を設定する請求項３記載の画像間差分装置。
5. 前記勾配方向は無方向および複数の有方向を含み、
   前記画素差分部は、前記第１のヒストグラムの前記無方向の度数と前記第２のヒストグラムの前記無方向の度数との差を算出し、当該差の絶対値が所定の閾値よりも大きい場合には、前記有方向の度数の差を算出せずに、前記第１のヒストグラムと前記第２のヒストグラムとが差異を有することを示す値を前記画素差分値とする請求項１から４のいずれか一項に記載の画像間差分装置。
6. 第１の画像の各画素位置における画素値の勾配方向を求めるステップと、
   第２の画像の各画素位置における画素値の勾配方向を求めるステップと、
   前記第１の画像を構成する各画素を対象画素とするとともに、当該対象画素の周囲に所定の大きさの領域をヒストグラム算出領域として設定し、当該ヒストグラム算出領域に含まれる当該画素の画素位置における前記勾配方向の度数分布を当該対象画素の画素位置におけるヒストグラムとして生成するステップと、
   前記第２の画像を構成する各画素を対象画素とするとともに、当該対象画素の周囲に所定の大きさの領域をヒストグラム算出領域として設定し、当該ヒストグラム算出領域に含まれる当該画素の画素位置における前記勾配方向の度数分布を当該対象画素の画素位置におけるヒストグラムとして生成するステップと、
   前記第１の画像の各画素を差分対象画素とし、当該第１の画像の当該差分対象画素の画素位置における第１のヒストグラムと、前記第２の画像の比較対象となる前記画素の画素位置における第２のヒストグラムと、の差分値を当該差分対象となる画素と当該比較対象となる画素との画素差分値として算出するステップと、
   前記差分対象となる画素の画素位置における画素値を前記画素差分値に基づいて設定することにより差分画像を生成するステップと、を備えた画像間差分方法。

Images