JP6512145B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

従来、以下のような画像処理装置が知られている。画像処理装置は、車両に搭載されたカメラを用いて、車両の周辺の画像を、時間差をおいて複数取得する。画像処理装置は、複数の画像のそれぞれを鳥瞰図画像に変換する。画像処理装置は、車両の挙動を表す車両信号を車載ネットワークから取得する。画像処理装置は、車両信号に基づき、複数の鳥瞰図画像の位置関係を決定する。画像処理装置は、複数の鳥瞰図画像を、上記のように決定した位置関係で配置して合成画像を作成する。このような画像処理装置は、特許文献１に開示されている。

特許第４１５６２１４号公報

車載ネットワークから取得する車両信号は遅延している。車両の挙動が一定でない場合に、遅延した車両信号を用いて上記の方法で合成画像を作成すると、合成画像と実際の状況との間に乖離が生じてしまう。

本発明は、こうした問題に鑑みてなされたものであり、合成画像と実際の状況との間の乖離を抑制できる画像処理装置、画像処理方法、及びプログラムを提供することを目的としている。

本開示の画像処理装置（１）は、車両に搭載されたカメラ（２１）を用いて、車両の周辺の画像を、時間差をおいて複数取得する画像取得ユニット（７）と、複数の画像のそれぞれを鳥瞰図画像に変換して複数の鳥瞰図画像を作成する変換ユニット（９）と、画像取得ユニットが画像を取得するとき、車両の挙動を表す車両信号を、車載ネットワーク（２５）から取得する信号取得ユニット（１１）と、信号取得ユニットにより取得した車両信号を用いて、複数の鳥瞰図画像の位置関係を決定する位置決定ユニット（１３）と、複数の鳥瞰図画像の少なくとも一部が、位置決定ユニットにより決定した位置関係で配置された合成画像を作成する合成ユニット（１５）と、を備える。

本開示の画像処理装置は、さらに、信号取得ユニットにより取得した車両信号の経時変化を用いて、車載ネットワークの信号遅延時間だけ先の時点における車両の車速を予測する予測ユニット（１７）と、予測ユニットにより予測した車速が予め設定された閾値以下である場合、カメラを用いて異なる時刻に取得した複数の画像を対比することで、車両が停止しているか否かを判断する停止判断ユニット（１９）と、を備える。車両が停止していると停止判断ユニットが判断した場合、位置決定ユニットは、車両が停止している場合の位置関係を決定する。

本開示の画像処理装置によれば、車両の挙動が一定でない場合でも、合成画像と実際の状況との間の乖離を抑制できる。
本開示の画像処理方法は、車両に搭載されたカメラを用いて、車両の周辺の画像を、時間差をおいて複数取得し（Ｓ１）、複数の画像のそれぞれを鳥瞰図画像に変換して複数の鳥瞰図画像を作成し（Ｓ４）、カメラを用いて画像を取得するとき、車両の挙動を表す車両信号を、車載ネットワークから取得し（Ｓ２）、車両信号を用いて、複数の鳥瞰図画像の位置関係を決定し、複数の鳥瞰図画像の少なくとも一部が前記位置関係で配置された合成画像を作成する（Ｓ９）。

本開示の画像処理方法は、さらに、車両信号の経時変化を用いて、車載ネットワークの信号遅延時間だけ先の時点における車両の車速を予測し（Ｓ５）、予測した車速が予め設定された閾値以下である場合、カメラを用いて異なる時刻に取得した複数の画像を対比することで、車両が停止しているか否かを判断し（Ｓ１３、Ｓ１４）、車両が停止していると判断した場合は、車両が停止している場合の位置関係を決定する（Ｓ１５）。

本開示の画像処理方法によれば、車両の挙動が一定でない場合でも、合成画像と実際の状況との間の乖離を抑制できる。
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。

画像処理装置１の構成を表すブロック図である。 画像処理装置１の機能的構成を表すブロック図である。 自車両２７におけるカメラ２１及びディスプレイ２３の配置を表す説明図である。 画像処理装置１が実行する処理を表すフローチャートである。 現時点の時刻ＴからΔＴだけ先の時点における自車両の車速を予測する方法を表す説明図である。 現時点における合成画像Ｇ（ｉ）を作成する方法を表す説明図である。 移動量ΔＸが０である場合に、現時点における合成画像Ｇ（ｉ）を作成する方法を表す説明図である。 ディスプレイ２３の表示例を表す説明図である。 画像Ｐ（ｉ）と画像Ｐ（ｉ−１）とを対比する方法を表す説明図である。 自車両２７、ポール３５、及び停止線３７を表す説明図である。 停止時点からΔＴ後における合成画像であって、移動量ΔＸを、常に車両信号に基づき作成した場合の合成画像を表す説明図である。 停止時点からΔＴ後において、画像処理装置１が作成した合成画像Ｇ（ｉ）を表す説明図である。 物標４１の位置に基づき画像Ｐ（ｉ）と画像Ｐ（ｉ−１）とを対比する方法を表す説明図である。

本発明の実施形態を図面に基づき説明する。
＜第１実施形態＞
１．画像処理装置１の構成
画像処理装置１の構成を、図１〜図３に基づき説明する。画像処理装置１は、車両に搭載される車載装置である。以下では、画像処理装置１を搭載する車両を自車両とする。画像処理装置１は、ＣＰＵ３と、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリ（以下、メモリ５とする）と、を有する周知のマイクロコンピュータを中心に構成される。画像処理装置１の各種機能は、ＣＰＵ３が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ５が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムの実行により、プログラムに対応する方法が実行される。なお、画像処理装置１を構成するマイクロコンピュータの数は１つでも複数でもよい。

画像処理装置１は、ＣＰＵ３がプログラムを実行することで実現される機能の構成として、図２に示すように、画像取得ユニット７と、変換ユニット９と、信号取得ユニット１１と、位置決定ユニット１３と、合成ユニット１５と、予測ユニット１７と、停止判断ユニット１９と、表示ユニット２０と、を備える。画像処理装置１を構成するこれらの要素を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素を、論理回路やアナログ回路等を組み合わせたハードウェアを用いて実現してもよい。

自車両は、画像処理装置１に加えて、カメラ２１、ディスプレイ２３、及び車載ネットワーク２５を備える。カメラ２１は、図３に示すように、自車両２７の後部に搭載されている。カメラ２１は、自車両２７から見て後方にある風景を撮影し、画像を作成する。自車両の後方は、自車両の周辺に対応する。

自車両２７を上方から見たとき、カメラ２１の光軸２９は、自車両２７の前後軸と平行である。また、光軸２９は俯角を有する。自車両２７を基準としたとき、光軸２９は常に一定である。そのため、自車両２７の傾きがなく、道路が平坦であれば、カメラ２１が撮影する画像に含まれる範囲３１は、自車両２７に対し、常に一定の位置にある。範囲３１には、路面が含まれる。

ディスプレイ２３は、図３に示すように、自車両２７の車室内に設けられている。自車両２７のドライバはディスプレイ２３を視認可能である。ディスプレイ２３は、画像処理装置１により制御され、画像を表示する。

車載ネットワーク２５は、画像処理装置１に接続している。画像処理装置１は、車載ネットワーク２５から、自車両の挙動を表す車両信号を取得することができる。車両信号は、具体的には、自車両の車速を表す信号である。車載ネットワーク２５としては、例えば、ＣＡＮ（登録商標）が挙げられる。

車載ネットワーク２５により送信される車両信号は、信号遅延時間ΔＴだけ遅延している。すなわち、時刻Ｔにおいて画像処理装置１が車載ネットワーク２５から取得する車両信号は、時刻（Ｔ−ΔＴ）における自車両の挙動を表す車両信号である。信号遅延時間ΔＴは、車載ネットワーク２５に固有の正の値であり、既知の値である。

２．画像処理装置１が実行する画像処理
画像処理装置１が一定の周期Ｉで繰り返し実行する画像処理を、図４〜図９に基づき説明する。周期Iの単位は時間である。以下では、図４に示す処理を１回実行することを、１サイクルということがある。

図４のステップ１では、画像取得ユニット７が、カメラ２１を用いて１つの画像を取得する。なお、画像処理装置１は、一定の周期Ｉでサイクルを繰り返す。そのため、画像取得ユニット７は、周期Ｉに相当する時間差をおいて、複数の画像を取得する。例えば、画像取得ユニット７は、時刻ｔ_０で実行するサイクルにおいて第１の画像を取得し、時刻（ｔ_０+Ｉ）で実行するサイクルにおいて第２の画像を取得し、時刻（ｔ_０+２Ｉ）で実行するサイクルにおいて第３の画像を取得し、時刻（ｔ_０+３Ｉ）で実行するサイクルにおいて第４の画像を取得する。

ステップ２では、信号取得ユニット１１が、車載ネットワーク２５から車両信号を取得する。なお、各サイクルは、前記ステップ１とともに、本ステップ２を含むから、信号取得ユニット１１は、画像取得ユニット７が画像を取得するとき、車両信号を取得することになる。

ステップ３では、信号取得ユニット１１が、前記ステップ２で取得した車両信号を、それを取得した時刻と関連付けてメモリ５に記憶する。
ステップ４では、変換ユニット９が、今回のサイクルでの前記ステップ１で取得した画像を鳥瞰図画像に変換する。鳥瞰図画像に変換する方法として、周知の方法を用いることができる。鳥瞰図画像に変換する方法の例として、例えば、特開平１０−２１１８４９号公報に記載されている方法等を用いることができる。

なお、画像処理装置１は、サイクルごとにステップ４の処理を繰り返し実行する。変換ユニット９は、ステップ４の処理を行うごとに、同じサイクルでの前記ステップ１で取得された画像を鳥瞰図画像に変換する。よって、変換ユニット９は、前記ステップ１で取得された複数の画像のそれぞれを鳥瞰図画像に変換する。変換ユニット９は、鳥瞰図画像をメモリ５に記憶する。

ステップ５では、合成画像の作成を開始するタイミングが既に到来しているか否かを判断する。合成画像の作成を開始するタイミングとは、前記ステップ４で最初に鳥瞰図画像を記憶してから、自車両が予め設定された距離だけ移動したタイミングである。合成画像の作成を開始するタイミングが既に到来している場合はステップ６に進み、それ以外の場合は本処理を終了する。

ステップ６では、予測ユニット１７が、以下のようにして、現時点の時刻ＴからΔＴだけ先の時刻における自車両の車速を予測する。
予測ユニット１７は、まず、今回のサイクルでの前記ステップ３及びそれ以前のサイクルでの前記ステップ３で記憶しておいた車両信号を読み出す。車両信号は、上述したように、自車両の車速を表す。次に、予測ユニット１７は、図５に示すように、縦軸が車速であり、横軸が車両信号を取得した時刻であるグラフに、読み出した車両信号をプロットする。

次に、予測ユニット１７は、このグラフに表れる車速の経時変化を用いて、車両信号を取得した時刻と、車速との関係を表す近似曲線３３を算出する。近似曲線３３は、時刻に関する一時関数であってもよいし、二次関数であってもよいし、三次関数であってもよい。次に、予測ユニット１７は、近似曲線３３を用いて、現時点の時刻ＴからΔＴだけ先の時点における自車両の車速を予測する。

ステップ７では、前記ステップ６で予測した車速が、予め設定された閾値以下であるか否かを、停止判断ユニット１９が判断する。予測した車速が閾値を超える場合はステップ８に進み、予測した車速が閾値以下である場合はステップ１２に進む。

ステップ８では、前回のサイクルから今回のサイクルまでの期間における自車両の移動量ΔＸを算出する。移動量ΔＸは、今回のサイクルでの前記ステップ２で取得した車両信号が表す車速と、周期Ｉとを乗算した値である。例えば、車速が６０ｋｍ／ｈであり、周期Ｉが３３ｍｓｅｃの場合、ΔＸは０．５５ｍである。

ステップ９では、以下のようにして、合成ユニット１５が合成画像を作成する。合成ユニット１５は、前回以前のサイクルで既に合成画像の作成を開始している場合は、前回のサイクルでのステップ１０でメモリ５に記憶した合成画像の内容、及び合成画像の位置を読み出す。合成画像の位置とは、ディスプレイ２３上に表示するときの位置を意味する。また、今回のサイクルで合成画像の作成を開始する場合は、合成画像の読み出しは行わない。

図６に、読み出された合成画像の例を示す。図６において、合成画像Ｇ（ｉ−１）は、前回のサイクルにおいて作成され、記憶された合成画像である。合成画像Ｇ（ｉ−１）は、例えば、鳥瞰図画像ＴＶ（ｉ−１）、ＴＶ（ｉ−２）、ＴＶ（ｉ−３）、及びＴＶ（ｉ−４）を組み合わせたものである。ＴＶ（ｉ−１）は（ｎ+１）回前のサイクルでのステップ４で作成された鳥瞰図画像を意味し、ＴＶ（ｉ−２）は（ｎ+２）回前のサイクルでのステップ４で作成された鳥瞰図画像を意味し、ＴＶ（ｉ−３）は（ｎ+３）回前のサイクルでのステップ４で作成された鳥瞰図画像を意味し、ＴＶ（ｉ−４）は（ｎ+４）回前のサイクルでのステップ４で作成された鳥瞰図画像を意味する。ｎは１以上の自然数であり、一定の数である。

なお、この合成画像Ｇ（ｉ−１）は、以下の経緯により、作成されたものである。まず、４回前のサイクルでのステップ９において、鳥瞰図画像ＴＶ（ｉ−４）から成る合成画像Ｇ（ｉ−４）が作成された。次に、３回前のサイクルでのステップ９において、鳥瞰図画像ＴＶ（ｉ−３）が合成画像Ｇ（ｉ−４）に加えられ、合成画像Ｇ（ｉ−３）が作成された。次に、２回前のサイクルでのステップ９において、鳥瞰図画像ＴＶ（ｉ−２）が合成画像Ｇ（ｉ−３）に加えられ、合成画像Ｇ（ｉ−２）が作成された。次に、前回のサイクルでのステップ９において、鳥瞰図画像ＴＶ（ｉ−１）が合成画像Ｇ（ｉ−２）に加えられ、合成画像Ｇ（ｉ−１）が作成された。

次に、合成ユニット１５は、合成画像Ｇ（ｉ−１）の位置を、ｋΔＸだけ、自車両の進行方向Ｄとは反対方向に移動させる。ｋΔＸは、定数ｋと移動量ΔＸとを乗算した値である。定数ｋはピクセルピッチである。ピクセルピッチの単位はｍ／ｐｉｘである。

次に、合成ユニット１５は、合成画像Ｇ（ｉ−１）に含まれる、最も新しい鳥瞰図画像ＴＶ（ｉ−１）よりも、１回後のサイクルで作成された鳥瞰図画像ＴＶ（ｉ）を、合成画像Ｇ（ｉ−１）に加え、今回のサイクルでの合成画像Ｇ（ｉ）を作成する。例えば、ＴＶ（ｉ−１）が（ｎ+１）回前のサイクルでのステップ４で作成された鳥瞰図画像である場合、ＴＶ（ｉ）は、ｎ回前のサイクルでのステップ４で作成された鳥瞰図画像である。

新たに加える鳥瞰図画像ＴＶ（ｉ）の位置は、常に一定である。よって、鳥瞰図画像ＴＶ（ｉ）と、鳥瞰図画像ＴＶ（ｉ−１）、ＴＶ（ｉ−２）、ＴＶ（ｉ−３）、及びＴＶ（ｉ−４）との位置関係は、ｋΔＸにより決定される。すなわち、ｋΔＸは、複数の鳥瞰図画像の位置関係に対応する。

鳥瞰図画像ＴＶ（ｉ）の位置は、鳥瞰図画像ＴＶ（ｉ−１）よりも、ｋΔＸだけ、方向Ｄ側にずれた位置である。鳥瞰図画像ＴＶ（ｉ）と、合成画像Ｇ（ｉ−１）とが重複する領域を有する場合、その重複する領域での合成画像Ｇ（ｉ）の内容は、鳥瞰図画像ＴＶ（ｉ）の内容である。

合成画像Ｇ（ｉ）の上下方向における長さには一定の上限値がある。合成画像Ｇ（ｉ）の上下方向における長さが上限値に達するまでは、鳥瞰図画像ＴＶ（ｉ）を加えても、古い鳥瞰図画像は削除しない。

一方、鳥瞰図画像ＴＶ（ｉ）を加えた結果、合成画像Ｇ（ｉ）の上下方向における長さが上限値を超えた場合、合成画像Ｇ（ｉ）に含まれる鳥瞰図画像のうち、最も古いものを削除する。図６に示す例では、鳥瞰図画像ＴＶ（ｉ−４）を削除する。

後述するステップ１４において、移動量ΔＸが０となった場合は、図７に示すように、合成画像Ｇ（ｉ−１）の位置は移動しない。合成画像Ｇ（ｉ−１）における鳥瞰図画像ＴＶ（ｉ−１）の位置は、追加する鳥瞰図画像ＴＶ（ｉ）の位置と同じである。よって、鳥瞰図画像ＴＶ（ｉ−１）と鳥瞰図画像ＴＶ（ｉ）とは、それらの全体にわたって重複する。合成画像Ｇ（ｉ）は、合成画像Ｇ（ｉ−１）における鳥瞰図画像ＴＶ（ｉ−１）の部分を、鳥瞰図画像ＴＶ（ｉ）で置換した合成画像である。

ステップ１０では、合成ユニット１５が、前記ステップ９で作成した合成画像Ｇ（ｉ）の内容、及び位置をメモリ５に記憶する。
ステップ１１では、表示ユニット２０が、前記ステップ９で作成した合成画像Ｇ（ｉ）を含む画像を、ディスプレイ２３に表示する。その表示例を図８に示す。合成画像Ｇ（ｉ）はディスプレイ２３における左側中段に表示される。図８において「進行方向の画像」と表示された領域は、カメラ２１のリアルタイムの画像を表示する領域である。「実画」と表示された領域は、今回のサイクルでの前記ステップ４で作成された鳥瞰図画像を表示する領域である。「ブランク」と表示された領域は、何も表示しない領域である。

なお、ディスプレイ２３における左上の領域は、フロントカメラを用いて取得した画像を変換して成る鳥瞰図画像を表示する領域である。図８は、自車両が後進するときに表示する画像である。自車両が後進するとき、フロントカメラは使用しない。そのため、図８において、ディスプレイ２３での左上の領域は、「ブランク」となっている。自車両が前進するときは、フロントカメラを用いて取得した画像を変換して成る鳥瞰図画像を、ディスプレイ２３での左上の領域に表示する。

前記ステップ７で肯定判断した場合はステップ１２に進む。ステップ１２では、停止判断ユニット１９が、今回のサイクルでの前記ステップ１で取得した画像Ｐ（ｉ）と、前回のサイクルでの前記ステップ１で取得した画像Ｐ（ｉ−１）とを対比する。画像Ｐ（ｉ）及び画像Ｐ（ｉ−１）は、カメラ２１を用いて異なる時刻に取得した複数の画像に対応する。

対比は、以下のように行う。図９に示すように、画像Ｐ（ｉ）と画像Ｐ（ｉ−１）とにおける同一座標の画素同士を対比し、それらの輝度、色等の差を算出する。この処理を、画像Ｐ（ｉ）及び画像Ｐ（ｉ−１）における全画素について行い、画像全体としての差を算出する。

ステップ１３では、停止判断ユニット１９が、前記ステップ１２での対比結果に基づき、自車両が停止しているか否かを判断する。すなわち、前記ステップ１２で算出した、画像全体としての差が予め設定された閾値以下であれば、自車両が停止していると判断し、それ以外の場合は、自車両は停止していないと判断する。自車両が停止していると判断した場合はステップ１４に進み、自車両は停止していないと判断した場合は前記ステップ８に進む。

ステップ１４では、移動量ΔＸを０とする。移動量ΔＸが０であることは、自車両が停止していることに対応する。その後、前記ステップ９に進む。
３．画像処理装置１が奏する効果
（１Ａ）画像処理装置１は、信号遅延時間ΔＴだけ先の時点における自車両の車速を予測する。そして、画像処理装置１は、予測した車速が予め設定された閾値以下である場合、カメラ２１を用いて異なる時刻に取得した複数の画像を対比することで、自車両が停止しているか否かを判断する。さらに、画像処理装置１は、自車両が停止していると判断した場合、移動量ΔＸを０にする。

そのことにより、自車両の挙動が変化する場合でも、合成画像と実際の状況との乖離を抑制することができる。この効果を、図１０〜図１２に示す例に即して説明する。
図１０に示すように、自車両２７は、左右両側のポール３５の間を後進し、停止線３７の手前で停止する。すなわち、自車両２７の挙動は、後進している状態から、停止状態へと変化する。画像処理装置１は、自車両２７が後進しているとき、及び停止しているときに、繰り返し合成画像を作成し、ディスプレイ２３に表示する。

前記ステップ６、７、１２、１３、１４における処理を行わず、移動量ΔＸを常に前記ステップ８で算出する場合を想定する。この場合、自車両２７が停止線３７の手前で停止した時点（以下では停止時点とする）からΔＴ後の時点における合成画像は、図１１に示すものとなる。この合成画像において、ポール３５のうち、停止線３７に最も近いポール３５Ａの位置は、実際の位置３９よりも上側に表示されている。すなわち、合成画像と実際の状況とが乖離している。

これは、以下の理由による。画像処理装置１は、信号遅延時間ΔＴの分だけ遡った時点での車両信号を取得する。よって、停止時点から、ΔＴ後の時点までの期間における車両信号は、自車両２７が未だ後進を続けていたときの車速を表す車両信号である。すなわち、画像処理装置１は、停止時点から、ΔＴ後の時点までの期間において、実際には自車両２７は停止しているのに、後進しているときの車速を表す車両信号を取得する。そのため、停止時点からからΔＴ後の時点で算出する移動量ΔＸは実際より大きい値となる。

そして、停止時点からΔＴ後の時点で合成画像Ｇ（ｉ）を作成するとき、図６に示すように、合成画像Ｇ（ｉ−１）は、実際より大きく上方に移動する。その結果、図１１に示すように、合成画像Ｇ（ｉ−１）に表れていたポール３５Ａは、上側に移動し、合成画像Ｇ（ｉ）において、実際の位置３９よりも上側に表示されてしまう。なお、図１１及び後述する図１２における自車両２７は、コンピュータグラフィックスにより表示したものである。

一方、画像処理装置１は、停止時点以降は、前記ステップ７で肯定判断し、前記ステップ１３で肯定判断することで、移動量ΔＸを０にすることができる。そして、画像処理装置１は、停止時点からΔＴ後の時点での合成画像Ｇ（ｉ）を作成するとき、図７に示すように、合成画像Ｇ（ｉ−１）を移動させない。その結果、図１２に示すように、合成画像Ｇ（ｉ−１）に表れていたポール３５Ａは、上側に移動せず、合成画像Ｇ（ｉ）において、実際の位置３９に正しく表示される。すなわち、合成画像と実際の状況との乖離が抑制される。

（１Ｂ）画像処理装置１が取得する車両信号は、自車両の車速を表す。そのため、移動量ΔＸの算出が容易である。
（１Ｃ）画像処理装置１は、複数の画像における同一座標の画素同士を対比することで、自車両が停止しているか否かを判断する。そのことにより、自車両が停止しているか否かを容易且つ正確に判断することができる。
＜第２実施形態＞
１．第１実施形態との相違点
第２実施形態は、基本的な構成は第１実施形態と同様であるため、共通する構成については説明を省略し、相違点を中心に説明する。なお、第１実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。

前記ステップ１２において、停止判断ユニット１９は、画像Ｐ（ｉ）と画像Ｐ（ｉ−１）とを、以下の方法で対比する。
図１３に示すように、停止判断ユニット１９は、画像Ｐ（ｉ）及び画像Ｐ（ｉ−１）のそれぞれにおいて、同一の物標４１を認識する。物標４１の認識には、周知の画像認識技術を用いることができる。物標４１としては、地球に対し移動しないものが好ましい。そのような物標として、例えば、白線、建物、構造物等が挙げられる。画像Ｐ（ｉ）で認識した物標と画像Ｐ（ｉ）で認識した物標とが同一であるか否かは、両者の形状、大きさ、色等の類似性により判断できる。

次に、停止判断ユニット１９は、画像Ｐ（ｉ）で認識した物標４１の位置と、画像Ｐ（ｉ−１）で認識した物標４１の位置とを対比し、それらの距離を算出する。
前記ステップ１３では、停止判断ユニット１９が、前記ステップ１２での対比結果に基づき、自車両が停止しているか否かを判断する。すなわち、前記ステップ１２で算出した距離が予め設定された閾値以下であれば、自車両が停止していると判断し、それ以外の場合は、自車両は停止していないと判断する。自車両が停止していると判断した場合はステップ１４に進み、自車両は停止していないと判断した場合は前記ステップ８に進む。

２．画像処理装置１が奏する効果
以上詳述した第２実施形態によれば、前述した第１実施形態の効果（１Ａ）、（１Ｂ）に加え、以下の効果が得られる。

（２Ａ）画像処理装置１は、画像Ｐ（ｉ）及び画像Ｐ（ｉ−１）のそれぞれにおいて、同一の物標４１を認識する。そして、画像処理装置１は、画像Ｐ（ｉ）及び画像Ｐ（ｉ−１）における物標４１の位置を対比することで、自車両が停止しているか否かを判断する。そのことにより、自車両が停止しているか否かを容易且つ正確に判断することができる。
＜他の実施形態＞
以上、本発明を実施するための形態について説明したが、本発明は上述の実施形態に限定されることなく、種々変形して実施することができる。

（１）カメラ２１は、自車両２７の前端に取り付けられてもよい。その場合、画像処理装置１は、カメラ２１を用いて、自車両の前方を撮影した画像を取得することができる。自車両の前方は、自車両の周辺に対応する。画像処理装置１は、自車両の前方を撮影した画像を用いて合成画像を作成することができる。

（２）車両信号は、自車両の位置、又は自車両の移動量を表す信号であってもよい。例えば、車両信号は、パルスカウンターの値、自車両の進行方向、及び自車両の舵角から選択される１以上であってもよい。

（３）前記ステップ１２で対比する画像は、鳥瞰図画像であってもよい。
（４）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。

（５）上述した画像処理装置の他、当該画像処理装置を構成要素とするシステム、当該画像処理装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、画像処理方法等、種々の形態で本発明を実現することもできる。

１…画像処理装置、３…ＣＰＵ、５…メモリ、７…画像取得ユニット、９…変換ユニット、１１…信号取得ユニット、１３…位置決定ユニット、１５…合成ユニット、１７…予測ユニット、１９…停止判断ユニット、２０…表示ユニット、２１…カメラ、２３…ディスプレイ、２５…車載ネットワーク、２７…自車両、２９…光軸、３１…範囲、３３…近似曲線、３５…ポール、３７…停止線、４１…物標

Claims (9)

1. 画像処理装置（１）であって、
   車両（２７）に搭載されたカメラ（２１）を用いて、前記車両の周辺の画像を、時間差をおいて複数取得する画像取得ユニット（７）と、
   前記複数の画像のそれぞれを鳥瞰図画像に変換して複数の鳥瞰図画像を作成する変換ユニット（９）と、
   前記画像取得ユニットが前記画像を取得するとき、前記車両の挙動を表す車両信号を、車載ネットワーク（２５）から取得する信号取得ユニット（１１）と、
   前記信号取得ユニットにより取得した前記車両信号を用いて、前記複数の鳥瞰図画像の位置関係を決定する位置決定ユニット（１３）と、
   前記複数の鳥瞰図画像の少なくとも一部が、前記位置決定ユニットにより決定した前記位置関係で配置された合成画像を作成する合成ユニット（１５）と、
   前記信号取得ユニットにより取得した前記車両信号の経時変化を用いて、前記車載ネットワークの信号遅延時間だけ先の時点における前記車両の車速を予測する予測ユニット（１７）と、
   前記予測ユニットにより予測した前記車速が予め設定された閾値以下である場合、前記カメラを用いて異なる時刻に取得した複数の画像を対比することで、前記車両が停止しているか否かを判断する停止判断ユニット（１９）と、
   を備え、
   前記車両が停止していると前記停止判断ユニットが判断した場合、前記位置決定ユニットは、前記車両が停止している場合の前記位置関係を決定する画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記車両信号は、前記車両の車速、パルスカウンタ、進行方向、及び舵角から選択される１以上を表す信号である画像処理装置。
3. 請求項１又は２に記載の画像処理装置であって、
   前記停止判断ユニットは、前記複数の画像における同一座標の画素同士を対比することで、前記車両が停止しているか否かを判断する画像処理装置。
4. 請求項１又は２に記載の画像処理装置であって、
   前記停止判断ユニットは、前記複数の画像のそれぞれにおいて、同一の物標を認識し、前記複数の画像における前記物標の位置を対比することで、前記車両が停止しているか否かを判断する画像処理装置。
5. 画像処理方法であって、
   車両に搭載されたカメラを用いて、前記車両の周辺の画像を、時間差をおいて複数取得し（Ｓ１）、
   前記複数の画像のそれぞれを鳥瞰図画像に変換して複数の鳥瞰図画像を作成し（Ｓ４）、
   前記カメラを用いて前記画像を取得するとき、前記車両の挙動を表す車両信号を、車載ネットワークから取得し（Ｓ２）、
   前記車両信号を用いて、前記複数の鳥瞰図画像の位置関係を決定し（Ｓ８、Ｓ１５）、
   前記複数の鳥瞰図画像の少なくとも一部が前記位置関係で配置された合成画像を作成し（Ｓ９）、
   前記車両信号の経時変化を用いて、前記車載ネットワークの信号遅延時間だけ先の時点における前記車両の車速を予測し（Ｓ５）、
   予測した前記車速が予め設定された閾値以下である場合、前記カメラを用いて異なる時刻に取得した複数の画像を対比することで、前記車両が停止しているか否かを判断し（Ｓ１３、Ｓ１４）、
   前記車両が停止していると判断した場合は、前記車両が停止している場合の前記位置関係を決定する（Ｓ１５）画像処理方法。
6. 請求項５に記載の画像処理方法であって、
   前記車両信号は、前記車両の車速、パルスカウンタ、進行方向、及び舵角から選択される１以上を表す信号である画像処理方法。
7. 請求項５又は６に記載の画像処理方法であって、
   前記複数の画像における同一座標の画素同士を対比することで、前記車両が停止しているか否かを判断する（Ｓ１３）画像処理方法。
8. 請求項５又は６に記載の画像処理方法であって、
   前記複数の画像のそれぞれにおいて、同一の物標を認識し、前記複数の画像における前記物標の位置を対比することで、前記車両が停止しているか否かを判断する（Ｓ１３）画像処理方法。
9. 請求項１〜４のいずれか１項に記載の画像処理装置における各ユニットとしてコンピュータを機能させるプログラム。

Images