JP7253001B2

JP7253001B2 - 情報処理装置及び方法

Info

Publication number: JP7253001B2
Application number: JP2021058436A
Authority: JP
Inventors: 裕司安井
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2021-03-30
Filing date: 2021-03-30
Publication date: 2023-04-05
Anticipated expiration: 2041-03-30
Also published as: US20220318972A1; CN115150546A; JP2022155097A

Description

本発明は情報処理装置及び方法に関し、特に画像撮影時のピッチによるずれを補正する補正量を特定する情報処理装置及び方法に関する。

車両の自動運転や運転支援のために、歩行者や他車両などの物標までの距離を推定する技術がある。自動運転や運転支援のため、車両は、推定した距離に応じて運転者の注意を喚起したり、あるいは運転者による操作なしに自動的に制動をかけたりする。距離を推定する技術のひとつに、カメラで撮影した画像に含まれた物標に対応するオブジェクトを認識し、その物標までの距離を推定するという技術がある。この技術では、車両のピッチ軸周りの揺動（これを単にピッチと呼ぶことがある）に起因して推定した距離の精度が低下することがあり、この精度低下を防止するための技術が提案されている。特許文献１には、ピッチ角の軸ずれが生じた場合、赤外線画像上での各カメラの全画角領域内の対象物検知処理領域に対し、ピッチ角に応じた位置補正量で補正することが記載されている。また特許文献２には、ピッチ量を推定する技術として、車両に設けた撮像部により時間差で撮像した画像内の所定領域の垂直方向の移動量を算出して積算し、積算値に基づいて、車両のピッチ角を推定する技術が記載されている。

特開２００６－１５３７７８号公報特開２０１７－２０９４２号公報

しかしながら特許文献１には、カメラのピッチ角を特定するための具体的な技術の開示はない。また特許文献２には、２つの画像中の相関性が高い領域を特定し、その移動量からピッチ角を推定する技術が開示されているが、これによれば２つの画像の間で相関性の高い領域を特定しなければならず、処理負荷が高いと考えられる。

本発明は上記従来例に鑑みて成されたもので、負荷の軽い処理により精度の高い補正量を推定することを目的とする。

上記目的を達成するために本発明は以下の構成を有する。

すなわち、本発明の一側面によれば、撮像手段により時系列の画像を取得する画像取得部と、
画像処理を行う処理部とを有し、
前記処理部は、
前記時系列の画像のうち、対象画像よりも前に取得した基準画像を、前記基準画像が撮影されてから前記対象画像が撮影されるまでの時間差と前記撮像手段の移動の速度とに基づいて、前記基準画像に含まれた前記対象画像の撮影範囲の画角が前記対象画像の画角と一致するよう拡大し、拡大した前記基準画像を相異なる複数通りのシフト量で上下方向にシフトした複数のシフト画像を生成し、前記複数のシフト画像の各々と前記対象画像との差分を基に前記撮像手段のピッチによる補正量を特定する
ことを特徴とする情報処理装置が提供される。

本発明によれば、負荷の軽い処理により精度の高い補正量を推定することができる。

車両システムの構成を示した説明図である。距離推定のための構成を示すブロック図である。ピッチ量推定のための構成を示すブロック図である。ピッチ量推定のための情報処理の一例を示す図である。ピッチ量推定のための情報処理の一例を示す図である。旋回判定のための構成を示すブロック図である。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。

［第一実施形態］
●車両用制御装置の構成
図１は、本発明の一実施形態に係る車両用制御装置のブロック図であり、車両１を制御する。図１において、車両１はその概略が平面図と側面図とで示されている。車両１は一例としてセダンタイプの四輪の乗用車である。なお本実施形態では、車両用制御装置により提供する運転支援は、緊急ブレーキや適応的追従走行、車線維持支援といった限定的な機能としているが、目的地を設定すれば自動運転まで行うような高度の機能としてもよい。

図１の制御装置は、制御ユニット２を含む。制御ユニット２は車内ネットワークにより通信可能に接続された複数のＥＣＵ２０～２９を含む。各ＥＣＵは、ＣＰＵに代表されるプロセッサ、半導体メモリ等の記憶デバイス、外部デバイスとのインタフェース等を含む。記憶デバイスにはプロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納される。各ＥＣＵはプロセッサ、記憶デバイスおよびインタフェース等を複数備えていてもよい。

以下、各ＥＣＵ２０～２９が担当する機能等について説明する。なお、ＥＣＵの数や、担当する機能については適宜設計可能であり、本実施形態よりも細分化したり、あるいは、統合することが可能である。

ＥＣＵ２０は、車両１の自動運転に関わる制御を実行する。自動運転においては、車両１の操舵と、加減速の少なくともいずれか一方を自動制御する。

ＥＣＵ２１は、電動パワーステアリング装置３を制御する。電動パワーステアリング装置３は、ステアリングホイール３１に対する運転者の運転操作（操舵操作）に応じて前輪を操舵する機構を含む。また、電動パワーステアリング装置３は操舵操作をアシストしたり、あるいは、前輪を自動操舵するための駆動力を発揮するモータや、操舵角を検知するセンサ等を含む。車両１の運転状態が自動運転の場合、ＥＣＵ２１は、ＥＣＵ２０からの指示に対応して電動パワーステアリング装置３を自動制御し、車両１の進行方向を制御する。

ＥＣＵ２２は、車両の周囲状況を検知する検知ユニット４１の制御および検知結果の情報処理を行う。検知ユニット４１は、車両１の前方を撮影するカメラであり（以下、カメラ４１と表記する場合がある。）、本実施形態の場合、車両１のルーフ前部に固定して１つ設けられている。ＥＣＵ２２は、カメラ４１が撮影した画像の解析により、物標の輪郭抽出や、道路上の車線の区画線（白線等）を抽出可能である。また、画像中の物標までの距離を推定することができる。

ＥＣＵ２４は、ＧＰＳセンサ２４ｂ、通信装置２４ｃの制御および検知結果あるいは通信結果の情報処理を行う。ＧＰＳセンサ２４ｂは、車両１の現在位置を検知する。通信装置２４ｃは、地図情報や交通情報を提供するサーバと無線通信を行い、これらの情報を取得する。ＥＣＵ２４は、記憶デバイスに構築された地図情報のデータベース２４ａにアクセス可能であり、ＥＣＵ２４は現在地から目的地へのルート探索等を行う。

ＥＣＵ２６は、パワープラント６を制御する。パワープラント６は車両１の駆動輪を回転させる駆動力を出力する機構であり、例えば、エンジンと変速機とを含む。ＥＣＵ２６は、例えば、アクセルペダル７Ａに設けた操作検知センサ７ａにより検知した運転者の運転操作（アクセル操作あるいは加速操作）に対応してエンジンの出力を制御したり、車輪速センサ７ｃが検知した車速等の情報に基づいて変速機の変速段を切り替える。

ＥＣＵ２８は、入出力装置９の制御を行う。入出力装置９は運転者に対する情報の出力と、運転者からの情報の入力の受け付けを行う。音声出力装置９１は運転者に対して音声により情報を報知する。表示装置９２は運転者に対して画像の表示により情報を報知する。表示装置９２は例えば運転席表面に配置され、インストルメントパネル等を構成する。なお、ここでは、音声と表示を例示したが振動や光により情報を報知してもよい。入力装置９３は運転者が操作可能な位置に配置され、車両１に対する指示を行うスイッチ群あるいはタッチパネル等であるが、音声入力装置も含まれてもよい。

ＥＣＵ２９は、ブレーキ装置１０やパーキングブレーキ（不図示）を制御する。ブレーキ装置１０は例えばディスクブレーキ装置であり、車両１の各車輪に設けられ、車輪の回転に抵抗を加えることで車両１を減速あるいは停止させる。ＥＣＵ２９は、例えば、ブレーキペダル７Ｂに設けた操作検知センサ７ｂにより検知した運転者の運転操作（ブレーキ操作）に対応してブレーキ装置１０の作動を制御する。たとえば、画像から検知した物標までの距離が所定値を下回った場合や、あるいは推定された衝突までの時間が所定値を下回った場合には、ＥＣＵ２９は、ＥＣＵ２０からの指示に対応してブレーキ装置１０を自動制御し、車両１の減速および／または停止を制御する。ブレーキ装置１０やパーキングブレーキは車両１の停止状態を維持するために作動することもできる。また、パワープラント６の変速機がパーキングロック機構を備える場合、これを車両１の停止状態を維持するために作動することもできる。

●画像に基づく距離推定機能
図２（Ａ）は、ＥＣＵ２０により実現される距離推定機能のブロック図である。この構成はＥＣＵ２０に含まれるハードウェア回路で実現されてもよいし、そこに含まれたＣＰＵによりメモリに記録したプログラムを実行することで実現されてもよい。またそれらの組み合わせにより実現してもよい。これは他のＥＣＵについても同様である。いずれの構成であっても、ＥＣＵ２０あるいはその他のＥＣＵは、情報処理装置あるいは画像処理装置あるいは信号処理装置として機能する。

カメラ４１は単眼カメラなどの撮像装置であり、たとえば所定のフレームレートで映像を撮影する。撮影した映像は、所定の時間間隔おきのフレームで構成され、それぞれのフレームをここでは画像と呼ぶ。撮影された画像は、所定の時間間隔で物体検出部２０１、補正量推定部２０３、旋回判定部２０５に送られる。所定の時間間隔とはフレームレートの逆数であってもよいし、その整数倍であってもよい。

物体検出部２０１は、画像に含まれた、被写体である人や物などの物標に対応するオブジェクトを検出する。検出されたオブジェクトに関する情報は、検出物体情報として距離推定部２０２に送信される。補正量推定部２０３は、最新の画像とその直前の画像とに基づいてピッチに起因するずれ（これをピッチずれとも呼ぶ）の補正量を推定する。そして本実施形態では、推定した補正量は画像の補正量ｄ'であり、補正量選択部２０４に入力される。旋回判定部２０５は、最新の画像とその直前の画像とに基づいて旋回中であることを判定し、その結果を旋回フラグとして補正量選択部２０４に入力する。

補正量選択部２０４は、旋回フラグが旋回中でないことを示している場合には、ずれ補正量ｄ'を出力し、旋回中であることを示している場合には、ずれ補正量として０を出力する。距離推定部２０２は、画像中に含まれた、検出された物標までの距離を、画像とずれ補正量とに基づいて推定する。

距離推定部２０２による距離の推定はたとえば以下のようにして行ってよい。車両１に固定または調整可能に固定されたカメラ４１の地上高をＨ０とし、カメラ４１から撮影方向（光軸方向）に向かって距離Ｌ０を基準距離とする。そしてカメラ４１による撮影画像中の高さ０（即ち地上）かつ基準距離Ｌ０に相当する画像中の高さ方向の位置を基準位置とする。高さ方向の位置とは、たとえば撮影された矩形の画像の上辺または下辺からの距離（画素数などを単位とする）で定めてよい。逆に、画像中の基準位置を定め、その基準位置に対応する、高さ０（すなわち地上）の位置までの距離を基準距離としてもよい。具体例としては、画像の下辺を基準位置としてもよいし、下辺から所定画素数ずらした位置を基準位置としてもよい。また基準距離Ｌ０にある物標を撮影した画像において、画像中の物標の１画素当たりの高さをｋとする。１画素当たりとは画素ピッチであってよい。このとき、画像中の基準位置から高さｈ（画素数）にあるオブジェクトに対応する物標のカメラ４１からの距離Ｌは、Ｌ＝Ｌ０・（Ｈ０／（Ｈ０－ｈ・ｋ））と表せる。カメラ４１から車両１の前端までの長さをＬｆとすると、車両前端から、画像中で高さｋに写された物標までの距離Ｄは、Ｄ＝Ｌ０・（Ｈ０／（Ｈ０－ｈ・ｋ））－Ｌｆと推定できる。なお上式ではカメラ４１の光軸は水平であると仮定しているが、たとえばカメラ４１に俯角をつけたとしても微小であり、近似的には上式で求めてよい。もちろんこれは一例に過ぎず、他の方法、たとえばカメラの俯角を考慮したより高精度な方法を採用することもできるし、他の方法を用いることもできる。いずれの方法であっても、画像中の物標の高さ方向の位置に基づいて距離が推定される。

ここで、上で説明した例では、ピッチ角変動の補正を行っていない。補正を行う場合には、ずれ補正量ｄ'を、画像中の物標の高さに加える（あるいは差し引く）。すなわち上式でいえば補正済の距離Ｌ'は、Ｌ'＝Ｌ０・（Ｈ０／（Ｈ０－（ｈ＋ｄ'）・ｋ））となり、補正済の距離Ｄ'は、Ｄ'＝Ｌ０・（Ｈ０／（Ｈ０－（ｈ＋ｄ'）・ｋ））－Ｌｆとなる。

図２（Ｂ）は、撮影された画像から距離を推定する例を示す図である。画像２１０で、基準位置は画像の下辺すなわち高さ０の位置である。物体検出部２０１によりたとえば機械学習された物標が画像から検出される。図２（Ｂ）では歩行者２１１および自転車２１２が検出され、検出された物標の領域が特定される。これが検出物体情報に相当する。距離推定部２０２では、そこからそれぞれの物標までの距離を推定する。上述した方法によれば、高さＨｓにある自転車２１２までの距離Ｌｓは、ずれ補正量をｄとして、Ｌｓ＝Ｌ０・（Ｈ０／（Ｈ０－（Ｈｓ＋ｄ'）・ｋ））－Ｌｆである。同様に、高さＨｐにある歩行者２１１までの距離Ｌｐは、Ｌｐ＝Ｌ０・（Ｈ０／（Ｈ０－（Ｈｐ＋ｄ'）・ｋ））－Ｌｆで与えられる。

●ピッチに起因するずれの補正量の推定
図３に補正量推定部２０３の詳細を示す。カメラ４１から入力された画像はグレースケール化処理部３０１に入力されて、グレースケール画像に変換される。ここで入力された処理対象の画像を画像ｋとする。添え字ｋは画像の順序を示し、画像ｋの直前の画像は画像ｋ－１である。直前の画像とは、カメラ４１が撮影した画像ｋの直前のフレームとは限らず、所定数のフレームを間においたフレームであってもよい。グレースケール化された画像ｋは画像切り出し処理部３０２と画像バッファ３１１とに送信される。

画像バッファ３１１は、画像ｋの直前の画像ｋ－１を保持するためのバッファである。画像ｋ－１は画像バッファ３１１から出力されて自車移動量補正部３１２に入力される。自車移動量補正部３１２は、車輪速センサ７ｃが検知した車速や、位置情報から算出された車速などをもう一つの入力として、車速と画像ｋと画像ｋ－１との時間差に基づいて画像ｋ－１を補正する。

図４に自車移動量補正部３１２による補正の一例を示す。画像４００は補正前の画像ｋ－１である。画像４２０は処理対象としている画像ｋである。画像４００は画像４２０よりも撮影時間間隔だけ早い時刻に撮影されており、画像４２０と比べて引いた画像となっている。後段の処理で画像ｋ－１と画像ｋとの差分をとるために、自車移動量補正部３１２は、画像ｋ－１の画角を画像ｋに合わせて補正する。図４の例では、速度ｖと時間間隔ｔｉとから領域４０１が画像ｋの撮影範囲であると特定できるので、領域４０１を切り出して元のサイズへと拡大すると画像４１０が得られる。これにより疑似的に画像ｋ－１の画角を画像ｋと一致させることができる。

自車移動量補正部３１２により補正された画像ｋ－１は、上下シフト処理部３１３により、Ｎ通りのシフト処理が施される。Ｎ通りのシフト処理とは、たとえばｓを定数として、ｎ番目の画像ｋ－１（ｎ）についてシフト量ｐｘ（ｎ）を（ｎ－１）・ｓｆと定める（ここでｎ＝１、...、Ｎ）。そしてそのシフト量ｐｘ（ｎ）に従って画像ｋ－１（ｎ）を上または下にシフトすることでよい（本例では説明のために上向きとする）。ｓｆはシフトの単位となる画素である。具体的には、たとえばｓｆ＝１とし、Ｎ＝３０などとしてよい。この場合、０、１、...、２８、２９という３０通りのシフト量が定まる。この結果、画像ｋ－１から、シフト量に従ってシフトされたＮ個の画像ｋ－１（１）、ｋ－１（２）、...、ｋ－１（Ｎ）が生成される。

Ｎ個の画像ｋ－１は画像切り出し処理部３１４に入力される。画像切り出し処理部３１４では、Ｎ個の画像ｋ－１（ｎ）について、シフト方向の側の画像の辺（本例では上辺）から最大シフト量（本例では（Ｎ－１）・ｓｆ）に対応する行数の画素列をトリムする。シフト処理により、シフト方向の側の辺からｎ・ｓｆ行の画素列は失われ、その反対側の辺には本来ない画素列（たとえば白画素列）が充填されている。切り出し処理により、充填された白画素列を含む（Ｎ－１）・ｓｆ行の画素列を、シフト方向の反対側の辺からトリムする。最大のシフト量である（Ｎ－１）・ｓｆ画素分のシフトを施した画像ｋ－１（Ｎ）では、元の画像ｋ－１から、シフト方向の側の辺から（Ｎ－１）・ｓｆ行分の画素列が失われている。これが元の画像ｋ－１から失われる画素列の数の最大値であるので、他の画像ｋ－１（ｎ）についても、画像ｋ－１（Ｎ）と同じ要領でトリムを施す。すなわちシフト量を（ｎ－１）・ｓｆとしたシフト処理後、（Ｎ－１）・ｓｆ行の画素列を、シフト方向の反対側の辺からトリムする。これにより画像ｋ－１（ｎ）のサイズを統一することができる。

画像切り出し処理部３０２では、画像ｋに対して、画像切り出し処理部３１４で切り出した画像ｋ－１（ｎ）と同じサイズにトリムを施す。画像ｋと画像ｋ－１と間のずれが上下どちらの方向であるかは不明なので、いずれであっても検知できるよう、中間のシフト量でシフトした画像ｋ－１（（Ｎ－１）／２）と同様のシフトおよびトリムを施す。なお（Ｎ－１）／２の小数部は丸められ、例えば切り上げられてよい。画像ｋ－１（（Ｎ－１）／２）は、元の画像ｋ－１に対して、その上辺から（（Ｎ－１）／２）・ｓｆ行の画素列をシフト処理により失わせ、その下辺から（Ｎ－（Ｎ－１）／２）・ｓｆ行の画素列を切り出し処理により切り取った画像である。そこで、画像切り出し処理部３０２でも、元の画像ｋの上辺から（（Ｎ－１）／２）・ｓｆ行の画素列を、下辺から（Ｎ－（Ｎ－１）／２）・ｓｆ行の画素列をトリムする。これにより対象画像である画像ｋのサイズを、基準画像である比較対象の画像ｋ－１と合わせることができる。また、もしピッチ量が０であれば、画像ｋが画像ｋ－１（（Ｎ－１）／２）と一致（あるいはほぼ一致）するように画像ｋを切り出すことができる。

画像差分処理部３０３には、画像切り出し処理部３０２から画像ｋが、画像切り出し処理部３１４からＮ個の画像ｋ－１（ｎ）それぞれが入力される。画像差分処理部３０３は、画像ｋと画像ｋ－１（ｎ）それぞれとの差分を求める。画像差分処理部３０３では入力される画像ｋと画像ｋ－１（ｎ）とについて、必要に応じて同期がとられる。画像ｋ－１が補正量推定部２０３に入力された時刻を基準とすると、画像差分処理部３０３までに、画像ｋ－１（ｎ）については、自車移動量補正部３１２と上下シフト処理部３１３と画像切り出し処理部３１４とによる処理時間を要する。一方画像ｋについては、画像ｋ－１（ｎ）と画像ｋとの時間差（例えばフレーム間隔）と、画像切り出し処理部３０２による処理時間とを要する。画像差分処理部３０３では、いずれか短い方を保持して同期をとってよい。

差分は対応する画素の値の差分であり、一致する画素についての差分は０で、近似するほど値は小さい。そのような差分値で構成された画像を差分画像とも呼ぶ。差分画像はＮ個の画像ｋ－１（ｎ）それぞれについて求められるので、Ｎ個の差分画像が生成される（ｎ＝１、...、Ｎ）。画像二値化処理部３０４では、Ｎ個の差分画像を二値化する。二値化はたとえば所定の閾値と各画素値とを比較し、閾値以上であれは１、閾値未満であれば０とすることなどで行ってよい。閾値としては、たとえば画像ｋ、画像ｋ－１（ｎ）の階調数の中間値を用いてよい。二値化により、画像ｋの画素と画像ｋ－１（ｎ）の対応画素との差が大きければ、その画素値は１となり小さければ画素値は０となる。

最後に、ずれ補正量推定処理部３０５により、ずれ補正量を推定（あるいは特定）する。そのためにまず、Ｎ個の二値化済み差分画像それぞれについて、画素値の総計Ｓ（ｎ）を求める。画素値の総計Ｓ（ｎ）は、値が１の画素数、すなわち画像ｋと画像ｋ－１（ｎ）との間で差が大きい画素の数の総和を示す。この画素の総和Ｓ（ｎ）がより小さい画像ｋ－１（ｎ）が、画像ｋにより類似した画像である。そこで第１の方法では、画素の総和Ｓ（ｎ）が最も小さい画像ｋ－１（ｎ）に対応するシフト量ｐｘ（ｎ）＝（ｎ－１）・ｓｆを、そのままずれ補正量ｄとする。第２の方法では、画素の総和Ｓをシフト量ｐｘの関数とみて、Ｓ（ｎ）の分布を近似する、ｐｘを変数とした二次関数を決定する。そしてその二次関数の最小値を与えるｐｘをずれ補正量ｄとする。後者の方法では、実際に試みていないシフト量からずれ補正量を推定できるため、より大きいステップでシフト量を定めることができる。第２の方法については、この後の図５の説明においてより詳しく説明する。

●ずれ補正量推定の詳細
図５に画像切り出し処理部３１４、３０２からずれ補正量推定処理部３０５までの処理の模式図を示す。ここでは画像ｋ－１からは５通りのシフト量でシフトされた画像ｋ－１（１）～画像ｋ－１（５）が示されている（すなわちＮ＝５）。画像ｋ－１である画像５２１からは、シフトされ、切り出された画像ｋ－１（ｎ）である画像５１１～５１５が示されている。例えば画像５１１のシフト量は０であり。下辺から最大シフト量に相当する行数の画素列がトリムされている。また画像５１５のシフト量は最大であり、やはり下辺から最大シフト量に相当する行数の画素列がトリムされている。ここで画像５１５の上側の領域はシフト処理により切り捨てられた領域であり、画像５１５の下側には、不図示ではあるが、最大シフト量に相当する行数の白色の画素列がシフト処理により充填されている。画像５１５ではその充填された領域が切り捨てられている。他の画像５１２～画像５１４についても同様である。

また画像ｋに相当する画像５２０からは、上述したように、画像ｋ－１に対する中間のシフト量の画像ｋ－１（（Ｎ－１）／２）と同じ要領でトリムされた画像５０１が切り出される。画像５０１は画像差分処理部３０３に含まれたすべての差分器５３０の一方の入力に入れられ、画像５１１～５１５はそれぞれ、差分器５３０各々の他方の入力に入れられる。そこでは対応する画素値の差分が求められる。なお差分は差の大きさの尺度として参照されるので、求められる差分は絶対値であってよい。そのため、画素値には通常符号ビットがないところを、たとえば画素値に正の符号ビットを付加して差分を計算し、その結果符号ビットが反転した場合には２（１０ｂ）の補数を求めて絶対値化してもよい。

対応する画素間の差分で構成された差分画像が差分器５３０から、画像二値化処理部３０４に含まれる二進化器５４０に入力される。二進化器５４０では、各差分画像が所定の閾値で二値化される。閾値は、たとえば階調数の２分の１であってよいし、さらに小さく４分の１や８分の１程度であってもよい。もちろんさらに小さい値であってもよい。

二値化された差分画像はずれ補正量推定部３０５の画素総和部５５０に入力され、それぞれの差分画像の画素値の総和が求められる。この総和は、画像ｋ（対象画像とも呼ぶ）と画像ｋ－１（ｎ）との間で、対応する画素値に閾値以上の差がある画素数を示す。すなわち、理想的には、完全に一致していれば差分画像の画素値はすべて０であり、総和は０となる。そのときの画像ｋ－１（ｎ）のシフト量がピッチに起因するずれ量と判定できる。本実施形態では差分画像の画素値の総和が最小となる画像ｋ－１のシフト量をずれ量として決定する。

そのために画素総和部５５０の出力する総和値は、対応する画像ｋ－１（ｎ）のシフト量ｐｘ（ｎ）（＝（ｎ－１）・ｓｆ）とともに推定部５６０に入力される。以下では推定部５６０が、それらの値から近似する二次関数Ｓ＿ｈａｔ（ｎ）を決定し、そこからずれ量を推定する方法（上述した第２の方法）について説明する。

●近似二次関数の決定
Ｓ＿ｈａｔ（ｎ）は下式で与えられる。
S_hat(n) = a(n-1)Px²(n)+ b(n-1)Px(n) + c(n-1) （１）
= Φ^T(n-1)ζ(n)
ここで、nは画像ｋ－１（ｎ）のｎに相当し、画像ナンバー（ｎ＝１～Ｎ）と呼んでいる。

ここで式（１）で表したＳ＿ｈａｔのモデルパラメータａ，ｂ，ｃを下式により算出する。下式は制御サイクル内でシフト画像数であるＮ回実施される。まず、
Φ^T(n) = [a(n) b(n) c(n)] （２）
ζ^T(n) = [Px²(n) Px(n) 1] （３）
という２つの行列を定める。すなわち式（１）は、式（２）の行列Φ^T（ｎ）と、式（３）で転置して表された行列ζ（ｎ）の積として与えられる。Φ（ｎ）が求めるべき係数行列であり、行列ζ（ｎ）はシフト量ｐｘ（ｎ）により決まる定数の行列である。また誤差ｅ（ｎ）を式（４）で定める。
e(n) = S(n) － S_hat(n) （４）
＝ S(n) － Φ^T(n-1)ζ(n)
ここでＳ（ｎ）は、画像ｋ－１（ｎ）に対応する差分画素値の総和である。すなわち誤差ｅ（ｎ）は、観測された値と近似式で与えた値との誤差を示す。

ここで係数行列Φ（ｎ）を下式で定める。
Φ(n) = Δ Φ(n-1) ＋ KP(n) e(n) （５）
KP(n) = P ζ(n) / (1 + ζ^T (n) P ζ(n)) （６）
式（５）において、Φ（ｎ－１）は画像ナンバー（ｎ－１）に対する係数行列である。Δはそれに乗ずる重みである。ｅ（ｎ）は式４で示された誤差である。ＫＰ（ｎ）は式（６）で定める通りのもので、式（６）では、Ｐは適応ゲイン（Ｐ＞０）である。

以上の手順をｎ＝１からｎ＝Ｎまで繰り返し、Φ^T(N) = [a(N) b(N) c(N)]を決める。これが求める二次関数の係数行列であるので、S_hat(N) = a(N)Px²+ b(N)Px + c(N)の最小値（＝極小値）を与えるｐｘの値ｄ（Ｎ）は、
d(N) = -b(N) / (2 a(N)) （７）
となる。
ここでΦ（ｎ）の初期値はゼロとしてよい。あるいは前回制御サイクルの算出値としてもよい。すなわち、前回ずれ量を推定した際に得られたΦ（Ｎ）を次回のずれ量推定時の初期値として用いてもよい。前回制御サイクルの算出値を初期値として用いると、制御サイクル間での高周波数変動を除去でき、ピッチ補正値から不適切な高周波変動を除去できる。

また、たとえば最小二乗法により二次関数Ｓ＿ｈａｔ２の係数を決定してもよい。この場合には、二次の項から定数項までの係数をａ、ｂ、ｃとして、実際に求められた差分画像の画素値の総和と、二次関数Ｓ＿ｈａｔ２から導かれる画素値の総和との二乗偏差和が最小となるよう係数を決定する。これによりたとえば、
2Σ {S(n)-(a・px(n)²+ b・px(n) + c)}(-px(n)²) = 0
2Σ {S(n)-(a・px(n)²+ b・px(n) + c)}(-px(n)) = 0
2Σ {S(n)-(a・px(n)²+ b・px(n) + c)}(-1) = 0
を満たすａ，ｂ，ｃを二次関数Ｓ＿ｈａｔ２の係数として決めることができる。ここでΣはｎ＝１～Ｎまでの総和を示す。係数が決まれば、最小値を与えるシフト量ｄをｄ＝－ｂ／（２ａ）と決めることができる。以上のようにして補正量推定部２０３では、画像ｋ－１と画像ｋとに基づいてずれ補正量ｄを推定できる。

ここで上述した要領で決定したずれ補正量は画像ｋ－１を基準画像としたものである。実際には画像ｋ－１も画像ｋ－２に対してピッチによる上下方向のずれを生じている可能性がある。これはより以前の画像についても同様であり、ずれは累積している可能性がある。そのためずれ補正量ｄは、原理的には過去の値を累積して決定されるべきである。しかしながら、ずれを累積していると、誤差も累積していき、かえって推定の精度が低下する恐れがある。そこでずれ補正量推定処理部３０５では、累積する過去の推定値に、０＜λ＜１であるような係数（これを忘却係数と呼ぶ）λを乗じた上で累積する。たとえば求めようとする最新のずれ補正量の推定値をｄ'、画像ｋと画像ｋ－１との差のみから求めたずれ補正量の推定値をｄ、画像ｋ－１を対象画像として求めた直前のずれ補正量の推定値をｄ'_k-1とする。忘却係数をλとして
ｄ'＝ｄ＋λｄ'_k-1
を補正量推定部２０３の出力とする。忘却係数を設定することで、誤差の累積を防ぐことができ、それによる推定精度の低下を防止できる。

●旋回判定処理
次に旋回判定部２０５による旋回の判定について説明する。図６（Ａ）に旋回判定部２０５の概略を示す。画像ｋが入力されると、それがグレースケール化処理部６０１によりグレースケール化されて、旋回判定処理部６０２と画像バッファ６０３とに引き渡される。旋回判定処理部６０２には、画像ｋと画像ｋ－１とが同期して入力され旋回判定処理が行われる。旋回判定処理は２つの画像の対応する画素間の差分を求めて差分画像を生成し、その画素値の総和と域とを比較する。比較の結果、総和が閾値よりも大きければ（あるいは閾値以上であれば）、旋回中の可能性があると判定する。そして２つの画像ｋと画像ｋ＋１に対して連続して旋回の可能性があると判定されると旋回フラグをセットする。旋回中と判定されなかった場合には旋回フラグをリセットする。

この例では、画像ｋ－１の拡大補正も、差分画像の二値化も行っていないことから、旋回していない場合にも差分画像の総和はある程度大きな値になることから閾値も大きな値を選択しておいてよい。またあるいは、ずれ補正量の推定と同様に、画像ｋ－１を図４のように拡大補正してもよい。また差分画像を二値化して二値化済みの画素値の総和を求めてもよい。

すでに説明したように、補正量選択部２０４は、旋回フラグがセットされていればずれ補正量として０を、セットされていなければ補正量推定部２０３から入力された補正量ｄ'を距離推定部２０２に入力する。距離推定部２０２では、カメラ４１から画像中の高さｈにある物標までの距離Ｌ'＝Ｌ０・（Ｈ０／（Ｈ０－（ｈ＋ｄ'）・ｋ））として推定する。

以上の構成により、車両のピッチによる画像の上下方向へのずれを補正した上で物標までの距離を推定することができる。ピッチによるずれを補正したことで、より推定精度を向上させることができる。また過去の推定結果を、忘却係数を用いて限定的に累積することで、さらに精度を向上させることができる。また、基準画像ｋ－１と対象画像ｋとの画角の差を、撮影間隔と速度とに元ついて補正することで、より推定精度を向上させることができる。さらに、旋回中と判定された場合には、ずれ補正量を０とすることで、旋回に伴う誤った推定を防止できる。

［第二実施形態］
第二実施形態では、補正量推定部２０３によりずれ補正量ｄ'を、距離の推定に用いる代わりに、画像ｋのシフトのために用いる。この場合には、距離推定部２０２は、ずれ補正量ｄ'を用いて距離Ｌ'を算出する代わりに、画像ｋをずれ補正量ｄ'だけ上下方向にシフトする。たとえばずれ補正量ｄ'の符号が正であれば上方向へ、負であれば下方向へとシフトする。距離Ｌ'は、Ｌ'＝Ｌ０・（Ｈ０／（Ｈ０－ｈ'・ｋ））として求められる。ここでｈ'は補正後の画像ｋにおける物標の基準位置からの高さを示す。以上のようにしても、第一実施形態と同様の効果を奏する。

［第三実施形態］
第三実施形態では、補正量推定部２０３が、ずれ補正量ｄ'に代えて、ピッチ補正量θを出力する。距離推定部２０２は、ピッチ補正量θを用いてピッチングによる推定距離のずれを補正する。

図６（Ｂ）に、ピッチ補正量を推定するための模式図を示す。第一実施形態の要領で画像ｋと画像ｋ－１のみからずれ補正量ｄを決定したなら、それに基づいてピッチ補正量θを決定する。図６（Ｂ）に示すように、ピッチ補正量をθ、画像ｋ－１に対する画像ｋの上下方向のずれ量（ずれ補正量）をｄ、画角をαとする。その他の量も図示したように与えられている。このときθは、
ｔａｎ（（α／２）＋θ）＝（（ｈ／２）＋ｄ）／ｌ
となる。ここでさらに、
ｔａｎ（α／２）＝（ｈ／２）／ｌ
であり、
ｌ＝（ｈ／２）／ｔａｎ（α／２）
である。したがって
ｔａｎ（（α／２）＋θ）＝（（ｈ／２）＋ｄ）／（（ｈ／２）／ｔａｎ（α／２））
となる。ｈは例えば画素数であってよい。この式でθ以外は定数であるから、加法定理などを用いてθを決定できる。

このようにして決定したθについても、第一実施形態と同様に忘却係数λを乗じたうえで累積し、ピッチ補正量θ'＝θ＋λθ'_k-1を求めてよい。さらに、ピッチ補正量θ'は、補正量選択部２０４を経て距離推定部２０２に入力され、距離の推定処理において参照される。そこでは、上述した手順の逆を実行してずれ補正量ｄ'が求められ、第一実施形態或いは第二実施形態と同様の要領で推定距離の算出に用いられてよい。これによって第一実施形態と同様の効果を奏する。

また推定したピッチ補正量は、距離推定だけでなく他の機能のために利用することができる。たとえば、ピッチ補正量と逆位相で前照灯の照射方向を回転させたり、あるいは、レーダを有している場合には、その照射方向をピッチ補正量と逆位相でずらしたりできる。これにより適切な照明や、適切なレーダの探索範囲の設定を行える。

●実施形態のまとめ
上記実施形態は以下の情報処理装置を少なくとも開示する。

１．上記実施形態の情報処理装置は、
撮像手段により時系列の画像を取得する画像取得部と、
画像処理を行う処理部とを有し、
前記処理部は、
前記時系列の画像のうち、対象画像よりも前に取得した基準画像を、相異なる複数通りのシフト量で上下方向にシフトした複数のシフト画像を生成し、前記複数のシフト画像の各々と前記対象画像との差分を基に前記撮像手段のピッチによる補正量を推定する。
この構成により、従来技術と比べてより軽い負荷で精度の高い補正量を推定することができる。

２．上記実施形態の情報処理装置では、
前記処理部は、前記基準画像が撮影されてから前記基準画像が撮影されるまでの時間差と前記撮像手段の移動の速度とに基づいて前記基準画像を拡大し、拡大した前記基準画像を用いて前記補正量を推定する。
この構成により、撮像手段の移動による推定結果への影響を排除できる。

３．上記実施形態の情報処理装置では、
前記処理部は、前記複数のシフト画像の各々と前記対象画像との差分として、画像間で相違する対応画素の画素数を求め、前記複数のシフト画像それぞれのシフト量と前記画素数との相関に基づいて、前記シフト量を変数として前記画素数を与える二次関数を決定し、前記二次関数の最小値を与えるシフト量に基づいて前記補正量を推定する。
この構成により、二次関数で補間することができ、より精度の高い補正量を推定を推定できる。

４．上記実施形態の情報処理装置では、
前記処理部はさらに、時系列の複数の対象画像に基づいて求めた補正量を積算して前記補正量を特定し、積算する際に、過去の対象画像について特定した補正量については忘却係数を乗ずる。
この構成により、誤差の累積を抑制してより精度の高い補正量を推定を推定できる。

５．上記実施形態の情報処理装置では、
前記処理部は、前記対象画像と前記基準画像との差分に基づいて前記撮像手段の横方向への移動を判定し、横方向への移動が判定された場合には、前記補正量を０とする。
この構成により、横方向への移動をピッチによるずれとして誤認することを防止することができる。

６．上記実施形態の情報処理装置では、
前記処理部は、前記対象画像におけるオブジェクトまでの高さと前記補正量とに基づいて、前記対象画像に含まれたオブジェクトに対応する物標までの距離を特定する。
この構成により、ピッチによるずれを補正した距離の推定を実現できる。

７．上記実施形態の情報処理装置では、
前記撮像手段は車両に固定されている。
これにより、ピッチングする車両から物標までの距離を高精度で推定できる。

８．上記実施形態の情報処理方法は、
画像取得部と画像処理を行う処理部とを有する情報処理方法であって、
前記画像取得部は、撮像手段により時系列の画像を取得し、
前記処理部は、
前記時系列の画像のうち、対象画像よりも前に取得した基準画像を、相異なる複数通りのシフト量で上下方向にシフトした複数のシフト画像を生成し、前記複数のシフト画像の各々と前記対象画像との差分を基に前記撮像手段のピッチによる補正量を特定する。
この構成により、従来技術と比べてより軽い負荷で精度の高い補正量を推定することができる情報処理方法を提供できる。

発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。

２０－２９ＥＣＵ、４１カメラ

Claims

撮像手段により時系列の画像を取得する画像取得部と、
画像処理を行う処理部とを有し、
前記処理部は、
前記時系列の画像のうち、対象画像よりも前に取得した基準画像を、前記基準画像が撮影されてから前記対象画像が撮影されるまでの時間差と前記撮像手段の移動の速度とに基づいて、前記基準画像に含まれた前記対象画像の撮影範囲の画角が前記対象画像の画角と一致するよう拡大し、拡大した前記基準画像を相異なる複数通りのシフト量で上下方向にシフトした複数のシフト画像を生成し、前記複数のシフト画像の各々と前記対象画像との差分を基に前記撮像手段のピッチによる補正量を特定する
ことを特徴とする情報処理装置。
請求項１に記載の情報処理装置であって、
前記処理部は、前記複数のシフト画像の各々と前記対象画像との差分として、画像間で相違する対応画素の画素数を求め、前記複数のシフト画像それぞれのシフト量と前記画素数との相関に基づいて、前記シフト量を変数として前記画素数を与える二次関数を決定し、前記二次関数の最小値を与えるシフト量に基づいて前記補正量を特定する
ことを特徴とする情報処理装置。
請求項１または２に記載の情報処理装置であって、
前記処理部はさらに、時系列の複数の対象画像に基づいて求めた補正量を積算して前記補正量を特定し、積算する際に、過去の対象画像について特定した補正量については忘却係数を乗ずる
ことを特徴とする情報処理装置。
請求項１乃至３のいずれか一項に記載の情報処理装置であって、
前記処理部は、前記対象画像と前記基準画像との差分に基づいて前記撮像手段の横方向への移動を判定し、横方向への移動が判定された場合には、前記補正量を０とする
ことを特徴とする情報処理装置。
請求項１乃至４のいずれか一項に記載の情報処理装置であって、
前記処理部は、前記対象画像におけるオブジェクトまでの高さと前記補正量とに基づいて、前記対象画像に含まれたオブジェクトに対応する物標までの距離を特定する
ことを特徴とする情報処理装置。
請求項１乃至５のいずれか一項に記載の情報処理装置であって、
前記撮像手段は車両に固定されている
ことを特徴とする情報処理装置。
画像取得部と画像処理を行う処理部とを有する情報処理方法であって、
前記画像取得部は、撮像手段により時系列の画像を取得し、
前記処理部は、
前記時系列の画像のうち、対象画像よりも前に取得した基準画像を、前記基準画像が撮影されてから前記対象画像が撮影されるまでの時間差と前記撮像手段の移動の速度とに基づいて、前記基準画像に含まれた前記対象画像の撮影範囲の画角が前記対象画像の画角と一致するよう拡大し、拡大した前記基準画像を相異なる複数通りのシフト量で上下方向にシフトした複数のシフト画像を生成し、前記複数のシフト画像の各々と前記対象画像との差分を基に前記撮像手段のピッチによる補正量を特定する
ことを特徴とする情報処理方法。