JP7201002B2 - 画像処理装置、制御プログラム、および画像処理方法 - Google Patents

Description

本発明は、画像処理装置、制御プログラム、および画像処理方法に関する。

近年、測定空間内の侵入者や車両を検出する目的で、レーザーレーダーなどのＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式を用いた測定器で検出した測距点群データ（距離画像）の中から物体を検出する物体検出システムが使用されている。ここで、測距点群データとは、２次元座標に物体までの距離値をマッピングしたものである。測距点群データから移動体を含む画素を抽出する方法としては、特許文献１にも記載されるように、計測結果である測距点群データと予め取得しておいた背景画像（つまり、移動体が存在しない状態の測距点群データ）とを比較して距離に差がある画素を抽出する方法が知られている。

ところで、レーザーレーダーは、照射したレーザー光が対象物で反射され受光部に戻ってくるまでの時間を計測することにより対象物までの距離値を取得している。そのため、対象物が鏡面であることで全反射する場合や、物体表面が黒色であること等により吸収成分が多かったりする場合は、受光部にレーザー光が十分に戻ってこず、対象物までの距離値を取得することができない。例えば、雨が降ることにより道路表面にできた水たまりや、光沢のある黒色の車両では、十分な反射光量が得られずに距離値を取得できない。

特許文献２では、照射したレーザー光の反射光量が得られない照射角度を抽出し、その照射角度には、黒い車両等の移動物体が存在すると判断する物体検出ユニットが開示されている。また、この特許文献２では、さらに、踏切を跨ぐ横断路の四隅に、複数の物体検出ユニットを互いの検知領域が重複するように配置する構成も開示されており、この構成では、それぞれの物体検出ユニットから得られた検出結果を突き合わせることで、移動物体の形状を推定している。

特開２００５－３００２５９号公報 特開２００７－１２６０２５号公報

しかしながら、特許文献２では、黒い車両等が存在する方向（照射角度）を得ることはできるが、その物体までの距離値や形状を得ることはできない。距離値や形状を得るためには、横断道路の４隅に配置した複数の物体検出ユニットからの検出結果を突き合わせる必要があり、特定の場所にしか適用できず、また、装置が大がかりになる。

本発明は、上記事情に鑑みてなされたものであり、黒い車両などの反射波が得られない物体であっても、精度よくその物体までの距離値を検知できる画像処理装置を提供することを目的とする。

本発明の上記目的は、下記の手段によって達成される。

（１）測定器から複数の方位に向けた送信波を、測定空間に向けて照射してから、該送信波の対象物からの反射波を受信するまでの時間間隔に基づいて算出した距離値の分布を示す複数の画素で構成された測距点群データを取得する取得部と、
前記測距点群データに基づいて生成した基準背景データを記憶する記憶部と、
画素判定部と、
を備え、
前記測距点群データの画素は、前記送信波を送信した方向からの前記反射波に基づいて距離値を取得できない場合に、識別可能な共通の識別子が埋め込まれており、
前記画素判定部は、前記取得部から取得した前記測距点群データの各画素に対して、
条件（ｉ）：画素の距離値が、前記距離値が得られないことを示す前記識別子であり、
条件（ii）：判定処理の対象となる画素に対応する前記基準背景データの距離値が前記識別子ではない、および、
条件（iii）：判定の対象となる画素に隣接する隣接画素の距離値が該隣接画素に対応する前記基準背景データの距離値よりも小さい、
を判定する判定処理を行い、前記条件（ｉ）から（iii）を全て満たす場合に、判定対象となる画素を所定の距離値に置換する、画像処理装置。

（２）前記基準背景データと、前記画素判定部が前記置換の処理を行った測距点群データを用いて、物体検知を行う物体判定部を、備える上記（１）に記載の画像処理装置。

（３）前記条件（iii）の判定に用いる隣接画素の距離値は、前記隣接画素に対する前記判定処理によって置換処理を行った後の距離値を用いる、上記（１）、または上記（２）に記載の画像処理装置。

（４）前記取得部は、時系列に並んだ、複数の前記測距点群データを取得し、
前記画素判定部は、さらに、
条件（iv）：時間的に前の前記測距点群データにおいて、判定の対象となる前記画素に対応する画素が前記識別子ではない、を判定し、
前記条件（ｉ）から（iv）を全て満たす場合に、判定対象となる前記画素を前記所定の距離値に置換する、上記（１）から上記（３）のいずれかに記載の画像処理装置。

（５）前記画素判定部は、前記条件（iv）の時間的に前の前記測距点群データとして、判定を行う前記測距点群データから所定時間以内の前記測距点群データを用いる、上記（４）に記載の画像処理装置。

（６）前記画素判定部は、置換する前記所定の距離値として、判定の対象となる前記画素に隣接する画素の距離値、または、判定の対象となる前記画素から所定範囲内にある周辺の画素の距離値を用いる、上記（１）から上記（５）のいずれかに記載の画像処理装置。

（７）前記記憶部には、前記測距点群データの各画素の処理の履歴情報が記憶されており、
前記履歴情報には、少なくとも、前記置換の処理を行った置換画素であることを示す情報が含まれる、上記（１）から上記（６）のいずれかに記載の画像処理装置。

（８）さらに、前記画素判定部が前記置換の処理を行った置換後の前記測距点群データを表示させる出力部、を有し、
前記出力部の表示においては、前記履歴情報を参照することで前記置換画素を、他の画素と識別できる態様で表示されている、上記（７）に記載の画像処理装置。

（９）前記物体判定部は、前記測定空間内に設定した所定エリアへの物体の進入判定、前記所定エリアを通過する前記物体のカウント、および物体の移動軌跡の判定、の少なくとも１つを行う、上記（２）に記載の画像処理装置。

（１０）前記測定器は、前記送信波としてレーザー光を照射するライダーである、上記（１）から上記（９）のいずれかに記載の画像処理装置。

（１１）対象物までの距離値の分布を示す測距点群データを用いた画像処理を行い、前記測距点群データに基づいて生成した基準背景データを記憶する記憶部を備える画像処理装置を制御するコンピューターで実行される制御プログラムであって、
測定器から複数の方位に向けた送信波を、測定空間に向けて照射してから、該送信波の対象物からの反射波を受信するまでの時間間隔に基づいて算出した距離値の分布を示す複数の画素で構成された測距点群データを取得するステップ（ａ）と、
前記ステップ（ａ）で取得した前記測距点群データの画素は、前記送信波を送信した方向からの前記反射波に基づいて距離値を取得できない場合に、識別可能な共通の識別子が埋め込まれており、前記測距点群データの各画素に対して、
条件（ｉ）：画素の距離値が、前記距離値が得られないことを示す前記識別子であり、
条件（ii）：判定の対象となる画素に対応する前記基準背景データの距離値が前記識別子ではない、
条件（iii）：判定の対象となる画素に隣接する隣接画素の距離値が該隣接画素に対応する前記基準背景データの距離値よりも小さい、
を判定する判定処理を行うステップ（ｂ）と、
前記ステップ（ｂ）で、前記条件（ｉ）から（iii）を全て満たす場合に、判定対象となる画素を所定の距離値に置換するステップ（ｃ）と、
を含む処理を前記コンピューターに実行させるための制御プログラム。

（１２）前記処理は、さらに、
前記基準背景データと、前記ステップ（ｃ）で、前記置換の処理を行った測距点群データを用いて、物体検知を行うステップ（ｄ）を含む、上記（１１）に記載の制御プログラム。

（１３）前記ステップ（ｂ）の前記条件（iii）の判定に用いる隣接画素の距離値は、前記隣接画素に対する前記判定処理によって置換処理を行った後の距離値を用いる、上記（１１）、または上記（１２）に記載の制御プログラム。

（１４）前記ステップ（ａ）では、時系列に並んだ、複数の前記測距点群データを取得し、
前記ステップ（ｂ）では、さらに、
条件（iv）：時間的に前の前記測距点群データにおいて、判定の対象となる前記画素に対応する画素が前記識別子ではない、を判定し、
前記ステップ（ｃ）では、前記条件（ｉ）から（iv）を全て満たす場合に、判定対象となる前記画素を前記所定の距離値に置換する、上記（１１）から上記（１３）のいずれかに記載の制御プログラム。

（１５）前記ステップ（ｂ）の前記条件（iv）の時間的に前の前記測距点群データとして、判定を行う前記測距点群データから所定時間以内の前記測距点群データを用いる、上記（１４）に記載の制御プログラム。

（１６）前記ステップ（ｃ）では、置換する前記所定の距離値として、判定の対象となる前記画素に隣接する画素の距離値、または、判定の対象となる前記画素から所定範囲内にある周辺の画素の距離値を用いる、上記（１１）から上記（１５）のいずれかに記載の制御プログラム。

（１７）前記処理は、さらに、少なくとも、前記ステップ（ｃ）で前記置換の処理を行った置換画素であることを示す情報を含む履歴情報を、前記記憶部に記憶するステップ（ｅ）を含む、上記（１１）から上記（１６）のいずれかに記載の制御プログラム。

（１８）前記処理は、さらに、前記ステップ（ｃ）で前記置換の処理を行った置換後の前記測距点群データを表示させるステップ（ｆ）、を含み、
前記ステップ（ｆ）の表示においては、前記履歴情報を参照することで前記置換画素を、他の画素と識別できる態様で表示されている、上記（１７）に記載の制御プログラム。

（１９）前記処理は、前記ステップ（ｄ）で検知した物体に対して、さらに、前記測定空間内に設定した所定エリアへの物体の進入の判定、前記所定エリアを通過する前記物体のカウント、および物体の移動軌跡の判定、の少なくとも１つを行う、ステップ（ｇ）を含む、上記（１２）に記載の制御プログラム。

（２０）対象物までの距離値の分布を示す測距点群データを用いた画像処理を行い、前記測距点群データに基づいて生成した基準背景データを記憶する記憶部を備える画像処理装置で実行される画像処理方法であって、
測定器から複数の方位に向けた送信波を、測定空間に向けて照射してから、該送信波の対象物からの反射波を受信するまでの時間間隔に基づいて算出した距離値の分布を示す複数の画素で構成された測距点群データを取得するステップ（ａ）と、
前記ステップ（ａ）で取得した前記測距点群データの画素は、前記送信波を送信した方向からの前記反射波に基づいて距離値を取得できない場合に、識別可能な共通の識別子が埋め込まれており、前記測距点群データの各画素に対して、
条件（ｉ）：画素の距離値が、前記距離値が得られないことを示す前記識別子であり、
条件（ii）：判定の対象となる画素に対応する前記基準背景データの距離値が前記識別子ではない、
条件（iii）：判定の対象となる画素に隣接する隣接画素の距離値が該隣接画素に対応する前記基準背景データの距離値よりも小さい、
を判定する判定処理を行うステップ（ｂ）と、
前記ステップ（ｂ）で、前記条件（ｉ）から（iii）を全て満たす場合に、判定対象となる画素を所定の距離値に置換するステップ（ｃ）と、
を含む画像処理方法。

本発明によれば、送信波を、測定空間に向けて照射してから、該送信波の対象物からの反射波を受信するまでの時間間隔に基づいて算出した距離値の分布を示す複数の画素で構成された測距点群データの各画素に対して、条件（ｉ）：画素の距離値が、距離値が得られないことを示す識別子であり、条件（ii）：判定処理の対象となる画素に対応する基準背景データの距離値が識別子ではない、および、条件（iii）：判定の対象となる画素に隣接する隣接画素の距離値が該隣接画素に対応する基準背景データの距離値よりも小さい、を判定する判定処理を行い、条件（ｉ）から（iii）を全て満たす場合に、判定対象となる画素を所定の距離値に置換する。このようにすることで、距離値が得られない画素を、所定の距離値に置換することで、識別子の距離値を示す画素が、物体の一部であることを識別できる。これにより、物体検知の精度を向上できる。

本実施形態に係る画像処理装置を備えた物体検出システムの構成を示すブロック図である。 ライダーの概略構成を示す断面図である。 車両が通行する道路上が測定空間となるようにライダーを配置した状態を示す模式図である。 ライダーによって測定空間内を走査する状態を示す模式図である。 画素の判定条件と判定結果を示すテーブルである。 第１の実施形態における画像処理を示すフローチャートである。 図６のステップＳ１１の画素置換処理を示すサブルーチンフローチャートである。 図７Ａに続く処理を示すサブルーチンフローチャートである。 測距点群データの構造、および画素の処理順序を示す模式図である。 置換画素を区別して表示したディスプレイへの表示例である。 第２の実施形態における画像処理でのサブルーチンフローチャートである。 第２の実施形態における画素の判定条件と判定結果を示すテーブルである。

以下、添付した図面を参照して、本発明の実施形態を説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

図１は、物体検出システム１０の主要構成を示すブロック図である。物体検出システム１０は、測定器１００、画像処理装置２００、およびディスプレイ３００を備える。測定器１００は、ＴｏＦ方式により、物体までの距離を測定する。より具体的には、複数の方位に向けた送信波を、測定空間に向けて照射してから、この送信波の対象物からの反射波を受信するまでの時間間隔により各方位における物体までの距離を測定する。測定器１００は、例えば、赤外線（８００～１０００ｎｍ程度）のレーザー光を用いたライダー１１０（ＬｉＤＡＲ：Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）を有する。ライダー１１０を用いることで、高い分解能で物体までの距離を測定できる。なお、ライダー１１０に換えてミリ波の送信波を用いたミリ波レーダーを適用してもよい。ディスプレイ３００は、液晶ディスプレイであり、測距点群データに基づく画像を表示する（後述する）。なお、ディスプレイ３００とともにスピーカーを備え、アラートが発生した場合に警告音等の音声を出力するようにしてもよい。

以下の説明では、最初に、ライダー１１０を適用した測定器１００について説明し、画像処理装置２００についての説明は後述する。

（測定器１００）
以下、図２から図４を参照し、測定器１００のライダー１１０の構成について説明する。図２は、ライダー１１０の概略構成を示す断面図である。図３は、道路上が測定空間となるようにライダーを配置した状態を示す模式図である。図４は、ライダー１１０によって測定空間内を走査する状態を示す模式図である。

図２に示すようにライダー１１０は、投受光ユニット１１１を有する。投受光ユニット１１１は、半導体レーザー５１、コリメートレンズ５２、ミラーユニット５３、レンズ５４、フォトダイオード５５、およびモーター５６、ならびにこれらの各構成部材を収容する筐体５７を有する。筐体５７内には、画像処理装置２００の測距点群データ取得部２２１が配置されている。投受光ユニット１１１は、レーザースポット光によりライダー１１０の測定空間内を走査することで得られた各画素の受光信号を出力する。測距点群データ取得部２２１は、この受光信号に基づいて、測距点群データを生成する。この測距点群データは距離画像、または距離マップとも称される。

半導体レーザー５１は、パルス状のレーザー光束を出射する。コリメートレンズ５２は、半導体レーザー５１からの発散光を平行光に変換する。ミラーユニット５３は、コリメートレンズ５２で平行とされたレーザー光を、回転するミラー面により測定領域に向かって走査投光するとともに、対象物からの反射光を反射させる。レンズ５４は、ミラーユニット５３で反射された対象物からの反射光を集光する。フォトダイオード５５は、レンズ５４により集光された光を受光し、Ｙ方向に並んだ複数の画素を有する。モーター５６はミラーユニット５３を回転駆動する。

測距点群データ取得部２２１は、測定器１００の動作を制御し、所定周期（例えば、数～２０Ｈｚ）で連続したフレーム（測距点群データ）を生成させる。測距点群データ取得部２２１は、測定器１００の半導体レーザー５１の出射タイミングと、フォトダイオード５５の受光タイミングとの時間間隔（時間差）に基づいて距離情報（距離値）を求める。測距点群データ取得部２２１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）とメモリで構成され、メモリに記憶しているプログラムを実行することにより各種の処理を実行することによって測距点群データを求めるが、測距点群データ生成用の専用ハードウェア回路を備えてもよい。また、測距点群データ取得部２２１は、後述する画像処理装置２００の筐体内部に組み込まれ、ハードウェア的に統合されてもよい。なお、他の実施形態として、測距点群データ取得部２２１は、単に入出力機能のみを担い、ライダー１１０が生成した測距点群データを取得するようにしてもよい。

本実施形態において、半導体レーザー５１とコリメートレンズ５２とで出射部５０１を構成し、レンズ５４とフォトダイオード５５とで受光部５０２を構成する。出射部５０１、受光部５０２の光軸は、ミラーユニット５３の回転軸５３０に対して直交していることが好ましい。

剛体である柱６２等に固定して設置されたボックス状の筐体５７は、上壁５７ａと、これに対向する下壁５７ｂと、上壁５７ａと下壁５７ｂとを連結する側壁５７ｃとを有する。側壁５７ｃの一部に開口５７ｄが形成され、開口５７ｄには透明板５８が取り付けられている。

ミラーユニット５３は、２つの四角錐を逆向きに接合して一体化した形状を有し、すなわち対になって向き合う方向に傾いたミラー面５３１ａ、５３１ｂを４対（但し４対に限られない）有している。ミラー面５３１ａ、５３１ｂは、ミラーユニットの形状をした樹脂素材（例えばＰＣ（ポリカーボネート））の表面に、反射膜を蒸着することにより形成されていることが好ましい。

ミラーユニット５３は、筐体５７に固定されたモーター５６の軸５６ａに連結され、回転駆動されるようになっている。本実施形態では、例えば、柱６２に設置された状態で、軸５６ａの軸線（回転軸線）が鉛直方向であるＹ方向に延在しており、Ｙ方向に直交するＸ方向およびＺ方向によりなすＸＺ平面が水平面となっているが、軸５６ａの軸線を鉛直方向に対して傾けてもよい。

次に、ライダー１１０の対象物検出原理について説明する。図２において、半導体レーザー５１からパルス状に間欠的に出射された発散光は、コリメートレンズ５２で平行光束に変換され、回転するミラーユニット５３の第１ミラー面５３１ａに入射する。その後、第１ミラー面５３１ａで反射され、さらに第２ミラー面５３１ｂで反射した後、透明板５８を透過して外部の測定空間に向けて、例えば複数のレーザー光の束で全体として縦長の矩形断面を持つレーザースポット光（図４）として走査投光される。なお、レーザースポット光が出射される方向と、出射されたレーザースポット光が対象物で反射し、反射光として戻ってくる方向は重複し、この重複する２方向を投受光方向という。同一の投受光方向に進行するレーザースポット光は、同一の画素で検出される。

図３は、車両が通行する道路６１上が測定空間６０となるようにライダー１１０を配置した状態を示す模式図である。ライダー１１０は柱６２の上部に、道路６１に向けて配置されている。測定空間６０内の道路６１上には、物体（動体）８１、８２が存在する。同図の例では、物体８１は車両（普通乗用車）であり、物体８２は歩行者である。

図４は、ミラーユニット５３の回転に応じて、出射するレーザースポット光５００（ハッチングで示す）で、図３に示したような測定空間６０内を走査する状態を示す図である。投受光ユニット１１１は、天地逆に配置されており、右下の原点Ｏを走査開始点として、左上に向けて順次走査を行う。ここで、ミラーユニット５３の対のミラー（第１ミラー面５３１ａと第２ミラー面５３１ｂ）の組み合わせにおいて、４対はそれぞれ交差角が異なっている。レーザー光は、回転する第１ミラー面５３１ａと第２ミラー面５３１ｂにて、順次反射される。まず１番対の第１ミラー面５３１ａと第２ミラー面５３１ｂにて反射したレーザー光は、ミラーユニット５３の回転に応じて、測定空間の一番下の領域Ｌｎ１を水平方向（「主走査方向」ともいう）に右から左へと走査される。次に、２番対の第１ミラー面５３１ａと第２ミラー面５３１ｂで反射したレーザー光は、ミラーユニット５３の回転に応じて、測定空間の下から２番目の領域Ｌｎ２を水平方向に右から左へと走査される。次に、３番対の第１ミラー面５３１ａと第２ミラー面５３１ｂで反射したレーザー光は、ミラーユニット５３の回転に応じて、測定空間の下から３番目の領域Ｌｎ３を水平方向に右から左へと走査される。次に、４番対の第１ミラー面５３１ａと第２ミラー面で反射したレーザー光は、ミラーユニット５３の回転に応じて、測定空間の最も上の領域Ｌｎ４を水平方向に右から左へと走査される。これによりライダー１１０が測定可能な測定空間全体の１回の走査が完了する。この領域Ｌｎ１～Ｌｎ４の走査により得られた画像を組み合わせて、１つのフレーム９００が得られる。そして、ミラーユニット５３が１回転した後、再び１番対の第１ミラー面５３１ａと第２ミラー面５３１ｂに戻り、以降は測定空間の一番下の領域Ｌｎ１から最も上の領域Ｌｎ４までの走査（この上下方向を「副走査方向」ともいう）を繰り返し次のフレーム９００が得られる。

図２において、走査投光された光束のうち対象物に当たって反射したレーザー光の一部は、再び透明板５８を透過して筐体５７内のミラーユニット５３の第２ミラー面５３１ｂに入射し、ここで反射される。その後、このレーザー光はさらに第１ミラー面５３１ａで反射されて、レンズ５４により集光され、それぞれフォトダイオード５５の受光面で画素毎に検知される。さらに、測距点群データ取得部２２１が、半導体レーザー５１の出射タイミングとフォトダイオード５５の受光タイミングとの時間差に応じて距離情報を求める。これにより測定空間６０内の全領域で対象物の検出を行って、画素毎に距離情報を持つ測距点群データとしてのフレームを得ることができる。また、ユーザーの指示により、予め測定し、得られた測距点群データは、基準背景データとして、画像処理装置２００のメモリ（後述の記憶部２１０）に記憶される。

（物体検出システム１０の画像処理装置２００）
再び、図１を参照し、画像処理装置２００の各構成について説明する。画像処理装置２００は、例えば、コンピューターであり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、メモリ（半導体メモリ、磁気記録媒体（ハードディスク等））、入出力部（ディスプレイ、キーボード、等）、通信Ｉ／Ｆ（ｉｎｔｅｒｆａｃｅ）等を備える。通信Ｉ／Ｆは、外部機器と通信するためのインターフェースである。通信には、イーサネット（登録商標）、ＳＡＴＡ、ＰＣＩ Ｅｘｐｒｅｓｓ、ＵＳＢ、ＩＥＥＥ１３９４などの規格によるネットワークインターフェースが用いてもよい。また、通信には、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１、４Ｇなどの無線通信インターフェースを用いてもよい。

画像処理装置２００は、図１に示すように、記憶部２１０、および処理部２２０を有する。この処理部２２０は、測距点群データ取得部２２１、画素判定部２２２、物体判定部２２３、および出力部２２４を有する。

（記憶部２１０）
記憶部２１０は、半導体メモリ、および磁気記録媒体（ハードディスク等）で構成され、１フレーム分の基準背景データ、および複数フレーム分の前の時間の履歴情報データ、または測距点群データを記憶する。

基準背景データの生成方法について説明する。測定の前準備（前処理）として、ユーザーの指示により、車両や動物等の移動物体が存在しない状態で、ライダー１１０からレーザースポット光を走査する。これにより背景対象物（静止物）から得られた反射光に基づいて、基準背景データを生成できる。また、所定期間中に得られた複数のフレームによって得られた各画素の距離値のうち最も小さい値を当該画素の最大距離値とする。そして、この最大距離値が、基準背景データの画素の距離値よりも大きい場合には、この最大距離値で基準背景データを更新するようにしてもよい。

履歴情報データは、後述する、画素判定部２２２により１フレーム（測距点群データ）の各画素を判定（分類）し、判定結果を履歴情報データとして、フレーム単位で記憶部２１０に記憶する。履歴情報データは、少なくとも直前の１フレーム分あればよく、過去１フレーム分の測距点群データが取得され、この画素の判定をする度に、最新のデータに更新されてゆく。

（処理部２２０）
（測距点群データ取得部２２１）
測距点群データ取得部２２１の機能については、上述したとおりである。測距点群データ取得部２２１は、測定時に、制御信号を出力し、ライダー１１０の投受光ユニット１１１により、複数の照射方向に向けた送信波を、測定空間６０に渡って照射させ、測定空間６０内の物体（対象物）からの送信波の反射波に応じた受信信号を取得する。そして、この受信信号の受信タイミング（送受信の時間間隔）に応じて複数の照射方向における、それぞれの距離情報を得る。そしてこれにより、測距点群データを生成する。

また、この測距点群データは、測定できない画素には、そのことを示す識別子が埋め込まれている。具体的には、物体までの距離が非常に遠い（「無限遠」ともいう）場合や、表面が鏡面、もしくは光沢な黒色等であることにより十分な量（光量）の（十分なエネルギーの）反射波を検知できず、距離値が得られなかった画素については、距離値として距離値が得られなかったことを示す共通の識別子（「タグ値」ともいう）が埋め込まれている。以下、このような識別子が埋め込まれている画素を、単に「無限遠」または「無限遠画素」ともいう。各画素の距離値を２バイトで表現するような場合、この距離値が得られないことを示す識別子としては最大値「ＦＦＦＦ」を用いる。

（画素判定部２２２）
画素判定部２２２は、測距点群データ取得部２２１が取得した測距点群データの各画素について、その種類を判定し、判定結果に応じて、隣接または周辺の画素の距離値に置換する。具体的には、画素判定部２２２は、測距点群データの各画素について、背景画像データ、または、背景画像データとともに時間的に前のフレームの測距点群データを参照する。そして、測距点群データを構成する画素それぞれを判定対象の画素とし、下記の（１）背景画素、（２）前景画素、（３）無限遠背景画素、（４）置換画素、（５）置換無し画素のいずれかと判定する。また判定結果は、履歴情報データとして、フレーム単位で記憶部２１０に記憶する。（１）～（５）の判定条件は下記のとおりである。
（１）「背景画素」は、画素の距離値が、対応する背景画像データの画素の距離値（以下、単に「背景距離値」ともいう）と同等である場合である。また、画素の距離値が、背景距離よりも遠い状態が、所定回数以上（所定時間以上）継続したような場合には、背景画像データの画素を、遠い側の距離値に置き換えることで、逐次、背景画像データの更新をするようにしてもよい。
（２）「前景画素」は、画素の距離値が有限値（無限遠の識別子ではない）で、背景距離値よりも小さい場合である。
（３）「無限遠背景画素」は、背景画素値と、画素の距離値がともに無限遠の識別子の場合である。
（４）「置換画素」は、下記の条件（ｉ）から（iii）を判定し、全てを満たす場合に、置換画素として判定する。
条件（ｉ）：画素の距離値が、距離値が得られないことを示す無限遠の識別子であり、
条件（ii）：判定処理の対象となる画素に対応する基準背景データの距離値が無限遠の識別子ではない、および、
条件（iii）：判定の対象となる画素に隣接する隣接画素の距離値が隣接画素に対応する基準背景データの距離値よりも小さい（すなわち、前景画素である）。また、さらに
条件（iv）：時間的に前のフレームの測距点群データにおいて、判定の対象となる画素に対応する画素（の距離値）が識別子（無限遠）ではない、を判定し、条件（ｉ）から（iv）の全てを満たす場合に、置換画素として判定するようにしてもよい（後述の第２の実施形態）。

なお、この時間的に前のフレームとは、１つ前のフレームを用いてもよく、判定の対象となるフレーム（現時点）よりも所定時間以内の範囲内であればいずれか、または複数のフレームを用いてもよい。所定時間以内とすることで、路面が変化した場合に速やかに適用できる。
（５）「置換無し画素」は、条件（iii）を満たさず、それ以外の条件（ｉ）、（ii）を満たす場合である。

図５は、画素の判定条件と判定結果を示すテーブルである。同図において丸数字の１～５は、上記（１）～（５）に対応する。

また、画素判定部２２２は、（４）「置換画素」に相当すると判定した画素については、隣接する画素のうち前景画素であるいずれかの距離値、またはこれらの距離値の平均値を用い、当該距離値を、置換画素に分類した画素に埋め込む（置換する）処理を行う。例えば、判定の対象となる画素に対して四方に隣接する画素のうち、前景画素である画素の距離値（またはこの平均値）、または、前景画素である四方に隣接する画素のうち原点Ｏに近い方の画素の距離値（またはこの平均値）を用いて置換する。なお、（４）置換画素の判定条件において、隣接画素における条件（iii）は、この隣接画素の実際の測定値で前景画素となった場合だけでではなく、当該隣接画素における判定結果により（４）「置換画素」と判定され、前景に対応する距離値に置換された場合も含む（再帰的な置換処理）。これらの置換処理の具体例については後述する。なお、隣接画素に限られず、判定画素の周辺画素の距離値を用いてもよい。具体的には、画素判定の対象となる画素から所定の距離（画素数距離）以内の周辺の画素のうち、前景画素の距離値の平均値を用いて置換する。

（物体判定部２２３）
物体判定部２２３は、画素判定部２２２により置換処理を行った測距点群データを用いて測定空間６０内の物体を認識する。本実施形態では、例えば背景差分法を採用する。この背景差分法では、予め生成し、記憶部２１０に保存しておいた背景画像データ（基準背景データともいう）を用いる。

物体判定部２２３は、動体を認識する機能を有する。物体判定部２２３は記憶部２１０に保持している背景画像データと現時点での測距点群データとを比較して、差が生じた場合、車両等の何らかの動体（前景の物体）が測定空間６０内に現れたことを認識できる。例えば、背景差分法を用いて、背景画像データと、現時点での測距点群データ（距離画像データ）とを比較することで、前景データを抽出する。そして抽出した前景データの画素（画素群）を、例えば画素の距離値に応じてクラスタに分ける。そして、各クラスタのサイズを算定する。例えば、垂直方向寸法、水平方向寸法、総面積等を算出する。なお、ここでいう「サイズ」は、実寸法であり、見た目上の大きさ（画角、すなわち画素の広がり）とは異なり、対象物までの距離に応じて画素群の塊が判断される。例えば、物体判定部２２３は算定したサイズが抽出対象の解析対象の動体を特定するための所定のサイズ閾値以下か否か判定する。サイズ閾値は、測定場所や行動解析対象等により任意に設定できる。車両、人を追跡して行動を解析するのであれば、車両、または人の大きさそれぞれの最小値を、クラスタリングする場合のサイズ閾値とすればよい。これにより、落ち葉やビニール袋等のゴミ、または小動物を検知対象から除外できる。特に、本実施形態においては、黒い車両等の検知が難しい車両が測定空間６０を通過した場合に、車両のボディの距離を測定できず、無限遠の距離値（識別子）の場合であっても、画素判定部２２２による置換処理を行える。これにより、隣接の前景画素の距離値で置換されるので、置換後の距離値でクラスタリングすることにより、本来の車両本体の大きさと同等の塊と認識できるので、これらの車両が、ゴミや小動物の検知対象外となることを防げ、正しく認識できる。

また物体判定部２２３は、測定空間内の所定エリア（例えば道路６１上に設定した検知エリア）へ物体の進入判定、この所定エリアを通過する物体のカウント、および物体の移動軌跡の判定の少なくとも１つを行う。また、この各種の判定は、物体の種類を判別し、その判別した種類毎に行うようにしてもよい。例えば、この種別は、人、普通車車両、大型車両（トラック等）、および二輪車がある。この種別判定は、例えば種類毎の特徴（サイズ、形状）が予め画像処理装置２００のメモリに記憶されており、この特徴とマッチングすることにより行う。また、この種別判定アルゴリズは公知のアルゴリズムにより事前に機械学習するようにしてもよい。この機械学習は、膨大なデータを用いて、事前に他の高性能なコンピューターで実施し、パラメータを決定する。物体判定部２２３は、決定したパラメータを用いて、種別を判定する。

（出力部２２４）
出力部２２４は、測距点群データによって表示用の画像データを作成し、ディスプレイ３００に出力する。また，出力部２２４は、物体判定部２２３が行った、物体のカウント値、移動軌跡、進入判定を出力するようにしてもよい。また、進入判定により、アラートを出力するようにしてもよい。アラートの出力には、出力する画像データに警告文を付与したり、スピーカーからの警告音を出力したりすることが含まれる。また、出力部２２４で、物体判定部２２３が判定した物体に対して、検知枠を付与するようにしてもよい。さらに、出力部２２４が出力する画像データにおいては、履歴情報データを参照することで置換画素を、他の画素と識別できる態様で表示するようにしてもよい。

（第１の実施形態における画像処理）
図６～図９を参照し、第１の実施形態に係る画像処理装置２００で実行する画像処理について説明する。図６、図７Ａ、図７Ｂは、画像処理装置２００の処理部２２０で実行する画像処理を示すフローチャートである。なお各フローチャートにおける丸数字１～５（例えばステップＳ１０５の丸数字３）は、図５のテーブルの丸数字１～５に対応する（図１０、図１１の丸数字１～６でも同様）。

（ステップＳ１０）
図６に示すように、最初に、測距点群データ取得部２２１は、ライダー１１０により、測定空間６０内の測定（走査）を行わせる。測距点群データ取得部２２１は、ライダー１１０により得られた受信信号のタイミングから、複数の各照射方向における、それぞれの距離値を得る。そしてこれらにより、各画素（方向）における距離値の分布を表す測距点群データを生成し、出力する。これを所定周期（数十ｍｓｅｃ）で繰り返すことにより連続したフレームを得る。また、この測距点群データにおいては、黒い車両の車体等で、十分な量の反射光を得られず距離値が得られなかった画素については、距離値として無限遠を表す共通の識別子（例えば「ＦＦＦＦ」）が埋め込まれている。

（ステップＳ１１）
処理部２２０の画素判定部２２２は、ステップＳ１０で取得した測距点群データの各画素の置換処理を行う。図７Ａ、図７Ｂは、ステップＳ１１のサブルーチンフローチャートである。

（ステップＳ１０１、Ｓ１０２）
図８に示すように、画素判定部２２２は、ステップＳ１０１、Ｓ１０２で各画素を順次判定対象に設定してループ処理を行う。

図８は、１つのフレームにおける測距点群データの配列の構造、および画素の処理順序を示す模式図である。同図の原点Ｏは、図４の原点Ｏに対応し、図８においては、天地方向が逆になっていた図４を元に戻した状態で表している。なお、以下の説明においては、上下左右方向は、図８に示す方向を基準にして説明する。例えば、原点Ｏは最も上で、最も左の画素という表現になる。

図８に示すように、１フレームの測距点群データは、主走査方向（以下、左右方向ともいう）に０からｍ－１までｍ個の画素が並んでおり、副走査方向（以下、上下方向ともいう）に０からｎ－１までｎ個の画素が並んでいる。全画素数は、ｎ×ｍ個、例えば数千画素である。なお、記憶部２１０に記憶されている基準背景データ、および履歴情報データも、図８と同じサイズの配列により構成される。

ステップＳ１０１は、ステップＳ１２１との間でループ１の処理を行う。ループ１の変数はｊで、初期値は０であり、最終値ｎ－１になるまで副走査方向に１つずつインクリメントして、ｎ回処理を繰り返す。

同様に、ステップＳ１０２は、ステップＳ１２０との間でループ２の処理を行う。ループ２の変数はｉで、初期値は０であり、最終値ｍ－１になるまで主走査方向に１つずつインクリメントして、ｍ回処理を繰り返す。なお、以下においては、ループ処理の対象の画素（ｉ，ｊ）を「判定画素」（「判定の対象となる画素」ともいう）という。

（ステップＳ１０３）
画素判定部２２２は、判定画素（ｉ、ｊ）の距離値が無限遠、すなわち識別子であるか否かを判定する。無限遠であれば（ＹＥＳ）処理をステップＳ１０４に進め、無限遠でなければ（ＮＯ）処理を図７ＢのステップＳ１１１に進める（符号Ａ１）。

（ステップＳ１１１）
画素判定部２２２は、判定画素（ｉ、ｊ）に対応する位置の基準背景データの画素（以下、「基準背景画素（ｉ、ｊ）」という）を比較する。
基準背景画素（ｉ、ｊ）－判定画素（ｉ、ｊ）≦閾値 （１）
具体的には、式（１）を満たすか否かを判定し、満たせば（ＹＥＳ）、処理をステップＳ１１２に進め、満たさなければ（ＮＯ）、処理をステップＳ１１３に進める。この閾値は、測定の誤差レベルを考慮したゼロに近い正の数値である。

（ステップＳ１１２）
画素判定部２２２は、判定画素（ｉ、ｊ）を（１）「背景画素」と判定し、距離値を基準背景画素（ｉ、ｊ）の距離値に置換する。この場合、判定画素（ｉ、ｊ）は、置換前の判定画素（ｉ、ｊ）の距離値は、基準背景画素（ｉ、ｊ）に近い値、または、誤差によりこれよりも少し遠い距離値が検出された場合である。

（ステップＳ１１３）
画素判定部２２２は、判定画素（ｉ、ｊ）を（２）「前景画素」と判定する。この場合、距離値の置換は行わず、測定された距離値をそのまま用いる。

（ステップＳ１０４）
図７ＡのステップＳ１０４では、画素判定部２２２は、判定画素（ｉ，ｊ）に対応する基準背景画素（ｉ、ｊ）の距離値が無限遠でないか否かを判定する。無限遠でなければ（ＹＥＳ）、処理をステップＳ１０６に進め、無限遠であれば（ＮＯ）、処理をステップＳ１０５に進める。

（ステップＳ１０５）
この場合、判定画素（ｉ，ｊ）、および対応する基準背景画素（ｉ、ｊ）の距離値がともに無限遠（識別子）であるから、画素判定部２２２は判定画素（ｉ，ｊ）を（３）「無限遠背景画素」と判定し、置換処理は、行わず距離値は、無限遠のままである。

（ステップＳ１０６）
画素判定部２２２は、判定画素（ｉ、ｊ）に隣接する画素（ｉ、ｊ－１）、画素（ｉ－１、ｊ）の距離値それぞれについて、基準背景画素（ｉ、ｊ－１）、基準背景画素（ｉ－１、ｊ）の距離値よりも小さいか否か、すなわち前景画素であるか否かを判定する。小さければ（ＹＥＳ）処理をステップＳ１０８に進め、小さくなければ（ＮＯ）、処理をステップＳ１０７に進める。なお、判定画素（ｉ、ｊ）に隣接する画素は、図７のような配列においては、上下左右１つずつで計４個ある。本実施形態では、４個のうちステップＳ１０３～Ｓ１０８、およびＳ１１１～Ｓ１１２の処理を行った処理順が上流側の隣接画素、すなわち図７で上側と左側に隣接する画素（ｉ、ｊ－１）、画素（ｉ－１、ｊ）を、ステップＳ１０６の判定対象としている。このようにすることで、処理順が上流側の隣接画素における判定結果により（４）「置換画素」と判定され、前景に対応する距離値に置換された場合に、置換後の隣接画素の距離値で判定を行うことで、再帰的な置換処理（ステップＳ１０８）が可能となり、連続して画素の置換処理が可能となる。

（ステップＳ１０７）
画素判定部２２２は判定画素（ｉ，ｊ）を（５）「置換無し画素」と判定し、置換処理は、行わず距離値は、無限遠（識別子）のままである。

（ステップＳ１０８）
画素判定部２２２は判定画素（ｉ，ｊ）を（４）「置換画素」と判定し、置換処理を行う。このときの距離値は、ステップＳ１０６で判定した上側と左側の隣接画素の距離値（平均値）である。

（ステップＳ１２０、Ｓ１２１）
ループ２、ループ１の処理により、判定画素（ｉ、ｊ）を移動させながら、ステップＳ１０３～Ｓ１０８、およびＳ１１１～Ｓ１１３の処理を繰り返す。、これらの所定回数の処理を行い、１フレームの全ての画素の判定が終了することで、サブルーチンフローチャートの処理を終了し、図６のメインの処理に戻る（エンド（リターン））。

（ステップＳ１２）
ここでは、物体判定部２２３は、ステップＳ１１で画素判定部２２２が置換の処理をした後の測距点群データを用いて、物体の認識を行う。このとき上述のように物体の種類（車両、歩行者）の判定も行うようにしてもよい。

（ステップＳ１３）
物体判定部２２３は、ステップＳ１２で認識した物体に対して制御処理を行う。この制御処理としては、例えば、上述したように、認識した物体の所定エリアへの侵入判定、軌跡判定、通過した物体のカウントである。

（ステップＳ１４）
出力部２２４は、物体判定部２２３の判定結果を参照し、測距点群データから表示用の画像データを生成し、生成した画像データをディスプレイ３００に表示させる。また、出力部２２４は、記憶部２１０に記憶されている判定結果の履歴情報データを参照して置換画素を、他の画素と識別できる態様で画像データを生成し、表示させる。

図９は、置換画素を区別して表示したディスプレイへの表示例である。図９（ａ）は、実際の表示画像３０１の例である。認識した物体３２の周囲に検知枠３１を付与している。また物体３２は、物体を構成する画素のうち、置換画素３２１を置換画素以外の画素３２２と区別して表示している。例えば表示画像３０１において、置換画素３２１と画素３２２で、色、または濃度を異ならせることで区別して表示できる。図９（ｂ）は、図９（ａ）と同じ測距点群データを用いた別の表示画像３０２の例である。図９（ｂ）においては、表示態様として、置換画素３２１と画素３２２では、模様（ハッチング）を異ならせている。この図９（ａ）、または図９（ｂ）のように置換画素を区別して表示させることで、これを見たユーザーは、その部分は、黒い色等で測定値が得られていないことが理解でき、黒い物体をディスプレイ上で確認するときに見やすくなる。

このように本実施形態では、測距点群データの各画素に対して、
条件（ｉ）：画素の距離値が、距離値が得られないことを示す識別子であり、
条件（ii）：判定処理の対象となる画素に対応する基準背景データの距離値が識別子ではない、および、
条件（iii）：判定の対象となる画素に隣接する隣接画素の距離値が該隣接画素に対応する基準背景データの距離値よりも小さい、
を判定する判定処理を行い、条件（ｉ）から（iii）を全て満たす場合に、判定対象となる画素を所定の距離値に置換する。このようにすることで、特許文献１のように複数のＴｏＦ方式の複数の測定器を配置したような大がかりな構成ではなく、単一の測定器を用いた構成において距離値が得られない画素を、所定の距離値に置換することで、識別子の距離値を示す画素が、物体の一部であることを識別できる。これにより、物体検知の精度を向上できる。

例えば、黒い車両の場合において、車体の距離の検知は困難で、距離値が得られない（無限遠）場合であっても、その他のパーツであるバンパーや、ナンバープレート、またはヘッドライトでは、距離値の計測が可能である。このような場合、これらのパーツから得られた距離値により、車両の黒い車体の距離値を置換できる。このときに、上述のように再帰的な置換処理が可能となることにより、バンパー等のパーツに連続する黒い車体のほとんどを、パーツまでの距離値で置換処理できる。特に、本実施形態においては、図４に示すように、天地逆となるように、原点Ｏを重力方向で下方に配置し、上方に向けて順に各画素の置換処理を行う。これにより、一般に車体の下方側に位置するバンパーやナンバープレート等のパーツを、起点として、これよりも上方にある無限遠の画素を、下方にあるパーツの距離値で連続的に置換できる。これにより、従来の処理では、パーツだけの小さいサイズでは、クラスタリングが適切に処理できず、黒い車両を、ゴミや小動物の検知対象外となることにより、正しく車両と認定出来なかった。このような状況であっても、本実施形態のような置換後の距離値により、所定サイズ以上の塊としてクラスタリングできる。これにより適切に本来の車両本体の大きさと同等で行えるので、これらの車両が、ゴミや小動物の検知対象外となることを防げ、正しく認識できるようになる。

（第２の実施形態）
以下、図１０、図１１を参照し、第２の実施形態に係る画像処理装置２００で実行する画像処理について説明する。図１０は、第２の実施形態におけるステップＳ１１のサブルーチンフローチャートである。図１１は、画素の判定条件と判定結果を示すテーブルである。図１０は、第１の実施形態における図７Ａのサブルーチンフローチャートに対応する図であり、その他の構成は、第１の実施形態と同一であり、その他の説明は省略する。また、図１０においても、ステップＳ２０１以外、すなわち、ステップＳ１０１～ステップＳ１０８、およびステップＳ１２０、Ｓ１２１は、図７Ａと同一であり、説明を省略する。

また、図１１は、図５に対応するテーブルであり丸数字４、６以外、すなわち、丸数字１～３、および５は、図５の丸数字１～３、５と同一であり、そのまま対応する。

第２の実施形態においては、条件（iv）：時間的に前のフレームの測距点群データにおいて、判定の対象となる画素に対応する画素が識別子（無限遠）ではない、を判定し、上述の条件（ｉ）から（iii）に加えて、この条件（iv）を満たす場合に、置換画素として判定する（図１１の丸数字４の「置換画素」）。

（ステップＳ２０１）
具体的には、画素判定部２２２は、図１０のステップＳ２０１において、記憶部２１０に記憶されている１つ判定画素（ｉ、ｊ）と同じ位置（同じ照射方向）にある、前のフレームにおける画素（ｉ、ｊ）を参照し、この距離値が識別子（無限遠）であるか否かを判定する。距離値が識別子であれば（ＹＥＳ）、処理をステップＳ１０７に進め、このステップＳ１０７で「置換無し画素」と判定し、置換処理は行わない。

一方で、距離値が識別子でなければ（ＮＯ）、処理をステップＳ１０８に進め、このステップＳ１０８で「置換画素」と判定し、隣接画素の距離値で判定画素（ｉ、ｊ）を置換する。

なお、ステップＳ２０１の処理では、条件（iv）として、前のフレームの測距点群データを記憶部２１０に記憶し、この前の測距点群データの距離値が「識別子ではない」、を判定したが、これに換えて、他の条件により判定してもよい。例えば、（ア）判定結果の履歴情報データにおいて、前のフレームでの判定結果がステップＳ１０７の（５）「置換無し画素」でない。または（イ）前のフレームの画素が「前景画素」または「置換画素」である。この（ア）、（イ）の判定によって前のフレームの画素が「識別子ではない」を判定できる。

このように第２の実施系形態では、さらに条件（iv）として時間的に前のフレームの測距点群データにおいて、判定画素に対応する画素が識別子ではない、を判定し、これを満たす場合に、判定画素に対する隣接画素の距離値に対応する所定の距離への置換処理を行う。このようにすることで、第１の実施形態と同様の効果が得られるとともに、さらに、以下の効果が得られる。

例えば、雨が降り始めて、路面が濡れて水たまりが生じた場合には、以降は、その方向からの反射光は戻ってこなくなり、距離値が無限遠となる。このような状況下において、水たまりの領域の一部に黒い物体が進入してきた場合に、黒い物体だけでなく、水たまり全体が、黒い物体の（パーツの）距離（前景）に置換されてしまうという誤検知を防止できる。特に、強い雨が降って、測定空間６０内の道路６１の全面が水たまりになったような場合に、全面が、一度に黒い物体の距離に置換されてしまうという誤検知を防止できる。

以上に説明した物体検出システム１０における画像処理装置２００の構成は、上述の実施形態の特徴を説明するにあたって主要構成を説明したのであって、上述の構成に限られず、特許請求の範囲内において、種々改変することができる。また、一般的な物体検出システム１０、または画像処理装置２００が備える構成を排除するものではない。

また、各フローチャートにおいて、各処理の順序はこれに限られず、前後を入れ替えてもよい。例えば図１０においてステップＳ２０１の判定を、同図のステップＳ１０４の直前に行うようにしてもよい。

さらに、上述の実施形態において、図７Ａ（図１０）、図８においては、各画素をループ１、２の処理により左上の原点Ｏの画素から右下の画素まで順方向に１回だけ処理する例を示した。処理を容易にするためにこのような処理を採用したがこれに限られない。例えば、さらに逆方向で処理することにより２回分（１往復分）処理するようにしてもよい。このようにすることで、画素の位置の依存性を排除できる。例えば、左下に距離値が得られる画素（前景画素）がある場合に、この画素の右上方向に隣接する画素（判定対象の画素）を置換画素として再帰的に順次、置換処理できる。

上述した実施形態に係る画像処理装置２００における各種処理を行う手段および方法は、専用のハードウェア回路、またはプログラムされたコンピューターのいずれによっても実現することが可能である。上記プログラムは、例えば、ＵＳＢメモリやＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）－ＲＯＭ等の非一時的なコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ハードディスク等の記憶部に転送され記憶される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、装置の一機能としてその装置のソフトウエアに組み込まれてもよい。

本出願は２０１８年１０月２４日に出願された日本特許出願（特願２０１８－２００１３２号）に基づいており、その開示内容は、参照され、全体として組み入れられている。

１０ 物体検出システム
１００ 測定器
１１０ ライダー
２００ 画像処理装置
２１０ 記憶部
２２０ 処理部
２２１ 測距点群データ取得部
２２２ 画素判定部
２２３ 物体判定部
２２４ 出力部
３００ ディスプレイ
６０ 測定空間

Claims (20)

1. 測定器から複数の方位に向けた送信波を、測定空間に向けて照射してから、該送信波の対象物からの反射波を受信するまでの時間間隔に基づいて算出した距離値の分布を示す複数の画素で構成された測距点群データを取得する取得部と、
   前記測距点群データに基づいて生成した基準背景データを記憶する記憶部と、
   画素判定部と、
   を備え、
   前記測距点群データの画素は、前記送信波を送信した方向からの前記反射波に基づいて距離値を取得できない場合に、識別可能な共通の識別子が埋め込まれており、
   前記画素判定部は、前記取得部から取得した前記測距点群データの各画素に対して、
   条件（ｉ）：画素の距離値が、前記距離値が得られないことを示す前記識別子であり、
   条件（ii）：判定処理の対象となる画素に対応する前記基準背景データの距離値が前記識別子ではない、および、
   条件（iii）：判定の対象となる画素に隣接する隣接画素の距離値が該隣接画素に対応する前記基準背景データの距離値よりも小さい、
   を判定する判定処理を行い、前記条件（ｉ）から（iii）を全て満たす場合に、判定対象となる画素を所定の距離値に置換する、画像処理装置。
2. 前記基準背景データと、前記画素判定部が前記置換の処理を行った測距点群データを用いて、物体検知を行う物体判定部を、備える請求項１に記載の画像処理装置。
3. 前記条件（iii）の判定に用いる隣接画素の距離値は、前記隣接画素に対する前記判定処理によって置換処理を行った後の距離値を用いる、請求項１、または請求項２に記載の画像処理装置。
4. 前記取得部は、時系列に並んだ、複数の前記測距点群データを取得し、
   前記画素判定部は、さらに、
   条件（iv）：時間的に前の前記測距点群データにおいて、判定の対象となる前記画素に対応する画素が前記識別子ではない、を判定し、
   前記条件（ｉ）から（iv）を全て満たす場合に、判定対象となる前記画素を前記所定の距離値に置換する、請求項１から請求項３のいずれかに記載の画像処理装置。
5. 前記画素判定部は、前記条件（iv）の時間的に前の前記測距点群データとして、判定を行う前記測距点群データから所定時間以内の前記測距点群データを用いる、請求項４に記載の画像処理装置。
6. 前記画素判定部は、置換する前記所定の距離値として、判定の対象となる前記画素に隣接する画素の距離値、または、判定の対象となる前記画素から所定範囲内にある周辺の画素の距離値を用いる、請求項１から請求項５のいずれかに記載の画像処理装置。
7. 前記記憶部には、前記測距点群データの各画素の処理の履歴情報が記憶されており、
   前記履歴情報には、少なくとも、前記置換の処理を行った置換画素であることを示す情報が含まれる、請求項１から請求項６のいずれかに記載の画像処理装置。
8. さらに、前記画素判定部が前記置換の処理を行った置換後の前記測距点群データを表示させる出力部、を有し、
   前記出力部の表示においては、前記履歴情報を参照することで前記置換画素を、他の画素と識別できる態様で表示されている、請求項７に記載の画像処理装置。
9. 前記物体判定部は、前記測定空間内に設定した所定エリアへの物体の進入判定、前記所定エリアを通過する前記物体のカウント、および物体の移動軌跡の判定、の少なくとも１つを行う、請求項２に記載の画像処理装置。
10. 前記測定器は、前記送信波としてレーザー光を照射するライダーである、請求項１から請求項９のいずれかに記載の画像処理装置。
11. 対象物までの距離値の分布を示す測距点群データを用いた画像処理を行い、前記測距点群データに基づいて生成した基準背景データを記憶する記憶部を備える画像処理装置を制御するコンピューターで実行される制御プログラムであって、
    測定器から複数の方位に向けた送信波を、測定空間に向けて照射してから、該送信波の対象物からの反射波を受信するまでの時間間隔に基づいて算出した距離値の分布を示す複数の画素で構成された測距点群データを取得するステップ（ａ）と、
    前記ステップ（ａ）で取得した前記測距点群データの画素は、前記送信波を送信した方向からの前記反射波に基づいて距離値を取得できない場合に、識別可能な共通の識別子が埋め込まれており、前記測距点群データの各画素に対して、
    条件（ｉ）：画素の距離値が、前記距離値が得られないことを示す前記識別子であり、
    条件（ii）：判定の対象となる画素に対応する前記基準背景データの距離値が前記識別子ではない、
    条件（iii）：判定の対象となる画素に隣接する隣接画素の距離値が該隣接画素に対応する前記基準背景データの距離値よりも小さい、
    を判定する判定処理を行うステップ（ｂ）と、
    前記ステップ（ｂ）で、前記条件（ｉ）から（iii）を全て満たす場合に、判定対象となる画素を所定の距離値に置換するステップ（ｃ）と、
    を含む処理を前記コンピューターに実行させるための制御プログラム。
12. 前記処理は、さらに、
    前記基準背景データと、前記ステップ（ｃ）で、前記置換の処理を行った測距点群データを用いて、物体検知を行うステップ（ｄ）を含む、請求項１１に記載の制御プログラム。
13. 前記ステップ（ｂ）の前記条件（iii）の判定に用いる隣接画素の距離値は、前記隣接画素に対する前記判定処理によって置換処理を行った後の距離値を用いる、請求項１１、または請求項１２に記載の制御プログラム。
14. 前記ステップ（ａ）では、時系列に並んだ、複数の前記測距点群データを取得し、
    前記ステップ（ｂ）では、さらに、
    条件（iv）：時間的に前の前記測距点群データにおいて、判定の対象となる前記画素に対応する画素が前記識別子ではない、を判定し、
    前記ステップ（ｃ）では、前記条件（ｉ）から（iv）を全て満たす場合に、判定対象となる前記画素を前記所定の距離値に置換する、請求項１１から請求項１３のいずれかに記載の制御プログラム。
15. 前記ステップ（ｂ）の前記条件（iv）の時間的に前の前記測距点群データとして、判定を行う前記測距点群データから所定時間以内の前記測距点群データを用いる、請求項１４に記載の制御プログラム。
16. 前記ステップ（ｃ）では、置換する前記所定の距離値として、判定の対象となる前記画素に隣接する画素の距離値、または、判定の対象となる前記画素から所定範囲内にある周辺の画素の距離値を用いる、請求項１１から請求項１５のいずれかに記載の制御プログラム。
17. 前記処理は、さらに、少なくとも、前記ステップ（ｃ）で前記置換の処理を行った置換画素であることを示す情報を含む履歴情報を、前記記憶部に記憶するステップ（ｅ）を含む、請求項１１から請求項１６のいずれかに記載の制御プログラム。
18. 前記処理は、さらに、前記ステップ（ｃ）で前記置換の処理を行った置換後の前記測距点群データを表示させるステップ（ｆ）、を含み、
    前記ステップ（ｆ）の表示においては、前記履歴情報を参照することで前記置換画素を、他の画素と識別できる態様で表示されている、請求項１７に記載の制御プログラム。
19. 前記処理は、前記ステップ（ｄ）で検知した物体に対して、さらに、前記測定空間内に設定した所定エリアへの物体の進入の判定、前記所定エリアを通過する前記物体のカウント、および物体の移動軌跡の判定、の少なくとも１つを行う、ステップ（ｇ）を含む、請求項１２に記載の制御プログラム。
20. 対象物までの距離値の分布を示す測距点群データを用いた画像処理を行い、前記測距点群データに基づいて生成した基準背景データを記憶する記憶部を備える画像処理装置で実行される画像処理方法であって、
    測定器から複数の方位に向けた送信波を、測定空間に向けて照射してから、該送信波の対象物からの反射波を受信するまでの時間間隔に基づいて算出した距離値の分布を示す複数の画素で構成された測距点群データを取得するステップ（ａ）と、
    前記ステップ（ａ）で取得した前記測距点群データの画素は、前記送信波を送信した方向からの前記反射波に基づいて距離値を取得できない場合に、識別可能な共通の識別子が埋め込まれており、前記測距点群データの各画素に対して、
    条件（ｉ）：画素の距離値が、前記距離値が得られないことを示す前記識別子であり、
    条件（ii）：判定の対象となる画素に対応する前記基準背景データの距離値が前記識別子ではない、
    条件（iii）：判定の対象となる画素に隣接する隣接画素の距離値が該隣接画素に対応する前記基準背景データの距離値よりも小さい、
    を判定する判定処理を行うステップ（ｂ）と、
    前記ステップ（ｂ）で、前記条件（ｉ）から（iii）を全て満たす場合に、判定対象となる画素を所定の距離値に置換するステップ（ｃ）と、
    を含む画像処理方法。

Images