WO2023176695A1 - 移動体検知装置、移動体検知方法、及びコンピュータ読み取り可能な記録媒体 - Google Patents

移動体検知装置、移動体検知方法、及びコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
WO2023176695A1
WO2023176695A1 PCT/JP2023/009085 JP2023009085W WO2023176695A1 WO 2023176695 A1 WO2023176695 A1 WO 2023176695A1 JP 2023009085 W JP2023009085 W JP 2023009085W WO 2023176695 A1 WO2023176695 A1 WO 2023176695A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving object
image data
flow
optical
clustering
Prior art date
Application number
PCT/JP2023/009085
Other languages
English (en)
French (fr)
Inventor
功 中橋
翔平 小野
純一 気屋村
Original Assignee
Ｎｅｃソリューションイノベータ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｎｅｃソリューションイノベータ株式会社 filed Critical Ｎｅｃソリューションイノベータ株式会社
Publication of WO2023176695A1 publication Critical patent/WO2023176695A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation

Definitions

  • the image acquisition unit 18 acquires image data to be processed from the imaging device 30. Specifically, since image data of a color image is output from the imaging device 30, the image acquisition unit 18 first performs image conversion on the output image data to convert the color image into a grayscale image. Convert to Subsequently, the image acquisition unit 18 performs distortion correction on the image data as necessary, and then inputs the corrected image data to the feature point extraction unit 11 and the optical flow identification unit 12. Note that distortion correction is performed, for example, when the photographic lens attached to the imaging device 30 is a fisheye lens or the like.
  • the optical flow identifying unit 12 calculates the degree of similarity between feature points, and links the feature points for which the calculated degree of similarity is equal to or greater than a threshold value.
  • the degree of similarity may be the Hamming distance calculated from the binary code generated by the Rotated Brief method.
  • the moving object speed calculation unit 20 converts the start coordinates and end coordinates into coordinates in the world coordinate system in real space using the camera parameters of the imaging device 30. do.
  • the coordinate transformation is performed by the same process as the projection process by the projection processing unit 13.
  • the moving object speed calculation unit 20 calculates the distance between the start coordinate and the end coordinate in real space from each coordinate after the conversion, and uses this as the absolute moving distance of the moving object in real space.
  • the correction processing unit 15 corrects the positions of the starting points of all the optical flows projected in step A4 based on the vector of the background flow, and removes the optical flows whose lengths are below a predetermined range due to the correction. (Step A6).
  • the clustering unit 16 performs clustering on the optical flows that were not removed in step A6, based on their positions (step A7).
  • the tracking unit 19 compares the cluster to be determined in the current frame with the cluster to be determined in a plurality of past frames (for example, the past six frames), and compares the cluster to be determined in the current frame to the clusters to be determined in a plurality of past frames (for example, the past six frames). If they match in the past frames, it is determined that they overlap.
  • the program in the embodiment may be any program that causes a computer to execute steps A1 to A11 shown in FIG. By installing and executing this program on a computer, the moving object detection device 10 and the moving object detection method in the embodiment can be realized.
  • the processor of the computer includes a feature point extraction section 11, an optical flow identification section 12, a projection processing section 13, a background flow identification section 14, a correction processing section 15, a clustering section 16, a moving object identification section 17, and an image acquisition section 18. , a tracking section 19, and a moving object speed calculation section 20, and performs processing.
  • the moving object detection device (Additional note 2) The moving object detection device according to supplementary note 1, The correction processing unit determines the moving direction and amount of movement of the vehicle based on the vector of the background flow, and changes the position of the starting point of all the projected optical flows in a direction opposite to the moving direction by the amount of movement. Move and correct by the amount of A moving object detection device characterized by:
  • Appendix 11 The computer-readable recording medium according to appendix 10, The program causes the computer to further comprising an instruction to execute a moving object speed calculation step of calculating the speed of the moving object using the movement amount of the vehicle determined based on the vector of the background flow;
  • a computer-readable recording medium characterized by:

Abstract

移動体検知装置１０は、車両の撮像装置からの画像データから特徴点を抽出する、特徴点抽出部１１と、特徴点毎にオプティカルフローを特定する、オプティカルフロー特定部１２と、オプティカルフローを実空間の座標系に投影する、投影処理部１３と、投影後のオプティカルフローから背景フローを特定する、背景フロー特定部１４と、背景フローのベクトルに基づいて、投影後のオプティカルフローの始点の位置を補正し、所定範囲以下の長さのオプティカルフローを除去する、補正処理部１５と、除去されていないオプティカルフローに対し、その位置に基づいて、クラスタリングを行なう、クラスタリング部１６と、クラスタリング結果から画像データ中の移動体を特定する、移動体特定部１７と、を備えている。

Description

移動体検知装置、移動体検知方法、及びコンピュータ読み取り可能な記録媒体
　本開示は、撮像装置で撮影された画像から移動体を検知するための、移動体検知装置、及び移動体検知方法に関し、更には、これらを実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
　近年、車両及びその周囲の安全性を高めるため、車両に取り付けられたカメラからの画像データに基づいて、車両周辺の移動体を検知して、運転者に移動体の接近を通知する技術が提案されている（例えば、特許文献１及び２参照。）。
　具体的には、特許文献１及び２は、共に、車両に搭載される移動体検知装置を開示している。そして、特許文献１及び２に開示された移動体検知装置は、まず、カメラからフレーム単位で出力されてくる各画像データから特徴点を抽出し、抽出した特徴点をフレーム間で比較して、特徴点を結ぶオプティカルフローを生成する。
　次いで、特許文献１及び２に開示された移動体検知装置は、設定条件を満たすオプティカルフローを選択する。このときの設定条件は２つあり、１つは、オプティカルフローの延長線が所定の誤差範囲において一点の消失点で交わることである。もう１つは、オプティカルフローの延長線において、オプティカルフローの一方の端点を外分点として、オプティカルフローの他方の端点と消失点とを結ぶ線分の外分比が所定の誤差範囲において等しいことである。そして、特許文献１に開示された移動体検知装置は、選択したオプティカルフローから移動体を検知する。
　特許文献１及び２に開示された移動体検知装置によれば、車両周辺の移動体を検知できるので、例えば、車両の後方を撮影するリアカメラからの映像に基づいて、移動体を検知するようにすれば、運転者は、後方に位置する車両を認識できるようになる。
特開２００８－９７１２６号公報 特開２０１１－４３９２２号公報
　しかしながら、上記特許文献１及び２に開示された移動体検知装置は、一点の消失点で交わるオプティカルフローを選択することによって、移動体を検知している。このため、上記特許文献１及び２に開示された移動体検知装置には、自車両と並走している移動体については、検知することが難しいという問題がある。また、上記特許文献１及び２に開示された移動体検知装置には、背景の一部を構成している物体、例えば、道路標識、駐車されている車両、看板等については、自車両に対して相対的に移動するため、誤って検知してしまうという問題もある。
　本開示の目的の一例は、上記問題を解消し、移動体の検知精度を向上することにある。
　上記目的を達成するため、本開示の一側面における移動体検知装置は、
　車両に取り付けられた撮像装置が設定間隔で出力する画像データから、特徴点を抽出する、特徴点抽出部と、
　最新の前記画像データと、それよりも過去に出力された前記画像データとを対比して、抽出された前記特徴点毎に、当該特徴点のオプティカルフローを特定する、オプティカルフロー特定部と、
　特定された前記オプティカルフローを、前記撮像装置を原点とする実空間の座標系に投影する、投影処理部と、
　投影された前記オプティカルフローのうち、背景を構成する物体のオプティカルフローを背景フローとして特定する、背景フロー特定部と、
　前記背景フローのベクトルに基づいて、投影された前記オプティカルフロー全ての始点の位置を補正し、補正によって長さが所定範囲以下となった前記オプティカルフローを除去する、補正処理部と、
　除去されなかった前記オプティカルフローに対して、その位置に基づいて、クラスタリングを行なう、クラスタリング部と、
　前記クラスタリングの結果を用いて、前記画像データ中の移動体を特定する、移動体特定部と、
を備えていることを特徴とする。
　また、上記目的を達成するため、本開示の一側面における移動体検知方法は、
　車両に取り付けられた撮像装置が設定間隔で出力する画像データから、特徴点を抽出する、特徴点抽出ステップと、
　最新の前記画像データと、それよりも過去に出力された前記画像データとを対比して、抽出された前記特徴点毎に、当該特徴点のオプティカルフローを特定する、オプティカルフロー特定ステップと、
　特定された前記オプティカルフローを、前記撮像装置を原点とする実空間の座標系に投影する、投影処理ステップと、
　投影された前記オプティカルフローのうち、背景を構成する物体のオプティカルフローを背景フローとして特定する、背景フロー特定ステップと、
　前記背景フローのベクトルに基づいて、投影された前記オプティカルフロー全ての始点の位置を補正し、補正によって長さが所定範囲以下となった前記オプティカルフローを除去する、補正処理ステップと、
　除去されなかった前記オプティカルフローに対して、その位置に基づいて、クラスタリングを行なう、クラスタリングステップと、
　前記クラスタリングの結果を用いて、前記画像データ中の移動体を特定する、移動体特定ステップと、
を有することを特徴とする。
　更に、上記目的を達成するため、本開示の一側面におけるコンピュータ読み取り可能な記録媒体は、
コンピュータに、
　車両に取り付けられた撮像装置が設定間隔で出力する画像データから、特徴点を抽出する、特徴点抽出ステップと、
　最新の前記画像データと、それよりも過去に出力された前記画像データとを対比して、抽出された前記特徴点毎に、当該特徴点のオプティカルフローを特定する、オプティカルフロー特定ステップと、
　特定された前記オプティカルフローを、前記撮像装置を原点とする実空間の座標系に投影する、投影処理ステップと、
　投影された前記オプティカルフローのうち、背景を構成する物体のオプティカルフローを背景フローとして特定する、背景フロー特定ステップと、
　前記背景フローのベクトルに基づいて、投影された前記オプティカルフロー全ての始点の位置を補正し、補正によって長さが所定範囲以下となった前記オプティカルフローを除去する、補正処理ステップと、
　除去されなかった前記オプティカルフローに対して、その位置に基づいて、クラスタリングを行なう、クラスタリングステップと、
　前記クラスタリングの結果を用いて、前記画像データ中の移動体を特定する、移動体特定ステップと、
を実行させる命令を含む、プログラムを記録している、ことを特徴とする。
　以上のように本開示によれば、移動体の検知精度を向上することができる。
図１は、実施の形態１における移動体検知装置の概略構成を示す構成図である。 図２は、本発明の実施の形態における移動体検知装置の具体的構成を示すブロック図である。 図３は、実施の形態における特徴点のオプティカルフローの特定処理を説明するための図である。 図４は、実施の形態におけるオプティカルフローの投影処理を説明するための図である。 図５は、実施の形態における背景フローの特定処理を説明するための図である。 図６は、実施の形態における補正処理を説明するための図である。 図７は、実施の形態におけるオプティカルフローのクラスタリング処理を説明するための図である。 図８は、実施の形態における移動体の相対速度の算出処理を説明するための図である。 図９は、実施の形態における移動体検知装置の動作を示すフロー図である。 図１０は、実施の形態における移動体検知装置を実現するコンピュータの一例を示すブロック図である。
（実施の形態）
　以下、実施の形態における移動体検知装置について、図１～図１０を参照しながら説明する。
［装置構成］
　最初に、実施の形態１における移動体検知装置の概略構成について図１を用いて説明する。図１は、実施の形態１における移動体検知装置の概略構成を示す構成図である。
　図１に示す実施の形態における移動体検知装置１０は、車両に取り付けられた撮像装置が出力する画像データから移動体を検知するための装置である。図１に示すように、移動体検知装置１０は、特徴点抽出部１１と、オプティカルフロー特定部１２と、投影処理部１３と、背景フロー特定部１４と、補正処理部１５と、クラスタリング部１６と、移動体特定部１７とを備えている。
　特徴点抽出部１１は、車両に取り付けられた撮像装置が設定間隔で出力する画像データから、特徴点を抽出する。オプティカルフロー特定部１２は、最新の前記画像データと、それよりも過去に出力された画像データとを対比して、抽出された特徴点毎に、各特徴点のオプティカルフローを特定する。
　投影処理部１３は、特定されたオプティカルフローを、撮像装置を原点とする実空間の座標系に投影する。背景フロー特定部１４は、投影されたオプティカルフローのうち、背景を構成する物体のオプティカルフローを背景フローとして特定する。
　補正処理部１５は、背景フローのベクトルに基づいて、投影されたオプティカルフロー全ての始点の位置を補正し、補正によって長さが所定範囲以下となったオプティカルフローを除去する。
　クラスタリング部１６は、補正処理部１５によって除去されなかったオプティカルフローに対して、その位置に基づいて、クラスタリングを行なう。移動体特定部１７は、クラスタリングの結果を用いて、画像データ中の移動体を特定する。
　このように、実施の形態では、特徴点のオプティカルフローの始点の位置が背景フローベクトルに基づいて補正され、それによって背景フローが除去される。その後、除去されなかったオプティカルフローのクラスタリング結果に基づいて、移動体が特定される。このため、実施の形態によれば、車両と並走する移動体であっても検知することができるので、移動体の検知精度の向上が図られる。
　続いて、図２を用いて、本実施の形態における移動体検知装置の構成について更に具体的に説明する。図２は、本発明の実施の形態における移動体検知装置の具体的構成を示すブロック図である。
　図２に示すように、実施の形態における移動体検知装置１０は、撮像装置３０に接続されており、撮像装置３０と共に車両に搭載されている。撮像装置３０は、固体撮像素子を備えたカメラであり、撮影を行なうと、画像データを移動体検知装置１０に出力する。実施の形態では、撮像装置３０は、設定された時間間隔（フレームレート）で、連続して画像データを出力する。
　また、図２に示すように、本実施の形態においては、移動体検知装置１０は、上述した、特徴点抽出部１１、オプティカルフロー特定部１２、投影処理部１３、背景フロー特定部１４、補正処理部１５、クラスタリング部１６、及び移動体特定部１７に加えて、画像取得部１８と、トラッキング部１９と、移動体速度算出部２０とを備えている。
　画像取得部１８は、撮像装置３０から処理対象となる画像データを取得する。具体的には、画像取得部１８は、撮像装置３０からはカラー画像の画像データが出力されるので、まず、出力されてきた画像データに対して画像変換を行なって、カラー画像をグレースケール画像に変換する。続いて、画像取得部１８は、画像データに対して、必要に応じて歪み補正を実行し、その後、補正後の画像データを、特徴点抽出部１１とオプティカルフロー特定部１２とに入力する。なお、歪み補正が行なわれるのは、例えば、撮像装置３０に取り付けられている撮影レンズが魚眼レンズ等である場合である。
　特徴点抽出部１１は、実施の形態では、まず、予め設定されたフレーム数分（例えば、１０フレーム）の画像データを用いて、輝度変化の不偏分散を計算し、計算値と閾値とを対比して、各画素が移動画素及び静止画素のいずれに該当するかを判定する。そして、特徴点抽出部１１は、移動画素と判定した画素が存在する領域を、移動体が存在する移動領域とする。次に、特徴点抽出部１１は、現フレームの画像データの移動領域において、例えば、一般的なＦＡＳＴアルゴリズムを用いて、特徴点を抽出する。
　オプティカルフロー特定部１２は、実施の形態では、例えば、まず、現フレームの１つ前の過去フレームの特徴点と現フレームの特徴点とを対比し、対応する特徴点同士を紐付けする。
　図３は、実施の形態における特徴点のオプティカルフローの特定処理を説明するための図である。図３の例では、オプティカルフロー特定部１２は、１つ前の過去フレームの特徴点１と現フレームの特徴点３とを紐付け、１つ前の過去フレームの特徴点２と現フレームの特徴点４とを紐付ける。そして、オプティカルフロー特定部１２は、紐付けた特徴点同士を結び、オプティカルフローを特定する。
　具体的には、オプティカルフロー特定部１２は、特徴点同士の類似度を算出し、算出した類似度が閾値以上となる特徴点同士を紐付ける。この場合の類似度としては、Ｒｏｔａｔｅｄ Ｂｒｉｅｆ法で生成されたバイナリーコードから算出されるハミング距離が挙げられる。
　また、オプティカルフロー特定部１２は、処理時間を短縮するため、画像を分割し、分割によって得られた各エリアとその周辺のエリアとをひとつのグループとし、グループ毎に、特徴点同士の結びつけと、オプティカルフローの特定とを行なうこともできる。
　投影処理部１３は、実施の形態では、特定されたオプティカルフローを、カメラパラメータ（例えば、撮像装置３０の設置位置、設置角度、レンズの歪み係数等）を使用して、撮像装置を原点とする実空間の世界座標系に投影する。
　図４は、実施の形態におけるオプティカルフローの投影処理を説明するための図である。具体的には、投影処理部１３は、図４に示すように、画像座標系におけるオプティカルフローの座標を（ｕ，ｖ）を、実空間の座標系である世界座標系（ＸＹＺ）に投影する。但し、移動体検知装置１０を搭載する車両（以下「自車両」とも表記する。）と移動体は共に地面に存在するので、世界座標系においては、Ｙは常に０（ゼロ）に設定される（Ｙ＝０）。従って、投影後の座標は（Ｘ，０，Ｚ）となる。
　ここで、投影処理について詳細に説明する。まず、各種パラメータが以下のように定義される。
（ｕ，ｖ）：画像座標系における世界座標系に変換する座標
ｘ０：カメラ座標系における歪み補正前のｘ軸座標
ｙ０：カメラ座標系における歪み補正前のｙ軸座標
ｘ：カメラ座標系における歪み補正後のｘ軸座標
ｙ：カメラ座標系における歪み補正後のｙ軸座標
ｏｘ：画像座標系における光学中心のX軸座標
ｏｙ：画像座標系における光学中心のY軸座標
ｆｗ：画素単位での焦点距離（水平方向）
　　ｆｗ＝（水平方向の受光素子数／固体撮像素子の水平方向の長さ）×焦点距離［ｍｍ］
ｆｈ：画素単位での焦点距離（垂直方向）
　　ｆｈ＝（垂直方向の受光素子数／固体撮像素子の垂直方向の長さ）×焦点距離［ｍｍ］
ｋ１、ｋ２、ｋ３、ｋ４、ｋ５、ｋ６、ｐ１、ｐ２：カメラ歪係数
（’ｕ，’ｖ）：画像座標系における歪み補正後の座標
Ｈ：鳥瞰変換行列
’Ｘ，’Ｚ：世界座標系における’Ｙの逆数で正規化済みの座標
’Ｙ：’Ｘ，’Ｚの正規化を解除するための係数
Ｘ：世界座標系におけるＸ軸座標
Ｙ：世界座標系におけるＹ軸座標
Ｚ：世界座標系におけるＺ軸座標
　上記パラメータのうち、ｘ０及びｙ０は、下記の数１によって表される。そして、投影処理部１３は、下記の数２を用いた演算を複数回（例えば５回）実行し、ｘ及びｙを更新する。
Figure JPOXMLDOC01-appb-M000001
  
Figure JPOXMLDOC01-appb-M000002
　続いて、投影処理部１３は、求めたｘ及びｙを、下記の数３に適用して、（’ｕ，’ｖ）を算出する。そして、投影処理部１３は、算出した（’ｕ，’ｖ）を、下記の数４及び数５に適用して、Ｘ及びＺを算出する。これにより、画像上の座標が、世界座標系に投影される。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
　また、上記数４に示される鳥瞰変換行列Ｈは、下記の数６によって算出される。下記の数６において、Ｍは、撮像装置３０の内部パラメータ行列であり、下記の数７によって算出される。また、Ｅは、撮像装置３０の外部パラメータ行列であり、下記の数８によって算出される。
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
　上記数８において、ｒ１１、ｒ１３、ｒ２１、ｒ２３、ｒ３１、及びｒ３３は、下記の数９に示す回転行列Ｒの１列目と３列目の要素である。また、上記数８において、ｔｘ、ｔｙ、ｔｚは、下記の数１０に示す並進ベクトルｔの要素を示している。
Figure JPOXMLDOC01-appb-M000009
　なお、上記数９において、ｒｏｌｌは、撮像装置３０のロールによる回転角［ｒａｄ］を示し、ｐｉｔｃｈは、撮像装置３０のピッチングによる回転角［ｒａｄ］を示し、ｙａｗは、撮像装置３０のヨーイングによる回転角［ｒａｄ］を示す。
Figure JPOXMLDOC01-appb-M000010
　背景フロー特定部１４は、実施の形態では、世界座標系に投影されたオプティカルフロー群の中から、角度及び長さに基づいて、背景を構成する物体のオプティカルフローを背景フローとして特定する。
　図５は、実施の形態における背景フローの特定処理を説明するための図である。図５に示すように、背景フローの方向は、自車両の移動方向が変わると変化する。図５の例では、自車両の前方に向けて撮像装置３０が設置されている場合の背景フローが矢印によって示されている。
　図５の上段の図は、自車両が直進しているときの背景フローを示している。図５の中段の図は、自車両が最大切れ角で右旋回しているときの背景フローを示している。図５の下段の図は、自車両が最大切れ角で左旋回しているときの背景フローを示している。車両のタイヤの切れ角には限度があるため、背景フローの方向が変化する範囲は一定範囲内に収まる。また、図５に示すように、世界座標系において、背景フローは、略同じ方向を向き、略同じ長さとなる。
　このため、背景フロー特定部１４は、オプティカルフローの長さを横軸の階級としてヒストグラムを生成し、生成したヒストグラムに基づいて、背景フローを特定する。具体的には、背景フロー特定部１４は、まず、全オプティカルフロー群から、方向が一定範囲内にあるオプティカルフロー群を取り出し、取り出したオプティカルフロー群を用いて、ヒストグラムを生成する。そして、背景フロー特定部１４は、例えば、最大度数のビンとその両隣のビンとに属するオプティカルフローとを用いて、ベクトル平均を求め、求めたベクトル平均を背景フローとして特定する。
　背景フローはベクトルであり、その方向は自車両の移動方向と正反対であるが、その移動量は自車両の移動量と同一である。従って、補正処理部１５、実施の形態では、背景フローのベクトルに基づいて車両の移動方向及び移動量を求める。そして、補正処理部１５は、投影されたオプティカルフロー全ての始点の位置を、車両の移動方向と反対の方向に、車両の移動量の分だけ、移動させて、補正を行う。具体的には、背景フローはベクトルであるため、補正処理部１５は、各オプティカルフローに、背景フローのベクトルを加算する。図６は、実施の形態における補正処理を説明するための図である。
　図６において、３１は、自車両以外の車両を示し、３２は、街路樹（背景を構成する物体）を示している。また、図６において、実線は現フレームでの画像を示し、破線は、現フレームの１つ前のフレームを示している。更に、図６において、矢印は、世界座標系に投影されたオプティカルフローを示している。そして、図６の上段の図は、補正前を示し、下段の図は補正後を示している。
　図６に示すように、街路樹３２は背景を構成する物体であるため、背景フローは街路樹３２のオプティカルフローと一致する。従って、補正処理部１５が、補正処理を実行すると、図６の下段の図に示すように、街路樹３２の画像上での移動量はゼロとなるので、そのオプティカルフローの長さもゼロとなる。
　このため、補正処理部１５は、オプティカルフロー群から、補正によって長さがゼロとなったオプティカルフローを除去する。なお、除去されるオプティカルフローには、厳密にはゼロではないが、実質的に長さがゼロとなるオプティカルフローが含まれていても良い。また、実質的に長さがゼロとなる範囲は、予め適宜設定される。
　クラスタリング部１６は、実施の形態では、補正処理部１５によって除去されなかったオプティカルフローに対して、例えば、ｘ－ｍｅａｎアルゴリズムを使用して、クラスタリングを実行する。図７は、実施の形態におけるオプティカルフローのクラスタリング処理を説明するための図である。
　具体的には、クラスタリング部１６は、まず、図７の上段の図に示すように、補正処理部１５によって除去されなかったオプティカルフローそれぞれの位置を特定する。そして、図７の中段の図に示すように、クラスタリング部１６は、特定した位置に基づいて、オプティカルフロー間の距離を算出し、算出した距離に基づいて、クラスタリングを実行する。
　次に、クラスタリング部１６は、クラスタリングによって生成されたクラスタ毎に、長さ、位置（画面内の座標）、及び向きが、そのクラスタ内のオプティカルフローの平均値から大きく乖離しているオプティカルフローを特定する。特定されたオプティカルフローは同じ移動体に由来するものとは考えられないため、図７の下段の図に示すように、クラスタリング部１６は、特定したオプティカルフローを、元のクラスタから除去し、新規にクラスタを生成する。
　また、クラスタリング部１６は、クラスタリングの実行後、複数のクラスタ間において、それらの位置関係と、それぞれのオプティカルフローの長さ及び向きとが、設定条件を満たす場合に、これらのクラスタを結合して１つのクラスタとすることもできる。これらのクラスタのオプティカルフローは同じ移動体に由来すると考えられるからである。
　具体的には、クラスタリング部１６は、まず、クラスタが互いに重なっていること、クラスタ間において、クラスタ内のオプティカルフローの平均長さと向きとが近似していること、を条件に、結合候補となる２つクラスタを特定する。次に、クラスタリング部１６は、結合候補となった２つのクラスタ間について、互いの中心を結んだときの中央のエリア（例えば、２０ピクセル×２０ピクセル）でのオプティカルフローの向きを対比し、向きが各クラスタで一致している場合は、これらの結合候補を結合する。
　トラッキング部１９は、クラスタリング部１６によるクラスタリングによって得られたクラスタ毎に、そのクラスタの位置が、最新の画像データ以外の画像データから予測された位置と重なるかどうかを判定する。
　具体的には、トラッキング部１９は、現フレームにおける判定対象となるクラスタを、複数の過去フレーム（例えば、過去６フレーム）における判定対象となるクラスタと対比して、一定数以上の過去フレームにおいて一致していれば、重なると判定する。そして、トラッキング部１９は、重なると判定したクラスタを、移動体特定部１７に通知する。
　また、トラッキング部１９は、判定において、現フレームのクラスタと過去フレームのクラスタとが、完全に一致している場合だけに限られず、両者が一定の割合以上で重なっている場合も一致しているとする。更に、対応する移動体が異なるクラスタ同士が一致してしまうのを防ぐため、トラッキング部１９は、判定対象となるクラスタの面積を縮小してから（例えば、１／４）、一致の判断を行なうこともできる。
　更に、トラッキング部１９は、判定対象となったクラスタの座標として、現フレームのクラスタの座標と一致した過去フレームのクラスタの座標との平均座標を算出し、算出した平均座標を、判定対象となったクラスタの座標とすることもできる。
　また、トラッキング部１９は、現フレームのクラスタと複数の過去フレームのクラスタとの対比の結果、一致している過去フレームの枚数が閾値未満の場合は、誤検知の可能性が高いため、トラッキング部１９は、判定対象となるクラスタを削除する。但し、削除したクラスタについて、前回の判定において重なると判定されている場合は、トラッキング部１９は、削除したクラスタを復帰させることもできる。
　移動体特定部１７は、実施の形態では、トラッキング部１９によって重なり合うと判定されたクラスタに基づいて、画像中の移動体を特定する。具体的には、背景を構成する物体のオプティカルフローは、補正処理部１５による補正処理によって既に除去されているので、トラッキング部１９によって重なり合うと判定されたクラスタは、全て移動体に該当する。従って、移動体特定部１７は、重なり合うと判定されたクラスタ毎に、そのクラスタに含まれるオプティカルフローの元になった特徴点の集合を特定し、特定した特徴点の集合を移動体として特定する。また、自車両と並走する移動体のオプティカルフローは、補正によってゼロとならないので、特定される移動体には、自車両と並走する車両も含まれている。
　また、移動体特定部１７は、特定した移動体の情報を車両に通知する。このとき通知される情報としては、移動体の画像上の位置、移動方向、及び速度等が挙げられる。なお、速度は、後述する移動体速度算出部２０によって算出される。
　移動体速度算出部２０は、補正処理部１５によって背景フローのベクトルから求められた自車両の移動量を用いて、移動体の速度を算出する。具体的には、移動体速度算出部２０は、まず、自車両の移動量と撮像装置３０のフレームレートから、自車両の速度を算出する。次いで、移動体速度算出部２０は、移動体特定部１７によって特定された移動体におけるオプティカルフローの方向及び長さを用いて、自車両を基準とした、特定された移動体の相対速度を算出する。そして、移動体速度算出部２０は、算出した相対速度と自車両の速度とから移動体の速度を算出する。
　図８は、実施の形態における移動体の相対速度の算出処理を説明するための図である。より詳細には、移動体速度算出部２０は、図８の上段の図に示すように、まず、現フレーム及び１つ前の過去フレームそれぞれにおいて、特定された移動体の自車両に最も近い点（移動体の画面上の右下又は左下の点）の座標を特定する。なお、１つ前の過去フレームで特定された座標を開始座標、現フレームで特定された座標を終了座標とする。また、移動体速度算出部２０は、特定された移動体のオプティカルフローの平均の長さ及び角度から、開始座標を推定することができる。
　次に、移動体速度算出部２０は、図８の中段の図に示すように、開始座標及び終了座標を、撮像装置３０のカメラパラメータを使って、実空間の世界座標系での座標に変換する。座標変換は、投影処理部１３による投影処理と同様の処理によって行われる。そして、移動体速度算出部２０は、変換後の各座標から、実空間における開始座標と終了座標との距離を算出し、これを実空間における移動体の絶対移動距離とする。
　そして、移動体速度算出部２０は、１つ前の過去フレームから現フレームまでの時間と、算出した絶対移動距離とから、移動体の絶対速度を算出し、更に、算出した移動体の絶対速度と自車両の速度とから、自車両を基準とした移動体の相対速度を算出する。なお、１つ前の過去フレームから現フレームまでの時間は、フレームレートから求められる。例えば、フレームレートが１０ｆｐｓであるならば、時間は０．１秒となる。
［装置動作］
　次に、実施の形態における移動体検知装置１０の動作について図９を用いて説明する。図９は、実施の形態における移動体検知装置の動作を示すフロー図である。以下の説明においては、適宜図１～図８を参照する。また、実施の形態では、移動体検知装置を動作させることによって、移動体検知方法が実施される。よって、実施の形態における移動体検知方法の説明は、以下の移動体検知装置の動作説明に代える。
　図７に示すように、最初に、画像取得部１８は、撮像装置３０から出力されてくる画像データを、フレーム毎に取得する（ステップＡ１）。
　具体的には、ステップＡ１では、画像取得部１８は、まず、取得された画像データに対して、グレースケール画像への変換、歪み補正等を行なう。そして、画像取得部１８は、取得された画像データのフレーム数が設定枚数に達すると、取得した画像データを特徴点抽出部１１に渡す。
　次に、特徴点抽出部１１は、ステップＡ１で取得された画像データから、画像中を移動している特徴点を抽出する（ステップＡ２）。
　具体的には、ステップＡ２では、特徴点抽出部１１は、予め設定されたフレーム数分（例えば、１０フレーム）の画像データを用いて、輝度変化の不偏分散を計算して、各画素が移動画素及び静止画素のいずれに該当するかを判定する。そして、特徴点抽出部１１は、移動画素と判定した画素が存在する移動領域から、特徴点を抽出する。
　次に、オプティカルフロー特定部１２は、最新の画像データと、それよりも過去に出力された画像データとを対比して、抽出された特徴点毎に、各特徴点のオプティカルフローを特定する（ステップＡ３）。
　具体的には、ステップＡ３では、オプティカルフロー特定部１２は、現フレームの１つ前の過去フレームの特徴点と現フレームの特徴点とを対比し、対応する特徴点同士を紐付け、紐付けた特徴点同士を結びことで、オプティカルフローを特定する。
　次に、投影処理部１３は、ステップＡ３で特定されたオプティカルフローを、カメラパラメータを使用して、撮像装置を原点とする実空間の世界座標系に投影する（ステップＡ４）。
　具体的には、ステップＡ４では、投影処理部１３は、特定されたオプティカルフロー毎に、上記の数１～数１０を用いて、画像座標系におけるオプティカルフローの座標を（ｕ，ｖ）を、実空間の座標系である世界座標系（ＸＹＺ）に投影する。
　次に、背景フロー特定部１４は、ステップＡ４で投影されたオプティカルフローのうち、背景を構成する物体のオプティカルフローを背景フローとして特定する（ステップＡ５）。
　具体的には、ステップＡ５では、背景フロー特定部１４は、全オプティカルフロー群から、方向が一定範囲内にあるオプティカルフロー群を取り出し、取り出したオプティカルフロー群を用いて、ヒストグラムを生成する。そして、背景フロー特定部１４は、例えば、最大度数のビンとその両隣のビンとに属するオプティカルフローとを用いて、ベクトル平均を求め、求めたベクトル平均を背景フローとして特定する。
　次に、補正処理部１５は、背景フローのベクトルに基づいて、ステップＡ４で投影されたオプティカルフロー全ての始点の位置を補正し、補正によって長さが所定範囲以下となったオプティカルフローを除去する（ステップＡ６）。
　具体的には、ステップＡ６では、補正処理部１５、背景フローのベクトルに基づいて車両の移動方向及び移動量を求める。そして、補正処理部１５は、投影されたオプティカルフロー全ての始点の位置を、車両の移動方向と反対の方向に、車両の移動量の分だけ、移動させて、補正を行う。この補正により、背景フローの長さは略ゼロとなる。
　次に、クラスタリング部１６は、ステップＡ６で除去されなかったオプティカルフローに対して、その位置に基づいて、クラスタリングを実行する（ステップＡ７）。
　具体的には、クラスタリング部１６は、まず、図７の上段の図に示すように、補正処理部１５によって除去されなかったオプティカルフローの距離を算出し、算出した距離に基づいて、クラスタリングを実行する。次に、クラスタリング部１６は、クラスタ毎に、長さ、位置（画面内の座標）、及び向きが、そのクラスタ内のオプティカルフローの平均値から大きく乖離しているオプティカルフローを特定し、これを元のクラスタから除去して、新規にクラスタを生成する。
　次に、トラッキング部１９は、ステップＡ７によって得られたクラスタ毎に、そのクラスタの位置が、最新の画像データ以外の画像データから予測された位置と重なるかどうかを判定し、重なると判定したクラスタを、移動体特定部１７に通知する（ステップＡ８）。
　具体的には、ステップＡ８では、トラッキング部１９は、現フレームにおける判定対象となるクラスタを、複数の過去フレーム（例えば、過去６フレーム）における判定対象となるクラスタと対比して、一定数以上の過去フレームにおいて一致していれば、重なると判定する。
　次に、移動体特定部１７は、ステップＡ８において重なり合うと判定されたクラスタに基づいて、画像中の移動体を特定する（ステップＡ９）。
　具体的には、ステップＡ９では、移動体特定部１７は、重なり合うと判定されたクラスタそれぞれ毎に、そのクラスタに含まれるオプティカルフローの元になった特徴点の集合を特定し、特定した特徴点の集合を移動体として特定する。
　次に、移動体速度算出部２０は、背景フローのベクトルから求められた自車両の移動量を用いて、移動体の速度を算出する（ステップＡ１０）。
　具体的には、ステップＡ１０では、移動体速度算出部２０は、まず、ステップＡ６で求められた自車両の移動量と撮像装置３０のフレームレートから、自車両の速度を算出する。次いで、移動体速度算出部２０は、ステップＡ９で特定された移動体におけるオプティカルフローの方向及び長さを用いて、自車両を基準とした、特定された移動体の相対速度を算出する。そして、移動体速度算出部２０は、算出した相対速度と自車両の速度とから移動体の速度を算出する。
　その後、移動体特定部１７は、ステップＡ９で特定した移動体の情報として、移動体の画像上の位置、移動方向、及び速度を、自車両に通知する（ステップＡ１１）。
［実施の形態における効果］
　以上のように本実施の形態では、特徴点のオプティカルフローの始点の位置が背景フローベクトルに基づいて補正され、それによって、背景フローが除去される。その後、除去されていないオプティカルフローから、移動体が特定されるが、自車両と並走する移動体のオプティカルフローは、補正によって除去されないので、特定される移動体には、自車両と並走する車両も含まれている。このため、実施の形態によれば、車両と並走する移動体であっても検知することができるので、移動体の検知精度の向上が図られる。
［プログラム］
　実施の形態におけるプログラムは、コンピュータに、図９に示すステップＡ１～Ａ１１を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、実施の形態における移動体検知装置１０と移動体検知方法とを実現することができる。この場合、コンピュータのプロセッサは、特徴点抽出部１１、オプティカルフロー特定部１２、投影処理部１３、背景フロー特定部１４、補正処理部１５、クラスタリング部１６、移動体特定部１７、画像取得部１８、トラッキング部１９、及び移動体速度算出部２０として機能し、処理を行なう。
　コンピュータとしては、車両搭載用のコンピュータ、汎用のＰＣ（Personal Computer）、スマートフォン、タブレット型端末装置等が挙げられる。実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、特徴点抽出部１１、オプティカルフロー特定部１２、投影処理部１３、背景フロー特定部１４、補正処理部１５、クラスタリング部１６、移動体特定部１７、画像取得部１８、トラッキング部１９、及び移動体速度算出部２０のいずれかとして機能しても良い。
［物理構成］
　ここで、実施の形態におけるプログラムを実行することによって、移動体検知装置１０を実現するコンピュータについて図１０を用いて説明する。図１０は、実施の形態における移動体検知装置を実現するコンピュータの一例を示すブロック図である。
　図１０に示すように、コンピュータ１１０は、ＣＰＵ（Central Processing Unit）１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。
　また、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていても良い。この態様では、ＧＰＵ又はＦＰＧＡが、実施の形態におけるプログラムを実行することができる。
　ＣＰＵ１１１は、記憶装置１１３に格納された、コード群で構成された実施の形態におけるプログラムをメインメモリ１１２に展開し、各コードを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。
　また、実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。
　また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
　データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
　また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。
　なお、実施の形態における移動体検知装置１０は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェア、例えば電子回路を用いることによっても実現可能である。更に、移動体検知装置１０は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。実施の形態において、コンピュータは、図１０に示すコンピュータに限定されることはない。
　上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記１２）によって表現することができるが、以下の記載に限定されるものではない。
（付記１）
　車両に取り付けられた撮像装置が設定間隔で出力する画像データから、特徴点を抽出する、特徴点抽出部と、
　最新の前記画像データと、それよりも過去に出力された前記画像データとを対比して、抽出された前記特徴点毎に、当該特徴点のオプティカルフローを特定する、オプティカルフロー特定部と、
　特定された前記オプティカルフローを、前記撮像装置を原点とする実空間の座標系に投影する、投影処理部と、
　投影された前記オプティカルフローのうち、背景を構成する物体のオプティカルフローを背景フローとして特定する、背景フロー特定部と、
　前記背景フローのベクトルに基づいて、投影された前記オプティカルフロー全ての始点の位置を補正し、補正によって長さが所定範囲以下となった前記オプティカルフローを除去する、補正処理部と、
　除去されなかった前記オプティカルフローに対して、その位置に基づいて、クラスタリングを行なう、クラスタリング部と、
　前記クラスタリングの結果を用いて、前記画像データ中の移動体を特定する、移動体特定部と、
を備えていることを特徴とする移動体検知装置。
（付記２）
付記１に記載の移動体検知装置であって、
　前記補正処理部が、前記背景フローのベクトルに基づいて前記車両の移動方向及び移動量を求め、投影された前記オプティカルフロー全ての始点の位置を、前記移動方向と反対の方向に、前記移動量の分だけ、移動させて、補正を行う、
ことを特徴とする移動体検知装置。
（付記３）
付記２に記載の移動体検知装置であって、
　前記背景フローのベクトルに基づいて求められた前記車両の移動量を用いて、前記移動体の速度を算出する、移動体速度算出部を更に備えている、
ことを特徴とする移動体検知装置。
（付記４）
付記１～３のいずれかに記載の移動体検知装置であって、
　前記クラスタリングによって得られたクラスタ毎に、当該クラスタの位置が、最新の前記画像データ以外の画像データから予測された位置と重なるかどうかを判定する、トラッキング部を更に備え、
　前記移動体特定部が、重なり合うと判定されたクラスタに基づいて、画像中の移動体を特定する、
ことを特徴とする移動体検知装置。
（付記５）
　車両に取り付けられた撮像装置が設定間隔で出力する画像データから、特徴点を抽出する、特徴点抽出ステップと、
　最新の前記画像データと、それよりも過去に出力された前記画像データとを対比して、抽出された前記特徴点毎に、当該特徴点のオプティカルフローを特定する、オプティカルフロー特定ステップと、
　特定された前記オプティカルフローを、前記撮像装置を原点とする実空間の座標系に投影する、投影処理ステップと、
　投影された前記オプティカルフローのうち、背景を構成する物体のオプティカルフローを背景フローとして特定する、背景フロー特定ステップと、
　前記背景フローのベクトルに基づいて、投影された前記オプティカルフロー全ての始点の位置を補正し、補正によって長さが所定範囲以下となった前記オプティカルフローを除去する、補正処理ステップと、
　除去されなかった前記オプティカルフローに対して、その位置に基づいて、クラスタリングを行なう、クラスタリングステップと、
　前記クラスタリングの結果を用いて、前記画像データ中の移動体を特定する、移動体特定ステップと、
を有することを特徴とする移動体検知方法。
（付記６）
付記５に記載の移動体検知方法であって、
　前記補正処理ステップにおいて、前記背景フローのベクトルに基づいて前記車両の移動方向及び移動量を求め、投影された前記オプティカルフロー全ての始点の位置を、前記移動方向と反対の方向に、前記移動量の分だけ、移動させて、補正を行う、
ことを特徴とする移動体検知方法。
（付記７）
付記６に記載の移動体検知方法であって、
　前記背景フローのベクトルに基づいて求められた前記車両の移動量を用いて、前記移動体の速度を算出する、移動体速度算出ステップを更に有する、
ことを特徴とする移動体検知方法。
（付記８）
付記５～７のいずれかに記載の移動体検知方法であって、
　前記クラスタリングによって得られたクラスタ毎に、当該クラスタの位置が、最新の前記画像データ以外の画像データから予測された位置と重なるかどうかを判定する、トラッキングステップを更に有し、
　前記移動体特定ステップにおいて、重なり合うと判定されたクラスタに基づいて、画像中の移動体を特定する、
ことを特徴とする移動体検知方法。
（付記９）
コンピュータに、
　車両に取り付けられた撮像装置が設定間隔で出力する画像データから、特徴点を抽出する、特徴点抽出ステップと、
　最新の前記画像データと、それよりも過去に出力された前記画像データとを対比して、抽出された前記特徴点毎に、当該特徴点のオプティカルフローを特定する、オプティカルフロー特定ステップと、
　特定された前記オプティカルフローを、前記撮像装置を原点とする実空間の座標系に投影する、投影処理ステップと、
　投影された前記オプティカルフローのうち、背景を構成する物体のオプティカルフローを背景フローとして特定する、背景フロー特定ステップと、
　前記背景フローのベクトルに基づいて、投影された前記オプティカルフロー全ての始点の位置を補正し、補正によって長さが所定範囲以下となった前記オプティカルフローを除去する、補正処理ステップと、
　除去されなかった前記オプティカルフローに対して、その位置に基づいて、クラスタリングを行なう、クラスタリングステップと、
　前記クラスタリングの結果を用いて、前記画像データ中の移動体を特定する、移動体特定ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
（付記１０）
付記９に記載のコンピュータ読み取り可能な記録媒体であって、
　前記補正処理ステップにおいて、前記背景フローのベクトルに基づいて前記車両の移動方向及び移動量を求め、投影された前記オプティカルフロー全ての始点の位置を、前記移動方向と反対の方向に、前記移動量の分だけ、移動させて、補正を行う、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
（付記１１）
付記１０に記載のコンピュータ読み取り可能な記録媒体であって、
前記プログラムが、前記コンピュータに、
　前記背景フローのベクトルに基づいて求められた前記車両の移動量を用いて、前記移動体の速度を算出する、移動体速度算出ステップを実行させる命令を更に含む、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
（付記１２）
付記９～１１のいずれかに記載のコンピュータ読み取り可能な記録媒体であって、
前記プログラムが、前記コンピュータに、
　前記クラスタリングによって得られたクラスタ毎に、当該クラスタの位置が、最新の前記画像データ以外の画像データから予測された位置と重なるかどうかを判定する、トラッキングステップを実行させる命令を更に含み、
　前記移動体特定ステップにおいて、重なり合うと判定されたクラスタに基づいて、画像中の移動体を特定する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０２２年３月１６日に出願された日本出願特願２０２２－０４１１４２を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　以上のように本開示によれば、移動体の検知精度を向上することができる。本開示は、移動体の検知が求められている車両の情報処理装置に有用である。
　１０　移動体検知装置
　１１　特徴点抽出部
　１２　オプティカルフロー特定部
　１３　投影処理部
　１４　背景フロー特定部
　１５　補正処理部
　１６　クラスタリング部
　１７　移動体特定部
　１８　画像取得部
　１９　トラッキング部
　２０　移動体速度算出部
　３０　撮像装置
　３１　車両
　３２　街路樹
　１１０　コンピュータ
　１１１　ＣＰＵ
　１１２　メインメモリ
　１１３　記憶装置
　１１４　入力インターフェイス
　１１５　表示コントローラ
　１１６　データリーダ／ライタ
　１１７　通信インターフェイス
　１１８　入力機器
　１１９　ディスプレイ装置
　１２０　記録媒体
　１２１　バス

Claims (12)

  1. 　車両に取り付けられた撮像装置が設定間隔で出力する画像データから、特徴点を抽出する、特徴点抽出手段と、
    　最新の前記画像データと、それよりも過去に出力された前記画像データとを対比して、抽出された前記特徴点毎に、当該特徴点のオプティカルフローを特定する、オプティカルフロー特定手段と、
    　特定された前記オプティカルフローを、前記撮像装置を原点とする実空間の座標系に投影する、投影処理手段と、
    　投影された前記オプティカルフローのうち、背景を構成する物体のオプティカルフローを背景フローとして特定する、背景フロー特定手段と、
    　前記背景フローのベクトルに基づいて、投影された前記オプティカルフロー全ての始点の位置を補正し、補正によって長さが所定範囲以下となった前記オプティカルフローを除去する、補正処理手段と、
    　除去されなかった前記オプティカルフローに対して、その位置に基づいて、クラスタリングを行なう、クラスタリング手段と、
    　前記クラスタリングの結果を用いて、前記画像データ中の移動体を特定する、移動体特定手段と、
    を備えていることを特徴とする移動体検知装置。
  2. 請求項１に記載の移動体検知装置であって、
    　前記補正処理手段が、前記背景フローのベクトルに基づいて前記車両の移動方向及び移動量を求め、投影された前記オプティカルフロー全ての始点の位置を、前記移動方向と反対の方向に、前記移動量の分だけ、移動させて、補正を行う、
    ことを特徴とする移動体検知装置。
  3. 請求項２に記載の移動体検知装置であって、
    　前記背景フローのベクトルに基づいて求められた前記車両の移動量を用いて、前記移動体の速度を算出する、移動体速度算出手段を更に備えている、
    ことを特徴とする移動体検知装置。
  4. 請求項１～３のいずれかに記載の移動体検知装置であって、
    　前記クラスタリングによって得られたクラスタ毎に、当該クラスタの位置が、最新の前記画像データ以外の画像データから予測された位置と重なるかどうかを判定する、トラッキング手段を更に備え、
    　前記移動体特定手段が、重なり合うと判定されたクラスタに基づいて、画像中の移動体を特定する、
    ことを特徴とする移動体検知装置。
  5. 　車両に取り付けられた撮像装置が設定間隔で出力する画像データから、特徴点を抽出し、
    　最新の前記画像データと、それよりも過去に出力された前記画像データとを対比して、抽出された前記特徴点毎に、当該特徴点のオプティカルフローを特定し、
    　特定された前記オプティカルフローを、前記撮像装置を原点とする実空間の座標系に投影し、
    　投影された前記オプティカルフローのうち、背景を構成する物体のオプティカルフローを背景フローとして特定し、
    　前記背景フローのベクトルに基づいて、投影された前記オプティカルフロー全ての始点の位置を補正し、補正によって長さが所定範囲以下となった前記オプティカルフローを除去し、
    　除去されなかった前記オプティカルフローに対して、その位置に基づいて、クラスタリングを行ない、
    　前記クラスタリングの結果を用いて、前記画像データ中の移動体を特定する、
    ことを特徴とする移動体検知方法。
  6. 請求項５に記載の移動体検知方法であって、
    　前記補正において、前記背景フローのベクトルに基づいて前記車両の移動方向及び移動量を求め、投影された前記オプティカルフロー全ての始点の位置を、前記移動方向と反対の方向に、前記移動量の分だけ、移動させて、補正を行う、
    ことを特徴とする移動体検知方法。
  7. 請求項６に記載の移動体検知方法であって、
    　更に、前記背景フローのベクトルに基づいて求められた前記車両の移動量を用いて、前記移動体の速度を算出する、
    ことを特徴とする移動体検知方法。
  8. 請求項５～７のいずれかに記載の移動体検知方法であって、
    　更に、前記クラスタリングによって得られたクラスタ毎に、当該クラスタの位置が、最新の前記画像データ以外の画像データから予測された位置と重なるかどうかを判定し、
    　前記移動体の特定において、重なり合うと判定されたクラスタに基づいて、画像中の移動体を特定する、
    ことを特徴とする移動体検知方法。
  9. コンピュータに、
    　車両に取り付けられた撮像装置が設定間隔で出力する画像データから、特徴点を抽出させ、
    　最新の前記画像データと、それよりも過去に出力された前記画像データとを対比して、抽出された前記特徴点毎に、当該特徴点のオプティカルフローを特定させ、
    　特定された前記オプティカルフローを、前記撮像装置を原点とする実空間の座標系に投影させ、
    　投影された前記オプティカルフローのうち、背景を構成する物体のオプティカルフローを背景フローとして特定させ、
    　前記背景フローのベクトルに基づいて、投影された前記オプティカルフロー全ての始点の位置を補正させ、補正によって長さが所定範囲以下となった前記オプティカルフローを除去させ、
    　除去されなかった前記オプティカルフローに対して、その位置に基づいて、クラスタリングを行なわせ、
    　前記クラスタリングの結果を用いて、前記画像データ中の移動体を特定させる、
    命令を含むプログラムを記録しているコンピュータ読み取り可能な記録媒体。
  10. 請求項９に記載のコンピュータ読み取り可能な記録媒体であって、
    　前記補正において、前記背景フローのベクトルに基づいて前記車両の移動方向及び移動量を求め、投影された前記オプティカルフロー全ての始点の位置を、前記移動方向と反対の方向に、前記移動量の分だけ、移動させて、補正を行う、
    ことを特徴とするコンピュータ読み取り可能な記録媒体。
  11. 請求項１０に記載のコンピュータ読み取り可能な記録媒体であって、
    前記プログラムが、前記コンピュータに、
    　前記背景フローのベクトルに基づいて求められた前記車両の移動量を用いて、前記移動体の速度を算出させる命令を更に含む、
    ことを特徴とするコンピュータ読み取り可能な記録媒体。
  12. 請求項９～１１のいずれかに記載のコンピュータ読み取り可能な記録媒体であって、
    前記プログラムが、前記コンピュータに、
    　前記クラスタリングによって得られたクラスタ毎に、当該クラスタの位置が、最新の前記画像データ以外の画像データから予測された位置と重なるかどうかを判定させる命令を更に含み、
    　前記移動体の特定において、重なり合うと判定されたクラスタに基づいて、画像中の移動体を特定する、
    ことを特徴とするコンピュータ読み取り可能な記録媒体。
PCT/JP2023/009085 2022-03-16 2023-03-09 移動体検知装置、移動体検知方法、及びコンピュータ読み取り可能な記録媒体 WO2023176695A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022041142 2022-03-16
JP2022-041142 2022-03-16

Publications (1)

Publication Number Publication Date
WO2023176695A1 true WO2023176695A1 (ja) 2023-09-21

Family

ID=88023738

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/009085 WO2023176695A1 (ja) 2022-03-16 2023-03-09 移動体検知装置、移動体検知方法、及びコンピュータ読み取り可能な記録媒体

Country Status (1)

Country Link
WO (1) WO2023176695A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016151976A1 (ja) * 2015-03-26 2016-09-29 パナソニックＩｐマネジメント株式会社 移動体検出装置、画像処理装置、移動体検出方法、及び、集積回路
JP2018097776A (ja) * 2016-12-16 2018-06-21 株式会社デンソーテン 障害物検出装置および障害物検出方法
WO2018159467A1 (ja) * 2017-02-28 2018-09-07 Ｎｅｃソリューションイノベータ株式会社 移動体検知装置、移動体検知方法、及びコンピュータ読み取り可能な記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016151976A1 (ja) * 2015-03-26 2016-09-29 パナソニックＩｐマネジメント株式会社 移動体検出装置、画像処理装置、移動体検出方法、及び、集積回路
JP2018097776A (ja) * 2016-12-16 2018-06-21 株式会社デンソーテン 障害物検出装置および障害物検出方法
WO2018159467A1 (ja) * 2017-02-28 2018-09-07 Ｎｅｃソリューションイノベータ株式会社 移動体検知装置、移動体検知方法、及びコンピュータ読み取り可能な記録媒体

Similar Documents

Publication Publication Date Title
US10586102B2 (en) Systems and methods for object tracking
US9773176B2 (en) Image processing apparatus and image processing method
CN113486797A (zh) 无人车位置检测方法、装置、设备、存储介质及车辆
US10733705B2 (en) Information processing device, learning processing method, learning device, and object recognition device
JP4416039B2 (ja) 縞模様検知システム、縞模様検知方法および縞模様検知用プログラム
JP6795224B2 (ja) 移動体検知装置、移動体検知方法、及びプログラム
JP2000011133A (ja) 移動物体検出装置及びその方法
WO2018235300A1 (ja) 物体検知装置、物体検知方法、及びコンピュータ読み取り可能な記録媒体
KR20200000953A (ko) 어라운드 뷰 모니터링 시스템 및 카메라 공차 보정 방법
US11417080B2 (en) Object detection apparatus, object detection method, and computer-readable recording medium
US20150178573A1 (en) Ground plane detection
JP6620607B2 (ja) 画像解析プログラム、画像解析装置、及び画像解析方法
KR101851492B1 (ko) 번호판 인식 방법 및 번호판 인식 장치
WO2023176695A1 (ja) 移動体検知装置、移動体検知方法、及びコンピュータ読み取り可能な記録媒体
JP7078295B2 (ja) 変状検出装置、変状検出方法、及びプログラム
JPWO2019167238A1 (ja) 画像処理装置および画像処理方法
JP3319383B2 (ja) 走行路認識装置
JP5125214B2 (ja) 障害物検出方法および障害物検出装置
CN114037977B (zh) 道路灭点的检测方法、装置、设备及存储介质
JP4469980B2 (ja) 移動体追跡のための画像処理方法
JP2010205039A (ja) 障害物検出装置
CN112784671A (zh) 障碍物检测装置及障碍物检测方法
CN112184827A (zh) 校准多个摄像机的方法及装置
JP2021077091A (ja) 画像処理装置および画像処理方法
JP6582891B2 (ja) 空車枠特定システム、方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23770651

Country of ref document: EP

Kind code of ref document: A1