WO2025154706A1 - 点群データ処理装置、点群データ処理方法、及び、プログラム - Google Patents

Abstract

点群データ処理装置（１００）は、非構造化照明（１１１）を用いて第１測距画像（１１）を撮像する第１測距部（１３０）と、構造化照明（１１２）を用いて第２測距画像（１２）を撮像する第２測距部（１４０）と、第１測距画像（１１）と第２測距画像（１２）との差分を示す差分画像（１３）を生成する画像処理部（１５０）と、第１測距部（１３０）により撮像された第１測距画像（１１）に基づいて、第１測距画像（１１）に含まれる距離値を点群変換し、第１点群データ（２１）を生成する点群変換部（１６０）と、画像処理部（１５０）により生成された差分画像（１３）に基づいて、補正点群データを生成する補正データ生成部（１７０）と、生成された補正点群データに基づいて、第１点群データ（２１）を補正することによってブレンド点群データ（２２）を生成する点群補正部（１８０）とを備える。

Description

点群データ処理装置、点群データ処理方法、及び、プログラム

　本開示は、点群データ処理装置、点群データ処理方法、及び、プログラムに関する。

　ＴｏＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）とは、物体までの距離を測定するために用いられる技術である。具体的には、ＴｏＦとは、光源から照射した照射光が物体で反射した反射光を撮像素子においてタイミングの異なる複数の露光期間で露光することにより、各露光期間に対応する信号比率から求められる反射光の遅延量に基づいて物体までの距離を算出する技術である。

　ここで、ＴｏＦによって得られる測距値には、光源から照射した照射光が、物体により複数回反射されてから、反射光として露光されることによって生じた誤差、つまり、マルチパスに起因する誤差が含まれる。

　特許文献１には、ＴｏＦカメラにより撮像された測距結果を示す測距画像に含まれる誤差を抑制する技術が開示されている。

米国特許第９３２９０３５号明細書

　本開示は、点群データに含まれるマルチパスに起因する誤差を抑制することができる点群データ処理装置等を提供することを目的とする。

　本開示に係る点群データ処理装置の一態様は、非構造化照明を用いて第１測距画像を撮像する第１測距部と、構造化照明を用いて第２測距画像を撮像する第２測距部と、前記第１測距部により撮像された前記第１測距画像、及び、前記第２測距部により撮像された前記第２測距画像に基づいて、前記第１測距画像と前記第２測距画像との差分を示す差分画像を生成する画像処理部と、前記第１測距部により撮像された前記第１測距画像に基づいて、前記第１測距画像に含まれる距離値を点群変換し、第１点群データを生成する点群変換部と、前記画像処理部により生成された前記差分画像に基づいて、補正点群データを生成する補正データ生成部と、前記補正データ生成部により生成された前記補正点群データに基づいて、前記第１点群データを補正することによってブレンド点群データを生成する点群補正部とを備える。

　また、本開示に係る点群データ処理方法の一態様は、非構造化照明を用いて第１測距画像を撮像する第１測距ステップと、構造化照明を用いて第２測距画像を撮像する第２測距ステップと、前記第１測距ステップにより撮像された前記第１測距画像、及び、前記第２測距ステップにより撮像された前記第２測距画像に基づいて、前記第１測距画像と前記第２測距画像との差分を示す差分画像を生成する画像処理ステップと、前記第１測距ステップにより撮像された前記第１測距画像に基づいて、前記第１測距画像に含まれる距離値を点群変換し、第１点群データを生成する点群変換ステップと、前記画像処理ステップにより生成された前記差分画像に基づいて、補正点群データを生成する補正データ生成ステップと、前記補正データ生成ステップにより生成された前記補正点群データに基づいて、前記第１点群データを補正することによってブレンド点群データを生成する点群補正ステップとを含む。

　なお、本開示は、上記点群データ処理方法として実現できるだけでなく、上記点群データ処理方法をコンピュータに実行させるプログラムとして実現できる。さらに、そのプログラムを格納したコンピュータ読み取り可能な記録媒体としても実現できる。

　本開示に係る点群データ処理装置、点群データ処理方法、及び、プログラムは、点群データに含まれるマルチパスに起因する誤差を抑制することができる。

図１は、実施の形態に係る点群データ処理装置の概要を説明する概要図である。 図２は、ＴｏＦにおけるマルチパスを説明するための図である。 図３は、実施の形態に係る点群データ処理装置の機能構成を示すブロック図である。 図４は、実施の形態に係る第１測距画像の一例を示す図である。 図５は、実施の形態に係る第２測距画像の一例を示す図である。 図６は、点群変換を説明するための図である。 図７は、実施の形態に係る点群データ処理装置の動作を説明するフローチャートである。 図８は、実施の形態に係る縮小画像の一例を示す図である。 図９は、実施の形態に係る補間画像の一例を示す図である。 図１０は、実施の形態に係る差分画像の一例を示す図である。 図１１は、実施の形態に係る補正画像の一例を示す図である。 図１２は、実施の形態に係る第１点群データ及びブレンド点群データを説明するための図である。 図１３は、実施の形態に係る点群データ処理装置の変形例１の動作を説明するフローチャートである。 図１４は、実施の形態に係るマスク処理を説明するための図である。 図１５は、実施の形態に係る点群データ処理装置の変形例２の動作を説明するフローチャートである。 図１６は、実施の形態に係るＤｏｔ有効化処理を説明するための図である。 図１７は、実施の形態に係る時系列フィルタ処理を説明するための図である。

　（実施の形態）
　以下、本開示に係る点群データ処理装置、点群データ処理方法、及び、プログラムの実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本開示の好ましい一具体例を示すものである。以下の実施の形態で示される数値、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、好ましい形態を構成する任意の構成要素として説明される。

　なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付し、重複する説明は省略又は簡略化される場合がある。

　また、本開示における「第１」、「第２」等の序数詞は、特に断りのない限り、構成要素等の数または順序を意味するものではなく、同種の構成要素等の混同を避け、区別する目的で用いられている。

　また、本開示における「周波数」は、特に断りのない限り、「空間周波数」を示す。空間周波数とは、距離の逆数の物理量である。

　［概要］
　まず、本実施の形態に係る点群データ処理装置の概要について説明する。図１は、実施の形態に係る点群データ処理装置１００の概要を説明する概要図である。図２は、ＴｏＦにおけるマルチパスを説明するための図である。

　図１に示されるように、点群データ処理装置１００は、発光部１１０及び露光部１２０を備える。点群データ処理装置１００は、発光部１１０から空間に照射光Ｌ１を照射する。空間に照射された照射光Ｌ１は、空間中の対象物２００により反射され、反射光Ｌ２として、露光部１２０に露光される。この時、露光部１２０は、照射光の照射タイミングに対するタイミングが異なる複数の露光期間で露光を行う。

　点群データ処理装置１００は、発光部１１０が照射光Ｌ１を照射してから、露光部１２０が反射光Ｌ２を露光するまでに要した時間を、複数の露光期間のそれぞれに対応する信号量に基づいて算出することにより、対象物２００までの距離を測定することができる。

　ＴｏＦを用いた距離の測定においては、測定の結果に、マルチパスに起因する誤差が含まれることが知られている。図２に示されるように、発光部１１０が照射した照射光が直接目的の対象物２００に当たって反射するダイレクトパスを進む場合には、真の距離との誤差は生じにくい。しかしながら、実際には、発光部１１０が照射した照射光の一部が別の対象物２０１に当たって反射してから目的の対象物２００に当たって反射するマルチパスが存在しうる。図２に示される例では、マルチパスは１つであるが、複数のマルチパスが存在しうる。

　図２に示されるように、マルチパスを進む光は、ダイレクトパスを進む光よりも遅れて点群データ処理装置１００に返ってくる。そのため、マルチパスを進む光が飛行した時間に対応して算出される距離は、真の距離よりも長くなる。

　例えば、点群データ処理装置１００を用いて、壁面までの距離を測定する場合に、床面に反射してから壁面に反射して点群データ処理装置１００に返ってくる光の経路は、マルチパスの一例である。

　実際には、点群データ処理装置１００に返ってくる目的の対象物２００からの反射光には、ダイレクトパスを進んだ光とマルチパスを進んだ光とが含まれる。したがって、点群データ処理装置１００により算出された距離には、マルチパスに起因して、真の距離よりも長くなるような誤差が含まれる。

　実施の形態に係る点群データ処理装置１００は、ＴｏＦを用いた距離の測定の結果を示す点群データに含まれるマルチパスに起因する誤差を抑制することができる。

　［構成］
　実施の形態に係る点群データ処理装置１００の構成について説明する。図３は、実施の形態に係る点群データ処理装置１００の機能構成を示すブロック図である。

　点群データ処理装置１００は、ＴｏＦにより撮像した距離値を含む測距画像に基づいて、点群データを生成する。測距画像に含まれる距離値は、対象物２００までの距離を示す。点群データとは、空間内の点の集合を示すデータである。点群データは、例えば、３次元座標を有する複数の点の集合を示す３次元点群データである。さらに、点群データ処理装置１００は、点群データを補正するための情報処理を実行することによって、点群データに含まれるマルチパスに起因する誤差を抑制することができる。点群データ処理装置１００は、具体的には、発光部１１０、露光部１２０、第１測距部１３０、第２測距部１４０、画像処理部１５０、点群変換部１６０、補正データ生成部１７０、点群補正部１８０、及び、マスク処理部１９０を備える。

　発光部１１０は、入力される発光制御信号にしたがって、空間に照射光Ｌ１を照射する光照射器である。発光部１１０は、例えば、入力される発光制御信号に含まれる発光制御パルスが示すタイミングにしたがって、照射光としてパルス光を照射する。発光部１１０は、発光制御信号にしたがって、パルス光を所定の周期で繰り返し照射する。

　発光部１１０は、例えば、赤外光を発光する発光ダイオード又はレーザ素子を含む光照射器で構成される。発光部１１０は、比較的応答速度が速く高速点滅可能な発光素子と、発光素子からの光が入射され、発光素子からの光の配光を制御する光学系と、によって実現される。発光部１１０は、空間的に異なる態様の光を、空間に照射する複数の光照射器を含む。空間的に異なる態様とは、発光部１１０が空間に照射する光の強度分布が異なることを意味する。発光部１１０は、具体的には、非構造化照明１１１と構造化照明１１２を備える。

　非構造化照明１１１は、一様な強度分布の光を照射する。非構造化照明１１１は、Ｆｌｏｏｄ光源又はパタンレス光源とも呼ばれる。より具体的には、非構造化照明１１１は、カメラの視野角（言い換えれば、露光部１２０の受光範囲）に対して、一様な強度分布の光を照射する。

　構造化照明１１２は、非一様な強度分布の光を照射する。非一様な強度分布とは、例えば、ドット周期パターンである。構造化照明１１２は、Ｄｏｔ光源又はパタン光源とも呼ばれる。より具体的には、構造化照明１１２は、カメラの視野角に対して、例えば、点配列のような特定のパターンが存在する光を照射する。実施の形態では、構造化照明１１２は、光の強度が高い部分が、縦横の方向に２次元状に配列された点の集合となるような配光分布を持った光を照射する。

　露光部１２０は、例えば、画素アレイによって実現される。露光部１２０は、非構造化照明１１１又は構造化照明１１２が照射した照射光の照射タイミングに対するタイミングが異なる複数の露光期間で露光を行う。

　露光部１２０は、２次元状に配列された複数の画素１２１を備える。複数の画素１２１のそれぞれは、入射光に基づいて信号を生成する。例えば、複数の画素１２１のそれぞれは、入射光を信号電荷に変換し、変換された信号電荷に基づく信号を生成する。画素１２１が受光する入射光は、対象物２００からの反射光及び周囲からの背景光である。複数の画素１２１は、互いに実質的に同一の構成を有する。複数の画素１２１は、第１測距部１３０又は第２測距部１４０から出力される露光制御信号が示すタイミングで１フレーム内に複数回露光をすることができる。ここで、フレームは、複数の画素１２１が露光を行った後、複数の画素１２１から信号を読み出すまでを１つの周期とする期間である。

　以下に説明される第１測距部１３０、第２測距部１４０、画像処理部１５０、点群変換部１６０、補正データ生成部１７０、点群補正部１８０、及び、マスク処理部１９０は、例えば、プログラムを格納するメモリ及びプログラムを実行するプロセッサ等によって実現される機能的な処理部である。なお、図３に示されるブロック図においては、別々になっているが、第１測距部１３０、第２測距部１４０、画像処理部１５０、点群変換部１６０、補正データ生成部１７０、点群補正部１８０、及び、マスク処理部１９０の少なくともいずれかは、同じメモリ及びプロセッサで構成されていてもよい。また、第１測距部１３０、第２測距部１４０、画像処理部１５０、点群変換部１６０、補正データ生成部１７０、点群補正部１８０、及び、マスク処理部１９０の少なくともいずれかは、所定の処理を行う専用の論理回路によって実現されてもよい。

　第１測距部１３０は、第１測距画像を出力するための情報処理を実行する。具体的には、第１測距部１３０は、非構造化照明１１１を駆動させるための発光制御信号を出力する。また、第１測距部１３０は、露光部１２０を駆動させるための露光制御信号を出力する。当該露光制御信号は、非構造化照明１１１による照射光Ｌ１の照射のタイミングに応じたタイミングで、複数の画素１２１のそれぞれに露光を行わせるための信号である。また、第１測距部１３０は、複数の画素１２１のそれぞれにより出力された信号に関する信号処理を行い、対象物２００までの距離を算出し、第１測距画像を生成する。言い換えれば、第１測距部１３０は、これらの情報処理を実行することにより、第１測距画像を撮像する。

　第１測距部１３０は、例えば、非構造化照明１１１を駆動させるための発光制御信号及び露光部１２０を駆動させるための露光制御信号を出力する駆動回路と、露光部１２０から取得した信号に基づいて測距画像を生成するための情報処理を実行する情報処理回路によって実現される。図４は、実施の形態に係る第１測距画像１１の一例を示す図である。

　図４に示されるように、第１測距画像１１は、複数の画素１２１のそれぞれから取得した信号に基づいて算出された対象物２００までの距離値の集合である。

　第１測距画像１１は、非構造化照明１１１を用いて撮像された測距画像であるため、露光部１２０が備える全ての画素１２１について、距離値が算出されうる。

　第２測距部１４０は、第２測距画像を出力するための情報処理を実行する。具体的には、第２測距部１４０は、構造化照明１１２を駆動させるための発光制御信号を出力する。また、第２測距部１４０は、露光部１２０を駆動させるための露光制御信号を出力する。当該露光制御信号は、構造化照明１１２による照射光Ｌ１の照射のタイミングに応じたタイミングで、複数の画素１２１のそれぞれに露光を行わせるための信号である。また、第２測距部１４０は、複数の画素１２１のそれぞれにより出力された信号に関する信号処理を行い、対象物２００までの距離を算出し、第２測距画像を生成する。言い換えれば、第２測距部１４０は、これらの情報処理を実行することにより、第２測距画像を撮像する。

　第２測距部１４０は、例えば、構造化照明１１２を駆動させるための発光制御信号及び露光部１２０を駆動させるための露光制御信号を出力する駆動回路と、露光部１２０から取得した信号に基づいて測距画像を生成するための情報処理を実行する情報処理回路によって実現される。図５は、実施の形態に係る第２測距画像１２の一例を示す図である。

　図５において、白丸で示される部分は、距離の測定に十分な光量の光を受光した画素１２１により出力された信号に基づいて算出された距離値を示す。以下、この画素１２１を有効画素と呼ぶ。一方、図５において、ドットで示される部分（つまり、白丸以外の部分）は、距離の測定に十分な光量の光を受光しなかった画素１２１である。

　第２測距画像１２は、構造化照明１１２を用いて撮像された測距画像であるため、構造化照明１１２が照射する光の強度分布が反映される。つまり、図５に示される第２測距画像１２において、有効画素は、縦横の方向に２次元状に配列された点の集合となるように並ぶことになる。

　ここで、第１測距部１３０及び第２測距部１４０が、複数の画素１２１のそれぞれにより出力された信号に関する信号処理を行い、対象物２００までの距離を算出する手順の一例について、簡単に説明する。ここでは、パルスＴｏＦ方式とも呼ばれる手順の概要について説明する。

　駆動回路は、パルス幅Ｐ１の照射パルスを発光部１１０に照射させ、パルス幅Ｐ１の長さの露光期間Ａ０及び露光期間Ａ１の２つの露光期間で画素１２１を露光させる。露光期間Ａ０は、発光制御パルスの開始と同時に開始する。露光期間Ａ１は、発光制御パルスの開始からパルス幅Ｐ１だけ遅れたタイミング、つまり、露光期間Ａ０の終了と同時に開始する。

　対象物２００からの反射光は、対象物２００までの距離に応じて、時間Δｔだけ照射光から遅れて画素１２１に受光される。したがって、対象物２００が距離の測定が可能な測距レンジに存在する場合には、反射光により生成される信号電荷は、対象物２００までの距離に応じて、露光期間Ａ０に生成される信号電荷と、露光期間Ａ１に生成される信号電荷とに振り分けられる。

　露光期間Ａ０に対応する信号値をＡ０とし、露光期間Ａ１に対応する信号値をＡ１とすると、遅延量である時間Δｔは、以下の式（１）により算出される。

　また、対象物２００までの距離をＤとし、光速をｃとすると、距離Ｄの２倍の距離を時間Δｔかけて照射光が進むため、距離Ｄは、以下の式（２）により算出される。

　この手順を複数の画素１２１のそれぞれについて実行することにより、距離の値Ｄを含む測距画像を撮像することができる。

　なお、露光期間Ａ０は、発光制御パルスの開始と同時に開始する例について説明したが、発光制御パルスの開始から所定時間遅れて開始してもよい。これにより、測距レンジの上限および下限をより距離が長い方向にシフトさせることができる。

　また、対象物２００までの距離を算出する手順は、上記手順に限定されない。例えば、対象物２００までの距離の算出は、ＣＷ（Ｃｏｎｔｉｎｕｏｕｓ　Ｗａｖｅ）－ＴｏＦ方式を用いてもよい。

　画像処理部１５０は、第１測距部１３０により撮像された第１測距画像１１、及び、第２測距部１４０により撮像された第２測距画像１２に基づいて、第１測距画像１１と第２測距画像１２との差分を示す差分画像を生成するための情報処理を実行する。また、画像処理部１５０は、生成した差分画像に対して、所定の第１周波数以上の周波数成分を低減する処理を実行することにより補正画像を生成するための情報処理を実行する。言い換えれば、画像処理部１５０は、撮像された測距画像を取得し、取得した測距画像に対する情報処理を実行する。所定の第１周波数について、詳しくは後述する。

　点群変換部１６０は、第１測距部１３０により撮像された第１測距画像１１に基づいて、第１測距画像１１に含まれる距離値を点群変換し、第１点群データを生成するための情報処理を実行する。点群変換とは、測距画像とカメラ内部パラメータに基づいて、測距画像に含まれる複数の距離値のそれぞれをｘｙｚ座標系の点の座標に変換することによって、点群データを生成する処理である。

　ここで、測距画像に含まれる距離値を点群変換する手順について、簡単に説明する。図６は、点群変換を説明するための図である。

　まず、図６に示されるｕｖ座標軸を用いて、測距画像の中心を原点として、点群変換を行う画素が測距画像のどの位置に存在するかを算出する。つまり、ｕは、水平画像座標、ｖは垂直画像座標である。各画素の光軸からの距離に対応する半画角をθ、各画素位置の光軸を中心とした回転角をφとすると、カメラ内部パラメータをＩとして、θ及びφは、ｕとｖとＩに依存する。言い換えれば、θ（ｕ、ｖ、Ｉ）、φ（ｕ、ｖ、Ｉ）と表記することができる。カメラ内部パラメータは、測距カメラが設置されている位置（高さ）、及び、測距カメラの性能等を含む。

　算出されたθ及びφに基づいて、変換係数を算出する。変換係数とは、点群変換のために用いられるｘ軸、ｙ軸及びｚ軸方向のそれぞれに対応する係数である。

　ここで、ｘ軸方向の変換係数をｐａｒａｍＸ、ｙ軸方向の変換係数をｐａｒａｍＹ、ｚ軸方向の変換係数をｐａｒａｍＺとすると、変換係数は次の式により算出される。

　（ｐａｒａｍＸ、ｐａｒａｍＹ、ｐａｒａｍＺ）＝（ｓｉｎ（θ）ｃｏｓ（φ）、ｓｉｎ（θ）ｓｉｎ（φ）、ｃｏｓ（θ））

　算出された変換係数と測距画像の複数の画素のそれぞれの距離値ｄｅｐｔｈに基づいて、複数の画素のそれぞれの３Ｄ座標（ｘ、ｙ、ｚ）は、次の式により算出される。

　（ｘ、ｙ、ｚ）＝（ｐａｒａｍＸ＊ｄｅｐｔｈ、ｐａｒａｍＹ＊ｄｅｐｔｈ、ｐａｒａｍＺ＊ｄｅｐｔｈ）

　この計算を複数の画素のそれぞれについて実行することによって、距離値を３Ｄ座標に変換することができる。

　点群変換部１６０は、このような手順で第１測距画像１１に含まれる距離値を点群変換し、第１点群データを生成する。

　補正データ生成部１７０は、画像処理部１５０により生成された差分画像に基づいて、補正点群データを生成するための情報処理を実行する。具体的には、補正データ生成部１７０は差分画像又は補正画像等に含まれる距離値を点群変換し、補正点群データを生成する。

　点群補正部１８０は、補正データ生成部１７０により生成された補正点群データに基づいて、第１点群データを補正することによってブレンド点群データを生成するための情報処理を実行する。例えば、点群補正部１８０は、第１点群データと補正点群データとを合成することにより、ブレンド点群データを生成する。ブレンド点群データは、点群データ処理装置１００による情報処理によって、測距時のマルチパスに起因する誤差が抑制された点群データである。

　マスク処理部１９０は、第１測距画像１１に含まれる所定の第２周波数以上の周波数成分を抽出して高周波画像を生成するための情報処理を実行する。所定の第２周波数について、詳しくは後述する。点群データ処理装置１００は、マスク処理部１９０を備えていなくてもよい。

　［動作］
　次に、実施の形態に係る点群データ処理装置１００の動作について説明する。図７は、実施の形態に係る点群データ処理装置１００の動作を説明するフローチャートである。

　一般に、ＤｏｔＴｏＦ（構造化照明を用いたＴｏＦ）は、ＦｌｏｏｄＴｏＦ（非構造化照明を用いたＴｏＦ）と比較して、マルチパスに起因する誤差を抑制することができる。

　一方で、ＤｏｔＴｏＦは、ＦｌｏｏｄＴｏＦと比較して、空間解像度が著しく低くなってしまうという問題がある。

　そこで、実施の形態に係る点群データ処理装置１００は、ＤｏｔＴｏＦとＦｌｏｏｄＴｏＦとを適切に合成する処理を行うことによって、空間解像度を維持しつつ、マルチパスに起因する誤差を抑制することができる。より具体的には、実施の形態に係る点群データ処理装置１００は、Ｄｏｔ光源とＦｌｏｏｄ光源とを含む異なる光源を用いて測距画像を撮像し、測距画像に基づいて得られた点群データを補正することによって、撮像した測距画像に含まれるマルチパスに起因する誤差を抑制した点群データを生成することができる。

　まず、第１測距部１３０は、非構造化照明１１１を用いて、第１測距画像１１を撮像する（Ｓ１１）。第１測距部１３０は、撮像した第１測距画像１１を画像処理部１５０及び点群変換部１６０へ出力する。

　次に、第２測距部１４０は、構造化照明１１２を用いて、第２測距画像１２を撮像する（Ｓ１２）。第２測距部１４０は、撮像した第２測距画像１２を画像処理部１５０へ出力する。

　第２測距画像１２を取得すると、画像処理部１５０は、第２測距画像１２に補間処理を実行する（Ｓ１３）。補間処理は、第２測距画像１２に含まれる有効でない距離値を補間することによって、第１測距画像１１の画素数と同じ数の画素数の画像を取得するための処理である。補間処理は、第２測距画像１２に含まれる有効画素を抽出する処理を含む。補間処理とは、例えば、第２測距画像１２に含まれる有効画素に対して所定の情報処理を行うことにより、第２測距画像１２に基づいて、第１測距画像１１の画素数と同じ数の画素数の画像を生成する処理のことを意味する。

　具体的には、まず、画像処理部１５０は、第２測距画像１２に含まれる有効画素を抽出することによって縮小画像を生成する。図８は、実施の形態に係る縮小画像１２ａの一例を示す図である。図８に示されるように、縮小画像１２ａは、第２測距画像１２に含まれる有効画素のみからなる画像である。つまり、縮小画像１２ａは、第２測距画像１２よりも画素数が少ない画像である。縮小画像１２ａの画素数は、例えば、構造化照明１１２により照射された照射光の強度分布のうち光強度が強い箇所の数と同じであってもよい。

　次に、画像処理部１５０は、縮小画像１２ａに基づいて、補間画像を生成する。具体的には、画像処理部１５０は、縮小画像１２ａに対して、後述する情報処理を実行することによって、縮小画像１２ａの画素と画素の間に、適切な距離値を示す画素を補うことによって、補間画像を生成する。図９は、実施の形態に係る補間画像１２ｂの一例を示す図である。図９に示されるように、補間画像１２ｂは、第１測距画像１１の画素数と同じ数の画素数の画像である。

　縮小画像１２ａに基づいて、補間画像１２ｂを生成するための方法は、例えば、最近傍補間（Ｎｅａｒｅｓｔ　ｎｅｉｇｈｂｏｒ）法であるが、双一次補間（Ｂｉｌｉｎｅａｒ）法であってもよいし、双三次補間（Ｂｉｃｕｂｉｃ）法等であってもよい。また、補間画像１２ｂの生成は、縮小画像１２ａに、Ｊｏｉｎｔ－Ｂｉｌａｔｅｒａｌ　Ｆｉｌｔｅｒ及びＧｕｉｄｅｄ　Ｆｉｌｔｅｒ等を適用することによって、アップサンプリングすることで実行されてもよい。

　補間画像１２ｂが生成されると、画像処理部１５０は、第１測距画像１１及び補間画像１２ｂに基づいて、差分画像を生成する（Ｓ１４）。図１０は、実施の形態に係る差分画像１３の一例を示す図である。差分画像１３は、第１測距画像１１の距離値と補間画像１２ｂの距離値との差分を示す画像である。例えば、図１０に示される差分画像１３においては、色が濃い部分ほど、第１測距画像１１に含まれる距離値と補間画像１２ｂに含まれる距離値との差分が大きいことを示している。

　差分画像が生成されると、画像処理部１５０は、差分画像１３の高周波成分を低減する処理を実行する（Ｓ１５）。画像処理部１５０は、差分画像１３の高周波成分を低減する処理を実行し、補正画像を生成する。図１１は、実施の形態に係る補正画像１４の一例を示す図である。

　図１１に示される補正画像１４は、図１０に示される差分画像１３の高周波成分を低減する処理が実行された画像である。図１１に示されるように、補正画像１４は、図１０に示される差分画像１３と比較して、高周波成分、空間的に急峻な変化を示す成分が、低減されている。

　ここで、差分画像１３には、主に２つの原因に起因するエラー成分が含まれる。

　第１の原因は、第１測距画像１１の精度が低いことに起因するエラー成分である。第１測距画像１１の精度の低下は、マルチパス及び低反射率物体等によって発生する。このエラー成分は、比較的低い周波数成分を示す。

　第２の原因は、第２測距画像１２の解像度が低い、言い換えれば、有効画素数が少ないことに起因するエラー成分である。第２測距画像１２の解像度が低いことによって、急峻なＤｅｐｔｈ形状、つまり、細い物体又はとがった物体等が有する、隣り合う画素における距離値の変化が大きい形状を検出することができないため、エラー成分が発生する。このエラー成分は、比較的高い周波数成分を示す。

　そこで、ステップＳ１５の処理において、画像処理部１５０が差分画像１３の高周波成分を低減する処理を実行することによって、第１の原因に起因するエラー成分、つまり、比較的低い周波数成分を示すエラー成分を抽出することができる。

　例えば、画像処理部１５０は、差分画像１３を周波数変換し、差分画像１３に含まれる高周波成分を低減する処理を実行する。

　具体的には、画像処理部１５０は、差分画像１３に対して離散フーリエ変換によって、周波数変換処理を実行する。周波数変換処理は、離散コサイン変換により実行されてもよいし、離散ウェーブレット変換により実行されてもよいし、離散アダマール変換により実行されてもよいし、離散ハール変換により実行されてもよい。周波数変換処理の方法は、上記に限らず、ここでは限定されない。

　次に、画像処理部１５０は、所定の第１周波数以上の周波数成分を低減させる処理を実行する。構造化照明１１２による受光量は、画素ピッチ周波数ｆｓの画像センサ上で、パタン周波数ｆｐに従って分布する。所定の第１周波数をｆｔｈとして、ｆｔｈは、例えば、０．１ｆｐ＜ｆｔｈ＜ｆｓを満たすような値である。なお、ｆｔｈは、他の範囲を満たす値であってもよく、例えば、０．２ｆｐ＜ｆｔｈ＜１．２ｆｓを満たすような値であってもよい。

　所定の第１周波数成分を低減させる処理は、例えば、スペクトル上で０とする処理であってもよいし、ガウシアン等の特定の関数形状に基づいて低減させる処理であってもよい。

　最後に、画像処理部１５０は、これを逆周波数変換することによって、補正画像１４を生成する処理を実行する。

　なお、当該処理は、差分画像１３に含まれる全ての画素に対して実行されてもよいし、差分画像１３に含まれる一部の画素に対して実行されてもよい。

　あるいは、例えば、画像処理部１５０は、差分画像１３に対して空間フィルタを適用することによって、高周波成分を低減する処理を実行する。

　具体的には、画像処理部１５０は、差分画像１３に対して、所定の第１周波数以上の周波数成分を低減するように設計された空間フィルタを適用することによって、高周波成分を低減する処理を実行する。

　所定の第１周波数をｆｔｈとして、ｆｔｈは、例えば、０．１ｆｐ＜ｆｔｈ＜ｆｓを満たすような値である。なお、ｆｔｈは、他の範囲を満たす値であってもよく、例えば、０．２ｆｐ＜ｆｔｈ＜１．２ｆｓを満たすような値であってもよい。

　空間フィルタのフィルタサイズは、縦、横の少なくともいずれかが１画素よりも大きければ特に限定されない。例えば、縦の大きさが１画素で横の大きさが３画素であってもよいし、縦の大きさが３画素で横の大きさが１画素であってもよい。また、フィルタが伸びる方向は、上下左右のどちらであってもよい。

　また、フィルタ処理は、縦横で分離して実行されてもよい。例えば、１画素×３画素の大きさの空間フィルタと３画素×１画素の大きさの空間フィルタを個別に適用し、適用した結果を加算又は乗算等の何らかの演算でまとめたものを最終結果としてもよい。

　構造化照明１１２による受光量は、画素ピッチ周波数ｆｓの画像センサ上で、パタン周波数ｆｐに従って分布する。所定の第１周波数をｆｔｈとして、ｆｔｈは、例えば、０．１ｆｐ＜ｆｔｈ＜ｆｓを満たすような値である。なお、ｆｔｈは、他の範囲を満たす値であってもよく、例えば、０．２ｆｐ＜ｆｔｈ＜１．２ｆｓを満たすような値であってもよい。

　なお、当該処理は、差分画像１３に含まれる全ての画素に対して実行されてもよいし、差分画像１３に含まれる一部の画素に対して実行されてもよい。

　あるいは、例えば、画像処理部１５０は、ＡＩ（Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）を用いて、差分画像１３に含まれる高周波成分を低減する処理を実行する。

　例えば、画像処理部１５０は、事前に第１の原因に起因するエラー成分と第２の原因に起因するエラー成分とを学習させた画像生成ＡＩに対して、差分画像１３を入力することにより、補正画像１４を生成する。

　画像生成ＡＩは、差分画像１３に含まれるエラー成分のうち、第１の原因に起因するエラー成分を抽出することができるように学習されたＡＩモデルである。画像生成ＡＩモデルは、例えば、ＣｏｎｔｒｏｌＮｅｔ又はｐｉｘ２ｐｉｘのアルゴリズムによって実現されるが、その他のアルゴリズムによるモデルであってもよい。

　なお、当該処理は、差分画像１３に含まれる全ての画素に対して実行されてもよいし、差分画像１３に含まれる一部の画素に対して実行されてもよい。

　次に、補正データ生成部１７０は、補正画像１４に基づいて、補正点群データを生成する（Ｓ１６）。具体的には、補正データ生成部１７０は、補正画像１４に含まれる距離値を点群変換することにより、補正点群データを生成する。

　点群変換部１６０は、第１測距画像１１に基づいて、第１点群データを生成する（Ｓ１７）。具体的には、点群変換部１６０は、第１測距画像１１に含まれる距離値を点群変換することにより、第１点群データ２１を生成する。

　最後に、点群補正部１８０は、補正点群データを用いて、第１点群データ２１を補正することによって、ブレンド点群データを生成する（Ｓ１８）。言い換えれば、点群補正部１８０は、点群補正処理を実行することによって、ブレンド点群データを生成する。点群補正処理とは、第１測距画像１１を点群変換した第１点群データ２１、及び、補正画像１４を点群変換した補正点群データに基づいて、ブレンド点群データを生成する処理である。点群補正処理は、例えば、第１点群データ２１と補正点群データとの差分を算出して、第１点群データ２１に反映させることによって実行する。なお、点群補正処理は、他の方法により実施されてもよい。

　図１２は、実施の形態に係る第１点群データ２１及びブレンド点群データ２２を説明するための図である。図１２には、Ｌ字形状の部分を右上から撮像した第１測距画像１１及び第２測距画像１２に基づいて生成された第１点群データ２１及びブレンド点群データ２２を、当該Ｌ字形状が現れる断面で切ったデータが示される。Ｌ字形状は、測距時にマルチパスを発生させやすい形状である。

　図１２においてＬ字の破線で示される理想値３１は、撮像された実際の形状を示す。つまり、図１２において、点群データを構成する点の位置が理想値３１に近いほど、実際の形状がより正確に再現された、誤差の少ない点群データであると言える。

　以下、図１２に示されるＬ字の理想値３１において、上下方向の破線を壁面、左右方向の破線を床面と呼ぶ。

　図１２に示されるように、第１点群データ２１は、壁面においても床面においても、理想値３１よりも理想値３１に示される実際の距離値よりも長い距離値に基づいて生成された点群である。つまり、第１点群データ２１には、マルチパスに起因する誤差が含まれている。

　一方で、ブレンド点群データ２２は、第１点群データ２１と比較して、理想値３１に近い点からなる点群データである。つまり、ブレンド点群データ２２は、ＭＰＩ（Ｍｕｌｔｉｐａｔｈ　Ｉｎｔｅｒｆｅｒｅｎｃｅ）による歪み、つまり、マルチパスに起因する誤差が抑制されている。

　また、図１２では、例えば、第１点群データ２１のうち床面を示す点群に見られるように、第１点群データ２１はカーブの大きい曲線状の点群であるのに対して、ブレンド点群データ２２は、比較的カーブの小さい、略直線状の点群である。つまり、ブレンド点群データ２２は、第１点群データ２１と比較して、直線形状の再現性が高い点群データである。

　したがって、図１２に示されるように、ブレンド点群データ２２は、第１点群データ２１と比較して、実際の形状がより精度が高く反映されている。

　以上のような動作によれば、実施の形態に係る点群データ処理装置１００は、非構造化照明１１１を用いて撮像された第１測距画像１１と構造化照明１１２を用いて撮像された第２測距画像１２とに基づいて補正点群データを生成し、補正点群データに基づいて第１測距画像１１から得られる第１点群データ２１を補正してブレンド点群データ２２を生成する。

　したがって、このような点群データ処理装置１００によれば、測距時のマルチパスに起因する誤差が抑制された点群データを生成することができる。

　［変形例１］
　上記実施の形態に係る点群データ処理装置１００は、補正点群データを用いて、第１点群データ２１を補正することによって、マルチパスに起因する誤差が抑制されたブレンド点群データ２２を生成することができる。この時、点群データ処理装置１００は、マルチパスに起因する誤差を抑制するために、高周波成分を低減する処理を行うことによって、補正点群データを生成する。

　ここで、構造化照明１１２は、光の強度が高い部分が、縦横の方向に２次元状に配列された点の集合となるような配光分布を持った光を照射するため、構造化照明１１２による測距画像は、この配光分布により規定される一定の空間周波数Ｆｐ以下の周波数成分を持つ。したがって、第２測距画像１２からは、空間周波数がＦｐよりも大きい空間周波数成分をもつ箇所における距離値を取得することはできない。つまり、例えば、椅子の脚の部分のような、急峻なＤｅｐｔｈ変化を持つ形状を有する物体は、第２測距画像１２からは検出できない。

　よって、空間周波数がＦｐ以上の形状は、補正画像１４には正しく反映されない。したがって、補正画像１４に対して、所定の第２周波数以上の、高い周波数成分を抽出する周波数フィルタにより、所定の第２周波数以上の高い周波数成分を保護するためのマスク処理を行ってもよい。

　変形例１に係る点群データ処理装置１００によれば、第２測距画像１２に反映されない高い周波数成分を示す形状を、補正点群データに反映させることができる。以下、このような点群データ処理装置１００の変形例１について説明する。図１３は、実施の形態に係る点群データ処理装置１００の変形例１の動作を説明するフローチャートである。図１４は、実施の形態に係るマスク処理を説明するための図である。図１４の（ａ）は、実施の形態に係るマスク処理が実行される第１測距画像１１の一例を示す図である。図１４の（ｂ）は、実施の形態に係るマスク処理が実行するための高周波画像１５の一例を示す図である。図１４の（ｃ）は、実施の形態に係るマスク処理を実行するためのマスキング画像１６の一例を示す図である。

　図１３に示されるように、まず、図７のステップＳ１５の処理において、画像処理部１５０は、差分画像１３の所定の第１周波数以上の高周波成分を低減する処理を実行し、補正画像１４を生成する。

　マスク処理部１９０は、第１測距画像１１に含まれる所定の第２周波数以上の周波数成分を抽出して高周波画像１５を生成する（Ｓ２１）。マスク処理部１９０は、周波数フィルタの効果のある処理を実行することによって、所定の第２周波数以上の周波数成分を抽出する。周波数フィルタの効果のある処理は、例えば、周波数変換処理、空間フィルタを適用する処理、及び、ＡＩを用いた処理等である。なお、周波数フィルタの効果のある処理は、上記に限らず、ここでは限定しない。

　所定の第２周波数は、例えば、Ｆｐであるが、１．２Ｆｐであってもよい。具体的には、マスク処理部１９０は、図１４の（ａ）及び図１４の（ｂ）に示されるように、第１測距画像１１に対して、所定の第２周波数以上の周波数成分を抽出する処理を実行することによって、高周波画像１５を生成する。図１４の（ｂ）に示される高周波画像１５においては、実線で示される箇所が抽出された箇所であり、斜線で示される箇所が抽出されなかった箇所である。つまり、図１４の（ａ）に示される椅子を撮像した第１測距画像１１から、椅子の脚の部分のような細い形状の部分が抽出され、高周波画像１５として生成されている。

　高周波画像１５が生成されると、画像処理部１５０は、マスク処理部１９０により生成された高周波画像１５に基づいて、補正画像１４を調整する（Ｓ２２）。具体的には、マスク処理部１９０は、図１４の（ｃ）に示されるように、高周波画像１５からマスキング画像１６を生成する。画像処理部１５０は、マスキング画像１６と補正画像１４とをマスク係数に基づいて合成することによって、補正画像１４を調整する。図１４の（ｃ）に示されるマスキング画像１６において、実線で示される箇所は、マスク処理を行う箇所であり、白で塗られた箇所は、マスク処理を行わない箇所である。つまり、図１４の（ｃ）に示されるマスキング画像１６において、実線で示される箇所については、マスク係数が算出され、白で塗られた箇所については、マスク係数が算出されない、又は、マスク係数の無効値が算出される。

　マスク処理部１９０は、マスキング画像１６においてマスク処理を行うと示される箇所について、マスク係数を算出し、画像処理部１５０は、算出されたマスク係数に基づいて補正画像１４を調整する。例えば、マスク処理部１９０は、高周波画像１５の画素値を規格化して係数とすることによってマスク係数を算出する。マスク係数の算出は、高周波画像１５と第１測距画像１１との比をとった画像に対して乗算ないしは、べき乗倍などの計算処理を実施したうえで、画素値を規格化して係数とすることによって実行してもよい。マスク係数の算出方法は、特に限定されない。

　画像処理部１５０は、算出されたマスク係数に基づいて、補正画像１４に対して所定の第２周波数以上の周波数成分をマスクする処理を実行して、調整された補正画像１４を生成する。マスクする処理は、補正画像１４に対して算出されたマスク係数を乗算することによって実行されてもよい。また、マスクする処理は、補正画像１４に対してマスク係数を乗算した値の平均値を算出し、その平均値に置換することによって実行されてもよい。また、マスクする処理は、マスキング画像１６により示される箇所に対してＡＩ又は連結成分算出による画素ラベリングをし、そのラベル値ごとに距離値の補正量の平均値を算出して、その平均値に置換することによって実行されてもよい。マスクする処理の手法は、特に限定されない。

　補正画像１４が調整されると、図７のステップＳ１６の処理へ進み、補正データ生成部１７０は、画像処理部１５０により調整された補正画像１４に基づいて、補正点群データを生成する。

　以上のように、変形例１に係る点群データ処理装置１００は、第２測距画像１２に反映されない高い周波数成分を示す形状を、補正点群データに反映させることができるので、ブレンド点群データ２２の精度を向上させることができる。

　［変形例２］
　上記実施の形態に係る点群データ処理装置１００においては、第１測距画像１１の撮像範囲と、第２測距画像１２の撮像範囲は同じであった。言い換えれば、第１測距部１３０が非構造化照明１１１を用いて行う距離の測定の測距レンジと、第２測距部１４０が構造化照明１１２を用いて行う距離の測定の測距レンジとは、同じであった。

　しかしながら、一般に、構造化照明１１２の方が、非構造化照明１１１と比較して、光の出力を強くすることが可能である。言い換えれば、構造化照明１１２の方が、非構造化照明１１１よりも遠くまで測距を行うことが可能である。したがって、第１測距画像１１よりも第２測距画像１２の方が、遠い距離値を含むことができる。

　このように、非構造化照明１１１によるＴｏＦの測距レンジよりも、構造化照明１１２によるＴｏＦの測距レンジが広い場合、構造化照明１１２を用いて撮像された第２測距画像１２に基づいて算出される有効点群データをブレンド点群データ２２と空間的に合成してもよい。

　変形例２に係る点群データ処理装置１００は、ブレンド点群データ２２の範囲よりも遠い範囲における有効点群データと、ブレンド点群データ２２とを空間的に合成することによって、より空間的に広い範囲の点群データを生成することができる。以下、このような点群データ処理装置１００の変形例２について説明する。図１５は、実施の形態に係る点群データ処理装置１００の変形例２の動作を説明するフローチャートである。図１６は、実施の形態に係るＤｏｔ有効化処理を説明するための図である。図１６の（ａ）は、第１測距画像１１と第２測距画像１２の測距レンジの違いを説明する図である。図１６の（ｂ）は、ブレンド点群データ２２の範囲を説明する図である。図１６の（ｃ）は、有効ブレンド点群データ２４の概略図である。

　図１５に示されるように、まず、図７のステップＳ１８の処理において、点群補正部１８０は、ブレンド点群データを生成する。また、点群変換部１６０は、第２測距画像１２を取得する（図３、図１５において図示せず）。

　次に、点群変換部１６０は、第２測距画像１２の撮像範囲のうち、第１測距画像１１の撮像範囲に含まれない範囲が撮像された領域を特定する（Ｓ３１）。図１６の（ａ）に示される第１測距画像１１において、ドットで示される部分は、非構造化照明１１１によるＴｏＦの測距レンジよりも遠いため、距離の算出に十分な光量の光を受光しなかった部分であり、白色で示される部分は、距離の算出に十分な光量の光を受光した部分である。したがって、図７を用いて説明されたブレンド点群データ２２を生成する動作は、図１６の（ａ）に示される第１測距画像１１の白色で示される部分において行われる。また、図１６の（ａ）に示される第２測距画像１２において、黒丸は、ブレンド点群データ２２を生成するために使用される有効画素を示し、白丸は、ブレンド点群データ２２を生成するために使用されない有効画素を示す。図１６の（ｂ）に示されるように、ブレンド点群データ２２は、図１６の（ａ）に示される第１測距画像１１の白色で示される部分と、図１６の（ａ）に示される第２測距画像１２において、白丸で示される有効画素に基づいて生成される。

　点群変換部１６０は、第２測距画像１２の撮像範囲のうち、第１測距画像１１の撮像範囲に含まれない範囲が撮像された領域、つまり、図１６の（ａ）に示される第２測距画像１２において白丸で示される有効画素、を特定する。

　次に、点群変換部１６０は、第２測距画像１２の特定された領域に含まれる測距値を点群変換することによって、有効点群データ２３を生成する（Ｓ３２）。つまり、点群変換部１６０は、図１６の（ａ）に示される第２測距画像１２において白丸で示される有効画素により出力された信号に基づく距離値を点群変換することによって、有効点群データ２３を生成する。図１６の（ｃ）に示されるように、有効点群データ２３は、ブレンド点群データ２２とは異なる領域についての点群データである。

　最後に、点群補正部１８０は、生成したブレンド点群データ２２、及び、点群変換部１６０により生成された有効点群データを２３空間的に合成することにより、有効ブレンド点群データ２４を生成する（Ｓ３３）。空間的に合成するとは、２以上の異なる空間についての点群データを、足し合わせることによって、１つの空間についての点群データを生成することを意味する。図１６の（ｃ）に示す通り、有効ブレンド点群データ２４は、ブレンド点群データ２２と有効点群データ２３とが空間的に合成された点群データである。

　このような動作によれば、変形例２に係る点群データ処理装置１００は、ブレンド点群データ２２の範囲よりも遠い範囲における有効点群データ２３と、ブレンド点群データ２２とを空間的に合成することによって、より空間的に広い範囲の点群データを生成することができる。また、有効点群データ２３は、第２測距画像１２に基づく点群データであるため、マルチパスに起因するエラー成分の影響が少ないので、点群データ処理装置１００は、マルチパスに起因する誤差が抑制された有効ブレンド点群データ２４を生成することができる。

　［変形例３］
　点群データ処理装置１００の構成によっては、第１測距画像１１が撮像されるタイミングと第２測距画像１２が撮像されるタイミングとが異なる場合がある。例えば、点群データ処理装置１００が１つの露光部１２０を備え、第１測距部１３０と第２測距棒１４０とが交互に、１つの露光部１２０を用いて撮像を行う場合には、第１測距画像１１と第２測距画像１２とは、同一のタイミングでは撮像されない。

　このように第１測距画像１１の撮像と第２測距画像１２の撮像とが異なるタイミングで行われる場合には、例えば、第１測距画像１１の撮像タイミングと第２測距画像１２の撮像タイミングとの間でカメラ（特に、露光部１２０）又は対象物２００の移動することによって、差分画像１３に、動きに由来する偽成分が発生するおそれがある。

　実施の形態の変形例３に係る点群データ処理装置１００は、過去のフレームにおける差分画像１３を用いて、現在のフレームにおける差分画像１３に時系列フィルタ処理を行うことによって、動きに由来する偽成分を解消することができる。

　以下、このような実施の形態の変形例３に係る点群データ処理装置１００に実行される時系列フィルタ処理について説明する。図１７は、実施の形態に係る時系列フィルタ処理を説明するための図である。

　図１７には、第１測距部１３０と第２測距部１４０とが交互に、１つの露光部１２０を用いて撮像を行う場合に、時刻１において静止していたカメラが、時刻２において左回りに回転をしているときに行われる時系列フィルタ処理の一例が示される。図１７に示される時刻１は、第２測距部１４０により第２測距画像１２が撮像された時刻である。図１７に示される時刻２は、時刻１の直後のフレームであり、第１測距部１３０により第３測距画像１１ｂが撮像された時刻である。画像処理部１５０は、時刻１の直前のフレームにおいて第１測距部１３０により撮像された第１測距画像１１ａと第２測距画像１２とに基づいて、第１差分画像１３ａを生成する。画像処理部１５０は、第３測距画像１１ｂと第２測距画像１２とに基づいて、第２差分画像１３ｂを生成する。

　図１７に示される第１測距画像１１ａと第３測距画像１１ｂとを比較すると、時刻２においてカメラが左回りに移動しているため、白塗りの矩形で示される空間内の物体が映る位置が、第３測距画像１１ｂでは、右方向にずれている。図１７に示される第１差分画像１３ａと第２差分画像１３ｂとを比較すると、第２差分画像１３ｂには、破線で囲まれた箇所に、当該物体が映る位置が右方向にずれたことにより発生した成分、つまり、動きに由来する偽成分が含まれている。このように動きに由来する偽成分は、フレーム間のカメラ又は対象物の動きによって生じるため、空間的に狭い範囲に生じ、かつ、フレーム間での画素値の変化率が大きい傾向がある。

　画像処理部１５０は、第１差分画像１３ａ及び第２差分画像１３ｂに基づいて、時系列フィルタ処理を実行することによって、第３差分画像１３ｃを生成する。図１７に示される第３差分画像１３ｃでは、破線で囲まれた箇所に、第２差分画像１３ｂに含まれていた、動きに由来する偽成分が解消されている。時系列フィルタ処理は、過去のフレームにおける差分画像１３ａを用いて、現在のフレームにおける差分画像１３ｂに含まれる動きに由来する偽成分を解消するための処理である。以下、時系列フィルタ処理の手順について説明する。

　まず、画像処理部１５０は、第１差分画像１３ａと第２差分画像１３ｂとの類似度を算出する。類似度とは、第１差分画像１３ａの画素の画素値と第２差分画像１３ｂの画素の画素値との近さの度合いを示す。つまり、画素値の差分が小さい程、高い類似度が算出される。したがって、動きに由来する偽成分の影響が小さい画素ほど、高い類似度が算出され、動きに由来する偽成分の影響が大きい画素ほど、低い類似度が算出される。類似度は、画素のそれぞれについて算出される。

　具体的には、画像処理部１５０は、第１差分画像１３ａ及び第２差分画像１３ｂの同一位置の画素の画素値を加減乗除等することによって、類似度を算出する。類似度は、ＡＩ処理によって算出されてもよい。なお、類似度の算出方法は、上記に限らず、ここでは限定しない。

　次に、画像処理部１５０は、算出された類似度に基づいて、第２差分画像１３ｂを補正することによって、第３差分画像１３ｃを生成する。例えば、画像処理部１５０は、類似度による係数処理によって、第２差分画像１３ｂを補正する。つまり、類似度は０～１の範囲の係数として算出されており、画像処理部１５０は、当該係数を第２差分画像１３ｂの画素のそれぞれに乗算することによって、第２差分画像１３ｂを補正する。なお、補正処理の手法は、上記に限らず、ここでは、限定しない。

　なお、上述の時系列フィルタ処理においては、第１測距部１３０により撮像された異なる複数の測距画像に基づいて生成された複数の差分画像を用いて実行されたが、時系列フィルタ処理は、第２測距部１４０により撮像された異なる複数の測距画像に基づいて生成された複数の差分画像を用いて実行されてもよい。言い換えれば、時系列フィルタ処理は、第２測距画像１２に基づいて生成される差分画像と、第２測距部１４０により第２測距画像１２の後に撮像された第４測距画像に基づいて生成される差分画像とに基づいて実行されてもよい。

　より具体的には、第２測距部１４０は、第２測距画像を撮像した後に、構造化照明を用いて第４測距画像を撮像する。画像処理部１５０は、第２測距画像に基づく第４差分画像と、第４測距画像に基づく第５差分画像とを生成する。画像処理部１５０は、第４差分画像と第５差分画像とに基づいて、時系列フィルタ処理を実行することによって、第６差分画像を生成する。つまり、画像処理部１５０は、第４差分画像と第５差分画像との類似度を算出し、算出した類似度を用いて第５差分画像を補正することによって第６差分画像を生成する。補正データ生成部１７０は、画像処理部１５０により生成された第６差分画像に基づいて、補正点群データを生成する。第４差分画像は、上述の第１差分画像１３ａに対応し、第５差分画像は、上述の第２差分画像１３ｂに対応し、第６差分画像は、上述の第３差分画像１３ｃに対応する。

　このように、画像処理部１５０は、複数の時刻において行われた測距の結果に基づいて生成された複数の差分画像を用いて、差分画像に対して時系列フィルタ処理を実行して補正することによって、動きに由来する偽成分を解消することができる。

　動きに由来する偽成分が解消された差分画像が生成されると、図７のステップＳ１５の処理へ進み、画像処理部１５０は、所定の第１周波数以上の周波数成分を低減する処理を実行して、動きに由来する偽成分が解消された差分画像に基づいて補正画像を生成し、その後、補正データ生成部１７０は、当該補正画像に基づいて、補正点群データを生成する。

　なお、時系列フィルタ処理は、差分画像に対してではなく、補正画像に対して適用されてもよい。より具体的には、画像処理部１５０は、第１差分画像１３ａに対して所定の第１周波数以上の周波数成分を低減する処理をすることにより、第１補正画像を生成し、第２差分画像１３ｂに対して所定の第１周波数以上の周波数成分を低減する処理をすることにより第２補正画像を生成する。次に、画像処理部１５０は、生成した第１補正画像及び第２補正画像に基づいて、上述の時系列フィルタ処理を実行することによって、第３補正画像を生成する。最後に、補正データ生成部１７０は、第３補正画像に基づいて、補正点群データを生成してもよい。これにより、点群データ処理装置１００は、第２補正画像に含まれているおそれのある、動きに由来する偽成分が解消された第３補正画像を生成することができる。

　なお、上述した時系列フィルタ処理では、類似度の算出は直近の過去の１フレームと比較することにより実行されたが、それより過去のフレームと比較することにより実行されてもよいし、過去の２以上の複数のフレームと比較することにより実行されてもよい。

　なお、時系列フィルタ処理は、第２差分画像１３ｂに含まれる全ての画素に対して実行されてもよいし、第差分画像１３ｂに含まれる一部の画素に対して実行されてもよい。

　なお、上述した図１７に示される例では、時刻１においてカメラは静止していたが、時刻１においてカメラは動いていてもよい。画像処理部１５０は、時刻１で得られた第１差分画像１３ａに対して、時刻１よりも過去の差分画像を用いて時系列フィルタ処理を実行することによって、第１差分画像１３ａに含まれる動きに由来する偽成分を解消することができるからである。

　このようにして、変形例３に係る点群データ処理装置１００は、第１測距画像１１の撮像と第２測距画像１２の撮像とが異なるタイミングで行われる場合に、差分画像１３に発生するおそれがある動きに由来する偽成分を解消することができる。したがって、変形例３に係る点群データ処理装置１００によれば、カメラ又は対象物２００が動いていることに起因する誤差が抑制されたブレンド点群データ２２を生成することができる。

　［効果等］
　本明細書の開示内容から導き出される技術は、例えば以下のような技術である。以下、本明細書の開示内容から導き出される技術について、当該技術によって得られる効果等と合わせて説明する。

　技術１は、非構造化照明１１１を用いて第１測距画像１１を撮像する第１測距部１３０と、構造化照明１１２を用いて第２測距画像１２を撮像する第２測距部１４０と、第１測距部１３０により撮像された第１測距画像１１、及び、第２測距部１４０により撮像された第２測距画像１２に基づいて、第１測距画像１１と第２測距画像１２との差分を示す差分画像１３を生成する画像処理部１５０と、第１測距部１３０により撮像された第１測距画像１１に基づいて、第１測距画像１１に含まれる距離値を点群変換し、第１点群データ２１を生成する点群変換部１６０と、画像処理部１５０により生成された差分画像１３に基づいて、補正点群データを生成する補正データ生成部１７０と、補正データ生成部１７０により生成された補正点群データに基づいて、第１点群データ２１を補正することによってブレンド点群データ２２を生成する点群補正部１８０とを備える、点群データ処理装置１００である。

　このような点群データ処理装置１００は、非構造化照明１１１を用いて撮像された第１測距画像１１と構造化照明１１２を用いて撮像された第２測距画像１２とに基づいて補正点群データを生成し、補正点群データに基づいて第１測距画像１１から得られる第１点群データ２１を補正してブレンド点群データ２２を生成する。このような点群データ処理装置１００によれば、測距時のマルチパスに起因する誤差が抑制された点群データを生成することができる。

　技術２は、画像処理部１５０は、第２測距画像１２に含まれる有効画素を抽出することによって縮小画像１２ａを生成し、第１測距画像１１、及び、縮小画像１２ａに基づいて、差分画像１３を生成する、技術１の点群データ処理装置１００である。

　このような点群データ処理装置１００は、距離の測定に十分な光量の光を受光した有効画素により出力された信号に基づいて算出された距離値を用いて、補正点群データを生成することができる。したがって、このような点群データ処理装置１００によれば、測距時のマルチパスに起因する誤差がより抑制された点群データを生成することができる。

　技術３は、画像処理部１５０は、生成した差分画像１３に対して、所定の第１周波数以上の周波数成分を低減する処理を実行し、補正データ生成部１７０は、処理が実行された差分画像に基づいて、補正点群データを生成する、技術１又は２の点群データ処理装置１００である。処理が実行された差分画像は、上記実施の形態における補正画像１４の一例である。

　このような点群データ処理装置１００は、差分画像１３に含まれるエラー成分のうち、マルチパス及び低反射率物体等によって発生する、比較的低い周波数成分を示すエラー成分を抽出して、補正点群データに反映することができる。

　技術４は、画像処理部１５０は、差分画像１３を周波数変換し、処理を実行する、技術３の点群データ処理装置１００である。

　このような点群データ処理装置１００は、差分画像１３を実際に周波数変換することによって、周波数データを扱いながら高周波成分を低減するための処理を実行することができるので、当該処理の精度を向上させることができる。

　技術５は、画像処理部１５０は、差分画像１３に対して空間フィルタを適用することによって、処理を実行する、技術３の点群データ処理装置１００である。

　このような点群データ処理装置１００は、差分画像１３に対して空間フィルタを適用することによって、差分画像１３を周波数データに変換することなく高周波成分を低減する処理を実行することができるので、当該処理に要する計算量を軽減することができる。

　技術６は、画像処理部１５０は、ＡＩを用いて、処理を実行する、技術３の点群データ処理装置１００である。

　このような点群データ処理装置１００は、差分画像１３を事前に学習済みのＡＩに入力することによって、高周波成分を低減する処理を実行することができるので、当該処理を容易にすることができる。

　技術７は、さらに、第１測距画像１１に含まれる所定の第２周波数以上の周波数成分を抽出して高周波画像１５を生成するマスク処理部１９０を備え、画像処理部１５０は、マスク処理部１９０により生成された高周波画像１５に基づいて、処理が実行された差分画像を調整し、補正データ生成部１７０は、画像処理部１５０により調整された処理が実行された差分画像に基づいて、補正点群データを生成する、技術３～６のいずれかの点群データ処理装置１００である。

　このような点群データ処理装置１００は、第２測距画像１２に反映されない高い周波数成分を示す形状を、補正点群データに反映させることができるので、ブレンド点群データ２２の精度を向上させることができる。

　技術８は、さらに、点群変換部１６０は、第２測距画像１２の撮像範囲のうち、第１測距画像１１の撮像範囲に含まれない範囲が撮像された領域を特定し、第２測距画像１２の特定された領域に含まれる測距値を点群変換することによって、有効点群データ２３を生成し、点群補正部１８０は、生成したブレンド点群データ２２、及び、点群変換部１６０により生成された有効点群データ２３を空間的に合成することにより、有効ブレンド点群データ２４を生成する、技術１～７のいずれかの点群データ処理装置１００である。

　このような点群データ処理装置１００は、ブレンド点群データ２２の範囲よりも遠い範囲における有効点群データ２３と、ブレンド点群データ２２とを空間的に合成することによって、より空間的に広い範囲の有効ブレンド点群データ２４を生成することができる。また、有効点群データ２３は、第２測距画像１２に基づく点群データであるため、マルチパスに起因するエラー成分の影響が少ないので、点群データ処理装置１００は、マルチパスに起因する誤差が抑制された有効ブレンド点群データ２４を生成することができる。

　技術９は、さらに、第１測距部１３０は、第１測距画像１１ａを撮像した後に、非構造化照明を用いて第３測距画像１１ｂを撮像し、画像処理部１５０は、第１測距画像１１ａに基づく第１差分画像１３ａと、第３測距画像１１ｂに基づく第２差分画像１３ｂとを生成し、第１差分画像１３ａと第２差分画像１３ｂとに基づいて第３差分画像１３ｃを生成し、補正データ生成部１７０は、画像処理部１５０により生成された第３差分画像１３ｃに基づいて、補正点群データを生成する、技術１又は２の点群データ処理装置１００である。

　このような点群データ処理装置１００は、第１測距画像１１の撮像と第２測距画像１２の撮像とが異なるタイミングで行われる場合に、差分画像１３に発生するおそれがある動きに由来する偽成分を解消することができる。したがって、このような点群データ処理装置１００は、カメラ又は対象物２００が動いていることに起因する誤差が抑制された点群データを生成することができる。

　技術１０は、画像処理部１５０は、生成した第３差分画像１３ｃに対して、所定の第１周波数以上の周波数成分を低減する処理を実行し、補正データ生成部１７０は、処理が実行された第３差分画像１３ｃに基づいて、補正点群データを生成する、技術９の点群データ処理装置１００である。

　このような点群データ処理装置１００は、第３差分画像１３ｃに含まれるエラー成分のうち、マルチパス及び低反射率物体等によって発生する、比較的低い周波数成分を示すエラー成分を抽出して、補正点群データに反映することができる。

　技術１１は、さらに、第２測距部１４０は、第２測距画像を撮像した後に、構造化照明を用いて第４測距画像を撮像し、画像処理部１５０は、第２測距画像に基づく第４差分画像と、第４測距画像に基づく第５差分画像とを生成し、第４差分画像と第５差分画像とに基づいて第６差分画像を生成し、補正データ生成部１７０は、画像処理部１５０により生成された第６差分画像に基づいて、補正点群データを生成する、技術１又は２の点群データ処理装置１００である。

　このような点群データ処理装置１００は、第１測距画像１１の撮像と第２測距画像１２の撮像とが異なるタイミングで行われる場合に、差分画像１３に発生するおそれがある動きに由来する偽成分を解消することができる。したがって、このような点群データ処理装置１００は、カメラ又は対象物２００が動いていることに起因する誤差が抑制された点群データを生成することができる。

　技術１２は、画像処理部１５０は、生成した第６差分画像に対して、所定の第１周波数以上の周波数成分を低減する処理を実行し、補正データ生成部１７０は、処理が実行された第６差分画像に基づいて、補正点群データを生成する、技術１１の点群データ処理装置１００である。

　このような点群データ処理装置１００は、第６差分画像に含まれるエラー成分のうち、マルチパス及び低反射率物体等によって発生する、比較的低い周波数成分を示すエラー成分を抽出して、補正点群データに反映することができる。

　技術１３は、非構造化照明１１１を用いて第１測距画像１１を撮像する第１測距ステップと、構造化照明１１２を用いて第２測距画像１２を撮像する第２測距ステップと、第１測距ステップにより撮像された第１測距画像１１、及び、第２測距ステップにより撮像された第２測距画像１２に基づいて、第１測距画像１１と第２測距画像１２との差分を示す差分画像１３を生成する画像処理ステップと、第１測距ステップにより撮像された第１測距画像１１に基づいて、第１測距画像１１に含まれる距離値を点群変換し、第１点群データ２１を生成する点群変換ステップと、画像処理ステップにより生成された差分画像１３に基づいて、補正点群データを生成する補正データ生成ステップと、補正データ生成ステップにより生成された補正点群データに基づいて、第１点群データ２１を補正することによってブレンド点群データ２２を生成する点群補正ステップとを含む、点群データ処理方法である。

　このような点群データ処理方法は、非構造化照明１１１を用いて撮像された第１測距画像１１と構造化照明１１２を用いて撮像された第２測距画像１２とに基づいて補正点群データを生成し、補正点群データに基づいて第１測距画像１１から得られる第１点群データ２１を補正してブレンド点群データ２２を生成する。このような点群データ処理方法によれば、測距時のマルチパスに起因する誤差が抑制された点群データを生成することができる。

　技術１４は、技術１３の点群データ処理方法をコンピュータに実行させるためのプログラムである。

　このようなプログラムは、測距時のマルチパスに起因する誤差が抑制された点群データを生成することを支援することができる。

　（その他の実施の形態）
　以上、実施の形態について説明したが、本開示は、上記実施の形態に限定されるものではない。

　例えば、上記実施の形態では、図７のステップＳ１６の処理において、補正データ生成部１７０は、補正画像１４に基づいて補正点群データを生成したが、差分画像１３に基づいて補正点群データを生成してもよい。言い換えれば、図７のステップＳ１５の処理は省略されてもよい。このような点群データ処理装置１００によれば、マルチパスに起因するエラー成分に加えて、第２測距画像１２の解像度が低いことに起因するエラー成分を含む補正点群データを生成することができる。

　また、例えば、上記実施の形態では、点群データ処理装置は、単一の装置によって実現されたが、点群データ処理装置は、複数の装置によって実現されてもよい。このように点群データ処理装置が複数の装置によって実現される場合、点群データ処理装置が備える構成要素（特に、機能的な構成要素）は、複数の装置にどのように振り分けられてもよい。

　例えば、上記実施の形態では、点群データ処理装置は、発光部及び露光部を備える測距装置を含んだが、点群データ処理装置は、測距装置を含まず、撮像された測距画像の入力を受け付け、入力された測距画像に対して情報処理を実行する装置であってもよい。

　また、上記実施の形態における装置間の通信方法については特に限定されるものではない。また、装置間の通信においては、図示されない中継装置（ゲートウェイ装置など）が介在してもよい。

　また、上記実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。

　また、上記実施の形態において、各構成要素は、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

　また、各構成要素は、ハードウェアによって実現されてもよい。例えば、各構成要素は、回路（または集積回路）でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。

　また、本開示の全般的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

　また、本開示は、上記実施の形態の点群データ処理装置などのコンピュータが実行する点群データ処理方法として実現されてもよいし、点群データ処理方法をコンピュータに実行させるためのプログラム（言い換えれば、コンピュータプログラムプロダクト）として実現されてもよい。また、本開示は、このようなプログラムが記録されたコンピュータ読み取り可能な非一時的な記録媒体として実現されてもよい。

　その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態、または、本開示の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。

　本開示に係る点群データ処理装置は、実際に存在する物体を撮像したデータに基づいて、物体の形状を示す点群データを生成する情報処理装置に利用することができる。

　１１、１１ａ　第１測距画像
　１１ｂ　第３測距画像
　１２　第２測距画像
　１２ａ　縮小画像
　１２ｂ　補間画像
　１３　差分画像
　１３ａ　第１差分画像
　１３ｂ　第２差分画像
　１３ｃ　第３差分画像
　１４　補正画像
　１５　高周波画像
　１６　マスキング画像
　２１　第１点群データ
　２２　ブレンド点群データ
　２３　有効点群データ
　２４　有効ブレンド点群データ
　３１　理想値
　１００　点群データ処理装置
　１１０　発光部
　１１１　非構造化照明
　１１２　構造化照明
　１２０　露光部
　１２１　画素
　１３０　第１測距部
　１４０　第２測距部
　１５０　画像処理部
　１６０　点群変換部
　１７０　補正データ生成部
　１８０　点群補正部
　１９０　マスク処理部
　２００　対象物
　２０１　別の対象物

Claims (14)

1. 　非構造化照明を用いて第１測距画像を撮像する第１測距部と、
   　構造化照明を用いて第２測距画像を撮像する第２測距部と、
   　前記第１測距部により撮像された前記第１測距画像、及び、前記第２測距部により撮像された前記第２測距画像に基づいて、前記第１測距画像と前記第２測距画像との差分を示す差分画像を生成する画像処理部と、
   　前記第１測距部により撮像された前記第１測距画像に基づいて、前記第１測距画像に含まれる距離値を点群変換し、第１点群データを生成する点群変換部と、
   　前記画像処理部により生成された前記差分画像に基づいて、補正点群データを生成する補正データ生成部と、
   　前記補正データ生成部により生成された前記補正点群データに基づいて、前記第１点群データを補正することによってブレンド点群データを生成する点群補正部とを備える、
   　点群データ処理装置。
2. 　前記画像処理部は、前記第２測距画像に含まれる有効画素を抽出することによって縮小画像を生成し、前記第１測距画像、及び、前記縮小画像に基づいて、前記差分画像を生成する、
   　請求項１に記載の点群データ処理装置。
3. 　前記画像処理部は、生成した前記差分画像に対して、所定の第１周波数以上の周波数成分を低減する処理を実行し、
   　前記補正データ生成部は、前記処理が実行された前記差分画像に基づいて、前記補正点群データを生成する、
   　請求項１又は２に記載の点群データ処理装置。
4. 　前記画像処理部は、前記差分画像を周波数変換し、前記処理を実行する、
   　請求項３に記載の点群データ処理装置。
5. 　前記画像処理部は、前記差分画像に対して空間フィルタを適用することによって、前記処理を実行する、
   　請求項３に記載の点群データ処理装置。
6. 　前記画像処理部は、ＡＩ（Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）を用いて、前記処理を実行する、
   　請求項３に記載の点群データ処理装置。
7. 　さらに、前記第１測距画像に含まれる所定の第２周波数以上の周波数成分を抽出して高周波画像を生成するマスク処理部を備え、
   　前記画像処理部は、前記マスク処理部により生成された前記高周波画像に基づいて、前記処理が実行された前記差分画像を調整し、
   　前記補正データ生成部は、前記画像処理部により調整された前記処理が実行された前記差分画像に基づいて、前記補正点群データを生成する、
   　請求項３～６のいずれか１項に記載の点群データ処理装置。
8. 　さらに、前記点群変換部は、前記第２測距画像の撮像範囲のうち、前記第１測距画像の撮像範囲に含まれない範囲が撮像された領域を特定し、前記第２測距画像の特定された前記領域に含まれる測距値を点群変換することによって、有効点群データを生成し、
   　前記点群補正部は、生成した前記ブレンド点群データ、及び、前記点群変換部により生成された前記有効点群データを空間的に合成することにより、有効ブレンド点群データを生成する、
   　請求項１～７のいずれか１項に記載の点群データ処理装置。
9. 　さらに、前記第１測距部は、前記第１測距画像を撮像した後に、非構造化照明を用いて第３測距画像を撮像し、
   　前記画像処理部は、前記第１測距画像に基づく第１差分画像と、前記第３測距画像に基づく第２差分画像とを生成し、前記第１差分画像と前記第２差分画像とに基づいて第３差分画像を生成し、
   　前記補正データ生成部は、前記画像処理部により生成された前記第３差分画像に基づいて、前記補正点群データを生成する、
   　請求項１又は２に記載の点群データ処理装置。
10. 　前記画像処理部は、生成した前記第３差分画像に対して、所定の第１周波数以上の周波数成分を低減する処理を実行し、
    　前記補正データ生成部は、前記処理が実行された前記第３差分画像に基づいて、前記補正点群データを生成する、
    　請求項９に記載の点群データ処理装置。
11. 　さらに、前記第２測距部は、前記第２測距画像を撮像した後に、構造化照明を用いて第４測距画像を撮像し、
    　前記画像処理部は、前記第２測距画像に基づく第４差分画像と、前記第４測距画像に基づく第５差分画像とを生成し、前記第４差分画像と前記第５差分画像とに基づいて第６差分画像を生成し、
    　前記補正データ生成部は、前記画像処理部により生成された前記第６差分画像に基づいて、前記補正点群データを生成する、
    　請求項１又は２に記載の点群データ処理装置。
12. 　前記画像処理部は、生成した前記第６差分画像に対して、所定の第１周波数以上の周波数成分を低減する処理を実行し、
    　前記補正データ生成部は、前記処理が実行された前記第６差分画像に基づいて、前記補正点群データを生成する、
    　請求項１１に記載の点群データ処理装置。
13. 　非構造化照明を用いて第１測距画像を撮像する第１測距ステップと、
    　構造化照明を用いて第２測距画像を撮像する第２測距ステップと、
    　前記第１測距ステップにより撮像された前記第１測距画像、及び、前記第２測距ステップにより撮像された前記第２測距画像に基づいて、前記第１測距画像と前記第２測距画像との差分を示す差分画像を生成する画像処理ステップと、
    　前記第１測距ステップにより撮像された前記第１測距画像に基づいて、前記第１測距画像に含まれる距離値を点群変換し、第１点群データを生成する点群変換ステップと、
    　前記画像処理ステップにより生成された前記差分画像に基づいて、補正点群データを生成する補正データ生成ステップと、
    　前記補正データ生成ステップにより生成された前記補正点群データに基づいて、前記第１点群データを補正することによってブレンド点群データを生成する点群補正ステップとを含む、
    　点群データ処理方法。
14. 　請求項１３に記載の点群データ処理方法をコンピュータに実行させるためのプログラム。