WO2022195969A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2022195969A1
WO2022195969A1 PCT/JP2021/043868 JP2021043868W WO2022195969A1 WO 2022195969 A1 WO2022195969 A1 WO 2022195969A1 JP 2021043868 W JP2021043868 W JP 2021043868W WO 2022195969 A1 WO2022195969 A1 WO 2022195969A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging device
moving object
information
information processing
imaging devices
Prior art date
Application number
PCT/JP2021/043868
Other languages
English (en)
French (fr)
Inventor
雄也 山口
太記 山中
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to EP21931712.0A priority Critical patent/EP4311221A1/en
Priority to CN202180095469.6A priority patent/CN116982321A/zh
Publication of WO2022195969A1 publication Critical patent/WO2022195969A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Definitions

  • the clocks built into the multiple imaging devices may be synchronized. For example, when generating a wider image by integrating images captured by each of a plurality of imaging devices, by synchronizing the times of the plurality of captured images, the captured images acquired by each of the plurality of imaging devices can be seamlessly integrated. Also, when images captured by multiple imaging devices are sequentially switched in chronological order for live video distribution, etc., by sharing a genlock (generator locking) signal and matching the scanning timing of multiple imaging devices, multiple images can be captured. Synchronization of times of captured images is performed.
  • each of the plurality of imaging devices is based on the velocity information included in the distance measurement information of the corresponding moving object measured using the light whose frequency is continuously modulated by each of the plurality of imaging devices.
  • an information processing device that synchronizes the time of
  • the light emitted from the light source 10 is, for example, infrared rays or near-infrared rays. That is, the distance measuring device 1 may be LiDAR (Light Detection and Raging).
  • FMCW-LiDAR Radio Detection and Raging
  • FMCW-Radar Radio Detection and Raging
  • FMCW-LiDAR is more suitable as a continuous frequency modulation rangefinder. .
  • the still object processing unit 150 extracts feature points in the still object region of the captured image and acquires the depth of the extracted feature points. If the depth of the extracted feature point is not measured by a distance measuring device, the stationary object processing unit 150 may obtain the depth of the feature point by interpolating the depth image. Feature points to be extracted may be corners of the outline of a stationary object existing in the stationary object region.
  • FIG. 5A and 5B are schematic diagrams for explaining the operation of the moving object processing units 160 and 260.
  • FIG. 5A and 5B are schematic diagrams for explaining the operation of the moving object processing units 160 and 260.
  • the velocity is measured by the Doppler effect, so the velocity of the velocity component on the equidistant plane is not detected from the rangefinder, and the user approaches or leaves the rangefinder. Only directional velocity is detected.
  • the moving object processing unit 260 can derive the representative velocity norm 510B by averaging the velocities from the moving object region including the pedestrian 510 on the captured image 211. . Further, the moving object processing unit 260 can derive a representative velocity norm 520B by averaging the velocities from the moving object region including the pedestrian 520 on the captured image 211 .
  • the representative velocity norms 510B and 520B are the velocity component V2 in the direction perpendicular to the imaging plane of the second imaging device 200 in the true velocity V of the moving object.
  • a range finder that uses continuously frequency-modulated light measures velocity by the Doppler effect, so velocity components on a plane equidistant from the range finder are not detected. Only velocity is detected.
  • pedestrians 510 and 520, roadside trees 530, and buildings 540 and 550 are present as objects in the outside world.
  • pedestrians 510 and 520 are recognized as moving objects
  • roadside trees 530 and buildings 540 and 550 are recognized as stationary objects.
  • the relative orientation detection unit 310 derives the depth of the derived feature point by performing interpolation or the like from the depth image. Furthermore, the relative orientation detection unit 310 uses the coordinates and depth of the feature points corresponding to each other in each of the captured images and the camera parameters of the first imaging device 100 and the second imaging device 200 to obtain the The relative orientations of the first imaging device 100 and the second imaging device 200 can be derived. Derivation of the relative attitude using these information is a so-called PnP (Perspective-n-Point) problem, so it is solved by using a known method such as the DLT (Direct Linear Transform) method or the EPnP (Efficient PnP) method. be able to.
  • PnP Perspective-n-Point
  • the viewpoint conversion processing unit 320 clusters the point group having the velocity component on the unit sphere, thereby obtaining the three-dimensional coordinates of the center of gravity of the moving object from the representative angle and depth of the moving object region. can. Therefore, for example, the viewpoint conversion processing unit 320 performs coordinate conversion of the three-dimensional coordinates of the moving object acquired by the second imaging device 200 using the relative orientations of the first imaging device 100 and the second imaging device 200. , the three-dimensional coordinates of the moving object viewed from the first imaging device 100 can be derived.
  • the velocity of the moving object is measured for each frame of the images captured by the first imaging device 100 and the second imaging device 200, and thus becomes a discrete numerical value in the time direction. Therefore, in order to detect the time lag with high accuracy in a time shorter than the frame sampling interval of the captured image, it is desirable that the velocity of the moving object measured by the rangefinder is interpolated in the time direction. Further, when a plurality of moving objects are detected by each of the first imaging device 100 and the second imaging device 200, temporal changes in velocity may be extracted for each of the plurality of moving objects.
  • the time correction unit 330 first obtains the cross-correlation between the waveforms D1 and D2 while gradually shifting the time of the waveform D1, thereby deriving the time shift with the highest correlation.
  • the time correction unit 330 changes the scale of the waveform D1 in the time direction and obtains the cross-correlation between the waveforms D1 and D2 while shifting the time in the same manner as described above, thereby deriving the scale with the highest correlation. do.
  • the time correction unit 330 can derive the time shift and scale with the highest correlation.
  • the time correction unit 330 derives the time shift and the scale shift in the time direction for each waveform of the speed change of the moving object that satisfies such conditions, and takes a weighted average in which the moving object with greater speed variance is weighted more. By doing so, the time shift and the scale shift can be derived.
  • the time correction unit 330 may further obtain the cross-correlation of each moving object again after reflecting the time shift and the scale shift derived above, thereby improving the accuracy of the correction of the time shift and the scale shift. .
  • the information processing device 300 determines whether or not the time difference between the first imaging device 100 and the second imaging device 200 has been adjusted (that is, whether or not the times are synchronized). Confirm (S103). If the time lag has been adjusted (S103/Yes), steps S104 to S108 are skipped. After that, the model integration unit 340 restores point cloud data from the depth images acquired by each of the first imaging device 100 and the second imaging device 200, and synthesizes the restored point cloud data (S109). . This allows the model integration unit 340 to generate more accurate point cloud data.
  • the model integration unit 340 corrects the time of the depth image and velocity image acquired by each of the first imaging device 100 and the second imaging device 200 using the derived time lag (S209 ). Furthermore, the model integration unit 340 corrects changes in position and orientation due to movement of the first imaging device 100 and the second imaging device 200 with respect to the corrected depth image. After that, the model integration unit 340 restores point cloud data from the depth image, and synthesizes the restored point cloud data (S211). This allows the model integration unit 340 to generate more accurate point cloud data.
  • the information processing apparatus 300 can integrate point cloud data from multiple viewpoints without adjusting the time in advance.
  • each of the plurality of imaging devices includes an imaging element that acquires the captured image of the moving object, and a ranging sensor that acquires the ranging information of the moving object. or the information processing device according to claim 1.
  • the ranging sensor acquires the ranging information of the moving object when the moving object appears in the captured image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】複数の撮像装置の時刻をより正確に同期させる。 【解決手段】複数の撮像装置の各々で周波数連続変調された光を用いて測定された互いに対応する動物体の測距情報に含まれる速度情報に基づいて、前記複数の撮像装置の各々の時刻を同期させる、情報処理装置。

Description

情報処理装置、情報処理方法、及びプログラム
　本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
　複数の撮像装置を用いて物体を撮像する際に、複数の撮像装置に内蔵された時計の時刻を同期させることがある。例えば、複数の撮像装置の各々で撮像された画像を統合してより広域の画像を生成する場合、複数の撮像画像の時刻を同期させることで、複数の撮像装置の各々で取得された撮像画像をシームレスに統合することができる。また、ライブ映像配信などで複数の撮像装置で撮像された画像を時系列で順次切り替える場合、ゲンロック（ジェネレータロッキング）信号などを共有し、複数の撮像装置の走査タイミングを一致させることで、複数の撮像画像の時刻を同期させることが行われている。
　一方で、撮像装置には、ＣＭＯＳイメージセンサなどの撮像素子に加えて、様々なセンサを搭載することが一般的になっている。例えば、撮像装置には、測距装置を搭載することが検討されている。測距装置としては、近年、周波数連続変調(Frequency Modulated Continuous Wave: FMCW)方式のＬｉＤＡＲ(Light Detection and Raging)が注目されている。ＦＭＣＷ方式のＬｉＤＡＲは、物体との距離に加えて、ドップラー効果によって物体の速度を測定することが可能である。例えば、下記の特許文献１には、ＦＭＣＷ方式のＬｉＤＡＲを用いて測定された瞬間速度分布に基づいて、画像から移動物体を抽出する技術が開示されている。
特開２０１９－１３５４４６号公報
　例えば、ゲンロック（ジェネレータロッキング）信号などを共有し、複数の撮像装置の走査タイミングを一致させることで複数の撮像装置の時刻を同期させる場合、取得された撮像画像の伝送時に発生する遅延（レイテンシ）を自動的に合わせることが困難であった。そのため、複数の撮像装置の各々で取得された撮像画像の時刻を自動的に同期させることは困難であった。
　そこで、本開示では、周波数連続変調方式の測距装置を用いることで、複数の撮像装置の時刻をより正確に同期させることが可能な、新規かつ改良された情報処理装置、情報処理方法、及びプログラムを提案する。
　本開示によれば、複数の撮像装置の各々で周波数連続変調された光を用いて測定された互いに対応する動物体の測距情報に含まれる速度情報に基づいて、前記複数の撮像装置の各々の時刻を同期させる、情報処理装置が提供される。
　また、本開示によれば、演算装置によって、複数の撮像装置の各々で周波数連続変調された光を用いて測定された互いに対応する動物体の測距情報に含まれる速度情報に基づいて、前記複数の撮像装置の各々の時刻を同期させる、情報処理方法が提供される。
　さらに、本開示によれば、コンピュータを、複数の撮像装置の各々で周波数連続変調された光を用いて測定された互いに対応する動物体の測距情報に含まれる速度情報に基づいて、前記複数の撮像装置の各々の時刻を同期させる情報処理装置として機能させる、プログラムが提供される。
周波数連続変調方式の測距装置の概要を示す説明図である。 測距装置から被写体に出射される光の周波数の時間変化を模式的に示すグラフ図である。 被写体で反射された後、測距装置にて受光される光の周波数の時間変化を模式的に示すグラフ図である。 本開示の第１の実施形態に係る情報処理システムの機能構成を示すブロック図である。 動物体処理部の動作を説明する模式図である。 相対姿勢検出部の動作を説明する模式図である。 視点変更処理部の動作を説明する模式図である。 動物体の速度推定を説明するグラフ図である。 時刻補正部の動作を説明するグラフ図である。 第１の撮像装置の測距装置で検出された動物体の速度変化の波形を表すグラフ図である。 第２の撮像装置の測距装置で検出された動物体の速度変化の波形を表すグラフ図である。 同実施形態に係る情報処理システムの動作の一例を説明するフローチャート図である。 本開示の第２の実施形態に係る情報処理システムの機能構成を示すブロック図である。 同実施形態に係る情報処理システムの動作の一例を説明するフローチャート図である。 本開示の一実施形態に係る情報処理装置のハードウェアであるコンピュータ装置の構成例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．背景技術
　　１．１．時刻同期
　　１．２．周波数連続変調方式の測距装置
　２．第１の実施形態
　　２．１．構成例
　　２．２．動作例
　３．第２の実施形態
　　３．１．構成例
　　３．２．動作例
　４．ハードウェア
　５．まとめ
　＜１．背景技術＞
　（１．１．時刻同期）
　まず、本開示に係る技術の背景について説明する。例えば、ライブ映像配信などでは、一般的に、複数の撮像装置で同時に収録を行い、撮像装置の各々で取得される撮像画像をスイッチャなどの機器で統合して配信することが行われている。このような場合、撮像装置の各々で取得された撮像画像を切り替えた際に走査タイミングのずれによる黒い帯状のノイズが入らないようにするためには、複数の撮像装置の時刻を同期させることが求められる。
　例えば、ゲンロック（ジェネレータロッキング）と呼ばれる方法を用いて、複数の撮像装置の走査タイミングを同期させることが行われている。ゲンロックでは、撮像装置の各々に所定のゲンロック信号を入力することで、撮像装置の各々における水平及び垂直の走査タイミングをゲンロック信号で一致させることができる。
　また、タイムコード同期と呼ばれる方法を用いて、複数の撮像装置の時刻を同期させることが行われている。タイムコード同期では、複数の撮像装置に共通のタイムコード信号を入力しながら撮像を行わせることで、同一のタイムコード信号が入力された撮像画像同士をシームレスに切り替えることができる。
　しかしながら、上記のゲンロック又はタイムコード同期では、対応可能な撮像装置が限られている上に、複数の撮像装置を物理的に接続してゲンロック信号又はタイムコード信号を共有することが求められる。そのため、複数の撮像装置の時刻を同期する汎用性の高い技術が求められている。
　また、撮像装置の各々で取得された撮像画像には、撮像装置の内部でのレイテンシ、又は撮像画像の転送時のレイテンシが発生することがある。上記のゲンロック又はタイムコード同期では、これらのレイテンシを考慮することが困難であるため、複数の撮像装置で取得された撮像画像の時刻を自動的に完全同期させることは困難である。
　本開示に係る技術は、上記事情を鑑みて想到された。本開示に係る技術は、周波数連続変調(Frequency Modulated Continuous Wave: FMCW)方式の測距装置にて測定された測距情報を用いることで、複数の撮像装置の間の時刻ずれ又は周期ずれを検出する技術である。本開示に係る技術によれば、目視による調整を行うことなく、複数の撮像装置の時刻を自動的に同期させることが可能となる。
　また、本開示に係る技術によれば、時刻を同期された複数の撮像装置で取得された撮像画像、及び測距情報を統合することで、撮像画像に含まれる動物体の高精度な三次元モデルを生成することが可能である。
　（１．２．周波数連続変調方式の測距装置）
　続いて、図１～図３を参照して、本開示に係る技術にて使用される周波数連続変調方式の測距装置について説明する。図１は、周波数連続変調方式の測距装置の概要を示す説明図である。図２は、測距装置から被写体に出射される光の周波数の時間変化を模式的に示すグラフ図である。図３は、被写体で反射された後、測距装置にて受光される光の周波数の時間変化を模式的に示すグラフ図である。
　図１に示すように、測距装置１は、レーザ光源などの光源１０から出射された光を被写体２に照射し、被写体２からの反射光を受光する。光源１０から出射される光は、信号処理回路５０によって周波数連続変調された周波数チャープ光であり、時間変化に伴って周波数を順次変化させる光である。光源１０から出射された周波数チャープ光は、光スプリッタ２０で分波された後、二次元スキャナ３０で水平方向及び垂直方向に走査されて被写体２に出射される。被写体２に出射された周波数チャープ光は、被写体２で反射された後、測距装置１で受光される。
　測距装置１で受光された反射光は、出射前に光スプリッタ２０で分波された周波数チャープ光と光ミキサ４０でミキシングされることでビート信号を発生させる。信号処理回路５０は、発生したビート信号を解析することで、測距装置１と被写体２との間の距離を導出することができる。
　具体的には、図２及び図３に示すように、測距装置１で受光される反射光は、測距装置１と被写体２との間の往復によって、測距装置１から出射される出射光に対して、周波数の時間変化に遅延（Δｆｕｐ及びΔｆｄｏｗｎ）が生じる。したがって、光ミキサ４０は、出射前に光スプリッタ２０で分波された出射光と、受光された反射光とを混合することで、出射光と反射光との遅延（Δｆｕｐ及びΔｆｄｏｗｎ）に対応した周波数差のビート信号を発生させることができる。これにより、測距装置１は、ビート信号を信号処理回路５０でＦＦＴ（Fast Fourier Transform）解析等することで、測距装置１と被写体２との間の距離を導出することができる。
　また、測距装置１で受光される反射光の周波数は、ドップラー効果によって、被写体２の移動速度に応じて変化する。具体的には、測距装置１で受光される反射光の周波数は、被写体２が測距装置１から遠ざかっている場合には低くなり、逆に被写体２が測距装置１に近づいている場合には高くなる。したがって、測距装置１は、出射光の周波数に対する反射光の周波数の変化を測定することで、測距装置１に対する被写体２の相対的な速度を導出することができる。
　光源１０から出射される光は、例えば、赤外線又は近赤外線である。すなわち、測距装置１は、ＬｉＤＡＲ（Light Detection and Raging）であってもよい。周波数連続変調方式の測距装置としては、ＦＭＣＷ－ＬｉＤＡＲ以外には、ミリ波を用いるＦＭＣＷ－Ｒａｄａｒ（Radio Detection and Raging）を例示することができる。ただし、ＦＭＣＷ－Ｒａｄａｒは、ＦＭＣＷ－ＬｉＤＡＲと比較して、距離及び方向の分解能が低いため、本開示に係る技術では、周波数連続変調方式の測距装置として、ＦＭＣＷ－ＬｉＤＡＲの方が好適である。
　＜２．第１の実施形態＞
　（２．１．構成例）
　次に、図４を参照して、本開示の第１の実施形態に係る情報処理システムについて説明する。図４は、本開示の第１の実施形態に係る情報処理システム３の機能構成を示すブロック図である。
　図４に示すように、本実施形態に係る情報処理システム３は、第１の撮像装置１００と、第２の撮像装置２００と、第１の撮像装置１００及び第２の撮像装置２００の時刻同期を実現する情報処理装置３００とを含む。
　第１の撮像装置１００及び第２の撮像装置２００は、図示しないＣＭＯＳイメージセンサなどの撮像素子と、図示しないＦＭＣＷ－ＬｉＤＡＲなどの測距装置とをそれぞれ含む。第１の撮像装置１００及び第２の撮像装置２００は、撮像素子にて撮像画像を取得すると共に、周波数連続変調された光を用いる測距装置にて被写体２までの距離（被写体２のデプスとも称される）、及び被写体２の速度を含む測距情報を取得することができる。
　測距装置にて取得された測距情報は、点群データ（いわゆるポイントクラウドデータ）として表現されてもよい。例えば、測距情報は、測距装置を原点とする三次元空間上に、被写体２の速度に関する情報を含む各点を被写体２までの距離及び方位に基づいてプロットした点群データとして表現されてもよい。
　なお、第１の撮像装置１００及び第２の撮像装置２００の各々では、撮像素子及び測距装置は、それぞれ時刻同期されており、同期して撮像及び測定を行うことができるものとする。また、撮像素子及び測距装置は、位置関係についてもキャリブレーションされており、互いに対応する領域の撮像画像及び測距情報を取得することができるものとする。
　以下では、情報処理装置３００が第２の撮像装置２００の時刻を第１の撮像装置１００の時刻に同期させる場合を例示して説明を行う。ただし、情報処理装置３００は、第１の撮像装置１００の時刻を第２の撮像装置２００の時刻に同期させてもよく、２以上の撮像装置の時刻を他の１つの撮像装置の時刻に同期させてもよい。
　（第１の撮像装置１００、第２の撮像装置２００）
　第１の撮像装置１００は、画像処理部１１０と、測距処理部１２０と、認識部１３０と、判定部１４０と、静止物体処理部１５０と、動物体処理部１６０とを備える。同様に、第２の撮像装置２００は、画像処理部２１０と、測距処理部２２０と、認識部２３０と、判定部２４０と、静止物体処理部２５０と、動物体処理部２６０とを備える。第１の撮像装置１００と第２の撮像装置２００とは実質的に同様であるため、以下では、第１の撮像装置１００の各構成についてのみ説明し、第２の撮像装置２００の各構成の説明は省略する。
　画像処理部１１０は、ＣＭＯＳイメージセンサなどの撮像素子で取得された撮像画像に対して画像処理を施す。具体的には、画像処理部１１０は、撮像画像に対して、露出（露光）の調整、又はホワイトバランスの調整などを行うことで、撮像画像の見えについて調整を行う。その後、画像処理部１１０は、撮像画像の現像処理を行うことで、撮像画像をＲＧＢカラー画像として出力する。
　測距処理部１２０は、ＦＭＣＷ－ＬｉＤＡＲなどの測距装置にて取得された被写体２までの距離（被写体２のデプス）、及び被写体２の速度を含む測距情報を撮像画像上に投影することで、デプス画像及び速度画像を生成する。具体的には、測距処理部１２０は、測距装置にて取得された被写体２までの距離（被写体２のデプス）を撮像画像に投影することで、撮像画像と同軸上のデプス画像を生成する。また、測距処理部１２０は、測距装置にて取得された被写体２の速度を撮像画像に投影することで、撮像画像と同軸上の速度画像を生成する。
　認識部１３０は、画像処理部１１０にて出力された撮像画像、並びに測距処理部１２０にて生成されたデプス画像及び速度画像から物体が存在する物体領域を検出する。一例として、認識部１３０は、畳み込みニューラルネットワーク(Convolutional Neural Network: CNN)などの機械学習で構築されたモデルを用いて画像認識を行うことで、撮像画像から物体が存在する物体領域を検出してもよい。他の例として、認識部１３０は、デプス画像から同様のデプスに存在している領域を認識することで、又は速度画像から同様の速度で移動している領域を認識することで、物体が存在する物体領域を検出してもよい。
　判定部１４０は、認識部１３０にて検出された物体領域の各々が動物体領域又は静止物体領域のいずれであるのかを判定する。動物体領域とは、移動している、又は移動する可能性がある動物体が存在する領域である。静止物体領域とは、移動していない、又は移動する可能性が極めて低い静止物体が存在する領域である。
　一例として、判定部１４０は、物体領域で検出された速度が第１の撮像装置１００の動きによって生じたか否かに基づいて、物体領域の各々が動物体領域であるのか、又は静止物体領域であるのかを判定してもよい。例えば、判定部１４０は、第１の撮像装置１００が静止している場合、速度を持つ領域を動物体領域と判定すると共に、速度を持たない領域を静止物体領域と判定してもよい。
　他の例として、判定部１４０は、畳み込みニューラルネットワークなどの機械学習で構築されたモデルを用いた画像認識に基づいて、物体領域の各々が動物体領域であるのか、又は静止物体領域であるのかを判定してもよい。例えば、判定部１４０は、画像認識に基づいて、移動する可能性があると認識された物体が存在する領域を動物体領域と判定してもよい。また、判定部１４０は、画像認識に基づいて、移動する可能性がないと認識された物体が存在する領域を静止部隊領域と判定してもよい。
　静止物体処理部１５０は、撮像画像の静止物体領域における特徴点を抽出し、抽出した特徴点のデプスを取得する。抽出した特徴点のデプスが測距装置で測定されていない場合、静止物体処理部１５０は、デプス画像を補間処理することで特徴点のデプスを取得してもよい。抽出される特徴点は、静止物体領域に存在する静止物体の外形の角（コーナー）などであってもよい。
　動物体処理部１６０は、速度画像の動物体領域において、動物体領域内で測定された速度を平均化することで、該動物体領域の代表速度ノルムを導出する。また、動物体処理部１６０は、動物体領域内で測定された速度を重み付けした上で平均化することで、該動物体領域の代表速度ノルムを導出してもよい。
　第２の撮像装置２００でも、同様に、各構成で上記の動作が行われ、静止物体領域及び動物体領域が検出される。また、静止物体領域の特徴点のデプス、及び動物体領域の代表速度ノルムが導出される。
　図５を参照して、動物体処理部１６０，２６０の動作についてさらに説明を行う。図５は、動物体処理部１６０，２６０の動作を説明する模式図である。
　図５に示すように、外界の被写体として、歩行者５１０，５２０と、街路樹５３０と、建物５４０，５５０とが存在しているとする。第１の撮像装置１００、及び第２の撮像装置２００の各々では、歩行者５１０，５２０は、動物体として認識され、街路樹５３０、建物５４０，５５０は、静止物体として認識される。
　第１の撮像装置１００では、動物体処理部１６０は、撮像画像１１１上の歩行者５１０を含む動物体領域から、速度を平均化することで代表速度ノルム５１０Ａを導出することができる。また、動物体処理部１６０は、撮像画像１１１上の歩行者５２０を含む動物体領域から、速度を平均化することで代表速度ノルム５２０Ａを導出することができる。代表速度ノルム５１０Ａ，５２０Ａは、動物体の真の速度Ｖのうち第１の撮像装置１００の撮像面に対して垂直な方向の速度成分Ｖ１である。周波数連続変調された光を用いた測距装置では、ドップラー効果にて速度を測定するため、測距装置から等距離平面上の速度成分の速度が検出されず、測距装置に近づく、又は離れる方向の速度のみが検出される。
　同様に、第２の撮像装置２００では、動物体処理部２６０は、撮像画像２１１上の歩行者５１０を含む動物体領域から、速度を平均化することで代表速度ノルム５１０Ｂを導出することができる。また、動物体処理部２６０は、撮像画像２１１上の歩行者５２０を含む動物体領域から、速度を平均化することで代表速度ノルム５２０Ｂを導出することができる。代表速度ノルム５１０Ｂ，５２０Ｂは、動物体の真の速度Ｖのうち第２の撮像装置２００の撮像面に対して垂直な方向の速度成分Ｖ２である。周波数連続変調された光を用いた測距装置では、ドップラー効果にて速度を測定するため、測距装置から等距離平面上の速度成分は検出されず、測距装置に近づく、又は離れる方向の速度のみが検出される。
　（情報処理装置３００）
　情報処理装置３００は、相対姿勢検出部３１０と、視点変換処理部３２０と、時刻補正部３３０と、モデル統合部３４０とを備える。
　相対姿勢検出部３１０は、第１の撮像装置１００、及び第２の撮像装置２００の相対姿勢を導出する。具体的には、相対姿勢検出部３１０は、第１の撮像装置１００、及び第２の撮像装置２００の各々で取得された撮像画像の静止物体領域の対応関係に基づいて、第１の撮像装置１００、及び第２の撮像装置２００の相対姿勢を導出する。
　具体的には、相対姿勢検出部３１０は、まず、撮像画像の各々の静止物体領域の特徴点近傍の類似度に基づいて、撮像画像の各々における特徴点の対応関係を導出する。続いて、相対姿勢検出部３１０は、撮像画像の各々における特徴点の座標、及び該特徴点のデプスの対応関係に基づいて、第１の撮像装置１００、及び第２の撮像装置２００の相対姿勢を導出してもよい。
　図６を参照して、相対姿勢検出部３１０の動作についてさらに説明を行う。図６は、相対姿勢検出部３１０の動作を説明する模式図である。
　図６に示すように、外界の被写体として、歩行者５１０，５２０と、街路樹５３０と、建物５４０，５５０とが存在しているとする。第１の撮像装置１００、及び第２の撮像装置２００の各々では、歩行者５１０，５２０は、動物体として認識され、街路樹５３０、建物５４０，５５０は、静止物体として認識される。
　相対姿勢検出部３１０は、まず、撮像画像１１１の街路樹５３０、建物５４０，５５０の特徴点５３０Ａ，５４０Ａ，５５０Ａと、撮像画像２１１の街路樹５３０、建物５４０，５５０の特徴点５３０Ｂ，５４０Ｂ，５５０Ｂとの対応関係を特徴点近傍の類似度等に基づいて導出する。続いて、相対姿勢検出部３１０は、互いに対応する特徴点５３０Ａ，５４０Ａ，５５０Ａの座標及びデプスと、特徴点５３０Ｂ，５４０Ｂ，５５０Ｂの座標及びデプスとの対応関係に基づいて、第１の撮像装置１００、及び第２の撮像装置２００の相対姿勢を導出することができる。
　より詳細には、相対姿勢検出部３１０は、まず、撮像画像の各々に対して、Ｈａｒｒｉｓオペレータを用いた特徴量の検出、又はＳＩＴＦ（Scale Invariant Feature Transform）若しくはＳＵＲＦ（Speeded Up Robust Features）などの記述子による特徴量の抽出を行う。
　次に、相対姿勢検出部３１０は、例えば、第１の撮像装置１００、及び第２の撮像装置２００のおおよその設置位置などの情報をも活用して撮像画像の各々を探索することで、特徴量が一致する対応点（特徴点）を導出する。または、相対姿勢検出部３１０は、ＳＡＤ（Sum of Absolute Difference）又はＮＣＣ（Normalized Cross-Correlation）などのテンプレートマッチングを用いて撮像画像上を探索することで対応点（特徴点）を導出する。
　続いて、相対姿勢検出部３１０は、デプス画像から補間等を行うことで、導出された特徴点のデプスを導出する。さらに、相対姿勢検出部３１０は、撮像画像の各々で互いに対応する特徴点の座標及びデプス、並びに第１の撮像装置１００、及び第２の撮像装置２００の各々のカメラパラメータを用いることで、第１の撮像装置１００、及び第２の撮像装置２００の相対姿勢を導出することができる。これらの情報を用いた相対姿勢の導出は、いわゆるＰｎＰ（Perspective-n-Point）問題であるため、ＤＬＴ（Direct Linear Transform）法又はＥＰｎＰ（Efficient PnP）法などの公知の方法を用いることで解くことができる。
　視点変換処理部３２０は、相対姿勢検出部３１０で導出された相対姿勢と、動物体領域の座標及びデプスとに基づいて、撮像画像の各々における動物体領域の対応関係を検証する。次に、視点変換処理部３２０は、撮像画像の一方における動物体領域の代表速度ノルムを撮像画像の他方における動物体領域の代表速度ノルムに変換する。すなわち、視点変換処理部３２０は、撮像画像の各々で互いに対応する動物体領域の代表速度ノルムを同一視点から見た代表速度ノルムに変換する。
　図７を参照して、視点変換処理部３２０の動作についてさらに説明を行う。図７は、視点変換処理部３２０の動作を説明する模式図である。
　図７に示すように、外界の被写体として、歩行者５１０，５２０と、街路樹５３０と、建物５４０，５５０とが存在しているとする。第１の撮像装置１００、及び第２の撮像装置２００の各々では、歩行者５１０，５２０は、動物体として認識され、街路樹５３０、建物５４０，５５０は、静止物体として認識される。
　具体的には、視点変換処理部３２０は、相対姿勢検出部３１０で導出された相対姿勢と、撮像画像２１１の歩行者５１０，５２０の座標及びデプスとに基づいて、撮像画像１１１にて歩行者５１０，５２０を含む動物体領域を推定することで、動物体領域の対応関係を検証する。その後、視点変換処理部３２０は、第１の撮像装置１００、及び第２の撮像装置２００の相対姿勢を用いて、歩行者５１０を含む動物体領域の撮像画像２１１における代表速度ノルム５１０Ｂを撮像画像１１１における代表速度ノルム５１０Ｃに変換する。また、視点変換処理部３２０は、第１の撮像装置１００、及び第２の撮像装置２００の相対姿勢を用いて、歩行者５２０を含む動物体領域の撮像画像２１１における代表速度ノルム５２０Ｂを撮像画像１１１における代表速度ノルム５２０Ｃに変換する。例えば、視点変換処理部３２０は、第１の撮像装置１００、及び第２の撮像装置２００の相対姿勢を用いて、第１の撮像装置１００の光軸方向と、撮像画像２１１の代表速度ノルム５１０Ｂ，５２０Ｂとの内積を導出することで、代表速度ノルム５１０Ｃ，５２０Ｃを導出してもよい。
　より詳細には、視点変換処理部３２０は、まず、第１の撮像装置１００で取得された撮像画像と、第２の撮像装置２００で取得された撮像画像の各々で互いに対応する動物体を識別する。一例として、視点変換処理部３２０は、第１の撮像装置１００で取得された撮像画像の特徴量と、第２の撮像装置２００で取得された撮像画像の特徴量とが一致するか否かに基づいて、互いに対応する動物体を検出することができる。他の例として、視点変換処理部３２０は、例えば、ＣＮＮなどによる画像認識において、第１の撮像装置１００で取得された撮像画像と、及び第２の撮像装置２００で取得された撮像画像とでセマンティックラベル又は特徴量が一致する動物体を互いに対応する動物体として検出することができる。これにより、視点変換処理部３２０は、第１の撮像装置１００で取得された撮像画像、及び第２の撮像装置２００で取得された撮像画像の各々で特徴量が一致する動物体を互いに対応する動物体の追跡候補として設定することができる。
　上記で画像認識に用いるＣＮＮとしては、例えば、物体検出向けのＣＮＮであるＹｏｌｏ、ＳＳＤ、Ｍ２Ｄｅｔ等を使用することができる。ただし、ＣＮＮは、使用する環境に応じて学習し直されてもよく、中間層の出力を用いて対応関係を検証されてもよい。
　ここで、測距装置では、速度に関する情報を含む点群データが取得されるため、第１の撮像装置１００、及び第２の撮像装置２００が静止している場合、動物体領域の点群のみが速度成分を有することになる。このような場合、視点変換処理部３２０は、速度成分を有する点群を単位球面上でクラスタリングすることで、動物体領域の代表角度及びデプスから動物体の重心の三次元座標を取得することができる。したがって、視点変換処理部３２０は、例えば、第２の撮像装置２００にて取得した動物体の三次元座標を第１の撮像装置１００、及び第２の撮像装置２００の相対姿勢によって座標変換することで、第１の撮像装置１００から見た動物体の三次元座標を導出することができる。
　したがって、第２の撮像装置２００にて取得した動物体の三次元座標を座標変換した三次元座標と、第１の撮像装置１００にて取得した同動物体の三次元座標とが十分に近い場合、視点変換処理部３２０は、両者を共通の動物体と識別することができる。
　視点変換処理部３２０は、上記の撮像画像の特徴量による動物体領域の一致検証と、動物体の重心の三次元座標の比較による動物体領域の一致検証とを組み合わせることで、複数の撮像装置で取得された撮像画像での動物体領域の対応関係を高精度で判断することができる。これによれば、視点変換処理部３２０は、動いたのち停止する、又は停止状態から動き出すなどの複雑な動きをする動物体を高い精度で認識することが可能になる。
　これらの識別処理は、撮像画像のフレーム単位で行われることで、各フレームにおける動物体の代表速度ノルム、及び代表三次元座標を抽出することが可能である。これらの代表速度ノルム、及び代表三次元座標は、次のフレームで検出される動物体の代表速度ノルム、及び代表三次元座標と対応付けられることで、共通の動物体を追跡し続けることが可能である。また、各フレームで検出される動物体の代表三次元座標から動物体の大まかな速度ベクトルの方向を検出することも可能である。
　例えば、測距装置の各々で検出される動物体の代表速度は、下記表１、数式群１、及び図８に示すように変換することができるため、これらを用いることで動物体の速度を推定することができる。図８は、動物体の速度推定を説明するグラフ図である。ただし、動物体の速度ベクトルの方向が測距装置の視線方向と直交する場合、検出される動物体の速度の値が不安定になるため、このような動物体は本推定では除外することが望ましい。
Figure JPOXMLDOC01-appb-T000001
Figure JPOXMLDOC01-appb-M000002
　視点変換処理部３２０は、上記にて推定された動物体の速度ノルムを次のフレームで検出される動物体の速度ノルムと対応付けることで、共通の動物体を特定することができる。また、情報処理装置３００は、上記にて推定された動物体の速度ノルムを同一視点からの速度ノルムに変換して比較することで、撮像装置の各々の時刻ずれを検出することができる。
　なお、上記の数式群１において、θｉ，Ａは、νｉ（ベクトル）及びＲＡ，ｉ（ベクトル）のなす角度であり、θｉ，Ｂは、νｉ（ベクトル）及びＲＢ，ｉ（ベクトル）のなす角度である。θｉ，Ａ及びθｉ，Ｂは、各フレームで検出される動物体の各々の代表三次元座標から導出することができる。
　時刻補正部３３０は、撮像画像の一方の動物体領域の代表速度ノルムと、撮像画像の他方の動物体領域の代表速度ノルムを撮像装置の一方と同一視点に変換した代表速度ノルムとを比較することで、時刻ずれを検出する。すなわち、時刻補正部３３０は、撮像画像の各々で互いに対応する動物体領域の代表速度ノルムを同一視点で比較することで、撮像装置の各々の時刻ずれを検出する。
　図９を参照して、時刻補正部３３０の動作についてさらに説明を行う。図９は、時刻補正部３３０の動作を説明するグラフ図である。
　まず、第１の撮像装置１００で取得された撮像画像、及び第２の撮像装置２００で取得された撮像画像の各々で互いに対応する動物体領域が検出されているものとする。図９では、第２の撮像装置２００で取得された動物体領域の代表速度ノルムを第１の撮像装置の視点に変換した代表速度ノルムが波形ＶＮ２１で表され、第１の撮像装置１００で取得された動物体領域の代表速度ノルムが波形ＶＮ１で表されている。
　波形ＶＮ１及びＶＮ２１は、対応する動物体領域の代表速度ノルムの時刻変化を同一視点で見ているため、本来は一致するはずである。しかしながら、波形ＶＮ１と、波形ＶＮ２１とは、互いに異なる撮像装置で取得されているため、第１の撮像装置１００と第２の撮像装置２００との間の時刻ずれに起因してずれが生じてしまう。したがって、時刻補正部３３０は、波形ＶＮ１及びＶＮ２１の時刻ずれ又は周期ずれを検出し、検出した時刻ずれ又は周期ずれに基づいて、第２の撮像装置２００の時刻を補正することで、第１の撮像装置１００、及び第２の撮像装置２００の時刻を同期させることができる。
　時刻補正部３３０による代表速度ノルムの比較方法について、より詳細に説明する。図１０は、第１の撮像装置１００の測距装置で検出された動物体の速度変化の波形Ｄ１を表すグラフ図である。図１１は、第２の撮像装置２００の測距装置で検出された動物体の速度変化の波形Ｄ２を表すグラフ図である。ただし、波形Ｄ１及びＤ２で表される速度変化は、同一の動物体の速度変化であり、視点変換処理部３２０の処理によって同一視点から見た速度変化に変換されているものとする。
　測距装置では、動物体の速度は、第１の撮像装置１００、及び第２の撮像装置２００の撮像画像のフレームごとに測定されるため、時間方向に離散的な数値となる。そのため、撮像画像のフレームのサンプリング間隔よりも短い時間で高精度に時刻ずれを検出するためには、測距装置で測定された動物体の速度は、時間方向に補間処理されることが望ましい。また、第１の撮像装置１００、及び第２の撮像装置２００の各々で複数の動物体が検出される場合には、複数の動物体ごとに速度の時間的な変化を抽出してもよい。
　第１の撮像装置１００の測距装置と、第２の撮像装置２００の測距装置との間で測距のタイミングを決めるクロック信号が同期していない場合、動物体の速度変化の波形Ｄ１及びＤ２は、同期されず、時刻ずれ又は時間方向のスケールずれを生じさせてしまう。そこで、時刻補正部３３０は、まず、波形Ｄ１及びＤ２の相互相関を求めることで、時刻ずれ又は時間方向のスケールずれを検出する。相互相関を求める方法としては、例えば、下記数式２で表される正規化相互相関（Normalized Cross-Correlation: NCC）などを用いることができる。
Figure JPOXMLDOC01-appb-M000003
　具体的には、時刻補正部３３０は、まず、波形Ｄ１の時間を少しずつずらしながら、波形Ｄ１と波形Ｄ２との相互相関を求めることで、最も相関の高い時刻ずれを導出する。次に、時刻補正部３３０は、波形Ｄ１の時間方向のスケールを変化させて、上記と同様に時間をずらしながら波形Ｄ１と波形Ｄ２との相互相関を求めることで、最も相関の高いスケールを導出する。これらを繰り返すことで、時刻補正部３３０は、最も相関の高くなる時刻ずれ及びスケールを導出することができる。
　上記の時刻ずれ及び時間方向のスケールずれを求める場合に速度変化が使用される動物体は、ある程度の速度変化が存在すること（すなわち、速度変化の分散が閾値以上であること）、及び閾値以上の速度変化の方向が第１の撮像装置１００、及び第２の撮像装置２００の視線方向に直交しないことを条件として選定されてもよい。例えば、第１の撮像装置１００、及び第２の撮像装置２００の視線方向にそれぞれ直交しない方向に閾値以上の速度変化が存在する動物体が出現するまでは、時刻補正部３３０は、時刻ずれ及び時間方向のスケールずれの導出を行わないようにしてもよい。
　時刻補正部３３０は、このような条件を満たす動物体の速度変化の波形ごとに時刻ずれ及び時間方向のスケールずれを導出し、速度の分散が大きい動物体ほど大きな重みが付けられる重み付け平均を取ることで時刻ずれ及びスケールずれを導出することができる。時刻補正部３３０は、さらに、上記で導出した時刻ずれ及びスケールずれを反映したのち、動物体の各々の相互相関を再度求めることで、時刻ずれ及びスケールずれの補正をより高精度化してもよい。
　モデル統合部３４０は、時刻補正部３３０で導出された時刻ずれ及びスケールずれに基づいて撮像装置の一方で取得された撮像画像、デプス画像、及び速度画像を補正した上で、撮像装置の各々で取得された撮像画像、デプス画像、及び速度画像を統合する。
　具体的には、モデル統合部３４０は、まず、時刻補正部３３０で導出された時刻ずれ及びスケールずれに基づいて、例えば、第２の撮像装置２００の時刻を補正する。次に、モデル統合部３４０は、第２の撮像装置２００で取得されたデプス画像のうち、第１の撮像装置１００の撮像時刻に最も近い時刻を選択し、選択された時刻のデプス画像に時刻の差分に相当する変化を補正する。なお、時刻の差分に相当する変化は、速度画像の速度を用いることで近似することができる。
　その後、モデル統合部３４０は、第１の撮像装置１００で取得されたデプス画像から復元された点群データと、第２の撮像装置２００で取得された補正済みの点群データとを合成する。ここで、第２の撮像装置２００で取得された補正済みの点群データは、第１の撮像装置１００、及び第２の撮像装置２００の相対姿勢で第１の撮像装置１００の視点に変換された後、モデル統合部３４０で補正されたデプス画像から復元された点群データである。これによれば、モデル統合部３４０は、合成した点群データに対して、ポワソン方程式を用いた形状再構築（Poisson Surface Reconstruction）などの方法を適用することで、合成した点群データの高精度な表面を生成することが可能である。
　なお、モデル統合部３４０は、複数の点群データを合成する際に、ＩＣＰ（Iterative Closest Point）などの手法を用いることで、第１の撮像装置１００、及び第２の撮像装置２００の時刻ずれ又は位置ずれなどをさらに補正することも可能である。このような場合、モデル統合部３４０は、合成した点群データをより高精度化することが可能である。また、オフラインなどのより高度な処理が実行可能な場合、モデル統合部３４０は、DynamicFusionなどの処理を行うことで、さらに高精度な点群データを生成することも可能である。
　本実施形態に係る情報処理システム３は、例えば、ライブ映像配信などの際に、撮影を行う撮像装置の各々の時刻ずれを導出しておくことで、時刻ずれをあらかじめ補正することが可能である。このような場合、情報処理システム３は、ライブ映像配信の本番時に、撮影を行う撮像装置の各々の時刻合わせ処理を省略することが可能である。
　また、本実施形態に係る情報処理システム３は、撮像画像から時刻同期を行うことができるため、別々の撮像装置にて取得された撮像画像を事後的に時刻同期し、統合することが可能である。例えば、情報処理システム３は、車両事故が発生した現場の監視カメラの撮像データと、事故車両のドライブレコーダの撮像データとを時刻同期の上で合成することで、車両事故が発生した際の車両の三次元モデルを再現することが可能である。このような監視カメラ、及びドライブレコーダなどの撮像装置は、時刻を事前に同期させることが困難である。情報処理システム３は、撮像画像、デプス画像、及び速度画像から時刻ずれを検出することが可能であるため、事後的に時刻ずれを補正することで、これらの撮像画像、デプス画像、及び速度画像を統合することが可能である。
　なお、本開示に係る技術は、微小な時刻ずれ及び周期ずれを補正するものである。そのため、撮像装置の各々は、ＵＴＣ（Coordinated Universal Time: 協定世界時）などの時刻を用いて、大まかな時刻合わせが行われていることが望ましい。
　（２．２．動作例）
　次に、図１２を参照して、本実施形態に係る情報処理システム３の動作例について説明する。図１２は、本実施形態に係る情報処理システム３の動作の一例を説明するフローチャート図である。以下では、情報処理装置３００が第２の撮像装置２００の時刻を第１の撮像装置１００の時刻に同期させる場合を例示して説明を行う。
　図１２に示すように、認識部１３０，２３０、及び判定部１４０，２４０の各々は、第１の撮像装置１００、及び第２の撮像装置２００の各々で取得された撮像画像、デプス画像、及び速度画像から動物体領域及び静止物体領域を認識する（Ｓ１０１）。具体的には、認識部１３０，２３０の各々は、第１の撮像装置１００、及び第２の撮像装置２００の各々で取得された撮像画像、デプス画像、及び速度画像から物体を含む領域を認識する。続いて、判定部１４０，２４０の各々は、認識された領域が動物体を含む動物体領域であるのか、又は静止物体を含む静止物体領域であるのかを判定する。
　続いて、動物体処理部１６０，２６０の各々は、動物体領域の代表速度ノルムを導出する（Ｓ１０２）。具体的には、動物体処理部１６０，２６０の各々は、速度画像の動物体領域内で測定された速度を平均化することで、動物体領域の代表速度ノルムを導出する。
　次に、情報処理装置３００は、第１の撮像装置１００、及び第２の撮像装置２００の各々の時刻ずれが調整済みであるか否か（すなわち、時刻の同期がされているか否か）を確認する（Ｓ１０３）。時刻ずれが調整済みである場合（Ｓ１０３／Ｙｅｓ）、ステップＳ１０４～ステップＳ１０８はスキップされる。その後、モデル統合部３４０は、第１の撮像装置１００、及び第２の撮像装置２００の各々で取得されたデプス画像から点群データを復元し、復元された点群データを合成する（Ｓ１０９）。これにより、モデル統合部３４０は、より高精度の点群データを生成することが可能である。
　ステップＳ１０３の時刻ずれが調整済みであるか否かは、互いに対応する動物体領域の時刻ずれコストが閾値以上となったか否かに基づいて定期的に判断されてもよい。具体的には、第１の撮像装置１００、及び第２の撮像装置２００の視線方向と直交しない方向に一定以上の速度変化がある動物体を含む動物体領域の相互相関が所定値以下となった場合に、時刻ずれコストが閾値以上となったと判断されてもよい。このような場合、情報処理装置３００は、第１の撮像装置１００、及び第２の撮像装置２００の各々の時刻ずれは調整済みでないと判断して、以下のステップＳ１０４～ステップＳ１０８の動作を実行してもよい。
　一方、時刻ずれが調整済みではない場合（Ｓ１０３／Ｎｏ）、相対姿勢検出部３１０は、第１の撮像装置１００、及び第２の撮像装置２００の各々の静止物体領域の互いの対応関係に基づいて、第１の撮像装置１００、及び第２の撮像装置２００の相対姿勢を導出する（Ｓ１０４）。具体的には、相対姿勢検出部３１０は、撮像画像の各々で互いに対応する特徴点の座標及びデプス、並びに第１の撮像装置１００、及び第２の撮像装置２００の各々のカメラパラメータ等に基づいて、撮像装置の相対姿勢を導出する。
　次に、視点変換処理部３２０は、第２の撮像装置２００視点の動物体領域の代表速度ノルムを第１の撮像装置１００視点の動物体領域の代表速度ノルムに変換する（Ｓ１０５）。具体的には、視点変換処理部３２０は、第１の撮像装置１００、及び第２の撮像装置２００の相対姿勢を用いて、第２の撮像装置２００視点の代表速度ノルムを第１の撮像装置１００視点の代表速度ノルムに変換する。
　続いて、時刻補正部３３０は、第１の撮像装置１００視点に変換された第２の撮像装置２００の代表速度ノルムと、第１の撮像装置１００視点の代表速度ノルムとの時間変化を比較することで、相互相関が最も高くなる時刻ずれを導出する（Ｓ１０６）。具体的には、時刻補正部３３０は、互いに対応する動物体領域において、第２の撮像装置２００で取得され、第１の撮像装置１００視点に変換された代表速度ノルムと、第１の撮像装置１００で取得された代表速度ノルムとを比較する。その後、時刻補正部３３０は、互いに対応する動物体領域の代表速度ノルムの相互相関が最も高くなる時刻ずれを導出する。
　次に、時刻補正部３３０は、導出された時刻ずれを用いて、撮像画像の各々の時刻ずれを補正する（Ｓ１０７）。また、時刻補正部３３０は、導出された時刻ずれを第１の撮像装置１００、及び第２の撮像装置２００の各々に適用することで、第１の撮像装置１００、及び第２の撮像装置２００の時刻を同期する。
　続いて、モデル統合部３４０は、導出された時刻ずれを用いて、第１の撮像装置１００、及び第２の撮像装置２００の各々で取得されたデプス画像及び速度画像の時刻を補正する（Ｓ１０８）。その後、モデル統合部３４０は、第１の撮像装置１００、及び第２の撮像装置２００の各々で取得されたデプス画像から点群データを復元し、復元された点群データを合成する（Ｓ１０９）。これにより、モデル統合部３４０は、より高精度の点群データを生成することが可能である。
　以上にて、本実施形態に係る情報処理システム３の動作の一例を説明した。
　なお、撮像画像に複数の動物体が含まれる場合には、情報処理システム３は、複数の動物体領域について、それぞれ時刻ずれを導出してもよい。その後、情報処理システム３は、導出した時刻ずれのうち、相互相関が最も高く、時刻変化させた際の相互相関係数の変化が大きいものを第１の撮像装置１００、及び第２の撮像装置２００の時刻ずれとして選定してもよい。また、情報処理システム３は、導出した複数の時刻ずれを用いて、最小二乗法等による最適化を行うことで、第１の撮像装置１００、及び第２の撮像装置２００の時刻ずれを決定してもよい。
　＜３．第２の実施形態＞
　（３．１．構成例）
　続いて、図１３を参照して、本開示の第２の実施形態に係る情報処理システムについて説明する。図１３は、本開示の第２の実施形態に係る情報処理システム４の機能構成を示すブロック図である。
　第２の実施形態に係る情報処理システム４は、第１の撮像装置１００、及び第２の撮像装置２００がそれぞれ固定されず、移動する点が第１の実施形態に係る情報処理システム３と異なる。そのため、第２の実施形態に係る情報処理システム４は、第１の撮像装置１００、及び第２の撮像装置２００の各々にて自己位置推定を行い、推定された自己位置に基づいて情報処理装置３００にて相対姿勢を検出する。
　以下では、第２の実施形態で特徴的な構成についてのみ説明し、第１の実施形態と同様の構成については説明を省略する。
　第１の撮像装置１００は、第１の実施形態で説明した構成に加えて、自己位置推定部１７０をさらに備える。同様に、第２の撮像装置２００は、第１の実施形態で説明した構成に加えて、自己位置推定部２７０をさらに備える。
　自己位置推定部１７０は、撮像画像をＣＮＮで画像認識することで、第１の撮像装置１００の自己位置を推定してもよい。また、自己位置推定部１７０は、第１の撮像装置１００に搭載されたＩＭＵ（Inertial Measurement Unit）又はＧＮＳＳ（Global Navigation Satellite System）センサなどの一般的な自己位置推定に用いられるデバイスを用いて、第１の撮像装置１００の自己位置を推定してもよい。さらに、自己位置推定部１７０は、これらの撮像画像、デプス画像、速度画像、ＩＭＵで取得した情報、又はＧＮＳＳセンサで取得した情報の少なくとも１つ以上を複合的に用いることで、第１の撮像装置１００の自己位置を推定してもよい。
　動物体処理部１６０は、第１の実施形態で説明したように、速度画像の動物体領域において、動物体領域内で測定された速度を平均化することで、該動物体領域の代表速度ノルムを導出する。ただし、導出された代表速度ノルムには、第１の撮像装置１００の速度ノルムが含まれている。そのため、動物体処理部１６０は、動物体領域の代表速度ノルムから第１の撮像装置１００の速度ノルムを減算することで、動物体領域の実際の代表速度ノルムを導出する。
　より詳細には、動物体処理部１６０は、以下のように演算することで、撮像装置が移動している場合であっても、動物体領域に含まれる動物体の速度を導出することができる。
　例えば、図８を参照すると、撮像装置のみが移動する場合、撮像装置の速度の関係式は、下記数式３の運動方程式により表される（ただし、νは撮像装置の並進速度、ωは撮像装置の角速度とする）。なお、単純化のため、測距装置は、回転中心が一致するように撮像装置に搭載されているものとする。
Figure JPOXMLDOC01-appb-M000004
　被写体がさらに移動する場合、上記の数式３の右辺に被写体の移動による速度成分（νｗ，ｉ）が追加されるため、撮像装置の速度の関係式は、下記数式４の運動方程式により表される。
Figure JPOXMLDOC01-appb-M000005
　撮像装置に搭載された測距装置では、上記のνｃ，ｉのうちの測距装置の視線方向の速度成分のみが検出される。ν及びωは、自己位置推定部１７０，２７０で推定されているため、撮像装置に搭載された測距装置で取得された速度から、測距装置の視線方向の速度成分を減算することで、νｗ，ｉの測距装置の視線方向の速度を導出することができる。また、νｗ，ｉの方向は、動物体領域の代表座標及びデプス、次のフレームでの該動物体領域の代表座標及びデプス、並びに撮像装置の位置及び姿勢から導出することが可能である。したがって、撮像装置が移動している場合であっても、動物体処理部１６０は、νｗ，ｉの速度ノルムを導出することが可能である。
　相対姿勢検出部３１０は、第１の撮像装置１００、及び第２の撮像装置２００の推定された自己位置の差分から相対姿勢を導出してもよい。第２の実施形態では、第１の撮像装置１００、及び第２の撮像装置２００が移動する。そのため、相対姿勢検出部３１０は、第１の撮像装置１００、及び第２の撮像装置２００の各々で取得された撮像画像から対応する静止物体領域を検出することが困難となることがあり得る。したがって、相対姿勢検出部３１０は、互いに対応する静止物体領域の位置関係に替えて、第１の撮像装置１００、及び第２の撮像装置２００の自己推定位置の差分から相対姿勢を導出してもよい。
　例えば、図８に示す定数を用いると、第１の撮像装置１００、及び第２の撮像装置２００の相対姿勢及び相対位置は、以下の数式群５で表すことができる。
Figure JPOXMLDOC01-appb-M000006
　ただし、第１の撮像装置１００、及び第２の撮像装置２００の各々で取得された撮像画像から対応する静止物体領域が検出される場合には、相対姿勢検出部３１０は、静止物体領域の特徴点の座標、及び該特徴点のデプスの対応関係に基づいて、第１の撮像装置１００、及び第２の撮像装置２００の相対姿勢を導出してもよい。また、相対姿勢検出部３１０は、推定された自己位置の差分をさらに組み合わせて、第１の撮像装置１００、及び第２の撮像装置２００の相対姿勢を導出してもよい。このような場合、相対姿勢検出部３１０は、LoopClosure処理、PoseGraphOptimization処理、又はBundleAdjust処理を用いることで、第１の撮像装置１００、及び第２の撮像装置２００の相対姿勢の関係をより高精度化することが可能である。
　モデル統合部３４０は、第１の実施形態で説明した構成に加えて、第１の撮像装置１００、及び第２の撮像装置２００の位置及び姿勢の変化をさらに補正してデプス画像から点群データを復元する。第２の実施形態では、第１の撮像装置１００、及び第２の撮像装置２００が移動する。そのため、モデル統合部３４０は、第１の撮像装置１００、及び第２の撮像装置２００の時刻ずれの分の移動をデプス画像に反映した上で、点群データを復元する。
　具体的には、モデル統合部３４０は、第２の撮像装置２００で取得されたデプス画像のうち、第１の撮像装置１００の撮像時刻に最も近い時刻を選択し、選択された時刻のデプス画像に時刻の差分に相当する変化を補正する。次に、モデル統合部３４０は、補正されたデプス画像に時刻の差分に相当する第２の撮像装置２００の移動を反映させる。その後、モデル統合部３４０は、第１の撮像装置１００で取得されたデプス画像から復元された点群データと、第２の撮像装置２００で取得された補正済みの点群データとを合成する。
　本実施形態に係る情報処理システム３は、例えば、移動可能な複数の撮像装置の時刻を同期させることができるため、より多数の視点からの同期された動画、点群データ動画、及び三次元表面動画を取得することができる。
　（３．２．動作例）
　次に、図１４を参照して、本実施形態に係る情報処理システム４の動作例について説明する。図１４は、本実施形態に係る情報処理システム４の動作の一例を説明するフローチャート図である。以下では、情報処理装置３００が第２の撮像装置２００の時刻を第１の撮像装置１００の時刻に同期させる場合を例示して説明を行う。
　図１４に示すように、認識部１３０，２３０、及び判定部１４０，２４０の各々は、第１の撮像装置１００、及び第２の撮像装置２００の各々で取得された撮像画像、デプス画像、及び速度画像から動物体領域及び静止物体領域を認識する（Ｓ２０１）。具体的には、認識部１３０，２３０の各々は、第１の撮像装置１００、及び第２の撮像装置２００の各々で取得された撮像画像、デプス画像、及び速度画像から物体を含む領域を認識する。続いて、判定部１４０，２４０の各々は、認識された領域が動物体を含む動物体領域であるのか、又は静止物体を含む静止物体領域であるのかを判定する。
　次に、自己位置推定部１７０，２７０の各々は、撮像画像、デプス画像、速度画像、及びＩＭＵ又はＧＮＳＳセンサで取得した位置情報を用いて、第１の撮像装置１００、及び第２の撮像装置２００の各々の自己位置を導出する（Ｓ２０２）。また、自己位置推定部１７０，２７０の各々は、自己位置の変化に基づいて、第１の撮像装置１００、及び第２の撮像装置２００の各々の速度を導出する。
　続いて、動物体処理部１６０，２６０の各々は、動物体領域の代表速度ノルムを導出する（Ｓ２０３）。具体的には、動物体処理部１６０，２６０の各々は、速度画像の動物体領域内で測定された速度を平均化することで、動物体領域の代表速度ノルムを導出する。さらに、動物体処理部１６０，２６０は、導出した動物体領域の代表速度ノルムから撮像装置の速度成分を減算することで、動物体領域の実際の代表速度ノルムを導出する（２０４）。
　次に、情報処理装置３００は、第１の撮像装置１００、及び第２の撮像装置２００の各々の時刻ずれが調整済みであるか否か（すなわち、時刻の同期がされているか否か）を確認する（Ｓ２０５）。時刻ずれが調整済みである場合（Ｓ２０５／Ｙｅｓ）、ステップＳ２０６～ステップＳ２１０はスキップされる。その後、モデル統合部３４０は、第１の撮像装置１００、及び第２の撮像装置２００の各々で取得されたデプス画像から点群データを復元し、復元された点群データを合成する（Ｓ２１１）。
　一方、時刻ずれが調整済みではない場合（Ｓ２０５／Ｎｏ）、相対姿勢検出部３１０は、第１の撮像装置１００、及び第２の撮像装置２００の各々の推定された自己位置に基づいて、第１の撮像装置１００、及び第２の撮像装置２００の相対姿勢を導出する（Ｓ２０６）。
　次に、視点変換処理部３２０は、第２の撮像装置２００視点の動物体領域の代表速度ノルムを第１の撮像装置１００視点の動物体領域の代表速度ノルムに変換する（Ｓ２０７）。具体的には、視点変換処理部３２０は、第１の撮像装置１００、及び第２の撮像装置２００の相対姿勢を用いて、第２の撮像装置２００視点の代表速度ノルムを第１の撮像装置１００視点の代表速度ノルムに変換する。
　続いて、時刻補正部３３０は、第１の撮像装置１００視点に変換された第２の撮像装置２００の代表速度ノルムと、第１の撮像装置１００視点の代表速度ノルムとの時間変化を比較することで、相互相関が最も高くなる時刻ずれを導出する（Ｓ２０８）。具体的には、時刻補正部３３０は、互いに対応する動物体領域において、第２の撮像装置２００で取得され、第１の撮像装置１００視点に変換された代表速度ノルムと、第１の撮像装置１００で取得された代表速度ノルムとを比較する。その後、時刻補正部３３０は、互いに対応する動物体領域の代表速度ノルムの相互相関が最も高くなる時刻ずれを導出する。
　次に、時刻補正部３３０は、導出された時刻ずれを用いて、撮像画像の各々の時刻ずれを補正する（Ｓ２０９）。また、時刻補正部３３０は、導出された時刻ずれを第１の撮像装置１００、及び第２の撮像装置２００の各々に適用することで、第１の撮像装置１００、及び第２の撮像装置２００の時刻を同期させる。
　続いて、モデル統合部３４０は、導出された時刻ずれを用いて、第１の撮像装置１００、及び第２の撮像装置２００の各々で取得されたデプス画像及び速度画像の時刻を補正する（Ｓ２０９）。さらに、モデル統合部３４０は、補正されたデプス画像に対して、第１の撮像装置１００、及び第２の撮像装置２００の移動に伴う位置及び姿勢の変化を補正する。その後、モデル統合部３４０は、デプス画像から点群データを復元し、復元された点群データを合成する（Ｓ２１１）。これにより、モデル統合部３４０は、より高精度の点群データを生成することが可能である。
　以上にて、本実施形態に係る情報処理システム４の動作の一例を説明した。
　＜４．ハードウェア＞
　さらに、図１５を参照して、本実施形態に係る情報処理装置３００のハードウェアについて説明する。図１５は、本実施形態に係る情報処理装置３００のハードウェアであるコンピュータ装置９００の構成例を示すブロック図である。
　本実施形態に係る情報処理装置３００の機能は、ソフトウェアと、以下で説明するハードウェア（コンピュータ装置９００）との協働によって実現され得る。例えば、相対姿勢検出部３１０、視点変換処理部３２０、時刻補正部３３０、及びモデル統合部３４０の機能は、例えば、ＣＰＵ９０１により実行されてもよい。
　図１５に示すように、コンピュータ装置９００は、ＣＰＵ（Central Processing Unit）９０１、ＲＯＭ（Read Only Memory）９０３、及びＲＡＭ（Random Access Memory）９０５を含む。
　また、コンピュータ装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インタフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、又は通信装置９２５をさらに含んでもよい。さらに、コンピュータ装置９００は、ＣＰＵ９０１に替えて、又はＣＰＵ９０１と共に、ＤＳＰ（Digital Signal Processor）、又はＡＳＩＣ（Application Specific Integrated Circuit）などの処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置、又は制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、又はリムーバブル記録媒体９２７に記録された各種プログラムに従って、コンピュータ装置９００内の動作を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラム、及び演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラム、及びその実行の際に使用するパラメータなどを一時的に記憶する。
　ＣＰＵ９０１、ＲＯＭ９０３、及びＲＡＭ９０５は、高速なデータ伝送が可能なホストバス９０７により相互に接続される。ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral Component Interconnect/Interface）バスなどの外部バス９１１に接続され、外部バス９１１は、インタフェース９１３を介して種々の構成要素と接続される。
　入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、又はレバーなどのユーザからの入力を受け付ける装置である。なお、入力装置９１５は、ユーザの音声を検出するマイクロフォンなどであってもよい。入力装置９１５は、例えば、赤外線、又はその他の電波を利用したリモートコントロール装置であってもよく、コンピュータ装置９００の操作に対応した外部接続機器９２９であってもよい。
　入力装置９１５は、ユーザが入力した情報に基づいて生成した入力信号をＣＰＵ９０１に出力する入力制御回路をさらに含む。ユーザは、入力装置９１５を操作することによって、コンピュータ装置９００に対して各種データの入力、又は処理動作の指示を行うことができる。
　出力装置９１７は、コンピュータ装置９００にて取得又は生成された情報をユーザに対して視覚的、又は聴覚的に提示することが可能な装置である。出力装置９１７は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、ＯＬＥＤ（Organic Light Emitting Diode）ディスプレイ、ホログラム、若しくはプロジェクタなどの表示装置、スピーカ若しくはヘッドホンなどの音出力装置、又はプリンタ装置などの印刷装置であってもよい。出力装置９１７は、コンピュータ装置９００の処理により得られた情報をテキスト若しくは画像などの映像、又は音声若しくは音響などの音として出力することができる。
　ストレージ装置９１９は、コンピュータ装置９００の記憶部の一例として構成されたデータ格納装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard Disk Drive）などの磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイスなどにより構成されてもよい。ストレージ装置９１９は、ＣＰＵ９０１が実行するプログラム、各種データ、又は外部から取得した各種データなどを格納することができる。
　ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体９２７の読み取り又は書き込み装置であり、コンピュータ装置９００に内蔵、又は外付けされる。例えば、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出してＲＡＭ９０５に出力することができる。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込むことができる。
　接続ポート９２３は、外部接続機器９２９をコンピュータ装置９００に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、又はＳＣＳＩ（Small Computer System Interface）ポートなどであってもよい。また、接続ポート９２３は、ＲＳ－２３２Ｃポート、光オーディオ端子、又はＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートなどであってもよい。接続ポート９２３は、外部接続機器９２９と接続されることで、コンピュータ装置９００と外部接続機器９２９との間で各種データの送受信を行うことができる。
　通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インタフェースである。通信装置９２５は、例えば、有線若しくは無線ＬＡＮ（Local Area Network）、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Wireless USB）用の通信カードなどであってもよい。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、又は各種通信用のモデムなどであってもよい。
　通信装置９２５は、例えば、インターネット、又は他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信することができる。また、通信装置９２５に接続される通信ネットワーク９３１は、有線又は無線によって接続されたネットワークであり、例えば、インターネット通信網、家庭内ＬＡＮ、赤外線通信網、ラジオ波通信網、又は衛星通信網などであってもよい。
　なお、コンピュータに内蔵されるＣＰＵ９０１、ＲＯＭ９０３、及びＲＡＭ９０５などを含むコンピュータ装置９００に、上記の情報処理装置３００と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録したコンピュータに読み取り可能な記録媒体も提供可能である。
　＜５．まとめ＞
　本開示に係る技術によれば、速度付きの点群データの各点の位置及び速度を用いることで、測距装置が搭載された複数の撮像装置の時刻を同期させることが可能である。したがって、本実施形態に係る情報処理装置３００は、事前に時刻合わせをせずとも、複数視点での点群データを統合することが可能である。
　第２の実施形態によれば、複数の撮像装置の少なくとも１つ以上が移動する場合でも、移動する撮像装置の自己位置を推定することで、同様に、複数の撮像装置の時刻を同期させることが可能である。したがって、第２の実施形態に係る情報処理装置３００は、ダイナミックに動く被写体に対して追従して動く撮像装置で取得した点群データも他の視点の点群データと同様に統合することが可能である。
　さらに、本開示に係る技術では、撮像装置で取得される撮像画像に動物体が映った時のみ測距装置を起動させることも可能である。また、測距装置は、周波数連続変調された光を照射する領域を動物体が含まれる領域にフォーカスさせることも可能である。このような場合、情報処理システム３，４は、消費電力及びデータ容量を抑制しつつ、複数視点での点群データを取得することが可能である。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　複数の撮像装置の各々で周波数連続変調された光を用いて測定された互いに対応する動物体の測距情報に含まれる速度情報に基づいて、前記複数の撮像装置の各々の時刻を同期させる、情報処理装置。
（２）
　前記複数の撮像装置の相対姿勢に基づいて、互いに対応する前記動物体の前記速度情報を同一視点からの速度情報に変換する視点変換処理部と、
　互いに対応する前記動物体の前記同一視点からの速度情報の時刻変化に基づいて、前記複数の撮像装置の各々の時刻を同期させる時刻補正部と、
を備える、前記（１）に記載の情報処理装置。
（３）
　前記動物体の前記速度情報は、前記動物体を含む領域を代表する速度ノルムである、前記（２）に記載の情報処理装置。
（４）
　前記視点変換処理部は、前記複数の撮像装置の相対姿勢と、前記撮像装置から前記動物体までの距離とに基づいて前記動物体の対応関係を検出する、前記（２）又は（３）に記載の情報処理装置。
（５）
　前記時刻補正部は、互いに対応する前記動物体の前記同一視点からの前記速度情報の時刻変化が一致するように、前記複数の撮像装置の各々の時刻ずれ又は周期ずれを補正する、前記（２）～（４）のいずれか一項に記載の情報処理装置。
（６）
　前記複数の撮像装置の各々で撮像された互いに対応する静止物体の撮像画像に基づいて、前記複数の撮像装置の相対姿勢を検出する相対姿勢検出部をさらに備える、前記（２）～（５）のいずれか一項に記載の情報処理装置。
（７）
　前記相対姿勢検出部は、前記撮像画像に含まれる前記静止物体の特徴点の対応関係に基づいて、前記静止物体の対応関係を検出する、前記（６）に記載の情報処理装置。
（８）
　前記相対姿勢検出部は、互いに対応する前記静止物体の前記撮像装置の各々から前記特徴点までの距離、及び前記撮像画像の各々における前記特徴点の位置の対応関係に基づいて、前記複数の撮像装置の相対姿勢を検出する、前記（７）に記載の情報処理装置。
（９）
　前記動物体と、前記静止物体とは、前記撮像画像に含まれる物体を機械学習モデルにて画像認識することで判定される、前記（６）～（８）のいずれか一項に記載の情報処理装置。
（１０）
　前記複数の撮像装置の推定された自己位置に基づいて、前記複数の撮像装置の相対姿勢を検出する相対姿勢検出部をさらに備える、前記（２）～（５）のいずれか一項に記載の情報処理装置。
（１１）
　前記測距情報は、前記撮像装置から前記動物体までの距離に関する情報を前記撮像装置にて取得された撮像画像に投影したデプス画像を含む、前記（２）～（１０）のいずれか一項に記載の情報処理装置。
（１２）
　前記測距情報は、前記動物体及び前記撮像装置を結ぶ直線方向における前記動物体の速度に関する情報を前記撮像画像に投影した速度画像を含む、前記（１１）に記載の情報処理装置。
（１３）
　前記複数の撮像装置の各々で測定された前記測距情報を互いに時刻同期して統合するモデル統合部をさらに備える、前記（１）～（１２）のいずれか一項に記載の情報処理装置。
（１４）
　前記測距情報は、前記速度情報を含むポイントクラウドデータである、前記（１）～（１３）のいずれか一項に記載の情報処理装置。
（１５）
　周波数連続変調された前記光は、赤外線又は近赤外線である、前記（１）～（１４）のいずれか一項に記載の情報処理装置。
（１６）
　前記複数の撮像装置の各々は、前記動物体の撮像画像を取得する撮像素子と、前記動物体の前記測距情報を取得する測距センサとを有する、前記（１）～（１５）のいずれか一項に記載の情報処理装置。
（１７）
　前記測距センサは、前記撮像画像に前記動物体が映った場合に、前記動物体の前記測距情報を取得する、前記（１６）に記載の情報処理装置。
（１８）
　演算装置によって、複数の撮像装置の各々で周波数連続変調された光を用いて測定された互いに対応する動物体の測距情報に含まれる速度情報に基づいて、前記複数の撮像装置の各々の時刻を同期させる、情報処理方法。
（１９）
　コンピュータを、
　複数の撮像装置の各々で周波数連続変調された光を用いて測定された互いに対応する動物体の測距情報に含まれる速度情報に基づいて、前記複数の撮像装置の各々の時刻を同期させる情報処理装置として機能させる、プログラム。
　１　　　　測距装置
　２　　　　被写体
　３，４　　情報処理システム
　１０　　　光源
　２０　　　光スプリッタ
　３０　　　二次元スキャナ
　４０　　　光ミキサ
　５０　　　信号処理回路
　１００　　第１の撮像装置
　１１０，２１０　　画像処理部
　１２０，２２０　　測距処理部
　１３０，２３０　　認識部
　１４０，２４０　　判定部
　１５０，２５０　　静止物体処理部
　１６０，２６０　　動物体処理部
　１７０，２７０　　自己位置推定部
　２００　　第２の撮像装置
　３００　　情報処理装置
　３１０　　相対姿勢検出部
　３２０　　視点変換処理部
　３３０　　時刻補正部
　３４０　　モデル統合部

Claims (19)

  1. 　複数の撮像装置の各々で周波数連続変調された光を用いて測定された互いに対応する動物体の測距情報に含まれる速度情報に基づいて、前記複数の撮像装置の各々の時刻を同期させる、情報処理装置。
  2. 　前記複数の撮像装置の相対姿勢に基づいて、互いに対応する前記動物体の前記速度情報を同一視点からの速度情報に変換する視点変換処理部と、
    　互いに対応する前記動物体の前記同一視点からの速度情報の時刻変化に基づいて、前記複数の撮像装置の各々の時刻を同期させる時刻補正部と、
    を備える、請求項１に記載の情報処理装置。
  3. 　前記動物体の前記速度情報は、前記動物体を含む領域を代表する速度ノルムである、請求項２に記載の情報処理装置。
  4. 　前記視点変換処理部は、前記複数の撮像装置の相対姿勢と、前記撮像装置から前記動物体までの距離とに基づいて前記動物体の対応関係を検出する、請求項２に記載の情報処理装置。
  5. 　前記時刻補正部は、互いに対応する前記動物体の前記同一視点からの前記速度情報の時刻変化が一致するように、前記複数の撮像装置の各々の時刻ずれ又は周期ずれを補正する、請求項２に記載の情報処理装置。
  6. 　前記複数の撮像装置の各々で撮像された互いに対応する静止物体の撮像画像に基づいて、前記複数の撮像装置の相対姿勢を検出する相対姿勢検出部をさらに備える、請求項２に記載の情報処理装置。
  7. 　前記相対姿勢検出部は、前記撮像画像に含まれる前記静止物体の特徴点の対応関係に基づいて、前記静止物体の対応関係を検出する、請求項６に記載の情報処理装置。
  8. 　前記相対姿勢検出部は、互いに対応する前記静止物体の前記撮像装置の各々から前記特徴点までの距離、及び前記撮像画像の各々における前記特徴点の位置の対応関係に基づいて、前記複数の撮像装置の相対姿勢を検出する、請求項７に記載の情報処理装置。
  9. 　前記動物体と、前記静止物体とは、前記撮像画像に含まれる物体を機械学習モデルにて画像認識することで判定される、請求項６に記載の情報処理装置。
  10. 　前記複数の撮像装置の推定された自己位置に基づいて、前記複数の撮像装置の相対姿勢を検出する相対姿勢検出部をさらに備える、請求項２に記載の情報処理装置。
  11. 　前記測距情報は、前記撮像装置から前記動物体までの距離に関する情報を前記撮像装置にて取得された撮像画像に投影したデプス画像を含む、請求項２に記載の情報処理装置。
  12. 　前記測距情報は、前記動物体及び前記撮像装置を結ぶ直線方向における前記動物体の速度に関する情報を前記撮像画像に投影した速度画像を含む、請求項１１に記載の情報処理装置。
  13. 　前記複数の撮像装置の各々で測定された前記測距情報を互いに時刻同期して統合するモデル統合部をさらに備える、請求項１に記載の情報処理装置。
  14. 　前記測距情報は、前記速度情報を含むポイントクラウドデータである、請求項１に記載の情報処理装置。
  15. 　周波数連続変調された前記光は、赤外線又は近赤外線である、請求項１に記載の情報処理装置。
  16. 　前記複数の撮像装置の各々は、前記動物体の撮像画像を取得する撮像素子と、前記動物体の前記測距情報を取得する測距センサとを有する、請求項１に記載の情報処理装置。
  17. 　前記測距センサは、前記撮像画像に前記動物体が映った場合に、前記動物体の前記測距情報を取得する、請求項１６に記載の情報処理装置。
  18. 　演算装置によって、複数の撮像装置の各々で周波数連続変調された光を用いて測定された互いに対応する動物体の測距情報に含まれる速度情報に基づいて、前記複数の撮像装置の各々の時刻を同期させる、情報処理方法。
  19. 　コンピュータを、
    　複数の撮像装置の各々で周波数連続変調された光を用いて測定された互いに対応する動物体の測距情報に含まれる速度情報に基づいて、前記複数の撮像装置の各々の時刻を同期させる情報処理装置として機能させる、プログラム。
PCT/JP2021/043868 2021-03-17 2021-11-30 情報処理装置、情報処理方法、及びプログラム WO2022195969A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP21931712.0A EP4311221A1 (en) 2021-03-17 2021-11-30 Information processing device, information processing method, and program
CN202180095469.6A CN116982321A (zh) 2021-03-17 2021-11-30 信息处理装置、信息处理方法和程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163162221P 2021-03-17 2021-03-17
US63/162,221 2021-03-17

Publications (1)

Publication Number Publication Date
WO2022195969A1 true WO2022195969A1 (ja) 2022-09-22

Family

ID=83320085

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/043868 WO2022195969A1 (ja) 2021-03-17 2021-11-30 情報処理装置、情報処理方法、及びプログラム

Country Status (3)

Country Link
EP (1) EP4311221A1 (ja)
CN (1) CN116982321A (ja)
WO (1) WO2022195969A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011155477A (ja) * 2010-01-27 2011-08-11 Canon Inc 映像処理装置、映像処理方法及びプログラム
WO2017134770A1 (ja) * 2016-02-03 2017-08-10 三菱電機株式会社 映像同期装置
JP2019135446A (ja) 2018-02-05 2019-08-15 日本電気株式会社 画像処理装置、測距装置、撮像装置、画像処理方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011155477A (ja) * 2010-01-27 2011-08-11 Canon Inc 映像処理装置、映像処理方法及びプログラム
WO2017134770A1 (ja) * 2016-02-03 2017-08-10 三菱電機株式会社 映像同期装置
JP2019135446A (ja) 2018-02-05 2019-08-15 日本電気株式会社 画像処理装置、測距装置、撮像装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
CN116982321A (zh) 2023-10-31
EP4311221A1 (en) 2024-01-24

Similar Documents

Publication Publication Date Title
EP3469306B1 (en) Geometric matching in visual navigation systems
US10242454B2 (en) System for depth data filtering based on amplitude energy values
Long et al. Unifying obstacle detection, recognition, and fusion based on millimeter wave radar and RGB-depth sensors for the visually impaired
CN104885098B (zh) 基于移动装置的文本检测及跟踪
US10068344B2 (en) Method and system for 3D capture based on structure from motion with simplified pose detection
US9646384B2 (en) 3D feature descriptors with camera pose information
TWI574223B (zh) 運用擴增實境技術之導航系統
US10154190B2 (en) Balancing exposure and gain at an electronic device based on device motion and scene distance
CN109059895A (zh) 一种基于手机摄像头和传感器的多模态室内测距及定位方法
KR102398478B1 (ko) 전자 디바이스 상에서의 환경 맵핑을 위한 피쳐 데이터 관리
Cui et al. Real-time short-range human posture estimation using mmwave radars and neural networks
CN111724412A (zh) 确定运动轨迹的方法、装置及计算机存储介质
Xu et al. FollowUpAR: Enabling follow-up effects in mobile AR applications
Jiang et al. VisBLE: Vision-enhanced BLE device tracking
JP2001266128A (ja) 奥行き情報取得方法，装置および奥行き情報取得プログラムを記録した記録媒体
Voges et al. Finding timestamp offsets for a multi-sensor system using sensor observations
WO2022195969A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR101273634B1 (ko) 모바일 기기를 이용하는 증강현실 환경에서 복수 객체 추적방법 및 이를 이용한 시스템
WO2022228461A1 (zh) 一种基于激光雷达的三维超声成像方法和系统
Meers et al. Face recognition using a time-of-flight camera
CN114612521A (zh) 一种多目标多相机跟踪方法、系统、设备及存储介质
Shojaeipour et al. Robot path obstacle locator using webcam and laser emitter
KR20130078064A (ko) 홍채 검출 장치 및 방법
KR20120032950A (ko) 비컨을 구비한 마커를 포함하는 음원 위치 측정 장치 및 이를 이용한 음원 위치 오차 개선 방법
Zhou et al. RAV4D: A Radar-Audia-Visual Dataset for Indoor Multi-Person Tracking

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21931712

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202180095469.6

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2021931712

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021931712

Country of ref document: EP

Effective date: 20231017