JP7197003B2

JP7197003B2 - 深度推定装置、深度推定方法、及び深度推定プログラム

Info

Publication number: JP7197003B2
Application number: JP2021519958A
Authority: JP
Inventors: 豪入江; 隆仁川西; 邦夫柏野
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2019-05-21
Filing date: 2019-05-21
Publication date: 2022-12-27
Anticipated expiration: 2039-05-21
Also published as: US20220221581A1; JPWO2020235022A1; WO2020235022A1

Description

開示の技術は、深度推定装置、深度推定方法、及び深度推定プログラムに関する。

人工知能（ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ：ＡＩ）技術の進展が目覚ましい。高度な監視システムや見守り、スマートフォン及びロボットによるナビゲーションなど、実空間における人間の様々な活動を支援する技術が提供され、またさらなる発展を迎えようとしている。

人間の活動を支えるＡＩシステムへの要件として、システムが置かれている空間の構造や形状を正確に理解する手段を備えていることが挙げられる。例えば、ある人物を追跡したい場合、その人物が物陰に隠れてしまった場合、システムは「追跡対象の人物が物陰の奥にいる可能性が高い」ということを的確に判断できることが期待される。しかし、この判断を行うには、空間に人物が隠れられるだけの物陰が存在する、という構造的情報を理解する必要がある。また、例えば市街にてユーザを目的の場所まで案内するロボットの場合、ユーザの実際の目線から、どこをどう通れば目的の場所に辿りつけるかを提示できることが好ましい。しかし、この場合も目的地までの地理構造がどのようになっているのかを理解している必要がある。あるいは、商品を運搬するロボットならば、物品棚にある商品を把持及び運搬し、別の商品棚に移すような場面もある。この際、ロボットの作業を完遂するためには、物品棚の構造や形状を正確に認識できる必要がある。

このように、空間の構造の把握は、多くのＡＩシステムに必要な基本的な機能の一つであり、そのための技術に大きな期待が寄せられていると言える。

構造は３次元的な幾何形状、すなわち、幅、高さ、及び深度（奥行）を得ることにより知ることができるが、特に単一視点からは計測しにくい深度情報の計測は３次元計測の要である。

深度を計測する公知の手段は数多く存在する。例えば、百メートルまでの規模の空間であれば、ＬｉＤＡＲ（ｌｉｇｈｔｄｅｔｅｃｔｉｏｎａｎｄｒａｎｇｉｎｇ／ｌｉｇｈｔｉｍａｇｉｎｇ，ｄｅｔｅｃｔｉｏｎ，ａｎｄｒａｎｇｉｎｇ）によるレーザースキャンが利用できるが、一般に比較的コストが掛かる。一般的な室内では、赤外光などを用いたＴｉｍｅｏｆＦｌｉｇｈｔ（ＴｏＦ）カメラや構造化照明を用いた計測方法などが存在する。このような手段は、いずれも専用の計測デバイスの利用を前提としたものであり、常にこのようなデバイスが利用できるとは限らないという問題点がある。

別の手段として、より一般的に普及しているカメラ、すなわち、ＲＧＢ画像を用いる技術もよく知られている。一枚のＲＧＢ画像からは、幅と高さを見てとることはできるものの、深度情報を得ることはできない。このため、例えば特許文献１に記載の方法のように、別視点から撮影した２枚以上の画像を使う、あるいは、ステレオカメラなどを用いるといったように、複数枚の画像を用いて計測を実現する必要がある。

さらに簡便に深度情報を得るため、単一のＲＧＢ画像から機械学習を用いて深度情報を推定する技術も開示されてきている。最近主流となっているのは深層ニューラルネットワークを用いた方法であり、ＲＧＢ画像を入力として受け付け、当該画像の深度情報を直接出力する深層ニューラルネットワークを直接学習する。

例えば非特許文献１には、非特許文献２に開示されているＤｅｅｐＲｅｓｉｄｕａｌＮｅｔｗｏｒｋ（ＲｅｓＮｅｔ）をベースとしたネットワークを、ＲｅｖｅｒｓｅＨｕｂｅｒ損失（ＢｅｒＨｕ損失）を用いて学習する方法が開示されている。ＢｅｒＨｕ損失は、区分関数であり、深度推定誤差の小さいところでは線形、深度推定誤差の大きいところでは２次関数となる関数である。

非特許文献３には、非特許文献１同様のネットワークを、Ｌ１損失、すなわち推定誤差に対して線形関数を用いて学習する方法が開示されている。

特開２０１７－１１２４１９号公報

Iro Laina, Christian Rupprecht, Vasileios Belagianis, Federico Tombari, and Nassir Navab, "Deeper Depth Prediction with Fully Convolutional Residual Networks," In Proc. International Conference on 3D Vision (3DV), pp. 239-248, 2016. Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. "Deep Residual Learning for Image Recognition," In Proc. Conference on Computer Vision and Pattern Recognition (CVPR), 2016. Fangchang Ma and Sertac Karaman. "Sparse-to-Dense: Depth Prediction from Sparse Depth Samples and a Single Image," In Proc. International Conference on Robotics and Automation (ICRA), 2018. Ivan Dokmanic, Reza Parhizkar, Andreas Walther, Yue M. Lu, and Martin Vetterli. "Acoustic Echoes Reveal Room Shape," Proc. National Academy of Sciences of the United States of America (PNAS), Vo. 110(30), pp.12186-12191, 2013.

概して昨今発明されている深度推定技術は、カメラを用いるという特性上、カメラでは写らないような暗い室内、あるいは、カメラで撮影したくないような空間に対しては利用できないという問題があった。

開示の技術は、上記の点に鑑みてなされたものであり、音響信号を用いて、空間の深度を精度よく推定するための深度推定装置、深度推定方法、及び深度推定プログラムを提供することを目的とする。

本開示の第１態様は、深度推定装置であって、計測対象空間で所定の誘引音を発する発信部と、発信部により前記誘引音を発した時刻の前後に対応する所定の時間の音響信号を収音する収音部と、前記音響信号に基づいて、前記音響信号を解析した時間周波数情報を表す特徴を抽出し、一つ以上の畳み込み演算により構成される深度推定器であって、前記時間周波数情報を表す特徴を入力とした場合に、前記計測対象空間を表す画像の各画素に深度が付与された推定深度マップを出力するように学習されている深度推定器に、抽出した前記時間周波数情報を表す特徴を入力し、前記計測対象空間の推定深度マップを生成する推定部と、を含んで構成されている。

本開示の第１態様において、学習部を更に含み、前記深度推定器は、前記推定部により、収音した学習用の音響信号を周波数解析して時間周波数情報を表す特徴を抽出し、当該時間周波数情報に対して深度推定器を適用させて、学習用の推定深度マップを生成し、前記学習部により、生成された前記学習用の推定深度マップと、前記学習用の推定深度マップに対する正解深度マップとの誤差から求めた第１損失値に基づいて前記深度推定器のパラメータを更新することで学習されているようにしてもよい。

本開示の第１態様において、前記深度推定器は、前記学習部により、前記第１損失値に基づいて更新された前記深度推定器に対して、前記計測対象空間で検出されたエッジを前記誤差に反映した第２損失値に基づいて前記深度推定器のパラメータを更新することで学習されているようにしてもよい。

本開示の本開示の第２態様は、深度推定方法であって、計測対象空間で所定の誘引音を発し、発信部により前記誘引音を発した時刻の前後に対応する所定の時間の音響信号を収音し、前記音響信号に基づいて、前記音響信号を解析した時間周波数情報を表す特徴を抽出し、一つ以上の畳み込み演算により構成される深度推定器であって、前記時間周波数情報を表す特徴を入力とした場合に、前記計測対象空間を表す画像の各画素に深度が付与された推定深度マップを出力するように学習されている深度推定器に、抽出した前記時間周波数情報を表す特徴を入力し、前記計測対象空間の推定深度マップを生成する、ことを含む処理をコンピュータが実行することを特徴とする。

本開示の本開示の第２態様において、前記深度推定器は、収音した学習用の音響信号を周波数解析して時間周波数情報を表す特徴を抽出し、当該時間周波数情報に対して深度推定器を適用させて、学習用の推定深度マップを生成し、生成された前記学習用の推定深度マップと、前記学習用の推定深度マップに対する正解深度マップとの誤差から求めた第１損失値に基づいて前記深度推定器のパラメータを更新することで学習されているようにしてもよい。

本開示の本開示の第２態様において、前記深度推定器は、前記第１損失値に基づいて更新された前記深度推定器に対して、前記計測対象空間で検出されたエッジを前記誤差に反映した第２損失値に基づいて前記深度推定器のパラメータを更新することで学習されているようにしてもよい。

本開示の本開示の第３態様は、深度推定プログラムであって、計測対象空間で所定の誘引音を発し、発信部により前記誘引音を発した時刻の前後に対応する所定の時間の音響信号を収音し、前記音響信号に基づいて、前記音響信号を解析した時間周波数情報を表す特徴を抽出し、一つ以上の畳み込み演算により構成される深度推定器であって、前記時間周波数情報を表す特徴を入力とした場合に、前記計測対象空間を表す画像の各画素に深度が付与された推定深度マップを出力するように学習されている深度推定器に、抽出した前記時間周波数情報を表す特徴を入力し、前記計測対象空間の推定深度マップを生成する、ことをコンピュータに実行させる。

開示の技術によれば、音響信号を用いて、空間の深度を精度よく推定することができる。

本開示の実施形態の深度推定装置の構成の一態様を示すブロック図である。深度推定装置のハードウェア構成を示すブロック図である。本開示の実施形態の深度推定装置の構成の一態様を示すブロック図である。本開示の実施形態の深度推定装置の構成の一態様を示すブロック図である。第１実施形態の深度推定装置による学習処理の流れを示すフローチャートである。第２実施形態の深度推定装置による学習処理の流れを示すフローチャートである。

以下、開示の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

［実施形態の構成］
以下、本実施形態の構成について説明する。なお、作用の説明において第１実施形態と第２実施形態とに分けて説明するが、構成は同一である。

図１は、本実施形態の深度推定装置１００（深度推定装置１００Ａ：以下、深度推定装置の態様に応じてアルファベットを付す場合がある）の構成を示すブロック図である。

図１に示すように、深度推定装置１００は、発信部１０１と、収音部１０２と、推定部１１０と、記憶部１２０とを備える。推定部１１０は、制御部１１１と、深度推定部１１２とを備える。深度推定装置１００は、外部と通信手段を介して接続されて相互に情報通信する。また、推定部１１０は、発信部１０１と、収音部１０２と、記憶部１２０と相互情報通信可能な形で接続されている。

図２は、深度推定装置１００のハードウェア構成を示すブロック図である。

図２に示すように、深度推定装置１００は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１１、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）１２、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１３、ストレージ１４、入力部１５、表示部１６及び通信インタフェース（Ｉ／Ｆ）１７を有する。各構成は、バス１９を介して相互に通信可能に接続されている。

ＣＰＵ１１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４からプログラムを読み出し、ＲＡＭ１３を作業領域としてプログラムを実行する。ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ１２又はストレージ１４には、マルチタスク学習プログラムが格納されている。

ＲＯＭ１２は、各種プログラム及び各種データを格納する。ＲＡＭ１３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４は、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）又はＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。

入力部１５は、マウス等のポインティングデバイス、及びキーボードを含み、各種の入力を行うために使用される。

表示部１６は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部１６は、タッチパネル方式を採用して、入力部１５として機能しても良い。

通信インタフェース１７は、端末等の他の機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられる。

次に、深度推定装置１００の各機能構成について説明する。各機能構成は、ＣＰＵ１１がＲＯＭ１２又はストレージ１４に記憶されたプログラムを読み出し、ＲＡＭ１３に展開して実行することにより実現される。

発信部１０１は、制御部１１１の制御により外部に音を出力できるものであればどんなものを用いてもよく、スピーカー等を用いればよい。収音部１０２も同様に、制御部１１１の制御により音を収取できるものであればどんなものを用いてもよく、マイク等を用いればよい。もちろん複数のスピーカー、マイクにより構成しても構わない。発信部１０１は、計測対象空間で所定の誘引音を発する。収音部１０２は、発信部１０１により誘引音を発した時刻の前後に対応する所定の時間の音響信号を収音する。

推定部１１０は、制御部１１１と深度推定部１１２とを動作させ、収音部１０２により収音した音響信号に基づいて、計測対象空間の推定深度マップを出力する。

推定部１１０を構成する制御部１１１及び深度推定部１１２について説明する。

制御部１１１は、発信部１０１及び収音部１０２を制御する。制御部１１１は、発信部１０１を動作させ、所定の誘引音を空間に対して出力する。また、制御部１１１は、収音部１０２を動作させ、誘引音が発生する前後一定時間の音響信号を収音する。収音した音響信号は制御部１１１を通して深度推定部１１２に伝達され、深度推定のための入力として用いられる。

深度推定部１１２は、音響信号が入力されると、音響信号に対して特徴解析を施して時間周波数特徴化し、音響信号を解析した時間周波数情報を表す特徴を抽出する。次に、記憶部１２０の深度推定器に、抽出した時間周波数情報を表す特徴を入力することで、計測対象空間の深度マップを生成し、出力する。この際、深度推定部１１２は、記憶部１２０より深度推定器のパラメータを読み込む。深度推定部１１２は、深度推定器により得られた出力を、計測対象空間の深度推定結果である深度マップとして出力する。

記憶部１２０には、深度推定器が記憶されている。深度推定器は、一つ以上の畳み込み演算により構成される深度推定器であり、時間周波数情報を表す特徴を入力とした場合に、計測対象空間の深度マップを出力するように学習されている。深度推定器のパラメータは、本開示の実施形態の一例による深度推定処理を実行する前に少なくとも一度学習により決定し、記憶部１２０に記録しておく必要がある。以下、記憶部１２０に深度推定器が格納されており、記憶部１２０の深度推定器の読み出し及び学習処理による更新を行うことを前提に記載する。

学習処理を実行する際の構成及び方法は様々なものがあり得るが、装置構成としては例えば図３に示す構成を採ることができる。

図３の深度推定装置１００（１００Ｂ）の構成例では、図１に示す装置構成の一例に加えて、さらに深度計測部１０３と、学習部１４０とを備え、これらは推定部１１０及び記憶部１２０と相互情報通信可能な形で接続されている。

深度計測部１０３は、学習時の正解となる深度マップ（以降、正解深度マップ）を得る目的で利用するものである。よって、深度計測部１０３は計測対象空間の深度マップを直接計測するデバイスにより構成することが好ましい。例えば、前述のLiDAR (light detection and ranging/ light imaging, detection, and ranging)を用いたレーザースキャンデバイス、赤外光などを用いたTime of Flight (ToF)カメラや構造化照明を用いた計測装置など任意の公知のものを利用することができる。なお、当然のことながら、これらの装置は学習時のみ利用するものであり、実際に本開示による深度推定を実施する際には用いる必要はない。

深度計測部１０３は、制御部１１１による制御に基づき、発信部１０１、収音部１０２の動作に同期して計測対象空間の正解深度マップを計測し、制御部１１１を通して深度推定部１１２に伝達する。

深度推定装置１００Ｂにおいて、深度推定部１１２は、制御部１１１を通じて得られた学習用の音響信号を解析し、時間周波数情報を表す特徴を抽出する。次に、記憶部１２０の深度推定器に、抽出した時間周波数情報を表す特徴を入力することで、学習用の音響信号から得られた計測対象空間の学習用の推定深度マップを生成し、学習部１４０に出力する。

学習部１４０は、学習用の推定深度マップと正解深度マップとに基づいて、正解深度マップに近くなるように深度推定器のパラメータを更新して学習し、記憶部１２０に記録する。

なお、図３では、学習データ自体を深度推定装置１００Ｂが収集するという前提の下、装置構成を例示したが、本開示を利用する上で学習データを準備する手段は本開示の要点とは無関係であり、どのような手段で準備しても構わない。したがって図３の構成は必須ではなく、別の構成を採っても構わない。例えば、図４のような構成を採用し、学習データが深度推定装置１００Ｃの外部にある外部記憶部１５０より通信を用いて参照可能な構成としても構わない。この構成の場合、制御部１１１は外部記憶部１５０より対応する音響信号と正解深度マップの組を適宜読み込み深度推定部１１２、あるいは、学習部１４０に伝達する。学習部１４０は、学習データを基に、深度推定部１１２が求める推定深度マップが、正解深度マップに近くなるように深度推定器のパラメータを更新し、記憶部１２０に記録する。

いずれの構成の一例においても、深度推定装置１００が備える各部及び各手段は、演算処理装置、記憶装置等を備えたコンピュータやサーバ等により構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは深度推定装置１００が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。もちろん、その他いかなる構成要素についても、単一のコンピュータやサーバによって実現しなければならないものではなく、ネットワークによって接続された複数のコンピュータに分散して実現しても構わない。

［処理概要］
本実施形態における深度推定装置１００が実行する処理の詳細について説明する。本実施形態における深度推定に関する処理は、大別して、入力音響信号を基に推定深度マップを求める推定処理と、深度推定器を学習する学習処理との２つの異なる処理がある。以下の説明では、深度推定装置１００（１００Ｂ）が上記図３の構成により学習処理を行い、学習された深度推定器を用いて推定処理を行うことを前提として説明する。

本実施形態における深度推定装置１００は、計測対象空間に出力した誘引音に伴い収音された音響信号を入力として得ると、当該計測対象空間の推定深度マップを推定し出力する。

深度マップとは、計測対象空間を表す画像の各画素値に、計測対象空間のある地点の深度である、計測デバイス（深度計測部１０３）からの奥行き方向の距離を格納したマップである。距離の単位は任意のものを用いることができるが、例えばメートルやミリメートルを単位として用いればよい。学習に用いる正解深度マップと、推定された推定深度マップとは同じ幅及び高さを持ち、同様の形式を持つデータである。

［第１実施形態の作用］
第１実施形態の作用について説明する。まず、学習処理及び推定処理に共通する前処理である音響信号の収音処理について説明する。その後、学習処理及び推定処理について、実施形態の作用について詳細に述べる。

＜収音処理＞
まずは音響信号の収音処理について説明する。収音に利用する誘引音は、任意の公知のものを利用することができるが、好ましくは広範な周波数特性を解析するのに適した信号を用いることが好ましい。具体例としては、参考文献１に記載のＴｉｍｅ－Ｓｔｒｅｔｃｈｅｄ－Ｐｕｌｓｅ（ＴＳＰ）信号が挙げられる。

［参考文献１］N. Aoshima. “Computer-generated pulse signal applied for sound measurement,” The Journal of the Acoustical Society of America, Vol.69, 1484. 1981

制御部１１１は、ＴＳＰ信号を発信部１０１より出力し、その前後一定時間の音を音響信号として収音する。好ましくはＴＳＰ信号を複数回、一定間隔で出力し、各出力に対応する音響信号の平均を求める。例えばＴＳＰ信号を２秒間隔で４回出力するとし、収音時間は合計の８秒とし、２秒分の出力時間に対応する４回分の音響信号の平均を取る。収音部１０２が複数のマイクにより構成されている場合には、複数の音響信号を収音する。

以上が収音処理の詳細である。

＜学習処理＞
図５は、第１実施形態の深度推定装置１００による学習処理の流れを示すフローチャートである。ＣＰＵ１１がＲＯＭ１２又はストレージ１４からプログラムを読み出して、ＲＡＭ１３に展開して実行することにより、学習処理が行なわれる。

以降、ｉ番目の入力となる音響信号をＡ_ｉ、対応する正解深度マップをＴ_ｉ、深度推定部１１２により推定された推定深度マップをＤ_ｉと表す。また、正解深度マップＴ_ｉ及び推定深度マップＤ_ｉの（ｘ，ｙ）座標の画素値をそれぞれＴ_ｉ（ｘ，ｙ）、Ｄ_ｉ（ｘ，ｙ）と表す。

本開示の実施形態における学習処理は、次の工程により実行される。なお、ｉ＝１と初期化しておく。

まず、ステップＳ４０１では、ＣＰＵ１１は、深度推定部１１２として、音響信号Ａ_ｉに対して特徴抽出処理を施し、時間周波数情報を表す特徴Ｓ_ｉを抽出する。

続いてステップＳ４０２では、ＣＰＵ１１は、深度推定部１１２として、特徴Ｓ_ｉに対して深度推定器ｆを適用し、推定深度マップＤ_ｉ＝ｆ（Ｓ_ｉ）を生成する。

続いてステップＳ４０３では、ＣＰＵ１１は、学習部１４０として、推定深度マップＤ_ｉと正解深度マップＴ_ｉとに基づいて、第１損失値ｌ_１（Ｄ_ｉ，Ｔ_ｉ）を求める。

続いてステップＳ４０４では、ＣＰＵ１１は、学習部１４０として、第１損失値ｌ_１（Ｄ_ｉ，Ｔ_ｉ）を小さくするように深度推定器のパラメータを更新し、当該パラメータを記憶部１２０に記録する。

続いてステップＳ４０５では、ＣＰＵ１１は、所定の終了条件が満たされたか否かを判定し、満たされていれば処理を終了し、そうでなければｉをインクリメント（ｉ←ｉ＋１）してＳ４０１に戻る。終了条件は任意のものを定めて構わないが、例えば「所定の回数（例えば１００回など）繰り返したら終了」、「第１損失値の減少が一定繰り返し回数の間、一定の範囲内に収まっていたら終了」などとすればよい。

以上のように、学習部１４０は、生成された学習用の推定深度マップＤ_ｉと、正解深度マップＴ_ｉとの誤差から求めた第１損失値ｌ_１（Ｄ_ｉ，Ｔ_ｉ）に基づいてパラメータを更新する。

以降、上記ステップＳ４０１、Ｓ４０２、Ｓ４０３、Ｓ４０４の各処理の詳細処理について、本実施形態における一例を説明する。

［ステップＳ４０１：特徴抽出処理］
深度推定部１１２により実行される特徴抽出処理の一例を説明する。特徴抽出処理では入力となる音響信号Ａ_ｉから、当該音響信号の時間周波数情報を表す特徴Ｓ_ｉを抽出する。当該処理は公知のスペクトル解析手法を用いることができる。本開示を利用する上ではどのようなスペクトル解析手法を用いても構わないが、例えば短時間フーリエ変換を適用し、時間周波数スペクトルを得ればよい。あるいは、メルケプストラムやメル周波数ケプストラム係数（ＭＦＣＣ）などを用いても構わない。

このような特徴抽出処理で得られる特徴Ｓ_ｉは２次元又は３次元の配列となる。通常、配列のサイズは時間窓の数ｔと周波数ビンの数ｂに依存した大きさｔ×ｂとなる。３次元の場合はさらに実数成分と複素成分の２チャネル分の値が格納され、配列の大きさはｔ×ｂ×２となる。

収音部１０２が複数のマイクにより構成されている場合など、音響信号が複数存在する場合は、上記処理を各音響信号に対して適用し、一つの配列にまとめればよい。例えば、４つのマイクにより構成され、４つの音響信号が得られたならば、４つの配列を３次元目で結合してｔ×ｂ×８の大きさの配列を構成し、当該配列を特徴Ｓ_ｉとする。

この他、配列で表現できる特徴であれば上記以外の任意のものを利用することができる。例えば参考文献２に記載の角度スペクトルなどはその一例である。また、複数の特徴を組み合わせて利用しても構わない。

［参考文献２］ C. Knapp and G. Carter. “The generalized cross-correlation method for estimation of time delay,” IEEE Trans. Acoustics, Speech, and Signal Processing, vol. 24, pp. 320-327, 1976.

以上が特徴抽出処理の一例である。

［ステップＳ４０２：深度推定処理］
深度推定部１１２は、特徴Ｓ_ｉに対して深度推定器ｆを適用し、推定深度マップＤ_ｉ＝ｆ（Ｓ_ｉ）を求める。

深度推定器ｆとしては、特徴Ｓ_ｉを入力として、推定深度マップＤ_ｉを出力することのできる任意の関数を用いることができるが、本実施形態では、一つ以上の畳み込み演算により構成される畳み込みニューラルネットワークを用いる。ニューラルネットワークの構成は、上記のような入出力関係を実現できるものであれば任意の構成を採ることができるが、例えば非特許文献１や非特許文献２に記載のもの、あるいは、参考文献３に記載のＤｅｎｓｅＮｅｔに基づくものなどを用いればよい。

［参考文献３］Gao Huang, Zhuang Liu, Laurens van der Maaten, and Kilian Q. Weinberger. “Densely Connected Convolutional Network,” In Proc. Conference on Computer Vision and Pattern Recognition (CVPR), 2017.

本開示におけるニューラルネットワークの構成はこれに限られるものではなく、先の入出力要件を満たす限りどんな構成を採っても構わない。好ましくは解像度の高い推定深度マップを出力できるよう、逆畳み込み層（Ｄｅｃｏｎｖｏｌｕｔｉｏｎｌａｙｅｒ／ＵｐｃｏｎｖｏｌｕｔｉｏｎＬａｙｅｒ）、及びアップサンプリング層（Ｕｐｓａｍｐｌｉｎｇｌａｙｅｒ）を用いて構成する。

仮に複数の特徴を利用する場合には、例えば次のような構成を用いることができる。まず、各種特徴を個別に処理する一つ以上の畳み込み層と活性化関数（ＲｅＬＵ）を設け、その後、全結合層を設けて特徴を一つにまとめる。最後に逆畳み込み層を用いて単一の推定深度マップを出力する構成とする。

以上が深度推定処理の一例である。

［ステップＳ４０３：第１損失関数計算処理］
学習部１４０は、音響信号Ａ_ｉに対応する正解深度マップＴ_ｉ、及び、深度推定器ｆにより推定された推定深度マップＤ_ｉに基づいて、第１損失値を求める。

ステップＳ４０３までの処理を通して、学習データである音響信号Ａ_ｉに対して、深度推定器ｆにより推定された推定深度マップＤ_ｉが得られている。推定深度マップＤ_ｉは正解深度マップＴ_ｉの推定結果であるべきである。そのため、基本的な方針は推定深度マップＤ_ｉが正解深度マップＴ_ｉに近いほど小さい損失値を与え、反対に遠いほど大きい損失値を与えるように、第１損失値を求めるための第１損失関数を設計することが好ましい。

最も単純には、非特許文献３に開示されているように、推定深度マップＤ_ｉと正解深度マップＴ_ｉとの画素値の距離の総和を損失関数とすればよい。画素値の距離は、例えばＬ１距離を用いることにすれば、第１損失関数は下記（１）式のように定めることができる。

・・・（１）

上記式（１）におけるＸ_ｉはｘの定義域を表し、Ｙ_ｉはｙの定義域を表す。ｘ，ｙは、各深度マップ上の画素の位置を表す。Ｎは学習データである推定深度マップと正解深度マップとの組の数、又は組の数以下の定数である。ｅ_ｉ（ｘ，ｙ）は、ｅ_ｉ（ｘ，ｙ）＝Ｔ_ｉ（ｘ，ｙ）－Ｄ_ｉ（ｘ，ｙ）であり、学習用の推定深度マップＤ_ｉと正解深度マップＴ_ｉとの各画素の誤差である。

第１損失関数は、正解深度マップＴ_ｉと推定深度マップＤ_ｉとの全画素均等に近しいほど小さい値を取り、Ｔ_ｉ＝Ｄ_ｉの場合に０となる。すなわち、様々なＴ_ｉとＤ_ｉとに対してこの値が小さくするように深度推定器のパラメータを更新することによって、正しい推定深度マップを出力可能な深度推定器を得ることができる。

あるいは、非特許文献１に開示されている方法のように、以下（２）式の損失関数を第１損失関数として用いても構わない。

・・・（２）

（２）式の損失関数は、深度推定誤差の小さいところでは線形、深度推定誤差の大きいところでは２次関数となる関数である。

しかし、上記式（１）又は上記式（２）に示されるような既存の損失関数には問題がある。深度マップのうちの誤差｜ｅ_ｉ（ｘ，ｙ）｜が大きい画素に対応する領域は、距離が物理的に遠距離である場合が考えられる。又は、深度マップのうちの誤差｜ｅ_ｉ（ｘ，ｙ）｜が大きい画素に対応する領域は、非常に複雑な深度構造を持つような部分である場合が考えられる。

深度マップのうちの、このような箇所については、不確かさを含む領域であることが多い。このため、深度マップのうちの、このような箇所は、深度推定器ｆによって精度よく深度を推定することができる領域ではないことが多い。そのため、深度マップのうちの誤差｜ｅ_ｉ（ｘ，ｙ）｜の大きい画素を含む領域を重視して学習することは、深度推定器ｆの精度を必ずしも向上させるとは限らない。

上記式（１）の損失関数は、誤差｜ｅ_ｉ（ｘ，ｙ）｜の大小によらず常に同じ第１損失値をとる。一方、上記式（２）の損失関数は、誤差｜ｅ_ｉ（ｘ，ｙ）｜が大きい場合には、より大きな第１損失値をとるような設計となっている。このため、上記式（１）又は上記式（２）に示されるような損失関数を用いて深度推定器ｆを学習させたとしても、深度推定器ｆの推定の精度を向上させるには限界がある。

そこで、本実施形態では、以下（３）式に示されるような損失関数である第１損失関数を用いる。

・・・（３）

第１損失関数の第１損失値は、誤差｜ｅ_ｉ（ｘ，ｙ）｜が閾値ｃ以下である場合には、当該誤差の絶対値｜ｅ_ｉ（ｘ，ｙ）｜の増加に対して線形に増加する第１損失値となる。また、第１損失関数の第１損失値は、誤差｜ｅ_ｉ（ｘ，ｙ）｜が閾値ｃより大きい場合には、当該誤差｜ｅ_ｉ（ｘ，ｙ）｜の累乗根に応じて変化する第１損失値となる。

上記式（３）の第１損失関数において、誤差｜ｅ_ｉ（ｘ，ｙ）｜が閾値ｃ以下の画素では、｜ｅ_ｉ（ｘ，ｙ）｜の増加に対して線形に増加する点は、他の損失関数（例えば、上記式（１）又は上記式（２）の損失関数）と同様である。

しかし、上記式（３）の第１損失関数において、誤差｜ｅ_ｉ（ｘ，ｙ）｜が閾値ｃよりも大きい画素では、｜ｅ_ｉ（ｘ，ｙ）｜の増加に対して平方関数となる関数である。このため、本実施形態では、上述したように、不確かさを含む画素については、損失値を小さく見積もり、軽視する。これにより、深度推定器ｆの推定の頑健性を高め、精度を向上させることができる。

このため、学習部１４０は、上記式（３）により学習用の推定深度マップと、前記学習用の推定深度マップに対する正解深度マップとの誤差から第１損失値ｌ_１を求め、第１損失値ｌ_１の値が小さくなるように、深度推定器ｆを学習させる。

なお、上記（３）式の第１損失関数は、深度推定器ｆのパラメータｗに対して区分的に微分可能である。このため、深度推定器ｆのパラメータｗは、勾配法により更新可能である。例えば、学習部１４０は、深度推定器ｆのパラメータｗを確率的勾配降下法に基づいて学習させる場合、１ステップあたり、以下の（４）式に基づいてパラメータｗを更新する。なお、αは予め設定される係数である。

・・・（４）

深度推定器ｆの任意のパラメータｗに対する損失関数の微分値は、誤差逆伝搬法により計算することができる。なお、学習部１４０は、深度推定器ｆのパラメータｗを学習させる際に、モーメンタム項を利用する又は重み減衰を利用する等、一般的な確率的勾配降下法の改善法を導入してもよい。又は、学習部１４０は、別の勾配降下法を用いて、深度推定器ｆのパラメータｗを学習させてもよい。

そして、学習部１４０は、学習済みの深度推定器ｆのパラメータｗを深度推定器に格納する。これにより、深度マップを精度よく推定するための深度推定器ｆが得られたことになる。

以上がステップＳ４０４で行う処理である。

＜推定処理＞
続いて、本実施形態の一例における深度推定方法の推定処理について説明する。

学習処理が済んだ深度推定器を用いれば、推定処理は非常に単純である。具体的には、深度推定部１１２は、上述した収音処理により音響信号を取得した後、上記ステップＳ４０１で実施した特徴抽出処理を実行する。深度推定部１１２は、上記ステップＳ４０２で説明した深度推定処理を実行することにより、出力である推定深度マップを得ればよい。

以上が、本実施形態の一例における深度推定方法の推定処理である。

以上説明したように、第１実施形態の深度推定装置によれば、音響信号を用いて、空間の深度を精度よく推定するための深度推定器を学習することができる。また、音響信号を用いて、空間の深度を精度よく推定することができる。

［第２実施形態の作用］
次に、第２実施形態の作用について説明する。第２実施形態は、学習用の推定深度マップの深度の変化の度合いを表すエッジと正解深度マップの深度の変化の度合いを表すエッジとの間の誤差が小さくなるように、深度推定器ｆを学習させる点が、第１実施形態と異なる。

第２実施形態でも第１実施形態と同様に収音処理を行う。

図６は、第２実施形態の深度推定装置１００による学習処理の流れを示すフローチャートである。ＣＰＵ１１がＲＯＭ１２又はストレージ１４からプログラムを読み出して、ＲＡＭ１３に展開して実行することにより、学習処理が行なわれる。

ステップＳ４０１～Ｓ４０５は第１実施形態と同様である。

ステップＳ４０６では、ＣＰＵ１１は、深度推定部１１２として、音響信号Ａ_ｉに対して特徴抽出処理を施し、特徴Ｓ_ｉを抽出する。なお、この処理はステップＳ４０１と全く同じ処理であり、ステップＳ４０１で先に求めた特徴Ｓ_ｉを既に記憶しているような構成を採る場合、ステップＳ４０６の処理は必要としない。

続いてステップＳ４０７では、ＣＰＵ１１は、深度推定部１１２として、特徴Ｓ_ｉに対して深度推定器ｆを適用し、推定深度マップＤ_ｉ＝ｆ（Ｓ_ｉ）を生成する。

続いてステップＳ４０８では、ＣＰＵ１１は、学習部１４０として、推定深度マップＤ_ｉと正解深度マップＴ_ｉとエッジ検出器とに基づいて、第２損失値ｌ_２（Ｄ_ｉ，Ｔ_ｉ）を求める。

続いてステップＳ４０９では、ＣＰＵ１１は、学習部１４０として、第２損失値ｌ_２（Ｄ_ｉ，Ｔ_ｉ）を小さくするように深度推定器のパラメータを更新し、当該パラメータを記録する。

最後にステップＳ４１０では、ＣＰＵ１１は、学習部１４０として、所定の終了条件が満たされたか否かを判定し、条件を満たしていれば処理を終了し、条件を満たしていなければｉをインクリメント（ｉ←ｉ＋１）してＳ４０６に戻る。終了条件は任意のものを定めて構わないが、例えば「所定の回数（例えば１００回など）繰り返したら終了」、「第２損失値の減少が一定繰り返し回数の間、一定の範囲内に収まっていたら終了」などとすればよい。

このように、学習部１４０は、更新された深度推定器に対して、計測対象空間で検出されたエッジを誤差に反映した第２損失値ｌ_２（Ｄ_ｉ，Ｔ_ｉ）に基づいてパラメータを更新することで、深度推定器を学習する。

以降、上記ステップＳ４０８の処理の詳細処理について、本実施形態における一例を説明する。

［ステップＳ４０８：第２損失計算処理］
ステップＳ４０１～Ｓ４０５の処理によって得られた深度推定器の出力する推定深度マップは、特に畳み込みニューラルネットワークを深度推定器として用いた場合、過度に滑らかであり、全体的にぼけている場合がある。このようなぼけた推定深度マップは、深度が急峻に変化するエッジ部分、例えば、壁の境目又は物体の際の深度を正確に反映していないという欠点がある。そこで、第２実施形態では、深度を改善するために、第２損失値ｌ_２を導入し、これを最小化するようにさらに深度推定器のパラメータを更新する。

望ましい設計は、正解深度マップと、推定深度マップとのエッジが近しくなることである。このため、第２実施形態では、以下の式（５）に示される第２損失関数を導入する。そして、第２実施形態の深度推定装置１００は、以下の式（５）の第２損失関数の第２損失値を最小化するように、深度推定器ｆのパラメータｗを更に更新する。

・・・（５）

ここで、上記式（５）におけるＥはエッジ検出器であり、Ｅ（Ｔ_ｉ（ｘ，ｙ））は、正解深度マップＴ_ｉにエッジ検出器Ｅを適用した後の座標（ｘ，ｙ）上の値を表す。また、Ｅ（Ｄ_ｉ（ｘ，ｙ））は、学習用の推定深度マップＤ_ｉにエッジ検出器Ｅを適用した後の座標（ｘ，ｙ）上の値を表す。

エッジ検出器としては、微分可能な検出器であればどのようなエッジ検出器を用いてもよい。例えば、Ｓｏｂｅｌフィルタをエッジ検出器として用いることができる。Ｓｏｂｅｌフィルタは畳み込み演算として記述することができるため、畳み込みニューラルネットワークの畳み込み層として簡易に実装可能であるという利点もある。

以上がステップＳ４０８で行う処理である。

［ステップＳ４０９：パラメータ更新］
学習部１４０は、ステップＳ４０８で求めた第２損失値を小さくするように深度推定器のパラメータを更新する。

上記式（５）に定められる第２損失関数も、エッジ検出器Ｅが微分可能である限り、深度推定器ｆのパラメータｗに対して区分的に微分可能である。このため、深度推定器ｆのパラメータｗは、勾配法により更新可能である。例えば、第２実施形態の学習部１４０は、深度推定器ｆのパラメータｗを確率的勾配降下法に基づいて学習させる場合、１ステップあたり、以下の式（６）に基づいてパラメータｗを更新する。なお、αは予め設定される係数である。

・・・（６）

このように、第２実施形態の学習部１４０は、深度の変化の度合いであるエッジを前記誤差に反映した第２損失値に基づいてパラメータを更新し、深度推定器を学習する。学習部１４０は、正解深度マップＴ_ｉの表すエッジＥ（Ｔ_ｉ（ｘ，ｙ））と、学習用の推定深度マップＤ_ｉの深度の変化の度合いを表すエッジＥ（Ｄ_ｉ（ｘ，ｙ））との間の誤差が小さくなるように、深度推定器ｆを更に学習させる。具体的には、第２実施形態の学習部１４０は、上記式（５）に示される第２損失関数の第２損失値が小さくなるように、深度推定器ｆを更に学習させる。

なお、第２実施形態に係る深度推定装置１０は、上記式（３）の第１損失関数によって一度学習された深度推定器ｆのパラメータｗを、上記式（５）の第２損失関数によって再び更新させる。この結果、深度推定器ｆの深度の推定の精度が低下することはない。

通常、上記式（３）の第１損失関数及び上記式（５）の第２損失関数の双方の損失関数を最小化するように深度推定器ｆのパラメータｗを学習させる場合、上記式（３）の第１損失関数と上記式（５）の第２損失関数との線形結合を取ったものが、新たな損失関数として定義される。そして、新たな損失関数が最小化されるように深度推定器ｆのパラメータｗが更新される。

これに対し、第２実施形態では、上記式（３）の第１損失関数と上記式（５）の第２損失関数とを個別に最小化させる点が一つの特徴である。第２実施形態に係る深度推定装置１０の学習方法は、上記式（３）の第１損失関数と上記式（５）の第２損失関数とを線形結合させた新たな損失関数を最小化する場合と比較して、線形結合の重みを人手で調整しなくとも、深度推定器ｆのパラメータｗを学習させることができる、という利点を有する。このように、個別に更新が可能であるのは、第１損失関数で更新されるパラメータと第２損失関数で更新されるパラメータとの相互干渉の度合いが少ないと考えられるからである。

上記式（３）の第１損失関数と上記式（５）の第２損失関数とを線形結合させた場合の重みの調整は、一般に非常に難儀である。重みの調整に関しては、線形結合の重みを変えながら何度も学習を繰り返し、最も良い重みを特定するというコストのかかる作業が必要となる。これに対し、第２実施形態に係る深度推定装置１０の学習方法は、このような作業を回避することができる。

なお、推定処理については第１実施形態と同様であるため説明を省略する。

以上説明したように、第２実施形態の深度推定装置によれば、音響信号を用いて、空間の変化の度合いを考慮し、空間の深度を精度よく推定するための深度推定器を学習することができる。また、音響信号を用いて、空間の深度を精度よく推定することができる。

また上述した各実施形態によれば、カメラ及び深度計測用の特殊なデバイスなしに、発信装置であるスピーカーと収音装置であるマイクとのみを用いて推定深度マップを推定することができる。

また、スピーカーが発した誘引音は空間の壁や物体に当たり、その結果、反響及び残響を伴ってマイクで収音される。すなわち、マイクで収音した誘引音は、誘引音がどこでどのように反射したかという情報が乗っているため、この音を解析することにより、空間の深度を含む情報を推定することが可能である。

過去にも、このような残響及び反響を含む音響情報を利用して空間の深度を推定しようという試みはあった。例えば非特許文献４では、音響信号の到来時間と部屋の形状との関係を音響信号処理によりモデル化している。また、ソナー（ＳｏｕｎｄＮａｖｉｇａｔｉｏｎａｎｄＲａｎｇｉｎｇ：ＳＯＮＡＲ）に代表されるように反射派の到来時間差やパワーに基づいて対象との距離を計測する方法が知られている。しかしながら、このような解析的手法は、適用できる空間に制限がある。例えば、非特許文献４では、部屋が凸多面体状のように比較的単純な形状の空間でなければ適用できない。また、ソナーは深度計測としての利用は主に水中に限られているのが現状である。

一方、上述した実施形態では、解析的な方法ではなく、畳み込みニューラルネットワークを用いた予測により推定深度マップを予測する。したがって、解析的に求解できないような空間であっても、統計的推測によりその空間の推定深度マップを推定することが可能である。

なお、音響信号は部屋の明るさに依らず伝搬するため、従来のカメラを用いる深度推定技術とは異なり、カメラでは写らないような暗い室内、あるいは、カメラで撮影したくないような空間に対しても利用可能である。

なお、上記各実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行したマルチタスク学習を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（ＰｒｏｇｒａｍｍａｂｌｅＬｏｇｉｃＤｅｖｉｃｅ）、及びＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、マルチタスク学習を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

また、上記各実施形態では、マルチタスク学習プログラムがストレージ１４に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｋＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、及びＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）メモリ等の非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

以上の実施形態に関し、更に以下の付記を開示する。

（付記項１）
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
計測対象空間で所定の誘引音を発し、
発信部により前記誘引音を発した時刻の前後に対応する所定の時間の音響信号を収音し、
前記音響信号に基づいて、前記音響信号を解析した時間周波数情報を表す特徴を抽出し、
一つ以上の畳み込み演算により構成される深度推定器であって、前記時間周波数情報を表す特徴を入力とした場合に、前記計測対象空間を表す画像の各画素に深度が付与された推定深度マップを出力するように学習されている深度推定器に、抽出した前記時間周波数情報を表す特徴を入力し、前記計測対象空間の推定深度マップを生成する、
ように構成されている深度推定装置。

（付記項２）
計測対象空間で所定の誘引音を発し、
発信部により前記誘引音を発した時刻の前後に対応する所定の時間の音響信号を収音し、
前記音響信号に基づいて、前記音響信号を解析した時間周波数情報を表す特徴を抽出し、
一つ以上の畳み込み演算により構成される深度推定器であって、前記時間周波数情報を表す特徴を入力とした場合に、前記計測対象空間を表す画像の各画素に深度が付与された推定深度マップを出力するように学習されている深度推定器に、抽出した前記時間周波数情報を表す特徴を入力し、前記計測対象空間の推定深度マップを生成する、
ことをコンピュータに実行させる深度推定プログラムを記憶した非一時的記憶媒体。

１００（１００Ａ，１００Ｂ，１００Ｃ）深度推定装置
１０１発信部
１０２収音部
１０３深度計測部
１１０推定部
１１１制御部
１１２深度推定部
１２０記憶部
１４０学習部
１５０外部記憶部

Claims

計測対象空間で所定の誘引音を発する発信部と、
発信部により前記誘引音を発した時刻の前後に対応する所定の時間の音響信号を収音する収音部と、
前記音響信号に基づいて、前記音響信号を解析した時間周波数情報を表す特徴を抽出し、
一つ以上の畳み込み演算により構成される深度推定器であって、前記時間周波数情報を表す特徴を入力とした場合に、前記計測対象空間を表す画像の各画素に深度が付与された推定深度マップを出力するように学習されている深度推定器に、抽出した前記時間周波数情報を表す特徴を入力し、前記計測対象空間の推定深度マップを生成する推定部と、
学習部とを含み、
前記深度推定器は、
前記推定部により、収音した学習用の音響信号を周波数解析して時間周波数情報を表す特徴を抽出し、当該時間周波数情報に対して深度推定器を適用させて、学習用の推定深度マップを生成し、
前記学習部により、生成された前記学習用の推定深度マップと、前記学習用の推定深度マップに対する正解深度マップとの誤差から求めた第１損失値に基づいて更新された前記深度推定器に対して、前記計測対象空間で検出されたエッジを前記誤差に反映した第２損失値に基づいて前記深度推定器のパラメータを更新することで学習されている、
深度推定装置。
計測対象空間で所定の誘引音を発する発信部と、
発信部により前記誘引音を発した時刻の前後に対応する所定の時間の音響信号を収音する収音部と、
前記音響信号に基づいて、前記音響信号を解析した時間周波数情報を表す特徴を抽出し、
一つ以上の畳み込み演算により構成される深度推定器であって、前記時間周波数情報を表す特徴を入力とした場合に、前記計測対象空間を表す画像の各画素に深度が付与された推定深度マップを出力するように学習されている深度推定器に、抽出した前記時間周波数情報を表す特徴を入力し、前記計測対象空間の推定深度マップを生成する推定部と、
学習部とを含み、
前記深度推定器は、
前記推定部により、収音した学習用の音響信号を周波数解析して時間周波数情報を表す特徴を抽出し、当該時間周波数情報に対して深度推定器を適用させて、学習用の推定深度マップを生成し、
前記学習部により、生成された前記学習用の推定深度マップと、前記学習用の推定深度マップに対する正解深度マップとの誤差から、以下（１）式の損失関数を用いて求めた第１損失値に基づいて前記深度推定器のパラメータを更新することで学習されている、
深度推定装置。

・・・（１）
ここで、当該損失関数による前記第１損失値は、誤差｜ｅ _ｉ（ｘ，ｙ）｜が閾値ｃ以下である場合には、当該誤差の絶対値｜ｅ _ｉ（ｘ，ｙ）｜の増加に対して線形に増加する第１損失値となり、誤差｜ｅ _ｉ（ｘ，ｙ）｜が閾値ｃより大きい場合には、当該誤差｜ｅ _ｉ（ｘ，ｙ）｜の累乗根に応じて変化する。
計測対象空間で所定の誘引音を発し、
発信部により前記誘引音を発した時刻の前後に対応する所定の時間の音響信号を収音し、
前記音響信号に基づいて、前記音響信号を解析した時間周波数情報を表す特徴を抽出し、
一つ以上の畳み込み演算により構成される深度推定器であって、前記時間周波数情報を表す特徴を入力とした場合に、前記計測対象空間を表す画像の各画素に深度が付与された推定深度マップを出力するように学習されている深度推定器に、抽出した前記時間周波数情報を表す特徴を入力し、前記計測対象空間の推定深度マップを生成する、
ことを含む処理をコンピュータが実行することを特徴とする深度推定方法であって、
前記深度推定器は、
収音した学習用の音響信号を周波数解析して時間周波数情報を表す特徴を抽出し、当該時間周波数情報に対して深度推定器を適用させて、学習用の推定深度マップを生成し、
生成された前記学習用の推定深度マップと、前記学習用の推定深度マップに対する正解深度マップとの誤差から求めた第１損失値に基づいて更新された前記深度推定器に対して、前記計測対象空間で検出されたエッジを前記誤差に反映した第２損失値に基づいて前記深度推定器のパラメータを更新することで学習されている、
深度推定方法。
計測対象空間で所定の誘引音を発し、
発信部により前記誘引音を発した時刻の前後に対応する所定の時間の音響信号を収音し、
前記音響信号に基づいて、前記音響信号を解析した時間周波数情報を表す特徴を抽出し、
一つ以上の畳み込み演算により構成される深度推定器であって、前記時間周波数情報を表す特徴を入力とした場合に、前記計測対象空間を表す画像の各画素に深度が付与された推定深度マップを出力するように学習されている深度推定器に、抽出した前記時間周波数情報を表す特徴を入力し、前記計測対象空間の推定深度マップを生成する、
ことを含む処理をコンピュータが実行することを特徴とする深度推定方法であって、
前記深度推定器は、
収音した学習用の音響信号を周波数解析して時間周波数情報を表す特徴を抽出し、当該時間周波数情報に対して深度推定器を適用させて、学習用の推定深度マップを生成し、
生成された前記学習用の推定深度マップと、前記学習用の推定深度マップに対する正解深度マップとの誤差から、以下（２）式の損失関数を用いて求めた第１損失値に基づいて前記深度推定器のパラメータを更新することで学習されている、
深度推定方法。

・・・（２）
ここで、当該損失関数による前記第１損失値は、誤差｜ｅ _ｉ（ｘ，ｙ）｜が閾値ｃ以下である場合には、当該誤差の絶対値｜ｅ _ｉ（ｘ，ｙ）｜の増加に対して線形に増加する第１損失値となり、誤差｜ｅ _ｉ（ｘ，ｙ）｜が閾値ｃより大きい場合には、当該誤差｜ｅ _ｉ（ｘ，ｙ）｜の累乗根に応じて変化する。
計測対象空間で所定の誘引音を発し、
発信部により前記誘引音を発した時刻の前後に対応する所定の時間の音響信号を収音し、
前記音響信号に基づいて、前記音響信号を解析した時間周波数情報を表す特徴を抽出し、
一つ以上の畳み込み演算により構成される深度推定器であって、前記時間周波数情報を表す特徴を入力とした場合に、前記計測対象空間を表す画像の各画素に深度が付与された推定深度マップを出力するように学習されている深度推定器に、抽出した前記時間周波数情報を表す特徴を入力し、前記計測対象空間の推定深度マップを生成する、
ことをコンピュータに実行させる深度推定プログラムであって、
前記深度推定器は、
収音した学習用の音響信号を周波数解析して時間周波数情報を表す特徴を抽出し、当該時間周波数情報に対して深度推定器を適用させて、学習用の推定深度マップを生成し、
生成された前記学習用の推定深度マップと、前記学習用の推定深度マップに対する正解深度マップとの誤差から求めた第１損失値に基づいて更新された前記深度推定器に対して、前記計測対象空間で検出されたエッジを前記誤差に反映した第２損失値に基づいて前記深度推定器のパラメータを更新することで学習されている、
深度推定プログラム。
計測対象空間で所定の誘引音を発し、
発信部により前記誘引音を発した時刻の前後に対応する所定の時間の音響信号を収音し、
前記音響信号に基づいて、前記音響信号を解析した時間周波数情報を表す特徴を抽出し、
一つ以上の畳み込み演算により構成される深度推定器であって、前記時間周波数情報を表す特徴を入力とした場合に、前記計測対象空間を表す画像の各画素に深度が付与された推定深度マップを出力するように学習されている深度推定器に、抽出した前記時間周波数情報を表す特徴を入力し、前記計測対象空間の推定深度マップを生成する、
ことをコンピュータに実行させる深度推定プログラムであって、
前記深度推定器は、
収音した学習用の音響信号を周波数解析して時間周波数情報を表す特徴を抽出し、当該時間周波数情報に対して深度推定器を適用させて、学習用の推定深度マップを生成し、
生成された前記学習用の推定深度マップと、前記学習用の推定深度マップに対する正解深度マップとの誤差から、以下（３）式の損失関数を用いて求めた第１損失値に基づいて前記深度推定器のパラメータを更新することで学習されている、
深度推定プログラム。

・・・（３）
ここで、当該損失関数による前記第１損失値は、誤差｜ｅ _ｉ（ｘ，ｙ）｜が閾値ｃ以下である場合には、当該誤差の絶対値｜ｅ _ｉ（ｘ，ｙ）｜の増加に対して線形に増加する第１損失値となり、誤差｜ｅ _ｉ（ｘ，ｙ）｜が閾値ｃより大きい場合には、当該誤差｜ｅ _ｉ（ｘ，ｙ）｜の累乗根に応じて変化する。