JP7337458B2

JP7337458B2 - ３次元位置推定装置および３次元位置推定方法

Info

Publication number: JP7337458B2
Application number: JP2020011295A
Authority: JP
Inventors: 卓也石井
Original assignee: Alpine Electronics Inc
Current assignee: Alpine Electronics Inc
Priority date: 2020-01-28
Filing date: 2020-01-28
Publication date: 2023-09-04
Anticipated expiration: 2040-01-28
Also published as: JP2021117130A

Description

本発明は、物体の３次元位置を推定する３次元位置推定装置に関し、特に、畳み込みニューラルネットワーク（Convolutional Neural Network：以下、ＣＮＮという）を利用した位置推定に関する。

乗員が音の方向感や移動感をより分かり易くするため、例えば、特許文献１の車載音響装置は、車内に設置されたカメラで運転者の顔を撮像し、撮像した画像から運転者の左右の耳の位置を推定し、左右の耳の位置に最適な音となるように音の大きさおよび遅延時間を制御した音場の補正技術を開示している。

特開２０１５－２３１０６３号公報

単眼カメラを用いて物体（例えば、運転者の耳）までの距離を推定する場合、物体がカメラに近づけば画像上に物体が大きく映り、遠ざかれば物体が小さく映ることを利用し、物体までの距離を算出することができる。例えば、図１に示すように、単眼カメラ１０（１２はＣＣＤやＣＭＯＳのイメージセンサ、１４は撮像レンズ、Ｆは焦点距離）で物体（被写体）２０を撮像したとき、物体２０までの距離Ｌを次式により算出することができる。
Ｚ２＝Ｚ１×Ｗ１／Ｗ２
ここで、Ｚ１を基準距離、Ｚ２を測定したい物体までの距離、物体がＺ１、Ｚ２にあるときの画像上の長さをそれぞれＷ１、Ｗ２とすると、Ｚ１とＷ１が既知であれば、距離Ｚ２を上記式により求めることができる。

しかしながら、一般に単眼カメラは、深度センサーと比べると、計算コスト、金銭コスト、サイズの制約の面で優れているが、精度の面では劣る。また、単眼カメラでは、基準距離Ｚ１における画像上の長さＷ１が既知であるか、あるいは物体の実寸が既知である必要があり（大きさが未知な場合は使えない）、既知でない場合には、ステレオカメラ等を使用する必要があった。しかし、ステレオカメラを用いた場合でも、物体が立体物である場合、表面の凸凹や物体の回転等により誤差が生じることがある。

深度センサーと単眼カメラとを併用したときの顔の特徴点の３次元座標の検出例を図２（Ａ）に示す。単眼カメラ３０で顔を撮像し、撮像した画像データから顔の特徴点を抽出する。他方、深度センサー４０は、例えば、レーザー光を顔の特徴点に照射し、その反射光を受光するまでの時間から特徴点までの距離を計測する。

図２（Ｂ）に、深度センサーと単眼カメラを用いたときの特徴点の３次元座標を計算するための処理の流れを示す。先ず、単眼カメラ３０で撮像した画像データからポーズを推定する（Ｓ１０）。これは、画像データを解析することで、顔の特徴点である眼、耳、鼻、眉毛、口などの２次元座標を抽出する。次に、顔の特徴点の標準的な深度を表した統計データを用いて特徴点の深度を推定する（Ｓ２０）。次に、深度センサ―４０により顔をスキャンし、深度センサー４０の検出結果を用いて推定された特徴点の深度をより正確に計算する（Ｓ３０）。次に、計算して得られた深度を特徴点の２次元座標にマッチングし、顔の特徴点の３次元座標を計算する（Ｓ４０）。３次元座標の計算では、単眼カメラ３０のカメラパラメータ（解像度、レンズ収差等による画像の歪み、焦点深度、画角など）が考慮される。

このような方法は、顔の特徴点の検出と深度推定／計算とを別々に行うため、次のような欠点がある。ポーズ推定（Ｓ１０）や深度推定（Ｓ２０）のための画像処理に大きな処理時間を必要とする。さらに、画像データから推定した２次元座標と２次元の深度情報とをマッチングする過程で大きく誤差を生じることがあった。例えば、顔の特徴点として耳の３次元位置を検出する場合、図２（Ｃ）に示すように、単眼カメラ３０で検出した耳の２次元座標に、深度センサー４０で検出した頬の深度を誤ってマッチングしてしまったり（頬の３次元位置を誤検出）、図２（Ｄ）に示すように、単眼カメラ３０で検出した耳の２次元座標に、深度センサ―４０で検出した背景の壁の深度を誤ってマッチングしてしまうことがある（壁の３次元位置を誤検出）。例えば、特許文献１に示すように、オーディオシステムにおいて耳の３次元位置を利用する場合、音声データを正確に補正することができないという不具合を生じさせてしまう。

本発明は、上記従来の課題を解決し、単眼カメラを用いて物体の３次元位置を推定することができる３次元位置推定装置および推定方法を提供することを目的とする。

本発明に係る３次元位置推定装置は、物体を撮像した画像データを撮像手段から入力し、教師データとして深度情報付きの特徴点マップを用いて前記画像データから物体の３次元座標を推定する学習モデルを生成する学習手段と、物体を撮像した画像データを単眼カメラから前記学習モデルに入力し、物体の３次元座標を推定する推定手段と、前記単眼カメラと前記撮像手段との撮像特性の差異に基づき前記推定手段で推定された３次元座標の深度を補正する補正手段とを有する。

ある実施態様では、前記学習モデルは、畳み込みニューラルネットワークを含む。ある実施態様では、前記撮像特性は、解像度、歪み、レンズ収差または焦点深度のいずれか１つを含む。ある実施態様では、前記撮像手段はステレオカメラを含み、前記深度情報付きの特徴点マップは、前記ステレオカメラのステレオ画像データから生成され、前記学習モデルには、前記ステレオカメラの一方のカメラで撮像された画像データが入力される。ある実施態様では、前記推定手段は、顔の３次元位置（例えば、耳の位置）を推定する。

本発明に係る３次元位置推定方法は、物体を撮像した画像データを撮像手段から入力し、教師データとして深度情報付きの特徴点マップを用いて前記画像データから物体の３次元座標を推定する学習モデルを生成するステップと、物体を撮像した画像データを単眼カメラから前記学習モデルに入力し、物体の３次元座標を推定するステップと、前記単眼カメラと前記撮像手段との撮像特性の差異に基づき前記推定された３次元座標の深度を補正するステップとを含む。

本発明によれば、ＣＮＮ等を用いた学習モデルにおいて物体の３次元位置を直接推定するようにし、この学習モデルを利用して物体の３次元位置を推定するようにしたので、従来と比較して、３次元位置を推定する処理時間を短くし、かつ２次元座標と深度とのマッチングがないために位置推定の誤差を減らすことができる。さらに、物体の３次元位置推定では、単眼カメラを利用することができるため低コスト化を図ることができる。

従来の単眼カメラによる物体までの距離の算出方法を説明する図である。従来の深度センサーと単眼カメラを併用した顔の特徴点の３次元座標の検出例を説明する図である。本発明の実施例に係る顔特徴部の３次元位置推定装置の機能的な構成を示すブロック図である。本発明の実施例に係る学習部の機能的な構成を示す図である。本発明の実施例に係る推定部の機能的な構成を示す図である。図６（Ａ）は、従来手法による物体の３次元位置推定のステップを示し、図６（Ｂ）は、本実施例による物体の３次元位置推定のステップを示す。本実施例の３次元位置推定装置を車載オーディオシステムに適用したときに実施される搭乗者の耳の３次元位置推定を説明する図である。車載オーディオシステムのスピーカーが搭乗者のヘッドレストに内蔵される例を示す図である。

次に、本発明の実施の形態について説明する。本発明の３次元位置推定装置は、単眼カメラにより撮像された画像データに対して画像処理を施して、画像データ内に映る物体の３次元位置を推定する。対象となる物体は、特に限定されないが、例えば、人間の顔の特徴点（例えば、眼、耳、鼻、口、眉毛など）、人間の腕や肘などの関節や姿勢、あるいは道路上の信号機、交差点、建造物など多岐にわたる。さらに本発明の３次元位置推定装置で推定された物体の３次元位置は、種々の用途に利用することができる。例えば、車載オーディオ装置は、搭乗者の耳の３次元位置に最適な音場を提供する。あるいは、運転支援装置は、前方車両や障害物等の３次元位置に最適な運転支援を提供する。

次に、本発明の実施例について図面を参照して詳細に説明する。図３は、本発明の実施例に係る３次元位置推定装置の機能的な構成を示すブロック図である。３次元位置推定装置１００は、撮像カメラ１１０、単眼カメラ１２０および画像処理部１３０を含んで構成される。

撮像カメラ１１０は、ＣＣＤやＣＭＯＳセンサー等の撮像素子やレンズ等を含む光学系を含み、ｎ行×ｍ列の画素数（ピクセル数）からなる画像データＰ１を生成する。撮像カメラ１１０が生成する画像データＰ１には、３次元位置を推定するための物体が映され、この画像データＰ１は、学習部１４０に提供される。ある実施態様では、撮像カメラ１１０は、比較的高価または高機能なカメラであることができ、その結果、高精度の画像データＰ１を生成することができる。また、ある実施態様では、撮像カメラ１１０は、ステレオカメラまたは複数のカメラを含むことができ、複数の撮像カメラは、異なる視差で物体がそれぞれ撮像する。複数の撮像カメラで生成された複数の画像データの中から１つの画像データＰ１が選択され、選択された画像データＰ１が学習部１４０に提供される。

単眼カメラ１２０は、ＣＣＤやＣＭＯＳセンサー等の撮像素子やレンズ等を含む光学系を含み、ｎ行×ｍ列の画素数（ピクセル数）からなる画像データＰ２を生成する。単眼カメラ１２０が生成する画像データＰ２には、３次元位置を推定するための物体が映され、この画像データＰ２は、推定部１５０に提供される。ある実施態様では、単眼カメラ１２０は、比較的低機能または廉価なカメラであり、例えば、ウエブカメラであることができる。

画像処理部１３０は、撮像カメラ１１０で生成された画像データＰ１および単眼カメラ１２０で生成された画像データＰ２を受け取り、これらの画像データＰ１、Ｐ２の画像処理または画像認識を行う。画像処理部１３０は、大きく２つの機能を含み、１つは、学習部１４０が実行する学習機能であり、もう１つは推定部１５０が実行する推定機能である。推定部１５０は、学習部１４０によって生成された学習モデルを利用して画像データＰ２から物体の３次元位置を推定する。

学習部１４０は、撮像カメラ１１０で生成された画像データＰ１を受け取る画像データ入力部１４２、入力した画像データＰ１に映された物体の特徴の抽出等を行う特徴抽出処理部１４４、大量の画像データＰ１の特徴抽出処理を行い、結果として物体の３次元座標を推定する学習モデルを生成する学習モデル生成部１４６を含む。

推定部１５０は、単眼カメラ１２０で生成された画像データＰ２を受け取る画像データ入力部１５２、学習モデル生成部１４６で生成された学習モデルを用いて画像データＰ２に映された物体の特徴の抽出等を行う特徴抽出処理部１５４、特徴抽出処理部１５４の処理結果から物体の３次元位置を推定する３次元位置推定部１５６、推定された物体の３次元位置をカメラパラメータ等の予め用意された補正情報を用いて３次元位置の深度を補正する３次元位置補正部１５８を含む。

画像処理部１３０は、ハードウエアおよび／またはソフトウエアによって実現される。画像処理部１３０は、例えば、ＣＰＵやＲＯＭ／ＲＡＭ等を含むマイクロコントローラ、マイクロプロセッサ、画像処理用プロセッサ、ＤＳＰ、メモリ等を含むことができ、さらにＲＯＭやメモリ等に格納されたプログラムやソフトウエア等をＣＰＵに実行させることができる。

次に、学習部１４０の詳細について図４を参照して説明する。学習部１４０は、ステレオカメラ（またはモーションフレーム）１１０で生成された一方のモノラル画像データＰ１を受け取る入力部２００と、入力部２００で受け取られた画像データＰ１の特徴抽出処理を行う畳み込みニューラルネットワーク部（以下、ＣＮＮ部）２１０と、深度情報付きの特徴点マップ（３次元ヒートマップ）を生成し、これを教師ラベルＬとしてＣＮＮ部２１０に提供する教師ラベル生成部２２０と、教師ラベルＬを用いてＣＮＮ部２１０を学習させる機械学習部２３０と、ＣＮＮ部２１０により生成された物体の特徴点を表した３次元座標（例えば、顔の特徴点の３次元マップ）Ｍ１を出力する出力部２４０とを含む。

ステレオカメラ１１０で生成される画像データＰ１は、適切なサイズが選定される。画像データのサイズが大きすぎると、特徴を抽出し抽出した特徴から特徴点マップを生成するための処理に大きな負荷がかかり過ぎ、他方、画像データのサイズが小さすぎると、特徴の抽出が少なくなり精度が劣化する。

ＣＮＮ部２１０は、画像データＰ１を受け取る入力層、畳み込み層、プーリング層、出力層を含む。入力層は、入力される画像データＰ１の画素数と同じ入力ノードを有する。ＣＮＮ部２１０は、物体の大きさ、位置、光の減衰などの予め用意された種々の特徴情報を用いて、画像データＰ１をフィルタリングまたは圧縮し、物体の特徴を抽出する。ある実施態様では、ＣＮＮ部２１０は、エンコーダ－デコーダを用いて構成することができる。

ＣＮＮ部２１０は、物体の特徴点の２次元座標（マップ）を生成し、これを機械学習部２３０へ提供する。機械学習部２３０は、教師ラベル生成部２２０から提供される教師ラベル（深度情報付きの特徴点マップ）を用いて、ＣＮＮ部２１０で生成された物体の特徴点の２次元座標が教師ラベルＬの特徴点マップに一致するようにＣＮＮ部２１０のフィルター係数あるいは重み付け係数を調整する。調整された係数は、学習データとしてメモリ等に保持される。さらに機械学習部２３０は、教師ラベルＬを用いて、特徴点の次元座標に深度情報を与える。こうして、物体の３次元座標として深度情報付きの特徴点マップが同時に生成され、これが出力部２４０から得られる。

教師ラベル生成部２２０は、ステレオカメラ２２０で撮像された少なくとも２つのステレオ画像データに映された物体の視差を利用して物体までの距離（すなわち、深度情報（デプス））を計算し、深度情報付きの特徴点マップである教師ラベルＬを生成する。こうして、学習部１４０は、単眼カメラ１２０の画像データＰ２から物体の３次元座標が推定できるように、ＣＮＮ部２１０の機械学習を行う。

次に、推定部１５０の詳細について図５を参照して説明する。推定部１５０は、単眼カメラ１２０で生成された画像データＰ２を受け取る入力部２００と、入力部２００で受け取られた画像データＰ２の特徴抽出処理を行う学習済みのＣＮＮ部２１０と、ＣＮＮ部２１０で処理された物体の特徴点を表した３次元座標Ｍ１を出力する出力部２４０と、ステレオカメラ１２０と単眼カメラ１２０とのカメラパラメータの差異に基づく補正情報Ｃを提供する補正情報提供部２５０と、補正情報Ｃに基づき３次元座標Ｍ１の深度情報を補正する３次元座標補正部２６０とを含む。

補正情報提供部２５０は、ステレオカメラ１１０と単眼カメラ１２０のカメラパラメータ（例えば、解像度、画像の歪み、レンズ収差、焦点深度、画角など）の差異に基づき生成された補正情報Ｃを３次元座標補正部２６０に提供する。補正情報Ｃは、ステレオカメラ１１０で生成された画像データＰ１と単眼カメラ１２０で生成された画像データＰ２との相関関係を規定するものであり、例えば、メモリ等に予め用意される。また、ある実施態様では、補正情報提供部２５０は、ステレオカメラ１１０のキャリブレーション情報を考慮した補正情報Ｃを生成するようにしてもよい。カメラの工場出荷時、カメラの組立誤差を較正するためのキャリブレーションパラメータが設定されることがあり、キャリブレーションパラメータを取得することができる場合には、キャリブレーションパラメータを反映した補正情報Ｃを生成する。３次元座標補正部２６０は、補正情報Ｃに基づき推定された３次元座標の深度情報を補正し、これを最終的な推定位置として出力する。

このように、本実施例では単眼カメラ１２０からの画像データＰ２と学習済のＣＮＮ部２１０を用いて物体の特徴点の３次元位置を推定する。このとき、単眼カメラ１２０のカメラパラメータを使って３次元座標を計算するが、学習時に使ったステレオカメラ１１０の撮像特性（カメラパラメータ）の違いによる深度補正を行うことで、異なるカメラでも物体の３次元位置を正確に推定することを可能にする。

ある実施態様では、推定部１５０は、顔の特徴点（パーツ）の３次元位置を直接推定する。この場合、顔の特徴点の近傍のみの深度を推定できれば良いため、カメラで撮像された画像全体の深度を推定する必要はない。つまり、周辺オブジェクトや壁等の深度を推定する必要はないため、学習に使うデータ数を少なくすることができる。

図６（Ａ）に、従来手法による３次元位置推定のステップを示し、図６（Ｂ）に、本実施例よる３次元位置推定のステップを示す。従来手法は、ポーズ推定、深度推定、深度計算、および３次元座標計算のステップを含むのに対し、本実施例は、学習モデルを生成するＣＮＮ部２１０によりポーズ位置と深度を同時に推定し、それに基づき３次元座標を計算するため、従来手法よりも処理ステップを削減し、かつ処理時間を短縮させることができる。また、ＣＮＮ部で直接３次元位置を推定するため、２次元座標と深度とのマッチングが不要となり、位置推定の誤差を少なくすることができる。さらに、推定時には単眼カメラのみで３次元位置を推定可能になるためコスト低減を図ることができる。

本実施例の３次元位置推定装置で推定された結果は、種々のアプリケーションに適用することができる。ある実施態様では、３次元位置推定装置は、車載オーディオシステムに適用される。３次元位置推定装置が車両に搭載され、単眼カメラ１２０は、搭乗者の顔を撮像する位置に設置される。例えば、図７に示すように、単眼カメラ１２０は、コラムカバー３００上に取り付けられ、ステアリング３１０の合間を通して運転者３２０の顔を撮像し、３次元位置推定装置は、運転者３２０の耳３３０の３次元位置を推定する。

車載オーディオシステムは、記録媒体から再生された音声データまたはスマートフォン等の外部機器で再生された音声データを車内空間内に音声出力する。ある実施態様では、図８に示すように、運転者３２０の座席３４０のヘッドレスト３５０の左右にスピーカー３６０が搭載され、車載オーディオシステムは、運転者３２０の耳３３０の３次元位置に最適化された音場が生成されるように、音声データの再生を制御する。また、車載オーディオシステムがＡＮＣ（アクティブノイズコントロール）を利用する場合には、ヘッドレストにマイクが内蔵され、耳３３０の３次元位置周辺においてノイズを効果的に低減することができる。

上記実施例では、顔パーツの３次元位置を推定する例を示したが、これは一例であり、これ以外にも、骨格、関節、姿勢等を推定することも可能である。さらに位置推定する物体は、人間に限らず、他の物体（例えば、構造物、車両等）であってもよい。上記実施例では、学習時にステレオカメラを用いる例を示したが、これは一例であり、これ以外にも、例えば、焦点深度センサー付きのカメラを用いて教師データを与えるものであってもよい。

以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された発明の要旨の範囲において、種々の変形、変更が可能である。

１００：３次元位置推定装置１１０：撮像カメラ
１２０：単眼カメラ１３０：画像処理部
１４０：学習部１４２：画像データ入力部
１４４：特徴抽出処理部１４６：学習モデル生成部
１５０：推定部１５２：画像データ入力部
１５４：特徴抽出処理部１５６：３次元位置推定部
１５８：３次元位置補正部２１０：畳み込みニューラルネットワーク部

Claims

物体を撮像した画像データを撮像手段から入力し、教師データとして深度情報付きの特徴点マップを用いて前記画像データから物体の３次元座標を推定する学習モデルを生成する学習手段と、
物体を撮像した画像データを単眼カメラから前記学習モデルに入力し、物体の３次元座標を推定する推定手段と、
前記単眼カメラと前記撮像手段との撮像特性の差異に基づき前記推定手段で推定された３次元座標の深度を補正する補正手段と、
を有する３次元位置推定装置。
前記学習モデルは、畳み込みニューラルネットワークを含む、請求項１に記載の３次元位置推定装置。
前記撮像特性は、解像度、歪み、レンズ収差または焦点深度のいずれか１つを含む、請求項１に記載の３次元位置推定装置。
前記撮像手段はステレオカメラを含み、前記深度情報付きの特徴点マップは、前記ステレオカメラのステレオ画像データから生成され、前記学習モデルには、前記ステレオカメラの一方のカメラで撮像された画像データが入力される、請求項１に記載の３次元位置推定装置。
前記推定手段は、顔の３次元位置を推定する、請求項１ないし４いずれか１つに記載の３次元位置推定装置。
前記推定手段は、耳の３次元位置を推定する、請求項５に記載の３次元位置推定装置。
物体を撮像した画像データを撮像手段から入力し、教師データとして深度情報付きの特徴点マップを用いて前記画像データから物体の３次元座標を推定する学習モデルを生成するステップと、
物体を撮像した画像データを単眼カメラから前記学習モデルに入力し、物体の３次元座標を推定するステップと、
前記単眼カメラと前記撮像手段との撮像特性の差異に基づき前記推定された３次元座標の深度を補正するステップと、
を含む３次元位置推定方法。
前記学習モデルは、畳み込みニューラルネットワークを含む、請求項７に記載の３次元位置推定方法。