JP7123163B2 - 深度プロセッサ及び３次元画像機器 - Google Patents

Description

優先権情報

本出願は、２０１８年６月２８日に中国国家知識産権局に提出された特許出願番号が２０１８１０６８９５７２.３及び２０１８１０６９０７９５.１である中国特許出願の優先権を主張するものであり、当該中国特許出願の全内容は参照により本明細書に組み入れられる。

本出願は、画像処理技術の分野に関し、特に、深度プロセッサ及び３次元画像機器に関する。

深度カメラは、シーン内の各物体の深度情報を取得することができる。深度カメラによって採集された画像は、通常、特定されたプロセッサによって処理される。また、異なる機器及びプリケーションシナリオでは、深度カメラに対する性能要求も異なり、この時、特定のアプリケーションによってプロセッサをカスタマイズする必要があるため、プロセッサの集積度がより低くなり、機能がより単一になる。

本出願の実施例は、深度プロセッサ及び３次元画像機器を提供する。

本出願の実施形態の深度プロセッサは、少なくとも二つの入力ポート、入力スイッチ、データ処理エンジン、及び少なくとも一つの出力ポートを含む。前記入力ポートは第１の画像を受信するために用いられ、前記第１の画像は、少なくとも構造化光深度カメラによって採集された構造化光画像を含む。前記入力スイッチは前記入力ポートに接続され、前記入力ポートからの一部又は全部の第１の画像を通過させるために用いられる。前記データ処理エンジンは前記入力スイッチに接続され、前記入力スイッチを介して出力された第１の画像を処理して第２の画像を出力するために用いられ、前記第２の画像は少なくとも深度画像を含む。前記出力ポートは前記データ処理エンジンに接続され、前記第２の画像を本体機器に出力するために用いられる。

本出願の実施形態の３次元画像機器は、上記の深度プロセッサと構造化光深度カメラを含む。前記構造化光深度カメラは構造化光プロジェクタと構造化光画像コレクターを含み、前記構造化光画像コレクターは、前記構造化光プロジェクタによって対象空間に投影された構造化光画像を採集するために用いられる。

本出願の実施形態の付加的な特徴及び利点は、一部が以下の説明において示され、一部が以下の説明により明らかになり、又は本出願の実践により理解される。

本出願の上記及び/又は付加的な特徴及び利点は、図面を参照して実施例について以下に説明することにより、明らかになり、理解されやすくなる。
本出願のいくつかの実施形態の深度プロセッサの原理ブロック図である。 本出願のいくつかの実施形態の深度プロセッサの原理ブロック図である。 本出願のいくつかの実施形態の深度プロセッサの原理ブロック図である。 本出願のいくつかの実施形態の構造化光プロジェクタの概略斜視図である。 本出願のいくつかの実施形態の脱落検出回路の動作原理の概略図である。 本出願のいくつかの実施形態の構造化光プロジェクタの概略斜視図である。 本出願のいくつかの実施形態の脱落検出回路の動作原理の概略図である。 本出願のいくつかの実施形態の構造化光プロジェクタの概略構成図である。 本出願のいくつかの実施形態の飛行時間に基づいて深度情報を取得する原理の概略図である。 図１の深度プロセッサの詳細構成図である。 図２の深度プロセッサの詳細構成図である。 図３の深度プロセッサの詳細構成図である。 本出願のいくつかの実施形態の３次元画像機器の概略構成図である。

以下、本出願の実施例を詳細に説明する。前記実施例における例が図面に示され、同一又は類似する符号は、常に同一又は類似する素子、或いは、同一又は類似する機能を有する素子を示す。以下に、図面を参照しながら説明される実施例は例示的なものであり、本出願を解釈するためだけに用いられ、本出願を限定するものと理解してはいけない。

図１及び図２を参照すると、本出願は、深度プロセッサ１００を提供する。深度プロセッサ１００は、入力ポート１０、入力スイッチ２０、データ処理エンジン３０、及び出力ポート５０を含み、入力ポート１０は入力スイッチ２０に接続され、入力スイッチ２０はデータ処理エンジン３０に接続され、データ処理エンジン３０は出力ポート５０に接続される。入力ポート１０は第１の画像を受信するために用いられ、第１の画像は、少なくとも構造化光深度カメラ２１０によって採集された構造化光画像を含む。入力スイッチ２０は、入力ポート１０からの一部又は全部の第１の画像を通過させるために用いられる。データ処理エンジン３０は、入力スイッチ２０を介して出力された第１の画像を処理して第２の画像を出力するために用いられ、第２の画像は少なくとも深度画像を含む。出力ポート５０は第２の画像を本体機器に出力するために用いられる。

本出願の実施形態の深度プロセッサ１００には複数の入力ポート１０が設定され、複数のタイプの周辺機器に接続することができ、複数の周辺機器の入力データを処理し、より高い集積度と汎用性を有することができ、複数のプリケーションシナリオに適用することができる。

図１を参照すると、本出願は、深度プロセッサ１００を提供する。深度プロセッサ１００は、入力ポート１０、入力スイッチ２０、データ処理エンジン３０、及び出力ポート５０を含み、入力ポート１０は入力スイッチ２０に接続され、入力スイッチ２０はデータ処理エンジン３０に接続され、データ処理エンジン３０は出力ポート５０に接続される。

その中、入力ポート１０の数は複数であり、例えば２つ、３つ、４つ、５つ、７つ、１０つなどであってもよい。各入力ポート１０は一つの周辺機器に接続されて、周辺機器によって採集されたデータを受信することができる。例えば、本出願の具体的な実施例では、周辺機器は、構造化光深度カメラ２１０、脱落検出回路２２０、及び飛行時間深度カメラ２５０を含む。入力ポート１０は周辺機器に接続されて周辺機器によって採集された第１の画像を受信し、第１の画像は、構造化光深度カメラ２１０内の構造化光画像コレクター２１２によって採集された構造化光画像と、飛行時間深度カメラ２５０内の飛行時間画像コレクター２５２によって採集された飛行時間画像と、を含み、入力ポート１０は、さらに、周辺機器に接続されて周辺機器によって出力された検出電気信号を受信する。

具体的には、周辺機器中の一つである構造化光深度カメラ２１０は構造化光プロジェクタ２１１と構造化光画像コレクター２１２で構成される。構造化光プロジェクタ２１１は対象空間に構造化光パターン（例えば赤外線レーザパターンなど）を投影し、投影された構造化光パターンは、対象空間内の物体によって変調され、構造化光画像コレクター２１２（例えば赤外線カメラなど）は、物体によって変調された構造化光画像を撮影する。構造化光画像コレクター２１２は第１の入力ポート１１に接続され、第１の入力ポート１１は、構造化光画像コレクター２１２によって採集された構造化光画像を受信する。構造化光画像は第１の入力ポート１１を介してデータ処理エンジン３０に伝送されて処理される。データ処理エンジン３０は構造化光深度処理エンジン３１を含み、構造化光深度処理エンジン３１は構造化光画像と参照画像によって構造化光深度画像（すなわち、第２の画像に構造化光深度画像が含まれる）を計算する。その中、参照画像は、構造化光画像コレクター２１２によって採集され、構造化光プロジェクタ２１１は、既知の距離の平面に構造化光パターンを投影し、構造化光画像コレクター２１２は、既知の距離の平面によって変調された構造化光パターンを採集し、このように、参照画像を採集してメモリ７０に記憶する。メモリ７０は、不揮発性メモリ７０（例えばフラッシュメモリなど）である。メモリ７０は、深度プロセッサ１００に含まれてもよいし、周辺機器としてストレージインターフェース７１を介して深度プロセッサ１００に接続されてもよい。メモリ７０が周辺機器である場合、入力スイッチ２０を介してデータ処理エンジン３０に接続することができ、この時、参照画像は、入力スイッチ２０を介してデータ処理エンジン３０に伝送されるか、又は入力スイッチ２０を介さずにデータ処理エンジン３０に直接に接続することができ、この時、参照画像は、データ処理エンジン３０に直接伝送される。構造化光画像と参照画像に対応する各画素の間に横方向ずれが存在するため、構造化光深度処理エンジン３１は、入力スイッチ２０によって転送された構造化光画像を受信し、参照画像リーダ９０を利用してメモリ７０から参照画像を読み出し、構造化光画像と参照画像とのオフセットの計算を行って構造化光画像内の各画素に対応する空間点が構造化光深度カメラ２１０からの深度情報を算出し、最終的に構造化光深度画像を取得する。

図１及び図４に示すように、周辺機器中の一つである脱落検出回路２２０は構造化光プロジェクタ２１１に設定され、脱落検出回路２２０は、検出電気信号を出力して構造化光深度カメラ２１０の保護カバー２０１が脱落したか否かを検出することができる。データ処理エンジン３０は検出電気信号処理エンジン３２をさらに含む。検出電気信号処理エンジン３２は、検出電気信号が予め設定された範囲内にあるか否かを判断し、検出電気信号が予め設定された範囲内にない場合、保護カバー２０１が脱落したと決定する。

具体的には、図４と図５を共に参照すると、構造化光プロジェクタ２１１は、基板アセンブリ２０４と、レンズバレル２０３、コリメート素子２０５と、回折光学素子２０２と、保護カバー２０１とを含む。レンズバレル２０３は基板アセンブリ２０４に設定され、回折光学素子２０２はレンズバレル２０３内に設定される。保護カバー２０１はレンズバレル２０３に組み合わせて回折光学素子２０２を遮蔽する。

一例では、脱落検出回路２２０は第１の電極板２００１、第２の電極板２００２、接続線路２１２４、抵抗素子２１２３、及び検出装置２１２２を含み、第１の電極板２００１、第２の電極板２００２、接続線路２１２４、抵抗素子２１２３、及び検出装置２１２２は検出回路を形成する。第１の電極板２００１はレンズバレル２０３に設定され、第２の電極板２００２は保護カバー２０１に設定され、第１の電極板２００１と間隔を置いて対向する。第１の電極板２００１は第２の電極板２００２と共に検出コンデンサ２１２１を構成する。接続線路２１２４は基板アセンブリ２０４及びレンズバレル２０３に形成される。接続線路２１２４は、第１の接続サブ線路２１２４１と第２の接続サブ線路２１２４２を含み、第１の接続サブ線路２１２４１は、基板アセンブリ２０４及びレンズバレル２０３に形成され、第１の接続サブ線路２１２４１の一端は、第１の電極板２００１に接続され、他端は、第２の入力ポート１２に接続され、第２の接続サブ線路２１２４２も、基板アセンブリ２０４及びレンズバレル２０３に形成され、第２の接続サブ線路２１２４２の一端は、第２の電極板２００２に接続され、他端は、深度プロセッサ１００の第１のバスデバイス６１（図１に示す）に接続される。抵抗素子２１２３は、接続線路２１２４に接続され、検出コンデンサ２１２１に直列接続され、抵抗素子２１２３は抵抗であってもよい。検出装置２１２２は接続線路２１２４に接続され、検出装置２１２２が電圧計である場合、検出装置２１２２は、抵抗素子２１２３に並列接続され、抵抗素子２１２３の両端の電流を検出するために用いられ、検出装置２１２２が電流計である場合、検出装置２１２２は、抵抗素子２１２３に直列接続され、抵抗素子２１２３に流れる電流を検出するために用いられる。

その中、第１の電極板２００１及び第２の電極板２００２は、導電性材料で作成され、例えば第１の電極板２００１及び第２の電極板２００２の材料は、ニッケル、パラジウム、銀、タンタル、炭素材料、金属酸化物、導電性ポリマーを含むことができる。保護カバー２０１は、導電性材料で作成されることができ、この時、保護カバー２０１は、第２の電極板２００２で使うことができる。Ｃ＝εＳ／ｄ、及びＱ＝ＣＵである式によれば、ただし、Ｃは、検出コンデンサ２１２１の大きさであり、εは、第１の電極板２００１と第２の電極板２００２との間の誘電率であり、Ｓは、第１の電極板２００１と第２の電極板２００２との間が正対する面積であり、ｄは、第１の電極板２００１と第２の電極板２００２との間の距離であり、Ｑは、検出コンデンサ２１２１の電荷量であり、Ｕは、第１の電極板２００１と第２の電極板２００２との間の電圧である。保護カバー２０１がレンズバレル２０３から脱落していない場合、検出装置２１２２によって電圧又は電流が検出されず、これは抵抗素子２１２３に流れる電流がないことを意味し、さらに、検出コンデンサ２１２１の容量値が変化していないことを意味し、この時、検出電気信号の出力がなく、すなわち検出電気信号が予め設定された範囲内にあると、検出電気信号処理エンジン３２は、検出電気信号に基づいて保護カバー２０１がレンズバレル２０３から脱落していないと判定する。保護カバー２０１がレンズバレル２０３から脱落した場合、第１の電極板２００１と第２の電極板２００２との間の距離が大きくなり、検出コンデンサ２１２１の容量が小さくなることによって、検出コンデンサ２１２１に放電が発生され、この時、検出装置２１２２によって検出される電圧又は電流が変化し、電流が抵抗素子２１２３から流れ出すことを意味し、さらに、検出コンデンサ２１２１の容量値に変化が発生したことを意味し、対応するように出力された検出電気信号に変化が発生し、検出電気信号の変化が所定の範囲を超えた場合、検出電気信号処理エンジン３２は、検出電気信号の変化に基づいて保護カバー２０１がレンズバレル２０３から脱落したと決定することができる。一般的に、保護カバー２０１は、回折光学素子２０２をレンズバレル２０３内に限定するために用いられるため、保護カバー２０１がレンズバレル２０３から脱落した場合、回折光学素子２０２もレンズバレル２０３から大きく脱落するため、保護カバー２０１がレンズバレル２０３から脱落した場合、構造化光プロジェクタ２１１によって投影された光線は、回折光学素子２０２による減衰作用を経ることなく、出射される光線の強度がより強く、ユーザがちょうど顔認識をしている場合、ユーザの目を損傷することになる。したがって、脱落検出回路２２０によって出力された検出電気信号に基づいて保護カバー２０１の脱落が判定された場合、回折光学素子２０２も脱落したと判断する（言い換えれば、保護カバー２０１がレンズバレル２０３から脱落したと検出された場合、回折光学素子２０２も脱落したことを間接的に導き出す）。この時、構造化光プロジェクタ２１１をオフにしてもよく、回折光学素子２０２の脱落が直接的に検出された後に構造化光プロジェクタ２１１がレーザの放出を停止することに比べて、安全保障が前倒に行い、ユーザが構造化光プロジェクタ２１１を使う安全性を向上させる。

図６及び図７を合わせて参照すると、別の例では、脱落検出回路２２０は圧力センサ２１２５、接続回路２１２６、抵抗素子２１２３、及び検出装置２１２２を含み、圧力センサ２１２５、接続回路２１２６、抵抗素子２１２３、及び検出装置２１２２は検出回路を形成する。圧力センサ２１２５は、ピエゾ抵抗型圧力センサ（ストレインゲージ）、圧電式圧力センサなどであってもよい。圧力センサ２１２５は、レンズバレル２０３と保護カバー２０１との間に設定されて圧力を受ける。接続回路２１２６は、基板アセンブリ２０４及びレンズバレル２０３に形成される。接続回路２１２６は第１の接続サブ回路２１２６１と第２の接続サブ回路２１２６２とを含む。第１の接続サブ回路２１２６１は、基板アセンブリ２０４及びレンズバレル２０３に形成され、第１の接続サブ回路２１２６１は、一端が圧力センサ２１２５の一端に接続され、他端が第２の入力ポート１２に接続され、第２の接続サブ回路２１２６２も、基板アセンブリ２０４及びレンズバレル２０３に形成され、第２の接続サブ回路２１２６２の一端が圧力センサ２１２５の他端に接続され、第２の接続サブ回路２１２６２の他端が深度プロセッサ１００の第１のバスデバイス６１に接続される。抵抗素子２１２３は接続回路２１２６に接続され、圧力センサ２１２５に直列接続される、抵抗素子２１２３は抵抗であってもよい。検出装置２１２２は接続回路２１２６に接続され、検出装置２１２２が電圧計である場合、検出装置２１２２は抵抗素子２１２３に並列接続され、抵抗素子２１２３の両端の電圧を検出するために用いられ、検出装置２１２２が電流計である場合、検出装置２１２２は、抵抗素子２１２３に直列接続され、抵抗素子２１２３に流れる電流を検出するために用いられる。

保護カバー２０１がレンズバレル２０３に組み合わせると、圧力センサ２１２５は、保護カバー２０１によってレンズバレル２０３に挟み込まれ、挟み込み力（すなわち、圧力）を受ける。保護カバー２０１がレンズバレル２０３から脱落した場合、保護カバー２０１は圧力センサ２１２５を解除（脱落）させることによって圧力センサ２１２５が挟み込み力を受けないようにし、この時、圧力センサ２１２５に変化が発生し（例えば抵抗が大きくなったり、小さくなったりする）、脱落検出回路２２０によって出力された検出電気信号に変化が発生する。検出電気信号処理エンジン３２は、検出電気信号の変化に基づいて保護カバー２０１の脱落を判定する。例えば保護カバー２０１がレンズバレル２０３に組み合わせて圧力センサ２１２５を保護カバー２０１とレンズバレル２０３の間に挟み込む場合、圧力センサ２１２５は圧力を受けて変形し、この時、圧力センサ２１２５の抵抗はＲ１であり、保護カバー２０１がレンズバレル２０３から脱落した場合、圧力センサ２１２５が受ける圧力はゼロになり、この時、圧力センサ２１２５の抵抗はＲ２であり、Ｒ２とＲ１は等しなく、検出装置２１２２によって検出される電圧又は電流が変化し、すなわち、脱落検出回路２２０によって出力された検出電気信号に変化が発生し、検出電気信号の変化が所定の範囲を超えた場合、検出電気信号処理エンジン３２は検出電気信号の変化に基づいて保護カバー２０１の脱落を判定する。保護カバー２０１がレンズバレル２０３から脱落していない場合、圧力センサ２１２５は圧力を受けることになって、この時、圧力センサ２１２５の抵抗はＲ３であり、一般的に、Ｒ３とＲ１は等しく、検出装置２１２２に電圧又は電流の変化が検出されず、すなわち、脱落検出回路２２０によって出力された検出電気信号に変化が発生せず、検出電気信号処理エンジン３２が検出電気信号の変化に基づいて保護カバー２０１が脱落していないと判定する。一般的に、保護カバー２０１は回折光学素子２０２をレンズバレル２０３内に限定するために用いられるため、保護カバー２０１がレンズバレル２０３から脱落した場合、回折光学素子２０２もレンズバレル２０３から大きく脱落するため、保護カバー２０１がレンズバレル２０３から脱落した場合、構造化光プロジェクタ２１１によって投影された光線は、回折光学素子２０２による減衰作用を経ることなく、出射される光線の強度がより強く、ユーザがちょうど顔認識をしている場合、ユーザの目を損傷することになる。したがって、脱落検出回路２２０によって出力された検出電気信号に基づいて保護カバー２０１の脱落が判定された場合、回折光学素子２０２も脱落したと判断する（言い換えれば、保護カバー２０１がレンズバレル２０３から脱落したと検出された場合、回折光学素子２０２も脱落したことを間接的に導き出す）。この時、構造化光プロジェクタ２１１をオフにしてもよく、回折光学素子２０２の脱落が直接的に検出された後に構造化光プロジェクタ２１１がレーザの放出を停止することに比べて、安全保障が前倒に行い、ユーザが構造化光プロジェクタ２１１を使う安全性を向上させる。

図８を参照すると、別の例では、保護カバー２０１は保護上壁２０１１と、保護上壁２０１１の周縁から延びる保護側壁２０１２とを含む。保護側壁２０１２はレンズバレル２０３に組み合わせ、保護上壁２０１１は回折光学素子２０２の位置を限定することができる。脱落検出回路２２０は送信機２１２７と受信機２１２８を含む。送信機２１２７と受信機２１２８のうちの少なくとも一方は、保護側壁２０１２に設定され、他方は基板アセンブリ２０４に設定される。例えば、送信機２１２７が保護側壁２０１２に設定されて受信機２１２８が基板アセンブリ２０４に設定され、又は、送信機２１２７が基板アセンブリ２０４に設定されて受信機２１２８が保護側壁２０１２に設定される。送信機２１２７と受信機２１２８は対向して設定される。送信機２１２７は、検出信号を送信するために用いられ、受信機２１２８は、送信機２１２７によって送信された検出信号を受信するために用いられる。検出信号は光信号、例えば赤外線であってもよく、検出信号は超音波信号であってもよい。一例では、送信機２１２７は赤外線発光ダイオードであり、受信機２１２８は赤外線受信機２１２８である。脱落検出回路２２０が動作する場合、送信機２１２７は受信機２１２８に検出信号を送信し、受信機２１２８は送信機２１２７によって送信された検出信号を受信して検出電気信号を形成して出力する。検出電気信号が所定の範囲内にある場合、現在の送信機２１２７及び受信機２１２８の相対位置によって大きな変化が発生していないと判断することによって、保護カバー２０１と基板アセンブリ２０４の相対位置によって大きな変化が発生していないと決定することができ、さらに、保護カバー２０１が脱落していないと見なされる。検出電気信号が所定の範囲を超えた場合、現在の送信機２１２７と受信機２１２８の相対位置によって大きな変化が発生したと判断されることによって、保護カバー２０１と基板アセンブリ２０４の相対位置によって大きな変化が発生したと決定され、さらに、保護カバー２０１が脱落したと見なされる。一般的に、保護カバー２０１は回折光学素子２０２をレンズバレル２０３内に限定するために用いられるため、保護カバー２０１がレンズバレル２０３から脱落した場合、回折光学素子２０２もレンズバレル２０３から大きく脱落するため、保護カバー２０１がレンズバレル２０３から脱落した場合、構造化光プロジェクタ２１１によって投影された光線は、回折光学素子２０２による減衰作用を経ることなく、出射される光線の強度がより強く、ユーザがちょうど顔認識をしている場合、ユーザの目を損傷することになる。したがって、脱落検出回路２２０によって出力された検出電気信号に基づいて保護カバー２０１の脱落が判定された場合、回折光学素子２０２も脱落したと判断する（言い換えれば、保護カバー２０１がレンズバレル２０３から脱落したと検出された場合、回折光学素子２０２も脱落したことを間接的に導き出す）。この時、構造化光プロジェクタ２１１をオフにしてもよく、回折光学素子２０２の脱落が直接的に検出された後に構造化光プロジェクタ２１１がレーザの放出を停止することに比べて、安全保障が前倒に行い、ユーザが構造化光プロジェクタ２１１を使う安全性を向上させる。

再び図１を参照すると、周辺機器の一つである飛行時間深度カメラ２５０は飛行時間プロジェクタ２５１と飛行時間画像コレクター２５２で構成される。飛行時間深度カメラ２５０は光パルスの飛行（往復）時間を検出することによって、対象空間内の物体と飛行時間深度カメラ２５０との間の距離を取得する。飛行時間深度カメラ２５０が距離を取得する方式は、通常、直接取得と間接取得の二つの方式を含む。直接取得方式では、飛行時間プロジェクタ２５１が対象空間に赤外線を送信し、飛行時間プロジェクタ２５１が対象空間に赤外線を送信した送信時間点が記録され、飛行時間画像コレクター２５２が送信時間点に同期的にオンにして対象空間内の物体によって反射された赤外線を受信し、飛行時間画像コレクター２５２が物体によって反射された赤外線を受信するために用いられる受信時間点も記録される。送信時間点と受信時間点の間の時間差によって対象空間内の物体と飛行時間深度カメラ２５０の間の距離を算出することができる。間接取得方式で、飛行時間プロジェクタ２５１は対象空間に方形波パルス変調の赤外線を送信し、飛行時間画像コレクター２５２は、一つ又は複数の完全なパルス周期における赤外線を採集する。その中、飛行時間画像コレクター２５２内の各画素は、一つの感光素子で構成され、感光素子は受信された赤外線を電流に変換することができる。感光素子は複数の高周波スイッチに接続されており、異なる電荷を蓄積できる容量に電流を導入させることができ、このように、高周波スイッチのオンとオフを制御することによって、受信された一つ又は複数の完全なパルス周期における赤外線を２つの部分に分割し、この２つの部分の赤外線に対応する電流によって物体と飛行時間深度カメラ２５０の間の距離を算出することができ、例えば、図９に示すように、２つの部分の赤外線によって蓄積された電荷量がそれぞれＱ１とＱ２であり、一つのパルス周期におけるレーザの持続時間がＴであると、赤外線の対象空間における伝播時間が

であり、対応する距離は

であり、ここでcは光速である。本出願の具体的な実施例では、間接取得する方式で上記の距離を計算する。飛行時間画像コレクター２５２は、受信された赤外線によって生成された電流信号を出力して飛行時間画像を形成し、その中、飛行時間画像における各画素は、すべて２つの部分の電流データを含む。飛行時間画像コレクター２５２は第４の入力ポート１４に接続され、第４の入力ポート１４は、飛行時間画像コレクター２５２によって採集された飛行時間画像を採集する。データ処理エンジン３０は飛行時間深度処理エンジン３５をさらに含む。飛行時間深度処理エンジン３５は、第４の入力ポート１４から飛行時間画像を受信し、飛行時間画像に基づいて物体と飛行時間深度カメラ２５０の間の距離を算出することによって、飛行時間深度画像（すなわち、第２の画像は飛行時間深度画像を含む）を取得する。

出力ポート５０の数は一つ又は複数であってもよく、例えば１つ、２つ、３つ、４つ、５つ、７つ、１０つなどであってもよい。出力ポート５０が一つの場合、第２の画像と判定結果がそれぞれ出力されたことができ、例えば構造化光深度画像、飛行時間深度画像、及び判定結果をそれぞれ出力する。出力ポート５０が複数である場合、第２の画像と判定結果を同時に出力することができる。例えば、第１の出力ポート５１は、構造化光深度画像を出力し、第２の出力ポート５２は判定結果を出力し、第３出力ポート５３は、飛行時間深度画像を出力するなどである。

現在、通常には、特定されたプロセッサを使用して構造化光画像と参照画像を処理して深度画像を取得することを理解されたい。構造化光プロジェクタ２１１に検出回路を追加した場合、検出回路によって出力された検出電気信号は、通常、他のプロセッサに接続する必要があり、構造化光画像と参照画像を処理して深度画像を取得する特定のプロセッサに直接接続されて処理されることができず、このように、構造化光画像を処理する特定のプロセッサの集積度がより低くなることになり、残りの機能の開発に不利である。本出願の深度プロセッサ１００は、複数のタイプの周辺機器に接続することができ、複数の周辺機器の入力データを処理し、より高い集積度と汎用性を有することができ、様々な異なるタイプの機器及び様々なプリケーションシナリオに適用することができる。具体的には、本出願の実施形態の深度プロセッサ１００は、脱落検出回路２２０を一つの周辺機器として深度プロセッサ１００に接続することができる。このように、深度プロセッサ１００は、構造化光画像の処理に加えて、脱落防止検出に対する判定を行うことができ、深度プロセッサ１００の集積度がより高くなり、機能がより充実になる。また、本出願の深度プロセッサ１００を携帯電話に搭載する場合、深度プロセッサ１００は、構造化光深度カメラ２１０と飛行時間深度カメラ２５０に同時に接続することができる。構造化光深度カメラ２１０は近距離の深度情報に対する取得精度がより高く、飛行時間深度カメラ２５０は遠距離の深度情報に対する取得精度がより高いため、構造化光深度カメラ２１０をフロントデバイスとして３次元人の顔ロック解除などを行うことができ、飛行時間深度カメラ２５０をリアデバイスとしてシナリオの３次元モデリングなどを行うことができる。この時、深度プロセッサ１００が構造化光深度カメラ２１０及び飛行時間深度カメラ２５０に同時に接続されることができ、且つ構造化光画像を同時に処理して構造化光深度画像を取得し、飛行時間画像を処理して飛行時間深度画像を取得することができるため、構造化光画像を専門的に処理するためのプロセッサ及び飛行時間画像を専門的に処理するためのプロセッサを設定する必要がなく、深度プロセッサ１００の集積度を向上させ、携帯電話の設置スペースに対する占用を減少させる。

再び図１を参照すると、いくつかの実施形態では、可視光カメラ２３０は周辺機器として深度プロセッサ１００に接続することもできる。可視光カメラ２３０は可視光画像（すなわち、第１の画像は可視光画像を含む）を採集するために用いられる。可視光カメラ２３０は第３入力ポート１３に接続される。可視光によって採集された可視光画像は、第３入力ポート１３を介してデータ処理エンジン３０に伝送される。データ処理エンジン３０は可視光画像処理エンジン３３をさらに含む。可視光画像処理エンジン３３は、可視光画像に対してノイズ除去、フォーマット変換などの処理を行うことができる。

さらに、図１に示すように、いくつかの実施形態では、データ処理エンジン３０は両眼深度処理エンジン３４をさらに含む。両眼深度処理エンジン３４は、第１の入力ポート１１によって入力された赤外線画像（すなわち、第１の画像は赤外線画像を含む）及び第３入力ポート１３によって入力された可視光画像を受信することができる、その中、赤外線画像は構造化光プロジェクタ２１１がオフされた場合に、構造化光画像コレクター２１２によって採集される。両眼深度処理エンジン３４は、赤外線画像と可視光画像の二つの画像に基づいて対象空間内の物体の深度情報、すなわち、両眼深度画像を計算して取得することができる。通常、対象空間の周辺の明るさがより暗い場合（例えば予め設定された明るさより小さい場合）、深度画像は、構造化光深度処理エンジン３１によって計算され、対象空間の周辺の明るさがより明るい場合（例えば予め設定された明るさ以上である場合）、深度画像は、両眼深度処理エンジン３４によって計算される。周辺の明るさがより明るい場合、環境光における赤外線成分がより多くなり、構造化光プロジェクタ２１１によって放出されるレーザが通常赤外線であるため、環境光における赤外線は、構造化光画像コレクター２１２によって採集された構造化光画像に影響を与える可能性があり、深度画像の計算精度が高くなくなることを理解されたい。環境光の明るさがより明るい場合、可視光カメラ２３０によって採集された可視光画像と構造化光画像コレクター２１２によって採集された赤外線画像とは、いずれも鮮明であり、三角測量の方式を利用して対象空間における物体の深度情報を計算することができる。

再び図１を参照すると、いくつかの実施形態では、可視光画像処理エンジン３３は、可視光画像を処理して可視光画像における撮影面積が予め設定された面積より小さい物体を認識するために用いられることもできる。具体的には、可視光画像処理エンジン３３はエッジ検出アルゴリズム（例えばＳｏｂｅｌエッジ検出アルゴリズム、ラプラシアルゴリズム、Ｃａｎｎｙエッジ検出アルゴリズムなど）を使用して可視光画像における各物体のエッジを検出し、閉鎖されたエッジ曲線によって各物体に対応する撮影面積の大きさを計算する（物体のカテゴリを認識する必要がない）。撮影面積が予め設定された面積より小さい場合、当該物体が対象空間に対応する体積もより小さいことを説明する。この時、構造化光深度カメラ２１０を使用して対象空間内の物体の深度情報を取得する場合、構造化光プロジェクタ２１１によって投影された構造化光パターンがスペクルパターンであるため、スペクルパターンが対象空間に投影された後、対象空間内に存在するすべての物体をカバーできなくなり（光点の間に隙間が存在し、特に体積がより小さい物体の一部領域がちょうど隙間内に位置することになり、当該一部領域が光点によって照射されなくなったり、さらにより小さい物体がちょうど完全に隙間内に位置することになるため光点によって照射されなくなる）、このように、計算されたスペクルパターンによってカバーされなかった物体の深度情報の精度が高くなく、さらに深度が全く検出されなくなる。したがって、データ処理エンジン３０は補正エンジン３７をさらに含み、補正エンジン３７は、構造化光深度処理エンジン３１、飛行時間深度処理エンジン３５、及び可視光画像処理エンジン３３に全部接続される。補正エンジン３７は、可視光画像処理エンジン３３から可視光画像処理エンジン３３が可視光画像を処理して取得した撮影面積が予め設定された面積より小さい物体に対応する一つ又は複数の画素を取得し、構造化光深度処理エンジン３１から構造化光深度画像を取得し、飛行時間深度処理エンジン３５から飛行時間深度画像を取得し、一つ又は複数の画素と飛行時間深度画像とに基づいて構造化光深度画像における深度情報の精度がより低い画素の深度情報を補正するために用いられる。具体的には、補正エンジン３７は、まず、可視光画像、構造化光深度画像、及び飛行時間深度画像の三つの画像が同じ視界を有するように可視光画像、構造化光深度画像、及び飛行時間深度画像の三つの画像を整列させる。次に、可視光画像における撮影面積が予め設定された面積より小さい物体を処理して取得された一つ又は複数の画素（ここでは第１の画素と指す）に基づいて、飛行時間深度画像から第１の画素に１対１で対応する第２の画素を探す。そして、飛行時間深度画像における第２の画素に基づいて構造化光深度画像から第２の画素に１対１で対応する第３画素を探し、第２の画素の深度情報を利用して第３画素の深度情報を置き換えて構造化光深度画像の深度情報を補正することによって、構造化光深度画像の深度情報の精度を向上させる。

再び図１を参照すると、いくつかの実施形態では、深度プロセッサ１００は、データ処理エンジン３０と出力ポート５０との間に接続された出力スイッチ４０をさらに含む。出力スイッチ４０は、検出電気信号に基づいて取得された判定結果、及び全部又は一部の第２の画像を通過させて本体機器に出力するために用いられる。その中、本体機器は携帯電話、タブレットコンピュータ、ノートブックコンピュータ、ウェアラブルデバイス（例えばスマートウォッチ、スマートブレスレット、スマートグラス、スマートヘルメットなど）、バーチャルリアリティデバイスなどであってもよい。第２の画像は、構造化光深度画像、両眼深度画像、可視光深度画像、及び飛行時間深度画像を含む。出力スイッチ４０は、本体機器のニーズに応じて構造化光深度画像のみ出力したり、両眼深度画像のみ出力したり、可視光画像のみ出力したり、又は飛行時間深度画像のみ出力たりしてもよいし、又は構造化光深度画像と両眼深度画像を同時に出力したり、構造化光画像と可視光画像を同時に出力したり又は、両眼深度画像と飛行時間深度画像を同時に出力したりしてもよいし、構造化光深度画像、両眼深度画像、可視光画像、及び飛行時間深度画像などを同時に出力してもよい。

再び図１を参照すると、いくつかの実施形態では、深度プロセッサ１００は少なくとも一つのバスをさらに含み、バスは、各部分の間のデータ伝送、及び周辺機器（例えば構造化光プロジェクタ２１１、構造化光画像コレクター２１２、脱落検出回路２２０、可視光カメラ２３０、飛行時間プロジェクタ２５１、飛行時間画像コレクター２５２など）のスイッチング、電力制御などを機能する。図１０に示すように、本出願の具体的な実施例では、深度プロセッサ１００は二つのバスである第１のバスデバイス６１と第２のバスデバイス６２とを有する。その中、第１のバスデバイス６１はＡＰＢバスを使用することができ、第２のバスデバイス６２は高性能ＡＨＢバスを使用することができ、二つのバスはＡＰＢブリッジ６３を介して接続される。具体的には、第１のバスデバイス６１はＩ２Ｃを介して周辺機器の同期トリガを制御するか、又はパルス幅変調器ＰＷＭを介して周辺機器の電力を制御する。第２のバスデバイス６２には制御ユニット８０が接続され、制御ユニット８０は、第２のバスデバイス６２を介して入力スイッチ２０インターフェース、出力スイッチ４０のインターフェース、及び周辺機器のインターフェースなどを管理する。例えば制御ユニット８０は、実際のアプリケーションのニーズに応じて第２のバスデバイス６２を介して入力スイッチ２０を制御して必要な第１の画像を選択してデータ処理エンジン３０に入力し、制御ユニット８０は、実際のアプリケーションのニーズに応じて第２のバスデバイス６２を介して出力スイッチ４０を制御して選択的に第２の画像などを出力する。

いくつかの実施形態では、本体機器は、第１のバスデバイス６１を介して周辺機器の開始を制御する。例えば周辺の明るさがより低い場合、本体機器は、第１のバスデバイス６１を介して構造化光深度カメラ２１０の開始を制御して構造化光深度カメラ２１０を利用して対象空間における物体の深度情報を取得する。周辺の明るさがより高い場合、本体機器は第１のバスデバイス６１を介して構造化光画像コレクター２１２と可視光カメラ２３０を制御して開始して、両眼立体視法を利用して対象空間における物体の深度情報を取得する。

いくつかの実施形態では、第１のバスデバイス６１は、本体機器のニーズに応じた深度画像タイプに基づいてニーズに対応する周辺機器の開始を制御する。一部本体機器は複数の深度カメラによって取得された深度画像を互換処理又は表示することができない可能性もあることを理解されたい。この時、本体機器は、自体で処理又は表示可能な深度画像に対応する深度カメラタイプを第１のバスデバイス６１に転送することができ、第１のバスデバイス６１は、本体機器のニーズに応じて当該ニーズに対応する深度カメラの開始を制御することができる。このように、深度プロセッサ１００の互換性と汎用性をさらに向上させることができる。

もちろん、いくつかの実施形態では、データ処理エンジン３０は画像変換エンジン３６をさらに含む。本体機器が複数の深度カメラによって取得された深度画像を互換処理又は表示することのできない場合、この時、取得された深度画像を処理して本体機器によって処理又は表示可能な深度画像のタイプに変換させることができ、その中、処理は、視椎体、解像度などのパラメータの調整を含む。例えば、ある本体機器は、構造化光深度カメラ２１０によって取得された構造化光画像だけを処理又は表示することができ、飛行時間深度カメラ２５０によって取得された飛行時間深度画像は処理又は表示することができない。ある対象空間を３次元モデリングする場合、構造化光深度カメラ２１０の視界に制限されて、構造化光深度カメラ２１０だけを使用しては、対象空間における物体の深度情報を一度限りに取得できず、この時、飛行時間深度カメラ２５０によって残り部分の物体の深度情報を補助的に取得することができる。しかし、本体機器が飛行時間深度カメラ２５０によって取得された飛行時間深度画像を処理又は表示することができないとの特殊性のため、この時、画像変換エンジン３６を使用して飛行時間深度画像の視椎体、解像度などのパラメータを変換させて、他の構造化光深度画像を取得することができる。このように、二つの構造化光深度画像を本体機器に出力して本体機器がさらに処理する。このように、深度プロセッサ１００の互換性と汎用性を向上させることができる。

いくつかの実施形態では、保護カバー２０１が脱落した場合、本体機器は第１のバスデバイス６１を介して構造化光プロジェクタ２１１を制御してオフにする。このように、構造化光プロジェクタ２１１を適時にオフにすることによってユーザの目への損傷を回避することができる。

図２を参照すると、本出願は、深度プロセッサ１００をさらに提供する。深度プロセッサ１００は、入力ポート１０、入力スイッチ２０、データ処理エンジン３０、及び出力ポート５０を含み、入力ポート１０は入力スイッチ２０に接続され、入力スイッチ２０はデータ処理エンジン３０に接続され、データ処理エンジン３０は出力ポート５０に接続される。入力ポート１０の数は複数であり、各入力ポート１０は一つの周辺機器に接続されて、周辺機器によって採集されたデータを受信することができる。例えば、本出願の具体的な実施例では、周辺機器は、構造化光深度カメラ２１０と脱落検出回路２２０を含む。入力ポート１０は周辺機器に接続されて周辺機器によって採集された第１の画像を受信し、第１の画像は、構造化光深度カメラ２１０内の構造化光画像コレクター２１２によって採集された構造化光画像を含む。入力ポート１０は、さらに、周辺機器に接続されて周辺機器によって出力された検出電気信号を受信する。データ処理エンジン３０は構造化光深度処理エンジン３１と検出電気信号処理エンジン３２とを含む。その中、構造化光深度カメラ２１０、脱落検出回路２２０の具体的構造は、前述した通りであり、構造化光深度処理エンジン３１と検出電気信号処理エンジン３２の機能は、前述した通りであり（すなわち、深度プロセッサ１００の周辺機器が構造化光深度カメラ２１０、脱落検出回路２２０、及び飛行時間深度カメラ２５０を含む実施形態に記載されたように）、ここでは詳細な説明を省略する。出力ポート５０は一つ又は複数であってもよく、第２の画像（例えば、構造化光深度処理エンジン３１が第１の画像を処理して取得した構造化光深度画像）と判定結果（検出電気信号処理エンジン３２が検出電気信号に基づいて取得した判定結果）を出力するために用いられる。

周辺機器は可視光カメラ２３０をさらに含むことができる。可視光カメラ２３０は可視光画像（すなわち第１の画像は可視光画像を含む）を採集する。可視光カメラ２３０は第３入力ポート１３に接続される。可視光によって採集された可視光画像は、第３入力ポート１３を介してデータ処理エンジン３０に伝送される。データ処理エンジン３０は可視光画像処理エンジン３３をさらに含む。可視光画像処理エンジン３３は、可視光画像に対してノイズ除去、フォーマット変換などの処理を行うことができる。

データ処理エンジン３０は両眼深度処理エンジン３４をさらに含む。両眼深度処理エンジン３４は、第１の入力ポート１１によって入力された赤外線画像（すなわち、第１の画像は赤外線画像を含む）、及び第３入力ポート１３によって入力された可視光画像を受信することができる。両眼深度処理エンジン３４の具体的な機能は前述した通りであり、ここでは詳細な説明を省略する。

深度プロセッサ１００は、データ処理エンジン３０と出力ポート５０との間に接続された出力スイッチ４０をさらに含む。出力スイッチ４０は、検出電気信号に基づいて取得された判定結果、及び全部又は一部の第２の画像を通過させて本体機器に出力する。

深度プロセッサ１００は少なくとも一つのバスをさらに含み、バスは、各部分の間のデータ伝送、及び周辺機器（例えば構造化光プロジェクタ２１１、構造化光画像コレクター２１２、脱落検出回路２２０、可視光カメラ２３０など）のスイッチング、電力制御などを担当する。

保護カバー２０１が脱落した場合、本体機器は、バスのうちの第１のバスデバイス６１を介して構造化光プロジェクタ２１１を制御してオフにする。このように、構造化光プロジェクタ２１１を適時にオフにすることによってユーザの目への損傷を回避することができる。

本出願の実施形態の深度プロセッサ１００は、脱落検出回路２２０を一つの周辺機器として深度プロセッサ１００に接続することができる。このように、深度プロセッサ１００は構造化光画像の処理に加えて、脱落防止検出に対する判定を行うことができ、深度プロセッサ１００の集積度がより高くなり、機能がより充実になる。

図３を参照すると、本出願は、深度プロセッサ１００をさらに提供する。深度プロセッサ１００は、入力ポート１０、入力スイッチ２０、データ処理エンジン３０、及び出力ポート５０を含み、入力ポート１０は入力スイッチ２０に接続され、入力スイッチ２０はデータ処理エンジン３０に接続され、データ処理エンジン３０は出力ポート５０に接続される。入力ポート１０の数は複数であり、各入力ポート１０は一つの周辺機器に接続されて、周辺機器によって採集されたデータを受信することができる。例えば、本出願の具体的な実施例では、周辺機器は、構造化光深度カメラ２１０と飛行時間深度カメラ２５０を含む。入力ポート１０は周辺機器に接続されて周辺機器によって採集された第１の画像を受信し、第１の画像は、構造化光深度カメラ２１０内の構造化光画像コレクター２１２によって採集された構造化光画像と、飛行時間深度カメラ２５０内の飛行時間画像コレクター２５２によって採集された飛行時間画像と、を含む。データ処理エンジン３０は構造化光深度処理エンジン３１と飛行時間深度処理エンジン３５を含む。その中、構造化光深度カメラ２１０、飛行時間深度カメラ２５０の具体的構造は前述した通りであり、構造化光深度処理エンジン３１と飛行時間深度処理エンジン３５の機能は前述した通りであり、ここでは詳細な説明を省略する。出力ポート５０は一つ又は複数であってもよく、第２の画像を出力するために用いられ、例えば、構造化光深度処理エンジン３１が第１の画像を処理して取得する構造化光深度画像、飛行時間深度処理エンジン３５が飛行時間画像を処理して取得する飛行時間深度画像などである。

周辺機器は可視光カメラ２３０をさらに含むことができる。可視光カメラ２３０は可視光画像（すなわち、第１の画像は可視光画像を含む）を採集するために用いられる。可視光カメラ２３０は第３入力ポート１３に接続される。可視光によって採集された可視光画像は、第３入力ポート１３を介してデータ処理エンジン３０に伝送される。データ処理エンジン３０は可視光画像処理エンジン３３をさらに含む。可視光画像処理エンジン３３は、可視光画像に対してノイズ除去、フォーマット変換などの処理を行うことができる。

可視光画像処理エンジン３３は、可視光画像を処理して可視光画像における撮影面積が予め設定された面積より小さい物体を認識するために用いられることもできる。データ処理エンジン３０は補正エンジン３７をさらに含み、補正エンジン３７は構造化光画像を補正することができ、具体的な補正過程は前述した通りであるため、ここでは詳細な説明を省略する。

深度プロセッサ１００はデータ処理エンジン３０と出力ポート５０との間に接続された出力スイッチ４０をさらに含む。出力スイッチ４０は、全部又は一部の第２の画像を通過させて本体機器に出力する。

深度プロセッサ１００は少なくとも一つのバスをさらに含み、バスは、各部分の間のデータ伝送、及び周辺機器（例えば構造化光プロジェクタ２１１、構造化光画像コレクター２１２、飛行時間プロジェクタ２５１、飛行時間画像コレクター２５２、可視光カメラ２３０など）のスイッチング、電力制御などを担当する。本体機器は、バスのうちの第１のバスデバイス６１を介して周辺機器の開始を制御することができる。第１のバスデバイス６１は、本体機器のニーズに応じた深度画像タイプに基づいてニーズに対応する周辺機器の開始を制御することができる。

データ処理エンジン３０は画像変換エンジン３６をさらに含む。本体機器が複数の深度カメラによって取得された深度画像を互換処理又は表示することのできない場合、画像変換エンジン３６は取得された深度画像を処理して本体機器によって処理又は表示可能な深度画像のタイプに変換させることができる。

本出願の実施形態の深度プロセッサ１００は、構造化光深度カメラ２１０と飛行時間深度カメラ２５０とに同時に接続することができる。構造化光深度カメラ２１０は近距離の深度情報に対する取得精度がより高く、飛行時間深度カメラ２５０は遠距離の深度情報に対する取得精度がより高いため、構造化光深度カメラ２１０をフロントデバイスとして3次元人の顔ロック解除などを行うことができ、飛行時間深度カメラ２５０をリアデバイスとしてシナリオの３次元モデリングなどを行うことができる。この時、深度プロセッサ１００が構造化光深度カメラ２１０及び飛行時間深度カメラ２５０に同時に接続されることができ、且つ構造化光画像を同時に処理して構造化光深度画像を取得し、飛行時間画像を処理して飛行時間深度画像を取得することができるため、構造化光画像を専門的に処理するためのプロセッサ及び飛行時間画像を専門的に処理するためのプロセッサを設定する必要がなく、深度プロセッサ１００の集積度を向上させ、電子装置（例えば携帯電話）の設置スペースに対する占用が減少する。

図１０～図１２は、深度プロセッサ１００の例示的な詳細なアーキテクチャの概略図である。深度プロセッサ１００は一つの半導体基板に各機能素子を設定し、配線を介して各機能素子の間を接続することができる。深度プロセッサ１００は、複数のピンを介して外部に接続されることを実現して、ピンは、機能によって異なるポートの種類、例えば入力ポート１０、出力ポート５０などに設定されて、ＳＶＰ、ＭＩＰＩ、ＵＳＢ、ＤＶＩ、ＨＤＭＩ、ＢＮＣ、ＲＪ－４５などのタイプのインターフェースを採用することができる。他の種類のインターフェースの伝送は、ここで省略する。

図１と図１０を例として、深度プロセッサ１００には４つの入力ポート１０が設定され、いずれもＭＩＰＩインターフェースであり、他の実施形態にも、ＤＶＰインターフェースが含まれてもよいし、構造化光画像コレクター２１２、脱落検出回路２２０、可視光カメラ２３０、及び飛行時間画像コレクター２５２にそれぞれ接続することができる。各入力ポート１０は、これに接続される周辺機器から第１の画像又は検出電気信号を受信する。ＭＩＰＩインターフェースは、ＭＩＰＩ Ｄ－ＰＨＹ物理層インターフェース及び第２世代カメラ高速シリアルインターフェース（ＣＳＩ－２）の２つの部分で構成され、その中、Ｄ－ＰＨＹでは、物理層上のデータ伝送の定義を与えられており、ＣＳＩ－２の構造は、一般的に、グループ/アンパッキング層、プロトコル層、及びチャネル管理層で構成されて、３階レベルの間のデータの伝送路線によって、ＣＳＩ－２は、ＣＳＩ－２ ＲＸ受信端及びＣＳＩ－２ ＴＸ送信端に分割することができる。入力ポート１０ではＣＳＩ－２ ＲＸ受信端として、第１の画像又は検出電気信号を受信し、出力ポート５０では、ＣＳＩ－２ ＴＸ送信端として、第２の画像又は判定結果を本体機器などに転送する。

入力スイッチ２０は、ＭＩＰＩ入力インターフェースとデータ処理エンジン３０の間に接続される。入力スイッチ２０の役割は、いろいろな異なるアプリケーション状況に対しＭＩＰＩ入力インターフェースのデータを選択的に通過させ、また、通過されてデータをデータ処理エンジン３０に伝送する。

データ処理エンジン３０内の各エンジンは、出力スイッチ４０に接続され、出力スイッチ４０を介して出力ポート５０に再接続される。出力スイッチ４０は各エンジンに接続された後、現在のアプリケーションに応じてデータ処理エンジン３０から第２の画像又は検出電気信号を選択的に受信することができる。第２の画像と検出電気信号は、また、ＭＩＰＩ出力インターフェースを介して外部で出力された。具体的には、ＣＳＩ－２ ＴＸ Ｃｏｎｔｒｏｌｌｅｒ及びＭＩＰＩ Ｄ－ＰＨＹを介して外部で出力されたことができる。ここで、ＣＳＩ－２ ＴＸ Ｃｏｎｔｒｏｌｌｅｒ及びＭＩＰＩ Ｄ－ＰＨＹによって構成されるＭＩＰＩ出力インターフェースは、一つ又は複数であってもよい。

データ処理エンジン３０内の各処理エンジンによって出力された第２の画像は、ＵＳＢ ＦＩＦＯに伝送されることができる。ＵＳＢ ＦＩＦＯは、データをバッファリングする役割をすることができると共に、様々なデータをパッケージ化した後、ＡＨＢバスを介してＵＳＢインターフェースに伝送して３次元画像機器２００に出力する。ＵＳＢインターフェースは、ＵＳＢ制御器及びＵＳＢ ＰＨＹ（物理層）インターフェースを含み、ＵＳＢ ＦＩＦＯにおけるデータが準備された後、ＵＳＢ制御器は、ＡＨＢバスをアクセスして準備されたデータパケットを読み出す。

図１１及び図１２に示される深度プロセッサ１００の詳細なアーキテクチャは、図１０に示される深度プロセッサ１００の詳細なアーキテクチャと類似しており、ここでは詳細な説明を省略する。

図１３を参照すると、本出願は、３次元画像機器２００をさらに提供する。３次元画像機器２００は、上記のいずれかの実施形態に記載の深度プロセッサ１００と上記の構造化光深度カメラ２１０を含む。

いくつかの実施形態では、３次元画像機器２００は脱落検出回路２２０をさらに含む。

いくつかの実施形態では、３次元画像機器２００は飛行時間深度カメラ２５０をさらに含む。

いくつかの実施形態では、３次元画像機器２００は脱落検出回路２２０と飛行時間深度カメラ２５０をさらに含む。

その中、３次元機器は、上記の本体機器であってもよく、例えば携帯電話、タブレットコンピュータ、ノートブックコンピュータ、ウェアラブルデバイス（例えばスマートウォッチ、スマートブレスレット、スマートグラス、スマートヘルメットなど）、バーチャルリアリティデバイスなどであってもよい。

３次元画像機器２００はアプリケーションプロセッサ２４０をさらに含み、アプリケーションプロセッサ２４０は深度プロセッサ１００の出力ポート５０に接続される。アプリケーションプロセッサ２４０は深度画像で３次元再構成、人体姿勢認識と動作認識、及び物品認識のうちの少なくとも一つを行うことができる。

例えば、アプリケーションプロセッサ２４０は、深度プロセッサ１００から構造化光深度画像と可視光画像を取得し、構造化光深度画像に基づいて対象空間の３次元モデルを構築し、可視光画像に基づいて当該３次元モデルに対してカラーフィーリングを行って対象空間のカラー３次元モデルを取得する。

また、例えば、アプリケーションプロセッサ２４０は、深度プロセッサ１００から両眼深度画像と可視光画像を取得し、可視光画像によって顔を認識し、両眼深度画像が持つ深度情報を組み合わせて可視光画像で人体全体を認識することによって人体の認識をより正確にする。

また、例えば、アプリケーションプロセッサ２４０は、深度プロセッサ１００から飛行時間深度画像と可視光画像を取得し、エッジ検出アルゴリズムを利用して可視光画像を処理して可視光画像における各物体のエッジラインを取得し、飛行時間深度画像が持つ深度情報を組み合わせて各物体のエッジを補正することによって、可視光画像内の各物体を抽出し、最後に、トレーニングされた物体を認識するための深層学習モデルで各物体の具体的なカテゴリを認識する。

本出願の実施形態の深度プロセッサ１００及び３次元画像機器２００では、脱落検出回路２２０を一つの周辺機器として深度プロセッサ１００に接続する。このように、深度プロセッサ１００は構造化光画像の処理に加えて、脱落防止検出に対する判定を行うことができ、深度プロセッサ１００の集積度がより高くなり、機能がより充実になる。

本出願の実施形態の深度プロセッサ１００及び３次元画像機器２００では、深度プロセッサ１００は複数のタイプの周辺機器に接続することができ、複数の周辺機器の入力データを処理し、より高い集積度と汎用性を有することができ、様々な異なるタイプの３次元画像機器２００及び様々なプリケーションシナリオに適用することができる。

本明細書の説明において、「一実施例」、「一部の実施例」、「例」、「具体的な例」、或いは「一部の例」などの用語を参照した説明とは、当該実施例或いは例を合わせて説明された具体的な特徴、構成、材料或いは特性が、本開示の少なくとも１つの実施例或いは例に含まれることである。本明細書において、上記用語に対する例示的な説明は、必ずしも同じ実施例或いは例を示すものではない。また、説明された具体的な特徴、構成、材料或いは特性は、いずれか１つ或いは複数の実施例又は例において適切に結合することができる。なお、相互に矛盾しない限り、当業者は、本明細書において説明された異なる実施例又は例、及び異なる実施例又は例の特徴を結合し、組み合わせることができる。

本発明の説明において、「第１」、「第２」の用語は、単に説明するためのものであり、比較的な重要性を指示又は暗示するか、或いは示された技術的特徴の数を黙示的に指示すると理解してはいけない。よって、「第１」、「第２」が限定されている特徴は少なくとも１つの前記特徴を含むことを明示又は暗示するものである。本開示の説明において、明確且つ具体的な限定がない限り、「複数」とは、少なくとも２つ、例えば、２つ、３つなどを意味する。

フローチャート、又はここで他の方式により説明されるいかなるプロセス又は方法の説明は、特定のロジック機能又はプロセスのステップを実現するための一つ又はそれ以上の実行可能な命令のコードを含むモジュール、セグメント又は部分と理解されてもよい。また、本出願の好ましい実施形態の範囲は、他の実現形態が含まれており、例示され又は議論された順序に従わなくてもよく、言及された機能が実質的に同時に、又は逆の順序に応じて機能を実行することを含む。本出願の実施例が属する技術分野の当業者は、これを理解すべきである。

フローチャートで示された又はここで他の形態で説明されたロジック及び/又はステップは、例えば、ロジック機能を実現するための実行可能な命令の順番付けられたリストと見なすことができ、任意のコンピュータ読み取り可能な記憶媒体に具体的に実装されて、命令実行システム、装置、又はデバイス（例えばコンピュータに基づいたシステム、プロセッサを含むシステム、又は他の命令実行システム、装置又はデバイスから命令を獲得して命令を実行するシステム）に利用されるか、又はこれらの命令実行システム、装置又はデバイスと組み合わせて利用される。本願明細書において、「コンピュータ読み取り可能な記憶媒体」は、命令実行システム、装置又はデバイスによって、又は、命令実行システム、装置又はデバイスと組み合わせて使用するためのプログラムを含む、格納する、通信する、伝播する、又は伝送することができる任意の装置であってもよい。コンピュータ読み取り可能な記憶媒体のより具体的な例（非限定的なリスト）として、１つ又は複数の配線を備える電気接続部（電子デバイス）、ポータブルコンピュータディスクカートリッジ（磁気デバイス）、ランダムアクセスメモリ（ＲＡＭ）読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバデバイス、及びポータブルコンパクトディスク読み出し専用リメモリ（ＣＤＲＯＭ）を含む。また、コンピュータ読み取り可能な記憶媒体は、前記プログラムが印刷され得る紙又は他の適切な媒体であってもよく、これは、例えば、紙や他の媒体を光学的スキャンし、次に編集し、解釈し、又は必要な場合に他の適切な形態で処理して前記プログラムを電子的に取得して、そしてコンピュータメモリに格納するからである。

なお、本出願の各部分は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせにより実現できる。上記実施形態では、複数のステップ又は方法は、メモリに記憶され、且つ適切なコマンド実行システムによって実行されるソフトウェア又はファームウェアにより実現することができる。例えば、ハードウェアにより実現される場合は、他の実施形態と同じく、本分野の以下の公知技術のうち何れか一つ又はこれらの組み合わせにより実現することができる。データ信号のロジック機能を実現するための論理ゲート回路を備えたディスクリート論理回路、適切な組み合わせ論理ゲート回路を備えた専用集積回路、プログラム可能なゲートアレイ（ＰＧＡ）、フィールドプログラム可能なゲートアレイ（ＦＰＧＡ）などである。

当業者は、上記実施形態に係る方法に含まれている全部又は一部のステップが、プログラムにより関連するハードウェアを命令することにより完成できることを理解できる。前記プログラムは、コンピュータ読み取り可能な媒体に記憶されてもよく、当該プログラムは実行時に、方法の実施形態における一つのステップ又はその組み合わせを含むことができる。

また、本出願の各実施形態に係る各機能ユニットは、一つの処理モジュールに集積されてもよく、各ユニットが物理的に独立して存在してもよく、二つ又は二つ以上のユニットが一つのモジュールに集積されてもよい。上記集積されたモジュールは、ハードウェアの形式により実現されてもよく、ソフトウェアの機能モジュールの形式により実現されてもよい。上記集積されたモジュールがソフトウェアの機能モジュールの形式により実現され、独立の製品として販売又は使用される場合、一つのコンピュータ読み取り可能な記憶媒体に記憶することもできる。

上記の記憶媒体は、読み出し専用メモリや磁気ディスク、光ディスクなどであってもよい。以上に本出願の実施例を示して説明したが、上記実施例は、例示的なものであり、本出願を限定するものと理解してはいけない。当業者は、本出願の範囲内に、上記実施例に対して変化、修正、取り替え及び変形を行うことができる。

Claims (13)

1. 深度プロセッサであって、
   第１の画像を受信するための少なくとも二つの入力ポートであって、前記第１の画像は、少なくとも構造化光深度カメラによって採集された構造化光画像を含む入力ポートと、
   前記入力ポートに接続され、前記入力ポートからの一部又は全部の第１の画像を通過させるための入力スイッチと、
   前記入力スイッチに接続され、前記入力スイッチを介して出力された第１の画像を処理して第２の画像を出力するデータ処理エンジンであって、前記第２の画像は少なくとも深度画像を含むデータ処理エンジンと、及び
   前記データ処理エンジンに接続され、前記第２の画像を本体機器に出力するための少なくとも一つの出力ポートと、を含み、
   前記入力ポートは、さらに、検出電気信号を受信するために用いられ、
   前記検出電気信号は、少なくとも脱落検出回路によって出力された検出電気信号を含み、前記入力スイッチは、前記検出電気信号を通過させるためにも用いられ、
   前記データ処理エンジンは、前記検出電気信号に基づいて前記構造化光深度カメラの保護カバー脱落検出の判定を行うためにも用いられ、
   前記出力ポートは、判定結果を前記本体機器に出力するためにも用いられる、
   ことを特徴とする深度プロセッサ。
2. 前記データ処理エンジンは、構造化光深度処理エンジンを含み、
   前記構造化光深度処理エンジンは、参照画像と前記構造化光画像とに基づいて構造化光深度画像を計算するために用いられる、または
   前記データ処理エンジンは、検出電気信号処理エンジンを含み、
   前記検出電気信号処理エンジンは、前記検出電気信号が予め設定された範囲内にあるか否かを判断して、前記検出電気信号が前記予め設定された範囲内にない場合、前記保護カバーが脱落したと決定するために用いられる、
   ことを特徴とする請求項１に記載の深度プロセッサ。
3. 前記構造化光深度カメラは、構造化光プロジェクタを含み、
   前記構造化光プロジェクタはレンズバレルと前記保護カバーとを含み、前記脱落検出回路は第１の電極板と第２の電極板を含み、前記第１の電極板は前記レンズバレルに設定され、前記第２の電極板は、前記保護カバーに設定されて前記第１の電極板と間隔を置いて対向し、前記第２の電極板は、前記第１の電極板と共に検出コンデンサを構成する、
   ことを特徴とする請求項１または２に記載の深度プロセッサ。
4. 前記構造化光深度カメラは、構造化光プロジェクタを含み、
   前記構造化光プロジェクタはレンズバレルと前記保護カバーとを含み、
   前記脱落検出回路は圧力センサと接続回路とを含み、
   前記圧力センサは前記レンズバレルと前記保護カバーとの間に設定されて圧力を受け、前記圧力センサは前記接続回路に接続され、検出回路を形成可能である、
   ことを特徴とする請求項１～３のいずれかに記載の深度プロセッサ。
5. 前記構造化光深度カメラは構造化光プロジェクタを含み、
   前記構造化光プロジェクタは、基板アセンブリと、前記基板アセンブリに設定されるレンズバレルと、前記保護カバーと、を含み、
   前記保護カバーは、保護上壁と前記保護上壁の周縁から延在する保護側壁とを含み、前記脱落検出回路は、送信機と受信機とを含み、前記送信機と前記受信機のうちの少なくとも一方は、前記保護側壁に設定され、他方は、前記基板アセンブリに設定され、前記送信機と前記受信機は、対向して設定されて前記脱落検出回路を形成する、
   ことを特徴とする請求項１～４のいずれかに記載の深度プロセッサ。
6. 前記第１の画像は、飛行時間深度カメラによって採集された飛行時間画像をさらに含み、前記深度画像は、少なくとも構造化光深度画像と飛行時間深度画像とを含む、
   ことを特徴とする請求項１～５のいずれかに記載の深度プロセッサ。
7. 前記データ処理エンジンは構造化光深度処理エンジンを含み、前記構造化光深度処理エンジンは、参照画像と前記構造化光画像とに基づいて前記構造化光深度画像を計算するために用いられる、
   ことを特徴とする請求項６に記載の深度プロセッサ。
8. 前記データ処理エンジンは飛行時間深度処理エンジンを含み、前記飛行時間深度処理エンジンは、前記飛行時間画像に基づいて前記飛行時間深度画像を計算するために用いられる、
   ことを特徴とする請求項６または７に記載の深度プロセッサ。
9. 前記第１の画像は可視光カメラによって採集された可視光画像をさらに含み、前記データ処理エンジンは可視光画像処理エンジンをさらに含み、前記可視光画像処理エンジンは、前記可視光画像を処理して前記可視光画像における撮影面積が予め設定された面積より小さい物体を認識するために用いられ、
   前記データ処理エンジンは補正エンジンをさらに含み、前記補正エンジンは、前記飛行時間深度画像により前記構造化光深度画像における前記物体に対応する画素の深度情報を補正するために用いられる、
   ことを特徴とする請求項６～８のいずれかに記載の深度プロセッサ。
10. 前記深度プロセッサは、前記データ処理エンジンと前記出力ポートとの間に接続された出力スイッチをさらに含み、
    前記出力スイッチは、全部又は一部の前記第２の画像を通過させて前記本体機器に出力するために用いられ、
    前記深度プロセッサは、第１のバスデバイスと第２のバスデバイスとをさらに含み、
    前記第１のバスデバイスは、前記深度プロセッサに接続される周辺機器を制御するために用いられ、ブリッジを介して前記第２のバスデバイスに接続され、
    前記第２のバスデバイスには制御ユニットが接続され、前記制御ユニットは、前記第２のバスデバイスを介して前記入力スイッチのインターフェース、前記出力スイッチのインターフェース、及び前記周辺機器のインターフェースを管理するために用いられる、
    ことを特徴とする請求項６～９のいずれかに記載の深度プロセッサ。
11. 前記構造化光深度カメラは、構造化光プロジェクタを含み、
    前記保護カバーが脱落した場合、前記本体機器は、前記第１のバスデバイスを介して前記構造化光プロジェクタを制御してオフにし、
    前記第１のバスデバイスは、前記本体機器のニーズに応じた深度画像タイプに基づいて前記ニーズに対応する周辺機器の開始を制御するためにも用いられる、
    ことを特徴とする請求項１０に記載の深度プロセッサ。
12. ３次元画像機器であって、
    深度プロセッサと、
    構造化光プロジェクタと構造化光画像コレクターとを含む構造化光深度カメラと、を含み、
    前記構造化光画像コレクターは、前記構造化光プロジェクタによって対象空間に投影された構造化光画像を採集するために用いられ、
    飛行時間プロジェクタと飛行時間画像コレクターとを含む飛行時間深度カメラをさらに含み、
    前記飛行時間画像コレクターは、前記飛行時間プロジェクタによって対象空間に投影され、且つ対象空間内の物体によって反射された赤外線を受信するために用いられ、
    前記深度プロセッサは、
    第１の画像を受信するための少なくとも二つの入力ポートと、
    前記少なくとも二つの入力ポートに接続され、前記入力ポートからの一部又は全部の第１の画像を通過させるための入力スイッチと、
    前記入力スイッチに接続され、前記入力スイッチを介して出力された第１の画像を処理して第２の画像を出力するデータ処理エンジンであって、前記第２の画像は少なくとも深度画像を含むデータ処理エンジンと、及び
    前記データ処理エンジンに接続され、前記第２の画像を本体機器に出力するための少なくとも一つの出力ポートと、を含み、
    前記３次元画像機器は
    検出電気信号を出力するための脱落検出回路をさらに含み、
    前記検出電気信号は、前記構造化光深度カメラの保護カバーが脱落したか否かを判定するために用いられる、
    ことを特徴とする３次元画像機器。
13. 前記構造化光深度カメラをフロントデバイスとし、前記飛行時間深度カメラをリアデバイスとし、前記構造化光深度カメラ及び前記飛行時間深度カメラは切り替え指令に応答して切り替えられ、及び
    第１の画像は、少なくとも構造化光深度カメラによって採集された構造化光画像と、飛行時間深度カメラによって採集された飛行時間画像とを含む、
    ことを特徴とする請求項１２に記載の３次元画像機器。

Images