JPWO2021159048A5

JPWO2021159048A5 -

Info

Publication number: JPWO2021159048A5
Application number: JP2022547862A
Authority: JP
Publication date: 2024-02-19

Claims

画像データを生成するための第１および第２カメラを有するカメラアセンブリを有するロボットサブシステム、
コンピューティングユニット、
を備え、
前記コンピューティングユニットは、
前記画像データを処理するためのプロセッサ、
前記ロボットサブシステムを制御するための制御ユニット、
前記第１および第２カメラによって生成された前記画像データを受信し、前記画像データに基づいて、複数の深度マップを生成し、前記複数の深度マップを、関連する距離データを有する単一の複合深度マップに変換するための深度知覚サブシステム、
を有する、
外科用ロボットシステム。
前記ロボットサブシステムはさらに、
複数のロボットアームと、前記複数のロボットアームおよび前記カメラアセンブリの移動を制御するためのモータユニットとを備える、
請求項１記載の外科用ロボットシステム。
前記制御ユニットは、前記単一の複合深度マップに関連付けられた前記距離データを使用して、前記カメラアセンブリまたは前記ロボットアームのうちの１つを制御する、請求項２記載の外科用ロボットシステム。
前記深度知覚サブシステムはさらに、
前記複数の深度マップを受信し、前記深度マップを前記単一の複合深度マップに変換するための深度マップ変換ユニットを備える、
請求項１記載の外科用ロボットシステム。
前記深度マップ変換ユニットは、領域畳み込みニューラルネットワーク（Ｒ－ＣＮＮ）技法を使用して前記単一の複合深度マップを生成する、請求項４記載の外科用ロボットシステム。
前記第１および第２カメラはそれぞれ、
光学データを受信し、それに応答して前記画像データを生成する画像センサ、
前記光学データを前記画像センサ上に合焦させるために前記画像センサと光学的に結合された１つまたは複数のレンズ要素を有するレンズおよび光学システム、
前記１つまたは複数のレンズ要素を自動的に調整し、オートフォーカスデータを生成する、前記レンズおよび光学システムに関連付けられたオートフォーカス機構、
を備える、
請求項１記載の外科用ロボットシステム。
前記深度知覚サブシステムは、
前記第１カメラから前記オートフォーカスデータを受信し、前記オートフォーカスデータを第１オートフォーカス深度マップに変換するための第１オートフォーカス変換ユニット、
前記第２カメラから前記オートフォーカスデータを受信し、前記オートフォーカスデータを第２オートフォーカス深度マップに変換するための第２オートフォーカス変換ユニット、
を備える、
請求項６記載の外科用ロボットシステム。
前記深度知覚サブシステムはさらに、
前記第１カメラから画像データを受信し、前記画像データを第１視差深度マップに変換するための第１視差変換ユニット、
前記第２カメラから画像データを受信し、前記画像データを第２視差深度マップに変換するための第２視差変換ユニット、
を備える、
請求項７記載の外科用ロボットシステム。
前記深度知覚サブシステムはさらに、
前記第１カメラからの画像データおよび前記第２カメラからの画像データを受信し、それに応答して視差深度マップを生成するための視差変換ユニットを備える、
請求項８記載の外科用ロボットシステム。
前記深度知覚サブシステムは、
前記第１カメラから前記オートフォーカスデータを受信し、前記オートフォーカスデータを第１オートフォーカス深度マップに変換するための第１オートフォーカス変換ユニット、
前記第２カメラから前記オートフォーカスデータを受信し、前記オートフォーカスデータを第２オートフォーカス深度マップに変換するための第２オートフォーカス変換ユニット、
前記第１カメラから画像データを受信し、前記画像データを第１視差深度マップに変換するための第１視差変換ユニット、
前記第２カメラから画像データを受信し、前記画像データを第２視差深度マップに変換するための第２視差変換ユニット、
前記第１カメラから画像データを受信し、前記第２カメラから画像データを受信し、それに応答して視差深度マップを生成するための視差変換ユニット、
のうちの１つまたは複数を備える、
請求項６記載の外科用ロボットシステム。
前記第１および第２視差ユニットの各々は、前記画像データ内の第１および第２連続画像を取得し、前記第１画像の各部分が前記第２画像に対して移動する量を測定するように構成される、請求項１０記載の外科用ロボットシステム。
前記第１および第２カメラの各々は位置データを生成し、前記第１および第２視差変換ユニットの各々は、
各前記カメラから前記画像データを受信し、前記画像データを複数のセグメントに分割し、前記複数のセグメントに応答して、シフトされた画像データを生成する分離ユニット、
各前記カメラから前記位置データを受信し、前記カメラの前記位置を示すカメラ移動データをそれに応答して生成する移動決定ユニット、
前記画像データおよび前記カメラ移動データを受信し、前記画像データおよび前記カメラ移動データを各前記視差深度マップに変換する距離変換ユニット、
を備える、
請求項１１記載の外科用ロボットシステム。
前記距離変換ユニットは、領域畳み込みニューラルネットワーク（Ｒ－ＣＮＮ）技法を使用して、各前記視差深度マップを生成する、請求項１２記載の外科用ロボットシステム。
前記視差変換ユニットは、前記第１カメラから受信された前記画像データ内の画像と前記第２カメラから受信された前記画像データ内の画像との間の視差を分析する、請求項１０記載の外科用ロボットシステム。
前記第１および第２カメラからの前記画像間の前記視差は、層状局所畳み込みニューラルネットワーク（Ｒ－ＣＮＮ）技法を使用して決定される、請求項１４記載の外科用ロボットシステム。
前記深度知覚サブシステムはさらに、
前記第１オートフォーカス深度マップ、前記第２オートフォーカス深度マップ、前記第１視差深度マップ、前記第２視差深度マップ、および前記視差深度マップを受信し、受信深度マップを形成し、前記受信深度マップを前記単一の複合深度マップに変換する深度マップ変換ユニットを備える、
請求項１０記載の外科用ロボットシステム。
前記深度マップ変換ユニットは、領域畳み込みニューラルネットワーク（Ｒ－ＣＮＮ）ベースのエンコーダ－デコーダアーキテクチャを使用して、前記単一の複合深度マップを生成する、請求項１６記載の外科用ロボットシステム。
各前記受信深度マップにおける各点はそれに関連する距離値を有し、前記深度マップ変換ユニットは、
前記受信深度マップを受信し、前記受信深度マップを前記単一の複合深度マップに変換するための深度マップ生成ユニット、
前記受信深度マップから、前記単一の複合深度マップの各々の点に関連する前記距離値の各々に関連する信頼値を生成するための信頼値生成ユニット、
を備え、
前記信頼値は、前記単一の複合深度マップに関連する前記距離値における信頼度を示す、
請求項１７記載の外科用ロボットシステム。
外科用ロボットシステムにおいて画像データから深度マップを生成する方法であって、画像データを生成するための第１および第２カメラを有するカメラアセンブリを有するロボットサブシステムを提供するステップ、
前記第１および第２カメラからの画像データに基づいて、複数の深度マップを生成するステップ、
前記複数の深度マップを、それに関連する距離データを有する単一の複合深度マップに変換するステップ、
前記単一の複合深度マップにおける前記距離データに基づいて前記カメラアセンブリを制御するステップ、
を有する方法。
前記ロボットサブシステムは、複数のロボットアームと、前記複数のロボットアームおよび前記カメラアセンブリの動きを制御するためのモータユニットとをさらに備え、
前記方法はさらに、前記単一の複合深度マップ内の前記距離データに基づいて前記ロボットアームを制御するステップを有する、
請求項１９記載の方法。
前記第１および第２カメラの各々は、
光学データを受信し、それに応答して前記画像データを生成するための画像センサ、
前記光学データを前記画像センサ上に合焦させるために前記画像センサと光学的に結合された１つまたは複数のレンズ要素を有するレンズおよび光学システム、
前記１つまたは複数のレンズ要素を自動的に調整し、オートフォーカスデータを生成するための、前記レンズおよび光学システムに関連するオートフォーカス機構、
を備える、
請求項１９記載の方法。
前記方法はさらに、
前記第１カメラからの前記オートフォーカスデータを第１オートフォーカス深度マップに変換するステップ、
前記第２カメラからの前記オートフォーカスデータを第２オートフォーカス深度マップ
に変換するステップ、
を有する、請求項２１記載の方法。
前記方法はさらに、
前記第１カメラからの前記画像データを第１視差深度マップに変換するステップ、
前記第２カメラからの前記画像データを第２視差深度マップに変換するステップ、
を有する、請求項２２記載の方法。
前記方法はさらに、前記第１カメラからの前記画像データおよび前記第２カメラからの前記画像データから視差深度マップを生成するステップを有する、請求項２３記載の方法。
前記方法はさらに、
前記第１カメラからの前記オートフォーカスデータを第１オートフォーカス深度マップに変換するステップ、
前記第２カメラからの前記オートフォーカスデータを第２オートフォーカス深度マップに変換するステップ、
前記第１カメラからの前記画像データを第１視差深度マップに変換するステップ、
前記第２カメラからの前記画像データを第２視差深度マップに変換するステップ、
前記第１カメラからの前記画像データおよび前記第２カメラからの前記画像データから視差深度マップを生成するステップ、
のうちの１つまたは複数を有する、請求項２１記載の方法。
前記第１カメラからの前記画像データを第１視差深度マップに変換するステップは、
前記画像データ内の第１および第２連続画像を取得するステップ、
前記第１画像の各部分が前記第２画像に対して移動する量を測定するステップ、
を有する、請求項２５記載の方法。
前記第２カメラからの前記画像データを第２視差深度マップに変換するステップは、
前記画像データ内の第１および第２連続画像を取得するステップ、
前記第１画像の各部分が前記第２画像に対して移動する量を測定するステップ、
を有する、請求項２６記載の方法。
前記第１カメラは位置データを生成し、前記方法はさらに、
前記第１カメラからの前記画像データを複数のセグメントに分割し、前記複数のセグメントに応答して、シフトされた画像データを生成するステップ、
前記位置データに応答して、前記カメラの位置を示す前記第１カメラ移動データから、生成するステップ、
前記画像データおよび前記カメラ移動データを、前記第１視差深度マップに変換するステップ、
を有する、請求項２５記載の方法。
前記第２カメラは位置データを生成し、前記方法はさらに、
前記第２カメラからの前記画像データを複数のセグメントに分割し、前記複数のセグメントに応答して、シフトされた画像データを生成するステップ、
前記位置データに応答して、前記カメラの位置を示す前記第２カメラ移動データから、生成するステップ、
前記画像データおよび前記カメラ移動データを、前記第２視差深度マップに変換するステップ、
を有する、請求項２８記載の方法。
前記第１カメラからの前記画像データおよび前記第２カメラからの前記画像データから前記視差深度マップを生成するステップは、前記第１カメラから受信された前記画像データ内の画像と前記第２カメラから受信された前記画像データ内の画像との間の前記視差を分析するステップをさらに有する、請求項２５記載の方法。
前記方法はさらに、
前記第１オートフォーカス深度マップ、前記第２オートフォーカス深度マップ、前記第１視差深度マップ、前記第２視差深度マップ、および前記視差深度マップを受信し、受信深度マップを形成するステップ、
前記受信深度マップを前記単一の複合深度マップに変換するステップ、
を有する、請求項２５記載の方法。
各前記受信深度マップにおける各点はそれに関連する距離値を有し、前記方法はさらに、
前記受信された深度マップから、前記単一の複合深度マップの各々の点に関連する前記距離値の各々に関連する信頼値を生成するステップを有し、
前記信頼値は、前記単一の複合深度マップに関連する前記距離値における信頼度を示す、
請求項３１記載の方法。
前記複数の深度マップが、第１オートフォーカス深度マップ、第２オートフォーカス深度マップ、第１視差深度マップ、第２視差深度マップ、視差深度マップのうちの少なくとも２つを含む、請求項１記載の外科用ロボットシステム。
前記複数の深度マップが、第１オートフォーカス深度マップ、第２オートフォーカス深度マップ、第１視差深度マップ、第２視差深度マップ、視差深度マップのうちの少なくとも２つを含む、請求項１９記載の方法。