JP6968898B2 - 仮想現実または拡張現実環境において複雑なデータをレンダリングするためのシステムおよび方法 - Google Patents

Description

本発明は一般的に、イメージングデータを仮想現実または拡張現実において見られ得るフォーマットにレンダリングすることに関する。より具体的には、本発明は仮想現実または拡張現実において３次元（３Ｄ：ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ）オブジェクトをレンダリングすることに関する。

現行の仮想現実または拡張現実システムが存在し、これは一般的に１つまたはそれ以上の２次元（２Ｄ：ｔｗｏ−ｄｉｍｅｎｓｉｏｎａｌ）スクリーンに３Ｄオブジェクトのコンピュータ生成シミュレーションを表示することを含む。３Ｄオブジェクトに基づいて２Ｄ画像を作成することは、かなりのコンピューティングリソースを必要とし得る。公知のシステムおよび方法は一般的に、性能の低さに苦慮している。たとえば、２Ｄフレームにおける画素の値を定めるために多くの（３Ｄオブジェクトの）サンプルおよび計算が必要となり得るため、いくつかの公知のシステムおよび方法は適切な解像度を提供しないことがある。加えて、たとえばズームまたは回転などの動作が必要とされるとき、公知のシステムおよび方法は遅延を被る。

加えて、重複する（例、互いに接する）トポロジを有する１つまたはそれ以上の部分を有する３Ｄオブジェクトを視覚化することは、特に仮想現実（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）（「ＶＲ」）および／または拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）（「ＡＲ」）においては複雑なタスクになり得る。たとえば、３Ｄオブジェクトは通常、メッシュを用いて表示される。重複部分（例、相互トポロジ）を有する３Ｄオブジェクトに基づいて作成されたメッシュにおいては、通常、重複部分を互いに区別できなくなる。たとえば、互いに接する別個の３Ｄオブジェクトが相互トポロジを有するメッシュを有するとき、現行のシステムは通常、交差するメッシュを作成する。しかし、互いに接する別個の３Ｄオブジェクトのメッシュは通常交差するべきではない。なぜなら、たとえばそれは通常、それらの３Ｄオブジェクトが別個のものであるという事実を正確に表すことができないからである。

たとえばＡＲ／ＶＲ技術におけるステレオビジョンなどによって、交差するメッシュはユーザによって検出可能になり得る。公知のシステムおよび方法は、ＡＲ／ＶＲ技術における視覚化に対して正確であり得る異なる３Ｄオブジェクトからのメッシュ（またはメッシュのセット）を適切に作成できない可能性がある。

本発明の１つの利点は、見る人がオブジェクトを区別できるような方式で、複雑な生体構造（例、重複するオブジェクトを有する生体構造）のＡＲ／ＶＲ視覚化を提供できることである。本発明の別の利点は、たとえば３Ｄオブジェクトの正確な表現などによって、ユーザに３Ｄオブジェクトのより明瞭な理解を提供できることである。

したがって本発明の態様において、方法および非一時的コンピュータ可読媒体は、イメージングデータからオブジェクトの３次元（３Ｄ）仮想現実または拡張現実レンダリングを作成するための方法をコンピュータに行わせるためのプログラム命令を含む。

本発明の実施形態によると、イメージングデータに基づくオブジェクトタイプが定められ、そのオブジェクトタイプに基づくマスクのセットが作成される。各マスクはオブジェクトの一意の部分を表すことができ、それぞれのマスクの一意の部分に対応するイメージングデータからの複数のボクセルおよび一意の視覚マーカが割り当てられ得る。

マスクのセットの外側マスクが定められてもよく、この外側マスクから３Ｄメッシュが作成され得る。外側マスクの３Ｄメッシュの内壁の各頂点に対して、それぞれの現行ボクセルに対して外側マスクを除く各マスクに対して各ボクセルに対する測地的距離が定められ、頂点に対する最短の測地的距離を有するボクセルと同じ視覚マーカを有するように現行頂点のそれぞれの視覚マーカが修正され得る。外側マスクおよびすべてのマスクのそれぞれの一意の視覚マーカに基づいて、オブジェクトの３Ｄ仮想現実または拡張現実レンダリングが作成されてもよい。

いくつかの実施形態において、マスクに割り当てられていない複数のボクセルの各ボクセルに対して、現行ボクセルに対する最短距離にあるボクセルを有するマスクのセットからの１つのマスクが定められてもよく、その１つのマスクの一意の視覚マーカと同じ視覚マーカが現行ボクセルに割り当てられてもよい。一意の視覚マーカは色マーカ、パターン、またはそれらの任意の組み合わせであってもよい。

いくつかの実施形態において、予め定められた閾値を有するボックスフィルタを適用することによって、外側マスクが修正されてもよい。

特定の実施形態において、外側マスクの決定はユーザ入力、オブジェクトタイプ、またはそれらの任意の組み合わせに基づいていてもよい。

この段落の後に挙げられている添付の図面を参照して、以下に本開示の実施形態の非限定的な例が説明されている。２つ以上の図面に現れる同一の特徴は、一般的にそれらが現れるすべての図面において同じラベルでラベル付けされている。図面において本開示の実施形態の所与の特徴を表すアイコンをラベル付けするラベルが、その所与の特徴を参照するために用いられてもよい。図面に示される特徴の寸法は提示の利便性および明瞭性のために選択されたものであり、必ずしも縮尺通りに示されていない。

本発明とみなされる主題は、本明細書の終結部分に特定的に示され、明確に請求されている。しかし本発明は、構成および動作の方法の両方ならびにそれらの目的、特徴および利点に関して、添付の図面とともに読まれたときの以下の詳細な説明を参照することによって最もよく理解されるだろう。本発明の実施形態は例として示されたものであり、添付の図面の図における限定ではなく、図面において類似の参照番号は、対応する類似または同様の構成要素を示す。

本発明のいくつかの実施形態による例示的コンピュータデバイスを示す高レベルブロック図である。 本発明のいくつかの実施形態による方法を示す流れ図である。 本発明の例示的実施形態による、内壁および外壁を有する心臓メッシュの断面の例を示す図である。

例示の簡潔性および明瞭性のために、図面に示される構成要素は必ずしも正確または縮尺通りに描かれていないことが理解されるだろう。たとえば、明瞭性のためにいくつかの構成要素の寸法が他の構成要素に比べて誇張されていることがあり、いくつかの物理的コンポーネントが１つの機能ブロックまたは構成要素に含まれていることもある。さらに、適切と考えられるときには、対応または類似の構成要素を示すために図面間で参照番号が繰り返されることがある。

以下の詳細な説明において、本発明の完全な理解を提供するために多数の特定の詳細が示される。しかし、本発明はこれらの特定の詳細を伴わずに実行されてもよいことが当業者に理解されるだろう。他の場合には、本発明を不明瞭にしないために、周知の方法、手順、およびコンポーネント、モジュール、ユニット、および／または回路は詳細に説明されていない。１つの実施形態に関して記載されたいくつかの特徴または構成要素が、他の実施形態に関して記載された特徴または構成要素と組み合わされてもよい。明瞭性のために、同じまたは類似の特徴または構成要素の考察は繰り返さないことがある。

本発明の実施形態はこれに関して限定されないが、たとえば「処理」、「計算」、「算出」、「決定」、「確立」、「分析」、または「チェック」などの用語を用いた考察は、コンピュータのレジスタおよび／またはメモリ内の物理（例、電子）量として表されるデータを操作および／または変換して、コンピュータのレジスタおよび／またはメモリ、または動作および／もしくはプロセスを行うための命令を保存し得るその他の情報非一時的記憶媒体において同様に物理量として表される他のデータにする、コンピュータ、コンピュータプラットフォーム、コンピュータシステム、またはその他の電子コンピュータデバイスの動作（単数または複数）および／またはプロセス（単数または複数）を示すものであってもよい。本発明の実施形態はこれに関して限定されないが、本明細書において用いられる「複数（ｐｌｕｒａｌｉｔｙ）」および「複数（ａ ｐｌｕｒａｌｉｔｙ）」という用語は、たとえば「多数（ｍｕｌｔｉｐｌｅ）」または「２つまたはそれ以上」などを含んでもよい。「複数（ｐｌｕｒａｌｉｔｙ）」または「複数（ａ ｐｌｕｒａｌｉｔｙ）」という用語は、２つまたはそれ以上のコンポーネント、デバイス、構成要素、ユニット、またはパラメータなどを記載するために、本明細書全体にわたって用いられてもよい。本明細書において用いられるときのこの用語セットは、１つまたはそれ以上の項目を含んでもよい。明確に述べられない限り、本明細書に記載される方法の実施形態は、特定の順序または順番に拘束されない。加えて、記載される方法の実施形態またはその構成要素のいくつかが同時に、同時点で、または並行して発生または実行されてもよい。

本発明のいくつかの実施形態による例示的コンピュータデバイス（またはシステム）の高レベルブロック図を示す図１を参照する。コンピュータデバイス１００は、たとえば中央処理ユニットプロセッサ（ＣＰＵ：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ ｐｒｏｃｅｓｓｏｒ）、チップ、または任意の好適なコンピューティングもしくはコンピュータによるデバイスなどであってもよいコントローラ１０５と、オペレーティングシステム１１５と、メモリ１２０と、実行可能コード１２５と、記憶システム１３０と、入力デバイス１３５と、出力デバイス１４０とを含んでもよい。

コントローラ１０５（または１つもしくはそれ以上のコントローラもしくはプロセッサ、おそらくは複数のユニットまたはデバイスにまたがる）は、本明細書に記載される方法を行うため、および／またはさまざまなモジュール、ユニットなどとして実行もしくは作用するために構成されてもよい。本発明の例示的実施形態によるシステムのコンポーネントに２つ以上のコンピュータデバイス１００が含まれていてもよいし、１つまたはそれ以上のコンピュータデバイス１００がそのコンポーネントであるか、またはそのコンポーネントとして作用してもよい。たとえば、第１のコンピュータデバイス１００が３Ｄモデル作成の方法を行ってもよく、第２のコンピュータデバイス１００がディスプレイにおけるモデルのレンダリングの方法を行ってもよい。

オペレーティングシステム１１５は、調整、スケジューリング、調停、監視、制御、またはコンピュータデバイス１００の別様の管理動作、たとえばソフトウェアプログラムの実行もしくは実行可能コードセグメントのスケジューリング、またはソフトウェアプログラムもしくはその他のモジュールもしくはユニットを通信可能にすることなどを含むタスクを行うように設計および／または構成された任意のコードセグメント（例、本明細書に記載される実行可能コード１２５と類似のもの）であってもよいし、それを含んでもよい。オペレーティングシステム１１５は市販のオペレーティングシステムであってもよい。

メモリ１２０は、たとえばランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、リードオンリメモリ（ＲＯＭ：ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、ダイナミックＲＡＭ（ＤＲＡＭ：Ｄｙｎａｍｉｃ ＲＡＭ）、同期ＤＲＡＭ（ＳＤ−ＲＡＭ：Ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ）、ダブルデータレート（ＤＤＲ：ｄｏｕｂｌｅ ｄａｔａ ｒａｔｅ）メモリチップ、フラッシュメモリ、揮発性メモリ、不揮発性メモリ、キャッシュメモリ、バッファ、短期メモリユニット、長期メモリユニット、またはその他の好適なメモリユニットもしくは記憶ユニットなどであってもよいし、それを含んでもよい。メモリ１２０は、複数の異なる可能性のあるメモリユニットであってもよいし、それらを含んでもよい。メモリ１２０はコンピュータもしくはプロセッサの非一時的可読媒体、またはコンピュータ非一時的記憶媒体、たとえばＲＡＭなどであってもよい。

実行可能コード１２５は、たとえばアプリケーション、プログラム、プロセス、タスク、またはスクリプトなどの任意の実行可能コードであってもよい。実行可能コード１２５は、おそらくはオペレーティングシステム１１５の制御下で、コントローラ１０５によって実行されてもよい。たとえば、本明細書にさらに記載されるとおり、実行可能コード１２５は３Ｄモデルを自動的に作成し、かつ／またはモニタにおいて画像をレンダリングするアプリケーションであってもよい。明瞭性のために、図１には単一項目の実行可能コード１２５が示されているが、本発明の例示的実施形態によるシステムは、メモリ１２０にロードされて本明細書に記載される方法をコントローラ１０５に行わせてもよい実行可能コード１２５と類似の複数の実行可能コードセグメントを含んでもよい。たとえば、本明細書に記載されるユニットまたはモジュールは、コントローラ１０５、メモリ１２０、および実行可能コード１２５であってもよいし、それらを含んでもよい。

記憶システム１３０は、たとえばハードディスクドライブ、コンパクトディスク（ＣＤ：Ｃｏｍｐａｃｔ Ｄｉｓｋ）ドライブ、記録可能ＣＤ（ＣＤ−Ｒ：ＣＤ−Ｒｅｃｏｒｄａｂｌｅ）ドライブ、ブルーレイディスク（ＢＤ：Ｂｌｕ−ｒａｙ ｄｉｓｋ）、ユニバーサルシリアルバス（ＵＳＢ：ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ）デバイス、またはその他の好適な取り外し可能かつ／もしくは固定記憶ユニットなどであってもよいし、それを含んでもよい。コンテンツは記憶システム１３０に保存されてもよく、記憶システム１３０からメモリ１２０にロードされてもよく、そこでコントローラ１０５によって処理されてもよい。示されるとおり、記憶システム１３０は３Ｄオブジェクトストア（例、イメージングデータストア１３１）と、マスク１３２と、レンダリングデータ１３３とを含んでもよい。記憶システム１３０に保存されるデータを、本明細書においてさらに説明する。

３Ｄオブジェクトストアは３Ｄオブジェクトを含み得る。３Ｄオブジェクトは、３Ｄオブジェクトを表す任意のデータを含み得る。３Ｄオブジェクトは３Ｄイメージングデータ、メッシュデータ、体積オブジェクト、多角形メッシュオブジェクト、ポイントクラウド、３Ｄオブジェクトの関数表現、ｃａｄファイル、３Ｄ ｐｄｆファイル、ＳＴＬファイル、および／または３Ｄオブジェクトを表し得る任意の入力を含み得る。３Ｄイメージングデータは、コンピュータ断層撮影（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）（「ＣＴ」）イメージングデータ、コーンビーム断層撮影（Ｃｏｎｅ Ｂｅａｍ Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）（「ＣＢＣＴ」）イメージングデータ、磁気共鳴イメージング（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）（「ＭＲＩ」）イメージングデータおよび／もしくはＭＲＡイメージングデータ（例、造影剤を伴うＭＲＩ）、または超音波イメージングデータを含む医療用イメージングデータを含み得る。３Ｄオブジェクトは生体構造（例、複雑な生体構造）、工業用データ、または任意の３Ｄオブジェクトのものであり得る。

いくつかの実施形態において、図１に示されるコンポーネントのいくつかが省略されてもよい。たとえば、メモリ１２０は、記憶システム１３０の記憶容量を有する不揮発性メモリであってもよい。したがって、別個のコンポーネントとして示されているが、記憶システム１３０はメモリ１２０に埋め込まれるか、または含まれていてもよい。

入力デバイス１３５はマウス、キーボード、タッチスクリーンもしくはパッド、または任意の好適な入力デバイスであってもよいし、それを含んでもよい。ブロック１３５によって示されるとおり、コンピュータデバイス１００に任意の好適な数の入力デバイスが動作的に接続されてもよいことが認識されるだろう。出力デバイス１４０は１つまたはそれ以上のスクリーン、ディスプレイもしくはモニタ、スピーカ、および／または任意のその他の好適な出力デバイスを含んでもよい。ブロック１４０によって示されるとおり、コンピュータデバイス１００に任意の好適な数の出力デバイスが動作的に接続されてもよいことが認識されるだろう。

ブロック１３５および１４０によって示されるとおり、コンピュータデバイス１００に任意の適用可能な入力／出力（Ｉ／Ｏ：ｉｎｐｕｔ／ｏｕｔｐｕｔ）デバイスが接続されてもよい。たとえば、入力デバイス１３５および／または出力デバイス１４０には有線または無線のネットワークインタフェースカード（ＮＩＣ：ｎｅｔｗｏｒｋ ｉｎｔｅｒｆａｃｅ ｃａｒｄ）、プリンタ、ユニバーサルシリアルバス（ＵＳＢ）デバイス、または外部ハードドライブが含まれてもよい。

本発明の例示的実施形態によるシステムは、たとえば複数の中央処理ユニット（ＣＰＵ）または任意のその他の好適な多目的もしくは特定のプロセッサもしくはコントローラ（例、コントローラ１０５と類似のコントローラ）、複数の入力ユニット、複数の出力ユニット、複数のメモリユニット、および複数の記憶ユニットなどであるがそれらに限定されないコンポーネントを含んでもよい。このシステムは付加的に、他の好適なハードウェアコンポーネントおよび／またはソフトウェアコンポーネントを含んでもよい。いくつかの実施形態において、システムはたとえばパーソナルコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、ワークステーション、サーバコンピュータ、ネットワークデバイス、または任意のその他の好適なコンピュータデバイスなどを含んでもよいし、それであってもよい。たとえば、本明細書に記載されるシステムは、たとえばコンピュータデバイス１００などの１つまたはそれ以上のデバイスを含んでもよい。

イメージングデータ１３１は当該技術分野において公知の任意のイメージングデータであってもよく、たとえばイメージングデータ１３１は、たとえばコンピュータ断層撮影（ＣＴ）システム、または磁気共鳴イメージング（ＭＲＩ）システム、および／またはコーンビーム断層撮影（ＣＢＣＴ）システムによって生成されるものなどの医療用データであってもよい。

マスク１３２に含まれるマスクは、３Ｄモデルにおけるオブジェクトのセットであってもよいし、それを示してもよいし、それに関係してもよい。たとえばマスクは、オブジェクトのセットを列挙するか、またはそれを指してもよく、たとえばイメージングデータのボクセルがマスクに関連付けられ（または含まれ）てもよい。マスクはたとえば、より大きなデータセットの各ボクセルまたはデータ点に対するたとえばブール型（例、１／０、ｙｅｓ／ｎｏ）値などを含むデータ構成であってもよい。マスクは、ボクセルの外観を指定する視覚マーカ（例、色および／またはパターン）を含んでもよい。マスクは、より大きいデータセットに適用されたときに、ボクセルがマーク付けされたかマーク付けされていないかを示してもよい。ボクセルは当該技術分野において公知であり、一般的にボクセルは体積の構成要素のグループのうちの１つの構成要素であってもよく、その体積は（例、当該技術分野において公知であるデジタルデータを用いて）３Ｄ空間および／または３Ｄオブジェクトを表してもよい。

レンダリングデータ１３３は、スクリーンまたはモニタにおいて画像をレンダリングするために使用できる任意のデータであってもよい。たとえば、レンダリングデータ１３３は、当該技術分野において公知であるとおりに画像をレンダリングするために用いられてもよい画素値のセット（例、赤色、緑色および青色（ＲＧＢ：ｒｅｄ，ｇｒｅｅｎ ａｎｄ ｂｌｕｅ）値、色相、および強度など）であってもよい。

本発明のいくつかの実施形態において、システムは入力として、オブジェクト（例、たとえば頭部または心臓などの器官）のイメージングデータを受信できる。システムは、メモリにマスクを保存および検索でき、かつ／またはオブジェクトのタイプに対応するマスクのセットを受信できる。システムは、マスクのセット中の各マスクに対応するイメージングデータを入れることができる。たとえば、心臓のイメージングデータ、左心室マスク、および右心室マスクをメモリから検索できる。心臓の右心室に対応するイメージングデータの部分が右心室マスクに割り当てられてもよく、左心室マスクに対応するイメージングデータの部分が左心室マスクに割り当てられてもよい。

システムは、割り当てられたイメージングデータを有するマスクのセットをレンダリングして、仮想現実または拡張現実において見ることのできるフォーマットにできる（例、器官またはオブジェクトの３Ｄモデルへの仮想現実または拡張現実レンダリング）。任意のファイルフォーマットが用いられてもよく、たとえば本発明の実施形態は、たとえば標準三角言語（ＳＴＬ：ｓｔａｎｄａｒｄ ｔｒｉａｎｇｌｅ ｌａｎｇｕａｇｅ）、またはポリゴンファイルフォーマット（ｐｏｌｙｇｏｎ ｆｉｌｅ ｆｏｒｍａｔ）もしくはスタンフォードトライアングルフォーマット（ｓｔａｎｆｏｒｄ ｔｒｉａｎｇｌｅ ｆｏｒｍａｔ）（ＰＬＹ）などのフォーマットを使用してもよい。たとえば、ＣＴまたはＭＲＩシステムから受信したイメージングデータに基づき、かつマスクのセットに基づいて、いくつかの実施形態は心室、血管、またはシステムなどの３Ｄ着色仮想現実または拡張現実レンダリングを生成してもよい。

いくつかの実施形態は、セグメント化オブジェクト（例、心臓の心臓区域）の３Ｄ仮想現実または拡張現実レンダリングを作成してもよく、その仮想現実または拡張現実レンダリングを用いて、たとえばオキュラスリフト（Ｏｃｕｌｕｓ Ｒｉｆｔ）またはマイクロソフト（Ｍｉｃｒｏｓｏｆｔ）のホロレンズヘッドセットなどのＶＲグラスなどを介した仮想現実または拡張現実（ＶＲ）システムにおいてセグメント化オブジェクトを表示してもよい。

いくつかの実施形態において、３Ｄ仮想レンダリングは着色されてもよい。たとえば、着色された仮想現実または拡張現実レンダリング３Ｄモデルにおける血管は赤色であってもよく、骨は白色であってもよく、以下同様である。仮想現実または拡張現実レンダリング３Ｄモデルは任意の数の色を含んでもよく、たとえばそれは黒色および白色のみ、灰色のさまざまな陰影、または色スペクトルに沿った任意の色を含んでもよい。

上述のとおり、イメージングデータの仮想現実または拡張現実レンダリングは、マスクのセットの１つまたはそれ以上のマスクにイメージングデータを割り当てることによって行われ得る。各マスクは、ボクセルのセットを表し得る。いくつかの実施形態は、マスクに含まれるか、列挙されるか、表されるか、または参照されるボクセルを操作することによって、マスクに対する（またはマスクを伴う）さまざまな動作（例、モルフォロジー演算）を行ってもよい。

たとえば、ボクセルのグループＡは半径Ｒの球形の構成要素によって拡張されてもよく（ここでは

と示される）、ボクセルのグループＡは半径Ｒの球形の構成要素によって侵食されてもよく（ここでは

と示される）、ボクセルのグループＡは半径Ｒの球形の構成要素によって開かれてもよく（ここでは

と示される）、ボクセルのグループＡは半径Ｒの球形の構成要素によって閉じられてもよい（ここでは

と示される）。

図２Ａの、本発明のいくつかの実施形態によるイメージングデータからオブジェクトの３Ｄ仮想現実または拡張現実レンダリングを作成するための方法の流れ図が参照される。ステップ２１０によって示されるとおり、イメージングデータに基づいてオブジェクトタイプが定められてもよい。もしイメージングデータ１３１が心臓のものであれば、オブジェクトタイプは心臓と定められる。もしイメージングデータが複数の構成要素（例、２つの心室および対応する静脈）を含んでいれば、イメージングデータのこれらの構成要素は心臓に属することが定められ得る。

ステップ２１５によって示されるとおり、オブジェクトタイプに基づいてマスクのセットが作成されてもよく、各マスクはオブジェクトの一意の部分を表す。いくつかの実施形態において、もしオブジェクトタイプが心臓であれば、軟部組織、心室、大動脈セグメント、肺動脈セグメントのマスクが作成されてもよく、もしオブジェクトが頭部であれば頭蓋骨マスク、脳マスク、および／または上顎洞骨マスクが作成されてもよい。他の場合、たとえば携帯電話などの電気デバイスがオブジェクトであるときは、本明細書に記載されるとおりにケースマスク、スクリーンマスク、または電気回路のマスクが作成されて使用されてもよい。

いくつかの実施形態において、ユーザはオブジェクトの外側マスク、およびこれらの実施形態においては、選択された外側マスクの内側のマスクのみを選択してもよい。たとえば、肺生体構造全体および心臓生体構造全体（心臓軟部組織、心室、大動脈セグメント、肺動脈セグメント）に対するマスクがあると仮定して、ユーザが軟部組織マスクを選択するとき、結果として得られる画像は軟部組織、心室、大動脈、および肺動脈のみを含んでもよい（それらは筋肉の内側にあるため）。

たとえば、もしオブジェクトタイプがヒトの心臓であれば、ヒトの心臓に対応するマスクのセットは、たとえば以下の表１に示されるとおりの心室およびその他の部分のマスクであってもよい。
ＬＶＭａｓｋ−左心室マスク
ＲＶＭａｓｋ−右心室マスク
ＲＡＭａｓｋ−右心房マスク
ＬＡＭａｓｋ−左心房マスク
ＡｏｒｔａＭａｓｋ−大動脈マスク
ＰＡＭａｓｋ−肺動脈マスク
ＢｌｏｏｄＭａｓｋ−血液量マスク
ＳＴＭａｓｋ−軟部組織マスク
表１

さまざまな実施形態において、ユーザによって入力される各オブジェクトタイプに対するマスクのセットは、別のコンピュータプログラムまたはその任意の組み合わせを介して生成される。当業者に明らかであるとおり、オブジェクトタイプは３Ｄイメージングされ得る任意のオブジェクトであり得る。たとえば、医学的適用に加えて、工業用設定においても３Ｄイメージングが行われ得る。工業用３Ｄイメージングデータは、エンジンおよび電気回路などのものであり得る。

ステップ２２０によって示されるとおり、マスクの各々に、セットまたは複数のボクセル（例、イメージングデータ１３１のボクセルのいくつかまたはすべて）が割り当てられてもよい。たとえば、イメージングデータ１３１において大動脈を記述するか、それに属するか、またはそれに含まれるボクセルは、大動脈マスクに割り当てられてもよい。各マスクには視覚マーカが割り当てられてもよく、たとえば視覚マーカは色であってもよい。視覚マーカは、（例、ユーザインタフェースを介して）ユーザによって割り当てられることも、マスクのタイプに基づいてシステムによって定められることも、それらの任意の組み合わせであることもできる。

ステップ２２５によって示されるとおり、外側マスクが識別および／または決定されてもよい。いくつかの実施形態においては、外側マスクが受信される。たとえば、外側マスクはユーザ入力によって定められ得る。いくつかの実施形態において、外側マスクはオブジェクトタイプに基づいて定められ得る。

オブジェクトタイプが心臓である上記の実施例を続けると、外側マスクを生成するために、心臓の周囲の軟部組織が用いられてもよい。

いくつかの実施形態において、マスクの１つまたはそれ以上が平滑化される。いくつかの実施形態においては、外側マスクが平滑化される。たとえば、もし外側マスクが心臓の軟部組織であれば、心臓の軟部組織のイメージングデータはノイズを含み得るため、たとえばノイズおよび／または望ましくないデータ点を除去するために、当該技術分野において公知であるとおりに外側マスクが平滑化され得る。いくつかの実施形態においては、ボックス平均フィルタ（たとえば、次元［３，３，３］の１つ）を用い、かつ閾値０．５を用いて、外側マスクが平滑化されてもよい。

いくつかの実施形態において、厚いマスク（例、１ボクセルより大きい幅を有するマスク）からメッシュを作成するとき、結果として得られるメッシュは内壁および外壁を有してもよい。これらの実施形態において、外側マスクが識別されるとき、それは外壁に対応し得る。これらの実施形態においては、外側マスクに属しているが、外側マスクに属すると識別されないボクセル（例、内壁のボクセル）が定められ得る。

たとえば図２Ｂは、本発明の例示的実施形態による、内壁および外壁を有する外側マスクを有する心臓メッシュの断面の例を示す。図２Ｂに示されるとおり、筋肉組織２１１５は、その内壁が鉛直線によって示され、その外壁が斜線でパターン化されるような厚さを有する。３Ｄメッシュは外側マスクから作成されるか、またはそれに基づいてもよいため（例、心臓モデリングの場合、筋肉組織は外側マスクである）、その内壁のボクセルは内側マスクの色を用いて着色され得る。各ボクセルは特定のマスクに対応でき、かつ各頂点は特定のメッシュに対応し得るため、結果としてメッシュの内壁の各頂点に対する色が定められ得る。外側マスクのメッシュの頂点は必ずしも内側マスクのボクセル上に置かれなくてもよいため（例、メッシュ作成プロセスによる）、測地的距離ステップが行われ得る。

図２Ａに戻って、この方法は外側マスクからメッシュを作成するステップも含み得る（ステップ２３７）。加えてこの方法は、測地的距離に基づいて頂点の色を定めるステップを含み得る。ステップ２３０によって示されるとおり、マスクのセットのうち外側マスクを除く各マスクに対して、それぞれのマスクの各ボクセルと、外側マスクメッシュの内壁の頂点との測地的距離が定められてもよい。

上述の心臓の実施例を続けると、それぞれのマスクの各ボクセルと、外側マスクのメッシュの内壁の頂点との測地的距離を定めるステップは、たとえば以下のＥＱＮ．１に示されるとおり、１によってＢｌｏｏｄＭａｓｋを拡張することによってＴｒａｖｅｒｓｅＭａｓｋ（例、メッシュの内壁の範囲を包含し得る）を生成するステップを含み得る。

心室および／または血管マスク（例、ＬＶＭａｓｋ、ＲＶＭａｓｋ）の各々を、１ボクセル半径によって拡張する（例、上述の

演算を用いる）。

各マスクおよび各頂点の間の測地的距離が定められ得る。心臓の実施例を続けると、各頂点と各心室および血管マスクとの間の横断マスクにおける測地的距離が定められ得る。各頂点の視覚マーカは、頂点に対する最短の測地的距離を有する（例、最も近い）ボクセルの視覚マーカに修正され得る。

いくつかの実施形態において、ユーザ入力によって特定のマスクの色が修正されてもよい。たとえば、筋肉に興味があることを示すユーザ入力に基づいて、筋肉組織を表すボクセル（例、ＭｕｓｃｌｅＭａｓｋ内）に、筋肉に対して選択された色（例、ＭｕｓｃｌｅＭａｓｋに対して選択された色）が割り当てられてもよい。色に対する各ボクセルのマッピングを記録または表示するために、任意のオブジェクトまたは構造が用いられてもよい（例、リスト、ポインタまたは参照のセットなど）。

オブジェクトに対する３Ｄ仮想現実または拡張現実レンダリングデータを作成するために、着色されたボクセルのセット（例、マップによって示される）が生成されて使用されてもよい。たとえば、マスクが医師またはその他のユーザに要求されるとおりのビューを正確に表し、かつ／またはその作成を可能にするように、（例、記載されるとおりにボクセルとマスクとを関連付け、かつ／またはボクセルを着色することによって）記載されるとおりに最も外側のマスクが他のマスクの一部によって増強されてもよい。ステップ２３５によって示されるとおり、外側マスクおよびすべてのマスクのそれぞれの一意のマーカに基づいて、オブジェクトの３Ｄ仮想現実または拡張現実レンダリングのためのデータが生成されてもよい。たとえば、当該技術分野において公知のマーチングキューブアルゴリズムなどを用いて、上記の実施例に記載される心臓マスクに基づいて心臓の着色３Ｄ仮想レンダリングが作成されてもよい。

本出願の記載および請求項における各々の動詞「含む（ｃｏｍｐｒｉｓｅ）」、「含む（ｉｎｃｌｕｄｅ）」、および「有する」、ならびにそれらの活用形は、その動詞の単数または複数の目的語が、必ずしもその動詞の単数または複数の主語のコンポーネント、構成要素、または部分の完全な一覧ではないことを示すために用いられる。別様に述べられない限り、本開示の実施形態の単数または複数の特徴の条件または関係の特徴を修正するたとえば「実質的」および「約」などの形容詞は、その条件または特徴が記載される実施形態の動作にとって容認できる許容範囲内であることが定められることを意味することが理解される。加えて、「または（ｏｒ）」という言葉は包含的「ｏｒ」であって排他的ｏｒではなく、それが結合する項目の少なくとも１つまたはそれらの任意の組み合わせを示すものと考えられる。

本出願における本発明の実施形態の説明は例として提供されるものであって、本発明の範囲を制限することは意図されていない。記載される実施形態は異なる特徴を含み、すべての実施形態においてそれらの特徴すべてが必要とされるわけではない。いくつかの実施形態はそれらの特徴のいくつか、またはそれらの特徴の可能な組み合わせのみを使用する。記載される本発明の実施形態の変形、および記載される実施形態に示される特徴の異なる組み合わせを含む実施形態を当業者は想起するであろう。本発明の範囲は請求項のみによって限定される。

明確に述べられない限り、本明細書に記載される方法の実施形態は、特定の時間的順序または時系列に拘束されない。加えて、方法の動作の連続の間に、記載される方法構成要素のいくつかが省略されてもよいし、それらが繰り返されてもよい。

本明細書において本発明の特定の特徴を例示および説明したが、当業者は多くの修正、置換、変更、および均等物を想起してもよい。したがって、添付の請求項は、本発明の真の趣旨内にあるすべてのこうした修正および変更を包含することが意図されていることが理解されるべきである。

さまざまな実施形態が提示された。これらの実施形態の各々は、もちろん提示された他の実施形態からの特徴を含んでもよく、特定的に記載されていない実施形態が本明細書に記載されるさまざまな特徴を含んでもよい。

Claims (14)

1. ３Ｄオブジェクトからオブジェクトの３次元（３Ｄ）仮想現実または拡張現実レンダリングを作成するための方法であって、前記方法は、
   各マスクに複数のボクセルが割り当てられたマスクのセットを受信するステップであって、前記マスクのセットは外側マスクを含み、各マスクは一意の視覚マーカを含む、ステップと、
   前記外側マスクから３Ｄメッシュを作成するステップと、
   前記外側マスクの前記３Ｄメッシュの内壁の各頂点に対して、
   ａ）それぞれの現行ボクセルに対して、前記外側マスクを除く各マスクの各ボクセルに対する測地的距離を定めるステップと、
   ｂ）前記頂点に対する最短の測地的距離を有する前記ボクセルと同じ視覚マーカを有するように現行頂点のそれぞれの前記視覚マーカを修正するステップと、
   前記外側マスクおよびすべての前記マスクのそれぞれの前記一意の視覚マーカに基づいて、前記オブジェクトの前記３Ｄ仮想現実または拡張現実レンダリングを作成するステップと、を含む、方法。
2. 前記マスクのセットは、
   前記３Ｄオブジェクトに基づいてオブジェクトタイプを定めるステップと、
   前記オブジェクトタイプに基づいてマスクのセットを作成するステップであって、各マスクは前記オブジェクトの一意の部分を表す、ステップと、
   前記マスクのセットの各マスクにｉ）それぞれの前記マスクの一意の部分に対応する前記３Ｄオブジェクトからの複数のボクセル、およびｉｉ）前記一意の視覚マーカを割り当てるステップと、
   前記マスクのセットの外側マスクを定めるステップと、に基づく、請求項１に記載の方法。
3. マスクに割り当てられていない前記複数のボクセルの各ボクセルに対して、
   ａ）前記現行ボクセルに対する最短距離にあるボクセルを有する前記マスクのセットからの１つのマスクを定めるステップと、
   ｂ）前記１つのマスクの前記一意の視覚マーカと同じ視覚マーカを前記現行ボクセルに割り当てるステップと、をさらに含む、請求項１に記載の方法。
4. 予め定められた閾値を有するボックスフィルタを適用することによって前記外側マスクを修正するステップをさらに含む、請求項１に記載の方法。
5. 前記外側マスクを定めるステップは、ユーザ入力、前記オブジェクトタイプ、またはそれらの任意の組み合わせに基づく、請求項２に記載の方法。
6. 前記一意の視覚マーカは、色マーカ、パターン、またはそれらの任意の組み合わせである、請求項１に記載の方法。
7. 仮想現実もしくは拡張現実デバイスまたは拡張現実デバイスによって、前記３Ｄ仮想現実または拡張現実レンダリングを表示するステップをさらに含む、請求項１に記載の方法。
8. コンピュータに以下の方法を行わせるためのプログラム命令を含む非一時的コンピュータ可読媒体であって、前記方法は、
   各マスクに複数のボクセルが割り当てられたマスクのセットを受信するステップであって、前記マスクのセットは外側マスクを含み、各マスクは一意の視覚マーカを含む、ステップと、
   前記外側マスクから３Ｄメッシュを作成するステップと、
   前記外側マスクの前記３Ｄメッシュの内壁の各頂点に対して、
   ｃ）それぞれの現行ボクセルに対して、前記外側マスクを除く各マスクの各ボクセルに対する測地的距離を定めるステップと、
   ｄ）前記頂点に対する最短の測地的距離を有する前記ボクセルと同じ視覚マーカを有するように現行頂点のそれぞれの前記視覚マーカを修正するステップと、
   前記外側マスクおよびすべての前記マスクのそれぞれの前記一意の視覚マーカに基づいて、３Ｄオブジェクトの３Ｄ仮想現実または拡張現実レンダリングを作成するステップと、を含む、非一時的コンピュータ可読媒体。
9. 前記マスクのセットは、
   前記３Ｄオブジェクトに基づいてオブジェクトタイプを定めるステップと、
   前記オブジェクトタイプに基づいてマスクのセットを作成するステップであって、各マスクは前記３Ｄオブジェクトの一意の部分を表す、ステップと、
   前記マスクのセットの各マスクにｉ）それぞれの前記マスクの一意の部分に対応する前記３Ｄオブジェクトからの複数のボクセル、およびｉｉ）前記一意の視覚マーカを割り当てるステップと、
   前記マスクのセットの外側マスクを定めるステップと、に基づく、請求項８に記載の非一時的コンピュータ可読媒体。
10. マスクに割り当てられていない前記複数のボクセルの各ボクセルに対して、
    ｃ）前記現行ボクセルに対する最短距離にあるボクセルを有する前記マスクのセットからの１つのマスクを定め、
    ｄ）前記１つのマスクの前記一意の視覚マーカと同じ視覚マーカを前記現行ボクセルに割り当てる、請求項８に記載の非一時的コンピュータ可読媒体。
11. 予め定められた閾値を有するボックスフィルタを適用することによって前記外側マスクを修正するステップをさらに含む、請求項８に記載の非一時的コンピュータ可読媒体。
12. 前記外側マスクを定めるステップは、ユーザ入力、前記オブジェクトタイプ、またはそれらの任意の組み合わせに基づく、請求項９に記載の非一時的コンピュータ可読媒体。
13. 前記一意の視覚マーカは、色マーカ、パターン、またはそれらの任意の組み合わせである、請求項８に記載の非一時的コンピュータ可読媒体。
14. 仮想現実もしくは拡張現実デバイスまたは拡張現実デバイスによって、前記３Ｄ仮想現実または拡張現実レンダリングを表示するステップをさらに含む、請求項８に記載の非一時的コンピュータ可読媒体。
    

Images