JP5808004B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

画像処理装置、画像処理方法、およびプログラム Download PDF

Info

Publication number
JP5808004B2
JP5808004B2 JP2011182615A JP2011182615A JP5808004B2 JP 5808004 B2 JP5808004 B2 JP 5808004B2 JP 2011182615 A JP2011182615 A JP 2011182615A JP 2011182615 A JP2011182615 A JP 2011182615A JP 5808004 B2 JP5808004 B2 JP 5808004B2
Authority
JP
Japan
Prior art keywords
information
dimensional image
image
depth information
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011182615A
Other languages
English (en)
Other versions
JP2013045284A (ja
Inventor
恵 中尾
恵 中尾
小太郎 湊
小太郎 湊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nara Institute of Science and Technology NUC
Original Assignee
Nara Institute of Science and Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nara Institute of Science and Technology NUC filed Critical Nara Institute of Science and Technology NUC
Priority to JP2011182615A priority Critical patent/JP5808004B2/ja
Priority to PCT/JP2012/071213 priority patent/WO2013027773A1/ja
Publication of JP2013045284A publication Critical patent/JP2013045284A/ja
Application granted granted Critical
Publication of JP5808004B2 publication Critical patent/JP5808004B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、二次元画像と三次元画像とを重ね合わせる画像処理装置等に関するものである。
従来、内視鏡による二次元画像を用いて、外科手術、診断、または医師の手術教育がなされていた。
また、三次元物体の変形を、色情報を伴ってリアルタイムでシミュレートできる情報処理装置があった（例えば、特許文献１参照）。
特許第４３３７９８７号公報（第１頁、第１図等）
しかしながら、従来の装置においては、同一の対象物の二次元画像と三次元画像とを効果的に用いて、必要な画像を得ることができなかった。そのため、例えば、医師が執刀する際に必要な支援情報の提示が困難であった。
本第一の発明の画像処理装置は、１以上の三次元の物体の画像データであり、位置を示す情報である位置情報と、色についての情報である色情報と、基準点からの深さを示す深さ情報とを有する点の情報である複数のボクセル情報から構成される三次元画像を格納し得る三次元画像格納部と、１以上の三次元の物体を撮影した画像であり、三次元画像と位置合わせがされている画像であり、位置情報と色情報と深さ情報とを有する点の情報である複数のピクセル情報から構成される深さ情報付き二次元画像を格納し得る深さ情報付き二次元画像格納部と、深さ情報付き二次元画像に対して、深さ情報を用いて、第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する深さ情報付き二次元画像処理部と、処理後深さ情報付き二次元画像と、三次元画像に対して第二の画像処理を施した処理後三次元画像または三次元画像とを重ね合わせた拡張像を生成する拡張像生成部と、拡張像を出力する出力部とを具備する画像処理装置である。
かかる構成により、画像が有する点の深さ情報を用いて、二次元画像と三次元画像とを効果的に重ね合わせた画像を得ることができる。
また、本第二の発明の画像処理装置は、第一の発明に対して、１以上の三次元の物体を撮影した画像であり、三次元画像と位置合わせがされている画像であり、位置情報と色情報とを有する点の情報である複数のピクセル情報から構成される二次元画像を格納し得る二次元画像格納部と、三次元画像が有する複数のボクセル情報において、平面上の同一の位置情報を有する複数の点の情報から、透明ではない色情報を有し、かつ深さ情報が基準位置から最も手前を示す情報であるボクセル情報が有する深さ情報を、平面上の位置情報ごとに取得する深さ情報取得部と、深さ情報取得部が平面上の位置情報ごとに取得した２以上の各深さ情報を、二次元画像が有する複数の各ピクセル情報であり、平面上の位置情報が一致する各ピクセル情報に付加し、位置情報と色情報と深さ情報とを有する２以上のピクセル情報からなる深さ情報付き二次元画像を取得する深さ情報付き二次元画像取得部とをさらに具備し、深さ情報付き二次元画像格納部の深さ情報付き二次元画像は、深さ情報付き二次元画像取得部が取得した深さ情報付き二次元画像である画像処理装置である。
かかる構成により、深さ情報を有する二次元画像である深さ情報付き二次元画像を自動的に取得できる。
また、本第三の発明の画像処理装置は、第一または第二の発明に対して、深さ情報付き二次元画像処理部は、深さ情報付き二次元画像が有する複数のピクセル情報に対して、ピクセル情報が有する深さ情報の違いに応じて、少なくとも２以上の異なる色情報または／および異なる不透明度情報を設定する第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する画像処理装置である。
かかる構成により、重ね合わせる二次元の画像の色や不透明度を、深さ情報を用いて制御することにより、適切な画像を得ることができる。
また、本第四の発明の画像処理装置は、第一から第三いずれかの発明に対して、三次元画像が有する複数のボクセル情報に対して、ボクセル情報が有する深さ情報の違いに応じて、少なくとも２以上の異なる色情報または／および異なる不透明度情報を設定する第二の画像処理を行い、処理後三次元画像を取得する三次元画像処理部をさらに具備する画像処理装置である。
かかる構成により、重ね合わせる三次元の画像の色や不透明度を、深さ情報を用いて制御することにより、適切な画像を得ることができる。
また、本第五の発明の画像処理装置は、第四の発明に対して、出力されている二次元画像または深さ情報付き二次元画像または拡張像のうちの１以上の点に対する指示を受け付ける受付部と、指示に対応する１以上の点に対応するボクセル情報が有する色情報を用いて、連続する２以上のボクセル情報を決定する指示ボクセル情報決定部をさらに具備し、三次元画像処理部は、指示ボクセル情報決定部が決定した２以上のボクセル情報、または２以上のボクセル情報以外のボクセル情報に、他とは異なる色情報または／および異なる不透明度情報を設定する第二の画像処理を行い、処理後三次元画像を取得する画像処理装置である。
かかる構成により、指示した物体を効果的に表示し得る適切な画像を得ることができる。
本発明による画像処理装置によれば、同一の対象物の二次元画像と三次元画像とを効果的に用いて、必要な画像を得ることができる。
実施の形態１における画像処理装置のブロック図 同画像処理装置の動作について説明するフローチャート 同深さ情報取得処理の動作について説明するフローチャート 同拡張像生成処理の動作について説明するフローチャート 同深さ情報付き二次元画像処理の動作について説明するフローチャート 同三次元画像処理の動作について説明するフローチャート 同三次元画像処理の動作について説明するフローチャート 同指示ボクセル情報決定処理の動作について説明するフローチャート 同連続ボクセル情報取得処理の動作について説明するフローチャート 同二次元画像を示す図 同三次元画像を示す図 同生成した拡張像を示す図 同生成した拡張像を示す図 同連続領域指示を説明する図 同処理後三次元画像を示す図 同内視鏡で人間の体内を撮影した二次元画像を示す図 同人間の体内の三次元画像を示す図 同人間の体内の拡張像を示す図 同画像処理装置の他のブロック図 同コンピュータシステムの概観図 同コンピュータシステムのブロック図
以下、画像処理装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
（実施の形態１）
本実施の形態において、深さ情報を用いて、二次元の画像を画像処理し、画像処理した二次元の画像と三次元画像等とを重ね合わせる画像処理装置について説明する。
図１は、本実施の形態における画像処理装置１のブロック図である。画像処理装置１は、二次元画像格納部１０１、三次元画像格納部１０２、深さ情報付き二次元画像格納部１０３、受付部１０４、深さ情報取得部１０５、深さ情報付き二次元画像取得部１０６、深さ情報付き二次元画像蓄積部１０７、深さ情報付き二次元画像処理部１０８、指示ボクセル情報決定部１０９、三次元画像処理部１１０、拡張像生成部１１１、および出力部１１２を具備する。
二次元画像格納部１０１は、複数のピクセル情報から構成される二次元画像を格納し得る。ピクセル情報は、位置を示す情報である位置情報と色についての情報である色情報とを有する点の情報である。また、ここでの位置情報は、平面上での位置情報（例えば、（ｘ，ｙ））である。また、ピクセル情報は、位置情報と色情報と不透明度を示す不透明度情報（α値，ブレンディングパラメータとも言う。）を有しても良い。なお、不透明度情報は、透明度を示す透明度情報と捉えても良い。また、二次元画像は、１以上の三次元の物体を撮影した画像であり、後述する三次元画像と位置合わせがされている画像である。なお、「二次元画像と三次元画像とが位置合わせをされている」とは、カメラによって撮影された二次元画像と、ＣＴ等で撮影された三次元画像をレンダリングすることで生成される投影像とが位置合わせがされていることである。また、二次元画像は、１以上の三次元の物体を撮影した画像である。また、投影像は当該物体の三次元画像をレンダリングすることで生成される。そして、二次元画像に位置合わせされた投影像は、例えば、カメラの位置、アングル、視野角等のカメラパラメータを、三次元の物体を撮影する際のカメラの状態と同一に設定してレンダリングすることで生成される。
二次元画像格納部１０１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。二次元画像格納部１０１に二次元画像が記憶される過程は問わない。例えば、記録媒体を介して二次元画像が二次元画像格納部１０１で記憶されるようになってもよく、通信回線等を介して送信された二次元画像が二次元画像格納部１０１で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された二次元画像が二次元画像格納部１０１で記憶されるようになってもよい。
三次元画像格納部１０２は、複数のボクセル情報から構成される三次元画像を格納し得る。ボクセル情報は、位置を示す情報である位置情報と、色についての情報である色情報と、基準点からの深さを示す深さ情報とを有する点の情報である。また、三次元画像は、１以上の三次元の物体の画像データである。
また、三次元画像は、例えば、１以上の３次元の物体のボリュームテクスチャである３Ｄボクセル情報である。３Ｄボクセル情報は、例えば、（ｘ，ｙ，ｚ，ｃｏｌ）で構成される点の情報である。（ｘ，ｙ，ｚ，ｃｏｌ）の（ｘ，ｙ，ｚ）は、座標情報である。「ｃｏｌ」は、色情報である。３Ｄボクセル情報は、例えば、（ｘ，ｙ，ｚ，ｃｏｌ，α値）で構成される点の情報であっても良い。３Ｄボクセル情報は、ここでは、点の間隔がなく、詰まっている点の情報でることが好適であるが、離散的な点の情報でも良い。３Ｄボクセル情報は、例えば、ＣＴやＭＲＩやＰＥＴなどの医用機器により取得される二次元画像の集合である。３Ｄボクセル情報は、例えば、ＣＴやＭＲＩなどで、人体の脳や、身体の中を撮影した二次元画像の集合である。また、（ｘ，ｙ，ｚ）の「ｚ」は、深さ情報でも良い。なお、位置情報が（ｘ，ｙ）である場合、深さ情報（ｄ）を含めた（ｘ，ｙ，ｄ）が三次元空間内の位置を示す。
また、三次元画像は、１以上の三次元の物体のボリュームテクスチャである３Ｄボクセル情報を複数の平面で切り出した結果の二次元の画像データに基づいて構成される情報であるスライス情報であり、位置情報と色情報と深さ情報とを有する複数の点の情報から構成される複数のスライス情報を有するスライス情報群であっても良い。
スライス情報群は、３Ｄボクセル情報から、視線（視線ベクトル）に対して垂直で、かつ間隔を一定にして切り出された複数のスライス情報である。視線とは、例えば、スライス情報群を出力するディスプレイに対して垂直な線（当該ディスプレイを見る者の視線）である。スライス情報は、平面を構成する点の情報の集合であり、点間の間隔がなく、詰まっている。
三次元画像格納部１０２は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。三次元画像格納部１０２に三次元画像が記憶される過程は問わない。
深さ情報付き二次元画像格納部１０３は、深さ情報付き二次元画像を格納し得る。深さ情報付き二次元画像は、位置情報と色情報と深さ情報とを有する点の情報である複数のピクセル情報から構成される画像である。また、深さ情報付き二次元画像は、１以上の三次元の物体を撮影した画像であり、三次元画像と位置合わせがされている画像である。ここで、位置合わせがされている画像とは、カメラの位置、アングル、視野角等のカメラパラメータが、三次元画像のカメラパラメータと同一である画像である。
深さ情報付き二次元画像格納部１０３は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。深さ情報付き二次元画像格納部１０３に深さ情報付き二次元画像が記憶される過程は問わない。
受付部１０４は、指示を受け付ける。指示とは、例えば、深さ情報付き二次元画像取得指示、拡張像取得指示、連続領域指示等である、深さ情報付き二次元画像取得指示とは、二次元画像のピクセル情報に深さ情報を付加した深さ情報付き二次元画像を取得する指示である。拡張像取得指示とは、拡張像を取得する指示である。また、連続領域指示とは、出力されている二次元画像または深さ情報付き二次元画像または拡張像のうちの１以上の点に対する指示であり、当該１以上の点が含まれるオブジェクト（連続領域）を他のオブジェクトと異なる態様（例えば、色情報または／および不透明度情報が異なる）で出力する指示である。ここで、受け付けとは、マウス、タッチパネル、キーボードなどの入力デバイスから入力された情報の受け付け、有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念である。指示の入力手段は、マウスやメニュー画面によるもの等、何でも良い。受付部１０４は、テンキーやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
深さ情報取得部１０５は、三次元画像が有する複数のボクセル情報において、平面上の同一の位置情報を有する複数の点の情報から、透明ではない色情報を有し、かつ深さ情報が基準位置から最も手前を示す情報であるボクセル情報が有する深さ情報を、平面上の位置情報ごとに取得する。ここで、平面とは、通常、カメラの位置や視線ベクトルに対して垂直の平面である。平面上の同一の位置情報を有する複数の点とは、例えば、（ｘ，ｙ）が同一で、深さ情報またはｚが異なる複数の点である。また、基準位置とは、通常、三次元画像を取得するカメラや視線の位置である。
深さ情報付き二次元画像取得部１０６は、二次元画像が有する複数の各ピクセル情報に深さ情報を付加し、深さ情報付き二次元画像を取得する。さらに具体的には、深さ情報付き二次元画像取得部１０６は、深さ情報取得部１０５が平面上の位置情報ごとに取得した２以上の各深さ情報を、二次元画像が有する複数の各ピクセル情報であり、平面上の位置情報が一致する各ピクセル情報に付加し、位置情報と色情報と深さ情報とを有する２以上のピクセル情報からなる深さ情報付き二次元画像を取得する。つまり、深さ情報付き二次元画像は、二次元画像が有する複数の各ピクセル情報に深さ情報が付加された画像である。
深さ情報付き二次元画像蓄積部１０７は、深さ情報付き二次元画像取得部１０６が取得した深さ情報付き二次元画像を深さ情報付き二次元画像格納部１０３に蓄積する。
深さ情報付き二次元画像処理部１０８は、深さ情報付き二次元画像に対して、第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する。深さ情報付き二次元画像処理部１０８は、通常、深さ情報付き二次元画像に対して、深さ情報を用いて、第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する。
深さ情報付き二次元画像処理部１０８は、例えば、深さ情報付き二次元画像に対して、ピクセル情報が有する深さ情報の違いに応じて、少なくとも２以上の異なる色情報または／および異なる不透明度情報を設定する第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する。ここで、少なくとも２以上の異なる色情報を設定するとは、元々、一の色情報が設定されている場合、一部のピクセル情報に対して、他の色情報を設定する処理でも良い。また、少なくとも２以上の異なる不透明度情報を設定するとは、元々、一の不透明度情報が設定されている場合、一部のピクセル情報に対して、他の不透明度情報を設定する処理でも良い。第一の画像処理は、処理の結果として、２種類以上の異なる色情報または／および異なる不透明度情報を有するようになれば良い。なお、上記の「異なる色情報または／および異なる不透明度情報」とは、異なる色情報、異なる不透明度情報、異なる色情報および異なる不透明度情報のうちのいずれかであることである。
また、第一の画像処理は、ピクセル情報が有する深さ情報の違いに応じて、輪郭を強調したり、カラーマップによって部分領域の色情報を変更したり、ピクセル単位でＲＧＢＡ値（色情報と不透明度情報）を変更する等の任意の画像処理で良い。
指示ボクセル情報決定部１０９は、指示に対応する１以上の点に対応するボクセル情報が有する色情報を用いて、連続する２以上のボクセル情報を決定する。連続する２以上のボクセル情報とは、隣接するボクセル情報が有する色情報と同一または閾値以内の差の色情報を有する２以上のボクセル情報である。
三次元画像処理部１１０は、三次元画像に対して、第二の画像処理を行い、処理後三次元画像を取得する。三次元画像処理部１１０は、例えば、三次元画像に対して、三次元画像に含まれるボクセル情報が有する深さ情報の違いに応じて、少なくとも２以上の異なる色情報または／および異なる不透明度情報を設定する第二の画像処理を行い、処理後三次元画像を取得する。
三次元画像処理部１１０は、例えば、指示ボクセル情報決定部１０９が決定した２以上のボクセル情報、または２以上のボクセル情報以外のボクセル情報に、他とは異なる色情報または異なる不透明度情報を設定する第二の画像処理を行い、処理後三次元画像を取得する。
拡張像生成部１１１は、処理後深さ情報付き二次元画像と、三次元画像とを重ね合わせた拡張像を生成する。また、拡張像生成部１１１は、処理後深さ情報付き二次元画像と、三次元画像に対して第二の画像処理を施した処理後三次元画像とを重ね合わせた拡張像を生成しても良い。つまり、拡張像生成部１１１は、二次元画像内で選択され画像処理された領域（処理後深さ情報付き二次元画像）と、三次元画像の投影像（の一部あるいは全体）を任意にブレンドして拡張像を生成する。
出力部１１２は、拡張像生成部１１１が生成した拡張像を出力する。出力部１１２は、二次元画像格納部１０１の二次元画像や、三次元画像格納部１０２の三次元画像や、深さ情報付き二次元画像格納部１０３の深さ情報付き二次元画像などを出力しても良い。
ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタへの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。
出力部１１２は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。出力部１１２は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
深さ情報取得部１０５、深さ情報付き二次元画像取得部１０６、深さ情報付き二次元画像蓄積部１０７、深さ情報付き二次元画像処理部１０８、指示ボクセル情報決定部１０９、三次元画像処理部１１０、および拡張像生成部１１１は、通常、ＭＰＵやメモリ等から実現され得る。深さ情報取得部１０５等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
次に、画像処理装置１の動作について、図２のフローチャートを用いて説明する。
（ステップＳ２０１）受付部１０４は、深さ情報付き二次元画像取得指示を受け付けたか否かを判断する。深さ情報付き二次元画像取得指示を受け付ければステップＳ２０２に行き、深さ情報付き二次元画像取得指示を受け付けなければステップＳ２０８に行く。
（ステップＳ２０２）深さ情報取得部１０５は、カウンタｉに１を代入する。
（ステップＳ２０３）深さ情報取得部１０５は、二次元画像格納部１０１の二次元画像の中に、ｉ番目の点（ピクセル情報）が存在するか否かを判断する。ｉ番目の点が存在すればステップＳ２０４に行き、存在しなければステップＳ２０７に行く。
（ステップＳ２０４）深さ情報取得部１０５は、二次元画像の中のｉ番目のピクセル情報の深さ情報を取得する。かかる処理は、深さ情報取得処理と言う。深さ情報取得処理について、図３のフローチャートを用いて説明する。
（ステップＳ２０５）深さ情報付き二次元画像取得部１０６は、ステップＳ２０４で取得された深さ情報を、二次元画像の中のｉ番目のピクセル情報に設定する。なお、ここで、深さ情報付き二次元画像取得部１０６は、二次元画像格納部１０１の二次元画像の中に深さ情報を書き込む必要はなく、二次元画像格納部１０１の二次元画像を複写した画像の中に深さ情報を書き込むことは好適である。
（ステップＳ２０６）深さ情報取得部１０５は、カウンタｉを１、インクリメントする。ステップＳ２０３に戻る。
（ステップＳ２０７）深さ情報付き二次元画像蓄積部１０７は、取得された深さ情報付き二次元画像を深さ情報付き二次元画像格納部１０３に蓄積する。ステップＳ２０１に戻る。
（ステップＳ２０８）受付部１０４は、拡張像取得指示を受け付けたか否かを判断する。拡張像取得指示を受け付ければステップＳ２０９に行き、拡張像取得指示を受け付けなければステップＳ２１１に行く。
（ステップＳ２０９）拡張像生成部１１１等は、拡張像生成処理を行う。拡張像生成処理について、図４のフローチャートを用いて説明する。
（ステップＳ２１０）出力部１１２は、ステップＳ２０９で生成された拡張像を出力する。ステップＳ２０１に戻る。
（ステップＳ２１１）受付部１０４は、連続領域指示を受け付けたか否かを判断する。連続領域指示を受け付ければステップＳ２１２に行き、連続領域指示を受け付けなければステップＳ２０１に戻る。
（ステップＳ２１２）指示ボクセル情報決定部１０９は、指示ボクセル情報決定処理を行う。指示ボクセル情報決定処理について、図８のフローチャートを用いて説明する。ステップＳ２０９に行く。
なお、図２のフローチャートにおいて、ステップＳ２０２からステップＳ２０７までの処理により深さ情報付き二次元画像が生成される。
また、図２のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
次に、ステップＳ２０４の深さ情報取得処理について、図３のフローチャートを用いて説明する。
（ステップＳ３０１）深さ情報取得部１０５は、カウンタｊに１を代入する。
（ステップＳ３０２）深さ情報取得部１０５は、三次元画像格納部１０２の三次元画像において、ｉ番目の点と同位置（平面上の同位置）にあるｊ番目の点（ボクセル情報）が存在するか否かを判断する。ｊ番目の点が存在すればステップＳ３０３に行き、ｊ番目の点が存在しなければステップＳ３０７に行く。なお、ここで、深さ情報取得部１０５は、ｊ番目の点を手前から選択する。なお、手前の点とは、「深さ情報が浅い点」や「ｚの値が小さい点（ｚの値が小さいほど、手前にある場合）」や「ｚの値が大きい点（ｚの値が大きいほど、手前にある場合）」と言っても良い。
（ステップＳ３０３）深さ情報取得部１０５は、ｊ番目の点の色情報を取得する。
（ステップＳ３０４）深さ情報取得部１０５は、ステップＳ３０３で取得した色情報が「透明」を示す情報であるか否かを判断する。「透明」であればステップＳ３０６に行き、「透明」でなければステップＳ３０５に行く。
（ステップＳ３０５）深さ情報取得部１０５は、ｊ番目のボクセル情報が有する深さ情報を取得する。上位処理にリターンする。
（ステップＳ３０６）深さ情報取得部１０５は、カウンタｊを１、インクリメントする。ステップＳ３０２に戻る。
（ステップＳ３０７）深さ情報取得部１０５は、深さ情報にＮＵＬＬを代入する。上位処理にリターンする。なお、本ステップは無くても良い。
次に、ステップＳ２０９の拡張像生成処理について、図４のフローチャートを用いて説明する。
（ステップＳ４０１）深さ情報付き二次元画像処理部１０８は、深さ情報付き二次元画像に対して、処理を行う。かかる深さ情報付き二次元画像処理について、図５のフローチャートを用いて説明する。
（ステップＳ４０２）三次元画像処理部１１０は、三次元画像に対する処理が必要か否かを判断する。なお、三次元画像処理部１１０は、例えば、ユーザから三次元画像処理の指示の入力があったか否かにより、三次元画像に対する処理が必要か否かを判断する。また、三次元画像処理部１１０は、例えば、ユーザから入力された指示中に、三次元画像の処理に対応する条件が含まれるか否かにより、三次元画像に対する処理が必要か否かを判断しても良い。三次元画像に対する処理が必要であればステップＳ４０３に行き、三次元画像に対する処理が必要でなければステップＳ４０５に行く。
（ステップＳ４０３）三次元画像処理部１１０は、三次元画像処理を行う。三次元画像処理について、図６、図７のフローチャートを用いて説明する。
（ステップＳ４０４）拡張像生成部１１１は、処理後深さ情報付き二次元画像と処理後三次元画像とを重ね合わせ、拡張像を生成する。上位処理にリターンする。
（ステップＳ４０５）拡張像生成部１１１は、三次元画像格納部１０２から三次元画像を読み出す。
（ステップＳ４０６）拡張像生成部１１１は、処理後深さ情報付き二次元画像とステップＳ４０５で読み出した三次元画像とを重ね合わせ、拡張像を生成する。上位処理にリターンする。
次に、ステップＳ４０１の深さ情報付き二次元画像処理について、図５のフローチャートを用いて説明する。
（ステップＳ５０１）深さ情報付き二次元画像処理部１０８は、指示に含まれる１以上の条件を取得する。なお、この条件とは、深さ情報付き二次元画像に対する画像処理を示す情報である。条件とは、例えば、色情報または／および不透明度情報を設定する深さ情報の範囲と、設定する色情報または／および不透明度情報とを有する。
（ステップＳ５０２）深さ情報付き二次元画像処理部１０８は、カウンタｉに１を代入する。
（ステップＳ５０３）深さ情報付き二次元画像処理部１０８は、ｉ番目の条件が存在するか否かを判断する。ｉ番目の条件が存在すればステップＳ５０４に行き、ｉ番目の条件が存在しなければ上位処理にリターンする。
（ステップＳ５０４）深さ情報付き二次元画像処理部１０８は、ｉ番目の条件に含まれる深さ情報の範囲と、設定する色情報または／および不透明度情報とを取得する。
（ステップＳ５０５）深さ情報付き二次元画像処理部１０８は、カウンタｊに１を代入する。
（ステップＳ５０６）深さ情報付き二次元画像処理部１０８は、深さ情報付き二次元画像格納部１０３の深さ情報付き二次元画像に含まれるｊ番目のピクセル情報が存在するか否かを判断する。ｊ番目のピクセル情報が存在すればステップＳ５０７に行き、存在しなければステップＳ５１１に行く。
（ステップＳ５０７）深さ情報付き二次元画像処理部１０８は、ｊ番目のピクセル情報が有する深さ情報を取得する。
（ステップＳ５０８）深さ情報付き二次元画像処理部１０８は、ステップＳ５０７で取得した深さ情報が、ｉ番目の条件に含まれる深さ情報の範囲内であるか否かを判断する。範囲内であればステップＳ５０９に行き、範囲内でなければステップＳ５１０に行く。
（ステップＳ５０９）深さ情報付き二次元画像処理部１０８は、ｊ番目のピクセル情報に、ｉ番目の条件に含まれる色情報または／および不透明度情報を設定する。
（ステップＳ５１０）深さ情報付き二次元画像処理部１０８は、カウンタｊを１、インクリメントする。ステップＳ５０６に戻る。
（ステップＳ５１１）深さ情報付き二次元画像処理部１０８は、カウンタｉを１、インクリメントする。ステップＳ５０３に戻る。
次に、ステップＳ４０３の三次元画像処理の第一の例について、図６のフローチャートを用いて説明する。なお、図６のフローチャートにおいて、図５のフローチャートと同一のステップについて、説明を省略する。三次元画像処理の第一の例は、所定の色情報または／および不透明度情報を設定する深さ情報の範囲が定まっている場合の例である。
（ステップＳ６０１）三次元画像処理部１１０は、三次元画像格納部１０２の三次元画像の中に、ｊ番目のボクセル情報が存在するか否かを判断する。ｊ番目のボクセル情報が存在すればステップＳ６０２に行き、存在しなければステップＳ５１１に行く。
（ステップＳ６０２）三次元画像処理部１１０は、ｊ番目のボクセル情報が有する深さ情報を取得する。
（ステップＳ６０３）三次元画像処理部１１０は、三次元画像の中のｊ番目のボクセル情報に、ｉ番目の条件に含まれる色情報または／および不透明度情報を設定する。
次に、ステップＳ４０３の三次元画像処理の第二の例について、図７のフローチャートを用いて説明する。三次元画像処理の第二の例は、所定の色情報または／および不透明度情報を設定するボクセル情報群が定まっている場合の例である。
（ステップＳ７０１）三次元画像処理部１１０は、設定する色情報または／および不透明度情報を取得する。
（ステップＳ７０２）三次元画像処理部１１０は、カウンタｉに１を代入する。
（ステップＳ７０３）三次元画像処理部１１０は、色情報または／および不透明度情報の設定対象のｉ番目のボクセル情報が存在するか否かを判断する。ｉ番目のボクセル情報が存在すればステップＳ７０４に行き、存在しなければ上位処理にリターンする。
（ステップＳ７０４）三次元画像処理部１１０は、設定対象のｉ番目のボクセル情報に、ステップＳ７０１で取得した色情報または／および不透明度情報を設定する。
（ステップＳ７０５）三次元画像処理部１１０は、カウンタｉを１、インクリメントする。ステップＳ７０３に戻る。
次に、ステップＳ２１２の指示ボクセル情報決定処理について、図８のフローチャートを用いて説明する。
（ステップＳ８０１）指示ボクセル情報決定部１０９は、指示された点の座標値（通常、（ｘ，ｙ））を取得する。
（ステップＳ８０２）指示ボクセル情報決定部１０９は、ステップＳ８０１で取得した座標値と同一の平面座標値（例えば、（ｘ，ｙ））を有するすべてのボクセル情報を、三次元画像格納部１０２の三次元画像から取得する。
（ステップＳ８０３）指示ボクセル情報決定部１０９は、ステップＳ８０２で取得したボクセル情報の中で、透明ではなく、最も手前のボクセル情報を取得する。このボクセル情報を基準ボクセル情報と言うこととする。なお、最も手前のボクセル情報とは、例えば、ｚ座標値の値が最も小さいボクセル情報である。
（ステップＳ８０４）指示ボクセル情報決定部１０９は、ステップＳ８０３で取得した基準ボクセル情報を、指示ボクセル情報として決定する。なお、かかる決定する処理とは、例えば、指示ボクセル情報を格納するバッファに、基準ボクセル情報を書き込む処理である。
（ステップＳ８０５）指示ボクセル情報決定部１０９は、基準ボクセル情報を基準として、連続するボクセル情報を取得する処理を行う。かかる処理を連続ボクセル情報取得処理という。連続ボクセル情報取得処理について、図９のフローチャートを用いて説明する。上位処理にリターンする。
次に、ステップＳ８０５の連続ボクセル情報取得処理について、図９のフローチャートを用いて説明する。図９のフローチャートにおいて、図８のフローチャートと同一のステップについて、説明を省略する。
（ステップＳ９０１）指示ボクセル情報決定部１０９は、基準ボクセル情報の色情報を取得する。
（ステップＳ９０２）指示ボクセル情報決定部１０９は、基準ボクセル情報に隣接するすべてのボクセル情報を、三次元画像格納部１０２の三次元画像から取得する。
（ステップＳ９０３）指示ボクセル情報決定部１０９は、カウンタｉに１を代入する。
（ステップＳ９０４）指示ボクセル情報決定部１０９は、ステップＳ９０２で取得したボクセル情報の中で、ｉ番目のボクセル情報が存在するか否かを判断する。ｉ番目のピクセル情報が存在すればステップＳ９０５に行き、存在しなければ上位処理にリターンする。
（ステップＳ９０５）指示ボクセル情報決定部１０９は、ｉ番目のボクセル情報が有する色情報を取得する。
（ステップＳ９０６）指示ボクセル情報決定部１０９は、ステップＳ９０１で取得した基準ボクセル情報の色情報と、ステップＳ９０５で取得したｉ番目のボクセル情報の色情報とを比較し、２つの色情報の差異が閾値以内であるか否かを判断する。閾値以内であればステップＳ９０７に行き、閾値以内でなければステップＳ９０９に行く。なお、ここでは、２つの色情報の差異が閾値以内である場合は、２つの点は、同一のオブジェクト内の点である、と考えるとする。
（ステップＳ９０７）指示ボクセル情報決定部１０９は、ｉ番目のボクセル情報を、指示ボクセル情報として決定する。
（ステップＳ９０８）指示ボクセル情報決定部１０９は、ｉ番目のボクセル情報を、基準ボクセル情報とする。ステップＳ８０５に行く。
（ステップＳ９０９）指示ボクセル情報決定部１０９は、カウンタｉを１、インクリメントする。ステップＳ９０４に戻る。
以下、本実施の形態における画像処理装置１の具体的な動作について説明する。以下、３つの具体例について説明する。
（具体例１）
今、基準点に対して、手前から円柱、球、および立方体の３つの物体が並べられている、とする。そして、基準点に配置されたカメラを用いて３つの物体が撮影され、取得された実映像Ｉｃａｍ（二次元画像）が、二次元画像格納部１０１に格納されている、とする（図１０参照）。
また、上記の３つの物体に対してＣＴまたはＭＲＩを用いて取得された三次元画像Ｉｖｏｌが三次元画像格納部１０２に格納されている、とする（図１１参照）。
なお、二次元画像格納部１０１の二次元画像と、三次元画像格納部１０２の三次元画像とは、位置合わせがされているものとする。
かかる場合、ユーザが深さ情報付き二次元画像取得指示を入力した、とする。すると、受付部１０４は、深さ情報付き二次元画像取得指示を受け付ける。
次に、深さ情報取得部１０５は、二次元画像格納部１０１の二次元画像Ｉｃａｍの中の各ピクセル情報に対して、以下のような処理を行う。つまり、深さ情報取得部１０５は、Ｉｃａｍのピクセル情報ごとに、ピクセル情報が有する平面座標（ｘ，ｙ）と同一の平面座標（ｘ，ｙ）を有する複数のボクセル情報の中で、基準点に近い（ここでは、ｚの値が小さい）順に、三次元画像Ｉｖｏｌからボクセル情報を選択していく。そして、深さ情報取得部１０５は、選択したボクセル情報に含まれる色情報が、「透明」を示す情報であるか否かを判断する。そして、深さ情報取得部１０５は、ピクセル情報ごとに、色情報が「透明」を示す情報でないボクセル情報であり、最初に見つけたボクセル情報を、対象ボクセル情報に決定する。なお、対象ボクセル情報は、色情報が「透明」を示す情報でないボクセル情報の中で、最も基準点に近いボクセル情報である。そして、深さ情報取得部１０５は、ピクセル情報ごとに、対象ボクセル情報が有する深さ情報を取得し、各ピクセル情報に付加する。以上の処理により、Ｉｃａｍに深さ情報が付加された深さ情報付き二次元画像を生成できた。なお、深さ情報付き二次元画像蓄積部１０７は、生成された深さ情報付き二次元画像を深さ情報付き二次元画像格納部１０３に蓄積する、とする。
次に、ユーザが第一の拡張像取得指示を入力した、とする。すると、受付部１０４は、第一の拡張像取得指示を受け付ける。なお、ここでの第一の拡張像取得指示は、深さ情報付き二次元画像において、円柱までの深さ情報を有するピクセル情報を半透明にし、かつ、球を輪郭のみにする処理を施した処理後深さ情報付き二次元画像Ｉ'ｃａｍに、三次元画像Ｉｖｏｌの投影像を貼り付けてレンダリングして、拡張像を取得する指示である、とする。つまり、第一の拡張像取得指示は、条件１「ｄ０＜＝ｄ＜＝ｄ１：α値＝０．５」および条件２「ｄ２＜＝ｄ＜＝ｄ３："輪郭のみ出力"」を有する。
ここで、「ｄ」は深さ情報の変数、「ｄ０」は、円柱を構成するピクセル情報の深さ情報の中で、最も値が小さい深さ情報である。また、「ｄ１」は、円柱を構成するピクセル情報の深さ情報の中で、最も値が大きい深さ情報である。「ｄ２」は、球を構成するピクセル情報の深さ情報の中で、最も値が小さい深さ情報である。「ｄ３」は、球を構成するピクセル情報の深さ情報の中で、最も値が大きい深さ情報である。また、「輪郭のみ出力」する処理は、深さ情報「ｄ２＜＝ｄ＜＝ｄ３」を有するピクセル情報の中で、輪郭を構成するピクセル情報以外のピクセル情報のα値を０に設定する処理である。
次に、深さ情報付き二次元画像処理部１０８は、深さ情報付き二次元画像格納部１０３の深さ情報付き二次元画像の各ピクセルに対して、深さ情報が条件「ｄ０＜＝ｄ＜＝ｄ１」を満たすか否かを判断する。そして、条件「ｄ０＜＝ｄ＜＝ｄ１」を満たす深さ情報を有するピクセル情報のα値を「０．５」に書き換える。次に、深さ情報付き二次元画像処理部１０８は、上記の「輪郭のみ出力」する処理を行う。そして、深さ情報付き二次元画像処理部１０８は、処理後深さ情報付き二次元画像Ｉ'ｃａｍを得る。
次に、拡張像生成部１１１は、三次元画像格納部１０２から三次元画像Ｉｖｏｌを読み出す。そして、拡張像生成部１１１は、処理後深さ情報付き二次元画像と読み出したＩｖｏｌとを重ね合わせ、拡張像Ｉａｕｇを生成する。生成した拡張像Ｉａｕｇを、図１２に示す。そして、出力部１１２は、拡張像Ｉａｕｇを出力する。
（具体例２）
具体例２において、具体例１と同様に、二次元画像格納部１０１に実映像Ｉｃａｍ（二次元画像）が格納され、三次元画像格納部１０２に三次元画像Ｉｖｏｌが格納されている。そして、Ｉｃａｍに深さ情報が付加された深さ情報付き二次元画像が深さ情報付き二次元画像格納部１０３に格納されている。
かかる場合、ユーザが第二の拡張像取得指示を入力した、とする。すると、受付部１０４は、第二の拡張像取得指示を受け付ける。なお、ここでの第二の拡張像取得指示は、深さ情報付き二次元画像において、球までの深さ情報を有するピクセル情報を透明にした処理後深さ情報付き二次元画像Ｉ'ｃａｍに、三次元画像Ｉｖｏｌの投影像を貼り付けてレンダリングして、拡張像を取得する指示である、とする。つまり、第二の拡張像取得指示は、条件「０＜＝ｄ＜＝ｄ３，α値＝０」を有する。ここで、「ｄ３」は、球を構成するピクセル情報の深さ情報の中で、最も値が大きい深さ情報である。
次に、深さ情報付き二次元画像処理部１０８は、深さ情報付き二次元画像格納部１０３の深さ情報付き二次元画像の各ピクセルに対して、深さ情報が条件「０＜＝ｄ＜＝ｄ３」を満たすか否かを判断する。そして、条件「０＜＝ｄ＜＝ｄ１」を満たす深さ情報を有するピクセル情報のα値を「０」に書き換える。そして、深さ情報付き二次元画像処理部１０８は、処理後深さ情報付き二次元画像Ｉ'ｃａｍを得る。
次に、拡張像生成部１１１は、三次元画像格納部１０２から三次元画像Ｉｖｏｌを読み出す。拡張像生成部１１１は、処理後深さ情報付き二次元画像と読み出したＩｖｏｌとを重ね合わせ、拡張像Ｉａｕｇを生成する。生成した拡張像Ｉａｕｇを、図１３に示す。そして、出力部１１２は、拡張像Ｉａｕｇを出力する。
上記の具体例１、２において、拡張像Ｉａｕｇを生成する場合に、ＩｃａｍにとＩｖｏｌの用い方が異なる例を示した。しかし、ＩｃａｍにとＩｖｏｌを、どの程度用いるかは、ピクセル情報またはボクセル情報が有するα値を変更することにより、自由に決定され得る。
（具体例３）
具体例３において、具体例１と同様に、二次元画像格納部１０１に二次元画像Ｉｃａｍが格納され、三次元画像格納部１０２に三次元画像Ｉｖｏｌが格納されている。そして、Ｉｃａｍに深さ情報が付加された深さ情報付き二次元画像が深さ情報付き二次元画像格納部１０３に格納されている。
そして、今、ユーザの指示により、出力部１１２が二次元画像Ｉｃａｍを出力した、とする。次に、ユーザは、図１４に示すように、出力されているＩｃａｍの中の球の箇所に入力手段（例えば、マウス）のポインタを持って行き、指示した、とする。すると、受付部１０４は、連続領域指示を受け付ける。ここで、連続領域指示は、球全体を指示したこととなる。
次に、指示ボクセル情報決定部１０９は、指示された点の座標値（ｘ１，ｙ１）を取得する。
次に、指示ボクセル情報決定部１０９は、取得した座標値（ｘ１，ｙ１）と同一の平面座標（ｘ１，ｙ１）を有するすべてのボクセル情報を、三次元画像Ｉｖｏｌから取得する。
次に、指示ボクセル情報決定部１０９は、取得したすべてのボクセル情報の中で、透明ではなく、最も手前のボクセル情報である基準ボクセル情報を取得する。
次に、指示ボクセル情報決定部１０９は、基準ボクセル情報の色情報（ｃｏｌ１）を取得する。
次に、指示ボクセル情報決定部１０９は、基準ボクセル情報に隣接するすべてのボクセル情報をＩｖｏｌから取得する。
次に、指示ボクセル情報決定部１０９は、基準ボクセル情報の色情報（ｃｏｌ１）と、隣接する各ボクセル情報の色情報（ｃｏｌ２）とを比較し、２つの色情報の差異が閾値以内であるか否か（｜ｃｏｌ１−ｃｏｌ２｜＜Ｘ（Ｘは予め決められている））を判断する。そして、条件「｜ｃｏｌ１−ｃｏｌ２｜＜Ｘ」を満たすボクセル情報を、指示ボクセル情報として決定する。
次に、各指示ボクセル情報を基準ボクセル情報として、上記の処理を再帰的に繰り返す。そして、指示ボクセル情報決定部１０９は、球を構成するすべてのボクセル情報を得る。
次に、三次元画像処理部１１０は、例えば、指示ボクセル情報決定部１０９が得たすべてのボクセル情報のα値を１にし、それ以外のボクセル情報のα値を０に設定する。そして、三次元画像処理部１１０は、図１５に示す処理後三次元画像Ｉ'ｖｏｌを得る。なお、図１５のＩ'ｖｏｌの破線は、実際は見えない。
次に、具体例１、２と同様に、拡張像生成部１１１は、処理後三次元画像Ｉ'ｖｏｌと、深さ情報付き二次元画像または処理後深さ情報付き二次元画像とを重ね合わせ、拡張像Ｉａｕｇを生成する。なお、処理後深さ情報付き二次元画像は、どのような処理を行っていても良い。
（具体例４）
今、二次元画像格納部１０１には、内視鏡で人間の体内を撮影した二次元画像（図１６）が格納されている。そして、この二次元画像と位置合わせをされた三次元画像（図１７）が三次元画像格納部１０２に格納されている。なお、三次元画像は、人間に対してＭＲＩを用いて取得された画像である。また、三次元画像には、ユーザにより入力された切削予定箇所１７０１が存在している。また、深さ情報付き二次元画像格納部１０３には、二次元画像（図１６）に深さ情報が付与された深さ情報付き二次元画像が格納されている、とする。
かかる状況において、ユーザが第三の拡張像取得指示を入力した、とする。すると、受付部１０４は、第三の拡張像取得指示を受け付ける。なお、ここでの第三の拡張像取得指示は、深さ情報付き二次元画像のα値をα１（定数）、三次元画像のα値をα２（定数）に設定し、処理後深さ情報付き二次元画像Ｉ'ｃａｍ（α値「α１」の深さ情報付き二次元画像）に、処理後三次元画像Ｉ'ｖｏｌ（α値「α２」の三次元画像）の投影像を貼り付けてレンダリングして、拡張像を取得する指示である、とする。
次に、深さ情報付き二次元画像処理部１０８は、深さ情報付き二次元画像のすべてのピクセル情報のα値をα１に設定し、処理後深さ情報付き二次元画像Ｉ'ｃａｍを得る。また、三次元画像処理部１１０は、三次元画像のすべてのボクセル情報のα値をα２に設定し、処理後三次元画像Ｉ'ｖｏｌを得る。
次に、拡張像生成部１１１は、Ｉ'ｃａｍとＩ'ｖｏｌとを重ね合わせ、拡張像Ｉａｕｇを生成する。そして、出力部１１２は、拡張像Ｉａｕｇを出力する。かかるＩａｕｇの出力例は、図１８である。
以上、本実施の形態によれば、同一の対象物の二次元画像と三次元画像とを効果的に用いて、必要な画像を得ることができる。
また、本実施の形態によれば、画像が有する点の深さ情報を用いて、二次元画像と三次元画像とを効果的に重ね合わせた画像を得ることができる。
また、本実施の形態における画像処理装置１を手術支援システムに用いれば、例えば、内視鏡映像への切削予定箇所や周辺の血管・神経などの肉眼で直接見えない情報の重ね合わせが可能となり、効果的な手術支援が行える。
なお、本実施の形態によれば、画像処理装置１は、二次元画像格納部１０１、三次元画像格納部１０２、深さ情報付き二次元画像格納部１０３、受付部１０４、深さ情報取得部１０５、深さ情報付き二次元画像取得部１０６、深さ情報付き二次元画像蓄積部１０７、深さ情報付き二次元画像処理部１０８、指示ボクセル情報決定部１０９、三次元画像処理部１１０、拡張像生成部１１１、および出力部１１２を具備した。しかし、画像処理装置１は、上記構成のうちの一部の構成を省略しても良い。例えば、図１９に示すように、画像処理装置１は、三次元画像格納部１０２、深さ情報付き二次元画像格納部１０３、受付部１０４、深さ情報付き二次元画像処理部１０８、拡張像生成部１１１、および出力部１１２だけでも良い。
さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における情報処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記憶媒体に、１以上の三次元の物体の画像データであり、位置を示す情報である位置情報と、色についての情報である色情報と、基準点からの深さを示す深さ情報とを有する点の情報である複数のボクセル情報から構成される三次元画像と、前記１以上の三次元の物体を撮影した画像であり、前記三次元画像と位置合わせがされている画像であり、位置情報と色情報と深さ情報とを有する点の情報である複数のピクセル情報から構成され深さ情報付き二次元画像とを格納しており、前記記憶媒体を具備したコンピュータを、前記深さ情報付き二次元画像に対して、深さ情報を用いて、第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する深さ情報付き二次元画像処理部と、前記処理後深さ情報付き二次元画像と、前記三次元画像に対して第二の画像処理を施した処理後三次元画像または前記三次元画像とを重ね合わせた拡張像を生成する拡張像生成部と、前記拡張像を出力する出力部として機能させるためのプログラム、である。
また、上記プログラムにおいて、前記記憶媒体に、さらに、前記１以上の三次元の物体を撮影した画像であり、前記三次元画像と位置合わせがされている画像であり、位置情報と色情報とを有する点の情報である複数のピクセル情報から構成される二次元画像を格納しており、前記三次元画像が有する複数のボクセル情報において、平面上の同一の位置情報を有する複数の点の情報から、透明ではない色情報を有し、かつ深さ情報が基準位置から最も手前を示す情報であるボクセル情報が有する深さ情報を、平面上の位置情報ごとに取得する深さ情報取得部と、前記深さ情報取得部が平面上の位置情報ごとに取得した２以上の各深さ情報を、前記二次元画像が有する複数の各ピクセル情報であり、前記平面上の位置情報が一致する各ピクセル情報に付加し、位置情報と色情報と深さ情報とを有する２以上のピクセル情報からなる深さ情報付き二次元画像を取得する深さ情報付き二次元画像取得部として、コンピュータを、さらに機能させるプログラムであることは好適である。
また、上記プログラムにおいて、前記深さ情報付き二次元画像処理部は、前記深さ情報付き二次元画像に対して、ピクセル情報が有する深さ情報の違いに応じて、少なくとも２以上の異なる色情報または／および異なる不透明度情報を設定する第一の画像処理を行い、処理後深さ情報付き二次元画像を取得するものとして、コンピュータを機能させるプログラムであることは好適である。
また、上記プログラムにおいて、前記三次元画像に対して、ボクセル情報が有する深さ情報の違いに応じて、少なくとも２以上の異なる色情報または／および異なる不透明度情報を設定する第二の画像処理を行い、処理後三次元画像を取得する三次元画像処理部として、コンピュータを、さらに機能させるプログラムであることは好適である。
また、上記プログラムにおいて、出力されている二次元画像または深さ情報付き二次元画像または拡張像のうちの１以上の点に対する指示を受け付ける受付部と、前記指示に対応する１以上の点に対応するボクセル情報が有する色情報を用いて、連続する２以上のボクセル情報を決定する指示ボクセル情報決定部として、コンピュータを、さらに機能させるプログラムであって、前記三次元画像処理部は、前記指示ボクセル情報決定部が決定した２以上のボクセル情報、または当該２以上のボクセル情報以外のボクセル情報に、他とは異なる色情報または／および異なる不透明度情報を設定する第二の画像処理を行い、処理後三次元画像を取得するものとしてコンピュータを機能させるプログラムであることは好適である。
また、図２０は、本明細書で述べたプログラムを実行して、上述した実施の形態の画像処理装置等を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図２０は、このコンピュータシステム３４０の概観図であり、図２１は、コンピュータシステム３４０のブロック図である。
図２０において、コンピュータシステム３４０は、ＦＤドライブ、ＣＤ−ＲＯＭドライブを含むコンピュータ３４１と、キーボード３４２と、マウス３４３と、モニタ３４４とを含む。
図２１において、コンピュータ３４１は、ＦＤドライブ３４１１、ＣＤ−ＲＯＭドライブ３４１２に加えて、ＭＰＵ３４１３と、ＣＤ−ＲＯＭドライブ３４１２及びＦＤドライブ３４１１に接続されたバス３４１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ３４１５とに接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ３４１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク３４１７とを含む。ここでは、図示しないが、コンピュータ３４１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。
コンピュータシステム３４０に、上述した実施の形態の画像処理装置等の機能を実行させるプログラムは、ＣＤ−ＲＯＭ３５０１、またはＦＤ３５０２に記憶されて、ＣＤ−ＲＯＭドライブ３４１２またはＦＤドライブ３４１１に挿入され、さらにハードディスク３４１７に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ３４１に送信され、ハードディスク３４１７に記憶されても良い。プログラムは実行の際にＲＡＭ３４１６にロードされる。プログラムは、ＣＤ−ＲＯＭ３５０１、ＦＤ３５０２またはネットワークから直接、ロードされても良い。
プログラムは、コンピュータ３４１に、上述した実施の形態の画像処理装置等の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３４０がどのように動作するかは周知であり、詳細な説明は省略する。
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
また、上記各実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
以上のように、本発明にかかる画像処理装置は、同一の対象物の二次元画像と三次元画像とを効果的に用いて、必要な画像を得ることができる、という効果を有し、手術支援システム等として有用である。
１ 画像処理装置
１０１ 二次元画像格納部
１０２ 三次元画像格納部
１０３ 深さ情報付き二次元画像格納部
１０４ 受付部
１０５ 情報取得部
１０６ 深さ情報付き二次元画像取得部
１０７ 深さ情報付き二次元画像蓄積部
１０８ 深さ情報付き二次元画像処理部
１０９ 指示ボクセル情報決定部
１１０ 三次元画像処理部
１１１ 拡張像生成部
１１２ 出力部

Claims (9)

  1. １以上の三次元の物体の画像データであり、位置を示す情報である位置情報と、色についての情報である色情報と、基準点からの深さを示す深さ情報とを有する点の情報である複数のボクセル情報から構成される三次元画像を格納し得る三次元画像格納部と、
    前記１以上の三次元の物体を撮影した画像であり、前記三次元画像と位置合わせがされている画像であり、位置情報と色情報と深さ情報とを有する点の情報である複数のピクセル情報から構成される深さ情報付き二次元画像を格納し得る深さ情報付き二次元画像格納部と、
    前記深さ情報付き二次元画像に対して、深さ情報を用いて、第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する深さ情報付き二次元画像処理部と、
    前記処理後深さ情報付き二次元画像と、前記三次元画像に対して第二の画像処理を施した処理後三次元画像または前記三次元画像とを重ね合わせた拡張像を生成する拡張像生成部と、
    前記拡張像を出力する出力部とを具備する画像処理装置。
  2. 前記１以上の三次元の物体を撮影した画像であり、前記三次元画像と位置合わせがされている画像であり、位置情報と色情報とを有する点の情報である複数のピクセル情報から構成される二次元画像を格納し得る二次元画像格納部と、
    前記三次元画像が有する複数のボクセル情報において、平面上の同一の位置情報を有する複数の点の情報から、透明ではない色情報を有し、かつ深さ情報が基準位置から最も手前を示す情報であるボクセル情報が有する深さ情報を、平面上の位置情報ごとに取得する深さ情報取得部と、
    前記深さ情報取得部が平面上の位置情報ごとに取得した２以上の各深さ情報を、前記二次元画像が有する複数の各ピクセル情報であり、前記平面上の位置情報が一致する各ピクセル情報に付加し、位置情報と色情報と深さ情報とを有する２以上のピクセル情報からなる深さ情報付き二次元画像を取得する深さ情報付き二次元画像取得部とをさらに具備し、
    前記深さ情報付き二次元画像格納部の深さ情報付き二次元画像は、前記深さ情報付き二次元画像取得部が取得した深さ情報付き二次元画像である請求項１記載の画像処理装置。
  3. 前記深さ情報付き二次元画像処理部は、
    前記深さ情報付き二次元画像に対して、ピクセル情報が有する深さ情報の違いに応じて、少なくとも２以上の異なる色情報または／および異なる不透明度情報を設定する第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する請求項１または請求項２記載の画像処理装置。
  4. 前記三次元画像に対して、ボクセル情報が有する深さ情報の違いに応じて、少なくとも２以上の異なる色情報または／および異なる不透明度情報を設定する第二の画像処理を行い、処理後三次元画像を取得する三次元画像処理部をさらに具備する請求項１から請求項３いずれか記載の画像処理装置。
  5. 出力されている二次元画像または深さ情報付き二次元画像または拡張像のうちの１以上の点に対する指示を受け付ける受付部と、
    前記指示に対応する１以上の点に対応するボクセル情報が有する色情報を用いて、連続する２以上のボクセル情報を決定する指示ボクセル情報決定部をさらに具備し、
    前記三次元画像処理部は、
    前記指示ボクセル情報決定部が決定した２以上のボクセル情報、または当該２以上のボクセル情報以外のボクセル情報に、他とは異なる色情報または／および異なる不透明度情報を設定する第二の画像処理を行い、処理後三次元画像を取得する請求項４記載の画像処理装置。
  6. 前記三次元画像は、
    １以上の３次元の物体のボリュームテクスチャである３Ｄボクセル情報である請求項１から請求項５いずれか記載の画像処理装置。
  7. 前記三次元画像は、
    １以上の三次元の物体のボリュームテクスチャである３Ｄボクセル情報を複数の平面で切り出した結果の二次元の画像データに基づいて構成される情報であるスライス情報であり、位置情報と色情報と深さ情報とを有する複数の点の情報から構成される複数のスライス情報を有するスライス情報群からなる請求項１から請求項５いずれか記載の画像処理装置。
  8. 記憶媒体に、
    １以上の三次元の物体の画像データであり、位置を示す情報である位置情報と、色についての情報である色情報と、基準点からの深さを示す深さ情報とを有する点の情報である複数のボクセル情報から構成される三次元画像と、
    前記１以上の三次元の物体を撮影した画像であり、前記三次元画像と位置合わせがされている画像であり、位置情報と色情報と深さ情報とを有する点の情報である複数のピクセル情報から構成される深さ情報付き二次元画像とを格納しており、
    深さ情報付き二次元画像処理部、拡張像生成部、および出力部により実現され得る画像処理方法であって、
    前記深さ情報付き二次元画像処理部が、前記深さ情報付き二次元画像に対して、深さ情報を用いて、第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する深さ情報付き二次元画像処理ステップと、
    前記拡張像生成部が、前記処理後深さ情報付き二次元画像と、前記三次元画像に対して第二の画像処理を施した処理後三次元画像または前記三次元画像とを重ね合わせた拡張像を生成する拡張像生成ステップと、
    前記出力部が、前記拡張像を出力する出力ステップとを具備する画像処理方法。
  9. 記憶媒体に、
    １以上の三次元の物体の画像データであり、位置を示す情報である位置情報と、色についての情報である色情報と、基準点からの深さを示す深さ情報とを有する点の情報である複数のボクセル情報から構成される三次元画像と、
    前記１以上の三次元の物体を撮影した画像であり、前記三次元画像と位置合わせがされている画像であり、位置情報と色情報と深さ情報とを有する点の情報である複数のピクセル情報から構成される深さ情報付き二次元画像とを格納しており、
    前記記憶媒体を具備したコンピュータを、
    前記深さ情報付き二次元画像に対して、深さ情報を用いて、第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する深さ情報付き二次元画像処理部と、
    前記処理後深さ情報付き二次元画像と、前記三次元画像に対して第二の画像処理を施した処理後三次元画像または前記三次元画像とを重ね合わせた拡張像を生成する拡張像生成部と、
    前記拡張像を出力する出力部として機能させるためのプログラム。
JP2011182615A 2011-08-24 2011-08-24 画像処理装置、画像処理方法、およびプログラム Active JP5808004B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011182615A JP5808004B2 (ja) 2011-08-24 2011-08-24 画像処理装置、画像処理方法、およびプログラム
PCT/JP2012/071213 WO2013027773A1 (ja) 2011-08-24 2012-08-22 画像処理装置、画像処理方法、および記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011182615A JP5808004B2 (ja) 2011-08-24 2011-08-24 画像処理装置、画像処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2013045284A JP2013045284A (ja) 2013-03-04
JP5808004B2 true JP5808004B2 (ja) 2015-11-10

Family

ID=47746511

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011182615A Active JP5808004B2 (ja) 2011-08-24 2011-08-24 画像処理装置、画像処理方法、およびプログラム

Country Status (2)

Country Link
JP (1) JP5808004B2 (ja)
WO (1) WO2013027773A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9747680B2 (en) 2013-11-27 2017-08-29 Industrial Technology Research Institute Inspection apparatus, method, and computer program product for machine vision inspection
JP6698824B2 (ja) * 2016-04-11 2020-05-27 富士フイルム株式会社 画像表示制御装置および方法並びにプログラム
JP6816442B2 (ja) * 2016-10-19 2021-01-20 富士ゼロックス株式会社 データ処理装置、立体造形システム及びプログラム
JP6461257B2 (ja) * 2017-07-24 2019-01-30 キヤノン株式会社 画像処理装置およびその方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3683977B2 (ja) * 1996-03-22 2005-08-17 株式会社東芝 医用画像診断装置
JP2000051202A (ja) * 1998-08-14 2000-02-22 Ge Yokogawa Medical Systems Ltd 画像表示方法および画像表示装置
JP2002238887A (ja) * 2001-02-19 2002-08-27 National Cancer Center-Japan 仮想内視鏡
JP5030335B2 (ja) * 2001-03-06 2012-09-19 オリンパス株式会社 医用画像表示装置
JP2006061274A (ja) * 2004-08-25 2006-03-09 Konica Minolta Medical & Graphic Inc プログラム、及び内視鏡システム
JP2006320427A (ja) * 2005-05-17 2006-11-30 Hitachi Medical Corp 内視鏡手術支援システム
JP4989262B2 (ja) * 2007-03-15 2012-08-01 株式会社日立メディコ 医用画像診断装置

Also Published As

Publication number Publication date
WO2013027773A1 (ja) 2013-02-28
JP2013045284A (ja) 2013-03-04

Similar Documents

Publication Publication Date Title
US10692272B2 (en) System and method for removing voxel image data from being rendered according to a cutting region
US7397475B2 (en) Interactive atlas extracted from volume data
US9679415B2 (en) Image synthesis method and image synthesis apparatus
CN103026382B (zh) 多个图像的融合
KR20140100656A (ko) 전방향 영상 및 3차원 데이터를 이용한 시점 영상 제공 장치 및 방법
JP5492024B2 (ja) 領域分割結果修正装置、方法、及びプログラム
JP2008259699A (ja) 画像処理方法および装置並びにプログラム
WO2019093457A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP6215057B2 (ja) 可視化装置、可視化プログラムおよび可視化方法
JP5808004B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2020173529A (ja) 情報処理装置、情報処理方法、及びプログラム
CN107633478B (zh) 图像处理装置、图像处理方法以及计算机可读介质
JP6974978B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US12073508B2 (en) System and method for image processing
US9585569B2 (en) Virtual endoscopic projection image generating device, method and program
JP5595207B2 (ja) 医用画像表示装置
JP2009247490A (ja) 画像処理装置および方法並びにプログラム
JP2014524810A (ja) レンダリングを行う方法及びシステム
US11000252B2 (en) Device for visualizing a 3D object
JP2008067915A (ja) 医用画像表示装置
KR100466409B1 (ko) 가상 내시경 시스템, 가상 내시경 디스플레이 방법과 그 방법을 컴퓨터 상에서 수행하는 프로그램을 저장한 컴퓨터가 판독 가능한 기록 매체
JP2009247502A (ja) 中間画像生成方法および装置ならびにプログラム
JP5065740B2 (ja) 画像処理方法および装置並びにプログラム
EP4258221A2 (en) Image processing apparatus, image processing method, and program
JP6266229B2 (ja) 画像処理装置、方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140602

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150825

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150904

R150 Certificate of patent or registration of utility model

Ref document number: 5808004

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250