JP7139637B2 - 画像処理装置及び投影システム - Google Patents

Description

本発明は、画像処理装置及び投影システムに関する。

プロジェクタ等の投影装置を使用して建造物等の立体物に画像（映像）を投影するプロジェクションマッピングと呼ばれる技術が様々な分野で利用されている。係るプロジェクションマッピングでは、位置ずれや歪みが発生しないよう立体物の形状にあわせて画像を投影することが要求される。

例えば、投影先の対象物（立体物）を投影装置の視点から見た２次元の画像データと、投影装置の３次元データから生成した２次元画像とを用いることで、立体物と投影用の画像との位置合わせを行う技術が提案されている（特許文献１）。

ところで、上記したプロジェクションマッピングは、ＣＴ（コンピュータ断層撮像装置）やＭＲＩ（磁気共鳴診断装置）等のモダリティで撮像された患者のモダリティ画像を、当該患者の体表に投影する際にも利用されている。

しかしながら、プロジェクションマッピングを用いてモダリティ画像を投影する場合、モダリティ画像の投影先は非剛体の人体となるため、モダリティ画像の撮像時と投影時とで部位の形状が変化する可能性がある。例えば、撮像先（投影先）の領域に、皮下脂肪の多い柔軟性に富んだ部位（例えば乳房等）が含まれる場合には、モダリティ画像の撮像時と同じ体位を投影時に再現したとしても、当該部位の形状が相違する可能性がある。なお、従来の技術は、建造物等の剛体を投影先とした位置合わせ技術であるため、非剛体への投影に適用することは困難である。

本発明は、上記に鑑みてなされたものであって、非剛体へのプロジェクションマッピングに好適な投影画像を生成することが可能な画像処理装置及び投影システムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明の一形態は、柔軟性の異なる複数の部位を有し当該部位に前記柔軟性に対応する種別のマーカーが複数個付された対象領域について、当該対象領域を事前に撮像した投影対象のモダリティ画像である第１画像と、前記第１画像の投影に先駆けて前記対象領域を撮像したカメラ画像である第２画像との各々から、前記マーカーが付されたマーキング位置をマーカー種別毎に抽出するマーキング情報抽出部と、抽出された前記マーカー種別毎の前記マーキング位置に基づいて、前記第１画像に含まれた前記マーカーの前記マーキング位置を、前記第２画像に含まれた前記マーカーの前記マーキング位置に位置合わせする画像処理を、前記マーカー種別に対応した処理方法で実行する画像処理部と、前記画像処理後の前記第１画像に基づいて、前記対象領域に投影する投影画像を生成する投影画像生成部と、を備えることを特徴とする。

本発明によれば、非剛体へのプロジェクションマッピングに好適な投影画像を生成することが可能となる。

図１は、第１の実施形態に係るプロジェクションマッピングシステムのシステム構成例を示す図である。 図２は、第１の実施形態に係るマーカーの例を示す図である。 図３は、第１の実施形態に係るプロジェクタ及びカメラの設置例を示す図である。 図４は、第１の実施形態に係る画像処理装置のハードウェア構成例を示す図である。 図５は、第１の実施形態に係る画像処理装置の機能構成例を示す図である。 図６は、第１の実施形態に係る３次元データの座標系を説明するための図である。 図７は、第１の実施形態に係る入力画像及びマーキング認識用画像に含まれたマーカーのマーキング状態例を示す図である。 図８は、第１の実施形態に係る変形処理部の変形範囲の抽出動作を説明するための図である。 図９は、第１の実施形態に係る変形後座標群と患者の体表との関係を示す図である。 図１０は、第１の実施形態に係る変形後座標群の座標系と、プロジェクタ座標系との関係を示す図である。 図１１は、第１の実施形態の画像処理装置で実行される画像処理の一例を示すフローチャートである。 図１２は、第１の実施形態の画像処理装置で実行される画像処理を説明するための図である。 図１３は、第２の実施形態に係る投影先の対象物の例を示す図である。 図１４は、第４の実施形態に係るプロジェクタと投影先の対象物との配置関係を説明するための図である。 図１５は、第５の実施形態に係るマーカーの例を示す図である。 図１６は、第７の実施形態に係る入力装置の機能構成例を示す図である。 図１７は、第７の実施形態に係る形状計測パターンの一例を示す図である。

以下に添付図面を参照して、画像処理装置及び投影システムの実施形態を詳細に説明する。以下の実施形態によって本発明が限定されるものではなく、以下の実施形態における構成要素には当業者が容易に想到できるもの、実質的に同一のもの、及びいわゆる均等の範囲のものが含まれる。以下の実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更、及び組み合わせを行うことができる。

（第１の実施形態）
図１は、第１の実施形態に係る投影システム１のシステム構成例を示す図である。投影システム１は、ＣＴ（コンピュータ断層撮像装置）やＭＲＩ（磁気共鳴診断装置）等のモダリティで撮像された患者のモダリティ画像を、当該患者の手術時等に患者の体表に投影（プロジェクションマッピング）するものである。

本例に係る投影システム１は、入力装置１０、カメラ３０、プロジェクタ２０、及び画像処理装置４０を有する。

入力装置１０は、入力部の一例である。入力装置１０は、モダリティで撮像されたモダリティ画像を、投影の対象となる入力画像として画像処理装置４０に入力する。入力装置１０は、例えばＣＴやＭＲＩ等のモダリティや、当該モダリティで撮像されたモダリティ画像を記憶・管理するデータベース等である。また、入力装置１０は、例えば、フィルム媒体等で記録されたモダリティ画像を読み取るスキャナ装置である。

モダリティ画像は、ＣＴやＭＲＩ等のモダリティで撮像された患者の生体内の情報を画像化したデータである。係るモダリティ画像は、投影したい向きに合わせて撮像されている。例えば、患者を仰臥位で撮像し、仰臥位状態の真上方向から投影する場合には、真上方向の視点のＭＩＰ（Maximum Intensity Projection）画像をモダリティ画像として用意する。また、仰臥位状態の斜め３０度方向から投影する場合は、同様に斜め３０度方向の視点のＭＩＰ画像をモダリティ画像として用意する。また、乳房温存手術の色素法を利用する場合は、その色素注射の穿刺方向に合わせたＭＩＰ画像をモダリティ画像として用意する。本例では説明の簡略化のため、撮影及び投影の対象となる対象領域を胸部（乳房周辺）とし、当該対象領域を真上方向からの視点で撮像・投影を行うものとして説明する。

また、モダリティ画像には、撮影時に患者の体表に付されたマーカーの位置及びマーカー種類を示すマーキング情報が含まれる。マーカーは、モダリティ画像の撮像時に、医師や技師等によって患者の体表の該当部位に付される。マーカーは、部位の特性（柔軟性）に応じて、複数種のマーカーが使い分けられる。

図２は、本実施形態に係るマーカーの例を示す図であり、患者の体表ＢＤ１（乳房周辺）に付されたマーカーの例を表している。同図では、第１種マーカーＭ１と、第２種マーカーＭ２との２種類のマーカーを用いた例を示している。

第１種マーカーＭ１は、弛みや皮下脂肪が少ない（ＭＲＩ等で胸椎が写る）部位等、柔軟性の低い非変動部位に付されるものである。一方、第２種マーカーＭ２は、弛みや皮下脂肪が多い部位等、第１種マーカーＭ１が付される非変動部位と比較し、柔軟性の高い変動部位に付されるものである。

マーカーは、第１種マーカーＭ１と第２種マーカーＭ２とが識別できればよく、色、形状、模様、文字等を相違させて表すことができる。図２（ａ）では、第１種マーカーＭ１と第２種マーカーＭ２との形状を相違させた例を示している（第１種マーカーＭ１が「○」、第２種マーカーＭ２が「×」）。また、図２（ｂ）では、第１種マーカーＭ１と第２種マーカーＭ２との色を相違させた例を示している（例えば、第１種マーカーＭ１が「緑」、第２種マーカーＭ２が「青」）。この場合、第１種マーカーＭ１及び第２種マーカーＭ２の色は、患者の肌の色と識別可能な色とすることが好ましい。

例えば、モダリティ画像に写る医療用の皮膚ペン等を用いてマーカー（第１種マーカーＭ１及び第２種マーカーＭ２）を付した場合、そのマーカーが付されたマーキング位置及び種別（色や形状）が、マーキング情報としてモダリティ画像上に記録される。この場合、マーカーは、投影時（例えば手術時）まで体表に残るような耐久性のあるインクを用いることが好ましい。

また、患者の体表に付したマーカーが、モダリティ画像に写らないような場合には、例えば、以下の手順でマーキング情報を記録すればよい。まず、患者の体表上でマーキング位置を決める。造影剤の入った造影マーカーをマーキング位置に貼付しモダリティで撮像する。これにより、撮像されたモダリティ画像上に造影マーカーのマーキング位置が記録される。そして、モダリティ画像上のマーキング位置に、該当する第１種マーカーＭ１及び第２種マーカーＭ２の種別（色、形）を、電子的又は皮膚ペン等を用いて記録する。

また、マーキング情報は、モダリティ画像と別体で保持する構成としてもよい。この場合、マーキング情報は、マーカーの種別とモダリティ画像上での当該マーカーのマーキング位置とを対応付けた情報（マーキング位置座標）を含み、対応するモダリティ画像とともに入力画像として画像処理装置４０に入力される。

プロジェクタ２０は、投影部の一例である。プロジェクタ２０は、投影先の対象物に投影（プロジェクションマッピング）を行うプロジェクタ装置である。プロジェクタ２０は、画像処理装置４０から入力される各種の画像データを、投影先となる患者の体表ＢＤ１に投影する。なお、投影先は体表ＢＤ１に限らず、体表ＢＤ１周辺の領域を含んでもよい。この場合、体表ＢＤ１の範囲内には、第１種マーカーＭ１及び第２種マーカーＭ２に基づいて位置合わせされた入力画像（投影画像）が投影され、体表ＢＤ１の周辺領域には、第１種マーカーＭ１に基づいて位置合わせされた入力画像（投影画像）が投影される。

カメラ３０は、撮像部の一例である。カメラ３０は、ビデオカメラやデジタルカメラ等のカラー撮像可能な撮像装置である。カメラ３０は、撮像によって得られる画像データを画像処理装置４０に出力する。

プロジェクタ２０及びカメラ３０は、例えば、図３に示すように、仰臥位状態の患者Ｔ１の上方に位置付けられ、患者Ｔ１の上方から投影及び撮像を行う。ここで、図３は、本実施形態に係るプロジェクタ２０及びカメラ３０の設置例を示す図である。同図において、スタンド５０は、プロジェクタ２０及びカメラ３０を設置するためのものであり、ベース部５１と、キャスター５２と、支柱部５３と、アーム部５４とを備える。ベース部５１は、スタンド５０の基部となる部材であって、底面に移動可能なキャスター５２が設けられている。支柱部５３は、ベース部５１の中央部から立設されており、その上端部にアーム部５４が取り付けられている。アーム部５４は、上下左右に可動な状態で支柱部５３に取り付けられる。アーム部５４の先端部には、プロジェクタ２０及びカメラ３０が下向きに取り付けられる。係るスタンド５０では、アーム部５４の先端部を患者Ｔ１の上方に配置することで、患者Ｔ１の上方から投影及び撮像を行うことができる。

なお、患者Ｔ１に対するプロジェクタ２０及びカメラ３０の向きは、モダリティ画像の撮像が行われた向きと略同一に配置されるものとする。また、プロジェクタ２０の投影範囲及びカメラ３０の撮像範囲が、モダリティ画像の撮像が行われた患者部位を包含するよう、アーム部５４の高さ等が調整されるものとする。

画像処理装置４０は、入力装置１０から入力された入力画像（第１画像）と、カメラ３０によって撮像された撮像画像（第２画像）とに基づき、位置調整を施した投影用の投影画像を生成する。本例において、画像処理装置４０は、特定のコンピュータ（ＰＣ（Personal Computer）、サーバ装置等）であるとするが、複数のコンピュータや複数のサーバ装置（クラウド）によって構成されてもよい。

図４は、本実施形態に係る画像処理装置４０のハードウェア構成例を示す図である。画像処理装置４０は、ＣＰＵ（Central Processing Unit）４１、ＲＡＭ（Random Access Memory）４２、ＲＯＭ（Read Only Memory）４３、ストレージ４４、表示部４５、操作部４６、通信Ｉ／Ｆ４７、及び接続Ｉ／Ｆ４８等を含む。

ＣＰＵ４１はＲＯＭ４３又はストレージ４４に記憶されたプログラムに従ってＲＡＭ４２をワーキングエリアとして所定の制御演算処理を行う。ストレージ４４は不揮発性メモリであって、各種プログラムや各種データを記憶する。

表示部４５は、ＬＣＤ（Liquid Crystal Display）等の表示デバイスによって構成され、ＣＰＵ４１からの表示信号に基づいて各種情報を表示する。操作部４６は、キーボードやマウス等の入力デバイスによって構成され、ユーザ操作を受け付ける。なお、操作部４６は、表示部４５の画面上に形成されたタッチパネルであってもよい。

通信Ｉ／Ｆ４７は、ネットワークＮＴを介して外部の機器との間で情報の送受信を可能にするデバイスである。接続Ｉ／Ｆ４８は、有線又は無線により外部の機器との間で情報の送受信を可能にするデバイスである。

例えば、通信Ｉ／Ｆ４７は、ネットワークＮＴを介して入力装置１０と接続され、入力装置１０から送信される入力画像を受信する。また、接続Ｉ／Ｆ４８は、プロジェクタ２０及びカメラ３０と接続され、プロジェクタ２０及びカメラ３０との間で画像データの送受信を行う。なお、入力装置１０は、接続Ｉ／Ｆ４８を介して接続される構成としてもよい。また、プロジェクタ２０及びカメラ３０は、通信Ｉ／Ｆ４７を介して接続される構成としてもよい。

図５は、本実施形態に係る画像処理装置４０の機能構成例を示す図である。本例に係る画像処理装置４０は、投影パターン生成部４０１と、マーキング情報抽出部４０２と、３次元点群計測処理部４０３と、位置合わせ処理部４０４と、変形処理部４０５及び投影画像生成部４０６を備える。これらの機能構成は、例えば、画像処理装置４０のＣＰＵ４１と、ＲＯＭ４３又はストレージ４４に記憶されたプログラムとの協働により実現される。ここで、位置合わせ処理部４０４及び変形処理部４０５は、画像処理部の一例である。

投影パターン生成部４０１は、投影用のパターン画像を生成する。投影パターン生成部４０１は、以下の２種類のパターン画像を生成する。第１のパターン画像は、グレーコード画像、位相シフト画像、ハミングカラーコード画像等、一般に３次元形状を計測する目的で使用されるパターン画像（以下、形状計測パターンという）である。第２のパターン画像は、全白色の画像パターン及び全黒色の画像パターンである（以下、マーキング認識用パターンという）。全白色のマーキング認識用パターンは、室内照明が無い暗室において照明光として使用することを想定したものである。なお、室内照明がある場合等、外光のみでマーキング情報を抽出できる場合には、マーキング認識用パターンを生成しない構成としてもよい。

投影パターン生成部４０１が生成したパターン画像（形状計測パターン、マーキング認識用パターン）はプロジェクタ２０に出力され、当該プロジェクタ２０によって投影先（患者の体表ＢＤ１）に投影される。そして、プロジェクタ２０によって投影されたパターン画像は、カメラ３０によって撮像され、撮像画像として画像処理装置４０に入力される。以下、カメラ３０で撮像された撮像画像のうち、形状計測パターンを撮像したものを「形状計測画像」、マーキング認識用パターンを撮像したものを「マーキング認識用画像」という。

マーキング情報抽出部４０２は、入力装置１０から入力された入力画像及びカメラ３０で撮像されたマーキング認識用画像の各々から、マーキング情報（マーカー種別、マーキング位置）を抽出する。

例えば、図２（ａ）で説明したように、マーカーの種別が形状で表されている場合、マーキング情報抽出部４０２は、○印と×印のようなマーカーの形状（種別）をパターンマッチングで認識し、その円中心や×印の交点に該当する画素位置をマーキング位置として抽出する。

また、例えば、図２（ｂ）で説明したようにマーカーの種別は色で表されている場合、マーキング情報抽出部４０２は、画像データを構成する各画素の色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、明度（Ｖａｌｕｅ）等に基づき、マーカーの種別に該当する色領域をそれぞれ抽出する。マーキング情報抽出部４０２は、抽出した色領域に対して、当該色領域に隣接する同色の色領域を同じラベルとする８連結のラベリングなどを用いて、色領域をクラスタリングする。そして、マーキング情報抽出部４０２は、クラスタリングした色領域毎にその重心座標をマーキング位置として抽出する。以下、マーキング認識用画像から抽出されたマーキング位置を、「カメラ３０上のマーキング位置」、入力画像から抽出されたマーキング位置を「入力画像上のマーキング位置」という。

３次元点群計測処理部４０３は、形状取得部の一例である。３次元点群計測処理部４０３は、カメラ３０で撮像された形状計測画像に基づき、投影先（患者の体表ＢＤ１）の表面形状（３次元形状）を表した３次元データを生成する。以下、３次元点群計測処理部４０３の動作について説明する。

３次元点群計測処理部４０３は、カメラ３０で取得された複数の形状計測画像から、プロジェクタ２０が患者の体表ＢＤ１に投影した画像（以下、「プロジェクタ２０上」と表記）の画素座標を表すコード値を復元（デコード）する。具体的には、３次元点群計測処理部４０３は、プロジェクタ２０上の画素点（Ｘｐ、Ｙｐ）のコード値と、カメラ３０上の画素点（Ｘｃ、Ｙｃ）のコード値と、の対応関係を調べることで、その対応点を探索する。

投影対象の３次元座標（Ｘ、Ｙ、Ｘ）は、例えば、Ｚｈａｎｇの方法（Z. Zhang, “A flexible new technique for camera calibration,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 22, 11, pp. 1330－1334, 2000.）で得られたプロジェクタ校正パラメータ行列（プロジェクタ２０の内部パラメータ行列と外部パラメータ行列の積）と、同方法で得られたカメラ校正パラメータ行列（カメラ３０の内部パラメータ行列と外部パラメータ行列の積）とを用いて導出することができる。

下記式（１）は、プロジェクタ２０上の画素点（Ｘｐ、Ｙｐ）を、プロジェクタ校正パラメータ行列で表した式である。下記式（１）において、Ｈｐはスケーリングファクターである。また、下記式（１）の右辺はプロジェクタ校正パラメータ行列であり、プロジェクタ２０の内部パラメータ行列（Ｐ１１…Ｐ３４）と、外部パラメータ行列（Ｘ、Ｙ、Ｚ、１）との積で表される。また、下記式（２）は、カメラ３０上の画素点（Ｘｃ、Ｙｃ）を、プロジェクタ校正パラメータ行列で表した式である。下記式（２）において、Ｈｃはスケーリングファクターである。また、下記式（２）の右辺はカメラ校正パラメータ行列であり、カメラ３０の内部パラメータ行列（Ｃ１１…Ｃ３４）と、外部パラメータ行列（Ｘ、Ｙ、Ｚ、１）との積で表される。

式（１）、（２）の関係からスケーリングファクターＨｐ、Ｈｃを消去すると、下記式（３）が得られる。

式（３）を、疑似逆行列を用いて解くと、投影先の表面形状を表す３次元点座標（Ｘ、Ｙ、Ｚ）を求めることができる。上記処理を各画素について実行すると、投影先（患者の体表ＢＤ１）の３次元形状を表した３次元データ（３次元点群Ｐ｛（Ｘ_Pi、Ｙ_Pi、Ｚ_Pi）：Ｐｉは画素番号｝）が得られる。なお、３次元データの座標系は、図６のように、プロジェクタ２０の投射光を原点とし、プロジェクタ２０の水平方向をＸ軸、垂直方向をＹ軸、投影方向をＺ軸としている。ここで、図６は、本実施形態に係る３次元データの座標系を説明するための図である。

なお、上記は垂直方向と水平方向との両方のコード値を生成した場合の解を得る一例であるが、プロジェクタ座標は垂直方向及び水平方向の何れかの１ラインが分かれば、疑似逆行列により３次元点群Ｐを一意に求めることができるため、何れか一方向を用いる構成としてもよい。

位置合わせ処理部４０４は、位置合わせ処理部の一例である。位置合わせ処理部４０４は、マーキング情報抽出部４０２で抽出された第１種マーカーＭ１のマーキング位置に基づいて、入力画像に含まれた第１種マーカーのマーキング位置を、マーキング認識用画像に含まれた第１種マーカーのマーキング位置に位置合わせするための画像処理を実行する。

以下の説明では、入力画像に含まれたマーカーのマーキング状態が、図７（ａ）に示す状態にあるとする。また、マーキング認識用画像に含まれたマーカーのマーキング状態が、図７（ｂ）に示す状態にあるとする。ここで、図７は、本実施形態に係る入力画像及びマーキング認識用画像に含まれたマーカーのマーキング状態例を示す図である。

また、マーキング情報抽出部４０２によって抽出されたマーキング認識用画像上のマーキング位置のうち、第１種マーカーＭ１の４つのマーキング位置を、点群Ｐ_cg｛（Ｘ_cg1、Ｙ_cg1）、（Ｘ_cg2、Ｙ_cg2）、（Ｘ_cg3、Ｙ_cg3）、（Ｘ_cg4、Ｙ_cg4）｝と表記する。また、同様にマーキング情報抽出部４０２によって抽出された入力画像上のマーキング位置のうち、第１種マーカーＭ１の４つのマーキング位置を、点群Ｐ_mg｛（Ｘ_mg1、Ｙ_mg1）、（Ｘ_mg2、Ｙ_mg2）、（Ｘ_mg3、Ｙ_mg3）、（Ｘ_mg4、Ｙ_mg4）｝と表記する。

まず、位置合わせ処理部４０４は、３次元点群計測処理部４０３で導出された３次元点群座標（Ｘ、Ｙ、Ｚ）に基づいて、点群Ｐ_cgに対応する、３次元空間上での各座標を点群ＰＣ_g｛（ＸＣ_g1、ＹＣ_g1、ＺＣ_g1）、（ＸＣ_g2、ＹＣ_g2、ＺＣ_g2）、（ＸＣ_g3、ＹＣ_g3、ＺＣ_g3）、（ＸＣ_g4、ＹＣ_g4、ＺＣ_g4）｝として取得する。なお、点群ＰＣ_gは、３次元点群計測処理部４０３の処理の過程で導出されるものである。

次に、位置合わせ処理部４０４は、点群Ｐ_mgと、３次元空間の座標系（図６参照）とに基づき、入力画像上の点群Ｐ_mgを３次元空間の座標系で表した点群ＰＭ_g｛（Ｘ_mg1、Ｙ_mg1、Ｚ₀）、（Ｘ_mg2、Ｙ_mg2、Ｚ₀）、（Ｘ_mg3、Ｙ_mg3、Ｚ₀）、（Ｘ_mg4、Ｙ_mg4、Ｚ₀）｝と定義する。この時、Ｚ₀は任意の値でよく、本例ではプロジェクタ平面と並行になるようＺ₀＝０をセットする。これは投影の対象となるモダリティ画像が、平面情報であるからそれを同じ視点方向から並行投影したいという意図を反映したものである。

位置合わせ処理部４０４は、点群ＰＣ_gと点群ＰＭ_gとを取得すると、点群ＰＣ_gのＸ、Ｙ座標位置に点群ＰＭ_gのＸ、Ｙ座標位置を合わせるための変換パラメータ（スケーリング量、回転角度、シフト量）を推定するため、プロクラステス解析を実行する。

ここで、位置合わせ処理部４０４は、例えば下記式（４）を用いることで、スケーリング計数ｂ、回転行列Ｔ、並進行列ｃを変換パラメータとして算出する。ここで、Ｙは、点群ＰＭ_gを示す行列、Ｚは、点群ＰＣ_gを示す行列である。

Ｚ＝ｂＹＴ＋ｃ …（４）

位置合わせ処理部４０４は、算出した変換パラメータ（スケーリング計数ｂ、回転行列Ｔ、並進行列ｃ）を、点群Ｐ_mg（点群ＰＭ_g）と同様に入力画像の全域（全画素）に適用することで、当該入力画像に対し線形の変換処理を実行する。これにより、位置合わせ処理部４０４は、第１種マーカーのマーキング位置に基づき位置合わせした位置合わせ後の入力画像を、位置合わせ後画像（座標群ＰＭ_reg｛（Ｘ_mi、Ｙ_mi、Ｚ₀）：ｍｉは画素番号｝）として生成する。

変形処理部４０５は、変形処理部の一例である。変形処理部４０５は、マーキング情報抽出部４０２で抽出された第２種マーカーＭ２のマーキング位置に基づいて、入力画像に含まれる第２種マーカーのマーキング位置を、マーキング認識用画像に含まれる第２種マーカーのマーキング位置に位置合わせするための画像処理を実行する。

以下、マーキング情報抽出部４０２によって抽出された入力画像上のマーキング位置のうち、第２種マーカーＭ２の４つのマーキング位置（点群Ｐ_mb）を、３次元空間の座標系で表した各位置を、点群ＰＭ_b｛（Ｘ_mb1、Ｙ_mb1、Ｚ₀）、（Ｘ_mb2、Ｙ_mb2、Ｚ₀）、（Ｘ_mb3、Ｙ_mb3、Ｚ₀）、（Ｘ_mb4、Ｙ_mb4、Ｚ₀）｝と表記する。また、マーキング情報抽出部４０２によって抽出されたマーキング認識用画像上のマーキング位置のうち、第２種マーカーＭ２の４つのマーキング位置（点群Ｐ_cb）を、３次元空間の座標系で表した各位置を、点群ＰＣ_b｛（ＸＣ_b1、ＹＣ_b1、ＺＣ_b1）、（ＸＣ_b2、ＹＣ_b2、ＺＣ_b2）、（ＸＣ_b3、ＹＣ_b3、ＺＣ_b3）、（ＸＣ_b4、ＹＣ_b4、ＺＣ_b4）｝と表記する。なお、点群ＰＭ_b及び点群ＰＣ_bは、上述した点群ＰＭ_g及び点群ＰＣ_gと同様に導出されるものである。

まず、変形処理部４０５は、変形処理の対象となる変形範囲を抽出する。ここで、変形処理部４０５は、点群ＰＭ（点群ＰＭ_g及び点群ＰＭ_b）を含むＸ、Ｙ平面において、点群ＰＭ_bを包含する最小の矩形領域Ａ０を設定する。また、変形処理部４０５は、矩形領域Ａ０の外側に、当該矩形領域Ａ０の幅及び高さ方向に所定のマージンを持たせた矩形領域Ａ１を設定する。そして、変形処理部４０５は、設定した矩形領域Ａ０及びＡ１の何れか一方を変形範囲ＡＣとして抽出する。

ここで、マージン量は、矩形領域Ａ０の外側のどの程度まで変形処理を施すかを決めるパラメータとなる。マージン量は、任意に設定可能とするが、投影先の部位や用途等に応じて変更することが好ましい。例えば、矩形領域Ａ０と、その周辺の点群ＰＭ_gとの離間距離からマージン量を自動で設定する構成としてもよい。なお、矩形領域Ａ０を変形範囲ＡＣとして抽出するよう予め定められている場合には、矩形領域Ａ１の設定は不要である。

また、変形処理部４０５は、点群ＰＣ_bについても同様に、点群ＰＣ（点群ＰＣ_g及び点群ＰＣ_b）を含むＸ、Ｙ平面において、点群ＰＣ_bを包含する最小の矩形領域Ｂ０と、当該矩形領域Ｂ０に所定のマージンを持たせた矩形領域Ｂ１を設定する（図８（ｂ）参照）。そして、変形処理部４０５は、設定した矩形領域Ｂ０及びＢ１の何れか一方を変形範囲ＢＣとして抽出する。ここで、変形範囲ＡＣが変形範囲ＢＣの範囲の一部を含まない場合は、その一部を包含するよう設定した矩形領域ＡＣ’を変形範囲として抽出する。

図８は、本実施形態に係る変形処理部４０５の変形範囲の抽出動作を説明するための図である。図８（ａ）に示すように、変形処理部４０５は、点群ＰＭを含むＸ、Ｙ平面において、４つの第２種マーカーＭ２を包含する最小の矩形領域Ａ０を設定する。また、変形処理部４０５は、矩形領域Ａ０に所定のマージンを持たせた矩形領域Ａ１を設定する。

また、図８（ｂ）に示すように、変形処理部４０５は、点群ＰＣを含むＸ、Ｙ平面において、４つの第２種マーカーＭ２を包含する最小の矩形領域Ｂ０を設定する。また、変形処理部４０５は、矩形領域Ｂ０に所定のマージンを持たせた矩形領域Ｂ１を設定する。

なお、矩形領域Ａ０を変形範囲ＡＣとした場合には、矩形領域Ｂ０を変形範囲ＢＣとして抽出するものとする。また、矩形領域Ａ１を変形範囲ＡＣとした場合には、矩形領域Ｂ１を変形範囲ＢＣとして抽出するものとする。また、矩形領域Ｂ１を設定する際のマージン量は、矩形領域Ａ０と矩形領域Ｂ０とのサイズ比等に基づき、矩形領域Ａ１のマージン量に対応した値を設定することが好ましい。

次に、変形処理部４０５は、点群ＰＭを含むＸ、Ｙ平面のＸ、Ｙ座標と、点群ＰＣを含むＸ、Ｙ平面のＸ、Ｙ座標とに基づき、変形範囲ＡＣの形状を変形範囲ＢＣの形状に変形させるための変位場を導出する。なお、変形範囲ＡＣ’を抽出した場合には、点群ＰＭを含むＸ、Ｙ平面のＸ、Ｙ座標と、点群ＰＣを含むＸ、Ｙ平面のＸ、Ｙ座標とに基づき、変形範囲ＡＣ’の形状に近づけるための変位場を導出する。

具体的には、変形処理部４０５は、変形範囲ＡＣを格子状に区切ることで変形範囲ＡＣ内に所定数の格子点を生成する。格子点の数は、プロジェクタ２０の解像度や、変形範囲ＡＣ及び変形範囲ＢＣのサイズ等に応じて定めるものとする。以下、変形範囲ＡＣに形成された、幅方向（Ｘ軸方向）にＬｗ個、高さ方向（Ｙ軸方向）にＬｈ個の格子点群をＬＰ｛（Ｘ_lpi、Ｙ_lpj）：ｉは１～Ｌｗ、ｊは１～Ｌｈ｝で表す。

ここで、格子点群ＬＰに対し変位場を適用したＬＰＨ｛（ＸＨ_lpi、ＹＨ_lpj）：ｉは１～Ｌｗ、ｊは１～Ｌｈ｝を変位場座標群とすると、例えば、格子点群ＬＰの（Ｘ_lp1、Ｙ_lp1）、（Ｘ_lp1、Ｙ_lp2）、（Ｘ_lp2、Ｙ_lp1）、（Ｘ_lp2、Ｙ_lp2）で構成される格子点領域は、変位場座標群ＬＰＨの（ＸＨ_lp1、ＹＨ_lp1）、（ＸＨ_lp1、ＹＨ_lp2）、（ＸＨ_lp2、ＹＨ_lp1）、（ＸＨ_lp2、ＹＨ_lp2）で構成される格子点領域に射影されるとみなすことができる。そこで、変形処理部４０５は、これらの点から算出した射影変換（ホモグラフィ変換）Ｈ_lp1,lp1を、（Ｘ_lp1、Ｙ_lp1）、（Ｘ_lp1、Ｙ_lp2）、（Ｘ_lp2、Ｙ_lp1）、（Ｘ_lp2、Ｙ_lp2）の格子点領域の変位場として算出する。

変形処理部４０５は、上記した変位場の算出を、変形範囲ＡＣを構成する格子点領域の各々に行うことで、変形範囲ＡＣの全ての領域に対する射影変換Ｈ_lpi,lpj(ｉは１～Ｌｗ－１、ｊは１～Ｌｈ－１)を取得する。

変形処理部４０５は、位置合わせ後画像の座標群ＰＭ_regに対して、そのＸ、Ｙ座標が含まれる領域に対応する射影変換Ｈ_lpi,lpjを選択して非線形の変換処理を実行する。これにより、変形処理部４０５は、第２種マーカーのマーキング位置に基づき入力画像（位置合わせ後画像）を位置合わせした、変形後画像（変形後座標群ＰＭＤ_reg｛（Ｘ_mi、Ｙ_mi、Ｚ_mi）：ｍｉは画素番号｝）を生成する。

投影画像生成部４０６は、３次元点群計測処理部４０３で得られた３次元データ（３次元点群Ｐ）と、変形処理部４０５で生成された変形後画像（変形後座標群ＰＭＤ_reg）とに基づいて、投影用の画像データ（以下、投影画像）を生成する。

投影画像生成部４０６は、変形後座標群ＰＭＤ_regの各点について、Ｚ座標の値Ｚ_miを算出する。前述の通り、この時点での変形後座標群ＰＭＤ_regのＺ_miはＺ₀（Ｚ_mi＝Ｚ₀）となっている。ここで、変形後座標群ＰＭＤ_regと投影先の表面（患者の体表ＢＤ１）との位置関係は、図９に示すものとなり、プロジェクタ２０の光軸方向であるＺ軸方向に移動すれば、変形後座標群ＰＭＤ_regを患者の体表ＢＤ１にマッピングできる状態にある。なお、図９は、本実施形態に係る変形後座標群ＰＭＤ_regと患者の体表ＢＤ１との関係を示す図である。

そこで、投影画像生成部４０６は、変形後座標群ＰＭＤ_regの各点をＺ軸方向で探索し、（Ｘ_mi、Ｙ_mi）＝（Ｘ_pi、Ｙ_pi）となる点があれば、その３次元点群ＰのＺ座標の値Ｚ_piを用いて、（Ｘ_mi、Ｙ_mi、Ｚ_mi＝Ｚ_pi）とする、マッピング処理を実行する。

探索の方法は、特に問わず、最近傍法や、点（Ｘ_mi、Ｙ_mi、Ｚ_mi）を包含する規定サイズ範囲の点群から平面もしくは曲面近似によってＺ_miを算出する等、種々の手法を用いることができる。また、（Ｘ_mi、Ｙ_mi）＝（Ｘ_pi、Ｙ_pi）となる点があった場合でも、同様に平面又は曲面近似する手法を用いてもよい。また、一致する点がない場合は、周辺の点群より探索を行うものとする。なお、点（Ｘ_mi、Ｙ_mi、Ｚ_mi）が計測範囲外の位置に存在している場合は、該当する３次元点群Ｐは存在しないため、その点をノイズ又は投影不可能な点として排除してもよい。

次に、投影画像生成部４０６は、Ｚ_miの値を定めた変形後座標群ＰＭＤ_regを、プロジェクタ２０が投影する画像データの座標系（以下、プロジェクタ座標系）に変換する。具体的には、上記式（１）を用いることで、変形後座標群ＰＭＤ_regの各座標から、対応するプロジェクタ座標群Ｐ_m｛（Ｘ_pmi、Ｙ_pmi）：ｉは画素番号｝を求める。

変形後座標群ＰＭＤ_regはプロジェクタ座標系に離散的にマッピングされるので、該当箇所の輝度（又はカラー）情報も離散的となり、間欠画素が発生する。そこで、投影画像生成部４０６は、間欠画素を補完するための処理を実行する。以下、図１０を参照して、間欠画素の補間について説明する。

図１０は、本実施形態に係る変形後座標群ＰＭＤ_regの座標系ＣＳ１と、プロジェクタ座標系ＣＳ２との関係を示す図である。本実施形態で用いる入力画像（モダリティ画像）は、図１０に示すように、水平方向にｗ個、縦方向にｈ個の画素で構成され、各画素は、グレースケール画像であれば輝度値、カラー画像であればカラー情報（ＲＧＢ値）等を有する。

ここで、入力画像上の３点（Ｘ０、Ｙ０）、（Ｘ１、Ｙ０）、（Ｘ０、Ｙ１）に対応する、プロジェクタ座標系の３点（Ｘ０_p、Ｙ０_p）、（Ｘ１_p、Ｙ０_p）、（Ｘ０_p、Ｙ１_p）は三角形の領域を構成する。例えば、この三角形の領域内に間欠画素が含まれる場合、投影画像生成部４０６は、（Ｘ０_p、Ｙ０_p）、（Ｘ１_p、Ｙ０_p）、（Ｘ０_p、Ｙ１_p）の３点との距離に応じた輝度値（又はカラー情報）で線形補間することで、間欠画素を補間する。

なお、上述した手法は全画素に対して点群を生成するので、画素数が多くなるほど処理の負荷が増加する。そこで、投影画像生成部４０６は、例えば、次の手法を用いて間欠画素を補間してもよい。

入力画像の座標系を、横方向にｗ個、縦方向にｈ個の格子点として考えると、上記の変換処理では、変形後座標群ＰＭＤ_regの各座標は、入力画像を代表する格子点として、当該格子点をプロジェクタ座標系にマッピングしているとみなせる。この場合、図１０に示すように、入力画像の格子領域を構成する４点（Ｘ０、Ｙ０）、（Ｘ１、Ｙ０）、（Ｘ０、Ｙ１）、（Ｘ１、Ｙ１）を、プロジェクタ座標系の４点（Ｘ０_p、Ｙ０_p）、（Ｘ１_p、Ｙ０_p）、（Ｘ０_p、Ｙ１_p）、（Ｘ１_p、Ｙ１_p）へ射影する射影変換（ホモグラフィ変換）Ｈを求めることができる。

なお、変換先の４点が、図１０のように凹部を有する四角形である場合は、射影変換Ｈでは四角形の内部に射影できないため、事前に四角形が凹部を有していないか判定することが好ましい。凹部を有する場合は、四角形を三角形に分割して（例えば、（Ｘ０_p、Ｙ０_p）、（Ｘ１_p、Ｙ０_p）、（Ｘ０_p、Ｙ１_p）の組と、（Ｘ１_p、Ｙ１_p）、（Ｘ１_p、Ｙ０_p）、（Ｘ０_p、Ｙ１_p）の組）、それぞれ射影変換（アフィン変換）を求めればよい。また、全ての格子点について三角形の射影変換を求めるようにしてもよい。

また、ホモグラフィ変換又はアフィン変換を用いた場合も、間欠画素が発生するがこれらも最近傍法、バイリニア補完、バイキュービック補完等で補完すればよい。以上の過程を得て、投影画像生成部４０６は投影用画像を生成する。投影画像生成部４０６が生成した投影用画像は、プロジェクタ２０に出力され、投影先の患者に投影される。このようにして投影された投影用画像では、第１種マーカーＭ１及び第２種マーカーＭ２のマーキング位置が、患者に付された第１種マーカーＭ１及び第２種マーカーＭ２のマーキング位置と略一致した状態で提示されることになる。

次に、図１１、図１２を参照して、画像処理装置４０の動作について説明する。図１１は、本実施形態の画像処理装置４０で実行される画像処理の一例を示すフローチャートである。また、図１２は、本実施形態の画像処理装置４０で実行される画像処理を説明するための図である。

まず、マーキング情報付きの入力画像Ｇ１が入力装置１０から入力される（ステップＳ１１）。入力された入力画像Ｇ１は、ＲＡＭ４２やストレージ４４等の記憶媒体に記憶される。なお、入力画像が入力されるタイミングは特に問わず、モダリティによる撮像時であってもよいし、プロジェクタ２０による投影直前であってもよい。

投影パターン生成部４０１は、投影用のパターン画像を生成すると、プロジェクタ２０に出力することで、当該パターン画像を患者の体表ＢＤ１に投影させる（ステップＳ１２）。マーキング情報抽出部４０２は、カメラ３０によって撮像されたマーキング認識用画像を取得し（ステップＳ１３）、当該マーキング認識用画像からマーキング位置をマーカー種別毎に抽出（取得）する（ステップＳ１４）。また、マーキング情報抽出部４０２は、入力画像からマーキング位置をマーカー種別毎に抽出（取得）する（ステップＳ１５）。

一方、３次元点群計測処理部４０３は、カメラ３０で撮像された形状計測画像に基づき、投影先の表面形状を表した３次元データ（３次元点群Ｐ）を生成する（ステップＳ１６）。

続いて、位置合わせ処理部４０４は、カメラ座標上での第１種マーカーＭ１のマーキング位置（点群Ｐ_cg）に対応する、３次元空間上でのマーキング位置（点群ＰＣ_g）を特定する（ステップＳ１７）。次いで、位置合わせ処理部４０４は、プロクラステス解析を実行することで、入力画像上での第１種マーカーＭ１のマーキング位置（点群Ｐ_mg）を、３次元空間上でのマーキング位置（点群ＰＣ_g）に変換する変換パラメータを算出する（ステップＳ１８）。そして、位置合わせ処理部４０４は、算出した変換パラメータを用いて入力画像の全画素位置を線形変換することで、位置合わせ後の入力画像である位置合わせ後画像Ｇ１ａ（座標群ＰＭ_reg）を取得する（ステップＳ１９）。

ここで、位置合わせ後画像Ｇ１ａは、第１種マーカーＭ１に基づいて位置合わせが行われたものであり、患者の体表ＢＤ１に付された第１種マーカーＭ１のマーキング位置と一致する。但し、変動部位については、入力画像Ｇ１（モダリティ画像）の撮像時と同じ体位を投影時に再現したとしても、その形状が異なる可能性がある。この場合、位置合わせ後画像Ｇ１ａを投影したとしても、第２種マーカーＭ２のマーキング位置は一致せず（上段右図の状態）、プロジェクションマッピングの投影画像としては不適である。そこで、変形処理部４０５は、以降の処理において、第２種マーカーＭ２のマーキング位置を位置合わせするための処理を実行する。

変形処理部４０５は、入力画像Ｇ１及びマーキング認識用画像を３次元空間の座標系で表したＸ、Ｙ平面において、第２種マーカーＭ２の包含する矩形領域を変形範囲ＡＣ、ＢＣとしてそれぞれ抽出する（ステップＳ２０）。次いで、変形処理部４０５は、入力画像Ｇ１由来の変形範囲ＡＣを、マーキング認識用画像由来の変形範囲ＢＣ（又は変形範囲ＡＣ’）に変形する変位場を算出する（ステップＳ２１）。そして、変形処理部４０５は、算出した変位場を用いて位置合わせ後画像Ｇ１ａ（座標群ＰＭ_reg）を変形（非線形変換）することで、変形後の入力画像Ｇ１である変形後画像Ｇ１ｂ（変形後座標群ＰＭＤ_reg）を取得する（ステップＳ２２）。

続いて、投影画像生成部４０６は、３次元データ（３次元点群Ｐ）に基づいて、変形後画像Ｇ１ｂのＺ値を設定することで、当該変形後画像Ｇ１ｂを患者の体表ＢＤ１にマッピングする（ステップＳ２３）。投影画像生成部４０６は、マッピングした画像を、プロジェクタ２０のプロジェクタ座標系に変換する（ステップＳ２４）。次いで、投影画像生成部４０６は、プロジェクタ座標系へ変換により生じた間欠画素を補完し（ステップＳ２５）、投影用の投影画像を生成する（ステップＳ２６）。そして、投影画像生成部４０６は、生成した投影画像をプロジェクタ２０に出力することで（ステップＳ２７）、当該投影画像をプロジェクタ２０に投影させ、本処理を終了する。

これにより、図１２の下段右図に示すように、患者の体表ＢＤ１に付された第１種マーカーＭ１及び第２種マーカーＭ２のマーキング位置に位置合わせされた投影画像（変形後画像Ｇ１ｂ）が、患者の体表ＢＤ１に投影されることになる。

上記のように、投影システム１（画像処理装置４０）によれば、人体等の非剛体の対象物に投影するような場合であっても、第１種マーカー及び第２種マーカーのマーキング位置に基づき、非変動部位と変動部位とで異なる方法で位置合わせを行うため、投影先の表面形状や柔軟性に対応した投影画像を生成することができる。したがって、投影システム１（画像処理装置４０）によれば、人体等の非剛体へのプロジェクションマッピングに好適な投影画像を生成することができる。

以下、他の実施形態について図面を参照して説明する。なお、第１の実施形態と同一又は同様の作用効果を奏する箇所については同一の符号を付してその説明を省略する場合がある。

（第２の実施形態）
第１の実施形態では、胸部（乳房近傍）に投影画像（モダリティ画像）を投影する例を説明したが、投影の対象となる部位は、これに限定されるものではない。本実施形態では、他の部位を投影先とした例について説明する。

図１３は、本実施形態に係る投影先の対象物の例を示す図であり、人体の頭部ＢＤ２を示している。頭部ＢＤ２を投影先とする場合も、第１種マーカーＭ１及び第２種マーカーＭ２のマーキング位置は、第１の実施形態と同様となる。具体的には、柔軟性の低い部位（例えば、耳の付け根や鼻梁等の解剖学的基準点）に第１種マーカーＭ１をマーキングし、柔軟性の高い部位（例えば頬等）に第２種マーカーＭ２をマーキングする。

また、図１３では、左右の頬に形態の異なる第２種マーカーＭ２（Ｍ２ａ、Ｍ２ｂ）をマーキングしている。これは、非変動領域となる鼻部を境に左の頬と右の頬とが独立した部位となるためである。この場合、第２種マーカーＭ２ａと、第２種マーカーＭ２ｂとのマーキング位置を個別に抽出し上記した変形処理を行うことで、左右の頬の各々について第２種マーカーＭ２ａ、Ｍ２ｂに基づいた位置合わせを実行できる。

なお、全てのマーカーを１視点（１台のプロジェクタ２０、１台のカメラ３０）で捕捉できない場合は、複数台のプロジェクタ２０やカメラ３０を用いる構成としてもよい。図１３では、顔の正面に配置したプロジェクタ２０の左右に、２台のカメラ３０を配置した例を示している。この場合も第１の実施形態と同様に、プロジェクタ２０及びカメラ３０の位置関係を固定し校正することで、統一された３次元空間上のデータとして取り扱うことができる。また、頭部以外にも、腹部や背中、腰部、足部等、各種部位に適用することができる。

（第３の実施形態）
第１の実施形態では、第１種マーカーＭ１及び第２種マーカーＭ２をそれぞれ４個付した例を説明したが、マーカーの個数はこれに限定されるものではない。本実施形態では、マーカーを他の個数とした場合の動作例について説明する。

まず、第１種マーカーＭ１及び第２種マーカーＭ２がそれぞれ３個以上付されている場合は、第１の実施形態と同様の処理により投影画像を生成することができる。但し、第２種マーカーＭ２の個数を３とした場合、変形処理部４０５は、上記した非線形の射影変換の代わりに線形のアフィン変換を用いて、第２種マーカーＭ２に基づいた位置合わせ（変形処理）を行うものとする。

また、第１種マーカーＭ１を２個、第２種マーカーＭ２を１個とした場合であっても、下記の方法により位置合わせを行うことが可能である。まず、第１種マーカーＭ１については、第１の実施形態と同様に、当該第１種マーカーＭ１の２点のマーキング位置に基づいて、線形写像により位置合わせを実行する。一方、第２種マーカーＭ２に基づく位置合わせについては、第１種マーカーＭ１に所定の重みをもたせることで、当該第１種マーカーＭ１を第２種マーカーＭ２と見なす。そして、第１種マーカーＭ１及び第２種マーカーＭ２の、計３点のマーキング位置に基づいて、非線形の射影変換又は線形のアフィン変換を行うことで、第２種マーカーＭ２に基づいた位置合わせ（変形処理）を実行する。このように、第１種マーカーＭ１は最低２個、第２種マーカーＭ２が最低１個あれば、投影画像の生成が可能である。

なお、第１種マーカーＭ１が２個未満の場合は、設定不要であるため位置合わせを行わず、その旨を表示部４５やプロジェクタ２０等を介して報知を行う構成としてもよい。

（第４の実施形態）
第１の実施形態では、位置合わせ処理部４０４は、カメラ３０の撮像画像から抽出された第１種マーカーＭ１のマーキング位置（点群Ｐ_cg）と、入力装置１０の入力画像から抽出された第１種マーカーＭ１のマーキング位置（点群Ｐ_mg）とに基づき、位置合わせ用の変換パラメータを算出する構成とした。係る構成では、プロジェクタ２０と患者との向きが同じ配置関係（配置角度）にある場合に、良好な状態で投影を行うことができる。

図１４は、本実施形態に係るプロジェクタ２０と投影先の対象物（患者Ｔ１）との配置関係を説明するための図である。同図において、患者Ｔ１に対向して配置されたプロジェクタ２０の光軸が、患者Ｔ１の配置角度に対して直交関係にある場合（配置角度ＡＧ１）、理想的な配置関係となる。

しかしながら、例えばスタンド５０を移動させたり、アーム部５４の高さを移動させたりしながら投影を行うようなシーンでは、プロジェクタ２０と患者との配置関係に誤差が発生してしまう場合が想定される。図１４の配置角度ＡＧ２の状態は、プロジェクタ２０と患者Ｔ１との配置角度がθ度ずれた状態を示している。

そこで、本実施形態では、この配置角度ずれを加味するため、３次元の回転成分を含めて位置合わせすることが可能な形態について説明する。まず、配置角度がずれた状態をモデル化するため、図９で示した座標系のＹ軸とＺ軸との間のずれ角度をθ、同様にＸ軸とＹ軸との間のずれ角度をφと定義する。そして、θ及びφが所定の範囲内で点群Ｐ_mgを補正し、補正した点群Ｐ_mgを点群Ｑ_mgとする。

点群Ｑ_mgは、例えば、下記式（５）に基づき算出することができる。ここで、Ｒ_x（θ）、Ｒ_y（φ）は、ずれ角度であるθ及びφを加味した項であり、例えば下記式（６）、（７）で表される。

この場合、位置合わせ処理部４０４は、点群ＰＭ_gの代わりに、点群Ｑ_mgで得たＸ、Ｙ座標位置を用いて上記したプロクラステス解析を行う。プロクラステス解析では、ユークリッド距離が最小となるＺ（点群ＰＣ_g）を、上記式（４）を用いて算出する。θとφとの組み合わせ毎に評価値となる点群毎のユークリッド距離の総和が算出されるため、評価値が最小となるθ、φを用いて上記式（４）を算出することで、位置合わせ後画像の座標群ＰＭ_regを導出する。

なお、θ及びφは、０度を含む±数度の小さい範囲で設定を行うものとする。θ及びφが大きくなるような状況下では、入力画像自体が投影先との位置関係に即していないと考えられるため、適切な状態で投影することはできない。このようなθ及びφの範囲が閾値を超えるような場合、つまり変換誤差が閾値を超えるような場合に、画像処理装置４０（例えば位置合わせ処理部４０４）は、プロジェクタ２０と投影先との配置関係が不適であると判断し、その旨を表示部４５やプロジェクタ２０等を介して報知を行ってもよい。これにより、入力画像（モダリティ画像）と、当該入力画像を投影する患者の部位との不整合を報知することができるため、ユーザビリティの向上を図るとともに、誤った入力画像に基づいて医療行為が行われてしまうことを防止することができる。

（第５の実施形態）
第１の実施形態では、２種類のマーカー（第１種マーカーＭ１、第２種マーカーＭ２）を用いて、非変動部位と変動部位とをマーキングする例を説明したが、マーカーの種類は２種類に限るものではない。本実施形態では、３種類のマーカーを用いた構成例について説明する。

図１５は、本実施形態に係るマーカーの例を示す図であり、３種類のマーカーを用いてマーキングした例を示している。ここで、第１種マーカーＭ１は、例えば緑色のマーカーであり、第１の実施形態と同様に非変動部位にマーキングされる。また、第２種マーカーＭ２は、例えば青色のマーカーであり、第１の実施形態と同様に変動部位にマーキングされる。第３種マーカーＭ３は、例えば赤色のマーカーであり、第１種マーカーＭ１及び第２種マーカーＭ２と識別可能な形態を有する。

図１５（ａ）では、第１種マーカーＭ１が付された非変動部位よりも柔軟性が高く（変動しやすく）、第２種マーカーＭ２が付された変動部位よりも柔軟性の低い（変動しにくい）部位に、第３種マーカーＭ３を付した例を示している。

また、図１５（ｂ）は、患者の体表ＢＤ１の矩形領域Ａ１（又はＢ１）に対応する位置に第３種マーカーＭ３をマーキングした例を示している。このように、矩形領域Ａ１（又はＢ１）に対応する位置に、第３種マーカーＭ３をマーキングしてもよい。この場合、第３種マーカーＭ３のマーキング位置に基づいて、矩形領域Ａ１（及びＢ１）や変形範囲ＡＣ（及びＢＣ）を特定することができる。

なお、第３種マーカーＭ３を使用する場合、当該第３種マーカーＭ３のマーキング位置に基づく位置合わせは、位置合わせ処理部４０４及び変形処理部４０５の何れか一方で実行することができる。本実施形態では、位置合わせ処理部４０４で位置合わせを行う例について説明する。

まず、第１の実施形態と同様に、入力画像に含まれた第１種マーカーＭ１のマーキング位置を点群Ｐ_mgとし、カメラ３０で撮像されたマーキング認識用画像に含まれる第１種マーカーＭ１のマーキング位置を点群Ｐ_cgとする。また、入力画像に含まれた第３種マーカーＭ３のマーキング位置を点群Ｐ_mrとし、カメラ３０で撮像されたマーキング認識用画像に含まれる第３種マーカーＭ３のマーキング位置を点群Ｐ_crとする。

第３種マーカーＭ３を用いる場合、位置合わせ処理部４０４は、点群Ｐ_cgと点群Ｐ_crとを用いてプロクラステス解析を行う。このとき、位置合わせ処理部４０４は、点群Ｐ_mrと点群Ｐ_crとのサンプリング数を、重み付け係数α（整数）分だけ増やして、プロクラステス解析を実行することで、第３種マーカーＭ３側の拘束力を増加させることができる。なお、点群Ｐ_cgと点群Ｐ_mgとの重み付け係数をβとし、これらα及びβの値を調整することで、第１種マーカーＭ１と第３種マーカーＭ３との拘束力の比率を調整してもよい。

（第６の実施形態）
上記実施形態では、入力画像及びカメラ３０で撮像された画像データ（マーキング認識用画像）から、マーキング情報（マーカー種別、マーキング位置）を抽出する構成とした。但し、使用環境によっては、画像データからマーキング情報を自動で抽出することが困難な状況も想定される。そこで、本実施形態では、操作部４６等を介して、画像データ中のマーキング位置及びマーカー種別をユーザが指定可能な構成について説明する。

具体的には、画像処理装置４０（例えば、マーキング情報抽出部４０２）が、入力画像及びカメラ３０で撮像されたマーキング認識用画像の両方又は何れか一方を表示部４５に表示し、これら画像に対するマーキング位置及びマーカー種別の指定操作（マーキング操作）を、操作部４６を介して受け付ける。マーキング情報抽出部４０２は、画像中から指定されたマーキング位置及びマーカー種別をマーキング情報として取得する。これにより、本実施形態によれば、マーカーの自動抽出が困難な状況下であっても、ユーザから指定されたマーキング位置及びマーカー種別に基づき、第１の実施形態と同様の処理を行うことができるため、好適な投影画像を生成することができる。

（第７の実施形態）
第１の実施形態では、３次元点群計測処理部４０３により、患者の体表ＢＤ１を表した３次元データ（３次元点群Ｐ）を生成する構成を説明した。本実施形態では、この３次元点群計測処理部４０３を省略可能な構成例について説明する。

図１６は、本実施形態に係る画像処理装置４０ａの機能構成例を示す図である。図１６に示すように、画像処理装置４０ａは、図５で説明した画像処理装置４０の機能構成から、３次元点群計測処理部４０３を取り除いた構成となっている。また、画像処理装置４０ａは、投影パターン生成部４０１、マーキング情報抽出部４０２、位置合わせ処理部４０４、変形処理部４０５及び投影画像生成部４０６に代えて、投影パターン生成部４０１ａ、マーキング情報抽出部４０２ａ、位置合わせ処理部４０４ａ、変形処理部４０５ａ及び投影画像生成部４０６ａを備える。

一般にプロジェクタ２０やカメラ３０は縮小光学系であり、立体物計測において透視投影の影響を排除する対象物との距離を十分に確保する必要がある。本実施形態はこうしたハードウェア的な制約が無い理想条件下での構成例となる。係る理想条件は、例えば、投影先となる患者の体表ＢＤ１への投影において、患者の上方でプロジェクタ２０及びカメラ３０を同じ向きとなるように並列に配置し、かつこれらの光学系と患者との距離を十分に確保したものである。

投影パターン生成部４０１ａは、例えば図１７に示すような市松模様状の格子パターンを、形状計測パターンとして生成する。また、投影パターン生成部４０１ａは、投影パターン生成部４０１と同様に、マーキング認識用パターンを生成する。ここで、図１７は、本実施形態に係る形状計測パターンの一例を示す図である。

投影パターン生成部４０１ａで生成されたパターン画像（格子パターン、マーキング認識用パターン）は、プロジェクタ２０によって患者の体表ＢＤ１に投影される。また、患者の体表に投影された格子パターンの状態がカメラ３０によって撮像される。

マーキング情報抽出部４０２ａは、カメラ３０によって撮像されたマーキング認識用画像及び入力装置１０から入力された入力画像から、第１種マーカーＭ１のマーキング位置を示す点群Ｐ_cg、点群Ｐ_mgを抽出する。また、マーキング情報抽出部４０２ａは、同様に、マーキング認識用画像及び入力画像から、第２種マーカーＭ２のマーキング位置を示す点群Ｐ_cb、点群Ｐ_mbを抽出する。

続いて、位置合わせ処理部４０４ａは、点群Ｐ_cg、点群Ｐ_mgに対応するプロジェクタ座標上での位置座標を示す、点群Ｐ_cgp、点群Ｐ_mgpを算出する。これは例えば、点群Ｐ_cgを含む格子に対応する射影変換Ｈ_iの逆射影変換Ｈ_i ^-1を用いることで、プロジェクタ座標上での対応する位置を特定することができる。よって、この逆射影変換Ｈ_i ^-1を点群Ｐ_cgに適用したＨ_i ^-1Ｐ_cgが、投影画像上の位置合わせの基準点（点群Ｐ_cgp）になる。また、位置合わせ処理部４０４ａは、点群Ｐ_cbについても同様に、プロジェクタ座標上での対応する位置座標（点群Ｐ_cbp）を特定する。

また、位置合わせ処理部４０４ａは、点群Ｐ_mgpと点群Ｐ_cgpとを用いて、点群Ｐ_mgを点群Ｐ_cgpの位置座標に変換する変換パラメータを、プロクラステス解析によって求める。そして、位置合わせ処理部４０４ａは、この変換パラメータを用いてこの変換パラメータをＰ_mbに適用させて算出した座標位置を点群Ｐ_cbregとする。よって、入力画像がこの時点でプロジェクタ座標上に配置され、位置合わせ後画像が取得される。

次に、変形処理部４０５ａは、点群Ｐ_cbregを点群Ｐ_cbpの座標位置に対応させる変形処理を行う。第１の実施形態の変形処理部４０５では、３次元空間上で変形していたが、この場合、プロジェクタ座標上で変形処理を行うため、プロジェクタ空間上で変位場を生成する。係る変位場は、第１の実施形態と同様に生成することができる。変形処理部４０５ａは、生成した変位場を位置合わせ後画像に適用することで、変形後画像を生成する。

そして、投影画像生成部４０６ａは、変形処理部４０５ａによって生成された変形後画像に対し、上述した射影変換Ｈ_iを適用することで投影画像を生成する。これにより、本実施形態の画像処理装置１０ａによれば、投影先の表面形状や柔軟性に応じて位置合わせした投影画像を生成することができるため、第１の実施形態と同様に、プロジェクションマッピングに好適な投影画像を提供することができる。

以上、本発明の実施形態を説明したが、上記実施形態は例として提示したものであり、発明の範囲を限定することを意図するものではない。この新規な実施形態はその他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更、及び組み合わせを行うことができる。この実施形態及びその変形は発明の範囲及び要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 投影システム
１０ 入力装置
２０ プロジェクタ
３０ カメラ
４０、４０ａ 画像処理装置
４１ ＣＰＵ
４２ ＲＡＭ
４３ ＲＯＭ
４４ ストレージ
４５ 表示部
４６ 操作部
４７ 通信Ｉ／Ｆ
４８ 接続Ｉ／Ｆ
４０１、４０１ａ 投影パターン生成部
４０２、４０２ａ マーキング情報抽出部
４０３ ３次元点群計測処理部
４０４、４０４ａ 位置合わせ処理部
４０５、４０５ａ 変形処理部
４０６、４０６ａ 投影画像生成部

特開２０１７－１９２０４０号公報

Claims (7)

1. 柔軟性の異なる複数の部位を有し当該部位に前記柔軟性に対応する種別のマーカーが複数個付された対象領域について、当該対象領域を事前に撮像した投影対象のモダリティ画像である第１画像と、前記第１画像の投影に先駆けて前記対象領域を撮像したカメラ画像である第２画像との各々から、前記マーカーが付されたマーキング位置をマーカー種別毎に抽出するマーキング情報抽出部と、
   抽出された前記マーカー種別毎の前記マーキング位置に基づいて、前記第１画像に含まれた前記マーカーの前記マーキング位置を、前記第２画像に含まれた前記マーカーの前記マーキング位置に位置合わせする画像処理を、前記マーカー種別に対応した処理方法で実行する画像処理部と、
   前記画像処理後の前記第１画像に基づいて、前記対象領域に投影する投影画像を生成する投影画像生成部と、
   を備える画像処理装置。
2. 前記画像処理部は、
   前記柔軟性の低い非変動部位に付された第１種マーカーの前記マーキング位置に基づいて、前記第１画像に含まれる前記第１種マーカーの前記マーキング位置を、前記第２画像に含まれる前記第１種マーカーの前記マーキング位置に位置合わせする前記画像処理を、線形変換によって行う位置合わせ処理部と、
   前記非変動部位と比較し前記柔軟性のより高い変動部位に付された第２種マーカーの前記マーキング位置に基づいて、前記第１画像に含まれる前記第２種マーカーの前記マーキング位置を、前記第２画像に含まれる前記第２種マーカーの前記マーキング位置に位置合わせする前記画像処理を、非線形変換によって行う変形処理部と、
   を有する請求項１に記載の画像処理装置。
3. 前記第２画像から、前記対象領域の表面形状を取得する形状取得部を更に備え、
   前記位置合わせ処理部は、前記第１画像に含まれる前記第１種マーカーの前記マーキング位置が、前記第２画像から抽出された前記第１種マーカーの前記マーキング位置に対応する前記表面形状上でのマーキング位置となるよう、前記第１画像の全域を前記線形変換し、
   前記変形処理部は、前記線形変換後の前記第１画像に含まれる前記第２種マーカーのマーキング位置が、前記第２画像から抽出された前記第２種マーカーの前記マーキング位置に対応する前記表面形状上でのマーキング位置となるよう、前記線形変換後の前記第１画像の一部の領域を前記非線形変換する請求項２に記載の画像処理装置。
4. 前記位置合わせ処理部は、前記第１種マーカーの位置合わせを３次元の回転を含めて実行する請求項２又は３に記載の画像処理装置。
5. 前記位置合わせ処理部は、位置合わせ後の前記第１種マーカーの変換誤差が所定の閾値を超えた場合に報知を行う請求項２～４の何れか一項に記載の画像処理装置。
6. 前記第１画像及び前記第２画像の何れか一方又は両方を表示する表示部と、
   前記表示部に表示された画像に対し、前記マーカー種別を指定した前記マーカーのマーキング操作を受け付ける操作部と、
   を更に備え、
   前記マーキング情報抽出部は、前記マーキング操作によって付された前記マーカーの前記マーキング位置を前記マーカー種別毎に抽出する請求項１～５の何れか一項に記載の画像処理装置。
7. 柔軟性の異なる複数の部位を有し当該部位に前記柔軟性に対応する種別のマーカーが複数個付された対象領域について、当該対象領域を撮像した投影対象のモダリティ画像である第１画像を入力する入力部と、
   前記対象領域を撮像しカメラ画像である第２画像を生成する撮像部と、
   前記第１画像と前記第２画像との各々から、前記マーカーが付されたマーキング位置をマーカー種別毎に抽出するマーキング情報抽出部と、
   抽出された前記マーカー種別毎の前記マーキング位置に基づいて、前記第１画像に付された前記マーカーの前記マーキング位置を、前記第２画像に付された前記マーカーの前記マーキング位置に位置合わせする画像処理を、前記マーカー種別に対応した処理方法で実行する画像処理部と、
   前記画像処理後の前記第１画像に基づいて、前記対象領域に投影する投影画像を生成する投影画像生成部と、
   前記投影画像を前記対象領域に投影する投影部と、
   を有する投影システム。

Images