1. 第1の実施形態
(概要)
本実施形態は、本発明を脳内の血流の状態を測定する機能的近赤外分光分析法(functional near-infrared spectroscopy:fNIRS)の測定技術に適用する例である。この例において、測定用端子は、被験者の頭部に複数が装着される。測定用端子が装着される部分は、その位置を特定するための位置マークと、他の測定用端子の装着部分から区別するための識別コードを備えた位置特定用ターゲットが取り付けられている。この測定用端子を取り付けるソケットを被験者に装着した状態を複数の方向から撮影し、その撮影画像をステレオ法による三次元画像計測の原理を用いて解析する。この解析の際、位置マークが検出されることで、測定用端子を装着する部分の撮影画像中における位置が判り、識別コードが検出されることで、各識別コードが個別に認識される。このため、三次元座標系における各測定用端子の位置関係が算出され、それが頭部の位置関係と対応付けられることで、頭部の特定の部分における血流の状態が明らかになる。
ここで、ある特定の撮影画像(例えば、特定の左右のペア画像)からの位置特定用ターゲットの抽出が上手くゆかず、一部の測定用端子の位置が特定できない場合、他の撮影画像の中に写っている当該測定用端子の位置部分の撮影画像を利用して上記抽出できなかった位置特定用ターゲットの再抽出を行う。この手法によれば、特定の撮影画像から検出されなかった測定用端子の位置情報が、他の角度(視点)からの撮影画像に基づいて補完される。このため、測定用端子の位置情報の検出に不具合が生じても、再度の撮影を行わずに、当該測定用端子の位置情報を取得することができる。
以下、本実施形態について詳細に説明する。図1は、測定装置のブロック図である。図1には、測定装置1が示されている。測定装置1は、fNIRSを用いて脳内の血流変化を測定する装置である。測定装置1は、近赤外光を頭部25に照射する。照射された近赤外光の一部は、脳血管内のヘモグロビン(Hb)によって吸収される。測定装置1は、脳内で反射した近赤外光を受光し、近赤外光の吸収量の変化に基づいて、脳内のHb濃度を測定する。Hbには、酸素化ヘモグロビン(OxyHb)と脱酸素化ヘモグロビン(DeoxyHb)があり、両者は吸光特性が異なるため、測定装置1は、少なくとも2波長の光を用いて、それぞれの濃度変化を計測する。この濃度変化を複数の場所で測定することで、脳内における血流の変化に関する情報(つまり、どの部分に血流が集中し、どの部分で血流が減っているか等に関する知見)を得ることができる。
測定装置1は、Hbの濃度変化を空間解析するため、Hbの濃度変化を、参照する頭部の頭表上または脳表上に表示した画像データを表示部20に画像表示する。参照する頭部としては、核磁気共鳴画像(Magnetic Resonance Imaging:MRI)やコンピュータ断層撮影(Computed Tomography:CT)の頭部画像、Talairach標準脳座標系やMNI(Montoreal Neurological Institute)標準脳座標系の標準脳が用いられる。この機能により、脳内における血流の状態が視覚的に把握可能となる。
上記の計測を行うために、被験者の頭部に測定用端子の一例であるプローブが複数装着される。プローブは、頭部に接触または近接した状態で装着される。ここで、脳内の血流の状態を空間解析するために、被験者の頭部に装着されたプローブの位置をできるだけ精度良く検出し、その情報を得ておく必要がある。この例において、プローブの位置の計測は、プローブを取り付けるソケットの位置を求めることで行われる。なお、ソケットには、測定光を脳に照射する送光プローブと脳からの反射光を受光する受光プローブが装着可能である。以下におけるプローブ(測定用端子)という語句には、送光プローブと受光プローブの両方が含まれる(勿論、一方のみ適用することも可能である)。なお、プローブの位置を計測することで、チャネルの位置(送光プローブと受光プローブの間の点)を特定することも可能である。
プローブの位置の測定は、少なくとも異なる2方向から撮影された画像に基づいて行われる。この2方向からの撮影は、ステレオ画像計測の基本となるペア画像となるように、異なる方向から対象となる領域が重なるようにして行われる。測定装置1は、左右のペア画像に基づき、プローブ位置の三次元位置を参照座標系上で記述することを可能とする機能を有している。すなわち、測定装置1は、(1)画像計測によって求めたプローブ位置の三次元座標を後述する標定を行うことで、モデル座標系上で記述する処理、(2)プローブ位置の三次元座標をモデル座標系から参照頭部が存在する座標系(以下、参照座標系という)に座標変換する処理を行う。更に測定装置1は、座標変換したプローブ位置を参照頭部の頭表上または脳表上に投影し、それを画像表示するための処理を行う。Hbの濃度変化は、投影されたプローブ位置またはチャネル位置に表示される。これにより、脳内の血流変化を空間解析することが可能となる。
(測定装置の構成)
図1に示すように、測定装置1は、光源2および3、発振器4および5、光ファイバ6および7、結合器8、送光プローブ9、プローブホルダ10、プローブソケット11および12、受光プローブ13、受光素子14、ロックインアンプ15および16、A/D変換部17、計算処理部18、記憶部19、表示部20、入力部21、撮影部22および23、キャプチャ部24を備えている。
光源2および3は、可視から近赤外光領域の異なる波長λ1およびλ2の光を発光するレーザー発振装置である。光源2および3からの光は、異なる周波数f1およびf2の発振器4および5でそれぞれ強度変調される。強度変調された光は、それぞれ光ファイバ6および7を介して、結合器8によって結合される。結合された光は、送光プローブ9によって頭部25に照射される。頭部25に照射されたλ1の光の一部は、脳血管内のOxyHbによって吸収され、波長λ2の光の一部は、DeoxyHbによって吸収される。脳内で反射したλ1およびλ2の光は、受光プローブ13によって検出される。
送光プローブ9は、プローブソケット11に着脱自在な状態で装着されている。受光プローブ13は、プローブソケット12に着脱自在な状態で装着されている。プローブソケット11と12は、プローブホルダ10に取り付けられている。プローブホルダ10は、頭部に装着され、頭部を覆う帽子状の部材であり、樹脂や布等で構成されている。この構成では、プローブソケットを備えたプローブホルダ10を頭部に被り、更にプローブをプローブソケットに装着することで、頭部へのプローブの装着が行われる。プローブホルダ10は、ベルト状の部材を頭部に巻きつける形態であってもよい。この場合、ベルト状の部材により構成されるプローブホルダにプローブソケットが取り付けられた構造となる。
図1では、一組の送受光プローブが代表的に示されているが、一般にプローブは更に多数が配置され、多チャンネルでHbの濃度変化が測定される。この場合、複数組の送受光プローブ、光源、発振器、受光素子、ロックインアンプ等、あるいはプローブの切り替え機構が必要となる。勿論、1つの送光プローブに対して複数の受光プローブを配置する構成であってもよい。
受光素子14は、受光プローブ13に入射した光を測定信号(電気信号)に光電変換する。この測定信号は、2つのロックインアンプ15および16に入力される。ロックインアンプ15には、発振器4から参照周波数f1が入力され、ロックインアンプ16には、発振器5から参照周波数f2が入力される。ロックインアンプ15は、f1に基づき、λ1の測定信号(λ1信号)を抜き出し、ロックインアンプ16は、f2に基づき、λ2の測定信号(λ2信号)を抜き出す。λ1信号およびλ2信号は、アナログ−デジタル(A/D)変換部17によってデジタル信号に変換され、計算処理部18に入力される。
計算処理部18は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、ハードディスク記憶装置、入出力インターフェース等を備えたパーソナルコンピュータによって構成されている。このパーソナルコンピュータには、後述する機能を実現する所定のアプリケーションプログラムがインストールされており、後述する計算処理部18として機能する状態とされている。なお、汎用のコンピュータを用いずにFPGA(Field Programmable Gate Array)やASIC(Application Specific Integrated Circuit)などのPLD(Programmable Logic Device)を用いて、専用のハードウェアによって計算処理部18を構成することも可能である。
計算処理部18には、A/D変換部17からλ1信号およびλ2信号が入力される。計算処理部18は、λ1信号に基づいてOxyHbの濃度変化を測定し、λ2信号に基づいてDeoxyHbの濃度変化を測定する。また、計算処理部18は、経時的なOxyHbとDeoxyHbの濃度変化(Hb濃度変化)を送受光プローブまたはチャネル毎に記憶部19に記憶する。
記憶部19は、固体メモリやハードディスクドライブ等の記憶手段である。記憶部19は、計算処理部18で測定したHb濃度変化、参照頭部の座標系等のデータを記憶する。表示部20は、液晶ディスプレイであり、入力部21は、キーボードおよびマウスである。なお、表示部20および入力部21をタッチパネルディスプレイにより構成してもよい。
撮影部22および23は、工業計測用のCCD(Charge Coupled Device)カメラや市販のデジタルカメラである。撮影部22および23は、少なくとも異なる2方向からプローブホルダ10を撮影する。撮影部22および23で得られた映像信号は、キャプチャ部24によってデジタル画像に変換される。なお、撮影部22および23がデジタルカメラの場合には、キャプチャ部24は不要である。キャプチャ部24は、デジタル変換した少なくとも一組の左右画像(R,L)を計算処理部18に出力する。また、撮影部を1つのカメラで構成することもできる。この場合、複数回に分けて各視点からの撮影が行われる。なお、図1において、撮影部は符号22と23の2つである場合が示されているが、実際には、3つ以上が配置されている。例えば、頭部全体を撮影する場合、頭部の周囲に複数の撮影部(カメラ)を配置することで、複数の撮影部によって頭部全体を撮影することができる。
(計算処理部の構成)
以下、計算処理部18の構成について詳細に説明する。図2は、計算処理部の機能ブロック図である。計算処理部18は、撮影画像取得部201、位置特定用ターゲット抽出部202、オフセット補正部203、座標変換部204、投影部205、Hb濃度データ取得部206、Hb濃度データ変化計測部207、Hb濃度画像生成部208を備えている。これらの機能部は、PCで動作するプログラム、またはPLDで構成される。なお、プログラムの場合には、CDROM等の記録媒体に格納して提供する形態や、サーバに記憶させ、そこから回線を介してダウンロードする形態が可能である。
撮影画像取得部201は、キャプチャ部24(あるいは接続されたデジタルカメラ)からステレオペア画像となる左右で対となる左右画像の画像データを取得する。位置特定用ターゲット抽出部202は、上記の左右画像に基づき、プローブ位置P1,P1の三次元座標を算出する。この測定は、プローブソケット11,12に取り付けられた位置特定用ターゲットを抽出することで行われる。この位置特定用ターゲットの抽出は、一つずつ行うのでもよいし、複数をまとめて行うのでもよい。プローブ位置P1,P2の軸は、プローブソケット11,12の挿入面における中心となる構造とされ、P1,P2は、頭部25の表面(頭表面)から数cm浮いた位置にある。
位置特定用ターゲット抽出部202は、位置・識別情報取得部211、頭部位置データ取得部212、モデル座標系上での位置算出部213、補足検出部214を備えている。位置・識別情報取得部211は、位置特定用ターゲットの識別マークに基づき、当該位置特定用ターゲットを他の位置特定用ターゲットから識別する識別情報を取得し、この識別情報と位置算出部211が特定した位置マークの位置情報とから、位置特定用ターゲットの位置を特定する。識別マークにおける識別情報というのは、例えば、「右側の側頭部における上から2列目の前から3番目の位置」というような情報である。
頭部位置データ取得部212は、後述する3つの参照点Nz,AR,ALと、1つの補助参照点の位置情報を取得する。モデル座標系での位置算出部213は、位置・識別情報取得部211が取得した位置特定用ターゲット(リングカラーコードターゲット)の情報および頭部位置データ取得部212が取得した3つの参照点Nz,AR,ALおよび1つの補助参照点の位置情報に基づいてモデル座標系上における位置特定用ターゲットの位置、参照点の位置および補助参照点の位置を算出する。補足検出部214は、位置特定用ターゲットの位置の特定に不具合が生じた場合、つまり位置特定用ターゲットの検出に失敗した際に行われる補完的な検出に必要な処理を行う。
オフセット補正部203は、フロートオフセット補正を行う。フロートオフセット補正は、頭表面と、複数のプローブ位置P1,P2で構成される面とが略等しい曲率となるように、プローブ位置P1,P2が存在する曲面を設定し、頭表面から少し浮いているプローブ位置P1,P2の三次元位置の浮き度合いを調整する処理である。この処理では、まずP1,P2の三次元位置が後述する位置特定用ターゲットに基づいて算出される。この三次元位置は、実際の頭表面から少し浮いている。ここで、位置特定用ターゲットには、少なくとも3つのターゲットが設けられている。この複数の位置マークの三次元座標は、後述する三次元写真計測の原理を利用して、位置特定用ターゲット抽出部202において算出される。これら位置マークの三次元座標から、これら複数の位置マークを含む仮想平面が算出される。ここで、プローブ9,13は、ソケット11,12に垂直に差し込まれる構造とされている。よって、上記の仮想平面の法線は、プローブ9,13の軸方向にほぼ一致する。ここで、P1,P2の位置を上記の仮想平面の法線方向に移動させることで、フロートオフセット補正が行われる。フロートオフセット補正を行うことで、対象物表面の曲率と、複数のプローブの位置を含む曲面の曲率を合わすことができる。これにより、プローブ位置を対象物表面に投影した際の誤差の発生が抑えられる。
座標変換部204は、P1およびP2の三次元座標をモデル座標系から参照座標系へ座標変換する。ここで、モデル座標系とは、2枚のステレオペア画像に基づくステレオモデルを扱う座標系であり、参照座標系とは、実際に画像表示する際に用いられる座標系(頭部の位置を記述可能な座標系)である。参照座標系上でP1,P2の位置を示すことで、頭部とP1,P2の位置関係を視覚的に把握することが可能となる。
上記の座標変換には、アフィン変換を用いる。アフィン変換の変換行列は、3つの参照点Nz,AR,ALと、1つの補助参照点Czに基づいて求められる。3つの参照点Nz,AR,ALは、頭部における解剖学的メルクマール(Nz:鼻根点,AL,AR:左右の前耳介点)であり、国際10−20システム(脳波電極の標準的な設置法)の初期参照点である。補助参照点Czは頭表上の任意の位置とするが、頭頂点近傍であることが望ましい。3つの参照点(Nz,AR,AL)と1つの補助参照点Czの三次元座標は、位置特定用ターゲット抽出部202において三次元写真測量の原理により算出される。ここで、各点は、適当なターゲット(例えばシール等)によって識別可能とされ、プローブソケットの位置特定用ターゲットの位置の計測の場合と同様の方法により、その三次元位置が計測される。
また、参照点(Nz,AR,AL)の位置関係は予め分かっているので、参照座標系におけるNz,AR,ALの位置は安定的に求められる。なお、参照座標系における補助参照点Czの位置は、予め明確なものとできないので、計測したモデル座標系におけるNz,AR,ALの三次元座標、補助参照点Czの三次元座標に基づき、参照座標系における補助参照点Czの算出を行う。この処理は、図示しない補助参照点算出部において行われる。
座標変換部204は、モデル座標系と参照座標系における3つの参照点および補助参照点の三次元座標に基づいて、アフィン変換の変換行列を求める。また、座標変換部204は、この変換行列を用いて、P1およびP2の三次元座標をモデル座標系から参照座標系に座標変換し、参照座標系上におけるP1,P2の座標値を得る。
投影部205は、フロートオフセット補正が行われたプローブ位置P1,P2を、参照モデルとなる頭表または脳表の画像上に投影した画像データを作成する。これにより、頭表上または脳表上において、P1,P2の位置を画像表示することが可能となる。P1,P2の投影には、バルーンインフレーション法、凸包法、または複数の位置マークを含む仮想平面の法線が用いられる。
Hb濃度データ取得部206は、A/D変換部17からのλ1信号およびλ2信号が入力され、経時的なHb濃度の変化に関する情報を含むデータ信号をプローブ毎に取得する。Hb濃度変化計測部207は、Hb濃度データ取得部206が取得したλ1信号およびλ2信号に含まれるデータに基づき、Hb濃度の時間的な変化を計測する。Hb濃度画像生成部208は、投影部205で作成された、頭表上または脳表上にP1およびP2の位置が投影された画像にHb濃度に係るデータを合成し、画面上でHb濃度の時間変化が色合いの変化等によって表示される画像を生成する。
Hb濃度画像生成部208で生成された画像データは、表示部20(図1参照)に出力され、表示部20に上述したHb濃度に係る画像が表示される。この表示部20に表示される画像により、P2の位置におけるHb濃度の時間的な変化の状態が視覚的に把握可能となる。ここでは、測定点がP2のみである場合を説明したが、さらに他の複数の測定点における測定データが処理されることで、更に広い領域におけるHb濃度の変化の状態が視覚的に把握可能となる。Hb濃度画像生成部208で生成された画像データは、記憶部19に記憶することが可能である。
(測定装置の動作)
以下、測定装置1の動作の一例について説明する。図3は、測定装置1の動作を示すフローチャートである。図3の処理を実行するのに必要なプログラムは、測定装置1内部の適当な記憶領域に記憶され、測定装置1が有するコンピュータとしての機能によって実行される。なお、このプログラムは、適当な記憶媒体に記憶され、そこから提供される形態も可能である。以下では、図3のステップ毎に計測手順を詳細に説明する。
(頭部にターゲットの貼付:S101)
まず、図1の頭部25に、頭部25の特定部分の抽出を行うためのターゲットを貼付する。ここでは、このターゲットとして3つの参照点Nz1,AR1,ALに、円形のレトロターゲット(再帰反射性ターゲット)を貼り付ける。レトロターゲットは光を全反射するため、撮影画像で白円として映し出される。なお、ターゲットは、レトロターゲットに限られるものでなく、白色塗料や識別可能な色彩を利用することも可能である。次に、頭表上の任意の位置にレトロターゲットを貼り付け、補助参照点とする。補助参照点は、頭頂点Cz近傍であることが好ましい。頭頂点Czを補助参照点とする場合には、プローブ9の位置P1がCzと同じであるため、補助参照点としてP1の位置を流用することができる。
次に、プローブ位置P1,P2にリングカラーコードターゲットを貼り付ける。リングカラーコードターゲットは、位置特定用ターゲットの一例である。図4には、プローブソケット11にリングカラーコードターゲット40が取り付けられた状態の斜視図が示されている。図5は、リングカラーコードターゲット40の正面図である。プローブソケット11は、略円筒形状を有し、内側が空洞構造のプローブ差込部45とされている。このプローブ差込部45に、図示しないプローブが差し込まれて装着される。プローブ差込部45に装着されたプローブは、その光軸が円筒構造を有するプローブソケット11の軸と略一致する。つまり、プローブソケット11の挿入面の法線41は、光がプローブから出入射する光軸方向と略等しい状態とされる。
リングカラーコードターゲット40は、プローブソケット11におけるプローブ(図4には図示されず)の挿入面に貼り付けられている。リングカラーコードターゲット40は、6つの位置マークM1〜M6を有している。6つの位置マークM1〜M6は、円形のレトロターゲットもしくは白色の円であり、同心円上に配置されている。6つの位置マークM1〜M6で形成される円の中心は、プローブの中心位置P1に一致する関係とされている。
6つの位置マークM1〜M6は、対称となる2つの三角形43,44の頂点に配置されている。この形状の三角形43,44の頂点に配置された位置マークの組み合わせは、同じグループに分類される他の部分のリングカラーコードターゲットと共通とされている。このため、この形状の三角形を撮影画像内で探索し、その三角形と向かい合う三角形を撮影画像内で探索することで、撮影画像内の複数の位置マークをグループ分けされたリングカラーコードターゲット40毎(プローブ毎)に分類することができる。例えば、第1グループに属する複数のリングカラーコードターゲット群(第1プローブ群)、第2グループに属する複数のリングカラーコードターゲット群(第2プローブ群)というようなグループ分けを測定装置1の側で認識することができる。
リングカラーコードターゲット40は、基準色部R,G,Bとカラーコード部C1〜C6を有している。基準色部R,G,Bは、赤,緑,青の表示であり、カラーコード部C1〜C6のカラーコード情報を検出する際の基準となる。つまり、基準色部R,G,Bとの比較によって、カラーコード部C1〜C6のカラーコードの読み取りが行われる。基準色部R,G,Bとカラーコード部C1〜C6は、6つの位置マークM1〜M6と同じ同心円上に配置されている。基準色部R,G,Bは、位置マークに挟まれている。カラーコード部C1とC2、C3とC4、およびC5とC6は連続しており、連続する2つのカラーコード部は、位置マークに挟まれている。すなわち、基準色部R,G,Bの隣は、位置マークであり、カラーコード部C1〜C6の隣は、位置マークまたはカラーコード部である。カラーコード部C1〜C6の起点は、位置マークM1〜M6の所定の位置関係(対称となる2つの三角形43,44の頂点に配置された関係)から判定される。これら、基準色部R,G,B,カラーコード部C1〜C6の位置関係が画像から検出されることで、リングカラーコードターゲット40であるか否かの判定が行われる。言い換えると、リングカラーコードターゲット40の検出が行われる。
カラーコード部C1〜C6は、その配色(色の並び)に基づいてコードに変換される(コードの読み取りが行われる)。このコードは、リングカラーコードターゲット40の識別番号であるため、左右画像で同じリングカラーコードターゲット40を対応付けることができる。例えば、右画像中における特定のリングカラーターゲットと、左画像中における同じリングカラーターゲットとを対応付けたデータを得ることができる。なお、リングカラーコードターゲット40と同様なリングカラーコードターゲットは、位置を特定したい任意の場所で利用することができる。例えば、隣接するプローブの中間位置(チャネルという)や、4箇所のプローブの中間位置といった部分の特定にリングカラーコードターゲットを利用することができる。
(ターゲット撮影:S102)
ステップ101の作業が終了したら、頭部25に貼り付けたリングカラーコードターゲットを撮影部22,23により撮影する(ステップS102)。この際、撮影部22,23が撮影する領域がなるべく多くの部分で重なるようにし、三次元写真計測における右画像と左画像を得る。撮影は、プローブ9および13を外した状態で行う。なお、プローブの上にカラーコードターゲットを配置している場合には、プローブ9を装着した状態で撮影を行う。また、撮影部が更に複数ある場合や、撮影する視点が更に複数ある場合は、それらの撮影も行う。この際、左右の画像によりカバーされる領域が、他の画像(第3の画像)によってその少なくとも一部がカバーされるように視点の設定を行う。例えば、図1の場合でいうと、プローブ位置P1,P2が、撮影部22,23以外の他の撮影部によって撮影されるように、撮影部22,23と他の撮影部の撮影範囲を調整する。なお、撮影した画像のデータは、記憶部19に記憶される。
(プローブ、参照点の三次元座標計測:S103)
続いて、撮影画像からプローブと参照点の三次元座標を計測する。まず、撮影画像からリングカラーコードターゲット40(図4、図5参照)を検出する。次に、このリングカラーコードターゲット40の検出内容に基づき、プローブ位置を左右画像で対応付けする処理を行う。以下、この処理について順次説明する。
図6は、リングカラーコードターゲットを認識するためのフローチャートである。図6の処理が、図2の位置・識別情報取得部212において行われる。まず、左右画像を二値化し、白円で周囲が黒い箇所をリングカラーコードターゲット40の位置マークM1〜M6(以下、円形ターゲットという)として検出する(ステップS20)。この際、円形ターゲットの重心座標をモーメント法によって算出する。
次に、図5に示す三角形43,44を検出する(ステップS21)。ここでは、検出した円形ターゲットの中から、大きさが略等しい円形ターゲットを2点選択する。そして選択した2点の円形ターゲットの距離と円形ターゲットの半径との比率を求め、比率が設計値に近ければ、3点目の円形ターゲットを探索する。ここで、三角形の各辺と円形ターゲットの半径の比率、および三角形の内角が設計値に近ければ、リングカラーコードターゲット40の候補三角形とする。
次に、候補三角形に対応する三角形を検出する(ステップS22)。まず、三角形の向いている方向を調べ、向かい合う方向の三角形を検出する。そして、向かい合う三角形の距離(例えば、図5のM2M3とM5M6)と円形ターゲットの半径の比率を求め、比率が設計値に近ければ、リングカラーコードターゲット40の6つの候補点M1〜M6とする。この際、6つ候補点の重心座標にラベルM1〜M6を付ける。
次に、単写真標定またはDLT(Direct Linear Transformation)(バンドル調整含む)の計算を行い、6つの候補点M1〜M6がリングカラーコードターゲット40の設計位置にあるか否かを判定する(ステップS23)。以下、ステップS23について説明する。図7は、単写真標定またはDLTによって複数の位置マークの設計位置を確認する方法を説明する説明図である。まず、単写真標定またはDLTを用いて、画像上で検出した6つの候補点M1〜M6(黒点)と、基準点の三次元座標(リングカラーコードターゲット40の6点の設計位置に基づく三次元座標)とから、カメラの位置および向き(X,Y,Z,ω,φ,κ)を求める。
次に、単写真標定またはDLTを用いて、カメラの位置および向きと基準点の三次元座標から、撮影画像上に基準点を投影した点W1〜W6(白点)を求める。つまり、点W1〜W6の位置を記述する座標系(X,Y,Z)と撮影画像中の座標系(x,y)との関係を単写真標定またはDTLを用いて算出し、撮影画像中において基準点(リングカラーコードターゲット40におけるM1〜M6の6点の設計位置)を点W1〜W6として取り扱うことができるようにする。
撮影画像中において基準点(リングカラーコードターゲット40におけるM1〜M6の6点の設計位置)を点W1〜W6として取り扱うことができるようになったら、撮影画像中から検出した候補点M1〜M6と、M1〜M6に対応する設計位置を投影した点W1〜W6とを比較し、M1〜M6とW1〜W6との差をそれぞれ計算する(例えば図7参照)。この差が略等しければ、6つの候補点M1〜M6がリングカラーコードターゲット40の設計位置にあると判定し、ステップS24に進む。また、上記の差が略等しくない場合には、ステップS22に戻る。
以下、単写真標定およびDLT(バンドル調整含む)について説明する。まず、単写真標定について説明する。単写真標定とは、1枚の写真の中に写された基準点に成り立つ共線条件を用いて、写真を撮影したカメラの位置(X0,Y0,Z0)およびカメラの傾き(ω,φ,κ)を求め、写真座標(x,y)と地上座標(X,Y,Z)の間の関係を求めるものである。この場合、地上座標(X,Y,Z)がカメラの座標やターゲットの座標を記述する座標系であり、(x,y)が撮影した写真画面上における座標系である。なお、共線条件とは、投影中心、写真像および地上の対象物が一直線上にあるという条件である。また、カメラの位置(X0,Y0,Z0)とカメラの傾き(ω,φ,κ)は外部標定要素と呼ばれる。
ここで、カメラ座標系を(x,y,z)、写真座標系を(x,y)、地上座標系を(X,Y,Z)とする。そして、カメラを各座標軸の正方向に対して左回りにそれぞれκ,φ,ωだけ順次回転させた向きで撮影を行ったとする。4点の画像座標と対応する基準点の3次元座標を下記の数1に示す2次の射影変換式に代入し、観測方程式を立ててパラメ−タb1〜b8を求める。
数1のパラメータb1〜b8を用いて、以下の数2から外部標定要素を求める。
次に、単写真標定の原理より、地上の対象物(X,Y,Z)に対応する、傾いたカメラ座標系のカメラ座標(xp,yp,zp)を以下の数3から求める。数3では、数2で求まったカメラの傾き(ω,φ,κ)を代入し、回転行列の計算をして、パラメータa11〜a33を求める。
求まったパラメータa11〜a33と数2で求まったカメラの位置(X0,Y0,Z0)および基準点の三次元座標(X,Y,Z)を、投影中心、写真像および対象物が一直線上にあるという以下の数4の共線条件式に代入し、写真座標(x,y)を求める。
この単写真標定によれば、撮影画像中から検出した6つの候補点M1〜M6と、これらM1〜M6の設計位置W1〜W6とを同じ座標系において取り扱うことができるようになる。これにより、ステップS23の処理が可能となる。
次にDLTについて説明する。DLTは、写真座標と被写体の3次元座標(対象点座標)との関係を3次の射影変換式で近似したものである。DLTの基本式は以下の数5となる。
数5の式の分母を消去すると、数6の線形式を導き出せる。
さらに、数6を変形すると、以下の数7となる。
数7を直接、最小二乗法を用いて解くと、写真座標と対象点座標との関係を決定するL1〜L11の11個の未知変量を取得できる。この未知変量により対象点の3次元座標を求めることができる。つまり、検出した6つの候補点M1〜M6と、これらM1〜M6の設計位置W1〜W6とを同じ写真座標(x,y)において取り扱うことができるようになり、図6のステップS23の処理が可能となる。
上述した図6のステップS23の処理における候補点が特定できた場合、ステップS24に進む。ステップS24では、リングカラーコードターゲット40の基準色部R1,G1,Bと、カラーコード部C1〜C6の色情報が取得される。
次に、リングカラーコードターゲット40の基準色部R,G,Bと、カラーコード部C1〜C6が設計位置にあるか否かが判定される(ステップS25)。以下、この判定の詳細を説明する。まず、検出した6点M1〜M6を用いて、形が歪んだリングカラーコードターゲット40を歪みのない正面図に座標変換する。座標変換にはアフィン変換を用いる。この座標変換をすることよって、円形ターゲットM1〜M6、基準色部R,G,B、カラーコード部C1〜C6の位置が判別し易くなる。
次に、座標変換したリングカラーコードターゲット40の設計位置に基準色部R1,G,Bとカラーコード部C1〜C6が有るか否かを判定する。この際、調べる画素の輝度値(RGB)は、数8に基づき、HSI色変換される。基準色部R,G,Bの判定は、数9に基づいて行われ、カラーコード部C1〜C6の判定は、数10〜数12に基づいて行われる。基準色部R,G,Bとカラーコード部C1〜C6が設計位置にない場合には、ステップS22に戻る。
次に、カラーコード部C1〜C6の配色をコードに変換する(ステップS26)。カラーコード部C1〜C6の配色とコードの組み合わせに関する事前情報は、図1の記憶部19に記憶されている。このコードが、リングカラーコードターゲット40の識別情報となる。検出したコード情報と記憶部19に予め記憶されていたコード情報とを比較することで、当該リングカラーコードターゲット40の位置情報が取得される。位置情報を取得したら、対応するコードを円形ターゲットM1〜M6の重心座標にラベルリングする(ステップS27)。例えば、コードが50の場合、M1にラベル501、M2にラベル502、M3にラベル503、M4にラベル504、M5にラベル505、M6にラベル506とラベルを付ける。
次に、全ての三角形を探索したか否かを判定する(ステップS28)。探索していない三角形がある場合には、ステップS22に戻る。全て探索した場合には処理を終了する。2台のカメラで撮影した左右の画像のそれぞれについて図6のフローが終了すると、上記コードによって、左右の画像間で複数のリングカラーコードターゲット40が対応付けられる。例えば、同じリングカラーコードターゲットについて、右撮影画像におけるリングカラーコードターゲットと左撮影画像におけるリングカラーコードターゲットとが対応づけされ、その内容が適当な記憶領域に記憶される。
図3に戻り、図3のステップS103の処理では、撮影画像から4つの参照点Nz、AR、AL、Czのレトロターゲットを検出し、参照点を左右画像で対応付ける処理が行われる。この処理は、図2の頭部位置データ取得部212において行われる。なお、プローブ位置P1をCzに利用する場合には、Czの検出は不要である。
まず、二値化した撮影画像から、白円で周囲が黒くない箇所を参照点のレトロターゲットとして検出する。参照点の検出は、以下のようにして行われる。まずNzは、二値化した左右画像から、黒で周囲が白い箇所を両目として検出し、この両目の中央にあるレトロターゲットをNzとして検出し、その位置をNzとして対応付ける。また、AR,ALは、左右の耳のパターン画像を事前に用意し、SSDA、正規相関法を用いて相関の高い領域を左右の耳部分として抽出し、この耳部分を足掛かりとしてAR,ALのレトロターゲットを検出し、その部分をAR,ALとして対応付ける。Czは、Nz,AR,AL以外のレトロターゲットとして抽出される。なお、前述のようにプローブ位置P1をCzに利用する場合には、プローブ位置P1をCzとして取得する。また、参照点Nz,AR,AL,Czのレトロターゲットの一または複数が検出できない場合、後述する方法によりその位置の再検出を行う。なお、この参照点の指定は、マウスを操作してのマニュアルで行うことも可能である。
次に、左右画像(左画像と右画像)に基づくチャネルCh1(図1参照)の検出について説明する。チャネルCh1は、プローブ位置P1およびP2の中間点(この場合は、中央の位置)に設定された点である。この例では、チャネル位置Ch1には、レトロターゲットが貼り付けられているため、左右画像を二値化することで、Ch1を自動的に検出する。左右画像におけるCh1の対応付け処理は、マウスを用いてマニュアルで指示する方法、あるいは、プローブ位置P1,P2などのリングカラーコードターゲット位置からCh1を自動的に対応付けする方法も可能である。なお、Ch1は、プローブ位置P1とP2の中点として自動的に検出および対応付けてもよい。この場合、Ch1にレトロターゲットを貼り付ける必要はない。
次に、プローブおよび参照点のモデル座標系上における三次元座標を、撮影した左右画像に基づいて算出する。この処理は、図2の位置算出部213において行われる。このモデル座標系における三次元座標の算出には、相互標定を用いる。図8は、相互標定を説明する説明図である。まず、左右画像で対応する少なくとも6点の基準点(パスポイント)によってカメラの外部標定要素(κ1,φ1,κ2,φ2,ω2)を求める。6点の基準点には、正面撮影されたリングカラーコードターゲット40の6点M1〜M6を用いてもよい。
相互標定では、2つの投影中心O1およびO2と基準点Pを結ぶ2本の光線が同一平面内になければならいという共面条件式を用いる。以下の数13に、共面条件式を示す。
図8に示すように、モデル座標系の原点を左側の投影中心O1にとり、右側の投影中心O2を結ぶ線をX軸とする。縮尺は、基線長を単位長さとする。このとき、求めるパラメータは、左側のカメラのZ軸の回転角κ1、Y軸の回転角φ1、右側のカメラのZ軸の回転角κ2、Y軸の回転角φ2、X軸の回転角ω2の5つの回転角となる。左側のカメラのX軸の回転角ω1は0なので、考慮する必要はない。このような条件にすると、数13の共面条件式は数14のようになり、この式を解けば各パラメータが求められる。
ここで、モデル座標系XYZとカメラ座標系xyの間には、次に示すような座標変換の関係式が成り立つ。
これらの式を用いて、次の手順により、未知パラメータ(外部標定要素)を求める。
(1)未知パラメータ(κ1,φ1,κ2,φ2,ω2)の初期近似値は通常0とする。
(2)数14の共面条件式を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を数15により求め、観測方程式をたてる。
(3)最小二乗法をあてはめ、近似値に対する補正量を求める。
(4)近似値を補正する。
(5)補正された近似値を用いて、(2)〜(4)までの操作を収束するまで繰り返す。
相互標定が収束した場合、さらに接続標定が行われる。接続標定は、複数のモデル間の傾き、縮尺を統一して同一座標系とする処理である。この処理を行った場合、以下の数16で表される接続較差を算出する。算出した結果、ΔZjおよびΔDjが、予め決められた値(例えば、0.0005(1/2000))以下であれば、接続標定が正常に行われたと判定する。
次に、求めたカメラの外部標定要素(κ1,φ1,κ2,φ2,ω2)と、プローブ位置P1(ここでは、位置マークM1〜M6)またはチャネル位置Ch1、参照点(Nz,AR,AL,Cz)の画像座標を数15に代入する。以上の処理により、プローブ位置、チャネル位置および参照点のモデル座標系における三次元座標が算出される。また以上の処理は、撮影した全ての左右画像について行う。そして、計測されたプローブ位置、チャネル位置に係るデータを記憶部19に記憶する。
また、計測されたプローブ位置およびチャネル位置と撮影画像とを対応付けたデータを記憶部19に記憶する。この際、各撮影画像に写った同一の位置にあるプローブ位置およびチャネル位置をグループ化した状態で記憶部19に記憶する。こうすることで、特定の撮影画像中におけるプローブ位置またはチャネル位置を他の撮影画像中で特定することが容易となる。以上の処理により、図3のステップS103の処理が行われる。
(補足検出処理の例1:ステップS104の例1)
図3のステップS103の後、ステップS104に進む。ステップS104では、ステップS103における処理において、プローブソケットのリングカラーコードターゲットの情報の一部または全部が検出できず、その位置の特定ができなかった場合に、当該位置情報の補足的な検出を行うための処理が行われる。この処理は、図2の補足検出部214において行われる。以下、この処理の一例を説明する。
図9は、この処理の手順の一例を示すフローチャートである。図9の処理を実行するプログラムは、図1の記憶部19に記憶されており、適当なメモリ領域に読み出されて図2の位置特定用ターゲット抽出部202内の補足検出部214によって実行される。なお、この図9の処理を実行するプログラムを外部の適当な記憶媒体に記憶させ、そこから提供される形態も可能である。図10は、この処理の原理を概念的に示す原理図である。
図9の処理が開始されると、ステップS103におけるリングカラーコードターゲットの情報の取得が完全でなかったプローブ位置(以下、検出不完全位置)があるか否か、が判定される(ステップS31)。この処理では、ステップS103の標定を用いた三次元座標の算出において、一部の情報の欠落や誤認識により、プローブ位置の算出が行えなかったサンプルがあるか否か、および取得されたプローブ位置に不自然に飛んだ位置があるか否か、が判定される。プローブ位置の算出が行えなかったサンプルがある場合、ステップS31の判定がYESとなり、ステップS32に進む。プローブ位置の算出が行えなかったサンプルがない場合、図9の補足検出処理を終了する。
ステップS32では、プローブ位置の算出が行えなかった処理における対象となった画像(以下、当該画像)に基づいて、当該画像中に写っており、正常に算出が行われたプローブ位置があるか否か、を判定する。すなわち、ステップS103では、ある2つのペア画像(あるいは3以上の複数の画像)に基づき、標定により複数のプローブ位置の算出が行われるのであるが、この際、何らかの理由によりその中の一または複数のプローブ位置が検出できなかった場合であっても、その周囲や近くのプローブの位置は正常に算出できている場合がある。例えば、図10の画像Aに示すように、ある撮影画像中において、検出対象となるプローブ位置がa,b,c,e,f,g,h,iの9つである場合に、プローブ位置eの検出はできなかったが、プローブ位置a,b,c,d,f,g,h,iの検出は行える場合がある。この場合に、ステップS32において、プローブ位置e以外に検出できたプローブ位置があるか否か、の判定が行われる。
当該画像中に写っており、正常に算出が行われたプローブ位置がない場合、ステップS32の判定はNOとなり、補足検出処理を終了する。当該画像中に写っており、正常に算出が行われたプローブ位置がある場合、ステップS33に進む。ステップS33では、当該画像中に写っており、正常に算出が行われたプローブ位置を取得する。例えば、図10の画像Aの場合でいうと、a,b,c,d,f,g,h,iの8つのプローブ位置の取得が行われる。ここで、a,b,c,d,f,g,h,iの8つのプローブ位置は、図3のステップS103における標定処理により、モデル座標系におけるその三次元座標の値が算出されている。
ステップ33の後、ステップ33で取得したプローブ位置と共通するプローブ位置(図10の画像Aの場合でいうと、a,b,c,d,f,g,h,iの8つのプローブ位置の情報が取得できた他の画像(以下、補足画像)があるか否かの判定が行われる(ステップS34)。この他の画像(補足画像)は、例えば、当該画像が撮影部22,23により得られた画像である場合において、撮影部22,23以外の撮影部によって得た画像であり、且つ、撮影部22,23が撮影した画像から三次元座標の取得が行えたプローブ位置を少なくとも一つ含む画像である。補足画像の検索は、対象となるプローブ位置に係るカラーコードターゲットの識別情報に基づいて行われる。例えば、プローブ位置aが写った補足画像があるか否かの処理は、プローブ位置aを示すリングカラーコードターゲットの識別情報と同じ識別情報が検出された画像が他にある否かを調べることで行われる。
ステップ33で取得したプローブ位置と共通するプローブ位置の情報が取得できた他の画像(補足画像)がある場合、ステップS35に進み、補足画像を取得する。また、補足画像が見つからない場合、補足検出処理を終了する。
ステップS35において、補足画像を取得したら、当該画像と補足画像とに基づく検出不完全位置の特定を行う(ステップS36)。以下、ステップS36の処理の詳細を説明する。図10には、当該画像の一例である画像Aと、補足画像の一例である画像Bが概念的に示されている。ここで、当該画像Aに基づくプローブ位置eが取得できなかった場合が概念的に示されている。また、画像Bにおいて、プローブ位置gのリングカラーコードターゲットが完全に検出できず、プローブ位置hのリングカラーコードターゲットが一部検出できている場合が示されている。画像Bにおいて、一部のプローブ位置の検出が不完全であるのは、画像Aと撮影の視点が異なるためである。
この場合、画像Bによりプローブ位置eとその周囲の複数のプローブ位置との相対位置関係が分かる。他方で、画像Aではプローブeの位置は取得できないが、その他の複数のプローブの位置は取得できており、それらの相対位置関係も取得されている。したがって、画像Aと画像Bとを合成(あるいは比較)することで、画像Aにおけるプローブ位置eの算出(ステップS36)が行われる。
以下、ステップS36の処理の内容を図10の場合を例に挙げ、より詳細に説明する。まず、画像Bに基づくモデル座標系において、プローブ位置a,b,c,d,e,f,iの位置が取得されている。したがって、画像Bに基づくモデル座標系において、プローブ位置eが、プローブ位置a,b,c,d,f,iからどの方向にどれだけ離れた位置にあるかの情報は、数学的に明らかになっている。他方で、画像Aに基づくモデル座標系において、プローブ位置a,b,c,d,f,g,h,iの位置が取得されている。ここで例えば、画像Bに基づいて得られるプローブ位置bに対するプローブ位置eの位置関係の情報、すなわち、画像Bに基づくモデル座標系において、プローブ位置bの座標をどの方向にどれだけシフトさせればプローブ位置eに一致させることができるかの情報を、画像Aに基づくモデル座標系におけるプローブ位置bに当てはめることで、画像Aに基づくモデル座標系におけるプローブ位置eが算出される。この演算は、プローブ位置a,c,d,f,iにおいても同様に行える。以上が、ステップS36において行われる処理の詳細な一例である。
このステップS36の処理は、大きく分けて2通りある。その一つは、画像Aにおけるプローブ位置eを特定するためのリングカラーコードターゲットの情報が全く取得できていない場合の処理である。この場合、画像Aにおけるプローブ位置eが、画像Bから得られるプローブ位置eとその周囲のプローブ位置との相対位置関係に基づいて算出(推定)される。
また、このステップS36の処理のもう一つのパターンは、画像Aにおいて、プローブ位置eのリングカラーコードターゲットの情報が一部取得できる場合である。この場合、補足画像である画像Bに基づき、プローブ位置eの概略位置を推定し、更にこの推定位置におけるプローブ位置eにおけるリングカラーコードターゲットの情報の一部(検出できる一部の情報)に基づき、画像Aにおけるリングカラーコードターゲットの位置を推定する。
このリングカラーコードターゲットの情報の一部に基づき、推定を行う処理の一例を説明する。図11には、撮影画像中において、リングカラーコードターゲットが一部隠れており、全ての画像情報が検出できない場合の様子が概念的に示されている。この場合、図11に例示する画像情報から、当該リングカラーコードターゲットの位置情報(プローブ位置の位置情報)の取得は行えない。ここで、図11のリングカラーコードターゲットの画像が、図10の画像Aにおけるプローブ位置eの場合であるとする。この場合、画像Bに基づく画像Aにおけるプローブ位置eの概略の位置が推定される。そして、この推定位置の情報と、図11に示されるような限定的に得られるM6,C4,C3,M5,B,M4,C2の配列順や位置の情報とに基づいて、図11のリングカラーコードターゲットの情報を推測する。
この際、図11には、M6,M5,M4があるので、概略の位置情報と、この全体画像を検出できた他のリングカラーコードターゲットの画像と比較することで、図11のリングカラーコードターゲットの情報、およびその中心の位置を高い精度で推定することができる。
以上の処理により、検出が不完全であった図11のリングカラーコードターゲットの情報が再現され、プローブ位置eを高い精度で推定することができる。
ステップS36の後、検出不完全位置の特定ができたか否か、例えば、図10の場合でいうと画像Aにおけるプローブ位置eの情報が取得できたか否か、が判定される(ステップS37)。ここで、検出不完全位置の特定ができた場合、その位置情報を取得し(ステップS38)、ステップS31以下の処理を繰り返す。検出不完全位置の特定ができなかった場合、ステップS34以下の処理を再度行い、他の補足画像に基づく同様な処理を試みる。
以上が図3におけるステップS104の処理の内容である。以上説明したステップS104の処理の内容を簡単にまとめると、まず特定のプローブ位置を検出できなかった画像(当該画像)に写っており、且つ、検出可能であった他のプローブ位置(補足用プローブ位置)を検索する。次いで、この補足用プローブ位置が写っている他の画像を補足画像として検索する。次いで、検索された補足画像中における未検出プローブ位置と補足用プローブ位置との位置関係を取得し、この内容に基づいて、当該画像中における未検出プローブ位置を算出する。つまり、共通に写っている検出可能であったプローブ位置を足掛かりとして、当該画像と補足画像を合成し、当該画像中における未検出プローブ位置を演算により推定する。ここでは、プローブ位置の補足検出について説明したが、チャネル位置についても同様な補足検出が可能である。
(補足検出処理の例2:ステップS103の例2)
図3のステップS104で行われる補足検出処理を、図9に示す方法とは異なる方法で行う場合の一例を説明する。図12は、この場合の処理の手順の一例を示すフローチャートである。図12の処理を実行するプログラムは、図1の記憶部19に記憶されており、適当なメモリ領域に読み出されて図2の位置特定用ターゲット抽出部202内の補足検出部214によって実行される。なお、この図12の処理を実行するプログラムを外部の適当な記憶媒体に記憶させ、そこから提供される形態も可能である。図13は、この処理の原理を概念的に示す原理図である。
下記の表1は、プローブの識別番号Pmn(m,nは1から始まる自然数)と、その位置関係を示すデータテーブルである。この表1は、予め用意され、図1の記憶部19に記憶されている。ここでは、複数のプローブ間の相対位置関係は、予め分かっていることとして説明をするが、全てのプローブが鮮明に取得できる画像に基づき得られたデータを記憶しデータテーブルとすることもできる。
表1には、複数のプローブ間の相対位置関係が示されている。すなわち、P22の右隣にはP23が位置し、P22の左隣にはP21が位置し、といった情報が表1に記憶されている。また、表1には、基準モデル座標系における各プローブ位置の座標も記憶されている。基準モデル座標系というのは、標準的な頭部の模型(ダミーヘッド)を用いた場合の頭表面を記述する座標系である。この座標系は、参照座標系に関連付けすることができる。この基準モデル座標系における各プローブ位置は、ダミーヘッド上のものであり、実際に頭部に装着した状態における位置とはズレが存在している。しかしながら、複数のプローブ間の位置関係やプローブの位置の目安として使用することは可能である。この例のほかに、座標値はなく、単に各プローブ隣接関係のみ、3次元座標の代わりに2次元座標値を記録したデータテーブルを利用することも可能である。
図12の処理が開始されると、ステップS103におけるリングカラーコードターゲットの情報の取得が完全でなかったプローブ位置(以下、検出不完全位置)があるか否か、が判定される(ステップS41)。この処理では、表1のデータが参照され、取得すべきプローブの位置データが全て取得できているか、が調べられる。具体的には、検出できたプローブ位置と表1とを照合することで、表1から抽出できたリングカラーコードターゲットを除外し、消去法により抽出できなかったリングカラーコードターゲットを推測する。ここで、計測されるべき全てのプローブの位置データが取得できていれば、図13の補足検出処理を終了し、図3のステップS105に進む。他方で、検出不完全位置がある場合、その一つを表1に基づき特定する(図13のステップS42)。
次に、検出不完全位置に隣接する抽出可能であった(既に抽出された)プローブ位置の位置情報が表1から取得される(ステップS43)。表1から取得される位置情報は、誤差を含むが、概略の位置、および複数のプローブ位置の相対的な位置関係を把握することができる。次に、ステップS43で取得されたプローブ位置(検出不完全位置に隣接するプローブの位置)の位置情報を、図3のステップS103の処理の対象となった撮影画像(当該画像)から算出できているか否か、が判定される(ステップS44)。つまり、ステップS44では、検出不完全位置に隣接するプローブ位置がステップS103の処理において得られているか否か、が判定される。
ステップS44において、検出不完全位置に隣接するプローブ位置がステップS103の処理において得られていれば、ステップS45に進み、当該画像に基づく上記隣接するプローブ位置が取得され、この結果と表1に基づいて、検出不完全位置の算出が行われる(ステップS46)。また、ステップS44において、検出不完全位置に隣接するプローブ位置がステップS103の処理において得られていなければ、ステップS47に進む。ステップS47では、ここで対象となっている検出不完全位置に隣接するプローブ位置が更に他にあるか否か、が判定され、他に隣接するプローブ位置が更にあれば、ステップS43以下の処理が繰り返され、他に隣接するプローブ位置がなければ、補足検出処理を終了する。
以下、図13を例に挙げて、図12の処理を説明する。まず表1のデータにより、複数のプローブ位置a〜iの位置関係およびダミーヘッド上の基準モデル座標系の座標が既知とされている。ここで図13の画像Aは、図3のステップS103の処理の対象となった画像(当該画像)であるとする。そして、検出不完全位置がプローブ位置eであるとする。また、ステップS103の処理において、プローブ位置e以外のプローブ位置eに隣接するプローブ位置a,b,c,d,f,g,h,iは位置の算出は正常に行えているものとする。
この場合、画像Aにおける検出できたプローブ位置と、表1とを比較することで、検出不完全位置(プローブ位置e)の有無(ステップS41)、およびその特定が行われる(ステップS42)。そして、表1に基づいて、検出不完全位置であるプローブ位置eに隣接するプローブ位置が、プローブ位置a,b,c,d,f,g,h,iのいずれかとして取得される(ステップS43)。
また、ステップS44の処理では、例えばステップS43でプローブ位置bが表1から取得された場合に、画像Aに基づいて図3のステップS103の処理によってプローブ位置bが算出できたか否か、が判定される。この場合、画像Aに基づいて図3のステップS104の処理によってプローブ位置bが算出できていれば、画像Aに基づくプローブ位置bの位置情報を取得する(ステップS45)。そして、画像Aに基づくプローブ位置bの位置情報と各プローブ位置の既知の位置関係を定めた表1の内容とに基づき、画像Aを用いた標定におけるモデル座標系でのプローブ位置eの座標を算出する(ステップS46)。
以下、この例におけるステップS46の処理を更に詳細に説明する。まず、表1からプローブ位置a,b,c,d,e,f,g,h,iの相対位置関係が得られる。ここで、ステップS103において検出できなかったプローブ位置eに隣接するプローブ位置としてプローブ位置bに着目した場合を考える。この場合、画像Aに基づくプローブ位置bのモデル座標系上での座標が取得される。したがって、この画像Aに基づくプローブ位置bのモデル座標系上での座標と表1のプローブ位置bの座標とを比較することで、モデル座標系でのプローブ位置eの座標が推定可能となる。この処理が図12のステップS46において行われる。
ここで、プローブ位置a,b,c,d,f,g,h,iの中の複数に基づくプローブ位置eの推定処理をそれぞれ行い、その平均を求めることで、プローブ位置eの推定を行っても良い。この場合、プローブ位置eの推定精度を高めることができる。
なお、この方法では、検出不完全位置の情報が画像Aから全く取得できない場合(つまり、対象となるリングカラーコードターゲットが全く見えない場合)であっても、検出不完全位置の座標を推定することができる。この場合、ある程度の誤差が含まれるので、装置を操作する作業者にその旨を注意情報として報知することが望ましい。
またこの方法は、検出不完全位置のリングカラーコードターゲットが一部見える場合も有効である。この場合、まず上述した表1に基づき検出不完全位置(例えば、図13のプローブ位置e)の概略の位置を特定する。次いでこの概略の位置と、特定した領域において一部が取得できたリングカラーコードターゲットの情報を取得し、それに基づいて検出不完全位置の特定を行う。この処理は、図11に関連して説明した方法と同じ手順によって行われる。この場合、補足検出処理の精度がより高くなる。
ここでは、表1として三次元座標上における位置関係が予め調べられたものを用いる例を示したが、狭い領域では、平面として見ることができるので、表1として2次元座標の関係を示すものを利用することも可能である。また、推測する位置精度は低下するが、相対的な位置関係のみを定めたものを表1として利用することもできる。ここでは、プローブ位置の補足検出について説明したが、チャネル位置についても同様な補足検出が可能である。
(補足検出処理の例3:ステップS103の例3)
図10に示す方法と図13に示す方法とを組み合わせて用いることも可能である。例えば、図10に示す方法において、表1を用いて画像B(補足画像)を検索し、更に画像Aと画像Bとを合成することで、画像Aにおけるプローブ位置eの補足検出を行うことも可能である。以下、この補足検出処理の一例を説明する。図14は、その他の補足検出処理の手順の一例を示すフローチャートである。図15は、図14に示す補足件検出処理の原理を示す原理図である。この場合も表1を利用する。処理が開始されると、表1を用いて図12のステップS41の場合と同様の判定が行われ(ステップS51)、検出不完全のリングカラーコードターゲットがなければ、処理を終了し、そうでなければ、図12のステップS42と同様の処理が行われ、表1を用いての検出不完全位置の特定が行われる(ステップS52)。
検出不完全位置が特定されたら、表1を用いて検出不完全位置に隣接するプローブの情報を取得する(ステップS53)。この処理も図12のステップS43と同じである。次いで、隣接するプローブ位置が写っている画像を検索する。この際、この画像は複数であってもよい。この検索は、プローブ位置の検出が行えなかった画像ではない他の撮影画像を対象として行われる。例えば、ここで対象となっている画像が図1の撮影部22,23で撮影された画像である場合、撮影部22,23以外の撮影部(撮影部22,23以外の視点)から撮影された画像をステップS53における検索の対象とする。
図15には、画像Aに基づくプローブ位置の検出において、検出できなかったのがプローブ位置eである場合に、表1に基づきプローブ位置eに隣接する検出できたプローブ位置a,b,c,d,f,g,h,iを取得し、更にこの隣接する複数のプローブ位置の少なくとも一つが写っており、且つ、画像Aとは異なる視点からの画像Bおよび画像Cを検索した場合の例が概念的に示されている。ここで、画像Bにおいては、プローブ位置eの検出はできているが、プローブ位置dおよびgの検出が不完全であり、また画像Cにおいては、プローブ位置eの検出はできているが、プローブ位置cおよびfの検出が不完全である場合が示されている。これは、視点の違いによって、写り難いプローブ位置が異なることに起因する。
図15の例示の場合、画像Bから、プローブ位置a,b,c,e,f,h,iの位置関係が得られ、画像Cから、プローブ位置a,b,d,e,g,h,iの位置関係が得られる。他方で、画像Aからはプローブ位置a,b,c,d,f,g,h,iの位置関係が得られる。したがって、画像Aから得られる各プローブ位置の位置関係と画像Bから得られる各プローブ位置の位置関係とを比較することで、画像Aに基づく標定において用いられるモデル座標系におけるプローブ位置eの三次元座標が算出される。同様に、画像Aから得られる各プローブ位置の位置関係と画像Cから得られる各プローブ位置の位置関係とを比較することで、画像Aに基づく標定において用いられるモデル座標系におけるプローブ位置eの三次元座標が算出される。ここで、前者の組み合わせに基づいて得られるプローブ位置eの位置と、後者の組み合わせに基づいて得られるプローブ位置eの位置との中間点を算出することで、画像Aに基づく標定において用いられるモデル座標系におけるプローブ位置eの三次元座標の精度を高めることができる。図15には、プローブ位置eに隣接するプローブ位置が写っている画像が画像Bと画像Cの2つである場合が例示されているが、更に参照する画像の数を増やすことで、よりプローブ位置eの推定位置の精度を高めることができる。
なお、画像Aにおけるプローブ位置eのリングカラーコードターゲットの情報の検出が一部行われている場合、その検出情報を利用して、更に画像Aにおけるプローブ位置eの位置推定の精度を高めることができる。この場合、図11に関連して説明した手法を用いればよい。また、画像Aにおけるプローブ位置eのリングカラーコードターゲットの情報が全く検出できていない場合であっても、画像Bおよび画像Cから得られる各プローブ位置の位置関係に基づき、画像Aにおけるプローブ位置eの推定を行うことができる。
(フロートオフセット補正:S105)
以下、図3のステップS105において行われるプローブ位置またはチャネル位置のフロートオフセット補正について説明する。この処理は、図2のオフセット補正部203において行われる。まず、図4に示すように、位置マークM1〜M6の三次元座標に基づき、位置マークを含む仮想平面42を求める。さらに、プローブ位置P1を通るように仮想平面42の法線41を求める。
以下、フロートオフセット補正について説明する。図16には、任意のプローブの中心点をA1、法線をB1とし、隣接するプローブの中心点をA2、法線をB2とした場合の関係が示されている。ここで、法線B1と直線A1A2とがなす角度と、法線B2と直線A1A2とがなす角度のうち、頭部25側の角度の差が最小になるように、A1を固定し、A2の位置を法線B2に沿って移動させる。そして、上記の操作によって得られた新たなA2の位置を点A2'とする。
もし、プローブホルダ10が平面上に置かれている場合、法線B1と直線A1A2'とがなす角度と法線B2と直線A1A2'とがなす角度は、それぞれ90度となる。しかし、頭部25の表面は曲面であり、頭部25に被せられているプローブホルダ10(図1参照)も曲面を呈しているので、フロートオフセット補正が正しく行われた場合、それぞれ90度弱の角度をなすことになる。図16には、この状態が誇張して示されている。
いま、A2を法線B2に沿って、頭表面の方へ徐々に移動してゆき、図16の右側に示すように、直線A1A2'が頭部と平行になる状態を考える。この状態では、法線B1と直線A1A2'とがなす角度と、法線B2と直線A1A2'とがなす角度のうち、頭部側の角度は90度弱で等しくなり、それらの差が最小になる。この状態では、ここで考えている隣接する2つのプローブの頭部に対する状態の差(あるいは向きの違い)が最小になっている。そこでこの状態を最適なオフセット状態として把握する。
次に、上記作業をA2の隣接点について実施する。これをプローブの数だけ繰り返すと、プローブ位置のフロートオフセット補正(図3のステップS105)が終了する。フロートオフセット補正を行ったプローブの位置情報は、記憶部19に記憶される。
(3つの参照点から補助参照点を算出:S106)
前述したように、参照座標系上における3つの参照点Nz,AR,ALの座標は定義されており明確であるが、参照座標系における補助参照点Czの座標は明確でない。そこで、3つの参照点Nz,AR,ALから、参照座標系の補助参照点Czを演算により求める方法について説明する。図17は、補助参照点の算出方法を説明する説明図である。この処理は、図2では図示されない補助参照点算出部において行われる。
まず、極座標を設定する。極座標の設定には、3つの参照点(Nz,AR,AL)を利用する。ここで、ARおよびALの中点(略こめかみ間の中点)を原点Oとし、直線O―Nzをx軸、直線O―ALをy軸とする。また、原点Oを通り、(Nz,AR,AL)を含む平面の法線をz軸とする。このとき、原点Oから鼻根に向かうx軸を方位角A=0°とし、(Nz,AR,AL)を含む平面の法線を仰角E=0°とし、原点Oから補助参照点Czまでの距離をRとする。ここで、Czの極座標値を(A,E,R)とする。
このとき、モデル座標系(添字1で表す)と参照座標系(添字2で表す)では、Rは異なるが、これを無視して、モデル座標系のCz1(A,E,R1)と参照座標系のCz2(A,E,R2)を対応付けるというルールを定める。これを極座標−R解放法という。
具体的には、既に求めたモデル座標系の(Nz1,AR1,AL1,Cz1)の三次元座標に基づき、Cz1のA,Eを求める。次に、参照座標系において、モデル座標系で求めたA,E方向に直線を引き、参照頭部の表面との交点Cz2を求める。これにより、4つ目の補助参照点Cz1とCz2との対応付けが行われる。つまり、モデル座標系におけるCz1(A,E,R1)と参照座標系におけるCz2(A,E,R2)の対応付けが行われ、参照座標系におけるCzの座標を定めることができる。
(4つの参照点から座標変換の行列算出:S107)
次に、図3のステップS107において行われる処理について説明する。この処理では、3つの参照点と補助参照点の4点から、モデル座標系と参照座標系間の座標変換に用いる座標変換用の変換行列を算出する。この処理は、図2の座標変換部204において行われる。この座標変換には、アフィン変換を用いる。アフィン変換の基本式を数17に示す。数17の行列式を数18の一次方程式にし、4点の三次元座標を数18に代入して連立方程式を解く。これにより、上記の変換行列を求める。
(プローブ位置またはチャネル位置をモデル座標系から参照座標系へ座標変換:S108)
次に、上述した図3のステップS107において求めた変換行列を用いて、既に求めたプローブ位置またはチャネル位置の三次元座標をモデル座標系から参照座標系へ座標変換する処理(図3のステップS108)について説明する。この処理は、図2の座標変換部204において行われる。この処理は、数17の式に、P1,P2の三次元座標を代入することで行われる。この処理により、参照頭部と対応させた状態での記述が可能となる参照座標系におけるP1,P2の三次元座標が算出され、参照頭部上におけるP1,P2の位置を数学的に取り扱うことができるようになる。
上記の処理は、取得できた全てのプローブ位置およびチャネル位置おいて行われる。これにより、取得できた全てのプローブ位置およびチャネル位置の参照座標系における三次元座標値が得られる。このデータは、記憶部19に記憶される。
(プローブ位置を参照頭部の頭表上または脳表上に投影:S109)
ステップS108において求めた参照座標系のプローブ位置は、実際の参照頭部表面あるいは脳の表面から少し浮いた位置にある。そこで、図3のステップS108の処理の後、ステップS109の処理を行う。ステップS109の処理は、図2の投影部205において行われる。ステップS109では、フロートオフセットの処理が終了した後におけるプローブ位置を、参照頭部表面または脳表面へ投影する処理が行われる。この処理では、バルーンインフレーション法(Balloon-inflation Method)、凸包法(Convex-hull Method)、または複数の位置マークを含む仮想平面の法線を用いて、プローブ位置を参照頭部の頭表上または脳表上に投影する。図18および図19は、プローブ位置の参照頭部の頭表上および脳表上への投影を行う方法を説明する説明図である。
バルーンインフレーション法では、まず仮想的な風船(球面)を、プローブ位置P1を中心として周囲に拡張し(膨らませ)、その表面と接する頭表または脳表の位置を抽出する。そして、この抽出した位置とP1を結ぶ直線を引き、この直線と頭表の交点P1'または脳表の交点P1''を投影点と定める。プローブ位置P2についても同様の処理を行い、投影点P2',P2''を求める。また同様の方法により、算出したチャネル位置Ch1に基づいてチャネル位置Ch1',Ch1''を求めることもできる。
凸包法では、まず、プローブ位置全体を単純な凸包で覆う表面を作る。次に、この凸包に対して、頭表上または脳表上の任意の点から最短距離を求める。最後に、凸包上の最短距離点P1に向かって直線を伸ばし、その直線と頭表との交点P1'または脳表との交点P1''を投影点と定める。プローブ位置P2またはチャネル位置Ch1についても同様の処理を行い、投影点P2',P2''またはCh1',Ch1''を求める。
複数の位置マークを含む仮想平面の法線を用いる場合では、図19に示すように、事前に複数の位置マークM1〜M6の三次元座標を参照座標系へ座標変換しておく。次に、複数の位置マークM1〜M6を含む仮想平面を想定し、仮想平面の法線41を求める。この法線41と頭表との交点P1'または脳表の交点P1''を投影点と定める。プローブ位置P2についても同様の処理を行い、投影点P2',P2''を求める。チャネル位置Ch1にリングカラーコードターゲット40を設けた場合には、これと同様の処理を行うことができる。
(Hb濃度変化を頭表上または脳表上に表示:S110)
ステップS109の処理の後、ステップS110に進む。ステップS110では、プローブ毎またはチャネル毎に測定したOxyHbとDeoxyHbの濃度変化を参照頭部の頭表上または脳表上に表示する。ステップS110の処理の後、図3の処理を終了する。
(第1の実施形態の優位性)
本実施形態によれば、プローブソケット11,12は、被験者の頭部25に複数が装着される。そして、プローブソケットを被験者に装着した状態を複数の方向から撮影し、その撮影画像からプローブソケットの位置を検出する。この際、ある特定の撮影画像からの検出が上手くゆかず、一部のプローブソケット位置が特定できない場合、他の検出できたプローブソケットの位置情報に基づいて検出できなかったプローブソケットの位置の再検出を行う。これにより、検出ミスがあっても再度の撮影を行わずに済む。またこれは、被験者の負担を軽減する上で有用となる。
また、画像計測では、三次元磁気式デジタイザーのように測定環境に依存して測定誤差を生じることが少ないため、従来と比べて測定誤差を低減することができる。
また、リングカラーコードターゲット40の複数の位置マークM1〜M6は、プローブが取り付けられる位置P1またはP2を中心とする同心円上に配置された関係(所定の位置関係)を有しているため、複数の位置マークM1〜M6で形成される円の中心を検出することで、プローブが取り付けられる位置P1およびP2を求めることができる。
また、リングカラーコードターゲット40の複数の位置マークM1〜M6は、対称となる2つの三角形43および44の頂点に配置された関係(所定の位置関係)を有しているため、撮影画像内で検出された複数の位置マークをリングカラーコードターゲット40毎(プローブ毎)のグループに自動的に分類することができる。
また、リングカラーコードターゲット40は、プローブ9および13を識別するカラーコード部C1〜C6を有しているため、左右の撮影画像内で検出したリングカラーコードターゲット40を自動的に対応付けることができる。
カラーコード部C1〜C6の起点は、位置マークM1〜M6の所定の位置関係(対称となる2つの三角形43,44の頂点に配置された関係)から判定されるため、カラーコード部C1〜C6のコードを自動的に読み取ることができる。
また、ターゲットは、少なくとも4つの位置マークを有しているため、撮影画像内で検出した複数の位置マークM1〜M6が所定の位置関係にあるか否かを、単写真標定またはDLT(Direct Linear Transformation)を利用して確認し、撮影画像内で検出した複数の位置マークM1〜M6を測定用端子ごと(ターゲットごと)のグループに分類できたか否かを確認することができる。
また、リングカラーコードターゲット40は、プローブソケット11および12の挿入面に設けられているため、リングカラーコードターゲット40の複数の位置マークM1〜M6が含まれる仮想平面42の法線41方向と、プローブ9および13の光軸方向とが略等しくなる。
また、フロートオフセット補正によって、頭表面とプローブ面またはチャネル面とが略等しい曲率となるため、プローブ位置P1,P2またはチャネル位置Ch1を頭表上または脳表上に投影する際の精度を高めることができる。
また、フロートオフセット補正したプローブ位置P1,P2またはチャネル位置Ch1は、参照点が4つ未満であっても、参照座標系に変換することができる。この参照点には、頭部25の解剖学的メルクマールを利用するため、プローブ位置P1,P2またはチャネル位置Ch1を参照座標系に安定的に変換することができる。
また、座標変換したプローブ位置P1,P2またはチャネル位置Ch1を、バルーンインフレーション法、または凸包法、または法線41を用いて、頭表面上または脳表面上に投影することができる。
2.第2の実施形態
画像解析により、3つの参照点(Nz,AR,AL)および補助参照点Czの一部または全部が検出できなかった場合の処理の一例を説明する。この処理では、図9に示す処理を適用することができる。この場合、ステップS31が「検出不完全のNz,AR,AL,Czはあるか?」に変更され、検出不完全位置がNz,AR,AL,Czの中の検出できなかったものの位置となる。この場合、同じ画像中に写っているプローブ位置の情報に基づいて、Nz,AR,AL,Czの中の検出できなかったものの再検出が行われる。すなわち、参照点を検出でなかった画像(当該画像)に写っており、且つ、検出可能であったプローブ位置を検索する。次いで、このプローブ位置が写っている他の画像を補足画像として検索する。次いで、検索された補足画像中における未検出参照点と当該プローブ位置との位置関係を取得し、この内容に基づいて、当該画像中における未検出参照点の位置を算出する。つまり、共通に写っている検出可能であったプローブ位置を足掛かりとして、当該画像と補足画像を合成し、当該画像中における未検出参照点を演算により推定する。
また、3つの参照点(Nz,AR,AL)および補助参照点Czの一部または全部が検出できなかった場合の処理の他の対応として、表1に示すような予め調べておいた既定の位置関係を用いる例も可能である。この場合、表1に加えて、ダミーヘッド上における(Nz,AR,AL,Cz)の座標と、参照点(Nz,AR,AL,Cz)に近い位置にあるプローブ位置(またはチャネル位置)との関係を示すデータテーブルを用意する。つまり、表1において、ダミーヘッド上における参照点(Nz,AR,AL,Cz)の位置関係を予め調べておいたものを用意する。
そして、参照点(Nz,AR,AL,Cz)の少なくとも一部が検出できなかった場合、まず上記のデータテーブルを利用して検出できなかった参照点(Nz,AR,AL,Cz)の近くのプローブ位置を検索し、更にこの検索結果に基づいてこのプローブ位置が写っている撮影画像を検索し、当該プローブの検出座標を取得する。そして、この検出座標と上記データテーブルの内容とに基づいて、検出できなかった参照点の位置を算出する。こうすることで、参照点(Nz,AR,AL,Cz)の再検出のための再撮影を回避することができる。
3.第3の実施形態
被験者の頭部の一部(例えば側頭部)を検査対象とする場合、プローブは、その位置にだけ装着すればよい。しかしながら、プローブの装着される領域が限定されると、図8の原理による立体構造の空間的な把握の精度が低下し、取得されるプローブ位置の精度が低下する。この精度の低下を抑える方法として、図1に例示されるプローブホルダ10にダミーのリングカラーコードターゲットを取り付ける方法が有効となる。
この場合、ダミーのリングカラーコードターゲットは、プローブ位置の取得精度の向上に寄与する、また、このダミーのリングカラーコードターゲットは、第1の実施形態および第2の実施形態で説明した補足画像を用いたプローブ位置や参照点の再検出処理にも利用される。この場合、表1のデータテーブルは、ダミーのリングカラーコードターゲットに係るデータを含んだものとなる。
例えば、図1に例示する頭部25において、符号26の部分の頭部周囲の計測点で検査が行われ、符号27の部分の頭部周囲における検査が行われない場合、符号27の部分の頭部周囲には、プローブを装着せず、この頭部周囲にはダミーのリングカラーコードターゲットを取り付ける。こうすることで、符号26の部分の頭部周囲の計測点の三次元座標の検出精度を高めることができる。また、例えば前頭葉付近の測定専用のプローブホルダがあるとして、側頭部、後頭部、上頭部等の他の領域に対応する部分に上記のダミーのリングカラーコードターゲットを配置したものを用意する。
4.第4の実施形態
第4の実施形態は、フロートオフセット補正の変形例である。以下、第1の実施形態と同様の構成については、説明を省略する。この例では、図20に示すように、任意のプローブの中心点をA1、法線をB1とし、隣接するプローブの中心点をA2、法線をB2とする。ここで、法線B1と直線A1A2がなす角度と、法線B2と直線A1A2がなす角度のうち、頭部25側の角度の差が最小になるように、A1を固定し、A2の位置を法線B2に沿って移動させる。そして、このときできた点をA2'とする。そして、A2をA2'まで移動させた距離をA2のオフセット量として記憶しておく。次に、上記作業をA2の隣接点について実施する。これを固定点A1以外のプローブの数だけ繰り返す。
次に、A2を固定し、A1の位置を法線B1に沿って移動させる。このときできた点をA1’とする(図示省略)。そして、A1をA1'まで移動させた距離をA1のオフセット量として記憶しておく。次に上記作業をA1の隣接点について実施する。これを固定点A2以外のプローブの数だけ繰り返す。以上のように、全てのプローブを一個ずつ固定し、プローブ毎に複数のオフセット量を求める。この複数のオフセット量の平均をオフセット値とする。
この方法によれば、頭表面とプローブ面またはチャネル面とが、より等しい曲率となるため、プローブ位置P1,P2またはチャネル位置Ch1を頭表上または脳表上に投影する精度を高めることができる。
5.第5の実施形態
第5の実施形態は、フロートオフセット補正の変形例である。以下、第1の実施形態と同様の構成については、説明を省略する。この例では、予め、プローブソケット毎の実際の高さ(プローブのオフセット量)を計測しておく。また、図8に示す相互標定において、基線長(投影中心O1O2の距離)の実際の長さを用いることで、縮尺をモデル座標系から実世界の座標系(実座標系)にしておく。
図20は、フロートオフセット補正を説明する説明図である。ここで、任意のプローブの中心点をA1、法線をB1とし、隣接するプローブの中心点をA2、法線をB2とする。このとき、予め与えられたプローブのオフセット量だけ、順次A1,A2を法線B1,B2の方向に移動させる。これにより、プローブの位置は、実際の頭表上の位置A1',A2'に補正される。このとき、法線B1と直線A1'A2'がなす角度と、法線B2と直線A1'A2'がなす角度のうち、頭部25側の角度が略等しくなる。
この方法によれば、頭表面とプローブ面またはチャネル面とが略等しい曲率となるため、プローブ位置P1,P2またはチャネル位置Ch1を頭表上または脳表上に投影する精度を高めることができる。
6.第6の実施形態
第6の実施形態は、リングカラーコードターゲットの変形例である。以下、第1の実施形態と同様の構成については、説明を省略する。図5に示す基準色部R,G,Bとカラーコード部C1〜C6は、カラーに限らず、モノクロまたはグレースケールなどの無彩色であってもよい。例えば、モノクロの場合、基準色部を白とし、コード部を白黒のいずれかとする。そして、6つのコード部のモノクロ配列によって、26個=64個のプローブを識別することができる。また、グレースケールの場合、基準色部を白とし、コード部を4段階のグレースケール(白を除く)とする。そして、6つのコード部のグレースケール配列によって、46個=4096個のプローブを識別することができる。さらに、無彩色コードターゲットとして、QRコード(Quick Response code:登録商標)やバーコードを採用してもよい。
7.第7の実施形態
第7の実施形態は、カラーコードターゲットの変形例である。以下、第1の実施形態と同様の構成については、説明を省略する。本実施形態では、カラーコードターゲットを備えたプローブの構造の一例を説明する。ここで説明するL型プローブを使用すれば、頭部にプローブホルダとプローブをつけた状態でプローブ位置の計測が可能となる。
図21は、L型プローブの頭部に設けた四角形カラーコードターゲットの斜視図であり、図22は、四角形カラーコードターゲットの正面図である。四角形(正方形)のカラーコードターゲット50(以下、四角形ターゲットという)は、L型プローブの頭部51の上面に貼り付けられる。L型プローブの頭部51の上面における法線52は、L型プローブから光が出入射する光軸方向と略等しい。
四角形ターゲット50は、3つの位置マークM1〜M3を有している。3つの位置マークM1〜M3は、円形のレトロターゲットであり、四角形(正方形)の3つの角に配置されている。3つの位置マークM1〜M3で形成される正方形の中心は、プローブ位置P1である。なお、ターゲットは四角形に限らず、五角形や六角形等の多角形でもよい。この場合、複数の位置マークは、多角形の頂点に配置される。3つの位置マークM1〜M3で構成される三角形53を探索することで、撮影画像内の複数の位置マークを四角形ターゲット50毎のグループに分類することができる。
また、四角形ターゲット50は、基準色部R,G,Bとカラーコード部C1〜C6を有している。基準色部R,G,Bは、位置マークM1の周囲で時計回りに配置されている。2つのカラーコード部C1とC2は、三角形53の1辺を境に位置マークM2の周囲に配置されている。また、2つのカラーコード部C3とC4およびC5とC6も、同様な配置で設けられている。この設計位置に基準色部R,G,B、カラーコード部C1〜C6があるか否かによって、四角形ターゲット50であるか否かを判定することができる。
カラーコード部C1〜C6は、その配色によってコードを構成している。そして配色の組み合わせを読み取ることでコードの検出が行われる。このコードは、四角形ターゲット50の識別番号であるため、左右画像で複数の四角形ターゲット50を対応付けることができる。
本実施形態によれば、四角形ターゲット50が、L型プローブの頭部51に設けられているため、四角形ターゲット50の3つの位置マークM1〜M3が含まれる仮想平面の法線52方向と、L型プローブの光軸方向とが略等しくなる。また、四角形ターゲット50の複数の位置マークM1〜M3は、三角形53(多角形)の頂点に配置された関係(所定の位置関係)を有しているため、撮影画像内で検出された複数の位置マークを四角形ターゲット50毎(プローブ毎)のグループに自動的に分類することができる。
8.第8の実施形態
本実施形態は、カラーコードターゲットの変形例である。以下、第1の実施形態と同様の構成については、説明を省略する。図23〜図29は、本実施形態で説明するその他のカラーコードターゲットの正面図である。図23に示すリングカラーコードターゲット60は、さらに円の中心に位置マークM0を有している。位置マークM0は、位置マークM1〜M6より大きく、リングカラーコードターゲット60の直径は、位置マークM0の直径Rの3倍強になっている。位置マークM0を検出することによって、撮影画像内の複数の位置マークM1〜M6をリングカラーコードターゲット60毎のグループに分類することができる。
具体的には、位置マークM0の中心を検出し、中心からエッジまでの距離R/2を求める。次に、R/2を3.75倍した部分(位置マークM1〜M6、基準色部R,G,B、カラーコード部C1〜C6)の色と明るさを求める。そして、リングカラーコードターゲット60を360度回転し、設計位置に位置マークM1〜M6、基準色部R,G,B、カラーコード部C1〜C6があるか否かを検出する。これにより、リングカラーコードターゲット60の判定が行われる。
図24に示すリングカラーコードターゲット61は、多重円(二重円)で形成されている。これにより、リングカラーコードターゲット61は、12個のカラーコード部C1〜C12を有している。位置マークM1〜M6は、カラーコード部C1〜C6と異なる円周上に配置されており、カラーコード部C7〜C12と同心円上に配置されている。
図25に示すリングカラーコードターゲット62は、基準位置に、位置マークM2〜M6よりも大きい位置マークM1を有している。基準位置の位置マークM1から時計回りに色を調べることで、基準色部R,G,B、カラーコード部C1〜C12が設計位置にあるか否かを判定することができる。
図26に示すリングカラーコードターゲット63は、内円、中円、外円の多重円(三重円)で形成されている。中円には、黒色領域67が形成されている。これにより、内円のカラーコード部C1〜C6と外円のカラーコード部C7〜C12の境界を容易に判別することができる。
図27に示すリングカラーコードターゲット64は、基準位置に、位置マークM2〜M6よりも小さい位置マークM1を有している。基準位置の位置マークM1から時計回りに内円、外円の色と明るさを調べることで、基準色部R,G,B、カラーコード部C1〜C12が設計位置にあるか否かを判定することができる。
図28に示すリングカラーコードターゲット65は、2つの三角形状を有する位置マークM1〜M6を有している。位置マークM1〜M6の2つの三角形状の交点は、同心円上に配置されている。リングカラーコードターゲット65を360度回転するとき、これらの交点からなる円周上の色と明るさを調べることで、基準色部R,G,B、カラーコード部C1〜C12が設計位置にあるか否かを判定することができる。
図29に示す多角形カラーコードターゲット66は、正多角形(正六角形)で形成されている。位置マークM1〜M6、基準色部R,G,B、カラーコード部C1〜C6は、正多角形の各辺近傍に配置されている。なお、位置マークM1〜M6、基準色部R,G,B、カラーコード部C1〜C6は、異なる大きさの正多角形の各辺近傍に配置されていてもよい。
(その他)
プローブが脳から検出する信号は、光に限定されず脳波(electroencephalogram:EEG)や経頭蓋磁気刺激法(Transcranial magnetic stimulation:TMS)のような磁気情報、あるいは熱や振動等であってもよい。本発明は、プローブの位置の検出技術に特徴があるのであり、プローブが扱う信号の種類は特に限定されない。また、プローブを装着しての人体内部や表層付近の血流等の検査は、頭部に限定されず、首、肩、腹部、腰部、脚部、手等の他の場所であってもよい。例えば、指先の血行障害や内蔵の血流を検査する場合に本発明を利用することも可能である。