JP7236689B2

JP7236689B2 - ３次元形状データ作成システムの作動方法、及び３次元形状データ作成システム

Info

Publication number: JP7236689B2
Application number: JP2019032814A
Authority: JP
Inventors: 武中川; 大輔茨田
Original assignee: Utsunomiya University; Rion Co Ltd
Current assignee: Utsunomiya University; Rion Co Ltd
Priority date: 2018-03-05
Filing date: 2019-02-26
Publication date: 2023-03-10
Anticipated expiration: 2039-02-26
Also published as: JP2019150574A

Description

本発明は、３次元形状データ作成システムの作動方法、及び３次元形状データ作成システムに関するものであり、特に外耳道のような管体の内側の３次元形状を非接触で取得して再現することが可能な方法及びシステムに関する。

補聴器においては、外耳道に挿入して使用するために、使用者の外耳道に合せて製作される耳あな型のオーダーメイド補聴器やイヤモールドが知られている。例えば耳型を製作するには、使用者の外耳道の内側形状を採取する必要があり、そのために従来は、外耳道にシリンジで印象材を注入し、硬化した印象材を取り出して使用者の耳型を採取する耳型採取を行っている（例えば特許文献１参照）。

特開２０００－２１０３２７号公報

ところで耳型採取を行うにあたり、例えば外耳道の途中での曲がりが急な場合には、希に硬化した印象材が取り出せなくなることがある。また高齢者は、外耳道の皮膚にたるみがある（皺がある）ことがあり、この場合は印象材を注入すると皮膚も移動してしまうため、採取した耳型が本来の形状とは異なることがある。また、耳型の精度は、耳型を採取する者の技量にも左右されるため、採取する者によって耳型の形状が変わるおそれもある。このため、印象材によらずに外耳道の内側の形状を知ることができる技術が求められている。

一方、近年は非接触で物体の形状を計測する技術も進んでいる。しかし、これまでのものは物体の外形を計測するものが大半であって、外耳道のような管体の内側における３次元形状データを取得できるものは未だ一般的ではない。

本発明はこのような問題点を解決することを課題とするものであり、外耳道のような管体の内側における形状を非接触で取得して再現することが可能な３次元形状データ作成システムの作動方法、及び３次元形状データ作成システムを提供することを目的とする。

本発明の一つは、３次元形状データ作成システムの作動方法であって、前記３次元形状データ作成システムは、撮像手段と、２次元画像データ生成手段と、空間情報取得手段と、３次元形状データ生成手段とを備え、前記撮像手段は、照明と、対物光学系と、該対物光学系による結像位置に配置されて管体の内側からの反射光を受光する撮像素子と、を含み、前記２次元画像データ生成手段が、管体の内側を移動可能であって該管体の内側を撮像する前記撮像手段からの信号に基づき複数の２次元画像データを生成するステップと、前記空間情報取得手段が、前記撮像手段に設置されたモーションセンサからの信号に基づき撮像時における前記撮像手段の空間情報を取得するステップと、前記３次元形状データ生成手段が、前記２次元画像データと前記空間情報とを関連付けるとともに、該２次元画像データと該空間情報に基づいて、前記管体の内側における３次元形状データを生成するステップと、を有し、前記３次元形状データを生成するステップは、前記空間情報に基づいて前記撮像手段の移動に伴う前記対物光学系の主点の移動軌跡を算出して、該移動軌跡を中心軸とする円筒座標を設定するとともに、該円筒座標に基づいて前記撮像手段の周囲の空間を離散化して、該周囲の空間が該円筒座標に従う複数の微小面で構成されると設定するステップと、前記撮像素子の各受光素子と前記主点とを結ぶ直線を設定するステップと、前記微小面が前記直線上に存在するか否かを判別するステップと、前記微小面からの反射光が前記撮像素子の各受光素子に入射可能であるか否かを判別するステップと、前記２次元画像データの各画素における画素値を、前記直線上に存在し、かつ前記各受光素子に入射可能である前記微小面のそれぞれからの反射光強度の和であると設定するとともに、該画素値に基づいて該直線上に存在する該微小面のそれぞれにおける反射光強度を算出するステップと、前記直線上に存在する前記微小面の反射光強度の分布に基づいて実在する前記管体の内側における微小面を推定し、推定した該微小面に基づいて該管体の内側における３次元形状データを構築するステップと、を含むことを特徴とする。

また本発明の一つは、３次元形状データ作成システムの作動方法であって、前記３次元形状データ作成システムは、撮像手段と、２次元画像データ生成手段と、空間情報取得手段と、３次元形状データ生成手段とを備え、前記撮像手段は、照明と、対物光学系と、該対物光学系による結像位置に配置されて管体の内側からの反射光を受光する撮像素子と、を含み、前記２次元画像データ生成手段が、管体の内側を移動可能であって該管体の内側を撮像する前記撮像手段からの信号に基づき複数の２次元画像データを生成するステップと、前記空間情報取得手段が、前記撮像手段に設置されたモーションセンサからの信号に基づき撮像時における前記撮像手段の空間情報を取得するステップと、前記３次元形状データ生成手段が、前記２次元画像データと前記空間情報とを関連付けるとともに、該２次元画像データと該空間情報に基づいて、前記管体の内側における３次元形状データを生成するステップと、を有し、前記３次元形状データを生成するステップは、予め前記対物光学系の主点と管体内側との距離に応じた画素値に関する基準データを取得するステップと、前記空間情報に基づいて前記撮像手段の移動に伴う前記対物光学系の主点の移動軌跡を算出して、該移動軌跡を中心軸とする円筒座標を設定するとともに、該円筒座標に従う複数の微小面で構成される所定半径の円筒を設定するステップと、前記撮像素子の各受光素子と前記主点とを結ぶ直線を設定するステップと、前記微小面が前記直線上に存在するか否かを判別するステップと、前記２次元画像データに対応する前記微小面を抽出するステップと、抽出された前記微小面に対応する画素値から、前記基準データに基づき、該２次元画像データを取得した位置での主点と前記微小面との距離を求めるステップと、この距離に応じて管体の形状を算出するステップと、を含むことを特徴とする。

また、前記モーションセンサによって得られる前記撮像手段の前記空間情報を、他のモーションセンサによって得られる撮像時における前記管体の空間情報に基づいて補正するステップを更に含むことが好ましい。

そして本発明の一つである３次元形状データ作成システムは、照明と、対物光学系と、該対物光学系による結像位置に配置されて管体の内側からの反射光を受光する撮像素子と、を含む撮像手段と、管体の内側を移動可能であって該管体の内側を撮像する前記撮像手段からの信号に基づき複数の２次元画像データを生成する２次元画像データ生成手段と、前記撮像手段に設置されたモーションセンサからの信号に基づき撮像時における前記撮像手段の空間情報を取得する空間情報取得手段と、前記２次元画像データと前記空間情報を関連付けるとともに、該２次元画像データと該空間情報に基づいて、前記管体の内側における３次元形状データを生成する３次元形状データ生成手段と、予め前記対物光学系の主点と管体内側との距離に応じた画素値に関する基準データを取得し記憶する記憶手段と、を有し、前記３次元形状データ生成手段は、前記空間情報に基づいて前記撮像手段の移動に伴う前記対物光学系の主点の移動軌跡を算出して、該移動軌跡を中心軸とする円筒座標を設定するとともに、該円筒座標に従う複数の微小面で構成される所定半径の円筒を設定し、前記撮像素子の各受光素子と前記主点とを結ぶ直線を設定し、前記微小面が前記直線上に存在するか否かを判別し、前記２次元画像データに対応する前記微小面を抽出し、抽出された前記微小面に対応する画素値から、前記基準データに基づき、該２次元画像データを取得した位置での主点と前記微小面との距離を求めることを特徴とする。

この３次元形状データ作成システムにおいて、前記撮像手段は、前記対物光学系を備える先端部と、該先端部を支持するとともに屈曲可能に設けられる屈曲部と、を備え、前記モーションセンサは、前記先端部に設けられることが好ましい。

また、前記管体を直接的に又は間接的に保持する保持手段を更に備えることが好ましい。

本発明によれば、撮像手段によって得られる管体の内側における複数の２次元画像データと、モーションセンサによって得られる撮像手段の空間情報とによって、管体の内側における３次元形状データを生成することができる。すなわち、管体の内側における形状を非接触で取得して再現することができるため、本発明によって外耳道の内側における３次元形状データを生成することにより、印象材を使用して耳型を採取していたときの問題を解決することができる。

本発明に従う３次元形状データ作成システムの一実施形態を概略的に示した図である。撮像素子の一実施形態を示した図である。円筒座標について示した図である。撮像素子と対物光学系の主点とを結ぶ直線について説明する図である。円筒座標における円筒面と図４に示した直線との交点について説明する図である。図５に示した交点が微小面の内側にあるか否かを判別するための方法について説明する図である。

以下、図面を参照しながら、本発明に従う３次元形状データ作成システムの作動方法、及び３次元形状データ作成システムの一実施形態について説明する。なお本実施形態では、外耳道の３次元形状データを作成する場合について説明する。

本実施形態の３次元形状データ作成システムは、図１に示すように、撮像手段１と、モーションセンサ２と、コンピュータ３で構成されている。

撮像手段１は、外耳道の内側を移動可能であって、外耳道の内側を撮像するものである。このようなものとしては、例えば図１（ａ）に示すオトスコープ１０や、図１（ｂ）に示すようなビデオスコープ１１（外耳道に挿入される側の端部に対物光学系１２と撮像素子１３を備える）が挙げられる。なお、図示は省略するが、外耳道に挿入される側の端部に対物光学系を備え、対物光学系から入射した光をファイバーケーブルで導光して、反対側の端部に配置した撮像素子で対物光学系からの光を電気信号に変換するファイバースコープを採用してもよい。

撮像手段１には、図１（ｂ）に示すように対物光学系１２が設けられている。対物光学系１２は、単一のレンズで構成されるものでもよいし、複数のレンズを組み合わせたものでもよい。対物光学系１２の結像位置には、対物光学系１２から入射する外耳道の内側からの反射光を受光して、これを電気信号に変換する撮像素子１３が配置されている。ここで撮像素子１３は、図２に示すように複数の受光素子１３ａで構成されている。なお図示は省略するが、撮像手段１には、撮像する対象物に向けて光を照射する照明手段が設けられているため、外から光が入りにくい外耳道の内側においても良好に撮像を行うことができる。

モーションセンサ２は、撮像手段１の空間情報（位置や姿勢に関する情報）を取得するものである。具体的には、３軸加速度センサと３軸角速度センサを含むものであって、直交座標における撮像手段１の位置、及び姿勢を検出することができる。なお、撮像手段１が一定の姿勢で１軸方向にのみ移動するように規制されている、などの場合においては、モーションセンサ２で検知する撮像手段１の空間情報は１軸方向の位置だけでよく、撮像手段１が取り得る位置や姿勢を考慮して、種々のモーションセンサ２を選択することができる。

このようなモーションセンサ２は、撮像手段１における対物光学系１２及び撮像素子１３に対して、位置や姿勢が変わらない場所に設けられることが好ましい。例えばオトスコープ１０に設ける場合は、図１（ａ）に示すように外耳道に挿入される部位に近い場所でもよいし、これとは反対側の場所でもよい。またビデオスコープ１１が、図１（ｂ）に示すように、対物光学系１２及び撮像素子１３を備える先端部１１ａと、先端部１１ａを支持するとともに屈曲可能に設けられる屈曲部１１ｂとを備える場合、モーションセンサ２は、対物光学系１２及び撮像素子１３との位置や姿勢が変わらない先端部１１ａに設けることが好ましい。なお、モーションセンサ２を先端部１１ａに設ける場合、屈曲部１１ｂのうち、ビデオスコープ１１を外耳道に挿入した際に外耳道の外側に位置する外側部分１１ｃに対して、別のモーションセンサ２ａを設けてもよい。この場合、モーションセンサ２ａが３軸角速度センサを備えていれば、その情報からモーションセンサ２の姿勢を推定できる。このように複数のモーションセンサを用いる場合、先端部１１ａに設けるモーションセンサ２には３軸角速度センサは必ずしも必要ない。なお、ファイバースコープにモーションセンサ２を設ける場合も、対物光学系を設けた先端部に設けることが好ましい。

コンピュータ３は、撮像手段１、及びモーションセンサ２に接続されていて、撮像手段１、及びモーションセンサ２から出力される電気信号を取得する。本実施形態のコンピュータ３は、２次元画像データ生成手段３０、空間情報取得手段３１、３次元形状データ生成手段３２として機能するものである。後述するように２次元画像データ生成手段３０は、撮像手段１から出力される電気信号に基づいて、外耳道の内側における２次元画像データを生成するものである。また空間情報取得手段３１は、モーションセンサ２から出力される電気信号に基づいて、撮像時における撮像手段１の空間情報を取得するものである。また３次元形状データ生成手段３２は、２次元画像データと空間情報とを関連付けるとともに、関連付けた２次元画像データと空間情報に基づいて、外耳道の内側における３次元形状データを生成するものである。なお、図示は省略するが、コンピュータ３には各種の周辺機器（マウスやキーボードなどの入力手段や、モニタやプリンタなどの出力手段など）も接続可能である。

なお、図示は省略するが、本実施形態の３次元形状データ作成システムには、モーションセンサ２とは別のモーションセンサであって、外耳道の空間情報を取得するために使用される外耳道用モーションセンサを設けてもよい。外耳道用モーションセンサは、外耳道の内側に直接取り付ける必要はなく、例えば撮像される者の頭部など、外耳道に対する相対的な位置や姿勢が変わらない部位に取り付ければよい。撮像される者が撮像中に動いてしまうと、実際には撮像手段１と外耳道との相対的な位置や姿勢が変わらなくても、モーションセンサ２で得られる撮像手段１の空間情報が変わってくるが、外耳道用モーションセンサを設ける場合は、外耳道の位置や姿勢の変化量が分かるため、モーションセンサ２で得られる撮像手段１の空間情報をこの変化量に基づいて補正することによって、撮像される者の動きの影響を取り除くことができる。なお、外耳道用モーションセンサに替えて（併用してもよい）、外耳道のような管体が直接的に又は間接的に保持される保持手段を使用してもよい。このような保持手段としては、例えば撮像される者の顎をのせて頭部が動かないようにする（外耳道が動かないようにする）顎のせ台が挙げられる。

次に、このような３次元形状データ作成システムによる３次元形状データ作成方法について説明する。

まず、撮像素子１３によって撮像可能な範囲について説明する。図１（ｂ）、図２に示すように、撮像素子１３をｘｙ平面に対して平行に配置した場合、撮像素子１３の撮像可能範囲は、図１（ｂ）に示した二点鎖線の内側領域となる。図示したように、撮像素子１３の幅（ｘ方向長さ）をｘ_ｗ、撮像素子１３の高さ（ｙ方向長さ）をｙ_ｈ、画角（対角画角）をθ、焦点距離をｆとする場合、これらは下記の式（数１）の関係にある。

従って、外耳道の内側における３次元形状データを生成するにあたっては、撮像素子１３で撮像可能な範囲に基づき、撮像素子１３の位置や姿勢を変えながら撮像を行って、所期する全ての部分が写されるようにする。ファイバースコープにおいては、撮像素子１３の像面は、ファイバースコープ内にあるため、ファイバースコープを用いる場合、３次元形状データ生成手段３２は、撮像素子１３の受光素子位置の代わりに像面位置を用いる。

上述したように撮像素子１３は、図２に示すような複数の受光素子１３ａで構成されていて、各受光素子１３ａに入射した光の強度に対応する電圧に変換し、電気信号を出力する。また２次元画像データ生成手段３０は、各受光素子１３ａの電圧に対応する画素値に変換した画素を生成し、この画素を受光素子１３ａの配列に対応させて配置することによって、外耳道の内側における２次元画像データを生成する。

なお、各受光素子１３ａにおける中心のｘ、ｙ位置（ｘ_ｉｘ、ｙ_ｉｙ）は、撮像素子１３の幅（ｘ方向長さ）をｘ_ｗ、撮像素子１３の高さ（ｙ方向長さ）をｙ_ｈ、撮像素子１３のｘ方向における解像度をＮ_ｘ、撮像素子１３のｙ方向における解像度をＮ_ｙ、各受光素子１３ａのｘ方向のピッチをｄｘ、各受光素子１３ａのｙ方向のピッチをｄｙとし、撮像素子１３の中心位置の座標を（ｘ_ｃ、ｙ_ｃ、ｚ_ｃ０）とする場合において、変数ｉ_ｘ、ｉ_ｙを使うと、下記の式（数２）、（数３）のように表すことができる。

そして空間情報取得手段３１は、モーションセンサ２から出力される電気信号を元にして、撮像時における撮像手段１の空間情報を取得する。具体的には、モーションセンサ２から電気信号を出力しておき、撮像手段１によって撮像が行われたタイミングでモーションセンサ２の電気信号を捉えることによって、撮像手段１の空間情報を取得する手法が挙げられる。なお、通常時はモーションセンサ２からの電気信号を停止しておく一方、撮像手段１によって撮像が行われた際に出力される電気信号をトリガとして、モーションセンサ２から電気信号が出力されるようにしてもよい。

上述のようにして得られた外耳道の内側における２次元画像データと撮像手段１の空間情報は、３次元形状データ生成手段３２で関連付けられる。これにより、得られた２次元画像データが、外耳道の内側における何れの部位に相当するかが分かる。

更に３次元形状データ生成手段３２は、関連付けられた２次元画像データと空間情報に基づいて、外耳道の内側における３次元形状データを生成する。具体的には、次の手順で行われる。

まず、外耳道の３次元形状データが必要なところまで、撮像手段１を移動させ、所定間隔（例えば０．１ｍｍ）で２次元画像データと空間情報を取得する。取得した２次元画像データと空間情報は、コンピュータ３に内蔵されるメモリ（不図示）に記憶される。取得した空間情報に基づいて、撮像手段１の移動に伴う対物光学系１２の主点の移動軌跡を算出して、この移動軌跡を中心軸とする円筒座標を設定し、外耳道を管体と仮定する。更に、設定した円筒座標に基づいて、管体の内面に複数の微小面を設定する。また、コンピュータ３は記憶部（不図示）を有し、管体の内壁面の反射強度を均一の所定値と仮定した場合の主点と微小面の距離ｌに応じた画素値の基準データを予め記憶部に保存しておく。

この点を、図面を参照しながら具体的に説明する。図３は、上述した円筒座標と微小面との関係について示している。なお、実際は外耳道空間は曲がった管体形状をしているが、まずは、概念の説明を簡略化するため、ここでは、図１（ｂ）に示す撮像手段１はｚ軸に沿って移動した（対物光学系１２の主点の移動軌跡はｚ軸に一致する）として説明する。この状態において、対物光学系１２の主点の移動軌跡を中心軸とする円筒座標は、図３のように表すことができる。ここで、外耳道の内面がこの円筒座標に基づいて離散化されて、この円筒座標に従う複数の微小面で構成されると仮定する場合、この微小面は、図３に示すように、ある半径の円筒面上に存在する矩形状の面として示すことができる。図３では、微小面は半径がｒ_０の円筒面上にあるとし、また、微小面における一つの頂点（点Ａ）の方位角はφ_０、ｚ位置はｚ_０であるとする。この場合、点Ａの座標は（ｒ_０、φ_０、ｚ_０）と表すことができる。また点Ａからｚ位置が僅かに異なるｚ_１に存在する頂点（点Ｂ）の座標は（ｒ_０、φ_０、ｚ_１）と表すことができ、点Ａから方位角が僅かに異なるφ_１に存在する頂点（点Ｃ）の座標は（ｒ_０、φ_１、ｚ_０）と表すことができる。

ここで、図３に示す点Ａ、点Ｂ、点Ｃを通る平面を媒介変数ｓ_１、ｓ_２を使って表す場合、パラメータａ_ｘ１、ａ_ｘ２、ｓ_ｘ０、ａ_ｙ１、ａ_ｙ２、ｓ_ｙ０、ａ_ｚ１、ａ_ｚ２、ｓ_ｚ０を用いると、下記の式（数４）のように表すことができる。

また式（数４）を、点Ａ、点Ｂ、点Ｃの座標を用いるとともに、点Ａにおいてｓ_１＝０、ｓ_２＝０、点Ｂにおいてｓ_１＝１、ｓ_２＝０、点Ｃにおいてｓ_１＝０、ｓ_２＝１として示すと、下記の式（数５）のように表すことができる。

そして、上記の式（数５）の連立方程式を解くことで、パラメータａ_ｘ１、ａ_ｘ２、ｓ_ｘ０、ａ_ｙ１、ａ_ｙ２、ｓ_ｙ０、ａ_ｚ１、ａ_ｚ２、ｓ_ｚ０を求めることができる。

次に、撮像素子１３と対物光学系１２の主点とを結ぶ直線を設定する。本実施形態における撮像素子１３は、複数の受光素子１３ａで構成されており、ここでは、図４（ａ）に示すように、受光素子１３ａのそれぞれの中心と対物光学系１２の主点を通る直線を設定するものとする。ここで、媒介変数ｌを使って直線を表す場合、パラメータａ_ｘ、ｌ_ｘ０、ａ_ｙ、ｌ_ｙ０、ａ_ｚ、ｌ_ｚ０を用いると、下記の式（数６）のように表すことができる。

また、受光素子１３ａの中心における座標を（ｘ_ｐ、ｙ_ｐ、ｚ_ｐ）、対物光学系１２の主点の座標を（ｘ_ｆ、ｙ_ｆ、ｚ_ｆ）とし、この直線が受光素子１３ａの中心と対物光学系１２の主点を通る場合において、受光素子１３ａの中心を始点（ｌ＝０）、対物光学系１２の主点を終点（ｌ＝１）と定めると、上記の式（数６）は、下記の式（数７）のように表すことができる。

そして、上記式（数７）の連立方程式を解くことで、パラメータａ_ｘ、ｌ_ｘ０、ａ_ｙ、ｌ_ｙ０、ａ_ｚ、ｌ_ｚ０を求めることができ、受光素子１３ａと対物光学系１２の主点を通る直線を定めることができる。

次に、各受光素子と各微小面の対応を決定する。つまり、上述した微小面がこの直線上に存在するか否かを判別する。具体的には、式（数４）で示されるある平面と、式（数６）で示されるある直線との交点を求め、この交点が想定している微小面の内側にあるか否か及び円筒の内側から交わっているかを判別する。すなわち、交点が微小面の内側にあると判別できる場合は微小面が直線上に存在するといえ、外側にあると判別できる場合は直線上に微小面は存在しないといえる。さらに、実際には外耳道は曲がっているので、直線が外耳道内壁と再度交差する場合が想定されるため、直線上に微小面が複数存在しても、撮像手段１に内面が向いている場合のみを考慮する。これにより、撮像手段１で撮影された微小面を特定できる。

本実施形態においては、図５に示すように、受光素子１３ａの中心がｚ軸上にあるとした状態で、円筒面と直線との交点を算出する。式（数４）と式（数６）により、円筒面と直線との交点は、下記の式（数８）のように表すことができる。

ここで、円筒面のパラメータａ_ｘ１、ａ_ｘ２、ｓ_ｘ０、ａ_ｙ１、ａ_ｙ２、ｓ_ｙ０、ａ_ｚ１、ａ_ｚ２、ｓ_ｚ０は式（数５）により既知であり、直線のパラメータａ_ｘ、ｌ_ｘ０、ａ_ｙ、ｌ_ｙ０、ａ_ｚ、ｌ_ｚ０は式（数７）により既知であるため、上述した式（数８）は、ｓ_１、ｓ_２、ｌを変数とする３元１次連立方程式であるといえる。従って、ｓ_１、ｓ_２、ｌの値が定まるため、求めたｓ_１、ｓ_２を式（数４）に代入する、又は求めたｌを式（数６）に代入することによって、円筒面と直線との交点を導出することができる。なお、円筒面上に存在する微小面からの光が受光素子１３ａに入射する可能性があるのは、受光素子１３ａから見て主点より遠い場合、すなわちｌ＞１となる場合である。

そして、導出した交点（以下、判定点Ｐと称する）について、これが微小面の内側にあるか否かの判別を行う。図６はその判別方法を示している。本判別方法では、まず、判定点Ｐと、微小面における隣り合う２つの頂点Ａ、Ｂに着目する。ここで図６（ａ）は、判定点Ｐが微小面の内側にある状態を例示していて、図６（ｂ）は微小面の外側にある状態を例示している。なお、図６（ａ）、（ｂ）に示すＰＡベクトルとＰＢベクトルは、何れも判定点Ｐを基準とした２点Ａ、Ｂの相対位置ベクトルとなっており、ｎは面の法線ベクトルとなっている。また、図６（ａ）に示したＰＡベクトルとＰＢベクトルのなす角度（符号付き角度）θ_１は、次の式（数９）のように表すことができる。ここで、ＰＡ・ＰＢは、ＰＡベクトルとＰＢベクトルの内積であり、ＰＡ×ＰＢ・ｎは、ＰＡベクトル、ＰＢベクトルの外積と法線ベクトルｎの内積である。なお、図６（ｂ）に示した符号付き角度θ_１’も、式（数９）と同じ式で表すことができる。

そして、この符号付き角度の算出を、微小面の隣り合う頂点の組み合わせ全てに対して行う。ここで、図６（ａ）に示すように判定点Ｐが微小面の内側に存在し、かつ撮像手段１から見て微小面の内側の面が撮像手段１側を向いている（内向き）場合は、算出した４つの符号付き角度の総和は理論上２πとなる。また、微小面の外側の面が撮像手段１側を向いている（外向き）場合は、算出した４つの符号付き角度の総和は理論上－２πとなる。一方、図６（ｂ）に示すように判定点Ｐが微小面の外側に存在する場合は、算出した４つの符号付き角度の総和は理論上０になる。なお、実際に撮像手段１で撮像したデータに基づいて符号付き角度を算出した場合は、誤差等を含んで理論値通りの値が求まらないことがあるため、絶対値がある値（例えばπ）より大きければ判定点Ｐが微小面の内側に存在するとして判別することもある。次に、判定点Ｐが内側に存在する微小面が複数ある場合、ｌが小さい順番（撮像手段１に近い順番）に撮像手段１から見て内向きであるか、外向きであるかを判別する。符号付き角度の総和が負である場合は、外向きと判別され、反射光は受光不可能と判別する。符号付き角度の総和が正である場合は、内向きであると判別し、受光可能であるとする。ｌが小さい順番にこの判別を繰り返すが、一度外向きと判別された場合は、それ以降は撮像されていないと判別する。

このようにして各微小面に対応する受光素子が決まると、当該２次元画像データの画素値から、各微小面に対応する画素値が決まる。各微小面について、前述の基準データに基づき、取得した画素値が対応する距離ｌをｌ_Ｐとし、当該微小面と主点との距離がｌ_Ｐとなるときの管体の半径ｒ_Ｐを算出する。ここで半径ｒ_Ｐは、主点軌跡に垂直な管体断面における主点軌跡から内面までの距離となる。すべての抽出された微小面について、半径ｒ_Ｐを算出する。

全ての２次元画像データについて上記のように各微小面に対応する半径ｒ_Ｐの算出を行う。各微小面は複数の２次元画像データに撮像されているため、各微小面に対応する半径ｒ_Ｐは複数算出されることになる。この場合、半径ｒ_Ｐの平均値を当該微小面の半径ｒ_Ｐとしても良い。当該微小面の半径ｒ_Ｐは、各微小面と主点軌跡の距離であるので、微小面を順次つなぐことによって、管体の内側における３次元形状データを構築することができる。

また、微小面が直線上に存在し、かつ受光可能であるか否かを判別した後は、２次元画像データの各画素における画素値を、上述した直線上に存在する微小面のそれぞれからの反射光強度の和であると設定するとともに、この画素値に基づいて、直線上に存在し、かつ受光可能である微小面のそれぞれにおける反射光強度を算出する。例えば、ある画素ｍでの画素値をｖ_ｍとし、円筒座標における位置ｎでの円筒面上に存在する微小面からの反射光強度をｕ_ｎとする。ここで、係数ａ_ｍｎを使用して、上述した直線上に存在し、かつ受光可能であると判別される微小面については、ａ_ｍｎ≠０（例えばａ_ｍｎ＝１）、存在しないと判別される微小面についてはａ_ｍｎ＝０であるとすると、２次元画像データの各画素における画素値と、直線上に存在する微小面のそれぞれからの反射光強度の和との関係は、以下の式（数１０）のように表すことができる。

そしてこの関係を全ての画素について考えると、以下の式（数１１）のような行列で表すことができる。ここで、式（数１１）におけるＭは、総画素数（取得した複数の２次元画像データにおいて、各２次元画像データが持つ有効画素数を足し合せた数）を示している。ただし、ある撮影において、ある受光素子が受光可能な撮像面がひとつもない場合は、その受光素子は除外する。さらに、すべての撮影において、どの受光素子にも受光されない撮像面も除外する。

ここで、式（数１１）におけるｖ_１、ｖ_２、・・・ｖ_Ｍで構成された行列をｖ、ａ_１１、ａ_１２、・・・ａ_ＭＮで構成された行列をＡ、ｕ_１、ｕ_２、・・・ｕ_Ｎで構成された行列をｕとすると、式（数１１）は、ｖ＝Ａｕのように記載できる。この式は、下記の式（数１２）のように変換することができるため、行列ｕを求めることができる。このように式（数１２）に基づいて、未知であった直線上に存在する微小面のそれぞれからの反射光強度を算出することができる。

その後は、上述した直線上に存在する微小面の反射光強度の分布に基づいて実在する前記管体の内側における微小面を推定し、推定した微小面に基づいて管体の内側における３次元形状データを構築する。例えば、この直線上に存在する微小面を受光素子１３ａからの距離順に並べた場合において、このときの反射光強度の分布が正規分布となる場合は、その極値となる微小面が、実在する管体の内側における微小面であると推定できる。なお、反射強度の分布から微小面を推定する手法は、種々選択可能である。そして推定した微小面を順次つなぐことによって、管体の内側における３次元形状データを構築することができる。

なお、上述した円筒座標は、中心軸が直線上に延在するものであったが、撮像手段１が曲がって移動する（対物光学系１２の主点の移動軌跡が曲線になる）場合は、その曲線を中心軸とする曲がり円筒座標に基づいて微小面を設定すればよい。微小面からの反射光の強さは、受光素子１３ａと対物光学系１２の主点を結ぶ直線の方向ベクトルと曲がり円筒座標系の微小面の内向き法線ベクトルとの内積や照明条件によって変わるので、基準データやａ_ｍｎの値はそれに応じて決めてもよい。

また本発明は、上述した外耳道の内側における３次元形状データを作成するものに限定されず、例えば腸など消化管や気道、水道管など、種々の管体の内側形状を再現するものや、それを応用した病態や破損箇所の自動識別の手段としても適用可能である。

１：撮像手段
２：モーションセンサ
３：コンピュータ
１０：オトスコープ
１１：ビデオスコープ
１１ａ：先端部
１１ｂ：屈曲部
１２：対物光学系
１３：撮像素子
１３ａ：受光素子
３０：２次元画像データ生成手段
３１：空間情報取得手段
３２：３次元形状データ生成手段

Claims

３次元形状データ作成システムの作動方法であって、
前記３次元形状データ作成システムは、撮像手段と、２次元画像データ生成手段と、空間情報取得手段と、３次元形状データ生成手段とを備え、
前記撮像手段は、照明と、対物光学系と、該対物光学系による結像位置に配置されて管体の内側からの反射光を受光する撮像素子と、を含み、
前記２次元画像データ生成手段が、管体の内側を移動可能であって該管体の内側を撮像する前記撮像手段からの信号に基づき複数の２次元画像データを生成するステップと、
前記空間情報取得手段が、前記撮像手段に設置されたモーションセンサからの信号に基づき撮像時における前記撮像手段の空間情報を取得するステップと、
前記３次元形状データ生成手段が、前記２次元画像データと前記空間情報とを関連付けるとともに、該２次元画像データと該空間情報に基づいて、前記管体の内側における３次元形状データを生成するステップと、を有し、
前記３次元形状データを生成するステップは、
前記空間情報に基づいて前記撮像手段の移動に伴う前記対物光学系の主点の移動軌跡を算出して、該移動軌跡を中心軸とする円筒座標を設定するとともに、該円筒座標に基づいて前記撮像手段の周囲の空間を離散化して、該周囲の空間が該円筒座標に従う複数の微小面で構成されると設定するステップと、
前記撮像素子の各受光素子と前記主点とを結ぶ直線を設定するステップと、
前記微小面が前記直線上に存在するか否かを判別するステップと、
前記微小面からの反射光が前記撮像素子の各受光素子に入射可能であるか否かを判別するステップと、
前記２次元画像データの各画素における画素値を、前記直線上に存在し、かつ前記各受光素子に入射可能である前記微小面のそれぞれからの反射光強度の和であると設定するとともに、該画素値に基づいて該直線上に存在する該微小面のそれぞれにおける反射光強度を算出するステップと、
前記直線上に存在する前記微小面の反射光強度の分布に基づいて実在する前記管体の内側における微小面を推定し、推定した該微小面に基づいて該管体の内側における３次元形状データを構築するステップと、を含むことを特徴とする３次元形状データ作成システムの作動方法。
３次元形状データ作成システムの作動方法であって、
前記３次元形状データ作成システムは、撮像手段と、２次元画像データ生成手段と、空間情報取得手段と、３次元形状データ生成手段とを備え、
前記撮像手段は、照明と、対物光学系と、該対物光学系による結像位置に配置されて管体の内側からの反射光を受光する撮像素子と、を含み、
前記２次元画像データ生成手段が、管体の内側を移動可能であって該管体の内側を撮像する前記撮像手段からの信号に基づき複数の２次元画像データを生成するステップと、
前記空間情報取得手段が、前記撮像手段に設置されたモーションセンサからの信号に基づき撮像時における前記撮像手段の空間情報を取得するステップと、
前記３次元形状データ生成手段が、前記２次元画像データと前記空間情報とを関連付けるとともに、該２次元画像データと該空間情報に基づいて、前記管体の内側における３次元形状データを生成するステップと、を有し、
前記３次元形状データを生成するステップは、
予め前記対物光学系の主点と管体内側との距離に応じた画素値に関する基準データを取得するステップと、
前記空間情報に基づいて前記撮像手段の移動に伴う前記対物光学系の主点の移動軌跡を算出して、該移動軌跡を中心軸とする円筒座標を設定するとともに、該円筒座標に従う複数の微小面で構成される所定半径の円筒を設定するステップと、
前記撮像素子の各受光素子と前記主点とを結ぶ直線を設定するステップと、
前記微小面が前記直線上に存在するか否かを判別するステップと、
前記２次元画像データに対応する前記微小面を抽出するステップと、
抽出された前記微小面に対応する画素値から、前記基準データに基づき、該２次元画像データを取得した位置での主点と前記微小面との距離を求めるステップと、
この距離に応じて管体の形状を算出するステップと、を含むことを特徴とする３次元形状データ作成システムの作動方法。
前記モーションセンサによって得られる前記撮像手段の前記空間情報を、他のモーションセンサによって得られる撮像時における前記管体の空間情報に基づいて補正するステップを更に含むことを特徴とする請求項１又は２に記載の３次元形状データ作成システムの作動方法。
照明と、対物光学系と、該対物光学系による結像位置に配置されて管体の内側からの反射光を受光する撮像素子と、を含む撮像手段と、
管体の内側を移動可能であって該管体の内側を撮像する前記撮像手段からの信号に基づき複数の２次元画像データを生成する２次元画像データ生成手段と、
前記撮像手段に設置されたモーションセンサからの信号に基づき撮像時における前記撮像手段の空間情報を取得する空間情報取得手段と、
前記２次元画像データと前記空間情報を関連付けるとともに、該２次元画像データと該空間情報に基づいて、前記管体の内側における３次元形状データを生成する３次元形状データ生成手段と、
予め前記対物光学系の主点と管体内側との距離に応じた画素値に関する基準データを取得し記憶する記憶手段と、を有し、
前記３次元形状データ生成手段は、前記空間情報に基づいて前記撮像手段の移動に伴う前記対物光学系の主点の移動軌跡を算出して、該移動軌跡を中心軸とする円筒座標を設定するとともに、該円筒座標に従う複数の微小面で構成される所定半径の円筒を設定し、前記撮像素子の各受光素子と前記主点とを結ぶ直線を設定し、前記微小面が前記直線上に存在するか否かを判別し、前記２次元画像データに対応する前記微小面を抽出し、抽出された前記微小面に対応する画素値から、前記基準データに基づき、該２次元画像データを取得した位置での主点と前記微小面との距離を求めることを特徴とする３次元形状データ作成システム。
前記撮像手段は、前記対物光学系を備える先端部と、該先端部を支持するとともに屈曲可能に設けられる屈曲部と、を備え、
前記モーションセンサは、前記先端部に設けられることを特徴とする請求項４に記載の３次元形状データ作成システム。
前記管体を直接的に又は間接的に保持する保持手段を更に備えることを特徴とする請求項４又は５に記載の３次元形状データ作成システム。