JP5651132B2 - 口腔内撮影表示システム - Google Patents

Description

本発明は、口腔内全般を撮影し、パノラマ表示するシステムに関するものである。

口腔内撮影用のカメラは、カメラの高分解能化、小型化、低価格化等から虫歯治療、インプラント治療等における患者の治療への理解と同意を得る為の使用や、口腔内状態の記録等に利用はされており、個々の患部を撮影する他、歯列側面全体を撮影し診察や治療に用いる場合がある。
歯列の撮影は、歯列が複雑に湾曲している為に、上前歯部、下前歯部、右上臼歯部、右下臼歯部、左上臼歯部、左下臼歯部に分けて撮像して複数の画像を形成する場合が多い。
歯列画像は、歯列残存歯数および虫歯の状態と修復物の状況を判別したり、画像内の歯肉の腫れから歯肉炎の発症部位を特定するような診察用画像として用いられたりするが、複数の画像を用いて歯列を表示する場合は、それぞれの画像が、口腔内のどの部位かを容易には認識しにくい。
口腔内の実画像でパノラマ画像を得る手法は、例えば国際公開を２００７／０６３９８０号公報に、歯列アーチホーム概形相似仮想形曲線に近似した形状を持つフレームを形成してその側面に撮像装置を配置したものによって、歯列全体を撮影し、これをステレオ形式撮影とすることで、立体３次元のパノラマ画像を得ることが記載されている。

確かに、立体状で歯列の画像を撮影することができるが、アーチホーム概刑相似仮想形曲線を備えたフレームの形成を要する点で簡易的な測定手法とは言い難い面がある。
特開2005-144171には、撮影部位に照準用レーザダイオード光を照射する構成が記載され、口腔内という狭い空間で目的部位を的確に撮影することが記載されている。

特開２００１−２１２１６１号公報 特開２００５−１４４１７１号公報 国際公開ＷＯ２００７／０６３９８０公報

画像表示による口腔内の観察は、数多く提案されているが、結局従来の単発的で局所的な治療システム上での、患者への情報提供にとどまるものであり、口腔内の歯及び歯肉等の口腔内全般の健全化を図るべ為の撮影画像を提供するシステムにまでは到達していない。
歯列の特に歯側面のパノラマ画像を得るには、国際公開ＷＯ２００７／０６３９８０公報でも示されているように、歯列アーチホーム概形相似仮想形曲線に近似した形状を持つフレームのような、固定可能な型枠を用意する必要がある等、手持ち式の口腔内カメラによる試みは、未だ提案されるに至っていない。

上記に鑑み本発明は、歯列の側面を連写撮影して画像列を形成する連写画像列形成手段、前記連写画像列形成手段で形成された画像列を部分的な歯列画像として、全体合成の中心となる画像から合成して複数の部分歯列画像を形成する側面歯列画像形成手段、前記側面歯列画像形成手段で形成された複数の部分歯列画像間で全体合成の中心となる画像に基づいて連結合成して全体の歯列を形成する側面歯列画像合成手段を具備することで、手持ち型の口腔内カメラを用いて明瞭なパノラマ歯列が形成でき、更にＸ線パノラマ歯列画像、仮想矯正又は仮想審美着色したパノラマ歯列とを併設して表示したり、重ね合わせて表示することで、歯科における診療範囲を広げることを可能とする。

本発明で示す画像は、最終的にデジタル画像を示すものであって、動画、静止画いずれを用いても良い。
本発明における「全体合成の中心となる画像」とは、例えば、２つの部分パノラマ画像を合成する場合の両者に共通する画像を示す。「全体」には、最終的な全体パノラマ歯列画像だけを示すのではなく、例えば、３つ以上の部分歯列画像を形成した場合であって、最初に２つの部分パノラマ歯列画像を合成して得られた合成途中のパノラマ歯列画像も含まれる。「全体合成の中心となる画像から合成して」とは、例えば、前歯の表面の中央の一つの歯の一部が中央にくる画像から、奥歯方向の歯列を連写して得られた複数の静止画像を合成して左側部分歯列パノラマ画像と右側部分歯列パノラマ画像を形成することを意味する。「連結合成」とは、例えば、左側部分歯列パノラマ画像と、右側部分歯列パノラマ画像とで、両者に共通する部位で合成したり、連結可能な部位に基づいて接続したりして合成することを意味する。

本発明は、合成の中心となる部分を含む画像にマークを設定する場合があるが、このマークとは、例えば、唾液、水等で容易に溶解せず、細長い長方形状のもの、短い長方形状を有し、例えば裏面に接着剤、粘着剤等が塗布されたシールであって、剥がすことが可能な付着物を示す。
又、付着物に限らず、色を落とすことが可能で、明確に撮影しやすい、緑、赤等の着色されたペンによりマークを歯に描いても良い。
マークを配置する部位は、上歯と下の歯にかかる様に配置されることが好ましいが、例えば、上顎、下顎いずれか一方のみ撮影する場合は、撮影する方のみ配置しても良い。 マークを配置する歯列上の所定の位置とは、例えば、カメラの撮影方向や、持ち方などを変えることで、撮影が中断したり、動きが静止する位置であって、合成の中心となる画像を示す。

撮影画像上で認識しやすい色（緑、青等）、形状で形成されればよく、材質、色、は適宜選択される。また、３次元画像を得る場合は、特徴のある立体性を備えたものを用いても良い。マークは、歯の表面に表示され、撮影された画像に明確に位置表示がされるものであればよいことから例えば、歯表面に投影される寸法が既知の形状を持つレーザー照準光を照射する照射手段を設ける場合や、スポットライトのように、照明距離と照射される光の面積が対応関係にある照射手段を口腔内カメラから歯に向けて照射可能に配置するものであってもよい。
マークは、少なくとも、マークが所定の位置に撮影された画像から合成が始まれば良く、撮影方向は、奥歯からである必要はない場合もある。撮影方向と合成方向は、必ずしも逆でなくても良く、合成時マークが所定の位置に表示された画像から左右へ部分合成し、最終的にマークが所定の位置に表示された画像に基づいて全体合成が行われれば良い場合もある。 合成を開始するマークの所定の位置とは、例えば、マークが撮影画像の中心に来た場合が例示されるが、これに限らず、部分合成と全体合成において、合成が容易にな部位であれば良い。

マークは、例えば、歯の裏側側面等、歯列の右、中央、左の３つの側面について部分合成する場合は、右側面と中央側面の中間の歯、及び中央側面と右側面の歯の２つ必要となる場合もあり、複数のマークが付されても良い場合もある。本発明の、歯列の側面とは、表側だけでなく、裏側、咬合面を含む場合もある。連写は、毎秒３０枚以下を自動的に撮影することを示す。
場所を変えて撮影された画像の合成は、公知のパノラマ合成手法であり、合成する際の手法は、既存の手法を選択的に用いればよく、単純合成法、単純列挙法、ブロックマッチング法、及びLucas-Kanade法等のオプティカルフロー推定法等の自動又は手動の合成方法が利用可能であるが、事前にアフィン変換等の画像調整手段で、画像間の共通部分に基づいて、傾き、倍率等を調整することが好ましい。
本発明における特徴部位とは、部分歯列パノラマ画像を結合する際の結合位置を示す線状、点状、図形状、又は立体状のものであって、例えば、２つの側面パノラマ画像を合成する場合は、中央の前歯と前歯の境界線が示されるが、これに限らず、前歯一つ、特徴がある歯や歯肉の先端等の部位も含まれる。

口腔内とは、歯、歯列、歯肉、歯槽骨、口唇、硬口蓋、軟口蓋、口蓋垂等の領域が例示される。
画像化とは、コンピュータのモニター（ディスプレイ）装置、携帯電話表示部へ出力表示可能な画像データに変換することの他、用紙に印字・印刷された状態等の２次元的又は３次元的な表示がされた状態を示す。
本発明は、反射鏡を利用するため比較的照射光の光路が長く、指向角に基づく広がりを具えたＬＥＤ等の照準光源を用いることで、撮影位置と撮影範囲を明確にすることができる。

更に、本発明は、縦横に動く口腔内カメラの姿勢をジャイロセンサによって本体の角度情報を測定し、この本体の角度から鏡の角度を導き出し、どのような状態にあるかを把握する。撮影状態から画像の姿勢を調整することで、縦横に移動するカメラの状態にかかわらず、常に見やすい状態の画像が表示されることを実現した。
本発明では、角速度センサ（ジャイロセンサ）、加速度センサ等の位置センサを用いる。具体的には、角速度を出力するレートジャイロ、角度を出力するレート積分ジャイロ、姿勢ジャイロ、ＭＥＭＳ（micro electro mechanical systems)タイプその他機械式、光学式等の角速度センサ、ピエゾ抵抗タイプ、静電容量タイプ、熱検知タイプのＭＥＭＳセンサ等の加速度センサが例示される。
本発明における照準光の色は、照明光の色と識別できる色であれば良く、照明光が白色であれば、照準光は赤色、緑色等が例示される。又、照準光の照射のタイミングは、使用者が撮影を開始する直前のタイミングが好ましいが、撮影中、短時間の照射であってもよい場合もある。

更に本発明は、簡易的に口腔内歯列側面におけるパノラマ実画像が形成できることから、撮影されたパノラマＸ線画像を取り込み、重ね合わせたり、例えば歯ごとのＸ線画像をパノラマ実画像と併設したり、重ね合わせて表示することで、歯科従事者、患者にわかりやすい臨床データを形成することができる。
この実画像と、Ｘ線画像の重ね合わせ、併置等を表示手段上でおこなうことで、患者の治療に対するより一層の理解を実現することも可能となる。

本発明は、一部又は全部の歯列について、実画像による明瞭なパノラマ的表示を手持ち状態で撮影することができる口腔内カメラを用いて簡易に可能とし、更に場合によっては、Ｘ線画像を、重ねたり、併記したりして表示することができることから、当該表示を用いて患者に対し、わかりやすい診療説明を行うことができる。

図１は本発明の一実施例を示す図である。 図２は、実施例を説明する為の図である。 図３は、実施例を説明する為の図である。 図４は、実施例を説明する為の図である。 図５は、本発明の他の実施例を示す図である。 図６は、実施例を説明する為の図である。 図７は、実施例を説明する為の図である。 図８は、実施例を説明する為の図である。 図９は本発明の一実施例を示す図である。 図１０は、実施例を説明する為の図である。 図１１は、実施例を説明する為の図である。 図１２は、実施例を説明する為の図である。 図１３は、本発明の他の実施例を示す図である。

本発明は、歯列を連写撮影して、パノラマ合成による部分パノラマ画像と、これら部分的なパノラマ画像を合成して全体のパノラマ歯列を形成する手法であって、好ましくは合成部にマークを配置する構成により、手持ちカメラによる歯列パノラマ画像を容易に形成することを可能とする。
歯列の側面方向を撮影してパノラマ歯列画像を形成する際、カメラが反射鏡を用いる場合は、例えば、頬肉と歯側面に挟まれた状態で、奥歯から前歯方向へ撮影していくことが好ましい。所定の位置で、向きを変えて、反対の奥歯から前歯方向へ撮影していく。
撮影は、カメラのシャッターボタンを押すと、所定の間隔で静止画を形成する連写撮影が例示されるが、静止画を毎秒３０枚程度撮影するデジタル動画を形成する手法で、連続撮影された静止画を形成しても良いが、毎秒２０枚以下で撮影されることが好ましい場合もある。
連写は、少なくとも画像間に共通部位がある静止画画像が形成されればよいことから、より低スピードで、場所をずらしながらシャッターを自動又は手動で切って連写画像を形成しても良い場合もある。
手持ちのカメラによる奥歯撮影の場合、撮影距離を確保する為、カメラを用いて頬肉を押し広げる操作を行いながら撮影する場合が多いが、その場合、頬肉を押し広げる分カメラは手ぶれ等の揺動が少なく、安定した状態に近いと言い得るが、前歯に移行する際、このような押し広げる操作から解放され、カメラが手ぶれ等で急激に揺動する場合があるが、本発明では、歯肉と歯、歯と歯の境界の検出を行うことで、基準部位を形成し、この基準に併せるようにして、揺動画像の補整を行い、結合する手法取り得る場合もある。

次に本発明の実施例を図面を参照して詳細に説明する。
更に図１から図５に歯を噛み合わせた状態でパノラマ状の歯列を明瞭に合成を行って形成するパノラマ歯列画像形成手法の一例を示す。
図１でしめす様にカメラにより、左奥から撮影した画像を中央付近まで撮影をし、口腔内カメラの向きを変えて、右奥から中央付近くらいまで連写撮影する手法がとられるが、この場合、一度カメラの方向を変える為に撮影状態が中断することから、左右の歯列画像の合成が正確にできず、ずれてしまうことが多い。
又、手動によるカメラの移動撮影は、例えば、奥歯の撮影の場合、口腔内内面の頬肉と歯側面間に配置され、この頬肉を押しのける様な状態で口腔内カメラを移動させたり、歯側面との接触状態が形成される等するため、頬肉、歯側面が口腔内カメラの反射鏡や、カメラの撮影部位を支える状態となるが、前歯方向へ口腔内カメラを移動させると、頬肉による圧迫等から解放されて、手持ち状態となり撮影するカメラの位置が不安定となり、画像が乱れやすくなる。特にカメラと被写体である歯側面との距離が変動したり撮影向きにぶれが出たりして、被写体である歯の大きさが変動したり画像に歪みが生じる場合がある。

図１で示した反射鏡を用いた口腔内カメラ１０１は、図９、図１０で示す構成が例示され、モジュール状のＣＣＤカメラ、Ｃ−ＭＯＳカメラの周辺に光源用ＬＥＤを複数配列した構成であって、反射鏡を介して、口腔内に光源用ＬＥＤによる照明を行うとともに、口腔内の歯列等の画像を連写的に得るものであり、奥歯から安定して撮影できるものであるが、これに限るものではなく、反射鏡を用いない直接撮影用のカメラであっても良い場合もある。
ここで用いる口腔内カメラ１０１は、平面状の反射鏡１０２（図９のＡ１０Ｋ）を備えた反射鏡ユニット１０３（図９のＡ１０）を、ＣＣＤカメラ、Ｃ−ＭＯＳカメラなどの撮像器と発光ダイオードを撮像器の周囲に４〜８個程度配置した照明器を組み合わせた撮影ユニット１０５（図９のＡ１４）を先端に備えた本体１０４（図９のＡ１１）の先端に交換可能として装着使用する構成をそなえたものが例示される。
撮影ユニット１０５は、静止画を例えば毎秒１０枚から３０枚の範囲で画像が得られる様に撮影する連写手法を用いて静止画デジタル画像を出力するものが例示される。

連写撮影を始めるまでに、あらかじめ上下の歯を噛み合わせた状態の歯列１００ａの中央付近にマークＭＬを付しておく、マークＭＬは、着色されたシールの一時的付着、色を落とすことが可能な着色ペンによる記載、等、カメラ撮影により画像に鮮明に表示できるものが好ましい。マークＭＬを例えば歯列の中心付近に付す際の中心付近とは、左右の歯列を連写撮影した後、合成する際の基準となる場所を示すものであって、その他、撮影した画像の中央付近で、画像処理上特徴となる部位を検出し、その部位をマーク画像上に設定するものであってもよい。マークＭＬは、上歯と下歯にかかる様に配置することが好ましい。
この連写動作を、例えば口腔内カメラ１０１の反射鏡１０２を奥歯から前歯方向に向かって撮影する為に、１０６aの状態から１０６b、１０６cの様に歯面に沿って、好ましくは歯列面から同じ距離だけ離して、本体１０４を手で持ち、反射鏡１０２を動かして撮影する。

ＩＧは、補正用表示部であり、歯表面に剥離可能な状態で付着される貼付部材に、画像補正用の例えば井桁、四角、三角、碁盤の目、その他の図形であって、画像の歪み、カメラと歯側面間の距離に基づく、画像の大小等の補正が可能な表示であればよく、又補正用表示部ＩＧの色も緑色、その他、画像処理において識別可能な色彩を付したものであれば緑色に限るものではない。
この貼付部材は、例えば、図１、図３で示す様に歯の中央であって、マークＭＬを付した歯の表面に貼り付けても良く、又貼り付ける歯は、一つの歯に限らず、複数の歯に貼付部材を貼り付けて撮影してもよく、その他の歯であって、口腔内で、その他の支えがなく、手動で歯を撮影する部位へ付してもよい場合もある。
補正用表示部ＩＧを歯表面に付する手段は、マークＭＬと同様の手法を用いれば良く、表示が唾液等で、溶けたり、滲んだりしないものを用いることが例示され 左歯列一部パノラマ画像と右歯列一部パノラマ画像を、両者に共通して撮影された補正用表示部ＩＧに基づいて、両画像歪みや大きさを補正して、結合する際は好適である。

尚、左歯列と中央歯列及び右歯列と３つに分割した一部パノラマ画像を結合する際は、それぞれの一部パノラマ画像列の共通な歯に補正用表示部ＩＧを設けても良い。
撮影された個々の静止画における補正も、例えば、連写して得られる画像内で、基準となる補正用表示部ＩＧに基づくか、又は、撮影された画像群の中で補正用表示部ＩＧが撮影されているものの一つをブロックマッチング法やテンプレートマッチング法等で検出してこれを基準とし、他の画像で撮影された補正用表示部ＩＧを検出した後、基準画像と比較して、歪み、傾き、大きさの差等を検出し、拡大、縮小、回転、移動調整をするアフィン変換を用いた補正を行っても良い。手動による揺動が避けられない撮影の際、補正用表示部ＩＧを歯に付することによって、安定したパノラマ歯列画像形成の為の合成が可能となる。アフィン変換は、好ましい一例であって、その他、同様の画像操作が可能な調整手法を用いてもよい場合もある。

このような補正用表示部ＩＧを用いた画像の補正は、例えば、Zhangの方法（ＩＥＥＥ．Transactions on pattern Analysis and Machine Intelligence,22（11）;1330-1334,2000）等のカメラ画像のキャリブレーションで用いられる手法を用いても良い。
又、補正用表示部ＩＧは、撮影状態、アフィン変換等の処理により必須でない場合もある。
図１（ｂ）は実際、奥歯から連写した際の一回の撮影範囲を略図的にしめしたものである。
１０６ａ→１０６ｂ→１０６ｃ→１０６ｄ→１０６ｅ→１０６ｆ→１０６ｇの様に口腔内カメラ１０１の反射鏡部分を経時的に移動させながら、静止画による連写画像を得る。 口腔内カメラ１０１は先端に所定の角度をもった反射鏡１０２を備えた構成よりなる為、歯列面を図中、左奥歯から撮影していくとすると、中央付近で、本体１０４の向きを変えて、図中、右奥歯から順に撮影することから、図１で示す１０６ｅから１０６ｇの面を撮影した後、口腔内カメラ１０１を反転させて、右奥歯からの撮影が開始する。
連写のスピードは、本体１０４を手動で動かすため、手ぶれ等の揺動の影響を考慮して、毎秒２０枚から３０枚程度として多めに撮影し、手ぶれ、ピンぼけした画像を削除する余裕をもった連写撮影することが好ましい。

この連写は、マークＭＬが撮影画面又は反射鏡の中央に来る迄撮影することが好ましいが、それをある程度経過した部位まで行い、その後、撮影された画像を取捨選択してもよい場合もある。
手動によるカメラ操作の為、合成の前に、各画像の共通部位に基づいてアフィン変換を行い、画像の状態を整えた方が好ましい場合がある。
例えば、合成の最初の中心となる画像を基準に比較画像に対してブロックマッチング法で共通する複数の点を検出する。この共通する複数の点に基づいて次の画像をアフィン変換する。例えば、共通部分における基準画像の画素座標（xａ、yａ）、に対応する次の画像の画素座標（xb、ｙｂ）を複数選んで、次式に代入して係数値ａ〜ｆの値を得る。
係数値を次式に代入した状態で、次の画像をアフィン変換していき画像を整理した後、又は画像を整えながら、パノラマ合成を行っても良い。

このように歯列１００ａの図中左奥から正面付近まで、連写して得た画像の一部を図２に示し、図１と併用して当該実施例に基づく口腔内カメラの撮影動作を説明する。
図２（ａ）から（ｅ）は、図１（ｂ）で示す歯列の撮影画像データにおける中心付近１０７ｃから１０７ｅ付近の連写撮影をした際の撮影画像データ列の一例である。
尚、口腔内カメラは、反射鏡１０２を利用して歯列画像を得ていることから、撮影画像は、左右が反転するが、わかりやすくする為に、反転していない状態で図２及び図４に示した。

図２の（ａ）は、図１（ｂ）の１０６ｃ付近を撮影し、図２（ｂ）は、１０６ｄ付近、図２（ｃ）は、１０６ｅ付近、図２（ｄ）は、１０６ｆ付近、そして図２（ｅ）は、１０６ｇ付近を撮影した画像である。尚、手動で撮影するため、撮影画像が常に同じ状態で撮影することができない場合が多い。従って、画像が斜めになっている場合などは、他の歯の状態と例えば重なり合う部分で、アフィン変換を用いて整える補正をすることが好ましく、図２は、補正後の図を示している。
補正の際、一つの基準となる部位として、マークＭＬの他、反射鏡１０２が撮影された反射鏡面にあらかじめ設定される垂直中心線ＣＬ、水平中央線ＨＬを用いてもよい。

垂直中心線ＣＬ、水平中央線ＨＬは、必ずしも画像に表示されるものではなく、また反射鏡の縁部に垂直中心線、水平中央線の始点と終点に該当する部位にそれぞれ突起等の目印を付けておく程度であってもよく、この目印に基づいて仮想的に表示される場合もある。 また、撮影用ＣＣＤカメラのレンズによる歪みをソフトウェア補正する処理をあわせて行っても良い。
ＲＭは、鏡の輪郭であり、実際の撮影された画像は、輪郭ＲＭ内で円形状の画像となるが、範囲説明をしやすくするために、四角の画像で表示した。
撮影される画像が手持ちであるため、歯とカメラとの間の距離が異なる場合があるが、この場合は、マークＭＬと垂直中心線ＣＬとが略一致した画像を基準として、その他の撮影画像の大きさを補正しても良い。
尚、反射鏡１０２の先端部を歯の面に軽く接触させながら、連写撮影を行うことで、得られる画像を安定させることができる場合がある。

図１で示すように、正面から左側の奥歯に本体１０４の反射鏡１０２を配置して、その後正面方向へ移動させて連写し、例えば図２（ａ）〜（ｅ）の画像を取得する。
この場合、反射鏡１０２の垂直中心線（ＣＬ）にマークＭＬが一致したタイミングで撮影取得した画像図２（ｃ）までを、合成用画像として採用する。図２（ｄ）以降を用いると合成時、ずれの原因となる場合があるので、合成には使用しない方が好ましい。
画像１０（ｃ）を基準の画像とすべくマークＭＬを基準に、必要に応じ、画像の傾きなどを補正する、すなわち、マークＭＬの長辺及び短辺を基準に画像を補正して基準画像としてもよい。

一合成操作例を以下に説明する。
合成に採用される画像を図２（ｆ）以降に示した。図２（ｆ）が図２（ｃ）に示す画像に相当し、図２（ｇ）は、図２（ｂ）に相当し、図２（ｅ）は、図２（ａ）に相当する。 図２（ｆ）でしめす画像１０６ｅと図２（ｇ）で示す画像１０６ｄとを、画像１０６ｅを基準として画像１０６ｄの画像の形状が一致又は近似する共通部分に基づいて重ね合わせて合成する。
図２（ｆ）を基準として、重ね合わせた場合、図２（ｇ）の左方面にはみ出た部分を２０１ａで示す。２０１ａは、奥歯方向の画像となる。
次に、図２（ｇ）で示した合成画像と、図２（ａ）で示した画像１０６ｃとを、図２（ｇ）の合成画像を基準として、形状等が共通する部分で目視により、又は画像処理手法により重ね合わせる。重ね合わせた画像であって、図２（ｇ）から左方向へはみ出した部分を２０１ｂで示した。
２０１ｂは、奥歯方向の画像となる。
この動作を次に隣接する画像間で行い、更に次の隣接する画像と共通部分で重ねあわせることで、マークが所定の位置にある画像から奥歯方向へパノラマ画像的に合成して左側歯列を形成する。

その他、図２（ｆ）で示す中心画像にはみ出した部分２０１ａ、２０１ｂ・・・・をつなぎ合わせて左半分のパノラマ画像を形成する手法が例示できる。
また、はみ出した部分の検出は、例えば、図２（ｃ）の１００ｅと図２（ｂ）の１００ｄとの間ではみ出した部分を抽出し更に、図２（ｂ）の１００ｄと図２（ａ）の１００ｃとの間ではみ出した部分を抽出し、更に次の隣接する画像間ではみ出した部分を集めて、最後に基準画像図を１０（ｆ）として、このはみ出した部分をつなぎ合わせて、パノラマ画像を形成してもよい。はみ出した部分の画像は、中央よりの画像を基準として、その上から隣接する画像を重ね合わせることが好ましい場合もある。
尚、完全に重ね合わせて一致または近似しない場合であっても、マーカ部分が共通して存在する場合は、その部分を重ね合わせて同様の合成をおこなってもよい。尚、手動であるため、得られる静止画像ごとに遠近感や、傾きが相違する場合がある。この場合は、アフィン変換等を用いて自動的に補正したり、任意に拡大縮小して調整するものが好ましい。

合成した状態を図５（ａ）に示す。図５（ａ）で示すように左半分のパノラマ歯列画像を形成することができる。
次に図３(a)で示すように上下かみ合わせた状態の歯列１００ａの右奥に本体１０３ｄの反射鏡１０２を配置した状態で、歯列１００ａ表面をなるべく一定の距離を保ちながら、３０１ａ→３０１ｂ→３０１ｃと中心となる前歯へ近づく方向で静止画による連写撮影を行う。
図３（ｂ）に撮影される静止画像と歯列１００ａとの位置関係を略図的に示した。
使用者は、口腔内カメラ１０１を手で持ちながら、３０２ａ→３０２ｂ→３０２ｃ→３０２ｄ→３０２ｅ→３０２ｆ→３０２ｇ→３０２ｈの方向へ移動させて撮影し、連写的に静止画像を取得する。本実施例は、手持ち型であるため、撮影画像が左右、奥行き方向で傾いたり、ずれたりするが、アフィン変換、その他の輪郭抽出手段を利用して、連写して得られる隣接する画像間に存在する共通部分に基づいて回転、移動を行って画像の調整を行う工程を設けても良い。

図３（ａ）でしめす口腔内カメラ１０１は図１のものをそのまま使用しているため、同一の番号を付して説明を省略した。
図４（ａ）から（ｅ）は、図３（ｂ）の３０２ａから３０２ｆの範囲で代表的な画像を示した。
図４と図２との間で共通する構成については、図２で示した符号と同一の符号を付した。
図４において、図４（ａ）は、図３（ｂ）の３０２ｄの画像付近を示し、図４（ｂ）は、図３（ｂ）の３０２ｅの画像付近を示し、図４（ｃ）は、図３（ｂ）の３０２ｆの画像付近を示す。
図４（ｄ）は、図３（ｂ）の３０２ｇの画像付近を示し、図４（ｅ）は、図３（ｂ）の３０２ｈの画像付近を示す。

尚、図４（ｄ）及び（ｅ）は、垂直中心線ＣＬとマークＭＬが一致した後、さらに左方向へ反射鏡１０２を移動させた際の写真画像であり、これらの画像を採用すると左右方向から撮影された画像の重ね合わせの部分が多くなり画像のずれが生じることから、これを採用せず、図４（ａ）から（ｃ）を採用する。
この中で、マークＭＬと垂直中心線ＣＬが一致した画像（図４（ｃ）の３０２ｆ）を基準にしたものを図４（ｆ）に示す。次に図４（ｂ）で示す画像３０２ｅと３０２ｆの共通する部位を重ね合わせる。
画像３０２ｆを基準にして画像３０２ｅをその上から形状が一致又は近似する範囲で重ね合わせた状態ではみ出した部分が４０１ａである。
次に、この重ね合わせた画像と図４（ｂ）で示す画像４０１ｂを、重ね合わせた画像を基準にパターンマッチング法等を用いてその上から形状が一致又は略一致する部位で重ね合わせる。

重ね合わせた状態ではみ出した部分が４０１ｂである。このように隣接する画像を重ね合わせて向かって右側の歯列を形成する。その他の合成方法として、基準画像１０６ｅと画像４０１ａ及び４０１ｂを図５（ｂ）で示すように合成するものであってもよい場合もある。
尚、前後の画像を重ね合わせた際、多少のずれがある場合は、重ね合わせた箇所のいずれか一方を削除しても良い場合もある。
以上の手順で、連写静止画を合成していき、左歯列の画像を合成した際の中心画像１０６ｅと右歯列の画像を合成した際の中心画像３０１ｃを重ねあわせ、一致、略一致させることで、図５（ｃ）で示すパノラマ歯列３０３を形成する。歯列全体のパノラマ画像を図５（ｄ）に示した。ｂ１０１は、左側部分パノラマ歯列、ｂ１０２は、右側部分パノラマ歯列である。

中央の歯に設定した補正用表示部ＩＧ、マークＭＫは、画像から汎用のグラフィックソフトウェアを利用して消去する処理を行うことが好ましい。画像処理における消去、付加は、例えば、画素値の調整によるものであり、例えば、マークの消去の場合は、マーク周辺であって、隣接する画像上の歯の輝度値を検出し、この検出された輝度値に置き換える処理によって消去したり、予め設定された輝度値に変換しても良い。
重ね合わせは、例えば、中央の歯と歯の境界部分（ＫＬ）に基づいて、左右のパノラマ歯列を接続合成することが好ましい。尚、歯と歯の境界は、上顎、下顎で異なる場合に対応するために、上顎又は下顎の歯の境界部分を境界として用いて、合成してもよく、その際の合成は、上顎のみのパノラマ歯列と下顎のパノラマ歯列を、それぞれ合成して、最後に上顎と下顎を合成しても良い場合もある。境界部分検出は、下述する２次元フーリエ変換処理における輪郭抽出処理や、境界値を強調する色成分値を抽出する手法が例示され、境界値は、上顎又は下顎の歯と歯の境界、又は咬合時の咬合した状態での上顎と下顎の両者を通過する境界などが例示される。

図５（ｄ）は、右側部分パノラマ歯列ｂ１０１と左側部分パノラマ歯列ｂ１０２からそれぞれ境界ＫＬを抽出し、この境界ＫＬで連結結合した場合の図を示したものであるが、その他、マーク等に基づいて重ね合わせたり、部分パノラマ歯列の片方の画像に置き換えても良い場合もある。 また、例えばあらかじめ図５で示す中心画像１０６ｅと中心画像３０１ｃは必ずしも重ね合わせる必要はなく、どちらかの中心画像ＣＧＧを採用すればよい場合もある。
その場合、例えば中心画像１０６ｅを採用した場合、中心画像１０６ｅに基づいて画像４０１ａから奥歯までの画像に対しアフィン変換を行ったり、４０１ａ、４０１ｂの大きさ等を多少修正する場合もあり、中心画像３０１ｃを採用した場合は、２０１ａ、２０１ｂの大きさを修正する場合もある。このように、各画像間のはみ出した部分をつなぎあわせる手法の他、はみ出した部分を抽出せず、そのまま共通部分で重ね合わせていく場合は、中心画像同士を大きさを調整しながら重ね合わせをする場合もある。
このように、中心画像から、左右の歯列を合成して、左側合成歯列と右側合成歯列とし、これらをそれぞれの中心画像に基づいて合成することで、ずれを抑えたパノラマ歯列を形成可能とする。

中心画像に基づく合成は、例えば、中心の歯と歯の接触ライン(エッジ)を特徴部位として左側合成歯列と右側合成歯列を結合することが好ましい場合もある。尚、マークは必ずしも中心の歯に付される必要が無く、撮影の際、カメラの方向を変えるタイミングで撮影される歯の部位等である場合もあり、その他の目的等でマークの位置は適宜選択される。 特徴部位もマークと同様、画像合成時に位置あわせ可能な部位であれば、特に限定されない。
また、あらかじめ被写体である歯列にマークを付すか、画像からマークに相当する部位を設定することで、より正確な合成が可能となる。
尚、以上の動作説明は、グラフィックソフトウェアを用いて、コンピュータモニター上に表示された複数の画像を、目視とマウス操作によるコピーペースト、ドラッグアンドドロップ、画像の縮小拡大、傾き補正等の操作に基づいて行った場合、公知の自動パノラマ写真合成用ソフトウェア（Photoshop Elements ７（商標）(アドビ社製)、Photo Stitch（商標）（キャノン社製）等も利用できる場合がある。

３次元パノラマ歯列画像の作成

歯列は、咬合平面に対して弓状に湾曲した形状であり、その全体を現実的に把握する場合は、２次元によるパノラマ表示では、個々の歯の様子はわかるが、平面状に歯が並んでいる状態で表示されるため、３次元的な把握は不十分であることから、３次元的に表示できる手法が好ましい。
次に実画像による3次元パノラマ画像を形成する実施例を図６に示し説明する。
図６は、３次元パノラマ歯列画像形成手段を説明する為のブロック図である。
５０１は、撮影データ入力手段であり、図７で示すような、カメラを複数備えたステレオ画像撮影用のカメラを接続して、カメラの個数と同じ枚数の画像を同時に形成する手段である。
撮影データ入力手段５０１は、一枚ごとにシャッタを押す様式と、一回シャッタを押すことで複数の写真を撮影する連写的に撮影可能とした構成を備えており、複数の対の静止画像を連続して出力する場合もある。

５０２は、補正手段であり、レンズ形状による歪み、手ぶれ等の補正、遠近距離の補正等を行う為の手段であり、いわゆるキャリブレーション手段といった公知の手法をもちいて構成されるものである。
補正手段５０２は、同時に撮影された画像のそれぞれに校正が施されるものであり、歪みが大きい、周辺部を削除することもある。
５０３は、共通点検出手段であり、例えば一対の画像の共通点を検出するための手段である。共通点検出手段５０３は、片方の画像の一画素又はひとまとまりの画素の輝度値を基準用輝度値とし、他の画像の一画素又は、ひとまとまりの画素の輝度値を用いて、例えば、輝度差の総和（ＳＡＤ）、輝度差の二乗和（ＳＳＤ）値をとりその最小値又は最大値により一致する部分又はサブピクセル推定により推定された部分を共通点として出力するものである。

より具体的には、例えば、新井元基 他, 画像のブロックマッチングにおける相関関数とサブピクセル指定方式の最適化,社団法人 情報処理学会 研究報告,2004,P33-40に示される構成やその他の公知手法を利用しても良い。
５０４は、ワールド座標変換手段であり、得られた共通点の各画像の座標を、全体的に共通な３次元座標に変換する手段である。
ワールド座標変換手段５０４は、例えば、三角法、８点アルゴリズム法、三角測量法等、算術的手法によりコンピュータ処理で行われ、前記共通点検出手段５０３で得られた共通点のそれぞれ写真画像の座標値から視差値や、カメラの特性（内部パラメータであるレンズの焦点距離、画像中心、画素サイズ、及び外部パラメータである２つのカメラの位置、及び姿勢）から、ワールド座標（Ｘ、Ｙ、Ｚ）を形成出力するものである。
例えば、それぞれ異なるカメラの内部パラメータ及び外部パラメータからなる透視投影行列Ｐ1、Ｐ2、それぞれ撮影した画像の共通点Ｍのローカル座標（u1、v1）及び（u2,v2）から一般的に知られている式（１）に基づいて、ワールド座標（Ｘ、Ｙ、Ｚ）が求められる。

カメラの内部パラメータ、外部パラメータを用いて透視投影行列を求めるか、各静止画像から得られる複数の共通点のローカル座標等から透視投影行列Ｐ1、Ｐ2及びω1、ω2を求めて、式（１）にもとづいてワールド座標を得る方法等に関しては、例えば、電子情報通信学会誌 Ｖol．９２、Ｎo.6,2009,463-468に記載されている手法等の公知手法が好適に用いられる。
その他３次元座標を得る手法としては、接写手法とともに例えば、歯科材料・器械 Ｖｏｌ．１９Ｎｏ．３333-338(2000)等に記載されているが、これに限らず、その他一般的な手法をとり得る。

５０５は、３次元画像形成手段であり、例えばコンピュータ上に仮想的に形成された３次元座標空間に、当該ワールド座標データを表示し、この座標データを直線、又は曲線で結んでいって表示するワイヤーフレーム模型を形成しても良く、更に線で囲まれた部分に仮想面データを貼り付けていくことで、よりリアルなパノラマ３次元データが得られる。 ３次元パノラマ状の歯列データを立体座標上で、立体化することで、湾曲状の歯列が表示される様にしてもよい
５０６は、表示手段であり、コンピュータ用のモニター、プリンタ、等で形成され、通常のコンピュータモニター上に仮想３次元画像として表示されても良く、更に、湾曲したパノラマ状歯列画像を２次元に投影する等して表示しても良い。
図７は、２つのカメラを先端に備えたプローブ状の3次元計測用のプローブ６００の一例を示す。
６０１は、撮像部Ａであり、中心にレンズ６０１ａが配置され、いわゆるカメラモジュール形態を有する。
６０２は、撮像部Ｂであり、中心にレンズ６０２ａが配置され、いわゆるカメラモジュール形態を有する。
６０３は、照明光照射部であり、好ましくは撮像部Ａ６０１、撮像部Ｂ６０２の周囲に設けられており、支持部材６０６内部に形成された発光手段６０５が発した光を、光導路６０４を介して被写体である歯の表面を照射する部分である。照明光照射部６０３は、より均一な照明が行われるような形状であることが好ましく、図７に示された形状に特定されるものではない。

６０３ａは、指示用光源であり、撮影面を示す為のものであって、スポットライト的な出力をおこなう部分であり、周辺を黒い円筒体で覆った、赤色、青色、白色等のＬＥＤが用いられる。スポットライト的な光であるため、距離によって、照射面の面積が異なることから、光の円を一定に保ちながらプローブ６００を移動させることで一定の距離でのプローブの移動を可能とする。
６０４は、光導路であり、支持部材６０６内部に形成され、表面は、アルミ、銀等の薄膜などの光反射部材で被覆されていることが好ましい。
６０５は、発光手段であり、支持部材６０６内に装着され、白色ＬＥＤ、その他の光源が例示される。本実施例では、ストロボの様な断続的フラッシュ駆動や、連続的な照明駆動等が行われても良い。
６０６は、支持部材であり、例えば、軽量で硬質なプラスチック材で成型され、先端に、撮像部等が配置され、棒状で、口腔内の奥まで挿入しやすいような形状を有する。

６ ０ ７ は、操作用スイッチであり、シャッタ操作等を行うものである。その数は、操作仕様や目的に応じて設定されれば良く任意の構成であればよい。
シャッタとして使用する場合は、押している間所定の間隔で連続的にシャッター駆動を行うような仕様も取り得る。
６ ０ ８ は、把持部であり、支持部材６ ０ ６ と一体的に構成されており、軽量で、丈夫なプラスチック材等で成型されることが好ましい。
６ ０ ９ は、外部電源と接続、外部データ処理装置等との接続をするための電気リード線であり、Ｕ Ｓ Ｂ 接続コネクタを利用したケーブルが利用されても良い。
また、光源がストロボ的な発光であって、連写データをカメラ内部で一時的に記憶できる場合や、Ｚ ｉ ｇ ｂ ｅ ｅ （ 登録商標） 、無線通信用のフロントエンド回路を用いた無線接続の場合等は不要になる場合もある。

図６及び図７で示した本実施例の動作について説明する。
図６の撮影データ入力手段５０１において使用者は、図７で示す把持部６０８をもって、図１で示す様に上下の歯が噛みあわされた状態で支持部材６０６の先端の撮像部Ａ６０１と撮像部Ｂ６０２を被写体部位に近づけ、指示用光源６０３ａが指示するスポットライトの大きさ、位置を見ながら、操作用スイッチ６０７を押して連写動作を開始する。
連写動作でなく、撮影ごとにシャッタ用の操作用スイッチ６０７を押しても良い場合もあるが手ぶれ等を防ぐ為に押す動作を少なくする連写が好ましい。
この押した状態で、図１（ａ）と同じ位置まで撮影し、次に図３（ａ）と同様の状態で、同じ位置まで撮影する。
図８に一回の連写撮影で得られた画像群の中で対となる画像を示す。尚、口腔内で、歯の表面形状をより精度よく計測する場合は、近接した状態での撮影が好ましく、カメラの焦点距離も接写可能な状態で設定されることが好ましい。
これら撮影された画像は、図６の補正手段５０２でレンズの曲面によって生じる歪みや、傾き等が校正（キャリブレーション）されて共通点検出手段５０３へ出力される。
３次元処理を行う際、図２、図４で示すように中心付近から左右方向へ合成することを考慮して中心から行うことが好ましいが、特にこの手法に限定されるものでもない。
図８（ａ）は、歯の正面であって、中心に近い場所を撮制した画像であり、図７のプローブ６００を構成要件とする撮影データ入力手段５０１で撮影されて得られたデータでもある。

７０１ａは、撮像部Ｂ６０２の画像であり、７０２ａは、撮像部Ａ６０１の画像である。この画像にそれぞれ中心点を同じ部分とした座標を付与し、例えば撮像部Ｂ６０２が撮影した図８（ａ）の画像７０１ａの任意の点Ａ（x1、y1）を設定してこれと同じ位置を示す点Ａ’（x2、y2）を探す。点Ａを例えば一つの画素のブロックとして、平均輝度値を求める。図８（ａ）の画像データ７０２ａの点Ａ’と想定される位置の近傍から、点Ａと同じサイズの画素ブロックを求め両者の輝度値の差の総和又は二乗和をとり、次第に、点Ａ’方向へ、同様の演算を行いながら移動しながら。一致度評価曲線を形成する。
一致度評価曲線上で、この差分値の総和又は差の二乗和が、一番小さくなった部分、又は一番大きくなった部分を点Ａ’として設定するサブピクセル推定手法が好ましいが共通点を得る手法であれば特にこれに特定されるものではない。
次に７０１ａの点Ａのとなりの画素ブロックについて同様の操作を行い、画像７０２ａ上から共通の点を検出する。この操作を繰り返し行い。画像７０１ａと７０２ａのオクルージョンの範囲を除いた共通範囲７０３ａにおいて共通点の座標を求める。
この場合も新たに付加したマークＭＬの位置を中心に共通点座標を形成することが精度の高い共通点を得ることを可能とする。

またこのブロックを小さくすることにより、精度が高い状態で、共通点が検出できるが処理時間が長くなる為ブロックの大きさ等は適宜選択される。
次に、図６のワールド座標変換手段５０４において、例えばこの共通点を複数点とって計測した座標値から、視差、焦点距離等撮影器固有のパラメータ及び１式に基づいて３次元ワールド座標系に変換する。この具体的な手法は、上述した文献等に示された通常の方法が好適に採用される。
図８（ａ）の一対の画像から共通点を求めた後、次の図８（ｂ）で示す画像対７０１ｂ、７０２ｂを用いてオクルージョンの範囲を除いた共通範囲７０３ｂを３次元のワールド座標に変換する。３次元ワールド座標となった状態で例えば図８（ｄ）に示すワイーヤーフレーム状に成形したものを作成する。
図８（ｄ）の３Ａ（Ｘ、Ｙ、Ｚ）は、図８（ａ）Ａ(x1,y1)とＡ’（ｘ2、ｙ2）に基づいて（１）式を利用して変換した3次元ワールド座標である。

更に図８（ｃ）で示す画像対７０１ｃ、７０２ｃのオクルージョン範囲を除いた共通範囲７０３ｃの各共通点の３次元ワールド座標を求める。
次に図６で示す3次元画像形成手段５０５において、
ワールド座標に変換された図８（ａ）から求められた３次元座標と図８（ｂ）を平面的な重ね合わせでなく仮想３次元座標空間で重ねあわせる。
この重ね合わせた画像に更に図８（ｃ）で示した３次元ワールド座標を重ね合わせる。
この重ね合わせは、仮想の３次元空間での重ね合わせであれば、これら３次元ワールド座標化したデータに基づいてコンピュータモニター上に例えば図８（ｄ）で示すようなワイヤーフレーム状の歯列を仮想的にそれぞれ表示し、目視でマウス等コンピュータインターフェースを操作してそれぞれを重ねあわせるようにしておこなうことができるが、重ね合わせの精度を高める場合は、比較する３次元数値のどちらかを基準として、差分比較等により一番差分が小さい状態となるような合成が好ましい場合もある。ブロックマッチグによるサブピクセル推定手法で、共通点を得ても良い。

図８（ａ）から（ｃ）は、正面に向かって右側の歯列の３次元ワールド座標化したデータに基づく歯列を形成したが、次に左側の歯列の３次元ワールド座標化を行う。
ワールド座標化は、上述した公知の手法を用いればよく、例えば、２つの画像に基づく３次元座標を取得した後、共通の座標であるワールド座標への変換を行ったものでも良い。
左右の歯列の３次元ワールド座標を取得した後、コンピュータの３次元仮想表示、又は座標値の数値的重ね合わせによる近似的一致により結合していけばよい場合もある。
その場合、マーク部分の３次元座標データを基準に重ねることが好ましく、当該手法によれば、２次元のみならず３次元座標でも、ずれの無いパノラマ歯列表示が図６で示す表示手段５０６によって可能となる。
重ね合わせは、同じ形状部分のデータ数値での重ね合わせであって、一致しない場合は、両者の座標値の平均をとりながら重ね合わせていく手法、画面上で画像をドラッグアンドドロップの手動手法で、コンピュータマウスを操作しながら重ね合わせた後、座標値を求める方法等が例示される。

尚、互いに共通した部位をもつ画像であっても、撮影状況から、補正後も、重なり具合が悪い関係にある画像の場合は、共通する画像の内どちらか選択すれば良く、パノラマ画像を作成する為に必要な重ならない部分側の画像を用いても良い場合もある。
ワールド座標に基づいた三次元化による合成により、全歯列をいわゆる入れ歯風の３次元形状に表示することが可能となる。
２次元の歯側面のパノラマデジタル画像表示、及び３次元の歯側面のパノラマデジタル画像表示は、患者にとって自らの全体の歯列状態を容易に理解することができる様になることから、例えば、２次元パノラマ歯列データ、３次元パノラマ歯列データのそれぞれについて、矯正シミュレーション処理、仮想ホワイトニング処理を施して仮想歯列を形成した状態の画像をコンピュータモニター上に併置して、患者に治療の効果等を実感させる態様を形成しても良い。

矯正シミュレーション処理とは、例えば、２次元パノラマ歯列画像であれば、あらかじめ歯一つの様々な形状のデータベースを部位に応じて作成し、２次元パノラマ歯列画像上のそれぞれの歯の画像に対し、矯正歯科医がグラフィックソフトウェア上でコンピュータマウスを操作してコピーペーストを行って、形成した仮想矯正パノラマ歯列を形成する手段を示す。
パノラマ３次元歯列画像の場合は、既に３次元座標が設定されていることから、既存のＣＡＤソフトウェア上で、矯正歯科医等がパノラマ３次元歯列画像の３次元座標調整を行って、仮想矯正３次元パノラマ歯列を形成する手段が例示される。これらの矯正パノラマ表示手法は、例示であり、その他の手法を取り入れてもよい。
自らのパノラマ２次元及び３次元歯列画像に対する仮想ホワイトニング処理後の仮想表示も、歯科医がグラフィックソフトウェア上のこれらの画像に対し、色データの調整を行ったものを、併記してもよい。このように仮想矯正、仮想着色処理を、患者自らのパノラマ歯列に行ったものを画面上に併設することで、患者は治療の理解を深めることが可能となる。

照準光照射手段

図９は、本発明の一実施例を示す図である。
A１０は、反射鏡ユニットであり、硬質のプラスチック製等で形成され、先端に所定の角度（例えば４５度）で設置された反射鏡A１０Ｋを設け、後端に撮影ユニットA１４の外周と接続可能な円筒状の装着部A１０Ｓが形成され、その間は、開放された形状となっている。
装着部A１０Ｓと撮影ユニットA１４との接続は、押し込む形で形成され、離脱も、引き離すだけで可能とする程度で足り、回転防止の為、両者に凹凸を設けたり、楕円形等の非対称形状にしたりしても良い。
A１１は、本体であり、プラスチック、樹脂で形成され、口径が大きいボールペンのような円筒状で手で持ちやすい形状を具備し、先端に撮影ユニットA１４が突出するように配置され、後端には、外部処理装置と接続する為のケーブルA１５が接続する。
A１２は、反射鏡ユニットA１０の先端に所定の角度で配置された反射鏡A１０Ｋを歯科医、歯科衛生士等が直接見て観察する際の観察方向である。

A１３は、照準光照射面であり、照準用光源A１４２から出力された照準光が反射鏡A１０Ｋで反射して歯面を照らし出している際の照準光の照射面の一例である。
照準用光源A１４２の位置は任意であり、撮影画像の範囲を決定できる位置であれば、他の位置でも良く、その部位は、例えば、反射鏡ユニットA１０の先端部であって、撮影範囲を照明する部位であってもよい。この場合は、光路が短くなるため、指向角度が多少広くても撮影画像の範囲を照明できる場合もある。
図９（ｃ）に撮影ユニットA１４を拡大した状態を示した。
A１４１は、照明用光源であり、広域な指向角度をもつ、ＬＥＤ又はレンズとＬＥＤの組み合わせが例示される。 照明用光源A１４１は、撮影部材A１４３の周辺に複数配置されている。
A１４２は、照準用光源であり、指向角度が小さいＬＥＤや、レンズとＬＥＤの組み合わせによって、照射面に所定の広がりをもつことが可能な出力を行うものが例示される。

又、指向角度が小さい光源の場合は、複数所定の間隔をあけて配置されることが好ましい。
A１４３は、撮影部材であり、ＣＣＤ、ＣＭＯＳのカメラで構成され、画素数は、より多いものが好ましい。
A１５は、外部画像表示機器と接続するためのケーブルであり、ＵＳＢケーブルのような汎用ケーブルの他、専用のケーブルで形成されても良い。
A１６ａ、A１６ｂは、第１操作ボタン、第操作ボタンであり、プッシュ式、プル式、又は回転式等で構成され、それぞれのボタンの中で、第１操作ボタンＡ１６ａを押すと所定時間、照準用光源A１４２が発光し、反射鏡A１０Ｋを介して要部を一定時間だけ照らす。
一定時間とは、利用者が、少なくとも口腔内の要部を照らす照準光を認識できる時間であって、好ましくは、撮影のタイミング、例えば第１操作ボタンＡ１６a等が押されるまでである。
撮影時は、静止画像に異なる配色の照明部が形成される為、観察の妨げになる点で好ましくないが、観察の妨げにならない場合は、特に照準用光を消す必要がなく、点滅させて、利用者に認識させるものであっても良い。この照準光の照射面積を維持させながら口腔内の歯列側面を撮影することで、反射鏡と歯の距離を一定にすることも可能である。

次に図９で示す実施例の動作を説明する。
撮影ユニットA１４の撮影部材A１４３の周辺の装着された照明用光源A１４１の照明出力は、反射鏡A１０Ｋを介して口腔内の歯AＨ１を照明する。A１４Ｌが照準光光路である。
その他、照明用光源も反射鏡A１０Ｋを介して照射され、照明光面内の一部が照準光照射面A１３が形成された状態となっている。
撮影部材A１４３は、照らし出された口腔内の部位を、反射鏡A１０Ｋを介して入力し、ケーブルA１５を介して、外部モニター装置により表示する。
歯科医師等の利用者は、外部モニター装置で表示される画像で、撮影位置を把握できるが、診療時間を短くする場合や、治療が含まれる場合等は、デンタルミラーと同様の使用がされる場合が多く、観察方向がA１２で示す様に撮影画像と異なる状態となる場合があるが、その際は、例えば第１操作ボタンＡ１６ａを押す。第１操作ボタンＡ１６ａが押されると、照準用光源A１４２が発光し、発光は、所定の時間、好ましくは撮影開始前まで、行われ、観察者が。観察位置と、撮影位置を確認する程度の強さで発光する。

観察者は、撮影位置と観察位置を一致させるため反射鏡A１０Ｋの移動を行い、再度第１操作ボタンＡ１６ａを押すことで、撮影位置と観察位置の調整を行う。
位置決めが終了すると、再度第１操作ボタンＡ１６ａ又は第２操作ボタンＡ１６ｂを押すことで静止画又は動画の記録が行われる。上述した第１操作ボタンＡ１６ａと第２操作ボタンＡ１６ｂの操作内容は、例示であり、場合により適宜選択されるものである。
その一例を図９（ｂ）に示した。
A１７は、画像の一例であり、撮影目的とする歯AＨ１が撮影されている。照準光の照射範囲は、照準光照射面A１３で示す円の範囲であり、撮影を目的する要部のおよそ全部が含まれている。
照準光照射面A１３の範囲は、本体A１１及び反射鏡ユニットA１０の組み合わせが、歯Ｈ１に対して上下に動くことにより変化することから、使用者は、本体A１１及び反射鏡ユニットA１０を上下させて、調整すればよく、撮影範囲よりも大きくなったり小さくなったりするが、撮影範囲の要部からずれることが無く、又点光源よりも、撮影範囲の要部を十分に示す。
以上の操作により、撮影面と観察面が調整され、正確な静止画又は動画の記録が行われる。

図９（ａ）で示す本体A１１を持ち、口腔内の観察部位に対し、反射鏡A１０Ｋを目的とする部位を捉えるように縦横に移動させて観察撮影する。
口腔内カメラは、口腔内の上顎、又は下顎の狭く深い部位等に挿入され、反射鏡の撮影範囲は、広範囲にわたると共に反射鏡が逆さの状態で口腔内が撮影されたり。斜め状態、横向きなどでも撮影されたりすることから、撮影画像も、傾いたり、逆さになったりする場合がある。
図１、図３で示す様に口腔内カメラの反射鏡を奥歯から前歯にかけて移動させながら撮影する場合も、手動であるが為にカメラ及び反射鏡は、傾いたり回転したりする場合があり、得られる画像も同様に傾いたり、回転したりする。
この状態に撮影状態を位置センサによって、検出し、画像が上下反対の状態や、斜めの状態に対してこれをカメラの理想的な動きである水平移動状態で撮影した際に得られる画像に補整する画像補整手段を具えることで、カメラが多少回転や傾いた状態であっても、得られる画像が姿勢制御された画像となる手段を図１０から図１２に示し説明する。

撮影画像修正手段

図１０は、本発明の一実施例を説明する為に用いられる口腔内カメラの一例であり、一部を断面図として示した。
A２１は、把持用の筐体であり、内部空間を具えた円柱状を有し、先端にカメラとカメラの周辺に形成された照明用光源とからなる楕円筒状の撮影ユニットA２３が筐体A２１より突出した状態で接続し、後端に外部表示装置と連結する為のケーブルA２６が接続する。
照明ユニットの一例を図１０に示した。
A２２は、反射鏡ユニットであり、先端に所定角度で配置された反射鏡A２２Ｈが装着され、後端には、撮影ユニットA２３の周辺を覆うように装着可能な円筒状の装着部A２２Ｓが形成され、その他は開放された状態となっている。
A２４は、回路基板であり、筐体A２１内部に装着され、画像処理用ＩＣ等が実装されている。A２５ａ、A２５ｂは、位置センサであり、回路基板に実装されたＩＣチップ状を有する。位置センサの個数、実装部位は一例であり、センサの種類によっては、実装されない場合もある。
位置センサA２５a、A２５bは、加速度センサ、角速度センサ等、口腔内カメラが広範囲な移動状態を取り得ることから、角度によって、計測不能な状態にならないセンサ素子が採用される。位置センサの個数を２つとして示したが、例示であって、軸の数に応じて、チップの数が変化したり、3軸用のユニットがあれば、一つである場合もある。
加速度センサ及び角速度センサは３軸のセンサが例示され、位置センサの個数も軸の数等で調整される場合もある。

位置センサA２５a、A２５b・・のｘ軸、ｙ軸、ｚ軸は、例えば図１２で示す軸が例示される。
位置センサA２５a、A２５bを角速度センサ（ジャイロセンサ）とした場合、角速度センサは、例えば、それぞれｘ軸周りの移動による角度の変化量、ｙ軸周りの移動による角度の変化量、及びｚ軸周りの移動による角度の変化量をそれぞれ出力する。
角速度センサの場合は、ｘ軸、ｙ軸及びｚ軸の初期状態を任意に設定した状態で、それぞれの軸の変化量を加算していき、カメラの撮影状態を検出する。
これに対し、 加速度センサは、それぞれのｘ軸方向の加速度成分、ｙ軸方向の加速度成分、ｚ軸方向の加速度成分を出力する。更にこれらの加速度成分の合成ベクトルが姿勢ベクトルを出力し、静止状態にある時は、それぞれ重力加速度ベクトルを示す。 この姿勢ベクトルから、カメラの撮影状態が得られる。
例えば加速度センサは、静止時、重力加速度ベクトルA４５１の状態を姿勢ベクトルとして出力する為、この状態でのｘ軸方向、ｙ軸方向、ｚ軸方向のベクトルを基準姿勢としてその後角速度センサを用いてそれぞれの軸の回転変化量を加算等の演算をしていく手法等が利用できることから、

加速度センサと角速度センサを両方組み合わせることで、カメラの様々な状態を検出してもよい。
図１１は、位置センサを用いて画像表示状態を補整する手段の一例を示すブロック図である。当該ブロック図でしめす構成は、コンピュータ処理であれば、プログラムで実行される部分を持つものであってもよい。
A３１は、撮影手段であり、図１０の撮影ユニットA２３の中心に配置されたカメラで動画、静止画を撮影する手段を示す。
A３２は、画像補整手段であり、画像記録メモリ、ＣＰＵ等で構成され、撮影手段A３１で得られた画像を一時記録し、位置検出手段A３４のカメラ角度情報に基づいて、画像を回転させ見やすい状態の画像データを形成する。
例えば、撮影ユニットA２３が撮影し、モニターに映し出す画像の基準姿勢を定め、その基準姿勢に対し、筐体Ａ２１を動かすことで、基準姿勢画像が回転した場合において、 例えば角速度センサ等がそれぞれの軸での角速度から、回転角度の変化量を検出し、その回転角度変化量分を引いた角度だけ、画像を回転させて表示させることで、見やすい画像が形成可能となる。

尚、図１２でしめすｙ軸周りの回転のみで、画像の補整が可能な場合もある。
反射鏡で反射させた口腔内の像を撮影する場合、撮影ユニットA２３のカメラは、常に反射鏡方向を向いている為、画像が回転するのは、図１２でしめすｙ軸座標を中心にした筐体の回転に伴う回転が主となるためである。
従って、少なくとも、本体A１１及び反射鏡ユニットA１０がｘ軸、ｙ軸及びｚ軸方向に変化した状態で、ｘｚ平面に映し出される画像を画像表示部において、一定の方向を向く状態に補整されることが好ましい場合もある。
３３は、画像表示手段であり、コンピュータのモニター、その他専用のモニターが示され、画像補整手段A３２の出力画像が表示されるものであれば良い。

A３４は、位置検出手段であり、図１０の位置センサA２５ａ、A２５ｂ等で構成され、具体的には、角速度を出力するレートジャイロ、角度を出力するレート積分ジャイロ、姿勢ジャイロ、ＭＥＭＳタイプその他機械式、光学式等の角速度センサ、ピエゾ抵抗タイプ、静電容量タイプ、熱検知タイプのＭＥＭＳセンサ等の加速度センサが利用可能である。
次に図１１の動作を図１０、図１２を用いて説明する。
図１２でしめす座標軸は、一つの位置センサが3軸に対応する場合を示すものであり、位置センサがそれぞれ1軸、2軸等で対応する場合は、位置センサの部位毎に対応する座標軸が設定される。
図１０でしめす筐体A２１を持ち、反射鏡A２２Ｈを口腔内に挿入して目的とする部位を撮影する。その際、筐体A２１上に取り付けられたスイッチを操作するなどして初期姿勢状態を記録する。所期姿勢状態における座標の一例を図１２のA４１０で示した。
位置センサの設置により座標軸が形成される。本実施例では、A４２１がｘ軸、A４３１がｙ軸、A４４１がｚ軸とした。

尚、A４５１は、重力加速度ベクトルであり、加速度センサの静止時の合成された姿勢ベクトルの一例である。従って重力加速度ベクトルは、加速度センサを用いないときは利用できない場合がある。
口腔内カメラが例えば、奥歯の側面を撮影する為に直立に近い状態での座標を示す。
A４２２は、ｘ軸であり、A４３２は、ｙ軸、A４４２はｚ軸を示し、加速度センサを用いた場合、A４５２は、重力加速度ベクトルを示すことができる。
口腔内の目的とする部位へ、反射鏡２２Ｈを移動させる。動き方の一例を図１２でしめす。反射鏡２２Ｈ及び筐体で構成される口腔内カメラは、A４１１、A４１２、A４１３で示す様な縦横に移動し、撮影手段A３１は、それぞれの状態での口腔内画像を静止画、動画で撮影して画像補整手段A３２に出力する。

位置検出手段A３４は、例えば、初期姿勢情報をｘ、ｙ、ｚ方向のそれぞれに対して画像補整手段A３２に出力する。尚、本実施例のように、反射鏡の画像を表示する構成の場合、カメラは反射鏡方向に向いている為、カメラ画像が反転したり見づらい状態となるのは、ｙ軸周りの回転に要因があることが多いことから、１軸タイプの位置センサのみを利用してもよい場合もある。画像補整手段A３２は、この初期姿勢情報と画像とを対応づけて、画像表示手段A３３に出力し、表示させる。
図１２で示す様に口腔内カメラをA４１１、A４１２、A４１３の様に動かして、口腔内を撮影する場合、撮影手段A３１は、それぞれの姿勢に応じた画像を出力する。ｙ軸を中心にカメラが回転すると、画像は、逆さに撮影され、撮影状態に対応した画像が出力される。

位置検出手段A３４は、位置センサA２５ａ、A２５ｂ（例えばジャイロセンサーの場合）からそれぞれ、ｘ軸、ｙ軸、ｚ軸周りでの角速度を検出し、この角速度からｘ軸周りの角度の変化量（Δθｙｚ）、ｙ軸周りの角度の変化量（Δθｘｚ）、及びｚ軸周りの角度の変化量（Δθｘｙ）を検出する。
これらの変化量を画像補整手段A３２へ出力する。画像補整手段A３２は、撮影手段A３１から入力された画像データと、位置検出手段３４から出力された位置情報に基づいて、例えば、角度の変化量に基づいて画像を回転させて、最初の画像の状態に戻す。
従って、画像表示手段A３３は、同じ口腔内対象物をカメラを回転させて動画、静止画で撮影しても、画像は、常に最初の設定状態のままで表示内容画像が変化する表示をすることができる。

歯肉と歯の境界検出手段

本発明は、歯と歯肉の境界を明確に設定検出可能とするための構成を含む。
口腔内カメラの画像は、暗く狭い空間を照明をあてながら撮影する箇所が多いため、例えば、図１、図３で示すコンピュータ画像処理によるパノラマ画像を形成する手段として、画像間の共通部分を検出する場合や、患者への歯科治療の説明を行う場合等は、歯肉と歯の境など、近似的な色合や唾液の影響等のため、識別困難な場合がある。
そこで、実画像の歯の輪郭を抽出する輪郭抽出手段、と実画像を成分色に変換して、歯及び歯肉の形状を明確にする色成分画像変換手段、前記色成分画像変換手段で変換された画像と、輪郭抽出画像を合成した合成画像形成手段からなる組み合わせ構成により歯と歯肉の輪郭を歯の汚れや、照明が十分でない場所でも、抽出可能とした。
輪郭抽出手段は、例えば位相限定相関法で用いられる画像に対し２次元フーリエ変換を行う手段と、当該フーリエ変換後、画像の濃淡の変化を示す周波数領域における位相信号のみを検出して逆フーリエ変換を行う手段で構成される。その他、Ｚ変換系、ラプラス変換系の利用も可能な場合がある。

色成分画像変換手段は、例えば、ＲＧＢ表色系、Ｌa*b*表色系、ＨＳＶ表色系、ＸＹＺ表色系、ｘｙＹ表色系、L*u*v*表色系、マンセル表色系、オストワルト表色系、NCS (Natural Color System) 、DIN表色系等の表色系で示される成分色に分解した画像を形成し、この中から、形状が明確に見える成分色を選択して、その成分色に基づいた画像を形成する手段、又は表色系を問わずその成分色を合成して、より形状が明確に見える成分色を形成して当該成分色に基づく画像を形成する手段である。当該選択は、予め口腔内画像にたいして適した成分色を測定して決定することが好ましいが、例えば Ｌa*b*表色系、のＬ成分画像、a*成分画像、又はｂ*成分画像のいずれか１つと、ＨＳＶ表色系のＨ（色相(Hue)）成分画像、Ｓ（彩度(Saturation・Chroma)）成分画像、Ｖ（明度(Brightness・Lightness・Value)）成分画像、のいずれか１つとを組み合わせて合成することが示され、異なる表色系の成分色同士の合成が好ましい場合がある。成分色の選択又は組み合わせ合成は、形状が明確に見える成分色への変換又は、複数成分色の合成をおこなうものであれば良い。

尚、成分画像とは、成分を強調する画像を例えばプログラム上の成分値を示す数値を調整して得られたもの等を含むものである。
又、形状が明確に認識可能な成分画像を選択する他に、人がよりその境界を認識できる色の組み合わせを用いて着色する。例えばＲ（赤色）成分画像を歯肉に適用し、Ｇ（緑色）成分画像を歯に適用することが示される。
又、ここで示す成分色とは、画像から検出したものだけではなく、境界を明確にする色を用いて新たに着色しても良い場合もある。
そして、合成画像形成手段は、前記輪郭抽出手段で得られた輪郭画像と、色成分画像変換手段で得られた画像を、例えばクロマキー手法のように、輪郭画像の輪郭部分以外を同色系として、色成分画像を透過する等して合成する。又、当該合成後、色成分画像を更に強調するため、人が目視的、又は機械的に、より境界がより区別されるべく歯肉部を赤色系に変色又は濃く強調させ、歯を緑色に変色又は濃く強調させたりする手段を用いても良い。尚、色成分によっては、歯肉色を赤色に、歯色を緑色に変換するものがあれば、その色成分画像に変換してもよい。これらの手段は、いずれもコンピュータソフトウェアにより実現されることが好ましいが、ゲートアレイ、ＰＬＤ (Programmable Logic Device)等のカスタム、セミカスタムＩＣによって構成される場合もある。

次に図１３で示す実施例について説明する。
２９０１は、画像入力手段であり、例えば口腔内カメラで撮影された静止画像を入力する手段である。画像入力手段で入力された静止画画像は、フィルタ手段２１０２に出力される。２９０２は、フィルタ手段であり、アンシャープフィルタなどのエッジ強調フィルタで示されるが、その他、画像の濃淡を強調するフィルタを用いてもよい場合がある。
フィルタ手段２９０２でフィルタ処理が行われた画像は、輪郭抽出手段２９０３及び成分色画像変換手段２９０４へ出力される。
２９０３は、輪郭抽出手段であり、２次元フーリエ変換手段、位相信号検出手段、及び逆フーリエ変換手段よりなるが、これらの手段は、ｏｐｅｎ−ＣＶ（インテル社製）のようなソフトウェアライブラリ中にあるプログラムモジュールを組み合わせて実行するものが例示される。
２９０４は、成分色画像変換手段であり、上述した様に、Ｌa*b*表色系、ＨＳＶ表色系のa*成分色やb*成分色、Ｈ成分色Ｓ成分色Ｖ成分色に変換した画像を形成する手段と、これら成分色を合成する成分色合成手段からなり、色合いが変化するが、歯及び歯肉の形状が明確な画像が形成される。更に、この色合いの変化により、歯の汚れ、虫歯の発見も可能となる場合がある。

輪郭抽出手段２９０３で得られた輪郭画像と、成分色画像変換手段２９０４で成分色画像に変換された画像は、合成表示手段２９０５へ出力される。
２９０５は、合成表示手段であり、輪郭抽出手段２９０３の出力した輪郭画像と、成分色画像変換手段の出力成分色画像を合成する。 この合成は、例えば、輪郭画像の輪郭以外を同系色化し、この同系色を透明化して、背景映像となる成分色画像と合成するものである。合成された画像は、コンピュータモニター上に表示される。
これら一連の合成処理により歯肉と歯の境界が鮮明な画像を得ることができる場合がある。又、図５で示す左右の歯列をマークＭＬがおおよそ画像の中心にくる画像同士（例えば画像１０６ｅと画像３０１ｃ）を合成又は結合する際の目安として例えば中心の２つの歯の境界ＫＬを検出する際、本実施例は好適に用いられる。又、フーリエ変換により位相信号を検出して得られる輪郭画像と実画像をそのまま合成してもよい。また成分色画像のみを用いても形状が明確になる画像が得られることから、成分色画像検出手段で得られた画像のみでも歯肉と歯の境界が明確になる画像が得られる。このような歯と歯肉の境界が明確になった画像は、各種合成作業用の目印として利用されたり、患者への説明用、歯科治療用に用いることができる。

本発明は、歯科診療における口腔内健全化を図るべく、患者に口腔内情報を見やすい形式で提供することで、患者の口腔内情報を新たにすることができる歯科システムを提案するものであり、歯科医療分野において有効に利用される。

１０１ 口腔内カメラ
１０２ 反射鏡
１０３ 反射鏡ユニット
１０４ 本体
１０５ 撮影ユニット
ＭＬ マーク
ＩＧ 補正用表示部
ＲＭ 輪郭

Claims (5)

1. 歯列の側面を連写撮影して画像列を形成する連写画像列形成手段、前記連写画像列形成手段で形成された画像列を部分的な歯列画像として全体合成の中心となる画像から合成して複数の部分歯列画像を形成する側面歯列画像形成手段、前記側面歯列画像形成手段で形成された複数の部分歯列画像間で全体合成の中心となる画像に基づいて連結合成して全体の歯列を形成する側面歯列画像合成手段よりなる口腔内撮影表示システム。
2. その先端に反射鏡が所定の角度で設置され、その後端に前記反射鏡の反射画像を撮影する撮像器が設置され、両端間を一部が開放された状態で接続した手持ち型の撮影手段を用いて口腔内を撮影する請求項１に記載の口腔内撮影表示システム。
3. 歯列上の所定の位置に撮影画像上認識可能なマークを設定するマーク設定手段、
   歯列の一方の側面及び他方の側面について連写画像列を形成する連写画像列形成手段、前記一方の側面の連写画像列及び前記他方の側面の連写画像列のそれぞれについて、マークが撮影画像の中央に来る画像から合成することで、一方の側面歯列画像及び他方の側面歯列画像をそれぞれ形成する側面歯列画像形成手段、
   前記一方の側面歯列画像と前記他方の側面歯列画像を、前記マークが撮影画像の中央に来る画像に基づいて連結合成する側面歯列画像合成手段を具備する請求項１に記載の口腔内撮影表示システム。
   
4. 前記側面歯列画像に対応する歯のＸ線画像を表示するＸ線画像表示手段、前記側面歯列画像に対応する歯の仮想矯正又は仮想審美着色した歯列を表示する仮想歯列表示手段を有する請求項１に記載の口腔内撮影表示システム。
5. 撮影部位を指示する照明光を前記反射鏡を介して照射する照射手段を前記撮像器の周辺に配置する請求項２に記載の口腔内撮影表示システム。

Images