JP4172689B2 - 画像認識による歯科診療支援システム - Google Patents
画像認識による歯科診療支援システム Download PDFInfo
- Publication number
- JP4172689B2 JP4172689B2 JP2002330860A JP2002330860A JP4172689B2 JP 4172689 B2 JP4172689 B2 JP 4172689B2 JP 2002330860 A JP2002330860 A JP 2002330860A JP 2002330860 A JP2002330860 A JP 2002330860A JP 4172689 B2 JP4172689 B2 JP 4172689B2
- Authority
- JP
- Japan
- Prior art keywords
- medical
- instrument
- patient
- dental care
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、歯科診療支援システムに関し、詳しくは、歯科診療エリアの診療ユニット、患者、術者の配置・位置を画像認識することにより、歯科診療ユニットの各部及び装置を最適ポジションに自動配置して診療行為を支援するシステムに関する。
【０００２】
【従来の技術】
歯科診療においては、患者の導入時や診察時には、診療ユニットのテーブルやチェアーの移動を術者がその都度行っていた。また、術者が診療位置にテーブルをセットする際に、あらかじめ診療しやすい位置を歯科診療ユニットの可動機構に記憶させておき、手動で動作方向に押すと所定位置まで移動させるユニットや、可動機構に駆動部を備え、スイッチの操作により診療位置まで移動させる自動機構付の診療ユニットがあるが、これらの自動セット機構では歯科診療ユニットの可動機構に駆動装置と共に、位置検出センサーを備えて動作を制御する必要があるため、信号機構が複雑となっていた。
【０００３】
テーブル等の歯科診療器具保持手段を治療に適した位置に自動的に移動させる従来の装置は、術者(ドクターまたは歯科衛生士)用椅子の位置に対応させて予め記憶手段に記憶させた診療位置に対応させた最適位置まで移動させる構成となっている（例えば、特許文献１参照）。
【０００４】
【特許文献１】
特開２０００−１６６９９５号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、従来の装置では、患者導入時には、診療ユニットの各部(テーブルなど)を患者が着座するための移動の際に接触しない位置まで移動させる必要があった。また、自動セット機構のスイッチで、予め記憶させた最適診療位置までテーブルを移動させる方法では、術者の診療位置にずれがあっても自動修正ができないため、手動で修正を行う必要があった。
【０００６】
また、診療時のテーブルの設定位置は、術者がドクターチェアに着座した状態で肘を軽く曲げた高さに位置し、容易に手の届く距離にセットすることが望ましいが、術者の体型(背の高さ、手の長さなどの体格)によって最適なテーブル設定位置に大きな違いが発生する。このため、術者用椅子からの距離だけでテーブルの設定位置を判断して移動させても再度手動で調整する手間がかかる問題があった。しかも、複数の術者(ドクター、歯科衛生士)が同一診療ユニットに対して交代する場合、術者の体型個人差のために必ず調整しなければならない煩雑さがあった。
【０００７】
また、これらの歯科ユニットの各部分を自動移動させる際に、移動する部分が患者や術者に接触する恐れがあるため、スイッチ操作の都度、衝突事故が起きないか確認し、監視していなければならなかった。
【０００８】
このような歯科診療ユニットの自動動作機構では、可動部分の制御のため、その制御信号伝達の配線が多くなり、可動部分の断線・誤動作、インスツルメントの誤作動などが発生しやすい。このため、可能な限り単純かつ安全な制御機構とすることが望まれていた。
【０００９】
本発明は、このような従来の問題を考慮してなされたものであり、歯科診療ユニットの各装置の位置、患者および術者の存在とその位置をリアルタイムに認識して、患者の導入、診療開始、診療終了に対応して歯科診療ユニットの所定装置をそれぞれの最適位置に移動させる画像認識による歯科診療支援システムを提供することを課題とする。
【００１０】
また、術者が選択した診療器具（インスツルメント類、その他の器具）の固体判別により、重複使用のロックや、ホースの送り出し、巻き取りを自動的に行い歯科診療行為を支援することを課題とする。
【００１１】
【課題を解決するための手段】
上記課題を達成するため、請求項１の発明の画像認識による歯科診療支援システムは、患者が着座する診療チェアを含む歯科診療ユニットならびに術者及び補助者の診察椅子近傍における診療エリアの画像情報を取得する一つまたは複数のカメラと、カメラからの画像情報に基づいて歯科診療ユニットにおける各装置の位置及び患者、術者の存在並びにその位置をリアルタイムに認識する認識手段と、認識手段が患者及び術者を認識したとき、歯科診療ユニットにおける所定の装置を診療動作の支援に最適な位置に移動させるポジション制御手段と、術者が選択したインスツルメントの固体判別を行うインスツルメント判別手段と、重複使用禁止のインスツルメントが選択されたとき、少なくとも使用禁止側のインスツルメントの作動をロックするインスツルメントロック手段とを備えていることを特徴とする。
【００１２】
この発明によれば、歯科診療ユニットの可動可能な各装置がどのような位置・状態にセットされているかをリアルタイムに把握することができる。また、診療エリアをリアルタイムに認識することにより、患者、術者及び補助者の存在と位置から診療過程(患者導入、診療開始、診療終了等)を認識することができる。さらに、リアルタイムに認識した画像情報と、一定時間前に認識した画像情報との差分から診療ユニットの各部の移動、患者、術者の移動を認識する動作認識を可能とすることができる。これらの状態認識と動作認識とにより、従来では術者または補助者が行っていた歯科診療ユニットの操作作業を自動化して支援することができる。
【００１３】
また、前記作用に加え、患者が診療チェアーに着座し、術者が診療ポジションに位置したことを認識し、テーブル、アシスタントハンガー等を診療動作に最適な位置に移動させる操作を自動的に行うことができる。このため、術者は余分な作業に煩わされることなく、患者の観察、説明、対話に専念して診療行為に入ることができる。
【００１４】
この発明では、さらにインスツルメント判別手段を備えることにより、術者が現在使用しているインスツルメント(タービン回転、注水など)のみの作動を可能状態とし、同時使用禁止の装置を動作禁止として、誤って作動させることを防止することができる。
【００１５】
請求項２の発明の画像認識による歯科診療支援システムは、患者が着座する診療チェアを含む歯科診療ユニットならびに術者及び補助者の診察椅子近傍における診療エリアの画像情報を取得する一つまたは複数のカメラと、カメラからの画像情報に基づいて歯科診療ユニットにおける各装置の位置及び患者、術者の存在並びにその位置をリアルタイムに認識する認識手段と、認識手段が患者及び術者を認識したとき、歯科診療ユニットにおける所定の装置を診療動作の支援に最適な位置に移動させるポジション制御手段と、術者が選択したインスツルメントの固体判別を行うインスツルメント判別手段と、判別されたインスツルメントに接続されているインスツルメントホースを当該インスツルメントの使用状況に応じて送り出し状態、巻き取り状態、テンションフリー状態に制御するインスツルメントホース制御手段とを備えていることを特徴とする。
【００１６】
この発明では、請求項１の発明の作用に加え、インスツルメントホース制御手段を備えることにより、インスツルメントの使用状況に応じてホースの巻き取り状態を自動制御することができる。
【００１７】
請求項３の発明は、請求項２の発明であって、前記インスツルメントホース制御手段は、前記認識手段により使用インスツルメントの位置をリアルタイムに認識し、使用インスツルメントが治療エリア内に移動されるときにインスツルメントホースを送り出し状態とし、治療エリア内ではテンションフリー状態とし、使用インスツルメントが治療エリア外に移動されたときにはインスツルメントホースを巻き取り状態とすることを特徴とする。
【００１８】
この発明では、治療エリア内でインスツルメントを把持している術者の手の動作を画像認識することにより、インスツルメントの使用状態を把握する。このため、術者はホース操作に煩わされることなく治療に専念できる。
【００１９】
請求項４の発明は、請求項１，２のいずれかに記載の発明であって、前記認識手段は歯科診療ユニットにおける各装置の移動経路及び移動先の障害物の認識が可能となっており、前記ポジション制御手段は認識手段からのデータに基づいて障害物を回避するように各装置の移動軌道の変更または／及び移動の停止または／及び警告を行うことを特徴とする。
【００２０】
この発明では、認識手段が各装置の動作を監視し、その移動経路を推測することにより、ポジション制御手段で動作している各部が障害物に接触または衝突することを防止することができる。
【００２１】
請求項５の発明は、請求項１，２のいずれかに記載の発明であって、前記カメラは、患者が着座する診療チェアを含む歯科診療ユニットならびに術者及び補助者の診察椅子近傍の診療エリアを上方から撮影する第１のカメラと、患者ならびに術者の顔画像を撮影する第２のカメラと、前記診療エリアを側面から撮影する第３のカメラとが配置されることを特徴とする。
【００２２】
この発明によれば、第１のカメラにより診療エリアの診療ユニットの状態、患者、術者の存在と位置とを平面視して配置状況を取得できると共に、第２のカメラにより患者ならびに術者の顔画像をリアルタイムで取得して個人の特定が可能となり、第３のカメラにより診療ユニットの患者用椅子の高さ、背板の傾き、テーブルなどの高さに関する画像を取得して装置の各部の移動の際の接触判定が可能となる。
【００２３】
請求項６の発明は、請求項５記載の発明であって、前記第１のカメラが歯科診療ユニットの無影灯に回動自在に取り付けられており、無影灯の回動に伴って、診療エリアを平面視する第１の撮影位置と、顔画像を撮影する第２の撮影位置及び診療エリアを側面から撮影する第３の撮影位置との間を移動可能となっていることを特徴とする。
【００２４】
この発明では、カメラを無影灯に取り付け、無影灯のアームを回動させることにより、任意の撮影位置に移動させ、診療段階(患者導入、診療開始、診療中、診療終了)に応じた画像を取得させることができる。このため、複数のカメラを必要とすることなく、一つのカメラで請求項５と同様な作用を行うことができる。
【００２５】
【発明の実施の形態】
以下、本発明を図示する実施の形態につき具体的に説明する。図１は、本発明の一実施の形態における画像認識による歯科診療支援システムの構成を示すブロック図である。
【００２６】
この実施の形態の画像認識による歯科診療支援システム１００は、カメラ１０と、診療ユニットまたはその近傍に患者から視認可能な位置に設けた表示装置１１と、画像認識・制御コンピュータ２０と、歯科診療ユニット動作制御装置３０と、院内ＬＡＮ４０を介して接続された歯科診療管理サーバ５０とから構成されている。
【００２７】
診療ユニット動作制御装置３０には、診療チェア昇降・背板傾動動作部３１、テーブル移動動作部３２、インスツルメント制御動作部３３、アシスタントハンガー移動動作部３４、無影灯移動動作部３５が接続されることにより、これらの動作部が制御される。なお、画像認識・制御コンピュータ２０及び診療ユニット動作制御装置３０は診療ユニット１台ごとに備える構成を図示したが、複数の診療ユニットと接続して制御させる構成とすることも可能である。
【００２８】
カメラ１０は、外部接続ポート２１に接続されることにより、撮影したデジタル画像を画像認識・制御コンピュータ２０がリアルタイムで取得することを可能としている。この実施の形態では、下向きに設けられることにより診療エリアを水平視する第１のカメラ１０ａと、治療エリアを正面視する向きに設けた第２のカメラ１０ｂと、診療ユニットの側面を水平に視認できる位置に設けられた第３のカメラ１０ｃとを備える。
【００２９】
画像認識・制御コンピュータ２０は、外部接続ポート２１と、認識制御プログラムがインストールされた認識制御部２２と、認識制御に必要な装置各部のポジション画像や、術者・患者の顔画像、術者ごとの最適ポジションを含む情報を記憶した記憶部２３とから構成されている。
【００３０】
前記認識制御部２２は、カメラから取得した画像情報から歯科診療ユニットの各部あるいは人物を識別する認識手段２２ａと、術者の個人識別を行う術者識別手段２２ｂと、患者の個人識別を行う患者識別手段２２ｃと、術者が使用しているインスツルメントを識別するインスツルメント判別手段２２ｄと、診療段階を判断して最適ポジションに診療ユニットの各部を移動させるポジション制御手段２２ｅと、患者個人識別に基づきその診療記録を表示装置（ディスプレイ）１１に表示させる表示手段２２ｆと、使用禁止器具の誤動作を制御するインスツルメントロック手段２２ｇと、術者が使用中のインスツルメントホースを制御するインスツルメントホース制御手段２２ｈと、記憶部２３に術者や患者の顔画像情報を予め登録しておくための術者・患者画像記録手段２２ｉと、術者個人の体格、好みに合わせた診療時の装置配置の画像、相対位置情報を記録する術者最適ポジション記録手段２２ｊとを少なくとも備える。
【００３１】
また、前記記憶部２３は、歯科診療ユニットの可動可能な各部について可動範囲画像を記録したユニット可動範囲画像情報２３ａと、術者画像情報２３ｂと、患者画像情報２３ｃと、最適ポジション情報２３ｄとを備える。
【００３２】
ユニット可動範囲画像情報２３ａは、チェアーの背板の可動範囲（傾き）、テーブルの可動範囲、アシスタントハンガーの可動範囲、チェアーの上下（昇降）、背板の傾き範囲のモデル画像情報（可動状態の位置を一定間隔ごとの画像とした位置パターン画像）を記録したもので、前記認識手段２２ａが取得した画像と、モデル画像情報とを比較（パターンマッチング）することにより各部の位置を把握するために用いる情報である。
【００３３】
術者画像情報２３ｂは、所属する術者の顔画像を記録したもので、前記術者認識手段２２ｂが診療ポジションに着座した術者（ドクターや歯科衛生士）の顔画像と、登録された顔画像情報とを比較して術者個人認識を行うために用いる情報である。なお、治療ポジションエリアＬ内の顔画像であれば、立位診療を行う術者の顔画像の個人認識も可能である。
【００３４】
患者画像情報２３ｃは、診療を受付けた患者の顔画像の記録であって、初診時にカメラで取得した患者の顔画像を歯科診療管理サーバ５０に備え、院内ＬＡＮ４０を介して術者・患者画像記録手段２２ｉにより登録しておく。また再診時には最新の顔画像に更新して記録することにより、診療ユニットに着座した患者の顔画像と、登録された患者顔画像とを比較し、患者識別手段２２ｃが患者個人を識別するためのものである。
【００３５】
最適ポジション情報２３ｄは、術者個人ごとの診療ポジションと、そのポジションに対応する歯科診療ユニットの各部の最適配置の画像または位置情報（パターン）を登録した情報である。この場合、術者の診療ポジションは、治療内容によって治療ポジションエリアＬの範囲内で複数のポジションを採る場合がある。また、チェアー背板を倒し患者を完全水平にしたときの口腔位置を中心に何時の方向に術者が向いて診療行為を行うかにより、術者個人ごとにそれぞれのパターンの最適配置を登録しておく。
【００３６】
図２は、カメラの配置を示す正面図である。図に示すように、歯科診療ユニット１は、患者を着座させ背板１７ａを倒すことにより口腔の診療を行うチェアー１７、このチェアー１７の昇降や診療器具の動作制御を行うフットペダル１８、チェアー１７と共に昇降するように支持された診療器具を載置するテーブル１３、テーブル１３の下部に取り付けられたインスツルメントハンガー１５、このハンガー１５に保持されたインスツルメント１６、インスツルメントホース１６ａ、表示装置１１、無影灯１２などから構成されている。
【００３７】
ここで、主な可動可能である部分は、無影灯１２、テーブル１３、インスツルメントハンガー１５、アシスタントハンガー１４、背板１７ａ及び、チェアー１７である。なお、この実施の形態の歯科診療ユニット１は、チェアー１７の昇降に伴って各部も昇降する構造となっている。
【００３８】
カメラ１０は、診療エリアＫの天井又は支柱に下向きに設けた第１のカメラ１０ａと、無影灯１２などの支持ポールに治療ポジションエリアＬを正面視する向きに設けた第２のカメラ１０ｂと、壁面または歯科診療ユニットの側面を水平に視認できる位置に設けられた第３のカメラ１０ｃとの３つのカメラを備えている。そして、第１のカメラ１０ａからの画像によって各部の平面での位置や人物の存在を認識可能とし、着座した患者の顔や術者の顔画像を第２のカメラ１０ｂによって認識可能とし、チェアーの昇降状態や背板の傾き、各部の垂直位置を第３のカメラ１０ｃによって認識する。
【００３９】
第３のカメラは、テーブル１３やアシスタントハンガー１４などがチェアー１７に連動して昇降しないタイプの歯科診療ユニットの場合、テーブルなどの上下方向の移動を制御するための画像認識を行う。
【００４０】
図３は、カメラの別の配置を示す側面図である。なお、図２と同じ装置については、同一の符号によって対応させてある。この実施の形態では、首振り機能（自動パン・チルト機能）付のカメラ１０を無影灯１２の先端部に配置し、無影灯１２の支持アーム１２ａ、１２ｂ、１２ｃ、１２ｄ、１２ｅをそれぞれの支持アームの駆動モータＭ３、Ｍ４、Ｍ５、Ｍ６、Ｍ７によって回動させてカメラ１０を所定の位置に移動させる。これにより、上述した第１のカメラ、第２のカメラの機能を備えたものとすることができる。
【００４１】
カメラ位置Ａは、各部の平面での位置や人物の存在を認識可能とする第１のカメラ１０ａに代わる位置であり、カメラ位置Ｂは、着座した患者の顔や術者の顔画像を認識可能とする第２のカメラ１０ｂに代わる位置であり、カメラ位置Ｃは、患者の口腔を中心とした治療エリアＮを認識する画像を取得して、術者の使用中のインスツルメントなどを識別するのに適した位置である。
【００４２】
次に、認識手段２２ａに関する技術について述べる。天井に設置された第１のカメラ１０ａからの画像の場合、カメラ設置位置と、診療ユニット設置位置は固定されており既知である。
【００４３】
カメラ１０ａから取得した画像から実際の装置等の距離や大きさを判断するために、画像中の１画素当たりの距離を求めておくことができる。カメラ１０ａが、図２のチェアー１７の座席Ｇの２メートル上方に設けられ、カメラの水平画角が３０°、水平解像度が３２０画素である場合、座席Ｇの高さの平面においてカメラで撮影できる水平範囲は、三角関数により底辺距離が１．０７メートルで、一画素当たりの距離は３．３４ｍｍに相当する。また、垂直画角３０°、垂直解像度が２４０画素である場合には、同様に垂直方向の一画素当たりの距離は４．４６ｍｍに相当する。対象物が上下してカメラ１０ａからの距離が変わる場合、テーブルなど大きさが既知な対象物を識別することにより、その高さでの一画素当たりの距離を求めることができる。このように、画素を座標マトリックスとして認識することにより、画像中の各装置の位置や移動方向を座標系として捉えることができる。
【００４４】
各装置の可動範囲の状態の認識方法を説明する。図３のチェアー１７の背板１７ａは、矢印で示すように、患者が着座する位置（起きている状態）Ｆ′と、治療のために倒した状態Ｆの範囲で可動する。この背板１７ａの状態は、取得した画像と、予めユニット可動範囲画像情報２３ａに登録してあるモデルパターンとを比較（パターンマッチング）して、最もマッチング値の高いモデルパターンとの組み合わせを選択させることにより、実際の背板位置を把握することができる。
【００４５】
図３に示すように、テーブル１３は、患者導入時はD′の位置に移動させることにより、患者の着座移動の障害とならない位置とし、診療開始に伴いDの位置に移動させることが可能な可動範囲となる。この位置認識も同様に予めユニット可動範囲画像情報２３ａに登録してあるモデルパターンとを比較（パターンマッチング）して、最もマッチング値の高いモデルパターンとの組み合わせを選択することにより、実際のテーブル位置を把握することができる。
【００４６】
図４は、図３の平面図である。図４に示すアシスタントハンガー１４は、診療中に補助者が使用する機器を保持している装置であるが、ＥからＥ′の可動範囲を移動する。この位置認識も同様に予めユニット可動範囲画像情報２３ａに登録してあるモデルパターンとを比較（パターンマッチング）して、最もマッチング値の高いモデルパターンとの組み合わせを選択させることにより実際の位置を把握することができる。
【００４７】
これらのパターンマッチングに際し、画像の色情報（ＲＧＢ）を色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）に変換したＨＳＶ表色情報を用いることによりユニット可動範囲画像情報２３ａとの比較（パターンマッチング）の精度を高めることができる。なお、背景が限定されていない場合には、まずＨＳＶ表色情報で認識対象のエリアを絞り込んでから、ユニット可動範囲画像情報２３ａとのパターンマッチングを行うことにより比較演算スピードをさらに早くすることが可能である。また、背景が限定されて認識対象との色の分離がよい診療エリアＫの状況では、色情報だけで位置を認識することが可能となる。この方法では、色相の値（０〜３５９）が人物の顔画像の場合、限定された範囲をとることを利用し、画像の中から顔画像を特定する。さらに、色情報による判別においては、カメラを赤外線カメラとすることにより、人物と背景の分離判別を確実に短時間で行うことが可能となる。
【００４８】
図４には、カメラ１０が取得する診療エリアＫ、術者Ｊが診療に際して着座するドクターチェアー１９が位置する範囲（診療ポジション）である治療ポジションエリアＬを示している。この図では、術者Ｊが患者の頭の位置（12時位置）に位置した場合を示しているが、治療ポジションエリアＬ内で、患者の頭に対し９時の位置や、3時の位置で診療を行うことがある。そのいずれの位置に術者が位置しているかについても認識手段２２ａが術者診療ポジション判定を行う。
【００４９】
図４において、符号１３ａ、１３ｂ、１３ｃはテーブル１３を回動自在に支持するアームである。テーブル１３をＤからＤ′に移動させる際は、アーム１３ｃの基部のモータＭ１とアーム１３ａとアーム１３ｂの回動部のモータＭ２を駆動することにより行う。
【００５０】
この実施の形態の歯科診療支援の主な動作について図５に示すゼネラルフローに基づいて説明する。
【００５１】
まず、認識手段２２ａにより診療ユニット１の各部の位置認識を行う（装置認識ステップＳ１）。この詳細フローは図６（ａ）に示す。
【００５２】
次に、認識手段２２ａにより人物（術者、患者）の認識を行う（人物認識ステップＳ２）。この詳細フローは図６（ｂ）に示す。
【００５３】
次に、治療ポジションエリアＬ内の診療ポジションに術者が存在するか、チェアー１７上に患者が存在するかを判定し、いずれも存在しない場合、ステップＳ２の人物認識を続ける。患者が着座し、術者が治療ポジションエリアＬの診療ポジションに着いたとき診療開始と判断し、次に進む（診療開始判定ステップＳ３）。
【００５４】
次に、歯科診療ユニットの各部を術者の診療ポジションに合わせた最適ポジションに移動させる。すなわち、ポジション制御手段２２ｅにより、最適ポジション情報２３ｄから術者個人毎に登録されている各装置の最適ポジションを検索して読み出し、その配置に移動させる（ポジション制御ステップＳ４）。
【００５５】
このとき、歯科診療ユニットの各部の制御は、外部接続ポート２１に接続された診療ユニット動作制御装置３０に対して動作指令信号を送出することによって行う。動作制御の方式については公知の技術を使用することができるが、移動対象、移動先座標、移動経路を指令する。
【００５６】
診療ユニット動作制御装置３０は図１に示すように、診療チェアー昇降・背板傾動動作部３１、テーブル移動動作部３２、インスツルメント制御動作部３３、アシスタントハンガー移動動作部３４、無影灯移動動作部３５の各駆動部（たとえばステッピングモータ）に対して動作指令信号を送る。
【００５７】
次に、ポジション制御ステップＳ４で動作を開始した歯科診療ユニットの各部の動作を認識する（動作認識ステップＳ５）。この詳細フローについては図７（ａ）に示す。
【００５８】
移動した装置各部が、ポジション制御ステップＳ４で検索した術者の診療ポジションに合わせた最適ポジションに移動したか、すなわち最適停止位置かを判断し、最適停止位置まで移動していれば、動作の終了工程（Ｓ９）に進む。最適停止位置に達していなければ次に進む（動作終了判定ステップＳ６）。
【００５９】
移動未了の場合、動作中の歯科診療ユニット各部と、他の部位または人物との接触の恐れがあるか位置関係を監視する（接触監視ステップＳ７）。この詳細フローについては図７（ｂ）に示す。
【００６０】
移動により何かと接触することが予測されると判断したときは動作の終了工程（Ｓ９）に移行する。接触の恐れがないと判断したときは、移動動作を継続させて動作認識ステップＳ５に戻る。このフローでは接触することが予測されると判断したとき動作を停止するケースを示したが、障害物を回避するように各装置の移動軌道を変更するためポジション制御ステップＳ４に戻っても良く、或いは障害となる人物に警告する警報音を鳴らすことの良く、これらを組み合わせても良い（接触判定ステップＳ８）。
【００６１】
以上により、患者の導入と、術者の診療開始に合わせて診療ユニットのセットが自動的になされて、診療行為が開始され、ステップＳ１０以下のステップに移行する。
【００６２】
診療中は、インスツルメント判別手段２２ｄにより、治療エリア内の術者の手元を認識し、使用中のインスツルメントを識別し、そのホース制御を行ったり、使用禁止器具のロック制御を行って術者の操作を支援する（インスツルメント認識ステップＳ１０）。この詳細なフローは図８（ａ）に示す。
【００６３】
続いて、認識手段２２ａにより人物（術者、患者）の認識を行う（人物認識ステップＳ１１）。この詳細フローはステップ２と同様であり、図６（ｂ）に示す。
【００６４】
診療の終了を判断するため、診療ポジション或いは治療ポジションエリアＬから術者が離れたかを判定する。術者が診療ポジションに存在する場合、診療継続中と判断しステップ１０へ戻り監視を継続する。術者が離れた場合、ステップＳ１３へ進む（診療終了判定ステップＳ１２）。
【００６５】
診療終了と判断されたとき、歯科診療ユニットの各部をリセット位置に移動させる。この動作では、チェアー１７の背板を起こしながらチェアー１７を降ろすと共に、患者が退出するときの障害とならないようにテーブルなどを前方に移動させる指令を行う。なお、リセット位置は、前記最適ポジション情報２３ｄに予め座標情報、または画像情報として登録しておき、ポジション制御手段２２ｅが参照して制御信号を診療ユニット動作制御装置３０に送出して行われる（ポジション制御ステップＳ１３）。
【００６６】
次に、ポジション制御ステップ１３で動作を開始した歯科診療ユニットの各部の動作を認識する（動作認識ステップＳ１４）。この詳細フローについてはステップ５と同様であり、図７（ａ）に示す。
【００６７】
続いて、移動した装置各部が、リセット位置に移動したかを判断し、リセット位置まで移動していれば、ステップ１８動作の終了工程に飛ぶ。リセット位置に達していなければ次に進む（動作終了判定ステップＳ１５）。
【００６８】
移動未了の場合、動作中の診療ユニット各部と、他の部位または人物との接触の恐れがあるか位置関係を監視する（接触監視ステップＳ１６）。この詳細フローについては図７（ｂ）に示す。
【００６９】
移動により何かと接触することが予測されると判断したときは、ステップＳ１８の動作の終了工程に移行する。接触の恐れがないと判断したときは移動動作を継続させステップＳ１４の動作認識ステップに戻る（接触判定ステップＳ１７）そして、診療ユニットをリセット状態として動作を終了する（ステップＳ１８）。
【００７０】
以上が主な診療支援動作のフローである。続いて説明した各ステップについての詳細な動作を図６、図７、図８に基づき説明する。
【００７１】
図６（ａ）は、画像認識による歯科診療支援動作における装置認識ステップ、（ｂ）は人物認識ステップ、（ｃ）は差分画像処理ステップのフローチャートである。
【００７２】
図６（ａ）に示す装置認識ステップは、装置各部の位置の確認を行うものであり、まずチェアー背板角度を認識する（チェアー背板角度認識Ｓ１−１）。この認識は、取得した画像からチェアー背板部を判別し、予めユニット可動範囲画像情報２３ａに登録してあるモデルパターンとを比較（パターンマッチング）し、最もマッチング値の高いモデルパターンとの組み合わせを選択する手法により傾き角度を識別する。
【００７３】
次に、取得した画像からテーブルを判別し、予めユニット可動範囲画像情報２３ａに登録してあるモデルパターンとを比較（パターンマッチング）して、最もマッチング値の高いモデルパターンとの組み合わせを選択してテーブルの位置を求める（テーブル位置認識ステップＳ１−２）。
【００７４】
続いて、取得した画像からアシスタントハンガーを判別し、同様にパターンマッチングでアシスタントハンガーの位置を求める（アシスタントハンガー位置認識ステップＳ１−３）。
【００７５】
図６（ｂ）に示す人物認識ステップでは、まず、診療エリア（歯科診療ユニット及びチェアー装置周辺）の画像を一定時間間隔で取得し、前後画像を比較してユニット周辺の背景を監視し、動的な変化を抽出する（差分画像処理ステップＳ２−１）。なお、この差分画像処理ステップの詳細は図６（ｃ）で詳しく説明する。
【００７６】
続いて、診療エリアの画像内に大きな変化があるかを判定する。大きな変化がなければ、人物認識ステップを終了する。大きな変化があれば次に進む（変化判定ステップＳ２−２）。
【００７７】
次に、診療エリアＫ（ユニット周辺）の中で差分の大きなエリアを特定する（変化エリア特定ステップＳ２−３）。
【００７８】
続いて、変化エリアが患者が着座するチェアー周辺であるか否かを判別し、チェアー周辺であればステップＳ２−５に進む（患者判断ステップＳ２−４）。
【００７９】
変化エリアが術者が着座する治療ポジションエリアＬの周辺（診療ポジション）か否かを判別し、治療ポジションエリアＬ周辺であればステップＳ２−７に進む（術者判断ステップＳ２−６）。
【００８０】
患者の存在を確認し、患者顔画像を取得して、患者画像情報２３ｃとパターンマッチングすることにより患者個人の識別を行う（患者着座判定Ｓ２−５）。表示手段２２ｆは、この患者個人識別により、患者のＩＤ番号から歯科診療サーバ５０に格納されている患者情報を検索して、表示装置１１に表示する。
【００８１】
治療ポジションエリアＬに術者の存在が認識されたとき、術者の診療ポジションの位置を判定し、また、術者の顔画像を取得して、術者画像情報２３ｂとパターンマッチングすることにより術者個人を識別する（術者診療ポジション判定ステップＳ２−７）。
【００８２】
この術者個人識別により、ポジション制御手段２２ｅは術者ごとの最適な装置各部の配置を最適ポジション情報２３ｄから検索し、術者個人の診療スタイルに合わせた装置の移動を指令することが可能となる。
【００８３】
ステップＳ２−１における差分画像処理ステップの詳細を図６（ｃ）により説明する。まず、カメラから画像Ａを取得する（ステップＳ２−１１）。続いて、所定の変化監視間隔をタイマーにセットする（ステップＳ２−１２）。
【００８４】
タイマーセット時間の経過を監視し、セット時間に達したとき次に進む（ステップＳ２−１３）。
【００８５】
次に、カメラから画像Ｂを取得し（ステップＳ２−１４）、取得した画像Ａと画像Ｂとを比較し差分画像を取得する（ステップＳ２−１５）。
【００８６】
図７（ａ）は、画像認識による歯科診療支援動作における動作認識ステップ、（ｂ）は接触監視ステップのフローチャートである。
【００８７】
図７（ａ）は、図６で説明したステップＳ５及びＳ１４の動作認識ステップの詳細を示している。まず、上述した差分画像処理ステップ（図６（ｃ））で得られた差分画像のエリアから、チェアー１７が動作中か判断する。変化がない場合には、ステップＳ５−４に移る（ステップＳ５−１）。
【００８８】
チェアー１７に変化が認められたときは、動作前画像と動作後画像とにより画像中の位置と動作方向を推定する（ステップＳ５−２）。続いて、パターンマッチングによりチェアー背板の角度を認識する（ステップＳ５−３）。
【００８９】
次に、差分画像のエリアから、テーブル１３が動作中か判断する。変化がない場合、ステップＳ５−７に移る（ステップＳ５−４）。テーブル１３に変化が認められたときは、動作前画像と動作後画像により画像中の位置と動作方向を推定する（ステップＳ５−５）。続いて、パターンマッチングによりテーブル位置を認識する（ステップＳ５−６）。
【００９０】
次に、差分画像のエリアから、アシスタントハンガー１４が動作中か判断し、変化がない場合は終了する（ステップＳ５−７）。アシスタントハンガー１４に変化が認められたとき、動作前画像と動作後画像により画像中の位置と動作方向を推定する（ステップＳ５−８）。続いて、パターンマッチングによりアシスタントハンガー１４位置を認識する（ステップＳ５−９）。
【００９１】
図７（ｂ）は、図６で説明した接触監視ステップＳ７の詳細を示すフローチャートである。まず、差分画像処理ステップ（図６（ｃ））で得られた差分画像のエリアから、チェアー１７が動作中か判断する。変化がない場合、ステップＳ７−３に移る（ステップＳ７−１）。
【００９２】
チェアー１７に変化が認められたとき、その位置と動作方向から、移動先の推定を行い、移動先に障害物に接触する恐れがあるか判定する（ステップＳ７−２）。なお、この接触判定ステップ（ステップＳ７−２）の詳細は図８（ｂ）に示し、説明を後述する。
【００９３】
続いて、テーブル１３が動作中か判断し、変化がない場合は、ステップＳ７−５に移る（ステップＳ７−３）。テーブル１３に変化が認められたとき、その位置と動作方向から、移動先の推定を行い、移動先に障害物に接触する恐れがあるか判定する（ステップＳ７−４）。
【００９４】
続いて、アシスタントハンガー１４が動作中か判断し、変化がない場合は、終了する（ステップＳ７−５）。アシスタントハンガー１４に変化が認められたときは、その位置と動作方向から、移動先の推定を行い、移動先に障害物に接触する恐れがあるか判定する（ステップＳ７−６）。
【００９５】
図８（ａ）は、画像認識による歯科診療支援動作におけるインスツルメント認識ステップ、（ｂ）は接触判定ステップのフローチャートである。
【００９６】
図８（ａ）は、図５におけるステップＳ１０の詳細を示す。まず、上述した差分画像処理ステップで得られた治療エリアＮ周辺の差分画像を監視する（ステップＳ１０−１）。このとき、治療エリアＮ周辺だけをデジタルズーム機能により取り込むか、光学ズーム機能を備えたカメラを用いてクローズアップ画像を用いることにより、認識精度を確保することができる。図３に示した無影灯１２に取り付けたカメラ１０の場合、カメラ位置をＣ位置とすれば、治療エリアＮの真上で、かつ被写体までの距離が近いため認識精度を高めることが可能となる。
【００９７】
治療エリアＮ周辺及び治療エリアＮ内の画像に大きな変化がなければ終了する。大きな変化が認められた場合には、ステップＳ１０−３に移る（ステップＳ１０−２）。
【００９８】
治療エリアＮ周辺及び治療エリアＮ内の中で差分（変化）の大きなエリアを特定すると共に、術者の手、把持している器具の動作方向を認識する（ステップＳ１０−３）。このとき、治療エリアを分割したエリアとして特定することにより、処理を効率よく行うことができる。
【００９９】
続いて、治療エリアＮ内で使用されているインスツルメントをパターンマッチング・色識別によって特定する（ステップＳ１０−４）。このインスツルメント識別によって、インスツルメントロック手段２２ｇは、重複して使用することが禁止されているインスツルメントが同時に識別された際に、インスツルメント制御動作部３３に制御信号を出してインターロックしたり、識別されたインスツルメント以外をインターロックすることができる。
【０１００】
さらに、インスツルメントホース制御手段２２ｈが、インスツルメントを把持している術者の手の位置と動きを追尾判断する。そして、使用インスツルメントが診療エリアＮ内に移動されたときにはインスツルメントホース１６ａを送り出し状態とし、治療エリアＮ内にあるときはテンションフリー状態とし、使用インスツルメントが治療エリアＮ外に移動されたときはインスツルメントホース１６ａを巻き取り状態とする。
【０１０１】
これらのインスツルメントならびに術者の手を識別する際に、インスツルメントのグリップやホースを色分けし、術者の手袋に決まった色を使用することが好ましい。このようにすることにより、インスツルメントの握り方や向きの変化があっても、さらに識別効果を高めることができる。
【０１０２】
また、歯科診療管理サーバ５０からの診療情報が取得されている場合、次の診療工程で必要となるインスツルメントの準備動作を自動的に行うことも可能である。従って、例えば、診療開始直後に使用する器具を取り出しやすい状態にしておくことができる。さらに、患者に説明のため治療説明を行うために使用する口腔内カメラを、取り出しやすいようにインスツルメントハンガーからせり出させたりすることができる。
【０１０３】
図８（ｂ）は、図７（ｂ）における接触判定ステップＳ７−２の詳細フローチャートである。まず差分画像処理で得られた情報から、目的の装置の動作方向を把握して移動先の推定を行う（ステップＳ７−２１）。次に、移動先の障害物の有無を判定する（ステップＳ７−２２）。このとき、第１のカメラ１０ａからの平面位置情報と第３のカメラ１０ｃからの水平視した位置情報の両方を用いて高さについても判断する。
【０１０７】
障害物との距離は、移動している装置の外周から１００ｍｍ〜２００ｍｍ離れた周囲、または、術者の体型の外周から１００ｍｍ〜２００ｍｍ離れた範囲を境界エリアとし、この境界エリア近傍の障害物の有無を判定することが望ましい。障害物が認識されなければ終了し、障害物があればステップＳ７−２４に進む（ステップＳ７−２３）。
【０１０８】
ステップＳ７−２４では、人物・装置各部の画像情報とパターンマッチングして障害物を識別する。そして、識別された障害物が既知の障害物（テーブル、アシスタントハンガー、規定ポジションの術者）の場合、第３のカメラ１０ｃの画像から高さ方向を考慮した接触（当たり）予測を行う（ステップＳ７−２６）。
【０１０９】
接触（当たり）予測では、チェアー背板の傾動に際してドクターチェアー１９に座っている術者の足が、背板にぶつかる危険があることを察知して警告したり、停止させたりすることが可能となる。これにより、背板によるドクターの脚挟みこみなどの事故を防止することができる。これに対し、障害物が既知のものでない場合（たとえば、患者が動き出したときなど）は、警告または動作停止させる（ステップＳ７−２７）。
【０１１０】
本発明は以上の実施の形態に限定されることなく、種々変形が可能である。本発明では、術者がテーブルなど各装置を微調整のために手動で移動させても、その位置を認識することが可能であり、さらに診療中に、術者が診療ポジションを変えた場合でもリアルタイムにその位置を把握認識することができることから、それらの動きに合わせて最適ポジションに各装置を再配置するように制御することも可能となる。また、従来の動作制御においては、位置検出用センサーや、ステッピングモータによる制御が必要であったが、本発明によれば、画像認識で位置を検出するため複雑な制御配線やプログラムを必要としないものである。
【０１１１】
【発明の効果】
本発明によれば、歯科診療ユニットの各装置の位置、患者および術者の存在とその位置をリアルタイムに認識し、患者の導入、診療開始、診療終了に対応して歯科診療ユニットの所定装置をそれぞれの最適位置に移動させることができる。このため、診療行為の流れをスムーズに効率よく行うことができる。特に、複雑な制御装置を歯科診療ユニットに設けることなく自動移動が可能となる。また、術者が選択した診療器具（インスツルメント類、その他の器具）の固体判別により、重複使用のロックや、ホースの送り出し、巻き取りを自動的に行い術者の歯科診療行為を支援することができる。
【図面の簡単な説明】
【図１】 本発明の一実施の形態における画像認識による歯科診療支援システムの構成を示すブロック図である。
【図２】 カメラの配置を示す正面図である。
【図３】 カメラの別の配置を示す側面図である
【図４】 図３の平面図である。
【図５】 画像認識による歯科診療支援動作のゼネラルフローである。
【図６】 （ａ）は画像認識による歯科診療支援動作における装置認識ステップ、（ｂ）は人物認識ステップ、（ｃ）は差分画像処理ステップのフローチャートである。
【図７】 （ａ）は画像認識による歯科診療支援動作における動作認識ステップ、（ｂ）は接触監視ステップのフローチャートである。
【図８】 （ａ）は画像認識による歯科診療支援動作におけるインスツルメント認識ステップ、（ｂ）は接触判定ステップのフローチャートである。
【符号の説明】
１ 歯科診療ユニット
１０ カメラ
１０ａ 第１のカメラ
１０ｂ 第２のカメラ
１０ｃ 第３のカメラ
１１ 表示装置
１２ 無影灯
１２ａ，１２ｂ，１２ｃ，１２ｄ，１２ｅ 支持アーム
１３ テーブル
１３ａ，１３ｂ，１３ｃ 支持アーム
１４ アシスタントハンガー
１５ インスツルメントハンガー
１６ インスツルメント
１６ａ インスツルメントホース
１７ チェアー
１８ フットペダル
２０ 画像認識・制御コンピュータ
２１ 外部接続ポート
２３ 記憶部
３０ 診療ユニット動作制御装置
３１ 診療チェア昇降・背板傾動動作部
３２ テーブル移動動作部
３３ インスツルメント制御動作部
３４ アシスタントハンガー移動動作部
３５ 無影灯移動動作部
【発明の属する技術分野】
本発明は、歯科診療支援システムに関し、詳しくは、歯科診療エリアの診療ユニット、患者、術者の配置・位置を画像認識することにより、歯科診療ユニットの各部及び装置を最適ポジションに自動配置して診療行為を支援するシステムに関する。
【０００２】
【従来の技術】
歯科診療においては、患者の導入時や診察時には、診療ユニットのテーブルやチェアーの移動を術者がその都度行っていた。また、術者が診療位置にテーブルをセットする際に、あらかじめ診療しやすい位置を歯科診療ユニットの可動機構に記憶させておき、手動で動作方向に押すと所定位置まで移動させるユニットや、可動機構に駆動部を備え、スイッチの操作により診療位置まで移動させる自動機構付の診療ユニットがあるが、これらの自動セット機構では歯科診療ユニットの可動機構に駆動装置と共に、位置検出センサーを備えて動作を制御する必要があるため、信号機構が複雑となっていた。
【０００３】
テーブル等の歯科診療器具保持手段を治療に適した位置に自動的に移動させる従来の装置は、術者(ドクターまたは歯科衛生士)用椅子の位置に対応させて予め記憶手段に記憶させた診療位置に対応させた最適位置まで移動させる構成となっている（例えば、特許文献１参照）。
【０００４】
【特許文献１】
特開２０００−１６６９９５号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、従来の装置では、患者導入時には、診療ユニットの各部(テーブルなど)を患者が着座するための移動の際に接触しない位置まで移動させる必要があった。また、自動セット機構のスイッチで、予め記憶させた最適診療位置までテーブルを移動させる方法では、術者の診療位置にずれがあっても自動修正ができないため、手動で修正を行う必要があった。
【０００６】
また、診療時のテーブルの設定位置は、術者がドクターチェアに着座した状態で肘を軽く曲げた高さに位置し、容易に手の届く距離にセットすることが望ましいが、術者の体型(背の高さ、手の長さなどの体格)によって最適なテーブル設定位置に大きな違いが発生する。このため、術者用椅子からの距離だけでテーブルの設定位置を判断して移動させても再度手動で調整する手間がかかる問題があった。しかも、複数の術者(ドクター、歯科衛生士)が同一診療ユニットに対して交代する場合、術者の体型個人差のために必ず調整しなければならない煩雑さがあった。
【０００７】
また、これらの歯科ユニットの各部分を自動移動させる際に、移動する部分が患者や術者に接触する恐れがあるため、スイッチ操作の都度、衝突事故が起きないか確認し、監視していなければならなかった。
【０００８】
このような歯科診療ユニットの自動動作機構では、可動部分の制御のため、その制御信号伝達の配線が多くなり、可動部分の断線・誤動作、インスツルメントの誤作動などが発生しやすい。このため、可能な限り単純かつ安全な制御機構とすることが望まれていた。
【０００９】
本発明は、このような従来の問題を考慮してなされたものであり、歯科診療ユニットの各装置の位置、患者および術者の存在とその位置をリアルタイムに認識して、患者の導入、診療開始、診療終了に対応して歯科診療ユニットの所定装置をそれぞれの最適位置に移動させる画像認識による歯科診療支援システムを提供することを課題とする。
【００１０】
また、術者が選択した診療器具（インスツルメント類、その他の器具）の固体判別により、重複使用のロックや、ホースの送り出し、巻き取りを自動的に行い歯科診療行為を支援することを課題とする。
【００１１】
【課題を解決するための手段】
上記課題を達成するため、請求項１の発明の画像認識による歯科診療支援システムは、患者が着座する診療チェアを含む歯科診療ユニットならびに術者及び補助者の診察椅子近傍における診療エリアの画像情報を取得する一つまたは複数のカメラと、カメラからの画像情報に基づいて歯科診療ユニットにおける各装置の位置及び患者、術者の存在並びにその位置をリアルタイムに認識する認識手段と、認識手段が患者及び術者を認識したとき、歯科診療ユニットにおける所定の装置を診療動作の支援に最適な位置に移動させるポジション制御手段と、術者が選択したインスツルメントの固体判別を行うインスツルメント判別手段と、重複使用禁止のインスツルメントが選択されたとき、少なくとも使用禁止側のインスツルメントの作動をロックするインスツルメントロック手段とを備えていることを特徴とする。
【００１２】
この発明によれば、歯科診療ユニットの可動可能な各装置がどのような位置・状態にセットされているかをリアルタイムに把握することができる。また、診療エリアをリアルタイムに認識することにより、患者、術者及び補助者の存在と位置から診療過程(患者導入、診療開始、診療終了等)を認識することができる。さらに、リアルタイムに認識した画像情報と、一定時間前に認識した画像情報との差分から診療ユニットの各部の移動、患者、術者の移動を認識する動作認識を可能とすることができる。これらの状態認識と動作認識とにより、従来では術者または補助者が行っていた歯科診療ユニットの操作作業を自動化して支援することができる。
【００１３】
また、前記作用に加え、患者が診療チェアーに着座し、術者が診療ポジションに位置したことを認識し、テーブル、アシスタントハンガー等を診療動作に最適な位置に移動させる操作を自動的に行うことができる。このため、術者は余分な作業に煩わされることなく、患者の観察、説明、対話に専念して診療行為に入ることができる。
【００１４】
この発明では、さらにインスツルメント判別手段を備えることにより、術者が現在使用しているインスツルメント(タービン回転、注水など)のみの作動を可能状態とし、同時使用禁止の装置を動作禁止として、誤って作動させることを防止することができる。
【００１５】
請求項２の発明の画像認識による歯科診療支援システムは、患者が着座する診療チェアを含む歯科診療ユニットならびに術者及び補助者の診察椅子近傍における診療エリアの画像情報を取得する一つまたは複数のカメラと、カメラからの画像情報に基づいて歯科診療ユニットにおける各装置の位置及び患者、術者の存在並びにその位置をリアルタイムに認識する認識手段と、認識手段が患者及び術者を認識したとき、歯科診療ユニットにおける所定の装置を診療動作の支援に最適な位置に移動させるポジション制御手段と、術者が選択したインスツルメントの固体判別を行うインスツルメント判別手段と、判別されたインスツルメントに接続されているインスツルメントホースを当該インスツルメントの使用状況に応じて送り出し状態、巻き取り状態、テンションフリー状態に制御するインスツルメントホース制御手段とを備えていることを特徴とする。
【００１６】
この発明では、請求項１の発明の作用に加え、インスツルメントホース制御手段を備えることにより、インスツルメントの使用状況に応じてホースの巻き取り状態を自動制御することができる。
【００１７】
請求項３の発明は、請求項２の発明であって、前記インスツルメントホース制御手段は、前記認識手段により使用インスツルメントの位置をリアルタイムに認識し、使用インスツルメントが治療エリア内に移動されるときにインスツルメントホースを送り出し状態とし、治療エリア内ではテンションフリー状態とし、使用インスツルメントが治療エリア外に移動されたときにはインスツルメントホースを巻き取り状態とすることを特徴とする。
【００１８】
この発明では、治療エリア内でインスツルメントを把持している術者の手の動作を画像認識することにより、インスツルメントの使用状態を把握する。このため、術者はホース操作に煩わされることなく治療に専念できる。
【００１９】
請求項４の発明は、請求項１，２のいずれかに記載の発明であって、前記認識手段は歯科診療ユニットにおける各装置の移動経路及び移動先の障害物の認識が可能となっており、前記ポジション制御手段は認識手段からのデータに基づいて障害物を回避するように各装置の移動軌道の変更または／及び移動の停止または／及び警告を行うことを特徴とする。
【００２０】
この発明では、認識手段が各装置の動作を監視し、その移動経路を推測することにより、ポジション制御手段で動作している各部が障害物に接触または衝突することを防止することができる。
【００２１】
請求項５の発明は、請求項１，２のいずれかに記載の発明であって、前記カメラは、患者が着座する診療チェアを含む歯科診療ユニットならびに術者及び補助者の診察椅子近傍の診療エリアを上方から撮影する第１のカメラと、患者ならびに術者の顔画像を撮影する第２のカメラと、前記診療エリアを側面から撮影する第３のカメラとが配置されることを特徴とする。
【００２２】
この発明によれば、第１のカメラにより診療エリアの診療ユニットの状態、患者、術者の存在と位置とを平面視して配置状況を取得できると共に、第２のカメラにより患者ならびに術者の顔画像をリアルタイムで取得して個人の特定が可能となり、第３のカメラにより診療ユニットの患者用椅子の高さ、背板の傾き、テーブルなどの高さに関する画像を取得して装置の各部の移動の際の接触判定が可能となる。
【００２３】
請求項６の発明は、請求項５記載の発明であって、前記第１のカメラが歯科診療ユニットの無影灯に回動自在に取り付けられており、無影灯の回動に伴って、診療エリアを平面視する第１の撮影位置と、顔画像を撮影する第２の撮影位置及び診療エリアを側面から撮影する第３の撮影位置との間を移動可能となっていることを特徴とする。
【００２４】
この発明では、カメラを無影灯に取り付け、無影灯のアームを回動させることにより、任意の撮影位置に移動させ、診療段階(患者導入、診療開始、診療中、診療終了)に応じた画像を取得させることができる。このため、複数のカメラを必要とすることなく、一つのカメラで請求項５と同様な作用を行うことができる。
【００２５】
【発明の実施の形態】
以下、本発明を図示する実施の形態につき具体的に説明する。図１は、本発明の一実施の形態における画像認識による歯科診療支援システムの構成を示すブロック図である。
【００２６】
この実施の形態の画像認識による歯科診療支援システム１００は、カメラ１０と、診療ユニットまたはその近傍に患者から視認可能な位置に設けた表示装置１１と、画像認識・制御コンピュータ２０と、歯科診療ユニット動作制御装置３０と、院内ＬＡＮ４０を介して接続された歯科診療管理サーバ５０とから構成されている。
【００２７】
診療ユニット動作制御装置３０には、診療チェア昇降・背板傾動動作部３１、テーブル移動動作部３２、インスツルメント制御動作部３３、アシスタントハンガー移動動作部３４、無影灯移動動作部３５が接続されることにより、これらの動作部が制御される。なお、画像認識・制御コンピュータ２０及び診療ユニット動作制御装置３０は診療ユニット１台ごとに備える構成を図示したが、複数の診療ユニットと接続して制御させる構成とすることも可能である。
【００２８】
カメラ１０は、外部接続ポート２１に接続されることにより、撮影したデジタル画像を画像認識・制御コンピュータ２０がリアルタイムで取得することを可能としている。この実施の形態では、下向きに設けられることにより診療エリアを水平視する第１のカメラ１０ａと、治療エリアを正面視する向きに設けた第２のカメラ１０ｂと、診療ユニットの側面を水平に視認できる位置に設けられた第３のカメラ１０ｃとを備える。
【００２９】
画像認識・制御コンピュータ２０は、外部接続ポート２１と、認識制御プログラムがインストールされた認識制御部２２と、認識制御に必要な装置各部のポジション画像や、術者・患者の顔画像、術者ごとの最適ポジションを含む情報を記憶した記憶部２３とから構成されている。
【００３０】
前記認識制御部２２は、カメラから取得した画像情報から歯科診療ユニットの各部あるいは人物を識別する認識手段２２ａと、術者の個人識別を行う術者識別手段２２ｂと、患者の個人識別を行う患者識別手段２２ｃと、術者が使用しているインスツルメントを識別するインスツルメント判別手段２２ｄと、診療段階を判断して最適ポジションに診療ユニットの各部を移動させるポジション制御手段２２ｅと、患者個人識別に基づきその診療記録を表示装置（ディスプレイ）１１に表示させる表示手段２２ｆと、使用禁止器具の誤動作を制御するインスツルメントロック手段２２ｇと、術者が使用中のインスツルメントホースを制御するインスツルメントホース制御手段２２ｈと、記憶部２３に術者や患者の顔画像情報を予め登録しておくための術者・患者画像記録手段２２ｉと、術者個人の体格、好みに合わせた診療時の装置配置の画像、相対位置情報を記録する術者最適ポジション記録手段２２ｊとを少なくとも備える。
【００３１】
また、前記記憶部２３は、歯科診療ユニットの可動可能な各部について可動範囲画像を記録したユニット可動範囲画像情報２３ａと、術者画像情報２３ｂと、患者画像情報２３ｃと、最適ポジション情報２３ｄとを備える。
【００３２】
ユニット可動範囲画像情報２３ａは、チェアーの背板の可動範囲（傾き）、テーブルの可動範囲、アシスタントハンガーの可動範囲、チェアーの上下（昇降）、背板の傾き範囲のモデル画像情報（可動状態の位置を一定間隔ごとの画像とした位置パターン画像）を記録したもので、前記認識手段２２ａが取得した画像と、モデル画像情報とを比較（パターンマッチング）することにより各部の位置を把握するために用いる情報である。
【００３３】
術者画像情報２３ｂは、所属する術者の顔画像を記録したもので、前記術者認識手段２２ｂが診療ポジションに着座した術者（ドクターや歯科衛生士）の顔画像と、登録された顔画像情報とを比較して術者個人認識を行うために用いる情報である。なお、治療ポジションエリアＬ内の顔画像であれば、立位診療を行う術者の顔画像の個人認識も可能である。
【００３４】
患者画像情報２３ｃは、診療を受付けた患者の顔画像の記録であって、初診時にカメラで取得した患者の顔画像を歯科診療管理サーバ５０に備え、院内ＬＡＮ４０を介して術者・患者画像記録手段２２ｉにより登録しておく。また再診時には最新の顔画像に更新して記録することにより、診療ユニットに着座した患者の顔画像と、登録された患者顔画像とを比較し、患者識別手段２２ｃが患者個人を識別するためのものである。
【００３５】
最適ポジション情報２３ｄは、術者個人ごとの診療ポジションと、そのポジションに対応する歯科診療ユニットの各部の最適配置の画像または位置情報（パターン）を登録した情報である。この場合、術者の診療ポジションは、治療内容によって治療ポジションエリアＬの範囲内で複数のポジションを採る場合がある。また、チェアー背板を倒し患者を完全水平にしたときの口腔位置を中心に何時の方向に術者が向いて診療行為を行うかにより、術者個人ごとにそれぞれのパターンの最適配置を登録しておく。
【００３６】
図２は、カメラの配置を示す正面図である。図に示すように、歯科診療ユニット１は、患者を着座させ背板１７ａを倒すことにより口腔の診療を行うチェアー１７、このチェアー１７の昇降や診療器具の動作制御を行うフットペダル１８、チェアー１７と共に昇降するように支持された診療器具を載置するテーブル１３、テーブル１３の下部に取り付けられたインスツルメントハンガー１５、このハンガー１５に保持されたインスツルメント１６、インスツルメントホース１６ａ、表示装置１１、無影灯１２などから構成されている。
【００３７】
ここで、主な可動可能である部分は、無影灯１２、テーブル１３、インスツルメントハンガー１５、アシスタントハンガー１４、背板１７ａ及び、チェアー１７である。なお、この実施の形態の歯科診療ユニット１は、チェアー１７の昇降に伴って各部も昇降する構造となっている。
【００３８】
カメラ１０は、診療エリアＫの天井又は支柱に下向きに設けた第１のカメラ１０ａと、無影灯１２などの支持ポールに治療ポジションエリアＬを正面視する向きに設けた第２のカメラ１０ｂと、壁面または歯科診療ユニットの側面を水平に視認できる位置に設けられた第３のカメラ１０ｃとの３つのカメラを備えている。そして、第１のカメラ１０ａからの画像によって各部の平面での位置や人物の存在を認識可能とし、着座した患者の顔や術者の顔画像を第２のカメラ１０ｂによって認識可能とし、チェアーの昇降状態や背板の傾き、各部の垂直位置を第３のカメラ１０ｃによって認識する。
【００３９】
第３のカメラは、テーブル１３やアシスタントハンガー１４などがチェアー１７に連動して昇降しないタイプの歯科診療ユニットの場合、テーブルなどの上下方向の移動を制御するための画像認識を行う。
【００４０】
図３は、カメラの別の配置を示す側面図である。なお、図２と同じ装置については、同一の符号によって対応させてある。この実施の形態では、首振り機能（自動パン・チルト機能）付のカメラ１０を無影灯１２の先端部に配置し、無影灯１２の支持アーム１２ａ、１２ｂ、１２ｃ、１２ｄ、１２ｅをそれぞれの支持アームの駆動モータＭ３、Ｍ４、Ｍ５、Ｍ６、Ｍ７によって回動させてカメラ１０を所定の位置に移動させる。これにより、上述した第１のカメラ、第２のカメラの機能を備えたものとすることができる。
【００４１】
カメラ位置Ａは、各部の平面での位置や人物の存在を認識可能とする第１のカメラ１０ａに代わる位置であり、カメラ位置Ｂは、着座した患者の顔や術者の顔画像を認識可能とする第２のカメラ１０ｂに代わる位置であり、カメラ位置Ｃは、患者の口腔を中心とした治療エリアＮを認識する画像を取得して、術者の使用中のインスツルメントなどを識別するのに適した位置である。
【００４２】
次に、認識手段２２ａに関する技術について述べる。天井に設置された第１のカメラ１０ａからの画像の場合、カメラ設置位置と、診療ユニット設置位置は固定されており既知である。
【００４３】
カメラ１０ａから取得した画像から実際の装置等の距離や大きさを判断するために、画像中の１画素当たりの距離を求めておくことができる。カメラ１０ａが、図２のチェアー１７の座席Ｇの２メートル上方に設けられ、カメラの水平画角が３０°、水平解像度が３２０画素である場合、座席Ｇの高さの平面においてカメラで撮影できる水平範囲は、三角関数により底辺距離が１．０７メートルで、一画素当たりの距離は３．３４ｍｍに相当する。また、垂直画角３０°、垂直解像度が２４０画素である場合には、同様に垂直方向の一画素当たりの距離は４．４６ｍｍに相当する。対象物が上下してカメラ１０ａからの距離が変わる場合、テーブルなど大きさが既知な対象物を識別することにより、その高さでの一画素当たりの距離を求めることができる。このように、画素を座標マトリックスとして認識することにより、画像中の各装置の位置や移動方向を座標系として捉えることができる。
【００４４】
各装置の可動範囲の状態の認識方法を説明する。図３のチェアー１７の背板１７ａは、矢印で示すように、患者が着座する位置（起きている状態）Ｆ′と、治療のために倒した状態Ｆの範囲で可動する。この背板１７ａの状態は、取得した画像と、予めユニット可動範囲画像情報２３ａに登録してあるモデルパターンとを比較（パターンマッチング）して、最もマッチング値の高いモデルパターンとの組み合わせを選択させることにより、実際の背板位置を把握することができる。
【００４５】
図３に示すように、テーブル１３は、患者導入時はD′の位置に移動させることにより、患者の着座移動の障害とならない位置とし、診療開始に伴いDの位置に移動させることが可能な可動範囲となる。この位置認識も同様に予めユニット可動範囲画像情報２３ａに登録してあるモデルパターンとを比較（パターンマッチング）して、最もマッチング値の高いモデルパターンとの組み合わせを選択することにより、実際のテーブル位置を把握することができる。
【００４６】
図４は、図３の平面図である。図４に示すアシスタントハンガー１４は、診療中に補助者が使用する機器を保持している装置であるが、ＥからＥ′の可動範囲を移動する。この位置認識も同様に予めユニット可動範囲画像情報２３ａに登録してあるモデルパターンとを比較（パターンマッチング）して、最もマッチング値の高いモデルパターンとの組み合わせを選択させることにより実際の位置を把握することができる。
【００４７】
これらのパターンマッチングに際し、画像の色情報（ＲＧＢ）を色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）に変換したＨＳＶ表色情報を用いることによりユニット可動範囲画像情報２３ａとの比較（パターンマッチング）の精度を高めることができる。なお、背景が限定されていない場合には、まずＨＳＶ表色情報で認識対象のエリアを絞り込んでから、ユニット可動範囲画像情報２３ａとのパターンマッチングを行うことにより比較演算スピードをさらに早くすることが可能である。また、背景が限定されて認識対象との色の分離がよい診療エリアＫの状況では、色情報だけで位置を認識することが可能となる。この方法では、色相の値（０〜３５９）が人物の顔画像の場合、限定された範囲をとることを利用し、画像の中から顔画像を特定する。さらに、色情報による判別においては、カメラを赤外線カメラとすることにより、人物と背景の分離判別を確実に短時間で行うことが可能となる。
【００４８】
図４には、カメラ１０が取得する診療エリアＫ、術者Ｊが診療に際して着座するドクターチェアー１９が位置する範囲（診療ポジション）である治療ポジションエリアＬを示している。この図では、術者Ｊが患者の頭の位置（12時位置）に位置した場合を示しているが、治療ポジションエリアＬ内で、患者の頭に対し９時の位置や、3時の位置で診療を行うことがある。そのいずれの位置に術者が位置しているかについても認識手段２２ａが術者診療ポジション判定を行う。
【００４９】
図４において、符号１３ａ、１３ｂ、１３ｃはテーブル１３を回動自在に支持するアームである。テーブル１３をＤからＤ′に移動させる際は、アーム１３ｃの基部のモータＭ１とアーム１３ａとアーム１３ｂの回動部のモータＭ２を駆動することにより行う。
【００５０】
この実施の形態の歯科診療支援の主な動作について図５に示すゼネラルフローに基づいて説明する。
【００５１】
まず、認識手段２２ａにより診療ユニット１の各部の位置認識を行う（装置認識ステップＳ１）。この詳細フローは図６（ａ）に示す。
【００５２】
次に、認識手段２２ａにより人物（術者、患者）の認識を行う（人物認識ステップＳ２）。この詳細フローは図６（ｂ）に示す。
【００５３】
次に、治療ポジションエリアＬ内の診療ポジションに術者が存在するか、チェアー１７上に患者が存在するかを判定し、いずれも存在しない場合、ステップＳ２の人物認識を続ける。患者が着座し、術者が治療ポジションエリアＬの診療ポジションに着いたとき診療開始と判断し、次に進む（診療開始判定ステップＳ３）。
【００５４】
次に、歯科診療ユニットの各部を術者の診療ポジションに合わせた最適ポジションに移動させる。すなわち、ポジション制御手段２２ｅにより、最適ポジション情報２３ｄから術者個人毎に登録されている各装置の最適ポジションを検索して読み出し、その配置に移動させる（ポジション制御ステップＳ４）。
【００５５】
このとき、歯科診療ユニットの各部の制御は、外部接続ポート２１に接続された診療ユニット動作制御装置３０に対して動作指令信号を送出することによって行う。動作制御の方式については公知の技術を使用することができるが、移動対象、移動先座標、移動経路を指令する。
【００５６】
診療ユニット動作制御装置３０は図１に示すように、診療チェアー昇降・背板傾動動作部３１、テーブル移動動作部３２、インスツルメント制御動作部３３、アシスタントハンガー移動動作部３４、無影灯移動動作部３５の各駆動部（たとえばステッピングモータ）に対して動作指令信号を送る。
【００５７】
次に、ポジション制御ステップＳ４で動作を開始した歯科診療ユニットの各部の動作を認識する（動作認識ステップＳ５）。この詳細フローについては図７（ａ）に示す。
【００５８】
移動した装置各部が、ポジション制御ステップＳ４で検索した術者の診療ポジションに合わせた最適ポジションに移動したか、すなわち最適停止位置かを判断し、最適停止位置まで移動していれば、動作の終了工程（Ｓ９）に進む。最適停止位置に達していなければ次に進む（動作終了判定ステップＳ６）。
【００５９】
移動未了の場合、動作中の歯科診療ユニット各部と、他の部位または人物との接触の恐れがあるか位置関係を監視する（接触監視ステップＳ７）。この詳細フローについては図７（ｂ）に示す。
【００６０】
移動により何かと接触することが予測されると判断したときは動作の終了工程（Ｓ９）に移行する。接触の恐れがないと判断したときは、移動動作を継続させて動作認識ステップＳ５に戻る。このフローでは接触することが予測されると判断したとき動作を停止するケースを示したが、障害物を回避するように各装置の移動軌道を変更するためポジション制御ステップＳ４に戻っても良く、或いは障害となる人物に警告する警報音を鳴らすことの良く、これらを組み合わせても良い（接触判定ステップＳ８）。
【００６１】
以上により、患者の導入と、術者の診療開始に合わせて診療ユニットのセットが自動的になされて、診療行為が開始され、ステップＳ１０以下のステップに移行する。
【００６２】
診療中は、インスツルメント判別手段２２ｄにより、治療エリア内の術者の手元を認識し、使用中のインスツルメントを識別し、そのホース制御を行ったり、使用禁止器具のロック制御を行って術者の操作を支援する（インスツルメント認識ステップＳ１０）。この詳細なフローは図８（ａ）に示す。
【００６３】
続いて、認識手段２２ａにより人物（術者、患者）の認識を行う（人物認識ステップＳ１１）。この詳細フローはステップ２と同様であり、図６（ｂ）に示す。
【００６４】
診療の終了を判断するため、診療ポジション或いは治療ポジションエリアＬから術者が離れたかを判定する。術者が診療ポジションに存在する場合、診療継続中と判断しステップ１０へ戻り監視を継続する。術者が離れた場合、ステップＳ１３へ進む（診療終了判定ステップＳ１２）。
【００６５】
診療終了と判断されたとき、歯科診療ユニットの各部をリセット位置に移動させる。この動作では、チェアー１７の背板を起こしながらチェアー１７を降ろすと共に、患者が退出するときの障害とならないようにテーブルなどを前方に移動させる指令を行う。なお、リセット位置は、前記最適ポジション情報２３ｄに予め座標情報、または画像情報として登録しておき、ポジション制御手段２２ｅが参照して制御信号を診療ユニット動作制御装置３０に送出して行われる（ポジション制御ステップＳ１３）。
【００６６】
次に、ポジション制御ステップ１３で動作を開始した歯科診療ユニットの各部の動作を認識する（動作認識ステップＳ１４）。この詳細フローについてはステップ５と同様であり、図７（ａ）に示す。
【００６７】
続いて、移動した装置各部が、リセット位置に移動したかを判断し、リセット位置まで移動していれば、ステップ１８動作の終了工程に飛ぶ。リセット位置に達していなければ次に進む（動作終了判定ステップＳ１５）。
【００６８】
移動未了の場合、動作中の診療ユニット各部と、他の部位または人物との接触の恐れがあるか位置関係を監視する（接触監視ステップＳ１６）。この詳細フローについては図７（ｂ）に示す。
【００６９】
移動により何かと接触することが予測されると判断したときは、ステップＳ１８の動作の終了工程に移行する。接触の恐れがないと判断したときは移動動作を継続させステップＳ１４の動作認識ステップに戻る（接触判定ステップＳ１７）そして、診療ユニットをリセット状態として動作を終了する（ステップＳ１８）。
【００７０】
以上が主な診療支援動作のフローである。続いて説明した各ステップについての詳細な動作を図６、図７、図８に基づき説明する。
【００７１】
図６（ａ）は、画像認識による歯科診療支援動作における装置認識ステップ、（ｂ）は人物認識ステップ、（ｃ）は差分画像処理ステップのフローチャートである。
【００７２】
図６（ａ）に示す装置認識ステップは、装置各部の位置の確認を行うものであり、まずチェアー背板角度を認識する（チェアー背板角度認識Ｓ１−１）。この認識は、取得した画像からチェアー背板部を判別し、予めユニット可動範囲画像情報２３ａに登録してあるモデルパターンとを比較（パターンマッチング）し、最もマッチング値の高いモデルパターンとの組み合わせを選択する手法により傾き角度を識別する。
【００７３】
次に、取得した画像からテーブルを判別し、予めユニット可動範囲画像情報２３ａに登録してあるモデルパターンとを比較（パターンマッチング）して、最もマッチング値の高いモデルパターンとの組み合わせを選択してテーブルの位置を求める（テーブル位置認識ステップＳ１−２）。
【００７４】
続いて、取得した画像からアシスタントハンガーを判別し、同様にパターンマッチングでアシスタントハンガーの位置を求める（アシスタントハンガー位置認識ステップＳ１−３）。
【００７５】
図６（ｂ）に示す人物認識ステップでは、まず、診療エリア（歯科診療ユニット及びチェアー装置周辺）の画像を一定時間間隔で取得し、前後画像を比較してユニット周辺の背景を監視し、動的な変化を抽出する（差分画像処理ステップＳ２−１）。なお、この差分画像処理ステップの詳細は図６（ｃ）で詳しく説明する。
【００７６】
続いて、診療エリアの画像内に大きな変化があるかを判定する。大きな変化がなければ、人物認識ステップを終了する。大きな変化があれば次に進む（変化判定ステップＳ２−２）。
【００７７】
次に、診療エリアＫ（ユニット周辺）の中で差分の大きなエリアを特定する（変化エリア特定ステップＳ２−３）。
【００７８】
続いて、変化エリアが患者が着座するチェアー周辺であるか否かを判別し、チェアー周辺であればステップＳ２−５に進む（患者判断ステップＳ２−４）。
【００７９】
変化エリアが術者が着座する治療ポジションエリアＬの周辺（診療ポジション）か否かを判別し、治療ポジションエリアＬ周辺であればステップＳ２−７に進む（術者判断ステップＳ２−６）。
【００８０】
患者の存在を確認し、患者顔画像を取得して、患者画像情報２３ｃとパターンマッチングすることにより患者個人の識別を行う（患者着座判定Ｓ２−５）。表示手段２２ｆは、この患者個人識別により、患者のＩＤ番号から歯科診療サーバ５０に格納されている患者情報を検索して、表示装置１１に表示する。
【００８１】
治療ポジションエリアＬに術者の存在が認識されたとき、術者の診療ポジションの位置を判定し、また、術者の顔画像を取得して、術者画像情報２３ｂとパターンマッチングすることにより術者個人を識別する（術者診療ポジション判定ステップＳ２−７）。
【００８２】
この術者個人識別により、ポジション制御手段２２ｅは術者ごとの最適な装置各部の配置を最適ポジション情報２３ｄから検索し、術者個人の診療スタイルに合わせた装置の移動を指令することが可能となる。
【００８３】
ステップＳ２−１における差分画像処理ステップの詳細を図６（ｃ）により説明する。まず、カメラから画像Ａを取得する（ステップＳ２−１１）。続いて、所定の変化監視間隔をタイマーにセットする（ステップＳ２−１２）。
【００８４】
タイマーセット時間の経過を監視し、セット時間に達したとき次に進む（ステップＳ２−１３）。
【００８５】
次に、カメラから画像Ｂを取得し（ステップＳ２−１４）、取得した画像Ａと画像Ｂとを比較し差分画像を取得する（ステップＳ２−１５）。
【００８６】
図７（ａ）は、画像認識による歯科診療支援動作における動作認識ステップ、（ｂ）は接触監視ステップのフローチャートである。
【００８７】
図７（ａ）は、図６で説明したステップＳ５及びＳ１４の動作認識ステップの詳細を示している。まず、上述した差分画像処理ステップ（図６（ｃ））で得られた差分画像のエリアから、チェアー１７が動作中か判断する。変化がない場合には、ステップＳ５−４に移る（ステップＳ５−１）。
【００８８】
チェアー１７に変化が認められたときは、動作前画像と動作後画像とにより画像中の位置と動作方向を推定する（ステップＳ５−２）。続いて、パターンマッチングによりチェアー背板の角度を認識する（ステップＳ５−３）。
【００８９】
次に、差分画像のエリアから、テーブル１３が動作中か判断する。変化がない場合、ステップＳ５−７に移る（ステップＳ５−４）。テーブル１３に変化が認められたときは、動作前画像と動作後画像により画像中の位置と動作方向を推定する（ステップＳ５−５）。続いて、パターンマッチングによりテーブル位置を認識する（ステップＳ５−６）。
【００９０】
次に、差分画像のエリアから、アシスタントハンガー１４が動作中か判断し、変化がない場合は終了する（ステップＳ５−７）。アシスタントハンガー１４に変化が認められたとき、動作前画像と動作後画像により画像中の位置と動作方向を推定する（ステップＳ５−８）。続いて、パターンマッチングによりアシスタントハンガー１４位置を認識する（ステップＳ５−９）。
【００９１】
図７（ｂ）は、図６で説明した接触監視ステップＳ７の詳細を示すフローチャートである。まず、差分画像処理ステップ（図６（ｃ））で得られた差分画像のエリアから、チェアー１７が動作中か判断する。変化がない場合、ステップＳ７−３に移る（ステップＳ７−１）。
【００９２】
チェアー１７に変化が認められたとき、その位置と動作方向から、移動先の推定を行い、移動先に障害物に接触する恐れがあるか判定する（ステップＳ７−２）。なお、この接触判定ステップ（ステップＳ７−２）の詳細は図８（ｂ）に示し、説明を後述する。
【００９３】
続いて、テーブル１３が動作中か判断し、変化がない場合は、ステップＳ７−５に移る（ステップＳ７−３）。テーブル１３に変化が認められたとき、その位置と動作方向から、移動先の推定を行い、移動先に障害物に接触する恐れがあるか判定する（ステップＳ７−４）。
【００９４】
続いて、アシスタントハンガー１４が動作中か判断し、変化がない場合は、終了する（ステップＳ７−５）。アシスタントハンガー１４に変化が認められたときは、その位置と動作方向から、移動先の推定を行い、移動先に障害物に接触する恐れがあるか判定する（ステップＳ７−６）。
【００９５】
図８（ａ）は、画像認識による歯科診療支援動作におけるインスツルメント認識ステップ、（ｂ）は接触判定ステップのフローチャートである。
【００９６】
図８（ａ）は、図５におけるステップＳ１０の詳細を示す。まず、上述した差分画像処理ステップで得られた治療エリアＮ周辺の差分画像を監視する（ステップＳ１０−１）。このとき、治療エリアＮ周辺だけをデジタルズーム機能により取り込むか、光学ズーム機能を備えたカメラを用いてクローズアップ画像を用いることにより、認識精度を確保することができる。図３に示した無影灯１２に取り付けたカメラ１０の場合、カメラ位置をＣ位置とすれば、治療エリアＮの真上で、かつ被写体までの距離が近いため認識精度を高めることが可能となる。
【００９７】
治療エリアＮ周辺及び治療エリアＮ内の画像に大きな変化がなければ終了する。大きな変化が認められた場合には、ステップＳ１０−３に移る（ステップＳ１０−２）。
【００９８】
治療エリアＮ周辺及び治療エリアＮ内の中で差分（変化）の大きなエリアを特定すると共に、術者の手、把持している器具の動作方向を認識する（ステップＳ１０−３）。このとき、治療エリアを分割したエリアとして特定することにより、処理を効率よく行うことができる。
【００９９】
続いて、治療エリアＮ内で使用されているインスツルメントをパターンマッチング・色識別によって特定する（ステップＳ１０−４）。このインスツルメント識別によって、インスツルメントロック手段２２ｇは、重複して使用することが禁止されているインスツルメントが同時に識別された際に、インスツルメント制御動作部３３に制御信号を出してインターロックしたり、識別されたインスツルメント以外をインターロックすることができる。
【０１００】
さらに、インスツルメントホース制御手段２２ｈが、インスツルメントを把持している術者の手の位置と動きを追尾判断する。そして、使用インスツルメントが診療エリアＮ内に移動されたときにはインスツルメントホース１６ａを送り出し状態とし、治療エリアＮ内にあるときはテンションフリー状態とし、使用インスツルメントが治療エリアＮ外に移動されたときはインスツルメントホース１６ａを巻き取り状態とする。
【０１０１】
これらのインスツルメントならびに術者の手を識別する際に、インスツルメントのグリップやホースを色分けし、術者の手袋に決まった色を使用することが好ましい。このようにすることにより、インスツルメントの握り方や向きの変化があっても、さらに識別効果を高めることができる。
【０１０２】
また、歯科診療管理サーバ５０からの診療情報が取得されている場合、次の診療工程で必要となるインスツルメントの準備動作を自動的に行うことも可能である。従って、例えば、診療開始直後に使用する器具を取り出しやすい状態にしておくことができる。さらに、患者に説明のため治療説明を行うために使用する口腔内カメラを、取り出しやすいようにインスツルメントハンガーからせり出させたりすることができる。
【０１０３】
図８（ｂ）は、図７（ｂ）における接触判定ステップＳ７−２の詳細フローチャートである。まず差分画像処理で得られた情報から、目的の装置の動作方向を把握して移動先の推定を行う（ステップＳ７−２１）。次に、移動先の障害物の有無を判定する（ステップＳ７−２２）。このとき、第１のカメラ１０ａからの平面位置情報と第３のカメラ１０ｃからの水平視した位置情報の両方を用いて高さについても判断する。
【０１０７】
障害物との距離は、移動している装置の外周から１００ｍｍ〜２００ｍｍ離れた周囲、または、術者の体型の外周から１００ｍｍ〜２００ｍｍ離れた範囲を境界エリアとし、この境界エリア近傍の障害物の有無を判定することが望ましい。障害物が認識されなければ終了し、障害物があればステップＳ７−２４に進む（ステップＳ７−２３）。
【０１０８】
ステップＳ７−２４では、人物・装置各部の画像情報とパターンマッチングして障害物を識別する。そして、識別された障害物が既知の障害物（テーブル、アシスタントハンガー、規定ポジションの術者）の場合、第３のカメラ１０ｃの画像から高さ方向を考慮した接触（当たり）予測を行う（ステップＳ７−２６）。
【０１０９】
接触（当たり）予測では、チェアー背板の傾動に際してドクターチェアー１９に座っている術者の足が、背板にぶつかる危険があることを察知して警告したり、停止させたりすることが可能となる。これにより、背板によるドクターの脚挟みこみなどの事故を防止することができる。これに対し、障害物が既知のものでない場合（たとえば、患者が動き出したときなど）は、警告または動作停止させる（ステップＳ７−２７）。
【０１１０】
本発明は以上の実施の形態に限定されることなく、種々変形が可能である。本発明では、術者がテーブルなど各装置を微調整のために手動で移動させても、その位置を認識することが可能であり、さらに診療中に、術者が診療ポジションを変えた場合でもリアルタイムにその位置を把握認識することができることから、それらの動きに合わせて最適ポジションに各装置を再配置するように制御することも可能となる。また、従来の動作制御においては、位置検出用センサーや、ステッピングモータによる制御が必要であったが、本発明によれば、画像認識で位置を検出するため複雑な制御配線やプログラムを必要としないものである。
【０１１１】
【発明の効果】
本発明によれば、歯科診療ユニットの各装置の位置、患者および術者の存在とその位置をリアルタイムに認識し、患者の導入、診療開始、診療終了に対応して歯科診療ユニットの所定装置をそれぞれの最適位置に移動させることができる。このため、診療行為の流れをスムーズに効率よく行うことができる。特に、複雑な制御装置を歯科診療ユニットに設けることなく自動移動が可能となる。また、術者が選択した診療器具（インスツルメント類、その他の器具）の固体判別により、重複使用のロックや、ホースの送り出し、巻き取りを自動的に行い術者の歯科診療行為を支援することができる。
【図面の簡単な説明】
【図１】 本発明の一実施の形態における画像認識による歯科診療支援システムの構成を示すブロック図である。
【図２】 カメラの配置を示す正面図である。
【図３】 カメラの別の配置を示す側面図である
【図４】 図３の平面図である。
【図５】 画像認識による歯科診療支援動作のゼネラルフローである。
【図６】 （ａ）は画像認識による歯科診療支援動作における装置認識ステップ、（ｂ）は人物認識ステップ、（ｃ）は差分画像処理ステップのフローチャートである。
【図７】 （ａ）は画像認識による歯科診療支援動作における動作認識ステップ、（ｂ）は接触監視ステップのフローチャートである。
【図８】 （ａ）は画像認識による歯科診療支援動作におけるインスツルメント認識ステップ、（ｂ）は接触判定ステップのフローチャートである。
【符号の説明】
１ 歯科診療ユニット
１０ カメラ
１０ａ 第１のカメラ
１０ｂ 第２のカメラ
１０ｃ 第３のカメラ
１１ 表示装置
１２ 無影灯
１２ａ，１２ｂ，１２ｃ，１２ｄ，１２ｅ 支持アーム
１３ テーブル
１３ａ，１３ｂ，１３ｃ 支持アーム
１４ アシスタントハンガー
１５ インスツルメントハンガー
１６ インスツルメント
１６ａ インスツルメントホース
１７ チェアー
１８ フットペダル
２０ 画像認識・制御コンピュータ
２１ 外部接続ポート
２３ 記憶部
３０ 診療ユニット動作制御装置
３１ 診療チェア昇降・背板傾動動作部
３２ テーブル移動動作部
３３ インスツルメント制御動作部
３４ アシスタントハンガー移動動作部
３５ 無影灯移動動作部
Claims (6)
- 患者が着座する診療チェアを含む歯科診療ユニットならびに術者及び補助者の診察椅子近傍における診療エリアの画像情報を取得する一つまたは複数のカメラと、
カメラからの画像情報に基づいて歯科診療ユニットにおける各装置の位置及び患者、術者の存在並びにその位置をリアルタイムに認識する認識手段と、
認識手段が患者及び術者を認識したとき、歯科診療ユニットにおける所定の装置を診療動作の支援に最適な位置に移動させるポジション制御手段と、
術者が選択したインスツルメントの固体判別を行うインスツルメント判別手段と、
重複使用禁止のインスツルメントが選択されたとき、少なくとも使用禁止側のインスツルメントの作動をロックするインスツルメントロック手段とを備えていることを特徴とする画像認識による歯科診療支援システム。 - 患者が着座する診療チェアを含む歯科診療ユニットならびに術者及び補助者の診察椅子近傍における診療エリアの画像情報を取得する一つまたは複数のカメラと、
カメラからの画像情報に基づいて歯科診療ユニットにおける各装置の位置及び患者、術者の存在並びにその位置をリアルタイムに認識する認識手段と、
認識手段が患者及び術者を認識したとき、歯科診療ユニットにおける所定の装置を診療動作の支援に最適な位置に移動させるポジション制御手段と、
術者が選択したインスツルメントの固体判別を行うインスツルメント判別手段と、
判別されたインスツルメントに接続されているインスツルメントホースを当該インスツルメントの使用状況に応じて送り出し状態、巻き取り状態、テンションフリー状態に制御するインスツルメントホース制御手段とを備えていることを特徴とする画像認識による歯科診療支援システム。 - 前記インスツルメントホース制御手段は、前記認識手段により使用インスツルメントの位置をリアルタイムに認識し、使用インスツルメントが治療エリア内に移動されるときにインスツルメントホースを送り出し状態とし、治療エリア内ではテンションフリー状態とし、使用インスツルメントが治療エリア外に移動されたときにはインスツルメントホースを巻き取り状態とすることを特徴とする請求項２記載の画像認識による歯科診療支援システム。
- 前記認識手段は、歯科診療ユニットにおける各装置の移動経路及び移動先の障害物の認識が可能となっており、前記ポジション制御手段は認識手段からのデータに基づいて障害物を回避するように各装置の移動軌道の変更または／及び移動の停止または／及び警告を行うことを特徴とする請求項１，２のいずれかに記載の画像認識による歯科診療支援システム。
- 前記カメラは、患者が着座する診療チェアを含む歯科診療ユニットならびに術者及び補助者の診察椅子近傍の診療エリアを平面から撮影する第１のカメラと、患者ならびに術者の顔画像を撮影する第２のカメラと、前記診療エリアを側面から撮影する第３のカメラとが配置されることを特徴とする請求項１，２のいずれかに記載の画像認識による歯科診療支援システム。
- 前記第１のカメラが歯科診療ユニットの無影灯に回動自在に取り付けられており、無影灯の回動に伴って、診療エリアを平面視する第１の撮影位置と、顔画像を撮影する第２の撮影位置及び診療エリアを側面から撮影する第３の撮影位置との間を移動可能となっていることを特徴とする請求項５記載の画像認識による診療支援システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002330860A JP4172689B2 (ja) | 2002-11-14 | 2002-11-14 | 画像認識による歯科診療支援システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002330860A JP4172689B2 (ja) | 2002-11-14 | 2002-11-14 | 画像認識による歯科診療支援システム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008144017A Division JP4653822B2 (ja) | 2008-06-02 | 2008-06-02 | 画像認識による歯科診療支援システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004159998A JP2004159998A (ja) | 2004-06-10 |
| JP4172689B2 true JP4172689B2 (ja) | 2008-10-29 |
Family
ID=32808431
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002330860A Expired - Fee Related JP4172689B2 (ja) | 2002-11-14 | 2002-11-14 | 画像認識による歯科診療支援システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4172689B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108289727A (zh) * | 2015-10-29 | 2018-07-17 | 李岷炡 | 牙科用自助装置 |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FI123985B (fi) * | 2007-03-19 | 2014-01-15 | Planmeca Oy | Käyttäjäystävällinen hammashoitokone |
| JP4768701B2 (ja) * | 2007-11-14 | 2011-09-07 | 株式会社吉田製作所 | Ｘ線撮影装置における患者の顔画像自動保管システム |
| JP5420316B2 (ja) * | 2009-05-29 | 2014-02-19 | 株式会社モリタ製作所 | 歯科診療装置 |
| JP5550148B2 (ja) * | 2011-01-27 | 2014-07-16 | 株式会社長田中央研究所 | 歯科治療装置 |
| JP5647045B2 (ja) * | 2011-03-18 | 2014-12-24 | 株式会社モリタ製作所 | 医療用診療装置 |
| JP2012203572A (ja) * | 2011-03-24 | 2012-10-22 | Morita Mfg Co Ltd | 医療用診療装置 |
| JP2017035279A (ja) * | 2015-08-10 | 2017-02-16 | 長田電機工業株式会社 | 歯科治療ユニット |
| KR101745434B1 (ko) | 2016-04-06 | 2017-06-09 | 이민정 | 치과용 셀프 어시스턴트 장치 |
| JP6933935B2 (ja) * | 2017-09-04 | 2021-09-08 | 大樹 梶田 | カメラシステム |
| WO2019044124A1 (ja) * | 2017-09-04 | 2019-03-07 | 大樹 梶田 | 多視点映像視聴システムおよびカメラシステム |
| JP6632652B2 (ja) * | 2018-03-29 | 2020-01-22 | 株式会社吉田製作所 | 画像処理装置および画像処理プログラム |
| JP7131808B2 (ja) * | 2018-06-14 | 2022-09-06 | 株式会社吉田製作所 | 装着型歯科診療装置および装着型歯科診療システム |
| JP7261453B2 (ja) * | 2019-02-07 | 2023-04-20 | 株式会社吉田製作所 | 移動式歯科診療装置および歯科診療システム |
| JP7117278B2 (ja) * | 2019-09-04 | 2022-08-12 | 株式会社モリタ製作所 | 医療用診療装置 |
| JP2022088930A (ja) * | 2020-12-03 | 2022-06-15 | 株式会社吉田製作所 | 歯科診療システム |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3086960B2 (ja) * | 1990-11-22 | 2000-09-11 | 株式会社モリタ東京製作所 | 歯科用ユニット |
| JPH05268599A (ja) * | 1992-03-17 | 1993-10-15 | Fujitsu Ltd | テレビ会議システムにおける人物撮像カメラの自動制御方式 |
| JPH11183145A (ja) * | 1997-10-15 | 1999-07-09 | Yuusuke Nonomura | ３次元観察装置 |
| US6513015B2 (en) * | 1998-09-25 | 2003-01-28 | Fujitsu Limited | System and method for customer recognition using wireless identification and visual data transmission |
| JP3750782B2 (ja) * | 1998-12-01 | 2006-03-01 | 株式会社モリタ製作所 | 歯科診療装置 |
| JP3897962B2 (ja) * | 2000-07-19 | 2007-03-28 | 株式会社モリタ製作所 | 識別型のインスツルメント体、識別型のアダプタ、識別型のチューブ、これらを用いた診療装置 |
-
2002
- 2002-11-14 JP JP2002330860A patent/JP4172689B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108289727A (zh) * | 2015-10-29 | 2018-07-17 | 李岷炡 | 牙科用自助装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004159998A (ja) | 2004-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4172689B2 (ja) | 画像認識による歯科診療支援システム | |
| JP4653822B2 (ja) | 画像認識による歯科診療支援システム | |
| CN106102633B (zh) | 用于远程操作医疗系统的结构调整系统和方法 | |
| JP4152402B2 (ja) | 手術支援装置 | |
| KR101716421B1 (ko) | 정보 제공 방법 및 정보 제공을 위한 의료 진단 장치 | |
| US6361323B1 (en) | Skill acquisition, transfer and verification system hardware and point tracking system applied to health care procedures | |
| CN110896611B (zh) | 一种基于摄像头的经颅磁刺激诊疗导航系统 | |
| JP2004049912A (ja) | 医療用診断または治療装置における患者の位置決め方法および装置 | |
| JP5315524B2 (ja) | 医用画像診断装置 | |
| JPH0670884A (ja) | 視線検出を用いた医療診断装置 | |
| JP5647045B2 (ja) | 医療用診療装置 | |
| JP5650568B2 (ja) | 医療用診療装置 | |
| JP2015019777A (ja) | 体位決定支援装置及び医用画像診断装置 | |
| JP2001275931A (ja) | 医療システム | |
| JP2018038908A (ja) | 医用画像診断装置 | |
| JP5647046B2 (ja) | 医療用診療装置 | |
| JP4404504B2 (ja) | 顕微鏡付診療台 | |
| JP6806364B2 (ja) | 歯科用治療ユニット | |
| JP3942965B2 (ja) | 眼科装置システム | |
| JP7437554B2 (ja) | 眼科装置及び眼科システム | |
| JP3899862B2 (ja) | 医用ｘ線撮影装置 | |
| CN110337696B (zh) | 一种基于摄像头的经颅磁刺激诊疗头模建模系统 | |
| WO2023124732A1 (zh) | 一种影像引导介入穿刺的设备控制方法和系统 | |
| JP2002165782A (ja) | 医用診断装置 | |
| KR101683176B1 (ko) | 정보 제공 방법 및 정보 제공을 위한 자기 공명 영상 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051111 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080401 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080602 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080729 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080808 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4172689 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110822 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110822 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120822 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130822 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |