JP7343470B2 - Control device, control method, and control program - Google Patents
Control device, control method, and control program Download PDFInfo
- Publication number
- JP7343470B2 JP7343470B2 JP2020215156A JP2020215156A JP7343470B2 JP 7343470 B2 JP7343470 B2 JP 7343470B2 JP 2020215156 A JP2020215156 A JP 2020215156A JP 2020215156 A JP2020215156 A JP 2020215156A JP 7343470 B2 JP7343470 B2 JP 7343470B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- control
- medical
- image
- control device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
- Accommodation For Nursing Or Treatment Tables (AREA)
Description
本発明は、患者を診療するための診療装置を制御する制御装置、制御方法、および制御プログラムに関する。 The present invention relates to a control device, a control method, and a control program for controlling a medical treatment device for treating a patient.
従来、患者を診療するための診療装置が知られている。たとえば、特許文献1には、チェア、診療器具、および照明装置など、患者を診療するための構成を備えた診療装置が開示されている。
Conventionally, medical treatment devices for treating patients are known. For example,
特許文献1に開示された診療装置によれば、術者は、診療内容に応じて診療装置の各構成を使用することで、患者を診療することができる。近年、AI(Artificial Intelligence)を用いてデータの分析・学習を行い利活用するといった技術が生み出されていることに鑑みれば、診療装置にAI技術を用いることで、術者にとって利便性の高い診療装置を提供することができる。
According to the medical treatment device disclosed in
本発明は、術者の利便性を向上させることができる制御装置、制御方法、および制御プログラムを提供することを目的とする。 An object of the present invention is to provide a control device, a control method, and a control program that can improve convenience for a surgeon.
本開示の一例に従えば、患者を診療するための診療装置を制御する制御装置が提供される。制御装置は、診療装置を含む診療空間をカメラで撮影した画像関連データが入力される入力部と、入力部から入力される画像関連データに基づき、診療空間に含まれる人物の位置を検出する検出部と、検出部によって検出される人物の位置を特定するための少なくとも1つの位置データを第1ニューラルネットワークを含む第1推定モデルに入力することで、当該第1推定モデルの出力として診療装置を制御するための制御データを生成する生成部と、生成部によって生成される制御データを制御対象に出力する出力部とを備える。 According to an example of the present disclosure, a control device that controls a medical treatment device for treating a patient is provided. The control device includes an input section into which image-related data captured by a camera of a medical treatment space including medical treatment equipment is input, and a detection device that detects the position of a person included in the medical treatment space based on the image-related data input from the input section. and at least one position data for specifying the position of the person detected by the detection unit, into a first estimation model including a first neural network, and the medical device is output as an output of the first estimation model. It includes a generation section that generates control data for controlling, and an output section that outputs the control data generated by the generation section to a controlled object.
本開示の一例に従えば、コンピュータによる患者を診療するための診療装置を制御する制御方法が提供される。制御方法は、コンピュータが実行する処理として、診療装置を含む診療空間をカメラで撮影した画像関連データが入力されるステップと、画像関連データに基づき、診療空間に含まれる人物の位置を検出するステップと、検出するステップによって検出される人物の位置を特定するための少なくとも1つの位置データを第1ニューラルネットワークに入力することで、当該第1推定モデルの出力として診療装置を制御するための制御データを生成するステップと、生成される制御データを制御対象に出力するステップとを含む。 According to an example of the present disclosure, a control method for controlling a medical treatment device for treating a patient using a computer is provided. The control method includes the steps of inputting image-related data captured by a camera of a medical treatment space including medical equipment, and detecting the position of a person included in the medical treatment space based on the image-related data, as processes executed by a computer. and, by inputting at least one position data for specifying the position of the person detected in the detecting step into the first neural network, control data for controlling the medical treatment device is generated as an output of the first estimation model. and outputting the generated control data to a controlled object.
本開示の一例に従えば、患者を診療するための診療装置を制御する制御プログラムが提供される。制御プログラムは、コンピュータに、画像関連データに基づき、診療空間に含まれる人物の位置を検出するステップと、検出するステップによって検出される人物の位置を特定するための少なくとも1つの位置データを第1ニューラルネットワークを含む第1推定モデルに入力することで、当該第1推定モデルの出力として診療装置を制御するための制御データを生成するステップと、生成される制御データを制御対象に出力するステップとを実行させる。 According to an example of the present disclosure, a control program for controlling a medical treatment device for treating a patient is provided. The control program includes a step of detecting the position of a person included in the medical treatment space based on the image-related data, and a first step of transmitting at least one position data for specifying the position of the person detected in the detecting step. a step of generating control data for controlling the medical device as an output of the first estimation model by inputting the input into a first estimation model including a neural network; and a step of outputting the generated control data to a controlled object. Execute.
本開示によれば、術者の利便性を向上させることができる。 According to the present disclosure, convenience for the operator can be improved.
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。 Embodiments of the present invention will be described in detail with reference to the drawings. Note that the same or corresponding parts in the figures are designated by the same reference numerals, and the description thereof will not be repeated.
<制御システムの全体構成>
図1は、本実施の形態に係る制御システム1000の全体構成を示す模式図である。本実施の形態に係る制御システム1000は、患者を診療するための診療装置1を制御する。
<Overall configuration of control system>
FIG. 1 is a schematic diagram showing the overall configuration of a
「診療」は、診察および治療の少なくともいずれか1つを含む。「診察」は、術者が患者の病状および病因などを探ることを含む。「治療」は、術者が患者の病気を治すこと、および術者が患者の美容や健康を保つこと(たとえば、審美治療)を含む。診療(診察、治療)の対象となる学科は、歯科および医科の少なくともいずれか1つを含む。「歯科」は、歯または歯に関連した組織(歯周組織など)に関する疾患を扱う診療科であり、たとえば、一般歯科、矯正歯科、口腔外科、歯科放射線科、および小児歯科などを含む。「医科」は、たとえば、内科、小児科、外科、眼科、耳鼻咽喉科、産婦人科、皮膚科、脳神経外科、循環器科、および整形外科などを含む。本実施の形態に係る診療装置1は、術者が患者の歯科に関する診療を行うために用いられる。「術者」は、患者を診療する医師(たとえば、歯科医師)、医師を補助する補助者(たとえば、歯科助手)、歯科または医科大学の先生、歯科または医科大学の生徒、および歯科技工士などを含む。
“Medical treatment” includes at least one of medical examination and treatment. "Examination" includes the operator's investigation of the patient's medical condition and etiology. "Treatment" includes a practitioner curing a patient's illness and a practitioner maintaining the patient's beauty and health (eg, aesthetic treatment). The subject of medical treatment (examination, treatment) includes at least one of dentistry and medicine. "Dentistry" is a medical department that deals with diseases related to teeth or tooth-related tissues (periodontal tissues, etc.), and includes, for example, general dentistry, orthodontics, oral surgery, dental radiology, pediatric dentistry, and the like. "Medical" includes, for example, internal medicine, pediatrics, surgery, ophthalmology, otorhinolaryngology, obstetrics and gynecology, dermatology, neurosurgery, cardiology, and orthopedics. The
図1に示すように、制御システム1000は、診療装置1と、診療装置1を制御する制御装置100とを備える。診療装置1は、たとえば、術者が患者に対して歯科に関する診療を行うためのチェアユニットである。診療装置1は、チェア11と、ベースンユニット12と、トレーテーブル13と、診療器具15を保持する器具ホルダー14と、フットコントローラ16と、ディスプレイ17と、操作パネル18と、照明装置19と、器具制御装置21と、表示制御装置22と、スピーカ35とを備える。
As shown in FIG. 1, the
チェア11は、診療時に患者が座る椅子であり、患者の頭を支えるヘッドレスト11aと、患者の背中を支える背もたれ11bと、患者の尾尻を支える座面シート11cと、患者の足を支える足置き台11dとを含む。
The
ベースンユニット12は、排水口が形成された鉢12aと、コップが載置されるコップ台12bと、コップに給水するための給水栓12cとを含む給水・排水装置である。
The
トレーテーブル13は、診療時の物置台として用いられる。トレーテーブル13は、チェア11またはチェア11が設置された床から延びるアーム(図示は省略する。)に接続されている。なお、トレーテーブル13は、チェア11またはチェア11が設置された床から延びるアーム(図示は省略する。)によって吊り下げられてもよい。たとえば、トレーテーブル13は、チェア11またはチェア11が設置された床から延びるポール5の上部で分岐するアーム6によって吊り下げられてもよい。術者は、トレーテーブル13をチェア11に対して手動で回動、水平移動、および垂直移動させることができる。診療中において、術者は、トレーテーブル13の上面にトレー30を置くことがある。トレー30には、患者を診療するための1または複数の診療器具が置かれる。
The tray table 13 is used as a storage stand during medical treatment. The tray table 13 is connected to an arm (not shown) extending from the
「診療器具」は、ピンセット、ミラー、エキスカベーター、深針、およびマイクロスコープなど、術者によって診療中に用いられる診療用の器具である。なお、診療装置1の器具ホルダー14によって保持される診療器具15も「診療器具」に含まれるが、トレー30には、器具ホルダー14によって保持されない診療器具が主に置かれる。
"Medical instruments" are medical instruments used by a surgeon during medical treatment, such as tweezers, mirrors, excavators, deep needles, and microscopes. Although the
診療器具15は、たとえば、エアタービンハンドピース、マイクロモータハンドピース、超音波スケーラ、およびバキュームシリンジなどの歯科診療用のインスツルメントであり、器具制御装置21の制御によって駆動する。なお、診療器具15は、これらに限らず、口腔内カメラ、光重合用照射器、根管長測定器、3次元スキャナ、および根管拡大器などであってもよいし、ミラー、注射器、および充填器具など、駆動しない器具であってもよい。
The
フットコントローラ16は、術者の足踏み操作を受け付ける複数のスイッチ(ペダル)を有する。術者は、これら複数のスイッチの各々に対して所定の機能を割り当てることができる。たとえば、術者は、チェア11の姿勢を変更する機能をフットコントローラ16のスイッチに対して割り当てることができ、フットコントローラ16が術者による当該スイッチの足踏み操作を受け付けると、当該足踏み操作に基づきヘッドレスト11aなどが駆動する。さらに、術者は、診療器具15を駆動する機能をフットコントローラ16のスイッチに対して割り当てることもでき、フットコントローラ16が術者による当該スイッチの足踏み操作を受け付けると、当該足踏み操作に基づく器具制御装置21の制御によって診療器具15が駆動する。なお、術者は、照明装置19の照明および消灯を制御する機能など、フットコントローラ16のスイッチに対してその他の機能を割り当てることもできる。
The
ディスプレイ17は、トレーテーブル13に取り付けられており、表示制御装置22の制御によって各種の画像を表示する。
The
操作パネル18は、チェア11および診療器具15などの動作、あるいは当該動作の設定を行うためのスイッチを含む。たとえば、チェア11を動作させるための入力操作を操作パネル18が受け付けると、当該入力操作に基づきチェア11が動作する。たとえば、診療器具15の回転速度などの設定を行うための入力操作を操作パネル18が受け付けると、当該入力操作に基づき診療器具15の回転速度などの設定を行うことができる。
The
照明装置19は、チェア11またはチェア11が設置された床から延びるポール5の上部で分岐するアーム6の先端に設けられている。照明装置19は、照明状態と消灯状態とに切り替えることができ、術者による診療を照明によってサポートする。なお、照明装置19に限らず、ディスプレイ17も、ポール5またはアーム6の先端に取り付けられてもよい。
The
スピーカ35は、術者および患者などに対してアラートを発する音、および診療を補助するアシスト音など、各種の音を出力する。
The
術者は、診療内容に応じて診療装置1の各構成を使用することで、患者を診療することができる。たとえば、術者は、患者をチェアに座らせる際に、フットコントローラ16を操作することで、患者が座り易い姿勢となるようにチェア11を動作させる。たとえば、術者は、患者を診療する際に、照明装置19を消灯状態から照明状態へと切り替えることで、患者の口腔内を視認し易くする。たとえば、術者は、患者を診療する際に、フットコントローラ16を操作することで、診療器具15を駆動させる。
An operator can treat a patient by using each configuration of the
このように、術者は、患者の診療中に、診療装置1が備える各構成を操作することで、患者を診療することができるが、このような診療中の術者の動作をAI技術を用いて先読みして診療装置1を制御することができれば、術者にとって利便性の高い診療装置1を提供することができる。
In this way, the surgeon can treat the patient by operating each component of the
ここで、診療中、歯科医師、歯科助手、および患者の各々は、診療内容に応じて概ね決まったルーチンで動作を行い、診療内容に応じて概ね決まった姿勢をとる。歯科医師、歯科助手、および患者の各々が行う動作の順番および姿勢は、診療の手順を表しているとも言え、その手順に対応するように診療装置1も制御される。このため、歯科医師、歯科助手、および患者の各々が行う動作の順番および姿勢に基づき、診療の手順を理解することができれば、診療装置1の制御を先読みすることが可能となる。
Here, during medical treatment, the dentist, dental assistant, and patient each perform actions according to a routine that is generally determined depending on the content of the medical treatment, and take approximately predetermined postures depending on the content of the medical treatment. The order and posture of the actions performed by the dentist, the dental assistant, and the patient can be said to represent a medical treatment procedure, and the
さらに、術者は、診療内容に応じて複数の診療器具の中から適切な診療器具を選択してトレー30から取り出し、取り出した診療器具を用いて診療を行う。選択される診療器具の種類、および診療器具が用いられる順番は、診療の手順を表しているとも言え、その手順に対応するように診療装置1も制御される。このため、術者によって選択される診療器具の種類および診療器具が用いられる順番に基づき、診療の手順を理解することができれば、診療装置1の制御を先読みすることが可能となる。
Further, the operator selects an appropriate medical instrument from among the plurality of medical instruments according to the medical treatment content, takes it out from the
そこで、本実施の形態に係る制御システム1000(制御装置100)は、歯科医師、歯科助手、および患者の行動を、AIを用いて分析・学習することで、診療装置1を制御するための制御データを推定する技術を提供する。さらに、本実施の形態に係る制御システム1000(制御装置100)は、術者によって選択される診療器具の種類および診療器具が用いられる順番を、AIを用いて分析・学習することで、診療装置1の制御データを推定する技術を提供する。以下、本実施の形態に係る制御システム1000(制御装置100)による診療装置1の制御を具体的に説明する。
Therefore, the control system 1000 (control device 100) according to the present embodiment performs control for controlling the
本実施の形態に係る診療装置1には、複数のカメラが取り付けられている。具体的には、制御システム1000は、ディスプレイ17に取り付けられたトレーカメラ51と、照明装置19に取り付けられた患者カメラ52と、ポール5の上部に取り付けられた全体カメラ53とを備える。
A plurality of cameras are attached to the
トレーカメラ51は、トレー30を少なくとも含む領域を動画または静止画で撮影するように配置されている。トレーカメラ51によって得られた撮影情報を含む画像データ(以下、「トレー画像データ」とも称する。)は、制御装置100によって取得される。トレーカメラ51におけるシャッタースピードなどの各種設定は、トレー30に置かれた診療器具の有無、形状、および種類などを制御装置100が認識できる程度に予め調整されている。なお、トレーカメラ51は、トレー30を少なくとも含む領域を撮影することができる場所であれば、いずれの場所に設置されてもよい。
The
患者カメラ52は、患者の口腔内を少なくとも含む領域を動画または静止画で撮影するように配置されている。通常、診療中においては、照明装置19によって患者の口腔内が照明されるため、照明装置19に取り付けられた患者カメラ52は、自ずと患者の口腔内を少なくとも含む領域を撮影することができる。患者カメラ52によって得られた撮影情報を含む画像データ(以下、「患者画像データ」とも称する。)は、制御装置100によって取得される。患者カメラ52におけるシャッタースピードなどの各種設定は、診療中の患者の口腔内を制御装置100が認識できる程度に予め調整されている。なお、患者カメラ52は、患者の口腔内を少なくとも含む領域を撮影することができる場所であれば、いずれの場所に設置されてもよい。患者カメラ52は、口腔周辺の部位と診療器具とにおける奥行き方向(たとえば、患者カメラ52から患者を見る方向)の位置関係を制御装置100が検出できるように、全体カメラ53と同様に三次元の位置座標を検出可能であってもよい。
The
全体カメラ53は、診療装置1を含む診療空間を少なくとも含む領域を動画または静止画で撮影するように配置されている。具体的には、全体カメラ53は、診療装置1を用いた診療中の診療空間における、少なくとも、歯科医師、歯科助手、および患者を含む広い領域を動画または静止画で撮影するように配置されている。全体カメラ53は、ポール5の上部に取り付けられているため、診療中の歯科医師、歯科助手、および患者の行動と、診療装置1の動作とを上空から俯瞰して撮影する。
The
全体カメラ53は、術者および患者の三次元の位置座標を検出できるように3Dカメラなどで構成されている。たとえば、全体カメラ53は、カメラによる撮影および光(たとえば、赤外線)の反射を用いた対象物までの距離の測定によって三次元の位置座標を検出可能なToF(Time of Flight)方式のカメラ、または、2台のカメラによる撮影によって三次元の位置座標を検出可能なステレオ方式のカメラなどで構成されている。
The
なお、全体カメラ53は、図1に示すような診療装置1のチェア11(またはチェア11に座った患者)の正面から撮影するカメラに加えて、診療装置1のチェア11(またはチェア11に座った患者)の背面から撮影するカメラを含んでいてもよい。このようにすれば、全体カメラ53は、診療装置1の正面に限らず、背面からも診療空間を撮影することができるため、死角無くより詳細に、かつ、より広範囲に、診療空間を撮影することができる。さらに、全体カメラ53は、診療空間に存在する撮影対象(たとえば、術者および患者などの人物)を追尾することができるものであってもよい。
The
「診療空間」は、診療空間に含まれるオブジェクト全体を含む空間に限らず、少なくとも診療中の歯科医師、歯科助手、患者、および診療装置1など、診療空間に含まれるオブジェクトのうちの一部のオブジェクトを含む空間であってもよい。全体カメラ53によって得られた撮影情報を含む画像データ(以下、「全体画像データ」とも称する。)は、制御装置100によって取得される。全体カメラ53におけるシャッタースピードなどの各種設定は、歯科医師の行動、歯科助手の行動、患者の行動、および診療装置1の動作などを制御装置100が認識できる程度に予め調整されている。なお、全体カメラ53は、診療装置1を含む診療空間を少なくとも撮影することができる場所であれば、いずれの場所に設置されてもよい。
The "medical treatment space" is not limited to a space that includes all of the objects included in the treatment space, but also includes at least some of the objects included in the treatment space, such as the dentist, dental assistant, patient, and
上述したトレー画像データ、患者画像データ、および全体画像データの各々は、「画像関連データ」の一実施形態であり、以下ではこれらのデータを「画像関連データ」とも称する。なお、「画像関連データ」という文言は、トレー画像データ、患者画像データ、および全体画像データの全てを意味する場合もあるが、トレー画像データ、患者画像データ、および全体画像データのうちの少なくともいずれか1つを意味する場合もある。 Each of the above-mentioned tray image data, patient image data, and whole image data is one embodiment of "image-related data," and these data will also be referred to as "image-related data" below. Note that the phrase "image-related data" may mean all of tray image data, patient image data, and overall image data; however, it may refer to at least any of tray image data, patient image data, and overall image data. It can also mean one of the following.
さらに、詳しくは後述するが、制御装置100は、トレー画像データおよび患者画像データに基づき、撮影画像に映し出された診療器具などのオブジェクトの有無やその種類を検出する。制御装置100は、全体画像データに基づき、撮影画像に映し出された歯科医師、歯科助手、および患者などの人物の位置を検出する。「画像関連データ」は、上述した制御装置100による検出結果を含んでいてもよい。つまり、「画像関連データ」は、トレー画像データ、患者画像データ、および全体画像データそのものを含んでいてもよいし、これらのデータに基づき制御装置100によって取得された検出結果を含んでいてもよい。
Further, as will be described in detail later, the
制御装置100は、取得した各種のデータに基づき、診療装置1の制御データを推定するコンピュータ(後述する演算装置102)を搭載する。具体的には、制御装置100は、診療装置1に取り付けられたトレーカメラ51、患者カメラ52、および全体カメラ53の少なくともいずれか1つから、画像データを取得する。さらに、制御装置100は、診療装置1で取得した診療に関するデータ(以下、「診療関連データ」とも称する。)を取得する。制御装置100は、取得した画像データおよび診療関連データの少なくともいずれか1つに基づき、診療装置1の制御データを推定する。
The
「診療関連データ」は、診療装置1が備えるチェア11、ベースンユニット12、照明装置19、器具制御装置21、表示制御装置22、診療器具15、フットコントローラ16、ディスプレイ17、操作パネル18の少なくともいずれか1つにおける過去および現在の少なくとも1つの制御データを含む。たとえば、「診療関連データ」は、診療装置1が備えるチェア11、ベースンユニット12、照明装置19、器具制御装置21、表示制御装置22、診療器具15、フットコントローラ16、ディスプレイ17、操作パネル18の各々における動作および制御の履歴を示すログデータを含む。なお、「診療関連データ」は、ログデータのように各種装置における動作および制御の履歴データに限らず、各種装置における動作および制御のリアルタイムのデータを含んでいてもよい。さらに、「診療関連データ」は、各種装置における現在のステータスに関するデータを含んでいてもよい。たとえば、「診療関連データ」は、チェア11の現在の状態(姿勢および位置など)を特定するためのデータを含んでいてもよい。
"Medical care related data" includes at least any of the
<診療内容>
診療のうちの治療の例としては、う蝕治療、根管治療、歯垢除去、インプラント、矯正、およびホワイトニングなどが挙げられるが、術者が患者の歯科に関する病気を治す治療の内容、および術者が患者の歯の美容や健康を保つ審美治療の内容であれば、いずれも診療内容に含まれる。
<Medical content>
Examples of treatment in medical practice include caries treatment, root canal treatment, plaque removal, implants, orthodontics, and whitening. Any cosmetic treatment that maintains the beauty and health of a patient's teeth is included in the scope of medical treatment.
術者が患者の歯科に関する病気を治すために行う行動(手当)、および術者が患者の歯の美容や健康を保つために行う行動(手当)を処置とも称し、治療は、1または複数の処置の組み合わせで構成される。処置の例としては、審査、切削、ファイリング、根管洗浄、乾燥、仮封、印象、スケーリング、補綴物の修正、歯周ポケットの測定、吸引、および抜歯などが挙げられるが、術者が患者の歯科に関する病気を治すために行う処置の内容、および術者が患者の歯の美容や健康を保つために行う処置の内容であれば、いずれも処置内容に含まれる。 Actions (treatments) that a surgeon performs to cure a patient's dental disease and actions (treatments) that a surgeon performs to maintain the beauty and health of the patient's teeth are also called treatments. Consists of a combination of treatments. Examples of procedures include examination, cutting, filing, root canal cleaning, drying, temporary sealing, impressions, scaling, prosthetic modifications, periodontal pocket measurements, suction, and tooth extraction; The content of treatment includes the content of treatment performed to cure a dental disease, and the content of treatment performed by an operator to maintain the beauty and health of the patient's teeth.
診療のうち、根管治療の場合を例に挙げる。根管治療とは、う蝕の進行によって歯の根の中の歯髄(神経や血管など)が炎症または感染を起こしたときに必要となる治療であり、痛んだ歯髄を除去するとともに根管を切削拡大してから洗浄・消毒し、再度の感染を防ぐために歯の根の中に詰め物をするといった治療である。根管治療は、処置内容として、審査、抜髄、根管長測定・拡大、洗浄・消毒、根管充填、および詰め込み・被せから構成されており、術者は患者に対してこれら各処置を順番に行うことで根管治療を施すことができる。 Let us take root canal treatment as an example of medical treatment. Root canal treatment is a treatment that is necessary when the pulp (nerves, blood vessels, etc.) in the root of the tooth becomes inflamed or infected due to the progression of caries. The treatment involves enlarging the area by cutting it, cleaning and disinfecting it, and placing a filling inside the root of the tooth to prevent reinfection. Root canal treatment consists of examination, pulp extraction, root canal length measurement/enlargement, cleaning/disinfection, root canal filling, and filling/covering, and the surgeon performs each of these procedures on the patient in order. Root canal treatment can be performed by performing this procedure.
審査は、術者が患者に対してヒアリングを行ったり、患者の口腔内を検査することで患者の歯科に関する病状および病因を特定して治療方針を立てたりすることを含む処置である。抜髄は、根管治療において、痛んだ歯髄を除去することを含む処置である。根管長測定・拡大は、歯髄を除去した後の空洞になった根尖位置を測定し、その根尖までの根管を切削拡大することを含む処置である。洗浄・消毒は、空洞になった根管の奥まで洗浄して消毒することを含む処置である。根管充填は、洗浄・消毒後の根管内に細菌が侵入することを防ぐために、根管内に専用の薬剤を埋めることを含む処置である。詰め込み・被せは、根管内にゴムのような詰め物を詰め込み、その上に金属またはファイバー製の土台を作った上で、当該土台に被せ物(クラウン)を被せることを含む処置である。なお、上述した根管治療に含まれる処置の内容および数は、一例に過ぎず、根管治療にはその他の処置が含まれてもよいし、上述した処置の一部が省かれてもよい。 The examination is a procedure that involves the surgeon interviewing the patient and inspecting the patient's oral cavity to identify the patient's dental condition and etiology and establishing a treatment plan. Pulp extraction is a procedure that involves removing the damaged pulp during root canal treatment. Root canal length measurement and enlargement is a procedure that involves measuring the position of the hollow root apex after removing the pulp, and cutting and enlarging the root canal up to the root apex. Cleaning and disinfection is a procedure that involves deep cleaning and disinfection of the hollow root canal. Root canal filling is a procedure that involves filling the root canal with a special drug to prevent bacteria from entering the root canal after cleaning and disinfection. Filling/covering is a procedure that involves filling the root canal with a rubber-like filling, creating a metal or fiber base on top of it, and then placing a crown on the base. Note that the content and number of treatments included in the root canal treatment described above are only an example, and the root canal treatment may include other treatments or some of the above-mentioned treatments may be omitted. .
<トレーカメラの撮影画像>
図2は、トレーカメラ51の撮影画像の一例を説明するための図である。図2に示すように、トレーカメラ51によって、トレー30に置かれた1または複数の診療器具が撮影される。
<Image taken by tray camera>
FIG. 2 is a diagram for explaining an example of an image taken by the
たとえば、図2に示す例では、ラバーダム防湿一式301、ラバーダムシート302、根管長測定器303、バーセット304、ファイル(リーマ)305、口角対極306、ファールクリップ307、ブローチ308、洗浄用ニードル309、洗浄用シリンジ310、仮封剤充填器311、クレンザー312、タービン313、ピンセット314、バキューム315、ミラー316、エキスカベーター317、深針318、および根管材料注入器319といったように、複数の診療器具がトレー30に置かれた様子が撮影画像に映し出されている。
For example, in the example shown in FIG. 2, a rubber dam moisture-
診療中においては、トレー30に置かれた複数の診療器具の中から術者が所望の診療器具を選択して使用することになるが、使用中の診療器具についてはトレーカメラ51の撮影画像に映し出されない。たとえば、診療中にミラー316が使用された場合は、トレー30上からミラー316が存在しないため、トレーカメラ51の撮影画像にミラー316が映し出されない。
During medical treatment, the operator selects and uses a desired medical instrument from among the plurality of medical instruments placed on the
制御装置100は、図2に示すようなトレーカメラ51によって取得された撮影画像を含むトレー画像データを画像認識などで分析することで、トレー30に置かれた診療器具の有無、形状、および種類などを検出することができる。
The
<患者カメラの撮影画像>
図3は、患者カメラ52の撮影画像の一例を説明するための図である。図3に示すように、患者カメラ52によって、患者の口腔内を少なくとも含む領域が撮影される。
<Image taken by patient camera>
FIG. 3 is a diagram for explaining an example of an image taken by the
たとえば、図3に示す撮影画像では、患者の口腔内において、右頬の下唇の付近の歯に診療器具(この例ではピンセット314およびミラー316)が位置する様子が撮影画像に映し出されている。 For example, in the photographed image shown in FIG. 3, the photographed image shows the position of medical instruments (in this example, tweezers 314 and mirror 316) on the teeth near the lower lip of the right cheek in the patient's oral cavity. .
診療中においては、患者の口腔内において診療器具を用いた歯科診療が行われることになるが、図3に示すように、患者カメラ52の撮影画像には、診療中において患者の口腔内に位置する診療器具が映し出される。 During medical treatment, dental treatment using medical instruments will be performed inside the patient's oral cavity, but as shown in FIG. The medical equipment that will be used will be displayed.
制御装置100は、図3に示すような患者カメラ52によって取得された撮影画像を含む患者画像データを画像認識などで分析することで、患者の口腔内における診療器具の位置を検出することができる。
The
<全体カメラの撮影画像>
図4は、全体カメラ53の撮影画像の一例を説明するための図である。図4に示すように、全体カメラ53によって、診療空間を少なくとも含む領域が撮影される。
<Images taken by the overall camera>
FIG. 4 is a diagram for explaining an example of an image taken by the
たとえば、図4に示す撮影画像では、診療中の術者(この例では歯科医師3および歯科助手4)および患者2の行動と、診療装置1の状態(この例ではトレーテーブル13における操作パネル18およびトレー30上の診療器具など)とが撮影画像に映し出されている。 For example, in the photographed image shown in FIG. and medical instruments on the tray 30) are shown in the photographed image.
診療中においては、術者によって診療器具を用いた歯科診療が行われることになるが、図4に示すように、全体カメラ53の撮影画像には、診療中の歯科医師や歯科助手などの術者の行動、患者の行動、および診療装置1の状態などが映し出される。
During medical treatment, the dentist performs dental treatment using medical instruments, but as shown in FIG. The patient's behavior, the patient's behavior, the state of the
制御装置100は、図4に示すような全体カメラ53によって取得された撮影画像を含む全体画像データを画像認識などで分析することで、診療中の術者および患者の位置(たとえば、X座標、Y座標)を検出することができる。さらに、後述するように、制御装置100は、全体カメラ53からの赤外線などの光の照射などによって、診療中の術者および患者の位置(たとえば、Z座標)を検出することができる。
The
<制御システムの内部構成>
図5は、本実施の形態に係る制御システム1000の内部構成を示すブロック図である。図5に示すように、制御システム1000は、複数のカメラ(トレーカメラ51、患者カメラ52、全体カメラ53)と、診療装置1とを備える。
<Internal configuration of control system>
FIG. 5 is a block diagram showing the internal configuration of
診療装置1は、チェア11と、器具制御装置21と、表示制御装置22と、音制御装置32と、ベースンユニット12と、制御装置100とを備える。
The
チェア11は、ヘッドレスト11aと、背もたれ11bと、座面シート11cと、足置き台11dとを含み、これらの各々は、チェア制御部111の制御に基づき駆動する。具体的には、チェア制御部111は、フットコントローラ16または操作パネル18によって受け付けられた術者の操作に基づく制御データ、あるいは、制御装置100からの制御データをCAN(Controller Area Network)通信を介して受信すると、当該制御データに基づき、座面シート11cを上昇または下降させたり、ヘッドレスト11a、背もたれ11b、および足置き台11dを座面シート11cに対して垂直方向または水平方向に移動させたりする。ヘッドレスト11a、背もたれ11b、および足置き台11dが座面シート11cに対して垂直方向に位置すると、チェア11に座った患者が座位姿勢になる。ヘッドレスト11a、背もたれ11b、および足置き台11dが座面シート11cに対して水平方向に位置すると、チェア11に座った患者が仰向け姿勢になる。このように、チェア制御部111は、ヘッドレスト11a、背もたれ11b、座面シート11c、および足置き台11dを駆動させてチェア11の姿勢を変更する。
The
器具制御装置21は、器具制御部211を含む。器具制御部211は、フットコントローラ16または操作パネル18によって受け付けられた術者の操作に基づく制御データ、あるいは、制御装置100からの制御データをCAN通信を介して受信すると、当該制御データに基づき、診療器具15の駆動または設定内容を制御する。たとえば、術者が、フットコントローラ16におけるエアタービンハンドピースを駆動するためのスイッチを足踏み操作すると、器具制御装置21は、エアタービンハンドピースのヘッド部に保持された切削工具を回転させる。たとえば、制御装置100が、エアハンドピースの回転方向または回転速度などを制御するための制御データを出力すると、器具制御装置21は、制御データに基づき、エアタービンハンドピースの回転方向または回転速度などを設定する。
The
表示制御装置22は、ディスプレイ制御部221と、パネル制御部222とを含む。ディスプレイ制御部221は、制御装置100からの制御データをCAN通信を介して受信すると、当該制御データに基づき、ディスプレイ17を制御する。パネル制御部222は、制御装置100の制御に基づく制御データをCAN通信を介して受信すると、当該制御データに基づき、操作パネル18を制御する。
音制御装置32は、音制御部321を含む。音制御部321は、制御装置100からの制御データをCAN通信を介して受信すると、当該制御データに基づき、スピーカ35を制御する。
The
ベースンユニット12は、ベースン制御部121と、照明制御部122とを含む。ベースン制御部121は、制御装置100からの制御データをCAN通信を介して受信すると、当該制御データに基づき、ベースンユニット12における給水および排水を制御する。照明制御部122は、制御装置100からの制御データをCAN通信を介して受信すると、当該制御データに基づき、照明装置19の照明および消灯を制御する。
上述したチェア制御部111、器具制御部211、ディスプレイ制御部221、パネル制御部222、音制御部321、ベースン制御部121、および照明制御部122の各々は、図示しない基板上に実装されたCPU(Central Processing Unit)、ROM(Read Only Memory)、およびRAM(Random access memory)などによって構成される。なお、チェア制御部111、器具制御部211、ディスプレイ制御部221、パネル制御部222、音制御部321、ベースン制御部121、および照明制御部122の各々は、予め診療装置1に備え付けられていてもよいし、モジュール化されることでオプションとして任意に診療装置1に取り付け可能であってもよい。
Each of the
制御装置100、チェア制御部111、器具制御部211、ディスプレイ制御部221、パネル制御部222、音制御部321、ベースン制御部121、および照明制御部122の各々は、CAN通信によって相互に通信する。CAN通信では、各制御部におけるログデータを含む診療関連データを通信パケットにして、制御部間で互いに通信が行われる。なお、制御部間の通信では、診療関連データが送受信されさえすれば当該診療関連データを必ずしも通信パケットにする必要はない。
Each of the
さらに、ベースンユニット12は、診療装置1内のログデータを含む診療関連データを蓄積する蓄積部123を含む。
Furthermore, the
蓄積部123は、チェア制御部111、器具制御部211、ディスプレイ制御部221、パネル制御部222、音制御部321、ベースン制御部121、および照明制御部122の各々との間でCAN通信によって通信することで、各制御部から診療関連データを収集して蓄積する。蓄積部123は、図示しない基板上に実装されたROMやRAMなどのメモリによって構成されてもよいし、メモリカードなどの不揮発の記録媒体で構成されてもよい。
The
制御装置100は、通信装置101と、演算装置102と、記録装置103とを備える。
The
通信装置101は、トレーカメラ51、患者カメラ52、および全体カメラ53の各々との間で通信することで、データの送受信を行う。通信装置101は、有線または無線のLAN(Local Area Network)通信によって各カメラとの間で通信することで、各カメラから画像関連データを取得する。なお、通信装置101は、その他の形式で各カメラから画像関連データを取得してもよい。たとえば、通信装置101は、各カメラから取り出されたメモリカードなどの不揮発の記録媒体に一時的に記録される画像関連データを取得してもよい。通信装置101は、有線または無線のLAN通信によってベースンユニット12との間で通信することで、ベースンユニット12の蓄積部123に蓄積された診療関連データを取得する。なお、ベースンユニット12が診療関連データを収集して蓄積するものに限らず、チェア11、器具制御装置21、表示制御装置22、および音制御装置32など、その他の構成が診療関連データを蓄積してもよく、制御装置100は、これらその他の構成から診療関連データを取得してもよい。
The
演算装置102は、各種のプログラム(たとえば、後述する制御プログラム141)を実行することで、診療装置1を制御するための制御データ生成処理、および制御データを推定するための学習処理などの各種の処理を実行する演算主体である。演算装置102は、「コンピュータ」の一実施形態である。演算装置102は、たとえば、CPU、FPGA(Field-Programmable Gate Array)、およびGPU(Graphics Processing Unit)などで構成される。
The
なお、演算装置102は、CPU、FPGA、およびGPUのうちの少なくともいずれか1つで構成されてもよいし、CPUとFPGA、FPGAとGPU、CPUとGPU、あるいはCPU、FPGA、およびGPUから構成されてもよい。また、演算装置102は、演算回路(processing circuitry)で構成されてもよい。
Note that the
記録装置103は、「記録部」の一実施形態である。記録装置103は、演算装置102が任意のプログラムを実行するにあたって、プログラムコードやワークメモリなどを一時的に格納する記録領域を提供する。記録装置103は、たとえば、DRAM(Dynamic Random Access Memory)またはSRAM(Static Random Access Memory)などの揮発性メモリデバイスで構成されたり、ハードディスクまたはSSD(Solid State Drive)などの不揮発性メモリデバイスで構成されたりする。記録装置103は、データベースエンジンで構成されてもよい。
The
記録装置103は、制御装置100が備えるものに限らない。たとえば、診療装置1に通信可能に接続された院内サーバが記録装置103を備えていてもよいし、診療装置1が設置された診療空間外に設置された院外サーバが記録装置103を備えていてもよい。さらに、記録装置103は、複数の診療装置1の各々が備える複数の制御装置100の各々が通信可能なクラウドコンピューティングの態様で存在してもよい。このようにすれば、複数の診療装置1から取得した画像関連データおよび診療関連データを記録装置103によって一律に蓄積しかつ管理することができる。
The
記録装置103は、推定モデル161と、制御プログラム141と、OS(Operating System)142とを格納する。
The
推定モデル161は、画像関連データおよび診療装置1から取得した診療関連データの少なくともいずれか1つに基づき、診療装置1の制御データを推定するために用いられる。推定モデル161は、画像関連データおよび診療関連データの少なくともいずれか1つに基づき機械学習を行うことで最適化(調整)され、診療装置1の制御データの推定精度を向上させることができる。
The
なお、制御装置100の演算装置102によって診療装置1の制御データを生成する処理を「制御データ生成処理」とも称し、制御装置100の演算装置102によって推定モデル161を学習する処理を「学習処理」とも称する。さらに、学習処理によって最適化された推定モデル161を、特に「学習済モデル」とも称する。つまり、本実施の形態においては、学習前の推定モデル161および学習済みの推定モデル161をまとめて「推定モデル」と総称する一方で、特に、学習済みの推定モデル161を「学習済モデル」とも称する。
Note that the process of generating control data for the
制御プログラム141は、演算装置102が制御データ生成処理および学習処理を実行するためのプログラムと、生成した制御データを各制御対象に出力するためのプログラムとを含む。
The
<位置データ>
図6~図8を参照しながら、全体カメラ53によって得られた撮影情報に基づき制御装置100が取得する術者および患者の位置データについて説明する。図6は、本実施の形態に係る制御装置100が取得する位置データの一例を説明するための図である。図7は、位置データの検出ポイントの一例を説明するための図である。図8は、位置データに対応する位置座標の一例を説明するための図である。
<Position data>
With reference to FIGS. 6 to 8, position data of the operator and the patient acquired by the
制御装置100において、演算装置102は、全体カメラ53によって取得された撮影情報に基づき、診療中の術者および患者など撮影画像に含まれる人物の位置を特定するための位置データを生成し、生成した位置データを記録装置103に記録させる。
In the
具体的には、図6に示すように、記録装置103は、人物A、人物B、および人物Cといったように、人物ごとに位置データをまとめて記録する。たとえば、人物Aは歯科医師に対応し、人物Bは歯科助手に対応し、人物Cは患者に対応する。記録装置103は、演算装置102によって生成された位置データを時間情報(タイムスタンプ)に関連付けて記録する。記録装置103は、演算装置102によって新たに生成された位置データが、記録済みの位置データと異なる場合に、演算装置102によって新たに生成された位置データを記録する。すなわち、本実施の形態において、記録装置103は、人物の位置が変化しない限り新たな位置データを記録せず、人物の位置が変化したことを条件に新たな位置データを記録する。なお、記録装置103は、位置データが変化するか否かに関わらず、所定時間(たとえば、1秒間)ごとに、演算装置102によって生成された位置データをタイムスタンプに関連付けて記録してもよい。
Specifically, as shown in FIG. 6, the
位置データは、検出対象の人物に対して定められた検出ポイントごとに三次元(X、Y、Z)の位置座標を含む。図6および図7に示すように、たとえば、検出ポイントは、人物(この例では歯科医師3)の右手首、右肘、右肩、頭、左肩、左肘、左手首、右耳、左耳、右眼、左眼、鼻、口、股関節、右膝、左膝、右足首、および左足首を含む。なお、制御装置100は、図6に示される検出ポイント以外のポイントについて位置データを取得してもよいし、図6に示される検出ポイントの一部のポイントについてのみ位置データを取得してもよい。
The position data includes three-dimensional (X, Y, Z) position coordinates for each detection point determined for the person to be detected. As shown in FIGS. 6 and 7, for example, the detection points include the right wrist, right elbow, right shoulder, head, left shoulder, left elbow, left wrist, right ear, and left ear of the person (
なお、制御装置100は、予め定められた検出ポイントの一部を特定できない場合、前回特定した検出ポイントに対応する位置データを、今回の位置データとして記録装置103に記録させてもよい。たとえば、撮影対象となる人物が全体カメラ53の死角に入った場合、制御装置100が一部の検出ポイントを特定することができないおそれがあるが、この場合、制御装置100は、人物が全体カメラ53の死角に入る前に特定した検出ポイントに対応する位置データを用いて、今回欠落した一部の検出ポイントに対応する位置データを補完してもよい。
Note that when the
全体カメラ53がToF方式のカメラで構成される場合における位置データを説明する。たとえば、位置データに対応する位置座標は、図7に示すような全体カメラ53によって得られた撮影画像の左上の端をX座標およびY座標の原点とする。さらに、図8に示すように、位置データに対応する位置座標は、全体カメラ53が配置された位置をZ座標の原点とする。
Position data in the case where the
演算装置102は、全体カメラ53から図7に示すような撮影画像を取得した場合、画像認識によって、人物A、人物B、および人物Cの3人の人物を特定する。演算装置102は、各人物について、右手首および右肘といった検出ポイントを画像認識によって特定し、特定した各検出ポイントの位置座標を特定する。診療空間に存在する歯科医師、歯科助手、および患者などの各人物は、概ね位置する場所(ホームポジション)が決まっている。このため、演算装置102は、全体カメラ53の撮影画像に映し出された複数の人物の各々の位置データに基づき、各人物が歯科医師、歯科助手、および患者のいずれであるかを特定してもよい。さらに、診療空間に存在する歯科医師、歯科助手、および患者などの各人物は、概ね服装の色または形が決まっている。たとえば、歯科医師であれば、通常、白衣を着ている。このため、演算装置102は、全体カメラ53の撮影画像に映し出された複数の人物の各々の服装に基づき、各人物が歯科医師、歯科助手、および患者のいずれであるかを特定してもよい。
When the
たとえば、人物A(歯科医師3)に着目すると、演算装置102は、P1(右手首)、P2(右肘)、P3(右肩)、P4(頭)、P5(左肩)、P6(左肘)、およびP7(左手首)の検出ポイントを特定し、P1~P7の各検出ポイントの位置情報を特定する。たとえば、図8に示すように、演算装置102は、P1の位置座標について、撮影画像に基づき、X座標としてX1を特定し、Y座標としてY1を特定する。さらに、演算装置102は、全体カメラ53によってZ座標の原点からP1に向けて照射された光の反射光に基づき、Z座標としてZ1を特定する。具体的には、演算装置102は、全体カメラ53によって光が照射されてからその光の反射光が戻ってくるまでの時間に基づき、Z座標の原点とP1との間の距離Lを算出する。そして、演算装置102は、P1からZ軸に対して垂線を下ろし、垂線の長さと距離Lとに基づき三角関数を用いて、Z座標としてZ1を特定する。
For example, focusing on person A (dentist 3), the
演算装置102は、上述するようにして特定したP1の位置座標を、P1の位置データとして記録装置103に記録させる。このとき、演算装置102は、新たに取得したP1の位置データが記録装置103に記録済みのP1の位置データと異なる場合、新たに取得したP1の位置データをタイムスタンプとともに記録装置103に記録させる。一方、演算装置102は、新たに取得したP1の位置データが記録装置103に記録済みのP1の位置データと同じである場合、新たに取得したP1の位置データを記録装置103に記録させない。
The
このように、演算装置102は、人物の位置を検出するたびに、新たな位置データを記録装置103に毎回記録させるのではなく、人物の位置データが変化した場合に限り、新たな位置データを記録装置103に記録させるため、記録装置103が記録するデータ量が増大することを極力抑えることができる。なお、上述したように、演算装置102は、位置データが変化するか否かに関わらず、所定時間(たとえば、1秒間)ごとに位置データを記録装置103に記録させてもよい。このようにすれば、位置データを記録する時間がランダムにならないため、位置データを記録する度に、タイムスタンプを取得する必要がない。
In this way, the
さらに、演算装置102は、位置データをタイムスタンプとともに記録装置103に記録させることで、新規で機械学習を行う際に用いた位置データを、再学習する際にも再び用いることができる。さらに、複数の制御装置100において記録装置103に記録された位置データを共有する際にも、位置データにタイムスタンプが関連付けられていることで、複数の制御装置100が同じような機械学習を行うことができる。
Furthermore, by having the
このようにして、制御装置100は、全体カメラ53から取得した撮影情報に基づき、診療中の術者および患者の位置を特定するための各検出ポイントの位置データを取得する。制御装置100は、取得した位置データをタイムスタンプに関連付けて、全体画像データとして記録装置103に蓄積して記録させる。さらに、制御装置100は、各検出ポイントを直線などによって仮想的に繋げることによって、人物の手、腕、頭、腰、および足などの動作を特定することができる。
In this way, the
なお、上述した検出ポイントの位置座標の特定方法は、一例であり、制御装置100は、その他の手法で検出ポイントの位置座標を特定してもよい。さらに、制御装置100は、一連の診療に関わる人物に限らず、一連の診療に関わるキーアイテムの位置座標を特定してもよい。このようにすれば、制御装置100は、特定したキーアイテムの位置座標を用いて推定モデル161を機械学習させることもできる。
Note that the method for specifying the position coordinates of the detection point described above is an example, and the
本実施の形態においては、演算装置102は、全体カメラ53から取得した撮影情報に基づきZ座標を算出した上で、X座標およびY座標とともにZ座標を記録装置103または記録装置203に記録させるものであった。しかしながら、演算装置102は、Z座標の代わりに、撮影画像に映し出された全てのオブジェクトまでの距離をフレーム化した深度フレームを画像フレームとともに記録装置103または記録装置203に記録させてもよい。このようにすれば、一連の診療が終了した後であっても、記録装置103または記録装置203に記録された深度フレームおよび画像フレームを解析することで、Z座標を算出することができる。
In the present embodiment, the
<制御装置の機能構成>
[制御装置の学習段階における機能構成]
図9は、本実施の形態に係る制御装置100の学習段階における機能構成を示すブロック図である。図9に示すように、制御装置100は、主な機能部として、入力部150と、位置検出部157と、物体検出部152と、変換部154と、同期部155と、セグメント化部156と、生成部160と、出力部180とを有する。なお、入力部150および出力部180は、通信装置101の機能部であり、位置検出部157、物体検出部152、変換部154、同期部155、セグメント化部156、および生成部160は、各々、演算装置102の機能部である。
<Functional configuration of control device>
[Functional configuration of control device at learning stage]
FIG. 9 is a block diagram showing the functional configuration of
入力部150には、トレーカメラ51、患者カメラ52、および全体カメラ53の各々で撮影した画像関連データ(トレー画像データ,患者画像データ,全体画像データ)と、診療装置1で取得した診療関連データとが時系列で入力される。なお、入力部150には、撮影画像に映し出されたオブジェクトまでの距離をフレーム化した深度フレームが時系列で入力されてもよい。
The
位置検出部157は、XY検出部151とZ検出部153とを含む。XY検出部151は、入力部150から入力された全体カメラ53の全体画像データに基づき画像認識を行うことで、術者および患者などの人物の位置データ(X座標、Y座標)を検出する。Z検出部153は、図8で説明したように、XY検出部151によって特定された人物のX座標およびY座標と、赤外線などによる反射光から算出される人物までの距離Lとに基づき、人物の位置データ(Z座標)を検出する。たとえば、位置検出部157は、全体カメラ53の全体画像データに基づき、後述する図14に示すように、所定のタイミング(後述する図14に示すtC1、tC2、tC3、…)ごとに、人物の位置データ(X座標、Y座標、Z座標)を検出する。
The
ここで、XY検出部151の構成についてさらに詳細に説明する。図中の破線部Cに示すように、XY検出部151は、推定モデル1511を有する。さらに、推定モデル1511は、ニューラルネットワーク1512と、当該ニューラルネットワーク1512によって用いられるパラメータ1513とを含む。パラメータ1513は、ニューラルネットワーク1512による計算に用いられる重み付け係数と、推定の判定に用いられる判定値とを含む。なお、推定モデル1511は、「第2推定モデル」の一実施形態に対応し、ニューラルネットワーク1512は、「第2ニューラルネットワーク」の一実施形態に対応する。
Here, the configuration of the
ニューラルネットワーク1512は、畳み込みニューラルネットワーク(CNN:Convolution Neural Network)、リカレントニューラルネットワーク(再帰型ニューラルネットワーク)(RNN:Recurrent Neural Network)、あるいはLSTMネットワーク(Long Short Term Memory Network)など、ディープラーニングによる画像認識処理で用いられる公知のニューラルネットワークが適用される。
The
XY検出部151は、全体カメラ53から入力部150に入力された全体画像データと、ニューラルネットワーク1512を含む推定モデル1511とに基づき、術者および患者などの人物の位置データ(各検出ポイントのX座標、Y座標)を推定する。
The
学習段階において、推定モデル1511は、全体画像データに関連付けられた人物の位置データ(各検出ポイントのX座標、Y座標)と、当該全体画像データを用いた人物の位置データ(各検出ポイントのX座標、Y座標)の推定結果とに基づき学習されることで最適化(調整)される。
In the learning stage, the
具体的には、推定モデル1511は、教師データとして全体画像データが入力されると、当該全体画像データに基づきニューラルネットワーク1512によって撮影画像に映し出された人物の検出ポイントを推定する。なお、推定モデル1511が推定する検出ポイントは、図6で示したように予め決められている。推定モデル1511は、各人物において検出ポイントを推定すると、推定した検出ポイントごとに位置データ(X座標、Y座標)を推定する。なお、位置データの原点は、図7および図8で示したように予め決められている。
Specifically, when the
推定モデル1511は、自身の推定結果と、入力された全体画像データに関連付けられた正解データである人物の位置データとが一致するか否かを判定し、両者が一致すればパラメータ1513を更新しない一方で、両者が一致しなければ両者が一致するようにパラメータ1513を更新することで、パラメータ1513を最適化する。なお、上述したような推定モデル1511の学習は、学習段階に限らず、運用段階においても行われてもよい。
The
なお、XY検出部151は、ニューラルネットワークを用いたAIの画像認識によって人物の位置データを検出するものに限らない。たとえば、XY検出部151は、公知のパターンマッチングのように、撮影画像と予め用意されたテンプレートとを比較することで、人物の位置データを検出してもよい。また、XY検出部151の機能は、制御装置100が有するものではなく、全体カメラ53が有するものであってもよいし、全体カメラ53の近くに配置されたエッジコンピュータが有するものであってもよい。この場合、エッジコンピュータなどによる検出結果が、画像関連データとして入力部150に入力される。
Note that the
物体検出部152は、入力部150から入力されたトレーカメラ51のトレー画像データに基づき画像認識を行うことで、トレー30に置かれた診療器具の有無、形状、および種類などを検出することができる。たとえば、物体検出部152は、後述する図11に示すようなトレーカメラ51による複数枚の撮影画像のデータに基づき、後述する図12に示すように、所定のタイミング(後述する図12に示すtA1、tA2、tA3、…)ごとに、トレー30に置かれた診療器具の有無、形状、および種類などを推定する。たとえば、図12に示すトレー画像データにおいては、トレー30上に存在する診療器具に対応する記録領域に「0」のデータが格納され、トレー30上に存在しない診療器具に対応する記録領域に「1」のデータが格納される。
The
さらに、物体検出部152は、入力部150から入力された患者カメラ52の患者画像データに基づき画像認識を行うことで、患者の口腔内における診療器具の位置を検出することができる。たとえば、物体検出部152は、患者カメラ52による複数枚の撮影画像のデータに基づき、後述する図13に示すように、所定のタイミング(後述する図13に示すtB1、tB2、tB3、…)ごとに、患者の口腔内における診療器具の位置などを推定する。たとえば、図13に示す患者画像データにおいては、診療器具と患者との位置関係において、両者が所定範囲内に位置しない場合に記録領域に「0」のデータが格納され、両者が所定範囲内に位置する場合に記録領域に「1」のデータが格納される。
Further, the
図示は省略するが、物体検出部152は、XY検出部151と同様に、ニューラルネットワークおよびパラメータを含む推定モデルを有する。そして、物体検出部152は、ニューラルネットワークを用いたAIの画像認識によって、診療器具の有無、形状、および種類などを推定したり、患者の口腔内における診療器具の位置を推定したりする。
Although not shown, the
たとえば、物体検出部152は、CNN、RNN、およびLSTMネットワークといった、ディープラーニングによる画像認識処理で用いられる公知のニューラルネットワークを含む推定モデルを有する。学習段階において、推定モデルは、トレー画像データに関連付けられた診療器具の有無、形状、および種類などと、当該トレー画像データを用いた診療器具の有無、形状、および種類などの推定結果とに基づき学習されることで最適化(調整)される。さらに、学習段階において、推定モデルは、患者画像データに関連付けられた患者の口腔内における診療器具の位置などと、当該患者画像データを用いた患者の口腔内における診療器具の位置などの推定結果とに基づき学習されることで最適化(調整)される。なお、上述したような推定モデルの学習は、学習段階に限らず、運用段階においても行われてもよい。
For example, the
なお、物体検出部152は、ニューラルネットワークを用いたAIの画像認識によって診療器具の有無、形状、および種類などを検出したり、患者の口腔内における診療器具の位置を検出したりするものに限らない。たとえば、物体検出部152は、公知のパターンマッチングのように、撮影画像と予め用意されたテンプレートとを比較することで、診療器具の有無、形状、および種類などを検出したり、患者の口腔内における診療器具の位置を検出したりしてもよい。また、物体検出部152の機能は、制御装置100が有するものではなく、患者カメラ52またはトレーカメラ51が有するものであってもよいし、患者カメラ52またはトレーカメラ51の近くに配置されたエッジコンピュータが有するものであってもよい。この場合、エッジコンピュータなどによる検出結果が、画像関連データとして入力部150に入力される。
Note that the
変換部154は、ベースンユニット12から入力部150に入力された診療関連データを、所定の形式に変換する。具体的には、変換部154は、入力部150に入力された診療関連データを、同じく入力部150に入力された画像関連データと同期させるために適した形式に変換する。たとえば、変換部154は、診療関連データの時間軸を、画像関連データの時間軸に合わせるように、診療関連データの形式を変換する。あるいは、変換部154は、診療関連データの時間軸を、画像関連データの時間軸と合わせるための共通の時間軸に合わせるように、診療関連データの形式を変換する。
The
同期部155は、位置検出部157および物体検出部152による検出結果を含む画像関連データと、変換部154によって変換された診療関連データとを時系列に同期させる。たとえば、同期部155は、後述する図16および図17に示すように、画像関連データ(トレー画像データ、患者画像データ、全体画像データ)と診療関連データとを、同期時間の時間軸に合わせて所定のタイミング(後述する図16および図17に示すT1、T2、T3、…)ごとに同期させる。画像関連データと診療関連データとが同期することで得られるデータを「同期データ」とも称する。なお、同期データの生成時に用いる同期時間としては、診療開始時からの経過時間またはタイムスタンプから特定可能な絶対時間(たとえば、リアルタイムの時刻)が用いられ得る。
The
セグメント化部156は、入力部150から入力された画像関連データと診療関連データとを所定のタイミングで区切ることで、同期データをセグメント化する。具体的には、セグメント化部156は、同期部155によって同期された画像関連データおよび診療関連データ(すなわち、同期データ)に対して、所定のタイミングで所定のイベントが発生したことが記録されるように、当該同期データをセグメント化する。「所定のイベントが発生したこと」は、たとえば、ハンドピースなどの診療器具15の駆動開始や駆動停止、照明装置19の点灯開始や点灯終了、ベースンユニット12における給水・排水の開始や終了、トレー30上の診療器具が取り出されたことやトレー30上に診療器具が置かれたことなど、診療に関するイベントを含む。
The
また、セグメント化部156は、同期部155によって同期された画像関連データおよび診療関連データ(同期データ)に対して、所定のタイミングで所定のイベントが継続していることが記録されるように、当該同期データをセグメント化する。「所定のイベントが継続していること」は、たとえば、ハンドピースなどの診療器具15の駆動状態の継続、照明装置19の点灯状態の継続、ベースンユニット12における給水・排水の継続、トレー30上の診療器具が存在する状態の継続や存在しない状態の継続など、診療に関するイベントの継続を含む。
Furthermore, the
たとえば、セグメント化部156は、画像関連データおよび診療関連データに対して所定のタイミングごとに区切りを付けることで、同期データを期間ごとにセグメント化する。セグメント化の方法は、所定のタイミングごとにフラグデータをセットしてもよいし、セグメント化した期間ごとに同期データを所定の記録領域に移動させたりコピーしたりしてもよい。
For example, the
セグメント化部156によって同期データが区切られる「所定のタイミング」は、所定時間(たとえば、5秒)ごとに定期的に訪れるタイミングであってもよい。
The "predetermined timing" at which the synchronized data is segmented by the
なお、セグメント化部156によって同期データが区切られる「所定のタイミング」は、画像関連データ(トレー画像データ、患者画像データ)において格納された「0」または「1」のデータと、診療関連データにおいて格納された「0」または「1」のデータとに基づき、決められてもよい。
Note that the "predetermined timing" at which the synchronous data is divided by the
たとえば、セグメント化部156によって同期データが区切られる「所定のタイミング」は、診療関連データに含まれる、診療装置1が備えるチェア11を駆動するデータ、診療装置1が備える診療器具15を駆動するデータ、診療装置1が備える照明装置19を駆動するデータ、および診療装置1が備えるベースンユニット12を駆動するデータの少なくともいずれか1つに基づき、これら診療に関する装置の駆動の発生または継続が判定されるタイミングであってもよい。たとえば、図17に示すように、診療器具15のピックアップが「0」から「1」に切り替わったタイミングT3、診療器具のピックアップが「1」から「0」に切り替わったタイミングT6などで、同期データが区切られてもよい。
For example, the "predetermined timing" at which the synchronous data is divided by the
なお、セグメント化部156は、診療関連データに基づき同期データを区切ることができない場合でも、トレー画像データなどの画像関連データに基づき同期データを区切ることもできる。たとえば、図16に示すように、洗浄用ニードル309および洗浄用シリンジ310の有無判定が「0」から「1」に切り替わったタイミングT8、洗浄用ニードル309および洗浄用シリンジ310の有無判定が「1」から「0」に切り替わったタイミングT10などで、同期データが区切られてもよい。すなわち、セグメント化部156は、画像関連データおよび診療関連データの少なくともいずれか1つに含まれる患者の診療に関するイベントの発生を示すデータに基づき、当該画像関連データと当該診療関連データとを所定のタイミングでセグメント化してもよい。
Note that even if the
このように、セグメント化部156は、同期データのセグメント化にあたって、画像関連データおよび診療関連データの各々単体ではデータが不足している場合であっても、両者のデータを組み合わせることで、制御データの推定に適切なタイミングで同期データを区切ってもよい。
In this way, when segmenting the synchronous data, the
なお、入力部150から入力された画像関連データにおける画像の撮影タイミングと、診療関連データにおけるログデータの取得タイミングとが予め同期している場合、変換部154および同期部155を用いなくてもよい。この場合、セグメント化部156は、同期データではなく、入力部150から入力された画像関連データおよび診療関連データを直接的に用いて、当該画像関連データと当該診療関連データとを所定のタイミングで区切ることでセグメント化してもよい。
Note that if the image capturing timing in the image-related data input from the
生成部160は、セグメント化部156によってセグメント化された画像関連データおよび診療関連データに基づき、診療装置1の制御データを推定し、推定した制御データを生成する。
The
生成部160は、推定モデル161を有する。さらに、推定モデル161は、ニューラルネットワーク162と、当該ニューラルネットワーク162によって用いられるパラメータ163とを含む。パラメータ163は、ニューラルネットワーク162による計算に用いられる重み付け係数と、推定の判定に用いられる判定値とを含む。なお、推定モデル161は、「第1推定モデル」の一実施形態に対応し、ニューラルネットワーク162は、「第1ニューラルネットワーク」の一実施形態に対応する。
The
学習段階において、推定モデル161は、セグメント化部156によってセグメント化された画像関連データおよび診療関連データと、当該画像関連データおよび当該診療関連データを用いた制御データの推定結果とに基づき学習されることで最適化(調整)される。
In the learning stage, the
たとえば、推定モデル161は、教師データとして全体画像データ(人物の位置データ)が入力されると、当該全体画像データに基づきニューラルネットワーク162によって人物が行う動作の順番および姿勢を把握することで診療装置1の制御内容を先読みし、診療装置1の制御データを推定する。
For example, when whole image data (position data of a person) is input as training data, the
推定モデル161は、自身の推定結果と、入力された全体画像データに関連付けられた正解データである診療装置1の制御データとが一致するか否かを判定し、両者が一致すればパラメータ163を更新しない一方で、両者が一致しなければ両者が一致するようにパラメータ163を更新することで、パラメータ163を最適化する。
The
このように、学習段階において、制御装置100は、トレー画像データ、患者画像データ、および全体画像データといった各画像関連データと、ログデータのような診療装置1で取得した診療関連データとのうち、少なくともいずれか1つのデータに基づいて、制御データを推定できるように、ニューラルネットワーク162を含む推定モデル161を機械学習させる。
In this way, in the learning stage, the
なお、制御装置100は、学習段階に限らず、運用段階においても、ニューラルネットワーク162を含む推定モデル161を機械学習させてもよい。たとえば、運用段階において、生成部160が生成した制御データに基づいて診療装置1が動作したことに対して、術者などのユーザが異なる動作を診療装置1にさせるために正解データを入力した場合、推定モデル161は、推定結果と正解データとに基づき学習されることで最適化(再調整)されてもよい。このようにすれば、制御装置100は、運用段階においても機械学習を行うため、術者などのユーザが使用すればするほど制御データの推定精度が向上する。
Note that the
なお、生成部160の推定モデル161は、教師あり学習のアルゴリズムに限らず、教師なし学習のアルゴリズム、または強化学習のアルゴリズムなど、公知のアルゴリズムを用いて機械学習を行うものであってもよい。たとえば、教師なし学習のアルゴリズムを用いる場合、推定モデル161は、画像関連データに基づき、診療中に使用される診療器具の種類やその使用タイミング、診療器具と患者の口腔との位置関係、診療中の術者と患者の行動、および診療装置1における各部のログデータを分類(クラスタリング)し、その分類結果に基づき診療の手順(たとえば、診療中に行われる次の処置の内容)を推定してもよい。
Note that the
出力部180は、生成部160によって生成された制御データを、診療装置1における制御対象190に出力する。制御対象190は、チェア11、診療器具15、照明装置19、ベースンユニット12、フットコントローラ16、ディスプレイ17、操作パネル18、およびスピーカ35の少なくともいずれか1つを含む。
The
[制御装置の運用段階における機能構成]
図10は、本実施の形態に係る制御装置100の運用段階における機能構成を示すブロック図である。図10に示すように、運用段階における制御装置100は、XY検出部151、物体検出部152、および生成部160の各々が学習済みとなっている。
[Functional configuration of control device during operation stage]
FIG. 10 is a block diagram showing the functional configuration of
運用段階においては、術者が患者を診療中にリアルタイムで、各カメラから画像関連データが入力部150に入力され、さらに、ベースンユニット12から診療関連データが入力部150に入力される。
In the operation stage, image-related data is input from each camera to the
XY検出部151は、入力部150から入力された全体カメラ53の全体画像データに基づき画像認識を行うことで、術者および患者などの人物の位置データ(X座標、Y座標)を検出する。Z検出部153は、XY検出部151によって特定された人物のX座標およびY座標と、赤外線などによる反射光から算出される人物までの距離Lとに基づき、人物の位置データ(Z座標)を検出する。
The
物体検出部152は、入力部150から入力されたトレーカメラ51のトレー画像データに基づき画像認識を行うことで、トレー30に置かれた診療器具の有無、形状、および種類などを検出する。さらに、物体検出部152は、入力部150から入力された患者カメラ52の患者画像データに基づき画像認識を行うことで、患者の口腔内における診療器具の位置を検出する。物体検出部152は、入力部150から入力された全体カメラ53の全体画像データに基づき画像認識を行うことで、診療器具などの診療に関するキーアイテムの位置を検出してもよい。
The
変換部154は、ベースンユニット12から入力部150に入力された診療関連データを、所定の形式に変換する。
The
同期部155は、位置検出部157および物体検出部152による検出結果を含む画像関連データと、変換部154によって変換された診療関連データとを時系列に同期させて同期データを生成する。
The
セグメント化部156は、入力部150から入力された画像関連データと診療関連データとを所定のタイミングで区切ることで、同期データをセグメント化する。
The
生成部160は、セグメント化部156によってセグメント化された画像関連データおよび診療関連データと、ニューラルネットワーク162を含む学習済の推定モデル161とに基づき、診療装置1の制御データを推定し、推定した制御データを生成する。
The
出力部180は、生成部160によって生成された制御データを、診療装置1における制御対象190に出力する。
The
このように、制御装置100は、トレー画像データ、患者画像データ、および全体画像データといった各画像関連データと、ログデータのような診療装置1で取得した診療関連データと、ニューラルネットワーク162を含む推定モデル161とに基づき、診療装置1を制御するための制御データを生成する。これにより、歯科医師および歯科助手などの術者の行動に先だって、制御装置100によって診療装置1が制御されるため、術者の利便性を向上させることができる。
In this way, the
なお、制御装置100は、画像関連データおよび診療関連データの両方と、推定モデル161とに基づき、診療装置1を制御するための制御データを生成することに限らない。制御装置100は、診療関連データを用いることなく、画像関連データと推定モデル161とに基づき、診療装置1を制御するための制御データを生成してもよい。
Note that the
たとえば、制御装置100は、全体カメラ53によって取得された全体画像データから、術者および患者などの人物の位置データを検出し、推定モデル161によって、各人物の位置データに基づき各人物が行う動作の順番および姿勢を把握することで、診療装置1の制御内容を先読みし、診療装置1の制御データを推定してもよい。
For example, the
たとえば、制御装置100は、患者カメラ52によって取得された患者画像データから、患者の口腔内における診療器具の位置を検出し、推定モデル161によって、患者の口腔内における診療器具の位置に基づき術者が行う動作の順番および姿勢を把握することで、診療装置1の制御内容を先読みし、診療装置1の制御データを推定してもよい。
For example, the
たとえば、制御装置100は、トレーカメラ51によって取得されたトレー画像データから、トレー30に置かれた診療器具の有無、形状、および種類を検出し、推定モデル161によって、トレー30に置かれた診療器具の有無、形状、および種類に基づき術者が行う動作の順番および姿勢を把握することで、診療装置1の制御内容を先読みし、診療装置1の制御データを推定してもよい。
For example, the
<制御データの推定の一例>
図11~図17を参照しながら、制御装置100による制御データの推定の一例について説明する。なお、図11~図17には、根管治療の例が示されている。
<Example of estimation of control data>
An example of estimation of control data by the
診療中においては、トレーカメラ51によって、シャッタータイミングに依存する所定のタイミング(tA1、tA2、tA3、…)ごとに、トレー30に置かれた1または複数の診療器具が撮影される。
During medical treatment, one or more medical instruments placed on the
たとえば、図11は、根管治療におけるトレーカメラ51の撮影画像の一例を説明するための図である。図11に示すように、根管治療に含まれる処置として審査が行われているタイミングtA2では、術者によってピンセット314、ミラー316、および深針318が使用されるため、トレーカメラ51の撮影画像にはピンセット314、ミラー316、および深針318が映し出されない。根管治療に含まれる処置として抜髄が行われているタイミングtA3では、術者によってファイル305およびバキューム315が使用されるため、トレーカメラ51の撮影画像にはファイル305およびバキューム315が映し出されない。根管治療に含まれる処置として根管長測定・拡大が行われているタイミングtA5では、術者によって根管長測定器303およびファイル305が使用されるため、トレーカメラ51の撮影画像には根管長測定器303およびファイル305が映し出されない。根管治療に含まれる処置として消毒・洗浄が行われているタイミングtA7では、術者によって洗浄用ニードル309、洗浄用シリンジ310、およびバキューム315が使用されるため、トレーカメラ51の撮影画像には洗浄用ニードル309、洗浄用シリンジ310、およびバキューム315が映し出されない。根管治療に含まれる処置として根管充填が行われているタイミングtA9では、術者によってミラー316および根管材料注入器319が使用されるため、トレーカメラ51の撮影画像にはミラー316および根管材料注入器319が映し出されない。根管治療に含まれる処置として詰め込み・被せが行われているタイミングtA11では、術者によって仮封剤充填器311、ピンセット314、およびミラー316が使用されるため、トレーカメラ51の撮影画像には仮封剤充填器311、ピンセット314、およびミラー316が映し出されない。
For example, FIG. 11 is a diagram for explaining an example of an image taken by the
このように、診療中においては、トレー30に置かれた診療器具の有無、形状、および種類などが、トレーカメラ51の撮影画像によって映し出される。
In this way, during medical treatment, the presence, absence, shape, type, etc. of the medical instruments placed on the
制御装置100は、上述したようなトレーカメラ51の撮影画像のデータ(トレー画像データとしての画像関連データ)が入力部150から入力されると、物体検出部152によって、画像に含まれる特徴量を抽出する。
When data of an image captured by the tray camera 51 (image-related data as tray image data) as described above is input from the
たとえば、図12は、トレーカメラ51の撮影情報から取得されたトレー画像データの一例を説明するための図である。図12に示すように、制御装置100は、所定のタイミング(tA1、tA2、tA3、…)ごとに、トレー30に置かれた診療器具の有無、形状、および種類などを推定し、トレー30上に存在する診療器具に対応する記録領域に「0」のデータを格納し、トレー30上に存在しない診療器具に対応する記録領域に「1」のデータを格納する。これにより、図12に示すように、制御装置100は、所定のタイミングごとに診療器具の有無を区別可能なトレー画像データ(画像関連データ)を得ることができる。
For example, FIG. 12 is a diagram for explaining an example of tray image data acquired from photographic information of the
診療中においては、患者カメラ52によって、シャッタータイミングに依存する所定のタイミング(tB1、tB2、tB3、…)ごとに、患者の口腔内が撮影される。
During medical treatment, the patient's oral cavity is photographed by the
そして、制御装置100は、患者カメラ52の撮影画像のデータ(患者画像データとしての画像関連データ)が入力部150から入力されると、物体検出部152によって、画像に含まれる特徴量を抽出する。
Then, when data of an image captured by the patient camera 52 (image-related data as patient image data) is input from the
たとえば、図13は、患者カメラ52の撮影情報から取得された患者画像データの一例を説明するための図である。図13に示すように、制御装置100は、所定のタイミング(tB1、tB2、tB3、…)ごとに、患者の口腔内における診療器具の位置などを推定し、診療器具と患者の唇、または診療器具と患者の頬との位置関係において、両者が所定範囲内に位置しない場合に記録領域に「0」のデータを格納し、両者が所定範囲内に位置する場合に記録領域に「1」のデータを格納する。これにより、図13に示すように、制御装置100は、所定のタイミングごとに患者の口腔内における診療器具の位置を特定可能な患者画像データ(画像関連データ)を得ることができる。
For example, FIG. 13 is a diagram for explaining an example of patient image data acquired from imaging information of the
診療中においては、全体カメラ53によって、シャッタータイミングに依存する所定のタイミングごとに、診療空間が術者および患者の行動、診療装置1の動作などが撮影される。
During medical treatment, the
そして、制御装置100は、全体カメラ53の撮影画像のデータ(全体画像データとしての画像関連データ)が入力部150から入力されると、位置検出部157によって、画像に含まれる特徴量を抽出することで、術者および患者などの人物の位置データを生成する。制御装置100は、位置検出部157によって新たに生成した位置データが、記録装置103に記録済みの位置データと異なる場合に、位置検出部157によって新たに生成した位置データを記録装置103に記録させる。
Then, when data of an image taken by the overall camera 53 (image-related data as overall image data) is input from the
たとえば、図14は、全体カメラ53の撮影情報から取得された位置データの一例を説明するための図である。図14に示すように、制御装置100は、生成した人物の位置データを時間情報(タイムスタンプ)に関連付けて全体画像データ(画像関連データ)として記録する。図14に示す例では、人物A(歯科医師)の位置データが所定のタイミング(tC1、tC2、tC3、…)で記録装置103に記録されている。これにより、制御装置100は、所定のタイミングごとに術者の行動および患者の行動を特定可能な位置データを含む全体画像データ(画像関連データ)を得ることができる。特に、制御装置100は、記録装置103に記録された位置データに基づき、診療空間における人物と診療装置1との位置関係を把握していれば、たとえば、人物が診療装置1に不必要に接触した場合でも、制御データに基づき診療装置1の駆動を停止させることができる。
For example, FIG. 14 is a diagram for explaining an example of position data acquired from photographic information of the
診療中においては、ログデータの取得タイミングに依存する所定のタイミング(tD1、tD2、tD3、…)で、診療装置1が備えるチェア11、ベースンユニット12、照明装置19、器具制御装置21、および表示制御装置22の少なくともいずれか1つにおける動作および制御を示すログデータが、診療装置1から出力される。
During medical treatment, the
たとえば、図15は、診療装置1から取得された診療関連データの一例を説明するための図である。図15に示すように、診療関連データにおいては、診療器具15について、ピックアップの有無、エアタービンの回転数、マイクロモータの回転数、超音波スケーラの発振強度、バキュームシリンジの動作、サライバエジェクタの動作、および注水の動作状態などを表すログデータが含まれ、チェア11について、座面高さ、背板角度、およびチェア11の動作状態などを表すログデータが含まれ、フットコントローラ16について、踏込量、踏込パターン、およびスイッチ状態などを表すログデータが含まれ、照明装置19について、点灯状態および発光強度などを表すログデータが含まれ、ベースンユニット12について、コップの載置の有無などを表すログデータが含まれる。
For example, FIG. 15 is a diagram for explaining an example of medical care-related data acquired from the
図15の例では、エアタービンの回転数、マイクロモータの回転数、超音波スケーラの発振強度、フットコントローラ16の踏込量、および照明装置19の発光強度について、大小または高低などの程度を示すデータが診療関連データ(ログデータ)に含まれている。なお、診療関連データは、エアタービンの回転数、マイクロモータの回転数、超音波スケーラの発振強度、フットコントローラ16の踏込量、および照明装置19の発光強度の値(たとえば、絶対値)を含んでいてもよい。フットコントローラ16の踏込パターンは、診療関連データに含まれなくてもよい。たとえば、制御装置100は、フットコントローラ16の踏込量の時系列の変化を解析することで、フットコントローラ16の踏込パターンを特定してもよい。
In the example of FIG. 15, data indicating the degree of the rotation speed of the air turbine, the rotation speed of the micromotor, the oscillation intensity of the ultrasonic scaler, the amount of depression of the
なお、ログデータは、ログデータの取得タイミングに依存する所定のタイミング(tD1、tD2、tD3、…)で診療装置1から出力されるものに限らず、イベントの発生(たとえば、チェア11の動作の切り替え、診療器具15の動作の切り替えなど)ごとに診療装置1から出力されるものであってもよい。
Note that the log data is not limited to that output from the
制御装置100は、診療関連データが入力部150から入力されると、変換部154によって、画像関連データと同期させるために適した形式に診療関連データを変換する。
When medical care-related data is input from the
次に、制御装置100は、同期部155によって、図12~図14に示す画像関連データと図15に示す診療関連データとを、同期時間の時間軸に合わせて所定のタイミング(T1、T2、T3、…)ごとに同期させる。
Next, the
たとえば、図16および図17は、同期データの一例を説明するための図である。図16および図17に示すように、同期データには、同期時間の時間軸に合わせて所定のタイミング(T1、T2、T3、…)ごとに、画像関連データと診療関連データとを同期させたデータが含まれる。 For example, FIGS. 16 and 17 are diagrams for explaining examples of synchronous data. As shown in FIGS. 16 and 17, the synchronized data includes image-related data and medical care-related data that are synchronized at predetermined timings (T1, T2, T3, ...) according to the synchronization time axis. Contains data.
たとえば、図12に示すトレー画像データにおけるtA3およびtA4のデータは、図16に示す同期データにおいて、tA3およびtA4に対応するタイミング(T3~T5)のデータに対応付けられている。図13に示す患者画像データにおけるtB3およびtB4のデータは、図16に示す同期データにおいて、tB3およびtB4に対応するタイミング(T3~T5)のデータに対応付けられている。図14に示す全体画像データ(位置データ)におけるtC3のデータは、図16に示す同期データにおいて、tC3に対応するタイミングのデータに対応付けられている。 For example, data at tA3 and tA4 in the tray image data shown in FIG. 12 is associated with data at timings (T3 to T5) corresponding to tA3 and tA4 in the synchronization data shown in FIG. 16. The data of tB3 and tB4 in the patient image data shown in FIG. 13 are associated with the data of the timing (T3 to T5) corresponding to tB3 and tB4 in the synchronization data shown in FIG. The data at tC3 in the entire image data (position data) shown in FIG. 14 is associated with the data at the timing corresponding to tC3 in the synchronization data shown in FIG. 16.
次に、制御装置100は、セグメント化部156によって、図16および図17に示す同期データに含まれる画像関連データと診療関連データとを所定のタイミングで区切ることでセグメント化する。
Next, the
たとえば、制御装置100は、所定時間(たとえば、5秒)ごとに定期的に訪れるタイミングで、同期データをセグメント化する。
For example, the
あるいは、制御装置100は、画像関連データ(トレー画像データ、患者画像データ)において格納された「0」または「1」のデータと、診療関連データにおいて格納された「0」または「1」のデータとに基づき、同期データをセグメント化する。
Alternatively, the
ここで、トレー画像データ、患者画像データ、全体画像データ、および診療関連データの各々単体ではデータに変化がなくても、その他のデータを参照すればデータに変化が生じている場合もある。すなわち、制御装置100は、トレー画像データ、患者画像データ、全体画像データ、および診療関連データの各々から、複数のデータを参照して組み合わせることで、適切なタイミングで同期データを区切ることができる。
Here, even if there is no change in each of the tray image data, patient image data, whole image data, and medical treatment-related data alone, there may be a change in the data when other data is referred to. That is, the
たとえば、図16に示すように、トレー画像データにおいては、ファイル305についてはT3~T7の各々のデータが同じであるが、バキュームについてはT3~T5の各々のデータが同じである。このため、制御装置100は、トレー画像データを参照するのみでは、T3~T5およびT3~T7のいずれで同期データをセグメント化すればよいか判断しかねない。ところが、図17に示すように、診療関連データにおいては、診療器具およびフットコントローラ16についてT3~T5の各々のデータが同じである。よって、制御装置100は、トレー画像データおよび診療関連データに基づいて、確率が高いと予想されるT3~T5で同期データをセグメント化する。
For example, as shown in FIG. 16, in the tray image data, each of the data T3 to T7 is the same for the
このように、制御装置100は、同期データのセグメント化にあたって、トレー画像データ、患者画像データ、全体画像データ、および診療関連データの各々単体ではデータが不足している場合があっても、他のデータを参照することで、適切なタイミングで同期データを区切ることができる。
In this way, when segmenting the synchronized data, the
上述したように、診療中においては、トレー画像データ、患者画像データ、全体画像データ、および診療関連データの各々が時系列で制御装置100に入力される。制御装置100は、入力されたこれらのデータに基づき同期データを生成するとともに、同期データをセグメント化する。制御装置100は、同期データに基づき、生成部160に含まれる推定モデル161を学習することで、制御データを推定することができるようになる。
As described above, during medical treatment, tray image data, patient image data, whole image data, and medical treatment-related data are each input to the
たとえば、根管治療の場合、制御装置100は、「審査」においてT1およびT2に対応する同期データが入力され、「抜髄」においてT3~T5に対応する同期データが入力され、「根管長測定」においてT6およびT7に対応する同期データが入力され、「洗浄・消毒」においてT8およびT9に対応する同期データが入力され、「根管充填」においてT10およびT11に対応する同期データが入力され、「詰め込み・被せ」においてT12およびT13に対応する同期データが入力される。
For example, in the case of root canal treatment, the
たとえば、制御装置100は、根管治療の場合、上述したような同期データを学習することで、T1およびT2に対応するような同期データが入力された時点で、その後、T3~T5に対応するような同期データが入力されると推定し、「抜髄」のための制御データを生成する。制御装置100は、T3~T5に対応するような同期データが入力された時点で、その後、T6およびT7に対応するような同期データが入力されると推定し、「根管長測定」のための制御データを生成する。制御装置100は、T6およびT7に対応するような同期データが入力された時点で、その後、T8およびT9に対応するような同期データが入力されると推定し、「洗浄・消毒」のための制御データを生成する。制御装置100は、T8およびT9に対応するような同期データが入力された時点で、その後、T10およびT11に対応するような同期データが入力されると推定し、「根管充填」のための制御データを生成する。制御装置100は、T10およびT11に対応するような同期データが入力された時点で、その後、T12およびT13に対応するような同期データが入力されると推定し、「詰め込み・被せ」のための制御データを生成する。
For example, in the case of root canal treatment, the
以上のように、制御装置100は、ニューラルネットワークなどの所謂AI技術を用いて、トレー画像データ、患者画像データ、全体画像データ、および診療関連データの少なくともいずれか1つに基づき、制御データを推定するための特徴を見出すことで、制御データを推定することができる。
As described above, the
<制御装置による制御の一例>
図18~図20を参照しながら、制御装置100による制御の一例について説明する。図18~図20は、制御装置100による制御の一例を説明するための図である。
<Example of control by control device>
An example of control by the
制御装置100によって生成される制御データは、制御対象190に対する駆動開始を示すデータ、制御対象190に対する駆動終了を示すデータ、制御対象190に対する駆動禁止を示すデータ、制御対象に対する駆動継続を示すデータ、制御対象190に対する駆動量を示すデータ、駆動量に関する上限値を示すデータ、駆動量に関する下限値を示すデータ、制御対象190に対する駆動時間を示すデータ、および制御対象190のステータスに関するデータの少なくともいずれか1つを含む。
The control data generated by the
たとえば、図18(A)に示すように、制御装置100は、全体カメラ53によって取得された撮影画像から算出した位置データに基づき、患者2がチェア11に近づくことを検出すると、チェア11を患者2の導入ポジションに移動させるための制御データを生成し、生成した制御データをチェア制御部111に出力する。図18(B)に示すように、チェア制御部111は、制御装置100からの制御データに基づき、チェア11の足置き台11dを導入ポジションに移動させる。
For example, as shown in FIG. 18(A), when the
図18(C)に示すように、制御装置100は、全体カメラ53によって取得された撮影画像から算出した位置データに基づき、患者2がチェア11に座って、歯科医師3がチェア11に近づくことを検出すると、チェア11を診療ポジションに移動させるための制御データを生成し、生成した制御データをチェア制御部111に出力する。図18(D)に示すように、チェア制御部111は、制御装置100からの制御データに基づき、チェア11の背もたれ11bおよび足置き台11dを診療ポジションに移動させる。
As shown in FIG. 18(C), the
制御装置100は、全体カメラ53によって取得された撮影画像から算出した位置データに基づき、歯科医師が患者の口腔内を覗き込むことをやめて診療器具を口腔外へ移動させ、さらに、歯科医師がコップ台12bの方を向くような動作をしたことを検出すると、チェア11をうがいポジションに移動させるための制御データを生成し、生成した制御データをチェア制御部111に出力する。チェア制御部111は、制御装置100からの制御データに基づき、チェア11をうがいポジションに移動させる。
The
制御装置100は、全体カメラ53によって取得された撮影画像から算出した位置データに基づき、患者がうがいを完了してコップをコップ台12bに置いてチェア11の背もたれ11bにもたれたことを検出し、かつ、そのときに歯科医師がその場で待機していることを検出すると、再びチェア11を診療ポジションに移動させるための制御データを生成し、生成した制御データをチェア制御部111に出力する。チェア制御部111は、制御装置100からの制御データに基づき、チェア11を診療ポジションに移動させる。
The
一方、制御装置100は、全体カメラ53によって取得された撮影画像から算出した位置データに基づき、患者がうがいを完了してコップをコップ台12bに置いてチェア11の背もたれ11bにもたれたことを検出し、かつ、そのときに歯科医師がその場から離れたことを検出すると、チェア11を退出ポジションに移動させるための制御データを生成し、生成した制御データをチェア制御部111に出力する。チェア制御部111は、制御装置100からの制御データに基づき、チェア11を退出ポジションに移動させる。
On the other hand, the
制御装置100は、全体カメラ53によって取得された撮影画像から算出した位置データに基づき、歯科医師がマイクロスコープを用いて診療を行うことを検出すると、チェア11の昇降動作の速度を通常よりも低速に設定させるための制御データを生成し、生成した制御データをチェア制御部111に出力する。チェア制御部111は、制御装置100からの制御データに基づき、チェア11の速度を低速に設定する。
When the
制御装置100は、全体カメラ53によって取得された撮影画像から算出した位置データに基づき、歯科医師が歯の詰め物(インレー)を装着する際に形状の調整を行うことを検出すると、診療器具の注水機能をOFFに設定させるための制御データを生成し、生成した制御データを器具制御部211に出力する。器具制御部211は、制御装置100からの制御データに基づき、診療器具の注水機能をOFFに設定する。
When the
制御装置100は、全体カメラ53によって取得された撮影画像から算出した位置データに基づき、歯科医師がコンポレットレジンを充填することを検出すると、コンポレットレジンの硬化を抑制するために、照明装置19を減光させるための制御データを生成し、生成した制御データを照明制御部122に出力する。照明制御部122は、制御装置100からの制御データに基づき、照明装置19を減光させる。
When the
制御装置100は、全体カメラ53によって取得された撮影画像から算出した位置データに基づき、診療器具(たとえば、ハンドピース)を持つ歯科医師の目線が患者の口腔内から一定期間外れたことを検出すると、診療器具の駆動を抑制(停止、回転数の低下)するための制御データを生成し、生成した制御データを器具制御部211に出力する。器具制御部211は、制御装置100からの制御データに基づき、診療器具の駆動を抑制(停止、回転数の低下)する。
When the
制御装置100は、全体カメラ53によって取得された撮影画像から算出した位置データに基づき、診療器具(たとえば、ハンドピース)の位置が予め定められた領域の診療空間から一定期間外れたことを検出すると、診療器具の駆動を抑制(停止、回転数の低下)するための制御データを生成し、生成した制御データを器具制御部211に出力する。器具制御部211は、制御装置100からの制御データに基づき、診療器具の駆動を抑制(停止、回転数の低下)する。
When the
制御装置100は、全体カメラ53によって取得された撮影画像から算出した位置データに基づき、診療中に患者が手を挙げたことを検出すると、スピーカ35から警告音を出力させるための制御データを生成し、生成した制御データを音制御部321に出力する。音制御部321は、制御装置100からの制御データに基づき、スピーカ35から警告音を出力する。
The
制御装置100は、全体カメラ53によって取得された撮影画像から算出した位置データに基づき、診療中に患者が手を挙げたことを検出すると、ディスプレイ17に警告画像を表示させるための制御データを生成し、生成した制御データをディスプレイ制御部221に出力する。ディスプレイ制御部221は、制御装置100からの制御データに基づき、ディスプレイ17に警告画像を表示させる。
The
制御装置100は、全体カメラ53によって取得された撮影画像から算出した位置データに基づき、診療中に患者が手を挙げたことを検出すると、診療器具の駆動を抑制(停止、回転数の低下)するための制御データを生成し、生成した制御データを器具制御部211に出力する。器具制御部211は、制御装置100からの制御データに基づき、診療器具の駆動を抑制(停止、回転数の低下)する。
When the
制御装置100は、全体カメラ53によって取得された撮影画像から算出した位置データに基づき、チェア11の動作中に通常とは異なる異常(たとえば、患者が異常な姿勢になるなど)を検出すると、チェア11の動作を抑制(停止、動作速度の低下)するための制御データを生成し、生成した制御データをチェア制御部111に出力する。チェア制御部111は、制御装置100からの制御データに基づき、チェア11の動作を抑制(停止、動作速度の低下)する。
When the
制御装置100は、全体カメラ53によって取得された撮影画像から算出した位置データに基づき、歯科医師が照明装置19を照明または消灯させるための動作(ジェスチャー)を行ったことを検出すると、照明装置19を照明または消灯させるための制御データを生成し、生成した制御データを照明制御部122に出力する。照明制御部122は、制御装置100からの制御データに基づき、照明装置19を照明または消灯させる。
When the
図19に示すように、制御装置100は、全体カメラ53によって取得された撮影画像から算出した位置データに基づき、ある処置が完了したことを検出すると、次の処置のための診療装置1の操作(たとえば、チェア11の操作、診療器具15の操作など)を術者に報知するための制御データを生成し、生成した制御データを診療装置1に出力してもよい。報知態様として、制御装置100は、操作パネル18に表示されたアイコン画像を点滅させたり、バキュームおよびエアタービンハンドピースなどの診療器具15の操作ボタンを点滅させたりするための制御データを診療装置1に出力してもよい。なお、制御装置100は、ブザー音や音声などの音で次の処置内容などを知らせたり、ディスプレイ17にイラストや文章を表示することで次の処置内容などを知らせたり、表示機能が搭載された眼鏡に表示することで次の処置内容などを知らせたりといったように、その他の報知によって操作支援を行うための制御データを生成してもよい。
As shown in FIG. 19, when the
図20に示すように、制御装置100は、全体カメラ53によって取得された撮影画像から算出した位置データに基づき、ある処置において、術者が通常ではあり得ない異常な動作をしていることを検出すると、アラートを出力するための制御データを生成し、生成した制御データを診療装置1に出力してもよい。たとえば、制御装置100は、ある処置内において歯科医師3が診療器具を持ちながら後ろを向いていることを検出すると、操作パネル18およびスピーカ35からアラートを出力させるための制御データを診療装置1に出力してもよい。さらに、制御装置100は、術者の行動の異常度(危険度)が高ければ高いほど、アラートの出力レベル(輝度や音量のレベル)を高くしたり、アラートの出力頻度を高くしたりするような制御データを生成してもよい。
As shown in FIG. 20, the
なお、図19および図20に示すように、制御システム1000は、診療装置1とは別に、または、診療装置1の一部として、携帯端末401またはウェアラブルグラス402を備えていてもよい。制御装置100は、生成した制御データに基づき、携帯端末401(たとえば、タブレット端末)または術者などが装着可能なウェアラブルグラス402に、所定画像(たとえば、次の処置のための診療装置1の操作を示す画像、異常を知らせるアラート画像など)を表示させたり、所定音(たとえば、次の処置のための診療装置1の操作を示す音、異常を知らせるアラート音など)を出力させたりしてもよい。
Note that, as shown in FIGS. 19 and 20, the
制御装置100は、全体カメラ53によって取得された撮影画像から算出した位置データに基づき、制御対象190のステータスに関する制御を行うための制御データを生成し、生成した制御データを診療装置1に出力してもよい。たとえば、制御装置100は、診療装置1に含まれるセンサの状態、アクチュエータの状態、およびプログラムのバージョンなど、診療装置1のステータスを確認し、確認したステータスに応じて本来生成される制御データを、人物の動作に応じて推定した制御データに変更したり、人物の動作に応じて推定した制御データを加えたりしてもよい。
The
具体的には、制御装置100は、ディスプレイ17に制御対象190のステータスに応じた診療状況などを示すアイコンを表示させてもよい。制御装置100は、モータ、コンプレッサ、ヒーターなどの駆動源を制御する際に、所望の制御値となるように、センサの状態(出力値)に応じてこれらの駆動源をフィードバック制御してもよく、この際、人物の動作に応じて、フィードバック制御のための制御データを新たに生成したり、変更したりしてもよい。
Specifically, the
制御装置100は、全体カメラ53によって取得された撮影画像から算出した位置データに基づき、安全モードなどの各種の設定内容を制御するための制御データを生成し、生成した制御データを診療装置1に出力してもよい。たとえば、照明装置19の明るさの制限、ハンドピースの出力の制限、バキュームの吸引の制限、背もたれ11bの傾斜速度の制限、および座面シート11cの昇降速度の制限など、モードに応じて各種の制御対象190の制御が決められている場合、制御装置100は、これらのモードに応じて設定される制御値を変更するための制御データを生成してもよい。
The
このように、制御装置100は、制御対象190を直接的に制御するための制御データを生成してもよいし、制御対象190を制御するためのモードなどを制御するための制御データ(制御対象190を間接的に制御するための制御データ)を生成してもよい。
In this way, the
このように、制御装置100は、全体カメラ53によって取得された撮影画像から算出した位置データに基づき、人物の行動を分析することで、人物の行動に先立って、診療装置1を制御するため、術者の利便性を向上させることができる。
In this way, the
なお、上述した例では、制御装置100は、全体カメラ53によって取得された撮影画像から算出した位置データに基づき、制御データを生成しているが、トレー画像データ、患者画像データ、および診療関連データなど、その他のデータを参考にして、制御データを生成してもよい。
Note that in the example described above, the
<制御装置の制御データ生成処理>
図21を参照しながら、運用段階において制御装置100が実行する制御データ生成処理について説明する。図21は、制御装置100が実行する制御データ生成処理の一例を説明するためのフローチャートである。図21に示す各ステップ(以下、「S」で示す。)は、制御装置100の演算装置102がOS142および制御プログラム141を実行することで実現される。
<Control data generation process of control device>
The control data generation process executed by the
まず、制御装置100は、制御データ生成処理の開始条件が成立したか否かを判定する。たとえば、図21に示すように、画像関連データが入力されたか否かを判定する(S1)。制御装置100は、画像関連データが入力された場合(S1でYES)、画像認識を行う(S2)。たとえば、制御装置100は、全体画像データが入力された場合、位置検出部157によって、全体画像データに基づき、人物の位置を検出して位置データを生成する。制御装置100は、患者画像データまたはトレー画像データが入力された場合、物体検出部152によって、診療器具などのオブジェクトの有無、形状、および種類などを検出する。このように、制御装置100は、画像関連データが入力されて、当該画像関連データに基づき画像認識を行うことを契機として、制御データ生成処理を実行する。たとえば、制御装置100は、チェア11において患者を検知したときに、制御データ生成処理の実行を開始する。
First, the
制御装置100は、画像関連データが入力されていない場合(S1でNO)、またはS2の処理の後、診療関連データが入力されたか否かを判定する(S3)。制御装置100は、診療関連データが入力された場合(S3でYES)、変換部154によって、診療関連データを所定の形式に変換する(S4)。
If image-related data has not been input (NO in S1), or after the process in S2, the
制御装置100は、診療関連データが入力されていない場合(S3でNO)、またはS4の処理の後、画像関連データおよび診療関連データを所定量蓄積したか否かを判定する(S5)。たとえば、制御装置100は、制御データを推定および生成するために必要となるデータ量を蓄積したか否かを判定する。制御装置100は、画像関連データおよび診療関連データを所定量蓄積していない場合(S5でNO)、S1の処理に戻る。
If no medical care-related data has been input (NO in S3), or after the processing in S4, the
一方、制御装置100は、画像関連データおよび診療関連データを所定量蓄積した場合(S5でYES)、同期部155によって、画像関連データと診療関連データとを同期させることで同期データを生成する(S6)。
On the other hand, when the
次に、制御装置100は、セグメント化部156によって、同期データに基づき、画像関連データと診療関連データとを所定のタイミングで区切ることで、同期データをセグメント化する(S7)。
Next, the
次に、制御装置100は、生成部160によって、セグメント化された同期データに基づき、制御データを推定し、推定した制御データを生成する(S8)。
Next, the
次に、制御装置100は、生成した制御データを、診療装置1の制御対象190に出力し(S9)、本処理を終了する。
Next, the
このように、制御装置100は、制御プログラム141によって規定された診療装置1の制御方法を用いることにより、ニューラルネットワークなどの所謂AI技術を用いて、画像関連データおよび診療関連データの少なくともいずれかに基づき、制御データを生成することができる。これにより、制御装置100は、診療空間に存在する人物の動作、診療器具などのオブジェクトの有無、および診療装置1の動作などに基づき、診療装置1を制御することができるため、術者の利便性を向上させることができる。
In this way, the
なお、制御装置100は、画像関連データが入力されて、当該画像関連データに基づき画像認識を行うこと以外の開始条件が成立したときに、制御データ生成処理の実行を開始してもよい。開始条件は、たとえば、制御装置100の電源を立ち上げたときに成立してもよいし、制御装置100の電源を立ち上げた後に制御データ生成処理に対応するモードに切り替えられたときに成立してもよい。また、開始条件は、一定量の画像関連データおよび診療関連データが取得されたときに成立してもよい。さらに、開始条件は、術者によって診療の開始を通知する入力操作(たとえば、制御装置100の開始スイッチの操作)が行われたときに成立してもよいし、術者によって診療の終了を通知する入力操作(たとえば、制御装置100の終了スイッチの操作)が行われたときに成立してもよい。開始条件は、制御装置100において何らかの開始イベントが発生したときに成立するものであればよい。
Note that the
<主な開示>
以上のように、本実施の形態では以下のような開示を含む。
<Main disclosure>
As described above, this embodiment includes the following disclosures.
[構成1]
制御装置(100)は、診療装置(1)を含む診療空間をカメラ(51、52,53)で撮影した画像関連データが入力される入力部(150)と、入力部(150)から入力される画像関連データと、第1ニューラルネットワーク(162)を含む第1推定モデル(161)とに基づき、診療装置(1)を制御するための制御データを生成する生成部(160)と、生成部(160)によって生成される制御データを制御対象(190)に出力する出力部(180)とを備える。
[Configuration 1]
The control device (100) has an input section (150) into which image-related data captured by a camera (51, 52, 53) of a medical treatment space including the medical treatment device (1) is inputted, and an input section (150) that receives input from the input section (150). a generation unit (160) that generates control data for controlling the medical treatment device (1) based on image-related data and a first estimation model (161) including a first neural network (162); and an output section (180) that outputs the control data generated by (160) to the controlled object (190).
これにより、制御装置100は、ニューラルネットワーク162などの所謂AI技術を用いて、画像関連データに基づき、診療装置1を制御することができるため、術者の利便性を向上させることができる。
Thereby, the
[構成2]
制御装置(100)は、入力部(150)から入力される画像関連データ(全体画像データ)に基づき、診療空間に含まれる人物の位置を検出する検出部(151)をさらに備える。生成部(160)は、検出部(151)によって検出される人物の位置を特定するための少なくとも1つの位置データと、第1推定モデル(161)とに基づき、制御データを生成する。
[Configuration 2]
The control device (100) further includes a detection unit (151) that detects the position of a person included in the medical treatment space based on image-related data (whole image data) input from the input unit (150). The generation unit (160) generates control data based on at least one position data for specifying the position of the person detected by the detection unit (151) and the first estimation model (161).
これにより、制御装置100は、診療空間に含まれる人物の位置を検出することで、人物の次の動作を先読みして、人物の次の動作に応じて診療装置1を制御することができるため、術者の利便性を向上させることができる。
With this, the
[構成3]
検出部(151)は、入力部(150)から入力される画像関連データと、第2ニューラルネットワーク(1512)を含む第2推定モデル(1511)とに基づき、人物の位置を検出する。
[Configuration 3]
The detection unit (151) detects the position of the person based on image-related data input from the input unit (150) and a second estimation model (1511) including a second neural network (1512).
これにより、制御装置100は、ニューラルネットワーク1512などの所謂AI技術を用いて、画像関連データに基づき、人物の位置を検出することができるため、より精度よく診療装置1を制御することができる。
Thereby, the
[構成4]
位置データは、人物が有する関節、眼、鼻、口、耳、および頭のいずれか1つの位置に関するデータを少なくとも含む。
[Configuration 4]
The position data includes at least data regarding the position of any one of a person's joints, eyes, nose, mouth, ears, and head.
これにより、制御装置100は、関節、眼、鼻、口、耳、および頭といったような人物の動作が反映され易い各検出ポイントの位置を検出することで、より精度よく診療装置1を制御することができる。
Thereby, the
[構成5]
制御装置(100)は、位置データを時間情報(タイムスタンプ)に関連付けて記録する記録部(103)をさらに備える。
[Configuration 5]
The control device (100) further includes a recording unit (103) that records position data in association with time information (time stamp).
これにより、制御装置100は、新規で機械学習を行う際に用いた位置データを、再学習する際にも再び用いることができる。さらに、複数の制御装置100において記録装置103に記録された位置データを共有する際にも、位置データにタイムスタンプが関連付けられていることで、複数の制御装置100が同じような機械学習を行うことができる。
Thereby, the
[構成6]
記録部(103)は、検出部(151)によって新たに得られた位置データが、記録済みの位置データと異なる場合に、検出部(151)によって新たに得られた位置データを記録する。
[Configuration 6]
The recording unit (103) records the position data newly obtained by the detection unit (151) when the position data newly obtained by the detection unit (151) is different from the recorded position data.
これにより、制御装置100は、人物の位置を検出するたびに、新たな位置データを記録装置103に毎回記録させるのではなく、人物の位置データが変化した場合に限り、新たな位置データを記録装置103に記録させるため、記録装置103が記録するデータ量が増大することを極力抑えることができる。
As a result, the
[構成7]
入力部(150)は、診療装置(1)で取得される診療関連データがさらに入力される。生成部(160)は、入力部(150)から入力される画像関連データおよび診療関連データと、第1推定モデル(161)とに基づき、制御データを生成する。
[Configuration 7]
The input unit (150) further receives input of medical care-related data acquired by the medical device (1). The generation unit (160) generates control data based on the image-related data and medical treatment-related data input from the input unit (150) and the first estimation model (161).
これにより、制御装置100は、画像関連データに加えて、診療装置1で取得される診療関連データに基づき、診療装置1を制御するための制御データを生成するため、より精度よく診療装置1を制御することができる。
As a result, the
[構成8]
診療関連データは、診療装置(1)に含まれるチェア(11)、診療器具(15)、照明装置(19)、給水・排水装置(12)、フットコントローラ(16)、ディスプレイ(17)、操作パネル(18)の少なくともいずれか1つにおける過去および現在の少なくともいずれか1つの制御データを含む。
[Configuration 8]
The medical care-related data includes the chair (11), medical equipment (15), lighting device (19), water supply/drainage device (12), foot controller (16), display (17), and operation included in the medical device (1). It includes past and/or current control data for at least one of the panels (18).
これにより、制御装置100は、チェア11を駆動するデータ、診療器具15を駆動するデータ、照明装置19を駆動するデータ、および給水・排水装置(ベースンユニット)12を駆動するデータなど、診療中において生成されるデータを用いることで、制御データを推定するための画像関連データの不足分を補うことができ、より精度よく診療装置1を制御することができる。
As a result, the
[構成9]
制御対象(190)は、診療装置(1)に含まれるチェア(11)、診療器具(15)、照明装置(19)、給水・排水装置(12)、フットコントローラ(16)、ディスプレイ(17)、操作パネル(18)、およびスピーカ(35)の少なくともいずれか1つを含む。
[Configuration 9]
The controlled objects (190) include a chair (11), a medical instrument (15), a lighting device (19), a water supply/drainage device (12), a foot controller (16), and a display (17) included in the medical device (1). , an operation panel (18), and a speaker (35).
これにより、制御装置100は、診療装置1に含まれるチェア11などの各制御対象190を制御することができるため、術者の利便性を向上させることができる。
Thereby, the
[構成10]
制御データは、制御対象(190)に対する駆動開始を示すデータ、制御対象(190)に対する駆動終了を示すデータ、制御対象(190)に対する駆動禁止を示すデータ、制御対象(190)に対する駆動継続を示すデータ、制御対象(190)に対する駆動量を示すデータ、駆動量に関する上限値を示すデータ、駆動量に関する下限値を示すデータ、制御対象(190)に対する駆動時間を示すデータ、および制御対象(190)のステータスに関するデータの少なくともいずれか1つを含む。
[Configuration 10]
The control data includes data indicating the start of driving the controlled object (190), data indicating the end of driving the controlled object (190), data indicating prohibition of driving the controlled object (190), and data indicating continuation of driving the controlled object (190). data, data indicating the drive amount for the controlled object (190), data indicating the upper limit value regarding the driving amount, data indicating the lower limit value regarding the driving amount, data indicating the driving time for the controlled object (190), and the controlled object (190) includes at least one of the data regarding the status of.
これにより、制御装置100は、生成した制御データによって、制御対象190を直接的または間接的に制御することができる。
Thereby, the
[構成11]
第1ニューラルネットワーク(162)は、リカレントニューラルネットワークである。
[Configuration 11]
The first neural network (162) is a recurrent neural network.
これにより、制御装置100は、時系列に入力される画像関連データおよび診療関連データに適したAI技術であるリカレントニューラルネットワークを用いることで、より精度よく制御データを生成することができる。
Thereby, the
[構成12]
コンピュータ(102)による患者を診療するための診療装置(1)を制御する制御方法は、診療装置(1)を含む診療空間をカメラ(51、52,53)で撮影した画像関連データが入力されるステップ(S2、S4)と、入力される画像関連データと、第1ニューラルネットワーク(162)を含む第1推定モデル(161)とに基づき、診療装置(1)を制御するための制御データを生成するステップ(S9)と、生成される制御データを制御対象(190)に出力するステップ(S10)とを含む。
[Configuration 12]
A control method for controlling a medical treatment device (1) for treating a patient using a computer (102) includes inputting image-related data captured by a camera (51, 52, 53) of a medical treatment space including the medical treatment device (1). control data for controlling the medical device (1) based on the input image-related data and the first estimation model (161) including the first neural network (162); It includes a step of generating (S9) and a step (S10) of outputting the generated control data to the controlled object (190).
これにより、制御装置100は、ニューラルネットワーク162などの所謂AI技術を用いて、画像関連データに基づき、診療装置1を制御することができるため、術者の利便性を向上させることができる。
Thereby, the
[構成13]
制御プログラム(141)は、コンピュータ(102)に、診療装置(1)を含む診療空間をカメラ(51、52,53)で撮影した画像関連データが入力されるステップ(S2、S4)と、入力される画像関連データと、第1ニューラルネットワーク(162)を含む第1推定モデル(161)とに基づき、診療装置(1)を制御するための制御データを生成するステップ(S9)と、生成される制御データを制御対象(190)に出力するステップ(S10)とを実行させる。
[Configuration 13]
The control program (141) includes steps (S2, S4) in which image-related data captured by a camera (51, 52, 53) of a medical treatment space including the medical treatment device (1) is input into the computer (102); a step (S9) of generating control data for controlling the medical device (1) based on the image-related data to be generated and the first estimation model (161) including the first neural network (162); A step (S10) of outputting the control data to the controlled object (190) is executed.
これにより、制御装置100は、ニューラルネットワーク162などの所謂AI技術を用いて、画像関連データに基づき、診療装置1を制御することができるため、術者の利便性を向上させることができる。
Thereby, the
<変形例>
本発明は、上記の実施例に限られず、さらに種々の変形、応用が可能である。以下、本発明に適用可能な変形例について説明する。
<Modified example>
The present invention is not limited to the above embodiments, and can be further modified and applied in various ways. Modifications applicable to the present invention will be described below.
[カメラについて]
本実施の形態においては、トレーカメラ51、患者カメラ52、および全体カメラ53が各1台ずつ診療装置1に取り付けられていたが、これらのカメラは複数台ずつ診療装置1に取り付けられてもよい。
[About the camera]
In this embodiment, one
トレーカメラ51、患者カメラ52、および全体カメラ53は、固定式に限らず、トレー30が載せられたトレーテーブル13の動き、あるいは術者の動きに追従して動く可動式であってもよい。
The
トレーカメラ51、患者カメラ52、および全体カメラ53は、診療装置1に搭載される他、診療装置1の周囲から当該診療装置1方向へ光軸を向けたカメラであってもよい。また、カメラの撮影画像によって把握される診療空間において、撮影において死角が無いように複数のカメラが設置されてもよい。さらに、診療器具に搭載された口腔内用カメラ、マイクロスコープ、または、術者が利用する眼鏡へ搭載されるカメラの撮影画像を利用して、制御装置100が制御データを生成してもよい。
The
制御装置100は、トレーカメラ51の撮影画像を画像認識によって分析することで、トレー30に置かれた診療器具の有無、形状、および種類などを特定するだけでなく、歯科医師や歯科助手などの術者の手に取られた診療器具、歯科医師や歯科助手などの術者の手に取られていた状況から置かれた診療器具を特定してもよい。
By analyzing the image captured by the
[制御装置について]
制御装置100は、ベースンユニット12に含まれるようにして、診療装置1が備えるものであってもよい。あるいは、制御装置100は、診療装置1とは別体であって、診療装置1に通信可能に接続された院内サーバなどのコンピュータであってもよい。さらに、制御装置100は、診療装置1が設置された診療空間外に設置された院外サーバなど、クラウドコンピューティングの態様で存在してもよい。この場合、制御装置100は、診療空間内に設置された複数の診療装置1に接続されるとともに、他の歯科医院に設置された複数の診療装置1にも接続され、これら複数の診療装置1の各々について、画像関連データおよび診療関連データに基づき制御データを生成してもよい。このようにすれば、制御装置100による機械学習の頻度がさらに上がり、制御装置100は、より精度良く制御データを生成することができる。
[About the control device]
The
制御装置100の生成部160は、推定モデル161によって診療装置1の制御データを推定するものに限らない。たとえば、生成部160は、推定モデル161によって診療装置1の次の動作(制御内容)を推定し、その推定結果に対応する制御データを生成してもよい。あるいは、生成部160は、推定モデル161によって人物の次の動作を推定し、その推定結果に対応する制御データを生成してもよい。あるいは、生成部160は、推定モデル161によって診療の手順(たとえば、診療中に行われる次の処置の内容)を推定し、その推定結果に対応する制御データを生成してもよい。
The
制御装置100は、推定モデル161の推定結果に基づいて、診療装置1を直接制御するものに限らず、診療装置1とは別のディスプレイに警告画像を表示したり、スピーカに警告音を出力したりするなどして、術者に診療装置1を操作(たとえば、停止操作)させるものであってもよい。つまり、制御装置100は、診療装置1を直接制御するのではなく、術者を誘導することで間接的に診療装置1を制御するものであってもよい。
Based on the estimation results of the
本実施の形態に係る制御装置100は、術者が患者の歯科に関する診療を行うために用いる診療装置1を制御するものであったが、術者が患者の医科に関する診療を行うために用いる診療装置を制御するものであってもよい。
The
今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。なお、本実施の形態で例示された構成および変形例で例示された構成は、適宜組み合わせることができる。 The embodiments disclosed this time should be considered to be illustrative in all respects and not restrictive. The scope of the present invention is indicated by the claims rather than the above description, and it is intended that all changes within the scope and meanings equivalent to the claims are included. Note that the configurations exemplified in this embodiment and the configurations exemplified in the modified examples can be combined as appropriate.
1 診療装置、2 患者、3 歯科医師、4 歯科助手、5 ポール、6 アーム、11 チェア、11a ヘッドレスト、11b 背もたれ、11c 座面シート、11d 足置き台、12 ベースンユニット、12a 鉢、12b コップ台、12c 給水栓、13 トレーテーブル、14 器具ホルダー、15 診療器具、16 フットコントローラ、17 ディスプレイ、18 操作パネル、19 照明装置、21 器具制御装置、22 表示制御装置、30 トレー、32 音制御装置、35 スピーカ、51 トレーカメラ、52 患者カメラ、53 全体カメラ、100 制御装置、101 通信装置、102 演算装置、103 記録装置、111 チェア制御部、121 ベースン制御部、122 照明制御部、123 蓄積部、141 制御プログラム、150 入力部、151 XY検出部、152 物体検出部、153 Z検出部、154 変換部、155 同期部、156 セグメント化部、157 位置検出部、160 生成部、161,1511 推定モデル、162,1512 ニューラルネットワーク、163,1513 パラメータ、180 出力部、190 制御対象、211 器具制御部、221 ディスプレイ制御部、222 パネル制御部、301 ラバーダム防湿一式、302 ラバーダムシート、303 根管長測定器、304 バーセット、305 ファイル、306 口角対極、307 ファールクリップ、308 ブローチ、309 洗浄用ニードル、310 洗浄用シリンジ、311 仮封剤充填器、312 クレンザー、313 タービン、314 ピンセット、315 バキューム、316 ミラー、317 エキスカベーター、318 針、319 根管材料注入器、321 音制御部、401 携帯端末、402 ウェアラブルグラス、1000 制御システム。 1 Medical equipment, 2 Patient, 3 Dentist, 4 Dental assistant, 5 Pole, 6 Arm, 11 Chair, 11a Headrest, 11b Backrest, 11c Seat, 11d Foot rest, 12 Basin unit, 12a Bowl, 12b Cup stand , 12c water tap, 13 tray table, 14 instrument holder, 15 medical instruments, 16 foot controller, 17 display, 18 operation panel, 19 lighting device, 21 instrument control device, 22 display control device, 30 tray, 32 sound control device, 35 speaker, 51 tray camera, 52 patient camera, 53 overall camera, 100 control device, 101 communication device, 102 arithmetic device, 103 recording device, 111 chair control section, 121 basin control section, 122 illumination control section, 123 storage section, 141 control program, 150 input unit, 151 XY detection unit, 152 object detection unit, 153 Z detection unit, 154 conversion unit, 155 synchronization unit, 156 segmentation unit, 157 position detection unit, 160 generation unit, 161, 1511 estimation model , 162, 1512 neural network, 163, 1513 parameter, 180 output section, 190 controlled object, 211 instrument control section, 221 display control section, 222 panel control section, 301 rubber dam moisture proofing set, 302 rubber dam sheet, 303 root canal length measuring device , 304 bar set, 305 file, 306 mouth corner counter electrode, 307 foul clip, 308 brooch, 309 cleaning needle, 310 cleaning syringe, 311 temporary sealant filler, 312 cleanser, 313 turbine, 314 tweezers, 315 vacuum, 316 mirror , 317 excavator, 318 needle, 319 root canal material injector, 321 sound control unit, 401 mobile terminal, 402 wearable glasses, 1000 control system.
Claims (12)
前記診療装置を含む診療空間をカメラで撮影した画像関連データが入力される入力部と、
前記入力部から入力される前記画像関連データに基づき、前記診療空間に含まれる人物の位置を検出する検出部と、
前記検出部によって検出される前記人物の位置を特定するための少なくとも1つの位置データを第1ニューラルネットワークを含む第1推定モデルに入力することで、当該第1推定モデルの出力として前記診療装置を制御するための制御データを生成する生成部と、
前記生成部によって生成される前記制御データを制御対象に出力する出力部とを備える、制御装置。 A control device that controls a medical treatment device for treating a patient,
an input unit into which image-related data captured by a camera of a medical treatment space including the medical treatment device is input;
a detection unit that detects the position of a person included in the medical treatment space based on the image-related data input from the input unit;
By inputting at least one position data for specifying the position of the person detected by the detection unit into a first estimation model including a first neural network, the medical treatment apparatus is used as an output of the first estimation model. a generation unit that generates control data for controlling;
A control device comprising: an output section that outputs the control data generated by the generation section to a controlled object.
前記生成部は、前記位置データおよび前記診療関連データと、前記第1推定モデルとに基づき、前記制御データを生成する、請求項1~請求項5のいずれか1項に記載の制御装置。 The input unit further receives medical care-related data acquired by the medical device,
The control device according to any one of claims 1 to 5 , wherein the generation unit generates the control data based on the position data, the medical care-related data, and the first estimation model.
前記コンピュータが実行する処理として、
前記診療装置を含む診療空間をカメラで撮影した画像関連データが入力されるステップと、
前記画像関連データに基づき、前記診療空間に含まれる人物の位置を検出するステップと、
前記検出するステップによって検出される前記人物の位置を特定するための少なくとも1つの位置データを第1ニューラルネットワークを含む第1推定モデルに入力することで、当該第1推定モデルの出力として前記診療装置を制御するための制御データを生成するステップと、
生成される前記制御データを制御対象に出力するステップとを含む、制御方法。 A control method for controlling a medical treatment device for treating a patient using a computer, the control method comprising:
As the process executed by the computer,
inputting image-related data captured by a camera of a medical treatment space including the medical treatment device;
Detecting the position of a person included in the medical treatment space based on the image-related data;
By inputting at least one position data for specifying the position of the person detected in the detecting step to a first estimation model including a first neural network, the medical treatment apparatus can be used as an output of the first estimation model. a step of generating control data for controlling the
A control method comprising the step of outputting the generated control data to a controlled object.
コンピュータに、
前記診療装置を含む診療空間をカメラで撮影した画像関連データが入力されるステップと、
前記画像関連データに基づき、前記診療空間に含まれる人物の位置を検出するステップと、
前記検出するステップによって検出される前記人物の位置を特定するための少なくとも1つの位置データを第1ニューラルネットワークを含む第1推定モデルに入力することで、当該第1推定モデルの出力として前記診療装置を制御するための制御データを生成するステップと、
生成される前記制御データを制御対象に出力するステップとを実行させる、制御プログラム。 A control program that controls a medical treatment device for treating a patient,
to the computer,
inputting image-related data captured by a camera of a medical treatment space including the medical treatment device;
Detecting the position of a person included in the medical treatment space based on the image-related data;
By inputting at least one position data for specifying the position of the person detected in the detecting step to a first estimation model including a first neural network, the medical treatment apparatus can be used as an output of the first estimation model. a step of generating control data for controlling the
and outputting the generated control data to a controlled object.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020215156A JP7343470B2 (en) | 2020-12-24 | 2020-12-24 | Control device, control method, and control program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020215156A JP7343470B2 (en) | 2020-12-24 | 2020-12-24 | Control device, control method, and control program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022100896A JP2022100896A (en) | 2022-07-06 |
JP7343470B2 true JP7343470B2 (en) | 2023-09-12 |
Family
ID=82270900
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020215156A Active JP7343470B2 (en) | 2020-12-24 | 2020-12-24 | Control device, control method, and control program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7343470B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4372754A1 (en) * | 2022-11-17 | 2024-05-22 | Koninklijke Philips N.V. | A system for assessing dental professional posture |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6771687B1 (en) | 2020-02-28 | 2020-10-21 | 株式会社モリタ製作所 | Estimator, estimation system, estimation method, and estimation program |
-
2020
- 2020-12-24 JP JP2020215156A patent/JP7343470B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6771687B1 (en) | 2020-02-28 | 2020-10-21 | 株式会社モリタ製作所 | Estimator, estimation system, estimation method, and estimation program |
Also Published As
Publication number | Publication date |
---|---|
JP2022100896A (en) | 2022-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11559377B2 (en) | Augmented reality enhancements for dental practitioners | |
CN107529968B (en) | Device for observing inside of oral cavity | |
US11229503B2 (en) | Implant surgery guiding method | |
JP6777917B1 (en) | Estimator, estimation system, estimation method, and estimation program | |
JP6829763B2 (en) | Medical medical equipment | |
JP7343470B2 (en) | Control device, control method, and control program | |
JP6839678B2 (en) | Dental clinic device with assist function | |
JP6771687B1 (en) | Estimator, estimation system, estimation method, and estimation program | |
JP7428634B2 (en) | Control device, control method, and control program | |
CN104603859A (en) | Method for dental prosthodontic and prosthesis digital archiving and fabrication, and teaching and training thereof | |
JP7428683B2 (en) | Image processing device, image processing system, image processing method, image processing program | |
JP7496995B2 (en) | Estimation device, estimation method, and estimation program | |
JP7421525B2 (en) | Image processing device, image processing system, image processing method, image processing program | |
JP7509371B2 (en) | Estimation device, estimation method, and estimation program | |
JP6845923B2 (en) | Medical medical equipment | |
JP2023154641A (en) | Data processing device, data processing method, and data processing program | |
JP2023154642A (en) | Data processing device, data processing method, and data processing program | |
JP6777916B1 (en) | Estimator, estimation system, estimation method, and estimation program | |
JP2019213706A (en) | Medical robot | |
KR102236486B1 (en) | A electric loupe and diagnosis method using the same | |
JP2024029381A (en) | Data generation device, data generation method and data generation program | |
JP2024069126A (en) | ESTIMATION METHOD, ESTIMATION DEVICE, ESTIMATION SYSTEM, CONTROL PROGRAM, AND RECORDING MEDIUM |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220603 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230427 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230530 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230829 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230831 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7343470 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |