JP7428683B2 - Image processing device, image processing system, image processing method, image processing program - Google Patents
Image processing device, image processing system, image processing method, image processing program Download PDFInfo
- Publication number
- JP7428683B2 JP7428683B2 JP2021139890A JP2021139890A JP7428683B2 JP 7428683 B2 JP7428683 B2 JP 7428683B2 JP 2021139890 A JP2021139890 A JP 2021139890A JP 2021139890 A JP2021139890 A JP 2021139890A JP 7428683 B2 JP7428683 B2 JP 7428683B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- photographed
- image processing
- patient
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 193
- 238000003672 processing method Methods 0.000 title claims description 6
- 210000000214 mouth Anatomy 0.000 claims description 85
- 238000005286 illumination Methods 0.000 claims description 39
- 238000000034 method Methods 0.000 claims description 27
- 238000003384 imaging method Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 15
- 238000011282 treatment Methods 0.000 description 149
- 238000004891 communication Methods 0.000 description 34
- 210000004262 dental pulp cavity Anatomy 0.000 description 21
- 238000010586 diagram Methods 0.000 description 16
- 238000004140 cleaning Methods 0.000 description 8
- 239000002131 composite material Substances 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000001225 therapeutic effect Effects 0.000 description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000003796 beauty Effects 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 230000036541 health Effects 0.000 description 4
- 238000004659 sterilization and disinfection Methods 0.000 description 4
- 208000018035 Dental disease Diseases 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 3
- 208000014151 Stomatognathic disease Diseases 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000001678 irradiating effect Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 241001576541 Corydalis cava Species 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 208000002925 dental caries Diseases 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 241000894006 Bacteria Species 0.000 description 1
- 208000005888 Periodontal Pocket Diseases 0.000 description 1
- 208000035415 Reinfection Diseases 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 210000003074 dental pulp Anatomy 0.000 description 1
- 230000000249 desinfective effect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000000945 filler Substances 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 239000003504 photosensitizing agent Substances 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 239000000565 sealant Substances 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Images
Landscapes
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Description
本開示は、画像を処理する画像処理装置、画像処理システム、画像処理方法、および画像処理プログラムに関する。 The present disclosure relates to an image processing device, an image processing system, an image processing method, and an image processing program that process images.
従来、診察中または治療中の患者をカメラで撮影することによって、診察中または治療中の患者を観察することが行われている。たとえば、特許文献1は、光感受性物質が蓄積された腫瘍組織に治療光を照射することによって腫瘍組織を消滅させるとともに、治療光を照射しながら通常光を照射して被検体内を撮影する電子内視鏡システムを開示する。
2. Description of the Related Art Conventionally, a patient being examined or treated has been observed by photographing the patient with a camera. For example,
特許文献1に開示された電子内視鏡システムにおいては、治療光が通常光よりも高出力であるため、治療光を照射しながら通常光を照射して被検体内を撮影すると、治療光の照射位置およびその周辺が白くぼけやる現象(以下、「ハレーション」とも称する。)が生じる場合があった。このように、患者の撮影部位に対して光が照射された状態で患者を撮影する場合、光の照射具合によってはハレーションが生じて適切に患者を撮影することができないおそれがあった。
In the electronic endoscope system disclosed in
本開示は、かかる問題を解決するためになされたものであり、その目的は、光が照射された状態であっても適切に患者を撮影する技術を提供することである。 The present disclosure has been made to solve such problems, and the purpose is to provide a technique for appropriately photographing a patient even when the patient is illuminated with light.
本開示の一例に従えば、画像を処理する画像処理装置が提供される。画像処理装置は、歯科用の診療椅子に横たわる患者の口腔内を中心に照明装置によって光が照射された状態で患者を上方から撮影して得られた複数の撮影画像が入力される入力部と、複数の撮影画像を処理する画像処理部とを備える。複数の撮影画像は、口腔の中心部分に露出を合わせて撮影された第1撮影画像と、口腔の中心部分以外に露出を合わせて撮影された第2撮影画像とを含む。画像処理部は、第1撮影画像と第2撮影画像とを合成する。 According to an example of the present disclosure, an image processing device that processes an image is provided. The image processing device includes an input section into which a plurality of captured images obtained by photographing a patient from above while the patient's oral cavity is irradiated with light by a lighting device while lying on a dental chair are inputted. , and an image processing unit that processes a plurality of captured images. The plurality of photographed images include a first photographed image photographed with exposure adjusted to the central portion of the oral cavity, and a second photographed image photographed with exposure adjusted to a portion other than the central portion of the oral cavity. The image processing unit combines the first captured image and the second captured image.
本開示の一例に従えば、画像を処理する画像処理システムが提供される。画像処理システムは、歯科用の診療椅子に横たわる患者の口腔内を中心に光を照射する照明装置と、照明装置によって光が照射された状態で患者を上方から撮影する少なくとも1つのカメラと、患者の撮影画像を処理する画像処理装置とを備える。少なくとも1つのカメラは、口腔の中心部分に露出を合わせて患者を撮影する第1撮影部と、口腔の中心部分以外に露出を合わせて患者を撮影する第2撮影部とを備える。画像処理装置は、第1撮影部によって撮影された第1撮影画像と第2撮影部によって撮影された第2撮影画像とを合成する。 According to one example of the present disclosure, an image processing system for processing images is provided. The image processing system includes: an illumination device that emits light mainly into the oral cavity of a patient lying on a dental treatment chair; at least one camera that photographs the patient from above while the patient is irradiated with light by the illumination device; and an image processing device that processes the captured images. The at least one camera includes a first imaging section that photographs the patient with exposure adjusted to the central portion of the oral cavity, and a second imaging section that photographs the patient with exposure adjusted to areas other than the central portion of the oral cavity. The image processing device combines a first photographed image photographed by the first photographing section and a second photographed image photographed by the second photographing section.
本開示の一例に従えば、コンピュータによる画像を処理する画像処理方法が提供される。画像処理方法は、歯科用の診療椅子に横たわる患者の口腔内を中心に照明装置によって光が照射された状態で患者を上方から撮影して得られた複数の撮影画像が入力される第1ステップと、複数の撮影画像を処理する第2ステップとを含む。複数の撮影画像は、口腔の中心部分に露出を合わせて撮影された第1撮影画像と、口腔の中心部分以外に露出を合わせて撮影された第2撮影画像とを含む。第2ステップは、第1撮影画像と第2撮影画像とを合成する。 According to an example of the present disclosure, an image processing method for processing an image using a computer is provided. The image processing method includes a first step in which a plurality of captured images obtained by photographing a patient from above while the patient's oral cavity is illuminated by a lighting device while lying on a dental chair are input. and a second step of processing a plurality of captured images. The plurality of photographed images include a first photographed image photographed with exposure adjusted to the central portion of the oral cavity, and a second photographed image photographed with exposure adjusted to a portion other than the central portion of the oral cavity. The second step is to combine the first photographed image and the second photographed image.
本開示の一例に従えば、画像を処理する画像処理プログラムが提供される。画像処理プログラムは、コンピュータに、歯科用の診療椅子に横たわる患者の口腔内を中心に照明装置によって光が照射された状態で患者を上方から撮影して得られた複数の撮影画像が入力される第1ステップと、複数の撮影画像を処理する第2ステップとを実行させる。複数の撮影画像は、口腔の中心部分に露出を合わせて撮影された第1撮影画像と、口腔の中心部分以外に露出を合わせて撮影された第2撮影画像とを含む。第2ステップは、第1撮影画像と第2撮影画像とを合成する。 According to an example of the present disclosure, an image processing program for processing an image is provided. In the image processing program, a plurality of captured images obtained by photographing a patient from above while the patient's oral cavity is irradiated with light by a lighting device are input into a computer while lying on a dental chair. A first step and a second step of processing a plurality of captured images are executed. The plurality of photographed images include a first photographed image photographed with exposure adjusted to the central portion of the oral cavity, and a second photographed image photographed with exposure adjusted to a portion other than the central portion of the oral cavity. The second step is to combine the first photographed image and the second photographed image.
本開示は、歯科用の診療椅子に横たわる患者の口腔内を中心に照明装置によって光が照射された状態で患者を上方から撮影した場合に、口腔の中心部分に露出を合わせて撮影された第1撮影画像と、口腔の中心部分以外に露出を合わせて撮影された第2撮影画像とを合成することによって、口腔の中心部分および中心部分以外のいずれにおいても露出が調整された撮影画像を得ることができる。これにより、光が照射された状態であっても適切に患者を撮影することができる。 The present disclosure relates to a method of photographing a patient lying on a dental chair from above, with the patient's oral cavity irradiated with light by a lighting device, and the patient is photographed from above with the exposure adjusted to the center of the oral cavity. By combining the first photographed image and the second photographed image, which was photographed with the exposure adjusted to areas other than the central part of the oral cavity, a photographed image in which the exposure was adjusted both in the central part of the oral cavity and other than the central part is obtained. be able to. Thereby, it is possible to appropriately photograph the patient even when the patient is irradiated with light.
本開示の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。 Embodiments of the present disclosure will be described in detail with reference to the drawings. Note that the same or corresponding parts in the figures are designated by the same reference numerals, and the description thereof will not be repeated.
<画像処理システムの全体構成>
図1は、本実施の形態に係る画像処理システム1000の全体構成を示す模式図である。図1に示すように、画像処理システム1000は、診療装置1と、画像処理装置100とを備える。
<Overall configuration of image processing system>
FIG. 1 is a schematic diagram showing the overall configuration of an
診療装置1は、たとえば、術者が患者に対して歯科の診療を行うためのチェアユニットである。「診療」は、歯科医師、歯科助手、歯科大学の先生、歯科大学の学生、および歯科技工士など、歯科における医療従事者(以下、「術者」とも称する。)によって行われる患者に対する診察および治療の少なくともいずれか1つを含む。本実施の形態においては、診療の内容を「診療内容」とも称する。「診察」は、術者が患者の歯科に関する病状および病因などを探ることを含む。本実施の形態においては、診察の内容を「診察内容」とも称する。「治療」は、術者が患者の歯科に関する病気を治すこと、および術者が患者の歯の美容や健康を保つこと(審美治療)を含む。本実施の形態においては、治療の内容を「治療内容」とも称する。「診療内容」は、「診察内容」および「治療内容」の少なくともいずれか1つを含む。術者が患者の歯科に関する病気を治すために行う行動(手当)、および術者が患者の歯の美容や健康を保つために行う行動(手当)を処置とも称し、治療は、1または複数の処置の組み合わせで構成される。本実施の形態においては、処置の内容を「処置内容」とも称する。「治療内容」は、1または複数の「処置内容」を含む。
The
治療内容の例としては、う蝕治療、根管治療、歯垢除去、インプラント、矯正、およびホワイトニングなどが挙げられるが、術者が患者の歯科に関する病気を治す治療の内容、および術者が患者の歯の美容や健康を保つ審美治療の内容であれば、いずれも治療内容に含まれる。処置内容の例としては、診査、切削、ファイリング、根管洗浄、乾燥、仮封、印象、スケーリング、補綴物の修正、歯周ポケットの測定、吸引、および抜歯などが挙げられるが、術者が患者の歯科に関する病気を治すために行う処置の内容、および術者が患者の歯の美容や健康を保つために行う処置の内容であれば、いずれも処置内容に含まれる。 Examples of treatment contents include caries treatment, root canal treatment, plaque removal, implants, orthodontics, and whitening. Any cosmetic treatment that maintains the beauty and health of teeth is included in the treatment content. Examples of procedures include examination, cutting, filing, root canal cleaning, drying, temporary sealing, impressions, scaling, prosthesis modification, periodontal pocket measurement, suction, and tooth extraction. The content of treatment includes the content of treatment performed to cure a patient's dental disease, and the content of treatment performed by an operator to maintain the beauty and health of the patient's teeth.
たとえば、根管治療は、う蝕の進行によって歯の根の中の歯髄(神経や血管など)が炎症または感染を起こしたときに必要となる治療であり、痛んだ歯髄を除去するとともに根管を洗浄・消毒し、再度の感染を防ぐために歯の根の中に詰め物をするといった治療である。根管治療は、処置内容として、診査、抜髄、根管長測定、洗浄・消毒、根管充填、および詰め込み・被せから構成されており、術者は患者に対してこれら各処置を順番に行うことで根管治療を施すことができる。 For example, root canal treatment is a treatment that is necessary when the dental pulp (nerves, blood vessels, etc.) in the root of a tooth becomes inflamed or infected due to the progression of dental caries. The treatment involves cleaning and disinfecting the tooth, and placing a filling inside the root of the tooth to prevent reinfection. Root canal treatment consists of examination, pulp extraction, root canal length measurement, cleaning/disinfection, root canal filling, and filling/covering, and the surgeon performs each of these procedures on the patient in order. This allows root canal treatment to be performed.
診査は、術者が患者に対してヒアリングを行ったり、患者の口腔内を検査することで患者の歯科に関する病状および病因を特定して治療方針を立てたりすることを含む処置である。抜髄は、根管治療において、痛んだ歯髄を除去することを含む処置である。根管長測定は、歯髄を除去した後の空洞になった根管の長さを測定することを含む処置である。洗浄・消毒は、空洞になった根管の奥まで洗浄して消毒することを含む処置である。根管充填は、洗浄・消毒後の根管内に細菌が侵入することを防ぐために、根管内に専用の薬剤を埋めることを含む処置である。詰め込み・被せは、根管内にゴムのような詰め物を詰め込み、その上に金属またはファイバー製の土台を作った上で、当該土台に被せ物(クラウン)を被せることを含む処置である。 An examination is a procedure that includes an operator interviewing a patient and inspecting the patient's oral cavity to identify the patient's dental condition and etiology and establishing a treatment plan. Pulp extraction is a procedure that involves removing the damaged pulp during root canal treatment. Root canal length measurement is a procedure that involves measuring the length of the hollow root canal after the pulp has been removed. Cleaning and disinfection is a procedure that involves deep cleaning and disinfection of the hollow root canal. Root canal filling is a procedure that involves filling the root canal with a special drug to prevent bacteria from entering the root canal after cleaning and disinfection. Filling/covering is a procedure that involves filling the root canal with a rubber-like filling, creating a metal or fiber base on top of it, and then placing a crown on the base.
診療装置1は、チェア11と、ベースンユニット12と、トレーテーブル13と、診療器具15を保持する器具ホルダ14と、フットコントローラ16と、ディスプレイ17と、操作パネル18と、照明装置(オペライト)19と、器具制御装置21と、表示制御装置22と、スピーカ35とを備える。
The
チェア11は、診療時に患者が座ったり横たわったりするための診療椅子である。チェア11は、患者の頭を支えるヘッドレスト11aと、患者の背中を支える背もたれ11bと、患者の尾尻を支える座面シート11cと、患者の足を支える足置き台11dとを含む。なお、診療装置1は、チェア11に代えて、患者が横たわる診療台を備えてもよい。
The
ベースンユニット12は、排水口が形成された鉢12aと、コップが載置されるコップ台12bと、コップに給水するための給水栓12cとを含む給水・排水装置である。
The
トレーテーブル13は、診療時の物置台として用いられる。トレーテーブル13は、チェア11またはチェア11が設置された床から延びるアーム(図示は省略する。)に接続されている。なお、トレーテーブル13は、チェア11またはチェア11が設置された床から延びるアーム(図示は省略する。)によって吊り下げられてもよい。たとえば、トレーテーブル13は、チェア11またはチェア11が設置された床から延びるポール5の上部で分岐するアーム6によって吊り下げられてもよい。術者は、トレーテーブル13をチェア11に対して手動で回動、水平移動、および垂直移動させることができる。診療中において、術者は、トレーテーブル13の上面にトレー30を置くことがある。トレー30には、患者を診療するための1または複数の診療器具が置かれる。
The tray table 13 is used as a storage stand during medical treatment. The tray table 13 is connected to an arm (not shown) extending from the
「診療器具」は、ラバーダム防湿一式、ラバーダムシート、根管長測定器、バーセット、ファイル(リーマ)、口角対極、ファールクリップ、ブローチ、洗浄用ニードル、洗浄用シリンジ、仮封材充填器、クレンザー、タービン、ピンセット、バキューム、ミラー、エキスカベーター、探針、および根管材料注入器など、術者によって診療中に用いられる診療用の器具である。なお、診療装置1の器具ホルダ14によって保持される診療器具15も「診療器具」に含まれるが、トレー30には、器具ホルダ14によって保持されない診療器具が主に置かれる。
"Medical equipment" includes a rubber dam moisture-proof set, rubber dam sheet, root canal length measuring device, bur set, file (reamer), mouth corner counter electrode, fur clip, brooch, cleaning needle, cleaning syringe, temporary sealant filler, cleanser. , turbines, tweezers, vacuums, mirrors, excavators, probes, root canal material injectors, and other medical instruments used by surgeons during medical treatment. Note that although the
診療器具15は、たとえば、エアタービンハンドピース、マイクロモータハンドピース、超音波スケーラ、およびバキュームシリンジなどの歯科診療用のインスツルメントであり、器具制御装置21の制御によって駆動する。なお、診療器具15は、これらに限らず、口腔内カメラ、光重合用照射器、根管長測定器、3次元スキャナ、および根管拡大器などであってもよいし、ミラー、注射器、および充填器具など、駆動しない器具であってもよい。
The
フットコントローラ16は、術者の足踏み操作を受け付ける複数のスイッチ(ペダル)を有する。術者は、これら複数のスイッチの各々に対して所定の機能を割り当てることができる。たとえば、術者は、チェア11の態様を変更する機能をフットコントローラ16のスイッチに対して割り当てることができ、フットコントローラ16が術者による当該スイッチの足踏み操作を受け付けると、当該足踏み操作に基づきヘッドレスト11aなどが駆動する。さらに、術者は、診療器具15を駆動する機能をフットコントローラ16のスイッチに対して割り当てることもでき、フットコントローラ16が術者による当該スイッチの足踏み操作を受け付けると、当該足踏み操作に基づく器具制御装置21の制御によって診療器具15が駆動する。なお、術者は、照明装置19の照明および消灯を制御する機能など、フットコントローラ16のスイッチに対してその他の機能を割り当てることもできる。
The
ディスプレイ17は、トレーテーブル13に取り付けられており、表示制御装置22の制御によって各種の画像を表示する。
The
操作パネル18は、チェア11および診療器具15などの動作、あるいは当該動作の設定を行うためのスイッチを含む。たとえば、チェア11を動作させるための入力操作を操作パネル18が受け付けると、当該入力操作に基づきチェア11が動作する。たとえば、診療器具15の回転速度などの設定を行うための入力操作を操作パネル18が受け付けると、当該入力操作に基づき診療器具15の回転速度などの設定を行うことができる。
The
照明装置19は、チェア11またはチェア11が設置された床から延びるポール5の上部で分岐するアーム6の先端に設けられている。照明装置19は、照明状態と消灯状態とに切り替えることができ、主に患者の口腔内を中心に光を照射することによって術者による診療をサポートする。術者は、アームを動かすことによって、照明装置19の位置を変更することができる。なお、照明装置19に限らず、ディスプレイ17も、ポール5またはアーム6の先端に取り付けられてもよい。
The
スピーカ35は、術者および患者などに対してアラートを発する音、および診療を補助するアシスト音など、各種の音を出力する。
The
上述したように構成された診療装置1を用いることで、術者は患者に対して歯科診療を行うことができる。ここで、画像処理システム1000は、歯科診療中の術者および患者の様子を撮影し、撮影によって得られた画像(以下、「撮影画像」とも称する。)を蓄積して記憶するように構成されている。診療中の撮影画像を蓄積して残すことで、診療中に生じたアクシデントを記録することができ、また、歯科診療の教材として撮影画像を用いることもできる。
By using the
さらに、本実施の形態においては、画像処理装置100は、診療中の撮影画像などに関するデータと、機械学習がなされたニューラルネットワークを含む推定モデルとを用いて、処置内容ないしは診療内容を推定することができるように構成されている。具体的には、術者においては、患者に対する診療内容を正確かつ容易に把握するといった要望がある。たとえば、歯科医師は、患者を診療したら遅滞なく経過を記録することが義務付けられている。しかしながら、歯科医師は、短時間で効率よく患者を診療することも求められているため、診療中に行った処置ないしは治療の内容を、その都度、記録することができない場合もある。近年、AI(Artificial Intelligence)を用いてデータの分析・学習を行い活用するといった技術が生み出されているが、AI技術を用いて歯科における診療内容などを推定することができれば、正確かつ容易に診療内容などを推定することができ、より利便性のある歯科診療を実現することができる。
Furthermore, in the present embodiment, the
ここで、歯科診療ならではの特徴として、診療目的に応じて複数の処置を組み合わせたり、各処置のために複数の診療器具の中から適切な診療器具を選択してトレー30から取り出して使ったりするなど、術者は、診療中に様々な動作を行う。また、診療器具を使う順番およびその種類は、診療中の処置の内容を表しているとも言える。さらに、複数の処置内容の組み合わせから診療内容が表されるといった階層構造にもなっているため、その階層を理解することができれば、診療内容を推定することが可能となる。
Here, as a feature unique to dental treatment, multiple treatments may be combined depending on the medical purpose, and appropriate medical instruments may be selected from among multiple medical instruments for each treatment and used by taking them out from the
そこで、上述したように、本実施の形態に係る画像処理システム1000(画像処理装置100)は、トレー30、診療装置1の動作、術者の行動、および患者の行動を、AIを用いて分析・学習することで、処置内容ないしは診療内容を推定するように構成されている。
Therefore, as described above, the image processing system 1000 (image processing device 100) according to the present embodiment analyzes the operations of the
図1に示すように、診療装置1には、複数のカメラが取り付けられている。具体的には、画像処理システム1000は、ディスプレイ17に取り付けられたトレーカメラ51と、ポール5の上部に取り付けられた全体カメラ52と、照明装置19に取り付けられた患者カメラとして第1カメラ53および第2カメラ54とを備える。第1カメラ53は、「第1カメラ」の一実施形態である。第2カメラ54は、「第2カメラ」の一実施形態である。トレーカメラ51、全体カメラ52、第1カメラ53、および第2カメラ54は、CCD(Charge Coupled Devices)イメージセンサおよびCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどのイメージングデバイスを搭載したカメラである。
As shown in FIG. 1, a plurality of cameras are attached to the
トレーカメラ51は、トレー30を少なくとも含む領域を動画または静止画で撮影するように配置されている。トレーカメラ51によって得られた撮影情報を含む画像データ(以下、「トレー画像データ」とも称する。)は、画像処理装置100によって取得される。トレーカメラ51におけるシャッタースピードなどの各種設定は、トレー30に置かれた診療器具の有無、形状、種類、およびトレーカメラ51の撮影領域における診療器具の位置などを画像処理装置100が認識できる程度に予め調整されている。なお、トレーカメラ51は、トレー30を少なくとも含む領域を撮影することができる場所であれば、いずれの場所に設置されてもよい。
The
全体カメラ52は、診療装置1を含む診療空間を少なくとも含む領域を動画または静止画で撮影するように配置されている。具体的には、全体カメラ52は、診療装置1を用いた診療中の診療空間における、少なくとも、歯科医師、歯科助手、および患者を含む広い領域を動画または静止画で撮影するように配置されている。全体カメラ52は、ポール5の上部に取り付けられているため、診療中の歯科医師、歯科助手、および患者の各々の行動と、診療装置1の動作とを上空から俯瞰して撮影する。
The
「診療空間」は、診療空間に含まれるオブジェクト全体を含む空間に限らず、診療中の術者、患者、および診療装置1など、診療空間に含まれるオブジェクトのうちの一部のオブジェクトを含む空間であってもよい。全体カメラ52によって得られた撮影情報を含む画像データ(以下、「全体画像データ」とも称する。)は、画像処理装置100によって取得される。全体カメラ52におけるシャッタースピードなどの各種設定は、診療中の歯科医師や歯科助手などの術者の行動、患者の行動、および診療装置1の動作などを画像処理装置100が認識できる程度に予め調整されている。
"Clinical care space" is not limited to a space that includes all of the objects included in the medical care space, but also a space that includes some of the objects included in the medical care space, such as the operator undergoing treatment, the patient, and the
なお、全体カメラ52は、患者を診療する診療空間を少なくとも含む領域を撮影することができる場所であれば、いずれの場所に設置されてもよい。全体カメラ52は、診療空間を平面で認識する他に、診療空間を奥行き方向で認識可能なデプスカメラであってもよい。全体カメラ52は、診療空間を全方位で撮影可能な360度カメラであってもよい。さらに、全体カメラ52は、診療空間に存在する撮影対象(たとえば、術者および患者などの人物)を追尾することができるものであってもよい。
Note that the
第1カメラ53および第2カメラ54は、患者の口腔内を少なくとも含む領域を動画または静止画で撮影するように配置されている。具体的には、第1カメラ53および第2カメラ54は、患者の口腔内を主として、患者の顔および顔の周辺を撮影する。
The
図2は、第1カメラおよび第2カメラの一例を説明するための図である。たとえば、図2に示すように、照明装置19は、点灯と消灯とを切り替え可能な複数の照明部190が環状に配置されるように構成されている。第1カメラ53は、環状に配置された複数の照明部190の上方に位置するようにして照明装置19に取り付けられている。第2カメラ54は、環状に配置された複数の照明部190によって取り囲まれるようにして照明装置19に取り付けられている。第1カメラ53および第2カメラ54は、照明装置19に取り付けられているため、照明装置19が移動することに従って第1カメラ53および第2カメラ54も移動する。
FIG. 2 is a diagram for explaining an example of the first camera and the second camera. For example, as shown in FIG. 2, the
通常、診療中において、照明装置19は、患者の顔の正面に位置して、患者の口腔内を中心に複数の照明部190からの光を照射する。照明装置19からの光の照射方向と、第1カメラ53および第2カメラ54による撮影方向とは、同一または略同一である。このため、照明装置19が患者の顔の正面に位置すると、照明装置19に取り付けられた第1カメラ53および第2カメラ54は、自然と患者の顔を含む領域を正面から撮影することができる。また、照明装置19の位置、すなわち第1カメラ53および第2カメラ54の位置は、被写体である患者の位置と十分に離れている。このため、後述する図6および図7に示すように、第1カメラ53の撮影領域と、第2カメラ54の撮影領域とは概ね一致する。
Normally, during medical treatment, the
第1カメラ53および第2カメラ54の各々によって得られた撮影情報を含む画像データ(以下、「患者画像データ」とも称する。)は、画像処理装置100によって取得される。第1カメラ53および第2カメラ54におけるシャッタースピードなどの各種設定は、診療中の患者の口腔内を画像処理装置100が認識できる程度に予め調整されている。
Image data including imaging information obtained by each of the
なお、第1カメラ53および第2カメラ54は、照明装置19からの光の照射方向と同一または略同一の撮影方向で患者の口腔内を少なくとも含む領域を撮影することができる場所であれば、照明装置19におけるいずれの場所に取り付けられてもよい。第1カメラ53および第2カメラ54は、口腔周辺の部位と診療器具とにおける奥行き方向(たとえば、第1カメラ53および第2カメラ54から患者を見る方向)の位置関係を画像処理装置100が検出できるように、全体カメラ52と同様に三次元の位置座標を検出可能であってもよい。
Note that the
上述したトレー画像データ、全体画像データ、および患者画像データをまとめて「画像関連データ」とも称する。なお、「画像関連データ」という用語は、トレー画像データ、全体画像データ、および患者画像データの全てを意味する場合もあるが、トレー画像データ、全体画像データ、および患者画像データのうちの少なくともいずれか1つを意味する場合もある。 The above-mentioned tray image data, whole image data, and patient image data are also collectively referred to as "image-related data." Note that the term "image-related data" may mean all of tray image data, whole image data, and patient image data; however, it may mean at least any of tray image data, whole image data, and patient image data. It can also mean one of the following.
画像処理装置100は、主にトレー画像データおよび患者画像データに基づき、撮影画像に含まれる診療器具などのオブジェクトの有無やその種類を検出する。画像処理装置100は、主に全体画像データに基づき、撮影画像に含まれる歯科医師、歯科助手、および患者などの人物の位置を検出する。「画像関連データ」は、上述した画像処理装置100による検出結果を含んでいてもよい。つまり、「画像関連データ」は、トレー画像データ、全体画像データ、および患者画像データそのものを含んでいてもよいし、これらのデータに基づき画像処理装置100の画像認識によって取得された検出結果を含んでいてもよい。
The
画像処理装置100は、取得した各種のデータに基づき、診療装置1を用いて行われた患者に対する診療の内容を推定するコンピュータ(後述する演算装置102)を搭載する。具体的には、画像処理装置100は、診療装置1に取り付けられたトレーカメラ51、全体カメラ52、第1カメラ53、および第2カメラ54の少なくともいずれか1つから、画像関連データを取得する。
The
なお、本実施の形態においては、表示装置110が画像処理装置100に接続されているが、表示装置110に限らずキーボードやマウスなどの操作ツール(ユーザインターフェース)が画像処理装置100に接続されていてもよい。
Note that in this embodiment, the
<画像処理システムの内部構成>
図3は、本実施の形態に係る画像処理システム1000の内部構成を示すブロック図である。図3に示すように、画像処理システム1000は、複数のカメラ(トレーカメラ51、全体カメラ52、第1カメラ53、第2カメラ54)と、診療装置1と、画像処理装置100とを備える。
<Internal configuration of image processing system>
FIG. 3 is a block diagram showing the internal configuration of
[診療装置の内部構成]
診療装置1は、チェア11と、器具制御装置21と、表示制御装置22と、音制御装置32と、ベースンユニット12とを備える。診療装置1の内部において、チェア11、器具制御装置21、表示制御装置22、音制御装置32、およびベースンユニット12の各々は、CAN(Controller Area Network)通信を介してデータの送受信を行うことができる。また、診療装置1は、画像処理装置100との間で、有線または無線のLAN(Local Area Network)通信、たとえばWiFiによる通信を介してデータの送受信を行うことができる。なお、診療装置1は、画像処理装置100との間で、USB(Universal Serial Bus)接続による通信を介してデータの送受信を行ってもよい。
[Internal configuration of medical device]
The
チェア11は、ヘッドレスト11aと、背もたれ11bと、座面シート11cと、足置き台11dとを含み、これらの各々は、チェア制御部111の制御に基づき駆動する。具体的には、チェア制御部111は、フットコントローラ16または操作パネル18によって受け付けられた術者の操作に基づく制御データ、あるいは、画像処理装置100からの制御データを受信すると、当該制御データに基づき、座面シート11cを上昇または下降させたり、ヘッドレスト11a、背もたれ11b、および足置き台11dを座面シート11cに対して垂直方向または水平方向に移動させたりする。ヘッドレスト11a、背もたれ11b、および足置き台11dが座面シート11cに対して垂直方向に位置すると、チェア11が起立した態様となる。これにより、患者がチェア11に座った姿勢になる。ヘッドレスト11a、背もたれ11b、および足置き台11dが座面シート11cに対して水平方向に位置すると、チェア11が傾斜した態様となる。これにより、患者がチェア11に横たわり、仰向け姿勢になる。このように、チェア制御部111は、ヘッドレスト11a、背もたれ11b、座面シート11c、および足置き台11dを駆動させてチェア11の姿勢を変更する。
The
器具制御装置21は、器具制御部211を含む。器具制御部211は、フットコントローラ16または操作パネル18によって受け付けられた術者の操作に基づく制御データ、あるいは、画像処理装置100からの制御データを受信すると、当該制御データに基づき、診療器具15の駆動または設定内容を制御する。たとえば、術者が、フットコントローラ16におけるエアタービンハンドピースを駆動するためのスイッチを足踏み操作すると、器具制御装置21は、エアタービンハンドピースのヘッド部に保持された切削工具を回転させる。たとえば、画像処理装置100が、エアハンドピースの回転方向または回転速度などを制御するための制御データを出力すると、器具制御装置21は、制御データに基づき、エアタービンハンドピースの回転方向または回転速度などを設定する。このように、器具制御装置21は、フットコントローラ16または操作パネル18に対する術者の操作に基づき診療器具15の駆動を制御する。
The
表示制御装置22は、ディスプレイ制御部221と、パネル制御部222とを含む。ディスプレイ制御部221は、画像処理装置100からの制御データを受信すると、当該制御データに基づき、ディスプレイ17を制御する。パネル制御部222は、画像処理装置100の制御に基づく制御データを受信すると、当該制御データに基づき、操作パネル18を制御する。
音制御装置32は、音制御部321を含む。音制御部321は、画像処理装置100からの制御データをCAN通信を受信すると、当該制御データに基づき、スピーカ35を制御する。
The
ベースンユニット12は、ベースン制御部121と、照明制御部122とを含む。ベースン制御部121は、画像処理装置100からの制御データを受信すると、当該制御データに基づき、ベースンユニット12における給水および排水を制御する。照明制御部122は、画像処理装置100からの制御データを受信すると、当該制御データに基づき、照明装置19の照明および消灯を制御する。
上述したチェア制御部111、器具制御部211、ディスプレイ制御部221、パネル制御部222、音制御部321、ベースン制御部121、および照明制御部122の各々は、図示しない基板上に実装されたCPU(Central Processing Unit)、ROM(Read Only Memory)、およびRAM(Random access memory)などによって構成される。なお、チェア制御部111、器具制御部211、ディスプレイ制御部221、パネル制御部222、音制御部321、ベースン制御部121、および照明制御部122の各々は、予め診療装置1に備え付けられていてもよいし、モジュール化されることでオプションとして任意に診療装置1に取り付け可能であってもよい。
Each of the
チェア制御部111、器具制御部211、ディスプレイ制御部221、パネル制御部222、音制御部321、ベースン制御部121、および照明制御部122の各々におけるCAN通信では、各制御部におけるログデータを含む診療関連データを通信パケットにして、制御部間で互いに通信が行われる。なお、制御部間の通信では、診療関連データが送受信されさえすれば当該診療関連データを必ずしも通信パケットにする必要はない。
CAN communication in each of the
「診療関連データ」は、診療装置1が備えるチェア11、ベースンユニット12、照明装置19、器具制御装置21、表示制御装置22、診療器具15、フットコントローラ16、ディスプレイ17、操作パネル18の少なくともいずれか1つにおける過去および現在の少なくとも1つの制御データを含む。たとえば、上述したように、「診療関連データ」は、診療装置1が備えるチェア11、ベースンユニット12、照明装置19、器具制御装置21、表示制御装置22、診療器具15、フットコントローラ16、ディスプレイ17、および操作パネル18の各々における動作および制御の履歴を示すログデータを含む。なお、「診療関連データ」は、ログデータのように各種装置における動作および制御の履歴データに限らず、各種装置における動作および制御のリアルタイムのデータを含んでいてもよい。さらに、「診療関連データ」は、各種装置における現在のステータスに関するデータを含んでいてもよい。たとえば、「診療関連データ」は、チェア11の現在の態様(姿勢および位置など)を特定するためのデータを含んでいてもよい。
"Medical care related data" includes at least any of the
ベースンユニット12は、診療装置1内のログデータを含む診療関連データを蓄積する蓄積部123と、蓄積部123によって蓄積された診療関連データを通信によって画像処理装置100に出力するための通信部124とを含む。
The
蓄積部123は、チェア制御部111、器具制御部211、ディスプレイ制御部221、パネル制御部222、音制御部321、ベースン制御部121、および照明制御部122の各々との間でCAN通信することで、各制御部から診療関連データを収集して蓄積する。蓄積部123は、図示しない基板上に実装されたROMまたはRAMなどのメモリによって構成されてもよいし、メモリカードなどの不揮発の記憶媒体で構成されてもよい。
The
通信部124は、有線または無線のLAN通信、あるいはUSB接続によって画像処理装置100との間で通信する。なお、蓄積部123がメモリカードなどの不揮発の記憶媒体で構成されている場合、画像処理装置100は、通信装置101によって診療装置1の通信部124を介して、当該記憶媒体に蓄積されている診療関連データを取得してもよい。また、画像処理装置100は、一時的に記憶する揮発性の記憶媒体を介して、CAN通信に流れている診療関連データを、直接的に取得してもよい。
The
[画像処理装置の内部構成]
画像処理装置100は、通信装置101と、演算装置102と、記憶装置103とを備える。
[Internal configuration of image processing device]
The
通信装置101は、診療装置1との間で通信する一方で、トレーカメラ51、全体カメラ52、第1カメラ53、および第2カメラ54の各々との間で通信可能である。通信装置101は、有線または無線のLAN通信、あるいはUSB接続によって各カメラとの間で通信することで、各カメラから画像関連データを取得する。なお、通信装置101は、その他の形式で各カメラから画像関連データを取得してもよい。たとえば、通信装置101は、各カメラから取り出されたメモリカードなどの不揮発の記録媒体に一時的に記録される画像関連データを取得してもよい。なお、診療装置1との間の通信と、各カメラとの間の通信とは、互いに別の装置で行われてもよい。
The
通信装置101は、有線または無線のLAN通信、あるいはUSB接続によって診療装置1との間で通信することで、診療装置1から診療関連データを取得する。なお、通信装置101は、その他の形式で診療装置1から診療関連データを取得してもよい。たとえば、上述したように、蓄積部123がメモリカードなどの不揮発の記憶媒体で構成されている場合、画像処理装置100は、通信装置101によって診療装置1の通信部124を介して、当該記憶媒体に蓄積されている診療関連データを取得してもよい。
The
演算装置102は、各種のプログラムを実行することで、各種の処理を実行する演算主体(コンピュータ)である。演算装置102は、たとえば、CPU、FPGA(Field-Programmable Gate Array)、およびGPU(Graphics Processing Unit)などで構成される。
The
なお、演算装置102は、CPU、FPGA、およびGPUのうちの少なくともいずれか1つで構成されてもよいし、CPUとFPGA、FPGAとGPU、CPUとGPU、あるいはCPU、FPGA、およびGPUから構成されてもよい。また、演算装置102は、演算回路(processing circuitry)で構成されてもよい。
Note that the
記憶装置103は、演算装置102が任意のプログラムを実行するにあたって、プログラムコードやワークメモリなどを一時的に格納する揮発性の第1記憶領域(たとえば、ワーキングエリア)を含む。たとえば、記憶装置103は、DRAM(Dynamic Random Access Memory)またはSRAM(Static Random Access Memory)などの揮発性メモリデバイスで構成される。さらに、記憶装置103は、不揮発性の第2記憶領域を含む。たとえば、記憶装置103は、ハードディスクまたはSSD(Solid State Drive)などの不揮発性メモリデバイスで構成される。
The
なお、本実施の形態においては、揮発性の第1記憶領域と不揮発性の第2記憶領域とが同一の記憶装置103に含まれる例を示したが、揮発性の第1記憶領域と不揮発性の第2記憶領域とが互いに異なる記憶装置に含まれていてもよい。たとえば、演算装置102が揮発性の第1記憶領域を含んでいてもよい。画像処理装置100は、演算装置102と、記憶装置103とを含むマイクロコンピュータを備えていてもよい。
Note that in this embodiment, an example is shown in which the volatile first storage area and the nonvolatile second storage area are included in the
記憶装置103は、画像処理装置100が備えるものに限らない。たとえば、診療装置1に通信可能に接続された院内サーバが記憶装置103を備えていてもよいし、診療装置1が設置された診療空間外に設置された院外サーバが記憶装置103を備えていてもよい。さらに、記憶装置103は、複数の診療装置1のそれぞれが備える複数の画像処理装置100が通信可能なクラウドコンピューティングの態様で存在してもよい。このようにすれば、複数の診療装置1から取得した画像関連データおよび診療関連データを記憶装置103によって一律に蓄積しかつ管理することができる。
The
記憶装置103は、推定モデル161と、推定プログラム141と、画像処理プログラム142とを格納する。
The
推定モデル161は、たとえば、ニューラルネットワークと、ニューラルネットワークにおける処理で用いられるパラメータ(判定閾値、重み係数など)とを含み、各カメラから取得した画像関連データおよび診療装置1から取得した診療関連データの少なくともいずれか1つと、ニューラルネットワークなどとに基づき、患者の診療内容を推定する。推定モデル161は、画像関連データおよび診療関連データの少なくともいずれか1つに基づき機械学習を行うことで最適化(調整)される。具体的には、推定モデル161は、ニューラルネットワークにおける処理で用いられるパラメータが教師データ(たとえば、画像関連データおよび診療関連データと、正解データである診療内容とのセット)などに基づいて適正化されることで、患者の診療内容の推定精度を向上させることができる。
The
なお、演算装置102が診療内容を推定する処理を「推定処理」とも称し、演算装置102が推定モデルを学習する処理を「学習処理」とも称する。さらに、学習処理によって最適化された推定モデルを、特に「学習済モデル」とも称する。つまり、本実施の形態においては、学習前の推定モデルおよび学習済みの推定モデルをまとめて「推定モデル」と総称する一方で、特に、学習済みの推定モデルを「学習済モデル」とも称する。なお、画像関連データおよび診療関連データは、診療内容の推定処理に用いられるため、まとめて「推定用データ」とも称される。
Note that the processing in which the
推定プログラム141は、演算装置102が推定処理および学習処理を実行するためのプログラムである。なお、画像処理装置100は、推定処理によって得られた推定結果に基づき、各制御対象を制御するための制御データを生成するとともに、生成した制御データを各制御対象に出力する制御プログラムを含んでいてもよい。
The
画像処理プログラム142は、各カメラによる診療空間または患者の撮影を制御するとともに、各カメラによって得られた撮影画像に対して画像処理を実行するためのプログラムである。 The image processing program 142 is a program for controlling the imaging of a medical treatment space or a patient by each camera, and for executing image processing on the captured images obtained by each camera.
たとえば、画像処理プログラム142は、第1カメラ53および第2カメラ54を含む各カメラにおける撮影時の露出を調整するためのソースコードを含む。「露出」とは、カメラの撮像素子(イメージングセンサ)に光を取り込むこと、またはその光の量のことである。露出は、絞り(F値)、シャッタースピード、およびISO感度の少なくともいずれか1つを調整することで調整され得る。絞り(F値)を調整することで、カメラのレンズの内径の大きさが調整され得る。シャッタースピードを調整することで、カメラの撮像素子に光を取り込む時間が調整され得る。ISO感度を調整することで、カメラの撮像素子に取り込んだ光に対する感度が調整され得る。画像処理装置100は、演算装置102が画像処理プログラム142を実行することで、第1カメラ53および第2カメラ54の各々における撮影時の露出を調整することができる。なお、画像処理装置100が各カメラの露出を調整することに限らず、各カメラにおいて予め露出が調整されていてもよい。
For example, the image processing program 142 includes source code for adjusting the exposure during shooting in each camera including the
さらに、画像処理プログラム142は、第1カメラ53によって得られた撮影画像(以下、「第1撮影画像」とも称する。)と、第2カメラ54によって得られた撮影画像(以下、「第2撮影画像」とも称する。)とを合成するためのソースコードを含む。画像処理装置100は、画像処理プログラム142を実行することで、第1カメラ53の第1撮影画像と、第2カメラ54の第2撮影画像とを合成することができる。
Further, the image processing program 142 processes the captured image obtained by the first camera 53 (hereinafter also referred to as "first captured image") and the captured image obtained by the second camera 54 (hereinafter referred to as "second captured image"). Contains source code for synthesizing images (also referred to as "images"). The
画像処理装置100には、表示装置110が接続されている。表示装置110は、たとえば、推定した診療内容または処置内容を示す内容(文字、アイコン、画像など)、各種の画像を表示する。なお、表示装置110に限らずキーボードやマウスなどの操作ツール(ユーザインターフェース)が画像処理装置100に接続されていてもよく、術者などのユーザによって学習処理用のデータが入力されるように構成されてもよい。表示装置110は、画像処理装置100が備えていてもよい。
A
上述した例では、画像処理装置100が診療装置1と別体となるように構成されていたが、画像処理装置100は、エッジコンピューティングの態様で、診療装置1の内部に小型のコンピュータとして実装されてもよい。この場合、画像処理装置100は、診療装置1に含まれるチェア11、器具制御装置21、表示制御装置22、音制御装置32、およびベースンユニット12の各々との間で、CAN通信を介してデータの送受信を行ってもよい。
In the example described above, the
<診療内容の推定の一例>
図4を参照しながら、画像処理装置100による診療内容の推定の一例について説明する。図4は、推定用の同期データの一例を説明するための図である。なお、図4には、画像関連データを用いて根管治療を推定する例が示されている。
<Example of estimation of medical treatment details>
An example of estimating medical treatment content by the
診療中においては、トレーカメラ51によって、シャッタータイミングに依存する所定のタイミングごとに、トレー30に置かれた1または複数の診療器具が撮影される。画像処理装置100は、トレーカメラ51の撮影画像のデータ(トレー画像データ)が入力されると、画像認識によって、撮影画像に含まれる特徴量を抽出する。
During medical treatment, one or more medical instruments placed on the
たとえば、図4に示すように、画像処理装置100は、所定の同期タイミング(T1、T2、T3、…)ごとに、トレー30に置かれた診療器具の有無、形状、種類、および位置などを推定し、トレー30上に存在する診療器具に対応する記憶領域に「0」のデータを格納し、トレー30上に存在しない診療器具に対応する記憶領域に「1」のデータを格納する。これにより、図4に示すように、画像処理装置100は、同期タイミングごとに診療器具の有無を区別可能な推定用データ(トレー画像データ)を得ることができる。
For example, as shown in FIG. 4, the
診療中においては、第1カメラ53および第2カメラ54の各々によって、シャッタータイミングに依存する所定のタイミングごとに、患者の顔および顔の周辺が撮影される。画像処理装置100は、第1カメラ53および第2カメラ54の各々から撮影画像のデータ(患者画像データ)が入力されると、第1カメラ53の第1撮影画像と、第2カメラ54の第2撮影画像とを合成することで、所定のタイミングごとに1枚の合成画像を生成する。画像処理装置100は、画像認識によって、合成画像に含まれる特徴量を抽出する。
During medical treatment, each of the
たとえば、図4に示すように、画像処理装置100は、所定の同期タイミング(T1、T2、T3、…)ごとに、患者の口腔周辺における診療器具の位置などを推定し、診療器具と患者の唇、診療器具と患者の頬、診療器具と患者の頭、または診療器具と患者の顎との位置関係において、両者が所定範囲内に位置しない場合に記憶領域に「0」のデータを格納し、両者が所定範囲内に位置する場合に記憶領域に「1」のデータを格納する。これにより、画像処理装置100は、同期タイミングごとに患者の周辺における診療器具の位置を特定可能な推定用データ(患者画像データ)を得ることができる。たとえば、診療器具が患者の下唇付近に位置し、かつ、診療器具が患者の右頬付近に位置する場合、画像処理装置100は、患者の口腔内における右下付近の歯牙を治療中であることを推定することができる。また、診療器具が患者の頭付近または患者の顎付近に位置する場合、画像処理装置100は、患者に診療器具が近づいていることを推定することができる。
For example, as shown in FIG. 4, the
診療中においては、全体カメラ52によって、シャッタータイミングに依存する所定のタイミングごとに、術者および患者の行動、診療装置1の動作などが撮影される。画像処理装置100は、全体カメラ52の撮影画像のデータ(全体画像データ)が入力されると、画像認識によって、撮影画像に含まれる特徴量を抽出する。
During medical treatment, the
たとえば、図4に示すように、画像処理装置100は、所定の同期タイミング(T1、T2、T3、…)ごとに、歯科医師または歯科助手などの術者の行動、患者の行動、および診療装置1の動作などを推定し、術者と患者、または診療器具と患者との位置関係において、両者が所定範囲内に位置しない場合に記憶領域に「0」のデータを格納し、両者が所定範囲内に位置する場合に記憶領域に「1」のデータを格納する。これにより、画像処理装置100は、同期タイミングごとに術者の行動、患者の行動、および診療装置1の動作を特定可能な推定用データ(全体画像データ)を得ることができる。
For example, as shown in FIG. 4, the
画像処理装置100は、上述したようにして得られた推定用データに基づき、診療内容または処置内容を推定するための特徴を見出すことで、診療内容または処置内容を推定することができる。さらに、画像処理装置100は、患者画像データまたは全体画像データに基づき診療器具が患者の顔に近づいていることを推定することで、診療器具が患者の顔に近づいていることを報知する画像を表示装置110に表示させたり、診療器具が患者の顔に近づいていることを報知する音を診療装置1のスピーカ35から報知させたりする。
The
<患者カメラの撮影画像>
上述したように、本実施の形態においては、第1カメラ53および第2カメラ54は、照明装置19に取り付けられ、患者の口腔内を主として、患者の顔および顔の周辺を撮影するように構成されている。さらに診療中において、第1カメラ53および第2カメラ54は、チェア11に横たわる患者の口腔内を中心に照明装置19によって光が照射された状態で患者を上方から撮影する。
<Image taken by patient camera>
As described above, in this embodiment, the
ここで、患者の口腔内を中心に照明装置19によって光が照射された状態で患者を上方から撮影すると、照明装置19の光によって特に患者の口腔内が白くぼけやる現象(ハレーション)が生じ、適切に患者を撮影することができないおそれがある。照明装置19は、原則、術者が患者の口腔内を見やすいように口腔の中心部分(中心付近、口腔の内側)に向けて光を照射しており、第1カメラ53や第2カメラ54の撮影のために適した照射にはなっていないからである。
Here, when a patient is photographed from above with the patient's oral cavity irradiated with light by the
たとえば、図5は、第1カメラおよび第2カメラの各々のダイナミックレンジの一例を説明するための図である。なお、ダイナミックレンジとは、一度の撮影でカメラが識別できる照度範囲のことである。図5に示すように、照明装置19によって光が照射されない部分の照度範囲(D1~D2)と、照明装置19によって光が照射される部分の照度範囲(D3~D4)とは、重複し難い。カメラのダイナミックレンジの範囲には限界があるため、光が照射されない部分の照度範囲(D1~D2)にカメラのダイナミックレンジを合わせるように露出を調整すれば、光が照射される部分の照度範囲(D3~D4)にカメラのダイナミックレンジを合わせることが難しい。一方、光が照射される部分の照度範囲(D3~D4)にカメラのダイナミックレンジを合わせるように露出を調整すれば、光が照射されない部分の照度範囲(D1~D2)にカメラのダイナミックレンジを合わせることが難しい。特に、CCDイメージセンサのようなイメージングデバイスを搭載したカメラの場合、照度範囲が極端に異なる複数の部分(被写体)をハレーションを生じさせることなく1つのカメラで1回で撮影することは難しい。
For example, FIG. 5 is a diagram for explaining an example of the dynamic range of each of the first camera and the second camera. Note that the dynamic range is the range of illuminance that can be identified by the camera in one shot. As shown in FIG. 5, the illuminance range (D1 to D2) of a portion not irradiated with light by the
そこで、本実施の形態においては、第1カメラ53および第2カメラ54といった複数の患者カメラを用いて患者を撮影するとともに、第1カメラ53と第2カメラ54とで、露出を調整する部分を異ならせる。そして、画像処理装置100は、第1カメラ53の撮影によって得られた第1撮影画像と、第2カメラ54の撮影によって得られた第2撮影画像とを合成することで、患者の口腔内を中心に照明装置19によって光が照射された状態であっても、光が照射された患者の口腔内と、光が照射されていない患者の口腔内以外の部分(たとえば、患者の顔の周辺部分)とのいずれも明確となる撮影画像を得ることができる。以下、画像処理装置100による画像処理について具体的に説明する。
Therefore, in this embodiment, a plurality of patient cameras such as the
図6は、第1カメラ53の第1撮影画像の一例を説明するための図である。患者の口腔内を中心に照明装置19によって光が照射された状態で、第1カメラ53は、口腔の中心部分に露出を合わせて患者を撮影する。具体的には、第1カメラ53は、照明装置19の光によって明るく照らされた口腔の中心部分を明確に撮影するように、露出を小さくすることで、第1カメラ53の撮像素子(イメージングセンサ)に取り込まれる光の量を所定量以下に調整する。
FIG. 6 is a diagram for explaining an example of the first image taken by the
これにより、図6に示すように、第1撮影画像においては、照明装置19の光が照射された口腔の中心部分が中心部分以外よりも明確に示される。一方、口腔の中心部分以外は、照明装置19の光が照射されず、かつ、第1カメラ53の露出も小さく設定されているため、第1撮影画像においては、口腔の中心部分以外が中心部分よりも暗くなるように示される。
As a result, as shown in FIG. 6, in the first photographed image, the central portion of the oral cavity irradiated with the light from the
図7は、第2カメラ54の第2撮影画像の一例を説明するための図である。患者の口腔内を中心に照明装置19によって光が照射された状態で、第2カメラ54は、口腔の中心部分以外に露出を合わせて患者を撮影する。具体的には、第2カメラ54は、照明装置19によって光が照射されていない口腔の中心部分以外を明確に撮影するように、露出を大きくすることで、第2カメラ54の撮像素子(イメージングセンサ)に取り込まれる光の量を所定量以上に調整する。より具体的には、第2カメラ54の露出は、第1カメラ53の露出よりも大きくなるように露出が調整される。
FIG. 7 is a diagram for explaining an example of the second image taken by the
これにより、図7に示すように、第2撮影画像においては、照明装置19の光が照射されていない口腔の中心部分以外が中心部分よりも明確に示される。一方、口腔の中心部分は、照明装置19の光が照射され、かつ、第2カメラ54の露出も大きく設定されているため、第2撮影画像においては、口腔の中心部分が中心部分以外よりも白くなるように示される。すなわち、口腔の中心部分は、ハレーションが生じている。
As a result, as shown in FIG. 7, in the second photographed image, parts other than the central part of the oral cavity that are not irradiated with light from the
図8は、第1カメラ53の第1撮影画像と第2カメラ54の第2撮影画像とを合成した合成画像の一例を説明するための図である。図8に示すように、画像処理装置100は、第1撮影画像(図8(A)の画像)と、第2撮影画像(図8(B)の画像)とを合成する。具体的には、画像処理装置100は、第1撮影画像および第2撮影画像の各々において、左上の端を原点としてX軸およびY軸からなる仮想のピクセル座標を設定する。画像処理装置100は、ピクセル座標の原点を基準に合わせるようにして、第1撮影画像と第2撮影画像とを合成することで、合成画像(図8(C)の画像)を生成する。
FIG. 8 is a diagram for explaining an example of a composite image obtained by combining the first image captured by the
画像処理装置100は、第1撮影画像のハレーションが発生していない口腔の中心部分(第1部分、たとえば口腔の内側部分)を検出し、第2撮影画像のハレーションが発生していない口腔の中心部分以外(第2部分、たとえば口腔の外側部分)を検出し、それぞれの画像を上述の基準に基づいて合わせつつ、検出した第1部分および第2部分を残し、それら以外の部分を除去することで、第1撮影画像と第2撮影画像とを合成する。また、第1撮影画像および第2撮影画像の各々においてハレーションが発生している部分は、ハレーションが発生していない第1部分や第2部分と比較して画素値が大きく異なる。このため、画像処理装置100は、画素値が大きく変化する部分に基づいて、上述したような第1部分および第2部分の検出を行う。第1カメラ53および第2カメラ54は、同じ照明装置19に取り付けられているが、第1カメラ53と第2カメラ54とで照明装置19に対する取り付け位置が多少異なるため、第1カメラ53と第2カメラ54とで口腔に対する光軸の角度が微妙に異なっている。このため、画像処理装置100は、第1撮影画像および第2撮影画像のうちの少なくとも1つについて、視点変換の補正を行うことで、第1撮影画像と第2撮影画像とで同じ光軸のカメラが撮影したような画像を生成してもよい。
The
図8(C)に示すように、第1撮影画像によって明確に示された口腔の中心部分(すなわち、ハレーションが発生していない部分)と、第2撮影画像によって明確に示された口腔の中心部分以外(すなわち、ハレーションが発生していない部分)とが合わさることで、合成画像においては、患者の口腔の中心部分(すなわち、ハレーションが発生していない部分)を含む顔全体および顔の周辺部分が明確に示される。画像処理装置100は、画像認識によって、このような合成画像に含まれる特徴量を抽出することで、図4の例で示したように、患者の周辺における診療器具の位置を特定可能な推定用データ(患者画像データ)を推定することができる。
As shown in FIG. 8(C), the center of the oral cavity clearly shown in the first photographed image (i.e., the part where no halation occurs) and the center of the oral cavity clearly shown in the second photographed image. By combining other parts (i.e., parts where halation does not occur), the composite image includes the entire face including the central part of the patient's oral cavity (i.e., the part where halation does not occur) and the peripheral parts of the face. is clearly shown. The
<画像処理装置の機能構成>
図9は、本実施の形態に係る画像処理装置100の機能構成を示すブロック図である。図9に示すように、画像処理装置100は、主な機能部として、入力部1101と、画像処理部1102と、記憶部1103とを備える。なお、入力部1101は、通信装置101の機能部であり、画像処理部1102は、演算装置102の機能部であり、記憶部1103は、記憶装置103の機能部である。
<Functional configuration of image processing device>
FIG. 9 is a block diagram showing the functional configuration of
入力部1101は、第1撮影部501による撮影によって得られた第1撮影画像を取得する。第1撮影部501は、第1カメラ53の機能部である。第1撮影部501は、時系列で患者を撮影し、入力部1101には、第1撮影部501から時系列で撮影された複数の第1撮影画像が時系列に入力される。
The
入力部1101は、第2撮影部502による撮影によって得られた第2撮影画像を取得する。第2撮影部502は、第2カメラ54の機能部である。第2撮影部502は、時系列で患者を撮影し、入力部1101には、第2撮影部502から時系列で撮影された複数の第2撮影画像が時系列に入力される。
The
画像処理部1102は、入力部1101に入力される第1撮影画像と第2撮影画像とを合成する。画像処理部1102は、記憶装置103における揮発性の第1記憶領域において、第1撮影画像と第2撮影画像とを合成する。具体的には、画像処理部1102は、第1記憶領域において過去の記憶情報を上書きしながら第1撮影画像と第2撮影画像とを合成する。一方、画像処理部1102は、合成によって得られた合成画像を、記憶装置103における不揮発性の第2記憶領域に蓄積して記憶する。
The
これにより、揮発性の第1記憶領域においては過去の記憶情報が残らないため、記憶装置103が記憶するデータ量の増大を抑えることができる。さらに、不揮発性の第2記憶領域においては加工後の撮影画像を蓄積して記憶することができる。
As a result, past storage information does not remain in the volatile first storage area, so it is possible to suppress an increase in the amount of data stored in the
<画像処理装置の画像処理>
図10を参照しながら、画像処理装置100が実行する画像処理について説明する。図10は、本実施の形態に係る画像処理装置100が実行する画像処理の一例を説明するためのフローチャートである。図10に示す各ステップ(以下、「S」で示す。)は、画像処理装置100の演算装置102が画像処理プログラム142を実行することで実現される。なお、画像処理装置100は、診療中に限らず画像処理を常に繰り返し実行してもよいし、患者がチェア11に座った後に画像処理を繰り返し実行してもよいし、患者がチェア11に座って診療が開始された後に画像処理を繰り返し実行してもよい。
<Image processing of image processing device>
Image processing performed by the
図10に示すように、画像処理装置100は、第1カメラ53から第1撮影画像を取得するとともに、第2カメラ54から第2撮影画像を取得する(S1)。図6で示したように、第1撮影画像は、第1カメラ53によって口腔の中心部分に露出を合わせて撮影された画像である。図7で示したように、第2撮影画像は、第2カメラ54によって口腔の中心部分以外に露出を合わせて撮影された画像である。
As shown in FIG. 10, the
画像処理装置100は、第1撮影画像および第2撮影画像の各々において仮想のピクセル座標を設定し、ピクセル座標の原点を合わせるようにして、第1撮影画像と第2撮影画像とを合成する(S3)。
The
画像処理装置100は、第1撮影画像と第2撮影画像とを合成した後、その合成画像を記憶装置103に蓄積して記憶し(S3)、本処理フローを終了する。
After combining the first photographed image and the second photographed image, the
以上のように、画像処理装置100は、チェア11に横たわる患者の口腔内を中心に照明装置19によって光が照射された状態で患者を上方から撮影した場合に、第1カメラ53によって口腔の中心部分に露出を合わせて撮影された第1撮影画像と、第2カメラ54によって口腔の中心部分以外に露出を合わせて撮影された第2撮影画像とを合成することによって、口腔の中心部分および中心部分以外のいずれにおいても露出が調整された撮影画像を得ることができる。これにより、光が照射された状態であっても適切に患者を撮影することができる。
As described above, when the
<変形例>
本開示は、上記の実施例に限られず、さらに種々の変形、応用が可能である。以下、本開示に適用可能な変形例について説明する。
<Modified example>
The present disclosure is not limited to the above embodiments, and various modifications and applications are possible. Modifications applicable to the present disclosure will be described below.
[患者カメラについて]
本実施の形態においては、画像処理システム1000は、照明装置19に取り付けられた患者カメラとして、第1カメラ53および第2カメラ54といった2つの患者カメラを備えていた。しかしながら、画像処理システム1000は、照明装置19に取り付けられた患者カメラとして、3つ以上の患者カメラを備えていてもよい。たとえば、画像処理システム1000は、口腔の中心部分に露出を合わせて撮影する患者カメラとして、1または複数の第1カメラ53を備えていてもよいし、口腔の中心部分以外に露出を合わせて撮影する患者カメラとして、1または複数の第2カメラ54を備えていてもよい。さらに、画像処理装置100は、1または複数の第1カメラ53の撮影によって得られた1または複数の第1撮影画像と、1または複数の第2カメラ54の撮影によって得られた1または複数の第2撮影画像とを合成してもよい。
[About patient camera]
In this embodiment, the
さらに、画像処理システム1000は、照明装置19に取り付けられた患者カメラとして、1つの患者カメラを備えていてもよい。すなわち、第1撮影画像および第2撮影画像は、一の患者カメラの撮影によって得られた撮影画像であってもよい。
Further, the
たとえば、図11は、変形例に係る患者カメラの撮影態様を説明するための図である。図11に示すように、照明装置19に取り付けられた一の患者カメラは、タイミングt1で第1撮影画像を取得し、t1からΔt後のタイミングt2で第2撮影画像を取得し、t2からΔt後のタイミングt3で第1撮影画像を取得し、t3からΔt後のタイミングt4で第1撮影画像を取得するといったように、第1撮影画像と第2撮影画像とを時系列で交互に(時分割で)取得してもよい。さらに、画像処理装置100は、一の患者カメラの撮影によって時系列で得られた第1撮影画像と、第2撮影画像とを合成してもよい。
For example, FIG. 11 is a diagram for explaining an imaging mode of a patient camera according to a modified example. As shown in FIG. 11, one patient camera attached to the
さらに、画像処理装置100は、画像として重要度が比較的高い口腔の中心部分が明確な第1撮影画像の取得を第1所定回数(たとえば、3回)に亘って行い、Δt後のタイミングで、重要度が比較的低い口腔の中心部分以外が明確な第2撮影画像の取得を第1所定回数よりも少ない第2所定回数(たとえば、1回)に亘って行い、このような取得を繰り返してもよい。第1所定回数および第2所定回数の各々はそれぞれ予め設定され得る。
Furthermore, the
また、画像処理装置100は、第1撮影画像および第2撮影画像の取得について、各々の画像を交互に1回ずつ取得する第1モードを基本としつつ、第1所定タイミング(たとええば、診療器具15におけるエアハンドピースなどの制御開始タイミング)で、上述したように、第1所定回数および第2所定回数のそれぞれで第1撮影画像および第2撮影画像を取得する第2モードへ移行してもよい。画像処理装置100は、このように撮影画像の取得を動的に変化させれば、診療器具15によって口腔の中心部分の診療が開始されるタイミングで、第1撮影画像の取得量(情報量)を多くするできるため、診療箇所の様子を示す動画の画質を向上させることができる。
The
さらに、画像処理装置100は、第2モードが継続している状態において、第2所定タイミング(たとえば、診療器具15におけるエアタービンなどの制御が停止し、その停止から所定期間(たとえば、2分)経過したタイミング)で、第1モードへ移行してもよい。診療器具15の制御の停止が継続している状態は、口腔の中心部分の診療が終了または中断していると推定できるため、口腔の中心部分以外の状況も比較的重要度が高くなっている。画像処理装置100は、このような状況において第2モードから第1モードへ移行させれば、第2撮影画像の取得量(情報量)を多くするできるため、口腔の中心部分以外の様子を示す動画の画質を向上させることができる。
Furthermore, while the second mode continues, the
[撮影画像の合成について]
本実施の形態においては、図8に示すように、画像処理装置100は、ピクセル座標の原点を合わせるようにして、第1撮影画像と第2撮影画像とを合成していた。しかしながら、画像処理装置100は、第1撮影画像に含まれるランドマークとなる特定部分と、第2撮影画像に含まれるランドマークとなる特定部分とを合わせることで、第1撮影画像と第2撮影画像とを合成してもよい。
[About combining captured images]
In the present embodiment, as shown in FIG. 8, the
たとえば、画像処理装置100は、第1撮影画像に含まれる患者の顔の特定部分と第2撮影画像に含まれる患者の顔の特定部分とを合わせることで、第1撮影画像と第2撮影画像とを合成してもよい。特定部分は、たとえば、患者の顔の輪郭、目、鼻、および口のうち、少なくともいずれか1つを含む。たとえば、画像処理装置100は、第1撮影画像に基づき画像認識を行うことで、患者の顔の輪郭を検出し、第2撮影画像に基づき画像認識を行うことで、患者の顔の輪郭を検出してもよい。そして、画像処理装置100は、第1撮影画像から検出した患者の顔の輪郭と、第2撮影画像から検出した患者の顔の輪郭とを合わせることで、第1撮影画像と第2撮影画像とを合成してもよい。
For example, the
[画像処理装置について]
本実施の形態においては、画像処理装置100は、診療装置1が設置された診療空間内に配置されていたが、診療空間内に設置されたサーバであってもよい。この場合、画像処理装置100は、診療空間内に設置された複数の診療装置1に接続され、これら複数の診療装置1の各々について、画像関連データおよび診療関連データに基づき処置内容ないし診療内容を推定してもよい。このようにすれば、画像処理装置100による機械学習の頻度が上がり、画像処理装置100は、より精度良く診療内容を推定することができる。
[About the image processing device]
In this embodiment, the
画像処理装置100は、診療装置1が設置された診療空間外に設置されたサーバなど、クラウドコンピューティングの態様で存在してもよい。この場合、画像処理装置100は、診療空間内に設置された複数の診療装置1に接続されるとともに、他の歯科医院に設置された複数の診療装置1にも接続され、これら複数の診療装置1の各々について、画像関連データおよび診療関連データに基づき処置内容ないし診療内容を推定してもよい。このようにすれば、画像処理装置100による機械学習の頻度がさらに上がり、画像処理装置100は、より精度良く診療内容を推定することができる。また、推定精度が十分な推定モデルを不必要にチューニングして過学習させないようにすることができる。画像処理装置100がクラウドコンピューティングの態様で収集した大量のデータを用いて機械学習を行えば、少量のデータを用いて機械学習を行うよりも、過学習を抑制することができる。
The
今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は上記した説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。なお、本実施の形態で例示された構成および変形例で例示された構成は、適宜組み合わせることができる。 The embodiments disclosed this time should be considered to be illustrative in all respects and not restrictive. The scope of the present disclosure is indicated by the claims rather than the above description, and it is intended that all changes within the meaning and range equivalent to the claims are included. Note that the configurations exemplified in this embodiment and the configurations exemplified in the modified examples can be combined as appropriate.
1 診療装置、5 ポール、6 アーム、11 チェア、11a ヘッドレスト、11b 背もたれ、11c 座面シート、11d 足置き台、12 ベースンユニット、12a 鉢、12b コップ台、12c 給水栓、13 トレーテーブル、14 器具ホルダ、15 診療器具、16 フットコントローラ、17 ディスプレイ、18 操作パネル、19 照明装置、21 器具制御装置、22 表示制御装置、30 トレー、32 音制御装置、35 スピーカ、51 トレーカメラ、52 全体カメラ、53 第1カメラ、54 第2カメラ、100 画像処理装置、101 通信装置、102 演算装置、103 記憶装置、110 表示装置、111 チェア制御部、121 ベースン制御部、122 照明制御部、123 蓄積部、124 通信部、141 推定プログラム、142 画像処理プログラム、161 推定モデル、190 照明部、211 器具制御部、221 ディスプレイ制御部、222 パネル制御部、321 音制御部、501 第1撮影部、502 第2撮影部、1000 画像処理システム、1101 入力部、1102 画像処理部、1103 記憶部。
1 Medical equipment, 5 Pole, 6 Arm, 11 Chair, 11a Headrest, 11b Backrest, 11c Seat, 11d Footrest, 12 Basin unit, 12a Bowl, 12b Cup stand, 12c Water faucet, 13 Tray table, 14 Apparatus holder, 15 medical equipment, 16 foot controller, 17 display, 18 operation panel, 19 lighting device, 21 instrument control device, 22 display control device, 30 tray, 32 sound control device, 35 speaker, 51 tray camera, 52 general camera, 53 first camera, 54 second camera, 100 image processing device, 101 communication device, 102 arithmetic device, 103 storage device, 110 display device, 111 chair control section, 121 basin control section, 122 illumination control section, 123 storage section,
Claims (10)
歯科用の診療椅子に横たわる患者の口腔内を中心に照明装置によって光が照射された状態で前記患者を上方から撮影して得られた複数の撮影画像が入力される入力部と、
前記複数の撮影画像を処理する画像処理部とを備え、
前記複数の撮影画像は、前記口腔の中心部分に露出を合わせて撮影された第1撮影画像と、前記口腔の前記中心部分以外の部分に露出を合わせて撮影された第2撮影画像とを含み、
前記画像処理部は、前記第1撮影画像と前記第2撮影画像とを合成する、画像処理装置。 An image processing device that processes an image,
an input unit into which a plurality of photographed images obtained by photographing the patient from above while the patient's oral cavity is irradiated with light by a lighting device while lying on a dental chair;
an image processing unit that processes the plurality of captured images,
The plurality of photographed images include a first photographed image photographed with exposure adjusted to a central portion of the oral cavity, and a second photographed image photographed with exposure adjusted to a portion other than the central portion of the oral cavity. ,
The image processing unit is an image processing device that combines the first captured image and the second captured image.
前記第2撮影画像は、第2カメラによって撮影された撮影画像である、請求項1に記載の画像処理装置。 The first photographed image is a photographed image photographed by a first camera,
The image processing device according to claim 1, wherein the second photographed image is a photographed image photographed by a second camera.
前記一のカメラは、前記第1撮影画像と前記第2撮影画像とを時系列で交互に取得する、請求項1に記載の画像処理装置。 The first photographed image and the second photographed image are photographed images photographed by one camera,
The image processing device according to claim 1, wherein the one camera acquires the first captured image and the second captured image alternately in time series.
前記記憶装置は、揮発性の第1記憶領域と、不揮発性の第2記憶領域とを含み、
前記画像処理部は、
前記第1記憶領域において過去の記憶情報を上書きしながら前記第1撮影画像と前記第2撮影画像とを合成し、
合成後の撮影画像を前記第2記憶領域に蓄積して記憶する、請求項1~請求項5のいずれか1項に記載の画像処理装置。 further equipped with a storage device,
The storage device includes a volatile first storage area and a nonvolatile second storage area,
The image processing unit includes:
combining the first photographed image and the second photographed image while overwriting past stored information in the first storage area;
The image processing device according to any one of claims 1 to 5, wherein the combined photographed image is accumulated and stored in the second storage area.
歯科用の診療椅子に横たわる患者の口腔内を中心に光を照射する照明装置と、
前記照明装置によって光が照射された状態で前記患者を上方から撮影する少なくとも1つのカメラと、
前記患者の撮影画像を処理する画像処理装置とを備え、
前記少なくとも1つのカメラは、
前記口腔の中心部分に露出を合わせて前記患者を撮影する第1撮影部と、
前記口腔の前記中心部分以外に露出を合わせて前記患者を撮影する第2撮影部とを備え、
前記画像処理装置は、前記第1撮影部によって撮影された第1撮影画像と前記第2撮影部によって撮影された第2撮影画像とを合成する、画像処理システム。 An image processing system that processes images,
A lighting device that emits light mainly into the oral cavity of a patient lying on a dental chair;
at least one camera that photographs the patient from above while irradiated with light by the illumination device;
an image processing device that processes the photographed image of the patient;
The at least one camera includes:
a first imaging unit that photographs the patient with exposure adjusted to a central portion of the oral cavity;
a second imaging unit that photographs the patient with exposure adjusted to a region other than the central portion of the oral cavity;
The image processing device is an image processing system that combines a first photographed image photographed by the first photographing section and a second photographed image photographed by the second photographing section.
歯科用の診療椅子に横たわる患者の口腔内を中心に照明装置によって光が照射された状態で前記患者を上方から撮影して得られた複数の撮影画像が入力される第1ステップと、
前記複数の撮影画像を処理する第2ステップとを含み、
前記複数の撮影画像は、前記口腔の中心部分に露出を合わせて撮影された第1撮影画像と、前記口腔の前記中心部分以外に露出を合わせて撮影された第2撮影画像とを含み、
前記第2ステップは、前記第1撮影画像と前記第2撮影画像とを合成する、画像処理方法。 An image processing method for processing images by a computer, the method comprising:
A first step in which a plurality of photographed images obtained by photographing the patient from above while the patient's oral cavity is irradiated with light by a lighting device while lying on a dental chair are input;
a second step of processing the plurality of captured images;
The plurality of photographed images include a first photographed image photographed with exposure adjusted to a central portion of the oral cavity, and a second photographed image photographed with exposure adjusted to a portion other than the central portion of the oral cavity,
The second step is an image processing method in which the first photographed image and the second photographed image are combined.
前記画像処理プログラムは、コンピュータに、
歯科用の診療椅子に横たわる患者の口腔内を中心に照明装置によって光が照射された状態で前記患者を上方から撮影して得られた複数の撮影画像が入力される第1ステップと、
前記複数の撮影画像を処理する第2ステップとを実行させ、
前記複数の撮影画像は、前記口腔の中心部分に露出を合わせて撮影された第1撮影画像と、前記口腔の前記中心部分以外に露出を合わせて撮影された第2撮影画像とを含み、
前記第2ステップは、前記第1撮影画像と前記第2撮影画像とを合成する、画像処理プログラム。 An image processing program that processes images,
The image processing program causes the computer to:
A first step in which a plurality of photographed images obtained by photographing the patient from above while the patient's oral cavity is irradiated with light by a lighting device while lying on a dental chair are input;
executing a second step of processing the plurality of captured images;
The plurality of photographed images include a first photographed image photographed with exposure adjusted to a central portion of the oral cavity, and a second photographed image photographed with exposure adjusted to a portion other than the central portion of the oral cavity,
The second step is an image processing program that combines the first captured image and the second captured image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021139890A JP7428683B2 (en) | 2021-08-30 | 2021-08-30 | Image processing device, image processing system, image processing method, image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021139890A JP7428683B2 (en) | 2021-08-30 | 2021-08-30 | Image processing device, image processing system, image processing method, image processing program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023033923A JP2023033923A (en) | 2023-03-13 |
JP7428683B2 true JP7428683B2 (en) | 2024-02-06 |
Family
ID=85505049
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021139890A Active JP7428683B2 (en) | 2021-08-30 | 2021-08-30 | Image processing device, image processing system, image processing method, image processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7428683B2 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012256130A (en) | 2011-06-07 | 2012-12-27 | Omron Corp | Image processing device, image processing method, and control program |
JP2020039808A (en) | 2018-09-13 | 2020-03-19 | 株式会社モリタ東京製作所 | Treatment situation imaging system |
-
2021
- 2021-08-30 JP JP2021139890A patent/JP7428683B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012256130A (en) | 2011-06-07 | 2012-12-27 | Omron Corp | Image processing device, image processing method, and control program |
JP2020039808A (en) | 2018-09-13 | 2020-03-19 | 株式会社モリタ東京製作所 | Treatment situation imaging system |
Also Published As
Publication number | Publication date |
---|---|
JP2023033923A (en) | 2023-03-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10888399B2 (en) | Augmented reality enhancements for dental practitioners | |
EP3760159B1 (en) | Method for designing a dental apparatus | |
US10265149B2 (en) | Method and system for modeling the mandibular kinematics of a patient | |
ES2717447T3 (en) | Computer-assisted creation of a habitual tooth preparation using facial analysis | |
US11229503B2 (en) | Implant surgery guiding method | |
US20160242623A1 (en) | Apparatus and method for visualizing data and images and for controlling a medical device through a wearable electronic device | |
JP2019517864A (en) | Dental mirror with integrated camera and its application | |
JP6777917B1 (en) | Estimator, estimation system, estimation method, and estimation program | |
JP6839678B2 (en) | Dental clinic device with assist function | |
JP7343470B2 (en) | Control device, control method, and control program | |
JP7428683B2 (en) | Image processing device, image processing system, image processing method, image processing program | |
KR20210055847A (en) | Fully Automatic 3D Cephalometry System and Method using Image Processing and Convolutional Neural Network | |
JP6771687B1 (en) | Estimator, estimation system, estimation method, and estimation program | |
JP7421525B2 (en) | Image processing device, image processing system, image processing method, image processing program | |
JP7428634B2 (en) | Control device, control method, and control program | |
JP7496995B2 (en) | Estimation device, estimation method, and estimation program | |
JP7509371B2 (en) | Estimation device, estimation method, and estimation program | |
JP6845923B2 (en) | Medical medical equipment | |
JP2023154642A (en) | Data processing device, data processing method, and data processing program | |
JP2023154641A (en) | Data processing device, data processing method, and data processing program | |
JP6777916B1 (en) | Estimator, estimation system, estimation method, and estimation program | |
JP7381535B2 (en) | Detection device, detection method, detection program | |
JP2019213706A (en) | Medical robot | |
KR102236486B1 (en) | A electric loupe and diagnosis method using the same | |
JP2024029381A (en) | Data generation device, data generation method and data generation program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230407 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240123 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240125 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7428683 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |