JP6735899B2 - 3次元スキャナとこれを利用した人工物加工装置 - Google Patents

3次元スキャナとこれを利用した人工物加工装置 Download PDF

Info

Publication number
JP6735899B2
JP6735899B2 JP2019501534A JP2019501534A JP6735899B2 JP 6735899 B2 JP6735899 B2 JP 6735899B2 JP 2019501534 A JP2019501534 A JP 2019501534A JP 2019501534 A JP2019501534 A JP 2019501534A JP 6735899 B2 JP6735899 B2 JP 6735899B2
Authority
JP
Japan
Prior art keywords
lens
dimensional
image
light
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019501534A
Other languages
English (en)
Other versions
JP2019525167A (ja
Inventor
ジョンボン ムン
ジョンボン ムン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dds Co
Original Assignee
Dds Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020160088930A external-priority patent/KR101782740B1/ko
Application filed by Dds Co filed Critical Dds Co
Publication of JP2019525167A publication Critical patent/JP2019525167A/ja
Application granted granted Critical
Publication of JP6735899B2 publication Critical patent/JP6735899B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00Impression cups, i.e. impression trays; Impression methods
    • A61C9/004Means or methods for taking digitized impressions
    • A61C9/0046Data acquisition means or methods
    • A61C9/0053Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • A61C9/006Optical means or methods, e.g. scanning the teeth by a laser or light beam projecting one or more stripes or patterns on the teeth
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00Impression cups, i.e. impression trays; Impression methods
    • A61C9/004Means or methods for taking digitized impressions
    • A61C9/0046Data acquisition means or methods
    • A61C9/0053Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00011Operational features of endoscopes characterised by signal transmission
    • A61B1/00016Operational features of endoscopes characterised by signal transmission using wireless means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/24Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C13/00Dental prostheses; Making same
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C13/00Dental prostheses; Making same
    • A61C13/0003Making bridge-work, inlays, implants or the like
    • A61C13/0006Production methods
    • A61C13/0019Production methods using three dimensional printing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C13/00Dental prostheses; Making same
    • A61C13/01Palates or other bases or supports for the artificial teeth; Making same
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C13/00Dental prostheses; Making same
    • A61C13/08Artificial teeth; Making same
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C19/00Dental auxiliary appliances
    • A61C19/04Measuring instruments specially adapted for dentistry
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00Impression cups, i.e. impression trays; Impression methods
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B33ADDITIVE MANUFACTURING TECHNOLOGY
    • B33YADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
    • B33Y30/00Apparatus for additive manufacturing; Details thereof or accessories therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B33ADDITIVE MANUFACTURING TECHNOLOGY
    • B33YADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
    • B33Y50/00Data acquisition or data processing for additive manufacturing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B33ADDITIVE MANUFACTURING TECHNOLOGY
    • B33YADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
    • B33Y80/00Products made by additive manufacturing
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10Scanning systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/30Collimators
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/02Simple or compound lenses with non-spherical faces
    • G02B3/04Simple or compound lenses with non-spherical faces with continuous faces that are rotationally symmetrical but deviate from a true sphere, e.g. so called "aspheric" lenses

Description

本発明は、3次元スキャナとデータ変換装置、加工装置/3次元プリンティング装置等で構成された人工物加工システムに関し、より詳細には、口腔の3次元モデルを取得できるスキャナとデータ変換装置、そして、人工物を加工する加工装置/3次元プリンティング装置に関する。
レーザや光を用いる非接触式3次元スキャナは、その活用範囲が極めて様々である。エンジニアリング、映画、アニメーション、産業デザイン、医療、美術品、ファンシー、文化財複製材及び復元、エンターテインメント等、社会において適用されない範囲がない程度に活用範囲が極めて広い。
特に、産業分野において製品の製造時間を短縮させるために、多くの投資と研究をするが、3次元スキャナが製品を開発し、量産する間、様々な段階で費用を低減するための目的として活用されている。現実に存在するものを3次元デジタルデータで扱うことができるということは、多くの長所がある。危険な現場で毎度作業しなくても良く、いつでも必要な情報をコンピュータで再度開けることができ、正確な実物の3次元寸法及び形状情報は、シミュレーション及び複製の過程で未来をより正確に予測可能なようにする。
また、3次元スキャナは、医療分野において矯正機構、歯牙などを製作するために、患者の形状に合うオーダメード型機構を製作するために使用される。伝統的に、石膏生地を介しての模型製作方法を3次元スキャナを介してデジタル化している。スキャンされた3次元データから専用ソフトウェアを介して矯正機構、補綴物、人工器官、人工歯などをデザインし、CAMソフトウェアを介して加工する。特に、歯科部門で伝統的に歯牙矯正及び修復作業は、治療対象患者の歯牙の負型形状であるインプレッション採得後、修復作業用ダイとなる正型形状である石膏キャスティング製作作業が先行される。そして、医師の診断によって個別患者によるオーダメード型人工義歯及び植立式義歯をモデリングし、生産する全般的な工程が手作業で進まれる。特に、人工義歯及び植立義歯加工作業は、陶材積立方式、金型モールド基盤鋳造成形など、様々でかつ複雑な生産工程を経る。このような全般的な加工過程は、技工士の熟練度及び心理的な決定に依存するようになる。人工義歯及び埋植義歯の設計及び生産過程において精密性、適合性向上のために、産業界の生産工程技術を用いようとする努力は、既に27年前、スイスのNOBELBIO−CARE及びCERECチームにより試みられてきた。このような技術も歯牙形状の自由曲面設計が容易でなかった。また、CAM/CNC/RPなど、加工用生産素材の限界のため、人工歯冠生産及び成形は困難を極めた。このような困難を克服するために、着実に技術開発及び臨床実験を持続しつつ、技術的挑戦を持続してきた。近年、デジタル技術と人工補綴物素材技術の進化が加速化されつつ、歯科、歯技工技術のCAD/CAM技術との遭遇は、試験の技術を越えて融合進化の現実技術に変化しつつある。現在、様々なソリューションとデンタル専用スキャナが市場で活発に競争している。
一方、3次元スキャナは、大別して、レーザ方式とカメラ方式とに区分されることができ、レーザ方式は、ポイント投影、ビーム投影測定方式で事物をスキャンでき、カメラ方式は、投影、領域測定方式で事物をスキャンできる。
このような3次元スキャナは、高速で事物を測定でき、弾力性のある製品の精密な測定が可能であり、様々な用途のCADと作業が可能であり、正確な形状実現が可能であるという長所があり、脚光を浴びている。しかしながら、3次元スキャナは、測定精密度の面で接触式や3次元座標測定機(Coordinate Measuring Machine)に比べて大きく落ちるという問題があり、測定領域間において重なる形状のため、データ後処理が必要であり、複数の領域を結合して全体画像を取得するとき、誤差が大きく発生し、処理速度が遅れるという問題がある。
また、3次元スキャナを利用した事物の測定方法のうち、最も一般的には、事物を様々な角度で撮影した後、各スキャンのマッチングされるポイントをソフトウェア的にマウスだけで撮ることにより、複数のスキャン画像を結合(Merge)することである。このような方式は、ユーザの熟練度によって結合された画像間の差が発生し、精密な3次元画像を取得するには限界があり、結合(Merge)作業の際、少なくない時間がかかる。
3次元スキャナの3次元画像処理速度を増加させるための多くの研究開発のおかげで、最近には3次元画像処理速度が数分程度まで早まったが、医療行為において患者に診断結果を早くフィードバックする必要がある場合のように、早い結果を取得する必要がある状況では、現水準の3次元画像取得所要時間は満足できる水準ではないと評価されている実情である。
本発明は、患者各自の本然の生理学的口腔構造物(歯列形状と角度、そして歯牙の位置と大きさ等)をありのまま歪み無しで撮影して3次元モデルを生成できる3次元スキャナ及びこれを利用した人工物加工システムを提供することにある。
また、本発明は、従来、被写体の3次元画像生成の際、被写体を領域別に連続撮影し、これをつなぎ合わせながら(stitching)、3次元モデルを生成するときに発生する領域別の3次元モデル整列誤差とデータ処理時間遅延の問題などを解決できる3次元スキャナ及びこれを利用した人工物加工システムを提供することにある。
本発明の3次元スキャナは、屈折率によって特定画角を有し、少なくとも1つ以上の屈折面と少なくとも1つ以上の反射コーティング面を有し、前記全方位画像を受信する第1のレンズを備える画像撮影装置と、被写体に光パターンを照射するパターン生成装置とで構成されることができ、前記画像撮影装置は、前記光パターンが照射された前記被写体の全方位画像を受信することを特徴とする。また、本発明の実施形態に係る3次元スキャナの前記第1のレンズは、全方位レンズ、ミラー型レンズ、及び魚眼レンズのうち、いずれか1つである非球面レンズで構成されることができる。
他の側面において、本発明の3次元スキャナの前記画像撮影装置は、前記第1のレンズからの光の経路を変更するミラー部及び前記ミラー部からの画像を取得するイメージセンサをさらに備えることができる。
さらに他の側面において、本発明の3次元スキャナは、前記被写体の2次元画像と3次元モデルを生成するためのデータを得ることができる。ここで、画像撮影装置とパターン生成装置とを同期化して2次元画像の深度情報を抽出し、これから3次元モデルを生成できる。
さらに他の側面において、本発明の3次元スキャナのパターン生成装置は、様々な光パターンを第2のレンズを用いて全方位に照射することができる。第2のレンズは、全方位レンズ、ミラー型レンズ、魚眼レンズのうち、いずれか1つで構成されることができる。本発明の3次元スキャナにおいて、前記パターン生成装置は、光源と、光源の照射時間を調節して様々なパターンを生成できる光源モジュレータと、生成された様々なパターンを照射するマイクロミラーとで構成されることができる。光源は、単数の発光ダイオードまたはレーザで構成されたり、カラーパターンを生成するために様々なカラーの複数の前記素子で構成されることができる。マイクロミラーは、MEMSミラー、デジタルミラーデバイス(DMD:digital mirror device)などで構成されることができる。
さらに他の側面において、前記パターン生成装置は、前記光源からのポイント光をライン光に変換することができるシリンダリカルレンズ(cylindrical lens)または様々な格子状のパターンに変換することができる特殊レンズとマイクロミラーのサイズに生成されたパターンのサイズを調節するために、コリメータレンズ(collimator lens)をさらに構成できる。
さらに他の側面において、本発明の3次元スキャナは、被写体を撮影した2次元画像、領域別に分割された2次元画像または生成された3次元モデルデータを有線及び/又は無線通信を介してディスプレイすることができるディスプレイ装置、携帯用ディスプレイ装置、または3次元スキャナに構成され得るプレビューディスプレイ装置などで構成されることができる。本発明において被写体は、一般構造物、対象体、動植物、人体、口腔など、形状を有する対象体となることができ、特に、口腔内歯牙及び口腔構造をいう。
さらに他の側面において、本発明のデータ変換装置は、前述した3次元スキャナから受信した2次元画像データと深度情報から3次元モデルを生成する。生成された3次元モデルにおいて補綴物、インプラント、矯正器、またはサジカルガイドをデザインし、これを加工装置または3次元プリンタ用CAM(Computer Aided Manufacturing)データに変換することができる。
さらに他の側面において、本発明の加工装置は、前述したデータ変換装置から受信したCAMデータから少なくとも1つの人工歯と、ブリッジ、インプラント、サジカルガイド(Surgical guide)、矯正器、入れ歯(Denture)のうち、少なくとも1つを加工できる。また、3次元プリンタは、前述したデータ変換装置から受信したCAMデータから少なくとも1つの人工歯と人工歯肉、口蓋に連結された複数の歯牙、インプラント、サジカルガイド、矯正器、入れ歯のうち、少なくとも1つを出力できる。
実施形態において、3次元スキャナは、従来の口腔3Dスキャナの画像等の結合による誤差発生と精密度及び分解能低下を最小化して、高品質かつ精密度の極めて優れた3次元モデルを生成できる。
また、実施形態は、光反射防止のためのパウダを口腔に塗布しなくとも、早く撮影して3次元モデルを生成できる。
また、実施形態は、歯牙の撮影時間を短縮でき、歯牙、ブリッジ(Bridge)から入れ歯(denture)、矯正、インプラントなどの診断及び施術計画及び施術時間を大きく短縮させることができる。
また、実施形態は、被写体の撮影回数の最小化と早いスキャン速度、そして、回転角情報による3次元モデル補正作業を介して作業者に精密なスキャン作業を求めないので、作業者の作業能率を向上させることができ、手ぶれなどの人工的な振動や機械的な振動による複数の撮影画像間の偏差による3次元画像の精密度が落ちるという問題を解決できる。
また、実施形態は、診療及び診断時間を最小化して、医療サービスに対する被写体の対象である患者と施術者の満足感を大きく増大させることができる。
本発明の実施形態に係る3次元スキャナと、3次元スキャナから受信した画像をディスプレイするディスプレイ装置を示した図である。 本発明の実施形態に係る第1のレンズを示した断面図である。 本発明の他の実施形態に係る第1のレンズの断面図である。 本発明の他の実施形態に係る第1のレンズの断面図である。 3次元スキャナとデータ変換装置との画像処理関係を説明するための各装置の構成図である。 3次元スキャナとデータ変換装置との画像処理のフローチャートである。 本発明の3次元スキャナに適用され得るパターン生成部の構成例を示す図である。 マイクロミラーから反射されたラインパターンが被写体に照射される形態を説明するための図である。 マイクロミラーから反射されたラインパターンが被写体に照射される形態を説明するための図である。 マイクロミラーの90度回転によるラインパターンの方向を異にしたことを説明するための図である。 図7におけるパターン生成部のさらに他の構成例を示した図である。 本発明の他の実施形態に係る3次元スキャナの概略図である。 画像撮影装置の第1のレンズとパターン生成装置の第2のレンズとの位置関係の概略図である。 ライン光パターンの生成例示図である。 本発明のさらに他の実施形態に係るプロジェクタ部を備えた3次元スキャナの概略図である。 本発明の実施形態に係る3次元スキャナを利用した人工物加工システムのブロック図である。 下顎歯列弓に関する図である。 下顎歯列弓の角を示した図である。 3次元スキャナにより撮影された上顎の画像を示した図である。 3次元スキャナにより撮影された下顎の画像を示した図である。
以下、本発明の実施形態に係る3次元スキャナとこれを利用した人工物加工システムの図面を参考して詳細に説明する。次に紹介される実施形態等は、当業者に本発明の思想が十分に伝達され得るようにするために、例として提供されるものである。したがって、本発明は、以下に説明される実施形態等に限定されず、他の形態で具体化されることもできる。そして、図面において、装置の大きさ及び厚さなどは、都合のために誇張されて表現されることもできる。明細書の全体にわたって同じ参照符号は、同じ構成要素を表す。
本発明の利点及び特徴、そして、それらを達成する方法は、添付される図面とともに詳細に後述されている実施形態を参照すれば明確になるであろう。しかし、本発明は、以下において開示される実施形態等に限定されるものではなく、互いに異なる様々な形態で実現されるであろうし、単に、本実施形態等は、本発明の開示が完全なようにし、本発明の属する技術分野における通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであり、本発明は、請求項の範疇により定義されるだけである。明細書の全体にわたって同一参照符号は、同一構成要素を指す。図面において層及び領域等の大きさ及び相対的な大きさは、説明の明瞭性のために誇張されることができる。
本明細書において使用された用語は、実施形態を説明するためのものであり、したがって、本発明を制限しようとするものではない。本明細書において、単数型は、文句で特に言及しない限り、複数型も含む。明細書において使用される「含む(comprise)」及び/又は「含む(comprising)」と言及された構成要素、ステップ、動作、及び/又は素子は、1つ以上の他の構成要素、ステップ、動作、及び/又は素子の存在または追加を排除しない。
<3次元スキャナとディスプレイ装置>
図1は、本発明の実施形態に係る3次元スキャナと、3次元スキャナから受信した画像をディスプレイするディスプレイ装置とを示した図である。
図1に示すように、本発明の実施形態に係る3次元スキャナ10は、全方位レンズ部を備えることができる。全方位レンズ部は、360度全方位画像を取得できる。全方位レンズ部は、屈折率によって全方位撮影面と垂直な方向で特定画角を有した全方位レンズを備えることができる。全方位レンズは、ミラー型レンズ、魚眼レンズ、または非球面レンズのうち、いずれか1つになることができるが、これに限定するものではなく、360度全方位画像を取得、詳しくは、1回の撮影だけでも下顎S1または上顎S2に存在する歯牙の構造に対する画像情報を取得できるように構成されたレンズになることができる。
3次元スキャナ10は、鏡筒部11とグリップ部12、そして、これらを連結する連結部13で構成されることができる。連結部13は、鏡筒部と一体型または結合型で構成されて、グリップ部12上で鏡筒部11を回転させることができる。
鏡筒部11は、全方位レンズを含む画像撮影装置(図12、610)とパターン生成装置(図12、620)との全体または一部が内蔵され得る。
グリップ部12は、外部デバイスと通信を担当する有線または無線通信モジュール、画像撮影装置から画像信号を処理する画像処理部320と、マイクロミラーを制御するドライバ、パターンを生成するための光源、及び光源モジュレータ512と、処理前/後の画像データを格納するメモリ、回転角情報検出部、鏡筒部の照明を制御する照明制御部、そして、前記構成要素を制御する制御部などの電子装置で構成されることができる。
グリップ部12の構造は、取っ手つきのガンタイプ(Gun type)、パワーグリップタイプ(Power grip type)/グルーミングブラシタイプ(Grooming brush type)のハンドルタイプ(Handle type)、ペンタイプ(Pen type)などの形状を有することができ、ユーザがグリップ部12を掴むことのできるサイズと形状であれば、いずれのものも可能である。
連結部13は、モータなどのアクチュエータ等で構成された鏡筒駆動部14により特定回転角で自動回転されるか、手動で回転することができる。鏡筒駆動部14は、外部電源または内部バッテリで動作されることができる。
被写体を撮影する場合、鏡筒部11の少なくとも一領域は、被写体に近接することができる。被写体が口腔である場合、鏡筒部11の少なくとも一領域は、口腔に挿入されることができる。
また、3次元スキャナ10の鏡筒部11の回転によって一例の被写体Sである口腔に鏡筒部11の一部領域が挿入される場合、口腔の全ての領域を撮影できる。光受信領域15が向かう方向に関係なく、上顎及び下顎を同時に撮影し、3次元モデルを生成できる。詳しく説明すれば、口腔に挿入された3次元スキャナ10の光受信領域15が上顎及び下顎のうち、いずれか1つと向き合う場合、上顎及び下顎のうち、いずれか1つを撮影し、少なくとも1つの歯牙と歯列、歯肉、そして、口腔の上顎及び下顎領域に位置する各種口腔構造を撮影して3次元モデルを生成できる。この場合、光受信領域15が上顎及び下顎のうち、いずれか1つと向き合っても全方位撮影面と垂直方向における光受信領域15の画角が全方位レンズによって設定されるので、上顎と下顎のうち、他の1つも同時に撮影及び3次元モデルを生成できる。
本発明の統合制御装置20は、3次元スキャナ10とデータ変換装置30との間の様々な機能を制御し、3次元スキャナの電源供給部及び双方間の通信を担当する有無線通信モジュールで構成される。統合制御装置20の有無線通信モジュールは、Wibro(登録商標)、Wi−Fi(登録商標)などの無線通信方式と、USB、Serialなどの有線通信方式、Bluetooth(登録商標)、RFIDなどの近距離通信方式など、商用化された従来の装置で構成されることができる。したがって、統合制御装置20は、3次元スキャナで撮影された2次元及び/又は被写体に光パターンが照射された画像(深度情報)情報をデータ変換装置30に送信する機能を担当することができる。
データ変換装置30は、3次元スキャナの全方位レンズ(図12、110a)の曲率によって歪まれた画像を全方位レンズの曲率値に補正して平面画像に変換することができる。そして、被写体の画像をモニタリングできるように、平面画像は、ディスプレイ装置(図5、31)及び/又はプレビューディスプレイ装置16に送信されることができる。
本発明のデータ変換装置のディスプレイ装置は、LCD(liquid crystal display device)、FED(field emission display device)、入出力が可能なタッチスクリーン(Touch screen)など、商用化された従来技術のディスプレイ装置を利用できる。
3次元スキャナ10は、被写体の種類に関係なく、被写体全体を歪み無しで2次元モニタリング及び深度情報を抽出でき、歯科分野では、上顎または下顎全体の虫歯、プラーク、歯石などの欠陥を含む歯列構造、歯牙形状及び大きさ、歯牙位置など、情報を検出できる2次元画像及び3次元画像を生成できる深さ情報を提供できる。また、歯牙を個別的に撮影するものではない、歯列の全体的な画像を得るようになるので、全体画像から個別的な歯牙情報を抽出して表示することができる。
従来技術である口腔3Dスキャナの各個別歯牙スキャン後、合成して(stitching)全顎を生成する方式は、各個別歯牙から全顎生成時、マージレジストレーション(merge/registration)において非常に大きい誤差が発生される。したがって、従来技術は、最終的に生成された補綴物を患者に適用し難い。
したがって、本発明の3次元スキャナは、従来技術の問題点及び限界点を克服でき、高精密/高解像度の2次元画像及び3次元モデルを提供できる。
<全方位レンズ>
図2は、本発明の全方位画像を受信する第1のレンズの断面図であり、図3及び図4は、本発明の他の実施形態に係る第1のレンズの断面図である。
第1のレンズ110aは、複数の屈折面と複数の反射コーティング面とを含むことができるが、これに限定するものではない。
第1のレンズ110aの構造は、被写体の画像を所望の画角に屈折させる外側屈折部111c、外側屈折部111cから被写体画像を反射させる内側反射コーティング層117を備えた内側屈折部116、内側屈折部116から反射された外側反射コーティング層114を備えた水平部113、水平部113から反射された被写体の画像を通過させる内側凹部115で形成される。ここで、外側屈折部111cは、所望の画角範囲を有するために、屈折角と歪み率を有することができ、外側屈折部111cの曲率は、第1のレンズ110aの仮想中央軸CLを基準に内側屈折部116の曲率より小さいことができる。また、内側凹部115は、全方位画像を効果的にイメージセンサに伝達するために、内側屈折部116の中心領域に形成されることができる。
第1のレンズ110aの反射コーティング層114は、反射板に代替されることができ、第1のレンズ110aの外側屈折部111cには、外側反射コーティング層114の代りに、反射板が配置され得る。
また、第1のレンズ110a自体は、非球面でない球面で形成することにより、加工の容易性を高め、製造原価を低減させることができる。また、外側屈折部111cと内側凹部115及び内側屈折部116が球面で形成されて、非球面で加工し難い問題を解決しながらも、全方位撮影が可能なようにすることができる。
一方、一例に、画角は、レンズの外面の少なくとも一部領域、詳しくは、反射コーティング層114が形成された領域と当該領域を除いた領域との間の境界から終端までとなることができる。
図3及び図4に示すように、第1のレンズ110aは、一面に膨らんだ第1の入射面111dが形成され、他面に第1の出射面111eが形成され、第1の入射面111dの中央に第1の反射面111fが形成される第1のサブレンズ111xと、一面に第2の入射面111gが形成され、他面に膨らんだ第2の反射面111hが形成され、第2の反射面111hの中央に第2の出射面111iが形成される第2のサブレンズ111yとを備えて構成されることができるが、これに限定するものではない。
第1の出射面111eと第2の入射面111gとの接合面は、互いに対応するものの、平たくないように形成された後、互いに密着して接合されることができる。
第1の入射面111dを介して入射した被写体画像は、第1の出射面111e及び第2の入射面111gの接合面を経て第2の反射面111hで反射され、第2の反射面111hで反射された被写体画像は、第1の出射面111e及び第2の入射面111gの接合面を経て第1の反射面111fで反射された後、第1の出射面111e及び第2の入射面111gの接合面を経て第2の出射面111iを介して出射されることができる。
外部の光源が入射する第1のサブレンズ111x及び第1のサブレンズ111xと接合する第2のサブレンズ111yは、光源の反射と屈折を利用した反射屈折式レンズであって、前記2つのレンズを介して360度全方位画像を取得できる。
第1の反射面111f及び第2の反射面111hは、平たい形状、膨らんだ形状、または凹んだ形状など、様々な形状で形成されることができ、光源(被写体の画像)を反射させることができるアルミニウム、銀等の物質でコーティングされることができる。
外部から入射する光源(被写体の画像)は、第2のサブレンズ111yの直径を第1のサブレンズ111xの直径より小さく構成し、第1の入射面111dを膨らんで形成することにより、所定角度で屈折されて集まるようにすることができる。
図2〜図4において例示的な第1のレンズ110aの構造を説明したが、これに限定するものではない。
第1のレンズ110aの外面及び内面のそれぞれの領域別の屈折角及び歪み率は、人の顎弓の平均的な計測値、上下顎アーチ及び歯牙サイズ計測値、児童犬歯及び小臼歯の幅競合値を全て考慮して決定することができる。
<3次元スキャナとデータ変換装置>
図5は、本発明の実施形態に係る3次元スキャナの詳細な構成とデータ変換装置を説明するための図であり、図6は、3次元スキャナとデータ変換装置との画像処理のフローチャートである。
図5に示すように、3次元スキャナ10は、全方位レンズ部100と、全方位レンズ部100から被写体の画像をセンシングできるイメージセンサ18とを備えることができる。
全方位レンズ部100は、360度全方位及び特定画角の画像を検出できる全方位レンズを含むことができる、イメージセンサ18は、全方位レンズの曲率による歪まれた画像の補正のために、高分解能の性能が求められ、RGB、RGB−IR、IR、TOF(time of flight)、COMS、STACK等で構成されることができる。
3次元スキャナ10は、光経路を変換するために、ミラー部19を備えることができ、特殊コーティングされた平面ミラー、プリズムなどで構成されることができる。ここで、特殊コーティングは、曇り、湿気、異物汚染などの問題を解決するための一般的なコーティングを意味する。
3次元スキャナ10は、全方位レンズ部100から画像を効率的にイメージセンサ18に伝達するために、この2つの素材間に少なくとも1つ以上のレンズを備えたレンズアレイ部200を備えることができる。
3次元スキャナ10は、画像処理部320、通信部(図示せず)、制御部310をさらに備えることができる。
画像処理部320は、イメージセンサ18から出力された画像信号を信号処理するために、ADC(analog to digital convertor)、増幅器(amplifier)とイメージプロセッサなどの素子で構成されることができ、イメージセンサの出力は、アナログまたはデジタル信号となることができる。画像処理部320は、図5においてデータ変換装置30内に構成されることができるか、独立的に構成されることができるが、これに限定するものではない。そして、画像処理部320は、生成された2次元画像情報と深度情報を通信部を介してデータ変換装置30に送信し、データ変換装置30は、2次元画像情報と深度情報を利用して被写体の3次元モデルを生成できる。
通信部は、3次元スキャナ10で取得した画像と情報をディスプレイ装置31及び/又はデータ変換装置30に送信するための有無線通信モジュールで構成することができる。ディスプレイ装置31は、図5の実施形態のように独立的に構成されることができるか、データ変換装置30内に構成されることができるが、これに限定するものではない。
また、3次元スキャナ10は、ジャイロセンサ331または加速度センサ332などの位置情報を提供できるセンサで構成され得る回転角情報検出部330をさらに備えることができる。
回転角情報検出部330は、3次元の基準座標上で3次元スキャナ10から取得した画像の位置、傾き、そして、回転角などの情報を検出して3次元モデルを効果的に生成することができる情報を提供できる。
制御部310は、3次元スキャナ10を動作するのに必要な全般的な機能を管掌し、制御するものであって、一例に、イメージセンサ18と画像処理部320、パターン生成装置17、被写体を照明する光源(図示せず)、データ変換装置などと有無線通信が可能な通信部(図示せず)、そして、回転角情報検出部330などの駆動及びこれらの間の連動を制御できる。
本発明のデータ変換装置30は、CAD、CAM、またはCAD/CAMプログラムのうち、いずれか1つが設けられたコンピュータ装置となることができる。したがって、データ変換装置30は、3次元スキャナ10から提供された画像及び深度情報から被写体の3次元モデルを生成、デザインすることができ、これをCAMデータに変換することができる。前記情報は、回転角情報検出部330の位置、傾き、回転角などの情報を意味する。
より詳細には、3次元スキャナ10を利用して被写体を複数回撮影するとき、各撮影時点毎に3次元スキャナ10の位置が変わるようになると、複数の2次元画像データのそれぞれの座標情報は互いに不一致するようになる。したがって、基準座標を基準に複数の2次元画像データのそれぞれの座標情報を互いに一致させることが好ましい。
複数の2次元画像データのそれぞれの座標情報を互いに一致させるための例示的な方法として、データ変換装置30に予め設けられたソフトウェアは、回転角情報検出部330の情報に基づいて2次元データの位置を回転及び移動して整列することができる。したがって、データ変換装置30は、基準座標系の原点情報と回転角情報を利用して2次元画像データから3次元データを生成するので、早い位置整列と演算量減少により、全般的なデータ処理速度が向上する。また、データ変換装置30は、3次元スキャナ10のユーザが撮影の際、手ぶれなどのような要因により発生する揺れに強い3次元データ生成が可能であるから、画像の品質は大きく向上する。
図6は、2次元モニタリング画像及び3次元モデル生成過程を示したフローチャートである。前記フローチャートは、3次元スキャナで被写体を撮影するステップと、撮影された画像から2次元モニタリング画像を作るステップと、撮影された2次元画像の揺れ検出及び補正ステップと、撮影された画像から深度情報、位置、及び回転角情報を抽出するステップと、撮影された2次元画像、深さ、位置、及び回転角情報から位置整列された3次元データを生成するステップと、位置整列された3次元データから被写体の最終の3次元モデルを生成するステップとで構成される。ただし、3次元モデル生成は、前記フローチャートの順序にのみ限定されるものではない。
<パターン生成部を備えた3次元スキャナ>
図7は、本発明の3次元スキャナに適用され得るパターン生成部の構成例を示す図である。そして、図8及び図9は、マイクロミラーから反射されたライン光が被写体に形成されるパターンを説明するための図である。そして、図10は、マイクロミラーの90度回転によるライン光の方向を異にしたことを説明するための図である。
図5及び図7〜図10に示すように、本発明の実施形態に係る3次元スキャナ10は、パターン生成部500をさらに備えることができる。
パターン生成部500は、光生成部510、レンズ部520、マイクロミラー部530を備えることができる。
光生成部510は、光源モジュレータ512またはドライバと光源511で構成されることができる。前記光源511は、可視光線または赤外線などの波長帯域を有する発光ダイオード、レーザダイオード(laser diode)など、様々な光源のうち、いずれか1つになることができる。例えば、線形レーザ光を照射できる赤色(red)、緑色(green)、及び青色(blue)光源素子等の組み合わせまたは単独で構成されることができる。したがって、光源は、光を生成して出力できるいかなる光源でも本発明の3次元スキャナ10に適用されることができる。
光源モジュレータ512は、二進信号、すなわち、パルス変調信号を用いて光源511の駆動可否及び駆動時間を制御できるが、これに限定するものではない。一例に、光源モジュレータ512は、パルス変調信号がハイレベル(High level)を維持する間に光源511はオン(on)され、パルス変調信号がローレベル(Low level)を維持する間に光源511がオフ(off)される。
レンズ部520は、シリンダリカルレンズのように、ライン光を出力できる縦軸と横軸の半径が相違したレンズ521とコリメータレンズ522などを含むことができる。シリンダリカルレンズ521は、半円筒(Semi−Cylinder)形状であって、光を受信する入射面は非曲面であり、受信した光を出射する出射面は曲面となることができる。
コリメータレンズ522は、マイクロミラー531のサイズに合うようにライン光の長さを調節してマイクロミラー531に照射することができる。すなわち、コリメータレンズ522は、マイクロミラー531のサイズにマッチングして受信した光をマイクロミラー531にフォーカシング(Focusing)して照射することができる。
本発明のさらに他の実施形態として、光生成部510からの光がマイクロミラー531に直接照射されることができ、被写体にパターンを照射することもできる。
この場合、マイクロミラー531から出力された光を実質的に反射させるために、光生成部510からの光経路の角度及び光生成部510とマイクロミラー531との距離に比例してマイクロミラー531の表面寸法が大きくなりうる。
また、レンズ部520は、前記構成に限定されるものではなく、この技術分野における平均的知識を有する者が通常の創作発揮に該当する様々な形態で構成することができる。
マイクロミラー部530は、レンズ部520から出力されたライン光を反射して被写体Sにパターン光を照射でき、マイクロミラー531と、マイクロミラー531の駆動を制御するミラー制御部532とを備えることができる。ただし、これに限定するものではなく、ミラー制御部532は、マイクロミラー部530と別に構成されるか、制御部310とともに構成されることもできる。
マイクロミラー部530は、横軸及び/又は縦軸方向の回転軸を同時にまたは互いに独立的に制御して、マイクロミラー531の上下左右回転運動を調節できる。
マイクロミラー531は、MEMS(Micro Electro Mechanical Systems)技術によって製作されることができるが、これに限定するものではない。
光生成部510からの光経路上のコリメータレンズ522を通過した光は、マイクロミラー531の表面に集光されて反射され、マイクロミラー531の回転角度にしたがってライン光パターンに変換されて被写体Sに照射されることができる。
より詳細には、ミラー制御部532は、マイクロミラー531の縦軸及び/又は横軸支持台を中心に回転角を決定できる。決定された縦軸及び/又は横軸支持台の回転角範囲内で各々1秒にNまたはM回上下左右回転させる場合、被写体Sに2N個のライン/2M個のフレームレートを照射できる。
本発明の3次元スキャナのパターン生成部500において、光源モジュレータ512により制御される光源は、点光(point light)を出力し、入射される点光は、レンズ部520のシリンダリカルレンズ521によりライン光(line light)に変換されて出力される。このときに生成されるライン光の厚さは、一例に、光源モジュレータ512のパルス変調信号のハイレバル持続期間によって可変されることができる。シリンダリカルレンズ521から出力されたライン光は、レンズ部520のコリメータレンズ522によりマイクロミラー部530のミラーサイズに変換される。したがって、パターン生成部500は、様々な厚さのライン光と、ライン光間の間隔を調節して被写体に様々な形態のパターンを照射できる。
また、前述したレンズ部520は、シリンダリカルレンズ521及びコリメータレンズ522を含むことと説明したが、これに限定するものではない。すなわち、レンズ部520は、点光をライン光に変換してマイクロミラー部530に照射することができるように構成された少なくとも1つのレンズからなることもできる。
イメージセンサ18は、被写体Sに順次照射されたパターン画像を受信できる。
また、パターンの被写体Sに照射する時点とイメージセンサ18のパターン画像受信時点とは互いに同期化されることができ、このような同期化は、制御部310によって行われることができる。
この場合、パターン生成部500から生成されて被写体Sに照射されたパターンは、被写体S表面の凹凸によって歪まれる可能性があるが、イメージセンサ18からパターンの歪み情報を含むパターン画像を受信するデータ変換装置30は、パターンの歪み情報を利用して被写体Sの正確な3次元モデルを生成できる。
また、データ変換装置30または3次元スキャナ10は、メモリを備えることができ、順次的なパターンが被写体Sに照射されることにより、画像処理部320は、パターン画像を順次受信してメモリに格納することができる。そして、画像処理部320は、メモリに記憶された画像情報に基づいて3次元座標に対するデータを抽出し、抽出された3次元座標データを用いてワイヤーフレームを構成し、3次元モデルを形成できる。ただし、これに限定するものではなく、メモリに記憶された画像情報は、外部機器に伝達され、外部機器によって被写体Sの3次元モデルが形成されることもできる。
図11は、図7のパターン生成部のさらに他の構成例を示した図である。
図11に示すように、パターン生成部500のレンズ部520は、光生成部510からの出力された光を受信して、十字または放射形など、様々な構造の形状を有した光を構造光(structured illumination)パターンレンズ523を用いて出力することができる。
レンズ部520は、構造光パターンレンズ523から様々な構造を有した光を出力して、当該形状の光がマイクロミラー部530に照射されるようにすることができる。
レンズ部520は、シリンダリカルレンズ521で構成されるか、構造光パターンレンズ523で構成されることができ、シリンダリカルレンズ521と追加的な光学系を含むことができ、構造光パターンレンズ523と追加的な光学系を含んで構成されることもできる。また、レンズ部520から出力される光の構造は、被写体Sの種類に応じる深度測定程度、分解能と焦点などによって変わることができる。
一方、本発明の3次元スキャナ10のデータ変換装置30において被写体の3次元データを得るために、三角法(triangulation technique)アルゴリズムを利用できる。三角法アルゴリズムは、様々なパターンが照射された被写体の画像、パターン生成部500とイメージセンサ18との間の距離情報及びこれらの間の角度情報から3次元データを生成できる。補足説明すれば、パターン光が照射された被写体の特定地点、イメージセンサ18、そして、パターン生成部500で形成される三角形に基づいて被写体の3次元モデルを得ることができる深度情報を取得できる。
図12は、本発明の他の実施形態に係る3次元スキャナを概略的に示したものである。そして、図13は、画像撮影装置の第1のレンズとパターン生成装置の第2のレンズとの位置関係を概略的に示したものである。また、図14は、ライン光パターンの生成例示図である。
図12に示すように、他の実施形態に係る3次元スキャナ600は、図面符号11aに位置した画像撮影装置610と図面符号11bに位置したパターン生成装置620とを備えることができ、前記画像撮影装置とパターン生成装置とは、前記位置に限定されるものではなく、鏡筒部11のどの位置でも配置されることができる。
3次元スキャナの画像撮影装置610は、屈折率によって特定画角を有し、360度全方位の画像を受信できる、少なくとも1つ以上の屈折面と反射面を有した第1のレンズ110aとイメージセンサ18とを備えることができる。そして、ここでの第1のレンズ110aは、全方位レンズ、ミラー型レンズ、及び魚眼レンズのうち、いずれか1つである非球面レンズとなることができる。ここで、画角は、レンズの外面の終端から反射コーティング面とその他の領域間の境界領域までとなることができる。また、画像撮影装置610は、画像処理部320と制御部310とを備えることができる。そして、制御部310は、パターン生成装置620上に含まれたことを図示したが、これは、理解の便宜のためであり、制御部31は、画像撮影装置610とパターン生成装置620との駆動を共に管掌することができる。また、画像撮影装置610は、第1のレンズ110aを通過した光をイメージセンサ18に効率的に伝達させるために、レンズアレイ部200をさらに備えることができる。画像撮影装置610は、光の経路の変更のために、ミラー部19をさらに備えることができる。また、前述した構成等については、既に上述したので、より詳細な説明を省略する。
本発明の他の実施形態に係る3次元スキャナ600は、パターン生成装置620を備え、パターン生成装置620は、被写体にパターン光を提供する光源511、そして、光源511からの光を反射するマイクロミラー531を備えるマイクロミラー部530と、マイクロミラー531からの光を全方位に出力する第2のレンズ110bを備えることができる。マイクロミラー部530は、マイクロミラー531を特定角度内のティルティングまたは回転動作できるように制御することができる。このとき、マイクロミラー531は、高速周波数を有しており、極めて早く動作することができる。第2のレンズ110bは、全方位レンズ、ミラー型レンズ、及び魚眼レンズのうち、いずれか1つである非球面レンズとなることができる。そして、制御部310は、直接的に光源を制御するか、マイクロミラー531を制御することもでき、パターン生成装置620の光パターン照射時点とイメージセンサ18のセンシング時点とを互いに同期化することができる。
マイクロミラー531は、マイクロ電子機械的システム(MEMS)スキャニングミラー、短縮ミラー、2軸MEMSスキャニングミラー、デジタルマイクロミラーデバイス(Digital Micromirror Device:DMD)のうち、いずれか1つになることができる。
ここで、DMDは、ミラー素子による反射のオン(On)/オフ(Off)状態によって画像を投射する装置となることができ、このようなDMDは、微細駆動鏡を集積した半導体光スイッチであって、SRAM(Static Random Access Memory)のメモリセルに対応するように形成された数十ないし数μmサイズの各アルミニウム合金微細鏡である反射鏡セルと、セル駆動部、そして、駆動回路部で構成されることができる。さらに、カラーパターンを実現するために、カラーホイール(Color Wheel)またはSCR Color Wheel(Sequential Color Recapture Color Wheel)などの構成要素を含むことができる。
このようなDMD方式のマイクロミラー531は、デジタル方式によって色再現性が高く、照度比(Contras ratio)が高くて、明るくかつ鮮明であり、デジアナ変換が不要であって、ノイズに強く、付加的な信号の補正が必要ないか、最小化され、光効率が高く、完全なシリコンデバイスであって、耐久性に優れ、動作速度が早いという利点がある。
レーザ光ラインLLは、マイクロミラー531のティルティングまたは回転角によって屈折率を有した第2のレンズ110bにより全方位領域内の被写体にレーザ光パターン形態で照射され、前記パターンが照射された被写体の画像は、画像撮影装置610のイメージセンサ18により検出される。そして、データ変換装置30は、イメージセンサ18から撮影された様々なレーザ光パターンが照射された被写体画像情報から被写体の3次元モデルを再構成できる。
このとき、第1のレンズ110aの中心軸を通る仮想の直線は、平面(Plane)と垂直となることができ、第2のレンズ110bの中心軸を通る仮想の直線は、平面(Plane)と垂直な直線と任意の角(theta)を形成できるように構成されることができる。ここで、シータ(theta)角度(0〜90゜)は、3次元スキャナ600の構造、形状、そして、第1のレンズ110aと第2のレンズ110bとの間の所定の距離(d)、焦点距離などに基づいて決定されることができる。
パターン生成装置620は、レンズ部520をさらに追加して構成することができる。レーザ光の効率的な伝達のために、レンズ部は、シリンダリカルレンズ521とコリメータレンズ522などで構成されることができ、特殊目的によるレンズが追加され得る。また、前述した構成等については、既に上述したので、より詳細な説明を省略する。
レーザ光は、レンズ部520によりレーザラインLLに変換され、変換されたレーザラインLLは、マイクロミラー531で入射/反射されて様々な形態のレーザ光パターンを形成できる。
図14は、本発明のパターン生成装置620、630の実施形態である。
光源511は、レッド(Red)、グリーン(Green)、及びブルー(Blue)発光ダイオードのうち、少なくとも1つの光源で構成されることができ、R、G、Bカラーのそれぞれの光またはこれらの組み合わせによる様々なカラー光を提供することもできる。
レンズ部520によってレーザ光源から出力されたレーザ光は、ライン光に変換され、ライン光は、マイクロミラー531のティルティングまたは回転により様々な厚さのライン光パターンLLPに変換されて被写体上に照射されることができる。
レンズ部520は、構造光パターンレンズを備えることができ、その場合、様々な構造を有した光パターンを出力することもできる。
図15は、本発明のさらに他の実施形態に係るプロジェクタ部を備えた3次元スキャナの概略図である。
3次元スキャナ600の図面符号11bの領域に位置したパターン生成装置620は、プロジェクタミラー632、プロジェクタ631、そして、これらを制御する制御部310で構成されたプロジェクタ部630となることができる。
プロジェクタ部630は、第2のレンズ110bを備えることができ、プロジェクタミラー632は、プロジェクタ631から照射される光の経路を変更できる。
プロジェクタ631は、LCD(Liquid crystal display)方式、LCOS(Liquid crystal on silicon)方式、DLP(Digital light processing)方式のうち、いずれか1つになることができるが、これに限定するものではなく、被写体にパターン画像を照射できる装置であれば、いずれのものでも可能である。
プロジェクタ631は、制御部310の制御によってグレー(Grey)パターンまたはカラー(Color)パターンなどで構成されたパターン画像を第2のレンズ110bを介して被写体に照射することができる。イメージセンサ18は、パターン画像が照射された被写体の画像を第1のレンズ110aを用いて検出することができる。そして、イメージセンサ18で検出された2次元イメージは、データ変換装置30で三角法アルゴリズムを用いて3次元モデルに変換されることができる。
データ変換装置30において3次元モデルを生成するための三角法アルゴリズムは、各パターンが作るライン毎に固有識別記号が存在し、予め決められた当該識別記号の平面方程式と被写体に結んだ実際位置との交点を用いて3次元座標を生成し、3次元モデルを生成する方法である。また、より正確な3次元座標を得るための方案として、逆パターンを使用してパターン強化効果を得ることができる。
3次元スキャナ600は、様々なパターンが格納され得るメモリを備えることができる。制御部310は、メモリに格納されたパターンをプロジェクタ631のパターン光に照射するように制御するか、様々なパターンを外部装置から送信されてメモリに格納することができる。
<人工物加工システム>
図16は、本発明の実施形態に係る全方位画像をスキャンできる3次元スキャナ10と、スキャンされた被写体を精密に3次元モデルを生成し、これを様々な形態でデザインし、デザインされた3次元モデルを加工装置/3次元プリンタ40で加工することができるCAMデータに変換することができるデータ変換装置30及び加工装置/3次元プリンタ40で構成された人工物加工システム1のブロック図である。人工物加工システム1の下部装置は、有線/無線でデータを送受信できる。
データ変換装置30は、3次元スキャナ10から受信した画像データと深度情報から3次元モデルを生成できる。そして、生成された3次元モデルを様々な形態でデザインし、これをCAMデータに変換して加工装置/3次元プリンタ40に提供することができる。したがって、データ変換装置30は、被写体の2次元イメージを撮影してイメージ処理することができ、CAD及び/又はCAM基盤のデータ変換装置となることができるが、これに限定するものではなく、3次元スキャナから撮影された画像データを用いて被写体の3次元モデルを生成し、これをCAMデータに変換することができる装置であれば、いずれのものでも可能である。
加工装置/3次元プリンタ40は、受信したCAMデータを用いて補綴物、インプラント、矯正器、またはサジカルガイドなどの歯牙美容、診断、治療、及び予防に使用される人工物を生成できる。
図17は、下顎歯列弓に関する図であり、図18は、下顎歯列弓の角を示した図である。
本発明の3次元スキャナ10の画像処理部320またはデータ変換装置30は、生成された3次元モデルに基づいて図17及び図18において提示されたように、上顎及び下顎の歯列弓形態、大きさ、及び歯列弓の角、そして、個別歯牙形態と大きさ、そして、歯牙等間の距離など、精密な口腔内の様々な情報を提供でき、ディスプレイ装置31またはプレビューディスプレイ装置16に表示することができる。
<上顎/下顎の撮影画像>
図19は、本発明の3次元スキャナにより撮影され得る上顎画像の例であり、図20は、下顎画像の例を示した図である。
図19及び図20は、全方位レンズで撮影された画像であって、データ変換装置30または画像処理部320でイメージ処理して任意の領域別に分割して表示される2次元イメージまたはパノラマイメージで表すことができ、画像の中央の黒い領域は、口蓋、舌などであり、イメージ処理されるか、除去されることができる。
従来の口腔3Dスキャナは、測定領域(FOV:field of view)が限定されている。したがって、従来の口腔3Dスキャナは、上顎または下顎の全体を一度に撮影できず、上顎または下顎の全体を撮影するために、測定領域の分だけ複数の画像を撮影する。しかし、本発明の3次元スキャナは、全方位レンズから被写体の全体領域に対する画像を一度に撮影することができる。したがって、本発明の3次元スキャナは、従来の口腔3Dスキャナの画像等の結合による誤差発生と精密度及び分解能低下を最小化して、高品質かつ精密度の極めて優れた3次元モデルを生成できる。合わせて、光反射防止のためのパウダを口腔に塗布しなくとも、早く撮影して3次元モデルを生成できる。したがって、歯牙の撮影時間を短縮でき、歯牙、ブリッジ(Bridge)から入れ歯(denture)、矯正、インプラントなどの診断及び施術計画並びに施術時間を大きく短縮させることができる。
本発明の3次元スキャナは、歯科分野以外の分野にも適用されることができる。一例に、半導体装備及びPCB大量生産など、検査のための装備検査分野と、成形または義足/義手、顔面認識、内視鏡による3次元モデルなどの医療分野、目視で確認し難い任意の空間内構造を精密にスキャンするか、文化財復元などの産業分野などにも適用されることができる。
本発明の3次元スキャナは、ステレオ/動画像方式またはスチールイメージ方式など、3次元モデルを生成できる様々なスキャン方式を採択でき、これは、データ変換装置において上記で言及した方式のうち、いずれか1つの方式で実現されることができる。
上述したように、本発明の3次元スキャナとこれを利用した人工物加工システムは、360度全方位に光パターンを出力及び/又は360度全方位に画像を取得するレンズで構成することで、被写体の全体領域を一度に撮影して3次元モデルを実現できる。したがって、被写体の部分画像等の結合による誤差の問題と、部分画像等の数の増加による誤差の累積の問題を解決し、全体被写体の3次元モデル生成に必要な時間を最小化できる。
また、本発明の3次元スキャナとこれを利用した人工物加工システムは、全方位画像を取得する非球面レンズと、被写体にパターン光を照射するパターン生成装置とを備えて、画像処理部で測定されなかった被写体の表面領域の存在可能性を除去することができる。したがって、三角法による3次元画像生成の際、三角法の角度をできる限り増加させることができ、3次元画像の正確度と品質、及び3次元画像の分解能を大きく向上させることができる。
本発明は、被写体の撮影回数の最小化と、早いスキャン速度、そして、回転角情報による3次元モデル補正作業を介して作業者に精密なスキャン作業を求めず、作業者の作業能率を向上させることができ、手ぶれなどの人工的な振動や機械的な振動による複数の撮影画像間の偏差による3次元画像の精密度が落ちるという問題を解決できる。
本発明の実施形態が医療用として使用される場合、診療及び診断時間を最小化して、医療サービスに対する被写体の対象である患者と施術者の満足感を大きく増大させることができる。
以上において説明した本発明の詳細な説明では、本発明の好ましい実施形態を参照して説明したが、当該技術分野の熟練された当業者または当該技術分野における通常の知識を有する者であれば、後述する特許請求の範囲に記載された本発明の思想及び技術領域から逸脱しない範囲内で本発明を様々に修正及び変更させ得ることが理解できるであろう。したがって、本発明の技術的範囲は、明細書の詳細な説明に記載された内容に限定されるものではなく、特許請求の範囲により定められなければならないであろう。
本発明は、被写体を3次元的にスキャンし、これを用いて被写体に対する人工物を加工する分野で利用することができる。

Claims (18)

  1. 被写体に光パターンを照射するパターン生成装置と、
    前記光パターンが照射された前記被写体の全方位画像を受信する画像撮影装置と、
    を備え、
    前記画像撮影装置は、
    屈折率によって特定画角を有し、少なくとも1つ以上の屈折面と少なくとも1つ以上の反射コーティング面を有し、前記全方位画像を受信する第1のレンズを備え
    前記パターン生成装置は、前記被写体に全方位に前記光パターンを照射する、3次元スキャナ。
  2. 前記画像撮影装置は、
    前記第1のレンズからの光の経路を変更するミラー部と、
    前記ミラー部からの光をセンシングするイメージセンサと、
    をさらに備える請求項1に記載の3次元スキャナ。
  3. 前記画像撮影装置は、
    前記第1のレンズが全方位レンズ、ミラー型レンズ、及び魚眼レンズのうち、いずれか1つである非球面レンズである請求項1に記載の3次元スキャナ。
  4. 前記イメージセンサの読み取りに基づいて、前記被写体の2次元画像または前記被写体の3次元モデル生成のためのデータを生成する請求項2に記載の3次元スキャナ。
  5. 前記画像撮影装置は、
    前記パターン生成装置の前記光パターンの照射時点と前記イメージセンサのセンシング時点とを互いに同期化する請求項2に記載の3次元スキャナ。
  6. 前記パターン生成装置は、
    前記被写体に全方位に前記光パターンを照射する第2のレンズを備える請求項1に記載の3次元スキャナ。
  7. 前記第2のレンズは、全方位レンズ、ミラー型レンズ、及び魚眼レンズのうち、いずれか1つであることを特徴とする請求項に記載の3次元スキャナ。
  8. 前記被写体の3次元モデル生成または補正のための3次元スキャナの回転角情報を検出する回転角情報検出部をさらに備える請求項に記載の3次元スキャナ。
  9. 前記回転角情報検出部は、
    ジャイロセンサ及び加速度センサを備える請求項に記載の3次元スキャナ。
  10. 前記パターン生成装置は、
    前記被写体で前記光パターンを形成するマイクロミラーと、
    前記マイクロミラーで光を照射する光源と、
    をさらに備える請求項に記載の3次元スキャナ。
  11. 前記光源は、
    少なくとも1つの発光ダイオードまたはレーザを備える請求項10に記載の3次元スキャナ。
  12. 前記パターン生成装置は、
    前記光源からの光をライン光に変換して、前記マイクロミラーで照射する縦軸と横軸の半径が相違したレンズと、
    前記光源から光を予め決定された構造の光パターンに変換して、前記マイクロミラーで照射する構造光パターンレンズと、
    前記ライン光または前記構造光パターンを前記マイクロミラーでフォーカシングして照射することができるコリメータレンズと、
    をさらに備える請求項10に記載の3次元スキャナ。
  13. 前記パターン生成装置は、
    前記光源の駆動時間及び駆動周期のうち、少なくとも1つを制御する光源モジュレータを備え、
    前記被写体に照射される光ライン間の間隔及びそれぞれの太さを調節し、
    カラーまたは単色の複数で様々な形態のパターンを生成できる請求項10に記載の3次元スキャナ。
  14. 前記被写体は、口腔である請求項10に記載の3次元スキャナ。
  15. 前記被写体を撮影した2次元画像、前記2次元画像を任意の領域に分割した画像、または前記被写体の3次元モデルを有線及び/又は無線通信を介してディスプレイ装置、携帯用ディスプレイ装置、及び3次元スキャナに設けられたプレビューディスプレイ装置のうち、少なくとも1つに送信する請求項1に記載の3次元スキャナ。
  16. 請求項1に記載の3次元スキャナから受信した画像データを3次元モデルに変換してデザインデータを生成し、これを加工装置または3次元プリンタで加工することができるCAMデータのうち、いずれか1つに変換するデータ変換装置。
  17. 請求項16に記載のデータ変換装置から受信した前記CAMデータに基づいて、少なくとも1つの人工歯と人工物の歯肉、口蓋に連結された複数の歯牙、インプラント、サジカルガイド(Surgical guide)、矯正器、入れ歯(Denture)のうち、少なくとも1つを生成する加工装置。
  18. 請求項16に記載のデータ変換装置から受信した前記CAMデータに基づいて、少なくとも1つの人工歯と人工物の歯肉、口蓋に連結された複数の歯牙、インプラント、サジカルガイド(Surgical guide)、矯正器、入れ歯(Denture)のうち、少なくとも1つを生成する3次元プリンタ。
JP2019501534A 2016-07-13 2017-07-12 3次元スキャナとこれを利用した人工物加工装置 Active JP6735899B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2016-0088930 2016-07-13
KR1020160088926 2016-07-13
KR10-2016-0088926 2016-07-13
KR1020160088930A KR101782740B1 (ko) 2016-07-13 2016-07-13 3d 구강스캐너 및 이를 포함한 인공 치아 가공 장치
PCT/KR2017/007436 WO2018012862A1 (ko) 2016-07-13 2017-07-12 3차원 스캐너와 이를 이용한 인공물가공장치

Publications (2)

Publication Number Publication Date
JP2019525167A JP2019525167A (ja) 2019-09-05
JP6735899B2 true JP6735899B2 (ja) 2020-08-05

Family

ID=60952628

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019501534A Active JP6735899B2 (ja) 2016-07-13 2017-07-12 3次元スキャナとこれを利用した人工物加工装置

Country Status (6)

Country Link
US (1) US10792133B2 (ja)
EP (1) EP3485841B1 (ja)
JP (1) JP6735899B2 (ja)
CN (1) CN109475394B (ja)
ES (1) ES2876155T3 (ja)
WO (1) WO2018012862A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3012805A1 (en) 2016-01-26 2017-08-03 Christopher John Ciriello Automated dental treatment system
EP3459438B1 (en) * 2017-09-26 2020-12-09 The Procter & Gamble Company Device and method for determing dental plaque
CN109218707B (zh) * 2018-08-15 2020-09-04 苏州佳世达电通有限公司 口扫系统及口扫方法
US20210338047A1 (en) * 2018-09-27 2021-11-04 3Shape A/S A power-adaptable device for scanning a human intra-cavity
US11367192B2 (en) * 2019-03-08 2022-06-21 Align Technology, Inc. Foreign object filtering for intraoral scanning
CN109820604B (zh) * 2019-04-08 2024-02-27 北京大学口腔医学院 一种内置光学元件和防污染的激光手术或加工设备
EP4028983A1 (en) * 2019-09-10 2022-07-20 Align Technology, Inc. Dental panoramic views
CN110584943A (zh) * 2019-09-29 2019-12-20 中国人民解放军陆军军医大学第一附属医院 具有激光辅助测距定深功能的牙科综合治疗椅
CN110827975B (zh) * 2019-11-11 2022-10-14 延边修恩生物科技有限公司 一种口腔扫描装置及其使用方法
US20210177266A1 (en) * 2019-12-17 2021-06-17 Clayton Adams Teufel Intraoral scanning with raw depth data
JP7309628B2 (ja) 2020-01-15 2023-07-18 株式会社モリタ製作所 キャップ、撮像装置、データ生成システム、およびデータ生成方法
CN111383332B (zh) * 2020-03-26 2023-10-13 深圳市菲森科技有限公司 一种三维扫描和重建系统、计算机设备和可读存储介质
KR102445297B1 (ko) * 2020-12-22 2022-09-23 오스템임플란트 주식회사 구강 관리용 개인 이력 데이터 송수신 시스템 및 그 방법
CN113091636A (zh) * 2021-03-08 2021-07-09 华朗三维技术(深圳)有限公司 一种带陀螺仪手持三维扫描仪控制系统
WO2022197016A1 (ko) * 2021-03-16 2022-09-22 주식회사 메디트 데이터 처리 방법
EP4075095A1 (en) * 2021-04-14 2022-10-19 Medit Corp. Three-dimensional scanning system and method for controlling the same

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CH672722A5 (ja) * 1986-06-24 1989-12-29 Marco Brandestini
US6977732B2 (en) * 2002-12-26 2005-12-20 National Taiwan University Miniature three-dimensional contour scanner
AU2004223469B2 (en) * 2003-03-24 2009-07-30 D4D Technologies, Llc Laser digitizer system for dental applications
CN100554878C (zh) * 2003-05-29 2009-10-28 奥林巴斯株式会社 立体光学模块和立体摄像机
JP4764612B2 (ja) * 2004-04-19 2011-09-07 株式会社モリタ製作所 歯科用生体観察機器、口腔内観察機器、歯科用照射額帯装置及びデンタルミラー
GB0514554D0 (en) * 2005-07-15 2005-08-24 Materialise Nv Method for (semi-) automatic dental implant planning
DE102008017481B4 (de) * 2008-04-03 2013-10-24 Sirona Dental Systems Gmbh Vorrichtung und Verfahren zur optischen 3D-Vermessung und zur Farbmessung
JP5185744B2 (ja) * 2008-05-12 2013-04-17 オリンパス株式会社 光学系及びそれを用いた内視鏡
WO2009139110A1 (ja) * 2008-05-13 2009-11-19 パナソニック株式会社 口腔内測定装置及び口腔内測定システム
US8878905B2 (en) * 2009-06-17 2014-11-04 3Shape A/S Focus scanning apparatus
WO2011118839A1 (ja) * 2010-03-24 2011-09-29 株式会社アドバンス 歯科用補綴物計測加工システム
NL2006556A (en) * 2010-05-13 2011-11-15 Asml Holding Nv Optical system, inspection system and manufacturing method.
KR101175616B1 (ko) * 2010-11-11 2012-08-21 데오덴탈 주식회사 구강용 스캐너
JP5784381B2 (ja) * 2011-01-13 2015-09-24 株式会社アドバンス 歯科診療システム
US8900126B2 (en) * 2011-03-23 2014-12-02 United Sciences, Llc Optical scanning device
DE102011077564B4 (de) * 2011-06-15 2016-08-25 Sirona Dental Systems Gmbh Verfahren zur optischen dreidimensionalen Vermessung eines dentalen Objekts
KR101145767B1 (ko) * 2011-06-27 2012-05-16 주식회사 미루시스템즈 전방위 촬영 장치
US8900125B2 (en) * 2012-03-12 2014-12-02 United Sciences, Llc Otoscanning with 3D modeling
KR101176770B1 (ko) * 2012-03-22 2012-08-23 추상완 치과용 3차원 스캐너 및 이를 이용한 스캐닝 방법
CN103608696B (zh) * 2012-05-22 2016-05-11 韩国生产技术研究院 3d扫描系统和获得3d图像的方法
US9107578B2 (en) * 2013-03-31 2015-08-18 Gyrus Acmi, Inc. Panoramic organ imaging
US20140308623A1 (en) * 2013-04-12 2014-10-16 Mun Chang Computer fabrication of dental prosthetics
KR101693158B1 (ko) * 2016-09-29 2017-01-05 문정본 3차원 구강 스캐너와 이를 이용한 인공물 가공장치

Also Published As

Publication number Publication date
EP3485841A1 (en) 2019-05-22
CN109475394B (zh) 2021-04-20
WO2018012862A1 (ko) 2018-01-18
EP3485841B1 (en) 2021-04-21
ES2876155T3 (es) 2021-11-12
EP3485841A4 (en) 2020-05-20
JP2019525167A (ja) 2019-09-05
US10792133B2 (en) 2020-10-06
CN109475394A (zh) 2019-03-15
US20190254783A1 (en) 2019-08-22

Similar Documents

Publication Publication Date Title
JP6735899B2 (ja) 3次元スキャナとこれを利用した人工物加工装置
KR101974719B1 (ko) 3차원 스캐너와 이를 이용한 인공물가공장치
US20210137653A1 (en) Digital 3d models of dental arches with accurate arch width
Logozzo et al. A comparative analysis of intraoral 3D digital scanners for restorative dentistry
US9801698B2 (en) Estimating a surface texture of a tooth
US11690701B2 (en) Intraoral scanner
US8118438B2 (en) Method and apparatus for real-time projection onto an object of data obtained from 3-D measurement
Taneva et al. 3D scanning, imaging, and printing in orthodontics
Piedra-Cascón et al. Accuracy (trueness and precision) of a dual-structured light facial scanner and interexaminer reliability
JP6306703B2 (ja) カラー画像を生成する方法及びシステム
KR101693158B1 (ko) 3차원 구강 스캐너와 이를 이용한 인공물 가공장치
Hong-Seok et al. Development of high speed and high accuracy 3D dental intra oral scanner
US7259871B2 (en) Apparatus and method for rapid and precise scanning of three-dimensional occlusal profile of dental cast
JP7248680B2 (ja) 口腔内走査装置
JP2019517864A (ja) 統合されたカメラを有する歯科ミラーおよびそのアプリケーション
JP2006525066A (ja) 歯科用レーザデジタイザシステム
KR101693157B1 (ko) 3차원 구강 스캐너
JP2018518209A (ja) 物体を光学的に測定するための方法および測定システム
KR101852834B1 (ko) 3차원 구강 스캐너
Saghiri et al. A new reliable alternate method to an intraoral scanner (in-vitro study)
Çağrı et al. Direct digitalization devices in today’s dental practice: Intra oral scanners
US20170119507A1 (en) Arrangement and method for manufacturing custom objects such as dental restorations
Emmanouilidi Accuracy of various intraoral digital impression techniques
Pooja Kakade et al. EVOLUTION OF INTRAORAL SCANNERS IN DENTISTRY: AN OVERVIEW

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200311

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200623

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200714

R150 Certificate of patent or registration of utility model

Ref document number: 6735899

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250