JP6869586B2 - 増強現実を用いた歯磨きガイド情報の提供方法および装置 - Google Patents

増強現実を用いた歯磨きガイド情報の提供方法および装置 Download PDF

Info

Publication number
JP6869586B2
JP6869586B2 JP2020514477A JP2020514477A JP6869586B2 JP 6869586 B2 JP6869586 B2 JP 6869586B2 JP 2020514477 A JP2020514477 A JP 2020514477A JP 2020514477 A JP2020514477 A JP 2020514477A JP 6869586 B2 JP6869586 B2 JP 6869586B2
Authority
JP
Japan
Prior art keywords
tooth
user
teeth
guide information
providing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020514477A
Other languages
English (en)
Other versions
JP2020520780A (ja
Inventor
ホ チョイ ジョン
ホ チョイ ジョン
ジン パク ソン
ジン パク ソン
ジュン イ ドン
ジュン イ ドン
ユン イ ジェー
ユン イ ジェー
Original Assignee
キットン プラネット
キットン プラネット
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キットン プラネット, キットン プラネット filed Critical キットン プラネット
Publication of JP2020520780A publication Critical patent/JP2020520780A/ja
Application granted granted Critical
Publication of JP6869586B2 publication Critical patent/JP6869586B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • A—HUMAN NECESSITIES
    • A46—BRUSHWARE
    • A46B—BRUSHES
    • A46B15/00—Other brushes; Brushes with additional arrangements
    • A46B15/0002—Arrangements for enhancing monitoring or controlling the brushing process
    • A46B15/0004—Arrangements for enhancing monitoring or controlling the brushing process with a controlling means
    • A46B15/0006—Arrangements for enhancing monitoring or controlling the brushing process with a controlling means with a controlling brush technique device, e.g. stroke movement measuring device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4542—Evaluating the mouth, e.g. the jaw
    • A61B5/4547—Evaluating teeth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C17/00—Devices for cleaning, polishing, rinsing or drying teeth, teeth cavities or prostheses; Saliva removers; Dental appliances for receiving spittle
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/0076—Body hygiene; Dressing; Knot tying
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/0076—Body hygiene; Dressing; Knot tying
    • G09B19/0084—Dental hygiene
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • A—HUMAN NECESSITIES
    • A46—BRUSHWARE
    • A46B—BRUSHES
    • A46B2200/00—Brushes characterized by their functions, uses or applications
    • A46B2200/10—For human or animal care
    • A46B2200/1066—Toothbrush for cleaning the teeth or dentures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/283—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for dentistry or oral hygiene

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Dentistry (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Rheumatology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)

Description

本発明は、増強現実を用いた歯磨きガイド情報の提供方法およびその装置に関する。より詳しくは歯磨きをする際増強現実を用いて歯磨きに関するガイド情報、例えば各区域別に歯磨きを行った程度のようなガイド情報を提供する方法およびその方法を行う装置に関する。
多くの子供たちは歯磨きが嫌いである。しかし、歯牙は再生しない身体部位であるため永久歯が傷つく場合、他の医療的な助けが必要である。また、子供たちは歯磨きをすることより歯科へ行くことが何倍も嫌いである。そのため正しい歯牙管理が非常に重要である。
このためには乳歯が生える時から正しい歯磨き習慣をつけさせることが重要である。歯磨きは健康な生活を維持するための健康生活習慣の一つである。実際に歯磨きを完ぺきにするだけでもきれいな歯牙を維持することができる。しかし、多くの子供たちが毎日１回以上歯磨きをしても歯牙が傷つく理由は間違った歯磨き習慣のためである。
このような問題を解決するために動画等を通して正しい歯磨きに対する情報を提供する方法がある。しかし、このような方法は歯磨きをするユーザである子供と相互的な作用なしに指定されたコンテンツを単に再生するだけである。そのためにコンテンツを見る間子供たちの集中力が低下しやすく歯磨きを疎かにする。
そこで子供に正しい歯磨き習慣に関するコンテンツを提供する一方、子供がコンテンツに集中できるように相互対話型のガイド情報の提供方法が求められる。
本発明が解決しようとする技術的課題は、増強現実を用いた歯磨きガイド情報の提供方法およびその装置を提供することにある。
本発明の技術的課題は、以上で言及した技術的課題に制限されず、言及されていない他の技術的課題は、以下の記載から本発明の技術分野における通常の技術者に明確に理解されるであろう。
前記技術的課題を解決するための本発明の一実施形態による歯磨きガイド情報の提供方法は、ユーザ端末が、ユーザを撮影した映像を分析し、前記ユーザの顔を認識して前記顔のランドマークを識別する段階と、前記ユーザ端末が、前記ランドマークを用いて前記ユーザの個人化した歯牙モデルを生成する段階と、前記ユーザ端末が、前記歯牙モデルを用いて仮想の歯牙イメージを増強現実により提供する段階と、前記ユーザ端末が、前記歯牙モデルを用いて歯磨きガイド情報を提供する段階とを含み得る。
好ましくは、前記顔のランドマークを識別する段階は、前記ユーザの眉毛、目、鼻、両頬、口、耳、顎ラインのうち一つ以上をランドマークとして識別する段階を含み得る。
好ましくは、前記ユーザの個人化した歯牙モデルを生成する段階は、前記ランドマークを用いて前記ユーザの歯牙の位置、大きさ、配列のうち一つ以上を推定する段階を含み得る。
好ましくは、前記ユーザの歯牙の位置、大きさ、配列のうち一つ以上を推定する段階は、前記ユーザの顎ラインと右耳が接する位置と前記ユーザの唇中央の位置の中点部分に下顎右側奥歯が位置すると推定する段階と、前記ユーザの顎ラインと左耳が接する位置と前記ユーザの唇中央の位置の中点部分に下顎左側奥歯が位置すると推定する段階と、前記ユーザの唇中央の位置に前歯が位置すると推定する段階とを含み得る。
好ましくは、前記ユーザの歯牙の位置、大きさ、配列のうち一つ以上を推定する段階は、前記ユーザの顎ラインから前記ユーザの顎の大きさを推定する段階と、前記顎の大きさを用いて前記ユーザの歯牙の大きさを推定する段階とを含み得る。
好ましくは、前記ユーザの歯牙の位置、大きさ、配列のうち一つ以上を推定する段階は、前記ユーザの顎ラインから前記ユーザの顎の形を推定する段階と、前記顎の形を用いて四角形歯列弓、卵形歯列弓、三角形歯列弓のうちいずれか一つで前記ユーザの歯牙配列を推定する段階とを含み得る。
好ましくは、前記ユーザの個人化した歯牙モデルを生成する段階は、前記ユーザから生年月日、性別、身長、体重、歯牙の個数、歯牙の位置、虫歯の個数、虫歯の位置のうち一つ以上を含む個人化情報の入力を受ける段階と、前記個人化情報を用いて前記ユーザの個人化した歯牙モデルを修正する段階とを含み得る。
好ましくは、前記ユーザの個人化した歯牙モデルを修正する段階は、前記ユーザの生年月日から月数および年数を逆算し、前記月数および年数に基づいて永久歯の可否を判断する段階と、乳歯の場合、最大２０個以内、永久歯の場合、最大２８個以内に前記歯牙モデルに含まれた歯牙の個数を制限する段階とを含み得る。
好ましくは、前記ユーザの個人化した歯牙モデルを修正する段階は、前記ユーザの生年月日から月数および年数を逆算し、前記月数および年数に基づいて永久歯の可否を判断する段階と、前記永久歯の可否の判断結果に応じて前記歯牙モデルに含まれた歯牙の大きさ、形のうち一つ以上を修正する段階とを含み得る。
好ましくは、前記ユーザの個人化した歯牙モデルを修正する段階は、前記性別、身長、年齢、体重のうち一つ以上を用いて前記歯牙モデルに含まれた歯牙の個数、大きさ、形のうち一つ以上を修正する段階を含み得る。
好ましくは、前記仮想の歯牙イメージを増強現実により提供する段階は、前記歯牙モデルで第１歯牙がまだ生えていないか抜けた場合、前記仮想の歯牙イメージで前記第１歯牙に該当する位置は歯牙を表示しない段階を含み得る。
好ましくは、前記仮想の歯牙イメージを増強現実により提供する段階は、仮想の歯ブラシのイメージを増強現実によりさらに提供するか仮想の歯牙イメージを提供する代わりに仮想の歯ブラシのイメージのみを提供する段階を含み得る。
好ましくは、前記仮想の歯ブラシのイメージを増強現実によりさらに提供するか仮想の歯牙イメージを提供する代わりに仮想の歯ブラシのイメージのみを提供する段階は、前記撮影した映像を分析して前記ユーザが歯ブラシを握っている手とその角度を推定する段階と、前記手とその角度に基づいて前記仮想の歯ブラシのイメージの位置と角度を増強現実により表示する段階とを含み得る。
好ましくは、前記歯磨きガイド情報を提供する段階は、前記歯牙モデルを既に設定された個数の部分に分けて、各部分別に歯磨きの進行程度を色相で表示する段階を含み得る。
好ましくは、前記各部分別に歯磨きの進行程度を色相で表示する段階は、乳歯の場合、左側歯牙の前面と裏面、右側歯牙の前面と裏面、合計８個の部分に前記歯牙モデルを分ける段階を含み得る。
好ましくは、前記各部分別に歯磨きの進行程度を色相で表示する段階は、永久歯の場合、左側奥歯の前面と上面と裏面、前歯の前面と裏面、右側奥歯の前面と上面と裏面、合計１６個の部分に前記歯牙モデルを分ける段階を含み得る。
好ましくは、前記歯磨きガイド情報を提供する段階は、前記歯牙モデルを既に設定された個数の部分に分けて、各部分別に歯磨きが必要な回数、方向、時間のうち一つ以上を視覚的または聴覚的に案内する段階を含み得る。
好ましくは、前記各部分別に歯磨きが必要な回数、方向、時間のうち一つ以上を視覚的または聴覚的に案内する段階は、前記歯牙モデルで第１歯牙がまだ生えていないか抜けた場合、前記第１歯牙に該当する位置は案内をしない段階を含み得る。
好ましくは、前記各部分別に歯磨きが必要な回数、方向、時間のうち一つ以上を視覚的または聴覚的に案内する段階は、前記ユーザが既に設定された年齢より幼い場合には回転法またはフォーンズ法の横方向の歯磨きを案内し、その他にはバス法または変形バス法の上下方向の歯磨きを案内する段階を含み得る。
前記技術的課題を解決するための本発明の他の実施形態によるコンピュータプログラムは、ハードウェアと結合されて本発明による歯磨きガイド情報の提供方法を実行するようにコンピュータで読み取り可能な媒体に保存されたコンピュータプログラムである。
前記技術的課題を解決するための本発明の他の実施形態による増強現実を用いたコンテンツ提供方法は、コンテンツ提供装置が、ユーザを撮影した映像を分析し、前記ユーザの第１部位を認識して前記第１部位のランドマークを識別する段階と、前記コンテンツ提供装置が、前記ランドマークを用いて前記ユーザの個人化した第１部位モデルを生成する段階と、前記コンテンツ提供装置が、前記第１部位モデルを用いて仮想の第１部位イメージを増強現実により提供する段階と、前記コンテンツ提供装置が、前記第１部位モデルを用いて前記第１部位と関連したコンテンツを提供する段階とを含み得る。
本発明による効果は次のとおりである。
本発明によれば、歯磨きガイド情報を増強現実を用いて提供するため子供たちがコンテンツにより集中することができる。特に単に固定のコンテンツが再生する方式でなく子供との相互作用を通してガイド情報を提供するため興味を継続して維持することができる。
また、増強現実によりコンテンツを提供する時、各個人に応じたカスタマイズしたコンテンツを提供することができ、コンテンツに対する興味を呼び起こすことができる。これにより歯磨きすることが一つの遊びになり、正しい歯磨きが習慣づくのに役立つことができる。
また、子供だけでなく大人も本発明によるガイド情報の提供方法を用いて自身の歯磨き習慣を長期間にわたってモニタリングすることができる。これにより大人の健康な歯牙管理にも役立つ。また、歯磨きをモニタリングした情報を親や医師のような第三者にも提供して医療情報として活用することもできる。
本発明の一実施形態による増強現実を用いた歯磨きガイド情報の提供方法を説明するための図である。 本発明の一実施形態による増強現実を用いた歯磨きガイド情報の提供方法のフローチャートである。 図２のユーザの歯磨きする姿を撮影する段階（Ｓ１１００）を説明するための例示図である。 図２の顔のランドマークを分析して個人化した歯牙モデルを生成する段階（Ｓ１２００）を説明するための例示図である。 図２の顔のランドマークを分析して個人化した歯牙モデルを生成する段階（Ｓ１２００）を説明するための例示図である。 図２の顔のランドマークを分析して個人化した歯牙モデルを生成する段階（Ｓ１２００）を説明するための例示図である。 図２の顔のランドマークを分析して個人化した歯牙モデルを生成する段階（Ｓ１２００）を説明するための例示図である。 図２の顔のランドマークを分析して個人化した歯牙モデルを生成する段階（Ｓ１２００）を説明するための例示図である。 図２の顔のランドマークを分析して個人化した歯牙モデルを生成する段階（Ｓ１２００）を説明するための例示図である。 図２の顔のランドマークを分析して個人化した歯牙モデルを生成する段階（Ｓ１２００）を説明するための例示図である。 図２の顔のランドマークを分析して個人化した歯牙モデルを生成する段階（Ｓ１２００）を説明するための例示図である。 図２の顔のランドマークを分析して個人化した歯牙モデルを生成する段階（Ｓ１２００）を説明するための例示図である。 図２の顔のランドマークを分析して個人化した歯牙モデルを生成する段階（Ｓ１２００）を説明するための例示図である。 図２の顔のランドマークを分析して個人化した歯牙モデルを生成する段階（Ｓ１２００）を説明するための例示図である。 図２の顔のランドマークを分析して個人化した歯牙モデルを生成する段階（Ｓ１２００）を説明するための例示図である。 図２の増強現実を用いて歯牙モデルを表示する段階（Ｓ１３００）を説明するための例示図である。 図２の増強現実を用いて歯牙モデルを表示する段階（Ｓ１３００）を説明するための例示図である。 図２の歯磨きの進行に応じてガイド情報を提供する段階（Ｓ１４００）を説明するための例示図である。 図２の歯磨きが終了するとモニタリング結果を提供する段階（Ｓ１５００）を説明するための例示図である。 本発明の一実施形態による増強現実を用いた歯磨きガイド情報提供装置のハードウェア構成図である。
以下、添付した図面を参照して本発明の好ましい実施形態を詳細に説明する。本発明の利点および特徴、並びにこれらを達成する方法は添付する図面と共に詳細に後述する実施形態を参照すると明確になるであろう。しかし、本発明は以下で開示する実施形態に限定されるものではなく互いに異なる多様な形態で具現することができ、本実施形態は単に本発明の開示を完全にし、本発明が属する技術分野における通常の知識を有する者に発明の範疇を完全に知らせるために提供するものであり、本発明は請求項の範疇によってのみ定義される。明細書全体にわたって同一参照符号は同一構成要素を称する。
他に定義のない限り、本明細書で使われるすべての用語（技術的および科学的用語を含む）は本発明が属する技術分野における通常の知識を有する者に共通して理解される意味で使われる。また、一般的に使われる辞典に定義されている用語は明白に特に定義されていない限り理想的にまたは過度に解釈されない。本明細書で使われた用語は実施形態を説明するためのものであり、本発明を制限しようとするものではない。本明細書で、単数形は文面で特記しない限り、複数形も含む。
以下、図面を参照して本発明のいくつかの実施形態を説明する。
図１は本発明の一実施形態による増強現実を用いた歯磨きガイド情報の提供方法を説明するための図である。
図１を参照するとスマートフォン２００に歯磨きをするユーザのイメージ２１０と増強現実により表現された仮想の歯牙イメージ２２０および増強現実により表現された仮想の歯ブラシのイメージ２３０が表示されたものが示されている。歯磨きをするユーザはまだ永久歯が生えていない子供であり、増強現実には上歯１０個、下歯１０個の歯が画面にオーバーレイ（ｏｖｅｒｌａｙ）して表示されたものが示されている。
本発明では増強現実により歯磨きガイド情報を提供するためにスマートフォン２００のような別途の装置を必要とする。スマートフォン２００にインストールされたアプリケーションを通してこのような機能を提供することができる。ただし、図１の例示は発明の理解を助けるためのものであり、スマートフォン２００の他にもそれと類似のタブレット、スマートウォッチのようなウェアラブル機器等を介して歯磨きガイド情報を増強現実により提供することができる。
ただし、増強現実により歯磨きガイド情報を提供するためにはカメラのような撮影部とディスプレイのような表示部は必須である。例えばお手洗いにタッチスクリーンを設置してユーザの姿を撮影して鏡のようにイメージを提供し、その他追加的な機能をさらに提供するスマートミラーにも本発明を適用することができる。
スマートミラーについてさらに説明すると、ユーザが洗面をする間画面の隅に今日の天気に関する情報、今日一日の日程に関する情報などを提供しながら歯磨きする姿を撮影し、それに基づいて増強現実により歯磨きに関するガイド情報を提供することができる。このように多様な機器を介して本発明を実現することができる。
図１ではスマートフォン２００が撮影したユーザのイメージ２１０と仮想生成した歯牙のイメージ２２０および仮想生成した歯ブラシのイメージ２３０が互いに分離して表現されているが、ユーザのイメージ２１０に歯牙のイメージ２２０と歯ブラシのイメージ２３０をオーバーレイして表現することもできる。これについては以下図１１Ａないし図１１Ｂでより詳しく説明する。
また、場合によってユーザのイメージ２１０は省略して仮想の歯牙イメージ２２０と仮想の歯ブラシのイメージ２３０のみ提供することもできる。このような場合には仮想の歯牙イメージ２２０と仮想の歯ブラシのイメージ２３０にユーザがより集中するように誘導する効果がある。また、仮想の歯牙イメージ２２０も省略して仮想の歯ブラシのイメージ２３０のみ増強現実により表示して歯磨きガイド情報を提供することも可能である。この場合はユーザが歯磨きガイド情報にのみ集中するように誘導する効果がある。
また、図１では上歯１０個と下歯１０個がすべて表示されているが、ユーザに応じてまだ歯牙が生えていない部分は増強現実により歯牙のイメージ２２０を表示する時該当歯牙を省略することができる。例えば前歯のみ生えて奥歯はまだ生えていない場合、１０個でなく５個や６個の歯牙が表示されることもできる。
ユーザが歯磨きをすると仮想生成した歯ブラシのイメージ２３０が現在歯磨き中の部位の歯牙のイメージの上にオーバーレイして表示される。また、歯磨きをしながらユーザの手の上／下／左／右の動きに応じて仮想の歯ブラシのイメージ２３０も同様に動く。
従来には動画やフラッシュアニメーションなどで固定のコンテンツを再生しながら歯磨きに関する情報を提供することに対して、本発明はユーザの動きに応じてコンテンツが変わる相互作用により歯磨きに対する興味をより呼び起こすことができる。すなわち子供が歯磨きを一つの遊びとして受け入れることができる。
増強現実により歯磨きに関するガイド情報を提供するために本発明ではカメラが撮影した映像をリアルタイムで分析してユーザの顔を認識した後口と顎ラインの位置および顔の位置と大きさを把握する。そして、各ユーザに応じて歯牙モデルを生成した後これを増強現実により画面に表示する。
この時、各ユーザ別に生成される歯牙モデルは歯牙の構造、歯牙の大きさ、歯磨きの状態などを反映した個人化した歯牙モデルである。これによりユーザが歯磨きガイド情報により集中できるように助ける。また、個人化した歯牙モデルに基づいてガイド情報も個人化して提供する。
また、増強現実により仮想の歯牙イメージ２２０や仮想の歯ブラシのイメージ２３０を表現する時追加的に効果音や視覚効果を共に表現することができる。これにより持続的に興味を誘発し、歯磨きに集中するように助ける。すなわち、子供たちが歯磨きを楽しい生活習慣として受け入れるように助けることができる。
その他にも、歯磨きを終えると歯磨きを行った結果に対するフィードバックを提供することができる。このようなフィードバック情報はユーザ本人に提供することができ、その他にも子供の親や歯科先生に提供することもできる。これは今後医療情報として活用することも可能である。
図２は本発明の一実施形態による増強現実を用いた歯磨きガイド情報の提供方法のフローチャートである。
図２を参照すると、まずユーザの歯磨きする姿をスマートフォン２００のカメラを通して撮影する（Ｓ１１００）。これのために一般的にはお手洗いの洗面台の前の部分や鏡にスマートフォン２００を置くことのできるホルダーが設けられていることが好ましい。
子供が歯磨きをするためにスマートフォン２００を持ってお手洗いに入った後、ホルダーにスマートフォン２００を置きアプリケーションを実行する。その後歯ブラシと歯磨き粉を持って歯磨きをするとその姿をスマートフォン２００のカメラで撮影して映像を分析する。
映像解析により顔から目、鼻、口、耳のようなランドマーク（ｌａｎｄｍａｒｋ）を識別してこれに基づいて歯牙の位置や構造などを把握して個人化した歯牙モデルを生成する（Ｓ１２００）。すなわち本発明では各ユーザ別に互いに異なる仮想の歯牙イメージ２２０が画面に表示される。
生成した歯牙モデルを増強現実を用いて撮影した映像と共に表示する（Ｓ１３００）。この時撮影した映像のイメージ２１０の上に歯牙のイメージ２２０をオーバーレイして表現することもでき、歯牙のイメージをより詳しく表示するために図１のように撮影した映像のイメージ２１０はサムネイルで小さく表示して仮想の歯牙イメージ２２０を大きく表現することができる。
この時画面に表示される仮想の歯牙イメージ２２０は、ユーザが顔を回したり頭を傾けるとそれに合わせて仮想の歯牙イメージ２２０も回転したり傾いて現実感を付与することができる。これのために顔認識（ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ）、パターン認識（ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ）等のような映像処理技術が活用される。
ユーザが歯磨きをするとそれに応じて増強現実により仮想の歯ブラシのイメージ２３０も共に表示され、追加的にガイド情報も共に提供される（Ｓ１４００）。ガイド情報は歯牙の各部位別にどの程度歯磨きをしたのか案内する情報であり得る。または、歯磨きの速度や方向などを案内する情報であり得る。または、歯磨きがさらに必要な部位を案内する情報であり得る。
ユーザが歯磨きを終了するとモニタリング結果をフィードバックとして提供する（Ｓ１５００）。歯磨きの終了は映像解析によっても把握することができる。例えば映像解析によりユーザが歯ブラシを置く場合に歯磨きが終了したものと把握する。または、ユーザが歯磨き終了ボタンをタッチする方式でユーザの入力により歯磨きの終了を把握することができる。
モニタリング結果は、歯牙の各部位別に歯磨きがどの程度よくできたかに対する情報を色相やグラフ等で視角化して提供することができる。また、フィードバック情報をスマートフォン２００に表示することの他にも子供の親や歯科先生など予め指定したユーザの端末に転送することができる。
以上、本発明が提案する増強現実を用いた歯磨きガイド情報の提供方法について調べた。本発明において歯磨きガイド情報を増強現実により提供する理由は相互作用によりユーザの興味を誘発するためである。また、歯磨きをすると歯牙は口の中にあるのでカメラで歯磨きする姿を撮影しても歯牙は見えない。そのため歯牙を仮想で視角化して表示することによって正しい歯磨き習慣を持つように助けるためである。
ただし、実際歯磨きをする間は歯牙が見えないので映像を分析してユーザの顔を認識してランドマークに基づき、解剖学的な情報に基づいて仮想の歯牙のイメージ２２０をリアルタイムで表示しなければならない。このように本発明では増強現実を適用するために映像処理技術と解剖学的分析により個人化した歯牙モデルを生成する。
図３は図２のユーザの歯磨きする姿を撮影する段階（Ｓ１１００）を説明するための例示図である。
図３を参照すると、お手洗いの鏡３００にスマートフォン２００が置かれていることが示されている。現実のユーザ１１０が歯ブラシ１３０を持って歯磨きをする時、一般的には鏡３００に映ったユーザ自身の姿３１０を見ながら歯磨きをする。ただし、鏡の中のユーザの姿３１０はユーザの姿１１０をそのまま映すだけであるため一般的に子供たちはあまり興味を感じない。
この時、鏡３００に付着したスマートフォン２００を通して相互作用をしながら視覚的または聴覚的に歯磨きに関するガイド情報を提供すると子供たちの興味を誘発することができる。これにより乳歯が生える時から正しい歯磨き習慣が身に付くように助けることができる。
図４ないし図１０は図２の顔のランドマークを分析して個人化した歯牙モデルを生成する段階（Ｓ１２００）を説明するための例示図である。
図４を参照すると、ユーザを撮影したイメージ２１０でランドマークとして活用できる顔の部位が例示されている。例えば両目（４１１，４１２）、両頬（４１３，４１４）、鼻４１５、口角（４１６，４１７）、唇の中央部分４１８等をランドマークとして活用することができる。このようなランドマーク分析によってユーザが唇を閉ざして歯磨きをしても歯牙の位置や大きさのような情報を推定することができる。
図５Ａを参照すると、より多様なランドマークの各位置に数字が付けられているものが示されている。本発明はこのようなランドマークに解剖学的な情報を結合して見えない歯牙に関する情報を推定する。
例えば図５において両耳と顎ラインが接する地点である３番位置と２９番位置を詳しく見ると、一般的にこの部分は下顎の骨の端部分に該当する。そして、唇の中央部分である９３番位置は前歯が位置する部分である。
そうすると、図５Ｂに示すように、３番位置と９３番位置の中間位置に下顎左側奥歯が位置すると推定することができる。同様に２９番位置と９３番位置の中間位置に下顎右側奥歯が位置すると推定することができる。
歯牙の位置だけでなく０番位置から３３番位置までの顎ラインに基づいてユーザの顎の大きさを計算し、顎の大きさに基づいて歯牙の大きさを推定することができる。解剖学的には顎の大きさが大きくなるほど歯牙の大きさも大きくなるので、これを用いると歯牙の大きさも推定することができる。
図５Ｃを参照すると、ユーザの個人化した歯牙モデルが仮想の歯牙イメージで画面の上にオーバーレイして表示されたものが示されている。また、歯牙の位置と大きさの他にも歯牙の個数などを個人化して表現することができる。特に子供の場合、乳歯と永久歯によって歯牙の個数が変わるのでこれを歯牙モデルに反映することができる。
図５Ａないし図５Ｃで説明したように本発明では解剖学的情報を用いてユーザの歯牙の位置と大きさなどを推定することができる。これを個人化した歯牙モデルという。ただし、これは解剖学的情報を用いて歯牙モデルを生成する過程を説明するための一例であり、この他にも多様な情報をさらに用いることができる。
例えば歯牙の大きさや位置は一般的にユーザの年齢、性別、身長、体重などと相関関係を有する。このような情報をユーザから追加で入力を受けて個人化した歯牙モデルを生成するのに活用することができる。
その他にも、スマートフォン２００のアプリケーションにユーザ登録をする過程で別に「ア〜」と口を開いた状態で写真を撮影するようにユーザに案内することによって、歯牙のイメージを直接的に撮影して個人化した歯牙モデルを生成するのに活用することができる。
その他にも該当ユーザが通う歯科病院のサーバーとの通信によりＸ線やＣＴなどのイメージを受信し、これを分析して個人化した歯牙モデルを生成するのに活用することができる。一般的な写真に比べて医療イメージは正確な歯牙モデルの生成により適する。
図６を参照すると、個人化した歯牙モデルを生成する段階（Ｓ１２００）の前にユーザの歯牙を撮影する段階（Ｓ１２１０）やユーザから追加情報の入力を受ける段階（Ｓ１２２０）をさらに行うことができる。また、図６ではＳ１２１０段階とＳ１２２０段階が順次段階のように示されているが、同時に行われてもまたは順序を変えて行われてもよく、いずれか一つの段階のみ行われてもよい。
ユーザの顔を撮影したイメージからランドマークを抽出して解剖学的情報を結合して歯牙の位置や大きさなどは推定できるが、それ以上の情報を得ることは無理である。例えば歯牙の個数、抜歯の有無、虫歯の有無などは解剖学的情報を用いても限界がある。
もちろん顔映像を分析して年齢などを推定し、それより乳歯であるか永久歯であるかを推定する程度のことはできるが、これも限界がある情報である。これを補完するためにさらにユーザから生年月日、性別、年齢などの個人情報の入力を受けることができる。
図７を参照すると、乳歯と永久歯との差が示されている。人において初めて生える歯牙を乳歯という。他の言葉では脱落歯がある。母乳で育つ時期に生えることから乳歯という。乳歯は生後６〜７ヶ月頃から生え始めて２０〜３０ヶ月まで伸びる。乳歯の場合、臼歯の種類の区分なしに乳臼歯のみ存在する。
乳切歯（Ｄｅｃｉｄｕｏｕｓ ｉｎｃｉｓｏｒ）とは、一番手前に生える総８個の歯牙をいう。上顎に４個、下顎に４個が生え、左右に２個ずつある。中央の４個の歯牙は乳中切歯であり、より外側にある４個の歯牙は乳側切歯と呼ぶ。乳側切歯が乳中切歯より大きさが小さい。生後６〜８ヶ月に生える。
乳犬歯（Ｄｅｃｉｄｕｏｕｓ ｃａｎｉｎｅ）とは、乳側切歯の外側にある歯であり、総４個ある。生後１６〜２０ヶ月に生える。
乳臼歯（Ｄｅｃｉｄｕｏｕｓ ｍｏｌａｒ）とは、乳犬歯の外側にある歯であり、総８個ある。内側の歯牙は第１乳臼歯、外側の歯牙は第２乳臼歯という。第１乳臼歯は永久歯のいかなる歯牙とも異なる形態である。歯牙の根は大臼歯のように３個あるが、表の形は小臼歯に近い。第２乳臼歯の形態は永久歯の第１大臼歯と類似する。生後１２〜３０ヶ月に生える。
これに対して乳歯が抜けた後に生える歯牙を永久歯という。
切歯（Ｉｎｃｉｓｏｒ）とは、一番前面にある総８個の歯牙をいう。乳切歯が抜けた場所にそのまま生える。乳切歯より大きさが大きいので乳切歯はまばらに生えており、切歯が育ちながらその場所を埋める。仮に乳切歯の間の空間が不充分であれば切歯が互いに重なったり傾いて生えて八重歯になる。食物を切る役割をし、審美的にも重要な役割をし、発音する時もなくてならない。中央は中切歯、外側は側切歯という。
犬歯（Ｃａｎｉｎｅ）とは、切歯の外側にある４個の歯牙をいう。切歯に比べて中央がとがっている形状であるため糸切り歯とも呼ぶ。食物を噛む役割をし、審美的に非常に重要な役割をする。歯牙で構成されたアーチで犬歯が目立っているからである。歯根の長さが歯牙のうち最も長いので耐久性にも優れるが、その理由は犬歯が食物を噛む過程で一番最初に互いに接触しながら顎が動く経路を案内するからである。犬歯が擦れたり抜けると食物を噛む方法から変わる。
小臼歯（Ｐｒｅｍｏｌａｒ）とは、犬歯の外側にある８個の歯牙であり、俗に小さい奥歯という。中心側は第１小臼歯、外側は第２小臼歯に分けられる。食物を細かく砕く役割をする。小臼歯からは歯牙の咬頭が２個以上になる。上顎の小臼歯はいずれも咬頭が２個であるが、たまに下顎の第２小臼歯は舌側咬頭が２個である３咬頭型も見られる。
大臼歯（Ｍｏｌａｒ）とは、最も外側にある１２個の歯牙をいう。中心から順に第１大臼歯、第２大臼歯、第３大臼歯というが、第３大臼歯は俗に親知らずという。食物を細かく砕く役割をする。上顎の大臼歯は咬頭が４個である場合が多く歯根が３個であるが、下顎の大臼歯は咬頭が５個である場合が多く歯根が２個である。上顎第１大臼歯の舌側には５番目の小さい咬頭が生じたり、上顎第２大臼歯は舌側の外側咬頭が退化して咬頭が３個のように生じたりもする。下顎第１大臼歯の咬頭はほぼ四角形で４個が配置され、外側にもう一つがつく形態であり、第２大臼歯の咬頭も同様であるが、外側の５番目咬頭が退化した４咬頭型もしばしば見られる。第３大臼歯の形態は多様であり、よく発達して第１大臼歯と類似の場合もあるが、退化して矮小化した第２大臼歯の場合よりさらに小さい。
図７にも示すように乳歯であるか永久歯であるかによって大きさと形が異なる。また、全体歯牙の個数も異なる。そのためユーザの歯牙が乳歯であるか永久歯であるかを区別して増強現実により表示するとより現実感を得ることができる。しかし、このような情報は顔を撮影した映像から推定するには限界がある。そのためユーザから追加で生年月日の入力を受けて活用することができる。
図８Ａは乳歯が生える時期と抜ける時期を表に整理した図である。図８Ａを参照すると、上顎の１番目前歯（＝乳中切歯）は７〜８ヶ月に生えてきて６〜７歳の間に抜ける。また、上顎の２番目前歯（＝乳側切歯）は８〜９ヶ月に生えてきて７〜８歳の間に抜ける。また、上顎の糸切り歯（＝乳犬歯）は１６〜２０ヶ月に生えてきて１０〜１２歳の間に抜ける。また、上顎の１番目奥歯（＝第１乳臼歯）は１２〜１６ヶ月に生えてきて９〜１１歳の間に抜ける。また、上顎の２番目奥歯（＝第２乳臼歯）は２０〜３０ヶ月に生えてきて１０〜１２歳の間に抜ける。
図８Ａを参照すると、下顎の１番目前歯（＝乳中切歯）は６〜７ヶ月に生えてきて６〜７歳の間に抜ける。また、下顎の２番目前歯（＝乳側切歯）は６〜７ヶ月に生えてきて７〜８歳の間に抜ける。また、下顎の糸切り歯（＝乳犬歯）は１６〜２０ヶ月に生えてきて９〜１２歳の間に抜ける。また、下顎の１番目奥歯（＝第１乳臼歯）は１２〜１６ヶ月に生えてきて９〜１１歳の間に抜ける。また、下顎の２番目奥歯（＝第２乳臼歯）は２０〜３０ヶ月に生えてきて１０〜１２歳の間に抜ける。
図８Ｂを参照すると、永久歯が生える時期を上顎と下顎別に確認することができる。永久歯は特に事情がなければ自然に抜けないため生える時期のみ整理した。
図８Ｂを参照すると、上顎の１番目前歯（＝中切歯）は７〜８歳の間に生えてきて、下顎の１番目前歯は６〜７歳の間に生えてくる。また、上顎の２番目前歯（＝側切歯）は８〜９歳の間に生えてきて、下顎の２番目前歯（＝側切歯）は７〜８歳の間に生えてくる。また、上顎の糸切り歯（＝犬歯）は１１〜１２歳の間に生えてきて、下顎の糸切り歯（＝犬歯）は９〜１０歳の間に生えてくる。
また、上顎の１番目の小さい奥歯（＝第１小臼歯）は１０〜１１歳の間に生えてきて、下顎の１番目の小さい奥歯（＝第１小臼歯）は１０〜１２歳の間に生えてくる。また、上顎の２番目の小さい奥歯（＝第２小臼歯）は１０〜１２歳の間に生えてきて、下顎の２番目の小さい奥歯（＝第２小臼歯）は１０〜１２歳の間に生えてくる。
また、上顎の１番目の大きい奥歯（＝第１大臼歯）は６〜７歳の間に生えてきて、下顎の１番目の大きい奥歯（＝第１大臼歯）は６〜７歳の間に生えてくる。また、上顎の２番目の大きい奥歯（＝第２大臼歯）は１２〜１３歳の間に生えてきて、下顎の２番目の大きい奥歯（＝第２大臼歯）は１１〜１３歳の間に生えてくる。また、上顎の三番目の大きい奥歯（＝第３大臼歯）は１７〜２１歳の間に生えてきて、下顎の三番目の大きい奥歯（＝第３大臼歯）は１７〜２１歳の間に生えてくる。
このように同じ乳歯でも位置によって生える時期と抜ける時期に差がある。また、同じ前歯であるとしても上顎であるか下顎であるかによって生える時期と抜ける時期に差がある。また、乳歯であるか永久歯であるかによって歯牙の個数に差がある。
そのためユーザから生年月日の入力を受けると月数や年数を逆算して乳歯であるか永久歯であるかを区別し、乳歯でも現在生えている歯牙と生えていない歯牙を区別することができる。これによりさらに正確な個人化した歯牙モデルを生成し、これを増強現実により表現することができる。
本発明で提供する増強現実を用いた歯磨きガイド情報の提供方法は、スマートフォン２００のアプリケーション等を通して提供できるが、この過程でユーザプロフィールを生成することができる。ユーザプロフィールに基づいて持続的に歯磨き状況をモニタリングしてフィードバックすることができる。この時ユーザプロフィールを生成する過程で生年月日、性別、身長、体重、歯牙数、歯牙の位置、虫歯数、虫歯の位置などの情報の入力を受けることができる。
また、プロフィールを生成する過程で口を開いて歯牙を撮影した写真の入力を受けて虫歯の有無などを個人化した歯牙モデルに反映することができる。歯牙が生えた部位、抜けた部位、虫歯がある部位などの情報を反映して個人化したガイド情報の生成も可能である。
例えば歯が抜けた部位は歯磨きをするガイド情報から省略するか虫歯がある部位は歯磨きをより多くより長くするようにガイド情報をカスタマイズして生成することができる。すなわち、個人化した歯牙モデルに基づいて個人化したガイド情報の生成が可能である。
解剖学的情報とユーザから入力を受けた情報に基づいて歯牙の位置、大きさ、個数などを反映した個人化した歯牙モデルを生成する過程で歯の配列も追加的にさらに反映することができる。図９Ａないし図９Ｃにはこのような歯牙配列が例示されている。
図９Ａを参照すると、四角形の歯列弓（Ｓｑｕａｒｅ ａｒｃｈ）が示されている。また、図９Ｂでは卵形の歯列弓（Ｏｖａｌ ａｒｃｈ）が示されている。最後に図９Ｃでは三角形の歯列弓（Ｔｒｉａｎｇｕｌａｒ ａｒｃｈ）が示されている。それぞれ奥歯のラインと前歯のラインがなす角度を基準に大きく四角形、卵形、尖形（＝三角形）に区分する。
２０１０年度のある統計によれば、卵形が４４％で最も多く、次に四角形が３０％、三角形が２６％で分析された。また、年齢別の歯列弓を比較してみた結果、２０代以下では卵形は４８％、四角形は２８％、三角形は２４％であり、２０代は卵形が４２％、四角形３１％、三角形２７％、３０代は卵形が４０％、四角形が３５％、三角形が２５％で、３０代以下の年齢層には卵形が多く分布していた。これに対して４０代では四角形３５％、三角形３４％、卵形３１％で、若年層に比べて四角形歯列弓が多く、卵形歯列弓が少ないため韓国人の歯列形態が徐々に西欧化していることが示された。
このように年齢代によって歯列弓の形態も異なる特性を示す。特に歯列弓は顎ラインのラインと密接な関係を有するため顎ラインの解剖学的情報から歯列弓の形態を推定することができる。
また、図１０のように個人化した歯牙モデルを生成する時、該当ユーザの歯科病院のサーバーからＸ線写真などを受信してこれに基づいてより正確な歯牙モデルを生成することができる。子供の場合、持続的な歯牙管理が必要であるため病院との連係によってより正確な歯牙モデルを生成し、これに基づいて個人化したガイド情報を提供することができる。
特にガイド情報を生成する時、担当医師の意見を反映することができる。例えば、担当医師が特定部位はさらに集中的に歯磨きするようにガイド情報を生成する時は各部位によって加重値を付与することができる。
図１１Ａないし図１１Ｂは図２の増強現実を用いて歯牙モデルを表示する段階（Ｓ１３００）を説明するための例示図である。
図１１Ａを参照すると、ユーザを撮影したイメージ２１０の上に仮想の歯牙イメージ２２０がオーバーレイして表示されたものが示されている。ユーザが口を閉じている状態であっても仮想の歯牙イメージ２２０を増強現実により表現することによって、歯磨きをする過程の間の歯牙の状態変化を視角化して表示ことができる。
特に図１１Ａに示すようにユーザが頭を右側に傾けると歯牙の位置もともに傾いて表現される。増強現実であるためユーザの顔輪郭、顎ラインなどに基づいて解剖学的情報と結合して歯牙の位置を推定して該当位置に個人化した歯牙モデルを表示することができる。
これにより単に鏡を見ながら歯磨きをする方法または単に再生だけをする動画コンテンツを見ながら歯磨きをする方法に比べて現実感のある歯磨きガイド情報をユーザに提供することができる。
また、仮想の歯牙イメージ２２０と仮想の歯ブラシのイメージ２３０の他にも追加的なイメージを増強現実により共に表現することができる。図１１Ａでは歯磨きをする過程をゲームと結合してゲームキャラクターのイメージ２４０を共に表示したものが示されている。
また、図１１Ｂではユーザの姿をポロロのキャラクターのイメージ２５０に換えて表示した増強現実が示されている。図１１Ｂではユーザの姿がすべてポロロのキャラクターのイメージ２５０に変わっているが、全体でない部分も可能である。例えばユーザのイメージ２１０にポロロのメガネと帽子のみを合成して増強現実により表示することができる。ポロロ以外にも子供たちが好きなキャラクターで増強現実を具現して歯磨きする姿を見せると子供たちに歯磨きが一つの楽しい遊びとして位置づけられる。
図１１Ｂではポロロのキャラクターイメージ２５０のみ示されているが、その他にも多様なキャラクターのイメージの使用が可能である。特にこのようなキャラクターイメージは著作権があるので、契約によりライセンスを受けて有償でキャラクターイメージをアプリケーション内で販売することもできる。そのため部分的な有料化により収益を得ることもできる。
図１２は図２の歯磨きの進行に応じてガイド情報を提供する段階（Ｓ１４００）を説明するための例示図である。
ガイド情報は歯牙を一定の区域に分けて各区域別に歯磨きの進行程度を色相などで表示した歯磨きの進行情報を含み得る。例えば下顎を基準に左側奥歯を第１区域、前歯の部分を第２区域、右側奥歯を第３区域に分け、第１区域の前面、上面、裏面の３部分と、第２区域の前面、裏面の２部分と、第３区域の上面、裏面の３部分、合計８部分を色相で表現することができる。
歯磨きの進行によって８部分の色相を赤色＞黄色＞薄緑色に変化させながらすべての部分がまんべんなく歯磨きが行われるようにユーザにガイド情報を提供することができる。これにより特定部位のみ歯磨きする習慣を矯正することができる。
また、ガイド情報は歯磨きが必要な区域を案内する情報が含まれ得る。例えば歯磨きをゲームと結合して特定区域の歯牙に細菌をオーバーレイして増強現実により表現することができる。ユーザが該当区域を歯磨きすると視覚効果および聴覚効果とともに該当細菌をなくして点数を得るように画面を構成することができる。細菌の他にも食べかすを視角化したイメージを増強現実により表現することもできる。
そうすると子供は細菌や食べかすが現れた部分を歯磨きするだけで歯牙全体をまんべんなく歯磨きするように誘導することができる。この過程で虫歯がある部位は細菌がさらに頻繁に現れるようにゲームを構成し、歯牙がない部分はこれを省略するようにゲームを構成することができる。このようにカスタマイズしたガイド情報により正しい歯磨き習慣をつけさせることができる。
また、ガイド情報は歯磨きの方向と速度などを案内する情報が含まれ得る。画面に増強現実により表現される仮想の歯ブラシのイメージ２３０はユーザが歯磨きをするとそれに合わせて動く方法で表示されるが、その他にも歯磨きを始める前にはガイド情報を表示することもできる。
例えば「前歯を３回シャカシャカ磨いてみよう〜」という音声案内とともに仮想の歯ブラシのイメージが前歯を上下に磨く姿を表示することができる。子供が歯磨きする姿を撮影して映像解析により子供がガイド情報に従って歯磨きをすると「よくできました」というフィードバックを提供することができる。
また、ユーザの年齢および微細運動の発達状況を考慮して仮想の歯ブラシのイメージ２３０によるガイド情報を異なって表現することができる。例えば、ユーザの年齢が３歳〜８歳である場合は簡単な横に歯磨きする歯ブラシ法（＝回転法、フォーンズ法）を主に案内し、ユーザの年齢が８歳以上である場合は複雑な上下に歯磨きする歯ブラシ法（バス法、変形バス法）を主に案内することができる。
この時、子供が実際に歯磨きをする過程は映像解析により動きの方向と動きの距離などを用いて判断することができる。しかし、追加的に図１２に示すように歯ブラシの内部に３軸加速センサを内蔵して歯ブラシの移動に関する情報をスマートフォン２００で無線通信により受信してこれを分析して判断することもできる。
図１２を参照すると、歯ブラシ取っ手で歯ブラシの頭部分の方向をｙ軸、歯ブラシの毛と平行方向をｚ軸、ｙ軸とｚ軸に直交する残りの一つの軸をｘ軸と定義する。そして、ｘ軸、ｙ軸、ｚ軸各方向の移動と共に、ｘ軸方向の回転とｙ軸方向の回転に関する情報を追加でさらに収集して歯磨きの方向を判断することができる。
この時、ユーザが歯ブラシを握っている方向を判断して右利きであるか左利きであるかによって歯ブラシの方向と歯磨きをしている歯牙の部位を判断することができる。また、ユーザが歯ブラシを持っている手と歯ブラシ本体の角度を計算して仮想の歯ブラシのイメージ２３０の角度を決めることができる。
この時、歯ブラシとスマートフォン２００との間の通信方式はＷｉＦｉ（登録商標）通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信、ＺｉｇＢｅｅ（登録商標）通信、３Ｇ通信、ＬＴＥ通信またはＮＦＣ通信など多様な通信方式を用いることができる。すなわち、無線信号を用いて通信を行うすべての通信方式を適用することができる。
また、ガイド情報はスマートフォン２００を用いて視覚的および聴覚的に提供することの他にも歯ブラシを介して触覚的に提供することができる。例えばユーザがスマートフォン２００の画面に表示された歯ブラシの方向と回数および時間によく付いていくと歯ブラシに振動を発生させるように制御信号をスマートフォン２００で送信し、歯ブラシはこれを受信してユーザに振動によるフィードバックを提供することができる。逆にユーザがガイド情報によく付いていけない場合歯ブラシにハプティクス効果を与えてフィードバックを提供することができる。
その他にもガイド情報は多様な方式で増強現実により画面に表示することができる。例えば、ユーザが歯磨きしなければならない領域には仮想の歯ブラシのイメージ２３０を位置させてユーザが現在の歯磨きしている領域に仮想の効果（歯磨きの泡、歯牙の色変化、星など）を位置させる。そして、二つの領域が一致する場合は仮想の歯ブラシのイメージ２３０は消えるようにガイド情報を構成することができる。
また、スマートフォン２００は、歯ブラシとの通信により歯ブラシに残っているバッテリの残量を画面に表示してバッテリ交換が必要な場合、事前にユーザに案内する情報を提供することができる。その他にも映像解析等により歯ブラシの摩耗程度を分析して歯ブラシの交換が必要な場合、事前にユーザに案内する情報を提供することができる。
その他にも歯磨きが終わると仮想のコップイメージを増強現実に表示して口の中を洗うガイド情報をユーザに視覚的に提供することができる。また、歯磨きが終了した後に口周辺に歯磨き粉が付いている場合、映像解析によりこれを感知して口周辺を洗うように案内する情報を提供することができる。
また、増強現実によりユーザの背景を変えてお手洗いでない仮想の空間、例えば海辺や学校、遊び場などを表示して風変わりな空間で歯磨きするように感じるようにすることができる。これによりすぐに飽きる子供たちの興味を持続的に呼びおこすことができる。
このような増強現実を用いたガイド情報の提供は医療情報を提供する時にも活用することができる。例えば既存の歯科では虫歯を見せる時Ｘ線写真で説明をしたが、これからは虫歯の情報が画面に映った顔に仮想の歯牙がオーバーレイして虫歯を表示することができる。
増強現実を用いたガイド情報の提供は歯牙だけでなく他の身体部位にも拡張が可能である。例えば歯科でない小児科で子供に風邪について説明する時、Ｘ線写真などを用いることより個人化した仮想の気管支イメージを生成して子供の姿にオーバーレイして見せながら風邪の進行過程などを説明することができる。このような説明と共に子供に風邪の注射を打つならば子供が病院に行くことや注射を受けることを一つの病院遊びとして思い負担を感じないように誘導することができる。
このように多様な身体部位に対して解剖学的情報を用いて個人化した身体部位のモデルを生成し、これを増強現実を用いて表示しながら関連したコンテンツを提供するとユーザに該当コンテンツに対する理解度と集中度を高める効果がある。
また、ユーザが画面で増強現実により表現された歯牙のイメージ２２０をタッチすると該当歯牙の機能、永久歯の有無など教育用コンテンツを追加で画面に表示することができる。また、ユーザの口腔状態（矯正の有無、美白の有無、抜歯、大きさ、個数など）を分析して歯ブラシや歯磨き粉に関する情報を提供することができる。これにより広告などに活用して収益を得ることもできる。
また、仮想の歯ブラシのイメージ２３０も同じイメージのみ使うのではなく顔認識により予測したりユーザが入力した年齢、性別、身長、体重に応じて歯ブラシの色相と大きさを異にすることができる。子供の場合、キャラクター歯ブラシのイメージ２３０を画面に表示することもできる。
図１３は図２の歯磨きが終了するとモニタリング結果を提供する段階（Ｓ１５００）を説明するための例示図である。
図１３を参照すると、２０１７年６月２５日日曜日午後８時１０分に行った歯磨きをモニタリングした結果を表示したものが示されている。前述したように下顎を基準に左側奥歯を第１区域、前歯の部分を第２区域、右側奥歯を第３区域に分け、第１区域の前面、上面、裏面の３部分と、第２区域の前面、裏面の２部分と、第３区域の上面、裏面の３部分、合計８部分を色相で表現することができる。
上顎の場合にも同様に合計８部分が表示されており、歯磨きをよく行った部分は白色で、歯磨きの回数や時間などが不足する部分は黄色で表示して歯磨きの結果をユーザに直観的に表示ことができる。
また、ユーザがまだ乳歯の場合には下顎を基準に３個の区域でない左右の２個の区域で表示してモニタリング結果をシンプルに表現することができる。先に子供の場合、年齢に応じて歯磨きを横に歯磨きする方法（＝回転法、フォーンズ法）を案内したので歯磨きの結果も左／右にそれぞれ左の内側と外側、右の内側と外側の合計４個の部分に分けて表示することができる。
永久歯の場合には下顎を基準に合計８個の部分をモニタリング結果として提供するが、子供の場合、乳歯の場合には下顎を基準に合計４個の部分にしてモニタリング結果を単純化して提供することができる。
ただし、これは発明の理解を助けるための一例であるため、その他にも歯牙を多様な区域に分けて各区域を部分に細分化して歯磨きの結果を提供することができる。また、領域の区分なしに各歯牙別にモニタリング結果を提供することができる。その他にも、各歯牙および歯牙と歯牙との間も領域に区分してモニタリング結果を提供することができる。
また、図１３には１回の歯磨き結果のみを表示したが、これを数日にわたって累積した歯磨き結果を色相で表現したり、それぞれの歯磨きを行った程度を点数で換算し、これをグラフ形態で提供することもできる。単に色相の他にも「そんな磨き方じゃ、下の奥歯は虫歯になっちゃうよ〜」のような聴覚的モニタリング結果も共に提供することができる。
図１４は本発明の一実施形態による増強現実を用いた歯磨きガイド情報提供装置のハードウェア構成図である。
図１４を参照すると歯磨きガイド情報提供装置２００は、一つ以上のプロセッサ５１０、メモリ５２０、ストレージ５６０およびインターフェース５７０を含み得る。プロセッサ５１０、メモリ５２０、ストレージ５６０およびインターフェース５７０はシステムバス５５０を通じてデータを送受信する。
プロセッサ５１０は、メモリ５２０にロードされたコンピュータプログラムを実行し、メモリ５２０は前記コンピュータプログラムをストレージ５６０でロード（ｌｏａｄ）する。前記コンピュータプログラムは、映像撮影オペレーション５２１、歯牙モデル生成オペレーション５２３およびガイド情報提供オペレーション５２５を含み得る。
映像撮影オペレーション５２１は、図面に示していないカメラを介して歯磨きをしようとするユーザの映像を撮影する。この時、ユーザは顔の部分を含む上半身を撮影することが好ましい。映像撮影オペレーション５２１が撮影した映像をリアルタイムで分析し、該当映像に個人化した歯牙モデルと個人化したガイド情報を提供することが本発明の目的である。
そのために撮影した映像を歯牙モデル生成オペレーション５２３が分析する。一次的に顔を感知し、顔の輪郭線とランドマークなどを識別して解剖学的情報を用いて歯牙の位置と大きさおよび配列を推定する。
また、ストレージ５６０に保存された個人化情報５６１を参照して二次的に永久歯の有無、虫歯の有無、歯牙の個数、歯牙の色相などを反映して個人化した歯牙モデルを生成してシステムバス５５０を介してストレージ５６０の歯牙モデル５６３として保存する。
この時使われる個人化情報は事前にインターフェース５７０を介してユーザから入力を受けたものであり、ユーザの生年月日、性別、身長、体重などを含む。その他にもユーザが直接撮影した歯牙のイメージや歯科病院のサーバーから提供された歯牙のＸ線イメージなどを含み得る。
個人化した歯牙モデル５６３は先立って説明したように歯牙の位置、大きさ、配列、永久歯の有無、虫歯の有無、歯牙数、虫歯数などの情報を含む。これにより各ユーザごとに互いに異なる仮想の歯牙イメージを画面に増強現実により表示することができる。
ガイド情報提供オペレーション５２５は、撮影した映像をユーザに提供しながら先に生成した個人化した歯牙モデル５６３に合う個人化したガイド情報５６５を共に提供する。個人化したガイド情報５６５は各個人の歯状態に応じて歯磨きの進行程度、歯磨きの方向と回数および時間などに対するフィードバック情報などを含み得る。
図１４の各構成要素はソフトウェア（Ｓｏｆｔｗａｒｅ）または、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ−Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）のようなハードウェア（Ｈａｒｄｗａｒｅ）を意味する。しかし、前記構成要素はソフトウェアまたはハードウェアに限定される意味ではなく、アドレッシング（Ａｄｄｒｅｓｓｉｎｇ）できる保存媒体にあるように構成することもでき、一つまたはそれ以上のプロセッサを実行させるように構成することもできる。前記構成要素から提供される機能はさらに細分した構成要素によって具現され得、複数の構成要素を合わせて特定の機能を遂行する一つの構成要素として具現することもできる。
これまで説明した本発明の実施形態による方法は、コンピュータが読み取り可能なコードで具現されたコンピュータプログラムの実行によって行われることができる。前記コンピュータプログラムは、インターネットなどのネットワークを通じて第１コンピューティング装置から第２コンピューティング装置に転送されて前記第２コンピューティング装置にインストールされ得、そのため前記第２コンピューティング装置で用いることができる。前記第１コンピューティング装置および前記第２コンピューティング装置は、サーバー装置、クラウドサービスのためのサーバープールに属した物理サーバー、デスクトップＰＣのような固定式コンピューティング装置をすべて含む。
前記コンピュータプログラムは、ＤＶＤ−ＲＯＭ、フラッシュメモリ装置などの記録媒体に保存されたものであり得る。
以上、添付する図面を参照して本発明の実施形態を説明したが、本発明が属する技術分野における通常の知識を有する者は本発明がその技術的思想や必須の特徴を変更せず他の具体的な形態で実施できることを理解することができる。したがって、以上、記述した実施形態はすべての面で例示的なものであり、限定的なものではないと理解しなければならない。

Claims (20)

  1. ユーザ端末が、ユーザを撮影した映像を分析し、前記ユーザの顔を認識して前記顔のランドマークを識別する段階と、
    前記ユーザ端末が、前記ランドマークを用いて前記ユーザの個人化した歯牙モデルを生成する段階と、
    前記ユーザ端末が、前記歯牙モデルを用いて仮想の歯牙イメージを増強現実により提供する段階と、
    前記ユーザ端末が、前記歯牙モデルを用いて歯磨きガイド情報を提供する段階とを含む、歯磨きガイド情報の提供方法。
  2. 前記顔のランドマークを識別する段階は、
    前記ユーザの眉毛、目、鼻、両頬、口、耳、顎ラインのうち一つ以上をランドマークとして識別する段階を含む、請求項１に記載の歯磨きガイド情報の提供方法。
  3. 前記ユーザの個人化した歯牙モデルを生成する段階は、
    前記ランドマークを用いて前記ユーザの歯牙の位置、大きさ、配列のうち一つ以上を推定する段階を含む、請求項１に記載の歯磨きガイド情報の提供方法。
  4. 前記ユーザの歯牙の位置、大きさ、配列のうち一つ以上を推定する段階は、
    前記ユーザの顎ラインと右耳が接する位置と前記ユーザの唇中央の位置の中点部分に下顎右側奥歯が位置すると推定する段階と、
    前記ユーザの顎ラインと左耳が接する位置と前記ユーザの唇中央の位置の中点部分に下顎左側奥歯が位置すると推定する段階と、
    前記ユーザの唇中央の位置に前歯が位置すると推定する段階とを含む、請求項３に記載の歯磨きガイド情報の提供方法。
  5. 前記ユーザの歯牙の位置、大きさ、配列のうち一つ以上を推定する段階は、
    前記ユーザの顎ラインから前記ユーザの顎の大きさを推定する段階と、
    前記顎の大きさを用いて前記ユーザの歯牙の大きさを推定する段階とを含む、請求項３に記載の歯磨きガイド情報の提供方法。
  6. 前記ユーザの歯牙の位置、大きさ、配列のうち一つ以上を推定する段階は、
    前記ユーザの顎ラインから前記ユーザの顎の形を推定する段階と、
    前記顎の形を用いて四角形歯列弓、卵形歯列弓、三角形歯列弓のうちいずれか一つで前記ユーザの歯牙配列を推定する段階とを含む、請求項３に記載の歯磨きガイド情報の提供方法。
  7. 前記ユーザの個人化した歯牙モデルを生成する段階は、
    前記ユーザから生年月日、性別、身長、体重、歯牙の個数、歯牙の位置、虫歯の個数、虫歯の位置のうち一つ以上を含む個人化情報の入力を受ける段階と、
    前記個人化情報を用いて前記ユーザの個人化した歯牙モデルを修正する段階とを含む、請求項１に記載の歯磨きガイド情報の提供方法。
  8. 前記ユーザの個人化した歯牙モデルを修正する段階は、
    前記ユーザの生年月日から月数および年数を逆算し、前記月数および年数に基づいて永久歯の可否を判断する段階と、
    乳歯の場合は最大２０個以内、永久歯の場合は最大２８個以内に前記歯牙モデルに含まれた歯牙の個数を制限する段階とを含む、請求項７に記載の歯磨きガイド情報の提供方法。
  9. 前記ユーザの個人化した歯牙モデルを修正する段階は、
    前記ユーザの生年月日から月数および年数を逆算し、前記月数および年数に基づいて永久歯の可否を判断する段階と、
    前記永久歯の可否の判断結果に応じて前記歯牙モデルに含まれた歯牙の大きさ、形のうち一つ以上を修正する段階とを含む、請求項７に記載の歯磨きガイド情報の提供方法。
  10. 前記ユーザの個人化した歯牙モデルを修正する段階は、
    前記性別、身長、年齢、体重のうち一つ以上を用いて前記歯牙モデルに含まれた歯牙の個数、大きさ、形のうち一つ以上を修正する段階を含む、請求項７に記載の歯磨きガイド情報の提供方法。
  11. 前記仮想の歯牙イメージを増強現実により提供する段階は、
    前記歯牙モデルで第１歯牙がまだ生えていないか抜けた場合、前記仮想の歯牙イメージで前記第１歯牙に該当する位置は歯牙を表示しない段階を含む、請求項１に記載の歯磨きガイド情報の提供方法。
  12. 前記仮想の歯牙イメージを増強現実により提供する段階は、
    仮想の歯ブラシのイメージを増強現実によりさらに提供するか仮想の歯牙イメージを提供する代わりに仮想の歯ブラシのイメージのみを提供する段階を含む、請求項１に記載の歯磨きガイド情報の提供方法。
  13. 前記仮想の歯ブラシのイメージを増強現実によりさらに提供するか仮想の歯牙イメージを提供する代わりに仮想の歯ブラシのイメージのみを提供する段階は、
    前記撮影した映像を分析して前記ユーザが歯ブラシを握っている手とその角度を推定する段階と、
    前記手とその角度に基づいて前記仮想の歯ブラシのイメージの位置と角度を増強現実により表示する段階とを含む、請求項１２に記載の歯磨きガイド情報の提供方法。
  14. 前記歯磨きガイド情報を提供する段階は、
    前記歯牙モデルを既に設定された個数の部分に分けて、各部分別に歯磨きの進行程度を色相で表示する段階を含む、請求項１に記載の歯磨きガイド情報の提供方法。
  15. 前記各部分別に歯磨きの進行程度を色相で表示する段階は、
    乳歯の場合、左側歯牙の前面と裏面、右側歯牙の前面と裏面、合計８個の部分に前記歯牙モデルを分ける段階を含む、請求項１４に記載の歯磨きガイド情報の提供方法。
  16. 前記各部分別に歯磨きの進行程度を色相で表示する段階は、
    永久歯の場合、左側奥歯の前面と上面と裏面、前歯の前面と裏面、右側奥歯の前面と上面と裏面、合計１６個の部分に前記歯牙モデルを分ける段階を含む、請求項１４に記載の歯磨きガイド情報の提供方法。
  17. 前記歯磨きガイド情報を提供する段階は、
    前記歯牙モデルを既に設定された個数の部分に分けて、各部分別に歯磨きが必要な回数、方向、時間のうち一つ以上を視覚的または聴覚的に案内する段階を含む、請求項１に記載の歯磨きガイド情報の提供方法。
  18. 前記各部分別に歯磨きが必要な回数、方向、時間のうち一つ以上を視覚的または聴覚的に案内する段階は、
    前記歯牙モデルで第１歯牙がまだ生えていないか抜けた場合、前記第１歯牙に該当する位置は案内をしない段階を含む、請求項１７に記載の歯磨きガイド情報の提供方法。
  19. 前記各部分別に歯磨きが必要な回数、方向、時間のうち一つ以上を視覚的または聴覚的に案内する段階は、
    前記ユーザが既に設定された年齢より幼い場合は回転法またはフォーンズ法の横方向の歯磨きを案内し、その他にはバス法または変形バス法の上下方向の歯磨きを案内する段階を含む、請求項１７に記載の歯磨きガイド情報の提供方法。
  20. ハードウェアと結合されて請求項１ないし１９のいずれか一項による歯磨きガイド情報の提供方法を実行するようにコンピュータで読み取り可能な媒体に保存された、コンピュータプログラム。
JP2020514477A 2017-07-27 2017-10-20 増強現実を用いた歯磨きガイド情報の提供方法および装置 Active JP6869586B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020170095670A KR102006610B1 (ko) 2017-07-27 2017-07-27 증강 현실을 이용한 양치 가이드 정보 제공 방법 및 장치
KR10-2017-0095670 2017-07-27
PCT/KR2017/011695 WO2019022302A1 (ko) 2017-07-27 2017-10-20 증강 현실을 이용한 양치 가이드 정보 제공 방법 및 장치

Publications (2)

Publication Number Publication Date
JP2020520780A JP2020520780A (ja) 2020-07-16
JP6869586B2 true JP6869586B2 (ja) 2021-05-12

Family

ID=65040215

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020514477A Active JP6869586B2 (ja) 2017-07-27 2017-10-20 増強現実を用いた歯磨きガイド情報の提供方法および装置

Country Status (5)

Country Link
US (2) US11482125B2 (ja)
JP (1) JP6869586B2 (ja)
KR (1) KR102006610B1 (ja)
CN (1) CN111033554A (ja)
WO (1) WO2019022302A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3084815A1 (en) * 2017-12-28 2019-07-04 Colgate-Palmolive Company Oral hygiene systems
EP4056147A4 (en) * 2019-11-07 2024-06-12 Bluereo Inc. ORAL CARE METHOD USING AN ELECTRIC TOOTHBRUSH WHICH CAN BE CONNECTED TO AN APPLICATION
JP7336688B2 (ja) * 2020-02-07 2023-09-01 パナソニックＩｐマネジメント株式会社 歯ブラシシステム、および歯ブラシシステム用プログラム
KR102202551B1 (ko) * 2020-03-06 2021-02-16 주식회사 미래테크원 양치 정보 제공 방법 및 이를 구현하는 양치 정보 제공 시스템
CN113436734B (zh) * 2020-03-23 2024-03-05 北京好啦科技有限公司 基于人脸结构定位的牙齿健康评估方法、设备和存储介质
FI20207082A1 (fi) * 2020-05-11 2021-11-12 Dentview Oy Laite suuhygienian neuvontaan
JP6960503B1 (ja) * 2020-05-29 2021-11-05 株式会社ポケモン ゲームプログラム、方法、情報処理装置、システム
GB2623293A (en) * 2022-10-03 2024-04-17 See It Click It Buy It Ltd Oral hygiene apparatus
CN117612744A (zh) * 2023-04-27 2024-02-27 广州星际悦动股份有限公司 口腔护理结果显示方法、装置、设备及存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10312848A1 (de) * 2003-03-21 2004-10-07 Sirona Dental Systems Gmbh Datenbank, Zahnmodell und Zahnersatzteil, aufgebaut aus digitalisierten Abbildungen realer Zähne
ES2639429T3 (es) * 2008-11-20 2017-10-26 Braun Gmbh Dispositivo de higiene personal para el cuerpo
JP2012524643A (ja) * 2009-05-08 2012-10-18 ザ ジレット カンパニー パーソナルケアシステム、製品、及び方法
CA2708911C (en) 2009-07-09 2016-06-28 Accenture Global Services Gmbh Marketing model determination system
KR101397712B1 (ko) * 2010-07-27 2014-06-27 주식회사 팬택 증강 현실 객체 인식 가이드 제공 장치 및 방법
KR20130092273A (ko) 2012-02-10 2013-08-20 권귀석 모션인식 양치 시스템
US10172443B2 (en) * 2013-08-11 2019-01-08 Yong-Jing Wang Oral care tools and systems
WO2015123759A1 (en) * 2014-02-21 2015-08-27 Trispera Dental Inc. Augmented reality dental design method and system
CN106998900B (zh) * 2014-08-04 2019-10-25 达维德·萨波 用于检查正确口腔卫生操作的系统
KR102242350B1 (ko) 2014-12-31 2021-04-20 엘지디스플레이 주식회사 유기발광 디스플레이 장치
KR20160083448A (ko) * 2014-12-31 2016-07-12 김주현 영유아용 양치방법을 제공하는 온라인 영상교육 시스템 및 방법
KR101654853B1 (ko) * 2015-02-24 2016-09-22 주식회사 포워드벤처스 치아 관리 디스플레이 시스템 및 치아 관리 디스플레이 방법
KR101565516B1 (ko) 2015-03-16 2015-11-03 김성훈 칫솔 부착용 패치와 이를 이용한 양치 학습방법

Also Published As

Publication number Publication date
CN111033554A (zh) 2020-04-17
JP2020520780A (ja) 2020-07-16
US11482125B2 (en) 2022-10-25
WO2019022302A1 (ko) 2019-01-31
KR102006610B1 (ko) 2019-08-05
US20210201687A1 (en) 2021-07-01
US20230017611A1 (en) 2023-01-19
KR20190012545A (ko) 2019-02-11

Similar Documents

Publication Publication Date Title
JP6869586B2 (ja) 増強現実を用いた歯磨きガイド情報の提供方法および装置
US10912634B2 (en) Augmented reality dental design method and system
US11051914B2 (en) Augmented reality enhancements for dental practitioners
US20150302581A1 (en) Method and device for cosmetic dental analysis
CA3054100A1 (en) Method for constructing a restoration
TWI728374B (zh) 牙齒虛擬編輯方法、系統、電腦設備和儲存媒體
JP2016174903A (ja) 歯科診療システム
ES2933803T3 (es) Dispositivo de análisis de una situación dental
Calamia et al. The components of smile design: New York University smile evaluation form revisited, update 2015
KR102202551B1 (ko) 양치 정보 제공 방법 및 이를 구현하는 양치 정보 제공 시스템
US20230248475A1 (en) Method for manufacturing an orthodontic appliance
CN115240500A (zh) 一种正畸虚拟仿真教学系统
Attia The Art of Dental Simulation Treatment Using the Artificial Intelligence
Hooda et al. Digital Smile Design
WO2022069775A1 (es) Procedimiento para generación de una cabeza y una dentadura virtuales en cuatro dimensiones
Mohammed Photographical Analysis of Macro-and Micro-aesthetic Appearance. A Cross-Sectional Study of Iraqi Adults with Class I Normal Occlusion
Hribar Computers in Aesthetic and Cosmetic Dentistry
Sahoo et al. Vistas of Smile Designing.
Bingham The selection of artificial anterior teeth appropriate for the age and gender of the complete denture wearer. A study into the variation of choices made by general dental practitioners, final year dental students and fine art students
JP2005062960A (ja) 美容指針提示方法、記録媒体及び美容指針提示システム
Pitigoi-Aron Esthetic Case Design

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210316

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210407

R150 Certificate of patent or registration of utility model

Ref document number: 6869586

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250