JP6898869B2 - 口臭を検出するためのシステムおよび方法 - Google Patents

口臭を検出するためのシステムおよび方法 Download PDF

Info

Publication number
JP6898869B2
JP6898869B2 JP2017566396A JP2017566396A JP6898869B2 JP 6898869 B2 JP6898869 B2 JP 6898869B2 JP 2017566396 A JP2017566396 A JP 2017566396A JP 2017566396 A JP2017566396 A JP 2017566396A JP 6898869 B2 JP6898869 B2 JP 6898869B2
Authority
JP
Japan
Prior art keywords
halitosis
image
oral cavity
processor
tongue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017566396A
Other languages
English (en)
Other versions
JP2018528793A (ja
Inventor
ヘラウィ,リム
ルメール,アミール フセイン フセイン
ルメール,アミール フセイン フセイン
セルバン ヤシンスキー,ラドゥ
セルバン ヤシンスキー,ラドゥ
マリア アールトス,ロナルデュス
マリア アールトス,ロナルデュス
シャン,カイフェン
パテル,ジャヤプラカシュ
ヤヘル,マリニュス カレル ヨーハネス デ
ヤヘル,マリニュス カレル ヨーハネス デ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2018528793A publication Critical patent/JP2018528793A/ja
Application granted granted Critical
Publication of JP6898869B2 publication Critical patent/JP6898869B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/24Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C17/00Devices for cleaning, polishing, rinsing or drying teeth, teeth cavities or prostheses; Saliva removers; Dental appliances for receiving spittle
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483Physical analysis of biological material
    • G01N33/497Physical analysis of biological material of gaseous biological material, e.g. breath
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483Physical analysis of biological material
    • G01N33/497Physical analysis of biological material of gaseous biological material, e.g. breath
    • G01N33/4975Physical analysis of biological material of gaseous biological material, e.g. breath other than oxygen, carbon dioxide or alcohol, e.g. organic vapours
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/254Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/04Constructional details of apparatus
    • A61B2560/0462Apparatus with built-in sensors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • A61B2576/02Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Chemical & Material Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Dentistry (AREA)
  • Immunology (AREA)
  • Hematology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Medicinal Chemistry (AREA)
  • Urology & Nephrology (AREA)
  • Food Science & Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本発明は、口腔を通じて吐き出された口臭を示す化合物の検出を示すセンサー信号を生成するための気体センサーを有する、口臭を検出するためのシステムに関する。
本発明はさらに、気体センサーから口腔を通じて吐き出された口臭を示す化合物の検出を示すセンサー信号を受け取ることを含む、口臭を検出するための方法に関する。
本発明はさらに、上記のシステムで実行されたときにシステムのプロセッサに上記の方法を実装させるためのコンピュータ・プログラム・コードを担持するコンピュータ可読データ担体を有するコンピュータ・プログラム・プロダクトに関する。
口臭は吐き出された空気における不快な臭いを指す状態である。口臭(halitosis)は種々の源に由来するものがあり、たとえば口腔に由来する口腔悪臭(oral malodour)は貧弱な口腔衛生によって引き起こされることがあり、あるいは貧血、チアノーゼ、糖尿病、腎疾患などといった病理学的な原因をもつ全身性口臭(systemic halitosis)がある。
不快な臭いは典型的には排出された空気中の硫黄を含む気体または揮発性化合物、たとえば硫化ジメチル、硫化水素、二流化ジメチルおよびメタンチオール(メチルメルカプタン)などによって引き起こされるので、口臭は、排出された空気を分析することによって検出できる。そのような硫黄を含む気体または揮発性化合物はたとえば、電子鼻(Eノーズ)のようなコンパクトな気体センサーを含む人工嗅覚システムによって検出されうる。そのような人工嗅覚システムの例が特許文献1に開示されている。
口臭の社会的影響のため、口臭に悩む人は典型的には口臭の症状を軽減し、たとえば貧弱な口臭衛生によって引き起こされる口腔悪臭の場合など可能な場合には口臭の根源的な原因を根絶することを望む。今日、これは典型的には歯科医または口臭衛生士によって、たとえば歯周診査および歯垢スコア付けによって、なされる。これは理想的ではない。というのも、口臭に悩む人がそのような専門家を訪れるのは年に一度または二度など、たまにでしかなく、これは口腔悪臭に取り組むために実行される対策(たとえば、歯科衛生、たとえば歯磨き、歯間腔清掃、舌清掃などのような口腔衛生領域における変化)に対するフィードバックを容易にしないからである。かかるフィードバックは、口腔に由来する口臭に取り組むための推奨された口腔衛生法が正しく適用されているかどうかをモニターするためのものである。ユーザーがより効果的に口腔悪臭に対処することを支援できる自動化されたシステムおよび方法が必要とされている。
特許文献2は、口腔に挿入される挿入部と;前記挿入部内に配置され、口腔に照射光を発するよう構成された発光部と;前記発光部から口腔に放出された照射光の戻り光の画像を捕捉するよう構成された撮像部と;口腔における生物学的情報が生物学的情報センサーによって検出されるときにのみ前記発光部から照射光を放出することを許容するよう構成された発光制御部とを有する口腔観察装置を開示している。
米国特許出願公開第2014/0096590号 特開2012-147901
Anastasios Skarlatidis et al.、"Probabilistic event calculus based on Markov logic networks"、Proceedings of the 5th international conference on Rule-based modeling and computing on the semantic web (RuleML'11), Frank Olken, Monica Palmirani, and Davide Sottara (Eds.)、Springer- Verlag, Berlin, Heidelberg, 155-170 (2011) X. Wang et al.、"An optimized tongue image color correction scheme"、IEEE Transactions on Information Technology in Biomedicine, Vol.14, no.6, pp.1355-1364, 2010
本発明は、人における口臭の源の改善された検出のためのシステムを提供しようとするものである。
本発明はさらに、人における口臭の源の改善された検出のための方法を提供しようとする。
本発明はさらに、システム・プロセッサで実行されたときに、人における口臭の源の改善された検出のための前記方法を実装するコンピュータ・プログラム・プロダクトを提供しようとする。
ある側面によれば、口腔を通じて吐き出された口臭を示す化合物の検出を示すセンサー信号を生成するための気体センサーと;前記口腔内の歯の状態および/または舌の状態の画像を捕捉するためのイメージ・センサーと;前記センサー信号が口臭を示す化合物の存在を示している場合に前記口臭が前記口腔に由来するのかどうかを判定するために前記センサー信号および前記画像を処理するよう適応されている、前記気体センサーおよび前記イメージ・センサーに通信上結合されプロセッサであって、前記判定は、前記画像において前記歯の状態および/または舌の状態を判別することによる、プロセッサとを有する、口臭検出システムが提供される。
本発明は、電子鼻(Eノーズ)のような気体センサーを用いて口臭を示す一つまたは複数の化合物を検出する際、前記一つまたは複数の化合物が吐き出されるときに通る口腔の画像情報を評価することにより、口腔内のオブジェクトの状態、すなわち歯の状態および/または舌の状態を判別し、それにより口臭化合物が口腔に由来する、すなわち歯および/または舌の状態によって引き起こされていることの確からしさを判別して、口臭を改善、すなわち低減するために口腔が適正に清掃されているかどうかについてのフィードバックを提供することができるという洞察に基づいている。プロセッサは、口臭が前記口腔に由来するかどうかを判定するために、判別された歯の状態および/または舌の状態を使って確率論的モデルを実装するよう適応されてもよい。これはたとえば、口臭を示す前記一つまたは複数の化合物の検出された濃度における変動および/または前記歯の状態および/または舌の状態における変動が、口臭の源の確からしさの指標を生成するために、プロセッサによって考慮に入れられることができるという利点をもつ。該指標の生成はたとえば、口臭を示す前記一つまたは複数の化合物の観察された濃度および/または前記歯の状態および/または舌の状態における変動に基づいて、判別された源に信頼スコアを割り当てることによる。
前記確率論的モデルは好ましくは、時間的な確率論的モデルであり、前記プロセッサは、口臭が前記口腔に由来するかどうかを、種々の時点において決定された、一連の判別された歯の状態および/または舌の状態に基づいて判定するよう適応されていてもよい。これは、口臭の源の判別の正確さを改善するとともに、口腔衛生法の有効性に対する、より正確なフィードバックを提供することができる。
プロセッサは、歯の色を正規化するために前記画像に色正規化アルゴリズムを適用し、その後に正規化された画像を処理するよう適応されてもよい。これは、異なる装置を用いてまたは異なる照明条件の下で画像を捕捉することを容易にする。異なる装置の使用から帰結する画像または異なる照明条件のもとでの画像捕捉の間の差が正規化によって除去されるからである。
プロセッサは、センサー信号が口臭を示す化合物の存在を示している場合に、前記口臭が前記口腔に由来するかどうかを判定することを、前記画像における前記歯の状態および/または舌の状態を判別することを、システムのユーザーによって提供される個人データを評価することと組み合わせることによって行なうよう適応されてもよい。これは、口臭源の判別の正確さをさらに改善しうる。
ある実施形態では、前記気体センサー、前記イメージ・センサーおよび前記プロセッサは単一の装置において統合されている。
代替的な実施形態では、本システムは、前記プロセッサおよび前記イメージ・センサーを含む第一の装置であって、前記プロセッサに通信上結合された無線通信モジュールをさらに有する、第一の装置と、前記気体センサーおよび前記無線通信モジュールと通信するためのさらなる無線通信モジュールを含む第二の装置とを有する。
前記第二の装置は有利には、人の歯を磨く間の口臭化合物検出を容易にするための電子口腔衛生装置を有していてもよい。こうして、この検出を実行するための別個の行動の必要がなくなる。
前記単一の装置または前記第一の装置は、頭部装着可能な装置であってもよい。
本システムはさらに、前記プロセッサに通信上結合された表示装置を有していてもよい。前記プロセッサは、口臭判別に応答して前記表示装置に口腔衛生指導〔インストラクション〕を表示するよう前記表示装置を制御するよう適応される。このようにして、本システムのユーザーは、口腔における歯および/または舌の状態を改善し、口腔からの口臭を減らす、あるいはさらには根絶するよう、特に有効な仕方で案内されることができる。
もう一つの側面によれば、口臭を検出する方法であって、口腔を通じて吐き出された口臭を示す化合物の検出を示すセンサー信号を気体センサーから受け取り;前記口腔内の歯の状態および/または舌の状態の画像をイメージ・センサーから受け取り;前記センサー信号が口臭を示す化合物の存在を示している場合に前記口臭が前記口腔に由来するのかどうかを判定するために前記センサー信号および前記画像を処理することを含み、前記判定は、前記画像において前記歯の状態および/または舌の状態を判別することによる、方法が提供される。
口腔を通じて吐き出された口臭を示す化合物の検出を示すセンサー信号を気体センサーから受け取り;前記口腔内の歯の状態および/または舌の状態の画像をイメージ・センサーから受け取り;前記センサー信号が口臭を示す化合物の存在を示している場合に前記口臭が前記口腔に由来するのかどうかを判定するために前記センサー信号および前記画像を処理する諸段階であって前記判定は、前記画像において前記歯の状態および/または舌の状態を判別することによる、諸段階は、口腔を清掃するのに先立って実行され、かつ、口腔を清掃した後に繰り返され、それにより本方法は、口腔を清掃するのに先立って判別された口臭の起源を、口腔を清掃した後に判別された口臭の起源を用いて検証できる。これは、口臭の源の決定の正確さを改善する。
本方法はさらに、口臭が前記口腔に由来するかどうかを判定するために、判別された歯の状態および/または舌の状態を使って確率論的モデルを適用することをさらに含んでいてもよい。
前記確率論的モデルは、時間的な確率論的モデルであってもよく、本方法はさらに、口臭が前記口腔に由来するかどうかを、種々の時点において決定された、一連の判別された歯の状態および/または舌の状態に基づいて判定することを含む。
ある好ましい実施形態では、本方法はさらに、異なる装置を用いておよび/または異なる照明条件の下で前記画像を撮影することの結果である画像特性における差を打ち消すよう、前記画像を処理するのに先立って舌の色を正規化するために前記画像に色正規化アルゴリズムを適用することを含む。
さらなる側面によれば、上記の実施形態のいずれかに基づくシステムで実行されたときに前記システムのプロセッサに上記の実施形態のいずれかの方法を実装させるためのコンピュータ・プログラム・コードを担持するコンピュータ可読データ担体を有するコンピュータ・プログラム・プロダクトが提供される。そのようなコンピュータ・プログラム・プロダクトは、気体センサー・データと口腔のイメージ・センサー・データを組み合わせることによって、改善された口臭源検出およびモニタリングを容易にする。
本発明の実施形態は、付属の図面を参照して、限定しない例として、より詳細に記述される。
ある実施形態に基づくシステムを概略的に描く図である。 図1のシステムのある側面を概略的に描く図である。 ある実施形態に基づく方法のフローチャートである。 ある実施形態に基づくシステムによって実装されるアルゴリズムのフローチャートである。 ある実施形態に基づくシステムを概略的に描く図である。 ある実施形態に基づくシステムによって撮影された一連の舌の画像を、画像の色の正規化の前(a)および後(b)について示す図である。
図面は単に概略的であり、縮尺どおりに描かれていないことを理解しておくべきである。同じまたは類似の部分を示すために諸図面を通じて同じ参照符号が使われることも理解しておくべきである。
本願のコンテキストでは、頭部装着可能なコンピューティング装置は、そのユーザーの頭に装着されることができ、ユーザーにコンピューティング機能を提供する。頭部装着可能なコンピューティング装置は、インターネットまたは別のコンピュータ可読媒体から取得されうるソフトウェア・アプリケーション(アプリ)において指定されるような個別のコンピューティング・タスクを実行するよう構成されてもよい。そのような頭部装着可能なコンピューティング装置の限定しない例は、スマート・ヘッドギア、たとえば眼鏡、ゴーグル、ヘルメット、帽子、バイザー、ヘッドバンドまたは身につける人の頭にまたは頭から支持されることができる他の任意の装置などを含む。
本願のコンテキストでは、頭部装着可能なコンピューティング装置のような可搬型コンピューティング装置は、その装着者の口腔の画像を捕捉するためのイメージ・センサーを有する。イメージ・センサーは、可搬型コンピューティング装置が意図されるように使われるときに、イメージ・センサーが、口腔の画像を直接捕捉できるよう配向されるよう、あるいはその装着者が鏡に面しているときに鏡における口腔の鏡像を捕捉できるよう配向されるよう、構成されてもよい。いかなる好適な画像捕捉装置がイメージ・センサーとして使用されてもよい。たとえばカメラである。
そのようなイメージ・センサーは、可搬型コンピューティング装置と一体であってもよく、たとえば頭部装着可能なコンピューティング装置の、それを通じて装着者がその視野を見るレンズに、そのようなレンズのためのレンズ・ホルダーまたはフレームに、あるいは可搬型コンピューティング装置の他の任意の好適な構造に統合されていてもよい。ここで、イメージ・センサーは頭部装着可能なコンピューティング装置の装着者の視野と整列し、それによりたとえば、イメージ・センサーは、その装着者が鏡で口腔を見るときに口腔に向けられる。あるいはまた、イメージ・センサーは可搬型コンピューティング装置とは物理的に分離されていてもよく、たとえば、有線または無線接続を介して可搬型コンピューティング装置に通信上結合されたハンドヘルド型イメージ・センサーであってもよい。該イメージ・センサーは、モジュラー・コンピューティング装置の一部であってもよく、たとえばモジュラー・コンピューティング装置の一つまたは複数の他のモジュールと有線または無線接続を介して通信上結合されている頭部装着イメージ・センサー・モジュールであってもよい。ここで、他のモジュールの少なくとも一部は、頭以外の身体の部分で身につけられてもよく、あるいは他のモジュールの一部はたとえばウェアラブルでないが可搬であってもよい。
本願のコンテキストでは、気体センサーは、電子鼻のような人工的な嗅覚センサーを提供することのできる任意のセンサーを意味する。気体センサーは、イメージ・センサーをも含む頭部装着可能なコンピューティング装置のような可搬型コンピューティング装置の一体的な一部をなしてもよく、あるいは、イメージ・センサーを含む可搬型コンピューティング装置とは物理的に分離されていてもよく、たとえば、有線または無線接続を介してイメージ・センサーを含むコンピューティング装置に通信上結合されたハンドヘルド型装置の一部であってもよい。該気体センサーは、モジュラー・ウェアラブル・コンピューティング装置の一部であってもよく、たとえば一つまたは複数の他のモジュールと有線または無線接続を介して通信上結合されているたとえば頭部装着型またはハンドヘルド型気体センサー含有装置であってもよい。
図1は、ここでは頭部装着可能なコンピューティング装置100の形の、口臭を検出するためのシステムの実施形態を概略的に描いている。図2は、頭部装着可能なコンピューティング装置100のある実施形態のブロック図を概略的に描いており、機能ブロックを用いて頭部装着可能なコンピューティング装置100の機能をさらにハイライトしている。かかる機能の少なくとも一部は任意的な機能であってもよい。限定しない例として、頭部装着可能なコンピューティング装置100はスマート眼鏡として描かれているが、先に説明したように、頭部装着可能なコンピューティング装置100はいかなる好適な形を取ってもよいことは理解しておくべきである。
頭部装着可能なコンピューティング装置100は、装着者の口腔の画像を捕捉するためのイメージ・センサー114と、頭部装着可能なコンピューティング装置100の装着者によって吐き出される息における口臭を示す化合物の存在を判別するための気体センサー116とを有する。この目的のためにいかなる好適なイメージ・センサー114および気体センサー116が頭部装着可能なコンピューティング装置100に統合されてもよい。
頭部装着可能なコンピューティング装置100は、離散的なディスプレイ・コントローラの制御下にある、少なくとも一つの透明なまたはシースルーのディスプレイ・モジュール106を有していてもよい。あるいはまた、ディスプレイ・コントローラは、図2に示されるように頭部装着可能なコンピューティング装置100のプロセッサ110によって実装されてもよい。
存在するときには、前記少なくとも一つのディスプレイ・モジュール106は典型的には、頭部装着可能なコンピューティング装置100の装着者によって身につけられるときに装着者の視野をカバーするよう構成され、それにより頭部装着可能なコンピューティング装置100の装着者は、前記少なくとも一つのディスプレイ・モジュール106に表示される画像を通じて視野を観察しうる。ある実施形態では、頭部装着可能なコンピューティング装置100は、装着者の右目によって観察されることができる第一のディスプレイ・モジュールと、装着者の左目によって観察されることができる第二のディスプレイ・モジュールとを含む一対の透明なディスプレイ・モジュール106を有する。あるいはまた、前記少なくとも一つのディスプレイ・モジュール106は、装着者の両眼をカバーする単一のディスプレイ・モジュールであってもよい。
前記少なくとも一つのディスプレイ・モジュール106は、いかなる好適な形で提供されてもよい。たとえば図1に示されるような透明なレンズ部分であり、それに画像が投影される。このこと自身はよく知られている。あるいはまた、頭部装着可能なコンピューティング装置100は、そのようなレンズ部分の対を、すなわち上記で説明したようにそれぞれの目に一つずつを有していてもよい。前記一つまたは複数の透明なレンズ部分は、装着者の実質的に視野全体が前記一つまたは複数の透明なレンズ部分を通じて得られるような寸法にされる。たとえば、前記少なくとも一つのディスプレイ・モジュール106は、頭部装着可能なコンピューティング装置100のフレーム125またはコンポーネント収容部135にマウントされるべきレンズとして形成されてもよい。
フレーム125はいかなる好適な形を有していてもよく、いかなる好適な素材で、たとえば金属、金属合金、プラスチック材料またはそれらの組み合わせでできていてもよいことは理解されるであろう。頭部装着可能なコンピューティング装置100のいくつかのコンポーネントはフレーム125に、たとえばフレーム125の一部をなすコンポーネント収容部135内に、マウントされてもよい。コンポーネント収容部135はいかなる好適な形を有していてもよく、好ましくは、頭部装着可能なコンピューティング装置100が快適な仕方でその装着者によって身につけられるようにする人間工学的な形であってもよい。
頭部装着可能なコンピューティング装置100の少なくとも一部の機能は、データ記憶112のような非一時的なコンピュータ可読媒体に記憶された命令、すなわちコンピュータ・プログラム・コードを実行するプロセッサ110によって制御されてもよい。このように、プロセッサ110は、データ記憶部112に記憶されたプロセッサ可読命令と組み合わさって、頭部装着可能なコンピューティング装置100のコントローラとして機能しうる。プロセッサ110によって実行されうる命令に加えて、データ記憶部112は、前記少なくとも一つのディスプレイ・モジュール106上での半透明な画像の生成に関連しているデータを記憶してもよい。
ある実施形態では、頭部装着可能なコンピューティング装置100は、リモート・システム、たとえば図2に示されるようなさらなるシステム200と無線で通信するよう適応されてもよい。この目的に向け、頭部装着可能なコンピューティング装置100は、リモートのさらなるシステム200のようなリモート・ターゲットと無線で通信するための無線通信インターフェース102を含んでいてもよい。頭部装着可能なコンピューティング装置100とリモート・システム200との間の無線通信のいずれかのためにいかなる好適な無線通信プロトコルが使われてもよい。たとえば赤外線リンク、ジグビー、ブルートゥース(登録商標)、IEEE802.11規格に従うもののような無線ローカル・エリア・ネットワーク・プロトコル、2G、3Gもしくは4G電気通信プロトコルなどである。リモートのさらなるシステム200はたとえば、頭部装着可能なコンピューティング装置100の装着者に、フィードバック情報および/または口腔衛生指導を提供するよう制御されてもよい。これについてはのちに説明する。
頭部装着可能なコンピューティング装置100は任意的には、さらなるリモート・システムと無線で通信するためのさらなる無線通信インターフェース104、たとえば無線LANを有していてもよく、それを通じて頭部装着可能なコンピューティング装置100は、たとえばユーザー選好、ユーザー固有情報などといったデータを記憶するために、インターネットのようなリモート・データ源にアクセスしうる。あるいはまた、頭部装着可能なコンピューティング装置100は、前記リモートのさらなるシステム200および前記さらなるネットワークのようなさらなるリモート・ターゲットと通信できる一つの無線通信インターフェースを含んでいてもよい。プロセッサ110はさらに、無線通信インターフェース102およびもし存在すれば無線通信インターフェース104を制御するようさらに適応されてもよい。
ある実施形態では、頭部装着可能なコンピューティング装置100は、ユーザー命令を検出し、検出されたユーザー命令に応答して動作をトリガーするよう構成されていてもよい。これはたとえばユーザー命令が頭の動きである場合にはジャイロスコープなどのような動きセンサーを含む少なくとも一つのさらなるセンサー118を使い、あるいは装着者によってなされるジェスチャー・ベースの命令の画像を捕捉するためにイメージ・センサー114またはカメラを使うことによる。そのようなジェスチャーまたは動き捕捉のための他の好適なセンサーは、当業者には明白であろう。プロセッサ110は、捕捉されたセンサー・データから、その装着者によってなされたジェスチャーまたは動きを認識し、認識されたジェスチャーまたは動きを命令として解釈する、たとえば頭部装着可能なコンピューティング装置100の装着者によって実行されるタスク、たとえば読むこと、計算することなどを識別するよう構成されてもよい。そのような動きの限定しない例は、たとえば、装着者の頭を回すことまたは頷くことを含む。そのようなジェスチャーの限定しない例は、たとえば、頭部装着可能なコンピューティング装置100を通じた視野における手または指のジェスチャーを含み、これはイメージ・センサー114を用いて捕捉された画像において検出されうる。
代替的または追加的に、前記少なくとも一つのさらなるセンサー118は、音センサーを含んでいてもよく、たとえばマイクロフォンが話される命令を検出するために存在していてもよい。ここで、プロセッサ110は、センサー・データを処理して話された命令を検出するために、前記さらなるセンサーに通信上結合されてもよい。
前記少なくとも一つのさらなるセンサー118は追加的または代替的に、入力センサー、たとえばボタンなどを含んでいてもよい。頭部装着可能なコンピューティング装置100の装着者がオプションのリストからユーザー命令を選択することを容易にするためである。そのようなオプションのリストはたとえば、頭部装着可能なコンピューティング装置100の前記少なくとも一つの透明なディスプレイ・モジュール106が存在するときはそれに表示されてもよい。
頭部装着可能なコンピューティング装置100はさらに、ユーザーから入力を受け取るためのユーザー・インターフェース108を含んでいてもよい。ユーザー・インターフェース108はたとえば、タッチパッド、キーパッド、ボタン、マイクロフォンおよび/または他の入力装置を含んでいてもよい。プロセッサ110は、頭部装着可能なコンピューティング装置100の機能の少なくとも一部を、ユーザー・インターフェース108を通じて受け取った入力に基づいて制御しうる。いくつかの実施形態では、前記少なくとも一つのさらなるセンサー118は、ユーザー・インターフェース108の一部を定義または形成してもよい。
図2は、頭部装着可能なコンピューティング装置100のさまざまなコンポーネント、すなわち無線通信インターフェース102および104、プロセッサ110、データ記憶部112、イメージ・センサー114、気体センサー116および前記一つまたは複数のさらなるセンサー118を前記少なくとも一つのディスプレイ・モジュール106とは別個のものとして示しているが、これらのコンポーネントの一つまたは複数が前記少なくとも一つのディスプレイ・モジュール106にマウントされたり、あるいは統合されたりしてもよい。たとえば、画像捕捉センサーはシースルー・ディスプレイ・モジュール106にマウントされてもよく、ユーザー・インターフェース108はシースルー・ディスプレイ・モジュール106上のタッチパッドとして提供されることができ、プロセッサ110およびデータ記憶部112はシースルー・ディスプレイ・モジュール106内のコンピューティング・システムを構成してもよく、頭部装着可能なコンピューティング装置100の他のコンポーネントは同様にシースルー・ディスプレイ・モジュール106に統合されることができる。
あるいはまた、頭部装着可能なコンピューティング装置100は、身体の任意の部分で身につけることができる、あるいは装着者によって運ばれることができる別個の諸装置の形で、典型的には頭に装着される少なくとも前記一つのディスプレイ・モジュール106とは別個に、提供されてもよい。頭部装着可能なコンピューティング装置100を構成するそれら別個の諸装置は、有線または無線式に、通信上一緒に結合されてもよい。
動作では、気体センサー116はプロセッサにセンサー計測値を提供し、それからプロセッサ110が、気体センサー116によって分析された呼気において口臭が検出されたかどうかを導出する。プロセッサ110はたとえば、口臭を示す呼気中の揮発性化合物の存在を判別するために、気体センサー116によって与えられた生のセンサー信号を処理するよう適応されてもよい。この判別は、呼気中の揮発性化合物のレベルの決定を含んでいてもよく、揮発性化合物が所定の閾値を超えるレベルで存在している場合に、口臭が確証される。あるいはまた、生のセンサー信号の処理の少なくとも一部は気体センサー116によって実行されてもよく、それによりプロセッサ110は(前)処理されたセンサー信号、たとえばターゲット揮発性化合物のレベルがすでに決定されている信号を提供され、よって、プロセッサ110は、呼気からの口臭を判別するために、ターゲット揮発性化合物の決定されたレベルを、所定の閾値と比較するよう構成されていてもよい。
口臭を検出すると、イメージ・センサー114を用いて口腔の画像が撮影される。この画像は、可能性としては歯茎の一部および舌の上側表面部分を含む歯の前面の少なくとも一つを含むべきである。これを達成するために、画像が捕捉できるよう装着者に口を開くきっかけを与えるようたとえばディスプレイ・モジュール106に適切なメッセージを表示することによって、可聴もしくは触覚的メッセージを生成することによってなどで、頭部装着可能なコンピューティング装置100の装着者はこの画像を捕捉させるよう促されてもよい。たとえば、装着者は、口を開けて、開いた口を鏡で見るよう促されてもよい。それにより、装着者の視野と整列されたイメージ・センサー114は鏡の中の口腔の鏡像を捕捉する。
捕捉された画像は、その後、検出された口臭が口腔悪臭であるかどうかを判定するためにプロセッサ110によって処理される。これはいくつもの仕方でできる。たとえば、画像は臨床上の徴候や貧弱な口腔衛生を示す症状があるかどうか解析されてもよい。この解析は、歯の間の歯間空間内に詰め込まれた食物、舌苔、歯の表面上のバイオフィルム蓄積の種々の段階およびある種の歯周状態の識別のうちの少なくとも一つを含んでいてもよい。解析は好適なアルゴリズム、たとえばオブジェクト認識アルゴリズム、色評価アルゴリズムなどを使って実装されてもよい。たとえば、画像から舌の色域の色比に基づいて色特徴ベクトルが抽出されてもよい;歯の黄色さに基づいて歯垢が検出されてもよい;歯茎の見かけの腫れおよびその赤さを通じてある種の歯周病が識別されてもよい、などである。決定された色陰影または階調は、それぞれの陰影または階調が歯垢の特定の状態に関連付けられる分類システム、たとえば簡単な三範疇分類システム(健康(healthy)、危険(at risk)、不健康(unhealthy))またはより洗練されたもしくは複雑な範疇分けシステムを使って範疇分けされてもよい。
認識されたオブジェクトおよびその色および/または該色の陰影もしくは階調に基づいて、口腔の衛生状態が評価されることができ、口臭が口腔に由来している確からしさの確率スコアが決定できる。確率スコアが、ある定義されている閾値を超える場合、頭部装着可能なコンピューティング装置100の装着者はしかるべく通知され、任意的には画像解析に基づいて口腔清掃指導を呈示される。これはたとえば、理想的でないきれいさの口腔の部分(単数または複数)についての清掃指導を提供することによる。そのような清掃指導はディスプレイ・モジュール106で提供されてもよく、あるいは無線通信モジュール102もしくは104によってリモート・システム200にリモート・システムでの表示のために通信されてもよい。リモート・システムはたとえば、頭部装着可能なコンピューティング装置100の装着者が面しているスマート・ミラーである。これらは単に、この情報が装着者にどのように呈示されうるかのいくつかの限定しない例であり、他の多くの例が当業者にはすぐに明白になるであろう。
ある実施形態では、頭部装着可能なコンピューティング装置100は、頭部装着可能なコンピューティング装置100の装着者が口腔清掃行動を実行すると、上記の口臭評価を繰り返すよう構成されてもよい。口腔清掃行動はたとえば歯磨き、フロスを使った歯間腔清掃、歯間ブラッシングなど、舌清掃、たとえば磨くもしくはブラッシングすること、などである。装着者は頭部装着可能なコンピューティング装置100に、口腔清掃が完了したことを、たとえば非接触式の命令、たとえばジェスチャーなどを使って、あるいは頭部装着可能なコンピューティング装置100のユーザー・インターフェースとコンタクトすることによって合図して、再評価をトリガーしてもよい、すなわち吐き出された息の解析と、必要なら口腔の画像の捕捉および解析とを繰り返してもよい。口臭の起源のもともとの決定が正しかったかどうかを検証するためである。このようにして、口臭の源のもともとの決定が補強または是正されうる。
プロセッサ110は、図3のフローチャートに描かれたような口臭を検出する方法300を実装してもよい。方法300は、たとえば頭部装着可能なコンピューティング装置100の口臭検出動作を作動させることによって、段階301において始まる。その後、方法300は段階303に進み、吐き出された息が気体センサー116を用いて分析される。段階305では、イメージ・センサー102を用いて口腔の画像が捕捉され、その後、気体センサー116のセンサー計測値が解釈されて、段階307において、口臭が吐き出された息から検出されるかどうかを判定し、段階309において口腔における衛生レベルが、捕捉された画像の評価によって、たとえば口腔が十分にきれいであるかどうかを検査することによって、検査される。
段階307において判定されるところにより吐き出された息において悪臭が検出されないが、段階309において判定されるところにより口腔が十分にきれいでない場合、方法300は段階311に進んで、頭部装着可能なコンピューティング装置100の装着者は適切なフィードバックを呈示される。該フィードバックは、口腔のきれいさを改善する清掃指導を含んでいてもよい。その後、方法300は、提供されたフィードバックが口腔の状態における改善につながったかどうかを検査するために、段階303に戻る。
段階307において判定されるところにより吐き出された息において悪臭が検出されず、段階309において判定されるところにより口腔が十分にきれいである場合、方法300は頭部装着可能なコンピューティング装置100の装着者が肯定的なフィードバック、たとえば口腔の清掃のための現在の清掃方式を維持するようにとのフィードバックを提供される段階313に進む。
段階307において判定されるところにより吐き出された息において悪臭が検出され、段階309において判定されるところにより口腔が十分にきれいでない場合、方法300は、口臭の源としての口腔衛生が確証される段階319に進む。これはたとえば、頭部装着可能なコンピューティング装置100の装着者にこの判定を提供することによる。その後、方法300は段階321に進んで、装着者に対して処置方式が提案されてもよい。それは口腔の清潔さを改善するための清掃指導を含んでいてもよい。
段階307において判定されるところにより吐き出された息において悪臭が検出されるが、段階309において判定されるところにより口腔が十分にきれいである場合、方法300は段階323に進み、頭部装着可能なコンピューティング装置100の装着者は一つまたは複数の質問に答えるよう促される。たとえば「味が変わりましたか?」「舌が焼けるようですか?」などといった口腔乾燥症を示すある種の症状を示す装着者に関するはい/いいえ式の質問である。口腔乾燥症は貧弱な口臭衛生がないときに口腔悪臭を引き起こすことがあるからである。
段階325では、頭部装着可能なコンピューティング装置100の装着者が口腔乾燥症にかかっている可能性が高いかどうかを判定するために、回答された質問が評価される。もしそうであれば、方法300は段階327に進んで、仮性口臭、すなわち口腔に由来しているが貧弱な口腔衛生によって引き起こされているものではない口臭が確証される。これはたとえば装着者にしかるべく通知することによる。その後の段階329では、装着者は、ストレスまたは薬などの、口臭の考えられる原因に関するフィードバックを提供される。ストレスおよび薬はいずれも、口腔乾燥症の既知のきっかけである。
他方、段階325において検出された口臭が口腔乾燥症によって引き起こされた可能性が低いと判定される場合には、方法は段階331に進み、頭部装着可能なコンピューティング装置100の装着者は、口臭を引き起こしている可能性の高い病理について通知される。これは、口臭の原因の診断のために医療専門家の支援を求めることの推薦を含んでいてもよい。
段階333において、口臭評価が、たとえば頭部装着可能なコンピューティング装置100の装着者が口腔清掃のような是正行動を実行した後に繰り返されるべきであると決定されてもよい。その場合、方法300は段階303に戻り、そうでない場合には方法300は段階335で終了する。
上記の方法300において、頭部装着可能なコンピューティング装置100の装着者にフィードバックが提供される場合、かかるフィードバックはいかなる好適な形で提供されてもよい。たとえばテキストの形および/または絵の形であってもよく、たとえば頭部装着可能なコンピューティング装置100の装着者の関心を高めるためにアイコン、漫画のキャラクター、アバターなどを使ってもよい。たとえば、装着者の口腔の清潔さおよび/または息の質を示す歯のアバターが生成されてもよい。
図3のフローチャートに示されるような方法300の実施形態はこの実施形態の限定しない例であり、本発明から外れることなくこの方法の多くの変更がなされてもよいことを理解しておくべきである。たとえば、画像捕捉段階305は吐き出された息評価段階303より前に実行されてもよく、あるいは条件付きで、すなわち吐き出された息において口臭を示す揮発性化合物が存在することが判別される場合にのみ実行されてもよい。同様に、フィードバック段階の少なくともいくつかは省略されてもよい。他の修正が当業者には明白であろう。
ある特に好適な実施形態では、プロセッサ110は、確率論的モデルを使って口臭評価を実行するよう構成されてもよく、モデルは、口臭評価の精度をさらに高めるためにユーザー固有のパラメータを含んでいてもよい。これは、そのような確率論的モデルの限定しない例を概略的に描いている図4を援用してさらに詳細に説明される。モデルは、イメージ・センサー114によって捕捉された第一の入力401と、口腔からの吐き出された息である第二の入力405と、頭部装着可能なコンピューティング装置100の装着者によって提供される個人データである任意的な第三の入力409とを受け取る。モデルはさらに、第一の入力401を処理する画像処理分類モジュール403と、第二の入力405を処理する口臭分類モジュール407とを有する。モジュール403および407はプロセッサ110によって実装されてもよく、プロセッサ110はさらに、モジュール403および407によって提供されるデータおよび任意的には第三の入力409を介して提供されるユーザー固有データを解釈して、提供された入力から、最も可能性の高い診断を示す出力413を生成するためのマルコフ論理ネットワークのような論理ネットワーク411を実装する。診断はたとえば、口臭なし、口腔口臭、全身性口臭、仮性口臭である。
モデルは:
(1)画像処理分類出力およびその信頼値;
(2)eノーズ評価およびその信頼値;および
(3)摂食データ、喫煙データ、ストレス・レベル・データ、年齢データ、(夜間に)装着される口腔装具を示すデータ、慢性疾患データ、当該頭部装着可能なコンピューティング装置100によってまたは別の装置によって生成される履歴口臭診断データなどといった、リスク因子を識別するのに関連するユーザー・データ
を表わす変数を用いて確率論的な推論を実装してもよい。
これらの変数は、たとえばマルコフ論理のような統計的な関係アプローチを使って直観的に表現されてもよい。変数間の依存性は、次のような重み付けされた一次の公式を使って柔軟に表現されることができる:
・(0.8)haseNoseOutput(oral_halitosis)、すなわち、eノーズ(e Nose)・モジュール407が(0〜1の信頼度のスケール上の)信頼度0.8で口臭(oral halitosis odour)を検出した;
・(0.6)hasMouthCondition(classB)、すなわち、画像処理モジュール405が信頼値0.6で口の状態(mouth condition)を清潔でないが健康であると分類した;
・(0.9)[hasENoseOutput(oral_halitosis)∧¬hasMouthCondition(classB)∧hasRiskFactor(chronicalDiseases)⇒hasDiagnosis(oral_halitosis)];すなわち、この規則は、ユーザーが口臭をもち、清潔でないが健康な舌の色をもち、慢性疾患(chronical diseases)がないならば、信頼値0.9で口臭が診断されることを述べている。
確率論的モデルは、上記のパラメータを入力として使っていかなる好適な型の公式を使っていかなる好適な仕方で構築されてもよい。
ある実施形態では、時間的コンテキストがモデルに追加される。特に、診断意思決定は、所定の長さをもつ時間窓を通じて蓄積されるeノーズ・データおよび口腔状態データに基づいていてもよい。最も単純なバージョンは、現在のものを推定するために、前の時間ステップからの情報を積分する。先の例に続けると、そのような拡張は、種々の時間ステップを表わすために、述語に第二の引数を追加することによって、簡単に実現できる。たとえば、そのような公式は次のように書かれてもよい:
・(0.8)haseNoseOutput(oral_halitosis,t)、すなわち、時間ステップtにおいて、eノーズ・モジュール407が信頼度0.8で口臭を検出した;
・(0.6)hasMouthCondition(classB,t)、すなわち、時間ステップtにおいて、画像処理モジュール403が信頼値0.6で口の状態を清潔でないが健康であると分類した;
・(0.9)[hasENoseOutput(oral_halitosis,t)∧¬hasMouthCondition(classB,t)∧hasRiskFactor(chronicalDiseases)⇒hasDiagnosis(oral_halitosis,t)];すなわち、この規則は、ユーザーが同じ時間ステップにおいて口臭をもち、清潔でないが健康な舌の色をもち、慢性疾患がないならば、信頼値0.9でその時間ステップにおいて口臭が診断されることを述べている;
・(0.9)[hasDiagnosis(oral_halitosis,t−1)⇒hasDiagnosis(oral_halitosis,d)];すなわち、所与の時間ステップにおいて口臭が診断されたら、次の時間ステップでもその診断の可能性がきわめて高い。
この単純な時間的推論シナリオは、たとえば非特許文献1によって開示されるアレンの時間代数(Allen's temporal Algebra)を実装することによって、より複雑な時間的関係に柔軟に拡張できる。モデル・パラメータ、すなわち公式の重みは、当技術分野においてそれ自身としては知られているように、トレーニング・データを集めることから学習され、更新されてもよい。
上記種々の変数値は、未知変数の最も可能性の高い状態を決定する最大事後推定、すなわち最終的な診断を生成するために使用されてもよい。そのような知識工学形式は、診断された全身性口臭のいくつかの具体的な原因の間の区別などの他の機能に拡張されてもよい。たとえば、舌苔は、非特許文献2によって提案されるような、より細かい粒度のクラスに分類されてもよい。このようにして、対応する舌の色および口臭の不在を与えられて、高血圧のような全身性疾患が検出されることができる。
上記の諸実施形態では、口臭検出のためのシステムは頭部装着可能なコンピューティング装置100として実装されている。そのような実装は、直接的な口臭検出を容易にする。浴室の鏡の前でスマート眼鏡のような頭部装着可能なコンピューティング装置100を装着している間に検出が容易に実行されうるからである。
しかしながら、少なくともいくつの実施形態では、気体センサー116は頭部装着可能なコンピューティング装置100とは別個であって、口臭検出のためのシステムがモジュラー・システムになっていてもよい。そのようなモジュラー・システムのある例示的な実施形態が図5に概略的に描かれている。ここでは、気体センサー116は口腔清掃のための装置150、すなわち電子式口腔衛生装置150、たとえば電子歯ブラシ、電子舌清掃装置、電子歯間腔清掃装置などに統合されている。装置150は典型的には、装置100の無線通信モジュールと無線通信するための無線通信モジュール152を有しており、装置100がイメージ・センサー114を有し、任意的には、先に説明したようなフィードバック情報、口腔清掃指導などを表示するための一つまたは複数のディスプレイ・モジュール106を有する。気体センサーを口腔清掃のための装置150に含めることは、気体センサー116が息が吐き出される口に近いため、口臭を示す吐き出された息における揮発性化合物の特に敏感な計測値が生成されることができるという利点をもつ。
装置100は、頭部装着可能なコンピューティング装置であってもよいが、これは必須ではない。あるいはまた、装置100はスマート・ミラーまたは可搬型装置、たとえばスマートフォンまたはスマート・カメラであってもよい。
先に説明したように、頭部装着可能なコンピューティング装置100の使用は、同様の角度、位置および距離からの諸画像の直観的な捕捉を容易にするので、特に有利である。このことは、口腔の捕捉された画像の一貫した画像処理のために重要である。一般に、可搬型装置、特に頭部装着可能なコンピューティング装置100は、可搬性および気体センサー116が装置100内に統合されたときに気体センサー116を口から受け入れ可能な範囲内に統合する可能性という利点をもたらす。
ある実施形態では、複数の異なる画像、たとえば、口臭を検出するためのたとえばモジュラー・システムにおいて画像を捕捉するために複数の異なるカメラを使うときに異なるイメージ・センサー116によって捕捉される画像および/または複数の異なる照明条件のもとで捕捉される画像が一貫した仕方で解析されることを保証するために、プロセッサ110は、画像を解析するのに先立って、捕捉された画像に対して画像正規化アルゴリズムを適用するよう適応される。すなわち、口臭検出の精度を高めるために、画像捕捉条件に由来する異なる照明条件または色陰影によって引き起こされる変動が、画像の解析に先立って画像から取り除かれる。これは図6に概略的に描かれている。図6では、(a)と印された、ここでは舌の上面の一連の画像500は、画像間の変動を明瞭に示している。このような変動は(b)と印された一連の画像510からは取り除かれている。これは、一連の画像510を与えるために一連の画像500に正規化アルゴリズムを適用することによる。たとえば、画像500間の色差を低減する色補正方式が適用されてもよい。たとえば舌の色域の色比(color ratios)に基づいて、先に説明したように、補正された画像510から色特徴情報を抽出するのを容易にするためである。
本発明の諸側面は、装着可能〔ウェアラブル〕なコンピューティング装置、方法またはコンピュータ・プログラム・プロダクトとして具現されてもよい。本発明の諸側面は、コンピュータ可読プログラム・コードが具現されている一つまたは複数のコンピュータ可読媒体において具現されたコンピュータ・プログラム・プロダクトの形を取ってもよい。
一つまたは複数のコンピュータ可読媒体の任意の組み合わせが利用されうる。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体でありうる。コンピュータ可読記憶媒体はたとえば、電子、磁気、光、電磁、赤外または半導体システム、装置またはデバイスまたは上記の任意の好適な組み合わせでありうるがそれに限定されない。そのようなシステム、装置またはデバイスはいかなる好適なネットワーク接続を通じてアクセス可能であってもよい;たとえば、該システム、装置またはデバイスは、ネットワークを通じてコンピュータ可読プログラム・コードの取得のためのネットワークを通じてアクセスされてもよい。そのようなネットワークはたとえばインターネット、移動体通信ネットワークなどであってもよい。コンピュータ可読記憶媒体のより具体的な例(網羅的なリストではない)は、次のものを含む:一つまたは複数のワイヤを有する電気接続、ポータブル・コンピュータ・ディスケット、ハードディスク、ランダム・アクセス・メモリ(RAM)、読み出し専用メモリ(ROM)、消去可能なプログラム可能型読み出し専用メモリ(EPROMまたはフラッシュメモリ)、光ファイバー、ポータブルなコンパクトディスク読み出し専用メモリ(CD-ROM)、光学式記憶デバイス、磁気記憶デバイスまたは上記の任意の好適な組み合わせ。本願のコンテキストでは、コンピュータ可読記憶媒体は、命令実行システム、装置またはデバイスによるまたはそれとの関連での使用のためのプログラムを含むことができるまたは記憶することができるいかなる有体な媒体であってもよい。
コンピュータ可読媒体上に具現されたプログラム・コードは、無線、有線、光ファイバー・ケーブル、RFなどまたは上記の任意の好適な組み合わせを含むがそれに限られないいかなる適切な媒体を使って伝送されてもよい。
本発明の方法を実行するためのコンピュータ・プログラム・コードは、ジャバ、スモールトーク、C++などのようなオブジェクト指向プログラミング言語およびCプログラミング言語または同様のプログラミング言語のような通常の手続き型言語を含む一つまたは複数のプログラミング言語の任意の組み合わせで書かれてもよい。プログラム・コードは完全にプロセッサ110上でスタンドアローンのソフトウェア・パッケージ、たとえばアプリとして実行されてもよく、あるいは部分的にはプロセッサ110上で、部分的にはリモート・サーバー上で実行されてもよい。後者のシナリオでは、リモート・サーバーは頭部装着可能なコンピューティング装置100に、ローカル・エリア・ネットワーク(LAN)または広域ネットワーク(WAN)を含む任意の型のネットワークを通じて接続されうる。あるいは、外部コンピュータへの接続は、たとえばインターネット・サービス・プロバイダーを使ってインターネットを通じてなされてもよい。
本発明の諸側面は、上記で、本発明の実施形態に基づく方法、装置(システム)およびコンピュータ・プログラム・プロダクトのフローチャート図および/またはブロック図を参照して記述されている。フローチャート図および/またはブロック図の各ブロックおよびフローチャート図および/またはブロック図におけるブロックの組み合わせが、完全にまたは部分的に、コンピューティング装置100のプロセッサ110で実行されるコンピュータ・プログラム命令によって実装されることができることは理解されるであろう。よって、これらの命令は、フローチャートおよび/またはブロック図のブロック(単数または複数)において指定される機能/工程を実装する手段を作り出す。これらのコンピュータ・プログラム命令は、コンピューティング装置100に特定の仕方で機能するよう指令できるコンピュータ可読媒体に記憶されてもよい。
コンピュータ・プログラム命令は、プロセッサ110上で一連の動作段階を実行させるためにプロセッサ110にロードされて、コンピュータ実装されるプロセスを生じさせてもよい。それにより、プロセッサ110上で実行される前記命令が、フローチャートおよび/またはブロック図のブロック(単数または複数)において特定されている機能/工程を実装するためのプロセスを提供する。
上述した実施形態は本発明を限定するのではなく例解することを注意しておくべきである。当業者は、付属の請求項の範囲から外れることなく多くの代替的な実施形態を設計できるであろう。請求項においては、括弧内に置かれた参照符号があったとしても、請求項を限定するものと解釈してはならない。動詞「有する/含む」は、請求項に述べられている以外の要素や段階の存在を排除するものではない。要素の単数形の表現はそのような要素の複数の存在を排除しない。本発明は、いくつかの相異なる要素を含むハードウェアによって実装されてもよい。いくつかの手段を列挙する装置請求項では、これらの手段のいくつかは同一のハードウェア項目によって具現されることができる。ある種の施策が互いに異なる従属請求項において記載されているというだけの事実がこれらの施策の組み合わせが有利に使用できないことを示すものではない。

Claims (14)

  1. 口臭を検出するためのシステムであって:
    ・口腔を通じて吐き出された口臭を示す化合物の検出を示すセンサー信号を生成するための気体センサーと;
    ・前記口腔内の歯の状態および/または舌の状態の画像を捕捉するためのイメージ・センサーと;
    ・前記センサー信号が口臭を示す化合物の存在を示している場合に前記口臭が前記口腔に由来するのかどうかを判定するために前記センサー信号および前記画像を処理するよう適応されている、前記気体センサーおよび前記イメージ・センサーに通信上結合されプロセッサであって、前記判定は、前記画像において前記歯の状態および/または舌の状態を判別することによる、プロセッサとを有し、
    前記プロセッサは、口臭が前記口腔に由来するかどうかを判定するために、判別された歯の状態および/または舌の状態を使って確率論的モデルを実装するよう適応されている、システム。
  2. 前記確率論的モデルは時間的な確率論的モデルであり、前記プロセッサは、口臭が前記口腔に由来するかどうかを、種々の時点において決定された、一連の判別された歯の状態および/または舌の状態に基づいて判定するよう適応されている、請求項記載のシステム。
  3. 前記プロセッサは、歯の色を正規化するために前記画像に色正規化アルゴリズムを適用し、その後に正規化された画像を処理するよう適応されている、請求項1又は2記載のシステム。
  4. 前記プロセッサは、前記センサー信号が口臭を示す化合物の存在を示している場合に前記口臭が前記口腔に由来するかどうかを判定することを、前記画像における前記歯の状態および/または舌の状態を判別するとともに当該システムのユーザーによって提供される個人データを評価することと組み合わせることによって行なうよう適応されている、請求項1ないしのうちいずれか一項記載のシステム。
  5. 前記気体センサー、前記イメージ・センサーおよび前記プロセッサは単一の装置において統合されている、または、当該システムは、前記プロセッサおよび前記イメージ・センサーを含む第一の装置であって、前記プロセッサに通信上結合された無線通信モジュールをさらに有する、第一の装置と、前記気体センサーおよび前記無線通信モジュールと通信するためのさらなる無線通信モジュールを含む第二の装置とを有する、請求項1ないしのうちいずれか一項記載のシステム。
  6. 前記第二の装置は、口腔清掃のための電子装置である、請求項記載のシステム。
  7. 前記単一の装置または前記第一の装置が頭部装着可能な装置である、請求項5又は6記載のシステム。
  8. 前記プロセッサに通信上結合された表示装置を有しており、前記プロセッサは、口臭判別に応答して前記表示装置に口腔衛生指導を表示するよう前記表示装置を制御するよう適応されている、請求項1ないしのうちいずれか一項記載のシステム。
  9. 口臭を検出する方法であって:
    プロセッサが、口腔を通じて吐き出された口臭を示す化合物の検出を示すセンサー信号を気体センサーから受け取り;
    前記プロセッサが、前記口腔内の歯の状態および/または舌の状態の画像をイメージ・センサーから受け取り;
    前記プロセッサが、前記センサー信号が口臭を示す化合物の存在を示している場合に前記口臭が前記口腔に由来するのかどうかを判定するために前記センサー信号および前記画像を処理することを含み、前記判定は、前記画像において前記歯の状態および/または舌の状態を判別することによる、
    方法。
  10. 前記プロセッサが、口腔を通じて吐き出された口臭を示す化合物の検出を示すセンサー信号を気体センサーから受け取り;
    前記プロセッサが、前記口腔内の歯の状態および/または舌の状態の画像をイメージ・センサーから受け取り;
    前記プロセッサが、前記センサー信号が口臭を示す化合物の存在を示している場合に前記口臭が前記口腔に由来するのかどうかを判定するために前記センサー信号および前記画像を処理する諸段階であって前記判定は、前記画像において前記歯の状態および/または舌の状態を判別することによる、諸段階が、
    a)前記口腔を清掃するのに先立って実行され;かつ
    b)前記口腔を清掃した後に繰り返され、
    当該方法は、a)において判別された口臭の起源を、b)において判別された口臭の起源を用いて検証することをさらに含む、
    請求項記載の方法。
  11. 口臭が前記口腔に由来するかどうかを判定するために、判別された歯の状態および/または舌の状態を使って確率論的モデルを適用することをさらに含む、請求項または10記載の方法。
  12. 前記確率論的モデルは時間的な確率論的モデルであり、当該方法はさらに、口臭が前記口腔に由来するかどうかを、種々の時点において決定された、一連の判別された歯の状態および/または舌の状態に基づいて判定することを含む、請求項11記載の方法。
  13. 前記画像を処理するのに先立って舌の色を正規化するために前記画像に色正規化アルゴリズムを適用することを含む、請求項ないし12のうちいずれか一項記載の方法。
  14. 請求項1ないしのうちいずれか一項記載のシステムで実行されたときに前記システムのプロセッサに請求項ないし13のうちいずれか一項記載の方法を実装させるためのコンピュータ・プログラム。
JP2017566396A 2015-06-26 2016-06-24 口臭を検出するためのシステムおよび方法 Active JP6898869B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15173968 2015-06-26
EP15173968.7 2015-06-26
PCT/EP2016/064759 WO2016207409A1 (en) 2015-06-26 2016-06-24 System and method for detecting halitosis

Publications (2)

Publication Number Publication Date
JP2018528793A JP2018528793A (ja) 2018-10-04
JP6898869B2 true JP6898869B2 (ja) 2021-07-07

Family

ID=53546106

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017566396A Active JP6898869B2 (ja) 2015-06-26 2016-06-24 口臭を検出するためのシステムおよび方法

Country Status (7)

Country Link
US (1) US11105792B2 (ja)
EP (1) EP3314254A1 (ja)
JP (1) JP6898869B2 (ja)
CN (1) CN108027365B (ja)
BR (1) BR112017027565A2 (ja)
RU (1) RU2721939C2 (ja)
WO (1) WO2016207409A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017203499A1 (de) * 2017-03-03 2017-07-06 Henkel Ag & Co. Kgaa Verfahren und Anordnung zum Ermitteln einer nicht-therapeutischen Behandlung des Mundraums
CN107167581A (zh) * 2017-07-03 2017-09-15 广东欧珀移动通信有限公司 健康检测方法、装置、终端设备及存储介质
JP7186500B2 (ja) * 2017-12-27 2022-12-09 ライオン株式会社 呼気中揮発性硫黄化合物含有レベル推定方法、呼気中揮発性硫黄化合物含有レベル推定装置およびプログラム
JP7165900B2 (ja) * 2018-05-23 2022-11-07 パナソニックIpマネジメント株式会社 摂食嚥下機能評価方法、プログラム、摂食嚥下機能評価装置および摂食嚥下機能評価システム
KR102171837B1 (ko) * 2018-11-08 2020-10-29 이상근 스마트 칫솔을 이용한 구강정보 관리 시스템
CN110710958B (zh) * 2019-11-15 2020-05-19 青岛大学附属医院 一种可自主检测口腔的检测仪
WO2021186758A1 (ja) * 2020-03-19 2021-09-23 株式会社Novenine 口腔状態判定システム、口腔ケア具及び口腔状態判定用コンピュータプログラム
CN111494046A (zh) * 2020-04-23 2020-08-07 苏州聚分享电子商贸有限公司 一种应用在临床检测口气的智能电动牙刷
RU2755170C1 (ru) * 2020-08-04 2021-09-13 Ольга Владимировна Калинина Способ оценки степени галитоза полости рта
CN111973155B (zh) * 2020-08-23 2023-06-16 吾征智能技术(北京)有限公司 一种基于人体口味异常变化的疾病认知自学习系统
CN116138912A (zh) * 2021-11-23 2023-05-23 漳州松霖智能家居有限公司 具有口腔异味检测功能的冲牙器及其工作方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2620787B2 (ja) 1987-07-31 1997-06-18 株式会社ジャルコ 臭気測定器
EP1099102B1 (en) * 1998-06-19 2008-05-07 California Institute Of Technology Trace level detection of analytes using artificial olfactometry
JP4375664B2 (ja) * 2002-04-23 2009-12-02 江崎グリコ株式会社 舌苔除去効果を有する食品
JP2004194900A (ja) * 2002-12-18 2004-07-15 Fuji Silysia Chemical Ltd 口腔清掃方法、および口腔清掃システム
US7064830B2 (en) 2003-06-12 2006-06-20 Eastman Kodak Company Dental color imaging system
US20060225744A1 (en) * 2005-04-12 2006-10-12 Kimberly-Clark Worldwide, Inc. System and method for promoting oral health
DE102005020102B3 (de) * 2005-04-25 2006-11-30 Universität Potsdam Verfahren und Vorrichtung zur Gewinnung und Analyse von Atemkondensaten
US7467946B2 (en) * 2005-05-18 2008-12-23 Biolase Technology, Inc. Electromagnetic radiation emitting toothbrush and dentifrice system
US8968195B2 (en) 2006-05-12 2015-03-03 Bao Tran Health monitoring appliance
CN201005722Y (zh) * 2007-04-06 2008-01-16 戴淑香 气味嗅觉诊断器
US20100330000A1 (en) * 2007-11-06 2010-12-30 Kristian Hellgren Enzymes for treatment of gingivitis
JP2009205330A (ja) * 2008-02-27 2009-09-10 Nec Corp 携帯電話装置、デンタルケアシステム、デンタルケア方法、デンタルケアプログラムおよびプログラム記録媒体
US9072370B2 (en) * 2008-06-19 2015-07-07 Colgate-Palmolive Company User health profiles derived from oral care implements
KR20110043605A (ko) * 2008-06-23 2011-04-27 아토나프 가부시키가이샤 화학 물질에 관련한 정보를 취급하기 위한 시스템
JP5524719B2 (ja) 2009-05-29 2014-06-18 三洋化成工業株式会社 トナーバインダーおよびトナー組成物
US9459246B2 (en) * 2009-09-08 2016-10-04 Nodality, Inc. Induced intercellular communication
CN102083240A (zh) * 2009-11-30 2011-06-01 深圳富泰宏精密工业有限公司 移动电话
WO2011133793A2 (en) * 2010-04-21 2011-10-27 Discus Dental, Llc Method of simultaneously cleaning and whitening teeth
WO2012090995A1 (ja) * 2010-12-28 2012-07-05 ライオン株式会社 口腔状態の判定方法、並びにそのために用いられる分析用具、装置、及びプログラム
JP2012147910A (ja) * 2011-01-18 2012-08-09 Olympus Corp 口腔内観察装置
US9645127B2 (en) 2012-05-07 2017-05-09 Alexander Himanshu Amin Electronic nose system and method

Also Published As

Publication number Publication date
RU2018102883A3 (ja) 2019-11-28
JP2018528793A (ja) 2018-10-04
US11105792B2 (en) 2021-08-31
RU2721939C2 (ru) 2020-05-25
WO2016207409A1 (en) 2016-12-29
EP3314254A1 (en) 2018-05-02
US20180180591A1 (en) 2018-06-28
RU2018102883A (ru) 2019-07-29
CN108027365B (zh) 2020-10-16
CN108027365A (zh) 2018-05-11
BR112017027565A2 (pt) 2018-09-11

Similar Documents

Publication Publication Date Title
JP6898869B2 (ja) 口臭を検出するためのシステムおよび方法
US10685259B2 (en) Method for analyzing an image of a dental arch
US11937929B2 (en) Systems and methods for using mobile and wearable video capture and feedback plat-forms for therapy of mental disorders
US20210358124A1 (en) Method for analyzing an image of a dental arch
EP3713446B1 (en) Handheld dental tracking device
US20190026598A1 (en) Method for analyzing an image of a dental arch
US11049248B2 (en) Method for analyzing an image of a dental arch
US10755409B2 (en) Method for analyzing an image of a dental arch
US12053351B2 (en) Method for analyzing an image of a dental arch
WO2020139970A1 (en) Assessment of risk for major depressive disorder from human electroencephalography using machine learned model
KR101911834B1 (ko) 스마트 칫솔 및 그 제어방법
JP2023544524A (ja) パーソナルケア装置のユーザとのインタラクト
JP2011143059A (ja) 顔面動作推定装置及び顔面動作推定方法
US20220215547A1 (en) Method for analyzing an image of a dental arch
Fahim et al. A wearable-based preventive model to promote oral health through personalized notification
JP6075982B2 (ja) 顔しかめ検出システム及び顔しかめ検出方法
Nalepa et al. AfCAI systems: A ective Computing with Context Awareness for Ambient Intelligence. Research proposal.
JP2021074030A (ja) う蝕危険度判別プログラム及びシステム
JP6755059B1 (ja) 歯科診断プログラム及びシステム
WO2023119526A1 (ja) ウェアラブルデバイスおよび行動評価システム
WO2023199839A1 (ja) 内面状態推定装置、内面状態推定方法及び記憶媒体
EP4311479A1 (en) State of consciousness analysis apparatus, state of consciousness analysis program, and observation system
JP2021074503A (ja) 歯科診断プログラム及びシステム
Noor et al. Comparative Techniques Using Hierarchical Modelling and Machine Learning for Procedure Recognition in Smart Hospitals
JP2024082881A (ja) 健康管理システム、及び、健康管理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190620

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200804

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200811

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200813

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200831

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20200831

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20201023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210603

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210611

R150 Certificate of patent or registration of utility model

Ref document number: 6898869

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150