JP7353556B2 - 咀嚼支援システム - Google Patents

咀嚼支援システム Download PDF

Info

Publication number
JP7353556B2
JP7353556B2 JP2019237304A JP2019237304A JP7353556B2 JP 7353556 B2 JP7353556 B2 JP 7353556B2 JP 2019237304 A JP2019237304 A JP 2019237304A JP 2019237304 A JP2019237304 A JP 2019237304A JP 7353556 B2 JP7353556 B2 JP 7353556B2
Authority
JP
Japan
Prior art keywords
mastication
quality
feature
support system
mouth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019237304A
Other languages
English (en)
Other versions
JP2021105878A (ja
Inventor
健 金田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sunstar Inc
Original Assignee
Sunstar Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sunstar Inc filed Critical Sunstar Inc
Priority to JP2019237304A priority Critical patent/JP7353556B2/ja
Priority to PCT/JP2020/048016 priority patent/WO2021132270A1/ja
Priority to US17/788,654 priority patent/US20230038875A1/en
Priority to EP20904309.0A priority patent/EP4084014A4/en
Priority to CN202080089976.4A priority patent/CN114846558A/zh
Publication of JP2021105878A publication Critical patent/JP2021105878A/ja
Application granted granted Critical
Publication of JP7353556B2 publication Critical patent/JP7353556B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/45For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4542Evaluating the mouth, e.g. the jaw
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123Discriminating type of movement, e.g. walking or running
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30036Dental; Teeth
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Physiology (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Rheumatology (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Description

本発明は、健康寿命の延伸を目的として口腔および咽頭領域の健康の維持や増進を支援するシステムに係り、特に、「おいしく噛んで食べる機能」である咀嚼の質の向上を支援・サポートするシステムに関する。
食べ物を噛むことや嚥下行動、唾液の分泌等は、脳および全身への影響が大きく、心身の健康および健康寿命に大きく影響を及ぼす。口腔および咽頭領域の健康を維持、向上させることで、結果的に健康寿命も延びるといわれている。
とくに、歯応えのある食事の十分な咀嚼は、心身の成長の促進、脳の活性化、運動機能の向上、肥満の抑制、老化の抑制、社会性の維持につながるなど、健康寿命の延伸に効果があるとされている。咀嚼回数の少ない食事の摂取などの不十分な咀嚼は、発達期の子供の咀嚼機能の低下、高齢者のオーラルフレイルへ繋がる(非特許文献1参照)。
また、いつも同じ側でばかり噛む「偏咀嚼」の影響は、片側の歯の寿命が縮まったり、噛まない歯が汚れやすい、顎の関節に負担がかかる、顏がゆがむといった、歯や顎、顏などへの影響にとどまらず、やがて体がゆがむ、肩こりや腰痛を引き起こすなど、全身にも影響が及ぶ。左右の咬合のバランス(咬合干渉)も、身体的、情動的ストレスを引き起こすと言われ、交感神経と副交感神経の両機能に影響を及ぼす。
咀嚼の質を計測するべく、咀嚼をカウントする筋電計などの機器や咬合力を数値化する機器は存在するが、とくに子供の場合など、食事の際に筋電計などの機器を取り付けることは難しい。また、筋電計では顎の動きを捉えるには至らず、位置センサーなどを貼り付け、その動きを三次元的に計測するものはあるが、より大掛かりとなる(たとえば、特許文献1、2参照。)。
特開平6-98865号公報 特開2019-47859号公報
小林義典,依頼論文 咬合・咀嚼が創る健康寿命,日補綴会誌Ann Jpn Prosthodont Soc3,p189-219,2011
そこで、本発明が前述の状況に鑑み、解決しようとするところは、筋電計などの機器を体に取り付けることなく、ユーザに違和感や負担を掛けずに簡易な方法で食事の際の咀嚼の質を入手し、咀嚼の質の改善、健康の維持・増進をサポートすることができる咀嚼支援システムを提供する点にある。
本発明者は、かかる現況に鑑み、鋭意検討した結果、咀嚼の仕方の違いは、顏の口又は口の周辺部の動きの違いとして表れることに着目した。例えば右で咀嚼するときの顎の動きは、図17のように咀嚼の仕方によって大きく異なってくる。図中(a)は前方から見た動き、(b)は水平的に上から見た動きである。
そして、この動きを画像解析することで、筋電計などの機器を用いることなく咀嚼の動作の質を判定することができること、及び判定結果に基づいて咀嚼の質向上、健康の維持・増進を支援できることを見出し、本発明を完成するに至った。
すなわち本発明は、以下の発明を包含する。
(1) 咀嚼の質に関する情報を記憶する咀嚼情報記憶手段と、顏の少なくとも口又は口の周辺部を含む領域の動画を取得する動画取得手段と、前記動画取得手段により取得された前記領域の動画に基づき、咀嚼動作を解析する解析手段と、前記解析手段により解析された咀嚼動作の情報に基づき、咀嚼動作の質を判定する質判定手段と、前記質判定手段により判定された咀嚼の質に応じた支援情報を前記咀嚼情報記憶手段から抽出する抽出手段と、を備える情報処理装置からなる咀嚼支援システム。
(2) 前記解析手段が、前記領域の画像から顏の特徴点を検出する特徴検出手段と、前記特徴検出手段で検出された特徴点の変化に基づき動作を解析する動作解析手段とを備える(1)記載の咀嚼支援システム。
(3) 前記動作解析手段が、前記特徴点の変化の量が所定の閾値を超える場合に、当該変化を咀嚼による変化としてその動作を解析する、(2)記載の咀嚼支援システム。
(4) 前記特徴点が、鼻先、鼻元、口の口角、上唇の頂点、下唇の頂点、顎の頂点、及び咬筋付近の頬の輪郭に沿った点のうち少なくとも1つ以上を含む、(2)又は(3)記載の咀嚼支援システム。
(5) 前記特徴点の変化が、特徴点の位置の変化、2つの特徴点の間の距離の変化、及び3つ以上の特徴点で囲まれる面積の変化のうち少なくとも1つ以上を含む、(2)~(4)の何れかに記載の咀嚼支援システム。
(6) 前記解析手段により解析する咀嚼動作が、咀嚼回数、咀嚼リズム、口の動き、顎の動き、前後/左右の咬合バランス、及び咬筋の動きのうち少なくとも1つ以上に関する動作を含む、(1)~(5)の何れかに記載の咀嚼支援システム。
(7) 前記質判定手段により判定する咀嚼動作の質が、咀嚼回数の多少、咀嚼リズムの良否、口の開け方の良否、左右の咀嚼バランスの良否、食べ方(口の動かし方)の良否、及び咬筋の使い方の良否のうち少なくとも1つ以上を含む、(1)~(6)の何れかに記載の咀嚼支援システム。
(8) 前記質判定手段が、同じ人の過去の咀嚼動作と比較し、改善しているか否かの判定を含む、(1)~(7)の何れかに記載の咀嚼支援システム。
(9) 前記質判定手段は機械学習機構を有し、該機械学習機構による学習結果を参照して上記咀嚼動作の質を判定する(1)~(8)の何れかに記載の咀嚼支援システム。
(10) (1)~(9)の何れかに記載の咀嚼支援システムとして情報処理装置を機能させるための制御プログラムであって、上記動画取得手段、解析手段、質判定手段、および抽出手段として情報処理装置を機能させるための咀嚼支援プログラム。
以上にしてなる本願発明によれば、顏の少なくとも口又は口の周辺部を含む領域の動画から咀嚼動作を解析して咀嚼動作の質を判定し、判定された咀嚼の質に応じた支援情報を提供できるので、筋電計などの機器を体に取り付けることなく、ユーザに違和感や負担を掛けずに簡易な方法で食事の際の咀嚼の質を入手し、咀嚼の質の改善をサポートすることができる。
このような本願発明によれば、とくに発達期の子供の健全な咀嚼の質の育成情報を簡易に提供でき、子供の発達期における咀嚼運動機能の健全な育成に資するシステムを提供できる。また、高齢者に関しても、たとえば機器を付けて計測するに至らせる前段で簡易に咀嚼の質に応じた支援情報を提供でき、高齢者の咀嚼運動機能の維持・向上に資するシステムを提供できる。
本発明の代表的実施形態に係る咀嚼支援システムの構成を示すブロック図。 同じく咀嚼支援システムの特徴検出処理部が検出する顏の特徴点を示す説明図。 (a)は、同じく咀嚼支援システムの特徴量算出処理部により、鼻先を基準とした上唇の頂点の相対位置座標を特徴量として算出したグラフ、(b)は鼻先から上唇の頂点までの距離を特徴量として算出したグラフ。 同じく咀嚼支援システムの動作解析処理部が、図3(b)のグラフに基づき、ローカットフィルタで整流化し、ある閾値(±x)よりも大きい動きを咀嚼と判定する方法を示す説明図。 (a)は、0を跨ぐものを一つづつ一咀嚼として抽出する様子を示す説明図、(b)はV字の形を一咀嚼動作として捉え、その間の動きを切り出す様子を示す説明図。 (a)は、同じく咀嚼支援システムの特徴量算出処理部により、鼻先を基準とした下唇の頂点の相対位置座標を特徴量として算出したグラフ、(b)は鼻先から下唇の頂点までの距離を特徴量として算出したグラフ。 (a)は、同じく咀嚼支援システムの特徴量算出処理部により、鼻先を基準とした右口角の相対位置座標を特徴量として算出したグラフ、(b)は鼻先から右口角までの距離を特徴量として算出したグラフ。 (a)は、同じく咀嚼支援システムの特徴量算出処理部により、鼻先を基準とした左口角の相対位置座標を特徴量として算出したグラフ、(b)は鼻先から左口角までの距離を特徴量として算出したグラフ。 (a)は、同じく咀嚼支援システムの特徴量算出処理部により、鼻先を基準とした顎の頂点の相対位置座標を特徴量として算出したグラフ、(b)は鼻先から顎の頂点までの距離を特徴量として算出したグラフ。 (a)は、同じく咀嚼支援システムの特徴量算出処理部により、左口角を基準とした右口角の相対位置座標を特徴量として算出したグラフ、(b)は左口角から右口角までの距離を特徴量として算出したグラフ。 (a)は、同じく咀嚼支援システムの特徴量算出処理部により、上唇の頂点を基準とした下唇の頂点の相対位置座標を特徴量として算出したグラフ、(b)は上唇の頂点から下唇の頂点までの距離を特徴量として算出したグラフ。 同じく咀嚼支援システムの特徴量算出処理部により、咬筋を示す口角と頬の輪郭に沿った所定の複数位置(特徴点)とで囲まれる左右の面積を特徴量として算出する様子を示す説明図。 同じく特徴量算出処理部により、咬筋を示す口角と頬の輪郭に沿った所定の複数位置(特徴点)とで囲まれる左右の面積を特徴量として算出したグラフ。 左側で咀嚼した場合の各特徴点の一咀嚼区間のパターン(軌跡)を示す説明図。 右側で咀嚼した場合の各特徴点の一咀嚼区間のパターン(軌跡)を示す説明図。 代表的実施形態に係る咀嚼支援システムの処理手順を示すフロー図。 右で咀嚼するときの顎の動きを示す説明図。
次に、本発明の実施形態を添付図面に基づき詳細に説明する。
食事中の咀嚼には、その人の好む食物の硬さ・柔らかさや、それらをちぎり、噛み砕く運動、それらを咀嚼する回数、咀嚼する時間、リズムなどが存在する。また、咀嚼している歯のバランスも、その一つ。このようなおいしく噛んで食べる機能の良し悪しを咀嚼の質と位置づけ、本システムは、咀嚼の質を動画解析により、咀嚼回数、咀嚼リズム、食べ方(すりつぶしているか?、上下にだけ動かしているか?、口唇を開けたままではないか?)、咀嚼時の顎の動き、咬合バランス(前後左右)、筋肉の動きなどを計測し、咀嚼の質を数値化する等して示し、また、過去と現在の差分からその経時的変化を示す等することで、咀嚼の質の改善状況を示すことができるものである。
具体的には、本発明の咀嚼支援システム1は、図1に示すように、処理装置2、記憶手段3、撮像手段4、情報表示部5を備えた、単または複数の情報処理装置10で構成されている。情報処理装置10は、具体的には処理装置2を中心に、記憶手段、ポインティングデバイスやキーボード、タッチパネルなどの入力手段、ディスプレイなどの表示手段、その他図示しない通信制御部などを備えるコンピュータ等である。
処理装置2は、マイクロプロセッサなどのCPUを主体に構成され、図示しないRAM、ROMからなる記憶部を有して各種処理動作の手順を規定するプログラムや処理データが記憶される。記憶手段3は、情報処理装置10内外のメモリやハードディスクなどからなる。情報処理装置10に通信接続された他のコンピュータのメモリやハードディスクなどで一部又は全部の記憶部の内容を記憶してもよい。このような情報処理装置は、歯科医院や病院、その他の施設、店舗などに設置される専用の装置でもよいし、家庭に設置される汎用のパーソナルコンピュータでもよい。ユーザが携帯するスマートフォンなどでもよい。
処理装置2は、機能的には、撮像手段4により取得・送信されるユーザの顏の少なくとも口又は口の周辺部を含む領域の二次元または三次元の動画情報を取得し、ユーザ情報記憶部31内の画像情報記憶部31aに記憶する処理を行う、動画取得手段としての動画取得部21と、前記動画情報に基づき、咀嚼動作を解析し、解析された咀嚼動作の情報をユーザ情報記憶部31内の動作情報記憶部31bに記憶する処理を行う解析部22と、前記咀嚼動作の情報に基づき、咀嚼動作の質を判定し、判定された咀嚼動作の質の情報をユーザ情報記憶部31内の判定情報記憶部31cに記憶する処理を行う、質判定手段としての質判定部23と、判定された咀嚼の質の情報を入力として、咀嚼情報記憶部32に記憶されている咀嚼の質に関する情報のうち推奨される情報を抽出する情報抽出部24と、該情報をディスプレイ(情報表示部5)に表示させる等してユーザに提示する情報出力処理部25とを備えており、これらの処理機能は上記プログラムにより実現される。
撮像手段4は、CCDカメラなどが該当し、情報処理装置10を構成するユーザのスマートフォンが備えるCCDカメラでもよいし、情報処理装置10を構成する専用のコンピュータ装置などに接続された外付けカメラなども該当する。3D撮影等の活用も可能である。撮像手段4により、ユーザの顏の少なくとも口又は口の周辺部を含む領域、好ましくは、後述の「特徴点」となる鼻先、鼻元、口の口角、上唇の頂点、下唇の頂点、顎の頂点、咬筋付近の頬を含む領域の動画情報が取得される。
解析部22は、解析手段として機能し、より詳しくは、前記領域の画像から顏の特徴点を検出し、その位置情報を動作情報記憶部31bの特徴点情報記憶部310に記憶する特徴検出処理部22aと、検出された特徴点の位置に基づき動作の解析に用いる特徴量を算出し、特徴量記憶部311に記憶する特徴量算出処理部22bと、算出された特徴量の変化に基づき、動作を解析する動作解析処理部22cとを備える。
特徴検出処理部22aは、Active shape model(ASM)やActive appearance model(AAM)、Constrained local model(CLM)など、顏特徴点検出技術としてすでに公知の種々の方法を利用できる。検出する顏の特徴点としては、鼻先、鼻元、口の口角、上唇の頂点、下唇の頂点、顎の頂点、咬筋付近の頬の輪郭に沿った点などが好ましい。
図2は、検出した顏の特徴点の一例を示している。この例では「0」点から「67」までの68点の特徴点を検出している。特徴検出処理部22aは、検出した顏の特徴点をその位置情報とともに特徴点情報記憶部310に記憶する。
特徴量算出処理部22bにより算出される特徴量としては、咀嚼時に影響しない鼻先(特徴点)又は鼻元(特徴点)を基準とした、左右の口角(特徴点)や上唇の頂点(特徴点)、下唇の頂点(特徴点)、顎の頂点(特徴点)などの各点の相対位置や距離のほか、唇の厚みを示す上唇の頂点(特徴点)と下唇の頂点(特徴点)の間の距離、唇と幅を示す右左の口角(特徴点)間の距離、咬筋を示す口角(特徴点)と頬の輪郭に沿った所定の複数位置(特徴点)とで囲まれる面積などを特徴量として算出することが好ましい例である。
図3(a)は、特徴量算出処理部22bにより、図2で示した検出された顏の特徴点のうち鼻先「33」を基準とした上唇の頂点「51」の相対位置座標、図3(b)は鼻先「33」から上唇の頂点「51」までの距離をそれぞれ上記特徴量として算出したグラフである。横軸は時間、縦軸は特徴量である。
このような図3(b)で算出された鼻先「33」から上唇の頂点「51」までの距離(特徴量)の変化を示すグラフに基づき、動作解析処理部22cが、たとえば図4に示すようにローカットフィルタで整流化したうえ、ある閾値(±x)よりも大きい動きを咀嚼と判定し、図5(a)に示すように一つづつ一咀嚼(咀嚼(1)、咀嚼(2)、咀嚼(3)、…)として抽出し、これにより咀嚼動作(咀嚼回数、咀嚼リズムなど)を判定する。一咀嚼に上記閾値を越えないものが含まれる場合はこれを除き咀嚼動作を判定することもできる。
同様の特徴量算出処理部22bによる特徴量の算出の例としては、たとえば図6(a),(b)に示すように鼻先「33」を基準とした下唇の頂点「57」の相対位置座標、距離をそれぞれ特徴量として算出したものや、図7(a),(b)に示すように鼻先「33」を基準とした右口角「48」の相対位置座標、距離をそれぞれ特徴量として算出したもの、図8(a),(b)に示すように鼻先「33」を基準とした左口角「54」の相対位置座標、距離をそれぞれ特徴量として算出したもの、図9(a),(b)に示すように鼻先「33」を基準とした顎の頂点「8」の相対位置座標、距離をそれぞれ特徴量として算出したもの等が該当する。これらの距離のグラフから、上述と同じように動作解析処理部22cが咀嚼動作を判定することができる。
このように咀嚼時に影響しない鼻先又は鼻元の位置を基準とした、左右の口角や上唇の頂点、下唇の頂点、顎の頂点などの各点の相対位置や距離を解析することで、咀嚼動作、具体的には咀嚼の回数やリズム、左右の咀嚼バランスなどを解析することができる。
また、同様の特徴量算出処理部22bによる特徴量の算出の例としては、図10(a),(b)に示すように左口角「54」を基準とした右口角「48」の相対位置座標、距離をそれぞれ特徴量として算出したものや、図11(a),(b)に示すように上唇の頂点「51」を基準とした下唇の頂点「57」の相対位置座標、距離をそれぞれ特徴量として算出したものがある。このような上記左口角と右口角の相対位置座標、距離や上唇の頂点と下唇の頂点の相対位置座標、距離を特徴量として算出したものでは、動作解析処理部22cにより、咀嚼する際の口の開き方、たとえば開く大きさや形など、口の動き方をより直接的に解析することができる。
また、その他の特徴量算出処理部22bによる特徴量の算出の例としては、図12及び図13に示すように咬筋を示す口角と頬の輪郭に沿った所定の複数位置(特徴点)とで囲まれる左右の面積を特徴量として算出したものがある。図12及び図13の例では、左右の面積をそれぞれ上段、中段、下段の3領域に分けている。
上段は「2」,「3」,「48」を頂点とする三角形の面積を右側の領域とし、「13」,「14」,「54」を頂点とする三角形の面積を右側の領域としている。同様に中段は「3」,「4」,「48」を頂点とする三角形の面積を右側の領域とし、「12」,「13」,「54」を頂点とする三角形の面積を右側の領域としている。また、同様に下段は「4」,「5」,「48」を頂点とする三角形の面積を右側の領域とし、「11」,「12」,「54」を頂点とする三角形の面積を右側の領域としている。
このように口角と頬の輪郭に沿った所定の複数位置とで囲まれる左右の面積を特徴量とした算出したものでは、動作解析処理部22cにより、咀嚼する際の口の力の入れ方、すなわち咬筋の動き、これによる前後/左右の咀嚼バランスなどをより直接的に解析することができる。
また、特徴量算出処理部22bにより算出される上記口角や顎、上下唇の頂点などの位置座標から各特徴点の動きをパターン化し、機械学習機構等によりパターン判定することで咀嚼動作を解析することもできる。各特徴点の動きの切り出しは、たとえば図5(b)のようにV字の形を一咀嚼動作として捉え、その間の動きを切り出すことが好ましい。具体的には、図14(a)~(d)は、左側で咀嚼した場合の各特徴点(右口角「48」、左口角「54」、顎頂点「8」、上唇の頂点「51」)の一咀嚼区間のパターン(軌跡)を示し、図15(a)~(d)は、右側で咀嚼した場合の各特徴点(右口角「48」、左口角「54」、顎頂点「8」、上唇の頂点「51」)の一咀嚼区間のパターン(軌跡)を示している。
このように各特徴点の咀嚼時の軌跡をパターン化すれば、咀嚼時の口の動かし方(開け方、左右の咀嚼バランスなど)をより精度よく解析できる。動作解析処理部22cは、このように機械学習機構を有し、該機械学習機構による学習結果を参照して上述した各動作を判定することが好ましい。
質判定部23により判定される咀嚼動作の質としては、咀嚼回数の多少、咀嚼リズムの良否、口の開け方の良否、左右の咀嚼バランスの良否、食べ方(口の動かし方)の良否、及び咬筋の使い方の良否などが該当する。
得られたデータと判定情報記憶部31c内の当該ユーザの過去情報、年齢に応じた統計的な情報より、ユーザが過去に比べて咀嚼の質を改善できているか否か、年齢に応じた咀嚼の質を有するか否か等の情報を含むことが好ましい。質判定部23は、機械学習機構を有し、該機械学習機構による学習結果を参照して上記咀嚼動作の質を判定することが好ましい。
情報抽出部24は、抽出手段として機能し、たとえば、年齢に応じた咀嚼の質を有しない場合に、年齢に応じた口腔機能情報や、育成・改善用機器、使用者の住まいに応じた専門医の情報などの情報を抽出することが好ましい。
図16は、本実施形態の咀嚼支援システム1による処理手順を示すフロー図である。
まず、動画取得部21が、撮像手段4より少なくとも規定食品(所定の食品)または通常食を口に入れてから飲み込むまでのユーザの顏の動画情報を取得し(S101)、ユーザ情報記憶部31内の画像情報記憶部31aに記憶する(S102)。
次に、特徴検出処理部22aが、前記領域の画像から顏の特徴点を検出し(S103)、その位置情報を動作情報記憶部31bの特徴点情報記憶部310に記憶する(S104)。そして、特徴量算出処理部22bが、検出された特徴点の位置に基づき、動作の解析に用いる特徴量を算出し(S105)、特徴量記憶部311に記憶する(S106)。
次に、動作解析処理部22cが、算出された特徴量の変化に基づき、動作を解析し(S107)、解析結果を解析結果記憶部312に記憶する(S108)。次に、質判定部23が、前記解析結果に基づき咀嚼動作の質を判定し(S109)、判定された咀嚼動作の質の情報をユーザ情報記憶部31内の判定情報記憶部31cに記憶する(S110)。
次に、情報抽出部24が、判定された咀嚼の質の情報を入力として、咀嚼情報記憶部32に記憶されている咀嚼の質に関する情報のうち推奨される情報を抽出する(S111)。そして、情報出力処理部25が、前記抽出された情報をディスプレイ(情報表示部5)に表示させる等してユーザに提示する(S112)。
以上、本発明の実施形態について説明したが、本発明はこうした実施例に何ら限定されるものではなく、例えば、処理装置をコンピュータによるソフトウエア処理で構成する代わりに、一部又は全部をハードウエア処理回路で構成することも好ましく、この場合、機械学習機構として人工知能用処理回路を用いることもでき、本発明の要旨を逸脱しない範囲において種々なる形態で実施し得ることは勿論である。
本発明は、口又は口の周辺部の動画を撮るという簡易な手段で、咀嚼の質を判定し、判定結果に応じた支援情報を提供することができる。したがって、子供の噛む教育、噛むトレーニングのための器具や商品・サービスと組み合わせることで、子供の健全な発達に資する商品、サービスを提供することが可能となる。また、左右前後のバランスの良い噛み方、咀嚼筋の使い方などの美容のためのトレーニング器具やサービスと組み合わせることで、顏のゆがみや肥満を防止し、生き生きとした健全な表情を維持する美容のための商品、サービスを提供することも可能となる。さらには、高齢者等の口腔機能の低下、身体の衰えなどのオーラルフレイル対応商品、サービスと組み合わせることで、健康寿命の延伸に資する商品・サービスを提供することもできる。
1 咀嚼支援システム
2 処理装置
3 記憶手段
4 撮像手段
5 情報表示部
10 情報処理装置
21 動画取得部
22 解析部
22a 特徴検出処理部
22b 特徴量算出処理部
22c 動作解析処理部
23 質判定部
24 情報抽出部
25 情報出力処理部
31 ユーザ情報記憶部
31a 画像情報記憶部
31b 動作情報記憶部
31c 判定情報記憶部
32 咀嚼情報記憶部
310 特徴点情報記憶部
311 特徴量記憶部
312 解析結果記憶部

Claims (8)

  1. 咀嚼の質に関する情報を記憶する咀嚼情報記憶手段と、
    顏の少なくとも口又は口の周辺部を含む領域の咀嚼時の動画を取得する動画取得手段と、
    前記動画取得手段により取得された前記領域の咀嚼時の動画に基づき、口の動き、顎の動き、前後/左右の咬合バランス、及び咬筋の動きのうち少なくとも1つ以上に関する動作を含む咀嚼動作を解析する解析手段と、
    前記解析手段により解析された咀嚼動作の情報に基づき、口の開け方の良否、左右の咀嚼バランスの良否、食べ方(口の動かし方)の良否、及び咬筋の使い方の良否のうち少なくとも1つ以上を含む咀嚼動作の質を判定する質判定手段と、
    前記質判定手段により判定された咀嚼の質に応じた支援情報を前記咀嚼情報記憶手段から抽出する抽出手段と、
    を備える情報処理装置からなる咀嚼支援システム。
  2. 前記解析手段が、
    前記領域の画像から顏の特徴点を検出する特徴検出手段と、
    前記特徴検出手段で検出された特徴点の変化に基づき動作を解析する動作解析手段とを備える請求項1記載の咀嚼支援システム。
  3. 前記動作解析手段が、
    前記特徴点の変化の量が所定の閾値を超える場合に、当該変化を咀嚼による変化としてその動作を解析する、請求項2記載の咀嚼支援システム。
  4. 前記特徴点が、
    鼻先、鼻元、口の口角、上唇の頂点、下唇の頂点、顎の頂点、及び咬筋付近の頬の輪郭に沿った点のうち少なくとも1つ以上を含む、請求項2又は3記載の咀嚼支援システム。
  5. 前記特徴点の変化が、特徴点の位置の変化、2つの特徴点の間の距離の変化、及び3つ以上の特徴点で囲まれる面積の変化のうち少なくとも1つ以上を含む、請求項2~4の何れか1項に記載の咀嚼支援システム。
  6. 前記質判定手段が、
    同じ人の過去の咀嚼動作と比較し、改善しているか否かの判定を含む、請求項1~の何れか1項に記載の咀嚼支援システム。
  7. 前記質判定手段は機械学習機構を有し、
    該機械学習機構による学習結果を参照して上記咀嚼動作の質を判定する請求項1~の何れか1項に記載の咀嚼支援システム。
  8. 請求項1~の何れか1項に記載の咀嚼支援システムとして情報処理装置を機能させるための制御プログラムであって、上記動画取得手段、解析手段、質判定手段、および抽出手段として情報処理装置を機能させるための咀嚼支援プログラム。
JP2019237304A 2019-12-26 2019-12-26 咀嚼支援システム Active JP7353556B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019237304A JP7353556B2 (ja) 2019-12-26 2019-12-26 咀嚼支援システム
PCT/JP2020/048016 WO2021132270A1 (ja) 2019-12-26 2020-12-22 咀嚼支援システム
US17/788,654 US20230038875A1 (en) 2019-12-26 2020-12-22 Chewing assistance system
EP20904309.0A EP4084014A4 (en) 2019-12-26 2020-12-22 CHEWING SUPPORT SYSTEM
CN202080089976.4A CN114846558A (zh) 2019-12-26 2020-12-22 咀嚼辅助系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019237304A JP7353556B2 (ja) 2019-12-26 2019-12-26 咀嚼支援システム

Publications (2)

Publication Number Publication Date
JP2021105878A JP2021105878A (ja) 2021-07-26
JP7353556B2 true JP7353556B2 (ja) 2023-10-02

Family

ID=76575939

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019237304A Active JP7353556B2 (ja) 2019-12-26 2019-12-26 咀嚼支援システム

Country Status (5)

Country Link
US (1) US20230038875A1 (ja)
EP (1) EP4084014A4 (ja)
JP (1) JP7353556B2 (ja)
CN (1) CN114846558A (ja)
WO (1) WO2021132270A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024177045A1 (ja) * 2023-02-21 2024-08-29 株式会社電通 咀嚼状態判定装置、咀嚼状態判定システム、咀嚼状態判定方法、咀嚼状態判定プログラム、制御装置、制御方法および制御判定プログラム
JP7436720B1 (ja) 2023-02-21 2024-02-22 株式会社電通 咀嚼状態判定装置、咀嚼状態判定方法および咀嚼状態判定プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004033494A (ja) 2002-07-03 2004-02-05 Japan Science & Technology Corp 咀嚼機能評価システム
JP2016159096A (ja) 2015-03-05 2016-09-05 シャープ株式会社 食事支援装置、食事支援システム、コンピュータプログラム及び食事支援方法
WO2019225243A1 (ja) 2018-05-23 2019-11-28 パナソニックIpマネジメント株式会社 摂食嚥下機能評価方法、プログラム、摂食嚥下機能評価装置および摂食嚥下機能評価システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3313812B2 (ja) 1992-06-03 2002-08-12 勇次郎 須ノ内 生体の筋活動計測装置
CN105975935B (zh) * 2016-05-04 2019-06-25 腾讯科技(深圳)有限公司 一种人脸图像处理方法和装置
JP7113387B2 (ja) 2017-09-08 2022-08-05 株式会社吉田製作所 治療検査システムの作動方法、並びに治療検査システムの治療検査プログラム、及び、その記憶媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004033494A (ja) 2002-07-03 2004-02-05 Japan Science & Technology Corp 咀嚼機能評価システム
JP2016159096A (ja) 2015-03-05 2016-09-05 シャープ株式会社 食事支援装置、食事支援システム、コンピュータプログラム及び食事支援方法
WO2019225243A1 (ja) 2018-05-23 2019-11-28 パナソニックIpマネジメント株式会社 摂食嚥下機能評価方法、プログラム、摂食嚥下機能評価装置および摂食嚥下機能評価システム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
宮中 大 外2名,オプティカルフローを用いた咀嚼回数のリアルタイム計測,電子情報通信学会技術研究報告,日本,一般社団法人電子情報通信学会,2013年,Vol. 113, No. 64,pp. 31-34
新野毅 外3名,動画像処理を用いた咀嚼回数指導システムの提案,第72回(平成22年)全国大会講演論文集(4) インタフェース コンピュータと人間社会,社団法人情報処理学会,2010年03月08日,pp. 4-765 - 4-766

Also Published As

Publication number Publication date
EP4084014A4 (en) 2024-01-17
JP2021105878A (ja) 2021-07-26
CN114846558A (zh) 2022-08-02
US20230038875A1 (en) 2023-02-09
WO2021132270A1 (ja) 2021-07-01
EP4084014A1 (en) 2022-11-02

Similar Documents

Publication Publication Date Title
CN106255473B (zh) 增强现实牙科设计方法及系统
KR102006610B1 (ko) 증강 현실을 이용한 양치 가이드 정보 제공 방법 및 장치
Al-Hiyali et al. The impact of orthognathic surgery on facial expressions
JP7564637B2 (ja) 情報処理システム、情報処理方法、及び制御プログラム
JP7353556B2 (ja) 咀嚼支援システム
EP3679831B1 (de) Verfahren zur bestimmung von bewegungsmustern bei einer zahnbehandlung
Kim et al. The influence of lip form on incisal display with lips in repose on the esthetic preferences of dentists and lay people
Rashed et al. Lip-tooth relationships during smiling and speech: an evaluation of different malocclusion types
JP2022126288A (ja) 咀嚼改善提案システム、咀嚼改善提案プログラム、及び咀嚼改善提案方法
JP2020081088A (ja) 情報処理装置、情報処理システム、および、プログラム
JP7536348B2 (ja) マッサージ評価方法、マッサージ評価装置、およびマッサージ評価プログラム
JP7442171B2 (ja) 画像処理システム、画像処理方法、および画像処理プログラム
JP7265359B2 (ja) データ生成装置、スキャナシステム、データ生成方法、およびデータ生成用プログラム
JP7044340B2 (ja) 口腔ケア用トレーニング装置
JP7058408B2 (ja) ブラッシング動作のシミュレーション方法
DE102019117923A1 (de) Verfahren und Vorrichtung zur Bestimmung von Bewegungen bei einer Zahnbehandlung
Hottel et al. The SPA factor or not? Distinguishing sex on the basis of stereotyped tooth characteristics
JP2024043496A (ja) 顔形状改善支援装置、顔形状改善支援システム、顔形状改善支援方法、施術及び/又は物質を提案する方法、並びにプログラム
JP2015015968A (ja) 笑顔口舌健康体操マウスピース
JP2023094220A (ja) 情報処理方法、製造方法、情報処理装置、および制御プログラム
JP7442172B2 (ja) 画像処理システム、画像処理方法、および画像処理プログラム
JP7522631B2 (ja) 出力装置、出力システムおよび出力方法
EP4424275A1 (en) Systems and methods for providing personalized virtual digital dentition of a patient
JP2023094219A (ja) 評価システム、情報処理装置、評価方法、および制御プログラム
JP2024131959A (ja) 顔面軟組織運動における協調度の測定方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220507

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230801

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230817

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230830

R150 Certificate of patent or registration of utility model

Ref document number: 7353556

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150