WO2021132270A1 - 咀嚼支援システム - Google Patents

咀嚼支援システム Download PDF

Info

Publication number
WO2021132270A1
WO2021132270A1 PCT/JP2020/048016 JP2020048016W WO2021132270A1 WO 2021132270 A1 WO2021132270 A1 WO 2021132270A1 JP 2020048016 W JP2020048016 W JP 2020048016W WO 2021132270 A1 WO2021132270 A1 WO 2021132270A1
Authority
WO
WIPO (PCT)
Prior art keywords
mastication
chewing
quality
support system
mouth
Prior art date
Application number
PCT/JP2020/048016
Other languages
English (en)
French (fr)
Inventor
健 金田
Original Assignee
サンスター株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by サンスター株式会社 filed Critical サンスター株式会社
Priority to EP20904309.0A priority Critical patent/EP4084014A4/en
Priority to CN202080089976.4A priority patent/CN114846558A/zh
Priority to US17/788,654 priority patent/US20230038875A1/en
Publication of WO2021132270A1 publication Critical patent/WO2021132270A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4542—Evaluating the mouth, e.g. the jaw
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123—Discriminating type of movement, e.g. walking or running
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention relates to a system that supports maintenance and promotion of the health of the oral cavity and pharyngeal region for the purpose of extending healthy life expectancy, and in particular, a system that supports and supports improvement of the quality of mastication, which is a "delicious chewing and eating function". Regarding.
  • Chewing food, swallowing behavior, saliva secretion, etc. have a great effect on the brain and the whole body, and have a great influence on physical and mental health and healthy life expectancy. It is said that maintaining and improving the health of the oral and pharyngeal areas will eventually extend healthy life expectancy.
  • electromyograms that count mastication and devices that quantify the bite force quotient, but especially for children, attach devices such as electromyograms when eating. Is difficult.
  • electromyography does not capture the movement of the jaw, and there are some that attach a position sensor or the like and measure the movement three-dimensionally, but this is a larger scale (see, for example, Patent Documents 1 and 2). .).
  • the present invention attempts to solve the problem by using a simple method for chewing during meals without attaching a device such as an electromyogram to the body and without causing discomfort or burden to the user.
  • the point is to provide a masticatory support system that can obtain quality, improve the quality of mastication, and support the maintenance and promotion of health.
  • the difference in the chewing method appears as the difference in the movement of the mouth of the face or the periphery of the mouth.
  • the movement of the jaw when chewing on the right greatly differs depending on the chewing method as shown in FIG.
  • (a) is a movement seen from the front
  • (b) is a movement seen horizontally from above.
  • a masticatory information storage means for storing information on the quality of mastication
  • a moving image acquisition means for acquiring a moving image of a region including at least the mouth or the peripheral portion of the mouth of the chewing, and the above-mentioned area acquired by the moving image acquisition means.
  • An analysis means for analyzing the mastication motion based on the moving image
  • a quality determination means for determining the quality of the mastication motion based on the information of the mastication motion analyzed by the analysis means, and a mastication quality determined by the quality determination means.
  • a mastication support system including an information processing device including an extraction means for extracting support information according to the above from the mastication information storage means.
  • the analysis means includes a feature detection means for detecting the feature points of the face from the image of the region and a motion analysis means for analyzing the motion based on the change of the feature points detected by the feature detection means ((2). 1) The mastication support system described.
  • the characteristic point includes at least one of the tip of the nose, the base of the nose, the corner of the mouth, the apex of the upper lip, the apex of the lower lip, the apex of the chin, and the points along the contour of the cheek near the masseter muscle.
  • the cheek support system according to (2) or (3).
  • the change of the feature point includes at least one of a change in the position of the feature point, a change in the distance between the two feature points, and a change in the area surrounded by three or more feature points.
  • the mastication support system according to any one of (2) to (4).
  • the masticatory movement analyzed by the analysis means includes movements related to at least one of the number of mastications, masticatory rhythm, mouth movement, jaw movement, front-back / left-right occlusal balance, and masseter muscle movement (6).
  • the mastication support system according to any one of 1) to (5).
  • the quality of the masticatory movement determined by the quality determination means is the number of times of mastication, the quality of the mastication rhythm, the quality of opening the mouth, the quality of the left and right mastication balance, and the quality of how to eat (how to move the mouth).
  • the mastication support system according to any one of (1) to (6), which includes at least one of the good and bad ways of using the masseter muscle.
  • the masticatory motion is analyzed from the moving image of the region including at least the mouth or the peripheral portion of the mouth to determine the quality of the masticatory motion, and the support information according to the determined masticatory quality. It is possible to obtain the quality of mastication during meals in a simple way without causing discomfort or burden on the user without attaching a device such as an electromyogram to the body, and support the improvement of mastication quality. be able to.
  • the present invention as described above, it is possible to easily provide information on the development of sound masticatory quality of a child in the developmental stage, and to provide a system that contributes to the sound development of the masticatory movement function of the child in the developmental stage. Further, for the elderly, for example, it is possible to easily provide support information according to the quality of mastication before the measurement is performed by attaching a device, and it is possible to provide a system that contributes to the maintenance and improvement of the masticatory movement function of the elderly.
  • the block diagram which shows the structure of the mastication support system which concerns on the typical embodiment of this invention.
  • An explanatory diagram showing the feature points of the face detected by the feature detection processing unit of the mastication support system.
  • a graph calculated by the feature amount calculation processing unit of the mastication support system using the relative position coordinates of the apex of the upper lip with respect to the tip of the nose as the feature amount.
  • a graph calculated using the distance from the tip of the nose to the apex of the upper lip as a feature.
  • an explanatory diagram showing a method in which a motion analysis processing unit of a mastication support system rectifies with a low-cut filter based on the graph of FIG.
  • a graph calculated by the feature amount calculation processing unit of the mastication support system using the relative position coordinates of the right mouth angle with respect to the tip of the nose as the feature amount A graph calculated using the distance from the tip of the nose to the corner of the right mouth as a feature.
  • a graph calculated by the feature amount calculation processing unit of the mastication support system using the relative position coordinates of the left mouth angle with respect to the tip of the nose as the feature amount A graph calculated using the distance from the tip of the nose to the corner of the left mouth as a feature.
  • an explanatory diagram showing how the feature amount calculation processing unit of the mastication support system calculates the left and right areas surrounded by the corner of the mouth indicating the masseter muscle and a predetermined plurality of positions (feature points) along the contour of the cheek as the feature amount.
  • a graph calculated by the feature amount calculation processing unit using the left and right areas surrounded by the corners of the mouth showing the masseter muscle and predetermined multiple positions (feature points) along the contour of the cheek as the feature amount.
  • a graph calculated by the feature amount calculation processing unit using the left and right areas surrounded by the corners of the mouth showing the masseter muscle and predetermined multiple positions (feature points) along the contour of the cheek as the feature amount.
  • Explanatory drawing which shows the pattern (trajectory) of one chewing section of each feature point when chewing on the left side.
  • an explanatory diagram showing a pattern (trajectory) of one chewing section of each feature point when chewing on the left side Similarly, an explanatory diagram showing a pattern (trajectory) of one chewing section of each feature point when chewing on the left side.
  • Explanatory drawing which shows the pattern (trajectory) of one chewing section of each feature point when chewing on the right side. Similarly, an explanatory diagram showing a pattern (trajectory) of one chewing section of each characteristic point when chewing on the right side. Similarly, an explanatory diagram showing a pattern (trajectory) of one chewing section of each characteristic point when chewing on the right side. Similarly, an explanatory diagram showing a pattern (trajectory) of one chewing section of each characteristic point when chewing on the right side.
  • the flow chart which shows the processing procedure of the mastication support system which concerns on a typical embodiment. Explanatory drawing which shows the movement of the jaw when chewing on the right. Explanatory drawing which shows the movement of the jaw when chewing on the right.
  • Chewing during meals includes the hardness and softness of foods that the person likes, the exercise of tearing and chewing them, the number of times they are chewed, the time of chewing, and the rhythm. The balance of the chewing teeth is one of them. Positioning the quality of chewing quality as the quality of chewing, this system analyzes the quality of chewing by video analysis, and the number of chewing times, chewing rhythm, and how to eat (whether it is ground or moved only up and down). ?, Isn't the lip opened again?), Jaw movement during mastication, occlusal balance (front-back and left-right), muscle movement, etc. are measured and shown by quantifying the quality of mastication. It is possible to show the improvement status of mastication quality by showing the change over time from the current difference.
  • the mastication support system 1 of the present invention is a single or a plurality of information processing devices 10 including a processing device 2, a storage means 3, an imaging means 4, and an information display unit 5. It is configured.
  • the information processing device 10 is a computer or the like including a processing device 2, a storage means, a pointing device, a keyboard, an input means such as a touch panel, a display means such as a display, and a communication control unit (not shown). ..
  • the processing device 2 is mainly composed of a CPU such as a microprocessor, has a storage unit including a RAM and a ROM (not shown), and stores programs and processing data that define procedures for various processing operations.
  • the storage means 3 includes a memory, a hard disk, and the like inside and outside the information processing device 10. The contents of a part or all of the storage unit may be stored in the memory, hard disk, or the like of another computer communication-connected to the information processing device 10.
  • Such an information processing device may be a dedicated device installed in a dental clinic, hospital, other facility, store, or the like, or may be a general-purpose personal computer installed in a home. It may be a smartphone carried by the user.
  • the processing device 2 acquires two-dimensional or three-dimensional moving image information of a region including at least the mouth or the peripheral portion of the mouth of the user's face, which is acquired and transmitted by the imaging means 4, and is a user information storage unit.
  • a moving image acquisition unit 21 as a moving image acquisition means that performs a process of storing in the image information storage unit 31a in the 31 and a user information storage unit that analyzes the chewing motion based on the moving image information and stores the analyzed chewing motion information.
  • the analysis unit 22 that performs processing to be stored in the motion information storage unit 31b in 31 and the user information storage unit 31 determines the quality of the chewing motion based on the information of the chewing motion, and the information on the quality of the determined chewing motion is stored in the user information storage unit 31.
  • the quality of mastication stored in the mastication information storage unit 32 by inputting the information of the quality of mastication determined by the quality determination unit 23 as a quality determination means that performs the process of storing in the determination information storage unit 31c inside. It is provided with an information extraction unit 24 for extracting recommended information from the information related to the information, and an information output processing unit 25 for presenting the information to the user by displaying the information on a display (information display unit 5).
  • the processing function is realized by the above program.
  • the imaging means 4 corresponds to a CCD camera or the like, and may be a CCD camera provided in the smartphone of the user who constitutes the information processing device 10, an external camera connected to a dedicated computer device or the like which constitutes the information processing device 10, or the like. Also applies. It is also possible to utilize 3D shooting and the like.
  • the imaging means 4 the area including at least the mouth or the peripheral part of the mouth of the user's face, preferably the tip of the nose, the base of the nose, the corner of the mouth, the apex of the upper lip, the apex of the lower lip, and the chin, which are "feature points" described later. Video information of the area including the apex of the mouth and the cheek near the masseter muscle is acquired.
  • the analysis unit 22 functions as an analysis means, and more specifically, a feature detection process of detecting a feature point of a sword from an image in the area and storing the position information in the feature point information storage unit 310 of the operation information storage unit 31b. Based on the feature amount calculation processing unit 22b that calculates the feature amount used for motion analysis based on the position of the detected feature amount and the feature amount storage unit 311 and stores the feature amount in the feature amount storage unit 311 and the calculated feature amount change. A motion analysis processing unit 22c for analyzing motion is provided.
  • the feature detection processing unit 22a can use various methods already known as face feature point detection techniques such as Active shape model (ASM), Active appearance model (AAM), and Constrained local model (CLM).
  • ASM Active shape model
  • AAM Active appearance model
  • CLM Constrained local model
  • characteristic points of the face to be detected points along the contour of the cheek near the tip of the nose, the base of the nose, the corner of the mouth, the apex of the upper lip, the apex of the lower lip, the apex of the chin, and the masseter muscle are preferable.
  • FIG. 2 shows an example of the feature points of the detected face.
  • 68 feature points from “0" to "67" are detected.
  • the feature detection processing unit 22a stores the detected feature points of the face in the feature point information storage unit 310 together with the position information.
  • the feature amount calculated by the feature amount calculation processing unit 22b is the left and right corners of the mouth (feature points) and the apex of the upper lip (feature points) based on the tip of the nose (feature points) or the base of the nose (feature points) that do not affect chewing. ), The apex of the lower lip (feature point), the relative position and distance of each point such as the apex of the jaw (feature point), as well as the apex of the upper lip (feature point) and the apex of the lower lip (feature point) indicating the thickness of the lip.
  • feature points The distance between the right and left mouth corners (feature points) indicating the lips and width, the area surrounded by the mouth corners (feature points) indicating the masseter muscle and predetermined multiple positions (feature points) along the contour of the cheek. It is a preferable example to calculate such as as a feature amount.
  • FIG. 3A shows the relative position coordinates of the apex “51” of the upper lip with reference to the tip of the nose “33” among the feature points of the detected face shown in FIG. 2 by the feature amount calculation processing unit 22b
  • FIG. 3B shows the tip of the nose “51”. It is a graph calculated by calculating the distance from "33" to the apex "51” of the upper lip as the above-mentioned feature amount.
  • the horizontal axis is time and the vertical axis is features.
  • the motion analysis processing unit 22c cuts low as shown in FIG. 4, for example.
  • movements larger than a certain threshold ( ⁇ x) are judged to be mastication, and as shown in FIG. 5A, mastication one by one (mastication (1), mastication (2), mastication (3), mastication (3), ...), and the masticatory movement (number of mastications, mastication rhythm, etc.) is determined accordingly. If one mastication includes one that does not exceed the above threshold value, the mastication operation can be determined except for this.
  • the relative position coordinates and the distance of the apex "57" of the lower lip with reference to the tip of the nose "33” are set.
  • the relative position coordinates and distance of the left mouth angle "54" based on the nose tip "33” are calculated as feature quantities, respectively, and as shown in FIGS.
  • the nose tip "33" is used as a reference.
  • the relative position coordinates of the apex "8" of the jaw, the distance calculated as the feature amount, and the like are applicable. From the graphs of these distances, the motion analysis processing unit 22c can determine the chewing motion in the same manner as described above.
  • the relative position coordinates and the distance of the right mouth angle "48" with respect to the left mouth angle "54" are used.
  • the relative position coordinates and the distances of the lower lip apex "57" with respect to the upper lip apex "51" are calculated as the feature amounts, respectively. is there.
  • the motion analysis processing unit 22c can chew. It is possible to more directly analyze how the mouth moves, such as how the mouth opens, such as the size and shape of the mouth.
  • predetermined plurality of positions along the contour of the mouth and cheek showing the masseter muscle are calculated using the left and right areas surrounded by (feature points) as feature quantities.
  • the left and right areas are divided into three areas, upper, middle, and lower, respectively.
  • the motion analysis processing unit 22c determines how to apply the force of the mouth when chewing. That is, the movement of the masseter muscle and the resulting front-back / left-right mastication balance can be analyzed more directly.
  • each feature point is patterned from the position coordinates of the corner of the mouth, the jaw, the apex of the upper and lower lips, etc. calculated by the feature amount calculation processing unit 22b, and the chewing motion is analyzed by determining the pattern by a machine learning mechanism or the like. You can also do it.
  • cutting out the movement of each feature point for example, as shown in FIG. 5B, it is preferable to grasp the V-shape as a chewing movement and cut out the movement between them.
  • FIGS. 14A to 14D show one chewing of each characteristic point (right mouth angle "48", left mouth angle "54", jaw apex "8", upper lip apex "51”) when chewed on the left side.
  • FIGS. 15A to 15D show each characteristic point (right mouth angle “48”, left mouth angle "54”, jaw apex "8", upper lip apex "51” when chewed on the right side. ) Shows the pattern (trajectory) of one chewing section.
  • the motion analysis processing unit 22c has a machine learning mechanism in this way, and determines each motion described above with reference to the learning result by the machine learning mechanism.
  • the quality of the masticatory movement determined by the quality determination unit 23 includes the number of times of mastication, the quality of the chewing rhythm, the quality of opening the mouth, the quality of the left and right mastication balance, the quality of eating (how to move the mouth), and so on. And the good or bad of how to use the masseter muscle.
  • the quality determination unit 23 has a machine learning mechanism and determines the quality of the chewing motion by referring to the learning result by the machine learning mechanism.
  • the information extraction unit 24 functions as an extraction means, and for example, when it does not have the quality of mastication according to age, the information extraction unit 24 provides oral function information according to age, equipment for training / improvement, and a specialist according to the user's residence. It is preferable to extract information such as the information of.
  • FIG. 16 is a flow chart showing a processing procedure by the mastication support system 1 of the present embodiment.
  • the moving image acquisition unit 21 acquires at least the moving image information of the user's face from eating the prescribed food (predetermined food) or the normal food to swallowing from the imaging means 4 (S101), and the user information storage unit 31. It is stored in the image information storage unit 31a inside (S102).
  • the feature detection processing unit 22a detects the feature points of the face from the image in the area (S103), and stores the position information in the feature point information storage unit 310 of the operation information storage unit 31b (S104). Then, the feature amount calculation processing unit 22b calculates the feature amount used for the motion analysis based on the position of the detected feature point (S105), and stores it in the feature amount storage unit 311 (S106).
  • the motion analysis processing unit 22c analyzes the motion based on the calculated change in the feature amount (S107), and stores the analysis result in the analysis result storage section 312 (S108).
  • the quality determination unit 23 determines the quality of the masticatory motion based on the analysis result (S109), and stores the determined masticatory motion quality information in the determination information storage unit 31c in the user information storage unit 31. (S110).
  • the information extraction unit 24 takes the determined mastication quality information as input and extracts recommended information from the mastication quality information stored in the mastication information storage unit 32 (S111). Then, the information output processing unit 25 presents the extracted information to the user by displaying it on a display (information display unit 5) or the like (S112).
  • the present invention is not limited to these examples.
  • a part or all of the hardware is used. It is also preferable to configure it with a processing circuit.
  • a processing circuit for artificial intelligence can be used as a machine learning mechanism, and it goes without saying that it can be implemented in various forms without departing from the gist of the present invention.
  • the present invention can determine the quality of mastication by a simple means of taking a moving image of the mouth or the periphery of the mouth, and provide support information according to the determination result. Therefore, it is possible to provide products and services that contribute to the healthy development of children by combining them with equipment, products and services for children's chewing education and chewing training. In addition, by combining with training equipment and services for beauty such as how to chew well-balanced left and right and front and back, how to use the muscles of mastication, etc., it is possible to prevent distortion and obesity of the face and maintain a lively and healthy facial expression. It is also possible to provide products and services for this purpose. Furthermore, it is possible to provide products and services that contribute to the extension of healthy life expectancy by combining with products and services that support oral frailty such as deterioration of oral function and physical deterioration of elderly people.
  • Chewing support system Processing device 3
  • Storage means 4
  • Imaging means 5
  • Information display unit 10
  • Information processing device 21 Video acquisition unit 22 Analysis unit 22a Feature detection processing unit 22b Feature amount calculation processing unit 22c Motion analysis processing unit 23 Quality judgment unit 24
  • Information Extraction unit 25
  • Information output processing unit 31
  • User information storage unit 31a Image information storage unit 31b Operation information storage unit 31c Judgment information storage unit
  • Chewing information storage unit 310 Feature point information storage unit 311 Feature quantity storage unit 312 Analysis result storage unit

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Physiology (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Rheumatology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

【課題】筋電計などの機器を体に取り付けることなく、ユーザに違和感や負担を掛けずに簡易な方法で食事の際の咀嚼の質を入手し、咀嚼の質の改善、健康の維持・増進をサポートすることができる咀嚼支援システムを提供せんとする。 【解決手段】顏の少なくとも口又は口の周辺部を含む領域の動画を取得する動画取得手段（２１）と、動画取得手段により取得された前記領域の動画に基づき、咀嚼動作を解析する解析手段（２２）と、解析手段により解析された咀嚼動作の情報に基づき、咀嚼動作の質を判定する質判定手段（２３）と、質判定手段により判定された咀嚼の質に応じた支援情報を咀嚼情報記憶手段（３２）から抽出する抽出手段（２４）とを備える。

Description

咀嚼支援システム
　本発明は、健康寿命の延伸を目的として口腔および咽頭領域の健康の維持や増進を支援するシステムに係り、特に、「おいしく噛んで食べる機能」である咀嚼の質の向上を支援・サポートするシステムに関する。
　食べ物を噛むことや嚥下行動、唾液の分泌等は、脳および全身への影響が大きく、心身の健康および健康寿命に大きく影響を及ぼす。口腔および咽頭領域の健康を維持、向上させることで、結果的に健康寿命も延びるといわれている。
　とくに、歯応えのある食事の十分な咀嚼は、心身の成長の促進、脳の活性化、運動機能の向上、肥満の抑制、老化の抑制、社会性の維持につながるなど、健康寿命の延伸に効果があるとされている。咀嚼回数の少ない食事の摂取などの不十分な咀嚼は、発達期の子供の咀嚼機能の低下、高齢者のオーラルフレイルへ繋がる（非特許文献１参照）。
　また、いつも同じ側でばかり噛む「偏咀嚼」の影響は、片側の歯の寿命が縮まったり、噛まない歯が汚れやすい、顎の関節に負担がかかる、顏がゆがむといった、歯や顎、顏などへの影響にとどまらず、やがて体がゆがむ、肩こりや腰痛を引き起こすなど、全身にも影響が及ぶ。左右の咬合のバランス（咬合干渉）も、身体的、情動的ストレスを引き起こすと言われ、交感神経と副交感神経の両機能に影響を及ぼす。
　咀嚼の質を計測するべく、咀嚼をカウントする筋電計などの機器や咬合力を数値化する機器は存在するが、とくに子供の場合など、食事の際に筋電計などの機器を取り付けることは難しい。また、筋電計では顎の動きを捉えるには至らず、位置センサーなどを貼り付け、その動きを三次元的に計測するものはあるが、より大掛かりとなる（たとえば、特許文献１、２参照。）。
特開平６－９８８６５号公報 特開２０１９－４７８５９号公報
小林義典，依頼論文 咬合・咀嚼が創る健康寿命，日補綴会誌Ann Jpn Prosthodont Soc3，p189-219,2011
　そこで、本発明が前述の状況に鑑み、解決しようとするところは、筋電計などの機器を体に取り付けることなく、ユーザに違和感や負担を掛けずに簡易な方法で食事の際の咀嚼の質を入手し、咀嚼の質の改善、健康の維持・増進をサポートすることができる咀嚼支援システムを提供する点にある。
　本発明者は、かかる現況に鑑み、鋭意検討した結果、咀嚼の仕方の違いは、顏の口又は口の周辺部の動きの違いとして表れることに着目した。例えば右で咀嚼するときの顎の動きは、図１７のように咀嚼の仕方によって大きく異なってくる。図中（ａ）は前方から見た動き、（ｂ）は水平的に上から見た動きである。
　そして、この動きを画像解析することで、筋電計などの機器を用いることなく咀嚼の動作の質を判定することができること、及び判定結果に基づいて咀嚼の質向上、健康の維持・増進を支援できることを見出し、本発明を完成するに至った。
　すなわち本発明は、以下の発明を包含する。
　（１）　咀嚼の質に関する情報を記憶する咀嚼情報記憶手段と、顏の少なくとも口又は口の周辺部を含む領域の動画を取得する動画取得手段と、前記動画取得手段により取得された前記領域の動画に基づき、咀嚼動作を解析する解析手段と、前記解析手段により解析された咀嚼動作の情報に基づき、咀嚼動作の質を判定する質判定手段と、前記質判定手段により判定された咀嚼の質に応じた支援情報を前記咀嚼情報記憶手段から抽出する抽出手段と、を備える情報処理装置からなる咀嚼支援システム。
　（２）　前記解析手段が、前記領域の画像から顏の特徴点を検出する特徴検出手段と、前記特徴検出手段で検出された特徴点の変化に基づき動作を解析する動作解析手段とを備える（１）記載の咀嚼支援システム。
　（３）　前記動作解析手段が、前記特徴点の変化の量が所定の閾値を超える場合に、当該変化を咀嚼による変化としてその動作を解析する、（２）記載の咀嚼支援システム。
　（４）　前記特徴点が、鼻先、鼻元、口の口角、上唇の頂点、下唇の頂点、顎の頂点、及び咬筋付近の頬の輪郭に沿った点のうち少なくとも１つ以上を含む、（２）又は（３）記載の咀嚼支援システム。
　（５）　前記特徴点の変化が、特徴点の位置の変化、２つの特徴点の間の距離の変化、及び３つ以上の特徴点で囲まれる面積の変化のうち少なくとも１つ以上を含む、（２）～（４）の何れかに記載の咀嚼支援システム。
　（６）　前記解析手段により解析する咀嚼動作が、咀嚼回数、咀嚼リズム、口の動き、顎の動き、前後／左右の咬合バランス、及び咬筋の動きのうち少なくとも１つ以上に関する動作を含む、（１）～（５）の何れかに記載の咀嚼支援システム。
　（７）　前記質判定手段により判定する咀嚼動作の質が、咀嚼回数の多少、咀嚼リズムの良否、口の開け方の良否、左右の咀嚼バランスの良否、食べ方（口の動かし方）の良否、及び咬筋の使い方の良否のうち少なくとも１つ以上を含む、（１）～（６）の何れかに記載の咀嚼支援システム。
　（８）　前記質判定手段が、同じ人の過去の咀嚼動作と比較し、改善しているか否かの判定を含む、（１）～（７）の何れかに記載の咀嚼支援システム。
　（９）　前記質判定手段は機械学習機構を有し、該機械学習機構による学習結果を参照して上記咀嚼動作の質を判定する（１）～（８）の何れかに記載の咀嚼支援システム。
　（１０）　（１）～（９）の何れかに記載の咀嚼支援システムとして情報処理装置を機能させるための制御プログラムであって、上記動画取得手段、解析手段、質判定手段、および抽出手段として情報処理装置を機能させるための咀嚼支援プログラム。
　以上にしてなる本願発明によれば、顏の少なくとも口又は口の周辺部を含む領域の動画から咀嚼動作を解析して咀嚼動作の質を判定し、判定された咀嚼の質に応じた支援情報を提供できるので、筋電計などの機器を体に取り付けることなく、ユーザに違和感や負担を掛けずに簡易な方法で食事の際の咀嚼の質を入手し、咀嚼の質の改善をサポートすることができる。
　このような本願発明によれば、とくに発達期の子供の健全な咀嚼の質の育成情報を簡易に提供でき、子供の発達期における咀嚼運動機能の健全な育成に資するシステムを提供できる。また、高齢者に関しても、たとえば機器を付けて計測するに至らせる前段で簡易に咀嚼の質に応じた支援情報を提供でき、高齢者の咀嚼運動機能の維持・向上に資するシステムを提供できる。
本発明の代表的実施形態に係る咀嚼支援システムの構成を示すブロック図。 同じく咀嚼支援システムの特徴検出処理部が検出する顏の特徴点を示す説明図。 同じく咀嚼支援システムの特徴量算出処理部により、鼻先を基準とした上唇の頂点の相対位置座標を特徴量として算出したグラフ。 鼻先から上唇の頂点までの距離を特徴量として算出したグラフ。 同じく咀嚼支援システムの動作解析処理部が、図３Ａのグラフに基づき、ローカットフィルタで整流化し、ある閾値（±ｘ）よりも大きい動きを咀嚼と判定する方法を示す説明図。 ０を跨ぐものを一つづつ一咀嚼として抽出する様子を示す説明図 Ｖ字の形を一咀嚼動作として捉え、その間の動きを切り出す様子を示す説明図。 同じく咀嚼支援システムの特徴量算出処理部により、鼻先を基準とした下唇の頂点の相対位置座標を特徴量として算出したグラフ。 鼻先から下唇の頂点までの距離を特徴量として算出したグラフ。 同じく咀嚼支援システムの特徴量算出処理部により、鼻先を基準とした右口角の相対位置座標を特徴量として算出したグラフ。 鼻先から右口角までの距離を特徴量として算出したグラフ。 同じく咀嚼支援システムの特徴量算出処理部により、鼻先を基準とした左口角の相対位置座標を特徴量として算出したグラフ。 鼻先から左口角までの距離を特徴量として算出したグラフ。 同じく咀嚼支援システムの特徴量算出処理部により、鼻先を基準とした顎の頂点の相対位置座標を特徴量として算出したグラフ。 鼻先から顎の頂点までの距離を特徴量として算出したグラフ。 同じく咀嚼支援システムの特徴量算出処理部により、左口角を基準とした右口角の相対位置座標を特徴量として算出したグラフ。 左口角から右口角までの距離を特徴量として算出したグラフ。 同じく咀嚼支援システムの特徴量算出処理部により、上唇の頂点を基準とした下唇の頂点の相対位置座標を特徴量として算出したグラフ。 上唇の頂点から下唇の頂点までの距離を特徴量として算出したグラフ。 同じく咀嚼支援システムの特徴量算出処理部により、咬筋を示す口角と頬の輪郭に沿った所定の複数位置（特徴点）とで囲まれる左右の面積を特徴量として算出する様子を示す説明図。 同じく咀嚼支援システムの特徴量算出処理部により、咬筋を示す口角と頬の輪郭に沿った所定の複数位置（特徴点）とで囲まれる左右の面積を特徴量として算出する様子を示す説明図。 同じく咀嚼支援システムの特徴量算出処理部により、咬筋を示す口角と頬の輪郭に沿った所定の複数位置（特徴点）とで囲まれる左右の面積を特徴量として算出する様子を示す説明図。 同じく特徴量算出処理部により、咬筋を示す口角と頬の輪郭に沿った所定の複数位置（特徴点）とで囲まれる左右の面積を特徴量として算出したグラフ。 同じく特徴量算出処理部により、咬筋を示す口角と頬の輪郭に沿った所定の複数位置（特徴点）とで囲まれる左右の面積を特徴量として算出したグラフ。 同じく特徴量算出処理部により、咬筋を示す口角と頬の輪郭に沿った所定の複数位置（特徴点）とで囲まれる左右の面積を特徴量として算出したグラフ。 左側で咀嚼した場合の各特徴点の一咀嚼区間のパターン（軌跡）を示す説明図。 同じく左側で咀嚼した場合の各特徴点の一咀嚼区間のパターン（軌跡）を示す説明図。 同じく左側で咀嚼した場合の各特徴点の一咀嚼区間のパターン（軌跡）を示す説明図。 同じく左側で咀嚼した場合の各特徴点の一咀嚼区間のパターン（軌跡）を示す説明図。 右側で咀嚼した場合の各特徴点の一咀嚼区間のパターン（軌跡）を示す説明図。 同じく右側で咀嚼した場合の各特徴点の一咀嚼区間のパターン（軌跡）を示す説明図。 同じく右側で咀嚼した場合の各特徴点の一咀嚼区間のパターン（軌跡）を示す説明図。 同じく右側で咀嚼した場合の各特徴点の一咀嚼区間のパターン（軌跡）を示す説明図。 代表的実施形態に係る咀嚼支援システムの処理手順を示すフロー図。 右で咀嚼するときの顎の動きを示す説明図。 右で咀嚼するときの顎の動きを示す説明図。
　次に、本発明の実施形態を添付図面に基づき詳細に説明する。
　食事中の咀嚼には、その人の好む食物の硬さ・柔らかさや、それらをちぎり、噛み砕く運動、それらを咀嚼する回数、咀嚼する時間、リズムなどが存在する。また、咀嚼している歯のバランスも、その一つ。このようなおいしく噛んで食べる機能の良し悪しを咀嚼の質と位置づけ、本システムは、咀嚼の質を動画解析により、咀嚼回数、咀嚼リズム、食べ方（すりつぶしているか？、上下にだけ動かしているか？、口唇を開けたまたではないか？）、咀嚼時の顎の動き、咬合バランス（前後左右）、筋肉の動きなどを計測し、咀嚼の質を数値化する等して示し、また、過去と現在の差分からその経時的変化を示す等することで、咀嚼の質の改善状況を示すことができるものである。
　具体的には、本発明の咀嚼支援システム１は、図１に示すように、処理装置２、記憶手段３、撮像手段４、情報表示部５を備えた、単または複数の情報処理装置１０で構成されている。情報処理装置１０は、具体的には処理装置２を中心に、記憶手段、ポインティングデバイスやキーボード、タッチパネルなどの入力手段、ディスプレイなどの表示手段、その他図示しない通信制御部などを備えるコンピュータ等である。
　処理装置２は、マイクロプロセッサなどのＣＰＵを主体に構成され、図示しないＲＡＭ、ＲＯＭからなる記憶部を有して各種処理動作の手順を規定するプログラムや処理データが記憶される。記憶手段３は、情報処理装置１０内外のメモリやハードディスクなどからなる。情報処理装置１０に通信接続された他のコンピュータのメモリやハードディスクなどで一部又は全部の記憶部の内容を記憶してもよい。このような情報処理装置は、歯科医院や病院、その他の施設、店舗などに設置される専用の装置でもよいし、家庭に設置される汎用のパーソナルコンピュータでもよい。ユーザが携帯するスマートフォンなどでもよい。
　処理装置２は、機能的には、撮像手段４により取得・送信されるユーザの顏の少なくとも口又は口の周辺部を含む領域の二次元または三次元の動画情報を取得し、ユーザ情報記憶部３１内の画像情報記憶部３１ａに記憶する処理を行う、動画取得手段としての動画取得部２１と、前記動画情報に基づき、咀嚼動作を解析し、解析された咀嚼動作の情報をユーザ情報記憶部３１内の動作情報記憶部３１ｂに記憶する処理を行う解析部２２と、前記咀嚼動作の情報に基づき、咀嚼動作の質を判定し、判定された咀嚼動作の質の情報をユーザ情報記憶部３１内の判定情報記憶部３１ｃに記憶する処理を行う、質判定手段としての質判定部２３と、判定された咀嚼の質の情報を入力として、咀嚼情報記憶部３２に記憶されている咀嚼の質に関する情報のうち推奨される情報を抽出する情報抽出部２４と、該情報をディスプレイ（情報表示部５）に表示させる等してユーザに提示する情報出力処理部２５とを備えており、これらの処理機能は上記プログラムにより実現される。
　撮像手段４は、ＣＣＤカメラなどが該当し、情報処理装置１０を構成するユーザのスマートフォンが備えるＣＣＤカメラでもよいし、情報処理装置１０を構成する専用のコンピュータ装置などに接続された外付けカメラなども該当する。３Ｄ撮影等の活用も可能である。撮像手段４により、ユーザの顏の少なくとも口又は口の周辺部を含む領域、好ましくは、後述の「特徴点」となる鼻先、鼻元、口の口角、上唇の頂点、下唇の頂点、顎の頂点、咬筋付近の頬を含む領域の動画情報が取得される。
　解析部２２は、解析手段として機能し、より詳しくは、前記領域の画像から顏の特徴点を検出し、その位置情報を動作情報記憶部３１ｂの特徴点情報記憶部３１０に記憶する特徴検出処理部２２ａと、検出された特徴点の位置に基づき動作の解析に用いる特徴量を算出し、特徴量記憶部３１１に記憶する特徴量算出処理部２２ｂと、算出された特徴量の変化に基づき、動作を解析する動作解析処理部２２ｃとを備える。
　特徴検出処理部２２ａは、Active shape model（ＡＳＭ）やActive appearance model（ＡＡＭ）、Constrained local model（ＣＬＭ）など、顏特徴点検出技術としてすでに公知の種々の方法を利用できる。検出する顏の特徴点としては、鼻先、鼻元、口の口角、上唇の頂点、下唇の頂点、顎の頂点、咬筋付近の頬の輪郭に沿った点などが好ましい。
　図２は、検出した顏の特徴点の一例を示している。この例では「０」点から「６７」までの６８点の特徴点を検出している。特徴検出処理部２２ａは、検出した顏の特徴点をその位置情報とともに特徴点情報記憶部３１０に記憶する。
　特徴量算出処理部２２ｂにより算出される特徴量としては、咀嚼時に影響しない鼻先（特徴点）又は鼻元（特徴点）を基準とした、左右の口角（特徴点）や上唇の頂点（特徴点）、下唇の頂点（特徴点）、顎の頂点（特徴点）などの各点の相対位置や距離のほか、唇の厚みを示す上唇の頂点（特徴点）と下唇の頂点（特徴点）の間の距離、唇と幅を示す右左の口角（特徴点）間の距離、咬筋を示す口角（特徴点）と頬の輪郭に沿った所定の複数位置（特徴点）とで囲まれる面積などを特徴量として算出することが好ましい例である。
　図３Ａは、特徴量算出処理部２２ｂにより、図２で示した検出された顏の特徴点のうち鼻先「３３」を基準とした上唇の頂点「５１」の相対位置座標、図３Ｂは鼻先「３３」から上唇の頂点「５１」までの距離をそれぞれ上記特徴量として算出したグラフである。横軸は時間、縦軸は特徴量である。
　このような図３Ｂで算出された鼻先「３３」から上唇の頂点「５１」までの距離（特徴量）の変化を示すグラフに基づき、動作解析処理部２２ｃが、たとえば図４に示すようにローカットフィルタで整流化したうえ、ある閾値（±ｘ）よりも大きい動きを咀嚼と判定し、図５Ａに示すように一つづつ一咀嚼（咀嚼（１）、咀嚼（２）、咀嚼（３）、…）として抽出し、これにより咀嚼動作（咀嚼回数、咀嚼リズムなど）を判定する。一咀嚼に上記閾値を越えないものが含まれる場合はこれを除き咀嚼動作を判定することもできる。
　同様の特徴量算出処理部２２ｂによる特徴量の算出の例としては、たとえば図６Ａ，図６Ｂに示すように鼻先「３３」を基準とした下唇の頂点「５７」の相対位置座標、距離をそれぞれ特徴量として算出したものや、図７Ａ，図７Ｂに示すように鼻先「３３」を基準とした右口角「４８」の相対位置座標、距離をそれぞれ特徴量として算出したもの、図８Ａ，図８Ｂ）に示すように鼻先「３３」を基準とした左口角「５４」の相対位置座標、距離をそれぞれ特徴量として算出したもの、図９Ａ，図９Ｂに示すように鼻先「３３」を基準とした顎の頂点「８」の相対位置座標、距離をそれぞれ特徴量として算出したもの等が該当する。これらの距離のグラフから、上述と同じように動作解析処理部２２ｃが咀嚼動作を判定することができる。
　このように咀嚼時に影響しない鼻先又は鼻元の位置を基準とした、左右の口角や上唇の頂点、下唇の頂点、顎の頂点などの各点の相対位置や距離を解析することで、咀嚼動作、具体的には咀嚼の回数やリズム、左右の咀嚼バランスなどを解析することができる。
　また、同様の特徴量算出処理部２２ｂによる特徴量の算出の例としては、図１０Ａ、図１０Ｂに示すように左口角「５４」を基準とした右口角「４８」の相対位置座標、距離をそれぞれ特徴量として算出したものや、図１１Ａ，図１１Ｂに示すように上唇の頂点「５１」を基準とした下唇の頂点「５７」の相対位置座標、距離をそれぞれ特徴量として算出したものがある。このような上記左口角と右口角の相対位置座標、距離や上唇の頂点と下唇の頂点の相対位置座標、距離を特徴量として算出したものでは、動作解析処理部２２ｃにより、咀嚼する際の口の開き方、たとえば開く大きさや形など、口の動き方をより直接的に解析することができる。
　また、その他の特徴量算出処理部２２ｂによる特徴量の算出の例としては、図１２Ａ～図１２Ｃ及び図１３Ａ～図１３Ｃに示すように咬筋を示す口角と頬の輪郭に沿った所定の複数位置（特徴点）とで囲まれる左右の面積を特徴量として算出したものがある。図１２Ａ～図１２Ｃ及び図１３Ａ～図１３Ｃの例では、左右の面積をそれぞれ上段、中段、下段の３領域に分けている。
　図１２Ａおよび図１３Ａに示す上段は、「２」，「３」，「４８」を頂点とする三角形の面積を右側の領域とし、「１３」，「１４」，「５４」を頂点とする三角形の面積を右側の領域としている。同様に、図１２Ｂおよび図１３Ｂに示す中段は「３」，「４」，「４８」を頂点とする三角形の面積を右側の領域とし、「１２」，「１３」，「５４」を頂点とする三角形の面積を右側の領域としている。また、同様に図１２Ｃおよび図１３Ｃに示す下段は「４」，「５」，「４８」を頂点とする三角形の面積を右側の領域とし、「１１」，「１２」，「５４」を頂点とする三角形の面積を右側の領域としている。
　このように口角と頬の輪郭に沿った所定の複数位置とで囲まれる左右の面積を特徴量とした算出したものでは、動作解析処理部２２ｃにより、咀嚼する際の口の力の入れ方、すなわち咬筋の動き、これによる前後／左右の咀嚼バランスなどをより直接的に解析することができる。
　また、特徴量算出処理部２２ｂにより算出される上記口角や顎、上下唇の頂点などの位置座標から各特徴点の動きをパターン化し、機械学習機構等によりパターン判定することで咀嚼動作を解析することもできる。各特徴点の動きの切り出しは、たとえば図５ＢのようにＶ字の形を一咀嚼動作として捉え、その間の動きを切り出すことが好ましい。具体的には、図１４Ａ～図１４Ｄは、左側で咀嚼した場合の各特徴点（右口角「４８」、左口角「５４」、顎頂点「８」、上唇の頂点「５１」）の一咀嚼区間のパターン（軌跡）を示し、図１５Ａ～図１５Ｄは、右側で咀嚼した場合の各特徴点（右口角「４８」、左口角「５４」、顎頂点「８」、上唇の頂点「５１」）の一咀嚼区間のパターン（軌跡）を示している。
　このように各特徴点の咀嚼時の軌跡をパターン化すれば、咀嚼時の口の動かし方（開け方、左右の咀嚼バランスなど）をより精度よく解析できる。動作解析処理部２２ｃは、このように機械学習機構を有し、該機械学習機構による学習結果を参照して上述した各動作を判定することが好ましい。
　質判定部２３により判定される咀嚼動作の質としては、咀嚼回数の多少、咀嚼リズムの良否、口の開け方の良否、左右の咀嚼バランスの良否、食べ方（口の動かし方）の良否、及び咬筋の使い方の良否などが該当する。
　得られたデータと判定情報記憶部３１ｃ内の当該ユーザの過去情報、年齢に応じた統計的な情報より、ユーザが過去に比べて咀嚼の質を改善できているか否か、年齢に応じた咀嚼の質を有するか否か等の情報を含むことが好ましい。質判定部２３は、機械学習機構を有し、該機械学習機構による学習結果を参照して上記咀嚼動作の質を判定することが好ましい。
　情報抽出部２４は、抽出手段として機能し、たとえば、年齢に応じた咀嚼の質を有しない場合に、年齢に応じた口腔機能情報や、育成・改善用機器、使用者の住まいに応じた専門医の情報などの情報を抽出することが好ましい。
　図１６は、本実施形態の咀嚼支援システム１による処理手順を示すフロー図である。
　まず、動画取得部２１が、撮像手段４より少なくとも規定食品（所定の食品）または通常食を口に入れてから飲み込むまでのユーザの顏の動画情報を取得し（Ｓ１０１）、ユーザ情報記憶部３１内の画像情報記憶部３１ａに記憶する（Ｓ１０２）。
　次に、特徴検出処理部２２ａが、前記領域の画像から顏の特徴点を検出し（Ｓ１０３）、その位置情報を動作情報記憶部３１ｂの特徴点情報記憶部３１０に記憶する（Ｓ１０４）。そして、特徴量算出処理部２２ｂが、検出された特徴点の位置に基づき、動作の解析に用いる特徴量を算出し（Ｓ１０５）、特徴量記憶部３１１に記憶する（Ｓ１０６）。
　次に、動作解析処理部２２ｃが、算出された特徴量の変化に基づき、動作を解析し（Ｓ１０７）、解析結果を解析結果記憶部３１２に記憶する（Ｓ１０８）。次に、質判定部２３が、前記解析結果に基づき咀嚼動作の質を判定し（Ｓ１０９）、判定された咀嚼動作の質の情報をユーザ情報記憶部３１内の判定情報記憶部３１ｃに記憶する（Ｓ１１０）。
　次に、情報抽出部２４が、判定された咀嚼の質の情報を入力として、咀嚼情報記憶部３２に記憶されている咀嚼の質に関する情報のうち推奨される情報を抽出する（Ｓ１１１）。そして、情報出力処理部２５が、前記抽出された情報をディスプレイ（情報表示部５）に表示させる等してユーザに提示する（Ｓ１１２）。
　以上、本発明の実施形態について説明したが、本発明はこうした実施例に何ら限定されるものではなく、例えば、処理装置をコンピュータによるソフトウエア処理で構成する代わりに、一部又は全部をハードウエア処理回路で構成することも好ましく、この場合、機械学習機構として人工知能用処理回路を用いることもでき、本発明の要旨を逸脱しない範囲において種々なる形態で実施し得ることは勿論である。
　本発明は、口又は口の周辺部の動画を撮るという簡易な手段で、咀嚼の質を判定し、判定結果に応じた支援情報を提供することができる。したがって、子供の噛む教育、噛むトレーニングのための器具や商品・サービスと組み合わせることで、子供の健全な発達に資する商品、サービスを提供することが可能となる。また、左右前後のバランスの良い噛み方、咀嚼筋の使い方などの美容のためのトレーニング器具やサービスと組み合わせることで、顏のゆがみや肥満を防止し、生き生きとした健全な表情を維持する美容のための商品、サービスを提供することも可能となる。さらには、高齢者等の口腔機能の低下、身体の衰えなどのオーラルフレイル対応商品、サービスと組み合わせることで、健康寿命の延伸に資する商品・サービスを提供することもできる。
　１　咀嚼支援システム
　２　処理装置
　３　記憶手段
　４　撮像手段
　５　情報表示部
　１０　情報処理装置
　２１　動画取得部
　２２　解析部
　２２ａ　特徴検出処理部
　２２ｂ　特徴量算出処理部
　２２ｃ　動作解析処理部
　２３　質判定部
　２４　情報抽出部
　２５　情報出力処理部
　３１　ユーザ情報記憶部
　３１ａ　画像情報記憶部
　３１ｂ　動作情報記憶部
　３１ｃ　判定情報記憶部
　３２　咀嚼情報記憶部
　３１０　特徴点情報記憶部
　３１１　特徴量記憶部
　３１２　解析結果記憶部

Claims (10)

  1. 　咀嚼の質に関する情報を記憶する咀嚼情報記憶手段と、
    　顏の少なくとも口又は口の周辺部を含む領域の動画を取得する動画取得手段と、
    　前記動画取得手段により取得された前記領域の動画に基づき、咀嚼動作を解析する解析手段と、
    　前記解析手段により解析された咀嚼動作の情報に基づき、咀嚼動作の質を判定する質判定手段と、
    　前記質判定手段により判定された咀嚼の質に応じた支援情報を前記咀嚼情報記憶手段から抽出する抽出手段と、
    　を備える情報処理装置からなる咀嚼支援システム。
  2. 　前記解析手段が、
    　前記領域の画像から顏の特徴点を検出する特徴検出手段と、
    　前記特徴検出手段で検出された特徴点の変化に基づき動作を解析する動作解析手段とを備える請求項１記載の咀嚼支援システム。
  3. 　前記動作解析手段が、
    　前記特徴点の変化の量が所定の閾値を超える場合に、当該変化を咀嚼による変化としてその動作を解析する、請求項２記載の咀嚼支援システム。
  4. 　前記特徴点が、
    　鼻先、鼻元、口の口角、上唇の頂点、下唇の頂点、顎の頂点、及び咬筋付近の頬の輪郭に沿った点のうち少なくとも１つ以上を含む、請求項２又は３記載の咀嚼支援システム。
  5. 　前記特徴点の変化が、特徴点の位置の変化、２つの特徴点の間の距離の変化、及び３つ以上の特徴点で囲まれる面積の変化のうち少なくとも１つ以上を含む、請求項２～４の何れか１項に記載の咀嚼支援システム。
  6. 　前記解析手段により解析する咀嚼動作が、
    　咀嚼回数、咀嚼リズム、口の動き、顎の動き、前後／左右の咬合バランス、及び咬筋の動きのうち少なくとも１つ以上に関する動作を含む、請求項１～５の何れか１項に記載の咀嚼支援システム。
  7. 　前記質判定手段により判定する咀嚼動作の質が、咀嚼回数の多少、咀嚼リズムの良否、口の開け方の良否、左右の咀嚼バランスの良否、食べ方（口の動かし方）の良否、及び咬筋の使い方の良否のうち少なくとも１つ以上を含む、請求項１～６の何れか１項に記載の咀嚼支援システム。
  8. 　前記質判定手段が、
    　同じ人の過去の咀嚼動作と比較し、改善しているか否かの判定を含む、請求項１～７の何れか１項に記載の咀嚼支援システム。
  9. 　前記質判定手段は機械学習機構を有し、
    　該機械学習機構による学習結果を参照して上記咀嚼動作の質を判定する請求項１～８の何れか１項に記載の咀嚼支援システム。
  10. 　請求項１～９の何れか１項に記載の咀嚼支援システムとして情報処理装置を機能させるための制御プログラムであって、上記動画取得手段、解析手段、質判定手段、および抽出手段として情報処理装置を機能させるための咀嚼支援プログラム。
     
PCT/JP2020/048016 2019-12-26 2020-12-22 咀嚼支援システム WO2021132270A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20904309.0A EP4084014A4 (en) 2019-12-26 2020-12-22 CHEWING SUPPORT SYSTEM
CN202080089976.4A CN114846558A (zh) 2019-12-26 2020-12-22 咀嚼辅助系统
US17/788,654 US20230038875A1 (en) 2019-12-26 2020-12-22 Chewing assistance system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019237304A JP7353556B2 (ja) 2019-12-26 2019-12-26 咀嚼支援システム
JP2019-237304 2019-12-26

Publications (1)

Publication Number Publication Date
WO2021132270A1 true WO2021132270A1 (ja) 2021-07-01

Family

ID=76575939

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/048016 WO2021132270A1 (ja) 2019-12-26 2020-12-22 咀嚼支援システム

Country Status (5)

Country Link
US (1) US20230038875A1 (ja)
EP (1) EP4084014A4 (ja)
JP (1) JP7353556B2 (ja)
CN (1) CN114846558A (ja)
WO (1) WO2021132270A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7436720B1 (ja) 2023-02-21 2024-02-22 株式会社電通 咀嚼状態判定装置、咀嚼状態判定方法および咀嚼状態判定プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0698865A (ja) 1992-06-03 1994-04-12 Yuujirou Sunouchi 生体の筋活動計測装置
JP2004033494A (ja) * 2002-07-03 2004-02-05 Japan Science & Technology Corp 咀嚼機能評価システム
JP2019047859A (ja) 2017-09-08 2019-03-28 株式会社吉田製作所 治療検査システム、該治療検査システムの作動方法、治療検査プログラム、及び、記憶媒体
WO2019225243A1 (ja) * 2018-05-23 2019-11-28 パナソニックＩｐマネジメント株式会社 摂食嚥下機能評価方法、プログラム、摂食嚥下機能評価装置および摂食嚥下機能評価システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6584096B2 (ja) * 2015-03-05 2019-10-02 シャープ株式会社 食事支援装置及び食事支援システム
CN105975935B (zh) * 2016-05-04 2019-06-25 腾讯科技（深圳）有限公司 一种人脸图像处理方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0698865A (ja) 1992-06-03 1994-04-12 Yuujirou Sunouchi 生体の筋活動計測装置
JP2004033494A (ja) * 2002-07-03 2004-02-05 Japan Science & Technology Corp 咀嚼機能評価システム
JP2019047859A (ja) 2017-09-08 2019-03-28 株式会社吉田製作所 治療検査システム、該治療検査システムの作動方法、治療検査プログラム、及び、記憶媒体
WO2019225243A1 (ja) * 2018-05-23 2019-11-28 パナソニックＩｐマネジメント株式会社 摂食嚥下機能評価方法、プログラム、摂食嚥下機能評価装置および摂食嚥下機能評価システム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KOBAYASHI YOSHINORI: "Kogo/soshaku ga tsukuru kenkojumyo", NICHIHOTETSUKAISHI ANN JPN PROSTHODONT, 2011, pages 189 - 219
See also references of EP4084014A4

Also Published As

Publication number Publication date
EP4084014A4 (en) 2024-01-17
US20230038875A1 (en) 2023-02-09
JP2021105878A (ja) 2021-07-26
CN114846558A (zh) 2022-08-02
EP4084014A1 (en) 2022-11-02
JP7353556B2 (ja) 2023-10-02

Similar Documents

Publication Publication Date Title
CN106255473B (zh) 增强现实牙科设计方法及系统
JP5859542B2 (ja) ３次元容積から画像を生成するための方法
US20230017611A1 (en) Method and apparatus for providing tooth-brushing guide information using augmented reality
JP5780583B2 (ja) 食感の生理学的評価装置
JP2020179173A (ja) 情報処理システム、情報処理方法、及び制御プログラム
JP2022088472A (ja) 検出装置
WO2016016323A1 (de) Verfahren zur bestimmung von bewegungsmustern bei einer zahnbehandlung
WO2022085724A1 (ja) 口腔状態評価システム、口腔ケア推薦システム、及び口腔状態通知システム
Kim et al. The influence of lip form on incisal display with lips in repose on the esthetic preferences of dentists and lay people
Rashed et al. Lip-tooth relationships during smiling and speech: an evaluation of different malocclusion types
WO2021132270A1 (ja) 咀嚼支援システム
Wintergerst et al. Effects of bolus size and hardness on within-subject variability of chewing cycle kinematics
Remijn et al. Ultrasound imaging for analyzing lateral tongue movements during mastication in adults with cerebral palsy compared with adults without oral motor disabilities
Fueki et al. Association between occlusal curvature and masticatory movements with different test foods in human young adults with permanent dentitions
RU177407U1 (ru) Калибратор листовой
KR20210009708A (ko) 식사 모니터링 방법, 장치 및 시스템
JP2022126288A (ja) 咀嚼改善提案システム、咀嚼改善提案プログラム、及び咀嚼改善提案方法
Jaffer et al. Kinematic analysis of a Duchenne smile
Álvarez et al. Description of tongue movements on swallowing patterns
WO2021132269A1 (ja) 咀嚼支援システム
JP7265359B2 (ja) データ生成装置、スキャナシステム、データ生成方法、およびデータ生成用プログラム
JP7044340B2 (ja) 口腔ケア用トレーニング装置
Hayashi et al. Functional data analysis of mandibular movement using third-degree b-spline basis functions and self-modeling regression
JP2023094220A (ja) 情報処理方法、製造方法、情報処理装置、および制御プログラム
WO2021182470A1 (ja) 顔面軟組織の移動量に基づく定量的評価方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20904309

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020904309

Country of ref document: EP

Effective date: 20220726