WO2019022302A1 - 증강 현실을 이용한 양치 가이드 정보 제공 방법 및 장치 - Google Patents

증강 현실을 이용한 양치 가이드 정보 제공 방법 및 장치 Download PDF

Info

Publication number
WO2019022302A1
WO2019022302A1 PCT/KR2017/011695 KR2017011695W WO2019022302A1 WO 2019022302 A1 WO2019022302 A1 WO 2019022302A1 KR 2017011695 W KR2017011695 W KR 2017011695W WO 2019022302 A1 WO2019022302 A1 WO 2019022302A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
tooth
guide information
teeth
image
Prior art date
Application number
PCT/KR2017/011695
Other languages
English (en)
French (fr)
Inventor
최종호
박성진
이동준
이지윤
Original Assignee
키튼플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 키튼플래닛 주식회사 filed Critical 키튼플래닛 주식회사
Priority to CN201780094316.3A priority Critical patent/CN111033554A/zh
Priority to JP2020514477A priority patent/JP6869586B2/ja
Priority to US16/086,283 priority patent/US11482125B2/en
Publication of WO2019022302A1 publication Critical patent/WO2019022302A1/ko
Priority to US17/935,374 priority patent/US20230017611A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • A—HUMAN NECESSITIES
    • A46—BRUSHWARE
    • A46B—BRUSHES
    • A46B15/00—Other brushes; Brushes with additional arrangements
    • A46B15/0002—Arrangements for enhancing monitoring or controlling the brushing process
    • A46B15/0004—Arrangements for enhancing monitoring or controlling the brushing process with a controlling means
    • A46B15/0006—Arrangements for enhancing monitoring or controlling the brushing process with a controlling means with a controlling brush technique device, e.g. stroke movement measuring device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4542—Evaluating the mouth, e.g. the jaw
    • A61B5/4547—Evaluating teeth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C17/00—Devices for cleaning, polishing, rinsing or drying teeth, teeth cavities or prostheses; Saliva removers; Dental appliances for receiving spittle
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/0076—Body hygiene; Dressing; Knot tying
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/0076—Body hygiene; Dressing; Knot tying
    • G09B19/0084—Dental hygiene
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • A—HUMAN NECESSITIES
    • A46—BRUSHWARE
    • A46B—BRUSHES
    • A46B2200/00—Brushes characterized by their functions, uses or applications
    • A46B2200/10—For human or animal care
    • A46B2200/1066—Toothbrush for cleaning the teeth or dentures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/283—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for dentistry or oral hygiene

Definitions

  • the present invention relates to a method and apparatus for providing brush guide information using an augmented reality. More specifically, the present invention relates to a method for providing guide information such as the degree of toothbrushing performed for each area, using the augmented reality when brushing teeth, and an apparatus for performing the method.
  • teeth are parts of the body that can not be regenerated. If the permanent teeth are damaged, other medical help is needed. In addition, children hate dentistry a few times more than brush teeth. Therefore, proper tooth care is very important.
  • Brushing is one of the health lifestyle habits to maintain a healthy life. In fact, it is possible to maintain clean teeth even if only one brushing is perfect. However, most children brush their teeth one or more times a day, but the reason for their teeth is broken is due to the wrong brushing practices.
  • a method for providing brush guide information includes the steps of: analyzing a photographed image of a user to identify a face of the user, step; The user terminal generating the personalized tooth model of the user using the landmark; Providing a virtual tooth image to an augmented reality using the tooth model; And providing, by the user terminal, toothbrush guide information using the tooth model.
  • identifying the landmark of the face may comprise identifying at least one of the user's eyebrows, eyes, nose, paw, mouth, ear, and jaw line as a landmark.
  • the step of creating the user's personalized tooth model may include estimating at least one of the position, size, and arrangement of the user's teeth using the landmark.
  • the step of estimating at least one of the position, size, and arrangement of the teeth of the user includes the steps of: locating the mandibular right molar at the midpoint of the position of the center of the lips of the user, ; Estimating that a mandibular molar is located at a midpoint between a position where the jaw line of the user meets the left ear and a position of the center of the lips of the user; And estimating that the front teeth are located at the position of the center of the user's lips.
  • estimating at least one of the position, size, and arrangement of the teeth of the user includes: estimating the size of the jaw of the user from the jaw line of the user; And estimating a size of the user's tooth using the size of the jaw.
  • estimating at least one of the location, size, and arrangement of the user's teeth includes: estimating the shape of the user's jaw from the jaw line of the user; And estimating the arrangement of the teeth of the user using any one of a rectangular dental arch, an oval dental arch, and a pointed dental arch using the shape of the jaw.
  • the step of creating the personalized tooth model of the user comprises the steps of: generating a personalized tooth model including at least one of birth date, sex, key, weight, number of teeth, tooth position, Receiving information; And modifying the user's personalized tooth model using the personalization information.
  • the step of modifying the user's personalized tooth model comprises the steps of: inversing the number of months and years from the date of birth of the user, determining the permanent value based on the number of months and years; And restricting the number of teeth included in the tooth model to a maximum of 20 teeth within the tooth model and up to 28 teeth in the case of the permanent teeth tooth.
  • the step of modifying the user's personalized tooth model comprises the steps of: inversing the number of months and years from the date of birth of the user, determining the permanent value based on the number of months and years; And correcting at least one of a size and a shape of the teeth included in the tooth model according to the determination result of the permanent value.
  • the step of modifying the user's personalized tooth model includes modifying at least one of the number, size, and shape of the teeth included in the tooth model using at least one of sex, height, height, and weight Step < / RTI >
  • providing the virtual tooth image to the augmented reality comprises: if the first tooth in the tooth model has not yet been or is missing, the position corresponding to the first tooth in the virtual tooth image is a tooth And may not include the step of not displaying.
  • providing the virtual tooth image to the augmented reality may further comprise providing a virtual toothbrush image to the augmented reality or providing only a virtual toothbrush image instead of providing a virtual tooth image .
  • providing the virtual toothbrush image further to the augmented reality or providing only a virtual toothbrush image instead of providing a virtual tooth image may include analyzing the photographed image to determine whether the user And estimating the angle; And displaying the position and angle of the virtual toothbrush image as an augmented reality based on the hand and the angle.
  • the step of providing the tooth brush guide information may include dividing the tooth model into a predetermined number of parts, and displaying a degree of progress of the toothbrushes by color in each part.
  • the step of displaying the degree of progression of toothbrushing on each of the parts by color includes dividing the tooth model into eight parts, that is, the front and back surfaces of the left tooth, the front surface and the back surface of the right tooth, .
  • the step of displaying the degree of progress of brushing by each of the above-mentioned parts is performed in the case of the permanent teeth, the front and the upper and back sides of the left molar teeth, the front and back faces of the front teeth, the front face and the upper face and back face of the right molar, And dividing the tooth model into a plurality of teeth.
  • the step of providing the tooth brush guide information includes dividing the tooth model into a predetermined number of parts, and visually or audibly guiding at least one of the number of times, direction, and time required for brushing each part .
  • the step of visually or audibly guiding at least one of the number of times, directions, and times required for brushing by each of the above-mentioned portions includes: when the first tooth has not yet been or is missing in the tooth model, The corresponding location may include a step of not guiding.
  • the step of visually or audibly guiding at least one of the number of times, directions, and times required for brushing by each of the above-mentioned portions may be performed by rotating or brushing in the lateral direction of the pony method when the user is younger than a predetermined age And guiding to the brushing in the upward and downward directions of the bathing method or the modified bathing method in other cases.
  • a computer program stored in a computer-readable medium for executing a method of providing brush guide information according to the present invention in combination with hardware.
  • a content providing method using augmented reality wherein a content providing apparatus analyzes an image taken by a user to recognize a first part of the user, Identifying a landmark of one site; Wherein the content providing apparatus generates the first personalized model of the user using the landmark; The content providing apparatus providing the virtual first partial image to the augmented reality using the first site model; And the content providing apparatus may provide content related to the first site using the first site model.
  • the brushing guide information is provided using the augmented reality, the children can concentrate more on the contents. Especially, it is possible to maintain the interest because the guide information is provided through the interaction with the child rather than simply the fixed content is reproduced.
  • contents when contents are provided through the augmented reality, customized contents can be provided for each individual, which can bring about more interest in the contents. This can be a play, and it can help to establish a proper brushing habit.
  • the guide information providing method according to the present invention can help adults manage healthy teeth.
  • the information monitored by brushing can also be provided to third parties, such as parents and physicians, for use as medical information.
  • FIG. 1 is a view for explaining a method of providing brush guide information using an augmented reality according to an embodiment of the present invention. Referring to FIG. 1
  • FIG. 2 is a flowchart of a method of providing brush guide information using an augmented reality according to an embodiment of the present invention.
  • FIG. 3 is an exemplary view for explaining a step S1100 of photographing a user brushing the face of FIG. 2.
  • FIGS. 4 to 10 are diagrams for explaining a step S1200 of generating a personalized tooth model by analyzing the landmarks of the face of FIG. 2.
  • FIGS. 11A and 11B are diagrams for explaining a step S1300 of displaying a tooth model using the augmented reality of FIG. 2.
  • FIG. 11A is diagrams for explaining a step S1300 of displaying a tooth model using the augmented reality of FIG. 2.
  • FIG. 12 is an exemplary view for explaining a step S1400 of providing guide information according to the progress of brushing of FIG. 2; FIG.
  • FIG. 13 is an exemplary diagram for explaining the step S1500 of providing monitoring results when the brushing of FIG. 2 ends;
  • FIG. 14 is a hardware configuration diagram of a toothbrush guide information providing device using an augmented reality according to an embodiment of the present invention.
  • FIG. 1 is a view for explaining a method of providing brush guide information using an augmented reality according to an embodiment of the present invention. Referring to FIG. 1
  • an image 210 of a user brushing a smartphone 200, a virtual tooth image 220 represented by an augmented reality, and a virtual toothbrush image 230 represented by an augmented reality are displayed.
  • the user who brushes teeth is a child who does not yet have a permanent tooth, and 10 teeth of teeth and 10 teeth of the lower teeth are overlayed on the screen and displayed as augmented reality.
  • a separate device such as smart phone 200 is required to provide brush guide information to an augmented reality.
  • Such a function can be provided through an application installed in the smart phone 200.
  • FIG. 1 is provided to assist understanding of the invention, and it is possible to provide brushing guide information to an augmented reality through a wearable device such as a tablet or a smart watch in addition to the smartphone 200.
  • a display unit such as a photographing unit and a display such as a camera is essential.
  • the present invention can be applied to a smart mirror in which a touch screen is installed in a toilet, an image of a user is photographed to provide an image like a mirror, and other additional functions are provided.
  • the image 210 of the user photographed by the smartphone 200, the imagery 220 of the virtually created tooth, and the image 230 of the imagery generated toothbrush are separately displayed.
  • the image 220 of the tooth and the image 230 of the toothbrush may be overlaid on the toothbrush 210. This will be described later in more detail with reference to FIGS. 11A to 11B.
  • the user's image 210 may be omitted and only a virtual tooth image 220 and a virtual toothbrush image 230 may be provided. In this case, there is an effect of inducing the user to concentrate more on the virtual tooth image 220 and the virtual toothbrush image 230. It is also possible to display only the virtual toothbrush image 230 as an augmented reality and to provide brushing guide information while omitting the virtual tooth image 220. At this time, there is an effect of inducing the user to concentrate only on the toothbrush guide information.
  • teeth when the user does not yet have teeth, the teeth may be omitted when the image 220 of the teeth is displayed as an augmented reality. For example, 5 teeth or 6 teeth may be displayed instead of 10 teeth if the teeth are not in contact and the teeth are not yet exposed.
  • the image 230 of the virtually created toothbrush is overlaid and displayed over the image of the tooth of the current brushing area. Also, as the user's hand moves up / down / left / right while brushing, the imagery 230 of the virtual toothbrush moves equally.
  • the present invention can excite more interest in gargling due to mutual changes in content according to the user's movements. In other words, a child can accept brushing as a play.
  • the present invention analyzes the images taken by the camera in real time, recognizes the user's face, and then grasps the position of the mouth and jaw line, and the position and size of the face. Then, a tooth model is created according to each user and displayed on the screen as an augmented reality.
  • the tooth model generated for each user is a personalized tooth model that reflects tooth structure, tooth size, toothbrush state, and the like. This helps the user to focus more on the brush guide information. It also provides personalized guide information based on a personalized tooth model.
  • a virtual tooth image 220 or a virtual toothbrush image 230 is represented by an augmented reality
  • effects and visual effects can be expressed together. This can help to keep you interested and to focus on your brushing. In other words, it can help children to accept their brushing as a pleasant lifestyle.
  • feedback on the results of brushing can be provided.
  • Such feedback information may be provided to the user himself or, in addition, to the parent or dental teacher of the child. This can be used as medical information in the future.
  • FIG. 2 is a flowchart of a method of providing brush guide information using an augmented reality according to an embodiment of the present invention.
  • the user takes a picture of brushing through the camera of the smartphone 200 (S1100).
  • a stand for mounting the smartphone 200 is installed in the front part of the toilet basin or in the mirror.
  • a landmark such as an eye, a nose, a mouth, and an ear is identified from the face through the image analysis, and a personalized tooth model is generated by grasping the position and structure of the tooth based on the landmark (S1200). That is, in the present invention, different virtual tooth images 220 for each user are displayed on the screen.
  • the generated tooth model is displayed together with the image photographed using the augmented reality (S1300).
  • the image 210 of the taken image as shown in FIG. 1 may be displayed as a thumbnail
  • the virtual tooth image 220 can be expressed largely.
  • the virtual tooth image 220 displayed on the screen can give a sense of reality by rotating or tilting the virtual tooth image 220 in accordance with the user's turning or tilting of the head.
  • image processing techniques such as face recognition and pattern recognition may be utilized.
  • the guide information may be information indicating how much toothbrushing has been performed on each part of the tooth. Or information that guides the speed or direction of brushing. Or information for guiding a part where brushing is further required.
  • the monitoring result is provided as feedback (S1500).
  • the end of brushing can also be grasped through image analysis. For example, if the user releases the toothbrush through image analysis, it can be determined that the brushing has ended. Or the user can grasp the end of the gargle through the user input by touching the gargle end button.
  • the monitoring results can be visualized through color or graphs to show how well the toothbrush has done to each part of the tooth.
  • the feedback information can be transmitted to a parent terminal of a child or a terminal of a predetermined user such as a dental teacher.
  • the above-described method of providing brush guide information using the augmented reality has been described above.
  • the reason for providing the brush guide information to the augmented reality in the present invention is to induce the user's interest through interaction. Also, if you brush your teeth, your teeth are in your mouth. This is to help the toothbrush to have the correct brushing habit by visualizing and visualizing the teeth.
  • a personalized tooth model is created through an image processing technique and an anatomical analysis.
  • FIG. 3 is an exemplary view for explaining a step S1100 of photographing a user brushing the face of FIG. 2.
  • the smartphone 200 is mounted on the mirror 300 of the toilet.
  • a real user 110 holds a toothbrush 130 and brushes teeth, he or she brushes teeth while viewing the user's own figure 310 on the mirror 300 in general.
  • the user's appearance 310 in the mirror merely reflects the user's appearance 110, the children generally do not feel well.
  • providing the guide information on the toothbrush visually or audibly while interacting with the smartphone 200 attached to the mirror 300 may cause interest of the children. This can help you get the right brushing habits from the time you enter.
  • FIGS. 4 to 10 are diagrams for explaining a step S1200 of generating a personalized tooth model by analyzing the landmarks of the face of FIG. 2.
  • face regions that can be utilized as landmarks in the image 210 captured by the user are illustrated.
  • the two eyes 411 and 412, the balls 413 and 414, the nose 415, the mouth tail 416 and 417, the lip center portion 418, and the like can be utilized as landmarks.
  • This landmark analysis allows the user to estimate information such as the position and size of the teeth even if the user cleans his / her lips and brushes teeth.
  • the present invention combines anatomical information with such landmarks to estimate information about invisible teeth.
  • the mandibular molar is located at the middle position between position 3 and position 93. Likewise, it can be assumed that the mandibular molar is located at the middle position between position 29 and position 93.
  • the size of the user's jaw can be calculated based on the jaw line from the position 0 to the position 33 as well as the position of the tooth, and the size of the tooth can be estimated based on the size of the jaw. Anatomically, as the size of the jaw increases, the size of the tooth also increases. Therefore, the size of the teeth can be estimated using this.
  • the user's personalized tooth model is displayed as an overlay on the screen as a virtual tooth image.
  • the number of teeth can be personalized. Especially for children, the number of teeth varies according to the tooth size and the permanent tooth size, which can be reflected in the tooth model.
  • the position and size of a user's teeth can be estimated using the anatomical information.
  • This is called a personalized tooth model.
  • this is an example to illustrate the process of creating a tooth model using anatomical information, and various other information can be used.
  • the size or position of a tooth generally correlates with a user's age, sex, height, weight, and the like. Such information can be further input from a user and used to generate a personalized tooth model.
  • the user is guided to take a picture in a state of being separated from the mouth by "Oh,” so that an image of the tooth is directly photographed to create a personalized tooth model .
  • step S1210 of photographing the user's teeth or the step S1220 of receiving additional information from the user may be performed before the step S1200 of creating the personalized tooth model.
  • steps S1210 and S1220 are shown as sequential steps in FIG. 6, they may be executed concurrently or sequentially, and only one step may be performed.
  • the landmark is extracted from the image of the user's face and the anatomical information is combined to estimate the position and size of the tooth, but it is impossible to obtain more information. For example, the number of teeth, whether they are extracted, and whether they are cavities are limited even if anatomical information is used.
  • the difference between the tooth and the permanent tooth can be seen.
  • teething In other words, it is teething. It is said to be torn by the nipple when it is a suckling. It starts from 6 to 7 months after birth and grows to 20 to 30 months. In the case of attracting, there is only a prefix without any type of posture.
  • Deciduous incisor refers to a total of eight teeth. Four in the upper jaw, four in the lower jaw, and two on the left and right. The four teeth in the center are the midpoint teeth, and the four teeth on the outer side are called the tooth deciduous teeth. The lateral incisor is smaller than the middle incisor. It rises in 6-8 months of age.
  • a dog deciduous canine is a tooth on the outside of the lateral incisor, which has four teeth. It rises 16-20 months after birth.
  • Deciduous molar is a tooth on the outer side of a dog's tooth. There are a total of eight teeth. The teeth on the inner side are called the first molar teeth, and the teeth on the outer side are called the second molar teeth. The first molar is different from any tooth of the permanent tooth. The root of the tooth has three teeth like a molar, but the appearance is close to the premolar. The second molar is similar to the first molar of the permanent tooth. It rises at 12 to 30 months of age.
  • the tooth that emerges after the toothless tooth is called the permanent tooth.
  • Incisor refers to a total of eight teeth in front of the tooth. Yu Ji-chi springs from the place where it is missing. Because the size is larger than that of the incisors, the incisors are sprouted and the incisors grow up to fill the space. If the space between the incisors is insufficient, the incisors may overlap, creep or protuberance. It plays a role of cutting food, plays an important esthetically important role, and can not be used to pronounce it. The middle is called the central tooth, and the outer side is called the lateral tooth.
  • Canine refers to the four teeth on the outside of the incisors. It is called a canine because it has a pointed shape in comparison with incisors. It plays a role of grabbing food and plays a very esthetic and important role. This is because the canine is prominent in the arch composed of teeth. Because the length of the root is the longest in the tooth, it has excellent durability because the canine is the first to make contact with each other during the chewing process and guides the path of the jaw moving. When the canines become worn out or fall out, the way they chew food is different.
  • Premolar is the eight teeth on the outside of the canine, often called small molar teeth. The center is divided into the first premolar, and the outside is divided into the second premolar. It serves to break food down. From the premolar teeth, there are more than two cusps of teeth.
  • the maxillary premolar has two cusps, but occasionally the second premolar of the lower jaw may have three cusps with two cusps.
  • the molar teeth are the outermost teeth of the twelve teeth.
  • the first molar, the second molar, and the third molar are referred to in order from the center, and the third molar is often called wisdom tooth. It serves to crush food.
  • the maxillary teeth of the upper jaw often have four cusps and three roots.
  • the lower jaws have five cusps and two roots.
  • the cusp of the mandibular first molar is arranged in a quadrangular shape with four teeth and one outer tooth.
  • the cusp of the second molar is also similar, but the four cusps with the degenerated fifth cusp are often seen.
  • the morphology of the third molar is well developed and similar to that of the first molar, but smaller than that of the second molar that has been degenerated and dwarfed.
  • the size and shape are different depending on whether the tooth is permanent or permanent. Also the total number of teeth is different. Therefore, it can be felt more realistic if it is distinguished whether the user's teeth are permanent or permanent.
  • information has limitations in estimating a face from a captured image. Therefore, it is possible to input and use additional date of birth from the user.
  • FIG. 8A is a table summarizing the time when the tooth is released and the time when the tooth is released.
  • the date of birth is input from the user, the number of months or the number of years is inverted to discriminate whether the tooth is a tooth or a permanent tooth.
  • a more accurate personalized tooth model can be created and expressed as augmented reality.
  • the method of providing brush guide information using the augmented reality provided by the present invention can be provided through an application of the smart phone 200 or the like, and a user profile can be generated in this process. Based on the user profile, you can monitor and feedback your brushing status continuously. At this time, information such as date of birth, sex, height, weight, number of teeth, position of teeth, number of cavities, and position of cavities can be inputted in the process of creating a user profile.
  • a photo of a mouth opened and a photo of a tooth can be input to reflect the tooth decay or the like on the personalized tooth model. It is also possible to generate personalized guide information by reflecting information such as a tooth-missing part, a missing part, and a cavity-bearing part.
  • a site missing a tooth can be created by omitting the guide information for brushing, or by customizing the guide information so that the tooth cavity area is longer than brushing. That is, it is possible to generate personalized guide information based on the personalized tooth model.
  • FIG. 9A a square arch having a square shape can be seen.
  • Fig. 9B an oval arch having an egg shape can be seen.
  • egg types accounted for 44%, followed by squares 30% and peaks 26%.
  • 48% of egg types, 28% of squares, and 24% of sharp types were found in the 20s and below.
  • egg type was 42%, squares 31%, peak type 27%
  • Egg type was 40%, square type was 35% and peak type was 25%.
  • 35% of quadrats, 34% of spiky teeth, and 31% of oval teeth were in the 40s, indicating that the dentition pattern of Koreans gradually became westernized due to the presence of quadrangular dental arches and oval dental arches.
  • the shape of the dental arch varies according to age. Since the dental arch has a close relationship with the line of the jaw line, the shape of the dental arch can be estimated from the anatomical information of the jaw line.
  • FIGS. 11A and 11B are diagrams for explaining a step S1300 of displaying a tooth model using the augmented reality of FIG. 2.
  • FIG. 11A is diagrams for explaining a step S1300 of displaying a tooth model using the augmented reality of FIG. 2.
  • a virtual tooth image 220 is overlaid and displayed on the image 210 of the user. Even when the user is shut, the virtual tooth image 220 can be expressed as an augmented reality, so that the state change of the teeth can be visualized and displayed during the brushing process.
  • the position of the teeth is also tilted. Because it is an augmented reality, the position of the tooth can be estimated by combining with the anatomical information based on the user's facial contour, jaw line, etc., and the personalized tooth model can be displayed at the corresponding position.
  • FIG. 11A it can be seen that the process of brushing is combined with the game to display the image 240 of the game character together.
  • FIG. 11B the augmented reality displayed by replacing the user's image with the Pororo character image 250 can be seen.
  • the user's appearance is changed to the image 250 of the Pororo character, but not the whole part.
  • the toothbrush can be placed in a child's play with a pleasant play.
  • FIG. 11B only the Pororo character image 250 is shown, but various other character images can be used.
  • these character images can be licensed through a contract, and the character image can be sold in the application for a fee. This may result in partial revenues.
  • FIG. 12 is an exemplary view for explaining a step S1400 of providing guide information according to the progress of brushing of FIG. 2; FIG.
  • the guide information may include information on the progression of toothbrushing, in which teeth are divided into a certain area and the degree of toothbrushing progressed in each area is indicated by color or the like. For example, based on the mandible, the left molar is divided into a first region, a front region is divided into a second region, and a right molar region is divided into a third region. The front face, the upper face and the back face of the first region are divided into three regions, The upper part of the third section, the back part of the third part, a total of 8 parts can be expressed in color.
  • the user can be provided with the guide information so that the coloring of the eight portions can be changed from red to yellow to green, so that all portions can be evenly brushed. This makes it possible to correct habit of brushing only a specific area.
  • the guide information may include information for guiding the area requiring brushing.
  • combing brushing with a game can overlay germs in a specific area of teeth to represent augmented reality.
  • the screen can be configured to remove the germs and score the visual and auditory effects.
  • images that visualize food waste can also be expressed as augmented reality.
  • the child can then be guided to brush the entire tooth evenly just by brushing the area where bacteria or food debris are present.
  • the cavities can form a game so that the bacteria appear more frequently, and the game can be configured to omit those without teeth. This customized guide information can help you develop proper brushing habits.
  • the guide information may include information that guides the direction and speed of brushing.
  • the imagery 230 of the virtual toothbrush represented on the screen as an augmented reality may be displayed in a manner that the user moves the brush 230 in accordance with the brushing, but may also display the guide information before brushing.
  • voice guidance to "Let's wipe the front teeth 3 times”.
  • the process in which the child actually brushes can be judged by using the direction of motion and the distance of movement through image analysis.
  • the three-axis acceleration sensor may be built in the toothbrush so that the information about the movement of the toothbrush can be received through the wireless communication in the smartphone 200 and analyzed and determined.
  • the direction of the head of the toothbrush in the toothbrush handle may be defined as the y-axis
  • the direction parallel to the bristles may be defined as the z-axis
  • the other axis orthogonal to the y-axis and the z-axis may be defined as the x-axis.
  • information on the rotation in the x-axis direction and the rotation in the y-axis direction can be further collected by moving along the x-, y-, and z-axis directions, and the direction of the brushing can be determined.
  • the direction of the user holding the toothbrush is determined, and the direction of the toothbrush and the area of the tooth brushing can be determined according to whether the user is right-handed or left-handed.
  • the angle of the virtual toothbrush image 230 may also be determined by the user by calculating the angle of the hand holding the toothbrush and the toothbrush body.
  • various communication methods such as WiFi communication, Bluetooth communication, Zigbee communication, 3G communication, LTE communication or NFC communication can be used as the communication method between the toothbrush and the smartphone 200. That is, all communication methods for performing communication using a wireless signal can be applied.
  • the guide information can be provided tactually through the toothbrush in addition to being provided visually and audibly using the smart phone 200.
  • the control signal is transmitted from the smartphone 200 to generate vibration in the toothbrush.
  • the haptic effect can be imparted to the toothbrush to provide feedback.
  • guide information can be displayed on the screen through augmented reality in various ways.
  • a virtual toothbrush image 230 is placed in an area that the user needs to brush and a virtual effect (toothbrush, tooth color change, star, etc.) is placed in the area the user is currently brushing. If the two areas match, the guide information can be configured so that the virtual toothbrush image 230 disappears.
  • the smartphone 200 can display remaining battery level on the toothbrush through communication with the toothbrush, and can provide information to guide the user in advance when battery replacement is required.
  • the degree of wear of the toothbrush can be analyzed through image analysis or the like, and information for informing the user in advance can be provided when the toothbrush needs to be replaced.
  • the virtual cup image is displayed on the augmented reality and the guide information for rinsing the mouth can be visually provided to the user.
  • toothpaste is present around the mouth after brushing is completed, it can be detected through image analysis to provide information to guide the user to wash the mouth.
  • the augmented reality can change the background of the user to display a virtual space other than the toilet, for example, a beach, a school, a playground, etc., so as to feel like brushing in a different space. Through this, it is possible to continuously attract the interest of children who are disgusted.
  • a rotten tooth was described as an illustration of a rotten tooth, but in the future information about a rotten tooth could be overlaid on a virtual tooth on the face of the screen to indicate a rotten tooth.
  • the provision of guide information using augmented reality can be extended not only to the teeth but also to other parts of the body.
  • a pediatrician who is not a dentist, when describing a cold to a child, it creates an image of a personalized virtual bronchus rather than using an X-ray picture to overlay it on the child's figure and explain the progress of the cold .
  • you give your child a cold shot you can encourage your child to think about going to the hospital, what to do with injections as a hospital play and not burdening him.
  • the user By generating the model of the personalized body part using the anatomical information about the various body parts and providing the related contents while displaying it using the augmented reality, the user has the effect of increasing the degree of understanding and concentration of the contents.
  • the educational contents such as the function of the tooth, the permanent value, and the like can be further displayed on the screen.
  • information about the toothbrush or toothpaste can be provided by analyzing the user's oral condition (whether it is correct, whether it is whitening, extraction, size, number, etc.). It can also be used as an advertisement to earn revenue.
  • imagery 230 of the virtual toothbrush may be different from the color and size of the toothbrush depending on the age, sex, height, and weight input by the user or predicted through face recognition, rather than using only the same image.
  • an image 230 of the character toothbrush may be displayed on the screen.
  • FIG. 13 is an exemplary diagram for explaining the step S1500 of providing monitoring results when the brushing of FIG. 2 ends;
  • the left molar is divided into the first region
  • the front region is divided into the second region
  • the right molar region is divided into the third region based on the mandible, and the front face, the upper face and the back face of the first region,
  • the upper part of the third section, the back part of the third part, a total of 8 parts can be expressed in color.
  • the monitoring result can be simply expressed by marking the two zones on the left and right sides of the mandible as opposed to the three zones.
  • each tooth can be divided into areas between teeth and teeth to provide monitoring results.
  • Fig. 13 only one brushing result is displayed.
  • cumulative brushing results may be represented by color or the degree of brushing of each tooth may be converted into points and provided in a graph form.
  • auditory monitoring results such as "toothbrushing can cause cavities in the lower molars.”
  • FIG. 14 is a hardware configuration diagram of a toothbrush guide information providing device using an augmented reality according to an embodiment of the present invention.
  • the brushing guide information providing apparatus 200 may include one or more processors 510, a memory 520, a storage 560, and an interface 570.
  • the processor 510, the memory 520, the storage 560, and the interface 570 transmit and receive data via the system bus 550.
  • the processor 510 executes a computer program loaded into the memory 520 and the memory 520 loads the computer program from the storage 560.
  • the computer program may include a radiographing operation 521, a tooth model generating operation 523, and a guide information providing operation 525.
  • the image capturing operation 521 captures an image of a user who wants to brush his teeth through an unshown camera. At this time, it is preferable that the user shoots the upper half body including the face portion. It is an object of the present invention to analyze the images photographed by the imaging operation 521 in real time and to provide personalized tooth models and personalized guide information to the images.
  • the photographed image is analyzed by the tooth model creation operation 523.
  • face detection, face contour, landmark, etc. are identified, and the position, size and arrangement of teeth are estimated using anatomical information.
  • the personalized tooth model is generated by reflecting the personalization information 561 stored in the storage 560 and secondly reflecting the permanent tooth position, tooth decay, tooth number, tooth color, and the like, 560). ≪ / RTI >
  • the personalization information used at this time is input from the user through the interface 570 in advance and includes the date of birth, sex, height, weight, etc. of the user. In addition, it may include an image of a user's own tooth, an X-ray image of a tooth supplied from a server of a dental hospital, and the like.
  • the personalized tooth model 563 includes information such as the position, size, arrangement, permanent tooth value, tooth decay, tooth number, tooth number, and the like, as described above.
  • different virtual tooth images for each user can be displayed on the screen through the augmented reality.
  • the guide information providing operation 525 provides personalized guide information 56 corresponding to the personalized tooth model 563 generated previously while providing the photographed image to the user.
  • the personalized guide information 563 may include feedback information on the degree of brushing progress, the direction and number of times of brushing, and the time according to the individual tooth condition.
  • Each component in FIG. 14 may refer to software or hardware such as an FPGA (Field Programmable Gate Array) or an ASIC (Application-Specific Integrated Circuit).
  • the components are not limited to software or hardware, and may be configured to be addressable storage media, and configured to execute one or more processors.
  • the functions provided in the components may be implemented by a more detailed component, or may be implemented by a single component that performs a specific function by combining a plurality of components.
  • the methods according to the embodiments of the present invention described so far can be performed by the execution of a computer program embodied in computer readable code.
  • the computer program may be transmitted from a first computing device to a second computing device via a network, such as the Internet, and installed in the second computing device, thereby enabling it to be used in the second computing device.
  • the first computing device and the second computing device all include a server device, a physical server belonging to a server pool for cloud services, and a fixed computing device such as a desktop PC.
  • the computer program may be stored in a recording medium such as a DVD-ROM, a flash memory device, or the like.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Dentistry (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Rheumatology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)

Abstract

본 발명의 일 실시예에 따른 양치 가이드 정보 제공 방법은, 사용자 단말이, 사용자를 촬영한 영상을 분석하여, 상기 사용자의 얼굴을 인식하고 상기 얼굴의 랜드마크를 식별하는 단계; 상기 사용자 단말이, 상기 랜드마크를 이용하여, 상기 사용자의 개인화 된 치아 모델을 생성하는 단계; 상기 사용자 단말이, 상기 치아 모델을 이용하여, 가상의 치아 이미지를 증강 현실로 제공하는 단계; 및 상기 사용자 단말이, 상기 치아 모델을 이용하여, 양치 가이드 정보를 제공하는 단계를 포함할 수 있다.

Description

증강 현실을 이용한 양치 가이드 정보 제공 방법 및 장치
본 발명은 증강 현실을 이용한 양치 가이드 정보 제공 방법 및 그 장치에 관한 것이다. 보다 자세하게는, 양치를 할 때 증강 현실을 이용하여 양치에 관한 가이드 정보, 예를 들면 각 구역별로 양치를 수행한 정도와 같은 가이드 정보를 제공 하는 방법 및 그 방법을 수행하는 장치에 관한 것이다.
대부분의 아이들은 양치질 하기를 싫어한다. 하지만 치아는 재생이 되지 않는 신체 부위로 영구치가 상할 경우 다른 의료적인 도움이 필요하다. 게다가 아이들은 양치질 하기보다 치과 가는 걸 몇 배는 더 싫어한다. 그렇기 때문에 올바른 치아 관리가 매우 중요하다.
이를 위해서는 유치가 날 때부터 올바른 양치 습관을 길러주는 것이 중요하다. 양치질은 건강한 생활을 유지하기 위한 건강 생활 습관 중의 하나이다. 실제로 양치질 하나만 완벽하게 하더라도 깨끗한 치아를 유지할 수 있다. 하지만 대부분의 아이들이 매일 1번 이상의 양치질을 하는데도 치아가 상하는 이유는 잘못된 양치질 습관 때문이다.
이러한 문제를 해결하기 위해서 동영상 등을 통하여 올바른 양치질에 대한 정보를 제공하는 방법이 있다. 하지만 이와 같은 방법은 양치를 하는 사용자인 어린이와 상호적인 작용없이 지정된 컨텐츠를 단순 재생할 뿐이다. 그렇기 때문에 컨텐츠를 보는 동안 아이들의 집중력이 쉽게 저하되고 양치질을 소홀히 하게 된다.
이에 어린이에게 올바른 양치 습관에 관한 컨텐츠를 제공하는 한편, 어린이가 컨텐츠에 집중할 수 있도록 상호 대화형인 가이드 정보 제공 방법이 요구된다.
본 발명이 해결하고자 하는 기술적 과제는, 증강 현실을 이용한 양치 가이드 정보 제공 방법 및 그 장치를 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.
상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 양치 가이드 정보 제공 방법은, 사용자 단말이, 사용자를 촬영한 영상을 분석하여, 상기 사용자의 얼굴을 인식하고 상기 얼굴의 랜드마크를 식별하는 단계; 상기 사용자 단말이, 상기 랜드마크를 이용하여, 상기 사용자의 개인화 된 치아 모델을 생성하는 단계; 상기 사용자 단말이, 상기 치아 모델을 이용하여, 가상의 치아 이미지를 증강 현실로 제공하는 단계; 및 상기 사용자 단말이, 상기 치아 모델을 이용하여, 양치 가이드 정보를 제공하는 단계를 포함할 수 있다.
바람직하게는, 상기 얼굴의 랜드마크를 식별하는 단계는, 상기 사용자의 눈썹, 눈, 코, 양 볼, 입, 귀, 턱 선 중에서 하나 이상을 랜드마크로 식별하는 단계를 포함할 수 있다.
바람직하게는, 상기 사용자의 개인화 된 치아 모델을 생성하는 단계는, 상기 랜드마크를 이용하여, 상기 사용자의 치아의 위치, 크기, 배열 중에서 하나 이상을 추정하는 단계를 포함할 수 있다.
바람직하게는, 상기 사용자의 치아의 위치, 크기, 배열 중에서 하나 이상을 추정하는 단계는, 상기 사용자의 턱 선과 오른쪽 귀가 만나는 위치와 상기 사용자의 입술 중앙의 위치의 중점 부분에 하악 오른쪽 어금니가 위치하는 것으로 추정하는 단계; 상기 사용자의 턱 선과 왼쪽 귀가 만나는 위치와 상기 사용자의 입술 중앙의 위치의 중점 부분에 하악 왼쪽 어금니가 위치하는 것으로 추정하는 단계; 및 상기 사용자의 입술 중앙의 위치에 앞니가 위치하는 것으로 추정하는 단계를 포함할 수 있다.
바람직하게는, 상기 사용자의 치아의 위치, 크기, 배열 중에서 하나 이상을 추정하는 단계는, 상기 사용자의 턱 선으로부터 상기 사용자의 턱의 크기를 추정하는 단계; 및 상기 턱의 크기를 이용하여, 상기 사용자의 치아의 크기를 추정하는 단계를 포함할 수 있다.
바람직하게는, 상기 사용자의 치아의 위치, 크기, 배열 중에서 하나 이상을 추정하는 단계는, 상기 사용자의 턱 선으로부터 상기 사용자의 턱의 모양을 추정하는 단계; 및 상기 턱의 모양을 이용하여, 사각형 치열궁, 계란형 치열궁, 뽀족형 치열궁 중에서 어느 하나로 상기 사용자의 치아의 배열을 추정하는 단계를 포함할 수 있다.
바람직하게는, 상기 사용자의 개인화 된 치아 모델을 생성하는 단계는, 상기 사용자로부터 생년월일, 성별, 키, 몸무게, 치아의 개수, 치아의 위치, 충치의 개수, 충치의 위치 중에서 하나 이상을 포함하는 개인화 정보를 입력 받는 단계; 및 상기 개인화 정보를 이용하여, 상기 사용자의 개인화 된 치아 모델을 수정하는 단계를 포함할 수 있다.
바람직하게는, 상기 사용자의 개인화 된 치아 모델을 수정하는 단계는, 상기 사용자의 생년월일로부터 개월수 및 년수를 역산하고, 상기 개월수 및 년수에 기초하여 영구치 여부를 판단하는 단계; 및 유치인 경우 최대 20개 이내로, 영구치인 경우 최대 28개 이내로 상기 치아 모델에 포함된 치아의 개수를 제한하는 단계를 포함할 수 있다.
바람직하게는, 상기 사용자의 개인화 된 치아 모델을 수정하는 단계는, 상기 사용자의 생년월일로부터 개월수 및 년수를 역산하고, 상기 개월수 및 년수에 기초하여 영구치 여부를 판단하는 단계; 및 상기 영구치 여부의 판단 결과에 따라 상기 치아 모델에 포함된 치아의 크기, 모양 중에서 하나 이상을 수정하는 단계를 포함할 수 있다.
바람직하게는, 상기 사용자의 개인화 된 치아 모델을 수정하는 단계는, 상기 성별, 키, 나이, 몸무게 중에서 하나 이상을 이용하여 상기 치아 모델에 포함된 치아의 개수, 크기, 모양 중에서 하나 이상을 수정하는 단계를 포함할 수 있다.
바람직하게는, 상기 가상의 치아 이미지를 증강 현실로 제공하는 단계는, 상기 치아 모델에서 제1 치아가 아직 나지 않았거나 빠진 경우, 상기 가상의 치아 이미지에서 상기 제1 치아에 해당하는 위치는 치아를 표시하지 않는 단계를 포함할 수 있다.
바람직하게는, 상기 가상의 치아 이미지를 증강 현실로 제공하는 단계는, 가상의 칫솔 이미지를 증강 현실로 더 제공하거나 가상의 치아 이미지를 제공하는 대신 가상의 칫솔 이미지만을 제공하는 단계를 포함할 수 있다.
바람직하게는, 상기 가상의 칫솔 이미지를 증강 현실로 더 제공하거나 가상의 치아 이미지를 제공하는 대신 가상의 칫솔 이미지만을 제공하는 단계는, 상기 촬영한 영상을 분석하여, 상기 사용자가 칫솔을 쥐고 있는 손과 그 각도를 추정하는 단계; 및 상기 손과 그 각도에 기초하여, 상기 가상의 칫솔 이미지의 위치와 각도를 증강 현실로 표시하는 단계를 포함할 수 있다.
바람직하게는, 상기 양치 가이드 정보를 제공하는 단계는, 상기 치아 모델을 기 설정된 개수의 부분으로 나누고, 각 부분별로 양치가 진행된 정도를 색상으로 표시하는 단계를 포함할 수 있다.
바람직하게는, 상기 각 부분별로 양치가 진행된 정도를 색상으로 표시하는 단계는, 유치의 경우, 왼쪽 치아의 앞면과 뒷면, 오른쪽 치아의 앞면과 뒷면, 총 8개 부분으로 상기 치아 모델을 나누는 단계를 포함할 수 있다.
바람직하게는, 상기 각 부분별로 양치가 진행된 정도를 색상으로 표시하는 단계는, 영구치의 경우, 왼쪽 어금니의 앞면과 윗면과 뒷면, 앞니의 앞면과 뒷면, 오른쪽 어금니의 앞면과 윗면과 뒷면, 총 16개 부분으로 상기 치아 모델을 나누는 단계를 포함할 수 있다.
바람직하게는, 상기 양치 가이드 정보를 제공하는 단계는, 상기 치아 모델을 기 설정된 개수의 부분으로 나누고, 각 부분별로 칫솔질이 필요한 횟수, 방향, 시간 중에서 하나 이상을 시각적 또는 청각적으로 안내하는 단계를 포함할 수 있다.
바람직하게는, 상기 각 부분별로 칫솔질이 필요한 횟수, 방향, 시간 중에서 하나 이상을 시각적 또는 청각적으로 안내하는 단계는, 상기 치아 모델에서 제1 치아가 아직 나지 않았거나 빠진 경우, 상기 제1 치아에 해당하는 위치는 안내를 하지 않는 단계를 포함할 수 있다.
바람직하게는, 상기 각 부분별로 칫솔질이 필요한 횟수, 방향, 시간 중에서 하나 이상을 시각적 또는 청각적으로 안내하는 단계는, 상기 사용자가 기 설정된 나이보다 어린 경우에는 회전법 또는 폰즈법의 가로 방향의 칫솔질로 안내를 하고, 그 외에는 바스법 또는 변형 바스법의 위아래 방향의 칫솔질로 안내하는 단계를 포함할 수 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 컴퓨터 프로그램은, 하드웨어와 결합되어 본 발명에 따른 양치 가이드 정보 제공 방법을 실행하도록 컴퓨터로 판독 가능한 매체에 저장된 컴퓨터 프로그램이다.
상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 증강 현실을 이용한 컨텐츠 제공 방법은, 컨텐츠 제공 장치가, 사용자를 촬영한 영상을 분석하여, 상기 사용자의 제1 부위를 인식하고 상기 제1 부위의 랜드마크를 식별하는 단계; 상기 컨텐츠 제공 장치가, 상기 랜드마크를 이용하여, 상기 사용자의 개인화 된 제1 부위 모델을 생성하는 단계; 상기 컨텐츠 제공 장치가, 상기 제1 부위 모델을 이용하여, 가상의 제1 부위 이미지를 증강 현실로 제공하는 단계; 및 상기 컨텐츠 제공 장치가, 상기 제1 부위 모델을 이용하여, 상기 제1 부위와 관련된 컨텐츠를 제공하는 단계를 포함할 수 있다.
본 발명에 의한 효과는 다음과 같다.
본 발명에 의하면 양치 가이드 정보를 증강 현실을 이용하여 제공하기 때문에 아이들이 컨텐츠에 보다 집중할 수 있다. 특히 단순히 고정된 컨텐츠가 재생되는 방식이 아닌 아이와의 상호 작용을 통해서 가이드 정보를 제공하기 때문에 흥미를 꾸준히 유지할 수 있다.
또한, 증강 현실을 통해 컨텐츠를 제공할 때, 각 개인에 따라 맞춤화 된 컨텐츠를 제공할 수 있어서, 컨텐츠에 대한 흥미를 보다 불러일으킬 수 있다. 이를 통해서 양치하는 것이 하나의 놀이가 될 수 있고, 올바른 양치 습관이 자리 잡는데 도움을 줄 수 있다.
또한, 어린이뿐만 아니라 어른들도 본 발명에 의한 가이드 정보 제공 방법을 이용하여 자신의 양치 습관을 장기간에 걸쳐 모니터링을 할 수 있다. 이를 통해 어른들도 건강한 치아를 관리할 수 있도록 도울 수 있다. 또한 양치를 모니터링 한 정보를 부모나 의사와 같이 제3자에게도 제공하여 의료 정보로 활용할 수도 있다.
도 1은 본 발명의 일 실시예에 따른 증강 현실을 이용한 양치 가이드 정보 제공 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 증강 현실을 이용한 양치 가이드 정보 제공 방법의 순서도이다.
도 3은 도 2의 사용자가 양치하는 모습을 촬영하는 단계(S1100)를 설명하기 위한 예시도이다.
도 4 내지 도 10은 도 2의 얼굴의 랜드마크를 분석하여 개인화 된 치아 모델을 생성하는 단계(S1200)를 설명하기 위한 예시도이다.
도 11a 내지 도 11b는 도 2의 증강 현실을 이용하여 치아 모델을 표시하는 단계(S1300)를 설명하기 위한 예시도이다.
도 12는 도 2의 양치의 진행에 따라 가이드 정보를 제공하는 단계(S1400)를 설명하기 위한 예시도이다.
도 13은 도 2의 양치가 종료되면 모니터링 결과를 제공하는 단계(S1500)를 설명하기 위한 예시도이다.
도 14는 본 발명의 일 실시예에 따른 증강 현실을 이용한 양치 가이드 정보 제공 장치의 하드웨어 구성도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
이하, 도면들을 참조하여 본 발명의 몇몇 실시예들을 설명한다.
도 1은 본 발명의 일 실시예에 따른 증강 현실을 이용한 양치 가이드 정보 제공 방법을 설명하기 위한 도면이다.
도 1을 참고하면 스마트폰(200)에 양치를 하는 사용자의 이미지(210)와 증강 현실로 표현된 가상의 치아 이미지(220) 및 증강 현실로 표현된 가상의 칫솔 이미지(230)가 표시된 것을 볼 수 있다. 양치를 하는 사용자는 아직 영구치가 나지 않은 어린이이며, 증강 현실로 윗니 10개, 아랫니 10개의 치아가 화면에 오버레이(overlay) 되어서 표시되는 것을 볼 수 있다.
본 발명에서는 증강 현실로 양치 가이드 정보를 제공하기 위해서 스마트폰(200)과 같은 별도의 장치를 필요로 한다. 스마트폰(200)에 설치된 어플리케이션을 통해서 이와 같은 기능을 제공할 수 있다. 다만 도 1의 예시는 발명의 이해를 돕기 위한 것으로, 스마트폰(200) 외에도 이와 유사한 태블릿, 스마트 워치와 같은 웨어러블 기기 등을 통해서 증강 현실로 양치 가이드 정보를 제공할 수 있다.
다만, 증강 현실로 양치 가이드 정보를 제공하기 위해서는 카메라와 같은 촬영부와 디스플레이와 같은 표시부는 필수이다. 예를 들면 화장실에 터치 스크린을 설치하고 사용자의 모습을 촬영해서 거울처럼 이미지를 제공하고, 그 외 추가적인 기능을 더 제공하는 스마트 거울과 같은 경우에도 본 발명을 적용할 수 있다.
스마트 거울에 대해 더 설명하자면, 사용자가 세면을 하는 동안 화면 구석에 오늘의 일기에 관한 정보, 오늘 하루 동안의 일정에 관한 정보 등을 제공하면서 양치하는 모습을 촬영하고 이에 기반하여 증강 현실로 양치에 관한 가이드 정보를 제공할 수 있다. 이처럼 다양한 기기를 통해서 본 발명을 구현할 수 있다.
도 1에서는 스마트폰(200)이 촬영한 사용자의 이미지(210)와 가상으로 생성한 치아의 이미지(220) 및 가상으로 생성한 칫솔의 이미지(230)가 서로 분리되어 표현되어 있으나, 사용자의 이미지(210)에 치아의 이미지(220)와 칫솔의 이미지(230)를 오버레이 해서 표현할 수도 있다. 이에 대해서는 추후 도 11a 내지 도 11b에서 보다 자세히 설명하기로 한다.
또한 경우에 따라서 사용자의 이미지(210)는 생략한 채 가상의 치아 이미지(220)와 가상의 칫솔 이미지(230)만 제공할 수도 있다. 이러한 경우에는 가상의 치아 이미지(220)와 가상의 칫솔 이미지(230)에 사용자가 보다 집중하도록 유도하는 효과가 있다. 또한 가상의 치아 이미지(220)도 생략한 채 가상의 칫솔 이미지(230)만 증강 현실로 표시하고 양치 가이드 정보를 제공하는 것도 가능하다. 이때에는 양치 가이드 정보에만 사용자가 집중하도록 유도하는 효과가 있다.
또한 도 1에서는 윗니 10개와 아랫니 10개가 모두 표시되어 있지만, 사용자에 따라 아직 치아가 나지 않은 부분은 증강 현실로 치아의 이미지(220)를 표시할 때 해당 치아를 생략할 수 있다. 예를 들면 앞니만 나고 어금니는 아직 나지 않은 경우 10개가 아닌 5개나 6개의 치아가 표시될 수도 있다.
사용자가 양치질을 하면 가상으로 생성한 칫솔의 이미지(230)가 현재 양치 중인 부위의 치아의 이미지 위에 오버레이 되어서 표시된다. 또한 양치질을 하면서 사용자의 손이 상/하/좌/우 움직이는 것에 따라 가상의 칫솔의 이미지(230)도 똑같이 움직인다.
종래에는 동영상이나 플래시 애니메이션 등으로 고정된 컨텐츠를 재생하면서 양치질에 관한 정보를 제공하는 것에 반해, 본 발명은 사용자의 움직임에 따라 컨텐츠가 변하는 상호 작용으로 인해 양치질에 대한 흥미를 보다 불러일으킬 수 있다. 즉 아이가 양치질을 하나의 놀이로 받아들일 수 있다.
증강 현실로 양치에 관한 가이드 정보를 제공하기 위해서 본 발명에서는 카메라가 촬영한 영상을 실시간으로 분석하여 사용자의 얼굴을 인식한 후 입과 턱 선의 위치 및 얼굴의 위치와 크기를 파악한다. 그리고 각 사용자에 따라 치아 모델을 생성한 후 이를 증강 현실로 화면에 표시한다.
이때 각 사용자 별로 생성되는 치아 모델은 치아의 구조, 치아 크기, 양치 상태 등을 반영한 개인화 된 치아 모델이다. 이를 통해 사용자가 양치 가이드 정보에 보다 집중할 수 있도록 돕는다. 또한, 개인화 된 치아 모델에 기반하여 가이드 정보도 개인화 해서 제공한다.
또한 증강 현실로 가상의 치아 이미지(220)나 가상의 칫솔 이미지(230)를 표현할 때 추가적으로 효과음이나 시각 효과를 함께 표현할 수 있다. 이를 통해 지속적으로 흥미를 유발하고, 양치질에 집중하도록 도울 수 있다. 즉, 아이들이 양치질을 즐거운 생활 습관으로 받아들일 수 있도록 도울 수 있다.
뿐만 아니라, 양치를 마치면 양치를 수행한 결과에 대한 피드백을 제공할 수 있다. 이러한 피드백 정보는 사용자 본인에게 제공될 수 있지만, 그 외에도 어린이의 부모나 치과 선생님에게도 제공될 수 있다. 이는 추후 의료 정보로도 활용이 가능하다.
도 2는 본 발명의 일 실시예에 따른 증강 현실을 이용한 양치 가이드 정보 제공 방법의 순서도이다.
도 2를 참고하면, 우선 사용자가 양치를 하는 모습을 스마트폰(200)의 카메라를 통해서 촬영한다(S1100). 이를 위해서 일반적으로는 화장실 세면대의 앞 부분이나 거울에 스마트폰(200)을 거치할 수 있는 거치대가 설치되어 있는 것이 바람직하다.
아이가 양치를 하기 위해서 스마트폰(200)을 들고 화장실에 간 후, 거치대에 스마트폰(200)을 거치하고 어플리케이션을 실행한다. 그 후 칫솔과 치약을 들고 양치질을 하면 이 모습을 스마트폰(200)의 카메라에서 촬영하여 영상을 분석한다.
영상 분석을 통해 얼굴에서 눈, 코, 입, 귀와 같은 랜드마크(landmark)를 식별하고 이를 바탕으로 치아의 위치나 구조 등을 파악하여 개인화 된 치아 모델을 생성한다(S1200). 즉 본 발명에서는 각 사용자 별로 서로 다른 가상의 치아 이미지(220)가 화면에 표시된다.
생성한 치아 모델을 증강 현실을 이용하여 촬영한 영상과 함께 표시한다 다(S1300). 이 때 촬영한 영상의 이미지(210) 위에 치아의 이미지(220)를 오버레이 해서 표현할 수도 있고, 치아의 이미지를 보다 자세히 표시하기 위해 도 1과 같이 촬영한 영상의 이미지(210)는 썸네일로 작게 표시하고 가상의 치아 이미지(220)를 크게 표현할 수 있다.
이 때 화면에 표시되는 가상의 치아 이미지(220)는 사용자가 얼굴을 돌리거나 머리를 기울이면 그에 맞춰서 가상의 치아 이미지(220)도 회전하거나 기울이는 것으로 현실감을 부여할 수 있다. 이를 위해서 얼굴 인식(face recognition), 패턴 인식(pattern recognition) 등과 같은 영상 처리 기술이 활용될 수 있다.
사용자가 양치질을 하면 그에 따라 증강 현실로 가상의 칫솔 이미지(230)도 함께 표시가 되고, 추가적으로 가이드 정보도 함께 제공된다(S1400). 가이드 정보는 치아의 각 부위 별로 어느 정도 양치를 했는지 안내하는 정보일 수 있다. 또는 칫솔질의 속도나 방향 등을 안내하는 정보 일 수 있다. 또는 칫솔질이 더 필요한 부위를 안내하는 정보일 수 있다.
사용자가 양치질을 종료하면 모니터링 결과를 피드백으로 제공한다(S1500). 양치질의 종료는 영상 분석을 통해서도 파악할 수 있다. 예를 들면 영상 분석을 통해서 사용자가 칫솔을 내려 놓는 경우에 칫솔질이 종료된 것으로 파악할 수 있다. 또는 사용자가 양치질 종료 버튼을 터치 하는 방식으로 사용자 입력을 통해서 양치질의 종료를 파악할 수 있다.
모니터링 결과는 치아의 각 부위별로 양치를 어느 정도 잘 했는지에 대한 정보를 색상이나 그래프 등을 통해서 시각화 하여 제공할 수 있다. 또한 피드백 정보를 스마트폰(200)에 표시하는 것 외에도 아이의 부모나 치과 선생님 등 기 지정된 사용자의 단말에 전송할 수 있다.
*이상으로 본 발명에서 제안하는 증강 현실을 이용한 양치 가이드 정보 제공 방법에 대해서 살펴보았다. 본 발명에서 양치 가이드 정보를 증강 현실로 제공하는 이유는 상호 작용을 통해서 사용자의 흥미를 유발하기 위함이다. 또한 양치질을 하면 치아는 입 안에 있기 때문에 카메라로 양치하는 모습을 촬영하더라도 치아는 보이지 않는다. 이에 치아를 가상으로 시각화해서 보여줌으로써 올바른 양치 습관을 가지도록 돕기 위함이다.
다만 양치질을 하는 동안에는 실제로는 치아가 보이지 않으므로 영상을 분석하여 사용자의 얼굴을 인식하고 랜드마크에 기초하여 해부학적인 정보를 바탕으로 가상의 치아의 이미지(220)를 실시간으로 보여줄 수 있어야 한다. 이처럼 본 발명에서는 증강 현실을 적용하기 위해 영상 처리 기술과 해부학적 분석을 통하여 개인화 된 치아 모델을 생성한다.
도 3은 도 2의 사용자가 양치하는 모습을 촬영하는 단계(S1100)를 설명하기 위한 예시도이다.
도 3을 참고하면 화장실의 거울(300)에 스마트폰(200)이 거치된 것을 볼 수 있다. 현실의 사용자(110)가 칫솔(130)을 들고 양치를 할 때, 일반적으로는 거울(300)에 비친 사용자 자신의 모습(310)을 보면서 양치를 한다. 다만, 거울 속의 사용자의 모습(310)은 사용자의 모습(110)을 그대로 비추기만 하기 때문에 어린이들이 일반적으로 흥미를 잘 느끼지 못한다.
이 때, 거울(300)에 부착된 스마트폰(200)을 통해 상호 작용을 하면서 시각적 또는 청각적으로 양치에 관한 가이드 정보를 제공하면 아이들의 흥미를 유발할 수 있다. 이를 통해 유치가 날 때부터 올바른 양치 습관을 갖도록 도울 수 있다.
도 4 내지 도 10은 도 2의 얼굴의 랜드마크를 분석하여 개인화 된 치아 모델을 생성하는 단계(S1200)를 설명하기 위한 예시도이다.
도 4를 참고하면 사용자를 촬영한 이미지(210)에서 랜드마크로 활용할 수 있는 얼굴의 부위들이 예시되어 있다. 예를 들면 두 눈(411, 412), 양 볼(413, 414), 코(415), 입 꼬리(416, 417), 입술 중앙 부분(418) 등을 랜드마크로 활용할 수 있다. 이러한 랜드마크 분석을 통해 사용자가 입술을 다물고 양치질을 하더라도 치아의 위치나 크기와 같은 정보를 추정할 수 있다.
도 5a를 참고하면, 보다 다양한 랜드마크가 각 위치에 따라 숫자가 매겨진 것을 볼 수 있다. 본 발명은 이와 같은 랜드마크에 해부학적인 정보를 결합하여 보이지 않는 치아에 관한 정보를 추정한다.
예를 들면 도 5에서 양 귀와 턱 선이 만나는 지점인 3번 위치와 29번 위치를 자세히 보자. 일반적으로 이 부분은 하악 턱뼈의 끝 부분에 해당한다. 그리고 입술 가운데 부분인 93번 위치는 앞니가 위치한 곳이다.
그러면 도 5b에서 볼 수 있듯이, 3번 위치와 93번 위치의 중간 위치에 하악 왼쪽 어금니가 위치한다고 추정할 수 있다. 마찬가지로 29번 위치와 93번 위치의 중간 위치에 하악 오른쪽 어금니가 위치한다고 추정할 수 있다.
치아의 위치뿐만 아니라 0번 위치부터 33번 위치까지 턱 선을 바탕으로 사용자의 턱의 크기를 계산하고, 턱의 크기에 기초하여 치아의 크기를 추정할 수 있다. 해부학적으로 턱의 크기가 커질수록 치아의 크기도 커지므로, 이를 이용하면 치아의 크기도 추정할 수 있다.
도 5c를 참고하면, 사용자의 개인화 된 치아 모델이 가상의 치아 이미지로 화면 위에 오버레이로 표시된 것을 볼 수 있다. 또한 치아의 위치와 크기 외에도 치아의 개수 등을 개인화 하여 표현할 수 있다. 특히 어린이의 경우 유치와 영구치에 따라 치아의 개수가 달라지므로 이를 치아 모델에 반영할 수 있다.
도 5a 내지 도 5c에서 설명한 것처럼 본 발명에서는 해부학적 정보를 이용하여 사용자의 치아의 위치와 크기 등을 추정할 수 있다. 이를 개인화 된 치아 모델이라 한다. 다만 이는 해부학적 정보를 이용하여 치아 모델을 생성하는 과정을 설명하기 위한 일 예이며 이 외에도 다양한 정보를 더 이용할 수 있다.
예를 들면 치아의 크기나 위치는 일반적으로 사용자의 나이, 성별, 신장, 몸무게 등과 상관 관계를 가진다. 이와 같은 정보를 사용자로부터 추가로 더 입력 받아서 개인화 된 치아 모델을 생성하는데 활용할 수 있다.
뿐만 아니라, 스마트폰(200)의 어플리케이션에 사용자 등록을 하는 과정에서 별도로 "아~"하고 입을 벌린 상태에서 사진을 촬영하도록 사용자에게 안내함으로써, 치아의 이미지를 직접적으로 촬영하여 개인화 된 치아 모델을 생성하는데 활용할 수 있다.
그 외에도 해당 사용자가 다니는 치과 병원 서버와 통신을 통해서 X-Ray나 CT 등의 이미지를 수신하고, 이를 분석하여 개인화 된 치아 모델을 생성하는데 활용할 수 있다. 일반적인 사진에 비해 의료 이미지는 정확한 치아 모델을 생성하는데 보다 적합하다.
도 6을 참고하면 개인화 된 치아 모델을 생성하는 단계(S1200) 이전에 사용자의 치아를 촬영하는 단계(S1210)나 사용자로부터 추가 정보를 입력 받는 단계(S1220)를 더 수행할 수 있다. 또한 도 6에서는 S1210 단계와 S1220 단계가 순차적인 단계처럼 표시되어 있으나, 동시에 수행되어도 또는 순서가 바뀌어서 수행되어도 무방하고, 어느 한 단계만 수행되어도 무방하다.
사용자의 얼굴을 촬영한 이미지에서 랜드마크를 추출하고 해부학적 정보를 결합하여 치아의 위치나 크기 등은 추정할 수 있으나 그 이상의 정보를 얻기는 무리이다. 예를 들면 치아의 개수, 발치 여부, 충치 여부 등은 해부학적 정보를 이용하더라도 한계가 있다.
물론 얼굴 영상을 분석하여 나이 등을 추정하고 이로부터 유치인지 영구치인지 정도는 추정할 수 있으나 이 역시도 한계가 있는 정보이다. 이를 보완하기 위해 사용자로부터 생년월일, 성별, 나이 등의 개인 정보를 더 입력 받을 수 있다.
도 7을 참고하면 유치와 영구치의 차이를 볼 수 있다. 사람에게 있어서 처음 나는 치아를 유치라고 말한다. 다른 말로는 젖니가 있다. 젖먹이 시절에 난다하여 젖니라고 한다. 유치는 생후 6~7개월경부터 나기 시작하여 20~30개월까지 자라난다. 유치의 경우, 구치의 종류 구분 없이 유구치만 존재한다.
유절치(乳切齒, Deciduous incisor)란 가장 앞에 난 총 여덟 개의 치아를 말한다. 위턱에 네 개, 아래턱에 네 개가 자라며, 좌우에 두 개씩 있다. 가운데의 네 개의 치아는 유중절치로, 보다 바깥쪽에 있는 네 개의 치아는 유측절치로 부른다. 유측절치가 유중절치보다 크기가 작다. 생후 6~8개월에 솟아난다.
유견치(乳犬齒, Deciduous canine)란 유측절치의 바깥쪽에 있는 치아로, 총 네 개가 있다. 생후 16~20개월에 솟아난다.
유구치(乳臼齒, Deciduous molar)란 유견치의 바깥쪽에 있는 치아로, 총 여덟 개가 있다. 안쪽의 치아는 제1 유구치, 바깥쪽의 치아는 제2 유구치라고 한다. 제1 유구치는 영구치의 어떠한 치아와도 다른 모습이다. 치아의 뿌리는 대구치처럼 세 개가 있지만, 겉으로 드러난 모습은 소구치에 가깝다. 제2 유구치는 영구치의 제1 대구치와 비슷한 모습이다. 생후 12~30개월에 솟아난다.
이에 비해 유치가 빠진 뒤에 솟아나는 치아를 영구치라고 말한다.
절치(切齒, Incisor)란 가장 앞쪽에 있는 총 여덟 개의 치아를 말한다. 유절치가 빠진 자리에서 그대로 솟아난다. 유절치보다 크기가 크기 때문에 유절치는 듬성듬성 솟아나 있으며, 절치가 자라나면서 그 자리를 채우게 된다. 만약 유절치 사이의 공간이 불충분하면 절치가 서로 겹치거나 삐뚤게 솟아나거나 덧니가 될 수 있다. 음식물을 자르는 역할을 하며, 심미적으로 중요한 역할을 하고, 발음할 때도 없어서 안된다. 가운데는 중절치, 바깥쪽은 측절치라고 한다.
견치(犬齒, Canine)란 절치의 바깥쪽에 있는 네 개의 치아를 말한다. 절치에 비해 가운데가 뾰족한 형상이라 흔히 송곳니라고 부른다. 음식물을 뜯는 역할을 하며, 심미적으로 굉장히 중요한 역할을 한다. 치아로 구성된 아치에서 견치가 두드러져 있기 때문이다. 치근의 길이가 치아 중에서 가장 길기 때문에 내구성도 뛰어난데, 그 이유는 견치가 음식물을 씹는 과정에서 가장 먼저 서로 접촉하면서 턱이 움직이는 경로를 안내하기 때문이다. 견치가 닳아버리거나 빠지면 음식을 씹는 방법부터가 달라진다.
소구치(小臼齒, Premolar)란 견치의 바깥쪽에 있는 여덟 개의 치아로, 작은 어금니라고 흔히 부른다. 중심쪽은 제1 소구치, 바깥쪽은 제2 소구치라 구분한다. 음식물을 잘게 부수는 역할을 한다. 소구치부터는 치아의 교두가 두 개 이상이 된다. 위턱의 소구치는 모두 교두가 두 개지만, 간혹 아래턱의 제2 소구치는 혀쪽 교두가 두 개인 3교두형이 나타나기도 한다.
대구치(大臼齒, Molar)란 가장 바깥쪽에 있는 열 두 개의 치아를 말한다. 중심쪽부터 순서대로 제1 대구치, 제2 대구치, 제3 대구치라고 하는데 제3 대구치는 흔히 사랑니라고 부른다. 음식물을 잘게 으깨는 역할을 한다. 위턱의 대구치는 교두가 네 개인 경우가 많으며 치근이 세 개인데, 아래턱의 대구치는 교두가 다섯 개인 경우가 많으며 치근이 두 개다. 위턱 제1 대구치의 혀쪽에는 다섯번째 작은 교두가 생기기도 하고, 위턱 제2 대구치는 혀쪽의 바깥쪽 교두가 퇴화하여 교두가 세 개인 것처럼 생기기도 한다. 아래턱 제1 대구치의 교두는 대충 사각형으로 네 개가 배치되고 바깥쪽에 하나 더 붙는 형태로 생겼으며, 제2 대구치의 교두 역시 비슷하나 바깥쪽의 다섯번째 교두가 퇴화한 4 교두형도 자주 나타난다. 제3 대구치의 형태는 다양하여, 잘 발달되어 제1대구치와 비슷한 경우도 있지만 퇴화하여 왜소해진 제2 대구치의 경우보다 더 작기도 하다.
도 7에서도 볼 수 있듯이 유치인지 영구치인지에 따라 크기와 모양이 다르다. 또한 전체 치아의 개수 또한 다르다. 이에 사용자의 치아가 유치인지 영구치인지 구별하여 증강 현실로 표시하면 보다 더 현실감을 느낄 수 있다. 하지만 이와 같은 정보는 얼굴을 촬영한 영상으로부터 추정하기에는 한계가 있다. 이에 사용자로부터 생년월일을 추가로 입력 받아서 활용할 수 있다.
도 8a는 유치가 나오는 시기와 빠지는 시기를 표로 정리한 도면이다. 도 8a를 참고하면 상악의 첫째 앞니(=유중절치)는 7~8개월에 나오고 6~7세 사이에 빠진다. 또한 상악의 둘째 앞니(=유측절치)는 8~9개월에 나오고 7~8세 사이에 빠진다. 또한 상악의 송곳니(=유견치)는 16~20개월에 나오고 10~12세 사이에 빠진다. 또한 상악의 첫째 어금니(=제1 유구치)는 12~16개월에 나오고 9~11세 사이에 빠진다. 또한 상악의 둘째 어금니(=제2 유구치)는 20~30개월에 나오고 10~12세 사이에 빠진다.
도 8a를 참고하면 하악의 첫째 앞니(=유중절치)는 6~7개월에 나오고 6~7세 사이에 빠진다. 또한 하악의 둘째 앞니(=유측절치)는 6~7개월에 나오고 7~8세 사이에 빠진다. 또한 하악의 송곳니(=유견치)는 16~20개월에 나오고 9~12세 사이에 빠진다. 또한 하악의 첫째 어금니(=제1 유구치)는 12~16개월에 나오고 9~11세 사이에 빠진다. 또한 하악의 둘째 어금니(=제2 유구치)는 20~30개월에 나오고 10~12세 사이에 빠진다.
도 8b를 참고하면 영구치가 나는 시기를 상악과 하악 별로 확인할 수 있다. 영구치의 경우 특별한 사정이 없으면 자연적으로 빠지지는 않으므로 나는 시기만 정리하였다.
도 8b를 참고하면 상악의 첫째 앞니(=중절치)는 7~8세에 사이에 나오고 하악의 첫째 앞니는 6~7세 사이에 나온다. 또한 상악의 둘째 앞니(=측절치)는 8~9세에 사이에 나오고 하악의 둘째 앞니(=측절치)는 7~8세 사이에 나온다. 또한 상악의 송곳니(=견치)는 11~12세에 사이에 나오고 하악의 송곳니(=견치)는는 9~10세 사이에 나온다.
또한 상악의 첫째 작은 어금니(=제1 소구치)는 10~11세에 사이에 나오고 하악의 첫째 작은 어금니(=제1 소구치)는 10~12세 사이에 나온다. 또한 상악의 둘째 작은 어금니(=제2 소구치)는 10~12세에 사이에 나오고 하악의 둘째 작은 어금니(=제2 소구치)는 10~12세 사이에 나온다.
또한 상악의 첫째 큰 어금니(=제1 대구치)는 6~7세에 사이에 나오고 하악의 첫째 큰 어금니(=제1 대구치)는 6~7세 사이에 나온다. 또한 상악의 둘째 큰 어금니(=제2 대구치)는 12~13세에 사이에 나오고 하악의 둘째 큰 어금니(=제2 대구치)는 11~13세 사이에 나온다. 또한 상악의 셋째 큰 어금니(=제3 대구치)는 17~21세에 사이에 나오고 하악의 셋째 큰 어금니(=제3 대구치)는 17~21세 사이에 나온다.
이처럼 같은 유치여도 위치에 따라 나오는 시기와 빠지는 시기에 차이가 있다. 또한 같은 앞니라고 하더라도 상악인지 하악인지에 따라 나오는 시기와 빠지는 시기에 차이가 있다. 또한 유치인지 영구치인지에 따라 치아의 개수에 차이가 있다.
이에 사용자로부터 생년월일을 입력 받으면 개월수나 년수를 역산하여 유치인지 영구치인지 구별하고, 유치더라도 현재 나온 치아와 나오지 않은 치아를 구별할 수 있다. 이를 통해 보다 정확한 개인화 된 치아 모델을 생성하고 이를 증강 현실로 표현할 수 있다.
본 발명에서 제공하는 증강 현실을 이용한 양치 가이드 정보 제공 방법은 스마트폰(200)의 어플리케이션 등을 통해서 제공될 수 있는데, 이 과정에서 사용자 프로필을 생성할 수 있다. 사용자 프로필을 바탕으로 지속적으로 양치 상황을 모니터링하고 피드백 할 수 있다. 이 때 사용자 프로필을 생성하는 과정에서 생년월일, 성별, 키, 몸무게, 치아 개수, 치아의 위치, 충치 개수, 충치의 위치 등의 정보를 입력 받을 수 있다.
또한 프로필을 생성하는 과정에서 입을 벌리고 치아를 촬영한 사진을 입력 받아 충치 여부 등을 개인화 된 치아 모델에 반영할 수 있다. 치아가 난 부위, 빠진 부위, 충치가 있는 부위 등의 정보를 반영하여 개인화 된 가이드 정보의 생성도 가능하다.
예를 들면 치아가 빠진 부위는 칫솔질을 하는 가이드 정보에서 생략하거나 충치가 있는 부위는 칫솔질을 보다 더 많이 더 오래 하도록 가이드 정보를 맞춤화 해서 생성할 수 있다. 즉 개인화 된 치아 모델을 바탕으로 개인화 된 가이드 정보의 생성이 가능하다.
해부학적 정보와 사용자로부터 입력 받은 정보를 바탕으로 치아의 위치, 크기, 개수 등을 반영한 개인화 된 치아 모델을 생성하는 과정에서 치아의 배열도 추가적으로 더 반영할 수 있다. 도 9a 내지 도 9c에는 이와 같은 치아의 배열이 예시되어 있다.
도 9a를 참고하면 사각형 형태의 치열궁(Square arch)을 볼 수 있다. 또한 도 9b에서는 계란형 형태의 치열궁(Oval arch)을 볼 수 있다. 마지막으로 도 9c에서는 뽀족형 형태의 치열궁(Triangular arch)을 볼 수 있다. 각각 어금니의 라인과 앞니의 라인이 이루는 각도를 기준으로 크게 사각형, 계란형, 뽀족형(=삼각형)으로 구분을 한다.
2010년도의 한 통계에 따르면, 계란형이 44%로 가장 많았으며 다음으로 사각형이 30%, 뾰족형이 26%로 분석됐다. 또한 연령별 치열궁을 비교해 본 결과 20대 이하에서는 계란형은 48%, 사각형은 28%, 뾰족형은 24%로 나타났으며, 20대는 계란형이 42%, 사각형 31%, 뾰족형 27%, 30대는 계란형이 40%, 사각형이 35%, 뾰족형이 25%로 30대 이하의 연령층에는 계란형이 많이 분포되어 있었다. 이에 비해 40대에서는 사각형 35%, 뾰족형 34%, 계란형 31%로 나타나 젊은층에 비해 사각형 치열궁이 많고, 계란형 치열궁이 적어 한국인의 치열형태가 점차 서구화되고 있는 것으로 나타났다.
이처럼 연령대에 따라 치열궁의 형태도 다른 특성을 보인다. 특히 치열궁은 턱 선의 라인과 밀접한 관계를 가지므로 턱 선의 해부학적 정보로부터 치열궁의 형태를 추정할 수 있다.
또한 도 10처럼 개인화 된 치아 모델을 생성할 때, 해당 사용자의 치과 병원의 서버로부터 X-Ray 사진 등을 수신하고 이를 바탕으로 보다 정확한 치아 모델을 생성할 수 있다. 어린이의 경우 지속적인 치아 관리가 필요한 만큼 병원과의 연계를 통해 보다 정확한 치아 모델을 생성하고, 이를 바탕으로 개인화 된 가이드 정보를 제공할 수 있다.
특히 가이드 정보를 생성할 때 담당 의사의 의견을 반영할 수 있다. 예를 들면 담당 의사가 특정 부위는 더 집중적으로 양치하도록 가이드 정보를 생성할 때 각 부위에 따라 가중치를 부여할 수 있다.
도 11a 내지 도 11b는 도 2의 증강 현실을 이용하여 치아 모델을 표시하는 단계(S1300)를 설명하기 위한 예시도이다.
도 11a를 참고하면, 사용자를 촬영한 이미지(210) 위에 가상의 치아 이미지(220)가 오버레이 되어 표시된 것을 볼 수 있다. 사용자가 입을 다물고 있는 상태더라도 가상의 치아 이미지(220)를 증강 현실로 표현함으로써, 양치질을 하는 과정동안 치아의 상태 변화를 시각화 해서 보여줄 수 있다.
특히 도 11a에서 볼 수 있듯이 사용자가 고개를 오른쪽으로 기울이면 치아의 위치도 같이 기울여서 표현된다. 증강 현실이므로 사용자의 얼굴 윤곽, 턱 선 등을 바탕으로 해부학적 정보와 결합하여 치아의 위치를 추정하고 해당 위치에 개인화 된 치아 모델을 표시할 수 있다.
이를 통해 단순히 거울을 보면서 양치를 하는 방법 또는 단순히 재생만 되는 동영상 컨텐츠를 보면서 양치를 하는 방법에 비해 현실감 있는 양치 가이드 정보를 사용자에게 제공할 수 있다.
또한, 가상의 치아 이미지(220)와 가상의 칫솔 이미지(230) 외에도 추가적인 이미지를 증강 현실로 함께 표현할 수 있다. 도 11a에서는 양치를 하는 과정을 게임과 결합하여 게임 캐릭터의 이미지(240)를 함께 표시한 것을 볼 수 있다.
또한 도 11b에서는 사용자의 모습을 뽀로로 캐릭터의 이미지(250)로 교체하여 표시한 증강 현실을 볼 수 있다. 도 11b에서는 사용자의 모습이 모두 뽀로로 캐릭터의 이미지(250)로 바뀌었지만, 전체가 아닌 부분도 가능하다. 예를 들면 사용자의 이미지(210)에 뽀로로의 안경과 모자만 합성해서 증강 현실로 보여줄 수 있다. 뽀로로 이외에도 어린이들이 좋아하는 캐릭터로 증강 현실을 구현해서 양치질 하는 모습을 보여주면 양치가 하나의 즐거운 놀이로 아이들에게 자리 잡을 수 있다.
도 11b에서는 뽀로로 캐릭터 이미지(250)만 도시 되어 있으나 그 외에도 다양한 캐릭터의 이미지의 사용이 가능하다. 특히 이러한 캐릭터 이미지는 저작권이 있으므로 계약을 통해 라이센스를 받고 유상으로 캐릭터 이미지를 어플리케이션 내에서 판매할 수도 있다. 이를 통해 부분적인 유료화로 수익을 얻을 수도 있다.
도 12는 도 2의 양치의 진행에 따라 가이드 정보를 제공하는 단계(S1400)를 설명하기 위한 예시도이다.
가이드 정보는 치아를 일정한 구역으로 나누고 각 구역별로 양치가 진행된 정도를 색상 등으로 표시한 양치의 진행 정보를 포함할 수 있다. 예를 들면 하악을 기준으로 왼쪽 어금니를 제1 구역, 앞니 부분을 제2 구역, 오른쪽 어금니를 제3 구역으로 나누고, 제1 구역의 앞면, 위면, 뒷면으로 3부분과 제2 구역의 앞면, 뒷면의 2부분과 제3 구역의 위면, 뒷면으로 3부분, 총 8부분을 색상으로 표현할 수 있다.
양치가 진행됨에 따라 8부분의 색상을 빨간색 > 노란색 > 연두색으로 변화시켜 가면서 모든 부분이 골고루 양치가 진행될 수 있도록 사용자에게 가이드 정보를 제공할 수 있다. 이를 통해서 특정 부위만 양치를 하는 습관을 교정할 수 있다.
또한 가이드 정보는 양치가 필요한 구역을 안내하는 정보가 포함될 수 있다. 예를 들면 양치질을 게임과 결합하여 특정 구역의 치아에 세균을 오버레이 해서 증강 현실로 표현할 수 있다. 사용자가 해당 구역을 양치하면 시각 효과 및 청각 효과와 함께 해당 세균을 없애고 점수를 얻도록 화면을 구성할 수 있다. 세균 외에도 음식 찌꺼기를 시각화한 이미지를 증강 현실로 표현할 수도 있다.
그러면 아이는 세균이나 음식 찌꺼기가 나타난 부분을 칫솔질 하는 것만으로도 치아 전체를 골고루 양치하도록 유도할 수 있다. 이 과정에서 충치가 있는 부위는 세균이 더 자주 나타나도록 게임을 구성하고, 치아가 없는 부분은 이를 생략하도록 게임을 구성할 수 있다. 이렇게 맞춤화 된 가이드 정보를 통해 올바른 양치 습관을 길러줄 수 있다.
또한 가이드 정보는 칫솔질의 방향과 속도 등을 안내하는 정보가 포함될 수 있다. 화면에 증강 현실로 표현되는 가상의 칫솔의 이미지(230)는 사용자가 칫솔질을 하면 그에 맞춰서 움직이는 방법으로 표시될 수 있으나, 그 외에도 칫솔질을 시작하기 전에는 가이드 정보를 표시할 수도 있다.
예를 들면 "앞니를 3번 쓱싹쓱싹 닦아볼까요~"하는 음성 안내와 함께 가상의 칫솔 이미지가 앞니를 위아래로 닦는 모습을 표시할 수 있다. 아이가 칫솔질 하는 모습을 촬영하고 영상 분석을 통해, 아이가 가이드 정보를 따라서 칫솔질을 하면 "잘 했어요~"하는 피드백을 제공할 수 있다.
또한 사용자의 나이 및 소근육 발달 상황을 고려하여 가상의 칫솔의 이미지(230)를 통한 가이드 정보를 다르게 표현할 수 있다. 예를 들면, 사용자의 나이가 3세~8세인 경우에는 간편한 가로로 양치하는 칫솔법(=회전법, 폰즈법)을 주로 안내하고, 사용자의 나이가 8세 이상인 경우에는 복잡한 위아래로 양치하는 칫솔법(바스법, 변형 바스법)을 주로 안내할 수 있다.
이때 아이가 실제로 칫솔질을 하는 과정은 영상 분석을 통해 움직임의 방향과 움직임의 거리 등을 이용하여 판단할 수 있다. 하지만 추가적으로 도 12에서 표시한 것처럼 칫솔 내부에 3축 가속 센서를 내장하여 칫솔의 이동에 관한 정보를 스마트폰(200)에서 무선 통신을 통해 수신하고 이를 분석하여 판단할 수도 있다.
도 12를 참고하면, 칫솔 손잡이에서 칫솔 머리 부분의 방향을 y축, 칫솔모와 평행한 방향을 z축, y축과 z축에 직교하는 나머지 한 축을 x축으로 정의할 수 있다. 그리고 x축, y축, z축 각 방향의 이동과 함께, x축 방향의 회전과 y축 방향의 회전에 관한 정보를 추가로 더 수집하여 칫솔질의 방향을 판단할 수 있다.
이때 사용자가 칫솔을 쥐고 있는 방향을 판단하여 오른손잡이인지 왼손잡이인지에 따라 칫솔의 방향과 칫솔질을 하고 있는 치아의 부위를 판단할 수 있다. 또한 사용자가 칫솔을 들고 있는 손과 칫솔 본체의 각도를 계산하여 가상의 칫솔 이미지(230)의 각도를 결정할 수 있다.
이때 칫솔과 스마트폰(200) 사이의 통신 방식은 WiFi 통신, 블루투스 통신, 지그비 통신, 3G 통신, LTE 통신 또는 NFC 통신 등 다양한 통신 방식을 사용할 수 있다. 즉, 무선 신호를 이용하여 통신을 수행하는 모든 통신 방식을 적용할 수 있다.
또한 가이드 정보는 스마트폰(200)을 이용하여 시각적 및 청각적으로 제공되는 것 이외에도 칫솔을 통해서 촉각적으로 제공될 수 있다. 예를 들면 사용자가 스마트폰(200)의 화면에 표시된 칫솔의 방향과 횟수 및 시간을 잘 따라 하면 칫솔에 진동을 발생시키도록 제어 신호를 스마트폰(200)에서 송신하고, 칫솔은 이를 수신하여 사용자에게 진동을 통한 피드백을 제공할 수 있다. 반대로 사용자가 가이드 정보를 잘 따라 하지 못하면 칫솔에 햅틱 효과를 주어 피드백을 제공할 수 있다.
그 외에도 가이드 정보는 다양한 방식으로 증강 현실을 통해 화면에 표시될 수 있다. 예를 들면, 사용자가 양치 해야 할 영역에는 가상의 칫솔 이미지(230)를 위치시키고 사용자가 현재 양치하고 있는 영역에 가상의 효과(양치거품, 치아 색깔 변화, 별 등)를 위치시킨다. 그리고 두 영역이 일치하는 경우에는 가상의 칫솔 이미지(230)는 사라지도록 가이드 정보를 구성할 수 있다.
또한 스마트폰(200)은 칫솔과의 통신을 통해 칫솔에 남아있는 배터리 잔량을 화면에 표시하고 배터리 교체가 필요한 경우 사전에 사용자에게 안내하는 정보를 제공할 수 있다. 그 외에도 영상 분석 등을 통해 칫솔의 마모 정도를 분석하고 칫솔의 교체가 필요한 경우 사전에 사용자에게 안내하는 정보를 제공할 수 있다.
그 외에도 양치질이 끝나면 가상의 컵 이미지를 증강 현실에 표시하여 입 안을 헹구는 가이드 정보를 사용자에게 시각적으로 제공할 수 있다. 또한 양치가 종료된 후에 입 주변에 치약이 묻어있는 경우 영상 분석을 통해 이를 감지하여 입 주변을 씻도록 안내하는 정보를 제공할 수 있다.
또한 증강 현실을 통해 사용자의 배경을 바꾸어 화장실이 아닌 가상의 공간, 예를 들면 바닷가나 학교, 놀이터 등을 표시하여 색다른 공간에서 양치하는 듯한 느낌이 들도록 할 수 있다. 이를 통해 싫증을 잘 내는 아이들의 흥미를 지속적으로 불러 일으킬 수 있다.
이러한 증강 현실을 이용한 가이드 정보의 제공은 의료 정보를 제공할 때도 활용할 수 있다. 예를 들면 기존 치과에서 썩은 치아를 보여줄 때 엑스레이 사진으로 설명을 했지만, 앞으로는 썩은 치아의 정보가 화면에 비친 얼굴에서 가상의 치아가 오버레이 되어 썩은 치아를 표시할 수 있다.
증강 현실을 이용한 가이드 정보의 제공은 치아 뿐만 아니라 다른 신체 부위로도 확장이 가능하다. 예를 들면 치과가 아닌 소아과에서 아이에게 감기에 대해 설명할 때 X-Ray 사진 등을 이용하는 것보다 개인화 된 가상의 기관지 이미지를 생성하여 아이의 모습에 오버레이 해서 보여주면서 감기의 진행 과정 등을 설명할 수 있다. 이러한 설명과 함께 아이에게 감기 주사를 놓는다면 아이가 병원에 가는 일, 주사 맞는 일을 하나의 병원 놀이로 생각하고 부담을 갖지 않도록 유도할 수 있다.
이처럼 다양한 신체 부위에 대해 해부학적 정보를 이용하여 개인화 된 신체 부위의 모델을 생성하고, 이를 증강 현실을 이용하여 표시하면서 관련된 컨텐츠를 제공하면 사용자에게 해당 컨텐츠에 대한 이해도와 집중도를 높이는 효과가 있다.
또한 사용자가 화면에서 증강 현실로 표현된 치아의 이미지(230)를 터치하면 해당 치아의 기능, 영구치 여부 등 교육용 컨텐츠를 추가로 화면에 더 표시할 수 있다. 또한 사용자의 구강 상태(교정 여부, 미백여부, 발치, 크기, 개수 등)을 분석하여 칫솔이나 치약에 관한 정보를 제공할 수 있다. 이를 통해 광고 등으로 활용하여 수익을 얻을 수도 있다.
또한 가상의 칫솔의 이미지(230)도 동일한 이미지만 사용하는 것이 아니라 얼굴 인식을 통해 예측되거나 사용자가 입력한 나이, 성별, 신장, 몸무게에 따라 칫솔의 색상과 크기를 다르게 할 수 있다. 어린이의 경우 캐릭터 칫솔의 이미지(230)를 화면에 표시할 수도 있다.
도 13은 도 2의 양치가 종료되면 모니터링 결과를 제공하는 단계(S1500)를 설명하기 위한 예시도이다.
도 13을 참고하면 2017년 6월 25일 일요일 저녁 8시 10분에 수행한 양치를 모니터링 한 결과가 표시된 것을 볼 수 있다. 앞서 설명한 것처럼 하악을 기준으로 왼쪽 어금니를 제1 구역, 앞니 부분을 제2 구역, 오른쪽 어금니를 제3 구역으로 나누고, 제1 구역의 앞면, 위면, 뒷면으로 3부분과 제2 구역의 앞면, 뒷면의 2부분과 제3 구역의 위면, 뒷면으로 3부분, 총 8부분을 색상으로 표현할 수 있다.
상악의 경우에도 마찬가지로 총 8부분이 표시되어 있고, 양치질을 잘 수행한 부분은 하얀색으로, 양치질의 횟수나 시간 등이 부족한 부분은 노란색으로 표시해서 양치질의 결과를 사용자에게 직관적으로 보여줄 수 있다.
또한 사용자가 아직 유치인 경우에는 하악을 기준으로 3개의 구역인 아닌 좌우의 2개의 구역으로 표시해서 모니터링 결과를 단순하게 표현할 수 있다. 앞서 어린아이의 경우 나이에 따라 칫솔질을 가로로 양치하는 방법(=회전법, 폰즈법)으로 안내하므로 양치의 결과도 좌/우로 각각 좌의 안쪽과 바깥쪽 우의 안쪽과 바깥쪽 총 4개의 부분으로 나누어서 표시할 수 있다.
*영구치인 경우에는 하악을 기준으로 총 8개의 부분을 모니터링 결과로 제공하나 어린이의 경우 유치인 경우에는 하악을 기준으로 총 4개의 부분으로 모니터링 결과를 단순화 해서 제공할 수 있다.
다만 이는 발명의 이해를 돕기 위한 일 예이므로 그 외에도 다양하게 치아를 구역으로 나누고 각 구역을 부분으로 세분화해서 양치의 결과를 제공할 수 있다. 또한 영역의 구분 없이 각 치아 별로 모니터링 결과를 제공할 수 있다. 뿐만 아니라 각 치아 및 치아와 치아 사이도 영역으로 구분하여 모니터링 결과를 제공할 수 있다.
또한 도 13에는 1회의 양치 결과만을 표시하였으나 이를 누적해서 여러 날에 걸친 양치 결과를 색상으로 표현한다거나 각각의 양치를 수행한 정도를 점수로 환산하고 이를 그래프 형태로 제공할 수도 있다. 단순 색상 외에도 "이렇게 양치하다가는 아래 어금니에 충치가 생길 수도 있어요~"와 같은 청각적 모니터링 결과도 함께 제공할 수 있다.
도 14는 본 발명의 일 실시예에 따른 증강 현실을 이용한 양치 가이드 정보 제공 장치의 하드웨어 구성도이다.
도 14를 참고하면 양치 가이드 정보 제공 장치(200)는 하나 이상의 프로세서(510), 메모리(520), 스토리지(560) 및 인터페이스(570)을 포함할 수 있다. 프로세서(510), 메모리(520), 스토리지(560) 및 인터페이스(570)는 시스템 버스(550)를 통하여 데이터를 송수신한다.
프로세서(510)는 메모리(520)에 로드 된 컴퓨터 프로그램을 실행하고, 메모리(520)는 상기 컴퓨터 프로그램을 스토리지(560)에서 로드(load) 한다. 상기 컴퓨터 프로그램은, 영상 촬영 오퍼레이션(521), 치아 모델 생성 오퍼레이션(523) 및 가이드 정보 제공 오퍼레이션(525)을 포함할 수 있다.
영상 촬영 오퍼레이션(521)은 미도시 된 카메라를 통해서 양치질을 하려는 사용자의 영상을 촬영한다. 이때 사용자는 얼굴 부분을 포함한 상반신을 촬영하는 것이 바람직하다. 영상 촬영 오퍼레이션(521)이 촬영한 영상을 실시간으로 분석하고, 해당 영상에 개인화 된 치아 모델과 개인화 된 가이드 정보를 제공하는 것이 본 발명의 목적이다.
이를 위해서 촬영한 영상을 치아 모델 생성 오퍼레이션(523)이 분석한다. 일차적으로 얼굴을 감지하고, 얼굴의 윤곽선과 랜드마크 등을 식별하고 해부학적 정보를 이용하여 치아의 위치와 크기 및 배열을 추정한다.
또한 스토리지(560)에 저장된 개인화 정보(561)를 참고하여 이차적으로 영구치 여부, 충치 여부, 치아의 개수, 치아의 색상 등을 반영하여 개인화 된 치아 모델을 생성하고 시스템 버스(550)를 통해 스토리지(560)의 치아 모델(563)로 저장한다.
이때 사용되는 개인화 정보는 사전에 인터페이스(570)를 통해 사용자로부터 입력 받은 것으로, 사용자의 생년월일, 성별, 키, 몸무게 등을 포함한다. 그 외에도 사용자가 직접 촬영한 치아의 이미지나 치과 병원의 서버로부터 제공받은 치아의 X-Ray 이미지 등을 포함할 수 있다.
개인화 된 치아 모델(563)은 앞서 설명한 것처럼 치아의 위치, 크기, 배열, 영구치 여부, 충치 여부, 치아 개수, 충치 개수 등의 정보를 포함한다. 이를 통해 각 사용자마다 서로 다른 가상의 치아 이미지를 화면에 증강 현실을 통해서 표시할 수 있다.
가이드 정보 제공 오퍼레이션(525)은 촬영한 영상을 사용자에게 제공하면서 앞서 생성한 개인화 된 치아 모델(563)에 맞는 개인화 된 가이드 정보(56)를 함께 제공한다. 개인화 된 가이드 정보(563)는 각 개인의 치아 상태에 따라 양치가 진행된 정도, 칫솔질의 방향과 횟수 및 시간 등에 대한 피드백 정보 등을 포함할 수 있다.
도 14의 각 구성 요소는 소프트웨어(Software) 또는, FPGA(Field Programmable Gate Array)나 ASIC(Application-Specific Integrated Circuit)와 같은 하드웨어(Hardware)를 의미할 수 있다. 그렇지만, 상기 구성 요소들은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 어드레싱(Addressing) 할 수 있는 저장 매체에 있도록 구성될 수도 있고, 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 상기 구성 요소들 안에서 제공되는 기능은 더 세분된 구성 요소에 의하여 구현될 수 있으며, 복수의 구성 요소들을 합하여 특정한 기능을 수행하는 하나의 구성 요소로 구현될 수도 있다.
지금까지 설명된 본 발명의 실시예에 따른 방법들은 컴퓨터가 읽을 수 있는 코드로 구현된 컴퓨터프로그램의 실행에 의하여 수행될 수 있다. 상기 컴퓨터프로그램은 인터넷 등의 네트워크를 통하여 제1 컴퓨팅 장치로부터 제2 컴퓨팅 장치에 전송되어 상기 제2 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 제2 컴퓨팅 장치에서 사용될 수 있다. 상기 제1 컴퓨팅 장치 및 상기 제2 컴퓨팅 장치는, 서버 장치, 클라우드 서비스를 위한 서버 풀에 속한 물리 서버, 데스크탑 피씨와 같은 고정식 컴퓨팅 장치를 모두 포함한다.
상기 컴퓨터프로그램은 DVD-ROM, 플래시 메모리 장치 등의 기록매체에 저장된 것일 수도 있다.
*이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다.

Claims (21)

  1. 사용자 단말이, 사용자를 촬영한 영상을 분석하여, 상기 사용자의 얼굴을 인식하고 상기 얼굴의 랜드마크를 식별하는 단계;
    상기 사용자 단말이, 상기 랜드마크를 이용하여, 상기 사용자의 개인화 된 치아 모델을 생성하는 단계;
    상기 사용자 단말이, 상기 치아 모델을 이용하여, 가상의 치아 이미지를 증강 현실로 제공하는 단계; 및
    상기 사용자 단말이, 상기 치아 모델을 이용하여, 양치 가이드 정보를 제공하는 단계를 포함하는,
    양치 가이드 정보 제공 방법.
  2. 제1항에 있어서,
    상기 얼굴의 랜드마크를 식별하는 단계는,
    상기 사용자의 눈썹, 눈, 코, 양 볼, 입, 귀, 턱 선 중에서 하나 이상을 랜드마크로 식별하는 단계를 포함하는,
    양치 가이드 정보 제공 방법.
  3. 제1항에 있어서,
    상기 사용자의 개인화 된 치아 모델을 생성하는 단계는,
    상기 랜드마크를 이용하여, 상기 사용자의 치아의 위치, 크기, 배열 중에서 하나 이상을 추정하는 단계를 포함하는,
    양치 가이드 정보 제공 방법.
  4. 제3항에 있어서,
    상기 사용자의 치아의 위치, 크기, 배열 중에서 하나 이상을 추정하는 단계는,
    상기 사용자의 턱 선과 오른쪽 귀가 만나는 위치와 상기 사용자의 입술 중앙의 위치의 중점 부분에 하악 오른쪽 어금니가 위치하는 것으로 추정하는 단계;
    상기 사용자의 턱 선과 왼쪽 귀가 만나는 위치와 상기 사용자의 입술 중앙의 위치의 중점 부분에 하악 왼쪽 어금니가 위치하는 것으로 추정하는 단계; 및
    상기 사용자의 입술 중앙의 위치에 앞니가 위치하는 것으로 추정하는 단계를 포함하는,
    양치 가이드 정보 제공 방법.
  5. 제3항에 있어서,
    상기 사용자의 치아의 위치, 크기, 배열 중에서 하나 이상을 추정하는 단계는,
    상기 사용자의 턱 선으로부터 상기 사용자의 턱의 크기를 추정하는 단계; 및
    상기 턱의 크기를 이용하여, 상기 사용자의 치아의 크기를 추정하는 단계를 포함하는,
    양치 가이드 정보 제공 방법.
  6. 제3항에 있어서,
    상기 사용자의 치아의 위치, 크기, 배열 중에서 하나 이상을 추정하는 단계는,
    상기 사용자의 턱 선으로부터 상기 사용자의 턱의 모양을 추정하는 단계; 및
    상기 턱의 모양을 이용하여, 사각형 치열궁, 계란형 치열궁, 뽀족형 치열궁 중에서 어느 하나로 상기 사용자의 치아의 배열을 추정하는 단계를 포함하는,
    양치 가이드 정보 제공 방법.
  7. 제1항에 있어서,
    상기 사용자의 개인화 된 치아 모델을 생성하는 단계는,
    상기 사용자로부터 생년월일, 성별, 키, 몸무게, 치아의 개수, 치아의 위치, 충치의 개수, 충치의 위치 중에서 하나 이상을 포함하는 개인화 정보를 입력 받는 단계; 및
    상기 개인화 정보를 이용하여, 상기 사용자의 개인화 된 치아 모델을 수정하는 단계를 포함하는,
    양치 가이드 정보 제공 방법.
  8. 제7항에 있어서,
    상기 사용자의 개인화 된 치아 모델을 수정하는 단계는,
    상기 사용자의 생년월일로부터 개월수 및 년수를 역산하고, 상기 개월수 및 년수에 기초하여 영구치 여부를 판단하는 단계; 및
    유치인 경우 최대 20개 이내로, 영구치인 경우 최대 28개 이내로 상기 치아 모델에 포함된 치아의 개수를 제한하는 단계를 포함하는,
    양치 가이드 정보 제공 방법.
  9. 제7항에 있어서,
    상기 사용자의 개인화 된 치아 모델을 수정하는 단계는,
    상기 사용자의 생년월일로부터 개월수 및 년수를 역산하고, 상기 개월수 및 년수에 기초하여 영구치 여부를 판단하는 단계; 및
    상기 영구치 여부의 판단 결과에 따라 상기 치아 모델에 포함된 치아의 크기, 모양 중에서 하나 이상을 수정하는 단계를 포함하는,
    양치 가이드 정보 제공 방법.
  10. 제7항에 있어서,
    상기 사용자의 개인화 된 치아 모델을 수정하는 단계는,
    상기 성별, 키, 나이, 몸무게 중에서 하나 이상을 이용하여 상기 치아 모델에 포함된 치아의 개수, 크기, 모양 중에서 하나 이상을 수정하는 단계를 포함하는,
    양치 가이드 정보 제공 방법.
  11. 제1항에 있어서,
    상기 가상의 치아 이미지를 증강 현실로 제공하는 단계는,
    상기 치아 모델에서 제1 치아가 아직 나지 않았거나 빠진 경우, 상기 가상의 치아 이미지에서 상기 제1 치아에 해당하는 위치는 치아를 표시하지 않는 단계를 포함하는,
    양치 가이드 정보 제공 방법.
  12. 제1항에 있어서,
    상기 가상의 치아 이미지를 증강 현실로 제공하는 단계는,
    가상의 칫솔 이미지를 증강 현실로 더 제공하거나 가상의 치아 이미지를 제공하는 대신 가상의 칫솔 이미지만을 제공하는 단계를 포함하는,
    양치 가이드 정보 제공 방법.
  13. 제12항에 있어서,
    상기 가상의 칫솔 이미지를 증강 현실로 더 제공하거나 가상의 치아 이미지를 제공하는 대신 가상의 칫솔 이미지만을 제공하는 단계는,
    상기 촬영한 영상을 분석하여, 상기 사용자가 칫솔을 쥐고 있는 손과 그 각도를 추정하는 단계; 및
    상기 손과 그 각도에 기초하여, 상기 가상의 칫솔 이미지의 위치와 각도를 증강 현실로 표시하는 단계를 포함하는,
    양치 가이드 정보 제공 방법.
  14. 제1항에 있어서,
    상기 양치 가이드 정보를 제공하는 단계는,
    상기 치아 모델을 기 설정된 개수의 부분으로 나누고, 각 부분별로 양치가 진행된 정도를 색상으로 표시하는 단계를 포함하는,
    양치 가이드 정보 제공 방법.
  15. 제14항에 있어서,
    상기 각 부분별로 양치가 진행된 정도를 색상으로 표시하는 단계는,
    유치의 경우, 왼쪽 치아의 앞면과 뒷면, 오른쪽 치아의 앞면과 뒷면, 총 8개 부분으로 상기 치아 모델을 나누는 단계를 포함하는,
    양치 가이드 정보 제공 방법.
  16. 제14항에 있어서,
    상기 각 부분별로 양치가 진행된 정도를 색상으로 표시하는 단계는,
    영구치의 경우, 왼쪽 어금니의 앞면과 윗면과 뒷면, 앞니의 앞면과 뒷면, 오른쪽 어금니의 앞면과 윗면과 뒷면, 총 16개 부분으로 상기 치아 모델을 나누는 단계를 포함하는,
    양치 가이드 정보 제공 방법.
  17. 제1항에 있어서,
    상기 양치 가이드 정보를 제공하는 단계는,
    상기 치아 모델을 기 설정된 개수의 부분으로 나누고, 각 부분별로 칫솔질이 필요한 횟수, 방향, 시간 중에서 하나 이상을 시각적 또는 청각적으로 안내하는 단계를 포함하는,
    양치 가이드 정보 제공 방법.
  18. 제17항에 있어서,
    상기 각 부분별로 칫솔질이 필요한 횟수, 방향, 시간 중에서 하나 이상을 시각적 또는 청각적으로 안내하는 단계는,
    상기 치아 모델에서 제1 치아가 아직 나지 않았거나 빠진 경우, 상기 제1 치아에 해당하는 위치는 안내를 하지 않는 단계를 포함하는,
    양치 가이드 정보 제공 방법.
  19. 제17항에 있어서,
    상기 각 부분별로 칫솔질이 필요한 횟수, 방향, 시간 중에서 하나 이상을 시각적 또는 청각적으로 안내하는 단계는,
    상기 사용자가 기 설정된 나이보다 어린 경우에는 회전법 또는 폰즈법의 가로 방향의 칫솔질로 안내를 하고, 그 외에는 바스법 또는 변형 바스법의 위아래 방향의 칫솔질로 안내하는 단계를 포함하는,
    양치 가이드 정보 제공 방법.
  20. 하드웨어와 결합되어 제1항 내지 제19항 중 어느 한 항에 따른 양치 가이드 정보 제공 방법을 실행하도록 컴퓨터로 판독 가능한 매체에 저장된 컴퓨터 프로그램.
  21. 컨텐츠 제공 장치가, 사용자를 촬영한 영상을 분석하여, 상기 사용자의 제1 부위를 인식하고 상기 제1 부위의 랜드마크를 식별하는 단계;
    상기 컨텐츠 제공 장치가, 상기 랜드마크를 이용하여, 상기 사용자의 개인화 된 제1 부위 모델을 생성하는 단계;
    상기 컨텐츠 제공 장치가, 상기 제1 부위 모델을 이용하여, 가상의 제1 부위 이미지를 증강 현실로 제공하는 단계; 및
    상기 컨텐츠 제공 장치가, 상기 제1 부위 모델을 이용하여, 상기 제1 부위와 관련된 컨텐츠를 제공하는 단계를 포함하는,
    증강 현실을 이용한 컨텐츠 제공 방법.
PCT/KR2017/011695 2017-07-27 2017-10-20 증강 현실을 이용한 양치 가이드 정보 제공 방법 및 장치 WO2019022302A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201780094316.3A CN111033554A (zh) 2017-07-27 2017-10-20 利用增强现实的刷牙指南信息提供方法以及装置
JP2020514477A JP6869586B2 (ja) 2017-07-27 2017-10-20 増強現実を用いた歯磨きガイド情報の提供方法および装置
US16/086,283 US11482125B2 (en) 2017-07-27 2017-10-20 Method and apparatus for providing tooth-brushing guide information using augmented reality
US17/935,374 US20230017611A1 (en) 2017-07-27 2022-09-26 Method and apparatus for providing tooth-brushing guide information using augmented reality

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0095670 2017-07-27
KR1020170095670A KR102006610B1 (ko) 2017-07-27 2017-07-27 증강 현실을 이용한 양치 가이드 정보 제공 방법 및 장치

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/086,283 A-371-Of-International US11482125B2 (en) 2017-07-27 2017-10-20 Method and apparatus for providing tooth-brushing guide information using augmented reality
US17/935,374 Continuation US20230017611A1 (en) 2017-07-27 2022-09-26 Method and apparatus for providing tooth-brushing guide information using augmented reality

Publications (1)

Publication Number Publication Date
WO2019022302A1 true WO2019022302A1 (ko) 2019-01-31

Family

ID=65040215

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/011695 WO2019022302A1 (ko) 2017-07-27 2017-10-20 증강 현실을 이용한 양치 가이드 정보 제공 방법 및 장치

Country Status (5)

Country Link
US (2) US11482125B2 (ko)
JP (1) JP6869586B2 (ko)
KR (1) KR102006610B1 (ko)
CN (1) CN111033554A (ko)
WO (1) WO2019022302A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436734A (zh) * 2020-03-23 2021-09-24 北京好啦科技有限公司 基于人脸结构定位的牙齿健康评估方法、设备和存储介质
WO2021229139A1 (en) * 2020-05-11 2021-11-18 Dentview Oy A device for instructing oral hygiene
GB2623293A (en) * 2022-10-03 2024-04-17 See It Click It Buy It Ltd Oral hygiene apparatus

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2753629C1 (ru) * 2017-12-28 2021-08-18 Колгейт-Палмолив Компани Системы для гигиены полости рта
WO2021091362A1 (ko) * 2019-11-07 2021-05-14 주식회사 블루레오 어플리케이션과 연동 가능한 전동칫솔을 이용한 구강관리 방법
JP7336688B2 (ja) * 2020-02-07 2023-09-01 パナソニックＩｐマネジメント株式会社 歯ブラシシステム、および歯ブラシシステム用プログラム
KR102202551B1 (ko) * 2020-03-06 2021-02-16 주식회사 미래테크원 양치 정보 제공 방법 및 이를 구현하는 양치 정보 제공 시스템
JP6960503B1 (ja) * 2020-05-29 2021-11-05 株式会社ポケモン ゲームプログラム、方法、情報処理装置、システム
CN117612744A (zh) * 2023-04-27 2024-02-27 广州星际悦动股份有限公司 口腔护理结果显示方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004283594A (ja) * 2003-03-21 2004-10-14 Sirona Dental Systems Gmbh データを格納するためのデータベース、歯牙モデル、該歯牙モデルの設計方法ならびに歯牙補綴部材
KR20120013369A (ko) * 2009-05-08 2012-02-14 더 질레트 컴퍼니 개인 케어 시스템, 제품 및 방법
KR101565516B1 (ko) * 2015-03-16 2015-11-03 김성훈 칫솔 부착용 패치와 이를 이용한 양치 학습방법
KR20160083448A (ko) * 2014-12-31 2016-07-12 김주현 영유아용 양치방법을 제공하는 온라인 영상교육 시스템 및 방법
KR20160103468A (ko) * 2015-02-24 2016-09-01 주식회사 포워드벤처스 치아 관리 디스플레이 시스템 및 치아 관리 디스플레이 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2189198B1 (de) * 2008-11-20 2017-06-21 Braun GmbH Körperpflegegerät des persönlichen Bedarfs
CA2708911C (en) 2009-07-09 2016-06-28 Accenture Global Services Gmbh Marketing model determination system
KR101397712B1 (ko) * 2010-07-27 2014-06-27 주식회사 팬택 증강 현실 객체 인식 가이드 제공 장치 및 방법
KR20130092273A (ko) 2012-02-10 2013-08-20 권귀석 모션인식 양치 시스템
US10172443B2 (en) * 2013-08-11 2019-01-08 Yong-Jing Wang Oral care tools and systems
EP3107484B1 (en) * 2014-02-21 2022-03-30 Trispera Dental Inc. Augmented reality dental design method and system
EP3192022B1 (en) * 2014-08-04 2019-04-17 Sarubbo, Davide A system for checking a correct oral hygiene procedure
KR102242350B1 (ko) 2014-12-31 2021-04-20 엘지디스플레이 주식회사 유기발광 디스플레이 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004283594A (ja) * 2003-03-21 2004-10-14 Sirona Dental Systems Gmbh データを格納するためのデータベース、歯牙モデル、該歯牙モデルの設計方法ならびに歯牙補綴部材
KR20120013369A (ko) * 2009-05-08 2012-02-14 더 질레트 컴퍼니 개인 케어 시스템, 제품 및 방법
KR20160083448A (ko) * 2014-12-31 2016-07-12 김주현 영유아용 양치방법을 제공하는 온라인 영상교육 시스템 및 방법
KR20160103468A (ko) * 2015-02-24 2016-09-01 주식회사 포워드벤처스 치아 관리 디스플레이 시스템 및 치아 관리 디스플레이 방법
KR101565516B1 (ko) * 2015-03-16 2015-11-03 김성훈 칫솔 부착용 패치와 이를 이용한 양치 학습방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436734A (zh) * 2020-03-23 2021-09-24 北京好啦科技有限公司 基于人脸结构定位的牙齿健康评估方法、设备和存储介质
CN113436734B (zh) * 2020-03-23 2024-03-05 北京好啦科技有限公司 基于人脸结构定位的牙齿健康评估方法、设备和存储介质
WO2021229139A1 (en) * 2020-05-11 2021-11-18 Dentview Oy A device for instructing oral hygiene
GB2623293A (en) * 2022-10-03 2024-04-17 See It Click It Buy It Ltd Oral hygiene apparatus

Also Published As

Publication number Publication date
CN111033554A (zh) 2020-04-17
KR20190012545A (ko) 2019-02-11
KR102006610B1 (ko) 2019-08-05
US11482125B2 (en) 2022-10-25
US20230017611A1 (en) 2023-01-19
US20210201687A1 (en) 2021-07-01
JP6869586B2 (ja) 2021-05-12
JP2020520780A (ja) 2020-07-16

Similar Documents

Publication Publication Date Title
WO2019022302A1 (ko) 증강 현실을 이용한 양치 가이드 정보 제공 방법 및 장치
US10912634B2 (en) Augmented reality dental design method and system
Rosenstiel et al. Contemporary Fixed Prosthodontics-E-Book: Contemporary Fixed Prosthodontics-E-Book
WO2016148297A1 (ja) 歯科診療システム及び口腔内カメラ
JP2021517497A (ja) 人工知能に基づく歯磨き推奨方法、装置、機器、及び記憶媒体
WO2020073669A1 (zh) 牙齿虚拟编辑方法、系统、计算机设备和存储介质
JP7220569B2 (ja) 撮像支援装置、スキャナシステム、および撮像支援方法
US20230026220A1 (en) Oral health assessment for generating a dental treatment plan
Hanasaki et al. Gender difference of tooth brushing motion and force on self-brushing and caregivers’ brushing in dental professionals
KR102202551B1 (ko) 양치 정보 제공 방법 및 이를 구현하는 양치 정보 제공 시스템
Ganss et al. Validation of motion tracking as tool for observational toothbrushing studies
Stark et al. Mac7: adaptive smart toothbrush
CN115120375A (zh) 智能牙刷、口腔护理系统以及口腔清洁方法
Wolf et al. Data on toothbrushing study comparing infrared-based motion tracking versus video observation
TWI846076B (zh) 照服訓練模擬系統
WO2023038272A1 (ko) 양치질과 손씻기를 교육하는 교육 장치
TW202414361A (zh) 照服訓練模擬系統
Naggar et al. Precision and accuracy of digital smile analysis in removable complete denture
Choi et al. A Study of Awareness and Preference for Oral Scanner of Dental Hygiene Students.
Mohammed Photographical Analysis of Macro-and Micro-aesthetic Appearance. A Cross-Sectional Study of Iraqi Adults with Class I Normal Occlusion
CN117457143A (zh) 一种个性化检测刷牙效果的方法
Tsukamaki Cloudent, Exploring connected and quantified data relationships between oral care providers and patients
Sälzer Prevention of gingivitis: Oral hygiene and dentifrices
Wilde The choice of considering diagnosis and treatment planning in 9-dimensions is an acknowledgment of the new theories of the universe, wherein the concept of 9-dimensions is a basie tenet of the Superstring Theory. 1. The Horizontai (antel!'o-postel':'ior) dimen! l.! ion

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17918958

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020514477

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17918958

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 20/01/2021)

122 Ep: pct application non-entry in european phase

Ref document number: 17918958

Country of ref document: EP

Kind code of ref document: A1