WO2022173180A1 - 입술 움직임 정보 분석 방법 및 장치 - Google Patents

입술 움직임 정보 분석 방법 및 장치 Download PDF

Info

Publication number
WO2022173180A1
WO2022173180A1 PCT/KR2022/001860 KR2022001860W WO2022173180A1 WO 2022173180 A1 WO2022173180 A1 WO 2022173180A1 KR 2022001860 W KR2022001860 W KR 2022001860W WO 2022173180 A1 WO2022173180 A1 WO 2022173180A1
Authority
WO
WIPO (PCT)
Prior art keywords
lip
landmark
movement information
movement
lower lip
Prior art date
Application number
PCT/KR2022/001860
Other languages
English (en)
French (fr)
Inventor
한상선
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Publication of WO2022173180A1 publication Critical patent/WO2022173180A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4542—Evaluating the mouth, e.g. the jaw
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A61B5/1122—Determining geometric values, e.g. centre of rotation or angular range of movement of movement trajectories
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis

Definitions

  • the present invention relates to a method and apparatus for analyzing lip movement information.
  • the temporomandibular joint is a joint formed by the meeting of the mandible and the skull, and plays a key role when chewing food or talking. Problems in the temporomandibular joint and muscles are called temporomandibular joint disease.
  • X-ray, MRI, CT scan, and ultrasound imaging are performed.
  • the range of the opening is measured by opening the mouth as much as possible, or the sound produced by the jaw joint when opening or closing the mouth is examined.
  • the technical problem to be solved by the present invention is to provide a method and apparatus for analyzing lip movement information supporting objective analysis of lip movement information of a patient for diagnosing temporomandibular joint disease.
  • the lip movement information analysis method for solving the above technical problem includes a lip movement tracking step of tracking an upper lip landmark corresponding to the upper lip and a lower lip landmark corresponding to the lower lip in a face shot image, and and visualizing lip motion information based on the data tracking the upper lip landmark and the lower lip landmark.
  • the method may further include recognizing a plurality of predetermined landmarks in the photographed face image, and aligning the inclination of the face in a predetermined direction using at least some of the plurality of predetermined landmarks. .
  • the visualized lip movement information may include a graph indicating the movement trajectory of the lower lip landmark using the upper lip landmark as a reference point or a graph indicating the movement trajectory of the upper lip landmark using the lower lip landmark as a reference point.
  • the color or shape of a section in which the upper lip landmark and the lower lip landmark move away from each other and a section in which the lower lip landmark moves in a direction may be expressed differently.
  • the visualized lip movement information may include a maximum horizontal movement width and a maximum vertical movement width of the upper lip landmark or the lower lip landmark.
  • It may include a computer-readable recording medium in which a program for executing the method is recorded in a computer.
  • An apparatus for analyzing lip motion information according to the present invention for solving the above technical problem is an image acquisition unit for acquiring a photographed face image, recognizing a plurality of predetermined landmarks in the photographed face image, and the recognized plurality of landmarks
  • the present invention it is possible to visualize and display lip movement information when opening or closing the mouth, and by quantifying and displaying the maximum lip movement width together, it is possible to provide the result of objectively analyzing the lip movement information of the patient. .
  • FIG. 1 is a block diagram of an apparatus for analyzing lip movement information according to an embodiment of the present invention.
  • FIG. 2 illustrates a screen for visualizing and displaying lip movement information according to an embodiment of the present invention.
  • 3 is a view provided to explain the maximum horizontal movement width and the maximum vertical movement width according to the present invention.
  • FIG. 4 illustrates another example of a screen that visualizes and displays lip movement information according to the present invention.
  • FIG. 5 is an operation flowchart of an apparatus for analyzing lip movement information according to an embodiment of the present invention.
  • FIG. 1 is a block diagram of an apparatus for analyzing lip movement information according to an embodiment of the present invention.
  • the apparatus for analyzing lip movement information includes an image acquisition unit 110 , an image processing unit 120 , a visualization unit 130 , a display unit 140 , a storage unit 150 , and a control unit 160 . may include.
  • the image acquisition unit 110 may acquire a video (hereinafter referred to as a 'face shot image') of a person taking an action of opening or closing the mouth.
  • the image acquisition unit 110 may be implemented as a charge coupled device (CCD) camera or a complementary metal-oxide semiconductor (CMOS) camera.
  • CCD charge coupled device
  • CMOS complementary metal-oxide semiconductor
  • the image processing unit 120 may perform face detection, landmark recognition, face tilt alignment, lip movement tracking, and the like from a face photographed image.
  • the image processing unit 120 may detect a human face region from a face photographed image.
  • Various methods for detecting a human face region from a face shot image for example, extracting characteristic values for the symmetrical eye shape and the nose and mouth below it, try to detect it in the image, or collect information about a standard face pattern.
  • a method of detecting a human face by extracting a correlation between an input image and a pre-determined template after extracting it in advance is known.
  • various methods may be applied to enable the image processing unit 120 to detect the face region.
  • the image processing unit 120 may recognize a plurality of predetermined landmarks in the face region detected in the face photographed image.
  • the landmark detected in the face photographed image may vary according to embodiments.
  • the image processing unit 120 may use some of the recognized plurality of landmarks to align the inclinations of faces detected in the face photographed image in a predetermined direction.
  • the inclination of the human face may be aligned so that the line segment connecting the inner canthus of both eyes is horizontal.
  • the lateral canthus of both eyes may be used for face tilt alignment, or to perform face tilt alignment using landmarks recognized from parts other than the eyes.
  • the image processing unit 120 may track an upper lip landmark corresponding to the upper lip and a lower lip landmark corresponding to the lower lip in the face shot image.
  • the upper lip landmark and the lower lip landmark may be determined as centers of the upper lip region and the lower lip region.
  • the upper lip landmark and the lower lip landmark may be determined as the uppermost uppermost center of the upper lip and the lowermost center of the lower lip.
  • the visualization unit 130 may visualize the lip movement information on the display unit 140 based on data tracking the upper lip landmark and the lower lip landmark by the image processing unit 120 .
  • FIG. 2 illustrates a screen for visualizing and displaying lip movement information according to an embodiment of the present invention.
  • the lip movement information visualization display screen may include a face photographed image display area 10 , a graph display area 20 , and a maximum movement width display area 30 . It is also possible to display only the graph display area 20 on the screen according to the screen mode.
  • the face captured image display area 10 may reproduce a face captured image obtained by capturing an action of opening and closing the mouth in real time or after recording. At least some of the landmarks recognized from the face may be displayed together in the face captured image.
  • FIG. 2 an example in which landmarks 1 and 2 corresponding to the inner canthus of both eyes used for face tilt alignment, and upper lip landmark 3 and lower lip landmark 4 used for lip movement tracking are displayed together. indicates.
  • the graph display area 20 may display a graph indicating the movement trajectory of the upper lip landmark or the lower lip landmark.
  • the position of the upper lip landmark is the reference point (0, 0)
  • the movement trajectory of the point 23 corresponding to the lower lip landmark is displayed as graphs 21 and 22.
  • the color, shape, or thickness of the graphs 21 and 22 may be expressed differently.
  • the point 23 moves downward from the reference point (0.0) and moves away from it.
  • the portion of the graph 21 indicated by a solid line in FIG. 2 shows the movement trajectory of the lower lip landmark when taking the action of opening the mouth.
  • a portion of the graph 22 indicated by a dotted line in FIG. 2 shows the movement trajectory of the lower lip landmark when the mouth is closed.
  • the thickness of the line may be different or the color may be expressed differently depending on the section. Accordingly, it can be easily distinguished whether the corresponding graph part corresponds to the section for closing the mouth or the section for opening the mouth.
  • the maximum movement width display area 30 may display the maximum horizontal movement width and the maximum vertical movement width of the upper lip landmark or the lower lip landmark.
  • the horizontal maximum movement width represents the maximum distance the lower lip landmark (or upper lip landmark) is separated in the horizontal axis direction based on the upper lip landmark (or lower lip landmark).
  • the vertical maximum movement width represents the maximum distance the lower lip landmark (or upper lip landmark) is separated in the vertical axis direction based on the upper lip landmark (or lower lip landmark).
  • FIG. 2 shows the maximum horizontal movement width and the maximum vertical movement width in units of 'cm', the display unit may vary according to embodiments.
  • 3 is a view provided to explain the maximum horizontal movement width and the maximum vertical movement width according to the present invention.
  • a quadrangle 24 including all graphs corresponding to the movement trajectory of the point 23 may be defined.
  • the maximum horizontal movement width corresponds to the horizontal width A of the quadrangle 24
  • the maximum vertical movement width corresponds to the vertical width B of the square 24 .
  • FIG. 4 illustrates another example of a screen that visualizes and displays lip movement information according to the present invention.
  • FIG. 4 shows an example in which the maximum horizontal movement width and the maximum vertical movement width are 0.3 cm and 4.6 cm, respectively.
  • FIG. 3 shows an example in which the maximum horizontal movement width and the maximum vertical movement width are 0.3 cm and 4.6 cm, respectively.
  • the display unit 140 may be implemented as a monitor device having a display means such as an LCD panel or an LED panel.
  • the display unit 140 may display various types of information and data related to the operation of the apparatus for analyzing lip movement information on the screen.
  • the storage 150 may store various types of information and data related to the operation of the apparatus for analyzing lip movement information. Specifically, the storage unit 150 stores the face captured image obtained by the image acquisition unit 110 , data used for automatic landmark recognition in the face captured image, data tracking the upper lip landmark and lower lip landmark, and lip movement. Information visualization data and the like can be stored.
  • the controller 160 controls the overall operation of the apparatus for analyzing lip movement information according to the present invention.
  • the control unit 160 displays all of the face capture image display area 10 , the graph display area 20 , and the maximum movement width display area 30 on the screen, or selectively displays any one of them on the screen according to a user's request You may.
  • FIG. 5 is an operation flowchart of an apparatus for analyzing lip movement information according to an embodiment of the present invention.
  • the image acquisition unit 110 may acquire a face photographed image in which an action of opening or closing the mouth is taken ( S510 ).
  • the image processing unit 120 may detect a human face region from the face photographed image (S520).
  • the image processing unit 120 may recognize a plurality of predetermined landmarks in the face region detected in the face shot image (S530).
  • a landmark, an upper lip landmark, and a lower lip landmark to be used for face tilt alignment may be recognized.
  • a landmark, an upper lip landmark, a lower lip landmark, etc. may be selected from the landmarks recognized in step S530 by the user to be used for face tilt alignment.
  • the image processing unit 120 may use some of the plurality of landmarks recognized in step S530 to align the inclination of the face detected in the face shot image in a predetermined direction ( S540 ).
  • the image processing unit 120 may track an upper lip landmark corresponding to the upper lip and a lower lip landmark corresponding to the lower lip in the face shot image ( S550 ). Step S540 may be performed in parallel while performing step S550.
  • the visualization unit 130 may visualize the lip movement information based on the data tracking the upper lip landmark and the lower lip landmark by the image processing unit 120 and display it on the display unit 140 ( S560 ).
  • the storage unit 150 may store the lip movement information visualization and analysis data (S570).
  • the lip movement information visualization analysis data may include lip movement information visualized and displayed in step S560, such as a movement trajectory of a lip landmark or a maximum movement width.
  • the embodiments described above may be implemented by a hardware component, a software component, and/or a combination of a hardware component and a software component.
  • the apparatus, methods and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate (FPGA). array), a programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions, may be implemented using one or more general purpose or special purpose computers.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system.
  • the processing device may also access, store, manipulate, process, and generate data in response to execution of the software.
  • OS operating system
  • the processing device may also access, store, manipulate, process, and generate data in response to execution of the software.
  • the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that may include For example, the processing device may include a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as parallel processors.
  • the software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device.
  • the software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or device, to be interpreted by or to provide instructions or data to the processing device. It may be permanently or temporarily embody in
  • the software may be distributed over networked computer systems and stored or executed in a distributed manner.
  • Software and data may be stored in one or more computer-readable recording media.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software.
  • Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks.
  • - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • the hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Rheumatology (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은 입술 움직임 정보 분석 방법 및 장치에 관한 것으로, 본 발명에 따른 입술 움직임 정보 분석 방법은 얼굴 촬영 영상에서 윗 입술에 대응하는 윗 입술 랜드마크와 아래 입술에 대응하는 아래 입술 랜드마크를 트래킹하는 입술 움직임 트래킹 단계, 그리고 상기 윗 입술 랜드마크와 상기 아래 입술 랜드마크를 트래킹한 데이터에 기초하여 입술 움직임 정보를 시각화하는 단계를 포함한다. 본 발명에 의하면 입을 벌리거나 다무는 동작을 취할 때 입술 움직임 정보를 시각화하여 표시할 수 있으며, 입술 최대 이동폭을 정량화하여 함께 표시함으로써 환자의 입술 움직임 정보를 객관적으로 분석한 결과를 제공할 수 있다.

Description

입술 움직임 정보 분석 방법 및 장치
본 발명은 입술 움직임 정보 분석 방법 및 장치에 관한 것이다.
턱관절은 아래턱뼈와 머리뼈가 만나 이루는 관절로, 음식을 씹거나 말을 할 때 핵심적인 역할을 한다. 턱관절과 근육에 문제가 생기는 것을 턱관절 질환이라고 한다.
턱관절 질환의 정확한 진단을 위해 X-ray, MRI, CT 촬영, 초음파 영상 촬영 등이 이루어진다. 또한 턱 운동의 제한 정도를 알아보기 위해 입을 최대한 벌려 개구 범위를 측정하거나, 입을 벌리거나 다물 때 턱 관절에서 발생하는 소리를 검사하기도 한다.
턱관절에 질환이 생긴 경우 턱을 좌우로 비틀며 입을 벌리거나 다무는 증상을 보일 수 있다. 종래에는 환자의 입을 벌리거나 다무는 동작을 임상의가 직접 관찰하여 평가하는 방식으로 검사가 이루어져서, 임상의에 따라 평가 결과가 달라질 수 있었다.
따라서 본 발명이 해결하고자 하는 기술적 과제는 턱관절 질환 진단을 위한 환자의 입술 움직임 정보를 객관적으로 분석할 수 있도록 지원하는 입술 움직임 정보 분석 방법 및 장치를 제공하는 것이다.
상기한 기술적 과제를 해결하기 위한 본 발명에 따른 입술 움직임 정보 분석 방법은 얼굴 촬영 영상에서 윗 입술에 대응하는 윗 입술 랜드마크와 아래 입술에 대응하는 아래 입술 랜드마크를 트래킹하는 입술 움직임 트래킹 단계, 그리고 상기 윗 입술 랜드마크와 상기 아래 입술 랜드마크를 트래킹한 데이터에 기초하여 입술 움직임 정보를 시각화하는 단계를 포함한다.
상기 방법은, 상기 얼굴 촬영 영상에서 미리 정해진 복수의 랜드마크를 인식하는 단계, 그리고 상기 미리 정해진 복수의 랜드마크 중에서 적어도 일부를 이용하여 얼굴 기울기를 미리 정해진 방향으로 정렬하는 단계를 더 포함할 수 있다.
상기 시각화된 입술 움직임 정보는, 상기 윗 입술 랜드마크를 기준점으로 상기 아래 입술 랜드마크의 이동 궤적을 나타내는 그래프 또는 상기 아래 입술 랜드마크를 기준점으로 상기 윗 입술 랜드마크의 이동 궤적을 나타내는 그래프를 포함할 수 있다.
상기 그래프는, 상기 윗 입술 랜드마크와 상기 아래 입술 랜드마크가 서로 멀어지는 방향으로 이동하는 구간과 서로 가까와지는 방향으로 이동하는 구간의 색상 또는 모양이 다르게 표현할 수 있다.
상기 시각화된 입술 움직임 정보는, 상기 윗 입술 랜드마크 또는 상기 아래 입술 랜드마크의 가로 최대 이동폭과 세로 최대 이동폭을 포함할 수 있다.
컴퓨터에 상기 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 포함할 수 있다.
상기한 기술적 과제를 해결하기 위한 본 발명에 따른 입술 움직임 정보 분석 장치는 얼굴 촬영 영상을 획득하는 영상 획득부, 상기 얼굴 촬영 영상에서 미리 정해진 복수의 랜드마크를 인식하고, 상기 인식된 복수의 랜드마크 중에서 윗 입술에 대응하는 윗 입술 랜드마크와 아래 입술에 대응하는 아래 입술 랜드마크를 트래킹하는 영상 처리부, 그리고 상기 윗 입술 랜드마크와 상기 아래 입술 랜드마크를 트래킹한 데이터에 기초하여 입술 움직임 정보를 시각화하는 시각화부를 포함한다.
본 발명에 의하면 입을 벌리거나 다무는 동작을 취할 때 입술 움직임 정보를 시각화하여 표시할 수 있으며, 입술 최대 이동폭을 정량화하여 함께 표시함으로써 환자의 입술 움직임 정보를 객관적으로 분석한 결과를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 입술 움직임 정보 분석 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 입술 움직임 정보를 시각화하여 표시하는 화면을 예시한 것이다.
도 3은 본 발명에 따른 가로 최대 이동폭과 세로 최대 이동폭을 설명하기 위해 제공되는 도면이다.
도 4는 본 발명에 따른 입술 움직임 정보를 시각화하여 표시하는 화면의 다른 예를 예시한 것이다.
도 5는 본 발명의 일 실시예에 따른 입술 움직임 정보 분석 장치의 동작 흐름도이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 입술 움직임 정보 분석 장치의 구성도이다.
도 1을 참고하면, 본 발명에 따른 입술 움직임 정보 분석 장치는 영상 획득부(110), 영상 처리부(120), 시각화부(130), 표시부(140), 저장부(150) 및 제어부(160)를 포함할 수 있다.
영상 획득부(110)는 입을 벌리거나 다무는 동작을 취하고 있는 사람의 얼굴을 촬영한 동영상(이하 '얼굴 촬영 영상'이라 함)을 획득할 수 있다. 영상 획득부(110)는 CCD(Charge Coupled Device) 카메라나 CMOS(complementary metal-oxide semiconductor) 카메라 등으로 구현할 수 있다.
영상 처리부(120)는 얼굴 촬영 영상에서 얼굴 검출, 랜드마크 인식, 얼굴 기울기 정렬, 입술 움직임 트래킹 등을 수행할 수 있다.
영상 처리부(120)는 얼굴 촬영 영상에서 사람 얼굴 영역을 검출할 수 있다. 얼굴 촬영 영상에서 사람 얼굴 영역을 검출하는 다양한 방법, 예컨대 대칭적인 눈의 형태와 그 아래에 있는 코와 입들에 대한 특징치 들을 추출한 후 영상에서 이에 대한 검출을 시도하거나, 표준 얼굴 패턴에 대한 정보를 사전에 추출한 후 입력 영상과 사전에 정해 놓은 템플레이트(template)와의 상관관계를 추출함으로써 사람 얼굴을 검출하는 등의 방법이 알려져 있다. 물론 여기서 언급한 것 외에도 다양한 방법을 적용하여 영상 처리부(120)에서 얼굴 영역을 검출하도록 구현할 수 있다.
영상 처리부(120)는 얼굴 촬영 영상에서 검출된 얼굴 영역에서 미리 정해진 복수의 랜드마크(landmark)를 인식할 수 있다. 얼굴 촬영 영상에서 검출되는 랜드마크는 실시예에 따라 달라질 수 있다.
영상 처리부(120)는 인식된 복수의 랜드마크 중 일부를 이용하여, 얼굴 촬영 영상에서 검출된 얼굴의 기울기를 미리 정해진 방향으로 정렬할 수 있다. 예를 들어 양 눈의 내안각을 연결하는 선분이 수평이 되게 사람 얼굴의 기울기를 정렬할 수 있다. 물론 양 눈의 외안각을 얼굴 기울기 정렬에 이용하거나, 또는 눈이 아닌 다른 부위에서 인식되는 랜드마크를 이용하여 얼굴 기울기 정렬을 수행하는 것도 가능하다.
영상 처리부(120)는 얼굴 촬영 영상에서 윗 입술에 대응하는 윗 입술 랜드마크와 아래 입술에 대응하는 아래 입술 랜드마크를 트래킹(tracking)할 수 있다. 윗 입술 랜드마크와 아래 입술 랜드마크는 윗 입술 영역과 아래 입술 영역의 중심으로 정해질 수 있다. 실시예에 따라서 윗 입술 랜드마크와 아래 입술 랜드마크는 윗 입술 중앙 최상단과 아래 입술 중앙 최하단으로 정해질 수도 있다. 물론 윗 입술 영역과 아래 입술 영역의 다른 부분으로 윗 입술 랜드마크와 아래 입술 랜드마크를 정하는 것도 가능하다.
시각화부(130)는 영상 처리부(120)에서 윗 입술 랜드마크와 아래 입술 랜드마크를 트래킹한 데이터에 기초하여 입술 움직임 정보를 시각화하여 표시부(140)에 표시할 수 있다.
도 2는 본 발명의 일 실시예에 따른 입술 움직임 정보를 시각화하여 표시하는 화면을 예시한 것이다.
도 2를 참고하면, 입술 움직임 정보 시각화 표시 화면은 얼굴 촬영 영상 표시 영역(10), 그래프 표시 영역(20) 및 최대 이동폭 표시 영역(30)을 포함할 수 있다. 화면 모드에 따라서 그래프 표시 영역(20)만 화면에 표시하는 것도 가능하다.
얼굴 촬영 영상 표시 영역(10)은 입을 벌리고 다무는 동작을 촬영한 얼굴 촬영 영상을 실시간으로 또는 녹화 후 재생할 수 있다. 얼굴에서 인식된 랜드마크 중 적어도 일부가 얼굴 촬영 영상에 함께 표시될 수 있다. 도 2에서는 얼굴 기울기 정렬에 이용하는 양 눈의 내안각에 대응하는 랜드마크(1, 2)와, 입술 움직임 트래킹에 이용하는 윗 입술 랜드마크(3)와 아래 입술 랜드마크(4)가 함께 표시된 예를 나타낸다.
그래프 표시 영역(20)은 윗 입술 랜드마크 또는 아래 입술 랜드마크의 이동 궤적을 나타내는 그래프가 표시될 수 있다. 도 2에서는 윗 입술 랜드마크의 위치를 기준점(0,0)으로 아래 입술 랜드마크에 해당하는 점(23)의 이동 괘적을 그래프(21, 22)로 표시한 예이다.
윗 입술 랜드마크와 아래 입술 랜드마크가 서로 멀어지는 방향으로 이동하는 구간과 서로 가까와지는 방향으로 이동하는 구간에 대해서, 그래프(21, 22)의 색상, 모양 또는 굵기 등을 다르게 표현할 수 있다.
입을 다문 상태에서 벌리면 점(23)이 기준점(0.0)에서 아래로 이동하면서 멀어지게 된다. 도 2에서 실선으로 표시된 그래프(21) 부분은 입을 벌리는 동작을 취할 때 아래 입술 랜드마크의 이동 궤적을 나타낸 것이다.
한편 입을 벌렸다가 다물면 점(23)이 위로 이동하면서 기준점(0,0)으로 가까와지면서 복귀한다. 도 2에서 점선으로 표시된 그래프(22) 부분은 입을 다무는 동작을 취할 때 아래 입술 랜드마크의 이동 궤적을 나타낸 것이다.
실시예에 따라서 선의 모양(실선, 점선 등) 대신에 선의 굵기를 다르게 하거나 색상을 구간에 따라 다르게 표현할 수 있다. 이에 의해 해당 그래프 부분이 입을 다무는 구간에 해당하는지 또는 입을 벌리는 구간에 해당하는지 쉽게 구분할 수 있다.
최대 이동폭 표시 영역(30)은 윗 입술 랜드마크 또는 아래 입술 랜드마크의 가로 최대 이동폭과 세로 최대 이동폭을 표시할 수 있다. 여기서 가로 최대 이동폭은 윗 입술 랜드마크(또는 아래 입술 랜드마크)를 기준으로 아래 입술 랜드마크(또는 윗 입술 랜드마크)가 가로 축 방향(horizontal axis direction)으로 떨어진 최대 거리를 나타낸다. 그리고 세로 최대 이동폭은 윗 입술 랜드마크(또는 아래 입술 랜드마크)를 기준으로 아래 입술 랜드마크(또는 윗 입술 랜드마크)가 세로 축 방향(vertical axis direction)으로 떨어진 최대 거리를 나타낸다.
도 2에서는 아래 입술 랜드마크에 대응하는 점(23)이 윗 입술 랜드마크와 가로 축 방향으로 최대 0.7cm, 세로 축 방향으로 최대 2.5cm 떨어진 것을 나타내고 있다. 도 2에서는 'cm' 단위로 가로 최대 이동폭과 세로 최대 이동폭을 나타내고 있으나, 실시예에 따라 표시 단위는 달라질 수 있다.
도 3은 본 발명에 따른 가로 최대 이동폭과 세로 최대 이동폭을 설명하기 위해 제공되는 도면이다.
도 3을 참고하면, 점(23)의 이동 궤적에 해당하는 그래프를 모두 포함하는 사각형(24)이 정의될 수 있다. 도 2에서 가로 최대 이동폭은 사각형(24)의 가로 폭(A)에 해당하고, 도 2에서 세로 최대 이동폭은 사각형(24)의 세로 폭(B)에 해당한다.
도 4는 본 발명에 따른 입술 움직임 정보를 시각화하여 표시하는 화면의 다른 예를 예시한 것이다.
턱관절에 질환이 없는 경우 입을 좌우로 비틀지 않고 크게 벌렸다가 다물 수 있다. 도 4에 예시한 것과 같이 가로 축 방향으로 비교적 적은 범위로 움직이고, 세로 축 방향으로 비교적 큰 범위로 움직이는 이동 궤적을 보일 수 있다. 도 4에서는 가로 최대 이동폭과 세로 최대 이동폭이 각각 0.3cm, 4.6cm인 예를 나타내고 있다.
한편 일부 턱관절 질환이 있는 경우 입을 좌우로 비틀거나, 크게 벌리기 힘든 증상을 나타낼 수 있다. 앞서 도 3에 예시한 것과 같이 가로 축 방향으로 비교적 큰 범위로 움직이고, 세로 축 방향으로 비교적 적은 범위로 움직이는 이동 궤적을 보일 수 있다. 도 3에서는 가로 최대 이동폭과 세로 최대 이동폭이 각각 0.3cm, 4.6cm인 예를 나타내고 있다.
표시부(140)는 LCD 패널이나 LED 패널 등 디스플레이 수단을 구비한 모니터 장치 등으로 구현할 수 있다. 표시부(140)는 입술 움직임 정보 분석 장치의 동작과 관련된 각종 정보 및 데이터를 화면에 표시할 수 있다.
저장부(150)는 입술 움직임 정보 분석 장치의 동작과 관련된 각종 정보 및 데이터를 저장할 수 있다. 구체적으로 저장부(150)는 영상 획득부(110)에서 획득된 얼굴 촬영 영상, 얼굴 촬영 영상에서 랜드마크 자동 인식에 이용되는 데이터, 윗 입술 랜드마크와 아래 입술 랜드마크를 트래킹한 데이터, 입술 움직임 정보 시각화 데이터 등을 저장할 수 있다.
제어부(160)는 본 발명에 따른 입술 움직임 정보 분석 장치의 전체적인 동작을 제어한다. 제어부(160)는 사용자 요청에 따라 얼굴 촬영 영상 표시 영역(10), 그래프 표시 영역(20) 및 최대 이동폭 표시 영역(30)를 모두 화면에 표시하거나, 그 중 어느 하나를 선택적으로 화면에 표시할 수도 있다.
도 5는 본 발명의 일 실시예에 따른 입술 움직임 정보 분석 장치의 동작 흐름도이다.
도 1 및 도 5를 참고하면, 먼저 영상 획득부(110)는 입을 벌리거나 다무는 동작을 취하는 모습을 촬영한 얼굴 촬영 영상을 획득할 수 있다(S510).
다음으로 영상 처리부(120)는 얼굴 촬영 영상에서 사람 얼굴 영역을 검출할 수 있다(S520).
그리고 영상 처리부(120)는 얼굴 촬영 영상에서 검출된 얼굴 영역에서 미리 정해진 복수의 랜드마크를 인식할 수 있다(S530). 단계(S530)에서 얼굴 기울기 정렬에 사용하기 위한 랜드마크, 윗 입술 랜드마크, 아래 입술 랜드마크를 인식할 수 있다. 사용자로부터 단계(S530)에서 인식된 랜드마크들 중에서 얼굴 기울기 정렬에 사용하기 위한 랜드마크, 윗 입술 랜드마크, 아래 입술 랜드마크 등을 선택받을 수도 있다.
이후 영상 처리부(120)는 단계(S530)에서 인식된 복수의 랜드마크 중 일부를 이용하여, 얼굴 촬영 영상에서 검출된 얼굴의 기울기를 미리 정해진 방향으로 정렬할 수 있다(S540).
한편 영상 처리부(120)는 얼굴 촬영 영상에서 윗 입술에 대응하는 윗 입술 랜드마크와 아래 입술에 대응하는 아래 입술 랜드마크를 트래킹할 수 있다(S550). 단계(S540)는 단계(S550)를 수행하는 동안 병렬로 수행될 수 있다.
다음으로 시각화부(130)는 영상 처리부(120)에서 윗 입술 랜드마크와 아래 입술 랜드마크를 트래킹한 데이터에 기초하여 입술 움직임 정보를 시각화하여 표시부(140)에 표시할 수 있다(S560).
마지막으로 저장부(150)는 입술 움직임 정보 시각화 분석 데이터를 저장할 수 있다(S570). 입술 움직임 정보 시각화 분석 데이터는 입술 랜드마크의 이동 궤적이나 최대 이동폭 등 단계(S560)에서 시각화하여 표시한 입술 움직임 정보 등을 포함할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시 예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (11)

  1. 얼굴 촬영 영상에서 윗 입술에 대응하는 윗 입술 랜드마크와 아래 입술에 대응하는 아래 입술 랜드마크를 트래킹하는 입술 움직임 트래킹 단계, 그리고
    상기 윗 입술 랜드마크와 상기 아래 입술 랜드마크를 트래킹한 데이터에 기초하여 입술 움직임 정보를 시각화하는 단계
    를 포함하는 입술 움직임 정보 분석 방법.
  2. 제 1 항에서,
    상기 얼굴 촬영 영상에서 미리 정해진 복수의 랜드마크를 인식하는 단계, 그리고
    상기 미리 정해진 복수의 랜드마크 중에서 적어도 일부를 이용하여 얼굴 기울기를 미리 정해진 방향으로 정렬하는 단계
    를 더 포함하는 입술 움직임 정보 분석 방법.
  3. 제 2 항에서,
    상기 시각화된 입술 움직임 정보는,
    상기 윗 입술 랜드마크를 기준점으로 상기 아래 입술 랜드마크의 이동 궤적을 나타내는 그래프 또는 상기 아래 입술 랜드마크를 기준점으로 상기 윗 입술 랜드마크의 이동 궤적을 나타내는 그래프를 포함하는 입술 움직임 정보 분석 방법.
  4. 제 3 항에서,
    상기 그래프는,
    상기 윗 입술 랜드마크와 상기 아래 입술 랜드마크가 서로 멀어지는 방향으로 이동하는 구간과 서로 가까와지는 방향으로 이동하는 구간의 색상 또는 모양이 다르게 표현되는 입술 움직임 정보 분석 방법.
  5. 제 3 항에서,
    상기 시각화된 입술 움직임 정보는,
    상기 윗 입술 랜드마크 또는 상기 아래 입술 랜드마크의 가로 최대 이동폭과 세로 최대 이동폭을 포함하는 입술 움직임 정보 분석 방법.
  6. 컴퓨터에 상기 제1항 내지 제5항 중 어느 한 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  7. 얼굴 촬영 영상을 획득하는 영상 획득부,
    상기 얼굴 촬영 영상에서 미리 정해진 복수의 랜드마크를 인식하고, 상기 인식된 복수의 랜드마크 중에서 윗 입술에 대응하는 윗 입술 랜드마크와 아래 입술에 대응하는 아래 입술 랜드마크를 트래킹하는 영상 처리부, 그리고
    상기 윗 입술 랜드마크와 상기 아래 입술 랜드마크를 트래킹한 데이터에 기초하여 입술 움직임 정보를 시각화하는 시각화부
    를 포함하는 입술 움직임 정보 분석 장치.
  8. 제 7 항에서,
    상기 영상 처리부는,
    상기 미리 정해진 복수의 랜드마크 중에서 적어도 일부를 이용하여 얼굴 기울기를 정렬하는 입술 움직임 정보 분석 장치.
  9. 제 8 항에서,
    상기 시각화된 입술 움직임 정보는,
    상기 윗 입술 랜드마크를 기준점으로 상기 아래 입술 랜드마크의 이동 궤적을 나타내는 그래프 또는 상기 아래 입술 랜드마크를 기준점으로 상기 윗 입술 랜드마크의 이동 궤적을 나타내는 그래프를 포함하는 입술 움직임 정보 분석 장치.
  10. 제 9 항에서,
    상기 그래프는,
    상기 윗 입술 랜드마크와 상기 아래 입술 랜드마크가 서로 멀어지는 방향으로 이동하는 구간과 서로 가까와지는 방향으로 이동하는 구간의 색상 또는 모양이 다르게 표현되는 입술 움직임 정보 분석 장치.
  11. 제 9 항에서,
    상기 시각화된 입술 움직임 정보는,
    상기 윗 입술 랜드마크 또는 상기 아래 입술 랜드마크의 가로 최대 이동폭과 세로 최대 이동폭을 포함하는 입술 움직임 정보 분석 장치.
PCT/KR2022/001860 2021-02-15 2022-02-07 입술 움직임 정보 분석 방법 및 장치 WO2022173180A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0019906 2021-02-15
KR1020210019906A KR102501665B1 (ko) 2021-02-15 2021-02-15 입술 움직임 정보 분석 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2022173180A1 true WO2022173180A1 (ko) 2022-08-18

Family

ID=82837707

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/001860 WO2022173180A1 (ko) 2021-02-15 2022-02-07 입술 움직임 정보 분석 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102501665B1 (ko)
WO (1) WO2022173180A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101621304B1 (ko) * 2014-12-12 2016-05-16 서강대학교산학협력단 마우스맵을 이용한 능동형태모델 기반 입술 형태 추정 방법 및 시스템
KR20170125599A (ko) * 2016-05-04 2017-11-15 주식회사 메디트 치과용 3차원 데이터 처리장치 및 그 방법
US20180263731A1 (en) * 2017-03-20 2018-09-20 Align Technology, Inc. Generating a virtual depiction of an orthodontic treatment of a patient
JP2020035122A (ja) * 2018-08-29 2020-03-05 オムロン株式会社 顔運動量測定装置
KR20200044947A (ko) * 2018-01-17 2020-04-29 가부시키가이샤 제이브이씨 켄우드 표시 제어 장치, 통신 장치, 표시 제어 방법 및 컴퓨터 프로그램

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101822105B1 (ko) 2015-11-05 2018-01-26 오스템임플란트 주식회사 턱관절 진단을 위한 의료영상 처리 방법, 장치, 및 기록 매체

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101621304B1 (ko) * 2014-12-12 2016-05-16 서강대학교산학협력단 마우스맵을 이용한 능동형태모델 기반 입술 형태 추정 방법 및 시스템
KR20170125599A (ko) * 2016-05-04 2017-11-15 주식회사 메디트 치과용 3차원 데이터 처리장치 및 그 방법
US20180263731A1 (en) * 2017-03-20 2018-09-20 Align Technology, Inc. Generating a virtual depiction of an orthodontic treatment of a patient
KR20200044947A (ko) * 2018-01-17 2020-04-29 가부시키가이샤 제이브이씨 켄우드 표시 제어 장치, 통신 장치, 표시 제어 방법 및 컴퓨터 프로그램
JP2020035122A (ja) * 2018-08-29 2020-03-05 オムロン株式会社 顔運動量測定装置

Also Published As

Publication number Publication date
KR102501665B1 (ko) 2023-02-17
KR20220116714A (ko) 2022-08-23

Similar Documents

Publication Publication Date Title
WO2017192020A1 (ko) 치과용 3차원 데이터 처리장치 및 그 방법
WO2020040349A1 (ko) 교정 진단을 위한 치과 영상 분석 방법 및 이를 이용한 장치
WO2019135501A1 (ko) Ivus 영상 분석방법
WO2019103440A1 (ko) 피검체의 의료 영상의 판독을 지원하는 방법 및 이를 이용한 장치
WO2019208848A1 (ko) 3차원 안구 움직임 측정 방법 및 전자동 딥러닝 기반 어지럼 진단 시스템
WO2017051944A1 (ko) 의료 영상 판독 과정에서 사용자의 시선 정보를 이용한 판독 효율 증대 방법 및 그 장치
WO2021157966A1 (ko) 딥러닝 인공지능 알고리즘을 이용한 치열 교정에 대한 정보 제공 방법 및 이를 이용한 디바이스
WO2013095032A1 (ko) 초음파 영상을 이용하여 정중 시상면을 자동으로 검출하는 방법 및 그 장치
CN106572298A (zh) 显示控制装置以及显示控制方法
WO2020138925A1 (ko) 인공지능 기반 혈류 구간 분류 방법 및 시스템
JPH10510187A (ja) 網膜検査及び治療のための電子造影装置
WO2022131642A1 (ko) 의료 영상 기반 질환 중증도 결정 장치 및 방법
WO2019107666A1 (ko) 타이머를 포함하는 소변 검사용 스트립, 소변 검사용 스트립 검출 및 분석 방법
WO2017142223A1 (en) Remote image transmission system, display apparatus, and guide displaying method thereof
WO2019098415A1 (ko) 자궁경부암에 대한 피검체의 발병 여부를 판정하는 방법 및 이를 이용한 장치
WO2018117443A1 (ko) 클라우드 연동형 시기능 강화 웨어러블 디바이스 시스템
WO2022173180A1 (ko) 입술 움직임 정보 분석 방법 및 장치
WO2022045652A1 (ko) 안질환 시야 손상 예후 예측 시스템 및 방법과 이를 위한 컴퓨터 프로그램
WO2019221586A1 (ko) 의료영상 관리 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
WO2019198981A1 (ko) 촬영 이미지 기반의 건강상태 분석 및 정보 제공 방법, 그의 장치 및 그의 기록 매체
WO2021215800A1 (ko) 3차원 영상을 활용한 술기 교육 시스템 및 머신 러닝 기반의 수술 가이드 시스템
WO2022139068A1 (ko) 딥러닝 기반의 폐질환 진단 보조 시스템 및 딥러닝 기반의 폐질환 진단 보조 방법
WO2021054700A1 (ko) 치아 병변 정보 제공 방법 및 이를 이용한 장치
CN106778036B (zh) 一种数据处理的方法及装置
WO2020204645A1 (ko) 초음파 검사위치 안내 기능이 탑재된 초음파 촬영 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22752940

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22752940

Country of ref document: EP

Kind code of ref document: A1