KR102536646B1 - Image Processing Method and Apparatus Using Thereof - Google Patents
Image Processing Method and Apparatus Using Thereof Download PDFInfo
- Publication number
- KR102536646B1 KR102536646B1 KR1020200178664A KR20200178664A KR102536646B1 KR 102536646 B1 KR102536646 B1 KR 102536646B1 KR 1020200178664 A KR1020200178664 A KR 1020200178664A KR 20200178664 A KR20200178664 A KR 20200178664A KR 102536646 B1 KR102536646 B1 KR 102536646B1
- Authority
- KR
- South Korea
- Prior art keywords
- feature
- image data
- point
- line
- region
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 claims description 53
- 238000012545 processing Methods 0.000 claims description 27
- 230000008859 change Effects 0.000 claims description 11
- 238000013461 design Methods 0.000 claims description 8
- 238000011282 treatment Methods 0.000 claims description 8
- 230000001815 facial effect Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims 1
- 230000008569 process Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 19
- 238000012937 correction Methods 0.000 description 13
- 210000000088 lip Anatomy 0.000 description 13
- 230000008901 benefit Effects 0.000 description 6
- 210000000214 mouth Anatomy 0.000 description 6
- 238000001914 filtration Methods 0.000 description 4
- 210000004195 gingiva Anatomy 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 210000000744 eyelid Anatomy 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011369 optimal treatment Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/203—Drawing of straight lines or curves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
본 발명에 따른 이미지 처리 방법은, 적어도 하나의 이미지 데이터를 입력받는 단계, 상기 이미지 데이터에 소정 기준에 따라 복수의 특징점들을 부여하는 단계, 및 상기 특징점들 중 적어도 2개를 연결하여 생성되는 특징선, 또는 상기 특징점들 중 적어도 3개를 연결하여 생성되는 특징 영역을 기초로 상기 이미지 데이터의 일부분을 변경하는 단계를 포함한다.An image processing method according to the present invention includes the steps of receiving at least one image data, assigning a plurality of feature points to the image data according to a predetermined criterion, and a feature line generated by connecting at least two of the feature points. , or changing a part of the image data based on a feature region generated by connecting at least three of the feature points.
Description
본 발명은 이미지 처리 방법 및 이를 사용한 장치에 관한 것이다.The present invention relates to an image processing method and an apparatus using the same.
스마일 라인(smile line)이란, 치아라인, 치아모양, 웃을 때 노출되는 치은의 정도와 치은라인, 입술의 길이 및 두께, 인중의 길이, 입술 주위의 근육 및 이와 연관된 근육들의 활성 정도 및 방향에 따라 만들어진다. 교정 치료를 통해, 환자는 원하는 스마일 라인을 가질 수 있다. 특히, 비니어, 라미네이트 등의 치료를 고민하는 환자는 자신의 얼굴(보다 상세하게는, 스마일 라인)이 치료 후 어떻게 변화하는지를 궁금해한다. 스마일 라인에 따라 사람의 인상이 달라지게 되며, 교정 치료 또는 수술을 통해 이와 같은 스마일 라인을 갖도록 하는 것을 스마일 디자인(smile design)이라고 부르기도 한다.Smile line refers to the tooth line, tooth shape, degree of gingiva exposed when smiling, gingival line, length and thickness of the lips, length of the philtrum, and the degree and direction of activity of the muscles around the lips and related muscles. is made Through corrective treatment, patients can have desired smile lines. In particular, patients who are concerned about treatment with veneers, laminates, etc., wonder how their face (more specifically, a smile line) changes after treatment. A person's impression is changed according to the smile line, and making such a smile line through corrective treatment or surgery is also called a smile design.
한편, 스마일 디자인은 환자의 얼굴이 나타난 이미지 데이터 상에 교정된 치아에 대한 정보를 갖는 템플릿(template)들을 적용하면서 환자에게 최적의 교정 템플릿을 선택하게 된다. 이 과정에서, 치료자들 또는 환자들 간에 템플릿이 적용된 이미지 데이터를 공유할 가능성이 있으며, 이미지 데이터의 공유는 환자의 얼굴을 노출시키고 개인 프라이버시 침해의 우려가 있다.Meanwhile, in the smile design, an optimal correction template for the patient is selected while applying templates having information about corrected teeth on image data in which the face of the patient is displayed. In this process, there is a possibility of sharing image data to which a template is applied between therapists or patients, and sharing of image data exposes the patient's face and may infringe personal privacy.
따라서, 템플릿이 적용된 이미지 데이터에 의하더라도 환자의 익명성을 보장할 수 있는 방법이 요구되고 있다.Therefore, there is a need for a method capable of guaranteeing anonymity of a patient even by using template-applied image data.
이상의 문제점을 해결하기 위하여 본 발명에 따른 이미지 처리 방법은, 사람의 얼굴 데이터를 갖는 이미지 데이터를 입력받아 이미지 데이터 상에 복수의 특징점들을 부여하고, 특징점들로부터 생성된 특징선 또는 특징 영역에 기초하여 이미지 데이터의 일부분을 변경하는 이미지 처리 방법을 제공한다.In order to solve the above problem, the image processing method according to the present invention receives image data having human face data, assigns a plurality of feature points to the image data, and based on a feature line or feature area generated from the feature points, An image processing method for changing a part of image data is provided.
또한, 상기 이미지 처리 방법을 수행하여 이미지 데이터의 일부분을 변경하는 이미지 처리 장치를 제공한다.In addition, an image processing device that changes part of image data by performing the above image processing method is provided.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.The technical problems of the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those skilled in the art from the description below.
본 발명에 따른 이미지 처리 방법은, 이미지 데이터를 입력받는 단계, 이미지 데이터에 복수의 특징점들을 부여하는 단계, 그리고 특징점들 중 적어도 2개를 연결하여 생성되는 특징선, 또는 특징점들 중 적어도 3개를 연결하여 생성되는 특징 영역을 기초로 이미지 데이터의 일부분을 변경하는 단계를 포함한다.An image processing method according to the present invention includes the steps of receiving image data, assigning a plurality of feature points to the image data, and a feature line generated by connecting at least two of the feature points or at least three of the feature points. and changing a part of the image data based on the feature region created by the concatenation.
또한, 본 발명에 따른 이미지 처리 장치는, 입력되는 이미지 데이터가 저장되는 데이터베이스부, 입력받은 이미지 데이터에 복수의 특징점들을 부여하고, 특징점으로부터 생성되는 특징선 또는 특징 영역에 기초하여 이미지 데이터의 일부분을 변경하는 제어부를 포함한다.In addition, the image processing apparatus according to the present invention, a database unit for storing input image data, assigns a plurality of feature points to the input image data, and displays a portion of the image data based on feature lines or feature regions generated from the feature points. It includes a control unit that changes.
본 발명에 따르면, 사용자 또는 환자는 환자의 이미지 데이터를 타인에게 공유할 때 이미지 데이터의 일부분을 변경하여 환자의 익명성을 보장해줄 수 있으며, 사용자 또는 환자는 이미지 데이터에 적용된 템플릿에 관한 논의를 통해 최적의 교정 계획을 수립할 수 있는 이점이 있다.According to the present invention, when the user or patient shares the patient's image data with others, the patient's anonymity can be guaranteed by changing a part of the image data, and the user or patient can discuss the template applied to the image data. It has the advantage of being able to establish an optimal calibration plan.
도 1 및 도 2는 본 발명에 따른 이미지 처리 방법의 순서도이다.
도 3은 이미지 데이터를 설명하기 위한 도이다.
도 4는 특징점들이 부여되는 것을 설명하기 위한 도이다.
도 5는 이미지 데이터에 부여된 특징점들 중 일부를 기초로 특징선 및 특징 영역이 생성된 것을 설명하기 위한 도이다.
도 6 및 도 7은 이미지 데이터를 피팅하는 과정을 설명하기 위한 도이다.
도 8은 이미지 데이터에 템플릿을 적용하는 것을 설명하기 위한 도이다.
도 9는 본 발명에 따른 이미지 처리 방법에서, 제2 특징 영역을 설명하기 위한 도이다.
도 10은 도 9의 다른 실시예이다.
도 11 및 도 12는 이미지 데이터 중 제2 특징 영역이 변경된 것을 설명하기 위한 도이다.
도 13은 블러 처리 과정을 설명하기 위한 도이다.
도 14는 가우시안 블러 처리 과정을 설명하기 위한 도이다.
도 15는 본 발명에 따른 이미지 처리 장치의 구성도이다.1 and 2 are flow charts of an image processing method according to the present invention.
3 is a diagram for explaining image data.
4 is a diagram for explaining that feature points are assigned.
5 is a diagram for explaining that feature lines and feature regions are generated based on some of feature points assigned to image data.
6 and 7 are diagrams for explaining a process of fitting image data.
8 is a diagram for explaining application of a template to image data.
9 is a diagram for explaining a second feature region in the image processing method according to the present invention.
10 is another embodiment of FIG. 9 .
11 and 12 are diagrams for explaining that a second feature region of image data is changed.
13 is a diagram for explaining a blur processing process.
14 is a diagram for explaining a Gaussian blur processing process.
15 is a configuration diagram of an image processing device according to the present invention.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, some embodiments of the present invention will be described in detail through exemplary drawings. In adding reference numerals to components of each drawing, it should be noted that the same components have the same numerals as much as possible even if they are displayed on different drawings. In addition, in describing an embodiment of the present invention, if it is determined that a detailed description of a related known configuration or function hinders understanding of the embodiment of the present invention, the detailed description will be omitted.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.In describing the components of the embodiment of the present invention, terms such as first, second, A, B, (a), and (b) may be used. These terms are only used to distinguish the component from other components, and the nature, order, or order of the corresponding component is not limited by the term. In addition, unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by a person of ordinary skill in the art to which the present invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in the present application, they should not be interpreted in an ideal or excessively formal meaning. don't
도 1 및 도 2는 본 발명에 따른 이미지 처리 방법의 순서도이고, 도 3은 이미지 데이터를 설명하기 위한 도이다.1 and 2 are flowcharts of an image processing method according to the present invention, and FIG. 3 is a diagram for explaining image data.
도 1 내지 도 3을 참조하면, 본 발명에 따른 이미지 처리 방법은, 이미지 데이터를 입력받는 단계(S110), 이미지 데이터에 소정 기준에 따라 복수의 특징점들을 부여하는 단계(S120), 그리고 특징점들 중 적어도 2개를 연결하여 생성되는 특징선, 또는 특징점들 중 적어도 3개를 연결하여 생성되는 특징 영역을 기초로 이미지 데이터의 일부를 변경하는 단계(S140)를 포함할 수 있다.1 to 3, the image processing method according to the present invention includes receiving image data (S110), assigning a plurality of feature points to the image data according to a predetermined criterion (S120), and among the feature points A step of changing part of the image data based on a feature line created by connecting at least two features or a feature region created by connecting at least three feature points ( S140 ) may be included.
이하에서는, 본 발명에 따른 이미지 처리 방법의 각 단계에 대해 상세히 설명하기로 한다.Hereinafter, each step of the image processing method according to the present invention will be described in detail.
이미지 데이터를 입력받는 단계(S110)에서는 기 촬영된 환자의 적어도 하나의 이미지 데이터를 입력받을 수 있다. 여기서, 상기 이미지 데이터는 데이터베이스부(DB부)로 명명되는 데이터 저장 요소에 저장되어 있으며, 사용자의 조작에 의하여 입력될 수 있다. 이미지 데이터가 저장되는 데이터베이스부(DB부)는 하드 디스크 드라이브(Hard Disk Drive), 플로피 디스크 드라이브(Floppy Disk Drive), 솔리드 스테이트 드라이브(Solid State Drive), 플래시 메모리 드라이브(Flash Memory Drive) 등과 같은 물리적 저장장치일 수 있으며, 클라우드 형태의 가상 데이터베이스일 수도 있다.In the step of receiving image data ( S110 ), at least one image data of a previously photographed patient may be input. Here, the image data is stored in a data storage element called a database unit (DB unit) and can be input by a user's manipulation. The database unit (DB unit) in which image data is stored is a physical disk such as a hard disk drive, a floppy disk drive, a solid state drive, or a flash memory drive. It may be a storage device or a virtual database in the form of a cloud.
바람직하게는, 상기 이미지 데이터는 사람의 얼굴 데이터일 수 있다. 보다 상세하게는, 이미지 데이터는 사람의 눈, 코, 입 등이 가시적으로 나타난 얼굴 데이터(400)이며, 특히 사람의 구강이 개구되어 치아가 노출된 얼굴 데이터일 수 있다. 얼굴 데이터(400)는 자연스러운 미소를 갖는 일반 이미지 데이터일 수 있으며, 양측 입꼬리가 상부 방향으로 올라가면서 치아 및 치은의 일부가 노출될 수 있다. 노출된 치아 및 치은의 일부는 후술하는 특징 영역 내에 포함되며, 해당 영역 내에서 치아 교정을 위한 템플릿이 가상으로 적용될 수 있다. 이 때, 템플릿(template)이란 교정 치아의 샘플 모델을 의미하며, 템플릿은 적어도 하나의 치아에 대한 위치, 크기, 형상의 표준 정보를 가질 수 있다. 사용자 및 환자는 템플릿을 이미지 데이터 중 환자의 치아 상에 오버레이 함으로써 교정 이후의 치아의 모양을 미리 예상할 수 있다. 또한, 템플릿은 환자에게 최적의 교정물을 제공하기 위해 복수개 구비될 수 있으며, 사용자 및 환자는 복수개의 템플릿을 이미지 데이터 중 환자의 치아 상에 선택적으로 적용함으로써 환자의 치아에 가장 부합하는 템플릿을 결정할 수 있다.Preferably, the image data may be human face data. More specifically, the image data is
한편, 얼굴 데이터는 스마일 라인을 가지는 일반 얼굴 데이터일 수도 있고, 개구기 등으로 구강을 강제 개구하여 일반 얼굴 데이터보다 개구 정도가 더 큰 개구 얼굴 데이터일 수도 있다. 일반 얼굴 데이터는 사용자 및 환자가 템플릿을 적용하여 교정 계획을 수립하기 위해 사용되고, 개구 얼굴 데이터는 기공소가 교정물을 제작하기 위해 사용될 수 있다. 이 때, 교정물이란 환자가 착용하는 물체를 의미할 수 있다. 예시적으로, 교정물은 비니어, 라미네이트를 포함하는 보철물, 및 교정 장치 등을 의미할 수 있다.Meanwhile, the face data may be general face data having a smile line, or may be open face data having a greater degree of opening than normal face data by forcibly opening the mouth with an opening device or the like. Normal face data is used by users and patients to apply templates to establish correction plans, and aperture face data can be used by laboratories to create corrections. In this case, the corrector may refer to an object worn by the patient. Illustratively, the orthodontic product may refer to a veneer, a prosthesis including a laminate, and an orthodontic device.
입력받은 이미지 데이터는 유저 인터페이스(UI) 상에 나타날 수 있고, 이미지 데이터는 출력 장치를 통해 사용자 및 환자에게 표시될 수 있다. 출력 장치로 다양한 유형의 장치들이 사용될 수 있으며, 그 중 이미지 데이터를 시각적으로 표시할 수 있는 디스플레이 장치가 사용될 수 있다.The input image data may be displayed on a user interface (UI), and the image data may be displayed to a user and a patient through an output device. Various types of devices may be used as an output device, and among them, a display device capable of visually displaying image data may be used.
이하에서는, 이미지 데이터 상에 특징점들이 부여되는 과정에 대해 설명한다.Hereinafter, a process of assigning feature points to image data will be described.
도 4는 특징점들이 부여되는 것을 설명하기 위한 도이다.4 is a diagram for explaining that feature points are assigned.
도 4를 참조하면, 특징점들을 부여하는 단계(S120)는 얼굴 데이터를 기초로 소정 기준에 따라 이미지 데이터 상의 특징적인 부분들에 복수의 특징점(P)을 부여할 수 있다. 보다 상세하게는, 상기 특징적인 부분들은 눈썹, 상안검과 하안검 사이의 눈 윤곽, 코, 입술 외측과 입술 내측, 얼굴의 윤곽일 수 있다. 특징점들을 부여하는 단계(S120)에서 부여되는 특징점(P)의 수는 전술한 이미지 데이터의 특징적인 부분들을 효과적으로 나타낼 수 있을 정도의 수일 수 있다.Referring to FIG. 4 , in the step of assigning feature points ( S120 ), a plurality of feature points P may be assigned to characteristic parts of image data according to a predetermined criterion based on face data. More specifically, the characteristic parts may be eyebrows, eye contours between the upper and lower eyelids, nose, outer and inner lips, and face contours. The number of feature points P assigned in the step of assigning feature points ( S120 ) may be a number sufficient to effectively represent the aforementioned characteristic parts of the image data.
예시적으로, 특징점들을 부여하는 단계(S120)는 이미지 데이터의 특징적인 부분들을 표현하기 위해 AI Facial Landmarks Detection 방식을 사용할 수 있다. 이하에서는 본 발명에서 AI Facial Landmarks Detection 방식 중 상기 이미지 데이터에 68개의 특징점(P)들을 부여하는 Face Landmark 68 알고리즘을 기준으로 설명하였으나, 이에 한정되는 것은 아니며, 이미지 데이터의 특징을 용이하게 나타낼 수 있는 어떠한 알고리즘이라도 사용될 수 있다.Illustratively, in the step of assigning feature points (S120), an AI Facial Landmarks Detection method may be used to express characteristic parts of image data. Hereinafter, the Face Landmark 68 algorithm, which assigns 68 feature points (P) to the image data among the AI Facial Landmarks Detection methods in the present invention, has been described as a standard, but is not limited thereto, and can easily represent the characteristics of image data Any algorithm may be used.
한편, 이미지 데이터가 입력되었을 때, 입력된 이미지 데이터가 일방향으로 과도하게 회전되어 있는 경우, 상기 이미지 데이터에 특징점(P)들이 원활하게 부여되지 않을 수 있다. 따라서, 특징점들을 부여하는 단계(S120)는 이미지 데이터를 소정 각도 간격으로 회전하면서 얼굴 데이터(400)를 기초로 소정 기준에 따라 복수의 특징점(P)들을 부여할 수 있다.Meanwhile, when image data is input, if the input image data is excessively rotated in one direction, feature points P may not be smoothly assigned to the image data. Accordingly, in the step of assigning feature points ( S120 ), a plurality of feature points P may be assigned according to a predetermined criterion based on the
예시적으로, 특징점들을 부여하는 단계(S120)는 이미지 데이터를 90° 간격으로 시계방향 또는 반시계방향으로 회전시키면서 특징점(P)들을 부여할 수 있다. 다른 예시에 따라, 특징점들을 부여하는 단계(S120)는 이미지 데이터를 15° 간격으로 시계방향 또는 반시계방향으로 회전시키면서 특징점(P)을 부여할 수 있다. 이와 같이 이미지 데이터를 회전시켜 특징점(P)들을 부여함으로써, 이미지 데이터에 대한 정확한 인식 및 특징점(P)들의 부여가 가능하며, 정상적인 위치에서의 이미지 데이터의 일부분 변경 및 템플릿 적용이 가능한 이점이 있다.Illustratively, in the step of assigning feature points ( S120 ), feature points P may be assigned while rotating the image data clockwise or counterclockwise at 90° intervals. According to another example, in the step of assigning feature points ( S120 ), feature points P may be assigned while rotating the image data clockwise or counterclockwise at 15° intervals. In this way, by rotating image data and assigning feature points P, it is possible to accurately recognize image data and assign feature points P, and there are advantages in that a part of image data can be changed at a normal position and a template can be applied.
다른 실시예에 따르면, 특징점들을 부여하는 단계(S120)는 인공지능을 이용하여, 복수의 2차원 이미지 데이터 및 연속적인 비디오 데이터 중에서 얼굴 데이터(400)에 가장 부합하는 이미지 데이터를 선택하고, 선택된 이미지 데이터에 특징점(P)들을 부여할 수 있다. 인공지능을 사용하여 특징점들을 부여하는 단계(S120)가 수행되면, 사용자는 얼굴 데이터(400)에 가장 부합하는 이미지 데이터를 직접 입력하지 않더라도 자동으로 적합한 이미지 데이터가 선택되어 특징점(P)들이 부여되는 이점이 있다.According to another embodiment, the step of assigning feature points (S120) selects image data that most closely matches the
이하에서는, 본 발명에 따른 이미지 처리 방법 중 추가적인 단계로, 이미지 데이터에 부여된 특징점들을 기초로 이미지 데이터를 피팅하는 단계(S130)에 대해 설명한다.Hereinafter, as an additional step of the image processing method according to the present invention, fitting image data based on feature points assigned to the image data (S130) will be described.
도 5는 이미지 데이터에 부여된 특징점들 중 일부를 기초로 특징선 및 특징 영역이 생성된 것을 설명하기 위한 도이고, 도 6 및 도 7은 이미지 데이터를 피팅하는 과정을 설명하기 위한 도이다.5 is a diagram for explaining that feature lines and feature regions are generated based on some of feature points assigned to image data, and FIGS. 6 and 7 are diagrams for explaining a process of fitting image data.
도 5 내지 도 7을 참조하면, 이미지 데이터 상에 특징점들이 부여되면, 부여된 특징점들을 기초로 이미지 데이터가 소정 크기 또는 소정 각도 중 적어도 하나를 갖도록 피팅(fitting)하는 단계(S130)가 추가로 수행될 수 있다. 즉, 특징점(P)의 위치, 특징점(P)들 간의 거리, 특징점(P)들이 이루는 각도가 구해질 수 있고, 이러한 정보들은 본 발명에 따른 이미지 처리 방법이 수행되기 위한 요소로 사용될 수 있다.5 to 7, when feature points are assigned to image data, a step of fitting the image data to have at least one of a predetermined size or a predetermined angle based on the assigned feature points (S130) is additionally performed. It can be. That is, the location of the feature points P, the distance between the feature points P, and the angle formed by the feature points P can be obtained, and these information can be used as elements for performing the image processing method according to the present invention.
피팅하는 단계(S130)는 전술한 특징점들을 부여하는 단계(S120)에서 부여된 특징점(P)들로부터 소정의 특징선을 생성할 수 있다. 예시적으로, 특징선은 부여된 특징점들 중 적어도 2개의 특징점을 연결하여 생성될 수 있으며, 생성되는 특징선은 얼굴 데이터에서 각각의 눈의 외안각에 해당하는 특징점들(P1', P2')을 연결한 선일 수 있다. 이 특징선을 제1 특징선(L1') 또는 아이라인으로 명명한다. 한편, 상기 특징점들(P1', P2')은 각각 37번 특징점 및 46번 특징점일 수 있으나 이는 예시적인 것에 불과하며, 이에 제한되지 않는다.In the fitting step (S130), predetermined feature lines may be generated from the feature points P assigned in the step of assigning the feature points described above (S120). Exemplarily, the feature line may be generated by connecting at least two feature points among the assigned feature points, and the generated feature line is the feature points P1' and P2' corresponding to the lateral canthus of each eye in the face data. may be a line connecting This feature line is called a first feature line L1' or an eye line. Meanwhile, the feature points P1' and P2' may be the 37th feature point and the 46th feature point, respectively, but this is merely an example and is not limited thereto.
피팅하는 단계(S130)는 생성된 특징선을 기초로 이미지 데이터의 크기를 확대 또는 축소할 수 있다. 보다 상세하게는, 피팅하는 단계(S130)는 제1 특징선(L1')의 길이가 소정 길이에 부합하도록 이미지 데이터의 크기를 확대 또는 축소할 수 있다. 예시적으로, 제1 특징선(L1')의 길이가 300 픽셀이고 기설정된 목표 길이가 400 픽셀인 경우, 피팅된 제1 특징선(L1)의 길이가 400 픽셀이 되도록 일정한 값을 곱하여 이미지 데이터의 크기를 확대할 수 있다. 한편, 제1 특징선(L1')의 길이가 기설정된 목표 길이보다 큰 경우, 피팅된 제1 특징선(L1)의 길이가 기설정된 목표 길이가 되도록 일정한 값을 곱하여 이미지 데이터의 크기를 축소할 수 있다.In the fitting step ( S130 ), the size of image data may be enlarged or reduced based on the generated feature line. More specifically, in the fitting step ( S130 ), the size of the image data may be enlarged or reduced so that the length of the first feature line L1' matches a predetermined length. Exemplarily, when the length of the first feature line L1' is 300 pixels and the preset target length is 400 pixels, the length of the fitted first feature line L1 is multiplied by a constant value so that the length of the first feature line L1 is 400 pixels. size can be enlarged. Meanwhile, when the length of the first feature line L1' is greater than the predetermined target length, the size of the image data may be reduced by multiplying the length of the fitted first feature line L1 by a predetermined value so that the length of the first feature line L1 reaches the predetermined target length. can
또한, 피팅하는 단계(S130)는 생성된 특징선을 기초로 이미지 데이터를 회전할 수 있다. 이미지 데이터를 회전하기 위해, 피팅하는 단계(S130)는 제1 특징선(L1')과 상이한 제2 특징선(L2')을 기초로 하여 상기 이미지 데이터를 회전할 수 있다. 보다 상세하게는, 피팅하는 단계(S130)는 제1 특징선(L1')의 일 지점과, 상기 제1 특징선(L1')으로부터 이격된 특징점을 연결하여 생성되는 제2 특징선(또는 미드라인, L2')을 이용하여 이미지 데이터를 회전할 수 있다. 제2 특징선(L2')은, 제1 특징선(L1')의 중심 지점과(P3') 특징점(P4')을 연결하여 생성된 것일 수 있다. 예시적으로, 상기 특징점(P4')은 34번 특징점에 해당할 수 있다.Also, in the fitting step ( S130 ), image data may be rotated based on the generated feature line. To rotate the image data, in the fitting step S130, the image data may be rotated based on a second feature line L2' different from the first feature line L1'. More specifically, the fitting step (S130) may include a second feature line (or mid) generated by connecting a point of the first feature line L1' and a feature point spaced apart from the first feature line L1'. Image data can be rotated using the line, L2'). The second feature line L2' may be generated by connecting the central point P3' of the first feature line L1' to the feature point P4'. Illustratively, the feature point P4' may correspond to the 34th feature point.
생성된 제2 특징선(L2')에 기초하여, 피팅하는 단계(S130)는 이미지 데이터가 정상적인 각도에서 스마일 라인이 디자인될 수 있도록 피팅한다. 예시적으로, 피팅된 제2 특징선(L2)의 각도는 이미지 데이터가 입력되어 표시되는 유저 인터페이스(UI) 평면 중 가로방향에 수직일 수 있다.In the fitting step (S130) based on the generated second feature line L2', image data is fitted so that a smile line can be designed at a normal angle. Illustratively, the angle of the fitted second feature line L2 may be perpendicular to the horizontal direction among the planes of the user interface (UI) on which image data is input and displayed.
상기와 같이 이미지 데이터를 소정 크기 및 소정 각도 중 적어도 하나에 부합하도록 얼굴 데이터(400')를 피팅함으로써, 사용자는 피팅된 얼굴 데이터(400)에 정확하게 템플릿을 적용할 수 있고 신뢰도 높은 교정 계획을 수립할 수 있다.As described above, by fitting the face data 400' so that the image data conforms to at least one of a predetermined size and a predetermined angle, the user can accurately apply the template to the fitted
선택적으로, 이미지 데이터의 각도가 사용자의 의도와 다르게 피팅된 경우, 사용자는 이미지 데이터를 소정 각도 수동으로 회전시킬 수 있다. 예시적으로, 이미지 데이터는 피팅된 제1 특징선(L1)의 중심 지점(P3)을 회전 중심으로 시계방향 또는 시계 반대방향으로 회전될 수 있으며, 이미지 데이터가 회전될 수 있는 소정 각도는 시계방향 또는 시계 반대방향으로 약 5°이내일 수 있다. 이와 같이, 사용자의 판단에 따라 이미지 데이터를 소정 각도 수동으로 미세 회전시킴으로써, 사용자는 이미지 데이터 분석 및 스마일 라인 디자인에 더욱 적합하도록 피팅된 이미지 데이터를 획득할 수 있다.Optionally, when the angle of the image data is fitted differently from the user's intention, the user may manually rotate the image data by a predetermined angle. Exemplarily, the image data may be rotated clockwise or counterclockwise around the central point P3 of the fitted first feature line L1, and the predetermined angle at which the image data can be rotated is clockwise. Alternatively, it may be within about 5° counterclockwise. In this way, by manually finely rotating the image data at a predetermined angle according to the user's judgment, the user can acquire image data that is more suitable for image data analysis and smile line design.
이하에서는, 이미지 데이터에 템플릿을 적용하는 과정에 대해 설명한다.Hereinafter, a process of applying a template to image data will be described.
도 8은 이미지 데이터에 템플릿을 적용하는 것을 설명하기 위한 도이다.8 is a diagram for explaining application of a template to image data.
도 5 및 도 8을 참조하면, 이미지 데이터의 피팅이 완료된 후, 특징점을 기초로 이미지 데이터의 소정 영역에 적어도 하나의 템플릿을 적용하여 스마일 라인을 디자인하는 단계(미도시)가 수행될 수 있다. 템플릿은 데이터베이스 상에 기 저장된 교정 치아 데이터일 수 있으며, 템플릿은 복수 구비되어 환자의 이미지 데이터에 최적의 템플릿이 적용될 수 있다. 템플릿은 환자의 구강 상태에 따라 사용자가 커스터마이징할 수 있다. 예를 들면, 사용자는 템플릿의 치아(Ta, Tb, Tc, Td, Te 및 Tf)의 형상을 변경할 수 있다. 이 때, 치아의 형상은 템플릿의 치아(Ta, Tb, Tc, Td, Te 및 Tf)를 이루는 치아 윤곽을 조정함으로써 변경될 수 있다. 또한, 사용자는 템플릿의 치아(Ta, Tb, Tc, Td, Te 및 Tf)의 위치, 크기, 색상, 또는 음영을 변경할 수 있다. 템플릿의 치아(Ta, Tb, Tc, Td, Te 및 Tf)의 위치 또는 크기를 변경함으로써, 인접하는 치아의 위치 또는 크기가 함께 연동되어 변경될 수 있다. 또한, 템플릿의 치아(Ta, Tb, Tc, Td, Te 및 Tf)의 색상 또는 음영을 변경함으로써 보철 이외의 미백 시술 등을 고려한 종합적인 치아 치료 계획이 고려될 수 있다. 이와 같이 템플릿의 치아(Ta, Tb, Tc, Td, Te 및 Tf)를 커스터마이징 함으로써, 사용자는 환자에게 최적의 치료 계획을 제공할 수 있다.Referring to FIGS. 5 and 8 , after fitting of image data is completed, a step (not shown) of designing a smile line by applying at least one template to a predetermined region of the image data based on feature points may be performed. The template may be pre-stored orthodontic tooth data in a database, and a plurality of templates may be provided so that an optimal template may be applied to the patient's image data. The template can be customized by the user according to the patient's oral condition. For example, the user can change the shape of the teeth (Ta, Tb, Tc, Td, Te and Tf) of the template. At this time, the shape of the tooth may be changed by adjusting the tooth contour constituting the teeth (Ta, Tb, Tc, Td, Te, and Tf) of the template. In addition, the user may change the position, size, color, or shade of the teeth (Ta, Tb, Tc, Td, Te, and Tf) of the template. By changing the positions or sizes of the teeth (Ta, Tb, Tc, Td, Te and Tf) of the template, the positions or sizes of adjacent teeth can be linked together and changed. In addition, by changing the color or shade of the teeth (Ta, Tb, Tc, Td, Te, and Tf) of the template, a comprehensive tooth treatment plan considering whitening procedures other than prosthesis can be considered. By customizing the teeth (Ta, Tb, Tc, Td, Te, and Tf) of the template in this way, the user can provide an optimal treatment plan to the patient.
한편, 디자인하는 단계는 특징점들을 부여하는 단계(S120)에서 부여된 복수의 특징점들 중 적어도 3개의 특징점을 연결하여 생성되는 특징 영역에 템플릿을 적용할 수 있다. 보다 상세하게는, 이미지 데이터 상에 부여된 특징점들 중 입술 내측을 이루는 특징점들을 연결하여 생성된 립라인(lipline)이 특징 영역 중 제1 특징 영역(C1)으로 형성될 수 있고, 제1 특징 영역(C1) 내부에 존재하는 치아 이미지(Ta', Tb', Tc', Td', Te', 및 Tf') 상에 템플릿이 적용될 수 있다. 보다 상세하게는, 디자인하는 단계(S160)는 적어도 3개의 특징점을 연결하여 생성되는 특징 영역(C1)을 립라인으로 인식하고(립라인 인식 단계), 상기 특징 영역(C1) 내부에 치아 이미지가 나타난 치아 영역을 인식하며(치아 영역 인식 단계), 상기 치아 영역에 template matching algorithm을 이용하여 립라인을 구성하는 특징 영역(C1) 내부의 치아 이미지와 템플릿을 매칭할 수 있다(템플릿 매칭 단계). 이 때, template matching algorithm은 템플릿을 특징 영역(C1) 내부에 표현된 치아 이미지 위치에 매칭하는 방식으로, 형상, 크기, 또는 색상 등의 요소를 고려하여 상기 템플릿과 유사한 요소를 가지는 치아 영역에 자동으로 템플릿을 매칭할 수 있다. 이와 같이 특징 영역에 템플릿이 적용됨으로써, 이미지 데이터 중 제1 특징 영역(C1)이 아닌 다른 영역에 템플릿이 오적용되는 점을 방지할 수 있다.Meanwhile, in the designing step, a template may be applied to a feature region created by connecting at least three feature points among the plurality of feature points assigned in the step of assigning feature points ( S120 ). More specifically, a lipline generated by connecting feature points constituting the inside of the lips among feature points assigned to image data may be formed as a first feature region C1 among feature regions, and the first feature region ( C1) A template may be applied to the tooth images Ta', Tb', Tc', Td', Te', and Tf' existing inside. More specifically, in the designing step (S160), the feature region C1 generated by connecting at least three feature points is recognized as a lip line (lip line recognition step), and the tooth image appears inside the feature region C1. A region is recognized (tooth region recognizing step), and a tooth image inside the feature region C1 constituting the lip line may be matched with a template using a template matching algorithm for the tooth region (template matching step). At this time, the template matching algorithm is a method of matching the template to the position of the tooth image expressed inside the feature region (C1), and considers factors such as shape, size, or color to automatically match the tooth region having elements similar to the template. You can match the template with . In this way, by applying the template to the feature region, it is possible to prevent misapplication of the template to regions other than the first feature region C1 among image data.
한편, 특징 영역(C1)이 생성될 때 특징점(P)들의 위치가 불명확하여 잘못된 특징 영역이 생성될 수 있다. 이러한 경우, 유저 인터페이스 상에 형성된 특징점 수정 기능을 사용하여 특징점(P)들 및 제1 특징 영역(C1)의 윤곽을 수정할 수 있으며, 더욱 정확한 특징 영역 획득 및 템플릿 적용 과정이 수행될 수 있다.Meanwhile, when the feature region C1 is created, positions of the feature points P are unclear, so that an incorrect feature region may be created. In this case, the feature points P and the outline of the first feature region C1 may be modified using the feature point correction function formed on the user interface, and a more accurate feature region acquisition and template application process may be performed.
이하에서는, 특징선 또는 특징 영역을 기초로 이미지 데이터의 일부분을 변경하는 단계(S140)에 대해 상세히 설명한다.Hereinafter, the step of changing a part of image data based on the feature line or feature region (S140) will be described in detail.
도 9는 본 발명에 따른 이미지 처리 방법에서, 제2 특징 영역을 설명하기 위한 도, 도 10은 도 9의 다른 실시예, 도 11 및 도 12는 이미지 데이터 중 제2 특징 영역이 변경된 것을 설명하기 위한 도이다. 또한, 도 13은 블러 처리 과정을 설명하기 위한 도, 그리고 도 14는 가우시안 블러 처리 과정을 설명하기 위한 도이다.9 is a diagram for explaining a second feature region in the image processing method according to the present invention, FIG. 10 is another embodiment of FIG. 9, and FIGS. is for 13 is a diagram for explaining a blur processing process, and FIG. 14 is a diagram for explaining a Gaussian blur processing process.
도 5 및 도 9를 참조하면, 변경하는 단계(S140)는 이미지 데이터에 복수의 특징점(P)들이 부여되면, 특징점(P)들 중 적어도 2개를 연결하여 생성되는 특징선, 또는 특징 영역을 기초로 이미지 데이터의 일부분을 변경할 수 있다. 이 때, '이미지 데이터의 일부분을 변경'하는 것은 일부분에 소정 처리를 수행하여 이미지 데이터가 누구의 얼굴 데이터를 가지는 것인지 식별하기 어렵도록 하는 것을 의미할 수 있다.5 and 9 , in the step of changing (S140), when a plurality of feature points P are assigned to image data, a feature line or feature area generated by connecting at least two of the feature points P is changed. Based on this, a part of the image data can be changed. At this time, 'changing a part of the image data' may mean that it is difficult to identify whose face data the image data has by performing a predetermined process on the part.
이하의 내용에서, 소정 처리는 소정 색상 또는 소정 패턴을 이용하여 이미지 데이터의 일부분을 변경하는 것을 예시로 설명하였다. 그러나, 소정 처리는 이에 한정되는 것은 아니며, 이외에도 상기 이미지 데이터의 일부분을 컷팅(cutting)하거나 상기 이미지 데이터의 일부분에 도형을 삽입하는 등의 다양한 처리를 의미하는 것으로 해석될 수 있다.In the following description, a predetermined process is described as an example of changing a part of image data using a predetermined color or a predetermined pattern. However, the predetermined process is not limited thereto, and may be interpreted as meaning various processes such as cutting a part of the image data or inserting a figure into a part of the image data.
특징 영역은, 전술한 바와 같이 템플릿이 적용되는 제1 특징 영역(C1)을 포함할 수 있다. 또한, 특징 영역은 얼굴 데이터(400)에서 적어도 2개의 특징점을 기초로 생성되는 제2 특징 영역(C2)을 더 포함할 수 있다. 이 때, 제2 특징 영역(C2)은 템플릿이 적용되는 제1 특징 영역(C1)과 상호 이격되도록 형성될 수 있다. 따라서, 후술할 제2 특징 영역(C2)의 내부가 변경되더라도 제1 특징 영역(C1)에 영향을 주지 않을 수 있으며, 제1 특징 영역(C1)에 적용된 템플릿이 손상되지 않을 수 있다. 제2 특징 영역(C2)의 내부가 변경되는 구성은 후술한다.As described above, the feature region may include the first feature region C1 to which the template is applied. Also, the feature region may further include a second feature region C2 generated based on at least two feature points of the
한편, 제2 특징 영역(C2)은 얼굴 데이터(400) 중 눈의 윤곽을 이루는 제1 특징점(P1) 및 제2 특징점(P2)을 포함할 수 있다. 보다 상세하게는, 제1 특징점(P1) 및 제2 특징점(P2)은 전술한 피팅하는 단계(S130)에서 얼굴 데이터 중 각각의 눈의 외안각에 해당하는 특징점들일 수 있다. 예시적으로, 상기 특징점들(P1, P2)은 각각 37번 특징점 및 46번 특징점일 수 있다.Meanwhile, the second feature region C2 may include a first feature point P1 and a second feature point P2 that form an eye contour among the
제2 특징 영역(C2)이 제1 특징점(P1) 및 제2 특징점(P2)을 포함함으로써, 얼굴 데이터(400) 중 환자의 눈 부분을 포함하여 제2 특징 영역(C2)이 변경될 수 있다.By including the first feature point P1 and the second feature point P2 in the second feature region C2, the second feature region C2 may be changed including the patient's eyes in the
제2 특징 영역(C2)이 커버하는 범위에 대해 보다 상세히 설명한다. 제1 특징점(P1) 및 제2 특징점(P2)을 연결하여 생성되는 제1 특징선(L1)을 포함할 수 있다. 이 때, 제2 특징 영역(C2)은 제1 특징선(L1)의 길이방향으로 제1 특징점(P1)으로부터 제1 거리(da)만큼 이격된 제1 지점(Pa), 그리고 제1 특징선(L1)의 길이방향으로 제2 특징점(P2)으로부터 제2 거리(dx)만큼 이격된 제2 지점(Px)을 포함할 수 있다. 제1 지점(Pa)과 제2 지점(Px)은 제1 특징선(L1)의 길이방향에 나란히 형성되되, 제1 특징선(L1)으로부터 대향되는 방향에 형성될 수 있다. 또한, 제1 지점(Pa)과 제2 지점(Px)은 제2 특징 영역(C2)의 가로길이를 형성할 수 있다.The range covered by the second feature region C2 will be described in more detail. A first feature line L1 generated by connecting the first feature point P1 and the second feature point P2 may be included. At this time, the second feature region C2 includes a first point Pa spaced apart from the first feature point P1 by a first distance da in the longitudinal direction of the first feature line L1, and the first feature line A second point Px spaced apart from the second feature point P2 by a second distance dx in the longitudinal direction of (L1) may be included. The first point Pa and the second point Px may be formed side by side in the longitudinal direction of the first feature line L1, but may be formed in opposite directions from the first feature line L1. Also, the first point Pa and the second point Px may form the horizontal length of the second feature region C2.
또한, 제2 특징 영역(C2)은 제1 특징선(L1)의 길이방향과 수직인 방향으로 제1 특징점(P1)으로부터 제3 거리(db)만큼 이격된 제3 지점(Pb), 제3 지점(Pb)이 형성된 방향에 대향되는 방향으로 제1 특징점(P1)으로부터 제4 거리(dc)만큼 이격된 제4 지점(Pc)을 포함할 수 있다. 이 때, 제3 지점(Pb)과 제4 지점(Pc)은 각각 제2 특징 영역(C2)의 가로선(Lby, Lcz)들을 구성할 수 있다.In addition, the second feature region C2 includes a third point Pb spaced apart from the first feature point P1 by a third distance db in a direction perpendicular to the longitudinal direction of the first feature line L1, and a third point Pb. A fourth point Pc spaced apart from the first feature point P1 by a fourth distance dc in a direction opposite to the direction in which the point Pb is formed may be included. In this case, the third point Pb and the fourth point Pc may constitute horizontal lines Lby and Lcz of the second feature region C2, respectively.
제2 특징 영역(C2)은 제1 특징선(L1)의 길이방향과 수직인 방향으로 제2 특징점(P2)으로부터 제5 거리(dy)만큼 이격된 제5 지점(Py), 그리고 제5 지점(Py)이 형성된 방향에 대향되는 방향으로 제2 특징점(P2)으로부터 제6 거리(dz)만큼 이격된 제6 지점(Pz)을 포함할 수 있다. 이 때, 제5 지점(Py)과 제6 지점(Pz)은 각각 제2 특징 영역(C2)의 가로선(Lby, Lcz)들을 구성할 수 있다.The second feature region C2 includes a fifth point Py spaced apart from the second feature point P2 by a fifth distance dy in a direction perpendicular to the longitudinal direction of the first feature line L1, and a fifth point Py. A sixth point Pz spaced apart from the second feature point P2 by a sixth distance dz may be included in a direction opposite to the direction in which Py is formed. In this case, the fifth point Py and the sixth point Pz may constitute horizontal lines Lby and Lcz of the second feature region C2, respectively.
도 9를 참조하면, 제1 특징선(L1)과 제1 특징선을 구성하는 제1 특징점(P1) 및 제2 특징점(P2)으로부터 생성된 제1 지점 내지 제6 지점(Pa, Px, Pb, Pc, Py, Pz)은 제2 특징 영역(C2)의 경계를 형성할 수 있다. 예시적으로, 제3 지점(Pb)과 제5 지점(Py)을 통과하도록 제1 가로선(Lby)이 형성될 수 있고, 제4 지점(Pc)과 제6 지점(Pz)을 통과하도록 제2 가로선(Lcz)이 형성될 수 있다. 또한, 제1 지점(Pa)에 의해 제1 특징선(L1)의 길이방향과 수직한 방향으로 연장되는 제1 세로선(La)이 형성될 수 있고, 제1 세로선(La)은 제1 가로선(Lby) 및 제2 가로선(Lcz)과 각각 연결될 수 있다. 또한, 제2 지점(Px)에 의해 제1 특징선(L1)의 길이방향과 수직한 방향으로 연장되는 제2 세로선(Lx)이 형성될 수 있고, 제2 세로선(Lx)은 제1 가로선(Lby) 및 제2 가로선(Lcz)과 각각 연결될 수 있다. 따라서, 제1 가로선(Lby), 제2 가로선(Lcz), 제1 세로선(La), 및 제2 세로선(Lx)이 연결되어 직사각형 형태의 제2 특징 영역(C2)을 형성할 수 있으며, 제2 특징 영역 내부에 소정의 처리를 가능하게 한다.Referring to FIG. 9 , first to sixth points (Pa, Px, Pb) generated from the first feature line L1 and the first feature points P1 and second feature points P2 constituting the first feature line , Pc, Py, Pz) may form a boundary of the second feature region C2. Illustratively, the first horizontal line Lby may be formed to pass through the third point Pb and the fifth point Py, and the second horizontal line Lby may pass through the fourth point Pc and the sixth point Pz. A horizontal line Lcz may be formed. In addition, a first vertical line La extending in a direction perpendicular to the longitudinal direction of the first feature line L1 may be formed by the first point Pa, and the first vertical line La may include a first horizontal line ( Lby) and the second horizontal line Lcz. In addition, a second vertical line Lx extending in a direction perpendicular to the longitudinal direction of the first feature line L1 may be formed by the second point Px, and the second vertical line Lx may be a first horizontal line ( Lby) and the second horizontal line Lcz. Accordingly, the first horizontal line Lby, the second horizontal line Lcz, the first vertical line La, and the second vertical line Lx are connected to form a rectangular second feature region C2. 2 Enables predetermined processing inside the feature area.
한편, 제1 거리 내지 제6 거리(da, dx, db, dc, dy, dz)는 모두 동일할 수 있으며, 어떠한 얼굴 데이터를 사용하더라도 제2 특징 영역(C2)에 눈이 포함되도록 할 수 있다.Meanwhile, the first to sixth distances da, dx, db, dc, dy, and dz may all be the same, and any face data may be used so that the eyes are included in the second feature region C2. .
도 10을 참조하면, 제2 특징 영역(C2)은 양측이 둥그런(round) 막대 형상을 가질 수도 있다. 예시적으로, 제1 특징점(P1)으로부터 제1 거리(d1)만큼 이격되도록 제1 지점(Pa), 제3 지점(Pb), 및 제4 지점(Pc)이 형성될 수 있고, 제2 특징점(P2)으로부터 제2 거리(d2)만큼 이격되도록 제2 지점(Px), 제5 지점(Py), 및 제6 지점(Pz)이 형성될 수 있다. 이 때, 제1 지점(Pa), 제3 지점(Pb), 및 제4 지점(Pc)은 제1 호(lbac)를 형성할 수 있고, 제2 지점(Px), 제5 지점(Py), 및 제6 지점(Pz)은 제2 호(lyxz)를 형성할 수 있다. 따라서, 제1 호(lbac), 제2 호(lyxz), 제1 가로선(Lby), 및 제2 가로선(Lcz)이 서로 연결되어 제2 특징 영역(C2)을 형성할 수 있다. 이와 같이 제1 호(lbac) 및 제2 호(lyxz)를 사용하여 제2 특징 영역(C2)을 형성하는 경우, 사용자는 처리되는 제2 특징 영역(C2) 부분을 최소화하면서도 환자의 얼굴 노출을 효과적으로 방지하고, 환자의 익명성을 보장할 수 있다.Referring to FIG. 10 , the second feature region C2 may have a rod shape with both sides round. Illustratively, the first point Pa, the third point Pb, and the fourth point Pc may be formed to be spaced apart from the first feature point P1 by the first distance d1, and the second feature point A second point Px, a fifth point Py, and a sixth point Pz may be formed to be spaced apart from (P2) by the second distance d2. In this case, the first point Pa, the third point Pb, and the fourth point Pc may form a first arc lbac, and the second point Px and the fifth point Py , and the sixth point Pz may form a second arc lyxz. Accordingly, the first arc lbac, the second arc lyxz, the first horizontal line Lby, and the second horizontal line Lcz may be connected to each other to form the second feature region C2. In this way, when the second feature region C2 is formed using the first arc (lbac) and the second arc (lyxz), the user can minimize exposure of the patient's face while minimizing the processed portion of the second feature region (C2). This can be effectively prevented and the patient's anonymity can be guaranteed.
이하에서는, 제2 특징 영역(C2)이 변경되는 과정에 대해 설명한다.Hereinafter, a process of changing the second feature region C2 will be described.
도 11을 참조하면, 변경하는 단계(S140)는 제2 특징 영역(C2)에 소정 색상 및 패턴 중 적어도 하나를 적용할 수 있다. 예시적으로, 제2 특징 영역(C2) 내부의 픽셀들은 이미지 데이터의 정보를 가질 수 있으며, 상기 정보는 색상, 굴곡 등일 수 있다. 이 때, 제2 특징 영역(C2) 내부의 픽셀들에 특정 색상이 할당될 수 있다. 예를 들면, 제2 특징 영역(C2) 내부의 픽셀들에는 검정색이 할당될 수 있다. 따라서, 제2 특징 영역(C2) 내부의 픽셀들은 이미지 데이터가 표시될 때 할당된 검정색이 표시되도록 하며, 이미지 데이터의 얼굴 데이터 중 눈을 포함하는 제2 특징 영역(C2)이 실루엣(silhouette) 처리될 수 있다. 이와 같이 제2 특징 영역(C2)의 실루엣 처리를 통해, 사용자는 환자의 신상정보 노출을 최소화하면서 최적의 교정 계획을 제공할 수 있다.Referring to FIG. 11 , in the changing operation S140, at least one of a predetermined color and pattern may be applied to the second feature region C2. Illustratively, pixels within the second feature region C2 may have image data information, and the information may include color, curvature, and the like. In this case, a specific color may be assigned to pixels within the second feature region C2. For example, black may be assigned to pixels within the second feature region C2. Accordingly, the pixels inside the second feature region C2 cause the assigned black color to be displayed when the image data is displayed, and the second feature region C2 including eyes among the face data of the image data is processed as a silhouette. It can be. In this way, through the silhouette processing of the second feature region C2, the user can provide an optimal correction plan while minimizing exposure of personal information of the patient.
또한, 제2 특징 영역(C2) 내부는 소정 패턴이 오버레이(overlay) 되도록 제2 특징 영역(C2)을 변경하는 것 또한 가능하며, 환자의 신상정보 노출을 최소화하기 위한 어떠한 처리라도 가능하다.In addition, it is also possible to change the second characteristic region C2 so that a predetermined pattern is overlaid on the inside of the second characteristic region C2, and any processing to minimize the exposure of personal information of the patient is possible.
도 12를 참조하면, 제2 특징 영역(C2)의 내부 부분은 희미하게 처리되도록 변경될 수 있다. 이러한 처리를 블러링(blurring)이라고 하며, 블러링은 제2 특징 영역(C2)을 이루는 픽셀들이 가지는 색상을 평균화한 픽셀값 평균일 수 있다. 도 13을 참조하면, 예시적으로 제2 특징 영역(C2)중 일부 대한 3×3의 평균화 필터 커널(averaging filter kernel)이 도시된다. 제2 특징 영역(C2)을 이루는 하나의 픽셀을 중심 픽셀로 하면, 중심 픽셀을 기준으로 중심 픽셀을 포함한 9개의 인접한 픽셀들의 픽셀값을 모두 더한다. 그 후, 더해진 값을 9로 나누고 해당 값을 중심 픽셀값으로 할당할 수 있다. 이러한 과정은 제2 특징 영역(C2)을 이루는 모든 픽셀들에 적용될 수 있으며, 이에 따라 제2 특징 영역(C2)을 이루는 픽셀들은 블러링 처리될 수 있다. 이미지 데이터 중 제2 특징 영역(C2)을 블러링하기 위해 전술한 평균화(averaging) 방식 외에도 도 14 도시된 바와 같이 각각의 픽셀에 차등적으로 변경된 픽셀값이 할당되는 가우시안 필터링(gaussian filtering), 중앙 필터링(median filtering), 및 쌍방 필터링(bilateral filtering)을 포함하는 다양한 방식들이 사용될 수 있다. 상기와 같은 블러링을 사용하여 제2 특징 영역을 변경함으로써, 사용자는 환자의 신상정보 노출을 최소화하면서 최적의 교정 계획을 제공할 수 있다.Referring to FIG. 12 , the inner portion of the second feature region C2 may be changed to be dimly processed. This processing is called blurring, and the blurring may be an average of pixel values obtained by averaging the colors of the pixels constituting the second feature region C2. Referring to FIG. 13 , a 3×3 averaging filter kernel for a part of the second feature region C2 is illustrated as an example. If one pixel constituting the second feature region C2 is the center pixel, all pixel values of nine adjacent pixels including the center pixel are added based on the center pixel. Then, the added value can be divided by 9 and the value can be assigned as the center pixel value. This process may be applied to all pixels constituting the second feature region C2, and accordingly, the pixels constituting the second feature region C2 may be subjected to a blurring process. In addition to the above-described averaging method for blurring the second feature region C2 of image data, Gaussian filtering in which differentially changed pixel values are assigned to each pixel as shown in FIG. 14, center Various schemes may be used, including median filtering, and bilateral filtering. By changing the second feature region using the blurring as described above, the user can provide an optimal correction plan while minimizing exposure of personal information of the patient.
한편, 제2 특징 영역(C2)의 변경이 적용된 이미지 데이터는 익명화된 이미지 데이터(500)로 추출될 수 있다. 일 실시예로, 익명화된 이미지 데이터(500)는 제2 특징 영역(C2)에 소정 처리가 수행되어 이미지 데이터의 일부분이 변경된 얼굴 데이터이며, 익명화된 이미지 데이터(500)를 공유함으로써 환자의 얼굴 노출이 최소화되고 치료자들 간의 논의를 통해 환자에게 최적의 교정 계획을 제공할 수 있다.Meanwhile, image data to which a change of the second feature region C2 is applied may be extracted as anonymized
전술한 과정 중 적어도 일부는 디스플레이 장치와 같은 출력 장치를 통해 표시될 수 있으며, 사용자 및 환자는 본 발명에 따른 이미지 처리 방법이 수행되는 과정을 용이하게 확인할 수 있다. 사용자는 입력 장치를 통해 유저 인터페이스 상의 특징점, 특징선, 특징 영역, 및 템플릿을 커스터마이징 할 수 있으며, 사용자는 환자가 원하는 교정물을 제공할 수 있는 이점이 있다.At least some of the above processes may be displayed through an output device such as a display device, and the user and the patient can easily check the process in which the image processing method according to the present invention is performed. The user can customize feature points, feature lines, feature regions, and templates on the user interface through the input device, and the user has the advantage of being able to provide corrections desired by the patient.
또한, 상기 이미지 데이터에 변경 적용되는 제2 특징 영역(C2)의 변경 내용을 적용하거나 해제할 수 있다. 제2 특징 영역(C2)의 변경 내용을 적용하거나 해제함으로써, 사용자와 환자가 교정 계획을 논의할 때는 환자에게 템플릿이 얼굴 전체적으로 어떻게 적용될지 용이하게 확인할 수 있도록 하고, 다른 치료자 등에게 이미지 데이터를 공유할 때는 환자의 얼굴 노출을 최소화하고 익명성을 보장하는 이점이 있다.In addition, changes in the second feature region C2 applied to the image data may be applied or canceled. By applying or canceling the changes in the second feature area C2, when the user and the patient discuss the correction plan, the patient can easily check how the template will be applied to the entire face, and image data can be shared with other therapists. It has the advantage of minimizing the exposure of the patient's face and guaranteeing anonymity.
이하에서는, 본 발명에 따른 이미지 처리 장치에 대해 상세히 설명하기로 한다. 이미지 처리 장치를 설명함에 있어서, 이미지 처리 방법과 중첩되는 내용은 간략히 언급하거나 생략한다.Hereinafter, an image processing apparatus according to the present invention will be described in detail. In describing the image processing apparatus, contents overlapping with the image processing method are briefly mentioned or omitted.
도 15는 본 발명에 따른 이미지 처리 장치의 구성도이다.15 is a configuration diagram of an image processing device according to the present invention.
도 15를 참조하면, 본 발명에 따른 이미지 처리 장치(10)는, 이미지 데이터가 저장된 데이터베이스부(100), 데이터베이스부(100)에서 적어도 하나의 이미지 데이터를 입력받아 이미지 데이터에 복수의 특징점들을 부여하고, 특징점 중 적어도 2개의 특징점을 연결하여 생성되는 적어도 하나의 특징선 또는 특징 영역을 기초로 이미지 데이터의 일부를 변경하는 제어부(200), 그리고 제어부(200)의 수행 결과를 시각적으로 표시하는 디스플레이부(300)를 포함할 수 있다.Referring to FIG. 15 , the
이하에서는, 각부 구성에 대하여 설명하기로 한다.Hereinafter, the configuration of each part will be described.
데이터베이스부(100)는 이미지 데이터를 저장할 수 있다. 이 때, 이미지 데이터는 구강이 개구되어 치아가 노출된 얼굴 데이터일 수 있다. 구강이 개구된 것은 입술이 개방되어 치아 또는 치은의 일부가 노출된 것을 의미할 수 있으며, 얼굴 데이터는 자연스러운 스마일 라인을 갖는 일반 얼굴 데이터 또는 강제 개구된 개구 얼굴 데이터일 수 있다. 즉, 치아가 노출되어 템플릿을 적용할 수 있으면 어떠한 형식의 얼굴 데이터라도 사용이 가능하다. 데이터베이스부(100)는 이미지 데이터뿐만 아니라 특징점들을 생성하기 위한 알고리즘, 이미지 데이터에 적용하기 위한 적어도 하나의 치아 템플릿 데이터 등을 포함할 수 있다.The
본 발명에 따른 이미지 처리 방법에서 전술한 바와 같이, 데이터베이스부(100)는 물리적 저장 장치일 수도 있고, 클라우드일 수도 있다.As described above in the image processing method according to the present invention, the
한편, 제어부(200)는 데이터베이스부(100)로부터 적어도 하나의 이미지 데이터를 입력받아 이미지 데이터에 특징점들을 부여하고, 이미지를 소정 규격에 부합하도록 피팅하며, 스마일 라인 디자인 등을 수행할 수 있다. 또한, 제어부(200)는 이미지 데이터의 일부분을 변경할 수 있다. 이하에서는 제어부(200)의 세부 구성에 대하여 설명한다.Meanwhile, the
제어부(200)는 소정 기준에 따라 이미지 데이터에 복수의 특징점들을 부여하는 특징점 생성부(210)를 포함할 수 있다.The
특징점 생성부(210)는 입력받은 이미지 데이터의 특징적인 부분에 대하여 특징점들을 부여한다. 이 때, 특징적인 부분은 전술한 바와 같이 눈썹, 하안검, 상안검, 코, 입술의 외측, 입술의 내측, 안면의 윤곽 등을 포함할 수 있다. 상기 특징적인 부분들을 나타내기 위해, 특징적인 부분들에 특징점들을 부여하며, 상기 특징점은 이미지 데이터에 복수로 부여될 수 있다. 특징점은 후술할 특징선 및 특징 영역의 생성 등의 참조점으로 사용될 수 있다. 또한, 특징점 생성부(210)는 이미지 데이터에 정확한 특징점들을 부여하기 위해 상기 이미지 데이터를 소정 각도 간격으로 회전하면서 최적의 각도에서 이미지 데이터에 특징점들을 부여할 수 있다. 한편, 특징점 생성부(210)는 상기 이미지 데이터에 특징점들을 부여하기 위해 얼굴 데이터를 기초로 소정 기준을 사용할 수 있으며, 상기 기준은 전술한 바와 같다.The feature
또한, 제어부(200)는 이미지 데이터 피팅부(220)를 더 포함할 수 있다. 이미지 데이터 피팅부(220)는 특징점 생성부(210)로부터 부여된 특징점을 연결하여 생성된 적어도 하나의 특징선을 기초로 이미지 데이터가 소정 크기 및 소정 각도 중 적어도 하나를 갖도록 피팅할 수 있다. 예시적으로, 이미지 데이터 피팅부(220)는 양안의 외안각에 생성된 특징점들을 연결하여 생성되는 제1 특징선의 길이가 소정 길이에 부합하도록 이미지 데이터의 크기를 확대 또는 축소할 수 있다. 또한, 이미지 데이터 피팅부(220)는 상기 제1 특징선의 일 지점과 상기 제1 특징선으로부터 이격된 특징점을 연결하여 생성되는 제2 특징선이 소정 각도를 갖도록 이미지 데이터를 회전시킬 수 있다. 이 때, 이미지 데이터 피팅부(220)는 제2 특징선의 각도가 유저 인터페이스 평면 중 가로방향에 수직을 이루도록 이미지 데이터를 회전시킬 수 있다.Also, the
이하, 이미지 데이터 피팅부(220)에서 입력받은 이미지 데이터를 피팅하는 방법은 상기 이미지 처리 방법에서 전술한 바 있다.Hereinafter, the method of fitting the image data input by the image data
이미지 데이터 피팅부(220)에서 피팅이 완료되면, 스마일 라인 디자인부(250)는 피팅된 이미지 데이터의 스마일 라인을 디자인할 수 있다. 이 때, 스마일 라인을 디자인하는 것은 특징점을 기초로 생성되는 이미지 데이터 중 특징점들에 의해 생성되는 특징 영역에 적어도 하나의 템플릿을 적용하는 것을 의미할 수 있다. 이미지 데이터의 특징 영역은 제어부 중 영역 생성부(230)에서 생성될 수 있다. 영역 생성부(230)에서 생성되는 특징 영역은, 특징점 생성부(210)에서 부여된 복수의 특징점들 중 적어도 3개의 특징점을 연결하여 생성되는 제1 특징 영역일 수 있다. 예시적으로, 제1 특징 영역은 얼굴 데이터 중 입술 내측에 대한 특징점들을 연결하여 생성되는 립라인의 내부 영역일 수 있다. 제1 특징 영역은 치아를 나타내는 데이터를 포함하며, 스마일 라인 디자인부(260)는 제1 특징 영역에 교정 치아에 관한 템플릿을 적용하여 환자의 교정 후 치아 상태를 나타낼 수 있다.When fitting is completed in the image data
한편, 영역 생성부(230)에서 생성되는 특징 영역은 얼굴 데이터에서 적어도 2개의 특징점을 기초로 생성되는 제2 특징 영역을 더 포함할 수 있다. 예시적으로, 제2 특징 영역은 얼굴 데이터 중 눈을 포함할 수 있으며, 제2 특징 영역은 얼굴 데이터 중 눈의 윤곽을 이루는 제1 특징점 및 제2 특징점을 포함할 수 있다. 또한, 제2 특징 영역은 제1 특징 영역과 상호 이격되어 형성될 수 있다. 제1 특징 영역과 제2 특징 영역이 이격 형성됨으로써, 제2 특징 영역에 대한 변경이 수행될 때 제1 특징 영역에 적용된 템플릿이 손상되는 것을 방지할 수 있다.Meanwhile, the feature region generated by the
또한, 제2 특징 영역은 상기 제1 특징점 및 상기 제2 특징점을 연결하여 생성되는 제1 특징선을 포함할 수 있으며, 제2 특징영역은 제1 특징선의 길이방향으로 제1 특징점으로부터 제1 거리만큼 이격 형성된 제1 지점과, 제1 특징선의 길이방향으로 제2 특징점으로부터 제2 거리만큼 이격 형성된 제2 지점을 포함할 수 있다. 또한, 제2 특징 영역은, 제1 특징선의 길이방향과 수직인 방향으로 제1 특징점으로부터 제3 거리만큼 이격 형성된 제3 지점, 제3 지점이 형성된 방향에 대향되는 방향으로 제1 특징점으로부터 제4 거리만큼 이격 형성된 제4 지점, 제1 특징선의 길이방향과 수직인 방향으로 제2 특징점으로부터 제5 거리만큼 이격 형성된 제5 지점, 그리고 제5 지점이 형성된 방향에 대향되는 방향으로 제2 특징점으로부터 제6 거리만큼 이격 형성된 제6 지점을 포함할 수 있다. 이 때, 제1 거리 내지 제6 거리는 동일한 길이를 가질 수 있다.Also, the second feature region may include a first feature line generated by connecting the first feature point and the second feature point, and the second feature region is a first distance from the first feature point in a longitudinal direction of the first feature line. and a second point spaced apart from the second feature point by a second distance in the longitudinal direction of the first feature line. In addition, the second feature region may include a third point spaced apart from the first feature point by a third distance in a direction perpendicular to the longitudinal direction of the first feature line, and a fourth point from the first feature point in a direction opposite to the direction in which the third point is formed. A fourth point spaced apart by a distance, a fifth point spaced apart by a fifth distance from the second feature point in a direction perpendicular to the longitudinal direction of the first feature line, and a fifth point from the second feature point in a direction opposite to the direction in which the fifth point was formed. Sixth points spaced apart by 6 distances may be included. In this case, the first to sixth distances may have the same length.
제1 특징점 및 제2 특징점으로부터 제1 지점 내지 제6 지점이 형성되고, 형성된 제1 지점 내지 제6 지점으로부터 제2 특징 영역을 형성하는 과정에 대해서는 본 발명에 따른 이미지 처리 방법에서 전술한 바와 같다.The process of forming the first to sixth points from the first feature point and the second feature point and forming the second feature region from the formed first to sixth points is the same as described above in the image processing method according to the present invention. .
제어부(200)는 제2 특징 영역을 변경하는 영역 변경부(240)를 더 포함할 수 있다. 영역 변경부(240)는 영역 생성부(230)에서 생성된 제2 특징 영역에 소정 색상 및 소정 패턴 중 적어도 하나를 적용할 수 있다. 이 때, 소정 색상은 단일 색상일 수도 있고, 제2 특징 영역을 이루는 일부 픽셀들에서, 해당 픽셀들의 픽셀값의 평균일 수도 있다. 픽셀값의 평균은 상기 일부 픽셀들 중 중심 픽셀에 할당될 수 있으며, 이에 따라 제2 특징 영역의 블러링 과정이 수행될 수 있다. 블러링 과정을 수행하기 위해 전술한 바와 같은 다양한 필터링 방식이 사용될 수 있다.The
제어부(200)는 이미지 데이터 추출부(260)를 더 포함할 수 있다. 이미지 데이터 추출부(260)는 제2 특징 영역의 변경 내용이 적용된 이미지 데이터를 익명화된 이미지 데이터로 추출할 수 있다. 추출된 익명화된 이미지 데이터는 데이터베이스부(100)에 저장될 수 있으며, 익명화된 이미지 데이터를 통해 사용자는 다른 치료자와 교정 계획을 논의할 수 있으며, 이 과정에서 환자의 신상 정보의 노출이 최소화될 수 있고, 이로써 환자의 익명성을 보장하는 이점이 있다.The
한편, 상기와 같은 제어부(200)의 동작 수행 과정 중 적어도 일부는 디스플레이부(300)를 통해 시각적으로 표시될 수 있으며, 사용자 및 환자는 디스플레이부(300)를 통해 환자에 대한 최적의 교정 계획을 수립할 수 있다. 또한, 제2 특징 영역이 변경되도록 소정 처리가 수행됨으로써, 환자의 얼굴 노출을 최소화하고 익명성을 보장할 수 있다.Meanwhile, at least a part of the process of performing the operation of the
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.The above description is merely an example of the technical idea of the present invention, and various modifications and variations can be made to those skilled in the art without departing from the essential characteristics of the present invention.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Therefore, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but to explain, and the scope of the technical idea of the present invention is not limited by these embodiments. The protection scope of the present invention should be construed according to the claims below, and all technical ideas within the equivalent range should be construed as being included in the scope of the present invention.
S110: 이미지 데이터를 입력받는 단계
S120: 특징점들을 부여하는 단계
S130: 피팅하는 단계
S140: 변경하는 단계
400: 얼굴 데이터
500: 익명화된 이미지 데이터
10: 이미지 처리 장치
100: 데이터베이스부
200: 제어부
300: 디스플레이부S110: step of receiving image data
S120: Step of assigning feature points
S130: Step of fitting
S140: Step to change
400: face data
500: anonymized image data
10: image processing unit
100: database unit
200: control unit
300: display unit
Claims (36)
소정 기준에 따라 외안각에 대응되는 특징점을 포함하여 상기 이미지 데이터에 복수의 특징점들을 부여하는 단계;
상기 특징점들 중 적어도 3개를 연결하여 생성되는 적어도 2개의 특징 영역 중 제1 특징 영역에 적어도 하나의 템플릿을 적용하여 스마일 라인을 디자인하는 단계; 및
상기 특징점들 중 적어도 3개를 연결하여 생성되는 적어도 2개의 특징 영역 중 제2 특징 영역을 기초로 상기 이미지 데이터의 일부분을 변경하는 단계;를 포함하고,
상기 제1 특징 영역은 상기 얼굴 데이터 중 입술 내측을 이루는 특징점들을 연결하여 생성된 립라인을 나타내고 치아 교정을 위한 적어도 하나의 템플릿이 가상으로 적용되는 영역이며,
상기 제2 특징 영역은 상기 제1 특징 영역과 상호 이격 형성되고, 상기 얼굴 데이터 중 제1 특징점 및 제2 특징점을 연결한 제1 특징선을 기초로 생성되는 영역인 것을 특징으로 하는 이미지 처리 방법.Receiving at least one image data that is face data in which teeth are exposed when the mouth is opened;
assigning a plurality of feature points to the image data, including feature points corresponding to lateral canthus angles, according to a predetermined criterion;
designing a smile line by applying at least one template to a first feature region among at least two feature regions generated by connecting at least three of the feature points; and
Changing a part of the image data based on a second feature region among at least two feature regions generated by connecting at least three of the feature points;
The first feature region represents a lip line generated by connecting feature points constituting the inside of the lips among the face data and is a region to which at least one template for orthodontic treatment is virtually applied,
The image processing method of claim 1 , wherein the second feature region is spaced apart from the first feature region and is generated based on a first feature line connecting first feature points and second feature points of the face data.
상기 특징점들을 부여하는 단계는,
상기 이미지 데이터를 소정 각도 간격으로 회전하면서 상기 이미지 데이터를 기초로 소정 기준에 따라 복수의 특징점들을 부여하는 것을 특징으로 하는 이미지 처리 방법.The method of claim 1,
The step of assigning the feature points,
The image processing method characterized in that, while rotating the image data at predetermined angular intervals, a plurality of feature points are assigned according to a predetermined criterion based on the image data.
상기 특징점들 중 적어도 2개의 특징점을 연결하여 생성되는 적어도 하나의 특징선을 기초로 상기 이미지 데이터가 소정 크기 및 소정 각도 중 적어도 하나를 갖도록 피팅(fitting)하는 단계;를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.The method of claim 1,
Further comprising the step of fitting the image data to have at least one of a predetermined size and a predetermined angle based on at least one feature line generated by connecting at least two of the feature points. Image processing method.
상기 피팅하는 단계는,
적어도 2개의 특징점을 연결하여 생성되는 제1 특징선의 길이가 소정 길이에 부합하도록 상기 이미지 데이터의 크기를 확대 또는 축소하는 것을 특징으로 하는 이미지 처리 방법.The method of claim 5,
The fitting step is
The image processing method characterized by enlarging or reducing the size of the image data so that a length of a first feature line generated by connecting at least two feature points matches a predetermined length.
상기 피팅하는 단계는,
상기 제1 특징선의 일 지점과 상기 제1 특징선으로부터 이격된 특징점을 연결하여 생성되는 제2 특징선의 각도가 소정 각도에 부합하도록 상기 이미지 데이터를 회전하는 것을 특징으로 하는 이미지 처리 방법.The method of claim 6,
The fitting step is
and rotating the image data so that an angle of a second feature line generated by connecting a point of the first feature line and a feature point spaced apart from the first feature line matches a predetermined angle.
상기 제2 특징선의 각도는 유저 인터페이스(UI) 평면 중 가로방향에 수직인 것을 특징으로 하는 이미지 처리 방법.The method of claim 7,
The image processing method, characterized in that the angle of the second feature line is perpendicular to the horizontal direction of the user interface (UI) plane.
상기 제2 특징 영역은 상기 제1 특징선의 길이방향으로 상기 제1 특징점으로부터 제1 거리만큼 이격된 제1 지점, 및 상기 제1 특징선의 길이방향으로 상기 제2 특징점으로부터 제2 거리만큼 이격된 제2 지점을 포함하는 것을 특징으로 하는 이미지 처리 방법.The method of claim 1,
The second feature region includes a first point spaced apart from the first feature point by a first distance in the longitudinal direction of the first feature line, and a second feature spaced apart by a second distance from the second feature point in the longitudinal direction of the first feature line. An image processing method comprising two points.
상기 제2 특징 영역은,
상기 제1 특징선의 길이방향과 수직인 방향으로 상기 제1 특징점으로부터 제3 거리만큼 이격된 제3 지점, 상기 제3 지점이 형성된 방향에 대향되는 방향으로 상기 제1 특징점으로부터 제4 거리만큼 이격된 제4 지점, 상기 제1 특징선의 길이방향과 수직인 방향으로 상기 제2 특징점으로부터 제5 거리만큼 이격된 제5 지점, 및 상기 제5 지점이 형성된 방향에 대향되는 방향으로 상기 제2 특징점으로부터 제6 거리만큼 이격된 제6 지점을 포함하는 것을 특징으로 하는 이미지 처리 방법.The method of claim 12,
The second feature region,
A third point spaced apart from the first feature point by a third distance in a direction perpendicular to the longitudinal direction of the first feature line, and spaced apart from the first feature point by a fourth distance in a direction opposite to the direction in which the third point was formed. A fourth point, a fifth point spaced apart from the second feature point by a fifth distance in a direction perpendicular to the longitudinal direction of the first feature line, and a fifth point from the second feature point in a direction opposite to the direction in which the fifth point was formed. An image processing method comprising a sixth point spaced apart by 6 distances.
상기 제1 거리 내지 상기 제6 거리는 동일한 것을 특징으로 하는 이미지 처리 방법.The method of claim 13,
The image processing method, characterized in that the first distance to the sixth distance is the same.
상기 일부분을 변경하는 단계는, 상기 제2 특징 영역에 소정 색상 및 소정 패턴 중 적어도 하나를 적용하는 것을 특징으로 하는 이미지 처리 방법.The method of claim 1,
In the changing of the portion, at least one of a predetermined color and a predetermined pattern is applied to the second feature region.
상기 색상은 상기 제2 특징 영역을 이루는 픽셀들의 픽셀값 평균인 것을 특징으로 하는 이미지 처리 방법.The method of claim 15
The image processing method according to claim 1 , wherein the color is an average of pixel values of pixels constituting the second feature region.
상기 이미지 데이터는 상기 변경이 적용된 익명화된 이미지 데이터로 추출되는 것을 특징으로 하는 이미지 처리 방법.The method of claim 1,
Wherein the image data is extracted as anonymized image data to which the change is applied.
제어부; 및
상기 제어부의 수행 결과를 시각적으로 표시하는 디스플레이부; 를 포함하고,
상기 제어부는,
상기 데이터베이스부에서 상기 이미지 데이터를 입력받아 소정 기준에 따라 외안각에 대응되는 특징점을 포함하여 상기 이미지 데이터에 복수의 특징점들을 부여하는 특징점 생성부;
상기 특징점 생성부로부터 상기 이미지 데이터에 부여된 특징점들을 기초로 적어도 2개의 특징 영역을 생성하는 영역 생성부;
상기 특징점들 중 적어도 3개를 연결하여 생성되는 상기 적어도 2개의 특징 영역 중 제1 특징 영역에 적어도 하나의 템플릿을 적용하여 스마일 라인을 디자인하는 스마일 라인 디자인부; 및
상기 특징점들 중 적어도 3개를 연결하여 생성되는 상기 적어도 2개의 특징 영역 중 제2 특징 영역을 기초로 상기 이미지 데이터의 일부를 변경하는 영역 변경부; 를 포함하고,
상기 제1 특징 영역은 상기 얼굴 데이터 중 입술 내측을 이루는 특징점들을 연결하여 생성된 립라인을 나타내고 치아 교정을 위한 적어도 하나의 템플릿이 가상으로 적용되는 영역이며,
상기 제2 특징 영역은 상기 제1 특징 영역과 상호 이격 형성되고, 상기 얼굴 데이터 중 제1 특징점 및 제2 특징점을 연결한 제1 특징선을 기초로 생성되는 영역인 것을 특징으로 하는 이미지 처리 장치.a database unit storing at least one image data representing facial data in which the mouth is opened and teeth are exposed;
control unit; and
a display unit that visually displays a result of the execution of the control unit; including,
The control unit,
a feature point generation unit that receives the image data from the database unit and assigns a plurality of feature points to the image data, including feature points corresponding to lateral canthus angles according to a predetermined criterion;
a region generator for generating at least two feature regions based on the feature points assigned to the image data from the feature point generator;
a smile line design unit designing a smile line by applying at least one template to a first feature region among the at least two feature regions generated by connecting at least three of the feature points; and
a region changer configured to change part of the image data based on a second feature region among the at least two feature regions generated by connecting at least three of the feature points; including,
The first feature region represents a lip line generated by connecting feature points constituting the inside of the lips among the face data and is a region to which at least one template for orthodontic treatment is virtually applied,
The image processing apparatus according to claim 1 , wherein the second feature region is spaced apart from the first feature region and is generated based on a first feature line connecting the first feature point and the second feature point of the face data.
상기 특징점 생성부는,
상기 이미지 데이터를 소정 각도 간격으로 회전하면서 상기 소정 기준에 따라 상기 복수의 특징점들을 부여하는 것을 특징으로 하는 이미지 처리 장치.The method of claim 19
The feature point generation unit,
The image processing apparatus characterized in that the plurality of feature points are assigned according to the predetermined criterion while rotating the image data at predetermined angular intervals.
상기 제어부는,
상기 특징점들 중 적어도 2개의 특징점을 연결하여 생성되는 적어도 하나의 특징선을 기초로 상기 이미지 데이터가 소정 크기 및 소정 각도 중 적어도 하나를 갖도록 피팅하는 이미지 데이터 피팅부;를 더 포함하는 것을 특징으로 하는 이미지 처리 장치.The method of claim 19
The control unit,
and an image data fitting unit for fitting the image data to have at least one of a predetermined size and a predetermined angle based on at least one feature line generated by connecting at least two of the feature points. image processing unit.
상기 이미지 데이터 피팅부는,
적어도 2개의 특징점을 연결하여 생성되는 제1 특징선의 길이가 소정 길이에 부합하도록 상기 이미지 데이터의 크기를 확대 또는 축소하는 것을 특징으로 하는 이미지 처리 장치.The method of claim 23
The image data fitting unit,
The image processing device characterized in that the size of the image data is enlarged or reduced so that a length of a first feature line generated by connecting at least two feature points matches a predetermined length.
상기 이미지 데이터 피팅부는,
상기 제1 특징선의 일 지점과 상기 제1 특징선으로부터 이격된 특징점을 연결하여 생성되는 제2 특징선의 각도가 소정 각도에 부합하도록 상기 이미지 데이터를 회전하는 것을 특징으로 하는 이미지 처리 장치.The method of claim 24
The image data fitting unit,
and rotating the image data such that an angle of a second feature line generated by connecting a point of the first feature line and a feature point spaced apart from the first feature line matches a predetermined angle.
상기 제2 특징선의 각도는 유저 인터페이스(UI) 평면 중 가로방향에 수직인 것을 특징으로 하는 이미지 처리 장치.The method of claim 25
The image processing device, characterized in that the angle of the second feature line is perpendicular to the horizontal direction of the user interface (UI) plane.
상기 제2 특징 영역은 상기 제1 특징선의 길이방향으로 상기 제1 특징점으로부터 제1 거리만큼 이격된 제1 지점, 및 상기 제1 특징선의 길이방향으로 상기 제2 특징점으로부터 제2 거리만큼 이격된 제2 지점을 포함하는 것을 특징으로 하는 이미지 처리 장치.The method of claim 19
The second feature region includes a first point spaced apart from the first feature point by a first distance in the longitudinal direction of the first feature line, and a second feature spaced apart by a second distance from the second feature point in the longitudinal direction of the first feature line. An image processing device comprising two points.
상기 제2 특징 영역은,
상기 제1 특징선의 길이방향과 수직인 방향으로 상기 제1 특징점으로부터 제3 거리만큼 이격된 제3 지점, 상기 제3 지점이 형성된 방향에 대향되는 방향으로 상기 제1 특징점으로부터 제4 거리만큼 이격된 제4 지점, 상기 제1 특징선의 길이방향과 수직인 방향으로 상기 제2 특징점으로부터 제5 거리만큼 이격된 제5 지점, 및 상기 제5 지점이 형성된 방향에 대향되는 방향으로 상기 제2 특징점으로부터 제6 거리만큼 이격된 제6 지점을 포함하는 것을 특징으로 하는 이미지 처리 장치.The method of claim 30
The second feature region,
A third point spaced apart from the first feature point by a third distance in a direction perpendicular to the longitudinal direction of the first feature line, and spaced apart from the first feature point by a fourth distance in a direction opposite to the direction in which the third point was formed. A fourth point, a fifth point spaced apart from the second feature point by a fifth distance in a direction perpendicular to the longitudinal direction of the first feature line, and a fifth point from the second feature point in a direction opposite to the direction in which the fifth point was formed. An image processing device comprising a sixth point spaced apart by 6 distances.
상기 제1 거리 내지 상기 제6 거리는 동일한 것을 특징으로 하는 이미지 처리 장치.The method of claim 31
The image processing device according to claim 1 , wherein the first distance to the sixth distance are the same.
상기 영역 변경부는, 상기 제2 특징 영역에 소정 색상 및 소정 패턴 중 적어도 하나를 적용하는 것을 특징으로 하는 이미지 처리 장치.The method of claim 19
The image processing apparatus according to claim 1 , wherein the area changing unit applies at least one of a predetermined color and a predetermined pattern to the second feature area.
상기 색상은 상기 제2 특징 영역을 이루는 픽셀들의 픽셀값 평균인 것을 특징으로 하는 이미지 처리 장치.The method of claim 33,
The image processing device according to claim 1 , wherein the color is an average of pixel values of pixels constituting the second feature region.
상기 제어부는,
상기 변경이 적용된 상기 이미지 데이터를 익명화된 이미지 데이터로 추출하는 이미지 추출부; 를 더 포함하는 것을 특징으로 하는 이미지 처리 장치.The method of claim 19
The control unit,
an image extraction unit extracting the image data to which the change is applied as anonymized image data; Image processing device characterized in that it further comprises.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/KR2021/014767 WO2022092695A1 (en) | 2020-10-29 | 2021-10-21 | Image processing method and device using same |
US18/033,901 US20230394873A1 (en) | 2020-10-29 | 2021-10-21 | Image processing method and device using same |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200142090 | 2020-10-29 | ||
KR20200142090 | 2020-10-29 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220057391A KR20220057391A (en) | 2022-05-09 |
KR102536646B1 true KR102536646B1 (en) | 2023-05-26 |
Family
ID=81582600
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200178664A KR102536646B1 (en) | 2020-10-29 | 2020-12-18 | Image Processing Method and Apparatus Using Thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102536646B1 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009278325A (en) * | 2008-05-14 | 2009-11-26 | Seiko Epson Corp | Image processing apparatus and method, and program |
JP2014091047A (en) | 2012-10-31 | 2014-05-19 | Ormco Corp | Method, system, and computer program product to execute digital orthodontics at one or more sites |
JP2014171702A (en) * | 2013-03-11 | 2014-09-22 | Miura:Kk | Method and system for estimation of postoperative facial appearance in jaw deformity |
CN106137414A (en) | 2015-04-14 | 2016-11-23 | 上海时代天使医疗器械有限公司 | Determine the method and system of target dentition layout |
US20190290400A1 (en) | 2008-05-23 | 2019-09-26 | Align Technology, Inc. | Smile designer |
US20190350680A1 (en) * | 2018-05-21 | 2019-11-21 | Align Technology, Inc. | Photo realistic rendering of smile image after treatment |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4887848B2 (en) | 2006-03-15 | 2012-02-29 | セイコーエプソン株式会社 | Circuit board, electro-optical device and electronic apparatus |
KR102215056B1 (en) * | 2020-01-23 | 2021-02-10 | 울산대학교 산학협력단 | Medical Image De-Identification System, Method and Computer Readable Recording Medium |
-
2020
- 2020-12-18 KR KR1020200178664A patent/KR102536646B1/en active IP Right Grant
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009278325A (en) * | 2008-05-14 | 2009-11-26 | Seiko Epson Corp | Image processing apparatus and method, and program |
US20190290400A1 (en) | 2008-05-23 | 2019-09-26 | Align Technology, Inc. | Smile designer |
JP2014091047A (en) | 2012-10-31 | 2014-05-19 | Ormco Corp | Method, system, and computer program product to execute digital orthodontics at one or more sites |
JP2014171702A (en) * | 2013-03-11 | 2014-09-22 | Miura:Kk | Method and system for estimation of postoperative facial appearance in jaw deformity |
CN106137414A (en) | 2015-04-14 | 2016-11-23 | 上海时代天使医疗器械有限公司 | Determine the method and system of target dentition layout |
US20190350680A1 (en) * | 2018-05-21 | 2019-11-21 | Align Technology, Inc. | Photo realistic rendering of smile image after treatment |
Also Published As
Publication number | Publication date |
---|---|
KR20220057391A (en) | 2022-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11344392B2 (en) | Computer implemented method for modifying a digital three-dimensional model of a dentition | |
US9563975B2 (en) | Makeup support apparatus and method for supporting makeup | |
US20200105028A1 (en) | Generic framework for blurring of colors for teeth in generated images using height map | |
EP2685419B1 (en) | Image processing device, image processing method, and computer-readable medium | |
KR101159830B1 (en) | Red eye false positive filtering using face location and orientation | |
CN103180873B (en) | Image processing apparatus and image processing method | |
CN105354426B (en) | Smile designer | |
JP4753025B2 (en) | Makeup simulation method | |
CN115362451A (en) | System and method for constructing three-dimensional model from two-dimensional image | |
EP3530232B1 (en) | Method for aligning a three-dimensional model of a dentition of a patient to an image of the face of the patient recorded by a camera | |
JP2004303193A (en) | Image processor | |
CN109886144B (en) | Virtual trial sending method and device, computer equipment and storage medium | |
US20210338392A1 (en) | Rendering a dental model in an image | |
CN109145866B (en) | Method and device for determining side face inclination angle | |
CN110728620A (en) | Image processing method and device and electronic equipment | |
JP2008243059A (en) | Image processing device and method | |
US20200113661A1 (en) | Method For Producing A Dental Prosthesis Part | |
KR102536646B1 (en) | Image Processing Method and Apparatus Using Thereof | |
KR102512838B1 (en) | Image Processing Method and Apparatus Using Thereof | |
CN114586069A (en) | Method for generating dental images | |
US20230394873A1 (en) | Image processing method and device using same | |
KR20220118276A (en) | Method for processing image and apparatus using thereof | |
EP4238528A1 (en) | Image processing method and apparatus using same | |
US20220175491A1 (en) | Method for estimating and viewing a result of a dental treatment plan | |
TWI743413B (en) | Single-photo generating device and method and non-volatile computer-readable media thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
X091 | Application refused [patent] | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant |