KR20240027900A - 인공지능 기반의 학습 모델을 이용한 경혈점의 위치 산출 장치, 방법 및 프로그램 - Google Patents
인공지능 기반의 학습 모델을 이용한 경혈점의 위치 산출 장치, 방법 및 프로그램 Download PDFInfo
- Publication number
- KR20240027900A KR20240027900A KR1020220104535A KR20220104535A KR20240027900A KR 20240027900 A KR20240027900 A KR 20240027900A KR 1020220104535 A KR1020220104535 A KR 1020220104535A KR 20220104535 A KR20220104535 A KR 20220104535A KR 20240027900 A KR20240027900 A KR 20240027900A
- Authority
- KR
- South Korea
- Prior art keywords
- location
- calculating
- user
- acupuncture
- acupuncture point
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 36
- 238000001467 acupuncture Methods 0.000 claims abstract description 169
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 51
- 230000000694 effects Effects 0.000 abstract description 18
- 238000004891 communication Methods 0.000 description 37
- 238000004364 calculation method Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 20
- 208000024891 symptom Diseases 0.000 description 18
- 230000006870 function Effects 0.000 description 8
- 230000000638 stimulation Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000001815 facial effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 206010019233 Headaches Diseases 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 231100000869 headache Toxicity 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 229940124595 oriental medicine Drugs 0.000 description 3
- 230000004936 stimulating effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 208000006373 Bell palsy Diseases 0.000 description 1
- 206010028735 Nasal congestion Diseases 0.000 description 1
- 208000026344 Nasal disease Diseases 0.000 description 1
- 208000030880 Nose disease Diseases 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 208000028911 Temporomandibular Joint disease Diseases 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 208000032625 disorder of ear Diseases 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 208000030533 eye disease Diseases 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000000088 lip Anatomy 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000010454 slate Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 208000004371 toothache Diseases 0.000 description 1
- 206010044652 trigeminal neuralgia Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H37/00—Accessories for massage
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H39/00—Devices for locating or stimulating specific reflex points of the body for physical therapy, e.g. acupuncture
- A61H39/08—Devices for applying needles to such points, i.e. for acupuncture ; Acupuncture needles or accessories therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/50—Control means thereof
- A61H2201/5007—Control means thereof computer controlled
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Rehabilitation Therapy (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Physical Education & Sports Medicine (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Artificial Intelligence (AREA)
- Pain & Pain Management (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Epidemiology (AREA)
- Computing Systems (AREA)
- Animal Behavior & Ethology (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Geometry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Finger-Pressure Massage (AREA)
Abstract
본 개시는 인공지능 기반의 학습 모델을 이용한 경혈점의 위치 산출 장치에 관한 것으로, 사용자의 얼굴 영상 내 복수의 특징점에 대한 좌표 데이터를 획득하고, 학습 모델에 좌표 데이터를 입력하여 사용자의 경혈점 위치를 산출하는 효과를 제공한다.
Description
본 개시는 경혈점의 위치 산출 장치에 관한 것으로, 보다 상세하게는 인공지능 기반으로 학습된 모델을 이용하여 경혈점의 위치를 산출하는 장치에 관한 것이다.
경혈(혈자리)는 오랜 세월동안 연구되고 이용되었으며, 경혈에 침을 놓거나 전기 자극을 가하거나 뜸을 들이거나 또는 눌러주는 등의 행위를 통해 대상의 질병을 치료하거나 건강에 유의미한 효과를 제공할 수 있다.
하지만, 이러한 효능에도 불구하고 일반인이 경혈의 위치를 파악하여 자극을 가하는 것은 너무 어렵다는 문제점이 있다.
그 이유는 사람의 신체에는 너무나 많은 경혈점이 존재하고, 각 경혈점을 자극하였을 때 효과가 다르며 사람마다의 신체 특성에 따라 경혈점의 위치가 다르기 때문이다.
이에, 사용자의 신체 특성을 고려하여 경혈의 위치를 자동으로 산출해주고, 사용자가 원하는 효과를 발휘하기 위한 경혈점의 위치 정보를 제공하는 기술이 필요한 실정이지만, 현재로서는 이러한 기술이 공개되어 있지 않은 실정이다.
본 개시에 개시된 실시예는 경혈점의 위치를 자동으로 산출하는 장치를 제공하는데 그 목적이 있다.
또한, 본 개시에 개시된 실시예는 사용자의 얼굴 영상 내 복수의 특징점에 대한 좌표 데이터를 획득하고, 학습 모델에 좌표 데이터를 입력하여 사용자의 경혈점 위치를 산출하는 장치를 제공하는데 그 목적이 있다.
또한, 본 개시에 개시된 실시예는 사용자의 얼굴 영상에 대하여 획득된 좌표 데이터를 기반으로, 사용자의 경혈점 위치를 산출하기 위한 기준값을 산출하고, 이를 이용하여 사용자에게 최적화된 경혈점의 위치를 산출하는 장치를 제공하는데 그 목적이 있다.
본 개시가 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 개시의 일 실시예에 따른 경혈점의 위치 산출 장치는, 사용자의 얼굴 영상을 획득하는 획득부; 및 상기 얼굴 영상 내 복수의 특징점에 대한 좌표 데이터를 획득하고, 경혈점의 위치 산출 방법이 학습된 인공지능 모델에 상기 획득된 좌표 데이터를 입력하여 상기 얼굴 영상 내 적어도 하나의 경혈점의 위치를 산출하는 프로세서를 포함한다.
또한, 상기 프로세서는, 좌표 데이터와 경혈점 간의 관계정보에 대하여 미리 학습된 상기 인공지능 모델에 상기 사용자의 얼굴 영상에 대하여 획득된 좌표 데이터를 입력하여, 상기 관계정보에 기초하여 상기 사용자의 얼굴 내 적어도 하나의 랜드마크의 위치를 산출할 수 있다.
또한, 상기 경혈점은 얼굴 내 적어도 하나의 랜드마크로부터의 위치 정보가 저장되어 있으며, 상기 인공지능 모델은, 상기 산출된 적어도 하나의 랜드마크의 위치 및 상기 경혈점에 대하여 저장된 위치 정보를 기반으로, 상기 사용자 얼굴 영상 내 적어도 하나의 경혈점의 위치를 산출할 수 있다.
또한, 상기 경혈점 중 특정 경혈점은, 상기 위치 정보에 상기 사용자의 신체 치수를 기반으로 산출해야 하는 기준값이 포함되어 있으며, 상기 프로세서는, 상기 획득된 좌표 데이터를 기반으로, 상기 특정 경혈점의 위치를 산출하기 위한 상기 기준값을 산출할 수 있다.
또한, 상기 프로세서는, 상기 획득된 좌표 데이터를 이용하여 눈 높이로부터 턱 끝까지의 길이를 산출하고, 상기 산출된 길이를 기반으로 상기 기준값을 산출할 수 있다.
또한, 상기 프로세서는, 하기 수학식 1을 기반으로 상기 기준값을 산출할 수 있다.
[수학식 1]
또한, 상기 인공지능 모델은, 얼굴 영상이 포함된 다수의 샘플 영상이 학습 데이터로 입력되어 미리 학습된 CNN 기반의 모델이고, 상기 샘플 영상은, 각 샘플 영상에 포함된 얼굴 영상 내 경혈점의 위치 정보가 태깅된 것이다.
또한, 상기 프로세서는, 상기 다수의 샘플 영상 각각에 포함된 얼굴 영상에 대하여 상기 복수의 특징점에 대한 좌표 데이터를 획득하고, 상기 획득된 좌표 데이터를 상기 인공지능 모델에 입력하여 상기 각각의 샘플 영상에 포함된 얼굴 영상 내 적어도 하나의 경혈점에 대한 위치를 산출하여 태깅하여 학습 데이터셋을 생성하고, 상기 생성된 학습 데이터셋을 상기 인공지능 모델에 입력하여 학습할 수 있다.
상술한 과제를 해결하기 위한 본 개시의 일 실시예에 따른 경혈점의 위치 산출 방법은, 경혈점의 위치 산출 장치에 의해 수행되는 방법으로, 사용자의 얼굴 영상을 획득하는 단계; 상기 사용자의 얼굴 영상 내 복수의 특징점에 대한 좌표 데이터를 획득하는 단계; 및 경혈점의 위치 산출 방법이 학습된 인공지능 모델에 상기 좌표 데이터를 입력하여 상기 사용자의 얼굴 영상 내 적어도 하나의 경혈점의 위치를 산출하는 단계를 포함한다.
이 외에도, 본 개시를 구현하기 위한 실행하기 위한 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램이 더 제공될 수 있다.
이 외에도, 본 개시를 구현하기 위한 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.
본 개시의 전술한 과제 해결 수단에 의하면, 경혈점의 위치를 자동으로 산출하는 장치를 제공하는 효과를 제공한다.
또한, 본 개시의 전술한 과제 해결 수단에 의하면, 사용자의 얼굴 영상 내 복수의 특징점에 대한 좌표 데이터를 획득하고, 학습 모델에 좌표 데이터를 입력하여 사용자의 경혈점 위치를 산출하는 효과를 제공한다.
또한, 본 개시의 전술한 과제 해결 수단에 의하면, 사용자의 얼굴 영상에 대하여 획득된 좌표 데이터를 기반으로, 사용자의 경혈점 위치를 산출하기 위한 기준값을 산출하고, 이를 이용하여 사용자에게 최적화된 경혈점의 위치를 산출하는 효과를 제공한다.
본 개시의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 실시예에 따른 경혈점의 위치 산출 시스템의 개략도이다.
도 2 및 도 3은 본 개시의 실시예에 따른 경혈점의 위치 산출 장치의 블록도이다.
도 4 및 도 5는 본 개시의 실시예에 따른 경혈점의 위치 산출 방법의 흐름도이다.
도 6은 CNN 기반의 인공지능 모델에 경혈점의 위치를 산출하는 방법을 학습시키는 것을 예시한 흐름도이다.
도 7은 사용자의 얼굴이 포함된 영상을 예시한 도면이다.
도 8은 도 7에서 인식된 얼굴 영상에 복수의 특징점에 대한 좌표 데이터를 생성한 것을 예시한 도면이다.
도 9는 인공지능 모델에 도 8의 좌표 데이터를 입력하여 얼굴 영상 내 경혈점의 위치를 산출하여 표시한 것을 예시한 도면이다.
도 10은 각각의 경혈점에 대하여 설정된 위치 정보가 예시된 도면이다.
도 11은 각각의 경혈점에 대한 자극 효과가 예시된 도면이다.
도 12는 사용자 단말로부터 얼굴 영상과 사용자의 증상에 대한 정보를 수신하고, 이를 인공지능 모델에 입력하는 것이 예시된 도면이다.
도 13은 인공지능 모델이 도 11에 입력된 정보에 따라 경혈점의 위치를 산출하고, 사용자 단말로 정보를 제공하는 것이 예시된 도면이다.
도 2 및 도 3은 본 개시의 실시예에 따른 경혈점의 위치 산출 장치의 블록도이다.
도 4 및 도 5는 본 개시의 실시예에 따른 경혈점의 위치 산출 방법의 흐름도이다.
도 6은 CNN 기반의 인공지능 모델에 경혈점의 위치를 산출하는 방법을 학습시키는 것을 예시한 흐름도이다.
도 7은 사용자의 얼굴이 포함된 영상을 예시한 도면이다.
도 8은 도 7에서 인식된 얼굴 영상에 복수의 특징점에 대한 좌표 데이터를 생성한 것을 예시한 도면이다.
도 9는 인공지능 모델에 도 8의 좌표 데이터를 입력하여 얼굴 영상 내 경혈점의 위치를 산출하여 표시한 것을 예시한 도면이다.
도 10은 각각의 경혈점에 대하여 설정된 위치 정보가 예시된 도면이다.
도 11은 각각의 경혈점에 대한 자극 효과가 예시된 도면이다.
도 12는 사용자 단말로부터 얼굴 영상과 사용자의 증상에 대한 정보를 수신하고, 이를 인공지능 모델에 입력하는 것이 예시된 도면이다.
도 13은 인공지능 모델이 도 11에 입력된 정보에 따라 경혈점의 위치를 산출하고, 사용자 단말로 정보를 제공하는 것이 예시된 도면이다.
본 개시 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 개시가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 개시가 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 ‘부, 모듈, 부재, 블록’이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 개시의 작용 원리 및 실시예들에 대해 설명한다.
본 명세서에서 '본 개시에 따른 경혈점의 위치 산출 장치(100)'는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 본 개시에 따른 경혈점의 위치 산출 장치(100)는, 컴퓨터, 서버 장치 및 휴대용 단말기를 모두 포함하거나, 또는 어느 하나의 형태가 될 수 있다.
여기에서, 상기 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), 태블릿 PC, 슬레이트 PC 등을 포함할 수 있다.
상기 서버 장치는 외부 장치와 통신을 수행하여 정보를 처리하는 서버로써, 애플리케이션 서버, 컴퓨팅 서버, 데이터베이스 서버, 파일 서버, 게임 서버, 메일 서버, 프록시 서버 및 웹 서버 등을 포함할 수 있다.
상기 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), WiBro(Wireless Broadband Internet) 단말, 스마트 폰(Smart Phone) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치와 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD) 등과 같은 웨어러블 장치를 포함할 수 있다.
이하, 첨부된 도면을 참조하여 본 개시의 실시예를 상세하게 설명한다.
도 1은 본 개시의 실시예에 따른 경혈점의 위치 산출 시스템(10)의 개략도이다.
도 1을 참조하면, 본 개시의 실시예에 따른 경혈점의 위치 산출 시스템(10)은 경혈점의 위치 산출 장치(100)가 사용자의 단말(200)과 통신하여 경혈점의 위치 산출 서비스를 제공할 수 있다.
일 실시예로, 경혈점의 위치 산출 장치(100)는 사용자 단말(200)로부터 사용자의 얼굴 영상을 수신하면, CNN 기반으로 학습된 인공지능 모델을 이용하여 사용자의 얼굴을 분석하여 사용자의 얼굴 내 복수의 경혈점에 대한 위치를 산출한 후, 산출된 경혈점의 위치를 사용자의 얼굴 영상 상에 표시함으로써 경혈점의 위치 산출 서비스를 제공할 수 있다.
또는, 경혈점의 위치 산출 장치(100)는 사용자 단말(200)로부터 서비스의 이용 목적(예: 증상, 목표 효과 등)을 입력받고, 사용자의 목적에 해당되는 경혈점의 위치를 각각 산출한 후, 산출된 경혈점의 위치를 사용자의 얼굴 영상 상에 표시함으로써 경혈점의 위치 산출 서비스를 제공할 수 있다.
이외에도, 경혈점의 위치 산출 장치(100)는 경혈점의 위치를 파악하는 법을 학습하고자 하는 사용자에게 경혈점의 위치를 파악하는 법을 알려주는 용도로도 활용될 수 있다.
이와 같이, 본 개시의 실시예에 따른 경혈점의 위치 산출 시스템(10)은 다양한 방법으로 경헐점의 위치 산출 서비스를 제공할 수 있다.
이러한 서비스는 경혈점의 위치 정보 제공 서비스로 지칭될 수도 있다.
본 개시의 실시예에 따른 경혈점의 위치 산출 장치(100)는 서비스에 가입한 사용자에게 서비스를 제공하기 위하여 서버 장치(100)를 포함할 수 있다. 따라서, 경혈점의 위치 산출 장치(100)는 서버 장치를 통해서 서비스에 가입된 사용자의 단말(200)로 웹 또는 애플리케이션을 통해 서비스를 제공할 수 있다.
아래에서는, 다른 도면들을 참조하여 본 개시의 실시예에 따른 경혈점의 위치 산출 시스템(10), 장치(100), 방법 및 프로그램에 관하여 보다 상세하게 설명하도록 한다.
도 2 및 도 3은 본 개시의 실시예에 따른 경혈점의 위치 산출 장치(100)의 블록도이다.
도 2는 전술한 바와 같이 경헐점의 위치 산출 장치(100)가 서버 장치를 포함하여, 온라인 상에서 사용자들의 단말(200)을 통해 경혈점의 위치 산출 서비스를 제공하는 경우를 예시한 도면이다.
도 3은 경혈점의 위치 산출 장치(100)가 키오스크와 같은 장치로 실시되어 키오스크 장치를 이용하는 사용자에게 경혈점의 위치 산출 서비스를 제공하는 경우를 예시한 도면이다.
경혈점의 위치 산출 장치(100)가 도 2와 같이 실시되는 경우, 획득부(120)는 통신부를 포함하여 사용자 단말(200)과 통신하여 사용자의 얼굴 영상을 획득하고, 산출된 경혈점의 위치 정보를 통신부를 통해서 사용자의 단말(200)로 제공함으로써, 사용자 단말(200)의 화면으로 정보를 출력할 수 있다.
경혈점의 위치 산출 장치(100)가 도 3과 같이 실시되는 경우, 사용자의 얼굴을 촬영하기 위해 카메라(125)가 필요하므로 획득부(120)는 카메라(125)를 포함하여 키오스크를 이용하는 사용자의 얼굴을 촬영함으로써 사용자의 얼굴 영상을 획득하고, 입력부(150)를 통해서 사용자의 서비스 이용 목적(예: 증상, 목표 효과 등)을 입력받고, 산출된 경혈점의 위치 정보를 출력부(160)를 통해서 키오스크 장치의 화면으로 출력함으로써 사용자에게 정보를 제공할 수 있다.
도 2를 참조하면, 본 개시의 실시예에 따른 경혈점의 위치 산출 장치(100)는 프로세서(110), 획득부(120), 메모리(130) 및 사용자 인터페이스부(140, User Interface)를 포함한다.
도 3을 참조하면, 본 개시의 실시예에 따른 경혈점의 위치 산출 장치(100)는 카메라(125), 메모리(130), 사용자 인터페이스부(140), 입력부(150) 및 출력부(160)를 포함한다.
다만, 몇몇 실시예에서 경혈점의 위치 산출 장치(100)는 도 2에 도시된 구성요소보다 더 적은 수의 구성요소나 더 많은 구성요소를 포함할 수도 있다.
프로세서(110)는 메모리(130)에 저장되어 있는 각종 명령어, 알고리즘을 실행하고, 인공지능 모델을 이용하여 경혈점의 위치 산출 방법, 프로그램을 실행할 수 있다.
프로세서(110)는 본 장치(100) 내의 구성요소들의 동작을 제어하기 위한 알고리즘 또는 알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 메모리(130), 및 메모리(130)에 저장된 데이터를 이용하여 전술한 동작을 수행하는 적어도 하나의 프로세서(110)로 구현될 수 있다. 이때, 메모리(130)와 프로세서(110)는 각각 별개의 칩으로 구현될 수 있다. 또는, 메모리(130)와 프로세서(110)는 단일 칩으로 구현될 수도 있다.
또한, 프로세서(110)는 이하의 도면에서 설명되는 본 개시에 따른 다양한 실시 예들을 본 장치(100) 상에서 구현하기 위하여, 위에서 살펴본 구성요소들을 중 어느 하나 또는 복수를 조합하여 제어할 수 있다.
획득부(120)는 사용자의 얼굴 영상을 획득한다.
도 2를 참조하면, 획득부(120)는 사용자 단말(200)과 유/무선으로 통신하기 위한 통신부를 포함할 수 있다.
경혈점의 위치 산출 장치(100)는 통신부를 통해 사용자 단말(200)과 통신하여 사용자의 서비스 이용 목적(예: 증상, 목표 효과 등), 얼굴 영상을 수신하고, 이를 기반으로 산출된 경혈점의 위치 정보, 건강 개선 정보 등을 사용자 단말(200)로 전송하여 사용자에게 서비스를 제공할 수 있다.
상기 구성요소들 중 통신부는 외부 장치와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어, 방송 수신 모듈, 유선통신 모듈, 무선통신 모듈, 근거리 통신 모듈, 위치 정보 모듈 중 적어도 하나를 포함할 수 있다.
유선 통신 모듈은, 지역 통신(Local Area Network; LAN) 모듈, 광역 통신(Wide Area Network; WAN) 모듈 또는 부가가치 통신(Value Added Network; VAN) 모듈 등 다양한 유선 통신 모듈뿐만 아니라, USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), DVI(Digital Visual Interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 다양한 케이블 통신 모듈을 포함할 수 있다.
무선 통신 모듈은 와이파이(Wifi) 모듈, 와이브로(Wireless broadband) 모듈 외에도, GSM(global System for Mobile Communication), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), UMTS(universal mobile telecommunications system), TDMA(Time Division Multiple Access), LTE(Long Term Evolution), 4G, 5G, 6G 등 다양한 무선 통신 방식을 지원하는 무선 통신 모듈을 포함할 수 있다.
무선 통신 모듈은 이동통신 신호를 송신하는 안테나 및 송신기(Transmitter)를 포함하는 무선 통신 인터페이스를 포함할 수 있다. 또한, 무선 통신 모듈은 제어부의 제어에 따라 무선 통신 인터페이스를 통해 제어부로부터 출력된 디지털 제어 신호를 아날로그 형태의 무선 신호로 변조하는 신호 변환 모듈을 더 포함할 수 있다.
근거리 통신 모듈은 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth??), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
사용자 인터페이스부(140)는 본 장치(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다. 이러한 인터페이스부(140)는 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리(130) 카드(memory card) 포트, 식별 모듈(SIM)이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 중 적어도 하나를 포함할 수 있다. 본 장치(100)에서는, 상기 사용자 인터페이스부(140)에 연결된 외부 기기와 관련된 적절한 제어를 수행할 수 있다.
도 3을 참조하면, 획득부(120)는 경혈점의 위치 산출 장치(100)를 이용하는 사용자의 얼굴 영상을 획득하기 위해 카메라(125)를 포함할 수 있다.
프로세서(110)는 입력부(150)를 통해 경혈점의 위치 산출 요청 신호가 입력되면, 카메라(125)를 제어하여 사용자의 얼굴을 촬영함으로써, 사용자의 얼굴 영상을 획득할 수 있다.
카메라(125)는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부에 표시되거나 메모리(130)에 저장될 수 있다.
또한, 획득부(110)는 사용자의 얼굴 영상이 저장된 메모리(130)로 대체될 수도 있다.
프로세서(110)는 사용자 인터페이스부(140)(User Interface)를 제어하여 사용자 단말(200) 또는 키오스크 형태의 경혈점의 위치 산출 장치(100)의 출력부(160)를 통해 사용자에게 서비스를 제공하기 위한 인터페이스를 표시하고, 인터페이스로 입력되는 입력 신호에 따라 제어신호를 발생시켜 경혈점의 위치 산출 장치(100)의 동작을 제어할 수 있다.
일 실시예로, 경혈점의 위치 산출 장치(100)는 사용자 단말(200)에 서비스 애플리케이션이 설치되어 사용자 인터페이스부(140)를 구성할 수 있다.
입력부(150)는 영상 정보(또는 신호), 오디오 정보(또는 신호), 데이터, 또는 사용자로부터 입력되는 정보의 입력을 위한 것으로서, 적어도 하나의 카메라(125), 적어도 하나의 마이크로폰 및 사용자 입력부(150) 중 적어도 하나를 포함할 수 있다. 입력부(150)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.
입력부(150)는 사용자로부터 정보를 입력받기 위한 것으로서, 사용자 입력부(150)를 통해 정보가 입력되면, 제어부는 입력된 정보에 대응되도록 본 장치(100)의 동작을 제어할 수 있다. 이러한, 사용자 입력부(150)는 하드웨어식 물리 키(예를 들어, 본 장치(100)의 전면, 후면 및 측면 중 적어도 하나에 위치하는 버튼, 돔 스위치 (dome switch), 조그 휠, 조그 스위치 등) 및 소프트웨어식 터치 키를 포함할 수 있다. 일 예로서, 터치 키는, 소프트웨어적인 처리를 통해 터치스크린 타입의 디스플레이부 상에 표시되는 가상 키(virtual key), 소프트 키(soft key) 또는 비주얼 키(visual key)로 이루어지거나, 상기 터치스크린 이외의 부분에 배치되는 터치 키(touch key)로 이루어질 수 있다. 한편, 상기 가상키 또는 비주얼 키는, 다양한 형태를 가지면서 터치스크린 상에 표시되는 것이 가능하며, 예를 들어, 그래픽(graphic), 텍스트(text), 아이콘(icon), 비디오(video) 또는 이들의 조합으로 이루어질 수 있다.
출력부(160)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부, 음향 출력부, 햅틱 모듈 및 광 출력부 중 적어도 하나를 포함할 수 있다. 디스플레이부는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 본 장치(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부로써 기능함과 동시에, 본 장치(100)와 사용자 간에 출력 인터페이스를 제공할 수 있다.
상기 디스플레이부(터치스크린)는 본 장치(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 상기 디스플레이부는 본 장치(100)에서 구동되는 응용 프로그램(일 예로, 어플리케이션)의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다.
상기 음향 출력부는 통신부를 통해 수신되거나 또는 메모리(130)에 저장된 오디오 데이터를 출력하거나, 본 장치(100)에서 수행되는 기능과 관련된 음향 신호를 출력할 수 있다. 이러한 음향 출력부에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다.
메모리(130)는 경혈점의 위치 산출 방법, 프로그램을 실행하기 위한 각종 명령어, 알고리즘 그리고 미리 학습된 인공지능 모델이 저장될 수 있다.
메모리(130)는 본 장치(100)의 다양한 기능을 지원하는 데이터와, 제어부의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 음악 파일, 정지영상, 동영상 등)을 저장할 있고, 본 장치(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 본 장치(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다.
이러한, 메모리(130)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리(130) 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리(130), 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 메모리(130)는 본 장치(100)와는 분리되어 있으나, 유선 또는 무선으로 연결된 데이터베이스가 될 수도 있다.
도 4 및 도 5는 본 개시의 실시예에 따른 경혈점의 위치 산출 방법의 흐름도이다.
도 6은 CNN 기반의 인공지능 모델에 경혈점의 위치를 산출하는 방법을 학습시키는 것을 예시한 흐름도이다.
도 4를 참조하여 본 개시의 실시예에 따른 경혈점의 위치 산출 방법에 대해서 설명하도록 한다.
경혈점의 위치 산출 장치(100)가 획득부(120)를 통해 사용자의 얼굴 영상을 획득한다. (S100)
도 7은 사용자의 얼굴이 포함된 영상을 예시한 도면이다.
경혈점의 위치 산출 장치(100)는 획득부(120)를 통해 사용자의 얼굴 영상을 획득할 수 있다.
보다 상세하게는, 본 개시의 실시예에서 획득부(120)는 통신부, 카메라(125) 및 메모리(130) 중 적어도 하나를 포함할 수 있으므로 프로세서(110)는 통신부를 통해 외부로부터 사용자(타겟)의 얼굴 영상을 획득하거나, 카메라(125) 제어하여 사용자(타겟)를 촬영하여 사용자의 얼굴 영상을 획득할 수 있다.
일 실시예로, 사용자가 경혈점의 위치 산출 서비스에 미리 가입하였고, 얼굴 영상을 사전에 제공하여 메모리(130)에 저장되어 있는 경우, 프로세서(110)는 메모리(130)에 저장되어 있는 사용자의 얼굴 영상을 로딩하여 사용자의 얼굴 영상을 획득할 수도 있다.
이러한 경우, 본 개시의 실시예에 따른 경혈점의 위치 산출 시스템(10)은 사용자의 얼굴 영상을 미리 수신하여 메모리(130)에 저장하고, 사용자가 앱 또는 웹을 통해 서비스에 접속하고 본인의 증상을 입력할 때마다 메모리(130)에서 얼굴 영상을 로딩하고, 사용자로부터 수신된 증상에 부합하는 경혈점을 산출함으로써, 사용자의 증상을 치료, 개선해줄 수 있는 경혈점의 위치 정보를 제공할 수 있는 효과가 있다.
일 실시예로, 프로세서(110)는 사용자의 이마를 포함하는 얼굴 전체가 공개되도록 얼굴 영상을 촬영하도록 요청할 수 있다.
프로세서(110)가 사용자의 얼굴 영상 내 복수의 특징점에 대한 좌표 데이터를 획득한다. (S200)
본 개시의 실시예에서 프로세서(110)는 획득부(120)를 통해 획득된 사용자의 얼굴 영상에서 사용자의 얼굴 부위를 정확하게 인식할 수 있다. 프로세서(110)는 사용자의 얼굴 영상에서 사용자의 얼굴 부위에 대한 인식이 실패하는 경우 영상을 재촬영하거나 재송신하도록 요청할 수 있다.
본 개시의 실시예에서 사용자의 얼굴 영상 내에서 사용자의 얼굴 부위는 이마를 포함하는 얼굴 전체와 귀를 포함할 수 있다.
프로세서(110)는 특징점 추출 알고리즘을 이용하여 사용자의 얼굴 영상에서 얼굴 부위 내 복수의 특징점을 추출하고, 각각의 특징점에 대한 좌표 데이터를 획득할 수 있다.
이때, 좌표 데이터는 2차원 또는 3차원 좌표를 포함할 수 있다.
일 실시예로, 프로세서(110)는 페이스 매쉬 생성 알고리즘을 이용하여 사용자의 얼굴 영상에서 얼굴 부위에 페이스 매쉬(Face Mesh)를 생성하고, 페이스 매쉬로부터 복수의 특징점에 대한 좌표 데이터를 산출 또는 추출함으로써, 사용자의 얼굴 영상 내 복수의 특징점에 대한 좌표 데이터를 획득할 수 있다.
일 실시예로, 프로세서(110)는 Google에서 오픈소스로 제공하는 MediaPipe Face Mesh를 이용하여 사용자의 얼굴 영상 내 Face mesh를 생성하고, Face mesh로부터 사용자의 얼굴 영상 내 복수의 특징점에 대한 좌표 데이터를 획득할 수 있다.
프로세서(110)가 인공지능 모델에 S200에서 획득된 좌표 데이터를 입력하여, 사용자의 얼굴 영상 내 적어도 하나의 경혈점에 대한 위치를 산출한다. (S300)
도 8은 도 7에서 인식된 얼굴 영상에 복수의 특징점에 대한 좌표 데이터를 생성한 것을 예시한 도면이다.
도 9는 인공지능 모델에 도 8의 좌표 데이터를 입력하여 얼굴 영상 내 경혈점의 위치를 산출하여 표시한 것을 예시한 도면이다.
도 10은 각각의 경혈점에 대하여 설정된 위치 정보가 예시된 도면이다.
본 개시의 실시예에서 복수 개의 경혈점이 이용될 수 있으며, 도 10을 참조하면 23개의 경혈점이 예시되어 있다. 하지만, 본 개시의 실시예에서 적용 가능한 경혈점이 도 10에 도시된 23개의 경혈점에 한정되는 것은 아니며 더 많거나 더 적은 경혈점이 적용될 수도 있다.
도 10을 참조하면, 본 개시의 실시예에서 메모리(130)는 복수의 경혈점 각각의 위치 정보가 저장되어 있으며, 인공지능 모델은 경혈점의 위치 정보 산출 방법이 학습되어 있다.
보다 상세하게는, 인공지능 모델은 학습데이터를 통해 특징점과 경혈점 간의 관계정보를 학습함으로써, 사용자(타겟)의 얼굴 영상이 입력되면 특징점으로부터 경혈점의 위치를 산출할 수 있게 된다.
이러한 인공지능 모델의 학습에 관한 상세한 내용은 후술하도록 한다.
도 5를 참조하면, 경혈점의 위치 산출 방법은 하기 단계들을 더 포함할 수 있다.
프로세서(110)가 사용자의 얼굴 영상 내 복수의 특징점에 대한 좌표 데이터를 획득한다. (S200)
S200 다음으로, 프로세서(110)가 사용자의 얼굴 영상 내 적어도 하나의 랜드마크의 위치를 산출한다. (S220)
프로세서(110)가 타겟의 경혈점 위치를 산출하기 위한 기준값을 산출한다. (S240)
프로세서(110)가 S220의 랜드마크에 대하여 산출된 위치를 기반으로 경혈점의 위치를 산출하거나, S240에서 산출된 기준값을 이용하여 경혈점의 위치를 산출한다. (S300)
복수의 경혈점 각각은 얼굴 상의 랜드마크로부터의 위치 정보가 저장되어 있으며, 그 중 적어도 하나의 특정 경혈점은 사용자에 대한 기준값을 이용하여 위치를 산출하도록 위치 정보가 설정되어 있다.
이때, 프로세서는 사용자의 신체 치수를 기반으로 사용자에 대한 기준값을 산출할 수 있다.
프로세서(110)는 인공지능 모델에 S200에서 획득된 좌표 데이터를 입력하여 사용자의 얼굴 상의 복수의 랜드마크에 대한 위치 정보(좌표)를 산출할 수 있다.
랜드마크는 도 10에 도시된 바와 같이 코, 인중, 눈썹, 눈썹, 콧방울 등과 같이 얼굴 상에 명칭이 있는 부위라면 무엇이든 적용이 가능하다.
기준값은 한의학에서 사용되는 촌(寸, Cun)이 적용될 수 있다.
예를 들어, 프로세서(110)는 사용자에 대한 기준값(촌)을 산출하게 되면, 얼굴 영상 내 입꼬리에서 가쪽으로 0.4 x 단위거리를 통해서 "지창"을 산출할 수 있게 된다.
일 실시예로, 프로세서(110)는 S200에서 획득된 좌표 데이터를 이용하여 사용자의 눈 높이로부터 턱 끝까지의 길이를 산출하고, 산출된 결과를 기반으로 기준값을 산출할 수 있다.
프로세서(110)는 하기 수학식 1을 기반으로 사용자에 대한 기준값을 산출할 수 있다.
한의학에서 일촌(한치)은 사람의 신체 치수에 따라 다르게 계산될 수 있으며, 기준값을 이용하여 산출하는 경혈점의 위치 외의 경혈점도 일반인이 그 위치를 정확하게 파악하기는 어렵다.
본 개시의 실시예에 따른 경혈점의 위치 산출 장치(100)는 사용자의 얼굴 영상 내 복수의 특징점에 대한 좌표 데이터를 획득하고, 좌표 데이터와 경혈점 간의 관계정보가 학습된 인공지능 모델을 통해서 각각의 경혈점의 사용자 얼굴 상의 위치를 산출할 수 있게 된다.
인공지능 모델은 S200에서 획득된 좌표 데이터가 입력되면, 좌표 데이터를 이용하여 얼굴의 크기, 얼굴 상의 각 랜드마크의 크기와 위치, 랜드마크 간의 거리 등을 산출할 수 있다.
경혈점의 위치 산출 장치(100)는 사용자의 얼굴 내 복수의 경혈점에 대한 위치를 산출하고, 이를 출력부(160) 또는 사용자 단말(200)로 표시하여 사용자에게 정보를 제공할 수도 있지만, 사용자로부터 얼굴 영상과 함께 증상 정보, 개선하고자 하는 정보를 입력받아 수신할 수도 있다.
전술한 바와 같이, 경혈점의 위치 산출 장치(100)는 사용자의 얼굴 영상 내 포함된 모든 경혈점의 위치를 산출할 수도 있고, 사용자로부터 입력되어 수신된 사용자의 증상, 경혈점 위치 산출 목적에 부합하는 경혈점을 산출하여 사용자에게 정보를 제공할 수도 있다.
따라서, 도 5와 같이 사용자에게 정보를 제공해줘야 하는 경혈점의 위치를 산출하기 위하여 기준값의 산출이 필요한 경우 프로세서는 S240의 과정을 수행해야 하고, 사용자에게 정보를 제공해줘야 하는 경혈점의 위치를 산출하기 위하여 기준값이 필요하지 않은 경우에는 S220 다음으로 S300을 수행하도록 할 수 있다.
도 11은 각각의 경혈점에 대한 자극 효과가 예시된 도면이다.
도 12는 사용자 단말(200)로부터 얼굴 영상과 사용자의 증상에 대한 정보를 수신하고, 이를 인공지능 모델에 입력하는 것이 예시된 도면이다.
도 13은 인공지능 모델이 도 11에 입력된 정보에 따라 경혈점의 위치를 산출하고, 사용자 단말(200)로 정보를 제공하는 것이 예시된 도면이다.
도 11을 참조하면, 메모리(130)는 각 경혈점을 자극하였을 때 얻을 수 있는 적어도 하나의 효능에 대한 정보가 저장되어 있다.
따라서, 입력부(150) 또는 사용자 단말(200)을 통해 사용자의 얼굴 영상과 사용자의 증상 또는 사용자가 원하는 개선 효과가 수신되면, 인공지능 모델은 S100, S200, S300 및 S400을 통해서 사용자의 얼굴 내 복수의 경혈점에 대한 위치를 산출하는 것은 물론, 사용자의 증상을 개선할 수 있거나 사용자가 원하는 효능을 얻을 수 있는 경혈점의 위치에 대한 정보를 제공할 수 있다.
예를 들어, 프로세서(110)는 입력부(150) 또는 사용자 단말(200)로부터 수신된 사용자의 증상이 코막힘인 경우, 복수의 경혈점 중에서 "인당"의 위치를 산출하여 얼굴 영상에 표시해줄 수 있다.
일 실시예로, 메모리(130)는 각각의 경혈점의 자극 방법, 증상에 따른 경혈점의 자극 방법이 저장될 수 있으며, 프로세서(110)는 사용자의 증상에 대하여 산출된 경혈점의 위치 정보와 함께 해당 경혈점의 자극 방법에 대한 정보를 함께 제공할 수 있다.
일 실시예로, 메모리(130)는 각각의 경혈점의 자극 방법과 함께 자극시 주의사항이 저장되어 있을 수 있다.
일 실시예로, 메모리(130)는 증상 또는 질환별로 효과가 있는 경혈점에 대한 정보가 저장되어 있을 수 있다.
예를 들어, 메모리(130)는 두통은 찬죽, 사백, 상영향, 양백, 사죽공, 동자료, 태양, 눈 질환은 인당, 찬죽, 승읍, 사백, 구후, 거료, 정명, 양백, 사죽공, 어요, 동자료, 태양, 코 질환은 인당, 소료, 태단, 사백, 영향, 상영향, 거료, 화료, 귀 질환은 승읍, 양백, 치통은 태단, 승장, 관료, 거료, 협거, 대영, 태양, 턱 관절 질환은 협거, 삼차 신경통은 사백, 지창, 관료, 영향, 거료, 어요, 동자료, 협거, 태양, 안면 신경마비는 찬죽, 수구, 승읍, 사백, 승장, 지창, 관료, 영향, 양백, 사죽공, 어요, 동자료, 화료, 협거, 대영, 태양이 각각 효과가 있는 것으로 저장되어 있을 수 있다.
도 12를 참조하면, 경혈점의 위치 산출 장치(100)는 사용자 단말(200)로부터 사용자의 얼굴 영상과 함께 증상 정보(두통)를 수신하였으며, 이를 인공지능 모델에 입력하여 경혈점의 위치 산출 방법을 실행하고 있다.
도 13을 참조하면, 인공지능 모델은 사용자의 얼굴 영상에 두통 증상을 개선/완화하는데 최적화된 경혈점의 위치를 산출하였으며, 프로세서(110)는 통신부를 통해 사용자 단말(200)로 사용자의 얼굴 상의 경혈점에 대한 위치를 제공하여 화면으로 표시하고 있다.
이때, 프로세서(110)는 사용자 단말(200)로 위치 정보가 제공된 해당 경혈점의 명칭, 해당 경혈점의 자극 방법 및 주의사항 중 적어도 하나에 대한 정보를 함께 제공할 수 있다.
도 6을 참조하면, 경혈점의 위치를 산출하기 위한 인공지능 모델을 학습시키는 방법에 대한 흐름도가 예시되어 있다.
본 개시의 실시예에서, 인공지능 모델은 다수의 제1 샘플 영상이 학습 데이터로 입력되어 미리 학습된 CNN 기반의 모델이다.
제1 샘플 영상은 적어도 하나의 경혈점에 대한 위치 정보가 태깅된 것으로, 한의사와 같은 전문적인 지식을 갖고 있는 어노테이터에 의해 경혈점의 위치가 태깅/라벨링될 수 있다.
인공지능 모델은 제1 샘플 영상을 학습하여 좌표 데이터와 경혈점의 관계 정보에 대하여 학습한다.
프로세서(110)는 다수의 제2 샘플 영상 각각에 대하여 복수의 특징점에 대한 좌표 데이터를 획득하고, 획득된 좌표 데이터를 상기 미리 학습된 인공지능 모델에 입력하여 상기 각각의 제2 샘플 영상에 포함된 얼굴 영상 내 적어도 하나의 경혈점에 대한 위치를 산출할 수 있다.
그리고, 프로세서(110)는 상기 산출된 경혈점의 위치를 오토 태깅하여 각각의 제2 샘플 영상과 각각의 제2 샘플 영상에 대하여 산출된 경혈점의 위치를 기반으로 학습 데이터셋을 생성하고, 생성된 학습 데이터셋을 인공지능 모델에 입력하여 학습할 수 있다.
또한, 본 개시의 실시예에서 인공지능 모델에 입력되는 샘플 영상은 얼굴이 다양한 각도에서 촬영된 영상이 적용될 수 있다.
일 실시예로, 샘플 영상은 촬영 각도는 영상 상에서 2개의 눈이 식별될 수 있는 각도 범위가 적용 가능하다.
따라서, 다수의 샘플 영상은 얼굴의 정면으로부터 좌 또는 우 방향의 기 설정된 각도 내에 촬영된 영상으로, 상기 기 설정된 각도는 샘플 영상 내에 포함된 얼굴 영상의 양쪽 눈이 인식 가능한 범위의 각도가 적용 가능하다.
프로세서(110)가 샘플 영상의 얼굴 내 경혈점의 위치가 태깅된 제1 샘플 영상을 획득한다. (S10)
프로세서(110)가 제1 샘플 영상의 얼굴 내 복수의 특징점에 대한 좌표 데이터를 획득한다. (S20)
프로세서(110)가 복수의 특징점에 대한 좌표 데이터와 경혈점의 관계정보에 대하여 학습한다. (S30)
프로세서(110)가 얼굴 영상이 포함된 다수의 제2 샘플 영상을 획득한다. (S40)
프로세서(110)가 인공지능 모델에 제2 샘플 영상을 입력하여 제2 샘플 영상 각각에 포함된 얼굴의 경혈점에 대한 위치를 산출하여 오토 태깅함으로써, 제2 샘플 영상을 기반으로 학습데이터셋을 생성한다. (S50)
프로세서(110)가 S50에서 생성된 학습데이터셋을 인공지능 모델에 입력하여 인공지능 모델을 학습시킨다. (S60)
이와 같이, 본 개시의 실시예에 따른 경혈점의 위치 산출 장치(100)는 전문가에 의해 위치가 태깅된 학습 데이터를 기반으로 인공지능 모델을 미리 학습시키고, 인공지능 모델을 이용하여 다수의 샘플 영상에 포함된 얼굴 영상 내 경혈점의 위치를 산출한 후 이를 학습 데이터셋으로 인공지능 모델에 입력함으로써 인공지능 모델의 경혈점 산출 정확도를 향상시킬 수 있게 된다.
이상에서 전술한 본 개시의 일 실시예에 따른 방법은, 하드웨어인 서버와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
본 개시의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 개시가 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 개시의 실시예를 설명하였지만, 본 개시가 속하는 기술분야의 통상의 기술자는 본 개시가 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
10: 경혈점의 위치 산출 시스템
100: 경혈점의 위치 산출 장치
110: 프로세서
120: 획득부
125: 카메라
130: 메모리
140: 사용자 인터페이스부
150: 입력부
160: 출력부
200: 사용자 단말
100: 경혈점의 위치 산출 장치
110: 프로세서
120: 획득부
125: 카메라
130: 메모리
140: 사용자 인터페이스부
150: 입력부
160: 출력부
200: 사용자 단말
Claims (10)
- 사용자의 얼굴 영상을 획득하는 획득부; 및
상기 얼굴 영상 내 복수의 특징점에 대한 좌표 데이터를 획득하고, 경혈점의 위치 산출 방법이 학습된 인공지능 모델에 상기 획득된 좌표 데이터를 입력하여 상기 얼굴 영상 내 적어도 하나의 경혈점의 위치를 산출하는 프로세서를 포함하는,
경혈점의 위치 산출 장치.
- 제1항에 있어서,
상기 프로세서는,
좌표 데이터와 경혈점 간의 관계정보에 대하여 미리 학습된 상기 인공지능 모델에 상기 사용자의 얼굴 영상에 대하여 획득된 좌표 데이터를 입력하여, 상기 관계정보에 기초하여 상기 사용자의 얼굴 내 적어도 하나의 랜드마크의 위치를 산출하는 것을 특징으로 하는,
경혈점의 위치 산출 장치.
- 제2항에 있어서,
상기 경혈점은 얼굴 내 적어도 하나의 랜드마크로부터의 위치 정보가 저장되어 있으며,
상기 인공지능 모델은,
상기 산출된 적어도 하나의 랜드마크의 위치 및 상기 경혈점에 대하여 저장된 위치 정보를 기반으로, 상기 사용자 얼굴 영상 내 적어도 하나의 경혈점의 위치를 산출하는 것을 특징으로 하는,
경혈점의 위치 산출 장치.
- 제3항에 있어서,
상기 경혈점 중 특정 경혈점은,
상기 위치 정보에 상기 사용자의 신체 치수를 기반으로 산출해야 하는 기준값이 포함되어 있으며,
상기 프로세서는,
상기 획득된 좌표 데이터를 기반으로, 상기 특정 경혈점의 위치를 산출하기 위한 상기 기준값을 산출하는 것을 특징으로 하는,
경혈점의 위치 산출 장치.
- 제4항에 있어서,
상기 프로세서는,
상기 획득된 좌표 데이터를 이용하여 눈 높이로부터 턱 끝까지의 길이를 산출하고, 상기 산출된 길이를 기반으로 상기 기준값을 산출하는 것을 특징으로 하는,
경혈점의 위치 산출 장치.
- 제5항에 있어서,
상기 프로세서는,
하기 수학식 1을 기반으로 상기 기준값을 산출하는 것을 특징으로 하는,
경혈점의 위치 산출 장치.
[수학식 1]
기준값 = 0.151 / 12 / 0.068 x (상기 사용자의 눈 높이로부터 턱 끝까지의 길이)
- 제1항에 있어서,
상기 인공지능 모델은, 얼굴 영상이 포함된 다수의 샘플 영상이 학습 데이터로 입력되어 미리 학습된 CNN 기반의 모델이고,
상기 샘플 영상은, 각 샘플 영상에 포함된 얼굴 영상 내 경혈점의 위치 정보가 태깅된 것인,
경혈점의 위치 산출 장치.
- 제7항에 있어서,
상기 프로세서는,
상기 다수의 샘플 영상 각각에 포함된 얼굴 영상에 대하여 상기 복수의 특징점에 대한 좌표 데이터를 획득하고,
상기 획득된 좌표 데이터를 상기 인공지능 모델에 입력하여 상기 각각의 샘플 영상에 포함된 얼굴 영상 내 적어도 하나의 경혈점에 대한 위치를 산출하여 태깅하여 학습 데이터셋을 생성하고,
상기 생성된 학습 데이터셋을 상기 인공지능 모델에 입력하여 학습하는,
경혈점의 위치 산출 장치.
- 경혈점의 위치 산출 장치에 의해 수행되는 방법으로,
사용자의 얼굴 영상을 획득하는 단계;
상기 사용자의 얼굴 영상 내 복수의 특징점에 대한 좌표 데이터를 획득하는 단계; 및
경혈점의 위치 산출 방법이 학습된 인공지능 모델에 상기 좌표 데이터를 입력하여 상기 사용자의 얼굴 영상 내 적어도 하나의 경혈점의 위치를 산출하는 단계를 포함하는,
경혈점의 위치 산출 방법.
- 하드웨어인 컴퓨터와 결합되어, 제9항의 경혈점의 위치 산출 방법을 실행시키기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220104535A KR20240027900A (ko) | 2022-08-22 | 2022-08-22 | 인공지능 기반의 학습 모델을 이용한 경혈점의 위치 산출 장치, 방법 및 프로그램 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220104535A KR20240027900A (ko) | 2022-08-22 | 2022-08-22 | 인공지능 기반의 학습 모델을 이용한 경혈점의 위치 산출 장치, 방법 및 프로그램 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240027900A true KR20240027900A (ko) | 2024-03-05 |
Family
ID=90298874
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220104535A KR20240027900A (ko) | 2022-08-22 | 2022-08-22 | 인공지능 기반의 학습 모델을 이용한 경혈점의 위치 산출 장치, 방법 및 프로그램 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20240027900A (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140125009A (ko) | 2013-04-17 | 2014-10-28 | 상지대학교산학협력단 | 복수 개의 경혈점을 표시하는 방법 및 그 시스템 |
-
2022
- 2022-08-22 KR KR1020220104535A patent/KR20240027900A/ko unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140125009A (ko) | 2013-04-17 | 2014-10-28 | 상지대학교산학협력단 | 복수 개의 경혈점을 표시하는 방법 및 그 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11989350B2 (en) | Hand key point recognition model training method, hand key point recognition method and device | |
| US10229565B2 (en) | Method for producing haptic signal and electronic device supporting the same | |
| CN110349081B (zh) | 图像的生成方法、装置、存储介质和电子设备 | |
| CN107665485B (zh) | 用于显示图形对象的电子装置和计算机可读记录介质 | |
| KR102558473B1 (ko) | 이미지를 표시하기 위한 방법 및 그 전자 장치 | |
| CN109091380B (zh) | 以ar技术实现穴道视觉化的中医系统及其方法 | |
| US20160180141A1 (en) | Guided fingerprint enrolment | |
| Bisht et al. | Study of wearable IoT devices in 2021: Analysis & future prospects | |
| US20180261332A1 (en) | Representation of symptom alleviation | |
| CN107223247A (zh) | 用于获得多个健康参数的方法、系统和可穿戴装置 | |
| CN107427665A (zh) | 用于睡眠辅助的可穿戴设备 | |
| US11826160B2 (en) | Nerve disorder diagnosis apparatus and method using virtual reality | |
| KR20150140043A (ko) | 웨어러블 디바이스 및 웨어러블 디바이스 의 증강 현실 정보 제공 방법 | |
| EP3317786B1 (en) | Cardiopulmonary resuscitation coordination method, computer program product and system | |
| US20160217565A1 (en) | Health and Fitness Monitoring via Long-Term Temporal Analysis of Biometric Data | |
| CN111045575A (zh) | 一种诊疗交互方法和诊疗终端设备 | |
| CN111263926B (zh) | 信息处理装置、信息处理方法和计算机可读存储介质 | |
| KR20190098099A (ko) | 안마 기구 | |
| CN110199244B (zh) | 信息处理设备、信息处理方法以及程序 | |
| CN114005511A (zh) | 一种康复训练方法、系统、训练自助设备和存储介质 | |
| KR20240027900A (ko) | 인공지능 기반의 학습 모델을 이용한 경혈점의 위치 산출 장치, 방법 및 프로그램 | |
| KR102516079B1 (ko) | 디지털 영상 인식을 활용한 생활환경 감지 기반의 재활회복 운동 추천 시스템 및 방법 | |
| CN106168850A (zh) | 用于显示屏幕的电子设备及其控制方法 | |
| KR102377414B1 (ko) | 인공지능 기반 개인화 청각 재활 시스템 | |
| CN112785490B (zh) | 图像处理方法、装置及电子设备 |