KR102022163B1 - 깊이 정보를 이용한 혀 영상 촬영장치 및 방법 - Google Patents

깊이 정보를 이용한 혀 영상 촬영장치 및 방법 Download PDF

Info

Publication number
KR102022163B1
KR102022163B1 KR1020170135744A KR20170135744A KR102022163B1 KR 102022163 B1 KR102022163 B1 KR 102022163B1 KR 1020170135744 A KR1020170135744 A KR 1020170135744A KR 20170135744 A KR20170135744 A KR 20170135744A KR 102022163 B1 KR102022163 B1 KR 102022163B1
Authority
KR
South Korea
Prior art keywords
tongue
image
threshold range
processor
shape
Prior art date
Application number
KR1020170135744A
Other languages
English (en)
Other versions
KR20190043776A (ko
Inventor
최우수
장준수
김근호
Original Assignee
한국 한의학 연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국 한의학 연구원 filed Critical 한국 한의학 연구원
Priority to KR1020170135744A priority Critical patent/KR102022163B1/ko
Publication of KR20190043776A publication Critical patent/KR20190043776A/ko
Application granted granted Critical
Publication of KR102022163B1 publication Critical patent/KR102022163B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/45For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4542Evaluating the mouth, e.g. the jaw
    • A61B5/4552Evaluating soft tissue within the mouth, e.g. gums or tongue
    • G06K9/20
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Rheumatology (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

이미지 제공 장치에 연관되며, 보다 특정하게는 사용자의 혀 영상을 촬영하는 적어도 하나의 깊이 카메라; 상기 영상을 출력하는 표시부; 및 상기 영상의 깊이 정보 계산하고 상기 사용자의 혀 형태가 미리 지정되는 제1 임계 범위에 포함되는지 여부를 판단하여, 상기 제1 임계 범위에 포함되지 않는 경우 상기 영상의 재촬영 신호를 보내는 프로세서를 포함하는 혀 영상 촬영 장치에 연관된다.

Description

깊이 정보를 이용한 혀 영상 촬영장치 및 방법{APPARATUS AND METHOD FOR PHOTOGRAPHING TONGUE IMAGE USING DEPTH INFORMATION}
이미지를 제공하는 장치 및 방법에 연관되며, 보다 특정하게는 깊이 카메라를 이용하여 혀 영상을 촬영하고 분석하여 사용자에게 제공하는 장치 및 방법에 연관된다.
설진이란 인체의 건강 상태와 질병 특성을 파악하기 위해 혀를 살피는 한의학의 독특한 진단 방법이다. 구체적으로 혀의 형태, 설질, 설태, 움직임 등을 바탕으로 이루어진다.
혀에 비정상적인 두께의 백태가 존재하는 경우에는 허증, 한증, 습증 등과 관계가 있어 이러한 변증 상태를 의심할 수 있으며, 혀의 부위를 나누어 각 부위마다 장기에 연관된다. 최근에는 혀 영상 촬영으로 해당 질병의 가능성을 진단하는 연구도 진행중이다.
한국 등록특허 10-1265849호 (공고일자 2013년05월20일)는 혀 영상 촬영 장치를 제시한다. 혀 영상이 임계 범위에 포함되지 않는 경우 재촬영 알림 신호를 발생하는 장치에 관한 발명이다.
일실시예에 따르면 사용자의 혀 영상을 촬영하는 적어도 하나의 깊이 카메라; 상기 영상을 출력하는 표시부; 및 상기 영상의 깊이 정보 계산하고 상기 사용자의 혀 형태가 미리 지정되는 제1 임계 범위에 포함되는지 여부를 판단하여, 상기 제1 임계 범위에 포함되지 않는 경우 상기 영상의 재촬영 신호를 보내는 프로세서를 포함하는 혀 영상 촬영 장치가 개시된다.
다른 일실시예에 따르면 상기 프로세서는, 상기 영상의 혀 위치 정보를 계산하고 상기 사용자의 혀 위치가 미리 지정되는 제2 임계 범위에 포함되는지 여부를 판단하여, 상기 제2 임계 범위에 포함되지 않는 경우 상기 영상의 재촬영 신호를 보내고, 상기 혀 형태가 제1 임계 범위에 포함되고, 상기 혀 위치가 상기 제2 임계 범위에 포함되는 경우 상기 영상의 저장 신호를 보낼 수 있다.
또 다른 일실시예에 따르면 상기 프로세서는, 상기 영상의 X축 방향 및 Y축 방향 깊이 분포를 이용하여 상기 혀 형태를 판단할 수 있다.
또한, 상기 영상은 혀 정면 영상 및 혀 측면 영상을 포함할 수 있고, 상기 프로세서는 복수의 혀 영상으로부터 상기 혀 영상의 색상 값을 추출하여 평균값을 제공할 수 있다.
다른 일실시예에 따르면 프로세서로부터 저장 신호를 수신하여 혀 영상을 저장하는 저장부를 더 포함하는 혀 영상 촬영 장치도 개시된다.
더하여, 표시부는 상기 혀 영상을 복수의 영역으로 분할하는 격자 영상을 결합하여 표시할 수도 있다.
일측에 따르면 적어도 하나의 깊이 카메라가 사용자의 혀 영상을 촬영하는 단계; 표시부가 상기 영상을 출력하는 단계; 프로세서가 상기 영상의 깊이 정보 계산하고 상기 사용자의 혀 형태가 미리 지정되는 제1 임계 범위에 포함되는지 여부를 판단하는 단계; 및 상기 제1 임계 범위에 포함되지 않는 경우 상기 영상의 재촬영 신호를 보내는 단계를 포함하는 혀 영상 촬영 방법이 제시된다.
다른 일측에 따르면 상기 프로세서가, 상기 영상의 혀 위치 정보를 계산하고 상기 사용자의 혀 위치가 미리 지정되는 제2 임계 범위에 포함되는지 여부를 판단하는 단계; 상기 제2 임계 범위에 포함되지 않는 경우 상기 영상의 재촬영 신호를 보내는 단계; 및 상기 혀 형태가 제1 임계 범위에 포함되고, 상기 혀 위치가 상기 제2 임계 범위에 포함되는 경우 상기 영상의 저장 신호를 보내는 단계를 더 포함하는 혀 영상 촬영 방법도 개시된다.
또한 상기 프로세서가 상기 영상의 X축 방향 및 Y축 방향 깊이 분포를 이용하여 상기 혀 형태를 판단하는 단계를 더 포함할 수 있다. 상기 영상은 혀 정면 영상 및 혀 측면 영상을 포함할 수 있고, 상기 프로세서가 복수의 혀 영상으로부터 상기 혀 영상의 색상 값을 추출하여 평균값을 제공하는 단계를 더 포함하는 것도 가능하다.
또 다른 일측에 따르면 저장부가 상기 영상의 저장 신호를 수신하여 상기 영상을 저장하는 단계를 더 포함하는 혀 영상 촬영 방법도 개시된다.
또한, 상기 영상을 출력하는 단계는 상기 혀 영상을 복수의 영역으로 분할하는 격자 영상을 결합하여 표시하는 혀 영상 촬영 방법이 가능하다.
일실시예에 따르면 혀 영상 촬영 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체도 개시된다.
도 1은 일실시예에 따른 혀 영상 촬영 장치의 블록도이다.
도 2는 일실시예에 따른 혀 영상 촬영 방법의 흐름도이다.
도 3은 일실시예에 따른 혀 영상 촬영 방법의 상세 흐름도이다.
도 4a는 일실시예에 따른 혀 영상을 실제로 촬영한 모습을 도시한다.
도 4b는 일실시예에 따른 혀 영상을 간략화한 개형을 도시한다.
도 5a는 일실시예에 따라 다른 혀 영상을 촬영한 모습을 도시한다.
도 5b는 일실시예에 따라 다른 혀 영상을 간략화한 개형을 도시한다.
도 6a은 일실시예에 따라 혀가 올바르지 않은 지점에 위치한 모습을 도시한다.
도 6b은 일실시예에 따라 혀가 올바르지 않은 다른 지점에 위치한 모습을 도시한다.
도 6c은 일실시예에 따른 혀가 올바른 지점에 위치한 모습을 도시한다.
이하에서, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 권리범위는 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명에서 사용되는 용어는, 연관되는 기술 분야에서 일반적이고 보편적인 것으로 선택되었으나, 기술의 발달 및/또는 변화, 관례, 기술자의 선호 등에 따라 다른 용어가 있을 수 있다. 따라서, 아래 설명에서 사용되는 용어는 기술적 사상을 한정하는 것으로 이해되어서는 안 되며, 실시예들을 설명하기 위한 예시적 용어로 이해되어야 한다.
또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 설명 부분에서 상세한 그 의미를 기재할 것이다. 따라서 아래 설명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 명세서 전반에 걸친 내용을 토대로 이해되어야 한다.
도 1은 일실시예에 따른 혀 영상 촬영 장치의 블록도이다. 혀 영상 촬영 장치는 깊이 카메라, 프로세서, 표시부 및 저장부로 구성될 수 있다.
깊이 카메라는 적어도 하나 이상의 깊이 카메라로 구성될 수 있고, 예시적으로 그러나 한정되지 않게 적외선의 반사 시간 차이를 이용한 TOF(Time-Of-Flight) 방식의 깊이 카메라일 수 있다.
상기 깊이 카메라는 사용자의 혀를 촬영하여 혀의 형태를 분석하기 위한 깊이 정보를 제공할 수 있다. 또한 상기 깊이 카메라는 혀의 정면 영상과 측면 영상을 촬영할 수 있다. 깊이 카메라가 촬영하는 영상으로부터 상기 깊이 정보를 이용하여 프로세서는 혀의 형태를 결정한다. 상기 프로세서는 상기 혀 영상의 X축 방향 및 Y축 방향의 깊이 분포를 이용하여 혀 형태를 판단 또는 결정할 수 있다.
상기 프로세서는 혀의 형태를 결정하고 미리 지정되는 제1 임계 범위에 포함되는지 여부를 판단한다. 결정되는 상기 혀 형태가 상기 제1 임계 범위에 포함되지 않는 경우 재촬영 신호를 보내고, 상기 제1 임계 범위에 포함되는 경우에는 혀 영상의 저장 신호를 보낸다.
표시부는 깊이 카메라가 촬영하는 혀 영상을 실시간으로 표시할 수 있다. 보다 구체적으로 상기 깊이 카메라가 촬영하는 혀 영상을 별도로 저장하지 않고 바로 표시부가 출력할 수 있다. 상기 표시부는 상기 혀 영상에 격자 영상을 결합하여 출력하는 것도 가능하다. 상기 격자 영상은 상기 혀 영상에서 혀를 복수의 부분으로 분할하는 격자 영상일 수 있다. 표시부가 출력하는 영상의 예시는 도 4 내지 6에서 상세하게 살펴볼 수 있다.
프로세서는 격자 영상을 이용하여 혀의 위치를 결정하고 미리 지정되는 제2 임계 범위에 포함되는지 여부를 판단한다. 결정되는 상기 혀 위치가 상기 제2 임계 범위에 포함되지 않는 경우 재촬영 신호를 보내고, 상기 제2 임계 범위에 포함되는 경우에는 혀 영상의 저장 신호를 보낸다.
저장부는 사용자의 혀 형태가 제1 임계 범위에 포함되고, 혀 위치가 제2 임계 범위에 포함되어 혀 영상의 저장 신호를 수신하는 경우에 혀 영상을 저장할 수 있다. 사용자의 혀 형태가 제1 임계 범위에 포함되는 경우에 적절한 혀의 형태가 유지되고 있는 것이며, 혀 위치가 제2 임계 범위에 포함되는 경우에 적절한 지점에 위치하고 있는 것이므로 상기 저장부는 해당 시점의 혀 영상을 저장한다.
더하여 프로세서는 복수의 혀 영상으로부터 상기 혀 영상의 색상 값을 추출하여 평균값을 제공할 수 있다. 저장되는 복수의 혀 영상에서 혀 부분의 색상 값을 추출함으로써 더 정확한 색상에 대한 정보를 제공하기 위함이다.
도 2는 일실시예에 따른 혀 영상 촬영 방법의 흐름도이다. 일실시예에 따른 혀 영상 촬영 방법은 혀 영상 촬영 단계(210), 정면, 측면, 깊이 영상 및 격자무늬 출력 단계(220), 자세 교정 피드백 단계(230) 및 혀 형태와 위치가 기준을 만족하는 경우 저장하는 단계(240)로 구성될 수 있다. 이하에서 각 단계별로 하나씩 상세하게 살펴보도록 한다.
혀 영상 촬영 단계(210)는 적어도 하나 이상의 깊이 카메라를 이용하여 혀 영상을 촬영하는 단계이다. 예시적으로 그러나 한정되지 않게 2대의 TOF 방식 깊이 카메라를 이용하여 사용자의 혀에 대한 정면 영상과 측면 영상을 촬영할 수 있다.
다음으로 정면, 측면, 깊이 영상 및 격자무늬 출력 단계(220)는 표시부가 깊이 카메라에 의해 촬영되는 영상을 출력하는 단계이다. 보다 구체적으로 2대의 깊이 카메라가 정면 및 측면 영상을 촬영하는 경우에 각 영상을 사용자가 볼 수 있도록 표시할 수 있다. 또한 상기 정면 및 측면 혀 영상에 격자무늬를 갖는 격자 영상을 더하여 출력할 수 있다. 상기 격자 무늬는 혀의 위치를 결정하는 데에 이용될 수 있다. 사용자는 출력되는 혀 영상 및 격자 무늬 영상을 보고 현재 혀의 형태와 위치가 어떠한지를 직접 판단할 수도 있다.
자세 교정 피드백 단계(230)는 프로세서에 의해 혀의 형태 및 자세에 대하여 교정 피드백을 받는 단계이다. 상기 프로세서는 혀 영상의 깊이 정보와 격자무늬를 포함하는 격자영상으로부터 혀의 형태 및 자세를 결정할 수 있고, 상기 혀의 형태와 자세가 미리 지정되는 임계 범위에 포함되는지 여부를 판단한다.
상기 프로세서는 상기 혀의 형태 또는 자세 중 어느 하나라도 미리 지정되는 임계 범위를 벗어나는 경우에는 재촬영 신호를 보낸다. 이에 더하여, 어떻게 자세를 교정해야 하는지 제시할 수 있다. 예시적으로 혀의 형태가 바르게 펴지지 않고 요철이 있는 경우에는 "혀를 펴 주세요", 혀의 끝부분이 말려있는 경우에는 "혀의 끝 부분을 아래로 내려 주세요" 등의 자세 교정 피드백이 가능하다.
또는 혀의 위치가 바르지 않은 경우에도 자세 교정 피드백이 가능하다. 예시적으로 기준보다 뒤에 혀가 위치하는 경우에는 "턱을 앞으로 내밀어 주세요", 기준보다 앞에 위치하는 경우에는 "턱을 뒤로 당겨 주세요", 혀가 적절한 위치에 위치하는 경우에는 별도의 자세 교정 피드백을 하지 않을 수 있다. 상기 적절한 위치에 위치하는 경우에는 정확한 촬영을 위해 "현재 자세를 3초간 유지해 주세요" 등의 피드백을 하는 것도 가능하다.
마지막으로 혀 형태 및 위치가 기준 만족시 저장 단계(240)는 자세 교정 피드백(230)단계를 통해 혀를 촬영에 적절한 형태 및 위치로 만들면 그 시점의 혀 영상을 저장하는 단계이다.
구체적으로 혀 형태가 제1 임계 범위를 벗어나지 않고, 혀 위치가 제2 임계 범위를 벗어나지 않는 경우에 프로세서로부터 저장 신호를 수신하여 그 시점의 혀 영상을 저장할 수 있다. 상기 단계들(210 내지 240)을 통해 일관된 위치 및 형태를 갖는 혀 영상을 획득할 수 있다.
도 3은 일실시예에 따른 혀 영상 촬영 방법의 상세 흐름도이다. 일실시예에 따른 혀 영상 촬영 방법은 혀 영상 촬영 단계(310), 깊이 정보 계산 단계(320), 혀 영역 분리 단계(330), 혀 깊이 정규화 및 구역 분할 단계(340), 혀 위치 및 형태 결정 단계(350) 및 혀 위치 및 형태가 기준을 만족하는지 판단하는 단계(360)로 구성될 수 있다. 상기 기준 만족 여부에 따라 저장(380)하거나 재촬영(370)하는 단계가 수행된다.
혀 영상 촬영 단계(310)는 적어도 하나 이상의 깊이 카메라를 이용하여 사용자의 혀 영상을 촬영하는 단계이다. 보다 구체적으로 적어도 하나 이상의 깊이 카메라는 사용자의 혀 정면과 측면 영상을 촬영할 수 있으며, 촬영 위치가 제한되는 것은 아니다.
다음으로 깊이 정보 계산 단계(320)는 깊이 카메라로 촬영된 혀 영상으로부터 깊이 정보를 계산하는 단계이다. 예시적으로 상기 깊이 카메라는 TOF(Time Of Flight) 방식의 깊이 카메라일 수 있고, 상기 깊이 카메라에 의해 촬영되는 영상을 이용하여 TOF를 계산함으로써 깊이 정보를 획득할 수 있다.
혀 영역 분리 단계(330)는 촬영되는 영상으로부터 혀 영역을 추출하는 단계이다. 보다 구체적으로, 촬영되는 혀 영상에는 혀를 비롯하여 턱, 코 등 얼굴 일부가 포함될 수 있다. 따라서 이러한 부분들을 제외하고 설진에 필요한 혀 영역만을 추출한다. 이후 설명하는 구역 분할 단계와는 달리 얼굴에서 혀 영역 전체를 추출하는 단계를 의미한다.
혀 깊이 정규화 및 구역 분할 단계(340)는 깊이 정보 계산 단계(320)에서 계산되는 혀 깊이를 정규화하고, 혀 영역 분리 단계(330)에서 추출된 혀 영역을 분할하는 단계이다. 깊이 정보 계산 단계에서는 혀 깊이 정보만을 계산하기 때문에 혀의 위치 및 형태를 결정하기 위해 정규화를 수행한다. 이어서 구역을 분할한다. 분리된 혀 영역에서 격자 영상으로 구역을 분할하게 된다. 혀 영상에 격자 영상을 병합하여 구역을 분할함으로써 혀의 위치와 형태를 사용자가 쉽게 판단할 수 있도록 한다.
혀 위치 및 형태 결정 단계(350)는 깊이 정보와 격자 영상을 이용하여 현재 촬영중이 혀의 위치 및 형태를 결정하는 단계이다. 혀의 형태는 깊이 정보를 이용하여 결정한다. 구체적으로 깊이 정보 값을 이용해 혀의 어느 부분이 깊고 어느 부분이 얕은지를 파악하고, 그에 따라 혀의 형태를 결정할 수 있다. 혀의 위치는 격자 영상을 기준으로하여 현재 위치를 결정할 수 있다. 촬영하는 영상의 중심부에 격자 영상을 오버랩하여 기준위치를 중심으로한 현재 혀의 위치를 결정한다.
마지막으로 혀의 위치 및 형태가 기준을 만족하는지 판별한다. 혀의 위치 및 형태가 미리 지정되는 기준을 만족하는(촬영하기에 적합한) 경우에 저장부는 저장 신호를 수신하고 해당 혀 영상을 저장한다. 반면에 혀의 위치 또는 형태 중 어느 하나라도 미리 지정되는 기준을 만족하지 않는(촬영하기에 부적합한) 경우에는 재촬영하며 피드백 메시지를 출력할 수 있다.
예시적으로 미리 지정되는 기준을 만족하는 경우는 혀의 형태가 평평하게 펴져있고 끝부분이나 양 옆이 말려있지 않은 형태이며, 혀의 위치는 격자 영상 내부에 혀 영역 전체가 포함되도록 하는 위치일 수 있다.
미리 지정되는 기준을 만족하지 않는 경우에 재촬영을 수행하고 피드백 메시지가 출력될 수 있다. 예시적으로 상기 피드백 메시지는 '혀를 펴 주세요', '혀의 끝 부분을 아래로 내려 주세요', '턱을 앞으로 내밀어 주세요', '턱을 뒤로 당겨 주세요', '현재 자세를 유지해 주세요' 등의 메시지일 수 있으며 이에 한정되는 것은 아니다.
재촬영 후에는 다시 촬영되는 혀 영상을 이용하여 320단계부터 다시 수행한다. 혀의 위치 및 형태가 미리 지정되는 기준을 만족할 때 까지 다시 수행하고 만족하는 경우에 해당 영상을 저장하고 종료된다.
도 4a는 일실시예에 따른 혀 영상을 실제로 촬영한 모습을 도시한다. 도 4a는 예시적으로 안으로 구부러진 혀의 영상을 도시한다. 좌측부터 순서대로 정면 영상, 측면 영상 및 깊이 영상을 도시한다. 각 영상마다 격자 영상이 오버랩 되어 있다. 촬영되는 혀의 위치는 격자 범위로부터 크게 벗어나지 않았으나, 깊이 영상을 볼 때, 혀의 양 측면이 돌출되고 안쪽은 함몰되는 형태이다. 따라서 혀 형태를 평평하게 펴야 한다.
도 4b는 일실시예에 따른 혀 영상을 간략화한 개형을 도시한다. 안으로 구부러진 혀 영상에서 X축 방향 분포 및 Y축 방향 분포를 간략화한 개형을 도시한다. X축 방향 분포를 볼 때, 일정하지 못하고 요철이 있음을 알 수 있다. Y축 방향 분포를 보면 적절한 경사로 하향하고 있음을 알 수 있다. 따라서 제시되는 X축 방향 분포와 Y축 방향 분포를 종합적으로 고려하면 안으로 구부러진 혀의 형태로 판단할 수 있다. 상기 안으로 구부러진 혀 형태는 미리 지정되는 기준을 만족하지 않아 재촬영할 수 있다. 재촬영시에는 '혀를 펴 주세요' 등의 메시지를 출력할 수 있다.
도 5a는 일실시예에 따라 다른 혀 영상을 촬영한 모습을 도시한다. 끝 부분이 앞으로 돌출된 혀 영상을 도시한다. 도 4a와 마찬가지로 좌측부터 순서대로 정면 영상, 측면 영상 및 깊이 영상이며, 각 영상마다 격자 영상이 오버랩 되어 있다.
촬영되는 혀의 위치는 격자 범위내로 미리 지정되는 범위에 포함될 수 있다. 그러나 깊이 영상을 살펴보면, 혀 영역이 일정하지 못하고 끝부분이 붉은 색으로 나타나 돌출되어 있음을 알 수 있다.
도 5b는 일실시예에 따라 다른 혀 영상을 간략화한 개형을 도시한다. 구체적으로 X축 방향 분포 및 Y축 방향 분포를 살펴보면, X축 방향의 경우에는 깊이가 비교적 평평하게 분포하고 있으나, Y축 방향 분포를 볼 때 혀 끝 부분이 과도하게 돌출되어 있음을 알 수 있다. 따라서 상기 X축 및 Y축 방향 분포를 이용하여 혀의 형태가 끝부분이 앞으로 돌출되는 형태로 판단할 수 있다. 끝부분이 앞으로 돌출되는 혀 형태는 미리 지정되는 기준을 만족하지 않아 재촬영할 수 있다. 재촬영시에는 '혀의 끝 부분을 아래로 내려주세요' 등의 메시지를 출력할 수 있다.
도 6a은 일실시예에 따라 혀가 올바르지 않은 지점에 위치한 모습을 도시한다. 정면에서 볼 때에는 격자 영상의 중앙에 적절하게 위치하고 있으나, 측면 영상을 살펴보면, 격자 영상의 우측 끝부분에 혀가 닿아있는 모습을 볼 수 있다. 또한 정면 깊이 영상을 보는 경우에도, 혀 전체 영역이 푸른색으로 표시되어 너무 멀리 위치하고 있음을 알 수 있다. 이 경우 혀는 평평하게 잘 펴져있는 형태를 취하고 있으나, 혀의 위치가 적절하지 않다. 따라서 미리 지정되는 혀의 위치 기준을 만족하지 않아 재촬영할 수 있고, 재촬영시 피드백 메시지로는 '턱을 앞으로 내밀어 주세요' 등의 메시지를 출력할 수 있다.
도 6b은 일실시예에 따라 혀가 올바르지 않은 다른 지점에 위치한 모습을 도시한다. 다른 일실시예에 따라 혀가 기준보다 앞에 위치하는 경우의 모습을 도시한다. 측면 영상을 살펴보면, 격자 영상의 좌측 선을 벗어나 있음을 확인할 수 있고, 깊이 영상에서 혀 영역 전체가 붉은색으로 표시되어 너무 가까이 위치하고 있음을 알 수 있다. 따라서 이러한 경우에 혀는 평평하게 잘 펴져 있으나, 미리 지정되는 혀의 위치 기준을 만족하지 않으며, 재촬영한다. 재촬영시 피드백 메시지로는 '턱을 뒤로 당겨주세요' 등의 메시지가 출력될 수 있다.
마지막으로 도 6c는 일실시예에 따른 혀가 올바른 지점에 위치한 모습을 도시한다. 정면과 측면 영상 모두 혀의 위치가 격자 영상의 내부에 위치하고 있음을 알 수 있고, 깊이 영상에서도 혀 영역 전체가 녹색으로 표시되어 적절한 거리에 위치하는 것을 확인할 수 있다. 이때의 혀 영상에 대하여 저장신호를 보내고, 저장부는 상기 저장신호를 수신하여 저장할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 사용자의 혀 영상을 촬영하는 적어도 하나의 깊이 카메라;
    상기 영상을 출력하는 표시부; 및
    상기 영상의 깊이 정보 계산하고 상기 사용자의 혀 형태가 미리 지정되는 제1 임계 범위에 포함되는지 여부를 판단하여, 상기 제1 임계 범위에 포함되지 않는 경우 상기 영상의 재촬영 신호를 보내는 프로세서
    를 포함하고,
    상기 프로세서는, 상기 영상의 혀 위치 정보를 계산하고 상기 사용자의 혀 위치가 미리 지정되는 제2 임계 범위에 포함되는지 여부를 판단하여, 상기 제2 임계 범위에 포함되지 않는 경우 상기 영상의 재촬영 신호를 보내고,
    상기 혀 형태가 제1 임계 범위에 포함되고, 상기 혀 위치가 상기 제2 임계 범위에 포함되는 경우 상기 영상의 저장 신호를 보내는 혀 영상 촬영 장치.

  2. 삭제
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 영상의 X축 방향 및 Y축 방향 깊이 분포를 이용하여 상기 혀 형태를 판단하는 혀 영상 촬영 장치.
  4. 제3항에 있어서,
    상기 영상은,
    혀 정면 영상 및 혀 측면 영상을 포함하는 혀 영상 촬영 장치.
  5. 제4항에 있어서,
    상기 프로세서는,
    복수의 혀 영상으로부터 상기 혀 영상의 색상 값을 추출하여 평균값을 제공하는 혀 영상 촬영 장치.
  6. 제5항에 있어서,
    상기 프로세서로부터 저장 신호를 수신하여 혀 영상을 저장하는 저장부
    를 더 포함하는 혀 영상 촬영 장치.
  7. 제6항에 있어서,
    상기 혀 영상을 복수의 영역으로 분할하는 격자 영상을 결합하여 표시하는 표시부
    를 더 포함하는 혀 영상 촬영 장치.
  8. 적어도 하나의 깊이 카메라가 사용자의 혀 영상을 촬영하는 단계;
    표시부가 상기 영상을 출력하는 단계;
    프로세서가 상기 영상의 깊이 정보 계산하고 상기 사용자의 혀 형태가 미리 지정되는 제1 임계 범위에 포함되는지 여부를 판단하는 단계; 및
    상기 제1 임계 범위에 포함되지 않는 경우 상기 영상의 재촬영 신호를 보내는 단계
    를 포함하는 혀 영상 촬영 방법.
  9. 제8항에 있어서,
    상기 프로세서가,
    상기 영상의 혀 위치 정보를 계산하고 상기 사용자의 혀 위치가 미리 지정되는 제2 임계 범위에 포함되는지 여부를 판단하는 단계;
    상기 제2 임계 범위에 포함되지 않는 경우 상기 영상의 재촬영 신호를 보내는 단계; 및
    상기 혀 형태가 제1 임계 범위에 포함되고, 상기 혀 위치가 상기 제2 임계 범위에 포함되는 경우 상기 영상의 저장 신호를 보내는 단계
    를 더 포함하는 혀 영상 촬영 방법.
  10. 제9항에 있어서,
    상기 프로세서가, 상기 영상의 X축 방향 및 Y축 방향 깊이 분포를 이용하여 상기 혀 형태를 판단하는 단계
    를 더 포함하는 혀 영상 촬영 방법.
  11. 제10항에 있어서,
    상기 영상은,
    혀 정면 영상 및 혀 측면 영상을 포함하는 혀 영상 촬영 방법.
  12. 제11항에 있어서,
    상기 프로세서가, 복수의 혀 영상으로부터 상기 혀 영상의 색상 값을 추출하여 평균값을 제공하는 단계
    를 더 포함하는 혀 영상 촬영 방법.
  13. 제12항에 있어서,
    상기 영상을 출력하는 단계는 상기 혀 영상을 복수의 영역으로 분할하는 격자 영상을 결합하여 표시하는 혀 영상 촬영 방법.
  14. 제13항에 있어서,
    저장부가 상기 영상의 저장 신호를 수신하여 상기 영상을 저장하는 단계
    를 더 포함하는 혀 영상 촬영 방법.
  15. 제8항 내지 제14항 중 어느 한 항의
    혀 영상 촬영 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.
KR1020170135744A 2017-10-19 2017-10-19 깊이 정보를 이용한 혀 영상 촬영장치 및 방법 KR102022163B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170135744A KR102022163B1 (ko) 2017-10-19 2017-10-19 깊이 정보를 이용한 혀 영상 촬영장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170135744A KR102022163B1 (ko) 2017-10-19 2017-10-19 깊이 정보를 이용한 혀 영상 촬영장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190043776A KR20190043776A (ko) 2019-04-29
KR102022163B1 true KR102022163B1 (ko) 2019-09-17

Family

ID=66282456

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170135744A KR102022163B1 (ko) 2017-10-19 2017-10-19 깊이 정보를 이용한 혀 영상 촬영장치 및 방법

Country Status (1)

Country Link
KR (1) KR102022163B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110200591A (zh) * 2019-06-05 2019-09-06 天津大学 一种基于环形布置的多目视觉舌体系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101265849B1 (ko) * 2012-07-05 2013-05-20 한국 한의학 연구원 혀 영상 촬영 장치 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101726505B1 (ko) * 2015-08-11 2017-04-12 한국 한의학 연구원 설 촬영 장치 및 설 영상의 프로세싱 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101265849B1 (ko) * 2012-07-05 2013-05-20 한국 한의학 연구원 혀 영상 촬영 장치 및 방법

Also Published As

Publication number Publication date
KR20190043776A (ko) 2019-04-29

Similar Documents

Publication Publication Date Title
JP6844038B2 (ja) 生体検出方法及び装置、電子機器並びに記憶媒体
US10002463B2 (en) Information processing apparatus, information processing method, and storage medium, for enabling accurate detection of a color
KR101956151B1 (ko) 사용자 단말기에 이용되는 전경 영상 생성 방법 및 장치
US9916689B2 (en) Apparatus and method for estimating camera pose
US10771760B2 (en) Information processing device, control method of information processing device, and storage medium
JP6621063B2 (ja) カメラ選択方法及び映像配信システム
US20200211271A1 (en) Image processing apparatus that generates a virtual view image from multiple images captured from different directions and method controlling the same
JP6587435B2 (ja) 画像処理装置、情報処理方法及びプログラム
WO2017176947A2 (en) Transition between binocular and monocular views
US9727585B2 (en) Image processing apparatus and method for controlling the same
KR101831516B1 (ko) 멀티 스티커를 이용한 영상 생성 방법 및 장치
KR101995411B1 (ko) 신체 모델 생성 장치 및 방법
JP2019003428A (ja) 画像処理装置、画像処理方法及びプログラム
KR102022163B1 (ko) 깊이 정보를 이용한 혀 영상 촬영장치 및 방법
JP2019193209A (ja) 制御装置及び撮影方法
KR20150064761A (ko) 투명 디스플레이를 포함하는 전자 장치 및 제어 방법
US20210124965A1 (en) Information processing apparatus, information processing method, and storage medium
US11488415B2 (en) Three-dimensional facial shape estimating device, three-dimensional facial shape estimating method, and non-transitory computer-readable medium
US20190370986A1 (en) Information processing apparatus and method
KR20140123399A (ko) 사용자 영상의 신체 부위를 검출하는 장치 및 방법
JP7240258B2 (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
JP2019062436A (ja) 画像処理装置、画像処理方法、及びプログラム
KR101774913B1 (ko) 전처리를 이용한 영상 디스플레이 방법 및 장치
CN110544317A (zh) 图像处理方法、装置、电子设备和可读存储介质
KR101995985B1 (ko) 영상회의 시스템에서 스테레오 영상을 이용한 참여자들 눈맞춤 제공 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant