KR20130083613A - 3파장 영상을 이용한 설진 영상 처리 방법 - Google Patents
3파장 영상을 이용한 설진 영상 처리 방법 Download PDFInfo
- Publication number
- KR20130083613A KR20130083613A KR1020120004316A KR20120004316A KR20130083613A KR 20130083613 A KR20130083613 A KR 20130083613A KR 1020120004316 A KR1020120004316 A KR 1020120004316A KR 20120004316 A KR20120004316 A KR 20120004316A KR 20130083613 A KR20130083613 A KR 20130083613A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- tongue
- area
- seoljin
- snowy
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 91
- 238000012545 processing Methods 0.000 title claims abstract description 46
- 238000003745 diagnosis Methods 0.000 claims abstract description 26
- 238000004458 analytical method Methods 0.000 claims abstract description 18
- 230000001954 sterilising effect Effects 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 claims description 26
- 238000005286 illumination Methods 0.000 claims description 24
- 238000003672 processing method Methods 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000010191 image analysis Methods 0.000 claims description 6
- 238000007726 management method Methods 0.000 claims description 6
- 238000002360 preparation method Methods 0.000 claims description 5
- 238000004659 sterilization and disinfection Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000003708 edge detection Methods 0.000 claims description 3
- 230000010365 information processing Effects 0.000 claims description 2
- 238000003780 insertion Methods 0.000 claims 1
- 230000037431 insertion Effects 0.000 claims 1
- 210000002105 tongue Anatomy 0.000 description 176
- 230000008569 process Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 13
- 238000000605 extraction Methods 0.000 description 11
- 238000011156 evaluation Methods 0.000 description 6
- 229940124595 oriental medicine Drugs 0.000 description 6
- 241000894006 Bacteria Species 0.000 description 5
- 238000007689 inspection Methods 0.000 description 5
- 230000036541 health Effects 0.000 description 4
- 238000002405 diagnostic procedure Methods 0.000 description 3
- 208000003443 Unconsciousness Diseases 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000003754 fetus Anatomy 0.000 description 2
- 230000002070 germicidal effect Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000002207 metabolite Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 206010010904 Convulsion Diseases 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 206010037660 Pyrexia Diseases 0.000 description 1
- 206010043945 Tongue coated Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000000249 desinfective effect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 210000002919 epithelial cell Anatomy 0.000 description 1
- 239000010794 food waste Substances 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 210000005181 root of the tongue Anatomy 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
- A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
- A61B5/4542—Evaluating the mouth, e.g. the jaw
- A61B5/4552—Evaluating soft tissue within the mouth, e.g. gums or tongue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/1032—Determining colour for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
- A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Dentistry (AREA)
- Animal Behavior & Ethology (AREA)
- Physical Education & Sports Medicine (AREA)
- Rheumatology (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
본 발명은 설진 영상 처리 장치 및 방법에 관한 것으로, 가시광선, 자외선, 적외선 3가지 광원을 이용하여 설질 색상, 설태 및 혀 색상 등의 설진을 위한 진단 정보를 영상 처리에 의해서 결과로 표시하여 한의사의 설진 진단의 객관성 있는 지표 정보를 제공할 수 있는 3파장 영상을 이용한 설진 영상 처리 장치 및 방법에 관한 것으로, 본 발명 3파장 영상을 이용한 설진 영상 처리 방법은 설진 영상을 처리하는 메인 소프트웨어 로딩 단계(S110)와 설진촬영을 판단하는 단계(S120) 및 설진 촬영 기기 대기(Standby) 단계(S130)로 구성되는 설진 소프트웨어 로딩 단계(S100); 설진 촬영 준비를 판단하는 단계(S210)와 촬영준비가 되었다면 영상 획득 단계(S220)와 이미지 신호 처리(ISP) 사용을 판단하는 단계(S230)와, 상기 ISP를 사용한다면 ISP를 설정하는 단계(S240)로 구성되는 설진영상 획득단계(S200); 및 상기 설진 촬영 단계(S120)에서 촬영이 아닌 경우와 상기 ISP 사용이 아닌 경우(S230)와, 기존 파일 로드 단계(S320) 중 하나인 파일 관리 단계(S310)와, 상기 파일 로드를 판단하는 단계(S320)와, 영상을 조절하거나(S430) 서로 다른 3가지 파장의 조명에 의해 획득된 혀의 설진 영상 및 면적을 분석하는 설진영상 분석단계(S300);를 포함하여 이루어지는 것을 특징으로 한다.
Description
본 발명은 설진 영상 처리 장치 및 방법에 관한 것으로, 더욱 상세하게는 가시광선, 자외선, 적외선 3가지 광원을 이용하여 설질 색상, 설태 및 혀 색상 등의 설진을 위한 진단 정보를 영상 처리에 의해서 결과로 표시하여 한의사의 설진 진단의 객관성 있는 지표 정보를 제공할 수 있는 3파장 영상을 이용한 설진 영상 처리 장치 및 방법에 관한 것이다.
통상적으로 설진(舌診)이란 피검사자의 혀와 태(苔)의 색상과 형태 등을 관찰하고 피검사자의 건강상태를 진단하는 한의학의 건강 진단방법이다.
설진은 현재 한국, 중국, 일본, 미국 등 전 세계적으로 이용되고 있는 건강진단 방법으로서, 혀의 색상과 형태를 이용해 피검사자의 건강 상태를 진단하므로 비교적 간단하고 저렴하게 피검사자의 건강을 진단할 수 있다는 장점을 가진다.
정확한 설진을 위해 먼저 일관된 조명에서 일정한 형태로 피검사자의 혀를 관찰하는 것이 중요하다.
도 1을 참조하면, 피검사자(1)를 설진하기 위해 검사자는 피검사자(1)의 입을 벌리고 혀를 내놓도록 한다. 검사자는 피검사자의 혀를 잘 관찰할 수 있는 위치에서 혀로 빛을 비추어 혀와 태의 색상과 형태 등을 검사한다.
이와 같이 설진은 피검사자의 혀와 태의 색상과 형태 등을 관찰하여 비교적 간단하고 저렴하게 피검사자의 건강상태를 진단할 수 있는 진단 방법 중 하나이다. 이러한 설진은 맥진과 함께 한의학의 대표적인 진단 방법으로 지금까지는 숙련된 한의사들의 육안 관찰에 의존하여 이루어져 왔다. 이러한 설진은 수천 년 이상 전해져 내려온 한의학의 진단 방법으로 서양에서도 그 효능을 인정받고 있다. 그러나, 설진은 한의사들의 경험으로 진단하는 것이기 때문에 관찰자의 눈으로 파악할 수 있는 것 이상의 정보를 제공하지 못한다는 문제점을 갖는다.
또한, 설진은 관찰자의 주관적인 판단으로 설진과 설태의 색에 대하여 진단하는 것이므로 객관적인 진단기준 및 진단의 표준화가 요구되고 있다.
이러한 요구에 의해 중국의 연구진은 1990년대 중의설진 자동식별 시스템을 완성한 바 있고, 이후 디지털 중의 설상 분석기를 제작하여 혀와 설태의 색깔, 두께 및 습윤도를 평가할 수 있는 시스템을 제작하였다.
한편, 대만의 연구진도 전산화 중의 설진 시스템을 완성한바 있고, 영상을 푸리에 변환(Fourier transformation)하여 설태의 두께에 대한 간접적 추정 값을 제시하는 알고리즘을 제출한바 있다. 국내 역시 여러 연구기관에서 설진 시스템의 외형 디자인과 조명 기구 설계, 설색의 전산 분석 등이 이루어진바 있고, 이에 따라 설진 시스템이 개발되었다.
이러한 종래 기술에 따른 설진 영상의 촬영방법의 일례가 도 2에 도시되어 있다. 도 2은 종래 기술에 따른 설진 영상의 촬영방법을 도시한 흐름도이다.
도 2를 참조하면, 먼저 피검사자는 설진기를 통해 자신의 설진 영상을 촬영한다(S1).
촬영된 설진 영상은 설진기에 구비되어 있는 디스플레이부에 표시되며, 피검사자는 디스플레이된 설진 영상을 통해 촬영한 설진 영상이 혀의 상태를 진단하기에 적합하게 촬영되었는지 여부를 검사한다(S3).
설진 영상이 정확하게 촬영되었다고 판단되는 경우, 설진기는 유선/무선 네트워크를 통해 검사 서버로 촬영한 설진 영상을 송신한다(S5).
한편, 검사자는 단말기를 이용하여 검사 서버에 접속하여 피검사자의 설진 영상을 수신하고, 수신된 설진 영상을 통해 피검사자의 혀 상태를 설진한다. 검사자는 설진 결과를 다시 검사 서버로 송신하며 피검사자는 설진기를 통해 검사 서버에 접속하여 설진 결과를 수신한다(S7).
이 경우, 설진기와 단말기는 유선/무선 네트워크에 접속하여 검사 서버에 접속할 수 있는 통신 기능을 구비한다. 수신된 설진 결과는 설진기의 디스플레이부에 표시되며, 피검사자는 설진 결과를 통해 자신의 건강상태를 확인할 수 있다(S9).
그러나, 종래의 설진 촬영방법은 혀와 설태의 색깔에 대해서는 신뢰할 만한 결과를 보여주고 있지만, 혀의 두께, 설태의 두께 및 습윤도 등의 특징에 대해서는 2차원 영상에 기반한 간접적 추정 값을 출력할 수밖에 없어 데이터의 신뢰성에 문제점이 있었다.
또한, 종래의 설진 촬영방법은 가시광선 영상만을 촬영 및 기록함으로써 눈으로 관찰가능한 것만을 보존하고 재생하므로 육안으로 관찰 불가능한 혀의 상태를 검사하기 힘들다는 문제점도 있었다.
이에 더하여, 종래의 설진 촬영방법은 설진 영상을 촬영한 후에 피검사자 직접 촬영의 정확성 여부를 판단하는 것이기 때문에 한의사 등의 검사자가 설진하기에 적합한 영상이 촬영되었는지 여부를 판단하기에 힘들다는 문제점도 있었다.
따라서, 본 발명은 이러한 종래 기술의 제반 단점과 문제점을 해결하기 위한 것으로, 본 발명은 가시광선, 자외선, 적외선 3가지 광원을 이용하여 설질 색상, 설태 및 혀 색상 등의 설진을 위한 진단 정보를 영상 처리에 의해서 결과로 표시하여 한의사의 설진 진단의 객관성 있는 지표 정보를 제공할 수 있는 3파장 영상을 이용한 설진 영상 처리 장치 및 방법을 제공하는 것에 그 목적이 있다.
또한, 본 발명은 혀 영상 파일에 대한 진료 히스토리를 저장 및 관리할 수 있는 설진 영상 처리 장치 및 방법을 제공하는 것에 다른 목적이 있다.
상기와 같은 목적을 달성하기 위한 본 발명 3파장 영상을 이용한 설진 영상 처리 장치는,영상을 이용한 설진 영상 처리 장치에 있어서, 각종 외부 스위치(버튼)로부터 온/오프 신호를 입력받는 외부 스위치 신호 입력부(10); 서로 다른 3가지 파장의 조명을 출력하는 조명부(14)(16)(18); 상기 서로 다른 3가지 파장에 따른 혀의 설진 영상을 획득하는 카메라부(20); 상기 카메라부(20)에서 획득한 설진 영상을 분석하는 분석부(22); 상기 분석부(22)에서 분석한 설진 영상을 저장하는 저장부(24); 및 상기 외부 스위치 신호 입력부(10), 조명부(14)(16)(18), 카메라부(20), 분석부(22) 및 저장부(24)를 제어하는 제어부(28);를 포함하여 구성됨을 특징으로 한다.
여기서, 상기 3파장 영상을 이용한 설진 영상 처리 장치는, 혀가 삽입되는 부위를 살균하는 살균 조명부(12)를 더 포함하여 구성됨이 바람직하다.
그리고 상기 3파장 영상을 이용한 설진 영상 처리 장치는, 설진 영상을 모니터(31) 및 PC(32)로 인터페이싱하는 인터페이스부(30)를 더 포함하여 구성됨이 바람직하다.
또한, 조명부는 가시광선을 출력하는 가시광선 조명부(14)와, 자외선을 출력하는 자외선 조명부(16) 및 적외선을 출력하는 적외선 조명부(18)로 구성됨이 바람직하다.
상기한 목적을 달성하기 위한 본 발명은 설진 영상을 처리하는 메인 소프트웨어 로딩 단계(S110)와 설진촬영을 판단하는 단계(S120) 및 설진 촬영 기기 대기(Standby) 단계(S130)로 구성되는 설진 소프트웨어 로딩 단계(S100); 설진 촬영 준비를 판단하는 단계(S210)와 촬영준비가 되었다면 영상 획득 단계(S220)와 이미지 신호 처리(ISP) 사용을 판단하는 단계(S230)와, 상기 ISP를 사용한다면 ISP를 설정하는 단계(S240)로 구성되는 설진영상 획득단계(S200); 및 상기 설진 촬영 단계(S120)에서 촬영이 아닌 경우와 상기 ISP 사용이 아닌 경우(S230)와, 기존 파일 로드 단계(S320) 중 하나인 파일 관리 단계(S310)와, 상기 파일 로드를 판단하는 단계(S320)와, 영상을 조절하거나(S430) 서로 다른 3가지 파장의 조명에 의해 획득된 혀의 설진 영상 및 면적을 분석하는 설진영상 분석단계(S300);를 포함하여 이루어지는 것을 특징으로 한다.
여기서, 상기 설진영상 분석단계(S300)는, 상기 혀의 설질을 검출하는 단계(S440)와, 상기 혀의 설태를 검출하는 단계(S450)와, 상기 혀의 면적을 계산하는 단계(S460)와, 상기 혀의 색정보를 획득하는 단계(S470)와, 상기 색정보가 획득되었다면 결과를 표시하는 단계(S380); 및 저장하는 단계(S390)를 포함하여 이루어지는 것이 바람직하다.
여기서, 상기 혀의 설질은 상기 3가지 서로 다른 파장의 조명 중 적외선 조명을 이용하여 검출하고, 상기 혀의 설태는 상기 3가지 서로 다른 파장의 조명 중 자외선 조명을 이용하여 검출하며, 상기 혀의 색정보는 상기 3가지 서로 다른 파장의 조명 중 가시광선을 이용하여 획득하는 것이 바람직하다.
그리고 설진영상 획득 단계는, 메인 소프트웨어에서 사용자의 요청에 의해 실행되어 상기 영상을 획득하기 위한 카메라를 점검(S201)하고, 영상출력을 통해 영상을 획득할 수 있는 상태로 대기하는 단계(S204)와, 각각 색상과 노출을 설정하는 과정(P1, P2)과, 설진 영상을 촬영하면(S206), 촬영하려는 영상의 프레임이 영상 저장 단계(S207)에서 이미지 파일로 관리 및 저장되는 단계를 포함하는 것이 바람직하다.
여기서, 상기 설진 영상에서 설질 영역을 검출하는 방법은, 적외선 조명을 통해 적외선 영상(S331)이 색상 변환을 통해 그레이 레벨 영상으로 변환되는 단계(S332)와, 상기 변환된 그레이 레벨 영상은 이진화에 의해 이진 영상이 되는 단계(S333)와. 상기 이진화된 영상에서 윤곽 성분을 검출하는 단계(S334)와, 상기 윤곽 성분에서 윤곽영상을 완료하는 단계(S335)와, 상기 설질 영역 설정이 완료될 때까지 윤곽조절영상을 통해(S337) 윤곽형태를 조절하여 설질 영역 설정을 완료하면(S336), 적외선 영상과 합성되어 사용자에게 시각적으로 보여주고(S338), 면적 계산 함수를 호출하여 면적에 대한 검출 데이터를 결과 테이블에 출력하는 단계를 포함하는 것이 바람직하다.
그리고 상기 윤곽 성분 검출 단계는 케니-에지 검출 알고리즘을 사용하여 상기 설질 영역 추출을 위한 윤곽 도형을 생성하는 것이 바람직하다.
한편, 상기 설진영상에서 설태 영역을 검출하는 방법은, 입력된 자외선 영상(S351)에서 단일 채널 영상을 사용하여(S352) 상기 설태 검출 목적에 맞는 채널을 선택(S353)하면 이진화하는 단계(S354)와, 원하는 영역의 설태 성분 영상(S355)에서 설태 영역을 선택하여 이진화하면 이진 영상과 병합을 수행할 설질 영역의 검출 여부를 확인하는 단계(S357)와, 상기 검출된 설질 영역은 자외선 영상과 합성되어 면적 계산 함수를 호출하여 설질에 대한 설태의 면적과 설질과의 비율, 설태의 설질 상에서의 분포율의 설진 진단 지표를 계산하여 프로그램 화면에 설태 영역 영상 결과로서 나타내는 단계(S358)를 포함하여 이루어지는 것이 바람직하다.
한편, 상기 설진영상에서 설질 색상 정보를 획득하는 방법은, 설태 영역과 설질 영역과 가시광선 영상과 병합하여 일치하는 위치의 화소값을 누적하여 평균값을 산출하여 사용자에게 설질 색상 정보를 제공하는 자동화 방법과, 사용자가 가시광선의 혀 영상에서 임의지 위치를 선정하여 해당하는 위치의 화소값을 제공하는 매뉴얼 방법을 제공하여 각 영역의 RGB 색상 데이터가 결과로 표시됨이 바람직하다.
상기와 같이 이루어진 본 발명은 다음과 같은 효과가 있다.
첫째, 설진을 진단함에 있어 가시광선, 자외선, 적외선 3가지 광원을 이용하여 설질 색상, 설태 및 혀 색상 등의 설진을 위한 진단 정보를 영상 처리에 의해서 결과로 표시하여 한의사의 설진 진단의 객관성 있는 지표 정보를 제공할 수 있는 효과가 있다.
둘째, 혀 영상 파일에 대한 진료 히스토리를 저장 및 관리함으로써 보다 정확한 설진 데이터를 축적 및 데이터베이스화하여 정확한 설진 데이터를 구축함으로써 보다 향상된 설진 진단 서비스를 제공할 수 있는 효과가 있다.
도 1은 종래 기술에 따른 설진 방법을 설명하기 위한 참고도,
도 2는 종래 기술에 따른 설진 방법을 설명하기 위한 흐름도,
도 3 내지 도 9는 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리방법에 이용되는 설진 영상 촬영 및 저장장치를 설명하기 위한 도면,
도 10은 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리방법에 이용되는 이미지 분석 프로그램의 디스플레이 예시도,
도 11은 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 설명하기 위한 블록 구성도,
도 12는 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 방법을 설명하기 위한 흐름도,
도 13은 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 방법에서 설진 획득 방법을 설명하기 위한 흐름도,
도 14는 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 방법에서 설질 영역 검출 방법을 설명하기 위한 흐름도,
도 15는 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 방법에서 설태 영역 검출 방법을 설명하기 위한 흐름도,
도 16은 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 방법에서 설질 색상 정보 획득 방법을 설명하기 위한 흐름도,
도 17 내지 도 19는 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 이용한 설질 영역 검출을 설명하기 위한 도면,
도 20 내지 도 22은 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 이용한 설태 영역 검출 중 적색 채널을 사용한 경우를 설명하기 위한 도면,
도 23 내지 도 25는 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 이용한 설태 영역 검출 중 명도 채널을 사용한 경우를 설명하기 위한 도면,
도 26 내지 도 28은 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 이용한 설태 영역 검출 중 녹색 채널을 사용한 경우를 설명하기 위한 도면,
도 29는 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 이용한 색상 정보 획득을 설명하기 위한 도면,
도 30 및 도 31은 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 이용한 진료 히스토리 저장 및 관리 기능을 설명하기 위한 도면이다.
도 2는 종래 기술에 따른 설진 방법을 설명하기 위한 흐름도,
도 3 내지 도 9는 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리방법에 이용되는 설진 영상 촬영 및 저장장치를 설명하기 위한 도면,
도 10은 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리방법에 이용되는 이미지 분석 프로그램의 디스플레이 예시도,
도 11은 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 설명하기 위한 블록 구성도,
도 12는 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 방법을 설명하기 위한 흐름도,
도 13은 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 방법에서 설진 획득 방법을 설명하기 위한 흐름도,
도 14는 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 방법에서 설질 영역 검출 방법을 설명하기 위한 흐름도,
도 15는 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 방법에서 설태 영역 검출 방법을 설명하기 위한 흐름도,
도 16은 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 방법에서 설질 색상 정보 획득 방법을 설명하기 위한 흐름도,
도 17 내지 도 19는 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 이용한 설질 영역 검출을 설명하기 위한 도면,
도 20 내지 도 22은 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 이용한 설태 영역 검출 중 적색 채널을 사용한 경우를 설명하기 위한 도면,
도 23 내지 도 25는 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 이용한 설태 영역 검출 중 명도 채널을 사용한 경우를 설명하기 위한 도면,
도 26 내지 도 28은 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 이용한 설태 영역 검출 중 녹색 채널을 사용한 경우를 설명하기 위한 도면,
도 29는 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 이용한 색상 정보 획득을 설명하기 위한 도면,
도 30 및 도 31은 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 이용한 진료 히스토리 저장 및 관리 기능을 설명하기 위한 도면이다.
본 발명의 바람직한 실시 예를 첨부된 도면에 의하여 상세히 설명하면 다음과 같다.
아울러, 본 발명에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며 이 경우는 해당되는 발명의 설명부분에서 상세히 그 의미를 기재하였으므로, 단순한 용어의 명칭이 아닌 용어가 가지는 의미로서 본 발명을 파악하여야 함을 밝혀두고자 한다. 또한 실시예를 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있고, 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.
도 3 내지 도 9는 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리방법에 이용되는 설진 영상 촬영 및 저장장치의 일 예를 설명하기 위한 도면이다.
본 발명에 따른 3파장 영상을 이용한 설진 영상 처리방법에 이용되는 설진 영상 촬영 및 저장장치의 일 예는 도 3 내지 도 9에 나타낸 바와 같다.
우선, 도 3은 설진 영상 촬영 및 저장장치 본체의 사진이고, 도 4는 도 3에 나타낸 본체의 정면 사진이고, 도 5는 도 3에 나타낸 본체의 접안부 덮개를 나타낸 사진이며, 도 6은 도 3에 나타낸 본체 후면을 설명하기 위한 사진이고, 도 7은 도 3에 나타낸 본체 좌측면을 설명하기 위한 사진이며, 도 8은 도 3에 나타낸 본체 우측면을 설명하기 위한 사진이고, 도 9는 도 3에 나타낸 본체의 조명 및 카메라부를 설명하기 위한 사진이다.
도 5 내지 도 7을 참조하면, 도 5에 도시된 바와 같이, 본체의 후면에는 적외선 ON/OFF 버튼(111), 자외선 ON/OFF 버튼(112), 가시광선 ON/OFF 버튼(113), 살균 ON/OFF 버튼(114), 조도 down 버튼(115), 조도 up 버튼(116), 손잡이(120), 스위치(130), 어댑터 연결단자(140), 전원 버튼(150), USB 연결단자(160) 등이 설치된다. 여기서, 조도 down 버튼(115)은 조도를 1~8단계로 조정하는 기능을 하며, 사용자는 버튼의 깜박임 수로 몇 단계인지를 확인할 수 있다.
그리고, 도 6에 도시된 바와 같이, 본체의 좌측면에는 연결나사(170), 카메라 전·후 이동나사(181), 덮개-본체 연결 벨크로 테이프(201) 등이 설치되고, 도 7에 도시된 바와 같이, 본체의 우측면에는 덮개-본체 연결 벨크로 테이프(202), 연결나사(170), 카메라 주시각 상·하 이동나사(182) 등이 설치된다. 미설명부호 190은 접안부를 나타낸 것이다.
또한, 도 9에 도시된 바와 같이, 조명 및 카메라부에는 가시광선LED(210), 자외선LED(220), 적외선LED(230), 카메라 CMOS(240) 등이 설치된다.
이와 같은 본 발명은 가시광선, 근자외선, 근적외선 LED를 광원으로 사용하고, 카메라를 이용하여 혀를 촬영하는 것이다.
한편 본체의 조명 및 카메라부는 도 9에 나타낸 바와 같은 가시광선 LED 광원 하에서 촬영된 혀 영상을 통해 혀와 설태의 관심부위 색을 분석하고, 근자외선 LED 광원 하에서 촬영된 혀 영상을 통해 혀의 설태 분포를 분석하며, 근적외선 LED 광원 하에서 촬영된 혀 영상을 통해 의료인이 혀의 모양을 용이하게 파악할 수 있도록 한다.
여기서, 혀의 배면 상에 이끼처럼 끼어있는 설태는 혀의 상피세포와 음식물 찌꺼기, 그리고 이들을 분해하기 위한 각종 세균과 그 대사물질의 혼합체이다. 이 중 세균과 그 대사물질 등은 근자외선 광원을 조사했을 때, 형광현상이 일어나 가시광선 영역대의 빛을 발산하게 된다. 이 형광현상을 이용하여 설태의 분포를 평가할 수 있다.
우선, 혀 영상처리에 따른 평가 지표 및 진단 목적은 [표 1]과 같다.
| 입력영상 | 영상처리 방법 | 평가지표 | 진단목적 |
| 가시광선 | 색정보처리 | 혀 색 | 트루칼라 색상값 |
| 적외선 | 혀 윤곽처리 | 혀의 모양 | 열문/망자/치흔 |
| 혀의 동태(x) | |||
| 자외선 | 설태영역 추출 |
설태 색 | 설태 양/분포 |
| 설태 상태(x) |
즉 각 파장대 별로 서로 다른 영상을 처리하는 것을 알 수 있다.
도 10은 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리방법에 이용되는 이미지 분석 프로그램의 디스플레이 예시도이다.
본 발명에 따른 3파장 영상을 이용한 설진 영상 처리방법에 이용되는 이미지 분석 프로그램의 일예는 도 10에 나타낸 바와 같이 ① Personal Information은 개인 정보 입/출력하는 영역이다.
② File Control은 히스토리 또는 현재 이미지를 저장하는 영역이다.
③ Color Data은 관심영역, 설질, 설태 영역의 색 정보를 획득하는 영역이다.
④ Tongue Region은 설질 윤곽을 자동 또는 수동으로 설정 및 면적을 획득하는 영역이다.
⑤ Coated Tongue Region은 설태 영역을 자동 또는 수동추출 및 면적계산하는 영역이다.
⑥ Color Data은 관심영역, 설질, 설태 영역의 색 정보(샘플모델, RGB)를 표시하는 영역이다.
⑦ Total Region Ratio는 설질과 설태의 총 면적 및 비율을 표시하는 영역이다.
⑧ Ratio for Multi-Region은 설태 분포율을 표시하는 영역이다.
⑨ Display는 현재 분석에 사용 중인 이미지에 대한 처리 결과 표시하는 영역이다.
⑩ History는 Display에 표시된 이미지를 저장하거나 저장된 이미지를 로드하는 영역이다.
⑪ Doctor's Comment는 의사 소견을 입력 가능한 텍스트 박스 영역이다.
그리고, 설진 소프트웨어에서 기능 수행 시 필요한 입력 영상과 가능 수행 결과에 따른 출력에 대한 세부적인 상세 내용은 [표 2]와 같다.
이와 같은 [표 2]의 구성은 입력파장, 입력, 기능 버튼, 표시 정보, 출력 결과로 구성되었으며, 각 구성에 대한 정보는 다음과 같다.
우선, 입력 파장은 소프트웨어의 입력이되는 영상을 획득하는데 사용한 파장을 표시한다.
그리고, 입력은 설진 소프트웨어 기능에 사용되는 입력 영상을 표시한다.
기능 버튼은 사용자가 원하는 결과를 얻기 위해 사용하는 기능들의 명칭이다.
표시 정보는 원하는 기능을 수행했을 시 설진 소프트웨어에서 표시되는 수치적인 정보이다.
출력 결과는 표시 정보에 나타난 수치들을 적용한 실제 영상 또는 파일이다.
도 11은 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 설명하기 위한 블록 구성도이다.
본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치는 도 11에 나타낸 바와 같이, 외부 스위치 신호 입력부(10), 살균 조명부(12), 가시광선 조명부(14), 자외선 조명부(16), 적외선 조명부(18), 카메라부(20), 분석부(22), 저장부(24), 데이터베이스(26), 제어부(28) 및 인터페이스부(30)로 구성된다.
여기서, 인터페이스부(30)는 모니터(31) 및 PC(32)로 구성된다.
외부 스위치 신호 입력부(10)는 본체 전면의 적외선 온/오프 버튼, 자외선 온/오프 버튼, 가시광선 온/오프 버튼, 본체 전원 온/오프 버튼, 살균 온/오프 버튼, 조도 업/다운 버튼, 메인 전원 온/오프 스위치의 신호를 입력받는다.
살균 조명부(12)는 본체의 접안부를 살균 소독하는 조명이다.
가시광선 조명부(14), 자외선 조명부(16) 및 적외선 조명부(18)는 각각 가시광선 LED, 자외선 LED 및 적외선 LED로 구성할 수 있다.
카메라부(20)는 영상을 획득한다.
분석부(22)는 카메라부(20)에서 획득한 설진 영상을 분석한다.
저장부(24)는 획득한 설진 영상을 저장한다.
데이터베이스(26)는 획득한 설진 영상을 데이터베이스화한다.
제어부(28)는 외부 스위치 신호 입력부(10), 살균 조명부(12), 가시광선 조명부(14), 자외선 조명부(16), 적외선 조명부(18), 카메라부(20), 분석부(22), 저장부(24), 데이터베이스(26) 및 인터페이스부(30)를 제어한다.
인터페이스부(30)는 본체로부터의 영상 데이터를 모니터(31) 및 PC(32)와 인터페이싱한다.
도 12는 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 방법을 설명하기 위한 흐름도이다.
본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 방법은 설질 소프트웨어의 실제 사용과 관련한 순서를 표기한 것으로, 크게 설진 소프트웨어 로딩 단계(S100), 설진영상 획득단계(S200) 및 설진영상 분석단계(S300)의 3단계로 나눌 수 있다. 여기서, 설진 소프트웨어는 설진 영상을 획득하거나 분석을 할 수 있는 소프트웨어를 로딩하는 것을 의미한다.
설진 소프트웨어 로딩 단계(S100)는 메인 소프트웨어 로딩 단계(S110), 설진촬영 판단 단계(S120) 및 설진 촬영 기기 대기(Standby) 단계(S130)로 구성된다.
그리고, 설진영상 획득단계(S200)는 설진 촬영 준비를 판단하는 단계(S210), 촬영준비가 되었다면 영상 획득 단계(S220), 이미지 신호 처리(이하, ISP라 약칭 함) 사용을 판단하는 단계(S230), ISP를 사용한다면 ISP를 설정하는 단계(S240)로 구성된다.
한편, 설진영상 분석단계(S300)는 설진 촬영 단계(S120)에서 촬영이 아닌 경우와 ISP 사용이 아닌 경우(S230)와, 기존 파일 로드(S320) 단계 중 하나인 파일 관리 단계(S310)와, 파일 로드를 판단하는 단계(S320)와, 영상 조절을 판단하는 단계(S330)와, 영상 조절이라면 영상을 조절하는 단계(S430)와, 영상 조절이 아니라면 설질이 검출되었는지 판단하는 단계(S340)와, 설질이 검출되지 않았다면 설질을 검출하는 단계(S440)와, 설질이 검출되었다면 설태가 검출되었는지 판단하는 단계(S350)와, 설태가 검출되지 않았다면 설태를 검출하는 단계(S450)와, 설태가 검출되었다면 면적이 계산되었는지 판단하는 단계(S360)와, 면적이 계산되지 않았다면 면적을 계산하는 단계(S460)와, 면적이 계산되었다면 색정보가 획득되었는지 판단하는 단계(S370)와, 색정보가 획득되지 않았다면 색정보를 획득하는 단계(S470)와, 색정보까지 획득되었다면 결과를 표시하는 단계(S380) 및 완료 및 저장하는 단계(S390)로 구성된다.
도 13은 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 방법에서 설진 영상 획득 방법을 설명하기 위한 흐름도이다.
본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 방법에서 설진 획득 방법은 도 13에 나타낸 바와 같이 설진 영상 획득 소프트웨어는 실제 설진 획득 기기와 연결되어 동작하는 소프트웨어로 설진 획득 기기에서 영상을 획득하며 사용자의 요구에 따라 노출 값이나 색상 보정 값을 입력하여 획득도 가능한 것으로, 설진 획득 소프트웨어는 메인 소프트웨어(S100)에서 사용자의 요청에 의해 실행되어 카메라를 점검(S201)하여 설진 획득 기기 즉 본체와의 연결 상태를 확인한다.
우선, 카메라가 USB와 이미지 센서와의 연결을 점검(S202)(S203)하여 연결된 상태가 확인이 되면 영상출력을 통해 영상을 획득할 수 있는 상태로 대기한다(S204). 사용자가 ISP를 사용할 경우(S204) ISP 설정(208)에서 P1과 P2 과정을 수행한다. 여기서, P1과 P2는 각각 색상과 노출을 설정하는 과정으로 실제 기계적인 움직임을 제어하는 것이 아닌 이미지 프로세서에서 영상에 보정 값을 적용하여 나타나는 단계이다.
그리고 ISP 설정이 아니면(S205), 그에 따라서 설진 영상을 촬영하면(S206) 촬영하려는 영상의 프레임이 영상 저장 단계(S207)에서 이미지 파일로 관리, 저장된다.
본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 방법에서 설질 영역 검출 방법은 설진 획득 소프트웨어로부터 획득한 영상을 입력으로 사용하여 사용자에게 필요한 정보를 제공하고 저장하는 기능을 제공하는 것으로, 제공되는 정보는 영상 획득시 사용한 파장에 따라 분류되며, 적외선 영상을 이용한 설질 영역 검출(도 14), 자외선 영상을 이용한 설태 분석(도 15) 및 가시광선 영상을 이용한 설질 색상 정보 획득(도 16)으로 구분할 수 있다.
도 14는 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 방법에서 설질 영역 검출 방법을 설명하기 위한 흐름도이다.
설질 분석은 적외선 파장을 사용하여 획득한 영상을 이용하여 검출된다. 검출된 설질 영역은 설질의 색상 정보를 획득하고 설태 검출 시 혀에 분포율 및 면적 비율을 산출하는데 기준 정보가 된다.
우선, 적외선 조명부 온에 의해 적외선 영상(S331)은 P1과정에 해당하는 색상 변환을 통해 그레이 레벨 영상으로 변환된다(S332). 설질 영역 검출에 적외선을 사용하면 설질 영역이 다른 부위에 비해 상대적으로 붉은색을 띄고 열을 많이 내기 때문에 다른 부분에 비해 설질 영역이 밝게 나타나게 된다. 따라서 영상의 명암 정보를 강조하기 위해서 그레이 레벨로 변환하면 설질 영역 검출에 효과적인 영상 획득이 가능하다.
그리고 변환된 그레이 레벨 영상은 P2과정을 통해 이진화되어 이진 영상이 된다(S333). 이진화 과정은 적절한 임계값을 설정하여 이를 기준으로 해당하는 픽셀 값을 0 또는 1로 변환하여 영상을 간략화하는 과정으로 흑백 영상으로 표시된다. 표시된 이진 영상은 설질 부분이 나타나며 이 영상을 사용하여 윤곽을 검출하며, 이진화 연산에 사용된 임계값의 설정은 통계적인 방법인 OTSU 이진화 방법에 따라 설정할 수 있다.
이진화된 영상은 P3 과정에 해당하는 윤곽 성분 검출과정을 거친다(S334). 여기서 성분 검출 과정은 케니-에지 검출 알고리즘을 사용하는데, 케니-에지 알고리즘은 잡음에 민감한 에지 추출의 단점을 보완하는 알고리즘으로 1차 미분 에지 추출 마스크를 적용한 뒤 이중 임계값을 적용하여 에지를 검출해 에지에 대한 3가지 기준인 탐지성과 국부성, 응답성을 만족하는 알고리즘이다. 케니-에지 알고리즘을 적용하면 윤곽 성분이 획득이 가능하며, 이 정보를 기반으로 초기 메뉴얼 방식의 설질 영역 추출을 위한 윤곽 도형을 생성한다.
P4과정에 해당하는 윤곽 도형 생성 과정은 검출된 에지를 단순화하여 생성한 다각형을 의미하며, 내부를 채우는 필링(filling) 연산을 이용하여 설질 면적 계산 및 설태 분포율의 기준 영역, 설질 영역을 제외한 영역의 제거에 유용하게 적용된다. 생성 방법은 먼저 화면 중앙에서 상단의 에지 성분을 찾아 이를 기준으로 설질 영역의 넓이만큼 선분을 생성한다. 이 선분을 필요한 수만큼 등분하여 수선을 내려 만나는 에지 성분들을 전부 도형화를 위한 기준 포인트로 설정한다. 설정된 포인트는 서로 직선으로 연결되어 폐곡선 형태로 나타나 16각형의 도형이 되어 도형화가 윤곽영상이 완료된다(S335).
도형화된 설질 영역은 P5과정에 해당하는 채움 연산을 사용하여 내부를 채운다. 채워진 설질 영역을 강조하기 위하여 채워진 영역을 제외한 부분은 전부 0값으로 설정하는 블랙아웃(Black-out) 연산을 적용한다.
설질 영역 설정이 완료될 때까지 윤곽조절영상을 통해(S337), P7과정을 통해 윤곽형태를 조절한다.
설질 영역 설정을 완료하면(S336), P6과정을 통해 적외선 영상과 합성되어 사용자에게 시각적으로 보여주고(S338), 면적 계산 함수를 호출하면 면적에 대한 검출 데이터가 결과 테이블에 나타나게 된다.
사용자가 필요에 따라 수동적으로 영역을 조절할 수 있는 기능 또한 제공하는데, 제공되는 방법은 사용자가 자동 영역 설정을 완료한 시점에서 면적 계산함수를 호출하지 않은 상태에서 수동 설정을 선택하여 조절이 가능하다.
자동 설정을 통해 화면에 나타난 폐곡선에 16개의 조절점이 생성되는데, 이 조절점은 P4의 성분 도형화 과정에서 설정된 포인트들로 마우스 이벤트를 통해 조절점을 조절하면 이동한 위치에 새롭게 포인트가 설정이 되고 영상에 바로 적용되어 화면에 표시한다.
표시된 화면을 확인하면서 사용자가 임의로 조절한 후 면적 계산 함수를 호출하면 조절한 영역에 맞추어 P5 과정인 채움 연산을 수행해 이를 적외선 영상과 합성하고 면적을 계산하여 화면에 표시한다. 설정된 설질 영역 이외의 부분은 검은색으로 블랙아웃 처리가 된다.
도 15는 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 방법에서 설태 영역 검출 방법을 설명하기 위한 흐름도이다.
본 발명에 따른 설태 영역 검출은 적외선 영상을 사용하여 설질 영역이 검출 된 후에 적용되는 알고리즘으로 자외선 영상을 사용하여 분석에 사용된다. 자외선 파장은 설태의 박테리아의 형광 특성을 이용하여 기존의 설태 검출 방법보다 객관성을 높이는데 효율적인 방법이다.
우선 입력된 자외선 영상(S351)은 P1과정인 채널 분리 과정을 통해서 변환된 단일 채널 영상을 사용한다(S352).
일반적인 영상은 모두 3개 이상의 채널을 가진 다채널 영상으로 각 단일 채널에 입력된 화소값을 조합하여 화면에 표시하는 방법이다.
단일 채널로 분리된 영상에서 설태 영역 검출에 사용되는 영상은 적색 채널과 녹색 채널을 사용하며, 별도로 HSV 컬러모델로 변환하여 V 채널에 해당하는 명도 채널을 사용한다.
이 3가지 채널을 사용하는 이유는 설태의 박테리아 성분이 자외선에 반응하여 나타나는 형광 현상이 박테리아의 종류에 따라 색상의 변화가 있어 이를 구분하여 분석하는데 유용하기 때문이며, 명도 채널의 경우 설태에 끼인 박테리아의 성분과 상관없이 전체 설태 영역의 면적 및 분포도를 확인하기 위함이다.
따라서 설태 검출을 하기 전에 목적에 맞는 채널을 미리 선택하여 검출을 수행하는데 이 과정은 P2 과정에 따라 수행된다.
설태 검출 목적에 맞는 채널을 선택(S353)하면 이를 P3 과정에서 이진화를 한다(S354). 이진화 방법은 설질 영역 검출 방법과 동일하게 OTSU 이진화 방법에 따라 임계값을 설정하여 이를 적용하여 화면에 보여준다.
사용자는 적용된 화면을 확인하여 필요 시 슬라이더 바 또는 직접 임계값을 입력하여 원하는 영역의 설태 성분 영상(S355)에서 설태 영역을 선택할 수 있으며(S356), 이 과정은 P4 과정에 해당한다.
사용자가 필요한 설태 영역을 선택하여 이진화하면 이진 영상과 병합을 수행할 설질 영역의 검출 여부를 확인한다(S357). 만일 설질 영역이 검출되지 않았을 경우 도 14의 방법으로 이동하여 설질 영역을 검출하고 이미 존재할 경우 설질 영역과 병합하여 실제 설질 상에서 설태의 정보를 획득하는 과정을 수행한다. 설질 영역과 병합하는 과정은 P6 과정에 해당한다.
검출된 설질 영역은 자외선 영상과 합성되어 나타나는데, 면적 계산 함수를 호출하여 설질에 대한 설태의 면적과 설질과의 비율, 설태의 설질 상에서의 분포율 등의 설진 진단 지표를 계산하여 프로그램 화면에 설태 영역 영상 결과로서 나타낸다(S358).
설태 분포율의 평가는 임상에서 많이 사용되는 설태 평가 방법인 WTCI 평가 방법에 따라 검출되어 나타난 비율이다.
WTCI 평가 방법은 Winkel EG 등이 고안한 방법으로 설질의 영역을 설첨부에서 설근부까지 2등분하고 횡으로 3등분하여 총 6가지 구역에 대한 설태 정도에 대한 점수를 부여하여 합산한 결과를 통해 설태의 많고 적음을 평가하는 방법이다. 이 평가 방법에서 점수를 부여하는 기준은 설태가 없을 경우가 0, 설태가 약간 있는 경우를 1, 설태가 많이 있는 경우를 2로 설정되어 있다.
객관성 있는 점수 부여를 위해 사용자에게 제공되는 검출 정보는 6등분된 각 영역에 대한 백분율이며, 제공된 백분율은 각 구역의 설질 영역에 대한 설태의 면적 비율을 의미한다.
도 16은 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 방법에서 설질 색상 정보 획득 방법을 설명하기 위한 흐름도이다.
설질 색상 정보 획득은 가시광선 광원에 의해서 촬영된 혀 영상을 이용하여 색상에 대한 정보를 획득한다. 획득하는 정보는 각각 도 14와 도 15의 방법을 통해 검출된 설태 영역과 설질 영역과 가시광선 영상과 병합하여 일치하는 위치의 화소값을 누적하여 평균값을 산출하여 사용자에게 설질 색상 정보를 제공하는 자동화 방법과, 사용자가 가시광선의 혀 영상에서 임의지 위치를 선정하여 해당하는 위치의 화소값을 제공하는 매뉴얼 방법을 제공한다. 이때, 프로그램에 표시되는 진단 데이터는 각 영역의 RGB 색상 데이터가 결과로 표시된다.
도 16에서 가시광선 영상(S371)은 P1과정에 해당하는 채널 분리 과정을 통해 적색, 녹색, 청색의 색상 채널 영상으로 분리되어(S372), 색상 정보 진단 지표 산출에 사용한다.
사용자에게 설질 영역(S373), 설태 영역(S374) 또는 관심 영역(S375)을 선택받아 P2과정에 따라 색상을 획득할 영역이 검출되었는지 확인한다(S376).
여기서 관심 영역을 제외한 영역들에 대해서 도 14 및 도 15의 방법을 적용하여 설태 및 설질 영역 검출을 수행하고 관심 영역의 경우 사용자가 입력 장치를 통해서 직접 획득하고 싶은 색상 영역을 선택한다.
검출된 영역은 분리된 색상 채널 영상으로부터 각각의 색상 정보는 산출한다. 검출된 영역에 해당하는 화소값을 누적한 값에 색상 채널 별로 평균을 내어 산출하며, 영역 병합과 색상 정보 산출 과정은 P3, P4과정에 해당한다.
산출된 색상 정보는 P5과정에 따라 결과 테이블에 획득한 색상 정보를 프로그램에 표시하고 사용자의 입력을 기다린다. 이때, 화면에 가시광선 영상에는 아무런 변화가 없다.
한편 이러한 도 14 내지 도 16에서의 방법에 따른 결과 데이터를 저장하거나 별도로 파일로 관리할 수 있는 기능을 제공할 수 있다.
히스토리 또는 파일로 저장되는 영상은 메인 화면에 띄워진 영상이며, 분석 과정을 세분화하거나 다른 검출 방법을 적용하고자 할 때, 또는 분석 완료된 영상을 별도의 파일로 저장하여 환자 데이터 관리에 사용하고자 할 때 이용한다.
히스토리에 저장할 경우 비어있는 슬롯을 찾아 자동으로 저장되며, 히스토리에 존재하는 영상을 메인 화면에 불러올 때는 히스토리의 필요한 영상을 클릭하는 것으로 불러오는 것이 가능하다.
히스토리에 저장된 영상 데이터는 소프트웨어가 종료되거나, 다른 영상 데이터가 입력되는 경우를 제외하고 유지되며, 별도로 파일로 저장되지는 않는다.
분석이 완료되었거나 별도로 관리가 필요한 영상의 경우 파일 저장기능을 사용하여 저장가능하며, 메인 화면에 띄워진 영상에 대해 파일 저장 버튼을 사용하여 저장가능하다.
파일로 저장되는 데이터는 사용자가 임의로 파일명을 설정하거나 포맷을 결정할 수 있는데, 사용가능한 저장 포맷은 jpg, bmp, png, tif 중 하나로 저장된다.
도 17 내지 도 19는 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 이용한 설질 영역 검출을 설명하기 위한 도면이다.
본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 이용한 설질 영역 검출은 도 17 내지 도 19에 나타낸 바와 같은데, 도 17은 자동 설질 영역 추출에 대한 예시 사진이고, 도 18은 수동 설정 영역 추출에 대한 예시 사진이며, 도 19는 수동 설정 영역 추출에 의한 설질 면적 계산 시의 예시 사진이다.
도 20 내지 도 22 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 이용한 설태 영역 검출 중 적색 채널을 사용한 경우를 설명하기 위한 도면이다.
본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 이용한 설태 영역 검출 중 적색 채널을 사용한 경우는 도 20 내지 도 22에 나타낸 바와 같은데, 여기서 도 20은 적색 채널에 의한 설태 자동 추출에 대한 예시 사진이고, 도 21은 적색 채널에 의한 설태 수동 추출에 대한 예시 사진이며, 도 22는 적색채널에 의한 설태 수동 추출 시의 설태 면적 계산 예시 사진이다.
도 23 내지 도 25는 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 이용한 설태 영역 검출 중 명도 채널을 사용한 경우를 설명하기 위한 도면이다.
본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 이용한 설태 영역 검출 중 명도 채널을 사용한 경우는 도 23 내지 도 25에 나타낸 바와 같은데, 여기서 도 23은 명도에 의한 설태 자동 추출에 대한 예시 사진이고, 도 24는 명도에 의한 설태 수동 추출에 대한 예시 사진이며, 도 25는 명도에 의한 설태 수동 추출 시의 설태 면적 계산 예시 사진이다.
도 26 내지 도 28은 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 이용한 설태 영역 검출 중 녹색 채널을 사용한 경우를 설명하기 위한 도면이다.
본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 이용한 설태 영역 검출 중 녹색 채널을 사용한 경우로써 녹색 반응 설태 성분이 없는 경우에 대한 것으로, 도 26은 녹색 채널에 의한 설태 자동 추출에 대한 예시 사진이고, 도 27은 녹색 채널에 의한 설태 수동 추출에 대한 예시 사진이며, 도 28은 녹색 채널에 의한 설태 수동 추출 시의 설태 면적 계산 예시 사진이다.
도 29는 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 이용한 색상 정보 획득을 설명하기 위한 도면이다.
본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 이용한 색상 정보 획득은 도 29에 나타낸 바와 같이 사진 우측에서 R, G, B 칼라 데이터를 획득한 것을 나타내고 있다.
도 30 및 도 31은 본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 이용한 진료 히스토리 저장 및 관리 기능을 설명하기 위한 도면이다.
본 발명에 따른 3파장 영상을 이용한 설진 영상 처리 장치를 이용한 진료 히스토리 저장 및 관리 기능은 우선 도 30에서는 히스토리 저장 예시 사진으로써 우측에 나타낸 바와 같이 다수의 사진(9장)을 저장할 수 있는 것을 나타내었고, 도 31에 나타낸 바와 같이, 적외선, 자외선, 가시광선에 대한 사진을 .bmp방식으로 파일 이름을 붙여 저장한 것을 나타내고 있다. 물론 사용가능한 저장 포맷은 bmp 외에도 jpg, png, tif 중 하나로 저장할 수 있다.
이상과 같은 예로 본 발명을 설명하였으나, 본 발명은 반드시 이러한 예들에 국한되는 것이 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서 본 발명에 개시된 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 예들에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 한다.
10 : 외부 스위치 신호 입력부 12 : 살균조명부
14 : 가시광선 조명부 16 : 자외선 조명부
18 : 적외선 조명부 20 : 카메라부
22 : 분석부 24 : 저장부
26 : 데이터베이스 28 : 제어부
30 : 인터페이스부 31 : 모니터
32 : PC
14 : 가시광선 조명부 16 : 자외선 조명부
18 : 적외선 조명부 20 : 카메라부
22 : 분석부 24 : 저장부
26 : 데이터베이스 28 : 제어부
30 : 인터페이스부 31 : 모니터
32 : PC
Claims (12)
- 영상을 이용한 설진 영상 처리 장치에 있어서,
각종 외부 스위치(버튼)로부터 온/오프 신호를 입력받는 외부 스위치 신호 입력부(10);
서로 다른 3가지 파장의 조명을 출력하는 조명부(14)(16)(18);
상기 서로 다른 3가지 파장에 따른 혀의 설진 영상을 획득하는 카메라부(20);
상기 카메라부(20)에서 획득한 설진 영상을 분석하는 분석부(22);
상기 분석부(22)에서 분석한 설진 영상을 저장하는 저장부(24); 및
상기 외부 스위치 신호 입력부(10), 조명부(14)(16)(18), 카메라부(20), 분석부(22) 및 저장부(24)를 제어하는 제어부(28);를 포함하여 구성됨을 특징으로 하는 3파장 영상을 이용한 설진 영상 처리 장치. - 제1항에 있어서,
상기 3파장 영상을 이용한 설진 영상 처리 장치는,
상기 혀가 삽입되는 부위를 살균하는 살균 조명부(12)를 더 포함하여 구성됨을 특징으로 하는 3파장 영상을 이용한 설진 영상 처리 장치. - 제1항에 있어서,
상기 3파장 영상을 이용한 설진 영상 처리 장치는,
상기 설진 영상을 모니터(31) 및 PC(32)로 인터페이싱하는 인터페이스부(30)를 더 포함하여 구성됨을 특징으로 하는 3파장 영상을 이용한 설진 영상 처리 장치. - 제1항에 있어서,
상기 조명부는 가시광선을 출력하는 가시광선 조명부(14)와, 자외선을 출력하는 자외선 조명부(16) 및 적외선을 출력하는 적외선 조명부(18)로 구성됨을 특징으로 하는 3파장 영상을 이용한 설진 영상 처리 장치. - 설진 영상을 처리하는 메인 소프트웨어 로딩 단계(S110)와 설진촬영을 판단하는 단계(S120) 및 설진 촬영 기기 대기(Standby) 단계(S130)로 구성되는 설진 소프트웨어 로딩 단계(S100);
설진 촬영 준비를 판단하는 단계(S210)와 촬영준비가 되었다면 영상 획득 단계(S220)와 이미지 신호 처리(ISP) 사용을 판단하는 단계(S230)와, 상기 ISP를 사용한다면 ISP를 설정하는 단계(S240)로 구성되는 설진영상 획득단계(S200); 및
상기 설진 촬영 단계(S120)에서 촬영이 아닌 경우와 상기 ISP 사용이 아닌 경우(S230)와, 기존 파일 로드 단계(S320) 중 하나인 파일 관리 단계(S310)와, 상기 파일 로드를 판단하는 단계(S320)와, 영상을 조절하거나(S430) 서로 다른 3가지 파장의 조명에 의해 획득된 혀의 설진 영상 및 면적을 분석하는 설진영상 분석단계(S300);를 포함하여 이루어지는 것을 특징으로 하는 3파장 영상을 이용한 설진 영상 처리 방법. - 제5항에 있어서,
상기 설진영상 분석단계(S300)는,
상기 혀의 설질을 검출하는 단계(S440)와,
상기 혀의 설태를 검출하는 단계(S450)와,
상기 혀의 면적을 계산하는 단계(S460)와,
상기 혀의 색정보를 획득하는 단계(S470)와,
상기 색정보가 획득되었다면 결과를 표시하는 단계(S380); 및
저장하는 단계(S390)를 포함하여 이루어지는 것을 특징으로 하는 3파장 영상을 이용한 설진 영상 처리 방법. - 제6항에 있어서,
상기 혀의 설질은 상기 3가지 서로 다른 파장의 조명 중 적외선 조명을 이용하여 검출하고,
상기 혀의 설태는 상기 3가지 서로 다른 파장의 조명 중 자외선 조명을 이용하여 검출하며,
상기 혀의 색정보는 상기 3가지 서로 다른 파장의 조명 중 가시광선을 이용하여 획득하는 것을 특징으로 하는 3파장 영상을 이용한 설진 영상 처리 방법. - 제5항에 있어서,
상기 설진영상 획득 단계는,
상기 메인 소프트웨어에서 사용자의 요청에 의해 실행되어 상기 영상을 획득하기 위한 카메라를 점검(S201)하고, 영상출력을 통해 영상을 획득할 수 있는 상태로 대기하는 단계(S204)와,
각각 색상과 노출을 설정하는 과정(P1, P2)과,
상기 설진 영상을 촬영하면(S206), 촬영하려는 영상의 프레임이 영상 저장 단계(S207)에서 이미지 파일로 관리 및 저장되는 단계를 포함하는 것을 특징으로 하는 3파장 영상을 이용한 설진 영상 처리 방법. - 제5항에 있어서,
상기 설진 영상에서 설질 영역을 검출하는 방법은,
적외선 조명을 통해 적외선 영상(S331)이 색상 변환을 통해 그레이 레벨 영상으로 변환되는 단계(S332)와,
상기 변환된 그레이 레벨 영상은 이진화에 의해 이진 영상이 되는 단계(S333)와.
상기 이진화된 영상에서 윤곽 성분을 검출하는 단계(S334)와,
상기 윤곽 성분에서 윤곽영상을 완료하는 단계(S335)와,
상기 설질 영역 설정이 완료될 때까지 윤곽조절영상을 통해(S337) 윤곽형태를 조절하여 설질 영역 설정을 완료하면(S336), 적외선 영상과 합성되어 사용자에게 시각적으로 보여주고(S338), 면적 계산 함수를 호출하여 면적에 대한 검출 데이터를 결과 테이블에 출력하는 단계를 포함하는 것을 특징으로 하는 3파장 영상을 이용한 설진 영상 처리 방법. - 제9항에 있어서,
상기 윤곽 성분 검출 단계는 케니-에지 검출 알고리즘을 사용하여 상기 설질 영역 추출을 위한 윤곽 도형을 생성하는 것을 특징으로 하는 3파장 영상을 이용한 설진 영상 처리 방법. - 제5항에 있어서,
상기 설진영상에서 설태 영역을 검출하는 방법은,
입력된 자외선 영상(S351)에서 단일 채널 영상을 사용하여(S352) 상기 설태 검출 목적에 맞는 채널을 선택(S353)하면 이진화하는 단계(S354)와,
원하는 영역의 설태 성분 영상(S355)에서 설태 영역을 선택하여 이진화하면 이진 영상과 병합을 수행할 설질 영역의 검출 여부를 확인하는 단계(S357)와,
상기 검출된 설질 영역은 자외선 영상과 합성되어 면적 계산 함수를 호출하여 설질에 대한 설태의 면적과 설질과의 비율, 설태의 설질 상에서의 분포율의 설진 진단 지표를 계산하여 프로그램 화면에 설태 영역 영상 결과로서 나타내는 단계(S358)를 포함하여 이루어지는 것을 특징으로 하는 3파장 영상을 이용한 설진 영상 처리 방법. - 제5항에 있어서,
상기 설진영상에서 설질 색상 정보를 획득하는 방법은,
설태 영역과 설질 영역과 가시광선 영상과 병합하여 일치하는 위치의 화소값을 누적하여 평균값을 산출하여 사용자에게 설질 색상 정보를 제공하는 자동화 방법과, 사용자가 가시광선의 혀 영상에서 임의지 위치를 선정하여 해당하는 위치의 화소값을 제공하는 매뉴얼 방법을 제공하여 각 영역의 RGB 색상 데이터가 결과로 표시됨을 특징으로 하는 3파장 영상을 이용한 설진 영상 처리 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120004316A KR101341065B1 (ko) | 2012-01-13 | 2012-01-13 | 3파장 영상을 이용한 설진 영상 처리 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120004316A KR101341065B1 (ko) | 2012-01-13 | 2012-01-13 | 3파장 영상을 이용한 설진 영상 처리 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130083613A true KR20130083613A (ko) | 2013-07-23 |
| KR101341065B1 KR101341065B1 (ko) | 2013-12-11 |
Family
ID=48994584
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120004316A KR101341065B1 (ko) | 2012-01-13 | 2012-01-13 | 3파장 영상을 이용한 설진 영상 처리 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101341065B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180049301A (ko) * | 2016-10-31 | 2018-05-11 | 한국 한의학 연구원 | 설하정맥 영역 추출 방법 및 그 방법을 수행하는 영상 장치 |
| CN117094966A (zh) * | 2023-08-21 | 2023-11-21 | 青岛美迪康数字工程有限公司 | 基于图像扩增的舌图像识别方法、装置和计算机设备 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104510447A (zh) * | 2015-01-13 | 2015-04-15 | 哈尔滨工业大学 | 可见光与近红外光舌下图像采集系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100506085B1 (ko) * | 2002-12-28 | 2005-08-05 | 삼성전자주식회사 | 혀영상 처리장치 및 혀영상을 이용한 건강 모니터링장치 |
| KR100682476B1 (ko) * | 2005-06-13 | 2007-02-22 | 주식회사 네오라이테크 | 자외선 살균램프가 일체로 구성된 센서등 |
| KR101028999B1 (ko) | 2010-07-16 | 2011-04-14 | 상지대학교산학협력단 | 설진 영상 촬영장치 및 방법 |
| KR101021917B1 (ko) | 2010-07-16 | 2011-03-18 | 상지대학교산학협력단 | 엘이디 광원을 구비하는 혀 영상 촬영장치 |
-
2012
- 2012-01-13 KR KR1020120004316A patent/KR101341065B1/ko active IP Right Grant
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180049301A (ko) * | 2016-10-31 | 2018-05-11 | 한국 한의학 연구원 | 설하정맥 영역 추출 방법 및 그 방법을 수행하는 영상 장치 |
| CN117094966A (zh) * | 2023-08-21 | 2023-11-21 | 青岛美迪康数字工程有限公司 | 基于图像扩增的舌图像识别方法、装置和计算机设备 |
| CN117094966B (zh) * | 2023-08-21 | 2024-04-05 | 青岛美迪康数字工程有限公司 | 基于图像扩增的舌图像识别方法、装置和计算机设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101341065B1 (ko) | 2013-12-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6850225B2 (ja) | 医療画像処理装置、内視鏡装置、診断支援装置、及び、医療業務支援装置 | |
| US11452455B2 (en) | Skin reflectance and oiliness measurement | |
| JP6346576B2 (ja) | 画像処理装置 | |
| JP4487535B2 (ja) | 健康度測定システムおよびプログラム | |
| US11950760B2 (en) | Endoscope apparatus, endoscope operation method, and program | |
| US20170164888A1 (en) | Organ imaging device | |
| EP3219251A1 (en) | Organ image capture device and program | |
| WO2005087087A1 (ja) | 眼底部解析装置および眼底部解析方法 | |
| KR101419257B1 (ko) | 특정 파장 대역의 광원을 이용한 혀 영상 획득장치 | |
| CN104899891A (zh) | 一种识别孕囊组织的方法、装置及宫腔吸引装置 | |
| US20170238843A1 (en) | Degree-of-health outputting device, degree-of-health outputting system, and program | |
| CN111050628A (zh) | 医疗图像处理装置 | |
| KR101028999B1 (ko) | 설진 영상 촬영장치 및 방법 | |
| KR101341065B1 (ko) | 3파장 영상을 이용한 설진 영상 처리 방법 | |
| CN108143396A (zh) | 一种基于荧光成像的便携式早期龋齿诊断装置及诊断方法 | |
| CN107066779A (zh) | 基于生物样本颜色的自助身体参数检查方法及系统 | |
| US20230239419A1 (en) | Image display system and image display method | |
| CN109907735B (zh) | 一种多光谱舌象采集设备 | |
| KR20150139700A (ko) | 수족피부질환 평가 및 진단을 위한 장치 및 그 방법 | |
| KR101551814B1 (ko) | 설진 영상의 평가지표 정량화를 통한 설진 분석 방법, 시스템 및 그 기록매체 | |
| US20160210746A1 (en) | Organ imaging device | |
| KR101785529B1 (ko) | 설진용 의료장치 및 그 제어방법 | |
| US20220192470A1 (en) | Endoscope system | |
| CN114494299A (zh) | 温度检测设备 | |
| EP3066976A1 (en) | Organ image capturing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20161104 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20171206 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20181205 Year of fee payment: 6 |