KR101791927B1 - 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 방법 및 장치 - Google Patents

인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 방법 및 장치 Download PDF

Info

Publication number
KR101791927B1
KR101791927B1 KR1020160072525A KR20160072525A KR101791927B1 KR 101791927 B1 KR101791927 B1 KR 101791927B1 KR 1020160072525 A KR1020160072525 A KR 1020160072525A KR 20160072525 A KR20160072525 A KR 20160072525A KR 101791927 B1 KR101791927 B1 KR 101791927B1
Authority
KR
South Korea
Prior art keywords
skin surface
roughness
dimensional
dimensional skin
generating
Prior art date
Application number
KR1020160072525A
Other languages
English (en)
Inventor
김광택
Original Assignee
인천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인천대학교 산학협력단 filed Critical 인천대학교 산학협력단
Priority to KR1020160072525A priority Critical patent/KR101791927B1/ko
Application granted granted Critical
Publication of KR101791927B1 publication Critical patent/KR101791927B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/442—Evaluating skin mechanical properties, e.g. elasticity, hardness, texture, wrinkle assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Dermatology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명의 일 실시예에 의한 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 방법은, (a) 2차원 피부 표면 영상을 취득하는 단계; (b) 상기 취득된 2차원 피부 표면 영상으로부터 3차원 깊이 정보를 생성함으로써 3차원 피부 표면 포인트들을 생성하고, 상기 3차원 피부 표면 포인트들을 연결하여 복수의 메시를 생성함으로써 3차원 피부 표면을 생성하는 단계; (c) 상기 3차원 피부 표면의 거침도를 추정하는 단계; 및 (d) 상기 추정된 거침도가 소정 값 미만인 경우 시각을 통해 피부 상태를 진단할 것을 가이드하고, 상기 추정된 거침도가 상기 소정 값 이상인 경우 촉각을 통해 피부 상태를 진단할 것을 가이드하는 단계를 포함하여, 2차원 피부 표면 영상에 기반하여 피부 표면의 거침도를 정량적으로 추정할 수 있고, 추정된 거침도에 기반하여 가장 민감한 감각 기관으로 피부 상태를 진단할 수 있도록 가이드를 제시할 수 있어 보다 정확하게 피부 상태를 진단하는데 도움을 줄 수 있다.

Description

인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 방법 및 장치{METHOD AND APPARATUS FOR ESTIMATING ROUGHNESS OF SKIN SURFACE FOR HAPTIC FEEDBACK APPARATUS BASED ON PERCEPTUAL ANALYSIS}
본 발명은 피부 상태를 진단하기 위한 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 방법 및 장치에 관한 것이다.
피부 표면의 거침도는 피부 상태 또는 피부 질병 진단 시 중요한 특성으로 활용되고 있으며, 특히 피부 표면은 시각적 정보뿐만 아니라 촉각적 정보를 포함하기 때문에, 피부 상태를 촉각으로 진단하는 피부 촉진은 피부 진단에 매우 중요하다.
하지만, 직접 손이나 손가락으로 피부 표면을 촉진하는 경우, 피부의 감염 부위에 손상을 줄 수 있다. 이에 따라, 최근 피부 표면 접촉에 의한 2차 감염 우려가 없는 비접촉식 피부 표면 거침도 측정 기술인 현미경 카메라를 이용한 피부 거침도 측정 기술이 발전하고 있다.
하지만, 현미경 카메라를 이용한 기존의 피부 거침도 측정 및 디스플레이 시스템은 피부 표면 거침도를 시각적 또는 수치상으로만 표현하기 때문에 의사들이 촉진을 통해 질병 부위 및 주위 표면의 촉감 정도를 함께 분석하여 질병을 진단할 수 없다.
하기의 특허문헌 1은 2차원 피부 표면 영상에 기반하여 3차원의 시각적 피부 표면과 촉각적 피부 표면을 생성하고, 햅틱 피드백 장치를 통해 사용자에게 촉각적 피부 표면에 의해 제공되는 피부 표면의 거침도의 변화를 감지할 수 있는 촉각 자극을 제공함으로써 피부 진단의 정확도를 높일 수 있는, 피부 진단을 위한 인지기반 3차원 시각-촉각 디스플레이 시스템 및 방법을 개시하고 있다.
하지만, 특허문헌 1은, 2차원 피부 표면 영상에 기반하여 피부 표면의 거침도를 정량적으로 추정할 수 없고, 시각과 촉각의 거침도 인지 차이에 따라 가장 민감한 감각 기관으로 피부 상태를 진단할 수 있도록 최적의 진단 방법에 대한 가이드를 제시하지 못한다.
KR 10-1522690 B1
본 발명이 해결하고자 하는 과제는 2차원 피부 표면 영상에 기반하여 피부 표면의 거침도를 정량적으로 추정할 수 있고, 추정된 거침도에 기반하여 가장 민감한 감각 기관으로 피부 상태를 진단할 수 있도록 최적의 진단 방법에 대한 가이드를 제시할 수 있는, 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 과제는 2차원 피부 표면 영상에 기반하여 피부 표면의 거침도를 정량적으로 추정할 수 있고, 추정된 거침도에 기반하여 가장 민감한 감각 기관으로 피부 상태를 진단할 수 있도록 최적의 진단 방법에 대한 가이드를 제시할 수 있는, 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 장치를 제공하는 것이다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 의한 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 방법은,
(a) 2차원 피부 표면 영상을 취득하는 단계;
(b) 상기 취득된 2차원 피부 표면 영상으로부터 3차원 깊이 정보를 생성함으로써 3차원 피부 표면 포인트들을 생성하고, 상기 3차원 피부 표면 포인트들을 연결하여 복수의 메시를 생성함으로써 3차원 피부 표면을 생성하는 단계;
(c) 상기 3차원 피부 표면의 거침도를 추정하는 단계; 및
(d) 상기 추정된 거침도가 소정 값 미만인 경우 촉각을 통해 피부 상태를 진단할 것을 가이드하고, 상기 추정된 거침도가 상기 소정 값 이상인 경우 시각을 통해 피부 상태를 진단할 것을 가이드하는 단계를 포함한다.
본 발명의 일 실시예에 의한 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 방법에 있어서, 상기 소정 값은 실질적으로 0.15×10-3일 수 있다.
또한, 본 발명의 일 실시예에 의한 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 방법은, 상기 단계 (d) 이후에,
(e) 환자 정보 및 병에 대한 의료 정보가 인지될 수 없도록, 시각-촉각 인지 커브 데이터보다 작은 변화를 주어 상기 환자 정보 및 병에 대한 의료 정보를 3차원 피부 표면 정보에 워터마킹하는 단계를 더 포함할 수 있다.
또한, 본 발명의 일 실시예에 의한 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 방법에 있어서, 상기 시각-촉각 인지 커브 데이터는, 임계값 = 0.0001×ln(거침도)+0.012에 의해 결정될 수 있다.
또한, 본 발명의 일 실시예에 의한 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 방법은, 상기 단계 (c) 이후에,
(f) 상기 추정된 피부 표면의 거침도를 디스플레이에 표시하는 단계를 더 포함할 수 있다.
또한, 본 발명의 일 실시예에 의한 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 방법은, 상기 단계 (d) 이후에,
(g) 상기 복수의 메시에 기반하여 시각적 3차원 피부 표면을 생성하는 단계; 및
(h) 상기 복수의 메시에 기반하여 촉각적 3차원 피부 표면을 생성하는 단계를 더 포함할 수 있다.
또한, 본 발명의 일 실시예에 의한 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 방법에 있어서, 상기 복수의 메시 각각은 삼각형 형태로 이루어져 있고,
상기 단계 (c)는,
(c-1) 인접한 삼각형 표면 간의 2면각과 연관된 거침도를 계산하는 단계;
(c-2) 삼각형에 대한 표면 거침도를 계산하는 단계; 및
(c-3) 정점당 최종 거침도를 계산함으로써 상기 3차원 피부 표면의 거침도를 추정하는 단계를 포함할 수 있다.
또한, 본 발명의 일 실시예에 의한 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 방법에 있어서, 상기 2면각과 연관된 거침도(ρ)는 수학식 1에 의해 계산되고,
[수학식 1]
Figure 112016055986194-pat00001
상기에서
Figure 112016055986194-pat00002
과
Figure 112016055986194-pat00003
는 상기 인접한 삼각형의 노멀 벡터(normal vector)를 나타내며,
Figure 112016055986194-pat00004
는 스칼라 프로덕트(scalar product)를 나타내고,
상기 삼각형에 대한 표면 거침도(p(T))는 수학식 2에 의해 계산되며,
[수학식 2]
Figure 112016055986194-pat00005
상기에서 G(v1)은 정점 v1에 인접한 면들의 2면각들과 연관된 거침도의 평균이고, G(v2)는 정점 v2에 인접한 면들의 2면각들과 연관된 거침도의 평균이며, G(v3)은 정점 v3에 인접한 면들의 2면각들과 연관된 거침도의 평균이고, V(v1), V(v2) 및 V(v3)는 각각 정점 v1, v2 및 v3에 인접한 면들의 2면각들과 연관된 거침도의 분산이며,
상기 정점당 최종 거침도(
Figure 112016055986194-pat00006
)는 수학식 3에 의해 계산되고,
[수학식 3]
Figure 112016055986194-pat00007
,
상기에서 ST는 정점 v와 관련된 면들의 집합(set)이며,
Figure 112016055986194-pat00008
는 집합 ST의 원소의 수를 나타내고, ATi는 면 Ti의 면적일 수 있다.
또한, 본 발명의 일 실시예에 의한 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 방법에 있어서, 상기 단계 (a)는 단일 현미경 카메라를 이용하여 2차원 피부 표면 영상을 취득하는 단계를 포함하고,
상기 단계 (b)는,
상기 취득된 단일 2차원 피부 표면 영상의 인텐시티 레벨(intensity level)을 깊이 데이터로 변환하여 3차원 깊이 정보를 생성함으로써 3차원 피부 표면 포인트들을 생성하고, 상기 3차원 피부 표면 포인트들을 연결하여 복수의 메시를 생성함으로써 3차원 피부 표면을 생성하는 단계를 포함할 수 있다.
또한, 본 발명의 일 실시예에 의한 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 방법에 있어서, 상기 단계 (a)는 2대의 현미경 카메라 또는 스테레오 현미경 카메라를 이용하여 2차원 피부 표면의 좌, 우 스테레오 영상을 취득하는 단계를 포함하고,
상기 단계 (b)는,
스테레오 매칭 알고리즘을 이용하여 상기 취득된 2차원 피부 표면의 좌, 우 스테레오 영상으로부터 3차원 깊이 정보를 생성함으로써 3차원 피부 표면 포인트들을 생성하고, 상기 3차원 피부 표면 포인트들을 연결하여 복수의 메시를 생성함으로써 3차원 피부 표면을 생성하는 단계를 포함할 수 있다.
상기 다른 과제를 해결하기 위한 본 발명의 일 실시예에 의한 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 장치는,
2차원 피부 표면 영상을 취득하기 위한 카메라;
상기 취득된 2차원 피부 표면 영상으로부터 3차원 깊이 정보를 생성함으로써 3차원 피부 표면 포인트들을 생성하고, 상기 3차원 피부 표면 포인트들을 연결하여 복수의 메시를 생성함으로써 3차원 피부 표면을 생성하기 위한 3차원 표면 생성부;
상기 3차원 피부 표면의 거침도를 추정하기 위한 3차원 표면 거침도 측정부; 및
상기 추정된 거침도가 소정 값 미만인 경우 촉각을 통해 피부 상태를 진단할 것을 가이드하고, 상기 추정된 거침도가 상기 소정 값 이상인 경우 시각을 통해 피부 상태를 진단할 것을 가이드하기 위한 시촉각 거침도 인지데이터 적용부를 포함한다.
본 발명의 일 실시예에 의한 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 장치에 있어서, 상기 소정 값은 실질적으로 0.15×10-3일 수 있다.
또한, 본 발명의 일 실시예에 의한 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 장치에 있어서, 상기 시촉각 거침도 인지데이터 적용부는, 환자 정보 및 병에 대한 의료 정보가 인지될 수 없도록, 시각-촉각 인지 커브 데이터보다 작은 변화를 주어 상기 환자 정보 및 병에 대한 의료 정보를 3차원 피부 표면 정보에 워터마킹할 수 있다.
또한, 본 발명의 일 실시예에 의한 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 장치에 있어서, 상기 시각-촉각 인지 커브 데이터는, 임계값 = 0.0001×ln(거침도)+0.012에 의해 결정될 수 있다.
또한, 본 발명의 일 실시예에 의한 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 장치는,
상기 복수의 메시에 기반하여 시각적 3차원 피부 표면을 생성하기 위한 시각 렌더링부;
상기 복수의 메시에 기반하여 촉각적 3차원 피부 표면을 생성하고 햅틱 프로브의 위치 정보에 응답하여 반발력을 계산하는 햅틱 렌더링부; 및
사용자의 조작에 따라 상기 햅틱 프로브의 위치를 가변하여 위치 정보를 상기 햅틱 렌더링부로 전송하고, 상기 반발력을 수신하여 상기 사용자에게 촉각 자극을 제공하는 햅틱 장치를 더 포함할 수 있다.
또한, 본 발명의 일 실시예에 의한 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 장치는, 상기 추정된 피부 표면의 거침도 및 상기 시각적 3차원 피부 표면을 표시하기 위한 위한 디스플레이를 더 포함할 수 있다.
또한, 본 발명의 일 실시예에 의한 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 장치에 있어서, 상기 복수의 메시 각각은 삼각형 형태로 이루어져 있고,
상기 3차원 표면 거침도 측정부는,
인접한 삼각형 표면 간의 2면각과 연관된 거침도를 계산하는 동작, 삼각형에 대한 표면 거침도를 계산하는 동작, 및 정점당 최종 거침도를 계산함으로써 상기 3차원 피부 표면의 거침도를 추정하는 동작을 수행하여 상기 3차원 피부 표면의 거침도를 추정할 수 있다.
또한, 본 발명의 일 실시예에 의한 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 장치에 있어서, 상기 2면각과 연관된 거침도(ρ)는 수학식 1에 의해 계산되고,
[수학식 1]
Figure 112016055986194-pat00009
상기에서
Figure 112016055986194-pat00010
과
Figure 112016055986194-pat00011
는 상기 인접한 삼각형의 노멀 벡터(normal vector)를 나타내며,
Figure 112016055986194-pat00012
는 스칼라 프로덕트(scalar product)를 나타내고,
상기 삼각형에 대한 표면 거침도(p(T))는 수학식 2에 의해 계산되며,
[수학식 2]
Figure 112016055986194-pat00013
상기에서 G(v1)은 정점 v1에 인접한 면들의 2면각들과 연관된 거침도의 평균이고, G(v2)는 정점 v2에 인접한 면들의 2면각들과 연관된 거침도의 평균이며, G(v3)은 정점 v3에 인접한 면들의 2면각들과 연관된 거침도의 평균이고, V(v1), V(v2) 및 V(v3)는 각각 정점 v1, v2 및 v3에 인접한 면들의 2면각들과 연관된 거침도의 분산이며,
상기 정점당 최종 거침도(
Figure 112016055986194-pat00014
)는 수학식 3에 의해 계산되고,
[수학식 3]
Figure 112016055986194-pat00015
,
상기에서 ST는 정점 v와 관련된 면들의 집합(set)이며,
Figure 112016055986194-pat00016
는 집합 ST의 원소의 수를 나타내고, ATi는 면 Ti의 면적일 수 있다.
또한, 본 발명의 일 실시예에 의한 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 장치에 있어서, 상기 카메라는 단일 2차원 피부 표면 영상을 취득하기 위한 단일 현미경 카메라를 포함하고,
상기 3차원 표면 생성부는,
상기 취득된 단일 2차원 피부 표면 영상의 인텐시티 레벨(intensity level)을 깊이 데이터로 변환하여 3차원 깊이 정보를 생성함으로써 3차원 피부 표면 포인트들을 생성하고, 상기 3차원 피부 표면 포인트들을 연결하여 복수의 메시를 생성함으로써 3차원 피부 표면을 생성할 수 있다.
또한, 본 발명의 일 실시예에 의한 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 장치에 있어서, 상기 카메라는 2차원 피부 표면의 좌, 우 스테레오 영상을 취득하기 위한 2대의 현미경 카메라 또는 스테레오 현미경 카메라를 포함하고,
상기 3차원 표면 생성부는,
스테레오 매칭 알고리즘을 이용하여 상기 취득된 2차원 피부 표면의 좌, 우 스테레오 영상으로부터 3차원 깊이 정보를 생성함으로써 3차원 피부 표면 포인트들을 생성하고, 상기 3차원 피부 표면 포인트들을 연결하여 복수의 메시를 생성함으로써 3차원 피부 표면을 생성할 수 있다.
본 발명의 일 실시예에 의한 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 방법 및 장치에 의하면, 2차원 피부 표면 영상에 기반하여 피부 표면의 거침도를 정량적으로 추정할 수 있고, 추정된 거침도에 기반하여 가장 민감한 감각 기관으로 피부 상태를 진단할 수 있도록 최적의 진단 방법에 대한 가이드를 제시할 수 있어 보다 정확하게 피부 상태를 진단하는데 도움을 줄 수 있다.
도 1은 본 발명의 일 실시예에 의한 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 장치를 도시한 블록도.
도 2는 본 발명의 일 실시예에 의한 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 방법의 흐름도.
도 3은 3차원 피부 표면 생성 단계와 3차원 피부 표면 거침도 계산 단계의 상세 흐름도.
도 4a 및 도 4b는 메시 기반 거침도 계산을 설명하기 위한 도면.
도 5는 실험에 사용된 햅틱 장치를 도시한 도면.
도 6은 실험에 사용된 기준 표면들을 도시한 도면.
도 7은 실험 결과를 나타내는 시촉각 인지 데이터와 관련된 그래프.
본 발명의 목적, 특정한 장점들 및 신규한 특징들은 첨부된 도면들과 연관되어지는 이하의 상세한 설명과 바람직한 실시예들로부터 더욱 명백해질 것이다.
이에 앞서 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이고 사전적인 의미로 해석되어서는 아니되며, 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있는 원칙에 입각하여 본 발명의 기술적 사상에 부합되는 의미와 개념으로 해석되어야 한다.
본 명세서에서 각 도면의 구성요소들에 참조번호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다.
또한, "제1", "제2", "일면", "타면" 등의 용어는, 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 상기 용어들에 의해 제한되는 것은 아니다.
이하, 본 발명을 설명함에 있어, 본 발명의 요지를 불필요하게 흐릴 수 있는 관련된 공지 기술에 대한 상세한 설명은 생략한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시형태를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 의한 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 장치를 도시한 블록도이고, 도 2는 본 발명의 일 실시예에 의한 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 방법의 흐름도이다.
도 1을 참조하면, 본 발명의 일 실시예에 의한 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 장치는, 2차원 피부 표면 영상을 취득하기 위한 현미경 카메라(111), 및 상기 현미경 카메라(111)에 의해 취득된 2차원 피부 표면 영상에 기반하여 3차원 피부 표면의 거침도를 생성하기 위한 3차원 표면 거침도 생성부(102)를 포함한다.
상기 3차원 표면 거침도 생성부(102)는, 상기 현미경 카메라(111)에 의해 취득된 2차원 피부 표면 영상으로부터 3차원 깊이 정보를 생성함으로써 3차원 피부 표면 포인트들을 생성하고, 상기 3차원 피부 표면 포인트들을 연결하여 복수의 메시를 생성함으로써 3차원 피부 표면을 생성하기 위한 3차원 표면 생성부(112), 상기 3차원 피부 표면의 노이즈를 제거하기 위한 3차원 표면 처리부(114), 상기 노이즈가 제거된 3차원 피부 표면의 거침도를 추정하기 위한 3차원 표면 거침도 측정부(116), 상기 추정된 거침도가 소정 값 미만인 경우 촉각을 통해 피부 상태를 진단할 것을 가이드하고, 상기 추정된 거침도가 상기 소정 값 이상인 경우 시각을 통해 피부 상태를 진단할 것을 가이드하기 위한 시촉각 거침도 인지데이터 적용부(118), 및 시촉각 피부 표면 거침도 인지데이터를 저장하고 있는 시촉각 피부 표면 거침도 인지데이터 저장부(106)를 포함한다.
또한, 본 발명의 일 실시예에 의한 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 장치는, 상기 복수의 메시에 기반하여 시각적 3차원 피부 표면을 생성하기 위한 시각 렌더링부(104), 상기 복수의 메시에 기반하여 촉각적 3차원 피부 표면을 생성하고 햅틱 프로브의 위치 정보에 응답하여 반발력을 계산하는 햅틱 렌더링부(100), 사용자의 조작에 따라 상기 햅틱 프로브의 위치를 가변하여 위치 정보를 상기 햅틱 렌더링부로 전송하고, 상기 반발력을 수신하여 상기 사용자에게 촉각 자극을 제공하는 햅틱 장치(108) 및 상기 추정된 피부 표면의 거침도 및 상기 시각적 3차원 피부 표면을 표시하기 위한 디스플레이(110)를 더 포함한다.
상기 시각 렌더링부(104)는, 노이즈를 제거하기 위한 비인지 비주얼 표면 노이즈 제거부(128) 및 시각적 3차원 피부 표면을 생성하는 시각적 3차원 피부 표면 렌더링부(130)를 포함한다.
상기 햅틱 렌더링부(100)는, 노이즈를 제거하기 위한 비인지 햅틱 표면 노이즈 제거부(120), 촉각적 3차원 피부 표면 생성부(122), 충돌 검출부(124) 및 피드백 힘 생성부(126)를 포함한다.
도 1 및 도 2를 참조하면, 단계 S200에서, 현미경 카메라(111)가 2차원 피부 표면 영상을 취득한다. 본 발명의 일 실시예에서 상기 현미경 카메라(111)는 단일 현미경 카메라이자만, 본 발명의 일 실시예는 이에 한정되지 않고, 상기 현미경 카메라는 2대의 현미경 카메라 또는 스테레오 현미경 카메라를 포함할 수 있다.
단계 S202에서, 3차원 표면 생성부(112)는 현미경 카메라(111)에 의해 취득된 2차원 피부 표면 영상으로부터 3차원 깊이 정보(z 좌표)를 생성함으로써 3차원 피부 표면 포인트들(x, y, z)을 생성하고, 상기 3차원 피부 표면 포인트들(x, y, z)을 연결하여 복수의 메시(면)를 생성함으로써 3차원 피부 표면을 생성한다.
상기 현미경 카메라(111)가 단일 현미경 카메라인 경우, 3차원 표면 생성부(112)는 상기 현미경 카메라(111)에 의해 취득된 단일 2차원 피부 표면 영상의 인텐시티 레벨(intensity level)을 깊이 데이터로 변환하여 3차원 깊이 정보(z 좌표)를 생성함으로써 3차원 피부 표면 포인트들(x, y, z)을 생성하고, 상기 3차원 피부 표면 포인트들(x, y, z)을 연결하여 복수의 메시(면)를 생성함으로써 3차원 피부 표면을 생성한다.
만약, 상기 현미경 카메라(111)가 2대의 현미경 카메라 또는 스테레오 현미경 카메라인 경우, 3차원 표면 생성부(112)는, 스테레오 매칭 알고리즘을 이용하여 상기 현미경 카메라(111)에 의해 취득된 2차원 피부 표면의 좌, 우 스테레오 영상으로부터 3차원 깊이 정보(z 좌표)를 생성함으로써 3차원 피부 표면 포인트들(x, y, z)을 생성하고, 상기 3차원 피부 표면 포인트들(x, y, z)을 연결하여 복수의 메시(면)를 생성함으로써 3차원 피부 표면을 생성할 수 있다. 본 발명의 일 실시예에서 상기 복수의 메시 각각은 삼각형 형태로 이루어져 있다.
상기 생성된 3차원 피부 표면의 노이즈는 3차원 표면 처리부(114)에 의해 제거된다.
단계 S204에서, 3차원 표면 거침도 측정부(116)가 상기 3차원 피부 표면의 거침도를 추정한다.
본 발명의 일 실시예에서는 피부 주름과 같은 복잡한 메시들에 강건하고 정확한 인지 연구에 따른 방법이 구현되고 사용된다. 본 발명의 일 실시예에서 3차원 피부 표면의 거침도는 하기와 같이 추정될 수 있다.
본 발명의 일 실시예에서는 정점에서 표면의 돌출 정도(bumpiness)를 계산함으로써 3차원 피부 표면의 거침도를 추정한다.
우선, 도 4a를 참조하면, 다각형 표면(본 발명의 일 실시예에서는 삼각형 표면)이 주어지는 경우, 인접한 삼각형 표면 간의 2면각과 연관된 거침도(ρ)가 수학식 1에 기반하여 계산된다.
Figure 112016055986194-pat00017
상기에서
Figure 112016055986194-pat00018
과
Figure 112016055986194-pat00019
는 각각 상기 인접한 삼각형의 노멀 벡터(normal vector)를 나타내고,
Figure 112016055986194-pat00020
는 스칼라 프로덕트(scalar product)를 나타낸다.
그 다음, 도 4b를 참조하면, 삼각형(T)에 대한 표면 거침도(p(T))가 수학식 2에 기반하여 계산된다.
Figure 112016055986194-pat00021
상기에서 G(v1)은 정점 v1에 인접한 면들의 2면각들과 연관된 거침도의 평균이다. 즉, 도 4b에서, G(v1)은 T-T1. T1-T2. T2-T3. T3-T4. T4-T5, 및 T5-T의 2면각과 연관된 거침도의 평균이다. 마찬가지로, G(v2)는 정점 v2에 인접한 면들의 2면각들과 연관된 거침도의 평균이며, G(v3)은 정점 v3에 인접한 면들의 2면각들과 연관된 거침도의 평균이다. V(v1), V(v2) 및 V(v3)는 각각 정점 v1, v2 및 v3에 인접한 면들의 2면각들과 연관된 거침도의 분산이다. 즉, G(vi)는 정점 vi에 인접한 면들의 2면각들과 연관된 거침도의 평균이고, V(vi)는 정점 vi에 인접한 면들의 2면각들과 연관된 거침도의 분산이다.
그 다음, 상기 정점당 최종 거침도(
Figure 112016055986194-pat00022
)가 수학식 3에 기반하여 계산된다.
Figure 112016055986194-pat00023
상기에서 ST는 정점 v와 관련된 면들의 집합(set)이며,
Figure 112016055986194-pat00024
는 집합 ST의 원소의 수를 나타내고, ATi는 면 Ti의 면적을 나타낸다.
한편, 상기와 같이 추정된 3차원 피부 표면의 거침도는 시촉각 거침도 인지데이터 적용부(118)에 의해 디스플레이(110)에 표시될 수 있다.
단계 S206에서, 시촉각 거침도 인지데이터 적용부(118)는 시촉각 피부표면 거침도 인지데이터 저장부(106)에 저장되어 있는 시촉각 피부표면 거침도 인지데이터와 3차원 표면 거침도 측정부(116)에 의해 추정된 3차원 피부 표면의 거침도에 기반하여 가장 민감한 감각 기관으로 피부 상태를 진단하도록 최적의 진단 방법에 대해 가이드한다. 또한, 시촉각 거침도 인지데이터 적용부(118)는 환자 정보 및 병에 대한 의료 정보가 인지될 수 없도록 시각-촉각 인지 커브 데이터보다 작은 변화를 주어 상기 환자 정보 및 병에 대한 의료 정보를 3차원 피부 표면 정보에 워터마킹할 수 있다.
인지기반 실험을 통해, 3차원 표면 거침도 상에서 범프(bump) 검출에 대한 단일 시각, 단일 촉각, 시촉각 융합 감각에 대한 일반적인 인지 차이 데이터를 도 7과 같이 구하였다.
실험을 통해 동일 표면 거침도(Surface Roughness)에서 인간의 각 감각 기관과 관련하여 임계값 미만의 범프는 인지할 수 없다는 것이 확인되었다. 즉 인지 데이터는, 동일한 거침도 레벨에 따라 시각(V), 촉각(H), 시촉각 동시(VH)로 인지하는 범프 크기를 데이터로 표현한 것이다.
도 7을 참조하면, 임계값이 낮을수록 민감도가 우수한 것을 나타낸다. 예를 들어 피부 거침도 0.081에서는 시각보다 촉각이 민감하고 거침도가 0.327에서는 시각이 더 민감하다는 나타낸다. 따라서, 피부 표면의 거침도가 작을 때는 촉각에 의해서 질병 진단을 하는 것이 효과적이고, 거침도가 클때는 시각적으로 진단하는 것이 더 효과적이다.
본 발명의 일 실시예에서 실험을 통해 도출된 인지 데이터를 적용하는 방법은 앞서 언급한 바와 같이 사용자 인터페이스(UI)를 통해 사용자에게 최적의 진단 방법을 가이드하는 것과 비인지 의료 정보를 3차원 피부 표면 정보에 워터마킹하는 것 등을 포함한다.
사용자 인터페이스 진단 가이드는, 의사 등 사용자가 도 1에 도시된 시촉각진단이 가능한 장치를 이용하여 질병 진단 시 시촉각 인지 데이터를 활용하여 추정된 피부 표면 거침도가 약 0.15×10-3보다 작을 시 촉각(햅틱 장치(108))에 더 의존하도록 하고, 추정된 피부 표면 거침도가 0.15×10-3 이상일 경우 시각(디스플레이(110))에 더 의존하여 피부 표면을 검사할 것을 사용자 인터페이스를 통해 가이드하는 것이다.
비인지 의료 정보 워터마킹은, 환자 정보 및 병에 대한 의료 정보 등을 인지할 수 없는 정도로 3차원 피부 표면 정보에 추가하고자 할 때 도 7에 도시된 시촉각(VH) 인지 커브 데이터보다 작은 변화를 주어 정보를 삽입하는 것이다.
도 7에 도시된 시촉각(VH) 인지 커브 데이터는 수학식 4와 같이 나타낼 수 있다.
Figure 112016055986194-pat00025
상기와 같이, 시촉각 거침도 인지데이터 적용부(118)는 추정된 거침도가 약 0.15×10-3 미만인 경우, 촉각을 통해 피부 상태를 진단할 것을 사용자 인터페이스(UI)를 통해 가이드하고, 상기 추정된 거침도가 약 0.15×10-3 이상인 경우 시각을 통해 피부 상태를 진단할 것을 사용자 인터페이스(UI)를 통해 가이드한다.
상기에서 시각 진단과 촉각 진단의 기준이 되는 거침도의 기준값인 0.15×10-3는 인지기반 실험 결과를 통해 도출된 값이다.
또한, 시촉각 거침도 인지데이터 적용부(118)는 환자 정보 및 병에 대한 의료 정보가 인지될 수 없도록, 시각-촉각 인지 커브 데이터보다 작은 변화를 주어 상기 환자 정보 및 병에 대한 의료 정보를 3차원 피부 표면 정보에 워터마킹할 수 있다.
단계 S208에서, 시각 렌더링부(104)는, 상기 복수의 메시에 기반하여 시각적 3차원 피부 표면을 생성하여 디스플레이(110)에 출력하고, 햅틱 렌더링부(100)는, 상기 복수의 메시에 기반하여 촉각적 3차원 피부 표면을 생성하여, 사용자가 햅틱 장치(108)를 통해 피부 표면의 거침도의 변화에 따른 촉각 자극을 인지할 수 있게 한다.
본 발명의 일 실시예에 의한 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 방법 및 장치를 사용하여, 표면 거침도의 함수로서 인간의 감각 인지(perception)를 나타내는 인지 분석을 위해 기준 다각형 표면들의 3차원 표면 거침도가 실험을 통해 추정되었고 분석되었다.
피부와 유사한 거침도를 갖는 표면 패치들에 대한 두 감각의 양상, 시각 및 촉각의 역할을 이해하기 위하여 정신물리학적 실험이 설계되었고 수행되었다. 상기 피부에 대한 비정상성을 시뮬레이션하는, 기하학적 표면 왜곡의 인지에 대한 인간의 검출 임계값이 3가지 조건에 대해 추정되었다; 시각(V), 촉각(H) 및 시촉각(VH).
12명의 참가자(남자 6명과 여자 6명, 22세 내지 39세, 평균 나이 29.2세)가 실험에 참가하였다. 한명만 제외하고 모든 사람은 자기 보고에 의해 오른손잡이였고 2명의 참가자는 촉각 인터페이스와 인지 실험에 대한 이전의 경험을 가지고 있었다. 참가자들 중 아무도 어떤 시각 또는 촉각 장애도 가지고 있지 않다고 보고하였다.
가상의 3차원 객체들의 촉각 렌더링을 위하여, 도 5에 도시된 바와 같이, 상업적인 힘-피드백 장치인, 팬텀 옴니(PHANTOM OMNI)(3 DOF, 160W×120H×70D ㎜ 작업공간, 55㎛ 위치 해상도, 3.3N 최대 힘 피드백, 2.31 N/㎜ 최대 강도)가 사용되었다. 참가자는 햅틱 장치의 종단 실행기에 연결된 스타일러스를 이동시킴으로써 가상의 3차원 객체와 상호작용한다. 스타일러스가 가상 객체와 충돌할 때마다, 침투에 저항하는 복원력이 햅틱 장치로 송신된다.
참가자는 펜의 팁을 가지고 실제 객체 주위를 뒤지는 것과 유사한 방식으로 가상 객체의 표면 거침도를 인지하였다. 상기 햅틱 장치는 피부 표면에 현실적인 터치 피드백을 제공하기 위하여 10 ㎑의 갱신율을 가질 수 있다. 표준 TFT LCD 24" PC 모니터(900×1200 픽셀)가 3차원 객체의 시각적 렌더링을 위해 사용되었다. 실험 중 응답을 입력하기 위하여 참가자들에 의해 키보드가 사용되었다.
시각/촉각 자극은 3752 정점들과 7500 면들을 가지고 렌더링된 표면으로 구성되었다. 정점들과 면들의 수는, 실시간 렌더링이 실험 동안 달성될 수 있도록 선택되었다. 도 6에 도시된 바와 같이, 상이한 거침도를 갖는 하나의 평면과 3개의 구면이 실험을 위해 가우스 랜덤 노이즈에 의해 생성되었다.
평면은 완벽한 0의 거침도를 제공할 수 있는 유일한 것이다. 다른 3개의 표면들은 평면의 에지에 의해 야기되는 판단 에러를 회피하기 위하여 구 모델들을 가지고 설계되었다. 각 구면들의 거침도는 구현된 본 발명의 일 실시예에 의한 거침도 추정 방법을 가지고 추정되었다.
기준 표면들에 대한 추정된 거침도는 각각 0, 0.082, 0.2099 및 0.327이었다. 거침도(δ)의 관점에서 표면 왜곡의 검출 임계값과 삼각형 메시들로 구성된 기준 표면들의 국부적인 거침도가 실험 중 추정되었다. 삼각형 메시들의 각 정점은 표면 노멀 벡터 방향의 거침도(δ)의 양에 따라 변경되었다.
3-간격 힘 선택 1-업 1-다운(one-up one-down) 적응적 절차가 시뮬레이션된 피부 표면 거침도의 함수로서 검출 임계값을 추정하는데 사용되었다. 참가자들은 3가지 조건을 가지고 테스트되었다: 단일 시각(V), 단일 촉각(H), 또는 시촉각(VH).
각각의 시도시, V(또는 H) 조건을 위해, 참가자는 어두운 방에서 모니터(또는 햅틱 장치)를 통해 제시된 구 또는 평면을 보았다(또는 터치하였다). VH 조건을 위해, 참가자들은 모니터와 햅틱 장치 양자를 사용하여 구 또는 평면을 보고 터치하였다. 3개의 자극 중 2개는 기준 자극이었고 아무런 표면 왜곡(예를 들어 아무런 표면상의 범프 또는 비정상적인 것을 가지고 있지 않음)도 포함하지 않았다. 나머지 랜덤하게 선택된 자극은 표면 노멀(normal)을 향해 δ만큼 특정된 거침도를 갖는 왜곡된 표면이었다. 참가자의 과제는 3개의 표면들 중 다른 2개의 표면들과 다르게 보이거나 다르게 느껴지는 표면을 가리키는 것이었다.
1-업 1-다운 적응적 규칙에 따라, 자극 세기(δ)는 부정확한 응답 이후에 증가하였고 정확한 응답 이후에 감소하였다. 초기의 δ 값은, 테스트 표면 변화가 참가자에게 명확하게 인지가능할 정도로 크게 선택되었다. 그 다음 δ 값은 참가자의 응답에 따라, 고정된 스텝 크기(6㏈)만큼 감소하거나 증가하였다. 3개의 초기 반전(δ 값이 증가 이후에 감소하거나, 역으로 감소한 이후에 증가하는 경우 발생하는 반전) 이후에, δ 값은 더 작은 스텝 크기(6㏈)만큼 변경되었다. δ에서의 초기의 큰 변경은 δ 값의 더 빠른 수렴을 위하여 필요한 반면에, δ에서의 나중의 더 작은 변경은 임계값 추정치의 해상도를 개선하였다. 적응적 시리즈는 더 작은 스텝 크기에서 12 반전 이후에 종료되었다.
참가자들은 컴퓨터 모니터, 햅틱 장치 및 키보드 앞에 편안하게 앉아 있었다. 참가자들은 장비로부터의 어떤 소리도 차단하기 위하여 헤드폰을 착용하였다. 참가자가 3개의 실험적인 조건(V, H, VH)과 친숙해지도록 일련의 자극들이 제공되는 초기 훈련이 제공되었다. 훈련 시간은 참가자마다 변경되었고 실험을 위해 평균 20분이었다.
각각의 적응적 시리즈를 위해, 2㏈ 스텝 크기에서 마지막 12 반전에 걸친 δ 값들로부터 임계값들이 계산되었다. 특히, 마지막 12 반전 동안 기록된 6쌍의 피크/밸리(valley) δ 값을 평균함으로써 6개의 임계값들이 추정되었다. 그 다음 4개의 구별가능한 임계값들의 평균 및 표준 편차가 계산되었다. 결과로서 나온 임계값들은 심리 측정 함수에 대한 50 백분위수 포인트에 대응하였다.
정신물리학적 실험이 시뮬레이션된 거친 표면들의 거침에 대한 인간의 인지를 연구하기 위하여 수행되었다. 기준 표면들은 시각 조건을 위해 퐁(Phong) 쉐이딩에 의해 렌더링되었고 햅틱 조건을 위해 포스 쉐이딩(force shading)에 의해 렌더링되었다.
각 참가자는 총 12 적응적 시리즈(4 기준 × 3 실험 조건(V, H, VH))를 완료하였다. 각 참가자가 모든 12 시리즈를 완료하는데 약 2시간이 소요되었다.
12명의 참가자들에 대한 평균 검출 임계값들이 도 7에 도시된다. 각 조건에 대해, 표면의 거침도가 증가함에 따라 임계값들은 단조롭게 증가하는 경향을 보였다. H 조건에서의 임계값은 0 거침도에서 더 작고, 0.08181 내지 0.2099 사이의 교차점(0.15) 이후 V 조건에서의 임계값들보다 더 크다. 이것은 낮은 표면 거침도에서 촉각이 시각보다 더 민감하고, 거친 표면에서 표면 범프를 검출할 때, 더 높은 표면 거침도에서 상황은 반대라는 것을 의미한다.
더욱 흥미롭게도, VH 조건에서의 임계값들은 전반적으로 V와 H 조건 사이에서 낮은 임계값을 따르지만, 거친 표면상에서 시뮬레이션된 범프들을 검출하기 위하여 감각 통합으로서 해석될 수 있는, V와 H 인지 곡선의 교차점 근처에서 매우 낮다.
사용자가 본 발명의 일 실시예에 의한 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 방법 및 장치를 통해 동시에 상이한 거침도를 갖는 생체 피부 표면들과 상호작용하는 경우, 획득된 인지 곡선은 시각 및 촉각 양자를 고려한다.
실험 결과, 범프와 같은 표면 왜곡의 검출 시 낮은 거침도에서 시각보다 촉각이 더 민감하다는 것을 보여주었다. 거침도가 증가함에 따라, 시각이 주된 역할을 교대하였다. 이 결과는 기존의 피부 이미징 시스템에 대한 촉각 피드백의 중요성을 지지한다.
게다가, 결과를 자세히 살펴보면, 감각 한계를 넘어 더 나은 표면 왜곡을 인지하도록 감각 통합이 발생하는, 촉각과 시각 인지 곡선 사이의 교차점이 존재한다는 것을 명백히 확인할 수 있다. 표면 거침도를 인지하는데 있어서의 감각 통합은 2차원 이미지가 3차원 메시들로 변경되는 경우 형성되는 공간 노이즈를 제거하는 노이즈 필터를 설계하는데 매우 유익하다. 각 인지 곡선은 햅틱 렌더링에 대한 노이즈 필터를 설계하는 경우 거침도 값들을 유지하기 위한 핵심으로서 사용될 수 있다.
본 발명은 피부 거침과 밀접하게 관련된 건선과 아토피성 피부염의 경우 피부 표면상의 비정상을 검출하거나 진단하는데 도움을 줄 수 있을 것이다. 상기 결과는 또한 추정된 거침도에 기반하여 피부 표면 거침도가 기준값보다 작을 때는 촉각에 의해 피부 상태를 진단하는 것이 효과적이고, 거침도가 클 때는 시각적으로 진단하는 것이 효과적이라는 것을 확인한다. 따라서, 상기 결과는 추정된 피부 표면의 거침도에 기반하여 가장 민감한 감각 기관으로 피부 상태를 진단하는 것이 피부 상태를 진단하는 성능을 개선할 수 있다는 것을 확인한다.
또한, 상기 결과는 시촉각 인지 민감도를 이용하여 의료 정보를 3차원 피부 표면에 삽입할 때 인지할 수 없는 크기만큼 워터마킹할 수 있다는 것을 확인한다.
본 발명의 일 실시예가 메시로 구성된 피부 표면 거침도에 대한 인지 분석을 사용하는 시촉각 렌더링에 초점을 맞추고 있을지라도, 어떤 피부 표면 이미지들도 개발된 시스템을 위해 사용될 수 있다. 예를 들어, 스테리오 피부 이미지가 3차원 피부 표면 메시들로 직접 변환될 수 있고 그 다음 3차원 거침도가 단순히 상기한 거침도 추정 방법에 의해 추정될 수 있다.
본 발명의 일 실시예에 의한 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 방법 및 장치에 의하면, 2차원 피부 표면 영상에 기반하여 피부 표면의 거침도를 정량적으로 추정할 수 있고, 시각과 촉각의 거침도 인지 차이를 보상하기 위하여 추정된 거침도에 기반하여 가장 민감한 감각 기관으로 피부 상태를 진단할 수 있도록 최적의 진단 방법에 대한 가이드를 제시할 수 있다.
본 발명의 일 실시예에 의한 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 방법 및 장치는 의대학생들의 피부 질병 진단 시뮬레이션, 화장품 사용 전후 피부 거침도 변화량 측정 및 시뮬레이션, 그리고 원격 진료 등에도 활용될 수 있다.
이상 본 발명을 구체적인 실시예를 통하여 상세하게 설명하였으나, 이는 본 발명을 구체적으로 설명하기 위한 것으로, 본 발명은 이에 한정되지 않으며, 본 발명의 기술적 사상 내에서 당 분야의 통상의 지식을 가진 자에 의해 그 변형이나 개량이 가능함은 명백하다고 할 것이다.
본 발명의 단순한 변형 내지 변경은 모두 본 발명의 영역에 속하는 것으로, 본 발명의 구체적인 보호 범위는 첨부된 청구범위에 의하여 명확해질 것이다.
100 : 햅틱 렌더링부 102 : 3차원 표면 거침도 생성부
104 : 시각 렌더링부
106 : 시촉각 피부표면 거침도 인지데이터 저장부
108 : 햅틱 장치 110 : 디스플레이
111 : 현미경 카메라 112 : 3차원 표면 생성부
114 : 3차원 표면 처리부 116 : 3차원 표면 거침도 측정부
118 : 시촉각 거침도 인지데이터 적용부
120 : 비인지 햅틱 표면 노이즈 제거부
122 : 촉각적 3차원 피부 표면 렌더링부
124 : 충돌 검출부 126 : 피드백 힘 생성부
128 : 비인지 비주얼 표면 노이즈 제거부
130 : 시각적 3차원 피부 표면 렌더링부

Claims (20)

  1. (a) 2차원 피부 표면 영상을 취득하는 단계;
    (b) 상기 취득된 2차원 피부 표면 영상으로부터 3차원 깊이 정보를 생성함으로써 3차원 피부 표면 포인트들을 생성하고, 상기 3차원 피부 표면 포인트들을 연결하여 복수의 메시를 생성함으로써 3차원 피부 표면을 생성하는 단계;
    (c) 상기 3차원 피부 표면의 거침도를 추정하는 단계; 및
    (d) 상기 추정된 거침도가 소정 값 미만인 경우 촉각을 통해 피부 상태를 진단할 것을 가이드하고, 상기 추정된 거침도가 상기 소정 값 이상인 경우 시각을 통해 피부 상태를 진단할 것을 가이드하는 단계를 포함하며,
    상기 복수의 메시 각각은 삼각형 형태로 이루어져 있고,
    상기 단계 (c)는,
    (c-1) 인접한 삼각형 표면 간의 2면각과 연관된 거침도를 계산하는 단계;
    (c-2) 삼각형에 대한 표면 거침도를 계산하는 단계; 및
    (c-3) 정점당 최종 거침도를 계산함으로써 상기 3차원 피부 표면의 거침도를 추정하는 단계를 포함하는, 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 방법.
  2. 청구항 1에 있어서,
    상기 소정 값은 실질적으로 0.15×10-3인, 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 방법.
  3. 청구항 1에 있어서,
    상기 단계 (d) 이후에,
    (e) 환자 정보 및 병에 대한 의료 정보가 인지될 수 없도록, 시각-촉각 인지 커브 데이터보다 작은 변화를 주어 상기 환자 정보 및 병에 대한 의료 정보를 3차원 피부 표면 정보에 워터마킹하는 단계를 더 포함하는, 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 방법.
  4. 청구항 3에 있어서,
    상기 시각-촉각 인지 커브 데이터는, 임계값 = 0.0001×ln(거침도)+0.012에 의해 결정되는, 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 방법.
  5. 청구항 1에 있어서,
    상기 단계 (c) 이후에,
    (f) 상기 추정된 피부 표면의 거침도를 디스플레이에 표시하는 단계를 더 포함하는, 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 방법.
  6. 청구항 1에 있어서,
    상기 단계 (d) 이후에,
    (g) 상기 복수의 메시에 기반하여 시각적 3차원 피부 표면을 생성하는 단계; 및
    (h) 상기 복수의 메시에 기반하여 촉각적 3차원 피부 표면을 생성하는 단계를 더 포함하는, 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 방법.
  7. 삭제
  8. 청구항 1에 있어서,
    상기 2면각과 연관된 거침도(ρ)는 수학식 1에 의해 계산되고,
    [수학식 1]
    Figure 112017088550266-pat00026

    상기에서
    Figure 112017088550266-pat00027
    과
    Figure 112017088550266-pat00028
    는 상기 인접한 삼각형의 노멀 벡터(normal vector)를 나타내며,
    Figure 112017088550266-pat00029
    는 스칼라 프로덕트(scalar product)를 나타내고,
    상기 삼각형에 대한 표면 거침도(p(T))는 수학식 2에 의해 계산되며,
    [수학식 2]
    Figure 112017088550266-pat00030

    상기에서 G(v1)은 정점 v1에 인접한 면들의 2면각들과 연관된 거침도의 평균이고, G(v2)는 정점 v2에 인접한 면들의 2면각들과 연관된 거침도의 평균이며, G(v3)은 정점 v3에 인접한 면들의 2면각들과 연관된 거침도의 평균이고, V(v1), V(v2) 및 V(v3)는 각각 정점 v1, v2 및 v3에 인접한 면들의 2면각들과 연관된 거침도의 분산이며,
    상기 정점당 최종 거침도(
    Figure 112017088550266-pat00031
    )는 수학식 3에 의해 계산되고,
    [수학식 3]
    Figure 112017088550266-pat00032
    ,
    상기에서 ST는 정점 v와 관련된 면들의 집합(set)이며,
    Figure 112017088550266-pat00033
    는 집합 ST의 원소의 수를 나타내고, ATi는 면 Ti의 면적인, 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 방법.
  9. 청구항 1에 있어서,
    상기 단계 (a)는 단일 현미경 카메라를 이용하여 2차원 피부 표면 영상을 취득하는 단계를 포함하고,
    상기 단계 (b)는,
    상기 취득된 단일 2차원 피부 표면 영상의 인텐시티 레벨(intensity level)을 깊이 데이터로 변환하여 3차원 깊이 정보를 생성함으로써 3차원 피부 표면 포인트들을 생성하고, 상기 3차원 피부 표면 포인트들을 연결하여 복수의 메시를 생성함으로써 3차원 피부 표면을 생성하는 단계를 포함하는, 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 방법.
  10. 청구항 1에 있어서,
    상기 단계 (a)는 2대의 현미경 카메라 또는 스테레오 현미경 카메라를 이용하여 2차원 피부 표면의 좌, 우 스테레오 영상을 취득하는 단계를 포함하고,
    상기 단계 (b)는,
    스테레오 매칭 알고리즘을 이용하여 상기 취득된 2차원 피부 표면의 좌, 우 스테레오 영상으로부터 3차원 깊이 정보를 생성함으로써 3차원 피부 표면 포인트들을 생성하고, 상기 3차원 피부 표면 포인트들을 연결하여 복수의 메시를 생성함으로써 3차원 피부 표면을 생성하는 단계를 포함하는, 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 방법.
  11. 2차원 피부 표면 영상을 취득하기 위한 카메라;
    상기 취득된 2차원 피부 표면 영상으로부터 3차원 깊이 정보를 생성함으로써 3차원 피부 표면 포인트들을 생성하고, 상기 3차원 피부 표면 포인트들을 연결하여 복수의 메시를 생성함으로써 3차원 피부 표면을 생성하기 위한 3차원 표면 생성부;
    상기 3차원 피부 표면의 거침도를 추정하기 위한 3차원 표면 거침도 측정부; 및
    상기 추정된 거침도가 소정 값 미만인 경우 촉각을 통해 피부 상태를 진단할 것을 가이드하고, 상기 추정된 거침도가 상기 소정 값 이상인 경우 시각을 통해 피부 상태를 진단할 것을 가이드하기 위한 시촉각 거침도 인지데이터 적용부를 포함하며,
    상기 복수의 메시 각각은 삼각형 형태로 이루어져 있고,
    상기 3차원 표면 거침도 측정부는,
    인접한 삼각형 표면 간의 2면각과 연관된 거침도를 계산하는 동작, 삼각형에 대한 표면 거침도를 계산하는 동작, 및 정점당 최종 거침도를 계산함으로써 상기 3차원 피부 표면의 거침도를 추정하는 동작을 수행하여 상기 3차원 피부 표면의 거침도를 추정하는, 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 장치.
  12. 청구항 11에 있어서,
    상기 소정 값은 실질적으로 0.15×10-3인, 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 장치.
  13. 청구항 11에 있어서,
    상기 시촉각 거침도 인지데이터 적용부는, 환자 정보 및 병에 대한 의료 정보가 인지될 수 없도록, 시각-촉각 인지 커브 데이터보다 작은 변화를 주어 상기 환자 정보 및 병에 대한 의료 정보를 3차원 피부 표면 정보에 워터마킹하는, 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 장치.
  14. 청구항 13에 있어서,
    상기 시각-촉각 인지 커브 데이터는, 임계값 = 0.0001×ln(거침도)+0.012에 의해 결정되는, 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 장치.
  15. 청구항 11에 있어서,
    상기 복수의 메시에 기반하여 시각적 3차원 피부 표면을 생성하기 위한 시각 렌더링부;
    상기 복수의 메시에 기반하여 촉각적 3차원 피부 표면을 생성하고 햅틱 프로브의 위치 정보에 응답하여 반발력을 계산하는 햅틱 렌더링부; 및
    사용자의 조작에 따라 상기 햅틱 프로브의 위치를 가변하여 위치 정보를 상기 햅틱 렌더링부로 전송하고, 상기 반발력을 수신하여 상기 사용자에게 촉각 자극을 제공하는 햅틱 장치를 더 포함하는, 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 장치.
  16. 청구항 15에 있어서,
    상기 추정된 피부 표면의 거침도 및 상기 시각적 3차원 피부 표면을 표시하기 위한 위한 디스플레이를 더 포함하는, 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 장치.
  17. 삭제
  18. 청구항 11에 있어서,
    상기 2면각과 연관된 거침도(ρ)는 수학식 1에 의해 계산되고,
    [수학식 1]
    Figure 112017088550266-pat00034

    상기에서
    Figure 112017088550266-pat00035
    과
    Figure 112017088550266-pat00036
    는 상기 인접한 삼각형의 노멀 벡터(normal vector)를 나타내며,
    Figure 112017088550266-pat00037
    는 스칼라 프로덕트(scalar product)를 나타내고,
    상기 삼각형에 대한 표면 거침도(p(T))는 수학식 2에 의해 계산되며,
    [수학식 2]
    Figure 112017088550266-pat00038

    상기에서 G(v1)은 정점 v1에 인접한 면들의 2면각들과 연관된 거침도의 평균이고, G(v2)는 정점 v2에 인접한 면들의 2면각들과 연관된 거침도의 평균이며, G(v3)은 정점 v3에 인접한 면들의 2면각들과 연관된 거침도의 평균이고, V(v1), V(v2) 및 V(v3)는 각각 정점 v1, v2 및 v3에 인접한 면들의 2면각들과 연관된 거침도의 분산이며,
    상기 정점당 최종 거침도(
    Figure 112017088550266-pat00039
    )는 수학식 3에 의해 계산되고,
    [수학식 3]
    Figure 112017088550266-pat00040
    ,
    상기에서 ST는 정점 v와 관련된 면들의 집합(set)이며,
    Figure 112017088550266-pat00041
    는 집합 ST의 원소의 수를 나타내고, ATi는 면 Ti의 면적인, 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 장치.
  19. 청구항 11에 있어서,
    상기 카메라는 단일 2차원 피부 표면 영상을 취득하기 위한 단일 현미경 카메라를 포함하고,
    상기 3차원 표면 생성부는,
    상기 취득된 단일 2차원 피부 표면 영상의 인텐시티 레벨(intensity level)을 깊이 데이터로 변환하여 3차원 깊이 정보를 생성함으로써 3차원 피부 표면 포인트들을 생성하고, 상기 3차원 피부 표면 포인트들을 연결하여 복수의 메시를 생성함으로써 3차원 피부 표면을 생성하는, 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 장치.
  20. 청구항 11에 있어서,
    상기 카메라는 2차원 피부 표면의 좌, 우 스테레오 영상을 취득하기 위한 2대의 현미경 카메라 또는 스테레오 현미경 카메라를 포함하고,
    상기 3차원 표면 생성부는,
    스테레오 매칭 알고리즘을 이용하여 상기 취득된 2차원 피부 표면의 좌, 우 스테레오 영상으로부터 3차원 깊이 정보를 생성함으로써 3차원 피부 표면 포인트들을 생성하고, 상기 3차원 피부 표면 포인트들을 연결하여 복수의 메시를 생성함으로써 3차원 피부 표면을 생성하는, 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 장치.
KR1020160072525A 2016-06-10 2016-06-10 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 방법 및 장치 KR101791927B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160072525A KR101791927B1 (ko) 2016-06-10 2016-06-10 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160072525A KR101791927B1 (ko) 2016-06-10 2016-06-10 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101791927B1 true KR101791927B1 (ko) 2017-11-01

Family

ID=60382678

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160072525A KR101791927B1 (ko) 2016-06-10 2016-06-10 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101791927B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101959882B1 (ko) * 2017-11-15 2019-03-19 인천대학교 산학협력단 원격 촉진을 위한 햅틱 증강 피부 생성 장치 및 방법
KR101959880B1 (ko) * 2017-11-16 2019-03-19 인천대학교 산학협력단 생체 피부의 햅틱 거침도 평가 장치 및 방법
KR20190087892A (ko) 2018-01-17 2019-07-25 재단법인대구경북과학기술원 촉감검출장치 및 방법
KR20200015175A (ko) * 2018-08-03 2020-02-12 김효준 피부 상태 측정 장치
KR20200026596A (ko) * 2018-09-03 2020-03-11 인천대학교 산학협력단 원격 탐사를 위한 햅틱 상호작용 시스템 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101522690B1 (ko) * 2014-07-29 2015-05-22 연세대학교 산학협력단 피부 진단을 위한 인지기반 3차원 시각-촉각 디스플레이 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101522690B1 (ko) * 2014-07-29 2015-05-22 연세대학교 산학협력단 피부 진단을 위한 인지기반 3차원 시각-촉각 디스플레이 시스템 및 방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101959882B1 (ko) * 2017-11-15 2019-03-19 인천대학교 산학협력단 원격 촉진을 위한 햅틱 증강 피부 생성 장치 및 방법
KR101959880B1 (ko) * 2017-11-16 2019-03-19 인천대학교 산학협력단 생체 피부의 햅틱 거침도 평가 장치 및 방법
KR20190087892A (ko) 2018-01-17 2019-07-25 재단법인대구경북과학기술원 촉감검출장치 및 방법
KR20200015175A (ko) * 2018-08-03 2020-02-12 김효준 피부 상태 측정 장치
KR102130309B1 (ko) 2018-08-03 2020-07-08 김효준 피부 상태 측정 장치
KR20200026596A (ko) * 2018-09-03 2020-03-11 인천대학교 산학협력단 원격 탐사를 위한 햅틱 상호작용 시스템 및 방법
KR102132693B1 (ko) 2018-09-03 2020-07-13 인천대학교 산학협력단 원격 탐사를 위한 햅틱 상호작용 시스템 및 방법

Similar Documents

Publication Publication Date Title
KR101791927B1 (ko) 인지기반 햅틱 피드백 장치를 위한 피부 표면 거침도 추정 방법 및 장치
Hennessey et al. Noncontact binocular eye-gaze tracking for point-of-gaze estimation in three dimensions
US20190066390A1 (en) Methods of Using an Imaging Apparatus in Augmented Reality, in Medical Imaging and Nonmedical Imaging
KR101522690B1 (ko) 피부 진단을 위한 인지기반 3차원 시각-촉각 디스플레이 시스템 및 방법
Connolly How to test Molyneux's question empirically
Hubona et al. The effects of motion and stereopsis on three-dimensional visualization
CN107315915A (zh) 一种医疗手术模拟方法及系统
Kim et al. Perception‐based 3D tactile rendering from a single image for human skin examinations by dynamic touch
Gruenefeld et al. Behind the scenes: Comparing x-ray visualization techniques in head-mounted optical see-through augmented reality
KR100551201B1 (ko) 볼륨 모델 기반의 햅틱 인터페이스를 이용한 치과 치료훈련 및 평가 시스템
Ghasemi et al. Use of random dot patterns in achieving x-ray vision for near-field applications of stereoscopic video-based augmented reality displays
Wagner et al. Intraocular surgery on a virtual eye
Bernhard et al. The accuracy of gauge-figure tasks in monoscopic and stereo displays
JP7276823B2 (ja) 視覚認知機能評価システム
Wijayanto et al. Comparing the effects of visual realism on size perception in vr versus real world viewing through physical and verbal judgments
Kim Haptic augmented skin surface generation toward telepalpation from a mobile skin image
Hubona et al. The effects of cast shadows and stereopsis on performing computer-generated spatial tasks
KR101959882B1 (ko) 원격 촉진을 위한 햅틱 증강 피부 생성 장치 및 방법
Tassinari et al. The intrinsic constraint model for stereo-motion integration
CN114694442B (zh) 基于虚拟现实的超声培训方法、装置、存储介质及超声设备
Ishii et al. MoPaCo: Pseudo 3D video communication system
Scandola et al. The role of visual-haptic discrepancy in virtual reality environments
Dubey et al. Biomedical engineering in epidural anaesthesia research
Egorova et al. Determination of workspace for motion capture using Kinect
Domini et al. Matching perceived depth from disparity and from velocity: Modeling and psychophysics

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant